|
29. Maijs 2013|15:20 |
Nākamais solis, tātad, ir retinātās reprezentācijas apdeitošana attiecībā pret iepriekšējo ievaddatu kontekstu. Tas notiek, katrā kolonnā aktivējot nelielu skaitu papildus neironu. Katrs neirons kolonnā saņem vienus un tos pašus feed-forward ievaddatus. Izvēloties dažādus aktīvus neironus vienā un tajā pašā kolonnā, ir iespējams reprezentēt vienus un tos pašus ievaddatus dažādos kontekstos (vienkāršots piemērs - ja mēs iedomājamies, ka katra kolonna ir tikai četrus neironus liela, un katra ievaddatu reprezentācija sastāv no simts aktīvām kolonnām, tad aktivējot vienu neironu katrā kolonnā, iegūstam 4100 to pašu ievaddatu reprezentācijas variantus; ir viegli aprēķināt, ka lielākā daļa divu nejauši izvēlētu šādu variantu pārklāsies par aptuveni 25 neironiem, tātad, to atšķirīguma pakāpe būs aptuveni 0.75, padarot tos diezgan viegli atšķiramus savā starpā; this scales up quite well).
Apdeitošanas mehānisms ir aptuveni šāds (ignorējot neirofizioloģiju). Kolonnā neironi var būt aktīvi divos veidos - "tiešajā", kad tos aktivē feed-forward aksoni no zemākajiem slāņiem, un "gaidošajā", kad tos aktivē laterāli aksoni no citiem tā paša slāņa neironiem. Kad kolonnu aktivizē feed-forward ievaddati, tad, ja šajā kolonnā ir "gaidoši" aktīvi neironi, tiek "tiešā" veidā aktivizēti tikai tie (t.i., ja tiek gaidīts konkrēts paterns, tad "gaidošo" neironu "tieša" aktivācija apstiprina šo expectation). Ja šādu "gaidoši" aktīvu neironu kolonnā nav, tiek "tiešā" veidā aktivizēta visa kolonna (t.i., ja nav konteksta, visas iespējamās reprezentācijas ir vienlīdz derīgas, kā pirmo reizi dzirdot pirmās notis kādā dziesmā). Šī apdeitošana notiek atsevišķu kolonnu līmenī, līdz ar to visa reprezentācija, kas sastāv no n-tajām kolonnām, nekad netiek matchota all-or-nothing, tas vienmēr ir probabilistic process.
Pēdējais algoritma solis ir prognozes izdarīšana, balstoties uz iepriekšējo datu kontekstu. Kad kolonna veic prognozi, tajā tiek "gaidošā" veidā aktivizēti visi tie neironi, kas ar pietiekami lielu varbūtību varētu kļūt "tieši" aktīvi pie nākamajiem feed-forward ievaddatiem. Tas notiek t.s. spike timing-dependent plasticity jeb STDP procesa rezultātā, kas ir Hēba apmācības likuma neirofizioloģiskais ekvivalents, un kas savstarpēji saistītiem neironus, kas iepriekš bijuši kopīgi aktīvi, pakāpeniski samazina aktivācijas slieksni. Šie "pastiprinātie" savienojumi pēc tam darbojas kā iemācīts šablons, kura dēļ vienas neironu grupas "tieša" aktivācija jau laicīgi ieslēgs "gaidošā" režīmā ar to saistītās neironu grupas, kas iepriekšējos kontekstos ir izrādījušās kopīgi "tieši" aktīvas.
Kā jau minēju, tālāk šie apstrādātie reprezentāciju dati tiek padoti "uz augšu", uz L5 slāni, kurā notiek cits mācību process, kas atpazīst invariances laikā (un par kuru es šeit neapņemos rakstīt, kaut arī kopumā es pietiekami labi zinu, kā tas darbojas). No L5 caur L6 informācija tiek padota uz L2/3, kur nonāk arī pirmās kārtas apstrādātie dati no L4, un tur uz šo abu plūsmu probabilistic salīdzinājumu bāzes tiek veidoti stabili neironu aktivitātes paterni, kas darbojas kā koncepti. Gan no L2/3, gan no L5 dati nonāk arī hipokampā, kurā tie tiek kodēti kā ilgtermiņa atmiņas. |
|