"Pazīstamu figūru" gadījumā lielākoties aktivizējas nelielas saistītu neironu grupas, bet jā, kopumā tas ir šādi.

Kas attiecas uz invarianci, tad tas ir daudz masīvāks jautājums, taču aptuveni ideja ir tāda - smadzenes glabā vienu un to pašu figūru level-of-detail hierarhijas veidā, kuras pamatnē atrodas minimāli invariants un maksimāli detalizēts attēls, un virsotnē - maksimāli invariants laikā un telpā, abstrahēts un vienkāršots attēla pārveidojums.



Smadzenes var pattern-matchot jelkurā šīs hierarhijas līmenī (cik ir šādu līmeņu, pagaidām nav īsti skaidrs), un šīs skaitļošanas minimālā vienība, šķiet, ir viena smadzeņu garozas superkolonna.

(Reply to this) (Thread)

No šīs bildes tieši liekas, ka rotācijai un atspoguļošanai vajadzētu attēlu padarīt nepazīstamu.

(Reply to this) (Parent) (Thread)

Oh boy, algoritmiskās neirozinātnes diskusijas Cibas komentāros. Nesolu, ka būšu ļoti sakarīgs, bet mēģināšu anyway, jo tēma ir relevanta un interesanta arī man pašam.

Tātad, vispirms fizioloģija. Paternu atpazīšanas un inferences procesi smadzenēs notiek smadzeņu garozā. Garoza sastāv no aptuveni 6 slāņiem, tipiski sauktiem par L1 .. L6. Katru slāni veido liels daudzums garozas kolonnu (šķērsvirzienā orientētu savstarpēji cieši saistītu neironu populāciju). "Jēls" sensoro datu materiāls pienāk L4. No L4, kurā notiek pirmās kārtas invarianto paternu atpazīšana (rotācija, mērogošana, x-y-z pārvietojumi), bottom-up informācija nonāk L5, kur notiek dinamisku (laikā mainīgu) mainīgas kārtas paternu atpazīšana, izmantojot L4 jau atpazītās invariances. No L5 šie dati nonāk L6 slānī, ko veido galvenokārt interneironi, kuru aksoni veido feedback cilpu uz zemākajiem līmeņiem.

L3 un L2 slāņos (kas smadzenēs daudzviet saplūst un veido t.s. L2/3 slāni) nonāk gan top-down informācija no L6, gan bottom-up informācija no L4. Šīs plūsmas tur tiek salīdzinātas un uz varbūtiskas (probabilistic) bāzes šie salīdzinājumi veido pēdējo paternu atpazīšanas procesa daļu - konceptu kā kognitīvu "tagu", kas tiek piešķirti savstarpēji līdzīgu datu kopām, formēšanos.

Tagad algoritmiskā daļa. L4 slānī notiekošā invarianču atpazīšana ir t.s. "cortical learning procedure", kas nosacīti sastāv no trim secīgiem soļiem - retinātas (sparse) reprezentācijas veidošana no "jēliem" ievaddatiem; reprezentācijas apdeitošana iepriekšējo joprojām aktīvo ievaddatu kontekstā; varbūtības novērtēšana, ka esošie ievaddati ir korelējoši ar iepriekšējiem/invarianti pret iepriekšējiem.

Kad iedomājamies datu ievadu garozas slānī, var domāt par to kā lielu bitu skaitu. Smadzenēs šie biti būs sinapses no vieniem neironiem uz citiem. Jelkurā brīdī daļa no šiem ieejas biti būs aktīvi (1), kamēr citi būs neaktīvi (0). Ko nozīmē aktivitāte ķīmiskajās un elektriskajās sinapsēs, skaties pats, pamatu izskaidrošana šeit būtu pārāk daudz. Ievaddatu aktīvo bitu skaits laikā mainās, aptuveni no 0% līdz 60%. Pirmais solis L4 mācību procesā ir pārvērst šos ievaddatus atbilstošā retinātā formātā Tā, piemēram, ieejas datos varētu būt ap 40% "aktīvu" bitu, bet jaunajā reprezentācijā tie būs, teiksim, tikai 2% "aktīvu" bitu.

Katrs garozas slānis, tātad, sastāv no garozas kolonnām. Katra kolonna sastāv no vairākām šūnām (vidēji vienā kolonnā ir aptuveni 10000 .. 20000 neironu). Katra viena slāņa kolonna ir savienota ar unikālu ieejas datu apakškopu (kas var pārklāties ar citu kolonnu apakškopām, bet nekad nebūs identiska ar citām). Tā rezultātā dažādi ievaddatu paterni izsauc dažādus kolonnu aktivācijas līmeņus. Kolonnas ar stiprāko aktivāciju slāpē/inhibē kolonnas ar vājāko aktivāciju (inhibīcijas rādiusi var būt dažādi, no lokāla līdz visa reģiona mērogam). Retinātā ievaddatu reprezentācija veidojas no kolonnu aktivācijas līmeņiem pēc inhibīcijas, pēc kuras aktīvo kolonnu skaits ir relatīvi konstants, kaut arī ievaddatu bitu skaits var mainīties plašā spektrā. Ja ievaddatu paternā mainīsies tikai neliels bitu skaits, pēc inhibīcijas aktīvo kolonnu veidotais paterns mainīsies ļoti nelielā mērā, tādējādi līdzīgi ievaddatu paterni ar līdzīgu "aktīvo" bitu skaitu tiks kartēti uz nosacīti stabiliem pēc inhibīcijas aktīvo kolonnu paterniem (tātad, līdzīgi ievaddatu paterni tiks grupēti kopīgās reprezentācijās). Tas, cik stabils būs šis kodējums, ir atkarīgs no tā, ar kādām ievaddatu apakškopām ir saistīta katra kolonna, un šie savienojumi veidojas atmiņu formēšanās procesā.

(Reply to this) (Parent)

Nākamais solis, tātad, ir retinātās reprezentācijas apdeitošana attiecībā pret iepriekšējo ievaddatu kontekstu. Tas notiek, katrā kolonnā aktivējot nelielu skaitu papildus neironu. Katrs neirons kolonnā saņem vienus un tos pašus feed-forward ievaddatus. Izvēloties dažādus aktīvus neironus vienā un tajā pašā kolonnā, ir iespējams reprezentēt vienus un tos pašus ievaddatus dažādos kontekstos (vienkāršots piemērs - ja mēs iedomājamies, ka katra kolonna ir tikai četrus neironus liela, un katra ievaddatu reprezentācija sastāv no simts aktīvām kolonnām, tad aktivējot vienu neironu katrā kolonnā, iegūstam 4¹⁰⁰ to pašu ievaddatu reprezentācijas variantus; ir viegli aprēķināt, ka lielākā daļa divu nejauši izvēlētu šādu variantu pārklāsies par aptuveni 25 neironiem, tātad, to atšķirīguma pakāpe būs aptuveni 0.75, padarot tos diezgan viegli atšķiramus savā starpā; this scales up quite well).

Apdeitošanas mehānisms ir aptuveni šāds (ignorējot neirofizioloģiju). Kolonnā neironi var būt aktīvi divos veidos - "tiešajā", kad tos aktivē feed-forward aksoni no zemākajiem slāņiem, un "gaidošajā", kad tos aktivē laterāli aksoni no citiem tā paša slāņa neironiem. Kad kolonnu aktivizē feed-forward ievaddati, tad, ja šajā kolonnā ir "gaidoši" aktīvi neironi, tiek "tiešā" veidā aktivizēti tikai tie (t.i., ja tiek gaidīts konkrēts paterns, tad "gaidošo" neironu "tieša" aktivācija apstiprina šo expectation). Ja šādu "gaidoši" aktīvu neironu kolonnā nav, tiek "tiešā" veidā aktivizēta visa kolonna (t.i., ja nav konteksta, visas iespējamās reprezentācijas ir vienlīdz derīgas, kā pirmo reizi dzirdot pirmās notis kādā dziesmā). Šī apdeitošana notiek atsevišķu kolonnu līmenī, līdz ar to visa reprezentācija, kas sastāv no n-tajām kolonnām, nekad netiek matchota all-or-nothing, tas vienmēr ir probabilistic process.

Pēdējais algoritma solis ir prognozes izdarīšana, balstoties uz iepriekšējo datu kontekstu. Kad kolonna veic prognozi, tajā tiek "gaidošā" veidā aktivizēti visi tie neironi, kas ar pietiekami lielu varbūtību varētu kļūt "tieši" aktīvi pie nākamajiem feed-forward ievaddatiem. Tas notiek t.s. spike timing-dependent plasticity jeb STDP procesa rezultātā, kas ir Hēba apmācības likuma neirofizioloģiskais ekvivalents, un kas savstarpēji saistītiem neironus, kas iepriekš bijuši kopīgi aktīvi, pakāpeniski samazina aktivācijas slieksni. Šie "pastiprinātie" savienojumi pēc tam darbojas kā iemācīts šablons, kura dēļ vienas neironu grupas "tieša" aktivācija jau laicīgi ieslēgs "gaidošā" režīmā ar to saistītās neironu grupas, kas iepriekšējos kontekstos ir izrādījušās kopīgi "tieši" aktīvas.

Kā jau minēju, tālāk šie apstrādātie reprezentāciju dati tiek padoti "uz augšu", uz L5 slāni, kurā notiek cits mācību process, kas atpazīst invariances laikā (un par kuru es šeit neapņemos rakstīt, kaut arī kopumā es pietiekami labi zinu, kā tas darbojas). No L5 caur L6 informācija tiek padota uz L2/3, kur nonāk arī pirmās kārtas apstrādātie dati no L4, un tur uz šo abu plūsmu probabilistic salīdzinājumu bāzes tiek veidoti stabili neironu aktivitātes paterni, kas darbojas kā koncepti. Gan no L2/3, gan no L5 dati nonāk arī hipokampā, kurā tie tiek kodēti kā ilgtermiņa atmiņas.

(Reply to this) (Parent) (Thread)

Iemācīto konceptu atpazīšanu, kodēšanu un dekodēšanu lielākoties veic izvietojuma ziņā stabilas kolonnu un superkolonnu grupas, ļaujot kartēt indivīda paternu atpazīšanas bibliotēku.

(Reply to this) (Parent)

Tas viss droši vien tā ir, bet tas tomēr neatbild kāpēc ievaddati, kuros nesakrīt neviens pikselis izsauc līdzīgas reakcijas. Bet tieši tā ir. Linku neiedošu, bet ir taču tā, ka attēli abās pusēs neredzamajai spoguļsimetrijas līnijai acumirklī liekas līdzīgi viens otram:
http://leemeiee.files.wordpress.com/2008/07/footprints-feet.jpg?w=232&h=300
Ja es būtu neirozinātnieks, tad saredzētu te tēmu, kuru būtu vērtīgi izpētīt, ja jau uz tik vienkāršu jautājumu nav vienkāršu atbilžu.

(Reply to this) (Parent) (Thread)

Tas ko retināto reprezentāciju apstrāde dara, ir pikseļoto sākotnējo attēlu pārvēršana par varbūtisku centroīdu hierarhiju. Klasteri stāvokļu telpā. Katram nākamajam hierarhijas stāvam mazāk detaļu, abstraktāka reprezentācija.

Spoguļattēli nesakrīt pikseļu līmenī, taču tik un tā atrodas savstarpēji pietiekami tuvu. Augstākajos slāņos tie izsauks vienu un to pašu "pieci ovāli virs lielāka ovāla" paternu.

(Reply to this) (Parent) (Thread)

Nu un zīdainim paterni "mātes seja" un "mātes seja, pagriezta par 45 grādiem" izsauks to pašu "seja" paternu. Tomēr tā nav tikai seja. Viņš to spēj atpazīt.

(Reply to this) (Parent) (Thread)

Kaut arī pa pikselim salīdzinot seja pagriezta par 45 grādiem būs daudz mazāk līdzīga, salīdzinot ar sveša cilvēka seju, nepagrieztu.

(Reply to this) (Parent) (Thread)

Jā, jo visos pagriezienos centroīdu klasteri (izvietoti uz sejas raksturīgajām iezīmēm) augstākajos abstrakcijas slāņos būs pietiekami līdzīgi viens otram. Tādēļ reprezentāciju hierarhija, feed-forward un feedback saites starp hierarhijām. Salīdzinājuma iespēja.

Lietas, kas pikseļu līmenī stipri atšķiras, var izrādīties stipri līdzīgas, pakāpeniski atmetot detalizāciju. Līdz paliek paterns, kas vieno. Pie tam, sarežģītākajos gadījumos joprojām ir vajadzīga galvas pagriešana, figūras pārorientācija redzes laukā.

Tam palīdz arī pats redzes process. Sakādes, sākumā haotiskas, pēc tam saskaņā L5 un PM/SMA instrukcijām atkārtoti koncentrētas punktos, kas ar lielāku varbūtību sakrīt starp secīgām transformācijām telpā, laikā.

(Reply to this) (Parent) (Thread)

Klau, beidz atkal muldēt. Kādas vēl sukādes. Zīdaiņi vispār nekustina acis īpaši bieži, man šķiet.

Lai atpazītu seju nevajag, lai tā būtu perpendikulāri zemei. Noreducēšana uz "centroīdu klasteriem" tikai pārceļ problēmu vienu līmeni tālāk. Ja cilvēks nosaka sejas leņķi pēc marķieru, acu un mutes izvietojuma, tad jautājums, kā tiek atpazītas šīs iezīmes. Tā pati rotācijas invariances problēma paliek.

(Reply to this) (Parent) (Thread)

Sakādes ir automātiskas acu kustības. Vispirms iepazīsties ar pašiem tēmas pamatiem, pirms domā aizrādīt par muldēšanu.

Par pārējo mēģināšu paskaidrot vēlāk, šobrīd nav laika vēl vienam teksta palagam.

(Reply to this) (Parent) (Thread)

Labāk atzīsties uzreiz, ka zinātnei nav ne jausmas, kā tas notiek.

Es zinu, kas ir sakādes FYI.

(Reply to this) (Parent) (Thread)

Ja zini, tad beidz runāt par to, ka "zīdaiņi acis nekustina īpaši bieži".

Par pārējo... kā uz to skatās. No vienas puses, ir detaļas, kas tiešām vēl nav zināmas (galvenokārt gan tieši attiecībā uz pašu retināto reprezentāciju formēšanu), no otras - zināms ir tik daudz, ka eksistē labi darboties spējīgi algoritmiski invariantas paternu atpazīšanas modeļi, kas balstīti uz šo izpratni - hierarhiskā temporālā atmiņa, DeSTIN algoritms u.c.

(Reply to this) (Parent) (Thread)

Pretējais ir kaut kā ietverts sakādes definīcijā?

(Reply to this) (Parent) (Thread)

Definīcijā - nē, bet man nav gadījies lasīt pētījumus par to, ka sakādisko kustību biežums būtu funkcija no vecuma.

(Reply to this) (Parent)

Un tagad to gribi teikt, ka normāls cilvēks nespēj atpazīt šīs figūras simetrijas?

Vispār ir veids, kā to pārbaudīt - eksperimentāli. Varētu parādīt šādas figūras pietiekoši īsu laiku (1/10 sekundes), lai viņi nespētu mentāli veikt pagriešanas operāciju un salīdzināt pagrieztos elementus savā starpā, un tad pajautāt, bija simetrija vai nebija? Tas ļautu pateikt, vai simetrijas noteikšana tiešām notiek automātiskā līmenī (kā es domāju).

(Reply to this) (Parent) (Thread)

Tas arī ir klasisks piemērs tam, ko teicu - faktiski visa sarežģītība tur pazūd, tiklīdz atmet sīkās detaļas. Paliek trīs lielas, vienādas figūras, savstarpēji pagrieztas par vienādu leņķi.

Un jā, protams, ka tā notiek automātiskā līmenī. Kad un kur es būtu apgalvojis pretējo?

(Reply to this) (Parent) (Thread)

Te? "Pie tam, sarežģītākajos gadījumos joprojām ir vajadzīga galvas pagriešana, figūras pārorientācija redzes laukā."

Kā smadzenes automātiski zina, ka figūras ir vienādas, pie tam pagrieztas pa vienādu lenķi? Ar paternu atrašana vien nepietiek.

(Reply to this) (Parent) (Thread)

Nevis automātiski "zina", bet automātiski atpazīst. Rakstīju par vienas un tās pašas reprezentācijas apdeitošanu atkarībā no konteksta.

Šī kontekstatkarība tad arī ir invarianču filtrēšanas pamats - katrs neironu ansamblis (kas var būt kolonnas lielumā vai lielāks/mazāks) glabā vienlaikus virkni uzģenerētu referenču kontekstu (gan rotācijai, gan citām transformācijām, tai skaitā krāsai un kontrastam) dotajiem ievaddatiem, more or less like this:



Līdz ar to, tik ilgi, kamēr kādas šī ansambļa apakškopas ar pietiekami lielu varbūtību matchos pret ienākošajiem jaunajiem datiem, invariances tiks "maskētas" un figūras tiks atpazītas kā vienādas/līdzīgas.

(Reply to this) (Parent) (Thread)

Būtībā, tas, ko jau rakstīju augstāk par probabilistic contextual update.

(Reply to this) (Parent)

ok, tas varbūt strādā uz iemācītiem datiem (sejas), bet kā ar neiemācītiem? Simetrijas noteikšanas proteīna piemērā?

Pie tam, ja tā, tad nākas atzīt, kas šis algoritms ir ļoti neefektīvs, jo nākas glabāt n kopijas katrai dimensijai, pret kuru ir vajadzīga invariance.


BTW, daudzas no "vienas grupas" figūrām es uztvertu kā vāji līdzīgas, laikam pikseļu izsmērēšanās dēļ pie pagriešanas.

(Reply to this) (Parent) (Thread)

Jā, tas ir ļoti neefektīvs no matemātiska viedokļa. Smadzeņu paternu atpazīšanas efektivitāti nodrošina gigantiska redundance smadzeņu garozā, gan kolonnu kā operatīvo pamatvienību, gan augstākos un zemākos līmeņos.

Kas attiecas uz iemācīšanos, tad cortical learning notiek ātri, ar kārtu aptuveni 0.1 .. 0.5 sekundes (jo šo datu apstrādei nevajag iedarbināt ilgtermiņa atmiņu, pietiek, ka tie tiek propagate'oti cauri reprezentāciju hierarhijai pa taisno no vizuālā input stream).

(Reply to this) (Parent) (Thread)

Un tādā ātrumā tiek izveidots ļoti daudz objekta kopiju, lai varētu nodrošināt lielo redundanci? Neizklausās ticami.
Tavi skaidrojumi runā viens otram pretī.

(Reply to this) (Parent) (Thread)

Atkarībā no bitu skaita pēc dense-to-sparse konversijas, bet jā, tipiski ar ātrumu aptuveni no 0.1 līdz 1 sekundei. Ja šādas kopijas tiktu taisītas "jēliem" datiem, tad, droši vien, tas vienkārši nestrādātu.

(Reply to this) (Parent) (Thread)

Pie tam, cilvēka vizuālā uztvere nav īsti rotational-invariant.

One, the pattern-matching wetware in our brains takes a time to activate that is approximately proportional to the angle of rotation between the comparable samples. Two, our vertical edge detectors are typically more sensitive than our horizontal edge detectors. Three, some of the heavy first-order encoding and pre-processing work is done as early as in our retinal connectomes, to pass for the brain as little data as possible.

(Reply to this) (Parent) (Thread)

Tā teorija par n reiz m reiz ... kopiju izveidošanu un glabāšanu man joprojām neliekas īsti ticama. Ar kādām metodēm vispār kaut ko tādu var izpētīt un pierādīt?

Vizuālā uztvere ir kaut kādā mērā invarianta, es arī nesaku, ka pilnībā (skat. OP). BTW, teorija, ka vismaz viens ar ekspektāciju sakrītošs stimuls dod pilnu aktivāciju nozīmētu "visu vai neko", neatstājot vietu nekādiem "daļēji".

(Reply to this) (Parent) (Thread)

Ar labu nakti, es padomāšu vēl par to, kā varētu falsificēt / pamatot to kopiju teoriju.

(Reply to this) (Parent) (Thread)

Ar labu nakti, un droši, protams. Šī gan nav mana šībrīža lielākā interese, bet tā tik un tā ir neirozinātne.

(Reply to this) (Parent)

Pārbaudīt to varētu, analizējot vienas neironu populācijas darbības potenciālu virkņu korelāciju pie vieniem un tā pašiem ievaddatiem zem dažādām transformācijām. Novērojot, kādas populācijas apakšgrupas ir aktīvas pie atšķirīgiem paraugiem, un kā korelē to ģenerētie kodi.

(Reply to this) (Parent)

Sarežģīta rotēta figūra būtu drīzāk kaut kas līdzīgs šim:

(Reply to this) (Parent) (Thread)

Man sanāca automātiski pateikt, ka tā ir rotēta par 180 grādiem vai atspoguļota. Pēc tam (> 0.5 sekundes) ieskatoties tuvāk detaļās radās šaubas, bet tas jau skaidrs.

(Reply to this) (Parent) (Thread)

Tur daļēji strādā arī expectation. Kad šo attēlu ieraudzīju pirmoreiz (pirms dažām dienām) un bez paskaidrojuma, man vajadzēja aptuveni pussekundi, lai saprastu, ka tā ir viena un tā pati figūra; tagad tas notiek "acumirklī" (t.i., pārāk ātri, lai es varētu subjektīvi izmērīt, cik ātri - domāju, ka aptuveni 0.1 sekundi ilgā laikā).

(Reply to this) (Parent)

You owe me a beer for this. :D

(Reply to this) (Parent) (Thread)

O, paldies. Izlasīšu rīt. Alu var saorganizēt, man tieši ir brīvā laika periods.

(Reply to this) (Parent)

Izskatās pēc BS, kas neko reālu izpratnē nedz praksē nedod, ja neskaita haļavnos grantus attiecīgiem pseidozinātniekiem. Mb kloniem.
Nez kāpēc es labāk par neirozinātniekiem saprotu kāpēc cilvēki dara to un to un kas to trigerē, bet saskaņā ar modernisma oficiālo idiotismu, man jāpieņem, ka esmu muļķis un jāgaida lapele, kas iznāks no sinapšu analizatora.

(Reply to this) (Thread)

Relax.

(Reply to this) (Parent)

Lieliski, tātad tomēr Furjē: "The mammalian (DeValois and DeValois 1980), and also the avian (Jassik-Gerschenfeld and Hardy 1981) visual systems perform a local Fourier analysis at an early stage of their information processing." (Visual symmetry recognition by pigeons. JD Delius, B Nowak - Psychological research, 1982 - Springer)

(Reply to this) (Thread)

Ja es pareizi saprotu (ar retinālās neiroloģijas tēmām man nav nācies saskarties īpaši daudz), tad šī apstrādes daļa notiek jau tīklenes gangliju neironos, t.i., pirms smadzenēm.

(Reply to this) (Parent)