2019. gada februārī OpenAI nāca klajā ar valodas modeli GPT-2, kas spēj automātiski sintezēt tekstus.

Tas ir baisi labs. Piemērus var atrast OpenAI rakstā vai tehniskajā dokumentācijā, bet šeit būs viens izvilkums:

Uzvedne (cilvēka rakstīta): Šokējošā atklājumā zinātnieks uzgāja vienradžu baru dzīvojam nomaļā, iepriekš neizpētītā Andu kalnu ielejā. Vēl pārsteidzošāks pētniekiem bija fakts, ka vienradži runāja skaidrā angļu valodā.

Modeļa turpinājums (GPT-2 ģenerēts): Īpatnējā raga dēļ zinātnieks šo populāciju nodēvēja par Ovida vienradžiem. Šie četrragainie, sudrabbaltie vienradži iepriekš zinātnei nebija pazīstami.

Tagad, gandrīz divus gadsimtus vēlāk, noslēpums, kas radījis šo neparasto parādību, beidzot ir atrisināts.

La Pazas universitātes evolucionārais biologs Dr. Horhe Perezs kopā ar vairākiem ceļabiedriem pētīja Andu kalnus, kad uzdūrās nelielajai ielejai bez citiem dzīvniekiem vai cilvēkiem.

Perezs novēroja, ka ielejā sudrabainā sniegā starp divām klinšu virsotnēm atrodas kas līdzīgs dabiskai strūklakai. Perezs un pārējie turpināja ceļu tālāk ielejā. "Kad mēs uzkāpām vienā no virsotnēm, ūdens izskatījās zils ar dažiem kristāliem pa virsu", sacīja Perezs.

Biedējošā lieta par GPT-2 ģenerētajiem tekstiem ir tā, ka tie ļoti dabiski plūst, pavirši skrienot tiem pāri, lasot pa diagonāli, uztverot tikai rakstības stilu un galvenos atslēgvārdus.

"Vienradžu" paraugs lasās kā populārzinātniska preses relīze. "Radioaktīvo materiālu zādzības" paraugs lasās kā īsts ziņu raksts. "Mailijas Sairesas veikalā zagšanas" paraugs lasās kā īsts raksts no kādas slavenību baumu lapas. "GPT-2" paraugs lasās kā autentisks OpenAI paziņojums presei. "Legolasa un Gimli" paraugs lasās kā fragments no īstas fantāzijas grāmatas. "Pilsoņu kara mājasdarba" paraugs lasās kā īsts vāja līdz viduvēja skolēna darbs. "JFK pieņemšanas runas" paraugs lasās kā īsta politiķa runa utt.

Vienkārši ar acīm skrienot pāri, nepievēršot padziļinātu uzmanību, tie visi izskatās pēc absolūti normāliem tekstiem. Ātri pāršķirstot es nebūtu ievērojis, ka tie ir mašīnģenerēti. Es tajos nebūtu pamanījis pilnīgi nekā aizdomīga.

Bet lasot uzmanīgi, es sāku ievērot, ka šajos tekstos trūkst loģikas. Lūk, piemēram, no "Vienradžu" parauga:

Īpatnējā raga dēļ zinātnieks šo populāciju nodēvēja par Ovida vienradžiem. Šie četrragainie, sudrabbaltie vienradži iepriekš zinātnei nebija pazīstami

Kāds sakars ir "Ovidam" ar "īpatnējo ragu", un kā tieši nodēvēšana par "Ovida vienradžiem" norādītu uz šiem vienradžu raksturīgajiem ragiem? Turklāt jūs tikko rakstījāt, ka viņiem ir viens rags, kāpēc nākamajā teikumā rakstāt, ka viņiem ir četri?

Kaut arī to izcelsme joprojām nav līdz galam skaidra, daži tic, ka šie radījumi izveidojās, kad cilvēks un vienradzis viens otru satika laikos pirms civilizācijas. Saskaņā ar Perezu: “Dienvidamerikā šādi atgadījumi ir visai ierasti."

Pagaidiet, vienradži ir cēlušies savā starpā krustojoties cilvēkiem un... ...vienradžiem?

Vai "Gredzenu pavēlnieka" paraugā:

Aragorns izvilka zobenu, un Fangornas kauja tika uzvarēta. Viņiem iznākot no biezokņa, rīta migla izklīda, un diena pārvērtās vakara krēslā.

Jā, no rītiem dienas nepārvēršas vakara krēslā.

Vai “Atdzīvinātā Kenedija” paraugā:

(1) Kenedija smadzenes tika ievāktas un atjaunotas, izmantojot audu paraugus. Audus nekādā gadījumā nevarēja transportēt pa gaisu. (2) Audu paraugs tika paņemts no viņa krūšu kurvja augšējās daļas un nosūtīts analīzēm uz Merilendas Universitāti. Cilvēka smadzenes tajā brīdī būtu apmēram pusotrs kubikcentimetrs. Pēc tam dati tika analizēti kopā ar no sākotnējām smadzenēm iegūto materiālu, lai izveidotu rekonstrukciju jeb vienkārši izsakoties - smadzeņu audu "tīklāju".

Viņa smadzenes tika paņemtas... ...no viņa krūšu kurvja? Cilvēka smadzenes aizņem pusotru kubikcentimetru?

Labi, tātad tā tomēr nav cilvēkam līdzvērtīga rakstītspēja. OpenAI to arī nemaz neapgalvo, un es arī nemēģinu noniecināt viņu sasniegumus algoritmu izstrādē, un tā arī nav šī raksta būtība.

Būtība ir tāda, ka lasot pavirši un neuzmanīgi, tu palaid garām acīmredzamas aplamības. Būtība ir tāda, ka šis OpenAI 2019. gada GPT-2 modelis ir spējīgs iziet Tjūringa testu pret cilvēku autopilotā.

Būtība ir tāda, ka es pazīstu daudzus cilvēkus, kuri pat mudināti meklēt nepilnības, neatrastu neko dīvainu vai muļķīgu GPT-2 rakstītajos paraugos.

Droši vien ir ļoti daudz cilvēku, kas pilnībā noticētu un pieņemtu šādas burtiskā nozīmē "viltus ziņas", pavisam mašīnradītus ziņu rakstus, sociālo mediju ierakstus, emuāru publikācijas utt. Tas ir diezgan satraucoši. Vēl satraucošāk - ja vien es nepielieku apzinātas pūles lasīt uzmanīgi, es būtu viens no viņiem.

Šajā vietā ļoti labi iederas Robina Hensona raksts "Labāki vāvuļotāji", kurā viņš, manuprāt, nepārspīlējot apgalvo, ka liela daļa cilvēku runas tiek veidota no zemas kārtas korelācijām, tas ir, veidojot teikumus un rindkopas, kam statistiski ir varbūtīgāk sekot iepriekšējiem teikumiem un rindkopām:

Astoņpadsmit gadus strādājot par profesoru, esmu vērtējis daudz studentu eseju. Kaut arī parasti es cenšos iemācīt jēdzienu dziļo struktūru, tas, ko vidējais students patiesībā iemācās, vairāk izskatās pēc zemas kārtas korelāciju kopas. Viņi zina, kurus vārdus lietot, kuri vārdi mēdz iet kopā, kuri vārdu savienojumi raisa pozitīvas asociācijas utt. Bet ja jūs eksāmenā uzdodat jautājumu, kur dziļās izpratnes atbilde ir atšķirīga no zemas kārtas korelāciju atbildes, lielākā daļa studentu parasti atbild kļūdaini.

Ar vienkāršām korelācijām pietiek virspusējām pieklājības sarunām, piemēram, par to, cik ārā labs vai slikts laiks, par tuvinieku veselību, vai velns lai parauj to vienu politiķi! Vienkāršas korelācijas lielākoties ir arī tas, ko es redzu iedvesmojošās TED runās, un kad publiski intelektuāļi un sarunu šovu viesi spriedelē par tādām tēmām, kuras viņi patiesībā nesaprot, kā kvantu mehānika, apziņa, postmodenisms, vai mūžīgā nepieciešamība pēc papildus regulējumiem visās jomās. Galu galā plašsaziņas līdzekļu laika kavētājiem dziļās struktūras nav jāsaprot labāk kā viņu audiencei.

Ļaujiet man nodēvēt šos zemas kārtas korelācijās balstītos runas (vai mūzikas u.c.) veidus par vāvuļošanu. Vāvuļošana nav bezjēdzīga, bet nezinošai publikai tā izskatās balstīta dziļākā lietu izpratnē, nekā tā patiesībā ir. Laba vāvuļošana var būt gan izklaidējoša, gan nomierinoša, gan satraucoša vai aizraujoša. Tā vienkārši nav pareizā vieta, kur mācīties dziļāku izpratni.

Kādreiz puspajokam mēdzu teikt, ka New Age Bullshit Generator ir noderīgs līdzeklis optimisma vairošanai savā dzīvē. Patiesībā ne tā aura, ne līdzības nespēja turēt līdzi īstam cilvēka rakstītam iedvesmojošajam tekstam. GPT-2 spēj.

Man arī ir aizdomas, ka GPT-2 ir sasniedzis cilvēku rakstītas dzejas brīvo asociāciju un lirisko funkciju līmeni. Modeļa rakstītie "Kauciena" turpinājumi lasījās gluži kā Alens Ginsbergs, tiem trūka vien viņa pasaules uzskatu.

Esmu pamanījis, ka no sarunām nespēju pateikt, vai cilvēks ir inteliģents IQ nozīmē.

Esmu intervējis darba kandidātus, kas man ir likušies spilgti un atjautīgi, bet izrādās, ka vairums no viņiem nav spējīgi atrisināt vienkāršus matemātikas uzdevumus. Savukārt uzdevumus atrisināt spējīgie sarunās ne tuvu neatstāja atjautīgāku cilvēku iespaidu.

Esmu pasniedzis lekcijas valsts skolu skolotājiem, kuru spējas matemātikā izrādījās tik neticami vājas, ka es nevarēju noticēt, ka tik slikti saprast matemātiku vispār ir iespējams. Taču tam nebija pilnīgi nekāda sakara ar to, kādu iespaidu šie cilvēki par sevi atstāja sarunās ārpus darba laika. Viņi nebija ne lēni, ne kusli, viņi bija asprātīgi, patīkami un silti.

Esmu lasījis garīgi atpalikušu cilvēku personīgos blogus - cilvēku, kuri pēc definīcijas IQ testos saņem zemus novērtējumus - un tie lasījās tikpat uzrunājoši, radoši un smieklīgi kā jebkuri citi.

Lai vai kādu spēju arī nenoteiktu IQ testi un matemātikas uzdevumi, es domāju, ka tās trūkumam nav ne mazākā sakara ar cilvēka prasmi radīt par sevi labu iespaidu sabiedrībā vai izklausīties gudram sarunās.

Ja cilvēcisko inteliģenci nosaka spriestspēja un prasme vērtēt argumentu jēdzību, tad lai radītu lingvistisku stilu vai estētiku, kas spētu apmuļķot mūsu domāšanas modeļu atpazīšanas mehānismus, šāda cilvēciskā inteliģence vienkārši nav nepieciešama, ja mēs nekoncentrējamies uz satura analīzi.

Lasot GPT-2 paraugus es ievēroju arī to, cik bieži manas smadzenes pārslēdzas no koncentrētas uzmanības režīma uz ātru pārskriešanu. Ar interesi izlasīju paraugu par Spānijas vēsturi, un GPT-2 ģenerētais teksts bija acīmredzami absurds. Savukārt paraugā par datorspēlēm viegli zaudēju modrību, jo šī tēma mani neinteresē, un pret mašīnģenerēto tekstu man nebija nekā iebilstama. Manas smadzenes pastāvīgi izvērtē, kas ir manas uzmanības vērts, un ko var atvirzīt otrajā plānā. GPT-2 patiesībā ir lielisks rīks sava uzmanības līmeņa novērtēšanai.

Mašīnmācīšanās mūsdienās ir ļoti spējīga modeļu atpazīšanā, savukārt pastiprināta uzmanība un spriestspēja (kas varētu būt pakārtota pastiprinātai uzmanībai) mūsdienu mašīnapmācībai nav pa spēkam.

Beta viļņi smadzenēs ir saistīti ar uzmanību, koncentrēšanos vai aktīvām un nemierīgām domām, savukārt alfa viļņi raksturīgi atslābinātam stāvoklim nomodā, bet ar aizvērtām acīm, pirms aizmigšanas vai sapņojot. Alfa viļņi strauji apraujas tiklīdz subjekts pieļauj kļūdu, un sāk pastiprināti pievērst uzmanību. Man būtu interesanti redzēt, kā spēja atšķirt GPT-2 ģenerētu tekstu no cilvēka rakstītā korelē ar alfa un beta viļņiem.

Augstas efektivitātes teksta ģeneratoru tūlītējie efekti ir biedējoši. Neticami viegli un lēti būs muļķot cilvēkus, manipulēt sabiedriskās kustības utt. Nelabvēlīgiem spēkiem ir ļoti lielas iespējas to izmantot savā labā.

Taču sekundārie efekti varētu būt pat pozitīvi. Ja tikai apzināta, fokusēta loģiska doma ir spējīga detektēt botus, varbūt vairāk cilvēku pievērsīs uzmanību savas apziņas klātesamībai, ievērojot brīžus kuros tā īsti nav klātesoša, un šajos autopilota stāvokļos uzsūktos iespaidus nošķirs no patiesi gūtām zināšanām.

"Es īsti neiedziļinājos šajā rindkopā, bet man vienalga, noticēšu autoram uz vārda" mentālais ieradums būtībā ir identisks "Es īsti neiedziļinājos šajā rindkopā, jo tā ir māšīnģenerēta un tik bezjēdzīga, ka es tajā nemaz nebūtu spējīgs iedziļināties." Tikai pirmajā gadījumā es pieņemu, ka kļūda ir manī, nevis tekstā. Pēc-GPT-2 pasaulē šis vairs nav drošs pieņēmums. "Noklusējuma pazemības" vietā (nesaprotot tekstu pieņem, ka teksts ir patiess, bet tu vienkārši kaut ko nesaproti), vislabākā mentālā rīcība botu pasaulē ir "noklusējuma nullēšana" (nesaprotot tekstu pieņem to pašu epistēmisko stāvokli, kā kad šis teksts vispār nekad nav ticis lasīts).

Varbūt praktiskā pieredze ar GPT-2 palīdzēs cilvēkiem uzlabot savas "noklusējuma nullēšanas" prasmes...

— Sarah Constantin, "Humans Who Are Not Concentrating Are Not General Intelligences"