Es teiktu, ka viena no iespaidīgākajām lietām GPT-3 sakarā ir fakts, ka tehniski tā ir ļoti "dumja" sistēma — viss, ko tā spēj, ir ļoti labi prognozēt nākamo vārdu dotajā virknē (un, ja pieņem, ka GPT-3 ir arhitektoniski līdzīgs GPT-2, tad arī no iekšpuses tur nav nekā sevišķi advancēta, atskaitot izmērus). Izskatās, ka vismaz daļā jomu quantity really is a quality all its own.

Vēl izskatās, ka language models really do encode knowledge: https://u.teknik.io/caOiJ.jpg

Pēc šāda paša principa gadījumā nedarbojās slavenais postmodernā džiberiša ģenerators? Tam, protams, bija niecīgs vārdu krājums, bet tekstiņi labi parodēja to, ko tiem bija jāparodē? Daži jokdari pat aizsūtīja tos kaut kādiem sociālistisko zinātnu žurnāliem un tik akceptēti.