Es teiktu, ka viena no iespaidīgākajām lietām GPT-3 sakarā ir fakts, ka tehniski tā ir ļoti "dumja" sistēma — viss, ko tā spēj, ir ļoti labi prognozēt nākamo vārdu dotajā virknē (un, ja pieņem, ka GPT-3 ir arhitektoniski līdzīgs GPT-2, tad arī no iekšpuses tur nav nekā sevišķi advancēta, atskaitot izmērus). Izskatās, ka vismaz daļā jomu quantity really is a quality all its own.

Vēl izskatās, ka language models really do encode knowledge: https://u.teknik.io/caOiJ.jpg