Versija uz nakti
Gribat šausmenīti uz nakti?

Protams ka gribat.

Tātad:

Lai trenētu LLM, vajag cilvēku sarakstītus tekstus. Trenēt LLM ar LLM ģenerētiem tekstiem nesanāk, tā trenēti LLM strauji degradējas [model collapse phenomenon]. Neviens nezina kāpēc, ir dažādas teorijas saistībā ar informācijas virkņu entropiju bet skaidri neviens nezina.

Līdz ar to LLM kompānijas kā Anthropics masveidā pērk tekstus. Grāmatas. Lai izgatavotu treniņa datus. Pērk vecas drukātas grāmatas jo šādi teksti ir ar garantiju tīri, t.i. cilvēku ģenerēti. Nav izslēgts ka pēc laika tīrie teksti būs tāds pats deficīts kā tīrais ūdens.

Kas notiek tālāk? Pasaules infotelpā pieaug LLM ģenerēto tekstu %. Vienkārši tāpēc ka LLM tekstus raksta daudz ātrāk nekā cilvēki. Sekas? Nākamās cilvēku paaudzes dzīvos infovidē kuras arvien lielāku % sastādīs LLM ģenerēti teksti. Es atkārtoju: LLM ģenerētus tekstus nevar izmantot LLM treniņam un neviens nezina kāpēc. Jautājums: Vai cilvēku trenēšanai LLM ģenerēti teksti der? Es zinu ka LLM trenēšana un cilvēka mācīšanās strādā dažādi bet vēlreiz- neviens nezina kāpēc augstāk minētais efekts ir, tas ir tikai empīriski konstatēts.

Nu un tātad nākotnē mums ir bērni kuriem viss - mācību grāmatas, multenes, bērnu pasaciņas - ir LLM ģenerēts. Vnk tāpēc ka viss ir pilns ar LLM ģenerētajiem tekstiem - LLM tos ģenerē ātrāk par cilvēkiem.

Kas notiek? [visticamāk ka nekas īpašs, bet nu es esmu brīdinājis].