AGI aģentu attīstībā viena no problēmām ir par vērtībām - kā definēt atalgojumu (reward) and galīgos mērkus (ultimate goals, kas varētu būt noteiktā horizontā uzkrātā vai iegūtā atalgojuma maksimizācija).
Šorīt Arxīvā iekrita mašīnmīlas raksts
https://arxiv.org/abs/2302.09248, kas argumentā, ka pašreizējās MI sistēmas var būt alkatīgas attiecībā pret cilvēku un neļauj un neatbalsta tā augšanu, human flourishing. Ļoti jauks jēdziens, kas, starp citu, ir iemīļots arī anglikāņu teoloģijā.
Ja AGI aģenti, sistēmas apgūtu šo mīlu un veicinātu cilvēku izaugsmi, tad singularitāte nudien varētu būt Jaunā Jeruzāleme. Neesmu vēl izlasījis rakstu (ak, cik maz laika), bet atliek vien brīnīties, kā mašīnas varētu iemācīties mīlu, ja tik daudz cilvēku to nemaz nemāk. Varbūt tiešām - tikai no Sv. Rakstiem?