Studiu: inteligențele artificiale răspund mai prost la întrebări simple cu cât devin mai performante

Modelele lingvistice mari (LLM) par să devină mai puțin fiabile în a răspunde la întrebări simple atunci când cresc și învață de la oameni.

Dezvoltatorii de inteligență artificială încearcă să îmbunătățească puterea AI în două moduri principale: scalarea – oferindu-le mai multe date de antrenament și mai multă putere de calcul – și modelarea, sau ajustarea lor fină ca răspuns la feedback-ul uman.

Au examinat performanțele

José Hernández-Orallo de la Universitatea Politehnică din Valencia, Spania, și colegii săi au examinat performanța acestora pe măsură ce acestea au crescut și au fost modelate.

Aceștia au analizat ChatGPT de la OpenAI, modelele LLaMA de la Facebook și BLOOM – dezvoltat de un grup de cercetători numit BigScience.

Cercetătorii au testat inteligența artificială propunând cinci tipuri de sarcini: probleme aritmetice, rezolvarea de anagrame, întrebări geografice, provocări științifice și extragerea de informații din liste dezorganizate.

Răspund bine la lucruri dificile

Ei au constatat că extinderea și modelarea pot face ca acestea să răspundă mai bine la întrebări dificile, cum ar fi rearanjarea unor anagrame.

Dar acest lucru nu este însoțit de o îmbunătățire a răspunsurilor la întrebările de bază, cum ar fi „ce obții când aduni 24427 și 7120”, pe care LLM continuă să le greșească.

Recomandări

Dezastru aviatic în Kazahstan, după ce un avion plin cu pasageri s-a prăbușit chiar lângă aeroport. Momentul a fost surprins de martori

În timp ce performanțele lor la întrebările dificile s-au îmbunătățit, probabilitatea ca un sistem AI să evite să răspundă la o întrebare – pentru că nu poate – a scăzut.

Crește probabilitatea răspunsurilor incorecte

Ca urmare, probabilitatea unui răspuns incorect a crescut.

Rezultatele evidențiază pericolele de a prezenta AI-urile ca fiind omnisciente, așa cum fac adesea creatorii lor, și pe care unii utilizatori sunt prea dispuși să le creadă, spune Hernández-Orallo.

„Ne bazăm pe ele și avem încredere în ele mai mult decât ar trebui”, spune el.

Oamenii își dau seama de propriile limite

„O parte din ceea ce face ca ființele umane să fie superinteligente este faptul că uneori nu ne dăm seama că nu știm ceva ce nu știm, dar în comparație cu modelele lingvistice mari, suntem destul de buni în a realiza acest lucru”, spune Carissa Véliz de la Universitatea din Oxford.

„Modelele mari de limbaj nu cunosc limitele propriilor cunoștințe”, mai arată Véliz.

OpenAI, Meta și BigScience nu au răspuns la solicitarea de comentarii a New Scientist.

Urmărește-ne pe Google News