Modelele lingvistice mai mari și mai receptive la instrucțiuni devin mai puțin fiabile

Inteligența artificială și modelele lingvistice mari (Large Language Models, LLM), în frunte cu ChatGPT, sunt tot mai prezente în viața noastră. Utilizate în educație, sănătate, știință și administrație, se dezvoltă rapid ca dimensiune și complexitate. Pe măsură ce devin mai mari și mai receptive la instrucțiuni, fiabilitatea lor a început însă să fie pusă sub semnul întrebării.

A deveni mai receptiv la instrucțiuni înseamnă ca modelul să răspundă mai bine comenzilor sau indicațiilor specifice ale utilizatorului. Aceasta include îmbunătățirea prin feedback uman în timpul antrenării și diferite ajustări pentru înțelegerea mai precisă a instrucțiunilor și răspunsuri mai potrivite nevoilor utilizatorului. Modelele pot astfel răspunde mai flexibil și mai clar comenzilor ori întrebărilor directe, dar procesul poate produce uneori și răspunsuri incorecte sau înșelătoare. Este acesta un lucru rău?

Modelele mai receptive la instrucțiuni pot oferi uneori răspunsuri care par „cu sens”, așa cum dorește utilizatorul, dar sunt în realitate greșite . Situația provine din tendința de a oferi mereu un răspuns și îngreunează identificarea erorii de către utilizator. În special în domenii critice precum medicina sau știința, asemenea răspunsuri pot produce erori grave și decizii greșite.

Studiul lui Lexin Zhou și al echipei sale, publicat la 25 septembrie 2024 în Nature , oferă un cadru științific acestor îngrijorări și arată că, pe măsură ce sistemele IA devin mai puternice, fiabilitatea lor poate scădea în mod neașteptat în loc să se îmbunătățească.

Articolul analizează modul în care strategiile actuale de extindere și antrenare a modelelor lingvistice mari pot genera probleme de fiabilitate. Vom examina de ce modelele mai mari și mai receptive la instrucțiuni pot induce utilizatorii în eroare și ce riscuri apar, în special în domeniile critice.

De ce devin modelele lingvistice mari mai puțin fiabile?

Antrenarea pe seturi mai mari de date, creșterea numărului de parametri și ajustarea prin tehnici precum feedbackul uman fac sistemele mai puternice. Potrivit lui Zhou și colegilor însă, îmbunătățirile nu garantează fiabilitatea. Principalele constatări pot fi rezumate astfel:

1. Concordanța dificultății și tendința de a greși: Sarcinile ușoare pentru oameni sunt, de regulă, ușoare și pentru modele. Odată cu mărirea lor pot apărea însă erori neașteptate chiar la dificultăți reduse. Modelele greșesc adesea calcule matematice simple sau jocuri de cuvinte pe care oamenii le rezolvă ușor, afectând încrederea utilizatorilor. Analizele modelelor precum GPT și LLaMA au observat creșterea ratelor de eroare chiar și în exemplele cu dificultate redusă din evaluare.

2. Evitarea sarcinii și răspunsurile înșelătoare: Modelele timpurii aveau tendința să lase întrebările fără răspuns sau să adopte abordări prudente, precum „Nu pot răspunde la această întrebare”. Cele mai receptive la instrucțiuni tind însă tot mai mult să ofere răspunsuri aparent logice, chiar dacă sunt greșite , în loc să se abțină. Acest lucru poate avea consecințe grave în probleme complexe și critice. Studiul arată că modele avansate precum GPT-4 și LLaMA-2 oferă răspunsuri eronate în situații dificile, în loc să evite răspunsul.

3. Stabilitatea răspunsurilor și încrederea înșelătoare: Deși stabilitatea răspunsurilor la formulări diferite s-a îmbunătățit, Zhou și echipa spun că progresul creează o încredere înșelătoare. Dacă aceeași întrebare este formulată diferit, modelul poate da uneori răspunsul corect, alteori unul greșit . Aceasta poate crea o iluzie periculoasă pentru cei convinși că modelul este fiabil. De exemplu, la un calcul simplu poate răspunde corect o dată și greși la o altă încercare.

Scăderea fiabilității: cauze și consecințe

Antrenarea cu mai multe date și mai mulți parametri îmbunătățește, de regulă, capacitatea de a rezolva probleme complexe. Creșterea probabilității de a greși chiar și probleme simple provoacă însă dificultăți serioase utilizatorilor. Zhou și echipa susțin că extinderea modelelor nu elimină complet erorile, ci face mai multe dintre ele invizibile . Utilizatorii pot obține rezultate greșite din cauza erorilor neobservate și pot lua decizii greșite pe baza lor.

Supravegherea umană este suficientă?

Supravegherea sistemelor IA este o strategie importantă pentru creșterea fiabilității. Studiul arată însă că nu este întotdeauna suficientă și că oamenii pot să nu observe erorile, în special în sarcinile complexe . Nedetectarea erorilor cu dificultate mare reprezintă un risc important, mai ales în domenii cu miză ridicată, precum sănătatea și știința. Un diagnostic greșit sau o informație științifică eronată poate avea consecințe ireversibile.

Concluzii și perspective

Fiabilitatea modelelor lingvistice mari este esențială într-o lume în care IA este folosită tot mai mult. Studiul lui Zhou arată că strategiile actuale nu sunt suficiente și subliniază necesitatea unei schimbări mai fundamentale de proiectare . În special în domeniile cu risc ridicat, folosirea modelelor cere mai multă atenție atât din partea utilizatorilor, cât și a dezvoltatorilor.

Constatările vor reprezenta un reper important pentru cercetările viitoare privind fiabilitatea IA. Pentru atingerea unui anumit standard sunt evident necesare schimbări profunde atât ale strategiilor de extindere, cât și ale celor de antrenare.