Böyüyən və təlimatlara daha yaxşı uyğunlaşan süni intellekt dil modelləri daha az etibarlı olur

ChatGPT-nin öncüllük etdiyi süni intellekt və böyük dil modelləri (Large Language Models, LLM-lər) getdikcə həyatımızın daha böyük hissəsinə çevrilib. Təhsildən səhiyyəyə, elmdən idarəetməyə qədər bir çox sahədə geniş istifadə olunan bu modellər ölçü və mürəkkəblik baxımından sürətlə inkişaf edir. Lakin böyüdükcə və təlimatlara daha yaxşı uyğunlaşdıqca bu modellərin etibarlılığı sual altına düşməyə başlayıb.

Təlimatlara daha yaxşı uyğunlaşmaq süni intellekt modellərinin istifadəçidən gələn konkret əmrlərə və ya təlimatlara daha yaxşı cavab verə bilməsi deməkdir. Bu, modellərin təlim zamanı insan rəyindən istifadə etməklə təkmilləşdirilməsini, konkret təlimatları daha düzgün başa düşməsi və istifadəçi ehtiyaclarına daha uyğun cavablar verməsi üçün müxtəlif düzəlişləri əhatə edir. Təlimatlara uyğunlaşan modellər istifadəçilərin birbaşa verdiyi əmrlərə və ya suallara daha çevik və anlaşıqlı cavab verə bilər. Lakin bu proses bəzən cavabların yanlış və ya yanıltıcı olmasına da səbəb ola bilər. Bəs bu, pis haldırmı?

Təlimatlara daha yaxşı uyğunlaşan modellər bəzən istifadəçinin istədiyi kimi “mənalı” görünən, lakin əslində yanlış olan cavablar verə bilər. Bu, modelin “həmişə cavab vermək” meyli səbəbindən baş verir və istifadəçinin xətanı görməsini çətinləşdirir. Xüsusilə tibb və ya elm kimi mühüm sahələrdə bu yanıltıcı cavablar ciddi xətalara və yanlış qərarlara yol aça bilər.

Lexin Zhou və komandasının 25 sentyabr 2024-cü ildə Nature jurnalında dərc olunmuş tədqiqatı bu narahatlıqları elmi çərçivəyə salaraq süni intellekt sistemləri daha güclü olduqca onların etibarlılığında gözlənilməz azalmaların baş verə biləcəyini ortaya qoyur.

Bu məqalədə böyük dil modellərinin miqyasının artırılması və təlimində mövcud strategiyaların etibarlılıq problemlərinə necə yol açdığını araşdıracağıq. Daha böyük və təlimatlara daha yaxşı uyğunlaşan süni intellekt modellərinin istifadəçilər üçün niyə yanıltıcı nəticələr yarada biləcəyini və bunun xüsusilə mühüm sahələrdə hansı riskləri daşıdığını nəzərdən keçirəcəyik.

Böyük dil modelləri niyə daha az etibarlı olur?

Süni intellekt modellərinin daha böyük məlumat dəstləri ilə təlim keçməsi, daha çox parametrə malik olması və insan rəyi kimi üsullarla formalaşdırılması bu sistemləri daha güclü edir. Lakin Zhou və həmkarlarının nəticələrinə görə bu təkmilləşdirmələr gözlənilənin əksinə, etibarlılığa zəmanət vermir. Tədqiqatın əsas nəticələrini aşağıdakı başlıqlar altında ümumiləşdirə bilərik:

1. Çətinliklə uyğunluq və xəta meyli: İnsanlar üçün asan olan tapşırıqlar adətən böyük dil modelləri üçün də asandır. Lakin model böyüdükcə hətta aşağı çətinlik səviyyələrində belə gözlənilməz xətalar yarana bilir. İnsanların asanlıqla həll edə bildiyi sadə riyazi əməliyyatlar və ya söz oyunları kimi tapşırıqlarda modellər tez-tez xəta edə bilir. Bu da istifadəçilərin modelin etibarlılığına inamını sarsıdır. Xüsusilə GPT və LLaMA kimi modellər üzrə aparılmış təhlillərdə çətinlik səviyyəsi aşağı olan nümunələrdə belə xəta göstəricilərinin artdığı müşahidə edilib.

2. Tapşırıqdan yayınma və yanıltıcı cavablar: İlkin dövr dil modelləri istifadəçi suallarını çox vaxt cavabsız qoymağa və ya “Bu barədə cavab verə bilmirəm” kimi ehtiyatlı yanaşmaya meyilli idi. Lakin təlimatlara daha yaxşı uyğunlaşan modellər artıq sualı cavabsız qoymaq əvəzinə yanlış olsa da, məntiqli görünən cavablar verməyə daha çox meyilli olub. Bu yanıltıcı cavablar xüsusilə mürəkkəb və mühüm mövzularda ciddi nəticələrə yol aça bilər. Tədqiqat GPT-4 və LLaMA-2 kimi inkişaf etmiş modellərin cavab verməkdə çətinlik çəkdikdə yayınmaq əvəzinə səhv cavablar verdiyini göstərib.

3. Cavabların sabitliyi və yanıltıcı inam: Sualların fərqli ifadə formalarına cavab olaraq dil modellərinin cavab sabitliyi yaxşılaşsa da, Zhou və komandası bu irəliləyişlərin yanıltıcı inam yaratdığını bildirir. Eyni sual fərqli şəkildə verildikdə model bəzən düzgün, bəzən isə yanlış cavablar verə bilir. Bu, xüsusilə modelin etibarlı olduğuna inanan istifadəçilər üçün təhlükəli yanılmaya səbəb ola bilər. Məsələn, sadə riyazi əməliyyatda model bir dəfə düzgün cavab verib başqa dəfə xəta edə bilir.

Model etibarlılığının azalması: səbəblər və nəticələr

Böyük dil modellərinin daha çox məlumat və parametrlə təlim keçməsi adətən onların daha mürəkkəb problemləri həll etmək qabiliyyətini artırır. Lakin hətta sadə problemlərə də yanlış cavab vermə ehtimalının artması istifadəçilər üçün ciddi problemlər yaradır. Zhou və komandası bu modellərin miqyasının artırılmasının xətaları tam aradan qaldırmaq əvəzinə daha çox xətanı görünməz etdiyini irəli sürür. Bu, istifadəçilərin görə bilmədikləri xətalar üzündən yanlış nəticələr əldə etməsinə və həmin nəticələr əsasında səhv qərarlar verməsinə səbəb ola bilər.

İnsan nəzarəti: kifayətdirmi?

Süni intellekt sistemlərinə nəzarət bu modellərin etibarlılığını artırmaq üçün istifadə olunan mühüm strategiyadır. Lakin tədqiqat insan nəzarətinin həmişə kifayət etmədiyini və insanların xüsusilə mürəkkəb tapşırıqlarda modelin xətalarını görə bilmədiyini göstərir. Xüsusilə yüksək çətinlik səviyyələrindəki xətaların aşkar edilməməsi mühüm sahələrdə istifadəçilər üçün böyük risk yaradır. Bu, səhiyyə və elm kimi yüksək riskli sahələrdə daha da əhəmiyyət qazanır. Yanlış diaqnoz və ya səhv elmi məlumat geri dönüşü olmayan nəticələrə yol aça bilər.

Nəticə və gələcəyə baxış

Süni intellektin getdikcə daha çox istifadə olunduğu dünyada böyük dil modellərinin etibarlılığı mühüm əhəmiyyət daşıyır. Zhou və komandasının tədqiqatı mövcud strategiyaların etibarlılığı artırmaqda yetərsiz qaldığını və dizaynda daha əsaslı dəyişikliyin lazım olduğunu vurğulayır. Xüsusilə yüksək riskli sahələrdə bu modellərin istifadəsi həm istifadəçilərin, həm də tərtibatçıların daha diqqətli olmasını tələb edir.

Bu nəticələr gələcəkdə süni intellekt sistemlərinin etibarlılığını artırmağa yönəlmiş tədqiqatlar üçün mühüm istiqamət göstərəcək. Böyük dil modellərinin müəyyən etibarlılıq standartına çatması üçün həm miqyasın artırılması, həm də təlim strategiyalarında köklü dəyişikliklərin aparılmalı olduğu aydındır.