С ростом масштаба и способности следовать инструкциям языковые модели становятся менее надёжными

Искусственный интеллект и большие языковые модели (Large Language Models, LLM), среди которых ведущую роль играет ChatGPT, всё глубже входят в нашу жизнь. Они широко применяются в образовании, здравоохранении, науке, управлении и других областях и быстро растут в размере и сложности. Однако по мере увеличения моделей и улучшения их способности следовать инструкциям их надёжность всё чаще ставится под сомнение.

Улучшение способности следовать инструкциям означает, что модели ИИ лучше отвечают на конкретные команды и указания пользователя. Это включает совершенствование при обучении с помощью обратной связи от людей и различные настройки, позволяющие точнее понимать инструкции и формировать ответы, лучше соответствующие потребностям пользователя. Такие модели могут гибче и понятнее отвечать на прямые команды и вопросы, но иногда этот процесс также приводит к ошибочным или вводящим в заблуждение ответам. Но разве это плохо?

Модели, лучше следующие инструкциям, иногда могут выдавать ответы, которые выглядят «осмысленными» и соответствуют ожиданиям пользователя, но на самом деле неверны. Это связано со склонностью модели «всегда давать ответ», из-за которой пользователю труднее заметить ошибку. Особенно в таких ответственных областях, как медицина и наука, подобные ответы могут привести к серьёзным ошибкам и неправильным решениям.

Исследование Lexin Zhou и его команды, опубликованное 25 сентября 2024 года в Nature, придаёт этим опасениям научную основу и показывает, что по мере усиления систем ИИ их надёжность может неожиданно снижаться.

В этой статье мы рассмотрим, как современные стратегии масштабирования и обучения больших языковых моделей создают проблемы с надёжностью. Обсудим, почему более крупные модели, лучше следующие инструкциям, могут вводить пользователей в заблуждение и какие риски это несёт прежде всего в ответственных областях.

Почему большие языковые модели становятся менее надёжными?

Обучение на более крупных наборах данных, увеличение числа параметров и настройка с помощью таких методов, как обратная связь от людей, делают модели ИИ мощнее. Однако, согласно выводам Zhou и коллег, эти улучшения, вопреки ожиданиям, не гарантируют надёжности. Основные результаты исследования можно свести к следующим пунктам:

1. Соответствие сложности и склонность к ошибкам: Задачи, простые для людей, обычно просты и для больших языковых моделей. Однако с ростом модели неожиданные ошибки могут возникать даже на низких уровнях сложности. Модели часто ошибаются в простых арифметических действиях или словесных играх, с которыми люди легко справляются. Это подрывает доверие пользователей к надёжности модели. В частности, анализ моделей GPT и LLaMA показал, что частота ошибок возрастала даже на примерах низкой сложности.

2. Отказ от выполнения задачи и вводящие в заблуждение ответы: Ранние языковые модели чаще оставляли вопросы без ответа или выбирали осторожную формулировку вроде «Я не могу ответить на этот вопрос». Но модели, лучше следующие инструкциям, вместо отказа теперь чаще дают правдоподобные, но ошибочные ответы. Это может иметь серьёзные последствия, особенно в сложных и ответственных вопросах. Исследование показало, что продвинутые модели, такие как GPT-4 и LLaMA-2, в затруднительных ситуациях вместо отказа от ответа выдают неверную информацию.

3. Стабильность ответов и ложная уверенность: Хотя устойчивость ответов языковых моделей к разным формулировкам вопроса улучшилась, Zhou и его команда отмечают, что это создаёт ложное чувство уверенности. Когда один и тот же вопрос задаётся разными способами, модель может то отвечать правильно, то ошибаться. Это способно вызвать опасное заблуждение, особенно у пользователей, считающих модель надёжной. Например, при простом арифметическом действии модель может один раз ответить правильно, а в другой раз ошибиться.

Снижение надёжности моделей: причины и последствия

Обучение больших языковых моделей на большем объёме данных и с большим числом параметров обычно улучшает их способность решать сложные задачи. Но повышение вероятности неверных ответов даже на простые вопросы создаёт серьёзные проблемы для пользователей. Zhou и его команда утверждают, что масштабирование моделей не устраняет ошибки полностью, а делает больше ошибок незаметными. В результате пользователи могут получать неверные результаты из-за ошибок, которых не замечают, и принимать на их основе неправильные решения.

Достаточно ли контроля со стороны человека?

Контроль систем ИИ — важная стратегия повышения надёжности моделей. Однако исследование показывает, что человеческого контроля не всегда достаточно и люди не замечают ошибок модели, особенно в сложных задачах. Невозможность обнаружить ошибки на высоких уровнях сложности представляет большой риск для пользователей в ответственных областях. Это особенно важно в здравоохранении и науке, где цена ошибки высока. Неправильный диагноз или ошибочные научные данные могут привести к необратимым последствиям.

Выводы и перспективы

Надёжность больших языковых моделей крайне важна в мире, где ИИ применяется всё шире. Работа Zhou и его команды подчёркивает, что современные стратегии недостаточны для повышения надёжности и необходимо более фундаментальное изменение принципов проектирования. Использование этих моделей, особенно в областях высокого риска, требует большей осторожности как от пользователей, так и от разработчиков.

Эти результаты станут важным ориентиром для будущих исследований по повышению надёжности систем ИИ. Очевидно, что для достижения определённого стандарта надёжности больших языковых моделей необходимы существенные изменения как стратегий масштабирования, так и методов обучения.