Почему некоторые врачи чрезмерно доверяют искусственному интеллекту и даже не замечают этого?

Искусственный интеллект меняет медицинскую практику

Технологии искусственного интеллекта (ИИ) способны произвести переворот в разных областях медицины. Но эти новшества несут риск чрезмерного доверия со стороны врачей, пациентов и их близких.

Особенно важна «предвзятость автоматизации» (automation bias), из-за которой врачи принимают решения ИИ без критической оценки. Она может влиять и на обучение, и на безопасность пациентов. В статье рассматриваются преимущества и риски ИИ при медицинских решениях, а также способы более эффективного внедрения этих технологий.

Польза и риски решений на основе ИИ

Опыт д-ра Stephen Belmustakov наглядно показывает, как ИИ может стать в медицине «подушкой безопасности». Работая с ИИ-системами радиологии в нью-йоркской больнице, он привык к поддержке, а на новом месте без этой технологии чувствовал себя «неуверенно». ИИ даёт врачам своего рода вторую пару глаз, но одновременно создаёт опасность чрезмерного доверия.

Предвзятость автоматизации: наблюдаемые опасности

Предвзятость автоматизации может заставлять врачей принимать рекомендации ИИ без проверки. Исследование под руководством д-ра Paul Yi изучает реакцию врачей на решения ИИ. Участвовавшие 220 радиологов и специалистов других направлений по-разному оценивали полезность предложенных находок. Когда ИИ показывал ошибочные результаты, радиологи не считали его полезным, а врачи других специальностей были склонны доверять больше. Это показывает, что доверие к ИИ может зависеть от уровня специальных знаний у оценивающего результат врача.

Роль ИИ в медицинском обучении и клинической практике

Распространение ИИ может изменить и медицинское образование. Предлагаемое системой «мгновенное второе мнение» способно менять обучение в клинике. Д-р Belmustakov отмечает, что предварительная разметка радиологических находок ИИ снижает продуктивность обучения. Он поясняет: «Когда инструмент сразу сообщает о положительной находке, это меняет то, как вы смотрите».

Возможные последствия ошибочных решений

Ошибки ИИ могут серьёзно угрожать безопасности пациентов. Верные рекомендации повышают эффективность, но при усталости или давлении на врача неверные советы могут вести к необратимым ошибкам. В описанном в работе Paul Yi сценарии радиолог может просто согласиться и продолжить, что создаёт риск медицинской ошибки.

Как управлять взаимодействием с ИИ: возможные решения

Проектирование ИИ с учётом пользователя

Способ общения системы с врачом критически важен. Одни системы отмечают находки простыми рамками, другие дают подробные объяснения и сравнивают похожие случаи. Эти подходы способны существенно менять доверие. Простое объяснение ускоряет решение, но может приводить к недостаточно тщательной оценке.

Обучение и сертификация

Для эффективного применения ИИ можно разрабатывать учебные и сертификационные программы. Д-р Paul Yi считает, что работающим с такими системами радиологам необходим определённый уровень компетентности. Это может повысить безопасность и сделать доверие к системе более осознанным.

ОСНОВНЫЕ МЫСЛИ

Почему мы чрезмерно доверяем ИИ?

1. Предвзятость автоматизации
   Инструменты ИИ часто продвигают с заявлениями о высокой точности, из-за чего врачи могут принимать автоматические решения без проверки. Человек склонен излишне доверять технологиям.

2. Время и стресс
   При большой клинической нагрузке и необходимости быстро решать врачи могут воспринимать ИИ как средство экономии времени и быстрого второго мнения. Такое удобство несёт риск забыть проверить ошибочный результат.

3. Представление о беспристрастности
   Вера в отсутствие человеческих ошибок у алгоритмов может создавать ложное ощущение их объективности и надёжности. Однако они могут наследовать предвзятость обучающих данных.

4. Недостаток обучения и осведомлённости
   Без достаточной подготовки по правильному применению и критическому анализу ИИ врачу трудно понять его ограничения. Это может вести к неосознанному чрезмерному доверию.

Ловушки ИИ для врачей

1. Ложноположительные и ложноотрицательные результаты
   Системы ИИ могут давать и ложноположительные, и ложноотрицательные ответы. Первые ведут к ненужным вмешательствам, вторые — к пропуску важных проблем.

2. Неясность ответственности
   При ошибке чрезмерное доверие решениям ИИ может затруднять определение ответственности врача и системы, создавая этические и правовые проблемы.

3. Чрезмерная зависимость от технологии
   Полная опора на ИИ вместо собственных знаний и опыта может со временем ослаблять профессиональное суждение. Это особенно опасно при высокой вероятности ошибки системы.

4. Алгоритмическая предвзятость
   ИИ может отражать перекосы обучающих наборов данных. Для отдельных групп пациентов и состояний это создаёт неравные результаты и риски безопасности.

Как предотвратить чрезмерное доверие к ИИ?

1. Комплексные учебные программы
   Необходимо обучать врачей устройству ИИ, его ограничениям и возможной предвзятости. Программы должны объяснять работу алгоритмов, оценку их результатов и выявление ошибочных решений.

2. Прозрачность и объяснимость
   Инструменты ИИ должны объяснять критерии принятия решений. Системы нужно делать прозрачнее и понятнее, чтобы врач видел причины конкретного вывода.

3. Сбалансированное сотрудничество человека и технологии
   ИИ должен поддерживать клиническое решение, оставляя окончательный выбор профессиональному суждению врача. Его роль — дополнять способности специалистов, а не заменять их.

4. Регуляторные стандарты и одобрение
   Для медицинского применения ИИ нужны строгие нормы и стандарты: тщательные испытания надёжности, беспристрастности и точности, а также регулярное обновление алгоритмов.

Вывод: баланс технологии и человеческого фактора

ИИ открывает большие возможности в медицине, но нельзя игнорировать риски чрезмерного доверия врачей. Для уменьшения предвзятости автоматизации нужны лучше спроектированные системы, комплексное обучение и продуманное регулирование. В итоге ИИ положительно повлияет на медицинскую практику, если применять его в балансе с человеческим участием.