Даёт ли ChatGPT точные и удовлетворительные ответы на вопросы онкологических пациентов?

Доступ к информации крайне важен для людей с диагнозом рака: он помогает уменьшать тревогу во время лечения и принимать обоснованные решения. Многие пациенты и их близкие также считают информацию о своём заболевании одной из главных потребностей после постановки диагноза. Однако найти достоверные сведения в столь обширном источнике, как интернет, бывает трудно, и информация может вводить в заблуждение.

Мир, который меняется с GPT

За последние 2 года большие языковые модели, такие как ChatGPT, стали основой нового поколения чат-ботов на базе искусственного интеллекта, стремящихся решить эту проблему и быстро предоставлять пациентам необходимые сведения. Но насколько точно ИИ отвечает на вопросы о серьёзных проблемах со здоровьем?

Доктор Jharna Patel и её коллеги на встрече Общества гинекологической онкологии по онкологическим заболеваниям у женщин в 2024 году (Society of Gynecologic Oncology’s (SGO) 2024 Annual Meeting on Women’s Cancer) показали, что чат-бот ChatGPT на базе ИИ (версия 3.4) способен давать точные и удовлетворительные ответы на часто задаваемые вопросы о генетическом консультировании при гинекологических опухолях.

Это исследование подчёркивает потенциал искусственного интеллекта в том, чтобы уменьшать тревогу онкологических пациентов и информировать их.

Искусственный интеллект, обученный на материалах, которыми люди делятся в цифровом мире

Большие языковые модели, одним из ведущих примеров которых является ChatGPT, могут прогнозировать наиболее вероятные варианты следующего слова в предложении, анализируя использование слов в интернет-материалах миллиардов людей. ChatGPT и подобные генеративные чат-боты с помощью предсказания следующего слова способны формулировать ответы на вопросы естественным языком и создавать понятные резюме сложных текстов.

Ведущий автор исследования доктор Jharna M. Patel, специалист по гинекологической онкологии NYU Langone Health Нью-Йоркского университета, сказала в докладе:

«Наши данные показывают, что этот инструмент потенциально способен отвечать на часто задаваемые вопросы, чтобы уменьшать тревогу пациентов и информировать их. Чтобы он помогал пациентам лучше понимать свой рак, необходимо больше данных от гинекологов-онкологов».

Оценка ответов искусственного интеллекта

Для изучения возможностей GPT исследователи консультировались с гинекологами-онкологами и отобрали 40 часто задаваемых пациентами вопросов, соответствующих рекомендациям профессиональных сообществ, в частности о генетическом тестировании и консультировании по наследственным синдромам.

После того как выбранные вопросы задали ChatGPT, участвовавшие в исследовании гинекологи-онкологи оценили ответы по шкале от 1 до 4. Баллы означали следующее:

• 1 балл: верно и полно
• 2 балла: верно, но неполно
• 3 балла: частично верно, частично неверно 
• 4 балла: полностью неверно   

Доля ответов с каждой оценкой рассчитывалась в целом и отдельно для каждой категории вопросов.

По результатам оценки распределение ответов было следующим:

• Верные и полные ответы — 82,5% (n=33)
• Верные, но неполные ответы — 15% (n=6)
• Частично неверные ответы — 2,5% (n=1)
• Полностью неверные ответы — 0%

Вопросы генетического консультирования получили наибольшую долю одновременно верных и полных ответов ChatGPT. Чат-бот продемонстрировал 100% точность по всем 20 вопросам. Он также хорошо отвечал на вопросы об отдельных генетических нарушениях. Например, гинекологи-онкологи указали, что ответы о мутациях генов BRCA1 или BRCA2, известных как факторы развития некоторых видов рака, были верными и полными в 88,2% случаев (n = 15/17), тогда как при синдроме Линча верными оказались 66,6% ответов (n = 2/3).

Заключение

Ожидается, что дальнейшее обучение инструментов ИИ нового поколения, таких как GPT, на большем объёме данных и освоение более удачных формулировок вопросов позволят улучшить эти результаты. Цель специалистов в области информатики — внедрить готовый инструмент в клиническую практику, разумеется, для помощи медицинским работникам.

Таким образом, чат-боты на базе ИИ, облегчая доступ онкологических пациентов к информации, потенциально могут улучшать процесс лечения и уменьшать тревогу. Однако эти инструменты необходимо совершенствовать и использовать во взаимодействии с медицинскими специалистами.