В какой области искусственный интеллект стал ЛУЧШЕ ВРАЧЕЙ?

1 января 2020 года в Nature опубликовано подготовленное Google Health, DeepMind и Imperial College London исследование с именами 31 исследователя. Ранняя диагностика рака молочной железы стала его темой, и оно широко обсуждалось в соцсетях и новостях. Заголовки обычно были «Новый алгоритм глубокого обучения Google заменяет радиологов» или о том, как метод лучше врачей.

Искусственный интеллект

Какие факторы заставляют считать искусственный интеллект лучшим и способным заменить радиологов?

Если из 10 вопросов машина правильно отвечает на восемь, ошибается в двух, а радиологи в трех, лучше ли машина? Человеческое принятие решений / когнитивные функции мозга чрезвычайно сложны, и детали еще неизвестны. Радиолог по маммографии решает, есть ли рак; при подозрении и неуверенности может назначить биопсию и другие клинические тесты, и для таких решений тратит всю жизнь на обучение.

- Связанная тема: Есть ли риск рака молочной железы при отрицательной маммографии?

В компьютерной обработке изображений на основе часто обсуждаемых в медицине алгоритмов глубокого обучения пытаются извлечь значимые данные из пикселей. Обученный алгоритм оценивают на прежде не показанных тестовых изображениях.

Алгоритм — путь решения проблемы. Можно представить «Проблема + Алгоритм = Решение». Он не только медицинский, но наиболее интенсивно используется в медицине и инженерии. Служащие здоровью искусственные интеллектыпроектируются знающими тысячи, даже неограниченное количество алгоритмов.

При оценке искусственного интеллекта смотрят не только точность

Предсказывающий с точностью % 95 алгоритм может содержать очень важную информацию в ошибках на %5. Поэтому обязательно учитывают матрицу ошибок. Это таблица четырех сочетаний, включающая истинноположительные, истинноотрицательные, ложноположительные и ложноотрицательные результаты.

Истинные значения — правильно предсказанные моделью результаты, ложные — ошибки. Например, алгоритм тестирования беременности. Ложноположительный результат — модель предсказывает беременность, но ее нет, а ложноотрицательный, наоборот, описывают как отсутствие беременности у человека, которого предсказывают беременным.

Как видно, ошибки высокочувствительных алгоритмов глубокого обучения могут содержать важные сведения. Положительный результат рака у фактически здорового человека вызовет серьезные психологические трудности.

Последняя работа многочисленных исследователей сравнивает машины и радиологов именно по этим результатам.

Подробности исследования Nature

Для обучения использовали маммограммы женщин, обследованных в Англии между 2012 и 2015 годами, около 25 тысяч, для тестирования из США около 3 тысяч. Архитектура — три нейросети: RetinaNet Facebook, MobileNetV2 Google и ResNet V-1 50 Microsoft. Модель решает, раковая ли ткань, по порогу. Поэтому при обучении выбором порога старались уменьшить ложноположительные и ложноотрицательные результаты.

После обучения модель проверили на 500 маммограммах для сравнения с радиологами и получили, особенно относительно американских, меньше ложноположительных (на %9.4) и ложноотрицательных (на %5.4) результатов. Сравнивали каждый раз с решением одного радиолога. Против решений двух радиологов, обменивающихся мнениями, значительного успеха искусственный интеллект не показал.

Можно предполагать, что технология устранит необходимость двух радиологов, особенно в Великобритании, уменьшит время и стоимость. Один радиолог с поддержкой интеллекта сможет решать лучше и быстрее. Но пока вывод о замене радиологов нереалистичен. Will Knight, профильный редактор MIT Technology Review, говорит, что проблемой может быть отсутствие точного понимания, как самые передовые алгоритмы делают то, что умеют.

Нейросети известны как черные ящики, и четкого объяснения получения прогнозов нет. При неуверенности радиологи используют дополнительные тесты, а нынешние решения искусственного интеллекта дают прогнозы только по изображению.

Работающий в Национальной службе здоровья профессор Ken Young отмечает соответствие исследования реальным сценариям; прежде обычно использовали более подготовленные наборы данных, что могло делать исследования предвзятыми (biased).

Вывод Результаты академически и технологически сильной работы откроют путь искусственному интеллекту в медицине. Но уровня замены радиологов, как в заголовках, пока нет. Однако в ближайшем будущем в диагностике машины, по-видимому, значительно уменьшат необходимость экспертов-людей. В решениях о лечении искусственному интеллекту еще предстоит долгий путь.

*

На рисунке нижевидны определения и различия 3 часто используемых близких новых ИТ-терминов: искусственный интеллект, машинное и глубокое обучение.