Родинка или рак? Насколько можно доверять приложениям с искусственным интеллектом?

Использование искусственного интеллекта (ИИ) для диагностики рака кожи с помощью специальных устройств или приложений для смартфонов стало очень популярным в последние несколько лет. Однако существуют опасения по поводу точности диагностики с помощью этих устройств и приложений.

До сих пор FDA одобрило два устройства компьютерной классификации поражений кожи, предназначенных помогать врачам оценивать подозрительные случаи меланомы . Однако поддержка продолжается только для одного из них — Nevisense компании SciBase AB. При этом ни одно телефонное приложение для классификации кожных образований не одобрено FDA или другим признанным органом здравоохранения. 

В мае 2020 года шведская компания SciBase AB объявила об одобрении FDA системы Nevisense 3.0 на основе искусственного интеллекта для оценки злокачественности нетипичных/рискованных родинок без биопсии. Другое устройство, известное как MelaFind, приобрела Stara Skin Sciences, но компания сообщила, что в 2017 году прекратила его разработку, исследования, продажи и поддержку.

Ниже показано устройство Nevisense:

Все больше приложений с искусственным интеллектом

В последние годы увеличивается число публикаций об искусственном интеллекте и машинном обучении, способных привести к появлению новых инструментов для помощи в диагностике заболеваний кожи , включая рак. В этих усилиях участвует и Google. Поэтому FDA предложило экспертной комиссии обсудить ряд вопросов о том, как компании должны оценивать риски компьютерных устройств для диагностики меланомы. Также ведомство запросило отзывы и рекомендации о том, насколько эффективно этими рисками можно управлять.

На заседании экспертной комиссии 29 июля 2022 года внимание было сосредоточено на переклассификации существующих устройств класса III. Еще один ключевой вопрос — введет ли FDA требования и ограничения по «безопасности и эффективности» компьютерных устройств, помогающих дерматологам оценивать образования с подозрением на меланому. Возможные специальные меры контроля могут включать проверку клинических показателей чувствительности (доли истинно положительных результатов) и специфичности (доли истинно отрицательных результатов). Для снижения рисков также могут рассматриваться валидация программного обеспечения и испытания кибербезопасности.

Эксперты также отметили необходимость исследований, которые ответили бы на вопрос, насколько точно новые инструменты распознают соответствующие образования.

Binita Ashar из Центра устройств и радиологического здоровья FDA сказала о будущих продуктах: «Инновации продолжаются. Разработчиков медицинских устройств волнует, как достичь уровня доказательств, соответствующего вашим ожиданиям».

Классификация медицинских устройств

Simon Grant, генеральный директор SciBase, производителя Nevisense — единственного на тот момент устройства диагностики рака кожи на рынке США, — заявил, что нужно сохранить регулирование по классу III и что он будет оспаривать этот вопрос в суде. Предлагалось перевести Nevisense из класса III в менее строго регулируемый класс II.

Grant сказал, что переход к классу II ослабит стандарты допуска продуктов, анализирующих кожные образования, и тем самым подвергнет пациентов риску.

1. По правилам FDA устройства с потенциальным риском заболевания и повреждения относят к классу III. Около 10% медицинских устройств входят в эту категорию. Наряду с имплантируемыми кардиостимуляторами и грудными имплантами к ней относится Nevisense.
2. Около 43% медицинских устройств, включая электрические инвалидные коляски и некоторые наборы тестов на беременность, относятся к классу II.
3. Устройства класса I имеют минимальный потенциал причинения вреда и простую конструкцию. Сюда входят наборы для клизм и эластичные бинты.

Grant заявил, что такое изменение приведет к нежелательным последствиям. «Небольшие изменения в системах ИИ могут вызывать значительные, нелинейные и даже случайные эффекты. Но если продукт уже вышел на рынок и вред уже причинен, будет слишком поздно».

Американское общество дерматологической хирургии (ADCD) также выступило против переклассификации одобренных устройств класса III, помогающих диагностировать меланому. Оно высказало ряд опасений по поводу расширения условий применения таких устройств, в том числе предназначенных для продажи потребителям.

«Хотя алгоритмы и устройства для самостоятельной оценки кожных образований пациентами уже широко доступны, они не являются диагностическими устройствами и не одобрены дерматологами или признанными медицинскими регулирующими органами. От них следует требовать подробного отказа от ответственности, указывающего на преимущественно развлекательное и образовательное назначение. Устройства и алгоритмы скрининговых инструментов недостаточно строго регулируются и не имеют достаточной доказательной базы. Они могут привести к ошибочному, пропущенному или неполному диагнозу. Пациентам как низкого, так и высокого риска лучше назначить очную консультацию сертифицированного дерматолога, который поможет определить наиболее подходящую программу обследования кожи».

Потребители хотят диагностические приложения как промежуточный шаг

Многие пациенты также сталкиваются с препятствиями при обращении к дерматологу. Lily Peng из команды Google по ИИ в здравоохранении сказала: «Исследования Google показывают, что потребители ищут „промежуточную ступень“ между информацией, которую легко найти в интернете, и сведениями, которые можно получить у медицинского специалиста», — отметила она.

«Люди часто ищут больше информации о распространенных состояниях, например акне, и порой испытывают трудности с доступом к врачам. У потребителей с кожными проблемами остается много неудовлетворенных потребностей, преимущественно связанных с неострыми состояниями. Люди говорят, что хотят иметь вспомогательный инструмент для несерьезных состояний и для решения, когда обращаться за медицинской помощью».

Исследователи Google за последние годы опубликовали ряд работ об использовании ИИ для улучшения дерматологической диагностики.

В статье 2020 года сообщалось, что Google испытал одну из форм ИИ — систему глубокого обучения — для дифференциальной диагностики кожных заболеваний. Согласно аннотации, при оценке 963 проверочных случаев комиссией из трех сертифицированных дерматологов система глубокого обучения превзошла 6 дерматологов, шесть врачей первичного звена и 6 медсестер.

При этом качество изображения тоже очень важно: нельзя корректно сравнивать профессиональные снимки с фотографиями разного качества, сделанными на телефон. В повседневной жизни диагностические приложения могут испытываться на нестандартизированных изображениях.

Мы все еще не готовы

Участница комиссии Maral Skelsey, специалист по раку кожи из Чеви-Чейза, штат Мэриленд, сказала, что годами использовала Nevisense и MelaFind, но к основному применению они пока не готовы. По ее словам, особенно MelaFind не готов к использованию из-за высокой частоты ошибочных диагнозов. Ограничения участков тела, где можно применять устройство, также создают проблему.

При этом она сказала, что с нетерпением ждет более совершенных устройств для диагностики кожных образований. «Это область, в которой мы стоим на пороге перемен, и эти устройства нам действительно нужны. Необходимо, чтобы пациенты могли осматривать себя, а люди, не являющиеся дерматологами, — оценивать образования».

Skelsey также предупредила о возможном вреде быстрого смягчения стандартов одобрения. Другая участница комиссии, дерматолог из Чикаго Renata Block, согласилась с ней и настаивала на сохранении класса III. Karla V. Ballman из Weill Cornell Medicine заявила, что перед обсуждением классификации устройств нужен четкий стандарт клинической эффективности. «На данном этапе я не думаю, что мы готовы к первоначальному применению. Нужно остаться в классе III».

Прозвучали и противоположные мнения. Участница комиссии Katalin Roth высказалась за то, что этими рисками можно управлять, а будущие инструменты позволят большему числу пациентов сделать шаг к жизненно важному диагнозу. «Как врач паллиативной помощи я забочусь о многих пациентах с раком. Мне кажется, здесь мы упускаем время. Меланома — страшное заболевание, а поздняя диагностика ужасна. Но я считаю, что специальных мер контроля будет достаточно, чтобы снять опасения коллег по комитету».

Наконец слово предоставили Veronica Rotember из Memorial Sloan Kettering Cancer Center в Нью-Йорке. Rotemberg много лет исследует ИИ и другие компьютерные инструменты для выявления и диагностики меланомы, наиболее агрессивной формы рака кожи. Она выразила сомнения в эффективности коммерческих приложений, сканирующих родинки и другие образования и утверждающих, что определяют злокачественные. В British Journal of Dermatology опубликован обзор, одним из авторов которого была Rotemberg; в нем сообщалось о точности этих приложений лишь в 59% случаев. Она также подчеркнула необходимость периодически оценивать и контролировать алгоритмы доступных на рынке инструментов выявления рака кожи. «Нам нужен механизм выборочной проверки. Большинство наших данных уже в электронном виде, поэтому сравнить алгоритм и его результаты с результатами биопсии не должно быть так сложно».