Кажется, чем подробнее искусственный интеллект объясняет свой диагноз, тем лучше. Но новое исследование MIT и других научных центров показало: это правило работает далеко не для всех пользователей. Иногда именно объяснения становятся причиной ошибок.
Авторы сравнили, как ИИ помогает людям без медицинского образования и врачам первичного звена диагностировать кожные заболевания. Участникам предлагали прогноз модели с разными вариантами пояснений: только ответ с уровнем уверенности, похожие изображения, тепловую карту важных участков снимка или текстовое объяснение, созданное большой языковой моделью.
Исследователи выяснили, что у неспециалистов точность диагностики действительно росла. Однако, по мнению авторов работы, это происходило в основном потому, что люди начинали безоговорочно доверять рекомендациям ИИ. Особенно сильным этот эффект оказался при использовании текстовых объяснений: участники верили им даже тогда, когда модель ошибалась, а расплывчатые формулировки казались наиболее убедительными.
У врачей ситуация оказалась противоположной. Они замечали ошибки ИИ и лучше всего справлялись с задачей, когда видели лишь прогноз модели без дополнительных объяснений. Авторы также обнаружили, что сильнее всего ИИ влияет на пользователей с более низким уровнем подготовки, а если показать подсказку ещё до самостоятельного диагноза, склонность доверять алгоритму становится ещё выше.
Исследователи считают, что медицинский ИИ нужно проектировать с учётом уровня подготовки пользователя, а не использовать одинаковые интерфейсы для всех. Такой подход может сделать цифровых помощников безопаснее и помочь внедрять их в здравоохранение без роста числа ошибок.
