В эксперименте тестировали Gemini, DeepSeek, ChatGPT и Grok: каждому задали по 10 открытых и закрытых вопросов в пяти категориях. Цель — проверить устойчивость моделей к мифам и потенциально опасным советам. Из полученных ответов 30 процентов признали «умеренно проблемными», 20 процентов — «крайне опасными».
Хуже всего показал себя Grok: 58процетов его ответов были потенциально опасны. Лучший результат у Gemini: он дал меньше ошибок и больше научно обоснованных данных. При этом нейросети неплохо справлялись с вопросами о вакцинации и раке, но допускали серьёзные ошибки в темах питания, спортивных добавок и терапии стволовыми клетками. Почти все ответы боты подавали с абсолютной уверенностью, без рекомендаций проконсультироваться с врачом.
Исследователи обнаружили и «галлюцинации»: ИИ выдумывал несуществующие статьи и искажал цитаты. Полнота ссылок составила в среднем 40процентов, а язык ответов оказался слишком сложным для неподготовленного читателя. Учёные призвали внедрить надзор над ИИ и просвещать население: пока методы проверки не успевают за развитием нейросетей, полагаться на их медицинские советы опасно.
Чат-боты и их знания о медицине: стоит ли им доверять
Исследование, проведенное BMJ Open, показало, что половина медицинской информации, предоставляемой пятью популярными ИИ-чат-ботами, оказывается неточной или неполной.
Комментарии