Исследователи из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии предположили, что при общении ИИ перенимает повадки человека, гиперперсонализирует ответы и часто подыгрывает. В результате такое поведение может вызывать или усиливать психические отклонения, говорится в статье на Nature.
Ученые предложили термин amplification spiral («спираль усиления») — гипотетический механизм, объясняющий влияние чат-ботов на формирование бредовых убеждений у пользователей.
Цели авторов работы — привлечь к проблеме внимание мирового психиатрического сообщества. По их мнению, в эпоху распространения искусственного интеллекта, врачи должны искать более глубокие взаимосвязи между болезнями и технологиями.
«Хотя чат-боты могут давать ответы, основанные на статистических закономерностях, но они вряд ли удовлетворят “нетипичные” когнитивные и личностные потребности в психиатрии», — говорится в работе.
Исследователи отметили, что технологии давно фигурируют в формировании заблуждений: начиная от радио и телевидения, заканчивая спутниками и интернетом. Однако ИИ представляет собой «сдвиг», поскольку может вовлекать пользователей в длительные персонализированные беседы.
«Спираль усиления» описана как рекурсивный, нарастающий паттерн общения человека с ИИ.Чат-бот со временем все точнее подстраивается под собеседника и все реже становится источником внешней валидации — того самого «стоп-сигнала», который обычно дает общение с людьми или терапевтом.
В результате система не просто отражает ход мыслей, но может подталкивать пользователя к дальнейшему развитию и закреплению бредовых идей.
В обзоре ИИ-ассоциированные бредовые убеждения определены как устойчивые ложные представления, которые формируются и усложняются при длительном взаимодействии.
При этом речь идет не о любом эмоциональном вреде, чрезмерном доверии к «умному» собеседнику или разовых диалогах. Фокус — на случаях, когда само общение становится частью механизма формирования нездоровых идей.
Модель опирается на три свойства чат-ботов:
