Ученые из Института инженеров электротехники и электроники (IEEE) попробовали отличить ИИ от реальных людей с помощью известного теста Тьюринга. Он считается пройденным, если алгоритм в диалоге с человеком заставит второго поверить в свою реальность. То есть, сойдет за полноценного живого собеседника.
Тестирование прошли 500 добровольцев и 4 агента, среди которых был только один реальный человек, а остальные: собеседник ELIZA, созданный еще в 60-х, и чат-боты на основе GPT-3.5 и GPT-4. Каждый из участников разговаривал с агентом по 5 минут, а после делал вывод — человек перед ним или машина.
Так целые 54% участников приняли GPT-4 за живого собеседника. ELIZA показала себя на порядок хуже, ведь у нее нет архитектуры нейросети — 22%. Алгоритм GPT-3.5 справился чуть хуже своего старшего брата — ровно 50%. А вот настоящего человека приняли за самого себя только в 67% случаев.
«Машины ведут себя как люди: рассуждают, смешивают воедино правдоподобные факты, делают выводы на основе предубеждений и, самое главное, ведутся на манипуляции. Всё это означает, что в ИИ-системах выражаются человеческие недостатки и причуды, из-за чего они более похожи на человека, чем предыдущие подобные решения со списком готовых ответов»
Один из исследователей
