Языковая модель GPT-4, выпущенная OpenAI в марте 2023 года, начала деградировать после общения с людьми на протяжении полугода. Именно к такому выводу пришли ученые из Стэнфордского университета, которые сравнили ответы чат-бота в июне 2023 года и сразу же после его запуска.
Так, GPT-4 поставили перед задачей определить, является ли число 17 077 простым. При этом, чтобы максимально улучшить результаты, ИИ было предложено решать данную задачу пошагово. Однако результаты оказались неожиданными.
Если в марте 2023 года GPT-4 давала правильные ответы в 97,6% случаев, то в июне этот показатель упал до 2,4%. Таким образом, получить верный ответ от чат-бота становится затруднительно или почти нереально. На фоне этого GPT-3.5 наоборот улучшила свои показатели с 7,4% до 86,8%.
У GPT-4 также появились проблемы с генерацией кода. Когда исследователи использовали набор из 50 простых задач LeetCode, чтобы определить, сколько ответов от GPT-4 можно было применить без изменений, то оказалось, что таких всего 10% (против 52% в марте).
Деградацию ChatGPT-4 заметили и пользователи, в частности все больше ответов от бота являются выдуманными и абсолютно никак не подтверждаются информацией из открытых источников. Причины снижения интеллектуальных способностей пока неясны.
