Anthropic исследовала, как язык общения влияет на ответы Claude. Компания проанализировала 309 815 анонимизированных диалогов на 20 самых популярных языках сервиса и пришла к выводу, что одна и та же модель может заметно менять стиль поведения.
В исследование вошли разговоры с моделями Sonnet 4.6, Opus 4.6 и Opus 4.7. Для анализа выбирались субъективные задачи без единственно правильного ответа — например, просьбы оценить бизнес-план, дать совет или разобрать спорную ситуацию.
Исследователи выделили четыре основные оси поведения:
- уступчивость или осторожность;
- теплота или строгость;
- глубина или краткость;
- откровенность или ориентация на результат.
Самые заметные различия между языками появились по шкале «теплота — строгость». На хинди и арабском Claude чаще использует поддерживающие формулировки, юмор и одобрение. На английском и русском модель, напротив, сильнее склоняется к точности, исправлению деталей и проверке сомнительных утверждений.
При этом русский оказался языком, на котором Claude демонстрирует максимальную строгость. В данном случае речь не о грубости, а о более придирчивом стиле: модель чаще оспаривает предположения, требует доказательств и указывает на ошибки.
Anthropic также сравнила поведение разных моделей. Sonnet 4.6 чаще отвечает тепло и поддерживающе, Opus 4.6 предпочитает краткость и прямое выполнение запроса, а Opus 4.7 чаще предупреждает о рисках, признаёт ограничения и подробно объясняет свои выводы.
Причины различий между языками пока неясны. В Anthropic предполагают, что на поведение могут влиять объём и состав обучающих данных. Например, в одном языке может быть больше профессиональных текстов, а в другом — разговорных.
Компания пока не решила, считать ли такую разницу полезной адаптацией под языковые нормы или недостатком обучения. В дальнейшем Anthropic планирует использовать подобное профилирование при оценке новых моделей и проверять, можно ли управлять их поведением через системные инструкции и дополнительное обучение.
