Разработчик и исследователь безопасности под ником @0x0SojalSec сообщил, что смог запустить локальное обучение ИИ-моделей на Neural Engine в чипах Apple M4.
Обычно Neural Engine в Apple Silicon используется для инференса — то есть быстрого запуска уже обученных моделей. Полноценное обучение, включая обратное распространение ошибки в transformer-моделях, Apple официально не открывает для разработчиков.
Автор проекта утверждает, что обошёл ограничения и получил доступ к вычислительным возможностям ANE для задач обучения. По его словам, речь идёт о производительности до 15,8 TFLOPS.
Для работы он не использовал стандартные инструменты Apple вроде Core ML и Metal. Вместо этого разработчик создал собственный промежуточный язык Model Intermediate Language, который напрямую взаимодействует с Neural Engine.
Проект уже опубликован на GitHub. В ранних тестах обучение небольших transformer-моделей на M4 выполнялось за миллисекунды на один шаг.
Если подход подтвердится и будет развиваться, обычные MacBook и iPad на Apple Silicon смогут стать более интересными устройствами для локальных экспериментов с небольшими ИИ-моделями. Сейчас для таких задач пользователи чаще полагаются на GPU, внешние серверы или облачные сервисы.
При этом речь пока идёт об экспериментальном обходном решении, а не о поддерживаемой Apple функции. Компания может изменить работу Neural Engine или ограничить подобные методы в будущих обновлениях.
