ML-подразделение Apple представило модель LiTo (Light Transport), которая восстанавливает трёхмерные объекты по одному изображению. В отличие от большинства аналогов, система учитывает не только форму, но и поведение света на поверхности.
Современные решения хорошо справляются с геометрией, но теряют реализм в материалах. Стекло выглядит плоским, металл — тусклым, а отражения «приклеены» к текстуре. LiTo решает эту проблему за счёт моделирования оптики.
Нейросеть обучена одновременно работать с двумя слоями данных: геометрией объекта и световым полем поверхности. Последнее описывает, как материал отражает, рассеивает и преломляет свет в зависимости от угла и освещения.
Благодаря этому модель может восстанавливать даже те визуальные свойства, которых нет на исходном снимке. Например, корректно «достраивать» блики на металле или прозрачность стекла при изменении ракурса.
В тестах Apple сравнила LiTo с моделью TRELLIS. Новая система показала более высокую точность и стабильность визуальных эффектов при изменении угла обзора, особенно на сложных материалах.
Потенциальные сценарии использования включают разработку игр, AR и VR, а также e-commerce, где можно быстро создавать реалистичные 3D-модели товаров по фотографиям.
Сроки публичного релиза пока не раскрываются. Однако сама разработка показывает направление Apple: переход от генерации форм к моделированию физики реального мира.
Комментарии в Телеграм