Новая AI-модель Apple строит 3D-сцены всего по трем фотографиям
Команда Machine Learning из Apple совместно с учеными из Нанкинского и Гонконгского университетов науки и технологий представила модель Matrix3D — мощную AI-систему для создания 3D-объектов и сцен всего по нескольким изображениям.
Matrix3D — это "большая модель фотограмметрии" (Large Photogrammetry Model), способная восстанавливать 3D-объекты по двумерным фотографиям. В отличие от традиционных методов, где применяются разные модели для оценки положения камеры и глубины, Matrix3D объединяет все этапы в единую архитектуру, упрощая процесс и повышая точность.
Модель использует входные фотографии, параметры камеры (угол, фокусное расстояние) и глубину. В обучении применяется стратегия "маскировки" — части данных намеренно скрываются, чтобы модель училась заполнять пробелы. Такой подход напоминает методы ранних трансформеров вроде GPT и помогает эффективно обучаться даже на неполных наборах данных.
Matrix3D способна по трем изображениям воссоздать детализированные 3D-сцены и объекты, что открывает перспективы для применения в устройствах вроде Apple Vision Pro. Код модели опубликован на GitHub, научная статья доступна на arXiv, а также создан сайт с примерами и интерактивными точечными облаками.
