Умные очки Apple могут работать на модели FastVLM
Apple готовится к выпуску собственных AI-очков, которые станут конкурентами Meta Ray-Bans и, по слухам, появятся в 2027 году вместе с AirPods с камерами. Пока дизайн устройств держится в секрете, Apple уже продемонстрировала, каким может быть их ИИ.
В 2023 году исследовательская команда Apple по машинному обучению представила MLX — лёгкий и открытый фреймворк для обучения и запуска моделей на устройствах с Apple Silicon. Он предлагает локальную работу с ИИ и знакомый синтаксис для разработчиков, привыкших к популярным библиотекам.
Теперь Apple представила FastVLM — визуально-языковую модель (VLM), использующую MLX и оптимизированную для быстрой обработки изображений высокого разрешения при минимальных затратах ресурсов.
FastVLM основана на энкодере FastViTHD, специально созданном для эффективной работы с изображениями. Модель до 3,2 раза быстрее и в 3,6 раза компактнее аналогов, что позволяет работать с ИИ полностью офлайн, без облачных запросов.
Кроме того, FastVLM генерирует меньше токенов, что ускоряет работу: Apple заявляет о 85-кратном ускорении времени до получения первого токена по сравнению с другими моделями. Это особенно важно для носимых устройств.
FastVLM уже опубликована на GitHub, а научный доклад доступен на arXiv. Для технических специалистов это отличная возможность ознакомиться с будущими технологиями Apple в области ИИ.
