NVIDIA опубликовала в открытом доступе модель мира Cosmos 3 Edge с 4 млрд параметров. Новинка предназначена для робототехники, компьютерного зрения и автономного транспорта, где важно работать на устройствах с ограниченными вычислительными ресурсами без серьёзной потери качества.
Модель принимает текст, изображения, видео и траектории движения, а в ответ способна генерировать изображения, видео, текст и команды для выполнения действий. В основе Cosmos 3 Edge лежит архитектура Mixture-of-Transformers: авторегрессионная часть отвечает за рассуждения и анализ сцены, а диффузионная — за создание изображений, видео и последовательностей действий. Благодаря этому модель может одновременно понимать происходящее и прогнозировать дальнейшее развитие событий.
По данным NVIDIA, среди моделей аналогичного размера Cosmos 3 Edge занимает первое место в бенчмарке VANTAGE-Bench для видеоаналитики, а также показывает лучшие результаты при обучении управляющих алгоритмов для роботов. Одновременно компания выпустила специализированную версию Cosmos 3 Edge Policy для управления роботами и облегчённые четырёхшаговые модели Cosmos 3 Super Image2Video и Text2Image, созданные методом дистилляции DMD2.
Cosmos 3 Edge стала самой компактной моделью семейства Cosmos 3, которое NVIDIA развивает с весны. Ранее компания представила Cosmos 3 Nano на 16 млрд параметров и Cosmos 3 Super на 64 млрд параметров. Расширение линейки может ускорить внедрение ИИ в робототехнику и автономные системы, где компактные модели нередко оказываются важнее максимальной вычислительной мощности.
