Обучать роботов на реальных авариях, опасных ситуациях и редких событиях сложно, дорого, а иногда и невозможно. Поэтому разработчики всё чаще создают искусственные миры, где машины могут безопасно получать нужный опыт. Именно на это делает ставку «Сбер».
Компания открыла код и веса Kandinsky WM 1.0 — первого поколения российских моделей класса World Model. По данным «Сбера», они способны генерировать физически достоверные данные для обучения беспилотных автомобилей, роборук и других робототехнических систем. Под лицензией MIT для коммерческого использования опубликованы три модели: для дорожных сценариев, работы манипуляторов и задач со сложной физикой.
В компании рассказали, что Kandinsky WM 1.0 уже используют в Центре робототехники «Сбера» и в институте AIRI. Модели построены на базе Kandinsky 5.0 Video Lite и дообучены на видеозаписях с роботов и беспилотников. Это позволяет создавать ролики длительностью до пяти секунд для обучения в ситуациях, которые трудно снять в реальности, например при неожиданном появлении животных на дороге.
По словам разработчиков, Kandinsky WM 1.0 — лишь первый этап на пути к полноценным моделям мира, способным не только генерировать видео, но и моделировать развитие событий и планировать действия. Для обучения системы использовали 5,3 млн видеороликов, включая 1,5 млн записей дорожных сцен из 25 стран, 2,2 млн бытовых видео для робототехники и ещё 300 тыс. роликов, отобранных вручную.
