Можно ли построить корпоративную ИИ-инфраструктуру без NVIDIA? Rubytech проверила этот сценарий на практике и завершила испытания российских больших языковых моделей на ускорителях китайского производства.
В тесте использовали модификацию ПАК «Машина искусственного интеллекта Скала^р» с восемью китайскими GPU и моделью Cotype 3 третьего поколения от MWS AI. Среднее время до первого токена составило около 8000 мс при контексте в 27 тыс. токенов, а задержка между токенами — от 111 мс.
По данным Rubytech, результаты оказались сопоставимы с конфигурациями на NVIDIA H100 и соответствуют требованиям корпоративных сценариев. Иными словами, российская модель смогла стабильно работать на альтернативной аппаратной базе.
Здесь важна не только сама производительность. Возможность выбирать между разными платформами снижает зависимость от одного поставщика, а связка китайских GPU, российской инфраструктуры и отечественной LLM, по оценке компании, в некоторых случаях позволяет уменьшить совокупную стоимость владения при масштабировании.
Такой вариант особенно актуален для госсектора, компаний с госучастием и операторов критической информационной инфраструктуры. Им необходимо запускать ИИ внутри собственного защищённого контура.
Линейка «Скала^р» включена в реестры Минпромторга и Минцифры РФ и соответствует критериям доверенности для объектов КИИ. Среди технологических партнёров Rubytech — Газпромбанк, ВТБ, ФНС России и ЦБ РФ. Рынок получает всё более реальный сценарий, в котором ИИ-инфраструктуру можно собирать без привязки к западному железу.
