NVIDIA представила Cosmos3-H-Dreams — генеративный симулятор для исследований в хирургической робототехнике. Модель получает начальный кадр и кинематические команды инструментов, после чего строит следующие фрагменты видеооперации. Согласно описанию NVIDIA, система обучалась на синхронизированных видеозаписях и данных движений робота CMR Surgical Versius при клинических холецистэктомиях. Значение релиза в том, что разработчики получают среду для интерактивных экспериментов с более сложной визуальной сценой, чем лабораторные макеты.
Переход от настольной робототехники к операционной сцене.
Предыдущая версия Cosmos-H-Dreams работала с наложением швов на настольной установке dVRK. В такой среде фон, освещение и взаимодействие объектов сравнительно предсказуемы. Внутри тела картина меняется от небольших движений инструмента: ткани натягиваются, хирургические структуры могут перекрываться, меняются блики и видимость. Новая модель не строит явную физическую геометрию тканей, а учит визуальную динамику по согласованным видеоданным и кинематике.
NVIDIA называет Cosmos3-H-Dreams первым, насколько ей известно, симулятором реального времени, обученным на записях клинической холецистэктомии и поддерживающим управление кинематикой вживую. Это корпоративное заявление, а не независимый отраслевой стандарт: Unite.ai также приводит его с атрибуцией к NVIDIA. Для оценки технологии важнее не формула «первый», а демонстрируемый сдвиг от воспроизведения записанной операции к генерации альтернативных продолжений при новых действиях оператора или политики управления.
Как устроена генерация и где возникает компромисс.
Основой системы стала 16-миллиардная модель Cosmos3-H-Embodied-Nano, предварительно обученная на данных Open-H-Embodiment и затем специализированная на процедуре и платформе Versius, указывает обзор HyperAI. Входом служат стартовое изображение и команды, описывающие перемещение, поворот и работу захвата инструментов. Выходом становятся новые видеоблоки, а не траектории для физического робота.
В опубликованном описании параметров daily.dev указывает разрешение обучающих видео 832 × 480, частоту 10 Гц и 28 измерений действий для двух рук робота, включая положение и захват. Для интерактивного режима подготовлены отдельные двухшаговый и четырёхшаговый дистиллированные чекпойнты. Меньшее число шагов денойзинга снижает вычислительную нагрузку, но может ухудшать визуальное качество — разработчику приходится выбирать между скоростью отклика и детализацией сцены.
Потоковый запуск обеспечивают библиотека FlashDreams и одна GPU NVIDIA RTX PRO 6000. По данным Superpower Daily, в конвейере также используются дистилляция, Self-Forcing и адаптированный модуль FadeMem, рассчитанный на снижение накопления ошибок при длинной генерации. Это технически существенная часть проекта: для симулятора недостаточно создать один правдоподобный ролик, ему нужно сохранять связность изображения, пока пользователь последовательно меняет команды.
Открытая публикация и прикладные сценарии.
Модельный чекпойнт и сопутствующий код опубликованы для использования по NVIDIA Open Model License; в материале Unite.ai среди заявленных сценариев названы проверка политик хирургических роботов в симуляции, исследование телеуправления и синтетические данные для роботизированной холецистэктомии. Такой релиз может быть полезен командам, которым нужно быстро проверять интерфейсы управления или поведение алгоритмов до экспериментов на физической установке.
Для рынка хирургической робототехники это пример сближения генеративных world models и симуляторов. Классические физические движки требуют явных допущений о материалах, геометрии и контактах, тогда как генеративный подход получает визуальные закономерности из данных. Но эти методы решают разные задачи: видеогенерация может дополнить физическую симуляцию при подготовке данных и ранней проверке идей, однако сама по себе не доказывает корректность механики взаимодействия тканей и инструментов.
Границы применения остаются клинически значимыми.
NVIDIA описывает Cosmos3-H-Dreams как исследовательский симулятор, а не валидированную систему для ухода за пациентами. Правдоподобное видео не подтверждает биомеханическую точность и не может служить основанием для клинических решений. Это согласуется с разбором предшествующего Cosmos-H-Dreams от MLQ.ai: такие модели предсказывают визуальное развитие сцены по поданным действиям, но не формируют команды и не управляют физическим хирургическим роботом.
Практический вывод для разработчиков состоит в том, что Cosmos3-H-Dreams следует рассматривать как инструмент генерации интерактивных визуальных траекторий, а не как замену физическому симулятору, клинической валидации или регуляторной экспертизе. Ценность модели будет определяться тем, насколько устойчиво она ведёт себя на действиях, отличающихся от обучающих записей, и насколько её синтетические сцены полезны для последующего обучения и тестирования роботизированных систем.
