InterHW
NVIDIA вновь показала Lyra 2.0 - ИИ для создания трёхмерных миров из одной фотографии

NVIDIA вновь показала Lyra 2.0 - ИИ для создания трёхмерных миров из одной фотографии

Автор: Богдан Андреевич

Из одной фотографии — целый виртуальный мир, по которому можно перемещаться. NVIDIA показала Lyra 2.0 с пространственной памятью и ускоренной генерацией в 13 раз.

Получайте новости быстрее

Разработанная исследовательской лабораторией NVIDIA Spatial Intelligence Lab система Lyra 2.0 позволяет превращать обычные изображения в виртуальные трёхмерные пространства. В отличие от традиционных генераторов видео, технология даёт возможность задавать маршрут виртуальной камеры и постепенно расширять окружающий мир за пределы исходной фотографии.

Исследование впервые опубликовано в апреле 2026 года, а 9 ноября NVIDIA вновь продемонстрировала возможности разработки перед конференцией SIGGRAPH Asia 2026.

Как Lyra 2.0 создаёт трёхмерные миры

Работа системы начинается с одной фотографии. Пользователь задаёт направление движения камеры, после чего нейросеть генерирует последовательность кадров с новыми ракурсами и участками окружения.

Главная проблема подобных технологий — сохранение пространственной согласованности. Когда камера возвращается в ранее посещённое место, обычные генеративные модели могут изменять расположение объектов или создавать новые детали вместо уже существовавших.

Для решения этой проблемы Lyra 2.0 использует пространственную память на основе трёхмерной геометрии. Система определяет, какие ранее созданные кадры соответствуют текущему положению камеры, и использует их при генерации новых изображений.

Дополнительно применяется специальный метод обучения, позволяющий уменьшить накопление визуальных ошибок при длительной генерации.

Генерация стала быстрее почти в 13 раз

В основе Lyra 2.0 лежит модифицированная видеомодель Wan 2.1 с 14 млрд параметров. Исследователи NVIDIA разработали ускоренную версию, сократив количество шагов генерации с 35 до четырёх.

Согласно опубликованным результатам, на одном ускорителе NVIDIA GB200 генерация 80 кадров занимает около 15 секунд вместо 194 секунд у полной версии модели.

Таким образом, ускорение достигает приблизительно 13 раз. Однако это всё ещё не генерация мира в реальном времени: речь идёт о времени подготовки очередного фрагмента видео на мощном серверном ускорителе.

Экспорт в 3D и применение в симуляциях

Полученную последовательность кадров можно преобразовать в полноценное трёхмерное представление с помощью 3D Gaussian Splatting или полигональных сеток.

Такие сцены подходят для визуализации, интерактивного просмотра и использования в специализированных симуляторах. NVIDIA продемонстрировала перенос сгенерированного окружения в Isaac Sim, где оно может применяться для моделирования взаимодействия роботов с окружающей средой.

В перспективе технология также может использоваться при создании виртуальных локаций, игровых окружений и обучающих симуляций.

Доступность и ограничения

Исходный код Lyra 2.0 опубликован на GitHub под лицензией Apache 2.0, а веса модели размещены на Hugging Face.

Однако лицензия на веса существенно ограничивает использование. Модель предназначена для исследований и не допускает свободного коммерческого развёртывания или распространения созданных с её помощью материалов.

Кроме того, технология пока лучше работает со статичными сценами. Генерация динамического окружения, точность геометрии и высокая вычислительная нагрузка остаются основными ограничениями.

Ознакомиться с проектом: официальная демонстрация NVIDIA Lyra 2.0.

Скачать исходный код: GitHub — NVIDIA Lyra.

Веса модели: Hugging Face — NVIDIA Lyra 2.0.

Источник: Wccftech

Просмотры: 33 мин чтения

Как вам новость?

Загружаем оценки…

Связанные материалы

Загружаем материалы…

Комментарии пользователей

Загружаем комментарии...