Hesai представила Kosmo One

Hesai представила Kosmo One – новую пространственную камеру, предназначенную для создания высокоточных трёхмерных копий реальных объектов, помещений и окружающей среды.

Устройство входит в систему Kosmo, объединяющую аппаратное оборудование для сбора пространственных данных и облачную платформу их обработки.

Основное направление разработки – Physical AI, технологии искусственного интеллекта, позволяющие роботам воспринимать окружающий мир и взаимодействовать с физическими объектами.

Лидар, 8K-камера и IMU

Kosmo One объединяет несколько измерительных систем внутри одного корпуса.

Встроенный лидар получает информацию о геометрии окружающего пространства и расстояниях до объектов.

Оптическая система с 1-дюймовым сенсором записывает изображение с высоким разрешением, фиксируя цвета, текстуры и особенности поверхностей.

Дополнительно используется высокоточный инерциальный измерительный модуль IMU, который помогает определять положение и движение устройства во время сканирования.

Все источники данных синхронизируются с точностью до микросекунд.

Это позволяет объединять геометрию, изображение и положение камеры при построении трёхмерной сцены.

Технология 3D Gaussian Splatting

Для восстановления окружающего пространства Hesai использует 3D Gaussian Splatting – 3DGS.

Этот метод позволяет формировать фотореалистичные трёхмерные сцены из набора изображений и пространственных измерений.

В отличие от обычной панорамной фотографии, полученная модель содержит информацию о глубине и расположении объектов.

Пользователь может менять положение виртуальной камеры, рассматривать помещение под разными углами и использовать сцену в программных симуляторах.

По заявлению Hesai, Kosmo обеспечивает геометрическую точность на миллиметровом уровне.

Помещение площадью 100 м² за 15 минут

Одна из ключевых характеристик Kosmo One – скорость получения пространственных данных.

По данным Hesai, один оператор способен отсканировать типовое помещение площадью 100 м² примерно за 15 минут.

После записи информация передаётся в систему Kosmo World, где выполняется обработка и построение трёхмерной модели.

Производитель заявляет, что скорость реконструкции может быть приблизительно в пять раз выше, чем у сопоставимых решений.

При этом итоговое время зависит от сложности помещения, количества объектов, параметров оборудования и требований к качеству.

Для обучения гуманоидных роботов

Особое внимание Hesai уделяет применению Kosmo One в робототехнике.

Для обучения робота недостаточно обычной фотографии помещения. Система должна понимать расположение предметов, их геометрию, взаимное положение и доступное пространство для движения.

Kosmo позволяет создавать виртуальные копии реальных помещений, в которых робот может многократно отрабатывать необходимые действия.

Облачная платформа Kosmo World формирует данные глубины, трёхмерную геометрию и фотореалистичные представления сцены.

Также предусмотрено автоматическое определение отдельных объектов с помощью искусственного интеллекта.

Разработчики могут использовать полученные сцены в симуляторах, включая NVIDIA Isaac Sim и Isaac Lab.

Это помогает переносить обучение из виртуальной среды на физические устройства.

Hesai показала работу технологии в магазине

На презентации компания продемонстрировала применение Kosmo при подготовке среды для робота Sharpa.

Для эксперимента использовалось помещение магазина Dairy Queen.

По данным Hesai, создание аналогичной виртуальной сцены традиционными инструментами потребовало бы около 300 часов ручного моделирования.

С использованием Kosmo сканирование и реконструкция заняли приблизительно 15 минут.

Компания заявляет, что в показанном сценарии успешность выполнения роботом задачи достигла 99%.

Этот показатель относится к конкретному эксперименту и не характеризует точность самой камеры или производительность всех роботов, использующих Kosmo.

Применение за пределами робототехники

Hesai рассматривает Kosmo не только как инструмент создания данных для искусственного интеллекта.

Система также может применяться для виртуального производства фильмов, разработки компьютерной графики, оцифровки исторических объектов и создания интерактивных пространств.

Компания объявила о сотрудничестве с разработчиками робототехнических систем Galbot и Dexmal.

Также продемонстрирована интеграция результатов сканирования с Pixar RenderMan и инструментами трёхмерной графики.

Когда появится Kosmo One

Hesai официально представила аппаратную платформу Kosmo One и облачную систему Kosmo World.

На сайте производителя уже доступна возможность подать заявку на ранний доступ.

Розничная цена устройства и сроки массовых поставок пока не объявлены.

Kosmo One объединяет лидарные измерения и высокодетализированную визуальную съёмку, позволяя быстрее создавать цифровые копии реального мира для робототехники и других задач пространственных вычислений.