Из симуляции в реальность: как мы обучили виртуальные гоночные карты ездить по настоящей трассе

Ура, на днях вышло наше исследование «Go-Kart Racing Simulator for Reinforcement Learning with Augmented Sim2Real Adaptation» в сборнике воркшопов престижной научной конференции ICDM 2024 (International Conference on Data Mining, A*), которая проходила в Абу-Даби 9-12 декабря 2024 года.

Обучение беспилотников в реальных условиях сопряжено с высокими рисками аварий. Для минимизации этих рисков мы решили разработать виртуальную среду, в которой можно безопасно и эффективно обучать ИИ автономному вождению с подкреплением и применением дополненной реальности (AR).

В работе предложен фреймворк для интеграции виртуальной модели гоночного карта в CARLA-симулятор с помощью Gym-интерфейса, а также реализованы следующие технологии:

• Интеграция дополненной реальности (AR): В симулятор добавлен «вид с высоты птичьего полета», маркировка дорожного полотна, препятствий и других элементов трассы, а также виртуальный LiDAR для измерения расстояний до краев дороги;

• Адаптация симуляции к реальному миру: Для сокращения разрыва между симуляцией и реальностью (Sim2Real) использованы техники доменной адаптации и Curriculum Learning;

• Архитектура системы: Система построена на базе Docker-контейнеров, где каждый агент управляет своей копией симулятора, а собранные данные агрегируются для обучения с использованием алгоритма PPO (Proximal Policy Optimization).

В эксперименте показано, что переход от симуляции к реальности возможен без дополнительного обучения на реальных данных. Настоящий гоночный карт, ограниченный максимальной скоростью 11.5 м/с, успешно завершил шесть кругов по закрытой трассе, избегая аварийных ситуаций, при чем даже на незнакомых для него трассах!

Внедрение элементов дополненной реальности значительно улучшило качество восприятия окружающей среды по сравнению с обучением только на основе датчиков, что позволило агенту принимать более обоснованные решения.

Хотя разработка проводилась в контролируемой среде с заданной трассой, такой метод может не полностью отражать сложности открытого мира, а также возможны дополнительные сложности при масштабировании Sim2Real-перехода. На реальной трассе могут встречаться песок и мелкие камни, чего не было в симуляторе, а эти мелкие детали сильно влияют на езду на больших скоростях - машинку натурально начинает вилять.

Фреймворк полезен для обучения сложных беспилотных систем, позволяя ускорить разработку и тестирование алгоритмов, а использование дополненной реальности в этой задаче улучшает точность алгоритмов.

В исследовании принимали участие:

• Илья Макаров (AIRI, ИТМО, ВШЭ) - признанный эксперт в области ИИ, PhD в компьютерных науках, лучший научный руководитель по версии Яндекс (2023), ex-BCG X, ex-VK, ex-Samsung, ex-Huawei. Илья крутой, мы работали с ним над несколькими проектами, если вам интересно, то могу взять у него интервью;

• Андрей Савченко (Sber AI Lab, ВШЭ) - опытный научный руководитель, доктор технических наук, профессор в ВШЭ, ведущий научный сотрудник и автор более ста публикаций;

• Ильдар Нургалиев (Dataism Lab) - ведущий ИИ-инженер в области агентов и обучения с подкреплением, занимался технической реализацией нашего решения. С Ильдаром мы реализовывали разные сложные проекты, в том числе с нуля запускали стартапы;

• Ну и я (Dataism Lab) - архитектор фреймворка, который мы в итоге выпустили в открытый доступ под названием Simularity.

Работать с такими профессионалами – настоящее удовольствие.

Лаборатория Датаизма (Dataism Lab) - это открытое сообщество исследователей и разработчиков в области прикладного ИИ.

Надеюсь наши разработки будут способствовать дальнейшему прогрессу в области беспилотных систем и использоваться на благо общества.

Ну а мы дальше продолжаем заниматься интересными исследованиями, так что ждите новых работ.

#исследования #анонс