Привет! Меня зовут Андрей, я технологический предприниматель в сфере искусственного интеллекта (ИИ).

Я обладаю обширными знаниями в области ИИ, а также богатым практическим опытом разработки ИИ-продуктов любой сложности и их вывода на международный рынок. Если вам нужно запустить ИИ-стартап с нуля или внедрить ИИ в процессы вашей компании, я готов помочь. В моей команде работают профессионалы, увлеченные решением сложных задач: от интеллектуального анализа данных до разработки цифровых двойников и обучения беспилотных автомобилей.

В этом блоге я делюсь своими кейсами, простыми словами объясняю сложные технологические аспекты работы ИИ-продуктов, комментирую актуальные новости индустрии, делюсь своим мнением и видением будущего технологий, а также даю практические советы по созданию успешных ИИ-стартапов.

Коротко обо мне:

• Выпускник Вышки;
• Ex-Data Engineer в Accenture;
• Ex-Chief Data Officer в Сбере;
• Ex-Chief Data Scientist в Сбере;
• Ex-Куратор национальных проектов в области ИИ;
• Ex-Chief Technology Officer в венчурной студии для ИИ-стартапов;
• Сооснователь и CTO в Pygma AI;
• Создаю ИИ-сотрудников для автоматизации рутины;
• Консультирую ИИ-стартапы и технологические компании.

История моего пути
О моей компании

Узнать больше о моей компании можно по ссылке

Мои проекты:
Pygma AI - ИИ-ассистент для соцсетей;
Dataist AI - ИИ-ассистент для исследователей;
Landao AI - ИИ-коуч по счастью.

#обо_мне - о моем пути;
#технологии - анализирую текущие тренды;
#кейсы - делюсь своим опытом;
#мысли - размышляю о технологиях;
#новости - только самое интересное;
#исследования- обзор статей об ИИ;
#анонс - анонсы о событиях и релизах.

Присоединяйтесь, будет интересно!

История моего пути

Я родился в Уссурийске, с детства увлекался компьютерами. Меня воспитывал дед со всей строгостью. Он говорил, что если я не буду учиться, то не выживу. В школе побеждал в олимпиадах по информатике, математике и программированию. Видеоигры любил с такой силой, что в 12 лет писал статьи в ЛКИ.

С 6 до 18 лет занимался соревновательным спортом: шахматы (выигрывал городские соревнования), кудо (чемпион Дальнего Востока), призер соревнований по армейскому рукопашному бою, кикбоксингу и джиу-джитсу.

Денег не хватало, поэтому много работал руками – разнорабочим, грузчиком, строил дома, чистил подвалы от грязи. К 16 понял, что если не продолжу учиться всерьез, так и буду чистить подвалы.

В 17 поступил в ДВФУ и переехал во Владивосток. Закончил бакалавриат (бизнес-информатика + переводчик английского в сфере экономики и бизнеса, один из лучших выпускников).

С единоборствами пришлось закончить, чтобы сберечь голову. Увлекся силовым спортом: выигрывал соревнования по пауэрлифтингу, брал призы по бодибилдингу.

После бакалавриата переехал в Москву, поступил в магистратуру Вышки на факультет информационной бизнес-аналитики, закончил с двойным дипломом (+ международный институт бизнес-анализа, IIBA).

В 21 поработал инженером данных (Data Engineer) в Accenture. Выигрывал различные соревнования по машинному обучению, благодаря одной из побед получил работу в стратегическом блоке Сбера, готовил данные для модели прогнозирования эффективности сотрудников.

Выиграл всероссийскую олимпиаду по бизнес-информатике от Яндекса, благодаря этому мог выбрать аспирантуру любого ВУЗа страны.

Снова выбрал ВШЭ, занимался ИИ и анализом данных, вел семинары у магистрантов и работал в лаборатории интеллектуальных систем.

В 24 возглавил команду дата-инженеров в Сбере, занимался анализом данных для принятия стратегических решений топ-менеджерами банка.

В 25 стал директором по данным стратегического блока (Chief Data Officer), занимался политикой управления данными Сбера и экосистемы, организовал первое в банке защищенное хранилище конфиденциальных данных, строил модели машинного обучения для помощи в принятии управленческих решений.

В 26 стал директором по ИИ (Chief Data Scientist) стратегического блока Сбера, участвовал в разработке стратегии ИИ-трансформации Сбера, затем реализовал эту стратегию, сэкономив банку кучу денег. Был признан одним из лучших руководителей Сбера 2021 года. Курировал нацпроекты в центре при правительстве РФ (анализ сложности банковского регулирования, оптимизация выезда врачебных бригад в ковид, анализ загазованности воздуха и т.д).

Победил в бизнес-акселераторе Сбера с дейтинг-приложением на базе ИИ.

Мне понравилось делать стартапы, но я не знал, как на них зарабатывать. Поэтому в роли технического директора (CTO) пошел набираться опыта в международную венчурную студию, которая инвестировала в ИИ-стартапы, и в конце 2021 года отправился на Кипр, бросив аспирантуру.

В 27 начал работать над тремя стартапами:
1) Искал, кто промышленно ворует электроэнергию в России - нашел, решение передали заказчику;

2) Гоночная игра в смешанной реальности с настоящими GO-картами. Обучал беспилотники в симуляции, выступал с научной работой на международных конференциях, но бизнес-модель не сошлась;

3) ИИ-ассистент, который пишет в ваши соцсети вместо вас - стартап привлек дополнительное финансирование, и я в роли технического директора сосредоточился на его развитии. Начали получать доход, продукт стал продуктом дня и продуктом недели на Product Hunt.

Набравшись опыта в венчурной студии, я основал собственную компанию Andre AI Technologies. Мы предлагаем стартапам и технологическим компаниям услуги разработки и внедрения ИИ решений под ключ. Обычно речь идет о различных ИИ-агентах и оптимизации процессов с помощью ИИ.

Кроме того, я создаю ИИ-сотрудников для автоматизации своей рутины и думаю мои решения могут помочь и другим бизнесам.

Сейчас мне 29 лет, я верю, что технологии, особенно искусственный интеллект, способны сделать мир лучше, и планирую принять в этом самое активное участие.

#обо_мне

О моей компании

Моя компания Andre AI Technologies предлагает услуги технического директора как сервис (CTO-as-a-Service) для ИИ-стартапов и технологических компаний.

Мы разрабатываем и внедряем технологии, которые позволяют компаниям эффективно достигать бизнес-целей, в том числе:

• Создаем архитектуру высоконагруженных систем машинного обучения и других технологических решений;

• Разрабатываем и реализуем стратегии внедрения и использовании ИИ в бизнесе, создаем дорожные карты для ИИ-продуктов;

• С помощью внедрения ИИ в процессы компании сокращаем издержки и увеличиваем прибыль;

• Помогаем нанять компетентных сотрудников для технических команд и менторим технических руководителей;

• Проводим исследования передовых ИИ-технологий для внедрения лучших решений в продукты компании;

• Тренируем модели машинного обучения для решения различных бизнес-задач, от классического ML до создания цифровых двойников и беспилотных машин;

• Разрабатываем приложения, обеспечивающие уникальный пользовательский опыт и приносящие значительную ценность клиенту;

• Обеспечиваем обмен данными между различными системами для продвинутой аналитики, что позволяет принимать эффективные решения на основе данных;

Моя команда состоит из ведущих профессионалов в области AI/ML, которые способны справляться с проектами любой сложности и добиваться превосходных результатов. При этом нам одинаково интересно работать как с небольшими стартапами, так и с крупными компаниями.

Мы готовы работать с любыми бюджетами и предлагать оптимальные решения, соответствующие финансовым возможностям клиента. Для небольших проектов у меня есть команда готовых к работе специалистов, которые могут немедленно приступить к выполнению задач.

Если проект требует более масштабного подхода, я помогаю с набором высококлассных специалистов и созданием новой команды с нуля. Мой гибкий подход ориентирован на потребности клиента: стоимость моих услуг сопоставима с наймом высококвалифицированного технического директора, однако я работаю проектно и меня не нужно брать в штат.

Подробно обо мне и моем опыте можно прочесть в прошлом посте, а здесь расскажу совсем кратко:

Я работал как в крупных международных корпорациях, так и в небольших стартапах, у меня степень магистра в области бизнес-информатики одного из ведущих вузов. Благодаря академическому образованию и практическому опыту я глубоко понимаю потребности каждого клиента и способен решать задачи любой сложности.

Карьеру я начал в международной IT-консалтинговой компании Accenture, затем перешел в Сбер, где успешно провел ИИ-трансформацию управленческих процессов, значительно повысив операционную эффективность компании.

После этого я поработал техническим директором в венчурной студии, где создал ИИ-платформу с эффективными процессами для быстрой разработки различных ИИ-приложений для стартапов. Эта платформа стала основой для успешного запуска множества проектов, и я планирую рассказывать о них в своем блоге.

Я убежден, что качественные данные — это все, что нужно для создания надежных интеллектуальных систем. Если у вас есть данные, мы вместе найдем им применение и создадим решения, которые помогут вашей компании расти и приносить больше пользы вашим клиентам.

Давайте работать вместе, чтобы сделать мир лучше!

#обо_мне

Как снизить затраты бизнеса на 30% при помощи ИИ-ассистентов

Билл Гейтс считает, что через 3-5 лет появятся ИИ-сотрудники. Они смогут обучаться и выполнять задачи без постоянного контроля со стороны пользователя. Им не нужно платить зарплату, они работают 24/7 и не совершают человеческих ошибок. В недалеком будущем, подключив несколько таких ИИ-сотрудников, можно будет создать ИИ-компанию, в которой все процессы автоматизированы, а владелец занимается только стратегией.

Но это будет потом. Впрочем, уже сейчас доступны полумеры - автономные ИИ-ассистенты, которые пусть и не заменяют людей, но помогают им решать задачи, увеличивая производительность труда.

Например, такие ассистенты полезны в области SMM, продаж, HR и разработки софта. Скажем, Amazon только на софте экономит таким способом $260 млн в год, а в целом бизнес может сэкономить до 30% на внедрении ИИ-решений.

Что касается меня лично, то я использую HR-ассистента для первичного отсева резюме при найме, другой ассистент, который умеет анализировать записи совещаний, неоднократно набрасывал неплохие идеи, ну и конечно не представляю, зачем бы я сегодня стал писать код без ИИ-ассистента, это кратно ускоряет разработку без потери качества.

Самое интересное, что внедрение такого ассистента – не фантастика, не требует огромных денег или невероятной квалификации. Начните с анализа того, какие задачи требуют больше всего времени и ресурсов. Когда определитесь с этим, выберите один из вариантов, исходя из ваших потребностей и навыков:

1. Нужно писать код: есть несколько открытых библиотек для создания ИИ-ассистентов, в первую очередь это LangChain, LangGraph, CrewAI и AutoGen. Эти инструменты позволяют гибко настраивать промпт-архитектуры с использованием языковых моделей. Также с их помощью можно интегрировать вызовы различных инструментов, использовать долгосрочную память и продвинутые методы рассуждения и рефлексии, а также создавать мультиагентные системы для автоматизации более сложных процессов. Я использую именно эти инструменты для разработки ИИ-ассистентов.

2. Не нужно писать код: использование таких инструментов как Zapier, Make , DialogFlow позволяет автоматизировать процессы без программирования. Они предлагают простой интерфейс и интеграции с различными сервисами. Например, с их помощью можно подключить любую языковую модель и настроить ее для выполнения конкретных задач.

3. Нужно уметь писать промпты: можно использовать популярные платформы с LLM, такие как ChatGPT, Claude, Gemini и Perplexity AI, напрямую. Все платформы, кроме Claude, предлагают доступ в интернет, а OpenAI имеет маркетплейс ассистентов GPTs, в котором можно создать своего ИИ-ассистента, добавив к нему необходимые знания (загрузив в него любую текстовую информацию) и навыки (ручки к API различных систем, фактически дав ассистенту возможность вызывать нужные функции. Здесь конечно придется немного писать код). На этом сайте можно изучить лучшие промпты для ваших задач, а инструмент PromptWise помогает оптимизировать промпты для ChatGPT.

4. Готовые продукты: Pygma AI предлагает ИИ-ассистента для ведения блога в соцсетях, Bland AI звонит клиентам и продает товары, PyjamaHR позволяет в 10 раз быстрее нанимать кандидатов, GitHub Copilot уже используют многие программисты для помощи в написании кода, а tl;dv подводит итоги рабочих совещаний. Конечно, коробочные решения не такие гибкие, но если они решают именно ваши задачи, то можно пользоваться.

Сейчас самый подходящий момент, чтобы начать использовать ИИ-ассистентов. Это не только повысит эффективность и сократит издержки, но и подготовит вашу компанию к будущим изменениям, когда полноценные ИИ-сотрудники станут реальностью. Это вопрос выживания, поэтому не ждите, пока технологии достигнут идеала — начните уже сейчас, и вы окажетесь на шаг впереди конкурентов.

#технологии

Как сэкономить миллиарды за счет ИИ-трансформации бизнеса

В 2020 году я стал директором по искусственному интеллекту (Chief Data Scientist) в стратегическом блоке Сбера. Основная задача была весьма амбициозной: вывести блок в лидеры по развитию ИИ. При этом в тот момент мы отставали от всех других блоков, у нас не было ни одной работающей ИИ-модели.

Для начала я проанализировал положение дел и разработал стратегию ИИ-трансформации блока по 35 различным параметрам - от уровня менеджмента до качества научных исследований. Задача была сложной сама по себе, но сложнее всего было утвердить ее на уровне банка и экосистемы.

Затем я сформировал команду из примерно 20 специалистов по данным. Мы начали глубокое изучение процессов: беседовали с сотрудниками, анализировали рабочие потоки. Сложнее всего поддавались анализу управленческие процессы, эффективность которых трудно измерить количественно.

После этого мы приступили к сбору источников данных для каждого процесса. Процессов оказалось более 30, и все требовали соблюдения конфиденциальности данных. Для работы с данными нам пришлось совместно с отделом кибербезопасности создать отдельное защищенное хранилище - кстати, первое в Сбере хранилище такого рода.

После завершения подготовительного этапа началась разработка моделей. Для макроэкономистов мы создали инструмент стресс-тестирования банка. В результате появилась возможность моделировать различные сценарии развития событий и оценивать их влияние на ключевые показатели банка – без риска для реальных активов.

Отдельный инструментарий был создан для работы с банковскими рынками: под каждый сегмент рынка была создана модель, при помощи которой аналитики могли прогнозировать их динамику и принимать обоснованные решения.

Для стратегического отдела мы создали целый ряд полезных инструментов:

• Модель анализа эффективности сотрудников помогала оценивать продуктивность каждого специалиста;

• Модель для прогнозирования потенциальных увольнений - это оказалось очень полезным для HR-отдела;

• Модель ONA (Organizational Network Analysis) для оптимизации организационной структуры, выявляющая неэффективное распределение кадров и дублирующие функции;

• Модель для оптимизации нахождения сотрудников в офисе в пандемию и определения оптимальной рассадки;

• Интеллектуальный календарь для руководителей, оптимизирующий их рабочий график. Это позволило топ-менеджерам более эффективно управлять своим временем;

• Система генерации бизнес-идей для высшего руководства. Хотя это может показаться футуристичным, система работала довольно эффективно, предлагая интересные концепции, пригодные для дальнейшей проработки человеком;

• Для стратегического дашборда разработали модель, которая автоматически сегментирует клиентов и строит аналитику под каждый сегмент. Это позволило стратегам лучше понимать клиента и принимать более эффективные решения по выводу продуктов на рынок;

• Кроме того, были разработаны и другие ИИ-модели. Ежемесячно каждый из моих сотрудников внедрял по две модели.

В ходе работы мы также внедрили систему интеллектуального анализа документов, которая существенно сократила время поиска необходимой информации в больших массивах данных. Это значительно ускорило процесс обработки отчетов и поиска нужных данных.

Также мы использовали инструменты интеллектуального анализа процессов для проектирования большинства бизнес-процессов банка и инструменты автоматического машинного обучения для прогнозирования метрик этих процессов (их было более 2000), не тратя рабочее время исследователей данных.

В результате нам удалось достичь значительного прогресса. За несколько месяцев мы повысили индекс зрелости ИИ с нулевой отметки до 93%, став лидерами по динамике роста в банке. Через год был подсчитан экономический эффект, который исчислялся несколькими миллиардами рублей. Точную сумму, к сожалению, раскрыть не могу - NDA.

Ну и в качестве вишенки на торте - я был признан одним из лучших руководителей банка 2021 года.

Получить такую оценку лично от президента Сбера было, конечно, очень приятно.

#кейсы

Как правильно «вкатиться в ИИ»

Многие думают, что для начала работы в сфере ИИ достаточно научиться писать классные промпты к GPT-4o. Так тоже можно, но далеко на этом не уедешь.

Чтобы действительно разобраться с тем, как работают нейросети, как их обучать и использовать в своих целях, для начала будет полезно получить некоторые фундаментальные знания: пройти курсы матстатистики, теорвера, линейной алгебры - это база. Также будут очень полезны курсы по численным методам, дискретной математике и теории информации. Конечно, в идеале стоит закончить специализированный ВУЗ, но не у всех есть на это пять лет, так что можно ограничиться Курсерой либо аналогами - главное все это именно изучить, а не “пройти мимо”.

Затем нужно освоить инструменты для работы с данными. Прежде всего стоит изучить Python — для анализа данных, и SQL — для работы с базами данных. В Python следует изучить такие библиотеки как NumPy и SciPy для математических операций, Pandas для анализа табличных данных, а также Matplotlib и Seaborn для визуализации данных. Библиотека Scikit-learn предоставляет широкий набор инструментов для работы с машинным обучением (ML), а PyTorch применяется для обучения нейронных сетей. Со стороны баз данных я бы начал с PostgreSQL для работы с табличными данными, позднее можно перейти к MongoDB для работы с неструктурированными данными.

Параллельно с изучением теории важно постепенно учиться применять навыки на практике, иначе будет скучно и недостаточно предметно. Можно начать с решения простой задачи, например, с построения модели предсказания выживаемости пассажиров Титаника. Эта задача считается базовой для начинающих, здесь можно найти пример ее решения разными методами. Более сложные задачи можно найти на платформе Kaggle. Конечно, можно придумать собственную задачу, решение которой принесет вам конкретную пользу. Например, в магистратуре я планировал купить квартиру в Москве и для этого собрал датасет со всеми объектами недвижимости города и построил модель для анализа и прогнозирования цен.

В принципе где-то в этом месте уже можно искать полноценную работу в области ML, а применять полученные знания можно еще раньше: например, при изучении Pandas можно автоматизировать ту работу, которая ранее велась в Excel.

После освоения классического машинного обучения можно перейти к изучению глубоких сетей, например, к задачам компьютерного зрения (CV) или обработке естественного языка (NLP). Компьютерное зрение используется для распознавания лиц, автономного вождения, медицинской диагностики и т.д. Обработка естественного языка поможет создавать чат-ботов, автоматически анализировать тексты и создавать поисковые системы. Возможно, вы захотите заниматься обучением с подкреплением (RL) или рекомендательными системами. В любом случае, на этом этапе я бы рекомендовал чтение профессиональной литературы и прохождение продвинутых курсов — к этому моменту вы уже сами разберетесь, каких именно. Но самое главное — практика.

Постепенно вы будете сталкиваться со все новыми и новыми задачами, и несмотря на то, что вы уже будете неплохо разбираться в машинном обучении — а на нем построена вся отрасль ИИ — вам придется постоянно учиться. Ежедневно в области ИИ выходит более сотни научных работ, и не отследив вовремя прорыв в своей области знаний, вы рискуете отстать. Я бы рекомендовал поступить в аспирантуру — там научат работать со статьями и источниками, лично для меня это был крайне полезный опыт.

Но даже обучение это еще не все. Самое главное, чтобы вам было интересно, очень сложно будет заниматься этим только ради денег. Конкуренция в этой области сегодня такова, что, перефразируя Кэрролла, нужно бежать со всех ног, чтобы только оставаться специалистом, а чтобы стать круче, надо бежать как минимум вдвое быстрее.

#мысли

В эту субботу я выступаю с докладом на конференции Data Fest в Ереване. Мой доклад будет посвящен персонализации мультиагентных систем для автоматизации ведения блога в соцсетях.

Конференция пройдет 6-7 сентября. На ней выступят представители Nvidia, Google, AWS, Yandex и других крупных компаний - регистрация бесплатная.

#анонс

Пришествие ИИ в геймдев: от улучшения графики к созданию персональных игр

В детстве я делал моды для некоторых видеоигр и даже писал об этом статьи для известного компьютерного журнала. Как-то я попробовал настроить "искусственный интеллект" для NPC в “Ведьмаке”. Мне хотелось сделать их диалоги более динамичными. Тогда у меня ничего не получилось — не было соответствующих технологий.

Теперь, спустя годы, благодаря нейросетям появились новые возможности, и не только в области диалогов. В качестве примера можно привести мод для Skyrim, который использует ИИ, чтобы расширить возможности общения с NPC. Мод использует ИИ Whisper для преобразования речи игрока в текст, который затем обрабатывается через ChatGPT. В этом случае ChatGPT действует как виртуальный NPC, генерируя ответы на основе предоставленной информации о персонаже. Более того, ChatGPT сохраняет контекст беседы, чтобы персонажи "помнили" предыдущие разговоры, что делает диалоги более живыми и динамичными.

Сегодня ИИ используются практически во всех аспектах видеоигр: графика, частота кадров, процедурная генерация уровней и музыки, поведение персонажей, принятие решений и выбор оптимальной стратегии — все это при известном желании можно доверить ИИ.

Однако одной из наиболее впечатляющих инноваций является использование ИИ для создания не просто отдельных элементов игр, а целых игровых миров в реальном времени. Этот подход уже продемонстрирован в исследованиях на примере знаменитой игры Doom.

Недавно исследователи из Google разработали модель ИИ под названием GameNGen, способную симулировать игровой процесс Doom (1993) без использования оригинального программного кода.

GameNGen использует нейросеть для рендеринга игровых кадров в реальном времени, обеспечивая частоту выше 20 кадров в секунду. Это позволяет создать играбельный опыт, который визуально напоминает классический Doom. Модель опирается на технологию Stable Diffusion и анализирует более 900 миллионов кадров оригинальной игры, чтобы сгенерировать реалистичные сцены и адаптировать их под действия игрока.

Как и традиционные компьютерные игры, модель ИИ работает по принципу игрового цикла: игрок вводит команду, игровой мир обновляется, а результат отображается на экране. Модель может симулировать различные игровые сценарии, такие как открытие дверей или уменьшение здоровья при атаке врагов, создавая реалистичное взаимодействие с виртуальной средой.

Однако у GameNGen есть ограничения — модель «помнит» только около 3 секунд игрового времени, что иногда приводит к тому, что объекты появляются или исчезают без логического обоснования. Тем не менее, даже с этими недостатками, GameNGen демонстрирует огромный потенциал: в будущем представляется возможным создание в реальном времени полностью сгенерированных игровых миров.

Эти миры будут создаваться на основе предпочтений игрока и будут предоставлять тот опыт, который нужен пользователю именно сейчас, без заранее заданного сюжета, сеттинга и структуры. Таким образом, приключения смогут стать бесконечными и неповторимыми.

Сколько осталось ждать, будут ли такие игры востребованы и сильно ли они будут по ощущениям отличаться от кислотного трипа — посмотрим.

#технологии

Как мы обучали беспилотные машины в симуляции

Однажды на конференции CES 2022 был представлен беспилотный гоночный болид «Формулы-1», управляемый ИИ. Стейкхолдеры нашей венчурной студии решили сделать нечто подобное, но для начала используя менее дорогие машинки.

Итак, в роли технического директора венчурной студии я участвовал в проекте по созданию гоночной игры c машинками для картинга в смешанной реальности.

Идея заключалась в том, чтобы игрок мог, сидя у себя дома в любой точке мира, управлять настоящими гоночными картами и соревноваться с другими игроками и ИИ. Задача состояла в том, чтобы разработать ИИ-автопилот для машинок, адаптируя его в систему для устранения задержек при передаче данных.

Пока одни инженеры обвешивали машинки лидарами, радарами, GNSS (Global Navigation Satellite System), камерами и датчиками для измерения скорости, температуры двигателя и т.п., а другие инженеры строили трассу для игры, ИИ-инженеры решили не терять время и начали обучать беспилотники в симуляции без использования настоящих машинок и готовой трассы.

Обычно беспилотники обучают на реальных данных с использованием синтетических, имитируя различные погодные условия, время суток, типы поверхностей и уровни освещенности. В таком случае датасет для обучения получается больше и разнообразнее. Мы же решили попробовать обучить машинки используя только синтетические данные.

Сначала мы разработали базовый пайплайн обучения с подкреплением (RL) и научились решать задачу Reward Shaping на соревнованиях AWS DeepRacer (кстати, вошли в топ-4% мирового рейтинга), чтобы понимать, какую функцию вознаграждения использовать для бейзлайна. В итоге мы наказывали машинку за врезания в края трассы и поощряли за быстрое прохождение круга.

Далее мы начали изучать среды симуляции: Carla, LG SVL, Gazebo и даже рассматривали обучение в GTA 5. В результате анализа мы выбрали Carla, так как эта среда поддерживает различные сенсоры, собственные карты и хорошо интегрируется с ROS (Robot Operating System).

В среду симуляции мы встроили интерфейс OpenAI Gym для обучения с подкреплением, поместили модель настоящего гоночного карта, модель трассы и создали для него виртуальные лидары. Виртуальные лидары позволили создать для беспилотника дополненную реальность «вида сверху» (bird’s-eye-view) для более точного обучения. Мы организовали систему хранения данных из различных сенсоров и настроили необходимые ML-пайплайны.

Также мы использовали техники curriculum learning, постепенно обучая машинку сначала не врезаться в края трассы, потом избегать врезаний в другие машинки и следом учиться обгонять машинки. В результате мы получили систему для асинхронного обучения нескольких агентов в симуляции. Мы обучили около сотни агентов на одной трассе за 5 часов, выбрали лучшую модель и встроили ее в реальный карт.

Мы наблюдали, как настоящая машинка для картинга, обученная только в симуляции, поехала по реальной трассе. Беспилотник резво входил даже в крутые повороты на скорости до 40 км/ч. Также мы попробовали запустить машинку на других трассах — сработало! Модель хорошо управляла картом даже на незнакомых трассах.

К сожалению, при скорости более 40 км/ч машинка теряла управляемость — все-таки физика берет свое и обучение в симуляции не учитывало неровность асфальта и другие мелкие детали. Нас ожидала масштабная работа над Sim2Real transition.

Но в итоге мне и другим игрокам удалось, сидя дома, через браузер управлять настоящей машинкой, соревнуясь с другими машинками, управляемыми ИИ. Это были незабываемые ощущения, которые невозможно передать словами.

Не у всех стартапов сходится экономика, чтобы он оказался прибыльным, но зато нам удалось разработать собственный фреймворк для обучения любых машинок в симуляции, а также выступить с докладом на различных конференциях. Это был крутой опыт с Reinforcement Learning и Robotics, который определенно поможет в будущих проектах.

#кейсы

⚡️OpenAI выпустили новую модель o1-preview!

OpenAI o1 — это новая LLM, специально обученная для выполнения сложных задач с помощью RL (reinforcement learning). Главная особенность — способность «думать перед тем, как ответить», благодаря чему она генерирует внутреннюю цепочку рассуждений (Chain-of-Thoughts) перед выдачей результата. Это позволяет модели лучше решать задачи, связанные с логикой, программированием и наукой.

Основные характеристики:

• 89-й перцентиль на задачах программирования (Codeforces);
• Успешно решает 73% задач на уровне кандидатов наук по физике, биологии и химии;
• Входит в число 500 лучших участников на отборе в Олимпиаду по математике в США (AIME);
• Модель o1-preview уже доступна в ChatGPT и через API для избранных пользователей.

Ключевые особенности:

• Прогрессивное мышление: модель использует «цепочку рассуждений» для поэтапного решения сложных вопросов, что улучшает качество выводов и позволяет эффективно исправлять ошибки.

• Повышенная точность: по сравнению с GPT-4o, модель o1 показывает значительно лучшие результаты в задачах с высокими требованиями к логическому мышлению — в 7-8 раз лучше в математике и на 15% точнее в науках, таких как физика и химия.

• Новая парадигма: теперь важно не только как много данных и ресурсов используется для обучения, но и сколько времени модель тратит на размышления.

• Рефлексия и самокритика: модель умеет «думать вслух» и анализировать свои ответы, что существенно повышает ее способность к самокоррекции.

В будущем OpenAI планирует значительно ускорить и удешевить модель, делая ее доступной для широкой аудитории.

Думаю, OpenAI o1 станет важной вехой в развитии ИИ благодаря способности размышлять, что кардинально меняет подход к использованию языковых моделей. Ранее нам приходилось использовать подход Chain-of-Thought самостоятельно, но теперь это делают за нас.

Возможно, скоро нас ждет интеграция и других методов рассуждений (Tree-of-Thoughts, Graph-of-Thoughts и т.д.), что позволит решать еще более сложные логические задачи.

#новости

А вот и демо того, как мы учили беспилотники в симуляции.

На видео показано, как несколько машинок учатся одновременно в Carla-симуляции. Вид сверху создан с помощью виртуальных лидаров, а реальный карт едет по трассе самостоятельно.

#кейсы