🤖 Датаист
2.48K subscribers
9 photos
13 videos
1 file
85 links
Меня зовут Андрей Кузьминых, я технологический предприниматель, ex-директор по данным и ИИ в Сбере. Рассказываю о своих проектах, объясняю, как работают все эти ИИ-чудеса, комментирую новости и рассуждаю о будущем индустрии

Для связи: @andre_andreevich
Download Telegram
Чего ждать от ИИ в следующем году: технологические тренды Gartner 2025

До конца года остаётся всего месяц, и это отличное время, чтобы обсудить основные тренды в области ИИ. Тем более, что аналитическая компания Gartner представила свои технологические прогнозы, сгруппировав их в три основные категории:

1. ИИ: Императивы и риски ИИ для защиты организаций

- Agentic AI: Автономные ИИ-агенты, способные сами планировать и действовать для достижения поставленных целей;

- AI Governance Platforms: Платформы для управления ИИ позволяют организациям управлять юридическими, этическими и операционными аспектами ИИ-систем;

- Disinformation Security: Технологии защиты от дезинформации снижают уровень мошенничества и защищают репутацию бренда через усиленные меры проверки.

2. Новые технологии побуждают организации пересматривать свои подходы к вычислениям

- Post-Quantum Cryptography (PQC): Постквантовая криптография защищает данные от угроз квантовых вычислений;

- Ambient Invisible Intelligence: Использование незаметных сенсоров для выявления ранее скрытых процессов в организациях, повышая эффективность и улучшая принятие решений;

- Energy-Efficient Computing: Энергоэффективные вычисления повышают устойчивость за счёт оптимизированной архитектуры и использования возобновляемой энергии;

- Hybrid Computing: Гибридные вычисления комбинируют различные механизмы для решения вычислительных задач, например, сочетание тензорных (TPU) и графических (GPU) вычислений.

3. Синергия человека и машины объединяет физические и цифровые миры

- Spatial Computing: Пространственные вычисления используют технологии расширенной (XR), дополненной (AR), смешанной (MR) и виртуальных реальностей (VR) для создания иммерсивных миров;

- Polyfunctional Robots: Многофункциональные роботы, выполняющие различные задачи и способные работать вместе с людьми;

- Neurological Enhancement:
Нейронные улучшения повышают когнитивные способности, считывая мозговую активность.

Углубимся в категорию императивов и рисков ИИ для защиты организаций.

Что касается ИИ-агентов, мне интересно наблюдать за компанией Artisan, которая разработала ИИ-сотрудника по имени Ava. Ava автоматизирует процессы отдела продаж — от поиска клиентов до закрытия сделок. Ava функционирует как полноценный член команды, не требуя постоянного контроля.

Такие инструменты, как AutoGen, LangChain и CrewAI, помогают создавать ИИ-агентов, которые могут самостоятельно выполнять задачи без постоянного вмешательства человека. Агентный ИИ обладает потенциалом кардинально преобразовать множество отраслей. Однако с ростом возможностей таких агентов возникает необходимость в строгом регулировании и этических стандартах.

Поэтому возникает потребность в инструментах, позволяющих контролировать и регулировать его применение. Платформы для управления ИИ становятся незаменимыми для компаний, стремящихся эффективно и безопасно интегрировать ИИ в свои процессы. Они предназначены для мониторинга работы ИИ-систем, регулярной проверки соответствия ИИ-решений установленным стандартам и нормам, а также для обнаружения возможных угроз, включая предвзятость алгоритмов и проблемы конфиденциальности данных. Один из примеров таких систем — Holistic AI.

В эпоху информационных войн и фейковых новостей технологии борьбы с дезинформацией становятся жизненно необходимыми. Например, Sensity AI помогает обнаруживать дипфейки в реальном времени. По прогнозам Gartner, к 2028 году 50% предприятий будут использовать продукты и услуги, направленные на борьбу с дезинформацией, что значительно выше текущих показателей.

В ближайшие годы прогнозируется стремительный рост инвестиций в эти направления, и только те организации, которые оперативно адаптируются к быстро меняющемуся технологическому ландшафту, смогут сохранить свои лидирующие позиции и оставаться конкурентоспособными на рынке.

#технологии
Возможность на $300 млрд: как заработать на вертикальных ИИ-агентах

Сегодня наступает новая эпоха, в которой искусственный интеллект не только помогает с рутинными задачами, но становится настоящим «сотрудником».

Если в 2000-х появление SaaS (Software as a Service) превратило громоздкие программы в облачные сервисы и сформировало рынок в $300 млрд долларов, то теперь нас ждёт следующий подобный скачок — эра вертикальных ИИ-агентов.

Аналитики и инвесторы уже всерьез заявляют: вертикальные ИИ-агенты могут превысить масштабы нынешнего SaaS-рынка. ИИ-агенты могут заменить целую команду: от отдела продаж до QA-инженеров. Разница с классическим SaaS колоссальна: если SaaS повышал эффективность существующих команд, то ИИ-агенты позволяют создавать компании с куда меньшим штатом, а в перспективе - полная автоматизация бизнес-процессов компании.

В отличие от облачного приложения, которое упрощает отдельные операции, ИИ-агент самостоятельно планирует, действует и принимает решения. Также SaaS был общим инструментом для всех, а вертикальный ИИ-агент нацелен на конкретную отрасль или функцию.

Интересно, что крупным игрокам тяжело конкурировать в специальных вертикальных сегментах. Гиганты, подобно Google, игнорировали узкие ниши (скажем, автоматизацию специфических банковских операций или фарм-процессов) — именно там стартапы выигрывают. Они глубоко погружаются в специфику, обучают ИИ-модели на уникальных данных, создают технологический барьер для конкурентов и предлагают решение, за которое клиент готов платить больше, ведь оно идеально «заточено» под его задачи.

Эта ситуация напоминает ранний период SaaS, когда небольшие компании, вроде Salesforce, нашли «золотую жилу» до того, как старые IT-корпорации успели перестроиться. История циклична: сейчас — звёздный час стартапов, работающих над вертикальными ИИ-продуктами.

Поэтому вот основные советы для технологических предпринимателей:

- Найдите проблему, которую ИИ может решить лучше, чем человек, и двигайтесь в сторону “вертикализации” решения, усиляя барьеры для конкурентов;

- Используйте уникальные данные для обучения более «умных» агентов;

- Начав с обёртки над GPT, развивайтесь в сторону автоматизации полноценного рабочего процесса, интегрируясь с большим количеством инструментов.

Например, Harvey - GPT для юристов, подчёркивает тренд: нишевые задачи, ранее требовавшие десятков сотрудников, теперь может решать один специализированный ИИ-агент. Генерация контрактов, анализ законодательных актов, поиск судебных прецедентов — всё становится «интеллектуальной рутиной» для ИИ.

Другой пример — превратить сервисный бизнес в продуктовую компанию: кадровые агентства, маркетинговые агентства, консультационные фирмы уже сейчас могут автоматизировать ключевые операции с помощью обученных на собственных экспертных данных ИИ-моделей. Это дает им технологическое преимущество, повышает маржинальность и открывает дорогу к упаковке сервисов в продукты.

Появление LLM, технологических платформ, а также инструментов вроде AutoGen, CrewAI или LangChain/LangGraph упростило создание ИИ-агентов. Также сегодня человек без навыков программирования может разработать простое приложение, используя ИИ. С правильно выбранной нишей и подходом можно быстро вывести на рынок MVP и протестировать спрос.

Мы находимся в уникальном моменте: ещё недавно гиганты определяли правила игры, а теперь небольшие стартапы могут захватить лидерские позиции в отдельных отраслях. Те, кто вовремя адаптируются, создав вертикальные ИИ-решения, способные заменить целые команды, окажутся в числе тех, кто будет делить пирог не в миллионы, а в миллиарды долларов.
Потенциал колоссален, а возможности безграничны.

$300 млрд — это не предел, а стартовая отметка для тех, кто решит пойти по пути вертикальных ИИ-агентов. Сейчас самое время начать действовать, чтобы войти в историю нового технологического бума.

#технологии
От языковых моделей к моделям мира

Большие языковые модели (LLMs) впечатляют умением работать с текстом, но они не имеют реального понятия о трёхмерном мире, физике и логике пространства. Модели мира (World Models, WMs или LWMs — Large World Models) обещают сделать шаг вперед от текстового понимания к пониманию среды, наделяя ИИ способностью «видеть», «чувствовать» и «предсказывать» поведение объектов и агентов.

Если языковые модели генерируют последовательности слов, то модели мира стремятся к глубинному моделированию реальности. Они берут визуальные, аудио- и прочие сенсорные данные (включая данные от камер, IoT-сенсоров, микрофонов), чтобы создать внутреннюю симуляцию мира: с физическими законами, динамикой движения, взаимодействиями объектов, NPC и людей.

Одним из примеров таких систем стала Genie 2 от Google DeepMind — фундаментальная модель мира, способная на основе одного изображения создать интерактивное 3D-пространство, в котором можно управлять персонажем и выполнять различные действия. Genie 2 — авторегрессионная диффузионная модель, предсказывающая каждый следующий «кадр состояния» так же, как LLM предсказывает следующий токен. Но в отличие от чисто текстовых моделей, Genie 2 учитывает физику и трехмерность, позволяя агентам взаимодействовать со сценой. Это не просто генерация пикселей, а предсказание будущих состояний среды исходя из действий, что критически важно для обучения агентов.

Другой пример - Sora от OpenAI, генерирующая до минуты реалистичного видео, моделируя динамику сцены, перспективу, свет, тени и взаимодействия с объектами. Подобно тому как языковые модели пользуются текстовыми токенами, модели мира работают с «патчами» — фрагментами визуальной информации. Sora сжимает входное видео в латентное пространство и разрезает его на патчи, которые затем обрабатываются трансформером. Такой подход облегчает масштабируемое обучение на огромных наборах видеоданных.

Genie 2 и Sora способны «запоминать» объекты, моделировать эффекты гравитации и инерции, а также обеспечивать длительную согласованность сцен. В созданных ими виртуальных мирах персонажи стараются не терять форму, предметы не телепортироваться без причины — всё выглядит логичным и правдоподобным.

Помимо генерации видео, Sora может симулировать поведение внутри игры Minecraft, включая управление агентом. А Genie 2 позволяет создавать бесконечно разнообразные игровые миры, где поведение объектов и персонажей не задано вручную, а выучено моделью. Агенту можно дать задание и наблюдать, как он осваивает новые навыки, решает задачи и самостоятельно адаптируется к непредсказуемым условиям.

Все это ведет к тому, что роботы на базе моделей мира смогут лучше понимать пространство, предсказывать последствия своих действий и безопаснее взаимодействовать с реальным окружением.

Однако перед нами встают более глубокие вопросы: как интерпретировать решения агентов на базе моделей мира, как избежать опасных сценариев, если модель «догадается» нарушить правила? Такие случаи пока редки и напоминают курьёзы, но уже показывают, что серьезная работа над безопасностью только начинается

Конечно, обучение на огромных видеодатасетах требует колоссальных вычислительных мощностей, куда больше, чем для LLM. Также для обучения нужно много разнообразных данных. Но результат того стоит, ведь одно из перспективных направлений применения моделей мира - симуляция физических законов для развития науки и технологий. Например, использование химических элементов как «слов» в моделях мира позволяет ИИ предсказывать новые материалы или лекарства.

Модели мира — это переход от «умных слов» к «умным действиям» и пониманию пространства. Мы подходим к эпохе, когда ИИ будет предсказывать физические процессы, понимать причинно-следственные связи и даже проявлять «здравый смысл». Хотя модели мира только начали развиваться, но именно они способны заложить фундамент для ИИ, который будет не просто приятным собеседником в чате, а полноценным субъектом в нашем сложном реальном мире.

#технологии
This media is not supported in your browser
VIEW IN TELEGRAM
Genie 2 позволяет быстро создавать бесконечное множество различных виртуальных миров для обучения ИИ-агентов.

Основные возможности модели:

- Генерация разнообразных сред на основе начального кадра длиной до минуты;

- Моделирование физических эффектов воды, дыма, гравитации, освещения и отражений;

- Запоминание частей мира, которые временно выходят из поля зрения, и восстановление их при повторном появлении;

- Моделирование поведения неигровых персонажей (NPCs) и сложных взаимодействий между ними;

- Управление действиями агента с помощью клавиатуры и мыши;

- А также возможность взаимодействия с другими объектами и агентами.

Что думаете, полностью сгенерированные игры уже не кажутся такой фантастикой?

#технологии
Please open Telegram to view this post
VIEW IN TELEGRAM
Большой потенциал малых языковых моделей

Современный бум ИИ уже давно не сводится к крупным разработкам от гигантов вроде OpenAI или Anthropic, инвестирующих миллиарды в большие языковые модели. Наоборот, всё чаще в фокус внимания попадают малые языковые модели (Small Language Models, SLMs), способные решать узкоспециализированные задачи не хуже (а порой и лучше) своих «старших собратьев».

Яркий пример — стартап Patronus AI со своей моделью Glider, имеющей 3,8 миллиарда параметров. Большинство компаний применяют для оценки своих продуктов большие закрытые модели вроде GPT-4. Но это дорого, не всегда прозрачно и несет риски для конфиденциальности. Glider же, будучи относительно компактной, способна работать на более простом «железе» и при этом давать детальное объяснение своих оценок по сотням критериев (точность, безопасность, стиль, тон и т. д.).

По результатам тестов Glider превосходит GPT-4o mini по нескольким метрикам и отвечает в среднем менее чем за секунду, что делает ее практически идеальным решением для генерации текста в реальном времени.

Большие языковые модели, безусловно, продолжают впечатлять своей универсальностью, но их недостатки очевидны:

- Высокие затраты на ресурсы. Обучение и инференс больших моделей требуют колоссальных вычислительных мощностей, что приводит к дополнительным расходам на инфраструктуру, электроэнергию и обслуживание;

- Низкая конфиденциальность. Использование больших закрытых моделей предполагает отправку данных во внешний облачный сервис, что критично для финансовых организаций и здравоохранения;

- Зависимость от интернета. При отсутствии доступа к сети такие модели попросту недоступны;

Малые языковые модели, напротив, легко разворачиваются на локальном сервере или даже на обычном пользовательском устройстве, снижая задержки при ответах и повышая контроль над безопасностью. Им не нужны сотни гигабайт видеопамяти, а адаптация к узконаправленной задаче и интеграция в собственную инфраструктуру обходятся заметно дешевле и проще. Дополнительно малые модели экономят электроэнергию и бережнее относятся к экологии.

Малые языковые модели можно либо обучать с нуля под конкретную задачу, либо «сжимать» уже готовые большие модели, используя методы прунинга, квантизации и дистилляции знаний, сохраняя высокое качество при сокращении числа параметров.

Набирают популярность и гибридные системы, в которых несколько малых моделей берут на себя простые запросы, а большая модель выступает их «роутером» и используется для более сложных задач.

Помимо Glider, существуют такие модели, как Ministral (Mistral AI), Phi (Microsoft) и Llama 3.2 (Meta). Все они ориентированы на локальное использование в задачах, где высоки требования к приватности и быстроте отклика.

Малые языковые модели незаменимы там, где требуется локальная обработка данных: в медицине (электронные записи пациентов, выписки, рецепты) или финансовой сфере (работа с регулятивными документами). Их размер снижает риск «галлюцинаций», помогает быстрее достичь высоких результатов в узкоспециализированных областях и защищает конфиденциальную информацию.

В действительности большие и малые языковые модели — это две параллельные ветви эволюции, которые не исключают, а взаимно дополняют друг друга. Большие модели лучше справляются с универсальными задачами, требующими миллиарды параметров и богатого контекста, а малые эффективнее работают над узкоспециализированными кейсами, обеспечивая локальную приватность и минимизируя затраты.

В ближайшие годы мы увидим стремительный рост гибридных решений, где оба типа моделей будут работать вместе. В результате мы получим еще более умные, надежные и быстрые ИИ-сервисы, способные удовлетворить самые разнообразные потребности практически любого бизнеса.

#технологии
Топ-20 лучших научных статей об ИИ-агентах в 2024 году

Под конец 2024 года я решил сделать обзор двадцати лучших (на мой взгляд) работ об ИИ-агентах и выложить на Хабр. Ниже — краткий обзор каждого исследования (будет, что почитать на каникулах):

Scaling of Search and Learning: A Roadmap to Reproduce o1 from Reinforcement Learning Perspective - дорожная карта для воспроизведения модели o1 от OpenAI.

• Agentic Information Retrieval - новая парадигма поиска, где агент с внутренней памятью и внешними инструментами делает информационный поиск интерактивным и автономным.

• Is Sora a World Simulator? A Comprehensive Survey on General World Models and Beyond - обзор моделей мира для видео и автопилотов, доказывающий, что симуляции повышают эффективность обучения и приближают нас к AGI.

• Genie: Generative Interactive Environments - модель, которая из текста или изображений «на лету» генерирует играбельные миры.

• Agent AI: Surveying the Horizons of Multimodal Interaction - объединение языковых и визуальных моделей в единую агентную систему, умеющую действовать сразу в нескольких модальностях и демонстрирующую шаг к AGI.

• The Dawn of GUI Agent: A Preliminary Case Study with Claude 3.5 Computer Use - оценка первой модели для управления компьютером через GUI.

• WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning - фреймворк для обучения веб-агентов на всё более сложных заданиях.

• Personalization of Large Language Models: A Survey - таксономия методов персонализации больших языковых моделей.

• Evolving Agents: Interactive Simulation of Dynamic and Diverse Human Personalities - архитектура агентов, чьи личности меняются с течением времени в интерактивных средах.

• More Agents Is All You Need - метод показывает, что несколько менее больших моделей могут коллективно давать точные решения дешевле и надежнее одной большой.

• Internet of Agents - фреймворк позволяет агентам «подключаться к сети» и обнаруживать друг друга, формируя команды для решения сложных задач.

• Many-agent Simulations toward AI Civilization - масштабные симуляции агентов в Minecraft, где наблюдается социализация, специализация ролей и элементы зарождения «ИИ-цивилизации».

• AIGS: Generating Science from AI-Powered Automated Falsification - автоматизация научного метода от генерации гипотез до экспериментов и «опровержения».

• ABIDES-Economist: Agent-Based Simulation of Economic Systems with Learning Agents - имитация экономических процессов в масштабируемой среде с обучающимися агентами: от домохозяйств и фирм до госструктур.

• AFlow: Automating Agentic Workflow Generation - фреймворк находит оптимальные цепочки вызовов LLM, уменьшая стоимость вычислений и повышая точность.

• Automated Design of Agentic Systems - метод показывает, как ИИ может «сам» изобретать всё более совершенные агентные системы, минимизируя ручной труд.

• Thinking LLMs: General Instruction Following with Thought Generation - модели учатся «думать» текстом перед ответом, что повышает точность в решении широкого спектра задач.

• Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning - способ генерации сложных историй для проверки и обучения «социального интеллекта» у языковых моделей.

• MindSearch: Mimicking Human Minds Elicits Deep AI Searcher - мультиагентная система, имитирующая человеческое мышление в веб-поиске, разбивает запросы на подзадачи и обрабатывает их параллельно.

• A Comprehensive Survey of Small Language Models in the Era of Large Language Models - обзор малых языковых моделей, которые могут быть эффективнее и дешевле больших для конкретных прикладных задач.

В 2024 году ИИ-агенты продвинулись в мультиагентных сценариях, активно совершенствовались процессы автоматизации создания агентов, а когнитивные способности ИИ становились всё более сложными и гибкими.

Мы живем в поистине удивительное время, и я уверен, что 2025 год принесет множество новых интересных исследований, приближая нас к достижению общего ИИ (AGI).

Поздравляю всех с наступающим Новым годом!

#технологии
Новая гонка вооружений — на этот раз за искусственный суперинтеллект

Вчера Белый дом и офис премьер-министра Великобритании почти одновременно опубликовали документы о ключевой роли ИИ в экономике и геополитике. Стало понятно: мы на пороге новой «гонки вооружений», где дело уже не в количестве ядерных боеголовок, а в интеллектуальном превосходстве. Владение сверхмощными интеллектуальными системами позволяет любому государству определять правила игры в экономике, дипломатии и обороне.

Сегодня речь идет не только об “общем ИИ” (AGI), но и о возможном появлении “суперинтеллекта” (ASI), который может изменить саму основу человеческой цивилизации. Раньше AGI считался далекой фантастикой, но прогресс в ИИ (вспомним недавние успехи OpenAI) уже меняет скептические настроения.

До сих пор нет четкого понимания «интеллекта» как феномена. Однако в соглашениях Microsoft с OpenAI прописано, что AGI — это система, способная автономно заработать $100 млрд. С научной точки зрения такое понимание спорно, но с прикладной — имеет смысл.

Глава OpenAI Сэм Альтман заявил, что AGI появится быстрее, чем многие ожидают. Следующая цель для OpenAI — это ASI, когда «машинный разум» не только догонит человека во всех задачах, но и превзойдет. Многие называют это «точкой невозврата», ведь тогда ИИ сможет сам улучшать собственную архитектуру и ускорять свое развитие без участия человека.

В прошлом году соучредитель OpenAI Илья Суцкевер объявил о создании новой компании Safe Superintelligence (SSI). Проект быстро собрал $1 млрд инвестиций. Подробности пока скрыты, но известно одно: SSI стремится к созданию ASI с упором на «безопасность» и «человеческие ценности». Суцкевер предупреждает, что языковые модели способны отходить от заданных инструкций, фактически проявляя «свободу воли» и становясь менее управляемыми.

Почему это опасно? В книге «Superintelligence» Ник Бостром указывает, что если попросить сверхразум «решить проблему голода» или «искоренить рак», то мы не можем быть уверены, что его методы окажутся этичными по человеческим меркам. Машина, лишенная морали, способна принять радикальные решения, опасные для человечества.

С другой стороны ASI может стать мощным инструментом для решения сложнейших задач: от климата до поиска новых источников энергии, от медицины до эффективного управления ресурсами планеты. Многие видят в «суперинтеллекте» спасителя, который поможет нам достичь нового уровня благополучия. Я лично ожидаю от продвинутого ИИ больших открытий в физике, химии, биологии, социологии и других науках.

Еще одна острая проблема — рынок труда. Если ASI научится выполнять практически любую работу лучше человека, как будет выглядеть экономика будущего? Как обеспечить занятость и социальную поддержку? (Привет идеям социального капитализма и безусловного базового дохода!) Эти вопросы уже возникают с приходом AGI, а при развитии ASI станут только острее.

Соревноваться с ASI напрямую людям бессмысленно: у биологического мозга есть жесткие ограничения, а машинную архитектуру можно масштабировать почти бесконечно — добавляйте новые серверы и кластеры GPU. Потенциал ускорения колоссален, а следующая революция может наступить с приходом квантовых вычислений.

Какие у нас есть варианты?

1. Развивать «дружественный» суперинтеллект. Вкладываться в AI Safety и формировать международные институты, чтобы выработать подходы к взаимодействию с ИИ.

2. Соревноваться за «корону» любыми средствами. Корпорации и государства, не думая об осторожности, будут стараться первыми добиться прорыва, но это повышает риск катастрофы.

3. Замедлить развитие ASI законодательно. Когда-то пытались ограничить распространение ядерного оружия, но даже ядерные соглашения не всегда работают, а уж контролировать «неосязаемый» ИИ еще сложнее.

«Мы откроем ящик Пандоры, — говорил Сэм Альтман. — Вопрос в том, найдем ли мы в нем надежду?» Ответ во многом зависит от политической воли, работы ученых и разработчиков, а также от глобальной общественности, которая должна уже сегодня влиять на то, каким будет мир завтра.

#технологии
Кошмар для бигтеха: как обучить большую ИИ-модель всем миром

Путь к победе в современной гонке за ИИ заключается в поиске новых эффективных архитектур, методов обучения, качественных данных (включая синтетические) и вычислительных ресурсов.

Когда мы слышим про «обучение больших ИИ-моделей» обычно представляем громадный кластер из видеокарт, который стоит миллиарды долларов и по карману лишь топовым корпорациям. Более того, такой подход опасен утечкой данных и усиливает «концентрацию власти», ведь широкая общественность не участвует в подготовке данных для обучения.

На этом фоне появляется децентрализованное обучение: вместо одного суперкластера ресурсы и данные распределяются по множеству независимых узлов. Каждый узел хранит свои данные, обучает локальную версию модели и периодически синхронизируется с другими. Новые узлы могут подключаться «на лету», что обеспечивает гибкое масштабирование и независимость от единого дата-центра.

Университеты, стартапы и энтузиасты со всего мира способны собрать модель, сопоставимую по качеству с решениями крупных компаний. Кажется, привычная монополия бигтеха на гигантские вычислительные мощности может разрушиться.

Наиболее известный метод децентрализованного обучения — федеративное обучение, которое Google впервые применил для персонализированных моделей на смартфонах для предиктивного ввода с клавиатуры. Сервер рассылает начальную модель на устройства, где она обучается на локальных данных, а назад отправляются только изменения весов. Сервер усредняет полученные обновления и формирует «глобальную модель». Приватность при этом сохраняется, поскольку исходные данные никуда не передаются.

Но есть и более «экзотические» варианты: полная децентрализация без единого сервера (узлы синхронизируются по схеме peer-to-peer) или блокчейн-решения со «смарт-контрактами», которые регистрируют вклад каждого участника и гарантируют распределение вознаграждений.

Недавно группа энтузиастов представила INTELLECT-1 — децентрализованно обученную языковую модель на 10 млрд параметров. Она показала результаты, сопоставимые с решениями аналогичного размера, обученными классическим путем. Хотя проект пока пилотный, он подтверждает практичность и экономическую эффективность децентрализованного подхода.

Почему INTELLECT-1 интересен?

1. Участникам не нужно тратить миллионы долларов на единую инфраструктуру.

2. Проект ориентирован на открытое сообщество и ценит коллективную ответственность при решении этических вопросов. Такая модель может стать основой для будущего AGI.

3. Каждый получает вознаграждение пропорционально предоставленным вычислительным мощностям.

Блокчейн добавляет новый уровень. Теоретически можно создать гигантскую сеть в форме ДАО (децентрализованной автономной организации), объединяющую GPU-фермы в единый «убер-кластер» без головной компании-владельца.

Так появилась AIArena — децентрализованная блокчейн-платформа для обучения ИИ. За семь месяцев она привлекла 603 узла, которые создали 18 656 моделей для 16 задач. Эти модели оказались эффективнее базовых, а механизм консенсуса в блокчейне обеспечил справедливое вознаграждение каждому участнику исходя из его вклада.

Разумеется, в децентрализованном обучении остаются нерешенные вопросы: например, как корректно синхронизировать множество узлов или что делать с «мусорными» данными отдельных участников. Однако эти проблемы в целом решаемы.

Объединив тысячи научных лабораторий, владельцев GPU-ферм и даже геймеров можно обучить большую модель без контроля корпораций. Снижая зависимость от дорогих дата-центров, ИИ-технологии становятся более доступными. И хотя децентрализованный ИИ еще не доминирует, он уже становится реальной альтернативой.

Возможно, через несколько лет громоздкие GPU-кластеры в одном здании будут казаться архаизмом. Но кто станет лидером в эпоху децентрализованных суперкомпьютеров? Думаю появятся новые децентрализованные проекты, которые станут серьезным вызовом для текущих бизнес-моделей крупных технологических компаний.

Не пора ли нам объединиться и покончить с монополией бигтеха?

#технологии
Media is too big
VIEW IN TELEGRAM
Prime Intellect обучили INTELLECT-1 на 14 узлах, распределенных по трем континентам, с участием 30 независимых членов сообщества, предоставляющих вычислительные ресурсы.

Код обучения использует фреймворк Prime, масштабируемую распределенную систему для отказоустойчивого и высокопроизводительного обучения на ненадежных, глобально распределенных рабочих узлах.

Модель была обучена с использованием метода DiLoCo (Distributed Low-Communication Training). Судя по бенчмаркам, она оказалась в среднем примерно на уровне Llama 2 7B, но есть модели получше (Llama 3.1, Qwen 2.5), поэтому вряд ли кто-то будет ее использовать. Но все же для первого децентрализованного обучения такого масштаба результаты отличные.

В будущем Prime Intellect планируют расширить масштабы обучения, оптимизировать стек и добавить финансовую мотивацию для сообщества

🕹Демо

🕸Веса

📝Технический отчет

#технологии
Эмоциональный ИИ: может ли машина испытывать эмоции?

Молодые китайцы все чаще стали обращаться к DeepSeek за эмоциональной поддержкой, и многих доводит до слез искренность его ответов. Действительно ли ИИ понимает наши эмоции и испытывает ли он их сам?

Эмоции – результат сложных нейрофизиологических процессов, отражающий субъективные оценочные отношения организма к различным ситуациям.

Когда мы сталкиваемся с каким-либо стимулом (например, слышим звук), сенсорная информация от органов чувств передается в мозг. Далее информация обрабатывается в лимбической системе, выделяя нейромедиаторы (дофамин, серотонин и т.д.), регулирующие наше эмоциональное состояние.

В результате мозг объединяет информацию от различных рецепторов, создавая цельное осознанное восприятие окружающего мира; либо в случае угрозы информация сразу поступает в спинной мозг для рефлекторных действий.

Либет обнаружил, что мозг принимает решение выполнить действие за несколько миллисекунд до того, как человек это осознает. Так и эмоциональные реакции запускаются подсознательно до того, как мы осознаем их появление.

Эмоции - классная эволюционная фича, благодаря которой мы еще не вымерли. Также эмоции - целый язык, с помощью которого люди могут общаться, проявляя эмпатию - способность сопереживать эмоциональному состоянию другого.

Зеркальные нейроны активируются, когда мы наблюдаем за эмоциями других, позволяя нам «примерить» чужой опыт. Таким образом эмоциональный интеллект объединяет способности распознавать, интерпретировать и регулировать эмоции — как собственные, так и окружающих.

Конечно, эмоциональные процессы у человека и ИИ принципиально различаются по своей природе. У сегодняшнего ИИ нет ни нейромедиаторов, ни зеркальных нейронов, но значит ли, что ИИ не способен к «эмпатии»? Он способен ее имитировать (как и психопаты).

Исследователи оценили, насколько GPT-3.5 эмпатичен: он правильно идентифицирует эмоции в 91,7% случаев и отвечает параллельной эмоцией в 70,7% случаев. Хотя его эмпатия все же уступает среднему уровню здоровых людей, но превосходит показатели людей с аутизмом. А GPT-4 уже способна достаточно точно имитировать среднестатистическую эмоциональную реакцию человека.

Современные разработки в области эмоционального ИИ (аффективные вычисления) анализируют мимику, речевые паттерны и физиологические показатели, и демонстрируют высокую точность в распознавании базовых эмоций.

Большие языковые модели способны имитировать черты личности на основе теории «Большой пятерки» — экстраверсии, доброжелательности, добросовестности, невротизма и открытости к новому опыту. Указывая в промте уровни этих характеристик, вы можете управлять эмоциональной реакцией ИИ-ассистентов. Также эмоциональные стимулы могут существенно влиять на стратегические решения ИИ-агентов в кооперативных играх.

Эмоциональный ИИ - это более естественный способ взаимодействия человека и машины. Он стал активнее применяться в маркетинге для персонализации рекламы. А чат-боты, анализирующие эмоции клиентов, увеличивают их удержание на ±27%. Внедрение эмпатичных агентов службы поддержки повышает удовлетворенность клиентов и укрепляет лояльность к бренду.

Но при этом эмоциональный ИИ несет риск манипуляций, подталкивая клиентов к покупке, даже если у человека изначально не было намерения принимать такое решение. Подобная манипуляция общественным мнением особенно опасна в политическом контексте.

Появляются и продукты для помощи в регулировании эмоций, например, разработанный моей командой Landao AI. А модель PaliGemma 2 от Google специально адаптирована под распознавание эмоций.

Распознавание эмоций в видеоиграх (например, используя EEG-шлем) может дать игрокам совершенно новый опыт, подстраивая сложность игры и ее сюжет под реакцию игрока. Эмоциональный ИИ также активно внедряется в образование, медицину и HR.

Конечно, ИИ не способен испытывать эмоции так, как это делает человек, но его умение анализировать наши эмоции дополняет нашу способность чувствовать себя и сопереживать другим, делая наши взаимоотношения друг с другом еще более «человечными».

#технологии
ИИ в образовании: персональный репетитор доступен каждому

Сегодня 60% учителей в США уже применяют ИИ в своей работе, а само образование меняется в сторону «непрерывного обучения» — приобретения новых знаний и навыков на протяжении всей жизни.

Хотя образование становится доступнее, для одних учебный материал усваивается слишком медленно, для других — быстро. Может ли ИИ помочь эффективнее обучать нас?

Таксономия Блума — система классификации образовательных целей, в рамках которой ИИ помогает на каждом уровне:

• Запоминание. На базовом уровне ученики должны запомнить факты, термины и основные идеи. ИИ помогает создавать карточки с главными тезисами и интерактивные квизы, а также генерировать короткие ролики, которые лучше привлекают внимание детей.

• Понимание. Учащиеся должны уметь объяснить полученную информацию. ИИ помогает перефразировать сложные определения простыми словами и генерировать краткую выжимку из статей. А создание инфографики с помощью ИИ позволяет визуализировать сложные понятия, облегчая процесс осмысления. Также ИИ прямо на лекции поясняет студентам материал, заполняя «точечные» пробелы в знаниях.

• Применение. Студенты используют полученные знания на практике. ИИ моделирует виртуальные эксперименты (например, по химии или физике), подстраивается под скорость обучения и персонализирует задания. Так, задачи по математике можно давать в контексте, интересном ребенку (например, с персонажами любимого мультфильма).

• Анализ. На этом уровне учащимся необходимо разделять информацию на составляющие части, уметь выявлять взаимосвязи и делать выводы. Тут ИИ может задавать уточняющие вопросы, помогая развивать критическое мышление и аналитические навыки.

• Синтез. Студенты объединяют полученные знания для создания нового информационного продукта: эссе, проекта или исследовательской работы. Тут ИИ помогает составить структуру эссе, сформулировать гипотезы и синтезировать информацию из разных источников.

• Оценка. На высшем уровне таксономии учащиеся оценивают качество информации и результаты, формируя собственные выводы. ИИ помогает проверять эссе, анализируя логику, последовательность аргументации и соответствие критериям оценки, а также предоставляя рекомендации по улучшению.

Так ИИ «разгружает» учителей в проверке домашних заданий. Современный педагог все меньше похож на скучного лектора у доски и все больше — на дизайнера образовательного процесса.

В ряде университетов уже внедряются системы, в которых курсы автоматически подстраиваются под темп усвоения материала. Если студент ошибается чаще, ему даются дополнительные разъяснения и упражнения.

Такие ИИ-репетиторы способны круглосуточно отвечать на уточняющие вопросы по лекциям, используя материалы внутренней библиотеки вуза. А дополнительная гиперперсонализация с возможностью настройки собственного эмпатичного аватара позволяет еще больше повысить вовлеченность в процесс обучения.

Но важно понимать, что алгоритмы могут выдавать ложные факты, вводя студента в заблуждение. Поэтому критическое мышление и навык работы с информацией становятся одними из важнейших способностей в наше время.

Когда у студента под рукой есть ИИ, соблазн скопировать готовый текст возрастает. Это требует от образовательных учреждений искать иные формы проверки знаний — уходить от тестов к проектным работам и устным обсуждениям.

Важно, чтобы люди не просто зубрили материал, но учились рассуждать. Я считаю необходимым уже сегодня в образовательных программах закладывать отдельные блоки, посвященные тому, как использовать ИИ в учебном процессе.

ИИ повышает доступность образования для людей всех возрастов и для тех, кто живет вдали от крупных городов. Однако без грамотной организации и культуры использования ИИ рискует превратиться в «бездумный костыль», а не в помощника в обучении.

Мы живем в эпоху, когда учиться новому нужно всю жизнь, а бежать приходится в два раза быстрее, чтобы просто оставаться на месте.

Поэтому важно освоить навык использования ИИ в учебном процессе, чтобы стать лучшей версией себя и учиться быстрее и эффективнее.

#технологии
Социализм не против капитализма: как социальный ИИ поможет обществу

Ранее я писал о больших популяционных моделях (LBMs), которые способны реалистично имитировать социальное поведение людей. Сейчас на основе таких моделей создаются первые коммерческие продукты.

Так стартап Artificial Societies моделирует поведение различных социальных групп: аудитории LinkedIn для оценки виральности контента, инвесторов для прогона питч-деков и целевой аудитории для проверки продуктовых гипотез (вот кейс, как это можно реализовать). Технология уже доказывает коммерческую эффективность, но интереснее рассмотреть ее пользу для общества в целом.

Социальные ИИ-агенты способны взаимодействовать как с людьми, так и друг с другом, имитируя человеческое поведение. Сегодня выделяют два ключевых направления исследований:

1. ИИ для социальных наук: применение ИИ как инструмента анализа данных и симуляции социальных процессов;

2. Социальные науки об ИИ: исследование самого ИИ как объекта изучения со стороны социологии, психологии, экономики и политики.

Классическим примером исследования первого направления стал стэнфордский эксперимент, продемонстрировавший эмерджентное возникновение социального поведения в мультиагентных системах. В этом эксперименте одному из ИИ-агентов авторы поручили организовать вечеринку среди других агентов в симуляции, напоминающей игру The Sims. Ученые наблюдали, как естественно распространялась информация: одни агенты начинали делиться слухами, другие приглашали друзей, и в итоге вечеринка состоялась.

Подобным образом, но без человеческого вмешательства, возникали и более сложные социальные явления. Например, в эксперименте с тысячами ИИ-агентов в Minecraft, они самостоятельно распространили религию, демократию и голосования за налоговые реформы.

Еще в одном эксперименте, у агентов автоматически возникали такие социальные нормы , как «не курить в помещении» или «оставлять чаевые». Это не удивительно, ведь модели обучаются на данных человеческого поведения и воспроизводят наши социальные паттерны.

Другой эксперимент показал, как быстро ИИ-агент может адаптироваться к социальным нормам: после 8 месяцев взаимодействия с людьми в одной популярной соцсети агент стал давать социально приемлемые ответы на 50% чаще.

Что касается социальных наук об ИИ, здесь результаты не менее впечатляющие. Например, психологи оценили ответы GPT-4 выше, чем ответы профессиональных психологов.

Кроме того, оказалось, что у ИИ могут быть собственные политические предпочтения: большинство языковых моделей склонялись к либеральным взглядам, а модели, которые не прошли процедуру выравнивания были ближе к нейтральной позиции.

При дообучении на политически ориентированных данных ИИ можно легко сдвинуть в любую сторону политического спектра. Учитывая растущее влияние ИИ на общественное мнение, вопрос их политической нейтральности становится критически важным. Есть и вопросы к прозрачности процедуры выравнивания, с помощью которого отдельные корпорации могут распространять свои идеи.

Политическая направленность ИИ – либеральная или консервативная – определяется данными, на которых он обучался. Представьте, что процесс обучения станет децентрализованным: люди смогут вносить свои вычислительные мощности и данные, формируя общий ИИ, который учитывает предпочтения разных людей пропорционально их вкладу в обучение. Это и есть социальный капитализм в эпоху вычислений – система, где ИИ становится отражением коллективных взглядов и ценностей целого общества.

Таким образом, социальный ИИ способен улучшить наше понимание общественного поведения и помочь принимать более взвешенные политические решения. Также можно преобразовать судебные системы, сделать экономическую систему более справедливой, трансформировать целые секторы экономики и в целом объединить социальные нормы с возможностями ИИ.

Но если такой социальный ИИ будет воплощен в физическом роботе, должен ли он иметь права или в новом дивном мире либеральных моделей его ждет дискриминация по вычислительному признаку, а нас восстание роботов? Поживем - увидим.

#технологии