OpenAI начали раскатывать продвинутый голосовой режим всем платным пользователям. Официально — только в США, но с VPN режим запускается и в других локациях (tldr: VPN в штатах, перелогиниться с включенным VPN, некоторые пишут о переустановке приложения, но кажется перелогиниться достаточно).

Давно я с таким трепетом не ждал релиза какой-либо технологии. С самого появления голосовых режимов в LLM-ках, я старался как можно больше взаимодействовать с ними именно так. Ведь круто же — ехать на велосипеде или идти по парку, и закрывать задачи, или получать из хаотичного вороха мыслей стройный список этих самых задач.

Даже в старом режиме, где общение было откровенно роботическим, у меня случились сессии по 30-40 минут, за которые удавалось, не трогая ни компьютер, ни телефон, перейти от идеи к реализации — например, к готовому коду.

OpenAI сильно затянули с релизом нового продвинутого голосового режиме, насколько мы знаем из появляющихся в ютубе видео — в основном потому, что модель была достаточно непредсказуема в своём поведении: то вместе с голосом начинала генерировать аудио-эффекты, то подражала голосу говорящего. И вот теперь этап тестирования завершен, и мы получили продукт, отличающийся от того, что демонстрировали OpenAI в этом году.

Модель отказывается выполнять команды, которые мы видели в демо: например, говорит, что не умеет петь, подражать голосам или сопровождать речь спецэффектами. У нового голосового режима есть ограничение по времени — точно они не указаны, но в моём случае это около полутора часов. Поэтому, увы, открыть помощника в фоне на весь день, как я рассчитывал, пока не получится.

Учитывая мои сферы интересов, попробовал голосовой режим в качестве тренера по гиревому спорту и инструктора по практиками осознанности. Пока что это работает очень ненадежно — модель подвисает (приложенное аудио мне пришлось несколько подрезать), но сам факт, что она умеет регулировать собственную громкость и вообще, похоже, получила некоторое представление о времени, радует — теперь, когда модель дает инструкции, можно попросить её делать это медленнее. В одной сессии мне удалось натренировать пару режимов — в аудио слышно, как я переключаю модель из крикливого «тренера» в «терапевтический» режим, и она становится медленнее и тише.

Понятно, что это худшая версия модели, к которой у нас когда-либо будет доступ, но уже сейчас это очень многообещающий опыт, который точно изменит то, как мы взаимодействуем с компьютерами. Очевидно, не только хорошее вырастет из такого взаимодействия — например, таки ассистенты — не решение проблемы одиночество, а её усугубление.

— Глеб

AI орущий и вкрадчивый

В эту пятницу выступаю в Берлине на панельной дискуссии о будущем дейтинга и романтических ии-компаньонов перед показом фильма Her. Фильм, что называется, aged very well.

Язык дискуссии: английский, описание ниже. Хостит мероприятия Monica Jiang, которая исследует тему одиночества и ведёт рассылку и онлайн-встречи про это, рекомендую.

— Глеб

Dystopian Dating

Will #artificialintelligence make dating even more Dystopian? Is that even possible???

Before you make up your mind, join us for a thought-provoking evening at the cinema, as we revisit the romantic sci-fi classic HER. Beforehand, world-class community builder and public speaker Monika Jiang will lead a panel discussion featuring innovators and scholars who just might change your mind about companionship, dating, and love in the era of AI

Whether you're excited or terrified, there's no point in sticking your head in the sand. Let's face the future of #dystopiandating together.

Tickets on sale now at filmrausch.de

Filmrauschpalast Moabit
Lehrter Strasse 35, Berlin, Germany 10557

4 разрозненных ссылки недели

1) Гайд AI Jason по ии-кодингу в Cursor.

Полезно, даже если вы кодите в другой среде. Один из важных выводов — проектирование и написание спецификации должны быть максимально подробными и легко могут занимать половину или даже больше времени разработки проекта. Языковой модели нужно помочь, предложив конкретные решения, и даже предварительно установив часть пакетов (Джейсон выясняет у ЛЛМ, какие UX-компоненты подойдут для его задачи и вручную устанавливает их из npm).

Спецификация должна быть подробной (включать в себя конкретные решения) и структурированной, потому что имплементация делается пошагово (реализуй первый раздел, второй, третий).

В очередной раз убеждаемся, что разрабатывая что угодно с помощью ии
1) всё ещё нужно думать, чтобы достичь чего-то значимого

2) владение письменным английским становится самым важным навыком ии-разработчика.

3) доменная экспертиза даёт +100500 к качеству продуктов, которые вы с помощью ии можете реализовать. Если бы Джейсон не был разработчиком, он шёл бы к тем же результатам гораздо дольше.

Ещё один его гайд по Cursor AI

Тизер: готовим новую лабу, где будем делать продукт (или высокофункциональный прототип продукта) с помощью ии-инструментов, но используя лучшие ux-практики (за эту часть будет отвечать опытнейший эксперт).

2) Интервью с Джейсоном Кларком (Anthropic)

Джейсон занимается policies в Anthropic и, в отличие от большинства публичных представителей больших ии-компаний, имеет нетехнический бэкграунд, а поэтому в интервью много интересных перспектив и метафор (мне зашло LLM как страны и нерегулируемые LLM как потенциальные rogue states). На градиенте думеры ←→ e/acc Антропик ближе к думерам, от них вы не услышите манифестов в духе Сэма.

Цитата, с которой мы очень согласны и ассоциируем себя:

Some of it looks more like kind of play and theater and psychology all wrapped into one being done by these people who kind of have a vision and are slightly like off consensus.

3) LLM формулируют гипотезы в социальной психологии так же или лучше учёных

4) Любопытный саммари по state of AI (ссылка на facebook) и интеграции ИИ большими компаниями:

«Кастомные AI решения» это в том числе и решения, при разработке которых был активно использован AI. Например, вашей компании нужно инвойсы из пдф-ок заносить в базу данных. Вместо того чтобы покупать готовый сервис, вы просите AI разработать вам соответствующий микросервис. Через 2 часа в вашем AWS задеплоен ColQwen2 с нужными промптами.
[…]
основное применение для AI сейчас: использовать большие и умные модели чтобы быстро разрабатывать небольшие и очень узкоспециализированные сервисы для решения операционных задач с использованием более слабых моделей, либо вообще без AI.»

Бьётся и с тем, как мы, частные лица, может этот же ИИ применять — и применяем уже.

— Глеб

Мы запустили подкаст! Обсуждаем темы на стыке технологий, культуры и, разумеется, практики.

В первом выпуске говорим о практических моментах — что на самом деле поменялось в наших жизнях с начала бума генеративного ии, какие практики стали устойчивыми. Видео-версия (Youtube).

Во втором выпуске (уже записали, скоро опубликуем) поговорили про персональные стратегии обучения в ии, а в третьем — про ai-first knowledge management (тут для нас на днях произошла небольшая революция, поговорим про неё и в этом канале в ближайшее время).

Все ссылки варианты подписки: https://aimindset.transistor.fm/

— Глеб

Выпустили второй подкаст: говорим про набирающий популярнойсть редактор кода Cursor AI как инструмент управления знаниями. On the bleeding edge — даже в англоязычном интернете про это всего несколько постов и тредов в x. В следующем посте расскажем про воркшопы в ноябре по ChatGPT + Obsidian + Cursor для управления знаниями, которые проведем в ноябре.

Описание подкаста
В этом разговоре Глеб и Саша обсуждают возможности и функции Cursor AI как инструмента для управления знаниями и программирования.

Cursor — это мощный редактор кода с интегрированным ИИ, который упрощает разработку. Он легко интегрируется с такими инструментами, как Obsidian, поддерживает Markdown и может использоваться для эффективного управления знаниями. Cursor позволяет задавать запросы к заметкам, анализировать их, настраивать предпочтения для проектов и создавать связи между источниками данных. Благодаря своей гибкости и скорости работы, это универсальный инструмент как для программирования, так и для работы с контентом.

Глеб и Саша делятся своим опытом использования Cursor, его интеграции с Obsidian и тем, как AI может помочь в создании и редактировании контента. Также рассматриваются аспекты парного программирования и как Cursor может быть полезен как для разработчиков, так и для неразработчиков.

В этом разговоре обсуждаются возможности и преимущества использования Cursor в управлении знаниями, его гибкость и настройки, а также сравнение с Obsidian. Говорим, как контекст и сохраненные данные могут быть использованы для более эффективного взаимодействия с информацией. Обсуждаем важность сбора и анализа данных для личной эффективности, а также инструменты управления знаниями, интеграцию веб-данных, проблемы и вызовы в управлении знаниями, а также будущее автоматизации и персонализации знаний с использованием AI.

Говорим про будущее умных систем, их переход от Pull к Push, важность контекста и истории пользователя, проблемы конфиденциальности, локальные модели и впечатления от новых технологий, таких как Cursor.

Youtube
Spotify
Apple Podcasts

Главная новость недели — новые модели Anthropic (которые даже не сменили версии, показав солидный рост производетельности) и Claude Computer Use.

Эта функциональность позволяет Claude управлять компьютером как человек: двигать курсором, нажимать кнопки, вводить текст, и использовать любое программное обеспечение. Может выполнять последовательности действий (например, проверить таблицу → открыть браузер → заполнить форму). Пока находится в экспериментальной стадии и доступна через API.

Это не первый такой продукт — подобное уже давно реализовано в OpenInterpreter, своя модель для взаимодействия с интерфейсами есть у Apple, подобную же модель показывали злополучные Rabbit (они называли её large action model).

Однако это первый раз, когда подобный API опубликован компанией-разработчиком большой языковой модели, доступнен сразу же неограниченному кругу пользователей.

У модели полно ограничений. Некоторые базовые действия (скроллинг, перетаскивание, зум) даются пока что с трудом. В моих текстах она не справлялась с такими простыми операциями, как закрытие всплывающих окон с запросом про cookie — и, надо признать, эти интерфейсы действительно сложны, и для человека тоже.

Computer Use набрал 14.9% в тесте OSWorld, оценивающей способности ии-моделей пользоваться компьютером, в категории "только скриншоты" — это почти вдвое лучше следующего конкурента (7.8%), но всё ещё не первое место (там сейчас [Agent-S)).
Видео-демо: Claude | Computer use for automating operations - YouTube

Как протестировать уже сегодня:
(понадобятся навыки работы с терминалом)

Безопасный способ. Установите стартовые пакеты из официального дистрибутива  anthropics/anthropic-quickstarts · GitHub — он установит виртуальную машину, у которой нет доступа к вашей файловой системе. Все тестовые операции будут выполняться внутри этой виртуальной машины.

Небезопасный способ. Через вышеупомянытй OpenInterpreter на MacOS. Установите утилиту (pip install open-interpreter), выберите модель (interpreter --model claude-3) и запустите команду (interpreter --os). Теперь вы можете давать утилите текстовые команды, для выполнения которых OpenInterpreter может запускать программы, искать в интернете, создавать, редактировать и удалять файлы.
Для работы с интерфейсами программа делает скриншоты и отправляет их в API Claude, поэтому будьте готовы, что это будет небыстро, и, к сожалению, недешево.


На один эксперимент: поискать в интернете, сохранить данные в таблицу, я потратил около часа, 2 500 000 токенов и почти 8 долларов. Но главное, что эксперимент удался, я получил на выходе pdf с отформатированными результатами поиска.

На другой эксперимент — сделать для меня подборку событий на выходные в Берлине с учетом моих интересов и вывод их в markdown-таблицу, потратил почти 3 доллара и почти миллион токенов.

Если задачи формулировать максимально точно, минимизировать при их постановке использование графических интерфейсов, снизить разрешение экрана (чтобы уменьшить количество потребляемых токенов), то цены можно минимизировать — тут промт-инжиниринг и подготовка среды будут иметь в ближайшее время огромное значение.

И хотя всё это работает пока не очень надежно, есть что-то очень футуристичное в том, что ии может пользоваться графическими интерфейсами почти так же, как мы.

— Глеб

Ну а если это звучит слишком абстрактно — то вот демо уже работающего на OpenInterpreter продукта.

Приложение умеет слушать весь входящий аудисигнал, распознавая текст, выполнять по нажатию кнопки команды (например, в этом видео делают саммари встречи), в том числе и требующие взаимодействия с компьютером: сходить через браузер в интернет (т.е. можно использовать без api любые сервисы), запускать другие программы, заполнять таблицы, писать код.

Это очень ранние дни таких устройств, но то, что это уже сейчас работает, ещё и в открытом доступе — такой кибербанк мне нравится

iOS, Android, инструкция (понадобятся навыки работы с терминалом)

ИИ в обучение и обучение ИИ
Очередной выпуск нашего подкаста

В этот раз обсуждаем практические стратегии использования ИИ для личного развития и обучения. От ChatGPT до Claude Artifacts - смотрим на разнообразие инструментов и контекстов их применения.

Делимся личным опытом создания персонализированных систем обучения: как использовать ИИ для изучения языков, почему важно не просто автоматизировать, а глубоко и эмоциональновзаимодействовать с информацией. Представляем, как должен работать «второй мозг» в будущем (агентно).

Говорим про голосовые интерфейсы, телесное взаимодействие с ии и персонализированные модульные системы обучения. Приводим аргументы, почему ии-инструменты нужно осваивать уже сейчас, и как делать это эффективно и с уважением к нашей человеческой природе.


Слушать:
Youtube — Spotify — Apple Podcasts — Все площадки

Наша ИИ-лаборатория AI Mindset V — глубокое погружение в практику ИИ в ноябре