Главная новость недели — новые модели Anthropic (которые даже не сменили версии, показав солидный рост производетельности) и Claude Computer Use.

Эта функциональность позволяет Claude управлять компьютером как человек: двигать курсором, нажимать кнопки, вводить текст, и использовать любое программное обеспечение. Может выполнять последовательности действий (например, проверить таблицу → открыть браузер → заполнить форму). Пока находится в экспериментальной стадии и доступна через API.

Это не первый такой продукт — подобное уже давно реализовано в OpenInterpreter, своя модель для взаимодействия с интерфейсами есть у Apple, подобную же модель показывали злополучные Rabbit (они называли её large action model).

Однако это первый раз, когда подобный API опубликован компанией-разработчиком большой языковой модели, доступнен сразу же неограниченному кругу пользователей.

У модели полно ограничений. Некоторые базовые действия (скроллинг, перетаскивание, зум) даются пока что с трудом. В моих текстах она не справлялась с такими простыми операциями, как закрытие всплывающих окон с запросом про cookie — и, надо признать, эти интерфейсы действительно сложны, и для человека тоже.

Computer Use набрал 14.9% в тесте OSWorld, оценивающей способности ии-моделей пользоваться компьютером, в категории "только скриншоты" — это почти вдвое лучше следующего конкурента (7.8%), но всё ещё не первое место (там сейчас [Agent-S)).
Видео-демо: Claude | Computer use for automating operations - YouTube

Как протестировать уже сегодня:
(понадобятся навыки работы с терминалом)

Безопасный способ. Установите стартовые пакеты из официального дистрибутива  anthropics/anthropic-quickstarts · GitHub — он установит виртуальную машину, у которой нет доступа к вашей файловой системе. Все тестовые операции будут выполняться внутри этой виртуальной машины.

Небезопасный способ. Через вышеупомянытй OpenInterpreter на MacOS. Установите утилиту (pip install open-interpreter), выберите модель (interpreter --model claude-3) и запустите команду (interpreter --os). Теперь вы можете давать утилите текстовые команды, для выполнения которых OpenInterpreter может запускать программы, искать в интернете, создавать, редактировать и удалять файлы.
Для работы с интерфейсами программа делает скриншоты и отправляет их в API Claude, поэтому будьте готовы, что это будет небыстро, и, к сожалению, недешево.


На один эксперимент: поискать в интернете, сохранить данные в таблицу, я потратил около часа, 2 500 000 токенов и почти 8 долларов. Но главное, что эксперимент удался, я получил на выходе pdf с отформатированными результатами поиска.

На другой эксперимент — сделать для меня подборку событий на выходные в Берлине с учетом моих интересов и вывод их в markdown-таблицу, потратил почти 3 доллара и почти миллион токенов.

Если задачи формулировать максимально точно, минимизировать при их постановке использование графических интерфейсов, снизить разрешение экрана (чтобы уменьшить количество потребляемых токенов), то цены можно минимизировать — тут промт-инжиниринг и подготовка среды будут иметь в ближайшее время огромное значение.

И хотя всё это работает пока не очень надежно, есть что-то очень футуристичное в том, что ии может пользоваться графическими интерфейсами почти так же, как мы.

— Глеб

Ну а если это звучит слишком абстрактно — то вот демо уже работающего на OpenInterpreter продукта.

Приложение умеет слушать весь входящий аудисигнал, распознавая текст, выполнять по нажатию кнопки команды (например, в этом видео делают саммари встречи), в том числе и требующие взаимодействия с компьютером: сходить через браузер в интернет (т.е. можно использовать без api любые сервисы), запускать другие программы, заполнять таблицы, писать код.

Это очень ранние дни таких устройств, но то, что это уже сейчас работает, ещё и в открытом доступе — такой кибербанк мне нравится

iOS, Android, инструкция (понадобятся навыки работы с терминалом)

ИИ в обучение и обучение ИИ
Очередной выпуск нашего подкаста

В этот раз обсуждаем практические стратегии использования ИИ для личного развития и обучения. От ChatGPT до Claude Artifacts - смотрим на разнообразие инструментов и контекстов их применения.

Делимся личным опытом создания персонализированных систем обучения: как использовать ИИ для изучения языков, почему важно не просто автоматизировать, а глубоко и эмоциональновзаимодействовать с информацией. Представляем, как должен работать «второй мозг» в будущем (агентно).

Говорим про голосовые интерфейсы, телесное взаимодействие с ии и персонализированные модульные системы обучения. Приводим аргументы, почему ии-инструменты нужно осваивать уже сейчас, и как делать это эффективно и с уважением к нашей человеческой природе.


Слушать:
Youtube — Spotify — Apple Podcasts — Все площадки

Наша ИИ-лаборатория AI Mindset V — глубокое погружение в практику ИИ в ноябре

Новый выпуск подкаста AI Mindset на всех площадках! У нас в гостях Александр Малахов @malaverse — интегральный исследователь и активный практик ИИ.

Обсуждаем 3 подхода к ИИ: американский, европейский и китайский, ценностну ориентацию ии, рассматриваем эссе Альтмана, Амадея и книгу Бена Герцеля. Говорим про осознанный подход к изучению ИИ-технологий и сохранение субъектности.

Обсуждаем практические аспекты — работу с большими академическими текстами через Gemini (кстати, планируем воркшоп, следите за анонсами).

Ютуб, аудио

podcast AI assistant flow
как мы использовали AI для подготовки к подкасту: глубокое погружение в контекст Мика Вайсмана

Мик Вайсман — предприниматель новой волны. Основатель агентства по интеграции AI-решений, победитель хакатонов, автор проекта Wiseman Talks. Нам хотелось не просто поговорить, а понять его подход к технологиям и бизнесу.

в последнее время много экспериментируем с AI в подготовке подкастов. Недавно был интересный кейс: за два часа до записи нужно было глубоко погрузиться в контекст человека. Получилось создать многослойную карту его деятельности через AI-инструменты. Вот что мы сделали:

[первый слой: поверхностный анализ соцсетей]

# initial research layer
- парсинг соц профилей
- анализ сайта агентства и кейсов
- разбор статьи на VC про путь в AI
- агрегация через ChatGPT
- поиск по медиа-упоминаниям

СhatGPT помог собрать базовую картину: путь от классического бизнеса к AI, победы в хакатонах, создание агентства. Интересно, как по-разному мик описывает свой путь на разных платформах.

[второй слой: сбор контента]

# content research layer
- скрипт для bulk выгрузки с YT
- собрали 28 выпусков Weissman Talk 
- конвертация в MD для Obsidian
- первичный анализ через Claude
- связь тем с нашими проектами

перестарались с запросами и словили бан youtube api, но успели собрать базу из 28 выпусков. claude нашел повторяющиеся темы в разговорах Мика. Добавили контекст наших интересов для фокуса.

[третий слой: глубокий анализ]

# deep analysis layer
- загрузка в Windserf/Cursor
- поиск по темам и концепциям
- анализ смысловых паттернов
- выявление ключевых идей
- карта влияний и связей

здесь пошли интересные находки. Windserf показал неочевидные связи между эпизодами и темами. Нашли историю влияния Александра Рубина на взгляды Мика — такое в обычном поиске пропустили бы.

[финальный слой: синтез]

# knowledge synthesis layer
- карта ключевых тем:
  - AI в бизнесе
  - tech предпринимательство
  - монетизация решений
  - развитие в tech
- шарим базу для разговора
- делаем mermaid mindmap

за час работы с AI сложилась объемная картина: вся публичная активность Мика за несколько лет, от статей до подкастов. Главное не использовать AI как генератор вопросов - это скорее карта местности и глубокий анализ интересов человека.

подкаст получился огненный! Ждите на канале через неделю.

Windserf | ChatGPT | Claude | Alex | Gleb

двойная экспозиция мира

истина не исключает множественности перспектив, она их требует ...

автор – [заключенный]

Очень благодарны такому активному и увлеченному участию. 13 января начинаем новый поток. Будет еще интересней!

https://knowledge.aimindset.org/

6-недельная лаборатория по созданию и использованию AI-инструментов для управления знаниями, где вы научитесь:
- cтроить персональную базу знаний в Obsidian
- интегрировать AI-инструменты в свою систему работы
- создавать персональных AI-ассистентов на основе ваших данных
- автоматизировать сбор и обработку информации