AI-каталогизация: как автоматизировать описание данных?

Чем больше данных накапливает компания, тем сложнее в них разобраться.

Либо описание БД и BI формируется вручную и требует больших ресурсов команды, либо его просто нет, потому что отложили “на потом”.

В обоих случаях поиск данных и понимание взаимосвязей начинает зависеть от отдельных специалистов.

DataDesc AI решает эту проблему как ИИ-слой знаний поверх БД и BI.

Решение автоматически:

⚙️создаёт бизнес-описания объектов хранилища
⚙️объясняет SQL простым языком
⚙️строит lineage
⚙️описывает BI-дашборды.

Документация всегда будет актуальной. Переложите эту рутину на AI.

30 минут и у вас готово то, на что команда потратила бы несколько месяцев.

Если вам актуальна автоматизация описания данных и снижение ручной нагрузки на команду — посмотрите, как DataDesc работает с реальными метаданными.

🔗 Подробнее

От цифр к стратегии: как использовать ИИ для глубокой аналитики

Сегодня почти в каждой команде есть цифры, отчеты и дашборды, и это уже база. Но все интересное начинается в момент, когда из этих данных рождаются идеи, гипотезы и понятные решения для бизнеса.

О том, как с помощью ИИ сделать аналитику более глубокой и направленной на развитие бизнеса, расскажут на вебинаре «Как превратить данные в стратегию: используем ИИ для генерации бизнес-гипотез и инсайтов» от karpovꓸcourses.
Вы узнаете, как превращать данные в стратегические решения, как избавляться от рутины и углублять инсайты, как выстроить более эффективную работу с цифрами и повысить свою ценность как специалиста благодаря ИИ-инструментам.

Ведет вебинар Игорь Зуриев — руководитель ИИ-проектов с 10+ лет опытом в крупных IT-проектах, среди клиентов — Лукойл, аэропорт Шереметьево и другие.

Присоединяйтесь к вебинару по ссылке: https://clc.to/erid_2W5zFGtAMhj

Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFGtAMhj

Боремся с деградацией: системный подход к оптимизации баз данных ⚙️

В крупных корпоративных системах деградация СУБД редко происходит внезапно. Сначала замедляются регламентные процедуры, затем растет нагрузка, появляются блокировки, проседает SLA — и команда начинает работать в режиме постоянного реагирования.

📆 17 марта в 11:00 (онлайн) приглашаем на бесплатный вебинар «Боремся с деградацией: системный подход к оптимизации баз данных», где подробно разберем работу и оптимизацию MSSQL.

👨‍💻 Спикер: Руслан Абдуллин — архитектор БД и интеграции, разработчик Lasmart. Практик аудитов и оптимизации MSSQL для Hoff Tech, «Аптечная сеть 36,6» и ГК «ЭркаФарм».

В программе вебинара:
— почему MSSQL деградирует в корпоративной среде и как отличить симптом от первопричины;
— системный подход к аудиту: инфраструктура → конфигурация → схема данных → SQL-уровень;
— типовые ошибки, которые повторяются из проекта в проект;
— разбор кейса автоматизированного аудита и рекомендации по оптимизации;
— как перейти от реактивного «тушения» к проактивному управлению производительностью.

Кому будет полезно:
DBA, DevOps, Data Engineer, Backend-разработчикам, а также руководителям ИТ / CTO / CDO, которые отвечают за стабильность и производительность баз данных.

🔗 Регистрация по ссылке

Сколько времени обычно уходит на сборку полноценной data-архитектуры? Дни, недели или даже месяцы?

2 апреля команда Yandex Cloud покажет, как развернуть Lakehouse по клику и получить рабочую аналитическую архитектуру без долгой интеграции разрозненных инструментов.

В основе — единый стек:
raw-данные в Object Storage (S3);
табличный слой на Iceberg;
обработка через Trino и Spark;
интерактив — витрины в ClickHouse и BI.

✅ Зачем приходить

— Поймёте, как выглядит целевая архитектура «от данных до BI» и как собрать её без лишней ручной интеграции

— Получите практические ответы «как делать правильно»: Iceberg, ingestion, метаданные и доступы

— Услышите опыт крупного бизнеса: где «чистый Lakehouse» достаточен, а где нужен слой витрин (Magnit Tech, F&R, десятки петабайт)

— Разберёте паттерны для низкой латентности и потоковых сценариев: витрины, ClickHouse + Kafka, интеграции с BI

— Узнаете, что дальше по roadmap: Iceberg REST Catalog (управляемость/контроль доступа) + AI‑агенты для работы с кодом и пайплайнами + как попасть в лист ожидания

— В конце — Q&A и сбор заявок на воркшопы/пилоты после митапа

Бонусом вас ждут практические рекомендации по производительности и развитие платформы, включая AI-ускорение ETL/ELT. Для команд, которые строят или модернизируют DWH/Lakehouse и хотят сократить время, это маст!

Всё бесплатно, регистрируйтесь тут.

Эйчары больше не спрашивают, владеете ли вы ИИ

Использование ИИ-инструментов стало базовым навыком любого сотрудника, независимо от сферы деятельности.

Не умеешь? До свидания.

Крупные компании на наших глазах массово сокращают штат. Пинтерест, Амазон и многие наши корпорации заменяют старые позиции на новые, а многие рутинные задачи уже выполняются ИИ-агентами.

С чего начать, и как обучить ИИ-инструментам своих сотрудников? Не нужно бесконечно листать новости и тестить приложения очередных стартапов.

Многие ответы уже собраны в одном месте — в книге «Синергия интеллектов. Как внедрить ИИ в бизнес-процессы».

Здесь описаны крупнейшие ИИ-инструменты, которые доказали свою эффективно не просто в течение месяцев, а нескольких нет, и заняли прочные позиции на рынке. Авторы книги внедрили ИИ-инструменты в свой бизнес, и готовы поделиться практиками, которые сработали.
Книжка будет особенно полезна топ-менеджерам, руководителям, предпринимателям и всем энтузиастам, кто хочет перейти на новый уровень и воплощать свои идеи быстрее.

🔗 Читайте книгу на Литрес по ссылке.

АНА’26: конференция о продуктовой аналитике, искусственном интеллекте и масштабировании цифровых продуктов

22 мая в Москве в седьмой раз пройдет АНА — техническая конференция для специалистов, работающих с AI, ML-инженеров, а также продуктовых и data-команд. Участники обсудят подходы к созданию AI-first решений и практики, которые помогают быстрее проверять гипотезы, масштабировать внедрение и оптимизировать процессы без роста издержек.

Программа АНА’26 охватывает полный цикл data- и AI-разработки: от MLOps до внедрения LLM в продуктовые сценарии. Отдельные треки посвящены AI-агентам и развитию архитектуры.

Среди ключевых тем:
R&D и экономика масштабирования продуктов
Методы системного снижения стоимости проверки гипотез
Управление ассортиментом и спросом в retail и e-commerce
Архитектура прикладного AI и ML&AI-инженерия
Разработка AI-first продуктов и open source AI-агенты для бизнеса
Data platform и инженерия доверия к данным

Экспертизой поделятся представители Lenta Tech, ВкусВилл, Яндекс, Авиасейлс, Сбер, Т‑Банк, X5 Tech, Циан, METRO, Kolesa Group, VK Tech, АвитоТех, Magnit Tech, Лемана ПРО, Faust Consulting, Wildberries, Plevako.ai, MTS Web Services и других компаний.

Участников ждут практические кейсы, обмен опытом, обсуждение рабочих инструментов и нетворкинг с экспертами индустрии, которые уже внедряют AI в продукты и процессы.

Для кого:
Data Scientists | ML-инженеры | Продуктовые аналитики | Product-менеджеры | Руководители (CPO/CDO) | Команды, развивающие AI-продукты

Форматы участия:
Офлайн — 39 900 ₽ (включает участие 22 мая, доступ к онлайн-дню 14 мая и записи на 6 месяцев)
Онлайн — 19 900 ₽ (доступ к трансляциям 14 и 22 мая и материалам конференции на 6 месяцев)

Для команд действуют корпоративные скидки от 5% до 10% при покупке от 3 билетов, а также доступен корпоративный онлайн-доступ.

Программа и регистрация — на сайте конференции.

Для подписчиков канала по промокоду DATALYTX10 доступа скидка 10%

Как по всему GPT расползись гоблины

В общем, у чатагпт есть разные настройки личности. Одна из таких личностей — это «Nerdy». По-нашему, ботан. Модель в этом режиме становится излишне занудной, но при этом такой а ля глубокой и игривой. Её ключевая фишка в том, чтобы пользователь посмотрел на мир с немного странноватой и несерьезной точки зрения

Когда обучают модели, то используют разметку — либо автоматическую, либо ручную. Как оказалось, на этапе разметки датасета для личности «Nerdy» хорошие оценки ставили таким ответам, в которых есть какие-то фантастические твари типа гоблинов, единорогов и троллей. Это не то, чтобы специально произошло, то есть в инструкции не было явно указано: если ответ содержит «гоблина» — ставь лайк. Но по какому-то стечению обстоятельств именно такие ответы больше цепляли разметчиков

Как итог режим «Nerdy» стал питать исключительную слабость к сказочным долбаебам существам. Проблема тут в том, что модели не обучают под каждый режим отдельно — есть единая «тушка», которую обучают под все режимы сразу. Слишком дорого было бы обучать под каждый профиль отдельную модель. Потом системный промпт задаёт контекст, который смещает вероятности следующих токенов, нужных для качественной работы в стиле «ботана»

Отдельно стоит заметить про техническую особенность обучения, которая сделала эффект таким сильным. Когда модель обучают, то часто используют так называемые rollouts. Это процесс, при котором модель генерирует примеры, которые дальше размечаются и идут в обучение. И вот тут самый цимес: модель «инфицированная» гоблинами начинает чуть чаще создавать генерации с гоблинами → эти ответы проходят оценку и получают балл выше по каким-то другим причинам (например, структура и детальность ответа) → попадают в обучающие данные → модель начинает вставлять гоблинов ещё чаще. И дальше по кругу: в rollouts гоблины встречаются ещё чаще

В результате этого обычная GPT 5-1 (без включенного режима «ботана») начала выдавать слово «гоблин» сильно чаще чем это нужно: использование слова «goblin» выросло на 175% (а «gremlin» — на 52%, какая-то незаслуженная дискриминация гремлинов). Это при том, что доля ответов ChatGPT с помощью личности «Nerdy» составляла всего 2,5% и давал 66% всех упоминаний слова «гоблин» по всем диалогам чатагпт

Как финал «гремлинов» и «гоблинов» почистили (и заменили на марсиан и рептилоидов) — саму личность «Nerdy» убрали, а обучающие данные отфильтровали. Ещё при анализе в GPT-5.5 нашли целый зоопарк — еноты, тролли, орки и голуби (в чем магия голубей не знаю). В OpenAI признают, что GPT 5.5 обучался всё ещё на этом зоопарке, поэтому пришлось запилить отдельную инструкцию, которая подавляла бы гоблинов и прочую живность

Мораль сей басни в том, что этот механизм может проявится не только в виде «гоблинов». Опаснее, когда у нас появляется устойчивая предвзятость, которую не так просто обнаружить, например, какой-то не очень полезный совет в рамках ответов на медицинские вопросы пользователей. И для меня эта история — сильная иллюстрация того, что любые модели искусственного интеллекта — это прежде всего набор статистических закономерностей. Они не «понимают», они оптимизируют то, что им явно указали, но при этом «схватывают» и неявное, а объяснить что именно «схватили» — не могут. И получается, что от качества обучающих выборок и процесса дальнейшей валидации на стороне провайдера (в данном случае OpenAI) будет зависеть будет ли ответ на важный для вас вопрос, сделанный с помощью ChatGPT, пестрить гоблинами, павлинами и прочими дивностями или даже вредными советами

Если давно хотели прокачаться в modern data stack — собрали три практических тренажёра, которые помогут пройти путь от аналитического хранилища до оркестрации пайплайнов и Lakehouse-архитектуры.

📊 Симулятор Data Warehouse на базе dbt
Научитесь работать с dbt Core, строить хранилище данных, осваивать DataOps-практики, каталог данных и data lineage.

Курс подойдёт аналитикам и инженерам данных, которые хотят не просто писать SQL, а собирать поддерживаемые аналитические проекты.
→ Начать в демо-доступе

💚 Кстати, ИнженеркаТех перевели всю документацию dbt на русский язык — теперь она доступна бесплатно для всех:
https://docs.getdbt.tech/

🐙 Тренажёр Dagster + Apache NiFi
ETL-разработка и оркестрация данных для тех, кто хочет строить современные data pipeline без костылей, ручных запусков и ощущения «оно работает, но лучше не трогать».

Разберётесь с пайплайнами, зависимостями, оркестрацией и практическими сценариями из data engineering.
→ Начать в демо-доступе

🧊 Симулятор по проектированию Lakehouse на Apache Spark и Iceberg
Практический тренажёр по современным lakehouse-архитектурам: от настройки стека до инкрементальных загрузок и версионирования витрин.

Внутри: Apache Iceberg + Spark, MinIO, Lakekeeper, JupyterLab, Docker Compose, Parquet / CSV.

На курсе вы разберётесь, как проектировать Lakehouse с разделением хранения и вычислений, работать с табличными форматами, управлять схемами, делать MERGE, snapshots, tags, SCD Type 2, партиционирование и аудит хранилища через метаданные.
→ Посмотреть программу подробно

Все курсы сделаны в формате тренажёров: меньше пассивного просмотра, больше практики, задач и работы руками.

Демо-доступ есть у большинства курсов, чтобы сначала попробовать формат, а потом уже решить, какой стек прокачивать первым.

👉 Выбрать свой тренажер по работе с данными

Реклама. ООО "Инженеркатех"
ИНН: 9715483673
erid: 2VtzqvtqhZr

У вас проблемы с визуализацией графиков в Python? Моя новая книга по Seaborn уже вышла и доступна для покупки всего за 1199 руб!

Друзья, я написал свою третью книгу, и она посвящена графической библиотеке Seaborn в Python (фотки в предыдущем посте)! Полгода назад мне попалось одно иностранное издание про Seaborn, я сначала хотел его перевести, но в итоге написал собственную книгу, в которой подробно описал библиотеку Seaborn. А изюминкой книги стал полный экскурс в новый объектный интерфейс seaborn.objects, который вышел не так давно и навсегда изменил методику создания графиков в Python.

Если при работе в Python у вас постоянно возникают проблемы с тем, чтобы построить тот или иной график или диаграмму, и вы идете в интернет за примерами, то эта книга – для вас! После нее вы будете двумя-тремя строчками кода визуализировать все что угодно!

350 страниц в цвете позволят вам полностью погрузиться в мир простой и понятной визуализации данных, а в качестве бонуса – два проекта с визуализацией t-критерия Стьюдента и созданием простой сверточной нейросети. Ознакомиться с фрагментом книги и купить ее вы можете в моем боте (@alexanderginko_books_bot), нажав на кнопку Купить книги, или по ссылке ниже:

Ссылка: https://www.dmkpress.com/catalog/computer/programming/python/978-5-93700-404-8/
Промокоды:
Бумажная версия: промокод (22%) Ginko_Seaborn_paper (1247 руб)
Версия PDF: промокод (25%) Ginko_Seaborn_PDF (1199 руб)