Всем привет!

Напоминаю про сегодняшний стрим в 19:00

Обсуждаем вайб-кодинг в инжиниринге данных и в целом!

Поставил в телеграме напоминание, стрим будет на платформе, ссылку пришлю позже!

Всем вайба и подключайтесь сегодня вечером!

Через 2 часа начинаем трансляцию по ссылке:

https://vkvideo.ru/live-228742675_456239037

Прихватите ручки и блокноты - все указывает на интересный стрим!

Вопросы можно задавать в чате стрима или в комментариях к посту

Запись вчерашнего стрима выложил в плейлист Архитекторских посиделок:
https://vkvideo.ru/playlist/-228742675_6

Тайм-коды будут чуть позже

Еще раз спасибо всем, кто смотрел в онлайне.

О типовом

Потенциальному клиенту, как даме, надо постоянно говорить, что он уникальный и его ситуация и стек ни на что не похожи.

Даже если понимаешь, что видел это все двести раз, и у всех все одинаковое. И проблемы и методы их решения.

То же самое с потенциальным работодателем.

Никогда не говорите - да у вас все типовое, мне понятно, я эти симптомы видел сто раз. Нет, у вас интересная особая ситуация, но я/мы обязательно все продумаем, разберемся и сделаем в лучшем виде.

Премьер говорит, что российские ЛЛМ у нас обгоняют по популярности иностранные аналоги.

По этому поводу - опрос

Это данные 2024 года - задолго до.

Каждый установленный VPN это минус ВК в пользу Инсты, минус ВКВидео/Рутуб в пользу ЮТ, минус Алиса/Гигачат в пользу ОпенАИ и Клода.

А кто загоняет народ в VPN, не подскажете? Чьими руками и усилиями это делается?

Клиент спросил у ЛЛМ промокод, ввел его (ничего не произошло) и теперь требует через поддержку начислить ему бонусы.

И ведь поддержка начислит, потому что в качестве поддержки сейчас тоже везде ЛЛМ.

Резервная площадка

Как-то и забылось, что сегодня якобы последний день Помпеи Телеграма.

Если вдруг (но это вряд ли), то резервная площадка тут:
https://sponsr.ru/data/

Решил что буду использовать ее, раз уж удалось занять такой красивый токен 😇

Посты будут бесплатные как и здесь. Подписываться не нужно, можно нажать "Отслеживать". Но если по какой-то неведомой причине вы решите подписаться, то мы сможем провести приватный стрим или я поделюсь лонгридами-долгостроями.

Я сам подписан на несколько проектов на спонсре, и из удобного (внезапно) открыл для себя, что посты авторов приходят в том числе на почту. И оказалось неожиданно удобно читать лонгриды именно в почте! Подсознательно воспринимаешь телегу и соцсети во фрейме клипового мышления, а почту - как серьезное и деловое. Олд-фэшн!

Отдельно для гурманов, у меня есть кое-как активные ВК-Видео и Линкед-Ин.

Многие спрашивают, хочу прокомментировать новость со своей стороны.

Мердж произошел на уровне компании. Продукт и разработка Cedrus становятся частью VK Tech.

Технически - комбинация движка Cedrus + облачного VK S3 точно одна из топовых на российском рынке данных.

С точки зрения движка - у Cedrus есть очень серьезные заявки на успех в виде
• Собственный Iceberg REST каталог с кастомным ускорением лукапов и своим RBAC
• Ускоренный по сравнению с ванилью движок Trino. Можно почитать например в статье.
• Распределенный коннектор Greenplum/Arenadata
• Мониторинги, алерты и прочий гигиенический минимум хорошего сервиса

С точки зрения хранения данных S3 дает
• Все стандартные функции базового S3 API
• Неплохая скорость за счет метаданных на тарантуле
• Отсутствие оплаты за количество запросов GET/PUT/DELETE (а в йасберге много запросов)

Конечно, всем этим технологиями есть куда стремиться, но из того что есть в наличии и из того, что можно взять и использовать вот прямо сейчас (в облаке запуск за неделю - легко!) это однозначно топ решение.

Продуктово нужно время чтобы подружить продукты (кнопка "сделать хорошо"). Но проектно уже можно уверенно обсуждать и стартовать проекты.

Delete Vectors - фича Iceberg v.3

Продолжим традицию разборов и перезаливов хороших докладов с Iceberg Summit. Это англоязычные видео, к которым я добавил русские таймкоды, так что можно посмотреть самую суть, отфильтровав маркетинговый буллшит.

Одна из больших проблем формата айсберг - раздувание хранилища очень большим количеством (миллионами!) delete файлов. Delete файлы в айсберге версии 2 - это Паркеты/ОРКи, в которых содержится информация о том, что некоторые строки (или некоторые условия-предикаты) из основных дата-файлов читать не нужно. По сути каждая операция на DELETE/UPDATE/MERGE создает их в огромном количестве. В результате таблицы превращаются в нечитаемое месиво, а операции поддержки занимают часы.

В Iceberg v3 предложено решение этой проблемы: специальные файлы Delete Vectors, которые материализуются в puffin файлы в хранилище айсберга, и в которых плотно и компактно упакованы удаления. Таким образом, в формате айсберг становится 5 (!) типов файлов

JSON - для корневых метаданных
AVRO - для манифестов
STATS - для статистики
PARQUET/ORC - для собственно данных
PUFFIN - для удалений

Это все еще одна таблица!

Докладчик - Антон Окольничий, доклад на английском

—————————————————————————-

Посмотреть с таймкодами - ВК Видео

Предыдущие перезаливы в плейлисте на ВК

Попишитесь на канал с Видео - и получать уведомления о начале стримов. На следующей неделе очень интересный стрим о примении ИИ - не пропустите!

Предыдущий разбор видео на канале - Владимир Озеров о перспективах Айсберга.

Delete Vectors - Iceberg v3

Описание - выше

Таймкоды:

01:00 - Текущие механизмы удаления данных в Iceberg v2
03:48 - Разные типы deleteфайлов - Partition Scope vs. File Scope
06:43 - Презентуем Delete Vectors в Iceberg v3
10:11 - Delete Manifests
12:00 - Плюсы нового подхода
13:00 - Пример работы механизма для v2 и v3
18:25 - Вопросы из зала

Занятный график.

Люди очень любят круглые числа. Пробежать марафон за 3:59 сильно лучше чем за 4:01.

С похожим эффектом мучался в ритейле, когда считал ценовую эрозию. Это когда старый телефон стоит сильно дешевле нового, неадекватно дешевле если смотреть строго на характеристики. Так вот, она тоже дискретная, и никак не хочет ложиться на модель обесценения вида -20% на айфонN-1 при выходе айфонN. Обесценивается он лесенками 89900 -> 64900 и тому подобное, что ломает модели расчета. 🫠

Любите такие картинки?

Архитектура в карточках для самых маленьких.

Продукт Тесея - корабль наоборот

Есть корабль Тесея, знаменитый мысленный эксперимент греческих философов.

А я подумал, что есть продукт Тесея. Это как корабль только с нюансом.

Сначала мы запланировали классный и функциональный продукт. В нем все хорошо: крутые фичи, классный дизайн, продуманная архитектура, продукт-маркет фит.

А потом пошло-поехало. Тут уберем, тут зашорткатим, эта штука на MVP, здесь заглушка - потом доделаем.

Как в корабле Тесея мы меняем одну досочку за другой на гнилую или б/у-шную. И когда все досочки, канаты, парус и якорь заменены на свои «аналоги», то что получилось в итоге - является ли продуктом?

Компании во Франции нужно потратить 95 тыс. евро, чтобы выплатить сотруднику чистую зарплату в размере 39 тыс. евро. Можете себе представить, какой стимул будет заменить офисные рабочие места во Франции искусственным интеллектом?
Страны с такой высокой социальной нагрузкой на труд будут первые кандидаты на внедрение ИИ.

Вот откуда на самом деле тяга всех (или хоть кого-то) заменить на ИИ и роботов.

За мясных агентов надо платить соцвзносы, за кремниевых нет.