Это данные 2024 года - задолго до.

Каждый установленный VPN это минус ВК в пользу Инсты, минус ВКВидео/Рутуб в пользу ЮТ, минус Алиса/Гигачат в пользу ОпенАИ и Клода.

А кто загоняет народ в VPN, не подскажете? Чьими руками и усилиями это делается?

Клиент спросил у ЛЛМ промокод, ввел его (ничего не произошло) и теперь требует через поддержку начислить ему бонусы.

И ведь поддержка начислит, потому что в качестве поддержки сейчас тоже везде ЛЛМ.

Резервная площадка

Как-то и забылось, что сегодня якобы последний день Помпеи Телеграма.

Если вдруг (но это вряд ли), то резервная площадка тут:
https://sponsr.ru/data/

Решил что буду использовать ее, раз уж удалось занять такой красивый токен 😇

Посты будут бесплатные как и здесь. Подписываться не нужно, можно нажать "Отслеживать". Но если по какой-то неведомой причине вы решите подписаться, то мы сможем провести приватный стрим или я поделюсь лонгридами-долгостроями.

Я сам подписан на несколько проектов на спонсре, и из удобного (внезапно) открыл для себя, что посты авторов приходят в том числе на почту. И оказалось неожиданно удобно читать лонгриды именно в почте! Подсознательно воспринимаешь телегу и соцсети во фрейме клипового мышления, а почту - как серьезное и деловое. Олд-фэшн!

Отдельно для гурманов, у меня есть кое-как активные ВК-Видео и Линкед-Ин.

Многие спрашивают, хочу прокомментировать новость со своей стороны.

Мердж произошел на уровне компании. Продукт и разработка Cedrus становятся частью VK Tech.

Технически - комбинация движка Cedrus + облачного VK S3 точно одна из топовых на российском рынке данных.

С точки зрения движка - у Cedrus есть очень серьезные заявки на успех в виде
• Собственный Iceberg REST каталог с кастомным ускорением лукапов и своим RBAC
• Ускоренный по сравнению с ванилью движок Trino. Можно почитать например в статье.
• Распределенный коннектор Greenplum/Arenadata
• Мониторинги, алерты и прочий гигиенический минимум хорошего сервиса

С точки зрения хранения данных S3 дает
• Все стандартные функции базового S3 API
• Неплохая скорость за счет метаданных на тарантуле
• Отсутствие оплаты за количество запросов GET/PUT/DELETE (а в йасберге много запросов)

Конечно, всем этим технологиями есть куда стремиться, но из того что есть в наличии и из того, что можно взять и использовать вот прямо сейчас (в облаке запуск за неделю - легко!) это однозначно топ решение.

Продуктово нужно время чтобы подружить продукты (кнопка "сделать хорошо"). Но проектно уже можно уверенно обсуждать и стартовать проекты.

Delete Vectors - фича Iceberg v.3

Продолжим традицию разборов и перезаливов хороших докладов с Iceberg Summit. Это англоязычные видео, к которым я добавил русские таймкоды, так что можно посмотреть самую суть, отфильтровав маркетинговый буллшит.

Одна из больших проблем формата айсберг - раздувание хранилища очень большим количеством (миллионами!) delete файлов. Delete файлы в айсберге версии 2 - это Паркеты/ОРКи, в которых содержится информация о том, что некоторые строки (или некоторые условия-предикаты) из основных дата-файлов читать не нужно. По сути каждая операция на DELETE/UPDATE/MERGE создает их в огромном количестве. В результате таблицы превращаются в нечитаемое месиво, а операции поддержки занимают часы.

В Iceberg v3 предложено решение этой проблемы: специальные файлы Delete Vectors, которые материализуются в puffin файлы в хранилище айсберга, и в которых плотно и компактно упакованы удаления. Таким образом, в формате айсберг становится 5 (!) типов файлов

JSON - для корневых метаданных
AVRO - для манифестов
STATS - для статистики
PARQUET/ORC - для собственно данных
PUFFIN - для удалений

Это все еще одна таблица!

Докладчик - Антон Окольничий, доклад на английском

—————————————————————————-

Посмотреть с таймкодами - ВК Видео

Предыдущие перезаливы в плейлисте на ВК

Попишитесь на канал с Видео - и получать уведомления о начале стримов. На следующей неделе очень интересный стрим о примении ИИ - не пропустите!

Предыдущий разбор видео на канале - Владимир Озеров о перспективах Айсберга.

Delete Vectors - Iceberg v3

Описание - выше

Таймкоды:

01:00 - Текущие механизмы удаления данных в Iceberg v2
03:48 - Разные типы deleteфайлов - Partition Scope vs. File Scope
06:43 - Презентуем Delete Vectors в Iceberg v3
10:11 - Delete Manifests
12:00 - Плюсы нового подхода
13:00 - Пример работы механизма для v2 и v3
18:25 - Вопросы из зала

Занятный график.

Люди очень любят круглые числа. Пробежать марафон за 3:59 сильно лучше чем за 4:01.

С похожим эффектом мучался в ритейле, когда считал ценовую эрозию. Это когда старый телефон стоит сильно дешевле нового, неадекватно дешевле если смотреть строго на характеристики. Так вот, она тоже дискретная, и никак не хочет ложиться на модель обесценения вида -20% на айфонN-1 при выходе айфонN. Обесценивается он лесенками 89900 -> 64900 и тому подобное, что ломает модели расчета. 🫠

Любите такие картинки?

Архитектура в карточках для самых маленьких.

Продукт Тесея - корабль наоборот

Есть корабль Тесея, знаменитый мысленный эксперимент греческих философов.

А я подумал, что есть продукт Тесея. Это как корабль только с нюансом.

Сначала мы запланировали классный и функциональный продукт. В нем все хорошо: крутые фичи, классный дизайн, продуманная архитектура, продукт-маркет фит.

А потом пошло-поехало. Тут уберем, тут зашорткатим, эта штука на MVP, здесь заглушка - потом доделаем.

Как в корабле Тесея мы меняем одну досочку за другой на гнилую или б/у-шную. И когда все досочки, канаты, парус и якорь заменены на свои «аналоги», то что получилось в итоге - является ли продуктом?

Компании во Франции нужно потратить 95 тыс. евро, чтобы выплатить сотруднику чистую зарплату в размере 39 тыс. евро. Можете себе представить, какой стимул будет заменить офисные рабочие места во Франции искусственным интеллектом?
Страны с такой высокой социальной нагрузкой на труд будут первые кандидаты на внедрение ИИ.

Вот откуда на самом деле тяга всех (или хоть кого-то) заменить на ИИ и роботов.

За мясных агентов надо платить соцвзносы, за кремниевых нет.

GPU съели людей

Анонс!

Уже очень скоро в очередном выпуске «Разговоров на Архитекторском» нас снова ждут уникальная тема и уникальный гости!

На SnowBase можно встретить удивительных людей из неожиданных (для себя) отраслей человеческой мысли. Вот и мне повезло познакомиться с такой интересной темой как нейроимпланты. Ее-то мы и обсудим на 4-м выпуске «Разговоров»!

Гости - Директор по Науке Андрей Демчинский и Директор по Развитию Никита Булдаков из компании Нейроимпланты Элвис. Мы конечно же поговорим про интерфейсы человек-компьютер, о том, когда мы сможем управлять дронами и машиной силой мысли. Затронем и такие «житейские» темы как применение современных ИИ в медтехнике.

В Четверг 9-го апреля в 18:00 настраивайте ваши приемники на нашу волну!

В комментариях задавайте вопросы про миры Призрака в Доспехах и Бегущего по Лезвию.

Ссылка для подключения будет в день стрима. Или напишите + в комменты - отправлю лично!

Это гениальное. Пайплайн для авто обоснования перформанс ревью.

Пока ты сидишь и не пользуешься такими технологиями потому что "нечестно", кто-то уже сделал пайплайн для обоснования твоего увольнения.