Архитектор Данных
Имхо удачный слайд про плюсы и минусы КХД vs. DLH UPD. Внимание! В заголовке НЕ
По поводу архитектур данных и как обоснованно выбрать то или другое решение для именно ваших задач в пятницу будет открытый митап.
Записываемся по ссылке, открыто обсудим, как строить платформы для данных в 2026 году.
Далее репост:
Записываемся по ссылке, открыто обсудим, как строить платформы для данных в 2026 году.
Далее репост:
👍3
Forwarded from System Design & Highload (Alexey Rybak)
Вниманию CTO и всем, кто строит платформы данных.
Когда нужно переходить на Lakehouse? Как начать изучать этого зверя на практике, с готовым инфраструктурным сетапом? Всё расскажем и покажем на вебинаре в пятницу, 10-го апреля, 18:00 MSK.
Как сделать платформу под аналитику? На малом объеме как ни делай, оно делается. При росте объемов данных постгреc тормозит, кликхаусы теряют консистентность, хадупы - старые динозавры из 2000-ных, а аналиткии постоянно хотят запрашивать больше, загружать быстрее, гонять более сложные алгоритмы. 10 аналитиков на 10 ТБ со средней сложностью запроса 1 за год превращаются в 20 аналитиков с 50 ТБ данных со сложностью в 2 = рост нагрузки в 2*5*2 в 20 раз. Всё начинает ломаться, тормозить, бизнес недоволен.
Лейкхаус
🤩 использует современные подходы к масштабированию, отдельно хранения и отдельно компьюта
🤩 хранит данные на недорогом S3
🤩 организует облако данных, где каждый видит изменения каждого другого мгновенно, без многодневных перекладок из А в Б.
Но чтобы построить лейкхаус нужно много знать. Клауды помогают, но и в них без фундаментальных знаний никак.
На вебинаре в пятницу Алексей Белозерский покажет как:
🤩 не страдать от ограничений СУБД
🤩 построить модерн дата стэк на современной платформе
🤩 о каких особенностях нужно подумать и что учесть для работы на лейкхаусе
Чтобы попасть на вебинар, напишите “вебинар lakehouse” в наш community-аккаунт, @devhands_community. Приходите, приводите друзей и коллег.
Когда нужно переходить на Lakehouse? Как начать изучать этого зверя на практике, с готовым инфраструктурным сетапом? Всё расскажем и покажем на вебинаре в пятницу, 10-го апреля, 18:00 MSK.
Как сделать платформу под аналитику? На малом объеме как ни делай, оно делается. При росте объемов данных постгреc тормозит, кликхаусы теряют консистентность, хадупы - старые динозавры из 2000-ных, а аналиткии постоянно хотят запрашивать больше, загружать быстрее, гонять более сложные алгоритмы. 10 аналитиков на 10 ТБ со средней сложностью запроса 1 за год превращаются в 20 аналитиков с 50 ТБ данных со сложностью в 2 = рост нагрузки в 2*5*2 в 20 раз. Всё начинает ломаться, тормозить, бизнес недоволен.
Лейкхаус
Но чтобы построить лейкхаус нужно много знать. Клауды помогают, но и в них без фундаментальных знаний никак.
На вебинаре в пятницу Алексей Белозерский покажет как:
Чтобы попасть на вебинар, напишите “вебинар lakehouse” в наш community-аккаунт, @devhands_community. Приходите, приводите друзей и коллег.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤3
Media is too big
VIEW IN TELEGRAM
Все на острове богаты, изоб нет, одни палаты!
Раньше каждый отец семейства строил себе избу, в которой жил. Ну или вместе с родственниками, соседями и общиной.
Жили скромно, изба-пятистенок это 2 квадрата длиной с бревно - ну сколько там метров? Минус сени и большая печка, получится метров 40 на семью человек 8. Это примерный аналог кода в небольшой компании.
Бояре да князья могли себе позволить терем, но и там потолки низкие и места не сказать чтобы много. Это аналог энтерпрайз софта для богатых корпораций.
Сейчас эра индустриального домостроения. Никого не удивишь 90-100 метрами на семью из 3-4 человек. А корпорации живут в небоскребах с верхушками в облаках.
Примерно то же с софтом может сделать доступ к дешевому индустриальному коду. Переселимся из изб не в палаты, а в монолитные коробки. Не будет такого, что у всех палаты, а будет так, что у кого-то человейник в бывших полях, а у кого-то крафтовый домик как на видео. Просто на других технологиях сделанные.
Ничего не изменится и в распределении ценности рабочих, которые строят эти дома. Строитель избы и разнорабочий на стройке простой многоэтажки это примерно одно. Равно как и архитектор домика с видео и мастер деревянного зодчества, строивший княжеский терем - это одно. Просто инструменты в их руках слегка разные.
Единственное что пугает, это скорость перехода. Нет поколений, чтобы деревянных дел мастеру адаптироваться, есть годы или даже кварталы
Раньше каждый отец семейства строил себе избу, в которой жил. Ну или вместе с родственниками, соседями и общиной.
Жили скромно, изба-пятистенок это 2 квадрата длиной с бревно - ну сколько там метров? Минус сени и большая печка, получится метров 40 на семью человек 8. Это примерный аналог кода в небольшой компании.
Бояре да князья могли себе позволить терем, но и там потолки низкие и места не сказать чтобы много. Это аналог энтерпрайз софта для богатых корпораций.
Сейчас эра индустриального домостроения. Никого не удивишь 90-100 метрами на семью из 3-4 человек. А корпорации живут в небоскребах с верхушками в облаках.
Примерно то же с софтом может сделать доступ к дешевому индустриальному коду. Переселимся из изб не в палаты, а в монолитные коробки. Не будет такого, что у всех палаты, а будет так, что у кого-то человейник в бывших полях, а у кого-то крафтовый домик как на видео. Просто на других технологиях сделанные.
Ничего не изменится и в распределении ценности рабочих, которые строят эти дома. Строитель избы и разнорабочий на стройке простой многоэтажки это примерно одно. Равно как и архитектор домика с видео и мастер деревянного зодчества, строивший княжеский терем - это одно. Просто инструменты в их руках слегка разные.
Единственное что пугает, это скорость перехода. Нет поколений, чтобы деревянных дел мастеру адаптироваться, есть годы или даже кварталы
🥱4💯3👍1😭1
Банкста
Суммарное вознаграждение топ-менеджменту в 15 крупнейших банковских группах в 2025 года превысило 63 млрд рублей @banksta
То есть 15 таких теремков за год раздали. Их много таких на самом деле 🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Архитектор Данных
Все на острове богаты, изоб нет, одни палаты!
Раньше каждый отец семейства строил себе избу, в которой жил. Ну или вместе с родственниками, соседями и общиной.
Жили скромно, изба-пятистенок это 2 квадрата длиной с бревно - ну сколько там метров? Минус сени…
Раньше каждый отец семейства строил себе избу, в которой жил. Ну или вместе с родственниками, соседями и общиной.
Жили скромно, изба-пятистенок это 2 квадрата длиной с бревно - ну сколько там метров? Минус сени…
❤5😁1
Архитектор Данных
Анонс! Уже очень скоро в очередном выпуске «Разговоров на Архитекторском» нас снова ждут уникальная тема и уникальный гости! На SnowBase можно встретить удивительных людей из неожиданных (для себя) отраслей человеческой мысли. Вот и мне повезло познакомиться…
Друзья, страшно извиняюсь, но сегодня по техническим причинам стрима не будет.
Мы обязательно выберем другую дату, stay tuned!
Мы обязательно выберем другую дату, stay tuned!
Архитектор Данных
Задача Жака Фреско Архитектора Данных На ответ дается 1 минута
Любите ли вы брейн тизеры при найме DA (DE, MLE, SWE)
Anonymous Poll
12%
Да, отличный метод оценки➕
55%
Нет, вообще не показатель⛔️
33%
Посмотреть результаты
Media is too big
VIEW IN TELEGRAM
ChatGPT решил правильно. В процессе по сути составил систему линейных уравнений для сторон - 6 неизвестных. Потом ловко выразил и решил. Нормально.
Мое решение на видео.
Произошедшее в коментах натолкнуло сразу на несколько философских размышлений.
Спасибо всем за отличную дискуссию.
Мое решение на видео.
Произошедшее в коментах натолкнуло сразу на несколько философских размышлений.
Спасибо всем за отличную дискуссию.
👍8💯5
System Design & Highload (Alexey Rybak)
Вниманию CTO и всем, кто строит платформы данных. Когда нужно переходить на Lakehouse? Как начать изучать этого зверя на практике, с готовым инфраструктурным сетапом? Всё расскажем и покажем на вебинаре в пятницу, 10-го апреля, 18:00 MSK. Как сделать платформу…
Reminder!
Сегодня вечером обсуждаем границы применения различных технологий для КХД/ДЛХ.
Вступайте в чатик и поговорим вместе!
Сегодня вечером обсуждаем границы применения различных технологий для КХД/ДЛХ.
Вступайте в чатик и поговорим вместе!
❤5👍2
Forwarded from Минута в минуту
Королев: Смотрели сейчас вас по телевидению — все нормально, вид ваш порадовал нас: бодрый. Как слышите меня?
Гагарин: Вас слышу хорошо. Самочувствие хорошее, настроение бодрое, к старту готов.
Королев: Ну отлично, хорошо. У нас все идет нормально.
Гагарин: Вас слышу хорошо. Самочувствие хорошее, настроение бодрое, к старту готов.
Королев: Ну отлично, хорошо. У нас все идет нормально.
1⚡2
65 лет назад
Мы стараемся, Юрий Алексеевич и Сергей Правлович.
Правда, стараемся.Вот нейросеток всяких наделали.
Мы стараемся, Юрий Алексеевич и Сергей Правлович.
Правда, стараемся.
🤪7👍3
Media is too big
VIEW IN TELEGRAM
Смотрите, Юрийалексееич, глядите, Сергейпалыч!
Это нам Канье сгенерированный через АПИ по ВПН поет «Трава у дома»! Ну классно же, какие мы молодцы, что так здорово придумали.
Это нам Канье сгенерированный через АПИ по ВПН поет «Трава у дома»! Ну классно же, какие мы молодцы, что так здорово придумали.
🤮4🔥3😁1
Всем привет!
Еще есть несколько мест на 3-й поток курса Лейкхаус.
Записаться здесь:
https://devhands.ru/lakehouse
Еще есть несколько мест на 3-й поток курса Лейкхаус.
Записаться здесь:
https://devhands.ru/lakehouse
devhands.ru
Lakehouse для аналитиков и инженеров данных
👍10❤3
Кровавый энтерпрайз. Никакая движуха не начнется, пока все уважаемые люди не поймут, какой гешефт движуха будет нести лично им.
Рашн энтерпрайз. Никакая движуха не начнется, пока уважаемые люди не поймут, что лично они ни за что не будут отвечать.
Рашн энтерпрайз. Никакая движуха не начнется, пока уважаемые люди не поймут, что лично они ни за что не будут отвечать.
😁25💯11❤1
ReplicatedVersionedCollapsingMergeTree
Что-то на немецком 😆
20 апреля будет вебинар по Кликхаусу от клауда!
Что-то на немецком 😆
20 апреля будет вебинар по Кликхаусу от клауда!
1😱15👍5⚡2
Архитектор Данных
Задача Жака Фреско Архитектора Данных На ответ дается 1 минута
Audio
Пост по итогам обсуждения задачки брейн-тизера
Некоторое время мне не дает покоя эта история. Слишком много показательного прозошло в комментариях под этим постом. Все началось с простой математической задачи, продолжилось докапыванием к ИИ и мыслями про найм как таковой.
Чтобы не писать много текста, записал видео.
В телеграм выложу аудио, так как у многих проблемы с трафиком. А видео будет на ВК Канале.
Еще раз спасибо всем, кто поучаствовал в дискуссии!
Таймкоды
00:00 - Вступление
00:49 - Задачка брейн-тизер и как ее решают люди и ИИ
09:35 - Мое мнение о брейн-тизерах и нужны ли они в найме
Некоторое время мне не дает покоя эта история. Слишком много показательного прозошло в комментариях под этим постом. Все началось с простой математической задачи, продолжилось докапыванием к ИИ и мыслями про найм как таковой.
Чтобы не писать много текста, записал видео.
В телеграм выложу аудио, так как у многих проблемы с трафиком. А видео будет на ВК Канале.
Еще раз спасибо всем, кто поучаствовал в дискуссии!
Таймкоды
00:00 - Вступление
00:49 - Задачка брейн-тизер и как ее решают люди и ИИ
09:35 - Мое мнение о брейн-тизерах и нужны ли они в найме
👍6❤2👏2
Об экономике
Забавные они там в мире высоких ЛПР.
Ты ставку держишь космос, налоги повысил, рубль сильный так что экспорту неудобно. А виной отсутствия роста у тебя сезонные и погодные факторы. Цирк, только несмешной.
ИТ-компании и крупные ИТ отделы первые в гонке срезания бюджетов. Так как продают обычно не то, без чего жить прямо нельзя. Даже если экономика наладится вот прям завтра, сидеть на голодном пайке еще квартала 3-4.
А тут еще и цена железа улетает в 🚀.
Забавные они там в мире высоких ЛПР.
Ты ставку держишь космос, налоги повысил, рубль сильный так что экспорту неудобно. А виной отсутствия роста у тебя сезонные и погодные факторы. Цирк, только несмешной.
ИТ-компании и крупные ИТ отделы первые в гонке срезания бюджетов. Так как продают обычно не то, без чего жить прямо нельзя. Даже если экономика наладится вот прям завтра, сидеть на голодном пайке еще квартала 3-4.
А тут еще и цена железа улетает в 🚀.
TACC
Путин отметил вклад сезонного и погодного факторов в динамику экономики
Президент подчеркнул, что далеко не только они определяют деловую, инвестиционную активность в стране
💯9❤4👍3🤡2😁1