Скоро появится несколько активностей в моем образовательном направлении
1. 8 июня начинает обучение группа на курсе по созданию и автоматизации витрин данных. SQL, Airflow, GitHub, Python, ETL, Cloud Functions - все это разбираем на обучении и на практике создаем data marts для отчетов.
➡ ️Запись на сайте
2. В июне по плану запустить сообщество учеников. Это место для тех, кто прошел обучение и хочет двигаться дальше: развиваться и иметь доступ к учебным материалам, искать проекты, новую работу, знакомства и полезные контакты в сфере data и IT. Вступить сможет каждый ученик по своему желанию абсолютно бесплатно.
3. Работаю над новым учебным материалом с практикой в востребованных инструментах аналитики-инженерии данных, пока озвучивать не буду, оставлю интригу 😁
Возможно будет бесплатно или за чисто символическую плату с огромной пользой внутри 🤫
Кто я | Навигация | Обучение
1. 8 июня начинает обучение группа на курсе по созданию и автоматизации витрин данных. SQL, Airflow, GitHub, Python, ETL, Cloud Functions - все это разбираем на обучении и на практике создаем data marts для отчетов.
2. В июне по плану запустить сообщество учеников. Это место для тех, кто прошел обучение и хочет двигаться дальше: развиваться и иметь доступ к учебным материалам, искать проекты, новую работу, знакомства и полезные контакты в сфере data и IT. Вступить сможет каждый ученик по своему желанию абсолютно бесплатно.
3. Работаю над новым учебным материалом с практикой в востребованных инструментах аналитики-инженерии данных, пока озвучивать не буду, оставлю интригу 😁
Возможно будет бесплатно или за чисто символическую плату с огромной пользой внутри 🤫
Кто я | Навигация | Обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍8❤1
В чем разница между Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh
Нравится статья, делюсь как обычно с вами. Есть классная историческая справка (сможете похвастаться перед коллегами или на собесах знанием истории концепций хранилищ данных 😎). Если кто-то думает, что аналитика данных и Big Data зародились когда все об этом начали в рекламе курсов кричать, то вы далеко ошибаетесь, история уходит еще в 20 век.
Ну и лаконично описаны концепции хранилищ и показаны на визуальных схемах с основными элементами. Помогает понять зачем вообще такой зоопарк систем нужен и как это все обусловлено эволюцией подходов работы с данными.
Не путать с методологиями проектирования хранилищ данных! Методология - это «как строить?» и есть классика формата Кимбалл, Инмон, есть Data Vault, Anchor Modelling.
А в статье речь про концепции управления платформами данных
Читать статью
Нравится статья, делюсь как обычно с вами. Есть классная историческая справка (сможете похвастаться перед коллегами или на собесах знанием истории концепций хранилищ данных 😎). Если кто-то думает, что аналитика данных и Big Data зародились когда все об этом начали в рекламе курсов кричать, то вы далеко ошибаетесь, история уходит еще в 20 век.
Ну и лаконично описаны концепции хранилищ и показаны на визуальных схемах с основными элементами. Помогает понять зачем вообще такой зоопарк систем нужен и как это все обусловлено эволюцией подходов работы с данными.
Не путать с методологиями проектирования хранилищ данных! Методология - это «как строить?» и есть классика формата Кимбалл, Инмон, есть Data Vault, Anchor Modelling.
А в статье речь про концепции управления платформами данных
Читать статью
Хабр
Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями
Данные сегодня стали важным ресурсом для бизнеса, но для того, чтобы на их основе принимать правильные управленческие решения, нужно их правильно хранить и обрабатывать. Хранилища данных предоставляют...
🔥7👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Наш бобёр Борис! 🦫
Уверен он больше реакций наберет чем посты по аналитике 😎
Уверен он больше реакций наберет чем посты по аналитике 😎
🥰35❤13🔥6👨💻4🤓1
Кем бы я мог работать после бакалавриата
Сижу рассуждаю про все эти белые списки, ограничения связи на уровне протоколов, маршрутизаторов, впн и всего прочего. И стало интересно кем бы я сейчас вообще мог работать после своего бакалавриата по специальности «Инфокоммуникационные технологии и системы связи».
Пошел спрашивать нейросеть как обстоят дела на рынке РФ.
Каки предполагал есть несколько направлений куда можно было двигаться:
- телеком и все что с проектированием сетей связано
- проектирование электронных компонентов (в нашей реалии это работа скорее всего либо на заводе, либо в научной лаборатории)
- IT в специализации DevOps и сетевые инженеры, либо безопасники
А в школе вообще мечтал быть физиком и планировал поступать на факультет физики, ох уж жизнь куда занесла🧑💻 📊 📊
Интересно узнать кто из вас прям по специальности продолжает работать. Голосуйте реакциями
♥️ - работаете чисто по своей специальности с учебы
🔥 - сменили специальность
Сижу рассуждаю про все эти белые списки, ограничения связи на уровне протоколов, маршрутизаторов, впн и всего прочего. И стало интересно кем бы я сейчас вообще мог работать после своего бакалавриата по специальности «Инфокоммуникационные технологии и системы связи».
Пошел спрашивать нейросеть как обстоят дела на рынке РФ.
Каки предполагал есть несколько направлений куда можно было двигаться:
- телеком и все что с проектированием сетей связано
- проектирование электронных компонентов (в нашей реалии это работа скорее всего либо на заводе, либо в научной лаборатории)
- IT в специализации DevOps и сетевые инженеры, либо безопасники
А в школе вообще мечтал быть физиком и планировал поступать на факультет физики, ох уж жизнь куда занесла
Интересно узнать кто из вас прям по специальности продолжает работать. Голосуйте реакциями
♥️ - работаете чисто по своей специальности с учебы
🔥 - сменили специальность
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥28❤16
ИИ забирает рутинные задачи аналитиков (и работу)
Требования к аналитикам сильно растут. То что казалось раньше нормой для middle сейчас становится требованием для junior.
Недавно общался со знакомым, он работает Data архитектором: проектирует платформы данных и DWH в разных компаниях, в его командах работают аналитики и инженеры данных, которых он собесит. Он очень хорошо знает рынок и также сказал, что сейчас компании ценят сильных универсалов, способных заменить целую команду «простых аналитиков», которые знают только пару инструментов и не способных погрузиться в технику глубоко.
Поменялись требования к специалистам.
Теперь ценятся те, кто:
📍видит весь процесс работы с данными от начала до конца
📍умеет не просто анализировать, а выстраивать инженерные процессы и self-service аналитику
📍использует ИИ как мощного ассистента чтобы ускорять свою работу
📍берёт комплексную задачу и доводит её до финального результата
Именно такие кандидаты получают привлекательные офферы выше рынка. Почему? Да потому что они одни закрывают сразу 2 роли: аналитика и инженера
Требования в таких вакансиях выглядят так:
🔶 получать и преобразовать сырые данных из разных источников (базы данных, API, вебхуки)
🔶 навык трансформация данных, оценка качества на SQL или Python
🔶 опыт реализации инкрементальной загрузки данных
🔶 опыт проектирования и реализации витрин данных (data mart)
🔶 опыт описания моделей данных и формирования документации, общение с заказчиками
🔶 опыт реализации ETL/ELT процессов, оркестрации. Владение Apache Airflow или аналогами
🔶 навык расчета бизнес-метрик, подготовка данных для анализа
🔶 анализ данных и разработка аналитических отчетов, дашбордов
Все это мы изучаем в практическом формате на моем курсе «Продвинутый SQL и автоматизация витрин данных»
После курса будут не просто знания, а закрепленные на практике навыки реализации реальных задач от начала до конечного результата
Именно для этого есть
🧑💻 подготовленная инфраструктура с PostgreSQL, Airflow, GitHub, Cloud Functions
1️⃣0️⃣ практических задач на разработку и автоматизацию обновления витрин данных
🤝 помощь и обратная связь от меня на протяжении обучения
Помимо этого:
➕сертификат об обучении (образовательная лицензия)
➕ возможность оформить налоговый вычет 13%
➕доступ в закрытое сообщество учеников с дальнейшим развитием и нетворком
❗️ Старт уже завтра (8 июня)
Запись в группу на сайте
Требования к аналитикам сильно растут. То что казалось раньше нормой для middle сейчас становится требованием для junior.
Недавно общался со знакомым, он работает Data архитектором: проектирует платформы данных и DWH в разных компаниях, в его командах работают аналитики и инженеры данных, которых он собесит. Он очень хорошо знает рынок и также сказал, что сейчас компании ценят сильных универсалов, способных заменить целую команду «простых аналитиков», которые знают только пару инструментов и не способных погрузиться в технику глубоко.
Поменялись требования к специалистам.
Теперь ценятся те, кто:
📍видит весь процесс работы с данными от начала до конца
📍умеет не просто анализировать, а выстраивать инженерные процессы и self-service аналитику
📍использует ИИ как мощного ассистента чтобы ускорять свою работу
📍берёт комплексную задачу и доводит её до финального результата
Именно такие кандидаты получают привлекательные офферы выше рынка. Почему? Да потому что они одни закрывают сразу 2 роли: аналитика и инженера
Требования в таких вакансиях выглядят так:
🔶 получать и преобразовать сырые данных из разных источников (базы данных, API, вебхуки)
🔶 навык трансформация данных, оценка качества на SQL или Python
🔶 опыт реализации инкрементальной загрузки данных
🔶 опыт проектирования и реализации витрин данных (data mart)
🔶 опыт описания моделей данных и формирования документации, общение с заказчиками
🔶 опыт реализации ETL/ELT процессов, оркестрации. Владение Apache Airflow или аналогами
🔶 навык расчета бизнес-метрик, подготовка данных для анализа
🔶 анализ данных и разработка аналитических отчетов, дашбордов
Все это мы изучаем в практическом формате на моем курсе «Продвинутый SQL и автоматизация витрин данных»
После курса будут не просто знания, а закрепленные на практике навыки реализации реальных задач от начала до конечного результата
Именно для этого есть
🧑💻 подготовленная инфраструктура с PostgreSQL, Airflow, GitHub, Cloud Functions
1️⃣0️⃣ практических задач на разработку и автоматизацию обновления витрин данных
🤝 помощь и обратная связь от меня на протяжении обучения
Помимо этого:
➕сертификат об обучении (образовательная лицензия)
➕ возможность оформить налоговый вычет 13%
➕доступ в закрытое сообщество учеников с дальнейшим развитием и нетворком
Запись в группу на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍4🔥2
Нас всех оценивает ИИ 🤖
Вот таких проектов сейчас много, которые через ИИ прогоняют резюме, оценивают его и строят рейтинг кандидатов. Поэтому если находитесь в поиске, помните, что ключом к успеху является грамотно составленное резюме с учетом нюансов, что сначала его смотрит бездушная машина, а потом если повезет человек
Если не уверены что справились, найдите лучше человека кто поможет платно (рекрутеры, менторы, друзья из сферы кто знает рынок, а не просто работает на одном месте долгое время)
Вот таких проектов сейчас много, которые через ИИ прогоняют резюме, оценивают его и строят рейтинг кандидатов. Поэтому если находитесь в поиске, помните, что ключом к успеху является грамотно составленное резюме с учетом нюансов, что сначала его смотрит бездушная машина, а потом если повезет человек
Если не уверены что справились, найдите лучше человека кто поможет платно (рекрутеры, менторы, друзья из сферы кто знает рынок, а не просто работает на одном месте долгое время)
👍10❤3
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12🔥4😁1
Ребят, не идите в аналитику, оно вам не надо!
➖ Сейчас работу будете искать вечность
➖ Курьеры в Москве поднимают 💵 как мидлы, а на стройке как сеньеры. Большие ЗП в айти = большой миф
➖ Еще пару месяцев и вообще ИИ все будет делать
➖ Сидячий образ работы это для здоровья плохо, потом будете спину лечить всю жизнь
➖ Удаленки практически нет, всех уже в офис загнали
➖ Льготные программы ипотеки для айтишников практически сделали недоступными
Считаю все по фактам расписал
😎 ну и просто куда уже лезете, тут все занято как в электричке до Одинцово в час-пик. Раньше надо было)
➖ Сейчас работу будете искать вечность
➖ Курьеры в Москве поднимают 💵 как мидлы, а на стройке как сеньеры. Большие ЗП в айти = большой миф
➖ Еще пару месяцев и вообще ИИ все будет делать
➖ Сидячий образ работы это для здоровья плохо, потом будете спину лечить всю жизнь
➖ Удаленки практически нет, всех уже в офис загнали
➖ Льготные программы ипотеки для айтишников практически сделали недоступными
Считаю все по фактам расписал
😎 ну и просто куда уже лезете, тут все занято как в электричке до Одинцово в час-пик. Раньше надо было)
😁51👍11🙏3😎3👨💻1
Первый лям 🍋 просмотров
Заметил что моя статья на Хабре набрала 1 млн. просмотров😤
Писал про оконные функции еще в 2022 году, буквально решил быстро дать пользу в майские праздники 😃
Интересно что потом ссылку на статью встречал в рабочих чатах, других каналах, ученики писали и говорили «твоя статья первая по запросу оконные функции SQL» высвечивается.
Спасибо всем кто читал и внес свой вклад в распространение)
А те кто не читал и не знаком с оконками в SQL, велком к прочтению
P.S. там внизу еще есть ссылка на вторую часть про фреймы
Заметил что моя статья на Хабре набрала 1 млн. просмотров
Писал про оконные функции еще в 2022 году, буквально решил быстро дать пользу в майские праздники 😃
Интересно что потом ссылку на статью встречал в рабочих чатах, других каналах, ученики писали и говорили «твоя статья первая по запросу оконные функции SQL» высвечивается.
Спасибо всем кто читал и внес свой вклад в распространение)
А те кто не читал и не знаком с оконками в SQL, велком к прочтению
P.S. там внизу еще есть ссылка на вторую часть про фреймы
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉39🔥18❤3😁1
Наконец-то обновил сайт 🔥
Теперь на главной странице собрал основные разделы, где каждый сможет найти что его интересует. Кому-то интересно обучение на курсах, другие интересуются личным менторингом и приходят в ЛС, а другим просто хочется почитать бесплатные материалы, которые я здесь пишу с 2022 года и которые до этого не были нигде структурированы.
Теперь все эти запросы закрываются на одной главной странице!
И загляните на страницу социальных сетей, там собрал все площадки, где публикуется контент - поэтому буду рад подписке)
P.S. раздел с бесплатными материалами буду наполнять постепенно, очень много чего есть туда прикрепить 😉
➡️ datastudy.ru
Теперь на главной странице собрал основные разделы, где каждый сможет найти что его интересует. Кому-то интересно обучение на курсах, другие интересуются личным менторингом и приходят в ЛС, а другим просто хочется почитать бесплатные материалы, которые я здесь пишу с 2022 года и которые до этого не были нигде структурированы.
Теперь все эти запросы закрываются на одной главной странице!
И загляните на страницу социальных сетей, там собрал все площадки, где публикуется контент - поэтому буду рад подписке)
P.S. раздел с бесплатными материалами буду наполнять постепенно, очень много чего есть туда прикрепить 😉
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
Это ты на собесе показываешь навыки питона
✅ этап life code пройден 😎
✅ этап life code пройден 😎
😁29👍3🔥3❤1👨💻1
This media is not supported in your browser
VIEW IN TELEGRAM
Зацените какое кайфовое лобби с коворкингом в нашем ЖК сделали
Я работаю удаленно и в основном из квартиры, но чтобы сменить обстановку прихожу сюда
Раньше о таком мог только мечтать, но мечты становятся реальностью еслиупорно с умом работать 🤝
Я работаю удаленно и в основном из квартиры, но чтобы сменить обстановку прихожу сюда
Раньше о таком мог только мечтать, но мечты становятся реальностью если
🔥28❤6👍5
Параметризация SQL запросов
Часто работаю с задачами, когда Python коде нужно выполнить SQL запрос с изменяющимися параметрами.
Вручную менять сам запрос конечно невозможно каждый раз, он должен по формату функции для вызова запроса с разными например параметрами фильтрации.
И вот для таких целей нужно использовать шаблонизацию. Вариантов много:
- f-строки и Python функции
- библиотека sqlalchemy
- dbt модели
Но есть еще отдельные библиотеки, которые работают на базе jinja шаблонизации, например jinjasql
Это кажется золотой серединой, если например f-строк не хватает или в решении это может быть не безопасно из sql-инъекций, а dbt является избыточным решением
Ставь 👍 если раньше не слышал про такое и хочется конкретных примеров использования посмотреть
Часто работаю с задачами, когда Python коде нужно выполнить SQL запрос с изменяющимися параметрами.
Вручную менять сам запрос конечно невозможно каждый раз, он должен по формату функции для вызова запроса с разными например параметрами фильтрации.
И вот для таких целей нужно использовать шаблонизацию. Вариантов много:
- f-строки и Python функции
- библиотека sqlalchemy
- dbt модели
Но есть еще отдельные библиотеки, которые работают на базе jinja шаблонизации, например jinjasql
Это кажется золотой серединой, если например f-строк не хватает или в решении это может быть не безопасно из sql-инъекций, а dbt является избыточным решением
Ставь 👍 если раньше не слышал про такое и хочется конкретных примеров использования посмотреть
GitHub
GitHub - sripathikrishnan/jinjasql: Template Language for SQL with Automatic Bind Parameter Extraction
Template Language for SQL with Automatic Bind Parameter Extraction - sripathikrishnan/jinjasql
👍21
Очень рад что получилось сделать практику в формате рабочих задач. А то часто слышу запрос «знание есть, а применять не умею»
Вот тебе песочница где учишься применять все как на работе https://datastudy.ru/sql_advanced
#отзыв_курс
Вот тебе песочница где учишься применять все как на работе https://datastudy.ru/sql_advanced
#отзыв_курс
👍9❤2
Автоматизация задач на работе
У нас на проекте есть множество аналитических задач, которые нужно выполнять по разным сценариям: ежедневно/еженедельно/ежемесячно, либо по запросу, но всегда идентично
И для каждой такой задачи раньше нужно было вовлекать аналитика, просить его сделать определенные манипуляции, которые мог сделать только он
А что если аналитик ушел в отпуск, взял дейофф, заболел, уволился?
Сейчас пришли к тому, что каждая такая задача решается запуском автоматических джоб (скриптов). Вся логика централизовано лежит в репозитории, нет шанса что-то потерять если аналитик недоступен. И все работает по заданному расписанию с нужной периодичностью.
НО остались задачи, которые нужно запускать по запросу (не по расписанию). И вот здесь опять же нужен аналитик, чтобы нажать кнопку и запустить джобу. Бизнес-пользователи это сделать не могут в техническом контуре, но можно теперь запросто просить других коллег это сделать.
Было:
- вся логика известна аналитику в его скриптах, полная зависимость от его ресурса, скрипты запускаются вручную по запросу или когда аналитик сам помнит что их нужно прогнать
Стало:
- вся логика зафиксирована в репозиториях компании, все автоматизировано запускается по расписанию или нажатием одной кнопки если попросить аналитика или другого коллегу с доступом
- часть задач вообще доступна пользователям в привычной им системе с UI, где они сами по кнопке получают нужные отчеты
Но дальше хочу уйти еще больше в self-service для пользователей. Здесь будем исследовать в сторону внедрения ии-агентов для наших задач, а также динамическую генерацию отчетов не по прописанной логике, а в формате из запроса пользователя
А у вас как на работе? Передайте то, как чувствую себя ваши бизнес-пользователи, или вы сами)
🙏 - есть что автоматизировать, что сейчас в ручном или полуручном режиме
🧑💻 - все что можно уже автоматизировано и удобно работает
Кто я | Навигация | Обучение
У нас на проекте есть множество аналитических задач, которые нужно выполнять по разным сценариям: ежедневно/еженедельно/ежемесячно, либо по запросу, но всегда идентично
И для каждой такой задачи раньше нужно было вовлекать аналитика, просить его сделать определенные манипуляции, которые мог сделать только он
А что если аналитик ушел в отпуск, взял дейофф, заболел, уволился?
Сейчас пришли к тому, что каждая такая задача решается запуском автоматических джоб (скриптов). Вся логика централизовано лежит в репозитории, нет шанса что-то потерять если аналитик недоступен. И все работает по заданному расписанию с нужной периодичностью.
НО остались задачи, которые нужно запускать по запросу (не по расписанию). И вот здесь опять же нужен аналитик, чтобы нажать кнопку и запустить джобу. Бизнес-пользователи это сделать не могут в техническом контуре, но можно теперь запросто просить других коллег это сделать.
Было:
- вся логика известна аналитику в его скриптах, полная зависимость от его ресурса, скрипты запускаются вручную по запросу или когда аналитик сам помнит что их нужно прогнать
Стало:
- вся логика зафиксирована в репозиториях компании, все автоматизировано запускается по расписанию или нажатием одной кнопки если попросить аналитика или другого коллегу с доступом
- часть задач вообще доступна пользователям в привычной им системе с UI, где они сами по кнопке получают нужные отчеты
Но дальше хочу уйти еще больше в self-service для пользователей. Здесь будем исследовать в сторону внедрения ии-агентов для наших задач, а также динамическую генерацию отчетов не по прописанной логике, а в формате из запроса пользователя
А у вас как на работе? Передайте то, как чувствую себя ваши бизнес-пользователи, или вы сами)
🙏 - есть что автоматизировать, что сейчас в ручном или полуручном режиме
🧑💻 - все что можно уже автоматизировано и удобно работает
Кто я | Навигация | Обучение
🙏11👍2👨💻2
Оффер в крупную ритейл компанию на 185 тысяч на руки!
Такой новостью сегодня порадовал ученик. Порадуемся за Дмитрия!🎉
На старте обучения у Дмитрия был базовый SQL, сильный Excel и опыт junior аналитика.
Теперь благодаря уверенным хардам с SQL, Python, применением ETL инструментов, Git и BI получилось закрыть свою цель по ЗП на middle позиции 🤝
#кейс
#отзыв_курс
Кто я | Навигация | Обучение
Такой новостью сегодня порадовал ученик. Порадуемся за Дмитрия!
На старте обучения у Дмитрия был базовый SQL, сильный Excel и опыт junior аналитика.
Теперь благодаря уверенным хардам с SQL, Python, применением ETL инструментов, Git и BI получилось закрыть свою цель по ЗП на middle позиции 🤝
#кейс
#отзыв_курс
Кто я | Навигация | Обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉26🔥12❤6👨💻2👍1