Аналитика данных / Data Study
9.42K subscribers
595 photos
67 videos
25 files
450 links
Помогаю аналитикам расти в профессии и доходе

Курс по продвинутому SQL и автоматизации потоков данных https://datastudy.ru/sql_advanced

По всем вопросам: @daniildzheparov

Моя жизнь, опыт, аналитика и инженерия данных
Download Telegram
Наконец-то обновил сайт 🔥

Теперь на главной странице собрал основные разделы, где каждый сможет найти что его интересует. Кому-то интересно обучение на курсах, другие интересуются личным менторингом и приходят в ЛС, а другим просто хочется почитать бесплатные материалы, которые я здесь пишу с 2022 года и которые до этого не были нигде структурированы.

Теперь все эти запросы закрываются на одной главной странице!

И загляните на страницу социальных сетей, там собрал все площадки, где публикуется контент - поэтому буду рад подписке)

P.S. раздел с бесплатными материалами буду наполнять постепенно, очень много чего есть туда прикрепить 😉

➡️ datastudy.ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
Это ты на собесе показываешь навыки питона

этап life code пройден 😎
😁29👍3🔥31👨‍💻1
This media is not supported in your browser
VIEW IN TELEGRAM
Зацените какое кайфовое лобби с коворкингом в нашем ЖК сделали

Я работаю удаленно и в основном из квартиры, но чтобы сменить обстановку прихожу сюда

Раньше о таком мог только мечтать, но мечты становятся реальностью если упорно с умом работать 🤝
🔥286👍5
Параметризация SQL запросов

Часто работаю с задачами, когда Python коде нужно выполнить SQL запрос с изменяющимися параметрами.

Вручную менять сам запрос конечно невозможно каждый раз, он должен по формату функции для вызова запроса с разными например параметрами фильтрации.

И вот для таких целей нужно использовать шаблонизацию. Вариантов много:
- f-строки и Python функции
- библиотека sqlalchemy
- dbt модели

Но есть еще отдельные библиотеки, которые работают на базе jinja шаблонизации, например jinjasql

Это кажется золотой серединой, если например f-строк не хватает или в решении это может быть не безопасно из sql-инъекций, а dbt является избыточным решением

Ставь 👍 если раньше не слышал про такое и хочется конкретных примеров использования посмотреть
👍21
Не перестаю учиться 🧑‍💻

Чем больше знаешь, тем больше возможных способов решения задач есть перед тобой, а значит более гибко можешь реализовывать их

♥️ если согласны
52👍5
Очень рад что получилось сделать практику в формате рабочих задач. А то часто слышу запрос «знание есть, а применять не умею»

Вот тебе песочница где учишься применять все как на работе https://datastudy.ru/sql_advanced

#отзыв_курс
👍92
Автоматизация задач на работе

У нас на проекте есть множество аналитических задач, которые нужно выполнять по разным сценариям: ежедневно/еженедельно/ежемесячно, либо по запросу, но всегда идентично

И для каждой такой задачи раньше нужно было вовлекать аналитика, просить его сделать определенные манипуляции, которые мог сделать только он

А что если аналитик ушел в отпуск, взял дейофф, заболел, уволился?

Сейчас пришли к тому, что каждая такая задача решается запуском автоматических джоб (скриптов). Вся логика централизовано лежит в репозитории, нет шанса что-то потерять если аналитик недоступен. И все работает по заданному расписанию с нужной периодичностью.

НО остались задачи, которые нужно запускать по запросу (не по расписанию). И вот здесь опять же нужен аналитик, чтобы нажать кнопку и запустить джобу. Бизнес-пользователи это сделать не могут в техническом контуре, но можно теперь запросто просить других коллег это сделать.

Было:
- вся логика известна аналитику в его скриптах, полная зависимость от его ресурса, скрипты запускаются вручную по запросу или когда аналитик сам помнит что их нужно прогнать

Стало:
- вся логика зафиксирована в репозиториях компании, все автоматизировано запускается по расписанию или нажатием одной кнопки если попросить аналитика или другого коллегу с доступом
- часть задач вообще доступна пользователям в привычной им системе с UI, где они сами по кнопке получают нужные отчеты

Но дальше хочу уйти еще больше в self-service для пользователей. Здесь будем исследовать в сторону внедрения ии-агентов для наших задач, а также динамическую генерацию отчетов не по прописанной логике, а в формате из запроса пользователя

А у вас как на работе? Передайте то, как чувствую себя ваши бизнес-пользователи, или вы сами)
🙏 - есть что автоматизировать, что сейчас в ручном или полуручном режиме
🧑‍💻 - все что можно уже автоматизировано и удобно работает


Кто я | Навигация | Обучение
🙏11👍2👨‍💻2
Оффер в крупную ритейл компанию на 185 тысяч на руки!

Такой новостью сегодня порадовал ученик. Порадуемся за Дмитрия! 🎉

На старте обучения у Дмитрия был базовый SQL, сильный Excel и опыт junior аналитика.

Теперь благодаря уверенным хардам с SQL, Python, применением ETL инструментов, Git и BI получилось закрыть свою цель по ЗП на middle позиции 🤝

#кейс
#отзыв_курс

Кто я | Навигация | Обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉26🔥126👨‍💻2👍1
Я стал крестным!
57🎉26👍1
Моя статья на Habr про построение потока данных с serverless технологиями в облаке

Собрал там информацию о реальном примере работы с excel/csv файлами, когда есть потребность загружать данные из них в базу данных для хранения и анализа. В статье расписал как использую

🔹Object Storage
🔹Managed Service PostgreSQL
🔹Cloud Functions
🔹Cloud Triggers

Довольно подробная инструкция, можно все максимально повторить по шагам

А полный цикл разработки и автоматизации потоков данных проходим на курсе "Продвинутый SQL и автоматизация витрин данных" - вся практика и навыки, которые требуют сейчас работодатели от аналитиков данных.

➡️Ближайшая группа 27 июля, пиши в ЛС или оставляй заявку через сайт
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍7
💃От чего я кайфую на работе

Захотелось поделиться мыслями с вами почему я обожаю свою работу

1️⃣Смесь задач аналитики и инженерии данных
Обожаю разнообразие задач, особенно когда задача внутри себя содержит аналитику и инженерную часть. Например, когда нужно построить витрину данных, прогнать скрипт сборки локально, задеплоить все это в тестовое окружение, протестировать логику сборки и определения инкремента данных. После этого приступить к аналитике: расчет метрик, построение отчета, документация и общение с заказчиком. Обширный список задач и применение разных инструментов - это то, что не дает повязнуть в рутинных задачах 🔥

2️⃣Открытое общение в компании на "ты"
Очень круто, что в целом в IT общение на ты принято за норму и приветствуется в большинстве компаний, такое же общение выстраивается на мероприятиях/конференциях/митапах. С ужасом думаю, что где-то это работает не так, например на производствах, в гос. органах, даже в общении ассистента со стоматологом в частной клинике. Примеров вокруг меня много, слышу это от родителей, жены, друзей, что им приходится общаться в некой иерархии на работе, обращаться к руководителю по имени отчеству. В целом в этом ничего плохого нет, если выстроены нормальные человеческие взаимоотношения, но как правило руководители там чувствуют себя "начальниками" и "боссами", а от этого и коммуникация идет не на равных.

В общем коммуникация в IT на равных с взаимоуважением к каждому сотруднику - огромная ценность, которую я также обожаю

3️⃣Возможность удаленки
Конечно же это оооочень жирный плюс. Писал уже об этом много раз, еще раз подствечу в чем он заключается
🔹 я люблю долго спать (9 часов обычно, если не засиживаюсь ночью). вот эти мемы, что ты в 8:59 еще спишь, а в 9:00 сидишь уже работаешь - прямо в точку про меня)
🔹 нет чувства "обязан ехать". вспоминаю школу, когда ты должен был вставать, в любую плохую погоду и темноту утром идти до школы. сейчас чувство свободы выбора само по себе прекрасно
🔹 больше возможность путешествовать и нет привязанности к одному месту. даже если в путешествии все равно нужно работать, у тебя есть ноут и это и есть твой рабочий инструмент. опять же сравниваю с женой, что ей нужно обязательно для работы ездить в клинику, иначе ты работать не можешь.

ITшники, поддерживаете эти плюсы? Ставьте 🧑‍💻 если тоже любите за это свою работу (ну или хотели бы любить 😅)
Please open Telegram to view this post
VIEW IN TELEGRAM
👨‍💻16🔥8👍2
Ломаем баррикады рынка труда!

Еще одно трудоустройство, поздравим Максима! 🎉

У Максима есть опыт с 2023 года в менеджменте и стратегическом консалтинге, на этих позициях он уже сталкивался частично с задачами визуализации данных и подготовки презентаций.

Как мы знаем для анализа данных нужны технические навыки, без SQL и Python никто рассматривать не будет, поэтому Максим принял решение пройти курс, а после него еще пойти на 5 занятий менторинга.

Созданные на курсе в рамках практики витрины данных использовали в процессе менторинга чтобы BI инструменты изучить. В общем отличное комбо получилось, результативное 👍

#кейс
#менторинг
#отзыв_курс

Кто я | Навигация | Обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13🎉51
Запустил Data Study Club

Это группа, где ученики после курсов и менторинга могут находить поддержку и опыт внутри сообщества. Ближе к концу осени, зиме начну организовывать закрытые вебинары на разные технические и карьерные темы, пока лето хочется на свежем воздухе время проводить, да и сезон отпусков у всех

В сообществе
💻Взаимная практическая поддержка (готовы помочь друг другу по рабочим вопросам)
🏆Открыто делимся опытом и достижениями
💸Обмениваемся карьерными возможностями (рекомендации в компании и закрытые вакансии)

➡️ Доступ в сообщество только после обучения https://datastudy.ru/courses
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Желаю тебе умиротворения и наслаждения от вкусного ужина в эту пятницу как у панды 🐼 😉
17🥰3👍2👨‍💻1
3 года как муж этой красотки, самой лучшей и заботливой жены, близкого и родного мне человека, самого лучшего стоматолога-ортодонта ♥️♥️♥️

P.S. кому нужна красивая, здоровая улыбка, пишите, Полина полечит)
33🎉11
Из-за глупой ошибки в SQL компания чуть не потеряла 5 млн. и репутацию перед поставщиками

Наши действия при работе с данными напрямую влияют на конечные метрики в бизнес-отчетах. И любая ошибка аналитика может стать критичной

Из-за нехватки знаний и опыта аналитики допускают максимально глупые ошибки в конструкции CASE, которые критически могут менять метрики.

пишут неправильный порядок условий
не пишут ELSE

ЗАПОМНИ ЗОЛОТОЕ ПРАВИЛО ПОРЯДКА CASE УСЛОВИЙ
Условия указываются от частного к общему. CASE проверяет условия сверху вниз и останавливается на первом совпадении. Если сначала написать "заказы в статусе confirmed", а после "заказы в статусе confirmed и сделанные через app", то первое условие применится для всех строк, в том числе для тех заказов, которые попадают под второе более детальное условие

— ТАК ПИСАТЬ НЕПРАВИЛЬНО, ПОРЯДОК КРИВОЙ
SELECT
order_id,
CASE
WHEN status = 'confirmed' THEN 'подтвержден' — попадут все строки со статусом confirmed
WHEN status = 'confirmed' AND interface = 'app' THEN 'подтвержден через app' — не попадут никакие строки, потому что все учтутся в первом условии
END AS order_group
FROM orders

— ПИШИ ТАК, ОТ ЧАСТНОГО К ОБЩЕМУ. ДОБАВЬ ELSE ЧТОБЫ НЕ БЫЛО NULL, КОТОРЫЕ МОЖЕШЬ ПОТЕРЯТЬ НА ОТЧЕТЕ
SELECT
order_id,
CASE
WHEN status = 'confirmed' AND interface = 'app' THEN 'подтвержден через app' — попадут строки, которые подходят под комплексное условие по полям status и interface
WHEN status = 'confirmed' THEN 'подтвержден' — попадут все оставшиеся строки, которые не попали в первое условие, но у которых выполняется условие по status
ELSE 'не определена' — если не выполняется ни одно из условий, значит все остальные строки попадут сюда
END AS order_group
FROM orders


Соблюдай порядок условий от частного к общему
Указывай ELSE чтобы не поймать еще других проблем с NULL значениями, если условия не выполнились


➡️Если хочешь творить с данными магию с помощью SQL и выполнять бизнес-задачи любой сложности, приходи на курс "Продвинутый SQL и автоматизация витрин данных". Там разбираем как писать сложные аналитические запросы, оптимизировать их, проверять данные на качество и автоматизировать ETL процессы.

Запись в группу 27 июля
Please open Telegram to view this post
VIEW IN TELEGRAM
16👍8
Готовы к просмотру финала?) 🏆
🔥17🏆4👍2
Бесплатные материалы на сайте

Добавил материалы по развитию hard-навыков, карьере в data на сайт. Там есть как посты, видео, вебинары, статьи.

В ленте канала многое теряется, хочется чтобы самый сок был у вас всегда под рукой 😉

➡️ https://datastudy.ru/materials
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥126👍5
Please open Telegram to view this post
VIEW IN TELEGRAM