Аналитика данных / Data Study
9.42K subscribers
595 photos
67 videos
25 files
450 links
Помогаю аналитикам расти в профессии и доходе

Курс по продвинутому SQL и автоматизации потоков данных https://datastudy.ru/sql_advanced

По всем вопросам: @daniildzheparov

Моя жизнь, опыт, аналитика и инженерия данных
Download Telegram
Кем бы я мог работать после бакалавриата

Сижу рассуждаю про все эти белые списки, ограничения связи на уровне протоколов, маршрутизаторов, впн и всего прочего. И стало интересно кем бы я сейчас вообще мог работать после своего бакалавриата по специальности «Инфокоммуникационные технологии и системы связи».

Пошел спрашивать нейросеть как обстоят дела на рынке РФ.

Каки предполагал есть несколько направлений куда можно было двигаться:
- телеком и все что с проектированием сетей связано
- проектирование электронных компонентов (в нашей реалии это работа скорее всего либо на заводе, либо в научной лаборатории)
- IT в специализации DevOps и сетевые инженеры, либо безопасники

А в школе вообще мечтал быть физиком и планировал поступать на факультет физики, ох уж жизнь куда занесла 🧑‍💻📊📊

Интересно узнать кто из вас прям по специальности продолжает работать. Голосуйте реакциями
♥️ - работаете чисто по своей специальности с учебы
🔥 - сменили специальность
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2816
ИИ забирает рутинные задачи аналитиков (и работу)

Требования к аналитикам сильно растут. То что казалось раньше нормой для middle сейчас становится требованием для junior.

Недавно общался со знакомым, он работает Data архитектором: проектирует платформы данных и DWH в разных компаниях, в его командах работают аналитики и инженеры данных, которых он собесит. Он очень хорошо знает рынок и также сказал, что сейчас компании ценят сильных универсалов, способных заменить целую команду «простых аналитиков», которые знают только пару инструментов и не способных погрузиться в технику глубоко.

Поменялись требования к специалистам.
Теперь ценятся те, кто:
📍видит весь процесс работы с данными от начала до конца
📍умеет не просто анализировать, а выстраивать инженерные процессы и self-service аналитику
📍использует ИИ как мощного ассистента чтобы ускорять свою работу
📍берёт комплексную задачу и доводит её до финального результата

Именно такие кандидаты получают привлекательные офферы выше рынка. Почему? Да потому что они одни закрывают сразу 2 роли: аналитика и инженера

Требования в таких вакансиях выглядят так:
🔶 получать и преобразовать сырые данных из разных источников (базы данных, API, вебхуки)
🔶 навык трансформация данных, оценка качества на SQL или Python
🔶 опыт реализации инкрементальной загрузки данных
🔶 опыт проектирования и реализации витрин данных (data mart)
🔶 опыт описания моделей данных и формирования документации, общение с заказчиками
🔶 опыт реализации ETL/ELT процессов, оркестрации. Владение Apache Airflow или аналогами
🔶 навык расчета бизнес-метрик, подготовка данных для анализа
🔶 анализ данных и разработка аналитических отчетов, дашбордов

Все это мы изучаем в практическом формате на моем курсе «Продвинутый SQL и автоматизация витрин данных»

После курса будут не просто знания, а закрепленные на практике навыки реализации реальных задач от начала до конечного результата

Именно для этого есть
🧑‍💻 подготовленная инфраструктура с PostgreSQL, Airflow, GitHub, Cloud Functions

1️⃣0️⃣ практических задач на разработку и автоматизацию обновления витрин данных

🤝 помощь и обратная связь от меня на протяжении обучения

Помимо этого:
сертификат об обучении (образовательная лицензия)
возможность оформить налоговый вычет 13%
доступ в закрытое сообщество учеников с дальнейшим развитием и нетворком

❗️Старт уже завтра (8 июня)

Запись в группу на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍4🔥2
Нас всех оценивает ИИ 🤖

Вот таких проектов сейчас много, которые через ИИ прогоняют резюме, оценивают его и строят рейтинг кандидатов. Поэтому если находитесь в поиске, помните, что ключом к успеху является грамотно составленное резюме с учетом нюансов, что сначала его смотрит бездушная машина, а потом если повезет человек

Если не уверены что справились, найдите лучше человека кто поможет платно (рекрутеры, менторы, друзья из сферы кто знает рынок, а не просто работает на одном месте долгое время)
👍103
Сегодня на домашнем, сейчас мчим на концерт Jason Derulo ✌️🤩💃🕺
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
12🔥4😁1
Ребят, не идите в аналитику, оно вам не надо!

Сейчас работу будете искать вечность
Курьеры в Москве поднимают 💵 как мидлы, а на стройке как сеньеры. Большие ЗП в айти = большой миф
Еще пару месяцев и вообще ИИ все будет делать
Сидячий образ работы это для здоровья плохо, потом будете спину лечить всю жизнь
Удаленки практически нет, всех уже в офис загнали
Льготные программы ипотеки для айтишников практически сделали недоступными

Считаю все по фактам расписал

😎 ну и просто куда уже лезете, тут все занято как в электричке до Одинцово в час-пик. Раньше надо было)
😁51👍11🙏3😎3👨‍💻1
Первый лям 🍋 просмотров

Заметил что моя статья на Хабре набрала 1 млн. просмотров 😤

Писал про оконные функции еще в 2022 году, буквально решил быстро дать пользу в майские праздники 😃

Интересно что потом ссылку на статью встречал в рабочих чатах, других каналах, ученики писали и говорили «твоя статья первая по запросу оконные функции SQL» высвечивается.

Спасибо всем кто читал и внес свой вклад в распространение)

А те кто не читал и не знаком с оконками в SQL, велком к прочтению

P.S. там внизу еще есть ссылка на вторую часть про фреймы
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉39🔥183😁1
Наконец-то обновил сайт 🔥

Теперь на главной странице собрал основные разделы, где каждый сможет найти что его интересует. Кому-то интересно обучение на курсах, другие интересуются личным менторингом и приходят в ЛС, а другим просто хочется почитать бесплатные материалы, которые я здесь пишу с 2022 года и которые до этого не были нигде структурированы.

Теперь все эти запросы закрываются на одной главной странице!

И загляните на страницу социальных сетей, там собрал все площадки, где публикуется контент - поэтому буду рад подписке)

P.S. раздел с бесплатными материалами буду наполнять постепенно, очень много чего есть туда прикрепить 😉

➡️ datastudy.ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
Это ты на собесе показываешь навыки питона

этап life code пройден 😎
😁29👍3🔥31👨‍💻1
This media is not supported in your browser
VIEW IN TELEGRAM
Зацените какое кайфовое лобби с коворкингом в нашем ЖК сделали

Я работаю удаленно и в основном из квартиры, но чтобы сменить обстановку прихожу сюда

Раньше о таком мог только мечтать, но мечты становятся реальностью если упорно с умом работать 🤝
🔥286👍5
Параметризация SQL запросов

Часто работаю с задачами, когда Python коде нужно выполнить SQL запрос с изменяющимися параметрами.

Вручную менять сам запрос конечно невозможно каждый раз, он должен по формату функции для вызова запроса с разными например параметрами фильтрации.

И вот для таких целей нужно использовать шаблонизацию. Вариантов много:
- f-строки и Python функции
- библиотека sqlalchemy
- dbt модели

Но есть еще отдельные библиотеки, которые работают на базе jinja шаблонизации, например jinjasql

Это кажется золотой серединой, если например f-строк не хватает или в решении это может быть не безопасно из sql-инъекций, а dbt является избыточным решением

Ставь 👍 если раньше не слышал про такое и хочется конкретных примеров использования посмотреть
👍21
Не перестаю учиться 🧑‍💻

Чем больше знаешь, тем больше возможных способов решения задач есть перед тобой, а значит более гибко можешь реализовывать их

♥️ если согласны
52👍5
Очень рад что получилось сделать практику в формате рабочих задач. А то часто слышу запрос «знание есть, а применять не умею»

Вот тебе песочница где учишься применять все как на работе https://datastudy.ru/sql_advanced

#отзыв_курс
👍92
Автоматизация задач на работе

У нас на проекте есть множество аналитических задач, которые нужно выполнять по разным сценариям: ежедневно/еженедельно/ежемесячно, либо по запросу, но всегда идентично

И для каждой такой задачи раньше нужно было вовлекать аналитика, просить его сделать определенные манипуляции, которые мог сделать только он

А что если аналитик ушел в отпуск, взял дейофф, заболел, уволился?

Сейчас пришли к тому, что каждая такая задача решается запуском автоматических джоб (скриптов). Вся логика централизовано лежит в репозитории, нет шанса что-то потерять если аналитик недоступен. И все работает по заданному расписанию с нужной периодичностью.

НО остались задачи, которые нужно запускать по запросу (не по расписанию). И вот здесь опять же нужен аналитик, чтобы нажать кнопку и запустить джобу. Бизнес-пользователи это сделать не могут в техническом контуре, но можно теперь запросто просить других коллег это сделать.

Было:
- вся логика известна аналитику в его скриптах, полная зависимость от его ресурса, скрипты запускаются вручную по запросу или когда аналитик сам помнит что их нужно прогнать

Стало:
- вся логика зафиксирована в репозиториях компании, все автоматизировано запускается по расписанию или нажатием одной кнопки если попросить аналитика или другого коллегу с доступом
- часть задач вообще доступна пользователям в привычной им системе с UI, где они сами по кнопке получают нужные отчеты

Но дальше хочу уйти еще больше в self-service для пользователей. Здесь будем исследовать в сторону внедрения ии-агентов для наших задач, а также динамическую генерацию отчетов не по прописанной логике, а в формате из запроса пользователя

А у вас как на работе? Передайте то, как чувствую себя ваши бизнес-пользователи, или вы сами)
🙏 - есть что автоматизировать, что сейчас в ручном или полуручном режиме
🧑‍💻 - все что можно уже автоматизировано и удобно работает


Кто я | Навигация | Обучение
🙏11👍2👨‍💻2
Оффер в крупную ритейл компанию на 185 тысяч на руки!

Такой новостью сегодня порадовал ученик. Порадуемся за Дмитрия! 🎉

На старте обучения у Дмитрия был базовый SQL, сильный Excel и опыт junior аналитика.

Теперь благодаря уверенным хардам с SQL, Python, применением ETL инструментов, Git и BI получилось закрыть свою цель по ЗП на middle позиции 🤝

#кейс
#отзыв_курс

Кто я | Навигация | Обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉26🔥126👨‍💻2👍1
Я стал крестным!
57🎉26👍1
Моя статья на Habr про построение потока данных с serverless технологиями в облаке

Собрал там информацию о реальном примере работы с excel/csv файлами, когда есть потребность загружать данные из них в базу данных для хранения и анализа. В статье расписал как использую

🔹Object Storage
🔹Managed Service PostgreSQL
🔹Cloud Functions
🔹Cloud Triggers

Довольно подробная инструкция, можно все максимально повторить по шагам

А полный цикл разработки и автоматизации потоков данных проходим на курсе "Продвинутый SQL и автоматизация витрин данных" - вся практика и навыки, которые требуют сейчас работодатели от аналитиков данных.

➡️Ближайшая группа 27 июля, пиши в ЛС или оставляй заявку через сайт
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍7
💃От чего я кайфую на работе

Захотелось поделиться мыслями с вами почему я обожаю свою работу

1️⃣Смесь задач аналитики и инженерии данных
Обожаю разнообразие задач, особенно когда задача внутри себя содержит аналитику и инженерную часть. Например, когда нужно построить витрину данных, прогнать скрипт сборки локально, задеплоить все это в тестовое окружение, протестировать логику сборки и определения инкремента данных. После этого приступить к аналитике: расчет метрик, построение отчета, документация и общение с заказчиком. Обширный список задач и применение разных инструментов - это то, что не дает повязнуть в рутинных задачах 🔥

2️⃣Открытое общение в компании на "ты"
Очень круто, что в целом в IT общение на ты принято за норму и приветствуется в большинстве компаний, такое же общение выстраивается на мероприятиях/конференциях/митапах. С ужасом думаю, что где-то это работает не так, например на производствах, в гос. органах, даже в общении ассистента со стоматологом в частной клинике. Примеров вокруг меня много, слышу это от родителей, жены, друзей, что им приходится общаться в некой иерархии на работе, обращаться к руководителю по имени отчеству. В целом в этом ничего плохого нет, если выстроены нормальные человеческие взаимоотношения, но как правило руководители там чувствуют себя "начальниками" и "боссами", а от этого и коммуникация идет не на равных.

В общем коммуникация в IT на равных с взаимоуважением к каждому сотруднику - огромная ценность, которую я также обожаю

3️⃣Возможность удаленки
Конечно же это оооочень жирный плюс. Писал уже об этом много раз, еще раз подствечу в чем он заключается
🔹 я люблю долго спать (9 часов обычно, если не засиживаюсь ночью). вот эти мемы, что ты в 8:59 еще спишь, а в 9:00 сидишь уже работаешь - прямо в точку про меня)
🔹 нет чувства "обязан ехать". вспоминаю школу, когда ты должен был вставать, в любую плохую погоду и темноту утром идти до школы. сейчас чувство свободы выбора само по себе прекрасно
🔹 больше возможность путешествовать и нет привязанности к одному месту. даже если в путешествии все равно нужно работать, у тебя есть ноут и это и есть твой рабочий инструмент. опять же сравниваю с женой, что ей нужно обязательно для работы ездить в клинику, иначе ты работать не можешь.

ITшники, поддерживаете эти плюсы? Ставьте 🧑‍💻 если тоже любите за это свою работу (ну или хотели бы любить 😅)
Please open Telegram to view this post
VIEW IN TELEGRAM
👨‍💻16🔥8👍2
Ломаем баррикады рынка труда!

Еще одно трудоустройство, поздравим Максима! 🎉

У Максима есть опыт с 2023 года в менеджменте и стратегическом консалтинге, на этих позициях он уже сталкивался частично с задачами визуализации данных и подготовки презентаций.

Как мы знаем для анализа данных нужны технические навыки, без SQL и Python никто рассматривать не будет, поэтому Максим принял решение пройти курс, а после него еще пойти на 5 занятий менторинга.

Созданные на курсе в рамках практики витрины данных использовали в процессе менторинга чтобы BI инструменты изучить. В общем отличное комбо получилось, результативное 👍

#кейс
#менторинг
#отзыв_курс

Кто я | Навигация | Обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13🎉51