Моя статья на Habr про построение потока данных с serverless технологиями в облаке

Собрал там информацию о реальном примере работы с excel/csv файлами, когда есть потребность загружать данные из них в базу данных для хранения и анализа. В статье расписал как использую

🔹Object Storage
🔹Managed Service PostgreSQL
🔹Cloud Functions
🔹Cloud Triggers

Довольно подробная инструкция, можно все максимально повторить по шагам

А полный цикл разработки и автоматизации потоков данных проходим на курсе "Продвинутый SQL и автоматизация витрин данных" - вся практика и навыки, которые требуют сейчас работодатели от аналитиков данных.

➡️Ближайшая группа 27 июля, пиши в ЛС или оставляй заявку через сайт

💃От чего я кайфую на работе

Захотелось поделиться мыслями с вами почему я обожаю свою работу

1️⃣Смесь задач аналитики и инженерии данных
Обожаю разнообразие задач, особенно когда задача внутри себя содержит аналитику и инженерную часть. Например, когда нужно построить витрину данных, прогнать скрипт сборки локально, задеплоить все это в тестовое окружение, протестировать логику сборки и определения инкремента данных. После этого приступить к аналитике: расчет метрик, построение отчета, документация и общение с заказчиком. Обширный список задач и применение разных инструментов - это то, что не дает повязнуть в рутинных задачах 🔥

2️⃣Открытое общение в компании на "ты"
Очень круто, что в целом в IT общение на ты принято за норму и приветствуется в большинстве компаний, такое же общение выстраивается на мероприятиях/конференциях/митапах. С ужасом думаю, что где-то это работает не так, например на производствах, в гос. органах, даже в общении ассистента со стоматологом в частной клинике. Примеров вокруг меня много, слышу это от родителей, жены, друзей, что им приходится общаться в некой иерархии на работе, обращаться к руководителю по имени отчеству. В целом в этом ничего плохого нет, если выстроены нормальные человеческие взаимоотношения, но как правило руководители там чувствуют себя "начальниками" и "боссами", а от этого и коммуникация идет не на равных.

В общем коммуникация в IT на равных с взаимоуважением к каждому сотруднику - огромная ценность, которую я также обожаю

3️⃣Возможность удаленки
Конечно же это оооочень жирный плюс. Писал уже об этом много раз, еще раз подствечу в чем он заключается
🔹 я люблю долго спать (9 часов обычно, если не засиживаюсь ночью). вот эти мемы, что ты в 8:59 еще спишь, а в 9:00 сидишь уже работаешь - прямо в точку про меня)
🔹 нет чувства "обязан ехать". вспоминаю школу, когда ты должен был вставать, в любую плохую погоду и темноту утром идти до школы. сейчас чувство свободы выбора само по себе прекрасно
🔹 больше возможность путешествовать и нет привязанности к одному месту. даже если в путешествии все равно нужно работать, у тебя есть ноут и это и есть твой рабочий инструмент. опять же сравниваю с женой, что ей нужно обязательно для работы ездить в клинику, иначе ты работать не можешь.

ITшники, поддерживаете эти плюсы? Ставьте 🧑‍💻 если тоже любите за это свою работу (ну или хотели бы любить 😅)

Ломаем баррикады рынка труда!

Еще одно трудоустройство, поздравим Максима! 🎉

У Максима есть опыт с 2023 года в менеджменте и стратегическом консалтинге, на этих позициях он уже сталкивался частично с задачами визуализации данных и подготовки презентаций.

Как мы знаем для анализа данных нужны технические навыки, без SQL и Python никто рассматривать не будет, поэтому Максим принял решение пройти курс, а после него еще пойти на 5 занятий менторинга.

Созданные на курсе в рамках практики витрины данных использовали в процессе менторинга чтобы BI инструменты изучить. В общем отличное комбо получилось, результативное 👍

#кейс
#менторинг
#отзыв_курс

Кто я | Навигация | Обучение

Запустил Data Study Club

Это группа, где ученики после курсов и менторинга могут находить поддержку и опыт внутри сообщества. Ближе к концу осени, зиме начну организовывать закрытые вебинары на разные технические и карьерные темы, пока лето хочется на свежем воздухе время проводить, да и сезон отпусков у всех

В сообществе
💻Взаимная практическая поддержка (готовы помочь друг другу по рабочим вопросам)
🏆Открыто делимся опытом и достижениями
💸Обмениваемся карьерными возможностями (рекомендации в компании и закрытые вакансии)

➡️ Доступ в сообщество только после обучения https://datastudy.ru/courses

Из-за глупой ошибки в SQL компания чуть не потеряла 5 млн. и репутацию перед поставщиками

Наши действия при работе с данными напрямую влияют на конечные метрики в бизнес-отчетах. И любая ошибка аналитика может стать критичной

Из-за нехватки знаний и опыта аналитики допускают максимально глупые ошибки в конструкции CASE, которые критически могут менять метрики.

❌ пишут неправильный порядок условий
❌ не пишут ELSE

ЗАПОМНИ ЗОЛОТОЕ ПРАВИЛО ПОРЯДКА CASE УСЛОВИЙ

Условия указываются от частного к общему. CASE проверяет условия сверху вниз и останавливается на первом совпадении. Если сначала написать "заказы в статусе confirmed", а после "заказы в статусе confirmed и сделанные через app", то первое условие применится для всех строк, в том числе для тех заказов, которые попадают под второе более детальное условие

— ТАК ПИСАТЬ НЕПРАВИЛЬНО, ПОРЯДОК КРИВОЙ
SELECT 
order_id,
CASE
  WHEN status = 'confirmed' THEN 'подтвержден' — попадут все строки со статусом confirmed
  WHEN status = 'confirmed' AND interface = 'app' THEN 'подтвержден через app' — не попадут никакие строки, потому что все учтутся в первом условии
END AS order_group
FROM orders

— ПИШИ ТАК, ОТ ЧАСТНОГО К ОБЩЕМУ. ДОБАВЬ ELSE ЧТОБЫ НЕ БЫЛО NULL, КОТОРЫЕ МОЖЕШЬ ПОТЕРЯТЬ НА ОТЧЕТЕ 
SELECT 
order_id,
CASE
  WHEN status = 'confirmed' AND interface = 'app' THEN 'подтвержден через app' — попадут строки, которые подходят под комплексное условие по полям status и interface
  WHEN status = 'confirmed' THEN 'подтвержден' — попадут все оставшиеся строки, которые не попали в первое условие, но у которых выполняется условие по status 
  ELSE   'не определена' — если не выполняется ни одно из условий, значит все остальные строки попадут сюда
END AS order_group
FROM orders

✅ Соблюдай порядок условий от частного к общему
✅ Указывай ELSE чтобы не поймать еще других проблем с NULL значениями, если условия не выполнились


➡️Если хочешь творить с данными магию с помощью SQL и выполнять бизнес-задачи любой сложности, приходи на курс "Продвинутый SQL и автоматизация витрин данных". Там разбираем как писать сложные аналитические запросы, оптимизировать их, проверять данные на качество и автоматизировать ETL процессы.

Запись в группу 27 июля

Бесплатные материалы на сайте

Добавил материалы по развитию hard-навыков, карьере в data на сайт. Там есть как посты, видео, вебинары, статьи.

В ленте канала многое теряется, хочется чтобы самый сок был у вас всегда под рукой 😉

➡️ https://datastudy.ru/materials

Зачем я спросил вас про заработок

1️⃣ оцените свой текущий уровень. всегда есть потенциал роста, почти половина получают меньше 150к в месяц (в Москве только съем нормальной квартиры 120к+ стоит, но даже для регионов этого мало). даже просто находясь в одном этом канале, ты уже имеешь окружение, к которому можно подтягиваться

2️⃣ мотивация что-то менять. мало увидеть, нужно менять свои мысли, действия чтобы вырасти. не бойтесь учить новое, пробовать новые сферы деятельности, переходите на другие профессии где больше платят

3️⃣как бы больно не было вам это осознать, но многие в своей сфере могут работать уже больше 5 лет, но получать на уровне junior/middle аналитика. а аналитики за 1-2 года доходят до такого уровня. несправедливо? такого быть не должно? им повезло, а тебе нет?

А ЧТО ТЕБЕ МЕШАЕТ СДЕЛАТЬ ТАКЖЕ?

Просто кто-то видит возможности и использует их, а кто-то видит причины неудачи раньше, чем попробует

Они тоже боятся, сомневаются, раздумывают, НО ДЕЙСТВУЮТ

А те кто сейчас 200-250 получает - задайте себе вопрос "что мне нужно развить в себе чтобы получать 400+?"

Ответы то типичные будут:
- проветрить мозги и понять что текущая ситуация это не предел
- качать техничку/софты
- действовать и договариваться (на повышение грейда, на перевод в смежную роль, на поиск новых проектов и т.д)

ВСЕ, ДЕЙСТВУЙТЕ, ВЕРЮ В ВАС!

Кто я | Навигация | Обучение