🔥 Как один retry-шторм держал Azure OpenAI в нестабильном состоянии почти 8 часов

29 мая Microsoft опубликовала постмортем крупного инцидента Azure OpenAI Service. С 09:39 до 17:05 UTC пользователи в нескольких регионах столкнулись с задержками, ошибками и HTTP 5XX.

🔤 Почему проблему нашли не сразу

Первые симптомы появились в Australia East. Инженеры отключили компонент, который выглядел виновником, и одновременно нагрузка начала снижаться.

Позже аналогичная ситуация повторилась в Sweden Central и стало понятно, что причина — retry storm от внутреннего клиента.

💡 Проблема была не в ретраях, а в изменении семантики ошибки.

Ошибка, которую раньше не ретраили, внезапно стала считаться временной. Этого хватило, чтобы локальная проблема превратилась в масштабный инцидент.

❗️ Проверьте, какие ошибки считаются ретраибельными в ваших сервисах. Иногда один неверный retry может нанести больше вреда, чем внешний DDoS.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека devops'a

#разбор_полётов

🐸 Библиотека devops'a

#пятничный_деплой

❔ Как не дублировать плейбуки в Ansible

Роли — это как готовые наборы LEGO для вашей инфраструктуры. Вместо того чтобы писать однообразный код заново, вы собираете инфраструктуру из модулей. Сейчас покажем как это сделать.

1️⃣ Подготовка структуры роли

Для создания роли можно самостоятельно подготовить набор директорий:

myrole/
├── tasks/           # Основные задачи (playbook внутри роли)
│   └── main.yml     # Точка входа задач
├── handlers/        # Обработчики — команды, которые срабатывают при изменениях
│   └── main.yml
├── files/           # Статические файлы для копирования на целевые хосты
├── templates/       # Jinja2-шаблоны — конфиги с переменными
├── defaults/        # Значения переменных по умолчанию (низший приоритет)
│   └── main.yml
├── vars/            # Переменные с более высоким приоритетом
│   └── main.yml
├── meta/            # Метаинформация о роли, в том числе зависимости от других ролей
│   └── main.yml
├── library/         # Пользовательские модули (если нужны)
├── tests/           # Плейбуки и окружение для тестирования роли
└── README.md        # Документация по роли — зачем, как использовать

Но для этого есть лайфхак — команда ansible-galaxy init myrole. С помощью неё можно создать всю структуру без единого mkdir.

2️⃣ Пишем задачи

Роль в Ansbile это по сути отдельный плейбук. Внутри tasks/main.yml мы опишем свои таски, которые он должен выполнять.

Пример: установим htop и создадим файл приветствия.

- name: Устанавливаем htop
  apt:
    name: htop
    state: present
  become: yes

- name: Создаём файл приветствия
  copy:
    dest: /tmp/welcome.txt
    content: "Hello from Ansible role!»

3️⃣ Подключим роль в плейбуке

В основной плейбук нужно добавить нашу роль:

- hosts: all
  become: yes
  roles:
    - myrole

4️⃣ Всё готово к запуску.

Остаётся только воспользоваться командой:

ansible-playbook -i inventory.ini site.yml

В Ansible Galaxy есть коллекция ролей, написанных сообществом. От самых простых до ролей, которые используются в крупных компаниях.

➡️ Посмотреть роли сообщества

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека devops'a

#арсенал_инженера

В Kubernetes вы хотите реализовать blue-green deployment, чтобы минимизировать риски при выкатывании новой версии приложения. Какой подход будет наиболее правильным?

👾 — Обновить Deployment стратегией RollingUpdate и выставить maxUnavailable=0
👍 — Запустить новую версию как отдельный Deployment/Service и переключить трафик на неё после проверки
🥰 — Удалить старый Deployment и сразу задеплоить новый
⚡️ — Настроить HPA (HorizontalPodAutoscaler), чтобы он автоматически включал новую версию

🐸Библиотека задач по DevOps

❓ Как узнать, когда вы запускали команду

По умолчанию Bash хранит историю команд без времени выполнения.

Чтобы добавить дату и время, выполните:

export HISTTIMEFORMAT="%F %T "

Теперь можно искать команды вместе с временными метками:

history | grep ssh

Полезно, когда нужно вспомнить:

✅ когда подключались к серверу
✅ когда запускали скрипт
✅ когда вносили изменения вручную

А для быстрого поиска по истории используйте:

Ctrl + R

Введите часть команды — Bash найдёт совпадения прямо во время набора.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека devops'a

#root@prompt

🔐 OpenTofu умеет шифровать state-файлы

Многие воспринимают state как обычный технический артефакт. На практике внутри часто оказываются:

🔹 пароли
🔹 токены доступа
🔹 параметры БД
🔹 данные облачных ресурсов

🔜 Поэтому компрометация state-файла может быть не менее опасной, чем утечка секретов.

В OpenTofu есть встроенный механизм шифрования state и plan-файлов. Это позволяет защитить данные не только в удалённом backend, но и при хранении локальных артефактов.

Если используете OpenTofu в production, стоит проверить:

✅ где хранится state
✅ кто имеет к нему доступ
✅ включено ли шифрование

🔗 Документация

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека devops'a

#арсенал_инженера

🔍 Как быстро узнать, какой процесс слушает порт

Порт открыт, но сервис не отвечает? Или нужно проверить, действительно ли приложение запустилось?

🔜 Используйте:

ss -tlnp

Команда покажет:

✅ открытые TCP-порты
✅ процессы, которые их используют
✅ PID владельца процесса

Например, можно быстро проверить, что приложение действительно слушает нужный порт, а не просто считается запущенным.

В отличие от netstat, утилита ss входит в состав большинства современных Linux-дистрибутивов и работает заметно быстрее.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека devops'a

#root@prompt

👀 Умеете строить предсказуемую архитектуру с ИИ? Станьте спикером Proglib academy

Мы в Proglib.academy запускаем курс по Spec-Driven Development (SDD) — учим разработчиков управлять ИИ-агентами (Cursor, Copilot, Claude) через спецификации, контекст и тесты, чтобы не перепроверять за нейросетью каждую строку.

Для этого курса мы ищем классных спикеров-практиков.

➡️ Что требуется от вас?

● BigTech бэкграунд: опыт работы разработчиком, тимлидом или архитектором в крупных технологических компаниях.
● Опыт управляемой разработки с ИИ: вы на практике знаете, как встроить AI-инструменты в личный или командный workflow (от постановки задачи до ревью AI-кода).
● Системный подход: умение превращать хаотичную генерацию кода в предсказуемый инженерный процесс (работа с архитектурой, чек-листами, легаси и покрытием тестами).

➡️ Что мы предлагаем?

● Достойную оплату за подготовку материалов и проведение занятий.
● Мощное продвижение личного бренда через медиаресурсы Proglib (наша аудитория — 1 млн+ айтишников).
● Возможность публиковать свои экспертные материалы и статьи на наших площадках.
● Доступ к сильному и закрытому профессиональному сообществу.

Также мы ищем консультанта программы.

Если вы практикующий эксперт и готовы помочь нам отвалидировать программу курса, дать рекомендации по актуальности тем и финальным результатам обучения — мы вас очень ждем.

➡️ Как с нами связаться:

Telegram: @alinaa_kh
E-mail: alina@proglib.io

🐸 Библиотека devops'a

#пятничный_деплой

Какова цель меток Kubernetes?

👾 — Хранить переменные среды
👍 — Шифровать данные контейнера
🥰 — Определить архитектуру приложения
⚡️ — Группировать и организовывать модули и другие ресурсы

🐸 Библиотека задач по DevOps