Масштабирование базы данных и стратегии шардинга — простое объяснение с иллюстрациями

По мере роста приложения или системы база данных тоже должна масштабироваться, чтобы справляться с увеличивающейся нагрузкой. Ниже — обзор основных стратегий.

1. Горизонтальное масштабирование (Horizontal Scaling)

Добавление новых серверов для распределения нагрузки и увеличения общей производительности без перегрузки одного сервера.

2. Вертикальное масштабирование (Vertical Scaling)

Увеличение ресурсов существующего сервера — процессора, оперативной памяти или дискового пространства — чтобы он мог обрабатывать больше запросов.

3. Стратегии партиционирования (Partition Strategies)

Логическое разделение большой базы данных на части (например, по времени, региону или типу данных), что упрощает управление и ускоряет доступ к данным.

4. Шардинг по диапазонам (Range-Based Sharding)

Данные распределяются между шардами по диапазонам значений (например, по цене, дате или идентификатору), что ускоряет поиск по таким полям.

5. Равномерное распределение данных (Even Distribution)

Нагрузка равномерно распределяется между всеми серверами, что позволяет максимально эффективно использовать ресурсы и избегать узких мест.

6. Неравномерное распределение данных (Uneven Distribution)

Нагрузка распределена неравномерно: одни серверы перегружены, а другие практически простаивают, что снижает эффективность всей системы.

7. Шардинг по ключу (Key-Based Sharding)

Для распределения данных между шардами используется хеш-функция, которая обеспечивает стабильное и равномерное распределение записей.

8. Масштабирование операций чтения (Scaling Reads)

Создание нескольких реплик базы данных только для чтения (Read Replicas), чтобы обрабатывать большое количество запросов и снизить нагрузку на основную базу данных.

9. Монолитная база данных vs шардинг (Monolith vs Sharding)

Вместо одной большой монолитной базы данных данные разделяются на логические шарды. Такой подход облегчает масштабирование системы, упрощает организацию данных и повышает производительность.

Эти подходы являются основой проектирования масштабируемых систем и часто используются при разработке высоконагруженных приложений и при подготовке к техническим собеседованиям по System Design.

👉 Java Portal

Java: Используйте Deque вместо Stack для реализации стека (LIFO — last in, first out, «последним пришёл — первым вышел»).

✅ Stack — это устаревший класс. Он наследуется от Vector и синхронизирует каждую операцию.
✅ Deque поддерживает те же методы: push, pop и peek.
✅ ArrayDeque работает быстрее, чем Stack.

#JavaDev

👉 Java Portal

Создавайте первоклассную документацию для своего API или проекта.

Starlight предлагает всё необходимое: высокую скорость благодаря Astro, встроенную оптимизацию для SEO, доступность и поиск, а также поддержку Markdown, MDX и нескольких языков.

→ http://starlight.astro.build/es

👉 Java Portal

FastAPI с трёхуровневой архитектурой в стиле Java: слои controller, service, crud, schema и model, организованные по аналогии с паттернами Spring Boot. Включает поддержку SQLAlchemy 2.0, авторизации на базе Casbin и Docker.

https://github.com/fastapi-practices/fastapi-best-architecture

👉 Java Portal

Архитектура Docker

Если вы только начинаете работать с Docker, эта схема может показаться сложной.

Но на самом деле всё устроено довольно просто.

Вы вводите команду, например:

docker run nginx

Docker Client отправляет эту команду Docker Daemon, который выполняет всю основную работу в фоновом режиме.

Если нужного образа (Image) еще нет на вашем компьютере, Docker загружает его из Docker Registry, например из Docker Hub.

После того как образ становится доступен локально, Docker создает контейнер (Container) — запущенный экземпляр этого образа.

Представьте это так:

- Image (образ) = архитектурный проект дома.
- Container (контейнер) = настоящий дом, построенный по этому проекту.

Именно так выглядит базовый поток работы Docker:

Вы
   │
   ▼
Docker Client
   │
   ▼
Docker Daemon
   │
   ▼
Docker Image
   │
   ▼
Docker Container

Когда вы поймете эту последовательность, устройство Docker станет гораздо проще и понятнее.

👉 Java Portal

PostgreSQL 19 представляет запросы в графовом стиле.

Вместо того чтобы вручную связывать таблицу за таблицей через JOIN
, теперь можно описать путь по данным:
клиент → купил → товар ← купил ← похожий клиент → подписан на → бренд

Такой подход полезен для:
• рекомендательных систем;
• управления доступом;
• обнаружения мошенничества;
• графов знаний (Knowledge Graphs);
• предоставления контекста для AI.

👉 Java Portal

> 💡 Java: Тестируйте граничные случаи: null, пустые коллекции и предельные значения — именно там чаще всего скрываются баги.

✅ Одних тестов счастливого пути недостаточно — они не помогут выявить NullPointerException при отсутствии входных данных.

✅ Пустые списки и коллекции с одним элементом нередко ведут себя иначе, чем коллекции с «обычными» данными.

✅ Явные тесты для null, пустых коллекций, а также минимальных и максимальных значений документируют ожидаемое поведение.

#Testing

👉 Java Portal

Rate Limiting ≠ Throttling ≠ Backpressure

Эти три термина часто используют как взаимозаменяемые…

Но на самом деле они решают совершенно разные задачи масштабирования.

Вот самый простой способ их запомнить:

- Rate Limiting → ограничивает количество запросов, которые клиент может отправить.
- Throttling → ограничивает скорость обработки запросов системой, когда она находится под высокой нагрузкой.
- Backpressure → позволяет медленному потребителю сигнализировать быстрому производителю, чтобы тот снизил скорость и не перегружал систему.

Простая шпаргалка

- Rate Limiting = ограничение количества запросов.
- Throttling = замедление обработки.
- Backpressure = управление потоком данных.

Где используется каждый из подходов?

Rate Limiting

Используется в:

- API Gateway
- Публичных API
- Эндпоинтах авторизации
- Защите от злоупотреблений и DDoS-атак

Типичный ответ сервера:

HTTP/1.1 429 Too Many Requests

Throttling

Используется в:

- Фоновых задачах
- Сервисах с высокой нагрузкой на базу данных
- CPU-интенсивных операциях
- Защите зависимых сервисов во время всплесков трафика

Backpressure

Используется в:

- Kafka-консьюмерах
- Reactive Streams
- Событийно-ориентированных архитектурах
- Стриминговых конвейерах обработки данных

Главная задача — предотвратить переполнение очередей, когда производитель данных работает быстрее, чем потребитель успевает их обрабатывать.

Пример из реальной жизни

Представьте платформу по продаже билетов на концерт во время старта продаж.

Rate Limiting

Каждый пользователь может отправить не более 100 запросов в минуту.

Throttling

Если база данных перегружена, сервис бронирования намеренно снижает скорость обработки запросов до безопасного уровня.

Backpressure

Если сервис уведомлений начинает отставать, поток событий заставляет производителей замедлиться вместо того, чтобы завалить очереди миллионами сообщений.

Самое распространённое заблуждение

- Rate Limiting защищает API от слишком активных клиентов.
- Throttling защищает сам сервис от перегрузки.
- Backpressure защищает потребителей данных от слишком быстрых производителей.

Это не взаимоисключающие механизмы — они часто используются совместно.

Фраза, которую стоит запомнить

- Rate Limiting — *слишком много запросов.*
- Throttling — *обрабатывай медленнее.*
- Backpressure — *я не успеваю, притормози.*

Эти три концепции лежат в основе построения масштабируемых систем, таких как Netflix, Uber, Amazon и событийно-ориентированных архитектур на базе Kafka.

Сохраните эту шпаргалку — она пригодится каждому backend-разработчику и всем, кто изучает проектирование высоконагруженных систем.

👉 Java Portal

Системный дизайн: Архитектура с одним сервером

Проектирование системы, способной обслуживать миллионы пользователей, — сложная задача. Это долгий путь, требующий постоянной доработки и непрерывного улучшения.

Обычно всё начинается с простого варианта: все компоненты работают на одном сервере.

Посмотрим, как проходит запрос:
> Пользователь обращается к api.mysite.com через веб-приложение или мобильное приложение.
> DNS преобразует доменное имя в IP-адрес 27.220.30.232.
> Запрос поступает на единственный веб-сервер.
> Сервер выполняет всё самостоятельно:
обрабатывает API-запрос;
выполняет бизнес-логику;
обращается к базе данных.
> Сервер отправляет пользователю HTML-страницу или JSON-ответ для дальнейшего отображения.

👉 Java Portal

Новый сервис, для конверта документов в Markdown: https://docs.context.dev/api-reference/utility/parse

Достаточно сделать один API-запрос: отправить содержимое файла и получить на выходе Markdown с сохранённой структурой, ссылками и порядком текста.

Сервис поддерживает PDF, Word, Excel, PowerPoint, HTML, CSV, изображения, исходный код и многие другие форматы. Если документ представляет собой скан или фотографию, встроенный OCR автоматически распознает текст.

👉 Java Portal

Databasement — это инструмент для управления резервными копиями баз данных через self-hosted веб-интерфейс.

👉 Java Portal

Системный дизайн: База данных

По мере роста числа пользователей одного сервера, на котором размещены веб-уровень и уровень данных, становится недостаточно. Поэтому нам потребуется несколько серверов:

- один для обработки веб- и мобильного трафика — веб-уровень (web tier);
- другой для базы данных — уровень данных (data tier).

Разделение серверов, обрабатывающих веб- и мобильный трафик, и серверов базы данных позволяет масштабировать эти уровни независимо друг от друга.

Какую базу данных использовать?

Можно выбрать между традиционной реляционной базой данных — RDBMS, или SQL-базой данных — и нереляционной базой данных — NoSQL.

Реляционные базы данных представляют и хранят данные в виде таблиц и строк. С помощью SQL можно выполнять операции JOIN между различными таблицами базы данных.

Нереляционная база данных может быть подходящим выбором, если:

- приложению требуется сверхнизкая задержка;
- данные неструктурированы или не имеют связей;
- требуется только сериализация и десериализация данных — JSON, YAML и т. д.;
- необходимо хранить огромные объёмы данных.

👉 Java Portal

Java Streams: limit(n) превращает бесконечный поток в конечный.

✅ Полезно при работе со Stream.iterate() / generate() — они могут создавать бесконечные потоки
✅ limit(5) означает: «взять первые 5 элементов и остановиться»
✅ Отлично подходит для выборки данных или получения первых N значений

#Java #Streams

👉 Java Portal