System Design · Программа курса

Карта курса

Последовательно проектируем интернет-магазин: от требований и нагрузки до архитектуры, надёжности и эксплуатации.

11 модулей · 45 уроков в программе · 3 опубликованы

Доступные материалы

Сейчас опубликованы 01 «Свойства систем», 02 «Требования и оценка нагрузки» и 03 «API». Первый урок доступен бесплатно после регистрации, уроки 02–03 — после покупки курса.

Уроки 04–45 находятся в разработке. Ниже приведена полная программа курса. Новые материалы становятся доступны покупателям по мере публикации.

Стоимость и порядок открытия доступа указаны на главной странице, правила использования — в условиях покупки и использования.

Как читать курс

Курс построен вокруг одного сквозного примера — интернет-магазина. На нём учимся собирать требования, оценивать нагрузку, проектировать API, выбирать способы хранения и обработки данных. Затем разбираем взаимодействие сервисов, устойчивость к сбоям, безопасность, инфраструктуру и наблюдаемость. В конце применяем эти знания к другим системам.

Модули расположены от основ к более сложным темам. При первом прохождении лучше двигаться по порядку; позже карту можно использовать как справочник. Безопасность, надёжность и наблюдаемость рассматриваются в отдельных модулях, но учитывать их нужно на протяжении всего проектирования.

Технологии в таблицах используются для примеров. Цель курса — понимать принципы, ограничения и критерии выбора решений. HTTP как основу контракта рассматриваем в уроке об API. Путь запроса по сети, роль DNS, IP-адресов, портов и TCP объясняем в уроке о балансировке; подробности защиты соединения — в модуле безопасности. Устройство монолита и взаимодействие сервисов сначала рассматриваем на простой схеме магазина, а подробно сравниваем архитектурные подходы в модуле 07.

Порядок изучения соответствует нумерации уроков в таблицах. В последнем столбце указан статус публикации.

Маршрут

  1. 01 Основы проектирования — свойства систем, требования и оценка нагрузки.
  2. 02 Обработка запросов и масштабирование — API, балансировка и автоматическое масштабирование приложения.
  3. 03 Хранение данных — выбор баз данных, индексы, транзакции и оценка ресурсов.
  4. 04 Кэширование и CDN — ускорение повторных чтений и доставка контента пользователям.
  5. 05 Распределённое хранение — репликация, резервное копирование, согласованность и шардирование.
  6. 06 Брокеры сообщений — асинхронное взаимодействие, гарантии доставки и выбор брокера.
  7. 07 Архитектура и надёжность — границы сервисов, распределённые операции и устойчивость к сбоям.
  8. 08 Безопасность — защита соединений, аутентификация и управление доступом.
  9. 09 Инфраструктура — контейнеры, развёртывание и оркестрация приложений.
  10. 10 Наблюдаемость — метрики, логи, трейсы и обнаружение проблем.
  11. 11 Практика проектирования — процесс проектирования и разборы систем с разными требованиями.

Уроки

01 Основы проектирования

Определяем, какие свойства важны для системы, что она должна делать и под какую нагрузку её проектируют.

Урок О чём Статус
01 Свойства систем Производительность, масштабируемость, отказоустойчивость, доступность и надёжность; архитектурные компромиссы Опубликован
02 Требования и оценка нагрузки Функциональные и нефункциональные требования, SLI / SLO / SLA; внешняя нагрузка: RPS, трафик, соединения и прирост полезных данных без подбора оборудования Опубликован

После модуля: сможете сформулировать проверяемые требования, оценить среднюю и пиковую нагрузку и записать допущения для расчётов.

02 Обработка запросов и масштабирование

Разбираем путь запроса от клиента до приложения, проектируем интерфейс и рассматриваем работу нескольких экземпляров приложения.

Урок О чём Инструменты и примеры Статус
03 API Контракт HTTP API и REST, безопасные повторы, пагинация и условные запросы; RPC/gRPC, GraphQL и обзор SOAP; доставка событий, совместимость, OpenAPI, API Gateway и BFF Примеры API магазина, OpenAPI, gRPC Опубликован
04 Балансировка нагрузки Путь запроса: DNS, IP-адреса, порты и TCP; прокси, уровни L4/L7, распределение запросов, алгоритмы, проверки работоспособности и отказоустойчивость балансировщика Nginx; роль защищённого соединения без подробного разбора TLS В разработке
05 Автоматическое масштабирование Горизонтальное и вертикальное масштабирование, хранение состояния, метрики и политики, время запуска и безопасное удаление экземпляров; обзор масштабирования по очереди Облачные группы ВМ; примеры из Kubernetes: HPA, Cluster Autoscaler, KEDA — устройство платформы разбирается в модуле 09 В разработке

После модуля: сможете спроектировать API, объяснить распределение запросов между серверами и выбрать условия изменения мощности приложения.

03 Хранение данных

Выбираем способы хранения с учётом структуры данных, запросов, требований к изменениям и ожидаемой нагрузки.

Урок О чём Инструменты и примеры Статус
06 Базы данных Виды баз данных, критерии выбора, OLTP и OLAP PostgreSQL, MongoDB, Redis, ClickHouse, OpenSearch В разработке
07 Индексы B-tree, хеш-индексы, битовые, инвертированные и пространственные индексы; составные и покрывающие индексы, анализ плана запроса PostgreSQL, EXPLAIN В разработке
08 Транзакции ACID, аномалии и уровни изоляции, блокировки, MVCC и журнал предзаписи WAL PostgreSQL В разработке
09 Паттерны хранения и оценка ресурсов Денормализация, пакетная обработка и редко используемые данные; перевод нагрузки из урока 02 в требования к хранению: данные, индексы, журналы, запас, память, дисковые операции, CPU и сеть Продолжение расчётов магазина; дополнительные копии и распределение ресурсов — в модуле 05 В разработке

После модуля: сможете обосновать выбор хранилища, подобрать индексы под запросы и оценить необходимые ресурсы.

04 Кэширование и CDN

Снижаем затраты на повторное получение данных и рассматриваем доставку контента с серверов ближе к пользователям.

Урок О чём Инструменты и примеры Статус
10 Кэширование Паттерны чтения и записи, TTL, инвалидация, вытеснение, устаревшие данные и поведение кэша под нагрузкой Локальный кэш, Memcached, Redis В разработке
11 CDN Кэширование статики и медиа, расположение узлов, обновление контента и взаимодействие с исходным сервером Примеры CDN-провайдеров В разработке

После модуля: сможете определить, какие данные стоит кэшировать, выбрать способ обновления кэша и объяснить роль CDN.

05 Распределённое хранение

Рассматриваем копирование и распределение данных между серверами, восстановление после сбоев и связанные с этим компромиссы.

Урок О чём Инструменты и примеры Статус
12 Репликация и резервное копирование Резервные копии и восстановление, виды репликации, отставание реплик, переключение при отказе и оценка числа серверов PostgreSQL, MySQL В разработке
13 CAP и модели согласованности CAP, PACELC и модели согласованности; влияние сетевых разделений и задержек на выбор решений Сценарии чтения и записи В разработке
14 Партиционирование и шардирование Разделение данных, выбор ключа, маршрутизация, консистентное хеширование и перераспределение данных Примеры распределения данных магазина В разработке

После модуля: сможете объяснить различия между репликацией и резервным копированием, выбрать требования к согласованности и оценить необходимость шардирования.

06 Брокеры сообщений

Разбираем, когда работу можно выполнить асинхронно, как доставлять сообщения и обрабатывать повторные попытки.

Урок О чём Инструменты и примеры Статус
15 Брокеры сообщений и гарантии доставки Очередь и журнал событий, at-most-once, at-least-once и границы exactly-once, идемпотентная обработка; введение в outbox Сценарии обработки заказов В разработке
16 RabbitMQ Очереди, exchanges, маршрутизация, подтверждения обработки и DLX RabbitMQ В разработке
17 Kafka Распределённый журнал, партиции и ключи, группы потребителей, хранение и повторное чтение; обзор интеграций и CDC Kafka, Kafka Connect, Debezium В разработке
18 Redis как брокер сообщений Lists, Pub/Sub и Streams: возможности, ограничения и условия применения Redis В разработке
19 NATS Subjects, queue groups, запрос-ответ; различия Core NATS и JetStream NATS В разработке
20 Выбор брокера сообщений Сравнение моделей работы, гарантий, ограничений и эксплуатационных требований RabbitMQ, Kafka, Redis, NATS В разработке

После модуля: сможете выбрать модель обмена сообщениями и брокер под задачу, описать гарантии доставки и обработку дубликатов.

07 Архитектура и надёжность

Выбираем границы компонентов, согласуем операции между ними и ограничиваем последствия отказов.

Урок О чём Инструменты и примеры Статус
21 Архитектура приложений Монолит, модульный монолит и микросервисы; границы сервисов, синхронное и событийное взаимодействие, стоимость разделения приложения Варианты архитектуры магазина В разработке
22 CQRS Разделение моделей чтения и записи, построение представлений, задержка обновления и условия применения; CQRS без обязательного Event Sourcing Каталог, поиск и состояние заказов В разработке
23 Event Sourcing Хранение истории как последовательности событий, восстановление состояния, проекции, снимки и изменение схемы событий; отличие от аудита и журнала брокера История изменений заказа В разработке
24 Распределённые транзакции и координация Изменения между сервисами: 2PC, Saga, компенсации и применение outbox; границы атомарности и восстановление незавершённых процессов Заказ, резерв товара и оплата; основы outbox — в уроке 15 В разработке
25 Консенсус и выбор лидера Зачем участникам согласовывать решения, кворум, выбор лидера, обзор Raft и поведение при отказах etcd как пример системы координации В разработке
26 Распределённые блокировки Взаимное исключение между процессами, аренда блокировки, истечение срока, защита от устаревшего владельца и ограничения решений etcd, Redis; сравнение гарантий и условий применения В разработке
27 Паттерны устойчивости Таймауты, повторы, circuit breaker, деградация и безопасный выпуск изменений Resilience4j, Nginx В разработке
28 Ограничение частоты запросов Цели ограничения, алгоритмы, распределённый учёт запросов и поведение при превышении лимита Nginx, Redis, Bucket4j В разработке

После модуля: сможете обосновать границы сервисов, оценить необходимость CQRS и Event Sourcing, различать распределённую транзакцию, согласование решений и блокировку, а также предусмотреть поведение при сбоях и перегрузке.

08 Безопасность

Защищаем соединения, устанавливаем личность пользователя или сервиса и проверяем права доступа.

Урок О чём Инструменты и примеры Статус
29 HTTPS, TLS и mTLS Защита канала, сертификаты, завершение TLS и взаимная аутентификация сервисов Let's Encrypt, Nginx; обзор service mesh В разработке
30 Аутентификация и управление доступом Аутентификация и авторизация как разные задачи; сессии, cookies, токены и JWT, жизненный цикл входа и проверка доступа к объекту Вход в магазин и доступ к заказам В разработке
31 OAuth 2.0, OpenID Connect и SSO Делегирование доступа через OAuth 2.0, установление личности через OpenID Connect, роли участников, основные потоки и единый вход Keycloak, провайдер идентификации В разработке
32 Роли, права и IAM Разрешения и политики, ролевой и атрибутный доступ, принцип минимальных привилегий и учётные данные сервисов Роли покупателя, оператора и администратора; облачный IAM В разработке

После модуля: сможете описать защищённое взаимодействие клиента и сервисов, различать аутентификацию и авторизацию и выбрать способ управления доступом.

09 Инфраструктура

Упаковываем приложения, описываем их запуск и рассматриваем управление сервисами на одном сервере и в кластере.

Урок О чём Инструменты и примеры Статус
33 Docker и оркестрация контейнеров Контейнеры и образы, запуск компонентов через Compose; задачи оркестратора без подробного изучения платформы, Swarm как дополнительный пример Docker, Docker Compose; обзор Docker Swarm В разработке
34 Kubernetes Запуск, восстановление, масштабирование и обновление приложений; основные ресурсы и управление конфигурацией Kubernetes, Helm В разработке

После модуля: сможете объяснить путь от образа приложения до работающего сервиса и определить, какие задачи решает оркестратор.

10 Наблюдаемость

Собираем сведения о работе системы, обнаруживаем нарушения требований и ищем причины проблем.

Урок О чём Инструменты и примеры Статус
35 Метрики и мониторинг Метрики запросов и ресурсов, задержки, ошибки, нагрузка и насыщение; агрегирование, дашборды и введение в профилирование Prometheus, Grafana В разработке
36 Логирование Структурированные логи, уровни, сбор, хранение, поиск и связь с запросами OpenSearch, OpenSearch Dashboards В разработке
37 Распределённый трейсинг Путь запроса через сервисы, spans, распространение контекста и связь с логами OpenTelemetry, Jaeger В разработке
38 Алертинг Оповещения по SLO, метрикам и логам, выбор условий срабатывания и работа дежурного Alertmanager, OpenSearch Alerting В разработке

После модуля: сможете выбрать телеметрию для проверки требований, настроить осмысленные оповещения и связать метрики, логи и трейсы при разборе инцидента.

11 Практика проектирования

Применяем общий процесс к системам с разными сценариями, нагрузкой и ограничениями.

Урок О чём Статус
39 Как проектировать систему Требования, нагрузка, API, модель данных, архитектура, узкие места и компромиссы; итеративное уточнение решения и его обсуждение на интервью В разработке
40 Разбор ленты новостей Лента друзей и подписок, формирование ленты при записи и при чтении В разработке
41 Разбор мессенджера Доставка сообщений в реальном времени, офлайн-доставка и история чатов В разработке
42 Разбор сервиса такси Геопозиции водителей, поиск ближайших, подбор водителя и оплата В разработке
43 Разбор платформы для решения задач Изолированный запуск пользовательского кода, очередь проверок и пики во время соревнований В разработке
44 Разбор файлового хранилища Загрузка по частям, дедупликация и синхронизация устройств В разработке
45 Разбор сервиса бронирования Поиск по датам, защита от двойного бронирования и оплата В разработке

После модуля: сможете пройти путь от условий задачи до обоснованной схемы системы, объяснить ограничения решения и предложить варианты его развития.

Как темы связаны на практике

Один из вариантов архитектуры интернет-магазина может объединять компоненты из разных модулей. Их состав зависит от требований, нагрузки и ограничений команды: не каждому магазину нужны микросервисы, шардирование или Kubernetes.

  • Обработка запросов: API задаёт контракт с клиентом, балансировщик распределяет запросы, а правила масштабирования определяют, когда менять мощность приложения.
  • Данные: база хранит заказы и каталог; кэш и CDN ускоряют подходящие сценарии чтения. Репликацию, резервное копирование и шардирование выбирают под требования к доступности, восстановлению и росту.
  • Фоновая работа: уведомления и другие отложенные задачи могут выполняться через брокер. Отдельно проектируют доставку событий, повторные попытки и обработку дубликатов.
  • Безопасность и запуск: защищённые соединения, проверка прав, контейнеры и выбранная платформа обеспечивают работу приложения в заданном окружении.
  • Разбор проблем: оповещение сообщает о нарушении условий, метрики помогают оценить масштаб, трейсы показывают путь запроса, а связанные логи — подробности ошибки. После этого выбирают действие: например, откатить изменение или ограничить нагрузку, и проверяют восстановление системы.

На протяжении курса возвращаемся к одним вопросам: какое требование выполняет решение, какую проблему устраняет, чем за него приходится платить и когда стоит выбрать другой подход.