11 модулей · 45 уроков в программе · 3 опубликованы
Доступные материалы
Сейчас опубликованы 01 «Свойства систем», 02 «Требования и оценка нагрузки» и 03 «API». Первый урок доступен бесплатно после регистрации, уроки 02–03 — после покупки курса.
Уроки 04–45 находятся в разработке. Ниже приведена полная программа курса. Новые материалы становятся доступны покупателям по мере публикации.
Стоимость и порядок открытия доступа указаны на главной странице, правила использования — в условиях покупки и использования.
Как читать курс
Курс построен вокруг одного сквозного примера — интернет-магазина. На нём учимся собирать требования, оценивать нагрузку, проектировать API, выбирать способы хранения и обработки данных. Затем разбираем взаимодействие сервисов, устойчивость к сбоям, безопасность, инфраструктуру и наблюдаемость. В конце применяем эти знания к другим системам.
Модули расположены от основ к более сложным темам. При первом прохождении лучше двигаться по порядку; позже карту можно использовать как справочник. Безопасность, надёжность и наблюдаемость рассматриваются в отдельных модулях, но учитывать их нужно на протяжении всего проектирования.
Технологии в таблицах используются для примеров. Цель курса — понимать принципы, ограничения и критерии выбора решений. HTTP как основу контракта рассматриваем в уроке об API. Путь запроса по сети, роль DNS, IP-адресов, портов и TCP объясняем в уроке о балансировке; подробности защиты соединения — в модуле безопасности. Устройство монолита и взаимодействие сервисов сначала рассматриваем на простой схеме магазина, а подробно сравниваем архитектурные подходы в модуле 07.
Порядок изучения соответствует нумерации уроков в таблицах. В последнем столбце указан статус публикации.
Маршрут
- 01 Основы проектирования — свойства систем, требования и оценка нагрузки.
- 02 Обработка запросов и масштабирование — API, балансировка и автоматическое масштабирование приложения.
- 03 Хранение данных — выбор баз данных, индексы, транзакции и оценка ресурсов.
- 04 Кэширование и CDN — ускорение повторных чтений и доставка контента пользователям.
- 05 Распределённое хранение — репликация, резервное копирование, согласованность и шардирование.
- 06 Брокеры сообщений — асинхронное взаимодействие, гарантии доставки и выбор брокера.
- 07 Архитектура и надёжность — границы сервисов, распределённые операции и устойчивость к сбоям.
- 08 Безопасность — защита соединений, аутентификация и управление доступом.
- 09 Инфраструктура — контейнеры, развёртывание и оркестрация приложений.
- 10 Наблюдаемость — метрики, логи, трейсы и обнаружение проблем.
- 11 Практика проектирования — процесс проектирования и разборы систем с разными требованиями.
Уроки
01 Основы проектирования
Определяем, какие свойства важны для системы, что она должна делать и под какую нагрузку её проектируют.
| Урок | О чём | Статус |
|---|---|---|
| 01 Свойства систем | Производительность, масштабируемость, отказоустойчивость, доступность и надёжность; архитектурные компромиссы | Опубликован |
| 02 Требования и оценка нагрузки | Функциональные и нефункциональные требования, SLI / SLO / SLA; внешняя нагрузка: RPS, трафик, соединения и прирост полезных данных без подбора оборудования | Опубликован |
После модуля: сможете сформулировать проверяемые требования, оценить среднюю и пиковую нагрузку и записать допущения для расчётов.
02 Обработка запросов и масштабирование
Разбираем путь запроса от клиента до приложения, проектируем интерфейс и рассматриваем работу нескольких экземпляров приложения.
| Урок | О чём | Инструменты и примеры | Статус |
|---|---|---|---|
| 03 API | Контракт HTTP API и REST, безопасные повторы, пагинация и условные запросы; RPC/gRPC, GraphQL и обзор SOAP; доставка событий, совместимость, OpenAPI, API Gateway и BFF | Примеры API магазина, OpenAPI, gRPC | Опубликован |
| 04 Балансировка нагрузки | Путь запроса: DNS, IP-адреса, порты и TCP; прокси, уровни L4/L7, распределение запросов, алгоритмы, проверки работоспособности и отказоустойчивость балансировщика | Nginx; роль защищённого соединения без подробного разбора TLS | В разработке |
| 05 Автоматическое масштабирование | Горизонтальное и вертикальное масштабирование, хранение состояния, метрики и политики, время запуска и безопасное удаление экземпляров; обзор масштабирования по очереди | Облачные группы ВМ; примеры из Kubernetes: HPA, Cluster Autoscaler, KEDA — устройство платформы разбирается в модуле 09 | В разработке |
После модуля: сможете спроектировать API, объяснить распределение запросов между серверами и выбрать условия изменения мощности приложения.
03 Хранение данных
Выбираем способы хранения с учётом структуры данных, запросов, требований к изменениям и ожидаемой нагрузки.
| Урок | О чём | Инструменты и примеры | Статус |
|---|---|---|---|
| 06 Базы данных | Виды баз данных, критерии выбора, OLTP и OLAP | PostgreSQL, MongoDB, Redis, ClickHouse, OpenSearch | В разработке |
| 07 Индексы | B-tree, хеш-индексы, битовые, инвертированные и пространственные индексы; составные и покрывающие индексы, анализ плана запроса | PostgreSQL, EXPLAIN | В разработке |
| 08 Транзакции | ACID, аномалии и уровни изоляции, блокировки, MVCC и журнал предзаписи WAL | PostgreSQL | В разработке |
| 09 Паттерны хранения и оценка ресурсов | Денормализация, пакетная обработка и редко используемые данные; перевод нагрузки из урока 02 в требования к хранению: данные, индексы, журналы, запас, память, дисковые операции, CPU и сеть | Продолжение расчётов магазина; дополнительные копии и распределение ресурсов — в модуле 05 | В разработке |
После модуля: сможете обосновать выбор хранилища, подобрать индексы под запросы и оценить необходимые ресурсы.
04 Кэширование и CDN
Снижаем затраты на повторное получение данных и рассматриваем доставку контента с серверов ближе к пользователям.
| Урок | О чём | Инструменты и примеры | Статус |
|---|---|---|---|
| 10 Кэширование | Паттерны чтения и записи, TTL, инвалидация, вытеснение, устаревшие данные и поведение кэша под нагрузкой | Локальный кэш, Memcached, Redis | В разработке |
| 11 CDN | Кэширование статики и медиа, расположение узлов, обновление контента и взаимодействие с исходным сервером | Примеры CDN-провайдеров | В разработке |
После модуля: сможете определить, какие данные стоит кэшировать, выбрать способ обновления кэша и объяснить роль CDN.
05 Распределённое хранение
Рассматриваем копирование и распределение данных между серверами, восстановление после сбоев и связанные с этим компромиссы.
| Урок | О чём | Инструменты и примеры | Статус |
|---|---|---|---|
| 12 Репликация и резервное копирование | Резервные копии и восстановление, виды репликации, отставание реплик, переключение при отказе и оценка числа серверов | PostgreSQL, MySQL | В разработке |
| 13 CAP и модели согласованности | CAP, PACELC и модели согласованности; влияние сетевых разделений и задержек на выбор решений | Сценарии чтения и записи | В разработке |
| 14 Партиционирование и шардирование | Разделение данных, выбор ключа, маршрутизация, консистентное хеширование и перераспределение данных | Примеры распределения данных магазина | В разработке |
После модуля: сможете объяснить различия между репликацией и резервным копированием, выбрать требования к согласованности и оценить необходимость шардирования.
06 Брокеры сообщений
Разбираем, когда работу можно выполнить асинхронно, как доставлять сообщения и обрабатывать повторные попытки.
| Урок | О чём | Инструменты и примеры | Статус |
|---|---|---|---|
| 15 Брокеры сообщений и гарантии доставки | Очередь и журнал событий, at-most-once, at-least-once и границы exactly-once, идемпотентная обработка; введение в outbox | Сценарии обработки заказов | В разработке |
| 16 RabbitMQ | Очереди, exchanges, маршрутизация, подтверждения обработки и DLX | RabbitMQ | В разработке |
| 17 Kafka | Распределённый журнал, партиции и ключи, группы потребителей, хранение и повторное чтение; обзор интеграций и CDC | Kafka, Kafka Connect, Debezium | В разработке |
| 18 Redis как брокер сообщений | Lists, Pub/Sub и Streams: возможности, ограничения и условия применения | Redis | В разработке |
| 19 NATS | Subjects, queue groups, запрос-ответ; различия Core NATS и JetStream | NATS | В разработке |
| 20 Выбор брокера сообщений | Сравнение моделей работы, гарантий, ограничений и эксплуатационных требований | RabbitMQ, Kafka, Redis, NATS | В разработке |
После модуля: сможете выбрать модель обмена сообщениями и брокер под задачу, описать гарантии доставки и обработку дубликатов.
07 Архитектура и надёжность
Выбираем границы компонентов, согласуем операции между ними и ограничиваем последствия отказов.
| Урок | О чём | Инструменты и примеры | Статус |
|---|---|---|---|
| 21 Архитектура приложений | Монолит, модульный монолит и микросервисы; границы сервисов, синхронное и событийное взаимодействие, стоимость разделения приложения | Варианты архитектуры магазина | В разработке |
| 22 CQRS | Разделение моделей чтения и записи, построение представлений, задержка обновления и условия применения; CQRS без обязательного Event Sourcing | Каталог, поиск и состояние заказов | В разработке |
| 23 Event Sourcing | Хранение истории как последовательности событий, восстановление состояния, проекции, снимки и изменение схемы событий; отличие от аудита и журнала брокера | История изменений заказа | В разработке |
| 24 Распределённые транзакции и координация | Изменения между сервисами: 2PC, Saga, компенсации и применение outbox; границы атомарности и восстановление незавершённых процессов | Заказ, резерв товара и оплата; основы outbox — в уроке 15 | В разработке |
| 25 Консенсус и выбор лидера | Зачем участникам согласовывать решения, кворум, выбор лидера, обзор Raft и поведение при отказах | etcd как пример системы координации | В разработке |
| 26 Распределённые блокировки | Взаимное исключение между процессами, аренда блокировки, истечение срока, защита от устаревшего владельца и ограничения решений | etcd, Redis; сравнение гарантий и условий применения | В разработке |
| 27 Паттерны устойчивости | Таймауты, повторы, circuit breaker, деградация и безопасный выпуск изменений | Resilience4j, Nginx | В разработке |
| 28 Ограничение частоты запросов | Цели ограничения, алгоритмы, распределённый учёт запросов и поведение при превышении лимита | Nginx, Redis, Bucket4j | В разработке |
После модуля: сможете обосновать границы сервисов, оценить необходимость CQRS и Event Sourcing, различать распределённую транзакцию, согласование решений и блокировку, а также предусмотреть поведение при сбоях и перегрузке.
08 Безопасность
Защищаем соединения, устанавливаем личность пользователя или сервиса и проверяем права доступа.
| Урок | О чём | Инструменты и примеры | Статус |
|---|---|---|---|
| 29 HTTPS, TLS и mTLS | Защита канала, сертификаты, завершение TLS и взаимная аутентификация сервисов | Let's Encrypt, Nginx; обзор service mesh | В разработке |
| 30 Аутентификация и управление доступом | Аутентификация и авторизация как разные задачи; сессии, cookies, токены и JWT, жизненный цикл входа и проверка доступа к объекту | Вход в магазин и доступ к заказам | В разработке |
| 31 OAuth 2.0, OpenID Connect и SSO | Делегирование доступа через OAuth 2.0, установление личности через OpenID Connect, роли участников, основные потоки и единый вход | Keycloak, провайдер идентификации | В разработке |
| 32 Роли, права и IAM | Разрешения и политики, ролевой и атрибутный доступ, принцип минимальных привилегий и учётные данные сервисов | Роли покупателя, оператора и администратора; облачный IAM | В разработке |
После модуля: сможете описать защищённое взаимодействие клиента и сервисов, различать аутентификацию и авторизацию и выбрать способ управления доступом.
09 Инфраструктура
Упаковываем приложения, описываем их запуск и рассматриваем управление сервисами на одном сервере и в кластере.
| Урок | О чём | Инструменты и примеры | Статус |
|---|---|---|---|
| 33 Docker и оркестрация контейнеров | Контейнеры и образы, запуск компонентов через Compose; задачи оркестратора без подробного изучения платформы, Swarm как дополнительный пример | Docker, Docker Compose; обзор Docker Swarm | В разработке |
| 34 Kubernetes | Запуск, восстановление, масштабирование и обновление приложений; основные ресурсы и управление конфигурацией | Kubernetes, Helm | В разработке |
После модуля: сможете объяснить путь от образа приложения до работающего сервиса и определить, какие задачи решает оркестратор.
10 Наблюдаемость
Собираем сведения о работе системы, обнаруживаем нарушения требований и ищем причины проблем.
| Урок | О чём | Инструменты и примеры | Статус |
|---|---|---|---|
| 35 Метрики и мониторинг | Метрики запросов и ресурсов, задержки, ошибки, нагрузка и насыщение; агрегирование, дашборды и введение в профилирование | Prometheus, Grafana | В разработке |
| 36 Логирование | Структурированные логи, уровни, сбор, хранение, поиск и связь с запросами | OpenSearch, OpenSearch Dashboards | В разработке |
| 37 Распределённый трейсинг | Путь запроса через сервисы, spans, распространение контекста и связь с логами | OpenTelemetry, Jaeger | В разработке |
| 38 Алертинг | Оповещения по SLO, метрикам и логам, выбор условий срабатывания и работа дежурного | Alertmanager, OpenSearch Alerting | В разработке |
После модуля: сможете выбрать телеметрию для проверки требований, настроить осмысленные оповещения и связать метрики, логи и трейсы при разборе инцидента.
11 Практика проектирования
Применяем общий процесс к системам с разными сценариями, нагрузкой и ограничениями.
| Урок | О чём | Статус |
|---|---|---|
| 39 Как проектировать систему | Требования, нагрузка, API, модель данных, архитектура, узкие места и компромиссы; итеративное уточнение решения и его обсуждение на интервью | В разработке |
| 40 Разбор ленты новостей | Лента друзей и подписок, формирование ленты при записи и при чтении | В разработке |
| 41 Разбор мессенджера | Доставка сообщений в реальном времени, офлайн-доставка и история чатов | В разработке |
| 42 Разбор сервиса такси | Геопозиции водителей, поиск ближайших, подбор водителя и оплата | В разработке |
| 43 Разбор платформы для решения задач | Изолированный запуск пользовательского кода, очередь проверок и пики во время соревнований | В разработке |
| 44 Разбор файлового хранилища | Загрузка по частям, дедупликация и синхронизация устройств | В разработке |
| 45 Разбор сервиса бронирования | Поиск по датам, защита от двойного бронирования и оплата | В разработке |
После модуля: сможете пройти путь от условий задачи до обоснованной схемы системы, объяснить ограничения решения и предложить варианты его развития.
Как темы связаны на практике
Один из вариантов архитектуры интернет-магазина может объединять компоненты из разных модулей. Их состав зависит от требований, нагрузки и ограничений команды: не каждому магазину нужны микросервисы, шардирование или Kubernetes.
- Обработка запросов: API задаёт контракт с клиентом, балансировщик распределяет запросы, а правила масштабирования определяют, когда менять мощность приложения.
- Данные: база хранит заказы и каталог; кэш и CDN ускоряют подходящие сценарии чтения. Репликацию, резервное копирование и шардирование выбирают под требования к доступности, восстановлению и росту.
- Фоновая работа: уведомления и другие отложенные задачи могут выполняться через брокер. Отдельно проектируют доставку событий, повторные попытки и обработку дубликатов.
- Безопасность и запуск: защищённые соединения, проверка прав, контейнеры и выбранная платформа обеспечивают работу приложения в заданном окружении.
- Разбор проблем: оповещение сообщает о нарушении условий, метрики помогают оценить масштаб, трейсы показывают путь запроса, а связанные логи — подробности ошибки. После этого выбирают действие: например, откатить изменение или ограничить нагрузку, и проверяют восстановление системы.
На протяжении курса возвращаемся к одним вопросам: какое требование выполняет решение, какую проблему устраняет, чем за него приходится платить и когда стоит выбрать другой подход.