Перейти к содержимому

Отказоустойчивая и мультизональная инфраструктура

Строим инфраструктуру так, чтобы отказ сервера, стойки или целого дата-центра не останавливал продукт: сервисы и базы данных распределены по зонам доступности, переключение автоматическое и проверено учениями, а не только нарисовано на схеме.

Ответит инженер, а не менеджер, — в течение рабочего дня.

  • Карта точек отказа за 3–5 дней
  • Несколько зон доступности
  • Переключение проверяем учениями
  • Работают инженеры-сооснователи

Официальные партнёры облаков

  • Yandex Cloud
  • Selectel
  • Timeweb Cloud
среди клиентов
  • ПАО «Новотек»
  • RZD
  • SberCorus
  • Otus
  • Besttrip
  • JedAI
  • IMSystems
  • Builddocs
  • Headframe
  • RTDS
Кейсы →
symptoms.log

Когда к нам приходят

Всё живёт в одной зоне доступности

Так сложилось при первом запуске: одна подсеть, одна зона в Terraform. Отказ одного дата-центра останавливает весь продукт.

База данных — единственный хост

Или реплика есть, но в той же зоне, и переключение на неё ни разу не проверяли.

Кворум собран неудачно

Из трёх мастеров Kubernetes или узлов кластера БД два стоят в одной зоне — потеря одной площадки ломает весь кластер.

Резерв собирались создать при аварии

При крупном сбое провайдеры ограничивают создание ресурсов и выдачу квот. Мощность на случай отказа нужно держать заранее.

scope.md

Что входит в работу

Карта точек отказа

Разбираем путь запроса от DNS до диска: зоны, базы, очереди, балансировщики, внешние зависимости. Отмечаем всё, что существует в одном экземпляре.

Распределение по зонам

Kubernetes с узлами в нескольких зонах, правила размещения подов, stateless-сервисы — минимум в двух зонах.

Базы данных и кворум

HA-кластеры с хостами в разных зонах, правильный кворум и проверенное автоматическое переключение мастера.

Балансировка и переключение трафика

Балансировщики с проверками доступности, вывод недоступной зоны из работы, короткий TTL DNS для критичных записей.

Запас мощности N+1

Считаем, сколько ресурсов нужно, чтобы выдержать потерю зоны, и держим их заранее. Цену запаса показываем до начала работ.

Учения

Плановое отключение зоны или узла БД в согласованное окно. Замеряем время переключения и чиним то, что не сработало.

Что остаётся у вас

  • Схема с доменами отказа: что переживёт потерю узла, зоны или региона
  • Инфраструктура в Terraform и Ansible в вашем репозитории
  • Runbook на переключение и восстановление
  • Отчёт об учениях и список оставшихся рисков

Стек

  • Kubernetes
  • Terraform
  • Ansible
  • PostgreSQL
  • Patroni
  • HAProxy
  • Prometheus
  • ArgoCD
git log --cases

Похожие задачи, которые мы решали

Все кейсы
Транспорт

RZD

Высокие требования к непрерывности: сервисы нельзя останавливать, а проблемы нужно видеть раньше пользователей.

  • Перестроили схему на отказоустойчивую, без единых точек отказа
  • Настроили метрики, логи и осмысленные алерты по SLI/SLO
  • Организовали дежурства и разбор инцидентов
Финтех и ЭДО

SberCorus

Релизы были редкими и ручными, каждый выкат превращался в событие.

  • Перевели сервисы в Kubernetes с обновлениями без простоя
  • Собрали пайплайны сборки, тестов и деплоя по окружениям
  • Навели порядок в секретах и правах доступа
EdTech

Otus

Нагрузка идёт пиками — в дни запуска курсов, — а платить за постоянный запас мощности не хотелось.

  • Перенесли инфраструктуру в облако поэтапно, без остановки сервиса
  • Настроили автоматическое масштабирование под пиковую нагрузку
  • Подключили мониторинг и регулярный пересмотр затрат

TEAM.md

Кто будет работать над задачей

Нас трое, и это осознанно: с вами общаются и работают одни и те же инженеры, без прослойки менеджеров и передачи задач по цепочке.

  • Александр Калошин — Основатель

    Александр Калошин

    Основатель

    Более 20 лет в IT. В 2014 основал Last.Backend — свой оркестратор контейнеров появился практически одновременно с Kubernetes.

    • Last.Backend: управление контейнерами и DevOps как сервис
    • Отказоустойчивая инфраструктура: Kubernetes, CI/CD, bare-metal
    • Разработка на Go
    • Спикер ProIT Fest и GolangConf
  • Александр Тихомиров — Основатель

    Александр Тихомиров

    Основатель

    7 лет в DevOps, десятки реализованных проектов — от первого пайплайна до production под нагрузкой.

    • Проектирование и сопровождение инфраструктуры
    • Миграции в облако и построение с нуля
    • CI/CD, Kubernetes, Infrastructure as Code
  • Денис Герасимов — Основатель

    Денис Герасимов

    Основатель

    5 лет в DevOps. Берёт самые сложные задачи и доводит их до конца.

    • Сложные инфраструктурные проекты
    • Мониторинг, дежурства и разбор инцидентов
    • Автоматизация эксплуатации
FAQ.md

Частые вопросы

Чем отказоустойчивость отличается от катастрофоустойчивости?
Отказоустойчивость — сервис продолжает работать при отказе отдельного компонента: сервера, диска, зоны доступности. Катастрофоустойчивость — бизнес восстанавливается после потери целой площадки или провайдера за согласованное время и с допустимой потерей данных. Первое закрывает эта страница, второе — резервное копирование, DR-план и резерв у другого провайдера.
Достаточно ли разместить всё в нескольких зонах одного облака?
Для большинства отказов — да: зоны изолированы по питанию, охлаждению и сети. Но зоны одного провайдера находятся в одном регионе и управляются одной платформой. В октябре 2026 года Yandex Cloud временно лишился больше одной зоны и рекомендовал клиентам задействовать планы аварийного восстановления. Поэтому для критичных систем к мультизональности добавляем копию данных и план восстановления вне основного провайдера.
Сколько это стоит?
Мультизональность дороже одной зоны: запас мощности, реплики баз, межзональный трафик. Считаем стоимость до начала работ и предлагаем варианты по критичности — например, платёжный контур в трёх зонах, а внутренние инструменты в одной, но с бэкапами.
Нужно ли переделывать приложение?
Stateless-сервисы обычно переносятся без изменений. Сложнее с сервисами, которые хранят состояние локально — сессии, файлы на диске, кэш. Их выносим в базу, объектное хранилище или Redis. Что именно менять, покажет аудит.
С какими облаками вы работаете?
Мы официальные партнёры Yandex Cloud, Selectel и Timeweb Cloud, работаем также с VK Cloud и Cloud.ru. Зоны и регионы у всех устроены по-разному, поэтому архитектуру подбираем под конкретного провайдера.
Можно ли без Kubernetes?
Да. Отказоустойчивость строится и на виртуальных машинах: группы инстансов в разных зонах, балансировщик, HA-кластер базы данных. Kubernetes предлагаем, когда он упрощает эксплуатацию.

Обсудим вашу задачу

Опишите, что происходит с инфраструктурой сейчас, — ответим в течение дня и предложим бесплатный разбор.