← Назад к блогу
8 мин чтенияRU

От 24 контейнеров к Kubernetes:
реальный кейс миграции на AWS

Практический разбор того, как я перевёл боевую CX-платформу, работавшую на 24 слабо управляемых контейнерах, на полноценный Kubernetes в AWS: с конкретными компромиссами, цифрами и тем, что я сделал бы иначе.

KubernetesAWSDevOpsGitLab CI/CDHashiCorp VaultКейс

Исходная точка

Я — Abdelhamid NOIRA, DevOps-инженер из Касабланки, Марокко. Во время работы с компанией Tersea Groupe я занимался Deskea — их омниканальной платформой клиентского опыта на базе ИИ. Приложение уже работало в продакшене и обрабатывало реальный трафик, но его инфраструктура состояла из 24 контейнеров, развёрнутых и управляемых в основном вручную, без какого-либо слоя оркестрации, который связывал бы их воедино.

Для растущего продукта это типичная ситуация: он упакован в контейнеры, потому что кто-то вовремя понял, что Docker — правильный выбор, но до настоящей оркестрации дело так и не дошло. Масштабирование означало заходить на машины по SSH. Развёртывание — вручную перезапускать контейнеры. Не было единообразного управления секретами, пути blue-green-выкатки и реальной наблюдаемости, кроме простых проверок доступности.

Почему именно Kubernetes

Kubernetes — не всегда лучший ответ для 24 контейнеров: многие команды прекрасно справляются с таким масштабом на ECS или на хорошо организованном Compose. Здесь он имел смысл, потому что дорожная карта продукта предусматривала мультирегиональное расширение, а команда хотела единую модель развёртывания для всех окружений (staging, production и со временем второго региона AWS). Эти требования — декларативные выкатки, одинаковые окружения и горизонтальное масштабирование по запросу — именно то, для чего создан Kubernetes.

AWS (EKS)
Управляемый control plane — не нужно тратить время на ручную эксплуатацию etcd и API-сервера
Helm
Каждый сервис упакован в чарт и версионируется вместе с кодом приложения
GitLab CI/CD
Полностью автоматизированные пайплайны: сборка, тесты, сканирование, развёртывание — без ручных шагов
HashiCorp Vault
Централизованное управление секретами вместо файлов окружения с паролями в открытом виде
Prometheus & Grafana
Настоящие метрики кластера и приложений вместо простых проверок доступности
Ansible
Провижининг на основе ролей для всего, что находится за пределами самого кластера

Подход к миграции

Я не переносил все 24 контейнера сразу. Каждый сервис мигрировал по отдельности, начиная с наименее рискованных, без состояния — внутренних API без прямого клиентского трафика, — прежде чем затрагивать что-либо, видимое клиентам. Для каждого сервиса был свой Helm-чарт, а секреты, раньше лежавшие в открытых файлах окружения, переехали в Vault и подставлялись во время выполнения.

Для выкаток я настроил blue-green-развёртывания для самых нагруженных сервисов и canary-релизы для всех остальных, под контролем пайплайна GitLab CI/CD. Так неудачное развёртывание можно было обнаружить и автоматически откатить, пока оно не затронуло большую часть трафика, вместо полного простоя, пока кто-то вручную возвращает контейнер.

Ansible взял на себя то, что не должно было жить внутри кластера, — DNS-записи, роли IAM и начальную конфигурацию новых окружений, — так что весь провижининг, и кластера, и окружающей инфраструктуры, остался воспроизводимым и перестал храниться в чьей-то голове.

Результаты

15 %
Ниже затраты на инфраструктуру
За счёт точно подобранных пулов нод и автомасштабирования вместо статического избыточного резервирования
10 %
Выше производительность
За счёт корректных requests/limits ресурсов и горизонтального автомасштабирования подов
99,9 %
Доступность
Blue-green- и canary-выкатки останавливают неудачные развёртывания, пока они не распространились

Ни одна из этих цифр не появилась от одного большого изменения — они сложились из множества мелких правильных настроек по умолчанию: контейнеры запрашивают только тот CPU и память, которые реально используют; автомасштабировщик кластера добавляет и убирает ноды по фактической нагрузке; а пайплайн развёртывания делает безопасный способ поставки ещё и самым быстрым.

Что я сделал бы иначе

Внедрить наблюдаемость раньше
Prometheus и Grafana появились в середине миграции. Задним числом, реальные метрики с первого дня сделали бы сравнение «до и после» — и обоснование затрат перед заинтересованными сторонами — куда нагляднее.
Изолировать namespace с самого начала
Первые сервисы слишком долго жили в одном namespace. Раннее разделение по командам или границам сервисов упростило бы RBAC и облегчило последующее разделение на несколько регионов.
Задокументировать путь миграции в Vault
Вынести секреты из файлов окружения было правильным решением, но процесс записали только после того, как прошли его дважды. Короткий runbook сэкономил бы реальное время.

Заключение

Миграция 24 контейнеров, управлявшихся вручную, в Kubernetes была не погоней за модной технологией, а заменой ручных и подверженных ошибкам операций на нечто декларативное и повторяемое. Выигрыш в стоимости и производительности был реальным, но главная победа — операционная: развёртывания из рискованных стали рутинными, а команде больше не нужно было знать, на каком именно сервере сейчас работает тот или иной сервис.

Если вы эксплуатируете платформу сопоставимого масштаба на неоркестрируемых контейнерах и решаете, стоит ли Kubernetes своей сложности, честный ответ таков: всё зависит от того, куда движется ваш продукт. Если единообразие окружений, автомасштабирование и более безопасные выкатки действительно есть в ваших планах, миграция быстро окупится. Если нет — это может оказаться лишь дополнительной операционной нагрузкой.