← 返回博客
阅读时间 8 分钟ZH

从 24 个容器到 Kubernetes:
一次 AWS 迁移实战案例

这是一份实战记录,讲述我如何把一个松散管理的、由 24 个容器构成的生产 CX 平台,迁移到 AWS 上结构完善的 Kubernetes 环境。内容包括具体的取舍、实际数据,以及如果现在重来我会怎么做。

KubernetesAWSDevOpsGitLab CI/CDHashiCorp Vault案例研究

起点

我是 Abdelhamid NOIRA,常驻摩洛哥卡萨布兰卡的 DevOps 工程师。在 Tersea Groupe 工作期间,我参与了 Deskea 的建设,这是一个由 AI 驱动的全渠道客户体验平台。应用已经在生产环境中运行并承载真实流量,但它的基础设施只是 24 个容器,部署和运维大多靠手工完成,上面也没有任何编排层把它们统一管理起来。

这是成长型产品里很常见的状态:早期就意识到 Docker 是正确的选择,于是把应用容器化,却从未真正迈向编排。扩容意味着 SSH 登录服务器,部署意味着手动重启容器。没有统一的密钥管理,没有蓝绿发布的手段,除了基础的存活检测,也没有真正意义上的可观测性。

为什么选择 Kubernetes

对于 24 个容器的规模,Kubernetes 并不总是正确答案。不少团队用 ECS 或整理得当的 Compose 部署就运行得很好。这次之所以合理,是因为产品路线图包含多区域部署,团队也希望在预发布、生产,以及最终的第二个 AWS 区域之间,使用一致的部署模型。声明式发布、环境之间的一致性,以及按需水平扩缩容,正是 Kubernetes 为之而生的场景。

AWS (EKS)
托管的控制平面,不用再手工运维 etcd 和 API 服务器
Helm
每个服务都封装成 chart,并与应用代码一起做版本管理
GitLab CI/CD
构建、测试、扫描、部署全自动流水线,没有任何手工步骤
HashiCorp Vault
集中式密钥管理,取代明文环境变量文件
Prometheus & Grafana
用集群和应用的真实指标,取代基础的存活检测
Ansible
以角色为单位,完成集群之外所有资源的配置

迁移思路

我没有一次性迁移全部 24 个容器,而是逐个服务迁移:先从风险最低的无状态服务开始,也就是不直接接触客户流量的内部 API,面向客户的服务放在最后。每个服务都有自己的 Helm chart,原来放在明文环境文件里的密钥迁入 Vault,在运行时注入。

发布方面,流量大的服务采用蓝绿部署,其余服务采用金丝雀发布,全部由 GitLab CI/CD 流水线控制。这样,有问题的部署会在影响大部分流量之前被自动发现并回滚,而不会出现有人手忙脚乱地手动回退容器、期间整个服务中断的情况。

凡是不该放在集群里的东西,包括 DNS 记录、IAM 角色和新环境的初始化,都交给 Ansible。于是整个配置过程,无论是集群本身还是周边的基础设施,都变得可复现,不再只存在于某个人的脑子里。

成果

15%
基础设施成本降低
来自告别静态的过度配置,改用大小合适的节点池和自动扩缩容
10%
性能提升
来自合理的资源 requests/limits 设置,以及 Pod 的水平自动扩缩容
99.9%
可用性
蓝绿和金丝雀发布在有问题的部署扩大影响之前就将其拦下

这些数字并非来自某一次大改动,而是来自一系列虽小却正确的默认设置:容器只申请真正需要的 CPU 和内存,集群自动扩缩容器按真实需求增减节点,部署流水线则让最安全的方式同时也是最快的方式。

如果重来,我会这样做

更早引入可观测性
我是在迁移进行到一半时才引入 Prometheus 和 Grafana。事后看,如果第一天就有真实指标,迁移前后的对比,以及向相关方说明成本情况,都会清晰得多。
从一开始就拆分命名空间
早期的服务在同一个命名空间里待的时间比应有的更长。更早按团队或服务边界拆分,可以简化 RBAC,也会让后来的多区域拆分更轻松。
把 Vault 迁移流程写成文档
把密钥从环境文件里搬出来是对的,但我是在做了两次之后才把步骤记录下来。一份简单的运维手册本可以节省不少时间。

结语

把 24 个手工管理的容器迁移到 Kubernetes,并不是为了追逐技术潮流,而是要把一套靠手工、容易出错的运维方式,换成声明式、可重复的体系。成本和性能的改善是实打实的收益,但更大的收获在运维层面:部署从高风险事件变成了日常工作,团队也不再需要记住哪个服务跑在哪台服务器上。

如果你也在用没有编排的容器运行规模相近的平台,并且在犹豫 Kubernetes 是否值得它带来的复杂度,我的坦率回答是:这取决于产品接下来的走向。如果环境一致性、自动扩缩容和更安全的发布确实在你的路线图上,迁移很快就能回本;如果不在,它可能只会增加运维负担。