2022 年 12 月 18 日，阿里云香港服务出现了异常。本站所用的香港服务器也中招，由于本人不正确的报警配置，导致部分域名没有正确切换解析，造成了一小部分用户最长半小时的不可用。然而，阿里云香港机房出现问题的时间远不止一个小时。根据我这里的监控，自北京时间 10:49 开始，我跑在香港阿里云上的 HTTP、HTTPS 服务就完全不可用了，直至 20:46 才恢复，共计宕机时间 10 小时。
事故回顾
本人是在早上起床后就发现阿里云香港服务器不可用。一开始以为是被神秘力量封锁了，但是看到报警邮件后发现，香港服务器在国外其他地区也不可用。
然后我就测了一下，发现主机能 ping，但无法 SSH 上去，HTTP/HTTPS 服务亦不可用。此外，yangxi.tech 网站服务也受到了影响。然后我登录了 AWS 中国区的 Route 53 去查看报警，结果发现 Route 53 上没有任何报警（我的 guozeyu.com 和 yangxi.tech 都在用中国区 Route 53）。查看最近的监控，发现我在 Route 53 上有一处配置错误，导致程序实际上没有在监控香港阿里云……于是修改了监测规则。此时我登录了 AWS 国际区，发现国际区的阿里云香港监控是在正常报警，发现是从 10:49 开始，全球所有监测点均不可用。
由于此时 AWS 中国区的报警已经被我改成正确的了，所以已经根据规则，在 DNS 层面进行自动宕机切换了；而且，我之前配置的 DNS TTL 也仅有 120 秒，所以我的所有网站应该在 11:20 前就已经完全恢复正常了。如果没有错误的报警规则，我的网站总共宕机时间也不会超过 5 分钟。
然后我登录了我自建的 Observium 监控，不出意外的看到了阿里云香港的机器已经宕机了。但我发现在宕机前，服务器的 CPU 是 100%。我就怀疑这是不是我自己服务器上某个程序卡死了，占用了所有资源，导致看起来 HTTP/HTTPS/SSH 服务都不可用了。
此时已经 11:30 了，我还觉得这个是我自己的问题，毕竟我也没收到阿里云任何邮件、电话提醒。于是我登录了阿里云后台，尝试进行重启。此时我没有选择强制关机。结果，关机指令已经执行了 10 分钟，机器仍未关闭。平时我使用 GCP 时，如果关机指令执行超过两分钟，那么就会自动执行强制关机，所以此时执行了 10 分钟的关机就很离谱。然后我就尝试发工单，但没能进入到工单，被转到了在线客服。我向在线客服描述了问题后，无人回复。然后我又尝试发工单，结果工单也是无人回复。只是得到了机器人回复，说在关机时，Windows 会执行系统更新，有时需要 10-15 分钟。请在等待 20 分钟后联系客服。
大概又过了半个小时，机器终于成功关闭了，但在尝试多次后，机器无法启动。即便我点了启动，机器也会在一段时间后变成 “已停止” 状态。由于此时我还是以为是我自己的问题，不是阿里云的问题，我以为是刚刚强制关机导致系统损坏了，于是尝试给现有云盘打快照，尝试回滚。但离谱的事又发生了，我发现我根本无法打快照！快照的进度一直是 0%。
在 11:55，我终于收到了工单的回复：“您好！阿里云监控发现香港地域某机房设备异常，影响香港地域可用区C的云服务器ECS、云数据库polardb等云产品使用，阿里云工程师已在紧急处理中，非常抱歉给您的使用带来不便，若您有任何问题，请随时联系我们”。此时我才知道，这次的宕机可能不是我自己的问题，我放弃了自己尝试恢复服务。
该回复没有提供解决方案，也没有预计的恢复时间，可以说无非就是告诉了我 “这个是我们阿里云的问题”，对于恢复服务没有实质性帮助。
无力吐槽阿里云
本次事件最值得吐槽的地方是，我从未收到阿里云发来的有关通知。直至现在，我在邮箱、短信、站内信中没有收到任何阿里云关于此次服务宕机的提醒。我相信阿里云是有很多监控的，我坚信阿里云早在我发现我的服务出现问题之前，就已经知道了我的服务，以及其他人的服务器出现了问题了。但我却没有收到任何通知。唯一告知我阿里云存在问题的还是我发工单自己问出来的。
我觉得阿里云有必要向所有受影响的，以及可能受影响的客户发送相关提醒。在连续宕机了 8 小时，且仍未恢复的情况下，阿里云仍不主动通知客户，我实在是难以怀疑阿里云是否是故意不做通知，试图掩盖问题。
那还用阿里云吗？
会的。作为中国第一大，以及全球也能排的上前几的云服务商，我不怀疑阿里云的技术实力。我现在用阿里云主要是为了阿里云香港的 CN2 精品网，用于数据跨境（价格为 3元/GB）。目前在这方面也没有什么可替代的方案。专线也考虑过，太贵了，买不起。
但是，我不会把核心业务放在阿里云上了。放在 AWS 上我更安心一些。本次阿里云香港宕机只影响了我的网站一小会儿，也正是因为我没有把核心业务放在阿里云上。
本站是如何做到高可用的？
很简单，本站在四个地区，使用了四个不同服务商的服务器：
- 德国 OVH
- 北京 AWS
- 香港 阿里云
- 美国 Google Cloud
而且本站是纯静态网站。本站会在构建后，将构建产物分别同步到四个服务器上，没有主服务器的概念。本站通过 GeoDNS，将访客解析到最近的服务器，以降低延迟。在阿里云香港服务器宕机后，只需要停止响应解析即可。原本亚太地区解析到香港，现在亚洲会解析到北京，澳洲会解析到美国，这部分用户就被分流到可用的服务器上了。
本站还使用了 Route 53 的 Health Check 功能，可以实现接近实时的监控主机运行状态，在发现运行状态异常时，自动停止响应解析。目前，我的网站会在出现异常后一分钟内检测并识别到，并停止响应解析。相关 DNS 记录的时间设置在了 120 秒，因此服务发生不可用时，用户影响的时间不会超过 3 分钟。