腾讯云就是草台班子
腾讯云就是草台班子 Tencent Cloud is just a makeshift organization. 腾讯云在技术和解决方案的不成熟,丑闻不断。腾讯云在历史上就发生过员工手动误删客户所有备份的严重事故,给客户造成毁灭性打击。还有完全不做SLA等级隔离,以牺牲全价用户权益的方式偷资源给一折用户使用。
腾讯云:颜面尽失的草台班子
冯若航,2024-04-09 08:29,北京
昨天下午,2024年04月08日 ,腾讯云出现了一场全球性的大故障,用腾讯云官方的说法,崩了 74 分钟(15:31 - 16:45),波及全球 17 个区域与数十款服务。
事实影响是什么
但这与我观察到的事实不符 —— 从故障范围上来说,这次的故障几乎是去年阿里云双十一史诗级大故障的翻版 —— 小道消息是整个管控面 GG,云 API 挂了,所以现象与去年阿里云如出一辙:依赖云 API 的云产品控制台不能用了。
被管控的纯资源,如云服务器 CVM,云数据库 RDS, 设置了公开读写访问对象存储 COS 不受影响可以继续使用。然而依赖认证与API 的各种云 PaaS 服务,例如标准的私有读写的对象存储 COS,就抓瞎了。
因为阿里云至今没有做一个像样的事后故障复盘,因此在《我们能从阿里云史诗级故障中学到什么》中,我为阿里云的这次故障做了非官方的技术复盘。同样的判断逻辑完全也适用于这次故障 —— 这样的爆炸半径,根因出在 Auth 上的概率很大。目前,腾讯云仍然没有给出官方的事后故障复盘报告,也可能不会有了。
忽悠人的状态页
我的朋友杨攀曾写过一篇《中国云服务走向全球?先把 Status Page 搞定》,讨论了 Status Page (服务健康状态页)对于公有云服务的重要性,各家本土云厂商也跟进了这一特性,包括腾讯云。—— 状态页能在服务宕机的情况下有效减少客户的焦虑,降低沟通成本,但它的核心价值在于 “建立与客户的信任关系”。
看上去,腾讯云与阿里云的 Status Page 反应都比较迟缓,在故障发生后三四十分钟才开始更新。而不是像 Cloudflare 等产品一样及时更新故障,或采用自动化方式监测到故障后立即推送。但不同于阿里云 —— 虽慢却诚实地标记了所有服务受到影响,腾讯云的 Status Page 连基本的真实性与准确性都堪称 稀烂。
例如,受到影响的对象存储 COS 服务,在有用户上报问题的几个可用区中,我并没有看到 Status 标红。而这样的例子还有更多。事实上如果问题真出在管控 API 上,那么影响的范围应该和阿里云一样 —— 所有服务的控制面。因此,这样鸡贼的做法只会给客户留下:“不透明、有猫腻“ 的负面印象。
撒谎的三无公告
在故障出现 40 ~ 50 分钟后,腾讯云终于发出了第一份故障公告,也是截止到目前 Status Page 上唯一一份公告。但其内容就一句话 —— 三无公告:无时间(故障时间),无地点(可用区/AZ),无范围(影响服务)。而且姗姗来迟,比我替它发的公告《【腾讯】云计算史诗级二翻车来了》还晚了十分钟。
但这份公告最致命的问题是真实性与准确性:首先,故障绝对不仅仅是“控制台”,而是整个控制面。作为一个专业的云计算服务供应商,一字之差天壤之别,混淆两者区别的原因,要么是蠢(缺乏专业素养,台面混为一谈)。要么是坏(避重就轻,推卸责任)。
请问,一个全身休克的人,说他 “面色异常”,这是一个真诚的回复吗?请问,一台被砸烂的笔记本电脑,说它“敲击键盘没有反应”是一个有意义的描述吗?同理,一个控制面爆炸的公有云,说自己“控制台异常”,是一个认真的回复吗?
其次,从事后官微的发布与用户群的反馈来看,在这个时间,“目前故障已恢复” 是在撒谎。至少相当一部分服务的可用性事件是在 16:45 标记恢复的,在17 点前后,腾讯云产品吐槽群中也仍然有一些问题上报。
我认为这份对腾讯云带来的伤害远比服务宕机要大的多 —— 首先,在及时性,准确性上体现出了极差的专业素养。其次,在真实性上有意做手脚,会伤及公有云,或者说 一切生意的根本 —— 诚信。这对品牌形象是一个摧毁性打击。
灾难级别的公关
按理说,出现了这么严重的故障,应当用诚恳认真的态度去处理,但腾讯云官方微博居然还在抖机灵 —— 堪称灾难级别的公关水平。
这条微博也再次扇了腾讯云自己官网公告的大嘴巴子 —— 16:45 分发第一条帖子时,“工程师仍在紧急修复中”,17:16,距离第一次报告故障的 15:31已经过去近两个小时,“已经整体恢复”。然而,根据腾讯云官网 16:21 发布的公告声称:“故障已恢复”。从实际情况来看,再次证明了官网公告在说谎。
阿里云双十一大故障的时候,刚刚开完云栖大会,打脸了吹下的极致高可用的牛逼,但毕竟隔了一周了。而腾讯云这次大故障的同时还在开发布会吹牛逼,还找特大号发了一篇软文:《太意外了!国内80%大模型都存在鹅厂!》,发布时间 16:19,2分钟后官网发出故障通告,堪称光速打脸二次方。
与之形成鲜明对照的是,去年 11 月 Cloudflare 的故障,Cloudflare CEO Matthew 亲自出来对故障进行道歉与复盘,相比之下,国内云厂商的危机公关堪称灾难级别 —— 彻底做实了草台班子的称号。
实锤的草台班子
请允许我引用瑞典马工的一句名言 :“阿里云是个工程质量差劲的正经云,但腾讯云是一群业余销售加业务码农玩游戏”。所谓光鲜亮丽的大厂,在里面也不过是一个又一个的草台班子。
忽悠人的状态页,撒谎的三无公告,以及灾难级别的公关。三者概括起来是同一个问题 —— 傲慢。作为工程师,我完全可以理解 —— 出现故障是难以避免的,没出故障也可能仅仅是运气使然。真正能体现专业素养与服务质量的,是在发生故障之后的反应与处理态度。
不幸地是,腾讯云在这一点上表现的稀烂!我自己是阿里云、腾讯云、AWS、Cloudflare 的用户,即使是现在,我也依然在使用腾讯云 COS / CDN 提供中国境内的软件仓库加速访问,并使用 CVM 搭建 Demo。老实说体验并不怎样,但凑合用用也就忍了。
但腾讯云的这种傲慢与业余的态度,让我对其彻底失望。作为一个验证测试,我特意找了客服要求按 SLA 赔付 —— 我并不在乎几十块代金券 —— 毕竟 Cloudflare 直接不要钱。但我很想,纯粹是看一下腾讯云会如何看待自己的 服务等级协议 / SLA 。但事实证明,这个 SLA 跟厕纸一样 —— 不主张就不赔付,主张了不认账也可以不赔付。
SLA 被有意地与服务的真实可靠性相混淆 :SLA 并不是真正的可靠性承诺或历史战绩,而是一种营销工具,旨在让买家相信云厂商可以托管关键业务应用。
与其说是 SLA 是对用户的补偿,不如说 SLA 是对云厂商服务质量没达标时的“惩罚”。惩罚的威慑取决于惩罚的确定性及惩罚的严重性。月消的时长/代金券赔付对云厂商来说并没有什么实际成本,所以惩罚的严重性趋近于零;赔付还需要需要用户自己举证主张并得到云厂商的批准,这意味着确定性也不足。
用户不应该指望云 “安全,可靠”,能为你提供保险托底。实际上,我所知道唯一一家,因为误操作删除用户数据导致创业企业濒临破产的云厂商 —— 就是腾讯云。
说到底,故障不是腾讯云草台的原因,傲慢才是。
服务等级协议(Service Level Agreement,SLA)是一种合同或协议,用于规定提供方与客户之间的服务标准和责任。SLA中包含了服务的关键指标和目标,例如可用性、性能、响应时间、故障恢复时间等。它定义了服务提供方需要达到的最低标准,并规定了一些补偿措施或违约责任,以确保提供方履行其 承诺。
讲讲我被腾讯云坑的经历。
我刚入职一家初创公司的时候,用的就是腾讯云,兼职运维工作。
记得有一次腾讯云上的监控出现问题,导致页面上显示的集群内数据完全是乱的,服务状态也是出现了很大问题,当时提单给腾讯云后台。
后来腾讯云工程师找到我,并让我尝试运行他们的监控脚本,我做了,然后把脚本日志打包给了他。
再后来他说是集群挂了,让我将异常节点移出集群然后再移进来,这时候我问他,数据是否会丢失,他给我回答的是,没问题,完全不影响数据,数据在硬盘上。然后我就相信的照做了。
BUT,这玩意移出集群后节点被重装系统了。。。数据完全丢失。我就再找他说聊斋,结果他搞了半天,来一句,我们尽力了,恢复不了数据,我们真的没办法,我当时心里真的骂娘。
最庆幸的是,这台服务器不是git服务器,要是的话我可能已经被IT界拉入给名单了吧
再后来腾讯云客服经理找到我,说我们正在抢救数据,一定时时给你情况。
BUT,一直没下文了。。。。
后来我心惊胆战的给CTO说了这个事,然后果断抛弃了腾讯云,暂时买服务器重新来搭集群和服务,记得那周,凌晨的空气都有很深的愤怒。