第一百五十九章 工程现实
第159章 工程现实
温杰擦了擦汗,检查所有环是否恢復正常运作。他调出监控面板,只见最后一行红色也变成了绿色。
“队列清空了。”温杰鬆了口气,“广东那边的接口回调恢復正常,所有积压的订阅已经確认完毕。目前的总订阅量......七十七万。”
韩非点了点头,看著聚集在会议室的眾人。他们先前对这次的转化率已做好了心理准备,但这个数字仍然远超预期。几分钟前那一张张紧张兮兮的脸孔,如今都被这个数字注入了新的活力,仿佛死灰復燃一般。
七十七万。两百万条推送,百分之三十八点五的转化率。在系统差点崩掉的情况下。
“非哥,”温杰说,双眼不禁流露出笑意,“咱们扛过来了。”
周明发出短促的笑声:“韩社长,这次的事故虽然不是青鸟这边的问题,但也算是给咱们提了个醒。同步请求的架构,在爆发式增长面前是有天花板的。异步队列今天能用上,是因为mvp版本的时候就留了接口。今天这个小插曲倒也不是坏事。因为以后青鸟只会越做越大,现在既然及时发现了短板,那就把削峰填谷的机制彻底固化下来,这样也就避免今后在更重要的推送中遇到麻烦了。”
“嗯,”韩非说,“周工说得没错。有些坑,不掉进去一次,就永远不知道它在那儿。而只有知道了,以后才能绕著它走。温杰,把这个写进下周的技术规划里。”
“好,我会儘快办。”温杰说。
“还有,”周明说,“温杰今天反应挺快的。这种应急能力,比写一百行优雅的代码都值钱。这次算是一个难得的实战训练,可遇不可求。”
眾人发出哈哈笑声。
陈远山从技术部回到保密会议室,刘振华、方静和赵国强正在討论刚才的小波折和那个惊人的转化率。这时他的心情是兴奋、高兴的,没有其他言语可以形容。刘振华和方静脸上也都露出灿烂笑容。但显然並非所有人都对这个结果感到满意。他刚走进办公室就听见赵国强发表了一番令人扫兴的言论。
“刘总,这件事我们必须復盘。韩非如果当时选择分批推送,而不是一口气把两百万条全砸进去,广东的系统会崩吗?当然不会。他这种冒进的做法无异於是在拿我们移动的省级试点当赌注。幸亏最后稳住了,要是没稳住呢?”
一片寂静。刘振华和方静敛起笑容,露出严肃表情。
“嗯嗯,我举双手同意国强说的。”陈远山说,话一出口就觉得很有讽刺意味,“我看我们应该把省级试点彻底取消,最好乾脆连魔都的號码池也关了,这样更加安全啊。反正只要不做事,那就永远不会出错。”
赵国强脸色一变,仿佛被人摑了巴掌。陈远山在方静和赵国强中间的椅子上坐下来,大声咂了咂嘴。
刘振华看著赵国强,眉头一皱:“国强,你这都什么思想觉悟?你只看见系统出了些问题,却没看到七十七万新增用户、38.5%的转化率。舆论爆发期的黄金窗口期稍纵即逝,如果因为怕出问题就分批推送,等舆论从爆发期转为了发酵期,公眾的情绪也就从衝动变成了理性关注,转化率就可能腰斩。创新不是在无菌实验室里头做实验,而是在炮火中抢阵地。这是战略窗口期的必然选项。你是想让创新为流程让路?这是本末倒置。再说,广东系统承载力不足,是青鸟的问题吗?我们自己的技术团队压力测试只做到四十万,实际峰值达到了七十万,这是我们的短板被市场暴露了。你不去检討自己內部的系统脆弱性,反而怪合作方跑得太快?一个病人按医嘱吃药,结果药有问题,你不去怪药厂,反倒怪病人不该吃?”
陈远山哈哈大笑,隨即发现笑的不是时候,於是闭上嘴巴。
“刘总,”赵国强说,“您说创新要在炮火中抢阵地,我同意。但抢阵地之前,是不是该摸清敌人的火力点?韩非知道广东系统的压力上限吗?一个不知道上限的决策,那不叫勇敢,叫盲赌。我作为风控角色,提醒这个盲点,有什么错?”
“广东系统的上限在哪里?”陈远山靠上椅背,双手抱在脑后,“他们自己都不知道。他们做的四十万並发测试,用的是虚擬数据,没有模擬真实用户的状况。真正的上限只有在真实流量衝击下才能暴露。韩非的全量推送,恰恰帮我们找到了这个上限。这是宝贵的实战数据,”他顿了顿,“不是罪证。”
“那他是不是也应该更谨慎一些?”
方静吸了口气:“我来告诉你,韩非在全量推送之前让团队做了一万条的三分钟测试,確认了接口完全通畅。他是在有限信息下做了最优决策。而你坐在总部,看到的是事后完整日誌,当然觉得应该更谨慎。这是典型的事后诸葛亮。如果每个试点单位都要先通过你的绝对安全审核,那不会有任何团队敢创新。系统崩溃的风险,韩非比你更清楚,但他愿意用可控的混乱换取不可逆的先发优势。而且这次事故的根因是广东资料库锁表,反倒是韩非那边的快速应急,才保住了业务。”
“青鸟那边反应快,我承认。但一个健康的系统,不应该靠应急来兜底。他们难道不知道事前预防优於事后补救”吗?”
“在不知道上限的情况下,怎么事先防御?往哪里防?”方静抗议说,“按照你的逻辑来看,所有成功的应急都是因为之前的决策有瑕疵。那世界上就不存在好的决策”了,因为任何决策在执行中都有可能遇到意外。判断决策好坏的依据,不是有没有出意外,是意外发生后能不能快速恢復。青鸟的异步队列十几分钟就上线了,这反向证明了他们架构设计的弹性和团队的执行力。更何况责任本就在移动的系统脆弱性,不在青鸟的推送策略。出了问题之后,人家不仅没有推諉,还快速上线异步队列帮移动兜了底。你非要把这说成瑕疵,我只能认为你是在为反对而反对。”
“这是侥倖!”赵国强逐渐拉高嗓门,声音变得尖细刺耳,“你们这是把一次侥倖的成功,当成了方法的正確。但真正的战略,是不能建立在运气和应急之上的。如果今天不追究决策过程的问题,明天就会有人用同样的方式,把整个项目带进深渊。”
方静看了陈远山一眼,陈远山意味深长地点了点头。
“你反覆强调不能靠应急,”方静说,“那我问你,你见过哪个网际网路公司的系统,不是靠著一次次的应急叠代出来的?藤讯的qq早期整天宕机,微软的windows95系统刚出来时以蓝屏死机闻名,但人家崩一次就打一个补丁,所以现在windowsxp才能样跑遍全世界。如果你要求第一次就完美,那这个项目永远別上线。这次就算没有把系统及时稳住,我们也可以技术復盘、快速修復,从中吸取教训並实现技术升级,好好反思一下为什么青鸟的伺服器没问题,移动的却扛不住。你的稳健,本质上是停滯的遮羞布。”
赵国强张口欲言,刘振华瞪了他一眼,他又把嘴巴合上。
“你的反对没有建设性,只有破坏性。”刘振华说,口气十分严厉,“你的反对从来不附带替代方案。你只会说不能全量,却又说不出来应该推多少、分几批、每批间隔多久、依据什么数据判断下一批。没有数据支撑、没有执行细节的反对,不是风险控制,只是情绪宣泄。”
赵国强挤出微笑,作为回应。
“责任和权力必须对等。”刘振华继续说,“如果按你说的分批推送,分批之间的间隔时间短了同样会造成订阅集中爆发,间隔时间长了会错过窗口期,结果导致转化率腰斩,三个月完不成五百万流水。到了那个时候,你愿意在报告上签字,向董事会说明是你建议放弃舆论窗口期的吗?你不敢,你只敢在安全地带指手画脚。因为你只想要提醒的功劳,却不想要决策的代价。而韩非敢为他的全量推送承担全部后果,这就是创业者和官僚的区別。”
赵国强的眉毛高高扬起。
刘振华站了起来,朝门口走去:“移动总部的战略级试点不是实验室。我们选青鸟,就是看中了他们敢在炮火中衝锋的基因。如果你不能接受这种文化,那后续的战略决策会议,你可以选择不参加。”
“我...
“”
门在刘振华身后砰的一声关上。陈远山和方静朝赵国强看去,只见他瞪著关上的门,露出惊愕的表情。
陈远山和方静站起身来,陈远山微微一笑:“老赵,咱俩认识二十年,我最后劝你一句,別让风控”变成你不敢衝锋的藉口。移动的未来,不是靠不犯错守出来的,一定是靠敢打仗打出来的。你要是还转不过这个弯,以后青鸟的技术復盘会,你就听刘总的,真的別参加了,省得大家还得花时间给你解释什么叫工程现实。”
下午四点二十六分,卢海坐在韩非的办公室,聆听温杰述说韩非如何深夜一招妙棋救记者,他们如何趁势全量推送,打造了订阅神话,最后又是如何化险为夷,妙手化解系统危机。
卢海眨眨眼,嘴巴微张,听得一愣一愣:“我的老天爷,我走这一天,发生了这么多大事。温杰,你刚才说异步队列......是不是就是那种你先排队,我待会几再理你”的意思?”
温杰蹙起眉头。
“差不多吧,”韩非说,“反正比你上次在广东被人套话时,脑子里的同步处理”快多了。”
温杰张嘴露牙,捧腹大笑,笑到连口水都滴了出来。
“卢海那哪是同步处理”啊,”张芮伊笑著说,“根本就是內存不足,人家问一句,他卡半天,最后还恢復到出厂设置了。”
卢海终於搞懂这个笑话,跟著温杰一起笑了起来。
“哎,等等!”卢海大声说,眉头深锁,“我刚才被你们绕进去了,有点儿没转过弯来。舆论不是应该越发酵越大吗?中午刚上了央视,下午网媒又铺天盖地,现在快到晚上了,又能上晚间新闻,这关注度明明在往上涨啊。为什么要赶在下午全量推送?等到今天晚上,不是更多人看到了新闻,转化率不是应该更高吗?”
温杰眨了眨眼,看向韩非,仿佛是觉得卢海这个问题问到了点子上。
韩非看了张芮伊一眼,微微一笑:“卢海这个问题问得好。你觉得舆论是一条一直往上涨的直线,但实际上它是一条拋物线,而且特別陡。”
“什么意思?”
“你没经歷今天白天的全过程,所以你可能不太理解。”张芮伊说,“我问你个问题,你觉得用户在看到新闻之后,从感动”到订阅”之间,需要多长时间?”
卢海想了想:“呃.....一天?半天?”
张芮伊摇了摇头:“不对。只有几个小时,甚至更短。今天中午,央视《新闻30分》
口播了杨正事件的简讯。虽然只有二十秒,但那是央视。全国几千万人在那个时间打开了电视,看到深夜救人、官方表扬这些关键词。这个时候,用户的情绪是最单纯的,可能是感动或愤怒,再或者是敬佩。他们不会想著去分析什么行业监管漏洞。他们只知道这家出版社的社长救了人,官方点了赞,我要支持它。
“你是说,到晚上就不一样了?”
“嗯,到晚上会有更多媒体跟进,报导的信源和角度都会变多。有的会深挖黑色產业链,有的会討论记者安全,有的会请专家分析监管缺位,甚至会有人开始质疑青鸟是不是在利用这件事给自己做gg。用户的注意力会被分散,情绪也就会被各种声音冲淡。他们那时再看到简讯时,脑子里想的就不再是这家企业真好”,很可能会变成这事到底谁对谁错?”或者是我该信谁?”每一个疑问都会让用户的行动意愿下降,在回復订阅时多犹豫一秒。而这一秒,就足以让转化率腰斩。”
温杰擦了擦汗,检查所有环是否恢復正常运作。他调出监控面板,只见最后一行红色也变成了绿色。
“队列清空了。”温杰鬆了口气,“广东那边的接口回调恢復正常,所有积压的订阅已经確认完毕。目前的总订阅量......七十七万。”
韩非点了点头,看著聚集在会议室的眾人。他们先前对这次的转化率已做好了心理准备,但这个数字仍然远超预期。几分钟前那一张张紧张兮兮的脸孔,如今都被这个数字注入了新的活力,仿佛死灰復燃一般。
七十七万。两百万条推送,百分之三十八点五的转化率。在系统差点崩掉的情况下。
“非哥,”温杰说,双眼不禁流露出笑意,“咱们扛过来了。”
周明发出短促的笑声:“韩社长,这次的事故虽然不是青鸟这边的问题,但也算是给咱们提了个醒。同步请求的架构,在爆发式增长面前是有天花板的。异步队列今天能用上,是因为mvp版本的时候就留了接口。今天这个小插曲倒也不是坏事。因为以后青鸟只会越做越大,现在既然及时发现了短板,那就把削峰填谷的机制彻底固化下来,这样也就避免今后在更重要的推送中遇到麻烦了。”
“嗯,”韩非说,“周工说得没错。有些坑,不掉进去一次,就永远不知道它在那儿。而只有知道了,以后才能绕著它走。温杰,把这个写进下周的技术规划里。”
“好,我会儘快办。”温杰说。
“还有,”周明说,“温杰今天反应挺快的。这种应急能力,比写一百行优雅的代码都值钱。这次算是一个难得的实战训练,可遇不可求。”
眾人发出哈哈笑声。
陈远山从技术部回到保密会议室,刘振华、方静和赵国强正在討论刚才的小波折和那个惊人的转化率。这时他的心情是兴奋、高兴的,没有其他言语可以形容。刘振华和方静脸上也都露出灿烂笑容。但显然並非所有人都对这个结果感到满意。他刚走进办公室就听见赵国强发表了一番令人扫兴的言论。
“刘总,这件事我们必须復盘。韩非如果当时选择分批推送,而不是一口气把两百万条全砸进去,广东的系统会崩吗?当然不会。他这种冒进的做法无异於是在拿我们移动的省级试点当赌注。幸亏最后稳住了,要是没稳住呢?”
一片寂静。刘振华和方静敛起笑容,露出严肃表情。
“嗯嗯,我举双手同意国强说的。”陈远山说,话一出口就觉得很有讽刺意味,“我看我们应该把省级试点彻底取消,最好乾脆连魔都的號码池也关了,这样更加安全啊。反正只要不做事,那就永远不会出错。”
赵国强脸色一变,仿佛被人摑了巴掌。陈远山在方静和赵国强中间的椅子上坐下来,大声咂了咂嘴。
刘振华看著赵国强,眉头一皱:“国强,你这都什么思想觉悟?你只看见系统出了些问题,却没看到七十七万新增用户、38.5%的转化率。舆论爆发期的黄金窗口期稍纵即逝,如果因为怕出问题就分批推送,等舆论从爆发期转为了发酵期,公眾的情绪也就从衝动变成了理性关注,转化率就可能腰斩。创新不是在无菌实验室里头做实验,而是在炮火中抢阵地。这是战略窗口期的必然选项。你是想让创新为流程让路?这是本末倒置。再说,广东系统承载力不足,是青鸟的问题吗?我们自己的技术团队压力测试只做到四十万,实际峰值达到了七十万,这是我们的短板被市场暴露了。你不去检討自己內部的系统脆弱性,反而怪合作方跑得太快?一个病人按医嘱吃药,结果药有问题,你不去怪药厂,反倒怪病人不该吃?”
陈远山哈哈大笑,隨即发现笑的不是时候,於是闭上嘴巴。
“刘总,”赵国强说,“您说创新要在炮火中抢阵地,我同意。但抢阵地之前,是不是该摸清敌人的火力点?韩非知道广东系统的压力上限吗?一个不知道上限的决策,那不叫勇敢,叫盲赌。我作为风控角色,提醒这个盲点,有什么错?”
“广东系统的上限在哪里?”陈远山靠上椅背,双手抱在脑后,“他们自己都不知道。他们做的四十万並发测试,用的是虚擬数据,没有模擬真实用户的状况。真正的上限只有在真实流量衝击下才能暴露。韩非的全量推送,恰恰帮我们找到了这个上限。这是宝贵的实战数据,”他顿了顿,“不是罪证。”
“那他是不是也应该更谨慎一些?”
方静吸了口气:“我来告诉你,韩非在全量推送之前让团队做了一万条的三分钟测试,確认了接口完全通畅。他是在有限信息下做了最优决策。而你坐在总部,看到的是事后完整日誌,当然觉得应该更谨慎。这是典型的事后诸葛亮。如果每个试点单位都要先通过你的绝对安全审核,那不会有任何团队敢创新。系统崩溃的风险,韩非比你更清楚,但他愿意用可控的混乱换取不可逆的先发优势。而且这次事故的根因是广东资料库锁表,反倒是韩非那边的快速应急,才保住了业务。”
“青鸟那边反应快,我承认。但一个健康的系统,不应该靠应急来兜底。他们难道不知道事前预防优於事后补救”吗?”
“在不知道上限的情况下,怎么事先防御?往哪里防?”方静抗议说,“按照你的逻辑来看,所有成功的应急都是因为之前的决策有瑕疵。那世界上就不存在好的决策”了,因为任何决策在执行中都有可能遇到意外。判断决策好坏的依据,不是有没有出意外,是意外发生后能不能快速恢復。青鸟的异步队列十几分钟就上线了,这反向证明了他们架构设计的弹性和团队的执行力。更何况责任本就在移动的系统脆弱性,不在青鸟的推送策略。出了问题之后,人家不仅没有推諉,还快速上线异步队列帮移动兜了底。你非要把这说成瑕疵,我只能认为你是在为反对而反对。”
“这是侥倖!”赵国强逐渐拉高嗓门,声音变得尖细刺耳,“你们这是把一次侥倖的成功,当成了方法的正確。但真正的战略,是不能建立在运气和应急之上的。如果今天不追究决策过程的问题,明天就会有人用同样的方式,把整个项目带进深渊。”
方静看了陈远山一眼,陈远山意味深长地点了点头。
“你反覆强调不能靠应急,”方静说,“那我问你,你见过哪个网际网路公司的系统,不是靠著一次次的应急叠代出来的?藤讯的qq早期整天宕机,微软的windows95系统刚出来时以蓝屏死机闻名,但人家崩一次就打一个补丁,所以现在windowsxp才能样跑遍全世界。如果你要求第一次就完美,那这个项目永远別上线。这次就算没有把系统及时稳住,我们也可以技术復盘、快速修復,从中吸取教训並实现技术升级,好好反思一下为什么青鸟的伺服器没问题,移动的却扛不住。你的稳健,本质上是停滯的遮羞布。”
赵国强张口欲言,刘振华瞪了他一眼,他又把嘴巴合上。
“你的反对没有建设性,只有破坏性。”刘振华说,口气十分严厉,“你的反对从来不附带替代方案。你只会说不能全量,却又说不出来应该推多少、分几批、每批间隔多久、依据什么数据判断下一批。没有数据支撑、没有执行细节的反对,不是风险控制,只是情绪宣泄。”
赵国强挤出微笑,作为回应。
“责任和权力必须对等。”刘振华继续说,“如果按你说的分批推送,分批之间的间隔时间短了同样会造成订阅集中爆发,间隔时间长了会错过窗口期,结果导致转化率腰斩,三个月完不成五百万流水。到了那个时候,你愿意在报告上签字,向董事会说明是你建议放弃舆论窗口期的吗?你不敢,你只敢在安全地带指手画脚。因为你只想要提醒的功劳,却不想要决策的代价。而韩非敢为他的全量推送承担全部后果,这就是创业者和官僚的区別。”
赵国强的眉毛高高扬起。
刘振华站了起来,朝门口走去:“移动总部的战略级试点不是实验室。我们选青鸟,就是看中了他们敢在炮火中衝锋的基因。如果你不能接受这种文化,那后续的战略决策会议,你可以选择不参加。”
“我...
“”
门在刘振华身后砰的一声关上。陈远山和方静朝赵国强看去,只见他瞪著关上的门,露出惊愕的表情。
陈远山和方静站起身来,陈远山微微一笑:“老赵,咱俩认识二十年,我最后劝你一句,別让风控”变成你不敢衝锋的藉口。移动的未来,不是靠不犯错守出来的,一定是靠敢打仗打出来的。你要是还转不过这个弯,以后青鸟的技术復盘会,你就听刘总的,真的別参加了,省得大家还得花时间给你解释什么叫工程现实。”
下午四点二十六分,卢海坐在韩非的办公室,聆听温杰述说韩非如何深夜一招妙棋救记者,他们如何趁势全量推送,打造了订阅神话,最后又是如何化险为夷,妙手化解系统危机。
卢海眨眨眼,嘴巴微张,听得一愣一愣:“我的老天爷,我走这一天,发生了这么多大事。温杰,你刚才说异步队列......是不是就是那种你先排队,我待会几再理你”的意思?”
温杰蹙起眉头。
“差不多吧,”韩非说,“反正比你上次在广东被人套话时,脑子里的同步处理”快多了。”
温杰张嘴露牙,捧腹大笑,笑到连口水都滴了出来。
“卢海那哪是同步处理”啊,”张芮伊笑著说,“根本就是內存不足,人家问一句,他卡半天,最后还恢復到出厂设置了。”
卢海终於搞懂这个笑话,跟著温杰一起笑了起来。
“哎,等等!”卢海大声说,眉头深锁,“我刚才被你们绕进去了,有点儿没转过弯来。舆论不是应该越发酵越大吗?中午刚上了央视,下午网媒又铺天盖地,现在快到晚上了,又能上晚间新闻,这关注度明明在往上涨啊。为什么要赶在下午全量推送?等到今天晚上,不是更多人看到了新闻,转化率不是应该更高吗?”
温杰眨了眨眼,看向韩非,仿佛是觉得卢海这个问题问到了点子上。
韩非看了张芮伊一眼,微微一笑:“卢海这个问题问得好。你觉得舆论是一条一直往上涨的直线,但实际上它是一条拋物线,而且特別陡。”
“什么意思?”
“你没经歷今天白天的全过程,所以你可能不太理解。”张芮伊说,“我问你个问题,你觉得用户在看到新闻之后,从感动”到订阅”之间,需要多长时间?”
卢海想了想:“呃.....一天?半天?”
张芮伊摇了摇头:“不对。只有几个小时,甚至更短。今天中午,央视《新闻30分》
口播了杨正事件的简讯。虽然只有二十秒,但那是央视。全国几千万人在那个时间打开了电视,看到深夜救人、官方表扬这些关键词。这个时候,用户的情绪是最单纯的,可能是感动或愤怒,再或者是敬佩。他们不会想著去分析什么行业监管漏洞。他们只知道这家出版社的社长救了人,官方点了赞,我要支持它。
“你是说,到晚上就不一样了?”
“嗯,到晚上会有更多媒体跟进,报导的信源和角度都会变多。有的会深挖黑色產业链,有的会討论记者安全,有的会请专家分析监管缺位,甚至会有人开始质疑青鸟是不是在利用这件事给自己做gg。用户的注意力会被分散,情绪也就会被各种声音冲淡。他们那时再看到简讯时,脑子里想的就不再是这家企业真好”,很可能会变成这事到底谁对谁错?”或者是我该信谁?”每一个疑问都会让用户的行动意愿下降,在回復订阅时多犹豫一秒。而这一秒,就足以让转化率腰斩。”