PerfMa

IT系统稳定性保障专家

请至少选择一个您感兴趣的方案
发送验证码

感谢您的提交!

我们会在2工作日内与您联系

产品

全天候为您的IT系统稳定运行提供有力保障
即刻开启您的IT系统稳定性保障之旅

XSea 全链路压测平台

多地域高仿真流量模拟、端到端流量染色与数据隔离、全链路压测风险熔断

XWind 性能风险巡检与诊断平台

无人值守智能分析、风险处理能力闭环、可拓展性能风险知识库、丰富图表及报告、开放API助力DevOps

TestMa 质量效能平台

全流程的质量闭环,可度量的质量数据,无门槛的接口编排,高效率的精准测试

XChaos 混沌工程平台

应用架构智能感知、故障演练场景丰富、高级多流程编排、多维度演练观测、过程安全控制、第三方集成扩展

XSpider 监控平台

无侵入实时性能分析、低性能开销、动态采样、根因定位

解决方案

沉淀PerfMa多年的业务经验,提供金融、
证券、快消、交运等多个领域的解决方案

金融

依托全链路压测平台的能力,建立一套完整的性能保障体系

电商

基于平台的建设及专家咨询服务,进行统一平台管理,实现工具、框架的统一

连锁快消

实现多维自动化能力,协助构建标准化的性能测试及回归体系,提升测试效率

交通运输

以数据驱动,形成标准化测试能力,保障系统的正确性、性能容量及可靠性

公司动态

全方位汇集PerfMa大小资讯
寻找对您有帮助的事件

PerfMa新闻

PerfMa公司最新动态或消息,为您提供关于PerfMa公司的第一手资讯

PerfMa活动

为您提供PerfMa线上线下精彩活动回顾及预告

关于

和优秀的小伙伴一起共事
不负初心,用技术的力量创造梦想

关于PerfMa

强大的专业团队、企业资深专家,致力于为企业提供性能领域的全方位解决方案

加入我们

浓厚的工程师文化、靠谱的发展平台、舒适的办公环境,拥抱变化中快速成长

社区&开源

汇聚IT系统稳定性领域问题诊断调优精英
共建IT系统稳定性领域问题诊断调优标准和能力

专注性能领域垂直社区,几十万开发者在这里交流性能问题,分享技术干货,是开发者们学习和成长的乐园。


访问HeapDump社区 >

为终结性能问题而生的开源插件容器,将定位/解决各种性能问题的工具适配成插件,通过相互联动组合,一键解决您的性能问题。


访问XPocket官网 >
七次压测彩排,27天项目上线,京东春晚红包战役“实录”
2022-02-11

出品 | 网易科技《态℃》栏目组

文/一橙

一直以来,春晚红包都是互联网大厂竞相追逐的“短期加速剂”,争夺的不仅是用户、流量,更多维度的品牌营销、认知,更是一个革新局面、逆风翻盘的机遇。

 

等了8年,继微信、支付宝、淘宝、百度、快手、抖音之后,这次轮到了京东成为春晚的主角。

 

在京东内部,一位员工将此项目比作京东科技实力的“大阅兵”,用以形容其意义重大及高层的重视程度。本次京东春晚项目由京东集团总裁徐雷整体负责,并由京东零售CEO辛利军直接牵头,京东零售为主力部队,京东物流、京东科技等子集团全力协助配合,是京东零售、物流、云、金融等板块组织结构调整后的一次集体亮相和成果验收。

 

一位京东员工向网易科技《态℃》栏目介绍,京东春晚项目组共分为了9个大组,包括市场组、活动组、招商组、研发组、客服组等,都是头一次在这么短的时间里完成如此一个重大且复杂的项目。

 

上述员工透露,局部上,京东这次投入远超大促,因为时间短而项目太重,可能在投入的精力、兵力和资源上会比常规大促高很多,猛出去三、四倍。

 

京东零售技术与数据中心技术平台研发部相关负责人讲,“京东在双11、618的时候也很紧张,但跟春晚项目一比,心态完全不一样。”

 

为应对春晚互动这一极致场景的复杂度和技术保障难度,京东春晚红包项目组在过去的一个月里承担巨压。“这个项目只许成功不许失败。”技术团队相关负责人称,“拿双11、618那个思路流程去做春晚没问题,但是心态上区别极大。京东618我们的要求是4个9的成功率,一万个里面有一个失败的,但春晚项目成功率要求到了6个9,比黄金的最高纯度还要高。”

 

这是京东在央视春晚的“首秀”,满载着扭转电商格局的野心和重担。从央视春晚独家互动项目“花落”京东以来,隐藏在京东春晚项目组高光的背后,是数不清的疲惫、压力与焦虑。

 

服务器资源极限挑战,一场危机四伏的“技术大考”

 

“在得到消息后的一周时间里,研发部门进行了非常谨慎的反复评估,初步判断并不乐观。”上述京东春晚项目技术团队负责人回忆称。

 

最大的难点,在于服务器资源的挑战。“我们盘点了一下自己的资源,距离去支撑这种规模的技术高峰尚存在差距。”至于具体差距多大,该负责人则不愿透露太多。

 

由于央视春晚红包互动的瞬时流量峰值太高,在服务器资源上面临挑战的企业,并不是孤例。事实上,当年快手就曾租用过其他友商的服务器进行“支援”。

 

“当时,我们自己有人也提出了要不要去找其他运营厂商去服务,但考虑到我们有很多的交易数据,这些用户数据非常敏感必须保证安全,这类合作绝对不可能的,很快打消了念头。”

 

而此时再去采购服务器资源,从时间和硬件成本上考虑也无法落地。

 

事实上,由于疫情对全球供应链的冲击,服务器供应近两年来一直处于非常紧张的状态。“去年双十一是通过各种技术优化,用较少的机器把双十一扛过去了。我们一直在市面上寻找更多的机器,不一定是为了服务本次春晚,京东很多业务都需要机器,但疫情导致供应链紧张,发现各大厂商基本没有什么机器,市面上的机器盘都盘不到。”

 

京东混合云研发总监,云舰产品负责人樊建刚则对《态℃》栏目直言,“考虑到现实供应链紧张以及春晚结束后的资源利用情况,京东云最后的决定是在几乎不增加服务器资源的情况下独自支持春晚,避免为单个项目投入大量硬件成本。”

 

能想到的办法,只有在集团内部各业务间不遗余力地腾挪资源。

 

京东春晚项目组的“腾挪对象”规模异常庞大,包括京东的电商业务、搜索推荐、广告业务、大数据还有隶属于科技子集团的京东云等等,想要集整、盘活整个集团所有资源,并保证技术基建能力足够的敏捷、稳定,不是件容易的事情。

 

具体而言,在春晚场景开始前,京东云需调度上千万资源用于春晚。

 

在春晚中,主持人将口播7次红包互动,伴随每次口播,业务场景将会有从京东APP的购物场景到红包互动再到购物的切换,京东云要根据场景变化完成资源调度,春晚结束后,京东云需调度资源支持日常业务的常态运营。共计十多次资源调度,要求高效、精准,实现对上千万核资源的超大规模瞬时切换。

 

腾挪的背后,牵一发,动全身。

 

京东云基础设施研发部高级总监常亮,是这次京东春晚项目IDC基础保障的1号位,主要负责春晚项目数据中心及服务器运维等管理,也是京东春晚项目组负责资源调度的核心负责人之一。

 

常亮透露,“我们自己内部光腾挪整合缩扩容大概整出了数十万核,数十万核按照目前来看的话,大概接近一万台机器。”

 

而在资源调度的背后,意味着一些业务的取舍和让步。

 

“过程肯定是困难啊,其实春晚的盛会,所有业务方都想参与,毕竟这是过去十年京东第一次得到机会,我们拉了数据去做仔细评估,这个业务就今天晚几个小时到底行不行,内部做了一些评审和说服,让一些业务放弃自己的(把算力)腾挪出来,我们内部必须目标一致,力出一孔把所有问题集中处理掉。”

 

“大家都知道这是一次极限的挑战,也存在着冒险,但反而大家有一种被虐完变态的快感,原来我们系统能跑成这样,竟然可以极限到这种程度。”

 

但常亮也有个担心,“经过这个项目之后,我们自己开玩笑说,打开了潘多拉盒子,担心老板说春晚都能扛,你还要什么资源,之后别买资源了,你们扛吧。”(笑)

 

七次压测彩排演练,27天完成春晚项目上线

 

搜集“粮草”同时,为了备战春晚的流量珠峰,京东技术系统也需要进行极限优化。

 

“春晚红包互动对我们的系统压力很大,京东之前虽然搞大促积了不少经验,但是最高单接口的抢红包QPS每秒百万级、千万级,我们还是第一次搞。”项目组内一位技术人员告诉记者。但他也认为,“春晚瞬时的流量可能会超过我们几次大促之和,付出只会更加值得。”

 

他介绍,从1月6号到1月17日,十天左右时间里京东整个机房全系统已经完成了五轮的压测,在春晚之前他们要完成至少7轮压测。

 

上述技术团队相关负责人也透露,技术组备战的重点工作之一,就是模拟在秒级里从很低的QPS并发到千万QPS做压测,这种突发式千万级流量进行冲击的时候,整个链路带动起来的网络、基础设施、压测工具、平台全链路都会涉及到改造、完善或者加固。

 

与此同时,电商场景的一大特点在于背后供应链的长链路,这也是一重“要命”的挑战。

 

春晚当天,还要负责交易、支付、客服、分拣、配送等环节,也都需要足够的技术支撑,每一个链路环节的增加,对春晚场景的复杂度和应对难度都是指数级的增长。

 

春晚项目对于京东技术能力的挑战,被樊建刚形容为,“那一天,京东整个资源快速释放和就位,相当于北京三元桥换桥。”

 

在除夕到来之前,项目组只能尽可能充分的预案,以及无数次的彩排演练。

 

京东春晚项目对于技术组的要求,是个预案尽可能做到了自动化,出问题立马快速响应,做不到秒级也要是分钟级,避免出问题影响的放大,快速降低损失。

 

他们将可能遇到的问题、舆情,将系统分为了S级和A、B、C四个级别,对S级与非S级有两套彩排剧本,涉及到的各个部门反馈收集整理、装订成册,并在除夕前反复练习预案操作步骤和效果,不断验证操作完成效果是否符合预期。

 

数据显示,虎年春晚京东累计互动量达到了691亿次。京东运用了超70万座数据中心,近300万个容器,超1000万核算力资源,撑住了央视春晚流量“珠峰”。

 

元旦成立“招商攻坚组”,敲开京东大会的大门

 

1月5日,央视正式公布春晚红包项目“花落”京东。彼时,留给京东春晚项目组需要对外沟通部门的时间,只剩下了27个工作日。

 

作为京东春晚项目招商组的负责人之一,有二十年广告从业经验的于雯,把这种心惊肉跳当作日常,但仍感慨这次春晚项目的紧迫和压力。

 

从市场部得知确定消息后,京东春晚项目的“招商攻坚组”在元旦假期火速成立。

 

在她的工作经验中,像618、双11这样的大活动,基本上是提前4、5个月,甚至半年就开始着手招商,但这次留给她的时间还不到一个月。在互联网广告从业20年,于雯也是第一次“操刀”准备时间这么短暂的重大项目。

 

在技术组为重塑京东技术基建能力焦头烂额时,于雯和她的招商组也有一场重大战役需要攻克。

 

“京东做这种合作又是头一回,很多不确定的东西,方向先怎么走,如何走,为什么要这么走,没有时间去校正、修改,所以策略必须得输出正确,执行还得靠谱,这个事才能成。”

 

自元旦假期开始,这支“招商攻坚组”一直处于极度紧张的“战备”状态。“中间有一天公司说要拍个小短片,要求招商组同学出镜一下,结果摄制组和我说不行,这些员工不行,我说为什么,他们说连最基本的拍摄要求都没达标,好几个员工一看脸都没洗,最后他们还是没出镜,害怕耽误进度干活去了。”于雯透露。

 

为了鼓舞士气,组里架了鼓和锣,当有人签约的时候,会去敲个鼓,增加点仪式感。“这也是给我们自己内心的一个鼓舞和振奋,旁边有一个大的电视屏上面还会写着XX品牌喜提S席位,类似于这种(笑)。”

 

于雯还代表招商组,敲开了“京东大会”的大门。

 

业内流传,京东零售早会、集团双周会这类级别的会议,“准入资格”异常难得,几乎是核心一把手才有机会来此汇报业务进展,讲到的问题几乎都是京东的“大事”。

 

“里面有零售的CEO,甚至有集团的总裁,我前前后后汇报了4、5次(春晚项目)招商的进展、难点和解决方案,也会趁着这些会议争取老板们的支援和帮助,事实上我的确也感受到了来自于各个层面的支持。”于雯讲。

 

上通下达,全员拼命,于雯的招商任务在1月下旬完成了任务,全部售罄。

 

她坦言,这类令人“难以喘息”的项目,很考验真实的团队能力和员工个人能力的(机会)。“这样大的攻坚项目下,不论是个人尖兵能力还是整个团队的底色,能看得很清楚了。”

 

箭在弦上,为做大市场份额背水一战

 

春晚一役,一直被互联网大厂视为一场扭转市场格局的重要战役,意味着,在全国范围内的知名度暴增,成倍增长的销量和收入,以及巨型流量池的变现可能。

 

自2018年以来,整个互联网经济相对都在放缓,对于京东而言,面临的境地则更复杂。

 

前有强敌阿里,后有追兵拼多多,新增用户数连续垫底。对比阿里巴巴9.53亿和拼多多8.673亿的年度月活用户,京东的5.52亿劣势明显。这也意味着,“搭上”春晚的巨大流量,通过大投广告来获取新用户,对京东而言依旧是个高性价比的事情。

 

今年,京东拿出了15亿大手笔“押注”春晚,也将这场战役被赋予了特殊的战略意义——扭转电商格局,向王座“冲顶”。

 

仔细观察可以发现,为了这次的背水一战,京东与央视此轮合作的“革新”重点,落在了将春晚红包互动玩法的创新性,以及如何与京东后续黏客合适的支付场景和供应链能力更加紧密的落实绑定。

 

根据国金研究创新中心监测,2019年手机百度App虽然靠除夕当晚收获过亿新增用户,但是7天后留存率仅剩2%,原因之一就是百度生态内无活跃的支付场景承接得住巨大的流量。

 

市场部相关负责人讲,在与央视谈判过程中,京东一直在着重争取两个核心权益:

 

“一是超越以往合作对象的口播数量权益,京东可以和下面的子品牌,甚至拉着其他品牌商一起给全国老百姓来拜年;二是春晚重播,之前不论是央视还是地方台的重播,互动游戏的口播以往都是删掉的,此次确定了春晚重播可以不删互动内容。”

 

上述负责人表示,京东去做春晚红包互动这件事,在集团内部的价值评估仍是性价比较高的。

 

“对于京东来说,通过春晚,会有更多的消费者认知京东、熟悉京东、信赖京东,所以无论是在用户层面、流量层面还是品牌形象层面,都会给京东带来很大的帮助。同时通过春晚,京东会和品牌商家等众多合作伙伴一起登上春晚,让更多的品牌商家、中小企业,以及更多的优质的农产品、特色产业带好物等,展示在全国人民面前,从而实现持续的价值创造。”

 

一直以来,央视春晚赞助这件事情饱受争议,有人认为这是千载难逢的拓新机会,也有人质疑重金砸个大广告意义何在,驾驭它更是需要极大的智慧。

 

京东春晚一役是赢是败,都还需要时日考验。

 

来源:网易科技

链接:https://www.163.com/tech/article/GV4NJMNN000999D8.html

请至少选择一个您感兴趣的方案
发送验证码

感谢您的提交!

我们会在2工作日内与您联系

业务咨询电话:4008-717-107

公司联系电话:0571-8500-1801