首页>博客正文
4亿资源打造洋货节,网易考拉海购借容器云玩双11
2016-11-11 15:52:35

为了备战本次双11,跨境电商领头羊网易考拉海购(以下简称“网易考拉”)早早就宣布投入4亿资源,精心营造了一个“超级洋货节”。造节在引流的同时,也会给电商系统带来了巨大的考验。但网易考拉对此并不担忧:借助网易蜂巢容器云平台,网易考拉已经完成了核心系统的分布式改造,全面实现了资源弹性和应用弹性,以保障电商系统在业务规模快速增长的情况下稳如泰山,618、双11、黑五等大规模促销的访问压力也可从容面对。

 1

 

重新定义消费升级,网易考拉的崛起和压力

 

2015年1月,携网易媒体的优势,网易考拉正式开始角逐跨境电商。只用了短短一年,从零起步的网易考拉就开始冲击100亿销售额。截至今年10月末,网易考拉已积累超过1,500万的忠诚复购用户,并在国内自营型跨境电商进口销售额榜单上名列第一。

 

网易考拉的快速成长,有互联网和消费者趋势变化推动的因素,但更是网易考拉运营策略得当的结果。借助网易集团现金充沛的优势,网易考拉在跨国的仓储、物流、供应链、支付等基础工作上投入了大量的精力,全球布点,严格审核供应商的资质,并通过自营直采以保证100%正品,为赢得消费者信任、进行各种促销活动打下基础。

 

原始积累已经完成,2016年的双11就是网易考拉的大日子。以重新定义消费升级之名,网易考拉瞄准了品牌、个性和专业等三个需求,进行差异化的竞争(价格已经不是电商竞争的关键)。网易考拉很早就已经为规模促销进行准备,不仅为保税仓扩容8万多平方米,从10月初开始备货,而且还从8月初就开始构建了一个物流云平台,通过智能化管理系统“祥龙”根据销量预测分仓,以保证及时配送。所以,网易考拉有底气在“超级洋货节”期间推出一项1元试用正品好货的活动,即支付1元就可申请海外商品的试用,施华洛世奇、大王、好奇等众多海外一线品牌参与。

 

供应链、仓储、配送的能力固然是与众不同的“11.11超级洋货节”收效的保障,然而,临门一脚的在线商城系统也是不容忽视的一环,如果直接面向用户的电商系统不能及时上线策划的新功能,不能顶住访问压力,网站的体验不能让消费者满意,后端的工作准备得再好也是枉然。据网易考拉预测,本次双11大促零点的订单量将瞬间达到平时的数倍,系统压力极大。

 

另一方面,网易考拉对用户体验有一种近乎偏执的要求。根据网易考拉海购高级副总裁朱静波的介绍,网易考拉内部有一个用户存活率的指标,希望至少50%的大促用户能够因为良好的用户体验、有趣的内容最终留下来。

 

其实,本次双11带来的技术挑战和应对方式,正是网易考拉快速成长的缩影,在此之前,618、黑五等大促销规模压力屡创新高,但网易考拉网站从未崩溃。这得益于网易考拉有一个支持弹性扩容的业务架构。当然,这个架构并不是生来就有的,而是随着网易考拉的成长经过了两次大版本的迭代形成的,其中大量借鉴了网易互联网产品研发经验。

 2

 

弹性架构迭代:容器的胜利

 

资源的弹性是云计算的一个基本承诺,尤其是2009年双11之后,电商团队对弹性计算的需求愈发清晰,都自觉地探索各自的云架构。2014年底立项的网易考拉,也含着资源弹性的金钥匙出生——2012年开始构建的网易私有云此时已经上线,支撑着多个网易互联网业务,网易考拉系统也直接在网易私有云上开发和部署,借助网易私有云计算、网络、存储资源的弹性,辅助自动化脚本及配置工具,可以完成基本的资源的管理和控制以及应用的部署。同时,由于跨境电商刚刚兴起,初期需要快速验证商业模式,系统也采用了单体式架构,直接聚焦核心场景进行开发。

 

自从2015年1月上线后,网易考拉的业务开始进入了高速发展期,第一版电商系统的第一个瓶颈逐渐凸显,就是迭代速度缓慢,而仅仅提供基础的资源弹性无法解决问题。具体而言,随着用户数量的不断增加、市场需求的变化、运营体系的完善,网易考拉对功能模块变更的需求越来越频繁(例如注册模块要从只支持手机登录到支持微信、微博、QQ、支付宝登录),不仅仅基础资源管理越来越复杂,脚本化的应用层的部署和管理也已经远远跟不上需求。在原有模式下,每一个小迭代都要申请资源搭建一个测试环境,每当有新的模块和服务的时候,都需要维护脚本及自动化配置工具,以网易考拉较高水平的研发能力,每天也只能最多实现两次更新。此外,原有模式附带的一个问题,就是容易出错,多次的环境部署无法完全的复现,毕竟再牛的程序员也还是人类。

 

网易云的新一代云计算平台——网易蜂巢容器云平台的自动化能力解决了网易考拉的燃眉之急。网易蜂巢采用了流行的Docker容器作为整个软件部署和调度的基本单元,并以结合Google生产集群管理的理念和业界的实践经验打造的Kubernetes作为容器管理和编排服务框架。

 

与传统IaaS架构不同,容器提供的不仅仅是基础资源,而是将操作系统,应用运行环境以及代码打包成一个不可修改的镜像进行交付,容器的机制可以保证无论在哪里,什么时候运行,都能保持环境的一致性,也就是Docker所宣称的“Build, Ship, and Run Any App, Anywhere( 一次构建,随处运行)”。

 

一个服务往往会包含多个组件,因而会封装成为多个容器,容器之间会有相互的依赖,相互的调用,Kubernetes可以实现服务的编排、自发现、自修复,使得复杂服务的部署变成了一次API调用。

 

网易蜂巢根据网易考拉的架构,把代码里面的功能自动封装到容器当中,并且把容器做成镜像,再通过编排服务解决不同容器之间的依赖关系,自动完成软件的安装、部署和运行,然后把运行起来的软件放到网易考拉的测试环境、联调环境和现场环境。另外,网易考拉将代码管理和持续集成工具同网易蜂巢容器平台集成起来,整个过程中网易考拉只需要完成编码和测试,不需要关心申请资源和部署环境,既便捷又减少出错概率。

 3

 

网易考拉在使用了网易蜂巢的自动化部署工具实现一键式生成环境、触发测试和发布之后,变更的频率由每天2次可以增长到每天11次,同时整个软件产品质量也提升了52%。

 

经过第一次大迭代之后,网易考拉进入了爆发增长期,然而当用户量达到百万级的时候,又一个大瓶颈出现了,就是单体架构遭遇性能的天花板。在业务的爆发期,网易考拉对迭代速度有了更高的要求,同时需要保证系统在高并发访问下的稳定性和页面性能。首先,软件的稳定需要一定的时间,但单体架构牵一发而动全身,频繁的变更会造成频繁的业务中断,比如注册模块的内存泄漏就会导致整个系统不可用;其次,软件对用户量的承载是有限的,一次访问的延迟在日活十万时是几毫秒,到日活百万时可能就上升秒级,尤其是到了网易考拉日活用户已经超过千万、促销活动以周为单位的时期,压力更是巨大。然而,在单体架构下,网易考拉的瓶颈是全环境每天最多更新112次,单次访问的延迟达到500毫秒,整个业务的更新率越来越低。同时,在单体架构下做弹性扩容还会造成浪费,比如一些访问频率不高的模块,也需要根据购物车模块面临的访问压力来准备资源。这个时候,解决的办法,是借助网易蜂巢对业务的分布化改造能力,再次进行大版本的迭代。

 

基于Kubernetes提供的服务发现功能,网易蜂巢可以支持网易考拉方便地把注册、购物车、支付等不同的功能模块拆分出来,由不同的团队独立开发和维护,将原来的单体结构变成微服务结构,单独进行弹性伸缩,并通过编排建立它们之间的联系,这就保证了网易考拉团队可以灵活地实现软件的快速迭代,以及软件架构的弹性伸缩。这次迭代为网易考拉带来了6倍以上的能力提升,每天的更新频次上限由每天112次上升到每天723次,并发访问支持由原来的每秒2,600次提升到了每秒16,000次。

 

为了支撑高性能的应用,网易蜂巢基于原生的Kubernetes的基础上,对于调度进行了优化,保证应用的快速部署和快速修复,并且利用多年运行IaaS层的调优经验,对于容器之间的网络互通和持久化存储做了优化,保证数据读写的高性能及容器之间互相访问的高性能。

 4

 

为了保障在不同规模下的一致的用户体验,网易考拉还使用了蜂巢推出的全链路的性能监控体系。在某次大促之前,线上压测团队发现,原本一次加入购物车的延迟仅仅20毫秒,在用户量爆发之后就超过了1秒钟,通过该功能回溯整个链路的调用过程,网易考拉发现在整个服务的过程当中,数据库操作环节的时延占到了整个时延的95%以上,所以,网易考拉能够快速地优化数据库的操作逻辑,很好地应对了大促时的爆发访问。

 

小结

 

网易公司创始人兼CEO丁磊曾说,电商的核心在于“商”而不在于“电”,网易考拉也确实围绕商务开展了灵活的玩法,本次双11尤其如此,这也让双11成为了电商技术团队的一次大阅兵。然而,网易考拉在网易蜂巢的基础上实现了业务架构的现代化,获得了快速迭代和全面弹性伸缩的能力,经受住了618和多次黑五大促的考验,这让团队可以从容地玩好本次洋货节。事实上,网易考拉的线上压测团队已经提前申请资源,按照近期平均交易量的数倍对电商系统进行压测,并针对一些小瓶颈进行快速的代码调整,对于实际的挑战,团队已经心中有数,所以并不惊慌。

 

网易考拉认为,容器云之所以能够带来超过传统IaaS的好处,并不仅仅是因为Docker的应用,关键还是因为通过网易蜂巢能够实现整个业务架构的变革。其实,作为网易云的基础服务,网易蜂巢已经在支持95%以上的网易互联网产品的运行,这些产品团队通过网易蜂巢的容器服务和工具链,实现了敏捷的生产方式和先进的分布式架构,从而支撑他们的业务像网易考拉一样快速地成长。

分享到:

评论(2)
评论文章前您需要先登录
发表评论
di****e@163.com 2 楼
11月 11日 下午8:18

回复di****e@163.com:111111aaa


di****e@163.com 1 楼
11月 11日 下午8:18

热门标签
热门推荐