尽在双11 阿里巴巴技术演进与超越pdf/doc/txt格式电子书下载
本站仅展示书籍部分内容
如有任何咨询
请加微信10090337咨询
书名:尽在双11 阿里巴巴技术演进与超越pdf/doc/txt格式电子书下载
推荐语:30多位P10级大牛联合打造,细数阿里八年技术演进,揭秘亿级流量网站技术进阶之路
作者:阿里巴巴集团双11技术团队著
出版社:电子工业出版社
出版时间:2017-03-01
书籍编号:30457912
ISBN:9787121309175
正文语种:中文
字数:215622
版次:1
所属分类:互联网+-电子商务
版权信息
书名:尽在双11 阿里巴巴技术演进与超越
作者:阿里巴巴集团双11技术团队
ISBN:9787121309175
版权所有 · 侵权必究
序一
2016年“天猫双11全球狂欢节”又攀上了新的高峰——单日交易额定格在1207亿元。数字背后更重要的是,在五年、十年以后回过头来看2016年的双11,这是整个社会走向“新零售、新制造、新金融、新技术、新资源”的起点。
正是阿里巴巴集团坚强的技术后盾,支撑起了全球范围内都难得一见的庞大且复杂的交易体系和交易规模。在2016年双11当中,阿里巴巴的技术团队又创造出非常惊人的纪录——每秒同时创建17.5万笔订单以及1秒钟同时完成12万笔支付。正是八年双11的锻炼,使得阿里巴巴集团沉淀出了这样的技术能力。
展望未来,云计算、大数据将成为未来社会的新引擎和新能源。我们坚信数据将在商业变革中发挥重要的作用,整个商业变革一定会跟互联网、跟技术去完美拥抱。我们坚信这样的变革最终会产生化学反应,产生全新的结合和全新的价值。而这样的价值的创造,毫无疑问会让社会商业出现很多新的模式、新的业态。阿里巴巴集团希望通过各种方式,赋能给合作伙伴和客户,并输出成为商业社会的基础设施,让整个商业社会的变革更加高效、顺畅。
《尽在双11——阿里巴巴技术演进与超越》以双11为着眼点,从技术的角度,展示了阿里巴巴的演进、变革与发展,系统地阐述了阿里巴巴重要阶段的技术进步历程。进无止境,我们希望将我们的经验分享给更多人,并希望与大家一起共同探索未来。
张勇
阿里巴巴集团CEO
序二
双11诞生的2009年,恰逢中国互联网第三次浪潮元年。大数据、云计算、无线在这个时期逐渐成为主流技术。在双11八年的发展历程中,阿里人从互联网发展的大潮中汲取了丰富的技术能量。
作为双11这个阿里巴巴最大的集团级项目的技术负责人,这八年里,如何在技术上持续创新、调动和提升工程师的工作效能、激发战斗意志和创造力是巨大的挑战。从技术管理的角度上,我分享三点,与大家共勉。
第一,既要有梦想,又要有实力。如果没有对梦想的坚持,以及对实现梦想的不懈努力,今天双11很可能与一般的线上大促没有什么区别,更不会成为中国乃至全世界普遍关注的社会现象。阿里巴巴是一家使命驱动的公司,双11是阿里人自主创新、追逐让天下没有难做的生意的梦想的具体体现。同时,实现这个梦想需要有强大的技术实力作为基础。以计算为例,双11有大量的计算,一切关于搜索、推荐、人工智能的“梦想”都需要计算平台的强力支撑,阿里巴巴如果不打破传统Hadoop框架的藩篱,自研非常高效的离线和实时计算平台,用户在交易的过程中就不可能有“丝滑般的顺畅感受”。
第二,鼓励技术创新。没有阿里人在技术拓展商业边界上持续的突破,就没有双11持续的成功。双11当天交易峰值较平时增长400倍,平日运转良好的系统面对突发的业务流量,所有的问题都会被重新定义。全链路一体化方案通过逼真化模拟实际大促时的流量特点,以自动化的方式评估、优化和保护整个交易链条,确保了双11的稳定性。全链路方案是阿里工程师的创造,无论在国内还是国外,都是前所未有的。类似于全链路压测这样的技术创新在双11中还有很多。
第三,协同的重要性。业务发展到一定阶段都会遇到“飞机在全速飞行的前提下换引擎”的问题,是在现有框架下对两个业务分别改造,还是推倒现有模式建立一个技术共享的新模式?这不仅是对架构能力的挑战,更是对团队的协同作战能力的考验。五彩石项目就是一个生动的例子。作为该项目的负责人,我亲历了将淘宝网和淘宝商城(后更名天猫商城)两个系统,在会员、商品、交易、店铺、优惠积分等数据层面打通的全过程。五彩石项目是一次协同角度上的伟大的技术变革,提出了“共享服务化”的理念,为包括双11在内的几乎所有阿里业务所采纳,并与分布式中间件架构一起成为互联网电商业务事实上的标准。
我推荐《尽在双11——阿里巴巴技术演进与超越》这本书,它是迄今为止对双11技术演进最客观、最详实的还原。无论是互联网工程师,还是商业领域的从业者,以及工程或商业专业的在读学生,都可以从书中找到自己感兴趣的内容。
最后,在阅读这本书的过程中,那些年、那些人、那些事儿重新回到眼前。谢谢所有参与《尽在双11——阿里巴巴技术演进与超越》撰写的同学们,你们用另一种方式又走过了一遍双11。
阿里巴巴集团CTO
双11大事年表
执笔人霜波:天猫技术质量部总监,连续五年双11测试负责人。返回
淘宝商城:2008年4月成立,是一个高品质商品的综合性购物网站。2012年1月11日上午,淘宝商城正式宣布更名为“天猫”。返回
逍遥子:现任阿里巴巴集团首席执行官,同时是阿里巴巴集团董事局董事。2008年逍遥子是淘宝网首席运营官兼淘宝商城总经理。返回
四虎:2007年加入阿里,参加第一届双11的开发, 连续参与双11八年,现在是聚划算技术负责人。返回
振飞:现任阿里首席风险官。2010年任技术保障部副总裁。返回
周明:现任基础架构事业群资深总监。2010年任技术保障部总监。返回
范禹:现任天猫事业部技术部资深总监和研究员。返回
超卖:本来应该卖完下架的商品,在前台展示依然有库存,依然不停地被卖出。返回
BU:BusinessUnit,阿里内组织架构的最大单元。返回
全链路压测的架构会在第3章详细介绍,这里仅介绍一下这套系统的诞生过程。返回
南天:2012年到2013年天猫双11队长,现任淘宝移动平台资深总监。返回
引言
不知不觉中双11已经走过了八年,从刚开始的全新概念,到现在的举世关注,有偶然也有幸运的成分,但是细细数下来,每一步,每一刻,都是好多人殚精竭虑、费尽心思的结果。对技术而言,每一年的双11都是一场严峻的考验,从被流量冲击得溃不成军,被迫奋起抗击,到现在通过技术的力量不断改写双11的用户体验和参与感,阿里的技术伴随着双11成长起来,强壮起来,自信起来。
从组织上来说,双11从第一年的突发奇想,野生无序,逐渐发展下来,已经成为一场整个阿里及其生态联动的战役,双11已经不仅仅是天猫的双11,也不仅仅是阿里所有事业单位的双11,而是整个互联网生态的双11。
2009年我们技术部门只有几个人临时安排值班,高峰每秒只有400个请求,到2016年阿里有23个事业单位、几千位技术人员一起加入了双11的备战。杭州西溪园区1号楼的7楼、6楼和5楼都成为了双11的集中作战室,实现了每秒处理1.7万条请求的技术奇迹。为双11做出艰苦备战的还有商家、银行、物流公司,他们和我们一起迎接流量高峰的挑战,一起为了互联网更加完善的用户体验不断努力和前进。
面对新的挑战,我们从不敢放下的是对用户的敬畏和感激之心,借由本书,借由双11的历史,将阿里这些年在大流量管控上所做的技术创新共享给关注我们的朋友,并答谢所有双11的贡献者、参与者、传播者、提及者和知晓者。
2009年:双11诞生效果惊人
2009年是淘宝商城成立的第二年,这一年的秋天,运营部门想搞一场营销活动,逍遥子
喜欢四个一,而11.11又是网民创造的“光棍节”,所以就选择了这一天。谁也没有想到,这样一个带着点随意的选择,竟然在若干年后成为影响中国乃至全球的大事件,造就了电商行业最具影响力的品牌——双11。
第一届双11的活动口号是全场五折,拉了几十个商户参加,未曾想效果惊人,淘宝商城的成交额是平时的10倍。幸运的是,在2009年年初,五彩石项目将淘宝网和淘宝商城的系统底层架构统一了。虽然淘宝商城的成交额增加10倍,但由于基数还比较小,这个成交额和淘宝网的日常成交额比起来并不大,因此系统上虽然出现一些小问题,但是没有产生特别大的影响。
尽管如此,暴增的流量还是让工程师们措手不及。采访当年第一届双11的工程师四虎时,他回忆说:“第一年双11,作为交易系统的owner(所有者),接到老板指示,光棍节要搞个活动,你值一下班。那年我们啥都没做,就坐在那看服务器的情况。零点一到,发现服务器流量暴增,一下子部分应用的服务器就挂了。我们就手忙脚乱地去重启服务器,恢复系统。应用系统起来后,发现店铺和商品图片又出不来了。第一次双11,可以说完全是意料之外,没有做任何准备的,不仅把我们的交易和商品系统压挂了,同时还把很多商家的外部图片空间也给压挂了。服务器容量、网络带宽容量、系统保护都是没有的。”
2010年:搜索降级渡难关
吸取了上一年的经验,2010年双11之前,技术部门专门成立了大促小分队,队员包括各个核心系统的开发人员和技术保障部软硬件维护人员,当时还成立了大促指挥团,由振飞、周明
、范禹
统一负责大促技术方案的相关决策。
负责保障稳定性的人员在指定地点集中办公。那一年,高峰不在零点,而是出现在第二天白天,早上10点左右,CDN的容量很快达到上限,图片展示越来越慢,眼看就要出不来了。大家紧张起来,激烈地讨论还有什么办法。有人提出搜索的图片展示占了很大的容量,可以将搜索的大图降级为小图。然后给搜索的负责人打电话,通知他:“对不起了,我们要对搜索的图片降级了,双11结束就给你们恢复过来。”这一招帮助当年的双11渡过了容量的最大风险。之后,每一年的搜索大图降级为小图都成了双11的必备降级方法之一,尽管后面再也没有启用过。同时,每一年双11之前CDN都会开一个大会,让所有业务评估自己双11当天的CDN使用量,提前两个月就开始做扩容的准备。“所有的苦难都是用来帮助我们成长的”,这句话用在双11上特别合适。
四虎回忆第二年的情景:“第二年,我们开始有了心理准备,预计流量是平时的3~5倍,但是实际流量远远超出我们的想象,达到了平时流量的十几倍。不过基于前一年的经验,这一年我们做了很多工作,分布式系统的防雪崩、核心系统的自治,这些技术改进让我们的系统比上一年好了很多,虽然零点高峰时还是出现了大量的购买失败,但是服务器没有大面积宕机,流量下降后能够继续良好地服务。”
2011年:匆忙中解决突发事件
2011年淘宝商城成为独立的事业部。双11对于刚刚成立的淘宝商城技术部而言,已经是一件相当重要的大事,各团队提早几个月就开始准备,并且上线了第一期的价格申报系统(第一期专注于解决天猫营销活动期间商家报名和活动商品价格确定的问题,后面成为整个活动期间价格管控检查、监控和清退的工具),完成了双11商家商品报名的工作,一切似乎都很顺利,可是……
11月10日晚上23点,有人反馈设置的优惠价格写错了,3折的商品写成了0.3折。
23点32分确定砍掉折扣0.5%以下的商品,然后需要推送到整个商品库。执行到一半的时候,越来越多的人反馈商家把优惠理解错了,担心影响太大,决定砍掉1.1%以下的商品,但是由于之前的操作已经执行,所以先要回滚,然后全部推送。
23点45分,开始回滚。
23点55分,回滚完成,开始重新推送。
11日零点10分,所有推送完成,同时开始收到大部分商品属性丢失的问题反馈。属性丢失意味着买的衣服没有颜色,意味着买的鞋子没有尺寸,当时用户由于很多商品都已经在购物车中准备良久,所以并不仔细观察就下了单,可是商家却没有办法发货。这是一个非常严重的系统bug(漏洞)。当时唯一能做的事情就是通知所有有问题的商家下架商品,等待系统修复。
11日凌晨1点,定位到错误代码是回滚程序的bug,我们决定发布新的系统解决问题。
11日早上5点,系统bug修复,通知商家重新上架商品。
时隔5年,回忆起那一晚,依然心有余悸。外界往往认为双11那一晚是精心准备的,技术是游刃有余的,可是每一年,我们都在匆忙中解决各种突发事件。实际上真正痛苦的远远不止技术人员,还有那些被影响的商家。
在2012年6月举行的双11商家沟通会议上,我们问商家:“对双11最大的期望是什么?”反馈最多的期望就是:“系统稳定。”一个商家站起来说:“去年双11的0点我们被通知下架所有商品,当时团队10多个人,从0点到早上6点,没有一个人敢离开。我们借了款,备了平时10倍的货,如果这个双11卖不掉,我们回到家,对家人唯一能说的可能就是‘对不起,我破产了’,或者‘对不起,我失业了。’”
那个晚上,很多人无眠。
痛定思痛,我们在接下来的一年做了大量的稳定性相关工作:
- 我们上线了新的招商、价格管控、商品申报和优惠系统。这套系统
....
本站仅展示书籍部分内容
如有任何咨询
请加微信10090337咨询