深耕双11突变型峰值场景10年,阿里云获得国家技术发明奖

1月10日上午,2019年度国家科学技术奖励大会召开,阿里云参与的两个项目分别获得国家技术发明奖和国家科技进步奖。

其中,阿里云联合上海交通大学开展的“面对突变型峰值服务的云计算关键技术与系统”获得国家技术发明二等奖。获奖名包含阿里巴巴技术委员会主席、达摩院院长、阿里云智能事业群总裁张建锋和阿里巴巴资深技术专家林昊,后者2007年加入阿里巴巴,曾是阿里巴巴技术保障部研究员,并担任过系统、中间件和研发效能负责人。阿里云与清华大学共同研发的编码摄像关键技术及应用获得国家科技进步二等奖。该技术在软硬件两方面解决了传统成像在“大纵深场景全清晰、复杂场景的精确深度感知和传感数据高效表示与重建”三个方面面临的挑战。

阿里云此次获得国家技术发明二等奖的项目是“面对突变型峰值服务的云计算关键技术与系统”。突变型峰值,即网络流量洪峰导致的用户请求骤然增长,这会导致用户请求响应慢、系统崩溃等问题,常见于“春运抢票”、“秒杀”以及“春晚”、“双11”、“跨年”等大型场景。

“阿里巴巴是一架高速飞行中的飞机,我们成功在此过程中换上了全新的引擎。”去年11月11日,张建锋对包括第一财经记者在内的媒体表示,用公共云来承载这样一个万亿规模的核心系统,阿里云是第一个做到的,“很多云厂商自己的业务系统,不在自己的云上,今后阿里全部系统都在阿里云上。”

突变型峰值问题背后,是全球IT界和互联网界都曾面临的技术难题:面对网络流量洪峰,传统IT及云计算技术呈现出云中低算力节点负载高,调度不均衡;存储设备扩展故障剧增,恢复不迅速;服务镜像仓库网络拥塞,分发不及时;专家经验演进和查询慢,分析不智能等四大问题。

此次发明奖背后的核心技术主要是“阿里云百万级规模容器的集群管理能力”,包含:突发流量下的极致弹性能力;世界第一的云原生镜像分发技术;以及大幅提升数据中心资源利用率的混部能力。

双11是阿里云各项核心技术的集中能力体现,包括混部能力,极致弹性,大规模的镜像分发能力等。其中以混部为例,通过内核隔离,资源调度融合以及数据能力建设,实现不同的业务进行混合部署,做到数据中心的利用率大幅提升。在2019年双11期间,阿里云承载的订单创建峰值达到54.4万笔/秒,而实现如此高峰值背后,通过阿里云的混部技术能力以及云的极致弹性能力,做到资源成本减半。

促使阿里云取得如此成绩的故事要从2008年说起。

2008年,在阿里的IT架构中,淘宝和支付宝使用的绝大部分都是IBM小型机、Oracle商业数据库以及EMC集中式存储。当年用户激增,数据越来越多,每天早上八点到九点半之间,服务器的处理器使用率都会飙升到98%。

当时全球企业的数据库基本都是Oracle,而阿里巴巴拥有亚洲最大的Oracle集群,计算规模达百TB级别。按照当时淘宝用户量的增长速度,Oracle集群很快将无法支撑业务发展,而最核心的问题就是算力不足。尽管当时阿里已开始把数据迁移到更大规模的Greenplum,但后者在百台机器规模时就遇到瓶颈,给业务增长造成极大阻碍。此外,Hadoop之类的开源技术在可靠性、安全性上也遭遇了天花板。

2008年9月,阿里云创始人王坚带着解决大规模算力瓶颈的任务加入阿里。他发现,无论是Oracle还是Greenplum、Hadoop,都不是大规模数据计算的最优解,要研发一套新的技术架构来换掉阿里巴巴的旧引擎。

新的架构需要足够便宜,而且为了满足阿里巴巴庞大的计算任务,这套系统至少要比IOE表现更好,能同时调度数千台计算机。王坚需要从零开始建立这个云计算系统。2008年10月,这套云计算系统被团队定名为“飞天”。

随着“去IOE”的实施,阿里IT发展策略逐渐从依赖“商业软件”、到拥抱“开源软件”最终演变为自主技术和云计算服务能力,更为2009年“阿里云计算有限公司”的成立埋下伏笔。

“如今,飞天操作系统能够在10万台级别以上的服务器里面做调度,今年(2019年)双11有非常多的应用,但是它并不是说每一个时间点,所有应用负载都是一样的。”张建锋表示,他们在零点把大部分计算机资源分配给交易等应用,过了凌晨1点之后,把数据分配给数据处理系统,2017年当天处理了300PB的数据,2018年处理了600PB的数据,2019年要处理970P左右的数据。

目前,这些技术已由阿里云赋能给各行各业与世界各地,提高了全球网络“抗洪”能力。例如,中国邮政核心系统上云后,承载了超平时5—10倍的业务“洪峰“,东南亚最大电商平台拉扎达(Lazada)则在双11活动期间承载了超平日15倍的峰值。

责编:刘佳

此内容为第一财经原创,著作权归第一财经所有。未经第一财经书面授权,不得以任何方式加以使用,包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。 如需获得授权请联系第一财经版权部:021-22002972或021-22002335;banquan@yicai.com。

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章