百度,在普通民众的眼中一直都是一家互联网搜索引擎、中国最大IT互联网企业,干净的百度首页界面给人印象也是如此简单。但是在这简单的界面背后确有着极其复杂的技术力量作为支撑。百度自从成为国内最大搜索引擎之后,一直致力于国内IT行业的进步与发展,百度在云计算领域正在进行一场“打怪升级”。百度不断开放laaS、Paas和SaaS等多层面的云平台服务,尤其百度IaaS云快速发展,越来越多的技术人开始关注百度的云计算数据中心。
除了阳泉云计算中心之外,百度在南京的云计算数据中心,也汇集了众多新兴硬件技术,其自主设计的机柜、服务器和交换机等硬件技术有望成为未来IDC的技术标准。下面就让笔者带您走进百度云南京云计算数据中心吧。
2013年1月11日,百度位于南京的云计算数据中心首度对外曝光。而在整个南京云计算数据中心中最为瞩目无疑是全球首个ARM架构服务器端规模应用。
虽然Intel的ATOM系列芯片已经在功耗和性能等方面有了极大地提高,但是随着诸如iPad,iPhone、Android平板以及Windows 8的ARM架构PC产品和Surface的推出,使得在云客户端方面,ARM结构已经独领风骚很久了,尽管Intel想利用凌动系列芯片插手ARM的地盘,不过目前还不是很成功,反而ARM已经开始涉足后台的云计算数据中心业务。
2011年NVIDIA公司以Tegra ARM处理器作为GeForce GPU加速器的流量控制,成功设计出一款可与超算相媲美的服务器。2012年百度云南京数据中心则首次在服务器端规模应用ARM架构,使ARM架构的服务器正式走进IDC。
在服务器领域,众多人眼中X86架构与新兴的ARM架构必将有一场激烈的竞争。因为即便是与最为节省能耗的X86芯片相比,ARM处理器所使用的功率还要小得多。即使与Intel大大降低了功耗和价格的凌动芯片相比,ARM依旧占据市场高地。因为ARM本身并不生产芯片,而是以授权的商业方式与全世界所有的半导体芯片厂商共享ARM芯片,这种硬件的开源为ARM服务器注入强大的生命力。或许ARM服务器时代真的快要到来了。
百度南京云计算数据中心在ARM服务器架设方面已经积累了非常丰富的经验,利用代码指令集变迁的方法,将X86平台与ARM平台进行整合,利用ARM软件工具链使调试工具完善,发挥ARM服务器32位优势,只保留特殊变量,利用特殊指令变量对齐的方法,成功架设了全球首款规模应用的ARM服务器。
据南京数据中心的工作人员介绍:“ARM服务器大大降低了功耗和成本,云平台将软件与CPU指令集解耦得以实现,进而实现了轻计算负载和和高存储密度。ARM服务器不但是全球首款规模应用的ARM服务器,同时百度在研发这款服务器时还积累10项发明专利、TCO降低了25%以及存储密度提升了70%。随着ARM 64位处理器在2014年的推出,百度ARM服务器的技术标准将加成熟。”
“绿色机房”已成为当今IDC的时代主题,它包括减少一开始使用的能源和材料、提高楼宇的使用效率、延长楼宇的使用寿命、减少配件的更换和浪费等一系列行动。IDC在全球的增长已令企业开始关注数据存储、传输和处理过程中所用资源的效率和生产率。
在南京云计算数据中心中,成排成排的整机柜格外引人注目。集中部署了大规模上线的定制化整机柜,百度作为互联网企业显然没有将国内IDC提供商的一些陋习带进这家新兴的云计算数据中心。
做过IDC的IT技术人都了解,物理空间、电源、布线和空调散热是每一家数据中心无法躲过的老大难问题。几乎每一个系统管理员都为新增服务器没有位置、UPS不够用、布线以及散热问题头痛过。举个例子,数据中心所消耗的电力已占到美国全部电力使用量的2%,在所消耗的电力中,有 很大一部分是为了满足网络电子设备与楼宇运行的需要。这些电子技术会产生大量的热,这是数据中心所面临的主要问题之一。随着温度的升高,IT硬件的可靠性 大幅降低。据估计,温度每升高10C(18F),电子设备的长期可靠性将降低50%。具有讽刺意味的是,数据中心运行所依赖的一些核心网络电子设备产 生的热量正是导致其效率和寿命降低的因素。这个时候IDC的工作人员能做的往往只能是“堵住破罐子别漏水,实在没办法了,拿个新罐子接破罐子的水!”笔者最近接触的一位工作于北京市东城区的IDC工作人员(具体是哪家很好猜吧)就在为扩建数据中心而头痛,毕竟数据中心的扩建不是简单物理空间的增大那么简单。
其实解决问题的办法往往就是把问题杜绝在源头。百度南京云计算数据中心,整个机房的服务器阵列非常整齐壮观。整机柜一直是众多IDC梦寐以求的,布线、UPS设置、管理以及散热都将得到完美地解决。但是IDC发展速度过猛、IDC扩建和高额成本等问题使大规模整机柜没有出现,而像南京云计算数据中心这样的整机柜无疑最大限度地解决扩建问题,同时,整机柜的一体化交付也解决了DIY服务器问题,只要服务器交付,即可上线,省去了DIY服务器调试的中间环节。据其工作人员介绍:“除了解决IDC的物理问题之外,整机柜的模块化设计和一体化交付都让成本节约找到了出路。像这么大规模定制化整机柜在国内并不多见,其TCO下降了10%,交付效率提升10倍!”
今天以太网的速度正在不断提高,从开始的10兆(10M)、百兆(100M),发展到千兆(1G)、直到现在的万兆(10G),而以太网设备的价格则随着大规模的采用和生产而逐渐下调。在越来越多的服务器改用千兆以太网作为上联技术后,数据中心或集群的骨干带宽相应增加,以千兆或千兆捆绑作为平台已经不够使用,升级到万兆以太网在服务质量及成本上都将占有相对的优势。
虽然国内拥有万兆集群的IDC并不是新鲜事,不过IDC的万兆集群数量并不多。南京云计算数据中心拥有5000台万兆集群,被称为国内最大绝对不为过。值得一提的是,这些万兆TOR(Top of Rack柜顶式)交换机全部由百度自主研发设计。万兆以太网提供给高性能计算支持非常给力,用户访问、服务器管理、存储连接性以及集群互连都将得到完美的支持。5000台万兆集群给南京云计算数据中心所带来的好处就是接入成本对比同类商用方案下降83%。
百度云首席架构师林仕鼎讲到,个人云服务、开放云平台、云计算基础软硬件架构和操作系统研发,构成了百度云的整体布局。其中,百度个人云服务自2012年7月底正式开放, 从数据存储服务向一人一云的方向发展。截至2012年12月,用户量就突破了2600万,个人云文件数突破10亿,在行业中增速最快。此举推动了传统云计算向个人云的转变,做到用户数据的统一性,不被终端和应用等分割。其中百度自主研发SSD,系业内首家自主研发及规模应用,相对SATASSD性能提升6倍成本降低10%,相对PCIEFlash性能提升2倍成本降低40%。
百度作为一家中国的互联网公司,这样一个IDC无疑在面对外国公司时都毫豪不逊色。某些技术与国外同行(Google、Facebook、Amazon、Microsoft等)相比,也处于领先或者相当水平。百度在ARM架构、整机柜和万兆集群等方面积累的软硬件技术,对于整个IDC行业都将是一个借鉴。
云计算作为一种新兴的共享基础架构的方法,物理形态通常为大型的服务器集群,包括计算服务器、存储服务器、宽带资源等,它可以将大的系统池连接在一起以提供各种IT服务,并由软件实现自动管理,无需人为参与,用户在享用服务时犹如打开水龙头接水一样方便简洁的享受信息服务,而不必关心后台的技术有多复杂。
互联网企业的外网需要向运营商支付高额的费用。并且随着云服务的蓬勃发展,Internet用户数量和流量的急剧增加,网络容量也从数年前的10G快速增长到1T,10T甚至更大。由于峰值计费的收费模式,每个数据中心经常存在非常可观的空闲带宽,我们希望可以充分利用这些免费的空闲带宽,进而优化外网流量。
在过去的2012年,国内外的IT企业各显神通,使出浑身解数让“云”落地。超云在该领域产品定位很清晰,面向高密度、低功耗、为云应用而优化的服务器发展符合了云计算潮流。超云服务器优势在2013年为超云赢来了开门红,超云凭借高密度多节点服务器,中标百度2013年5000万左右采购合同,拔得开门见喜的好彩头。
2014年7月2526日,由51CTO传媒主办的全球软件技术峰会WOT(WorldOfTech)在北京富力万丽酒店召开。在下午的数据库技术与应用专场,百度云系统部工程师杨林为大家带来题为《百度云MongoDB经验分享》的精彩演讲。本次演讲包括MongoDB的应用场景介绍,以及其中常见的问题分析。
随着移动计算和大数据的发展,改变了传统数据中心的数据存储和计算的方式。很多互联网巨头公司开始考虑使用自己的服务器来处理海量的数据。而Facebook、Google和Amazon这些公司已经开始尝试采用与低成本制造商合作做自己的服务器,HP、Dell、IBM这三大服务器制造商开始有了危机意识,服务器市场竞争日益激烈。
百度轻应用到底是什么呢?笔者经过试用百度移动搜索,以及官方提供的轻应用创建工具AppBuilder总结如下:百度轻应用是利用百度提供的在线工具AppBuilder所创建的移动网页,其网址为microapp…或开发者自己的网站,它同时还有logo和简介,在利用百度移动搜索和手机百度搜索关键词时以卡片形式显示。