马如悦：揭秘百度分布式系统与未来发展

　　8月27日消息，2010年系统架构师大会今天在北京永泰福朋.喜来登大酒店隆重开幕。本次大会主题为：“企业IT应用最佳实践”，是由IT168联合旗下三大技术社区ChinaUnix、ITPUB、IXPUB主办的继2009年第一届系统架构师大会之后偏重技术经验分享和案例剖析的又一次技术盛宴。据悉，本次技术大会邀请了30多位各行各业、国内最顶级的技术专家分享来自最终企业用户端的系统架构成功实践经验。

　　▲2010系统架构师大会专题

　　来自百度系统部的高级工程师马如悦先生在演讲现场修改了自己的PPT,他表示在看到现场如潮的架构师对各种架构的兴趣之后，觉得不该老调重弹的说些概念，而应该将较核心的内容拿出来与大家共享，赢得了现场的掌声。马如悦在“百度的部分分布式系统”演讲中详细介绍了百度分布式系统的规模和大致采用的软硬件系统，并介绍了未来的发展计划。

　　▲百度系统部分布式小组 高级工程师 马如悦

　　据了解，百度的分布式系统主要有如下三大部分，分别是用于广告计算(主要是后端数据训练和计算)的HPC高性能计算系统：规模大约在200个节点左右;而用于MapReduce计算的DC系统则用于大规模分布式计算，主要用于类似日志统计和挖掘、众多调研计算等等，其每日计算量超过2.5PB数据(Google的这一数字是20PB)。

　　分布式存储方面，马如悦表示目前百度存储系统的平均容量已经达到了70%，4000台机器每天仅更换的坏硬盘就有200多块。

　　▲百度的系统架构规模

　　从下面的百度分布式计算架构图可以看出，底层的计算资源管理层采用了agent调度不同类型的计算分别给MPI结构的算法和Map-Reduce和DAG算法应用等。与一些学术界人士的观点不同，马如悦先生认为Map-Reduce有自身的优势，不需要去强行用MR去做MPI计算。而通过调度的分配，可以让HPC高性能计算集群和大规模分布式集群各得其所的计算相应数据。

　　▲百度分布式计算系统架构图

　　马如悦详细介绍了有关百度HCE语言的有关内容，他表示HCE是基于C++的Hadoop环境，是一个全功能C++环境，可以避开Java语言对于释放内存和资源申请的弊端，并在调用数据时绕开Java语言的所有关节，极大的提升算法效率。

　　▲HCE的设计图

　　注：本文经过马如悦老师指正后有修改，特此说明，并感谢马老师。

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。