时间：2010年3月23日15：30-16：20 地点：赛迪大厦18层会议室 题目：低碳经济下的数据中心建设
嘉宾： 兴业银行北京分行科技部总经理 黄晟 北京数据家科技有限公司技术总监 安磊 赛迪顾问业务群组研究总监 柳絮 美国力登公司中国区技术经理 周里功 美国力登公司亚太区产品经理 Frank Huang
会议内容： 支持人：各位来宾大家下午好！欢迎来到中国信息主管网CIO三人行栏目，我是主持人。相信大家都了解到这期CIO三人行主题是低碳经济下的数据中心建设，当前低碳经济是非常热的一个话题，从节能减排到低碳经济，给IT设备提出了更高的要求，同时数据中心建设规模也要求更加大，而不仅仅是规模更加大，设备更加全面，在满足基本的使用同时，降低碳排放做到节能环保也成了数据中心建设的一个首要任务。今天我们主要围绕的是保障数据中心用电安全的电源管理方案，还有包括通过电源管理如何提高运行时间和员工工作效率，如何节省电能和成本向绿色数据中心迈进。首先介绍一下到场的嘉宾，他们是：兴业银行北京分行科技部总经理黄晟；北京数据家科技有限公司技术总监安磊；赛迪顾问业务群组研究总监柳絮；美国力登公司中国区技术经理周里功；美国力登公司亚太区产品经理 Frank Huang。现在进入话题讨论环节，我们讨论的第一话题就是在我们这种节能减排的大趋势下，随着数据中心规模的不断扩大，用电量不断的高涨，异地机房分支众多，伴随着刀片服务器日趋普遍，这种高密度机柜使用成为主流，对于数据中心来说节能减排也非常重要，这方面用户方更有发言权一些，我们首先有请黄晟总经理给我们介绍一下目前数据中心节能减排这块在银行领域是什么样的应用情况？ 黄晟：兴业在业务方面对于低碳经济和节能减排有专门的部署，从这个角度来说，兴业银行对节能减排承担社会责任也是全盘贯穿的。数据中心节能减排从技术的角度来说，整个数据中心最关键是制冷这块，用什么样制冷方式和空调的冗余度决定了节能减排的几种方案。 实际上从服务器的角度来说，对电力的要求并没有像微电子要求那么高，我们习惯现在做N+1，这决定了你整体的耗电量大小。至于像大的国外比较有名的谷歌数据中心，在水库边上，他用水来降温。国内数据中心一般找不到这样的环境，我们各地电价并没有差别特别大。目前银行在节电城市，在北京、上海会多一些。因为上海也设了一个金融操作区，从分行到总行做节能减排，尤其是在低碳情况下我们考虑点是不同的，比如说公安部数据中心级别，我们会定不同的制冷标准。 第二，设计上面大的电量就会省下来了，这个可以用公式算一下。从制冷里面还有刀片，我个人感觉硬件物理环境会要求比较高一些，比如说夏春季高度更高一些，涉及到刀片服务器单机柜散热量会比普通的大很多，这会通过增加复压等等手段，从现在机房建设角度来讲有很多技术可以减少原来的设计方案热功率比较高的情况，包括机房通过冷热来测里面的流量，总体还是通过技术发展来提高效率。基础一点就是把出线口做一定的封闭，减少热量的损失，基本上就是这些。 主持人 ：针对兴业银行的应用给大家讲了他们的应用方案，我想请安总作为IDC运营中心的技术负责人，能不能讲一下你运行数据中心的一些经验。 安磊：我们在北京有非常多机架，服务器上万台，刚才黄总也都说了，我们也是IDC中心，但是我们主要对的是社会上的用户，我们的供电方案是N+1的方案。首先上面来电是两路，下面分成两个UPS，每个机柜都是有两个头供电。 我们是相当费电的，因为每过一个头，每过一个UPS会有一部分消耗。实际上在整体运行成本上供电方面是非常大的一块成本。还有一个消耗比较多的就是制冷，制冷的压力是非常大的，我们在这边一共是六组制冷系统，等于5+1备份方案，有五台系统在工作，一个独立系统在备份，最新建的机房是这样的，耗电量也是非常大。 如果说低碳，我们这方面暂时还没有考虑，只能说大量的在消耗的电力。对于我们来说，对于这块非常希望能够控制一下，控制一下成本就变成利润了。 主持人 ：安总讲的比较实际，他现在的状况就是这样一个状况，可能中国的很多IDC数据中心也面临着这样状况，我们下面请赛迪顾问柳总给大家介绍一下中国数据中心节能减排的现状，或者您觉得存在那些问题或者发展趋势方面给大家交流一下。 柳絮：我觉得刚才安总说的是一个典型的代表，实际上节能减排或者说低碳经济现在更多的是一种理念或者是大家的一种意识的发展。实际上到现在说到行动，更多是厂商用技术引领和推广，用户的认识还没有到那种程度，或者说实际条件还没有到达那个地步。我们给一些IT用户做的数据中心规划或者整个信息化规划，他们很少说我这个数据中心要建一个绿色的数据中心，很少这么提。更多的是如果招标的时候，他有节能的产品，我们可以优先考虑，最多到这个程度。 总结一下现在的社会舆论或者从理论研究的角度，可以做到数据中心绿色的手段有几个方面：第一，产品。从数据中心的设计包括从建筑，刚才黄总也提到了，从它的建筑设计。有一个很好的例子，最早的时候说地铁，我们北京的地铁跟国外如德国的地铁空调节能差异是非常大的，实际上在数据中心这也一样。我们数据中心应该从建筑开始，包括使用的材料包括建筑的各方面通风的设计。 第二，里面的产品。刚才说到一个最主要的空调，现在是最大的一个，大家最关注的。第二个是服务器存储等，第三个UPS。这实际上在比较密集的数据中心会很重要。实际上这些产品已经都有相关的技术在推，比如说空调，一些空调的厂商说我可以给你更好的去评估你这里面的设备所需要的制冷量或者说让你更精确，或者说能够灵活的自动调节温度。 服务器一些处理器厂商，像因特尔，AMD正在推他们的产品是节能产品，这是比较早比较突出的。UPS等等都有这样的电源管理的相应工具或者说一些方法，这是从产品的角度。 从应用的角度，包括技术和运维。刚才提到了比较典型的说用水降温的方式，在中国这种可行性或者说便利条件是有很大局限性的。在技术的应用上，现在的虚拟化技术应用，包括刀片服务器的应用。 我觉得主要是在这两方面是将来或者大家现在正在推广的。当然从未来的发展来说，专门的智能电源管理技术将是数据中心节能或绿色化发展精细管理的一个趋势。 主持人 ：谢谢柳总，他分析比较透彻，从我们中国用户本身的需求角度，也从他所接触厂商做的一些方案的角度给我们综合的展示了中国现在数据中心建设节能减排的现状。听了这几位嘉宾的发言，我想请教一下我们的技术专家谈一谈绿色数据中心建设的判断，以及您认为现在这个趋势发展的方向。 周里功：刚才几位专家和领导都或多或少谈到了目前国内的一些数据中心绿色化的现状以及未来的发展。从我的角度上来看，数据中心从目前的使用建设大的方向来分有两部分，一个是现有的数据中心，一个是正在规划和建设的新的数据中心。从绿色节能化的角度来看，正在规划建设新的数据中心比较好办，因为不管是现在政府的驱动，政府每年其实都在讨论如何节能减排、减碳。在新规划数据中心，包括像刚才专家也说到了数据中心建设土木开使用料选材，这方面有一些厂商都有相应的解决方案。 说到数据中心已经用几年了，如何能够来对现有的数据中心，虽然数据中心大的构架已经很陈旧了，但是在运维上如何走向节能和绿色呢？我想关键的一点，国外有一句话叫做没有测量就没有管理。我要对数据中心进行节能绿色的改造，我首先要知道现在的状态是什么，是能耗非常高，结构非常不合理，还是怎么样一个状态。只有知道了详细数据，以后可以针对现在这个状态对症下药，用什么方式使得它更加绿色化，节能化。刚才黄总也提到了数据中心能耗最厉害的地方是制冷空调，如果我要有了现在的数据，比如说数据中心有哪些热点，这都是热门话题了，我如何来发现这些热点。 其次，大个比方来说，我现在数据中心白天温度是21度，我能不能升高到23度，升高2度，这种方式看可行不可行，或者看白天、晚上生产系统作息时间不同动态调整这些温度，这就是一种方式。 在国外有一个非常著名的机构提出了PUE的概念提到了数据中心测量的建议，分三个阶段，第一个阶段，想要得到数据中心PUE最简单的方式就是查一下数据中心外面有的电表，看一下总的耗电量，这个数值就是PUE的分母，PUE的计算分子也就是我生产系统耗电量，如何计算呢？UPS的耗电量就是这个数值。这只是一个最初步的计算PUE的方法，我如何能力真正得到数据中心真实的动态的一个PUE的值，就可能需要不仅仅只知道一个UPS值就行，最终的结果要真正知道IT设备本身单台服务器的耗电量是多少，而且需要了解是一个持续变化的值，只有知道了这个持续的值，我才能对数据中心进行动态的调整，真正迈向绿色的数据。 主持人 ：刚才周经理简单介绍了从技术的角度做绿色数据中心的一些基本的要求，我不知道安总和黄总这边有没有什么想沟通一下。 黄晟：从我的观点来看，我们很多对机房的要求做的还是比较粗，一般空调回温口的温度，其实这个温度并没有测试到整个机柜，实际上要省电回端口上面放刀片，可能机柜达不到这个要求。在建设过程中参照的标准不一样，可能得出来的值就不一样。 主持人 ：我们就进入今天第二个话题，现在当前的数据中心是大而集中的模式，也给电源管理带来很大挑战。我想先从用户方谈谈电源管理存在那些问题，或者还有哪些不太好解决的地方？ 安磊：我们排在第一位的是可靠性，这个毫无疑问。为了保证可靠性能源的消耗肯定要大，上面所谈到是20度，可是国家标准写的就是25度以下。环境温度就应该在18度左右，因为我们是测量机柜里面温度，机柜里面在25度左右环境温度就得更低了，可能是在18-19度。我们到夏季的时候，基本上多少供电都不够，我们现在配电柜是1000安的，我们今年去检修发现一个供电模块都碳化了，眼看就要出问题了。每年一到夏季电都很担心。 主持人 ：我们建设数据中心当初并没有从节能角度去设计这个方案。 黄晟：节能和需求是两回事。 安磊：我们现在运行数据中心就是我参与建设的，我不是供电方面的专家，在节能发面我考虑的不多，我所有的考虑第一要素是可靠性，一定要保证安全运行，各个环节一般都是有三套方案：第一方案失败了怎么样，第二套失败了怎么样，最后启用第三套。在网络，在供电，在制冷、灭火、监控基本都是这样，其他的都至少有两套备份，一套系统崩溃了以后会有另外一套方案。在供电这一块要求更高，第一道保障是双路供电，第二套UPS，之后还有第三套方案。供电有两路，一路坏了用第二路，如果两个都不行就用UPS。我们会有三套系统来保证整个环境的可靠性运行，我们是以可靠性为主的。 节能方面当然也会考虑，省下来钱就是利润，肯定希望更省电，但是这在相同可靠性的前提一下，比如说这个UPS过这个消耗5%，那个消耗3%，我肯定选3%的。如果可靠性上面5%的可靠性要比3%的高，我还是要选5%的，因为业务是第一位的，一旦崩溃了，宕机的话用户数据丢失了，对我们就影响很大。我们这边还是可靠性第一，当然也会关注节能方面。 主持人 ：安总的观点看来黄总非常认同。 黄晟：刚才是讲耗电大户，我觉得空调是耗电大户。跟IDC比起来你们集成量比我们大的多，我们主要是内部信息，整体服务器是比你们少的。 安磊：我们每年空调的电费应该在七、八十万。 黄晟：还可以，不算多。 安磊：本身电费跟国电谈了一个相对低一点的价格，这仅仅是空调。也有一些新的技术，比如说刚才都没有提到的，现在大的能源电厂，我们接触了一些电厂方案。这边是电厂，直接把电发出来这边可以用，还可以用热能制冷，用废的热来制冷，来解决制冷的问题，没有空调了直接像办公室里面集中制冷一样的技术。因为这直接用电厂的废的蒸汽直接变成冷给你送到这边来，我们现在对这方面制冷也是很头痛。我们把室外机上面盖一块黑布，这样就能节电1%。 主持人 ：这也是不少啊。 柳絮：发电厂跟你们谈为什么最后没有谈成功？ 安磊：我们可能要盖一栋大楼，而且要求的架数太多了。国家可能有具体的要求，他电厂首先需要重新的建一个变压器，那个变压器可能几千万。 黄晟：你们跟上网电价又不一样了吧。 安磊：我不清楚，国家到底文件签没有签我不清楚，国家说是有一个直供。电厂每卖给我们一度电要交三分钱给国家电力公司，好象是这样一个探讨的东西。为什么没有实现呢？一方面是我们的耗电量也没有他们说的那么大，那个是100万千瓦起，像我们还没有那么大。 主持人 ：黄总你这边有什么难题吗？ 黄晟：原来使用大量UPS电池来供电，这个污染还是有污染的。如果电的相位不同会并不上去的，可能作为灾难备份或者供电比较关心的还有电污染的问题，我觉得这个问题一并网并不上去就出麻烦了。 主持人 ：看来这块还有一些需要探讨的方面，Frank Huang总您能不能就用户提出的需求给大家交流一下比较好的解决方案。 Frank Huang：我们要说到为什么要做节能减排，说穿了大家要正常工作得耗多少电还是需要耗。当然节能减排能够做到最好，但是前提是不影响正常工作运作的情况下。 PUE定义是变成用电效率，你该用多少电还是需要用多少，但是看到底有多少是有效的使用，你PUE这个值定义进了机房里面总耗电多少，有多少电到了重要服务器上。 如果这个PUE值本身是4，我相信很多机房都超过4，这个4是什么意思呢？代表只有四分之一供电到服务器上面了，有四分之三到其他，你说冷却跟其他所有，跟服务器以外的地方。这样是非常没有效率的，这些重要服务器得用多少电不能改变，今天是基于这个前提之下，不去改变这一块，可能从其他部位做省电，希望把这个PUE值降到最低，你纯粹从公式来看，一比一是最好的，你所有电到机房里面去，但是大家知道这不可能，你得有空调在使用，其他周边设备得用。当然有人说地理位置很重要，你搬到山上或者发电的地方都会比较好，当然这是前提。你今天谈解决方案，是让大家可以进一步了解到今天把所有电放在服务器上之外，你其他在整个机房里面的耗电的情况，是会很准确知道每一个东西，每一个机器耗电的情况，通过做了解之后下一步可以做改善，想办法把PUE值降下来。 现在国外很多机房深入了解，当然今天你说节能减排是大方向，希望能够做到。但是实际上今天深入做了解以后，做测量不管是每个机柜，还是每个机器耗电情况，还是今天你讲空调，你如果要降到20度，你可能平常的温度会放在16度，今天获取增加很多探头，深入的去了解整个机房温度，每个角度，很多机房很奇怪，你温度降到非常低，可是总有一些地方是特别的热，有一些地方像冷冻库一样冷得要命。这代表机房里面没有做很有效对流的方式。设计刚刚开始绝对有顾虑到这一点，可是设计哪知道这里边怎么做编排，机柜的位置怎么做排列，今天通过测量每一个角度，每一个位置温度之后，尽量去了解里面机房的温度，热流风怎么吹，你会了解哪一个点特别热，或者有一些地方必须烧电，想办法把热度降下来。做了了解之后换一个位置还是把热分散掉，有一点虚拟化的意义，把所有热度平均分摊化，不要集中在一个机柜或者某一个区域，这样相对来说不需要花那么多钱为了降温。 站在解决方案这块，不管今天是了解每一台机器耗电情况，进一步也更加了解每一个机柜内部的温度或者说整个机房每一个位置的温度下去做调试，相对的来说通过整体解决方案会告诉你，你现在整个机房里面状态在过去一段时间之内甚至于直截了当告诉你说排碳量是多少。这就让你很快的可以做一个比对，因为你做了一些调整，你就替公司，对整个机房降了多少度，减了多少碳量，这是从我们产品面和解决方案面来考虑的。 主持人 ：正好我们可以导入今天第三个话题，安总一直强调的是在可靠性的前提下，我们如何去最大程度的降低数据中心的成本。另一方面针对刚才所提的电源产品的解决方案，大家会在选择电源产品的时候要注意什么，希望各位能够畅所欲言。 柳絮：实际上刚才黄总已经说了一部分。现在对于企业来说，我们总体感觉为什么说可靠性比较重要，大家还没有太多应用减排或者说节能的方式。其中一个原因是技术的发展，如果技术已经发展到能够很精确的评估他需要的制冷的量，而又能保障它的设备稳定运行，大家一定会使用。 因为现在技术还是在成长过程当中，这是一个最基本的决定因素。从现在能做的事情来说，是尽可能的去减少一些碳排放。比如说在新建的数据中心在最前期的时候做尽可能详细的规划，包括你的布局。现在做数据中心设计，规划比较粗略，基本上是什么地方放机柜、UPS等，大概需要多大的承重，地面设计多高等等，都是比较简单，这个精细化是不够的。我觉得以后精细化的设计针对节能的角度，包括你将来准备在机柜里面放什么，它的排放的热量是多少，我的空调通风怎么能够解决这些问题，我觉得这是前面第一步。 第二，从国家的角度或者从研究机构的角度，结合了现在一些技术厂商去制定，去深入的研究制定这样的标准，大家去测量到底怎么样是准确的，能够让用户相信这样做确实能够保证我的机器稳定运行，当然这可能需要一个过程，这是一个非常重要的事情，将来业界也好，研究机构也好将来要去做的事情。 第三，从各个行业来说需要有相应的引导和监管。现在大家都是自发的，因为从政府的或者从行业协会角度，是没有办法去保障用户使用没有问题，在这种情况下你是没有办法监管或者没有办法要求他怎么样，在我们相应标准制定有一定可行性的时候政府可以出一些相应的监管措施，及超标的治理措施等。 第四，现在更多可以做的是实践的借鉴，前两天看到万国数据中心打造绿色数据中心的一些信息，在多个环节都应用了环保技术，现在已经有一些IT用户开始拿绿色来作为噱头，来宣传了。这其中确实有一些节能、环保的方面，这些方面在技术不那么成熟，标准没有那么规范的情况下是可以借鉴的，当真正看到这些案例实际上节约多少成本之后，当用数据说明问题的时候，行业用户真正去学习借鉴的动力会比较充足。 主持人 ：柳总谈的比较深刻，都已经上升到了一个高度了。一方面从用户的角度，前期要做规划，这是必须的了。有的时候有了建设可能要改进弥补一些地方，如果还没有建设，用户应该把这些东西做好规划。另一方面从产业政策层面，可能需要厂商和政府部门以及第三方的咨询顾问的部门共同去努力，去制定一个行业的标准，包括相应的监督引导的监管体系，这样整个产业就有一个很好的模式来形成了。 对用户来说，可能更关心的还是说，如果我有现在这种需求，我去选择一个什么样的方案，比如说现在这两位用户面临的是一个改进的过程，可能更多的网友面临的问题是如何去选择一套合适的方案，两位虽然是代表力登参加我们会，但是我相信也会给广大网友提供一些建议，大家可以不可以谈一谈这方面建议？ 周里功：刚才也都谈了很多，安总比较关心的我回应一下。安总关心数据中心的使用可靠性，这个非常重要。我们都知道尤其在数据中心，电的可靠性又是重中之重，电的不可靠其他的没有办法说了，无论是你的UPS三套方案还是几套方案。就目前数据中心里面针对电的情况，你要提高可靠性首先要监控、测量，但是在电的监控、测量方面其实有一个漏洞。我们从供电系统，从UPS这一端，供电有监控，到了我的机房UPS，这些点都有监控，到了机柜配电柜也都有监控。但是大家忽略了我们生产系统的服务器的末端用电的监控，服务器的监控系统很多，有监控系统的，有监控应用的，有监控病毒的等等，但是唯没有监控用电情况的。 安磊：新的用电插座都有，新的机柜上机柜，每台机器要用多少安培电都有显示。 周里功：看来安总在应用系统上还是比较超前，但是我相信大多数国内用户包括网友自己数据中心还是用传统的傻瓜的插座，他根本没有办法来了解到我的这些核心的设备用电的状况，这就是一个缺失。现在国外新的数据中心设计中，在用电安全性上大多按照端到端的并加强末端的用电管理的思路来设计，我只有实时监控到服务器的设备，这样更加完善、完美，对于设备运维人员，除了有设备系统监控数据，网络安全监控数据，在用电安全性上也会提供数据，这样对于设备运维的故障判断会更加准确，更全面。
Frank Huang：我讲一些国外的例子，其实除了用电之外，其实很多的探讨是针对空调。空调的确是比较棘手的问题，非常多的数据中心对他们而言今天是不择手段，把温度先降下来再说，耗多少电事后再讲，温度不降下来肯定会出问题。对于他们来说温度是很难解决的问题，一开始是很简单的，就是一个空调系统，他们大方向了解一个机房的目前耗电情况跟温度目前多少。因为今天你了解不够透彻，拿一个例子，我们公司碰到一个国外大客户，他们就是大型机房。他们为了去了解可以及时的去掌握整个机房目前所有各地的温度和状况，刚才前面讲的探头的布局基本上要在每几米就放一个探头，他们的做法是及时的了解，告诉你知道整个机房里面目前的温度的状态。他可以很快的知道随时在什么时候，在机房哪一个机柜本身温度是较高的，或许有一些机房今天全部变成密封式的机柜，他就是整个机柜内部做调温，外部就不需要做太大动作。他们内部也做了探头，甚至在重要的机器装了探头，及时做每一个机器上面温度的了解。做了解之后知道高峰时间，上班的时间用的比较凶的时候，因为温度较高，让它的降温度非常厉害，下班的时候不需要那么热，那时候温度降到一定程度之后，自动会让温度回升几度，当然这是在监视一段时间之后有办法做出的决定。 其实前提取决于今天除了在规划上面，这些使用者除了规划之外也许刚刚开始在电源管理没有想到有这么大学问，有时候资金要做规划都没有，总觉得机柜来的配电就是免费放在里面了。后来发现这些种种都是后续要加上去的，如果事先做好这个规划，准备好要规划到哪一种程度。因为不见得每一个企业都会要用到针对每一台机器做耗电了解，有的可能针对局部了解就够了，有的是阶段性的做更改，目前现阶段只需要测量到机柜就好了，等到日后需要更加做了解，他在一步一步做调试，而不需要一次变成到位，毕竟公司规划耗费的经费是有限的。 只有有测量的机制在里面，不管程度高低，就是要先在规划的时候加进去，总之，在日后一定会有所帮助。