數據中心機房供電配電及能效管理係統設計

摘要：現代的數據中心中都包括大量的計算機，對於(yu) 這種場所的電力供應，都要求供電係統需要在所有的時間都有效，這就不同於(yu) 一般建築的供配電係統，它是一個(ge) 交叉的係統，涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發電機等，每個(ge) 係統互相交叉，互有影響，這就使我們(men) 在設計時需要考慮多方麵的因素。本文從(cong) 數據中心的高壓供電係統到末端精密配電係統介紹數據中心供配電及能效管理係統的設計。

係統概述

現代的數據中心機房中都包括大量的計算機，對於(yu) 這種場所的電力供應，都要求供電係統需要在所有的時間都有效，擴容容易，維護簡便，容錯力強，*重要的是性價(jia) 比高。數據中心機房是現代信息化建設的基礎工程，為(wei) 各個(ge) 業(ye) 務提供穩定、安全的工作環境，而機房的供配電係統就是這基礎工程的心髒和大動脈，供配電係統的穩定，能夠保障其它係統發揮作用和核心業(ye) 務正常運行。係統不同於(yu) 一般建築的供配電係統，它是一個(ge) 交叉的係統，涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發電機等，各個(ge) 係統互相交叉，互有影響，這就使我們(men) 在設計時需要考慮多方麵的因素。

設計標準

數據中心有專(zhuan) 門的設計標準，數據中心電信基礎標TIA-942《數據中心電信基礎設施標準》，是2005年4月由美國電信產(chan) 業(ye) 協會(hui) (TIA)、TIA技術工程委員會(hui) (TR42)和美國國家標準學會(hui) (ANSI)批準的。國內(nei) 的相關(guan) 規範和標準也是綜合國外標準以及國內(nei) 數據中心建設發展情況做出的，數據中心設計規範GB50174—2008《電子信息係統機房設計規範》也於(yu) 2008年l1月12日發布，2009年6月1日開始實施。

設計一個(ge) 數據中心首先需要根據用戶重要性和業(ye) 主對數據中心可靠性、安全性等的具體(ti) 需求，確定機房等級．再按照相應等級確定適合的供配電係統。國內(nei) 的數據中心首先需要滿足國內(nei) 規範的要求。GB 50174—2008中關(guan) 於(yu) 數據中心的分級規定如下：電子信息係統機房應劃分為(wei) A、B、C三級。設計時應根據機房的使用性質、管理要求及其在經濟和社會(hui) 中的重要性質確定所屬級別。

設計原則

數據中心供配電係統設計應執行或參照執行國家和行業(ye) 相關(guan) 標準、規範，並可參考國外相關(guan) 標準、規範，結合考慮數據中心用電負荷密度高、供電可靠性要求高等特性采取適當的技術措施。同時，應滿足項目建設單位的企業(ye) 標準、規範的要求。

數據中心供配電係統設計應遵循分區、分級的原則，同一功能區域內(nei) 的各類設備的供電可靠性，應能保證所有設備能夠按照該區域標準的要求運行，並將供配電係統局部故障的影響麵控製在盡可能小的範圍。

數據中心用電負荷密度高、總量大，其供配電係統設計中應充分運用成熟有效的節能措施，降低供配電係統的損耗。

數據中心機房供配電係統需求分析

隨著信息技術的迅速發展和互聯網的普及，社會(hui) 各界對信息係統的應用越來越廣泛，信息和數據量呈幾何級增長，由此對數據中心的需求日益增加，對數據中心的要求也不斷提高，信息設備功能越來越強，功率密度越來越高。數據中心設備機櫃用電負荷由以前的2kVA/台，提高到3kVA/台、4kVA/台，甚至更高。機房單位麵積的平均用電負荷也由1kVA每平方，提高到1.5kVA每平方、2kVA每平方，甚至更高。

數據中心用電負荷的統計應分為(wei) 兩(liang) 個(ge) 層次，即：UPS供電係統負荷(輸出)和市電供電係統負荷。市電供電係統負荷(輸出)的統計主要包括：UPS供電係統(輸入)、機房精密空調係統、機房照明及建築電氣設備等。UPS供電係統負荷(輸入)＝供電負荷+充電負荷。機房精密空調係統負荷＝N台主用空調機組額定負荷容量×負荷率。UPS供電係統負荷(輸出)的統計主要包括：計算機設備、服務器、存儲(chu) 、網絡設備、小型機等，在負荷設備明確時，按設備數據統計，具體(ti) 負荷設備不明確時，按設備機櫃平均負荷統計。設備機櫃數量也不明確時，可按機房麵積平均負荷估計。

在發熱量較大的情況下，如果柴油發電機未能及時啟動而導致精密空調失電停止工作超過3分鍾，機櫃內(nei) 服務器溫度將會(hui) 急劇升高而宕機，因此在可靠性要求比較高的情況下精密空調也可由UPS提供不間斷電源，在柴油發電機啟動前利用剩餘(yu) 冷凍水繼續保持機櫃氣流循環散熱，直到發電機全部啟動。

數據中心機房供配電係統設計

5.1 供配電係統的布置 

數據中心機房供配電係統主要設備有：UPS、電池、配電櫃和柴油發電機等。這些設備單位占地麵積、重量大，對於(yu) 這些設備的擺放位置既要考慮功能上的需求，又要考慮空間和承重的需要，還要考慮對外界的危害。

數據中心機房供電係統應有獨立的配電間、變配電所，UPS 電源機房應靠近設備機房(負荷中心)布置，這樣能保證從(cong) UPS輸出到用電設備之間的壓降和損耗盡可能的小。UPS 電源主機、配電櫃與(yu) 蓄電池組是否需要分隔，按照數據中心等級的要求決(jue) 定，另外還需要考慮到UPS屬於(yu) 大型設備，重量比較大，噪聲大，需要擺放在一個(ge) 承重比較好，並且不影響辦公和休息環境的地方。配電櫃位置的選擇，主要考慮功能上的需求，配電櫃應在滿足功能分區的基礎上，盡可能靠近供電負載。發電機房宜設置在地麵一層，當發電機房設置於(yu) 地下層時，應特別注意進、出風通道能否滿足要求，應注意發電機組儲(chu) 油裝置（日用油箱、儲(chu) 油罐）的消防要求。

變配電所、發電機房、UPS電源機房均應留有足夠的麵積，可與(yu) 設備機房同步發展，應對設備機房麵積擴展或設備機房功率密度上升引起的供電需求。於(yu) 非專(zhuan) 門設計用於(yu) 數據中心的建築，應注意其是否滿足設備安裝和線路敷設的要求，包括樓麵荷載、淨高、抗震等級、耐火等級等方麵。

下圖為(wei) 典型數據中心的供配電係統示意圖，采用雙路110kV進線，配置10kV柴油發電機作為(wei) 自備應急電源，UPS采用冗餘(yu) 供電方式，末端精密配電櫃和精密空調均采用UPS供電，提高數據中心運行穩定性，見圖1。

圖1 數據中心典型供配電係統示意圖

5.2 供配電係統設計 
5.2.1 市電動力配電係統設計

為(wei) 了提高數據中心供電可靠性，減少電網故障的幹擾，大型數據中心一般采用110kV甚至更高電壓等級市電電源，根據當地供電條件確定。市電動力配電主要用於(yu) 供給機房精密空調設備、普通照明和給排風、維修插座、一般動力、UPS設備等。市電動力配電一般由大樓總配電櫃饋出的動力供配電係統，采用50Hz交電，380/220V三相五線電源，TN-S接地方式，零線和地線分開設置且零地線之間電壓小於(yu) 1V。

一般可靠性要求數據中心宜引入兩(liang) 路市電電源，條件受限製時也可引入一路市電電源。引入兩(liang) 路市電電源時，宜為(wei) 冗餘(yu) 關(guan) 係，也可作為(wei) 供電容量擴展關(guan) 係。

每一路市電電源的供電容量應能滿足全部一、二級負荷的需求，包括UPS電源係統、機房精密空調、機房照明、蓄電池充電及建築設備中的一、二級負荷。兩(liang) 路市電電源的供電容量應為(wei) 全冗餘(yu) ，正常時應同時供電運行，兩(liang) 路電源在負荷設備輸入端自動切換。

圖2 110kV變電站或10kV開閉所保護測控裝置配置示意圖

市電動力配電櫃一般采用放射式配電直接配至各用電設備或電箱，機房內(nei) 所有動力配電線纜需要設計橋架或鋼管敷設，市電動力配電櫃具有火警聯動保護功能，出現火警時可與(yu) 消防係統聯動及時切斷電源，動力配電櫃、照明箱內(nei) 的開關(guan) 和主要元器件應設置有效的防雷措施。

表1 110/10kV變電站和10kV開閉所、變電所保護測控裝置選型表

圖3 0.4kV配電櫃測控裝置配置示意圖

表2 0.4kV配電櫃測控裝置選型表

5.2.2自備應急電源係統設計  

數據中心一般采用柴油發電機組作為(wei) 自備應急電源，對於(yu) 大型、高等級數據中心也可以選擇可靠性高、輸出電源品質好、帶非線性負載能力強、體(ti) 積小、重量輕的大功率燃氣輪機發電機組。一般可靠性要求的數據中心宜配置一路自備應急電源，供電容量應能滿足全部一、二級負荷的需求，包括UPS電源係統、機房空調、機房照明、蓄電池充電及建築設備中的一、二級負荷。當數據中心條件受限製，且市電電源具有較高可靠性時，也可以部分或全部采用移動式發電機組作為(wei) 自備應急電源。發電機組燃料儲(chu) 備量應根據數據中心等級的要求，結合市電電源可靠性、供油可靠性、消防要求綜合決(jue) 定，一般不宜少於(yu) 發電機組滿負荷運行8小時的用油量。

圖4 10kV柴油發電機室保護測控裝置配置示意圖

表3 10kV柴油發電機保護測控裝置選型表

5.2.3 UPS供配電係統設計  
　　UPS配電主要用於(yu) 計算機設備、服務器、小型機、存儲(chu) 、網絡設備、保安監控設備等。UPS 電源係統輸出一般采用三級配電方式：係統輸出配電櫃－機房配電櫃－機櫃配電單元。

UPS電源係統蓄電池組容量的計算方法有以下兩(liang) 種：

(1) 按負荷電流計算；

(2) 按負荷功率計算；

按負荷電流計算的結果是蓄電池組的總容量，然後再選擇單組蓄電池的容量和組數。按負荷功率計算的結果是選定容量規格的蓄電池組數。兩(liang) 種計算方法的結果可互相校驗。

對於(yu) 單電源輸入設備，即使已采用雙單元冗餘(yu) UPS 電源係統，也宜將其連接在其中一個(ge) 單元上。對於(yu) 雙單元冗餘(yu) UPS電源係統，可將其每個(ge) 單元中的部分容量視為(wei) 並聯冗餘(yu) 性質。對於(yu) 需要雙回路供電的單電源輸入設備，宜在其輸入端設置靜態轉換開關(guan) STS。靜態轉換開關(guan) STS 的性能應能滿足其要求，一般轉換時間小於(yu) 5～10ms。

當負荷設備對零－地電壓要求較高時，可在機房配電櫃設置隔離變壓器。有時候為(wei) 保證UPS故障旁路後輸出高質量電源，往往在UPS旁路輸出端設置隔離變壓器。

數據中心UPS供配電係統一般采用冗餘(yu) 方式供電，很少采用單機供電。冗餘(yu) 方式供電能在一台UPS設備故障時，仍然能夠滿足機房內(nei) 重要設備的用電需求，這是單機供電所不能達到的。從(cong) 冗餘(yu) 式配置方案來看，常用的有以下幾種方式：

熱備份式冗餘(yu) UPS供電方式 

主機帶負載，備機空載或帶非重要負載，備機接入主機的BYPASS(旁路)輸入端。這種方式布置比較靈活，不需要兩(liang) 台UPS同品牌，而且不要增加額外輔助電路，不增加購置成本。如果UPS主機發生了故障，那麽(me) UPS備機需要接替全部負載，這也就意味著設計時需要計算好UPS主機故障時，UPS備機所需承擔的總負載。此方式的缺陷在於(yu) UPS備機得具有階躍性負載承載能力，無法對電源係統進行擴容，兩(liang) 台容量不同的UPS相聯，隻能按*小的UPS容量輸出。

直接並機冗餘(yu) UPS供電方式 

為(wei) 克服熱備份式冗餘(yu) 供電係統的弱點，隨著UPS控製技術的進步，具有相同額定輸出功率的UPS可直接並聯而形成冗餘(yu) 供電係統，為(wei) 保證高質量的並機係統，各電源間需要保持同頻、同相、且各機均流。此供電方式瞬間過載能力強，能夠自動均分功率，係統互為(wei) 主備，提高供電可靠性，電源係統擴容方便。但是存在著環流，增加無功損耗，降低係統可靠性，需增加額外輔助電路，隨之而來是增加成本，增加故障點。設計時，如2台互備，每台按照50%帶載能力考慮，並聯的主機越多，單台主機的帶載能力就越低。

雙總線冗餘(yu) 供電方式 

雙總線供電方式是采用兩(liang) 條總線對後端設備進行供電，每條總線上具有相同的一套UPS供電方式，消除可能出現在UPS輸出端與(yu) *終用戶負載端之間的“單點瓶頸"故障隱患，以提高輸出電源供電係統的“容錯"功能。此供電方式能夠在線維護，在線擴容，在線升級，改善了重要總線的可用性，滿足了雙電源用電設備的需求，真正實現了7×24×365運行的目標。但是雙總線冗餘(yu) 供電方式相當於(yu) 搭建了兩(liang) 套前述供電方式的回路，需要增加2倍以上的成本。同時，為(wei) 滿足單電源設備的供電需求，可在輸出端安裝STS，來保證供電輸出的可靠性。　　

UPS供電係統是滿足數據中心供電可靠性的核心部分，而蓄電池又是整個(ge) 係統中*重要的組成之一，是整個(ge) 供電係統的“*後一道屏障"。當組串中的一隻電池因過充、過放等原因造成電池性能下降，電池內(nei) 阻增大，會(hui) 導致電池出現發熱、鼓包等現象，將造成供電係統安全性的整體(ti) 下降，同時增加蓄電池充放電的損耗。

圖5 數據中心UPS和蓄電池監測配置示意圖

表4 數據中心蓄電池監測選型表

5.3 末端配電係統

機房UPS、精密空調電源係統輸入應設置專(zhuan) 用的輸入配電櫃。電源係統輸入配電櫃應引接兩(liang) 路電源、自動切換。UPS 電源主機的主電源和旁路電源應分別引入，並宜由不同的輸入配電櫃引接。UPS電源係統輸出應采用放射式、雙回路配電方式。UPS 電源係統輸出應采用三相配電，末端分相，以利三相平衡。

機房配電櫃、UPS電源櫃落地安裝，動力配電箱、照明配電箱底邊距地1.4m牆上暗裝，配電櫃及其他電氣裝置的底座應與(yu) 建築樓地麵牢靠固定，並接地，機房內(nei) 應分別設置維修和測試用插座，且有明顯區別標誌，測試用電源插座應由UPS供電，維修插座由市電供電。所有線路的敷設是要以設備布局和設計圖紙為(wei) 基礎進行，設計時考慮供電距離盡量短，機房內(nei) 的電源線、信號線和通信線應分別鋪設，不能共走同一線槽，UPS電源配電箱(櫃)引出的配電線路，穿鍍鋅鋼管，沿機房活動地板下敷設至各排網絡或服務器機櫃，使用插座或工業(ye) 連接器為(wei) 機櫃供電。

5.3.1 精密配電櫃

精密配電櫃是為(wei) 數據中心的設備機櫃提供電源的末端配電設備，一般采用雙回路供電，電源分別來自兩(liang) 台冗餘(yu) 的UPS，分為(wei) 交流和直流供電，一般放置在機櫃陣列的兩(liang) 端，也稱列頭櫃，如圖6所示。

圖6 ANDPF精密配電櫃

安科瑞精密配電監控解決(jue) 方案針對精密配電櫃監控數字化要求，方案包括交流（AC220V）、直流（DC-48V/240V/336V）係統。由觸摸式液晶顯示屏、綜合信息處理主機模塊、開關(guan) 狀態采集模塊、電流互感器(交流)或霍爾傳(chuan) 感器(直流)采集單元模塊等組成。監測兩(liang) 路主進線和A+B雙麵饋線回路電量參數、開關(guan) 狀態、諧波含量、櫃內(nei) 溫濕度等數據，可以在本地觸摸屏顯示，同時可以上傳(chuan) AcrelEMS-IDC數據中心能效管理係統顯示和報警。產(chan) 品方案見表5。

表5 精密配電櫃數字化方案產(chan) 品選型

5.3.2 智慧母線槽

近年來隨著數據中心建設的快速發展，智能母線槽的方案運用越來越多。相比傳(chuan) 統精密配電櫃，數據中心母線槽架空鋪設，具有安裝檢修方便、不占地、散熱快、易增容等優(you) 勢。母線槽通過始端箱從(cong) 前端UPS取電，以母排係統組成輸電結構，采用即插即用的方式，通過插接箱給各個(ge) IT機櫃內(nei) 的PDU供電。

圖7 智能母線槽數據采集方案示意圖

安科瑞智能母線槽方案在始端箱和插接箱內(nei) 配置AMB100/AMB110監測單元，測量始端箱、插接箱電壓、電流、頻率、有功功率、無功功率、功率因數、有功電能、無功電能、諧波畸變、溫濕度、漏電電流等數據，可以通過有線或無線方式傳(chuan) 輸數據，在本地觸摸屏顯示，同時可以上傳(chuan) 數據中心能效管理係統，實現母線槽的數據展示和異常預警。

另外由於(yu) 母線槽是由銅製母排搭接而成，接頭部位可能會(hui) 由於(yu) 接觸不良而異常發熱，所以需要對母線槽接頭溫度進行實時監測，安科瑞AMB200母線接頭溫度監測裝置進行接觸式測溫，AMB300通過紅外非接觸式測溫方式監測母線溫度，數據通過有線或無線方式傳(chuan) 輸本地觸摸屏顯示，同時可以上傳(chuan) 數據中心能效管理係統，實現母線槽溫度的實時預警，設備選型如表6所示。

表6 智能母線槽解決(jue) 方案選型表

5.4 數據中心能效管理係統設計

AcrelEMS-IDC數據中心能效管理係統搭建基於(yu) 高、中、低壓配電係統、柴油發電機、UPS的實時監控和末端配電係統數據采集的18luck新客户端、PUE分析以及動環監測，幫助數據中心管理者全麵了解數據中心能源運行情況，並關(guan) 注消防和電氣安全，及時預警異常情況，保障數據中心穩定可靠運行。除了變電站、柴油發電機和UPS運行監控以外，特別是針對數據中心的末端配電環節，係統數據跟蹤到每一個(ge) 回路的電氣參數和開關(guan) 狀態、溫濕度數據等。

圖8 數據中心能效管理係統架構圖

5.4.1 18luck新客户端

監控110kV變電站、10kV開閉所、10/0.4kV低壓變配電室配電係統運行情況，實現遙測、遙信、越限報警、故障分析、電能質量分析、運行報表等功能。

5.4.2 設備監控

監測柴油發電機、變壓器、UPS、蓄電池組、精密配電櫃、精密空調的狀態以及運行參數，並提供異常預警、運行報表等功能。

5.4.3 能耗分析

統計數據中心總能耗、IT設備能耗、製冷係統能耗、供電係統能耗、照明及辦公能耗等分項用能，並計算CLF/PLF/PUE等能耗指標。

5.4.4 環境監測

監測數據中心溫濕度、水浸，蓄電池內(nei) 阻、溫度、電壓、蓄電池間氫氣濃度等數據並提供越限告警和聯動控製。

5.4.5 精密配電櫃或小母線運行監測

係統監測精密配電櫃或母線槽係統電氣接點溫度以及漏電電流，並設置溫度、漏電越限告警，及時消除係統隱患。係統監測每路饋線回路的電流、功率、開關(guan) 狀態和用電量，還可以配置溫度、濕度傳(chuan) 感器用於(yu) 監測線路接點溫度和櫃內(nei) 濕度，設置參數高低越限告警，避免回路超負荷運行而導致意外斷電。

5.4.6 故障預警

係統對數據中心的故障類型進行分級分類處理，可以通過語音、文字彈窗、短信等方式提供故障預警信號，並對故障進行分類展示。

5.4.7 運維管理

係統為(wei) 數據中心提供設備管理和運維管理功能，包括設備台賬、設備保養(yang) 、工單管理、巡檢記錄、缺陷管理、搶修記錄等功能，告別依靠手工記賬，降低人力和時間成本。

結束語

不同用途或等級的數據中心對可靠性的要求不同，直接關(guan) 係到數據中心的建設投資和運營成本。數據中心供配電係統是數據中心*重要的基礎設施，應在數據中心建設初期予以統籌考慮和全麵規劃，並根據數據中心對供電可靠性的要求，在供電電源選擇、供配電係統布置、供配電係統結構和形式等方麵采取相應的技術措施。同時，還應充分運用成熟有效的節能措施和能效管理係統，降低供配電係統的損耗，減少運營成本。

安科瑞侯文莉