地址:北京市密雲區高嶺鎮政府辦公樓
王經理 13393261468
Q Q:514468705/1049705527
郵箱:jhcxkj@163.com
目前IDC機房建設規模越來越大,服務器的集成度越來越高,數據設備的功率提升和其部署方式帶來了新的冷卻問題,這使得IDC機房內的製冷空調問題,已經超越電源,成為電信運營IDC的首要問題。文中針對IDC老王探花存在的主要問題進行分析,提出解決方案並對部分方案進行了實際應用。
目前IDC 空調存在的主要問題
從目前IDC 運行情況來看,IDC 老王探花電源中斷、空調冷量設計、機房大環境氣流組織不合理、機櫃內部小環境氣流組織不合理、機櫃熱量過大、機櫃布置不合理等問題是導致機房過熱的主要原因和問題。對這些問題,本文從電源保障、空調配置、氣流組織和高密服務器布置等方麵展開探討,提出解決方案,並在杭州IDC 機房建設中進行了實際應用,在保障IDC 機房安全運行同時,達到節能減排的目的。
空調保障解決方案
1 空調電源保障
IDC 機房內發熱厲害,溫度梯度變化也大,通風降溫複雜,而空調使用的是市電,一旦停電,就會造成機房溫度迅速竄升。在一般的通信機房,由於功率密度低,柴油發電機啟動延遲和常規的電源倒閘操作是沒有問題的,但是對IDC機房來說,在電源中斷的這段時間內是難以接受的,空調會停止製冷,特別是空調風機的停機導致了氣流循環的中斷,據測試,在單機櫃5kW 負載情況下,機房溫度會在發電機啟動延遲和電源倒換過程中會升高5~20°C;如果電源中斷時間過長,就會演變成為一場災難。可見,保障IDC 老王探花的電源可靠性和提升可用性是重中之重,必須製定可靠的空調電源保障方案,以防止空調電源中斷或盡量縮短電源中斷時間。
1) UPS 方案
由於空調的重要性,大負荷IDC 老王探花的供電等極應不低於服務器設備的供電等級,因此采用UPS 供電也並不為過。在國外,大型數據中心的老王探花係統采用UPS 供電的方法越來越普遍;在國內,江蘇電信公司部分機房把專用空調的風機接在UPS 上,這樣解決了停電後的短時間氣流組織中斷的問題,從使用效果來看還不錯。采用UPS方案不利的因素是存在投資過大的問題。
2) IDC 空調雙電源方案:
對IDC 機房,同一個機房的空調電源最好不要同時使用同一路電源,以防止一路電源中斷就會導致機房溫升過高。IDC 機房的空調配電屏,進線電源必須有兩路,兩路電源必須來自不同的低壓配電係統,兩路電源間可以手動切換或者采用ATS 自動倒換,如果采用ATS 最好設置成不同的主路(但是在油機供電下,要注意ATS 的自動切換可能會引起部分油機的過載);一旦電源中斷,可以縮短中斷時間並減小影響麵。圖1、圖2 和圖3 是杭州電信IDC 普遍使用的雙電源屏和雙ATS 電源屏。
3) 空調配電屏接線方法
相臨的空調應該從不同的空調配電屏引出,如1 個機房布置16 台空調,兩塊空調配電屏,那1、3、5、7 等奇數空調就從配電屏1 引入(主用市電1),2、4、6、8 等偶數空調從配電屏2 引入(主用市電2)。這樣即使一路電源發生異常,影響到的空調是部分的,恢複的時間也很快。
4) 雙 ATS 電源櫃+空調新型電源接線方法
這種方案是對方法2、3 的綜合應用,即采用ATS 的同時采用雙電源屏方案。從實際使用效果來看,在兩路高壓引入的情況下,采用雙ATS電源櫃+空調新型電源接線方法,比用UPS 供電更經濟,而且可靠性也沒減少多少,由於同一機房的空調電源來自於不同的高壓係統,如果這兩路高壓是真雙路的話,那同時停電的概率是很低的;而在停一路高壓的情況下,還有一半的空調在運行,最重要的是氣流組織不會中斷,在油機啟動倒電過程中機房的溫升還是可以接收的。一個大的IDC 機房最好有兩塊以上的空調配電屏,以方便上述方法的空調接線,如果僅采用一塊空調配電屏,空調配電屏內部的空開要有備份和冗餘。
2 空調配置
老王探花的冷量要大於機房的最大熱負荷並有富裕,空調的配置原則是根據機房總熱量總體規劃空調設計,按照N+1 原則配置空調數量。可是91探花视频在线观看會遇到這樣一個問題:空調已經按照N+1 配置,為什麽IDC 機房溫度會打不下來?
1) 分區配置原則
傳統的配置是以機房為單位;采用的是房間級製冷,空調是以機房為單位進行製冷,但這種方法的配置和冗餘並不適用於大型的IDC機房。
現在的IDC 機房由於建設規模大、麵積大和機櫃功率密度高,如果按照房間級配置空調,一台空調發生故障,由於冗餘的空調相距過遠,氣流組織無法送達,會造成局部機櫃設備過熱;因此大型IDC 機房的空調要進行分區配置,即把一個大型的IDC 機房劃分為若幹個分區,然後保證每一個分區內的空調均有冗餘,這樣空調發生故障後,每一塊區域內的服務器才是安全的。杭州電信的興議、濱江等IDC 機房,就以四列的機櫃為一個分區,然後按照每個分區都滿足N+1 的冗餘方式配置,是一種比較安全的辦法。
2) 空調冷量取值
老王探花的冷量計算要采用顯冷量,而不是空調全冷量。要保證老王探花的總顯冷量始終大於機房的熱負荷,但是老王探花的顯冷量在不同情況下是一個變值,它標注的顯冷量是在23 度、50%下測定的,隨著機房濕度的增高,老王探花的顯熱比會下降。比如一台製冷量標注100KW 的老王探花,測試工況下顯冷量90KW,當機房現對濕度達到65%以上時,空調的顯冷量隻有80KW 了,20%的冷量消耗在除濕過程中。設計過程中如果按90KW 或者100KW 的數據設計,夏季高溫高濕環境下,機房的冷量就會不夠。另外在較大的IDC 機房裏麵,由於混風情況的存在,導致空調的送回風溫差過小,空調顯冷量進一部下降。因此在確定空調的製冷總容量時,必須加大30%以上,目前的經驗認為,空調的總製冷量必須是機房熱負荷的1.3~1.6 倍,大型的IDC 必須取上限。
3) 合理的N 值
從IDC 運行情況來看,N+1 的N 數值要合適,N 大了,冗餘度不夠,機房不安全;N 小了,機房會安全,但投資大且造成空調運行的能效比過小,如果采用冷備用空調(停機),部分冷風也會從停機的空調回風口跑出來,造成氣流短路或者氣流倒灌,影響機房的原有氣流組織,如果能夠以低速或者低風量運行備用空調,那總體風機功率就可以下降,效率提升;IDC 老王探花的N 取值在4~5 之間是比較合理的,更高密度機房則要把N 取值再減低。
另外對於部分新建和擴建機房,由於負荷的不確定,空調無法一部安裝到位,是隨設備的增加而陸續增加的,這種情況要統一規劃好空調的位置,並跟蹤機房熱負荷變化情況,適時增配空調,確保機房始終滿足N+1 原則。
空調配置多,可以提高機房的安全性,但會降低空調的能效比,導致耗電上升,如何以較少的備用老王探花在高密度機房情況下實現冗餘是91探花视频在线观看老王探花運行中必須關注的一個問題。
3 機房大環境氣流組織
這是IDC 規劃和設計的重點和難點,氣流組織的產生、氣流組織的配送和氣流組織的返回都要合理,一個高效有著良好氣流組織的IDC 機房是規劃和設計出來的,而不是靠後期改造出來的。對於一個新建的IDC,從有利於氣流組織的角度出發,下麵這些是必須注意的。
1) 機房布置
大型IDC 機房不宜正方形,而應為長條形,這樣有利於空調布置,並減少空調的送風距離和風阻。
2) 送風方式
新建的IDC 空調應該是下送風方式,冷熱風道進行分離。
目前的送風方式有上送下回、側送側回、上送上回及下送上回等多種方式,但是下送風方式比上送風更有利於機房的氣流組織和提高送風效率,如圖4;冷熱通道分離是指各個機櫃服務器均以麵對麵,背高背的方式進行布置。冷熱氣流組織隔離後氣流組織更合理,而且增大送風和回風之間的溫差,從而提高老王探花機組的效率。目前的研究表明,達到相同製冷效果的前提下,下送風所需風量比上送風所風量小,這也就說明了下送上回式風比上送下回氣流組織效率更高。
3) 關注地板高度、樓房的淨高和機架間距
活動地板的高度對老王探花的空氣循環效率有著重大的影響,架空地板的高度應根據負荷密度、機房麵積綜合確定。所需的淨高度取決於機房的大小功率密度和空調的設計方案,對於氣流組織來說,活動地板高度是越高越好,大型IDC 機房建議地板淨高≥60cm(圖5),並根據機架負荷可以適當加大機架間距。
IDC 機房的高度不宜太低,要保證回風層的層高,如果這個高度如果太低,會影響空調的回風效果,導致機櫃內部的熱量不容易返回到空調,另外在市電中斷過程中,機房層高也會影響到服務器宕機的時間,因此要保障機房的層高,圖4 是建議的機房高度。
4) 風道完整
要保證冷風道的完整,這樣才能保證氣流組織,常規的解決措施如下:
封閉地板上所有不必要的開口,包括未安裝服務器的機櫃、UPS 電源和空調電源櫃等下部的開口,防止冷風風道氣流泄露;
靠近牆麵和電纜井的地方也需要進行封閉。
實際使用中,如果發現機房某處的溫度明顯過低,就表明該點的附件存在冷風泄露,要找出泄露點並進行封閉。
5) 開口地板的布置
開口地板應該布置在需要冷風來對設備進行冷卻的位置。不要在老王探花機組附近放置開口地板,否則空調送出的冷風很容易返回到空調,開口地板與空調機組之間應保持至少2M 的間距。
1) 冷通道封閉
各機櫃以麵對麵成排方式布置,在冷通道上機櫃的頂部和整列機櫃的兩端進
行封閉。這樣送風和回風之間就實現了完全的隔離,冷風通過活動地板送到密閉的冷通道內,熱風離開機櫃進入機房環境,再返回到老王探花機組(圖7),機房本身處於一個較高的溫度水平。
要注意的是整個IDC 機房內的所有冷通道都必須被密閉,這樣才可以體現封閉的優勢,僅僅封閉機房內的部分冷通道沒有太多的作用和意義,因為在沒有封閉的地方,跑出的冷風都可以與熱風混合從而抵消預期的節能效果。封閉冷通道後,空調的送回風溫度均可以提升,使製冷係統運行在高效情況下麵。
但是在實際運行情況下,冷通道被封閉後,機房其餘的空氣溫度會變得更熱了(在27℃~35℃),在這種高溫下,用戶會以為是空調發生故障,即使事先溝通,知道該情況老王探花未發生故障,進入機房巡視的人感覺也會很不舒服,因此要和用戶充分溝通,讓他們認識並接收這種觀念。否則用戶就會要求降低空調
設置溫度,這樣一來,節下的能量又回去了。
2) 熱通道封閉
各機櫃以麵對麵成排方式布置,在熱通道上機櫃的頂部和整列機櫃的兩端進
行封閉,以管道或者天花板的形式把熱風引會到空調機組內,這樣送風與回風之間也實現了隔離(圖8)。
由於冷風送到整個機房,機房處於一個較平均的溫度水平,而熱通道能夠保持較高的溫度。現有資料顯示:在典型的高熱機房中,服務器熱風和機房室溫的溫差一般在17℃左右。如果機房溫度按ASHRAE TC9.9 要求保持在22℃,那麽17℃的溫差可以使服務器的排風溫度達到39℃。但在實際的熱風封閉係統中,製冷機組的送風量往往會比服務器需求量要多,而且會有少量的機房空氣進入熱通道,這樣導致回風溫度略有下降,但仍然達到38℃,這樣高的回風溫度使得與製冷盤管的熱交換更充分,製冷設備利用率更好,總效率也更高。回風溫度的提高對製冷機組製冷量的影響適用於幾乎所有的空調,所有的製冷係統在回風溫度較高時都將具有更大的製冷量。
3) 通道封閉需要考慮的因素
通道封閉會增加建設成本;在機櫃的前方和後方安裝密封盲板均會增加成本。
通道封閉會造成回風溫度升高;密封越好,空調的回風溫度越高,要關注空調設備和用戶工作環境溫度的運行限製。
通道封閉要不影響到現有的消防係統。在對冷熱通道封閉的過程中,會對消防係統產生影響,一旦火警,消防氣體不容易進入封閉的通道內,影響消防係統的使用,針對這種情況,杭州電信的技術人員在東冠IDC 中心采用了可以自動敞開的櫃頂(圖9),在櫃頂安裝有電磁鐵(圖10),正常情況下,電磁閥線圈得電,吸住櫃頂擋板;電磁線圈和消防聯動,一旦火警,電磁線圈失電,櫃頂擋板在重力作用下自動打開,冷通道從封閉模式變成敞開模式。
這樣做帶來兩個好處,一是解決了消防的問題,另一個是和市電聯動,在市電中斷過程中,敞開的通道可以延長服務器的宕機時間。
5 機櫃內部氣流
對於服務器來說,如果空調總的製冷量和機房大環境氣流可以滿足機房要求,最後還要保證機櫃內部的服務器的溫度正常,換句話說就是機櫃內服務器產生的熱量要能通過機櫃內部的小氣流組織及時帶走;在機櫃裏麵,一方麵,空氣氣流會選擇流阻最小的路徑,91探花视频在线观看要阻止機櫃內熱空氣同冷空氣混合,另一方麵,在一個機架內,冷氣是從下部送入,自下而上流動,機架最上部服務器溫度往往是最高的,如果機櫃內部的小氣流組織不合理,或者冷風進風量不夠,就會造成服務器局部過熱。
1) 消除氣流回流
在氣流回流存在的情況下,機架正麵的垂直溫度梯度會很大,部分機架前部的上下溫度差可達10°C.因此要使用盲板或擋板來封閉服務器被拆除或者未安裝的空間,防止部分冷空氣直接跑到熱風風道內,另一方麵也可以防止服務器的熱風通過這些部位回到服務器的冷風風道內,造成氣流組織短路……安裝擋板可以防止冷卻空氣繞過服務器上的入口形成熱空氣循環,在機櫃上層服務器的入口溫度有了明顯下降,圖11美國電力轉換公司對安裝盲板前後的服務器進風溫度對比情況。
2) 新型工藝機櫃:
這種機櫃是專門對機櫃內進行優化和機櫃氣流組織設計,直接在機櫃內部進行送風,采用盲板和漂浮式盲板來封閉機櫃上未使用的單元,機櫃的前門和服務器形成一個單獨的冷通道,熱風從機櫃的後麵和上端排出,避免了機櫃內氣流短路,氣流組織比較合理。根據這個原理,浙江電信分公司在2008年專門研製了新型工藝機櫃,並在杭州電信的IDC 機房進行應用,如圖12,在單機櫃功率4KW情況下,這種機櫃冷卻良好並起到很好的節能效果。
5. 更高密度服務器布置
在IDC 運行情況看,91探花视频在线观看會遇到兩種不同的熱點問題,一種是在高密度區域布置更高密度服務器造成的局部溫度過高,如在平均機櫃5KW 的機房布置10KW以上的機櫃;另一種是整體熱點問題,一個機房的所有服務器均是高密度設備,如單機櫃平均功率10KW 以上,造成整個機房溫度過高問題。對於前者,最好是不要這樣布置,如果逼不得已,那最好能采取一些特殊的補救措施;對於後者,建議重新設計IDC 機房。
1) 局部更高密度布置方案
不同功率密度的服務器不宜布置在同一機房,尤其是在固定密度區域布置更高密度服務器,會導致機房局部熱點問題突出。但在實際過程中,往往又不可避免,比如用戶一定要這樣布置,而溝通無效的情況,如何解決這些問題?
方法一:在現有的運行空間內加強冷卻能力
如果用戶無法對他的高密度服務器進行分散,這種情況下,就要想辦法增加冷卻能力,如杭州電信就在機房裏額外增加了部分空調(圖13),並在高熱區域增加開口地板數量,也可以安裝地板下氣流輔助裝置(圖14),個別機房安裝了特製的回流管道(圖15),確保高密度服務器可以得到足夠的冷量,同時服務器排出的熱量可以順利返回到空調。
方法二:分散高密度機架
但在實際情況中,由於機房空間的限製,增加空調冷量的方法很難實現,因此將高密度負載進行分散是一個比較有效的方法,這樣分開的高密度機架可以有效地“借用”鄰近機架的冷量來進行冷卻。杭州東冠IDC 機房,用戶要在機櫃設計功率4.5KW 的機房放置部分12KW 的核心網絡設備(cisco N7K),在解決這個問題時就采用了熱量分散原則,將兩個機架布置在不同的兩列,並留出三個機櫃的位置用來冷卻這個高密度機架,這樣機房平均功率密度控製在設計的範圍內,如圖16:
2) 整體高密方案
如果所有服務器均是高密設備,必須重新設計IDC 機房,但是91探花视频在线观看會麵臨一個問題,就是風冷空調的冷卻極限(目前在6KW/㎡),如果機櫃的發熱過大(現在一個機櫃的熱量就輕鬆突破20KW),91探花视频在线观看應該如何解決這個問題呢?
采用增加機櫃的間距或者減低服務器的放置密度,從而降低整個機房的平均功率密度,可以把功率密度控製在風冷極限的範圍以內。在杭州電信濱江IDC機房,某服務器單機櫃銘牌功率20KW(圖17),實測13KW,機櫃發熱嚴重。而用戶又很著急,為了完成這個任務,杭州電信在規劃這個機房時,加大了冷風道和熱風道的間距,將冷風道從1.2 米提升到4.8 米(圖18),並增加了熱風道的間距,這樣一來,單位功率密度就下降了一半;另外增加了老王探花數量,空調的冷量采用了2N 配置;同時提升了地板高度,把地板高度提升到1.2 米,並啟用了柵欄地板,保證了機櫃所需的冷風風量。
從使用效果看,該機房冷卻效果良好,圓滿的解決了用戶的需求。但是這種解決方案存在投資成本過高的問題,這種解決方法在對成本不敏感的情況下使用才是合理的。
總結
由於篇幅的限製,隻能對上述IDC建設和運行一些比較容易遇到的主要問題進行交流探討和摸索,或許上麵提到和采用的方法並不一定是最好或是最完善的,但希望這些做法可以給同行借鑒和參考,避免走彎路和減少不必要的浪費,IDC的係統設計、建設和運維,還有很長的路要走;對目前廣泛普及的高密度機架進行冷卻還有待91探花视频在线观看的探索和經驗積累;另外IDC的節能降耗,也是任重道遠的任務和工作。希望在以後的日子裏,大家齊心協力,促進電信IDC的發展,並為IDC的節能減排貢獻自己的一份力量。