Geleneksel Veri Merkezi Soğutma Sistemleri Demodemi Oluyor?

Geçen senelerde; gelişmiş ülkelerin veri merkezle¬rinde ortaya çıkan ısı yoğunluğu ile ilgili sorunlar artık ülkemizde de karşılaşılır oldu. 2000 yılında oluşan global krizin yanında, Türkiye'de yaşanan diğer olum-suz olay ve felaketler ekonomik sıkıntıyı daha büyük yaşamamıza neden oldu. Genel ortalama olarak üç yılda bir yapılan teknoloji yenileme periyodu, Türkiye için biraz uzasa da günümüzde bu geciken yenileme yatırımları artan sayıda yapılmakta... Artık 1U ve Bla-de tipli sunuculara daha sık rastlanmakta...Peki bu ye-ni teknolojiler, veri merkezlerimize yüksek performans getirirken bazı problemleri de birlikte getirmiyorlar mı?
Giriş
1U ve Blade sunucuların kabin içinde yoğun yer-leştirilmesi, kabin başı güç istemi ve ısı yoğunluğunu arttırmaktadır. Artan ısı yoğunluğu karşısında gelenek-sel soğutma sistemleri altyapısı yetersiz kalmaktadır. Bu yazı, bu artışın kaçınılmaz nedenini, geleneksel so¬ğutma yapısındaki sınırlamaları, geleneksel yapı kulla¬nılması düşünülen yerlerde nelere dikkat edilmesi ge¬rektiğini ve nelerden feragat etmek gerektiğini anlat¬maktadır.
Konu üzerinde tartışmak ya da daha detaylı bilgi al¬mak için yazara sgurvit@apc.com elektronik posta ad¬resinden ulaşabilirsiniz.

Yeni Bilgi Teknolojilerinde Önlenemez Isı Yoğun-luğu Yükselişi
Moore KuralıBilgi teknolojileri cihaz ve sistemlerinin her geçen gün hızlanması, tümleşik devre teknolojilerinin geliş-mesi ile doğrudan ilişkilidir. Morgan Moore daha 1965'te yazdığı bir makalede "tümleşik devredeki tranzistör yoğunluğunun her 18 ayda bir iki katına çık-tığını" Öne sürmüştür. Bu kural hala günümüzde de belirli bir toleransla geçerliliğini sürdürmektedir. Birim hacim içinde artan tranzistör sayısı, o hacim içinde gerçekleşen güç tüketiminin de aynı oranda artmasına neden olmaktadır.
Kabin Başı Güç Tüketim Yoğunluğu
Moore kuralının ortaya koyduğu bu gidiş, veri mer-kezlerinde daha önce sıkça görülen "tovver' tipi ya da 5-8U'luk kabin içi sunucuların yerlerini aynı uygula-maları daha hızlı gerçekleyebilen 1-2U'luk sunuculara bırakmasına yol açmıştır. Tümleştirilmiş tranzistörlerin artan yoğunluğu buna olanak tanımaktadır.
Bunun yanında yoğun tranzistörlü tasarım; ölçekle-nebilir, yedeklenebilir ve servis verilebilir özelllikleri ile Blade sunucuların da geliştirilmesini olanaklı kılmıştır. 6-7U'luk Blade kasalarına, 4-12 adet Blade sunucuların takılması ile bu yoğunlaşma daha da yük­sek boyutlara çıkmaktadır.

Aşağıdaki tablo 2002-2003 yılların

ı kapsayan ve "University of California at Berkeley"' tarafından su­nulan verilerle de desteklenen bir araştırma sonucu­dur. Görüldüğü gibi araştırılan tüm veri merkezlerinde kabin başı ortalama tüketim 1.7kW / kabin olup mak­simum güç tüketilen kabinin güç yoğunluğu 3kW / ka­bin olarak bulunmuştur (sol baştaki sütün).

En uç değerlerde bulunan veri merkezlerinden alı­nan bilgiler ise sağ sütunda toplanmıştır. Kabin başı or­talama maksimum tüketim 4kW / kabin, maksimum güç tüketilen kabinin güç tüketimi 12kW / kabin ola­rak verilmektedir.

Kabin içi güç tüketim yoğunluğu, kabin başına güç dağılımı olarak ortaya konulduğunda aşağıdaki grafik görülür. 2002-2003 teknolojisi seviyesinde 1U'luk su­nucu dolu bir kabin ve Blade sunucu dolu bir kabin güç tüketimi de grafikte gösterilmiştir. Bu iki uç değer, araştırmada rastlanan maksimum değerden büyüktür.Kabinlerdeki güç tüketimi ısı tüketimi olarak veri merkezinin içine hapsolmakta, ortaya çıkan ısı enerji­si soğutma sistemi ile bina dışında atmosfere atılmak­tadır.

1 Mitchell-Jackson, J.D., Koomey, J.G.. Nordman, B., Blazek, M., "Data Center Power Requirements: Measurements From Silicon Valley", May 16,2001. Master's Thesis, Energy and Resources Group, University of California. Berkeley, California.

Bunun nedeni bu yıllarda henüz bu yeni teknolojilerin yaygınlaşmamasıdır.. Ama kısa sürede kabin başı güç tüketiminin hızla artacağı açıktır.

1 Mitchell-Jackson, J.D., Koomey, J.G., Nordman, B., Blazek, M., "Data Center Povver Requirements: Measurements From Silicon Valley", May 16, 2001. Master's Thesis, Energy and Resources Group, Univer­sity of California. Berkeley,

California.

Geleneksel Veri Merkezi Soğutma Strate­jilerinde Sınırlar

Bu başdöndürücü güç tüketim yoğunluğu yükselişi­nin tabii ki veri merkezlerinde kullanılan soğutma ve havalandırma sistemleri ile atılması beklenecektir. Ama aşağıdaki eğri geleneksel sistemlerin yetersizliği konusunda çok büyük tehlikenin habercisidir.

Mavi eğri yıllar ile değişen kabin içi güç yoğunlu­ğunu gösterirken kırmızı eğri de geleneksel soğutma sistemlerinin kabin başı ortalama soğutma kapasitesini göstermektedir. Ara büyük bir hızla açılmaktadır. Ma­vi eğrinin 2003 yılında 20kW/rack değerinden geçer­ken 2005 yılında 30kW/rack değerini kesmesi de iv­menin boyutunu göstermektedir. Bu durum, yakın za­manda veri merkezlerinde soğutma konusunda çok büyük sıkıntılarla karşılaşılacağının belirtisi...

Bilgi teknoloji cihazlarının ve veri merkezi soğutma sistemlerinin esaslarına hakim olmayan kişiler için bu kabin başına soğutma kapasindeki sınırlama anlaşıl­ması oldukça zor bir gerçektir. Herkesin düştüğü tu­zak, ek soğutma üniteleri devreye alınarak kabin başı­na soğutma kapasitesinin arttırılacağı kanışıdır. Male-sef, bu bilinçsizce yapılan tip yatırımlar genelde yatırı­ma karşı getirişi çok az olan önlemlerdir.

İleri teknoloji kullanmada amansızca yarışan sunu­cu üreticileri de bu açılan ara ile ilgili endişeleri taşı­maktadırlar. Önceleri geleneksel soğutma sistemleri­nin bu sınırları, eski teknolojilerde bir sorun yaratma-sa da yeni güç yoğun sunucu modelleri uygulamala­rında ortak sıkıntı haline dönüşmüştür. Bu yüzden ge­lecekteki perspektifi göz önüne alarak sorunları ortaya koyacak ve çalışmalara yön verecek bir örgüt olan "The Termal Management Consortium for Data Cen-ters and Telecommunications Room"² ileri gelen sunu­cu üreticileri tarafından -kurulmuştur. IBM³, \-\P⁴ gibi bilgi teknolojileri lider uygulayıcıları geleneksel veri merkezlerindeki bu soğutma ile ilgili sınırlamayı uygu­lamalarında göz önüne almaya uzun süreden beri baş­lamışlardır.

2 2005-2010 Heat Density Trends in Data Proces­sing, Computer Systems and Telecommunications Equipment. The Uptime Institute, Inc.

3 IBM Physical site planning and preparation

4 www.hp.co.il/events/Presentations/ BladeRS/Dri-vingDensityDataCenter.pps page 30

Veri merkezlerinde kullanılan geleneksel soğutma yapısı aşağıdaki şekilde görülmektedir. Kabinler soğuk koridor ve sıcak koridor olarak sırt sırta ve yüz yüze bakacak şekilde düzenlenmiştir. Yükseltilmiş tabanın altına soğutucu üniteler tarafından basılan soğuk hava, kabin önlerine konan perfore ya da ızgaralı karolarla dağıtılmaktadır. Kabin İçinde konumlandırılan sunu­cuların içindeki fanlar, kabin önüne gelen taze havayı içeri çekip arkadan sıcak hava olarak dışarı atarlar. Ta­ze hava akımı, sunucu içinde başta mikro-işlemçiler olarak ısınan modüllerin ısı enerjisini üzerine alır, ısı­narak sunucuyu terkeder.

2 2005-2010 Heat Density Trends in Data Processing, Computer Systems and Telecommunications Equipment. The Uptime Institute, Inc.

3 IBM Physical site planning and preparation

4 www.hp.co.il/events/Presentations/ BladeRS/DrivingDensityDataCenter.pps page 30

5 VVP-46 Cooling Strategies for Ultra-High Density Racks and Blade Servers - Rev 4 American Power Conversion

Sıcak havanın soğuk havaya daha az karışarak so­ğutucuya geri dönüşümü sağlamak üzere kat yüksekli­ği uygunsa alçaltılmış tavan da kullanılabilir.

Veri merkezi soğutma sisteminin verimli çalışması, aşağıdaki dört gerek şartın aynı anda sağlanma seviye­si ile doğrudan bağlantılıdır.

• Soğuk havanın en verimli şekilde her kabinin kendi gereksinimine göre dağıtılması.

• Sıcak havanın en verimli şekilde soğutucu ünite­ler tarafından geri toplanması.

• Soğuk hava ile sıcak havanın birbirlerine müm­kün olduğu kadar karışmaması.

• N+1(x) yedeklilik isteminde her bir (x) ünite ka­patıldığında diğerlerinin yukarıdaki üç kriteri azami sağlaması.

Soğuk havanın her kabine ihtiyacı kadar perfore ya da ızgaralı karolarla dağıtımının yapılması ile İlgili sı­nır aşağıdaki eğri ile⁵ özetlenmiştir.

5 VVP-46 Cooling Strategies for Ultra-High Density Racks and Blade Servers - Rev 4 American Power Con­version

Aşağıda daha geniş açıklanacağı gibi; 1-2U'luklar dahil olmak üzere klasik yapıdaki sunucular ile Blade

gun yerleşim stratejisi olarak düşünülebilir. Ama gele­neksel soğutucu ünitelerinin maksimum giriş hava sı­caklığı 27 - 28 ^QC'yi geçemez. Bu soğutma ünitelerin­de kompresör motor sargılarının soğutulması, bu sı­caklığın üzerinde prensipte olanaklı olmadığından ünite kendini korumak için kapatmak zorundadır.

Dolayısı ile tam bir kısır döngü içine girilmektedir. Bir taraftan Blade sunucu yüklü kabinlerin arkasından çıkan sıcak havanın diğer kabinler tarafından taze ha­va olarak kullanılmasını önlemek için karışmadan so­ğutucu üniteye dönmesi ile önlem alınması gerekmek­tedir. Diğer taraftan da soğutucu ünitenin emiş hava girişindeki sıcaklığın 27 - 28 ^QC'yi geçmemesi için 38 - 40 ^öC'ye varan Blade sunucu sıcak havasının soğuk hava ile karışıp kabul edilebilir bir sıcaklıkta geri dö­nüşümünü sağlanmalıdır.

Sonuç

Moore öngörüsüne göre birim alan başına düşen tranzistör sayısı her 18 ayda bir iki katına çıkmaktadır. Bu kuralın sunucu teknolojilerine yansıması, kabin ba­şı güç tüketiminin son yıllarda büyük bir ivme ile art­ması şeklindedir. 1 U'luk ve Blade sunucular bu yansı­manın ürünleri olarak veri merkezlerine yaygınlaş­maktadır.

Büyük bir hızla büyüyen kabin başına güç yoğun­luğuna rağmen geleneksel soğutma sistemlerinin sağ­ladığı kabin başına kapasite akışkanlar mekaniği ve ya­pısal pratik sınırlar nedeniyle yetersiz kalmaktadır.

Geleneksel veri merkezi soğutma sisteminin verim­li çalışması, aşağıdaki dört gerek şartın aynı anda sağ­lanma seviyesi ile doğrudan bağlantılıdır.

• Soğuk havanın en verimli şekilde her kabinin kendi gereksinimine göre dağıtılması.

• Sıcak havanın en verimli şekilde soğutucu ünite­ler tarafından geri toplanması.

• Soğuk hava ile sıcak havanın birbirlerine müm­kün olduğu kadar karışmaması.

• N+1(x) yedeklilik isteminde her bir (x) ünite ka­patıldığında diğerlerinin yukarıdaki üç kriteri azami sağlaması

Gelecek yeni teknolojilerin baskın kulla­nıldığı veri merkezlerinde:

Soğuk havanın en verimli şekilde her kabinin ken­di gereksinimine göre dağıtılması, hava akış dinamiği­nin pratik uygulama şartları altında ortalama 3 -4 kW/rack sınırına kadar olanaklı olduğundan yeni tek­nolojilerin yüksek doluluk oranlarında kullanılması mümkün değildir.

Sıcak havanın en verimli şekilde soğutucu üniteler tarafından geri toplanması, geleneksel soğutma ünite­lerinin emiş hava sıcaklığının yapısal olarak 27 - 28 ^QC'yi geçmemesi ve buna rağmen 1 U'luk sunucularda çıkış sıcaklığının 30-32 ^ÖC; Blade sunucularda ise 38 -40 ^eC'ye varabilmesi nedeniyle gerçeklenmesi olanak­lı olamamaktadır.

Soğuk hava ile sıcak havanın birbirlerine mümkün olduğu kadar karışmaması, yüksek doluluk oranlı ka­binlerin önlerine yükseltilmiş taban ve perfore karolar­la aktarılacak hava akışı, sunucuların emiş istemlerine yeterli olamayacağından mümkün olamaz.

N+1 yedeklilik isteminde her bir ünite kapatıldığın­da diğerlerinin yukarıdaki üç kriteri azami sağlaması, yüksek güç tüketimi yoğunluklarında yukarıdaki üç kriterin de gerçeklenememesi dolayısı ile ön görüle­mez duruma gelecektir.

Bu gerçekler göz önüne alındığında veri merkezle­rinde yeni teknoloji sunucular baskın olarak kullanıl­mak istendiğinde geleneksel soğutma stratejisi yeterli olmayacaktır. Halihazırda geleneksel soğutma sistem­leri kullanan veri merkezlerinde yüksek teknoloji yeni­lemesi yapıldığında veri merkezi altyapısına göre sınır­ların belirlenmesi ve bu sınırları aşmayacak şekilde kullanım oranlarının belirlenmesi iş sürekliliği yönün­den gerekli olacaktır.

Yeni kurulacak ve yeni teknoloji kullanarak yüksek güç tüketimi yoğunluğu hedeflenen veri merkezlerin­de ise geleneksel soğutma sistemlerinin terkedilip ye­nilikçi strateji ve sistemlere ihtiyaç duyulacaktır.

sunucuların soğutma hava akışi açısından farklılıkları vardır. Dolayısı ile yatay eksende sunucuların bulun­duğu kabin önünde olması gereken hava akışının ka­bin başı güç tüketimine dönüşümü, klasik yapıdakiler için kırmızı doğru ile Blade sunucular için ise mavi doğru ile yapılabilir.

Grafik, ulaşılabilecek geleneksel soğutma sistemi kapasitesi yönünden üç ayrı (dikey) bölgeye ayrılmış­tır. Sol baştaki ilk bölme tipik veri merkezlerinde ula­şılabilecek ısı yoğunluğudur. Orta bölüm iki kısımdan oluşmaktadır. Soğuk hava akışının optimum şekilde kabin önlerine dağıtılması ile önlemlerin alınması (with effort) ve bu önlemlerin yüksek mühendislik dü­zenekleri ile desteklenmesi (extrem) durumlarını içer­mektedir. En sağdaki bölüm ise geleneksel veri merke­zi soğutma sistemleri ile pratik olarak gerçeklenmesi imkansız ortalama ısı yoğunluğu seviyesini göstermek­tedir.

Geleneksel Yapı ile Nereye Kadar?

Tipik veri merkezlerinde sınır, klasik yapıdaki ser-verler için 2kW/rack, Blade sunucular İçin ise 3kW/racktır. Örneğin 400 W güç tüketen 2U'luk ser-ver ile 7U'luk toplam 2kW harcayan Blade sunucu şa­sesini karşılaştırma için göz önüne alalım. Baskın ola­rak 2U'luk sunucular kullanılırsa bu sınırın içinde kal­mak kaydı ile her kabine en fazla 5 adet sunucu ola­cak şekilde dağıtılmalıdır. Bu da 42U'luk kabin stan­dart olarak alınırsa kabinlerin doluluk oranı %24 ola­caktır. Blade sunucular baskın olarak kullanılıyorsa her kabine 1 adet 7U'luk dolu şase ve 1 adet de yarım doluluk ile ikinci bir şase konumlandırabilir ve kabin doluluk oranı %25 olacaktır.

Eğer yukarıda bahsedilen soğutma sisteminin ve­rimli kullanılması ile ilgili 4 gerek koşulu sağlayarak en optimum duruma ulaşıldığında klasik yapıda sunucu­lar için 3.5kW/rack, Blade sunucular için 5.5kW/rack gibi sınırlara ulaşacaktır. Veri merkezinde baskın ola­rak 2U'luk sunucular kullanılırsa, bu sınırın içinde kal­mak kaydı ile her kabinde en fazla 9 adet sunucu ola­cak şekilde dağıtılmalıdır. 42U'luk kabin standart ola

rak alınırsa kabinlerin doluluk oranı %43 olacaktır. Blade sunucular baskın olarak kullanılıyorsa her kabi­ne yaklaşık 3 adet 7'luk şase tam dolu olarak kullanı­labilir ve kabin doluluk oranı %50 olacaktır.

Yukarıdaki sınırlar ancak daha fazla açıklık oranı olan perfore karo kullanmak, kabin altı kabloların ha­va akışını minimum düzeyde engelliyecek şekilde or­ganizasyonu, yarım metre üstünde yükseltilmiş taban, 4 metre ve üstünde tavan yüksekliği, ek fanlar, ek ha­va kanalları, yönlendiriciler gibi yüksek mühendislik içeren önlemlerle arttırılabilir. Bu durumda bile klasik yapıda sunucular için 4.5kW/rack, Blade sunucular için 7kW/rack gibi sınırlardan daha yüksek kabin içi tüketim yoğunluğuna erişemez. Yani kabinleri ortala­ma 11 adet 2U'luk sunucularla ya da ortalama biri ya­rım dolu 3,5 adet Blade şasesi ile durdurulabilecektir. Doluluk oranı ise sırasıyla %52 ve <%60 olacaktır.

Bunun üzerindeki yoğunlukta soğuk havanın kabin önlerine gerektiği yoğunlukta iletilmesi olanaksız hale gelecektir. Soğuk havanın iletilmesi gerek şarttır ama yeter değildir. Sıcak havanın akışında karşılaşılan problemler genelde daha baskın olduğundan yukarı­daki sınırlar büyük veri merkezlerinde teorik denebile­cek kadar erişilmesi zor değerlerdir.

Bu aşamada yanlış algılamaları önlemek için şunun altını çizmek yerinde olacaktır: Burada bahsedilen ka­bin başına tüketilen güç, veri merkezinin ortalaması olarak hesaplanan veridir. Veri merkezlerinde 1-2U sunucular ve Blade sunucuların kullanım oranı henüz yaygın değilse, yeni yeni az sayıda ama yüksek güç yoğunluğunda (örneğin 10kW/rack) kabinlere rastlanı­yorsa odanın ortalama güç tüketimi doğal olarak sınır­ların altında olacaktır. Böyle bir durumda problem ol­maz diyerek rahatlamadan önce aşağıdaki bölümde anlatılanları dikkatlice incelemek yerinde olacaktır.

1U ve Blade Sunucu Dolu Kabinlerin Sin­si Sabotajı

Başta sunucular olmak üzere bilgi teknoloji cihazlarının soğutması, fanlar kullanılarak cebri hava akışı­nın kutu içinden geçirilmesi ile sağlanır. Bir başka an­latımla, aşağıdaki temsili resimde görüldüğü gibi, ka­bin önlerinde ulaşan taze (soğuk) hava, sunucularda bulunan fanlarla emilmekte ve kabin arkasında ısına­rak dışarı atılmaktadır.

1 U'luk sunucular da dahil olmak üzere tüm gele­neksel yapıdaki sunucular kVV başına 75.5 L/s'lik bir dava akışı ile soğutulur. Dolayısı ile fan karakteristikle­ri bu akışı sağlayacak şekilde seçilir. Bu hava akışı ile 1kW"lık bir güç tüketimi giriş hava sıcaklığı ile çıkış hava sıcaklığı arasında 10 derecelik artıma sebep olur. 22 derecelik bir hava girişi, çıkışta 32 derecelik hava sıcaklığına neden olur.

Buna karşın Blade sunucular geleneksel yapıya gö­re daha iyi form faktörüne sahiptir ve daha az hava akışı ile daha yüksek güç tüketimi sağlanmaktadır. Fa­kat bu durum rağmen 22 ^eC'de emilen hava sunucu çı­kışından 38 ^QC gibi yüksek sıcaklığa ulaşır.

2U'luk sunucularla dolu bir kabininiz varsa bu ka­bin özellikle yüksek hava akışına sahip bir kabin ola­caktır. Örneğin yukarıdaki örnekteki gibi içinde 400VV tüketimli 2U'luk sunucuyu gözönüne aldığımızda ve bunlardan 15 tanesinin bir kabine konumlandığını dü­şündüğümüzde kabin içinde 6kW tüketileceği açıktır. Yukarıdaki bilgiler ışığında bu kabinin içindeki sunu-culardaki fanlar ile 6kW x 75.5L/s/kW = 453 L/s hava akışı oluşacaktır. Örneğin sistem odasının soğutma sis­temi tipik yapıda ise kabin önündeki perfore karodan sağlanacak taze hava akışı 150L/s ile sınırlı ise bu ka­binin tüm odaya yapacağı gizli sabotaj girişimi kaçınıl­maz olacaktır.

Yüksek cebri hava akışı, öncelikle yan kabinlerin taze hava akışını çalacaktır, böylelikle yan kabinlerin ısı değerlerini yükselticektir. Eğer bu hava da yeterli ol­mazsa -özellikle üst sıralardakiler- odada bulunan kul­lanılmış havayı emerek çıkış hava sıcaklığının daha da artmasına sebep olacaktır. 1 U'luk sunucu dolu kabin kendi sağlığı için oda içinde bulunduğu yerdeki tüm komşularının sıcaklık seviyelerini yükselterek sinsi sa­botajını sürdürecektir. Genelde ağ kritik fiziksel altya­pısında çalışan kişilerin "Biz tek kabine 10'larca 1 U'luk sunucu yerleştirdik, bir sorun çıkmıyor" türün­de söylemleri bu sabotajın sinsi olmasındandır. 1 U'luk yoğun kabinler kendilerinden önce -şüphenilmeyen-diğer kabinlerde sıcaklık problemlerine neden olurlar.

Blade sunucularla dolu kabinin yarattığı sorunlar ise biraz farklı olsa da 1 U'luk sunucularla dolu kabin­den pek aşağı kalmamaktadır. Yukarıdaki 15 x 2U'luk sunucu ile dolu kabin ile karşılaştırılması kolay olacak şekilde 4 adet 7U'luk şase bulunan Blade sunucu ka­binini göz önüne alırsak, güç tüketimi 2kW x 7 = 14kW ve gerekli hava akışı ise 14kW x 49.6L/s/kW = 670 L/s olarak bulunacaktır. 2U'Iuk sunucu dolu kabi­nin yarattığı hava akışının 1.5 katı bu hava emişi yuka­rıda bahsedilen uygunsuzlukları da aynı oranda arttırıp problemlerin daha etkin olmasını sağlıyacaktır.

Blade sunucuların bir başka sabotajı da çıkan sıcak havanın yüksek sıcaklığıdır. Örneğin bir veri merke­zinde yüksek doluluk oranlı Blade sunucu kabinlerini bir arada ve arkaları bir soğutma ünitesine dönük ola­rak konumlandığı durumu düşünelim. Bu ilk bakışta 38 - 40 ^QC'ye varacak sıcak hava akışının diğer hacme dağılmadan doğrudan soğutucuda ulaştırılması en uygundur.