Servern
En typisk HP Proliant DL360 G7-server med åtta hårddiskplatser framtill.
Servern vi valde är en 1 höjdenhets HP Proliant DL 360 G7, en maskin med två processorer av exempelvis typen Intel 5675, 18 socklar för DIMM RAM och upp till åtta hårddiskar. Den är inte främst avsedd för att lagra särskilt mycket data utan ska vara basen för en virtualiseringslösning. I och med att varje rackskåp rymmer 42 stycken 1 HE servrar och det finns åtta lediga skåp får vi totalt 336 servrar, eller 672 processorer.
Proliant DL 360 G7:
Processortyp: Intel Xeon 5600-serien
Högsta antal processorer: 2
Största minnesmängd: 384 GB DDR3-minne i 18 DIMM-socklar
Nätverksanslutning: 4 st 1 GbE-anslutningar
Dubbla, redundanta kraftaggregat
Detta möjliggör den samlade kraften av:
672 processorer
129 terabyte RAM
6368 heltals-GIPS (giga instructions per second)
Obrytbar kraft
HPs rekommendationer om hur man kopplar reservkraften. Det hela kan antingen bestå av en enda eller två containrar, eller också kan reservgeneratorn stå löst, eventuellt inuti en byggnad. De röda och blå ledningarna är varm- respektive kallvatten.
Ytterligare en avvägning är hur mycket UPS-kapacitet man behöver och hur många rackskåp detta ska få ta upp. HP rekommenderar att man fyller två av containerns tio skåp med UPS-moduler för att få vettig hålltid vid strömavbrott. Eftersom varje rackskåp med servrar drar cirka 9,5 kilowatt kommer alltihop att dra cirka 76 kilowatt vid fullt utnyttjande, dvs när alla processorer och fläktar går för fullt. En UPS, som fyller ett rackskåp, klarar maximalt 60 kW och med två stycken kan man hantera hela effektbehovet inklusive kylanläggning och UPS:ernas verkningsgradsförluster och ändå hålla uppe i 45 minuter vid 50 % processorutnyttjande, ett förhållande som är ganska vanligt i virtuella miljöer idag. Så mycket hålltid kan behövas även i stockholmsområdet.*
Luft och kylning
Utöver detta behövs givetvis luftkonditionering och brandsläcksystem, samt uttagslister för redundant kraftdistribution inne i rackskåpen. Eftersom du kan tänkas vilja sälja datortid åt andra, har alla uttagslister i vårt exempel försetts med energimätare och rapporteringsfunktion så att du kan debitera energiåtgången exakt.
Luftflödet inuti containern är strikt indelat i en varm och en kall korridor. Slarvar man med det ökar PUE-talet betydligt.
Containern är strikt indelad i en kall och en varm korridor och detta måste bibehållas för att kylningen ska bli effektiv. Man kan diskutera länge och väl hur hög temperaur den kalla korridoren ska hålla. HP anser att 19 grader till exempel är onödigt lågt och förbrukar onödigt mycket energi. 25 grader är mera lämpligt. Då har man ändå ett spelrum upp till 35 grader som är servrarnas maxtemperatur.
HP tror inte det ska vara några problem att komma ned till ett PUE-tal på 1,25. Till stor del beror detta på att HP bygger väldigt snygga UTP-kablage i form av så kallat strukturerat kablage och sätter upp i rackskåpen. Detta får till resultat att luften kan flöda fritt och inte hindras av kabelmattor och börja virvla omkring. Du kan givetvis välja att sätta upp kablaget själv och försöka uppnå samma PUE-tal, men får då problemet med att måttbeställa alla kablar. Dessutom krävs stor disciplin vid kabeldragningen.
Kylan kommer uppifrån. Här är ett antal trumfläktar nedfällda ur taket. Det är ont om plats och varenda kubikcentimeter är utnyttjad.
Så här ser kyltaket ut utan rackskåp monterade. De svarta lådorna upptill bak är elfördelare för kraften till varje skåp. De svart-vita klumparna är amerikanska kraftkontakter.
Kraft och värme
Följande parametrar för kraftåtgång och temperaturer gäller enbart vårt exempel med 336 stycken servrar:
Inkommande kraft: 80 kilowatt, 3x400 volt 50 Hz, 3x67 ampere
UPS:ens hålltid: 45 minuter vid 50 % processorutnyttjande
Drifttemperaturer: –29°C ... 54°C med kallvädersskydd
Förväntat PUE-tal: 1,25
I och med att HP kan tillhandahålla servernätaggregat för likspänningsdrift är det i princip möjligt att vinna ytterligare verkningsgrad genom att använda sig av en likspännings-UPS och driva servrarna på 350 volt DC. Sådana UPS:er tillhandahåller dock inte HP utan dem får du skaffa själv från exempelvis svenska Netpower och låta HP bygga in åt dig.
Anslutningar och uppställning
Intill containern förväntar sig HP att du håller med 80 kilowatt kraft i form av 400 volt trefas. Vår beställning var gjord sådan att du i övrigt inte ska behöva göra något annat än att dra fram två fibrer och plugga in i en switch inne i containern. Containern har lämpliga genomföringar för kablage och fiber, och kan fås EMP-skyddad om du så önskar, mot en tilläggskostnad.
Site Preparation, alltså att uppställningsplatsen uppfyller HPs regler, är ett krav. Om du inte vill göra förberedelserna själv, kan HP utföra dem åt dig till en extra kostnad, men en typisk asfaltsbelagd parkeringsplats uppfyller utan vidare kraven.
Du och HP ska också komma överens om vilken typ av kraftkablage som ska användas och var trefashandskarna ska sitta. Vill du ha reservgenerator tillkommer detta utöver vår beställning, och utförs lämpligen i form av en extra reservkraftcontainer som då också innehåller UPS:erna och dieseltanken. Det ger mera plats över för ytterligare servrar i datacentralen, eller centralerna, eftersom en standardgenerator kan försörja två containrar.
Kylan är vattenburen inuti containern, men systemet är slutet och inget vatten kommer någonsin ut. Dock kan systemet då och då behöva fyllas på med destillerat vatten.
Hur kommer man åt att meka på baksidan av rackskåpen? De sitter fast i golvet och kan inte dras fram. Det går inte att gå runt sidan på skåpen och åla sig bakom. Istället öppnar man dörrar i containerns bakre vägg och kommer åt allt kablage. Det kan ha sina problem om det råder svensk vinter och för att inte snö, storm, istappar och sniglar ska komma in rekommenderar HP att du i det fallet sätter upp ett tält bakom containern. Denna typ av serviceåtgärd är ändå tämligen sällsynt. Kylningen komprometteras dock inte eftersom baksidan är den varma korridoren, så luften blåser ut där i vilket fall som helst.
