Så bygger KTH superdatorer

Linux överlägset vanligast
Linux är det överlägset vanligaste operativsystemet på superdatorerna i dag. I till exempel tillverkaren Crays produkter följer deras variant av Suse Linux med. På servicenoderna, alltså de datorer som agerar till exempel diskservrar och inloggningsnoder, körs traditionell Linux, medan beräkningsnoderna kör en nedskalad variant. De behöver inte alla användarfinesser. Applikationen ska inte behöva ha med Linuxkärnan att göra, utan gå direkt till hårdvaran.

Operativsystemet har inte så mycket med nätverkskommunikationen att göra heller, utan det är nätverkskortet som plockar data ur minnet med dma (direct memory access) och flyttar till nästa nod.

– Men man måste säga att det finns Windowskluster också. Det har vi experimenterat med. Och det finns nog kluster som kör IBM:s AIX fortfarande, med Power 7-processorer, säger Gert Svensson, biträdande föreståndare.

Han är även ansvarig för värmeåtervinningen på PDC och berättar om de ”gröna” överväganden man gör.

– Vår datorhall förbrukar i dag 1,3 megawatt, och det är ganska mycket både i pengar och i koldioxid räknat. Superdatorer använder sällan power-down-lägen då de ofta används mer än 96 procent av tiden, och på vår Craydator Lindgren har vi installerat ett system som för över värmen som varmvatten till kemiinstitutionen, där den värmer ventilationsluften.

Det lönar sig sällan att bara köpa mesta möjliga minne eller snabbast möjliga processor. I stället är dimension­eringen en balansgång mellan minnesmängd och minnets bandredd, processorns klockfrekvens kontra hur mycket ström den drar och beräkningsnätverkets prestanda kontra dess pris. Kan man optimera dessa kan man hamna överst på Green 500-listan.



PDC:s raidsystem för Lindgren och Povel. Ett måste, om än aldrig så litet.



PDC har valt att bygga ihop sina två superdatorer Povel och Lindgren med samma lagringssystem för att enkelt kunna föra gemensamt arbetsdata in och ut mellan maskinerna. Även användarna är anslutna till lagringssystemet via internet eftersom det är den vägen som arbetsdata ska lämnas och hämtas ut. Det är mycket data som ska ut och in, så anslutningarna till internet är snabba. Mellan de olika molnen, som egentligen är de olika systemens beräkningsnätverk, sitter routerdatorer som har en ”fot” i vardera nätet och kan flytta data emellan näten.

Vatten vanligt igen
– Jag tror det kommer bli vanligare med vatten väldigt nära processorerna igen. Trenden har ju gått från att bara transportera ut värmen ur datorhallen med vatten, till att ha vattnet i rackraderna, sedan i dörrarna, och vi ser det nu i direktkontakt med processorerna eller i rör genom kylflänsarna. Effekten per rack ökar hela tiden.

– Den stora fördelen med direktkylning är att vattnet blir varmare än de 33 grader vi får ur Lindgren. Om det blir 55 grader kan det värma tappvarmvatten direkt, säger Gert Svensson.

Man talar ofta om världsrankingen för superdatorer, The Top 500 list, men den kan ifrågasättas. Den oberoende expertgrupp som sammanställer topplistan tittar nämligen bara på en enda sak: hur många floating-point operations per second, flops, man kan få ut. Det kanske inte längre är det viktigaste. I stället kan man fråga sig hur mycket energi flopsen kostar att få fram. Därför finns dessutom en lista kallad The Green 500, som anger vilken maskin som ger bäst prestanda för inmatad energi.

I dag gäller petaflops
Just nu befinner vi oss i petascale-eran, vilket betyder att maskinerna klarar petaflops – individuella kretsar klarar teraflops och med tusen stycken tillsammans hamnar man på peta, prefixet för biljard.

– Prognoserna säger att vi hamnar på exaflops-maskiner under 2018, säger Stefano Markidis, applikationsexpert inom plasmafysik och en av de forskare som har användning för PDC:s superdatorer.
Så maskinerna blir allt snabbare, men vad är det som är petascale egentligen: maskinerna eller programmen? Tyvärr är det bara maskinerna. Om programmen inte kan utnyttja alla petaflops, för att de är klantigt skrivna, uppår man inte petascale på riktigt.

Hur ansluter man till en superdator, för till exempel programdistribution och övervakning? Ofta sker det via ett åtkomstnät i form av ett vanligt ethernet kopplat som en trädstruktur med en rot och flera lager switchar som till slut kopplas till varje beräkningsnod (BN). Enkelt, men ska inte användas vid beräkningar på grund av höga latensen och begränsade bandbredden. Många, framförallt mindre till medelstora Infinibandkluster använder sig av relativt rena och balanserade trädstrukturer. I andra fall används strukturen som ser ut som en kub i beräkningsnätet. Den brukar kallas för 3d-torus, en figur där alla kanter är omvikta och sitter ihop med varandra. Alla ledare är inte utritade, men avsikten är att alla beräkningsnoder ska kunna få kontakt med alla andra, med minsta antalet hopp och åt båda hållen samtidigt.

Amdahl sätter gränsen
Allting begränsas av Amdahls lag, döpt efter Gene Amdahl, superhacker och Cray-byggare, som anger hur snabbt ett program kan gå. Det är begränsat av hur stor del av programmet som inte kan parallelliseras, och alltså i stället måste köras sekventiellt. Om 1 procent av ett givet program är sekventiell kan man inte köra programmet mer än 100 gånger fortare än den där ena procenten kod oavsett hur många processorer man har.

Om ett parallellprogram blir hängande på grund av att man i någon punkt inte kan exekvera på tusen processorer samtidigt, utan måste vänta ut resultatet från en enda processor, blir prestanda ohjälpligt lidande.

I exascale blir problemet ännu värre. Individuella beräkningskärnor förväntas inte bli signifikant snabbare före 2018, och så länge ens en miljondel av programmet är sekventiell kan man inte uppnå exascale-prestanda.

PDC har haft en lång rad superdatorer, som alla var super på sin tid. Den första, Bellman, en CM-2 från Thinking Machines från 1990 var faktiskt 12-dimensionell inuti och klarade 5 gigaflops, ungefär som en nutida Macbook.