Tekniken bakom gigantiska databaser

Artikelkommentarer

Vi håller just nu på att uppgradera vära kommentarsystem. Mer info om hur du kommenterar och kommer åt dina gamla kommentarer hittar du på vår FAQ: idg.se/faq

Kommentatorn ansvarar själv för sina inlägg. Inlägg som innehåller diskriminerande uttalanden, personliga påhopp eller språk som kan uppfattas som stötande, kommer att tas bort av tjänstgörande redaktör. Även poänglösa datorkrigsinlägg tas bort.

OBS! Läs dessa regler som gäller vid postning av inlägg.

Regler för inlägg i artikelforumet

IDG förbehåller sig dessutom rätten att i varje enskilt fall bedöma huruvida ett inlägg ska tas bort, även om det inte faller under någon av reglerna ovan.

Upprepat postande av olämpliga inlägg kan medföra avstängning från artikelforumen.

Frågor? Mejla till redaktören, carl.grape@idg.se.

Läs mer om vår policy i diskussionsforum

Kommentarer till:

Här är tekniken bakom
gigantiska databaser

ANALYS När du själv kanske brottas med databaser i terabyteklass har somliga det mycket värre. Redan i dag finns organisationer med petabyte i sina system. Vi har undersökt deras teknikval.

Intressant artikel

2011-10-22 10:08

Kanon artikel! Jag trodde jag var gott insatt i ämnet men jag fick höra om ett par (för mig nya) produkter, samt 15 mins intressant läsning, kul!

jebb

Gärna även H/W

2011-10-22 11:19

Även om de egna behoven är tämligen blygsamma i jämförelse så kan man lära sig mycket av att studera hur de stora hanterar prestandakraven.

Gärna flera sådana bra artiklar!

Jag skulle också vilja läsa om H/W som används (servrar, lagring etc.) och hur man kopplar ihop allt.

SpamGod

Gärna även H/W

2011-10-22 16:40

Tack! Och stay tuned, mer är på gång.

Magnus, chefredaktör TechWorld

Saknar Windows

2011-10-22 11:27

95% av alla datorer kör windows, varför tar ni inte upp exempel på standard. Ett tydligt tecken på att artikelförfattaren lever i en egen värld.

Jag är säker på att de flesta stora företag kör Windows med dubbla drivebokstäver för riktigt, riktigt stora system. Windows är enklare att använda, bara att klicka med musen iställert för en massa krångliga kommandon.

Drivebokstäver skulle också lösa problemet med att ip-adresserna tagit slut. Med en netletter räcker de till i "evighet". T.ex S:204.100.1.32 för en adress i sverige. Fördelen är att man kan organisera resurserna bättre och man vet till vilket nät man skickar datat. Precis så smidigt som med drivebokstäver. Man vet precis vilken disk det är.

.:.

Saknar Windows

2011-10-22 11:42

Ditt inlägg var förvisso roligt, men Microsoft står sig faktiskt riktigt bra på skalbara databaslösningar.

2008 petade man på Pan-STARRS teleskopet in 1.1 PetaBytes i en Microsoftbaserad SQL Server 2008-lösning. Nu är det gått ytterligare fyra år och det har ju inte blivit mindre i den databasen heller...

bitbucket

Saknar Windows

2011-10-22 15:42

Visst kan Windows klara hyfsat stora system, men artikeln tar upp en sak som gör Linux överlägset när man verkligen behöver pressa ur kraft ur systemet: med Linux är det möjligt och faktiskt relativt lätt att skala bort saker som är irrelevant för det man själv ska göra. Kvar har man något som är extremt trimmat till just den uppgift man själv ska lösa.

Windows eller något annat OS där man inte har tillgång till hela OS-kärnans källod kommer aldrig kunna konkurrera mot sådan lösningar.

Antalet maskiner blir ju också en fördel för t.ex. Linux. Har man >10.000 servers så blir licenskostnaden inte helt försumbar. Men utgår från att man får rätt rejäla rabatter från MS i ett sådant läge, så det är i slutändan kanske inte en jättestor fördel.

Uridium

Saknar Windows

2011-10-22 17:42

Finns det nåt intresse för Microsoft att stöda sådant då?

De skulle väl till att börja med behöva ge bort Windows gratis för att kunna konkurrera så det verkar ju stanna redan där.

Ifall de inte kan komma med nån riktigt bra orsak att köra Windows istället för Linix i sådana sammanhang så att kunden kan tänka sig att betala mer för det.

ArthurF

Saknar Windows

2011-10-22 21:02

Ja, nu förutsatte jag lite naivt att MS har tillgång till källkoden för sina egna system ;)

bitbucket

Saknar Windows

2011-10-22 21:21

Microsoft har tillgång till sin källkod men kanske inte så många andra företag. Så om du (förutsatt att du inte får modda Windows Server-källkoden som du vill) ska sätta upp en serverpark där du behöver byta ut en grundläggande funktion i operativsystemet för att komma runt ett prestandaproblem så är du rätt kokt med Windows. Är du dessutom en tonåring som sitter i farsans garage så lär du inte få uppmärksamhet för ditt problem från MS heller.

Men med det sagt tror jag inte att det är så många som råkar på det problemet i verkligheten så det kanske går att leva med för de flesta :-)

buurd

Saknar Windows

2011-10-23 04:08

Du kan ju med lätthet söka jobb som it-ansvarig i din kommun.

Vem skulle INTE anställa dig, när du kan sänka deras kostnader till ett minimum?

Ta jobbet! Och ta rejält betalt. Det blir en win-win-situation..

Att alla stackars socialarbetare som är vana vid Windows måste skolas om får du ta som en onödig utgift.

Joens Vogelholker

Saknar Windows

2011-10-23 13:17

Har du överhuvudtaget läst artikeln? Vilken svensk komun bygger ett data-center där man verkligen pressar HW till sitt yttersta och därför måste ha specialsydda lösningar?

Windows fungerar utmärkt för de, relativt sätt, trivial lösningar som använda i t.ex. kommuner.

Bygger man däremot lösningar som Google och Facebook som har extrem många besökare per tidsenhet så fungerar inte en standardlösning. Samma sak gäller om man har extrema krav på någon annan egenskap, t.ex. extrem låg latens som högfrekvenshandel.

Om man utvecklar lösningar för lite mer extrema tillämpningar så är Linux överlägset och en stor del av denna överlägsenhet kommer från att man har tillgång till källkoden och kan plocka bort delar man inte använder och eventuellt optimera de delar man faktiskt använder.

Visst kan Microsoft göra en sådan lösning även med Windows då de har tillgång till källkoden, men inget företag kan själva skapa en sådan lösning med Windows då Microsoft inte levererar källkod med Windows.

Uridium

Saknar Windows

2011-10-24 03:07

Så license kostnaden för linux är mindre? Jag tror vi nu har knappa 5000 redhat servrar. De är inte billiga i licenser.

Neptune

Saknar Windows

2011-10-24 09:06

Och vad tror du sannolikheten är att RedHat ger support på ett system där du har modifierat Linux-kärnan?

I system där man tar till special-lösningar så fungerar inte standard-lösningar från vare sig RedHat eller Microsoft. Det är liksom skillnaden i att använda en special-lösning vs standard-lösning.

I det läge kan man lika gärna använda en gratis-variant av Linux. I många av de lösningar jag kommit i kontakt med användas faktiskt Gentoo, vilket när man tänker på det kanske inte är så konstigt då det gör det möjligt att optimera hela systemet (inte bara kärnan) för att maximalt utnyttja just den HW man valt och skräddarsy alltihop för den uppgift man vill lösa.

Verkar inte som folk fattar hur mycket snabbare/mer skalbart ett skräddarsytt system kan bli. En tiopotens snabbare än ett standardsystem är definitivt inget ovanligt.

Uridium

Saknar Windows

2011-10-24 09:08

Varför skall vi köra med en modifierad Linux kärna?

Neptune

Saknar Windows

2011-10-24 09:38

Tja därför att du bygger ett system med extrema krav, lite som de system som diskuterades i artikeln?

Uridium

Saknar Windows

2011-10-24 11:24

Du får dock massor med management overhead om du specialiserar allt för mycket. Vilket leder till längre ledtider, svårare att rekrytera, komplexare system etc. En CIO mardröm.

Jag såg inte att det stod att dessa modifierade kärnan. Google är väl allmänt känt att de modifierar kärnan, för vissa typer av noder, men verkligen all? Har de andra aktörerna dock gjort detta?

Neptune

Saknar Windows

2011-10-22 13:17

Det är en hel del ord i ditt inlägg men hur mycket jag än försöker kan jag inte få dom att betyda något tillsammans.

rils

RabbitMQ

2011-10-22 15:05

Tack för en välgjord och intressant artikel.

Den öppna köhanteraren RabbitMQ har jag hört mycket gott om av kollegor. Bra och snabb för att skapa asykrona-flöden mellan fristående applikationer eller delar av samma applikation, både internt och mellan maskiner.

Drutten & Jena

svensk?

2011-10-23 15:52

Vad använder de svenska företagen då? Har hört att Teradata har haft stora framgångar på sistonde.

Om man läser DBMS2 som har lite bättre koll än IDG på databaser så kan man ju se att ebay kastade ut Greenplum för ca ett år sedan http://www.dbms2.com/2010/10/06/ebay-followup-greenplum-out-teradata-10-petabytes-hadoop-has-some-value-and-more/

berntl

Välskrivet

2011-10-23 23:08

Tack för en mycket intressant och välskriven artikel!

lunetics

Comments powered by Disqus

Mer läsning från TechWorld

2013-06-14 16:32 - TechWorld:

Tallinn-manualen
- en handbok för cyberkrig

REPORTAGE En grupp internationella jurister har kommit samman under Nato-enheten CCD COE:s beskydd i Tallinn och funderat på hur cyberbrott ska bekämpas och vilka regler som gäller. Vilka åtgärder kan egentligen rättfärdigas?

2013-06-13 16:30 - TechWorld:

Bästa verktygen för tvåstegsautentisering

BILDSPEL Det duger inte att förlita sig på ett simpelt användarnamn och ett lösenord för inloggning. Därför behövs tvåstegsautentisering.

exklusiv för Techworlds Superusers

2013-06-12 10:11 - TechWorld:

3d-skrivaren som skriver ut i titan

REPORTAGE 3d-printandet tar jättekliv framåt. På företaget Arcam i Mölndal framställer man helt solida metalldelar. Smältning med elektronstråle gör att man kan arbeta med ett mycket motspänstigt material: titan.

2013-06-17 11:25 - TechWorld:

Avancerat hackarskydd öppnas inom kort

En brandvägg skyddar dig inte mot stulna inloggningsuppgifter. Verktyget Breachbox håller däremot koll på ovanliga inloggningar.

Redaktionen rekommenderar

2013-05-28 16:32 - TechWorld:

Lösenordens död del 1
- Allt är för enkelt att knäcka!

ANALYS Dagligen kommer rapporter om att angripare har kommit över lösenord från e-handlare eller molntjänster. Det finns mycket små möjligheter till ett bra tekniskt skydd - inte ens världens säkraste kryptoalgoritm hjälper.

2013-05-20 16:30 - TechWorld:

Vill du ha kvar jobbet?
- Du måste uppgradera dig

Förändringens vindar blåser hårdare än någonsin genom landets it-avdelningar. Den it-tekniker som vill ha kvar jobbet gör bäst i att anpassa sig till de nya tiderna och uppgradera sin kompetens rejält.

2013-05-07 11:23 - TechWorld:

Gör storverk med lilla Raspberry Pi

ANALYS 45 gram tung och stor som ett kontokort, kan det verkligen vara en dator som duger till något? TechWorlds expert berättar historien bakom succén Raspberry Pi, förklarar hur den är byggd och vad du kan använda den till.

2013-04-24 16:26 - TechWorld:

Snart kan du och jag bo på månen

REPORTAGE Visst har du sett den, bebyggelsen i "Månbas Alpha"och " 2001 - Ett rymdäventyr"? Verkar den ouppnåelig med dagens teknologi? Ett antal nationer funderar på permanenta månkolonier. Vi ska titta på hur de kan komma att bli verklighet.

2013-04-22 10:09 - TechWorld:

Premiär för TechWorld Threat Report

Nu lanserar TechWorld nu en helt ny säkerhetsrapport som hjälper dig att få full koll på läget. Som Superuser kan du ladda hem och läsa den idag!

2013-03-26 13:10 - TechWorld:

Så mår öppen källkod 2013

ANALYS Öppen källkod vann på internet och de stängda programmen tog segern på skrivborden. I serverhallarna blev det oavgjort. Så nu är allt frid och fröjd? Knappast. Moln- och mobilteknik öppnar upp för en ny match.