Av
Med en ny teknik och ett supersnabbt nätverk har dessa forskare från Microsoft Research sorterat 1,4 terabyte data på en minut. Bild. Microsoft Research.
Big data är ett hett modeord just nu som berör de allt större mängder information som behöver hanteras och analyseras av företagen.
En grupp forskare vid Microsoft Research har nu slagit nytt rekord i vad som kallas Minute Sort Benchmark, då de lyckats sortera 1401 gigabyte på 60 sekunder med en ny teknik kallad flat datacenter storage, fds.
Tekniken har sedan kombinerats med ett så kallat full bisection bandwidth-nätverk för extremt snabb dataöverföring. Totalt användes 1033 hårddiskar utspridda över 250 servrar. Nätverket klarar två gigabyte per sekund in och två gigabyte ut.
- Det är 20 gånger mer bandbredd än de flesta servrar har tillgång till i dagens datacenter, säger forskargruppens chef Jeremy Elson.
Fds-tekniken sägs ta vid där nuvarande Mapreduce och Hadoop-baserade lösningar inte längre räcker till och bygger på att alla system rapporterar till varandra, likt hur en platt företagsstruktur ser ut.
Tidigare rekordhållaren var Yahoo som 2009 sorterade 500 gigabyte på 60 sekunder med hjälp av 5604 diskar och 1406 servernoder.
En grupp forskare vid Microsoft Research har nu slagit nytt rekord i vad som kallas Minute Sort Benchmark, då de lyckats sortera 1401 gigabyte på 60 sekunder med en ny teknik kallad flat datacenter storage, fds.
Tekniken har sedan kombinerats med ett så kallat full bisection bandwidth-nätverk för extremt snabb dataöverföring. Totalt användes 1033 hårddiskar utspridda över 250 servrar. Nätverket klarar två gigabyte per sekund in och två gigabyte ut.
- Det är 20 gånger mer bandbredd än de flesta servrar har tillgång till i dagens datacenter, säger forskargruppens chef Jeremy Elson.
Fds-tekniken sägs ta vid där nuvarande Mapreduce och Hadoop-baserade lösningar inte längre räcker till och bygger på att alla system rapporterar till varandra, likt hur en platt företagsstruktur ser ut.
Tidigare rekordhållaren var Yahoo som 2009 sorterade 500 gigabyte på 60 sekunder med hjälp av 5604 diskar och 1406 servernoder.
