OpenAI är ett ej vinstdrivande amerikanskt företag som grundades 2015, med syftet att bidra till utvecklingen av artificiell generell intelligens (AGI). AGI innebär att skapa en komplett ersättning för människor, vad gäller intelligens. Bland grundarna av OpenAI märks Teslachefen Elon Musk.
Nu har OpenAI publicerat en undersökning om hur mycket data som används för träning av ”de allra största” AI-modellerna. Det är häpnadsväckande siffror som presenteras.
Sedan 2012 har mängden data som används av de största modellerna fördubblats efter 3,5 månader. Det ger en total ökning fram tills nu på ungefär 300 000 gånger, i medeltal.
Läs också: Datacenterjätte storsatsar i Stockholm – investerar 785 nya miljoner
Mätetalet som används är det något komplicerade petaflop/s-day (pfs-day). En pfs-day innebär att 10 upphöjt till 15 neurala nätoperationer per sekund utförs under en dag. Det ger ungefär 10 upphöjt till 20 operationer på en dag.
2012 var resultatet för den största modellen mindre än 0,01 pfs-day. Den allra största AI-modellen i dag, Deepmind Technologies Alphago Zero, närmar sig 2 000 pfs-day. Deepmind är ett dotterbolag till Googles moderbolag Alphabet.
Som anledningar till att datamängderna kunnat ökas i den här utsträckningen anger OpenAI användningen av först grafikprocessorer och sedan av specialiserad hårdvara för maskininlärning. Ett exempel på de senare är så kallade tpu (tensor processing unit).
Läs också: Nu går det att hyra superchipp för AI på Googles molnplattform
Ett mål med specialiserad hårdvara är att öka förmågan till parallellism, alltså att göra flera saker samtidigt. Det bidrar till att kunna hantera större datamängder.
Men kan fråga sig hur applicerbar den här undersökningen är för AI- och maskininlärningstillämpningar i allmänhet. Den visar i alla fall att potentialen för att hantera stora datamängder ökar i en väldigt hög takt.
Under de närmaste åren förutspår OpenAI ett fokus på att bygga mer strömsnål hårdvara för AI-tillämpningar. En följd av det är att man kan hantera samma datamängder som i dag till ett lägre pris. Om det utnyttjas kommer flera företag att kunna bygga modeller i klass med dagens största.
