Guten Morgen. Früher wetteiferten die reichsten Menschen der Welt um Yachten, Jets und Privatinseln. Heute geht es um die Anzahl von GPUs, schreibt der Economist. Open AI hat demnach sein Modell GPT-4 in einem Netzwerk von rund 25 000 solcher Grafikverarbeitungseinheiten trainiert. Das war vor 18 Monaten. Jetzt würden Musk und Zuckerberg „mit ihren Chips in der Luft wedeln“: Musk wolle 200 000 für ein Rechenzentrum kaufen, Zuckerberg 350 000.

Doch unendlich weitergehen kann dieser Wettlauf nicht. Die Gesamtsysteme würden mit zunehmender GPU-Anzahl irgendwann ineffizient. Forschende überlegen deshalb, wie das Training von neuen KI-Modellen künftig stärker dezentral, also verteilt in vielen Rechenzentren, ablaufen könne. Distributed Low-Communication Training of Language Models (Diloco) nennt sich die Methode.

Positiver Nebeneffekt: Verteiltes Training führe zu verteilter Macht, so die Forschenden. Sie träumen zudem davon, dass künftig gar keine Chips mehr eigens für das KI-Training beschafft werden müssen. Der Ausgangspunkt der Idee: Einer der leistungsstärksten Chips von Nvidia sei ungefähr so leistungsfähig wie 300 iPhones der neuesten Generation, weltweit existierten aber mehr iPhones als GPUs. Also: „Wie wäre es, wenn man sie (und andere Computer) alle zum Arbeiten einsetzen könnte, um Trainingsläufe zu absolvieren, während ihre Besitzer schlafen?“, fragt das Magazin.