Die Skalierungsbesessenheit der KI-Branche steuert auf eine Klippe zu

Eine neue Studie des MIT legt nahe, dass die größten und rechenintensivsten KI-Modelle im Vergleich zu kleineren Modellen bald abnehmende Erträge liefern könnten. Durch die Gegenüberstellung von Skalierungsgesetzen mit kontinuierlichen Verbesserungen der Modelleffizienz fanden die Forscher heraus, dass es schwieriger werden könnte, aus riesigen Modellen Leistungssprünge herauszuholen, während Effizienzsteigerungen die Leistungsfähigkeit von Modellen, die auf einfacherer Hardware laufen, im nächsten Jahrzehnt steigern könnten.

„In den nächsten fünf bis zehn Jahren werden sich die Verhältnisse sehr wahrscheinlich verengen“, sagt Neil Thompson, ein an der Studie beteiligter Informatiker und Professor am MIT.

Effizienzsprünge, wie sie im Januar bei DeepSeeks bemerkenswert kostengünstigem Modell zu beobachten waren, haben der KI-Branche, die es gewohnt ist, enorme Rechenleistung zu verbrauchen, bereits als Realitätscheck gedient.

Derzeit ist ein Spitzenmodell von einem Unternehmen wie OpenAI deutlich besser als ein Modell, das mit einem Bruchteil der Rechenleistung eines akademischen Labors trainiert wurde. Die Prognose des MIT-Teams könnte sich zwar als falsch erweisen, wenn beispielsweise neue Trainingsmethoden wie Reinforcement Learning überraschende Ergebnisse liefern, doch sie deutet darauf hin, dass große KI-Unternehmen in Zukunft weniger Vorsprung haben werden.

Hans Gundlach, ein Forscher am MIT, der die Analyse leitete, interessierte sich für das Thema, weil die Ausführung modernster Modelle schwerfällig ist. Gemeinsam mit Thompson und Jayson Lynch, einem weiteren Forscher am MIT, untersuchte er die zukünftige Leistungsfähigkeit von Grenzmodellen im Vergleich zu Modellen, die mit bescheideneren Rechenmitteln erstellt wurden. Laut Gundlach ist der prognostizierte Trend besonders ausgeprägt bei den aktuell beliebten Schlussfolgerungsmodellen, die bei der Inferenz stärker auf zusätzliche Berechnungen angewiesen sind.

Laut Thompson zeigen die Ergebnisse, wie wertvoll es ist, einen Algorithmus zu verfeinern und die Rechenleistung zu steigern. „Wenn man viel Geld für das Training dieser Modelle ausgibt, sollte man unbedingt einen Teil davon in die Entwicklung effizienterer Algorithmen investieren, denn das kann enorm wichtig sein“, fügt er hinzu.

Die Studie ist besonders interessant angesichts des aktuellen Booms (oder sollten wir „Blase“ sagen?) der KI-Infrastruktur, der kaum Anzeichen einer Verlangsamung zeigt.

OpenAI und andere US-Technologieunternehmen haben Verträge im Wert von mehreren Hundert Milliarden Dollar zum Aufbau einer KI-Infrastruktur in den USA unterzeichnet . „Die Welt braucht viel mehr Rechenleistung“, verkündete OpenAI-Präsident Greg Brockman diese Woche bei der Bekanntgabe einer Partnerschaft zwischen OpenAI und Broadcom für kundenspezifische KI-Chips.

Immer mehr Experten zweifeln an der Solidität dieser Deals. Rund 60 Prozent der Kosten für den Bau eines Rechenzentrums entfallen auf GPUs, die in der Regel schnell an Wert verlieren. Zudem erscheinen die Partnerschaften zwischen den großen Playern zirkulär und undurchsichtig .

Jamie Dimon, CEO von JP Morgan, ist der jüngste große Name in der Finanzwelt, der eine Warnung aussprach. Er sagte der BBC letzte Woche: „Die meisten Menschen sollten sich stärker verunsichert fühlen.“

Beim Goldrausch um die KI-Infrastruktur geht es nicht nur um den Aufbau leistungsfähigerer Modelle. OpenAI setzt darauf, dass die Nachfrage nach neuen generativen KI-Tools exponentiell wachsen wird. Das Unternehmen möchte möglicherweise auch seine Abhängigkeit von Microsoft und Nvidia verringern und seine enorme Bewertung von 500 Milliarden Dollar in eine Infrastruktur investieren, die es selbst gestalten und anpassen kann.

Dennoch erscheint es für die Branche ratsam, Analysen wie die vom MIT erstmals vorgestellte zu nutzen, um zu untersuchen, wie sich Algorithmen und Hardware in den nächsten Jahren entwickeln könnten.

Der Bauboom, der derzeit einen Großteil der US-Wirtschaft stützt, könnte auch Folgen für die amerikanische Innovationskraft haben. Durch die massiven Investitionen in GPUs und andere Chips, die auf Deep Learning spezialisiert sind, könnten KI-Unternehmen neue Chancen verpassen, die sich aus der Erforschung von Ideen aus dem Randbereich der Wissenschaft ergeben könnten, wie etwa Alternativen zu Deep Learning, neuartige Chipdesigns und sogar Ansätze wie Quantencomputing. Schließlich sind diese die Quelle der heutigen KI-Durchbrüche.

Sind Sie besorgt über die Investitionen in neue KI-Infrastrukturen? Senden Sie eine E-Mail an [email protected] , um uns Ihre Meinung mitzuteilen.

Dies ist eine Ausgabe des AI Lab-Newsletters von Will Knight . Lesen Sie hier frühere Newsletter.