KI-Blase

Platzt die KI-Blase?

Oder platzen gleich die USA?

Leserzuschrift:

openAI / chatGPT PEAK erreicht

Moin Hadmut,

openAI steckt offensichtlich in allergrößten Problemen, Deutsche Bank prognostiziert, daß erst 143 MILLIARDEN investiert werden müssen, bis irgendwann einmal Gewinn erwirtschftet werden kann!!! IRRE!!!

Um 2x so gut zu werden, müssen 5x soviel Energie & Geld investiert werden, Kosten steigen exponentiell… Man steht an einem Entwicklungs peak, Fortschritte nur noch linear. zZt 12 Milliarden Verlust pro Quartal!!! 15 Millionen pro Tag!!
Sam Altman sagt selber, eigtl müsste man als Gründer JETZT irgendwie den exit hinbekommen… goldrush over??!!

Ab Minute 5:35 wird es spannend, X tweet von Investor George Noble:

https://www.youtube.com/watch?v=9fjJKhpINAo

Ja.

KI hatte eine Anfangsbegeisterung, weil es jeder hip fand, sich ulkige Bilder und Videos auf Zuruf machen zu lassen, aber niemand zahlte dafür angemessene Preise und niemand hat darüber nachgedacht, wieviele Computer man dafür hinstellen muss und wieviel Strom das braucht.

Alle wollten alles mit KI machen, bedachten aber nicht, dass die bisherige KI noch nicht so wesentlich über Spielzeug- und Suchmaschinenniveau hinausgekommen ist. Irgendwann stellt dich dann doch die Kosten-Nutzen-Frage, spätestens dann, wenn man es vermarkten muss. Und auf Twitter/X zeigen sich die Leute zunehmend genervt von KI-Bildern. Das war mal eine kurze Begeisterung, aber das nutzt sich in seiner Beliebigkeit doch sehr ab.

O-Kalkül

Ich hatte es schon ab und zu erwähnt. In der theoretischen Informatik und der Algorithmenlehre verwendet man Aufwandsabschätzungen und das O-Kalkül, um sich zu Algorithmen Gedanken zu machen: Wenn sich die Menge der verarbeiteten Daten verdoppelt, verzehnfacht, vertausendfacht – wie ändert sich dann die Rechenzeit? Steigt die proportional? Wird die dann auch doppelt, zehnmal, tausendmal so groß? Steigt sie also ungefähr linear? Was noch vertretbar wäre. Steigt sie langsamer, etwa logarithmisch, was wunderbar und schön ist? Oder steigt sie überlinear, nämlich polynomial oder gar exponentiell? Exponentiell ist leicht tödlich.

Ein einfaches Beispiel: Treffen sich n Personen. Jeder soll jedem zur Begrüßung die Hand geben. Macht n·(n-1) / 2 Schütteleien, also (n²-n)/2 weil jeder n-1 anderen die Hand geben muss, aber nicht dann, wenn A B die Hand geschüttelt hat, B nochmal A die Hand schütteln muss, deshalb durch 2. Was aber, wenn 2n Personen aufeinandertreffen? ann hat man 2n·(2n-1)/2 Händeschütteln. Also (4n^{2 – 2n) / 2. Im O-Kalkül kann man die niedrigeren Polynome wegignorieren, und man sieht, dass sich der Aufwand so ungefähr vervierfacht. Weil der quadratisch mit n steigt.}

Achtung: So etwas ist aber, wenn genug Platz ist, stark parallelisierbar, weil die Zahl der „Prozesse“ mit n steigt. Die Leute schütteln sich ja mehrere gleichzeitig die Hände. Der Rechenaufwand steigt also quadratisch, der Zeitaufwand dagegen linear. Man kann sich das beim Eishockey anschauen. Da nämlich ist das üblich, dass sich die Spieler beider Mannschaften in jeweils einer Reihe aufstellen und die Reihen aneinander vorbeigehen, damit jeder jedem die Hand gegeben hat. Wenn sich die Zahl der Spieler pro Mannschaft ver-n-fachte, würde die Zahl der Händeschütteleien sich zwar quadratisch steigern, nicht aber die Zeit, die man dafür braucht, weil einfach die Linie der Spieler einer Mannschaft nur x-mal so lange ist, der erste Spieler nur x-mal so lange braucht, um sie zu passieren, und die Schlange einfach auch n-mal so lange braucht, bis sie durch ist. Was effizient aussieht, aber trotzdem teuer ist, wenn man für jedes Händeschütteln Rechenzeit kaufen muss. Beim Eishockey kostet das nichts extra, wenn die sich jeweils gegenseitig die Hände schütteln, im Rechenzentrum kostet das aber Platz, Strom, Kühlung, Anschaffung, Personal, wenn man mehr Prozessoren braucht. Deshalb kann man sich da ganz leicht verzetteln.

Ich kenne die KI zugrundeliegende Mathematik nicht. Ich kann mich so dumpf entsinnen, dass die auf Tensorrechnung beruhen. Tensorrechnung ist so etwas wie Skalar- und Matrizenrechnung, nur eben nicht 1- oder 2-dimensional, sondern n-dimensional, n im Prinzip beliebig. Und sowas steigt heftig. Multipliziert mal zwei Matrizen. Jedes mit jedem und aufsummieren. Was, wenn die Matrix doppelt so groß ist?

Na?

Gar nicht so einfach. Bei quadratischen Matrizen der Größe n gibt es n² Objekte/Elemente. Damit steigt die Zahl der Elemente eben quadratisch mit der Vergrößerung, aber für jedes Element müssen bei der Multiplikation auch wieder n Produkte gebildet und summiert werden. Der Aufwand für jedes Element des Ergebnisses wächst wieder linear. Insgesamt also kubisch, mit der dritten Potenz.

Und das dürfte der KI so ziemlich in die Suppe spucken.

Die ist noch nicht gut genug für ernsthafte Zwecke. Sie würde besser, wenn man mehr Daten verarbeiten kann, aber das wird überlinear teuer. Das wird sogar verdammt viel teurer.

Möglicherweise ist das sogar der Grund, warum unser Gehirn so groß ist, wie es ist. Möglicherweise kann es nicht weiter wachsen, weil die Zahl der zu vernetzenden Neuronen sich irgendwann nicht mehr rentiert.

Wisst Ihr, woran mich das erinnert?

An meine Diplomarbeit.

Ich hatte damals einen Rechner aus Transputern gebaut, die sich nach einem bestimmten mathematischen Verfahren ständig und zyklisch neu vernetzen, eine Art Betriebssystem dafür geschrieben und betrachtet, wieviel es bringt.

Und darin hatte ich eine Rechnung angestellt, wonach es keine Algorithmen gibt, die beliebig parallelisierbar sind, sondern es für jeden Algorithmus eine zwar sehr weite und eher theoretische, aber doch obere Schranke gibt.

Stellt Euch vor, am Punkt x im dreidimensionalen Raum entstehe zu einem Zeitpunkt ein Problem, eine Rechenaufgabe. Und der Raum sei unendlich weit mit parallelisierten Computern gefüllt, die wir alle, unendlich viele, benutzen könnten. Stellt Euch vor, jeder Computer sei ein kleiner Würfel, und die in allen drei Dimensionen in beide Richtungen unendlich weit gefüllt. Und wir sitzen am Nullpunkt und stellen eine Aufgabe.

Dann dehnt sich die Nachricht von der Aufgabe, die wir aussenden, maximal mit Lichtgeschwindigkeit aus. Um uns herum entsteht also eine Art Kugel, deren Radius mit Lichtgeschwindigkeit wächst. Und nur die Computer, die sich innerhalb dieser Kugel befinden, können überhaupt von unserer Rechenaufgabe wissen und daran rechnen. Die Zahl der beteiligten Computer steigt also kubisch mit der Zeit, obwohl wir unendlich viele Computer zur Verfügung haben. Und jeder Computer braucht noch einmal dieselbe Zeit, die er brauchte, um von der Aufgabe zu erfahren, um das Ergebnis zurückzusenden.

Was heißt das?

Irgendwann eben tritt der Zustand auf, dass wir genug Rechenergebnisse haben, dass wir die Aufgabe als gelöst betrachten. Also nach einer Zeit t.

Damit können nur maximal so viele Computer beteiligt gewesen sein, wie in die Kugel mit dem Radius t/2 * Lichtgeschwindigkeit passen, weil die Botschaft von der Aufgabe ja zum Rechner hin- und von dort auch wieder zu uns zurückgekommen sein müssen.

Und damit ist die Zahl der Computer, die an der Rechenaufgabe beteiligt sind, nach oben begrenzt, weil es nichts mehr bringt, wenn noch mehr Computer teilnehmen, weil deren Antworten alle zu spät kommen. Natürlich könnte man das verlangsamen und einfach mehr Computer mitrechnen lassen, aber es würde nicht mehr schneller werden, sondern langsamer.

Das ist jetzt mit Lichtgeschwindigkeit sehr theoretisch, aber wenn man weitaus geringere Übertragungsgeschwindigkeiten wie Ethernet hat, kann einem das schon den Tag verderben, kann diese Schranke relevant werden.

Jede Parallelisierung stößt an physikalischen Grenzen, die durch die Kommunikationsgeschwindigkeit und das Rechnervolumen vorgegeben werden. Wobei in der Realität die Kabel ja auch nicht unendlich lang sind, sondern noch Switche, Betriebssysteme usw. bremsen.

Und damit könnte es gut sein, dass der ganze KI-Hype in vielerlei Hinsicht bereits an seine Grenzen stößt, die durch die heute verfügbare Computer- und Kommunikationstechnik vorgegeben sind.

Dazu kommt, dass die Energie endlich ist.

Das menschliche Gehirn hat 86 Milliarden Nervenzellen. Eine interessante Frage ob eine vollständige Zustandsbeschreibung des Gehirns auf eine Festplatte passte.

Man weiß nicht, wieviele Computer es auf der Welt gibt, man geht von einigen Milliarden aus (je nachdem, was man alles mit einrechnet, wie Armbanduhren usw).

Nun kann ein Computer zwar auch viele, Tausende, vielleicht Millionen von Nervenzellen simulieren, und nur ein kleiner Teil des Gehirns dient tatsächlich Gedächtnis und rationalem Denken. Aber um jedem Benutzer eine KI-Leistung zur Verfügung zu stellen, die einem menschlichen Gehirn entspricht oder dieses sogar übertrifft, könnte womöglich weit mehr Computer nötig sein, als es überhaupt gibt.

Und letzlich ist die Rechenleistung auch nach oben beschränkt, sofern man die gesamte trockene Erdoberfläche mit Kraftwerken und Rechenzentren vollstellt.

Also gut möglich, dass die KI-Blase sehr bald an ihre Grenzen kommt – oder sie wirtschaftlich schon erreicht oder überschritten hat.