Die AI Bros lügen ja seit Jahren herum, dass sich die Balken biegen, wie geil ihre neuen Modelle sind, und was man da alles für tolle Benchmarks mit lösen kann (wenn die Fragen Teil des Trainingscorpus waren), und so weiter.
Aber es gibt ja auch andere AI Bros. Nennen wir sie mal AI Bros 2. Ordnung. Die haben all das Kool-Aid getrunken und haben Firmen gegründet, die mit "KI" Dinge tun wollen. Deren Geschäftsmodell basiert darauf, den AI Bros 1. Ordnung zu glauben, dass "KI" immer besser wird, und kurz bevorstehend besser als Menschen in praktisch allen Aufgaben sein wird.
Die fallen gerade alle der Reihe nach auf die Fresse. Hier trocknet ein Betroffener seine kognitive Dissonanz öffentlich in der Sonne [0]. Mein Highlight in dem Artikel:
>The AI lab companies are lying, and when they improve benchmark results it's because they have seen the answers before and are writing them down. In a sense this would be the most fortunate answer, because it would imply that we're not actually that bad at measuring AGI performance; we're just facing human-initiated fraud. Fraud is a problem with people and not an indication of underlying technical difficulties.
Ja das ist schon Scheiße, wenn du dein Geschäftsmodell auf den Lügen von Betrügern aufgebaut hast, und dir die Fakten und Messungen dabei im Weg stehen, deren Aussagen glauben zu können.
Er erzählt, wie er lange überlegt hat, ob er das überhaupt öffentlich diskutieren soll. Könnte ja auch sein, dass "KI" großartig ist, aber wir hier sind bloß zu doof, die richtig anzuwenden!1!!
Mich erinnert seine Situation an eine Ehefrau, die von ihrem Mann verprügelt wird, und die Schuld erst mal bei sich selbst sucht.
Dann überlegt er ein bisschen herum, wie das sein kann, dass die ganzen LLMs in Benchmarks der Hersteller immer besser werden, aber in seiner gelebten Praxis nicht.
Er meint dann, naja, diese ganzen Tests, mit denen man "KI" und Menschen prüft, die gehen halt davon aus, dass niemand für genau diesen Test die Antworten auswendig gelernt hat. Bei IQ-Tests trifft das normalerweise auch zu, aber natürlich kann man auch ohne hohen IQ lernen, wie man bei IQ-Tests gute Ergebnisse liefert. Und die LLMs werden halt mit allen verfügbaren Daten gefüttert, da sind fast zwangsläufig auch die Fragen und Antworten aus diesen ganzen Tests dabei.
Interessanterweise ist das Startup, das der Typ da betreibt, eine Security-Klitsche, die mit LLMs Sicherheitslücken in Quellcode finden will. Also genau das, was ich ohne LLMs beruflich mache. Daher habe ich das auch überhaupt gelesen, das Essay. Die Visionäre haben sich da alle so ein Star-Trek-Szenario vorgestellt. "Computer, finde alle Bugs in dieser Software!"
Am Ende funktioniert das alles natürlich gar nicht, weil die AI Bros alle gelogen haben, dass ihre jeweilige Scheiße nicht stinkt und eines Tages alle Probleme lösen wird.
Ich habe noch nie Mitleid mit Leuten gehabt, die in "Abkürzungen" zu investieren versuchen, anstatt in Kompetenz und Wissen zu investieren, und dann am Ende ihr Geld verbrannt haben und nicht mal was dazugelernt haben dabei.
[0] https://www.lesswrong.com/posts/4mvphwx5pdsZLMmpY/recent-ai-model-progress-feels-mostly-like-bullshit
https://blog.fefe.de/?ts=990d5c5f