Zwischen Forschung und gelebter Realität gibt es ein spekulatives Substrat mit Gedankenexperimenten, auf dem man dann seine Kreativität ausleben kann, und dabei entscheidet sich dann, in welche Richtung man forschen will.
Bei der KI-Forschung gibt es eine Disziplin, die sich mit ethischer KI befasst, aber die ist hauptsächlich Wokeness-Feigenblatt. Eine andere Unterdisziplin geht da düsterer heran und sagt: Nehmen wir mal an, eines Tages baut jemand eine echte künstliche Intelligenz. Nicht nur eine glorifizierte Datenbank mit Gewichten an ihren Records. Eine echte künstliche Intelligenz, die dann ihre Intelligenz darauf anwenden kann, sich selbst zu verbessern, und die uns dann uneinholbar überlegen ist.
Die Experten sind sich nach Lektüre der einschlägigen Scifi-Literatur einig, dass so ein KI Overlord uns alle umbringen wird, weil wir ohne Not den Planeten kaputtmachen und uns sinnlos mit Atomwaffen aufgerüstet haben.
Bei dem wie immer großartigen Scott Alexander gab es jetzt eine Zusammenfassung einer Debatte [0] aus dem Gebiet. Ich fasse mal die Zusammenfassung zusammen.
Der erste vorgeschlagene Lösungsansatz ist: Na dann bauen wir halt keine echte KI. Das funktioniert offensichtlich nicht, denn wir können ja nicht mal die Entwicklung von Landminen und Biowaffen verhindern.
Der nächste Ansatz war: OK, dann bauen wir halt nur "limitierte" KIs. Ein Schachcomputer kann nur über Probleme überhaupt nachdenken, die wie ein Schachproblem aussehen. Schachcomputer haben aber gezeigt, dass die "KI" (keine echte KI!) bei ihnen eine Superintelligenz werden kann, also schlauer als Menschen sein kann, ohne dass unsere Spezies dadurch in Gefahr ist.
Wenn man sich also auf solche "KIs" beschränken würde, dann hätte man das Problem vielleicht gar nicht. Der Ansatz sieht erstmal ganz gut aus, aber so richtig überzeugend ist das halt nicht. Denn wenn du über Superintelligenzen spekulierst, bist du halt schnell bei "Gottes Wege sind unergründlich", denn du musst davon ausgehen, dass die Superintelligenz Dinge tut, die du nicht verstehst, die aber schlauer sind als was du getan hättest. Daraus folgt im Grunde auch, dass du eine Superintelligenz nicht von einer doofen Intelligenz unterscheiden kannst, denn was sie tut erscheint nicht schlau für dich, denn du verstehst es nicht. Du könntest abwarten und beobachten, aber zu dem Zeitpunkt, an dem du erkennst, dass das eine Superintelligenz war, die uns alle umbringen will, ist es dann halt zu spät.
Also war der nächste Lösungsansatz, dass man eine limitierte Superintelligenz-KI damit beauftragt, eine Lösung zu finden. Man könnte die Lösung auch schon vorgeben. Das diskutierte Szenario aus Anschaulichkeitsgründen war, dass die selbstreplizierende KI Nanoroboter bauen soll, die auf einen Schlag alle GPUs auf der Welt zerstören. Grund: Die KI-Berechnungen finden größtenteils auf GPUs statt. Es geht dabei nicht um die Frage, ob das schlau ist, alle GPUs kaputtzumachen, sondern das ist bloß ein Beispiel für eine "pivotal action", also eine Art Abschreckungs-Superwaffe.