Aaaaaaaaaaaaand...

it's gone.

>>162726
Am diesjährigen Europäischen Adipositas-Tag.
(kein Scherz)

>>162742
>Um ehrlich zu sein, die meisten Arbeitgeber in der Computerey wollen wissen, ob man den Klopilot für den Kot benutzen kann, und nicht, ob man denen was trainieren kann, eben weil die Arbeitgeber selbst nur Kram von der Stange benutzen und die Manager-Schicht den HR-Leuten nun "Effizienz!!1" (Bewerber muss KI-Tools zum Kotieren benutzen) verordnet haben
Und dann hinterher wundern über den Vendor-Lock-In, wenn die Melkphase beginnt (kommt jedes mal völlig überraschend!), weil die Unternehmen keinen einzigen Entwicker mehr haben, der noch selbst Code schreiben kann, sondern nur noch den defekten Copilot-Ranzkot einchecken. Dank Klopilot kann ein einziger Entwickler jetzt noch schneller Scheißkot aufhäufen. Der Scheißeturm muss unaufhaltsam und immer schneller wachsen! Merkt aber auch keiner den Unterschied zu vorher, weil die Weichware ja vorher auch schon ranziger, aufgeblasener Schrott war, gebaut auf den Schultern von Gigantenaufeinandergetürmten Kadavern von Schrottframeworks, die mal vor ein paar Jahren für eine Woche hip waren. Der Anwender kennt es ja auch nicht anders, er ist das ja gewohnt, er denkt, das muss so. Softwarefehler, da kann man nichts machen. Das ist halt höhere Gewalt. Wie das Wetter oder so.

Ach, ich hab einfach keine Lust mehr. Hätte lieber Klempner werden sollen, die haben mit weniger Scheiße zu tun.

>>162741
>Haben Sie Erfahrung mit KI?
<[x] Ja.
Habe den gegnerischen Sammler in Kommander Konker durch gezielten Mauerbau von einer Rückkehr zur gegnerischen Basis abgehalten.

Um ehrlich zu sein, die meisten Arbeitgeber in der Computerey wollen wissen, ob man den Klopilot für den Kot benutzen kann, und nicht, ob man denen was trainieren kann, eben weil die Arbeitgeber selbst nur Kram von der Stange benutzen und die Manager-Schicht den HR-Leuten nun "Effizienz!!1" (Bewerber muss KI-Tools zum Kotieren benutzen) verordnet haben. Lebenslauf-Optimiererey war für Felix auch nie eine wirkliche Motivation.

>>162740
Eigentlich sind wir einer Meinung. Felix mag KI auch nicht, weil es Pay-to-Win ist. Nur große Player haben eine Chance, da mitzumischen. Bei herkömmlicher Software war es anders, da gab es kaum Einstiegshürden und auch ein kleiner Indie-Entwickler konnte alleine in seinem Schlafzimmer etwas innovatives entwickeln und damit sehr erfolgreich werden. Zumindest in einem gewissen Zeitraum war es so.

Das Problem ist aber einfach, dass wir jetzt in einer Zeitlinie leben, in der "Haben Sie Erfahrung mit KI?" Einstellungskriterium sein wird. Ob es Sinn macht oder nicht.

Felix würden aber unabhängig davon schon ein paar Bereiche einfallen, in denen das Wissen nützlich wäre. Natürlich geht es hier nicht darum, das nächste große LLM zu trainieren.

>>162737
>Einfach nur eine magische Blackbox auszuführen, die irgendwo mit unbekannter und wahrscheinlich fragwürdiger Methodik vom Himmel gefallen ist, reizt Felix aber nicht. Dadurch erlangt man kein Wissen oder Verständnis.
Und wie soll man durch das fehlerminimierende Berechnen von Gewichten irgendein "Wissen" über die Problemdomäne erlangen? Die Vorgehensweise "wir extrahieren auf klevere Art einige Features, und lassen die dann durch NN bewerten" ist schon seit >10 Jahren auf dem Abstellgleis. Stattdessen wird der Datenberg reingeschmissen und an den Hyperparametern rumgerührt, bis was Anständiges rauskommt. Aber wo ist da das "Verständnis" über das Problem? "Erklärbar" ist am Endergebnis nichts.

Am Ende gewinnt einfach nur der mit mehr Daten und mehr Compute. Verständnis gibt es seit der Abkehr von Featuren nicht mehr.

>>162739
Waifu2x hat ja auch nur 552.480 Parameter, Nemotron 120.000.000.000 Parameter.
Ich kann auch sagen "ich habe ein 2x2 NN trainiert, es geht also doch!!1" und am Ende ist es halt scheiße, genauso wie Waifu2x nicht gegen Topaz etc. anstinken an.

Du kannst ja mal deine Liste auf die Dinge zusammendampfen, bei denen du realistisch sagen würdest, dass dein Projekt besser als andere sein kann.

Mit "wir haben NN auch zu Hause" kommt man gegen Kommerzielle nicht angestunken, welche darüber hinaus auch ihr Modell auf Daten trainiert haben, auf die man niemals Zugriff hätte (sei es wegen schieren Masse an Daten, wegen Kooperationen oder weil einfach auf Urheberrecht geschissen wurde). Weswegen Felix auch wenig Interesse am selber trainieren hat, weil von Anfang an feststeht, dass es nichts ersetzen kann, was Felix gerade benutzt, und damit die Motivation bei 0 liegt.

Das hört sich jetzt vielleicht hart an, ist aber Felixens realistische Einschätzung (auch bzgl. Motivation).

Auch: Waifu2x wurde doch auch von irgendeinem Weeb in seinem Keller trainiert und das war vor 10 Jahren. Glaube kaum, dass der dafür ein ganzes KI-Rechenzentrum angemietet hat. Es muss also gehen.

>>162735
>Deine Auflistung enthält eigentlich überall hauptsächlich Trainieren. Das braucht um Größenordnungen mehr Leistung als das Inferenzieren.
Sicher. Deswegen ja auch GPU und die Frage. Früher™ haben wir™ neuronale Netze sogar noch auf CPUs trainiert. Die waren halt scheiße, aber für ziemlich krudes OCR hat es sogar noch gereicht. Felix hat auch in der jüngeren Vergangenheit schon mal mit Tensorflow etwas auf der CPU trainiert (war ein Offene-Soße-Projekt), mangels adäquater Grafikkarte. Hat ca. eine Stunde gedauert. Mit GPU wäre es wahrscheinlich schneller gegangen, aber war auch so machbar.

Der absolute Aufwand hängt ja auch davon ab, wie komplex das Problem ist und wie komplex das Modell. Denke, einige von Felix' Beispielen sind nicht so wahnsinnig komplex. Felix kann es aber mangels Erfahrung schwer einschätzen. Genau diese Erfahrung will Felix ja sammeln.

>Felix möcht dazu anmerken, dass das gesamte aktuelle Gehampel mit lokalem Hostieren eigentlich nur die Inferenzierung betrifft, kaum einer will eigene Modelle trainieren.
Einfach nur eine magische Blackbox auszuführen, die irgendwo mit unbekannter und wahrscheinlich fragwürdiger Methodik vom Himmel gefallen ist, reizt Felix aber nicht. Dadurch erlangt man kein Wissen oder Verständnis. Das ist so ähnlich wie zu glauben, "Digital Natives" wären technikkompetenter, weil sie mit iPhones aufgewachsen sind.

>>162735
>Das klappt bei diesem Felix nicht, wenn er nicht damit auch ein praktisches Problem löst, das bei Felix gerade tatsächlich vorliegt.
Geht diesem Felix im Grunde ähnlich.

>Besonders beliebt sind daher bei Felix Projekte nach dem Motto "etwas Bestehendes, das man selbst verwendet, durch etwas Eigenes, das besser zugeschnitten ist, ersetzen". Da gibt es dann auch Langzeitmotivation.
Also bei diesem Felix sind gerade das die Dinger, die niemals fertig werden. Felix hat solche Projekte, die mehrere Jahre in Entwicklung waren und niemals fertig wurden ;_;

>>162731
>>162732
>>162733
Deine Auflistung enthält eigentlich überall hauptsächlich Trainieren. Das braucht um Größenordnungen mehr Leistung als das Inferenzieren.
Felix möcht dazu anmerken, dass das gesamte aktuelle Gehampel mit lokalem Hostieren eigentlich nur die Inferenzierung betrifft, kaum einer will eigene Modelle trainieren.

Praktisch alle deine Anwendungsfälle werden eine andere Struktur des NNs haben (also so etwas wie Transformer, Stabile Diffusion, RNN, CNN, BERT, etc.). Ironischerweise kann dir da eine KI bestimmt besser Auskunft geben als Felix es könnte.

>- KI für Tic-Tac-Toe/4-Gewinnt/Reversi/Schach...
Gar nicht:
>This is like a fight between someone who can time travel and someone who can see the future.
https://www.youtube.com/watch?v=rSCNW1OCk_M
https://www.youtube.com/watch?v=IuDiBYEjOOQ

>Felix lernt eigentlich nur, indem er sich ein Ziel setzt und dann versucht, dieses zu erreichen.
Und da kann Felix sagen: Das klappt bei diesem Felix nicht, wenn er nicht damit auch ein praktisches Problem löst, das bei Felix gerade tatsächlich vorliegt.
Sonst wird das Projekt angefangen und liegt nach 3 Tagen als Karteileiche im Dateisystem.
Besonders beliebt sind daher bei Felix Projekte nach dem Motto "etwas Bestehendes, das man selbst verwendet, durch etwas Eigenes, das besser zugeschnitten ist, ersetzen". Da gibt es dann auch Langzeitmotivation.

>>162732
Upsampling von Bildern (aka "Super-Resolution") hat Felix auch noch vergessen. Gibt es natürlich schon. Könnte aber lehrreich sein, es nachzubauen, und klingt so, als sollte es eigentlich nicht zu kompliziert sein, weil man auch hier wieder das Trainingsmaterial leicht selbst generieren kann.

>>162731
>Im Audiobereich gibt es sicherlich auch einige interessante Anwendungsmöglichkeiten
Was Felix auch schon länger vorschwebt, wäre eine Äpp, die das furchtbare Clipping bei einigen Produktionen aus dem Loudness-War der früher 2000er wekmacht. Dass man die verlorene Information nicht wiederherstellen kann, ist klar, aber man sollte doch zumindest irgendwas plausibles herbeihalluzienieren können, was keinen Ohrenkrebs mehr erzeugt. Auch hier sollte sich die Beschaffung des Trainingsmaterial relativ leicht gestalten, weil man das Clipping einfach selbst zu einer Quelle hinzufügen kann.

>>162730
OP hatte mal vor einiger Zeit testweise ein runterkomprimiertes Modell von ollama auf seiner CPU laufen lassen. Das war sogar halbwegs brauchbar, bei weitem nicht so langsam, wie Felix erwartet hatte. Von daher dachte Felix, mit einer halbwegs vernünftigen GPU müsste das doch noch um Welten besser funktionieren.

>Ein NN um deinen Thermostaten im Heimnetz automatisch einstellen zu lassen? Läuft auf jeder Gurke.
Felix interessiert sich mehr dafür, selbst NNs zu entwickeln und zu trainieren, als bestehende auszuführen (letzteres funktioniert selbst auf der CPU schon ganz gut, zumindest bei Sprachmodellen). Natürlich werden diese von der Komplexität her bei weitem nicht so sein wie die großen Modelle. Es geht da mehr um das Experimentieren und Dazulernen. Man kann ja über die Theorie viel lesen, aber das geht auf der einen Seite rein und auf der anderen wieder raus, wenn man es nicht anwendet.

Anscheinend kann man einige der vortrainierten Modelle auch noch irgendwie nachtrainieren für seinen speziellen Anwendungszweck. Damit hat Felix sich aber bisher noch nicht mit beschäftigt, weil er eh nicht die Hardware dazu hat. Aber das wäre vielleicht auch interessant.

Was Felix sonst damit anstellen würde, weiß er auch noch nicht so genau. Es geht ja mehr ums Lernen. Theoretisch kann man mit "KI" ja so ziemlich jedes Problem lösen, zumindest näherungsweise. Ist halt eine Kanone, die man einfach auf alles so draufballan kann. Manchmal klappt es, manchmal nicht, manchmal klappt es mit mehr Hardware und mehr Trainingsdaten.

Denkbare Übungsprojekte wären sowas wie:
- Die Sprache eines Textes erkennen
- Dateiformate erkennen
- KI für Tic-Tac-Toe/4-Gewinnt/Reversi/Schach...
- Bildgenerierung
- Automatische Erkennung von bestimmten Klassen von Memen, um endlich Ordnung in Felix' unsortierten Lauerordner zu bringen (beispielsweise "Bild enthält Anime", "Bild enthält Frosch-Mem" usw.)
- Im Audiobereich gibt es sicherlich auch einige interessante Anwendungsmöglichkeiten. Z.B. aus einem Mix wieder die einzelnen Tonspuren extrahieren (für sowas gibt es bereits KI-basierte Apps, die recht gut funktionieren, geht also). Das klingt auch so, als müsste es eigentlich relativ leicht zuhause zu trainieren sein, weil man das Trainingsmaterial automatisch selbst generieren kann. Man braucht keine riesige Datenbank.
- Felix hätte für E-Mails wirklich gerne so eine Funktion wie bei GMail, die E-Mails automatisch in Kategorien wie "Werbung", "Benachrichtigungen", "Wichtiges" (und natürlich "Spam") usw. einsortiert. Das scheint auch prädestiniert zu sein für den Einsatz von künstliches neuronalen Netzwerken. Beschaffung ausreichender Mengen an Trainingsmaterial könnte hier aber eine Schwierigkeit darstellen.
- Felix versteht immer noch nicht richtig, was "unsupervised learning" ist. Das würde Felix gerne mal an irgendeinem konkreten Beispiel verstehen lernen.

Felix lernt eigentlich nur, indem er sich ein Ziel setzt und dann versucht, dieses zu erreichen. Einfach nur trockenes Bücherwissen anzulesen funktioniert nicht. Da bleibt nichts hängen.

Eine GPU-Instanz in der Wolke zu mieten ist eine Option, über die Felix auch schon nachgedacht hat. Aber Felix hat keinen Bock, wenn irgendein Problem auftritt (was natürlich passieren wird), bei der Fehlersuche auch noch die ganze Zeit im Hinterkopf zu haben, was ihn das pro Minute kostet, abgesehen von seiner Zeit und seiner Geduld. Zudem sind solche Instanzen bei den Anbietern oft komplett ausgebucht.

>Wie viel muss man für eine GPU, die KI-Aufgaben gewachsen ist, ausgeben? Felix braucht nicht das Allerschnellste, es sollte nur brauchbar sein, um kleinere Modelle zu trainieren, oder um Modelle auszuführen.
Kommt darauf an, was du machen willst.

Ein NN um deinen Thermostaten im Heimnetz automatisch einstellen zu lassen? Läuft auf jeder Gurke.

Ein NN für Kotgenerierung? Da ist das erste Problem, dass die besten Modelle proprietär sind und daher die Gewichte unter Verschluss gehalten werden, und das zweite Problem, dass man unter 96 GiB VRAM gar nicht erst anfangen muss.

Felix hat mal das Nemotron-3-Super-120B-A12B-Modell in der Wolke getestet, und das war deutlich schlechter als Claude Opus. Und um das Nemotron-Modell auszuführen braucht mal schon mindestens 96 GiB VRAM, wenn man auf 4-Bit-Quantisierung geht, und gleichzeitig noch etwas VRAM für das Kontext-Fenster übrig haben will, was dann 3x Intel Arc Pro B70 bedeuten würde. Also 3.750 Euro für ein Sprachmodell, bei dem die Hälfte der Ausgabe dann gammelig ist. Man kann einfach nicht mit dem 22-Euro/Monat-Preis zum Anfixen vom Anthropik-Opiod-Händler mithalten.

Bald is Jahrestag, uff.

WOLLT IHR DEN TOTALEN MLG?

^Kack-Pisse in meine Arsch-Votze