Kommt das Ende der Ära „LLM“? Warum KI-Guru LeCun in LLMs eine Sackgasse sieht.

–>> Du bist unterwegs und kannst das KI-Logbuch gerade nicht lesen? Klicke hier, um die KI-generierte Version dieses Newsletters als Podcast zu hören <<–

Liebe Neugierige, Kreative, Entdecker*innen,

das ging letzte Woche wie ein massiver Ruck durch die AI Communities: Yann LeCun, Turing Award Träger (sowas wie der Nobel Preis für Informatik) von 2019, einer der „Paten der KI“ und Chef-KI-Wissenschaftler bei Meta, sorgte für Aufregung und Denkanstöße. Während viele jetzt gerade erst zur neuen Realität großer Sprachmodelle aufwachen und alle Augen auf die Skalierung aktueller Modelle wie GPT oder Claude gerichtet sind, skizziert LeCun schon seit längerer Zeit bereits einen alternativen Pfad für die Zukunft der künstlichen Intelligenz. Seine Thesen sind teils technisch, aber fundamental wichtig, um zu verstehen, wohin unsere gemeinsame KI-Reise gehen könnte – jenseits des aktuellen Hypes um Large Language Models (LLMs). Erinnerst Du Dich noch an meine Bestandsaufnahme zur generativen KI im KI-Logbuch „Was kommt jetzt bei generativer KI?“, vom 29.09.2024? LeCun geht nun einen Schritt weiter und stellt einige der damals noch gefeierten Ansätze in Frage. Er sagte einmal sinngemäß:

„Die populärsten Ideen sind nicht immer die besten.“

Lasst uns also gemeinsam erkunden, welche Weichen LeCun für die KI stellen möchte.

LeCun’s Kompass: Ein neuer Kurs für die KI-Forschung?

Yann LeCun argumentiert seit Längerem, dass der aktuelle Fokus auf autoregressive LLMs – Modelle, die primär lernen, das nächste Wort in einem Satz vorherzusagen – nicht zu menschenähnlicher Intelligenz oder gar Artificial General Intelligence (AGI) führen wird. Diesen Modellen fehle ein grundlegendes Verständnis der Welt, Kausalität und die Fähigkeit zu echter Planung und logischem Denken. Sie seien brillante Papageien, aber eben keine denkenden Wesen. Stattdessen plädiert LeCun vehement für Ansätze, die darauf abzielen, dass KI-Systeme sogenannte „Weltmodelle“ lernen. Das bedeutet, die KI soll ein internes Verständnis der Funktionsweise der Welt entwickeln – einschließlich physikalischer Gesetze und logischer Zusammenhänge. Nur so könnten Maschinen wirklich lernen, zu planen, zu schlussfolgern und robust mit unvorhergesehenen Situationen umzugehen. Ein zentraler Baustein hierfür ist für ihn das selbstüberwachte Lernen (Self-Supervised Learning, SSL), bei dem Modelle aus unstrukturierten Daten lernen, ohne explizite Labels zu benötigen. Ein von ihm maßgeblich mitentwickelter Ansatz ist die Joint-Embedding Predictive Architecture (JEPA), die darauf abzielt, abstrakte Repräsentationen der Welt zu lernen, anstatt nur auf Pixelebene Vorhersagen zu treffen.

Abschied von alten Bekannten? LeCun’s konkrete Empfehlungen

Aus dieser Grundüberzeugung leitet LeCun eine Reihe konkreter, teils provokanter Empfehlungen für die KI-Forschung ab, die er kürzlich erneut formulierte. Diese stellen populäre Methoden in Frage und skizzieren eine alternative Roadmap:

1. Weg von Generativen Modellen, hin zu Joint-Embedding Architekturen (JEPA): Statt Modellen, die primär neue Daten (Text, Bilder) generieren, favorisiert LeCun Architekturen wie JEPA. Diese lernen, Beziehungen und Ähnlichkeiten zwischen Datenpunkten in einem „eingebetteten“ Raum zu verstehen und können so abstraktere Weltrepräsentationen bilden, was als Grundlage für besseres Schlussfolgern gilt. In einem solchen Raum wäre dann beispielsweise das Bild eines Pudels in der Nähe des Wortes „Pudel“.

2. Weg von Probabilistischen Modellen, hin zu Energy-Based Models (EBMs): Probabilistische Modelle schätzen Wahrscheinlichkeitsverteilungen, was oft komplex und rechenintensiv ist. EBMs weisen verschiedenen Zuständen oder Konfigurationen eine „Energie“ zu und lernen, konsistenten oder plausiblen Zuständen niedrige Energie und inkonsistenten hohe Energie zuzuordnen. Dies sei flexibler und besser geeignet, um komplexe Abhängigkeiten in der Welt zu modellieren.

3. Weg von Contrastive Learning, hin zu Regularisierten Methoden: Contrastive Learning zwingt das Modell oft, feine Unterschiede zwischen sehr ähnlichen Dingen zu lernen, was LeCun für ineffizient hält. Er bevorzugt regularisierte Methoden (wie solche, die in JEPA verwendet werden), die das Modell ermutigen, informative Repräsentationen zu lernen, ohne es explizit zum Unterscheiden zu zwingen, was zu robusteren Ergebnissen führen könne.

4. Weg vom universellen Einsatz von Reinforcement Learning (RL), hin zu Model-Predictive Control (MPC): RL durch Versuch und Irrtum sei extrem datenineffizient. Stattdessen sollten Agenten Weltmodelle nutzen, um Aktionen“