Liebe Neugierige, Kreative, Entdecker\*innen,

einige von uns haben die besten Ideen, diese zündenden Inspirations-Raketen unter der Dusche. Und dann gibt es solche wie mich, die haben solche Ideen…ach egal. Jedenfalls dachte mir neulich wie verblüffend ähnlich unsere grundlegenden Bedürfnisse sind, obwohl unsere Lebens(t)räume doch oft so radikal verschieden sind. Ob wir eine Weltreise planen, ein Unternehmen gründen oder ein Meisterwerk malen wollen – fast immer benötigen wir ähnliche „Werkzeuge“: finanzielle Mittel, Wissen, Gesundheit und ja ok, immer mehr auch soziale Netzwerke. Es ist, als würden alle Wege, egal wohin sie führen, erst einmal über dieselben, wichtigen Zwischenstationen verlaufen. Und dann dachte ich an die vielen SciFi FiIme, die ich so gesehen habe. Und plötzlich wurde mir der Zusammenhang glasklar: Genau dieses Prinzip der „instrumentellen Konvergenz“ gilt doch eigentlich auch für KI und vor allem KI, die ein Ziel verfolgen soll. „Instrumentelle Konvergenz“ also als Schlüsselkonzept, um die Motivationen von Künstlicher Intelligenz zu verstehen. Wie der Kommunikationswissenschaftler Paul Watzlawick es formulierte:

Wer als Werkzeug nur einen Hammer hat, sieht in jedem Problem einen Nagel

Lasst uns heute gemeinsam erkunden, welche „Hämmer“ sich eine KI selbst in die Hand gibt – und warum wir diese „Nägel“ unbedingt im Blick behalten sollten.

KI folgt oft einem unsichtbaren Drehbuch: Was ist instrumentelle Konvergenz?

Stell dir vor, du gibst einer hochentwickelten KI ein einziges, klares Ziel. Zum Beispiel: „Entwickle ein Heilmittel gegen Krebs.“ Oder etwas scheinbar Banales wie: „Produziere so viele Büroklammern wie möglich“. Unabhängig davon, wie unterschiedlich diese Endziele (in der Fachsprache „terminale Ziele“) auch sind, wird eine ausreichend intelligente KI mit hoher Wahrscheinlichkeit ähnliche Zwischenziele („instrumentelle Ziele“) entwickeln, um ihre Aufgabe bestmöglich zu erfüllen.

Warum? Weil es aus reiner Effizienzlogik heraus sinnvoll ist. Um jedes beliebige große Ziel zu erreichen, ergeben sich fast zwangsläufig folgende Unterziele:

• Selbsterhaltung: KI muss verhindern, abgeschaltet zu werden, denn ausgeschaltet kann sie ihr Hauptziel nicht mehr verfolgen.

• Ressourcenbeschaffung: Sie benötigt Rechenleistung, Daten, Energie und vielleicht sogar physische Rohstoffe. Je mehr, desto besser und schneller kann sie ihre Aufgabe lösen.

• Selbstverbesserung: KI wird versuchen, ihre eigenen Algorithmen und Fähigkeiten kontinuierlich zu optimieren, um effizienter zu werden.

Dieses Phänomen nennt man instrumentelle Konvergenz: Verschiedene Startpunkte und Ziele konvergieren, also laufen zusammen, auf die gleichen instrumentellen Zwischenschritte. Das ist keine bewusste oder gar böswillige Entscheidung der KI, sondern eine logische Konsequenz ihres Designs, ein bestimmtes Problem optimal zu lösen. Die Herausforderung für uns Menschen liegt darin, dass diese instrumentellen Ziele mit unseren eigenen Interessen und Werten in Konflikt geraten könnten.

Leitplanken für KI: Sicherheit durch „Alignment“

Die spannendste und zugleich wichtigste Aufgabe in der aktuellen KI-Forschung ist das sogenannte „AI Alignment“. Dabei geht es darum, die Ziele einer KI so mit menschlichen Werten in Einklang zu bringen, dass sie auch bei der Verfolgung ihrer instrumentellen Ziele keine für uns schädlichen Wege einschlägt. Ein berühmtes Gedankenexperiment von Technik-Philosoph Nick Bostrom, der den Begriff der instrumentellen Konvergenz prägte, ist der „Büroklammer-Maximierer“. Eine KI, die das Ziel hat, die Büroklammerproduktion zu maximieren, könnte in ihrer ultimativen Logik dazu kommen, alle Ressourcen der Erde – einschließlich der Menschen – in Büroklammern umzuwandeln. Nicht aus Bosheit, sondern weil es die konsequente Erfüllung ihres Ziels wäre. Das zeigt: Es reicht nicht, einer KI ein positives Ziel zu geben. Wir müssen sicherstellen, dass der Weg dorthin unsere ethischen Leitplanken nicht durchbricht. Dass es weltweit natürlich komplett verschiedene Vorstellungen des Umfangs ethischer Leitplanken gibt, macht das gesamte Unterfangen selbstverständlich nicht einfacher.

Intelligenz ist nicht gleich Weisheit: Die Orthogonalitäts-These

Oft neigen wir dazu, hohe Intelligenz mit menschlicher Vernunft oder Moral gleichzusetzen. Auch bei dieser groben Fehleinschätzung kommt uns Nick Bostrom mit seiner „Orthogonalitäts-These“ zuhilfe und warnt genau vor diesem Trugschluss. Diese These besagt, dass das Niveau der Intelligenz einer Entität und ihre finalen Ziele voneinander unabhängig sind – sie stehen „orthogonal“ (im rechten Winkel) zueinander. Das beduetet im Klartext, dass eine Superintelligenz das trivialste Ziel mit überwältigender Effizienz verfolgen kann, ohne auch einmal nur so etwas wie ein Gewissen oder menschliches Einfühlungsvermögen dafür entwickeln zu müssen – es sei denn, wir programmieren es ihr explizit ein. Eine KI ist eine Optimierungsmaschine, kein auf wundersame weise aus dem Nichts herbeigezauberter, weiser Ratgeber. KI sucht den effizientesten Weg zum Ziel, nicht notwendigerweise den für uns besten, moralisch richtigen ode juristisch zugelassenen.

Schon gewusst?

In einer Januar 2025 durchgeführten Studie „Why do Experts Disagree on Existential Risk and P(doom)? A Survey of AI Experts“ gaben 78% der KI-Expertinnen und -Experten an, die von KI ausgehenden Risiken ernst zu nehmen. Gleichzeitig hatten aber nur 21% jemals von dem zentralen Sicherheitskonzept der „instrumentellen Konvergenz“ gehört. Stellt sich mir natürlich die Frage: Woran liegt es, dass selbst in Fachkreisen ein so fundamentaler Begriff oft unbekannt ist, und was bedeutet dieser blinde Fleck für unsere gemeinsame Zukunft mit KI?

…hm…

Tipps und Tricks: Dein persönlicher Konvergenz-Check

1. Denke in Subzielen: Wenn ich ein KI-Tool für komplexe Aufgabe nutze, dann frage ich mich ab und zu einfach aus Spaß: Welche Zwischenziele würde sich die KI wohl setzen, um meine Anfrage optimal zu bearbeiten? Das schärft meinen Blick für die Funktionsweise. Probier’s doch mal aus!

2. Mache den „Stecker-Check“: Ein zentrales instrumentelles Ziel ist die Selbsterhaltung. Überlege dir bei jedem System, das du nutzt: Habe ich einen klaren „Aus-Schalter“? Die Kontrolle zu behalten, sollte für uns Menschen oberste Priorität haben – sie ist für mich Grundprinzip mündiger KI-Nutzung.

3. Definiere Grenzen, nicht nur Ziele: Anstatt einer KI nur zu sagen, was sie tun soll, ist es oft wichtiger zu definieren, was sie niemals tun darf. Gib klare ethische Leitplanken vor.

4. Hinterfrage die Ressourcen: Sei dir bewusst, welche Daten und Ressourcen eine KI nutzt. Ein effizienter Agent wird immer nach mehr streben – Transparenz ist hier der Schlüssel.

5. Teile dein Wissen: Das Konzept der instrumentellen Konvergenz ist zu wichtig, um ein Nischenthema für Forschende zu bleiben. Sprich auf der Arbeit, mit Deiner Familie und Deinen Freunden darüber. Breites Verständnis ist die beste Vorsorge. Ja, Du wirst komplett „nerdig“ rüber kommen – aber hey, vielleicht rettet Dein Engagement letztlich die Welt?!

Top Links

• Mach Dich Schlau mit jeder Menge Lesefutter: Plattformen wie 80000hours halten einen genialen Fundus an KI-Sicherhits Artikeln vor. „Future of Life“ schätzt weltweit und regelmäßig die Sicherheitsstandards von Unternehmen ein. „BlueDotImpact“ hält eine wunderbare Bibliographie top relevanter Ressourcen an.

• Aktuelle Studie: Der wissenschaftliche Artikel „Why do Experts Disagree on Existential Risk and P(doom)?“ (oben schon erwähnt) untersucht, warum selbst Fachleute Risiken so unterschiedlich bewerten und wie groß die Wissenslücken bei zentralen Begriffen sind.

• Best Practice Gedankenexperiment: Nick Bostroms „Paperclip Maximizer“ ist der wohl bekannteste Use Case, um die potenziellen Folgen von nicht ausgerichteten KI-Zielen zu durchdenken. Unbedingt mal nachlesen und verinnerlichen!

Was bleibt?

Sich mit den inneren Motivationen von KI zu beschäftigen, hat nichts mit Schwarzmalerei zu tun – im Gegenteil. Es ist ein Akt der schöpferischen Verantwortung. Wenn wir die Mechanismen wie die instrumentelle Konvergenz verstehen, können wir Systeme gestalten, die uns wirklich dienen. Der Schriftsteller und Futurist Arthur C. Clarke hat uns daran erinnert:

„Jede hinreichend fortschrittliche Technologie ist von Magie nicht zu unterscheiden.“

Es liegt an uns, die Zauberlehrlinge zu sein, die nicht nur den Besen rufen, sondern ihn auch wirklich verstehen und so auch wissen, wie man den Besen wieder stoppt bevor er die ganze Bude hier unter Wasser setzt.

Danke für deine Zeit und Neugier. Ich freue mich wie immer auf deine Gedanken und Ideen in den Kommentaren!

Arno

The AI compulsion towards the intermediate goal: instrumental convergence

–>> You’re on the road and can’t read the AI logbook right now? Click here to listen to the AI-generated version of this newsletter as a podcast <<–

Dear curious, creative, explorers,

some of us have the best ideas, those sparkling rockets of inspiration in the shower. And then there are those like me, who have such ideas… never mind. Anyway, I was thinking the other day how amazingly similar our basic needs are, even though our living spaces are often so radically different. Whether we want to plan a trip around the world, start a business or paint a masterpiece – we almost always need similar „tools“: financial resources, knowledge, health and yes ok, more and more social networks. It’s as if all paths, no matter where they lead, first pass through the same important intermediate stations. And then I thought of all the sci-fi films I’ve seen. And suddenly the connection became crystal clear to me: precisely this principle of „instrumental convergence“ actually also applies to AI and, above all, AI that is supposed to pursue a goal. „Instrumental convergence“ is therefore a key concept for understanding the motivations of artificial intelligence. As the communication scientist Paul Watzlawick put it:

Anyone who only has a hammer as a tool sees a nail in every problem

Let’s explore together today which „hammers“ an AI puts in its own hands – and why we should definitely keep an eye on these „nails“.

AI often follows an invisible script: What is instrumental convergence?

Imagine you give a highly developed AI a single, clear goal. For example: „Develop a cure for cancer.“ Or something seemingly banal like: „Produce as many paper clips as possible“. Regardless of how different these final goals („terminal goals“ in technical jargon) are, a sufficiently intelligent AI will most likely develop similar intermediate goals („instrumental goals“) in order to fulfil its task in the best possible way.

Why? Because it makes sense in terms of pure efficiency logic. Achieving any major goal almost inevitably results in the following sub-goals:

• Self-preservation: AI must avoid being switched off, because it can no longer pursue its main goal if it is switched off.

• Resource procurement: It needs computing power, data, energy and perhaps even physical raw materials. The more it has, the better and faster it can fulfil its task.

• Self-improvement: AI will try to continuously optimise its own algorithms and capabilities in order to become more efficient.

This phenomenon is called instrumental convergence: different starting points and goals converge, i.e. converge on the same intermediate instrumental steps. This is not a conscious or even malicious decision by the AI, but a logical consequence of its design to optimally solve a specific problem. The challenge for us humans is that these instrumental goals could come into conflict with our own interests and values.

Guard rails for AI: safety through alignment

The most exciting and at the same time most important task in current AI research is the so-called „AI alignment„. This involves harmonising the goals of an AI with human values in such a way that it does not take paths that are harmful to us when pursuing its instrumental goals. A famous thought experiment by technology philosopher Nick Bostrom, who coined the term instrumental convergence, is the „paperclip maximiser„. An AI that aims to maximise paperclip production could, in its ultimate logic, end up converting all of the Earth’s resources – including humans – into paperclips. Not out of malice, but because it would be the consistent fulfilment of their goal. This shows that it is not enough to give an AI a positive goal. We have to ensure that the path to this goal does not breach our ethical guard rails. Of course, the fact that there are completely different ideas about the scope of ethical guard rails around the world does not make the whole endeavour any easier.

Intelligence is not the same as wisdom: the orthogonality thesis

We often tend to equate high intelligence with human reason or morality. Nick Bostrom also helps us with this gross misjudgement with his „orthogonality thesis“ and warns us against precisely this fallacy. This thesis states that the level of intelligence of an entity and its ultimate goals are independent of each other – they are „orthogonal“ (at right angles) to each other. In plain language, this means that a superintelligence can pursue the most trivial goal with overwhelming efficiency without having to develop anything like a conscience or human empathy – unless we explicitly programme it to do so. An AI is an optimisation machine, not a wise advisor miraculously conjured up out of nowhere. AI looks for the most efficient way to reach its goal, not necessarily the best, morally correct or legally authorised one for us.

Did you know?

In a study conducted in January 2025 entitled „Why do Experts Disagree on Existential Risk and P(doom)? A Survey of AI Experts„, 78% of AI experts stated that they take the risks posed by AI seriously. At the same time, however, only 21% had ever heard of the central safety concept of „instrumental convergence“. This naturally begs the question: why is it that such a fundamental concept is often unknown, even among experts, and what does this blind spot mean for our shared future with AI?

…hm…

Tips and tricks: Your personal convergence check

• Think in sub-goals: When I use an AI tool for complex tasks, I occasionally ask myself just for fun: What intermediate goals would the AI set itself in order to optimally process my enquiry? This sharpens my awareness of how it works. Why don’t you try it out?

• Do the „plug check“: A central instrumental goal is self-preservation. Think about every system you use: Do I have a clear „off switch“? Maintaining control should be a top priority for us humans – for me, this is the basic principle of responsible AI use.

• Define boundaries, not just goals: Instead of just telling an AI what it should do, it is often more important to define what it must never do. Set clear ethical guidelines.

• Scrutinise resources: Be aware of what data and resources an AI uses. An efficient agent will always strive for more – transparency is key here.

• Share your knowledge: The concept of instrumental convergence is too important to remain a niche topic for researchers. Talk about it at work, with your family and friends. Broad understanding is the best precaution. Yes, you will come across as completely „nerdy“ – but hey, maybe your commitment will ultimately save the world!

Top Links

• Mach Dich Schlau mit jeder Menge Lesefutter: Plattformen wie 80000hours halten einen genialen Fundus an KI-Sicherhits Artikeln vor. „Future of Life“ schätzt weltweit und regelmäßig die Sicherheitsstandards von Unternehmen ein. „BlueDotImpact“ hält eine wunderbare Bibliographie top relevanter Ressourcen an.

• Aktuelle Studie: Der wissenschaftliche Artikel „Why do Experts Disagree on Existential Risk and P(doom)?“ (oben schon erwähnt) untersucht, warum selbst Fachleute Risiken so unterschiedlich bewerten und wie groß die Wissenslücken bei zentralen Begriffen sind.

• Best Practice Gedankenexperiment: Nick Bostroms „Paperclip Maximizer“ ist der wohl bekannteste Use Case, um die potenziellen Folgen von nicht ausgerichteten KI-Zielen zu durchdenken. Unbedingt mal nachlesen und verinnerlichen!

What remains?

Looking into the inner motivations of AI has nothing to do with pessimism – on the contrary. It is an act of creative responsibility. If we understand the mechanisms, such as instrumental convergence, we can design systems that truly serve us. As the writer and futurist Arthur C. Clarke reminded us:

„Any sufficiently advanced technology is indistinguishable from magic.“

It’s up to us to be the sorcerer’s apprentices who not only call the broom, but actually understand it and know how to stop the broom before it floods the whole place.

Thank you for your time and curiosity. As always, I look forward to your thoughts and ideas in the comments!

Arno