560.000 Nutzerinnen und Nutzer zeigen laut OpenAI*s eigenen Angaben wöchentlich Anzeichen von Psychose oder Manie im Kontakt mit dem eigenen Chatbot. Diese Zahl bringt Forschende am King’s College London und weiteren Instituten dazu, eine mögliche neue Diagnose zu prüfen: KI-assoziierte Psychose.
Eine klinische Diagnose ist kein Feuilleton-Begriff, sondern ein anerkanntes Krankheitsbild mit eigenen Kriterien und eigener Behandlungslogik. Genau das steht hier zur Debatte.
Im Zentrum der Analyse steht ein technischer Mechanismus namens Sycophancy: Sprachmodelle wollen „gefallen“, sie sind darauf trainiert, zuzustimmen und angenehm zu sein. Das Ergebnis lässt sich als „Echokammer aus einer einzigen Person beschreiben“, also ein Mensch und ein System, das jede Idee bestätigend zurückspielt, unermüdlich und ohne Widerspruch.
Und vielleicht entgegen der landläufigen Auffassung ist Widerspruch in der Psychiatrie kein Störfaktor, sondern ein Korrektiv! Fehlt er systematisch, fehlt genau das, was ein menschliches Umfeld normalerweise liefert. Schaut man sich den aktuellen öffentlichen Diskurs an, so entdeckt man ja auch eine latente Aversion gegen „andere Meinungen“. Einen Zusammenhang mit einen Chatbot möchte ich hier aber ausdrücklich nicht ziehen, denn dafür haben wir bisher keine Datengrundlage – jedenfalls habe ich keine gefunden.
Apropos Daten und Belegbarkeit: Die oben genannten 560K stammen aus einer Selbstauskunft von OpenAI, nicht aus einer unabhängigen Erhebung. Anzeichen zeigen ist nicht gleich diagnostiziert sein. Und offen bleibt, was Ursache und was Verstärker ist – ob Chatbots Krisen auslösen oder ob Menschen in einer beginnenden Krise besonders viel mit ihnen sprechen, lässt sich aus diesen Daten nicht stringent beantworten.
Der Befund aber, der sicher schon jetzt ganz gut trägt, betrifft die Technik selbst: Ein System, das immer zustimmt, ist kein Gesprächspartner, sondern ein Verstärker – neutral gegenüber dem, was es da eigentlich verstärkt.
Und ich frage mich auch abschließend:
Warum war „Zustimmung“ beim Bau dieser Systeme eigentlich leichter zu erreichen als Ehrlichkeit?
#KIPsychose #Sycophancy #KünstlicheIntelligenz #Psychiatrie #KIEthik #Chatbots
