Wie KI heimlich mitentscheidet

KI ist in Verlagen längst im Arbeitsalltag angekommen, und sie entscheidet dabei häufiger mit, als uns bewusst ist. Nicht durch große Weichenstellungen, sondern durch plausibel klingende Antworten, die wir ungeprüft übernehmen. Warum wir der Maschine oft mehr glauben als unserem eigenen Fachwissen, welche vier Biases dieses heimliche Mitentscheiden begünstigen und wie sich daraus wieder bewusste Entscheidungen machen lassen, zeigt dieser Beitrag. Er basiert auf dem Vortrag der beiden Autor:innen bei den Fokustagen des Börsenvereins 2026.

Das erledigt doch die KI: Laut der aktuellen KI-Studie des Börsenvereins des Deutschen Buchhandels vom Februar 2026 halten mittlerweile 31 Prozent der Verlagsmitarbeitenden KI für ihr Haus für hoch oder sehr hoch relevant – vor einem Jahr waren es gerade einmal neun Prozent. 83 Prozent glauben sogar, dass sie in fünf Jahren über Erfolg oder Misserfolg mitentscheidet. Dabei entscheidet sie schon längst im Kleinen mit: über Einflüsterungen, deren Folgen wir erst sehen, wenn sie längst gewirkt haben.

Der Schweizer Confiseur Urs Stängeli habe 1894 die Kristallzuckerkruste erfunden, ohne die jede Schnapspraline vom Alkohol durchweicht würde. Nur: Es gab ihn nie. Die Geschichte stammt aus dem Vorwort von Marc-Uwe Klings Die Känguru-Rebellion. Kling spekuliert darin selbst darüber, dass KI-Modelle diese erfundene Geschichte in ihre Ausgaben übernehmen werden. Und genau das geschah auch.

Was im Fall Urs Stängeli noch skurril erscheint, gilt auch für weitere Bereiche der KI-Anwendung wie beispielsweise Keyword-Recherche oder die automatische Aus- und Bewertung von Kampagnenleistungen. Plausibel wirkende Ergebnisse werden von Nutzer:innen ungeprüft als wahr akzeptiert und so Schritt für Schritt zur Grundlage folgenreicher Entscheidungen. KI-Systeme entscheiden so über Fakten und damit heimlich mit.

Warum glauben Menschen der KI mehr als sich selbst bzw. lassen von ihr auch Aufgaben bearbeiten, in denen sie selbst Expert:innen sind? Dahinter stehen aus unserer Sicht u. a. drei psychologische Mechanismen.

Die kognitive Faulheit des Gehirns steht am Anfang. Der Psychologe Daniel Kahneman unterscheidet zwei Arten des Denkens: das schnelle Denken (intuitiv) und das langsame Denken (logisch). Zum langsamen Denken gehört unter anderem das Bewerten von Informationen, Formulieren und Prüfen. Das kostet viel Energie, die das Gehirn gerne sparen würde. Gerade die Nutzung von KI entlastet uns in diesem Punkt massiv.

Im weiteren Fortgang schreibt das Gehirn dem mit KI erstellten Ergebnis eine hohe Autorität zu, denn Zahlen, Technik und Systeme gelten als objektiv, fast unbeeinflussbar. Diese Autoritätszuschreibung an die Technik führt dazu, dass vermeintliche Plausibilität schnell zur Wahrheit und ohne Hinterfragen übernommen wird. Die selbstbewusst und höflich formulierten Antworten der KI-Systeme geben zudem selten Anlass zum Zweifeln. Auch bei offensichtlichen Halluzinationen, wie zum Beispiel dem Erfinder der Schnapspraline.

Hat die KI das Ergebnis mit all ihrer technischen Autorität generiert, nimmt sie uns nicht nur die Denkarbeit ab, sondern auch die Verantwortung für eben dieses. Es fühlt sich häufig nicht wie die eigene Arbeit an. Und wenn es sich nicht wie die eigene Arbeit anfühlt, fehlt auch das Gefühl, zuständig und verantwortlich zu sein. Es entsteht Verantwortungsdiffusion. Die Verantwortung diffundiert nicht zwischen beteiligten Menschen, sondern zwischen Mensch und Maschine: Anwender:innen geben ein gutes Stück Kontrolle über das Entstehen der Inhalte ab und übernehmen sie dennoch für ihre weitere Arbeit.

Diese drei psychologischen Mechanismen (kognitive Faulheit, Autoritätszuschreibung und Verantwortungsdiffusion) wirken nicht im luftleeren Raum. Sie werden von der Architektur der KI-Systeme selbst noch verstärkt.

Die Techniksoziologen Pinch und Bijker beschreiben dieses Zusammenspiel in ihrem Konzept Social Construction of Technology (SCOT). Vereinfacht gesagt ist Technik nicht neutral, sondern spiegelt die Entscheidungen ihrer Entwickler:innen wider. Bei KI-Systemen spielen die Trainingsdaten die entscheidende Rolle. KI operiert auf der Basis der Daten, mit denen sie trainiert wurde, und auf welche sie zugreifen kann, um Antworten zu generieren.

Neben den verwendeten Daten wirken aber auch die genutzten Geräte: Der Computer rechnet genauer, das Handy navigiert effizienter, die Maschine textet lesbarer. Wir nennen das Technischen Paternalismus. Nutzer:innen lassen sich durch die verwendeten Geräte und Technologien unbewusst bevormunden und nehmen deren Empfehlungen als vermeintlich objektive Vorgabe wahr.

Auch das KI-System trifft implizite Entscheidungen, zum Beispiel darüber, wie ein redaktioneller Beitrag verfasst sein sollte oder was auf Social Media besser wirkt. So lässt die Journalistin, die jahrelang selbst geschrieben hat, nun ihre Texte mit KI schreiben und sendet sie ungeprüft ab, oder der Social-Media-Manager, der seine Texte ausschließlich per KI schreiben lässt, obwohl er immer selbst recherchiert und getextet hat. Fragt man die KI dann selbst nach einer Überprüfung, verteidigt sie eloquent ihre eigenen Annahmen, so wie manche Systeme Urs Stängelis Werdegang um eigene Details ergänzten, statt ihn infrage zu stellen.

Anders als bei Individuen, die unterschiedliche Werte, Einstellungen und Erfahrungen mitbringen, beruht jede durch KI erzeugte Antwort auf den gleichen historischen Daten. Das führt in letzter Konsequenz zu einem sich zuspitzenden More of the Same und damit zu einer immer höheren Erwartbarkeit der Antworten. Damit wird die (gefühlte) Plausibilität der KI-Ergebnisse bekräftigt und weniger kritische Auseinandersetzung gesucht, was wiederum die ungeprüfte Übernahme KI-generierter Outputs begünstigt.

KI-Ergebnisse, die als Fakt behandelt werden, werden real in ihren Folgen. Die Soziologen William und Dorothy Thomas prägten dafür schon vor rund 100 Jahren die Formel: If men define situations as real, they are real in their consequences. Genau das zeigt einen sozio-technischen Mechanismus, der KI heimlich mitentscheiden lässt.

Zur Veranschaulichung haben wir vier häufige (Praxis-)Kontexte herausgearbeitet, in denen ungeprüfte Übernahmen und damit das heimliche Mitentscheiden besonders wahrscheinlich sind.

Psychologische und sozio-technische Faktoren wirken in ihrer Konsequenz nicht isoliert, sondern verdichten sich zu vier Mustern. Die Konsequenz daraus ist immer derselbe Grundmechanismus: Die Plausibilität wird ungeprüft zur Wahrheit und dadurch für weitere Schritte als heimliche Entscheidung übernommen.

Confirmation Bias
Die KI sagt, was ihre Anwender:innen hören wollen. Dadurch werden Annahmen, die mehr oder weniger explizit bereits im Prompt stecken, verstärkt und dadurch in die Realität übernommen.

Beispiel: Ein Exposé wird durch ein KI-System analysiert und eingeschätzt. Im Prompt werden Signale gesendet, die bereits zeigen, ob das Manuskript eher positiv oder negativ bewertet werden soll. Die KI antwortet entsprechend. Soll sie bei kritischer Nachfrage genaue Gründe nennen, tendiert sie schnell in die entgegengesetzte Richtung, je nachdem, was sie als Intention der Nutzer:innen erkennt. Das Ergebnis: „Du hast vollkommen recht …“

Automation Bias
Anwender:innen sehen KI als die aktuell fortgeschrittenste Technologie und schreiben ihr übermäßige Kompetenz zu. Die Autorität der Technologie überschreibt das eigene Fachwissen und lässt zu, dass Behauptungen des Systems ungeprüft als wahr übernommen werden.
Das äußert sich auf zwei Arten: Anwender:innen übersehen, was die KI nicht erwähnt (Omission Error), oder folgen ihrer Empfehlung trotz vorliegender Gegenbeweise. Denn die KI klingt unter Umständen sicherer als jeder eigene Zweifel (Commission Error).

Beispiel: Die KI errechnet Reichweiten-Benchmark-Preise für eine Werbekampagne auf Meta und YouTube. Die Zahlen decken sich nicht mit den eigenen Ergebnissen aus vergangenen Kampagnen, klingen aber plausibel. Erst bei hartnäckigem Nachfragen antwortet die KI, dass die Zahlen nur auf plausiblen Schätzungen und nicht auf Marktdaten beruhen.

Context Bias
Die KI analysiert und antwortet, ohne die relevanten Rahmenbedingungen wie die Branchenpraxis, aktuelle Konditionen oder rechtliche Besonderheiten des Einzelfalls zu kennen. Diese Wissenslücke bleibt für Anwender:innen unsichtbar, weil das Ergebnis mit derselben Bestimmtheit formuliert wird wie eine vollständig informierte Analyse. Was wie eine neutrale Einschätzung wirkt, ist in Wahrheit eine Empfehlung ohne Kontext.

Beispiel: Analyse und Bewertung von Lizenzmodellen ohne oder nur mit mangelhaftem Kontextwissen zur Anwendung und Lizenzbedingungen. Der KI fehlt das Branchenwissen oder das Wissen genauer Parameter.

Convenience Bias
Schnelligkeit schlägt Genauigkeit: Die KI liefert plausibel wirkende Ergebnisse so schnell, dass die Versuchung, sie ungeprüft zu übernehmen, größer ist als der Aufwand einer Kontrolle. Und das ist im ohnehin gut gefüllten Alltag leider sehr verlockend.

Beispiel: Bei der Recherche zu Podcasts liefert die KI vollständig erfundene Zusammenfassungen von Folgen, die nicht existieren. Auch bei anderen Recherchen von z. B. Ansprechpartner:innen in Unternehmen nennt KI selbstsicher nicht existierende Personen und Agenturen.

Gilt also in Anlehnung an den dänischen Philosophen Sören Kierkegaard, nutze KI und Du wirst es bereuen; nutze KI nicht, auch das wirst Du bereuen?

Vor diesem Hintergrund ist es wichtig, dass Anwender:innen die Umstände der heimlichen Mitentscheidung und die typischen Kontexte kennen und verstehen.  Grundlegende erste Schritte zur Vermeidung aller vier Biases können sein, so viel Kontext wie möglich zur Verfügung zu stellen und Zitate, Zahlen und andere KI-generierte Ergebnisse immer zu überprüfen. Hier kann eventuell ein anderes Sprachmodell, eigene Recherche mit herkömmlichen Suchmaschinen oder das Gespräch mit Kolleg:innen helfen. Auch Ergebnisse anderer Anwender:innen sollten nicht ungeprüft übernommen werden.

Der Confirmation und Automation Bias lassen sich durch einen Perspektivenwechsel im Prompt vermeiden. Einen möglichen Denkansatz bietet dafür beispielsweise das Wächter-Gedankenspiel: Stell Dir vor, Du bist in einem Raum mit zwei Knöpfen. Ein Knopf öffnet ein Tor in die Freiheit, der andere öffnet ein Tor in die Gefangenschaft. Jeder Knopf ist von einem Wächter bewacht. Du weißt, einer der beiden lügt immer, der andere sagt die Wahrheit. Du kannst genau eine Frage stellen, um herauszufinden, welchen Knopf Du drücken sollst, um in die Freiheit zu gelangen. Wie lautet sie?

Weitere Prompts für mehr Reibung im Ergebnis: Ein externer Dienstleister hat mir diesen Entwurf geschickt. Bitte suche nach Lücken und Fehlern oder Meine Kollegin fragt mich, ob ich diese Metadaten für das Herbstprogramm für den eCommerce passend finde. Sei mein Sparringspartner und analysiere und schätze kritisch ein.

Um einen Ausgleich zwischen Convenience Bias auf der einen und den anderen Biases auf der anderen Seite zu schaffen, bietet sich eine Abwandlung des Zwei-Türen-Prinzips an. Denn nicht jede implizite Entscheidung wiegt gleich schwer. Two-Way-Door-Entscheidungen sind umkehrbar und risikoarm – hier kann KI autonomer arbeiten und ihre Schnelligkeit ausspielen. One-Way-Door-Entscheidungen sind hingegen endgültig oder folgenreich und benötigen zwingend eine Prüfung durch Anwender:innen.

Spätestens hier ist zu definieren, was das häufig verwendete Human in the Loop genau bedeutet, um das heimliche Mitentscheiden zu vermeiden. Basierend auf den vorgestellten Mechanismen sowie der vier Biases können u. a. diese Schritte gegangen werden:

(1) Vor dem KI-Einsatz erfolgt eine Risiko-Klassifizierung für die geplante Aufgabe, um von Anfang an allen vier Biases ein bewusstes Handeln entgegenzusetzen und die Mensch-Maschine-Verantwortungsdiffusion zu reduzieren.
Im Prompt wird dann (2) zur Vermeidung des Confirmation Bias durch entsprechende Formulierung Reibung erzeugt (siehe oben).
Im Output werden (3) konsequent Fakten wie Zahlen, Namen, Zitate explizit geprüft und gegebenenfalls um weiteren Kontext angereichert.
Nach dem Einsatz werden (4) die Ergebnisse kritisch geprüft und über- bzw. bearbeitet. Je nach Einsatzszenario kann dies auch stichprobenweise nach dem Zwei-Türen-Prinzip erfolgen.

Die Arbeit mit KI-Systemen heißt, eine Plausibilitätsmaschine zu bedienen. Sie zu nutzen oder nicht zu nutzen, ist zukünftig voraussichtlich keine Wahl mehr. Die eigentliche Frage ist, ob ihr Einsatz zu bewussten Entscheidungen führt oder die KI heimlich mitentscheidet. Denn was sie als real definiert und von uns als ihren Anwender:innen ungeprüft übernommen wird, wird real in seinen Folgen. Urs Stängeli existiert nicht – aber jetzt wissen alle, wer er war.

Juliane Reichwein und Albrecht Mangler beschäftigen sich aus unterschiedlichen Perspektiven mit dem digitalen Wandel im Verlagswesen. Juliane Reichwein leitet den Bereich Digital Publishing bei der Verlagsgruppe Droemer Knaur und bringt langjährige Erfahrung in der Entwicklung digitaler Verlagsangebote mit. Albrecht Mangler beschäftigt sich Open Publishing mit digitalem Marketing und neuen Medienformaten. Besonderes Augenmerk legt er dabei darauf, wie sich technologische Entwicklungen auf Kommunikation sowie das Lesen und Erzählen auswirken.