Der Paragraf, den es nie gab
Der Geschäftsführer eines Elektrobetriebs will vor einem Kundengespräch schnell wissen, welche Gewährleistungsfristen für seine Installationsarbeiten gelten. Er fragt eine KI und bekommt eine mustergültige Antwort: klar gegliedert, mit Fristen, Ausnahmen und zwei Paragrafenangaben. Erst sein Steuerberater stutzt später – einer der genannten Paragrafen regelt etwas völlig anderes, und eine der Fristen ist frei erfunden. Die Antwort war zu etwa achtzig Prozent richtig. Das Problem: Sie klang zu hundert Prozent richtig.
Dieses Phänomen hat einen Namen: Halluzination. Gemeint sind Aussagen einer KI, die sachlich falsch sind, aber sprachlich völlig überzeugend daherkommen – mit derselben Souveränität, in demselben professionellen Ton wie korrekte Antworten. Halluzinationen sind kein exotischer Ausnahmefehler, sondern eine systematische Eigenschaft heutiger Sprachmodelle. Wer beruflich mit KI arbeitet, muss sie deshalb nicht fürchten, aber verstehen – und wissen, wie man sich absichert.
Warum Maschinen halluzinieren
Die Ursache liegt im Funktionsprinzip. Ein Sprachmodell schlägt Fakten nicht in einer Datenbank nach, sondern erzeugt Texte, indem es Wort für Wort die wahrscheinlichste Fortsetzung vorhersagt – auf Basis der Muster aus seinen Trainingstexten. Häufig dokumentiertes Wissen ist in diesen Mustern zuverlässig verankert. Doch das Modell kann nicht sauber unterscheiden, ob es etwas wirklich "weiß" oder ob es eine Lücke gerade mit statistisch plausiblem Material auffüllt. Eine erfundene Fundstelle sieht aus Sicht des Modells genauso aus wie eine echte: eine Zeichenfolge, die zum Kontext passt.
Verschärfend kommt hinzu, dass Modelle darauf trainiert wurden, hilfreich zu sein und zu antworten. Ein zögerliches "Das weiß ich nicht" kam in den Trainingsdaten seltener vor als selbstbewusste Auskünfte – im Zweifel produziert das Modell also lieber eine flüssige Antwort als ein Eingeständnis der Unsicherheit. Neuere Modelle sind hier deutlich besser geworden und lehnen häufiger ab oder relativieren. Verschwunden ist das Problem nicht, und es wird prinzipbedingt nie ganz verschwinden.
Besonders anfällig sind alle Formen von Präzisionswissen: exakte Zahlen, Daten, Namen, Paragrafen, Normbezeichnungen, Quellenangaben, Internetadressen. Je spezifischer und seltener eine Information, desto dünner die Musterlage im Training – und desto größer die Wahrscheinlichkeit, dass das Modell die Lücke kreativ schließt.
Dass Sprachmodelle bei jeder Anfrage leicht unterschiedliche Antworten erzeugen können, macht die Sache nicht einfacher. Wer dieselbe Faktenfrage dreimal stellt, bekommt womöglich dreimal dieselbe erfundene Zahl – oder drei verschiedene. Konsistenz ist deshalb kein verlässlicher Wahrheitsbeweis, wohl aber ein nützliches Warnsystem: Stimmen mehrere unabhängig formulierte Anfragen überein, steigt die Wahrscheinlichkeit, dass die Angabe aus stabilen Trainingsmustern stammt; weichen sie voneinander ab, füllt das Modell offensichtlich eine Lücke. Für den Alltag heißt das: Übereinstimmung entlastet nicht von der Prüfung wichtiger Angaben, Widerspruch ist dagegen ein sicheres Stoppsignal.
Woran Sie Halluzinationen erkennen – und woran nicht
Die unbequeme Wahrheit zuerst: Am Tonfall erkennen Sie gar nichts. Halluzinierte Inhalte klingen exakt so sicher wie korrekte. Formulierungen wie "nachweislich", "laut Studie" oder eine präzise wirkende Zahl mit zwei Nachkommastellen sind kein Beleg für Richtigkeit – im Gegenteil, gerade die scheinbare Präzision sollte aufhorchen lassen.
Typische Fälle aus der Praxis: Eine KI nennt eine Marktgröße von "4,7 Milliarden Euro", die in keiner Quelle existiert, aber plausibel klingt. Sie zitiert eine Studie einer echten Universität mit erfundenem Titel. Sie empfiehlt ein Buch, das der genannte Autor nie geschrieben hat. Sie liefert eine Telefonnummer im korrekten Format, unter der niemand erreichbar ist. Sie verweist auf ein Gerichtsurteil mit stimmig aussehendem Aktenzeichen, das kein Gericht je gefällt hat – ein Fall, der Anwälten international bereits ernsthafte Sanktionen eingebracht hat. Das Muster ist stets dasselbe: Form perfekt, Inhalt erfunden.
Besonders heimtückisch sind Mischformen, in denen Wahres und Erfundenes ineinandergreifen. Eine Antwort über Förderprogramme für Handwerksbetriebe nennt drei Programme: Zwei existieren tatsächlich, das dritte ist eine Kombination aus echten Namensbestandteilen mit erfundenen Konditionen. Gerade weil der Großteil stimmt, überträgt sich das Vertrauen auf die falsche Angabe – wer zwei Treffer nachgeprüft hat, winkt den dritten durch. Genau umgekehrt wäre es richtig: Jede Einzelangabe verdient eine eigene Prüfung, denn Halluzinationen verteilen sich nicht gleichmäßig, sondern verstecken sich zwischen korrekten Aussagen.
Hilfreich ist stattdessen eine einfache Risikoabschätzung. Bei Meinungen, Formulierungen, Strukturvorschlägen und Zusammenfassungen von Texten, die Sie selbst mitgeliefert haben, ist das Halluzinationsrisiko gering. Bei frei abgefragtem Faktenwissen ist es real. Bei exakten Zahlen, Fundstellen und Quellen ist es hoch. Diese Staffelung sollte jede Prüfroutine bestimmen.
Was dagegen hilft
Gegen Halluzinationen gibt es kein Wundermittel, aber ein wirksames Bündel von Gegenmaßnahmen, das sich im Alltag ohne großen Aufwand umsetzen lässt.
Die wirksamste Maßnahme: Geben Sie der KI die Fakten mit, statt sie danach zu fragen. Wer den Vertragstext, das Datenblatt oder den Gesetzesauszug in den Chat kopiert und die KI bittet, auf dieser Grundlage zu antworten, verwandelt eine riskante Wissensfrage in eine sichere Textaufgabe. Zusammenfassen, erklären und vergleichen auf Basis mitgelieferter Dokumente beherrschen Modelle deutlich zuverlässiger als freies Faktenwissen.
Zweitens: Belege verlangen und nachprüfen. Bitten Sie die KI, für zentrale Aussagen Quellen zu nennen, und prüfen Sie diese stichprobenartig – existiert die Quelle, und steht dort tatsächlich, was behauptet wird? Modelle mit angebundener Websuche können echte Links liefern; aber auch hier gilt: Der Link muss geöffnet, die Aussage verifiziert werden. Eine Quellenangabe ist erst dann ein Beleg, wenn ein Mensch sie kontrolliert hat.
Drittens: Stichproben nach Wichtigkeit. Niemand kann jede KI-Aussage überprüfen, und für einen Blogentwurf ist das auch nicht nötig. Prüfen Sie gezielt die Stellen, an denen ein Fehler teuer würde: jede Zahl, die in ein Angebot wandert, jeder Paragraf, der in ein Kundenschreiben kommt, jeder Name und jedes Datum in offizieller Korrespondenz. Ein bewährter Kniff ist außerdem die Kontrollfrage in einem neuen Chat: Formulieren Sie die Frage anders und vergleichen Sie die Antworten. Widersprechen sie sich, ist Vorsicht geboten.
Viertens schließlich: Machen Sie die Unsicherheit zum Thema. Bitten Sie das Modell ausdrücklich, zwischen gesichertem Wissen und Vermutung zu unterscheiden – etwa mit dem Zusatz "Kennzeichnen Sie Angaben, bei denen Sie unsicher sind, und sagen Sie offen, wenn Sie etwas nicht wissen." Das ist kein Allheilmittel, denn das Modell kann seine eigene Verlässlichkeit nur begrenzt einschätzen; erfahrungsgemäß steigt damit aber die Zahl ehrlicher Vorbehalte deutlich, und Sie erhalten Hinweise, wo sich die Prüfung zuerst lohnt. Im Team lässt sich daraus eine einfache Konvention machen: KI-Zuarbeiten werden intern als solche gekennzeichnet, und ungeprüfte Passagen bleiben farblich markiert, bis ein Mensch sie freigegeben hat – ein Vier-Augen-Prinzip, wie es für Zahlungen längst selbstverständlich ist.
Halluzination oder nur veraltet?
Nicht jede falsche KI-Auskunft ist eine Halluzination. Sprachmodelle haben einen Wissensstichtag – den Zeitpunkt, bis zu dem ihre Trainingsdaten reichen. Was danach geschah, kennen sie nicht: die Gesetzesnovelle vom letzten Quartal, den neuen Grundfreibetrag, die aktuelle Produktgeneration eines Herstellers. Fragt man danach, antwortet das Modell mit dem Stand seines Trainings – die Auskunft war einmal richtig und ist inzwischen überholt.
Für Sie als Anwender fühlen sich beide Fehlerarten gleich an, die Gegenmittel unterscheiden sich aber. Gegen veraltetes Wissen hilft die Websuche, die viele KI-Tools inzwischen eingebaut haben, oder schlicht die Nachfrage, auf welchem Stand die Information ist. Gegen Halluzinationen hilft die Websuche nur bedingt – erfundene Details können auch in einer Antwort mit echten Suchtreffern stecken. Merkregel: Bei allem, was sich ändern kann (Preise, Gesetze, Personen, Termine), immer nach Aktualität fragen; bei allem, was präzise sein muss, immer die Quelle prüfen. Übrigens lohnt es sich, den Wissensstichtag des eingesetzten Modells schlicht zu erfragen – die meisten Tools nennen ihn auf Nachfrage, und schon dieses Datum ordnet viele überraschende Antworten ein.
Wo ungeprüfte Übernahme tabu ist
In manchen Bereichen ist die Stichprobe nicht genug – dort gilt: keine KI-Aussage ohne fachkundige Prüfung verwenden. Das betrifft zuerst Recht, Medizin und Finanzen. Eine halluzinierte Gewährleistungsfrist kann einen Rechtsstreit kosten, eine erfundene Wechselwirkung zwischen Medikamenten Gesundheit gefährden, eine falsche steuerliche Auskunft bares Geld. Die KI darf hier Vorarbeit leisten – Fragenkataloge für den Anwaltstermin vorbereiten, Fachtexte verständlich zusammenfassen, Schreiben strukturieren –, aber die inhaltliche Verantwortung bleibt bei Fachleuten.
Dasselbe gilt für sicherheitsrelevante technische Angaben: Belastungswerte, Dosierungen, Normen, Vorschriften im Handwerk. Ein Betrieb, der Traglasten oder Brandschutzvorgaben aus einem Chatfenster übernimmt, handelt grob fahrlässig. Sinnvoll ist eine einfache betriebsinterne Regel, die jeder kennt: KI-Ergebnisse in diesen Kategorien sind grundsätzlich Entwürfe für die Fachprüfung, niemals Endprodukte.
Eine vierte Kategorie wird gern übersehen: Entscheidungen über Menschen. Wer KI-Auskünfte ungeprüft in Arbeitszeugnisse, Bewerberauswahl oder Kündigungsbegründungen einfließen lässt, riskiert nicht nur sachliche Fehler, sondern auch rechtliche Konsequenzen – hier greifen zusätzlich arbeitsrechtliche und datenschutzrechtliche Anforderungen. Die Faustregel für alle Tabuzonen lautet gleich: Je größer der mögliche Schaden einer falschen Angabe, desto strenger die Prüfpflicht – unabhängig davon, wie überzeugend die Antwort formuliert war.
Fazit: Vertrauen ist gut, Stichprobe ist Pflicht
Halluzinationen sind der Preis für die Sprachgewalt heutiger KI-Modelle: Dieselbe Maschinerie, die mühelos flüssige Texte erzeugt, erzeugt notfalls auch flüssige Fiktion. Das macht KI nicht unbrauchbar – es macht sie zu einem Werkzeug, dessen Ergebnisse man wie den Entwurf eines talentierten, aber übermotivierten Praktikanten behandelt: dankbar annehmen, kritisch gegenlesen.
Drei konkrete nächste Schritte: Stellen Sie einer KI testweise drei Detailfragen aus Ihrem Fachgebiet, deren Antworten Sie sicher kennen – Sie bekommen ein realistisches Gefühl dafür, wo die Grenzen liegen. Führen Sie die Gewohnheit ein, wichtige Dokumente mitzugeben, statt frei nach Fakten zu fragen. Und definieren Sie schriftlich die Tabuzonen Ihres Betriebs, in denen KI-Auskünfte grundsätzlich fachlich geprüft werden. Wenn Sie Ihre Mitarbeiter für den sicheren KI-Einsatz schulen möchten, unterstützt FJ Design mit praxisnahen Workshops.