Halluzinierende KI: Erhebliche Risiken für Versicherer und Risikomanager

Generative Künstliche Intelligenz verspricht Effizienz, Automatisierung und neue Erkenntnisse aus Daten. Doch sie kann auch «halluzinieren», also überzeugende, aber falsche Informationen erzeugen. Für die Versicherungs- und Risikowirtschaft, die auf Fakten, Nachvollziehbarkeit und Vertrauen angewiesen ist, entstehen dadurch neue operationelle, haftungsbezogene und regulatorische Risiken.

Generative Modelle wie ChatGPT oder Copilot werden zunehmend von der Schadensbearbeitung über die Kundenkommunikation bis zur Risikobewertung in der Versicherungswirtschaft eingesetzt. Ihre Fähigkeit, in natürlicher Sprache zu antworten, schafft Nähe und Effizienz, birgt aber auch eine tückische Gefahr: Wenn ein Modell etwas «erfindet», klingt das oft plausibel, obwohl es falsch ist. Deloitte beschreibt dieses Phänomen als «malicious hallucinations» – fehlerhafte, aber überzeugende Ausgaben, die im Versicherungsumfeld fatale Folgen haben können.

Ein Beispiel: Ein KI-basierter Chatbot teilt einem Kunden fälschlicherweise mit, seine Hausratversicherung decke auch Flutschäden, obwohl diese ausgeschlossen sind. Kommt es zum Schadensfall, drohen finanzielle Verluste, Regressansprüche und ein massiver Reputationsschaden. Solche Fälle sind keine klassischen Softwarefehler, sondern Ausdruck der Art, wie Sprachmodelle funktionieren: Sie generieren Sprache, keine Wahrheit.

Halluzinierende KI in der Praxis

Die Versicherungswirtschaft nutzt KI längst in zentralen Prozessen. Besonders im Underwriting und in der Risikobewertung können Modelle fehlerhafte Muster erkennen oder fiktive Zusammenhänge herstellen. Eine Studie von InsuranceIndustry.ai warnt, dass dadurch falsche Risikoprofile entstehen können, beispielsweise wenn die KI eine Schadenhistorie «erfindet», die so nie existiert hat.

Auch in der Schadenbearbeitung und Betrugserkennung bergen Halluzinationen Gefahren. Systeme, die ohne menschliche Kontrolle Entscheidungen vorbereiten, können Fälle falsch einordnen, Dokumente missinterpretieren oder «kreative» Regeln anwenden. Das führt zu Verzerrungen und Fehlentscheidungen, die sich schwer nachvollziehen lassen. Eine fehlerhafte automatisierte Antwort auf eine Kundenanfrage kann, insbesondere in hochregulierten Märkten wie der Schweiz und der EU, zudem rechtliche Risiken auslösen.

Der Markt beginnt, auf diese Unsicherheiten zu reagieren. Das finnische Start-up Armilla etwa hat gemeinsam mit Versicherern eine Police entwickelt, die Unternehmen gegen Schäden durch fehlerhafte KI-Outputs absichert, einschliesslich Halluzinationen. Es handelt sich um eine der ersten Versicherungen gegen algorithmische Fehler dieser Art. Das zeigt: Halluzinationen sind kein Randphänomen, sondern eine erkannte Risikokategorie.

Das neue operationelle Risiko

Im Kern entstehen durch KI-Halluzinationen drei eng miteinander verknüpfte Risikodimensionen. Erstens drohen Fehlentscheidungen in Underwriting, Pricing oder Schadenermittlung, wenn KI-Outputs unkritisch übernommen werden. Zweitens können fehlerhafte Auskünfte gegenüber Kunden zu Haftungs- und Reputationsrisiken führen. Drittens rückt die Frage der Transparenz und Nachvollziehbarkeit in den Fokus der Regulierer.

Der EU AI Act fordert von Versicherern, dass KI-gestützte Systeme erklärbar und überprüfbar sind. Dies ist eine Herausforderung, da Sprachmodelle meist keine Quellen angeben können. Deloitte spricht in diesem Zusammenhang von «source traceability» als einer der grössten Hürden für die Branche.

Governance und Datenqualität werden dadurch zum zentralen Hebel. Halluzinationen sind weniger eine Frage schlechter Technologie als eine Folge mangelnder Kontrolle, unklarer Verantwortlichkeiten und unzureichender Datenbasis. Wo menschliche Aufsicht fehlt, entstehen Risiken, die kaum kalkulierbar sind.

Wie Versicherer gegensteuern

Viele Unternehmen reagieren inzwischen mit sogenannten «Human-in-the-loop»-Ansätzen, bei denen KI-Ergebnisse durch Mitarbeitende überprüft werden. Andere setzen auf «Retrieval-Augmented Generation» (RAG), eine Technologie, die sicherstellt, dass generierte Antworten auf geprüften, internen Wissensbeständen beruhen, statt auf offenen Internetquellen. Eine Studie zeigt, dass sich dadurch die Fehlerquote deutlich senken lässt.

Parallel entsteht ein neuer Governance-Rahmen: Unternehmen etablieren KI-Audits, definieren Verantwortlichkeiten und dokumentieren die Herkunft von Trainingsdaten. Die Versicherung von KI-Risiken, ob intern über Rückstellungen oder extern über spezialisierte Policen, wird Teil dieser Strategie. Und nicht zuletzt gewinnt die Kommunikation nach aussen an Bedeutung: Wer transparent erklärt, wann und wie KI eingesetzt wird, stärkt das Vertrauen der Kundinnen und Kunden in eine zunehmend automatisierte Welt.

KI-Halluzinationen – ein strukturelles Risiko

KI-Halluzinationen sind keine technische Kuriosität, sondern ein strukturelles Risiko. In einer Branche, die auf Daten, Vertrauen und Präzision basiert, kann die «kreative» Maschine schnell zur Quelle von Fehlentscheidungen werden. Versicherer müssen lernen, das Unberechenbare zu managen, so, wie sie es seit jeher mit dem menschlichen Verhalten tun. Governance, Datenqualität, menschliche Kontrolle und gegebenenfalls der Versicherungsschutz gegen algorithmische Fehler sind heute nicht mehr optional, sondern Voraussetzung für Vertrauen in eine neue, KI-gestützte Risikowelt.

Binci Heeb

Lesen Sie auch: KI wird zum Partner des Menschen – nicht nur zum Werkzeug