Calvin Risk: Innovative KI-Governance und Risikomanagement für Unternehmen

Seit knapp 3 Jahren unterstützt das ETH-Spin-off Calvin Risk Unternehmen beim Übergang zu hochwertiger, leistungsstarker und risikoarmer KI. Syang Zhou und Julian Riebartsch wagten mit ihrem Insurtech den Schritt in die Selbständigkeit, um etwas Grösseres zu schaffen und nicht weniger als die Welt für mehr Menschlichkeit zu verändern.

Ob Ihnen das gelingt, erfahren Sie im Interview mit thebrokernews. Binci Heeb spricht mit Julian Riebartsch, dem CEO und Mitbegründer von Calvin Risk.

Julian Riebartsch, wer hatte die initiale Idee zu Calvin Risk?

Die Idee zu Calvin Risk entstand aus der gemeinsamen Überzeugung von Syang Zhou und mir, dass es dringend Lösungen braucht, um die Risiken von Künstlicher Intelligenz systematisch zu verstehen und zu steuern. Besonders in Unternehmen sehen wir häufig ein Spannungsfeld zwischen Innovationsdrang und fehlendem Risikobewusstsein – genau hier wollten wir ansetzen. Syang hatte zuvor bei PwC Banken und Versicherungen wie UBS, ABN AMRO, Generali und ZKB dabei unterstützt, KI-Systeme in die Produktion zu bringen – sei es durch deren Entwicklung oder durch Tech Audits. Dabei wurde deutlich, wie hoch die Hürden für diese Unternehmen sind, KI-Systeme tatsächlich produktiv einzusetzen, da die Risiken schwer greifbar sind. Ich selbst arbeitete damals für einen Deeptech-Venture-Capital-Fonds und habe bei Startups mit KI-basierten Produkten ähnliche Herausforderungen gesehen: Selbst bei vielversprechenden Pilotprojekten war der Schritt in den produktiven Einsatz oft kaum zu meistern. Gemeinsam mit Syang’s Forschung an der ETH Zürich, während seines PhDs zu robuster und sicherer KI im Finanzwesen hat sich daraus die Idee für Calvin Risk entwickelt.

An der ETH Zürich haben Sie sich insbesondere auf die Entwicklung von KI-basierter Vorwärtsmodellierungssoftware für astronomische Erhebungen und Experimente zur Dunklen Materie konzentriert… Können Sie uns das in einfachen Worten erklären und sagen, inwiefern dies Sie bei der Mitgründung von Calvin Risk unterstützt hat?

Im Grunde ging es darum, komplexe astrophysikalische Phänomene mit Hilfe von KI zu modellieren und vorherzusagen, wie die dazugehörigen Eigenschaften aussehen – etwa, wie sich Galaxien entwickeln. Hierbei geht es um Unmengen von Daten die analysiert und modelliert werden müssen. Das hat mich gelehrt, wie mächtig, aber auch wie sensibel KI-Systeme sind. Diese Erfahrungen waren zentral bei Calvin Risk: Denn auch Unternehmen stehen vor der Herausforderung, KI-Systeme sicher und nachvollziehbar einzusetzen. Genau das analysieren wir heute – mit Methoden, die tief aus der Wissenschaft kommen.

Viele Insurtechs kommen und gehen. Was machen Sie anders als solche, die wieder aufgeben (müssen)?

Wir fokussieren uns sehr stark auf den konkreten Mehrwert für Unternehmen. Bei uns geht es nicht um Buzzwords, sondern um greifbare, quantitative Risikomessung, sowie automatisierte Qualitätssicherung und Anforderungsmanagement. Und: Wir hören aktiv auf unsere Kunden – vom DAX-Konzern bis zum KMU – und entwickeln unsere Tools mit ihnen gemeinsam weiter.

Im vergangenen Jahr wurde Calvin Risk anlässlich des Swiss InsurTech Hub Summit and Awards zum Insurtech des Jahres 2024 gewählt, thebrokernews gratuliert! Was bedeutet Ihnen diese Auszeichnung?

Vielen Dank! Die Auszeichnung war für uns eine riesige Ehre – und eine schöne Bestätigung, dass unser Thema relevant ist. Sie zeigt auch, dass Risikoanalyse bei KI nicht nur ein Nischenthema ist, sondern ins Zentrum der Unternehmensstrategie direkt neben den Einsatz von KI gehört.

Sie sagen, dass Calvin Risk die umfassendsten quantitativen Lösungen zur Bewertung und zum Management der Risiken von KI-Algorithmen hat. Was unterscheidet Ihre von anderen Lösungen?

Unsere Lösungen sind datengetrieben, nachvollziehbar und skalierbar. Wir bieten keine «Black Box», sondern messbare Metriken und strukturierte Reports, die auch Regulatoren überzeugen. Zudem arbeiten wir unabhängig von konkreten Modellen – ob GPT-4, eigene Machine Learning-Modelle oder Anderes: Wir analysieren immer auf Ebene von Risiken wie Fairness, Bias, Genauigkeit, Transparenz und Sicherheit.

Was sind die grössten Risiken?

Einige der grössten Risiken liegen im Bereich von ungewollten Verzerrungen (Bias), Sicherheitslücken, fehlender Nachvollziehbarkeit und mangelnder Robustheit. Besonders gefährlich wird es, wenn Organisationen diese Risiken nicht kennen oder unterschätzen – dann drohen nicht nur ethische Probleme, sondern auch rechtliche und wirtschaftliche Schäden.

Wie helfen Sie Unternehmen deren KI-Aktivitäten und die damit verbundenen Risiken zu senken und zu managen?

Wir bieten ein Toolset, mit dem Unternehmen ihre KI-Modelle testen, bewerten und laufend überwachen können. Darüber hinaus begleiten wir sie strategisch – etwa bei der Entwicklung und Digitalisierung interner praktischer Governance-Richtlinien und Prozesse oder bei der Vorbereitung auf regulatorische Anforderungen wie den EU AI Act.

Wie funktioniert eine umfassende Risikobewertung bei Calvin Risk?

Unsere Plattform führt Unternehmen durch eine strukturierte Analyse: von der Modellarchitektur über Trainingsdaten bis hin zu den konkreten Anwendungsszenarien. Wir messen verschiedene Risikoindikatoren, vergleichen sie mit Benchmarks und geben klare Empfehlungen, wie man Risiken minimieren kann.

Wie gehen Sie mit der schnellen technologischen Entwicklung im Bereich generativer KI um – insbesondere, wenn Modelle wie GPT-4 oder Claude rasch neue Fähigkeiten entwickeln? Können Governance-Frameworks da überhaupt Schritt halten?

Das ist definitiv eine Herausforderung. Wir setzen deshalb auf flexible, adaptive und modulare Frameworks, die mit der Technologie mitwachsen können. Wichtig ist, dass Governance nicht starr ist, sondern flexibel genug, um neue Risiken aufzunehmen – und genau das ermöglichen unsere dynamischen Analysen.

Inwiefern können Ihre Tools und Methoden auch kleineren Unternehmen helfen, die vielleicht keine dedizierten Compliance- oder Risikoabteilungen haben, aber dennoch KI einsetzen wollen?

Gerade für kleinere Unternehmen bieten wir «out-of-the-box» Anforderungen für Compliance, angepasste, leicht verständliche Dashboards und automatisierte Empfehlungen. Unser Ziel ist es, KI-Risikomanagement zugänglich zu machen – nicht nur für Grosskonzerne, sondern auch für Startups und Mittelständler.

Gibt es bestimmte ethische Prinzipien, die Sie in Ihre Software-Architektur integriert haben – etwa im Hinblick auf Fairness, Nicht-Diskriminierung oder Nachhaltigkeit?

Ja, diese Prinzipien sind zentral. Wir folgen beispielsweise bei den Analysen der Nicht-Diskriminierung den Antidiskriminierungsgesetzten bzgl. geschützten Gruppen der EU und der USA. Allerdings wird es immer Aspekte geben, die von den Firmen selbst entschieden werden müssen – etwa wie wichtige die Rolle der Fairness gegenüber dem Einzelnen versus der Fairness gegenüber von Gruppen ist. In jedem Fall aber hilft unsere Software Fairness und Diskriminierung systematisch zu analysieren und zeigt potenzielle Massnahmen zur Verbesserung auf. Auch Transparenz ist uns wichtig: Unsere Kunden sollen verstehen, warum ein Risiko besteht und wie man es adressieren kann.

Wie erleben Sie den Austausch mit Regulatoren – etwa im Rahmen des EU AI Acts? Werden Startups wie Ihres in die Diskussion eingebunden, oder hinkt die Regulierung der Praxis hinterher?

Der Austausch nimmt zu, aber es bleibt Luft nach oben. Wir engagieren uns aktiv in Arbeitsgruppen, um die Perspektive junger Tech-Unternehmen einzubringen. Der EU AI Act ist ein wichtiger Schritt – aber er muss praxistauglich bleiben. Startups wie unseres können hier viel beitragen.

Abschliessend: Könnten Sie sich vorstellen, dass Ihre Plattform langfristig auch für staatliche oder gemeinnützige Organisationen interessant wird – etwa im Gesundheits- oder Bildungsbereich?

Absolut. Gerade im Gesundheits- und Bildungsbereich ist ein verantwortungsvoller KI-Einsatz essenziell. Wir führen bereits erste Gespräche mit öffentlichen Stellen – langfristig möchten wir Calvin Risk auch dort einsetzen, wo KI-Entscheidungen besonders schützenswerte Gruppen betreffen.

Julian Riebartsch, CEO & Co-Founder – Mit einem Hintergrund in computergestützter Physik und Venture Capital verbindet Julian technisches Fachwissen mit praktischer Erfahrung in den Bereichen Risiko und Governance. Er ist Absolvent der ETH Zürich und der Universität Tokio und war zuvor als Investor bei b2ventures und Matterwave Ventures tätig.

Lesen Sie auch: Ledgertech: Ist die eingebettete Versicherung die Zukunft?