Künstliche Intelligenz soll sicher sein
ZEW Lunch Debate in Brüssel
26.04.2024
ZEW Lunch Debate zum AI Act der EU
Am 13. März 2024 stimmte das EU-Parlament dem Artificial Intelligence (AI) Act zu. Auf diese Verordnung für künstliche Intelligenz (KI) hatten sich Anfang Dezember 2023 bereits Repräsentanten der Europäischen Kommission, des Europäischen Parlaments und des Rates der Europäischen Union nach längeren Trilog-Verhandlungen geeinigt. Die Verordnung ist jedoch nicht in allen Punkten ausdefiniert. Unter anderem die Frage, wie große generative KI-Modelle mit möglichen systemischen Risiken konkret auf Ihre Sicherheit geprüft werden können, gilt es nun zu beantworten. Hier verweist die KI-Verordnung auf noch zu entwickelnde „Codes of Practice“ und harmonisierte Standards.
Dazu fand am 24. April in der Vertretung des Landes Baden-Württembergs bei der EU in Brüssel eine ZEW Lunch Debate unter dem Thema „Der AI-Act der EU und seine Umsetzung“ statt. Es sprachen Dr. Dominik Rehse (ZEW), Olga Nowicka (OpenAI) und Kilian Gross (Europäische Kommission) unter der Moderation von Luca Bertuzzi (freischaffender Tech-Journalist).
KI-Sicherheitsprüfungen brauchen ein gutes Marktdesign
Zunächst begrüßte der Leiter der Landesvertretung Bodo Lehmann die über 100 Gäste im Publikum sowie die Gesprächsteilnehmenden. Dr. Dominik Rehse, Leiter der ZEW-Nachwuchsforschungsgruppe „Design digitaler Märkte“ sowie stellvertretender Leiter des Forschungsbereichs „Digitale Ökonomie“, stellte zu Beginn der Lunch Debate ein Konzept vor, wie generative KI geprüft werden kann. Gemeinsam mit den ZEW-Ökonomen Sebastian Valet und Johannes Walter hat er ein ZEW policy brief veröffentlicht, das konkrete Vorschläge macht, welche Regeln die „Codes of Practice“ und harmonisierten Standards aufnehmen sollten.
Der AI Act schreibt verbindlich vor, dass Modelle mit systemischen Risiken durch sogenanntes „Adversarial Testing“ geprüft wird. Das sei überaus sinnvoll. Dabei dürfe es jedoch nicht nur um die Definition technischer Anforderungen gehen, sondern es müssten auch folgerichtige Anreiz- und Koordinationsmechanismen für alle Beteiligten geschaffen werden. Mit anderen Worten, KI-Sicherheitsprüfungen bedürfen eines intelligenten Marktdesigns, so Rehse.
Red Teaming als effizienteste Sicherheitsprüfung
Die ZEW-Wissenschaftler schlagen daher eine umfangreiche Form des Adverserial Testing, sogenanntes „Red Teaming“, vor. Dabei geht es darum, die KI durch immer neue Eingaben zu unerwünschtem Verhalten zu provozieren, um so Fehlverhalten der KI entdecken und verbessern zu können. Für effizientes Red Teaming müssen aus der Experten-Sicht vier verschiedene Anforderungen erfüllt sein.
Um Interessenskonflikte zu vermeiden, müsse zum einen der Prüfprozess von externen Stellen umgesetzt werden. Zum Zweiten sollten die zu etablierenden „Codes of Practice“ und harmonisierten Standards ein konkretes Prüfziel enthalten. Dadurch könne definiert werden, ob und wann ein Modell ausreichend getestet wurde. Drittens sollte es verschiedene und voneinander getrennte Rollen innerhalb des Red Teaming-Prozesses geben: Während das Red Team nach Fehlverhalten sucht und dafür entlohnt wird, soll eine Gruppe von Validieren gefundenes Fehlverhalten bewerten; ein Organisator stellt Infrastruktur und Rekrutierung des Red Teams sicher. Viertens sollten die Kosten für das Red Teaming vom Entwicklerteam der KI gezahlt werden – da das Testing teurer ist, je mehr Fehlverhalten gefunden werden, haben die Entwickler einen Anreiz, bereits vor dem Red Teaming möglichst sichere Modelle zu entwickeln.
Zivilgesellschaft teilhaben lassen
In der Diskussion merkte Rehse an, dass die Ausformulierung der Regeln keine rein technische Abstimmung unter Softwareentwicklerinnen und -entwicklern sei, da insbesondere generative KI teilweise eine normative Bewertung von Modellverhalten erfordert. Entsprechend dürfe die Klärung von Detailfragen nicht von Industrieinteressen geleitet werden, es müssten auch Mitglieder der Zivilgesellschaft eingebunden sein. Dies sei jedoch aufgrund des dafür nötigen Aufwandes für zivilgesellschaftliche Akteure kaum möglich, was ein großes Problem darstelle.
Kilian Gross koordiniert als Abteilungsleiter in der Generaldirektion „Kommunikationsnetze, Inhalte und Technologien der Europäische Kommission“ (DG CNECT) die KI-Politik der EU. Er betonte, dass der AI Act zwar abstrakt sei, die Kommission allerdings klare Vorstellungen habe. So solle das geplante AI-Office der EU mit der Befugnis ausgestattet werden, die Verordnung bei KI-Entwicklern durchzusetzen, „Adversarial Testing“ anzuordnen und zu bewerten. Zudem könnte das AI Office gegebenenfalls auch direkten Zugriff auf Modelle anfordern, um selbst Sicherheitsprüfungen durchzuführen. Verschiedenen Akteuren, darunter auch die Zivilgesellschaft, solle die Möglichkeit zur Teilhabe eingeräumt werden.
AI Act solle Freiräume behalten
Olga Nowicka ist als EU Policy & Partnerships Lead für OpenAI für den Dialog des Tech-Entwicklers mit der europäischen Legislative zuständig. Sie berichtete, dass OpenAI bereits im vergangenen Jahr ein Red-Teaming-Netzwerk gebildet habe, bestehend aus externen Expertinnen und Experten, die dem Unternehmen bei der Sicherheitsüberprüfung zur Seite stünden. Allein die Sicherheitsüberprüfung des aktuellen Modells GPT-4 habe sechs Monate gedauert. Aus diesem Grund wolle OpenAI bereits in frühen Entwicklungsstadien von KI-Modellen internes Red Teaming einsetzen, sodass gefundenes Fehlverhalten möglichst schnell behoben werden könnte. Nowicka betonte, dass der AI Act ausreichend Freiräume für die Umsetzung und Einbezug noch zu erwartender technischer Entwicklungen offenhalten solle. Außerdem sei sicherzustellen, dass keine internen Geheimnisse bekannt würden.
Zum Schluss gab Tech-Journalist Lucca Bertuzzi einen Ausblick, dass der AI Act nicht das Ende eines Regulierungsprozesses sei, sondern vielmehr dem Beginn einer Reise gleichkomme. Diskussionen wie die ZEW Lunch Debate gäben die Möglichkeit, einen thematischen Horizont abzustecken.
