Unternehmen und Behörden müssen ab August 2025 die ersten Regelungen des EU AI Acts umsetzen – eine neue Ära der Verantwortung im Umgang mit Künstlicher Intelligenz beginnt. Weil der AI Act der EU nicht nur technische Anpassungen verlangt, sondern ein grundsätzliches Umdenken in den Köpfen, muss KI künftig differenziert nach Risiko und Anwendungsfall betrachtet werden. Das gilt umso mehr, wenn sie in sensible Lebensbereiche eingreift oder mit personenbezogenen Daten arbeitet.
Für Organisationen bedeutet das: Sie müssen sich intensiv mit dem Ökosystem rund um ihre KI-Systeme auseinandersetzen, Risiken frühzeitig erkennen und gezielt adressieren. Transparenz über die Datengrundlage, nachvollziehbare Modelle und menschliche Aufsicht sind keine Option mehr, sondern Pflicht. Gleichzeitig bietet der AI Act ein wertvolles Rahmenwerk, um Vertrauen aufzubauen und KI langfristig sicher und verantwortungsvoll zu nutzen. Auch Schwachstellenmanagement und Cybersecurity sind davon nicht ausgenommen.
Cybersecurity-Experten im KI-Interview
Wir haben Kim Nguyen, Senior Vice President Innovation von der Bundesdruckerei und lange Jahre der Chef und das Gesicht der Trusted Services dort, in einem Interview zum Thema KI, Regulierungen und dem Einfluss auf die Cybersecurity befragt. Außerdem gibt uns Greenbone-CMO Elmar Geese einen Ausblick auf die Zukunft des Schwachstellenmanagements.
Greenbone: Kim, das Thema KI und Cybersecurity ist ja derzeit in aller Munde, auch auf Veranstaltungen wie der jüngsten Potsdamer Konferenz für Cybersecurity. Und Sie sind da „mittendrin“ im gesellschaftlichen Diskurs.
Nguyen: Ja, dass das Thema Künstliche Intelligenz mir sehr am Herzen liegt, kann ich nicht leugnen, das sieht man in meinen Veröffentlichungen und Keynotes dazu. Mein Ansatz unterscheidet sich dabei ein wenig von den meisten anderen. Er hat viel mit Vertrauen zu tun, und das hat verschiedene Dimensionen: Eine davon ist Wohlwollen. Das bedeutet, das Wohl der einzelnen Nutzenden muss im Mittelpunkt stehen. User sind sicher, das System operiert zu ihrem Nutzen und verfolgt keine ihnen nicht bekannte Agenda.
Greenbone: Was denken Sie, wird die Cybersecurity insgesamt mit KI sicherer oder eher gefährlicher?
Nguyen: Künstliche Intelligenz ist natürlich längst in der Cybersicherheit angekommen und zwar als Risiko wie als Chance: Sie vergrößert einerseits den Angriffsvektor, denn Cyberkriminelle können ihre Angriffe schneller, automatisierter und gezielter durchführen. Andererseits kann sie dabei helfen, die Verteidigung zu härten, etwa bei der Analyse von Echtzeitdaten aus verschiedenen Sicherheitsquellen, um Sicherheitsvorfälle automatisch zu identifizieren und entsprechend zu reagieren.
„Ein Katz- und Mausspiel“
Wer bei diesem Katz- und Mausspiel zwischen Angreifenden und Verteidigeneden mithalten will, muss heute auch auf KI setzen, gerade in der Verteidigung. Die staatliche Regulierung ist dabei zentral, denn ohne entsprechende Gesetze und technische Vorgaben kann niemand unterscheiden, was erlaubt und vertrauenswürdig ist und was nicht.
Außerdem müssen Gesetzgebende bei dieser überaus dynamischen technischen Entwicklung weiterhin aktiv eingreifen, um Handlungs- und Rechtssicherheit zu gewährleisten. Das richtige Maß zu finden und gleichzeitig genug Freiräume zu lassen, damit Innovationen möglich bleiben und KI ein Enabler sein kann, ist nicht einfach, aber immens wichtig.
Greenbone: Was sind für Sie die wichtigsten Fragen/Regulierungen im EU AI Act und den Verordnungen, denen sich Unternehmen stellen müssen? Was kommt da noch auf uns zu? Wie bereitet sich denn eine große Institution wie die Bundesdruckerei vor?
Nguyen: Mit dem AI Act müssen Unternehmen ihre KI-Systeme risikobasiert einordnen und je nach Klassifizierung unterschiedlich strenge Anforderungen an Transparenz, Daten
qualität, Governance und Sicherheit erfüllen – und das insbesondere bei Hochrisiko-Anwendungen.
Es geht jedoch nicht nur darum, Compliance sicherzustellen, sondern auch den regulatorischen Rahmen als strategischen Hebel für vertrauenswürdige Innovation und nachhaltige Wettbewerbsfähigkeit zu nutzen. Dafür reicht es nicht, den Fokus lediglich auf ein entsprechendes KI-Modell zu legen. Wichtig sind ebenfalls die Integration, das Training des Modells und die Schulung der Nutzenden. Umfangreiche Sicherheitsleitplanken – so genannte „Guard Rails“ – müssen eingezogen werden, um sicherzustellen, dass ein System keine unerlaubten Vorgänge unternehmen kann.
„Eingespielte Prozesse bringen Nachvollziehbarkeit, Robustheit und Transparenz in den Vordergrund“
Die Bundesdruckerei als Technologieunternehmen des Bundes ist seit vielen Jahren im Hochsicherheitsbereich tätig. Wir verfügen über eingespielte Prozesse und Strukturen, die Nachvollziehbarkeit, Robustheit und Transparenz in den Vordergrund stellen und damit auch Vertrauen in verschiedene KI-Lösungen für die Verwaltung bringen: Mit dem KI-Kompetenzcenter unterstützen wir etwa Bundesbehörden und Ministerien bei der Entwicklung von KI-Anwendungen. Mit dem Auswärtigen Amt haben wir die Plattform PLAIN geschaffen, die eine gemeinsame Infrastruktur für Daten und KI-Anwendungen bietet oder mit Assistent.iQ einen KI-Assistenten entwickelt, der die Anforderungen der Verwaltung an Datensicherheit, Nachvollziehbarkeit und Flexibilität erfüllt.
Greenbone: Opensource ist ja ein Mindestkriterium für Vertrauen in Software, IT und Cybersecurity – Geht das mit KI überhaupt, und in welchem Maße?
Nguyen: Open Source ist ein wichtiges Thema bei KI, denn sie kann durch Prüfung von Codes und Modellen für notwendiges Vertrauen sorgen. Dafür müssen die Ergebnisse genau geprüft und bestätigt werden können. In diesem Fall braucht man eine Community, die sich regelmäßig einbringt und kümmert.
Oft ist der Open-Source-Ansatz vieler Projekte ambitioniert und ehrenwert, doch später werden manche Projekte nicht mehr genügend gepflegt oder kommen ganz zum Erliegen. Ohnehin muss man beim Thema Open Source und KI genau hinschauen, anders ausgedrückt: Open Source ist nicht gleich Open Source. Wenn KI-Entwickelnde ihre Modelle unter einer Open-Source-Lizenz veröffentlichen, bedeutet das längst nicht, dass man auch eine Open-Source-KI bekommt.
Wichtig sind zum einen die Zahlenwerte, die sogenannten Gewichte des KI-Modells, die bestimmen, wie dieses Eingaben verarbeitet und Entscheidungen trifft. Und zum zweiten auch die Trainingsdaten – und gerade diese werden der Kundschaft und den Nutzenden häufig vorenthalten. Dabei kann man erst mit ihnen zu einer Einschätzung kommen, wie nachvollziehbar, vertrauenswürdig und reproduzierbar ein Open-Source-Modell wirklich ist. Erst wenn das gesamte Wissen hinter den verschiedenen Modellen frei verfügbar ist, können sich hierauf aufbauend tragfähige Ideen entwickeln und Innovationen entstehen.
Greenbone: Was fehlt denn, um KI sicher einzusetzen? Was müssen wir ändern?
Nguyen: Damit KI sicher eingesetzt werden kann, braucht es zusätzlich zur technischen Exzellenz ein entsprechendes Mindset in Entwicklung, Governance und Verantwortung. Konkret müssen wir Sicherheit nach dem Prinzip „Security by Design“ von Anfang an mitdenken. Das bedeutet: Entwickelnde müssen stets systematisch prüfen, was schiefgehen kann und diese Risiken frühzeitig in den Entwurf und die Architektur des Modells integrieren.
Ebenso wichtig ist Transparenz über die Grenzen von KI-Systemen hinweg: Sprachmodelle funktionieren bislang nur innerhalb bestimmter Kontexte zuverlässig – außerhalb dieser Trainingsdomäne liefern sie zwar plausible, aber potenziell fehlerhafte Ergebnisse. Die Entwickelnde sollten deshalb klar kommunizieren, wo das Modell zuverlässig funktioniert und wo nicht.
Mindset, Kontext und Urheberrecht
Wenn wir keine massiven Vertrauens- und Compliance-Probleme erleben möchten, dürfen wir zudem die Fragen zu Urheberrechten bei Trainingsdaten nicht vernachlässigen. Dann braucht es noch klare Testdaten, geeignete Evaluierungsinfrastruktur und eine laufende Überprüfung von Bias und Fairness.
Eine ausgewogene Kombination aus gesetzlicher Regulierung, technischer Selbstverpflichtung und schnell reagierender Governance ist dabei der Schlüssel für eine KI, mit der man demokratische Werte schützt und technologische Verantwortung übernimmt.
Greenbone: Glauben Sie, die EU hat hier einen Wettbewerbsvorteil?
Nguyen: Ja, die EU hat im globalen KI-Wettbewerb einen echten Vorteil – und dieser liegt im Vertrauen. Andere Regionen setzen vor allem auf Geschwindigkeit und Marktdominanz – und nehmen dafür, wie zuletzt in den USA geschehen, die Tech-Giganten weitestgehend aus der Verantwortung für gesellschaftliche Risiken. Dagegen etabliert Europa mit dem AI Act geradezu exemplarisch ein Modell, das auf Sicherheit, Datenschutz und menschenzentrierte Entwicklung setzt.
Gerade weil KI zunehmend in sensible Lebensbereiche vordringt, wird der Schutz persönlicher Daten und die Durchsetzung demokratischer Werte immer wichtiger. Die EU schafft mit ihrer Governance-Struktur verbindliche Standards, an denen sich viele Länder und Unternehmen weltweit orientieren. Dieser Fokus auf Werte wird sich langfristig für Europa auszahlen – und zwar für den Export von Technologien sowie die Stärkung des gesellschaftlichen Vertrauens in Demokratie und digitale Systeme vor Ort.
Besonders bei der Entwicklung menschenzentrierter KI ist Europa Vorreiter. Regulierung darf dabei jedoch nicht zum Innovationshemmnis werden: Vertrauen und Sicherheit müssen Hand in Hand gehen mit Investitionsbereitschaft, technologischer Offenheit und schneller Umsetzungsfähigkeit. Dann kann Europa Standards setzen – und eine eigene, wettbewerbsfähige KI-Identität aufbauen.
Greenbone-CEO Elmar Geese zu KI im Schwachstellenmanagement
Greenbone: Herr Geese, KI ist in aller Munde, welche Veränderungen bringt künstliche Intelligenz fürs Schwachstellenmanagement?
Geese: Ich denke, KI wird uns da viel Unterstützung bringen, aber ersetzen kann sie das Schwachstellenmanagement nicht. Zwar kann künstliche Intelligenz beispielsweise zeitaufwändige Routineaufgaben wie die Auswertung großer Datenmengen übernehmen, Muster erkennen und Vorschläge zur Priorisierung machen. Das Sicherheitsteam trifft aber stets die finalen Entscheidungen und hat volle Kontrolle, besonders bei komplexen oder kritischen Fällen, wo menschliches Kontextverständnis unverzichtbar ist.
Der gezielte Einsatz, mit „Augenmaß“ und Planung von KI im Schwachstellenmanagement, bringt zahlreiche Vorteile, ohne dass man die Kontrolle komplett aus der Hand geben muss. Wir setzen heute bereits KI ein, um unserer Kundschaft ein besseres Produkt bereitzustellen, ganz ohne dass dabei Kundendaten zu den Anbietenden der großen KI Dienste übertragen werden. Unsere „vertrauensvolle KI“ kommt komplett ohne Weitergabe und zentrales Sammeln von Daten aus.
Greenbone: Welche Risiken muss man da beachten?
Geese: Nach dem heutigen Stand der Technik beinhaltet der Einsatz von KI in sicherheitskritischen Bereichen einige Risiken, die es zu begrenzen gilt. Automatisierung bietet hier viele Chancen, aber auch Risiken wie Fehlentscheidungen, neue Angriffsflächen oder unerwünschte Systemeffekte. Eine KI „mit Augenmaß“ kombiniert menschliche und maschinelle Stärken, so dass technologische Vorteile wie Geschwindigkeit und Skalierbarkeit genutzt werden können, ohne das Fachpersonal zu entmachten oder Sicherheitsrisiken einzugehen.
Greenbone und KI
Greenbone setzt auf den gezielten Einsatz von Künstlicher Intelligenz, um Schwachstellen im IT-Bereich effizient zu erkennen und Prioritäten zu unterstützen. Dabei bleibt das Sicherheitsteam jederzeit in der Verantwortung und behält die Kontrolle, besonders bei sensiblen oder komplexen Entscheidungen. Datenschutz steht für uns an oberster Stelle: Kundendaten werden nicht an externe KI-Unternehmen weitergegeben.
Unser Ansatz verbindet die Vorteile moderner Technologien mit menschlichem Urteilsvermögen – für eine zeitgemäße und verantwortungsbewusste Cybersicherheit.
Gern stehen wir für weiterführende Informationen zur Verfügung.
