Clevere KI-Integration: Agenten, Architektur & AI Act

In einer Welt im technologischen Umbruch stehen viele Unternehmen vor der Herausforderung, Künstliche Intelligenz (KI) gewinnbringend und rechtskonform zu implementieren. Unser Webinar "Clevere KI-Integration: Agenten, Architektur & AI Act" bot wertvolle Einblicke und Lösungsansätze von führenden Experten. Hier fassen wir die Kernpunkte der drei Vorträge für Sie zusammen.

AI-gestützte Dienstleistungen: Der Schlüssel zur agilen Digitalisierung

Mit dem Aufkommen von ChatGPT und den damit verbundenen Datenschutzbedenken beschloss wir bei Cudos im Jahr 2023, unser eigenes KI-System, "CudosGPT", zu entwickeln - einen sicheren internen Ersatz für ChatGPT. Dieses System wurde kontinuierlich um zusätzliche Assistenten und Funktionen erweitert. Nutzerinnen und Nutzer erhielten durch CudosGPT Zugriff auf internes Wissen, wie das Qualitätshandbuch, und können Assistenten für spezifische Systeme nutzen, beispielsweise zur Zeiterfassung ("RolX-Assistent") oder für die Finanzbuchhaltung. Diese KI-Funktionen wurden zudem in bestehende Benutzeroberflächen wie Google Meet, Standard-UIs und über Teams-Channels integriert.

Im Rahmen dieser Projekte haben sich einige grundlegende Überlegungen herauskristallisiert, die beim Umgang mit KI-Projekten berücksichtigt werden sollten:

• Modulare Services: Unabhängige, kleinere Services ermöglichen ein modulares System, das sich leicht erweitern lässt.
• Fail-Fast-Prinzip: Das Ausprobieren neuer Modelle in Form von Prototypen spart Zeit und Geld.
• UI-Unabhängigkeit: Die Benutzeroberfläche sollte unabhängig von den LLM-Services funktionieren, was einen einfachen Austausch ermöglicht. Dadurch können die Tools in verschiedenen Plattformen integriert und genutzt werden.
• Standardisierung: Die Standardisierung von Technologien und Prozessen, beispielsweise durch das Festlegen von Technologien und das Erstellen von Templates, fördert die Entwicklung mit KI-Unterstützung sowie die Einarbeitung neuer Mitarbeiter.
• Provider-Unabhängigkeit: Verschiedene Modelle besitzen unterschiedliche Stärken. Die Möglichkeit, diese einfach austauschen zu können, ist daher entscheidend. Bei Cudos wurde dies durch einen eigenen "LLM-Service" als Proxy für verschiedene Anbieter realisiert.
• KI-freundliche Schnittstellen: Unsere Systeme mussten um entsprechende Schnittstellen erweitert werden. Im Vortrag von Rainer Stropek wird genauer thematisiert, wie man das in modernen Systemen mit dem Model Context Protocol (MCP) umsetzen kann.

KI-Coding-Tools werden die Softwareentwicklung grundlegend verändern. Wenn die Softwareentwicklung durch KI-Tools signifikant günstiger wird, wird die Neuentwicklung von Individualsoftware oftmals kostengünstiger sein als die Nutzung unflexibler Standardsoftware. Um sich auf diesen Paradigmentwechsel vorzubereiten, plant Cudos ein Digitalisierungsteam als Enabler für die Entwicklung dieser Indvidualsoftware: ein festes Team mit Budget und umfangreichem Know-how, das ein "Firmenbetriebssystem" für agile KI-Entwicklung entwickelt. Dieses System kann auch von Mitarbeitenden ohne spezifischen Hintergrund in der Softwareentwicklung für individuelle Softwareprojekte genutzt werden. Dieses Prinzip ist auch bekannt als "Citizen Development". Für kleinere Skripte sind die Mitarbeitenden selbst verantwortlich, während das Digitalisierungsteam als Ansprechpartner für grössere Softwareprojekte, die mehrere Personen betreffen, zur Verfügung steht. Nur geschäftskritische Software liegt im Aufgabenbereich des Digitalisierungsteams, das diese professionell entwickelt und wartet.

KI-Agenten: Wie sie funktionieren und warum sie unser Arbeitsleben revolutionieren

Rainer Stropek zeigte im zweiten Vortrag, wie moderne KI-Frameworks sogenannte KI-Agenten anbieten, die auf leistungsstarken Sprachmodellen (LLMs) basieren und mit verschiedenen Tools ausgestattet sind. Diese Agenten sind in der Lage, autonom zu entscheiden, wie sie die ihnen zur Verfügung stehenden Werkzeuge zur Lösung von Aufgaben einsetzen. Das LLM kann die Tools jedoch nicht direkt steuern, stattdessen werden ihm diese lediglich textuell beschrieben. Basierend auf dieser Beschreibung fordert das LLM einen Client auf, das entsprechende Tool mit vom LLM definierten Parametern auszuführen. Moderne Agentensysteme sind sogar fähig, ad-hoc Code zu generieren, der dann in Echtzeit ausgeführt wird, um zum Beispiel ein Tool in einer Schlaufe zu verwenden.

Bereits im ersten Vortrag wurde das Thema der Provider- und UI-Unabhängigkeit angesprochen. Dieser Ansatz wird ebenfalls von den KI-Anbietern verfolgt, die sich auf ein standardisiertes Protokoll für externe Tools geeinigt haben - das sogenannte Model Context Protocol (MCP) . Dieses Protokoll ermöglicht es verschiedenen KI-Agenten, auf dieselben Tools zuzugreifen, was die Interoperabilität und Flexibilität in der Entwicklung von KI-Anwendungen erheblich fördert. Dabei folgt MCP dem klassischen Client-Server-Modell, wobei der Client Anfragen direkt an einen MCP Server schickt, der seinerseits Tools zur Verfügung stellt.

Eine noch neuer Entwicklung stellt das Agent-to-Agent-Protokoll dar. Dieses Protokoll ermöglicht es Agenten, direkt miteinander zu kommunizieren und Aufgaben gemeinsam zu lösen. Dadurch können Agenten nicht nur auf externe Tools zugreifen, sondern auch untereinander Informationen austauschen und kooperieren. Dies eröffnet neue Möglichkeiten für die Automatisierung von Prozessen und die Zusammenarbeit zwischen verschiedenen KI-Systemen.

KI-Agenten bringen jedoch auch Sicherheitsrisiken mit sich. Ein Agent, der direkten Zugriff auf eine Datenbank hat, könnte diese manipulieren oder sogar löschen. Daher ist es unerlässlich, solche Systeme ähnlich wie menschliche Benutzer zu behandeln – mit den entsprechenden Richtlinien und technischen Massnahmen zum Schutz vor Missbrauch.

EU AI Act in der Praxis

Caroline Gaul von MME Compliance AG zeigte uns abschliessend, was mit dem EU AI Act in der Praxis auf die Unternehmen zukommt. 

Die Schweiz plant derzeit keine umfassende KI-Regulierung. Der EU AI Act  hingegen hat weitreichende Auswirkungen auch auf Schweizer Unternehmen, die in der EU tätig sind oder deren KI-Systeme in der EU verwendet werden.

Der EU AI Act trat im August 2024 in Kraft und wird schrittweise umgesetzt. Das nächste relevante Datum ist der 2. August 2026, an dem die meisten übrigen Bestimmungen in Kraft treten. Er betrachtet KI-Systeme als Produkte und verfolgt einen risikobasierten Ansatz, der nach absteigendem Risiko differenziert:

1. Unannehmbares Risiko: Systeme wie Social Scoring sind verboten.
2. Hohes Risiko: Stark regulierte Systeme, wie etwa KI-Anwendungen in der Medizin oder im Personalwesen, unterliegen erhöhten Anforderungen in Bezug auf Risikomanagement, Datenverwaltung und menschliche Aufsicht.
3. Begrenztes Risiko: Dazu zählen beispielsweise Chatbots wie ChatGPT, die hauptsächlich Transparenzpflichten erfüllen müssen.
4. Minimales Risiko: Systeme wie Spamfilter sind kaum reguliert und haben wenig spezifische Anforderungen.

Risikoübergreifend besteht jedoch eine allgemeine Pflicht zur KI-Kompetenz, die für alle Unternehmen relevant ist. Das bedeutet, dass Unternehmen sicherstellen müssen, dass ihre Mitarbeitenden über die nötigen Kenntnisse und Fähigkeiten im Umgang mit den verwendeten KI-Systemen verfügen.

Der Act unterscheidet zwischen Anbietern (Entwicklern) und Betreibern (Nutzern), wobei die Hauptpflichten auf den Anbietern lasten. Die Definition eines KI-Systems ist komplex und noch nicht eindeutig festgelegt. Im Grunde soll sie jedoch Systeme erfassen, die über einfache Datenverarbeitung hinausgehen.

Wichtig für Schweizer Unternehmen ist, dass der AI Act auch für sie gilt, wenn sie als Anbieter KI-Systeme in der EU in Verkehr bringen oder als Betreiber KI-Systeme nutzen, deren Output in der EU verwendet wird.

Bei der Entwicklung von KI-Systemen ist zu beachten, dass man je nach Anwendungsfall schon durch geringfügige Änderungen zum Anbieter eines Hochrisiko-Systems werden kann. Wenn ein bestehendes KI-System unter eigenem Namen angeboten oder signifikante Anpassungen daran vorgenommen werden, wird man zum Anbieter dieses Systems. Sobald der Output des Systems in der EU genutzt wird, kommen die Pflichten des AI Acts dann auch für dieses System zur Anwendung.

Caroline Gaul empfiehlt daher Schweizer Unternehmen folgende Massnahmen:

1. Interne Rollen und Verantwortlichkeiten im Unternehmen klären.
2. KI-Inventur durchführen: Dabei ist zu analysieren, wo im Unternehmen KI eingesetzt wird und welche Systeme betroffen sind.
3. Use Cases auf Compliance prüfen: Für jeden Anwendungsfall muss ermittelt werden, ob er unter den EU AI Act fällt und welche Anforderungen dabei gelten.
4. Interne KI-Richtlinien erstellen und die KI-Kompetenz durch Schulungen fördern.

Das Webinar hat eindrucksvoll verdeutlicht: Eine clevere KI-Integration ist auch mit agilen Ansätzen und überschaubaren Budgets machbar. Technologien wie KI-Agenten und standardisierte Protokolle wie MCP bieten wegweisende Möglichkeiten zur Automatisierung, während der EU AI Act – auch für Schweizer Unternehmen – eine sorgfältige rechtliche Anpassung verlangt. Die interaktiven Umfragen und Diskussionen machten zudem deutlich, dass KI bereits breit in Unternehmen eingesetzt wird. Doch angesichts ihrer rasanten Weiterentwicklung ist es entscheidend, kontinuierlich am Ball zu bleiben, um Wettbewerbsfähigkeit zu sichern und gleichzeitig die Potenziale der KI verantwortungsvoll und regelkonform auszuschöpfen.