Kosten und Nutzen generativer KI

Autor: Gabriel Frasconi, VP General Manager South Europe und Dach bei Freshworks

Was die generative Künstliche Intelligenz (KI) angeht, so müssen CIOs (Chief Information Officers) heutzutage einen schwierigen Balanceakt hinbekommen. Sie streiten sich um das Entwickeln von Lösungen und Anwendungen, die zukunftssicher sind und die – vor allem bei der generativen KI – enorme Renditen versprechen. Gleichzeitig ist es aber so, dass die generative KI, genau wie alle anderen technologischen Innovationen, versteckte Kosten mit sich bringt, die „Technologie Schulden“.

Diese sind ein Teil des Risikomanagements, den CIOs im Auge haben, seit Y2K sie in den Mittelpunkt gestellt hat. Darunter fallen alle Unternehmenskosten, die beim Einsatz neuer Technologien entstehen: Beheben von Softwarefehlern, die beim Start nicht behoben werden konnten; Installieren von Patches, nachdem unbekannte Schwachstellen aufgetaucht sind; Kosten für die Modernisierung der veralteten technischen Infrastruktur. Jahrelange Unternehmensinvestitionen in die digitale Transformation, Massenmigration zu Cloud-Software und -Systemen, immer komplexere Tech-Stacks und jetzt KI-generierter Softwarecode haben dazu beigetragen, dass die Rechnung in die Höhe schnellt.

Die generative KI ist hier die wichtigste neue Variable in der Gleichung. Während frühere Anwender mit jedem KI-Einsatz neue Risiken und zukünftige Schulden auf sich nehmen, bietet die Technologie eine vielversprechende Lösung für das Problem. Gartner prognostiziert, dass mit Hilfe generativer KI bis 2027 Legacy Tools ersetzt und die Modernisierungskosten von Unternehmen um 70 Prozent reduziert werden. Die Herausforderung besteht jedoch darin, dass es nicht für alle Modelle Standards gibt. Um alle Vorteile der generativen KI zu nutzen, müssen alle technischen Schulden konsequent angegangen werden – dieser Schritt ist unumgänglich.

Mit Innovation Schulden anhäufen

Large-Language-Modelle werden in sechs verschiedenen Medien eingesetzt: Text, Softwarecode, Bilder, Audio, Video und 3D/virtuelle Inhalte – diese Multimodalität erschwert das Management von unbekannten Risiken. Im Hinblick auf die technischen Schulden bringt generative KI dazu noch eine ganze Reihe neuer Herausforderungen mit sich. Expert:innen zufolge gibt es jedoch Möglichkeiten, das Problem in den Griff zu kriegen:

• Sicherstellen, dass KI-Modelle in Legacy-Systeme integriert werden können. Die zwei kritischen Bereiche des Schuldenrisikos sind Data Governance und die Integration von KI-Code in Altsysteme. Unternehmen, die nicht ausreichend in Datenqualität, Integration und Governance investiert haben, werden später vor großen Herausforderungen stehen. Als ersten Schritt müssen IT-Führungskräfte sicherstellen, dass ihr KI-Modell gut in die bestehende IT-Landschaft integriert werden kann.
• „LLMOps“ einrichten, um Vorgänge und Daten zu verwalten. Die Ausarbeitung eines speziellen Governance-Rahmens für Gen-KI-Anwendungen ist eine weitere wichtige Maßnahme. IT-Führungskräfte sollten die Struktur und Strenge, die DevOps- und AIOps-Teams bei konventionelleren Softwareimplementierungen bieten, replizieren und auf die LLM-Arbeit anwenden
• API-„Wrapper“ verwenden, um Code vor kontinuierlichen LLM-Risiken zu schützen. Wenn CX- oder EX-Entwicklungsteams LLMs einführen und implementieren, sind sie anfällig für gelegentliche Ausfälle und Änderungen, die über Nacht mehr Technologie Schulden anhäufen können. Interne KI-Entwicklungsteams können hier einen API-Wrapper erstellen, der es LLMs ermöglicht, ihre Ausgaben ohne Verzögerungen, Fehler oder externe Risiken abzuschließen. Angesichts des rasanten Wandels müssen Unternehmen, die LLMs einführen, Wege finden, um Anwendungsentwickler vor den störenden Veränderungen zu schützen.
• Kritische Risiken bei der Feinabstimmung von Sprachmodellen vermeiden. Es gibt viele offensichtliche Gründe für die Optimierung von LLM-Modellen, wie zum Beispiel eine bessere Qualität, Genauigkeit, Klang und andere Faktoren. Weit weniger offensichtlich sind die schwerwiegenden Risiken, die eine Feinabstimmung oft mit sich bringt. Selbst etwas scheinbar so Harmloses wie das Trainieren eines Modells mit einem für das Unternehmen spezifischen Datensatz kann neue Angriffsmöglichkeiten bieten. CIOs sollten dies zur Kenntnis nehmen und sich über die zu berücksichtigenden Auswirkungen im Klaren sein.

Für IT-Führungskräfte gilt eine einfache Faustregel: Sie sollten so proaktiv wie möglich sein, um neue KI-Risikofaktoren zu identifizieren und zukünftige Schulden zu vermeiden. Gleichzeitig sollten aber vielversprechende Anwendungen erkundet werden, die mit generativer KI verschiedene Formen von technischen Schulden bekämpfen. CIOs, die den Balanceakt zwischen KI-Innovation und technischem Schuldenmanagement meistern können, haben bessere Chancen, bei dem digitalen Wandel weitere unvorhergesehene Schulden zu vermeiden.