{"id":24466,"date":"2023-06-23T11:25:00","date_gmt":"2023-06-23T09:25:00","guid":{"rendered":"https:\/\/www.sysbus.eu\/?p=24466"},"modified":"2023-06-13T10:32:30","modified_gmt":"2023-06-13T08:32:30","slug":"ki-gestuetzte-programmierung-risiken-aber-auch-viel-potenzial","status":"publish","type":"post","link":"https:\/\/www.sysbus.eu\/?p=24466","title":{"rendered":"KI-gest\u00fctzte Programmierung: Risiken, aber auch viel Potenzial"},"content":{"rendered":"\n

Autor\/Redakteur: Nathan Hamiel, Senior Director of Research bei Kudelski Security<\/a>\/gg<\/p>\n\n\n\n

KI-Tools wie ChatGPT sorgen fast t\u00e4glich f\u00fcr Schlagzeilen. Programme, die Sprachmodelle f\u00fcr gro\u00dfe Textmengen (Large Language Models, kurz LLM) verwenden, gelten f\u00fcr viele als Allheilmittel f\u00fcr die Bew\u00e4ltigung praktischer Probleme in Wirtschaft und Gesellschaft. Andere machen sich Sorgen \u00fcber die sicherheitsrelevanten Auswirkungen der sogenannten Generative AI.<\/p>\n\n\n\n

\"\"<\/a>
Bild: Kudelski Security<\/figcaption><\/figure>\n\n\n\n\n\n\n\n

Wie so oft liegt die Wahrheit in der Mitte. Denn die Effektivit\u00e4t solcher KI-Assistenten oder Chatbots h\u00e4ngt zu gro\u00dfen Teilen davon ab, wie sie konkret eingesetzt werden, und wie gut sie ihre spezifischen Aufgaben erledigen. Dazu z\u00e4hlen beispielsweise das Schreiben von Computercode und der Einsatz von Modellen in Werkzeugen zum Programmieren und Verstehen von Code. Mit der steigenden Verbreitung von LLM-basierten Tools werden sich auch die Entwickler zunehmend mit diesen Werkzeugen besch\u00e4ftigen. Sie werden versuchen herauszufinden, wie sie damit ihre Produktivit\u00e4t steigern k\u00f6nnen, ohne die integrierte Entwicklungsumgebung verlassen und spezielle Ratgeberplattformen konsultieren zu m\u00fcssen.<\/p>\n\n\n\n

Irrationale Bedenken<\/strong><\/p>\n\n\n\n

Die Gef\u00e4hrdung bestimmter Berufsbilder ist ein h\u00e4ufig diskutiertes Thema im Zusammenhang mit LLM. So f\u00fcrchten Juristen um den Anwaltsberuf, weil mithilfe von ChatGPT praktisch jeder in der Lage sei, das Staatsexamen zu bestehen. Auch in Bezug auf das KI-gest\u00fctzte Schreiben von Code halten sich solche Bedenken hartn\u00e4ckig. Sie sind jedoch stark \u00fcbertrieben. Denn beim Anwaltsberuf geht es nicht nur darum, einfache juristische Fragen zu beantworten. Und Entwickler haben neben dem Schreiben von Code ebenfalls noch weitere, wesentlich komplexere Aufgaben.<\/p>\n\n\n\n

Zudem k\u00f6nnen KI-gest\u00fctzte Tools keine kompletten Programme schreiben oder kontextbezogene Entscheidungen auf Basis einer gro\u00dfen, vernetzten Code-Basis f\u00e4llen. Denn die Eingabeaufforderungen sind auf eine bestimmte Anzahl von Tokens begrenzt. Das hei\u00dft, es l\u00e4sst sich nur eine bestimmte Menge an Informationen aus dem aktuellen Kontext in die Anfrage an das Tool aufnehmen. Die derzeit verf\u00fcgbaren Codierungsassistenten sind jedoch nicht in der Lage, gro\u00dfe Dokumente zu analysieren, Anforderungen daraus abzuleiten und auf dieser Basis den entsprechenden Code zu generieren. Bevor diese Aufgabe mit einer akzeptablen Fehlerquote umsetzbar ist, m\u00fcssen erst noch einige Herausforderungen bew\u00e4ltigt werden.<\/p>\n\n\n\n

Gefahren bei der KI-gest\u00fctzten Programmierung<\/strong><\/p>\n\n\n\n

Gleichzeitig ist nicht von der Hand zu weisen, dass der Einsatz automatischer Codierungsassistenten eine Reihe von Risiken birgt. So wenden sie \u2013 \u00e4hnlich wie herk\u00f6mmliche LLMs \u2013 zum Teil sehr ungew\u00f6hnliche und r\u00e4tselhafte Ergebnisse auf die menschliche Sprache an.<\/p>\n\n\n\n

Ein weiteres Risiko stellt das \u201eAutomation Bias\u201c dar \u2013 also das Ph\u00e4nomen, dass Menschen den Vorschl\u00e4gen eines automatisierten Systems folgen, die ihrer eigenen Logik oder ihrem Bauchgef\u00fchl widersprechen. Auf Entwickler angewandt, kann deren implizites Vertrauen in die Ergebnisse des LLM die Implementierung von potenziell fehlerhaftem Code zur Folge haben und die Sicherheitslage des Unternehmens gef\u00e4hrden. Selbst funktionalen Code gibt ein KI-Tool nie ganz ohne Risiko aus.<\/p>\n\n\n\n

Hinzu kommen architektonische Herausforderungen. LLMs haben kein kontextbezogenes Wissen \u00fcber das Softwaresystem, das erstellt werden soll. Auch die damit verbundenen Ziele kennen sie nicht. Sie haben nur einen limitierten Einblick in den bereits geschriebenen Code. Arbeiten Entwickler beispielsweise an einer gro\u00dfen Code-Basis aus miteinander verbundenen Komponenten, kann das KI-Tool diesen Gesamtzusammenhang nicht verstehen und wird daher wahrscheinlich nur punktuelle Vorschl\u00e4ge machen. Dadurch kann es den Code unn\u00f6tig aufbl\u00e4hen und Wartungsprobleme verursachen.<\/p>\n\n\n\n\n\n\n\n

Ein weiteres Risiko sind Datenlecks. Die Anbieter stellen ihre KI-gest\u00fctzten Codierungsassistenten in der Regel \u201eas a service\u201c zur Verf\u00fcgung. Die in einer Eingabe-Aufforderung gesendeten Informationen k\u00f6nnen dadurch sensible Daten enthalten \u2013 etwa Tastatureingaben und andere Metadaten aus dem Projekt sowie Quellcode-Abschnitte, Kommentare und Telemetriedaten. Diese Daten sind sichtbar, wenn die Eingabe-Aufforderungen erstellt wurden, bevor sie am API-Endpunkt ankommen. Das Unternehmen hat keinen Einfluss darauf, wie diese Informationen erfasst, gespeichert oder sp\u00e4ter von den Drittanbietern verwendet werden \u2013 beispielsweise f\u00fcr interne Schulungen. M\u00f6glich ist zudem, dass der KI-Trainingsprozess nicht rein automatisiert abl\u00e4uft, sondern bestimmte Eingaben des Tools von Menschen \u00fcberpr\u00fcft werden.<\/p>\n\n\n\n

Trotz der Risiken ist das Potenzial enorm<\/strong><\/p>\n\n\n\n

Ein grunds\u00e4tzliches Verbot von Generative-AI-Assistenten kann allerdings ebenfalls zu Problemen f\u00fchren. So ist wahrscheinlich, dass die Programmierer die Tools ohne das Wissen der IT-Abteilung weiterverwenden. Solche Reaktionen lie\u00dfen sich w\u00e4hrend der Anf\u00e4nge des Cloud Computing vielerorts beobachten. Und vor allem sollte Unternehmen klar sein: KI-gest\u00fctzte Tools haben im ausgereiften Stadium das Potenzial, die Softwareentwicklung deutlich zu optimieren.<\/p>\n\n\n\n

Wie bei jeder neuen Technologie kommt es auch beim Einsatz von KI darauf an, durchdachte Konzepte auf der Basis bestehender Risiken zu entwickeln.Und es gibt bereits eine Vielzahl von Werkzeugen und Vorgehensweisen, um diese Gefahren einzud\u00e4mmen. Entscheidend ist eine Strategie, die die Verwendung bestimmter KI-Tools bei gleichzeitiger Risikominimierung vorsieht. Das hei\u00dft, die Security-Experten sollten die mit dem Einsatz von LLM verbundenen Gefahren genau kennen, um die n\u00f6tigen Gegenma\u00dfnahmen ergreifen zu k\u00f6nnen. Ziel sollte sein, das Potenzial der Generative-AI-Technologie ohne Sicherheitseinbu\u00dfen auszusch\u00f6pfen. Dazu z\u00e4hlt auch, m\u00f6gliche Probleme im Einsatz einzukalkulieren und den Output der KI zum Erstellungszeitpunkt als Alpha- oder Beta-Qualit\u00e4t einzustufen. Grunds\u00e4tzlich empfiehlt es sich, dass die Security-Verantwortlichen eng mit den Programmierern zusammenarbeiten, um die Tools sicher zu implementieren. Und alle, auch die Entwickler, sollten \u00fcber die bestehenden Risiken informiert sein.<\/p>\n\n\n\n

Zur Risikominimierung empfiehlt sich folgende Vorgehensweise:<\/p>\n\n\n\n

\"\"<\/a>
Grafik: Kudelski Security<\/figcaption><\/figure>\n\n\n\n

In Anbetracht der Risiken und des Fehlerpotenzials von KI-gest\u00fctzten Codierungsassistenten ist es sinnvoll, den von ihnen erstellten Code wie Beitr\u00e4ge von Dritten zu behandeln. Und das, auch wenn ein KI-Tools reibungslos funktioniert und keine Probleme macht \u2013 eine Sicherheitspr\u00fcfung ist immer ratsam.<\/p>\n\n\n\n

Fazit<\/strong><\/p>\n\n\n\n

KI-gest\u00fctzte Tools k\u00f6nnen Programmierer bei ihrer Arbeit unterst\u00fctzen und die Produktivit\u00e4t positiv beeinflussen. Es bleibt jedoch abzuwarten, wie sich ihr Einsatz auf die Sicherheit auswirken wird. Neue Technologien bieten nicht selten \u00dcberraschungen, die die Sicherheit gef\u00e4hrden. Hinzu kommen die rechtlichen Fragen: LLMs nutzen Inhalte, die Menschen irgendwann einmal verfasst haben \u2013 und f\u00fcr deren Nutzung wohl kaum jemand damals die Einwilligung erteilt hat. Erste rechtlichen Anfechtungen gab es bereits, und es ist davon auszugehen, dass es in Zukunft mehr werden.<\/p>\n\n\n\n

Nichtsdestotrotz: KI-gest\u00fctzte Tools und Codierungsassistenten sind aus dem beruflichen Alltag kaum noch wegzudenken. Wir haben gar keine andere Wahl, als uns mit ihnen grundlegend auseinanderzusetzen und eine klare Haltung in Bezug auf ihren Einsatz zu entwickeln.<\/p>\n","protected":false},"excerpt":{"rendered":"

KI-Tools wie ChatGPT sorgen fast t\u00e4glich f\u00fcr Schlagzeilen. Programme, die Sprachmodelle f\u00fcr gro\u00dfe Textmengen (Large Language Models, kurz LLM) verwenden, gelten f\u00fcr viele als Allheilmittel f\u00fcr die Bew\u00e4ltigung praktischer Probleme in Wirtschaft und Gesellschaft. Andere machen sich Sorgen \u00fcber die sicherheitsrelevanten Auswirkungen der sogenannten Generative AI.<\/p>\n","protected":false},"author":81,"featured_media":24469,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"colormag_page_container_layout":"default_layout","colormag_page_sidebar_layout":"default_layout","footnotes":""},"categories":[8,10036],"tags":[17254,6264,14761,17345,36],"class_list":["post-24466","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-artikel","category-kuenstliche-intelligenz","tag-chatgpt","tag-entwicklung","tag-kudelski-security","tag-llm","tag-sicherheit"],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/24466","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/users\/81"}],"replies":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=24466"}],"version-history":[{"count":1,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/24466\/revisions"}],"predecessor-version":[{"id":24470,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/24466\/revisions\/24470"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/media\/24469"}],"wp:attachment":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=24466"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=24466"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=24466"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}