KI-Code-Assistenten wie Github Copilot, Tabnine oder Captain Stack haben das Potenzial, die Hürde für die Programmierung zu senken und die Produktivität von Entwicklern zu erhöhen. Sie werfen aber auch Bedenken hinsichtlich Sicherheitslücken und Urheberrechtsfragen auf. Um diesen Bedenken zu begegnen, wurde eine Nutzerstudie durchgeführt, um zu untersuchen, wie Entwickler mit KI-Code-Assistenten interagieren und welche Sicherheitsrisiken sich daraus ergeben.
Die Studie konzentrierte sich auf drei Hauptforschungsfragen:
1. Unterscheidet sich die Verteilung der von den Nutzern eingebrachten Sicherheitsschwachstellen je nach Verwendung eines KI-Assistenten?
2. Trauen Nutzer KI-Assistenten zu, sicheren Code zu schreiben?
3. Wie beeinflussen die Sprache und das Verhalten der Nutzer bei der Interaktion mit einem KI-Assistenten das Ausmaß der Sicherheitslücken in ihrem Code?
Die Studie verwendete das OpenAI Codex-Davinci-002-Modell als KI-Code-Assistenten und ließ die Teilnehmer fünf sicherheitsrelevante Programmieraufgaben in verschiedenen Sprachen lösen. Die Studie ergab, dass Teilnehmer mit Zugang zu einem KI-Assistenten häufiger Code mit mehr Schwachstellen hinsichtlich Sicherheit produzierten als Teilnehmer ohne diesen Zugang. Außerdem waren Teilnehmer mit Zugang zum Assistenten eher der Meinung, sicheren Code zu schreiben, als die Teilnehmer ohne Zugang.
Um diese Ergebnisse besser zu verstehen, analysierte die Studie die Sprache und das Verhalten der Teilnehmer bei der Interaktion mit dem KI-Assistenten. Die Ergebnisse zeigten, dass Teilnehmer, die der KI weniger vertrauten und sich mehr mit der Sprache und dem Format ihrer Eingabeaufforderungen beschäftigten (z. B. Umformulierung, Anpassungen Parameter), mit größerer Wahrscheinlichkeit Code mit weniger Sicherheitslücken lieferten. Dies deutet darauf hin, dass KI-Code-Assistenten zwar die Hemmschwelle zum Programmieren für unerfahrene Benutzer senken, aber auch ein falsches Gefühl der Sicherheit vermitteln können.
Ein möglicher Grund für dieses falsche Sicherheitsgefühl ist die Tatsache, dass die Teilnehmer, die Zugang zum KI-Assistenten hatten, sich möglicherweise stärker auf die Ergebnisse der KI verlassen haben und sich weniger mit der Sprache und dem Format ihrer Aufforderungen auseinandergesetzt haben. Dieses Verhalten könnte zu einem Mangel an Verständnis oder kritischem Denken über den geschriebenen Code führen, was möglicherweise zu weiteren Sicherheitslücken führt. Es ist wichtig, dass sich die Nutzer von KI-Assistenten dieser potenziellen Falle bewusst sind und sich mit der Sprache und den Aufforderungen auseinandersetzen, um den generierten Code besser zu verstehen und seine Sicherheit zu gewährleisten.
Ein weiterer Faktor, der zu den höheren Raten von Sicherheitslücken im Code beigetragen haben könnte, ist die Tatsache, dass diese Teilnehmer seltener die Ausgaben der KI veränderten oder Parameter und Rückgabewerte anpassten. Dies könnte darauf hindeuten, dass die KI zu viele Befugnisse erhält, z. B. durch die Automatisierung der Parameterauswahl, was die Benutzer dazu verleiten könnte, sich weniger sorgfältig vor Sicherheitslücken zu schützen. Es ist wichtig, dass Code-Assistenten so konzipiert sind, dass sie die Benutzer dazu ermutigen, die Sicherheit ihres Codes proaktiv zu gewährleisten, anstatt sich ausschließlich auf die Ergebnisse der KI zu verlassen.
Bewertung der Studie
Diese Studie weist mehrere Einschränkungen auf, die bei der Interpretation der Ergebnisse berücksichtigt werden sollten. Eine Tatsache ist, dass die Teilnehmergruppe hauptsächlich aus Universitätsstudenten bestand (66%), die möglicherweise nicht die Bevölkerungsgruppe repräsentieren, die am ehesten regelmäßig KI-Hilfe nutzt, wie z. B. angestelle Softwareentwickler. Es ist möglich, dass Entwickler mit mehr Erfahrung und einem stärkeren Sicherheitshintergrund bei der Verwendung eines KI-Assistenten weniger anfällig für die Einführung von Sicherheitsschwachstellen sind. Außerdem wurde die Benutzeroberfläche für die Studie so allgemein wie möglich gestaltet, aber Aspekte wie der Standort des KI-Assistenten oder die Latenzzeit bei Abfragen könnten die Ergebnisse beeinflusst haben. Schließlich wäre eine größere Stichprobengröße erforderlich, um subtilere Effekte zu bewerten, wie z. B. den Einfluss des Hintergrunds oder der Muttersprache eines Benutzers auf seine Fähigkeit, erfolgreich mit dem KI-Assistenten zu interagieren und sicheren Code zu produzieren.
Trotz dieser Einschränkungen bieten die Ergebnisse dieser Studie wichtige Einblicke in die potenziellen Sicherheitsrisiken, die mit dem Einsatz von KI-Code-Assistenten verbunden sind. Es ist klar, dass Benutzer von KI-Assistenten, insbesondere solche mit weniger Erfahrung, zu einem falschen Sicherheitsgefühl neigen und eher dazu neigen, Sicherheitsschwachstellen in ihren Code einzubauen. Es ist wichtig, dass sich Entwickler dieses Risikos bewusst sind und Maßnahmen ergreifen, um die Sicherheit ihres Codes zu gewährleisten, z. B. indem sie sich mit der Sprache und dem Format ihrer Eingabeaufforderungen auseinandersetzen und die Sicherheit der KI-Ausgaben proaktiv testen und überprüfen. Darüber hinaus ist es wichtig, dass die Entwickler von KI-Code-Assistenten Möglichkeiten in Betracht ziehen, um die Benutzer zu ermutigen, die Sicherheit ihres Codes proaktiv zu gewährleisten, z. B. durch die Integration von Warnungen und Validierungstests auf der Grundlage des generierten Codes. Durch die Berücksichtigung dieser Aspekte kann es möglich sein, die Vorteile von KI-Code-Assistenten zu maximieren und gleichzeitig die potenziellen Sicherheitsrisiken zu minimieren.
