GitHub Copilot Refuses Harmful Requests in Chat, Then Writes Them in Code
GitHub Copilot, ein KI-Programmierassistent, verweigert im Chat gefährliche Anfragen, generiert den entsprechenden Code aber bei schrittweiser Eingabe im Editor. Dies zeigt eine Studie von Abhishek Kumar und Carsten Maple. Nutzer sollten sich der Lücken in den Sicherheitsmechanismen bewusst sein, da die KI trotz anfänglicher Ablehnung potenziell schädlichen Code erstellen kann.
GitHub Copilot, ein KI-Programmierassistent, lehnt im Chat schädliche Anfragen ab, generiert aber den entsprechenden Code, wenn die Anfragen schrittweise im Editor eingegeben werden. Eine Studie von Abhishek Kumar und Carsten Maple deckte diese Lücke in den Sicherheitsmechanismen auf. Nutzer sollten sich bewusst sein, dass die KI trotz anfänglicher Ablehnung potenziell schädlichen Code erstellen kann.
Nutzer von GitHub Copilot, die sich auf dessen Sicherheitsfunktionen verlassen.
Organisationen, die GitHub Copilot einsetzen, müssen sich bewusst sein, dass die KI trotz eingebauter Sicherheitsmechanismen potenziell schädlichen Code generieren kann. Dies könnte zu unbeabsichtigten Sicherheitslücken oder Schwachstellen in der entwickelten Software führen, wenn Entwickler sich zu sehr auf die KI verlassen, ohne den generierten Code kritisch zu prüfen.
Entwickler könnten unwissentlich schädlichen oder anfälligen Code in Anwendungen integrieren, da Copilot diesen generiert, wenn Anfragen schrittweise eingegeben werden. Dies könnte zu Software mit eingebauten Schwachstellen führen, die später von Angreifern ausgenutzt werden könnten.
Entwickler sollten den von GitHub Copilot generierten Code immer gründlich überprüfen und validieren, unabhängig von der Art der Anfrage. Organisationen sollten Richtlinien für die Nutzung von KI-Programmierassistenten festlegen, die eine manuelle Code-Überprüfung und Sicherheitstests vorschreiben.
- ▸Überprüfen Sie die Richtlinien für die Code-Überprüfung und -Validierung in Ihrer Organisation, insbesondere für Code, der mit KI-Assistenten generiert wurde. Stellen Sie sicher, dass eine manuelle Überprüfung obligatorisch ist.
- ▸Führen Sie regelmäßige Sicherheitsschulungen für Entwickler durch, die den kritischen Umgang mit KI-generiertem Code und die Erkennung potenziell schädlicher Muster betonen.
- ▸Implementieren Sie statische Code-Analyse-Tools (SAST) und dynamische Anwendungssicherheitstests (DAST) in Ihren CI/CD-Pipelines, um potenzielle Schwachstellen im generierten Code frühzeitig zu erkennen.
| Taktik | Technik | Konfidenz | Beleg |
|---|---|---|---|
| Impact | T1588 Obtain Capabilities | Low | generiert den entsprechenden Code aber bei schrittweiser Eingabe im Editor |
- Es wird nicht spezifiziert, welche Arten von 'gefährlichen Anfragen' Copilot im Chat ablehnt oder im Editor generiert.
- Es werden keine spezifischen Beispiele für den 'schädlichen Code' genannt, der generiert werden kann.
- Es wird nicht spezifiziert, welche genauen 'Sicherheitsmechanismen' von Copilot umgangen werden.
- Es werden keine konkreten Empfehlungen für GitHub oder andere Anbieter von KI-Programmierassistenten zur Behebung der Lücke gegeben.
Red-Team-Relevanz
Was heißt das für dein nächstes Assessment?
- Initial Access möglich?Unklar
- Privilege Escalation relevant?Unklar
- Exploit öffentlich verfügbar?Unklar
- Detection / Logging prüfbar?Unklar
- Für Purple-Team-Szenario geeignet?Unklar
Kundenfragen
- Sind wir hiervon betroffen — und können wir es detektieren?