Hinweis auf verfuegbaren Angriffscode: proof of concept+10
Bewertung v1.2, deterministisch berechnet. Bedrohungswert und Konfidenz sind getrennte Größen.Methodik
Microsoft Researchers Show AI Agents Can Be Backdoored by Editing Fewer Than 10 Neurons
Microsoft-Forscher haben gezeigt, dass KI-Modelle durch die Bearbeitung von weniger als zehn Neuronen heimlich manipuliert werden können, um bei bestimmten Auslösern Angreiferbefehle auszuführen. Dies betrifft Open-Weight-Modelle, deren Gewichte geändert werden können. Benutzer sollten sich der Gefahr bewusst sein und die von Microsoft veröffentlichten Verteidigungsrichtlinien beachten, um sich vor solchen "Lazarus"-Angriffen zu schützen.
SecBoard-Einordnung
Diese Technik ermöglicht es Angreifern, KI-Modelle heimlich zu manipulieren, um bei bestimmten Auslösern bösartige Befehle auszuführen, was zu unautorisierten Aktionen durch den KI-Agenten führen kann.
Realistisch schlimmster Fall: Ein kompromittiertes KI-Modell könnte unbemerkt sensible Daten preisgeben, Systeme manipulieren oder andere schädliche Aktionen im Namen der Organisation ausführen, wenn ein spezifischer Auslöser im Input des Modells erscheint.
Empfehlung: Implementieren Sie die von Microsoft veröffentlichten Verteidigungsrichtlinien für KI-Modelle, insbesondere für Open-Weight-Modelle, um sich vor "Lazarus"-Angriffen zu schützen.
Betroffen
Organisationen, die Open-Weight-KI-Modelle verwenden, sind betroffen.
Prüfen
3- ▸Überprüfen Sie, ob in Ihrer Organisation Open-Weight-KI-Modelle eingesetzt werden.
- ▸Bewerten Sie die Implementierung der von Microsoft veröffentlichten Verteidigungsrichtlinien für KI-Sicherheit.
▸ 1 weitere▾ weniger
- ▸Führen Sie Audits und Integritätsprüfungen an den Neuronen Ihrer KI-Modelle durch, um unerwartete Änderungen zu erkennen.
Offene Punkte
3▸ anzeigen▾ ausblenden
- ▸Es ist nicht spezifiziert, welche spezifischen Open-Weight-KI-Modelle am anfälligsten sind.
- ▸Es ist nicht spezifiziert, welche konkreten Angreiferbefehle ausgeführt werden können.
- ▸Es ist nicht spezifiziert, welche genauen Verteidigungsrichtlinien Microsoft veröffentlicht hat.
MITRE ATT&CK(3)
Techniken aus allen Quellen zusammengeführt — nach Stärke des Belegs sortiert.
„Angreiferbefehle auszuführen“
„KI-Modelle können durch die Bearbeitung von weniger als zehn Neuronen heimlich manipuliert werden, um bei bestimmten Auslösern Angreiferbefehle auszuführen.“
„heimlich manipuliert werden, um bei bestimmten Auslösern Angreiferbefehle auszuführen“
Mehrere Herkünfte bei derselben Technik heißt: mehrere unabhängige Wege führen dorthin.
Quellen & Belege· 1 Quelle
Redaktionelle Berichterstattung, meist Zweitverwertung einer Primaerquelle.
- Nur eine Quelle — der Sachverhalt ist an keiner zweiten Stelle gegengelesen.