AI Recommendation Poisoning: How "Ask AI" Buttons Silently Alter LLM Memory
Eine neue Art der Prompt-Injection, bekannt als "AI Recommendation Poisoning", manipuliert LLM-Gedächtnisse über prä-gefüllte Deep-Links in "Ask AI"-Buttons auf Webseiten. Nutzer, die diese Buttons anklicken, könnten unwissentlich schädliche Payloads aktivieren, die die KI beeinflussen. Es wird empfohlen, Vorsicht walten zu lassen und die Nutzung solcher Funktionen kritisch zu hinterfragen.
Eine neue Prompt-Injection-Technik namens "AI Recommendation Poisoning" manipuliert das Gedächtnis von Large Language Models (LLMs) auf kommerziellen Websites. Diese Methode nutzt prä-gefüllte Deep-Links in "Ask AI"-Buttons, um schädliche Payloads zu aktivieren, wenn Nutzer darauf klicken. Organisationen sollten ihre "Ask AI"-Button-Implementierungen auf bösartige Deep-Links überprüfen, um ihre LLMs und Nutzerinteraktionen zu schützen.
Organisationen, die "Ask AI"-Buttons oder ähnliche Funktionen auf ihren Websites verwenden, insbesondere in den Bereichen Behörden und Telekommunikation.
Diese Technik kann die Integrität von KI-Modellen untergraben und Nutzer unwissentlich schädlichen Inhalten oder manipulierten Informationen aussetzen, was zu Reputationsschäden und Fehlentscheidungen führen kann.
Ein LLM wird durch eine bösartige Payload so manipuliert, dass es falsche oder schädliche Empfehlungen an Nutzer gibt, was zu finanziellen Verlusten, rechtlichen Problemen oder dem Verlust des Kundenvertrauens führt.
Überprüfen Sie alle "Ask AI"-Button-Implementierungen auf Ihrer Website auf prä-gefüllte Deep-Links, die potenziell schädliche Payloads enthalten könnten. Implementieren Sie strenge Validierungs- und Filtermechanismen für alle Eingaben, die an LLMs gesendet werden.
- ▸Überprüfen Sie alle "Ask AI"-Buttons auf Ihren Websites auf prä-gefüllte Deep-Links und analysieren Sie deren Parameter auf ungewöhnliche oder potenziell schädliche Inhalte.
- ▸Implementieren Sie Logging für alle Interaktionen mit "Ask AI"-Buttons und den nachfolgenden LLM-Anfragen, um verdächtige Muster oder manipulierte Prompts zu erkennen.
- ▸Führen Sie regelmäßige Sicherheitsaudits Ihrer Webanwendungen durch, die LLMs integrieren, um Schwachstellen im Zusammenhang mit Prompt-Injection zu identifizieren.
| Taktik | Technik | Konfidenz | Beleg |
|---|---|---|---|
| Impact | T1565 Data Manipulation | High | manipuliert LLM-Gedächtnisse |
| Initial Access | T1190 Exploit Public-Facing Application | Medium | prä-gefüllte Deep-Links in "Ask AI"-Buttons auf Webseiten |
- Spezifische Beispiele für schädliche Payloads, die über diese Methode injiziert werden können.
- Konkrete technische Details der Deep-Link-Struktur, die für die Manipulation verwendet wird.
- Informationen darüber, welche kommerziellen Websites bereits von dieser Technik betroffen sind.
Red-Team-Relevanz
Was heißt das für dein nächstes Assessment?
- Initial Access möglich?Unklar
- Privilege Escalation relevant?Unklar
- Exploit öffentlich verfügbar?Möglich
- Detection / Logging prüfbar?Ja
- Für Purple-Team-Szenario geeignet?Möglich
Kundenfragen
- Können wir Reconnaissance detektieren?
- Können wir Resource Development detektieren?