Choose your fighter: Balancing competing requirements to select models for your AI SOC
Cisco Talos hat 66 KI-Modell- und Reasoning-Kombinationen von Anthropic und OpenAI getestet, um deren Eignung für Aufgaben in Sicherheitsoperationszentren (SOC) und bei der digitalen Forensik zu bewerten. Es wurde keine eindeutige "beste" Lösung gefunden, sondern eine Methodik zur Auswahl des optimalen Modells basierend auf Effektivität, Kosten, Geschwindigkeit und Konsistenz entwickelt. Organisationen, die LLMs für SOC- oder DFIR-Workflows nutzen, sollten diese Faktoren sorgfältig abwägen, um negative Konsequenzen zu vermeiden.
Cisco Talos hat 66 KI-Modell- und Reasoning-Kombinationen von Anthropic und OpenAI für SOC- und DFIR-Aufgaben getestet. Es wurde keine einzelne „beste“ Lösung gefunden, sondern eine Methodik zur Auswahl des optimalen Modells basierend auf Effektivität, Kosten, Geschwindigkeit und Konsistenz entwickelt. Organisationen, die LLMs für Sicherheitsworkflows nutzen, müssen diese Faktoren sorgfältig abwägen, um negative Konsequenzen zu vermeiden.
Organisationen, die Large Language Models (LLMs) für Aufgaben in Sicherheitsoperationszentren (SOC) und bei der digitalen Forensik und Reaktion auf Vorfälle (DFIR) in Betracht ziehen oder bereits nutzen.
Die Auswahl des falschen KI-Modells kann zu ineffektiven Sicherheitsanalysen, erhöhten Kosten, langsameren Reaktionszeiten und inkonsistenten Ergebnissen führen, was die Fähigkeit einer Organisation zur Erkennung und Abwehr von Bedrohungen beeinträchtigt.
Eine Organisation implementiert ein ungeeignetes KI-Modell, das wichtige Sicherheitsereignisse nicht zuverlässig erkennt oder falsch interpretiert, was zu übersehenen Bedrohungen und einer verzögerten oder ineffektiven Reaktion auf Sicherheitsvorfälle führt.
Entwicklung einer eigenen, wiederholbaren Methodik zur Bewertung von LLMs, die Effektivität, Kosten, Geschwindigkeit und Konsistenz für spezifische SOC- und DFIR-Workflows berücksichtigt.
- ▸Überprüfen Sie, ob Ihre Organisation bereits eine Methodik zur Bewertung von KI-Modellen für Sicherheitsaufgaben implementiert hat, die Effektivität, Kosten, Geschwindigkeit und Konsistenz berücksichtigt.
- ▸Führen Sie interne Tests mit verschiedenen KI-Modellen und Reasoning-Kombinationen durch, um deren Eignung für Ihre spezifischen SOC- und DFIR-Workflows zu bewerten.
- ▸Dokumentieren Sie die Toleranz Ihrer Organisation für Untersuchungsqualität, Kosten, Geschwindigkeit, Konsistenz und Fehlerrate bei der Nutzung von LLMs für Sicherheitsaufgaben.
- Es werden keine spezifischen Schwachstellen oder Exploits genannt, sondern die Herausforderung der Modellbewertung.
- Es werden keine konkreten Angreifergruppen oder Kampagnen erwähnt.
- Es werden keine spezifischen CVEs oder IOCs genannt.
- Es werden keine spezifischen betroffenen Länder genannt.
Red-Team-Relevanz
Was heißt das für dein nächstes Assessment?
- Initial Access möglich?Ja
- Privilege Escalation relevant?Möglich
- Exploit öffentlich verfügbar?Unklar
- Detection / Logging prüfbar?Ja
- Für Purple-Team-Szenario geeignet?Unklar
Kundenfragen
- Haben wir Cisco extern erreichbar?
- Haben wir Windows extern erreichbar?
- Können wir Credential Access detektieren?
- Können wir Command & Control detektieren?