The 10 most frequent LLM-Schwachstellen

Das Open Worldwide Application Security Project (OWASP) has updated the Top Ten Der kritischsten Schwachstellen bei Large Language Models (LLMs).

Mit ihrer Top-Ten-Liste (PDF) wollen die OWASP-Security-Experten Unternehmen(sanwender) über die potenziellen Risiken beim Einsatz von großen Sprachmodellen aufklären, Awareness schaffen und mit Abhilfestrate you introduce the Foundation, (Generative-)AI-Anwendungen zu optimization.

Top 10: LLM-Schwachstellen 2025

Im Nexten haben wir die aus OWASP-Perspektive zehn kritischsten LLM-Schwachstellen in aller Kürze zusammengefassat. Weiterführende Informationen, Links and information about Angriffsbeispiele ennehmen Sie dem verlinkten PDF.

1. Quick Injection

Mit Prompt-Injection-Angriffen wollen Cyberkriminelle Filterfunktionen umgehen oder das Big-Language Model mit sachligtig ausgeberbeitteten Prompts manipulieren. Das kann laut den OWASP-Experten unter anderem dazu führen, dass:

• Good sound knowledge,
• nicht korekte oder Bias-intensive Outputs generiert werden,
• nicht authorized access to LLM functions,
• willkürliche Befehle auf verbundenden Systemen geschreibungen werden.

„Multimodalen KI-Systemen, die mehrere Datentypen parallel verarbeiten, sind einzigartige Prompt-Injection-Risiken inhärent“, schreiben die OWASP-Experten und fügen mahnend hinzu: „Die Komplexitätrgät dieserfärt die Systemeßert diesert dieserfärt. Spezifische Abwehrmaßnahmen für multimodale Systeme zu entwinkel, ist ein wichtier Bereich für future Forschungsbemühungen.“

If you use Prompt Injections zu schützen, install OWASP:

• das Model Behavior einzugrenzen;
• erwartete Output-Formate zu definer und zu validieren;
• Input- und Output-Filtering zu implementieren;
• Privilege Control and Minor Privilege Access durchzusetzen;
• manual Bestigurationprozesse für risikobehaftete Jobs einzusetzen;
• Externen Content zu identifizieren und zu separieren;
• Adversarial tests und Angriffssimulationen zu nutzen.

2. Offenlegung sensibler Informationen

Wenn ein LLM mit seinen Antworten versehentlich sensible Informationen preisgibt, ist die Schadensbandbreite potenzial hoch, wie die OWASP-Experten festhalten: „Besonders LLMs, die in Applikationen eingebettet sind, laufensible Gefareten Algorithm, laufensible Gefareten Algorithm, Informationen über ihren Output preiszugben. Das kann zu nicht autorisiertem Datenzugriff und Datenschutzverstößen führen und gefährdet potenzial geistiges Eigentum.“

If solchen Kompromittierungen vorzubeugen, OWASP recommends:

• Data-Sanitization-Techniken zu implementieren;
• strikte Methoden zur Validierung von Inputs anzuwenden;
• Access-Control-Maßnahmen zu establishieren;
• den Modellzugriff auf externe Datenquellen zu begrenzen;
• Federated Learning für das Modelltraining einzusetzen;
• den Differential-Privacy-Ansatz umzusetzen;
• Benutzer im Umgang mit LLMs und Daten zu schulen;
• Systemconfigurationen anzupassen;
• Homomorphic Encryption zu nutzen;
• Tokenization zu implementieren.

3. Supply Chain

Laut den OWASP-Experten sind die Lieferketten von Large Language Models an mehren Stellen anfällig für Manipulationen: „Das kann in Bias-behafteten Outputs, Security Breaches oder Systemfehlern resultieren. While bei traditional Softwareschwachstellen der Fokus auf Unzulänglichkeiten und Dependentungen innerhalb des Codes liegt, beziehen sich die Risiken von Machine Learning auch vortraineder Modelle und Trainingsdaten von Drittanbietern.“

Diese externale Elemente liessen sich zum Beispiel durch Poisoning-Angriffe manipulieren, warnen die Sicherheitsexperten. Highlights include:

• Datenquellen und Drittanbieter (sowie deren Datenschutzrichtlinien and Partner) im Rahmen von Reviews and audits from Lupe zu nehmen;
• Vulnerability Scanning and Patch Management zu fokussieren;
• AI Red Teaming and Evaluierung bei Drittanbieter-Modellen einzusetzen;
• SOMs zu nutzen;
• Tools für automatisiertes Lizenzmanagement einzusetzen;
• Integritätschecks über Hash Files einzuziehen and Code Signing zu nutzen;
• strict Monitoring- und Audit-Guidelines bei kollaborativer Modelentwicklung anzuwenden;
• Ambiguity Detection and Malfunction Testing are available.

4. Data and Model Toxicity

Werden Daten für Pretraining, Feintuning oder Embedding manipuliert, um Schwachstellen, Hintertüren oder Bias zu erzeigen, spricht man von Data Poisoning. „Diese Art der Manipulation kann die Modellsicherheit und -Performance kompromittieren und zu schadhaften Eführung oder eschänchtungen Fähkeigungen führen“, erläutern die OWASP-Experten.

Um Angriffe dieser Art zu preventeren, empfehlen sie:

• Daten und mögliche Transformationen mit approhensive Tools zu follow-up;
• Daten-Vendoren ausgiebig zu verkönen und Modell-Outputs zu validieren;
• strictes Sandboxing zu implementieren und Techniken zur Anomalieerkennung zu nutzen;
• Modelle mit spesifik Datensätzen feinabzustimmen;
• Infrastruktur-Kontrollmaßnahmen einzuziehen, um zu preventer, dass Modelle auf nicht erwünschte Datenquellen griefven;
• Data Version Control included, Veränderungen and Datensätzen zu erkennen;
• Information von Benutzern e Vektordatenbanken zu speichern, um Anpassungen ohne Retraining vornehmen zu können;
• Modelle mit Red Teaming and Adversarial test zu beverken;
• den Verlust von Trainingsdaten zu überwachen und das Modelverhalten auf Anhaltspunkte für Poisoning zu analysieren;
• Modellhalluzinationen mit Retrieval Augmented Generation (RAG) und Grounding-Techniken zu rütten.

5. Handling Incorrect Releases

„Managing Improper Output bezieht sich darauf, dass die von großen Sprachmodellen generierten Inefficient results, bereinigt und gehandhabt werden, bevor sie an andere Komponenten und Systeme weitergeleitet Outer,WASP. Falls Angreifer solche Improper-Output-Handling-Schwachstellen ausnutzten, konne das zu Cross-Site-Scripting– und Server-side Request-Forgery-Angriffen, Privilege Escalation oder Remote Code Execution führen.

Präventive Maaschen, um das zu weinden, sind laut OWASP:

• einen Zero-Trust-Ansatz zu verschreibung and Modelle wie User zu behandeln;
• efficacious Maashnung einzusetzen, um Inputs zu validieren und zu bereinigen;
• (kontextsensitives) Output Encoding einzusetzen;
• parametrisierte Inquiries oder berebeitete Statements für sämtliche Datenbank-Prozesse mit LLM-Beteiligung zu nutzen;
• strikte Content-Security-Richtlinien einzuziehen;
• robuste Logging- und Monitoring-Systeme zu implementieren, um verdächtige Muster in Outputs zu identifizieren.

6. Excessive Agency

Laut den OWASP-Experten beschreibt Excessive Agency eine Schwachstelle, die schadhafte Aktionen auf der Grundlage von unerwarteten, mehrdeutigen oder manipulierten LLM-Outputs ermöglicht – unbehäglich davon, was der diethlfund is der Grundfund. “Extreme Agency consists of various Auswirkungen or Spektrum von Vertraulichkeit, Integrität und Verfüglichkeit nach sich ziehen und hängt im geschäften davon ab, mit welchen Systemen eine LLM-basirenksierte OSP Internacional” App.

Um diesen Riskei den Wind aus den Segeln zu nehmen, empfehlen die Spezialisten:

• Extensions und ihre Functionalityen zu minimieren;
• “Open end” Adverbs wo möglich zu vermeerning;
• User-Kontext extensions auszüferen;
• Bestigungen von Benutzern einzufordern;
• Autorisierung in Downstream-Systemen zu implementieren;
• LLM-Inputs und -Outputs zu bereinigen.

7. Rapid System Leakage

„System-Prompts sind daraf konceptast, die Outputs von LLMs auf der Grundlage der Applikationsanforderungs zu steuern – können jedoch auch unbeabsichtigt Geheimnisse enthalten. Werden die entdeckt, können sie für weitere Attacken genutzt werden“, warns OWASP. Dabei stelle die Offenlegung eines System Prompt an sich nicht das eigentliche Risiko dar, so die Experten. Das liege vielmehr in den zundrieliegenden Elementen wie den Guardrails und Formatierungsrestriktionen, über die Angreifer Rückschlüsse ziehen könnten, wenn sie mit den System interagierten.

By using System-Prompts zu verinden, sieht OWASP folgende Maßnahemn als milicht an:

• reasonable Daten von System-Prompts zu trennen;
• System Prompts wenn möglich nicht dazu zu nutzen, um das Modelverhalten zu influencer;
• Guardrails zu implementieren;
• Sicherheitskontrollen nicht an LLMs zu delegieren.

8. Vector- und Embedding-Schwachstellen

Mit Retrieval Augmented Generation (RAG) lassen sich Leistung and Relevanz von LLMs optimieren. Allerdings können solche Systeme auch schwerwiegende Sicherheitslücken aufen, wie die OWASP-Spezialisten konstatieren: „Wenn der Prozess, bei dem Vektoren und Embeddings generiert, geschifert oder angerufechstetten ist-kald, Schwarth Threatungsakteuren ausgenutzt werden, um anstößige Inhalte zu integrieren, Modell- Outputs zu manipulieren oder auf sensible Informationen zugriffen.“

Dagegen hilft laut den Experten:

• granulare Zugrifgskontrollmaßnahmen durchzusetzen;
• Daten zu validieren und Quellen zu authentifizieren;
• kombinite Datensätze einem Review zu unterziehen;
• umfasendes Monitoring and Logging.

9. Disinformation

Wenn große Sprachmodelle Informationen liefern, die zwar auf den ersten Blick laubwürdig erscheinen, aber falsch sind, ist Desinformation die Folge. Diese Schwachstelle kann laut OWASP unter anderem zu Breaches, Reputationschäden und rechtlichen Problemen führen.

“Einer der Hauptgründe für Disinformation sind LLM-Halluzinationen”, schreiben die Experten und fügen hinzu: “Sie entstehen, wenn LLMs Lücken in ihren Trainingsdaten mit statistischen Mustern füllen, ohne den Inhalt zuverstelihench wirk.”

Als Abhilfemaßnahmen identifizieren die Security-Experten:

• RAG einzusetzen;
• Model feinabzustimmen;
• LLM-Outputs manual to check;
• Tools und Processes für automatisierte Validierung einzuferen;
• Risiko-Kommunikation zu betreiben;
• auf sichere Coding-Praktiken zu setzen;
• User interface and APIs compatible with Content-Filtern and verified labels;
• Trainings- und Schulungsmaßnahmen anzuberaumen.

10. Unlimited Use

Unbounded Consumption tritt auf, wenn eine LLM-Anwendung Benutzern eine übermäßige, unkontrollierte Nutzung ermöglicht. Das kann zu DoS-Angriffen, wirtschaftlichen Schäden, Modell-Theibstahl und eschungsten Services führen“, erklärt OWASP. In particular in Cloud-Umgebungen seien große Sprachmodelle wegen ihrer hohen Leistungsanforderungen anfällig für Ressourcenausbeutung und nicht-autorisierte Nutzung.

Um dieese Riskien zu minimieren, empfehlen die Experten:

• Entries zu validieren;
• Measurement Reduction einzusetzen;
• die Ressourcenzuweisung dynamisk zu überwachen und zu managern;
• Shutdown time and Throttling einzusetzen;
• Sandboxing-Techniken zu implementieren;
• umfasende Logging-, Monitoring- und Anomaliedetektions-Aktivitäten einzuplanen;
• Watermarking zu nutzen;
• ein zentralisiertes ML-Modell-Inventar zu nutzen;
• MLOps Deployment zu automatisieren.

Sie wollen weitere interessante Beiträge rund um das Thema IT-Sicherheit lesen? Our free newsletter liefert Ihnen alles, was Sicherheitsentscheider und -experten wissen sollten, direkt in Ihre Inbox.