KI-Agenten in Production überwachen

Uptime-Monitoring reicht nicht. Was Sie wirklich erfassen müssen, warum Agenten-Ausfälle meist still sind und welche Tools die Branche heute nutzt.

Für CTOs, VP Engineering und IT-Verantwortliche · 12 Min. Lesezeit

Warum die Überwachung eines KI-Agenten anders ist

Klassisches Monitoring basiert auf einem einfachen Vertrag: Das System funktioniert oder nicht. Ein Server ist up oder down. Eine API liefert 200 oder 500. Alarme lösen aus, jemand behebt es.

KI-Agenten brechen diesen Vertrag. Ein Agent kann voll verfügbar sein — keine Crashes, keine Timeouts, keine Fehlercodes — und dennoch falsche Antworten liefern, das falsche Tool aufrufen oder Informationen erfinden. Aus Infrastruktur-Sicht wirkt alles gesund. Aus Nutzersicht ist der Agent kaputt.

Das Problem stiller Ausfälle. Die größten Production-Vorfälle mit Agenten werfen keine Exceptions. Sie sehen so aus: eine selbstbewusste Antwort, die sachlich falsch ist; ein Tool-Aufruf, der teilweise gelingt; ein Workflow, der bis zum Timeout in einer Schleife läuft. Keiner davon löst eine Standard-Alarmierung aus.

Daher setzt die KI-Branche auf einen weiteren Begriff als Monitoring: Observability. Es geht nicht nur darum zu wissen, ob der Agent läuft — sondern zu verstehen, was er Schritt für Schritt tut und ob er es richtig macht.

Was erfassen: die fünf Ebenen

Ein KI-Agent in Production erzeugt mehrere Arten von Telemetrie. Sie brauchen alle — jede Ebene deckt Ausfälle auf, die die anderen verpassen.

1. Traces

Eine Trace ist die vollständige Aufzeichnung einer Agent-Interaktion: jeder Schritt, jede Entscheidung, jeder Tool-Aufruf, jede Zwischenausgabe, mit Zeitstempel. Bei einem Multi-Step-Agenten kann eine Nutzeranfrage Dutzende interner Operationen auslösen. Ohne Traces wissen Sie bei einem Fehler nicht, in welchem Schritt er passiert ist oder warum.

Gute Traceability: Sie können jede vergangene Interaktion exakt nachspielen, jeden Schritt isoliert prüfen und den Ausführungspfad bei korrekter vs. fehlgeschlagener Ausführung vergleichen.

2. Qualitätsmetriken

Das trennt KI-Monitoring von Infrastruktur-Monitoring. Sie müssen messen, ob die Ausgaben des Agenten tatsächlich korrekt sind — nicht nur schnell und verfügbar.

• Task Completion Rate, Hallucination Detection (LLM-as-Judge), Tool-Auswahlqualität, Einhaltung von Anweisungen, Multi-Turn-Konsistenz.

3. Latenz — nach Perzentil, nicht Durchschnitt

Durchschnittslatenz verdeckt das Problem. Erfassen Sie p50, p95 und p99. Alerting auf p95 und p99, nicht auf Mittelwerte.

4. Kosten pro Request

Token-Kosten sind ungleich verteilt. Erfassen Sie Kosten auf Trace-Ebene, aufgeschlüsselt nach Modell, Endpoint und nach Möglichkeit nach Nutzersegment oder Workflow-Typ.

5. Drift über die Zeit

Ein Agent kann sich ohne Code-Änderung über Wochen verschlechtern. Führen Sie automatisierte Qualitätsbewertungen auf Stichproben aus dem Production-Traffic durch und vergleichen Sie die Scores wochenweise.

Wie Agenten-Ausfälle in Production aussehen

Falsches Tool mit Selbstvertrauen aufgerufen, Endlosschleifen, Kontextverlust in Multi-Turn-Gesprächen, Prompt-Drift nach dem Deployment — typische Muster. Explizite Abbruchbedingungen und Circuit Breaker sind Pflicht.

Die Tools der Branche

OpenTelemetry ist der De-facto-Standard. Langfuse (open-source, self-hosted), Arize Phoenix, LangSmith, Datadog LLM Observability — alle unterstützen OpenTelemetry. Die Wahl hängt von Datenkontrolle, Ökosystem-Fit oder Infra-Konsolidierung ab.

Monitoring für Compliance und Governance

In regulierten Branchen braucht ein Agent, der Entscheidungen beeinflusst, eine Audit-Trail: Eingaben, Ausgaben, Tool-Aufrufe, Modellversion. Azure AI Foundry: Observability für Agenten ergänzt Evaluations und Governance — beides nötig in regulierten Umgebungen.

Praktischer Einstieg

Tag 1: Traces (OpenTelemetry/Langfuse). Woche 1: Latenz- und Kosten-Dashboards, Alerts. Woche 2: Qualitätsevaluationen, Baseline. Monat 1: Drift-Monitoring, Segment-Aufschlüsselung. Laufend: Audit-Trail mit Versionskontext.

Monitoring eingebaut, nicht nachgerüstet

Origin 137 bietet Traces, Kosten-Dashboards und Qualitäts-Observability nativ — keine separate Instrumentierung. Jede Agenten-Ausführung wird von Tag eins an mit vollständigem Audit-Trail geloggt.

Kostenlos starten — keine Karte erforderlich

Quellen

OpenTelemetry, Microsoft Azure Agent Factory, UptimeRobot, Stack AI, Vellum (2025–2026).