LangSmith

Was es ist

LangSmith ist die kommerzielle Plattform von LangChain Inc.: Tracing, Evaluation und Deployment für LLM-Anwendungen und Agents, dazu — seit dem 2026-03-19 — Fleet, ein Workspace, in dem Menschen ohne Programmierkenntnisse Agents bauen, teilen und ausführen. LangChain, das Open-Source-Framework-Unternehmen, das Harrison Chase 2022 gegründet hat, sammelte im Oktober 2025 125 Mio. $ bei einer Bewertung von 1,25 Mrd. $ ein (Fortune, TechCrunch). Laut eigener Unternehmensseite verarbeitet LangSmith mehr als 1 Milliarde Events pro Tag.

Das sind zwei Produkte auf einer Rechnung, und ein Ops-Einkäufer sollte sie getrennt bewerten. Das erste beantwortet: „Was hat unser Agent getan, und hat die letzte Änderung ihn verschlechtert?” Das zweite: „Kann der RevOps-Analyst den Agent für die Lieferantenaufnahme ohne Engineering-Ticket bauen, und kann die IT sehen, worauf er zugegriffen hat?”

Was Sie tatsächlich kaufen

Tracing und Evals. Jeder Lauf einer instrumentierten App landet als Trace-Baum, den Sie filtern, annotieren und in ein Dataset überführen und dann mit LLM-Judges, Code-Evaluatoren oder Queues für menschliches Review bewerten. Auf LangChain oder LangGraph ist der Instrumentierungsaufwand nahe null, und die Plattform nimmt auch OpenTelemetry an, sodass ein Stack ohne LangChain nicht ausgeschlossen ist. Traces liegen inzwischen in SmithDB, einem Rust-Speicher, den LangChain auf seiner Konferenz Interrupt am 2026-05-14 angekündigt hat, mit einer P50-Ladezeit des Trace-Baums von 92 ms.

Engine. Auf derselben Veranstaltung als Public Beta gestartet: beobachtet Produktions-Traces, gruppiert Fehler zu Issues, entwirft Evaluatoren und öffnet Pull Requests mit Korrekturvorschlägen. Es läuft im Plus-Plan alle 6 Stunden und kostet etwa 7–45 LSU pro Lauf (1 LSU = 1 $). Genau diese Kosten sind der Grund, es bewusst zu planen, statt es standardmäßig eingeschaltet zu lassen.

Fleet. Früher Agent Builder (Oktober 2025). Agents haben eigenes Gedächtnis, eigene Tools und Skills und kommen in zwei Identitätsmodi: Claws laufen mit einem festen Satz von Zugangsdaten, egal wer sie auslöst, und Assistants handeln als die Person, die sie aufruft, wobei sich jeder Nutzer per OAuth authentifiziert. Freigaben haben drei Stufen — klonen, ausführen, bearbeiten. Jeder Agent kann einen eigenen Slack-Bot-Handle bekommen, und Aktionen, die eine Freigabe brauchen, landen in einer Agent Inbox. Skills folgen der Agent-Skills-Spezifikation und lassen sich mit der LangSmith-CLI in Claude Code, Cursor oder Codex herunterladen. Seit Oktober 2026 ist jeder Fleet-Agent zusätzlich als MCP-Server und A2A-Endpunkt erreichbar, und ein separater LangSmith-MCP-Server lässt ein Modell Ihre Runs, Datasets und Experimente lesen.

Preise

Veröffentlicht auf langchain.com/pricing, geprüft am 2026-11-04:

• Developer — 0 $. Ein Seat, bis zu 5.000 Base Traces pro Monat, danach Pay-as-you-go; 7 LSU Fleet-Nutzung inklusive. Fleet pausiert neue Läufe, wenn das Kontingent aufgebraucht ist.
• Plus — 39 $ pro Seat und Monat. Bis zu 10.000 Base Traces pro Monat inklusive, unbegrenzt viele Seats zu je 39 $, 37 LSU Fleet-Nutzung, ein kostenloses Serverless-Deployment (Small), Zugang zu Engine.
• Enterprise — individuell, Jahresrechnung. Cloud, Hybrid (SaaS-Control-Plane, Ihre Data Plane) oder vollständig selbst gehostet, dazu seit dem 2026-11-03 Bring-your-own-Cloud auf AWS (GA) sowie Azure und Google Cloud (Beta). Individuelles SSO, ABAC und RBAC.

Base Traces werden 14 Tage aufbewahrt, Extended Traces gegen Aufpreis 180 Tage. Die Preisseite nennt keinen Preis pro 1.000 Traces — Mehrverbrauch, Fleet über das Kontingent hinaus, Deployments und Sandboxes ziehen alle LSU ab. Die Modell-Inferenz von Fleet ist in den LSU enthalten, ein Provider-Key ist also nicht nötig, und jeder Fleet-Lauf ist selbst ein abgerechneter Trace. VC-finanzierte Startups können bis zu 10.000 $ an Credits beantragen.

Die reale Spanne: Ein 12-köpfiges Team im Plus-Plan zahlt 468 $/Monat für Seats, bevor ein einziger Trace über die inkludierten 10.000 hinausgeht, und Engine allein addiert 28–180 $ pro Tag bei vier Läufen (je 7–45 LSU), wenn es eingeschaltet bleibt. Braintrust berechnet denselben 12 Personen 0 $ für Seats im Pro-Plan für 249 $/Monat, die Kopfzahl entscheidet diesen Vergleich also stärker als der Funktionsumfang. Ein Zwei-Personen-Team zahlt 78 $/Monat für Seats, und dort ist LangSmith günstiger.

Am besten für

Ein Plattform- oder RevOps-Engineering-Team, das bereits auf LangChain oder LangGraph baut, Tracing, Evals, Deployment und einen gesteuerten Agent-Workspace von einem Anbieter will und weniger als etwa zehn Personen hat, die einen Seat brauchen. Der konkrete Fleet-Fall, der funktioniert: Eine Ops-Leitung stellt einen per Slack ausgelösten Intake- oder Recherche-Agent mit Assistant-Zugangsdaten bereit, sodass der Agent nur erreicht, was der anfragende Nutzer erreicht, und Freigaben in die Inbox gehen.

Nicht für

Teams mit mehr als 20 Fachreviewern, die Konten zum Labeln von Traces brauchen — die Abrechnung pro Seat macht sie zum dominanten Kostenblock. Nicht für ein Team, das noch nichts ausgeliefert hat; schreiben Sie zuerst 20 Testfälle in ein Skript. Und nicht als Microsoft-365-nativer Agent-Builder: Wenn Ihre Agents in Teams und SharePoint unter Entra-Governance leben, ist Fleet eine zweite Control Plane.

Im Vergleich zu den Alternativen

• Braintrust — der stärkste framework-unabhängige Konkurrent bei Evals. Wählen Sie es, wenn Reviewer die Engineers zahlenmäßig übertreffen oder Ihr Stack nicht auf LangChain basiert; jeder Plan hat unbegrenzt viele Nutzer.
• Langfuse — der am schnellsten wachsende Neueinsteiger und die Open-Source-Antwort: MIT-lizenziert, selbst hostbar, seit Januar 2026 im Besitz von ClickHouse. Wählen Sie es, wenn Datenresidenz oder hohes Volumen jedes nutzungsbasierte SaaS verlieren lassen und Sie ein Team für den Betrieb haben.
• Arize Phoenix — wählen Sie es, wenn Sie Arize bereits für klassisches ML-Monitoring nutzen.
• Speziell für Fleet: Microsoft Copilot Studio, wenn das Unternehmen auf Microsoft 365 läuft; Dust, wenn nicht-technische Teams Assistenten mit Firmenwissen bei weniger Konfiguration wollen; Relevance AI für GTM-Agent-Teams. Für das Testen von Voice-Agents deckt Coval ab, was LangSmith nicht abdeckt.

Passt keine davon, ist ein versionierter Ordner mit Testfällen plus ein CI-Job, der sie bewertet, die ehrliche Rückfalloption für eine einzelne Funktion.

Stolpersteine

• Der LSU-Zähler deckt sechs Produkte ab, die Rechnung ist daher schwer zu lesen. Fleet-Läufe, Engine-Durchläufe, Deployments, Sandboxes und Trace-Mehrverbrauch ziehen aus demselben Topf, und jeder Fleet-Lauf zählt zusätzlich als Trace. Der Changelog vom 2026-11-02 behob doppelt abgerechnete Läufe. Absicherung: Holen Sie die Kosten-Endpunkte pro Nutzer und pro Agent (/v1/fleet/usage/users, /v1/fleet/usage/agents) in ein wöchentliches Review, setzen Sie Ausgabenlimits für den Workspace und planen Sie Engine, statt es dauerhaft laufen zu lassen.
• Claws halten geteilte Zugangsdaten. Ein Claw-Agent handelt mit einer Identität für alle, die ihn ausführen dürfen, das Recht „ausführen” entspricht also faktisch den Berechtigungen dieses Kontos. Absicherung: Nutzen Sie standardmäßig den Assistant-Modus für alles, was CRM, E-Mail oder Verträge berührt, geben Sie Claws Servicekonten mit minimalem Scope und beschränken Sie „bearbeiten” (inklusive Inbox-Review) auf namentlich benannte Verantwortliche.
• Das Modellangebot ändert sich ohne Ihr Zutun. Fleet hat Kimi K2.6 Anfang Oktober 2026 entfernt, und Agents fielen auf ein Standardmodell zurück. Absicherung: Legen Sie das Modell pro Agent fest, pflegen Sie für jeden produktiven Agent ein kleines Eval-Dataset und führen Sie es nach jedem Changelog-Eintrag, der Modelle betrifft, erneut aus.
• Die Aufbewahrung ist kürzer, als sie aussieht. Base Traces verschwinden nach 14 Tagen, und die Langzeitaufbewahrung im SaaS ist seit dem 2026-09-14 auf 180 Tage begrenzt. Absicherung: Stufen Sie nur die Traces, die Sie für Audits brauchen, auf Extended Retention hoch und exportieren Sie alles, was eine Rechts- oder Compliance-Prüfung über 180 Tage hinaus benötigt.