ooligo

LangSmith

ai-evaluation-observability agent-observability · tracing · llm-evals · agent-builder · agent-governance · agent-deployment
AI-NATIVE MCP API FREEMIUM
RevOpsLegal OpsRecruiting & TACustomer Success
7.9 /10

概要

LangSmith は LangChain Inc. の商用プラットフォームです。LLM アプリケーションとエージェント向けの tracing、評価、デプロイに加え、2026-03-19 からはコードを書かない人がエージェントを構築・共有・実行できるワークスペース Fleet を提供しています。LangChain は Harrison Chase が 2022 年に創業したオープンソースフレームワークの企業で、2025 年 10 月に評価額 12.5 億ドルで 1 億 2,500 万ドルを調達しました(Fortune、TechCrunch)。同社の会社紹介ページでは、LangSmith で 1 日 10 億件超のイベントを処理していると説明しています。

つまり 1 枚の請求書に 2 つの製品が載っており、ops の購買担当者は別々に評価すべきです。1 つ目は「エージェントは何をしたのか、直前の変更で悪化したのか」に答えます。2 つ目は「RevOps アナリストがエンジニアリングにチケットを切らずにサプライヤー登録エージェントを作れるか、そして IT はそれが何にアクセスしたかを把握できるか」に答えます。

実際に買っているもの

Tracing と evals。 計装したアプリの実行はすべてトレースツリーとして届き、絞り込み、注釈付け、dataset 化を行ったうえで、LLM ジャッジ、コード評価器、人手のレビューキューで採点できます。LangChain や LangGraph 上なら計装の手間はほぼゼロで、OpenTelemetry も取り込めるため、LangChain 以外のスタックも締め出されません。トレースは SmithDB に移行しました。これは LangChain が 2026-05-14 のカンファレンス Interrupt で発表した Rust 製のストアで、トレースツリーの P50 読み込み時間は 92 ms です。

Engine。 同じイベントでパブリックベータとして公開されました。本番トレースを監視し、失敗を issue にまとめ、評価器の下書きを作り、修正案付きの pull request を開きます。Plus では 6 時間ごとに実行され、1 回あたりおよそ 7〜45 LSU(1 LSU = 1 ドル)かかります。このコストこそ、既定でオンにしたままにせず意図的にスケジュールすべき理由です。

Fleet。 旧称 Agent Builder(2025 年 10 月)。エージェントは独自のメモリ、ツール、スキルを持ち、2 つの ID モードがあります。Claws は誰が起動しても固定の認証情報 1 セットで動き、Assistants は呼び出した本人として動作し、各ユーザーが OAuth で認証します。共有権限は「複製可」「実行可」「編集可」の 3 段階です。エージェントごとに専用の Slack ボットのハンドルを持たせることができ、承認が必要なアクションは Agent Inbox に届きます。スキルは Agent Skills 仕様に準拠し、LangSmith CLI で Claude Code、Cursor、Codex にダウンロードできます。2026 年 10 月以降、すべての Fleet エージェントは MCP サーバーおよび A2A エンドポイントとしても公開され、別途用意された LangSmith MCP サーバーを使えばモデルがあなたの runs、datasets、実験を読み取れます。

料金

langchain.com/pricing に掲載、2026-11-04 に確認:

  • Developer — 0 ドル。 1 シート、月 5,000 件までのベーストレース、以降は従量課金。Fleet の利用分として 7 LSU を含みます。枠を使い切ると Fleet は新規実行を一時停止します。
  • Plus — 1 シートあたり月 39 ドル。 月 10,000 件までのベーストレースを含み、シートは 1 つ 39 ドルで無制限に追加可能。Fleet 利用分 37 LSU、Serverless(Small)デプロイ 1 つ無料、Engine の利用が付きます。
  • Enterprise — 個別見積もり、年間請求。 クラウド、ハイブリッド(SaaS のコントロールプレーンと自社のデータプレーン)、完全セルフホストから選べ、2026-11-03 時点で AWS(GA)と Azure・Google Cloud(ベータ)での bring-your-own-cloud にも対応します。SSO、ABAC、RBAC はカスタム対応です。

ベーストレースの保持期間は 14 日、拡張トレースは追加料金で 180 日です。料金ページには 1,000 件あたりのトレース単価が記載されておらず、超過分、枠を超えた Fleet、デプロイ、サンドボックスはすべて LSU から差し引かれます。Fleet のモデル推論は LSU に含まれるためプロバイダーのキーは不要で、Fleet の各実行はそれ自体が課金対象のトレースになります。VC の出資を受けたスタートアップは最大 10,000 ドルのクレジットを申請できます。

実際の価格帯:Plus の 12 人チームは、含まれる 10,000 件を 1 件でも超える前の時点でシート代だけで月 468 ドルを払い、Engine をオンのままにすると 1 日 4 回の実行(各 7〜45 LSU)で Engine だけで 1 日 28〜180 ドルが加わります。Braintrust は同じ 12 人に対して月 249 ドルの Pro プランでシート代 0 ドルなので、この比較を左右するのは機能より人数です。2 人チームならシート代は月 78 ドルで、ここでは LangSmith の方が安くなります。

最適な用途

すでに LangChain や LangGraph で構築しており、tracing、evals、デプロイ、統制されたエージェントワークスペースを 1 社でそろえたい、シートが必要な人数がおよそ 10 人未満のプラットフォームチームや RevOps エンジニアリングチームです。うまく機能する Fleet の具体例は、ops リーダーが Slack から起動する intake 用または調査用のエージェントを Assistant の認証情報で公開するケースです。エージェントは質問したユーザーがアクセスできる範囲にしか届かず、承認は inbox に回ります。

向いていないケース

トレースのラベル付けにアカウントが必要な専門レビュアーが 20 人以上いるチームです。シート課金のせいで彼らが最大のコスト要因になります。まだ何もリリースしていないチームにも向きません。まずスクリプトで 20 件のテストケースを書いてください。また Microsoft 365 ネイティブのエージェントビルダーとしても不向きです。エージェントが Entra のガバナンス下で Teams や SharePoint に存在するなら、Fleet は 2 つ目のコントロールプレーンになります。

代替ツールとの比較

  • Braintrust — evals におけるフレームワーク非依存の最有力ライバルです。レビュアーがエンジニアより多い場合や、スタックが LangChain でない場合に選んでください。全プランでユーザー数無制限です。
  • Langfuse — 最も急成長している新興勢力で、オープンソースの選択肢です。MIT ライセンス、セルフホスト可能で、2026 年 1 月から ClickHouse 傘下にあります。データレジデンシーや大量のトラフィックによって従量課金の SaaS がどれも割に合わなくなり、運用できるチームがある場合に選んでください。
  • Arize Phoenix — 従来型 ML の監視ですでに Arize を使っている場合に選んでください。
  • Fleet に限れば: 会社が Microsoft 365 で動いているなら Microsoft Copilot Studio、非技術系チームが少ない設定で社内ナレッジに基づくアシスタントを求めるなら Dust、GTM のエージェントチームなら Relevance AI です。音声エージェントのテストについては、LangSmith がカバーしない部分を Coval がカバーします。

どれも合わない場合、単一の機能であれば、バージョン管理したテストケースのフォルダとそれを採点する CI ジョブが誠実な代替手段です。

注意点

  • LSU のメーターは 6 つの製品にまたがるため、請求書が読みにくくなります。 Fleet の実行、Engine の実行、デプロイ、サンドボックス、トレース超過分はすべて同じ残高から差し引かれ、Fleet の実行はさらにトレースとしてもカウントされます。2026-11-02 の changelog では、実行が二重請求されていた問題が修正されました。対策:ユーザー別・エージェント別のコストエンドポイント(/v1/fleet/usage/users、/v1/fleet/usage/agents)を週次レビューに組み込み、ワークスペースの支出上限を設定し、Engine は常時稼働ではなくスケジュール実行にしてください。
  • Claws は共有の認証情報を保持します。 Claw エージェントは実行できる全員に対して 1 つの ID で動作するため、「実行可」の権限は実質的にそのアカウントの権限を与えることと同じです。対策:CRM、メール、契約に触れるものはすべて Assistant モードを既定とし、Claws には最小権限のサービスアカウントを割り当て、「編集可」(inbox のレビューを含む)は名指しの担当者に限定してください。
  • モデルのラインナップは知らないうちに変わります。 Fleet は 2026 年 10 月初めに Kimi K2.6 を削除し、エージェントは既定のモデルに切り替わりました。対策:エージェントごとにモデルを固定し、本番エージェントごとに小さな評価用 dataset を用意して、モデルに関わる changelog の更新があるたびに再実行してください。
  • 保持期間は見た目より短いです。 ベーストレースは 14 日で消え、SaaS の長期保持は 2026-09-14 から 180 日が上限になりました。対策:監査に必要なトレースだけを拡張保持に切り替え、法務やコンプライアンスのレビューで 180 日を超えて必要になるものはすべてエクスポートしてください。