エージェントのガバナンス・評価

「勝手に動くAI」の暴走を防ぐ。Pythonエージェントのガバナンスと自動評価実践ガイド

この記事は急速に進化する技術について解説しています。最新情報は公式ドキュメントをご確認ください。

2026年5月16日更新 2026年5月16日約9分で読めます

文字サイズ:

「勝手に動くAI」の暴走を防ぐ。Pythonエージェントのガバナンスと自動評価実践ガイド

なぜエージェントには「手綱」が必要なのか：ガバナンスと評価の基本概念

AIエージェントの開発において、「LLMの性能が向上すれば、自律的に正しい行動をとってくれるはずだ」という考え方は珍しくありません。しかし、専門家の視点から言えば、これは大きな誤解です。自律性が高まれば高まるほど、エージェントは予期せぬ経路を辿り、ビジネスリスクを引き起こす可能性が高まります。

自律性がもたらすリスクの正体

従来のソフトウェア開発では、入力に対して決定論的な出力が返されるため、ユニットテストで品質を担保できました。しかし、LLMをコアに据えたエージェントは確率的に動作します。ツール（APIなど）の呼び出し順序を自ら決定し、エラーが発生すれば独自の判断でリトライを試みます。

この自律性が引き起こす典型的なリスクとして、以下のようなケースが報告されています。

無限ループによるコスト爆発：エラーを解決できず、同じAPIを延々と叩き続ける。
ハルシネーションの連鎖：誤った前提に基づいて次のツールを呼び出し、被害が拡大する。
不適切なフォーマット：後続のシステムがパースできない非構造化テキストを出力し、パイプラインがクラッシュする。

ガバナンス・評価・監視の3要素

これらのリスクを抑え込み、本番投入で破綻しないエージェントを構築するためには、以下の「三位一体」のアプローチが不可欠です。

ガバナンス（制御）：エージェントが逸脱した行動をとらないよう、入出力に厳格なガードレールを設ける。
評価（測定）：正解が一つではない出力に対し、客観的かつスケーラブルなスコアリングの仕組みを構築する。
監視（追跡）：ブラックボックス化しやすい思考プロセスを可視化し、異常を即座に検知・遮断する。

次項から、これらの要素をPythonの実装に落とし込む具体的な方法を解説します。

ステップ1：ガードレールによるガバナンスの実装（制御）

エージェントの出力を制御する第一歩は、「構造化された出力」を強制することです。プロンプトで「JSON形式で出力してください」と指示するだけでは、余計な文字列（「わかりました。以下のJSONを出力します」など）が混入するリスクを排除できません。

Pydanticによる構造化出力の強制

Python環境では、Pydantic v2を活用して厳格なスキーマを定義し、LLMの出力を型安全に受け取るアプローチが一般的です。OpenAI API や Anthropic API を利用する場合にも、LangChain などのライブラリと組み合わせることで構造化出力（Structured Outputs）を扱いやすくできます。

本記事では、エージェント基盤として LangChain を主な例に取りつつ、オーケストレーション層として LangGraph、観測基盤として LangSmith を利用することを前提としています。それぞれのツールの役割は次のとおりです。

OpenAI / Anthropic: LLMおよびツール呼び出し用API
LangChain: プロンプト・ツール呼び出し・チェーンの定義
LangGraph: エージェントの状態遷移とループ制御
LangSmith: トレース・評価ログの収集と可視化

from pydantic import BaseModel, Field

# エージェントの出力を定義するスキーマ
class AgentOutput(BaseModel):
    thought_process: str = Field(
        description="最終的な結論に至るまでの推論プロセスを詳細に記述してください。"
    )
    final_answer: str = Field(
        description="ユーザーに提示する最終的な回答。"
    )
    confidence_score: float = Field(
        ge=0.0, le=1.0, 
        description="この回答の自信度を0.0から1.0の間で評価してください。"
    )

【コードの解説】
ここでは、エージェントの出力に「思考プロセス」「最終回答」「自信度」の3つを強制しています。FieldのdescriptionはLLMに対する指示として機能します。特にconfidence_scoreにge=0.0（0以上）、le=1.0（1以下）という制約を設けることで、想定外の数値が返ってくることを防ぎます。自信度が閾値（例：0.7）を下回った場合は、人間のオペレーターにエスカレーションするといったロジックを組むことが可能になります。

Guardrails AIを用いた入力・出力フィルタリング

より高度な制御が必要な場合は、機密情報のマスキングや不適切発言のブロックに特化したガードレールツールの導入が検討されます。これにより、LLMの出力が事前に定義したポリシー（例：個人情報を含まない、特定の競合他社に言及しない）に違反していないかを自動検証し、違反時には再生成を促すか、安全なデフォルト値にフォールバックさせることができます。

ステップ2：LLM-as-a-Judgeによる自動評価パイプライン（測定）

ステップ1：ガードレールによるガバナンスの実装（制御） - Section Image

エージェントの振る舞いを制御できるようになったら、次はその「品質」をどう測定するかという問題に直面します。人間が目視で確認する方法はスケールしません。

そこで業界で一般的に採用されているのが「LLM-as-a-Judge（裁判官としてのLLM）」というアプローチです。エージェントとは別の強力なLLMを用意し、事前に定義した評価基準に基づいてエージェントの出力を採点させます。

カスタム評価プロンプトの設計

評価を安定させるためには、評価用のLLMに対して明確なルーブリック（採点基準）を与える必要があります。

from langchain_core.prompts import ChatPromptTemplate
from pydantic import BaseModel, Field

# 評価結果のスキーマ
class EvaluationResult(BaseModel):
    score: int = Field(ge=1, le=5, description="1から5のスコア")
    reasoning: str = Field(description="そのスコアをつけた具体的な理由")

# 評価用プロンプトの定義
eval_prompt = ChatPromptTemplate.from_messages([
    ("system", """
    あなたは厳格な品質評価者です。以下の基準に従ってエージェントの回答を1〜5点で評価してください。
    5点: 質問に完全に答えており、情報が正確で、かつ簡潔である。
    3点: 質問には答えているが、不要な情報が含まれている、またはわずかな不正確さがある。
    1点: 質問の意図を理解していない、または致命的な事実誤認がある。
    """),
    ("user", "質問: {question}\n\nエージェントの回答: {agent_answer}")
])

【コードの解説】
この実装のポイントは、評価結果自体もPydanticで構造化している点です。これにより、評価スコアをデータベースに保存したり、CI/CDパイプラインの中で「平均スコアが4.0を下回ったらデプロイをブロックする」といった自動テスト（評価ハーネス）に組み込むことが容易になります。

評価スコアの集計と可視化

数百件のテストデータに対してこの評価パイプラインを走らせることで、プロンプトの変更やツールの追加がエージェントの全体的なパフォーマンスにどう影響を与えたかを定量的に把握できます。主観的な「なんとなく良くなった」からの脱却が、本番運用の絶対条件です。

ステップ3：オブザーバビリティの確保とコスト管理（監視）

ステップ2：LLM-as-a-Judgeによる自動評価パイプライン（測定） - Section Image

エージェントが自律的にツールを呼び出すようになると、「今、裏側で何が起きているのか」がブラックボックス化します。これを放置すると、トラブルシューティングが不可能になるだけでなく、API課金が予期せず跳ね上がる危険性があります。

トレースログの実装

エージェントの思考プロセス（どのツールを、どんな引数で呼び出し、どんな結果を得たか）を追跡するためには、オブザーバビリティ（可観測性）ツールの導入が有効です。LangSmith は LangChain 公式の観測・評価プラットフォームで、次のような機能を備えています（詳細は LangSmith の公式ドキュメントを参照してください）。

個々の実行をツリー構造（run tree）で可視化
LangGraph などで構築したエージェントの各ステップをトレースとして保存
LLM-as-a-Judge による評価スコアを『評価ラン』として紐付け
データセット機能を用いた回帰テスト・ベンチマーク実行

OpenTelemetry やその他の監視基盤と併用しつつ、LLM／エージェント固有のメトリクスやトレースについては LangSmith を中心に扱う構成が実務では一般的です。

トークン消費量の動的制限

最も警戒すべきは、エージェントがエラーから抜け出せず、APIの呼び出しを無限に繰り返す「無限ループ」です。これを防ぐためには、コードレベルでのハードリミット（強制終了）の実装が必須です。

# LangGraph等での再帰制限の概念的な実装例
MAX_ITERATIONS = 5

def run_agent_with_limit(agent, initial_input):
    current_state = initial_input
    iteration = 0
    
    while iteration < MAX_ITERATIONS:
        # エージェントのステップ実行
        result = agent.step(current_state)
        
        # タスク完了条件を満たせばループを抜ける
        if result.is_finished:
            return result.final_output
            
        current_state = result.next_state
        iteration += 1
        
    # 制限回数に達した場合は強制終了し、エラーを返す
    raise TimeoutError(f"エージェントが{MAX_ITERATIONS}回のループ制限に達しました。無限ループの可能性があります。")

【コードの解説】
ライブラリ（例えばLangGraph）を使用する場合、通常は実行時の設定（config）として recursion_limit などを渡すことで、フレームワーク側でループ回数を制限できます。重要なのは、エージェント自身の判断に任せるのではなく、外部から強制的なシステムリミットを設けることです。

実践：ガバナンスを組み込んだエージェントの最小構成サンプル

ここまでの概念を統合し、安全に動作し、かつ自己評価を行うエージェントのフローを構築します。

統合コードの解説

本番環境を想定したアーキテクチャでは、以下のステップを踏みます。

入力受付：ユーザーからのクエリを受け取る。
実行（制御付き）：エージェントが指定されたツールを用いて推論を行い、Pydanticスキーマに従って結果を出力する。この際、最大ループ回数を制限する。
評価（測定）：出力された結果を、LLM-as-a-Judgeパイプラインに渡し、品質スコアを算出する。
監視・ログ：スコアが閾値を下回った場合や、エラーが発生した場合は、詳細なトレースログとともにアラートを発火させる。

このように、エージェントの実装とは単に「LLMにプロンプトを投げること」ではなく、「LLMを組み込んだ堅牢なソフトウェアシステムを設計すること」に他なりません。

ベストプラクティス：運用のためのチェックリスト

ガバナンスと評価の仕組みは、一度作って終わりではありません。本番運用を継続するためのベストプラクティスを整理します。

評価指標（メトリクス）の選び方

LLM-as-a-Judgeの評価基準は、ユースケースに合わせて最適化する必要があります。一般的な「正確性」だけでなく、以下のような指標を検討してください。

トーン＆マナー：企業のブランドガイドラインに沿った言葉遣いか。
ハルシネーション率：提供されたコンテキスト以外の情報を捏造していないか。
ツール利用の効率性：無駄なAPI呼び出しを行っていないか。

継続的なガバナンス改善サイクル

エージェントの運用において、完璧な初期リリースは存在しません。重要なのは、オブザーバビリティ基盤から収集した失敗ログ（スコアが低かった回答や、無限ループに陥ったトレース）を分析し、プロンプトの改善やガードレールの追加ルールとして継続的に反映させることです。

次のステップへ

「理論は理解できたが、自社の複雑な業務プロセスにどう適用すればいいのか」「実際の挙動を見てから導入を判断したい」とお考えではありませんか？

エージェントのガバナンスや評価ハーネスの構築は、実際に動く環境で検証することで、その価値と課題が明確になります。自社への適用を検討する際は、セキュアな環境で用意されたデモを通じて、エージェントの制御プロセスを体感してみることをおすすめします。百聞は一見に如かず、まずは実際に触れて、その可能性と制御の手法を確かめてみてください。