> ## Documentation Index
> Fetch the complete documentation index at: https://docs-eos.fpt.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# 品質評価

> データの変更が与える影響を、感覚ではなく数値で測定します。

パイプラインの変更、検索方式の変更、ドキュメントの追加 - どの変更も、ある質問では改善し別の質問では悪化する可能性があります。**品質評価** では、ナレッジベースを確認するための標準の質問セットを管理し、エージェントからの実際の検索品質を監視できます。

## 2 つのタブ

| タブ | 用途 |
| - | - |
| ゴールデン質問セット | 検索されるべきドキュメントとセットで質問を管理 |
| 実運用の品質 | エージェントからの実際の検索を監視 |

## ゴールデン質問セットタブ

| コンポーネント | 用途 |
| - | - |
| ナレッジベースで絞り込み | *すべてのナレッジベース* または特定のナレッジベース |
| 結果で絞り込み | *すべて* · *未チェック* · *正解* · *不正解* |
| **CSV をインポート** | 質問と正解ドキュメントを一括インポート |
| **セット全体を実行** | すべての質問を実行して採点 |
| **質問を追加** | 質問を 1 件追加：質問文、期待する回答（任意）、確認対象のナレッジベース。ナレッジベースの top-K に選択したドキュメントが 1 つ以上含まれていれば *正解* と判定 |

ゴールデン質問を最も早く集める方法：[検索テスト](https://docs-eos.fpt.ai/ja/screens/retrieval-test.md) 画面で、テストのたびに **ゴールデン質問セットに追加** をクリックします。

## 実運用の品質タブ

| ブロック | 意味 |
| - | - |
| 7 日間の検索回数 | エージェントの呼び出し回数と、前の 7 日間との比較 |
| ソースが見つからない | 結果が 0 件だった検索の割合 |
| ユーザーの高評価 | エージェントが `submit_feedback` ツールで送信した高評価の割合 |
| よく答えられない質問 | **ナレッジのギャップ** - ナレッジベースに追加すべきドキュメントの一覧 |
| 最も問題の多いチャンク | 30 日間で「役に立たない」と評価された回数が最も多いチャンク |
| ナレッジベース別の品質 | 各ナレッジベースの 30 日間の検索回数、平均スコア、エラー率 |

> [!TIP]
>
> **注意：** *よく答えられない質問* を毎週確認してください。ナレッジベースに不足しているドキュメントを知る最も早い方法です。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.