トピックなしでも “解決済み” が記録される！生成オーケストレーションのセッション自動評価

Copilot Studio のエージェントは、ナレッジソースを追加しておくだけで柔軟に回答を生成してくれます。トピックを細かく設計しなくても動作するため、手軽に導入できるのが魅力です。

ただ、運用を始めると気になるのが 分析タブのセッション結果 です。
これはセッションが ｢解決済み｣｢エスカレート済み｣｢破棄済み｣ のいずれかで 評価 された結果を示すものですが、従来この評価をを記録させるには、トピック内で明示的に設定する必要がありました。

つまり、ナレッジ検索を中心としたエージェントのように、トピックをほとんど使わない構成では、セッションが解決されたのかどうか、分析タブからは判断できない状態 が続いていました。

ところが最近、分析タブを確認したところ、設定した覚えのない ｢解決済み｣ がしっかり記録されているっ👀

本記事では、この挙動について調査した結果をまとめます。

As-Is：従来のセッション結果の記録方法

公式ドキュメント「エージェントのアウトカムを測定する」では、セッション結果の記録方法として以下のように案内されています。

最終更新日が 2026/05/01 のこちらの記載でも、最後に ｢会話の終了｣ トピックで締めくくる、または ｢エスカレート｣ トピックを利用する方法のみが書かれています。

トピックの画面で conversationOutcome を設定することでも設定できるのですが、ヒント部分で少し触れられていますね。トピックを使わないナレッジ検索中心のエージェントでは、これらを設定する場所がなく、セッション結果が記録されない状態でした。

To-Be：新しいセッション結果の記録と評価

最近、ナレッジ検索を中心としたエージェントの分析タブを確認してみると、設定した覚えのない「解決済み」がしっかり記録されていることに気付きました。

その後、公式ドキュメントを改めて確認しましたが、前述のとおりセッション結果の記録方法として案内されているのはトピックを利用した方法のみでした。

気になって仕方ないので、さらに調べてみたところ、Microsoft の Copilot Studio CAT (Customer Advisory Team) で Principal Program Manager を務める Adi Leibowitz さんが、LinkedIn で以下のように解説されていました。

まとめ

今回調べてみて、生成オーケストレーションを利用したナレッジ中心のエージェントでも、15 分間の非アクティブ後にセッション結果が自動で評価・記録されるようになっていたことがわかりました。

｢会話の終了｣ トピックの利用や、コード エディタでの conversationOutcome の設定なしで結果が残るようになったのは本当ありがたいですよね！！

以前は、セッション結果がほとんど ｢破棄済み｣ になってしまい、「マニュアルの内容を見直すべきなのか｣「ナレッジソースの整備が必要なのか｣ といった運用改善に向けた分析がしづらい状態が続いていましたが、今回のセッション自動評価や応答ごとにユーザーからのフィードバックを受け取れる機能なども追加され、ここ半年ほどでエージェントの運用改善に必要な分析環境が一気に整ってきたように感じます。

ただし、この挙動は 2026 年 5 月時点の公式ドキュメントには記載されていません。今後仕様が変更される可能性もあるため、その点はご留意ください。

トピックを利用して、セッション結果を設計者がコントロールする方法については、｢CI725-H Copilot Studio 実践ラボ – 業務プロセス実装編 –｣ でもご紹介していますので興味がある方は、是非ご検討ください。