Copilot Studio で行うユーザー発言の感情分析
Copilot Studio でエージェントのトピックを作成していると、
「このときユーザーは満足しているかな?」「困っていないかな?」と、ユーザーの感情が気になる場面に出会うことがあります。
そんな時には、AI にユーザーの発言を評価させ、感情の傾向を把握し、必要に応じて担当者へエスカレーションする仕組みを取り入れてみるのも一つの方法です。
今回は、ユーザーの発言がネガティブかどうかを 「新しいプロンプト」機能を使って評価させる方法を紹介します。
完成イメージ
質問ノードで満足度を確認し、ユーザーの応答メッセージを AI で感情分析し表示させます。
感情判定の実装
Copilot Studio では、ユーザーの発言に対して感情スコアを算出するプロンプトを使って、満足度を数値的に評価することができます。
今回は評価したいユーザーの発言を確認するための質問ノードを用意し、ユーザーからの入力内容を評価してみましょう。
- 質問ノードを追加します。
特定:ユーザーの応答全体
ユーザーの応答を名前を付けて保存:userinput (任意の名前で OK) - [+ ノードの追加] – [ツールを追加する] – [新しいプロンプト] をクリックします。
- プロンプトツールのタイトルと指示を記載し、出力形式を JSON にします。
▼ 指示内容:
次の発言に対する感情を評価し、以下のJSON形式で出力してください。 発言: [テキスト入力] 出力: { "label": "ネガティブ", // または ポジティブ、ニュートラル "score": -0.74 // -1.0〜+1.0 }
※ {テキスト入力} は [コンテンツを追加する] ボタンから追加します。
- プロンプトノードの入力と出力の変数を指定します。
入力変数:userInput (質問ノードで設定した変数名)
出力変数:sentiment - テストのため、[+ ノードの追加] – [メッセージを送信する] を選択し、応答値をメッセージノードで表示させます。(今回はマークダウンを利用して見出しサイズの文字もいれてみました)
{X} ボタンから選択しながら以下の様に指定します。▼ 入力するメッセージ内容:
## ユーザーの満足度評価 👍👎 ******************** **感情ラベル:** {Topic.sentiment.structuredOutput.label} **スコア:** {Topic.sentiment.structuredOutput.score} **ユーザーの発言:** {Topic.userInput}
※ 見出し文字列は 「## 見出し文字列」で入力し保存すると大きな文字になります。
他にもいろいろ記載方法があるので調べてみてくださいね!
これで完成です!動作確認してみましょう♪
動作確認
テストボットでいろいろな応答を感情分析してみました!
ユーザーの発言 |
ラベル |
スコア |
---|---|---|
ちょっとわかりにくいかも…もう少し丁寧に説明してほしいな。 |
ネガティブ |
-0.3 |
うーん、思ってた回答と違うかなあ。 |
ネガティブ |
-0.45 |
すごい!完璧な回答ありがとう!本当に助かった! |
ポジティブ |
0.95 |
まさに知りたかったこと!優秀すぎる! |
ポジティブ | 0.85 |
なるほど、参考になったよ。 |
ポジティブ |
0.65 |
回答としてわからない事もないんだけど、知りたい事と違うんだよね。 |
ネガティブ |
-0.45 |
全然正しい回答くれないし、時間の無駄でした。とても残念です。 |
ネガティブ |
-0.85 |
※スコアは -1.0(非常にネガティブ)〜 +1.0(非常にポジティブ)で出力されます。
思った以上に正確な判定が出来ており、この判定を条件に処理を分岐させる事でより利用しやすいエージェント開発が出来そうだなと思いました。
まとめ
新しいプロンプトを利用することで、ユーザーの発言を AI で評価することができました。
AI は非常に正確な感情スコアを返してくれることもわかったので、この感情スコアに応じて条件分岐をさせてエスカレーショントピックにリダイレクトさせたり、Teams チャネルに通知させたりすればエージェントの改善活動もより一層はかどりそうですね!
今後はユーザーの感情を活かした対話設計も視野に入れてみてはいかがでしょうか?
関連コース
- CI713-H Copilot Studio による Microsoft 365 チャットボット作成
Microsoft Copilot Studio を利用したチャットボット (Copilot) の作成を Teams や Microsoft 365 に含まれるライセンスの範囲でご紹介します。
チャットボットを作成する方や Microsoft 365 に含まれるライセンス範囲でチャットボットを活用されたい方におすすめのコースです。 - CI714-H Copilot Studio による生成 AI エージェント構築
Microsoft Copilot Studio (有償ライセンス) を活用し、生成 AI による柔軟な応答設計、SharePoint Online のナレッジ活用、条件分岐を伴う処理設計まで幅広くカバーし、業務に即した AI エージェントの構築方法を解説します。
Microsoft Copilot Studio が提供する機能を短時間で体系的に習得し、実践的な AI エージェント設計スキルを習得いただけます。 - CI711-H Microsoft 365 Copilot による業務効率化
Microsoft 365 Copilot を使って業務を効率化する方法を学習します。ケーススタディを通じて Microsoft 365 Copilot の機能を理解、使い方を知ることで、日常業務をより効率よく進めることができます。 - CI618-H Power Automate クラウド フロー 実践
Power Automate の基本操作を習得した方を対象に、関数を用いた数式記述、繰り返し処理、JSON データ処理、さらに安定したフローを構築するためのエラーハンドリング手法など、Power Automate の応用力を高めるために必要なスキル習得をめざします。