39 用途が拡がる音声感情解析ソリューション 　　 （聞き手理解確認ソリューションについて1）｜音声活用ブログ

音声による会話ではほとんどの場合、話し手と聞き手がいます。通常は話し手の話の内容を聞き手が理解していることを前提にして話は進むのですが、聞き手が理解しているかどうかを無視して一方的に話す人がいます。これでは商談は進みませんし、トラブルの原因にもなりかねません。当社では音声感情解析ソリューションを用いてこの事態を回避できないかを研究しています。このブログではその状況について解説します。

聞き手理解度確認ソリューションの必要性

先日、筆者の自宅に保険会社の人が訪ねて来ました。現在契約している生命保険の内容確認とのことです。契約書類をタブレットに映し出して、それを見ながら説明を受けました。正直言って自分の契約内容の細かな部分（入院時の支援金額や、日数、適応される疾患の種類、など）は忘れていて、「あ、そういう契約だったのか！」と思い起されました。最後に「理解しました」という画面が出て来て署名を求められたので、署名し、終了しました。

このプロセスの欠点は非常に高コストだと言うことです。いちいち保険会社の人が各契約者を訪ねて確認するのは多大な人件費と時間がかかるので、コスト削減の為にネットミーティングや電話を使って確認する方法に切り替わっていくと思われますがこれにも課題があります。実際に契約者を訪問する場合、聞き手が理解しているかどうかは、聞き手の動作や、表情、会話の流れなどの雰囲気、聞き手が発する質問の声の質などを総合評価して、相当な確度で推定できますが、ネットミーティングやましては電話の声だけでどこまでわかるのかは疑問です。聞き手が話し手の話を理解しているかどうかを自動的に推定してくれるようなソリューションがあって初めてネットや電話での正確な契約確認ができるのでは無いかと思います。

また、売込みの営業電話や、商談などで、聞き手が理解しているかどうかを無視して一方的に話す人がいます。これでは商談は進みませんし、トラブルの原因にもなりかねません。連絡してきた企業の信用問題にもなりかねません。

上記のようなことから、当社では「聞き手理解度確認ソリューション」の必要性を認識し研究を始めました。まだ完成には至っていませんが、その研究状況をお知らせしたいと思います。

聞き手理解度確認ソリューションの動作原理

このソリューションは通常の音声感情解析システムとは使い方が異なり、話し手では無く、聞き手の感情状態をモニターする必要があります。そのためには、聞き手が話し手に対して質問し意見を述べるなど、聞き手が発声する機会があることが前提となります。

聞き手の発声機会を確保することは必ずしも保障されている訳ではありません。従って話し手が聞き手に適宜、質問や意見を促す、復唱をお願いする、などのトークテクニックやトークシナリオが必要です。このトーク手法はこのソリューション開発の重要なテーマで当社ではこの手法も研究しています。現在はお客様毎の環境に合わせてトークシナリオを作りそれを改善していくと言う手法を用いています。

聞き手が有意な時間に発声することを確保出来たら次にその発声の感情状態を数値として取得して可視化します。当社が販売している音声感情解析システムESASでは、４０種類以上の様々な感情状態を数値化できるのですが、このうち聞き手の理解度を示すと思われる次の発声者感情状態を時系列的にモニターします。

• 集中

　　　精神的に集中して話してい程度を示す指標です。

• インテンシブ・シンキング

　　　熟慮しながら話している程度を示す指標です。

• ストレス

　　　ストレスを感じながら話している程度を示す指標です。

• 想像活動

　　　想像をしながら話している程度を示す指標です。

• 自信

　　　自信を持って話している程度を示す指標です。

• Anticipation

　　　期待と訳されていますが、話者が自分の話を演技的に話している程度を示す指標です。

• エネルギー

　　　エネルギーの程度を示す指標です。

• 興奮

　　　話者の興奮度合いを示す指標です。

これらの時系列的なデータを入力とし理解度を出力するアルゴリズムを探し出せれば、目的とする「聞き手理解度確認ソリューション」が完成することになります。

現在の研究状況

この研究を完成させる為には、次のことを行う必要があります。

• 感情データの採取
• 理解度が別の方法で推定できる事象において、その理解度と採取した感情データとの比較
• アルゴリズムの仮説と検証

これに関しては、次回のブログで説明します。