ストックホルム大学のHenric Nordstromの学位論文から

音声の特徴と感情との関係について簡単にまとめてみました。

そもそも感情の役割とは何かそして感情はどのように相手に伝えられているのかに関しては分かっているようであまり分かっていないと思い、少し文献を調べてみました。今回主に参考にしたのはストックホルム大学のHenric Nordstromと言う方の学位論文「Emotional Communication in the Human Voice」です。これを読むと音声の音としての特徴と感情には深い関係があることが記載されています。当社の感情解析ソフトは音声の特徴から感情を可視化するものですからまさにこの論文の主張を実践しているものです。

1. 感情の役割は何か

感情の役割に関しては心理学や音響学の分野でも諸説あるそうですが、筆者が一番納得した説明は次のようなものです。すなわち「感情は人間や動物個体周囲の貴重な情報を伝える役割を持ち、これが危険を回避し目標達成を促進するような行動に結びつき、個体の生存にとって有利に働く」と言うものです。感情の無い動物がいたとすればそれは危険を回避する行動が遅れ、自然淘汰されてしまいます。特に集団社会生活をおくる動物では感情は極めて重要で、それにより集団中の個体間の関係性を保ち、争いを解決し、繁殖や食料確保の為の行動を調整し、天敵から身を守ることが出来ます。(Juslin and Scherer, 2005; Wheeler and Fischer, 2012)　このように感情は種の生存の為に必須の機能であると言えるでしょう。

2. 感情の表現方法

では感情を伝える方法にはどのような種類があるかを調べてみました。人間は言語を持ちこれにより極めて正確で複雑な情報を伝達できるのですが、言語だけでは話し手が怒っているのか喜んでいるのか悲しんでいるのかは必ずしも判断できず、言語だけでは感情を伝えることに限界があることは日常生活で経験するところです。言葉が伝える情報に対して非言語的内容は声の韻律（抑揚、強勢、音長、リズムなど声の音声学的性質）により伝達され、これが意識的あるいは非意識的を問わず感情伝達に用いられています。人間の声は言葉をほぼ必ず含んでいますので、言葉と韻律が渾然一体となり人間の耳に聞こえます。このため、声（言葉）の内容が感情を伝達していると思ってしまいがちですが実は声の韻律（音声学的性質）のみが感情を伝えています。すなわち声の「意味」では無く、声の「韻律（音声学的性質）」と感情との関係が理解できれば話者の感情を可視化することができます。声の意味から感情を可視化しようとする試みもありますが、当社の感情解析ソフトウエアはこの原理に基づいて声の音声学的特徴のみから感情を可視化しています。

3. 音声の音声学的性質を表すパラメーター

感情は音声の音声学的性質に関係しているので、その特徴を表すパラメーター（韻律パラメーター）を理解しておく必要があります。これはたくさんあるのですが次の４種類に分類され、下記のようなパラメーターがあります。

1. ピッチ（声の周波数に関連するパラメーター）
   • 基本周波数(F0)……声帯の出す音の周波数
   • ジッター……音声波形周期性の不安定度指標
   • 第１、第２、第３フォーマント（声道の共鳴周波数）
   • フォーマントの周波数帯域
2. 声量（声の大きさに関連するパラメーター）
   • 声の音量（エネルギー）レベル
   • シマー……音量の不安定度指標
   • HNR(Harmonics-to-Noise Ratio)……しわがれ声の程度を示す指標で熊本大学名誉教授の湯本先生の主導で開発された指標
3. 声質（音色のこと。音声波形の形に関するパラメーター）これにはさまざまなパラメーターがあるのですが、専門的に過ぎるので詳細は省略します。
4. 会話速度（音声の時間的なパラメーター）
   • 話者波形ピーク出現頻度
   • 単位時間中の連続有音時間の割合
   • 会話中で声が実際に出ている時間と出ていない時間

4. 韻律パラメーターと感情の関係

上記の韻律パラメーターと感情の関係に関する研究は、現在多くの研究機関で行われているとの事です。その結果ですが、あるパラメーターが大きければそれに対応した感情が大きく現れているような単純明快な関係があれば良いのですが、残念ながらこれまでの研究ではそんな単純な関係は論文として発表されていません。しかし話者が特定の感情を持っていると聞き手が認識する場合に複数のパラメーター値の組み合わせと感情とが何らかの相関性を持つ事は解っています。

当社が採用している感情解析ソフトウエアの開発元であるイスラエルのNemesysco社は20年以上にわたりこれらのパラメーターと感情との相関関係を調べる為にいろいろな言語で膨大なデータを採取し蓄積しています。現在でもこのデータは蓄積・解析を続けており、より精度の高い感情解析ができるように日々努力しています。

また、当社自身も関係会社のCENTRIC株式会社が運営するコールセンターで採取した数十万件に及ぶデータを用いて感情解析ソフトウエアの正確性を日々検証しています。この結果、日本の環境と他国の環境で少し感情値が異なることも発見されており、当社の感情解析ソフトESASシリーズではNemesysco社のソフトウエアから出力される値を日本のお客様の環境に合うようにチューニングしています。