BLOG

音声活用ブログ

21 音声による感情分析(解析)の発端|音声活用ブログ

2021.09.04

Nemesysco社

21 音声による感情分析(解析)の発端

当社の提携先であるイスラエルのNemesysco社のCEOであるAmir Liberman(アミール・リバーマン)氏と英国のニュース配信会社であるVERDICT社の記者とインタビューを行った記事が配信されました。Nemesysco社の音声による感情分析(解析)の発端とその考え方が良くわかる記事ですので、下記に要約を述べたいと思います。

はじめに

NemesyscoのCEOであるAmir Liberman氏とのインタビューです。彼が会社を設立した理由と、音声による感情解析テクノロジーがどのように役立つと考えているかが述べられています。

最近のハイテク企業では珍しく、Nemesyscoは声の感情解析の核となるテクノロジーではAIを使用していないとはっきりと述べています(もちろんその他のアプリではAIテクノロジーを使っています)。 Nemesyscoの核となるアルゴリズムは、Layered Voice Analysis(LVA)と言われるもので、音声を媒体として脳活動の証跡を検出することにより感情を解釈します。「AIは訓練モデルであり、訓練した人によってバイアスがかかります。」(LVAはバイアスのかからない方式です)とLiberman氏は主張し、特にイスラエルのスタートアップで流行しているAI-in-everything(なんでもかんでもAI)の流行には必ずしも与しません。

イスラエルのネタニアで2000年に設立されたNemesyscoは、セキュリティ会社としてスタートしましたが、現在では、不正防止ツール、自動リスク評価、パーソナリティ検査、人事採用評価システムも提供するようになりました。クライアントとパートナーには、ネスレ(スイスの世界最大の食品メーカ)、エンデモル(オランダのテレビ制作会社)、アリアンツ(ドイツの保険会社)、等が含まれます。

 

Amir Liberman氏へのインタビュー

記者 あなたの会社、Nemesyscoについて教えてください。

1997年に、私たちはイスラエルでテロ攻撃を受けました。このテロ攻撃は3人の若い母親の命を奪いました。本当に悲痛でした。私がやりたかったのは、イスラエルへの入国審査の時に入国者に「自爆攻撃をするつもりですか」と尋ねてその答えが嘘かどうかをすぐに見分けられる嘘発見器を作ることでした。

それが24歳の男の非常に素朴な考えでした。そして、何人かの友人と私だけで研究を始めました。私たちは非常に素朴な方法から始めました。私たちは人々に「空は何色ですか?空は緑、草は青、私はイギリスの女王です…」と言ってもらいそれを録音しました。しかし、反応はほとんどなく、何も目立ったことは起きませんでした。

あるとき、友人の1人がある男に非常に率直な質問をしました。するとその男は実際に嘘をつき、システムがそれを検知し、画面上で爆弾が爆発するようにすべてが赤くなったのです。これが、嘘には何らかの意味があり、何らかの本質的なものがあるはずだと実際に気づいた瞬間でした。それから私たちは、検出されたのは嘘ではなく嘘のさまざまな要素であるということに気づきました。

私たちは、イスラエルで準備したストループテスト(注1)の大学データセットを入手しました。このカードには「赤」と緑色で書かれています。これは嘘が引き起こすとのと同様の反応を体内に引き起こします。それは少なくとも私たちのシステムでは仮定でした。実際、これは嘘ではありませんー対立はありますが、それは嘘ではありません。

 (注1)ストループテスト 色の名前がその色とは異なる色文字で印字カードを読み上げるテスト

 

記者 それで、嘘発見はまだあなたのコアビジネスですか?

いいえ、違います。私たちはもともと純粋にセキュリティ会社でした。しかし、2005年に私たちは転業を行いました。

企業にとって、嘘は興味深いですが、従業員のパーソナリティについてもっと学習するのはどうですか?本当のパーソナリティです。従業員が何かについて話したときとか、彼らがある結果に直面したときに、彼らが自分自身さえ知らなかったことが明らかになります。雇用主として従業員が誰であるかを理解し、彼らを適切な仕事に就かせてみませんか?

ですから、ある時点で、われわれのやっていることは嘘発見ではないと言いました。嘘発見については、そのようなものはないということです。私はこれに24年間取り組んできました。嘘発見のようなものはありません!

できることは刺激を提示し、その反応を示すことだけです。私たちが検出できるのは、あなたが危険を感じたとき、緊張を感じたとき、戦いたいとき、それでも逃げる、といった瞬間です。直面したくないある時点を超えたとき、それは実際に非常に興味深い瞬間です。それは非常に奇妙な状況です。だから、私たちはこれらの感情のセットを検出することができますが、それは嘘ではありません:それは嘘の周辺の反応です。

 

記者 あなたの会社はどの部門と協力していますか?

私たちは今でも政府と一緒に仕事をしています。私たちは、捜査機関と一緒に前向きな仕事をしています。例えば、あなたが私たちのシステムを使用せず誰かを拷問しても、取り調べは上手くいきません。私たちは公正な取り調べを推進しており、私はそれが本当に好きです。

また、保険会社、人材紹介会社、クレジットサービス会社、銀行、マーケティング代理店とも一緒に仕事をしています。

また、入社から退職まで人事部門と連携しています。採用、誠実性の評価からパーソナリティの評価、面接、そして社員が組織内でどのように感じているかまで連携しています。どんなアンケート調査でも、回答者はちょっと良い返事をする傾向があります。回答する人は誰かを傷つけたくないという理由だけで本当のことを明らかにしないかもしれません。しかし、これは彼らにとっても組織にとっても逆効果です。

私たちは現在、医療分野でも多くのことを行っています。そして医療をはるかに超えて、ゲームやマッチングのテレビ番組のエンターテインメントでも使用されてきました。ビッグブラザー(注2)で何度か紹介されました。

(注2) アメリカのテレビショー

 

記者 音声分析だけでなく、感情認識が重要なのはなぜですか?

質問は非常に簡単です:あなたは真実を知りたいですか?マネージャーとして、私は良いデータに基づいて決定を下す必要があります。もしもデータが正確でないならそれは誰にも役立たないでしょう。

記者 人間はすでに感情を検出する能力を持っていると思いませんか?感情検出に本当にテクノロジーやAIが必要ですか?

ええと、AIが正しいかどうかはわかりません。AIについてはのちほど説明します。

最初に申し上げたいのは、人間は他人の感情を検出するのが得意ではないということです。これが事実なのです。人間として、私たちはいつも自宅を出る時に自分の感情の袋を持って来ています。今日は悪い日だな、猫に何かが起こった、配偶者に何かが起こった。これらの事象は人により非常に異なって判断しています。したがって、完全にバイアスのかかっていない何かが必要です。人を客観的に見る何かです。

 

記者 それは非常に興味深い言葉の選択です。なぜなら、感情認識に反対する多くの人々は、感情認識は本質的にバイアスがかかっていて、そのバイアスを取り除くことはできないと言うからです。どのように対応しますか?

それはAIだからです。AIは訓練モデルであり、訓練モデルはそれを訓練した人によってバイアスがかかります-当然です。しかし、私たちのシステムはAIベースのシステムではありません。

AIはDNA検査のようなものです。私たちは、音声パターンの中にどのような特定のシーケンスがあり、それらが感情反応とどのように関連付けられるべきかを知っています。そのためにAIは必要ありません。

それは本当に感情に対する挑戦です。感情に物差しはありません。幸福とは何かについての適切な定義の集合はありません。この男の幸せ度は3ポイント、この男は幸せ度60ポイント。このような物差しはありませんでした。我々は初めて感情に物差しを提供しました。これがわたしたちがやっていることです。

この理論は全てゼロから作りあげました。理論としてだけでなく、証拠に基づく科学として。定量化可能な感情の測定値を実際に提供した最初の製品です。

われわれの技術は、意味を持たない音声から計算された初期バイオマーカーに基づいてゼロから開発されました。私たちは、実際の通話中にそれらの変化を観察しました。

それから、私たちは録音された音声を用いて研究を進めました。現在も進めています。あるユニークな音声セッションは、ある変数にユニークな反応を生み出しました。私たちの作業は手動でしたが、これらの非常にユニークで明白なセッションを仮定リストに追加し、同じ感情種類の中の他の重要性が低いデータと比べることにより検証しました。

 

記者 しかし、それでも物差しを定義したのは人間です。これはバイアスの余地を残していませんか?

最初に、ストレスを分析して特定しました。私たちは最初ストレスについてのみ研究しました。他の感情についての知識はありませんでした。定義されていませんでした。すべてがストレスでした。私たちは墜落した飛行機から、メーデー(遭難信号)を発したパイロットから録音を取りました。執行直前の死刑囚からも録音を取りました。これらには非常に特徴的なものがありました。そう、これらのデータから、これは極端なストレス状態、これは正常なストレス状態、と言うことができるようになりました。そして次にそれらの間に物差しを構築することに取り掛かかったのです。現在では0から100の間で正規化できます。我々は実際のデータと実際の資料のみを用いました。

 

記者 また、文化的育成や社会的背景によって、人の感情の表現が異なるという議論もあります。そのバイアスをどのように説明しますか?

それは素晴らしい質問です。ありがとうございます。

理論的な観点から、最初から私たちが念頭に置いているのは、話者がコントロールできることすべて、例えば単語の選択、発音の仕方、発生音量など、話者がコントロールできるすべてのものを無視する必要があるということです。話者がコントロールできるものは考慮に入れる価値はありません。それらの価値はゼロです。

次に、話者がコントロールできない全ての要素について調べました。そして、明らかに私たちはすべて同じだとわかったのです:すなわち、私たちはすべて人間であり、同じ動物です。私たち全員が同じ脳活動をしており、脳は全く同じとは言えないまでもほぼ同じように構築されているです。

 

記者 競合他社とどう違うと思いますか?

私たちはAIベースではありません。競合他社のアプローチは、俳優を使って、さまざまな感情をさまざまな大きさで話させ、AIに訓練データとして与えて感情データとして使う方法です。われわれの方式はまったく異なります。私たちは実際にゼロから作り上げたものです。

AIを使用して、演技された感情を認識するように教えると、システムがミスを犯し、怒りを演技している俳優を怒っていると分類した瞬間、それは設計図に戻って最初からやりなおさなければならないことなのです。

俳優にだまされるのなら、どうやってこのシステムの真の目的を維持できるのでしょうか?われわれが本物の感情を扱っている理由はここにあるのです。

記者 何かがあって人々が感情を隠そうとするとき、隠されたままであるべきとは思いませんか?これはプライバシーと自由の侵害であると言う人々にどのように対応しますか?

それは常に深く考えなければいけない質問ですね。もちろん、すべては法律に従い、許可され公正である規則に従って行われなければなりません。

例えば私が従業員として上司についてどう感じているかを言う機会を得たとします。「そうですね、私は彼が大好きです。彼は素晴らしい上司だと思います。私は自分の仕事をしました。」と言うでしょう。しかし、心の奥深くでは、この上司はひどいと思っており、私の声の端々からそのような感情が漏れ出ていると思います。

そして、私だけでなく、同じことを言った他の人々の声も同じだと思います。彼らはやはりこの上司は素晴らしいと言いましたが、彼らは皆それとは異なって感じていたのです。この悪い上司を除いて誰もが勝っていると思いませんか?

 

記者 いや、私の議論は、人が何かを隠したいのなら、彼らには隠す権利はないのですか?ということです。

人は常にテストを拒否する権利があり、常に参加しない権利があります。いずれにせよ、嘘をつきたくないのなら、嘘をつかないでください。

 

記者 しかし、あなたが嘘をつきたいのなら、あなたは嘘をつくことを許されるべきではありませんか?

聞いてください、私が雇用主であり、従業員の給料を払っているのなら、私は自分のお金を最大限に活用して、最高の生産性(そして)最高の環境を実現したいと思っています。そのためには、正しい知識に基づいて決定を下す必要があります。知識が豊富であればあるほど、良い決定を下すことができます。

 

記者 あなたは、人は常にテストを拒否する権利を持っているべきだと言いました。つまり、検査が行われていること、そして彼らの感情がテクノロジーによって監視されていることを常に知っている必要がありますが、消費者は常にこれを知っているわけではありません。あなたはそれについてどのように主張しますか?

何が起こっているのかを知り、その結果がどうなるのかに人々が気づくことは良いことと思います。しかし、繰り返しになりますが、あなたはFacebookを使っていますよね。すなわち、あなたの生活をすべての人と共有していますし、あなたの最も親密な瞬間を家族やすべての人と共有しています。

あなたを監視しているものはたくさんあります。あなたが書くスタイル、あなたがタイプするすべて、あなたが言うすべて、あなたがキーボードでどれだけ速くタイプするか。重要なのは、使用されているテクノロジーではなく、それがどのように使用されているかということです。

 

記者 あなたが言っているのは、悪いのはテクノロジーではなく、テクノロジーの背後にいる人々だということですか?

今、あなたのモバイル端末は、あなたが知っている何よりもあなたについての詳細を知っています。感情の検出は言うまでもなく、それはあなたが好きなものと嫌いなものを知っており、あなたが何時に起きるか、誰が好きか、誰と話すか、誰と話さないかを知っています。

モバイル端末はすべてを知っていて、あなたが毎秒どこにいるかを知っています。あなたはプライバシーを持っていると思っていますね、もう一度考えてください。今日、私は世界中の誰もプライバシーの感覚を持っていないと思います。

 

以上 

 


テーマ