BLOG

音声活用ブログ

警察捜査にも活用される最新音声感情解析システム

2022.01.05

Nemesysco社テクノロジー

テーマ:

27 警察捜査にも活用される最新音声感情解析システムLVA

前回のブログで嘘検出の歴史を簡単に説明しました。音声による検出はVSAと言われる技術が1970年代に米軍により開発され実際に使われていますが、課題もある事を説明しました。当社ではイスラエルのNemesysco社開発のLVA(Layered Voice Analysis)を用いてVSAの課題を解決しています。このブログでは当社の基本ソフト供給元であるネメシスコ社が開発したLVA技術を紹介し、従来の技術と何が違うのかを解説します。

VSA (Voice Stress Analysis) では嘘を引き起こす感情は単一の感情であると仮定されていました。被験者のストレス感情の程度を測定して発言の信憑性を推定するものです。ストレス検出は、人間の筋肉が正常時は低周波(8ヘルツ~14ヘルツ)の振動(「リポルド・トレモル」)をしており、急性ストレス時にはリポルド・トレモルの周波数が4~6ヘルツに下がるという発見に基づいています。リポルド・トレモルが被験者の声に反映されるので声の低周波分析によりストレスの程度を測定するものです。

嘘と人間の感情には密接な関係があります。むしろ感情が嘘を誘発すると言って良いでしょう。Nemesysco社の資料によると、嘘をつく動機と感情との関係を分類すると下記の6つになります。

 

嘘をつく6つの基本的な動機と感情

 

上図の様に、感情要素(ストレス、興奮、困惑、葛藤、覚醒など)と嘘には密接な関係があり、様々な感情要素が複合して嘘が誘発されることになります。VSAでは、嘘をついた時のストレスに伴って生じる生理学的な身体変化(リポルド・トレモルの周波数変化)のみを使って嘘判定を行いますので複数の感情要素を分析して嘘をついていることを推定しているものではありません。

 

そこで登場したのがNemesysco社のLVA(Layered Voice Analysis)層別音声解析です。これはさまざまな感情要素を別々に数値化することが可能です。LVA とVSAはしばしば混同されますが、両者には技術的にも運用的にも共通点は一つもありません。

LVA は身体的なリポルド・トレモルは利用せず、異なる感情要素を認識するために、話者の音声スペクトラム(音声の周波数分布)を全てモニターし、音声波形の時間的な変化を識別することにより感情要素の強弱を数値化します。LVA技術のメカニズム概要はブログのLVAテクノロジー1と2に記載してありますのでご参照下さい。

 

Nemesysco社は今までさまざまな状況での被験者の感情要素の変化を採取し集積しています。そこから、正常状態での感情反応と著しく異なる感情反応を示した場合に、嘘をついている確率が高いと推定することが出来ます。

例えば、救急車呼ぶ際の状況を考えてみましょう。筆者は何年か前に母親が倒れて救急車を呼んだことがあるのですが、電話で話していてもうまく発話ができず自宅の住所も正確に言えない程慌ててしまい、その際非常に強いストレスを体感しました。LVA技術を用いると、この時の声から得られるストレスに関する感情値は非常に大きい値を示します。

また、LVAではAnticipationと言う感情値を出力させることが可能で、これは期待と直訳されますが、話者が相手にどう伝えるかの意識の指標となり、話の内容が「建て前」、「欺き」、「演技」、「パフォーマンス」である場合に大きな値を示します。つまり相手にどう伝えるかを強く意識している状況を示唆しています。「話者の演技度」と言っても良いでしょう。救急車を呼ぶ時には話すのが精一杯で、相手にどう伝えようかと考えるのは二の次となります。筆者自身も通話相手の係官から何度も「それはこういう事ですか?」と確認を促されながら話しました。すなわち演技をする余裕がない時にはAnticipationと言う感情値は低くなります。

この状況をまとめると、救急車を呼んでいる時の感情値は、通常であれば下の図のようになります。

ですが、この図の様になっていない場合は、話者の申告内容と、感情挙動に『矛盾』がある事を示唆します。仮にこれを、事故や事件の第一通報者の音声を解析した結果の挙動とした場合、緊急通報時に、被害者の安否を心から心配していない状況とは、、?といった考え方になります。

下図は話者の『ストレス』と『演技度』の時系列的な感情値の値をグラフにしたものです。横軸は時間、縦軸は感情値の値です。図を比較すると、それぞれ明瞭な差が見受けられている事がわかります。

このようにして状況や発話内容と、感情挙動の不一致を見抜く事により、着目すべきポイントや、真実を述べていない可能性を可視化してくれます。

Nemesysco社では「嘘発見器」は存在しないとしています。感情値の出力が通常の場合と異なる事を検出するのであり、それにより話者が嘘をついているかどうかの判断はあくまでも音声感情解析システムのユーザーである趣旨のことを述べています。

以上

WRITER

都筑 一雄

都筑 一雄

ESジャパン株式会社
エグゼクティブアドバイザー

慶応義塾大学及び東北大学大学院で物理学専攻。修士課程修了後、日本電気(NEC)に36年間勤務。製品開発、システム構築、事業部運営、欧州合弁会社立上げ等、役割は変化したが一貫して音声関連の通信事業に関与。NEC退職後は滋賀県彦根市役所の行政情報化担当特別顧問を5年間務め、退任後、ESジャパン株式会社の設立発起人として創業に関与し現在に至る。