JP7828376B2 - 面談分析装置、システム、方法およびコンピュータプログラム - Google Patents

Description

本発明は、面談におけるコミュニケーションを分析する装置、システム、方法およびコンピュータプログラムに関する。

従来、特許文献１に開示されているように、たとえば面談者（上司）と被面談者（部下）との間の１ｏｎ１ミーティングのために使用される面談支援システムが提案されている。これは、上司の表情がポジティブかネガティブか、上司の目線（眼球運動）、上司の頷きの回数、上司の感情（怒りと、喜びと、驚きと、悲しみと、ニュートラルとに、感情を分類）と部下の感情との一致度（共感度）などに基づいて、面談スキルの得点を導出してフィードバックし、面談スキルの向上を図るものである。

特開２０２３-１０９４６４号公報

特許文献１に開示された技術では、ポジティブか、ネガティブか、怒りか、喜びかなどの人間の感情のうち単一の要素でしか対話者の感情を取得しておらず、人間の複雑な感情を把握して面談を分析することはできなかった。

本発明は、面談における対話者の複雑な感情の変化を把握することができる面談分析装置、システム、方法およびコンピュータプログラムを提供することを目的とする。

本発明による面談分析装置は、面談中に得られた動画データを入力するデータ入力部、この動画データを記憶する記憶部、および制御部を有するコンピュータからなる面談分析装置である。制御部は、面談中の被面談者の顔を含む動画データを入力するデータ入力部と、動画データから一定の時間間隔で被面談者の顔部分の静止画データを取得する静止画像取得部と、静止画データから被面談者の感情を複数の要素について数値で示す感情ベクトルを取得する感情推定部と、感情ベクトルを時系列に並べた行列を作成して、特異スペクトル変換により被面談者の感情の変化点を抽出する行列演算部と、被面談者の感情が変化した時刻を出力する結果出力部とを有することを特徴とする。本発明の一実施形態による面談分析装置において、静止画像取得部は、時系列分割処理部である。

このように構成することにより、面談における対話者の複雑な感情の変化を把握することが可能な面談分析装置を提供することができる。

本発明による画像分析システムは、面談者によって操作され、被面談者とのオンラインミーティングを実行するためのコンピュータからなる面談者装置と、被面談者によって操作され、面談者とのオンラインミーティングを実行するためのコンピュータであって、面談中の被面談者の顔を撮像するカメラを備え、動画データを生成する被面談者装置と、面談中に得られた動画データを入力するデータ入力部、この動画データを記憶する記憶部、および制御部を有するコンピュータからなる面談分析装置を有する。
制御部は、入力部、静止画像取得部、感情推定部、行列演算部および結果出力部を有するコンピュータからなり、入力部は、面談中の被面談者の顔を含む動画データを入力し、静止画像取得部は、動画データから一定の時間間隔で被面談者の顔部分の静止画データを取得し、感情推定部は、静止画データから被面談者の感情を複数の要素について数値で示す感情ベクトルを取得し、行列演算部は、感情ベクトルを時系列に並べた行列を作成して、特異スペクトル変換により被面談者の感情の変化点を抽出し、結果出力部は、被面談者の感情が変化した時刻を出力することを特徴とする。

このように構成することにより、面談における対話者の複雑な感情の変化を把握することが可能な面談分析システムを提供することができる。

本発明による面談分析方法は、面談中に得られた動画データを入力するデータ入力部、この動画データを記憶する記憶部、および制御部を有するコンピュータを使用する方法である。
この面談分析方法は、面談中の被面談者の顔を含む動画データを入力するデータ入力ステップと、動画データから一定の時間間隔で被面談者の顔部分の静止画データを取得する静止画像取得ステップと、静止画データから被面談者の感情を複数の要素について数値で示す感情ベクトルを取得する感情推定ステップと、感情ベクトルを時系列に並べた行列を作成して、特異スペクトル変換により被面談者の感情の変化点を抽出する行列演算ステップと、被面談者の感情が変化した時刻を出力する結果出力ステップを有することを特徴とする。

このように構成することにより、面談における対話者の複雑な感情の変化を把握することが可能な面談分析方法を提供することができる。

本発明による面談分析コンピュータプログラムは、面談中に得られた動画データを入力するデータ入力部、この動画データを記憶する記憶部、および制御部を有するコンピュータにおいて実行される。
このコンピュータプログラムは、動画データから一定の時間間隔で被面談者の顔部分の静止画データを取得する静止画像取得機能と、静止画データから被面談者の感情を複数の要素について数値で示す感情ベクトルを取得する感情推定機能と、感情ベクトルを時系列に並べた行列を作成して、特異スペクトル変換により被面談者の感情の変化点を抽出する行列演算機能と、被面談者の感情が変化した時刻を出力する結果出力機能を実現させるためのものである。

このように構成することにより、面談における対話者の複雑な感情の変化を把握することが可能な面談分析コンピュータプログラムを提供することができる。

本発明によれば、面談における対話者の複雑な感情の変化を把握することができる面談分析装置、システム、方法およびコンピュータプログラムを提供することができる。

本発明の一実施形態による面談分析装置が使用される面談分析システムの概略構成を示すブロック図である。 本発明の一実施形態で使用される特異スペクトル変換における履歴行列とテスト行列との関係を示す模式図である。 本発明の一実施形態で使用される特異スペクトル変換を示す模式図である。 被面談者の感情の変化の一例を示す模式図である。 本発明の一実施形態による面談分析コンピュータプログラムの構成を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による面談分析装置の構成およびそれが使用される面談分析システムの構成を説明する。

本実施形態による面談分析装置では、面談者と被面談者との間で、MS Teams、Google Meet、Zoomなどのオンラインミーティングツールを利用して面談を行う場合に、これらオンラインミーティングツールに備えられた録画機能を利用する。この録画機能により、面談者装置および被面談者装置のカメラおよびマイクによりそれぞれ取得された音声データおよび動画データが、クラウドコンピューティングなどを利用してオンラインミーティングシステムに記憶される。

図１において、本発明の一実施形態による面談分析システム１は、面談者装置２、被面談者装置３、ネットワーク４および面談分析装置５を有する。面談が採用面接である場合、雇用者における採用担当者は面談者として面談者装置２を使用し、求職者は被面談者として被面談者装置３を使用する。面談が上司と部下との間の１ｏｎ１ミーティングである場合、上司は面談者として面談者装置２を使用し、部下は被面談者として被面談者装置３を使用する。

面談者装置２と被面談者装置３は、ネットワーク４を介して接続されている。面談者装置２および被面談者装置３として、カメラ、マイク、表示画面、演算装置を含むパーソナルコンピュータ、スマートフォン、タブレット端末など通信機能を有するコンピュータ端末が使用できる。ネットワーク４は、イントラネット、インターネットなどのネットワークを含み、有線、無線の通信ネットワークで構成される。オンラインミーティングサービスを提供する事業者は、ネットワーク４に接続されたサーバーまたはクラウドコンピューティングを利用する。

面談分析装置５は、通信機能を有するコンピュータで構成することが可能であり、面談者装置２に有線または無線で接続されたサーバー端末または面談者装置２と一体のコンピュータで構成することができる。また、面談分析装置５は、クラウドコンピューティングによっても実現することができる。

面談分析装置５は、制御部６、データ入力部７および記憶部８を有する。制御部６は、時系列分割処理部６１、感情推定部６２、行列演算部６３および結果出力部６４を有する。データ入力部７は、オンラインミーティングシステムに記憶された音声データおよび動画データを取得する。取得されるデータには、面談者および被面談者の音声データならびに被面談者の顔を撮像した動画データを含む。記憶部８は、データ入力部７によって取得された動画データおよび音声データを記憶する。また、記憶部８は、結果出力部６４から出力される結果を記憶する。

時系列分割処理部６１は、面談中に被面談者装置３のカメラで撮像され録画された動画データから一定の時間間隔で静止画像データを取得する。たとえば、０．１秒の時間間隔で動画データをサンプリングし、静止画像データを取得する。動画データには、一般に被面談者の上半身および背景の画像が含まれているので、その場合、顔部分のみに相当する静止画像データを取得する。動画データから静止画データを切り出すこと、および顔以外の画像が含まれる画像データから顔部分のみに相当する静止画像データを抽出することは、一般に提供されているアプリケーションソフトウエアを使用して実行することができる。時系列分割処理部６１は、被面談者の顔部分の静止画像の時系列データを出力する。

音声、発話のみによる感情推定では、感情を離散的にしか推定することができない。そこで、感情推定には、テキスト・画像・音声・動画など複数の種類のデータを一度に処理できる学習済みモデルに基づくマルチモーダルAI技術を使用することが考えられる。本実施形態では、これらモダリティのうち顔表情を感情推定の対象とする。

感情推定部６２は、時系列分割処理部６１で取得された顔部分の静止画像データから「喜び、悲しみ、怒り、困惑、不満、嫌気、恐れ、驚き」の８種の感情について、それぞれの度合いを０から１００までの数値で表現した感情ベクトル（列ベクトル）を生成する。

行列演算部６３は、この感情ベクトルを時系列に並べた行列を作成する。感情ベクトルを時系列に並べた行列は、サンプル数ｘ８行列になる。次に、特異スペクトル変換によって感情の変化点を抽出する。

特異スペクトル変換は、たとえば下記の手順で行われる。
１．時系列データに対し、ウインドウ幅ｗ、履歴行列の行数n、テスト行列の列数k、ラグLを与える。
２．データをウィンドウ幅wの部分時系列データに変換する。
３．履歴行列とテスト行列を作る。
４．履歴行列とテスト行列を特異値分解し、それぞれの左特異ベクトルの行列を求める。
５．２つの行列の差異から変化度を計算する。

ここで、「履歴行列」は、図２に示すように、「現時点から時間的に一つ前のデータをn個集めて並べたもの」である。また「テスト行列」は「現時点からL（ラグ）進み、そこからk個前までのデータを並べたもの」である。特異スペクトル変換に用いるウインドウサイズw、ラグL、変化点の閾値は、適切なものを設定する。

本実施形態における特異スペクトル変換は、図３に示すように行われる。この例において、履歴行列の行数nとテスト行列の列数を等しく設定し、一定時間の時系列データ行列を特異値分解して、特徴量の変化、すなわち感情の変化を得るようにしている。

結果出力部６４は、面談分析結果として、行列演算部６３により特定された変化点に該当する時刻を出力するとともに、被面談者の感情がどのように推移したかも出力する。

次に、上述した面談分析システムにおける面談分析について説明する。まず、面談を行うために、面談者装置２での面談者の操作により、被面談者装置３にたとえばZoomを使用したオンラインミーティングに参加するためのリンクが電子メールなどにより送信される。面談者がホスト、被面談者がゲストとなってオンラインミーティングを行うとき、面談者による面談者装置２での操作により、オンラインミーティングシステムにオンラインミーティングの録画がリクエストされる。

オンラインミーティングシステム中の記憶装置に、オンラインミーティング中に面談者装置２のカメラ、マイクによって取得された面談者の動画、音声および被面談者装置３のカメラ、マイクによって取得された被面談者の動画、音声が記憶される。ミーティング終了後に、面談者による面談者装置２での操作により、オンラインミーティングシステムにオンラインミーティングの録画データの面談分析装置５への転送がリクエストされる。この場合、面談者自身ではなく、面談分析装置５の管理者あるいは分析者が管理者端末または分析者端末（いずれもコンピュータ）を操作することにより、面談分析装置５（コンピュータで構成される）への録画データの転送をリクエストすることもできる。

オンラインミーティングシステムから転送された動画データおよび音声データは、面談分析装置５中のデータ入力部７で取得され、記憶部８で記憶される。動画は、一枚一枚の静止画がフレームと呼ばれる静止画の集まりである。記憶部８に記憶された動画データは、制御部６中の時系列分割処理部６１で、たとえば０．１秒の時間間隔でサンプリングされて時系列静止画データに分割される。時系列データとは、時間の推移ととともに観測されるデータである。

感情推定部６２で、時系列として入力されるそれぞれの静止画データについて、感情推定を行う。本実施形態では、被面談者の顔画像のみを分析対象とするため、顔部分のみの静止画データを感情推定部６２に入力する。顔以外の部分を含む画像から顔部分のみの静止画データを切り取る操作は、一般に利用可能な画像処理ソフトウエアを使用して行う。

感情推定部６２では、外部のAI画像分析サービス（たとえば“Amazon Rekognition”）を利用して、時系列分割処理部６１からの顔部分の静止画データを入力し、感情を列ベクトルとして取得する。この実施形態では、感情推定部６２は、被面談者の顔画像の各静止画像データから「喜び、悲しみ、怒り、困惑、不満、嫌気、恐れ、驚き」の８種の感情を表す感情ベクトルをそれぞれ出力する。人の感情は複数の感情の組み合わせである。そのため、被面談者の複雑な感情の変化を正確に把握することが可能となる。

図４は、ある時刻での静止画像データについて「喜び、悲しみ、怒り、困惑、不満、嫌気、恐れ、驚き」の８種の感情を表す感情ベクトルの模式図である。それぞれの感情ベクトルの大きさは、０から１００であるが、図中ではその数値は省略している。図中の感情ベクトルは、被面談者の感情が「喜び」が強いことを示している。この被面談者の感情は、面談中に時々刻々変化するもので、「喜び」のみが４０から８０に変化するといった単純なものではなく、[喜び、悲しみ、怒り、困惑、不満、嫌気、恐れ、驚き]がたとえば[４０、３０、２０，４０、６０、８０、１０、２０]から[８０、１０、２０，３０、５０、７０、２０、１０]へと変化することがある。また、時系列でみた場合、喜びが、ｔ１のとき５０、ｔ２のとき４５、ｔ３のとき７０のように、急激に変化することがある。

行列演算部６２は、感情推定部６２が出力する感情ベクトルを時系列に並べた行列を生成し、特異スペクトル変換により感情の変化点を抽出する。感情ベクトルを時系列に並べた行列は、サンプル数ｘ８行列となる。

ここで使用される特異スペクトル変換法は、時系列データの異常検知（急激な変化点の検出）に適している。一次元時系列データの分析をする際に、ある任意のウインドウ幅wを設定して、w個の隣接した観測データをまとめてw次元のベクトルとして取り出す。さらにwを時間の経過とともにずらしながら取り出すことで、時系列片をつくる。この取り出す領域をスライド窓と呼び、スライド窓により取り出したベクトルを部分時系列と呼ぶ。

図２に示すように、特異スペクトル変換法ではこの部分時系列をさらにまとめて行列としてデータを取り出す。この行列自体の特徴が、ある時刻の時系列データの特徴となる。ある時刻tのデータを用いて生成した行列をテスト行列と呼び、時刻tより以前のデータを用いて生成した行列を履歴行列と呼ぶ。特異スペクトル変換法では、この２つの行列の食い違いの大きさを変化度として異常検知を行う。

結果出力部６４は、特定された変化点に該当する時刻を出力するとともに、被面談者の感情がどのように推移したかを出力する。急激に変化した時点の前後の面談者の動画データおよび音声データ、被面談者の動画データおよび音声データを記憶部８から読み出し、分析結果として出力する。結果検出部６４からの出力によって、面談者のどのような言動が被面談者の感情に作用したか、面談が効果的になったか、あるいは被面談者に不満をもたらしたかの分析につなげることができる。

本実施形態による面談分析システムあるいは面談分析装置によれば、面談の分析に基づく訴求効果の向上を通じて、入社承諾率の向上、人材紹介事業の満足度向上、社員のモチベーションの向上を図ることができる。

次に、本発明の一実施形態による面談分析方法を、図５を参照して説明する。図５中のステップＳ５０１において、面談中に撮像された被面談者の動画データを一定時間間隔でサンプリングし、 静止画データを取得する。ここで、画像データから顔部分のみに相当する静止画像データを抽出し、一定時間間隔で分割された静止画データを得る。ステップS５０２において、静止画データから顔部分の画像を抽出する。動画データには、一般に被面談者の上半身および背景の画像が含まれているので、その場合、顔部分のみに相当する静止画像データを取得する。

ステップＳ５０３において、顔の静止画データから感情を推定する。ここで、顔部分の静止画像データから「喜び、悲しみ、怒り、困惑、不満、嫌気、恐れ、驚き」の８種の感情について、それぞれの度合いを０から１００までの数値で表現した感情ベクトルを生成する。ステップＳ５０４において、感情ベクトルを時系列に並べた行列を作成し、特異スペクトル変換によって感情の変化点を抽出する。ステップＳ５０５において、特定された変化点に該当する時刻を出力するとともに、被面談者の感情がどのように推移したかを出力する。その時刻の前後の面談者の動画データおよび音声データ、被面談者の動画データおよび音声データも、分析結果として出力する。

図５に示した実施形態による面談分析方法は、コンピュータプログラムとして実現することができる。本実施形態は、図１に機能ブロック図で示したが、パーソナルコンピュータ、サーバーなどのコンピュータにおいてそのようなコンピュータプログラムを実行することで、同様に面談を分析することができる。

上述した８種の感情として、心理学者のロバート・プルチックが提唱した喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、期待の8つの基本感情を使用することができる。感情推定は、上述の実施形態における８つの基本感情の代わりに、心理学者ポール・エクマンが提唱した怒り、恐れ、悲しみ、嫌悪、驚き、軽蔑、喜びの７種の感情の度合いを推定することもできる。京都大学佐藤弥准教授らの研究グループによる研究で採用されている怒り、嫌悪、恐怖、喜び、悲しみ、驚きの６種の感情についてその度合いを推定することもできる。また、喜び、好き、悲しみ、恐れ、怒りの５種の感情についてその度合いを推定することもできる。

以上説明した実施形態によれば、面談における対話者の複雑な感情の変化を把握することが可能な面談分析装置、システム、方法およびコンピュータプログラムを提供することができる。

１ 面談分析システム
２ 面談者装置
３ 被面談者装置
４ ネットワーク
５ 面談分析装置
６ 制御部
７ データ入力部
８ 記憶部
６１ 時系列分割処理部
６２ 感情推定部
６３ 行列演算部
６４ 結果出力部

Claims (4)

1. 面談中に得られた面談者および被面談者の動画データおよび音声データを入力するデータ入力部、この動画データおよび音声データを記憶する記憶部、および制御部を有するコンピュータからなる面談分析装置であって、
   前記制御部は、入力された前記面談中の被面談者の顔を含む動画データから被面談者の感情の時々刻々の変化に対応する一定の時間間隔で被面談者の顔部分の静止画データを取得する静止画像取得部と、前記静止画データから被面談者の感情を複数の要素について数値で示す感情ベクトルを取得する感情推定部と、前記感情ベクトルを時系列に並べた行列を作成して、特異スペクトル変換により被面談者の感情の変化点を抽出する行列演算部と、被面談者の感情が急激に変化した時刻とともに急激に変化した時点の前後の面談者の動画データおよび音声データ、被面談者の動画データおよび音声データを前記記憶部から読み出し、分析結果として出力する結果出力部とを有することを特徴とする面談分析装置。
2. 面談者によって操作され、被面談者とのオンラインミーティングを実行するためのコンピュータであって、面談中の面談者の顔を撮像するカメラおよび音声を取得するマイクを備え、動画データを生成する面談者装置と、
   被面談者によって操作され、面談者とのオンラインミーティングを実行するためのコンピュータであって、面談中の被面談者の顔を撮像するカメラおよび音声を取得するマイクを備え、動画データを生成する被面談者装置と、
   面談中に得られた動画データおよび音声データを入力するデータ入力部、この動画データおよび音声データを記憶する記憶部、および制御部を有するコンピュータからなる面談分析装置を有する画像分析システムであって、
   前記制御部は、静止画像取得部、感情推定部、行列演算部および結果出力部を有し、
   前記静止画像取得部は、入力された面談中の被面談者の顔を含む動画データから被面談者の感情の時々刻々の変化に対応する一定の時間間隔で被面談者の顔部分の静止画データを取得し、
   前記感情推定部は、前記静止画データから被面談者の感情を複数の要素について数値で示す感情ベクトルを取得し、前記行列演算部は、前記感情ベクトルを時系列に並べた行列を作成して、特異スペクトル変換により被面談者の感情の変化点を抽出し、
   前記結果出力部は、被面談者の感情が急激に変化した時刻とともに急激に変化した時点の前後の面談者の動画データおよび音声データ、被面談者の動画データおよび音声データを前記記憶部から読み出し、分析結果として出力することを特徴とする面談分析システム。
3. 面談中に得られた動画データおよび音声データを入力するデータ入力部、この動画データおよび音声データを記憶する記憶部、および制御部を有するコンピュータにより実行される面談分析方法であって、
   面談中の面談者および被面談者の動画データおよび音声データを入力するデータ入力ステップと、
   前記動画データから被面談者の感情の時々刻々の変化に対応する一定の時間間隔で被面談者の顔部分の静止画データを取得する静止画像取得ステップと、
   静止画データから被面談者の感情を複数の要素について数値で示す感情ベクトルを取得する感情推定ステップと、
   前記感情ベクトルを時系列に並べた行列を作成して、特異スペクトル変換により被面談者の感情の変化点を抽出する行列演算ステップと、
   被面談者の感情が急激に変化した時刻とともに急激に変化した時点の前後の面談者の動画データおよび音声データ、被面談者の動画データおよび音声データを前記記憶部から読み出し、分析結果として出力する結果出力ステップを有することを特徴とする面談分析方法。
4. 面談中に得られた面談者および被面談者の動画データおよび音声データを入力するデータ入力部、この動画データおよび音声データを記憶する記憶部、および制御部を有するコンピュータにおいて実行される面談分析コンピュータプログラムであって、
   前記動画データから被面談者の感情の時々刻々の変化に対応する一定の時間間隔で被面談者の顔部分の静止画データを取得する静止画像取得機能と、
   静止画データから被面談者の感情を複数の要素について数値で示す感情ベクトルを取得する感情推定機能と、
   前記感情ベクトルを時系列に並べた行列を作成して、特異スペクトル変換により被面談者の感情の変化点を抽出する行列演算機能と、
   被面談者の感情が急激に変化した時刻とともに急激に変化した時点の前後の面談者の動画データおよび音声データ、被面談者の動画データおよび音声データを出力する結果出力機能とを
   前記制御部において実現させるための面談分析コンピュータプログラム。