WO2023084715A1

WO2023084715A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2023084715A1
Application number: PCT/JP2021/041618
Authority: WO
Inventors: 隆一谷田; 亮増村; 哲小橋川
Original assignee: 日本電信電話株式会社
Priority date: 2021-11-11
Filing date: 2021-11-11
Publication date: 2023-05-19

Abstract

情報処理装置（１０）は、イベントに参加している複数の参加者の各々について、当該参加者の顔を含む動画像を取得し、前記複数の参加者の各々について、当該参加者の顔を含む前記動画像を解析して、当該参加者の感情の時間推移を識別し、前記複数の参加者に含まれる第１参加者について識別された前記感情の時間推移と、前記複数の参加者に含まれる他の前記参加者の各々について識別された前記感情の時間推移とを比較して、前記第１参加者の感情が前記他の参加者の感情の時間推移とどの程度同期して変化しているかを示すシンクロ率を前記他の参加者毎に算出し、前記他の参加者毎に算出された前記シンクロ率に基づき、前記第１参加者の前記イベントへの関わりの強さを判定する、制御部（１１）を備える。

Description

情報処理装置、情報処理方法、及びプログラム

　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

　非特許文献１には、複数の参加者が対面で行う会議に複数台の全方位カメラ及び複数台のマイクを導入し、会話シーンの分析を行うシステムが記載されている。このシステムは、全方位カメラが取得した画像から参加者の視線を推定するとともに、複数台のマイクが取得した音響信号から発話者及びその発話区間を推定する。システムは、これらの推定結果に基づき会議において誰が注目を集めているかをリアルタイムに推定する。

大塚和弘、他4名、「多人数会話シーン分析に向けた実時間マルチモーダルシステムの構築 : マルチモーダル全方位センサを用いた顔方向追跡と話者ダイアリゼーションの統合」、電子情報通信学会技術研究報告. MVE, マルチメディア・仮想環境基礎 108(328), p. 55-62, 2008-11-20.

　しかし、Ｗｅｂ会議等のイベントにおいては、参加者が集合して対面で行う会議と異なり視線の移動角度が極めて狭いため、誰が注目を集めているかを視線から推定することが困難である。また、多数の参加者が参加した会議又はセミナーのように一人当たりの発話量が少ない場合、発話の情報に基づいて参加者の会議への関わりの強さを検知することは困難である。このように、従来の構成は、Ｗｅｂ会議等のイベントに適用した場合、各参加者のイベントへの関わりの強さの検出精度に改善の余地があった。

　かかる事情に鑑みてなされた本開示の目的は、複数の参加者がイベントに参加する場合において、参加者のイベントへの関わりの強さをより高い精度で検出可能とする情報処理装置、情報処理方法、及びプログラムを提供することである。

　一実施形態に係る情報処理装置は、イベントに参加している複数の参加者の各々について、当該参加者の顔を含む動画像を取得し、前記複数の参加者の各々について、当該参加者の顔を含む前記動画像を解析して、当該参加者の感情の時間推移を識別し、前記複数の参加者に含まれる第１参加者について識別された前記感情の時間推移と、前記複数の参加者に含まれる他の前記参加者の各々について識別された前記感情の時間推移とを比較して、前記第１参加者の感情が前記他の参加者の感情の時間推移とどの程度同期して変化しているかを示すシンクロ率を前記他の参加者毎に算出し、前記他の参加者毎に算出された前記シンクロ率に基づき、前記第１参加者の前記イベントへの関わりの強さを判定する、制御部を備える。

　一実施形態に係る情報処理装置の情報処理方法は、制御部が、イベントに参加している複数の参加者の各々について、当該参加者の顔を含む動画像を取得する工程と、前記複数の参加者の各々について、当該参加者の顔を含む前記動画像を解析して、当該参加者の感情の時間推移を識別する工程と、前記複数の参加者に含まれる第１参加者について識別された前記感情の時間推移と、前記複数の参加者に含まれる他の前記参加者の各々について識別された前記感情の時間推移とを比較して、前記第１参加者の感情が前記他の参加者の感情の時間推移とどの程度同期して変化しているかを示すシンクロ率を前記他の参加者毎に算出する工程と、前記他の参加者毎に算出された前記シンクロ率に基づき、前記第１参加者の前記イベントへの関わりの強さを判定する工程と、含む。

　本開示の一実施形態によれば、複数の参加者がイベントに参加する場合において、参加者のイベントへの関わりの強さをより高い精度で検出することが可能である。

一実施形態に係る情報処理システムの構成例を模式的に示す図である。図１の情報処理装置のハードウェア構成の一例を示すブロック図である。図２の情報処理装置による処理の一例を示すフローチャートである。図３の感情識別処理の一例を示すフローチャートである。感情推定値の時間的変化の一例を示す図である。図３のシンクロ率算出処理の一例を示すフローチャートである。参加者間における感情推定値の時間的変化の相関値を模式的に示す図である。図３の参加度算出処理の一例を示すフローチャートである。各参加者の参加度を算出する処理を模式的に示す図である。

　以下、本開示の一実施形態について、図面を参照して説明する。各図面中、同一の構成又は機能を有する部分には、同一の符号を付している。本実施形態の説明において、同一の部分については、重複する説明を適宜省略又は簡略化する場合がある。

　本開示に係る情報処理装置は、Ｗｅｂ会議、Ｗｅｂセミナー、又はｅラーニング等のイベントへの各参加者の画像を取得し、その画像から各参加者の感情の時間推移を識別する。情報処理装置は、ある参加者の感情が他の参加者の感情推移に同期して変化している場合、その参加者のイベントへの関わりが強いと判定する。このように、本開示に係る情報処理装置は、参加者の感情が他の参加者の感情推移に同期して変化していることに基づいて、その参加者のイベントへの関わりの強さを判定するため、イベントへの関わりの強さを高い精度で検出することができる。また、情報処理装置は、各参加者の画像に基づきイベントへの関わりの強さを判定するため、参加者の視線を判別することが困難で、一人当たりの発話量が少ない場合であっても、参加者のイベントへの関わりの強さ検出することができる。

　図１は、一実施形態に係る情報処理システム１の構成例を模式的に示す図である。情報処理システム１は、情報処理装置１０及びカメラ２０を備える。情報処理装置１０及びカメラ２０は、有線回線、無線回線、インターネット、又は移動体通信網等を含むネットワークを介して互いに通信可能である。

　カメラ２０は、イベントの各参加者を撮影し、画像を取得する撮影装置である。カメラ２０は、一定のフレームレートで動画像を取得するビデオカメラとしてもよい。本実施形態では、イベントに複数の参加者が参加し、参加者の各々に対して１台ずつカメラ２０が割り当てられ、カメラ２０は対応する参加者の顔を撮影する場合の例を説明する。なお、同一のカメラ２０が複数の参加者を撮影したり、複数のカメラ２０が同一の参加者を異なる角度から撮影したりしてもよい。カメラ２０は、参加者の顔だけでなく、参加者の上半身又は全身を含む範囲を撮影してもよい。

　カメラ２０は、情報処理装置１０と通信可能な撮影装置であれば、どのようなカメラにより実現してもよい。例えば、カメラ２０は、例えば、情報処理装置１０に有線回線又は無線回線により接続されたカメラ、各参加者が操作するＰＣ（Personal Computer）等に外付け又は内蔵されたカメラ、又は、インターネット等に接続されたネットワークカメラ等としてもよい。各カメラ２０が撮影して取得した画像は、情報処理装置１０へ出力される。

　情報処理装置１０は、ＰＣ、ＷＳ（Work Station）、クラウド、又はタブレット等の任意のコンピュータ装置により実現されてもよい。情報処理装置１０は、感情識別器１０１、シンクロ率算出器１０３、及び参加度算出器１０５の機能要素を備える。

　感情識別器１０１は、カメラ２０から入力された参加者の画像を解析し、各参加者の感情を識別する。感情識別器１０１は、例えば、人物の顔の画像からその人物の感情を識別するための、機械学習により予め生成された学習モデルを参照して、入力された参加者の画像から感情を識別してもよい。このような学習モデルは、予め記憶装置に記憶されてもよい。なお、感情識別器１０１は、参加者の感情を識別することができれば任意の方式により実現してもよく、機械学習に基づく方式に限られない。各参加者の画像に参加者の上半身等の顔以外の領域が含まれる場合、感情識別器１０１は、参加者の感情を識別する際にこれらの領域の情報を用いてもよい。感情識別器１０１は、各参加者について識別された感情の時間推移を示すデータを、感情推移データ１０２として出力する。

　シンクロ率算出器１０３は、感情推移データ１０２に基づき、各参加者について、その参加者の感情の時間推移を他の参加者の感情の時間推移と比較して、シンクロ率を算出する。シンクロ率とは、その参加者の感情が他の参加者の感情の時間推移とどの程度同期して変化しているかを示す指標である。イベントにおいてある話者が発言するなどの事象が発生した場合、その事象の発生に応じて生じた感情が参加者毎に異なるとしても、イベントへの関わりが強い参加者の感情は、その事象に時間的に同期して変化すると考えられる。多くの参加者の感情は事象の発生を反映して変化すると考えられるため、ある参加者の感情が、他の多くの参加者の感情の時間推移と同期して変化している場合、その参加者はイベントへの関わりが強いと考えられる。したがって、各参加者について、その参加者と他の参加者との間で算出されるシンクロ率は、その参加者のイベントへの関わりの強さを反映している。シンクロ率算出器１０３は、各参加者について、その参加者と他の全ての参加者の各々との間で算出したシンクロ率を、シンクロ率データ１０４として出力する。なお、本実施形態では、ある参加者の感情が他の参加者の感情の時間推移とより同期して変化する場合、シンクロ率の値が大きくなる例を説明する。

　参加度算出器１０５は、シンクロ率データ１０４に基づき、各参加者について、その参加者のイベントへの関わりの強さを示す指標である参加度を算出する。イベントへの関わりが強い参加者については、その参加者と他の全ての参加者の各々との間で算出されるシンクロ率は、全体としてより大きな値となる傾向にある。そこで、参加度算出器１０５は、例えば、ある参加者について、その参加者と他の参加者の各々とで算出されたシンクロ率の平均値を、その参加者の参加度として算出してもよい。なお、ある参加者についての参加度は、他の参加者との間で算出されたシンクロ率の全体的傾向を反映したものであればよく、シンクロ率の平均値に限られない。例えば、ある参加者の参加度は、他の参加者との間で算出されたシンクロ率の中央値又はシンクロ率の単純合計値等としてもよい。参加度算出器１０５は、各参加者について算出した参加度を出力する。例えば、各参加者の参加度はディスプレイに表示されてもよい。

　図２は、図１の情報処理装置１０のハードウェア構成の一例を示すブロック図である。図２に示すように、情報処理装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、出力部１５、及びバス１６を備える。

　制御部（コントローラ）１１は、情報処理装置１０を構成する各構成部とバス１６を介して通信可能に接続され、情報処理装置１０全体の動作を制御する。制御部１１は、１つ以上のプロセッサを含む。一実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限定されない。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組合せ等であってもよい。

　記憶部（メモリ）１２は、情報処理装置１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１２は、システムプログラム、アプリケーションプログラム、及び通信部１３によって受信された各種情報等を記憶してもよい。記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組合せを含む任意の記憶モジュールを含む。記憶部１２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１２は、情報処理装置１０に内蔵されているものに限定されず、ＵＳＢ（Universal Serial Bus）等のデジタル入出力ポート等によって接続されている外付けのデータベース又は外付け型の記憶モジュールであってもよい。

　通信部１３は、カメラ２０等の他の装置と通信するためのインタフェースとして機能する。通信部１３は、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ等を含む任意の通信技術によって他の装置と通信接続可能な、任意の通信モジュールを含む。通信部１３は、さらに、他の装置との通信を制御するための通信制御モジュール、及び他の装置との通信に必要となる識別情報等の通信用データを記憶する記憶モジュールを含んでもよい。

　入力部１４はユーザの入力操作を受け付けて、ユーザの操作に基づく入力情報を取得する１つ以上の入力インタフェースを含む。例えば、入力部１４は、物理キー、静電容量キー、ポインティングデバイス、出力部１５のディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイク等であるが、これらに限定されない。

　出力部１５は、ユーザに対して情報を出力し、ユーザに通知する１つ以上の出力インタフェースを含む。例えば、出力部１５は、情報を画像で出力するディスプレイ、又は情報を音声で出力するスピーカ等であるが、これらに限定されない。なお、上述の入力部１４及び出力部１５の少なくとも一方は、情報処理装置１０と一体に構成されてもよいし、別体として設けられてもよい。

　情報処理装置１０の一部又は全ての機能が、制御部１１に含まれる専用回路により実現されてもよい。すなわち、情報処理装置１０の一部又は全ての機能が、ハードウェアにより実現されてもよい。また、情報処理装置１０は単一の情報処理装置により実現されてもよいし、複数の情報処理装置の協働により実現されてもよい。例えば、情報処理装置１０は、感情識別器１０１、シンクロ率算出器１０３、及び参加度算出器１０５等のように、情報処理装置１０の機能毎に別の情報処理装置を設けて構成してもよい。

　図３、図４、図６、及び図８は、図２の情報処理装置１０による処理の一例を示すフローチャートである。図３、図４、図６、及び図８を参照して説明する情報処理装置１０の動作は、本実施形態に係る情報処理装置１０の情報処理方法の一例に相当する。図３、図４、図６、及び図８の各ステップの動作は、情報処理装置１０の制御部１１の制御に基づき実行される。

　図３のステップＳ１において、制御部１１は、感情識別処理を行う。感情識別処理は、感情識別器１０１が行う処理に対応する。すなわち、感情識別処理において、制御部１１は、全参加者について顔を含む画像から感情を識別し、識別された感情の時間推移を示すデータを、感情推移データ１０２として出力する。感情識別処理の詳細は、図４及び図５を参照して後述する。

　ステップＳ２において、制御部１１は、シンクロ率算出処理を行う。シンクロ率算出処理は、シンクロ率算出器１０３が行う処理に対応する。すなわち、シンクロ率算出処理において、制御部１１は、感情推移データ１０２に基づき、各参加者について、その参加者の感情の時間推移を他の参加者の感情の時間推移と比較してシンクロ率を算出し、シンクロ率データ１０４として出力する。シンクロ率算出処理の詳細は、図６及び図７を参照して後述する。

　ステップＳ３において、制御部１１は、参加度算出処理を行う。参加度算出処理は、参加度算出器１０５が行う処理に対応する。すなわち、参加度算出処理において、制御部１１は、シンクロ率データ１０４に基づき、各参加者について参加度を算出する。参加度算出処理の詳細は、図８及び図９を参照して後述する。

　図４は、図３の感情識別処理の一例を示すフローチャートである。感情識別処理において、制御部１１は、全参加者について顔を含む画像から感情を識別し、感情の時間推移を示すデータを感情推移データ１０２として出力する。

　図４のステップＳ１１において、制御部１１は、イベントにおいてカメラ２０による各参加者の撮影が終わるまで、ステップＳ１２～Ｓ１４の処理を繰り返す。

　ステップＳ１２において、制御部１１は、全参加者の表情を含む画像をカメラ２０から取得する。カメラ２０は対応する参加者の顔を撮影すると、複数の静止画像（フレーム）を含む動画像（ビデオ）として情報処理装置１０へ順次出力する。制御部１１は、その時刻において撮影されたフレームをカメラ２０から順次取得し、記憶部１２へ記憶していく。以下、Ｎ番目の参加者の顔を撮影した動画像の、ｆ番目のフレームをＦ_N［ｆ］と示す。すなわち、Ｆ_N［ｆ］は、Ｎ番目の参加者の顔が写った静止画である。以下、イベントに参加者Ａ、Ｂ、Ｃ、及びＤの４名が参加し、参加者Ａは０番目の参加者、参加者Ｂは１番目の参加者、参加者Ｃは２番目の参加者、参加者Ｄは３番目の参加者である例を説明する。この場合、Ｎは０～３の値となる。

　ステップＳ１３において、制御部１１は、各参加者の画像に基づき、全参加者の感情を識別する。前述のように、参加者の感情の識別は、既存に方式に基づき感情識別器１０１により実行される。本実施形態では、一例として、感情を、怒り、悲しみ、喜び、ニュートラル、嫌悪、恐怖、及び驚きの７つの要素に分類し、ある時点の参加者の感情をこれらの要素の推定値（確からしさ）によって示す。本実施形態では、ある時点において、参加者の７つの感情の推定値の総和が１００％となる場合の例を説明する。なお、参加者の感情の表し方は任意であり、このようなものに限られない。

　Ｆ_N［ｆ］が、感情識別器１０１に入力されると、ｉ種類の感情の各要素に関する推定値Ｅｍｏ［ｉ］が出力される。感情識別器１０１の処理を関数ＤＥ（）で表すと、感情識別器１０１の処理は次式で示される（Ｎ：参加者番号、ｉ：感情の番号、ｆ：フレーム番号）。
　　　　Ｅｍｏ［ｉ］＝ＤＥ（Ｆ_N［ｆ］）
　例えば、ｉ＝０は怒り、ｉ＝１は悲しみ、ｉ＝２は喜び、ｉ＝３はニュートラルを示す。感情の識別結果が、怒り：５％、悲しみ：１０％、喜び：７０％、ニュートラル：１５％、・・・である場合、Ｅｍｏ［０］、Ｅｍｏ［１］、・・・は次のようになる。
　　　　Ｅｍｏ［０］＝０．０５
　　　　Ｅｍｏ［１］＝０．１
　　　　Ｅｍｏ［２］＝０．７
　　　　Ｅｍｏ［３］＝０．１５
　　　　　　・・・
となる。本実施形態の例では、ΣＥｍｏ［ｉ］＝１００％となるが、参加者の７つの感情の推定値の総和は必ずしも１００％である必要はない。また、例えば、参加者の感情は７つの要素によって示される必要はなく、一つ以上の任意の個数の要素により示されてもよい。

　ステップＳ１４において、制御部１１は、ステップＳ１３で識別したＮ番目の参加者のｆ番目フレームに関するｉ種類の感情の推定値Ｄａｔａ［Ｎ］［ｉ］［ｆ］を、参加者及びフレーム毎に、感情推移データ１０２として蓄積していく。その結果、Ｄａｔａ［Ｎ］［ｉ］［ｆ］が全参加者、全感情、及び全フレームに対して求まる。例えば、参加者３（参加者Ｄ）の１００番目フレームにおいて喜び（感情番号ｉ＝２）の確率が７０％という推定結果である場合、
　　　　Ｄａｔａ［３］［２］［１００］＝０．７
という結果が格納される。

　図５は、ある一人の参加者についての感情推定値の時間的変化の一例を示す図である。図５において、横軸はフレーム番号を示し、時間の推移に対応する。縦軸は感情推定値の大きさを示す。図５の例では、怒り、悲しみ、喜び、ニュートラル、嫌悪、恐怖、及び驚きの各要素について、時間推移に応じた各要素の変化が示されている。感情識別処理により、制御部１１は、イベントの参加者の各々について、図５に例示したような感情の時間推移を示すデータを感情推移データ１０２として出力する。

　制御部１１は、カメラ２０の撮影期間中においてステップＳ１２～Ｓ１４の処理を繰り返す。撮影が終了すると、制御部１１は、感情識別処理を終了する。

　図６は、図３のシンクロ率算出処理の一例を示すフローチャートである。シンクロ率算出処理において、制御部１１は、感情の時間推移に基づいて、ある参加者の感情の時間推移と他の参加者の感情の時間推移との時間的な関連性を示すシンクロ率を算出し、シンクロ率データ１０４として出力する。

　図６のステップＳ２１において、制御部１１は、イベントの全参加者から選択された二人の参加者の全ての組合せについて、ステップＳ２２～Ｓ２４の処理を繰り返す。例えば、イベントの参加者が参加者Ａ、Ｂ、Ｃ、Ｄの４名の場合、（Ａ，Ｂ）、（Ａ，Ｃ）、（Ａ，Ｄ）、（Ｂ，Ｃ）、（Ｂ，Ｄ）、（Ｃ，Ｄ）の６つの組合せの各々について、ステップＳ２２～Ｓ２４の処理が実行されることになる。以下、参加者（Ａ，Ｂ）の組合せについて、ステップＳ２２～Ｓ２４の処理を実行する場合の例を説明する。

　ステップＳ２２において、制御部１１は、二人の参加者の全ての感情の組合せについて、ステップＳ２３の処理を実行する。例えば、参加者Ａの７つの感情の要素と、参加者Ｂの７つの感情の要素との全ての組合せについて処理を実行する場合、制御部１１は、７×７＝４９回、ステップＳ２３の処理を繰り返すことになる。

　ステップＳ２３において、制御部１１は、一方の参加者の感情の時間推移と、他方の参加者の感情の時間推移との相関値を求める。例えば、ある参加者Ｎの喜びの時間推移Ｅｍｏｔｉｏｎ_N,2（ｔ）は、フレーム番号をそのまま時刻ｔに対応させると、以下のように表わされる。
　　　　Ｅｍｏｔｉｏｎ_N,2（ｔ）＝Ｄａｔａ［Ｎ］［２］［ｔ］

　参加者Ａと参加者Ｂに関して、喜びの時間推移に関する相関値を求めると、次のように表すことができる。
　　　　喜びの相関＝ｃｏｒｒｅｌ（Ｅｍｏｔｉｏｎ_A,2，Ｅｍｏｔｉｏｎ_B,2）
ここで、Ｅｍｏｔｉｏｎ_A,2は参加者Ａの喜びの感情の時間推移を示し、Ｅｍｏｔｉｏｎ_B,2は参加者Ｂの喜びの感情の時間推移を示す。ｃｏｒｒｅｌ（）は２つのデータの間の相関値を出力する関数である。相関値は－１～＋１の値をとってもよい。喜びの時間推移の相関値が高い場合、参加者Ａと参加者Ｂは同じような時間タイミングで笑顔になったことが伺える。

　同様に、参加者Ａの怒りの時間推移Ｅｍｏｔｉｏｎ_A,oと、参加者Ｂの喜びの時間推移Ｅｍｏｔｉｏｎ_B,2との間の相関値は、次式により計算される。
　　　　怒りと喜びの間の相関＝ｃｏｒｒｅｌ（Ｅｍｏｔｉｏｎ_A,0，Ｅｍｏｔｉｏｎ_B,2）
この相関値が高い場合、参加者Ｂが笑顔になると参加者Ａは不機嫌になっていたことが推察される。

　このようにして、ステップＳ２２、Ｓ２３において、制御部１１は、参加者Ａの感情ｐと参加者Ｂの感情ｑの間の時間推移に関する相関値Ｅｃｒｌ_A,B［ｐ］［ｑ］を次の式により計算する。
　　　　Ｅｃｒｌ_A,B［ｐ］［ｑ］＝ｃｏｒｒｅｌ（Ｅｍｏｔｉｏｎ_A,p，Ｅｍｏｔｉｏｎ_B,q）感情の種類が７つ存在する例では、ｐ，ｑは０～６までのいずれかの値となるので、７×７＝４９個のＥｃｒｌ_A,B［ｐ］［ｑ］が計算される。Ｅｃｒｌ_A,B［ｐ］［ｑ］の各々は－１～＋１の値となり得る。

　ステップＳ２４において、制御部１１は、ステップＳ２２、Ｓ２３において算出された相関値又はその絶対値の分散を、参加者間の感情のシンクロ率として算出する。

　図７は、参加者間における感情推定値の時間的変化の相関値を模式的に示す図である。図７では、参加者Ａ、Ｂの感情の７つの要素の時間推移の相関値が、７×７＝４９個の四角形の濃淡により示されている。図７の例では、より濃色の四角形は正又は負の相関が高いことを示す。図７の例では、参加者Ａの感情の各要素は感情推移データ１０２ａから取得され、参加者Ｂの感情の各要素は感情推移データ１０２ｂから取得されている。参加者Ａの感情が、参加者Ｂの感情の時間推移と無関係に変化した場合、参加者Ａの感情の各要素の時間推移は参加者Ｂの感情のいずれの要素の時間推移とも相関値が０に近くなり、図７の４９個の四角形は全体として薄色となる。一方、参加者Ａの感情が、参加者Ｂの感情の時間推移と同期して変化した場合、参加者Ａのある感情の要素は、参加者Ｂのある感情の要素と正又は負の高い相関を示す一方、別の感情の要素との相関は低くなる。そのため、参加者Ａの感情が、参加者Ｂの感情の時間推移と同期して変化している場合、図７の４９個の四角形の色は全体としてばらつきが大きくなる。したがって、ステップＳ２２、Ｓ２３において算出された相関値のばらつきの大きさは、ある参加者の感情が他の参加者の感情の時間推移とどの程度同期して変化しているかを示しているといえる。そこで、次式のように、制御部１１は、４９個の相関値又はその絶対値の分散Ｖａｒをシンクロ率として算出する。
　　　　シンクロ率＝Ｖａｒ（Ｅｃｒｌ_a,b［０］［０］，Ｅｃｒｌ_a,b［０］［１］，．．．Ｅｃｒｌ_a,b［６］［６］）

　なお、制御部１１は、ある参加者の感情が他の参加者の感情の時間推移とどの程度同期して変化しているかを示すならば、どのような値をシンクロ率として算出してもよい。例えば、制御部１１は、４９個の相関値又はその絶対値の統計的なばらつきを示す標準偏差をシンクロ率として算出してもよい。また、感情識別処理（図３のステップＳ１、図４）において一種類の感情の要素（例えば、喜び）について時間推移が識別された場合、制御部１１は、その感情の要素の相関値又はその絶対値を参加者間のシンクロ率として算出してもよい。

　制御部１１は、全ての参加者の組合せについて、ステップＳ２２～Ｓ２４の処理を繰り返す。全ての参加者の組合せについて処理が完了すると、制御部１１は、シンクロ率算出処理を終了する。

　図８は、図３の参加度算出処理の一例を示すフローチャートである。参加度算出処理において、制御部１１は、参加者の組合せ毎に算出されたシンクロ率に基づいて、各参加者のイベントへの関わりの強さを示す参加度を算出する。

　図８のステップＳ３１において、制御部１１は、イベントの各参加者について、ステップＳ３２、Ｓ３３の処理を繰り返す。例えば、イベントの参加者が参加者Ａ、Ｂ、Ｃ、Ｄの４名の場合、Ａ、Ｂ、Ｃ、Ｄの各々について、ステップＳ３２、Ｓ３３の処理が実行されることになる。以下、参加者Ａについて、ステップＳ３２、Ｓ３３の処理を実行する場合の例を説明する。

　ステップＳ３２において、制御部１１は、参加者Ａと、他の参加者Ｂ、Ｃ、Ｄとの間で算出されたシンクロ率の平均を計算する。参加者Ａ、Ｂの間のシンクロ率をＳｙｎｃ_A,Bと示すと、シンクロ率の平均は次のように示される。
　　　　シンクロ率の平均＝Ａｖｇ（Ｓｙｎｃ_A,B＋Ｓｙｎｃ_A,C＋Ｓｙｎｃ_A,D）

　ステップＳ３３において、制御部１１は、ステップＳ３２で算出したシンクロ率の平均を参加者Ａの参加度として出力する。例えば、制御部１１は、参加者Ａの参加度を示す画像を出力部１５のディスプレイに表示させてもよい。

　情報処理装置１０は、イベントの参加度を、シンクロ率の平均値により示してもよいが、「高」「中」「低」等の複数のグレード（等級）で示してもよい。例えば、情報処理装置１０は、平均値が所定の第１の閾値以上の場合はグレード「高」、所定の第２の閾値（＜第１の閾値）以上第１の閾値未満の場合はグレード「中」、第２の閾値未満の場合はグレード「低」等のように、参加度を示してもよい。また、ある参加者についての参加度は、他の参加者との間で算出されたシンクロ率の全体的傾向を反映したものであればよく、シンクロ率の平均値に限られない点は前述のとおりである。

　制御部１１は、このようなステップＳ３２、Ｓ３３の処理をイベントの参加者の各々について繰り返すことで、各参加者の参加度を出力する。そして、制御部１１は、参加度算出処理の処理を終了する。

　図９は、各参加者の参加度を算出する処理を模式的に示す図である。図９では、参加者Ａ、Ｂ、Ｃ、Ｄのシンクロ率が、４×（４－１）＝１２個の四角形の濃淡により示されている。図７の例では、より濃色の四角形はシンクロ率が高いことを示す。図９の例では、参加者Ａの参加度は低、参加者Ｂ、Ｃの参加度は中、参加者Ｄの参加度は高とされている。

　以上のように、情報処理装置１０は、イベントに参加している複数の参加者の各々について、その参加者の顔を含む動画像を取得する。情報処理装置１０は、複数の参加者の各々について、その参加者の顔を含む動画像を解析して、その参加者の感情の時間推移を識別する。情報処理装置１０は、複数の参加者に含まれる第１参加者について識別された感情の時間推移と、複数の参加者に含まれる他の参加者の各々について識別された感情の時間推移とを比較する。情報処理装置１０は、このような比較により、第１参加者の感情が他の参加者の感情の時間推移とどの程度同期して変化しているかを示すシンクロ率を他の参加者毎に算出する。情報処理装置１０は、他の参加者毎に算出されたシンクロ率に基づき、第１参加者のイベントへの関わりの強さを判定する。

　このように、情報処理装置１０は、参加者の感情が他の参加者の感情の時間推移とどの程度同期して変化しているかに基づき、その参加者のイベントへの関わりの強さを判定するため、イベントへの関わりの強さを高い精度で検出することができる。イベントでは、その過程で各参加者の表情が様々に変化する。議論に深く関わっている参加者の表情は、その議論の推移に応じて時間的に変化する。一方、例えば議論を殆ど聞いていない参加者の表情は、他の参加者の表情の推移と異なる様相で変化する。情報処理装置１０は、各参加者の顔の表情から感情を識別し、その感情の時間推移を他の参加者と比較することで、イベントへの関わり方の強さを高い精度で推定することを可能とする。

　また、情報処理装置１０は、各瞬間の感情の要素の推定値そのものではなく、その感情値の時間推移に着目し、他の参加者の時間推移と比較することで、各参加者の感情のシンクロ率及び参加度を推定する。これにより、情報処理装置１０は、各瞬間の感情の推定値の精度が高くなくても、各参加者のイベントへの関わりの強さを適切に推定することが可能である。例えば、特定の感情（例えば、喜び）が表れている時間の長さを検出し、その長さによりイベントへの関わりの強さを評価した場合、その特定の感情の検出精度が低いと、関わりの強さの精度は低下する。一方、本実施形態に係る情報処理装置１０は、参加者の感情が大局的にどのように変化し、その変化が他者の感情の変化とどの程度同期しているかに基づきイベントへの関わりの強さを判定する。したがって、情報処理装置１０によれば、感情識別におけるノイズに対して頑健な判定結果を取得することが可能である。

　また、情報処理装置１０は、常に計測可能な各参加者の画像に基づきイベントへの関わりの強さを判定するため、参加者の視線を判別することが困難で、一人当たりの発話量が少ない場合であっても、参加者のイベントへの関わりの強さを検出することができる。本実施形態に係る情報処理装置１０は、参加者のイベントへの関わりの強さのような従来の評価方法に対して特定の改善を提供するものであり、イベントへの関わりの強さの性能評価に係る技術分野の向上を示すものである。なお、本実施形態に係る情報処理装置１０は、参加者の組合せ毎に感情の時間推移の相関値を求め、相関値又はその絶対値のばらつきの大きさを示す値をシンクロ率として算出したが、参加者の感情が他の参加者の感情の時間推移とどの程度同期して変化しているかを示すならば、任意の指標をシンクロ率として算出してもよい。

　また、情報処理装置１０は、第１参加者の感情が、より多くの他の参加者の感情の時間推移とより同期して変化している場合、第１参加者のイベントへの関わりをより強いと判定してもよい。このように、情報処理装置１０は、他の参加者との間で算出されたシンクロ率の全体的傾向に基づきイベントへの関わりの強さを判定することで、イベントへの関わりの強さをさらに適切に検出することができる。

　また、情報処理装置１０は、複数の参加者の各々について、その参加者の顔を含む動画像を解析して、少なくとも二つの感情要素の推定値の時間推移を識別してもよい。このように、情報処理装置１０は、少なくとも二つの感情要素の推定値の時間推移に基づき、参加者のイベントへの関わりの強さを判定することで、イベントへの関わりの強さをさらに適切に検出することができる。

　また、情報処理装置１０は、第１参加者の少なくとも二つの感情要素と、他の参加者に含まれる第２参加者の少なくとも二つの感情要素と、の全ての組合せの各々について、第１参加者の感情要素の推定値の時間推移と、第２参加者の感情要素の推定値の時間推移との相関値を算出してもよい。情報処理装置１０は、第１参加者及び第２参加者について算出された相関値又はその絶対値の統計的なばらつきの大きさを示す値を、第１参加者と第２参加者との間のシンクロ率として算出してもよい。例えば、情報処理装置１０は、第１参加者及び第２参加者について算出された相関値又はその絶対値の分散又は標準偏差をシンクロ率として算出してもよい。このように、情報処理装置１０は、参加者間のシンクロ率を、感情要素の推定値の時間推移についての統計値に基づき算出するため、シンクロ率を容易に取得することが可能である。

　また、情報処理装置１０は、他の参加者毎に算出されたシンクロ率の、平均値、中央値、又は合計値により、第１参加者のイベントへの関わりの強さを判定してもよい。したがって、情報処理装置１０は、他の参加者との間で算出されたシンクロ率の全体的傾向を適切に反映した値を取得することが可能である。

　なお、情報処理装置１０は、イベントの参加者の画像を解析して感情の時間推移を識別し、シンクロ率及び参加度を算出する期間を任意に設定してもよい。例えば、情報処理装置１０は、イベントにおいて同一の参加者が連続して発話する期間（発話区間）毎にデータを区切り、その期間毎に感情の時間推移を識別し、シンクロ率及び参加度を算出してもよい。その場合、情報処理装置１０は、発話をしている参加者以外の参加者について、シンクロ率及び参加度を計算してもよい。具体的には、参加者Ａ、Ｂ、Ｃ、Ｄの４名の会話に関して、例えば、参加者Ａの発話区間において、情報処理装置１０は、参加者Ｂ、Ｃ、Ｄの３名について互いのシンクロ率を計算してもよい。この場合、情報処理装置１０は、（Ｂ，Ｃ）、（Ｂ，Ｄ）、（Ｃ，Ｄ）の３つの組合せの各々についてシンクロ率を算出することになる。情報処理装置１０は、算出された３つのシンクロ率に基づき参加度を算出することで、参加者Ａの話が参加者Ｂ、Ｃ、Ｄの感情に与えた影響度合いを検出してもよい。同様に、情報処理装置１０は、参加者Ｂの会話時は参加者Ａ、Ｃ、Ｄ、参加者Ｃの会話時は参加者Ａ、Ｂ、Ｄのシンクロ率を計算して参加度を算出してもよい。これにより、情報処理装置１０は、各参加者の発言が他の参加者の感情にどれだけ訴えられたか、その強さの指標となる参加度を出力することが可能である。

　また、情報処理装置１０は、一定時間毎に、各参加者の感情の時間推移を識別し、シンクロ率及び参加度を算出してもよい。例えば、情報処理装置１０は、イベントが開催されている期間を３０分毎の区間に区切り、その区間毎に、各参加者の感情の時間推移を識別し、シンクロ率及び参加度を算出してもよい。これにより、区間毎に各参加者のイベントへの関わりの強さを検出することができ、イベントにおいて、各参加者の関わりの強さがどのように変化したかを評価することが可能である。

　上記の実施形態として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。コンピュータは、各装置の機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行させることで実現することができ、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。本実施形態に係る情報処理装置１０の情報処理方法をコンピュータに実行させるためのプログラムは、図３、図４、図６、及び図８に示す各ステップの少なくとも一部を含み得る。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、ＣＰＵ、ＧＰＵ、ＤＳＰなどであってもよい。

　また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、ＣＤ（Compact Disk）－ＲＯＭ（Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＢＤ（Blu-ray Disc（登録商標））－ＲＯＭなどであってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。

　以上の実施形態に関し、更に以下の付記を開示する。

　（付記項１）
　情報処理装置であって、
　メモリと、
　前記メモリに接続された制御部と、
　を備え、
　前記制御部は、
　イベントに参加している複数の参加者の各々について、当該参加者の顔を含む動画像を取得し、
　前記複数の参加者の各々について、当該参加者の顔を含む前記動画像を解析して、当該参加者の感情の時間推移を識別し、
　前記複数の参加者に含まれる第１参加者について識別された前記感情の時間推移と、前記複数の参加者に含まれる他の前記参加者の各々について識別された前記感情の時間推移とを比較して、前記第１参加者の感情が前記他の参加者の感情の時間推移とどの程度同期して変化しているかを示すシンクロ率を前記他の参加者毎に算出し、
　前記他の参加者毎に算出された前記シンクロ率に基づき、前記第１参加者の前記イベントへの関わりの強さを判定する、
　情報処理装置。

　（付記項２）
　前記制御部は、前記第１参加者の感情が、より多くの前記他の参加者の感情の時間推移とより同期して変化している場合、前記第１参加者の前記イベントへの関わりをより強いと判定する、付記項１に記載の情報処理装置。

　（付記項３）
　前記制御部は、前記複数の参加者の各々について、当該参加者の顔を含む前記動画像を解析して、少なくとも二つの感情要素の推定値の時間推移を識別する、付記項１又は２に記載の情報処理装置。

　（付記項４）
　前記制御部は、
　前記第１参加者の前記少なくとも二つの感情要素と、前記他の参加者に含まれる第２参加者の前記少なくとも二つの感情要素と、の全ての組合せの各々について、当該第１参加者の前記感情要素の推定値の時間推移と、当該第２参加者の前記感情要素の推定値の時間推移との相関値を算出し、
　前記第１参加者及び前記第２参加者について算出された前記相関値の統計的なばらつきの大きさを示す値を、前記第１参加者と前記第２参加者との間の前記シンクロ率として算出する、
　付記項３に記載の情報処理装置。

　（付記項５）
　前記制御部は、前記第１参加者及び前記第２参加者について算出された前記相関値の分散又は標準偏差を前記シンクロ率として算出する、付記項４に記載の情報処理装置。

　（付記項６）
　前記制御部は、前記他の参加者毎に算出された前記シンクロ率の、平均値、中央値、又は合計値により、前記第１参加者の前記イベントへの関わりの強さを判定する、付記項４又は５に記載の情報処理装置。

　（付記項７）
　制御部を備えた情報処理装置の情報処理方法であって、
　制御部が、
　イベントに参加している複数の参加者の各々について、当該参加者の顔を含む動画像を取得する工程と、
　前記複数の参加者の各々について、当該参加者の顔を含む前記動画像を解析して、当該参加者の感情の時間推移を識別する工程と、
　前記複数の参加者に含まれる第１参加者について識別された前記感情の時間推移と、前記複数の参加者に含まれる他の前記参加者の各々について識別された前記感情の時間推移とを比較して、前記第１参加者の感情が前記他の参加者の感情の時間推移とどの程度同期して変化しているかを示すシンクロ率を前記他の参加者毎に算出する工程と、
　前記他の参加者毎に算出された前記シンクロ率に基づき、前記第１参加者の前記イベントへの関わりの強さを判定する工程と、
　含む、情報処理装置の情報処理方法。

　（付記項８）
　コンピュータを、
　イベントに参加している複数の参加者の各々について、当該参加者の顔を含む動画像を取得し、
　前記複数の参加者の各々について、当該参加者の顔を含む前記動画像を解析して、当該参加者の感情の時間推移を識別し、
　前記複数の参加者に含まれる第１参加者について識別された前記感情の時間推移と、前記複数の参加者に含まれる他の前記参加者の各々について識別された前記感情の時間推移とを比較して、前記第１参加者の感情が前記他の参加者の感情の時間推移とどの程度同期して変化しているかを示すシンクロ率を前記他の参加者毎に算出し、
　前記他の参加者毎に算出された前記シンクロ率に基づき、前記第１参加者の前記イベントへの関わりの強さを判定する、
　制御部を備える、情報処理装置として機能させるプログラム。

　上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

　１　　　　情報処理システム
　１０　　　情報処理装置
　１１　　　制御部
　１２　　　記憶部
　１３　　　通信部
　１４　　　入力部
　１５　　　出力部
　１６　　　バス
　１０１　　感情識別器
　１０２　　感情推移データ
　１０３　　シンクロ率算出器
　１０４　　シンクロ率データ
　１０５　　参加度算出器
　２０　　　カメラ

Claims

　イベントに参加している複数の参加者の各々について、当該参加者の顔を含む動画像を取得し、
　前記複数の参加者の各々について、当該参加者の顔を含む前記動画像を解析して、当該参加者の感情の時間推移を識別し、
　前記複数の参加者に含まれる第１参加者について識別された前記感情の時間推移と、前記複数の参加者に含まれる他の前記参加者の各々について識別された前記感情の時間推移とを比較して、前記第１参加者の感情が前記他の参加者の感情の時間推移とどの程度同期して変化しているかを示すシンクロ率を前記他の参加者毎に算出し、
　前記他の参加者毎に算出された前記シンクロ率に基づき、前記第１参加者の前記イベントへの関わりの強さを判定する、
　制御部を備える、情報処理装置。
　前記制御部は、前記第１参加者の感情が、より多くの前記他の参加者の感情の時間推移とより同期して変化している場合、前記第１参加者の前記イベントへの関わりをより強いと判定する、請求項１に記載の情報処理装置。
　前記制御部は、前記複数の参加者の各々について、当該参加者の顔を含む前記動画像を解析して、少なくとも二つの感情要素の推定値の時間推移を識別する、請求項１又は２に記載の情報処理装置。
　前記制御部は、
　前記第１参加者の前記少なくとも二つの感情要素と、前記他の参加者に含まれる第２参加者の前記少なくとも二つの感情要素と、の全ての組合せの各々について、当該第１参加者の前記感情要素の推定値の時間推移と、当該第２参加者の前記感情要素の推定値の時間推移との相関値を算出し、
　前記第１参加者及び前記第２参加者について算出された前記相関値の統計的なばらつきの大きさを示す値を、前記第１参加者と前記第２参加者との間の前記シンクロ率として算出する、
　請求項３に記載の情報処理装置。
　前記制御部は、前記第１参加者及び前記第２参加者について算出された前記相関値の分散又は標準偏差を前記シンクロ率として算出する、請求項４に記載の情報処理装置。
　前記制御部は、前記他の参加者毎に算出された前記シンクロ率の、平均値、中央値、又は合計値により、前記第１参加者の前記イベントへの関わりの強さを判定する、請求項４又は５に記載の情報処理装置。
　情報処理装置の情報処理方法であって、
　制御部が、
　イベントに参加している複数の参加者の各々について、当該参加者の顔を含む動画像を取得する工程と、
　前記複数の参加者の各々について、当該参加者の顔を含む前記動画像を解析して、当該参加者の感情の時間推移を識別する工程と、
　前記複数の参加者に含まれる第１参加者について識別された前記感情の時間推移と、前記複数の参加者に含まれる他の前記参加者の各々について識別された前記感情の時間推移とを比較して、前記第１参加者の感情が前記他の参加者の感情の時間推移とどの程度同期して変化しているかを示すシンクロ率を前記他の参加者毎に算出する工程と、
　前記他の参加者毎に算出された前記シンクロ率に基づき、前記第１参加者の前記イベントへの関わりの強さを判定する工程と、
　含む、情報処理装置の情報処理方法。
　コンピュータを、
　イベントに参加している複数の参加者の各々について、当該参加者の顔を含む動画像を取得し、
　前記複数の参加者の各々について、当該参加者の顔を含む前記動画像を解析して、当該参加者の感情の時間推移を識別し、
　前記複数の参加者に含まれる第１参加者について識別された前記感情の時間推移と、前記複数の参加者に含まれる他の前記参加者の各々について識別された前記感情の時間推移とを比較して、前記第１参加者の感情が前記他の参加者の感情の時間推移とどの程度同期して変化しているかを示すシンクロ率を前記他の参加者毎に算出し、
　前記他の参加者毎に算出された前記シンクロ率に基づき、前記第１参加者の前記イベントへの関わりの強さを判定する、
　制御部を備える、情報処理装置として機能させるプログラム。