JP7139680B2 - 活性度評価プログラム、装置、及び方法 - Google Patents

Description

開示の技術は、活性度評価プログラム、活性度評価装置、及び活性度評価方法に関する。

ワークショップや会議など、複数の参加者同士の対話を含むインタラクションの活性状況を評価する技術が存在する。

例えば、複数の対話者間の共感性の状態又は各対話者の表情の状態を推定する対話状態推定装置が提案されている。この装置は、複数の対話者間の視線の状態を検出し、対話モデルに従って、複数の対話者間の共感性を示す状態、及び各対話者の表情を示す状態を決定する。

また、会議において参加者の注目を集めた内容に絞って再生する会議記録システムが提案されている。このシステムは、会議データに含まれる映像から会議参加者の視認領域を抽出し、視認領域が重なる時間が規定時間以上続いた場合に、視認領域が重なる時間分の視認領域に対応する映像に関する情報を注目情報として生成する。

また、話者の心情を効果的に相手話者に通知できるようにする情報伝達方法が提案されている。この方法では、第１の通信端末と第２の通信端末との間で、通信ネットワークを介して音声及び映像を用いた電話通信を行う際に、第１の通信端末において、当該話者の頭部の動き及び視線の位置を計測する。そして、頭部の動きの計測結果及び視線の位置の計測結果に基づいて当該話者の心情を推定し、推定された心情を表す情報を、第１の通信端末から第２の通信端末へ伝送する。

また、会議における雰囲気を定量的に評価し、議論を円滑に進めることができるように補助する会議支援システムが提案されている。このシステムは、会議参加者各人の表情及び姿勢データに基づいて、会議参加者全体の同意度を判定する。

また、会議などのコミュニケーション状況を支援するための情報の呈示やコミュニケーション環境を変化させるための指示の選択を、事前にルールを構築することなく的確に行えるコミュニケーション支援システムが提案されている。このシステムでは、会議室内の任意の場所（例えば、天井など）に参加者の表情や動作を撮像するためのカメラが設置されている。そして、このシステムは、カメラで撮像された画像から、座っているときの姿勢（例えば、前傾、後傾、肘をつく、足を組む等）や、うなずき動作を検出したり、顔の表情の解析したりすることによって喜怒哀楽の感情を推測する。

特開２０１２－１８５７２７号公報 特開２０１４－２０４４１１号公報 特開２００５－２６９２０７号公報 特開２０１７－１１２５４５号公報 特開２０１７－２０１４７９号公報

対話者間の視線の状態の情報を用いる従来技術では、対話者同士が顔を見合わせている場合の対話状態を推定することはできる。しかし、ワークショップや会議などで、ホワイトボード、ディスプレイ、机上に配置された資料などを用いて議論をしている場合、対話者同士が顔を見合わせていない場合でも、ワークショップや会議が活性状況にある場合もある。従来技術では、このような、対話者同士が顔を見合わせていない場合の活性度を適切に評価することができない。

一つの側面として、開示の技術は、複数のユーザによる対話の場の活性度を適切に評価することを目的とする。

一つの態様として、開示の技術は、複数のユーザによる対話の場における、前記複数のユーザの各々の視線方向の推定に関する情報を取得する。取得した前記情報に基づいて、前記複数のユーザの各々の視線方向を推定する。推定した前記ユーザの各々の視線方向に基づいて、前記複数のユーザのうち、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まった回数又は時間の少なくとも一方を算出する。算出した前記回数又は時間の少なくとも一方に基づいて、前記対話の場の活性度を評価する。

一つの側面として、複数のユーザによる対話の場の活性度を適切に評価することができる、という効果を有する。

第１～第３実施形態に係る活性度評価システムの概略構成を示す図である。 全周囲画像の一例を示す図である。 第１実施形態に係る活性度評価装置の機能ブロック図である。 顔領域の検出及び視線方向の推定を説明するための図である。 顔向きの推定を説明するための図である。 注視点の集まりを説明するための図である。 注視点の集まりを説明するための図である。 第１実施形態におけるフレーム情報テーブルの一例を示す図である。 評価結果画面の一例を示す図である。 第１～第３実施形態に係る活性度評価装置として機能するコンピュータの概略構成を示すブロック図である。 第１実施形態における活性度評価処理の一例を示すフローチャートである。 第２及び第３実施形態に係る活性度評価装置の機能ブロック図である。 第２実施形態におけるフレーム情報テーブルの一例を示す図である。 うなずき動作の抽出を説明するための図である。 第２実施形態における活性度評価処理の一例を示すフローチャートである。 合意形成動作の同期度の算出を説明するための図である。 第３実施形態における活性度評価処理の一例を示すフローチャートである。

以下、図面を参照して、開示の技術に係る実施形態の一例を詳細に説明する。

＜第１実施形態＞
図１に示すように、第１実施形態に係る活性度評価システム１００は、活性度評価装置１０と、３６０度カメラ２０とを含む。

３６０度カメラ２０は、自装置の全周囲を動画撮影する。本実施形態では、３６０度カメラ２０は、例えば、図１に示すように、ワークショップや会議など、複数のユーザ８０による対話の場において、各ユーザ８０が着席するテーブルの中央に設置され、各ユーザ８０の顔を含む全周囲画像を動画撮影する。したがって、全周囲画像には、３６０度カメラ２０のカメラ位置を基準とした複数のユーザ８０の各々の配置を示す情報、及び複数のユーザ８０の各々の顔を含む領域が撮影された顔画像が含まれることになる。

３６０度カメラ２０は、動画を構成する各フレームについて、正距円筒図法により展開した画像データを出力する。出力された画像データは、活性度評価装置１０へ入力される。図２に、３６０度カメラ２０により撮影され、正距円筒図法により展開された全周囲画像３２の一例を示す。

活性度評価装置１０は、機能的には、図３に示すように、取得部１１と、推定部１２と、算出部１３と、評価部１４とを含む。

取得部１１は、３６０度カメラ２０から入力された全周囲画像３２を取得し、取得した全周囲画像３２をフレーム毎に、推定部１２及び算出部１３へ受け渡す。

推定部１２は、取得部１１から受け渡された全周囲画像３２に含まれる顔画像が示す複数のユーザ８０の各々の顔の向きに基づいて、複数のユーザ８０の各々の視線方向を推定する。

具体的には、推定部１２は、図４に示すように、全周囲画像３２から、各ユーザ８０の顔領域（図４中の破線の矩形で示す領域）を検出する。また、推定部１２は、検出した顔領域から、顔の向きを示すベクトル（図４中の矢印）を算出し、算出したベクトルを視線方向として推定する。本実施形態では、推定部１２は、図５に示すように、３６０度カメラ２０に対して正面を向いた状態を基準としたヨー角及びピッチ角を用いて顔向きを推定する。

なお、顔領域の検出及び顔向きの推定には、例えば、参考文献１の技術など、従来既知の技術を適用することができる。

参考文献１：Xiangxin Zhu, Deva Ramanan, "Face Detection, Pose Estimation, and Landmark Localization in the Wild", Computer Vision and Pattern Recognition, 2012.

推定部１２は、各ユーザ８０の顔領域の検出結果及び顔向きの推定結果を、算出部１３へ受け渡す。

算出部１３は、推定部１２から受け渡された各ユーザ８０の視線方向、及び取得部１１から受け渡された全周囲画像３２に含まれる複数のユーザ８０の各々の配置を示す情報に基づいて、各ユーザ８０の視線方向の先の注視点を推定する。そして、算出部１３は、複数のユーザ８０のうち、少なくとも２以上のユーザ８０の注視点が所定範囲内の領域に集まった回数及び時間の少なくとも一方を算出する。本実施形態では、回数及び時間の双方を算出する場合について説明する。以下では、少なくとも２以上のユーザ８０の注視点が所定範囲内の領域に集まることを、「注視点の集まり」という。

具体的には、３６０度カメラ２０が各ユーザ８０のほぼ中心に配置されているとの前提の下、算出部１３は、全周囲画像３２において各ユーザ８０の顔領域が検出された位置に基づいて、図６に示すように、カメラ位置を中心とした各ユーザ８０の配置を特定する。算出部１３は、各ユーザ８０の位置とカメラ位置とを結ぶ線を基準として、推定された各ユーザ８０の視線方向を対応付けることにより、各ユーザ８０の配置に対応した視線方向を特定する。算出部１３は、各視線方向を中心に、ピッチ角方向及びヨー角方向の各々に対して所定の幅（例えば、±１０度）を持たせた視線領域を、ユーザ８０毎に特定し、２以上のユーザ８０の視線領域が交差する場合に、注視点が集まっていると判定する。

図６の例では、ユーザＡ、Ｂ、及びＣの視線方向のピッチ角が同程度であるものとし、ユーザＡ、Ｂ、及びＣの視線領域が交差している、すなわち、ユーザＡ、Ｂ、及びＣの注視点が集まっていることを表している。

また、算出部１３は、図７に示すように、各ユーザ８０の視線方向から推定される注視点を含む視線領域（図７中の実線の矩形）を全周囲画像３２上にマッピングし、２以上の視線領域に重複部分が存在する場合に、注視点が集まっていると判定することができる。

算出部１３は、注視点が集まっているか否かのフレーム毎の判定結果を、例えば、図８に示すようなフレーム情報テーブル３４に記録する。図８の例では、フレームの識別情報であるフレーム番号に、注視点が集まっているか否かを示す「注視点集まりフラグ」を対応付けて記録している。算出部１３は、例えば、「注視点集まりフラグ」欄に、注視点が集まっている場合には「１」、注視点が集まっていない場合には「０」を記録する。

さらに、算出部１３は、フレーム情報テーブル３４を参照して、活性度を算出する単位時間（例えば、５分）における、注視点の集まり回数及び平均時間を算出する。具体的には、算出部１３は、フレーム情報テーブル３４の「注視点集まりフラグ」欄で、フラグ「１」が連続している部分を、注視点の集まり１回とし、単位時間における注視点の集まり回数を算出する。また、算出部１３は、１回毎の注視点の集まりの時間を、その１回に含まれるフレーム数とフレームレートとから算出し、単位時間における、１回の注視点の集まり時間の平均時間を算出する。

算出部１３は、算出した注視点の集まり回数及び平均時間を、評価部１４へ受け渡す。

評価部１４は、算出部１３から受け渡された注視点の集まり回数及び平均時間に基づいて、活性度を算出することにより、対話の活性状況を評価する。

評価部１４は、単位時間における、注視点の集まり回数が多いほど、又は注視点の集まりの平均時間が長いほど、活性度が高くなるように算出する。これは、複数のユーザ８０が、ホワイトボード等の同一箇所に着目して議論している場合には、ユーザ８０同士が顔を見合わせていなくても、ワークショップや会議などが活性していることが想定されるため、この活性状況を適切に評価するためである。

評価部１４は、例えば、下記（１）式により活性度を算出することができる。

活性度＝ａ×ｍ ＋ ｂ／単位時間×ｎ （１）

なお、（１）式において、ａは注視点の集まり回数、ｂは注視点の集まりの平均時間、ｍ及びｎはパラメータである。パラメータは、ワークショップや会議の傾向（ホワイトボードを用いた議論の時間が長いなどの傾向）に応じて、適宜設定可能である。

評価部１４は、算出した活性度を、対話の場の活性度の評価結果として出力する。例えば、評価部１４は、図９に示すように、単位時間毎に算出した活性度をグラフにした評価結果画面３６を表示装置に表示することができる。

活性度評価装置１０は、例えば図１０に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力装置、表示装置等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５と、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６とを備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、活性度評価装置１０として機能させるための活性度評価プログラム５０が記憶される。活性度評価プログラム５０は、取得プロセス５１と、推定プロセス５２と、算出プロセス５３と、評価プロセス５４とを有する。

ＣＰＵ４１は、活性度評価プログラム５０を記憶部４３から読み出してメモリ４２に展開し、活性度評価プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス５１を実行することで、図３に示す取得部１１として動作する。また、ＣＰＵ４１は、推定プロセス５２を実行することで、図３に示す推定部１２として動作する。また、ＣＰＵ４１は、算出プロセス５３を実行することで、図３に示す算出部１３として動作する。また、ＣＰＵ４１は、評価プロセス５４を実行することで、図３に示す評価部１４として動作する。これにより、活性度評価プログラム５０を実行したコンピュータ４０が、活性度評価装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。

なお、活性度評価プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、第１実施形態に係る活性度評価システム１００の作用について説明する。

活性度評価システム１００が起動されると、３６０度カメラ２０での全周囲画像３２の撮影が開始され、撮影された全周囲画像３２が活性度評価装置１０に入力される。そして、活性度評価装置１０において、図１１に示す活性度評価処理が実行される。なお、活性度評価処理は、開示の技術の活性度評価方法の一例である。

図１１に示す活性度評価処理のステップＳ１２で、取得部１１が、３６０度カメラ２０から入力された全周囲画像３２を１フレーム分取得し、取得した全周囲画像３２を、推定部１２及び算出部１３へ受け渡す。

次に、ステップＳ１４で、推定部１２が、取得部１１から受け渡された全周囲画像３２に含まれる顔画像が示す複数のユーザ８０の各々の顔の向きに基づいて、複数のユーザ８０の各々の視線方向を推定する。推定部１２は、各ユーザ８０の顔向きの推定結果を、算出部１３へ受け渡す。

次に、ステップＳ１６で、算出部１３が、推定部１２から受け渡された各ユーザ８０の視線方向、及び取得部１１から受け渡された全周囲画像３２に含まれる複数のユーザ８０の各々の配置を示す情報に基づいて、注視点が集まっているか否かを判定する。そして、算出部１３は、注視点が集まっているか否かの判定結果を、例えば、図８に示すようなフレーム情報テーブル３４に記録する。

次に、ステップＳ１８で、算出部１３が、活性度の算出タイミングか否かを判定する。この判定は、例えば、前回の活性度算出から所定の単位時間が経過したか否かにより判定することができる。活性度の算出タイミングではない場合には、処理はステップＳ１２に戻り、活性度の算出タイミングの場合には、処理はステップＳ２０へ移行する。

ステップＳ２０では、算出部１３が、フレーム情報テーブル３４を参照して、活性度を算出する単位時間（例えば、５分）における、注視点の集まり回数及び平均時間を算出する。算出部１３は、算出した注視点の集まり回数及び平均時間を、評価部１４へ受け渡す。

次に、ステップＳ２２で、評価部１４が、算出部１３から受け渡された注視点の集まり回数及び平均時間を用いて、例えば（１）式により、活性度を算出する。

次に、ステップＳ２４で、評価部１４が、算出した活性度を表示装置に表示する。例えば、図９に示すようなグラフの評価結果画面３６を表示装置に表示する場合、既に表示されているグラフに、上記ステップＳ２４で新たに算出された活性度を追加して表示すればよい。

次に、ステップＳ２６で、取得部１１が、活性度評価装置１０の処理を終了するか否かを判定する。例えば、活性度評価装置１０の処理を終了するコマンドを受信した場合や、３６０度カメラ２０からの全周囲画像の入力が終了した場合などに、活性度評価装置１０の処理を終了すると判定することができる。活性度評価装置１０の処理を終了しない場合には、処理はステップＳ１２に戻り、終了する場合には、活性度評価処理は終了する。

以上説明したように、第１実施形態に係る活性度評価装置１０によれば、ワークショップや会議に参加している各ユーザの視線方向を推定し、各ユーザの視線方向の先の注視点が集まっている回数及び時間に基づいて、対話の場の活性度を評価する。これにより、対話者同士が顔を見合わせていない場合でも、複数のユーザによる対話の場の活性度を適切に評価することができる。

なお、第１実施形態では、注視点の集まり回数及び平均時間の双方を用いる場合について説明したが、いずれか一方だけを用いてもよい。また、注視点の集まり時間の平均ではなく、単位時間内の注視点の集まり時間の合計、最長時間、最短時間等を用いてもよい。

また、第１実施形態では、何人のユーザの注視点が集まっているかによらず、注視点の集まりの有無のみが活性度に反映される場合について説明したが、注視点が集まっていると判定した際の、ユーザの数も活性度に反映させるようにしてもよい。例えば、２ユーザの注視点が集まっている場合よりも、４ユーザの注視点が集まっている場合の方が、活性度が高くなるようにすることができる。

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係る活性度評価システムにおいて、第１実施形態に係る活性度評価システム１００と同様の部分については、同一符号を付して、詳細な説明を省略する。

図１に示すように、第２実施形態に係る活性度評価システム２００は、活性度評価装置２１０と、３６０度カメラ２０とを含む。

活性度評価装置２１０は、機能的には、図１２に示すように、取得部１１と、推定部２１２と、算出部２１３と、抽出部２１５と、評価部２１４とを含む。

推定部２１２は、各ユーザ８０の顔領域の検出結果及び顔向きの推定結果を、算出部２１３へ受け渡すと共に、抽出部２１５へも受け渡す。

算出部２１３は、第１実施形態と同様に、注視点が集まっているか否かを判定する。算出部２１３は、注視点が集まっていると判定した場合、その判定結果をフレーム情報テーブルに記録する際、注視点が集まっているユーザ８０の識別情報もあわせて記録する。

図１３に、第２実施形態におけるフレーム情報テーブル２３４の一例を示す。図１３の例では、第１実施形態におけるフレーム情報テーブル３４と同様に、「フレーム番号」に「注視点集まりフラグ」が対応付けて記録されている。図１３において、「注視点集まりフラグ」の「１」に併記された記号が、注視点が集まっているユーザ８０の識別情報の一例である。

なお、フレーム情報テーブル２３４には、「フレーム番号」に、「ピッチ角」、「うなずきフラグ」、「口角フラグ」、及び「眉フラグ」も対応付けて記録されているが、これらについては後述する。

算出部２１３は、第１実施形態における算出部１３と同様に、注視点の集まり回数及び平均時間を算出する。さらに、算出部２１３は、２以上のユーザの注視点が集まったタイミングにおける、その２以上のユーザの合意形成を示す表情及び動作の少なくとも一方が出現した回数を算出する（詳細は後述）。

抽出部２１５は、推定部２１２から受け渡された顔画像の検出結果が示す顔画像に基づいて、対話における合意形成を示す表情及び動作の少なくとも一方を抽出する。本実施形態では、合意形成を示す動作として、うなずく動作を抽出し、合意形成を示す表情として、口角を上げる表情、及び眉を上げる表情を抽出する場合について説明する。

具体的には、抽出部２１５は、推定部２１２から受け渡された各ユーザ８０の顔向きの推定結果が示す視線方向のピッチ角を、例えば、図１３に示すフレーム情報テーブル２３４の「ピッチ角」欄に、フレーム毎かつユーザ８０毎に記録する。

抽出部２１５は、ユーザ毎に、過去の所定の判定時間（例えば、０．５秒）内のフレームに対応付けられたピッチ角に基づいて、うなずき動作の有無を判定する。例えば、図１４の破線部に示すように、所定の判定時間内に、ピッチ勾配（ピッチ角の微分値）の符号が－、＋、－、＋の順に２回以上、繰り返している部分が存在する場合に、うなずき動作有りと判定することができる。抽出部２１５は、例えば、「うなずきフラグ」欄に、うなずき動作有りの場合には「１」、うなずき動作無しの場合には「０」を記録する。

また、抽出部２１５は、フレーム毎に、各ユーザ８０の顔領域から特徴量を抽出し、抽出した特徴量を予め用意されたモデルと比較することにより、各ユーザ８０の表情が、口角を大きく上げる表情、又は眉を大きく上げる表情であるか否かを判定する。例えば、抽出部２１５は、Facial Action Unit（参考文献２）の技術を用いる場合、口角を大きく上げる表情として、ユニット番号ＡＵ１２又はＡＵ１３の特徴を有する表情を抽出する。同様に、抽出部２１５は、眉を大きく上げる表情として、ユニット番号ＡＵ１２又はＡＵ１３の特徴を有する表情を抽出する。

参考文献２：Michel Valstar and Maja Pantic, "Fully Automatic Facial Action Unit Detection and Temporal Analysis", Computer Vision and Pattern Recognition Workshop, 2006.

抽出部２１５は、例えば、「口角フラグ」欄に、口角を大きく上げる表情が抽出された場合には「１」、口角を大きく上げる表情が抽出されていない場合には「０」を記録する。同様に、抽出部２１５は、例えば、「眉フラグ」欄に、眉を大きく上げる表情が抽出された場合には「１」、眉を大きく上げる表情が抽出されていない場合には「０」を記録する。

なお、抽出部２１５は、２以上のユーザの注視点が集まったタイミングにおける、その２以上のユーザの合意形成を示す表情及び動作の少なくとも一方を抽出する。そのため、抽出部２１５は、フレーム情報テーブル２３４の「注視点集まりフラグ」が「１」のフレームであって、注視点が集まったユーザについてのみ、合意形成動作及び表情を抽出すればよい。上記に該当しないフレーム及びユーザについては、「うなずきフラグ」、「口角フラグ」、及び「眉フラグ」は「０」とする。

算出部２１３は、上述したように、２以上のユーザ８０の注視点が集まったタイミングにおける、その２以上のユーザ８０の合意形成を示す表情及び動作の少なくとも一方が出現した回数を算出する。

具体的には、算出部２１３は、フレーム情報テーブル２３４において、活性度を算出する単位時間（例えば、５分）分のフレーム番号に対応付けて記録された「うなずきフラグ」、「口角フラグ」、及び「眉フラグ」が「１」の数を算出する。

算出部２１３は、算出した注視点の集まり回数及び平均時間と、合意形成を示す動作及び表情の出現回数とを、評価部２１４へ受け渡す。

評価部２１４は、算出部２１３から受け渡された注視点の集まり回数及び平均時間と、合意形成を示す動作及び表情の出現回数とに基づいて、活性度を算出することにより、対話の活性状況を評価する。

評価部２１４は、第１実施形態と同様に、単位時間における、注視点の集まり回数が多いほど、又は注視点の集まりの平均時間が長いほど、活性度が高くなるように算出する。さらに、評価部２１４は、単位時間における、合意形成を示す動作及び表情の出現回数が多いほど、活性度を高くなるように算出する。これは、複数のユーザ８０が、ホワイトボード等の同一箇所に着目して、合意を形成しながら議論している場合には、ユーザ８０同士が顔を見合わせていなくても、ワークショップや会議などが活性していることが想定されるためである。

評価部２１４は、例えば、下記（２）式により活性度を算出することができる。

活性度＝ａ×ｍ ＋ ｂ／単位時間×ｎ
＋ｃ×ｏ ＋ ｄ×ｐ ＋ｅ×ｑ （２）

なお、（２）式において、ａは注視点の集まり回数、ｂは注視点の集まりの平均時間、ｃはうなずきの出現回数、ｄは口角を大きく上げる表情の出現回数、ｅは眉を大きく上げる表情の出現回数、ｍ、ｎ、ｏ、ｐ、及びｑはパラメータである。パラメータは、ワークショップや会議の傾向、注視点の集まりを重視するか、合意形成の表情及び動作を重視するか等に応じて、適宜設定可能である。

活性度評価装置２１０は、例えば図１０に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、活性度評価装置２１０として機能させるための活性度評価プログラム２５０が記憶される。活性度評価プログラム２５０は、取得プロセス５１と、推定プロセス２５２と、算出プロセス２５３と、評価プロセス２５４と、抽出プロセス２５５とを有する。

ＣＰＵ４１は、活性度評価プログラム２５０を記憶部４３から読み出してメモリ４２に展開し、活性度評価プログラム２５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス５１を実行することで、図１２に示す取得部１１として動作する。また、ＣＰＵ４１は、推定プロセス２５２を実行することで、図１２に示す推定部２１２として動作する。また、ＣＰＵ４１は、算出プロセス２５３を実行することで、図１２に示す算出部２１３として動作する。また、ＣＰＵ４１は、抽出プロセス２５５を実行することで、図１２に示す抽出部２１５として動作する。また、ＣＰＵ４１は、評価プロセス２５４を実行することで、図１２に示す評価部２１４として動作する。これにより、活性度評価プログラム２５０を実行したコンピュータ４０が、活性度評価装置２１０として機能することになる。

なお、活性度評価プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に、第２実施形態に係る活性度評価システム２００の作用について説明する。

第２実施形態では、活性度評価装置２１０において、図１５に示す活性度評価処理が実行される。なお、活性度評価処理は、開示の技術の活性度評価方法の一例である。図１５に示す活性度評価処理において、第１実施形態における活性度評価処理（図１１）と同様の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１６を経て、次のステップＳ２１７で、抽出部２１５が、注視点が集まったユーザについて、推定部２１２から受け渡された顔画像の検出結果が示す顔画像に基づいて、対話における合意形成を示す表情及び動作を抽出する。抽出部２１５は、合意形成を示す表情及び動作の抽出結果をフレーム情報テーブル２３４に記録する。

ステップＳ１８及びＳ２０を経て、次のステップＳ２２１で、算出部２１３が、２以上のユーザ８０の注視点が集まったタイミングにおける、その２以上のユーザ８０の合意形成を示す表情及び動作の出現回数を算出する。算出部２１３は、算出した注視点の集まり回数及び平均時間と、合意形成を示す動作及び表情の出現回数とを、評価部２１４へ受け渡す。

次に、ステップＳ２２２で、評価部２１４が、算出部２１３から受け渡された注視点の集まり回数及び平均時間と、合意形成を示す動作及び表情の出現回数とを用いて、例えば（２）式により、活性度を算出する。

以上説明したように、第２実施形態に係る活性度評価装置２１０によれば、第１実施形態に係る活性度に、さらに、注視点が集まっているユーザの合意形成の動作及び表情の出現回数を反映する。これにより、対話者同士が顔を見合わせていない場合でも、複数のユーザによる対話の場の活性度を適切に評価することができる。

なお、第２実施形態では、注視点が集まっているユーザの合意形成の動作及び表情の出現回数のみを活性度に反映する場合について説明したが、これに限定されない。例えば、注視点の集まりの有無によらず、単位時間当たりの合意形成の動作及び表情の出現回数を活性度に反映させてもよい。また、注視点の集まりのタイミングに出現した合意形成の動作及び表情か否かに応じて、活性度に反映させる際の重みを変えるようにしてもよい。

また、第２実施形態では、合意形成の動作及び表情の双方を用いる場合について説明したが、いずれか一方を用いてもよい。また、合意形成の動作及び表情は、上記の、うなずき、口角を大きく上げる表情、及び眉を大きく上げる表情に限定されず、他の動作や表情を採用してもよい。

＜第３実施形態＞
次に、第３実施形態について説明する。なお、第３実施形態に係る活性度評価システムにおいて、第２実施形態に係る活性度評価システム２００と同様の部分については、同一符号を付して、詳細な説明を省略する。

図１に示すように、第３実施形態に係る活性度評価システム３００は、活性度評価装置３１０と、３６０度カメラ２０とを含む。

活性度評価装置３１０は、機能的には、図１２に示すように、取得部１１と、推定部２１２と、算出部３１３と、抽出部２１５と、評価部３１４とを含む。

算出部３１３は、第２実施形態における算出部２１３と同様に、注視点の集まり回数及び平均時間と、合意形成を示す動作及び表情の出現回数とを算出する。さらに、算出部３１３は、各ユーザ８０の合意形成の動作の同期度を算出する。

具体的には、算出部３１３は、ユーザ８０間の視線方向のピッチ角及びヨー角の時系列変化の一致度合いを、同期度として算出する。例えば、算出部３１３は、図１６に示すように、単位時間（例えば、５分）毎に、動的時間伸縮法（ＤＴＷ、Dynamic Time Warping）により、ユーザ８０間のピッチ角及びヨー角の差分（以下、「ＤＴＷ値」という）を取得する。なお、図１６では、２ユーザのピッチ角の時系列変化のみを表している。そして、算出部３１３は、取得したＤＴＷ値を用いて、下記（３）式により、同期度を算出する。

同期度＝１００－ＤＴＷ値 （３）
ただし、ＤＴＷ値≧１００であれば、ＤＴＷ値＝１００とする。

算出部３１３は、算出した注視点の集まり回数及び平均時間と、合意形成を示す動作及び表情の出現回数と、合意形成動作の同期度とを評価部３１４へ受け渡す。

評価部３１４は、算出部３１３から受け渡された注視点の集まり回数及び平均時間と、合意形成を示す動作及び表情の出現回数と、合意形成動作の同期度とに基づいて、活性度を算出することにより、対話の活性状況を評価する。

評価部３１４は、第２実施形態と同様に、単位時間における、注視点の集まり回数が多いほど、注視点の集まりの平均時間が長いほど、合意形成動作及び表情の出現回数が多いほど、活性度が高くなるように算出する。さらに、評価部３１４は、単位時間における、合意形成動作の同期度が高いほど、活性度を高くなるように算出する。これは、ユーザ８０同士が顔を見合わせていなくても、同一の内容について合意を形成しようとしていることの表れであり、ワークショップや会議などが活性していることが想定されるためである。

評価部３１４は、例えば、下記（４）式により活性度を算出することができる。

活性度＝ａ×ｍ ＋ ｂ／単位時間×ｎ
＋ｃ×ｏ ＋ ｄ×ｐ ＋ ｅ×ｑ ＋ ｆ×ｒ （４）

なお、（４）式において、ａは注視点の集まり回数、ｂは注視点の集まりの平均時間、ｃはうなずきの出現回数、ｄは口角を大きく上げる表情の出現回数、ｅは眉を大きく上げる表情の出現回数、ｆは合意形成動作の同期度である。また、ｍ、ｎ、ｏ、ｐ、ｑ、及びｒはパラメータである。パラメータは、ワークショップや会議の傾向や、活性度算出のいずれの項目を重視するか等に応じて、適宜設定可能である。

活性度評価装置３１０は、例えば図１０に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、活性度評価装置３１０として機能させるための活性度評価プログラム３５０が記憶される。活性度評価プログラム３５０は、取得プロセス５１と、推定プロセス２５２と、算出プロセス３５３と、評価プロセス３５４と、抽出プロセス２５５とを有する。

ＣＰＵ４１は、活性度評価プログラム３５０を記憶部４３から読み出してメモリ４２に展開し、活性度評価プログラム３５０が有するプロセスを順次実行する。ＣＰＵ４１は、算出プロセス３５３を実行することで、図１２に示す算出部３１３として動作する。また、ＣＰＵ４１は、評価プロセス３５４を実行することで、図１２に示す評価部３１４として動作する。他のプロセスについては、第２実施形態における活性度評価プログラム２５０と同様である。これにより、活性度評価プログラム３５０を実行したコンピュータ４０が、活性度評価装置３１０として機能することになる。

なお、活性度評価プログラム３５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に、第３実施形態に係る活性度評価システム３００の作用について説明する。

第３実施形態では、活性度評価装置３１０において、図１７に示す活性度評価処理が実行される。なお、活性度評価処理は、開示の技術の活性度評価方法の一例である。図１７に示す活性度評価処理において、第１及び２実施形態における活性度評価処理（図１１、図１５）と同様の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ２２１を経て、次のステップＳ３２１で、算出部３１３が、各ユーザ８０間の合意形成の動作の同期度を、例えば（３）式により算出する。算出部３１３は、算出した注視点の集まり回数及び平均時間と、合意形成を示す動作及び表情の出現回数と、合意形成動作の同期度とを評価部３１４へ受け渡す。

次に、ステップＳ３２２で、評価部３１４が、算出部３１３から受け渡された注視点の集まり回数及び平均時間と、合意形成を示す動作及び表情の出現回数と、合意形成動作の同期度とを用いて、例えば（４）式により、活性度を算出する。

以上説明したように、第３実施形態に係る活性度評価装置３１０によれば、第２実施形態に係る活性度に、さらに、ユーザ間の合意形成動作の同期度を反映する。これにより、対話者同士が顔を見合わせていない場合でも、複数のユーザによる対話の場の活性度を適切に評価することができる。

なお、第３実施形態では、第２実施形態における活性度にユーザ間の合意形成動作の同期度を反映する場合について説明したが、第１実施形態における活性度にユーザ間の合意形成動作の同期度を反映してもよい。この場合、例えば、下記（５）式により活性度を算出することができる。

活性度＝ａ×ｍ ＋ｂ／単位時間×ｎ ＋ ｆ×ｒ （５）

また、上記各実施形態では、３６０度カメラにより、各ユーザの配置及び顔画像を取得する場合について説明したが、これに限定されない。各ユーザの顔画像を撮影するカメラを個別に設け、対話の場全体を撮影するカメラも別途設けるようにしてもよい。また、各ユーザの視線方向は、カメラで撮影された画像から推定する場合に限定されず、例えば、ユーザの頭部にジャイロセンサ等を取り付けて、顔向きを検出し、検出した顔向きから視線方向を推定するようにしてもよい。また、対話の場における各ユーザの配置は、ビーコン等を用いて位置を検出する位置検出装置を各ユーザに取り付けて、この位置検出装置で検出した位置情報を用いるようにしてもよい。

開示の技術は、例えば、ワークショップのファシリテーターのファシリテーションの補助に活用することができる。具体的には、グループ毎に上記各実施形態のように活性度を評価し、活性度が低いグループを担当するファシリテーターに対して、その情報を提示する。これにより、ファシリテーターは、議論を活性化させるために積極的に働きかけを行うことができる。

また、ワークショップが成功するか（盛り上がるか）否かは、ファシリテーターのスキルに大きく依存している。上記各実施形態のように活性度を評価することで、ワークショップの成否、ファシリテーターのスキルの評価、ファシリテーターの教育用途等に活用することができる。さらに、単位時間毎の活性度を評価することで、ワークショップがどのタイミングで盛り上がったか等を把握することもできる。

また、上記実施形態では、活性度評価プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
複数のユーザによる対話の場における、前記複数のユーザの各々の視線方向の推定に関する情報を取得し、
取得した前記情報に基づいて、前記複数のユーザの各々の視線方向を推定し、
推定した前記ユーザの各々の視線方向に基づいて、前記複数のユーザのうち、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まった回数及び時間の少なくとも一方を算出し、
算出した前記回数及び時間の少なくとも一方に基づいて、前記対話の場の活性度を評価する
ことを含む処理をコンピュータに実行させるための活性度評価プログラム。

（付記２）
所定の単位時間における、前記回数が多いほど、又は前記時間が長いほど、前記活性度を高く評価する付記１に記載の活性度評価プログラム。

（付記３）
前記視線方向の推定に関する情報として、前記複数のユーザの各々の配置を示す情報、及び前記複数のユーザの各々の顔を含む領域を撮影した画像を取得し、
前記顔を含む領域を撮影した画像が示す顔向きと、前記複数のユーザの各々の配置を示す情報とに基づいて、前記対話の場における、前記複数のユーザの各々の視線方向を推定する
付記１又は付記２に記載の活性度評価プログラム。

（付記４）
取得した前記顔を含む領域を撮影した画像に基づいて、前記対話における合意形成を示す表情及び動作の少なくとも一方を抽出し、
算出した前記回数及び時間の少なくとも一方と、抽出した前記表情及び動作の少なくとも一方とに基づいて、前記対話の場の活性度を評価する
ことを含む処理をコンピュータに実行させるための付記３に記載の活性度評価プログラム。

（付記５）
前記合意形成を示す表情は、口角を上げる表情、又は眉を上げる表情であり、前記合意形成を示す動作は、うなずく動作である付記４に記載の活性度評価プログラム。

（付記６）
少なくとも２以上のユーザの注視点が所定範囲内の領域に集まったタイミングにおける、前記少なくとも２以上のユーザの顔を含む領域を撮影した画像から、前記対話における合意形成を示す表情及び動作の少なくとも一方を抽出する付記４又は付記５に記載の活性度評価プログラム。

（付記７）
所定の単位時間における、前記合意形成を示す表情及び動作の少なくとも一方の出現回数が多いほど、前記活性度を高く評価する付記４～付記６のいずれか１項に記載の活性度評価プログラム。

（付記８）
所定の単位時間における、少なくとも２以上のユーザについて抽出された前記合意形成を示す表情及び動作の少なくとも一方が同期して出現している度合いが高いほど、前記活性度を高く評価する付記４～付記７のいずれか１項に記載の活性度評価プログラム。

（付記９）
前記複数のユーザの各々の配置を示す情報として、前記複数のユーザを含む前記対話の場を撮影した全周囲画像を取得する付記１～付記８のいずれか１項に記載の活性度評価プログラム。

（付記１０）
複数のユーザによる対話の場における、前記複数のユーザの各々の視線方向の推定に関する情報を取得する取得部と、
前記取得部により取得された前記視線方向の推定に関する情報

に基づいて、前記複数のユーザの各々の視線方向を推定する推定部と、
前記推定部により推定された前記ユーザの各々の視線方向に基づいて、前記複数のユーザのうち、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まった回数及び時間の少なくとも一方を算出する算出部と、
前記算出部により算出された前記回数及び時間の少なくとも一方に基づいて、前記対話の場の活性度を評価する評価部と、
を含む活性度評価装置。

（付記１１）
前記評価部は、所定の単位時間における、前記回数が多いほど、又は前記時間が長いほど、前記活性度を高く評価する付記１０に記載の活性度評価装置。

（付記１２）
前記取得部は、前記視線方向の推定に関する情報として、前記複数のユーザの各々の配置を示す情報、及び前記複数のユーザの各々の顔を含む領域を撮影した画像を取得し、
前記推定部は、前記顔を含む領域を撮影した画像が示す顔向きと、前記複数のユーザの各々の配置を示す情報とに基づいて、前記対話の場における、前記複数のユーザの各々の視線方向を推定する
付記１０又は付記１１に記載の活性度評価装置。

（付記１３）
前記取得部により取得された前記顔を含む領域を撮影した画像に基づいて、前記対話における合意形成を示す表情及び動作の少なくとも一方を抽出する抽出部を含み、
前記評価部は、前記算出部により算出された前記回数及び時間の少なくとも一方と、前記抽出部により抽出された前記表情及び動作の少なくとも一方とに基づいて、前記対話の場の活性度を評価する
付記１２に記載の活性度評価装置。

（付記１４）
前記合意形成を示す表情は、口角を上げる表情、又は眉を上げる表情であり、前記合意形成を示す動作は、うなずく動作である付記１３に記載の活性度評価装置。

（付記１５）
前記抽出部は、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まったタイミングにおける、前記少なくとも２以上のユーザの顔を含む領域を撮影した画像から、前記対話における合意形成を示す表情及び動作の少なくとも一方を抽出する付記１３又は付記１４に記載の活性度評価装置。

（付記１６）
前記評価部は、所定の単位時間における、前記合意形成を示す表情及び動作の少なくとも一方の出現回数が多いほど、前記活性度を高く評価する付記１３～付記１５のいずれか１項に記載の活性度評価装置。

（付記１７）
前記評価部は、所定の単位時間における、少なくとも２以上のユーザについて抽出された前記合意形成を示す表情及び動作の少なくとも一方が同期して出現している度合いが高いほど、前記活性度を高く評価する付記１３～付記１６のいずれか１項に記載の活性度評価装置。

（付記１８）
前記取得部は、前記複数のユーザの各々の配置を示す情報として、前記複数のユーザを含む前記対話の場を撮影した全周囲画像を取得する付記１０～付記１７のいずれか１項に記載の活性度評価装置。

（付記１９）
複数のユーザによる対話の場における、前記複数のユーザの各々の視線方向の推定に関する情報を取得し、
取得した前記情報に基づいて、前記複数のユーザの各々の視線方向を推定し、
推定した前記ユーザの各々の視線方向に基づいて、前記複数のユーザのうち、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まった回数及び時間の少なくとも一方を算出し、
算出した前記回数及び時間の少なくとも一方に基づいて、前記対話の場の活性度を評価する
ことを含む処理をコンピュータが実行する活性度評価方法。

（付記２０）
複数のユーザによる対話の場における、前記複数のユーザの各々の視線方向の推定に関する情報を取得し、
取得した前記情報に基づいて、前記複数のユーザの各々の視線方向を推定し、
推定した前記ユーザの各々の視線方向に基づいて、前記複数のユーザのうち、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まった回数及び時間の少なくとも一方を算出し、
算出した前記回数及び時間の少なくとも一方に基づいて、前記対話の場の活性度を評価する
ことを含む処理をコンピュータに実行させるための活性度評価プログラムを記憶した記憶媒体。

１０、２１０、３１０ 活性度評価装置
１１ 取得部
１２、２１２ 推定部
１３、２１３、３１３ 算出部
１４、２１４、３１４ 評価部
２１５ 抽出部
２０ ３６０度カメラ
３２ 全周囲画像
３４、２３４ フレーム情報テーブル
３６ 評価結果画面
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０、２５０、３５０ 活性度評価プログラム
８０ ユーザ
１００、２００、３００ 活性度評価システム

Claims (11)

1. 複数のユーザによる対話の場における、前記複数のユーザの各々の視線方向の推定に関する情報を取得し、
   取得した前記情報に基づいて、前記複数のユーザの各々の視線方向を推定し、
   推定した前記ユーザの各々の視線方向に基づいて、前記複数のユーザのうち、少なくとも２以上のユーザの視線方向に所定の幅を持たせた視線領域が交差する場合、又は視線方向から推定される注視点を含む視線領域に重複部分が存在する場合を注視点が所定範囲内の領域に集まった場合と判定し、注視点が所定範囲内の領域に集まった回数または時間の少なくとも一方を算出し、
   算出した前記回数または時間の少なくとも一方に基づいて、前記対話の場の活性度を評価する
   ことを含む処理をコンピュータに実行させるための活性度評価プログラム。
2. 所定の単位時間における、前記回数が多いほど、又は前記時間が長いほど、前記活性度を高く評価する請求項１に記載の活性度評価プログラム。
3. 前記視線方向の推定に関する情報として、前記複数のユーザの各々の配置を示す情報、及び前記複数のユーザの各々の顔を含む領域を撮影した画像を取得し、
   前記顔を含む領域を撮影した画像が示す顔向きと、前記複数のユーザの各々の配置を示す情報とに基づいて、前記対話の場における、前記複数のユーザの各々の視線方向を推定する
   請求項１又は請求項２に記載の活性度評価プログラム。
4. 取得した前記顔を含む領域を撮影した画像に基づいて、前記対話における合意形成を示す表情及び動作の少なくとも一方を抽出し、
   算出した前記回数及び時間の少なくとも一方と、抽出した前記表情及び動作の少なくとも一方とに基づいて、前記対話の場の活性度を評価する
   ことを含む処理をコンピュータに実行させるための請求項３に記載の活性度評価プログラム。
5. 前記合意形成を示す表情は、口角を上げる表情、又は眉を上げる表情であり、前記合意形成を示す動作は、うなずく動作である請求項４に記載の活性度評価プログラム。
6. 少なくとも２以上のユーザの注視点が所定範囲内の領域に集まったタイミングにおける、前記少なくとも２以上のユーザの顔を含む領域を撮影した画像から、前記対話における合意形成を示す表情及び動作の少なくとも一方を抽出する請求項４又は請求項５に記載の活性度評価プログラム。
7. 複数のユーザによる対話の場における、前記複数のユーザの各々の視線方向の推定に関する情報として、前記複数のユーザの各々の配置を示す情報、及び前記複数のユーザの各々の顔を含む領域を撮影した画像を取得し、
   取得した前記顔を含む領域を撮影した画像顔向きと、前記複数のユーザの各々の配置を示す情報とに基づいて、前記対話の場における、前記複数のユーザの各々の視線方向を推定し、
   取得した前記顔を含む領域を撮影した画像のうち、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まったタイミングにおける、前記少なくとも２以上のユーザの顔を含む領域を撮影した画像から、前記対話における合意形成を示す表情及び動作の少なくとも一方を抽出し、
   推定した前記ユーザの各々の視線方向に基づいて、前記複数のユーザのうち、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まった回数または時間の少なくとも一方を算出し、
   算出した前記回数または時間の少なくとも一方と、抽出した前記表情及び動作の少なくとも一方とに基づいて、前記対話の場の活性度を評価する
   ことを含む処理をコンピュータに実行させるための活性度評価プログラム。
8. 複数のユーザによる対話の場における、前記複数のユーザの各々の視線方向の推定に関する情報を取得する取得部と、
   取得した前記情報に基づいて、前記複数のユーザの各々の視線方向を推定する推定部と、
   推定した前記ユーザの各々の視線方向に基づいて、前記複数のユーザのうち、少なくとも２以上のユーザの視線方向に所定の幅を持たせた視線領域が交差する場合、又は視線方向から推定される注視点を含む視線領域に重複部分が存在する場合を注視点が所定範囲内の領域に集まった場合と判定し、注視点が所定範囲内の領域に集まった回数または時間の少なくとも一方を算出する算出部と、
   算出した前記回数または時間の少なくとも一方に基づいて、前記対話の場の活性度を評価する評価部と、
   を含む活性度評価装置。
9. 複数のユーザによる対話の場における、前記複数のユーザの各々の視線方向の推定に関する情報として、前記複数のユーザの各々の配置を示す情報、及び前記複数のユーザの各々の顔を含む領域を撮影した画像を取得する取得部と、
   取得した前記顔を含む領域を撮影した画像顔向きと、前記複数のユーザの各々の配置を示す情報とに基づいて、前記対話の場における、前記複数のユーザの各々の視線方向を推定する推定部と、
   取得した前記顔を含む領域を撮影した画像のうち、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まったタイミングにおける、前記少なくとも２以上のユーザの顔を含む領域を撮影した画像から、前記対話における合意形成を示す表情及び動作の少なくとも一方を抽出する抽出部と、
   推定した前記ユーザの各々の視線方向に基づいて、前記複数のユーザのうち、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まった回数または時間の少なくとも一方を算出する算出部と、
   算出した前記回数または時間の少なくとも一方と、抽出した前記表情及び動作の少なくとも一方とに基づいて、前記対話の場の活性度を評価する評価部と、
   を含む活性度評価装置。
10. 複数のユーザによる対話の場における、前記複数のユーザの各々の視線方向の推定に関する情報を取得し、
    取得した前記情報に基づいて、前記複数のユーザの各々の視線方向を推定し、
    推定した前記ユーザの各々の視線方向に基づいて、前記複数のユーザのうち、少なくとも２以上のユーザの視線方向に所定の幅を持たせた視線領域が交差する場合、又は視線方向から推定される注視点を含む視線領域に重複部分が存在する場合を注視点が所定範囲内の領域に集まった場合と判定し、注視点が所定範囲内の領域に集まった回数または時間の少なくとも一方を算出し、
    算出した前記回数または時間の少なくとも一方に基づいて、前記対話の場の活性度を評価する
    ことを含む処理をコンピュータが実行する活性度評価方法。
11. 複数のユーザによる対話の場における、前記複数のユーザの各々の視線方向の推定に関する情報として、前記複数のユーザの各々の配置を示す情報、及び前記複数のユーザの各々の顔を含む領域を撮影した画像を取得し、
    取得した前記顔を含む領域を撮影した画像顔向きと、前記複数のユーザの各々の配置を示す情報とに基づいて、前記対話の場における、前記複数のユーザの各々の視線方向を推定し、
    取得した前記顔を含む領域を撮影した画像のうち、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まったタイミングにおける、前記少なくとも２以上のユーザの顔を含む領域を撮影した画像から、前記対話における合意形成を示す表情及び動作の少なくとも一方を抽出し、
    推定した前記ユーザの各々の視線方向に基づいて、前記複数のユーザのうち、少なくとも２以上のユーザの注視点が所定範囲内の領域に集まった回数または時間の少なくとも一方を算出し、
    算出した前記回数または時間の少なくとも一方と、抽出した前記表情及び動作の少なくとも一方とに基づいて、前記対話の場の活性度を評価する
    ことを含む処理をコンピュータが実行する活性度評価方法。

Images