JP6859640B2 - 情報処理装置、評価システムおよびプログラム - Google Patents

Description

本発明は、情報処理装置、評価システムおよびプログラムに関する。

講義や集会等において参加者を撮影し、画像解析して分析、評価することが試みられている。特許文献１には、講義中における１以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部と、受講生画像から受講生の顔を認識して、認識した顔に対する分析を行う顔分析部と、顔分析部による分析結果に関連する情報を出力する出力部とを備えるようにしたことにより講義に関する分析を行う顔分析装置が開示されている。

特開２０１３−６１９０６号公報

講義や集会の参加者は、状況に応じて、顔の表情以外にも身振りや体の向きを変える等の様々な反応をして非言語情報を発する。そのため、顔の分析だけでなく、身体の動作を含めて参加者の発する非言語情報を捉えることにより、より精度の高い分析、評価を行うことができる。また、着目した身体の部位の動き自体を評価しようとすると、参加者が非言語情報として発したものでない意味のない動作までも含んで評価してしまうため、評価の精度が低下する可能性がある。

本発明は、参加者を撮影して得られた画像から非言語情報として定義された行動を抽出して分析することにより、精度の高い評価を実現することを目的とする。

本発明の請求項１に係る情報処理装置は、
講義が行われている部屋内で講義者が移動する講義において、講義者を撮影した動画データから当該動画データに映っている講義者の人体の部位を特定し、特定された部位の動作を検出し、受講者を撮影した動画データから当該動画データに映っている受講者の人体の部位を特定し、特定された部位の動作を検出する動作検出部と、
前記動作検出部により検出された人体の部位の動作に基づき、講義者の行動に関して、部屋内での移動を示す行動を抽出し、受講者の行動に関して、講義者に対して視線を向ける行動を抽出する行動抽出部と、
前記行動抽出部により抽出された講義者および受講者の行動ならびに講義者が講義において受講者に注意を向ける度合いまたは受講者が講義において講義者に注意を向ける度合いを評価する評価基準に基づき、評価を行う評価部と、
を備えることを特徴とする、情報処理装置である。
本発明の請求項２に係る情報処理装置は、
前記評価部は、講義者が講義において受講者に注意を向ける度合いとして、講義者の移動後の立ち位置に偏りがないかを評価することを特徴とする、請求項１に記載の情報処理装置である。
本発明の請求項３に係る情報処理装置は、
前記評価部は、講義者が講義において受講者に注意を向ける度合いとして、受講者の間を巡回する頻度を評価することを特徴とする、請求項１に記載の情報処理装置である。
本発明の請求項４に係る評価システムは、
講義が行われている部屋内で講義者が移動する講義において、
受講者を撮影して動画データを取得する第１取得手段と、
講義を行う教室内を移動する講義者を撮影して動画データを取得する第２取得手段と、
前記第１取得手段および前記第２取得手段により取得された動画データを解析して動画に映っている受講者および講義者の行動を評価する行動評価手段と、
前記行動評価手段による評価結果を出力する出力手段と、を備え、
前記行動評価手段は、
受講者を撮影した動画データから当該動画データに映っている受講者の人体の部位を特定し、特定された部位の動作を検出し、講義者を撮影した動画データから当該動画データに映っている講義者の人体の部位を特定し、特定された部位の動作を検出する動作検出部と、
前記動作検出部により検出された人体の部位の動作に基づき、受講者の行動に関して、移動する講義者に対して視線を向ける行動を抽出し、講義者の行動に関して、部屋内での移動を示す行動を抽出する行動抽出部と、
前記行動抽出部により抽出された受講者および講義者の行動ならびに受講者が講義において講義者に注意を向ける度合いまたは講義者が講義において受講者に注意を向ける度合いを評価する評価基準に基づき、評価を行う評価部と、
を備えることを特徴とする、評価システムである。
本発明の請求項５に係る評価システムは、
前記第２取得手段により取得された動画データに映っている人体の部位の動きに基づいて、講義者が映っている領域を識別する参加者識別部をさらに備え、
前記動作検出部は、前記参加者識別部の識別結果に基づき、受講者の動作と講義者の動作とを識別して検出することを特徴とする、請求項４に記載の評価システムである。
本発明の請求項６に係る評価システムは、
前記第２取得手段は、講義者の身体を撮影する撮影装置と、当該撮影装置を設置した可動式の架台とを備え、講義者の移動に応じて講義者を追尾しながら撮影することを特徴とする、請求項４に記載の評価システムである。
本発明の請求項７に係るプログラムは、
コンピュータを、
講義が行われている部屋内で講義者が移動する講義において、講義者を撮影した動画データから当該動画データに映っている講義者の人体の部位を特定し、特定された部位の動作を検出し、受講者を撮影した動画データから当該動画データに映っている受講者の人体の部位を特定し、特定された部位の動作を検出する動作検出手段と、
前記動作検出手段により検出された人体の部位の動作に基づき、講義者の行動に関して、部屋内での移動を示す行動を抽出し、受講者の行動に関して、講義者に対して視線を向ける行動を抽出する行動抽出手段と、
前記行動抽出手段により抽出された講義者および受講者の行動ならびに講義者が講義において受講者に注意を向ける度合いまたは受講者が講義において講義者に注意を向ける度合いを評価する評価基準に基づき、評価を行う評価手段として機能させること、
を特徴とする、プログラムである。

請求項１の発明によれば、動画として取得された身体の部位の動き自体を評価する構成と比較して、非言語情報に基づいて、講義における講義者と受講者との関係における精度の高い評価を行うことができる。
請求項２の発明によれば、単に特定の動作が行われたか否かを評価する構成と比較して、非言語情報に基づいて、講義者に対するきめ細かい評価を行うことができる。
請求項３の発明によれば、単に特定の動作が行われたか否かを評価する構成と比較して、非言語情報に基づいて、講義者に対するきめ細かい評価を行うことができる。
請求項４の発明によれば、取得手段により動画として取得された身体の部位の動き自体を評価する構成と比較して、非言語情報に基づいて、講義における講義者と受講者との関係における精度の高い評価を行うことができる。
請求項５の発明によれば、講義者と受講者とが撮影された動画データから講義者の画像と受講者の画像とを識別し、講義における講義者と受講者との関係の評価を行うことができる。
請求項６の発明によれば、動画データを解析することなく、動画が撮影された撮影装置の別に基づいて講義者の画像と受講者の画像とを識別し、講義における講義者と受講者との関係の評価を行うことができる。
請求項７の発明によれば、動画として取得された身体の部位の動き自体を評価する構成と比較して、本発明のプログラムを実行するコンピュータにおいて、非言語情報に基づいて、講義における講義者と受講者との関係における精度の高い評価を行うことができる。

本実施形態が適用される非言語情報評価システムの構成例を示す図である。 情報処理装置のハードウェア構成例を示す図である。 情報処理装置の機能構成を示す図である。 端末装置のハードウェア構成例を示す図である。 端末装置の機能構成を示す図である。 フレーム間特徴量を用いて人体に関わる領域を特定する手法を説明する図であり、図６（Ａ）は、動画の１フレームにおいて、人物が横を向いて椅子に座っている様子を示す図、図６（Ｂ）は、動画の別の１フレームにおいて、同じ人物が前方へ乗り出した様子を示す図である。 講義が行われている場面において講義者と受講者とを撮影する様子を示す図である。 講義が行われている場面において、受講者が並んで講義者の方を向くように配置された場合の受講者の画像を示す図である。 評価結果の出力画像の例を示す図である。 評価結果の出力画像の他の例を示す図である。

＜本実施形態が適用される非言語情報評価システムの構成＞
図１は、本実施形態が適用される非言語情報評価システムの構成例を示す図である。図１に示すように、本実施形態による非言語情報評価システム１０は、動画取得装置としてのビデオカメラ１００と、動画解析装置としての情報処理装置２００と、情報処理装置２００による解析結果を出力する出力装置としての端末装置３００とを備える。ビデオカメラ１００と情報処理装置２００、情報処理装置２００と端末装置３００は、それぞれネットワーク２０を介して接続されている。

ネットワーク２０は、ビデオカメラ１００と情報処理装置２００および情報処理装置２００と端末装置３００の間で情報通信を行えるものであれば特に限定されず、例えばインターネットやＬＡＮ（Local Area Network）等としてよい。情報通信に用いられる通信回線は、有線であっても無線であっても良い。ビデオカメラ１００と情報処理装置２００とを接続するネットワーク２０と、情報処理装置２００と端末装置３００とを接続するネットワーク２０とは、共通のネットワークであってもよいし、異なるネットワークであってもよい。また、特に図示しないが、ネットワーク２０にはネットワークや通信回線を接続するためのゲートウェイやハブ等の中継装置が適宜設けられる。

本実施形態の非言語情報評価システム１０は、評価対象である人物または評価対象を構成する人物の動画を解析して、その人物の動作や顔の表情といった非言語情報を抽出し、抽出された非言語情報に基づき評価対象を評価する。本実施形態の非言語情報評価システム１０は、例えば、授業、講演、催事、娯楽施設、その他の多くの人が集まる場所や場面において参加者の様子を評価したり、面接のような対象となる個人が固定される場面において個人の様子を評価したりする。評価対象、評価項目、評価内容などは、非言語情報評価システム１０の適用対象や適用場面等に応じて設定される。例えば、評価対象は、個々の人物とされる場合もあるし、複数の人物の集合（グループ、チーム等）とされる場合もある（以下、このような評価対象である人物または評価対象である集合を構成する人物を「評価対象者」と呼ぶ）。評価項目は、例えば評価対象である人物や人物の集合が何かに集中しているか、活発に活動しているか等が設定され、評価内容としては、例えばそのような評価項目に適合する程度（度合）等が判断される。以下、本実施形態においては、本システムを、講義を行う講義者（講師、話者）および受講者（受講生、聴取者）を評価するのに用いる場合を例として説明する。これらの評価については、後で具体的な適用例を挙げて説明する。

図１に示すシステムにおいて、ビデオカメラ１００は、動画データの取得手段（撮影装置）の一例であり、本実施形態による評価の適用対象等に応じて、教室、講演会場、催事場、娯楽施設などに設置され、評価対象者を撮影する。本実施形態では、ビデオカメラ１００により撮影された評価対象者の動画を解析し、動作や顔の表情といった非言語情報が抽出される。したがって、評価対象者の構成（個人か集合か等）、設置場所や撮影範囲の広さ等に応じて、評価対象者の動作や表情が識別できるように、ビデオカメラ１００の種類や設置台数が設定される。例えば広い場所で個人を撮影するには望遠カメラが用いられ、広い範囲に存在する複数の人物を撮影するには広角カメラが用いられる。また、評価対象者の身体の様々な部位を撮影するために、複数台のカメラを様々な向きで設置してもよい。また、高解像度のカメラを用いて広範囲を撮影することにより、複数人の画像を取得するとともに、得られた画像を拡大して個人の画像を解析対象とするようにしてもよい。また、本実施形態において、ビデオカメラ１００は、撮影した動画をデジタル・データとして、ネットワーク２０を介して情報処理装置２００へ送信する機能を備える。

情報処理装置２００は、行動評価手段の一例であり、ビデオカメラ１００により撮影された動画を解析して評価対象者に関する非言語情報を抽出し、評価するコンピュータ（サーバ）である。情報処理装置２００は、単体のコンピュータにより構成してもよいし、ネットワーク２０に接続された複数のコンピュータにより構成してもよい。後者の場合、後述する本実施形態の情報処理装置２００としての機能は、複数のコンピュータによる分散処理にて実現される。

図２は、情報処理装置２００のハードウェア構成例を示す図である。図２に示すように、情報処理装置２００は、制御手段および演算手段であるＣＰＵ（Central Processing Unit）２０１と、ＲＡＭ２０２およびＲＯＭ２０３と、外部記憶装置２０４と、ネットワーク・インターフェイス２０５とを備える。ＣＰＵ２０１は、ＲＯＭ２０３に格納されているプログラムを実行することにより、各種の制御および演算処理を行う。ＲＡＭ２０２は、ＣＰＵ２０１による制御や演算処理において作業メモリとして用いられる。ＲＯＭ２０３は、ＣＰＵ２０１が実行するプログラムや制御において用いられる各種のデータを格納している。外部記憶装置２０４は、例えば磁気ディスク装置や、データの読み書きが可能で不揮発性の半導体メモリで実現され、ＲＡＭ２０２に展開されてＣＰＵ２０１により実行されるプログラムや、ＣＰＵ２０１による演算処理の結果を格納する。ネットワーク・インターフェイス２０５は、ネットワーク２０に接続して、ビデオカメラ１００や端末装置３００との間でデータの送受信を行う。なお、図２に示す構成例は、情報処理装置２００をコンピュータで実現するハードウェア構成の一例に過ぎない。情報処理装置２００の具体的構成は、以下に説明する機能を実現し得るものであれば、図２に示す構成例に限定されない。

図３は、情報処理装置２００の機能構成を示す図である。図３に示すように、情報処理装置２００は、動画データ取得部２１０と、領域識別部２２０と、参加者識別部２２５と、動作検出部２３０と、非言語情報抽出部２４０と、反応評価部２５０と、出力部２６０とを備える。

動画データ取得部２１０は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行し、ネットワーク・インターフェイス２０５を制御することにより実現される。動画データ取得部２１０は、ネットワーク２０を介してビデオカメラ１００から動画データを受信する。受信した動画データは、例えば図２に示すＲＡＭ２０２や外部記憶装置２０４に格納される。

領域識別部２２０は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行することにより実現される。領域識別部２２０は、動画データ取得部２１０により取得された動画を解析し、後段の非言語情報抽出部２４０により非言語情報として抽出される評価対象者の部位が映っている領域を識別する。具体的には、人体（全体）が映っている領域、人体の頭部、体部、腕部、手部、指などが映っている領域、頭部の顔、目、口、鼻、耳などが映っている領域、上半身、下半身が映っている領域、その他身体の各特徴点が映っている領域等を識別する（以下、人体の全体や一部分を特に区別せず、部位、身体の部位などと呼ぶ）。識別対象の部位としては、予め定められた部位を全て識別してもよいし、後段の非言語情報抽出部２４０による抽出や反応評価部２５０による評価の内容に基づき、これらの処理に用いられる部位のみを識別してもよい。

参加者識別部２２５は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行することにより実現される。参加者識別部２２５は、領域識別部２２０の識別結果に基づき、各領域に映っている人物の種類を識別する。本実施形態では、講義を行う講義者および受講者を評価するので、各領域に映っている人物が講義者と受講者のどちらかを識別する。ここで、人物の種類の識別は、例えば、講義者および受講者の各々において固有の動作が行われているか否かを判断することにより行われる。具体例を挙げると、講義において講義者と受講者とは、通常、互いに向き合っている。また、講義者は演壇に立ち、時には演壇場を歩き回るのに対し、受講者は座席に着席し、歩き回ることはない。また、講義者は講義中の多くの時間で発話しているのに対し、受講者は発言を求められたときや周囲の人物と議論するように促されたとき等、特定の状況以外で発話することは原則的にはない。このように、講義者と受講者とは、位置関係や行動の類型が大きく異なっている。したがって、これらの特徴に基づいて領域識別部２２０の識別結果を分類することにより、人物の種類（講義者か受講者か）を識別し得る。

動作検出部２３０は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行することにより実現される。動作検出部２３０は、領域識別部２２０の識別結果に基づき、各領域に映っている身体の部位を特定し、特定した部位ごとの動作を検出する。具体的には、頭の動き、顔の向き、顔の構成部位（目、口など）の動き、腕や脚の動き、身体の向き、身体の移動（歩きまわる等）等の動作を検出する。検出対象の動作としては、予め定められた部位についての予め定められた動作を全て対象として検出してもよいし、後段の非言語情報抽出部２４０による抽出や反応評価部２５０による評価の内容に基づき、これらの処理に用いられる部位の動作のみを検出してもよい。

非言語情報抽出部２４０は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行することにより実現される。非言語情報抽出部２４０は、動作検出部２３０により検出された部位の動きに基づき、評価対象者の行動のうち、反応評価部２５０の評価項目ごとの評価に用いられるもの（非言語情報）を抽出する。言い換えれば、非言語情報抽出部２４０は、評価対象者の発する非言語情報として定義された行動を抽出する行動抽出部である。具体的には、例えば、うなずく動作、顔を特定の方向に向けたり顔の向きを変えたりする動作、表情の変化、口を動かして発言する動作、欠伸（あくび）をする動作、居眠りしているときの動き、目くばせをする動作、挙手、筆記動作、キーボードを打つ動作、振り向く動作、貧乏ゆすりなどを抽出する。

反応評価部２５０は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行することにより実現される。反応評価部２５０は、非言語情報抽出部２４０により抽出された評価項目ごとの非言語情報の行動に対し、評価項目ごとに予め定められた評価基準に基づいて、評価対象者の反応を評価する。評価内容は、本実施形態の非言語情報評価システム１０が適用される場面（授業、講演、催事など）に応じて設定される。具体的には、例えば、集中度、活性度、進行の度合い、積極性、応答性などの評価を行う。

出力部２６０は、例えば図２に示すコンピュータにおいて、ＣＰＵ２０１がプログラムを実行し、ネットワーク・インターフェイス２０５を制御することにより実現される。出力部２６０は、ネットワーク２０を介して、反応評価部２５０による評価結果の情報を端末装置３００に送信する。

端末装置３００は、出力手段の一例であり、情報処理装置２００による評価結果を出力する情報端末（クライアント）である。端末装置３００としては、例えばパーソナルコンピュータ、タブレット端末、スマートフォン等の出力手段として画像表示手段を備えた装置が用いられる。

図４は、端末装置３００のハードウェア構成例を示す図である。図４に示すように、端末装置３００は、ＣＰＵ３０１と、ＲＡＭ３０２およびＲＯＭ３０３と、表示装置３０４と、入力装置３０５と、ネットワーク・インターフェイス３０６とを備える。ＣＰＵ３０１は、ＲＯＭ３０３に格納されているプログラムを実行することにより、各種の制御および演算処理を行う。ＲＡＭ３０２は、ＣＰＵ３０１による制御や演算処理において作業メモリとして用いられる。ＲＯＭ３０３は、ＣＰＵ３０１が実行するプログラムや制御において用いられる各種のデータを格納している。表示装置３０４は、例えば液晶ディスプレイにより構成され、ＣＰＵ３０１の制御により画像を表示する。入力装置３０５は、例えばキーボードやマウス、タッチセンサ等の入力デバイスで実現され、操作者の入力操作を受け付ける。一例として、端末装置３００がタブレット端末やスマートフォン等である場合は、液晶ディスプレイとタッチセンサとが組み合わされたタッチパネルが表示装置３０４および入力装置３０５として機能する。ネットワーク・インターフェイス３０６は、ネットワーク２０に接続して、ビデオカメラ１００や端末装置３００との間でデータの送受信を行う。なお、図４に示す構成例は、端末装置３００をコンピュータで実現するハードウェア構成の一例に過ぎない。端末装置３００の具体的構成は、以下に説明する機能を実現し得るものであれば、図４に示す構成例に限定されない。

図５は、端末装置３００の機能構成を示す図である。図５に示すように、本実施形態の端末装置３００は、評価結果取得部３１０と、表示画像生成部３２０と、表示制御部３３０と、操作受け付け部３４０とを備える。

評価結果取得部３１０は、例えば図４に示すコンピュータにおいて、ＣＰＵ３０１がプログラムを実行し、ネットワーク・インターフェイス３０６を制御することにより実現される。評価結果取得部３１０は、ネットワーク２０を介して情報処理装置２００から評価結果のデータを受信する。受信した評価結果のデータは、例えば図４のＲＡＭ３０２に格納される。

表示画像生成部３２０は、例えば図４に示すコンピュータにおいて、ＣＰＵ３０１がプログラムを実行することにより実現される。表示画像生成部３２０は、評価結果取得部３１０により取得された評価結果のデータに基づき、評価結果を示す出力画像を生成する。生成される出力画像の構成や表示態様は、評価項目や評価内容等に応じて設定し得る。出力画像の詳細については後述する。

表示制御部３３０は、例えば図４に示すコンピュータにおいて、ＣＰＵ３０１がプログラムを実行することにより実現される。表示制御部３３０は、表示画像生成部３２０により生成された出力画像を、例えば図４に示すコンピュータにおける表示装置３０４に表示させる。また、表示制御部３３０は、表示装置３０４への表示に関する命令を受け付け、受け付けた命令に基づいて表示の切り替え等の制御を行う。

操作受け付け部３４０は、例えば図４に示すコンピュータにおいて、ＣＰＵ３０１がプログラムを実行することにより実現される。操作受け付け部３４０は、操作者が入力装置３０５により行った入力操作を受け付ける。そして、操作受け付け部３４０により受け付けた操作にしたがって、表示制御部３３０が表示装置３０４への出力画像等の表示制御を行う。

＜領域識別部の処理＞
情報処理装置２００の領域識別部２２０による処理について説明する。領域識別部２２０は、ビデオカメラ１００により撮影された動画から、その動画に映っている人物の動作に係る部位を識別する。この部位の識別には、既存の種々の画像解析技術を適用してよい。例えば、顔や笑顔の識別は、デジタルカメラ等で実現されている既存の識別手法を用いてよい。また、動画に映されている特定の形状の部分（領域）やそのような複数の部分の配置等に基づいて、身体の部位が映っている領域を特定し得る。さらに一例として、フレーム間特徴量に基づく識別を行ってもよい。具体的には、動画データの連続する２枚以上のフレームの差分に基づき、フレーム間特徴量を求める。ここで、フレーム間特徴量としては、例えば、色の境界（エッジ）、色の変化量、これらによって特定される領域の移動方向や移動量などが用いられる。予め設定された時間分のフレーム間特徴量を累積し、フレームごとのフレーム間特徴量の距離や類似度に基づいて、フレーム間特徴量を分類、統合する。これにより、動画において連携して変化する領域が特定され、身体の部位が映っている領域が識別される。

図６は、フレーム間特徴量を用いて人体に関わる領域を特定する手法を説明する図である。図６（Ａ）は、動画の１フレームにおいて、人物が横を向いて椅子に座っている様子を示し、図６（Ｂ）は、動画の別の１フレームにおいて、同じ人物が前方へ乗り出した様子を示している。図６に示す例において、領域識別部２２０は、図６（Ａ）に映っている色の境界や変化量に基づき、近似する色が映っている範囲を特定する。そして、領域識別部２２０は、図６（Ａ）のフレームと図６（Ｂ）のフレームとを対比し、対応する色の範囲の移動方向および移動量に基づき、画像中の破線の枠で囲まれた領域２２１において、複数個の色の範囲が連携して動いていることを認識し、この領域２２１を人体の上半身が映っている領域として識別する。図６（Ａ）、（Ｂ）を参照すると、人体（上半身）を構成する色の範囲の動きに応じて、領域２２１の位置や大きさが変化している。なお、ここでは図６（Ａ）、（Ｂ）の２つのフレームを対比したが、３つ以上のフレームを対比して色の範囲の変化等のフレーム間特徴量を累積した結果に基づいて人体が映っている領域を識別するようにしてもよい。

＜動作検出部の処理＞
動作検出部２３０による処理について説明する。動作検出部２３０は、領域識別部２２０により識別された身体の部位が映っている領域を解析して、具体的にどの部位が映っているかを特定し、特定した部位ごとの動きを検出する。この動きの検出には、既存の種々の画像解析技術を適用してよい。検出される動きは、特定された部位ごとに身体動作として起こり得る動きである。例えば、目を閉じたり口を開けたりする動き、視線の変化、顔の向きを上下や左右に変える動き、肘の曲げ伸ばしや腕を振る動き、手指の曲げ伸ばしや手を開いたり閉じたりする動き、腰の曲げ伸ばしや体を捻じる動き、膝の曲げ伸ばしや脚を振る動き、歩行等による身体の移動などが検出される。なお、これらの動きは例示に過ぎず、本実施形態の非言語情報評価システム１０で検出し得る動きは、上記に提示した動きに限定されない。本実施形態では、動作検出部２３０は、領域識別部２２０で領域として識別された全ての部位の動きを検出してもよいし、後段の非言語情報抽出部２４０で抽出される動作を特定するための動き等に限定して検出してもよい。例えば、非言語情報抽出部２４０でうなずく動作のみを抽出するのであれば、顔の向きを上下に変えるような頭の動きを検出すればよい。

＜非言語情報抽出部の処理＞
非言語情報抽出部２４０による処理について説明する。非言語情報抽出部２４０は、動作検出部２３０により検出された部位の動きに基づいて、評価対象者が意識的にまたは無意識的に行った意味のある行動を非言語情報として抽出する。例えば、顔の向きを上下に変える動きからうなずくという動作を抽出したり、口を動かす動きから発話や欠伸という動作を抽出したり、腕を上げる動きから挙手という動作を抽出したりする。非言語情報の抽出は、単に動作検出部２３０により検出された部位の動きのみに基づいて行われるのではなく、例えば、検出された動きの前後における該当部位の動き、周囲の部位や他の人物の動き、動きが検出された場面や文脈（背景）等の情報も参酌して行われる。具体例を挙げると、顔の向きを上下に連続的に変える動きが特定の時間内で行われたとき、この動きは、うなずきの動作として抽出される。一方、顔の向きが上を向き、ある程度の時間が経過した後に下方向へ動いてもとに戻ったとき、この動きは、思考するために上方を見上げた動作として抽出される。また、顔の向きが下を向き、ある程度の時間が経過したとき、この動作は、居眠りしていることを示す動作として抽出される。なお、これらの動作や参酌情報は例示に過ぎず、本実施形態の非言語情報評価システム１０で非言語情報として抽出し得る動作や参酌情報は、上記に提示した動作や情報に限定されない。

＜反応評価部の処理＞
反応評価部２５０による処理について説明する。反応評価部２５０は、非言語情報抽出部２４０により抽出された非言語情報に基づき、非言語情報評価システム１０が適用される場面に応じた評価対象者の反応を評価する。例えば、講義における受講者の反応を評価するのであれば、講義に対する集中の度合い等が評価項目となる。また、参加型の授業であれば、各生徒の集中の度合いや積極性、授業全体の活性度等が評価項目となる。また、単純に、非言語情報評価システム１０が適用される場面の目的に対して肯定的（ポジティブ）な反応か否定的（ネガティブ）な反応かを評価するようにしてもよい。評価結果は、評価項目や評価の目的等に応じて様々な形式で決定し得る。例えば、授業中に発言したか否かというような二値的な評価を行ってもよいし、集中度や積極性などの評価項目の達成度（評価の程度）を段階的に特定する多値的な評価を行ってもよい。また、反応評価部２５０は、講義や授業が行われる一定時間にわたって継続的に評価を行い、時間の経過に伴って変化する時系列の評価情報を生成してもよい。

多値的な評価を行う場合、反応評価部２５０において評価される評価項目に応じて、その評価に用いられる非言語情報として定義された（抽出される）行動（以下、反応行動）の種類および反応行動の出現態様が設定される。言い換えると、同じ反応行動であっても、その出現態様に応じて異なる評価となる。例えば、非言語情報として抽出される特定の反応行動が１回行われた場合と、複数回繰り返されたり、一定時間以上継続したりした場合とでは評価が異なる。

さらに、多値的な評価を行う場合、例えば、その評価項目における反応行動の種類、出現頻度、継続時間などに基づいて、評価の程度を特定してもよい。一例として、集中度を評価するための評価対象の反応行動として、うなずく動作と筆記する動作とが定義されている場合を考える。そして、うなずく動作は筆記する動作よりも高い集中度を表すものとする。この場合、反応行動の種類として、うなずく動作が出現したときは、筆記する動作が出現したときよりも集中度が高い（評価の程度が高い）と評価する。また、反応行動の出現頻度として、一定時間内にうなずく動作が多いほうが少ないよりも集中度が高い（評価の程度が高い）と評価する。また、一定時間内に筆記する動作の継続時間が長いほうが短いよりも集中度が高い（評価の程度が高い）と評価する。なお、これらの評価項目や評価方法は例示に過ぎず、本実施形態の非言語情報評価システム１０でとり得る評価項目や評価方法は、上記に提示した評価項目や評価方法に限定されない。

＜適用場面の説明＞
本実施形態では、本実施形態の非言語情報評価システム１０の適用例として、講義を行う講義者および受講者（受講生）を評価することとした。そこで、本実施形態を適用するには、講義者および受講者の両方について動画を取得し、各々を個別の評価基準に基づいて評価することが必要である。ここでは、複数のビデオカメラ１００を用意し、講義者および受講者の両方の動画を取得する。

図７は、講義が行われている場面において講義者と受講者とを撮影する様子を示す図である。図７に示す例では、ビデオカメラ１００として、講義が行われている部屋（教室）の前方（講義者３０のいる方）から部屋を撮影する第１カメラ１００ａ（第１取得手段）と、部屋の後方から部屋を撮影する第２カメラ１００ｂ（第２取得手段）とが設けられている。第１カメラ１００ａで撮影された動画では、受講者が正面から捉えられ、講義者３０の姿は入らない。一方、第２カメラ１００ｂで撮影された動画では、受講者が背後から撮影されると共に、講義者３０が正面から撮影される。第１カメラ１００ａおよび第２カメラ１００ｂで撮影された動画は、それぞれ情報処理装置２００へ送られる。

情報処理装置２００において、動画データ取得部２１０が第１カメラ１００ａにより取得された動画データを受信すると、領域識別部２２０が、取得した動画から各受講者が映っている領域を識別する。ここでは、上半身の領域、顔領域、目領域、口領域、顔向き、頭部などの部位の領域が識別される。そして、動作検出部２３０が、領域識別部２２０により識別された領域に基づき、各受講者の部位ごとの動きを検出する。

また、動画データ取得部２１０が第２カメラ１００ｂにより取得された動画データを受信すると、領域識別部２２０が、取得した動画から講義者３０および各受講者が映っている領域を識別する。ここでは、上半身の領域、顔領域、目領域、口領域、顔向き、頭部などの部位の領域が識別される。そして、動作検出部２３０が、領域識別部２２０により識別された領域に基づき、講義者３０および各受講者の部位ごとの動きを検出する。

ここで、参加者識別部２２５は、第２カメラ１００ｂにより取得された動画データを対象として領域識別部２２０が識別した領域から講義者３０が映っている領域を識別する。そして、この参加者識別部２２５による識別結果に基づき、講義者３０の身体の部位の動きと、各受講者の身体の部位の動きとが分類される。なお、上述したように、第２カメラ１００ｂにより取得された動画データには、受講者も映っている。そこで、講義者３０が識別された後の各受講者の領域の情報は、第２カメラ１００ｂにより取得された動画データから得られる情報と共に、各受講者の部位ごとの動きを検出するために用いてよい。

次に、非言語情報抽出部２４０が、動作検出部２３０により検出された講義者３０の部位ごとの動きに基づき、講義者３０の特定の行動を、各々の非言語情報を表す反応行動として抽出する。例えば、立ち位置、目線、顔の向き、体の向きなどが反応行動として抽出される。また、非言語情報抽出部２４０は、動作検出部２３０により検出された各受講者の部位ごとの動きに基づき、受講者ごとの特定の行動を、各々の非言語情報を表す反応行動として抽出する。例えば、目線、顔の向き、目を閉じる動作、手や腕の動きなどが反応行動として抽出される。

次に、反応評価部２５０が、非言語情報抽出部２４０により抽出された非言語情報としての反応行動を評価する。本実施形態において、例えば、講義者３０に対する評価としては、講義者３０の反応行動が受講者に向かっているか否かが評価される。具体例を挙げると、部屋の中での移動を示す反応行動として、移動した後の立ち位置や講義時間中の移動時間に偏りが少ない場合、実習等の特定の場面において受講者の間を巡回する頻度が高い場合などは、受講者に向かう度合い（受講者に注意を向ける程度）が高いと評価する。また、身体が受講者の方を向いている時間の割合が多い場合、受講者に向かう度合いが高いと評価する。また、受講者全体を見回す動作は、受講者に向かう度合いが高いと評価する。さらに、受講者との関係として、受講者による講義とは関係のない動作を指摘する動作は、受講者に向かう度合いが高いと評価する。また、受講者と視線が合うように顔や体の向きを変えたり移動したりする動作は、受講者に向かう度合いが高いと評価する。同じ動作については、例えば、受講者に向かう度合いが高いと評価される動作であれば、出現頻度が高いほど、また継続時間が長いほど、受講者に向かう度合いがより高いと評価する。

また、反応評価部２５０は、各受講者の反応行動が、講義者３０や講義に向かっているか否かが評価される。具体例を挙げると、講義者３０の方を向いている割合が多い場合、視線や顔が移動する講義者３０を追う動作は、講義者３０に向かう度合い（講義者３０に注意を向ける程度）が高いと評価する。また、議論するように促されたときのような特定の状況でないときに周囲の受講者に対して手を出したり話しかけたりする動作、席を離れて歩き回る動作、物を投げる動作、携帯情報端末を操作する動作、貧乏ゆすり等の、講義とは関係のない動作は、講義者３０に向かう度合いが低いと評価する。また、うなずく動作や挙手の頻度が高い場合は、講義者３０に向かう度合いが高いと評価する。また、筆記動作は、講義者３０に向かう度合いが高いと評価する。同じ動作については、例えば、受講者に向かう度合いが高いと評価される動作であれば、出現頻度が高いほど、また継続時間が長いほど、受講者に向かう度合いがより高いと評価する。反対に、受講者に向かう度合いが低いと評価される動作であれば、出現頻度が高いほど、また継続時間が長いほど、受講者に向かう度合いがより低いと評価する。

図７に示した例では、受講者は、部屋に配置された数台のテーブルの各々に、数名ずつ着席している。各受講者は講義者３０に注目する他、同じテーブルに着いた受講者どうしで議論等を行いやすい配置である。これに対し、講義では、受講生が並んで講義者３０の方を向く配置も取り得る。

図８は、講義が行われている場面において、受講者が並んで講義者３０の方を向くように配置された場合の受講者の画像を示す図である。図８に示す例では、一方向に向かって縦横４列ずつに並んだ受講者を講義者３０側から撮影した様子が示されている。この画像は、図７に示した第１カメラ１００ａのように、講義者３０のいる側から受講者に向かって撮影した画像である。したがって、各受講者は、原則としてビデオカメラ１００の方向を向いている。図８に示す例において、手前から２列目の左端の受講者は、机に伏しており、講義者に注意を向けていない様子である。また、手前から２列目の左から２番目と３番目の受講者は、互いに顔を向けて話をしており、講義者に注意を向けていない。これらの受講者は、他の受講者よりも講義者３０に向かう度合いが低いと評価される。

なお、図７に示した例では、教室を前方から撮影する第１カメラ１００ａと、後方から撮影する第２カメラ１００ｂとを設けたが、ビデオカメラ１００の数や配置は、図示の例に限定されない。例えば、本実施形態は、講義者３０の動画と受講者の動画とを分類して評価するので、図７に示す第２カメラ１００ｂのように講義者３０と受講者とが共に撮影するビデオカメラ１００ではなく、講義者３０のみを撮影するように構成したビデオカメラ１００を設けてもよい。具体的には、講義者３０の全身に対応する程度の画角を有するビデオカメラ１００を設け、講義者３０の撮影専用とする。講義において講義者３０が演壇や受講者の間を歩き回る場合は、講義者３０用のビデオカメラ１００を可動式の架台に設置し、講義者３０を追尾して撮影するように制御してもよい。講義者３０の追尾は、既存の種々の方法を用いて行えばよく、例えば、オペレータが撮影された動画を見ながら架台の動作を制御して行ってもよいし、人感センサ等を用いた自動制御により追尾する構成としてもよい。このように構成した場合、講義者３０用のビデオカメラ１００で撮影された動画には講義者３０が映っていることが分かっている。そのため、いずれのビデオカメラ１００から取得した動画かを認識すれば講義者３０が映っている動画か受講者が映っている動画かを判断することができるため、参加者識別部２２５により動画を解析して映っている人物を識別する必要はない。

＜評価結果の出力例＞
端末装置３００による評価結果の出力例について説明する。情報処理装置２００において反応評価部２５０により行われた評価の結果は、出力部２６０により端末装置３００へ送られる。端末装置３００において、評価結果取得部３１０は、情報処理装置２００から送信された評価結果のデータを受け取る。表示画像生成部３２０は、取得した評価結果のデータに基づき、評価結果を視覚的に示す出力画像を生成する。表示制御部３３０は、生成された出力画像を表示装置３０４に表示させる。

図９は、評価結果の出力画像の例を示す図である。図９に示す例では、受講者である参加者Ａ、参加者Ｂ、参加者Ｃに関して、５０分の講義中での評価を時系列に表している。なお、ここでは講義者に対する評価は示していない。図９を参照すると、例えば参加者Ａは、講義開始から１５分程は肯定的な（受講者に向かう度合いが高い）反応行動があり、１５分から３５分頃まで肯定的な反応行動も否定的な（受講者に向かう度合いが低い）反応行動もあまり行われない中間的な状態となり、その後、講義終了（５０分）まで再び肯定的な反応行動があったことが分かる。参加者Ｂは、講義開始から２０分頃まで肯定的な反応行動があり、２０分から３０分頃まで肯定的な反応行動も否定的な反応行動もあまり行われない中間的な状態となり、その後、３０分から４０分頃まで再び肯定的な反応行動が行われ、さらに４０分頃から講義終了（５０分）まで発言が行われたことが分かる。参加者Ｃは、講義開始から１０分頃まで肯定的な反応行動があり、１０分から３０分頃まで肯定的な反応行動も否定的な反応行動もあまり行われない中間的な状態となり、３０分から４０分頃まで否定的な反応行動が行われた後、４０分頃から講義終了（５０分）まで中間的な状態に戻ったことが分かる。

以上のように、各参加者の評価結果を時系列に並べると、各参加者に共通する特徴に基づき、時間経過に伴う講義全体の様子を類推し得る。図９に示した例では、講義の開始直後は各参加者とも肯定的な反応行動を行っているが、開始から一定時間が経過すると次第に肯定的な反応行動が減っていく。これは、例えば、時間の経過と共に、参加者の集中力や注意力が落ちてきたことに起因すると類推される。そして、さらに時間が経過して講義の終了が近くなると、各参加者は再び肯定的な反応行動を行うようになる。これは、例えば、講義の終了が近いことで参加者が集中力や注意力を講義に向けるようになることに起因すると推察される。

図１０は、評価結果の出力画像の他の例を示す図である。図１０に示す例では、評価対象者である参加者Ａに関して、時間の経過に伴い、肯定的な反応行動と否定的な反応行動がどのように現れたかを示す。図９の例では参加者の個々の反応行動に基づく評価結果を統合した参加者自身の評価結果を時系列情報として示したのに対し、図１０の例では個々の反応行為に対する評価を時系列情報として示している。図１０に示す表示画像の上段には肯定的な反応行動の強さが示され、下段には否定的な反応行動の強さが示されている。ここで、肯定的な反応行動の強さとは、反応行動である動作の態様によって特定される評価の程度を示す。例えば、うなずく動作について、何度も繰り返してうなずいたり、大きくゆっくりした動作でうなずいたりした場合に肯定的な程度が高いと評価する場合、図１０の上段では、肯定的な反応行動の強さが強い方（上方）にプロットされる（点が打たれる）。反対に、軽くうなずいた場合に肯定的な程度が低いと評価する場合、図１０の上段では、肯定的な反応行動の強さが弱い方（下方）にプロットされる。同様に、反応行動である動作の態様に応じて、否定的な程度が高いと評価する場合、図１０の下段では、否定的な反応行動の強さが強い方（上方）にプロットされ、否定的な程度が低いと評価する場合、図１０の下段では、否定的な反応行動の強さが弱い方（下方）にプロットされる。

図１０に示す例において、上段のグラフと下段のグラフとを対比すると、肯定的な反応行動の強さが強い時には、否定的な反応行動の強さも強くなっている（図のグラフが山形になっている個所）。すなわち、この時間帯において、評価対象者である参加者Ａは、強い肯定的な反応行動として抽出される動作と、強い否定的な反応行動として抽出される動作とを行っており、非常に活性化し、積極的に講義に参加していたことが推察される。

＜他の構成例等＞
以上、本実施形態による非言語情報評価システム１０について説明したが、本実施形態の具体的構成は上記のものに限定されない。例えば、上記の構成では、ビデオカメラ１００で取得した動画を情報処理装置２００が処理し、得られた評価結果を出力手段としての端末装置３００が表示出力するとした。これに対し、情報処理装置２００が出力手段を兼ねる構成としてもよい。すなわち、情報処理装置２００と端末装置３００とを分けず、例えば、情報処理装置２００自身が液晶ディスプレイ等の表示装置を備える構成とし、評価結果の表示出力を行うようにしてもよい。また、上記の実施形態では、ビデオカメラ１００で撮影することにより評価対象者の画像を取得したが、別途用意された画像データを情報処理装置２００が解析し、評価しても良い。例えば、別途撮影し、磁気ディスク装置等の記憶装置に蓄積された画像データを読み込んで評価しても良い。

１０…非言語情報評価システム、２０…ネットワーク、１００…ビデオカメラ、１００ａ…第１カメラ、１００ｂ…第２カメラ、２００…情報処理装置、２０１…ＣＰＵ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…外部記憶装置、２０５…ネットワーク・インターフェイス、２１０…動画データ取得部、２２０…領域識別部、２２５…参加者識別部、２３０…動作検出部、２４０…非言語情報抽出部、２５０…反応評価部、２６０…出力部、３００…端末装置、３０１…ＣＰＵ、３０２…ＲＡＭ、３０３…ＲＯＭ、３０４…表示装置、３０５…入力装置、３０６…ネットワーク・インターフェイス、３１０…評価結果取得部、３２０…表示画像生成部、３３０…表示制御部、３４０…操作受け付け部

Claims (7)

1. 講義が行われている部屋内で講義者が移動する講義において、講義者を撮影した動画データから当該動画データに映っている講義者の人体の部位を特定し、特定された部位の動作を検出し、受講者を撮影した動画データから当該動画データに映っている受講者の人体の部位を特定し、特定された部位の動作を検出する動作検出部と、
   前記動作検出部により検出された人体の部位の動作に基づき、講義者の行動に関して、部屋内での移動を示す行動を抽出し、受講者の行動に関して、講義者に対して視線を向ける行動を抽出する行動抽出部と、
   前記行動抽出部により抽出された講義者および受講者の行動ならびに講義者が講義において受講者に注意を向ける度合いまたは受講者が講義において講義者に注意を向ける度合いを評価する評価基準に基づき、評価を行う評価部と、
   を備えることを特徴とする、情報処理装置。
2. 前記評価部は、講義者が講義において受講者に注意を向ける度合いとして、講義者の移動後の立ち位置に偏りがないかを評価することを特徴とする、請求項１に記載の情報処理装置。
3. 前記評価部は、講義者が講義において受講者に注意を向ける度合いとして、受講者の間を巡回する頻度を評価することを特徴とする、請求項１に記載の情報処理装置。
4. 講義が行われている部屋内で講義者が移動する講義において、
   受講者を撮影して動画データを取得する第１取得手段と、
   講義を行う教室内を移動する講義者を撮影して動画データを取得する第２取得手段と、
   前記第１取得手段および前記第２取得手段により取得された動画データを解析して動画に映っている受講者および講義者の行動を評価する行動評価手段と、
   前記行動評価手段による評価結果を出力する出力手段と、を備え、
   前記行動評価手段は、
   受講者を撮影した動画データから当該動画データに映っている受講者の人体の部位を特定し、特定された部位の動作を検出し、講義者を撮影した動画データから当該動画データに映っている講義者の人体の部位を特定し、特定された部位の動作を検出する動作検出部と、
   前記動作検出部により検出された人体の部位の動作に基づき、受講者の行動に関して、移動する講義者に対して視線を向ける行動を抽出し、講義者の行動に関して、部屋内での移動を示す行動を抽出する行動抽出部と、
   前記行動抽出部により抽出された受講者および講義者の行動ならびに受講者が講義において講義者に注意を向ける度合いまたは講義者が講義において受講者に注意を向ける度合いを評価する評価基準に基づき、評価を行う評価部と、
   を備えることを特徴とする、評価システム。
5. 前記第２取得手段により取得された動画データに映っている人体の部位の動きに基づいて、講義者が映っている領域を識別する参加者識別部をさらに備え、
   前記動作検出部は、前記参加者識別部の識別結果に基づき、受講者の動作と講義者の動作とを識別して検出することを特徴とする、請求項４に記載の評価システム。
6. 前記第２取得手段は、講義者の身体を撮影する撮影装置と、当該撮影装置を設置した可動式の架台とを備え、講義者の移動に応じて講義者を追尾しながら撮影することを特徴とする、請求項４に記載の評価システム。
7. コンピュータを、
   講義が行われている部屋内で講義者が移動する講義において、講義者を撮影した動画データから当該動画データに映っている講義者の人体の部位を特定し、特定された部位の動作を検出し、受講者を撮影した動画データから当該動画データに映っている受講者の人体の部位を特定し、特定された部位の動作を検出する動作検出手段と、
   前記動作検出手段により検出された人体の部位の動作に基づき、講義者の行動に関して、部屋内での移動を示す行動を抽出し、受講者の行動に関して、講義者に対して視線を向ける行動を抽出する行動抽出手段と、
   前記行動抽出手段により抽出された講義者および受講者の行動ならびに講義者が講義において受講者に注意を向ける度合いまたは受講者が講義において講義者に注意を向ける度合いを評価する評価基準に基づき、評価を行う評価手段として機能させること、
   を特徴とする、プログラム。

Images