JP7110568B2 - 行動推定装置及び行動推定プログラム - Google Patents

Description

本発明は、行動推定装置及び行動推定プログラムに関する。

特許文献１には、複数の対象者の各々において行動として表れる行動情報に基づいて複数の対象者の各々の行動の特徴を表す特徴情報を導出し、特徴情報に基づいて指定対象者の感情要素を表す要素情報を求めて、要素情報に基づいて指定対象者の心理状態を表す心理情報を求めて提示する情報提供装置が提案されている。

特開２０１１－２０１１２１号公報

行動として表れる行動情報を用いて心理情報を提示することや、人の動作を検出することまではできるが、会議や、授業、講義などの予め定めた場面における対象者の行動を推定することはできなかった。そこで、本発明は、予め定めた場面における対象者の行動を推定可能な行動推定装置及び行動推定プログラムを提供することを目的とする。

請求項１に記載の行動推定装置は、１以上の対象者の動作情報を取得する取得部と、前記取得部によって取得した前記動作情報を用いて、予め定めた場面における予め定めた行動のうち、対象者に対応する行動を推定する推定部と、を備え、前記推定部が、対象者の上半身の状態と、対象者の下半身の状態との２軸の領域において、対象者の状態に対応する予め定めた行動が前記領域上で２以上の重なり部分を有するように予め分類し、前記動作情報から前記上半身の状態及び前記下半身の状態の各々を推定することにより、予め分類した予め定めた行動のうち、対象者の状態に対応する行動を、対象者の予め定めた場面における行動として推定し、前記上半身の状態及び前記下半身の状態とは異なる予め定めた特定の要素の有無を、前記重なり部分の行動を判定する条件として前記領域上の重なり部分の行動を推定する。

請求項２に記載の発明は、請求項１に記載の発明において、前記推定部は、複数の動きの組み合わせを含む予め定めた場面における行動のうち、対象者に対応する行動を推定する。

請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記推定部は、前記動作情報から予め定めた時間区間毎の対象者の動作の頻度及び対象者の動作の維持時間の少なくとも一方の対象者特有動作情報を求め、該対象者特有動作情報を更に用いて対象者の予め定めた場面における行動を推定する。

請求項４に記載の発明は、請求項１～３の何れか１項に記載の発明において、前記推定部が、予め定めた時間区間毎に対象者の行動を推定し、前記推定部によって推定された前記時間区間毎の対象者の行動を記憶する記憶部を更に備える。

請求項５に記載の発明は、請求項４に記載の発明において、前記記憶部は、前記動作情報以外の前記予め定めた場面における検出情報を前記時間区間毎に更に記憶する。

請求項６に記載の発明は、請求項５に記載の発明において、前記検出情報は、前記時間区間毎の音声情報及び前記時間区間毎の撮影情報の少なくとも一方を含む情報である。

請求項７に記載の発明は、請求項３～６の何れか１項に記載の発明において、前記時間区間は、対象者の動作速度に応じて予め定めた時間に変更する。

請求項８に記載の行動推定プログラムは、コンピュータを、請求項１～７の何れか１項に記載の行動推定装置の各部として機能させる。

請求項１に記載の行動推定装置によれば、予め定めた場面における対象者の行動を推定可能な行動推定装置を提供できる。

請求項２に記載の発明によれば、複数の動きの組み合わせを含む予め定めた場面における行動を推定することが可能となる。

請求項３に記載の発明によれば、対象者特有動作を考慮しない場合に比べて、正確に行動を推定することが可能となる。

請求項４に記載の発明によれば、行動をキーワードにして時間区間毎の検索が可能となる。

請求項５に記載の発明によれば、行動だけでなく、行動に関係する情報の時間区間毎の検索が可能となる。

請求項６に記載の発明によれば、行動をキーワードとして、行動に対応する時間区間における音声情報及び撮影情報の少なくとも一方の情報の検索も可能となる。

請求項７に記載の発明によれば、時間区間を固定の時間とした場合に比べて、正確に行動を推定することが可能となる。

請求項８に記載の発明によれば、予め定めた場面における対象者の行動を推定可能な行動推定プログラムを提供できる。

本実施形態に係る行動推定装置の概略構成を示すブロック図である。 本実施形態に係る行動推定装置が設けられた会議室の一例を示す図である。 本実施形態に係る行動推定装置の制御装置の機能を示す機能ブロック図である。 （Ａ）は人体の回折部２５点の一例を示す図であり、（Ｂ）は回折部の位置と変位の一例を示す図である。 人物Ａがジェスチャと共に人物Ｂへ話をし、人物Ｃが記録をしている場合の各人物の上半身の動きと下半身の動きの一例を示す図である。 （Ａ）は上半身の状態テーブルの一例を示す図であり、（Ｂ）は下半身の状態テーブルの一例を示す図である。 対象者の上半身の状態と、対象者の下半身の状態との２軸の領域に予め定めた行動を予め分類した例を示す図である。 行動毎の特定の要素の一例を示す図である。 特定の要素と重なり部分との関係の一例を示す図である。 立ち上がって、ホワイトボード装置へ移動後、板書しながら説明する場合の赤外線カメラ、マイク、及びカメラの情報を用いた動作解析の一例を説明するための図である。 本実施形態に係る行動推定装置の制御装置で行われる行動推定処理の流れの一例を示すフローチャートである。 深度情報解析処理の流れの一例を示すフローチャートである。 重なり判定処理の流れの一例を示すフローチャートである。 重なり領域Ｒ１の重なり判定処理の流れを示すフローチャートである。 重なり領域Ｒ２の重なり判定処理の流れを示すフローチャートである。 重なり領域Ｒ３の重なり判定処理の流れを示すフローチャートである。 重なり領域Ｒ４の重なり判定処理の流れを示すフローチャートである。 重なり領域Ｒ５の重なり判定処理の流れを示すフローチャートである。 重なり領域Ｒ６の重なり判定処理の流れを示すフローチャートである。 重なり領域Ｒ７の重なり判定処理の流れを示すフローチャートである。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係る行動推定装置１０の概略構成を示すブロック図である。また、図２は、本実施形態に係る行動推定装置１０が設けられた会議室の一例を示す図である。

本実施形態に係る行動推定装置１０は、図２に示す会議室や、講堂、教室などの予め定めた空間で行われる会議や、打ち合わせ、講義、授業等の予め定めた場面に参加した対象者の行動を推定する。ここで、本実施形態における対象者の行動とは、人の単純な動き（視線移動や、頭の動き、手腕の動き、脚の動きなど）ではなく、複数の動きの組み合わせを含む予め定めた場面における行動であり、一例として、本実施形態では、会議中における人の行動を推定する。推定する会議中の人の行動は、具体的には、本実施形態では、「説明」、「質問／意見」、「プレゼン」、「深慮・黙考」、「ノート・内職」、及び「アピール」の６種類に分類して何れの行動であるかを推定する。

行動推定装置１０は、各種情報を取得し、対象者の行動を推定する推定部としての制御装置２０を備えている。

制御装置２０は、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、ＲＡＭ（Random Access Memory）２０Ｃ、及び入出力ポート２０Ｄがそれぞれバス２０Ｅに接続されたマイクロコンピュータで構成されている。

ＲＯＭ２０Ｂには、会議に参加した対象者の行動を推定するための行動推定プログラム等の各種プログラムが記憶されている。ＲＯＭ２０Ｂに記憶されたプログラムをＲＡＭ２０Ｃに展開してＣＰＵ２０Ａが実行することにより、対象者の行動の推定が行われる。あるいは、ＨＤＤ（Hard Disc Drive）２０Ｆに予め格納したプログラムを、ＲＡＭ２０Ｃに展開して、ＣＰＵ２０Ａが実行することにより、対象者の行動の推定を行なってもよい。

入出力ポート２０Ｄには、赤外線カメラ１２、カメラ１４、マイク１６、記憶部としてのデータベースＤＢ１８、表示装置２２、ホワイトボード装置２４、及び手元操作機器２６が接続されている。

赤外線カメラ１２、カメラ１４、及びマイク１６は、例えば、図２に示すように、会議室に設けられている。

赤外線カメラ１２は、例えば、会議室の天井や壁等に設けられて、赤外線領域の光を撮影することにより、会議中の様子を撮影することによって得られる深度情報を制御装置２０に出力する。

カメラ１４は、赤外線カメラ１２と同様に、例えば、会議室の天井や壁等に設けられて、会議中の様子を撮影することによって得られる撮影画像情報を制御装置２０に出力する。

マイク１６は、例えば、会議室の机や壁面等に設けられ、会議室内の会議中の音声を音声情報として取得して制御装置２０に出力する。

データベースＤＢ１８は、赤外線カメラ１２の深度情報、カメラ１４の撮影画像情報、及びマイク１６の音声情報等の各種情報がそれぞれ時間情報と共に記憶される。

表示装置２２は、例えば、プロジェクタ装置等の表示装置が適用され、会議中の資料を表示し、表示装置２２の表示状態を時間情報と共に資料提示情報として制御装置２０に出力する。

ホワイトボード装置２４は、会議中の板書情報を検出して、検出結果を時間情報と共に板書情報として制御装置２０に出力する。

手元操作機器２６は、例えば、電子ペンやユーザ登録されたコンピュータやタブレット等の機器が適用され、操作状態を検出して検出結果を時間情報と共に手元操作情報として制御装置２０に出力する。

そして、制御装置２０は、取得した情報に基づいて、会議に参加した対象者の行動を推定して、推定した行動を時間情報と共に、データベースＤＢ１８に記憶し、後から会議中の撮影画像などを検索可能にしている。

図３は、本実施形態に係る行動推定装置１０の制御装置２０の機能を示す機能ブロック図である。

行動推定装置１０は、図３に示すように、取得部３０及び推定部としての行動推定部４０を機能として備えている。

取得部３０は、赤外線カメラ１２から得られる深度情報を１以上の対象者の動作情報として取得すると共に、カメラ１４から得られる撮影画像情報、及びマイク１６から得られる音声情報を取得する。また、取得部３０は、表示装置２２、ホワイトボード装置２４、及び手元操作機器２６などからも情報を取得する。

また、取得部３０は、資料提示検出部３２、板書検出部３４、発話検出部３６、及び手元操作検出部３８を含んでいる。資料提示検出部３２は、表示装置２２から表示情報を取得することにより、会議中の資料提示を検出する。また、板書検出部３４は、ホワイトボード装置２４の情報やカメラ１４の撮影画像などから会議中の板書を検出する。また、発話検出部３６は、マイク１６の音声情報から会議中の発話（音声）を検出する。また、手元操作検出部３８は、手元操作機器２６の情報に基づいて会議中の手元操作を検出する。そして、取得部３０は、各部の検出結果をデータベースＤＢａ１８Ａに格納する。

行動推定部４０は、メディア記録部４２、動作状態推定部４４、行動分類部４６、及び重なり判定部４８の機能を含んでおり、会議に参加した対象者の行動を推定して、データベースＤＢｂ１８Ｂに推定した行動情報を格納する。

メディア記録部４２は、取得部３０が取得した、深度情報、撮影画像情報、及び音声情報の各々を時間情報と共に、データベースＤＢｂ１８Ｂに格納する。

動作状態推定部４４は、取得部３０が取得した、深度情報を用いて、１以上の対象者の動作を検出し、検出した動作から対象者の状態を推定する。対象者の動作は、ＯｐｅｎＣＶ（Open Source Computer Vision）など、赤外線カメラ１２から得られる深度情報を使って人物の動き（動作、姿勢、移動等）を計測する周知技術を用いて検出する。例えば、Microsoft社の製品、Kinect（商標）for Windows（登録商標）では、図４（Ａ）に示すように、人体の回折部２５点を特定し、図４（Ｂ）に示すように、その位置と変位（例えば、図４（Ｂ）中のθ等）が計測されるので、これを用いて人物の動きを検出する。より具体的には、無数の赤外線パターンを照射し、赤外線カメラで被写体に照射されたパターンを観測する。パターンの投影位置から、被写体までの奥行きを計測し人物領域を検出する。その後、事前に学習した膨大な人物姿勢パターンと観測した人物領域を比較し、各身体部位の３次元位置を正確に測定する。また、会議中の人物は、例えば、人物Ａがジェスチャと共に人物Ｂへ話をし、人物Ｃが記録をしている場合、図５に示すように、上半身（図５では顔の向きａ、発話ｂ、及び腕、手の動きｃ）及び下半身（図５では姿勢変更ｄ、歩行ｅ）の各々の動きがある。そこで、動作状態推定部４４は、深度情報に基づいて検出した動きから上半身の状態、及び下半身の状態を推定する。推定する状態としては、例えば、図６（Ａ）に示すように、上半身の状態として、静止、手元を動かす、頭部を動かす、腕を動かす、歩行等の状態を一例として推定する。また、図６（Ｂ）に示すように、下半身の状態として、静止、姿勢変更、中腰、及び歩行等の状態を一例として推定する。具体的には、深度情報から求めた各関節の動きに基づいて認識したポーズと変位量を用いて図６（Ａ）に示す上半身の状態テーブル及び図６（Ｂ）に示す下半身の状態テーブルを生成することにより状態を推定する。なお、図６に示す状態テーブルのＶｕＸ、ＶｌＸには予め定めた範囲の値が入力される。また、本実施形態では、手元を動かしながらうなずく等の複数の状態の推定は行わず、手元を動かすまたはうなずくなどの単一の状態を推定するものとし、図６の状態テーブルには何れか１つの状態のみに動き（数値）が入る場合を説明する。

行動分類部４６は、動作状態推定部４４の推定結果を用いて、対象者の行動を分類する。例えば、図７に示すように、対象者の上半身の状態と、対象者の下半身の状態との２軸の領域において予め定めた行動を予め分類し、推定した対象者の状態から対象者の行動を推定する。図７の例では、上半身の状態を縦軸とし、下半身の状態を横軸としている。そして、「説明」、「質問／意見」、「プレゼン」、「深慮・黙考」、「ノート・内職」、及び「アピール」の６種類の行動に領域を分類し、推定した対象者の状態から行動を推定する。

重なり判定部４８は、行動分類部４６で行動を推定する際に、各行動の重なり部分（図７のＲ１～Ｒ７）について行動を判定する。本実施形態では、予め定めた特定の要素の有無を条件として、重なり部分の行動を判定する。特定の要素としては、本実施形態では、取得部３０が取得した情報から検出した、資料提示、板書、音声、及び手元操作の有無を条件として重なり部分について判定する。例えば、図８に示すように、「説明」の行動には、特定の要素として、板書及び音声がある。「質問／意見」の行動では、特定の要素として、音声がある。「プレゼン」の行動では、特定の要素として、音声、資料提示、及び板書がある。「深慮、黙考」の行動では、特定の要素がない。「ノート・内職」の行動では、特定の要素として、手元操作がある。「アピール」の行動では、特定の要素として、音声がある。そこで、図９に示す特定の要素と重なり部分との関係に基づいて、各要素（Ｃ１～Ｃ４）の有無を条件としてＲ１～Ｒ７の重なり部分について行動を判定する。

また、行動推定部４０では、会議中の行動を元に撮影画像の検索等を行えるように、推定した行動を時間情報と共に、データベースＤＢｂ１８Ｂに格納する。ここで、行動推定部４０は、赤外線カメラ１２、マイク１６、及びカメラ１４によって対象者の状態に関する情報がそれぞれ検出されるので、これらを用いると共に、行動分類部４６及び重なり判定部４８により予め定めた時間区間毎に動作解析を行って対象者の行動を推定してもよい。例えば、立ち上がって（起立動作）、ホワイトボード装置２４へ移動後（歩行移動）、板書しながら説明する（板書）場合には、図１０に示すように、時間区間毎に、赤外線カメラ１２、マイク１６、及びカメラ１４の情報が得られるので、それぞれを用いて時間区間毎に動作解析を行って対象者の行動を推定する。そして、推定した行動を時間情報と共にデータベースＤＢｂ１８Ｂに格納する。図１０の例では、Δｔ１、Δｔ３、Δｔ４はそれぞれノイズ、Δｔ２は「質問・意見」、Δｔ５及びΔｔ６はそれぞれ「説明」として行動が推定された例を示す。

また、行動推定部４０は、動作情報から予め定めた時間区間毎の対象者の動作の頻度及び対象者の動作の維持時間の少なくとも一方の対象者特有動作を求め、該対象者特有動作を更に用いて対象者の予め定めた場面における行動を推定してもよい。例えば、対象者の癖などを考慮するために、対象者の動作の頻度や、動作の継続時間を対象者特有動作として求めて、行動の推定に利用してもよい。具体的には、頻繁にうなずく人は、状態を推定する際に、「質問・意見」の行動や、「ノート・内職」の行動とは異なるうなずき状態の場合があるので、うなずいている状態と判断しない等のように行動を推定する際の状態の推定に利用してもよい。

なお、行動を推定する予め定めた時間区間は、予め定めた固定の時間区間としてもよいし、予め定めた条件に従って変動する時間区間としてもよい。例えば、変動の時間区間を適用する場合には、対象者の動作速度に応じて時間を変更してもよい。具体的には、対象者の動作速度が遅いほど行動を推定するためには長い時間が必要となるので、対象者の動作速度が遅いほど長い時間区間とし、対象者の動作速度が速いほど短い時間区間とする。

続いて、上述のように構成された本実施形態に係る行動推定装置１０の制御装置２０で行われる具体的な処理について説明する。図１１は、本実施形態に係る行動推定装置１０の制御装置２０で行われる行動推定処理の流れの一例を示すフローチャートである。

まず、ステップ１００では、取得部３０が、各種情報を取得してステップ１０２へ移行する。すなわち、赤外線カメラ１２から得られる深度情報、カメラ１４の撮影画像、マイク１６の音声情報、表示装置２２の表示状態、ホワイトボード装置２４の板書情報、及び手元操作機器２６の操作状態の各々を取得する。

ステップ１０２では、取得部３０が、取得した情報が赤外線カメラ１２の深度情報であるか否を判定する。該判定が否定された場合にはステップ１０４へ移行し、肯定された場合にはステップ１０８へ移行する。

ステップ１０４では、板書検出部３４がカメラ１４の撮影画像や、ホワイトボード装置２４の板書情報などから板書情報を検出すると共に、発話検出部３６がカメラ１４の撮影画像中の音声情報やマイク１６の音声情報から発話情報を検出してステップ１０６へ移行する。

ステップ１０６では、取得部３０が、検出した検出情報を対応する時間情報と共に、データベースＤＢａ１８Ａに記録してステップ１００に戻って上述の処理を繰り返す。

一方、ステップ１０８では、動作状態推定部４４が、深度情報の解析処理を行ってステップ１１０へ移行する。ここで、深度情報解析処理について説明する。図１２は、深度情報解析処理の流れの一例を示すフローチャートである。

深度情報解析処理に移行すると、ステップ２００では、動作状態推定部４４が、変位がある関節座標群を抽出してステップ２０２へ移行する。

ステップ２０２では、動作状態推定部４４が、任意の隣接する２関節の座標をベクトルとしてスカラーと内積を計算してステップ２０４へ移行する。

ステップ２０４では、動作状態推定部４４が、変位がある２関節の変位量としての角度θを計算してステップ２０６へ移行する。

ステップ２０６では、動作状態推定部４４が、カウンタ及びタイマを更新してステップ２０８へ移行する。

ステップ２０８では、動作状態推定部４４が、所定回数または所定時間が経過したか否か判定する。該判定が否定された場合にはステップ２００に戻って上述の処理を繰り返し、判定が肯定された場合にはステップ２１０へ移行する。なお、所定時間としては、上述した、予め定めた時間区間を適用する。すなわち、所定時間は、予め定めた固定の時間を適用してもよいし、予め定めた条件に従って変動する時間を適用してもよい。また、同様に、所定回数についても予め定めた固定の回数を適用してもよいし、予め定めた条件に従って変動する回数を適用してもよい。例えば、対象者の動作速度が遅いほど多い回数とし、対象者の動作速度が速いほど少ない回数に変動してもよい。

ステップ２１０では、動作状態推定部４４が、計算したθの変位より人物のポーズ（状態）を認識してステップ２１２へ移行する。

ステップ２１２では、動作状態推定部４４が、認識したポーズと計算した変位量θとを出力して図１１のステップ１１０へ移行する。

続いて、ステップ１１０では、動作状態推定部４４が、深度情報解析処理によって得られたポーズと変位量に基づいて、上半身及び下半身の各々の状態テーブルを作成し、状態を推定してステップ１１２へ移行する。すなわち、深度情報から検出した人物の動きから、図６（Ａ）、（Ｂ）に示す状態テーブルを作成する。なお、状態テーブルは、本実施形態では、単一の状態に対応する部分のみに動きがある場合の状態テーブルを作成する。複数の状態に対して動きがある場合は、状態テーブルを再作成するものとする。

ステップ１１２では、行動分類部４６が、対象者の行動を推定してステップ１１４へ移行する。具体的には、作成した状態テーブルに基づいて、図７に示すように、対象者の上半身の状態と、対象者の下半身の状態との２軸に予め定めた行動を予め分類し、推定した対象者の状態から対象者の行動を推定する。

ステップ１１４では、重なり判定部４８が、重なり領域の行動であるか否かを判定する。該判定は、上半身及び下半身の状態が、図７の重なり領域（Ｒ１～Ｒ７）に対応するか否かを判定する。該判定が否定された場合にはステップ１１８へ移行し、肯定された場合にはステップ１１６へ移行する。

ステップ１１６では、重なり判定部４８が、重なり判定処理を行ってステップ１１８へ移行する。ここで、重なり判定処理について詳細に説明する。図１３は、重なり判定処理の流れの一例を示すフローチャートである。

ステップ３００では、重なり判定部４８が、重なり発生時刻の検出情報をＤＢａ１８Ａから取得する。すなわち、重なり領域の上半身及び下半身の状態を検出した時刻における検出情報（ステップ１０６において取得部３０が取得してＤＢａ１８Ａに記録した情報）をデータベースＤＢａ１８Ａから取得する。取得する検出情報は、会議中の資料提示、会議中の板書、会議中の発話、及び会議中の手元操作のそれぞれの検出情報を取得する。

ステップ３０２では、重なり判定部４８が、重なり領域Ｒ１～Ｒ７の何れの領域であるか分類してステップ３０４へ移行する。

ステップ３０４では、重なり判定部４８が、重なり領域毎の重なり判定処理を行って図１１のステップ１１８へ移行する。ここで、重なり領域毎の重なり判定処理について詳細に説明する。重なり領域毎の重なり判定は、重なり領域によって異なる処理が行われ、図８、９に示す予め定めた特定の要素の有無を条件として、重なり領域の行動を判定する。図１４～図２０は重なり領域Ｒ１～Ｒ７のそれぞれにおける重なり判定処理の流れを示すフローチャートである。

まず、重なり領域がＲ１の場合は、ステップ３１０において、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が板書Ｃ２及び音声Ｃ３であるか否か判定する。該判定が肯定された場合にはステップ３１２へ移行し、否定された場合にはステップ３１４へ移行する。

ステップ３１２では、重なり判定部４８が、重なり領域の行動が「説明」であると判定する。

一方、ステップ３１４では、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が音声Ｃ３のみであるか否か判定する。該判定が肯定された場合にはステップ３１６へ移行し、否定された場合にはステップ３１８へ移行する。

ステップ３１６では、重なり判定部４８が、重なり領域の行動が「質問・意見」であると判定する。

ステップ３１８では、重なり判定部４８が、重なり領域の行動が特定なしと判定する。

次に、重なり領域がＲ２の場合は、ステップ３２０において、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が資料提示Ｃ１、板書Ｃ２、及び音声Ｃ３であるか否か判定する。該判定が肯定された場合にはステップ３２２へ移行し、否定された場合にはステップ３２４へ移行する。

ステップ３２２では、重なり判定部４８が、重なり領域の行動が「プレゼン」であると判定する。

一方、ステップ３２４では、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が音声Ｃ３のみであるか否か判定する。該判定が肯定された場合にはステップ３２６へ移行し、否定された場合にはステップ３２８へ移行する。

ステップ３２６では、重なり判定部４８が、重なり領域の行動が「質問・意見」であると判定する。

ステップ３２８では、重なり判定部４８が、重なり領域の行動が特定なしと判定する。

次に、重なり領域がＲ３の場合は、ステップ３３０において、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が板書Ｃ２及び音声Ｃ３であるか否か判定する。該判定が肯定された場合にはステップ３３２へ移行し、否定された場合にはステップ３３４へ移行する。

ステップ３３２では、重なり判定部４８が、重なり領域の行動が「説明」であると判定する。

一方、ステップ３３４では、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が検出情報なしであるか否かを判定する。該判定が肯定された場合にはステップ３３６へ移行し、否定された場合にはステップ３３８へ移行する。

ステップ３３６では、重なり判定部４８が、重なり領域の行動が「深慮・黙考」であると判定する。

ステップ３３８では、重なり判定部４８が、重なり領域の行動が特定なしと判定する。

次に、重なり領域がＲ４の場合は、ステップ３４０において、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が音声Ｃ３のみであるか否か判定する。該判定が肯定された場合にはステップ３４２へ移行し、否定された場合にはステップ３４４へ移行する。

ステップ３４２では、重なり判定部４８が、重なり領域の行動が「質問・意見」であると判定する。

一方、ステップ３４４では、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が手元操作Ｃ４のみであるか否かを判定する。該判定が肯定された場合にはステップ３４６へ移行し、否定された場合にはステップ３４８へ移行する。

ステップ３４６では、重なり判定部４８が、重なり領域の行動が「ノート・内職」であると判定する。

ステップ３４８では、重なり判定部４８が、重なり領域の行動が特定なしと判定する。

次に、重なり領域がＲ５の場合は、ステップ３５０において、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が資料提示Ｃ１、板書Ｃ２、及び音声Ｃ３であるか否か判定する。該判定が肯定された場合にはステップ３５２へ移行し、否定された場合にはステップ３５４へ移行する。

ステップ３５２では、重なり判定部４８が、重なり領域の行動が「プレゼン」であると判定する。

一方、ステップ３５４では、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が音声Ｃ３のみであるか否か判定する。該判定が肯定された場合にはステップ３５６へ移行し、否定された場合にはステップ３５８へ移行する。

ステップ３５６では、重なり判定部４８が、重なり領域の行動が「アピール」であると判定する。

ステップ３５８では、重なり判定部４８が、重なり領域の行動が特定なしと判定する。

次に、重なり領域がＲ６の場合は、ステップ３６０において、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が検出情報なしであるか否かを判定する。該判定が肯定された場合にはステップ３６２へ移行し、否定された場合にはステップ３６４へ移行する。

ステップ３６２では、重なり判定部４８が、重なり領域の行動が「深慮・黙考」であると判定する。

一方、ステップ３６４では、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が手元操作Ｃ４のみであるか否かを判定する。該判定が肯定された場合にはステップ３６６へ移行し、否定された場合にはステップ３６８へ移行する。

ステップ３６６では、重なり判定部４８が、重なり領域の行動が「ノート・内職」であると判定する。

ステップ３６８では、重なり判定部４８が、重なり領域の行動が特定なしと判定する。

次に、重なり領域がＲ７の場合は、ステップ３７０において、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が手元操作Ｃ４のみであるか否かを判定する。該判定が肯定された場合にはステップ３７２へ移行し、否定された場合にはステップ３７４へ移行する。

ステップ３７２では、重なり判定部４８が、重なり領域の行動が「ノート・内職」であると判定する。

一方、ステップ３７４では、重なり判定部４８が、ステップ３００において取得した情報に基づいて、特定の要素が音声Ｃ３のみであるか否か判定する。該判定が肯定された場合にはステップ３７６へ移行し、否定された場合にはステップ３７８へ移行する。

ステップ３７６では、重なり判定部４８が、重なり領域の行動が「アピール」であると判定する。

ステップ３７８では、重なり判定部４８が、重なり領域の行動が特定なしと判定する。

そして、以上の何れかにより、重なり領域別の重なり判定処理が行われると、図１３の処理をリターンして図１１のステップ１１８へ移行する。

ステップ１１８では、行動推定部４０が、推定した行動を時間情報と共に、データベースＤＢｂ１８Ｂに記録してステップ１００に戻って上述の処理を繰り返す。これにより、データベースＤＢ１８には、時間情報と共に、推定した行動が記録される共に、撮影画像情報及び音声情報などの会議に関する情報が格納される。

このように推定した会議中の対象者の行動は、会議の進行中にリアルタイムで会議参加者の行動を分析し、議論の停滞を検出（例えば、相対的に長いノイズ区間の検出等）して議論が停滞した際に、その時点までの分析結果を提示して次のアクションを促すために使用してもよい。

また、会議参加者の行動を、会議の全記録時間を対象として事後に分析し、ノイズ区間の除去と、行動分類とによりコミュニケーション構造を可視化して提示するために使用してもよい。

また、会議参加者の行動を、会議の全記録時間を対象として事後に分析し、例えば、「板書」などの行動を表すキーワードを使い、データベースＤＢ１８に記録された会議の情報を検索するために使用してもよい。例えば、あの会議での板書を検索し、この板書に至った議論の記録の検索などに使用する。

なお、上記の実施形態では、図６の状態テーブルには何れか１つの状態のみに動き（数値）が入るものとして説明したが、これに限るものではない。例えば、動作情報から図６に示す状態テーブルを生成した際に、複数の状態の各々に動き（数値）が入る場合を適用してもよい。この場合には、例えば、最も動きが大きい状態を採用して状態を推定してもよい。

また、上記の実施形態では、図７に示すように、２軸の領域において２つの行動が重なるように分類した例を説明したが、３以上の行動が重なるように分類してもよい。

また、上記の実施形態に係る行動推定装置１０の制御装置２０で行われる処理（図１１～２０）は、ソフトウエアで行われる処理としてもよいし、ハードウエアで行われる処理としてもよいし、双方を組み合わせた処理としてもよい。また、制御装置２０の各部で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。

また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０ 行動推定装置
１２ 赤外線カメラ
１４ カメラ
１６ マイク
１８ データベースＤＢ
１８Ａ データベースＤＢａ
１８Ｂ データベースＤＢｂ
２０ 制御装置
３０ 取得部
３２ 資料提示検出部
３４ 板書検出部
３６ 発話検出部
３８ 手元操作検出部
４０ 行動推定部
４２ メディア記録部
４４ 動作状態推定部
４６ 行動分類部
４８ 重なり判定部

Claims (8)

1. １以上の対象者の動作情報を取得する取得部と、
   前記取得部によって取得した前記動作情報を用いて、予め定めた場面における予め定めた行動のうち、対象者に対応する行動を推定する推定部と、
   を備え、
   前記推定部が、対象者の上半身の状態と、対象者の下半身の状態との２軸の領域において、対象者の状態に対応する予め定めた行動が前記領域上で２以上の重なり部分を有するように予め分類し、前記動作情報から前記上半身の状態及び前記下半身の状態の各々を推定することにより、予め分類した予め定めた行動のうち、対象者の状態に対応する行動を、対象者の予め定めた場面における行動として推定し、
   前記上半身の状態及び前記下半身の状態とは異なる予め定めた特定の要素の有無を、前記重なり部分の行動を判定する条件として前記領域上の重なり部分の行動を推定する行動推定装置。
2. 前記推定部は、複数の動きの組み合わせを含む予め定めた場面における行動のうち、対象者に対応する行動を推定する請求項１に記載の行動推定装置。
3. 前記推定部は、前記動作情報から予め定めた時間区間毎の対象者の動作の頻度及び対象者の動作の維持時間の少なくとも一方の対象者特有動作情報を求め、該対象者特有動作情報を更に用いて対象者の予め定めた場面における行動を推定する請求項１又は請求項２に記載の行動推定装置。
4. 前記推定部が、予め定めた時間区間毎に対象者の行動を推定し、前記推定部によって推定された前記時間区間毎の対象者の行動を記憶する記憶部を更に備えた請求項１～３の何れか１項に記載の行動推定装置。
5. 前記記憶部は、前記動作情報以外の前記予め定めた場面における検出情報を前記時間区間毎に更に記憶する請求項４に記載の行動推定装置。
6. 前記検出情報は、前記時間区間毎の音声情報及び前記時間区間毎の撮影情報の少なくとも一方を含む情報である請求項５に記載の行動推定装置。
7. 前記時間区間は、対象者の動作速度に応じて予め定めた時間に変更する請求項３～６の何れか１項に記載の行動推定装置。
8. コンピュータを、請求項１～７の何れか１項に記載の行動推定装置の各部として機能させるための行動推定プログラム。

Images