JP4012872B2 - 情報管理装置、情報管理方法及び情報管理プログラム - Google Patents

Description

本発明は、イベントに参加する複数のオブジェクトに関する情報を管理する情報管理装置、情報管理方法及び情報管理プログラムに関するものである。

人間が知覚する五感情報の中でも視覚情報は聴覚情報に並んで重要度が高いため、人間の体験及び行動の記録及び解析において、視覚情報の果たす役割は大きく、体験の記録にとって視覚情報は不可欠である。また、視覚情報には人の表情やジェスチャ、注視方向、人と物との位置関係など本人および周囲の環境に関する多くの情報が同時に含まれるため、蓄積した情報の利便性も高い。そのため、視覚情報を利用して個人の行動や人間同士のインタラクションを記録する手法が広く検討されている。

例えば、イベントに参加する各人物および環境に取り付けられた多数のカメラと赤外線タグ等の他のセンサとから構成される移動体検出装置を用いて各人物の移動位置を検出し、人間の行動及び人間同士のインタラクションを記録及び解析するシステムが開発され、多数のセンサから得られた情報を処理して抽象度の高い情報であるインタラクションを抽出している（非特許文献１参照）。
角康之他、「複数センサ群による協調的なインタラクションの記録」、インタラクション ２００３、２００３年、ｐ．２５５−ｐ．２６２

しかしながら、抽象度の高い情報を抽出するためには、時間的及び空間的に広範囲の情報を取得することが必要となり、当該情報を得るまでに一定の時間が必要となる。したがって、抽象度の高い情報を用いるアプリケーションで情報を利用するため、抽象度の高い情報を抽出した後に各情報を更新したのでは、情報の更新に時間的な遅延が発生し、即時性の高い情報を用いる他のアプリケーションに利用することができず、蓄積した情報を種々のアプリケーションで共用することができない。

本発明の目的は、種々のアプリケーションに対して適切な情報を適切なタイミングで提供することができる情報管理装置、情報管理方法及び情報管理プログラムを提供することである。

本発明に係る情報管理装置は、イベントに参加する人間を含む複数のオブジェクトに関する情報を管理する情報管理装置であって、オブジェクトの視界内に位置する他のオブジェクトを検出する対象物検出手段により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとに第１の記憶手段に記憶する第１の管理手段と、第１の記憶手段に記憶されている視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとに第２の記憶手段に記憶する第２の管理手段と、前記第２の記憶手段に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにインタラクション情報として第３の記憶手段に記憶する第３の管理手段と、前記第３の記憶手段に記憶されている視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記インタラクション情報より抽象度の高いイベント情報として前記第４の記憶手段に記憶する第４の管理手段とを備えるものである。

本発明に係る情報管理装置では、オブジェクトの視界内に位置する他のオブジェクトを検出する対象物検出手段により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとに第１の記憶手段に記憶されるので、実際に観測された視覚情報すなわち抽象度の最も低い情報を即座に第１の記憶手段に第１の階層として記憶することができる。また、第１の記憶手段に記憶されている視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報が、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出され、抽出された視覚クラスタ情報の最初の時間情報及び最後の時間情報が当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとに第２の記憶手段に記憶されるので、視覚情報が断続的に得られる場合でも、オブジェクトに対して意味のある視覚クラスタ情報すなわちより抽象化された情報を抽出して第２の記憶手段に第２の階層として記憶することができる。さらに、第２の記憶手段に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態が推定され、推定された視認状態がオブジェクトごとにインタラクション情報として第３の記憶手段に記憶されるので、さらに抽象化された情報であるインタラクション情報を第３の記憶手段に第３の階層として記憶することができる。

このように、情報の抽象度に応じて各情報が階層的に記憶されているので、即時性の高い情報を用いるアプリケーションに対して下位の記憶手段から即時性の高い情報を提供することができるとともに、抽象性の高い情報を用いるアプリケーションに対して上位の記憶手段から抽象性の高い情報を提供することができ、種々のアプリケーションに対して適切な情報を適切なタイミングで提供することができる。
また、前記第３の記憶手段に記憶されている視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションが抽出され、抽出された３つ以上のオブジェクト間のインタラクションがインタラクション情報より抽象度の高いイベント情報として第４の記憶手段に記憶されるので、さらに抽象化された情報であるイベント情報を第４の記憶手段に第４の階層として記憶することができ、情報の抽象度に応じて各情報がより階層的に記憶され、より抽象性の高い情報を用いるアプリケーションに対してより上位の記憶手段から抽象性の高い情報を提供することができ、より広範なアプリケーションに対して適切な情報を提供することができる。
また、第２の記憶手段に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出しているので、多数のオブジェクト間のより複雑なインタラクションをイベント情報として抽出することができる。
また、人間が知覚する五感情報の中で最も重要度の高い視覚情報を用いて２つのオブジェクト間の視認状態を推定し、推定した視認状態を基に３つ以上のオブジェクト間のインタラクションを抽出しているので、人間が参加するイベントとして抽象度が高いイベント情報をより正確に推定することができる。

前記第２の管理手段は、前記視覚クラスタ情報を抽出する際、前記第２の記憶手段に対して、取得時刻の間隔が前記最大間隔以下の２つの視覚情報がある場合に視覚クラスタ情報の記録を開始し、後続の２つの視覚情報の取得時刻の間隔が前記最大間隔を越える場合に当該視覚クラスタ情報の終了を表す終了時間情報を記録して当該視覚クラスタ情報の記録を終了することが好ましい。

この場合、取得時刻の間隔が最大間隔以下の２つの視覚情報がある場合に視覚クラスタ情報の記録を開始しているので、一つの視覚クラスタ情報が記録途中の場合でも、当該視覚クラスタ情報の存在を認識することができ、視覚クラスタ情報を必要とするアプリケーションに対して当該視覚クラスタ情報を過度な遅延を伴うことなく提供することができる。また、後続の２つの視覚情報の取得時刻の間隔が最大間隔を越える場合に当該視覚クラスタ情報の終了を表す終了時間情報を記録しているので、視覚クラスタ情報の終了時点を確定することができる。

前記第３の管理手段は、前記第２の記憶手段に記憶されている視覚クラスタ情報のうち当該視覚クラスタ情報の開始時間情報及び終了時間情報により特定される期間が所定の最小継続期間以上となる視覚クラスタ情報を基に前記決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにインタラクション情報として前記第３の記憶手段に記憶することが好ましい。

この場合、視覚クラスタ情報の開始時間情報及び終了時間情報により特定される期間が最小継続期間以上となる視覚クラスタ情報のみを用いているので、継続期間の短い意味のない視覚クラスタ情報を排除し、継続期間の長い有意な視覚クラスタ情報を用いて２つのオブジェクト間の視認状態を正確に推定することができる。

前記オブジェクトは、互いに異なる複数種類のオブジェクトを含み、前記第３の管理手段は、オブジェクトの種類に応じて予め決定された決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにインタラクション情報として前記第３の記憶手段に記憶することが好ましい。

この場合、オブジェクトの種類に応じて予め決定された決定木に従って２つのオブジェクト間の視認状態を推定しているので、２つのオブジェクト間の視認状態を正確に推定することができる。

第１及び第２の管理手段は、クライアントコンピュータから構成され、第３及び第４の管理手段は、クライアントコンピュータと通信可能に接続されたサーバコンピュータから構成されることが好ましい。

この場合、抽象度の低い情報はクライアントコンピュータで処理され、抽象度の高い情報のみがサーバコンピュータで処理されるので、サーバコンピュータの負荷を軽減することができるとともに、情報管理装置へのアクセスに伴うネットワークのトラフィック量を低減することができる。

前記第１の管理手段は、さらに、前記対象物検出手段を装着した人間の発話を検出する発話検出手段により検出された発話の開始時刻及び終了時刻を特定するための発話情報を聴覚情報としてオブジェクトごとに前記第１の記憶手段に記憶し、前記第２の管理手段は、さらに、前記第１の記憶手段に記憶されている聴覚情報のうち発話情報の終了時刻と後続の発話情報の開始時刻との間の間隔が前記最大間隔以下の聴覚情報を一つの聴覚クラスタ情報としてオブジェクトごとに抽出し、抽出した聴覚情報の最初の開始時刻及び最後の終了時刻を当該聴覚クラスタ情報の開始時間情報及び終了時間情報としてオブジェクトごとに前記第２の記憶手段に記憶し、前記第３の管理手段は、さらに、前記第２の記憶手段に記憶されている聴覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトが発話しているか否かを基準に、人間を含む２つのオブジェクト間の会話状態を推定し、推定した会話状態をオブジェクトごとにインタラクション情報として前記第３の記憶手段に記憶し、前記第４の管理手段は、前記第３の記憶手段に記憶されている視認状態及び会話状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションをイベント情報として前記第４の記憶手段に記憶することが好ましい。

この場合、人間が知覚する五感情報の中で視覚情報に並んで重要度が高い聴覚情報を用いて２つのオブジェクト間の会話状態を推定し、推定した会話状態を基に３つ以上のオブジェクト間のインタラクションを抽出しているので、人間が参加するイベントとしてより抽象度が高いイベント情報をより正確に推定することができる。

本発明に係る情報管理方法は、オブジェクトの視界内に位置する他のオブジェクトを検出する対象物検出手段により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとに第１の記憶手段に記憶する第１の管理手段と、前記第１の記憶手段に記憶されている視覚情報から視覚クラスタ情報を抽出する第２の管理手段と、前記第２の管理手段によって抽出された視覚クラスタ情報からインタラクション情報を抽出する第３の管理手段と、前記第３の管理手段によって抽出されたインタラクション情報からイベント情報を抽出する第４の管理手段とを備え、イベントに参加する人間を含む複数のオブジェクトに関する情報を管理する情報管理装置における情報管理方法であって、前記第２の管理手段が、前記第１の管理手段によって前記第１の記憶手段に記憶された視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとに第２の記憶手段に記憶するステップと、前記第３の管理手段が、前記第２の管理手段によって前記第２の記憶手段に記憶された視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにインタラクション情報として第３の記憶手段に記憶するステップと、前記第４の管理手段が、前記第３の管理手段によって前記第３の記憶手段に記憶された視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記インタラクション情報より抽象度の高いイベント情報として前記第４の記憶手段に記憶するステップとを含むものである。

本発明に係る情報管理プログラムは、イベントに参加する人間を含む複数のオブジェクトに関する情報を管理するための情報管理プログラムであって、オブジェクトの視界内に位置する他のオブジェクトを検出する対象物検出手段により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとに第１の記憶手段に記憶する第１の管理手段と、前記第１の記憶手段に記憶されている視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとに第２の記憶手段に記憶する第２の管理手段と、前記第２の記憶手段に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにインタラクション情報として第３の記憶手段に記憶する第３の管理手段と、前記第３の記憶手段に記憶されている視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記インタラクション情報より抽象度の高いイベント情報として前記第４の記憶手段に記憶する第４の管理手段としてコンピュータを機能させるものである。

本発明によれば、情報の抽象度に応じて各情報が階層的に記憶され、即時性の高い情報を用いるアプリケーションに対して下位の記憶手段から即時性の高い情報を提供することができるとともに、抽象性の高い情報を用いるアプリケーションに対して上位の記憶手段から抽象性の高い情報を提供することができ、種々のアプリケーションに対して適切な情報を適切なタイミングで提供することができる。

以下、本発明の一実施の形態による情報管理装置を用いた情報管理システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による情報管理装置を用いた情報管理システムの構成を示すブロック図である。なお、本実施の形態では、展示会場において説明員が見学者に展示内容を説明しているときに、説明員及び見学者のインタラクション等に関する情報を管理する場合について説明するが、本発明はこの例に特に限定されず、ラウンドテーブルを囲んだ自由討論等の打合せ、ある物体や書類を囲んで複数人が作業を行う共同作業等の種々のイベントにおける、人間と人間、人間とロボット、人間と環境を構成する人工物等の間の種々のインタラクションに同様に適用することができる。

図１に示す情報管理システムは、人間用観測装置１、周囲状況観測装置２、ロボット型観測装置３、情報管理装置４、アプリケーションサーバ５〜７、ＡＶ（オーディオ・ビデオ）ファイルサーバ８及び赤外線タグ９を備える。情報管理装置４は、クライアントコンピュータ部４１及びデータ管理用サーバ４５を備え、クライアントコンピュータ部４１は、クライアントコンピュータ４２〜４４を含む。

なお、図１では、図示を容易にするために人間用観測装置１、周囲状況観測装置２、ロボット型観測装置３及び赤外線タグ９をそれぞれ１個のみ図示しているが、人間用観測装置１は説明員及び見学者ごとに設けられ、周囲状況観測装置２は複数の観測位置に設けられ、ロボット型観測装置３は必要数だけ設けられ、赤外線タグ９は説明員及び見学者のインタラクションに使用される対象物ごとに設けられている。また、クライアントコンピュータ４２〜４４は人間用観測装置１、周囲状況観測装置２及びロボット型観測装置３に対応してそれぞれ設けられ、アプリケーションサーバ５〜７は、アプリケーションごとに設けられる。

本実施の形態では、説明員、見学者等の人間、ロボット及び展示物等がイベントに参加するオブジェクトに該当し、オブジェクトの型を「ＨＵＭＡＮ」、「ＵＢＩＱ」及び「ＲＯＢＯＴ」の３種類に分類し、「ＨＵＭＡＮ」には説明員、見学者等の人間、「ＵＢＩＱ」には展示物等の人工物（ユビキタス）、「ＲＯＢＯＴ」には説明を補助するロボット（ロボット型観測装置３）がそれぞれ該当する。

赤外線タグ９は、人間用観測装置１、周囲状況観測装置２及びロボット型観測装置３により観測される対象物となる展示物自体又はその近傍若しくは展示会場の壁又は天井等に取り付けられ、対象物に対して一意的に割り付けられたＩＤ番号（識別情報）を赤外線の点滅により送信する。

人間用観測装置１は、説明員又は見学者に装着され、装着している説明員又は見学者のＩＤ番号を赤外線の点滅により送信する。また、人間用観測装置１は、説明員等の視界内に位置する赤外線タグ９等から送信される対象物のＩＤ番号及び赤外線タグ９等の赤外線画像内のＸＹ座標を検出するとともに、赤外線タグ９を含む可視光画像を撮影し、検出したＩＤ番号及びＸＹ座標等の観測情報及び撮影した可視光画像データ等の映像データをクライアントコンピュータ４２へ出力する。また、人間用観測装置１は、人間用観測装置１を装着している説明員又は見学者の発話を検出して音声データ等の観測情報をクライアントコンピュータ４２へ出力するとともに、生体データを検出してクライアントコンピュータ４２へ出力する。

クライアントコンピュータ４２は、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、外部記憶装置、通信装置等を備えるクライアントコンピュータから構成され、人間用観測装置１により取得された観測情報をその取得時間とともにオブジェクトごとに記憶するとともに、記憶している観測情報のうち取得時間が所定間隔以下の複数の観測情報を一つのクラスタ情報として抽出し、抽出したクラスタ情報をオブジェクトごとに記憶し、データ管理用サーバ４５及びアプリケーションサーバ５，７へ無線等により送信する。また、クライアントコンピュータ４２は、人間用観測装置１から出力される映像データ及び音声データをデータ管理用サーバ４５へ無線等により送信する。

周囲状況観測装置２は、説明員及び見学者が位置する空間を構成する構造物、例えば展示会場の天井及び壁に固定され、撮影範囲内に位置する人間用観測装置１及び赤外線タグ９等から送信されるＩＤ番号並びに人間用観測装置１及び赤外線タグ９等の赤外線画像内のＸＹ座標を検出するとともに、撮影範囲内に位置する人間用観測装置１及び赤外線タグ９等を含む可視光画像を撮影し、検出したＩＤ番号及びＸＹ座標等の観測情報及び撮影した可視光画像データ等の映像データをクライアントコンピュータ４３へ出力する。また、周囲状況観測装置２は、撮影範囲内に位置する説明員又は見学者の発話等を集音して音声データ等の観測情報をクライアントコンピュータ４３へ出力する。

クライアントコンピュータ４３は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるクライアントコンピュータから構成され、周囲状況観測装置２により取得された観測情報をその取得時間とともにオブジェクトごとに記憶するとともに、記憶している観測情報のうち取得時間が所定間隔以下の複数の観測情報を一つのクラスタ情報として抽出し、抽出したクラスタ情報をオブジェクトごとに記憶し、データ管理用サーバ４５及びアプリケーションサーバ５，７へ有線等により送信する。また、クライアントコンピュータ４３は、周囲状況観測装置２から出力される映像データ及び音声データをデータ管理用サーバ４５へ有線等により送信する。

ロボット型観測装置３は、例えば、視覚、聴覚及び触覚を有するヒューマノイド型自律移動ロボット等から構成され、ロボット自身のＩＤ番号を赤外線の点滅により送信する。また、ロボット型観測装置３は、ロボット自身の視界内に位置する赤外線タグ９等から送信される対象物のＩＤ番号及び赤外線タグ９等の赤外線画像内のＸＹ座標を検出するとともに、赤外線タグ９を含む可視光画像を撮影し、検出したＩＤ番号及びＸＹ座標等の観測情報及び撮影した可視光画像データ等をクライアントコンピュータ４４へ出力する。また、ロボット型観測装置３は、ロボット自身の周辺に位置する説明員又は見学者の発話等を集音して音声データ等の観測情報をクライアントコンピュータ４４へ出力する。

クライアントコンピュータ４４は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるクライアントコンピュータから構成され、ロボット型観測装置３により取得された観測情報をその取得時間とともにオブジェクトごとに記憶するとともに、記憶している観測情報のうち取得時間が所定間隔以下の複数の観測情報を一つのクラスタ情報として抽出し、抽出したクラスタ情報をオブジェクトごとに記憶し、データ管理用サーバ４５及びアプリケーションサーバ５，７へ無線又は有線等により送信する。また、クライアントコンピュータ４４は、ロボット型観測装置３から出力される映像データ及び音声データをデータ管理用サーバ４５へ無線又は有線等により送信する。

なお、観測装置は上記の例に特に限定されず、例えば、視覚、聴覚、触覚及び体勢感覚等を有するぬいぐるみ型観測装置等を用い、ぬいぐるみ自身の視点から説明員及び見学者の状況等を撮影するようにしてもよい。また、観測装置として赤外線タグを用いているが、対象物を特定できれば、他の観測装置を用いてもよい。

データ管理用サーバ４５は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるサーバコンピュータから構成され、有線又は無線を介して各クライアントコンピュータ４２〜４４と通信可能に接続される。データ管理用サーバ４５は、各クライアントコンピュータ４２〜４４に記憶されているクラスタ情報を基に、予め定められた決定木に従ってオブジェクトの状態を推定し、推定したオブジェクトの状態を記憶するとともに、記憶しているオブジェクトの状態を基にオブジェクト間のイベントを抽出し、抽出したイベントを記憶する。また、データ管理用サーバ４５は、入力される各データのうち映像データ及び音声データをＡＶファイルサーバ８に蓄積させる。

ＡＶファイルサーバ８は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるサーバコンピュータから構成され、ＡＶファイルサーバ８は、映像データ及び音声データ等をデータベース化して記憶する。

アプリケーションサーバ５は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるサーバコンピュータから構成され、各クライアントコンピュータ４２〜４４に記憶されているクラスタ情報等を用いて各ブースの盛況情報や人間に関する情報等を人間用観測装置１に設けられたヘッドマウントディスプレイに表示して種々の情報を提示する。

アプリケーションサーバ６は、入力装置、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置及び表示装置等を備えるサーバコンピュータから構成され、データ管理用サーバ４５に記憶されているオブジェクトの状態及びイベント等に従い、ＡＶファイルサーバ８に記憶されている映像データ等を用いて見学者の体験履歴を表示するビデオサマリを作成して表示する。

アプリケーションサーバ７は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるサーバコンピュータから構成され、各クライアントコンピュータ４２〜４４に記憶されているクラスタ情報及びデータ管理用サーバ４５に記憶されているオブジェクトの状態等を用いて、ロボット型観測装置３が見学者等とのインタラクションを積極的に演出するようにロボット型観測装置３の動作を制御する。

図２は、図１に示す赤外線タグ９及び人間用観測装置１の構成を示すブロック図である。人間用観測装置１は、赤外線検出部１１、画像撮影部１２、赤外線タグ１３、マイク部１４、生体検出部１５及び情報提示部１６を備える。人間用観測装置１は、耳かけ式ネックバンド方式ヘッドセットとヘッドマウントディスプレイとが一体にされたヘッドセット一体型ヘッドマウントディスプレイとして構成され、説明員又は見学者の頭部に装着される。赤外線検出部１１及び画像撮影部１２は直方体形状の筺体に一体に内蔵され、赤外線タグ１３は筺体の側面に一体に固定され、マイク部１４はユーザの口元付近に配置され、生体検出部１５は、説明員又は見学者の指に装着され、情報提示部１６は、説明員又は見学者の眼前に配置され、クライアントコンピュータ４２は、説明員又は見学者に背負われて使用される。

赤外線タグ９は、ＬＥＤ９１及び駆動回路９２を備える。ＬＥＤ９１は、赤外線ＬＥＤ等から構成され、例えば、光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いることができ、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外ＬＥＤを好適に用いることができる。

駆動回路９２は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２２２３等を用いることができ、赤外線タグ９が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ９１を点滅制御する。なお、ＬＥＤ９１及び駆動回路９２は、内部電池（図示省略）から電源を供給されている。

具体的には、駆動回路９２は、マンチェスタ符号化方式によりエンコードしたＩＤ番号（６ｂｉｔ）及びパリティビットと、スタートビット（１ｂｉｔ）及びエンドビット（２ｂｉｔ）とを２００Ｈｚ周期の点滅により繰り返し送信する。例えば、ＩＤ番号６２の場合、ＩＤ：６２→“０１１００１０１０１０１０１１０１１１１”（ここで、スタートビット（０１）、ＩＤ番号６ビット、パリティビット(偶数１０、奇数０１)、エンドビット（１１１１））となる。

赤外線検出部１１は、赤外線フィルタ１１１、レンズ１１２、ＣＭＯＳイメージセンサ１１３及び画像処理装置１１４を備える。赤外線フィルタ１１１は、赤外線タグ９のＬＥＤ９１から発光される赤外線のうち主に近赤外線のみ透過させてレンズ１１２に近赤外線を導く。赤外線フィルタ１１１としては、例えば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックＩＲパスフィルタを用いることができる。

レンズ１１２は、赤外線フィルタ１１１を透過した近赤外線をＣＭＯＳイメージセンサ１１３上に結像させる。レンズ１１２の画角は９０度である。この場合、対面での会話状態等において比較的近距離で広範囲に位置する赤外線タグを容易に検出することができる。

ＣＭＯＳイメージセンサ１１３は、レンズ１１２により結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置１１４へ出力する。ＣＭＯＳイメージセンサ１１３としては、例えば、三菱電機社製人口網膜ＬＳＩ（Ｍ６４２８３ＦＰ）等を用いることができ、この場合の解像度は１２８×１２８ｐｉｘｅｌである。

画像処理装置１１４は、ＣＭＯＳイメージセンサ１１３の制御及びデータ処理を行い、ＣＭＯＳイメージセンサ１１３に撮影された近赤外線画像から赤外線タグ９を検出し、検出した赤外線タグ９の点滅状態からＩＤ番号を検出するとともに、赤外線画像上の赤外線タグ９のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータをＲＳ２３２Ｃ等のデータ伝送規格に従ってクライアントコンピュータ４２へ出力する。画像処理装置１１４としては、例えば、Ｃｙｇｎａｌ社製４９ＭＨｚ駆動マイコンＣ８０５１Ｆ１１４を用いることができる。

この場合、ＣＭＯＳイメージセンサ１１３を１１４２００Ｈｚのクロックで駆動させ、撮像(シャッター開放)後、１クロック毎に１ｐｉｘｅｌの明るさがアナログ値でシリアル出力される。このため、全画素撮影時の最短フレームレートは、（シャッタースピード）＋（１２８×１２８×クロックスピード）となるが、１２８×１２８ｐｉｘｅｌのうち８×８ｐｉｘｅｌを検出領域に設定して５００Ｈｚのシャッタースピードで撮像した場合、４００Ｈｚのフレームレートを実現することができ、読み出し速度を高速化することができる。このように、赤外線タグ９の点滅周期（２００Ｈｚ）の２倍のフレームレート（４００Ｈｚ）で読み込むため、単一ＬＥＤを用いて非同期通信を行うことができる。なお、画角９０度のレンズ１１２を使用したときに２ｍの距離で１ｐｉｘｅｌは、２．２ｃｍ×２．２ｃｍの範囲に相当する。

画像撮影部１２は、レンズ１２１及びＣＣＤカメラ１２２を備える。レンズ１２１は、説明員又は見学者の視線方向に位置する、赤外線タグ９が取り付けられた対象物を含む可視光像をＣＣＤカメラ１２２上に結像させる。ＣＣＤカメラ１２２は、可視光画像を撮影して映像データをクライアントコンピュータ４２へ出力する。レンズ１２１及びＣＣＤカメラ１２２としては、例えば、アナログビデオ出力を有するキーエンス社製小型ＣＣＤカメラ(水平画角４４度)を用いることができる。ここで、レンズ１２１の光軸は、赤外線検出部１１のレンズ１１２の光軸に合わせられており、説明員又は見学者の視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。

赤外線タグ１３は、ＬＥＤ１３１及び駆動回路１３２を備える。赤外線タグ１３は、人間用観測装置１に一体に構成され、人間用観測装置１を装着する説明員又は見学者のＩＤ番号を送信する点を除き、赤外線タグ９と同様のハードウエアから構成され、同様に動作する。

マイク部１４は、音声処理回路１４１及びスロートマイク１４２を備える。スロートマイク１４２は、説明員又は見学者の発話を検出して音声処理回路１４１へ出力し、音声処理回路１４１は録音された音声データをクライアントコンピュータ４２へ出力する。

生体検出部１５は、生体データ処理回路１５１及び生体センサ１５２を備え、例えば、人間の脈拍、手の表面の伝導性(発汗)、温度の３個のセンサを備える生体データ記録用モジュール（Ｐｒｏｃｏｍｐ＋）等から構成される。生体センサ１５２は、説明員又は見学者の脈拍、発汗状態及び体温を検出し、生体データ処理回路１５１は、検出された各データの平均値を数秒ごとに計算し、リアルタイムに生体データをＡＤ変換してクライアントコンピュータ４２へ送信する。

情報提示部１６は、ヘッドマウントディスプレイ１６１等から構成され、ヘッドマウントディスプレイ１６１は、アプリケーションサーバ５から無線等により送信された各ブースの盛況情報や人間に関する情報等を表示し、説明員又は見学者に当該情報を提示する。

上記の赤外線検出部１１等の各センサ類には、１オブジェクトが装着する単位すなわち人間用観測装置１を装着する人間ごとにまとめて一意のセンサＩＤ番号が付与され、センサＩＤ番号及び赤外線タグ１３のＩＤ番号は、人間用観測装置１を装着するオブジェクトを特定するための一意のオブジェクトＩＤ番号と関連付けられ、オブジェクトＩＤ番号に対してオブジェクトの型が指定される。

したがって、人間用観測装置１が各観測情報とともにオブジェクトＩＤ番号をクライアントコンピュータ４２へ出力し、クライアントコンピュータ４２がクラスタ情報等とともにオブジェクトＩＤ番号をデータ管理用サーバ４５等へ出力することにより、データ管理用サーバ４５等の各装置においてクラスタ情報等がどのオブジェクトのものであるか及びオブジェクトの型を特定できるようにしている。周囲状況観測装置２及びロボット型観測装置３も、この点に関して同様である。

図３は、図１に示す周囲状況観測装置２の構成を示すブロック図である。図３に示す周囲状況観測装置２は、固定検出部２１、画像撮影部２２及びマイク部２３を備える。固定検出部２１は、赤外線フィルタ２１１、レンズ２１２、ＣＭＯＳイメージセンサ２１３及び画像処理装置２１４を備える。画像撮影部２２は、レンズ２２１及びＣＣＤカメラ２２２を備える。マイク部２３は、音声処理回路２３１及びマイクロホン２３２を備える。固定検出部２１、画像撮影部２２及びマイク部２３は、上記の赤外線検出部１１、画像撮影部１２及びマイク部１４と同様に構成され、同様に動作する。但し、周囲状況観測装置２のレンズ２１２の画角は６０度であり、人間用観測装置１のレンズ１１２の画角より狭く設定され、マイクロホン２３２には無指向性のマイクロホンを用いている。

この場合、ＣＭＯＳイメージセンサ２１３のピクセル当りの集光率が高くなり、遠距離に位置する赤外線タグ９，１３を容易に発見することができる。また、説明員又は見学者の頭部に装着された人間用観測装置１だけでなく、説明員及び見学者が位置する空間を構成する構造物に固定された周囲状況観測装置２により、説明員、見学者並びに説明員及び見学者の視線方向の対象物を検出することができるので、異なる視点から説明員及び見学者の周囲の状況を観測することができる。なお、ロボット型観測装置３も、図３に示す周囲状況観測装置２と同様に構成され、同様に動作する。

次に、人間用観測装置１の赤外線タグ検出処理について説明する。この赤外線タグ検出処理は、画像処理装置１１４が予め記憶されている検出処理プログラムを実行することにより行われる処理であり、周囲状況観測装置２及びロボット型観測装置３でも同様の処理が行われる。

まず、画像処理装置１１４は、ＣＭＯＳイメージセンサ１１３等を初期化し、全画面（１２８×１２８ｐｉｘｅｌ）の赤外線画像を撮影する。次に、画像処理装置１１４は、赤外線画像の中から所定サイズの光点、例えば１ｐｉｘｅｌの光点を赤外線タグ９（ＬＥＤ９１）として抽出し、所定サイズより大きな光点を排除する。このように、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により赤外線タグ９を検出することができるので、画像処理装置１１４による赤外線タグ検出処理を高速化することができる。

次に、画像処理装置１１４は、抽出した光点を中心とする８×８ｐｉｘｅｌの領域を検出領域として決定し、ＣＭＯＳイメージセンサ１１３により検出領域を既定回数、例えば、（（送信ビット数＋スタートビット数＋エンドビット数）×２×２）回読み込み、読み込んだ赤外線画像から赤外線タグ９の点滅状態を検出してＩＤ番号を検出するとともに、パリティチェックを行い、読み込みデータの判定処理を行う。

このように、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて赤外線タグ９の点滅状態を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、画像処理装置１１４による赤外線タグ検出処理を高速化することができる。この赤外線タグ検出処理の高速化により、人の動きに充分に追従することができ、動き予測等の演算コストの高い処理を省略することができる。ここで、パリティチェックが正しければ、画像処理装置１１４は、赤外線タグ９のＩＤ番号及びＸＹ座標を出力し、パリティチェックが正しくなければ、検出領域の読み込みを再度行い、上記の赤外線検出処理を検出されたすべての光点に対して行う。

このようにして、赤外線タグ９が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号をＬＥＤ９１の点滅により送信し、説明員又は見学者に装着された人間用観測装置１により、説明員又は見学者の視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて赤外線タグ９のＩＤ番号が検出されるので、説明員又は見学者の視線方向に位置する対象物を識別することができる。

図４は、図１に示すクライアントコンピュータ４２の構成を示すブロック図である。なお、他のクライアントコンピュータ４３，４４も、図４に示すクライアントコンピュータ４２と同様に構成され、同様に動作するので、詳細な説明は省略する。

図４に示すクライアントコンピュータ４２は、通信部４１１、データ管理部４１２、ローデータ記憶部４１３、クラスタ処理部４１４及びクラスタ記憶部４１５を備える。通信部４１１は、無線及び有線の通信インターフェースボード等から構成され、ローデータ記憶部４１３及びクラスタ記憶部４１５は、ハードディスクドライブ等の外部記憶装置等から構成され、データ管理部４１２及びクラスタ処理部４１４は、ＣＰＵが後述する情報管理プログラムを実行することにより実現される。

通信部４１１は、人間用観測装置１の画像処理装置１１４、ＣＣＤカメラ１２２及び音声処理回路１４１、アプリケーションサーバ５並びにデータ管理用サーバ４５との間のデータ通信を制御する。通信部４１１は、画像処理装置１１４から出力されるＩＤ番号及びＸＹ座標及び音声処理回路１４１から出力される音声データを観測情報としてデータ管理部４１２へ出力し、ＣＣＤカメラ１２２から出力される映像データ及び音声処理回路１４１から出力される音声データをデータ管理用サーバ４５へ出力する。

データ管理部４１２は、観測情報の一例である視覚情報として、通信部４１１から出力されるＩＤ番号及びＸＹ座標を取得時間とともにローデータ記憶部４１３のトラッカーテーブルに記憶させる。また、データ管理部４１２は、観測情報の一例である聴覚情報として、通信部４１１から出力される音声データから発話の開始時間及び終了時間を特定し、特定した発話の開始時間及び終了時間をローデータ記憶部４１３のボイステーブルに記憶させる。なお、ローデータ記憶部４１３に記憶される観測情報（生データ）は上記の例に特に限定されず、生体検出部１５で検出された生体データ等を同様に記憶してもよい。

図５は、図４に示すローデータ記憶部４１３のトラッカーテーブルのデータ構造を示す図である。ローデータ記憶部４１３では、図５に示すフィールド構成及びデータタイプのトラッカーテーブルが作成され、「ｔｉｍｅ」に取得時間が、「ｘ」にオブジェクトのＸ座標値が、「ｙ」にオブジェクトのＹ座標値が、「ｔａｇｎａｍｅ」にオブジェクトのＩＤ番号がそれぞれ記憶される。これらのデータにより、ＩＤ番号がｔａｇｎａｍｅである赤外線タグが時間ｔｉｍｅに座標（ｘ，ｙ）において捕らえられたことがわかる。

図６は、図４に示すローデータ記憶部４１３のボイステーブルのデータ構造を示す図である。ローデータ記憶部４１３では、図６に示すフィールド構成及びデータタイプのボイステーブルが作成され、「ｔｉｍｅ」に会話の開始時間又は終了時間が記憶され、開始時間が記憶された場合は「ｓｔａｔｕｓ」に「ＴＵＲＮ＿ＯＮ」が設定され、終了時間が記憶された場合は「ｓｔａｔｕｓ」に「ＴＵＲＮ＿ＯＦＦ」が設定される。これらのデータにより、会話の開始時間及び終了時間がわかる。

クラスタ処理部４１４は、ローデータ記憶部４１３のトラッカーテーブル及びボイステーブルから視覚情報及び聴覚情報の取得時間を読み出し、オブジェクトごとに取得間隔が予め設定されている最大間隔以下の視覚情報及び聴覚情報をクラスタリングして視覚クラスタ情報及び聴覚クラスタ情報を作成し、作成した視覚クラスタ情報及び聴覚クラスタ情報をクラスタ記憶部４１５のルックテーブル及びトークテーブルに記憶させる。

図７は、図４に示すクラスタ記憶部４１５のルックテーブルのデータ構造を示す図である。クラスタ記憶部４１５では、図７に示すフィールド構成及びデータタイプのルックテーブルが作成され、「ｓｔａｒｔ」に視覚クラスタ情報を構成する複数の視覚情報のうち最初の視覚情報の取得時間が、「ｅｎｄ」に最後の視覚情報の取得時間が、「ｉｄ」にオブジェクトのＩＤ番号がそれぞれ記憶される。これらのデータにより、いつから（ｓｔａｒｔ）いつまで（ｅｎｄ）何（ｉｄ）を捕らえていたかがわかる。

また、ルックテーブルには、アプリケーションサーバ５等の要求を満たすために視覚クラスタ情報の抽出終了を表す終了情報の格納領域が設けられ、「ｆｉｎａｌｉｚｅ」に“１”（真）又は“０”（偽）の終了情報が格納される。すなわち、クラスタ処理部４１４は、人間用観測装置１が赤外線タグを捕らえ始めたとき、その時間を「ｓｔａｒｔ」に格納するとともに、赤外線タグのＩＤ番号を「ｉｄ」に格納し、その区間が続いている間は、「ｆｉｎａｌｉｚｅ」を“０”（偽）に設定する。その後、クラスタ処理部４１４は、現在の時間と人間用観測装置１から視覚情報が得られた時間との差が最大間隔以上になった場合、その区間が終了したものと判断して「ｆｉｎａｌｉｚｅ」を“１”（真）に設定し、その時間を「ｅｎｄ」に格納する。したがって、アプリケーションサーバ５等では、「ｆｉｎａｌｉｚｅ」の値が“０”（偽）である間は、人間用観測装置１が赤外線タグを捕らえていると判断することができる。

図８は、図４に示すクラスタ記憶部４１５のトークテーブルのデータ構造を示す図である。クラスタ記憶部４１５では、図８に示すフィールド構成及びデータタイプのトークテーブルが作成され、「ｓｔａｒｔ」に聴覚クラスタ情報を構成する複数の聴覚情報のうち最初の聴覚情報の開始時間が、「ｅｎｄ」に最後の聴覚情報の終了時間がそれぞれ記憶され、上記と同様に、「ｆｉｎａｌｉｚｅ」に聴覚クラスタ情報の抽出終了を表す終了情報として“１”（真）又は“０”（偽）が格納される。すなわち、クラスタ処理部４１４は、ボイステーブルの「ｓｔａｔｕｓ」に“ＴＵＲＮ＿ＯＮ”が格納されると、その時間を「ｓｔａｒｔ」に格納するとともに、その区間が続いている間は、「ｆｉｎａｌｉｚｅ」を“０”（偽）に設定する。その後、ボイステーブルの「ｓｔａｔｕｓ」に“ＴＵＲＮ＿ＯＦＦ”が格納されると、クラスタ処理部４１４は、その区間が終了したものと判断して「ｆｉｎａｌｉｚｅ」を“１”（真）に設定し、その時間を「ｅｎｄ」に格納する。したがって、アプリケーションサーバ５等では、「ｆｉｎａｌｉｚｅ」の値が“０”（偽）である間は、発話が行われていると判断することができる。

本実施の形態では、人間用観測装置１の視覚情報の最小取得間隔は１００ｍｓｅｃ、聴覚情報の最小取得間隔は３ｓｅｃであるため、上記のクラスタリングに使用される最大間隔として２０秒を用いているが、この例に特に限定されず、他の時間間隔を用いたり、視覚情報と聴覚情報とで異なる最大間隔を用いる等の種々の変更が可能である。

なお、クラスタ記憶部４１５では、ローデータ記憶部４１３と同様に人間用観測装置１等が観測情報を取得すると即座にデータ更新が行われるが、ルックテーブルのクラスタリングが終了するのは実際の時間より最大間隔だけ後になるため、「ｆｉｎａｌｉｚｅ」が真に設定されるまでには最大間隔だけの遅延が生じる。

また、データ管理部４１２は、ローデータ記憶部４１３及びクラスタ記憶部４１５に記憶されている観測情報及びクラスタ情報を読み出し、通信部４１１を用いてアプリケーションサーバ５及びデータ管理用サーバ４５へ出力する。

図９は、図１に示すデータ管理用サーバ４５の構成を示すブロック図である。図９に示すデータ管理用サーバ４５は、通信部４５１、データ管理部４５２、インタラクション処理部４５３、インタラクション記憶部４５４、イベント処理部４５５及びイベント記憶部４５６を備える。通信部４５１は、無線及び有線の通信インターフェースボード等から構成され、インタラクション記憶部４５４及びイベント記憶部４５６は、ハードディスクドライブ等の外部記憶装置等から構成され、データ管理部４５２、インタラクション処理部４５３及びイベント処理部４５５は、ＣＰＵが後述する情報管理プログラムを実行することにより実現される。

通信部４５１は、クライアントコンピュータ４２〜４４、アプリケーションサーバ６，７及びＡＶファイルサーバ８との間のデータ通信を制御する。通信部４５１は、クライアントコンピュータ４２〜４４から出力されるクラスタ情報をデータ管理部４５２へ出力し、クライアントコンピュータ４２〜４４から出力される映像データ及び音声データをＡＶファイルサーバ８へ出力する。

データ管理部４５２は、通信部４５１から出力されるクラスタ情報をインタラクション処理部４５３へ出力する。インタラクション処理部４５３は、クラスタ情報を基に決定木に従ってオブジェクトの状態を推定し、推定したオブジェクトの状態をインタラクション情報としてインタラクション記憶部４５４に記憶させる。ここで、各クラスタ情報は、オブジェクトが他の一つのオブジェクトを捕らえていることを示すものであり、インタラクション処理部４５３は、オブジェクトの型を考慮した決定木を用いて２つのオブジェクト間のインタラクションを推定し、推定した２つのオブジェクト間のインタラクションをオブジェクトの状態としてインタラクション記憶部４５４のステータステーブルに格納する。

図１０は、図９に示すインタラクション記憶部４５４のステータステーブルのデータ構造を示す図である。インタラクション記憶部４５４では、図１０に示すフィールド構成及びデータタイプのステータステーブルがオブジェクトごとに作成され、「ｓｔａｔｕｓ」に２つのオブジェクト間のインタラクションが、「ｓｔａｒｔ」にその開始時間が、「ｅｎｄ」にその終了時間が、「ｉｄ」にインタラクションの対象となるオブジェクトのＩＤ番号がそれぞれ記憶される。これらのデータにより、いつから（ｓｔａｒｔ）いつまで（ｅｎｄ）何（ｉｄ）に対してとのような状態（ｓｔａｔｕｓ）であったかがわかる。

また、インタラクション処理部４５３は、クラスタ記憶部４１５に記憶されているクラスタ情報のうち最小継続時間以上継続しているクラスタ情報のみを用いて２つのオブジェクト間のインタラクションを推定する。図１１は、クラスタ情報のうち最小継続時間以上継続しているクラスタ情報のみを抽出する処理を模式的に説明する図である。

図１１の（ａ）に示すように、観測情報ＲＤが図示の時間間隔で得られた場合、クラスタ処理部４１４では、最大間隔Ｔ１以下の観測情報をクラスタリングするため、クラスタ記憶部４１５には６個のクラスタ情報Ｃ１〜Ｃ６が記憶される。このとき、図１１の（ｂ）に示すように、インタラクション処理部４５３は、クラスタ情報Ｃ１〜Ｃ６のうち最小継続時間Ｔ２以上継続している２個のクラスタ情報Ｃ１,Ｃ４のみを抽出し、２個のクラスタ情報Ｃ１,Ｃ４のみを用いて２つのオブジェクト間のインタラクションを推定する。したがって、「ｆｉｎａｌｉｚｅ」が真となったクラスタ情報のうち、最小継続時間より短いクラスタ情報を意味のないものとして排除することができる。

図１２は、図９に示すインタラクション処理部４５３において用いられる決定木の一例を示す図である。図１２に示すように、インタラクション処理部４５３は、クラスタ情報を有するオブジェクトの型すなわち自分の型が「ＨＵＭＡＮ」、「ＵＢＩＱ」及び「ＲＯＢＯＴ」のいずれであるかをオブジェクトのＩＤ番号により判断する。

自分の型が「ＵＢＩＱ」の場合、インタラクション処理部４５３は、クラスタ情報により特定されるインタラクションの対象となるオブジェクトすなわち相手の型が「ＨＵＭＡＮ」及び「ＲＯＢＯＴ」のいずれであるかを視覚クラスタ情報の「ｉｄ」により判断する。インタラクション処理部４５３は、相手の型が「ＨＵＭＡＮ」の場合、自分の「ｓｔａｔｕｓ」に自分が相手を捕らえていることを表す「ＣＡＰＴＵＲＥ」を格納するとともに、相手の「ｓｔａｔｕｓ」に相手から自分が捕らえられていることを表す「ＣＡＰＴＵＲＥＤ」を格納する。相手の型が「ＲＯＢＯＴ」の場合も同様である。

自分の型が「ＨＵＭＡＮ」の場合、インタラクション処理部４５３は、相手の型が「ＨＵＭＡＮ」、「ＵＢＩＱ」及び「ＲＯＢＯＴ」のいずれであるかを判断する。相手の型が「ＵＢＩＱ」の場合、インタラクション処理部４５３は、自分の「ｓｔａｔｕｓ」に自分が相手を見ていることを表す「ＬＯＯＫ ＡＴ」を格納するとともに、相手の「ｓｔａｔｕｓ」に相手から自分が見られていることを表す「ＬＯＯＫＥＤ ＡＴ」を格納する。

相手の型が「ＨＵＭＡＮ」の場合、インタラクション処理部４５３は、お互いを捕らえているか否かを判断する。お互いを捕らえている場合、インタラクション処理部４５３は、自分が発話しているか否かを判断し、発話している場合は自分の「ｓｔａｔｕｓ」に自分が相手に話し掛けていることを表す「ＴＡＬＫ ＷＩＴＨ」を格納し、発話していない場合は自分の「ｓｔａｔｕｓ」にお互いを捕らえていることを表す「ＬＯＯＫ ＴＯＧＥＴＨＥＲ」を格納する。ここで、相手の状態を判断していないのは、相手の決定木でも自らの状態の判定が行われるため、ここでの書き込みが不要だからである。他の判断も、上記と同様にして行われる。

なお、インタラクション記憶部４５４では、クラスタ記憶部４１５に対して「ｆｉｎａｌｉｚｅ」が真となると即座にデータ更新が行われ、データ更新は実際の時間より最大間隔だけ遅延が生じる。

イベント処理部４５５は、インタラクション記憶部４５４に記憶されているオブジェクトの状態を基にオブジェクト間のイベントを抽出し、抽出したイベントをイベント記憶部４５６に記憶させる。すなわち、イベント処理部４５５は、複数オブジェクトの状態に関して時間及び空間の重なりを調べ、予め決定した所定の規則を用いてそれらの区間に意味を与えることで３つ以上のオブジェクト間のインタラクションをイベントとして抽出し、イベント記憶部４５６のイベントネームテーブル及びイベントテーブルに格納する。

図１３は、図９に示すイベント記憶部４５６のイベントネームテーブルのデータ構造を示す図である。イベント記憶部４５６では、図１３に示すフィールド構成及びデータタイプのイベントネームテーブルが作成される。イベントネームテーブルは、発生したイベントの一覧であり、一つのみ作成される。各イベントには一意のイベントＩＤ番号が割り付けられ、イベントＩＤ番号が「ｅｖｅｎｔｉｄ」に、イベントの名前が「ｎａｍｅ」に、その時間帯の開示時間が「ｓｔａｒｔ」に、終了時間が「ｅｎｄ」にそれぞれ格納される。

図１４は、図９に示すイベント記憶部４５６のイベントテーブルのデータ構造を示す図である。イベント記憶部４５６では、図１４に示すフィールド構成及びデータタイプのイベントテーブルがオブジェクトごとに作成され、オブジェクトが参加したイベントのイベントＩＤ番号が「ｅｖｅｎｔｉｄ」に、イベントの開示時間が「ｓｔａｒｔ」に、終了時間が「ｅｎｄ」にそれぞれ格納される。これらのデータにより、オブジェクトがどのイベント（ｅｖｅｎｔｉｄ）にいつから（ｓｔａｒｔ）いつまで（ｅｎｄ）参加したかがわかる。また、上記のようにイベントネームテーブル及びイベントテーブルの二つのテーブルを用いることにより、イベントに参加するオブジェクトの数が変化する場合に対処することができる。

図１５は、図９に示すイベント処理部４５５において抽出されるイベントの例を示す模式図である。図１５の（ａ）はイベント「ＴＯＧＥＴＨＥＲ ＷＩＴＨ」を、（ｂ）はイベント「ＬＯＯＫ ＳＡＭＥ ＯＢＪＥＣＴ」、「ＴＡＬＫ ＡＢＯＵＴ」を、（ｃ）はイベント「ＣＯ−ＬＯＯＫ」を、（ｄ）はイベント「ＧＲＯＵＰ ＤＩＳＣＵＳＳＩＯＮ」をそれぞれ示している。

まず、周囲状況観測装置２が複数の人間Ａ，Ｂを捕らえている場合、人間が同じ場所に共存していることがわかるため、イベント処理部４５５は、このイベントをイベント「ＴＯＧＥＴＨＥＲ ＷＩＴＨ」と判断する。この場合、ある時点で近くにいた人物がわかる。

上記の状態で、一緒にいた人間Ａ，Ｂがそれぞれその区間内において周囲状況観測装置２が取り付けられた展示物の赤外線タグ９を見ていた場合、イベント処理部４５５は、発話していないときは、一緒に展示物を見ていることを表すイベント「ＬＯＯＫ ＳＡＭＥ ＯＢＪＥＣＴ」であると判断し、発話しているときは、その展示物についての話をしていることを表すイベント「ＴＡＬＫ ＡＢＯＵＴ」であると判断する。これは、人間は会話をするときにお互いを見ているとは限らず、この場合のように展示物を見ながらそれについて話すことが多いからである。

また、一緒にいた人間Ａ，Ｂがそれぞれその区間内において周囲状況観測装置２が取り付けられた展示物の赤外線タグ９を見ているが、周囲状況観測装置２が人間Ａ，Ｂを捕らえていない場合、イベント処理部４５５は、一緒に見ていることを単に表すイベント「ＣＯ−ＬＯＯＫ」であると判断する。

さらに、人間がある期間内に話している他の人間を特定することにより、イベント処理部４５５は、複数の人間が会話を行っていることを表すイベント「ＧＲＯＵＰ ＤＩＳＣＵＳＳＩＯＮ」を抽出する。

ここで、イベント処理部４５５がイベント「ＧＲＯＵＰ ＤＩＳＣＵＳＳＩＯＮ」を抽出する処理について詳細に説明する。図１６は、図９に示すインタラクション記憶部４５４のステータステーブルの一例を示す図である。図１６に示す例は、５つのオブジェクト１〜５があり、オブジェクト１〜４の型が「ＨＵＭＡＮ」、オブジェクト５の型が「ＵＢＩＱ」であり、図１６の（ａ）はオブジェクト１のステータステーブル、（ｂ）はオブジェクト２のステータステーブル、（ｃ）はオブジェクト３のステータステーブル、（ｄ）はオブジェクト４のステータステーブルをそれぞれ示している。

まず、イベント処理部４５５は、イベントの時間「ｓｔａｒｔ」、「ｅｎｄ」及びイベントの参加者リスト「ｌｉｓｔ」を用意し、「ｌｉｓｔ」を初期化する。次に、イベント処理部４５５は、インタラクション記憶部４５４のオブジェクト１のステータステーブル（図１６の（ａ））を調べ、オブジェクト２と話したというデータを見つける。その継続時間（この場合、４５０−２４０＝２１０（ｓｅｃ））が所定時間より充分長ければ、「ｓｔａｒｔ」及び「ｅｎｄ」に２４０，４５０を設定し、「ｌｉｓｔ」にオブジェクト１，２を追加する。さらに、イベント処理部４５５は、前後のデータを参照して同じ人間と話したデータを検索する。ここでは、７００〜７８０（ｓｅｃ）までオブジェクト２と話したというデータが存在するため、イベント処理部４５５は、このデータとイベントとの間隔（この場合、７００−４５０＝２５０（ｓｅｃ））が所定間隔より小さければ同じイベントとみなし、「ｓｔａｒｔ」及び「ｅｎｄ」を更新し、「ｓｔａｒｔ」及び「ｅｎｄ」は２４０，７８０となる。

さらに、この区間に他の人間と話したデータがあれば、イベント処理部４５５は、「ｓｔａｒｔ」から「ｅｎｄ」までの時間の重なりを調べ、これが所定時間より充分に大きければ、このオブジェクトもイベントの参加者であるとみなして「ｌｉｓｔ」に追加し、「ｓｔａｒｔ」及び「ｅｎｄ」を更新する。この結果、「ｓｔａｒｔ」＝２４０、「ｅｎｄ」＝７８０、「ｌｉｓｔ」＝〔１，２，３〕となる。

次に、イベント処理部４５５は、オブジェクト１が見ていた人間（オブジェクト２，３）のステータステーブル（図１６の（ｂ）、（ｃ））を調べる。まず、イベント処理部４５５は、オブジェクト２のステータステーブルを参照して「ｓｔａｒｔ」から「ｅｎｄ」までの区間に近いデータのうち「ｓｔａｔｕｓ」が「ＴＡＬＫ ＴＯ」であるデータを取り出し、その継続時間が所定時間より充分長ければ、「ｓｔａｒｔ」及び「ｅｎｄ」を更新し、そのデータのオブジェクトが「ｌｉｓｔ」に含まれていない場合は追加する。ここでは、「ｓｔａｒｔ」及び「ｅｎｄ」が更新され、「ｓｔａｒｔ」及び「ｅｎｄ」は１２０，７８０となり、「ｌｉｓｔ」は変更されない。

上記と同様に、オブジェクト３のステータステーブルが処理され、オブジェクト４が追加され、「ｌｉｓｔ」＝〔１，２，３，４〕となる。次に、オブジェクト４のステータステーブルが調べられ、この場合、更新されるデータがないため、処理が終了される。

上記の処理が終了した後、イベント処理部４５５は、「ｌｉｓｔ」の大きさが３以上になった場合（３人以上の人間が会話を行っている場合）、イベント「ＧＲＯＵＰ ＤＩＳＣＵＳＳＩＯＮ」を発生させる。この結果、「ｓｔａｒｔ」＝１２０から「ｅｎｄ」＝７８０までの区間においてオブジェクト１〜４がイベント「ＧＲＯＵＰ ＤＩＳＣＵＳＳＩＯＮ」に参加したことがわかる。

他のイベントに関しても、上記と同様に処理が行われ、例えば、イベント「ＴＯＧＥＴＨＥＲ ＷＩＴＨ」については、人間であるオブジェクトのステータステーブルのうち「ｓｔａｔｕｓ」が「ＣＡＰＴＵＲＥＤ」であるデータを検索してその近くにあるデータを統合し、その人間を捕らえた周囲状況観測装置２のステータステーブルを調べて同じ区間内に重複して捕らえられた人間が複数いれば、イベント「ＴＯＧＥＴＨＥＲ ＷＩＴＨ」を発生させる。

なお、イベント処理部４５５が抽出するイベントは、上記の例に特に限定されず、他のイベントを抽出するようにしてもよい。また、イベント記憶部４５６では、インタラクション情報がインタラクション記憶部４５４にある程度蓄積されなければ、イベントを抽出できないため、ある程度の時間の遅延が生じる。

また、データ管理部４５２は、インタラクション記憶部４５４及びイベント記憶部４５６に記憶されているインタラクション情報及びイベント情報を読み出し、通信部４５１を用いてアプリケーションサーバ６，７へ出力する。

図１７は、図１に示す情報管理装置４において構築されるデータベースの階層構造を示す模式図である。上記の構成により、情報管理装置４において、観測情報を記憶するローデータ層が各クライアントコンピュータ４２〜４４のローデータ記憶部４１３から構成され、観測情報より抽象度の高いクラスタ情報を記憶するクラスタ層がクラスタ記憶部４１５から構成され、クラスタ情報より抽象度の高いインタラクション情報を記憶するインタラクション層がデータ管理用サーバ４５のインタラクション記憶部４５４から構成され、インタラクション情報より抽象度の高いイベント情報を記憶するイベント層がイベント記憶部４５６から構成される。このように、情報管理部４では、記憶される情報の抽象度に応じて各情報が階層的に管理される。

本実施の形態では、人間用観測装置１、周囲状況観測装置２及びロボット型観測装置３が観測手段及び対象物検出手段の一例に相当し、人間用観測装置１が発話検出手段の一例に相当し、ローデータ記憶部４１３が第１の記憶手段の一例に相当し、データ管理部４１２が第１の管理手段の一例に相当し、クラスタデータ記憶部４１５が第２の記憶手段の一例に相当し、データ管理部４１２及びクラスタ処理部４１４が第２の管理手段の一例に相当し、インタラクション記憶部４５４が第３の記憶手段の一例に相当し、データ管理部４５２及びインタラクション処理部４５３が第３の管理手段の一例に相当し、イベント記憶部４５６が第４の記憶手段の一例に相当し、データ管理部４５２及びイベント処理部４５５が第４の管理手段の一例に相当する。

次に、上記のように構成された情報管理システムの情報管理装置４による情報管理処理について説明する。図１８は、図１に示す情報管理装置４の情報管理処理を説明するためのフローチャートである。なお、図１８に示す情報管理処理は、クライアントコンピュータ４２〜４４及びデータ管理用サーバ４５が予め記憶されている情報管理プログラムを実行することにより行われる処理である。

まず、ステップＳ１１において、クライアントコンピュータ４２〜４４のデータ管理部４１２は、観測情報として、画像処理装置１１４から出力されるＩＤ番号及びＸＹ座標及び音声処理回路１４１から出力される音声データを、通信部４１１を介して取得する。

次に、ステップＳ１２において、データ管理部４１２は、観測情報として、ＩＤ番号及びＸＹ座標を取得時間とともにローデータ記憶部４１３のトラッカーテーブルに記憶させ、音声データから発話の開始時間及び終了時間を特定し、特定した発話の開始時間及び終了時間をローデータ記憶部４１３のボイステーブルに記憶させる。

次に、ステップＳ１３において、クラスタ処理部４１４は、ローデータ記憶部４１３のトラッカーテーブル等から取得時間を読み出し、オブジェクトごとに取得間隔が最大間隔以下の観測情報をクラスタリングしてクラスタ情報を作成し、作成したクラスタ情報をクラスタ記憶部４１５のルックテーブル及びトークテーブルに記憶させる。

次に、ステップＳ１４において、クラスタ処理部４１４は、クラスタ区間が確定したか否かすなわち現在の時間と人間用観測装置１等から視覚情報が得られた時間との差が最大間隔以上になったか否かを判断し、クラスタ区間が確定していない場合はステップＳ１１以降の処理を繰り返し、クラスタ区間が確定した場合はステップＳ１５へ処理を移行する。

クラスタ区間が確定した場、ステップＳ１５において、クラスタ処理部４１４は、ルックテーブルの「ｆｉｎａｌｉｚｅ」を“１”（真）に設定し、その時間を「ｅｎｄ」に格納してクラスタ情報をファイナライズする。

次に、ステップＳ１６において、データ管理用サーバ４５のデータ管理部４５２は、通信部４５１及び通信部４１１を介してデータ管理部４１２に対してクラスタ記憶部４１５のクラスタ情報を送信するように要求し、送信されたクラスタ情報をインタラクション処理部４５３へ出力する。インタラクション処理部４５３は、図１２に示す決定木に従ってクラスタ情報から２つのオブジェクト間のインタラクションを推定する。

次に、ステップＳ１７において、インタラクション処理部４５３は、推定した２つのオブジェクト間のインタラクションをインタラクション情報としてインタラクション記憶部４５４のステータステーブルに記憶する。

次に、ステップＳ１８において、イベント処理部４５５は、インタラクション記憶部４５４に記憶されている２つのオブジェクト間のインタラクションに関して時間及び空間の重なりを調べてイベントを順次抽出し、抽出したイベントが確定したか否かすなわちイベントとして予め設定されている抽出条件を満たすか否かを判断し、イベントが確定していない場合はステップＳ１１以降の処理を繰り返し、イベントが確定した場合はステップＳ１９へ処理を移行する。

イベントが確定した場合、ステップＳ１９において、イベント処理部４５５は、確定したイベントをイベント記憶部４５６のイベントネームテーブル及びイベントテーブルに記憶し、その後、ステップＳ１１以降の処理を継続する。

上記の処理により、情報の抽象度に応じて各情報が階層的に記憶されるので、アプリケーションの特徴に応じてアクセスする階層を選択することができ、即時性の高い情報を用いるアプリケーションに対して下位の記憶手段から即時性の高い情報を提供することができるとともに、抽象性の高い情報を用いるアプリケーションに対して上位の記憶手段から抽象性の高い情報を提供することができ、種々のアプリケーションに対して適切な情報を適切なタイミングで提供することができる。

例えば、アプリケーションサーバ５は、各クライアントコンピュータ４２〜４４のクラスタ記憶部４１５にアクセスしてクラスタ情報を読み出し、「ｆｉｎａｌｉｚｅ」が“０”（偽）のデータを有する人間のヘッドマウントディスプレイ１６１に各ブースの盛況情報や人に関する情報等を時間的な遅延なしに表示して提示することができる。

また、アプリケーションサーバ６は、データ管理用サーバ４５のイベント記憶部４５６にアクセスしてイベント情報を読み出し、このイベント情報を用いてＡＶファイルサーバ８に記憶されている映像データ等にインデキシングを行うとともに、インタラクション記憶部４５４にアクセスしてインタラクション情報を参照して各見学者のビデオサマリを作成することができ、抽象度の高いインデキシングを行うことができる。このビデオサマリは、例えば、ある見学者のために集められた各イベントのサムネイル画像を時間順に並べて表示し、各サムネイル画像をクリックすると対応するイベントのビデオクリップが表示されるものである。

さらに、アプリケーションサーバ７は、各クライアントコンピュータ４２〜４４のクラスタ記憶部４１５にアクセスしてクラスタ情報を読み出し、「ｆｉｎａｌｉｚｅ」が“０”（偽）のデータを有する人間を時間的な遅延なしに抽出するとともに、データ管理用サーバ４５のインタラクション記憶部４５４にアクセスして、抽出した人間のインタラクション情報を読み出してこれまでの行動履歴を取得し、この行動履歴等に基づいてロボット型観測装置３が人間とのインタラクションを積極的に演出するようにロボット型観測装置３の動作を制御することができる。

また、本実施の形態では、ローデータ記憶部４１３及びクラスタ記憶部４１５を各クライアントコンピュータ４２〜４４に実装して観測情報及びクラスタ情報に関する処理を各クライアントコンピュータ４２〜４４で実行し、インタラクション記憶部４５４及びイベント記憶部４５６をデータ管理用サーバ４５に実装してインタラクション情報及びイベント情報に関する処理をデータ管理用サーバ４５で実行しているので、データ管理用サーバ４５の負荷を軽減することができるとともに、情報管理装置４へのアクセスに伴うネットワークのトラフィック量を低減することができる。

なお、上記の説明では、観測情報及びクラスタ情報に関する処理とインタラクション情報及びイベント情報に関する処理とを分散して実行しているが、この例に特に限定されず、一つのコンピュータで全ての処理を実行したり、各情報ごとに異なるコンピュータで実行する等の種々の変更が可能である。

本発明の一実施の形態による情報管理装置を用いた情報管理システムの構成を示すブロック図である。 図１に示す赤外線タグ及び人間用観測装置の構成を示すブロック図である。 図１に示す周囲状況観測装置の構成を示すブロック図である。 図１に示すクライアントコンピュータの構成を示すブロック図である。 図４に示すローデータ記憶部のトラッカーテーブルのデータ構造を示す図である。 図４に示すローデータ記憶部のボイステーブルのデータ構造を示す図である。 図４に示すクラスタ記憶部のルックテーブルのデータ構造を示す図である。 図４に示すクラスタ記憶部のトークテーブルのデータ構造を示す図である。 図１に示すデータ管理用サーバの構成を示すブロック図である。 図９に示すインタラクション記憶部のステータステーブルのデータ構造を示す図である。 クラスタ情報のうち最小継続時間以上継続しているクラスタ情報のみを抽出する処理を模式的に説明する図である。 図９に示すインタラクション処理部において用いられる決定木の一例を示す図である。 図９に示すイベント記憶部のイベントネームテーブルのデータ構造を示す図である。 図９に示すイベント記憶部のイベントテーブルのデータ構造を示す図である。 図９に示すイベント処理部において抽出されるイベントの例を示す模式図である。 図９に示すインタラクション記憶部のステータステーブルの一例を示す図である。 図１に示す情報管理装置において構築されるデータベースの階層構造を示す模式図である。 図１に示す情報管理装置の情報管理処理を説明するためのフローチャートである。

符号の説明

１ 人間用観測装置
２ 周囲状況観測装置
３ ロボット型観測装置
４ 情報管理装置
５〜７ アプリケーションサーバ
８ ＡＶファイルサーバ
９ 赤外線タグ
４１ クライアントコンピュータ部
４２〜４４ クライアントコンピュータ
４５ データ管理用サーバ
４１１ 通信部
４１２ データ管理部
４１３ ローデータ記憶部
４１４ クラスタ処理部
４１５ クラスタ記憶部
４５１ 通信部
４５２ データ管理部
４５３ インタラクション処理部
４５４ インタラクション記憶部
４５５ イベント処理部
４５６ イベント記憶部

Claims (8)

1. イベントに参加する人間を含む複数のオブジェクトに関する情報を管理する情報管理装置であって、
   オブジェクトの視界内に位置する他のオブジェクトを検出する対象物検出手段により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとに第１の記憶手段に記憶する第１の管理手段と、
   前記第１の記憶手段に記憶されている視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとに第２の記憶手段に記憶する第２の管理手段と、
   前記第２の記憶手段に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにインタラクション情報として第３の記憶手段に記憶する第３の管理手段と、
   前記第３の記憶手段に記憶されている視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記インタラクション情報より抽象度の高いイベント情報として前記第４の記憶手段に記憶する第４の管理手段とを備えることを特徴とする情報管理装置。
2. 前記第２の管理手段は、前記視覚クラスタ情報を抽出する際、前記第２の記憶手段に対して、取得時刻の間隔が前記最大間隔以下の２つの視覚情報がある場合に視覚クラスタ情報の記録を開始し、後続の２つの視覚情報の取得時刻の間隔が前記最大間隔を越える場合に当該視覚クラスタ情報の終了を表す終了時間情報を記録して当該視覚クラスタ情報の記録を終了することを特徴とする請求項１記載の情報管理装置。
3. 前記第３の管理手段は、前記第２の記憶手段に記憶されている視覚クラスタ情報のうち当該視覚クラスタ情報の開始時間情報及び終了時間情報により特定される期間が所定の最小継続期間以上となる視覚クラスタ情報を基に前記決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにインタラクション情報として前記第３の記憶手段に記憶することを特徴とする請求項１又は２記載の情報管理装置。
4. 前記オブジェクトは、互いに異なる複数種類のオブジェクトを含み、
   前記第３の管理手段は、オブジェクトの種類に応じて予め決定された決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにインタラクション情報として前記第３の記憶手段に記憶することを特徴とする請求項１〜３のいずれかに記載の情報管理装置。
5. 前記第１及び第２の管理手段は、クライアントコンピュータから構成され、
   前記第３及び第４の管理手段は、前記クライアントコンピュータと通信可能に接続されたサーバコンピュータから構成されることを特徴とする請求項１〜４のいずれかに記載の情報管理装置。
6. 前記第１の管理手段は、さらに、前記対象物検出手段を装着した人間の発話を検出する発話検出手段により検出された発話の開始時刻及び終了時刻を特定するための発話情報を聴覚情報としてオブジェクトごとに前記第１の記憶手段に記憶し、
   前記第２の管理手段は、さらに、前記第１の記憶手段に記憶されている聴覚情報のうち発話情報の終了時刻と後続の発話情報の開始時刻との間の間隔が前記最大間隔以下の聴覚情報を一つの聴覚クラスタ情報としてオブジェクトごとに抽出し、抽出した聴覚情報の最初の開始時刻及び最後の終了時刻を当該聴覚クラスタ情報の開始時間情報及び終了時間情報としてオブジェクトごとに前記第２の記憶手段に記憶し、
   前記第３の管理手段は、さらに、前記第２の記憶手段に記憶されている聴覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトが発話しているか否かを基準に、人間を含む２つのオブジェクト間の会話状態を推定し、推定した会話状態をオブジェクトごとにインタラクション情報として前記第３の記憶手段に記憶し、
   前記第４の管理手段は、前記第３の記憶手段に記憶されている視認状態及び会話状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションをイベント情報として前記第４の記憶手段に記憶することを特徴とする請求項１〜５のいずれかに記載の情報管理装置。
7. オブジェクトの視界内に位置する他のオブジェクトを検出する対象物検出手段により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとに第１の記憶手段に記憶する第１の管理手段と、前記第１の記憶手段に記憶されている視覚情報から視覚クラスタ情報を抽出する第２の管理手段と、前記第２の管理手段によって抽出された視覚クラスタ情報からインタラクション情報を抽出する第３の管理手段と、前記第３の管理手段によって抽出されたインタラクション情報からイベント情報を抽出する第４の管理手段とを備え、イベントに参加する人間を含む複数のオブジェクトに関する情報を管理する情報管理装置における情報管理方法であって、
   前記第２の管理手段が、前記第１の管理手段によって前記第１の記憶手段に記憶された視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとに第２の記憶手段に記憶するステップと、
   前記第３の管理手段が、前記第２の管理手段によって前記第２の記憶手段に記憶された視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにインタラクション情報として第３の記憶手段に記憶するステップと、
   前記第４の管理手段が、前記第３の管理手段によって前記第３の記憶手段に記憶された視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記インタラクション情報より抽象度の高いイベント情報として前記第４の記憶手段に記憶するステップとを含むことを特徴とする情報管理方法。
8. イベントに参加する人間を含む複数のオブジェクトに関する情報を管理するための情報管理プログラムであって、
   オブジェクトの視界内に位置する他のオブジェクトを検出する対象物検出手段により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとに第１の記憶手段に記憶する第１の管理手段と、
   前記第１の記憶手段に記憶されている視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとに第２の記憶手段に記憶する第２の管理手段と、
   前記第２の記憶手段に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにインタラクション情報として第３の記憶手段に記憶する第３の管理手段と、
   前記第３の記憶手段に記憶されている視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記インタラクション情報より抽象度の高いイベント情報として前記第４の記憶手段に記憶する第４の管理手段としてコンピュータを機能させることを特徴とする情報管理プログラム。

Images