JP4095537B2 - 体験表示装置、体験表示方法及び体験表示プログラム - Google Patents

Description

本発明は、表示対象となるユーザ（人間）が体験したインタラクション（人間と人間又は人間と人工物との相互作用）を表す体験履歴データを可視的に表示する体験表示装置、体験表示方法及び体験表示プログラムに関するものである。

従来、人間の体験履歴データを表現する方法として、学会参加や博物館見学などの体験履歴データをカジュアルな漫画形式の日記として表現することが行われており、ユーザの経験を親しみやすく且つ一覧性が高い漫画として自動的に生成することができる（例えば、非特許文献１参照）。
坂本竜基他４名、コミックダイアリ：漫画表現を利用した経験や興味の伝達支援、情報処理学会論文誌、Ｖｏｌ．４３、Ｎｏ．１２、２００２年、ｐｐ．３５８２−３５９６

しかしながら、漫画はユーザの実体験をそのまま表現したものではなく、ユーザの体験をリアルに表現することはできない。一方、ユーザの体験を動画像の映像データとして記録した場合、動画像自体を一覧表示することができない。また、動画像の中から静止画像を抽出して一覧表示することも考えられるが、それだけでは、個人的な記録以上の発展を期待することができない。

本発明の目的は、ユーザの経験を適切に表す静止画像を用いてユーザの経験をリアルに一覧表示することができ、さらなる学習を促す体験表示装置、体験表示方法及び体験表示プログラムを提供することである。

本発明に係る体験表示装置は、情報管理装置及びＡＶファイルサーバを用いて、ユーザが現実空間で体験したインタラクションを表す体験履歴データを可視的に表示する体験表示装置であって、前記情報管理装置は、オブジェクトの視界内に位置する他のオブジェクトを検出する観測装置により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとにローデータ記憶部に記憶させるデータ管理部と、前記ローデータ記憶部に記憶されている視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとにクラスタ記憶部に記憶するクラスタ管理部と、前記クラスタ記憶部に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにステータス情報としてステータス記憶部に記憶するステータス処理部と、前記ステータス記憶部に記憶されている視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記ステータス情報より抽象度の高いイベント情報としてイベント記憶部に記憶するイベント処理部とを備え、前記情報管理装置は、前記観測装置によって撮影された映像データを各データの観測時刻により特定可能な形式で前記ＡＶファイルサーバに蓄積させ、前記体験表示装置は、前記イベント記憶部から、ユーザを含む３つ以上のオブジェクト間のインタラクションを表すイベントを特定するためのイベント情報を取得するイベント取得手段と、前記ステータス記憶部から、前記イベント情報を構成する２つのオブジェクト間のインタラクションを表すステータスを特定するための第１のステータス情報を取得するステータス取得手段と、前記ＡＶファイルサーバから、前記ステータス取得手段により取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを取得する映像取得手段と、前記ローデータ記憶部から、前記ステータス取得手段により取得された第１のステータス情報により特定されるオブジェクトの位置を特定するための位置情報を取得する位置取得手段と、予め定められた最適位置と前記位置情報により特定される位置との差が小さいときの映像データから静止画像データを切り出すことにより、前記映像取得手段により取得された映像データから静止画像データを体験履歴データとして作成する静止画像作成手段と、前記静止画像作成手段により作成された複数の静止画像データにより構成される複数の静止画を、ユーザが参加したイベント数及びステータス数の少なくとも一方に応じて２次元的に配置して表示する表示手段とを備えるものである。

本発明に係る体験表示装置では、ユーザを含む３つ以上のオブジェクト間のインタラクションを表すイベントを特定するためのイベント情報が取得され、取得されたイベント情報を構成する２つのオブジェクト間のインタラクションを表すステータスを特定するための第１のステータス情報が取得され、取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データが取得され、取得された映像データから静止画像データが体験履歴データとして作成されるので、ユーザの経験を適切に表す静止画像を作成することができる。

また、作成された複数の静止画像データにより構成される複数の静止画を、ユーザが参加したイベント数及びステータス数の少なくとも一方に応じて２次元的に配置して表示しているので、ユーザの経験を適切に表す静止画像を用いてユーザの経験をリアルに一覧表示することができ、さらなる学習を促すことができる。

ステータス取得手段により取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データからオブジェクトが発話している映像を含む映像データを抽出する映像抽出手段と、映像抽出手段により抽出された映像データと静止画像作成手段により作成された静止画像データとを対応付ける対応付け手段と、表示手段により表示されている複数の静止画像の中から一つの静止画像をユーザの操作に応じて選択する選択手段とをさらに含み、表示手段は、選択手段により選択された静止画像を構成する静止画像データに対して対応付け手段により映像データが対応付けられている場合、当該映像データによる映像を表示することが好ましい。

この場合、取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データからオブジェクトが発話している映像を含む映像データが抽出され、抽出された映像データと作成された静止画像データとが対応付けられ、表示されている複数の静止画像の中からユーザの操作に応じて選択された静止画像を構成する静止画像データに対して対応付けられている映像データによる映像が表示されるので、表示されている静止画像をユーザが選択することにより、ユーザにとって重要な映像である発話が行われている映像を自動的に表示することができる。

前記ステータス取得手段は、イベントに参加していない人間以外の人工物のステータス情報のうち当該イベントの継続時間内で前記イベントに参加していない人間以外の人工物がイベントに参加しているオブジェクトを捕らえていることを表す第２のステータス情報を取得し、
前記映像抽出手段は、前記ステータス取得手段により取得された第２のステータス情報により特定される、前記イベントに参加していない人間以外の人工物の視点から前記イベントに参加しているオブジェクトを撮影した映像データから発話しているオブジェクトを含む映像データを抽出することが好ましい。

この場合、イベントに参加していない他のオブジェクトのステータス情報のうち当該イベントの継続時間内でイベントに参加しているオブジェクトとのインタラクションを表す第２のステータス情報が取得され、取得された第２のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データから発話しているオブジェクトを含む映像データが抽出されるので、イベントに参加しない人間以外の人工物の視点からユーザの状態を客観的に撮影した映像を抽出することができ、当該映像を自動的に表示することができる。

前記映像抽出手段は、前記ステータス取得手段により取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データから、イベントに参加しているオブジェクトが発話している場合は、イベントに参加しているオブジェクトが発話している映像を含む映像データを抽出し、イベントに参加しているオブジェクトが発話していない場合は、イベントに参加していないオブジェクトが発話している映像を含む映像データを抽出することが好ましい。

この場合、イベントに参加しているオブジェクトが発話している映像を含む映像データが優先的に抽出されるので、ユーザにとって重要度の高い映像を自動的に表示することができるとともに、イベントに参加しているオブジェクトが発話していない場合でも、イベントに参加していないオブジェクトが発話している映像を含む映像データが抽出されるので、ユーザにとってある程度重要度の高い映像を自動的に表示することができる。

映像抽出手段は、オブジェクトが発話している映像を含む映像データがないときにおいて、イベントに参加しているオブジェクトの第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データがある場合は、イベントに参加しているオブジェクトの第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを抽出し、第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データがない場合は、第２のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを抽出することが好ましい。

この場合、オブジェクトが発話している映像がない場合でも、イベントに参加しているオブジェクトの視点から見た映像を優先的に表示することができるともに、イベントに参加しているオブジェクトの視点から見た映像がない場合でも、イベントに参加しない人間以外の人工物の視点からユーザの状態を客観的に撮影した映像を自動的に表示することができる。

映像抽出手段は、イベントにおいて発話しているオブジェクトがないとき、第２のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データがある場合は、第２のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを抽出し、第２のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データがない場合は、イベントに参加しているオブジェクトの第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを抽出することが好ましい。

この場合、イベントにおいて発話しているオブジェクトがない場合は、イベントに参加しない人間以外の人工物の視点からユーザの状態を客観的に撮影した映像を優先的に表示することができる。

ステータス取得手段は、所定時間以上継続しているステータスを特定するための第３のステータス情報を取得し、映像取得手段は、ステータス取得手段により取得された第３のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した補助映像データを取得し、静止画像作成手段は、映像取得手段により取得された補助映像データから補助静止画像データを作成し、表示手段は、静止画像作成手段により作成された補助静止画像データにより構成される複数の静止画を、ユーザが参加したイベント数及びステータス数の少なくとも一方に応じて２次元的に配置して表示することが好ましい。

この場合、所定時間以上継続しているステータスを特定するための第３のステータス情報が取得され、取得された第３のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した補助映像データが取得され、取得された補助映像データから補助静止画像データが作成され、作成された補助静止画像データにより構成される静止画をユーザが参加したイベント数及びステータス数の少なくとも一方に応じて２次元的に配置して表示しているので、ユーザがイベントに参加していない場合でも、ユーザの経験をある程度適切に表す静止画像を作成してユーザの経験をリアルに一覧表示することができる。

表示手段は、静止画像作成手段により作成された複数の静止画像データにより構成される複数の静止画を、ユーザが参加したイベント数が所定数以上の場合に、第１のレイアウトで２次元的に配置して表示し、ユーザが参加したイベント数が所定数より少なく且つ他の特定のオブジェクトとのステータス数が所定数以上の場合に、第１のレイアウトと異なる第２のレイアウトで２次元的に配置して表示し、ユーザが参加したイベント数が所定数より少なく、他の特定のオブジェクトとのステータス数が所定数より少なく且つ他の特定のオブジェクトとのステータスの継続時間が所定時間以上の場合に、第１及び第２のレイアウトと異なる第３のレイアウトで２次元的に配置して表示し、ユーザが参加したイベント数が所定数より少なく、他の特定のオブジェクトとのステータス数が所定数より少なく且つ他の特定のオブジェクトとのステータス情報の継続時間が所定時間より短い場合に、第１乃至第３のレイアウトと異なる第４のレイアウトで２次元的に配置して表示することが好ましい。

この場合、ユーザが参加したイベント及びステータスに応じた適切なレイアウトで静止画像を配置して表示することができる。

本発明に係る体験表示方法は、コンピュータ、情報管理装置及びＡＶファイルサーバを用いて、ユーザが現実空間で体験したインタラクションを表す体験履歴データを可視的に表示する体験表示方法であって、前記情報管理装置が、オブジェクトの視界内に位置する他のオブジェクトを検出する観測装置により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとにローデータ記憶部に記憶させるステップと、前記情報管理装置が、前記ローデータ記憶部に記憶されている視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとにクラスタ記憶部に記憶するステップと、前記情報管理装置が、前記クラスタ記憶部に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにステータス情報としてステータス記憶部に記憶するステップと、前記情報管理装置が、前記ステータス記憶部に記憶されている視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記ステータス情報より抽象度の高いイベント情報としてイベント記憶部に記憶するステップと、前記情報管理装置が、前記観測装置によって撮影された映像データを各データの観測時刻により特定可能な形式で前記ＡＶファイルサーバに蓄積させるステップと、前記コンピュータが、前記イベント記憶部から、ユーザを含む３つ以上のオブジェクト間のインタラクションを表すイベントを特定するためのイベント情報を取得するイベント取得ステップと、前記コンピュータが、前記ステータス記憶部から、前記イベント取得ステップにおいて取得されたイベント情報を構成する２つのオブジェクト間のインタラクションを表すステータスを特定するための第１のステータス情報を取得するステータス取得ステップと、前記コンピュータが、前記ＡＶファイルサーバから、前記ステータス取得ステップにおいて取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを取得する映像取得ステップと、前記コンピュータが、前記ローデータ記憶部から、前記ステータス取得ステップにおいて取得された第１のステータス情報により特定されるオブジェクトの位置を特定するための位置情報を取得するステップと、前記コンピュータが、予め定められた最適位置と前記位置情報により特定される位置との差が小さいときの映像データから静止画像データを切り出すことにより、前記映像取得ステップにおいて取得した映像データから静止画像データを体験履歴データとして作成する静止画像作成ステップと、前記コンピュータが、前記静止画像作成ステップにおいて作成した複数の静止画像データにより構成される複数の静止画を、ユーザが参加したイベント数及びステータス数の少なくとも一方に応じて２次元的に配置して表示する表示ステップとを含むものである。

本発明に係る体験表示プログラムは、情報管理装置及びＡＶファイルサーバを用いて、ユーザが現実空間で体験したインタラクションを表す体験履歴データを可視的に表示するための体験表示プログラムであって、前記情報管理装置は、オブジェクトの視界内に位置する他のオブジェクトを検出する観測装置により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとにローデータ記憶部に記憶させるデータ管理部と、前記ローデータ記憶部に記憶されている視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとにクラスタ記憶部に記憶するクラスタ管理部と、前記クラスタ記憶部に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにステータス情報としてステータス記憶部に記憶するステータス処理部と、前記ステータス記憶部に記憶されている視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記ステータス情報より抽象度の高いイベント情報としてイベント記憶部に記憶するイベント処理部とを備え、前記情報管理装置は、前記観測装置によって撮影された映像データを各データの観測時刻により特定可能な形式で前記ＡＶファイルサーバに蓄積させ、前記体験表示プログラムは、前記イベント記憶部から、ユーザを含む３つ以上のオブジェクト間のインタラクションを表すイベントを特定するためのイベント情報を取得するイベント取得手段と、前記ステータス記憶部から、前記イベント取得手段により取得されたイベント情報を構成する２つのオブジェクト間のインタラクションを表すステータスを特定するための第１のステータス情報を取得するステータス取得手段と、前記ＡＶファイルサーバから、前記ステータス取得手段により取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを取得する映像取得手段と、前記ローデータ記憶部から、前記ステータス取得手段により取得された第１のステータス情報により特定されるオブジェクトの位置を特定するための位置情報を取得する位置取得手段と、予め定められた最適位置と前記位置情報により特定される位置との差が小さいときの映像データから静止画像データを切り出すことにより、前記映像取得手段により取得された映像データから静止画像データを体験履歴データとして作成する静止画像作成手段と、前記静止画像作成手段により作成された複数の静止画像データにより構成される静止画を、ユーザが参加したイベント数及びステータス数の少なくとも一方に応じて２次元的に配置して表示する表示手段としてコンピュータを機能させるものである。

本発明によれば、ユーザの経験を適切に表す静止画像を作成することができるので、作成された複数の静止画像データにより構成される複数の静止画をユーザが参加したイベント数及びステータス数の少なくとも一方に応じて２次元的に配置して表示することにより、ユーザの経験を適切に表す静止画像を用いてユーザの経験をリアルに一覧表示することができる。

以下、本発明の一実施の形態による体験表示装置を用いた体験表示システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による体験表示装置を用いた体験表示システムの構成を示すブロック図である。本実施の形態では、展示会場において説明員及び見学者が体験したインタラクションを表す体験履歴データを、階層構造を有するデータベースに蓄積し、この体験履歴データを体験ビデオカタログとして可視的に表示する場合について説明するが、この例に特に限定されず、ラウンドテーブルを囲んだ自由討論等の打合せ、ある物体や書類を囲んで複数人が作業を行う共同作業等の種々のイベントにおける、人間と人間、人間と人工物、人間と環境等の間の種々のインタラクションを表す体験履歴データに同様に適用することができる。

図１に示す体験表示システムは、人間用観測装置１、周囲状況観測装置２、ロボット型観測装置３、情報管理装置４、ＡＶ（オーディオ・ビデオ）ファイルサーバ５、素材作成用サーバ６、Ｗｅｂサーバ７、カタログ作成用コンピュータ８及び赤外線タグ９を備え、素材作成用サーバ６、Ｗｅｂサーバ７及びカタログ作成用コンピュータ８により体験表示装置が構成される。情報管理装置４は、クライアントコンピュータ部４１及びデータ管理用サーバ４５を備え、クライアントコンピュータ部４１は、クライアントコンピュータ４２〜４４を含む。

なお、図１では、図示を容易にするために人間用観測装置１、周囲状況観測装置２、ロボット型観測装置３及び赤外線タグ９をそれぞれ１個のみ図示しているが、人間用観測装置１は説明員及び見学者ごとに設けられ、周囲状況観測装置２は複数の観測位置に設けられ、ロボット型観測装置３は必要数だけ設けられ、赤外線タグ９は説明員及び見学者のインタラクションに使用される対象物ごとに設けられ、クライアントコンピュータ４２〜４４は人間用観測装置１、周囲状況観測装置２及びロボット型観測装置３に対応してそれぞれ設けられる。

本実施の形態では、説明員、見学者等の人間、ロボット及び展示物等がイベントに参加するオブジェクトに該当し、オブジェクトの型を「ＨＵＭＡＮ」、「ＵＢＩＱ」及び「ＲＯＢＯＴ」の３種類に分類し、「ＨＵＭＡＮ」には説明員、見学者等の人間、「ＵＢＩＱ」には展示物等の人工物（ユビキタス）、「ＲＯＢＯＴ」には説明を補助するロボット（ロボット型観測装置３）がそれぞれ該当する。

赤外線タグ９は、人間用観測装置１、周囲状況観測装置２及びロボット型観測装置３により観測される対象物となる展示物自体又はその近傍若しくは展示会場の壁又は天井等に取り付けられ、対象物に対して一意的に割り付けられたＩＤ番号（識別情報）を赤外線の点滅により送信する。

人間用観測装置１は、説明員又は見学者に装着され、装着している説明員又は見学者のＩＤ番号を赤外線の点滅により送信する。また、人間用観測装置１は、説明員等の視界内に位置する赤外線タグ９等から送信される対象物のＩＤ番号及び赤外線タグ９等の赤外線画像内のＸＹ座標を検出するとともに、赤外線タグ９を含む可視光画像を撮影し、検出したＩＤ番号及びＸＹ座標等の観測情報及び撮影した可視光画像データ等の映像データをクライアントコンピュータ４２へ出力する。また、人間用観測装置１は、人間用観測装置１を装着している説明員又は見学者の発話を検出して音声データ等の観測情報をクライアントコンピュータ４２へ出力するとともに、生体データを検出してクライアントコンピュータ４２へ出力する。

クライアントコンピュータ４２は、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、外部記憶装置、通信装置等を備えるクライアントコンピュータから構成され、人間用観測装置１により取得された観測情報をその取得時間とともにオブジェクトごとに記憶するとともに、記憶している観測情報のうち取得時間が所定間隔以下の複数の観測情報を一つのクラスタ情報として抽出し、抽出したクラスタ情報をオブジェクトごとに記憶し、データ管理用サーバ４５及び素材作成用サーバ６へ無線等により送信する。また、クライアントコンピュータ４２は、人間用観測装置１から出力される映像データ及び音声データを、各データの観測時間により特定可能な形式、例えば、観測時間とともにデータ管理用サーバ４５へ無線等により送信する。

周囲状況観測装置２は、説明員及び見学者が位置する空間を構成する構造物、例えば展示会場の天井及び壁に固定され、撮影範囲内に位置する人間用観測装置１及び赤外線タグ９等から送信されるＩＤ番号並びに人間用観測装置１及び赤外線タグ９等の赤外線画像内のＸＹ座標を検出するとともに、撮影範囲内に位置する人間用観測装置１及び赤外線タグ９等を含む可視光画像を撮影し、検出したＩＤ番号及びＸＹ座標等の観測情報及び撮影した可視光画像データ等の映像データをクライアントコンピュータ４３へ出力する。また、周囲状況観測装置２は、撮影範囲内に位置する説明員又は見学者の発話等を集音して音声データ等の観測情報をクライアントコンピュータ４３へ出力する。

クライアントコンピュータ４３は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるクライアントコンピュータから構成され、周囲状況観測装置２により取得された観測情報をその取得時間とともにオブジェクトごとに記憶するとともに、記憶している観測情報のうち取得時間が所定間隔以下の複数の観測情報を一つのクラスタ情報として抽出し、抽出したクラスタ情報をオブジェクトごとに記憶し、データ管理用サーバ４５及び素材作成用サーバ６へ有線等により送信する。また、クライアントコンピュータ４３は、周囲状況観測装置２から出力される映像データ及び音声データを、各データの観測時間により特定可能な形式、例えば、観測時間とともにデータ管理用サーバ４５へ有線等により送信する。

ロボット型観測装置３は、例えば、視覚、聴覚及び触覚を有するヒューマノイド型自律移動ロボット等から構成され、ロボット自身のＩＤ番号を赤外線の点滅により送信する。また、ロボット型観測装置３は、ロボット自身の視界内に位置する赤外線タグ９等から送信される対象物のＩＤ番号及び赤外線タグ９等の赤外線画像内のＸＹ座標を検出するとともに、赤外線タグ９を含む可視光画像を撮影し、検出したＩＤ番号及びＸＹ座標等の観測情報及び撮影した可視光画像データ等をクライアントコンピュータ４４へ出力する。また、ロボット型観測装置３は、ロボット自身の周辺に位置する説明員又は見学者の発話等を集音して音声データ等の観測情報をクライアントコンピュータ４４へ出力する。

クライアントコンピュータ４４は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるクライアントコンピュータから構成され、ロボット型観測装置３により取得された観測情報をその取得時間とともにオブジェクトごとに記憶するとともに、記憶している観測情報のうち取得時間が所定間隔以下の複数の観測情報を一つのクラスタ情報として抽出し、抽出したクラスタ情報をオブジェクトごとに記憶し、データ管理用サーバ４５及び素材作成用サーバ６へ無線又は有線等により送信する。また、クライアントコンピュータ４４は、ロボット型観測装置３から出力される映像データ及び音声データを、各データの観測時間により特定可能な形式、例えば、観測時間とともにデータ管理用サーバ４５へ無線又は有線等により送信する。

なお、観測装置は上記の例に特に限定されず、例えば、視覚、聴覚、触覚及び体勢感覚等を有するぬいぐるみ型観測装置等を用い、ぬいぐるみ自身の視点から説明員及び見学者の状況等を撮影するようにしてもよい。また、観測装置として赤外線タグを用いているが、対象物を特定できれば、他の観測装置を用いてもよい。

データ管理用サーバ４５は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるサーバコンピュータから構成され、有線又は無線を介して各クライアントコンピュータ４２〜４４と通信可能に接続される。データ管理用サーバ４５は、各クライアントコンピュータ４２〜４４に記憶されているクラスタ情報を基に、予め定められた決定木に従ってオブジェクトの状態を表すステータスを推定し、推定したステータスを記憶するとともに、記憶しているステータスを基にオブジェクト間のイベントを抽出し、抽出したイベントを記憶する。また、データ管理用サーバ４５は、入力される各データのうち映像データ及び音声データを、各データの観測時間により特定可能な形式、例えば、観測時間とともにＡＶファイルサーバ５に蓄積させる。

ＡＶファイルサーバ５は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるサーバコンピュータから構成され、ＡＶファイルサーバ５は、映像データ及び音声データ等をデータベース化して記憶する。

素材作成用サーバ６は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるサーバコンピュータから構成され、各クライアントコンピュータ４２〜４４に記憶されている観測情報及びクラスタ情報、データ管理用サーバ４５に記憶されているステータス情報及びイベント情報、ＡＶファイルサーバ５に記憶されている映像データ等を用いて、見学者等が体験したインタラクションを表す体験履歴データを可視的に表示する体験ビデオカタログの素材となるサムネイル画像及びビデオクリップ等を作成して各データのＵＲＬ（Uniform Resource Locator）とともに蓄積する。

Ｗｅｂサーバ７は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信装置等を備えるサーバコンピュータから構成され、カタログ作成用コンピュータ８からの要求に応じて、データ管理用サーバ４５からイベント情報及びステータス情報を読み出したり、素材作成用サーバ６からサムネイル画像及びビデオクリップ等の体験履歴データを読み出し、ネットワーク１０を介して体験履歴データ等をカタログ作成用コンピュータ８へ送信する。

ネットワーク１０としては、例えば、インターネットが使用され、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）に従いＷｅｂサーバ７を介して素材作成用サーバ６等とカタログ作成用コンピュータ８との間で相互にデータ等が送受信される。なお、ネットワーク１０としては、インターネットに特に限定されず、イントラネット等の他のネットワーク、または、インターネット、イントラネット等の種々のネットワークを組み合わせたネットワーク等を用いてもよい。また、ネットワークではなく、専用線等により素材作成用サーバ６及びカタログ作成用コンピュータ８を相互に接続してもよい。

カタログ作成用コンピュータ８は、入力装置、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、記録媒体駆動装置、通信装置及び表示装置等を備えるパーソナルコンピュータ等から構成され、表示対象となるメインユーザが体験したインタラクションを表す体験履歴データを体験ビデオカタログの形態で可視的に表示する。

図２は、図１に示す赤外線タグ９及び人間用観測装置１の構成を示すブロック図である。人間用観測装置１は、赤外線検出部１１、画像撮影部１２、赤外線タグ１３、マイク部１４及び生体検出部１５を備える。人間用観測装置１は、耳かけ式ネックバンド方式ヘッドセットとして構成され、説明員又は見学者の頭部に装着される。赤外線検出部１１及び画像撮影部１２は直方体形状の筺体に一体に内蔵され、赤外線タグ１３は筺体の側面に一体に固定され、マイク部１４はユーザの口元付近に配置され、生体検出部１５は、説明員又は見学者の指に装着され、クライアントコンピュータ４２は、説明員又は見学者に背負われて使用される。

赤外線タグ９は、ＬＥＤ９１及び駆動回路９２を備える。ＬＥＤ９１は、赤外線ＬＥＤ等から構成され、例えば、光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いることができ、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外ＬＥＤを好適に用いることができる。

駆動回路９２は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２２２３等を用いることができ、赤外線タグ９が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ９１を点滅制御する。なお、ＬＥＤ９１及び駆動回路９２は、内部電池（図示省略）から電源を供給されている。

具体的には、駆動回路９２は、マンチェスタ符号化方式によりエンコードしたＩＤ番号（６ｂｉｔ）及びパリティビットと、スタートビット（１ｂｉｔ）及びエンドビット（２ｂｉｔ）とを２００Ｈｚ周期の点滅により繰り返し送信する。例えば、ＩＤ番号６２の場合、ＩＤ：６２→“０１１００１０１０１０１０１１０１１１１”（ここで、スタートビット（０１）、ＩＤ番号６ビット、パリティビット(偶数１０、奇数０１)、エンドビット（１１１１））となる。

赤外線検出部１１は、赤外線フィルタ１１１、レンズ１１２、ＣＭＯＳイメージセンサ１１３及び画像処理装置１１４を備える。赤外線フィルタ１１１は、赤外線タグ９のＬＥＤ９１から発光される赤外線のうち主に近赤外線のみ透過させてレンズ１１２に近赤外線を導く。赤外線フィルタ１１１としては、例えば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックＩＲパスフィルタを用いることができる。

レンズ１１２は、赤外線フィルタ１１１を透過した近赤外線をＣＭＯＳイメージセンサ１１３上に結像させる。レンズ１１２の画角は９０度である。この場合、対面での会話状態等において比較的近距離で広範囲に位置する赤外線タグを容易に検出することができる。

ＣＭＯＳイメージセンサ１１３は、レンズ１１２により結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置１１４へ出力する。ＣＭＯＳイメージセンサ１１３としては、例えば、三菱電機社製人工網膜ＬＳＩ（Ｍ６４２８３ＦＰ）等を用いることができ、この場合の解像度は１２８×１２８ｐｉｘｅｌである。

画像処理装置１１４は、ＣＭＯＳイメージセンサ１１３の制御及びデータ処理を行い、ＣＭＯＳイメージセンサ１１３に撮影された近赤外線画像から赤外線タグ９を検出し、検出した赤外線タグ９の点滅状態からＩＤ番号を検出するとともに、赤外線画像上の赤外線タグ９のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータをＲＳ２３２Ｃ等のデータ伝送規格に従ってクライアントコンピュータ４２へ出力する。画像処理装置１１４としては、例えば、Ｃｙｇｎａｌ社製４９ＭＨｚ駆動マイコンＣ８０５１Ｆ１１４を用いることができる。

この場合、ＣＭＯＳイメージセンサ１１３を１１４２００Ｈｚのクロックで駆動させ、撮像(シャッター開放)後、１クロック毎に１ｐｉｘｅｌの明るさがアナログ値でシリアル出力される。このため、全画素撮影時の最短フレームレートは、（シャッタースピード）＋（１２８×１２８×クロックスピード）となるが、１２８×１２８ｐｉｘｅｌのうち８×８ｐｉｘｅｌを検出領域に設定して５００Ｈｚのシャッタースピードで撮像した場合、４００Ｈｚのフレームレートを実現することができ、読み出し速度を高速化することができる。このように、赤外線タグ９の点滅周期（２００Ｈｚ）の２倍のフレームレート（４００Ｈｚ）で読み込むため、単一ＬＥＤを用いて非同期通信を行うことができる。なお、画角９０度のレンズ１１２を使用したときに２ｍの距離で１ｐｉｘｅｌは、２．２ｃｍ×２．２ｃｍの範囲に相当する。

画像撮影部１２は、レンズ１２１及びＣＣＤカメラ１２２を備える。レンズ１２１は、説明員又は見学者の視線方向に位置する、赤外線タグ９が取り付けられた対象物を含む可視光像をＣＣＤカメラ１２２上に結像させる。ＣＣＤカメラ１２２は、可視光画像を撮影して映像データをクライアントコンピュータ４２へ出力する。レンズ１２１及びＣＣＤカメラ１２２としては、例えば、アナログビデオ出力を有するキーエンス社製小型ＣＣＤカメラ(水平画角４４度)を用いることができる。ここで、レンズ１２１の光軸は、赤外線検出部１１のレンズ１１２の光軸に合わせられており、説明員又は見学者の視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。

赤外線タグ１３は、ＬＥＤ１３１及び駆動回路１３２を備える。赤外線タグ１３は、人間用観測装置１に一体に構成され、人間用観測装置１を装着する説明員又は見学者のＩＤ番号を送信する点を除き、赤外線タグ９と同様のハードウエアから構成され、同様に動作する。

マイク部１４は、音声処理回路１４１及びスロートマイク１４２を備える。スロートマイク１４２は、説明員又は見学者の発話を検出して音声処理回路１４１へ出力し、音声処理回路１４１は録音された音声データをクライアントコンピュータ４２へ出力する。

生体検出部１５は、生体データ処理回路１５１及び生体センサ１５２を備え、例えば、人間の脈拍、手の表面の伝導性(発汗)、温度の３個のセンサを備える生体データ記録用モジュール（Ｐｒｏｃｏｍｐ＋）等から構成される。生体センサ１５２は、説明員又は見学者の脈拍、発汗状態及び体温を検出し、生体データ処理回路１５１は、検出された各データの平均値を数秒ごとに計算し、リアルタイムに生体データをＡＤ変換してクライアントコンピュータ４２へ送信する。

上記の赤外線検出部１１等の各センサ類には、１オブジェクトが装着する単位すなわち人間用観測装置１を装着する人間ごとにまとめて一意のセンサＩＤ番号が付与され、センサＩＤ番号及び赤外線タグ１３のＩＤ番号は、人間用観測装置１を装着するオブジェクトを特定するための一意のオブジェクトＩＤ番号と関連付けられ、オブジェクトＩＤ番号に対してオブジェクトの型が指定される。

したがって、人間用観測装置１が各観測情報とともにオブジェクトＩＤ番号をクライアントコンピュータ４２へ出力し、クライアントコンピュータ４２がクラスタ情報等とともにオブジェクトＩＤ番号をデータ管理用サーバ４５等へ出力することにより、データ管理用サーバ４５等の各装置においてクラスタ情報等がどのオブジェクトのものであるか及びオブジェクトの型を特定できるようにしている。周囲状況観測装置２及びロボット型観測装置３も、この点に関して同様である。

図３は、図１に示す周囲状況観測装置２の構成を示すブロック図である。図３に示す周囲状況観測装置２は、固定検出部２１、画像撮影部２２及びマイク部２３を備える。固定検出部２１は、赤外線フィルタ２１１、レンズ２１２、ＣＭＯＳイメージセンサ２１３及び画像処理装置２１４を備える。画像撮影部２２は、レンズ２２１及びＣＣＤカメラ２２２を備える。マイク部２３は、音声処理回路２３１及びマイクロホン２３２を備える。固定検出部２１、画像撮影部２２及びマイク部２３は、上記の赤外線検出部１１、画像撮影部１２及びマイク部１４と同様に構成され、同様に動作する。但し、周囲状況観測装置２のレンズ２１２の画角は６０度であり、人間用観測装置１のレンズ１１２の画角より狭く設定され、マイクロホン２３２には無指向性のマイクロホンを用いている。

この場合、ＣＭＯＳイメージセンサ２１３のピクセル当りの集光率が高くなり、遠距離に位置する赤外線タグ９，１３を容易に発見することができる。また、説明員又は見学者の頭部に装着された人間用観測装置１だけでなく、説明員及び見学者が位置する空間を構成する構造物に固定された周囲状況観測装置２により、説明員、見学者並びに説明員及び見学者の視線方向の対象物を検出することができるので、異なる視点から説明員及び見学者の周囲の状況を観測することができる。なお、ロボット型観測装置３も、図３に示す周囲状況観測装置２と同様に構成され、同様に動作する。

次に、人間用観測装置１の赤外線タグ検出処理について説明する。この赤外線タグ検出処理は、画像処理装置１１４が予め記憶されている検出処理プログラムを実行することにより行われる処理であり、周囲状況観測装置２及びロボット型観測装置３でも同様の処理が行われる。

まず、画像処理装置１１４は、ＣＭＯＳイメージセンサ１１３等を初期化し、全画面（１２８×１２８ｐｉｘｅｌ）の赤外線画像を撮影する。次に、画像処理装置１１４は、赤外線画像の中から所定サイズの光点、例えば１ｐｉｘｅｌの光点を赤外線タグ９（ＬＥＤ９１）として抽出し、所定サイズより大きな光点を排除する。このように、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により赤外線タグ９を検出することができるので、画像処理装置１１４による赤外線タグ検出処理を高速化することができる。

次に、画像処理装置１１４は、抽出した光点を中心とする８×８ｐｉｘｅｌの領域を検出領域として決定し、ＣＭＯＳイメージセンサ１１３により検出領域を既定回数、例えば、（（送信ビット数＋スタートビット数＋エンドビット数）×２×２）回読み込み、読み込んだ赤外線画像から赤外線タグ９の点滅状態を検出してＩＤ番号を検出するとともに、パリティチェックを行い、読み込みデータの判定処理を行う。

このように、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて赤外線タグ９の点滅状態を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、画像処理装置１１４による赤外線タグ検出処理を高速化することができる。この赤外線タグ検出処理の高速化により、人の動きに充分に追従することができ、動き予測等の演算コストの高い処理を省略することができる。ここで、パリティチェックが正しければ、画像処理装置１１４は、赤外線タグ９のＩＤ番号及びＸＹ座標を出力し、パリティチェックが正しくなければ、検出領域の読み込みを再度行い、上記の赤外線検出処理を検出されたすべての光点に対して行う。

このようにして、赤外線タグ９が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号をＬＥＤ９１の点滅により送信し、説明員又は見学者に装着された人間用観測装置１により、説明員又は見学者の視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて赤外線タグ９のＩＤ番号が検出されるので、説明員又は見学者の視線方向に位置する対象物を識別することができる。

図４は、図１に示すクライアントコンピュータ４２の構成を示すブロック図である。なお、他のクライアントコンピュータ４３，４４も、図４に示すクライアントコンピュータ４２と同様に構成され、同様に動作するので、詳細な説明は省略する。

図４に示すクライアントコンピュータ４２は、通信部４１１、データ管理部４１２、ローデータ記憶部４１３、クラスタ処理部４１４及びクラスタ記憶部４１５を備える。通信部４１１は、無線及び有線の通信インターフェースボード等から構成され、ローデータ記憶部４１３及びクラスタ記憶部４１５は、ハードディスクドライブ等の外部記憶装置等から構成され、データ管理部４１２及びクラスタ処理部４１４は、ＣＰＵが後述する情報管理プログラムを実行することにより実現される。

通信部４１１は、人間用観測装置１の画像処理装置１１４、ＣＣＤカメラ１２２及び音声処理回路１４１、素材作成用サーバ６並びにデータ管理用サーバ４５との間のデータ通信を制御する。通信部４１１は、画像処理装置１１４から出力されるＩＤ番号及びＸＹ座標及び音声処理回路１４１から出力される音声データを観測情報としてデータ管理部４１２へ出力し、ＣＣＤカメラ１２２から出力される映像データ及び音声処理回路１４１から出力される音声データをデータ管理用サーバ４５へ出力する。

データ管理部４１２は、観測情報の一例である視覚情報として、通信部４１１から出力されるＩＤ番号及びＸＹ座標を取得時間とともにローデータ記憶部４１３のトラッカーテーブルに記憶させる。また、データ管理部４１２は、観測情報の一例である聴覚情報として、通信部４１１から出力される音声データから発話の開始時間及び終了時間を特定し、特定した発話の開始時間及び終了時間をローデータ記憶部４１３のボイステーブルに記憶させる。なお、ローデータ記憶部４１３に記憶される観測情報（生データ）は上記の例に特に限定されず、生体検出部１５で検出された生体データ等を同様に記憶してもよい。

図５は、図４に示すローデータ記憶部４１３のトラッカーテーブルのデータ構造を示す図である。ローデータ記憶部４１３では、図５に示すフィールド構成及びデータタイプのトラッカーテーブルが作成され、「ｔｉｍｅ」に取得時間が、「ｘ」にオブジェクトのＸ座標値が、「ｙ」にオブジェクトのＹ座標値が、「ｔａｇｎａｍｅ」にオブジェクトのＩＤ番号がそれぞれ記憶される。これらのデータにより、ＩＤ番号がｔａｇｎａｍｅである赤外線タグが時間ｔｉｍｅに座標（ｘ，ｙ）において捕らえられたことがわかる。

図６は、図４に示すローデータ記憶部４１３のボイステーブルのデータ構造を示す図である。ローデータ記憶部４１３では、図６に示すフィールド構成及びデータタイプのボイステーブルが作成され、「ｔｉｍｅ」に会話の開始時間又は終了時間が記憶され、開始時間が記憶された場合は「ｓｔａｔｕｓ」に「ＴＵＲＮ＿ＯＮ」が設定され、終了時間が記憶された場合は「ｓｔａｔｕｓ」に「ＴＵＲＮ＿ＯＦＦ」が設定される。これらのデータにより、会話の開始時間及び終了時間がわかる。

クラスタ処理部４１４は、ローデータ記憶部４１３のトラッカーテーブル及びボイステーブルから視覚情報及び聴覚情報の取得時間を読み出し、オブジェクトごとに取得間隔が予め設定されている最大間隔以下の視覚情報及び聴覚情報をクラスタリングして視覚クラスタ情報及び聴覚クラスタ情報を作成し、作成した視覚クラスタ情報及び聴覚クラスタ情報をクラスタ記憶部４１５のルックテーブル及びトークテーブルに記憶させる。

図７は、図４に示すクラスタ記憶部４１５のルックテーブルのデータ構造を示す図である。クラスタ記憶部４１５では、図７に示すフィールド構成及びデータタイプのルックテーブルが作成され、「ｓｔａｒｔ」に視覚クラスタ情報を構成する複数の視覚情報のうち最初の視覚情報の取得時間が、「ｅｎｄ」に最後の視覚情報の取得時間が、「ｉｄ」にオブジェクトのＩＤ番号がそれぞれ記憶される。これらのデータにより、いつから（ｓｔａｒｔ）いつまで（ｅｎｄ）何（ｉｄ）を捕らえていたかがわかる。

また、ルックテーブルには、データ管理用サーバ４５等の要求を満たすために視覚クラスタ情報の抽出終了を表す終了情報の格納領域が設けられ、「ｆｉｎａｌｉｚｅ」に“１”（真）又は“０”（偽）の終了情報が格納される。すなわち、クラスタ処理部４１４は、人間用観測装置１が赤外線タグを捕らえ始めたとき、その時間を「ｓｔａｒｔ」に格納するとともに、赤外線タグのＩＤ番号を「ｉｄ」に格納し、その区間が続いている間は、「ｆｉｎａｌｉｚｅ」を“０”（偽）に設定する。その後、クラスタ処理部４１４は、現在の時間と人間用観測装置１から視覚情報が得られた時間との差が最大間隔以上になった場合、その区間が終了したものと判断して「ｆｉｎａｌｉｚｅ」を“１”（真）に設定し、その時間を「ｅｎｄ」に格納する。したがって、データ管理用サーバ４５等では、「ｆｉｎａｌｉｚｅ」の値が“０”（偽）である間は、人間用観測装置１が赤外線タグを捕らえていると判断することができる。

図８は、図４に示すクラスタ記憶部４１５のトークテーブルのデータ構造を示す図である。クラスタ記憶部４１５では、図８に示すフィールド構成及びデータタイプのトークテーブルが作成され、「ｓｔａｒｔ」に聴覚クラスタ情報を構成する複数の聴覚情報のうち最初の聴覚情報の開始時間が、「ｅｎｄ」に最後の聴覚情報の終了時間がそれぞれ記憶され、上記と同様に、「ｆｉｎａｌｉｚｅ」に聴覚クラスタ情報の抽出終了を表す終了情報として“１”（真）又は“０”（偽）が格納される。すなわち、クラスタ処理部４１４は、ボイステーブルの「ｓｔａｔｕｓ」に“ＴＵＲＮ＿ＯＮ”が格納されると、その時間を「ｓｔａｒｔ」に格納するとともに、その区間が続いている間は、「ｆｉｎａｌｉｚｅ」を“０”（偽）に設定する。その後、ボイステーブルの「ｓｔａｔｕｓ」に“ＴＵＲＮ＿ＯＦＦ”が格納されると、クラスタ処理部４１４は、その区間が終了したものと判断して「ｆｉｎａｌｉｚｅ」を“１”（真）に設定し、その時間を「ｅｎｄ」に格納する。したがって、データ管理用サーバ４５等では、「ｆｉｎａｌｉｚｅ」の値が“０”（偽）である間は、発話が行われていると判断することができる。

本実施の形態では、人間用観測装置１の視覚情報の最小取得間隔は１００ｍｓｅｃ、聴覚情報の最小取得間隔は３ｓｅｃであるため、上記のクラスタリングに使用される最大間隔として２０秒を用いているが、この例に特に限定されず、他の時間間隔を用いたり、視覚情報と聴覚情報とで異なる最大間隔を用いる等の種々の変更が可能である。

なお、クラスタ記憶部４１５では、ローデータ記憶部４１３と同様に人間用観測装置１等が観測情報を取得すると即座にデータ更新が行われるが、ルックテーブルのクラスタリングが終了するのは実際の時間より最大間隔だけ後になるため、「ｆｉｎａｌｉｚｅ」が真に設定されるまでには最大間隔だけの遅延が生じる。

また、データ管理部４１２は、ローデータ記憶部４１３及びクラスタ記憶部４１５に記憶されている観測情報及びクラスタ情報を読み出し、通信部４１１を用いて素材作成用サーバ６及びデータ管理用サーバ４５へ出力する。

図９は、図１に示すデータ管理用サーバ４５の構成を示すブロック図である。図９に示すデータ管理用サーバ４５は、通信部４５１、データ管理部４５２、ステータス処理部４５３、ステータス記憶部４５４、イベント処理部４５５及びイベント記憶部４５６を備える。通信部４５１は、無線及び有線の通信インターフェースボード等から構成され、ステータス記憶部４５４及びイベント記憶部４５６は、ハードディスクドライブ等の外部記憶装置等から構成され、データ管理部４５２、ステータス処理部４５３及びイベント処理部４５５は、ＣＰＵが後述する情報管理プログラムを実行することにより実現される。

通信部４５１は、クライアントコンピュータ４２〜４４、ＡＶファイルサーバ５、素材作成用サーバ６及びＷｅｂサーバ７との間のデータ通信を制御する。通信部４５１は、クライアントコンピュータ４２〜４４から出力されるクラスタ情報をデータ管理部４５２へ出力し、クライアントコンピュータ４２〜４４から出力される映像データ及び音声データをＡＶファイルサーバ５へ出力する。

データ管理部４５２は、通信部４５１から出力されるクラスタ情報をステータス処理部４５３へ出力する。ステータス処理部４５３は、クラスタ情報を基に決定木に従ってオブジェクトの状態を表すステータスを推定し、推定したステータスをステータス情報としてステータス記憶部４５４に記憶させる。ここで、各クラスタ情報は、オブジェクトが他の一つのオブジェクトを捕らえていることを示すものであり、ステータス処理部４５３は、オブジェクトの型を考慮した決定木を用いて２つのオブジェクト間のインタラクションを推定し、推定した２つのオブジェクト間のインタラクションをステータスとしてステータス記憶部４５４のステータステーブルに格納する。

図１０は、図９に示すステータス記憶部４５４のステータステーブルのデータ構造を示す図である。ステータス記憶部４５４では、図１０に示すフィールド構成及びデータタイプのステータステーブルがオブジェクトごとに作成され、「ｓｔａｔｕｓ」に２つのオブジェクト間のインタラクションが、「ｓｔａｒｔ」にその開始時間が、「ｅｎｄ」にその終了時間が、「ｉｄ」にインタラクションの対象となるオブジェクトのＩＤ番号がそれぞれ記憶される。これらのデータにより、いつから（ｓｔａｒｔ）いつまで（ｅｎｄ）何（ｉｄ）に対してとのような状態（ｓｔａｔｕｓ）であったかがわかる。

また、ステータス処理部４５３は、クラスタ記憶部４１５に記憶されているクラスタ情報のうち最小継続時間以上継続しているクラスタ情報のみを用いて２つのオブジェクト間のインタラクションを推定する。図１１は、クラスタ情報のうち最小継続時間以上継続しているクラスタ情報のみを抽出する処理を模式的に説明する図である。

図１１の（ａ）に示すように、観測情報ＲＤが図示の時間間隔で得られた場合、クラスタ処理部４１４では、最大間隔Ｔ１以下の観測情報をクラスタリングするため、クラスタ記憶部４１５には６個のクラスタ情報Ｃ１〜Ｃ６が記憶される。このとき、図１１の（ｂ）に示すように、ステータス処理部４５３は、クラスタ情報Ｃ１〜Ｃ６のうち最小継続時間Ｔ２以上継続している２個のクラスタ情報Ｃ１,Ｃ４のみを抽出し、２個のクラスタ情報Ｃ１,Ｃ４のみを用いて２つのオブジェクト間のインタラクションを推定する。したがって、「ｆｉｎａｌｉｚｅ」が真となったクラスタ情報のうち、最小継続時間より短いクラスタ情報を意味のないものとして排除することができる。

図１２は、図９に示すステータス処理部４５３において用いられる決定木の一例を示す図である。図１２に示すように、ステータス処理部４５３は、クラスタ情報を有するオブジェクトの型すなわち自分の型が「ＨＵＭＡＮ」、「ＵＢＩＱ」及び「ＲＯＢＯＴ」のいずれであるかをオブジェクトのＩＤ番号により判断する。

自分の型が「ＵＢＩＱ」の場合、ステータス処理部４５３は、クラスタ情報により特定されるインタラクションの対象となるオブジェクトすなわち相手の型が「ＨＵＭＡＮ」及び「ＲＯＢＯＴ」のいずれであるかを視覚クラスタ情報の「ｉｄ」により判断する。ステータス処理部４５３は、相手の型が「ＨＵＭＡＮ」の場合、自分の「ｓｔａｔｕｓ」に自分が相手を捕らえていることを表す「ＣＡＰＴＵＲＥ」を格納するとともに、相手の「ｓｔａｔｕｓ」に相手から自分が捕らえられていることを表す「ＣＡＰＴＵＲＥＤ」を格納する。相手の型が「ＲＯＢＯＴ」の場合も同様である。

自分の型が「ＨＵＭＡＮ」の場合、ステータス処理部４５３は、相手の型が「ＨＵＭＡＮ」、「ＵＢＩＱ」及び「ＲＯＢＯＴ」のいずれであるかを判断する。相手の型が「ＵＢＩＱ」の場合、ステータス処理部４５３は、自分の「ｓｔａｔｕｓ」に自分が相手を見ていることを表す「ＬＯＯＫ ＡＴ」を格納するとともに、相手の「ｓｔａｔｕｓ」に相手から自分が見られていることを表す「ＬＯＯＫＥＤ ＡＴ」を格納する。

相手の型が「ＨＵＭＡＮ」の場合、ステータス処理部４５３は、お互いを捕らえているか否かを判断する。お互いを捕らえている場合、ステータス処理部４５３は、自分が発話しているか否かを判断し、発話している場合は自分の「ｓｔａｔｕｓ」に自分が相手に話し掛けていることを表す「ＴＡＬＫ ＷＩＴＨ」を格納し、発話していない場合は自分の「ｓｔａｔｕｓ」にお互いを捕らえていることを表す「ＬＯＯＫ ＴＯＧＥＴＨＥＲ」を格納する。ここで、相手の状態を判断していないのは、相手の決定木でも自らの状態の判定が行われるため、ここでの書き込みが不要だからである。他の判断も、上記と同様にして行われる。

なお、ステータス記憶部４５４では、クラスタ記憶部４１５に対して「ｆｉｎａｌｉｚｅ」が真となると即座にデータ更新が行われ、データ更新は実際の時間より最大間隔だけ遅延が生じる。

イベント処理部４５５は、ステータス記憶部４５４に記憶されているステータスを基にオブジェクト間のイベントを抽出し、抽出したイベントをイベント記憶部４５６に記憶させる。すなわち、イベント処理部４５５は、複数オブジェクトの状態に関して時間及び空間の重なりを調べ、予め決定した所定の規則を用いてそれらの区間に意味を与えることで３つ以上のオブジェクト間のインタラクションをイベントとして抽出し、イベント記憶部４５６のイベントネームテーブル及びイベントテーブルに格納する。

図１３は、図９に示すイベント記憶部４５６のイベントネームテーブルのデータ構造を示す図である。イベント記憶部４５６では、図１３に示すフィールド構成及びデータタイプのイベントネームテーブルが作成される。イベントネームテーブルは、発生したイベントの一覧であり、一つのみ作成される。各イベントには一意のイベントＩＤ番号が割り付けられ、イベントＩＤ番号が「ｅｖｅｎｔｉｄ」に、イベントの名前が「ｎａｍｅ」に、その時間帯の開始時間が「ｓｔａｒｔ」に、終了時間が「ｅｎｄ」にそれぞれ格納される。

図１４は、図９に示すイベント記憶部４５６のイベントテーブルのデータ構造を示す図である。イベント記憶部４５６では、図１４に示すフィールド構成及びデータタイプのイベントテーブルがオブジェクトごとに作成され、オブジェクトが参加したイベントのイベントＩＤ番号が「ｅｖｅｎｔｉｄ」に、イベントの開始時間が「ｓｔａｒｔ」に、終了時間が「ｅｎｄ」にそれぞれ格納される。これらのデータにより、オブジェクトがどのイベント（ｅｖｅｎｔｉｄ）にいつから（ｓｔａｒｔ）いつまで（ｅｎｄ）参加したかがわかる。また、上記のようにイベントネームテーブル及びイベントテーブルの二つのテーブルを用いることにより、イベントに参加するオブジェクトの数が変化する場合に対処することができる。

図１５は、図９に示すイベント処理部４５５において抽出されるイベントの例を示す模式図である。図１５の（ａ）はイベント「ＴＯＧＥＴＨＥＲ ＷＩＴＨ」を、（ｂ）はイベント「ＬＯＯＫ ＳＡＭＥ ＯＢＪＥＣＴ」、「ＴＡＬＫ ＡＢＯＵＴ」を、（ｃ）はイベント「ＣＯ−ＬＯＯＫ」を、（ｄ）はイベント「ＧＲＯＵＰ ＤＩＳＣＵＳＳＩＯＮ」をそれぞれ示している。

まず、周囲状況観測装置２が複数の人間Ａ，Ｂを捕らえている場合、人間が同じ場所に共存していることがわかるため、イベント処理部４５５は、このイベントをイベント「ＴＯＧＥＴＨＥＲ ＷＩＴＨ」と判断する。この場合、ある時点で近くにいた人物がわかる。

上記の状態で、一緒にいた人間Ａ，Ｂがそれぞれその区間内において周囲状況観測装置２が取り付けられた展示物の赤外線タグ９を見ていた場合、イベント処理部４５５は、発話していないときは、一緒に展示物を見ていることを表すイベント「ＬＯＯＫ ＳＡＭＥ ＯＢＪＥＣＴ」であると判断し、発話しているときは、その展示物についての話をしていることを表すイベント「ＴＡＬＫ ＡＢＯＵＴ」であると判断する。これは、人間は会話をするときにお互いを見ているとは限らず、この場合のように展示物を見ながらそれについて話すことが多いからである。

また、一緒にいた人間Ａ，Ｂがそれぞれその区間内において周囲状況観測装置２が取り付けられた展示物の赤外線タグ９を見ているが、周囲状況観測装置２が人間Ａ，Ｂを捕らえていない場合、イベント処理部４５５は、一緒に見ていることを単に表すイベント「ＣＯ−ＬＯＯＫ」であると判断する。

さらに、人間がある期間内に話している他の人間を特定することにより、イベント処理部４５５は、複数の人間が会話を行っていることを表すイベント「ＧＲＯＵＰ ＤＩＳＣＵＳＳＩＯＮ」を抽出する。

ここで、イベント処理部４５５がイベント「ＧＲＯＵＰ ＤＩＳＣＵＳＳＩＯＮ」を抽出する処理について詳細に説明する。図１６は、図９に示すステータス記憶部４５４のステータステーブルの一例を示す図である。図１６に示す例は、５つのオブジェクト１〜５があり、オブジェクト１〜４の型が「ＨＵＭＡＮ」、オブジェクト５の型が「ＵＢＩＱ」であり、図１６の（ａ）はオブジェクト１のステータステーブル、（ｂ）はオブジェクト２のステータステーブル、（ｃ）はオブジェクト３のステータステーブル、（ｄ）はオブジェクト４のステータステーブルをそれぞれ示している。

まず、イベント処理部４５５は、イベントの時間「ｓｔａｒｔ」、「ｅｎｄ」及びイベントの参加者リスト「ｌｉｓｔ」を用意し、「ｌｉｓｔ」を初期化する。次に、イベント処理部４５５は、ステータス記憶部４５４のオブジェクト１のステータステーブル（図１６の（ａ））を調べ、オブジェクト２と話したというデータを見つける。その継続時間（この場合、４５０−２４０＝２１０（ｓｅｃ））が所定時間より充分長ければ、「ｓｔａｒｔ」及び「ｅｎｄ」に２４０，４５０を設定し、「ｌｉｓｔ」にオブジェクト１，２を追加する。さらに、イベント処理部４５５は、前後のデータを参照して同じ人間と話したデータを検索する。ここでは、７００〜７８０（ｓｅｃ）までオブジェクト２と話したというデータが存在するため、イベント処理部４５５は、このデータとイベントとの間隔（この場合、７００−４５０＝２５０（ｓｅｃ））が所定間隔より小さければ同じイベントとみなし、「ｓｔａｒｔ」及び「ｅｎｄ」を更新し、「ｓｔａｒｔ」及び「ｅｎｄ」は２４０，７８０となる。

さらに、この区間に他の人間と話したデータがあれば、イベント処理部４５５は、「ｓｔａｒｔ」から「ｅｎｄ」までの時間の重なりを調べ、これが所定時間より充分に大きければ、このオブジェクトもイベントの参加者であるとみなして「ｌｉｓｔ」に追加し、「ｓｔａｒｔ」及び「ｅｎｄ」を更新する。この結果、「ｓｔａｒｔ」＝２４０、「ｅｎｄ」＝７８０、「ｌｉｓｔ」＝〔１，２，３〕となる。

次に、イベント処理部４５５は、オブジェクト１が見ていた人間（オブジェクト２，３）のステータステーブル（図１６の（ｂ）、（ｃ））を調べる。まず、イベント処理部４５５は、オブジェクト２のステータステーブルを参照して「ｓｔａｒｔ」から「ｅｎｄ」までの区間に近いデータのうち「ｓｔａｔｕｓ」が「ＴＡＬＫ ＴＯ」であるデータを取り出し、その継続時間が所定時間より充分長ければ、「ｓｔａｒｔ」及び「ｅｎｄ」を更新し、そのデータのオブジェクトが「ｌｉｓｔ」に含まれていない場合は追加する。ここでは、「ｓｔａｒｔ」及び「ｅｎｄ」が更新され、「ｓｔａｒｔ」及び「ｅｎｄ」は１２０，７８０となり、「ｌｉｓｔ」は変更されない。

上記と同様に、オブジェクト３のステータステーブルが処理され、オブジェクト４が追加され、「ｌｉｓｔ」＝〔１，２，３，４〕となる。次に、オブジェクト４のステータステーブルが調べられ、この場合、更新されるデータがないため、処理が終了される。

上記の処理が終了した後、イベント処理部４５５は、「ｌｉｓｔ」の大きさが３以上になった場合（３人以上の人間が会話を行っている場合）、イベント「ＧＲＯＵＰ ＤＩＳＣＵＳＳＩＯＮ」を発生させる。この結果、「ｓｔａｒｔ」＝１２０から「ｅｎｄ」＝７８０までの区間においてオブジェクト１〜４がイベント「ＧＲＯＵＰ ＤＩＳＣＵＳＳＩＯＮ」に参加したことがわかる。

他のイベントに関しても、上記と同様に処理が行われ、例えば、イベント「ＴＯＧＥＴＨＥＲ ＷＩＴＨ」については、人間であるオブジェクトのステータステーブルのうち「ｓｔａｔｕｓ」が「ＣＡＰＴＵＲＥＤ」であるデータを検索してその近くにあるデータを統合し、その人間を捕らえた周囲状況観測装置２のステータステーブルを調べて同じ区間内に重複して捕らえられた人間が複数いれば、イベント「ＴＯＧＥＴＨＥＲ ＷＩＴＨ」を発生させる。

なお、イベント処理部４５５が抽出するイベントは、上記の例に特に限定されず、他のイベントを抽出するようにしてもよい。また、イベント記憶部４５６では、ステータス情報がステータス記憶部４５４にある程度蓄積されなければ、イベントを抽出できないため、ある程度の時間の遅延が生じる。

また、データ管理部４５２は、ステータス記憶部４５４及びイベント記憶部４５６に記憶されているステータス情報及びイベント情報を読み出し、通信部４５１を用いて素材作成用サーバ６及びＷｅｂサーバ７へ出力する。

図１７は、図１に示す情報管理装置４において構築されるデータベースの階層構造を示す模式図である。上記の構成により、情報管理装置４において、観測情報を記憶するローデータ層が各クライアントコンピュータ４２〜４４のローデータ記憶部４１３から構成され、観測情報より抽象度の高いクラスタ情報を記憶するクラスタ層がクラスタ記憶部４１５から構成され、クラスタ情報より抽象度の高いステータス情報を記憶するステータス層がデータ管理用サーバ４５のステータス記憶部４５４から構成され、ステータス情報より抽象度の高いイベント情報を記憶するイベント層がイベント記憶部４５６から構成される。このように、情報管理装置４では、記憶される情報の抽象度に応じて各情報が階層的に管理される。

図１８は、図１に示す素材作成用サーバ６の構成を示すブロック図である。図１８に示す素材作成用サーバ６は、通信部６１、制御部６２、サムネイル作成部６３、素材用ファイルサーバ６４、ビデオ作成部６５及びＵＲＬ用ファイルサーバ６６を備える。通信部６１は、無線及び有線の通信インターフェースボード等から構成され、素材用ファイルサーバ６４及びＵＲＬ用ファイルサーバ６６は、ハードディスクドライブ等の外部記憶装置等から構成され、制御部６２、サムネイル作成部６３及びビデオ作成部６５は、ＣＰＵが後述する体験表示プログラムの素材作成プログラムを実行することにより実現される。

通信部６１は、クライアントコンピュータ部４１（クライアントコンピュータ４２〜４４）、ＡＶファイルサーバ５、データ管理用サーバ４５及びＷｅｂサーバ７との間のデータ通信を制御する。通信部６１は、クライアントコンピュータ４２〜４４（ローデータ記憶部４１３）から出力されるトラッカーテーブルのＩＤ番号及びＸＹ座標、ＡＶファイルサーバ５から抽出された映像データ、及びデータ管理用サーバ４５（ステータス記憶部４５４及びイベント記憶部４５６）から出力されるステータス情報及びイベント情報を制御部６２へ出力する。

制御部６２は、通信部６１等を用いて、３つ以上のオブジェクト間のインタラクションを表すイベントを特定するためのイベント情報をイベント記憶部４５６から取得してサムネイル作成部６３及びビデオ作成部６５へ出力する。サムネイル作成部６３は、取得したイベント情報を構成する２つのオブジェクト間のインタラクションを表すステータスを特定するためのステータス情報（第１のステータス情報）を取得するように制御部６２に指示する。

制御部６２は、通信部６１等を用いて、サムネイル作成部６３に指示されたステータス情報をステータス記憶部４５４から取得してサムネイル作成部６３へ出力する。サムネイル作成部６３は、取得したステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを取得するように制御部６２に指示する。

制御部６２は、通信部６１等を用いて、サムネイル作成部６３に指示された映像データをＡＶファイルサーバ５から取得してサムネイル作成部６３へ出力する。サムネイル作成部６３は、取得した映像データから静止画像データであるサムネイル画像データを作成し、体験ビデオカタログの素材として素材用ファイルサーバ６４に記憶させるとともに、記憶したサムネイル画像データのＵＲＬを特定するＵＲＬデータをＵＲＬ用ファイルサーバ６６に記憶させる。

ビデオ作成部６５は、取得したイベント情報を構成する２つのオブジェクト間のインタラクションを表すステータスを特定するためのステータス情報（第１のステータス情報）及びイベントに参加していない他のオブジェクトのステータス情報のうち当該イベントの継続時間内でイベントに参加しているオブジェクトとのインタラクションを表すステータス情報（第２のステータス情報）を取得するように制御部６２に指示する。

制御部６２は、通信部６１等を用いて、ビデオ作成部６５に指示されたステータス情報をステータス記憶部４５４から取得してビデオ作成部６５へ出力する。ビデオ作成部６５は、取得したステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを取得するように制御部６２に指示する。

制御部６２は、通信部６１等を用いて、ビデオ作成部６５に指示された映像データをＡＶファイルサーバ５から取得してビデオ作成部６５へ出力する。ビデオ作成部６５は、取得した映像データからオブジェクトが発話している映像を含む映像データであるビデオクリップを抽出し、抽出したビデオクリップを体験ビデオカタログの素材として素材用ファイルサーバ６４にサムネイル画像データと対応付けて記憶させるとともに、記憶したビデオクリップのＵＲＬを特定するＵＲＬデータをＵＲＬ用ファイルサーバ６６に記憶させる。

また、制御部６２は、素材用ファイルサーバ６４及びＵＲＬ用ファイルサーバ６６に記憶されているサムネイル画像データ、ビデオクリップ及びこれらのＵＲＬデータを読み出し、通信部６１を用いてＷｅｂサーバ７へ出力する。

図１９は、図１に示すカタログ作成用コンピュータ８の構成を示すブロック図である。図１９に示すカタログ作成用コンピュータ８は、通信部８１、操作部８２、ＸＭＬ作成部８３、画像処理部８４及び表示部８５を備える。通信部８１は、通信インターフェースボード等から構成され、操作部８２はキーボード及びマウス等から構成され、表示部８５はＣＲＴ（陰極線管）又は液晶表示装置等から構成され、ＸＭＬ作成部８３はＣＰＵが後述する体験表示プログラムの体験ビデオカタログ作成プログラムを実行することにより実現され、画像処理部８４はＣＰＵが後述する体験表示プログラムの体験ビデオカタログ表示プログラムを実行することにより実現される。

通信部８１は、ネットワーク１０を介してＷｅｂサーバ７との間のデータ通信を制御する。操作部８２は、ユーザ、例えば見学者が自身の体験ビデオカタログを表示させる際、ユーザがＩＤ番号を入力したり、表示部８５に表示されている複数のサムネイル画像の中から任意のサムネイル画像を選択するために使用され、入力されたＩＤ番号及び選択されたサムネイル画像をＸＭＬ作成部８３及び画像処理部８４へ出力する。

ＸＭＬ作成部８３は、入力されたＩＤ番号からユーザを特定して当該ユーザが参加したイベント数及びステータス数をデータ管理用サーバ４５のステータス記憶部４５４及びイベント記憶部４５６から通信部８１等を介して取得し、当該ユーザの経験に適した体験ビデオカタログのモデルを決定する。また、ＸＭＬ作成部８３は、決定したモデルに応じてサムネイル画像データ及びビデオクリップを素材作成用サーバ６から通信部８１等を介して取得し、ＸＭＬ形式の体験ビデオカタログファイルを作成して画像処理部８４へ出力する。

画像処理部８４は、ＸＭＬ形式の体験ビデオカタログファイルを解釈し、複数のサムネイル画像データにより構成される複数のサムネイル画像を、ユーザが参加したイベント数及びステータス数に応じて２次元的に配置する体験ビデオカタログを表示部８５に表示させる。また、画像処理部８４は、ユーザが操作部８２を用いて選択したサムネイル画像に対してビデオクリップが対応付けられている場合、当該ビデオクリップによる動画を表示部８５に表示させる。なお、画像処理部８４は、ユーザが参加したイベント数又はステータス数に応じてサムネイル画像を２次元的に配置するようにしてもよい。

本実施の形態では、通信部６１及び制御部６２がイベント取得手段の一例に相当し、通信部６１、制御部６２、サムネイル作成部６３及びビデオ作成部６５がステータス取得手段の一例に相当し、通信部６１、制御部６２及びサムネイル作成部６３が映像取得手段の一例に相当し、サムネイル作成部６３が静止画像作成手段の一例に相当し、カタログ作成用コンピュータ８が表示手段の一例に相当する。また、通信部６１、制御部６２及びビデオ作成部６５が映像抽出手段の一例に相当し、ビデオ作成部６５が対応付け手段の一例に相当し、操作部８２が選択手段の一例に相当し、通信部６１、制御部６２及びサムネイル作成部６３が位置取得手段の一例に相当する。

次に、上記のように構成された体験表示システムの情報管理装置４による情報管理処理について説明する。図２０は、図１に示す情報管理装置４の情報管理処理を説明するためのフローチャートである。なお、図１８に示す情報管理処理は、クライアントコンピュータ４２〜４４及びデータ管理用サーバ４５が予め記憶されている情報管理プログラムを実行することにより行われる処理である。

まず、ステップＳ１１において、クライアントコンピュータ４２〜４４のデータ管理部４１２は、観測情報として、画像処理装置１１４から出力されるＩＤ番号及びＸＹ座標及び音声処理回路１４１から出力される音声データを、通信部４１１を介して取得する。

次に、ステップＳ１２において、データ管理部４１２は、観測情報として、ＩＤ番号及びＸＹ座標を取得時間とともにローデータ記憶部４１３のトラッカーテーブルに記憶させ、音声データから発話の開始時間及び終了時間を特定し、特定した発話の開始時間及び終了時間をローデータ記憶部４１３のボイステーブルに記憶させる。

次に、ステップＳ１３において、クラスタ処理部４１４は、ローデータ記憶部４１３のトラッカーテーブル等から取得時間を読み出し、オブジェクトごとに取得間隔が最大間隔以下の観測情報をクラスタリングしてクラスタ情報を作成し、作成したクラスタ情報をクラスタ記憶部４１５のルックテーブル及びトークテーブルに記憶させる。

次に、ステップＳ１４において、クラスタ処理部４１４は、クラスタ区間が確定したか否かすなわち現在の時間と人間用観測装置１等から視覚情報が得られた時間との差が最大間隔以上になったか否かを判断し、クラスタ区間が確定していない場合はステップＳ１１以降の処理を繰り返し、クラスタ区間が確定した場合はステップＳ１５へ処理を移行する。

クラスタ区間が確定した場、ステップＳ１５において、クラスタ処理部４１４は、ルックテーブルの「ｆｉｎａｌｉｚｅ」を“１”（真）に設定し、その時間を「ｅｎｄ」に格納してクラスタ情報をファイナライズする。

次に、ステップＳ１６において、データ管理用サーバ４５のデータ管理部４５２は、通信部４５１及び通信部４１１を介してデータ管理部４１２に対してクラスタ記憶部４１５のクラスタ情報を送信するように要求し、送信されたクラスタ情報をステータス処理部４５３へ出力する。ステータス処理部４５３は、図１２に示す決定木に従ってクラスタ情報から２つのオブジェクト間のインタラクションを推定する。

次に、ステップＳ１７において、ステータス処理部４５３は、推定した２つのオブジェクト間のインタラクションをステータス情報としてステータス記憶部４５４のステータステーブルに記憶する。

次に、ステップＳ１８において、イベント処理部４５５は、ステータス記憶部４５４に記憶されている２つのオブジェクト間のインタラクションに関して時間及び空間の重なりを調べてイベントを順次抽出し、抽出したイベントが確定したか否かすなわちイベントとして予め設定されている抽出条件を満たすか否かを判断し、イベントが確定していない場合はステップＳ１１以降の処理を繰り返し、イベントが確定した場合はステップＳ１９へ処理を移行する。

イベントが確定した場合、ステップＳ１９において、イベント処理部４５５は、確定したイベントをイベント記憶部４５６のイベントネームテーブル及びイベントテーブルに記憶し、その後、ステップＳ１１以降の処理を継続する。

上記の処理により、情報の抽象度に応じて各情報が階層的に記憶されるので、アプリケーションの特徴に応じてアクセスする階層を選択することができ、即時性の高い情報を用いるアプリケーションに対して下位の記憶手段から即時性の高い情報を提供することができるとともに、抽象性の高い情報を用いるアプリケーションに対して上位の記憶手段から抽象性の高い情報を提供することができ、種々のアプリケーションに対して適切な情報を適切なタイミングで提供することができる。

次に、上記のように構成された体験表示システムの素材作成用サーバ６による素材作成処理について説明する。図２１は、図１に示す素材作成用サーバ６の素材作成処理を説明するためのフローチャートである。なお、図２１に示す素材作成処理は、素材作成用サーバ６が予め記憶されている素材作成プログラムを実行することにより行われる処理である。

まず、ステップＳ２１において、素材作成用サーバ６の制御部６２は、通信部６１等を用いて、データ管理用サーバ４５に対してイベントが確定しているか否かを問合せ、データ管理用サーバ４５から新たにイベントが確定している旨の通知を受信した場合はステップＳ２２へ処理を移行し、データ管理用サーバ４５から新たなイベントは確定していない旨の通知を受信した場合はステップＳ２４へ処理を移行する。

イベントが確定している場合、ステップＳ２２において、制御部６２は、通信部６１等を用いて、イベント情報をイベント記憶部４５６から取得してサムネイル作成部６３へ出力し、サムネイル作成部６３は、イベント情報からサムネイル画像を作成するイベントからのサムネイル作成処理を実行する。

図２２は、図１８に示すサムネイル作成部６３におけるイベントからのサムネイル作成処理を説明するためのフローチャートである。まず、ステップＳ３１において、サムネイル作成部６３は、取得したイベント情報を構成する全てのステータス情報をステータス記憶部４５４から制御部６２等を介して取得する。

次に、ステップＳ３２において、サムネイル作成部６３は、取得したステータス情報からインタラクションを行っているオブジェクトを特定し、当該オブジェクトのＸＹ座標をローデータ記憶部４１３のトラッカーテーブルから制御部６２等を介して取得し、取得したオブジェクトのＸＹ座標からサムネイル画像を切り出す最適時間を決定する。具体的には、人間観測装置１を装着した人間Ａの人間観測装置１により人間Ｂを含む画像が撮影されていた場合、サムネイル作成部６３は、当該時間帯において予め定められた最適位置（例えば、人間Ｂの位置が画像の中心に位置する場合）と人間ＢのＸＹ座標との距離差が最も小さい時間から順に一定数の切り出し時間を最適時間として決定する。

次に、ステップＳ３３において、サムネイル作成部６３は、決定した最適時間を含む映像データをＡＶファイルサーバ５から制御部６２等を介して取得し、取得した映像データから最適時間の静止画像データをサムネイル画像データとして切り出し、素材用ファイルサーバ６４に記憶させるとともに、記憶したサムネイル画像データのＵＲＬデータをＵＲＬ用ファイルサーバ６６に記憶させる。

次に、ステップＳ３４において、サムネイル作成部６３は、ステップＳ３１において取得した全てのステータス情報に対して上記の処理が完了したか否かを判断し、全てのステータス情報に対する処理が完了していない場合はステップＳ３２以降の処理を繰り返し、全てのステータス情報に対する処理が完了した場合は図２１に示すステップＳ２３へ処理を戻す。

図２３は、イベントの一例を示す模式図であり、図２４は、図２３に示すイベントを構成するステータスを示す模式図である。図２３に示す例は、ＩＤ番号１の人間のオブジェクトｉｄ１とＩＤ番号２の人間のオブジェクトｉｄ２とがお互いを捕らえていることを表す「ＬＯＯＫ ＴＯＧＥＴＨＥＲ」のステータスＳ１，Ｓ２にあり、さらに、オブジェクトｉｄ２はＩＤ番号５の人間のオブジェクトｉｄ５を見ている「ＬＯＯＫ ＡＴ」のステータスＳ３にあり、オブジェクトｉｄ１，ｉｄ２，ｉｄ５のステータスＳ１〜Ｓ３により複数の人間が会話を行っていることを表す「ＧＲＯＵＰ ＤＩＳＣＵＳＳＩＯＮ」のイベントＥ１が構成されている。一方、周囲状況観測装置１を設置されたＩＤ番号５の展示物のオブジェクトがオブジェクトｉｄ１を捕らえている「ＣＡＰＴＵＲＥ」のステータスＳ４にあるが、ステータスＳ４はイベントＥ１を構成しない。この場合、図２４に示すようにイベントＥ１を構成するステータスＳ１〜Ｓ３の各サムネイル画像データが作成され、イベントＥ１を構成しないステータスＳ４のサムネイル画像データは作成されない。

再び、図２１を参照して、ステップＳ２２の処理が終了した後、ステップＳ２３において、制御部６２は、取得したイベント情報をビデオ作成部６５へ出力し、ビデオ作成部６５は、イベント情報からビデオクリップを作成するイベントからのビデオクリップ作成処理を実行する。

図２５は、図１８に示すビデオ作成部６５におけるイベントからのビデオクリップ作成処理を説明するためのフローチャートである。まず、ステップＳ４１において、ビデオ作成部６５は、取得したイベント情報を構成する全てのステータス情報をステータス記憶部４５４から制御部６２等を介して取得する。

次に、ステップＳ４２において、ビデオ作成部６５は、イベントに参加したオブジェクトをイベント時間中に捕らえている、イベントに参加していないオブジェクトのステータス情報をステータス記憶部４５４から制御部６２等を介して取得する。

次に、ステップＳ４３において、ビデオ作成部６５は、ステップＳ４１，Ｓ４２において取得したステータス情報を有するオブジェクトの聴覚情報をローデータ記憶部４１３のボイステーブルから制御部６２等を介して受信し、各オブジェクトの発話時間を取得する。なお、発話時間は、ＡＶファイルサーバ５に記憶されている音声データを用いて特定してもよい。

次に、ステップＳ４４において、ビデオ作成部６５は、取得したオブジェクトの発話時間を基にステータスの継続期間中に発話者がいるか否かを判断し、発話者がいる場合はステップＳ４６へ処理を移行し、発話者がいない場合はステップＳ４５へ処理を移行する。

発話者がいない場合、ステップＳ４５において、ビデオ作成部６５は、ステップＳ４１，Ｓ４２において取得したステータスのうちイベントを構成しないステータスに属する映像データをＡＶファイルサーバ５から制御部６２等を介して優先的に抽出し、イベントを構成しないステータスに属する映像データがない場合はイベントを構成するステータスに属する映像データを抽出し、その後、処理をステップＳ５１へ移行する。なお、ビデオ作成部６５は、イベントを構成しないステータスに属する映像データ及びイベントを構成するステータスに属する映像データがない場合は映像データを抽出しない。

一方、発話者がいる場合、ステップＳ４６において、ビデオ作成部６５は、発話者が発話している時間を対象として映像データをＡＶファイルサーバ５から制御部６２等を介して抽出し、発話者を捕らえている映像データがあるか否かを判断し、発話者を捕らえている映像データがある場合はステップＳ４７へ処理を移行し、発話者を捕らえている映像データがない場合はステップＳ４８へ処理を移行する。

発話者を捕らえている映像データがある場合、ステップＳ４７において、ビデオ作成部６５は、ステップＳ４１，Ｓ４２において取得したステータスのうちイベントを構成するステータスに属する映像データをＡＶファイルサーバ５から制御部６２等を介して優先的に抽出し、イベントを構成するステータスに属する映像データがない場合はイベントを構成しないステータスに属する映像データを抽出し、その後、処理をステップＳ５１へ移行する。

一方、発話者を捕らえている映像データがない場合、ステップＳ４８において、イベントに参加したオブジェクトで発話していない人間を撮影している映像データがあるか否かを判断し、発話していない人間を撮影している映像データがある場合はステップＳ４９へ処理を移行し、発話していない人間を撮影している映像データがない場合はステップＳ５０へ処理を移行する。

発話していない人間を撮影している映像データがある場合、ステップＳ４９において、ビデオ作成部６５は、ステップＳ４１，Ｓ４２において取得したステータスのうちイベントを構成するステータスに属する映像データで且つイベントに参加したオブジェクトで発話していない人間を撮影している映像データをＡＶファイルサーバ５から制御部６２等を介して優先的に抽出し、イベントを構成するステータスに属する映像データがない場合はイベントを構成しないステータスに属する映像データで且つイベントに参加したオブジェクトで発話していない人間を撮影している映像データを抽出し、その後、処理をステップＳ５１へ移行する。

一方、発話していない人間を撮影している映像データがない場合、ステップＳ５０において、ビデオ作成部６５は、所定の映像データを抽出する、又は、映像データを抽出しない。

次に、ステップＳ５１において、ビデオ作成部６５は、ステップＳ４１、Ｓ４２において取得した全てのステータス情報に対して上記の処理が完了したか否かを判断し、全てのステータス情報に対する処理が完了していない場合はステップＳ４４以降の処理を繰り返し、全てのステータス情報に対する処理が完了した場合はステップＳ５２へ処理を移行する。

次に、ステップＳ５２において、ビデオ作成部６５は、抽出したビデオクリップをステータスごとに連結し、連結したビデオクリップをサムネイル画像データと対応付けて素材用ファイルサーバ６４に記憶させるとともに、記憶したビデオクリップのＵＲＬデータをＵＲＬ用ファイルサーバ６６に記憶させ、その後、図２１に示すステップＳ２４へ処理を戻す。

図２６は、図２３に示す各ステータス及び発話状態の一例を示す模式図である。図２６に示すように、期間Ｔ２〜Ｔ４においてオブジェクトｉｄ２が発話し、期間Ｔ４〜Ｔ６においてオブジェクトｉｄ１が発話し、期間Ｔ９〜Ｔ１０においてオブジェクトｉｄ１が発話している場合、期間Ｔ１〜Ｔ３においてイベントを構成するステータスＳ１の映像データが抽出され、期間Ｔ３〜Ｔ５においてイベントを構成しないステータスＳ４の映像データが抽出され、期間Ｔ５〜Ｔ６においてイベントを構成するステータスＳ２の映像データが抽出され、期間Ｔ６〜Ｔ７においてイベントを構成しないステータスＳ４の映像データが抽出され、期間Ｔ７〜Ｔ８においてイベントを構成するステータスＳ２の映像データが抽出され、期間Ｔ１１〜Ｔ１２においてイベントを構成するステータスＳ３の映像データが抽出される。

再び、図２１を参照して、ステップＳ２４において、サムネイル作成部６３は、予め設定された一定時間が経過したか否かを判断し、一定時間が経過していない場合はステップＳ２１以降の処理を継続し、一定時間が経過した場合はステップＳ２５へ処理を移行する。

一定時間が経過した場合、ステップＳ２５において、サムネイル作成部６３は、一定時間内に発生したステータス情報をステータス記憶部４５４から制御部６２等を介して取得し、オブジェクトごとに一定時間内で継続時間の長いステータス情報（第３のステータス情報）を予め設定された一定数だけ抽出する。

次に、ステップＳ２６において、サムネイル作成部６３は、抽出されたステータス情報からサムネイル画像を作成するステータスからのサムネイル作成処理を実行する。このステータスからのサムネイル作成処理は、図２２に示すステップＳ３２〜Ｓ３４と同様の処理であるため、図２２を用いて以下に説明する。

まず、ステップＳ３２において、サムネイル作成部６３は、取得したステータス情報からインタラクションを行っているオブジェクトを特定し、当該オブジェクトのＸＹ座標をローデータ記憶部４１３のトラッカーテーブルから制御部６２等を介して取得し、取得したオブジェクトのＸＹ座標からサムネイル画像を切り出す最適時間を決定する。

次に、ステップＳ３３において、サムネイル作成部６３は、決定した最適時間を含む映像データをＡＶファイルサーバ５から制御部６２等を介して取得し、取得した映像データから最適時間の静止画像データをサムネイル画像データとして切り出し、素材用ファイルサーバ６４に記憶させるとともに、記憶したサムネイル画像データのＵＲＬデータをＵＲＬ用ファイルサーバ６６に記憶させる。

次に、ステップＳ３４において、サムネイル作成部６３は、図２１に示すステップＳ２５において取得した全てのステータス情報に対して上記の処理が完了したか否かを判断し、全てのステータス情報に対する処理が完了していない場合はステップＳ３２以降の処理を繰り返し、全てのステータス情報に対する処理が完了した場合は図２１に示すステップＳ２１以降の処理を継続する。

次に、上記のように構成された体験表示システムのカタログ作成用コンピュータ８による体験ビデオカタログ作成処理について説明する。図２７は、図１に示すカタログ作成用コンピュータ８の体験ビデオカタログ作成処理を説明するためのフローチャートである。なお、図２７に示す体験ビデオカタログ作成処理は、カタログ作成用コンピュータ８が予め記憶されている体験ビデオカタログ作成プログラムを実行することにより行われる処理である。

まず、カタログ作成用コンピュータ８のユーザ、例えば見学者が操作部８２を操作して自身のユーザＩＤを入力すると、ステップＳ６１において、操作部８２は、ユーザＩＤを受け付け、ユーザＩＤをＸＭＬ作成部８３へ出力する。

次に、ステップＳ６１において、ＸＭＬ作成部８３は、ユーザＩＤにより特定されるオブジェクトのイベント情報及びステータス情報をデータ管理用サーバ４５のイベント記憶部４５６及びステータス記憶部４５４から通信部８１等を介して取得し、ユーザの経験したイベント数が所定数以上か否かを判断し、イベント数が所定数以上の場合にステップＳ６３においてユーザのモデルを第１モデルに設定してステップＳ６９へ処理を移行し、イベント数が所定数以上でない場合はステップＳ６４へ処理を移行する。

図２８は、第１モデルによる体験ビデオカタログの表示例を示す図である。図２８に示すように、第１モデルによる体験ビデオカタログでは、イベント又はステータスとして検出されたユーザの行動履歴を表すサムネイル画像１〜１６が略逆Ｕ字状の領域に配置され、体験ビデオカタログの周辺部には、後述する統計データ処理により得られたユーザの行動履歴に関連するサムネイル画像１７〜２３が配置される。このとき、体験ビデオカタログの中央上部に継続時間の長いイベント又はステータスを表すサムネイル画像９が大きく表示され、イベントを代表する重要度の高いサムネイル画像１，７，９，１４，１６にはイベントに応じて作成されたセリフを表示する吹き出しＡ〜Ｅが配置される。

なお、配置されるサムネイル画像の大きさ、数及び位置は、上記の例に特に限定されず、種々の変更が可能であり、例えば、ユーザの行動履歴を表示するコマ数を１３個に設定し、５個のイベントが検出された場合、各イベントに３個、３個、３個、２個、２個のコマをそれぞれ割り当て、各イベントを構成するステータスのサムネイル画像を各コマに配置するようにしてもよい。このとき、割り振られたコマ数に充分なステータス数がない場合は、イベントを構成しないステータスのサムネイル画像を配置してもよい。また、体験ビデオカタログの所定位置にユーザごとに予め設定されているキャラクタの画像（例えば、やかんを模したキャラクタ）を配置してもよく、吹き出しをキャラクタのセリフとして表示してもよい。これらの点に関しては他のモデルも同様である。

イベント数が所定数以上ない場合、ステップＳ６４において、ＸＭＬ作成部８３は、取得したステータスの中に他の特定のユーザとのインタラクションを表すステータスが所定数以上あるか否かを判断し、他の特定のユーザとのインタラクションを表すステータスが所定数以上ある場合はステップＳ６５においてユーザのモデルを第２モデルに設定してステップＳ６９へ処理を移行し、他の特定のユーザとのインタラクションを表すステータスが所定数以上ない場合はステップＳ６６へ処理を移行する。

図２９は、第２モデルによる体験ビデオカタログの表示例を示す図である。図２９に示すように、第２モデルによる体験ビデオカタログでは、他の特定のユーザの行動履歴を表すサムネイル画像１〜１０が順に配置され、その横にユーザの行動履歴を表すサムネイル画像１１〜２１が配置され、体験ビデオカタログの右側部には、統計データ処理により得られたユーザの行動履歴に関連するサムネイル画像２２〜２８が配置される。また、イベントを代表する重要度の高いサムネイル画像７，８，１１，１２，１５，２１にはイベントに応じて作成されたセリフを表示する吹き出しＡ〜Ｆが配置され、統計データ処理によるサムネイル画像２２〜２８の近傍に吹き出しＧが配置される。

他の特定のユーザとのインタラクションを表すステータスが所定数以上ない場合、ステップＳ６６において、ＸＭＬ作成部８３は、他の特定のユーザと所定時間以上一つのステータスを共有していたか否かを判断し、他の特定のユーザと所定時間以上一つのステータスを共有していた場合はステップＳ６７においてユーザのモデルを第３モデルに設定してステップＳ６９へ処理を移行し、他の特定のユーザと所定時間以上一つのステータスを共有していない場合はステップＳ６８においてユーザのモデルを第４モデルに設定してステップＳ６９へ処理を移行する。

図３０は、第３モデルによる体験ビデオカタログの表示例を示す図である。図２９に示すように、第３モデルによる体験ビデオカタログでは、ユーザの行動履歴を表すサムネイル画像１〜１３が中央部に配置され、その周辺部には統計データ処理により得られたユーザの行動履歴に関連するサムネイル画像１４〜２０が配置される。また、ユーザの行動履歴を表すサムネイル画像１〜１３のうち中央部のサムネイル画像１，２には他の特定のユーザと共有したステータスのサムネイル画像が大きく表示され、イベントを代表する重要度の高いサムネイル画像１，２，５，１７にはイベントに応じて作成されたセリフを表示する吹き出しＡ〜Ｄが配置され、統計データ処理によるサムネイル画像１０、１５及び１９，２０の近傍に吹き出しＥ，Ｆが配置される。

図３１は、第４モデルによる体験ビデオカタログの表示例を示す図である。図３１に示すように、第４モデルによる体験ビデオカタログでは、ユーザの行動履歴を表すサムネイル画像１〜１９が対角線上に配置され、その右下部及び左上部には統計データ処理により得られたユーザの行動履歴に関連するサムネイル画像２０〜２６及び３０〜４０が配置され、統計データ処理によるサムネイル画像２０〜２６の左下部に予め記憶されている会場の写真等のプリセットデータによるプリセット画像２７〜２９が配置される。また、イベントを代表する重要度の高いサムネイル画像１，６，７，１４，１７にはイベントに応じて作成されたセリフを表示する吹き出しＡ〜Ｅが配置され、統計データ処理によるサムネイル画像２０〜２６及び３０〜４０の近傍に吹き出しＦ，Ｇが配置され、予め記憶されているプリセット画像２７〜２９の近傍に吹き出しＨ，Ｉが配置される。

次に、ステップＳ６９において、ＸＭＬ作成部８３は、ステップＳ６３，Ｓ６５，Ｓ６７，Ｓ６８において設定されたモデルに応じてイベント及びステータスのサムネイル画像データ及びビデオクリップのＵＲＬを素材作成用サーバ６の素材用ファイルサーバ６４及びＵＲＬ用ファイルサーバ６６から通信部８１等を介して取得する。

次に、ステップＳ６９において、ＸＭＬ作成部８３は、通信部８１等を介してデータ管理用サーバ４５のステータス記憶部４５４及びイベント記憶部４５６に蓄積されているステータス情報及びイベント情報を取得して統計データ処理を実行し、ユーザの行動履歴に関連するサムネイル画像データのＵＲＬを素材作成用サーバ６のＵＲＬ用ファイルサーバ６６から通信部８１等を介して取得する。

統計データ処理としては、例えば、所定のデータベースに格納されているユーザ間の類似性を数値化した値を参照してユーザと興味が近い人を抽出したり、ある時間までに各ブースを訪問した人の数を算出して展示物のランキングを決定したり、ある時間までに「ＬＯＯＫ ＡＴ」の総和時間の最も長い人又は短い人を、注目を集めた人又は注目を集めなかった人として抽出したり、ある時間までのイベント数が最も多い人又は最も少ない人を、活発にインタラクションを行った人又は活発にインタラクションを行わなかった人として抽出する等の処理が該当する。

次に、ステップＳ７１において、ＸＭＬ作成部８３は、予め記憶しているプリセットデータを追加する。次に、ステップＳ７２において、ＸＭＬ作成部８３は、上記の各処理で得られたデータを用いた体験ビデオカタログを表示するためのＸＭＬファイルを作成する。

次に、上記のように構成された体験表示システムのカタログ作成用コンピュータ８による体験ビデオカタログ表示処理について説明する。図３２は、図１に示すカタログ作成用コンピュータ８の体験ビデオカタログ表示処理を説明するためのフローチャートである。なお、図３２に示す体験ビデオカタログ表示処理は、カタログ作成用コンピュータ８が予め記憶されている体験ビデオカタログ表示プログラムを実行することにより行われる処理である。

まず、ステップＳ８１において、カタログ作成用コンピュータ８の画像処理部８４は、ＸＭＬ作成部８３により作成されたＸＭＬファイルを読み込み、ステップＳ８２において、読み込んだＸＭＬファイルを解釈する。次に、ステップＳ８３において、画像処理部８４は、予め記憶されている複数のテンプレートの中から設定されているモデルに従って体験ビデオカタログのテンプレートを選択する。

次に、ステップＳ８４において、画像処理部８４は、ＸＭＬファイル内のＵＲＬを参照して各コマのサムネイル画像データを素材作成用サーバ６の素材用ファイルサーバ６４から通信部８１等を介して取得する。次に、ステップＳ８５において、画像処理部８４は、取得したサムネイル画像データをコマの大きさに合わせる等の加工を行う。次に、ステップＳ８６において、画像処理部８４は、予め設定されているコマのタイプ属性値に従って吹き出し用のテキストデータを作成する。

次に、ステップＳ８７において、画像処理部８４は、加工したサムネイル画像及び作成したテキストを描画して体験ビデオカタログを表示部８５に表示する。次に、ステップＳ８８において、画像処理部８４は、ビデオクリップが対応付けられているサムネイル画像にビデオクリップのＵＲＬを埋め込む。次に、ステップＳ８９において、画像処理部８４は、全てのコマに対する処理が完了したか否かを判断し、全てのコマに対する処理が完了していない場合はステップＳ８４移行の処理を繰り返し、全てのコマに対する処理が完了している場合は処理をステップＳ９０に移行する。

次に、ステップＳ９０において、画像処理部８４は、プリセットデータによりプリセット画像を描画して表示部８５に表示する。次に、画像処理部８４は、ユーザが操作部８２を操作してビデオクリップが対応付けられているサムネイル画像を選択したか否かを判断し、サムネイル画像が選択された場合はステップＳ９２へ処理を移行し、サムネイル画像が選択されていない場合ステップＳ９１の処理を繰り返す。

サムネイル画像が選択された場合、ステップＳ９２において、画像処理部８４は、選択されたサムネイル画像に対応付けられているビデオクリップのＵＲＬを参照して素材作成用サーバ６の素材用ファイルサーバ６４から通信部８１等を介してビデオクリップを取得し、取得したビデオクリップを再生して表示部８５に表示する。

上記の処理により、本実施の形態では、素材作成用サーバ６によりユーザを含む３つ以上のオブジェクト間のインタラクションを表すイベントを特定するためのイベント情報が取得され、取得されたイベント情報を構成する２つのオブジェクト間のインタラクションを表すステータスを特定するためのステータス情報が取得され、取得されたステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データが取得され、取得された映像データからサムネイル画像が体験履歴データとして作成される。この結果、ユーザの経験を適切に表すサムネイル画像を作成することができるので、カタログ作成用コンピュータ８によりユーザが参加したイベント数及びステータス数に応じて複数のサムネイル画像を２次元的に配置して表示し、ユーザの経験を適切に表すサムネイル画像を用いてユーザの経験をリアルに一覧表示することができる。

なお、上記の説明では、素材作成用サーバ６、Ｗｅｂサーバ７及びカタログ作成用コンピュータ８により体験表示装置を構成したが、体験表示装置の構成はこの例に特に限定されず、素材作成用サーバ６及びカタログ作成用コンピュータ８の機能を一つのコンピュータにより実現したり、３台以上のコンピュータにより実現する等の種々の変更が可能である。

本発明の一実施の形態による体験表示装置を用いた体験表示システムの構成を示すブロック図である。 図１に示す赤外線タグ及び人間用観測装置の構成を示すブロック図である。 図１に示す周囲状況観測装置の構成を示すブロック図である。 図１に示すクライアントコンピュータの構成を示すブロック図である。 図４に示すローデータ記憶部のトラッカーテーブルのデータ構造を示す図である。 図４に示すローデータ記憶部のボイステーブルのデータ構造を示す図である。 図４に示すクラスタ記憶部のルックテーブルのデータ構造を示す図である。 図４に示すクラスタ記憶部のトークテーブルのデータ構造を示す図である。 図１に示すデータ管理用サーバの構成を示すブロック図である。 図９に示すステータス記憶部のステータステーブルのデータ構造を示す図である。 クラスタ情報のうち最小継続時間以上継続しているクラスタ情報のみを抽出する処理を模式的に説明する図である。 図９に示すステータス処理部において用いられる決定木の一例を示す図である。 図９に示すイベント記憶部のイベントネームテーブルのデータ構造を示す図である。 図９に示すイベント記憶部のイベントテーブルのデータ構造を示す図である。 図９に示すイベント処理部において抽出されるイベントの例を示す模式図である。 図９に示すステータス記憶部のステータステーブルの一例を示す図である。 図１に示す情報管理装置において構築されるデータベースの階層構造を示す模式図である。 図１に示す素材作成用サーバの構成を示すブロック図である。 図１に示すカタログ作成用コンピュータの構成を示すブロック図である。 図１に示す情報管理装置の情報管理処理を説明するためのフローチャートである。 図１に示す素材作成用サーバの素材作成処理を説明するためのフローチャートである。 図１８に示すサムネイル作成部におけるイベントからのサムネイル作成処理を説明するためのフローチャートである。 イベントの一例を示す模式図である。 図２３に示すイベントを構成するステータスを示す模式図である。 図１８に示すビデオ作成部におけるイベントからのビデオクリップ作成処理を説明するためのフローチャートである。 図２３に示す各ステータス及び発話状態の一例を示す模式図である。 図１に示すカタログ作成用コンピュータの体験ビデオカタログ作成処理を説明するためのフローチャートである。 第１モデルによる体験ビデオカタログの表示例を示す図である。 第２モデルによる体験ビデオカタログの表示例を示す図である。 第３モデルによる体験ビデオカタログの表示例を示す図である。 第４モデルによる体験ビデオカタログの表示例を示す図である。 図１に示すカタログ作成用コンピュータの体験ビデオカタログ表示処理を説明するためのフローチャートである。

符号の説明

１ 人間用観測装置
２ 周囲状況観測装置
３ ロボット型観測装置
４ 情報管理装置
５ ＡＶファイルサーバ
６ 素材作成用サーバ
７ Ｗｅｂサーバ
８ カタログ作成用コンピュータ
９ 赤外線タグ
４１ クライアントコンピュータ部
４２〜４４ クライアントコンピュータ
４５ データ管理用サーバ
６１ 通信部
６２ 制御部
６３ サムネイル作成部
６４ 素材用ファイルサーバ
６５ ビデオ作成部
６６ ＵＲＬ用ファイルサーバ
８１ 通信部
８２ 操作部
８３ ＸＭＬ作成部
８４ 画像処理部
８５ 表示部

Claims (10)

1. 情報管理装置及びＡＶファイルサーバを用いて、ユーザが現実空間で体験したインタラクションを表す体験履歴データを可視的に表示する体験表示装置であって、
   前記情報管理装置は、
   オブジェクトの視界内に位置する他のオブジェクトを検出する観測装置により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとにローデータ記憶部に記憶させるデータ管理部と、
   前記ローデータ記憶部に記憶されている視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとにクラスタ記憶部に記憶するクラスタ管理部と、
   前記クラスタ記憶部に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにステータス情報としてステータス記憶部に記憶するステータス処理部と、
   前記ステータス記憶部に記憶されている視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記ステータス情報より抽象度の高いイベント情報としてイベント記憶部に記憶するイベント処理部とを備え、
   前記情報管理装置は、前記観測装置によって撮影された映像データを各データの観測時刻により特定可能な形式で前記ＡＶファイルサーバに蓄積させ、
   前記体験表示装置は、
   前記イベント記憶部から、ユーザを含む３つ以上のオブジェクト間のインタラクションを表すイベントを特定するためのイベント情報を取得するイベント取得手段と、
   前記ステータス記憶部から、前記イベント取得手段により取得されたイベント情報を構成する２つのオブジェクト間のインタラクションを表すステータスを特定するための第１のステータス情報を取得するステータス取得手段と、
   前記ＡＶファイルサーバから、前記ステータス取得手段により取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを取得する映像取得手段と、
   前記ローデータ記憶部から、前記ステータス取得手段により取得された第１のステータス情報により特定されるオブジェクトの位置を特定するための位置情報を取得する位置取得手段と、
   予め定められた最適位置と前記位置情報により特定される位置との差が小さいときの映像データから静止画像データを切り出すことにより、前記映像取得手段により取得された映像データから静止画像データを体験履歴データとして作成する静止画像作成手段と、
   前記静止画像作成手段により作成された複数の静止画像データにより構成される複数の静止画を、ユーザが参加したイベント数及びステータス数の少なくとも一方に応じて２次元的に配置して表示する表示手段とを備えることを特徴とする体験表示装置。
2. 前記ステータス取得手段により取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データからオブジェクトが発話している映像を含む映像データを抽出する映像抽出手段と、
   前記映像抽出手段により抽出された映像データと前記静止画像作成手段により作成された静止画像データとを対応付ける対応付け手段と、
   前記表示手段により表示されている複数の静止画像の中から一つの静止画像をユーザの操作に応じて選択する選択手段とをさらに含み、
   前記表示手段は、前記選択手段により選択された静止画像を構成する静止画像データに対して前記対応付け手段により映像データが対応付けられている場合、当該映像データによる映像を表示することを特徴とする請求項１記載の体験表示装置。
3. 前記ステータス取得手段は、イベントに参加していない人間以外の人工物のステータス情報のうち当該イベントの継続時間内で前記イベントに参加していない人間以外の人工物がイベントに参加しているオブジェクトを捕らえていることを表す第２のステータス情報を取得し、
   前記映像抽出手段は、前記ステータス取得手段により取得された第２のステータス情報により特定される、前記イベントに参加していない人間以外の人工物の視点から前記イベントに参加しているオブジェクトを撮影した映像データから発話しているオブジェクトを含む映像データを抽出することを特徴とする請求項２記載の体験表示装置。
4. 前記映像抽出手段は、前記ステータス取得手段により取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データから、イベントに参加しているオブジェクトが発話している場合は、イベントに参加しているオブジェクトが発話している映像を含む映像データを抽出し、イベントに参加しているオブジェクトが発話していない場合は、イベントに参加していないオブジェクトが発話している映像を含む映像データを抽出することを特徴とする請求項２又は３記載の体験表示装置。
5. 前記映像抽出手段は、オブジェクトが発話している映像を含む映像データがないときにおいて、イベントに参加しているオブジェクトの第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データがある場合は、イベントに参加しているオブジェクトの第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを抽出し、第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データがない場合は、第２のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを抽出することを特徴とする請求項４記載の体験表示装置。
6. 前記映像抽出手段は、イベントにおいて発話しているオブジェクトがないとき、第２のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データがある場合は、第２のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを抽出し、第２のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データがない場合は、イベントに参加しているオブジェクトの第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを抽出することを特徴とする請求項３〜５のいずれかに記載の体験表示装置。
7. 前記ステータス取得手段は、所定時間以上継続しているステータスを特定するための第３のステータス情報を取得し、
   前記映像取得手段は、前記ステータス取得手段により取得された第３のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した補助映像データを取得し、
   前記静止画像作成手段は、前記映像取得手段により取得された補助映像データから補助静止画像データを作成し、
   前記表示手段は、前記静止画像作成手段により作成された補助静止画像データにより構成される静止画を、ユーザが参加したイベント数及びステータス数の少なくとも一方に応じて２次元的に配置して表示することを特徴とする請求項１〜６のいずれかに記載の体験表示装置。
8. 前記表示手段は、前記静止画像作成手段により作成された複数の静止画像データにより構成される複数の静止画を、ユーザが参加したイベント数が所定数以上の場合に、第１のレイアウトで２次元的に配置して表示し、ユーザが参加したイベント数が所定数より少なく且つ他の特定のオブジェクトとのステータス数が所定数以上の場合に、前記第１のレイアウトと異なる第２のレイアウトで２次元的に配置して表示し、ユーザが参加したイベント数が所定数より少なく、他の特定のオブジェクトとのステータス数が所定数より少なく且つ他の特定のオブジェクトとのステータスの継続時間が所定時間以上の場合に、前記第１及び第２のレイアウトと異なる第３のレイアウトで２次元的に配置して表示し、ユーザが参加したイベント数が所定数より少なく、他の特定のオブジェクトとのステータス数が所定数より少なく且つ他の特定のオブジェクトとのステータス情報の継続時間が所定時間より短い場合に、前記第１乃至第３のレイアウトと異なる第４のレイアウトで２次元的に配置して表示することを特徴とする請求項１〜７のいずれかに記載の体験表示装置。
9. コンピュータ、情報管理装置及びＡＶファイルサーバを用いて、ユーザが現実空間で体験したインタラクションを表す体験履歴データを可視的に表示する体験表示方法であって、
   前記情報管理装置が、オブジェクトの視界内に位置する他のオブジェクトを検出する観測装置により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとにローデータ記憶部に記憶させるステップと、
   前記情報管理装置が、前記ローデータ記憶部に記憶されている視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとにクラスタ記憶部に記憶するステップと、
   前記情報管理装置が、前記クラスタ記憶部に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにステータス情報としてステータス記憶部に記憶するステップと、
   前記情報管理装置が、前記ステータス記憶部に記憶されている視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記ステータス情報より抽象度の高いイベント情報としてイベント記憶部に記憶するステップと、
   前記情報管理装置が、前記観測装置によって撮影された映像データを各データの観測時刻により特定可能な形式で前記ＡＶファイルサーバに蓄積させるステップと、
   前記コンピュータが、前記イベント記憶部から、ユーザを含む３つ以上のオブジェクト間のインタラクションを表すイベントを特定するためのイベント情報を取得するイベント取得ステップと、
   前記コンピュータが、前記ステータス記憶部から、前記イベント取得ステップにおいて取得されたイベント情報を構成する２つのオブジェクト間のインタラクションを表すステータスを特定するための第１のステータス情報を取得するステータス取得ステップと、
   前記コンピュータが、前記ＡＶファイルサーバから、前記ステータス取得ステップにおいて取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを取得する映像取得ステップと、
   前記コンピュータが、前記ローデータ記憶部から、前記ステータス取得ステップにおいて取得された第１のステータス情報により特定されるオブジェクトの位置を特定するための位置情報を取得するステップと、
   前記コンピュータが、予め定められた最適位置と前記位置情報により特定される位置との差が小さいときの映像データから静止画像データを切り出すことにより、前記映像取得ステップにおいて取得した映像データから静止画像データを体験履歴データとして作成する静止画像作成ステップと、
   前記コンピュータが、前記静止画像作成ステップにおいて作成した複数の静止画像データにより構成される複数の静止画を、ユーザが参加したイベント数及びステータス数の少なくとも一方に応じて２次元的に配置して表示する表示ステップとを含むことを特徴とする体験表示方法。
10. 情報管理装置及びＡＶファイルサーバを用いて、ユーザが現実空間で体験したインタラクションを表す体験履歴データを可視的に表示するための体験表示プログラムであって、
    前記情報管理装置は、
    オブジェクトの視界内に位置する他のオブジェクトを検出する観測装置により検出されたオブジェクトを識別するための識別情報と、当該オブジェクトの位置を特定するための位置情報と、当該位置情報が検出された時刻を特定するための時間情報とを関連付けて視覚情報としてオブジェクトごとにローデータ記憶部に記憶させるデータ管理部と、
    前記ローデータ記憶部に記憶されている視覚情報のうち時間情報の取得時刻の間隔が所定の最大間隔以下の複数の視覚情報を、オブジェクトが他のオブジェクトを視覚的に捕らえていることを示す、一つの視覚クラスタ情報としてオブジェクトごとに抽出し、抽出した視覚クラスタ情報の最初の時間情報及び最後の時間情報を当該視覚クラスタ情報の開始時間情報及び終了時間情報として識別情報とともにオブジェクトごとにクラスタ記憶部に記憶するクラスタ管理部と、
    前記クラスタ記憶部に記憶されている視覚クラスタ情報をオブジェクトごとに読み出して当該オブジェクトの視界内に位置する他のオブジェクトを特定し、特定した他のオブジェクトの視覚クラスタ情報を読み出して他のオブジェクトの視界内に当該オブジェクトが位置するか否かを基準に人間を含む２つのオブジェクト間の視認状態を特定するための決定木に従って２つのオブジェクト間の視認状態を推定し、推定した視認状態をオブジェクトごとにステータス情報としてステータス記憶部に記憶するステータス処理部と、
    前記ステータス記憶部に記憶されている視認状態を基に２人以上の人間を含む３つ以上のオブジェクト間のインタラクションを抽出し、抽出した３つ以上のオブジェクト間のインタラクションを前記ステータス情報より抽象度の高いイベント情報としてイベント記憶部に記憶するイベント処理部とを備え、
    前記情報管理装置は、前記観測装置によって撮影された映像データを各データの観測時刻により特定可能な形式で前記ＡＶファイルサーバに蓄積させ、
    前記体験表示プログラムは、
    前記イベント記憶部から、ユーザを含む３つ以上のオブジェクト間のインタラクションを表すイベントを特定するためのイベント情報を取得するイベント取得手段と、
    前記ステータス記憶部から、前記イベント取得手段により取得されたイベント情報を構成する２つのオブジェクト間のインタラクションを表すステータスを特定するための第１のステータス情報を取得するステータス取得手段と、
    前記ＡＶファイルサーバから、前記ステータス取得手段により取得された第１のステータス情報により特定される２つのオブジェクト間のインタラクションを撮影した映像データを取得する映像取得手段と、
    前記ローデータ記憶部から、前記ステータス取得手段により取得された第１のステータス情報により特定されるオブジェクトの位置を特定するための位置情報を取得する位置取得手段と、
    予め定められた最適位置と前記位置情報により特定される位置との差が小さいときの映像データから静止画像データを切り出すことにより、前記映像取得手段により取得された映像データから静止画像データを体験履歴データとして作成する静止画像作成手段と、
    前記静止画像作成手段により作成された複数の静止画像データにより構成される複数の静止画を、ユーザが参加したイベント数及びステータス数の少なくとも一方に応じて２次元的に配置して表示する表示手段としてコンピュータを機能させることを特徴とする体験表示プログラム。

Images