JP4379594B2 - 追体験空間生成装置 - Google Patents

Description

本発明は、ユーザの体験に伴う映像等の記録情報を再構成して、ユーザの体験した内容を、当該ユーザまたは他のユーザに対して提示するための追体験空間生成装置の構成に関する。

近年では、デジタルカメラやビデオカメラが普及し携帯電話にもカメラ機能が搭載され、各家庭でも撮影機器を所有するのが普通になってきている。これに伴い撮影されたビデオ映像は次々と蓄積されＤＶＤ（Digital Versatile Disc）などの劣化のないデジタルメディアに記録され保存されている。

これらの映像の有効利用として、追体験や体験共有のための仮想空間を構築することで、展示会や美術館での知識共有、有形無形の文化財のアーカイブ化、教育支援などへの応用が考えられる。

仮想空間を構築する時、従来の手法では対象の３次元形状を丁寧にモデリングし、表面にテクスチャを貼り付けるなどしてより現実に近く見せるための技術を追求してきた（たとえば、非特許文献１を参照）。これは現実世界を忠実に再現しようという試みであるが、作りこみに時間がかかり多量で長時間の映像から仮想空間を構築するときにはこの方法は現実的ではない。さらには、丁寧な作りこみが逆に、いわゆる３次元酔いの原因となっている。また世界を均一に描画することになるので興味を引かない対象と注目を集める対象が同じように描かれる。このため仮想空間をウォークスルーするときに何を見るべきなのかという手がかりがなく、ユーザは興味のある対象を自分で探す必要がある。

一方で、非特許文献２では、複数視点の静止画を用いた擬似３次元空間を提案している。

ここでは、部分的につながりを持った写真群に対して表示する画像を連続的に透過処理を施しながら変化させることで擬似的に時間、空間移動をユーザが体験できる仕組みである。このアプローチは世界を均一に描画する非特許文献１とは異なり、静止画をベースに構成されているため、当然３次元形状の情報が欠落する。しかし静止画はカメラから撮られたものであり、撮影者の興味や関心といった情報を含んでおり、時間、空間的にハイライトシーンを切り取る効果がある。マウスベースのインタフェースであり、写真間を移動するときも余計な部分が書き込まれていないため不快感はない。このシステムには写真間をつなぐ編集を支援するための機能が付属しているが、依然として手作りである。またコンテンツ作成のためには多量の写真が必要であり、動的インタラクションや表情の変化といったものの表現には向かない。
Nakanishi, H., Yoshida, C., Nishimura, T. and Ishida, T.: FreeWalk: Suppoting Casual Meetings in a Network, Proc,CSCW’96, pp. 308.314 (1996). 田中浩也, 有川正俊, 柴崎亮介: 写真画像群の重なりを用いた広域的な擬似３次元空間, インタラクティブシステムとソフトウェアIX (WISS 2001) (暦元純一(編)), 日本ソフトウェア科学会, 近代科学社, pp. 75.84 (2001).

本発明の目的は、上記のような従来のアプローチの問題点を解決するためになされたものであって、ユーザの体験した視覚情報に基づいて、撮影者の視線方向を表現できる仮想空間を自動生成して、ユーザの体験した内容を、当該ユーザまたは他のユーザに対して提示することが可能な追体験空間生成装置を提供することである。

このような目的を達成するために、本発明の追体験空間生成装置は、所定の実空間内で複数の観測者が体験した視覚情報を仮想的な追体験空間として再構成して提示するための追体験空間生成装置であって、実空間内での各観測者の位置および各観測者の姿勢を時間と関連付けて検出するための位置検出手段と、各観測者の装着する撮像手段と、実空間内の対象物および各観測者にそれぞれ付され、光学的に対象物および各観測者を識別可能な識別標識と、観測者の装着した撮像手段により、観測者の行動にしたがって順次撮影される対象物を含む画像を時間軸上の順序情報と関連付けて取得し、記録するための記録手段と、ユーザからの指示した視点からユーザの指定する時刻において、実空間内で撮像手段が取得した画像情報を追体験空間として構成して提示するための仮想空間構成手段とを備え、仮想空間構成手段は、位置検出手段により検出された観測者の位置および姿勢とに応じて、ユーザの視点から見た場合の仮想画像として、少なくとも１人の観測者からの視点の画像を時空間的に整合させて、対象物または観測者に対応する透視映像を生成する時空間コラージュ生成手段を含む。
好ましくは、時空間コラージュ生成手段が、少なくとも１人の観測者からの視点の画像を時空間的に整合させて、対象物または観測者に対応する透視映像を生成する処理とは、複数の観測者の装着する撮像手段が同一時刻において同一の対象物または観測者を撮影している場合、複数の観測者からの視点の複数の画像を、同一時刻において撮影された対象物または観測者が存在した位置に、視点に合わせて回転させ交差させて配置することにより、対象物または観測者に対応する透視映像を生成することである。

好ましくは、時空間コラージュ生成手段は、観測者のうちの少なくとも１人がユーザの指定した時刻において対象物または観測者を撮影していることに応じて、少なくとも１人の観測者からの視点の画像を、ユーザの指定する時刻において撮影された対象物または観測者が存在した位置に配置することにより、透視映像を生成する。

好ましくは、時空間コラージュ生成手段は、観測者の撮影した画像の法線ベクトルとユーザの視点から対象物または観測者に向かう視線ベクトルとに基づいて、画像を撮影した方向と視線ベクトルの方向とのなす角度が、所定の値以下であることに応じて、透視映像を生成する。

好ましくは、時空間コラージュ生成手段は、観測者の撮影した画像の法線ベクトルとユーザの視点から対象物または観測者に向かう視線ベクトルとに基づいて、画像が視線ベクトルの方向に正対していくほど不透明度を高めるように時空間的に整合させて、透視映像を生成する。

以下、図面を参照して本発明の実施の形態について説明する。

以下に詳しく説明するが、本発明での追体験空間である仮想空間を自動的に生成するためには、大きくは２つの課題がある。

１つには各撮影者の位置、姿勢情報（各撮影者の視線の方向を特定する情報）を自動的に取得することである。このために位置検出システムが必要であり、以下の実施の形態では、一例として赤外線センサと赤外線タグを用いて位置検出システムを実現している。

またもう１つの課題として、仮想空間の構築手法がある。本発明では、それに対して「時空間コラージュ」というアプローチを採用する。

「時空間コラージュ」とは、複数視点の映像を時空間的に整合させて任意点からの透視映像を作るコラージュ手法である。この手法の特徴は使用する映像をビデオカメラで撮影した体験データをそのまま利用することである。複数視点の映像をコラージュ上に３次元仮想空間内に貼り付けるため、できあがった３次元仮想空間は不均一になる。しかし、それゆえにかえって、ビデオカメラの映像は撮影者の関心を反映しており、これを複数用いて追体験空間を構成すると、複数の撮影者で共通の関心を引いた対象がハイライトされて表現されることになり、逆に関心をもたれなかった対象は現実世界では存在していても仮想空間内では描画されないことになる。

［本発明のシステム構成］
以下では、本発明の１つの例として、展示会などのイベントなどの参加者間での知識共有を取り上げて説明する。ただし、本発明は、他の応用分野として、有形無形の文化財のアーカイブ化、教育支援などに適用することも可能である。

図１は、本発明の追体験空間生成システム１０００の一例を示す概念図である。

図１では、観測者が２人だけが描かれているが、実際には、より多くの観測者がシステム１０００内に存在してもよい。

図１に示すように、追体験空間生成システム１０００においては、元々の観測者２や４は、各々、携帯型の体験キャプチャシステム２２を装着している。この体験キャプチャシステム２２は、着用可能な（以下、「ウェアラブルな」という）装着型記録用パーソナルコンピュータ（装着型記録用ＰＣ）１００と、映像カメラ（可視光での映像撮影を行う画像撮影カメラと赤外線感知型センサ（ＩＤトラッカ）とを含む）１４２と、マイク（図１では図示せず）とを備える。

また、各観測者２，４には、予め、赤外線を発するＬＥＤ（Light Emitting Diode）タグ１０．１〜１０．ｎ（ｎ：自然数）が、付けられているものとする。赤外線を発するＬＥＤタグ（以下、「ＩＲタグ」と呼ぶ）１０．１〜１０．ｎの各々は、赤外線により、固有な識別信号を発している。このような、固有な識別信号は、上述した赤外線感知型センサ（以下、「ＩＤトラッカ」）によって読込むことが可能である。

さらに、環境下において、観測される可能性のある対象物にも、ＩＲタグ２０．１〜１０．ｍ（ｍ：自然数）が、付けられているものとする。ＩＲタグ２０．１〜２０．ｍも、発する識別信号が異なる以外は、ＩＲタグ１０．１〜１０．ｎと同様の構成を有する。

体験キャプチャシステム２２は、マイクにより集音される音声データと、映像カメラ１４２により撮影される映像データと、ＩＤトラッカにより撮影されるＩＲタグデータを、データ獲得期間（キャプチャ期間）のすべての期間にわたって記録する。たとえば、観測者２がある時点で位置する地点において、ＩＤトラッカの視野の範囲内において光学的に検知できるＩＲタグのみがシステム２２に記録される。ＩＲタグ２０．１〜２０．ｍが付けられている対象物の位置については予め計測されており、ＩＲタグ２０．１〜２０．ｍの識別信号とその位置とがデータベース化されているものとする。以後、観測者およびこれらの対象物を総称して「オブジェクト」と呼ぶことにする。オブジェクトは、上記識別信号で表現されるオブジェクトＩＤの他、型（人間（Human）、ユビキタス（Ubiquitous）、ポスター（Poster）…）等の属性を持つ。

なお、環境下には、ＩＲタグのみを装着した人間が存在してもよい。

また、追体験空間生成システム１０００では、複数の据置型の映像カメラ３０も設置されており、所定の視野範囲を常時観測しているものとする。据置型の映像カメラ３０も、可視光での映像撮影を行う映像撮影部と赤外線感知型センサとを含むものとする。この据置型の映像カメラ３０で撮影された画像情報や、検知されたＩＲタグの情報は、設置型記録用パーソナルコンピュータ（設置型記録用ＰＣ：図示せず）に記録された後、たとえば、有線ネットワークを介して伝送可能なものとする。

さらに、位置検出システムとして、各観測者２および４は、その頭頂部に、赤外線センサ１２を装着しており、一方で、天井には、予め定められた位置に格子状に配置されたＩＲタグ群４０が設けられている。なお、位置検出システムとしては、このようなＩＲタグと赤外線センサとの組合せに限られず、各観測者２および４の位置を特定できるシステムであれば、たとえば、ＧＰＳのような他のシステムを用いることもできる。

また、観測者２、４の姿勢（視線の方向）も、このような位置検出システムにより検出可能であるが、たとえば、観測者が撮影した画像およぼこの画像内に写っている対象物の画面内での配置の情報も、観測者の姿勢の検出に用いることができる。

なお、装着型記録用ＰＣ１００は、特に限定されないが、たとえば、無線によりＬＡＮ（Local Area Network）に接続する構成とすることが可能である。

装着型記録用ＰＣ１００からの情報や設置型記録用ＰＣからの情報は、記録データサーバ４００で収集される。

図２は、図１に示した体験キャプチャシステム２２の外観を示す模式的斜視図である。

体験キャプチャシステム２２は、上述のとおり映像カメラ１４２を備えており、映像カメラ１４２には、赤外線により画像を撮影しオブジェクトの識別信号を獲得するためのＩＤトラッカ１４２．１と、可視光により画像（たとえば、動画像）を撮影するための画像撮影カメラ１４２．２とが含まれる。体験キャプチャシステム２２は、さらに、観測者自身を識別するための赤外線タグ１０．ｉと、観測者の音声を獲得するためのマイク１４４と、位置検出のために観測者の頭頂部に付けられる赤外線センサ１２とを備える。

図２に示すように、体験キャプチャシステム２２は、ユーザの頭部に装着される耳かけ式ネックバンド方式ヘッドセットとして構成され、ユーザの頭部に装着される。特に限定されないが、ＩＤトラッカ１４２．１および画像撮影カメラ１４２．２は直方体形状の筐体に一体に内蔵され、赤外線タグ１０．ｉは筐体の側面に一体に固定され、マイク１４４はユーザの口元付近に配置される。また、これも特に限定されないが、装着型記録用ＰＣ１００は、ユーザに背負われて使用され、体験キャプチャシステム２２の各検出デバイス、すなわち、ＩＤトラッカ１４２．１、画像撮影カメラ１４２．２、赤外線センサ１２およびマイク１４４からの各出力が装着型記録用ＰＣ１００へ供給される。

人の顔の向きに一致させて、ＩＤトラッカ１４２．１および画像撮影カメラ１４２．２を装着することで、視野内のどこに何が映っているかを知ることができる。

［追体験空間生成システム１０００の構成］
図３は、追体験空間生成システム１０００の構成をブロック図形式で示す図である。

追体験空間生成システム１０００の構成は、大きくは２つに分けることが出来る。位置検出システム部とウォークスルー部である。図３では、このうち位置検出システム部の主要部を抽出して示す。

図３を参照して、位置検出システム部は、装着型センサ系と、据置型センサ系と、装着型センサ系からの情報を無線ＬＡＮで獲得し、据置型センサ系からの情報を有線ＬＡＮで獲得して、記録するための記録データサーバ４００と、獲得された動画像データを格納するためのビデオデータデータベース４０２と、装着型センサ系および据置型センサ系によりとらえられるＩＲタグに関する情報を時間と関連付けて格納するためのデータベース４０４とを備える。

装着型センサ系には、上述したように、各観測者に装着される、ＩＤトラッカ１４２．１と、画像撮影カメラ１４２．２と、装着型記録用ＰＣ１００とが含まれる。

一方、据置型センサ系には、対象物ごとに設置される、ＩＤトラッカ３０．１と、画像撮影カメラ３０．２と、据置型記録用ＰＣ２００とが含まれる。ＩＤトラッカ３０．１、画像撮影カメラ３０．２、据置型記録用ＰＣ２００の構成は、それぞれ基本的に、ＩＤトラッカ１４２．１、画像撮影カメラ１４２．２、装着型記録用ＰＣ１００と同様である。

ビデオデータデータベース４０２は、獲得された動画像データを、当該動画像データを獲得したオブジェクトのＩＤ、獲得した時刻、獲得した位置を関連付けて格納する。データベース４０４は、オブジェクトのＩＤを表す識別信号とオブジェクトの属性と予め測定しうる当該オブジェクトの位置を関連付けて格納しておくほか、オブジェクトごとに、対応するＩＤトラッカにとらえられたＩＲタグの識別信号により特定されるオブジェクトＩＤと、とらえられた時刻、とらえられた画像内でのＩＲタグの２次元座標を格納する。

すなわち、ＩＤトラッカは、赤外線に反応してＩＲタグから発光されるＩＤ情報を受け取り、そのＩＤを持つＩＲタグが画面のどの位置にあるか認識するもので、その座標とＩＤ番号、それらを取得した時刻をセットにしてデータベース４０４に書き込む。このデータはＩＤトラッカごとに管理される。

こうして記録されるデータに対しては、階層構造を用いて段階的に抽象化されたインデックス情報を付与していく。以下、各層にどのようなデータを格納するかを簡単に説明する。

ロウデータ（RawData）層では、センサによる生のデータを収集する。ここでは、センサごとにトラッカテーブルを保持し、ＩＤトラッカにとらえられたタグのＩＤと時刻、とらえられた画像内での２次元座標を格納する。

セグメンテーション（Segmentation）層では、人が発話を行っていた区間をクラスタリングする。ここでは、オブジェクトごとにトーク（talk）テーブルを保持し、発話の開始時間、終了時間を格納する。

プリミティブ（Primitive）層では、２体のオブジェクト間のインタラクションを原始事象（primitive）として抽出する。オブジェクトごとに原始事象テーブルを保持し、オブジェクトが参加した原始事象についての情報を格納する。

イベント（Event）層では、時間的・空間的に共有性を有する原始事象を連結し、意味のある単位として「イベント」を抽出する。オブジェクトごとにイベントテーブルを保持し、オブジェクトが参加したイベントについての情報を格納する。

また、アプリケーションサーバ４１０は、位置検出のために使用されるアプリケーションプログラムを位置検出システム部を構成する各コンピュータに供給する。

このように、ビデオデータデータサーバ４０２や、データサーバ４０４に記録されたデータに基づいて、ウォークスルー部を構成するコンピュータ（図３には図示せず）が、追体験空間としての仮想空間を構成し、ユーザに提示する。

（位置検出システム部の動作）
位置検出システム部で必要となるのは図１の赤外線センサ１２によって２次元画像として得られた天井の赤外線ＩＲタグ４０の位置である。ＩＲタグ４０の世界座標の位置は予め人の手によって実測している。データベース４０４には各センサ１２ごとにタグ情報が書き込まれている。

図４は、位置検出システム部の動作を説明するためのフローチャートである。

位置検出システム部では、観測者のリストから位置計算するべき対象を決定し、天井のＩＲタグ４０の位置をセンサ１２で取得したデータを格納したデータベース４０４にアクセスし該当するデータだけを得る（ステップＳ１１０）。

このデータは歪んでいるためキャリブレーションを行う（ステップＳ１１２）。カメラ自体のキャリブレーションは、予めキャリブレーション用画像を撮影し（ステップＳ１００）、前もってキャリブレーション計算を行っておき（ステップＳ１０２）、必要なパラメータを歪み除去プログラムで参照できるようにしておく（ステップＳ１０４）。

この後、天井に配置したＩＲタグの画像平面における座標の歪み除去を行ったものと（ステップＳ１１２）、予め測定していた世界座標の対応点を位置姿勢計算プログラムに渡す（ステップＳ１１４）。位置検出システム部で実行される位置姿勢計算プログラムでは、オブジェクト座標系からカメラ座標系に変換する回転行列と並進ベクトルを出力する。

この回転行列と並進ベクトルから位置と姿勢を計算し、その結果を、観測者ごとに時刻とともに位置姿勢ファイルとして、データベース４０４に出力する（ステップＳ１１６）。

（ウォークスルー部の動作の概要）
ウォークスルー部では、位置検出システム部で計算された位置姿勢情報を元に、それとは別に映像撮影用カメラで撮影された映像を基にして仮想空間を構築する。特に限定されないが、入力としてゲーム機のコントローラを使用し、この仮想空間は時空間コラージュの手法によって作られている。映像のリソースとして撮影されたビデオデータをそのまま用いることによって撮影者の興味が反映されることになる。

［体験キャプチャシステム２２の構成］
図５は、体験キャプチャシステム２２の構成をブロック図形式で示す図である。

図５を参照して、体験キャプチャシステム２２の装着型記録用ＰＣ１００は、メモリカードなどの外部媒体１５０上の情報を読込むための外部媒体ドライブ１１６と、それぞれバスＢＳ１に接続されたＣＰＵ（Central Processing Unit ）１１０と、ＲＯＭ（Read Only Memory)およびＲＡＭ（Random Access Memory）を含むメモリ１１２と、直接アクセスメモリ装置、たとえば、ハードディスク１１４と、無線等による接続を用いてＬＡＮとデータの授受を行うための通信インタフェース１１８と、システムにより使用される時刻を提供するためのタイマ１２２とを備える。タイマ１２２は、記録データサーバ４００からのシステムクロックに同期させてあるものとする。

さらに、装着型記録用ＰＣ１００は、必要に応じてコンピュータ１００に接続され、ユーザによるデータ入力に使用される入力装置１６０からのデータを受け取るための外部装置インタフェース１２０を備える。この外部装置インタフェース１２０は、観測者２が、その頭部に装着するヘッドセット１４０に装着されたＩＤトラッカ１４２．１、画像撮影カメラ１４２．２、赤外線センサ１２およびマイク１４４からの画像データや音声データを受け取る。

なお、外部媒体１５０は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体である。また、必要に応じて、キャプチャされたデータを記録可能なものとする。

また、画像データの記録媒体として、ハードディスク１１４、あるいは、他の大容量の外部媒体を用いることで、体験キャプチャシステム２２におけるコンピュータ１００は、基本的には、汎用のモバイルコンピュータを用いることができる。もちろん、体験キャプチャシステム２２におけるコンピュータ１００を、汎用のモバイルコンピュータの代わりに、専用のハードウェアで構成してもよい。

［ウォークスルー部を構成するコンピュータ３００のハードウェア構成］
図６は、ウォークスルー部を構成するコンピュータ３００の一例を示す概念図である。

図６を参照して、ウォークスルー部は、観測者２，４等または第三者の操作に基づいて、観測者２，４等の体験した音声データおよび画像データへアクセスするためのコンピュータ３００を備える。

図６を参照して、このコンピュータ３００は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）などのディスク媒体３１８上の情報を読込むためのディスクドライブ３０８および外部媒体１５０に対して情報を読み書きするための外部媒体ドライブ３０６を備えたコンピュータ本体３０２と、コンピュータ本体３０２に接続された表示装置としてのディスプレイ３０４と、同じくコンピュータ本体３０２に接続された入力装置としてのキーボード３１０およびマウス３１２と、ウォークスルー処理を行う際の主たる入力装置であるコントローラ３４０と、音声入力装置としてのマイク３３２と、音声出力装置としてのスピーカ３３４とを含む。

コントローラ３４０は、たとえば、ゲームコントローラと同様の構成を有し、十字キーによって前進、左右への平行移動が出来る。さらに、Ｌ１、Ｒ１ボタンで左右に向きを回転できる。Ｌ２，Ｒ２ボタンで時間の操作（早送り、巻き戻し）も可能である。

図７は、このコンピュータ３００のハードウェア構成をブロック図形式で示す図である。

図７に示されるように、このコンピュータ３００を構成するコンピュータ本体３０２は、ディスクドライブ３０８および外部媒体ドライブ３０６に加えて、それぞれバスＢＳ２に接続されたＣＰＵ３２０と、ＲＯＭおよびＲＡＭを含むメモリ３２２と、直接アクセスメモリ装置、たとえば、ハードディスク３２４と、マイク３３２、スピーカ３３４コントローラ３４０とデータの授受を行うためのインタフェース３２８とを含んでいる。

なお、インタフェース３２８を介して、コンピュータ３００は、記録データサーバ４００や、データベース４０２、４０４にアクセスできる。

以下の説明では、コンピュータ３００が動作するにあたっては、体験キャプチャシステム２２により獲得されたデータは、ＬＡＮを介して、ハードディスク３２４に格納されるものとして説明を行う。

なお、ディスク媒体３１８は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体であれば、他の媒体、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disc）などでもよく、その場合は、コンピュータ本体３０２には、このような他の媒体を読取ることが可能なドライブ装置が設けられる。

本発明のウォークスルー部の主要部は、コンピュータハードウェアと、ＣＰＵ３２０により実行されるソフトウェアとにより構成される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ３１８等の記憶媒体に格納されて流通し、ディスクドライブ３０８等により記憶媒体から読取られてハードディスク３２４に一旦格納される。または、ネットワーク上のアプリケーションサーバ４１０から一旦ハードディスク３２４にコピーされる。そうしてさらにハードディスク３２４からメモリ３２２中のＲＡＭに読出されてＣＰＵ３２０により実行される。なお、ネットワーク接続されている場合には、ハードディスク３２４に格納することなくＲＡＭに直接ロードして実行するようにしてもよい。

図５および図６に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭ３１８、ハードディスク３２４等の記憶媒体に記憶されたソフトウェアである。
（ウォークスルー部の動作）
図８は、コンピュータ３００が、データベース４０２、４０４にアクセスすることにより獲得できるデータの一例を示す図である。

図８においては、被撮影対象である１つのオブジェクト、たとえば、オブジェクトＡに注目し、画像撮影カメラ１４２．２や画像撮影カメラ３０．２が、オブジェクトＡを撮影した状況を時間経過とともに示す。

なお、以下では、画像撮影カメラを区別するために、画像撮影カメラと対応づいたＩＲタグの符号により、画像撮影カメラを参照することとする。たとえば、ＩＲタグ１０．１が付された観測者２の装着する画像撮影カメラをカメラ１０．１と呼ぶ。

たとえば、時刻ｔ１においては、オブジェクトＡは、カメラ１０．１、カメラ１０．２、カメラ１０．ｎ、固定カメラ２０．６によりとらえられている。

図９は、コンピュータ３００が、データベース４０２、４０４にアクセスすることにより獲得できるデータの他の一例を示す図である。

図９においては、撮影主体である１つのオブジェクト、たとえば、カメラ１０．１に対応する観測者に注目し、画像撮影カメラ１０．１が、各オブジェクトを撮影した状況を時間経過とともに示す。

たとえば、時刻ｔ２においては、カメラ１０．１は、オブジェクトＢをとらえており、同時刻において、カメラ１０．ｎ、固定カメラ２０．ｍもオブジェクトＢをとらえられている。

このように、データベース４０２、４０４にアクセスすることにより、任意の時刻、さらには、任意の場所において、すくなくとも１人以上の観測者により注目されていた、言い換えると、当該観測者とインターアクションをしていたオブジェクト（以下、「注目オブジェクト」と呼ぶ）を特定できる。

ウォークスルー部では、コントローラ３４０により指定された仮想空間内の視点位置および方向から見ることができる、指定された時刻における注目オブジェクトを、仮想空間内に、以下に説明する「時空間コラージュ」により構成する。

ウォークスルー部では、このような時空間コラージュにより、自動生成によって仮想空間を構築する。この方法では、現実世界を不均一に描画され、注目オブジェクトでなければ、存在していても仮想空間には現れない対象が出てくる、その代わり撮影者の視線方向が仮想空間でも表現され生き生きとした映像が生まれる。さらにソーシャルナビゲーション的効果も得られる。ここでソーシャルナビゲーションとは他の人の行動が自分の行動の手がかりとなる指示のことである。またこの手法ではカメラと対象の位置と向きさえわかれば自動で仮想空間を構築することが出来る。

（時空間コラージュ）
３次元仮想空間を構築する方法として従来とられていた手法は、物体の３次元形状を手入力もしくはモーションキャプチャなどのデバイスを用いて取得し、それに撮影した画像データなどを貼り付けてテクスチャとしたり、光源の設定、シェーディング、などいわゆるＣＧ（Computer Graphics）のテクニックを駆使して現実に近づけることをその主題としてきている。

これに対して、本発明では、３次元仮想空間を構築する手法として「時空間コラージュ」を採用する。従来「コラージュ」とは写真の貼り付けの技法のことであるが、本発明では、それを３次元仮想空間に対して行う。

本発明では、時間も空間も、注目オブジェクトについては、現実世界になるべく忠実にコラージュを行なう。

（画像交差によるコラージュ）
図１０は、このような時空間コラージュの一例であり、複数視点の画像から立体的な映像を作ったものである。

図１１は、２人の観測者が１つの対象物を異なる視点から見た場合を示す概念図であり、図１２は、このような２人の観測者の観測画像に基づいて、図１０に示すような時空間コラージュを構成する場合を示す概念図である。

図１１の状態で対象が観測者１および２により撮影されたとき、図１２のように撮影者の視点に合わせて回転させて対象が元々あった場所に交差させて配置する。このとき撮影者から対象までの距離に応じて配置する画像のサイズを変える。これは距離に対して線形にして、遠くの対象ほど画像サイズを大きくする。

またウォークスルーのユーザの視線ベクトルと画像の法線ベクトルの角度のずれから画像の透明度を変えて配置する。

ここで、「画像の法線ベクトル」とは、大きさが１で、観測者の観測画面の法線に平行であって、観測対象物から観測者に向かうベクトルをいう。また、「ユーザの視線ベクトル」とは、大きさが１で、ウォークスルー部のユーザが仮想空間内で指定した位置から上記観測対象物に向かうベクトルをいう。したがって、画像の法線ベクトルとユーザの視線ベクトルと間の角が１８０度のときが、正対した場合に相当する。

画像の法線ベクトルとユーザの視線ベクトルと間の角が、所定の値、たとえば、９０度以下のものは、ウォークスルーのユーザの視線と向きが逆になるので描画しない。このとき視線ベクトルの自由度は水平方向３６０度だけ考えて上下方向は考えない。

なお、ウォークスルーのユーザの見る時刻を１点に特定せず、仮想空間に時間的広がりを持たせる方法として対象の軌跡を描くことも可能である。これは描画すべき時刻の映像だけでなくそれと時間的に前後した映像を使うことによって物体の移動、表情の変化を効果的に描写することが出来る。実際の方法としては前後の映像データを保持しておき対象が連続的に変化しているときにそれらをその時々の位置にあわせて配置する。そのとき現在時刻に近いほど透明度を低く設定し、離れれば離れるほど薄くして消えていくような表現をする。

ウォークスルーをするのに必要なデータは、再現するインタラクションの開始時刻データ、描画すべき対象のリスト、撮影者のリスト、撮影者が設置型センサの場合はその世界座標における位置と姿勢情報、移動する対象の位置姿勢情報ファイル、被写体を特定するためのタグ情報ファイル、撮影された多視点ビデオデータである。実行すると指定した開始時刻からインタラクションを再現する。たとえば、移動対象を球で表現しその位置が人目で確認できるようにする。この移動対象に対してコラージュを用いて仮想空間を構築する。

本発明で採用する時空間コラージュは、上述したような画像交差による立体的コラージュである。指定された時刻において、各撮影者は、どの対象を捉えているかをタグ情報を用いて識別し、捉えている全ての対象に対して画像を配置する。まず撮影者と対象の距離を計算し、それによって画像サイズを決める。これは透視投影をモデリングした結果で撮影者から離れた物体ほど元の大きさは画像より大きいからである。

次に画像から切り出す範囲を決定する。タグ情報からどの対象が画像のどの位置にあるかがわかるのでこの情報を使って座標の周囲のエリアを切り出す。

続いて、撮影者の姿勢とウォークスルーユーザの姿勢（ユーザの視線ベクトル）から画像の半透明度を設定する。具体的に言うと、たとえば、半透明処理は周知の「アルファブレンディング」を用いて行うことができる。撮影者の姿勢（撮影された画像の法線ベクトル）とユーザの姿勢との間の角のコサインを計算したものを０から１の間に正規化したものに応じて、各画像のアルファ値（透明度に対応）を撮影者の姿勢とウォークスルーユーザの姿勢とが一致するほど不透明度が高くなるように設定する。このような設定を注目オブジェクトの画像の全ての撮影者に対応するものについて行いコラージュする。

（時間操作）
ウォークスルーユーザは単に移動や回転をするだけではなく、追体験空間の再現している時刻を変えることが出来る。これはビデオで言うならば早送りや巻き戻しに相当するものである。仮想空間構築に使用しているデータのうち時間にかかわるのは位置姿勢情報を格納したファイルとタグ情報を格納したファイル、コラージュに使用されるフレーム画像の３つである。フレーム画像はウォークスルー空間を構築する前処理としてビデオデータから各フレームを切り出してそれぞれのファイル名に時刻を記すことによって参照を容易にした。

（ウォークスルー画像）
図１３は、４人の観測者２，４，６，８のインタラクションを撮影しその結果をウォークスルー空間で表示させた場合の例を示す図である。

図１３では４人の人間の位置が頭上にあるポリゴンの輪で表現されている。その下に画像が貼り付けてある。この画像は３人の頭部搭載カメラで撮影された映像からフレームを切り出したものである。４人のうち観測者２，４，６が注目されているオブジェクトである。特に観測者２は、２つのカメラからの映像が使われている。それとは対照的にまったく描画されていないオブジェクト（観測者８）が存在する。これはそのときこのオブジェクトを捕らえているカメラが存在しないからである。このため、観測者８については、コラージュが生成されない。この対照的な描画はその場の人々の興味を反映しているといえる。

本発明では、「時空間コラージュ」という手法を提案し、自動生成によって仮想空間を構築するシステムを提供する。時空間コラージュとは複数の視点映像を時空間的に整合させて任意点からの透視映像を作り、現実世界を不均一に描画しているため、存在していても仮想空間には現れない対象が出てくるものの、撮影者の視線方向が仮想空間でも表現され生き生きとした映像が生まれる。さらにソーシャルナビゲーション的効果も得られる。ここでソーシャルナビゲーションとは他の人の行動が自分の行動の手がかりとなる指示のことである。またこの手法ではカメラと対象の位置と向きさえわかれば自動で仮想空間を構築することが出来る。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の追体験空間生成システム１０００の一例を示す概念図である。 図１に示した体験キャプチャシステム２２の外観を示す模式的斜視図である。 追体験空間生成システム１０００の構成をブロック図形式で示す図である。 位置検出システム部の動作を説明するためのフローチャートである。 体験キャプチャシステム２２の構成をブロック図形式で示す図である。 ウォークスルー部を構成するコンピュータ３００の一例を示す概念図である。 このコンピュータ３００のハードウェア構成をブロック図形式で示す図である。 コンピュータ３００が、データベース４０２、４０４にアクセスすることにより獲得できるデータの一例を示す図である。 コンピュータ３００が、データベース４０２、４０４にアクセスすることにより獲得できるデータの他の一例を示す図である。 時空間コラージュの一例であり、複数視点の画像から立体的な映像を作ったものを示す図である。 ２人の観測者が１つの対象物を異なる視点から見た場合を示す概念図である。 ２人の観測者の観測画像に基づいて、図１０に示すような時空間コラージュを構成する場合を示す概念図である。 ４人の観測者２，４，６，８のインタラクションを撮影しその結果をウォークスルー空間で表示させた場合の例を示す図である。

符号の説明

２，４ 観測者、１０．１〜１０．ｎ ＩＲタグ、１２ 赤外線センサ、２０．１〜２０．ｍ、２２ 体験キャプチャシステム、３０ 据置型映像カメラ、３０．１ ＩＤトラッカ、３０．２ 画像撮影カメラ、１００ 装着型記録用ＰＣ、１１０ ＣＰＵ、１１２ メモリ、１１４ ハードディスク、１１６ 外部媒体ドライブ、１１８ 通信インタフェース、１２０ 外部装置インタフェース、１２２ タイマ、１４０ ヘッドセット、１４２ 映像カメラ、１４２．１ ＩＤトラッカ、１４２．２ 画像撮影カメラ、１４４ マイク、１５０ 外部媒体、３００ 据置型記録用ＰＣ、３０２ コンピュータ本体、３０４ ディスプレイ、３０６ 外部媒体ドライブ、３０８ ディスクドライブ、３１０ キーボード、３１２ マウス、３１８ ディスク、３２０ ＣＰＵ、３２２ メモリ、３２４ ハードディスク、３２８ インタフェース、３４０ コントローラ、１０００ 追体験空間生成システム。

Claims (5)

1. 所定の実空間内で複数の観測者が体験した視覚情報を仮想的な追体験空間として再構成して提示するための追体験空間生成装置であって、
   前記実空間内での各前記観測者の位置および各前記観測者の姿勢を時間と関連付けて検出するための位置検出手段と、
   各前記観測者の装着する撮像手段と、
   前記実空間内の対象物および各前記観測者にそれぞれ付され、光学的に前記対象物および各前記観測者を識別可能な識別標識と、
   前記観測者の装着した前記撮像手段により、前記観測者の行動にしたがって順次撮影される前記対象物を含む画像を時間軸上の順序情報と関連付けて取得し、記録するための記録手段と、
   ユーザからの指示した視点からユーザの指定する時刻において、前記実空間内で前記撮像手段が取得した画像情報を前記追体験空間として構成して提示するための仮想空間構成手段とを備え、
   前記仮想空間構成手段は、前記位置検出手段により検出された前記観測者の前記位置および前記姿勢とに応じて、前記ユーザの視点から見た場合の仮想画像として、少なくとも１人の観測者からの視点の前記画像を時空間的に整合させて、前記対象物または前記観測者に対応する透視映像を生成する時空間コラージュ生成手段を含む、追体験空間生成装置。
2. 前記時空間コラージュ生成手段が、少なくとも１人の観測者からの視点の前記画像を時空間的に整合させて、前記対象物または前記観測者に対応する透視映像を生成する処理とは、複数の前記観測者の装着する前記撮像手段が同一時刻において同一の前記対象物または前記観測者を撮影している場合、複数の前記観測者からの視点の複数の前記画像を、前記同一時刻において撮影された前記対象物または前記観測者が存在した位置に、前記視点に合わせて回転させ交差させて配置することにより、前記対象物または前記観測者に対応する透視映像を生成することである、請求項１記載の追体験空間生成装置。
3. 前記時空間コラージュ生成手段は、前記観測者のうちの少なくとも１人が前記ユーザの指定した時刻において前記対象物または前記観測者を撮影していることに応じて、前記少なくとも１人の観測者からの視点の前記画像を、前記ユーザの指定する時刻において撮影された前記対象物または前記観測者が存在した位置に配置することにより、前記透視映像を生成する、請求項１または２記載の追体験空間生成装置。
4. 前記時空間コラージュ生成手段は、前記観測者の撮影した前記画像の法線ベクトルと前記ユーザの視点から前記対象物または前記観測者に向かう視線ベクトルとに基づいて、前記画像を撮影した方向と前記視線ベクトルの方向とのなす角度が、所定の値以下であることに応じて、前記透視映像を生成する、請求項１から３いずれか１項に記載の追体験空間生成装置。
5. 前記時空間コラージュ生成手段は、前記観測者の撮影した前記画像の法線ベクトルと前記ユーザの視点から前記対象物または前記観測者に向かう視線ベクトルとに基づいて、前記画像が前記視線ベクトルの方向に正対していくほど不透明度を高めるように、前記透視映像を生成する、請求項１から４いずれか１項に記載の追体験空間生成装置。