JP4901539B2 - 立体映像表示システム - Google Patents

Description

本発明は、実物体と連動した立体映像を生成する立体映像表示システムに関する。

従来より、二次元映像や立体映像と実物体を組み合わせたミックスド・リアリティ(ＭＲ：複合現実感)やオーグメンティド・リアリティ（ＡＲ：拡張現実）と呼ばれる技術が知られており、例えば、特許文献１や非特許文献１が開示されている。また、これらの技術を用い、実空間と重ねて表示された二次元映像又は立体映像を手、または手で把持した実物体により直接操作することで、ディスプレイ面に置かれた実物体と映像とが相互作用するというインターフェース装置が提案されている。このようなインターフェース装置では、映像表示のため、眼前に直接映像を表示するヘッドマウントディスプレイ方式や、実空間上に立体映像を投影するプロジェクター方式が採用されている。そのため、観察者の目から見て実空間より手前に映像が表示されることから、実物体や操作者の手で映像が阻害されることはない。

一方、自然で見やすい３Ｄ映像として、ＩＰ方式や稠密多眼式を始めとする、運動視差を伴う裸眼立体視方式が提案されている（以下、空間像方式と呼ぶ）。この空間像方式では、画素数の多い液晶ディスプレイ（ＬＣＤ）に代表される平面ディスプレイ（ＦＰＤ）とレンズアレイやピンホールアレイといった光線制御子を組み合わせることで、３視点以上、理想的には９視点以上の方向から撮像取得した映像を空間的に観察位置を切り替えて表示することにより運動視差を実現することができる。輻輳のみを用いて立体視させていた従来の立体映像と異なり、裸眼で観察可能な運動視差が追加されたことで表示された立体映像は、観察位置とは独立に実空間中に座標を有する。これによって、立体映像の問題であった映像と実物体との同時干渉時の違和感が取り除かれ、観察者は立体映像を指し示したり、実物体と立体映像を同時に鑑賞したりすることが可能となっている。

特開２０００−３５０８６０号公報 石井裕、「タンジブル・ビット− 情報と物理世界を融合する、新しいユーザ・インタフェース・デザイン」 情報処理、Vol.43、No.3、pp.222-229、2002

しかしながら、二次元映像と実物体を組み合わせたＭＲまたはＡＲでは相互作用が表現できる領域が表示面に限定されるという制約が生じる。立体映像と実物体を組み合わせたＭＲまたはＡＲでは、ディスプレイ面に固定される視点調節と、両眼視差から誘起される輻輳とが競合するため、実物体と立体映像の同時鑑賞は観察者に違和感や疲労を与えるものとなっている。そのため、映像と実空間又は実物体との相互作用は表現、融合感ともに不完全な状態にあり、臨場感や現実感を表現するのが困難である。

また、空間像方式では、表示された立体映像の解像度は上述した構造上の理由から平面ディスプレイ（ＦＰＤ）の解像度の１／（視点数）に低下するという問題がある。ＦＰＤの解像度には駆動等の制約から上限があるため、空間像方式での立体映像の解像度を上げるのは容易ではなく、映像の臨場感、現実感を向上させるのが困難である。また、空間像方式では、映像を操作するための手または手で把持した実物体の後方に平面ディスプレイが配置されるため、操作者の手または実物体により立体映像が遮蔽されてしまい、実物体と立体映像との自然な融合を妨げる要因となっている。

本発明は上記に鑑みてなされたものであって、立体映像と実物体との自然な融合を実現するとともに、立体映像の臨場感、存在感を向上させることが可能な立体映像表示システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、空間像方式により表示空間内に立体映像を表示する立体映像表示装置と、当該表示空間内に配置される少なくとも一部が光透過性部分である実物体と、を含む立体映像表示システムであって、前記立体映像表示装置は、前記実物体の位置及び姿勢を示した位置姿勢情報を記憶する位置姿勢情報記憶手段と、前記実物体の光学的特性を含む属性を示した属性情報を記憶する属性情報記憶手段と、前記位置姿勢情報及び属性情報に基づいて、前記実物体を表す第１物理演算モデルを生成する第１物理演算モデル生成手段と、前記表示空間内における前記実物体の仮想的な外部環境を表す第２物理演算モデルを生成する第２物理演算モデル生成手段と、前記第１物理演算モデルと第２物理演算モデルとの相互作用を演算する演算手段と、前記相互作用演算手段による演算結果に基づいて、前記表示空間内に立体映像を表示させる表示制御手段と、を備える。

本発明によれば、表示空間内に配置された少なくとも一部に光透過性部分を有する実物体と、当該表示空間内における実物体の仮想的な外部環境との相互作用を演算し、この演算結果を立体映像として表示することができるため、実物体による立体映像の阻害を抑制して立体映像と実物体との自然な融合を実現できるとともに、立体映像の臨場感、存在感を向上させることができる。

以下に添付図面を参照して、立体映像表示システムの最良な実施形態を詳細に説明する。

［第１の実施形態］
図１は、第１の実施形態にかかる立体映像表示装置１００のハードウェア構成を示すブロック図である。立体映像表示装置１００は、情報処理を行うＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ(Digital Signal Processor)、数値演算コプロセッサ、物理演算プロセッサといったプロセッサ１、ＢＩＯＳ等を記憶した読み出し専用メモリであるＲＯＭ（Read Only Memory）２、各種データを書き換え可能に記憶するＲＡＭ（Random Access Memory）３、立体映像の表示にかかる各種コンテンツを格納するとともに、立体映像の表示にかかる立体映像表示プログラムを格納するＨＤＤ（Hard Disk Drive）４、立体映像を出力・表示するインテグラルイメージング（ＩＩ）方式等の空間像方式の立体映像表示部５、ユーザが本装置に対して各種指示を入力したり各種情報を表示したりするユーザインタフェース（ＵＩ）６等から構成されている。なお、後述する立体映像表示装置１０１〜１０６においても、立体映像表示装置１００と同様のハードウェア構成を備えるものとする。

立体映像表示装置１００のプロセッサ１は、立体映像表示プログラムに従って各種の演算処理を実行して各部を制御する。

また、ＨＤＤ４は、立体映像の表示にかかる各種コンテンツとして、後述する実物体位置姿勢情報や実物体属性情報、また、後述する物理演算モデル（Ｍｏｄｅｌ＿ｏｔｈｅｒ１３２）の基となる種々の情報を記憶している。

立体映像表示部５は、液晶等に代表されるフラットパネルディスプレイ（ＦＰＤ）の上に、射出瞳がマトリクス状に並んだ光学素子を備えた空間像方式の立体映像表示用の表示装置である。この表示装置では、観察位置に応じて射出瞳を経由して見える画素が切り替わることにより、観察者に空間像方式の立体映像を視認させることが可能となっている。

以下、立体映像表示部５上に表示される映像の構成方法について説明する。本実施形態にかかる立体映像表示装置１００の立体映像表示部５はｎ視差の光線を再生できるように設計されている。ここで、本実施形態では、視差数ｎ＝９として説明する。

図２は、立体映像表示部５の構造を概略的に示す斜視図である。立体映像表示部５では、図２に示すように、液晶パネル等の平面状の視差画像表示部５１の表示面の前面に、光線制御素子として光学開口が垂直方向に延びるシリンドリカルレンズからなるレンチキュラー板が光線制御素子５２として配置されている。光学開口が斜めや階段状でなく縦に一直線であるため、立体表示時の画素配列を正方配列にすることが容易である。

表示面には、縦横比が３：１の画素２０１が、横方向には直線状に１行に並び、各画素は同一行内で横方向に赤（Ｒ）、緑（Ｇ）、青（Ｂ）が交互に並ぶように配列されている。画素行の縦周期（３Ｐｐ）は、画素の横周期Ｐｐの３倍である。

なお、カラー画像を表示するカラー画像表示装置においては、ＲＧＢの３つの画素で１実効画素、即ち、輝度と色が任意に設定できる最小単位が構成される。ＲＧＢのひとつひとつは、一般的にはサブ画素と呼ばれる。

図２に示される表示画面では、９列３行の画素で１実効画素５３（黒枠で示される）が構成される。そして、光線制御素子５２であるレンチキュラー板のシリンカドリルレンズは実効画素５３のほぼ正面に配置される。

平行光線１次元ＩＰ方式では、表示面内に配列されたサブ画素の横周期（Ｐｐ）の９倍に等しい水平ピッチ（Ｐｓ）である各シリンドリカルレンズが直線状に延在する光線制御素子５２としてレンチキュラー板により、表示面に水平に９個おきの画素からの光線が平行光線として再生される。

実際には想定する視点は、表示面から有限な距離に設定するため、立体映像表示部５の映像を構成するのに必要な同一視差方向の平行光線を構成する組の画素の画像データを集積した各視差成分画像は９枚より多くなる。この視差成分画像から実際に使用される光線が抜き出されることで、立体映像表示部５に表示する視差合成画像が生成される。

図３は、多眼方式の立体映像表示部５における各視差成分画像と表示面上の視差合成画像との関係の一例を示す模式図である。２０１が３次元画像表示用の画像であり、２０３が画像取得位置であり、２０２は視差画像の中心と画像取得位置の射出瞳とを結ぶ線分である。

図４は、１次元ＩＰ方式の立体映像表示部５における各視差成分画像と表示面上の視差合成画像との関係の一例を示す模式図である。３０１が３次元画像表示用の画像であり、３０３が画像取得位置であり、３０２は視差画像の中心と画像取得位置の射出瞳とを結ぶ線分である。

１次元ＩＰ方式の立体ディスプレイでは、表示面から特定視距離に配置した立体ディスプレイの設定視差数以上の複数台のカメラで画像の取得を行い（コンピュータグラフィックスではレンダリングを行い）、レンダリングされた画像から立体ディスプレイに必要な光線を抜き出し表示することになる。また、各視差成分画像から抜き出される光線数は立体ディスプレイの表示面のサイズ、解像度等の他、想定視距離等により決定される。

図５及び図６は、視距離が変わった場合に利用者から見える視差画像が変化している状態を示す模式図である。図５、図６において、４０１、５０１は観察位置から視認される視差画像の番号である。図５及び図６に示すように、視距離が変化した場合には、観察位置から視認される視差画像が異なることがわかる。

各視差成分画像は、垂直方向が想定視距離あるいはその近傍の視距離に対応した透視投影であり、かつ水平方向が平行投影である画像であることが標準であるが、垂直方向及び水平方向とも透視投影であってもよい。すなわち、光線再生方式に関わる立体ディスプレイ装置における映像の生成処理は再現する光線情報への変換さえできれば、必要十分な台数のカメラで撮像あるいは描画処理を行えば良いことになる。

以下の実施形態にかかる立体映像表示部５の説明では、立体映像の表示に必要かつ十分な光線の取得が可能なカメラ位置と台数の算出ができていることを前提として説明する。

図７は、第１の実施形態にかかる立体映像表示装置１００の機能的構成を示したブロック図である。図７に示すように、立体映像表示装置１００は、プロセッサ１が立体映像表示プログラムに従って各部を制御することにより、実物体位置姿勢情報記憶部１１、実物体属性情報記憶部１２、相互作用演算部１３、要素画像生成部１４を備えることになる。

ここで、実物体位置姿勢情報記憶部１１は、立体映像表示部５による立体表示が可能な空間（以下、表示空間という）内に配置された実物体７の位置や姿勢に関する情報を実物体位置姿勢情報としてＨＤＤ４に記憶している。ここで実物体７とは、少なくとも一部分が光透過性の部材からなる実在物であって、例えば、光透過性のアクリル板やガラス板等を用いることができる。なお、実物体７の形状や素材は特に問わないものとする。

実物体位置姿勢情報としては、立体映像表示部５に対する実物体オブジェクトの現在位置を示す位置情報や、過去のある時点から現在時刻までに移動した位置や移動量、速度等を表した運動情報、実物体７の現在及び過去の姿勢（方向等）を表した姿勢情報等が挙げられる。例えば、後述する図８の例の場合、実物体７の厚み中心から、立体映像表示部５の表示面までの距離等が実物体属性情報として記憶される。

実物体属性情報記憶部１２は、実物体７自体が有する固有の属性を実物体属性情報としてＨＤＤ４に記憶している。ここで、実物体属性情報としては、実物体７の形状を表す形状情報（ポリゴン情報、形状を表す数式情報（ＮＵＲＢＳ等））や、実物体７の物理的な特性を表す物理特性情報（実物体７表面の光学特性、材質、強度、厚み、屈折率等）が挙げられる。例えば、後述する図８の例の場合、実物体７の光学的特性や厚み等が実物体属性情報として記憶される。

相互作用演算部１３は、実物体位置姿勢情報記憶部１１及び実物体属性情報記憶部１２に夫々記憶された実物体位置姿勢情報及び実物体属性情報から、実物体７を表す物理演算モデル（Ｍｏｄｅｌ＿ｏｂｊ）を生成する。また、ＨＤＤ４に予め記憶された情報を基に、実物体７の表示空間内における仮想的な外部環境を表す物理演算モデル（Ｍｏｄｅｌ＿ｏｔｈｅｒ）を生成し、Ｍｏｄｅｌ＿ｏｂｊとＭｏｄｅｌ＿ｏｔｈｅｒとの相互作用を演算する。なお、Ｍｏｄｅｌ＿ｏｔｈｅｒの生成の基となる種々の情報は、ＨＤＤ４に予め記憶されているものとし、相互作用演算部１３により随時読み込みが行われるようになっているものとする。

ここで、Ｍｏｄｅｌ＿ｏｂｊとは、実物体位置姿勢情報及び実物体属性情報に基づき、表示空間上での実物体７の全体又は一部の特性を表す情報である。例えば、後述する図８の例の場合、実物体７の厚み中心から、立体映像表示部５の表示面までの距離が「ａ」、実物体７の厚みが「ｂ」であったとする。この時、立体映像表示部５の表示面の垂線方向をＺ軸とすると、相互作用演算部１３は、下記関係式（１）又は式（１）の算出結果を、実物体７の立体映像表示部５側の表面位置（Ｚ１）を表すＭｏｄｅｌ＿ｏｂｊとして生成する。

Ｚ１＝ａ−ｂ （１）

なお、ここでではＭｏｄｅｌ＿ｏｂｊ１３１を、実物体７の表面に関する条件を表すものとして説明したが、これに限らず、例えば、屈折率や強度を表す条件を表すものとしてもよいし、所定の条件下での挙動（例えば、実物体７に相当する仮想オブジェクトに他の仮想オブジェクトが衝突した際の反応）が表されていてもよい。

Ｍｏｄｅｌ＿ｏｔｈｅｒとは、仮想空間上に表示させる立体映像（仮想オブジェクト）の位置情報や運動情報、形状情報、物理特性情報等を含むとともに、衝突時に仮想オブジェクトの形状を所定量変化させる等といった、所定の条件下における仮想オブジェクトの挙動等、Ｍｏｄｅｌ＿ｏｂｊ以外の実物体７の表示空間内における仮想的な外部環境の特性を表す情報である。なお、仮想オブジェクトの挙動は、運動方程式等の実際の自然法則に従うよう演算が行われるものとするが、仮想オブジェクトＶの振る舞いが実世界と違和感なく表示できるようであれば、厳密に自然法則に従う必要はなく、簡略化した関係式等を用いて演算を行う態様としてもよい。

例えば、後述する図８の例の場合、球状の仮想オブジェクトＶ１の半径が「ｒ」、上述したＺ軸上における仮想オブジェクトＶ１の中心位置が「ｃ」であったとする。この時、相互作用演算部１３は、下記関係式（２）又はこの式（２）の算出結果を、Ｚ軸上における仮想オブジェクトＶ１の実物体７側の表面位置（Ｚ２）を表すＭｏｄｅｌ＿ｏｔｈｅｒとして生成する。

Ｚ２＝ｃ＋ｒ （２）

また、Ｍｏｄｅｌ＿ｏｂｊとＭｏｄｅｌ＿ｏｔｈｅｒとの相互作用を演算するとは、生成したＭｏｄｅｌ＿ｏｂｊとＭｏｄｅｌ＿ｏｔｈｅｒとを用い、所定の判定基準の下、Ｍｏｄｅｌ＿ｏｂｊの条件によるＭｏｄｅｌ＿ｏｔｈｅｒの状態変化を導出することを意味する。

例えば、後述する図８の例の場合、実物体７と、球状の仮想オブジェクトＶ１との仮想的な衝突を判定する場合、相互作用演算部１３は、実物体７を表すＭｏｄｅｌ＿ｏｂｊと、仮想オブジェクトＶ１を表すＭｏｄｅｌ＿ｏｔｈｅｒとを用い、上記式（１）、（２）から、下記式（３）を導出し、この演算結果に基づいて、実物体７と仮想オブジェクトＶ１とが衝突したか否の判定を行う。

衝突判定＝（ａ−ｂ）−（ｃ＋ｒ） （３）

なお、上記例では、Ｍｏｄｅｌ＿ｏｂｊ１３１と、Ｍｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用を、両物理演算モデルが表す仮想オブジェクトの衝突、即ち、仮想オブジェクトの表面に関する条件のみ判定する態様としたが、これに限らず、他の条件について判定する態様としてもよい。

相互作用演算部１３は、上記式（３）の値がゼロ（又は、ゼロ以下）の時、実物体７と仮想オブジェクトＶ１とが衝突したと判定し、仮想オブジェクトＶ１の形状を変化させたり、仮想オブジェクトＶ１の運動軌跡がバウンドしたように表示させるといったＭｏｄｅｌ＿ｏｔｈｅｒへの変更を演算する。このように、相互作用を演算では、Ｍｏｄｅｌ＿ｏｂｊが持ち込まれた結果として、Ｍｏｄｅｌ＿ｏｔｈｅｒに変更が加えられる。

要素画像生成部１４は、相互作用演算部１３での演算結果をＭｏｄｅｌ＿ｏｂｊ１３１及び／又はＭｏｄｅｌ＿ｏｔｈｅｒ１３２に反映したうえで多視点画像をレンダリングにより生成し、これら多視点画像を並び替えて要素画像アレイを生成する。そして、生成した要素画像アレイを立体映像表示部５の表示空間内に表示させることで、仮想オブジェクトの立体表示を行う。

以下、上記の構成により立体映像表示部５に表示された立体映像について説明する。図８は、垂直に立設（縦置き）された立体映像表示部５と、当該立体映像表示部５と平行となる近傍位置に垂直に立設された光透過性の実物体７との間に、球状及びブロック状の仮想オブジェクトＶ（Ｖ１、Ｖ２）を表示させた状態を示している。なお、図中波線で表した線分Ｔは、球状の仮想オブジェクトＶ１の運動軌跡を表している。

図８の場合、例えば、立体映像表示部５の表示面から１０ｃｎ離間した位置に、当該表示面と平行に実物体７が設定されていることを指示する情報等が実物体位置姿勢情報として実物体位置姿勢情報記憶部１１に記憶されている。また、実物体７に固有の属性、例えば、アクリル板やガラス板等の材質、形状、厚み、強度、屈折率等が実物体属性情報として実物体属性情報記憶部１２に記憶されている。

相互作用演算部１３は、実物体位置姿勢情報及び実物体属性情報に基づいて、実物体７を表すＭｏｄｅｌ＿ｏｂｊを生成するとともに、仮想オブジェクトＶ（Ｖ１、Ｖ２）を表すＭｏｄｅｌ＿ｏｔｈｅｒを生成し、両物理演算モデル間の相互作用を演算する。

また、図８の場合、相互作用時の判定基準として、実物体７と仮想オブジェクトＶ１とが衝突した場合等が挙げられる。この場合、相互作用演算部１３は、Ｍｏｄｅｌ＿ｏｂｊと、Ｍｏｄｅｌ＿ｏｔｈｅｒとの相互作用の結果として、実物体７に球状の仮想オブジェクトＶ１が跳ね返るといった演算結果を得ることできる。また、仮想オブジェクトＶ１と仮想オブジェクトＶ２との間の相互作用も同様に演算することができ、例えば、実物体７から跳ね返った仮想オブジェクトＶ１が、ブロック状の仮想オブジェクトＶ２に衝突するといった条件下のもと、仮想オブジェクトＶ１が仮想オブジェクトＶ２を破壊するといった相互作用の演算結果を得ることができる。

要素画像生成部１４は、相互作用演算部１３での演算結果を踏まえた多視点画像を生成し、立体映像表示部５に表示するための要素画像アレイに変換する。これによって、仮想オブジェクトＶは立体映像表示部５の表示空間に立体表示される。このようなプロセスで生成・表示された仮想オブジェクトＶは、光透過性の実物体７と同時に観察されることにより、観察者は、光透過性の実物体７に球状の仮想オブジェクトＶ１が衝突したり、また、仮想オブジェクトＶ１がブロック状の仮想オブジェクトＶ２に衝突して仮想オブジェクトＶ２が崩れたりするといった様子を鑑賞することができる。これら仮想的な相互作用は、解像度が不足している立体映像の存在感を著しく向上し、従来にない臨場感を実現することができる。

なお、図８の例では、仮想オブジェクトＶとして球状及びブロック状のものを扱ったが、その態様は図示例に限定されないものとする。例えば、光透過性の実物体７と立体映像表示部５との間に、紙片（図９参照）やシャボン玉（図１０参照）を仮想オブジェクトＶとして表示させ、仮想的に発生させた対流で舞い上がらせたり、実物体７に衝突して破裂させたりといった所定の条件下での相互作用を演算する態様としてもよい。

図８〜１０で示したように、立体映像表示部５の全面をガラス板等の比較的透明度の高い実物体７で覆ったような場合、実物体７自体が視認されにくいという問題がある。そのため、実物体７になんらかの図形や模様を描画しておくことで、仮想オブジェクトＶとの相対的な位置関係を視認し易くすることができる。

図１１は、実物体７の表面に模様Ｄとして格子模様を設けた状態を示した図である。なお、図中波線で表した線分Ｔは、球状の仮想オブジェクトＶの運動軌跡を表している。ここで、実物体７に描画する模様Ｄは、実物体７に実際に描画したり、シール素材を貼り付けたりする態様としてもよいが、例えば、実物体７の内部に光を散乱する散乱領域を設け、実物体７の端面をＬＥＤ等の光源で照射することで、該散乱部位で散乱光を発生させる態様としてもよい。なお、この場合、仮想オブジェクトＶを再生するために照射する光を、実物体７の端面に照射し、散乱光を発生させる態様としてもよいし、仮想オブジェクトＶの動作に応じて、実物体７の端面を照射する光の輝度を変調させる態様としてもよい。

また、立体映像表示部５と実物体７との構成は、上記した例に限らず、他の態様としてもよい。以下、図１２、１３−１、１３−２を参照して、立体映像表示部５及び実物体７の他の構成例について説明する。

図１２は、水平に設置（平置き）された立体映像表示部５上に、光透過性の半球状からなる実物体７が載置された構成を示しており、この実物体７の半球内に仮想オブジェクトＶ（Ｖ１、Ｖ２、Ｖ３）を表示させている。なお、図中波線で表した線分Ｔは仮想オブジェクトＶ（Ｖ１、Ｖ２、Ｖ３）の運動軌跡を表している。

図１２の構成の場合、例えば、実物体７が立体映像表示部５の表示面上の特定の位置に、半球の大円側が立体映像表示部５と接するよう載置されていることを指示する情報等が実物体位置姿勢情報として実物体位置姿勢情報記憶部１１に記憶されている。また、実物体属性情報記憶部１２には、実物体７に固有の属性、例えば、アクリル板やガラス板等の材質や、半径１０ｃｍの半球といった形状、強度、厚み、屈折率等が実物体属性情報として実物体属性情報記憶部１２に記憶されている。

相互作用演算部１３は、実物体位置姿勢情報及び実物体属性情報に基づいて、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１を生成するとともに、当該Ｍｏｄｅｌ＿ｏｂｊ１３１以外の仮想オブジェクトＶ（Ｖ１、Ｖ２、Ｖ３）等を表すＭｏｄｅｌ＿ｏｔｈｅｒ１３２とを生成し、両物理演算モデル間の相互作用を演算する。

図１２の場合、相互作用時の判定基準として、実物体７と仮想オブジェクトＶ１とが衝突した場合等が挙げられ、この場合、相互作用演算部１３は、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１と、仮想オブジェクトＶを表すＭｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用の結果として、実物体７に仮想オブジェクトＶ１が跳ね返るといった現象を表現することが可能である。また、衝突位置に跳ね返ったことを明示する火花を表す仮想オブジェクト（Ｖ２）を表示させたり、仮想オブジェクトＶ１を破裂させ、仮想的な内容物を表す仮想オブジェクト（Ｖ３）を実物体７の曲面に沿って表示させるといった現象を表現することが可能である。

要素画像生成部１４は、相互作用演算部１３での演算結果をＭｏｄｅｌ＿ｏｂｊ１３１及び／又はＭｏｄｅｌ＿ｏｔｈｅｒ１３２に反映したうえで多視点画像をレンダリングにより生成し、これら多視点画像を並び替えて要素画像アレイを生成する。そして、生成した要素画像アレイを立体映像表示部５の表示空間内に表示させることで、仮想オブジェクトＶの立体表示を行う。

このようなプロセスで生成・表示された仮想オブジェクトＶを、光透過性の実物体７と同時に観察することにより、観察者は、実物体７の半球内を、球状の仮想オブジェクトＶ１が火花を散らして跳ね返ったり、破裂したりする様子を鑑賞することができる。

また、図１３−１、図１３−２は、水平面に対し４５度の傾斜をつけて設置された立体映像表示部５の下端部近傍に、光透過性の板状からなる実物体７を垂直に立設した構成を示した図である。

ここで、図１３−１及び図１３−２の左図は、実物体７の面を正面方向（Ｚ軸方向）から見た正面図である。また、図１３−１及び図１３−２の右図は、図１３−１及び図１３−２の図の右側面図である。ここで、立体映像表示装置１００は、実物体７と立体映像表示部５との間に、球状の仮想オブジェクトＶ１を表示するとともに、立体映像表示部５の表示面上に穴状の仮想オブジェクトＶ２を表示している。なお、図中波線で表した線分Ｔは仮想オブジェクトＶ１の運動軌跡を表している。

図１３−１、１３−２の構成の場合、例えば、実物体７が立体映像表示部５の表示面下部から４５度の角度を成して設置されていることを指示する情報が実物体位置姿勢情報として実物体位置姿勢情報記憶部１１に記憶されているものとする。また、実物体属性情情報としては、上記同様、実物体７に固有の属性、例えば、ガラス板やアクリル板等の材質や、板状といった形状、強度、厚み、屈折率等が実物体属性情報記憶部１２に記憶されているものとする。

相互作用演算部１３は、実物体位置姿勢情報及び実物体属性情報に基づいて、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１を生成するとともに、仮想オブジェクトＶ（Ｖ１、Ｖ２）を表すＭｏｄｅｌ＿ｏｔｈｅｒを生成し、両物理演算モデル間の相互作用を演算する。

図１３−１の場合、相互作用時の判定基準として、実物体７と仮想オブジェクトＶ１とが衝突した場合等が挙げられる。この場合、相互作用演算部１３は、Ｍｏｄｅｌ＿ｏｂｊと、Ｍｏｄｅｌ＿ｏｔｈｅｒとの相互作用の結果として、実物体７に球状の仮想オブジェクトＶ１が跳ね返るといった演算結果を得ることできる。また、相互作用時の他の判定基準として、仮想オブジェクトＶ１と仮想オブジェクトＶ２とが接触した場合も挙げられ、この場合、仮想オブジェクトＶ１と仮想オブジェクトＶ２との相互作用の結果として、仮想オブジェクトＶ１が、穴状の仮想オブジェクトＶ２に落下するといった演算結果を得ることができる。

また、図１３−２の場合、相互作用時の他の判定基準として、実物体７と複数の仮想オブジェクトＶ１とが接触した場合等が挙げられ、この場合、相互作用演算部１３は、Ｍｏｄｅｌ＿ｏｂｊ１３１と、複数の仮想オブジェクトＶ１を表すＭｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用の結果として、実物体７と立体映像表示部５との間の谷部に複数の仮想オブジェクトＶ１が滞留するといった演算結果を得ることができる。

要素画像生成部１４は、上記相互作用演算部１３での演算結果をＭｏｄｅｌ＿ｏｂｊ１３１及び／又はＭｏｄｅｌ＿ｏｔｈｅｒ１３２に反映したうえで多視点画像をレンダリングにより生成し、これら多視点画像を並び替えて要素画像アレイを生成する。そして、生成した要素画像アレイを立体映像表示部５の表示空間内に表示させることで、仮想オブジェクトＶの立体表示を行う。

このようなプロセスで生成・表示された仮想オブジェクトＶ（Ｖ１、Ｖ２）は、光透過性の実物体７と同時に観察されることにより、観察者は、平面状の実物体７を利用して、球状の仮想オブジェクトＶ１がバウンドしたり、溜まったりする様子を鑑賞することができる。

なお、図１３−１の構成の場合、穴状の仮想オブジェクトＶ２に仮想オブジェクトＶ１が落ちた際に、当該仮想オブジェクトＶ２に対応する位置（例えば、立体映像表示部５の背面）から、仮想オブジェクトＶ１に相当する実物の球を出現させる機構を設けておくことで、仮想オブジェクトＶ１の存在感を増大させることができるとともに、インタラクティブ性を向上させることができる。

具体的には、図１３−１の構成の立体映像表示装置１００を遊技機等に設置し、仮想オブジェクトＶ１の球を遊技用の球に視覚的に類似した属性を付与しておく。立体映像表示部５の表示空間から仮想オブジェクトＶ１の球が非表示になったタイミングに連動して、遊技機の排出口から遊技用の球が排出することで、仮想オブジェクトＶ１の存在感、臨場感をより向上させることができる。

以上のように、本実施形態によれば、表示空間内に配置された少なくとも一部に光透過性部分を有する実物体７と、当該表示空間内における実物体７の仮想的な外部環境との相互作用を演算し、この演算結果を立体映像（仮想オブジェクト）として表示することができるため、立体映像と実物体との自然な融合を実現できるとともに、立体映像の臨場感、存在感を向上させることができる。

［第２の実施形態］
次に、第２の実施形態の立体映像表示装置について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与し、その説明を省略する。

図１４は、本実施形態の立体映像表示装置１０１の機能的構成を示したブロック図である。図１４に示したように、立体映像表示装置１０１は、プロセッサ１が立体映像表示プログラムに従って各部を制御することにより、第１の実施形態で説明した実物体位置姿勢情報記憶部１１、実物体属性情報記憶部１２、要素画像生成部１４に加え、実物体付加情報記憶部１５と相互作用演算部１６とを備えている。

ここで、実物体付加情報記憶部１５は、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１に、付加的に追加することが可能な情報を、実物体付加情報としてＨＤＤ４に記憶している。

実物体付加情報としては、例えば、相互作用の結果に応じて実物体７に重畳して表すことが可能な仮想オブジェクトに関する付加情報や、Ｍｏｄｅｌ＿ｏｂｊ１３１の生成時に付加する属性条件等が挙げられる。ここで、付加情報とは、例えば、実物体７にひびが入ったように見せかける仮想オブジェクトや、実物体７に穴が空いたように見せかける仮想オブジェクト等の演出効果用のコンテンツである。

また、属性条件とは、実物体７の属性に、付加的に追加する新たな属性であって、例えば、実物体７が光透過性の平面ガラスである場合に、当該実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１に鏡としての属性を付加したり、レンズとしての属性を付加したりすることが可能な情報である。

相互作用演算部１６は、上述した相互作用演算部１３と同様の機能を有するとともに、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１の生成時又はＭｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用の演算結果に応じて、実物体付加情報記憶部１５に記憶された実物体付加情報を読み出し、当該実物体付加情報を付加した処理を実行する。

以下、図１５〜１８を参照して、本実施形態の立体映像表示装置１００における表示形態を説明する。

図１５、１６は、垂直に立設（縦置き）された立体映像表示部５と、当該立体映像表示部５の表示面と平行となる近傍位置に垂直に立設された、光透過性の平面状の実物体７との間に、球状の仮想オブジェクトＶ１を表示させた状態を示している。ここで、実物体７は、光透過性のガラス板やアクリル板等の実在物であるものとする。なお、図中波線で表した線分Ｔは、球状の仮想オブジェクトＶ１の運動軌跡を表している。

この構成の場合、実物体位置姿勢情報記憶部１１には、例えば、立体映像表示部５の表示面から１０ｃｎ離間した位置に、当該表示面と平行に実物体７が設定されていることを指示する情報が実物体位置姿勢情報として記憶される。また、実物体属性情報記憶部１２には、実物体７の属性、即ち、アクリル板やガラス板の材質、強度、厚み、屈折率等が実物体属性情報として記憶される。

相互作用演算部１６は、実物体位置姿勢情報及び実物体属性情報に基づいて、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１を生成するとともに、仮想オブジェクトＶ１を表すＭｏｄｅｌ＿ｏｔｈｅｒ１３２を生成し、両物理演算モデル間の相互作用を演算する。

図１５の構成の場合、相互作用時の判定基準として、実物体と仮想オブジェクトＶ１とが衝突した場合等が挙げられる。この場合、相互作用演算部１６は、Ｍｏｄｅｌ＿ｏｂｊ１３１と、Ｍｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用の結果として、実物体７に球状の仮想オブジェクトＶ１が跳ね返るといった演算結果を得ることできる。さらに、相互作用演算部１６は、両物理演算モデル間の相互作用の演算結果と、実物体付加情報記憶部１５に記憶さえた実物体付加情報とに基づき、実物体７に重畳表示させる仮想オブジェクトＶ３を、衝突位置を基準に表示させるよう演算する。

要素画像生成部１４は、相互作用演算部１６での演算結果をＭｏｄｅｌ＿ｏｂｊ１３１及び／又はＭｏｄｅｌ＿ｏｔｈｅｒ１３２に反映したうえで多視点画像をレンダリングにより生成し、これら多視点画像を並び替えて要素画像アレイを生成する。そして、生成した要素画像アレイを立体映像表示部５の表示空間内に表示させることで、仮想オブジェクトＶ１を表示させるとともに、実物体７の衝突位置を基準に仮想オブジェクトＶ３を表示させる。

図１５では、実物体７にひびが入ったように見せかける仮想オブジェクトＶ３を表示させた例を示している。ここで、仮想オブジェクトＶ３は、上記のプロセスで生成・表示されることで、実物体７と仮想オブジェクトＶ１との衝突位置を基準として、当該実物体７上に立体表示される。

また、図１６では、上記図１５と同様、仮想オブジェクトＶ１と実物体７との衝突位置を基準として、穴が空いたように見せかける付加映像を仮想オブジェクトＶ３として実物体７上に重畳表示させた例を示している。なお、図１６の例の場合、仮想オブジェクトＶ３として表示させた穴から、仮想オブジェクトＶ１の球が飛び出していくような表示を行うこととしてもよい。

このように、実物体７と仮想オブジェクトＶとの仮想的な相互作用に伴い、実物体７自体に付加的な立体映像（仮想オブジェクト）を重畳して表示させることにより、立体映像と実物体との自然な融合を実現できるとともに、立体映像の臨場感、存在感を向上させることができる。

図１７は、立体映像表示装置１０１による立体映像の他の表示形態を示した図である。この表示形態では、水平に設置（平置き）された立体映像表示部５上に、光透過性の板状からなる実物体７を垂直に立設した構成としている。ここで、実物体７は、光透過性のガラス板やアクリル板等であるものとする。なお、実物体７に関する実物体位置姿勢情報及び実物体属性情報は、実物体位置姿勢情報記憶部１１及び実物体属性情報記憶部１２に夫々記憶されており、実物体付加情報として、鏡（全反射）の属性を指示する付加条件が実物体付加情報記憶部１５に予め記憶されているものとする。

図１７の構成の場合、相互作用演算部１６は、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１の生成時に、実物体付加情報記憶部１５から、鏡（全反射）の特性を指示する付加条件を読み出し、Ｍｏｄｅｌ＿ｏｂｊ１３１に付加することで、Ｍｏｄｅｌ＿ｏｂｊ１３１が表す実物体をあたかも鏡のように取り扱うことが可能となる。即ち、Ｍｏｄｅｌ＿ｏｂｊ１３１とＭｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用の演算の際には、付加条件が付加されたＭｏｄｅｌ＿ｏｂｊ１３１に基づいて処理が行われることになる。

そのため、図１７に示したように、Ｍｏｄｅｌ＿ｏｔｈｅｒ１３２が表す仮想オブジェクトＶとして光線を模擬的に表示させた場合、この光線と実物体７とが衝突時には、相互作用演算部１６による相互作用の演算結果により、実物体７は鏡として取り扱われることになる。その結果、仮想オブジェクトＶは、実物体７と仮想オブジェクトＶとの衝突位置を基準とし、当該実物体７により反射されたように表示される。

また図１８は、図１７の例と同様に、水平に設置（平置き）された立体映像表示部５上に、ガラス板やアクリル板等の光透過性の円板状からなる実物体７が垂直に立設された構成を示した図である。ここで、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１は、相互作用演算部１６により、レンズ（凸レンズ）の属性を付加する付加条件が付加されているものとする。

この場合、図１８に示したように、Ｍｏｄｅｌ＿ｏｔｈｅｒ１３２が表す仮想オブジェクトＶとして模擬的に表示させた光線と、実物体７との衝突時には、相互作用演算部１６による相互作用の演算結果により、実物体７はレンズとして取り扱われることになる。そのため、仮想オブジェクトＶは、実物体７と仮想オブジェクトＶとの衝突位置を基準とし、当該実物体７により屈折（集光）されたように表示される。

このように、表示された立体映像と、光透過性の実物体７と同時に鑑賞することで、観察者は、鏡で光線が反射したり、レンズで集光したりといった仮想的な表現を鑑賞することができる。光線の軌跡を実際に鑑賞しようとすると、空間にスモークを炊いたりして散乱させる必要がある。また、反射やレンズによる集光を学習しようとしたときに、光学素子そのものも高価であるし、壊れやすい、汚れを嫌うといった扱いを慎重にしなければならない。本実施例の構成では、アクリル板等の実物体７で光学素子相当の性能を仮想的に発現させることから、子供向けの光線の軌跡を学ぶ教材等の用途に用いることが適している。

以上のように、本実施形態によれば、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１の生成時に、新たな属性を付加することで、実物体７が本来有する属性を仮想的に拡張することができ、立体映像と実物体との自然な融合を実現するとともに、インタラクティブ性をより向上させることができる。

［第３の実施形態］
次に、第３の実施形態の立体映像表示装置について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与し、その説明を省略する。

図１９は、本実施形態の相互作用演算部１７の構成を示したブロック図である。図１９に示したように、相互作用演算部１７は、プロセッサ１が立体映像表示プログラムに従って各部を制御することにより、遮光部映像非表示部１７１を備えている。なお、他の機能部については、第１の実施形態又は第２の実施形態で説明した構成と同様であるものとする。

ここで、遮光部映像非表示部１７１は、実物体位置姿勢情報記憶部１１に実物体位置姿勢情報として記憶された実物体７の位置、姿勢と、実物体属性情報記憶部１２に実物体属性情報として記憶された実物体７の形状と、に基づいて、実物体７が立体映像表示部５により照射された光線を遮光する領域である遮光領域を算出する。

具体的に、遮光部映像非表示部１７１は、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１からＣＧモデルを生成し、立体映像表示部５から照射される光線が当該ＣＧモデルに照射された状態を演算により再現することで、立体映像表示部５により照射された光線を遮光するＣＧモデルの領域を算出する。

また、遮光部映像非表示部１７１は、算出した遮光領域に該当するＣＧモデルの部分を、要素画像生成部１４における各視点画像作成の直前に除去したＭｏｄｅｌ＿ｏｂｊ１３１を生成し、当該Ｍｏｄｅｌ＿ｏｂｊ１３１と、Ｍｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用が演算されることになる。

以上のように、本実施形態によれば、実物体７の遮光性部位に立体映像が表示されることを防止することが可能となるため、この遮光性部位と立体映像との位置がずれた場合の二重像等の違和感を抑制し、観察者から見てより違和感の少ない表示を実現することができる。

なお、本実施形態では、立体映像表示部５から照射される光線が当該ＣＧモデルに照射された状態を演算により再現することで遮光領域を算出する態様としたが、これに限らず、例えば、実物体位置姿勢情報や実物体属性情報として、遮光領域に相当する情報が予め記憶されていた場合には、この情報を用いて立体映像の表示を制御する態様としてもよい。また、後述する実物体７の位置及び姿勢を検出可能な機能部（実物体位置姿勢検出部１９）を備えた場合、当該機能部によりリアルタイムで取得される実物体７の位置及び姿勢に基づいて、遮光領域を算出する態様としてもよい。

［第４の実施形態］
次に、第４の実施形態の立体映像表示装置について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与し、その説明を省略する。

図２０は、本実施形態の相互作用演算部１８の構成を示したブロック図である。図２０に示したように、相互作用演算部１８は、プロセッサ１が立体映像表示プログラムに従って各部を制御することにより、光学的影響補正部１８１を備えている。なお、他の機能部については、第１の実施形態又は第２の実施形態で説明した構成と同様であるものとする。

ここで、光学的影響補正部１８１は、実物体７に仮想オブジェクトを重畳表示させた際、当該仮想オブジェクトの見え方が所定の状態となるよう、Ｍｏｄｅｌ＿ｏｂｊ１３１を補正する。

例えば、実物体７の光透過性部分の屈折率が空気より高く、且つ、形状が曲面を有する場合、この光透過性部分はレンズとしての効果を発揮する。このような場合、このレンズ効果を見かけ上発生しないよう制御するため、光学的影響補正部１８１は、Ｍｏｄｅｌ＿ｏｂｊ１３１に含まれる実物体７の屈折率等に寄与する項を補正することで、レンズ効果を相殺するＭｏｄｅｌ＿ｏｂｊ１３１を生成する。

また、例えば、実物体７が白色光の元、青みを帯びて見えるような光学特性（黄色の波長を吸収する）を有するような場合、立体映像表示部５から照射された白色光は実物体７の吸光効果により青みを帯びて観察される。このような場合、実物体７の吸光効果が見かけ上発生しないよう制御するため、光学的影響補正部１８１は、Ｍｏｄｅｌ＿ｏｂｊ１３１に含まれる表示色に寄与する項を補正することで、仮想オブジェクトが重畳表示された際に観察される色を補正する。例えば、立体映像表示部５の射出瞳から照射された光を、実物体７の光透過性部分を経由して最終的に赤に見せるためには、当該光透過性部分に該当する仮想オブジェクトの色を橙色で生成することになる。

要素画像生成部１４は、光学的影響補正部１８１により補正されたＭｏｄｅｌ＿ｏｂｊ１３１での演算結果を反映したうえで、多視点画像をレンダリングにより生成し、これら多視点画像を並び替えて要素画像アレイを生成する。そして、生成した要素画像アレイを立体映像表示部５の表示空間内に表示させることで、仮想オブジェクトの立体表示を行う。

なお、立体映像表示部５の光により実物体７の光透過部を呈色させる場合、実物体７の光透過性部を覆うように、色のついた仮想オブジェクトを重畳表示させることで実現することが可能であるが、実物体７が所定の散乱特性を有する場合、この特性に基づいて光を照射することで、より効率的に呈色させることが可能となる。

ここで、実物体７の散乱特性とは、実物体７に入射された光の散乱する程度を意味する。例えば、実物体７が微細な気泡を包含した素材から構成されるような場合で且つ、当該実物体７の屈折率が１より高いような場合には、微細な気泡により光が散乱されるため、均質な光透過性の素材から構成したものに比べて散乱の程度は高くなる。

実物体７の屈折率が１より高く、且つ、光散乱の程度が所定値以上である場合、光学的影響補正部１８１は、図２１に示したように、実物体７内の任意の位置に、仮想オブジェクトＶを輝点として表示させるよう制御することで、実物体７全体を所定の色や輝度で呈することができる。なお、図中Ｌは、立体映像表示部５の射出瞳から照射された光を示している。これにより、実物体７の光透過性部に仮想オブジェクトを重畳表示させるのと比較し、よりロバストな制御で効率的に実物体７全体を所定の色や輝度で呈することが可能となる。

また、図２２−１に示したように、屈折率が１より高く、且つ、光散乱の程度が所定値以上であるような実物体７内に、遮光性の壁Ｗを複数設け、当該壁Ｗにより実物体７を複数の領域に区分けしたものを用いることができる。この場合、光学的影響補正部１８１は、図２２−２に示したように、何れか一の領域内に仮想オブジェクトＶを輝点として表示させるよう制御することで、領域単位で呈色させることができる。

なお、図２２−１に示した実物体７を用いる様な場合、当該実物体７に内蔵される壁Ｗの位置等、各領域を特定するための情報が実物体属性情報として実物体属性情報記憶部１２に記憶されているものとする。また、図２２−２では、一の領域に輝点を表示する態様を示したが、これに限らず、例えば、複数の領域の夫々に輝点を表示する態様としてもよいし、領域毎に異なる色の輝点を表示させる態様としてもよい。

以上のように、本実施形態によれば、実物体７の光透過性部分に表示する立体映像が所定の表示状態となるようＭｏｄｅｌ＿ｏｂｊ１３１を補正するため、実物体７の属性によらず、所望する見え方で立体画像を観察者に提示することができる。

［第５の実施形態］
次に、第５の実施形態の立体映像表示装置について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与し、その説明を省略する。

図２３は、本実施形態の立体映像表示装置１０２の構成を示したブロック図である。図２３に示したように、立体映像表示装置１０２は、プロセッサ１が立体映像表示プログラムに従って各部を制御することにより、第１の実施形態で説明した各機能部に加えて、実物体位置姿勢検出部１９を備えている。

ここで、実物体位置姿勢検出部１９は、立体映像表示部５の表示面又は当該表示面の近傍に配置される実物体７の位置と姿勢を検出し、実物体位置姿勢情報として実物体位置姿勢情報記憶部１１に記憶させる。なお、ここで実物体７の位置とは立体映像表示部５との相対的な位置を意味し、また実物体７の姿勢とは立体映像表示部５の表示面に対する実物体７の向きや角度を意味する。

具体的に、実物体位置姿勢検出部１９は、実物体７に搭載した位置及び姿勢検出用のジャイロセンサから有線又は無線通信にて送信される信号に基づいて、実物体７の現在位置及び姿勢を検出し、実物体位置姿勢情報として実物体位置姿勢情報記憶部１１に記憶させることで、実物体７の位置及び姿勢をリアルタイムで捕捉する。なお、実物体位置姿勢検出部１９により位置及び姿勢が検出される実物体７に関する実物体属性情報は、実物体属性情報記憶部１２に予め記憶されているものとする。

図２４は、本実施形態の立体映像表示装置１０２の動作を説明するための図である。同図において、直方体状の仮想オブジェクトＶは、相互作用演算部１３の制御の下、水平に設置（平置き）された立体映像表示部５の表示空間内に表示された立体映像である。

実物体７は、遮光性の遮光部７１と、光透過性の光透過部７２とから構成されており、本装置の観察者は、実物体７の遮光部７１を把持し、立体映像表示部５の表示空間内を自在に移動させることが可能となっている。

図２４の構成において、実物体位置姿勢検出部１９は、実物体７の位置及び姿勢をリアルタイムで捕捉し、実物体位置姿勢情報の一要素として実物体位置姿勢情報記憶部１１に順次記憶させる。相互作用演算部１３は、実物体位置姿勢情報の更新に併せ、当該実物体位置姿勢情報と実物体属性情報とに基づいて、現在の実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１を生成し、別途生成された仮想オブジェクトＶを表すＭｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用を演算する。

ここで、観察者の操作により、実物体７が仮想オブジェクトＶと重畳する位置に移動された場合、相互作用演算部１３は、Ｍｏｄｅｌ＿ｏｂｊ１３１とＭｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用を演算し、この演算結果に基づいた仮想オブジェクトＶを、要素画像生成部１４を介して表示させる。なお、図２４では、実物体７と仮想オブジェクトＶとの接触位置を基準として、凹んだような表現を表す仮想オブジェクトＶが表示された例を示している。このような、表示制御により、観察者は実物体７の光透過部７２を介し、実物体７が仮想オブジェクトＶに入り込む様子を鑑賞することができる。

また、図２５は、他の表示形態を示した図であって、立体映像表示部５を水平に設置（平置き）した構成を示している。ここで、実物体７ａは、遮光性の遮光部７１ａと、光透過性の光透過部７２ａとから構成された実在物であって、遮光部７１ａ等に位置及び姿勢検出用のジャイロセンサが備えられている。観察者（操作者）は、実物体７ａを把持することで、実物体７ａを立体映像表示部５上を自在に移動させることが可能となっている。

実物体７ｂは、光透過性の平面状からなる実在物であって、立体映像表示部５の表示面上に垂直に立設されている。ここで、実物体７ｂには、相互作用演算部１３による表示制御により、鏡の属性を有した実物体７ｂと同形状の仮想オブジェクトＶが、要素画像生成部１４を介して重畳表示されている。

図２５の構成において、実物体位置姿勢検出部１９により、実物体７ａの位置及び姿勢が検出され、実物体位置姿勢情報の一要素として実物体位置姿勢情報記憶部１１に記憶されると、相互作用演算部１３は、実物体７ａに対応するＭｏｄｅｌ＿ｏｂｊ１３１を生成し、実物体７ｂに重畳表示された仮想オブジェクトＶを表すＭｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用を演算する。即ち、実物体７ａを表すＭｏｄｅｌ＿ｏｂｊ１３１として、実物体７ａと同形状（同属性）のＣＧモデルを生成し、このＣＧモデルと、鏡の属性が付加された実物体７ｂのＣＧモデルと、の相互作用を演算する。

例えば、図２５に示したように、操作者の操作により実物体７ａが、当該実物体７ａの一部又は全てが実物体７ｂの面（鏡面）に写りこむ位置に移動した場合、相互作用演算部１３による相互作用の演算処理において、実物体７ａの写り込み部分を算出し、実物体７ａの写り込み部分に相当するＣＧモデルの二次元画像を、仮想オブジェクトＶとして実物体７ｂに重畳表示させるよう制御する。

以上のように、本実施形態によれば、実物体７の位置及び姿勢をリアルタイムで捕捉することができるため、立体映像と実物体との自然な融合をリアルタイムで実現できるとともに、立体映像の臨場感、存在感を向上させることができ、インタラクティブ性をより向上させることができる。

なお、本実施形態では、実物体７に内蔵したジャイロセンサにより当該実物体７の位置を検出する態様としたが、これに限らず他の検出機構を用いることとしてもよい。

例えば、立体映像表示部５の周囲から実物体７に赤外光を照射し、その反射の程度から実物体７の位置を検出する赤外線イメージセンサ方式を用いてもよい。この場合、実物体７の位置を検出する機構としては、赤外線を発光する赤外発光部、該赤外光を検出する赤外検出器、赤外光を反射する再帰性反射シート等から構成することができる（何れも図示せず）。ここで、赤外発光部及び赤外検出器は、立体映像表示部５の表示面を構成する４辺のうち、何れか１辺の両端部に夫々設けられ、残りの３辺に赤外光を反射する再帰性反射シートを設けることで、実物体７の表示面上での位置を検出することが可能となる。

図２６は、光透過性の半球状の実物体７を立体映像表示部５の表示面に載置した状態を示す模式図である。表示面上の実物体７が存在する場合、当該表示面の一辺（例えば、図中左辺）の両端部に設けられた図示しない赤外発光部から夫々照射された赤外光が、実物体７に遮られることになる。実物体位置姿勢検出部１９は、赤外検出器により検出された再帰性反射シートによる反射光（赤外光）に基づき、赤外光が検出されない位置、即ち実物体７の存在位置を三角測量方式で特定する。

実物体位置姿勢検出部１９により特性された実物体７の位置は、実物体位置姿勢情報の一要素として実物体位置姿勢情報記憶部１１に記憶され、上記同様相互作用演算部１３により仮想オブジェクトＶとの相互作用が演算されることで、その演算結果が反映された仮想オブジェクトＶが、要素画像生成部１４を介して立体映像表示部５の表示空間に表示されることになる。なお、図中波線で表した線分Ｔは、球状の仮想オブジェクトＶの運動軌跡を表している。

上記した赤外線イメージセンサ方式を用いる場合、図２６に示したように、実物体７を半球状という異方性のない形状とすることで、実物体７を点として扱うことでき、１点の検出位置から立体映像表示部５の表示空間を占有する実物体７の領域を決定することができる。また、実物体７の赤外光が照射される領域に、磨りガラス状の不透明加工や半透明のシールを貼付する等の処理を施しておくことで、実物体７自体の光透過性を活かしながら赤外検出器の検出精度を向上させることができる。

図２７−１〜図２７−３は、他の方法による実物体７の位置及び姿勢の検出方法を説明するための図である。以下、図２７−１〜図２７−３を参照して、デジタルカメラ等の撮影装置を用いた実物体７の位置及び姿勢の検出方法について説明する。

図２７−１において、実物体７は、遮光性の遮光部７１と光透過性の光透過部７２とから構成されている。ここで、遮光部７１には赤外光等を照射する二つの発光部８１、８２が設けられている。この二つの発光点を撮影装置９により撮影することで得られた撮影画像を実物体位置姿勢検出部１９が解析することで、立体映像表示部５の表示面上における実物体７の位置及び方向を特定する。

具体的に、実物体位置姿勢検出部１９は、撮影画像中に含まれる二つの光点画像の２点間の距離と撮影装置９との位置関係に基づいて、三角測量方式により実物体７の位置を特定する。なお、実物体位置姿勢検出部１９は、発光部８１、８２間の距離を予め把握しているものとする。また、実物体位置姿勢検出部１９は、撮影画像中に含まれる二つの光点画像の大きさと、二つの光点間を結ぶベクトルから、実物体７の姿勢を特定することができる。

図２７−２は、二つの撮影装置９１、９２を用いた場合の模式図である。実物体位置姿勢検出部１９は、図２７−１の構成と同様、撮影画像中に含まれた二つの光点画像を基に、三角測量方式用いることで位置及び姿勢を特定するが、撮影装置９１、９２間の距離に基づき、各光点の位置を特定することで、図２７−１の構成と比較し、より精度良く実物体７の位置を特定することができる。なお、実物体位置姿勢検出部１９は、撮影装置９１、９２間の距離を予め把握しているものとする。

ところで、図２７−1、図２７−２で説明した発光部８１、８２間の距離が大きいほど、三角測量の際の精度が向上するという実情がある。そこで、図２７−３では、実物体７の両端部を発光部８１、８２とした構成を示している。

図２７−３において、実物体７は遮光性の遮光部７１と、当該遮光部７１の両側に設けられた光透過性の光透過部７２、７３とから構成されている。ここで、遮光部７１には、光透過部７２、７３のそれぞれの方向に発光する光源（図示せず）が内蔵されており、光透過部７２、７３の先端部分には光を散乱する散乱部が形成されている。即ち、光透過部７２、７３を導光路として利用し、この導光路を経由した光を光透過部７２、７３の散乱部にて発光させることで、光透過部７２、７３の先端部分を発光部８１、８２とすることを実現している。この発光部８１、８２の光を撮影装置９１、９２でそれぞれ撮影し、撮影情報として実物体位置姿勢検出部１９に出力することで、より精度良く実物体７の位置を特定することができる。なお、光透過部７２、７３の先端部分に設ける散乱部は、例えば、アクリル樹脂の断面を利用することができる。

［第５の実施形態の変形例］
以下、図２８、図２９−１及び図２９−２を参照して、本実施形態の立体映像表示装置１０２の変形例を説明する。

図２８は、第５の実施形態の変形例における立体映像表示装置１０３の構成を示したブロック図である。図２８に示したように、立体映像表示装置１０３は、第１の実施形態で説明した各機能部に加えて、実物体変位機構部１９１を備えている。

ここで、実物体変位機構部１９１は、実物体７を所定の位置及び姿勢に変位させるためのモーター等の駆動機構を備え、図示しない外部装置から入力される指示信号に応じて実物体７を所定の位置及び姿勢に変位させる。また、実物体変位機構部１９１は、実物体７の変位動作時において、駆動機構の駆動量等に基づいて実物体７の立体映像表示部５の表示面に対する位置及び姿勢を検出し、実物体位置姿勢情報として実物体位置姿勢情報記憶部１１に記憶させる。

なお、実物体位置姿勢情報記憶部１１に実物体位置姿勢情報が記憶された後の動作は、上述した相互作用演算部１３、要素画像生成部１４と同様であるため、説明は省略する。

図２９−１、図２９−２は、本変形例の立体映像表示装置１０３における具体的な構成例を示した図であって、水平面に対し４５度の傾斜をつけて設置された立体映像表示部５の下端部近傍に、光透過性の板状からなる実物体７を垂直に配置した構成を示している。

図２９−１及び図２９−２の左図は、実物体７の面を正面方向（Ｚ軸方向）から見た正面図である。また、図２９−１及び図２９−２の右図は、図２９−１及び図２９−２の図の右側面図である。ここで、実物体７の上先端部には、当該上先端部を支点に、実物体７の正面方向に回転させる実物体変位機構部１９１が設けられており、外部装置から入力される指示信号に応じて実物体７の位置及び姿勢を変位させる。

また、図２９−１に示したように、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１と、複数の球に対応する仮想オブジェクトＶを表すＭｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用の演算結果の下、実物体７と立体映像表示部５との間の谷部に、複数の球状の仮想オブジェクトＶ１が滞留した状態を表示させている。

この状態において、実物体変位機構部１９１が外部装置から入力される指示信号により駆動されると、実物体変位機構部１９１は、駆動機構の駆動量に基づいて実物体７の立体映像表示部５の表示面に対する位置及び姿勢を検出する。本構成の場合、実物体７の駆動量（変位量）は回転角度に依存するため、例えば、実物体変位機構部１９１は、静止状態にある実物体７の位置及び姿勢から回転角度に応じた値を算出し、実物体位置姿勢情報として実物体位置姿勢情報記憶部１１に記憶させる。

相互作用演算部１３は、実物体変位機構部１９１により更新された実物体位置姿勢情報と、実物体属性情報とを用いて、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１を生成し、複数の球からなる仮想オブジェクトＶを表すＭｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用を演算する。この場合、図２９−２に示したように、相互作用演算部１３は、実物体７と立体映像表示部５との間の谷部に滞留させていた仮想オブジェクトＶを、実物体７と立体映像表示部５との間に生じた間隙をすり抜けて、下方に転がり落ちると行った演算結果を得ることができる。

要素画像生成部１４は、相互作用演算部１３の演算結果をＭｏｄｅｌ＿ｏｂｊ１３１及び／又はＭｏｄｅｌ＿ｏｔｈｅｒ１３２に反映したうえで多視点画像をレンダリングにより生成し、これら多視点画像を並び替えて要素画像アレイを生成する。そして、生成した要素画像アレイを立体映像表示部５の表示空間内に表示させることで、仮想オブジェクトＶ１の立体表示を行う。

このようなプロセスで生成・表示された立体映像を、光透過性の実物体７と同時に鑑賞することにより、観察者は、光透過性の実物体７を利用して、仮想オブジェクトＶである球が溜まっていた状態から、実物体７の移動により生じた隙間からこぼれ落ちる様子を鑑賞することができる。

このように、本変形例によれば、第５の実施形態の立体映像表示装置と同様、実物体７の位置及び姿勢をリアルタイムで捕捉することができるため、立体映像と実物体との自然な融合をリアルタイムで実現できるとともに、立体映像の臨場感、存在感を向上させることができ、インタラクティブ性をより向上させることができる。

［第６の実施形態］
次に、第６の実施形態の立体映像表示装置について説明する。なお、上述した第１、第５の実施形態と同様の構成要素については、同一の符号を付与し、その説明を省略する。

図３０は、本実施形態の立体映像表示装置１０４の構成を示したブロック図である。図３０に示したように、立体映像表示装置１０４は、プロセッサ１が立体映像表示プログラムに従って各部を制御することにより、第５の実施形態で説明した各機能部に加えて、ＲＦＩＤ識別部２０を備えている。

なお、本実施形態で用いる実物体７には、ＲＦＩＤ（Radio Frequency IDentification）タグ８３が設けられているものとし、当該ＲＦＩＤタグ８３毎に固有の実物体属性情報が格納されているものとする。

ＲＦＩＤ識別部２０は、立体映像表示部５の表示空間を包含するように電波の発射方向を制御したアンテナを有し、実物体７のＲＦＩＤタグ８３に格納された実物体属性情報を読み出し、実物体属性情報記憶部１２に記憶させる。ここで、ＲＦＩＤタグ８３に格納される実物体属性情報には、例えば、スプーン形状やナイフ形状、フォーク形状を指示する形状情報及び光学特性等の物理的特性情報が含まれているものとする。

相互作用演算部１３は、実物体位置姿勢検出部１９により記憶された実物体位置姿勢情報を実物体位置姿勢情報記憶部１１から読み出すとともに、ＲＦＩＤ識別部２０により記憶された実物体属性情報を実物体属性情報記憶部１２から読み出し、これら実物体位置姿勢情報と実物体属性情報とに基づいて、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１を生成する。このように生成されたＭｏｄｅｌ＿ｏｂｊ１３１は、要素画像生成部１４を介し、仮想オブジェクトＲＶとして実物体７に重畳表示される。

図３１−１は、ＲＦＩＤタグ８３にスプーン形状を指示する形状情報が含まれていた場合の仮想オブジェクトＲＶの表示例を示した図である。ここで、実物体７は、遮光性の遮光部７１と、光透過性の光透過部７２とから構成されており、遮光部７１等にＲＦＩＤタグ８３が設けられているものとする。この場合、実物体７のＲＦＩＤタグ８３がＲＦＩＤ識別部２０により読み出されることで、同図に示したように、スプーン形状の仮想オブジェクトＲＶが、実物体７の光透過部７２を包含するよう立体映像表示部５の表示空間に表示される。

また、本実施形態においても、相互作用演算部１３により、仮想オブジェクトＲＶと他の仮想オブジェクトＶとの相互作用が演算されることで、図３１−１の仮想オブジェクトＲＶ（スプーン）が、図３１−２に示したように、円柱状の仮想オブジェクトＶ（例えば、ケーキ等）に入り込む様子を表現することができる。

図３２−１は、ＲＦＩＤタグ８３にナイフ形状を指示する形状情報が含まれていた場合の仮想オブジェクトＲＶの表示例を示した図である。ここで、実物体７は、図３１−１と同様、遮光性の遮光部７１と、光透過性の光透過部７２とから構成されており、遮光部７１等にＲＦＩＤタグ８３が設けられているものとする。この場合、実物体７のＲＦＩＤタグ８３がＲＦＩＤ識別部２０により読み出されることで、同図に示したように、ナイフ形状の仮想オブジェクトＲＶが、実物体７の光透過部７２を包含するよう立体映像表示部５の表示空間に表示される。

また、図３２−１においても、相互作用演算部１３により、仮想オブジェクトＲＶと他の仮想オブジェクトＶとの相互作用が演算されることで、図３２−１の仮想オブジェクトＲＶ（ナイフ）が、図３２−２に示したように、円柱状の仮想オブジェクトＶ（例えば、ケーキ等）を切る様子を表現することができる。このように、仮想オブジェクトＲＶとしてナイフ形状を表示させた場合、ナイフ形状の切っ先部分が、実物体７の光透過部７２に対応するよう表示させることが好ましい。これにより、観察者は、当該光透過部７２が立体映像表示部５の表示面に触れる感触を得ながらケーキを切るという動作を行うことができるため、操作性を向上させるとともに仮想オブジェクトＲＶの臨場感、存在感を向上させることができる。

図３３は、本実施形態の他の態様を示した図であって、ＲＦＩＤタグ８３にペン先形状を指示する形状情報が含まれていた場合の仮想オブジェクトＲＶの表示例を示した図である。ここで、実物体７は、図３１−１と同様、遮光性の遮光部７１と、光透過性の光透過部７２とから構成されており、遮光部７１等にＲＦＩＤタグ８３が設けられているものとする。この場合も同様に、実物体７のＲＦＩＤタグ８３がＲＦＩＤ識別部２０により読み出されることで、同図に示したように、ペン先形状の仮想オブジェクトＲＶが、実物体７の光透過部７２を包含するよう立体映像表示部５の表示空間に表示される。

なお、図３３の態様では、観察者の操作による実物体７の移動に伴い、ペン先形状の仮想オブジェクトＲＶを連動して光透過部７２に重畳表示させるとともに、その移動の軌跡Ｔを立体映像表示部５の表示面上に表示させることで、仮想オブジェクトＲＶで表したペン先により線が描画された様子を表現することができる。このように、仮想オブジェクトＲＶとしてペン先形状を表示させた場合、ペン先形状の先端部分が、実物体７の光透過部７２に対応するよう表示させることが好ましい。これにより、観察者は、当該光透過部７２が立体映像表示部５の表示面に触れる感触を得ながら線を引くといった動作を行うことができるため、操作性を向上させるとともに仮想オブジェクトＲＶの臨場感、存在感を向上させることができる。

以上のように、本実施形態によれば、実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１の生成時に、新たな属性を付加することで、実物体７が本来有する属性を仮想的に拡張することができ、インタラクティブ性をより向上させることができる。

なお、後述するフォースフィードバック部（図３４、３５参照）を本実施形態の構成に加えることとしてもよい。この構成の場合、例えば、立体映像表示部５に備えられたフォースフィードバック部８４を用いることで、仮想オブジェクトＲＶで表されたペン先等が立体映像表示部５の表示面をなぞるときの風合い（例えば、ざらついた紙質等）を体感させることができ、仮想オブジェクトＲＶの臨場感、存在感をより向上させることができる。

［第７の実施形態］
次に、第７の実施形態の立体映像表示装置について説明する。なお、上述した第１、第５の実施形態と同様の構成要素については、同一の符号を付与し、その説明を省略する。

図３４は、本実施形態の立体映像表示装置１０５の構成を示したブロック図である。図３４に示したように、立体映像表示装置１０５は、第５の実施形態で説明した各機能部に加えて、実物体７内にフォースフィードバック部８４を備えている。

ここで、フォースフィードバック部８４は、相互作用演算部１３からの指示信号に応じて衝撃や振動を発生させ、実物体７を把持する操作者の手に振動や力を加える。具体的に、相互作用演算部１３は、例えば、図２４で示した実物体７（光透過部７２）を表すＭｏｄｅｌ＿ｏｂｊ１３１と、仮想オブジェクトＶを表すＭｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用の演算結果が衝突を表すような場合、フォースフィードバック部８４に指示信号を送信することで、フォースフィードバック部８４を駆動させ、実物体７の操作者に衝突の際の衝撃を体感させる。なお、相互作用演算部１３とフォースフィードバック部８４との間の通信は有線、無線を問わないものとする。

図３４の例では、実物体７にフォースフィードバック部８４を設けた構成を説明したが、これに限らず、観察者が体感可能な位置であれば設置する位置は問わないものとする。図３５は本実施形態の他の構成例を示した図である。ここで、立体映像表示装置１０６は、第５の実施形態で説明した各機能部に加えて、立体映像表示部５内にフォースフィードバック部２１を備えている。

ここで、フォースフィードバック部２１は、フォースフィードバック部８４と同様、相互作用演算部１３からの指示信号に応じて衝撃や振動を発生させ、立体映像表示部５自体に振動や力を加える。具体的に、相互作用演算部１３は、例えば、図８で示した実物体７を表すＭｏｄｅｌ＿ｏｂｊ１３１と、球状の仮想オブジェクトＶ１を表すＭｏｄｅｌ＿ｏｔｈｅｒ１３２との相互作用の演算結果が、衝突を表すような場合、フォースフィードバック部２１に指示信号を送信することで、フォースフィードバック部２１を駆動させ、観察者に衝突の際の衝撃を体感させる。この場合、観察者は実物体７自体を把持していないが、球状の仮想オブジェクトＶ１が実物体７に衝突したとき衝撃を与えることで、仮想オブジェクトＶ１の臨場感、存在感を向上させることができる。

また、図示しないが、実物体７及び／又は立体映像表示部５にスピーカ等の音響発生装置を備え、相互作用演算部１３からの指示信号に応じて、衝突時の効果音やガラスが割れるような効果音を出力させることで、臨場感をより向上させることができる。

以上のように、本実施形態によれば、実物体７と仮想オブジェクトとの仮想的な相互作用の演算結果に応じて、フォースフィードバック装置又は音響発生装置を駆動させることで、立体映像の臨場感、存在感をより向上させることができる。

以上、発明の実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加等が可能である。

なお、上述した第１〜第7の実施形態の立体映像表示装置で実行されるプログラムは、ＲＯＭ２又はＨＤＤ４に予め組み込まれて提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、このプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ニットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

立体映像表示装置のハードウェア構成を示した図である。 立体映像表示部の構造を概略的に示す斜視図である。 多眼方式の立体映像表示部を説明するための図である。 １次元ＩＰ方式の立体映像表示部を説明するための図である。 視差画像が変化している状態を示す模式図である。 視差画像が変化している状態を示す模式図である。 立体映像表示装置の機能的構成の一例を示したブロック図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像表示装置の機能的構成の一例を示したブロック図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像表示装置の機能的構成の一例を示したブロック図である。 立体映像表示装置の機能的構成の一例を示したブロック図である。 立体映像の表示例を示した図である。 実物体の構造を示した図である。 立体映像の表示例を示した図である。 立体映像表示装置の機能的構成の一例を示したブロック図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 実物体の位置・姿勢検出方法の一例を示した図である。 実物体の位置・姿勢検出方法の一例を示した図である。 実物体の位置・姿勢検出方法の一例を示した図である。 立体映像表示装置の機能的構成の一例を示したブロック図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像表示装置の機能的構成の一例を示したブロック図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像の表示例を示した図である。 立体映像表示装置の機能的構成の一例を示したブロック図である。 立体映像表示装置の機能的構成の一例を示したブロック図である。

符号の説明

１００ 立体映像表示装置
１０１ 立体映像表示装置
１０２ 立体映像表示装置
１０３ 立体映像表示装置
１０４ 立体映像表示装置
１０５ 立体映像表示装置
１０６ 立体映像表示装置
１ プロセッサ
２ ＲＯＭ
３ ＲＡＭ
４ ＨＤＤ
５ 立体映像表示部
５１ 視差画像表示部
５２ 光線制御素子
５３ 実効画素
６ ユーザインタフェース（ＵＩ）
７ 実物体
７１ 遮光部
７２ 光透過部
７３ 光透過部
８１ 発光部
８２ 発光部
８３ ＲＦＩＤタグ
８４ フォースフィードバック部
９ 撮影装置
９１ 撮影装置
９２ 撮影装置
１１ 実物体位置姿勢情報記憶部
１２ 実物体属性情報記憶部
１２ 実物体属性記憶部
１３ 相互作用演算部
１３１ Ｍｏｄｅｌ＿ｏｂｊ
１３２ Ｍｏｄｅｌ＿ｏｔｈｅｒ
１４ 要素画像生成部
１５ 実物体付加情報記憶部
１６ 相互作用演算部
１７ 相互作用演算部
１７１ 遮光部映像非表示部
１８ 相互作用演算部
１８１ 光透過性部分光学的影響補正部
１９ 実物体位置姿勢検出部
１９１ 実物体変位機構部
２０ ＲＦＩＤ識別部
２１ フォースフィードバック部

Claims (14)

1. 空間像方式により表示空間内に立体映像を表示する立体映像表示装置と、当該表示空間内に配置される少なくとも一部が光透過性部分である実物体と、を含む立体映像表示システムであって、
   前記立体映像表示装置は、
   前記実物体の位置及び姿勢を示した位置姿勢情報を記憶する位置姿勢情報記憶手段と、
   前記実物体の光学的特性を含む属性を示した属性情報を記憶する属性情報記憶手段と、
   前記位置姿勢情報及び属性情報に基づいて、前記実物体を表す第１物理演算モデルを生成する第１物理演算モデル生成手段と、
   前記表示空間内における前記実物体の仮想的な外部環境を表す第２物理演算モデルを生成する第２物理演算モデル生成手段と、
   前記第１物理演算モデルと第２物理演算モデルとの相互作用を演算する演算手段と、
   前記相互作用演算手段による演算結果に基づいて、前記表示空間内に立体映像を表示させる表示制御手段と、
   を備えたことを特徴とする立体映像表示システム。
2. 前記表示制御手段は、前記演算手段による演算結果を、前記第１物理演算モデルから表される立体映像及び／又は第２物理演算モデルから表される立体映像に反映することを特徴とする請求項１に記載の立体映像表示システム。
3. 前記実物体の属性とは異なる他の属性を付加情報として記憶する付加情報記憶手段を更に備え、
   前記第１物理演算モデル生成手段は、前記位置姿勢情報及び属性情報とともに、前記付加情報に基づいて、前記第１物理演算モデルを生成することを特徴とする請求項１に記載の立体映像表示システム。
4. 前記表示制御手段は、前記第１物理演算モデルから表される立体映像のうち、前記実物体の少なくとも一部に相当する領域を非表示にする映像非表示手段を更に備えたことを特徴とする請求項２に記載の立体映像表示システム。
5. 前記実物体の光透過性部分の属性情報に基づいて、当該光透過性部分に表示する立体映像が所定の表示状態となるよう前記第１物理演算モデルを補正する光学影響補正手段を更に備えたことを特徴とする請求項１に記載の立体映像表示システム。
6. 前記実物体は、当該実物体の光透過性部内に光を散乱する散乱部位を有し、
   前記表示制御手段は、前記実物体の散乱部位に前記立体映像を輝点として表示させることを特徴とする請求項１に記載の立体映像表示システム。
7. 前記実物体の位置及び姿勢を検出する位置姿勢検出手段を更に備え、
   前記位置姿勢検出手段は、前記検出した実物体の位置及び姿勢を実物体位置姿勢情報として、前記位置姿勢情報記憶手段に記憶させることを特徴とする請求項１に記載の立体映像表示システム。
8. 前記実物体は、位置及び姿勢を検出可能なセンサ手段を更に備え、
   前記位置姿勢検出手段は、前記センサ手段により検出された前記実物体の位置及び姿勢を実物体位置姿勢情報として、前記位置姿勢情報記憶手段に記憶させることを特徴とする請求項７に記載の立体映像表示システム。
9. 前記位置姿勢検出手段は、前記立体映像の表示面における前記実物体の位置を赤外線イメージセンサ方式で検出することを特徴とする請求項７に記載の立体映像表示システム。
10. 前記実物体は、光を照射する発光体を有し、
    前記立体映像表示装置は、前記発光体から照射された少なくとも二つの光点を撮影する撮影手段を更に備え、
    前記位置検出手段は、前記撮影手段により撮影された撮影画像に含まれる前記光点の位置関係に基づいて、前記実物体の位置及び姿勢を検出することを特徴とする請求項７に記載の立体映像表示システム。
11. 前記実物体は、屈折率が１より大なる前記光透過性部分の互いに異なる二つの位置に、光を散乱する散乱部位を有し、
    前記発光体は、前記光透過性部分を通じて前記散乱部位を発光させることを特徴とする請求項９に記載の立体映像表示システム。
12. 前記実物体の位置及び姿勢を変位させる位置変位手段を更に備え、
    前記位置変位手段は、前記実物体を変位させた位置及び姿勢を実物体位置姿勢情報として、前記位置姿勢情報記憶手段に記憶させることを特徴とする請求項１に記載の立体映像表示システム。
13. 前記実物体は、当該実物体に固有の属性を記憶する情報記憶手段を備え
    前記立体映像表示装置は、前記情報記憶手段から前記固有の属性を読み出し、当該固有の属性を前記属性情報として、属性情報記憶手段に記憶させる情報読出手段を備えたことを特徴とする請求項１に記載の立体映像表示システム。
14. 前記実物体又は前記立体映像表示装置は、衝撃や振動を発生するフォースフィードバック手段を更に備え、
    前記立体映像表示装置は、前記演算手段による演算結果に応じて、前記フォースフィードバック手段を駆動させる駆動制御手段を更に備えたことを特徴とする請求項１に記載の立体映像表示システム。

Images