JP6814686B2 - 立体画像表示制御装置、立体画像表示制御方法及び立体画像表示制御プログラム - Google Patents

Description

本発明は、観察者に立体画像を知覚させる技術に関する。

立体表示方式の基礎となるメガネあり方式では、同一画面内に視差画像を表示し、メガネに備わる光学フィルタで右眼用画像と左眼用画像に分離して、右眼と左眼にそれぞれ透過させることにより、両眼視差による奥行き情報を観察者に伝達するという方法が採られている。

メガネあり方式では、観察者が空間内を自由に移動しても、画像分離機能を持つ光学フィルタも共に移動するので、任意の位置・場所で画像の立体視が可能であり、同時に複数の人数で立体画像を鑑賞することもできる。しかし、メガネの装着は観察者に負担がかかり、メガネを常に装着しているとは限らないので、立体視が可能な利用場面は限られてしまう。それ故、メガネを必要としないメガネなし方式が要請されている。

メガネあり方式では、観察者の眼の直前に光学フィルタがあるため、画面からの視差画像を観察者の視点で分離可能である。一方、メガネなし方式では、光学フィルタを観察者の眼の直前に配置することができず、その代わりに、表示装置の画面直前に光学フィルタを備え付け、観察者から離れた位置で視差画像を分離して、空間内に設定された観察者の視点に対して、表示装置側から右眼用画像と左眼用画像を届けるという方法が採られている。

特開２０１６−１６１９１２号公報

しかし、従来のメガネなし方式の場合、観察者から離れた位置で視差画像を分離するため、右眼用画像と左眼用画像を観察者の右眼と左眼にそれぞれ届けるには、画面から放射される視差画像の光線に指向性を持たせる必要があり、ハードウェア的にもソフトウェア的にも表示コストが極めて高い。例えば、特許文献１に記載された「光線の指向性と滑らかな運動視差をもつ裸眼立体映像表示方法」の場合、特殊なスクリーンと複数のプロジェクタを利用しなければならない。

本発明は、上記事情を鑑みてなされたものであり、観察者にメガネを装着させることなく簡易な装置構成で立体画像を知覚させることを目的とする。

以上の課題を解決するため、請求項１に係る立体画像表示制御装置は、コンテンツを第１表示装置の表示部に表示するコンテンツ表示制御部と、前記第１表示装置と前記コンテンツの観察者との間に設置された第２表示装置の表示部に、前記コンテンツに含まれる表示対象画像が前記観察者の一方の片眼には見え、他方の片眼には見えない半遮蔽状態を形成する立体画像形成制御部と、を備えることを特徴とする。

請求項２に係る立体画像表示制御装置は、請求項１に記載の立体画像表示制御装置において、前記第２表示装置は、表示部の透過度又は透過領域を変更可能な透過型表示装置であることを特徴とする。

請求項３に係る立体画像表示制御装置は、請求項１又は２に記載の立体画像表示制御装置において、前記立体画像形成制御部は、前記コンテンツに関連するオブジェクト画像を用いて前記第２表示装置の表示部に前記表示対象画像を遮蔽するための遮蔽領域を形成することを特徴とする。

請求項４に係る立体画像表示制御装置は、請求項１乃至３のいずれかに記載の立体画像表示制御装置において、前記第２表示装置は、透過性の表示部を備える透過型表示装置であって、前記立体画像形成制御部は、前記表示対象画像が前記観察者の一方の片眼には見え、前記他方の片眼には見えないように、前記表示対象画像を遮蔽するために当該透過型表示装置に表示するオブジェクト画像の位置、大きさ又は形状を変更することを特徴とする。

請求項５に係る立体画像表示制御方法は、立体画像表示制御装置で行う立体画像表示制御方法において、前記立体画像表示制御装置は、コンテンツを第１表示装置の表示部に表示するステップと、前記第１表示装置と前記コンテンツの観察者との間に設置された第２表示装置の表示部に、前記コンテンツに含まれる表示対象画像が前記観察者の一方の片眼には見え、他方の片眼には見えない半遮蔽状態を形成するステップと、を行うことを特徴とする。

請求項６に係る立体画像表示制御プログラムは、請求項１乃至４のいずれかに記載の立体画像表示制御装置としてコンピュータを機能させることを特徴とする。

本発明によれば、観察者にメガネを装着させることなく簡易な装置構成で立体画像を知覚させることができる。

本発明による表示対象の見え方の例を示す図である。 立体画像表示制御システムの全体構成を示す図である。 実空間の例を示す図である。 実空間の例を示す図である。 立体画像表示制御装置の動作フローを示す図である。 実空間における各オブジェクトの位置関係を示す上面図である。 図６の実空間に対応するバーチャル空間における各オブジェクトの位置関係を示す上面図である。 実空間における各オブジェクトの位置関係（遮蔽オブジェクト表示デバイスとして平面スクリーンを用いた場合）を示す上面図である。

＜発明の概要＞
従来のメガネなし方式の場合、コンテンツ内の表示対象に立体感を与えるために特殊なスクリーンと複数のプロジェクタを用いるので、表示コストが極めて高い。この原因は、「観察者のそれぞれの眼に対応する独立した各画像（右眼用画像と左眼用画像）を同時に生成し、それらの画像に指向性を持たせる」という方法にある。

一方、本発明は、「コンテンツ内の表示対象に対して観察者の両眼視差を利用することは行わず、単眼性の奥行き手がかりのみで表示対象の奥行きを判断させる」という方法を採る。両眼視差を利用しないため、コンテンツを右眼用画像と左眼用画像に分離することや、右眼と左眼でコンテンツ内の同一画像領域を見せることは行わない。

具体的には、コンテンツを表示するコンテンツ表示デバイスと、そのコンテンツを観察する観察者との中間地点付近に遮蔽オブジェクト表示デバイスを設置する。そして、表示中・再生中のコンテンツに含まれる表示対象を、遮蔽オブジェクト表示デバイスにおいて、観察者の一方の片眼には遮蔽せず、他方の片眼には遮蔽する。つまり、非遮蔽・遮蔽による単眼視点画像を利用することにより、単眼性の奥行き手がかりのみで表示対象に立体感を与えるようにする。

これにより、観察者にメガネを装着させることなく、かつ、２台の汎用的な表示デバイスからなる簡易な装置構成で、観察者に対して立体画像を知覚させることができる。

＜発明の提案技術＞
本発明では、次の技術を提案する。

（第１の提案技術）
１つ目は、「コンテンツ表示デバイスと観察者との間に遮蔽オブジェクトを設け、観察者にコンテンツに対する両眼視差処理をとらせず、単眼視点画像により観察者に与えるコンテンツの立体感を増強する技術」を提案する。

人間の通常生活する環境では、対象物が片方の眼だけに見えるが、もう片方の眼には見えない半遮蔽状態が自然に存在している。例えば、図１に示すように、コンテンツ内の対象物の前方に遮蔽オブジェクトが存在すると、観察者の片方の眼では対象物が見えず、もう片方の眼では対象物が見える状態となる。この半遮蔽状態を利用すれば、これまで視差画像を右眼用画像と左眼用画像に分離することで実現していた裸眼立体表示を、単眼視点画像を用いて実現することができる。

従来では観察者の視点位置又は画像の表示位置で画像分離を行っていたが、本発明では、上記半遮蔽状態を形成するため、コンテンツ表示デバイスと観察者との中間地点付近に遮蔽オブジェクトを表示させた透過度の局所選択性を有する遮蔽オブジェクト表示デバイスを置き、コンテンツに対する観察者の単眼視領域を増やすことで立体感を与える。また、その遮蔽オブジェクト自体もコンテンツの一部として利用する。

その一方で、この方法は、単に画像分離機能を持つ光学フィルタを観察者の視点と表示デバイスとの中間地点に設置した方法と解釈することもできる。しかし、不透明な光学フィルタを該中間地点に設けると、光学フィルタ自体が観察者に意識されてしまうという別の問題が生じる。

そこで、本発明では、光学フィルタの位置を変えたことで光学フィルタ自体が意識されてしまうなら、光学フィルタ自体を半遮蔽状態の創出を行うためのコンテンツの一部として捉えようという立場を採る。

具体的には、遮蔽オブジェクトが観察者に違和感を与えないように、その内容と挙動をコンテンツとの関係で自然なものとする。例えば、遮蔽オブジェクトをコンテンツ中から選択してもよい。遮蔽オブジェクト表示デバイスが透過度の局所選択性を有すれば特にその効果が高い。

この方法により、例えば普及解像度が４Ｋに迫ろうとするフラットパネルディスプレイを、その解像度や明度を低下させることなく本発明の表示デバイスとして利用することができる。

（第２の提案技術）
２つ目は、「観察者の一方の片眼に対する遮蔽オブジェクトの見える遮蔽領域がなるべく大きくなり、他方の片眼に対するコンテンツ内の対象物の見える遮蔽領域（可視領域）がなるべく大きくなるように、遮蔽オブジェクトと透過領域の位置・大きさ・形状を制御する技術」を提案する。

具体的には、例えば遮蔽オブジェクト表示デバイスとして透過型ディスプレイを用いる場合、遮蔽オブジェクトの位置・大きさ・形状を、遮蔽する側の眼にはコンテンツ内の表示対象を隠すために必要十分となるように調整し、かつ、遮蔽されない側の眼には表示対象を見るために邪魔にならないように調整する。

これにより、遮蔽される眼では表示対象が観察不可能な状態となり、遮蔽されない眼では表示対象の可視領域が最大となるので、観察者の非遮蔽感を緩和することができる。

＜立体画像表示制御システムの構成例＞
次に、本実施の形態に係る立体画像表示制御システムの構成について説明する。図２に示すように、立体画像表示制御システム１００は、立体画像表示制御装置１、遮蔽オブジェクト表示デバイス２、コンテンツ表示デバイス３、両眼位置取得デバイス４、遮蔽オブジェクト情報記憶部５、及びコンテンツ情報記憶部６を備えて構成される。

コンテンツ表示デバイス３（第１表示装置）は、立体画像表示制御装置１から出力されたコンテンツを表示部（表示画面）に表示する表示デバイスである。例えば、コンテンツ表示デバイス３は、画像コンテンツを画面に表示し、映像コンテンツを画面に再生表示する。このコンテンツ表示デバイス３としては、例えば、液晶ディスプレイを利用して実現可能である。

遮蔽オブジェクト表示デバイス２（第２表示装置）は、コンテンツ表示デバイス３と観察者との中間地点付近に設置され、コンテンツに含まれる表示対象画像が観察者の一方の片眼には見え、他方の片眼には見えない半遮蔽状態を表示部（表示画面）に形成して表示する表示デバイスである。例えば、遮蔽オブジェクト表示デバイス２は、立体画像表示制御装置１から出力された遮蔽オブジェクト画像及び非遮蔽オブジェクト画像を用いて、この半遮蔽状態を形成する。この遮蔽オブジェクト表示デバイス２としては、例えば、表示部の透過度を調整可能であり、表示部の透過領域の位置・大きさ・形状を変更・選択可能な表示デバイスを利用して実現可能である。

両眼位置取得デバイス４は、コンテンツ表示デバイス３の近傍に設置され、観察者の両眼を撮影するデバイスである。この両眼位置取得デバイス４としては、例えば、汎用のＷｅｂカメラで実現可能である。

次に、立体画像表示制御装置１について説明する。立体画像表示制御装置１は、所定のコンテンツをコンテンツ表示デバイス３に出力すると共に、そのコンテンツを用いて処理対象の実空間（遮蔽オブジェクト表示デバイス２とコンテンツ表示デバイス３とが設置された現実空間）に対応するバーチャル空間を自装置内部（計算機内部）に仮想形成して、そのバーチャル空間において、コンテンツ表示デバイス３の位置と観察者の左右の眼の各位置との間の位置・距離関係から観察者の片眼を遮蔽する遮蔽オブジェクト画像と他方の片眼を遮蔽しない非遮蔽オブジェクト画像を生成して、遮蔽オブジェクト表示デバイス２に出力する。

具体的には、立体画像表示制御装置１は、バーチャルカメラパラメタ更新部１１、遮蔽オブジェクトパラメタ計算部１２、及びモーション更新部１３を備えて構成される。また、立体画像表示制御装置１は、遮蔽オブジェクト表示デバイス２、コンテンツ表示デバイス３、両眼位置取得デバイス４、遮蔽オブジェクト情報記憶部５、及びコンテンツ情報記憶部６に通信可能に接続されている。

バーチャルカメラパラメタ更新部１１は、両眼位置取得デバイス４で撮影された観察者の左右の眼の各位置（３次元空間座標）を算出し、その位置情報を元に観察者の左右の眼にそれぞれ対応するバーチャル空間内の各バーチャルカメラの位置を更新する機能部である。

遮蔽オブジェクトパラメタ計算部１２（立体画像形成制御部）は、遮蔽オブジェクト表示デバイス２の表示部に、コンテンツに含まれる表示対象画像が観察者の一方の片眼には見え、他方の片眼には見えない半遮蔽状態を形成する機能を備える。

具体的には、例えば、バーチャル空間内に設定した観察者の左右の眼にそれぞれ対応する各バーチャルカメラの位置座標とコンテンツ内の表示対象画像の位置座標とを用いて、上記半遮蔽状態を形成する遮蔽オブジェクト画像及び非遮蔽オブジェクト画像の各位置座標を算出し、遮蔽オブジェクト情報記憶部５から取得した遮蔽オブジェクト画像及び非遮蔽オブジェクト画像を、算出した位置座標に対応する位置に遮蔽オブジェクト表示デバイス２の表示部に表示する。なお、遮蔽オブジェクト表示デバイス２が透過型ディスプレイの場合、遮蔽オブジェクト画像のみを用いて遮蔽領域と非遮蔽領域とを同時に形成可能である。

また、遮蔽オブジェクトパラメタ計算部１２は、表示・再生中のコンテンツに関連するオブジェクト画像を用いて遮蔽オブジェクト画像を生成する機能を備える。なお、その遮蔽オブジェクト画像の生成方法については、表示・再生中のコンテンツのデータから関連するオブジェクトを取得してもよいし、そのコンテンツのファイル名・題名等を検索キーに用いてインターネットから検索・取得してもよい。

また、遮蔽オブジェクトパラメタ計算部１２は、表示対象画像が観察者の一方の片眼には見え、他方の片眼には見えないように、遮蔽オブジェクト画像の位置・大きさ・形状を変更する機能を備える。例えば、観察者の一方の片眼に対する非遮蔽領域と他方の片眼に対する遮蔽領域を、いずれも表示対象画像よりも大きくするように制御する。

モーション更新部１３（コンテンツ表示制御部）は、コンテンツ情報記憶部６から取得した所定のコンテンツをコンテンツ表示デバイス３に出力し、コンテンツ表示デバイス３の表示部で表示・再生する機能を備える。

以上が立体画像表示制御装置１の備える機能である。なお、この立体画像表示制御装置１は、ＣＰＵ、メモリ、ハードディスク等を備えたコンピュータで実現可能である。また、立体画像表示制御装置１としてコンピュータを機能させるための立体画像表示制御プログラム、その立体画像表示制御プログラムの記憶媒体を作成することも可能である。

＜処理対象の実空間の具体例＞
ここで、処理対象の実空間の例を図３と図４に示す。図３に示すように、コンテンツ表示デバイス３の表示部３’には、昆虫の生態に関するコンテンツが再生され、クワガタが表示されている。また、コンテンツ表示デバイス３と観察者との中間地点に遮蔽オブジェクト２’が設置されている。この遮蔽オブジェクト２’は、遮蔽オブジェクト自体の存在ができる限り観察者に意識されないように、昆虫の生息地域に生えた草や葉が用いられている。また、両眼位置取得デバイス４は、観察者を撮影し易いようにコンテンツ表示デバイス３の真上に設置されている。図４に示す例では、遮蔽オブジェクト表示デバイス２として透過型ディスプレイが用いられている。以降、観察者の片眼を遮蔽するための遮蔽オブジェクトが存在する領域を遮蔽レイヤと呼ぶ場合がある。

＜立体画像表示制御装置の動作例＞
次に、立体画像表示制御装置１の動作について説明する。立体画像表示制御装置１の動作フローを図５に示す。

本動作例では、遮蔽オブジェクト表示デバイス２として透過型ディスプレイを用い、遮蔽オブジェクト画像のみで遮蔽領域と非遮蔽領域の両領域を同時に形成する場合について説明する。

本動作例において、コンテンツ表示デバイス３と遮蔽オブジェクト表示デバイス２に出力される画像は、立体画像表示制御装置１内（計算機内）のバーチャル空間をスクリーン空間に変換してレンダリングした画像である。

遮蔽オブジェクトの位置・形状を決定するうえで、観察者の視点の位置、コンテンツ内の表示対象の位置、遮蔽オブジェクトの位置に関して、互いの３次元的な位置関係を考慮する必要があるため、２次元のスクリーン空間に変換される前の実空間の構成（図６）に対応したバーチャル空間（図７）を考える。

図７に示すバーチャル空間は、コンテンツに含まれる表示対象のポリゴンモデル（表示対象を模した３次元形状を持つモデル）、遮蔽レイヤを構成する遮蔽オブジェクトのポリゴンモデル、観察者の右眼と左眼にそれぞれ対応した２つのバーチャルカメラＶＲ，ＶＬを持つものとする。以降、図５〜図７を参照しつつ、立体画像表示制御装置１の動作について詳述する。

まず、立体画像表示制御装置１は、コンテンツ情報記憶部６に保存されているコンテンツを取得してモーション更新部１３に入力する（ステップＳ１）。

次に、立体画像表示制御装置１は、遮蔽オブジェクト情報記憶部５から、立体画像表示制御装置１のユーザ（例えば、立体映像の提供者等）により主観的に選択されたオブジェクトであって、コンテンツと同時に表示されていたとしても自然に感じる最適なオブジェクトを、遮蔽オブジェクトとして、遮蔽オブジェクトパラメタ計算部１２とモーション更新部１３に入力する（ステップＳ２）。

ここで言う“自然に感じるオブジェクト”とは、例えば、森林や海に生息しているような生物をコンテンツ内の表示対象として表示する場合、それぞれ草とワカメのような、コンテンツが形成するバーチャル空間の周辺環境として違和感なく感じられるオブジェクトを指す。また、コンテンツが複数の表示対象で構成され、その一部に違和感を与えない周辺環境としての役割を担うものがあれば、その表示対象を遮蔽オブジェクト画像として用いてもよい。

その後、バーチャルカメラパラメタ更新部１１は、Ｗｅｂカメラ等の両眼位置取得デバイス４を用いて、高速かつロバストなアルゴリズムのプログラムで観察者の両眼の位置を継続的に捕捉・算出し（ステップＳ３）、算出した観察者の両眼の位置情報を用いてバーチャル空間内の２つのバーチャルカメラＶＲ，ＶＬの位置をそれぞれ更新する（ステップＳ４）。なお、このアルゴリズムについては、例えば、「P. Viola and M. Jones、“Robust real-time facedetection”、International Journal of Computer Vision、vol.57、no.2、2004年、p.137- p.154」に記載されたViola-Jones法を用いて実現可能である。

次に、モーション更新部１３は、ステップＳ１で入力されたコンテンツ内の画像情報を元にコンテンツに含まれる表示対象のバーチャル空間内での位置・姿勢・形状・大きさを決定し（ステップＳ５）、ステップＳ２で入力された遮蔽オブジェクトのバーチャル空間内での位置・姿勢・形状・大きさを決定する（ステップＳ６）。

なお、コンテンツや遮蔽オブジェクトにアニメーション情報（動画像）が含まれている場合、モーション更新部１３は、ステップＳ５，Ｓ６において、その動きに従いコンテンツに含まれる表示対象や遮蔽オブジェクトの位置・姿勢・形状・大きさを更新する。

次に、遮蔽オブジェクトパラメタ計算部１２は、２つのバーチャルカメラＶＲ，ＶＬと表示対象と遮蔽オブジェクトの各位置情報を用いて、観察者の一方の片眼に対して表示対象が遮蔽されるように、遮蔽オブジェクトの位置・姿勢・形状・大きさを調整する（ステップＳ７）。

ステップＳ７の動作について詳述する。本動作例では、観察者の非遮蔽感を減らすため、観察者の各片眼からそれぞれ見て相対的に狭い表示対象のポリゴンモデルの視認領域を観察する眼を、遮蔽オブジェクトが隠す眼として選択する。

以降、このポリシに基づいて遮蔽レイヤの１フレームをレンダリングする毎の制御内容について説明する。なお、右眼用のバーチャルカメラＶＲの位置をＶＲ（ｘ＿ｒ，ｙ＿ｒ，ｚ＿ｒ）、左眼用のバーチャルカメラＶＬの位置をＶＬ（ｘ＿ｌ，ｙ＿ｌ，ｚ＿ｌ）とする。また、分かり易いように、ポリゴンモデルに代えて、より簡易なバウンディングボックス（ポリゴンモデルに接する直線から構成される直方体）を用いる。

図７の場合、まず、右眼用のバーチャルカメラＶＲを通り、表示対象のバウンディングボックスに接するｙ＿ｒの平面上の直線を考えると、右眼用のバーチャルカメラＶＲについて２本の直線が得られる。これらの直線とバウンディングボックスとの接点位置をＲ１，Ｒ２とする。

同様に、左眼用のバーチャルカメラＶＬを通り、表示対象のバウンディングボックスに接するｙ＿ｌの平面上の直線を考えると、左眼用のバーチャルカメラＶＬについて２本の直線が得られる。これらの直線とバウンディングボックスとの接点位置をＬ１，Ｌ２とする。

そして、｜Ｒ１−Ｒ２｜と｜Ｌ１−Ｌ２｜の大小関係を求める。｜Ｒ１−Ｒ２｜の値は、「右眼視点ＶＲにおける表示対象の表面積ファクタ」であり、｜Ｌ１−Ｌ２｜の値は、「左眼視点ＶＬにおける表示対象の表面積ファクタ」である。

これらの演算をｙ＿ｒ，ｙ＿ｌの各平面上だけではなく、２つのバーチャルカメラＶＲ，ＶＬをそれぞれ通り表示対象のバウンディングボックスに接する全ての接線について行い、各視点ＶＲ，ＶＬにおけるそれぞれの表示対象の表面積ファクタの平均値が小さい方の接点群に対応するバーチャルカメラを遮蔽対象バーチャルカメラとし、他方を非遮蔽対象バーチャルカメラとする。但し、比較した２つの平均値が等しい場合には、バウンディングボックスの中心座標又は中央座標から距離が近い方のバーチャルカメラを遮蔽対象バーチャルカメラとする。

ここまでの処理により、上述したポリシ（観察者の各片眼からそれぞれ見て相対的に狭い表示対象のポリゴンモデルの視認領域を観察する眼を、遮蔽オブジェクトが隠す眼として選択すること）が実現される。

続いて、遮蔽オブジェクトの位置・形状・大きさの調整方法について説明する。遮蔽領域の面積は遮蔽オブジェクトのｚ座標（遮蔽対象バーチャルカメラから遮蔽オブジェクトまでの距離）によって変化するが、ここでは、遮蔽オブジェクトが遮蔽対象バーチャルカメラから最も離れ、かつ、遮蔽オブジェクトが非遮蔽対象バーチャルカメラによって撮影されないという２つの要件を満たすことを考える。

上述した４本の直線のうち互いに交わる直線の交点をＡとし、遮蔽対象バーチャルカメラ（図７の場合はＶＬ）を通り交点Ａが含まれない直線上の任意の点と交点Ａとを両端とする又は該両端が含まれるように遮蔽オブジェクトを移動させる。また、遮蔽オブジェクトを移動した際、遮蔽オブジェクトの遮蔽幅（ｘ軸上の幅）が交点Ａを含む遮蔽最小幅に満たず、遮蔽対象バーチャルカメラから表示対象が観察される場合には、その遮蔽最小幅になるまで遮蔽オブジェクトの遮蔽幅を拡大する。

遮蔽オブジェクトと表示対象が共に単純な矩形である場合には、遮蔽オブジェクトのｙ軸方向での１つの位置について上記処理を行うことにより、表示対を遮蔽することができる。一方、遮蔽オブジェクトと表示対象の形状が複雑であり、例えば遮蔽オブジェクトの形状を成す周縁が非直線性を有する場合には、遮蔽オブジェクトのｙ軸方向での全ての位置（高さ）で上記処理を行う。また、必要に応じて、遮蔽オブジェクトの高さを、遮蔽対象バーチャルカメラから表示対象が観察されない最小の高さまで調整してもよい。

一方、非遮蔽対象バーチャルカメラ（図７の場合はＶＲ）については、なるべく広い表示対象の視認領域を確保するため、非遮蔽対象バーチャルカメラを通る２本の直線と、その２本の直線に接するバウンディングボックスの各接点（Ｒ１，Ｒ２，…）とが成す領域内に遮蔽オブジェクトが含まれるか否かを判定し、遮蔽オブジェクトが含まれる場合、遮蔽オブジェクト位置を上記視認領域外に最小距離で移動させる。例えば、非遮蔽対象バーチャルカメラの位置からみて最大の高さの位置にある接点を含むｙ軸上に遮蔽オブジェクトとの重なりがあるか否かを判定する。

このようなステップＳ７の処理を全ての表示対象のポリゴンモデルについて行う。なお、ポリゴンモデルの増加による遮蔽領域と非遮蔽領域を求める計算機内での演算処理の破たんを防ぐため、ユーザにより予め選択された高優先度の表示対象のポリゴンモデルのみを処理対象としてもよい。

また、遮蔽オブジェクト表示デバイス２として平面スクリーンを用いる場合、実世界における遮蔽オブジェクトをｚ軸方向に移動することは困難なので、図７に示した交点Ａで単眼視点画像を生成できず、交点Ａとは異なる位置で画像分離処理が行われる可能性がある。

このような場合、非遮蔽対象の眼には遮蔽オブジェクトの一部が視界に入り、表示対象が欠けて見えてしまう。そこで、これを防ぐため、図８に示すように、透過度の局所選択性を有しｚ軸方向に移動が可能な表示デバイスを用いるようにする。この表示デバイスを用いる場合、その表示デバイスのｚ軸上の位置をバーチャル空間の交点Ａの座標位置に対応するＡ’の位置まで移動させる。

以上の処理によって、処理対象フレームにおける遮蔽オブジェクトと該遮蔽オブジェクトの位置・形状・大きさを示すパラメタとが決定された後、図５に戻り、立体画像表示制御装置１は、バーチャル空間のレンダリングを行い（ステップＳ８）、スクリーン空間へ変換していたバーチャル空間のピクセル値を各表示デバイスに渡す（ステップＳ９）。

具体的には、モーション更新部１３が、コンテンツのピクセル値をコンテンツ表示デバイス３に出力し、遮蔽オブジェクトパラメタ計算部１２が、遮蔽オブジェクトのピクセル値を遮蔽オブジェクト表示デバイス２に出力する。なお、遮蔽オブジェクト表示デバイス２に出力するピクセル値をレンダリングするバーチャルカメラは、ＶＲとＶＬの中間に位置するＶＣ（図７参照）が担うようにしてもよい。

以上説明したステップＳ３〜ステップＳ９の各処理を、両眼位置取得デバイス４から観察者の両眼位置情報が取得された１フレーム毎に行う。

＜効果＞
本実施の形態によれば、コンテンツ表示デバイス３と観察者との間に設置された遮蔽オブジェクト表示デバイス２の表示部に、コンテンツに含まれる表示対象画像が観察者の一方の片眼には見え、他方の片眼には見えない半遮蔽状態を形成するので、観察者にメガネを装着させることなく、かつ、２台の汎用的な表示デバイスからなる簡易な装置構成で、観察者に対して立体画像を知覚させることができる。例えば、汎用のフラットパネルディスプレイと透過ディスプレイとを各１台という比較的安価なハードウェア構成で実現することができる。

１００…立体画像表示制御システム
１…立体画像表示制御装置
１１…バーチャルカメラパラメタ更新部
１２…遮蔽オブジェクトパラメタ計算部
１３…モーション更新部
２…遮蔽オブジェクト表示デバイス
３…コンテンツ表示デバイス
４…両眼位置取得デバイス
５…遮蔽オブジェクト情報記憶部
６…コンテンツ情報記憶部

Claims (6)

1. コンテンツを第１表示装置の表示部に表示するコンテンツ表示制御部と、
   前記第１表示装置と前記コンテンツの観察者との間に設置された第２表示装置の表示部に、前記コンテンツに含まれる表示対象画像が前記観察者の一方の片眼には見え、他方の片眼には見えない半遮蔽状態を形成する立体画像形成制御部と、を備え、
   前記立体画像形成制御部は、
   前記観察者の各片眼からそれぞれ見た前記表示対象画像の大きさのうち小さく見える方の片眼を前記表示対象画像を遮蔽する眼として前記半遮蔽状態を形成することを特徴とする立体画像表示制御装置。
2. 前記第２表示装置は、
   表示部の透過度又は透過領域を変更可能な透過型表示装置であることを特徴とする請求項１に記載の立体画像表示制御装置。
3. 前記立体画像形成制御部は、
   前記コンテンツに関連するオブジェクト画像を用いて前記第２表示装置の表示部に前記表示対象画像を遮蔽するための遮蔽領域を形成することを特徴とする請求項１又は２に記載の立体画像表示制御装置。
4. 前記第２表示装置は、透過性の表示部を備える透過型表示装置であって、
   前記立体画像形成制御部は、
   前記表示対象画像が前記観察者の一方の片眼には見え、前記他方の片眼には見えないように、前記表示対象画像を遮蔽するために当該透過型表示装置に表示するオブジェクト画像の位置、大きさ又は形状を変更することを特徴とする請求項１乃至３のいずれかに記載の立体画像表示制御装置。
5. 立体画像表示制御装置で行う立体画像表示制御方法において、
   前記立体画像表示制御装置は、
   コンテンツを第１表示装置の表示部に表示するステップと、
   前記第１表示装置と前記コンテンツの観察者との間に設置された第２表示装置の表示部に、前記コンテンツに含まれる表示対象画像が前記観察者の一方の片眼には見え、他方の片眼には見えない半遮蔽状態を形成するステップと、を行い、
   前記形成するステップでは、
   前記観察者の各片眼からそれぞれ見た前記表示対象画像の大きさのうち小さく見える方の片眼を前記表示対象画像を遮蔽する眼として前記半遮蔽状態を形成することを特徴とする立体画像表示制御方法。
6. 請求項１乃至４のいずれかに記載の立体画像表示制御装置としてコンピュータを機能させることを特徴とする立体画像表示制御プログラム。