JP4406824B2 - 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム - Google Patents

Description

この発明は、画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラムに関する。詳しくは、この発明は、表示部を１個または複数個の画素表示部を含むように分割して得られる各分割領域に対応した撮像面上の位置に、それぞれ焦点が存在し、かつ光軸がこの撮像面に直交した状態で配置された撮像装置で被写体を撮像して得られた複数画面分の画像データを用意し、表示部の各画素表示部の画素データとして、その画素表示部を含む分割領域に対応した撮像面上の位置に配置された撮像装置で撮像されて得られた１画面分の画像データを構成する複数の画素データから、視点位置とその画素表示部とを結ぶ直線に沿った被写体からの光線に対応した所定の画素データを得ることによって、表面が所定の形状とされた表示部に観察者の任意の視点位置に対応した実写の画像を良好に表示できるようにした画像表示装置等に係るものである。

従来の、ＣＲＴ(Cathode Ray Tube)や液晶パネル、プロジェクタなどを利用したディスプレイにおいては、例えば、ビデオカメラで撮像された画像が表示されるが、その画像は、図１６に示すように、カメラの位置を視点として見たものにすぎなかった。したがって、ユーザが、例えば、頭部を移動して、ディスプレイに表示された画像を見るときの視点位置を変えても、ディスプレイに表示される画像は、カメラのレンズ中心（以下、適宜、「カメラの視点」ともいう）から見た画像のままであり、ユーザの視点位置の変化に応じて、ディスプレイに表示される画像が変化することはなかった。

ディスプレイに表示される画像が、ユーザの視点位置に応じて変化する画像の表示方法として、例えば、zebra imagingと呼ばれる方法がある。ここで、zebra imagingについては、例えば、zebra imaging社のwebページであるhttp://www.zebraimaging.com/に開示されている。しかしながら、zebra imagingは、ホログラフィを利用した方法であり、表示される画像がホログラムであるため、その作成に多大の演算量と時間を要する。

また、ディスプレイに表示される画像が、ユーザの視点位置に応じて変化する画像の他の表示方法としては、例えば、イリノイ大学のＣＡＶＥ（洞窟の意）方式などに代表される、ＩＰＴ(Immersive Projection Technology)（没入型投射技術）またはＩＰＤ(Immersive Projection Display)（没入型投射ディスプレイ）を用いたＶＲ(Virtual Reality)システムがある。ここで、ＣＡＶＥ方式については、例えば、ＥＶＬ(Electronic Visualization Laboratory）のwebページであるhttp://evlweb.eecs.uic.edu/research/などに開示されている。かかるＶＲシステムは、対象とする画像がＣＧ(Computer Graphics)であり、ビデオカメラで撮像された、いわゆる実写の画像を対象とすることは困難である。

また、特許文献１に、ユーザの視点位置に対応した実写の画像を表示できる画像表示装置が開示されている。

特開平０９−２３６８８０号公報（第４頁、第５頁、図１、図４、図７）

上述した特許文献１では、観察者の視点位置が異なる視野に移るとき、その視点位置の変動による運動視差を反映して、液晶ディスプレイに表示される画像内容を変更するものである。

この場合、液晶ディスプレイに表示される画像内容を変更するために、例えば各視野に対応した画像データを予め備えるものである。そのため、観察者の視点位置の移動には制限があり、観察者は視点位置を任意の位置に移動することは不可能である。

この発明の目的は、表面が所定の形状とされた表示部に任意の視点位置に対応した実写の画像を良好に表示することにある。

この発明に係る画像表示装置は、表面が所定形状とされた表示部を有し、この表示部に複数個の画素表示部が配置されている画像表示手段と、この画像表示手段の表示部を１個または複数個の画素表示部を含むように分割して得られる各分割領域に対応した撮像面上の位置に、それぞれ焦点が存在し、かつ光軸がこの撮像面に直交した状態で配置された撮像装置で被写体を撮像して得られた複数画面分の画像データが記憶された画像データ記憶手段と、画像表示手段の表示部に対する観察者の視点位置を取得する位置取得手段と、画像表示手段の表示部に配置されている各画素表示部を順次対象画素表示部とし、この対象画素表示部に画素を表示するための画素データとして、この対象画素表示部を含む分割領域に対応した撮像面上の位置に配置された撮像装置で撮像されて得られ、画像データ記憶手段に記憶されている１画面分の画像データを構成する複数の画素データから、位置取得手段で取得された観察者の視点位置とこの対象画素表示部とを結ぶ直線に沿った被写体からの光線に対応した所定の画素データを得る画像処理手段とを備えるものである。

また、この発明に係る画像表示装置は、表面が所定形状とされた表示部を有し、この表示部に複数個の画素表示部が配置されている画像表示手段と、画像表示手段の表示部を１個または複数個の画素表示部を含むように分割して得られる各分割領域に対応した撮像面上の位置に、それぞれ焦点が存在し、かつ光軸がこの分割領域に直交した状態で配置された撮像装置で被写体を撮像して得られた複数画面分の画像データが記憶された画像データ記憶手段と、画像表示手段の表示部に対応する視点位置を設定する位置設定手段と、画像表示手段の表示部に配置されている各画素表示部を順次対象画素表示部とし、この対象画素表示部に画素を表示するための画素データとして、この対象画素表示部を含む分割領域に対応した撮像面上の位置に配置された撮像装置で撮像されて得られ、画像データ記憶手段に記憶されている１画面分の画像データを構成する複数の画素データから、位置設定手段で設定された視点位置とこの対象画素表示部とを結ぶ直線に沿った被写体からの光線に対応した所定の画素データを得る画像処理手段とを備えるものである。

また、この発明に係る画素データ取得方法は、表面が所定形状とされた表示部を有し、この表示部に複数個の画素表示部が配置されてなる画像表示素子の、この複数個の画素表示部に画素を表示するための画素データを取得する方法であって、画像表示素子の表示部を一個または複数個の画素表示部を含むように分割して得られる各分割領域に対応した撮像面上の位置に、それぞれ焦点が存在し、かつ光軸がこの撮像面に直交するように配置された撮像装置で被写体を撮像して得られた複数画面分の画像データを用意し、画像表示素子に対する視点位置を決定する工程と、画像表示素子の表示部に配置されている各画素表示部を順次対象画素表示部とし、この対象画素表示部に画素を表示するための画素データとして、この対象画素表示部を含む分割領域に対応した撮像面上の位置に配置された撮像装置で撮像されて得られた１画面分の画像データを構成する複数の画素データから、決定された視点位置とこの対象画素表示部とを結ぶ直線に沿った被写体からの光線に対応した所定の画素データを得る工程とを備えるものである。

また、この発明に係るプログラムは、上述した画素データ取得方法をコンピュータに実行させるためのものである。

この発明においては、表面が所定形状とされた表示部を有し、この表示部に複数個の画素表示部が配置されている画像表示手段（画像表示素子）を備えている。例えば、表示部の表面は平面である。また例えば、表示部の表面は、少なくとも凸面または凹面を含むものとされる。

この表示部に配置されている複数個の画素表示部に画素を表示するための画素データを得るために、表示部を一個または複数個の画素表示部を含むように分割して得られる各分割領域に対応した撮像面上の位置に、それぞれ焦点が存在し、かつ光軸が撮像面に直交するように配置された撮像装置で被写体を撮像して得られた複数画面分の画像データが用意される。ここで、撮像装置の焦点は、被写体側の各方向からの光線が集まる位置であり、撮像装置の視点でもある。

この画素データを得る際に、表示部に対する視点位置が決定される。例えば、表示部に対する観察者の視点位置が取得される。また例えば、表示部に対する視点位置が設定される。表示部に配置されている複数個の画素表示部が順次対象画素表示部とされ、この対象画素表示部に画素を表示するための画素データ（以下、適宜、「対象画素表示部に対応した画素データ」という）が以下のように得られる。

すなわち、この画素データとして、対象画素表示部を含む分割領域に対応した撮像面上の位置に配置された撮像装置で撮像されて得られた１画面分の画像データを構成する複数の画素データから、決定された視点位置と対象画素表示部とを結ぶ直線に沿った被写体からの光線に対応した所定の画素データが得られる。

このように、表示部の各画素表示部の画素データとして、その画素表示部を含む分割領域に対応した撮像面上の位置に配置された撮像装置で撮像されて得られた１画面分の画像データを構成する複数の画素データから、視点位置とその画素表示部とを結ぶ直線に沿った被写体からの光線に対応した所定の画素データを得るものであり、表面が所定の形状とされた表示部に視点位置に対応した実写の画像が良好に表示される。

この場合、上述したように観察者の視点位置が取得されるものにあっては、観察者の任意の視点位置に対応した実写の画像が表示される。またこの場合、上述したように視点位置が設定されるものにあっては、その設定される視点位置を移動することで、観察者は、実際に視点位置を移動しなくとも、移動したと同様の画像が見ることが可能となる。

なお、画像表示手段に複数個の表示部を有するようにもできる。その場合、この複数個の表示部に対する視点位置がそれぞれ決定され、上述したように表示部の各画素表示部の画素データが得られる。この場合、複数の表示部のそれぞれに、決定された視点位置に対応した実写の画像が並行して表示される。

また、画像表示手段に左眼画像を表示する第１の表示部および右眼画像を表示する第２の表示部を有するようにもできる。この場合、これら第１、第２の表示部に対する観察者の左眼、右眼の視点位置が取得され、上述したように第１、第２の表示部の各画素表示部の画素データが得られる。この場合、観察者は、第１の表示部に表示される左眼画像を左眼で観察し、第２の表示部に表示される右眼画像を右眼で観察することで、視点位置に対応した立体画像を認識できる。

また、上述したように表示部の各画素表示部の画素データとして、その画素表示部を含む分割領域に対応した位置に配置された撮像装置で撮像されて得られた１画面分の画像データを構成する複数の画素データから、視点位置とその画素表示部とを結ぶ直線に沿った被写体からの光線に対応した所定の画素データを得る際に、この所定の画素データに対応する撮像画面上の画素位置が特定される。

表示部の表面が少なくとも凸面または凹面を含む場合、複数画面分の画像データにそれぞれ対応付けて、撮像装置の光軸方向の単位ベクトルと、この光軸方向に直交する撮像装置の水平方向および垂直方向の単位ベクトルとが記憶されており、これら単位ベクトルを用いて、上述した所定の画素データが得られる撮像装置の撮像部における画素位置が特定される。このように、記憶されている単位ベクトルを用いることで、画素位置の特定を容易かつ素早く行うことができる。これにより、表示部の各画素表示部の視点位置に対応した画素データを短時間で得ることができ、視点位置の移動に対応した画像を表示部に滑らかに表示できる。

また、画像表示手段は、表示部を有する半球状のスクリーンと、このスクリーンの表示部に魚眼レンズを介して画像を投射する投射部と、この投射部で投射される画像を発生する画像発生部とを有するものであってもよい。この場合、画像発生部では、上述した表示部の各画素表示部の視点位置に対応した画素データに基づいて、投射部で投射される画像が発生される。

この発明によれば、表示部を１個または複数個の画素表示部を含むように分割して得られる各分割領域に対応した撮像面上の位置に、それぞれ焦点が存在し、かつ光軸がこの撮像面に直交した状態で配置された撮像装置で被写体を撮像して得られた複数画面分の画像データを用意し、表示部の各画素表示部の画素データとして、その画素表示部を含む分割領域に対応した撮像面上の位置に配置された撮像装置で撮像されて得られた１画面分の画像データを構成する複数の画素データから、視点位置とその画素表示部とを結ぶ直線に沿った被写体からの光線に対応した所定の画素データを得るものであり、表面が所定の形状とされた表示部に任意の視点位置に対応した実写の画像を良好に表示できる。

この発明の実施の形態を説明する。図１は、実施の形態としての画像表示装置１００の構成を示している。
この画像表示装置１００は、画像表示手段としてのディスプレイ１０１を有している。このディスプレイ１０１は、例えば、ＣＲＴ(Cathode-Ray Tube)、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma Display Panel)などで構成されている。また、このディスプレイ１０１は、例えばスクリーンにレンズを介して画像を投射するプロジェクタで構成されている。

このディスプレイ１０１は、表面が平面である表示部１０１ａを有している。この表示部１０１ａには画像が表示される。この表示部１０１ａには複数個の画素表示部が配置されている。これら各画素表示部に、それぞれ対応する画素データに基づいて画素が表示されることで、表示部１０１ａの全体に画像が表示された状態となる。

また、ディスプレイ１０１は、画像データ記憶手段を構成するデータストレージ１０２を有している。このデータストレージ１０２には、複数画面分の画像データが予め記憶されている。この場合、図２Ａに示すように、ディスプレイ１０１の表示部１０１ａを１個または複数個の画素表示部を含むように分割して得られる各分割領域にそれぞれ対応した撮像面１０１ａ′上の位置に、焦点が存在し、かつ光軸がその撮像面１０１ａ′に直交した状態で配置されたカメラ（撮像装置）１０３で被写体ＯＢを撮像することで、複数画面分の画像データが得られる。ここで、カメラ１０３の焦点は、被写体ＯＢ側の各方向からの光線が集まる位置であり、カメラ１０３の視点でもある。なお、図２Ａにおいて、直線Ｌ１，Ｌ２は、カメラ１０３の撮像範囲を示している。

図３は、上述したように、データストレージ１０２に予め記憶される複数画面分の画像データを生成する画像データ生成装置２００の構成を示している。この画像データ生成装置２００は、装置全体の動作を制御するコントローラ２０１と、被写体ＯＢを撮像するためのカメラ１０３とを有している。

また、画像データ生成装置２００は、被写体ＯＢの位置を移動するための被写体位置移動部２０２と、カメラ１０３の位置を移動するためのカメラ位置移動部２０３とを有している。被写体位置移動部２０２は、例えば、図示せずも、被写体ＯＢを載せるテーブルを備え、このテーブルの位置を移動することで、被写体ＯＢの位置を移動するように構成されている。

ディスプレイ１０１の表示部１０１ａ（図１参照）が、複数の分割領域ＤＳに分割される。各分割領域ＤＳには、上述したように、１個または複数個の画素表示部が含まれる。コントローラ２０１により被写体位置移動部２０２およびカメラ位置移動部２０３が制御され、図４に示すように、表示部１０１ａの各分割領域ＤＳにそれぞれ対応した撮像面１０１ａ′上の位置ＤＳ′に、カメラ１０３が順次配置されるようにする。この場合、カメラ１０３は、各位置ＤＳ′に焦点が存在し、かつ光軸が撮像面１０１ａ′に直交した状態で配置される。

また、画像生成装置２００は、情報付加部２０４を有している。この情報付加部２０４は、カメラ１０３が撮像面１０１ａ′上の各位置ＤＳ′に配置された状態で被写体ＯＢを撮像して得られた各１画面分の画像データＶＤに、カメラ１０３がどの位置ＤＳ′に配置されて撮像されたものであるかを示す撮像位置情報ＰＩを付加する。

図３に示す画像データ生成装置２００の動作を説明する。

コントローラ２０１により被写体位置移動部２０２およびカメラ位置移動部２０３が制御され、表示部１０１ａの各分割領域ＤＳにそれぞれ対応した撮像面１０１ａ′上の各位置ＤＳ′に、カメラ１０３が順次配置される（図４参照）。

カメラ１０３が撮像面１０１ａ′の各位置ＤＳ′に配置された状態で、当該カメラ１０３で被写体ＯＢが撮像される。この場合、カメラ１０３は、位置ＤＳ′に焦点が存在するように配置されているため、カメラ１０３の撮像部の各画素位置では、それぞれ被写体ＯＢ側の異なる方向からの光線による画素データが得られる。カメラ１０３から出力される各１画面分の画像データＶＤは情報付加部２０４に供給される。

情報付加部２０４には、コントローラ２０１から、上述したようにカメラ１０３から情報付加部２０４に供給される各１画面分の画像データＶＤにそれぞれ対応して、カメラ１０３がどの分割領域ＤＳ′に配置されて撮像されたものであるかを示す撮像位置情報ＰＩが供給される。この情報付加部２０４では、各１画面分の画像データＶＤにそれぞれ撮像位置情報ＰＩが付加される。そして、情報付加部２０４からデータストレージ１０２に、このように位置情報ＰＩが付加された各１画面分の画像データＶＤが供給されて記憶される。

図５のフローチャートは、上述した画像データ生成装置２００における処理手順を示している。
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、撮像位置を選択する。すなわち、被写体ＯＢおよびカメラ１０３を移動して、カメラ１０３を、撮像面１０１ａ′上の複数の位置ＤＳ′のいずれかに配置する。そして、ステップＳＴ３で、カメラ１０３で被写体ＯＢを撮像する。

次に、ステップＳＴ４で、カメラ１０３で撮像されて得られた１画面分の画像データＶＤに、撮像位置情報ＰＩを付加する。そして、ステップＳＴ５で、撮像位置情報ＰＩが付加された１画面分の画像データＶＤをデータストレージ１０２に記憶する。

次に、ステップＳＴ６で、全ての撮像位置の処理が終了したか否かを判定する。全ての撮像位置の処理が終了していないときは、ステップＳＴ２に戻って、次の撮像位置を選択し、上述したと同様に、その撮像装置での撮像に係る１画面分の画像データＤＶをデータストレージ１０２に記憶する処理を行う。一方、全ての撮像位置の処理が終了したときは、ステップＳＴ７で、処理を終了する。

なお、図３に示す画像データ生成装置２００では、被写体ＯＢおよびカメラ１０３の双方を移動するように説明したが、いずれか一方のみを移動するように構成することもできる。その場合、被写体位置移動部２０２またはカメラ位置移動部２０３は不要となる。

図１に戻って、また、画像表示装置１００は、ユーザ（観察者）１０６の視点位置を取得する位置取得手段としての位置センサ１０７を有している。この位置センサ１０７は、レシーバ１０７ａおよびトランスミッタ１０７ｂにより構成されている。レシーバ１０７ａは、トランスミッタ１０７ｂが発生する磁界の強度を計測する。ここで、レシーバ１０７ａは、例えばユーザ１０６の頭部に装着されるが、ネクタイピンや、眼鏡などに装着することもできる。

この位置センサ１０７としてのレシーバ１０７ａおよびトランスミッタ１０７ｂは、後述するコンピュータ１０８によって制御される。すなわち、トランスミッタ１０７ｂはコンピュータ１０８の制御に従って、磁界を発生する。レシーバ１０７ａは、トランスミッタ１０７ｂが発生する磁界の強度を計測し、それをコンピュータ１０８に供給する。コンピュータ１０８は、この磁界の強度に基づいて、ユーザ１０６の位置、従ってユーザ１０６の視点位置を検出する。

なお、位置センサ１０７である磁界センサとしては、例えばポヒマス(Polhemus)社の３次元位置センサなどを採用できる。この３次元位置センサについては、ポヒマス社のwebページであるhttp://www.polhemus.com/などに開示されている。また、ユーザ１０６の視点位置を、ユーザ１０６の動きを画像として捕らえ、それを処理して得ることも考えられる。この方法は、カメラを利用したモーションキャプチャシステムなどでも用いられている。このモーションキャプチャシステムについては、株式会社応用計測研究所のwebページであるhttp://www.okk-inc.co.jp/product/などに開示されている。

また、画像表示装置１００は、画像処理手段としてのコンピュータ１０８を有している。このコンピュータ１０８は、例えばワークステーションである。このコンピュータ１０８は、データストレージ１０２に記憶されている複数画面分の画像データを用いて、ユーザ１０６の視点位置に対応した、上述のディスプレイ１０１の表示部１０１ａに配置されている各画素表示部に画素を表示するための画素データ、つまり各画素表示部に対応した画素データを生成し、この画素データをディスプレイ１０１に供給する。

コンピュータ１０８は、表示部１０１ａに配置されている複数個の画素表示部を順次対象画素表示部Ｑとし、この対象画素表示部Ｑに対応した画素データとして、図２Ｂに示すように、対象画素表示部Ｑを含む分割領域ＤＳにそれぞれ対応した撮像面１０１ａ′上の位置ＤＳ′に配置されたカメラ１０３で撮像されて得られた１画面分の画像データを構成する複数の画素データから、視点位置Ｐと対象画素表示部Ｑとを結ぶ直線に沿った被写体ＯＢからの光線に対応した所定の画素データを取得する。

図６は、コンピュータ１０８のハードウェア構成例を示している。コンピュータ１０８には、後述する一連の処理を実行するプログラムがインストールされている。プログラムは、コンピュータ１０８に内蔵されている記録媒体としてのハードディスク２１５やＲＯＭ２１３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２２１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２２１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体２２１からコンピュータ１０８にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータ１０８に無線で転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータ１０８に有線で転送し、コンピュータ１０８では、そのようにして転送されてくるプログラムを、通信部２１８で受信し、内蔵するハードディスク２１５にインストールすることができる。

コンピュータ１０８は、ＣＰＵ(Central Processing Unit)２１２を内蔵している。ＣＰＵ２１２には、バス２１１を介して、入出力インタフェース２２０が接続されており、ＣＰＵ２１２は、入出力インタフェース２２０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２１７が操作等されることにより指令が入力されると、それにしたがって、ＲＯＭ(Read Only Memory)２１３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ２１２は、ハードディスク２１５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２１８で受信されてハードディスク２１５にインストールされたプログラム、またはドライブ２１９に装着されたリムーバブル記録媒体２２１から読み出されてハードディスク２１５にインストールされたプログラムを、ＲＡＭ(Random Access Memory)２１４にロードして実行する。これにより、ＣＰＵ２１２は、後述するフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、ＣＰＵ２１２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２２０を介して、スピーカ等で構成される出力部２１６から出力、あるいは、通信部２１８から送信、さらには、ハードディスク２１５に記録等させる。

なお、入出力インタフェース２２０に、データストレージ１０２、ディスプレイ１０１、レシーバ１０７ａ、トランスミッタ１０７ｂが接続されている。また、バス２１１に、画像メモリ２２２が接続されている。また、ＣＰＵ２１２は、入出力インタフェース２２０を介して、トランスミッタ１０７ｂを制御するとともに、レシーバ１０７ａの出力を受信し、ユーザ１０６の視点位置を検出する。

また、ＣＰＵ２１２は、データストレージ１０２に記憶されている複数画面分の画像データを用いて、ユーザ１０６の視点位置に対応した、上述のディスプレイ１０１の表示部１０１ａに配置されている各画素表示部に画素を表示するための画素データを得て、画像メモリ２２２に格納する。さらに、ＣＰＵ２１２は、画像メモリ２２２に格納された画素データを読み出し、入出力インタフェース２２０を介してディスプレイ１０１に供給し、ディスプレイ１０１の表示部１０１ａに、ユーザ１０６の視点位置に対応した画像を表示させる。

ここで、コンピュータ１０８に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしも後述するフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、一つのコンピュータ１０８により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

図７は、コンピュータ１０８がプログラムを実行することにより実現される画像処理装置の機能的構成例を示している。
コンピュータ１０８（ＣＰＵ２１２）がプログラムを実行することにより実現される画像処理装置は、表示用画像データ生成部２３１およびセンサ制御部２３２を有している。

センサ制御部２３２は、位置センサ１０７としてのレシーバ１０７ａおよびトランスミッタ１０７ｂを制御することによりユーザ１０６の視点位置Ｐを検出し、その検出出力を表示用画像データ生成部２３１に供給する。すなわち、センサ制御部２３２は、トランスミッタ１０７ｂを制御することにより、磁界を発生させる。さらに、センサ制御部２３２は、レシーバ１０７ａから供給される、トランスミッタ１０７ｂが発生する磁界の検出結果に基づいて、ユーザの視点位置を検出する。

また、表示用画像データ生成部２３１は、データストレージ１０２に記憶されている複数画面分の画像データを用いて、ユーザ１０６の視点位置Ｐに対応した、上述のディスプレイ１０１の表示部１０１に配置されている各画素表示部に対応した画素データを生成し、この画素データを画像メモリ２２２に格納する。この場合、画素データ生成部２３１は、表示部１０１ａに配置されている複数個の画素表示部を順次対象画素表示部Ｑとし、この対象画素表示部Ｑに対応した画素データを取得する。

すなわち、画素データ生成部２３１は、対象画素表示部Ｑを含む分割領域ＤＳにそれぞれ対応した撮像面１０１ａ′上の位置ＤＳ′に配置されたカメラ１０３で撮像されて得られた１画面分の画像データを構成する複数の画素データから、図８に示すように、視点位置Ｐと対象画素表示部Ｑとを結ぶ直線に沿った被写体ＯＢからの光線に対応した所定の画素データを取得する。

画像データ生成部２３１は、この所定の画素データが得られるカメラ１０３の撮像部における画素位置を特定する。そのため、図２Ｃに示すように、表示部１０１ａと被写体ＯＢとの間に、カメラ１０３の光軸と直交する仮想スクリーンＶＳＣＮを設定する。この場合、仮想スクリーンＶＳＣＮ上に、カメラ１０３の撮像部で撮像された画像がマッピングされると考えてよい。

図２Ｃ、図９に示すように、視点位置Ｐと対象画素表示部Ｑとを結ぶ直線と仮想スクリーンＶＳＣＮとの交点を問い合わせ点Ｒとし、この問い合わせ点Ｒの二次元座標（ｘ_R，ｙ_R）を求める。この場合、カメラ１０３の光軸と仮想スクリーンＶＳＣＮとの交点の二次元座標を（０，０）とする。そして、ｘ座標ｘ_Rおよびｙ座標ｙ_Rを、それぞれ、仮想スクリーンＶＳＣＮの幅Ｗおよび高さＨで除算した後、カメラ１０３の撮像部の水平画素数Ｗ_RLおよび垂直画素数Ｈ_RLを掛け、上述した所定の画素データが得られるカメラ１０３の撮像部における画素位置（ｘ_R′，ｙ_R′）を求める。

この画素位置（ｘ_R′，ｙ_R′）の求め方を、図９を参照して、さらに詳細に説明する。ここで、ディスプレイ１０１の表示部１０１ａの中心の三次元座標を（０，０，０）としたとき、視点位置Ｐの三次元座標は（ｘ，ｙ，ｚ）であり、対象画素表示部Ｑの三次元座標は（ｓ，ｔ，０）であり、問い合わせ点Ｒの三次元座標は（Ｘ，Ｙ，Ｋ）であるものとする。ただし、Ｋは定数で、カメラ１０３の焦点と仮想スクリーンＶＳＣＮとの距離を表している。

この場合、ベクトルＰＱ＝（ｓ−ｘ，ｔ−ｙ，−ｚ）となり、ベクトルＱＲ＝（Ｘ−ｓ，Ｙ−ｔ，Ｋ）となる。ベクトルＰＱとベクトルＱＲとは平行であることから、問い合わせ点Ｒのｘ座標ｘ_Rおよびｙ座標ｙ_Rは、（１）式、（２）式のように求められる。

そして、これらｘ座標ｘ_Rおよびｙ座標ｙ_Rが、それぞれ、仮想スクリーンＶＳＣＮの幅Ｗおよび高さＨで除算され、その後に、カメラ１０３の撮像部の水平画素数Ｗ_RLおよび垂直画素数Ｈ_RLが掛けられ、画素位置（ｘ_R′，ｙ_R′）が、（３）式のように求められる。

画像データ生成部２３１は、上述したように求められた画素位置（ｘ_R′，ｙ_R′）に基づいて、１画面分の画像データを構成する複数の画素データから、上述の所定の画素データを選択的に得ることができる。

上述したように、表示用画像データ生成部２３１で、ディスプレイ１０１の表示部１０１に配置されている各画素表示部に画素を表示するための画素データを取得して画像メモリ２２２に格納していくことで、データストレージ１０２に記憶されている複数画面分の画像データから、ユーザ１０６の視点位置に対応した１画面分の画像データが再構成される。図１０は、カメラ１０３で撮像された画像データ＃１〜＃５と、再構成された画像データ＃６との、画素データの対応関係の一例を示している。この場合、画像データ＃１〜＃５における画素データｄ₁〜ｄ₅が、画像データ＃６における画素データｄ₁′〜ｄ₅′として使用される。

図１１のフローチャートを参照して、図７の画像処理装置（コンピュータ）１０８による画像処理について説明する。
まず、ステップＳＴ１１で、処理を開始し、ステップＳＴ１２で、位置センサ１０７としてのレシーバ１０７ａおよびトランスミッタ１０７ｂを制御し、ユーザ１０６の視点位置Ｐを取得する。

次に、ステップＳＴ１３で、ディスプレイ１０１の表示部１０１ａを構成する複数の画素表示部のうち、いずれかの画素表示部を対象画素表示部Ｑとして選択する。そして、ステップＳＴ１４で、データストレージ１０２に記憶されている複数画面分の画像データＶＤのうち、ステップＳＴ１２で選択された対象画素表示部Ｑを含む分割領域ＤＳに対応した撮像面上の位置ＤＳ′に配置されたカメラ１０３で撮像されて得られた１画面分の画像データＶＤを、利用すべき撮像画像データＶＤとして決定する。この場合、各１画面分の画像データＶＤにそれぞれ付加されている撮像位置情報ＰＩに基づいて、利用すべき撮像画像データＶＤを識別できる。

次に、ステップＳＴ１５で、ステップＳＴ１３で選択された対象画素表示部Ｑの画素データとして、ステップＳＴ１４で選択された１画面分の画像データを構成する複数の画素データのうち、どの撮像画素位置の画素データを用いるかを決定する。すなわち、このステップＳＴ１５では、ステップＳＴ１２で取得されたユーザ１０６の視点位置Ｐの情報などを用いて、上述の（３）式で表される画素位置（ｘ_R′，ｙ_R′）を求める。

次に、ステップＳＴ１６で、ステップＳＴ１４で選択された１画面分の画像データを構成する複数の画素データのうち、ステップＳＴ１５で決定された撮像画素位置の画素データを、ステップＳＴ１３で選択された対象画素表示部Ｑに対応した画素データとして選択し、画像メモリ２２２の対象画素表示部Ｑに対応したアドレスに書き込む。

次に、ステップＳＴ１７で、ディスプレイ１０１の表示部１０１ａを構成する全ての画素表示部に対応した画素データを得る処理が終了したか否かを判定する。全画素表示部に対する処理が終了していないときは、ステップＳＴ１３に戻り、次の対象画素表示部Ｑを選択し、上述したと同様に、その対象画素表示部Ｑに対応した画素データを得る処理を行う。全画素表示部に対する処理が終了したときは、ステップＳＴ１８に進む。

ステップＳＴ１８では、例えば、ユーザが、画像処理を終了するように、入力部２１７（図６参照）が操作されたか否かを判定する。画像処理を終了するように、入力部２１７が操作されていないとき、ステップＳ１２に戻り、上述したと同様の処理を繰り返す。一方、画像処理を終了するように、入力部２１７が操作されたとき、ステップＳＴ１９で、処理を終了する。

図１に示す画像表示装置１００の動作を説明する。トランスミッタ１０７ｂはコンピュータ１０８の制御に従って磁界を発生する。レシーバ１０７ａは、トランスミッタ１０７ｂが発生する磁界の強度を計測し、それをコンピュータ１０８に供給する。そして、コンピュータ１０８は、この磁界の強度に基づいて、ユーザ１０６の視点位置を検出する。コンピュータ１０８は、データストレージ１０２に記憶されている複数画面分の画像データを用いて、ユーザ１０６の視点位置に対応した、上述のディスプレイ１０１の表示部１０１ａに配置されている各画素表示部に画素を表示するための画素データを生成し、この画素データをディスプレイ１０１に供給する。これにより、ディスプレイ１０１の表示部１０１ａには、ユーザ１０６の視点位置に対応した実写の画像が表示される。

このように図１に示す画像表示装置１００によれば、ディスプレイ１０１の表示部１０１ａの各画素表示部に対応した画素データとして、その画素表示部を含む分割領域ＤＳに対応した撮像面１０１ａ′上の位置ＤＳ′に配置されたカメラ１０３で撮像されて得られた１画面分の画像データを構成する複数の画素データから、ユーザ１０６の視点位置Ｐとその画素表示部（対象画素表示部Ｑ）とを結ぶ直線に沿った被写体ＯＢからの光線に対応した所定の画素データを得るものであり、ディスプレイ１０１の表示部１０１ａにユーザ１０６の任意の視点位置に対応した実写の画像を良好に表示できる。

なお、上述した画像表示装置１００においては、ディスプレイ１０１は、その表示部１０１ａの表面が平面であるものを示したが、表示部１０１ａの表面の形状はこれに限定されるものではない。例えば、図１２Ａに示すように、表示部１０１ａの表面が球面などの凸面でもよく、図１２Ｂに示すように、表示部１０１ａの表面が球面を逆に利用した凹面でもよい。また、表示部１０１ａの表面が、図示せずも、凸面および凹面の双方を含むような形状であってもよい。

また、ディスプレイ１０１は、複数の表示部、例えば図１２Ｃに示すように、２個の表示部１０１a1，１０１a2を有するものであってもよい。この場合、各表示部の形状は、平面でもよく、また少なくとも凸面または凹面を含む形状であってもよい。このように複数個の表示部を有する場合、この複数個の表示部に対する複数のユーザ１０６の視点位置をそれぞれ取得し、それぞれの表示部における各画素表示部に対応した画素データを得ることで、これら複数個の表示部のそれぞれに、複数のユーザ１０６の視点位置にそれぞれ対応した実写の画像を並行して表示できる。

なお、図１２Ｃには、２個の表示部１０１a1，１０１a2に同一被写体ＯＢの異なる方向から見た画像が表示されるが如く示しているが、同一被写体ＯＢの同一方向からの画像、あるいは異なる被写体に係る画像が表示されるようにしてもよい。これは、データストレージ１０２（図１参照）に、表示部１０１a1，１０１a2用の複数画面分の画像データとして、どのような画像データが記憶されるかによる。

また、上述したようにディスプレイ１０１の表示部１０１ａの表面が、少なくとも凸面または凹面を含む場合であっても、データストレージ１０２には、その表示部１０１ａを１個または複数個の画素表示部を含むように分割して得られる各分割領域ＤＳにそれぞれ対応した撮像面上の位置ＤＳ′に配置されたカメラ１０３で被写体ＯＢを撮像して得られた複数画面分の画像データが予め記憶される。この場合も、カメラ１０３は、撮像面上の位置ＤＳ′に、焦点が存在し、かつ光軸が撮像面に直交した状態で配置されて、撮像が行われる。

また、上述したようにディスプレイ１０１の表示部１０１ａの表面が、少なくとも凸面または凹面を含む場合であっても、図７に示す画像データ生成部２３１は、表示部１０１ａに配置されている複数個の画素表示部を順次対象画素表示部Ｑとし、この対象画素表示部Ｑに対応した画素データを順次取得する。すなわち、図２Ｂ、図８に示すと同様に、対象画素表示部Ｑに対応した画素データとして、この対象画素表示部Ｑを含む分割領域ＤＳにそれぞれ対応した撮像面１０１ａ′上の位置ＤＳ′に配置されたカメラ１０３で撮像されて得られた１画面分の画像データを構成する複数の画素データから、視点位置Ｐと対象画素表示部Ｑとを結ぶ直線に沿った被写体ＯＢからの光線に対応した所定の画素データを取得する。

この場合も、画像データ生成部２３１は、この所定の画素データが得られるカメラ１０３の撮像部の画素位置を特定する。そのため、図２Ｃに示すと同様に、表示部１０１ａと被写体ＯＢとの間に、カメラ１０３の光軸と直交する仮想スクリーンＶＳＣＮを設定する。この場合、仮想スクリーンＶＳＣＮ上に、カメラ１０３の撮像部で撮像された画像がマッピングされると考えてよい。

この場合、図２Ｃ、図１３に示すように、視点位置Ｐと対象画素表示部Ｑとを結ぶ直線と仮想スクリーンＶＳＣＮとの交点を問い合わせ点Ｒとし、この問い合わせ点Ｒの二次元座標（ｘ_R，ｙ_R）を求める。この場合、カメラ１０３の光軸と仮想スクリーンＶＳＣＮとの交点Ｖの二次元座標を（０，０）とする。そして、ｘ座標ｘ_Rおよびｙ座標ｙ_Rを、それぞれ、仮想スクリーンＶＳＣＮの幅Ｗおよび高さＨで除算した後、カメラ１０３の撮像部の水平画素数Ｗ_RLおよび垂直画素数Ｈ_RLを掛け、上述した所定の画素データが得られるカメラ１０３の撮像部の画素位置（ｘ_R′，ｙ_R′）を求める。

この画素位置（ｘ_R′，ｙ_R′）の求め方を、図１３を参照して、説明する。なお、仮想スクリーンＶＳＣＮの水平方向の端点をＳとする。

この場合、問い合わせ点Ｒのｘ座標ｘ_Rは、｜ＶＲ｜（ベクトルＶＲの大きさ）で与えられる。なお、ベクトルＱＶがカメラ１０３の光軸であり、これと直交する水平方向の一つのベクトルをＶＳとする。Ｌ＝｜ＱＰ⁰｜は、（４）式のように、カメラ１０３の光軸と平行な単位ベクトルＱＶ／｜ＱＶ｜と、ベクトルＰＱとの内積で与えられ、同様に、Ｌ′＝｜ＰＰ⁰｜は、（５）式のように、ベクトルＰＱと、カメラ１０３の光軸に直交する水平方向の単位ベクトルＶＳ／｜ＶＳ｜との内積で与えられる。

したがって、問い合わせ点Ｒのｘ座標ｘ_Rは、（６）式で求めることができる。ここで、Ｋは定数で、カメラ１０３の焦点と仮想スクリーンＶＳＣＮとの距離である。

なお、（６）式における単位ベクトルＱＶ／｜ＱＶ｜，ＶＳ／｜ＶＳ｜は、カメラ１０３の撮像位置ＤＳ′によって決まる固定値であり、カメラ１０３の各撮像位置ＤＳ′に対して予め計算しておくことができる。

また、詳細説明は省略するが、問い合わせ点Ｒのｙ座標ｙ_Rも、上述した問い合わせ点Ｒのｘ座標ｘ_Rと同様の考え方で求めることができる。すなわち、問い合わせ点Ｒのｙ座標ｙ_Rは、（７）式で求めることができる。

この（７）式で、ＶＳ′／｜ＶＳ′｜は、カメラ１０３の光軸と直交する垂直方向の単位ベクトルを示している。この単位ベクトルＶＳ′／｜ＶＳ′｜も、上述した単位ベクトルＱＶ／｜ＱＶ｜，ＶＳ／｜ＶＳ｜と同様に、カメラ１０３の撮像位置ＤＳ′によって決まる固定値であり、カメラ１０３の各撮像位置ＤＳ′に対して予め計算しておくことができる。

このように、カメラ１０３の各撮像位置ＤＳ′に対して、単位ベクトルＱＶ／｜ＱＶ｜，ＶＳ／｜ＶＳ｜，ＶＳ′／｜ＶＳ′｜を予め求めおき、データストレージ１０２に、カメラ１０３の各撮像位置ＤＳ′で撮像された得られた各１画面分の画像データに対応づけて記憶しておき、上述した（６）式、（７）式に基づいて、問い合わせ点Ｒのｘ座標ｘ_R、ｙ座標ｙ_Rを求める際に使用することで、その計算の高速化を図ることができる。

これにより、表示部１０１ａの対象画素表示部Ｑに対応した所定の画素データが得られるカメラ１０３の撮像部の画素位置の特定を容易かつ素早く行うことができ、表示部１０１ａの各画素表示部に画素を表示するための、視点位置Ｐに対応した画素データを短時間で得ることができ、視点位置Ｐの移動に対応した画像を表示部１０１ａに滑らかに表示できる。

図１４は、半球型のスクリーン２５１に設けられた複数の表示部、例えば２個の表示部１０１a1，１０１a2に、画像発生部２５２で発生された画像を、魚眼レンズ２５３を介して投射する画像表示装置１００Ａを示している。

この画像表示装置１００Ａでは、表示部１０１a1にはユーザ１０６-1の視点位置に対応した画像が表示され、表示部１０１a2にはユーザ１０６-2の視点位置に対応した画像が表示される。

この場合も、表示部１０１a1，１０１a2は、それぞれ複数個の画素表示部が配置されてているものと考えることができる。そして、複数個の画素表示部に対応した画素データを、上述したように当該複数個の画素表示部を順次対象画素表示部Ｑとし、上述した（６）式、（７）式を用いて問い合わせ点Ｒのｘ座標ｘ_R、ｙ座標ｙ_Rを計算する等して取得できる。

なおこの場合、表示部１０１a1，１０１a2を１個または複数個の画素表示部を含むように分割して得られる各分割領域にそれぞれ対応した撮像面上の位置に配置されたカメラで被写体を撮像して得られた複数画面分の画像データを用いて、複数個の画素表示部に対応した画素データが得られる。

図１５Ａ，Ｂは、その複数画面分の画像データを得る場合における、被写体位置移動部２０２およびカメラ位置移動部２０３（図３参照）の構成例を示している。図１５Ａは平面図であり、図１５Ｂは側面図である。

被写体ＯＢ（図１５Ａ，Ｂには図示せず）が載置されるテーブル２４１は、モータ２４２により回転可能とされる。また、カメラ１０３は、Ｌ字状のアーム２４３の一端に固定されており、その他端がモータ２４４の回転軸に固定されている。モータ２４４によりアーム２４３をθ＝０〜９０゜の範囲で持ち上げることができる。テーブル２４１の回転角度、アーム２４３の角度θを同時に制御することで、任意の緯度および経度から中心にカメラ１０３を向けて撮像を行うことができる。

なお、図１４に示す画像表示装置１００Ａでは、画像発生部２５２で発生される画像を魚眼レンズ２５３を介してスクリーン２５１の表示部１０１a1，１０１a2に背面から投射している。そのため、表示部１０１a1，１０１a2の各画素表示部に、それに対応した画素データによる画素が表示されるように、画像発生部２５２で投射すべき画像を発生させる必要がある。

例えば、等距離射影（ｆθ）と呼ばれる魚眼レンズを用いる場合、スクリーン２５１の半球面の座標を、半球を北半球になぞらえて、緯度（北緯）φおよび経度θで表現した場合、表示部１０１a1，１０１a2の（φ，θ）の対象画素表示部に画素を表示するには、この対象画素表示部に対応した画素データによる画素を、画像発生部２５２で投射すべき画像の（ｋφcosθ，ｋφsinθ）の位置に表示させればよい。ただし、ｋは定数であり、以下においても同様である。

また例えば、立体射影（２ｆ tan(θ／２)）と呼ばれる魚眼レンズを用いる場合、スクリーン２５１の半球面の座標を、半球を北半球になぞらえて、緯度（北緯）φおよび経度θで表現した場合、表示部１０１a1，１０１a2の（φ，θ）の対象画素表示部に画素を表示するには、この対象画素表示部に対応した画素データによる画素を、画像発生部２５２で投射すべき画像の（２ｋ tan(φ／２)cosθ，２ｋ tan(φ／２)sinθ）の位置に表示させればよい。

また例えば、等立体角射影（２ｆ sin（θ／２)）と呼ばれる魚眼レンズを用いる場合、スクリーン２５１の半球面の座標を、半球を北半球になぞらえて、緯度（北緯）φおよび経度θで表現した場合、表示部１０１a1，１０１a2の（φ，θ）の対象画素表示部に画素を表示するには、この対象画素表示部に対応した画素データによる画素を、画像発生部２５２で投射すべき画像の（２ｋ sin(φ／２)cosθ，２ｋ sin(φ／２)sinθ）の位置に表示させればよい。

また、上述の図１に示す画像表示装置１００においては、位置センサ１０７を用いてユーザ１０６の視点位置を取得し、ディスプレイ１０１の表示部１０１ａに、その取得された視点位置に対応した画像を表示するものである。このようにユーザ１０６の視点位置を取得する代わりに、任意の視点位置を設定可能とし、ディスプレイ１０１の表示部１０１ａに、その設定された視点位置に対応した画像を表示することもできる。この場合、視点位置を移動することで、ユーザ１０６は、実際に視点位置を移動しなくても、移動したと同様の画像を見ることができる。例えば、表示部１０１ａの表面が凸な球面である場合、視点位置に球の中心を中心とした回転運動のオフセットを付ければ、ユーザ１０６は静止しているのに、被写体ＯＢが回転しているように表示できる。

また、上述せずも、この発明は、レンチキュラーレンズなどによる裸眼立体視ディスプレイや、液晶シャッター眼鏡などを用いた、従来周知の三次元表示システムにおいて、左眼画像および右眼画像を発生させる場合にも、同様に適用できる。この場合、左眼画像を表示する場合には、左眼の位置を視点位置として、左眼画像を表示する第１の表示部の各画素表示部に対応した画素データを得ると共に、右眼画像を表示する場合には、右眼の位置を視点位置として、右眼画像を表示する第２の表示部の各画素位置に対応した画素データを得るようにすればよい。この場合、ユーザは、第１の表示部に表示される左眼画像を左眼で観察し、第２の表示部に表示される右眼画像を右眼で観察することで、視点位置に対応した立体画像を認識できる。

この発明は、表面が所定の形状とされた表示部に任意の視点位置に対応した実写の画像を良好に表示できるものであり、例えば観察者（ユーザ）の頭部位置に応じて正しい運動視差を与える画像を提示する画像表示装置などに適用できる。

実施の形態としての画像表示装置の構成を示すブロック図である。 被写体、カメラ、表示部、視点位置などの位置関係を示す図である。 画像データ生成装置の構成を示すブロック図である。 撮像位置の変化を説明するための図である。 画像データ生成処理の手順を示すフローチャートである。 コンピュータのハードウェア構成を示すブロック図である。 画像処理装置としてのコンピュータの機能構成を示すブロック図である。 表示部の各画素表示部に対応した画素データの取得処理を説明するための図である。 問い合わせ点（平面ディスプレイ）の座標の求め方を説明するための図である。 視点位置に対応した画像データの再構成を説明するための図である。 表示部の各画素位置に対応した画素データを取得する際の画像処理の手順を示すフローチャートである。 ディスプレイの表示部の表面形状の他の例を示す図である。 問い合わせ点（球面ディスプレイ）の座標の求め方を説明するための図である。 他の実施の形態としての画像表示装置の構成を示す図である。 半球型のスクリーンの一部が表示部となる場合において、複数画面分の画像データを得るためにカメラの撮像位置を変化させる、被写体位置、カメラ位置の移動部の一例を示す概略構成図である。 従来の画像の表示方法を説明するための図である。

符号の説明

１００，１００Ａ・・・画像表示装置、１０１・・・ディスプレイ、１０１ａ，１０１a1，１０１a2・・・表示部、１０１ａ′・・・撮像面、１０２・・・データストレージ、１０３・・・カメラ、１０６・・・ユーザ（観察者）、１０７・・・位置センサ、１０７ａ・・・レシーバ、１０７ｂ・・・トランスミッタ、１０８・・・コンピュータ、２００・・・画像データ生成装置、２０１・・・コントローラ、２０２・・・被写体位置移動部、２０３・・・カメラ位置移動部、２０４・・・情報付加部、２３１・・・表示用画像データ生成部、２３２・・・センサ制御部、２５１・・・スクリーン、２５２・・・画像発生部、２５３・・・魚眼レンズ

Claims (11)

1. 表面が所定形状とされた表示部を有し、該表示部に複数個の画素表示部が配置されている画像表示手段と、
   上記画像表示手段の表示部を１個または複数個の画素表示部を含むように分割して得られる各分割領域に対応した撮像面上の位置に、それぞれ焦点が存在し、かつ光軸が該撮像面に直交した状態で配置された撮像装置で被写体を撮像して得られた複数画面分の画像データが記憶された画像データ記憶手段と、
   上記画像表示手段の表示部に対する観察者の視点位置を取得する位置取得手段と、
   上記画像表示手段の表示部に配置されている各画素表示部を順次対象画素表示部とし、該対象画素表示部に画素を表示するための画素データとして、該対象画素表示部を含む上記分割領域に対応した上記撮像面上の位置に配置された撮像装置で撮像されて得られ、上記画像データ記憶手段に記憶されている１画面分の画像データを構成する複数の画素データから、上記位置取得手段で取得された観察者の視点位置と該対象画素表示部とを結ぶ直線に沿った上記被写体からの光線に対応した所定の画素データを得る画像処理手段と
   を備えることを特徴とする画像表示装置。
2. 上記画像表示手段は、上記表示部を複数個有し、
   上記位置取得手段は、上記複数個の表示部に対する観察者の視点位置をそれぞれ取得し、
   上記画像処理手段は、上記複数個の表示部に係る画素データを、それぞれ上記位置取得手段で取得された該複数個の表示部に対する観察者の視点位置に基づいて得る
   ことを特徴とする請求項１に記載の画像表示装置。
3. 上記画像表示手段の表示部の表面は平面である
   ことを特徴とする請求項１に記載の画像表示装置。
4. 上記画像表示手段の表示部の表面は、少なくとも凸面または凹面を含む
   ことを特徴とする請求項１に記載の画像表示装置。
5. 上記画像データ記憶手段には、上記各１画面分の画像データにそれぞれ対応付けて、上記撮像装置の光軸方向の単位ベクトルと、該光軸方向に直交する上記撮像装置の水平方向および垂直方向の単位ベクトルとが記憶されており、
   上記画像処理手段は、上記所定の画素データを得る際に、上記画像データ記憶手段に記憶されている上記単位ベクトルを用いて、該所定の画素データが得られる上記撮像装置の撮像部における画素位置を特定する
   ことを特徴とする請求項４に記載の画像表示装置。
6. 上記画像表示手段は、
   上記表示部を有する半球状のスクリーンと、
   上記スクリーンの表示部に魚眼レンズを介して画像を投射する投射部と、
   上記投射部で投射される画像を、上記画像処理手段で得られた上記表示部に配置されている各画素表示部に対応した画素データに基づいて発生する画像発生部とを有する
   ことを特徴とする請求項１に記載の画像表示装置。
7. 上記画像表示手段は、左眼画像を表示する第１の表示部および右眼画像を表示する第２の表示部を有し、
   上記位置取得手段は、上記画像表示手段の第１の表示部に対する観察者の左眼の視点位置を取得すると共に、上記画像表示手段の第２の表示部に対する観察者の右眼の視点位置を取得し、
   上記画像処理手段は、上記第１の表示部に係る画素データを上記位置取得手段で取得された上記左眼の視点位置に基づいて得ると共に、上記第２の表示部に係る画素データを上記位置取得手段で取得された上記右眼の視点位置に基づいて得る
   ことを特徴とする請求項１に記載の画像表示装置。
8. 表面が所定形状とされた表示部を有し、該表示部に複数個の画素表示部が配置されている画像表示手段と、
   上記画像表示手段の表示部を１個または複数個の画素表示部を含むように分割して得られる各分割領域に対応した撮像面上の位置に、それぞれ焦点が存在し、かつ光軸が該撮像面に直交した状態で配置された撮像装置で被写体を撮像して得られた複数画面分の画像データが記憶された画像データ記憶手段と、
   上記画像表示手段の表示部に対する視点位置を設定する位置設定手段と、
   上記画像表示手段の表示部に配置されている各画素表示部を順次対象画素表示部とし、該対象画素表示部に画素を表示するための画素データとして、該対象画素表示部を含む上記分割領域に対応した位置に配置された撮像装置で撮像されて得られ、上記画像データ記憶手段に記憶されている１画面分の画像データを構成する複数の画素データから、上記位置設定手段で設定された視点位置と該対象画素表示部とを結ぶ直線に沿った上記被写体からの光線に対応した所定の画素データを得る画像処理手段と
   を備えることを特徴とする画像表示装置。
9. 上記画像表示手段は、上記表示部を複数個有し、
   上記位置設定手段は、上記複数個の表示部に対する視点位置をそれぞれ設定し、
   上記画像処理手段は、上記複数個の表示部に係る画素データを、それぞれ上記位置設定手段で取得された該複数個の表示部に対する視点位置に基づいて得る
   ことを特徴とする請求項８に記載の画像表示装置。
10. 表面が所定形状とされた表示部を有し、該表示部に複数個の画素表示部が配置されてなる画像表示素子の、該複数個の画素表示部に画素を表示するための画素データを取得する方法であって、
    上記画像表示素子の表示部を一個または複数個の画素表示部を含むように分割して得られる各分割領域に対応した撮像面上の位置に、それぞれ焦点が存在し、かつ光軸が該撮像面に直交するように配置された撮像装置で被写体を撮像して得られた複数画面分の画像データを用意し、
    上記画像表示素子の表示部に対する視点位置を決定する工程と、
    上記画像表示素子の表示部に配置されている各画素表示部を順次対象画素表示部とし、該対象画素表示部に画素を表示するための画素データとして、該対象画素表示部を含む上記分割領域に対応した上記撮像面上の位置に配置された撮像装置で撮像されて得られた１画面分の画像データを構成する複数の画素データから、上記決定された視点位置と該対象画素表示部とを結ぶ直線に沿った上記被写体からの光線に対応した所定の画素データを得る工程と
    を備えることを特徴とする画素データ取得方法。
11. 表面が所定形状とされた表示部を有し、該表示部に複数個の画素表示部が配置されてなる画像表示素子の、該複数個の画素表示部に画素を表示するための画素データを取得するために、
    上記画像表示素子の表示部を一個または複数個の画素表示部を含むように分割して得られる各分割領域に対応した撮像面上の位置に、それぞれ焦点が存在し、かつ光軸が該撮像面に直交するように配置された撮像装置で被写体を撮像して得られた複数画面分の画像データを用意し、
    上記画像表示素子の表示部に対する視点位置を決定する工程と、
    上記画像表示素子の表示部に配置されている各画素表示部を順次対象画素表示部とし、該対象画素表示部に画素を表示するための画素データとして、該対象画素表示部を含む上記分割領域に対応した上記撮像面上の位置に配置された撮像装置で撮像されて得られた１画面分の画像データを構成する複数の画素データから、上記決定された視点位置と該対象画素表示部とを結ぶ直線に沿った上記被写体からの光線に対応した所定の画素データを得る工程と
    を備える画素データ取得方法をコンピュータに実行させるためのプログラム。
    

Images