JP6577421B2 - 表示装置 - Google Patents

Description

本発明は、表示装置に関する。

眼間距離によって生じる視点位置の違いを考慮して三次元表示を行う装着型の表示装置が知られている（例えば、特許文献１参照）。特許文献１に示す技術では、左右の各眼に対して積層画像を表示し、視点位置にしたがって積層画像のずれが変化することで運動視差が生じ、それにより眼間距離によって生じる視点位置の違いを補正する。

特開２０００−２６１８３２号公報

特許文献１に記載の技術では、あらかじめ積層画像を表示する積層ディスプレイの各層に分配した画像を生成しておく必要があり、画像の画素ごとの被写体の奥行きが既知であれば、分配した画像を計算して生成することが可能である。しかしながら、実写画像を表示する場合、一般には奥行きは既知ではなく、高解像度かつ正確な距離情報の取得や算出も容易ではないので、リアルタイムかつ低遅延な撮像表示は困難であるという問題があった。

上記事情に鑑み、本発明は、複雑な奥行きを推定する演算を行うことなく、眼間距離が異なるいずれの観察者に対してもより適切な奥行きを有する画像を表示することを可能とする技術の提供を目的としている。

本発明の一態様は、観察者の眼球の１つに対応付けて予め定められる複数の異なる撮像位置の各々から同方向に向かって撮像された複数の二次元の画像を混合して表示する表示部と、前記複数の異なる撮像位置で定められる範囲で動き得る前記眼球の任意の視点位置において、当該眼球の瞳孔で知覚される前記混合された二次元の画像の各々の輝度を、各々の前記二次元の画像に対応する前記撮像位置から前記視点位置までの距離に応じた低い輝度とする階調付与部とを備える表示装置である。

本発明の一態様は、上記の表示装置であって、前記階調付与部は、前記眼球の視点位置が、前記予め定められる複数の異なる撮像位置のいずれか１つの前記撮像位置に対応する場合、当該撮像位置に対応する前記二次元の画像の輝度を最高輝度とし、前記眼球の任意の視点位置における前記複数の二次元の画像の各々の輝度を、各々に対応する前記撮像位置から前記視点位置までの距離に応じて、前記最高輝度から線形的に減少させた低い輝度とする。

本発明の一態様は、上記の表示装置であって、前記階調付与部は、前記眼球の任意の視点位置における前記複数の二次元の画像の各々の輝度を、当該眼球の瞳孔で知覚される前記混合された二次元の画像の輝度の合計が一定となる輝度とする。

本発明の一態様は、上記の表示装置であって、前記階調付与部は、前記眼球の任意の視点位置における前記複数の二次元の画像の各々の輝度を、前記撮像位置の各々から前記視点位置までの距離に基づいて取得される重みづけを加えた輝度とする。

本発明の一態様は、上記の表示装置であって、前記複数の異なる撮像位置の間隔は、前記眼球の直径程度の距離または、直径以下の距離である。

本発明の一態様は、上記の表示装置であって、前記複数の異なる撮像位置の各々に配置され、前記二次元の画像を撮像する複数の撮像部を備え、前記表示部は、前記複数の撮像部が撮像した前記二次元の画像の各々を混合して表示する。

本発明の一態様は、上記の表示装置であって、前記表示部は、前記複数の二次元の画像を表示する複数の液晶パネルと、前記液晶パネルに表示される前記複数の二次元の画像を混合する混合部とを有しており、前記液晶パネルに光を照射するバックライトと、レンズと、を備え、前記階調付与部は、前記バックライトが照射する光に階調を加えて輝度を減少させ、前記レンズは、前記階調が加えられた面が、前記視点位置で結像するように配置される。

本発明の一態様は、上記の表示装置であって、前記表示部は、各々の層が、前記複数の異なる視点位置からの二次元の画像の各々を表示する液晶パネルの積層体である。

本発明により、複雑な奥行きを推定する演算を行うことなく、眼間距離が異なるいずれの観察者に対してもより適切な奥行きを有する画像を表示することが可能となる。

本発明の第１実施形態による表示装置の構成を示すブロック図である。 第１実施形態による階調を加える流れを示す図である。 本発明の第２実施形態による表示装置の構成を示すブロック図である。 第２実施形態に他のカメラの配置例を示す図（その１）である。 第２実施形態に他のカメラの配置例を示す図（その２）である。 第２実施形態に他のカメラの配置例を示す図（その３）である。 本発明の第３実施形態による表示装置の構成を示すブロック図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
（第１実施形態）
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の第１実施形態による表示装置１の構成と、表示装置１と観察者の左右のいずれか一方の眼球１００の位置関係を示す図である。以下の説明において、観察者の眼球１００の瞳孔１０１の位置を視点位置といい、視点位置には、瞳孔１０１の位置または瞳孔１０１の近傍を含むものとする。表示装置１は、例えば、ヘッドマウントディスプレイやビデオシースルー型ヘッドマウントディスプレイであり、複数のバックライト１０（１０−１及び１０−２）、複数のグラデーションフィルム１１（１１−１及び１１−２）、複数のレンズ１２（１２−１及び１２−２）、複数の液晶パネル１３（１３−１及び１３−２）及びハーフミラー１４を備える。

バックライト１０−１及び１０−２の各々は、光を照射する。グラデーションフィルム１１−１は、バックライト１０−１から照射された光の輝度を強度変調して階調を加える階調付与部であり、バックライト１０−１の照射面に近接して配置される。グラデーションフィルム１１−２は、バックライト１０−２から照射された光の輝度を強度変調して階調を加える階調付与部であり、バックライト１０−２の照射面に近接して配置される。

レンズ１２−１は、グラデーションフィルム１１−１と、液晶パネル１３−１との間に配置される。レンズ１２−２は、グラデーションフィルム１１−２と、液晶パネル１３−２との間に配置される。また、レンズ１２−１は、グラデーションフィルム１１−１の像を眼球１００の視点位置に結像するのに充分な焦点距離を有するレンズである。レンズ１２−２は、グラデーションフィルム１１−２の像を眼球１００の視点位置に結像するのに充分な焦点距離を有するレンズである。

液晶パネル１３−１は、外部からの信号を受けて二次元の画像を表示する表示部であり、レンズ１２−１と、ハーフミラー１４との間に、レンズ１２−１の前面に近接するように配置される。液晶パネル１３−２は、外部からの信号を受けて二次元の画像を表示する表示部であり、レンズ１２−２と、ハーフミラー１４との間に、レンズ１２−２の前面に近接するように配置される。ここで、液晶パネル１３−１及び１３−２が表示する二次元の画像は、眼球１００の１つに対して予め定められる複数の異なる撮像位置から同方向に向かって三次元形状の被写体を撮像して得られる複数の二次元の画像である。例えば、図２に示す場合、複数の異なる撮像位置とは、眼球１００の左端と右端との距離、すなわち眼球１００の直径程度の間隔を有する２点であり、２つの二次元の画像が撮像によって予め得られる。

ハーフミラー１４（混合部の一例）は、液晶パネル１３−１及び１３−２と共に表示部を構成し、バックライト１０−１、グラデーションフィルム１１−１、レンズ１２−１、及び液晶パネル１３−１の光学系（以下、「第１の光学系４０−１」という。）からの光を眼球１００側に透過させる。また、ハーフミラー１４は、バックライト１０−２、グラデーションフィルム１１−２、レンズ１２−２、及び液晶パネル１３−２の光学系（以下、「第２の光学系４０−２」という。）からの光を眼球１００側に反射し、液晶パネル１３−１及び１３−２の各々が表示する二次元の画像を混合して表示する。

表示装置１の構成により、バックライト１０−１から照射された光の輝度が、グラデーションフィルム１１−１により強度変調され、輝度が強度変調された光が、レンズ１２−１と液晶パネル１３−１とハーフミラー１４を透過する。これにより、グラデーションフィルム１１−１の像が、眼球１００の視点位置で結像する。液晶パネル１３−１に、例えば、ある二次元の画像が表示されている場合、眼球１００の視点位置で結像するグラデーションフィルム１１−１の像の輝度で当該二次元の画像を観察者は知覚する。

また、バックライト１０−２から照射された光の輝度が、グラデーションフィルム１１−２により強度変調され、輝度が強度変調された光が、レンズ１２−２と液晶パネル１３−２とを透過し、ハーフミラー１４により反射される。これにより、グラデーションフィルム１１−２の像が、眼球１００の視点位置で結像する。液晶パネル１３−２に、例えば、ある二次元の画像が表示されている場合、眼球１００の視点位置で結像するグラデーションフィルム１１−２の像の輝度で当該画像を観察者は知覚する。すなわち、観察者は、左右のいずれか一方の眼球１００により、第１の光学系４０−１により表示される画像と、第２の光学系４０−２により表示される画像とが混合した画像を知覚することになる。

図２は、表示装置１におけるグラデーションフィルム１１−１，１１−２の透過率の変化特性により、液晶パネル１３−１，１３−２に表示される二次元の画像の混合比が変化する状態を示す図である。図２は、例えば、観察者の上方からみた図であり、図面の上方向が、観察者の右方向に対応する。グラデーションフィルム１１−１及び１１−２として、透過率が線形に変化するものが適用される。グラデーションフィルム１１−１は、観察者からみて左端の透過率が最大透過率（例えば、１００％）で、右方向に向けて透過率が減少していき、左端の透過率が最小透過率（例えば、０％）となるように配置される。グラデーションフィルム１１−２は、観察者からみて末端の透過率が最大透過率（例えば、１００％）で、前方に向けて透過率が減少していき、観察者からみて先端の透過率が最小透過率（例えば、０％）となるように配置される。

グラデーションフィルム１１−１の像が、レンズ１２−１によって眼球１００の視点位置で結像される場合、左右が入れ替わる。すなわち、眼球１００の視点位置で結像されるグラデーションフィルム１１−１の像の輝度は、右端が最大透過率、すなわち最高輝度となり、左端が最小透過率、すなわち最低輝度となる実線で示される線形変化を示す。これに対して、ハーフミラー１４による反射され、レンズ１２−２によって眼球１００の視点位置で結像されるグラデーションフィルム１１−２の像の輝度は、左端が最大透過率、すなわち最高輝度となり、右端が最小透過率、すなわち最低輝度となる破線で示される線形変化を示す。

上述したように、グラデーションフィルム１１−１の像は、レンズ１２−１により眼球１００の視点位置に結像される。すなわち、眼球１００の視点位置で結像した１点の位置にグラデーションフィルム１１−１の１点が対応することになる。グラデーションフィルム１１−１の当該１点を透過したバックライト１０−１が照射した光は、例えば、二次元の画像Ａを表示する液晶パネル１３−１全体を照明し、液晶パネル１３−１とハーフミラー１４を透過して瞳孔１０１に入射する。観察者は、グラデーションフィルム１１−１の当該１点における透過率に比例する輝度、すなわち眼球１００の右端の近傍で最高輝度となり、左側に向けて線形的に輝度が減少して、眼球１００の左端の近傍で最低輝度へと変化する輝度のいずれかの値の輝度で、画像Ａの全体を見ることになる。つまり、観察者の眼球１００が、右側（図２の上方向）に動くと、画像Ａが明るく見え、左側（図２の下方向）に動くと、画像Ａが暗く見えることになる。

同様に、眼球１００の視点位置で結像した１点の位置にグラデーションフィルム１１−２の１点が対応することになる。グラデーションフィルム１１−２の当該１点を透過したバックライト１０−２が照射した光は、例えば、二次元の画像Ｂを表示する液晶パネル１３−２全体を照明し、液晶パネル１３−２を透過して、ハーフミラー１４に反射されて、瞳孔１０１に入射する。観察者は、グラデーションフィルム１１−２の当該１点における透過率に比例する輝度、すなわち眼球１００の左端の近傍で最高輝度となり、右側に向けて線形的に輝度が減少して、眼球１００の右端の近傍で最低輝度へと変化する輝度のいずれかの値の輝度で、画像Ｂの全体をみることになる。つまり、観察者の眼球１００が左側（図２の下方向）に動くと、画像Ｂが明るく見え、右側（図２の上方向）に動くと、画像Ｂが暗く見えることになる。

グラデーションフィルム１１−１，１１−２による輝度の線形変化の特性は、ハーフミラー１４により混合されることで、眼球１００の視点位置で混合される画像Ａと画像Ｂの輝度の合計値が常に一定になるような特性とされる。例えば、図２に示す瞳孔１０１の位置の場合、画像Ａと画像Ｂの輝度は、同じレベルになり、画像Ａと画像Ｂとが半分ずつ、すなわち混合比５０％で混合されて表示されることになる。

上記の第１実施形態の構成により、表示部である、液晶パネル１３−１，１３−２とハーフミラー１４とにより、観察者の眼球１００に対応付けて予め定められる２点の撮像位置、すなわち眼球１００の直径程度の間隔がある２点から同方向に向かって撮像された二次元の画像を混合して表示する。階調付与部であるグラデーションフィルム１１−１，１１−２は、バックライト１０−１，１０−２が照射する光の輝度を強度変調して階調を加える。レンズ１２−１，１２−２は、眼球１００の視点位置でグラデーションフィルム１１−１，１１−２の像を結像する。これにより、観察者の視点位置において、混合された二次元の画像の各々の輝度が、当該二次元の画像が撮像された撮像位置から視点位置までの距離に応じて低い輝度となる。これにより、観察者の眼球１００が、右方向に移動すると、液晶パネル１３−１が表示する画像Ａが明るく見え、左方向に移動すると、液晶パネル１３−２が表示する画像Ｂが明るく見えることになる。すなわち、複雑な奥行きを推定する演算を行うことなく、眼間距離が異なるいずれの観察者に対してもより適切な奥行きを有する画像を表示することが可能となる。

また、上記の第１実施形態では、グラデーションフィルム１１−１，１１−２が付与する階調により、輝度が線形的に変化するようにしている。参考文献１（特開２０１５−１２１７４８号公報）の段落［００２４］に示されているように、画像のずれ幅が小さい画像を加重平均することにより、中間の視点位置の画像を知覚させることができることが知られている。すなわち、上述した撮像位置で撮像された画像、すなわち、撮像位置を視点位置とした場合に撮像された画像の割合が１００％になる画像を複数混合することにより、これらの撮像位置の間の任意の視点位置のより適切な画像を観察者に知覚させることができる。第１実施形態による構成においても、異なる２つの撮像位置で撮像された二次元の画像を、一方の二次元の画像に対応する撮像位置に視点位置が存在する場合、当該一方の二次元の画像の輝度が最高輝度となり、他方の二次元の画像の輝度が最低輝度となるようにしている。したがって、２つの撮像位置の間の任意の位置に視点位置がある場合、当該視点位置におけるより適切な画像を観察者に知覚させることができる。

また、上記の第１実施形態の構成では、特別な手法により撮像された二次元の画像を用いるのではなく、一般的な撮像手法により複数の異なる撮像位置から撮像された二次元の画像を複数使用している。そのため、リアルタイムかつ低遅延で、当該異なる撮像位置の間にある任意の視点位置での画像を観察者に知覚させることができる。

なお、上記の第１実施形態では、液晶パネル１３−１，１３−２を観察者の眼球１００が直視する構成であるが、レンズ１２−１，１２−２とハーフミラー１４の間、または、ハーフミラー１４と眼球１００の間にレンズを配置し、第１の光学系４０−１と第２の光学系４０−２において光学系の距離を圧縮するようにしてもよい。
また、第１実施形態では、ハーフミラー１４により２つの二次元の画像を重畳しているが、２つ以上の液晶パネルを積層するテンソルディスプレイなどを上述した表示部に対応する構成として適用して、視点位置による混合比を変えるようにしてもよい。
また、第１実施形態では、２つのバックライト１０−１，１０−２を用いているが、グラデーションフィルム１１−１，１１−２として、透過率が偏光により異なるものを適用し、ゲストホスト型液晶のように特定の偏光で画像を表示し、直交する偏光を透過するような液晶パネルを配置して、バックライトを１つにする構成としてもよい。

（第２実施形態）
次に、図３から図６を参照しつつ、本発明の第２実施形態による表示装置１ａについて説明する。第２実施形態による表示装置１ａは、例えば、ヘッドマウントディスプレイやビデオシースルー型ヘッドマウントディスプレイであり、第１実施形態の表示装置１の２つを、観察者の左右の両眼用に備える構成となっている。また、第２実施形態による表示装置１ａは、更に、二次元の画像を撮像する撮像部であるカメラ２０−１Ｒ，２０−２Ｒ，２０−１Ｌ，２０−２Ｌを備える構成となっている。以下の説明では、第１実施形態の表示装置１の各構成に付した符号に、右眼用の構成は、例えば、表示装置１Ｒや、ハーフミラー１４Ｒのように「Ｒ」の符号を加えて示し、左眼用の構成は、例えば、表示装置１Ｌや、ハーフミラー１４Ｌのように「Ｌ」の符号を加えて示す。すなわち、第２実施形態による表示装置１ａは、表示装置１Ｒ、表示装置１Ｌ、及びカメラ２０−１Ｒ，２０−２Ｒ，２０−１Ｌ，２０−２Ｌを備えることになる。また、以下の説明において、観察者の眼球については、右眼球１００Ｒ、左眼球１００Ｌとして示し、観察者の瞳孔については、右眼の瞳孔を瞳孔１０１Ｒ、左眼の瞳孔を瞳孔１０１Ｌとして示す。

カメラ２０−１Ｒとカメラ２０−２Ｒは、それぞれ、右眼用の表示装置１Ｒの液晶パネル１３−１Ｒと液晶パネル１３−２Ｒとに接続される。カメラ２０−１Ｌとカメラ２０−２Ｌは、それぞれ、左眼用の表示装置１Ｌの液晶パネル１３−１Ｌと液晶パネル１３−２Ｌとに接続される。カメラ２０−１Ｒとカメラ２０−２Ｒは、それぞれ、観察者の右眼球１００Ｒの左端と右端との距離、すなわち右眼球１００Ｒの直径程度の間隔を有する撮像位置に、同方向を撮像するように配置される。カメラ２０−１Ｌとカメラ２０−２Ｌは、それぞれ、観察者の左眼球１００Ｌの左端と右端との距離、すなわち左眼球１００Ｌの直径程度の間隔を有する撮像位置に、同方向を撮像するように配置される。

また、カメラ２０−１Ｒとカメラ２０−２Ｒの中央の点と、カメラ２０−１Ｌとカメラ２０−２Ｌの中央の点との間隔が、一般的な、観察者の眼間距離程度となるように配置される。また、カメラ２０−１Ｒとカメラ２０−２Ｒが撮像を行う方向と、カメラ２０−１Ｌとカメラ２０−２Ｌが撮像を行う方向とについても同方向であり、これらのカメラ２０−１Ｒ，２０−２Ｒ，２０−１Ｌ，２０−２Ｌによって三次元形状の被写体が撮像され、液晶パネル１３−１Ｒ，１３−２Ｒ，１３−１Ｌ，１３−２Ｌに表示されることで、両眼視差が生じ、観察者は、当該被写体の立体像を知覚することになる。これらのカメラ２０−１Ｒ，２０−２Ｒ，２０−１Ｌ，２０−２Ｌが配置される撮像位置は、観察者が表示装置１ａを利用する際の観察者の前方の方向を撮像する位置であってもよいし、カメラ２０−１Ｒ，２０−２Ｒ，２０−１Ｌ，２０−２Ｌの位置関係として、上述した位置関係が維持されているのであれば、任意の方向を撮像する位置であってもよい。

カメラ２０−１Ｒ，２０−２Ｒによって撮像された二次元の画像の各々は、液晶パネル１３−１Ｒ，１３−２Ｒに画像ＡＲ，画像ＢＲとして表示される。第１実施形態で説明したように、グラデーションフィルム１１−１Ｒ，１１−２Ｒにより輝度が強度変調された光により、右眼球１００Ｒの視点位置で画像ＡＲと画像ＢＲとが混合されて表示されることになる。すなわち、観察者が右眼球１００Ｒを右側に動かすと、カメラ２０−１Ｒで撮像された画像ＡＲの輝度が線形的な変化で高くなり、画像ＡＲが明るく見えるようになる。観察者が右眼球１００Ｒを左側に動かすと、カメラ２０−２Ｒで撮像された画像ＢＲの輝度が線形的な変化で高くなり、画像ＢＲが明るく見えるようになる。

右眼球１００Ｒの視点位置が、右眼球１００Ｒに対応する２点の撮像位置の間の任意の位置となった場合、画像ＡＲについては、右眼球１００Ｒの右端の撮像位置から視点位置までの距離に応じて減少した輝度で表示される。画像ＢＲについては、右眼球１００Ｒの左端の撮像位置から視点位置までの距離に応じて減少した輝度で表示され、これらの画像ＡＲと画像ＢＲとが混合された画像を観察者は右眼の瞳孔１０１Ｒを通じて知覚することになる。左眼についても同様であり、左眼球１００Ｌの視点位置が、左眼球１００Ｌに対応する２点の撮像位置の間の任意の位置となった場合、画像ＡＬについては、左眼球１００Ｌの右端の撮像位置から視点位置までの距離に応じて減少した輝度で表示される。画像ＢＬについては、左眼球１００Ｌの左端の撮像位置から視点位置までの距離に応じて減少した輝度で表示され、これらの画像ＡＬと画像ＢＬとが混合された画像を観察者は左眼の瞳孔１０１Ｌを通じて知覚することになる。

上記の第２実施形態のように構成することで、右眼の瞳孔１０１Ｒと左眼の瞳孔１０１Ｌの距離である眼間距離が異なる大人と子供でも、右眼球１００Ｒと左眼球１００Ｌの各々の視点位置に応じた比率で混合される二次元の画像を見ることができる。そのため、複雑な奥行きを推定する演算を行うことなく、眼間距離が異なるいずれの観察者に対してもより適切な奥行きを有する画像を表示することが可能となる。
また、上記の第２実施形態のように、混合する二次元の画像に対応して配置される複数の撮像部を用いることにより、リアルタイムビデオシースルー表示を容易に実現することもできる。また、右眼球１００Ｒ、左眼球１００Ｌの各々において、１つの眼球に対して複数の撮像部が配置される撮像位置と、眼球の位置とを適切な位置関係とすることで、眼間距離の個人差や輻輳による眼球の内転や外転による瞳孔間距離の変化を補正し、あたかも実物を見ているかのような自然な奥行き感で画像を表示することができる。

なお、撮像部の配置として、例えば、図４に示すように、右眼球１００Ｒと左眼球１００Ｌの両方で、１台のカメラ２０−２を共有するような構成にしてもよく、この構成の場合、カメラ２０−２が撮像した二次元の画像が、液晶パネル１３−２Ｒと液晶パネル１３−１Ｌの両方に表示されることになる。

また、撮像部の配置として、例えば、図５に示すように、１つの眼球１００に対して、３つのカメラ２０−１，２０−２，２０−３を眼球１００の右端、中央、左端の間隔で配置するようしてもよい。この場合、第１実施形態の表示装置１において、３つ目の光学系である第３の光学系４０−３を備えて、図５のグラフに示すように、各々のカメラ２０−１，２０−２，２０−３が撮像した二次元の画像の各々が、カメラ２０−１，２０−２，２０−３が配置された撮像位置から視点位置までの距離に応じた比率で混在するようにグラデーションフィルム１１−１，１１−２，１１−３の階調を定めることになる。
図５のように直線的に配置するカメラ２０−１，２０−２，２０−３を増やすと、撮像位置が、眼球１００の直径以下の間隔となり、より狭い撮像位置ごとの二次元の画像を撮像することができるため、画像の差を小さくすることが可能となる。それにより、広い奥行き範囲に分布する被写体であっても二重像を知覚させることなく表示することができる。

また、撮像部の配置として、図６（Ａ）及び図６（Ｂ）に示すように、１つの眼球１００に対して４つのカメラ２０−１，２０−２，２０−３，２０−４を二次元的に配置してもよい。図６のように二次元的にカメラ２０−１，２０−２，２０−３，２０−４を配置する場合、特に、撮像する位置を視域の中心を基準に点対称に配置することにより、左右に限らず、上下を含む任意の方向に視点位置が動いたとしても、それに応じた被写体の自然な変化を知覚することが可能となる。

撮像部、すなわちカメラが複数存在する場合、任意に定められる視点位置に対して、当該視点位置に近いカメラをｎ（ｎ≧２）個選択して、下記の式（１）で示される加重ａｋで加算するようにしてもよい。式（１）においてｒｎは、各カメラの撮像位置から視点位置までの距離を示す変数である。

式（１）に示すような加算は、例えば、第１実施形態の表示装置１において、第１の光学系４０−１、第２の光学系４０−２に相当する光学系を増やし、各々の光学系の液晶パネル１３−１，１３−２，・・・に表示される二次元の画像が任意の視点位置に応じて混合されるようにグラデーションフィルム１１−１，１１−２，・・・の透過率の面内分布を変えることで実現することができる。

（第３実施形態）
次に、図７を参照しつつ本発明の第３実施形態による表示装置１ｂについて説明する。表示装置１ｂは、例えば、ビデオシースルー型のヘッドマウントディスプレイであり、観察者の頭部にベルト等で固定される。表示装置１ｂは、外部からの光を遮断する筐体５０と、筐体５０の内部に配置される液晶パネル１３Ｔ−１，１３Ｔ−２、偏光板１５Ｔ−１，１５Ｔ−２、バックライト１０、及び筐体５０の壁面に取り付けられるカメラ２０−１Ｒ，２０−２Ｒ，２０−１Ｌ，２０−２Ｌを備える。ここで、第３実施形態におけるカメラ２０−１Ｒ，２０−２Ｒ，２０−１Ｌ，２０−２Ｌが取り付けられる撮像位置について説明する。右眼球１００Ｒの場合、右眼球１００Ｒの右端と左端を視線方向に延長した線と、筐体５０の壁面とが交わる２点が撮像位置として定められ、各々に、カメラ２０−１Ｒとカメラ２０−２Ｒが取り付けられる。左眼球１００Ｌの場合、左眼球１００Ｌの右端と左端を視線方向に延長した線と、筐体５０の壁面とが交わる２点が撮像位置として定められ、各々に、カメラ２０−１Ｌとカメラ２０−２Ｌが取り付けられる。右眼球１００Ｒと左眼球１００Ｌの眼間距離は、一般的な、観察者の眼間距離程度の距離とする。これにより、観察者の視線の先にある三次元形状の被写体を、観察者は、液晶パネル１３Ｔ−１，１３Ｔ−２、偏光板１５Ｔ−１，１５Ｔ−２を通して知覚することになる。

バックライト１０は、観察者の瞳孔１０１−Ｒ，１０１−Ｌが存在する方向に光を照射する。液晶パネル１３Ｔ−１，１３Ｔ−２は、例えば、ツイストネマチック（ＴＮ：Twisted Nematic）液晶が適用され、上方向からみて液晶分子のチルト角が反平行となり、二次元の画像の比率が１００％に近いとき観察者の視線と液晶分子の配向ベクトルが直交するように配置する。液晶パネル１３Ｔ−１と液晶パネル１３Ｔ−２により、液晶パネルの積層体が構成され、この液晶パネルの積層体を２枚の偏光板１５Ｔ−１，１５Ｔ−２で挟み込む構成となっている。偏光板１５Ｔ−１と偏光板１５Ｔ−２は、偏光方向が直交する方向で配置する。なお、一般のディスプレイは、２枚の偏光板で１枚の液晶パネルを挟み込む構成となっているが、このように２枚の液晶パネルを２枚の偏光板で挟み込むことで、いわゆるテンソルディスプレイを構成する。

例えば、液晶パネル１３Ｔ−１は、カメラ２０−１Ｒ，２０−１Ｌの各々の撮像位置に対応する液晶パネル１３Ｔ−１上の位置に、カメラ２０−１Ｒ，２０−１Ｌの各々が撮像した二次元の画像を表示する。液晶パネル１３Ｔ−２は、カメラ２０−２Ｒ，２０−２Ｌの各々の撮像位置に対応する液晶パネル１３Ｔ−２上の位置に、カメラ２０−２Ｒ，２０−２Ｌが撮像した二次元の画像を表示する。これにより、視点位置が各々の撮像位置に一致する場合、各々の撮像位置に対応するカメラ２０−１Ｒ，２０−２Ｒ，２０−１Ｌ，２０−２Ｌが撮像した二次元の画像の混合比が１００％となり、視点位置が各々の撮像位置から離れるにつれて、液晶パネル１３Ｔ−１，１３Ｔ−２の視野角特性により、表示する二次元の画像の輝度が変化し、各々の二次元の画像の混合比率が変化することになる。なお、液晶パネル１３Ｔ−１，１３Ｔ−２として、輝度について線形変化する視野角特性のものが適用され、その結果として、図７のグラフに示すように右眼球１００Ｒ及び左眼球１００Ｌの各々における２つの二次元の画像の混合比が線形変化する。

上記の第３実施形態の構成により、撮像部であるカメラ２０−１Ｒ，２０−２Ｒ及びカメラ２０−１Ｌ，２０−２Ｌのそれぞれを、右眼球１００Ｒと左眼球１００Ｌの左右端に基づいて定められる筐体５０の壁面上の撮像位置に配置する。表示部を構成する偏光板１５Ｔ−１，１５Ｔ−２、及び液晶パネル１３Ｔ−１，１３Ｔ−２において、液晶パネル１３Ｔ−１は、カメラ２０−１Ｒ，２０−１Ｌが撮像した二次元の画像を各々の撮像位置に対応する位置に表示する。また、液晶パネル１３Ｔ−２は、カメラ２０−２Ｒ，２０−２Ｌが撮像した二次元の画像を各々の撮像位置に対応する位置に表示する。第１及び第２実施形態では、グラデーションフィルム１１−１，１１−２，１１−１Ｒ，１１−２Ｒ，１１−１Ｌ，１１−２Ｌを階調付与部として適用することで、輝度を変化させて複数の二次元の画像を混合していた。これに対して、第３実施形態では、液晶パネル１３Ｔ−１，１３Ｔ−２における視野角特性が階調付与部に相当し、視野角特性により、液晶パネル１３Ｔ−１，１３Ｔ−２が表示する二次元の画像が輝度の違いを有するように混合されることになる。そのため、右眼の瞳孔１０１Ｒと左眼の瞳孔１０１Ｌの距離である眼間距離が異なる大人と子供でも、左右の瞳孔１０１Ｒ，１０１Ｌの各々が存在する位置に応じた比率で混合される二次元の画像を見ることが可能となる。これにより、複雑な奥行きを推定する演算を行うことなく、眼間距離が異なるいずれの観察者に対してもより適切な奥行き、すなわち実物体の奥行きと等しい奥行きを観察者に知覚させる画像を表示することが可能となる。
また、上記の第３実施形態では、液晶パネル１３Ｔ−１，１３Ｔ−２の視野角特性を利用して混合比率を変えているため、液晶パネル１３Ｔ−１，１３Ｔ−２にカメラ２０−１Ｒ，２０−２Ｒ，２０−１Ｌ，２０−２Ｌの画像を直接表示してもおおむね所望の比率で混合された画像を観察者は知覚することができる。

なお、上記の第３実施形態では、２つの液晶パネル１３Ｔ−１，１３Ｔ−２を備える構成としているが、３つ以上の液晶パネルを備える構成としてもよい。
また、上記の第３実施形態の構成において、偏光板１５Ｔ−２と左右の眼球１００Ｒ，１００Ｌの間にレンズを備える構成としてもよい。当該レンズを備えることで、表示装置１ｂの筐体５０の奥行きを短くすることができる。

また、第２実施形態及び第３実施形態において、カメラ２０−１Ｒ，２０−２Ｒ，２０−１Ｌ，２０−２Ｌの位置関係を維持して、遠隔地に配置し、観察者の頭部の動きに合わせてカメラ２０−１Ｒ，２０−２Ｒ，２０−１Ｌ，２０−２Ｌの方向を制御し、通信回線により、画像を転送して液晶パネル１３−１Ｒ，１３−２Ｒ，１３−１Ｌ，１３−２Ｌ，１３Ｔ−１，１３Ｔ−２に表示するようにしてもよい。このようにすることで、観察者は、あたかも遠隔地にいるかのような体験をすることが可能となる。

なお、上記各実施形態において、複数の異なる撮像位置とは、眼球１００の左端と右端との距離、すなわち眼球１００の直径程度の間隔を有する２点であると説明したが、具体的には以下のように決定されてもよい。例えば、表示装置が複数人によって使用されることを想定した場合、使用者の中で最大の眼間距離をもつと想定される者の眼球位置と、使用者の中で最小の眼間距離をもつと想定される者の眼球位置とに基づいて撮像位置が決定されてもよい。この場合、表示装置の使用時において、最大の眼間距離をもつ使用者の眼球が最大限外転したときの瞳孔の位置と、最小の眼間距離をもつ使用者の眼球が最大限内転したときの瞳孔の位置とを両端としてカメラが設置されてもよい。また、表示装置が特定の一人によって使用されることを想定した場合、その一人の使用者の眼球位置に基づいて撮像位置が決定されてもよい。この場合、表示装置の使用時において、当該使用者の眼球が最大限外転したときの瞳孔の位置と、最大限内転したときの瞳孔の位置とを両端としてカメラが設置されてもよい。さらに、特定の一人の使用者が特定の表示を凝視するような用途に表示装置が用いられることを想定した場合（すなわち使用者眼球が回転しない場合）、当該使用者の瞳孔の左右端を両端としてカメラが設置されてもよい。なお、装着時のずれを考慮して、カメラの間隔は多少広めに設定されてもよい。

また、上記各実施形態に記載した「同方向」の意味は、必ずしも完全に同一の方向を意味するものではなく、若干のずれが含まれてもよいことを意味する。より具体的には、上記の「同方向」は、左右眼に対応して撮像する２個のカメラの光軸が平行に配置される場合、他のカメラの光軸も平行に配置されることを意味する。また、左右眼に対応して撮像する２個のカメラの光軸が特定の１点に収束するように配置される場合、他のカメラの光軸もその一点に収束するように配置されることを意味する。なお、各カメラによって「同方向」から撮像された被写体の画像とは、光軸の方向がおおむね同一の方向となるように配置されたカメラの画像が、射影変換やシフト等の処理によって補正された画像であってもよい。

上述した実施形態における表示装置１，１ａ，１ｂをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…表示装置， １０−１〜１０−２…バックライト， １１−１〜１１−２…グラデーションフィルム， １２−１〜１２−２…レンズ， １３−１〜１３−２…液晶パネル，１４…ハーフミラー， ４０−１…第１の光学系， ４０−２…第２の光学系， １００ 眼球， １０１…瞳孔

Claims (7)

1. 観察者の右の眼球に対応付けて予め定められる複数の異なる撮像位置の各々から同方向に向かって撮像された複数の二次元の画像を混合して表示する第１表示部と、
   前記観察者の左の眼球に対応付けて予め定められる複数の異なる撮像位置の各々から同方向に向かって撮像された複数の二次元の画像を混合して表示する第２表示部と、
   前記複数の異なる撮像位置で定められる範囲で動き得る前記眼球の任意の視点位置において、当該眼球の瞳孔で知覚される前記混合された二次元の画像の各々の輝度を、各々の前記二次元の画像に対応する前記撮像位置から前記視点位置までの距離に応じた低い輝度とする階調付与部と、
   を備え、
   前記第１表示部と前記第２表示部とは前記観察者の眼間距離程度に離間して配置され、
   前記第１表示部及び前記第２表示部は、前記複数の二次元の画像を表示する複数の液晶パネルと、前記液晶パネルに表示される前記複数の二次元の画像を混合する混合部とを有しており、前記液晶パネルに光を照射するバックライトと、レンズと、を備え、
   前記階調付与部は、前記バックライトが照射する光に階調を加えて輝度を減少させ、
   前記レンズは、前記階調が加えられた面が、前記視点位置で結像するように配置される、
   表示装置。
2. 観察者の右の眼球に対応付けて予め定められる複数の異なる撮像位置の各々から同方向に向かって撮像された複数の二次元の画像を混合して表示する第１表示部と、
   前記観察者の左の眼球に対応付けて予め定められる複数の異なる撮像位置の各々から同方向に向かって撮像された複数の二次元の画像を混合して表示する第２表示部と、
   前記複数の異なる撮像位置で定められる範囲で動き得る前記眼球の任意の視点位置において、当該眼球の瞳孔で知覚される前記混合された二次元の画像の各々の輝度を、各々の前記二次元の画像に対応する前記撮像位置から前記視点位置までの距離に応じた低い輝度とする階調付与部と、
   を備え、
   前記第１表示部と前記第２表示部とは前記観察者の眼間距離程度に離間して配置され、
   前記第１表示部及び第２表示部は、各々の層が、前記複数の異なる撮像位置からの二次元の画像の各々を表示する液晶パネルの積層体である、
   表示装置。
3. 前記階調付与部は、前記眼球の視点位置が、前記予め定められる複数の異なる撮像位置のいずれか１つの前記撮像位置に対応する場合、当該撮像位置に対応する前記二次元の画像の輝度を最高輝度とし、前記眼球の任意の視点位置における前記複数の二次元の画像の各々の輝度を、各々に対応する前記撮像位置から前記視点位置までの距離に応じて、前記最高輝度から線形的に減少させた低い輝度とする、
   請求項１又は２に記載の表示装置。
4. 前記階調付与部は、眼球の任意の視点位置における前記複数の二次元の画像の各々の輝度を、当該眼球の瞳孔で知覚される前記混合された二次元の画像の輝度の合計が一定となる輝度とする、
   請求項３に記載の表示装置。
5. 前記階調付与部は、前記眼球の任意の視点位置における前記複数の二次元の画像の各々の輝度を、前記撮像位置の各々から前記視点位置までの距離に基づいて取得される重みづけを加えた輝度とする、
   請求項１から４のいずれか一項に記載の表示装置。
6. 前記複数の異なる撮像位置の間隔は、前記眼球の直径程度の距離または、直径以下の距離である、
   請求項１から５のいずれか一項に記載の表示装置。
7. 前記複数の異なる撮像位置の各々に配置され、前記二次元の画像を撮像する複数の撮像部を備え、
   前記第１表示部及び第２表示部は、前記複数の撮像部が撮像した前記二次元の画像の各々を混合して表示する、
   請求項１から６のいずれか一項に記載の表示装置。

Images