JP6056171B2 - 立体画像表示装置及び方法 - Google Patents

Description

開示の技術は立体画像表示装置及び立体画像表示方法に関する。

ウェアラブルコンピューティングにおいて、身につけるディスプレイとしてＨＭＤ(Head Mount Display：頭部装着型ディスプレイ)が知られている。ＨＭＤは装着状態で両手が空くことから、作業者を支援するデバイスとしても期待されている。ＨＭＤは、動画像等の画像を表示する表示部と、その明視距離を遠くにするための接眼レンズが主要構成要素である。一般にＨＭＤは、表示部及び接眼レンズの組が左眼用と右眼用の一対設けられており、それぞれの目に独立した画像を見せることが可能である。左眼用の画像及び右眼用の画像として同じ画像を表示にすれば一般的な２Ｄディスプレイとなり、左眼用の画像及び右眼用の画像として視差のついた別の画像を表示すれば、両眼視による奥行き認知が可能な３Ｄディスプレイとして機能する。

なお、２Ｄ表示と３Ｄ表示を切り替え可能なＨＭＤに関し、表示部と接眼レンズの間にレンチキュラーレンズを設けることで、左右の画像光を異なる方向に振り分ける構成が提案されている。

また、両眼視差を利用した立体画像の表示では、鑑賞者が不自然さを感じ易く、また鑑賞者の眼精疲労が大きいという課題があることが知られている。この解決策として多眼式立体表示法や超多眼式立体表示法が提案されている。

以下、まず図１４を参照して多眼式立体表示法について説明する。多眼式立体表示法は、鑑賞位置に応じた視点画像を空間上に複数作ることで、頭を振ると見えが変わる『運動視差』を表現し、より自然に近い立体映像を表示する技術である。図１４に示すように、代表的な多眼式の立体ディスプレイでは、視点画像を眼間距離の間隔で配置する。これによって鑑賞位置に応じて見える立体像が変化し、運動視差が表現される。

次に、図１５及び図１６を参照して超多眼式立体表示法の説明を用いて説明する。人間が三次元空間を知覚するための手がかりとなる光線は、実際の物体からの連続的な光線のうち左右の眼の瞳孔を通った光線である。自然界における上記の連続的な光線をサンプリングするには、図１５(Ａ)に示す多眼式ではサンプリング間隔が粗すぎであり、図１５(Ｂ)に示すようにサンプリング間隔は瞳孔径よりも狭くする必要がある。超多眼式立体表示法では、図１５(Ｂ)に示すように上記のサンプリング間隔を瞳孔径よりも狭くすると共に、瞳孔径よりも間隔を狭くした個々の光線が成す画像同士に僅かな視差をつけている。このように僅かな視差のついた画像の光線が同時に眼球に入ると、図１６(Ａ)に示すように、眼球の焦点調節をスクリーン面上に合わせた場合、異なる視点映像Ｐ_Ｒ１,Ｐ_Ｒ２が網膜上の異なる場所に２重像として投影される。これは、網膜上でボケとして認知される。ボケの視覚を避ける脳の働きにより、２重像を視認している状態から、図１６(Ｂ)のように網膜上で一点になるように眼球の調節刺激が誘起される。

観察者が自然界で物体を見るとき、両目の輻輳により知覚する物体の空間上の位置に、焦点も合わせる。つまり映像の両眼視差によって知覚した空間上の位置に２重像を避ける調節運動により焦点も一致すれば、自然界で物体を見ている状態と区別ができなくなる。すなわち自然な立体視が可能になる。

特開２０１１−１４５４８８号公報

独立行政法人 情報通信研究機構、"高度立体動画像通信プロジェクト最終成果報告書"、[online]、[平成２４年３月１６日検索]、インターネット＜ＵＲＬ：http://seika-kokai.nict.go.jp/doc/result/199611005/199611005_houkoku-04.pdf＞

ＨＭＤでは、内蔵されている表示部に対して目の位置が変化しないので、眼間距離の個人差を除けば運動視差を表現する必要はないものの、ＨＭＤにおいて、超多眼式立体表示法を適用して立体画像の表示を行えば、上述のように自然な立体視の実現が期待できる。しかしながら、ＨＭＤのように、接眼レンズを通じて虚像を視認させる構成の光学系を有する表示装置において、超多眼式立体表示法を適用して立体画像の表示を行った例は知られていない。このため、上記構成の表示装置において、超多眼式立体表示法を適用した立体画像の適正な表示を実現するための光学条件は知られていなかった。

開示の技術は、接眼レンズを通じて虚像を視認させる構成の光学系を有する構成において、超多眼式立体表示法を適用した立体画像の適正な表示を実現できる光学条件を得ることが目的である。

開示の技術は、互いに視点が異なるＮ個の画像を合成した合成画像を表示する表示部を含んでいる。合成画像は、Ｎ個の画像から対応する１画素を各々取り出し、取り出したＮ画素を所定方向に沿って所定の順序で並べて要素画素を形成することを、前記Ｎ個の画像の全画素に対して行うことで生成される。また、開示の技術は、所定方向に沿って配列された幅ｐの小レンズ群を備えた焦点距離ｆ1の第１の光学部を含んでいる。第１の光学部は、個々の小レンズが、所定方向に沿って表示部の互いに異なる単一の要素画素の表示領域に対応するように配置され、対応する要素画素のＮ画素から射出される光線を、互いに光線方向の異なるＮ本の平行光に分離する。また、開示の技術は、第１の光学部から射出された個々の小レンズ当りＮ本の平行光を、光軸からオフセットさせて集光する焦点距離ｆ2の第２の光学部を含んでいる。そして、開示の技術は、第１の光学部と第２の光学部の距離ｄ1がｆ2−ｆ1≦ｄ1≦ｆ2とされ、第２の光学部からの観察距離ｄ2がｄ2≒ｆ2とされ、Ｎ個の視点が分布する観察視域幅Ｗvが、瞳孔径以下で、かつＷv＝ｆ２／ｆ１×ｐとされている。

開示の技術により、接眼レンズを通じて虚像を視認させる構成の光学系を有する構成において、超多眼式立体表示法を適用した立体画像の適正な表示を実現できる、という効果を有する。

実施形態で説明したＨＭＤの概略構成図である。 ＨＭＤの筐体内における光学系の配置を示す概略上面図である。 ＨＭＤの筐体の外観を示す斜視図である。 画素配置制御部の概略構成を示すブロック図である。 Ｎ＝５の場合に、レンチキュラーレンズの各要素レンズに対応する画素と、レンチキュラーレンズによって形成される５個の視点の異なる画像を各々示す概略図である。 レンチキュラーレンズの要素レンズの中央からのずれ量ｘと集光位置の変位量ｙとの関係を示す概略図である。 図６において、レンチキュラーレンズと接眼レンズを近づけた場合を示す概略図である。 本実施形態における光学系の配置を説明するための概略図である。 光学条件の導出過程を説明するための概略図である。 光学条件の導出過程を説明するための概略図である。 光学条件の導出過程を説明するための概略図である。 光学条件の導出過程を説明するための概略図である。 光学条件の導出過程を説明するための概略図である。 多眼式立体表示法を説明するための概略図である。 多眼式立体表示法と超多眼式立体表示法の相違を示す概略図である。 超多眼式立体表示法で誘起される眼球の調節を説明するための概略図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。図１には、本実施形態に係るＨＭＤ１０が示されている。なお、図１及び後述する図２,３では、左眼用の構成要素には符号の末尾に"Ｌ"を付し、右眼用の構成要素には符号の末尾に"Ｒ"を付して各々を区別している。

ＨＭＤ１０は、ディスプレイ１２と、ディスプレイ１２の表示面に貼り付けられたレンチキュラーレンズ１４と、レンチキュラーレンズ１４から間隔を空けて配置された接眼レンズ１６と、を備えた光学系が２組設けられている。なお、ディスプレイ１２としては、ＬＣＤ(Liquid Crystal Display)や有機ＥＬ(ElectroLuminescence)ディスプレイ等を適用することができる。また接眼レンズ１６は、観察者に虚像を観察させることで、ディスプレイ１２までの短い距離を仮想的に長くする目的で設けられている。

一方、レンチキュラーレンズ１４は、断面がおよそ半円状で細長い形状の小レンズ(要素レンズという)を小レンズの幅方向に沿って複数並べたレンズである。ＨＭＤ１０は超多眼式立体表示法を適用した立体画像の表示を可能とする装置であり、レンチキュラーレンズ１４の各要素レンズは、ディスプレイ１２の表示面のうち、各要素レンズの幅方向に沿って視点の数Ｎと同数のＮ画素に対応する幅とされている。なお、一例として、後述する図５には、Ｎ＝５の場合に、レンチキュラーレンズ１４の各要素レンズが各々Ｎ＝５個の画素に対応している状態が示されている。

なお、ディスプレイ１２は開示の技術における表示部の一例であり、レンチキュラーレンズ１４は開示の技術における第１の光学部の一例であり、接眼レンズ１６は開示の技術における第２の光学部の一例である。

図２に示すように、上記の光学系は、ＨＭＤ１０の筐体１８内のうち、それぞれ左眼に対応する位置、右眼に対応する位置に各々配置されている。また、上記の光学系は、接眼レンズ１６側が眼に近い側となり、レンチキュラーレンズ１４の要素レンズの配列方向がＨＭＤ１０の左右方向に対応する向きで各々配置されている。なお、図３に示すように、ＨＭＤ１０の筐体１８には、ＨＭＤ１０が利用者に装着された状態で、利用者の鼻に接触するノーズパッド３０が取り付けられている。

一方、ＨＭＤ１０の筐体１８内のうち、２組の光学系の間には表示制御部２０が配置されており、２個のディスプレイ１２は表示制御部２０に接続されている。図１に示すように、表示制御部２０は、動画像データ記憶部２２、一対の動画像データ読出部２４、動画像データ読出制御部２６及び一対の画素配置制御部２８を備えている。

動画像データ記憶部２２は、左眼用及び右眼用の動画像データとして、左右方向に沿って視点位置が互いに異なるＮ個(Ｎ≧２)の動画像データを記憶している。動画像データ読出制御部２６は、一対の動画像データ読出部２４による動画像データ記憶部２２からの動画像データの読み出しを制御する。動画像データ読出部２４Ｌは、左眼用の動画像データとして、互いに視点位置が異なるＮ個の動画像データを各々読み出し、読み出したＮ個の動画像データを画素配置制御部２８Ｌへ出力する。動画像データ読出部２４Ｒは、右眼用の動画像データとして、互いに視点位置が異なるＮ個の動画像データを各々読み出し、読み出したＮ個の動画像データを画素配置制御部２８Ｒへ出力する。

図４に示すように、一対の画素配置制御部２８は、Ｎ個のローパスフィルタ(ＬＰＦ)３２、Ｎ個のダウンサンプリング部３４、Ｎ個の選択部３６及び画素配列処理部３８を各々備えている。Ｎ個のＬＰＦ３２は、動画像データ読出部２４から入力された視点位置が異なるＮ個の動画像データ(図４では視点画像＃１〜＃Ｎと表記)の各フレームに対し、画像の左右方向について解像度を低下させるための前処理として、高周波成分を除去する処理を各々行う。Ｎ個のダウンサンプリング部３４は、ＬＰＦ３２から出力された、Ｎ個の動画像データの各フレームに対し、画像の左右方向について画素を１／Ｎに間引くことで解像度を１／Ｎに低下させるダウンサンプリング処理を行う。

Ｎ個の選択部３６及び画素配列処理部３８は、Ｎ個の動画像データの対応するＮ個のフレームから対応する１画素を各々取り出し、取り出したＮ画素を所定の順序で並べて要素画素を形成することを、Ｎ個のフレームの全画素に対して行う。ここで、上記の要素画素は、レンチキュラーレンズ１４の各要素レンズが各々対応するＮ個の画素の集合である。また、個々の要素画素内におけるＮ個の画素の配列順序は、Ｎ個の画素の取り出し元のフレーム(動画像)の左右方向に沿った視点位置の順序に対して逆の順序である。このＮ個の選択部３６及び画素配列処理部３８により、Ｎ個の動画像データの各フレーム毎に、Ｎ個のフレームを合成した単一のフレーム画像が生成される。

次に本実施形態の作用を説明する。本実施形態に係るＨＭＤ１０では、超多眼式立体表示法の実現を目的として、ディスプレイ１２の表示面にレンチキュラーレンズ１４を貼り付けている。これにより、レンチキュラーレンズ１４の個々の要素レンズに対応する、単一の要素画素を成すＮ個の画素から各々射出された光の方向が互いに変化する。レンチキュラーレンズ１４の要素レンズの中心に位置する画素からの光は真っ直ぐ射出され、要素レンズの中心からずれた画素からの光は、要素レンズの中心からのずれに応じた角度の方向に射出される。

Ｎ＝５の場合を示す図５を参照して更に説明する。レンチキュラーレンズ１４が表示面に貼り付けられたディスプレイ１２を真正面から観察した際の視点は、図５に示す視点＃1〜視点＃５の５視点のうち、中央に位置している視点＃３である。例えば視点＃３に形成される画像(この画像を視点画像という)は、レンチキュラーレンズ１４の各要素レンズの中心に位置している画素列４０Ｃ,４２Ｃ,４４Ｃ,４６Ｃ,４８Ｃを含んでいる。また、例えば視点＃３の左隣の視点＃４に形成される視点画像は、レンチキュラーレンズ１４の各要素レンズの中心の画素列の右隣に位置している画素列４０Ｄ,４２Ｄ,４４Ｄ,４６Ｄ,４８Ｄを含んでいる。また、例えば右端の視点＃１に形成される視点画像は、レンチキュラーレンズ１４の各要素レンズに対応する画素のうち左端に位置している画素列４０Ａ,４２Ａ,４４Ａ,４６Ａ,４８Ａを含んでいる。他の視点＃２,＃５についても同様である。

上記のように、視点が変わり、見る方向が変わることで、見える画像、すなわち視点画像が変化する。個々の要素レンズに対応するＮ個の画素のうちの画素の位置に応じて、光が射出される方向、すなわち視点が変化する。また、視点画像における一画素は、レンチキュラーレンズ１４の１つの要素レンズに相当している。また、個々の視点画像における同一位置の画素は、レンチキュラーレンズ１４の同一要素レンズに対応する画素から発光された光によって形成されている。すなわち、例えば図５で、視点＃１〜＃５の視点画像の中央に位置する画素列４４Ａ〜４４Ｅは、レンチキュラーレンズ１４の中央の要素レンズに対応する画素列である。

多眼式立体表示法や超多眼式立体表示法では多くの視点画像を形成する必要があるものの、左右の眼の間には視点画像を形成する必要はない。本実施形態に係るＨＭＤ１０は、ディスプレイ１２と、レンチキュラーレンズ１４及び接眼レンズ１６を備えた光学系が左右の眼に対応して２組設けられており、個々の光学系で左眼用、右眼用の複数の視点画像を効率良く形成できるので、構成が簡単で済む。

次に、接眼レンズ１６越しに観察される視点画像について説明する。図６の右側に拡大表示したように、ディスプレイ１２の表示面にレンチキュラーレンズ１４を貼り付けた発光部からは、レンチキュラーレンズ１４の各要素レンズの中央からのずれ量ｘに応じた射出角度θで平行光が射出される。なお、レンチキュラーレンズ１４の焦点位置はディスプレイ１２の表示面に一致しているものとする。

図６の左側に示したように、接眼レンズ１６は、レンチキュラーレンズ１４側からの平行光を、接眼レンズ１６の焦点距離だけ隔てた位置において、入射角度θに応じて光軸から変位量ｙだけ変位した位置に集光する。この集光位置で観察すると、接眼レンズ１６越しに視点画像の虚像が観察できる。図６では、破線で囲んだ範囲内が視点Ａから観察される画像であり、一点鎖線で囲んだ範囲内が中央の視点Ｂから観察される画像である。視点Ａ,Ｂから観察される画像の一例を図６に視点画像Ａ,Ｂとして示す。

このように、眼の位置をずらせば観察される視点画像が変化する。このとき、ディスプレイ１２の表示面上の画素配置において、レンチキュラーレンズ１４のＮ本目の要素レンズが視点画像を構成する画素のＮ番目に相当しており、また各要素レンズ内の位置(ずれ量)ｘが平行光の射出方向、ひいては視点位置に相当する。

しかしながら、ＨＭＤ１０における上述した超多眼式立体表示法の実現においては、次のような課題がある。すなわち、図７では、レンチキュラーレンズ１４と接眼レンズ１６の距離を図６に示した距離よりも近づけている。各視点で観察される視点画像は、各視点から光線軌跡を辿って、レンチキュラーレンズ１４に達したところの要素レンズに対応する画素から形成される画像である。図７において、視点Ａからの光線軌跡は、図６における視点Ａと比べてレンチキュラーレンズ１４の同一の要素レンズではなく一つ左隣りの要素レンズに達しており、図７における視点Ａでは、一つ左隣りの要素レンズに対応する画素から形成される画像が観察されることになる。これは、図７に視点画像Ａ'として破線で示すように右にずれた画像がみえることになり、視点画像間の視差が不適切になっている。

上記の課題を解決するため、本実施形態では、図８に示すように、レンチキュラーレンズ１４の焦点距離をｆ1、接眼レンズ１６の焦点距離をｆ2としたときに、レンチキュラーレンズ１４と接眼レンズ１６との距離ｄ1を
ｆ2−ｆ1≦ｄ1≦ｆ2 …(１)
としている。また、接眼レンズ１６からの観察距離ｄ2が
ｄ2≒ｆ2 …(２)
となるように、ＨＭＤ１０が利用者に装着された状態で利用者の鼻に接触するノーズパッド３０の位置が設定されている。

次に、上記の(１),(２)式の光学条件の原理(導出過程)について説明する。まず図８,９を参照し、接眼レンズからの観察距離ｄ2について考える。ディスプレイ１２の表示面にレンチキュラーレンズ１４が貼り付けられ、間隔を空けて接眼レンズ１６が配置された構成では、レンチキュラーレンズ１４の各要素レンズから平行に射出された光線が、接眼レンズ１６を通った先で一点に収束する。図９に示すように、例えばレンチキュラーレンズ１４の各要素レンズに対応する要素画素のうちの中央の画素から射出された光は、接眼レンズ１６を通った先で一点に収束する。これは、接眼レンズ１６からの観察距離ｄ2は接眼レンズ１６の焦点距離ｆ2と等しくなることを意味している。

次に、図１０を参照し、レンチキュラーレンズ１４と接眼レンズ１６との距離ｄ1について考える。図１０は、レンチキュラーレンズ１４の同一の要素レンズから射出された５本の光線の軌跡を示したものである。各視点画像における同一位置の画素は、レンチキュラーレンズ１４の同一の要素レンズに対応する画素である必要がある。この原理に基づくと、異なる視点画像における同一位置の画素を形成する光線は、レンチキュラーレンズ１４の同一の要素レンズの一点を通過する。すなわち、視点から逆に辿った光線が、一点に収束することを意味する。このことから、レンチキュラーレンズ１４と接眼レンズ１６との距離ｄ1は接眼レンズ１６の焦点距離ｆ2と等しいのが理想的であることが理解できる。

但し、距離ｄ1が焦点距離ｆ2を僅かでも超えると、接眼レンズ１６を通じて虚像が観察できなくなることから、レンチキュラーレンズ１４と接眼レンズ１６との距離ｄ1は接眼レンズ１６の焦点距離ｆ2よりも大きくはならない。製造公差を考慮すると、レンチキュラーレンズ１４と接眼レンズ１６との距離ｄ1に許容範囲を与えることで、レンチキュラーレンズ１４と接眼レンズ１６との距離ｄ1を焦点距離ｆ2より短く設計しておくことが現実的である。以下、この条件についてより詳細に説明する。

まず、図１１を参照し、ディスプレイ１２の表示面に貼り付けられたレンチキュラーレンズ１４と接眼レンズ１６によって形成される光線の光路について説明する。図１１(Ａ)に示すレンチキュラーレンズ１４の役割は、ディスプレイ１２の表示面上に位置する画素を、レンチキュラーレンズ１４の要素レンズの中心位置からのずれ量ｘに応じて、平行光として射出される光線の射出角度θを制御する点である。図１１(Ａ)に太線で示した三角形に注目すると、このずれ量ｘと射出角度θの関係式は、
ｘ＝ｆ1×tanθ …(３)
で与えられる。

また、図１１(Ｂ)に示す接眼レンズ１６の役割は、入射角度θで入射してきた平行光を、入射角度θに応じて、接眼レンズ１６の光軸から変位量ｙだけずれた位置に収斂させる点である。図１１(Ｂ)に太線で示した三角形に注目すると、入射角度θと変位量ｙの関係式は、
ｙ＝ｆ2×tanθ …(４)
である。観察者は、接眼レンズ１６からの観察距離ｄ2≒ｆ2の位置から観察すれば、レンチキュラーレンズ１４から平行に射出された光線によって形成される視点画像を、接眼レンズ１６越しに虚像として観察することができる。

次に、図１２を参照し、レンチキュラーレンズ１４の要素レンズと観察視域との関係式を導く。レンチキュラーレンズ１４の視野角を２φとすると、光線の射出角度θの最大値はφである。また、図１２(Ａ),(Ｂ)に示すように、レンチキュラーレンズ１４の各要素レンズの幅をｐ、鑑賞位置での視域幅をＷvとする。先の(３)式を導いた三角形の底辺ｘがｐ／２、先の(４)式を導いた３角形の底辺ｙがＷv／２であることから、
ｐ／２＝ｆ1×tanφ …(５)
Ｗv／２＝ｆ2×tanφ …(６)
と表記することができ、ここからtanφを消去することで次の(７)式が得られる。
Ｗv＝ｆ2／ｆ1×ｐ …(７)

上記の(７)式がレンチキュラーレンズ１４の要素レンズと観察視域の関係式である。この(７)式から、接眼レンズ１６の焦点距離ｆ2の設計によって、観察視域幅Ｗv、ひいては視点間距離の疎密を設計できることが示される。超多眼式立体表示法の場合、観察視域幅Ｗvが人間の眼の瞳孔径に応じて定まり(観察視域幅Ｗv≦瞳孔径)、視点間距離は観察視域幅Ｗvと視点の数Ｎに応じて定まるので、これらの条件に基づいて接眼レンズ１６の焦点距離ｆ2が設計される。

続いて図１３を参照し、レンチキュラーレンズ１４と接眼レンズ１６との距離ｄ1の条件を示す。レンチキュラーレンズ１４と接眼レンズ１６との距離をｄとおくと、レンチキュラーレンズ１４から射出された射出角度θ＝φの光線により、接眼レンズ１６では、光線を射出した要素レンズに対してｄ×tanφだけずれた位置に光線が入射する。観察視域の一番端から、図１３に太線で示すように光線の軌跡を辿ると、軌跡はそれだけずれてレンチキュラーレンズ１４に辿り着き、それが適正な要素レンズに到達していればよく、隣の要素レンズに到達していると問題となる。

これを式で表すと、
Ｗv／２−ｄ×tanφ≦ｐ／２ …(８)
となる。(８)式からtanφを消去すると、次の(９)式が得られる。
Ｗv／２−(Ｗv／２)×(ｄ／ｆ2)≦ｐ／２ …(９)
上記の(９)式の両辺をＷvで除して２倍すると、次の(10)式が得られる。
（１−ｄ／ｆ2）≦ｐ／Ｗv …(10)
先の(９)式より、(10)式の右辺を書き換えると、次の(11)式が得られる。
（１−ｄ／ｆ2）≦ｆ1／ｆ2 …(11)
(11)式を整理すると次の(12)式が得られる。
ｄ≧ｆ2−ｆ1 …(12)

以上から、レンチキュラーレンズ１４と接眼レンズ１６との距離ｄ1を接眼レンズ１６の焦点距離ｆ2より短く設計する場合、その許容範囲は、レンチキュラーレンズ１４の焦点距離ｆ1であることが示された。従って、レンチキュラーレンズ１４と接眼レンズ１６との距離ｄ1の製造公差はレンチキュラーレンズ１４の焦点距離ｆ1以下に抑制する必要があることが理解できる。また、レンチキュラーレンズ１４と接眼レンズ１６との距離ｄ1の設計値は、製造公差を考慮し、距離ｄ1の上限値が焦点距離ｆ2に等しくなるように定めればよいことが理解できる。

本実施形態に係るＨＭＤ１０において、動画像データ読出部２４Ｌは、左眼用の動画像データとして、互いに視点位置が異なるＮ個の動画像データを動画像データ記憶部２２から各々読み出し、読み出したＮ個の動画像データを画素配置制御部２８Ｌへ出力する。また、動画像データ読出部２４Ｒは、右眼用の動画像データとして、互いに視点位置が異なるＮ個の動画像データを動画像データ記憶部２２から各々読み出し、読み出したＮ個の動画像データを画素配置制御部２８Ｒへ出力する。

一対の画素配置制御部２８のＮ個のＬＰＦ３２は、動画像データ読出部２４から入力された視点位置が異なるＮ個の動画像データの各フレームに対し、画像の左右方向について高周波成分を除去する処理を各々行う。また、一対の画素配置制御部２８のＮ個のダウンサンプリング部３４は、ＬＰＦ３２から出力されたＮ個の動画像データの各フレームに対し、画像の左右方向について画素を１／Ｎに間引くことで解像度を１／Ｎに低下させるダウンサンプリング処理を行う。

一対の画素配置制御部２８のＮ個の選択部３６及び画素配列処理部３８は、Ｎ個の動画像データの各フレームから対応する１画素を各々取り出し、取り出したＮ画素を所定の順序で並べて要素画素を形成することを、Ｎ個のフレームの全画素に対して行う。ここで、個々の要素画素内におけるＮ個の画素の配列順序は、Ｎ個の画素の取り出し元のフレーム(動画像)の左右方向に沿った視点位置の順序に対して逆の順序である。これにより、Ｎ個の動画像データの各フレーム毎に、Ｎ個のフレームを合成した単一のフレーム画像が生成され、生成されたフレーム画像がディスプレイ１２に表示される。

従って、例えば視点の数Ｎ＝５であるとすると、５個の視点のうち右端の視点に対応する動画像のフレームの各画素は、図５に画素列４０Ａ,４２Ａ,…として示すように、個々の要素画素の左端に配置される。また、右端から２番目の位置の視点に対応する動画像のフレームの各画素は、図５に画素列４０Ｂ,４２Ｂ,…として示すように、個々の要素画素の左端から２番目の位置に配置される。また、左右方向の真ん中の位置の視点に対応する動画像のフレームの各画素は、図５に画素列４０Ｃ,４２Ｃ,…として示すように、個々の要素画素の真ん中の位置に配置される。また、左端から２番目の位置の視点に対応する動画像のフレームの各画素は、図５に画素列４０Ｄ,４２Ｄ,…として示すように、個々の要素画素の右端から２番目の位置に配置される。更に、左端の視点に対応する動画像のフレームの各画素は、図５に画素列４０Ｅ,４２Ｅ,…として示すように、個々の要素画素の右端に配置される。

前述のように、ディスプレイ１２の表示面に表示されたフレーム画像の個々の画素は、レンチキュラーレンズ１４の対応する要素レンズの中心位置からのずれ量ｘに応じた射出角度θの平行な光線としてレンチキュラーレンズ１４から射出される。また、接眼レンズ１６に入射角度θの平行光として入射された光線は、接眼レンズ１６の光軸から入射角度θに応じた変位量ｙだけずれた位置に収斂される。

ここで、本実施形態に係るＨＭＤ１０は、レンチキュラーレンズ１４と接眼レンズ１６との距離ｄ1が前出の(１)式を満足し、接眼レンズ１６からの観察距離ｄ2が前出の(２)式を満足するように構成されている。これにより、Ｎ個の視点位置に各々形成されるＮ個の視点画像(動画像)は、Ｎ個の視点画像における同一位置の画素が、レンチキュラーレンズ１４の同一要素レンズに対応する画素から発光された光によって形成された画像となる。従って、ＨＭＤ１０において、超多眼式立体表示法を適用した立体画像の適正な表示が実現される。

なお、上記では、接眼レンズ１６からの観察距離を接眼レンズ１６の焦点距離ｆ2におよそ一致させるための部材の一例としてノーズパッド３０を挙げたが、これに限定されるものではない。例えば、ＨＭＤ１０の筐体１８の外面のうち接眼レンズ１６の周囲に環状に設けられ、利用者がＨＭＤ１０を装着した際に利用者の眼部の周囲の皮膚に接触する構成のパッド等を用いてもよい。

また、上記では視点(視点画像)の数Ｎの一例として、Ｎ＝５の場合を図面に示して説明したが、Ｎ≧２であればよく、視点(視点画像)の数Ｎは２〜４であっても６以上であってもよい。

また、上記では第１の光学部の一例としてレンチキュラーレンズ１４を説明したが、これに限定されるものではなく、フライアレイレンズを適用することも可能である。

また、上記では動画像(映像)の表示を説明したが、開示の技術は静止画像の表示に適用することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０ ＨＭＤ
１２ ディスプレイ
１４ レンチキュラーレンズ
１６ 接眼レンズ
２０ 表示制御部
２２ 動画像データ記憶部
２４ 動画像データ読出部
２６ 動画像データ読出制御部
２８ 画素配置制御部
３０ ノーズパッド
３２ ＬＰＦ
３４ ダウンサンプリング部
３６ 選択部
３８ 画素配列処理部

Claims (6)

1. 互いに視点が異なるＮ個の画像から対応する１画素を各々取り出し、取り出したＮ画素を所定方向に沿って所定の順序で並べて要素画素を形成することを、前記Ｎ個の画像の全画素に対して行うことで、前記Ｎ個の画像を合成した合成画像を表示する表示部と、
   前記所定方向に沿って配列された幅ｐの小レンズ群を備え、個々の小レンズが、前記所定方向に沿って前記表示部の互いに異なる単一の前記要素画素の表示領域に対応するように配置され、対応する前記要素画素のＮ画素から射出される光線を、互いに光線方向の異なるＮ本の平行光に分離する焦点距離ｆ1の第１の光学部と、
   前記第１の光学部から射出された個々の小レンズ当りＮ本の平行光を、光軸からオフセットさせて集光する焦点距離ｆ2の第２の光学部と、
   を備え、
   前記第１の光学部と前記第２の光学部の距離ｄ1が
   ｆ2−ｆ1≦ｄ1≦ｆ2
   とされ、前記第２の光学部からの観察距離ｄ2が
   ｄ2≒ｆ2
   とされ、Ｎ個の視点が分布する観察視域幅Ｗvが、瞳孔径以下で、かつ
   Ｗv＝ｆ２／ｆ１×ｐ
   とされた立体画像表示装置。
2. 前記第１の光学部と前記第２の光学部の距離ｄ1がｄ1＝ｆ2とされた請求項１記載の立体画像表示装置。
3. 前記第１の光学部がレンチキュラーレンズであり、前記所定の順序は、前記Ｎ個の画像から各々取り出したＮ画素の取り出し元の画像の所定方向に沿った視点の配列に対して逆の順序である請求項１又は請求項２記載の立体画像表示装置。
4. 互いに視点が異なるＮ個の画像から対応する１画素を各々取り出し、取り出したＮ画素を所定方向に沿って所定の順序で並べて要素画素を形成することを、前記Ｎ個の画像の全画素に対して行うことで、前記Ｎ個の画像を合成した合成画像を表示する表示部、
   前記所定方向に沿って配列された幅ｐの小レンズ群を備え、個々の小レンズが、前記所定方向に沿って前記表示部の互いに異なる単一の前記要素画素の表示領域に対応するように配置され、対応する前記要素画素のＮ画素から射出される光線を、互いに光線方向の異なるＮ本の平行光に分離する焦点距離ｆ1の第１の光学部、
   及び、前記第１の光学部から射出された個々の小レンズ当りＮ本の平行光を、光軸からオフセットさせて集光する焦点距離ｆ2の第２の光学部を、
   前記第１の光学部と前記第２の光学部の距離ｄ1が
   ｆ2−ｆ1≦ｄ1≦ｆ2
   となり、前記第２の光学部からの観察距離ｄ2が
   ｄ2≒ｆ2
   となり、Ｎ個の視点が分布する観察視域幅Ｗvが、瞳孔径以下で、かつ
   Ｗv＝ｆ２／ｆ１×ｐ
   となるように配置し、
   前記表示部に前記合成画像を表示させる立体画像表示方法。
5. 前記第１の光学部と前記第２の光学部の距離ｄ1がｄ1＝ｆ2となるように、前記第１の光学部と前記第２の光学部を配置した請求項４記載の立体画像表示方法。
6. 前記第１の光学部がレンチキュラーレンズであり、前記所定の順序は、前記Ｎ個の画像から各々取り出したＮ画素の取り出し元の画像の所定方向に沿った視点の配列に対して逆の順序である請求項４又は請求項５記載の立体画像表示方法。