JP6212877B2 - 画像表示装置及び画像表示方法 - Google Patents

画像表示装置及び画像表示方法 Download PDF

Info

Publication number
JP6212877B2
JP6212877B2 JP2013030791A JP2013030791A JP6212877B2 JP 6212877 B2 JP6212877 B2 JP 6212877B2 JP 2013030791 A JP2013030791 A JP 2013030791A JP 2013030791 A JP2013030791 A JP 2013030791A JP 6212877 B2 JP6212877 B2 JP 6212877B2
Authority
JP
Japan
Prior art keywords
image
pixel
pixels
distance
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013030791A
Other languages
English (en)
Other versions
JP2014160171A (ja
Inventor
佐藤 輝幸
輝幸 佐藤
典弘 覚幸
典弘 覚幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013030791A priority Critical patent/JP6212877B2/ja
Priority to US14/157,590 priority patent/US9494798B2/en
Priority to CN201410046256.6A priority patent/CN103995359B/zh
Publication of JP2014160171A publication Critical patent/JP2014160171A/ja
Application granted granted Critical
Publication of JP6212877B2 publication Critical patent/JP6212877B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、画像表示装置及び画像表示方法に関する。
ウェアラブルコンピューティングにおいて人間の体に装着する表示装置として、頭部装着型ディスプレイ(Head Mount Display:HMD)が知られている。HMDを人間の頭部に装着した状態では、両手が空くことから、HMDは、作業者を支援する表示装置としても期待されている。
HMDの主要構成要素は、動画像又は静止画像を表示する表示部と、その明視距離を遠くにするための接眼レンズである。HMDでは、表示部及び接眼レンズの組が左眼用と右眼用の一対設けられており、それぞれの目に独立した画像を見せることが可能である。HMDは、左眼用の画像及び右眼用の画像として同じ画像を表示すれば、2次元ディスプレイとして機能し、左眼用の画像及び右眼用の画像として視差のついた別の画像を表示すれば、両眼視差による奥行き認知が可能な3次元ディスプレイとして機能する。
また、HMDに限らず、両眼視差を利用した立体画像の表示では、観察者が不自然さを感じ易く、また観察者の眼精疲労が大きいという問題があることが知られている。この問題の解決策として、多眼式立体表示法や超多眼式立体表示法が提案されている(例えば、非特許文献1を参照)。
図1は、多眼式立体表示法の例を示している。多眼式立体表示法は、観察位置に応じた複数の視点画像を空間内に生成することで、頭を振ると見え方が変わる「運動視差」を表現し、より自然に近い立体画像を表示する技術である。図1の多眼式立体表示装置は、表示部101及び3次元フィルタ102を含み、視点画像1〜視点画像4を眼間距離の間隔で配置する。これにより、観察位置に応じて見える立体画像が変化し、運動視差が表現される。
図2は、多眼式立体表示法と超多眼式立体表示法の相違を示している。自然界において、人間が3次元空間を知覚するための手がかりとなる光線は、実際の物体からの連続的な光線のうち左右の眼の瞳孔を通った光線である。一方、立体画像の表示において、このような連続的な光線をサンプリングする場合、例えば、図2(A)に示す多眼式立体表示法のように、表示部の表面にレンチキュラーレンズ201を設けた構成が用いられる。ところが、多眼式立体表示法のレンチキュラーレンズ201では、生成される視点画像のサンプリング間隔が粗すぎる。
そこで、図2(B)に示す超多眼式立体表示法のように、レンチキュラーレンズ202により生成される視点画像のサンプリング間隔dSを、人間の瞳孔径dPよりも狭くすることが望ましい。例えば、右眼で物点Pを見たときにレンチキュラーレンズ202から射出されて眼球203に入射する光線に対応する視点画像PR1と視点画像PR2の間に僅かな視差をつけることで、立体画像の不自然さが軽減される。
図3は、超多眼式立体表示法で誘起される眼球の調節作用を示している。視点画像PR1及び視点画像PR2の光線が同時に眼球203に入射したとき、図3(A)に示すように、眼球203の焦点をレンチキュラーレンズ202上に合わせると、2つの視点画像が網膜上の異なる位置に2重像として投影される。この場合、視点画像PR1及び視点画像PR2は、網膜上でボケとして認知される。
そこで、ボケの視覚を避ける脳の働きにより、2つの視点画像が網膜上の一点に投影されるように、眼球203の調節刺激が誘起される。そして、図3(B)に示すように、眼球203の焦点を両眼視差から知覚した空間内の位置に合わせると、自然な立体画像が視認される。
同様に、観察者が自然界で物体を見る場合も、ボケの視覚を避ける脳の働きにより、両眼の輻輳により知覚する物体の空間内の位置に焦点を合わせようとする眼球の調節作用が働く。このような眼球の調節作用によって、画像の両眼視差によって知覚した空間内の位置に焦点が一致すれば、画像を見ている状態と自然界で物体を見ている状態との区別がなくなり、自然な立体画像を視認できるようになる。
2次元表示と3次元表示を切り替え可能なHMDに関し、表示部と接眼レンズの間にレンチキュラーレンズを設けることで、左右の画像光を異なる方向に振り分ける構成も知られている(例えば、特許文献1を参照)。
特開2011−145488号公報
"高度立体動画像通信プロジェクト最終成果報告書"、p.144−201、[online]、平成9年9月、通信・放送機構、[平成25年2月5日検索]、インターネット<URL:http://seika-kokai.nict.go.jp/doc/result/199611005/199611005_houkoku-04.pdf>
上述した従来のHMDには、以下のような問題がある。
HMDでは、内蔵されている表示部に対して両眼の位置が変化しないので、眼間距離の個人差を除けば、運動視差を表現する必要はないと考えられる。それにもかかわらず、HMDにおいて超多眼式立体表示法を適用して立体画像を表示すれば、上述したように、自然な立体画像の視認が期待できる。
しかしながら、HMDのように、接眼レンズを通じて虚像を視認させる光学系を有する画像表示装置において、表示部と接眼レンズの間にレンチキュラーレンズを設けた場合に、2つのレンズの配置に基づいて正しい立体画像を表示する技術は知られていない。
なお、かかる問題は、HMDの表示部と接眼レンズの間にレンチキュラーレンズを設ける場合に限らず、立体画像を2つの光学素子を通じて表示する他の画像表示装置においても生ずるものである。
1つの側面において、本発明は、2つの光学素子を通じて正しい立体画像を表示することを目的とする。
1つの案では、画像表示装置は、表示部、第1の光学素子、第2の光学素子、及び出力部を含む。
表示部は、複数の要素画素を含む合成画像を表示する。各要素画素は、互いに視点が異なる複数の画像のそれぞれから抽出された複数の画素を所定方向に並べて形成される。
第1の光学素子は、上記複数の要素画素にそれぞれ対応して上記所定方向に配列された複数のレンズを含む。これらのレンズは、上記複数の画像のうちある画像について、上記複数の要素画素のそれぞれに含まれる複数の画素から射出される複数の光線を平行に射出する。第2の光学素子は、第1の光学素子から射出される複数の光線を集光する。
出力部は、選択論理に基づいて、上記複数の要素画素のうちある要素画素に含まれる、ある画像の画素を選択する。この選択論理は、第1の光学素子と第2の光学素子との間の素子間距離が第2の光学素子の焦点距離より小さくなるにつれて、ある画像内で第2の光学素子の光軸に対応する位置から上記所定方向に沿ってより遠くなる位置の画素を選択する。そして、出力部は、選択した画素の画素値を表示部へ出力する。
実施形態の画像表示装置によれば、2つの光学素子を通じて正しい立体画像を表示することができる。
多眼式立体表示法を示す図である。 多眼式立体表示法と超多眼式立体表示法の相違を示す図である。 超多眼式立体表示法で誘起される眼球の調節作用を示す図である。 画像表示装置の構成図である。 HMDの構成図である。 HMDの外観を示す図である。 出力部の構成図である。 画像選択回路の構成図である。 画素選択回路の構成図である。 レンチキュラーレンズと視点画像の対応関係を示す図である。 要素レンズの中心からのずれ量と集光位置の変位量との関係を示す図である。 レンチキュラーレンズを接眼レンズに近づけた場合を示す図である。 複数の仮想カメラを示す図である。 虚像の位置とレンズ間距離との関係を示す図である。 接眼レンズの位置における視域を示す図である。 観察位置における視域を示す図である。 多視点画像の生成を示す図である。 光線の射出方向と光線の入射方向との関係を示す図である。 レンチキュラーレンズのピッチ位置を示す図である。 d=f1の場合の光線の軌跡を示す図である。 d<f1の場合の光線の広がり幅を示す図である。 d<f1の場合の光線の軌跡を示す図である。 出力部の動作を示すフローチャートである。 表示部の画素と視点画像の画素との関係を示す図である。 光線の光路を示す図である。 要素レンズの幅と観察視域との関係を示す図である。 複数の視点画像の光線の理想状態と許容限界を示す図である。 レンズ間距離と光線の広がり幅との関係を示す図である。 観察用のスリットを示す図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
図4は、実施形態の画像表示装置の構成例を示している。図4の画像表示装置401は、出力部411、表示部412、第1の光学素子413、及び第2の光学素子414を含む。
表示部412は、複数の要素画素を含む合成画像を表示する。各要素画素は、互いに視点が異なる複数の画像のそれぞれから抽出された複数の画素を所定方向に並べて形成される。
第1の光学素子413は、上記複数の要素画素にそれぞれ対応して上記所定方向に配列された複数のレンズを含む。これらのレンズは、上記複数の画像のうちある画像について、上記複数の要素画素のそれぞれに含まれる複数の画素から射出される複数の光線を平行に射出する。第2の光学素子414は、第1の光学素子413から射出される複数の光線を集光する。
出力部411は、選択論理に基づいて、上記複数の要素画素のうちある要素画素に含まれる、ある画像の画素を選択する。この選択論理は、第1の光学素子413と第2の光学素子414との間の素子間距離及び第2の光学素子414の焦点距離という2つの光学系構成要件が定められたら、それに従って変化することを特徴としている。すなわち、選択論理は、第1の光学素子413と第2の光学素子414との間の素子間距離が第2の光学素子414の焦点距離より小さくなるにつれて、ある画像内で第2の光学素子414の光軸に対応する位置から上記所定方向に沿ってより遠くなる位置の画素を選択する。そして、出力部411は、選択した画素の画素値を表示部412へ出力する。
このような画像表示装置によれば、第1の光学素子413と第2の光学素子414を通じて、正しい立体画像を表示することができる。
図5は、図4の画像表示装置401の一例であるHMDの構成例を示している。図5のHMD501は、超多眼式立体表示法を適用した立体画像の表示を可能とする画像表示装置である。
HMD501は、筐体502、出力部411、表示部511、レンチキュラーレンズ512、接眼レンズ513、表示部521、レンチキュラーレンズ522、及び接眼レンズ523を含む。このうち、表示部511、レンチキュラーレンズ512、及び接眼レンズ513は、左眼用の光学系を形成し、表示部521、レンチキュラーレンズ522、及び接眼レンズ523は、右眼用の光学系を形成する。
表示部511及び表示部521は、図4の表示部412に対応し、レンチキュラーレンズ512及びレンチキュラーレンズ522は、第1の光学素子413に対応し、接眼レンズ513及び接眼レンズ523は、第2の光学素子414に対応する。
レンチキュラーレンズ512及びレンチキュラーレンズ522は、それぞれ、表示部511及び表示部521の表示面に貼り付けられている。また、接眼レンズ513及び接眼レンズ523は、それぞれ、レンチキュラーレンズ512及びレンチキュラーレンズ522から間隔を空けて配置されている。
表示部511及び表示部521としては、例えば、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等を用いることができる。接眼レンズ513及び接眼レンズ523は、観察者に虚像を観察させることで、表示部511及び表示部521までの短い距離を仮想的に長くする目的で設けられている。
レンチキュラーレンズ512及びレンチキュラーレンズ522は、複数の細長い形状の要素レンズを要素レンズの幅方向に並べた光学素子である。各要素レンズの断面形状は、およそ半円状であり、各要素レンズは、表示部511及び表示部521の表示面内で各要素レンズの幅方向に並ぶN個の画素に対応する幅を有する。ここで、Nは、立体画像の視点の数であり、2以上の整数である。
左眼用の光学系において、接眼レンズ513の方がレンチキュラーレンズ512より左眼に近い位置に配置され、右眼用の光学系において、接眼レンズ523の方がレンチキュラーレンズ522より右眼に近い位置に配置される。そして、レンチキュラーレンズ512及びレンチキュラーレンズ522の複数の要素レンズは、HMD501の左右方向に配列されている。
なお、レンチキュラーレンズ512及びレンチキュラーレンズ522の代わりに、フライアレイレンズのような他の光学素子を用いてもよい。また、接眼レンズ513及び接眼レンズ523の代わりに、複数の光線を観察者の両眼の位置に集光する他の光学素子を用いてもよい。
図6は、図5のHMD501の外観を示している。HMD501の筐体502には、HMD501が観察者の頭部に装着された状態で観察者の鼻に接触するノーズパッド601が取り付けられている。そして、図5に示すように、筐体502内の左眼用の光学系と右眼用の光学系の間には、出力部411が配置されており、表示部511及び表示部521は出力部411に接続されている。
ノーズパッド601は、接眼レンズ513及び接眼レンズ523から観察者の両眼までの観察距離を、接眼レンズ513及び接眼レンズ523の焦点距離f1におよそ一致させるために設けられる。ノーズパッド601の代わりに、筐体502の外面上で接眼レンズ513及び接眼レンズ523の周囲に環状に設けられ、観察者がHMD501を装着した際に眼部の周囲の皮膚に接触するパッドのような別の部材を用いてもよい。
図7は、図5の出力部411の構成例を示している。図7の出力部411は、記憶部701、画像選択回路711、画素選択回路712、画像選択回路721、及び画素選択回路722を含む。このうち、記憶部701は、例えば、フレームメモリであり、画像選択回路711、画素選択回路712、画像選択回路721、及び画素選択回路722は、例えば、集積回路として実装することができる。集積回路としては、Field-Programmable Gate Arrayのようなプログラム可能な集積回路を用いてもよい。
記憶部701には、動画像再生装置等からインタフェース702を介して、左眼用及び右眼用の動画像データが入力され、記憶部701は、入力された動画像データを記憶する。各動画像データは、左右方向に沿って視点の位置が互いに異なるN個の動画像データを含み、N個の動画像データの各々は、時系列の複数のフレームを含む。
画像選択回路711は、記憶部701から左眼用のN個の動画像データを読み出し、読み出した各動画像データの各フレームに含まれるN個の視点画像の中から1つの視点画像を選択して、画素選択回路712へ出力する。画像選択回路721は、記憶部701から右眼用のN個の動画像データを読み出し、読み出した各動画像データの各フレームに含まれるN個の視点画像の中から1つの視点画像を選択して、画素選択回路722へ出力する。
画素選択回路712は、画像選択回路711から出力される視点画像に含まれる複数の画素の中から、表示部511の各画素に対応する画素を選択して、その画素値を表示部511へ出力する。画素選択回路722は、画像選択回路721から出力される視点画像に含まれる複数の画素の中から、表示部521の各画素に対応する画素を選択して、その画素値を表示部521へ出力する。
図8は、図7の画像選択回路711及び画像選択回路721の構成例を示している。図8の画像選択回路は、ローパスフィルタ(LPF)801−1〜LPF801−N、ダウンサンプリング回路802−1〜ダウンサンプリング回路802−N、スイッチ回路803−1〜スイッチ回路803−N、及び制御回路804を含む。
LPF801−i(i=1〜N)は、記憶部701から読み出したi番目の動画像データの各フレームに含まれる視点画像811−iから高周波成分を除去する。ダウンサンプリング回路802−iは、LPF801−iから出力される視点画像の画素を、視点画像の左右方向について1/Nに間引くことで、視点画像の解像度を1/Nに低下させる。スイッチ回路803−iは、制御回路804からの制御信号に基づいて、ダウンサンプリング回路802−iから出力される視点画像を、画素選択回路へ出力する。
制御回路804は、スイッチ回路803−1〜スイッチ回路803−Nのうちいずれか1つをオンにし、その他のスイッチ回路をオフにする制御信号を出力することで、1つの視点画像を選択する制御を行う。
図9は、図7の画素選択回路712及び画素選択回路722の構成例を示している。図9の画素選択回路は、光線方向選択回路901及び画素値決定回路902を含む。
画素選択回路712内の光線方向選択回路901は、表示部511の各画素から射出される光線がレンチキュラーレンズ512及び接眼レンズ513を通って視点位置に入射するときの光線方向を選択し、選択した光線方向の情報を画素値決定回路902へ出力する。画素値決定回路902は、画像選択回路711から出力される視点画像から、光線方向選択回路901から出力される光線方向に対応する画素を選択して、その画素値を表示部511へ出力する。
画素選択回路722内の光線方向選択回路901及び画素値決定回路902の動作についても同様である。
画像選択回路711及び画素選択回路712により、左眼用のN個の動画像データの対応するN個の視点画像から1画素ずつ抽出し、抽出したN個の画素を表示部511の表示面上で左右方向に並べて、1つの要素画素を形成することができる。この処理をN個の視点画像の全画素に対して行うことで、複数の要素画素を含む1フレーム分の合成画像が生成される。
複数の要素画素の各々はN個の画素の集合であり、表示部511の表示面上で、レンチキュラーレンズ512の各要素レンズに対応する領域に形成される。各要素画素内におけるN個の画素の配列順序は、N個の画素の抽出元の視点画像の左右方向に沿った視点位置の順序に対して逆の順序である。
また、画像選択回路721及び画素選択回路722により、右眼用のN個の動画像データの対応するN個の視点画像から1画素ずつ抽出し、抽出したN個の画素を表示部521の表示面上で左右方向に並べて、1つの要素画素を形成することができる。この処理をN個の視点画像の全画素に対して行うことで、複数の要素画素を含む1フレーム分の合成画像が生成される。
ところで、図5のHMD501では、超多眼式立体表示法の実現を目的として、レンチキュラーレンズ512及びレンチキュラーレンズ522が、それぞれ、表示部511及び表示部521の表示面に貼り付けられている。これにより、各レンチキュラーレンズの各要素レンズに対応する、単一の要素画素に含まれるN個の画素から射出された光線の方向が互いに変化する。各要素レンズの中心に位置する画素からの光線は真っ直ぐ射出され、要素レンズの中心からずれた位置にある画素からの光線は、要素レンズの中心からのずれに応じた角度で射出される。
図10は、N=5の場合のレンチキュラーレンズとN個の視点画像の対応関係の例を示している。図10のレンチキュラーレンズ1000は、図5のレンチキュラーレンズ512又はレンチキュラーレンズ522に対応し、レンチキュラーレンズ1000の各要素レンズは、5つの視点画像から抽出された5つの画素列を含む。
レンチキュラーレンズ1000が貼り付けられた表示部を真正面から観察した際の視点は、視点#1〜視点#5のうち、中央に位置している視点#3である。視点#3に形成される視点画像は、レンチキュラーレンズ1000の各要素レンズの中心に位置している画素列1001C、1002C、1003C、1004C、及び1005Cを含んでいる。
視点#3の左隣の視点#4に形成される視点画像は、レンチキュラーレンズ1000の各要素レンズの中心の画素列の右隣に位置している画素列1001D、1002D、1003D、1004D、及び1005Dを含んでいる。
左端の視点#5に形成される視点画像は、レンチキュラーレンズ1000の各要素レンズの右端に位置している画素列1001E、1002E、1003E、1004E、及び1005Eを含んでいる。
視点#3の右隣の視点#2に形成される視点画像は、レンチキュラーレンズ1000の各要素レンズの中心の画素列の左隣に位置している画素列1001B、1002B、1003B、1004B、及び1005Bを含んでいる。
右端の視点#1に形成される視点画像は、レンチキュラーレンズ1000の各要素レンズの左端に位置している画素列1001A、1002A、1003A、1004A、及び1005Aを含んでいる。
このように、視点の位置が変わると、合成画像を観察する方向が変わるため、観察される視点画像が変化する。各要素レンズに対応するN個の画素のそれぞれの位置に応じて、光線が射出される方向、すなわち視点が変化する。また、各視点画像における1つの画素は、レンチキュラーレンズ1000の1つの要素レンズに対応し、各視点画像における同じ位置の画素は、レンチキュラーレンズ1000の同じ要素レンズに対応する画素により発光された光線によって形成される。例えば、図10の視点#1〜視点#5の視点画像の中央に位置する画素列1003A〜1003Eは、レンチキュラーレンズ1000の中央の要素レンズに対応する画素列である。
次に、図11及び図12を参照しながら、接眼レンズを通して観察される視点画像の変化について説明する。図11は、レンチキュラーレンズの要素レンズの中心からのずれ量Δxと、接眼レンズの集光位置の変位量uとの関係を示している。
図11の表示部1101は、図5の表示部511又は表示部521に対応し、レンチキュラーレンズ1102は、レンチキュラーレンズ512又はレンチキュラーレンズ522に対応し、接眼レンズ1103は、接眼レンズ513又は接眼レンズ523に対応する。
レンチキュラーレンズ1102からは、各要素レンズの中心からのずれ量Δxに応じた射出角度θの方向に平行光が射出される。ここで、レンチキュラーレンズ1102の焦点位置は、表示部1101の表示面に一致しているものとする。
接眼レンズ1103は、レンチキュラーレンズ1102からの平行光を、接眼レンズ1103の焦点距離f1だけ離れた観察位置1104において、入射角度θに応じて光軸から変位量uだけ変位した位置に集光する。これにより、観察者は、接眼レンズ1103を通して視点画像の虚像を観察することができる。
例えば、破線1111で囲んだ範囲が、視点Aから観察される視点画像1121に対応し、一点鎖線1112で囲んだ範囲が、中央の視点Bから観察される視点画像1122に対応する。このように、眼の位置をずらせば観察される視点画像が変化する。このとき、表示部1101の表示面上において、レンチキュラーレンズ1102のM個(Mは2以上の整数)の要素レンズのうち、j番目(j=1〜M)の要素レンズが、視点画像を構成するj番目の画素に対応する。また、各要素レンズ内のずれ量Δxが、平行光の射出角度θ及び視点位置に対応する。
図12は、図11のレンチキュラーレンズ1102を接眼レンズ1103に近づけた場合を示している。この場合、破線1201で囲んだ範囲が、視点Aから観察される視点画像1211に対応し、一点鎖線1202で囲んだ範囲が、中央の視点Bから観察される視点画像1212に対応する。
各視点で観察される視点画像は、各視点から光線軌跡を辿ってレンチキュラーレンズ1102に達した位置にある要素レンズに対応する画素から形成される画像である。図12における視点Aからの光線軌跡は、図11における視点Aからの光線軌跡と比較して、レンチキュラーレンズ1102の同じ要素レンズではなく、1つ左隣の要素レンズに達している。
したがって、図12における視点Aでは、1つ左隣の要素レンズに対応する画素から形成される視点画像1211が観察されることになる。視点画像1211は、破線で示すように右にずれた画像になっており、視点画像1212との間の視差が不適切になっている。
そこで、図13から図22までを参照しながら、レンチキュラーレンズ1102を接眼レンズ1103に近づけた場合でも、光学系の配置に適合した合成画像を生成することが可能な画像表示方法について考察する。以下では、合成画像を多視点画像と呼ぶことがある。
図13は、図11の観察位置1104に配置された複数の仮想カメラを示している。図13において、観察位置1104と接眼レンズ1103との距離は、接眼レンズ1103の焦点距離f1に一致し、レンチキュラーレンズ1102と接眼レンズ1103との距離も焦点距離f1に一致している。
仮想カメラ1301−1〜仮想カメラ1301−5は、観察位置1104に平行に配置されている。このとき、各仮想カメラに到達する光線の軌跡を逆に辿ることで、その仮想カメラが撮影する画像を表示部1101の表示面に投影すれば、実際に3次元の物体を観察しているときと同じ光線の状態が観察者の眼の前に再現されると考えられる。接眼レンズ1103とレンチキュラーレンズ1102との間のレンズ間距離が変化すると、それに伴って光線の軌跡も変化する。ここで、発明者らは、レンズ間距離を考慮することで、表示部1101の各画素の画素値を光学系の配置に適合させることができる点に気が付いた。
図14は、視点画像に対応する虚像の位置と、レンチキュラーレンズ1102と接眼レンズ1103との間のレンズ間距離との関係を示している。虚像の位置1401は、観察位置1402から距離Dvだけ離れており、虚像の倍率をkとすると、距離Dvは、接眼レンズ1103の焦点距離f1のk倍の距離である。観察位置1402と接眼レンズ1103との距離が焦点距離f1と等しい場合、虚像の位置1401と接眼レンズ1103との距離は(k−1)・f1となる。
このとき、レンズの公式から、接眼レンズ1103とレンチキュラーレンズ1102との間のレンズ間距離dの理想値Dは、次式により与えられる。
1/f1=1/D−1/{(k−1)・f1}
D=(1−1/k)・f1 (1)
図15は、接眼レンズ1103の位置における視域を示している。接眼レンズ1103の位置における視域は、実線で示すように、レンチキュラーレンズ1102と観察位置1402における視点#1〜視点#5との間の5本の光線の広がり幅Wv’により表される。
D=f1の場合は、破線で示すように、接眼レンズ1103と視点#1〜視点#5との間の5本の光線が平行になるため、広がり幅Wv’は、観察位置1402上の光線の広がり幅Wvと等しくなる。
一方、D<f1の場合、点1501、点1502、及び点1503を頂点とする三角形と、点1511、点1512、及び点1513を頂点とする三角形とが相似であることと、式(1)とから、次式が成り立つ。
Wv’=(D/f1)・Wv
=(1−1/k)・Wv (2)
次に、広がり幅Wv’が観察位置1402においてどのくらいの幅になるかを考察する。図16に示すように、光線の方向は、虚像の位置1401上の点1601に置かれた点光源からの光線の方向に等しい。点1601、点1602、及び点1603を頂点とする三角形と、点1601、点1611、及び点1612を頂点とする三角形とが相似であることから、観察位置1402における光線の広がり幅Wv*は、次式で与えられる。
Wv*={k/(k−1)}・Wv’ (3)
式(3)のWv’に式(2)を代入すると、次式が得られる。
Wv*={k/(k−1)}・(1−1/k)・Wv
=Wv (4)
式(4)より、広がり幅Wv*は、倍率kによらず、D=f1の場合の広がり幅Wvと等しくなることが分かる。
以上の考察により、図17に示すように、観察位置1402から距離Dvだけ離れた虚像の位置1401に仮想的なスクリーンを配置し、レンズ間距離Dに拠らず幅Wvの視域で観察した多視点画像を生成することで、光学系の配置に適合した多視点画像を生成できることが分かる。この多視点画像とは、幅Wvにならべた仮想カメラで生成するもので、D=f1のときは、カメラの光軸を平行で配置し撮影された画像を用いることを意味し、D<f1のときは、距離Dvでカメラの光軸が輻輳するように配置し撮影された画像を用いることを意味する。
次に、この考察結果に基づいて、表示部1101の各画素に割り当てる画素値について検討する。先の考察結果では、カメラの輻輳角が視点画像にパラメータとして含まれていた。これをカメラは平行配置と考え、カメラへの光線の入射方向というパラメータに一元化して表現する。なお、以下の考察では、接眼レンズ1103とレンチキュラーレンズ1102との間のレンズ間距離dの理想値Dの代わりに、実際のレンズ間距離dを用いる。
図18は、レンチキュラーレンズ1102から射出される光線の射出方向と、観察位置1402上の視点1801における光線の入射方向との関係を示している。接眼レンズ1103から距離dだけ離れた位置に、表示部1101とレンチキュラーレンズ1102を含む多視点光学系を配置し、表示部1101の表示面上で左から右へ向かう方向にx軸を設ける。x軸の原点は、接眼レンズ1103の光軸と表示部1101の表示面との交点に対応し、座標xは、レンチキュラーレンズ1102の各要素レンズの位置を表す。以下では、各要素レンズの位置を、ピッチ位置と呼ぶことがある。
一方、観察位置1402において右から左へ向かう方向にu軸を設ける。u軸の原点は、接眼レンズ1103の光軸と観察位置1402上の平面との交点であり、座標uは、観察位置1402における視点1801の位置を表す。
ここで、ピッチ位置xから角度θの射出方向に射出される光線をLl(d,θ,x)と表記し、視点位置uにおいて角度φの入射方向で入射する光線をLe(u,φ)と表記する。図19に示すように、レンチキュラーレンズ1102のピッチ位置xjにあるj番目(j=1〜M)の要素レンズから角度θで射出される光線は、Ll(d,θ,xj)と表記される。
まず、d=f1の場合、図20に示すように、点2001、点2003、及び点2005を頂点とする直角三角形に注目すると、次式が成り立つ。
u=f1・tanθ (5)
また、点1801、点2003、及び点2004を頂点とする直角三角形と、点2001、点2002、点2003、及び点2004を頂点とする平行四辺形に注目すると、次式が成り立つ。
x=f1・tanφ (6)
したがって、点2004から点1801へ向かう破線の矢印が示す光線の軌跡から、次式が成り立つ。
l(f1,θ,x)=Le(f1・tanθ,arctan(x/f1)) (7)
したがって、ピッチ位置xから角度θで射出される光線に対応する画素には、式(5)が示す視点位置uにおいて式(6)が示す角度φで入射する光線に対応する画素値を与えればよい。
次に、d<f1の場合、視点位置uと角度θとの関係については、レンズ間距離dによらず、式(5)が成り立つ。その理由は、レンチキュラーレンズ1102からの光線の射出方向によって視点位置uが決まるからである。したがって、次式が成り立つ。
l(d,θ,x)=Le(f1・tanθ,φ) (8)
ところが、d<f1の場合、図21の実線で示すように、レンチキュラーレンズ1102の中心から射出される5本の光線が、接眼レンズ1103を通過した後も平行にはならずに、広がっている。このため、視点位置uはレンズ間距離dによっては変化しないが、光線の広がり角度はレンズ間距離dによって変化する。この広がり角度は、虚像の位置1401上の点1601に置かれた点光源からの光線の広がり角度に等しい。
図22に示すように、点1601に置かれた点光源からの光線の広がり角度をΔφとすると、入射角度φから広がり角度Δφを差し引いた角度が、ピッチ位置xと関係付けられることになる。
点2201、点2202、点2203、及び点2204を頂点とする平行四辺形の4辺のうち、点2201と点2202を結ぶ辺の長さがxであるから、点2203と点2204を結ぶ辺の長さもxである。このとき、点1801、点2205、及び点2204を頂点とする直角三角形と、点1801、点2205、及び点2203を頂点とする直角三角形とに注目すると、次式が成り立つ。
x=f1・tanφ−f1・tanΔφ (9)
式(9)に、tanΔφ=u/(k・f1)、u=f1・tanθ、k=f1/(f1−d)を代入すると、次式が得られる。
x=f1・ [tanφ−{(f1−d)/f1}・tanθ] (10)
式(10)より、入射角度φは、次式で与えられる。
φ=arctan[{x+(f1−d)・tanθ}/f1] (11)
以上検討したように、d<f1の場合にピッチ位置xから角度θで射出される光線は、視点位置に入射する光線を用いて、式(8)及び式(11)により与えられる。したがって、ピッチ位置xから角度θで射出される光線に対応する画素が表示すべき光線は、ピッチ位置x、射出角度θ、焦点距離f1、及びレンズ間距離dの4つのパラメータに基づいて決められることが分かる。この光線の視点位置uは、射出角度θ及び焦点距離f1に基づいて決められ、入射角度φは、ピッチ位置x、射出角度θ、焦点距離f1、及びレンズ間距離dに基づいて決められる。
なお、d>f1の場合は、接眼レンズ1103で虚像を観察することができないため、検討の対象から除外されている。
次に、図7の出力部411が、式(8)及び式(11)に基づいて、N個の視点画像の画素から各要素画素に含まれる各画素を選択する動作について説明する。
図23は、出力部411の動作の例を示すフローチャートである。ここでは、左眼用の画像選択回路711及び画素選択回路712の動作を例として説明する。
まず、画像選択回路711の制御回路804は、N個の視点画像に対応するN個の射出角度θの各々に対し、式(5)に基づいて視点位置uを求める(ステップ2301)。そして、制御回路804は、得られた視点位置uに対応する視点画像を選択する制御信号を、スイッチ回路803−1〜スイッチ回路803−Nへ出力する。これにより、画像選択回路711から画素選択回路712へ、各射出角度θに対応する視点画像が出力される。
次に、画素選択回路712の光線方向選択回路901は、M個のピッチ位置xの各々とN個の射出角度θの各々との組み合わせに対し、式(11)に基づいて入射角度φを求める(ステップ2302)。そして、光線方向選択回路901は、得られた入射角度φが示す光線方向の情報を画素値決定回路902へ出力する。
次に、画素値決定回路902は、画像選択回路711から出力される視点画像から、光線方向選択回路901から出力される光線方向に対応する画素を選択して、その画素値を表示部511へ出力する(ステップ2303)。より具体的には、画素値決定回路902は、入射角度φを視点画像中の画素の位置に対応付けることで、出力すべき画素値を決定する。
図24に示すように、視点画像2401の中心を原点2411として、左右方向(水平方向)及び上下方向(垂直方向)の座標をそれぞれs及びtと表記し、点(s,t)における画素の画素値をC(s,t)とする。原点2411の座標sは、図10に示したように、レンチキュラーレンズ512の要素レンズのうち、接眼レンズ513の光軸が通る中央の要素レンズのピッチ位置xに対応している。また、原点2411の座標tは、表示部511の表示面上において、図18のx軸の原点の位置に対応している。
視点画像2401を生成する仮想カメラの水平画角をψHとし、水平解像度をWHとすると、座標sと入射角度φの関係は、次式で与えられる。
s={tanφ/tan(ψH/2)}・WH/2 (12)
座標tは、入射角度φによらず、表示部511の表示面上における上下方向の座標と一致する。画素値決定回路902は、式(12)に基づいて、表示部511の画素2402に対応する視点画像2401上の点(s,t)を求め、その位置にある画素の画素値C(s,t)を、画素2402の画素値として表示部511へ出力する。このような動作を、各射出方向θ、各ピッチ位置x、及び表示部511の上下方向の座標の各値について行うことで、全要素画素に含まれる全画素の画素値が決定され、多視点画像が生成される。
なお、式(12)を適用する際には、水平画角ψHと観察位置1402における表示部511に対する観察画角とを一致させ、表示部511の画素数と視点画像の画素数とを一致させておくと、対応付けが容易である。画角及び画素数は、視点画像を適切にトリミングしスケーリングすることで一致させることができる。
画像選択回路721及び画素選択回路722の動作も、画像選択回路711及び画素選択回路712の動作と同様である。
式(11)によれば、tanθが0でない場合、ハードウェアを構成する要件である2つのパラメータ、レンズ間距離dと焦点距離f1、これらは一般にはハードウェア構成時にある定められた値をとるわけであるが、それらの値に応じて、画素選択論理が変化することを意味している。すなわち、レンズ間距離dが焦点距離f1より小さくなるにつれて、入射角度φは大きくなる。そして、式(12)によれば、入射角度φが大きくなるにつれて、座標sの値も大きくなる。したがって、式(11)及び式(12)に基づく選択論理によれば、レンズ間距離dが焦点距離f1より小さくなるにつれて、視点画像2401内で左右方向に沿って原点からより遠くなる位置の画素が選択される。これにより、レンズ間距離dに適合した多視点画像を生成することが可能になる。
なお、視点画像2401から画素を選択する選択論理は、式(11)及び式(12)に基づく選択論理に限られるわけではない。レンズ間距離dが焦点距離f1より小さくなるにつれて、視点画像2401内で左右方向に沿って原点からより遠くなる位置の画素を選択するものであれば、他の選択論理を用いても構わない。
ところで、HMD501を製造する際には、筐体502等の寸法に公差が生じる。そこで、HMD501の光学系の配置に対して許容される公差条件について考察する。
図25は、表示部1101、レンチキュラーレンズ1102、及び接眼レンズ1103によって形成される光線の光路を示している。図25(A)に示すように、レンチキュラーレンズ1102の役割は、表示部1101の表示面上に位置する画素から平行光として射出される光線の射出角度θを、要素レンズの中心位置からのずれ量Δxに応じて制御することである。
図25(A)の太線で示す直角三角形に注目すると、ずれ量Δxと射出角度θの関係は、次式で与えられる。
Δx=f0・tanθ (13)
ここで、f0は、レンチキュラーレンズ1102の要素レンズの焦点距離である。また、図25(B)に示すように、接眼レンズ1103の役割は、角度θで入射する平行光を、角度θに応じて、接眼レンズ1103の光軸から変位量uだけずれた位置に集光することである。図25(B)に太線で示す直角三角形に注目すると、角度θと変位量uの関係は、上述した式(5)で与えられる。
観察者は、接眼レンズ1103から焦点距離f1だけ離れた観察位置1402から観察すれば、レンチキュラーレンズ1102から射出された平行光によって形成される視点画像を、接眼レンズ1103を通して、虚像として観察することができる。
図26は、レンチキュラーレンズ1102の要素レンズの幅と観察視域との関係を示している。レンチキュラーレンズ1102の視野角を2αとすると、光線の射出角度θの最大値はαである。図26(A)に示すように、レンチキュラーレンズ1102の各要素レンズの幅をpとすると、太線で示す直角三角形の底辺の長さがp/2であることから、次式が成り立つ。
p/2=f0・tanα (14)
また、図26(B)に示すように、観察位置1402における光線の広がり幅をWvとすると、太線で示す直角三角形の底辺の長さがWv/2であることから、次式が成り立つ。
Wv/2=f1・tanα (15)
式(14)及び式(15)からtanαを消去すると、次式が得られる。
Wv=(f1/f0)・p (16)
広がり幅Wvは観察視域に対応するため、式(16)は、レンチキュラーレンズ1102の要素レンズの幅と観察視域の関係を表している。
次に、レンズ間距離dに対する条件を導出する。図27は、レンチキュラーレンズ1102の同じ要素レンズから射出される複数の視点画像の光線の理想状態と許容限界を示している。図27(A)に示す理想状態では、各視点画像の画素から射出される光線が要素レンズの中央を通過する。一方、図27(B)に示す許容限界では、要素レンズに対応する画素のうち最も外側の画素から射出される光線が、その要素レンズの端の位置を通過する。
図28は、許容限界における、レンズ間距離dと接眼レンズ1103の位置における光線の広がり幅Wv’との関係を示している。図28(A)に示す第1のケースでは、レンチキュラーレンズ1102から射出角度θの最大値αで射出された光線が、接眼レンズ1103上では、光線を射出した要素レンズに対してd・tanαだけずれた位置に入射する。観察位置1402上の観察視域の端点から太線で示すように光線の軌跡を辿ると、軌跡はそれだけずれてレンチキュラーレンズ1102に達する。このとき、光線の軌跡が正しい要素レンズに達していればよく、その隣の要素レンズに達していれば問題となる。
光線の軌跡が正しい要素レンズに達するための条件は、次式で与えられる。
Wv’/2−d・tanα≦p/2 (17)
式(15)を用いて式(17)からtanαを消去すると、次式が得られる。
Wv’/2−(Wv/2)・(d/f1)≦p/2 (18)
式(18)のWv’に式(2)を代入すると、次式が得られる。
(1−1/k)・(Wv/2)−(Wv/2)・(d/f1)≦p/2 (19)
式(19)の両辺に2/Wvを乗算すると、次式が得られる。
1−1/k−d/f1≦p/Wv (20)
式(16)を用いて式(20)の右辺を書き換えると、次式が得られる。
1−1/k−d/f1≦f0/f1
(1−1/k)・f1−d≦f0 (21)
式(1)及び式(21)より、次式が得られる。
d≧D−f0 (22)
一方、図28(B)に示す第2のケースでは、光線の軌跡が正しい要素レンズに達するための条件は、次式で与えられる。
d・tanα−Wv’/2≦p/2 (23)
式(23)を式(17)と同様に変形すると、次式が得られる。
d≦D+f0 (24)
式(22)及び式(24)より、レンズ間距離dに対する条件は次式で与えられる。
D−f0≦d≦D+f0 (25)
式(25)より、レンズ間距離dの公差は、レンチキュラーレンズ1102の要素レンズの焦点距離f0の2倍以下であることが望ましい。また、虚像を観察するためには、d≦f1という条件が追加される。したがって、レンズ間距離dの上限は、f1又はD+f0のうち小さい方の値となる。
図29は、観察位置1402上に設けられた観察用のスリット2901を示している。スリット2901の開口部の大きさは、式(16)の広がり幅Wvに基づいて決めることが望ましい。例えば、開口部の形状が、観察位置1402上の平面と接眼レンズ1103の光軸との交点を中心とする円である場合、その円の直径として(f1/f0)・pを用いることができる。観察者は、スリット2901を通して多視点画像を観察することで、観察位置1402に到来する余計な光を遮断することができる。
以上説明した実施形態では、図5のHMD501を一例として、画像表示装置の構成及び動作について説明したが、画像表示装置の構成は、図5〜図9に示した構成に限られるものではない。画像表示装置の用途や条件に応じて、図5〜図9に示した構成の一部の構成要素を省略又は変更してもよい。また、図23のフローチャートは一例に過ぎず、画像表示装置の構成や条件に応じて一部の処理を省略又は変更してもよい。
例えば、出力部411を表示部511及び表示部521と同じ筐体502内に設ける代わりに、筐体502とは別の筐体内に設けて、出力部411と表示部511及び表示部521とを通信回線により接続することも可能である。
また、左眼用と右眼用の2つの光学系を設ける必要がない場合は、一方の光学系を省略することができる。さらに、視点画像の解像度を1/Nに低下させる必要がない場合は、図8のダウンサンプリング回路802−1〜ダウンサンプリング回路802−Nを省略することができる。
ところで、式(11)を用いて式(12)から入射角度φを消去すると、次式が得られる。
s=[{x+(f1−d)・tanθ}/{f1・tan(ψH/2)}]・WH/2
(26)
図9の画素値決定回路902は、式(26)に基づいて、入射角度φを求めることなく、視点画像2401の座標sを直接求めて、対応する画素を選択することも可能である。式(26)に基づく選択論理を用いた場合、図9の光線方向選択回路901と図23のステップ2302の処理を省略することができる。
また、画像表示装置をHMD501以外の用途で使用する場合は、図5及び図6に示した筐体502の形状として、異なる形状を採用することができる。実施形態の画像表示装置は、動画像のみならず、静止画像の表示に用いることも可能である。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
101、412、511、521、1101 表示部
102 3次元フィルタ
201、202、512、522、1000、1102 レンチキュラーレンズ
203 眼球
401 画像表示装置
411 出力部
413 第1の光学素子
414 第2の光学素子
501 HMD
502 筐体
513、523、1103 接眼レンズ513
601 ノーズパッド
701 記憶部
702 インタフェース
711、721 画像選択回路
712、722 画素選択回路
801−1〜801−N LPF
802−1〜802−N ダウンサンプリング回路
803−1〜803−N スイッチ回路
811−1〜811−N、1121、1122、1211、1212、2401 視点画像
804 制御回路
901 光線方向選択回路
902 画素値決定回路
1001A、1001B、1001C、1001D、1001E、1002A、1002B、1002C、1002D、1002E、1003A、1003B、1003C、1003D、1003E、1004A、1004B、1004C、1004D、1004E、1005A、1005B、1005C、1005D、1005E 画素列
1104、1402 観察位置
1111、1201 破線
1112、1202 一点鎖線
1301−1〜1301−5 仮想カメラ
1401 虚像の位置
1501〜1503、1511〜1513、1601〜1603、1611、1612、2001〜2005、2201〜2205 点
1801 視点
2411 原点
2402 画素
2901 スリット

Claims (5)

  1. 複数の要素画素の各々が、互いに視点が異なる複数の画像のそれぞれから抽出された複数の画素を所定方向に並べて形成される、前記複数の要素画素を含む合成画像を表示する表示部と、
    前記複数の要素画素にそれぞれ対応して前記所定方向に配列された複数のレンズであって、前記複数の画像のうちある画像について、前記複数の要素画素のそれぞれに含まれる複数の画素から射出される複数の光線を平行に射出する、前記複数のレンズを含む第1の光学素子と、
    前記第1の光学素子から射出される前記複数の光線を集光する第2の光学素子と、
    前記複数の要素画素のうちある要素画素に含まれる前記ある画像の画素を選択し、選択した画素の画素値を前記表示部へ出力する出力部とを備え、
    視点位置にある角度で入射する光線に対応する前記ある画像の画素は、前記第1の光学素子内において、前記第2の光学素子の光軸に対応する第1の位置から前記所定方向に沿って第1の距離だけ離れた第2の位置に対して、前記所定方向に沿って前記第2の位置から前記第1の位置へ向かって第2の距離だけずれた第3の位置に存在するレンズに対応し、前記第1の距離は、前記第2の光学素子の焦点距離に、前記視点位置における光線の入射方向の正接を乗算した積で与えられ、前記第2の距離は、前記焦点距離から前記第1の光学素子と前記第2の光学素子との間の素子間距離を減算した差分に、前記第1の光学素子から前記複数の光線が射出される射出方向の正接を乗算した積で与えられることを特徴とする画像表示装置。
  2. 前記出力部は、前記第1の距離と前記第2の距離とに基づいて、前記ある画像の画素を選択する画素選択回路を含むことを特徴とする請求項1記載の画像表示装置。
  3. 前記視点位置は、前記焦点距離に前記射出方向の正接を乗算した積で与えられ、
    前記出力部は、前記複数の画像の中から前記視点位置に対応する画像を前記ある画像として選択する画像選択回路を含むことを特徴とする請求項1又は2記載の画像表示装置。
  4. 前記素子間距離の公差は、前記ある要素画素に対応するレンズの焦点距離の2倍以下であることを特徴とする請求項1乃至3のいずれか1項に記載の画像表示装置。
  5. 複数の要素画素の各々が、互いに視点が異なる複数の画像のそれぞれから抽出された複数の画素を所定方向に並べて形成される、前記複数の要素画素を含む合成画像を表示するために、前記複数の要素画素のうちある要素画素に含まれる、前記複数の画像のうちある画像の画素を選択する工程と、
    選択した画素の画素値を表示部へ出力する工程と、
    前記表示部を用いて前記合成画像を表示する工程と、
    前記第1の光学素子に含まれる、前記複数の要素画素にそれぞれ対応して前記所定方向に配列された複数のレンズを用いて、前記ある画像について、前記複数の要素画素のそれぞれに含まれる複数の画素から射出される複数の光線を平行に射出する工程と、
    前記第2の光学素子を用いて、前記第1の光学素子から射出される前記複数の光線を集光する工程とを備え、
    視点位置にある角度で入射する光線に対応する前記ある画像の画素は、前記第1の光学素子内において、前記第2の光学素子の光軸に対応する第1の位置から前記所定方向に沿って第1の距離だけ離れた第2の位置に対して、前記所定方向に沿って前記第2の位置から前記第1の位置へ向かって第2の距離だけずれた第3の位置に存在するレンズに対応し、前記第1の距離は、前記第2の光学素子の焦点距離に、前記視点位置における光線の入射方向の正接を乗算した積で与えられ、前記第2の距離は、前記焦点距離から前記第1の光学素子と前記第2の光学素子との間の素子間距離を減算した差分に、前記第1の光学素子から前記複数の光線が射出される射出方向の正接を乗算した積で与えられることを特徴とする画像表示方法。
JP2013030791A 2013-02-20 2013-02-20 画像表示装置及び画像表示方法 Expired - Fee Related JP6212877B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013030791A JP6212877B2 (ja) 2013-02-20 2013-02-20 画像表示装置及び画像表示方法
US14/157,590 US9494798B2 (en) 2013-02-20 2014-01-17 Image display apparatus and image display method
CN201410046256.6A CN103995359B (zh) 2013-02-20 2014-02-10 图像显示装置及图像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013030791A JP6212877B2 (ja) 2013-02-20 2013-02-20 画像表示装置及び画像表示方法

Publications (2)

Publication Number Publication Date
JP2014160171A JP2014160171A (ja) 2014-09-04
JP6212877B2 true JP6212877B2 (ja) 2017-10-18

Family

ID=51309569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013030791A Expired - Fee Related JP6212877B2 (ja) 2013-02-20 2013-02-20 画像表示装置及び画像表示方法

Country Status (3)

Country Link
US (1) US9494798B2 (ja)
JP (1) JP6212877B2 (ja)
CN (1) CN103995359B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3041231A1 (en) * 2014-12-30 2016-07-06 SeeFront GmbH Autostereoscopic multi-view system
JP6367166B2 (ja) * 2015-09-01 2018-08-01 株式会社東芝 電子機器及び方法
US20170115489A1 (en) * 2015-10-26 2017-04-27 Xinda Hu Head mounted display device with multiple segment display and optics
CN105657407B (zh) * 2015-12-31 2018-11-23 深圳纳德光学有限公司 头戴显示器及其双目3d视频显示方法和装置
JP2018169428A (ja) * 2017-03-29 2018-11-01 セイコーエプソン株式会社 画像表示装置
CN107490874A (zh) * 2017-09-21 2017-12-19 京东方科技集团股份有限公司 一种三维显示装置及其显示方法
CN109073905B (zh) * 2018-07-16 2023-06-16 京东方科技集团股份有限公司 三维显示设备、三维成像设备、以及显示三维图像的方法
DE102019100066A1 (de) * 2019-01-03 2020-07-09 Psholix Ag Autostereoskopisches Display mit Integral-Imaging ähnlichen optischen Elementen
CN114128254A (zh) * 2019-07-24 2022-03-01 索尼集团公司 固态成像设备及其驱动方法以及电子装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730129B2 (en) * 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
JPH05260527A (ja) * 1992-03-16 1993-10-08 Sony Corp 立体映像表示装置
DE69429209T2 (de) * 1993-06-01 2002-06-27 Sharp Kk Bildanzeigevorrichtung mit rückseitiger Beleuchtung
JP3396074B2 (ja) * 1994-04-01 2003-04-14 オリンパス光学工業株式会社 映像表示装置
JPH09105885A (ja) * 1995-10-12 1997-04-22 Canon Inc 頭部搭載型の立体画像表示装置
DE19840972A1 (de) * 1997-09-09 1999-03-11 Samsung Aerospace Ind Stereoskopisches Anzeigesystem
US6816313B2 (en) * 2000-12-21 2004-11-09 Canon Kabushiki Kaisha Display unit, display method, and display instrument employing the same
JP4639721B2 (ja) 2004-09-22 2011-02-23 株式会社ニコン 三次元映像表示装置
JP2006203668A (ja) * 2005-01-21 2006-08-03 Konica Minolta Photo Imaging Inc 画像生成システム及び画像生成方法
JP2006229725A (ja) * 2005-02-18 2006-08-31 Konica Minolta Photo Imaging Inc 画像生成システム及び画像生成方法
JP2006287592A (ja) 2005-03-31 2006-10-19 Namco Bandai Games Inc 画像生成装置、電子機器、画像生成方法及びプログラム
JP2011085790A (ja) * 2009-10-16 2011-04-28 Seiko Epson Corp 電気光学装置及び電子機器
DE102009054232A1 (de) * 2009-11-21 2011-05-26 Bayerische Motoren Werke Aktiengesellschaft Head-up-Display
JP2011145488A (ja) * 2010-01-14 2011-07-28 Sony Corp ヘッドマウントディスプレイ
US9223137B2 (en) * 2010-10-08 2015-12-29 Seiko Epson Corporation Virtual image display apparatus
JP5857712B2 (ja) * 2011-12-15 2016-02-10 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP6056171B2 (ja) * 2012-03-29 2017-01-11 富士通株式会社 立体画像表示装置及び方法

Also Published As

Publication number Publication date
CN103995359B (zh) 2017-03-01
JP2014160171A (ja) 2014-09-04
US9494798B2 (en) 2016-11-15
CN103995359A (zh) 2014-08-20
US20140233100A1 (en) 2014-08-21

Similar Documents

Publication Publication Date Title
JP6212877B2 (ja) 画像表示装置及び画像表示方法
US9030737B2 (en) 3D display device and method
KR102561425B1 (ko) 웨어러블 3d 증강 현실 디스플레이
Peleg et al. Omnistereo: Panoramic stereo imaging
JP6294780B2 (ja) 立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイ
KR102384223B1 (ko) 3차원 영상 표시용 광 변조 신호 형성 방법, 3차원 영상 표시 방법 및 장치
JP2014219621A (ja) 表示装置、表示制御プログラム
JP5450330B2 (ja) 画像処理装置および方法、ならびに立体画像表示装置
JP6767481B2 (ja) ライトフィールド顕微鏡法を用いる眼科手術
CN107529054B (zh) 显示屏、头戴显示设备及其显示控制方法和装置
KR101483471B1 (ko) 시각피로 없는 안경식 스테레오스코픽 디스플레이 구동 방법 및 굴절률 가변 셔터 안경
KR20120095212A (ko) 입체영상표시장치
JP2020118963A (ja) ヘッドマウントディスプレイ
JP2011053564A (ja) 表示装置および撮像装置
JP3425402B2 (ja) 立体画像を表示する装置および方法
KR20150091838A (ko) 초다시점형 3차원 디스플레이 시스템
JP2011215176A (ja) 画像処理装置および方法
CN207301514U (zh) 用于获得焦距认知的显示屏及头戴显示设备
KR102306775B1 (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치
KR101883883B1 (ko) 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법
Takatsuka et al. Retinal projection type 3D head-mounted display using an HOE lens array
JP6541005B2 (ja) 遠景画像装置
KR101502407B1 (ko) 스테레오 집적 영상 디스플레이 시스템
KR101746717B1 (ko) 초점이 각각 다른 렌즈어레이를 이용한 3차원 영상 출력 방법
KR102319913B1 (ko) 영상 제공 장치 및 영상 제공 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170904

R150 Certificate of patent or registration of utility model

Ref document number: 6212877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees