WO2013031698A1

WO2013031698A1 - 三次元画像表示装置

Info

Publication number: WO2013031698A1
Application number: PCT/JP2012/071482
Authority: WO
Inventors: 岩根　透
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-08-26
Filing date: 2012-08-24
Publication date: 2013-03-07
Anticipated expiration: 2014-02-26
Also published as: US20140168395A1; CN103765882B; CN103765882A; CN107801020A; JP2013064996A

Abstract

　三次元画像表示装置は、画像データを入力する入力部と、画像データを二次元情報を有する第１の表示用画像データに変換する第１の画像変換部と、複数の表示画素が二次元状に配列され、第１の表示用画像データに応じて複数の表示画素から光束を射出する表示部と、複数の表示画素から射出された光束が合成されて三次元像または二次元像を形成する複数のマイクロレンズが二次元状に配列されたマイクロレンズアレイとを備える。

Description

三次元画像表示装置

　本発明は、三次元画像表示装置に関する。

　従来から、立体像と平面図とを表示する表示装置が知られている（たとえば特許文献１）。

日本国特開平１０－２２７９９５号公報

　しかしながら、二次元画像の画質を損なうことなく三次元画像と同一画面上に表示することができないという問題がある。

　本発明の第１の態様によると、三次元画像表示装置は、画像データを入力する入力部と、画像データを二次元情報を有する第１の表示用画像データに変換する第１の画像変換部と、複数の表示画素が二次元状に配列され、第１の表示用画像データに応じて複数の表示画素から光束を射出する表示部と、複数の表示画素から射出された光束が合成されて三次元像または二次元像を形成する複数のマイクロレンズが二次元状に配列されたマイクロレンズアレイとを備える。
　本発明の第２の態様によると、第１の態様による三次元画像表示装置において、画像データを三次元情報を有する第２の表示用画像データに変換する第２の画像変換部をさらに備え、表示部は、第１および第２の表示用画像データに応じて複数の表示画像から光束を射出することが好ましい。
　本発明の第３の態様によると、第２の態様による三次元画像表示装置において、三次元像と二次元像とを同一平面に表示させることが好ましい。
　本発明の第４の態様によると、三次元表示装置は、二次元配置された複数の表示画素を含む表示画素群が複数個、二次元配置された表示部と、複数の表示画素群の各々に対応して二次元配置され、対応する表示画素群を投影する複数の光学部材と、三次元画像データを出力する三次元画像データ出力部と、三次元画像データに基づいて、表示画素を制御して三次元画像データを光学部材を介して三次元画像として表示する第１表示制御部と、　二次元画像データを出力する二次元画像データ出力部と、二次元画像データを複数の二次元部分画像データに分割し、二次元部分画像データの各々を複数の二次元表示用部分画像データに変換する変換部と、二次元表示用部分画像データに基づいて、当該複数の二次元表示用部分画像データにそれぞれ対応する表示画素群を制御して、二次元画像データのそれぞれを、複数の表示用二次元画像データに対応する複数の表示画素群に関する光学部材による投影像の合成によって、二次元画像として表示する第２表示制御部とを備える。
　本発明の第５の態様によると、三次元表示装置は、二次元配置された複数の表示画素を含む表示画素群が複数個、二次元配置された表示部と、複数の表示画素群の各々に対応して二次元配置され、対応する表示画素群を投影する複数の光学部材と、三次元画像データを出力する三次元画像データ出力部と、三次元画像データに基づいて、表示画素を制御して三次元画像データを光学部材を介して三次元画像として表示する第１表示制御部と、二次元画像データを出力する二次元画像データ出力部と、二次元画像データを複数の二次元部分画像データに分割し、前記二次元部分画像データの各々を複数の二次元表示用部分画像データに変換する変換部と、二次元表示用部分画像データに基づいて、当該複数の二次元表示用部分画像データにそれぞれ対応する表示画素群を制御して、二次元画像データのそれぞれを、複数の表示用二次元画像データに対応する複数の表示画素群に関する光学部材による投影像の合成によって、二次元画像として表示する第２表示制御部と、表示部を制御して、三次元画像と二次元画像とを同一画面に表示させる第３表示制御部とを備える。
　本発明の第６の態様によると、第４の態様による三次元画像表示装置において、表示部を制御して、三次元画像と二次元画像とを同一画面に表示させる第３表示制御部をさらに備えることが好ましい。
　本発明の第７の態様によると、第４乃至６の態様の何れかの三次元画像表示装置において、三次元画像データに含まれる二次元情報を抽出する抽出部をさらに備え、二次元画像データ出力部は、抽出部により抽出された二次元情報を二次元画像データとして出力することが好ましい。
　本発明の第８の態様によると、第４乃至７の態様の何れかの三次元画像表示装置において、変換部は、二次元表示用部分画像データが再現された二次元部材により構成され、光学部材の光軸方向に関して光学部材と表示画素との間に配置されることが好ましい。
　本発明の第９の態様によると、第４乃至８の態様の何れかの三次元画像表示装置において、光学部材は、二次元画像を当該光学部材のレンズ面、または当該光学部材の焦点距離以上離れた空中の像平面に投影することが好ましい。
　本発明の第１０の態様によると、第４乃至９の何れかの態様の三次元画像表示装置において、光学部材は、マイクロレンズまたはシリンドリカルレンズにより構成されることが好ましい。

　本発明によれば、複数の表示用二次元画像データに対応する複数の表示画素群に関する光学部材によって投影像を合成するので、二次元画像データを二次元画像として表示できるとともに、三次元画像と二次元画像とを同一画面に表示させることができる。

本発明の実施の形態による三次元画像表示装置の要部構成を説明するブロック図実施の形態による三次元表示装置が備えるモニタの構成の一例を説明する図表示画素と、表示用マイクロレンズアレイと、表示される光点との関係を模式的に示した図図３を二次元的に展開した場合を示す図表示用マイクロレンズとパターン光断面との関係を説明する図表示用マイクロレンズとパターンとの関係を説明する図領域分割を基点マイクロレンズに展開した場合のパターンを説明する図基点マイクロレンズの中心位置に対して光点が偏心した場合のパターンを説明する図二次元画像を表示させる場合の表示画素について説明する図二次元表示される画像の一例を示す図二次元画像を表示させる場合のパターンについて説明する図図１１に示すパターンが表示空中像面に二次元表示される様子を模式的に示す図

　本実施の形態の三次元画像表示装置は、画像を表示するためのモニタを有するパーソナルコンピュータ等により構成される。この三次元画像表示装置では、公知のプレンオプティックカメラ（Plenoptics Camera）またはライトフィールドカメラ（Light Field Camera）等によって生成された三次元情報を有する画像データに対応する画像が三次元画像として観察可能に表示される。さらに、文字や各種の操作入力を行うためのコマンドボタン等の二次元情報に対応する画像データに対応する画像については、二次元画像として観察可能に表示される。以下、詳細に説明する。

　図１は、実施の形態による三次元画像表示装置１００の要部構成を説明するブロック図である。三次元画像表示装置１００は、制御回路１０１、ＨＤＤ１０２、モニタ制御回路１０３、モニタ１０４、メモリ１０５、入力部材１０６、メモリカードインタフェース１０７、および外部インタフェース１０８を備える。

　入力部材１０６は、ユーザによって操作されるスイッチやボタンを有するキーボードや、マウス等の操作部材である。入力部材１０６は、モニタ１０４に表示されたメニュー画面からユーザが所望するメニューや設定を選択し、選択したメニューや設定を実行させる際にユーザにより操作される。

　ＨＤＤ１０２には、たとえばデジタルカメラで撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース１０８は、たとえばＵＳＢインタフェースケーブルや無線伝送路を介してデジタルカメラ等の外部機器とデータ通信を行う。三次元画像表示装置１００は、メモリカードインタフェース１０７や外部インタフェース１０８を介してメモリカード２０７ａや外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路１０１により制御されてＨＤＤ１０２に記録される。デジタルカメラで生成された画像ファイルは、制御回路１０１によりＨＤＤ１０２に記録される。ＨＤＤ１０２には、制御回路１０１で実行される各種のプログラム等が記録される。

　制御回路１０１は、三次元画像表示装置１００の制御を行うマイクロコンピュータであり、ＣＰＵやＲＯＭその他周辺回路により構成される。制御回路１０１は、抽出部１０１ａと、三次元出力部１０１ｂと、三次元表示制御部１０１ｃと、二次元出力部１０１ｄと、表示用二次元データ変換部１０１ｅと、二次元表示制御部１０１ｆと、表示制御部１０１ｇとを機能的に備える。抽出部１０１ａは三次元情報を有する画像データ（以後、三次元画像データ）に含まれる二次元情報を二次元表示データとして抽出する。二次元情報としては、上述したように文字や各種の操作入力を行うためのコマンドボタン、ウインドウ枠等が含まれる。三次元出力部１０１ｂは、たとえばＨＤＤ１０２に記録されている三次元画像データを読み出す。三次元表示制御部１０１ｃは、三次元画像データに基づいて、後述するモニタ１０４が備える表示画素を制御して三次元画像データを三次元画像として表示させる。

　二次元出力部１０１ｄは、たとえばＨＤＤ１０２に記録されているニ次元画像データを読み出す。表示用二次元データ変換部１０１ｅは、抽出部１０１ａにより抽出された二次元表示データと、二次元出力部１０１ｄにより読み出された二次元画像データとを複数の二次元部分画像データに分割する。そして、表示用二次元データ変換部１０１ｅは、二次元部分画像データの各々を複数の二次元表示用部分画像データに変換する。換言すると、表示用二次元データ変換部１０１ｅは、画像データを二次元情報を有する二次元表示用部分画像データに変換する。二次元表示制御部１０１ｆは、二次元表示用部分画像データに基づいて、後述するモニタ１０４が備える表示画素を制御して、二次元画像データと二次元表示データとを二次元画像として表示させる。表示制御部１０１ｇは、三次元画像と二次元画像とを同一画面上、すなわちモニタ１０４に表示させる。なお、抽出部１０１ａ、三次元出力部１０１ｂ、三次元表示制御部１０１ｃ、二次元出力部１０１ｄ、表示用二次元データ変換部１０１ｅ、二次元表示制御部１０１ｆおよび表示制御部１０１ｇの詳細については、説明を後述する。

　メモリ１０５は制御回路１０１のワーキングメモリであり、たとえばＳＤＲＡＭにより構成される。モニタ１０４は、たとえば液晶モニタであり、モニタ制御回路１０３により制御されて、表示用画像データに対応する画像、各種設定を行うためのメニュー画面などが表示される。

　図２を参照して、モニタ１０４について説明する。なお、図２においては、モニタ１０４の表示面の水平方向をｘ軸、鉛直方向をｙ軸とし、ｘｙ平面（モニタ１０４の表示面）に垂直な方向をｚ軸として座標系を設定する。図２（ａ）は、モニタ１０４をｚ軸方向ユーザ側から見た場合のモニタ１０４の斜視図であり、図２（ｂ）は図２（ａ）を一部拡大して示す図であり、図２（ｃ）はｚ軸方向におけるモニタ１０４の断面を模式的に示す図である。

　図２（ａ）、（ｂ）に示すように、モニタ１０４は、表示器２０１と、表示用マイクロレンズアレイ２０２とを備える。表示器２０１は、たとえばバックライトを有する液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配置された複数の表示画素群２１０を有する。これら複数の表示画素群２１０のそれぞれは、二次元状に配置された複数の表示画素２１１を有する。なお、本実施の形態においては、１個の表示画素群２１０には、１６×１６個の表示画素２１１が含まれるものとする。ただし、図２においては、図示の都合上、表示画素２１１の個数を実際よりも少なく描いている。表示画素２１１は、上述したモニタ制御回路１０３により制御されて、表示用画像データに対応して発光する。

　表示用マイクロレンズアレイ２０２は、二次元状に配列された複数の表示用マイクロレンズ２２０により構成される。図２（ｂ）に示すように、各表示用マイクロレンズ２２０は、複数の表示画素群２１０に対応した配置パターンで配置されている。また、図２（ｃ）に示すように、表示用マイクロレンズアレイ２０２はｚ軸方向ユーザ側に、表示用マイクロレンズ２２０の焦点距離ｆだけ表示画素２１１から離れた位置に配置される。各表示用マイクロレンズ２２０は、画像データに応じて表示画素２１１からの光をｚ軸方向ユーザ側の所定の像面に投影する。

　次に、モニタ１０４による三次元画像の表示原理について説明する。モニタ１０４の表示原理はプレンオプティクスの原理を逆にしたものである。まず、図３を用いて、プレンオプティクスの原理について簡単に説明する。

　図３は、表示画素２１１と、表示用マイクロレンズアレイ２０２と、表示される光点ＬＰとの関係を示した図である。上述したように、表示用マイクロレンズアレイ２０２は、表示画素２１１から、表示用マイクロレンズ２２０の焦点距離ｆだけｚ軸方向に離れた位置に設けられている。なお、図３においては、光点ＬＰは、表示用マイクロレンズアレイ２０２からｚ軸方向ユーザ側に距離４ｆだけ離れた位置にあるものとする。

　光点ＬＰから表示画素２１１に向かって光束ＬＦを辿った場合がプレンオプティクスである。光点ＬＰからの光束ＬＦは、複数個の表示用マイクロレンズ２２０を通過して、表示用マイクロレンズ２２０から４ｆ／３の位置で焦点を結ぶ。しかし、表示用マイクロレンズ２２０は表示画素２１１からｚ軸方向に距離ｆだけ離れた位置に配置されているので、各表示用マイクロレンズ２２０を通過した光束ＬＦは、入射した表示用マイクロレンズ２２０のそれぞれに対応する表示画素２１１で広がりを持った像となる。以後、この広がりを持った像を光断面と呼び、光断面の形状をパターンＰｔと呼ぶ。

　図４に、上記のパターンＰｔを二次元的に展開した場合を示す。なお、図４においては、図示の都合上、表示用マイクロレンズ２２０の配列を正方として描く。すなわち、プレンオプティクスの原理によれば、図３に示す光点ＬＰの光強度（輝度）が、図４に示すパターンＰｔに分配されることになる。図４においては、パターンＰｔを斜線を付して示す。

　モニタ１０４では、上述したプレンオプティクスの原理を逆にすることによって、すなわち表示画素２１１から輻射される光束を、表示用マイクロレンズ２２０を介して投影することにより奥行きを有する空中像が表示される。具体的には、図４に示すパターンＰｔが、表示器２０２を構成する表示画素２１１上に割り当てられる。このとき、図３を用いて説明した場合とは逆に、表示画素２１１に割り当てられたパターンＰｔは表示用マイクロレンズ２２０によって投影されて光点ＬＰに像を形成する。各パターンＰｔに含まれる表示画素２１１から輻射される多方向に進む光束には、その中に光点ＬＰに集光する方向の光束、すなわち上述した入射光束ＬＦの表示画素２１１への入射角度と同一の角度で輻射する光束が含まれるからである。このため、表示用マイクロレンズアレイ２０２からｚ軸方向に距離４ｆだけ離れた位置に空中像が形成される。

　図５を用いて、いくつ、あるいは、どの表示用マイクロレンズ２２０といずれのパターンＰｔとが対応するかについて、光点ＬＰからの光束ＬＦの広がりを表示用マイクロレンズ２２０上に投影することにより説明する。なお、図５では、光点ＬＰから広がる光束ＬＦは、光点ＬＰのｚ軸方向の位置が表示用マイクロレンズ２２０の焦点距離ｆの場合と、その二倍の距離２ｆの場合とについて示している。図５においては、光点ＬＰのｚ軸方向の位置が距離ｆの場合の光束ＬＦの広がりを破線で示し、距離２ｆの場合を一点鎖線で示す。光点ＬＰが表示用マイクロレンズ２２０の焦点距離ｆの位置にあると、光束ＬＦの広がりは表示用マイクロレンズ２２０で規定されているので、光束ＬＦは１個の表示用マイクロレンズ２２０内に入射する。以上により、１個の光点ＬＰに対応する表示用マイクロレンズ２２０が決まる。

　光点ＬＰのｚ軸方向の位置が表示用マイクロレンズ２２０の焦点距離ｆのときは、光束ＬＦはその表示用マイクロレンズ２２０の直下の領域全体に円形開口の光として広がる。このため、正方領域に内接する円の内部に含まれるすべての表示画素２１１が発光すると、パターンＰｔが投影されて光点ＬＰで空中像が形成される。光点ＬＰのｚ軸方向の位置の絶対値が焦点距離ｆより小さい場合には、光束ＬＦは表示用マイクロレンズ２２０の直下の領域内で収束せずに広がる。しかし、光点ＬＰから広がる光束ＬＦの角度は表示用マイクロレンズ２２０のＦ値で開口の最大（Ｆの最小）が規定されるので、入射する光束ＬＦは広がり角の制限を受け、パターンＰｔは被覆領域にとどまる。

　ここで光点ＬＰのｚ軸方向の位置が距離２ｆにある場合について説明する。図６に、この場合に関係する表示用マイクロレンズ２２０を示す。図６（ａ）に示すように、関係する表示用マイクロレンズ２２０は自身、すなわち光点ＬＰとｚ軸方向について同軸上に配置された表示用マイクロレンズ２２０（以後、基点マイクロレンズ２２０ａ）とそれに隣接する８個の表示用マイクロレンズ２２０である。表示用マイクロレンズ２２０による開口の制限を考えるとき、図６（ａ）において斜線で示す被覆領域のなかにパターンＰｔが存在することになる。この場合、各表示用マイクロレンズ２２０に対応するパターンＰｔは、図６（ｂ）の斜線で示す領域となる。

　図６（ｂ）に示すように、ひとつの基点マイクロレンズ２２０ａの被覆領域が分割され、隣接する表示用マイクロレンズ２２０に配分されている。分割され配分された被覆領域（部分領域）を積算した場合の全領域は、ひとつの表示用マイクロレンズ２２０の開口領域になる。そのため、どのような位置の光点ＬＰでもパターンＰｔの全領域の大きさは同じになるので、部分領域を積算して全領域を算出する場合には、それぞれの部分領域が所属する表示用マイクロレンズ２２０が決まればよいことになる。

　図５において、光点ＬＰのｚ軸方向の位置と、倍率つまり基点マイクロレンズ２２０ａに隣接する表示用マイクロレンズ２２０との個数と関係について示したが、これを仮想的な開口領域に適用する。たとえば、倍率で縮小した表示用マイクロレンズ２２０の配列で開口領域を分割し、これで定義された表示用マイクロレンズ２２０の中の同じ位置に開口領域の断片を配するという方法をとる。開口領域に外接する正方形を倍率２で縮小し、表示用マイクロレンズ２２０の配列で開口領域を分割（領域分割）した場合を例に説明する。

　図７は、上記の領域分割を基点マイクロレンズ２２０ａに展開した場合のパターンＰｔを示している。同様の領域分割を倍率に応じて行うと、倍率、すなわち光点ＬＰに対するパターンＰｔが得られる。具体的には、表示用マイクロレンズ２２０の径（マイクロレンズの一辺の大きさ）をｇとするとき、ｇ/ｍ幅の格子で開口領域が分割される。倍率は、光点ＬＰの高さ（位置）ｙとマイクロレンズの焦点距離ｆとの比ｍ＝ｙ/ｆで表すことができる。比ｍには負の符号も存在する。比ｍの符合が負の場合には、表示用マイクロレンズ２２０より表示画素２１１側に光点ＬＰがあるものとする。

　表示用マイクロレンズ２２０による被覆領域と表示用マイクロレンズ２２０の個数との積は、ほぼ表示画素群２１０に含まれる表示画素２１１の全画素数に等しくなる。このため、１個の表示用マイクロレンズ２２０内で偏心した複数の点のそれぞれに対応する光点ＬＰを形成することは、表示画素２１１に再現されたパターンＰｔを重畳して投影することに等しい。すなわち、各偏心した光点ＬＰからの光束ＬＦが重畳して表示画素２１１上に存在している。ただし、倍率が１倍のときには、この演算は、単なる内挿作業になって、分解能向上には実質的に寄与しない。これは、表示用マイクロレンズ２２０頂点近辺に結像すれば、光学的に奥行き方向の情報が失われることを示している。

　図８は、基点マイクロレンズ２２０ａの中心位置に対して左に偏心した光点ＬＰについての分割領域を表したものある。基点マイクロレンズ２２０ａ（レンズ径をｇとする）の中心から図８の左方向へｐだけ偏心して、光点ＬＰの高さ（位置）が２ｆの場合について説明する。なお、図８においては、点Ｏ１は偏心した光点ＬＰ、点Ｏ２は表示用マイクロレンズ２２０の中心位置を示す。この場合、図７に示す表示用マイクロレンズ２２０を図中の右方向へｐだけずらし、開口領域を分割すれば、図８に示す場合の分割領域が得られる。

　表示用マイクロレンズ２２０を１６個に分割するとすれば、中心位置の座標を（０，０）として、ｘ軸ｙ軸に対して、それぞれ－ｇ/２、－ｇ/４、０、ｇ/４、ｇ/２の位置のパターンとそれによる分割領域および、全領域の積算をおこなえば、ひとつのマイクロレンズ１２０に対して１６点の光点群を得ることができる。

　次に、文字等の二次元情報を空中像として二次元表示させる場合の原理について説明する。この場合、図９に示すように、表示用マイクロレンズ２２０に対応する表示画素群２１０のそれぞれについて、１６×１６個の表示画素２１１を４×４個の合成表示画素２１２に纏めた系を考える。この合成表示画素２１２を１つの画素とみなして、二次元表示させる二次元画像データのパターンＰｔが割り当てられる。

　図１０は、二次元表示する画像の一例が文字「Ａ」であることを示す。図１０に示す文字「Ａ」が表示用マイクロレンズ２２０からｚ軸方向に距離４ｆの位置に二次元表示されるためには、図１１に示すようにパターンＰｔが合成表示画素２１２に割り当てられる。なお、図１１（ａ）は表示用マイクロレンズ２２０が正方配列の場合を示し、図１１（ｂ）は表示用マイクロレンズ２２０がハニカム配列の場合を示している。図１１に示すようなパターンＰｔが合成表示画素２１２に割り当てられることによって、図１２に示すように、表示用マイクロレンズ２２０からｚ軸方向に距離４ｆの位置に形成される表示空中像面Ｓに、文字「Ａ」が空中像として二次元表示される。なお、表示空中像面Ｓは距離４ｆの位置に形成されるものに限定されず、表示用マイクロレンズ２２０の焦点距離ｆ以上の位置、または表示用マイクロレンズ２２０のレンズ面に形成されるものであってもよい。表示空中像面Ｓは、ユーザが入力部材１０６を操作することにより、所望の位置に形成される。

　文字等の二次元画像が空中像として表示されるためには、この空中像を構成する各光点ＬＰが合成される必要がある。上述したように、１つの光点ＬＰが形成されるために、１個の表示用マイクロレンズ２２０による被覆領域に含まれる合成表示画素２１２、すなわち１６個の合成表示画素２１２に割り当てられたパターンＰｔの表示用マイクロレンズ２２０による投影像が合成される。そのため、１個の表示用マイクロレンズ２２０が１６個の光点ＬＰの形成に寄与している場合には、１個の表示用マイクロレンズ２２０について、表示用マイクロレンズ２２０による被覆領域内の合成表示画素２１２の出力の１６倍の出力が必要となり、これら全ての出力が合成される必要がある。具体的には、１個の光点ＬＰを形成する各合成表示画素２１２の大きさが分配されると、隣接する光点ＬＰでは合成表示画素２１２の出力に加算するようにして出力が分配される。換言すると、１つの光点ＬＰについて１６個分の合成表示画素２１２の出力が重畳されたものとなり、画素出力は最大１６倍のダイナミックレンジが必要となる。

　三次元画像表示装置１００の制御回路１０１は、上述した図１１に示すようにパターンＰｔを表示画素２１１に割り当てることにより、表示用マイクロレンズアレイ２０２からｚ軸方向の所定の高さに形成される表示空中面Ｓに文字等の二次元画像を表示させる。この場合、二次元出力部１０１ｄは、モニタ１０４に二次元画像として表示させる二次元画像データをＨＤＤ１０２から読み出す。二次元出力部１０１ｄから読み出される二次元画像データは、通常の二次元画像の表示に用いられるディスプレイに出力される画像データと同一の内容である。

　表示用二次元データ変換部１０１ｅは、二次元出力部１０１ｄによって読み出された二次元画像データを、複数の表示用マイクロレンズ２２０に応じた部分画像データに分割する。図１０に示す例においては、表示用二次元データ変換部１０１ｅは、１６個の部分画像データに分割する。そして、表示用二次元データ変換部１０１ｅは、分割した部分画像データのそれぞれについて二次元表示用部分画像データを生成する。二次元表示用部分画像データは、図１１に示すようなパターンＰｔを表す画像データである。二次元表示用部分画像データが生成されると、二次元表示制御部１０１ｆは、表示用部分画像データが示すパターンＰｔを合成表示画素２１２に割り当てる。換言すると、二次元表示制御部１０１ｆは、モニタ制御回路１０３に指令して、二次元表示用部分画像データに対応する位置に配置された合成表示画素２１２を発光させる。

　三次元画像および二次元画像を同一のモニタ１０４に表示する場合の三次元画像表示装置１００による処理について説明する。この場合、三次元表示装置１００の制御回路１０１は、たとえばモニタ１０４に表示される複数のウインドウのうち、あるウインドウは三次元表示させ、他のウインドウや各種の操作コマンドを示す文字等は二次元表示させる。あるいは、制御回路１０１は、モニタ１０４にある画像データに対応する画像を三次元表示させ、画像の枠部分に対応する部分を二次元表示させる。

　三次元出力部１０１ｂは、モニタ１０４に三次元画像として表示させる三次元画像データをＨＤＤ１０２から読み出す。この場合、三次元出力部１０１ｂから読み出される三次元画像データは、たとえばプレンオプティクスカメラ等によって取得された三次元情報、すなわちパターンＰｔを表す画像データである。抽出部１０１ａは、読み出された三次元画像データのうち、たとえばウインドウ枠等に対応して二次元表示する情報を二次元表示データとして抽出する。抽出された二次元表示データは、上述した表示用二次元データ変換部１０１ｅにより表示用部分画像データに変換される。

　三次元表示制御部１０１ｃは、モニタ制御回路１０３に指令して、読み出された三次元画像データのうち、抽出部１０１ａによって抽出されていない画像データを用いて表示用三次元画像データを生成する。そして、三次元表示制御部１０１ｃは、表示用三次元画像データ、すなわち三次元情報を示すパターンＰｔを表示画素２１１に割り当てて発光させる。このとき、三次元画像データを生成したプレンオプティックカメラが有するマイクロレンズの中心位置（光軸）と、表示用マイクロレンズ２２０の中心位置（光軸）とが異なる場合、すなわち表示用マイクロレンズ２２０の中心軸と光点ＬＰとがｚ軸方向について同一軸上にない場合には、三次元表示制御部１０１ｃは、読み出された三次元画像データに対して正規化処理を施す。すなわち、三次元表示制御部１０１ｃは、各パターンＰｔに対応した光点ＬＰが基点マイクロレンズ２２０ａの中心軸上に位置するように、三次元画像データの位置をｘｙ平面上で移動させる。

　三次元表示制御部１０１ｃは、各基点マイクロレンズ２２０ａに隣接する表示用マイクロレンズ２２０に対応するパターンＰｔを、基点マイクロレンズ２２０ａを中心として点対称の位置に変換することにより表示用三次元画像データを生成する。この処理は、画像データを取得する際のプレンオプティックカメラにおける光の進行方向と、モニタ１０４における光の進行方向が逆であることから、空中像の奥行き方向（ｚ軸方向）における凹凸と撮影時の奥行き方向の凹凸とを一致させるためのものである。そして、三次元表示制御部１０１ｃは、生成した表示用三次元画像データが示すパターンＰｔを表示画素２１１に割り当てる。

　表示制御部１０１ｇは、二次元表示制御部１０１ｆおよび三次元表示制御部１０１ｃを制御して、ｚ軸方向に奥行きを有する三次元画像と、ｚ軸方向の所定の高さに二次元表示された二次元画像とを同一画面、すなわちモニタ１０４に表示させる。この場合、二次元表示制御部１０１ｆは、モニタ制御回路１０３に指令して、モニタ１０４から所定の高さに二次元表示用部分画像データに対応する二次元画像、たとえばウインドウ枠や文字、操作ボタンを二次元表示させる。さらに、三次元表示制御部１０１ｃは、モニタ制御回路１０３に指令して、表示用三次元画像データに対応する画像を空中像として三次元表示させる。

　以上で説明した実施の形態による三次元画像表示装置１００によれば、以下の作用効果が得られる。
（１）表示器２０１には、二次元配置された複数の表示画素２１１を含む表示画素群２１０が複数個、二次元配置されている。複数の表示用マイクロレンズ２２０は、複数の表示画素群２１０の各々に対応して二次元配置され、対応する表示画素群２１０を投影する。三次元出力部１０１ｂは三次元画像データを出力し、三次元表示制御部１０１ｃは三次元画像データに基づいて、表示画素２１１を制御して三次元画像データを表示用マイクロレンズ２１０を介して三次元画像として表示する。二次元出力部１０１ｄは二次元画像データを出力し、表示用二次元データ変換部１０１は二次元画像データを複数の二次元部分画像データに分割し、二次元部分画像データの各々を複数の二次元表示用部分画像データに変換する。そして、二次元表示制御部１０１ｆは、二次元表示用部分画像データに基づいて、複数の二次元表示用部分画像データにそれぞれ対応する表示画素群２１０を制御して、二次元画像データのそれぞれを、複数の表示用二次元画像データに対応する複数の表示画素群２１０に関する表示用マイクロレンズ２２０による投影像の合成によって、二次元画像として表示させるようにした。したがって、文字やウインドウ枠等の二次元情報については、表示空中像面Ｓに二次元表示されるので、二次元情報がｚ軸方向に奥行きを有する像として表示されることがなくなり、ユーザによる二次元情報の観察が容易になる。

　さらに、１個の表示用マイクロレンズ２２０について１６個の合成表示画素２１２を対応させてパターンＰｔを割り当てている。このため、１個の表示画素群２１０に１画素分の情報を割り当てる場合と比べて分解能が１６倍に向上するので、ユーザは細かい文字等であっても困難なく観察できる。なお、原理的には１個の表示用マイクロレンズ２２０について、１６×１６個の表示画素２１１を対応させてパターンＰｔを割り当てることも可能である。ただし、二次元情報は、表示用マイクロレンズ２２０によって基本的には減少する。このため、本実施の形態においては、二次元表示の画質を確保するために、表示画素２１１の配列密度よりも低い分解能となるように合成表示画素２１２を設定している。しかし、表示器２０１の階調性能が十分に高い場合には、表示用マイクロレンズ２２０によって減少した情報を補える場合には、１６×１６個の表示画素２１１に対応させてパターンＰｔを割り当てることができる。

　本実施の形態による三次元画像表示装置１００は、マイクロレンズアレイを用いた焦点可変の画像合成方法を発展させたものであり、複数の表示用マイクロレンズ２２０に被覆される表示画素２１１からの出力を加算して、１画素分の情報を合成する。すなわち、互いに近傍に配列された複数の表示用マイクロレンズ２２０によって被覆される領域の中から表示画素２２０を抽出し、合成瞳を構成する表示用マイクロレンズ２２０の被覆領域に相当する個数の表示画素２２０からの出力を積算して、１画素分の情報を合成する。したがって、１つの表示用マイクロレンズの被覆領域下に存在する何らかのテクスチャーを分離させて、被覆領域を複数の画素に分割する方式を用いる従来からの技術とは異なる計算方式を用いることによって、光学系を変更することなく表示画素２１１からの出力を合成できる。

（２）表示制御部１０１ｇは、表示器２０１を制御して、三次元画像と二次元画像とを同一画面に表示させるようにした。すなわち、たとえば、プレンオプティックカメラ等で取得した三次元画像データに対応する画像を三次元表示するとともに、この三次元表示された画像に対して表示の終了等の各種の操作を行うためのボタンや文字等を二次元表示することができる。したがって、三次元画像表示装置１００においても、二次元情報が空中像として二次元表示されるため、二次元画像を表示するためのディスプレイと同様にユーザは二次元情報を観察して、操作性の低下を防止できる。

（３）抽出部１０１ａは三次元画像データに含まれる二次元情報を二次元表示データとして抽出し、二次元出力部１０１ｄは、抽出部１０１ａにより抽出された二次元情報を二次元画像データとして出力するようにした。その結果、ウインドウ枠等の二次元情報が三次元画像データに含まれる場合であっても二次元表示されるので、ユーザによる視認性の低下を防止できる。

　以上で説明した実施の形態による三次元画像表示装置１００を、以下のように変形できる。
（１）表示器２０１は、プレンオプティックを応用したインテグラル型の三次元表示を行うものに限定されない。たとえば、表示用マイクロレンズアレイ２０２を備えるものに代えて、多視差型のシリンドリカルレンズを有するものでもよい。または、１個の表示用マイクロレンズに、ある１つの視線方向の画像データを形成する１個の画素が多視線分含まれていてもよい。

（２）二次元画像に対応する画像データ（パターンＰｔ）を表示画素２１１上に割り当てて発光させるものに代えて、二次元画像に対応するパターンＰｔが再現された部材を用いてもよい。この場合、パターンＰｔ、すなわち二次元情報をプリントした部材を表示用マイクロレンズアレイ２０２の下面に貼り付けるなどして、表示画素２１１と表示用マイクロレンズ２２０との間に配置すればよい。

　また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１１年第１８４７２８号（２０１１年８月２６日出願）
　日本国特許出願２０１２年第１８２９５３号（２０１２年８月２２日出願）

Claims

　三次元画像表示装置であって、
　画像データを入力する入力部と、
　前記画像データを二次元情報を有する第１の表示用画像データに変換する第１の画像変換部と、
　複数の表示画素が二次元状に配列され、前記第１の表示用画像データに応じて前記複数の表示画素から光束を射出する表示部と、
　前記複数の表示画素から射出された光束が合成されて三次元像または二次元像を形成する複数のマイクロレンズが二次元状に配列されたマイクロレンズアレイとを備える三次元画像表示装置。
　請求項１に記載の三次元画像表示装置において、
　前記画像データを三次元情報を有する第２の表示用画像データに変換する第２の画像変換部をさらに備え、
　前記表示部は、前記第１および第２の表示用画像データに応じて前記複数の表示画像から光束を射出する三次元画像表示装置。
　請求項２に記載の三次元画像表示装置において、
　前記三次元像と前記二次元像とを同一平面に表示させる三次元画像表示装置。
　三次元表示装置であって、
　二次元配置された複数の表示画素を含む表示画素群が複数個、二次元配置された表示部と、
　前記複数の表示画素群の各々に対応して二次元配置され、対応する表示画素群を投影する複数の光学部材と、
　三次元画像データを出力する三次元画像データ出力部と、
　前記三次元画像データに基づいて、前記表示画素を制御して前記三次元画像データを前記光学部材を介して三次元画像として表示する第１表示制御部と、
　二次元画像データを出力する二次元画像データ出力部と、
　前記二次元画像データを複数の二次元部分画像データに分割し、前記二次元部分画像データの各々を複数の二次元表示用部分画像データに変換する変換部と、
　前記二次元表示用部分画像データに基づいて、当該複数の二次元表示用部分画像データにそれぞれ対応する前記表示画素群を制御して、前記二次元画像データのそれぞれを、前記複数の表示用二次元画像データに対応する複数の前記表示画素群に関する前記光学部材による投影像の合成によって、二次元画像として表示する第２表示制御部とを備える三次元画像表示装置。
　三次元表示装置であって、
　二次元配置された複数の表示画素を含む表示画素群が複数個、二次元配置された表示部と、
　前記複数の表示画素群の各々に対応して二次元配置され、対応する表示画素群を投影する複数の光学部材と、
　三次元画像データを出力する三次元画像データ出力部と、
　前記三次元画像データに基づいて、前記表示画素を制御して前記三次元画像データを前記光学部材を介して三次元画像として表示する第１表示制御部と、
　二次元画像データを出力する二次元画像データ出力部と、
　前記二次元画像データを複数の二次元部分画像データに分割し、前記二次元部分画像データの各々を複数の二次元表示用部分画像データに変換する変換部と、
　前記二次元表示用部分画像データに基づいて、当該複数の二次元表示用部分画像データにそれぞれ対応する前記表示画素群を制御して、前記二次元画像データのそれぞれを、前記複数の表示用二次元画像データに対応する複数の前記表示画素群に関する前記光学部材による投影像の合成によって、二次元画像として表示する第２表示制御部と、
　前記表示部を制御して、前記三次元画像と前記二次元画像とを同一画面に表示させる第３表示制御部とを備える三次元画像表示装置。
　請求項４に記載の三次元画像表示装置において、
　前記表示部を制御して、前記三次元画像と前記二次元画像とを同一画面に表示させる第３表示制御部をさらに備える三次元画像表示装置。
　請求項４乃至６の何れか一項に記載の三次元画像表示装置において、
　前記三次元画像データに含まれる二次元情報を抽出する抽出部をさらに備え、
　前記二次元画像データ出力部は、前記抽出部により抽出された前記二次元情報を前記二次元画像データとして出力する三次元画像表示装置。
　請求項４乃至７の何れか一項に記載の三次元画像表示装置において、
　前記変換部は、前記二次元表示用部分画像データが再現された二次元部材により構成され、前記光学部材の光軸方向に関して前記光学部材と前記表示画素との間に配置される三次元画像表示装置。
　請求項４乃至８の何れか一項に記載の三次元画像表示装置において、
　前記光学部材は、前記二次元画像を当該光学部材のレンズ面、または当該光学部材の焦点距離以上離れた空中の像平面に投影する三次元画像表示装置。
　請求項４乃至９の何れか一項に記載の三次元画像表示装置において、
　前記光学部材は、マイクロレンズまたはシリンドリカルレンズにより構成される三次元画像表示装置。