JP6335623B2 - 立体映像表示装置 - Google Patents

Description

本願発明は、インテグラルフォトグラフィ（ＩＰ：Integral Photography）方式の立体映像を表示する立体映像表示装置に関する。

インテグラル立体テレビは、特殊な眼鏡が不要で裸眼による立体視が可能な３次元映像システムである（例えば、特許文献１）。図１０に示すように、従来のインテグラル立体テレビ９は、液晶パネルなどの画像表示パネルＰと、その画像表示パネルＰの前面に配置されたレンズアレイＬ_Ａとを備える。このレンズアレイＬ_Ａは、要素レンズＬ_Ｐが２次元状に配列されたものである。また、要素レンズＬ_Ｐと要素画像Ｇとが対応しており、要素レンズＬ_Ｐにより要素画像Ｇが空間中に投影され、立体像Ｚが形成される。

特許第４７４１３９５号公報（図２２〜図２４）

従来のインテグラル立体テレビ９において、立体映像の画素数、視域及び奥行き再現範囲を向上させるため、画像表示パネルＰで非常に多くの画素を表示する必要がある。しかし、現時点では、スーパーハイビジョンを超える画素数の画像表示パネルＰが存在せず、単体の画像表示パネルＰによるインテグラル立体映像の品質向上は困難である。そこで、インテグラル立体テレビ９において、複数の画像表示パネルＰを用いて、多画素化する技術が必要となる。

インテグラル立体テレビ９の多画素化に際して、以下のような課題がある。
複数の画像表示パネルＰをそのまま並べただけでは、各画像表示パネルＰにベゼル部分（枠）が存在するため、そのベゼル部分で表示映像の切れ目が生じ、再生される立体映像にも同様の切れ目が生じる。現時点では、ベゼル部分が存在しない画像表示パネルＰを製造することは難しいため、複数の表示映像を切れ目が無いように結合する必要がある。

このため、各画像表示パネルＰの表示映像を拡大結像させて結合する拡大光学系を導入する。拡大光学系としてレンズアレイを用いると、クロストークによる解像度劣化が生じ、立体映像の品質を劣化させてしまう。そこで、インテグラル立体テレビ９の多画素化に際して、拡大光学系のクロストークを減少させることが課題となる。

本願発明は、拡大光学系のクロストークを減少させた立体映像表示装置を提供することを課題とする。

前記した課題に鑑みて、本願発明に係る立体映像表示装置は、立体映像を多画素化して立体表示するインテグラルフォトグラフィ方式の立体映像表示装置であって、同一平面上に複数配置されたバックライトと、バックライトに対応して配置された表示パネルと、表示パネルに対応して配置された正立拡大光学系と、拡散板と、要素レンズが２次元に配列された表示用レンズアレイと、を備えることを特徴とする。

かかる構成によれば、立体映像表示装置は、バックライトによって、光を照射する。また、立体映像表示装置は、表示パネルによって、対応するバックライトからの光により、立体映像が分割された分割立体映像のそれぞれを表示する。そして、立体映像表示装置は、正立拡大光学系において、拡大用レンズアレイの組に対応する表示パネルの枠が表示されないように、表示パネルで表示された分割立体映像のそれぞれを拡大する。

また、立体映像表示装置は、拡散板上で、正立拡大光学系からの分割立体映像を結合することで、立体映像を多画素化する。そして、立体映像表示装置は、表示用レンズアレイによって、拡散板で多画素化された立体映像を立体表示する。

ここで、正立拡大光学系は、表示パネルの側から順に、要素レンズを２次元に配列した第１拡大用レンズアレイと、第１拡大用レンズアレイに対向する第２拡大用レンズアレイと、第２拡大用レンズアレイに対向する凹レンズとを備える。
さらに、バックライトは、フレネルレンズが配置されたＬＥＤ光源であり、照射する光の指向性が、第１拡大用レンズアレイの要素レンズにおける入射面側のレンズ中心と出射面側のレンズ外縁とを結ぶ直線と、第１拡大用レンズアレイの光軸とのなす角以下となる。
このように、立体映像表示装置は、指向性の高いバックライトを用いることから、拡大光学系のクロストークを減少させる。

本願発明によれば、以下のような優れた効果を奏する。
本願発明によれば、指向性の高いバックライトを用いて、拡大光学系のクロストークを減少させるので、クロストークによる解像度劣化が発生せず、立体映像の画質劣化を抑制することができる。

本願発明の第１実施形態に係る立体映像表示装置の構成を表す概略図である。 図１の拡大光学系の構成を表す概略図である。 図１のバックライトの指向性を説明する説明図である。 （ａ）〜（ｄ）は立体映像の拡大を説明する説明図である。 本願発明の第２実施形態に係る立体映像表示装置において、補正段階での構成を表す概略図である。 本願発明の第２実施形態に係る立体映像表示装置において、表示段階での構成を表す概略図である。 図５の歪み補正装置の構成を示すブロック図である。 （ａ）及び（ｂ）はレンズ歪みの補正を説明する説明図である。 （ａ）は補正段階での動作を示すフローチャートであり、（ｂ）は表示段階での動作を示すフローチャートである。 （ａ）及び（ｂ）は従来のインテグラル立体テレビを説明する説明図である。

以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

（第１実施形態）
［立体映像表示装置の構成］
図１を参照し、本願発明の第１実施形態に係る立体映像表示装置１の構成について、説明する。
図１のように、立体映像表示装置１は、インテグラルフォトグラフィ方式で立体映像を多画素化して表示するものであり、バックライト１０と、表示パネル２０と、拡大光学系３０と、拡散板４０と、表示用レンズアレイ５０とを備える。

バックライト１０は、同一平面上に複数配置され、高い指向性で光を表示パネル２０に照射するものである。例えば、バックライト１０は、上下左右に並ぶように４個配置される。このバックライト１０としては、前面にフレネルレンズが配置されたＬＥＤ（Light Emitting Diode）光源があげられる（例えば、パイフォトニクス株式会社、製品名「ホロライト」）。
なお、バックライト１０の指向性は、詳細を後記する。また、バックライト１０は、後記する表示パネル２０から任意の距離に配置することができる。

表示パネル２０は、バックライト１０に対応するように同一平面上に複数配置され、バックライト１０からの光により、立体映像が分割された分割立体映像のそれぞれを表示する非発光型の表示素子である。例えば、表示パネル２０は、バックライト１０に正対させて、上下左右に並ぶように４個配置される。また、表示パネル２０は、後記する拡大用レンズアレイ３２Ａ，３２Ｂの間に表示パネル２０の光を集光できる位置に配置される。

また、表示パネル２０は、分割立体映像を表示する表示画面２２と、その構造上、分割立体映像が表示されないベゼル部分（枠）２４とを有している。この表示パネル２０としては、スーパーハイビジョン（７６８０×４３２０画素）の透過型液晶ディスプレイがあげられる。

ここで、表示パネル２０が表示する分割立体映像について、簡単に説明する。
例えば、一般的なＩＰ立体カメラで被写体を撮影し、その立体映像（要素画像群）を表示パネル２０と同数（４個）に分割する。分割した立体映像を表示パネルの大きさに合わせて拡大することで、分割立体映像（分割要素画像群）を生成できる。そして、各表示パネル２０は、それぞれの位置に対応した分割立体映像を表示する。

拡大光学系３０は、表示パネル２０に対応するように同一平面上に複数配置され、対応する表示パネル２０のベゼル部分２４が表示されないように、表示パネル２０で表示された分割立体映像のそれぞれを拡大するものである。例えば、拡大光学系３０は、表示パネル２０と正対させて、上下左右に並ぶように４個配置される。

拡大光学系３０は、図２のように、一組の拡大用レンズアレイ３２Ａ，３２Ｂと、凹レンズ３６とを備える。
拡大用レンズアレイ３２Ａ，３２Ｂは、２次元に配列された要素レンズ３４で構成される。また、拡大用レンズアレイ３２Ａ，３２Ｂは、互いに対向するように２個配置される。
凹レンズ３６は、拡大用レンズアレイ３２Ｂに対向するように１個配置され、拡大用レンズアレイ３２Ｂからの出射光を拡大するものである。
ここで、拡大用レンズアレイ３２Ａが表示パネル２０の側に位置し、凹レンズ３６が拡散板４０の側に位置し、拡大用レンズアレイ３２Ｂが拡大用レンズアレイ３２Ａと凹レンズ３６との間に位置する。

このような構成により、拡大光学系３０は、被写体の正立等倍像βを拡大する正立拡大光学系として機能する。
なお、拡大光学系３０として、「特開２０００−２８４２１７号公報」に記載された正立変倍アレイレンズ装置を用いることもできる。

図１に戻り、立体映像表示装置１の構成について、説明を続ける。
拡散板４０は、拡大光学系３０からの分割立体映像を結合することで、立体映像を多画素化するものである。例えば、拡散板４０は、拡大光学系３０（凹レンズ３６）の結像位置に１個配置される。この拡散板４０としては、拡大光学系３０からの出射光を拡散させる樹脂をコーティングした拡散シートがあげられる。
なお、多画素化とは、ＩＰ立体カメラで撮影された立体映像の画素数を倍増させることを言う。

表示用レンズアレイ５０は、２次元に配列された要素レンズ５２で構成され、拡散板４０で多画素化された立体映像を立体表示するものである。例えば、表示用レンズアレイ５０は、表示用レンズアレイ５０の焦点距離に拡散板４０が位置するように、１個配置される。

＜バックライトの指向性＞
図３を参照し、バックライト１０の指向性について、説明する。
バックライト１０は、拡大光学系３０のクロストークを少なくするために、指向性を高くする必要がある。図３のように、バックライト１０の指向性は、直線Ｌ１と、拡大用レンズアレイ３２Ａの光軸Ｌ２とのなす角θ以下であればよい。この直線Ｌ１は、拡大用レンズアレイ３２Ａで入射面側のレンズ中心Ｃと、出射面側のレンズ外縁Ｏとを結んだものである。例えば、バックライト１０の指向性は、１０°以下である。このようにして、バックライト１０は、拡大用レンズアレイ３２Ａ，３２Ｂにおいて隣接する要素レンズ３４への迷光を抑え、クロストークを減少させることができる。

＜立体映像の拡大＞
図４を参照し、立体映像表示装置１における立体映像の拡大について、説明する。
図４（ａ）のように、拡大用レンズアレイ３２Ａ，３２Ｂは、拡大用レンズアレイ３２Ａ，３２Ｂの間に表示パネル２０の光が集光される位置を中心として、被写体９０の反対側に被写体９０の正立等倍像９２を形成する。そこで、図４（ｂ）のように、拡大用レンズアレイ３２Ｂの側に凹レンズ３６を配置する。すると、凹レンズ３６は、被写体９０を拡大して、被写体９０の正立拡大像９４を形成できる。

従って、図４（ｃ）及び（ｄ）のように、拡大光学系３０は、表示パネル２０の表示画面２２から出射された分割立体映像を、表示パネル２０のベゼル部分２４が表示されないように拡大し、拡散板４０の位置に結像させる。このとき、拡散板４０では、ある拡大光学系３０で拡大された分割立体映像と、隣接する他の拡大光学系３０で拡大された分割立体映像との境界が一致する。このようにして、立体映像表示装置１は、拡大光学系３０からの各分割立体映像を隙間なく結合させて、立体映像を多画素化できる。

[作用・効果]
以上説明したように、立体映像表示装置１は、立体映像の多画素化が可能になるので、ＩＰ立体映像の品質を向上させることができる。ここで、立体映像表示装置１は、表示パネル２０の個数に制限がないため、上限なく多画素化することが可能である。
また、立体映像表示装置１は、拡大光学系３０でのクロストークを減少させるので、クロストークによる解像度劣化が発生せず、立体映像の画質劣化を抑制することができる。

（第２実施形態）
図５を参照し、本願発明の第２実施形態に係る立体映像表示装置１Ｂの構成について、第１実施形態と異なる点を説明する。
立体映像表示装置１Ｂは、拡大光学系３０に起因したレンズ歪みを補正する点が、第１実施形態と異なる。

立体映像表示装置１Ｂでレンズ歪みを補正する手順について、簡単に説明する。
図５のように、リファレンスシート４２を拡散板４０Ｂに取り付ける。また、表示用レンズアレイ５０を立体映像表示装置１Ｂから取り外す（一点鎖線で図示）。そして、歪み補正装置（歪み補正手段）６０は、後記するリファレンス画像に射影変換及びアフィン変換を施して、表示パネル２０Ｂに出力する。このとき、観察者（不図示）が、レンズ歪みを補正できたか否かを目視で判定し、その判定結果を歪み補正装置６０に入力する。
なお、立体映像表示装置１Ｂがレンズ歪みを補正する段階を「補正段階」と呼ぶ。

レンズ歪みを補正した後、図６のように、拡散板４０Ｂからリファレンスシート４２を取り外し（一点鎖線で図示）、表示用レンズアレイ５０を配置する。そして、歪み補正装置６０は、入力された立体映像に射影変換及びアフィン変換を施して、表示パネル２０Ｂに出力する。
このようにして、立体映像表示装置１Ｂは、レンズ歪みが補正された立体映像を表示することができる。
なお、レンズ歪みを補正した後、立体映像表示装置１Ｂが立体映像を表示する段階を「表示段階」と呼ぶ。

［立体映像表示装置の構成］
立体映像表示装置１Ｂの構成について、第１実施形態と異なる点を説明する（適宜図５，図６参照）。
表示パネル２０Ｂは、補正段階において、歪み補正装置６０からリファレンス画像が入力され、入力されたリファレンス画像を表示する。ここで、全ての表示パネル２０Ｂは、同一のリファレンス画像を表示する。このリファレンス画像は、所定のパターン、例えば、同一の直角三角形がメッシュ状に描かれた画像である。この他、リファレンス画像は、各要素レンズ５２の中心を点で表したドットパターンが描かれてもよい。
表示段階では、表示パネル２０Ｂは、第１実施形態と同様である。

拡散板４０Ｂは、補正段階において、リファレンスシート４２が出射面側（表示用レンズアレイ５０の側）に取り付けられる。このリファレンスシート４２は、リファレンス画像と同一パターンが描かれたシートである。ここで、リファレンスシート４２に描かれた直角三角形又は点の数は、全ての表示パネル２０Ｂに表示されたリファレンス画像の直角三角形又は点を合計した数と等しくなる。
なお、表示段階では、拡散板４０Ｂは、第１実施形態と同様である。

歪み補正装置６０は、補正段階において、予め設定された画像設定パラメータに基づいてリファレンス画像を生成し、生成したリファレンス画像を表示パネル２０Ｂに出力するものである。また、歪み補正装置６０は、リファレンス画像の立体像がリファレンスシート４２に一致するように射影変換及びアフィン変換を施す。
なお、観察者が、リファレンス画像の立体像がリファレンスシート４２に一致したか否かを目視で判定し、その判定結果を歪み補正装置６０に入力することとする。

また、歪み補正装置６０は、表示段階において、リファレンス画像の立体像をリファレンスシート４２に一致させたときの射影変換行列及びアフィン変換行列を用いて、立体映像に射影変換及びアフィン変換を施し、レンズ歪みを補正する。

[歪み補正装置の構成]
図７を参照し、歪み補正装置６０の構成について、説明する。
図７のように、歪み補正装置６０は、リファレンス画像生成手段６２と、射影変換手段６４と、アフィン変換手段６６と、制御手段６８とを備える。

リファレンス画像生成手段６２は、外部から画像設定パラメータが入力され、入力された画像設定パラメータに基づいて、リファレンス画像を生成するものである。この画像設定パラメータは、例えば、三角形メッシュの数や大きさといった、リファレンス画像の生成に必要なパラメータである。

射影変換手段６４は、リファレンス画像生成手段６２からリファレンス画像が入力され、入力されたリファレンス画像の制御点がリファレンスシート４２に一致するように、リファレンス画像を射影変換するものである。

具体的には、射影変換手段６４は、図８（ａ）のように、リファレンス画像の４隅を制御点Ｐｔとして、リファレンス画像の制御点Ｐｔがリファレンスシート４２の４隅に一致するように平面射影変換する。
なお、図８では、リファレンス画像の三角形メッシュを破線で図示し、リファレンスシート４２の三角形メッシュを実線で図示した。また、図８（ａ）では、リファレンス画像及びリファレンスシート４２の右下部分のみを図示した。

アフィン変換手段６６は、射影変換手段６４からリファレンス画像が入力され、入力されたリファレンス画像とリファレンスシート４２との三角形メッシュが一致するように、リファレンス画像をアフィン変換するものである。

具体的には、アフィン変換手段６６は、図８（ｂ）のように、リファレンス画像の各三角形メッシュの頂点を制御点Ｐｔとして、全ての三角形メッシュで個別にアフィン変換を施す。
なお、図８（ｂ）では、制御点Ｐｔ、リファレンス画像及びリファレンスシート４２の三角形メッシュの一部のみを図示した。

制御手段６８は、観察者から判定結果が入力され、入力された判定結果に基づいて、射影変換手段６４及びアフィン変換手段６６に指令するものである。この制御手段６８による指令は、歪み補正装置６０の動作で説明する。

ここで、制御手段６８は、図示を省略したマウス、キーボードを観察者が操作することで、判定結果が入力される。
観察者は、リファレンス画像の立体像がリファレンスシート４２に一致した場合、制御手段６８に“一致”を入力する。
また、観察者は、リファレンス画像の立体像がリファレンスシート４２に一致していない場合、制御手段６８に“不一致”を入力する。

[歪み補正装置の動作]
＜補正段階＞
図９を参照し、歪み補正装置６０における補正段階及び表示段階の動作を順に説明する（適宜図７参照）。
図９（ａ）のように、リファレンス画像生成手段６２は、画像設定パラメータに基づいて、リファレンス画像を生成する（ステップＳ１）。
射影変換手段６４は、ステップＳ１で生成したリファレンス画像の４隅を制御点Ｐｔとして、リファレンス画像の制御点Ｐｔがリファレンスシート４２の４隅に一致するように射影変換する（ステップＳ２）。

アフィン変換手段６６は、ステップＳ２で射影変換したリファレンス画像の各三角形メッシュの頂点を制御点Ｐｔとして、全ての三角形メッシュがリファレンスシート４２の三角形メッシュに一致するように、アフィン変換する（ステップＳ３）。
アフィン変換手段６６は、ステップＳ３でアフィン変換したリファレンス画像を表示パネル２０Ｂに出力する（ステップＳ４）。

観察者は、表示パネル２０Ｂに出力されたリファレンス画像が、リファレンスシート４２に一致したか否かを目視で判定する。そして、観察者は、その判定結果を制御手段６８に入力する。
制御手段６８は、観察者から入力された判定結果が“一致”であるか“不一致”であるかを判定する（ステップＳ５）。

判定結果が“一致”の場合（ステップＳ５でＹｅｓ）は、制御手段６８は、射影変換手段６４及びアフィン変換手段６６にステップＳ６の実行を指令する。
射影変換手段６４は、ステップＳ２で射影変換したときの射影変換行列を、図示を省略したメモリに記憶する（ステップＳ６）。
アフィン変換手段６６は、ステップＳ３でアフィン変換したときのアフィン変換行列を、図示を省略したメモリに記憶し（ステップＳ６）、補正段階の処理を終了する。

判定結果が“不一致”の場合（ステップＳ５でＮｏ）は、制御手段６８は、射影変換手段６４及びアフィン変換手段６６にステップＳ７の実行を指令する。
射影変換手段６４は、ステップＳ２で射影変換したときの射影変換行列を予め設定された値だけ変更する（ステップＳ７）。
アフィン変換手段６６は、ステップＳ３でアフィン変換したときのアフィン変換行列を予め設定された値だけ変更し（ステップＳ７）、ステップＳ２の処理に戻る。
つまり、判定結果が“一致”になるまで、射影変換手段６４及びアフィン変換手段６６は、メモリに記憶された射影変換行列及びアフィン変換行列を変更しながら、リファレンス画像に繰り返し射影変換及びアフィン変換を施す。

＜表示段階＞
図９（ｂ）のように、射影変換手段６４は、外部から立体映像が入力される（ステップＳ１０）、
射影変換手段６４は、ステップＳ１０で入力された立体映像に、ステップＳ６で記憶した射影変換行列を用いて、射影変換を施す（ステップＳ１１）。

アフィン変換手段６６は、ステップＳ１１で射影変換した立体映像に、ステップＳ６で記憶したアフィン変換行列を用いて、アフィン変換を施す（ステップＳ１２）。
アフィン変換手段６６は、ステップＳ１２でアフィン変換した立体映像を表示パネル２０Ｂに出力する（ステップＳ１３）。
このようにして、歪み補正装置６０は、レンズ歪みが補正された立体映像を表示することができる

なお、レンズ歪みの補正方法は、下記の参考文献１に記載されているため、これ以上の説明を省略する。
参考文献１：岡市、日浦、三浦、洗井:“歪み補正手法を用いた複数のプロジェクタによるインテグラル立体映像表示,” 映情学年次大,11-5 (2013)

[作用・効果]
以上説明したように、立体映像表示装置１Ｂは、第１実施形態と同様の効果に加え、射影変換とアフィン変換とを組み合わせて、レンズ歪みを補正することができる。これによって、立体映像表示装置１Ｂは、拡大像を精緻に補正し、複数の拡大像を正確に結合することができる。

１，１Ｂ 立体映像表示装置
１０ バックライト
２０，２０Ｂ 表示パネル
３０ 拡大光学系
４０，４０Ｂ 拡散板
４２ リファレンスシート
５０ 表示用レンズアレイ
６０ 歪み補正装置（歪み補正手段）
６２ リファレンス画像出力手段
６４ 射影変換手段
６６ アフィン変換手段
６８ 制御手段

Claims (2)

1. 立体映像を多画素化して立体表示するインテグラルフォトグラフィ方式の立体映像表示装置であって、
   同一平面上に複数配置され、光を照射するバックライトと、
   前記バックライトに対応して配置され、対応する当該バックライトからの光により、前記立体映像が分割された分割立体映像のそれぞれを表示する表示パネルと、
   前記表示パネルに対応して配置され、対応する当該表示パネルの枠が表示されないように、当該表示パネルで表示された分割立体映像のそれぞれを拡大する正立拡大光学系と、
   前記正立拡大光学系からの分割立体映像を結合することで、前記立体映像を多画素化する拡散板と、
   要素レンズが２次元に配列され、前記拡散板で多画素化された立体映像を立体表示する表示用レンズアレイと、を備え、
   前記正立拡大光学系は、前記表示パネルの側から順に、要素レンズを２次元に配列した第１拡大用レンズアレイと、前記第１拡大用レンズアレイに対向する第２拡大用レンズアレイと、前記第２拡大用レンズアレイに対向する凹レンズとを備え、
   前記バックライトは、フレネルレンズが配置されたＬＥＤ光源であり、照射する前記光の指向性が、前記第１拡大用レンズアレイの要素レンズにおける入射面側のレンズ中心と出射面側のレンズ外縁とを結ぶ直線と、前記第１拡大用レンズアレイの光軸とのなす角以下であることを特徴とする立体映像表示装置。
2. 前記表示パネルに表示されたリファレンス画像と、前記リファレンス画像と同一パターンが描かれたリファレンスシートとを一致させたときの射影変換行列及びアフィン変換行列を用いて、前記立体映像に射影変換及びアフィン変換を施す歪み補正手段、
   をさらに備えることを特徴とする請求項１に記載の立体映像表示装置。

Images