JP4578294B2 - 立体視画像表示装置、立体視画像表示方法及びコンピュータプログラム - Google Patents

Description

本発明は、観者の両眼の視差を利用して、観者がどの位置から見ようと立体画像を網膜に形成することができ、被写体の空間的位置関係を自然に把握することができる立体視画像を生成して表示する立体視画像表示装置、立体視画像表示方法及びコンピュータプログラムに関する。

近年の画像処理技術の急速な進展に伴い、偏光レンズ等の光学レンズを組み込んだ特殊な眼鏡を使用することにより立体映像を楽しむことができる立体視画像表示装置だけでなく、裸眼であっても立体映像を楽しむことができる立体視画像表示装置が多々開発されている。従来の立体視画像表示装置では、注視点が単一である場合の立体視画像を生成して表示しており、空間の一部領域については鮮明に認識することができることから、空間の位置関係を正確に認識することができるのに対し、他の領域については、いわゆるぼけた画像として認識することになることから、空間全域にわたって位置関係を正確に認識することが困難であるという問題点があった。

図１６は、従来の立体視画像表示の概念を示す模式図である。立体視画像が投影されるスクリーン１を介して、投影されている被写体（図１６は車両）の注視点２を見た場合、注視点２では視差が生じないことから、立体視画像を鮮明に視認することができる。一方、注視点２から離れた位置の立体視画像は、視差が大きくなるほど、左眼網膜に形成された立体画像３と右眼網膜に形成された立体画像４との乖離が大きくなり、結果としてぼやけた状態で認識される。図１７は、従来の立体視画像表示でのぼやける領域を示す図である。図１７のように、従来の立体視画像表示装置では、単焦点レンズ５、５、・・・を用いており、注視点２近傍の被写体は鮮明に視認することができるが、注視点２から離れた領域、例えばハッチングを施した領域６では、左右画像の視差が所定値より大きく、ぼやけた画像として認識される。

斯かる問題点を解消すべく、例えば特許文献１及び２では、可変焦点レンズを用い、観者とスクリーン１とのあいだの複数の異なる位置に注視点を設け、明瞭に視認することができる領域を広げることによって、観者の位置、注視点等の相違による立体画像の見え方を均一化している。図１８は、可変焦点レンズを用いた場合の立体視画像表示でのぼやける領域を示す図である。図１８のように、可変焦点レンズ７、７、・・・を用いることにより、複数の注視点２、２、・・・を設けることができ、可変焦点レンズ７、７、・・・を多数用い、注視点２、２、・・・の配置を工夫することによって、図１７のハッチングを施した領域６、すなわち左右画像の視差が所定値より大きく、ぼやけた画像として認識される領域を縮小、又は排除することが可能となる。
特許第３０６４９９２号公報 特開２００１−２３８２２９号公報

しかし、上述した可変焦点レンズ７、７、・・・を用いた立体視画像表示システムでぼやける領域を完全に排除するためには、可変焦点レンズ７を多数備える必要が有り、コストが増大するという問題点があった。

また、可変焦点レンズ７を多数備えた場合であっても、例えばどの注視点からも奥行き方向に離れた位置に存在する被写体の画像は、やはりどの注視点においても左右画像の視差が所定値より大きくなり、ぼやけた画像として認識される。したがって、観者が被写体の空間的位置関係を把握しようと視点を多々変更した場合であっても、ぼやけた画像としか認識することができず、ぼやけた画像として認識される領域を完全には排除することができないという問題点があった。

これは、従来の立体視表示画像システムが、観者が立体視画像をぼやけることなく視認することができる視差の限界値（以下、限界視差という）を考慮していないことに起因している。限界視差は、観者とスクリーンとの位置関係に基づき求めることができる。

また、従来の立体視表示画像システムは、複数撮像した画像の中から、最も焦点が合っている画像を抽出するために、画像に含まれる画素数すべてについて比較判定処理を行う必要がある。すなわち、全ての画素について、相関度を算出し、視差を算出する。そして算出した視差を複数の画像間で比較する必要が有り、計算機の処理負荷が膨大になるという問題点も残されていた。

本発明は斯かる事情に鑑みてなされたものであり、可変焦点レンズを用いることなく、立体視画像のすべての領域を正確に視認することができ、計算機の処理負荷を軽減することができる立体視画像表示装置、立体視画像表示方法及びコンピュータプログラムを提供することを目的とする。

また本発明は、限界視差を可能な限り正確に算出し、複数の観者がどの位置から画像を観た場合であっても、自然な立体画像を網膜に形成することができる立体視画像表示装置、立体視画像表示方法及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る立体視画像表示装置は、観者の網膜に立体画像を形成する立体視画像を生成して表示する立体視画像表示装置において、観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出する限界視差算出手段と、算出した限界視差を直径とする球に内接する直方体の寸法を算出する直方体寸法算出手段と、算出した直方体で被写体を含む空間を複数の空間に分割する空間分割手段と、分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成する注視点画像生成手段と、生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成する注視点画像張り合わせ手段と、生成した単一の立体視画像を表示する画像表示手段とを備えることを特徴とする。

また、第２発明に係る立体視画像表示装置は、第１発明において、立体視画像を表示する面と観者との相対位置を検出する相対位置検出手段を備え、前記限界視差は、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出するようにしてあることを特徴とする。

また、第３発明に係る立体視画像表示装置は、第１又は第２発明において、前記限界視差算出手段は、前記限界視差を観者の個人的特徴に基づいて補正する補正手段を備えることを特徴とする。

また、第４発明に係る立体視画像表示装置は、第１乃至第３発明のいずれか１つにおいて、前記注視点画像張り合わせ手段は、分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出する手段と、一の空間に対して他の空間を平行移動して輝度差を再算出する手段と、算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求める手段とを備えることを特徴とする。

また、第５発明に係る立体視画像表示方法は、観者の網膜に立体画像を形成する立体視画像を生成して表示する立体視画像表示方法において、観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出し、算出した限界視差を直径とする球に内接する直方体の寸法を算出し、算出した直方体で被写体を含む空間を複数の空間に分割し、分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成し、生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成し、生成した単一の立体視画像を表示することを特徴とする。

また、第６発明に係る立体視画像表示方法は、第５発明において、立体視画像を表示する面と観者との相対位置を検出し、前記限界視差は、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出することを特徴とする。

また、第７発明に係る立体視画像表示方法は、第５又は第６発明において、前記限界視差を観者の個人的特徴に基づいて補正することを特徴とする。

また、第８発明に係る立体視画像表示方法は、第５乃至第７発明のいずれか１つにおいて、分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出し、一の空間に対して他の空間を平行移動して輝度差を再算出し、算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求めることを特徴とする。

また、第９発明に係るコンピュータプログラムは、観者の網膜に立体画像を形成する立体視画像を生成して表示するコンピュータで実行可能なコンピュータプログラムにおいて、前記コンピュータを、観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出する限界視差算出手段、算出した限界視差を直径とする球に内接する直方体の寸法を算出する直方体寸法算出手段、算出した直方体で被写体を含む空間を複数の空間に分割する空間分割手段、分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成する注視点画像生成手段、及び生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成する注視点画像張り合わせ手段として機能させることを特徴とする。

また、第１０発明に係るコンピュータプログラムは、第９発明において、前記コンピュータを、立体視画像を表示する面と観者との相対位置を検出する相対位置検出手段として機能させ、前記限界視差を、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出するよう機能させることを特徴とする。

また、第１１発明に係るコンピュータプログラムは、第９又は第１０発明において、前記コンピュータを、前記限界視差を観者の個人的特徴に基づいて補正する補正手段として機能させることを特徴とする。

また、第１２発明に係るコンピュータプログラムは、第９乃至第１１発明のいずれか１つにおいて、前記コンピュータを、分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出する手段、一の空間に対して他の空間を平行移動して輝度差を再算出する手段、及び算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求める手段として機能させることを特徴とする。

第１発明、第５発明、及び第９発明では、観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出し、算出した限界視差内である直方体の寸法を算出し、算出した直方体で被写体を含む空間を複数の空間に分割し、被写体を含む空間ごとに単一の注視点に対する被写体の立体視画像を生成し、生成した複数の立体視画像を張り合わせることで単一の立体視画像を生成して表示出力する。これにより、観者がぼやけた画像として認識することが無い視差の範囲内である直方体で空間を分割し、分割した空間ごとに従来と同様に立体視画像を生成してから、これらを張り合わせて立体視画像を生成するので、生成された立体視画像のどの領域においても限界視差内の立体視画像であり、観者がどの位置、どの角度から立体視画像を観る場合であっても、網膜にぼやけた立体画像を形成することがない。

したがって、可変焦点レンズを用いずに、立体視画像のすべての領域を正確に視認することができ、被写体の空間的位置関係を正確に把握することが可能となる。また、被写体が存在する直方体空間で生成した立体視画像のみを張り合わせれば足りることから、計算機処理負荷を大幅に削減することができ、計算コストの軽減を図ることが可能となる。

第２発明、第６発明、及び第１０発明では、立体視画像を表示する面と観者との相対位置を検出する相対位置検出手段を備えており、限界視差を、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出する。これにより、観者の観る位置によって限界視差を正確に算出することができ、観者に適合した立体視画像を表示することが可能となる。

第３発明、第７発明、及び第１１発明では、限界視差を観者の個人的特徴に基づいて補正する補正手段を備える。これにより、観者の個人的な特徴点、例えば近視又は遠視による網膜位置の前後、水晶体の汚れの有無等に応じて算出した限界視差を補正することで、より正確に限界視差を算出することができ、観者により適合した立体視画像を表示することが可能となる。

第４発明、第８発明、及び第１２発明では、分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出し、一の空間に対して他の空間を平行移動して輝度差を再算出しつつ、算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求める。これにより、単純に立体視画像を元の空間位置で張り合わせた場合に隣接する立体視画像の境界に生じる透明部分等の隙間部分を消去することができ、境界部分においても自然な立体画像を観者の網膜に形成することができる立体視画像を生成することが可能となる。

第１発明、第５発明、及び第９発明によれば、観者がぼやけた画像として認識することが無い視差の範囲内である直方体で空間を分割し、分割した空間ごとに従来と同様に立体視画像を生成してから、これらを張り合わせて立体視画像を生成するので、生成された立体視画像のどの領域においても限界視差内の立体視画像であり、観者がどの位置、どの角度から立体視画像を観る場合であっても、網膜にぼやけた立体画像を形成することがない。

したがって、可変焦点レンズを用いずに、立体視画像のすべての領域を正確に視認することができ、被写体の空間的位置関係を正確に把握することが可能となる。また、被写体が存在する直方体空間で生成した立体視画像のみを張り合わせれば足りることから、計算機処理負荷を大幅に削減することができ、計算コストの軽減を図ることが可能となる。

第２発明、第６発明、及び第１０発明によれば、観者の観る位置によって限界視差を正確に算出することができ、観者に適合した立体視画像を表示することが可能となる。

第３発明、第７発明、及び第１１発明によれば、観者の個人的な特徴点、例えば近視又は遠視による網膜位置の前後、水晶体の汚れの有無等に応じて算出した限界視差を補正することで、より正確に限界視差を算出することができ、観者により適合した立体視画像を表示することが可能となる。

第４発明、第８発明、及び第１２発明によれば、単純に立体視画像を元の空間位置で張り合わせた場合に隣接する立体視画像の境界に生じる透明部分等の隙間部分を消去することができ、境界部分においても自然な立体画像を観者の網膜に形成することができる立体視画像を生成することが可能となる。

（実施の形態１）
以下、本発明の実施の形態１に係る立体視画像表示装置について図面に基づいて具体的に説明する。図１は、本発明の実施の形態１に係る立体視画像表示装置１０の構成を示すブロック図である。図１に示すように、立体視画像表示装置１０は、少なくとも、ＣＰＵ（中央演算装置）１１、記憶手段１２、ＲＡＭ１３、インターネット等の外部のネットワーク網と接続する通信手段１４、入力手段１５、複数の観者が観ることができる外部の大画面表示装置２０へ表示画像データを出力する表示インタフェース１６、及びＤＶＤ、ＣＤ等の可搬型記憶媒体１８を用いる補助記憶手段１７で構成される。

ＣＰＵ１１は、内部バス１９を介して立体視画像表示装置１０の上述したようなハードウェア各部と接続されており、上述したハードウェア各部を制御するとともに、記憶手段１２に記憶されている処理プログラム、例えば限界視差を算出するプログラム、空間を限界視差内の直方体で分割するプログラム、単一の注視点に対する被写体の立体視画像を生成するプログラム、複数の立体視画像を張り合わせるプログラム等に従って、種々のソフトウェア的機能を実行する。

記憶手段１２は、内蔵される固定型記憶装置（ハードディスク）、ＲＯＭ等で構成され、通信手段１４を介した外部のコンピュータ、又はＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記憶媒体１８から取得した、立体視画像表示装置１０として機能させるために必要な処理プログラムを記憶している。記憶手段１２は、処理プログラムだけではなく、例えば外部のコンピュータから受信した被写体を撮像した画像データを画像データ記憶部１２１に記憶してある。

ＲＡＭ１３は、ＤＲＡＭ等で構成され、ソフトウェアの実行時に発生する一時的なデータを記憶する。通信手段１４は内部バス１９に接続されており、インターネット、ＬＡＮ等のネットワーク網と通信することができるよう接続することにより、処理に必要とされるデータを送受信する。

入力手段１５は、画面上の任意の位置を指示するためのマウス等のポインティングデバイス、又は画面上で表示画面の横幅等の数値データを打鍵により入力するキーボード等である。

表示インタフェース１６は、画像を表示出力する液晶表示装置（ＬＣＤ）、表示ディスプレイ（ＣＲＴ）等の外部の大画面表示装置２０に対して、表示データを送出するＬＳＩボードである。

補助記憶手段１７は、ＣＤ、ＤＶＤ等の可搬型記憶媒体１８を用い、記憶手段１２へ、ＣＰＵ１１が処理するプログラム、データ等をダウンロードする。また、ＣＰＵ１１が処理したデータをバックアップすべく書き込むことも可能である。

図２は、本発明の実施の形態１に係る立体視画像表示装置１０のＣＰＵ１１の処理手順を示すフローチャートである。立体視画像表示装置１０のＣＰＵ１１は、まず観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出する（ステップＳ２０１）。

ＣＰＵ１１は、算出した限界視差を直径とする球に内接する直方体の寸法を算出し（ステップＳ２０２）、画像データ記憶部１２１から被写体を撮像した画像データを読み出して、算出した直方体で被写体を含む空間を複数の空間に分割する（ステップＳ２０３）。そして、ＣＰＵ１１は、分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成する（ステップＳ２０４）。

ＣＰＵ１１は、複数の立体視画像の中から、順次一の立体視画像を選択し（ステップＳ２０５）、選択した立体視画像に被写体が含まれているか否かを判断する（ステップＳ２０６）。ＣＰＵ１１が、選択した立体視画像に被写体が含まれていると判断した場合（ステップＳ２０６：ＹＥＳ）、ＣＰＵ１１は、選択した立体視画像を全体の立体視画像生成用としてＲＡＭ１３に記憶し（ステップＳ２０７）、すべての立体視画像を選択したか否かを判断する（ステップＳ２０８）。ＣＰＵ１１が、選択した立体視画像に被写体が含まれていないと判断した場合（ステップＳ２０６：ＮＯ）、ＣＰＵ１１は、該立体視画像をＲＡＭ１３に記憶することなく、ステップＳ２０８へスキップする。

ＣＰＵ１１が、すべての立体視画像を選択していないと判断した場合（ステップＳ２０８：ＮＯ）、ＣＰＵ１１は、ステップＳ２０５へ戻り、上述した処理を繰り返し実行する。ＣＰＵ１１が、すべての立体視画像を選択したと判断した場合（ステップＳ２０８：ＹＥＳ）、ＣＰＵ１１は、記憶してある複数の立体視画像を張り合わせ（ステップＳ２０９）、生成した単一の立体視画像を表示インタフェース１６を介して、外部の大画面表示装置２０へ送出する（ステップＳ２１０）。

図３は、限界視差の説明図である。観者が被写体を観る場合、左右両眼３１、３２の光軸が被写体上で交差するよう、眼球の回転、水晶体の厚み調節等を行う。これにより左右両眼３１、３２の光軸が交差する点と両眼３１、３２との距離Ｌ１が変動し、被写体が投影されている表示装置２０の画面、スクリーン等と両眼３１、３２との距離Ｌ２との相対関係が変動する。

すなわち、注視点から奥行き方向に離れた値に存在する部分の画像を観る場合、距離Ｌ１と距離Ｌ２とは一致せずに相当の距離差が生じる。この距離差が次第に大きくなった場合、所定の距離差に到達した時点で、観者は「ぼやけている」と認識する。斯かる距離差での視差を限界視差と定義する。

一般に、左右両眼３１、３２の光軸が交差する点と両眼３１、３２との距離Ｌ１の逆数と、被写体が投影されている画面、スクリーン等と両眼３１、３２との距離Ｌ２の逆数との差が、±２以内である場合に、ぼやけることなく立体画像として認識することができることが知られている。したがって、限界視差は、以下の手順により算出することができる。

図４は、本発明の実施の形態１に係る立体視画像表示装置１０のＣＰＵ１１のステップＳ２０１での詳細な処理、すなわち限界視差を算出する手順を示すフローチャートである。立体視画像表示装置１０のＣＰＵ１１は、まず下記手順により実空間における限界視差を算出する（ステップＳ４０１）。

距離Ｌ１の逆数と距離Ｌ２の逆数との差が±２以内であることから、距離Ｌ１と距離ｌ２との間では、（数１）が成立する。

（数１）
（１／Ｌ２−２） ＜ １／Ｌ１ ＜ （１／Ｌ２＋２）

また、図３の視差ｄを底辺とする三角形と、両眼距離Ｅを底辺とする三角形とは相似であることから、（数２）が成立する。

（数２）
Ｌ１＝Ｌ２×Ｅ／（ｄ＋Ｅ）

（数１）及び（数２）に基づいて視差ｄについて整理すると、（数３）を導出することができ、（数３）を具備するか否かの境界での視差ｄの絶対値が限界視差Ｄとなる。

（数３）
−２×Ｌ２×Ｅ ＜ ｄ ＜ ２×Ｌ２×Ｅ

ＣＰＵ１１は、算出した限界視差Ｄ、大画面表示装置２０の画面の横幅Ｗ及び画面の水平方向の解像度Ｒに基づいて、限界視差Ｄの画素数を算出する（ステップＳ４０２）。すなわち（数４）により、限界視差Ｄを表示する画面の画素数Ｑに換算する。

（数４）
Ｑ＝Ｄ×Ｒ／Ｗ

このように、限界視差Ｄを表示装置の表示画面のピクセル単位で求めることにより、注視点を中心とし、限界視差Ｄを直径とした球の内部では、観者が被写体を「ぼやけて」認識することはない。斯かる範囲を立体視限界という。そこで、本実施の形態１では、被写体を含む空間を隙間なく分割すべく、立体視限界に内接する直方体を算出し、求めた直方体により被写体を含む空間を分割する。

図５は、記憶手段１２の画像データ記憶部１２１に記憶してある画像データの立体視画像の構図を定めるべく、空間内の任意の位置に設定した注視点及び視点を示す図である。図５の例では、被写体である車両の重心近傍に注視点ｇを設け、注視点ｇを臨む視点ｖを設けている。

そして、ＣＰＵ１１は、受け付けた注視点ｇと視点ｖとに基づいて、空間を分割する最初の直方体を決定する。図６は、分割する空間の注視点ｇ１を求める方法の説明図である。注視点ｇと視点ｖとを結ぶ線分と、三次元モデルである被写体の表面との交点Ｐ１を求める。交点Ｐ１から線分上で所定の距離Ｍだけ注視点ｇ側へ移動した点を、最初の分割空間の注視点ｇ１として求める。なお、移動距離Ｍは、Ｍ＝Ｌ×ｐ（０≦ｐ≦１）で求めた距離である。ここで、係数ｐは、交点Ｐ１付近の画像を調整するためのパラメータである。

また、Ｌは最初の分割空間の注視点ｇ１を中心とした直方体の奥行きであり、限界視差Ｄに基づいて算出する。直方体の形状は、形状パラメータｑ（０≦ｑ≦１）を限界視差Ｄに乗ずることで調整する。すなわち、ｑを大きくするほど奥行きが長く、高さと幅とが短くなる。

ＣＰＵ１１は、視点ｖと最初の分割空間の注視点ｇ１とを結ぶ線分上の任意の点ａでの視差が、限界視差Ｄに形状パラメータｑを乗じた値を超えないように点ａの座標を決定する。図７は、最初の分割空間を決定する方法を示す模式図である。ＣＰＵ１１は、視点ｖから最初の分割空間の注視点ｇ１へ向かう奥行き方向で、限界視差Ｄを超えない点ａの座標を求める。次に、対角線の交点が注視点ｇ１と一致し、対角線の長さの２分の１が注視点ｇ１と点ａとの距離に一致するよう長方形Ｄ１を決定する。

図８は、最初の分割空間の直方体の高さを求める方法を示す模式図である。ＣＰＵ１１は、図８（ａ）に示すように、長方形Ｄ１を含む平面と直交する直線上で、限界視差Ｄを越えない点ｂの座標を定める。次にＣＰＵ１１は、図８（ｂ）に示すように、注視点ｇ１を中心として、底面が長方形Ｄ１、高さが点ａと点ｂとの距離ｈの２倍となるように、最初の分割空間である直方体を決定する。

ＣＰＵ１１は、空間を分割する直方体の奥行き、高さ及び幅が決定した時点で、注視点ｇ１を中心とした直方体を、最初の分割空間として配置する。図９は、最初の分割空間を配置した状態を示す図である。図９のように、１つの直方体が１つの分割空間となり、直方体の中心が、分割空間の注視点ｇ１となる。そして、ＣＰＵ１１は、最初の分割空間である直方体の上下左右前後で隣接するよう、直方体を順次配置する。

図１０は、被写体の分割空間として直方体を配置した状態を示す図である。図１０のように、ＣＰＵ１１は、直方体内に被写体を示す３次元モデルを含まないようになるまで、繰り返し直方体を順次配置する。このように配置することで、どの直方体に含まれる３次元モデルの画像の視差も、図８（ａ）の頂点ｂの視差を超えることはない。ここで配置する直方体は、最初の直方体からの距離が離れるほど立体視画像上では小さくなるからである。

ＣＰＵ１１が、このように分割した空間ごとに立体視画像を生成する場合、視点ｖを固定し、分割空間の直方体ごとの注視点ｇ１、ｇ２、・・・、ｇｎ（ｎは自然数）に対する立体視画像を従来と同様に生成する。

立体視画像の生成は、視点ｖに近い分割空間から順次行う。例えば、図１０のように奥行き方向にｍ列（ｍは自然数）直方体が配置されている場合、ＣＰＵ１１は、１列目から順に立体視画像を生成する。２列目、３列目、・・・、ｋ（ｋは、１≦ｋ≦ｍの自然数）列目の立体視画像を生成する場合、それより前に生成した立体視画像、すなわち、１列目から（ｋ−１）列目までの立体視画像により、分割空間が視点ｖから完全に隠れてしまうときには、その分割空間については立体視画像の生成をスキップする。図１１は、１列目で生成された立体視画像の例を示す図である。このように、順次、視点ｖから観者が観ることができる立体視画像を生成することで、これらの画像を張り合わせることで、観者が大画面に表示される画像のどの部分を観た場合であっても、立体画像と認識することができる。

しかし、単純に立体視画像を張り合わせるだけでは、分割空間の境界に透明な隙間部分が生じ、不自然な立体画像となる。そこで、ＣＰＵ１１は、境界に透明な隙間部分がなくなるように、一の分割空間に対して隣接する他の分割空間を１ドットずつ移動させる。図１２は、本発明の実施の形態１に係る立体視画像表示装置１０のＣＰＵ１１の立体視画像張り合わせ処理を示すフローチャートである。

立体視画像表示装置１０のＣＰＵ１１は、生成した複数の立体視画像の中から張り合わせ処理を行う基準となる立体視画像と調整対象となる立体視画像を特定する（ステップＳ１２０１）。一般に、基準となる立体視画像は、最初の分割空間の直方体に対応する立体視画像から順次張り合わせ処理を行った立体視画像へと移動していく。

ＣＰＵ１１は、基準となる立体視画像の注視点（基準注視点）に向かって、調整対象となる立体視画像を１ドット移動し（ステップＳ１２０２）、あらかじめ背景色として登録された輝度値である点、すなわち背景を透過可能な透明部分があるか否かを判断する（ステップＳ１２０３）。図１３は、調整対象となる立体視画像をドット単位で移動する状態を示す模式図である。図１３では、基準となる立体視画像６１の注視点（基準注視点）ｇに向かって、調整対象となる立体視画像６２をドット単位で移動することにより、基準となる立体視画像６１と、調整対象となる立体視画像６２との間に存在する背景色部分、すなわち透明部分６３を消失させている。

ＣＰＵ１１が、透明部分があると判断した場合（ステップＳ１２０３：ＹＥＳ）、ＣＰＵ１１はステップＳ１２０２へ戻し、繰り返し１ドットずつ調整対象となる立体視画像を接近移動させる。ＣＰＵ１１が、透明部分がないと判断した場合（ステップＳ１２０３：ＮＯ）、ＣＰＵ１１は、境界の輝度値の差分を算出し（ステップＳ１２０４）、輝度値の差分が所定値以下であるか否かを判断する（ステップＳ１２０５）。

ＣＰＵ１１が、輝度値の差分が所定値以下でないと判断した場合（ステップＳ１２０５：ＮＯ）、ＣＰＵ１１は、ステップＳ１２０２へ戻し、上述した処理を繰り返し実行する。ＣＰＵ１１が、輝度値の差分が所定値以下であると判断した場合（ステップＳ１２０５：ＹＥＳ）、ＣＰＵ１１は、すべての立体視画像について張り合わせ処理を完了したか否かを判断する（ステップＳ１２０６）。

ＣＰＵ１１が、すべての立体視画像について張り合わせ処理を完了したと判断した場合（ステップＳ１２０６：ＹＥＳ）、ＣＰＵ１１は、表示インタフェース１６を介して大画面表示装置２０へ生成した立体視画像を送出する（ステップＳ１２０７）。ＣＰＵ１１が、すべての立体視画像について張り合わせ処理を完了していないと判断した場合（ステップＳ１２０６：ＮＯ）、ＣＰＵ１１は、ステップＳ１２０１へ戻し、上述した処理を切り返し実行する。

なお、上述の処理では、境界の輝度値の差分が所定値以下であるか否かに応じて張り合わせ処理における調整対象となる立体視画像の基準となる立体視画像との相対位置を決定しているが、一定の範囲内のすべての輝度値の差分を算出し、輝度値の差分が最小となる位置を、調整対象となる立体視画像の基準となる立体視画像との相対位置とするものであっても良い。これにより、単純に立体視画像を元の空間位置で張り合わせた場合に隣接する立体視画像の境界に生じる透明部分等の隙間部分をより効果的に消去することができ、境界部分においても自然な立体画像を観者の網膜に形成することができる立体視画像を生成することが可能となる。

以上のように本実施の形態１によれば、観者がぼやけた画像として認識することが無い視差の範囲内である直方体で空間を分割し、分割した空間ごとに従来と同様に立体視画像を生成してから、これらを張り合わせて立体視画像を生成するので、生成された立体視画像のどの領域においても限界視差内の立体視画像であり、観者がどの位置、どの角度から立体視画像を観る場合であっても、網膜にぼやけた立体画像を形成することがない。

したがって、可変焦点レンズを用いずに、立体視画像のすべての領域を正確に視認することができ、被写体の空間的位置関係を正確に把握することが可能となる。また、被写体が存在する直方体空間で生成した立体視画像のみを張り合わせれば足りることから、計算機処理負荷を大幅に削減することができ、計算コストの軽減を図ることが可能となる。

（実施の形態２）
以下、本発明の実施の形態２に係る立体視画像表示装置について図面に基づいて具体的に説明する。図１４は、本発明の実施の形態２に係る立体視画像表示装置１０の構成を示すブロック図である。図１４に示すように、本発明の実施の形態２に係る立体視画像表示装置１０の構成は、実施の形態１と同様であることから、同一の符号を付することによって、詳細な説明を省略する。本実施の形態２は、多数の観者が観ることができる大画面表示装置２０ではなく、単一の観者が観ることができる外部の表示装置３０へ立体視画像を送出し、観者センサ４０により検出した観者の画面までの距離、両眼の距離等に基づいて、立体視画像を生成する基準となる限界視差を補正する点に特徴を有する。

入力手段１５は、画面上の任意の位置を指示するためのマウス等のポインティングデバイス、又は画面上で表示画面の横幅等の数値データを打鍵により入力するキーボード等である。

表示インタフェース１６は、画像を表示出力する液晶表示装置（ＬＣＤ）、表示ディスプレイ（ＣＲＴ）等の外部の表示装置３０に対して、表示データを送出するＬＳＩボードである。

センサインタフェース４１は、外部に備えてある観者センサ４０で検出した信号をＣＰＵ１１へ伝達する。観者センサ４０は、例えば表示装置３０の画面上方に設置した光センサ、超音波センサ等であり、ＣＰＵ１１は、取得した検出信号に基づき、観者までの距離、観者の両眼の間隔等を算出する。

一般に、左右両眼３１、３２の光軸が交差する点と両眼３１、３２との距離Ｌ１の逆数と、被写体が投影されている画面、スクリーン等と両眼３１、３２との距離Ｌ２の逆数との差が、±２以内である場合に、ぼやけることなく立体画像として認識することができることが知られている。しかし、個人の特質、例えば観者の表示画面までの距離、観者の両眼の距離の相違によって前後する場合も想定される。

したがって、本実施の形態２では、斯かる許容限界の変動を吸収すべく、距離Ｌ１の逆数と距離Ｌ２の逆数との許容差Ｚを、観者センサ４０で検出した信号に基づいて算出した観者までの距離、観者の両眼の間隔等によりＣＰＵ１１が算出する。

図１５は、本発明の実施の形態２に係る立体視画像表示装置１０のＣＰＵ１１の限界視差を算出する手順を示すフローチャートである。立体視画像表示装置１０のＣＰＵ１１は、観者センサ４０で検出した検出値を取得し（ステップＳ１５０１）、被写体が投影されている表示装置２０の画面、スクリーン等と両眼３１、３２との距離Ｌ２、及び観者の両眼距離Ｅ等を算出する（ステップＳ１５０２）。

ＣＰＵ１１は、距離Ｌ１の逆数と距離Ｌ２の逆数との許容差Ｚを算出し（ステップＳ１５０３）、下記手順により実空間における限界視差を算出する（ステップＳ１５０４）。距離Ｌ１の逆数と距離Ｌ２の逆数との差が±Ｚ以内であることから、距離Ｌ１と距離Ｌ２との間では、（数５）が成立する。

（数５）
（１／Ｌ２−Ｚ） ＜ １／Ｌ１ ＜ （１／Ｌ２＋Ｚ）

また、図３の視差ｄを底辺とする三角形と、両眼距離Ｅを底辺とする三角形とは相似であることから、（数６）が成立する。

（数６）
Ｌ１＝Ｌ２×Ｅ／（ｄ＋Ｅ）

（数５）及び（数６）に基づいて視差ｄについて整理すると、（数７）を導出することができ、（数７）を具備するか否かの境界での視差ｄの絶対値が限界視差Ｄとなる。

（数７）
−Ｚ×Ｌ２×Ｅ ＜ ｄ ＜ Ｚ×Ｌ２×Ｅ

しかし、観者の個人的な特徴点、例えば近視又は遠視による網膜位置の前後、水晶体の汚れの有無等に応じて、ぼやけて見える範囲に個人差が生じる。より観者の個人的な特徴点に適合すべく、限界視差Ｄを補正する係数を、入力手段１５を介して設定する。これにより、より観者に適合した立体視画像を生成することが可能となる。

ＣＰＵ１１は、算出した限界視差Ｄ、表示装置３０の画面の横幅Ｗ及び画面の水平方向の解像度Ｒに基づいて、限界視差Ｄの画素数を算出する（ステップＳ１５０５）。すなわち（数８）により、限界視差Ｄを表示する画面の画素数Ｑに換算する。

（数８）
Ｑ＝Ｄ×Ｒ／Ｗ

このように、限界視差Ｄを表示装置の表示画面のピクセル単位で求めることにより、注視点を中心とし、限界視差Ｄを直径とした球の内部では、観者が被写体を「ぼやけて」認識することはない。斯かる範囲を立体視限界という。そこで、本実施の形態１では、被写体を含む空間を隙間なく分割すべく、立体視限界に内接する直方体を算出し、求めた直方体により被写体を含む空間を分割する。

以下、実施の形態１と同様に、分割した空間ごとに立体視画像を生成し、生成した複数の立体視画像を張り合わせて単一の立体視画像を生成することにより、観者の観る姿勢、方向等によらずに正確な立体画像を観ることができる。

以上のように本実施の形態２によれば、観者の観る位置によって限界視差を正確に算出することができ、観者に適合した立体視画像を表示することが可能となる。また、観者の個人的な特徴点、例えば近視又は遠視による網膜位置の前後、水晶体の汚れの有無等に応じて算出した限界視差を補正することで、より正確に限界視差を算出することができ、観者により適合した立体視画像を表示することが可能となる。

本発明の実施の形態１に係る立体視画像表示装置の構成を示すブロック図である。 本発明の実施の形態１に係る立体視画像表示装置のＣＰＵの処理手順を示すフローチャートである。 限界視差の説明図である。 本発明の実施の形態１に係る立体視画像表示装置のＣＰＵの限界視差を算出する手順を示すフローチャートである。 画像データ記憶部に記憶してある画像データの立体視画像の構図を定めるべく、空間内の任意の位置に設定した注視点及び視点を示す図である。 分割する空間の注視点を求める方法の説明図である。 最初の分割空間を決定する方法を示す模式図である。 最初の分割空間の直方体の高さと幅とを求める方法を示す模式図である。 最初の分割空間を配置した状態を示す図である。 被写体の分割空間として直方体を配置した状態を示す図である。 １列目で生成された立体視画像の例を示す図である。 本発明の実施の形態１に係る立体視画像表示装置のＣＰＵの立体視画像張り合わせ処理を示すフローチャートである。 調整対象となる立体視画像をドット単位で移動する状態を示す模式図である。 本発明の実施の形態２に係る立体視画像表示装置の構成を示すブロック図である。 本発明の実施の形態２に係る立体視画像表示装置のＣＰＵの限界視差を算出する手順を示すフローチャートである。 従来の立体視画像表示の概念を示す模式図である。 従来の立体視画像表示でのぼやける領域を示す図である。 可変焦点レンズを用いた場合の立体視画像表示でのぼやける領域を示す図である。

符号の説明

１０ 立体視画像表示装置
１１ ＣＰＵ
１２ 記録手段
１３ ＲＡＭ
１４ 通信手段
１５ 入力手段
１６ 表示インタフェース
１７ 補助記憶手段
１８ 可搬型記憶媒体
２０ 大画面表示装置
３０ 表示装置
４０ 観者センサ
４１ センサインタフェース
１２１ 画像データ記憶部
Ｄ 限界視差
ｇ、ｇ１、ｇ２、・・・、ｇｎ 注視点

Claims (12)

1. 観者の網膜に立体画像を形成する立体視画像を生成して表示する立体視画像表示装置において、
   観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出する限界視差算出手段と、
   算出した限界視差を直径とする球に内接する直方体の寸法を算出する直方体寸法算出手段と、
   算出した直方体で被写体を含む空間を複数の空間に分割する空間分割手段と、
   分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成する注視点画像生成手段と、
   生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成する注視点画像張り合わせ手段と、
   生成した単一の立体視画像を表示する画像表示手段と
   を備えることを特徴とする立体視画像表示装置。
2. 立体視画像を表示する面と観者との相対位置を検出する相対位置検出手段を備え、
   前記限界視差は、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出するようにしてあることを特徴とする請求項１記載の立体視画像表示装置。
3. 前記限界視差算出手段は、前記限界視差を観者の個人的特徴に基づいて補正する補正手段を備えることを特徴とする請求項１又は２記載の立体視画像表示装置。
4. 前記注視点画像張り合わせ手段は、
   分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出する手段と、
   一の空間に対して他の空間を平行移動して輝度差を再算出する手段と、
   算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求める手段と
   を備えることを特徴とする請求項１乃至３のいずれか一項に記載の立体視画像表示装置。
5. 観者の網膜に立体画像を形成する立体視画像を生成して表示する立体視画像表示方法において、
   観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出し、
   算出した限界視差を直径とする球に内接する直方体の寸法を算出し、
   算出した直方体で被写体を含む空間を複数の空間に分割し、
   分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成し、
   生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成し、
   生成した単一の立体視画像を表示することを特徴とする立体視画像表示方法。
6. 立体視画像を表示する面と観者との相対位置を検出し、
   前記限界視差は、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出することを特徴とする請求項５記載の立体視画像表示方法。
7. 前記限界視差を観者の個人的特徴に基づいて補正することを特徴とする請求項５又は６記載の立体視画像表示方法。
8. 分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出し、
   一の空間に対して他の空間を平行移動して輝度差を再算出し、
   算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求めることを特徴とする請求項５乃至７のいずれか一項に記載の立体視画像表示方法。
9. 観者の網膜に立体画像を形成する立体視画像を生成して表示するコンピュータで実行可能なコンピュータプログラムにおいて、
   前記コンピュータを、
   観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出する限界視差算出手段、
   算出した限界視差を直径とする球に内接する直方体の寸法を算出する直方体寸法算出手段、
   算出した直方体で被写体を含む空間を複数の空間に分割する空間分割手段、
   分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成する注視点画像生成手段、及び
   生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成する注視点画像張り合わせ手段
   として機能させることを特徴とするコンピュータプログラム。
10. 前記コンピュータを、
    立体視画像を表示する面と観者との相対位置を検出する相対位置検出手段
    として機能させ、
    前記限界視差を、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出するよう機能させることを特徴とする請求項９記載のコンピュータプログラム。
11. 前記コンピュータを、
    前記限界視差を観者の個人的特徴に基づいて補正する補正手段
    として機能させることを特徴とする請求項９又は１０記載のコンピュータプログラム。
12. 前記コンピュータを、
    分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出する手段、
    一の空間に対して他の空間を平行移動して輝度差を再算出する手段、及び
    算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求める手段
    として機能させることを特徴とする請求項９乃至１１のいずれか一項に記載のコンピュータプログラム。

Images