JP5248709B2 - 立体映像表示装置及び方法 - Google Patents

Description

実施形態は、立体映像の表示に関する。

ある種の立体映像表示装置によれば、視聴者は特殊なメガネを使用せずに（即ち、裸眼で）立体映像を視聴することができる。係る立体映像表示装置は、視点の異なる複数の画像を表示し、これらの光線の指向方向を光線制御素子（例えばパララックスバリア、レンチキュラーレンズなど）によって制御する。指向方向が制御された光線は、視聴者の両眼に導かれる。視聴位置が適切であれば、視聴者は立体映像を認識できる。

係る立体映像表示装置の問題点の１つとして、立体映像を良好に視聴できる領域が限定的であることが挙げられる。例えば、左目に知覚される画像の視点が右目に知覚される画像の視点に比べて相対的に右側となり、立体映像を正しく認識できなくなる視聴位置が存在する。係る視聴位置は、逆視領域と呼ばれる。故に、裸眼方式の立体映像を良好に視聴できる領域を視聴者に認識させるなどの視聴支援機能が有用である。

特許第３４４３２７１号公報

従って、実施形態は、裸眼方式の立体映像の視聴支援機能を提供することを目的とする。

実施形態によれば、立体映像表示装置は、表示部と提示部とを含む。表示部は、画素からの光線を制御する複数の光線制御素子により、視点の異なる複数の画像を表示可能である。提示部は、複数の視聴位置において逆視が生じる光線制御素子の個数に基づいて算出された、表示部に対する視聴位置毎の見えのよさを視聴者に提示する。

第１の実施形態に係る立体映像表示装置を例示するブロック図。 図１の立体映像表示装置の動作を例示するフローチャート。 第２の実施形態に係る立体映像表示装置を例示するブロック図。 図３の立体映像表示装置の動作を例示するフローチャート。 第３の実施形態に係る立体映像表示装置を例示するブロック図。 図５の立体映像表示装置の動作を例示するフローチャート。 第４の実施形態に係る立体映像表示装置を例示するブロック図。 図７の立体映像表示装置の動作を例示するフローチャート。 第５の実施形態に係る立体映像表示装置を例示するブロック図。 図９の立体映像表示装置の動作を例示するフローチャート。 裸眼による立体視の原理の説明図。 左右の目が知覚する視点画像の説明図。 輝度プロファイルの周期性の説明図。 視点輝度プロファイルの周期性の説明図。 逆視の説明図。 逆視の説明図。 視点選択の説明図。 視点選択の説明図。 光線制御素子位置の説明図。 視聴位置の説明図。 輝度プロファイルの説明図。 視点輝度プロファイルの説明図。 正視領域の説明図。 視点画像生成手法の説明図。 マップを例示する図。 第１の実施形態に係るマップ生成装置を例示するブロック図。 図１の立体映像表示装置の変形例を例示するブロック図。

以下、図面を参照して、実施形態について説明する。
尚、各実施形態において、説明済みの他の実施形態と同一または類似の要素には同一または類似の符号を付し、重複する説明を基本的に省略する。

（第１の実施形態）
図１に示されるように、第１の実施形態に係る立体映像表示装置は、提示部５１と、表示部（ディスプレイ）１０４とを備える。提示部５１は、見えのよさ算出部１０１と、マップ生成部１０２と、セレクタ１０３とを含む。
表示部１０４は、立体映像信号１２に含まれる複数の視点画像（信号）を表示する。表示部１０４は、典型的には液晶ディスプレイであるが、プラズマディスプレイ、ＯＬＥＤ（有機発光ダイオード）ディスプレイなどの他のディスプレイであってもよい。

表示部１０４は、そのパネル上に複数の光線制御素子（例えばパララックスバリア、レンチキュラーレンズなど）を備えている。複数の視点画像の光線は、図１１に示されるように、各光線制御素子によって例えば水平方向に分離されて視聴者の両眼に導かれる。尚、光線制御素子は、垂直方向などの他の方向に光線を分離するようにパネル上に配置されても勿論よい。

表示部１０４に備えられる光線制御素子は、放射輝度に関する特性（以降、輝度プロファイルとも称される）を持つ。例えば、ディスプレイの最大輝度を発光したときに、光線制御素子を透過した後の光の減衰率をプロファイルとすることができる。

例えば、図１９に示されるように、各光線制御素子は、視点画像（サブ画素）１，・・・，９の光線を分離する。尚、以降の説明では、一例として９つの視点画像１，・・・，９を表示する場合について述べる。これらの視点画像１，・・・，９において、視点画像１は最も右側の視点に対応し、視点画像９は最も左側の視点に対応する。つまり、左目に入る視点画像のインデックスが右目に入る視差画像のインデックスより大きければ、逆視にはならない。視点画像５の光線は方向角θ＝０に最も強く放射される。尚、輝度プロファイルは、各視点画像の光線が方向角θに放射される光の強さを輝度計などで測定することによって作成できる。ここでの方向角θは、−Π／２≦θ≦Π／２の範囲である。即ち、表示部１０４（に備えられる光線制御素子）の構成に依存して輝度プロファイルが決まる。

図１９では、光線制御素子の背面の画素についてのみ述べたが、実際の表示部１０４は図１３のように光線制御素子およびサブ画素が並べてある。故に、方向角θが急になるほど輝度プロファイルを計測している光線制御素子の隣の光線制御素子の背面のサブ画素の光が観測されるが、光線制御素子とサブ画素との距離が小さいことから、隣の光線制御素子の下のサブ画素との光路差は小さい。従って、輝度プロファイルは方向角θに対して周期的になると考えることができる。また、図１３からもわかるように、上記周期は、光線制御素子とディスプレイとの距離、サブ画素の大きさおよび光線制御素子の特性などの設計情報から求めることが可能である。

表示部１０４に備えられる各光線制御素子の位置は、図１７に示されるように、表示部１０４の中心を始点（原点）とする位置ベクトルｓによって表すことができる。更に、各視聴位置は、図１８に示されるように、表示部１０４の中心を始点とする位置ベクトルｐによって表すことができる。尚、図１８は、表示部１０４及びその周辺を鉛直方向から見た俯瞰図である。即ち、視聴位置は、表示部１０４及びその周辺を鉛直方向から見た平面上で規定される。

位置ベクトルｐの視聴位置において、位置ベクトルｓの光線制御素子からの光線によって知覚される輝度は、図２０を用いて以下のように導出することができる。図２０において、点Ｃは光線制御素子位置を表し、点Ａは視聴位置（例えば、視聴者の目の位置）を表している。また、点Ｂは点Ａから表示部１０４への垂線の足を表している。更に、θは点Ｃを基準とする点Ａの方向角を表している。前述の輝度プロファイルによれば、方向角θに基づいて各視点画像の光線の放射輝度を算出できる。尚、方向角θは、幾何学的に、例えば下記の数式（１）に従って算出できる。

即ち、任意の視聴位置において、全ての光線制御素子からの放射輝度を算出すれば、図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂに示されるような輝度プロファイルが得られる。尚、以降の説明において、前述の光線制御素子毎の輝度プロファイルとの区別のために、係る視聴位置毎の輝度プロファイルは視点輝度プロファイルと称される。

また、方向角θと輝度プロファイルの周期性を考慮すれば、視点輝度プロファイルにも周期性があることがわかる。例えば、図１４において、点Ｃの１つ左の光線制御素子の背面にある視点画像５のサブ画素からの光を観察できる位置Ａがあるとする。このとき、方向角θの周期性から、点Ｃの２つ左の光線制御素子の背面にある視点画像５のサブ画素を観察できる位置Ａ’がある。同様にして、点Cの光線制御素子の背面にある視点画像５のサブ画素を観察できる位置Ａ’’がある。視点画像iのサブ画素の並びが等間隔であることから、図１４のように、ディスプレイからの垂線が同じ大きさのＡ、Ａ’、Ａ’’は等間隔に並ぶ。

この視点輝度プロファイルを利用すれば、位置ベクトルｐの視聴位置において、位置ベクトルｓの光線制御素子からの視点画像ｉの光線によって知覚される画素値は、下記の数式（２）で表すことができる。ここで、各視点画像１，・・・，９について、インデックスｉ＝１，・・・，９と夫々定義する。また、視点輝度プロファイルをａ（）と定義する。また、光線制御素子ｗの背面のサブ画素の視点画像iの画素値をｘ（ｗ、i)とする。

ここで、Ωは表示部１０４に備えられる全ての光線制御素子の位置ベクトルｓを包含する集合である。尚、光線制御素子位置ｓから出力される光線には、位置ベクトルｓの光線制御素子の背面にあるサブ画素のみではなくその周辺にあるサブ画素からの光線も含まれるので、数式（２）において、位置ベクトルｓの光線制御素子の背面の画素のみではなく、その周辺のサブ画素値も含めた和が計算される。

上記数式（２）は、下記の数式（３）のようにベクトルを用いて表すこともできる。

即ち、視点画像の総数をＮとすれば、位置ベクトルｐの視聴位置において、位置ベクトルｓの光線制御素子からの各視点画像の光線によって知覚される輝度は、下記の数式（４）で表すことができる。

尚、上記数式（４）は、下記数式（５），（６）を利用して、下記数式（７）のように表すこともできる。

更に、視聴位置ｐにおいて観察できる画像を1次元ベクトルY（ｐ）とすれば、下記の数式（８）でこれを表すことができる。

ここで、上記数式（８）を直感的に説明する。例えば、図１２に示されるように、中央の光線制御素子からの光線のうち、右目では視点画像５の光線が知覚され、左目では視点画像７の光線が知覚される。故に、視聴者の両目には相異なる視点画像が知覚され、この視点画像間の視差によって立体視が可能になる。つまり、視聴位置ｐが異なることで、異なる映像が知覚されることにより立体視を可能にする。

見えのよさ算出部１０１は、表示部１０４に対する視聴位置毎の見えのよさを算出する。例えば、立体映像を正しく視聴することのできる正視領域においても、逆視の生じる光線制御素子の数の大小などの要因によって、視聴位置毎に見えのよさは異なる。従って、表示部１０４に対する視聴位置毎の見えのよさを算出し、視聴位置毎の立体映像の品質の一指標として利用することで、効果的な視聴支援が可能となる。

見えのよさ算出部１０１は、少なくとも表示部１０４の特性（例えば、輝度プロファイル、視点輝度プロファイルなど）に基づいて視聴位置毎の見えのよさを算出する。見えのよさ算出部１０１は、算出した視聴位置毎の見えのよさをマップ生成部１０２に入力する。

例えば、見えのよさ算出部１０１は、下記の数式（９）に従って、関数ε（ｓ）を算出する。関数ε（ｓ）は、位置ベクトルｓの光線制御素子によって逆視が発生するならば１を返し、逆視が発生しなければ０を返す関数である。

尚、以降の説明において、｜｜_Ｌはベクトルのノルムを表し、L1ノルムないしL2ノルムが用いられる。

ここで、位置ベクトルｐは視聴者の両眼の中心を指している。尚、ｄは両眼視差ベクトルを表す。即ち、ベクトルｐ＋ｄ／２は視聴者の左目を指しており、ベクトルｐ−ｄ／２は視聴者の右目を指している。視聴者の左目に最も強く知覚される視点画像のインデックスが右目に最も強く知覚される視点画像のインデックスよりも大きければ、ε（ｓ）は１となり、そうでなければ０となる。

更に、見えのよさ算出部１０１は、数式（９）によって算出した関数ε（ｓ）を用いて、下記の数式（１０）に従って、位置ベクトルｐの視聴位置における見えのよさＱ_０を算出する。

数式（１０）において、σ_１は、表示部１０４に備えられる光線制御素子の個数が多くなるほど大きな値を持つ定数である。また、Ωは表示部１０４に備えられる全ての光線制御素子の位置ベクトルｓを包含する集合である。見えのよさＱ_０によれば、逆視の発生する光線制御素子の個数（の少なさ）を評価することができる。見えのよさ算出部１０１は、見えのよさＱ_０を最終的な見えのよさとして出力してもよいし、後述するように異なる演算を施してもよい。

例えば、見えのよさ算出部１０１は、前述の数式（９）に代えて下記の数式（１１）によってε（ｓ）を算出してもよい。

数式（１１）において、σ_２は、表示部１０４に備えられる光線制御素子の個数が多くなるほど大きな値を持つ定数である。数式（１１）によれば、画面端において生じる逆視が画面中央において生じる逆視に比べて目立ちにくいという主観的な性質が考慮される。即ち、逆視が生じた場合にε（ｓ）が返す値は、表示部１０４の中心からの距離が大きい光線制御素子ほど小さくなる。

また、見えのよさ算出部１０１は、下記の数式（１２）に従ってＱ_１を算出し、このＱ_１と前述のＱ_０とを用いて下記の数式（１３）に従って最終的な見えのよさＱを算出してもよい。或いは、見えのよさ算出部１０１は、前述のＱ_０に代えてＱ_１を最終的な見えのよさＱとして算出してもよい。

数式（１２）において、σ₃は、表示部１０４に備えられる光線制御素子の個数が多くなるほど大きな値を持つ定数である。

数式（８）では、各視点画像の線形和によって、知覚される画像が表現されていることを示している。数式（８）における視点輝度プロファイル行列Ａ（ｐ）は、全て正定値行列であるため、一種のローパスフィルタの操作がなされていることにより、ボケが生じる。そこで、視点ｐにおいて、ボケのない先鋭な画像Ｙ＾(p)（数式（１４）の右辺第２項）をあらかじめ用意し、数式（１４）によって定義されるエネルギーＥを最小化することで、表示する視点画像Ｘを定める方法が提案されている。

エネルギーＥは下記の数式（１５）のよう書き換えることができる。数式（１５）を最小化するような視聴位置ｐに両眼の中心があるときに数式（８）によるボケの影響が低減された先鋭な画像を観察することが可能になる。このような視聴位置ｐは１つないし複数設定することが可能であり、以降の説明ではこれらを設定視点Cjで表わす。

例えば図２１のＣ１，Ｃ２は上記の設定視点を表している。設定視点とほぼ同じ視点輝度プロファイル行列は、先に述べたように異なる視点位置においても周期的に出現するので、例えば、図２１、Ｃ’１，Ｃ’２も設定視点と見なすことが可能である。これらの設定視点の内、視聴位置ｐともっとも近い設定視点を、式（７）においてC(p)で表わしている。見えのよさＱ_１によれば、設定視点からの視聴位置のずれ（の小ささ）を評価することができる。

マップ生成部１０２は、見えのよさ算出部１０１からの視聴位置毎の見えのよさを視聴者に提示するマップを生成する。マップは、典型的には、図２３に示されるように、視聴領域毎の見えのよさを対応する色によって表現する画像であるが、これに限らず視聴者が視聴位置毎の立体映像の見えのよさを把握することのできる任意の形式の情報であってよい。マップ生成部１０２は、生成したマップをセレクタ１０３に入力する。

セレクタ１０３は、マップ生成部１０２からのマップの表示の有効／無効を選択する。セレクタ１０３は、例えば図１に示されるように、ユーザ制御信号１１に従ってマップの表示の有効／無効を選択する。尚、セレクタ１０３は、その他の条件に従ってマップの表示の有効／無効を選択してもよい。例えば、セレクタ１０３は、表示部１０４が立体映像信号１２を表示し始めてから所定時間経過するまでマップの表示を有効にし、その後無効にしてもよい。セレクタ１０３がマップの表示を有効にすると、マップ生成部１０２からのマップがセレクタ１０３を介して表示部１０４に供給される。表示部１０４は、例えば表示中の立体映像信号１２に重畳させてマップを表示することができる。

以下、図２を用いて図１の立体映像表示装置の動作を説明する。
処理が開始すると、見えのよさ算出部１０１は、表示部１０４に対する視聴位置毎の見えのよさを算出する（ステップＳ２０１）。マップ生成部１０２は、ステップＳ２０１において算出された、視聴位置毎の見えのよさを視聴者に提示するマップを生成する（ステップＳ２０２）。

セレクタ１０３は、例えばユーザ制御信号１１に従ってマップ表示が有効であるか否かを判定する（ステップＳ２０３）。マップ表示が有効であると判定されれば処理はステップＳ２０４に進む。ステップＳ２０４では、表示部１０４はステップＳ２０２において生成されたマップを立体映像信号１２に重畳させて表示し、処理は終了する。一方、ステップＳ２０３においてマップ表示が無効であると判定されれば、ステップＳ２０４は省略される。即ち、表示部１０４はステップＳ２０２において生成されたマップを表示せず、処理は終了する。

以上説明したように、第１の実施形態に係る立体映像表示装置は、表示部に対する視聴位置毎の見えのよさを算出し、これを視聴者に提示するマップを生成する。従って、本実施形態に係る立体映像表示装置によれば、視聴者は視聴位置毎の立体映像の見えのよさを容易に把握することができる。特に、本実施形態に係る立体映像表示装置によって生成されるマップは、単に正視領域を提示するものではなく、正視領域内における見えのよさを多段階で提示するものなので、立体映像の視聴支援に役立つ。

尚、本実施形態において、見えのよさ算出部１０１は、表示部１０４の特性に基づいて視聴位置毎の見えのよさを算出する。即ち、表示部１０４の特性が決まれば、事前に視聴位置毎の見えのよさを算出してマップを生成しておくことも可能である。このように事前生成したマップを記憶部（メモリなど）に保存すれば、図１の見えのよさ算出部１０１及びマップ生成部１０２を上記記憶部に置き換えても同様の効果を得ることができる。従って、本実施形態は、図２４に示されるように、見えのよさ算出部１０１とマップ生成部１０２と記憶部１０５とを含むマップ生成装置も企図している。更に、本実施形態は、図２５に示されるように、図２４のマップ生成装置によって生成されたマップを記憶する記憶部１０５と、（必要ならばセレクタ１０３と、）表示部１０４とを含む立体映像表示装置も企図している。

（第２の実施形態）
図３に示されるように、第２の実施形態に係る立体映像表示装置は、提示部５２と、表示部１０４とを備える。提示部５２は、視点選択部１１１と、見えのよさ算出部１１２と、マップ生成部１０２と、セレクタ１０３とを含む。

視点選択部１１１は、立体映像信号１２を入力し、これに含まれる複数の視点画像の表示順をユーザ制御信号１１に応じて選択する。表示順選択後の立体映像信号１３は、表示部１０４に供給される。更に、選択された表示順が見えのよさ算出部１１２に通知される。具体的には、視点選択部１１１は、例えばマップ中のいずれかの位置を指定するユーザ制御信号１１に応じて、指定位置が正視領域に含まれるように（或いは、指定位置における見えのよさを最大化するように）視点画像の表示順を選択する。

図１５Ａ及び図１５Ｂの例では、視聴者の右側に逆視領域が存在する。このような視点画像の表示順を右方向に１枚分シフトさせると、図１６Ａ及び図１６Ｂに示されるように視聴者が知覚する視点画像が右方向に１枚分シフトする。換言すれば、正視領域及び逆視領域が夫々右方向にシフトする。係る表示順の選択により、正視領域の変更、指定位置における見えのよさの変更などが可能となる。

見えのよさ算出部１１２は、表示部１０４の特性と視点選択部１１１によって選択された表示順とに基づいて視聴位置毎の見えのよさを算出する。即ち、視点選択部１１１によって選択された表示順に応じて例えば数式（３）のｘ（ｉ）が変化するので、見えのよさ算出部１１２はこれに基づいて視聴位置毎の見えのよさを算出する必要がある。見えのよさ算出部１１２は、算出した視聴位置毎の見えのよさをマップ生成部１０２に入力する。

以下、図４を用いて図３の立体映像表示装置の動作を説明する。
処理が開始すると、視点選択部１１１は、立体映像信号１２を入力し、これに含まれる複数の視点画像の表示順をユーザ制御信号１１に応じて選択して、立体映像信号１３を表示部１０４に供給する（ステップＳ２１１）。

次に、見えのよさ算出部１１２は、表示部１０４の特性とステップＳ２１１において視点選択部１１１によって選択された表示順とに基づいて視聴位置毎の見えのよさを算出する（ステップＳ２１２）。

以上説明したように、第２の実施形態に係る立体映像表示装置は、指定位置が正視領域に含まれるように、或いは、指定位置における見えのよさを最大化するように視点画像の表示順を選択する。従って、本実施形態に係る立体映像表示装置によれば、視聴者は視聴環境（家具配置など）による制約を緩和し、所望の視聴位置における立体映像の見えのよさを向上させることができる。

尚、本実施形態において、見えのよさ算出部１１２は、表示部１０４の特性と視点選択部１１１によって選択された表示順とに基づいて視聴位置毎の見えのよさを算出する。ここで、視点選択部１１１が選択可能な表示順の数（即ち、視点の数）は有限である。即ち、事前に、各表示順が与えられた場合の視聴位置毎の見えのよさを算出してマップを生成しておくことも可能である。このように事前生成した各表示順に対応するマップを記憶部（メモリなど）に保存し、立体映像の表示時に視点選択部１１１によって選択された表示順に対応するマップを読み出すようにすれば、図３の見えのよさ算出部１１２及びマップ生成部１０２を上記記憶部に置き換えても同様の効果を得ることができる。従って、本実施形態は、見えのよさ算出部１１２とマップ生成部１０２と図示しない記憶部とを含むマップ生成装置も企図している。更に、本実施形態は、上記マップ生成装置によって事前生成された各表示順に対応するマップを記憶する図示しない記憶部と、視点選択部１１１と、（必要ならばセレクタ１０３と、）表示部１０４とを含む立体映像表示装置も企図している。

（第３の実施形態）
図５に示されるように、第３の実施形態に係る立体映像表示装置は、提示部５３と、表示部１０４とを備える。提示部５３は、視点画像生成部１２１と、見えのよさ算出部１２２と、マップ生成部１０２と、セレクタ１０３とを含む。

視点画像生成部１２１は、映像信号１４及びデプス信号１５を入力し、これらに基づいて視点画像を生成し、生成した視点画像を含む立体映像信号１６を表示部１０４に供給する。尚、映像信号１４は、２次元画像（即ち、１つの視点画像）であってもよいし、３次元画像（即ち、複数の視点画像）であってもよい。従来、映像信号１４及びデプス信号１５に基づいて所望の視点画像を生成するための様々な手法が知られているが、視点画像生成部１２１は任意の手法を利用してよい。

例えば、図２２に示されるように、９個のカメラを横並びにして撮影すると、９個の視点画像を得ることができる。しかしながら、典型的には、立体映像表示装置には１個または２個のカメラによって撮影された１個または２個の視点画像が入力される。この１個または２個の視点画像から各画素のデプス値を推定したり、或いは、入力されるデプス信号１５から直接的に取得したりすることによって、現実には撮影されていない視点画像を仮想的に生成する技術が知られている。図２２の例に関して、ｉ＝５に対応する視点画像が映像信号１４として与えられているならば、各画素のデプス値に基づいて視差量を調整することによりｉ＝１，・・・，４，６，・・・，９に対応する視点画像を仮想的に生成することができる。

具体的には、視点画像生成部１２１は、例えばマップ中のいずれかの位置を指定するユーザ制御信号１１に応じて、指定位置において知覚される立体映像の品質が向上するように、生成した視点画像の表示順を選択する。例えば視点数が３以上であれば、視点画像生成部１２１は指定位置に（映像信号１４からの）視差量の小さな視点画像が導かれるように視点画像の表示順を選択する。視点数が２であれば、視点画像生成部１２１は指定位置が正視領域に含まれるように視点画像の表示順を選択する。視点画像生成部１２１によって選択された表示順と、映像信号１４に対応する視点とが、見えのよさ算出部１２２に通知される。

ここで、視差量の小さな視点画像を指定位置に導くことと、当該指定位置における立体映像の品質の向上との関係について簡単に説明する。
映像信号１４及びデプス信号１５に基づいて生成される立体映像の品質を劣化させる一要因としてオクルージョンが知られている。即ち、映像信号１４において参照できない（存在しない）領域（例えば、オブジェクトによって遮蔽される領域（陰面））を、異なる視点の画像では表現しなければならないことがある。この事象は、一般に、映像信号１４との間の視点間距離が大きくなるほど、即ち、映像信号１４からの視差量が大きくなるほど起こりやすい。例えば、図２２の例に関して、ｉ＝５に対応する視点画像が映像信号１４として与えられているならば、ｉ＝６に対応する視点画像に比べてｉ＝９に対応する視点画像の方が、ｉ＝５に対応する視点画像において存在しない領域（陰面）が大きくなる。従って、視差量の小さな視点画像を視聴させることでオクルージョンによる立体映像の品質劣化を抑制できる。

見えのよさ算出部１２２は、表示部１０４の特性と、視点画像生成部１２１によって選択された表示順と、映像信号１４に対応する視点とに基づいて、視聴位置毎の見えのよさを算出する。即ち、視点画像生成部１２１によって選択された表示順に応じて数式（３）のｘ（ｉ）が変化するし、映像信号１４の視点からの距離が大きくなるほど立体映像の品質が劣化するので、見えのよさ算出部１２２は、これらに基づいて視聴位置毎の見えのよさを算出する必要がある。見えのよさ算出部１２２は、算出した視聴位置毎の見えのよさをマップ生成部１０２に入力する。

具体的には、見えのよさ算出部１２２は、下記の数式（１６）に従って、関数λ（ｓ，ｐ，ｉ_ｔ）を算出する。尚、簡単化のために、数式（１６）では、映像信号１４が１つの視点画像であることが仮定される。関数λ（ｓ，ｐ、ｉ_ｔ）は、視聴位置ベクトルｐの視聴位置において知覚される視差画像の視点が映像信号１４の視点ｉ_ｔに近いほど小さな値を持つ。

更に、見えのよさ算出部１２２は、数式（１６）によって算出した関数λ（ｓ，ｐ，ｉ_ｔ）を用いて、数式（１７）に従って位置ベクトルｐの視聴位置における見えのよさＱ_２を算出する。

数式（１７）において、σ_４は、表示部１０４に備えられる光線制御素子の個数が多くなるほど大きな値を持つ定数である。また、Ωは表示部１０４に備えられる全ての光線制御素子の位置ベクトルｓを包含する集合である。見えのよさＱ_２によれば、オクルージョンによる立体映像の品質劣化の程度を評価することができる。見えのよさ算出部１２２は、この見えのよさＱ_２を最終的な見えのよさＱとして出力してもよいし、前述の見えのよさＱ_０またはＱ_１と組み合わせて最終的な見えのよさＱを算出してもよい。即ち、見えのよさ算出部１２２は、下記の数式（１８），（１８）などに従って、最終的な見えのよさＱを算出してもよい。

以下、図６を用いて図５の立体映像表示装置の動作を説明する。
処理が開始すると、視点画像生成部１２１は、映像信号１４及びデプス信号１５に基づく視点画像を生成し、ユーザ制御信号１１に応じてこれらの表示順を選択して、立体映像信号１６を表示部１０４に供給する（ステップＳ２２１）。

次に、見えのよさ算出部１２２は、表示部１０４の特性と、ステップＳ２２１において視点画像生成部１２１によって選択された表示順と、映像信号１４に対応する視点とに基づいて、視聴位置毎の見えのよさを算出する（ステップＳ２２２）。

以上説明したように、第３の実施形態に係る立体映像表示装置は、映像信号及びデプス信号に基づいて視点画像を生成し、これら視点画像のうち映像信号からの視差量の小さいものが指定位置に導かれるように視点画像の表示順を選択する。従って、本実施形態に係る立体映像表示装置によれば、オクルージョンによる立体映像の品質劣化を抑制できる。

尚、本実施形態において、見えのよさ算出部１２２は、表示部１０４の特性と、視点画像生成部１２１によって選択された表示順と、映像信号１４に対応する視点とに基づいて視聴位置毎の見えのよさを算出する。ここで、視点画像生成部１２１が選択可能な表示順の数（即ち、視点の数）は有限である。また、映像信号１４に対応する可能性のある視点の数も有限であるし、映像信号１４に対応する視点は固定（例えば、中央の視点）であるかもしれない。即ち、事前に、各表示順（及び映像信号１４の各視点）が与えられた場合の視聴位置毎の見えのよさを算出してマップを生成しておくことも可能である。このように事前生成した各表示順（及び映像信号１４の各視点）に対応するマップを記憶部（メモリなど）に保存し、立体映像の表示時に視点画像生成部１２１によって選択された表示順と、映像信号１４の視点とに対応するマップを読み出すようにすれば、図５の見えのよさ算出部１２２及びマップ生成部１０２を上記記憶部に置き換えても同様の効果を得ることができる。従って、本実施形態は、見えのよさ算出部１２２とマップ生成部１０２と図示しない記憶部とを含むマップ生成装置も企図している。更に、本実施形態は、上記マップ生成装置によって事前生成された各表示順（及び映像信号１４の各視点）に対応するマップを記憶する図示しない記憶部と、視点画像生成部１２１と、（必要ならばセレクタ１０３と、）表示部１０４とを含む立体映像表示装置も企図している。

（第４の実施形態）
図７に示されるように、第４の実施形態に係る立体映像表示装置は、提示部５４と、センサ１３２と、表示部１０４とを備える。提示部５４は、視点画像生成部１２１と、見えのよさ算出部１２２と、マップ生成部１３１と、セレクタ１０３とを含む。尚、視点画像生成部１２１及び見えのよさ算出部１２２は、見えのよさ算出部１０１に置き換えられてもよいし、視点画像選択部１１１及び見えのよさ算出部１１２に置き換えられてもよい。

センサ１３２は、視聴者の位置情報（以下、視聴者位置情報１７と称される）を検出する。例えば、センサ１３２は、顔認識技術を利用して視聴者位置情報１７を検出してもよいし、人感センサなどの分野で知られている他の手法を利用して視聴者位置情報１７を検出してもよい。

マップ生成部１３１は、マップ生成部１０２と同様に、視聴位置毎の見えのよさに応じたマップを生成する。更に、マップ生成部１３１は、生成したマップに視聴者位置情報１７を重畳してからセレクタ１０３に供給する。例えば、マップ生成部１３１は、マップ中の視聴者情報１７に対応する位置に所定のシンボル（例えば、丸印、×印、特定の視聴者を識別するマーク（例えば、事前に設定された顔マーク）など）を付加する。

以下、図８を用いて図７の立体映像表示装置の動作を説明する。
ステップＳ２２２（或いは、ステップＳ２０２またはステップＳ２１２でもよい）の終了後、マップ生成部１３１は算出された見えのよさに応じてマップを生成する。マップ生成部１３１は、センサ１３２によって検出された視聴者位置情報１７をマップに重畳してからセレクタ１０３に供給し（ステップＳ２３１）、処理はステップＳ２０３に進む。

以上説明したように、第４の実施形態に係る立体映像表示装置は、視聴者位置情報を重畳したマップを生成する。従って、本実施形態に係る立体映像表示装置によれば、視聴者はマップ中の自己の位置を把握できるので、スムーズに移動、視点の選択などを実施することができる。

尚、本実施形態において、マップ生成部１３１が見えのよさに応じて生成するマップは、前述のように事前生成して図示しない記憶部に記憶させておくことも可能である。即ち、マップ生成部１３１が上記記憶部から適切なマップを読み出して、視聴者位置情報１７を重畳するようにすれば、図７の見えのよさ算出部１２２を上記記憶部に置き換えても同様の効果を得ることができる。従って、本実施形態は、事前生成されたマップを記憶する図示しない記憶部と、この記憶部に記憶されたマップを読み出して視聴者位置情報１７を重畳するマップ生成部１３１と、視点画像生成部１２１と、（必要ならばセレクタ１０３と、）表示部１０４とを含む立体映像表示装置も企図している。

（第５の実施形態）
図９に示されるように、第５の実施形態に係る立体映像表示装置は、提示部５５と、センサ１３２と、表示部１０４とを備える。提示部５５は、視点画像生成部１４１と、見えのよさ算出部１４２と、マップ生成部１３１と、セレクタ１０３とを含む。尚、マップ生成部１３１は、マップ生成部１０２に置き換えられてもよい。

視点画像生成部１４１は、前述の視点画像生成部１２１とは異なり、ユーザ制御信号１１ではなく視聴者位置情報１７に応じて映像信号１４及びデプス信号１５に基づく視点画像を生成し、生成した視点画像を含む立体映像信号１８を表示部１０４に供給する。具体的には、視点画像生成部１４１は、現在の視聴者位置において知覚される立体映像の品質が向上するように、生成した視点画像の表示順を選択する。例えば視点数が３以上であれば、視点画像生成部１４１は現在の視聴者位置に（映像信号１４からの）視差量の小さな視点画像が導かれるように視点画像の表示順を選択する。視点数が２であれば、視点画像生成部１４１は現在の視聴者位置が正視領域に含まれるように視点画像の表示順を選択する。視点画像生成部１４１によって選択された表示順と、映像信号１４に対応する視点とが見えのよさ算出部１４２に通知される。

尚、視点画像生成部１４１は、センサ１３２の検出精度次第で視点画像の生成手法を選択してもよい。具体的には、視点画像生成部１４１は、センサ１３２の検出精度が閾値よりも低ければ、視点画像生成部１２１と同様に、ユーザ制御信号１１に応じて視点画像を生成してもよい。一方、センサ１３２の検出精度が閾値以上であれば視聴者位置情報１７に応じて視点画像を生成する。

或いは、視点画像生成部１４１は、立体映像信号１２を入力し、これに含まれる複数の視点画像の表示順を視聴者位置情報１７に応じて選択する図示しない視点画像選択部に置き換えられてもよい。この視点画像選択部は、例えば、現在の視聴者位置が正視領域に含まれるように、或いは、現在の視聴者位置における見えのよさを最大化するように視点画像の表示順を選択する。

見えのよさ算出部１４２は、見えのよさ算出部１２２と同様に、表示部１０４の特性と、視点画像生成部１２１によって選択された表示順と、映像信号１４に対応する視点とに基づいて、視聴位置毎の見えのよさを算出する。見えのよさ算出部１４２は、算出した視聴位置毎の見えのよさをマップ生成部１３１に入力する。

以下、図１０を用いて図９の立体映像表示装置の動作を説明する。
処理が開始すると、視点画像生成部１４１は、映像信号１４及びデプス信号１５に基づく視点画像を生成し、センサ１３２によって検出された視聴者位置情報１７に応じてこれらの表示順を選択して、立体映像信号１８を表示部１０４に供給する（ステップＳ２４１）。

次に、見えのよさ算出部１４２は、表示部１０４の特性と、ステップＳ２４１において視点画像生成部１４１によって選択された表示順と、映像信号１４に対応する視点とに基づいて、視聴位置毎の見えのよさを算出する（ステップＳ２４２）。

以上説明したように、第５の実施形態に係る立体映像表示装置は、視聴者位置情報に応じて立体映像信号を自動生成する。従って、本実施形態に係る立体映像表示装置によれば、視聴者は移動及び操作を必要とせずに高品質な立体映像を視聴することができる。

尚、本実施形態において、見えのよさ算出部１４２は、見えのよさ算出部１２２と同様に、表示部１０４の特性と、視点画像生成部１４１によって選択された表示順と、映像信号１４に対応する視点とに基づいて視聴位置毎の見えのよさを算出する。即ち、事前に、各表示順（及び映像信号１４の各視点）が与えられた場合の視聴位置毎の見えのよさを算出してマップを生成しておくことも可能である。このように事前生成した各表示順（及び映像信号１４の各視点）に対応するマップを記憶部（メモリなど）に保存し、立体映像の表示時に視点画像生成部１４１によって選択された表示順と、映像信号１４の視点とに対応するマップを読み出すようにすれば、図９の見えのよさ算出部１４２を上記記憶部に置き換えても同様の効果を得ることができる。従って、本実施形態は、見えのよさ算出部１４２とマップ生成部１０２と図示しない記憶部とを含むマップ生成装置も企図している。更に、本実施形態は、上記マップ生成装置によって事前生成されたマップを記憶する図示しない記憶部と、この記憶部に記憶されたマップを読み出して視聴者位置情報１７を重畳するマップ生成部１３１と、視点画像生成部１４１と、（必要ならばセレクタ１０３と、）表示部１０４とを含む立体映像表示装置も企図している。

上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、何れの形態であってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１・・・ユーザ制御信号
１２，１３，１６，１８・・・立体映像信号
１４・・・映像信号
１５・・・デプス信号
１７・・・視聴者位置情報
５１，５２，５３，５４，５５・・・提示部
１０１，１１２，１２２，１４２・・・見えのよさ算出部
１０２，１３１・・・マップ生成部
１０３・・・セレクタ
１０４・・・表示部
１０５・・・記憶部
１１１・・・視点選択部
１２１，１４１・・・視点画像生成部
１３２・・・センサ

Claims (10)

1. 画素からの光線を制御する複数の光線制御素子により、視点の異なる複数の画像を表示可能な表示部と、
   前記表示部に対する複数の視聴位置毎の見えのよさを当該視聴位置において逆視が生じる前記光線制御素子の個数に基づいて算出する算出部と、
   前記視聴位置毎の見えのよさを示すマップを生成する生成部と
   を具備する立体映像表示装置。
2. 前記算出部は、前記視聴位置において逆視が生じる前記光線制御素子の位置に更に基づいて前記見えのよさを算出する、請求項１の立体映像表示装置。
3. 前記算出部は、予め設定された理想的な視聴位置からのずれに更に基づいて前記見えのよさを算出する、請求項１または請求項２の立体映像表示装置。
4. 前記生成部は、前記視聴位置毎の見えのよさを各々対応する色を用いて表現することにより前記マップを生成する、請求項１乃至請求項３のいずれか１項の立体映像表示装置。
5. ユーザからの指示に応じて、前記マップを前記表示部に表示させるか否かを判定する判定部を更に具備する、請求項１の立体映像表示装置。
6. ユーザからの指示に応じて、指定された位置における前記見えのよさを最大化するように、前記複数の画像の前記表示部における表示順を選択する選択部を更に具備する、請求項１の立体映像表示装置。
7. 映像信号及びデプス信号に基づいて前記複数の画像を生成し、ユーザの制御に応じて前記複数の画像の前記表示部における表示順を選択する画像生成部を更に具備する、請求項１の立体映像表示装置。
8. 視聴者の位置を検出するセンサを更に具備し、
   前記生成部は、前記視聴者の位置を前記マップに重畳する、
   請求項１の立体映像表示装置。
9. 視聴者の位置を検出するセンサと、
   映像信号及びデプス信号に基づいて前記複数の画像を生成し、前記視聴者の位置に応じて前記複数の画像の前記表示部における表示順を選択する画像生成部と
   を更に具備する、請求項１の立体映像表示装置。
10. 画素からの光線を制御する複数の光線制御素子により、視点の異なる複数の画像を表示部に表示し、
    前記表示部に対する複数の視聴位置毎の見えのよさを当該視聴位置において逆視が生じる前記光線制御素子の個数に基づいて算出し、
    前記視聴位置毎の見えのよさを示すマップを生成する、
    立体映像表示方法。