JP5631329B2 - 立体映像表示装置、立体映像表示方法 - Google Patents

Description

本発明は、特殊なメガネを用いることなしに、立体映像を観察することができる立体映像表示装置に関するものである。

従来より、特殊なメガネを使用しないで立体映像を表示する装置として、液晶パネルやＰＤＰ等の表示装置の観察者側に、パララックスバリアやレンチキュラーレンズ等（分光手段）を配置した装置が知られている。この装置では、これにより、表示パネルに表示された左眼用の画像と、右眼用の画像とからの光を、左右に分離して、立体映像を表示する。

図２１は、パララックスバリア９２を用いた、メガネなし方式の立体映像表示装置９１ａの原理を示す図である。

図中、９１は映像表示パネルであり、９２はパララックスバリアである。

映像表示パネル９１には、左眼用画素Ｌが、図２１の紙面に対して垂直方向（図示されるｚ方向）に並ぶ列と、右眼用画素Ｒが、垂直方向に並ぶ列とが、交互に形成されている。

また、パララックスバリア９２は、垂直方向に延びる、スリット状の開口部９２ａが多数形成されており、互いに隣り合う２つの開口部９２ａの間には、垂直方向に延びる遮光部９２ｂが形成されている。

なお、前記左眼用画素Ｌで構成される左眼用映像９３Ｌと、右眼用画素で構成される右眼用映像９３Ｒとの間には、人間が立体映像を感じるだけの両眼視差がある。

立体映像を観察したい観察者９４は、頭部を、所定の位置９４Ｐｘ（正視位置）に位置させる。これにより、左眼９４Ｌに、左眼用映像９３Ｌを、開口部９２ａを介して入射させ、右眼９４Ｒに、右眼用映像９３Ｒを、開口部９２ａを介して入射させる。これにより、立体映像を認識することができる。

なお、このとき、左眼９４Ｌには、右眼用映像９３Ｒの光は、遮光部９２ｂで遮断されて、入射せず、右眼９４Ｒには、左眼用映像９３Ｌの光は、遮光部９２ｂで遮断されて、入射しない。

しかしながら、このような従来の立体映像表示装置９１ａでは、観察者９４は、頭部の位置（頭部位置）９４Ｐを、所定の位置９４Ｐｘに位置させる必要がある。つまり、頭部の位置９４Ｐが、上記所定の位置９４Ｐｘから外れた場合、左眼９４Ｌに、右眼用映像９３Ｒの光が入射し、右眼９４Ｒに左眼用映像９３Ｌの光が入射して、良好な立体映像を認識することができないという問題が生じる（逆視）。

このため、観察者９４は、立体映像を鑑賞するためには、まず、良好に観察することができる正視位置９４Ｐｘを見つけ出し、その位置９４Ｐｘに、頭部の位置９４Ｐを固定させる必要がある。

また、立体映像を鑑賞中に、頭部が正視位置９４Ｐｘから外れた場合、頭部の位置９４Ｐを移動させて、その位置９４Ｐを再度、正視位置９４Ｐｘに位置させる必要がある。

この改善として、頭部の位置９４Ｐに応じて、頭部の位置９４Ｐが、上述の正視が生じる位置９４Ｐｘから外れた位置である場合には、左眼用画像９３Ｌと、右眼用画像９３Ｒを入れ換え、位置９４Ｐｘから外れた、現在の頭部位置９４Ｐで、正視映像が見えるようにする技術が、（特許文献１）に記載されている。ただし、この方法では、視聴者が１人の場合にしか対応することができない。

なお、このような、頭部位置による、正視と逆視の問題は、左眼と右眼用の２視差画像を提示した場合のみならず、３以上の個数だけの複数の視差画像を表示した場合にも発生する。

図２２は、４視差画像を提示した例を示す図である。

画像Ａ,Ｂ,Ｃ,Ｄ（視差画像９９ａ〜９９ｄ）が、提示された複数の視差画像に相当する。

また、位置９Ｌ（位置９Ｌａ、９Ｌｂ…）は、観察者位置を示し、位置９Ｌａ、９Ｌｂ、９Ｌｃ、９Ｌｄは、各々、視差画像Ａ、Ｂ、Ｃ、Ｄの見える位置を示すものとする。

この図で表示されるように、複数の視差画像９９ａ〜９９ｄは、映像表示パネル１に対して平行である平行面９ＬＬ上に、所定の間隔で、繰り返し提示される。

そのため、例えば、頭部位置９４Ｐ（図２１）の動きに応じて、左眼９４Ｌが、視差画像９９ｄが見える位置（位置９Ｌｄ）にあった場合、左眼９４Ｌに、視差画像９９ｄが入射する。

そして、右眼９４Ｒが、視差画像９９ａが見える位置（位置９Ｌａ：例えば、図示される各位置のうち、左から５番目の位置など）にあった場合、右眼９４Ｒには、視差画像９９ａが入射する。

このことで、逆視が発生する。

また、左眼９４Ｌが、位置９Ｌａと位置９Ｌｂの途中にあり、右眼９４Ｒが、位置９Ｌｂと位置９Ｌｃの途中にあった場合、クロストークが発生する。

なお、このような、図２２に示される、複数の視差画像を用いる技術により、複数の視聴者による視聴がされる。つまり、一方の視聴者９４の左眼９４Ｌが位置９Ｌａにあり、右眼９４Ｒが位置９Ｌｂにあるときに、次の通りである。つまり、このときには、他方の視聴者９４の左眼９４Ｌが、位置９Ｌｃにあり、他方の視聴者９４の右眼９４Ｒが、位置９Ｌｄにあることにより、一方の視聴者９４による視聴と同時に、他方の視聴者９４による視聴もされる。

先述のように、このような技術が用いられる時にも、逆視が生じる。このような、図２３Ａの技術で生じる逆視の改善技術として、（非特許文献１）に記載された手法がある。

図２３Ａは、２人の視聴者に対して、３視差画像（画像ａ〜ｃ）を用いた、非特許文献１で示される、従来の画像表示方式を示す図である。

非特許文献１の技術では、図示されたように、パララックスバリア開口部１つに対して、３つの視差画像を対応させる。そして、観察者トラッキングを用いることで、２人の観察者（観察者９ｂ１、９ｂ２）の何れでも、逆視が生じることなく、立体視可能となる方式が示されている。

図２３Ｂは、非特許文献１の方式での動作の表を示す図である。

非特許文献１の方式では、図２３Ａに示されるよう、ディスプレイに表示する３視差画像（a,b,c）として、視差画像３枚（i,ii,iii）のみを用いる。

そして、２人の視聴者９４（視聴者９ｂ１、９ｂ２）の状態が、静止した状態（「２人とも静止状態」の語が示された、図２３Ｂの表における第３行）である場合には、次の通りである。

つまり、この場合には、視聴者１（視聴者９ｂ１）においては、左眼（の位置）に視差画像iiが、右眼に視差画像iiiがそれぞれ提示（入射）される（第３行の第５列、第６列）。また、視聴者２においては、左眼に視差画像iが、右眼に視差画像iiがそれぞれ提示される（第７列、第８列）。

なお、こうして、それぞれの視聴者のそれぞれの眼により、その眼の位置に入射（提示）される画像（視差画像）が見られる（知覚される）。

つまり、それぞれの画像（視差画像i、ii、iii）の視点位置は、その画像が撮影装置により撮影された際における、撮影装置の位置などである。

そして、視聴者９４の左眼９４Ｌにより見られる画像の視点位置が、右眼９４Ｒにより見られる画像の視点位置と比べて、より左側であれば、適切に、立体映像が知覚される。

そして、表の第３行の状態では、第１の視聴者９ｂ１の左眼９４Ｌおよび右眼９４Ｒの位置が、ｂの位置（第３列）およびｃの位置（第４列）である（図２３Ａ参照）。そして、この状態では、第２の視聴者９ｂ２の左眼９４Ｌおよび右眼９４Ｒの位置が、ａの位置（第１列）およびｂの位置（第２列）である。

そこで、このような、第３行の状態の場合には、ａ、ｂ、ｃの位置に、それぞれ、i、ii、iiiの画像が提示される（第３行の第２列〜第４列）。

つまり、ａの位置に提示される画像（画像i）は、ｂの位置に提示される画像（画像ii）の視点位置よりも左側の視点位置の画像である。そして、ｂの位置に提示される画像（画像ii）は、ｃの位置に提示される画像（画像iii）の視点位置よりも左側の視点位置の画像である。

第３行の状態の場合に、このように、３視差画像（ａ、ｂ、ｃ）を並べれば、何れの視聴者でも、左眼９４Ｌで見られる画像の視点位置が、右眼９４Ｒで見られる画像の視点位置よりも左側である。このため、第１、第２の視聴者９ｂ１、９ｂ２が、ともに、適切に立体映像を知覚し、何れの視聴者も、立体視が可能となる。

なお、第１の視聴者９ｂ１が右に動いた場合において（図２３Ａの動き９ｂ１ｍを参照）、仮に、この第１の視聴者９ｂ１を、トラッキングしていないとする。そうすれば、上述された、表の第３行第２列〜第４列のように、画像の提示がされると（先述の説明を参照）、第１の視聴者９ｂ１は、左眼９４Ｌに、視差画像iii（第３行第４列）を、右眼９４Ｒに視差画像i（第３行第２列）をそれぞれ見るというようになる。これにより、第１の視聴者９ｂ１により見られる画像が、左右逆になり、逆視が生じてしまう。

そこで、第１の視聴者９ｂ１は、左眼９４Ｌに視差画像iを、右眼９４Ｒに視差画像iiをそれぞれ見ると共に（第４行第５列、第６列、第４列、第２列）、第２の視聴者９ｂ２は、左眼９４Ｌに視差画像iiを、右眼９４Ｒに視差画像iiiをそれぞれ見る（第４行の第７列、第８列、第２列、第３列）ことになるように、画像の表示をする。

このことで、図２３Ａの移動９ｂ１ｍがされた後における、図２３Ｂの表の第４行の状態の場合にも、２人の視聴者が、ともに、立体視できるようになる。

また、視聴者２が左に動いた場合にも（動き９ｂ２ｍ、表の第５行を参照）、同様にして、逆視がなくなるようにされる。

つまり、この場合には、第１の視聴者９ｂ１は、左眼９４Ｌに視差画像iを、右眼９４Ｒに視差画像iiをそれぞれ見ると共に（表の第５行第３列〜第４列）、第２の視聴者９ｂ２は、左眼９４Ｌに、視差画像iiを、右眼９４Ｒに視差画像iiiをそれぞれ見ることになるように（第５行第４列、第２列）、表示する視差画像の並びを替える。

すると、動き９ｂ２ｍがされた後における、表の第５行の場合にも、２人の視聴者が、何れも立体視可能となる。

特許第３０３０２４３号公報

「パララックスバリアを用いた複数観察者トラッキング型立体ディスプレイ」包躍，画像電子学会誌，第32巻，第5号，pp.667-673（2003）

複数の視聴者がいる場合、特許文献１の技術では、対応することができない。

また、非特許文献１（図２２参照）の場合には、視聴者が２人である場合にまでしか対応することができず、３人以上の視聴者がいる場合には、逆視となる視聴者が発生する可能性が高い。

そこで、本発明は、より確実に、逆視が発生するのが回避されて、より確実に、立体映像の表示ができる立体映像表示装置を提供することを目的とする。

上記の課題を解決するために、本立体映像表示装置は、複数の視差画像を表示して、同時に複数の観察者が、特殊なメガネ（単なる老眼用のメガネなどの通常のメガネではない、立体映像を知覚するのに用いられるメガネ）を用いず、立体視を観察する立体映像表示装置であって、多視点からの複数の前記視差画像のうちのそれぞれの前記視差画像について、複数の画素列から画素列を選択して、その視差画像を、選択された前記画素列で表示する２次元表示部と、前記複数の画素列からの光を、それぞれの前記視差画像が、その視差画像に対応する所定位置に提示されるように、分離する分離部と、立体視を観察する観察者の位置を検出する位置検出部と、検出された前記位置に応じて、それぞれの前記視差画像の表示制御を行い、検出された前記位置にいる前記観察者の右眼がない位置（右眼がある位置以外の他の位置：図３の位置１１３４など参照）を特定して、特定された前記位置に、複数の前記視差画像のうちの先頭の前記視差画像（視点位置が、何れの他の視差画像の視点位置よりも左側で、最も左側である図３の視差画像１１０１参照）を提示させる視差配置制御部とを備え、複数の前記視差画像は、左眼に入射する視差画像の視差画像番号よりも、右眼に入射する視差画像の視差画像番号の方が小さい場合に逆視が発生するように並べられている立体映像表示装置である。

なお、例えば、本立体映像表示装置は、視聴人数nについて、n＋１の個数の視差画像を用いて、検出された頭部位置に応じて、表示パネル上の視差画像の表示位置を制御することで、３人以上の視聴者の場合でも、逆視がない立体映像を観察することができる立体映像表示を提供するものでもよい。

また、本立体映像表示装置では、各視差画像が提示される所定の位置の間隔を、眼間距離よりも細分化してもよい。そして、その細分化数ｍに応じて、n×ｍ＋１の個数ｎ視差画像を用い、検出された頭部位置に応じて、表示パネル上の視差画像の表示位置を制御することで、３人以上の複数視聴者に対しても、逆視がなく、立体映像が観察できるとともに、所定の位置の間で発生するクロストーク領域も削減することができてもよい。

また、本立体映像表示装置では、左眼画像Ｌと右眼画像Ｒのみを用意し、視聴人数に応じて、２つのＬＲ視差画像を補間して、複数の視差画像を生成し、用いることで、視聴人数に応じて、視差画像を改めて準備することなく、３人以上の複数視聴者に対しても、逆視がなく、立体映像が観察できてもよい。

３人以上の複数観察者（複数視聴者）が同時に観察（視聴）した場合でも、逆視を発生させることがなく、立体映像を観察することができる立体映像表示装置を提供できる。しかも、観察者の人数が変化した後でも、その変化の後の人数の観察者のうちの何れの観察者の予め定められた方の目（例えば右眼）の位置でもない位置（位置１１３４参照）が特定されるなどだけで済んで、処理が簡単にできる。しかも、複雑な構成（図２３Ｂのテーブル参照）が必要にならず、構成が簡単にできる。

また、各視差画像を提示する間隔を、眼間距離よりも細分化し、頭部位置における視差画像表示制御と組み合せることで、逆視発生を抑えるとともに、クロストークの発生する領域も減少させることができる。

さらに、左眼用画像Ｌと右眼用画像Ｒとから、補間で視差画像を生成することを組み合わせることで、最大視聴人数に応じて、改めて視差画像を用意する必要がないという利点がある。

図１は、本発明における第１の発明である立体映像表示装置の構成を示す図である。 図２は、本発明における第１の発明である立体映像表示装置の視差配置制御手段の処理（視聴者３人の場合）を模式的に示す図である。 図３は、本発明における第１の発明である立体映像表示装置の視差配置制御手段の処理（視聴者４人の場合）を模式的に示す図である。 図４は、本発明における第１の発明である立体映像表示装置の視差配置制御手段の処理（視聴者ｎ人の場合）を模式的に示す図である。 図５は、本発明における第１の発明である立体映像表示装置の位置検出手段の構成を示す図である。 図６は、本発明における第１の発明である立体映像表示装置の頭部検出手段の構成を示す図である。 図７は、本発明における第１の発明である立体映像表示装置の位置検出手段の処理を模式的に示す図である。 図８は、本発明における第１の発明である立体映像表示装置の頭部検出手段のパターンマッチング部の処理を模式的に示す図である。 図９は、本発明における第２の発明である立体映像表示装置の構成を示す図である。 図１０Ａは、本発明における第２の発明である立体映像表示装置の表示間隔制御部の動作を模式的に示す図である。 図１０Ｂは、本発明における第２の発明である立体映像表示装置の表示間隔制御部を模式的に示す図である。 図１１は、本発明における第２の発明である立体映像表示装置の視差制御手段の処理（視聴者２人、細分化数ｍ=2の場合）を模式的に示す図である。 図１２は、本発明における第２の発明である立体映像表示装置の視差制御手段の処理（視聴者３人、細分化数ｍ=2の場合）を模式的に示す図である。 図１３は、本発明における第２の発明である立体映像表示装置の視差制御手段の処理（視聴者３人、細分化数ｍの場合）を模式的に示す図である。 図１４は、本発明における第３の発明である立体映像表示装置の構成を示す図である。 図１５は、本発明における第３の発明である立体映像表示装置の視差画像生成手段の構成を示すブロック図である。 図１６Ａは、本発明における第３の発明である立体映像表示装置の視差画像生成の手順を示す図である。 図１６Ｂは、本発明における第３の発明である立体映像表示装置の視差画像生成の手順を示す図である。 図１７は、本立体映像表示装置の動作を示す図である。 図１８は、本立体映像表示装置の動作を示す図である。 図１９は、本立体映像表示装置の動作を示す図である。 図２０は、本立体映像表示装置の動作を示す図である。 図２１は、従来の２視差を用いたバリア制御による立体映像表示装置の構成を示す図である。 図２２は、従来の複数視差（４視差）を用いたバリア制御による立体映像表示装置の構成を示す図である。 図２３Ａは、２人の視聴者に対して３視差画像を用いた従来の画素表示方式における模式図である。 図２３Ｂは、図２３Ａの方式での動作の表を示す図である。 図２４は、レンチキュラー板が用いられた構成を示す図である。

以下、本発明の最良の形態としての第１〜第３実施形態について、図面を参照して説明する。

実施形態の立体映像表示装置は、複数の視差画像（例えば図３の画像１１０１〜１１０５）を表示して、同時に複数の観察者（視聴者１１４ａ〜１１４ｄ）に、特殊なメガネを用いず、立体視（立体映像）を観察させる立体映像表示装置１００ｓ（図１など）であって、多視点（複数の視点位置）からの複数の視差画像のうちのそれぞれの視差画像（例えば画像１１０３）について、複数の画素列（ａ〜ｄの画素列）から画素列（ａの画素列）を選択して、その選択画像（画像１１０３）を、選択された画素列（ａの画素列）で表示する２次元表示部１００と、複数の画素列からの、それぞれの画像（画像１１０１〜１１０５）の光が含まれてなる光（光１０１Ｌ）を、それぞれの視差画像（図３の画像１１０３）が、その視差画像に対応する所定位置（位置１１３６）に提示されるように、それぞれの視差画像の光（図２の光１０１Ｌｐ参照）へと分離する分離部（バリア形成部１０１）と、立体視を観察する観察者１１４の位置を検出する位置検出部１０２と、検出された位置に応じて、それぞれの視差画像の表示制御を行い、検出された位置にいる観察者（視聴者１１４ａ、１１４ｂ…）の左眼および右眼のうちの予め定められた方の眼（右眼）がない位置（位置１１３４）を特定して、特定された位置（位置１１３４）に、複数の視差画像のうちの予め定められた視差画像（視点位置が最も左側である画像１１０１）を提示させる視差配置制御部１０３とを備える。

第１実施形態では、視聴人数＋１の数だけの個数の視差画像を用いて、検出された、視聴者の頭部位置に応じて、表示パネル上の視差画像の表示位置を制御して立体映像表示を行う方法について説明する。

第２実施形態では、各視差画像が提示される所定の位置間隔を、眼間距離よりも短い間隔へと細分化する。その細分化数ｍに応じて、視聴人数×ｍ＋１の視差画像を用い、検出された頭部位置に応じて、表示パネル上の、視差画像の表示位置を制御して、立体映像表示を行う方法について説明する。

第３実施形態では、第１または第２の発明において、左眼画像Ｌと右眼画像Ｒのみを用意し、視聴人数に応じて、２つのＬＲ視差画像を補間して、複数の視差画像を生成し、用いる方法を導入して、立体映像表示を行う方法ついて説明する。

［第１実施形態］
図１から図８を用いて、本発明の第１実施形態として、視聴人数＋１の個数の視差画像を用いて、検出された頭部位置に応じて、表示パネル上の視差画像の表示位置を制御して、立体映像表示を行う装置について説明する。

図１には、本発明の第１実施形態である立体映像表示装置の構成を示す。また、図２には、視聴者nがn=3の場合の視差画像配置制御の例を示し、図３には、視聴者nがn=4の場合の視差画像配置制御の例を示し、図４には、より一般化した、視聴者nの場合の視差画像配置制御の例を示す。なお、ここで、視差画像が提示される位置の間隔PLenは、眼間距離Leyeと同じであるとする。図５には、本発明の第１の実施形態例である立体映像表示装置内の位置検出部の構成を示し、図６には、位置検出部内の頭部検出部の構成を示す。そして、図７には、位置検出部の処理概要を示し、図８には頭部検出部１８０におけるパターンマッチング例を示す。

これらの図に従い、本発明の第１実施形態である立体映像表示装置について説明する。

図１は、立体映像表示装置１００ｓの構成を示す図である。

図１に示されるように、立体映像表示装置１００ｓは、カメラ１０４などの各構成要素を備える。

カメラ１０４は、視聴者１００ｘ（視聴者１００ｘ１など）の存在する領域（領域１００Ｒ）の画像（画像１０４Ｉ）を撮影する。

位置検出部１０２は、撮影された画像１０４Ｉを基に、視聴者１００ｘの位置変動を検出する。

初期調整部１０５は、立体映像表示装置１００ｓが、住宅の居間等に（初めて）設置された時点などでの、位置検出部１０２による位置検出のための、その位置検出で用いられるパラメータの調整や、表示デバイス、視差バリア等の調整を行う。

２次元表示部１００は、２次元の視差画像を表示する。

表示回路１０８は、２次元表示部１００に表示をさせるための表示回路であり、例えば、２次元表示部１００の動作を制御する制御回路でもよい。

そして、バリア形成部（分離部：パララックスバリア、視差バリアなど）１０１は、２次元表示部１００からの画像の光１０１Ｌを、開口して、通過させたり、遮蔽をしたりする。

これにより、所定の位置（図２の位置１１３）に、光１０１Ｌのうちの、その位置へと提示される視差画像（画像１１０）の光の部分が入射する。これにより、その位置に、その視差画像が提示される。これにより、その位置に、視聴者１１４の眼（左眼または右眼）があるときには、その眼により、その位置に提示される画像が見られる。

バリア制御回路１０６は、バリア形成部１０１の動作を制御する。

視差配置制御部１０３は、位置検出部１０２の結果（位置検出部１０２により出力される情報１０２Ｉ）を基に、２次元表示部１００が表示させる視差画像の配置（画像１１０１が提示される位置１１３など）を最適化制御する。

記憶部１０７ｓは、例えばＲＡＭ（Random Access Memory）などであり、２次元表示部１００が表示させる複数の視差画像１０７を記憶して、記憶された複数の視差画像１０７を表示させる。

なお、パララックスバリア（視差バリア）１０１が、薄いフィルム膜で構成されているような場合、固定バリアとなる。このため、この場合には、初期調整部１０５で、バリア位置や、ピッチ調整は実施されないものとする。なお、その場合、バリア制御回路１０６では、フィルム全面で、透過にするか、バリア（開口と遮蔽を実施）を有効にするかの制御を行うこととなる。

なお、説明の便宜上、適宜、２次元表示部１００と、バリア形成部１０１とが含まれてなる全体は、表示部１００ｈと呼ばれる。

なお、立体映像表示装置１００ｓは、例えば、テレビなどでもよい。つまり、立体映像表示装置１００ｓは、信号を受信して、受信された信号により表わされる、放送される映像である立体映像の複数の視差画像１０７を、上述の表示部１００ｈにより表示してもよい。立体映像表示装置１００ｓは、これにより、受信された立体映像を、視聴者１１４に知覚させて、視聴者１１４に対して立体映像を表示してもよい。

まず、カメラ１０４で撮影された画像（画像１０４Ｉ）と、位置検出部１０２の結果（情報１０２Ｉ）とを基に、居間等の部屋に初めて設置された時点での、位置検出のためのパラメータ調整や、表示デバイス、視差バリア等の調整を、初期調整部１０５が実施する。

なお、この場合、ＴＦＴ液晶パネル等によるアクティブ視差バリアを用いる場合には、所定の最適視聴距離における、バリアのピッチ幅やバリア位置の調整が実施される（開口部分と遮蔽部分の位置の制御が、画素もしくはサブピクセル画素単位で実施される）。

図５は、位置検出部１０２の構成を示す図である。

図６は、位置検出部１０２が備える頭部検出部１８０（図５参照）の構成を示す図である。

位置検出に関するパラメータの調整の処理としては、例えば、次の処理がされてもよい。その処理では、所定距離の、正面を向いた人物を撮影したカメラ画像を用いる。そして、その処理では、そのカメラ画像における顔部分の抽出ができるように、撮影画像内の輝度分布／色分布調整や、後述のパターンマッチング内の閾値パラメータ調整を実施する。さらに、その処理では、複数の視聴者の間の距離を算出するための基準値調整として、以下で詳しく説明されるように、画像データベース（テンプレート記憶メモリ）１８８（図６）内の基準顔画像の大きさFLEN（図７）と、抽出された正面顔画像の大きさlenとの間の相対比量RFaceを求めることも実施する。

図７は、位置検出部１０２の処理を模式的に示す図である。

上述された動作と合わせて、最適視聴距離からの画像であるテスト画像を用いた立体映像視認評価を行う。そして、その立体映像視認評価から特定された、見易さや、ぼけ／融像程度を基に、表示回路１０８での、階調特性のチューニングや、代表ＬＲ視差画像内の視差量制御（線形係数での強弱制御や水平方向シフト量調整）を実施する。図７における基準点（星印で示される点１０４ｓ）での基準視差画像Ａの視聴が可能になるように調整することに相当する。

先述の調整を実施するために、特に、位置検出精度を上げるために、実施される位置検出処理としては、図７のような処理が実施される。

まず、カメラ１０４で、視聴者の居ると思われる領域（例えば、図１の領域１００Ｒの一部または全部など）の画像が撮影される。

なお、カメラ１０４は、そのような、視聴者が居ると推定される領域（例えば、居間の場合には、ＴＶ（television）から、視野角１００度、視聴距離は１．５ｍから６，７ｍ以内である領域など）が撮影できるような画角を有するとの条件を満たすカメラである必要である。

撮影された画像を基に、頭部検出部１８０（図５、図６）が、その画像内の、人物頭部（頭部の領域）を抽出する（図７の処理Ｓａ１：(a)欄）。

それに対して、基準点設定部１８２（図５）は、その画像内で、相対的な大きさを検出する際の基準点（点１０４ｓ）を設定する（処理Ｓａ２：図７の(b)欄）。

次に、図７の(c)欄（処理Ｓａ３）で示されるように、視聴者位置検出部１８１（図５）が、Ａ・Ｂの２人の視聴者（複数の視聴者）のそれぞれの頭部検出を行い、視聴者Ａと視聴者Ｂとの間の距離Len_AB、視聴者Ａと基準点との間の距離Len_A、および、視聴者Ｂと基準点との間の距離Len_Bをそれぞれ求める。

この場合、(c)欄に示されるように、画像データベース１８８内に保持された基本顔画像の大きさFLENと、次の値とを比較する。その値とは、抽出された、人物Ａの頭部の領域の大きさslen_A、および、人物Ｂの頭部の領域の大きさslne_Bの代表値である。FLENと、この代表値とを比較して、相対比量RFaceを求める。

そして、その値（求められた相対比量RFace）を、画像内で得られた、slen_AB,slen_A,slen_Bへの係数として用いて、下記の（数式１）のように、算出をする。

ここで、例えば、FLENと比較する、抽出された、人物の頭部の領域の大きさ（slen_A、slne_B）の値としては、予め用意された基準顔画像Ａを用いた場合には、次の値を用いてもよい。つまり、その場合には、その基準顔画像Ａに対応する、抽出された人物Ａの領域での大きさであるslen_Aを、FLENとの比較に用いてもよい。また、slen_Aと、slen_Bとの平均値を、FLENと比較してもよい。

最後に、位置移動判断部１８３（図５）が、所定の時刻前の、視聴者ＡとＢとの位置情報であるLen_AB,Len_A,Len_Bの変化量dLenAB,dLenA，dLenBを基に、動いたかどうかの判断をする。

この場合、視差画像間距離が、眼間距離Leyeであることから、クロストークが発生し難い大きさとして、しきい値を、Leye/2に設定した。

つまり、変化量dLenAB,dLenA，dLenBのうちの２つ以上が、Leye/2より大きい場合には、位置移動があったとの判断を行い、その視聴者位置情報（Len_ABとLen_A,Len_B）と、そのような、位置移動があったときに適する視差画像配置制御の実施を指示する信号を、位置検出部１０２が出力するのである。

頭部検出部１８０（図５）の細部は、例えば、図６に示すように構成される。

なお、図６に示すように、テンプレート記憶メモリ１８８は、頭部検出部１８０外の外部メモリにより構成されるものであってもよい。一方で、テンプレート記憶メモリ１８８は、頭部検出部１８０内に含まれるものなどであってもよい。

輪郭検出部１８５では、入力されたカラー画像信号（画像データ）から、輪郭情報が取得される。

この輪郭検出部１８５での処理について、以下、詳細に説明する。

輪郭検出部１８５では、下記の（数式２）で示される、3×3の大きさをもつ２次元フィルタによる２次元フィルタ処理により、下記の（数式３）により、画像内の各画素（i,j）の微分ベクトルvd(i,j)(xd(i,j),yd(i,j))を求める。

また、微分ベクトルvd(i,j)の大きさstv(i,j)を、次の式
stv(i,j) = ( xd(i,j)×xd(i,j) + yd(i,j)×yd(i,j) )^0.5
により求める。

輪郭検出部１８５では、各画素( i,j )における上述のstv( i,j )を、所定のしきい値TH2を使って、このTH2と、下記の（数式４）のように、比較することで、輪郭画素抽出を行う。

なお、下記の（数式４）は、カラー画像信号により形成される画像上の画素が、輪郭に含まれる画素であるか否かを示すための２値化を行うものであり、E( i,j )=1は、画素( i,j )が輪郭に含まれる画素であることを表している。

このようにして、輪郭検出部１８５により求められた輪郭情報E(i,j)（以下では、単に「輪郭情報Ei」と表記することもある。）は、特徴量抽出部１８６（図６）へ出力される。

一方、色度合い検出部１８４（図６）では、色分布で、クラスタ分類された後、各クラスタ内画素の肌色度合いを計算する。

そして、この肌色度合いの高い画素が多く含まれるクラスタ領域ほど、出力1.0となるように、変換した情報を求める。

特徴量抽出部１８６へは、この色度合い情報も渡され、輪郭情報と、肌色度合い量からの特徴量とを基に、人物らしさ度合いFHi(i,j)を求める。

なお、その算出は、２つの特徴量の線形結合での算出であってもよいし、非線形変換での算出などであってもよい。

また、輪郭情報Eiで、肌色度の高いところにおいては、そのまま、Eiを、人物らしさ度合いFHi(i,j)とする一方で、肌色度の低いところでは、輪郭情報Eiを弱める係数を乗算して、乗算されて、弱められた後の値を、人物らしさ度合いFHi(i,j)として出力するなどしてもよい。

また、肌色度合いを用いずに、輪郭情報Eiのみで、人物らしさ度合いFHi(i,j)を求めてもよい。

パターンマッチング部１８７では、特徴量抽出部１８６により得られた、人物らしさ度合いFHiから特定される領域の形状を、予め用意された、テンプレート記憶メモリ１８８内の、対象領域の形状データの形状と、パターンマッチング処理して、対象領域抽出を行う。

対象領域抽出を行う対象領域としては、たとえば、顔領域や、人物領域（上半身、全身）や、目・鼻・口のような顔パーツ領域等が挙げられる。

なお、対象領域を、顔領域とする場合、テンプレート記憶メモリ１８８には、顔領域の標準形状データ（複数であってもよい。また、複数の方向での形状データであってもよい。）を保持しておく。

また、対象領域を人物領域とする場合、テンプレート記憶メモリ１８８には、人物領域の標準形状データ（複数であってもよい。また複数の方向の形状データであってもよい。また、上半身でも全身でもよい。）を保持しておく。

また、対象領域を、目・鼻・口のパーツ領域とする場合、テンプレート記憶メモリ１８８には、各パーツ領域の標準形状データを保持しておく。

このように、テンプレート記憶メモリ１８８で保持する形状データTp[ k, s ]（ p = 1,…, Pnum ）（ k = 0,1,…, Wp-1 ）（ s＝0,1,…, Hp-1 ）と、各画素( i, j )の特徴量情報FH(i,j)のパターンマッチング処理を行うことで、パターンマッチング部１８７により、該当領域（対象領域情報：図６の情報１８７Ｉ）が抽出される。

なお、Pnumは、テンプレート数であり、Wp、Hp は、それぞれ、矩形テンプレートの水平画素数、垂直画素数である。

図８は、パターンマッチ法の一例を説明するための模式図である。

パターンマッチング部１８７（図６参照）で実行されるパターンマッチング処理の手法としては、多くの方法があるが、簡易な方法としては、例えば、図８に示すような方法がある。パターンマッチング部１８７により、その方法を実行する処理１８７ｑが実行される。

以下で、この方法について説明する。

テンプレート１８８Ｐ に対して、画素( i,j )を中心とした、水平幅 Wp、垂直幅 Hp をもつ矩形領域候補SR[ i, j, Wp, Hp ]を設定する。

そして、設定された矩形領域候補 SR[ i, j, Wp, Hp ]内の輪郭情報 E( i,j )と、テンプレート記憶メモリ１８８に保持されている、テンプレート１８８Ｐの形状を特定する形状データTp[ k, s ](図８のデータ１８８ａ： ( k = 0,.., Wp-1 ) ( s = 0,1,…,Hp-1 ) )を基に、下記の（数式５）のような、評価関数 R( i, j, p )を求める。

次に、下記の（数式６）に示されるように、テンプレート１８８Ｐ、および画素( i, j )に対して、最大の評価関数 R( i, j, p )となるMRを求める。

なお、（数式６）において、MAXは、画素( i, j)及びテンプレート１８８Ｐに対して、R( i, j, p )の最大値を求めることを示す。

そして、その最大値 MRが、所定のしきい値THMR以上であれば、最大値 MRに該当する矩形領域候補 SR[ i, j, Wp, Hp ]を、求める対象領域情報 BestSR[ i,j, W, H ]として抽出する。

このように、所定のしきい値THMRと比較することで、ノイズ等へのマッチングが生じてしまうことを抑えることができる。

なお、しきい値THMRよりも、最大値MRが小さい場合には、対象領域がないものとして、対象領域情報BestSR[ i, j, W, H ]として、入力画像の情報［ width/2, height/2, width, height ］が出力される。

なお、ここで、width は、入力画像の水平画素数を示し、heightは、入力画像の垂直画素数を示す。

以上のようにして、パターンマッチング部１８７により取得された対象領域情報BestSR[ i, j, W, H ]は、対象領域情報（図６の１８７I）として、頭部検出部１８０より出力される。

位置検出部１０２により、位置移動が発生したと判断したことを示す信号（図５の情報１０２Ｉ参照）が出力された場合、視差配置制御部１０３（図１）では、２次元表示部１００により表示される視差画像の最適配置の処理を実施する。

図２、図３、図４のそれぞれは、その処理の１例を示したものである。

図２では、視聴者の数nについて、n=3の場合における視差画像配置制御の例を示し、図３では、視聴者の数nについて、n=4の場合における視差画像配置制御の例を示す。そして、図４では、一般化された、視聴者数がn人の場合の視差画像配置制御を示す。

図２は、n=3の場合における視差画像配置制御の例を示す図である。

まず、視聴者n=3の場合の１例について、図２を基に説明する。

図２（および、後で説明される図３、４のそれぞれ）では、画像（２次元の視差画像）を表示するパネル（２次元表示部）１００が示される。

また、そのパネル１００上に表示される複数の視差画像１１０が示される。

また、それぞれの視差画像（画像１１０：例えば画像１１０１）からの光１０１Ｌｐを、開口または遮蔽することで、所定の視聴位置（位置１１３２）に提示するための視差バリア（バリア形成部）１０１が示される。

また、パネル１００から所定の距離にある直線１１３Ｌ上の視聴位置１１３（視聴位置１１３１、１１３２など）が示される。

また、視聴者１１４（例えば第１の視聴者１１４ａ）の左眼の位置（位置１１３２）と、右眼の位置（位置１１３３）との２つの位置の組み合わせ１１８（組み合わせ１１８ａ）が示される。

また、それぞれの位置１１３で観察される視差画像１１５（視差画像１１０）の視差画像番号（１、２…）が示される。

また、提示する視差画像１１５の配置設定を行う際における設定単位１１６が示さされている。なお、設定単位１１６は、２個以上の個数（図２の例では５個）の位置が属する単位である。

ここで、互いに隣り合う２つの位置１１３に提示される２つの画像（視差画像）１１５が提示される２つの位置（位置１１３１、１１３２）の間の間隔PLenがある。この間隔PLenは、視聴者１１４の左眼と右眼の間の距離である眼間距離Leyeと同じである。例えば、これにより、視聴者１１４（例えば、第１の視聴者１１４ａ）における、左眼の位置と右眼の位置との２つの位置（位置１１３２、１１３３）は、互いに隣り同士にある２つの視差画像（例えば、位置１１３２の画像１１０１、および、位置１１３３の画像１１０２）の位置に一致することとなる。

図２における、視聴者１１４が示される箇所は、その視聴者１１４がいる位置を示し、ひいては、その視聴者１１４の位置が、その位置である際における、その視聴者１１４の２つの眼の位置を示している。

つまり、図２においては、例えば、第１の視聴者１１４ａの２つの眼のうちで左眼の位置（位置１１３２）は、視差画像１１０１の提示位置にあり、右眼の位置（位置１１３３）は、視差画像１１０２の提示位置に存在することが示される。

先述のように、互いに隣り合う２つの視差画像１１５（視差画像１１０）の位置（例えば、位置１１３２、１１３３）の間の距離PLenが、視聴者１１４の左前と右眼との間の距離である眼間距離Leyeになっている。

このため、３人の視聴者（第１〜第３の視聴者１１４ａ〜１１４ｃ）がいる場合、視差画像１１５の配置制御をするのに必要な視差画像の個数NumPは、NumP = (視聴者数n+1)=4となる（第１〜第４の視差画像１１０１〜１１０４を参照）。

つまり、パネル１００上の画素列位置(a,b,c,d,a)に表示される視差画像１１０は、４枚の視差画像（第１〜第４の視差画像１１０１〜１１０４）の集合OG4={j|j∈(1,2,3,4)}から選択配置されることとなる。

ここで、視聴者１１４の左眼に入射する視差画像の視差画像番号よりも、右眼（位置）に入射する視差画像の視差画像番号の方が小さい場合に、逆視が発生するものと考える。

この場合、提示する視差画像配置の設定を行う際に用いられる単位１１６は、図２に示されるように、直線１１３Ｌ内（直線１１３Ｌ上）にある(a,d,c,d,a)の５つの位置１１３で構成される。例えば、単位１１６の１つである単位１１６１は、５つの位置１１３１〜１１３５で構成される。

なお、このようにして、４つの位置ではなく、５つの位置で構成されるのは、dとaの組合せも考慮するする必要があるためである。

設定単位１１６（単位１１６１）内にある、位置１１３１、１１３２、１１３３、１１３４、１３５は、各々、視差aの提示される位置、視差ｂの提示される位置、視差ｃの提示される位置、視差ｄの提示される位置、２度目の視差aの提示される位置を示す。

この単位１１６内で、３人の視聴者１１４ａ〜１１４ｃの眼の位置がある各位置のうちの先頭の位置である先頭視差位置（位置１１３２）と、眼の位置がある、最終の視差位置である最終視差位置（位置１１３５）との間の視差数NSPを算出すると、NSP=4となる。

この値を、必要とする視差画像の数NumP=4と比較すると、NSP=NumPとなる。

ここで、NumPは配置制御の基準値になり、図２等で示されるようにTh_NSPとしても定義した。

このような場合、複数の視聴者の眼の位置のうちで、最も先頭にある先頭視差位置（位置１１３２）と最終視差位置（位置１１３５）との間では、すべての位置に、眼が配置されていることとなる。

そこで、先頭の眼の位置（位置１１３２）に、視差画像集合OG4内の最も先頭にある視差画像１１０１を配置して、そこから、より右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てるようにする。

このことで、単位１１６内の、２度目の視差位置a（位置１１３５）までは、逆視のない視差画像配置になる。

同様に、単位１１６の左端にある、aの位置（位置１１３１）は、単位１１６内の先頭に折り返されるので、先頭にある視差位置a（位置１１３１）には、２度目の視差位置aに設定された視差画像番号と同じ番号を割り当てる。

このことで、この場合にも、逆視のないような配置をすることが可能となる。

なお、図２における、丸印で示される位置１０３ｐは、視差画像集合OG4内で、最も先頭にある、視差画像１１０１を配置する視差位置番号の位置を示す。

図３は、視聴者nがn=4の場合の、視差画像の最適配置制御例を示す図である。

必要視差画像数NumPは、NumP=(視聴者数n+1)=5となり、パネル１００上の画素列位置(a,d,c,d,e,a)に表示される視差画像１１０は、５枚の視差画像集合OG5={k|k∈(1,2,3,4,5)}から選択配置される。

提示する視差画像配置の設定を行う単位１１６は、eとaの組み合わせも考慮する必要がある。このため、視聴位置１１３内にある(a,d,c,d,e,a)の６つの位置で構成される。

設定単位１１６に含まれる、位置１１３１、１１３２、１１３３、１１３４、１１３５、１１３６は、各々、視差aの提示される位置、視差ｂの提示される位置、視差ｃの提示される位置、視差ｄの提示される位置、視差ｅの提示される位置、２度目の視差aの提示される位置を示す。

この設定単位１１６内で、４人の視聴者１１４ａ〜１１４ｄの眼の位置のうちの、先頭の位置である先頭視差位置（位置１１３１）と、眼の位置がある最終視差位置１１３６の間の視差数NSPは、NSP = 6となる。

このNSPを、必要とする視差画像数NumP=5と比較すると、この値よりも大きいので、４人の視聴者の眼の位置がある先頭視差位置と、眼の位置がある最終視差位置の間に、眼の配置されない空間部分があることを示す。

図２の場合とは異なり、複数の視聴者１１４の眼の位置のうちでの先頭視差位置（位置１１３１）と、最終視差位置（位置１１３６）との間で、空白領域があるということは、その空白領域（空白部分）で、視差画像番号が途切れることを意味する。

そして、その空白部分の後の視差位置（位置１１３４）に、視差画像集合OG5に含まれる各画像１１０のうちで、最も先頭にある視差画像１１０１が配置され、そこから右の視差位置にいくにつれて、視差番号を、１ずつ加算したものが割り当てられる。

こうすることで、単位１１６内の２度目の視差位置a（位置１１３６）まででは、逆視のない、視差画像配置になる。

一方、単位１１６の右端にあるa（位置１１３６）では、設定単位１１６内の先頭の位置（位置１１３１）に折り返されるので、先頭にある視差位置a（位置１１３１）に、２度目の視差位置a（位置１１３６）に設定された視差画像番号（３）と同じ番号（３）を割り振り、そのあとの位置１１３２から、眼の配置されない領域の左部分（位置１１３３）までのそれぞれの位置に、視差番号を順次、加算して割り当てることで、設定単位１１６における設定単位の先頭部分でも、逆視のないような配置をすることが可能となる。

丸印のある位置１０３ｐである位置１１３４が、視差画像集合OG5内で、最も先頭にある視差画像１（画像１１０１）を配置する視差位置番号の位置になる。

図４は、一般化された視聴者nの場合の視差画像の最適配置制御の１例を示す図である。

互いに隣り合う２つの視差画像１１０の間の距離が、眼間距離Leyeになっており、視聴者nの視差配置制御をするのに必要な視差画像数NumPは、次の（数式７）のようになる。まず、図４では、複数視聴者が同じ位置(v1,v2,…,vn,vn+1)にいない場合を示す。

この時、パネル１００上の画素列位置(v1,v2,v3,…,vn,vn+1 )のそれぞれに表示される視差画像１１０は、(n+1)枚の視差画像集合OGn={k|k∈(1,2,3,4,5,6,7,…,n+1)}から選択配置されることとなる。

提示する視差画像の配置の設定を行う単位（設定単位）１１６は、図４で示されるように、視聴位置１１３内にある(v1,v2,v3,v4,…,vn, vn+1, v1 )の( n + 2 )個の位置で構成される。

まず、ｎ人の視聴者の眼の位置がある先頭視差位置と、眼の位置がある最終視差位置の間の視差数NSPを求め、必要とする視差画像数NumP = n+1と比較する。

図４のように、NSP>NumPの場合には、図３の例と同様に、複数の視聴者の眼の位置の先頭視差位置と、最終視差位置との間で、空白領域があり、視差画像番号が途切れることを意味する。

このため、その空白部分の後の視差位置（位置１０３ｐ）に、視差画像集合OGn内の最も先頭にある視差画像１（画像１１０１）を配置する。

そして、そこ（位置１０３ｐ）から、より右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てる。

一方、設定単位１１６の右端にあるv1の視差番号を、先頭にある視差位置v1にも割り振り、そのあとのv2から、眼の配置されない領域の左位置まで、視差番号を加算して、割り当てることとなる。

また、NSP=NumP の場合には、図２の例と同様にすればよい。

つまり、複数の視聴者の眼の位置の先頭視差位置と、最終視差位置との間は全て、眼が配置されている。

このため、先頭の眼の位置に、視差画像集合OGn内の、最も先頭にある視差画像１を配置して、そこから右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てる。

そして、単位１１６の右端にある視差位置v1は、設定単位１１６内の先頭に折り返されるので、先頭にある視差位置v1に、２度目の視差位置v1に設定された視差画像番号と同じ番号を割り当て、複数の視聴者の眼の位置の先頭視差位置まで、順に加算して、視差番号を割り当てる。このことで、最適配置が可能となる。

一方、複数視聴者がいた場合でも、１人目の視差提示位置に対して、繰り返し出てきた同じ視差提示位置に、異なる視聴者が存在する場合が発生する（例えば、図４の設定単位で、vnが複数視聴者の眼の位置の最終視差位置になった場合など）。

この場合、NSP>NumPのときには、前述の複数視聴者位置が重ならない場合の検討と同じようになる。

一方、NSP≦NumPとなる場合、複数視聴者の眼の位置の先頭視差位置と、最終視差位置との間には、設定単位で見れば、複数視聴者の眼の位置が重なる。このため、眼の配置されない空白部分が存在するが、図２の例と同様に、先頭の眼の位置に、視差画像集合OGn内の最も先頭にある視差画像１を配置して、そこから右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てる方法を用いることで対応ができる。

図１７、図１８は視聴者が３人の場合を示す。

図１７、図１８のような場合、複数視聴者の眼の位置のうちの先頭視差位置と、最終視差位置との間においては、設定単位で見れば、複数視聴者の眼の位置が重なる。

このため、単位１１６内において、眼の配置されない空白部分が２つ以上存在している。

しかし、この場合でも、前述のような考え方で、画像を配置することで、逆視を改善できる。

例えば図１７の場合、NSP=NumPとなり、図２の例と同様に、先頭の眼の位置に、視差画像集合OGn内のもっとも先頭にある視差画像１を配置して、そこから、より右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てる方法を用いることで対応ができる。

また、図１８の場合、NSP>NumPとなり、図３の例と同様に、複数視聴者の眼の位置のうちの先頭視差位置と、最終視差位置との間で、空白領域があり、視差画像番号が途切れることを意味する。

そこで、その空白部分の後の視差位置から、視差画像集合OGn内の、先頭にある視差画像１を配置する。そして、そこから右の視差位置にいくにつれて、視差番号を、１ずつ加算したものを割り当てる。一方、設定単位１１６の右端にあるv1の視差番号を先頭にある視差位置v1にも割り振り、その後のv2から、眼の配置されない領域の左位置まで視差番号を加算して割り当てることとなる。

一方、複数視聴者がいた場合でも、１人目の視差提示位置に対して、繰り返し出てきた同じ視差提示位置に、１人目の視聴者とは異なる２人目の視聴者が存在する場合が発生する（例えば、図４の設定単位で、v7が、複数視聴者の眼の位置の最終視差位置になった場合）。

この場合、NSP>NumPのときには、前述の検討と同じようになる。NSP<NumPとなる場合、複数の視聴者の眼の位置の先頭視差位置と、最終視差位置との間には、設定単位で見れば、複数の視聴者の眼の位置が重なるため、眼の配置されない空白部分が存在するが、図２の例と同様に、先頭の眼の位置に、視差画像集合OGn内の最も先頭にある視差画像１を配置して、そこから、より右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てる方法を用いることで対応ができる。

こうすることで、例えば、vn+1から視差番号１を割り当てて、左端に折り返した場合に、vnとvn+1にも視聴者がいる場合に発生する逆視を抑えることが可能となるのである。

以上のことから、（１）NSP≦NumPの場合には、先頭の眼の位置に、視差画像集合OG4内の最も先頭にある視差画像１を配置して、そこから右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てる。先頭にある視差位置v1に、２度目の視差位置v1に設定された視差画像番号と同じ番号を割り当て、複数視聴者の眼の位置の先頭視差位置まで順に加算して視差番号を割り当てる（２）NSP>NumPの場合には、空白部分の後の視差位置から視差画像集合OGn内の最も先頭にある視差画像１を配置する。そして、そこから右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てる。

一方、設定単位１１６の右端にあるv1の視差番号を、先頭にある視差位置v1にも割り振り、そのあとのv2から、眼の配置されない領域の左位置まで、視差番号を加算して割り当てることとなる。

このように、視聴者数nに対して（視聴者数+1）の視差画像を用意し、設定単位内で定義された複数の視聴者の眼の位置の先頭視差位置と最終視差位置の間の視差位置数を、必要とする視差画像数と比較して配置制御することで、３人以上の複数視聴者が同時に視聴した場合でも、逆視を発生させることがなく、立体映像を観察することができる立体映像表示装置を提供できる。

なお、図２から図４では、特定の位置に、視聴者の眼の位置がある場合についてのみ示したが、図２から図４での視聴者数で取りえる視差位置に複数の視聴者の眼の位置があっても、同様の手順で、逆視の発生しない視差画像配置が可能となる。

また、前述したが、n人の視聴者が視差画像数NumP=(n+1)の場合に、全員異なる眼の位置に配置できるような場合ではなく、重なった視差位置に、複数の視聴者の眼の位置が存在するような場合であっても、同様の手順で、視差画像の配置制御が可能である。

つまり、最大視聴者数nmaxに対して、（nmax+1）の視差画像を用意しておき、頭部検出の結果、位置移動が判定された段階で、前述のようなルールに従い視差画像を表示する際の配置制御を行う。

このことで、視差画像が眼間距離間隔で提示される場合に、３人以上、nmax人以下の複数の視聴者が同時に視聴している場合であっても、逆視が発生せずに、立体映像を観察することができる効果をもつことを示している。

なお、複数視聴者が同じ位置(v1,v2,…,vn,vn+1)にいない場合には、次のようにしても、前述の場合と同じよう結果となる。

まず、単位１１６の先頭から探索して、複数視聴者の眼の位置のうちの先頭視差位置と、最終視差位置との間で空白領域がある位置を調べる。

この位置で、視差画像番号が途切れることを意味する。

このため、その空白部分の後の視差位置に、視差画像集合OGn内の最も先頭にある視差画像１を配置する。

そして、そこから、より右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てる。

一方で、設定単位１１６の右端にあるv1の視差番号を、先頭にある視差位置v1にも割り振り、その後のv2から、眼の配置されない領域の左位置まで、視差番号を順に加算して割り当てるのである。

これに対して、１人目の視差提示位置に対して、繰り返し出てきた同じ視差提示位置に、異なる視聴者が存在する図１７や図１８のような場合、複数の空白領域が発生する。

前述の方法では、図１７の場合には、先頭の眼の位置に、視差画像集合OGn内の最も先頭にある視差画像１を配置して、そこから、より右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てる。

しかし、図１９のように、最初の空白領域の後の視差位置から、視差画像集合OGn内の最も先頭にある視差画像１を配置する方法でも、対応が可能である。

また、図１８の場合、前述の方法では、その空白部分の後の視差位置から、視差画像集合OGn内の最も先頭にある視差画像１を配置したが、図２０のように配置することでも、対応が可能である。

よって、単位１１６の先頭から探索して、複数視聴者の眼の位置のうちの先頭視差位置と、最終視差位置との間で、空白領域がある位置を調べる。

この位置で、視差画像番号が途切れることを意味する。

そこで、その空白部分の後の視差位置から、視差画像集合OGn内の最も先頭にある視差画像１を配置する。

そして、そこから、より右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てる。

一方で、設定単位１１６の右端にあるv1の視差番号を、先頭にある視差位置v1にも割り振り、その後のv2から、眼の配置されない領域の左位置まで、視差番号を順に加算して割り当てる方式を用いてもよい。

さらに、本発明では、最も左にある視差画像の開始地点を決定して、そこから、より右方向にある視差画像を、順番に配置して、逆視を抑制していた。

一方で、最も右にある最終視差画像の開始地点を決定して、そこから、左方向にある視差画像を、順番に配置することでもよい。

この場合、前述の２つの方法で定義した、最も左にある視差画像の開始地点に対して、１つ左隣の視差位置に、最も右にある視差画像の開始位置が設定される。つまり、この場合には、最も番号の大きい視差画像が、この位置に割り振られ、そこから、より左の視差位置にいくにつれて、視差番号を１ずつ減算したものを割り当てる。そして、単位１１６の右端にある視差番号には、先頭にある視差位置v1の視差番号を割り振るのである。こうすることでも、適切な処理を実現することは可能である。

なお、頭部検出手法として、これ以外の特徴量を用いることも可能であるし、パターンマッチング手法も、他の手法が可能である。例えば、ニューラルネットワーク等の学習手法で得られた、テンプレート記憶メモリのデータとの２乗誤差値を、マッチング時の評価関数に用いることも可能である。

なお、立体映像表示装置１００ｓは、例えば、テレビでもよい。また、パソコンが表示させる立体映像を表示するディスプレイ等でもよい。また、ゲームの画面である立体映像を表示するゲーム機でもよい。また、広告である立体映像を表示する広告表示装置でもよいし、その他の種類の装置等でもよい。

[第２実施形態]
図９から図１３を用いて、本発明の第２実施形態として、各視差画像が提示される所定の位置間隔を、眼間距離よりも細分化する例が説明される。

その細分化数nに応じて、視聴人数×n＋１の視差画像を用い、検出された頭部位置に応じて、表示パネル上の、視差画像の表示位置を制御して、立体映像表示を行う装置について説明する。

図９では、本発明の第２の実施形態である立体映像表示装置の構成を示す。図１０では、視差画像の提示される間隔を制御する表示間隔制御部２０１の処理を示す。また、図１１では、視聴者nがn=2で、細分化数mがm=2の場合の視差画像配置制御の例を示し、図１２では、視聴者nがn=3で、細分化数m=2の場合の視差画像配置制御の例を示し、図１３では、視聴者nがn=3で、細分化数mの場合の視差画像配置制御の例を示す。表示間隔制御部２０１と細分視差配置制御部２０２以外は、第１の実施例と同様な処理を実施する。

図９は、立体映像表示装置の構成を示す図である。

表示間隔制御部２０１では、予め設定された、視差画像間の距離PLenを制御する処理を実施する。

図２２や、第１の実施例で示したように、複数の視差画像は、パネルから、所定の奥行き距離位置の空間に、所定のPLenの間隔で提示される。

通常、２つの視差画像が、人間の左眼と右眼にそれぞれ入射することから、通常、これらの２つの視差画像の間の間隔PLenは、人間の眼間距離Leyeに設定される。

この眼間距離としては、個人差や大人と子供の差はあるが、大体Leye=60(mm)から70(mm)の値が用いられている。

図１０Ａは、通常の配置を示す図である。

図１０Ｂは、Ｌｅｙｅ／２での配置を示す図である。

つまり、上述された通常の配置では、図１０Ａのように、各位置で観察される視差画像が配置されることとなる（４視差画像の場合を示すものであり、Dの右横には、また視差画像Aが配置され、B,C,Dと続く。視差画像Aの左横に関しても、同様にA,B,C,Dの順番に繰り返し配置されている）。

左眼が、この４つの位置にあり、右眼が、その右にある視差画像の位置にある場合には、左眼と右眼のある位置に対応する２つの視差画像の両眼視差により、立体映像を知覚することができる。

しかし、例えば、図１０ＡのAとBの間に、左眼が移動した場合、左眼には、視差画像Aと視差画像Bの混合した映像が見えることとなる。

同様に、右眼も、左眼に応じて、BとCの間に移動することとなり、右眼には、視差画像Bと視差画像Cの混合した映像が見えることとなる。

その結果、どちらの眼も、混合した映像が入射されることで、立体映像を知覚できないか、歪んだ映像を感じる、クロストーク現象が発生することとなる。

この問題を低減させるために、図１０Ｂのように、提示される視差画像間距離PLenを細分化することが考えられる。この場合、PLenは、次の（数式８）のようになる。

図１１は、第２実施形態での処理（視聴者２人、細分化数ｍ=2の場合）を模式的に示す図である。

図１２は、第２実施形態での処理（視聴者３人、細分化数ｍ=2の場合）を模式的に示す図である。

図１３は、第２実施形態での処理（視聴者３人、細分化数ｍの場合）を模式的に示す図である。

ここで、図１１では、２つに細分化した例（細分化数m=2）を示しており、PLen = Leye/2となる。

視差画像A'が、AとBの中間位置に提示され、視差画像B',C'が、各々、BとCの中間位置、および、CとDの中間位置に提示されることとなる。

この場合、細分視差配置制御部２０２では、位置検出部１０２の結果に応じて、２次元表示部１００上の視差画像配置制御を実施するのである。

細分視差配置制御部２０２では、位置検出部１０２で、視聴者位置の移動があると判断された場合に、図１１、図１２、図１３で示されるように、視差画像配置の最適化を実施してもよいし、所定の時間タイミングにおける、位置検出部１０２の位置検出結果（視聴者位置情報）を基に、視差画像配置の最適化を行ってもよい。

また、位置検出部１０２で、視聴者位置の移動があると判断されたかどうかと、所定の時間タイミングとの両方を基に、視差画像配置の最適化を行ってもよい。

細分視差配置制御部２０２の処理概要は、図１１、１２、１３に示すようになる。

まず、視聴者n=2、細分化数m=2の場合の１例について、図１１を基に説明する。

図１１の定義構成は、第１の実施例で説明した図２、３、４の場合と同様である。ただ、視差画像の提示される間隔PLenが、図２のケースと比べて半分になっている。このため、視聴者２１３ａと、視聴者２１３ｂにおける左眼と右眼の間には、１つ視差画像が入るような組み合わせになる。符号２１４は、各視聴者の眼の位置を示しており、視聴者２１３ａの左眼位置は、視差画像ｂの提示位置になり、右眼位置は、視差画像ｄの提示位置に存在することを示す（２１４ａ）。

そして、２つの視差画像の間の距離が、眼間距離Leyeの半分になっている。このため、必要視差画像数NumPは、NumP=(視聴者数n×2+1)=5となり、パネル１００上の画素列位置(a,d,c,d,e)に表示される視差画像１１０も、５枚の視差画像集合PG5={k|k∈(1,2,3,4,5)}から選択配置されることとなる。

ここで、第１の実施例の場合と同様に、左眼に入射する視差画像番号よりも、右眼に入射する視差画像番号の方が小さい場合に、逆視が発生するものとする。

提示する視差画像配置の設定を行う単位２１２は、図１１に示されるように、視聴位置２１０内にある(a,d,c,d,e,a,b)の７つの位置で構成される。

これは、dとaの組合せだけでなく、eとbの組み合わせが考えられることを考慮したものである。

設定単位２１２内において、２１１ａ、２１１ｂ、２１１ｃ、２１１ｄ、２１１ｅ、２１１ｆ、２１１ｇは各々、視差aの提示される位置、視差ｂの提示される位置、視差ｃの提示される位置、視差ｄの提示される位置、視差ｅの提示される位置、２度目の視差aの提示される位置、２度目の視差bの提示される位置を示す。

なお、説明の便宜上、この図１１などでは、符号２１１ａなどの、位置を示すそれぞれの符号が、図における比較的下部に図示される。

この単位２１２内で、２人の視聴者の眼の位置があるうちの、先頭視差位置（位置２１１ｂ）と、眼の位置がある最終視差位置（位置２１１ｇ）の間の視差数NSPを算出する。

図１１の場合には、NSP=6となる。

この値を、必要とする視差画像数NumPと比較する。

そして、NumP値より、設定単位内における複数視聴者の眼の位置の先頭視差位置と、最終視差位置の差に相当するNSPが大きいということは、この間がつながっていない、つまり眼の配置されない空間部分があることを示す。

そして、複数視聴者の眼の位置の先頭視差位置と、最終視差位置の間で、上述された空間部分（空白領域）があるということは、その部分で、視差画像番号が途切れることを意味する。

そこで、その空白領域の後（直後）の視差位置（位置２１１ｅ）から、視差画像集合PG内のもっとも先頭にある視差画像１を配置する。

そして、そこ（位置２１１ｅ）から、より右の視差位置にいくにつれて、視差番号を順に、１ずつ加算したものを割り当てるようにすることで、単位２１２内の最終視差位置b（位置２１１ｇ）までは、逆視のない視差画像配置になる。

単位２１２の右端にあるａ（位置２１１ｆ）、ｂ（位置２１１ｇ）は、単位２１２内の先頭に折り返されるので、先頭にある視差位置a（位置２１１ａ）とｂ（位置２１１ｂ）に、最終位置（位置２１１ｆ、２１１ｇ）に設定された視差画像番号（２および３）と同じ番号（２および３）を割り振り、そのあとの位置（位置２１１ｃ）から、眼の配置されない領域（位置２１１ｄから位置２１１ｅの領域）の左領域（位置２１１ｄ）まで、視差番号を順に加算して、割り当てる。このことで、単位２１２における先頭部分でも、逆視のないような配置をすることが可能となる。

図１１では、その様子を示しており、丸印が付された位置１０３ｐは、視差画像集合PG内の、最も先頭にある視差画像１（画像１１０１：先述）を配置する視差位置番号の位置を示す。

またNSP≦NumPの場合には、複数視聴者の眼の位置のうちの先頭視差位置と、最終視差位置との間には、すべの位置で、眼が配置されていることとなる。

その場合には、先頭の眼の位置に、視差画像集合PG5内の、最も先頭にある視差画像１を配置して、そこから、右の視差位置にいくにつれて、視差番号を、１ずつ加算したものを割り当てるようにする。

このことで、単位２１２内の最終視差位置b（２１１ｇ）までは、逆視のない視差画像配置になる。

同様に、単位２１２の右端にあるa（位置２１１ｆ）、ｂ（位置２１１ｇ）は、単位２１２内の先頭に折り返されるので、先頭にある視差位置a（位置２１１ａ）とｂ（位置２１１ｂ）に、最終位置（位置２１１ｆ、２１１ｇ）に設定された視差画像番号（２および３）と同じ番号（２および３）を割り振り、複数視聴者の眼の位置の先頭視差位置（位置２１１ｅ）の前まで、視差番号を順に加算して、割り当てる。

このことで、この場合にも、逆視のないような配置をすることが可能となる。

図１２では、視聴者nがn=3人で、細分化数mがm=2の場合の、視差画像の最適配置制御例が示される。

この場合にも、互いに異なり合う２つの視差画像の間の距離が、眼間距離Leyeの半分になっており、必要視差画像数NumPは、NumP=(視聴者数n×2+1)=7となり、パネル１００上の画素列位置(a,d,c,d,e,f,g)に表示される視差画像１１０も、７枚の視差画像集合PG7={k|k∈(1,2,3,4,5,6,7)}から選択配置されることとなる。

提示する視差画像配置の設定を行う単位２１２は、図１１に示されるように、視聴位置２１０内にある(a,d,c,d,e,f,g,a,b)の９つの位置で構成される。

これは、fとaの組合せだけでなく、gとbの組み合わせが考えられることを考慮したものである。

設定単位２１２内において、２１１ａ、２１１ｂ、２１１ｃ、２１１ｄ、２１１ｅ、２１１ｆ、２１１ｇ、２１１ｈ、２１１ｉは、各々、視差aの提示される位置、視差ｂの提示される位置、視差ｃの提示される位置、視差ｄの提示される位置、視差ｅの提示される位置、視差ｆの提示される位置、視差ｇの提示される位置、２度目の視差aの提示される位置、２度目の視差bの提示される位置を示す。

この単位２１２内で、３人の視聴者の眼の位置があるうちの、先頭視差位置（位置２１１ａ）と、眼の位置がある最終視差位置（位置２１１ｈ）の間の視差数NSPは、8となる。

このNSPを、必要とする視差画像数NumP=7と比較すると、この値よりも大きいので、この間に、眼の配置されない空間部分があることを示す。

図１１と同様に、複数視聴者の眼の位置のうちの、先頭視差位置（位置２１１ａ）と、最終視差位置（２１１ｈ）との間で、空白領域があるということは、その部分で、視差画像番号が途切れることを意味する。そこで、その空白の部分の後の視差位置（位置２１１ｄ）に、視差画像集合PG内の最も先頭にある視差画像１を配置する。

そして、そこ（位置２１１ｄ）から、より右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てるようにする。

このことで、単位２１２内の最終視差位置b（位置２１１ｉ）までは、逆視のない視差画像配置になる。

単位２１２の右端にあるa（位置２１１ｈ）、ｂ（位置２１１ｉ）は、単位２１２内の先頭に折り返されるので、先頭にある視差位置a（位置２１１ａ）とｂ（位置２１１ｂ）に、最終位置（位置２１１ｈ、２１１ｉ）に設定された視差画像番号（５および６）と同じ番号（５および６）を割り振り、その後の位置（位置２１１ｃ）に、２１１ｂのｂに割り振られた視差番号（６）に対して１を加算した７を割り当てる。

このことで、２１２の設定端以内で、逆視のないような配置をすることが可能となる。

丸印で示される位置２０３ｐは、視差画像集合PG内の、最も先頭にある視差画像１を配置する視差位置番号の位置を示す。

図１３は、視聴者nについてn=3で、細分化数がmの場合の、視差画像の最適配置制御例を示す。

互いに異なり合う２つの視差画像の間の距離が、眼間距離Leye/mになっており、必要視差画像数NumPは、NumP=(視聴者数3×m+1)となり、パネル１００上の画素列位置(a1,a2,…,am,b1,b2,…,bm,c1,c2,…,cm,d)に表示される視差画像１１０は、(3m+1)枚の視差画像集合PGm={k|k∈(1,2,3,4,5,6,7,…,3m+1)}から選択配置されることとなる。

提示する視差画像配置の設定を行う単位２１２は、図１２に示されるように、視聴位置２１０内にある(a1,a2,…,am,b1,b2,…,bm,c1,c2,…,cm,d)の、(3m+m+1)個の位置で構成される。

この単位２１２内で、３人の視聴者の眼の位置がある先頭視差位置（位置２１１ａ）と、眼の位置がある最終視差位置（位置２１１ｊ）の間の視差数NSPを求め、必要とする視差画像数NumP=3m+1と比較する。

図１３の場合、NSP＞NumPであるため、複数視聴者の眼の位置の先頭視差位置と最終視差位置の間で、空白領域があり、視差画像番号が途切れることを意味する。そこで、その空白の後の視差位置（位置２１１ｉ）から、視差画像集合PG内の最も先頭にある視差画像１を配置する。

そして、そこから、より右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てるようにする。

このことで、単位２１２内の最終視差位置am（２１１k）までは、逆視のない視差画像配置になる。

単位２１２の右端にあるa1〜amの視差番号を、先頭にある視差位置a1〜amにも割り振り、そのあとのb1（位置２１１ｅ）からbm（位置２１１ｈ）まで、図１０、１１と同様に、順に加算して、視差番号を割り当てる。

このことで、単位２１２の設定端以内で、逆視のないような配置をすることが可能となる。

なお、第１の実施例と同様に、図１１から図１３ともに、特定の位置に、視聴者の眼がある場合について示したが、取りえるどの視差位置にあっても、同じような手順で視差画像の配置制御が可能である。

また、視差画像提示パターンは繰り返されるので、３人視聴者がいた場合でも、１度目の視差提示位置と、２度目の同じ視差提示位置に異なる視聴者が存在する場合が発生する（例えば、図１２で１度目のaとcに視聴者２１３ａがいて、２度目のaとcに視聴者２１３ｃがいるような場合）。

この場合、第１の実施例の検討と同様に、複数視聴者の眼の位置のうちの、先頭視差位置と最終視差位置との間には、設定単位で見れば、複数視聴者の眼の位置が重なるため、眼の配置されない空白部分が存在するが、NSP<NumPとなる。

この場合にも、先頭の眼の位置に、視差画像集合PG7内の最も先頭にある視差画像１を配置して、そこから、より右の視差位置にいくにつれて、視差番号を１ずつ加算したものを割り当てる方法を用いることで、対応が可能である。

こうすることで、例えば、視差位置gから、視差番号１を割り当てて、左端に折り返した場合に、視差位置f（位置２１１ｆ）と２度目の視差位置a（位置２２１ｈ）にも視聴者がいる場合や、視差位置ｅ（位置２１１ｅ）と視差位置ｇ（位置２１１ｇ）に視聴者がいる場合に発生する逆視を抑えることが可能となるのである。

さらに、ここでは示していないが、視聴者nが、n≧4であっても、ここで示した手順は拡張して成立する。

以上のことから、視聴者n、細分化数mの場合の、パネル１００上の画素列位置に表示される視差画像１１０の最適配置制御のルールは次のようになる。

（手順１）視聴者の眼の位置を示す、提示する視差画像配置設定単位２１２の設定をする。その際、複数視聴者の眼の位置の組み合わせ２１４を設定する。

視聴者の眼の位置のうちの先頭視差位置と、眼の位置がある最終視差位置との間の視差数NSPを算出する。

また、視聴者数nと細分化数mを基に、（数式９）より、Th_NSPを計算する。

なお、ここで、nは、視聴者数を示し、mは、細分化数を示す。なお、この値Th_NSPは、必要な視差画像数NumPと同じ値になるが、配置制御の基準値として、改めて定義したものである。

（手順２）NSP≦Th_NSPの場合には、複数視聴者の眼の位置の先頭視差位置と、最終視差位置との間には、全て、眼が配置されおり、眼の先頭視差位置に、視差画像集合PGにおける１を設定し、そこから、１つずつ加算した番号を、視差画像位置に設定する。

なお、a1..,amまでについては、単位内の先頭にも、同じ視差が提示される位置があり、これらについては、同じ視差画像番号を割り当てるものとする。

その後には、複数視聴者の眼の位置のうちの先頭視差位置の前まで、視差番号を加算して割り当てる。

（手順３）NSP＞Th_NSPの場合には、複数視聴者の眼の位置のうちの先頭視差位置と、最終視差位置との間でつながっていない、つまり、眼の配置されない空間部分がある。

よって、最初の空白部分の後ろがある視差画像位置（位置１０３ｐ）に、視差画像集合PGにおける１を設定し、そこから、１つずつ加算した番号を、視差画像位置に設定する。

なお、a1..,amまでについては、単位内の先頭にも、同じ視差が提示される位置があり、これらについては、同じ視差画像番号を割り当てるものとする。その後には、眼の配置されない位置の左領域まで、視差番号を加算して割り当てる。

このような処理を行うことで、互いに隣り合う２つの視差画像を提示する間隔を、眼間距離よりも細分化することで、クロストークの発生する領域を減少させることができる。

そのうえ、表示部上での視差画像配置の最適化を行うことで、視聴者の人数がｎ人の場合で、視差画像の提示間隔を、眼間距離の1/mにした場合でも、逆視発生を抑えることができる。

そして、このルールでは、第１の実施例の検討と同様に、複数の視聴者の眼の位置における先頭視差位置と、最終視差位置との間には、設定単位で見れば、複数の視聴者の眼の位置が重なる場合にも適用できる。

つまり、最大視聴者数nmaxに対して、視差画像を提示する間隔を、眼間距離より1/mより細分化した場合、（nmax×m+1）の視差画像を用意しておく。そして、頭部検出の結果、位置移動が判定された段階で、前述のようなルールに従い、視差画像を表示する際の配置制御を行うことで、視差画像の提示間隔が、mに細分化され、３人以上nmax人以下の複数の視聴者が同時に視聴している場合であっても、逆視が発生せず、立体映像を観察することができる効果をもつことを示している。

なお、第１の実施例は、第２の実施例で細分化数mを、1にした場合に相当する。

また、ここでの視差画像配置の制御ルールであるが、予めＬＵＴテーブル化することで、より高速な処理が実現できる。

また、所定の変換関数化をして、ＣＰＵやＧＰＵ等を用いて、処理を行うことも可能である。

なお、第１の実施例は、第２の実施例で細分化数mを1にした場合に相当するが、m=1である場合には、本発明の第１の実施例と同じになる。このため、単位２１２の先頭から探索して、複数視聴者の眼の位置のうちの先頭視差位置と、最終視差位置との間で、空白領域がある位置を調べ、その空白部分の後の視差位置から、視差画像集合内の最も先頭にある視差画像１を配置する方法を用いることができる。

しかし、mが1でない場合には、単位２１２の先頭から探索して、複数視聴者の眼の位置のうちの先頭視差位置と、最終視差位置との間で、空白領域がある位置を調べ、その空白部分の後の視差位置から、視差画像集合内の最も先頭にある視差画像１を配置する方法は、用いることができない。

つまり、例えば、この簡単な方法を用いると、図１１では、２１２において、５、１、２、３、４、５、１のように、視差画像が配置され、視聴者２１３ｂの左眼には、視差画像４が提示され、右眼には、視差画像１が提示されてしまい、逆視が発生してしまう。

さらに、本発明の第１の実施例の場合と同様に、最も右にある最終視差画像の開始地点を決定して、そこから、より左方向にある視差画像を順番に配置する処理が行われてもよい。この場合、最も左にある視差画像の開始地点に対して、１つ左隣の視差位置に、最も右にある視差画像の開始位置が設定される。つまり、最も番号の大きい視差画像が、この位置に割り振られ、そこから、より左の視差位置にいくにつれて、視差番号を１ずつ減算したものを、割り当てる。単位２１２の右端にある視差番号には、先頭にある視差位置の視差番号を割り振ることでも、実現可能である。

また、ここでの視差画像配置の制御ルールであるが、予めＬＵＴテーブル化することでより、高速な処理が実現できる。また、所定の変換関数化をして、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等を用いて行うことも可能である。

[第３実施形態]
図１４から図１６を用いて、本発明の第３実施形態として、左眼画像Ｌと、右眼画像Ｒのみを用意し、視聴人数に応じて、２つのＬＲ視差画像を補間して、複数の視差画像を生成し、用いる方法を導入して、立体映像表示を行う装置について説明する。

図１４に、本発明の第３実施形態である立体映像表示装置の構成を示す。また、図１５には、第３の実施形態である立体映像表示装置内の視差画像生成部３０１の構成を示す。図１４に示されるように、本実施例では、第１の実施例において、複数視差画像を入力とする代わりに、ＬＲ視差画像を入力として、視差画像生成部３０１が、所定の視差画像を生成する要素を、加えたものである。

よって、この要素３０１は、第２の実施例にも適用することが可能である。それ以外の構成要素に関しては、第１または第２の実施例の場合と同様である。

この発明の特徴は、視聴人数に応じた複数視差画像を予め用意する必要がなく、両眼視差の可能な左眼用視差画像Ｌと、右眼用視差画像Ｒを使って、所定の必要な視差画像を補間生成することで、必要な視差画像を確保することにある。

この処理を、図１５の視差画像生成部３０１が実施する。

図１５は、視差画像生成部３０１の構成を示す図である。

視差画像生成部３０１は、図１５に示されるように、補間処理選択部３１０、画像内挿生成部３１１、画像外挿生成部３１２、視差数確認部３１３より構成される。

図１６Ａ、図１６Ｂのそれぞれは、補間による視差画像生成の様子を模式的に示す図である。

図１６Ａが、第１の実施例との組み合わせの際の補間生成例を示し、図１６ ｂが、第２の実施例との組み合わせの際の補間生成例を示す。

まず、補間処理選択部３１０では、その時点での視差画像を基に、外挿補間を用いて、新たな視差画像を生成するか、内挿補間を用いて、新たな視差画像を生成するかを決定する。

例えば、図１６Ａや、（数式７）のように、（視聴数n＋１）=NumPの視差画像を必要とする第１の実施例の場合には、ＬＲ視差画像（画像３０１ａ、３０１ｂ）の次に、新たな視差画像（例えば画像３０１ｃ）を生成する場合には、外挿補間（処理３０１ｑ）が選択され、画像外挿生成部３１２で、１つの視差画像（画像３０１ｃ）が、外挿補間により、画像外挿生成部３１２において生成される（視差画像１（画像３０１ｃ））。

そして、視差数確認部３１３で、視差画像数が必要数NumPだけあるかどうかの判定を行い、必要数ある場合には、この視差画像生成部３０１での処理を完了する。

一方、必要数がない場合には、補間処理選択部３１０での、決定の処理に戻って、補間処理の選択を始める。

例えば、視聴数nが３人の場合には、図１６ ａの場合には、NumP=4となり、視差画像１（画像３０１ｃ）だけでなく、さらに、外挿補間により、視差画像４（画像３０１ｄ）が生成されるのである。

なお、補間された視差画像の変化が小さく、立体映像の平坦化やぼけ等を回避して、効果をより持たせる意味で、外挿補間生成する例を示した。

一方、図１６Ｂや（数式９）で示されるように、（視聴数n×2+1）=NumPの視差画像を必要とする第２の実施例との組み合わせの場合には、まず外挿補間での生成が、２つの視差画像生成（画像３０１ｇ、３０１ｋの生成）のそれぞれについて、選択される（処理３０１ｔ、３０１ｘを参照）。

その後、追加される視差画像は、その時点での４つの視差画像（４つの画像３０１ａ、３０１ｂ、３０１ｔ、３０１ｘ）からの内挿補間により、３つまで（画像３０１ｉ、３０１ｈ、３０１ｊ）が、補間生成される（処理３０１ｕ、３０１ｗ）。

さらに視差画像が必要な場合には、改めて、外挿補間により、２つまでの視差画像が生成され、その後には、２度の内挿補間が選択される。

例えば、図１６Ｂのように、視聴者がn=3の場合においては、NumP=7の視差画像を必要とする。

そして、ＬＲ視差画像（画像３０１ａ、３０１ｂ）からの外挿補間により、視差画像１（画像３０１ｇ）と視差画像７（画像３０１ｋ）がそれぞれ生成される。

次に、視差画像１，７と、用意されたＬＲ視差画像（視差３，視差５）を用いた内挿補間により、３つの視差画像２，４，５（画像３０１ｉ、３０１ｈ、３０１ｊ）が生成される過程をとる。

図１６Ｂの場合、クロストークを抑えるために、視差画像は、互いに隣り合う２つの視差画像の間の間隔が、眼間距離Leye=60mm〜70mmの1/2になる位置に提示されていることとなり、その効果を保持するために、外挿補間を比較的少なくするために、外挿補間と内挿補間を組合せるような方式を示した。

こうすることで、必要な視差画像を用意することができ、予め、視聴者数nに応じて、多くの視差画像を用意する必要がなく、最低限のＬＲ視差画像だけを用意すればよいこととなる。これにより、行われる処理が、より簡単にできる。

第２の実施例との組み合わせの場合として、図１６Ｂで、互いに隣り合う２つの視差画像の間の間隔が、眼間距離Leye=60mm〜70mmの1/2になる位置に提示される場合を示したが、これは、細分化数mが、m=2の場合に相当する。

細分化数ｍの場合には、前述の第２実施例のように、視差画像間隔を、m細分化して、クロストーク低減する場合に相当し、NumP=（視聴数n×細分化数m+1）の視差画像が必要となる。

そして、その場合、NumP-2だけ視差画像生成部３０１で、視差画像補間生成の処理が実施される。

通常、多くの視差画像を用意するためには、両眼用に、２つのレンズが平行に並んだカメラでも撮影することは困難であり、まして、視差数分だけ、２よりも更に多い個数のレンズを平行に並べた、特殊な撮影構成を用いる必要があると、そのような撮影構成を用いることは、著しく困難である。

それ以外には、ＬＲ視差画像の両方もしくは片方から、距離推定を実施し、その結果を基に、任意の視差方向の画像を生成するか、カメラ位置・カメラ角度・焦点位置を設定し、ＣＧ（Computer Graphics）ツールにより作成された視差画像を用いるぐらいの対応が考えられるが、本発明によれば、そのような追加処理の削減を実現することができる。

なお、図１６Ａの、（視聴者数n+1）の視差画像が必要な場合には、常に、外挿補間により生成する例を示したが、これ以外にも、内挿補間のみを用いることや、図１６Ｂのように、外挿補間と、内挿補間とを組合せて、何れの補間の処理も用いることも可能である。同様に、図１６Ｂの場合にも、これ以外の補間の組み合わせとして、内挿補間のみや、外挿補間のみで構成することも可能である。

また、補間する場合においても、予め用意された変換関数を用いて、視差画像補間をすることも可能である。また、その時点で得られている視差画像を、多変量解析や、線形近似等の統計的分析して、変換関数を推定してもよい。そして、その推定において推定された変換関数を用いて、新たな視差画像生成をすることも可能である。この場合、変換関数推定に必要な、所定数の視差画像が揃うまで、図１６Ｂなどで説明したような、内挿補間と外挿補間とを組合せて、視差画像補間生成をする処理を用いればよいと考える。

なお、視聴者の人数が増加するのに応じて、視差画像数が、補間により比較的多くなった（大きく変化した）場合、初期調整部１０５に働きかけて、視差バリア間ピッチや、レンチキュラーのレンズの中心の間ピッチ等のパラメータ修正することが好ましい。しかし、生じた増加が、１、２枚程度の視差画像の増加であれば、その増加で必要になる、ピッチの変化の幅等は非常に小さいものと考え、その場合には、ピッチ等を変化させないことで、対応することも可能である。

[その他]
上記実施形態において説明した本発明の立体映像表示装置では、視差画像を表示する２次元表示部１００は、バックライト光源を用いる液晶パネルなどでもよいし、自発光する、ＰＤＰや有機ＥＬパネルなどでもよい。つまり、２次元表示部１００としては、視差画像の画素列を表示できる表示部であれば、適用可能である。

頭部検出部１８０において、カメラ画像１枚を用いた例を説明したが、２つ以上の複数のカメラ画像を用いて、ステレオ計測することも可能であり、そうすることで、位置検出精度が、より向上することとなる。

また、頭部検出部１８０で用いられる手法としては、例えば、画像を用いる手法以外に、ＬＥＤ光源のような、照明光を対象物体（視聴者、立体映像を観察する観察者）に照射して、戻ってくるまでの時間TOF（Time Of Flight）を計測することで、距離を測定するTOF法や、電磁力等を用いて３次元位置測定を行う、有線接続された手法などを用いることも可能である。

また、所定のテストパターンを、常に、視聴者における、撮影がされる領域内に表わさせて、表わされたテストパターンを、視聴者が撮影された画像に含めるように、上述の領域へと表わさせるテストパターンを表示して、そのテストパターンの部分の大きさや、画素値のモアレ変化等を基に、幾何学測量をする手法を用いることも可能である。

また、位置検出する際に、人物頭部の検出を前提としたが、位置検出の前提の処理は、人物全体像の検出の処理などであってもよいし、瞳孔や眼領域の抽出の処理を行い、その結果を、位置検出において用いてもよい。

頭部位置に応じて、複数視差画像の画素列配置を制御する際に、ＣＰＵや、ＧＰＵ等を用いて、リアルタイム算出制御することも可能であるし、また、予め用意されたＬＵＴテーブルより選択して、制御することも可能である。

また、ここでは、バリア形成位置や、ピッチ間隔は、初期調整以外においては、固定であるものとして説明した。一方、頭部位置に応じて、バリア位置や、バリアピッチをアクティブに変化させてもよい。この場合、電圧等をかけることで、遮蔽と開口（光の透過率）を変化することができるようなデバイス（例えばＴＦＴ液晶パネルなど）を、バリアとして用いることとなる。そして、この場合には、複数視聴者の奥行き方向が、同時に変化した場合にも、対応が可能となる。

また、本発明によるパネルを、視聴される居間などの空間にセッティングする時点の調整時にも、固定のバリア位置や、バリアピッチを用いる時にも、本技術の適用が可能である。

さらに、前記複数の画像列からの光を、所定位置で視聴できるように分離するバリアによる実施例を示したが、シリンドリカルレンズを配列したレンチキュラー板（図２４のレンチキュラー板８２）を用いて、そのレンズについて、屈折角度を制御することで、所定の位置に、各視差画像を提示するレンチキュラー形成部を用いても、同じ効果を実現することができる。

この場合、初期調整部１０５では、レンチキュラー位置の微調整や、レンチキュラーによる視差画像の屈折率の調整が実施される。そして、バリア制御回路１０６としては、レンチキュラー制御回路が設けられ、バリア形成部１０１としては、レンチキュラー形成部が設けられる。

なお、本発明は、装置、システム、集積回路などとして実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

本発明によれば、３人以上の複数視聴者が同時に視聴した場合でも、逆視を発生させることがなく、立体映像を観察することができる立体映像表示装置を提供できる。

また、各視差画像を提示する間隔を、眼間距離よりも細分化して、本発明と組合せることで、逆視の発生を抑えるとともに、クロストークの発生する領域も、減少させることができる。さらに、左眼用画像Ｌと、右眼用画像Ｒから、補間で、視差画像を生成して、本発明と組合せることで、最大視聴人数に応じて、改めて視差画像を用意する必要がないという利点がある。

９Ｌ 視差画像の見える位置
９Ｌａ 視差画像Ａの見える位置
９Ｌｂ 視差画像Ｂの見える位置
９Ｌｃ 視差画像Ｃの見える位置
９Ｌｄ 視差画像Ｄの見える位置
９１ 映像表示パネル
９２ パララックスバリア
９２ａ 開口部
９２ｂ 遮光部
９３Ｌ 左眼用映像
９３Ｒ 右眼用映像
９４ 視聴者位置
９４Ｌ 左眼位置
９４Ｒ 右眼位置
９９ａ 視差画像
９９ｂ 視差画像
９９ｃ 視差画像
９９ｄ 視差画像
１００ ２次元表示部
１００ｓ 立体映像表示装置
１０１ バリア形成部
１０１Ｌ 光
１０１Ｌｐ 光
１０２ 位置検出部
１０３ 視差配置制御部
１０３ｐ 位置
１０４ カメラ
１０５ 初期調整部
１０６ バリア制御回路
１０７ 複数の視差画像
１０８ 表示回路
１１４、１１４ａ〜１１４ｄ 観察者
１１５ 視差画像
１８０ 頭部検出部
１８１ 視聴者位置検出部
１８２ 基準点設定部
１８３ 位置移動判断部
１８４ 色度合い検出部
１８５ 輪郭検出部
１８６ 特徴量抽出部
１８７ パターンマッチング部
１８８ テンプレート記憶メモリ
２０１ 表示間隔制御部
２０２ 細分視差配置制御部
３００ LR視差画像
３０１ 視差画像生成部
３１０ 補間処理選択部
３１１ 画像内挿生成部
３１２ 画像外挿生成部
３１３ 視差数確認部
１１０、１１０１〜１１０５ 視差画像
１１３、１１３１〜１１３９ 位置
１１３ｒ、１１３ｒ１、１１３ｒ２ 範囲

Claims (11)

1. 複数の視差画像を表示して、同時に複数の観察者が、特殊なメガネを用いず、立体視を観察する立体映像表示装置であって、
   多視点からの複数の前記視差画像のうちのそれぞれの前記視差画像について、複数の画素列から画素列を選択して、その視差画像を、選択された前記画素列で表示する２次元表示部と、
   前記複数の画素列からの光を、それぞれの前記視差画像が、その視差画像に対応する所定位置に提示されるように、分離する分離部と、
   立体視を観察する観察者の位置を検出する位置検出部と、
   検出された前記位置に応じて、それぞれの前記視差画像の表示制御を行い、
   検出された前記位置にいる前記観察者の右眼がない位置を特定して、特定された前記位置に、複数の前記視差画像のうちの先頭の前記視差画像を提示させる視差配置制御部とを備え、
   複数の前記視差画像は、左眼に入射する視差画像の視差画像番号よりも、右眼に入射する視差画像の視差画像番号の方が小さい場合に逆視が発生するように並べられている
   立体映像表示装置。
2. 複数の前記視差画像に含まれる、前記視差画像の個数は、「前記観察者の人数＋１」の個数である請求項１記載の立体映像表示装置。
3. ２つの前記視差画像が提示される２つの前記所定位置の間隔を細分化する表示間隔制御部を更に備え、
   前記視差配置制御部は、前記表示間隔制御部での細分化数を用いて、検出された前記位置に応じて、「前記観察者の人数×前記細分化数＋１」の個数の前記視差画像の表示制御を行う請求項１記載の立体映像表示装置。
4. 右眼用画像と左眼用画像との２つの前記視差画像から、必要とする、多視点からの複数の前記視差画像のうちの、２つの前記視差画像以外の前記視差画像を補間生成する視差画像生成部を更に備える請求項１記載の立体映像表示装置。
5. 前記分離部は、それぞれの前記視差画像が、その視差画像が提示される前記所定位置に提示されるように、バリアを形成するバリア形成部である請求項１から４のいずれか１項に記載の立体映像表示装置。
6. 前記分離部は、レンチキュラー板に配列されたシリンドリカルレンズの屈折角度を制御することで、それぞれの前記視差画像を、その視差画像が提示される前記所定位置に提示するレンチキュラー形成部である請求項１から４のいずれか１項に記載の立体映像表示装置。
7. 前記シリンドリカルレンズは、液晶レンズである請求項６記載の立体映像表示装置。
8. 前記観察者の人数ｎは、n≧３である請求項１から７のいずれか１項に記載の立体映像
   表示装置。
9. テレビである請求項１記載の立体映像表示装置。
10. 前記位置検出部は、前記観察者の人数を検出し、
    複数の前記視差画像に含まれる前記視差画像の個数は、第１の前記人数が検出された場合には、第１の個数であり、第２の前記人数が検出された場合には、前記第１の個数とは異なる第２の個数であり、
    前記分離部は、前記第１の人数が検出された場合には、前記第１の個数の前記視差画像を、前記第１の個数の前記所定位置に提示し、前記第２の人数が検出された場合、前記第２の個数の前記視差画像を、前記第２の個数の前記所定位置に提示する請求項１記載の立体映像表示装置。
11. 複数の視差画像を表示して、同時に複数の観察者に、特殊なメガネを用いず、立体視を観察させる立体映像表示方法であって、
    多視点からの複数の前記視差画像のうちのそれぞれの前記視差画像について、複数の画素列から前記画素列を選択して、その視差画像を、選択された前記画素列で表示する２次元表示ステップと、
    前記複数の画素列からの光を、それぞれの前記視差画像が、その視差画像に対応する所定位置に提示されるように、分離する分離ステップと、
    立体視を観察する観察者の位置を検出する位置検出ステップと、
    検出された前記位置に応じて、それぞれの前記視差画像の表示制御を行い、
    検出された前記位置にいる前記観察者の右眼がない位置を特定して、特定された前記位置に、複数の前記視差画像のうちの先頭の前記視差画像を提示させる視差配置制御ステップとを含み、
    複数の前記視差画像は、左眼に入射する視差画像の視差画像番号よりも、右眼に入射する視差画像の視差画像番号の方が小さい場合に逆視が発生するように並べられている
    立体映像表示方法。