JP7165513B2 - Ｉｐ立体映像表示装置及びそのプログラム - Google Patents

Description

本発明は、インテグラルフォトグラフィ（ＩＰ：Integral Photography）方式の立体映像表示装置及びそのプログラムに関する。

ＩＰ立体映像表示装置は、特殊な眼鏡が不要で、視聴者の裸眼による立体視が可能な３次元映像表示デバイスである。図１１に示すように、ＩＰ立体映像表示装置９は、液晶や有機ＥＬ（Electro Luminescence）などの直視型ディスプレイ９１と、その前面に置かれたレンズアレイ９３とを備える。このレンズアレイ９３は、２次元状に配列された要素レンズ９５で構成される。また、直視型ディスプレイ９１は、要素レンズ９５に対応する要素画像ｅを表示する。すると、要素レンズ９５により要素画像ｅが空間中に投影され、視聴者Ａが立体像Ｚを視聴できる。

ＩＰ方式は、多くの視点映像を再現する方式であるため、非常に多くの画素（情報量）が必要となる。ＩＰ立体映像の品質を決定づけるパラメータとして、「立体映像画素数（要素画像数）」、「視域」、「空間周波数特性（奥行再現範囲）」の３つが挙げられる。これら３つのパラメータは、トレードオフの関係がある（非特許文献１）。つまり、ＩＰ方式では、視域を狭くすることにより、その他のパラメータ（立体映像画素数及び空間周波数特性）を向上させることができる。図１２（ａ）に示すように、要素レンズ９５の焦点距離ｆが短くなると視域αが広くなるので、図１２（ｂ）に示すように、視域αを狭くするには、焦点距離ｆを長くすればよい。

また、視域αが狭い場合でも、視点追従技術を用いてリアルタイムで視聴者Ａをセンシングし、視域αの方向を制御すれば、広い範囲でＩＰ立体映像を視聴できる（非特許文献２）。ここで、視域αの方向制御は、リアルタイムにＩＰ立体映像（要素画像群Ｅ）を平行移動（拡大縮小でも可）させることで実現できる。図１３（ａ）に示すように、ＩＰ立体映像表示装置９から見て視聴者Ａが左側に位置する場合、要素画像群Ｅを右側に平行移動させると、視域α（ドットで図示）が左側に移動する。一方、図１３（ｂ）に示すように、ＩＰ立体映像表示装置９から見て視聴者Ａが右側に位置する場合、要素画像群Ｅを左側に平行移動させると、視域αが右側に移動する。このように、従来技術では、個人視聴（１人のみの視聴）に限定した場合、立体映像画素数及び空間周波数特性の性能を向上させ、かつ広視域のＩＰ立体映像を提示することができる。

H. Hoshino, F. Okano, and I. Yuyama, "Analysis of resolution limitation of integral photography," J. Opt. Soc. Am. A 15(8), 2059-2065 (1998) Zhao-Long Xiong, Qiong-Hua Wang, Shu-Li Li, Huan Deng, and Chao-Chao Ji, "Partially-overlapped viewing zone based integral imaging system with super wide viewing angle," Opt. Express 22, 22268-22277 (2014)

しかし、前記した従来技術では、視聴者が１人に限定されてしまい、複数の視聴者に対応できないという問題がある。
そこで、本発明は、複数の人物が略同時に高品質なＩＰ立体映像を視聴できるＩＰ立体映像表示装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係るＩＰ立体映像表示装置は、人物毎に視域を形成し、形成した視域に要素画像群を時分割表示することで、複数の人物が要素画像群を視聴可能なＩＰ立体映像表示装置であって、出射光を出射する光源と、光源からの出射光を平行光に変換し、少なくとも人物の両眼が含まれる視域を形成する平行光光学系と、視点検出手段と、表示位置算出手段と、時分割表示手段と、表示装置と、光源制御手段と、を備える構成とした。

かかるＩＰ立体映像表示装置によれば、視点検出手段は、人物の人数と、人物毎の視点位置とを検出する。
表示位置算出手段は、視点検出手段で検出された人物毎に、視点位置に基づいて、人物が視域に含まれるように要素画像群の表示位置を算出する。
時分割表示手段は、視点検出手段で検出された人数に基づいて、要素画像群を時分割する。
光源制御手段は、視点検出手段で検出された人物毎に、視点位置に基づいて、人物が視域に含まれるように出射光の特性を制御する。
表示装置は、時分割表示手段が時分割した要素画像群を表示位置に表示する。
光源は、点光源の配光特性を表すマスク画像である点光源形成用パターンが要素レンズに対応して配列された点光源群形成用パターンを投影する投影装置である。
表示装置は、要素画像群を表示する空間光変調器である。
光源制御手段は、出射光の特性として、点光源形成用パターンに含まれる非マスク領域の位置及び大きさと、非マスク領域が含まれる点光源形成用パターンの投影間隔と、点光源形成用パターンの投影方向との何れか１以上を制御する。
平行光光学系は、投影装置が投影した点光源群形成用パターンを平行光として出射するコリメートレンズと、要素レンズが２次元状に配列され、コリメートレンズからの平行光を各要素レンズの焦点に集光することで、点光源群を形成するレンズアレイと、を備える。

このように、ＩＰ立体映像表示装置は、視点追従技術を用いて人物毎に狭い視域を形成するので、クロストークが発生せず、立体映像画素数及び空間周波数特性の性能を向上させることができる。さらに、ＩＰ立体映像表示装置は、人物毎の狭い視域で要素画像群を時分割表示するので、複数の人物に対応することができる。

なお、本発明では時分割表示を行うため、厳密には、各人物が同時に要素画像群を視聴するわけでないので、「略同時」とした。
また、「視聴」という用語を用いているが、ＩＰ立体映像表示装置では、音声の有無を問わない。

前記したＩＰ立体映像表示装置は、一般的なコンピュータを前記した視点検出手段、表示位置算出手段、時分割表示手段及び光源制御手段として協調動作させるプログラムで実現することもできる。

本発明によれば、以下のような優れた効果を奏する。
本発明に係るＩＰ立体映像表示装置は、視点追従技術及び時分割表示により、複数の人物が略同時に高品質なＩＰ立体映像を視聴することができる。

従来技術におけるクロストークを説明する説明図である。 （ａ）及び（ｂ）は実施形態における視域の方向制御を説明する説明図である。 実施形態に係るＩＰ立体映像表示装置の構成を示すブロック図である。 実施形態における点光源の位置及び配光角を説明する説明図である。 実施形態における点光源群形成用パターンを説明する説明図である。 実施形態において、（ａ）～（ｄ）は点光源形成用パターンと、点光源の形成位置及び配光角と、点光源の配光特性との関係を説明する説明図である。 実施形態において、立体映像の視域角を狭くする制御を説明する説明図であり、（ａ）は点光源群形成用パターンであり、（ｂ）はＩＰ立体映像表示装置である。 実施形態において、立体映像の視域角を広くする制御を説明する説明図であり、（ａ）は点光源群形成用パターンであり、（ｂ）はＩＰ立体映像表示装置である。 実施形態において、要素画像群の時分割表示を説明する説明図である。 図３のＩＰ立体映像表示装置の動作を示すフローチャートである。 従来のＩＰ立体映像表示装置を説明する説明図である。 従来技術として視域及び焦点距離の関係を説明する説明図であり、（ａ）は焦点距離を短くすると視域が広くなることを表し、（ｂ）は焦点距離を長くすると視域が狭くなることを表す。 （ａ）及び（ｂ）は従来技術における視域の方向制御を説明する説明図である。

（第１実施形態）
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、同一の手段及び同一の部材には同一の符号を付し、説明を省略した。

［ＩＰ立体映像表示装置の原理］
以下、実施形態に係るＩＰ立体映像表示装置の原理を説明する。
まず、従来のＩＰ立体映像表示装置で発生するクロストークについて説明する。図１に示すように、クロストークとは、レンズアレイ９３を通して要素画像ｅ_１を見たとき、隣の要素画像ｅ_２が見えてしまう現象のことである。このクロストークは、視聴者（人物）Ａが視聴する中心視域αの外側において、サイドローブの視域βとして現れ、ＩＰ立体映像（要素画像群Ｅ）の高品質化の妨げとなる。

そこで、クロストークが発生せず、１人の両眼を包含できる程度に狭い視域αを形成できるように、要素レンズ９５のピッチ及び焦点距離を設計する。前記したように、ＩＰ方式の各パラメータ（視域、立体映像画素数、空間周波数特性）は、トレードオフの関係がある。このため、視域αを狭くすることで、立体映像画素数と空間周波数特性の性能を向上させることができる。

次に、視域αを視聴者Ａの視点位置に追従させる視点追従技術について説明する。例えば、デプスカメラ（不図示）を用いて、視聴者Ａの視点位置を検出し、要素画像ｅを平行移動させて視域αの方向を制御し、視聴者Ａが常に視域αに入るようにすればよい。

そこで、図２に示すように、クロストークが発生せず、視域αの方向を制御可能なＩＰ立体映像表示装置１を検討する。このＩＰ立体映像表示装置１では、白色光（出射光）を投射するプロジェクタ１０を、空間光変調器４０のバックライトとして用いる。また、ＩＰ立体映像表示装置１では、プロジェクタ１０の前面にコリメートレンズ２０を配置し、プロジェクタ１０が出射した光を平行化する。また、ＩＰ立体映像表示装置１では、コリメートレンズ２０の後段にレンズアレイ３０を配置し、コリメートレンズ２０が平行化した光を要素レンズ３１の焦光点（点光源ｐ）に集光する。このレンズアレイ３０は、点光源ｐが配列された点光源群Ｐを形成する。また、ＩＰ立体映像表示装置１では、レンズアレイ３０の後段に空間光変調器４０を配置する。このとき、集光点から広がった光が、空間光変調器４０上の要素画像ｅと同じサイズになるようにすると、ＩＰ立体映像を再生することができる。

ここで、点光源群形成用パターン７０（図５）を用いて、レンズアレイ３０に入射する光の位置を調整することにより、ＩＰ立体映像が形成される光の方向（視域αの方向）を制御することができる。この点光源群形成用パターン７０は、点光源ｐの配光特性を制御するためのマスク画像であり、その詳細は後述する。図２（ａ）に示すように、ＩＰ立体映像表示装置１から見て視聴者Ａが左側に位置する場合、レンズアレイ３０の右側に光を入射すればよい。一方、図２（ｂ）に示すように、ＩＰ立体映像表示装置１から見て視聴者Ａが右側に位置する場合、レンズアレイ３０の左側に光を入射すればよい。コリメートレンズ２０が平行光を出射するため、クロストークが発生することはなく、視域αの外ではＩＰ立体映像が見えることがない。このように、図２のＩＰ立体映像表示装置１は、特定の視聴者ＡのみにＩＰ立体映像を表示することができる。

さらに、複数の視聴者Ａに対応することを検討する。複数の視聴者Ａが存在する場合、その人数でＩＰ立体映像を時分割表示し、各フレーム単位で視域αの方向を制御すればよい。これにより、各視聴者Ａが見るＩＰ立体映像のフレームレートは、空間光変調器４０のフレームレートの「１／人数」となり、複数の視聴者Ａが略同時にＩＰ立体映像を視聴できる。このとき、視聴者Ａがより滑らかなＩＰ立体映像を視聴できるように、高いフレームレートの空間光変調器４０を用いることが好ましい。

［ＩＰ立体映像表示装置の構成］
図３を参照し、ＩＰ立体映像表示装置１の構成について説明する。
ＩＰ立体映像表示装置１は、視聴者Ａ毎に狭い視域α（図１）を形成し、形成した視域αに要素画像群Ｅを時分割表示することで、複数の視聴者Ａが略同時に要素画像群Ｅを視聴可能とするものである。図３に示すように、ＩＰ立体映像表示装置１は、プロジェクタ（光源）１０と、コリメートレンズ（平行光光学系）２０と、レンズアレイ（平行光光学系）３０と、空間光変調器（表示装置）４０と、制御装置５０と、デプスカメラ（奥行き推定カメラ）６０とを備える。

プロジェクタ１０は、出射光を出射する投影装置である。例えば、プロジェクタ１０は、後記する制御装置５０からの制御に従って、点光源群形成用パターン７０を投影するものである。本実施形態では、プロジェクタ１０は、コリメートレンズ２０の焦点距離Ｆに配置され、正確に位置校正が行われていることとする。なお、点光源ｐの大きさは、プロジェクタ１０の投影画像の１画素程度である。

コリメートレンズ２０は、プロジェクタ１０からの出射光を平行光に変換し、少なくとも視聴者Ａの両眼が含まれる狭い視域αを形成するものである。具体的には、コリメートレンズ２０は、プロジェクタ１０が投影した点光源群形成用パターン７０を平行光として出射する。例えば、コリメートレンズ２０としては、一般的な両凸レンズ、フレネルレンズを挙げることができる。
なお、コリメートレンズ２０及びレンズアレイ３０の距離は任意であり、ＩＰ立体映像表示装置１の小型化を図るために短くすることが好ましい。

レンズアレイ３０は、コリメートレンズ２０からの平行光を各要素レンズ３１の焦点距離ｆの位置に集光することで、点光源群Ｐを形成するものである。このレンズアレイ３０は、複数の要素レンズ３１が、縦横方向や樽積み状に２次元に配列されている。例えば、要素レンズ３１としては、正面視すると円形状の一般的な凸レンズや凹レンズを挙げることができる。

空間光変調器４０は、制御装置５０から入力された要素画像群Ｅを時分割表示するものである。例えば、空間光変調器４０としては、液晶パネルを挙げることができる。ここで、空間光変調器４０は、空間光変調器４０の画素を有効活用するため、点光源群Ｐによるバックライトが空間光変調器４０の全体を照射する位置に配置することが好ましい。なお、要素画像群Ｅは、各要素レンズ３１に対応する要素画像ｅで構成されている。

制御装置５０は、視聴者Ａ毎に狭い視域αを形成し、形成した視域αに要素画像群Ｅを時分割表示するように、プロジェクタ１０及び空間光変調器４０を制御するものである。ここで、制御装置５０は、デプスカメラ６０を用いて、視聴者Ａの人数及び視点位置を検出し、検出した視聴者Ａの人数及び視点位置に基づいて、プロジェクタ１０及び空間光変調器４０を同期制御する。なお、制御装置５０の詳細は、後記する。

デプスカメラ６０は、視聴者Ａの人数と、視聴者Ａ毎の視点位置とを検出するために、視聴者Ａのステレオ画像を撮影する一般的なステレオカメラである。本実施形態では、デプスカメラ６０は、視聴者Ａに向くように、空間光変調器４０の上部に配置する。

以下、点光源の形成位置及び配光角、点光源群形成用パターン７０、視域αの制御を説明した後、制御装置５０の構成を説明する。

＜点光源の形成位置及び配光角＞
図４に示すように、後記する点光源形成用パターン７１（図５）の投影方向をθとする。投影方向θは、要素レンズ３１の光軸（ｘ軸）と、点光源形成用パターン７１の光軸（破線で図示）とのなす角である。このとき、点光源ｐの形成位置（ｐ_ｘ，ｐ_ｙ）は、下記の式（１）で表される。さらに、点光源ｐの配光角φは、下記の式（２）で表される。

ｙ_ａ，ｙ_ｂはそれぞれ、点光源形成用パターン７１の非マスク領域７３の上端及び下端を表す。ｙ軸上では、非マスク領域７３の上端ｙ_ａ～下端ｙ_ｂの間を光線が通過する。従って、点光源形成用パターン７１の投影方向θや非マスク領域の大きさ（上端ｙ_ａ～下端ｙ_ｂ）を変更することで、点光源ｐの形成位置（ｐ_ｘ，ｐ_ｙ）や配光角φを制御できる。

＜点光源群形成用パターン＞
図５を参照し、点光源群形成用パターン７０について説明する。
図５に示すように、点光源群形成用パターン７０は、点光源形成用パターン７１が要素レンズ３１に対応して配列された画像である。つまり、点光源群形成用パターン７０は、要素レンズ３１と同一配列で、同数の点光源形成用パターン７１で構成されている。

ここで、点光源形成用パターン７１は、白色の非マスク領域７３、及び、黒色のマスク領域７５を有する。この点光源形成用パターン７１では、矩形状の非マスク領域７３が中心部に位置し、非マスク領域７３の周辺にマスク領域７５が位置する。ここで、非マスク領域７３は、プロジェクタ１０が最大輝度の光を投影する領域である。また、マスク領域７５は、プロジェクタ１０が光を投影しない領域である。言い換えるなら、点光源形成用パターン７１が投影された場合、非マスク領域７３を光線が通過する。

なお、図５では、図面を見やすくするため、点光源形成用パターン７１を６個のみ図示し、残りを省略した。
また、図５の点光源形成用パターン７１は一例であり、非マスク領域７３及びマスク領域７５の位置や大きさが特に制限されない。

＜点光源形成用パターンと点光源との関係＞
図６を参照し、点光源形成用パターン７１と点光源ｐとの関係について説明する。
図６では、上段に点光源形成用パターン７１を図示し、中段に点光源ｐの形成位置及び配光角を図示し、下段に点光源ｐの配光特性を図示した。

図６（ａ）では、点光源形成用パターン７１の中央を非マスク領域７３とし、周辺をマスク領域７５とする。この非マスク領域７３の幅及び高さは、点光源形成用パターン７１の約半分である。そして、この点光源形成用パターン７１を要素レンズ３１の正面から投影している。この場合、点光源ｐは、要素レンズ３１の光軸上に形成される。また、プロジェクタ１０からの光線が要素レンズ３１の中央のみを通過するので、点光源ｐの配光角φが狭くなる。

図６（ｂ）では、図６（ａ）の非マスク領域７３を小さくしている。この非マスク領域７３の幅及び高さは、点光源形成用パターン７１の約１／３である。この場合、プロジェクタ１０からの光線が要素レンズ３１の中央で狭い範囲のみを通過するので、点光源ｐの配光角φがより狭くなる。

図６（ｃ）では、点光源形成用パターン７１の上側を非マスク領域７３とし、下側をマスク領域７５とする。そして、この点光源形成用パターン７１を要素レンズ３１の正面から投影している。この場合、点光源ｐは、要素レンズ３１の光軸上に形成される。また、プロジェクタ１０からの光線が要素レンズ３１の上側のみを通過する。このため、点光源ｐの配光特性は、下方向に均等に広がるものとなる。

図６（ｄ）では、図６（ｃ）の非マスク領域７３を点光源形成用パターン７１の下側としている。この場合、プロジェクタ１０からの光線が要素レンズ３１の下側のみを通過する。このため、点光源ｐの配光特性は、上方向に均等に広がるものとなる。
なお、図６（ｃ）及び（ｄ）では、非マスク領域７３を点光源形成用パターン７１の上下に設ける例で説明したが、非マスク領域７３を点光源形成用パターン７１の左右に設けてもよい（不図示）。

＜視域の制御＞
図７及び図８を参照し、視域αの制御を詳細に説明する。
なお、図７及び図８では、図面を見やすくするために、デプスカメラ６０、要素レンズ３１や点光源形成用パターン７１、及び、要素画像ｅの一部を省略した。

図７は、ＩＰ立体映像の視域角を小さくして視域αを狭くする例である。
図７（ａ）に示すように、制御装置５０は、全ての要素レンズ３１が点光源ｐを形成するように、点光源形成用パターン７１の投影間隔を設定する（以後、投影間隔＝‘１’）。つまり、投影間隔は、非マスク領域７３が含まれる点光源形成用パターン７１を投影する要素レンズ３１の間隔を意味する。

また、制御装置５０は、要素レンズ３１の焦点距離ｆ、空間光変調器４０の設置位置、及び、要素画像ｅの大きさに基づいて、非マスク領域７３の大きさを設定する。図７（ｂ）に示すように、非マスク領域７３の大きさ（高さ）をａ、要素画像ｅの大きさ（高さ）をｂ、要素レンズ３１の直径をＤ、点光源ｐと空間光変調器４０との距離をＬとする。この場合、非マスク領域７３の大きさａは、下記の式（３）で表される。さらに、要素画像ｅの大きさｂが要素レンズ３１の直径Ｄと等しい場合、非マスク領域７３の大きさａは、下記の式（４）で表される。

なお、点光源形成用パターン７１の大きさは、要素レンズ３１の直径Ｄ以下である。従って、式（３）及び式（４）では、ａ≦Ｄ、ｂ≦Ｄ・Ｌ／ｆを満たす必要がある。

図７では、制御装置５０は、非マスク領域７３の大きさａがＤ・ｆ／Ｌとなるように設定する。さらに、制御装置５０は、非マスク領域７３の位置を、点光源形成用パターン７１の中央に設定する。

そして、プロジェクタ１０は、全ての要素レンズ３１に対し、図７（ａ）の点光源形成用パターン７１を投影する。従って、ＩＰ立体映像表示装置１では、図７（ｂ）に示すように、点光源ｐの配光角が狭くなり、点光源ｐが要素レンズ３１と同数形成される。これにより、ＩＰ立体映像表示装置１では、視域αが狭くなる（その一方、立体映像の解像度が高くなる）。

なお、空間光変調器４０は、ＩＰ立体映像の視域角に応じて要素画像ｅを表示する。要素画像ｅの表示位置は、点光源ｐの配光角、及び、点光源ｐと空間光変調器４０との距離Ｌから求めることができる。

図８は、ＩＰ立体映像の視域角を大きくして視域αを広くする例である。
図８（ａ）に示すように、制御装置５０は、１個おきの要素レンズ３１が点光源ｐを形成するように、点光源形成用パターン７１の投影間隔を設定する（以後、投影間隔＝‘２’）。

また、要素画像ｅの大きさｂが要素レンズ３１の直径Ｄの２倍なので、式（３）にｂ＝２Ｄを代入すると、ａ＝２・Ｄ・ｆ／Ｌが成立する。従って、制御装置５０は、非マスク領域７３の大きさａが２・Ｄ・ｆ／Ｌとなるように設定する。

そして、プロジェクタ１０は、非マスク領域７３が含まれる点光源形成用パターン７１を１個間隔で要素レンズ３１に投影する。言い換えるなら、プロジェクタ１０は、各要素レンズ３１に対し、非マスク領域７３が含まれる点光源形成用パターン７１_Ｗと、全面がマスク領域７５の点光源形成用パターン７１_Ｂとを交互に投影する。従って、ＩＰ立体映像表示装置１では、図８（ｂ）に示すように、点光源ｐの配光角が広くなり、点光源ｐが要素レンズ３１の約半数形成される。これにより、ＩＰ立体映像表示装置１では、視域αが広くなる（その一方、立体映像の解像度が低くなる）。

なお、投影間隔は‘２’に制限されず、任意の長さＮに設定することができる。この場合、非マスク領域７３の大きさａは、下記の式（５）で表される（但し、Ｎは２以上の整数）。

以上のように、ＩＰ立体映像表示装置１では、非マスク領域７３の位置、非マスク領域７３の大きさと、非マスク領域７３を有する点光源形成用パターン７１_Ｗの投影間隔、及び、点光源形成用パターン７１の投影方向の何れか１以上を調整することで、視域αの方向や視域αの広狭を任意に制御できる。

従って、ＩＰ立体映像表示装置１では、視聴者Ａの視点位置に視域αが形成され、点光源ｐから広がった光が要素画像ｅと同じサイズになるように、点光源群形成用パターン７０を調整すればよい。そして、ＩＰ立体映像表示装置１では、視聴者Ａの視点位置に応じて要素画像群Ｅを平行移動させればよい。これにより、１人の視聴者Ａが、高品質なＩＰ立体映像を視聴できる。

さらに、図９に示すように、ＩＰ立体映像表示装置１がＩＰ立体映像を時分割表示することで、複数の視聴者Ａに対応できる。図９では、ＩＰ立体映像を構成する各フレームを３つに時分割している。例えば、ＩＰ立体映像表示装置１は、ＩＰ立体映像のフレーム＃１を視聴者Ａ_１の視域α_１に表示し、フレーム＃２を視聴者Ａ_２の視域α_２に表示し、フレーム＃３を視聴者Ａ_３の視域α_３に表示する（フレーム＃４以降も同様に繰り返す）。
なお、‘＃’は、ＩＰ立体映像を構成する各フレームの番号を表す。

［制御装置の構成］
図３に戻り、制御装置５０の構成について説明する。
図３に示すように、制御装置５０は、要素画像群記憶手段５１と、視点検出手段５２と、表示位置算出手段５３と、時分割表示手段５４と、光源制御手段５５と、同期制御手段５６とを備える。

要素画像群記憶手段５１は、ＩＰ立体映像表示装置１が表示する要素画像群Ｅを記憶する一般的なＨＤＤ（Hard Disk Drive）等の記憶装置である。要素画像群記憶手段５１が記憶する要素画像群Ｅは、時分割表示手段５４によって読み出される。本実施形態では、ＩＰ立体映像表示装置１が、全ての視聴者Ａに同一の要素画像群Ｅを表示する。つまり、全ての視聴者Ａが、同一のＩＰ立体映像を視聴することになる。

視点検出手段５２は、デプスカメラ６０からのステレオ画像に奥行き推定処理を施して、視聴者Ａの人数と、視聴者Ａ毎の視点位置とを検出するものである。例えば、視点検出手段５２は、ステレオ画像から視聴者Ａの顔領域を検出し、ステレオ画像間で顔領域のマッチングを行う。そして、視点検出手段５２は、対応する顔領域の個数を視聴者Ａの人数とし、対応する顔領域の視差から視聴者Ａの奥行き位置を求める。このとき、視点検出手段５２は、正確性を向上させるため、瞳領域の位置を検出し、視聴者Ａの視点位置を求めてもよい。
視点検出手段５２は、検出した視聴者Ａの人数を時分割表示手段５４に出力し、検出した各視聴者Ａの視点位置を表示位置算出手段５３及び光源制御手段５５に出力する。

表示位置算出手段５３は、視点検出手段５２で検出された視聴者Ａ毎に、その視聴者Ａの視点位置に基づいて、その視聴者Ａが視域αに含まれるように要素画像群Ｅの表示位置を算出するものである。各点光源ｐと要素画像ｅの中心位置とを結んだ延長線上に視域αが形成される。そこで、表示位置算出手段５３は、各点光源ｐと視聴者Ａの視点位置とを結ぶ直線が空間光変調器４０の液晶パネル面に交わる位置を各要素画像ｅの中心位置（要素画像群Ｅの表示位置）として求める。例えば、表示位置算出手段５３は、ＩＰ立体映像表示装置１から見て視聴者Ａが左側に位置する場合、要素画像群Ｅの表示位置を右側にする。一方、表示位置算出手段５３は、ＩＰ立体映像表示装置１から見て視聴者Ａが右側に位置する場合、要素画像群Ｅの表示位置を左側にする。
表示位置算出手段５３は、求めた要素画像群Ｅの表示位置を時分割表示手段５４に出力する。

時分割表示手段５４は、視点検出手段５２で検出された人数に基づいて要素画像群Ｅを時分割し、表示位置算出手段５３が算出した表示位置で要素画像群Ｅを空間光変調器４０に時分割表示する。図９では、時分割表示手段５４は、視点検出手段５２から視聴者Ａの人数として‘３’が入力される。この場合、時分割表示手段５４は、要素画像群記憶手段５１から要素画像群Ｅを読み出して、この要素画像群Ｅを３フレーム間隔で時分割表示する。例えば、視聴者Ａ_１がフレーム＃１，＃４，＃７，＃１０，…の要素画像群Ｅを視聴し、視聴者Ａ_２がフレーム＃２，＃５，＃８，＃１１，…の要素画像群Ｅを視聴し、視聴者Ａ_３がフレーム＃３，＃６，＃７，＃１２，…の要素画像群Ｅを視聴することになる。

光源制御手段５５は、視点検出手段５２で検出された視聴者Ａ毎に、その視聴者Ａの視点位置に基づいて、その視聴者Ａが視域αに含まれるように出射光の特性を制御するものである。本実施形態では、光源制御手段５５は、出射光の特性として、非マスク領域７３の位置及び大きさと、点光源形成用パターン７１_Ｗの投影間隔と、点光源形成用パターン７１の投影方向との何れか１以上を制御する。例えば、光源制御手段５５は、ＩＰ立体映像表示装置１から見て視聴者Ａが左側に位置する場合、レンズアレイ３０の右側に光が入射するように点光源群形成用パターン７０を調整する。一方、光源制御手段５５は、ＩＰ立体映像表示装置１から見て視聴者Ａが右側に位置する場合、レンズアレイ３０の左側に光が入射するように点光源群形成用パターン７０を調整する。

ここで、点光源群形成用パターン７０の調整法について補足する。
光源制御手段５５は、要素画像ｅの大きさｂ、要素レンズ３１の焦点距離ｆ、点光源ｐと空間光変調器４０との距離Ｌが既知なので、前記した式（３）を用いて、非マスク領域７３の大きさａを算出できる。
また、光源制御手段５５は、表示位置算出手段５３と同様、視聴者Ａの視点位置が既知なので、非マスク領域７３の位置及び点光源形成用パターン７１の投影方向を算出できる。
また、光源制御手段５５は、クロストークが発生しないように視域αを狭くするので、点光源形成用パターン７１の投影間隔を‘１’として算出する。

同期制御手段５６は、プロジェクタ１０に点光源群形成用パターン７０を出力するタイミングと、空間光変調器４０に要素画像群Ｅを出力するタイミングとを同期させるものである。つまり、同期制御手段５６は、既知の同期制御により、表示位置算出手段５３、時分割表示手段５４及び光源制御手段５５の処理タイミングを同期させる。

［ＩＰ立体映像表示装置の動作］
図１０を参照し、ＩＰ立体映像表示装置１の動作を説明する。
ＩＰ立体映像表示装置１は、デプスカメラ６０を用いて、視聴者Ａのステレオ画像を撮影する（ステップＳ１）。
ＩＰ立体映像表示装置１は、ステップＳ１で撮影したステレオ画像を用いて、視聴者Ａの人数及び視聴者Ａの視点位置を検出する。例えば、視点検出手段５２は、顔領域検出処理及び奥行き推定処理により、視聴者Ａの人数及び視聴者Ａの視点位置を求める（ステップＳ２）。

ＩＰ立体映像表示装置１は、視聴者Ａの視点位置に応じて、空間光変調器４０及びプロジェクタ１０の出力を動的に変更する。つまり、ＩＰ立体映像表示装置１は、視聴者Ａの視点位置に応じた要素画像群Ｅの移動と、視域αの制御とを行う。例えば、表示位置算出手段５３が要素画像群Ｅの表示位置を算出し、光源制御手段５５が点光源群形成用パターン７０を調整する（ステップＳ３）。

ＩＰ立体映像表示装置１は、視聴者Ａの人数に応じて、要素画像群Ｅを時分割表示する。例えば、時分割表示手段５４は、ステップＳ１で検出した視聴者Ａの人数に基づいて要素画像群Ｅを時分割し、ステップＳ３で求めた表示位置で要素画像群Ｅを空間光変調器４０に表示する（ステップＳ４）。

ＩＰ立体映像表示装置１は、ＩＰ立体映像の時分割表示を終了するか否かを判定する。例えば、制御装置５０は、ＩＰ立体映像の最終フレームまで表示した場合、ＩＰ立体映像の時分割表示を終了すると判定する（ステップＳ５）。
時分割表示を終了しない場合（ステップＳ５でＮｏ）、ＩＰ立体映像表示装置１は、ステップＳ１の処理に戻る。
時分割表示を終了する場合（ステップＳ５でＮｏ）、ＩＰ立体映像表示装置１は、動作を終了する。

［作用・効果］
以上のように、ＩＰ立体映像表示装置１は、視点追従技術を用いて、視聴者Ａ毎に狭い視域αを形成するので、クロストークが発生せず、立体映像画素数及び空間周波数特性の性能を向上させることができる。さらに、ＩＰ立体映像表示装置１は、視聴者Ａ毎の狭い視域αで要素画像群Ｅを時分割表示するので、複数の視聴者Ａに対応することができる。このように、ＩＰ立体映像表示装置１は、視点追従技術及び時分割表示により、複数の視聴者Ａが略同時に高品質なＩＰ立体映像を視聴することができる。
さらに、ＩＰ立体映像表示装置１は、視聴者Ａの人数が変化した場合でも、視聴者Ａの人数変化をリアルタイムで検出し、その人数に応じた時分割表示を行うことができる。

以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

（変形例１）
前記した実施形態では、全ての視聴者に同一の要素画像群を時分割表示することとして説明したが、これに限定されない。つまり、各視聴者に異なる要素画像群を時分割表示してもよい。

図３及び図９を参照し、変形例１に係るＩＰ立体映像表示装置１Ｂを説明する。
図３に示すように、ＩＰ立体映像表示装置１Ｂは、プロジェクタ１０と、コリメートレンズ２０と、レンズアレイ３０と、空間光変調器４０と、制御装置５０Ｂと、デプスカメラ６０とを備える。
制御装置５０Ｂは、要素画像群記憶手段５１Ｂと、視点検出手段５２と、表示位置算出手段５３と、時分割表示手段５４Ｂと、光源制御手段５５と、同期制御手段５６とを備える。

要素画像群記憶手段５１Ｂは、視聴者Ａ毎に予め設定した要素画像群Ｅを記憶する。例えば、ＩＰ立体映像表示装置１Ｂでは、各視聴者Ａが希望する要素画像群Ｅを要素画像群記憶手段５１Ｂに予め記憶させておく。

時分割表示手段５４Ｂは、視聴者Ａ毎の要素画像群Ｅを要素画像群記憶手段５１から読み出して、その要素画像群Ｅを空間光変調器４０に時分割表示するものである。図９では、視聴者Ａ_１が要素画像群Ｅ_１のフレーム＃１，＃２，＃３，＃４，…を視聴し、視聴者Ａ_２が要素画像群Ｅ_２のフレーム＃１，＃２，＃３，＃４，…を視聴し、視聴者Ａ_３が要素画像群Ｅ_３のフレーム＃１，＃２，＃３，＃４，…を視聴することになる。

これにより、ＩＰ立体映像表示装置１Ｂは、視聴者Ａ_１～Ａ_３に異なる要素画像群Ｅ_１～Ｅ_３を表示することができる。つまり、ＩＰ立体映像表示装置１Ｂでは、各視聴者Ａが同一の視聴空間にいるにも関わらず、各視聴者Ａが希望する要素画像群Ｅを視聴することができる。

（その他変形例）
前記した実施形態では、視聴者の人数が３人であることとして説明したが、視聴者が２人以上であればよい。
前記した実施形態では、プロジェクタが光源であり、コリメートレンズ及びレンズアレイが平行光光学系であることとして説明したが、光源及び平行光光学系は、これらに限定されない。さらに、表示装置も空間光変調器に限定されない。
前記した実施形態では、デプスカメラにより視聴者の視点位置を検出することとして説明したが、これに限定されない。例えば、赤外線カメラや単眼カメラを用いて、視聴者のの視点位置を検出してもよい。

前記した実施形態では、視聴者が左右に移動することとして説明したが、視聴者が上下に移動した場合でも、視域を追従させることができる。つまり、視聴者の移動方向と反対側に要素画像群を平行移動させ、レンズアレイには、視聴者の移動方向と反対側に光を入射させればよい。
前記した実施形態では、視聴者の視点位置に応じて要素画像群を平行移動させることとして説明したが、これに限定されない。例えば、視聴者の視点位置が手前側又は奥側に移動した場合、要素画像群を拡大又は縮小してもよい。

前記した実施形態では、点光源群形成用パターンの一例を説明したが、これらに限定されない。つまり、非マスク領域の位置及び大きさ、非マスク領域が含まれる点光源形成用パターンの投影間隔、点光源形成用パターンの投影方向は、集光点から広がった光が要素画像と同一サイズになれば任意である。

前記した実施形態では、制御装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した制御装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１，１Ｂ ＩＰ立体映像表示装置
１０ プロジェクタ（光源）
２０ コリメートレンズ（平行光光学系）
３０ レンズアレイ（平行光光学系）
３１ 要素レンズ
４０ 空間光変調器（表示装置）
５０，５０Ｂ 制御装置
５１，５１Ｂ 要素画像群記憶手段
５２ 視点検出手段
５３ 表示位置算出手段
５４，５４Ｂ 時分割表示手段
５５ 光源制御手段
５６ 同期制御手段
６０ デプスカメラ（奥行き推定カメラ）
７０ 点光源群形成用パターン
７１，７１_Ｂ，７１_Ｗ 点光源形成用パターン
７３ 非マスク領域
７５ マスク領域
９ ＩＰ立体映像表示装置
９１ 直視型ディスプレイ
９３ レンズアレイ
９５ 要素レンズ
Ａ，Ａ_１～Ａ_３ 視聴者
Ｅ 要素画像群
ｅ，ｅ_１，ｅ_２ 要素画像
Ｐ 点光源群
ｐ 点光源
Ｚ 立体像
α，α_１～α_３，β 視域

Claims (4)

1. 人物毎に視域を形成し、形成した前記視域に要素画像群を時分割表示することで、複数の前記人物が前記要素画像群を視聴可能なＩＰ立体映像表示装置であって、
   出射光を出射する光源と、
   前記光源からの出射光を平行光に変換し、少なくとも前記人物の両眼が含まれる視域を形成する平行光光学系と、
   前記人物の人数と、前記人物毎の視点位置とを検出する視点検出手段と、
   前記視点検出手段で検出された人物毎に、前記視点位置に基づいて、当該人物が前記視域に含まれるように前記要素画像群の表示位置を算出する表示位置算出手段と、
   前記視点検出手段で検出された人数に基づいて、前記要素画像群を時分割する時分割表示手段と、
   前記視点検出手段で検出された人物毎に、前記視点位置に基づいて、当該人物が前記視域に含まれるように前記出射光の特性を制御する光源制御手段と、
   前記時分割表示手段が時分割した要素画像群を前記表示位置に表示する表示装置と、
   を備え、
   前記光源は、点光源の配光特性を表すマスク画像である点光源形成用パターンが要素レンズに対応して配列された点光源群形成用パターンを投影する投影装置であり、
   前記表示装置は、前記要素画像群を表示する空間光変調器であり、
   前記光源制御手段は、前記出射光の特性として、前記点光源形成用パターンに含まれる非マスク領域の位置及び大きさと、前記非マスク領域が含まれる点光源形成用パターンの投影間隔と、前記点光源形成用パターンの投影方向との何れか１以上を制御し、
   前記平行光光学系は、
   前記投影装置が投影した点光源群形成用パターンを平行光として出射するコリメートレンズと、
   前記要素レンズが２次元状に配列され、前記コリメートレンズからの平行光を各要素レンズの焦点に集光することで、点光源群を形成するレンズアレイと、
   を備えることを特徴とするＩＰ立体映像表示装置。
2. 前記人物に予め設定した前記要素画像群を記憶する要素画像群記憶手段、をさらに備え、
   前記時分割表示手段は、前記要素画像群記憶手段から読み出した要素画像群を時分割することを特徴とする請求項１に記載のＩＰ立体映像表示装置。
3. 前記視点検出手段は、奥行き推定カメラが前記人物を撮影したステレオ画像に奥行き推定処理を施して、前記人物の人数と、前記人物毎の視点位置とを検出することを特徴とする請求項１又は請求項２の何れか一項に記載のＩＰ立体映像表示装置。
4. コンピュータを、請求項１から請求項３の何れか一項に記載のＩＰ立体映像表示装置として機能させるためのプログラム。

Images