JP4049738B2

JP4049738B2 - 立体映像表示装置及び立体映像撮像装置

Info

Publication number: JP4049738B2
Application number: JP2003412921A
Authority: JP
Inventors: 誠人奥井; 淳洗井; 真樹小林; 文男岡野
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2003-12-11
Filing date: 2003-12-11
Publication date: 2008-02-20
Anticipated expiration: 2023-12-11
Also published as: JP2005173190A

Description

本発明は、インテグラルフォトグラフィを利用した立体映像表示装置及び立体映像撮像装置に関する。

眼鏡を用いない立体映像方式として、いわゆるインテグラルフォトグラフィ（Integral Photography、以下「ＩＰ」と略称する）が知られている。以下、図９を用いて、従来のＩＰを用いた立体映像表示装置によって立体映像が表示される様子を説明する。

図９は、従来のＩＰによる立体映像の撮像及び表示方式を示した概略平面図であり、（ａ）は撮像時、（ｂ）は表示時の状態を示している。
まず、被写体Ａを撮像する際は、図９（ａ）に示すように、同一平面上に配列された多数の微小凸レンズ１１１からなるレンズ群１１０とフィルム１２０を用意し、これらを平行に配置する。微小凸レンズ１１１は焦点距離が等しいものを使用し、レンズ群１１０とフィルム１２０の間隔は、微小凸レンズ１１１の焦点距離近傍とする。そして、レンズ群１１０で被写体Ａを撮像すると、それぞれの微小凸レンズ１１１によってフィルム１２０上に、被写体Ａの縮小画像（以下、「要素画像」という。）１３１がそれぞれ撮像される。

つぎに、立体映像Ｂを表示する際は、図９（ｂ）に示すように、要素画像１３１を撮像したフィルム１２０とレンズ群１１０を撮像時と同じ位置関係で設置し、フィルム１２０の後方から投光器１４０等により光を照射する。
各要素画像１３１を透過した光線群（再生光線群１５０）は、撮像時の光線の経路を逆に辿り、対応する微小凸レンズ１１１を透過して、被写体Ａがあったはずの位置で互いに交差する。交差した後の光線は、実物の被写体Ａから出る光線と同一の光線となるため、この光線が目（視点Ｃ）に入ると、そこにないはずの被写体Ａがあたかもそこにあるように見える。換言すれば、立体映像Ｂが元の被写体Ａの位置に表示される。そして、立体映像Ｂを回り込むように視点を変えると、目に入る光線が変わり、立体映像Ｂの異なる面を見ることができる。
なお、図９（ａ）のように撮像した要素画像群１３０に対して、図９（ｂ）のようにそのまま反対側から（フィルム１２０の後方から）光をあてて立体映像Ｂを再生すると、立体映像Ｂはいわゆる逆奥行き像となる。かかる逆奥行き像化に対しては、撮像した要素画像群１３０に対して、再度、図９（ａ）に示す撮像を行い、この再撮像した要素画像を用いることにより、逆奥行き像化を解消して正しい立体像を再生することができる。また、図９（ａ）において、微小凸レンズ１１１に代えて、要素画像が正立像となるように位相を調節した屈折率分布レンズ等の光学ファイバー系を用いれば、再撮像を行う必要がない。

このようなＩＰを利用した立体映像表示装置は、例えば以下に示す特許文献１又は特許文献２等に記載されている。
特開２００２−１０２９４号公報（段落００２３〜００２５、段落００３２〜００３４、図２、図４）特開平１０−１５０６７５号公報（段落００２５〜００３８、図６、図８）

ところで、インテグラルフォトグラフィによって表示される立体映像において充分な解像度を確保するためには各要素画像の解像度を充分に確保することが必要になる。以下、これについて図１０を参照して説明する。

図１０は、立体映像の表示時の様子を示した図であり、（ａ）はレンズ群に近い位置に表示した場合、（ｂ）はレンズ群から離れた位置に表示した場合を示している。
図１０（ａ）に示すように、レンズ群１１０から距離Ｄ１の位置に立体映像Ｂａを表示するには、まず、前記した立体映像の撮像方法（図９（ａ）参照）により要素画像群１３０ａを撮像する。このとき、フィルム１２０の代わりにＣＣＤ素子（ＣＣＤカメラ）を利用するとよい。そして、撮像した要素画像群１３０ａを、レンズ群１１０に対して撮像時と同じ位置関係となるように液晶パネル１６０に表示する。これにより、各要素画像１３１ａは、観察者側（視点Ｃ側）に投影される。観察者側に投影された再生光線群１５０ａは、レンズ群１１０から距離Ｄ１の位置で交差し、立体映像Ｂａを形成する。なお、レンズ群１１０から距離Ｄ１の位置に拡散板をおくと、各要素画像１３１ａの投影像がこの位置で重畳して結像していることがわかる。

かかる立体映像Ｂａは、レンズ群１１０を構成する微小凸レンズ１１１ａの作用によって、各微小凸レンズ１１１ａに対応する要素画像１３１ａがＤ１／ｇ倍（ｇ：レンズ群１１０と液晶パネル１６０との間隔）の拡大率で拡大投影されて結像したものである。したがって、立体映像Ｂａの解像度は、この拡大率に応じて低下する。例えば、液晶パネル１６０の解像度をα（pixels／ｍ）とすると、立体映像Ｂａの解像度βａは、βａ＝α×ｇ／Ｄ１（pixels／ｍ）となり、レンズ群１１０から離れた位置に立体映像Ｂを表示するほど（立体映像Ｂとレンズ群１１０の間隔が大きくなるほど）立体映像Ｂの解像度が低下してしまう。以下、これについて図１０（ｂ）を参照して説明する。

図１０（ｂ）は、立体映像Ｂｂとレンズ群１１０との間隔が、図１０（ａ）に比べて２倍（２×Ｄ１）となる位置に、立体映像Ｂｂを表示する場合を示した図である。表示する方法については、図１０（ａ）と同様であるためここでは省略する。レンズ群１１０から距離２×Ｄ１の位置に立体映像Ｂｂが表示された場合、立体映像Ｂｂの解像度βｂは、βｂ＝α×ｇ／（２×Ｄ１）（pixels／ｍ）となり、図１０（ａ）の場合に比べて立体映像Ｂｂの解像度βｂは１／２に低下する。

一方、ＴＶのディスプレイに目を近づけると画像が粗く見えるのと同じように、立体映像Ｂと視点Ｃとの間隔が小さくなるほど立体映像Ｂは観察者に粗く見える。以下、これを見かけの解像度β’（βａ’、βｂ’）として説明する。

図１０（ａ）の場合、観察者（視点Ｃ）から見た立体映像Ｂａの見かけの解像度βａ’（pixels／rad）は、βａ’＝α×ｇ×Ｄ２／Ｄ１（Ｄ２：立体映像Ｂａと視点Ｃとの間隔）で表わされる。一方、図１０（ｂ）の場合、レンズ群１１０と視点Ｃの間隔が一定であるとすれば、観察者（視点Ｃ）から見た立体映像Ｂｂの見かけの解像度βｂ’（pixels／rad）は、βｂ’＝α×ｇ×（Ｄ２−Ｄ１）／（２×Ｄ１）となり、立体映像Ｂａの見かけの解像度βａ’に比べて１／２倍以下に低下する。すなわち、立体映像Ｂと視点Ｃとの間隔が小さくなると、立体画像Ｂの見かけの解像度β’が急激に低くなり、解像度の低下が目立つこととなる。例えば、立体映像Ｂと観察者の距離が、観察者の手元距離のように小さい場合には、液晶パネル１６０の画素密度が高い場合であっても、最終的に観察される立体映像の解像度はかなり低下する。

このため、従来は、表示した立体映像の解像度を一定以上の水準に確保すべく、液晶パネルの解像度を高めるとともに、立体映像の表示位置をレンズ群から遠くない位置に制限するなどの手段を講じていた。

本発明は、これらの問題を解決するためになされたものであり、レンズ群から遠くて観察者に近い位置に立体映像を表示しても、立体映像の解像度が著しく低下することがない立体映像表示装置を提供することを目的とする。

請求項１に係る立体映像表示装置は、被写体の要素画像群を平面上に表示する要素画像群表示手段と、前記要素画像群が表示された平面と平行に配置され、前記要素画像群表示手段に表示された要素画像群をそれぞれ拡大投影する拡大投影手段群と、前記拡大投影手段群からみて前記要素画像群表示手段とは反対側に、前記拡大投影手段群が配置された平面に対して光軸が直交するように配置された表示用凸レンズと、からなり、前記拡大投影手段群と前記表示用凸レンズとの間隔は、前記表示用凸レンズの焦点距離よりも大である立体映像表示装置であって、前記要素画像群は、平面上に配置された結像手段群と、前記結像手段群と平行に配置され、当該結像手段群により結像された被写体の要素画像群を撮像する要素画像群撮像手段と、前記結像手段群からみて前記要素画像群撮像手段とは反対側に、前記結像手段群が配置された平面に対して光軸が直行するように配置された撮像用凸レンズと、からなる立体映像撮像装置によって撮像され、前記結像手段群と前記撮像用凸レンズとの間隔は、前記撮像用凸レンズの焦点距離よりも小であり、前記撮像用凸レンズの焦点距離と前記表示用凸レンズの焦点距離との合計は、前記結像手段群と前記撮像用凸レンズとの間隔と、前記拡大投影手段群と前記表示用凸レンズとの間隔との合計に等しい、ことを特徴とする。

ここで、「要素画像」とは、立体映像を表示する光線の元となる画像であり、立体映像を表示させたい位置から光線の経路を逆に辿って求めた要素画像表示手段上の所定領域に表示される。要素画像は、光線経路を計算してＣＧなどによって作製してもよいし、後記する請求項２に係る立体映像撮像装置によって撮像してもよい。
また、「要素画像群表示手段」としては、例えば、要素画像が映し出される液晶パネルや、要素画像を撮像したフィルムなどを用いることができる。

かかる立体映像表示装置によれば、拡大投影手段群と表示用凸レンズとの間隔は、表示用凸レンズの焦点距離よりも大であることから、一の拡大投影手段から拡大投影された要素画像は、表示用凸レンズの結像作用によって、この一の拡大投影手段と共役の関係にある一の集束点に集束される。換言すれば、一の拡大投影手段から拡大投影された要素画像は、表示用凸レンズによって、この一の拡大投影手段と共役の関係にある一の集束点に縮小投影される。
そして、それぞれの集束点に縮小投影される要素画像は、立体映像を表示させたい位置で交差することから、そこに被写体が実際にある場合と同じ光線が再現される。

このように、本発明に係る立体映像表示装置によって表示される立体映像は、集束点に縮小投影されていく要素画像が合成されて形成される映像であるため、観察者の目に映る立体映像は、集束点に近いほど、すなわち、表示用凸レンズから遠い位置であるほど、小さく縮小された要素画像によって合成された立体映像となる。そのため、表示用凸レンズから遠くて観察者に近い位置に立体映像を表示する場合であっても、解像度の低下が目立つことがない。

なお、「拡大投影手段群」としては、焦点距離の等しい多数の微小凸レンズを用いることができる。かかる場合には、要素画像群表示手段と微小凸レンズ群との間隔は、微小凸レンズの焦点距離と略等しくするのが望ましい。拡大投影手段として微小凸レンズを用いることにより、比較的明るい投影像を得ることができる。

また、「拡大投影手段群」としては、多数のピンホールが形成された板状部材（以下、「ピンホール板」と適宜略称する）を用いることもできる。ピンホールは微小凸レンズよりも小さく形成することができるため、ボケの少ない投影像を得ることができる。

さらに、「拡大投影手段群」としては、焦点距離の等しい多数の微小凸レンズと、ピンホール板を組み合わせたものを用いることもできる。ここで、微小凸レンズ群とピンホール板との間隔は微小凸レンズの焦点距離に略等しく、ピンホールは、一の微小凸レンズの主点と表示用凸レンズの主点とを通る直線と板状部材との交点に形成されているものとする。また、これらを用いる場合には、平行光又は平行光成分を多く含んだ拡散光を出射する要素画像群表示手段を用いるのが好適である。かかる立体映像表示装置によれば、ピンホールと微小凸レンズの主点を結んだ方向と平行に、要素画像群表示手段から微小凸レンズに向かって要素画像を投影することにより、比較的明るく、かつ、ボケの少ない投影像を得ることができる。

また、「表示用凸レンズ」としては、入射した要素画像を集束点に縮小投影可能である限り、一枚の凸レンズを単独で使用してもよいし、複数のレンズを組み合わせた光学ユニット（光学系）を使用してもよい。

請求項２に係る立体映像撮像装置は、被写体の要素画像群を平面上に表示する要素画像群表示手段と、前記要素画像群が表示された平面と平行に配置され、前記要素画像群表示手段に表示された要素画像群をそれぞれ拡大投影する拡大投影手段群と、前記拡大投影手段群からみて前記要素画像群表示手段とは反対側に、前記拡大投影手段群が配置された平面に対して光軸が直交するように配置された表示用凸レンズと、からなり、前記拡大投影手段群と前記表示用凸レンズとの間隔は、前記表示用凸レンズの焦点距離よりも大である立体映像表示装置に用いる要素画像群を撮像する立体映像撮像装置であって、平面上に配置された結像手段群と、結像手段群と平行に配置され、該結像手段群により結像された被写体の要素画像群を撮像する要素画像群撮像手段と、結像手段群からみて要素画像群撮像手段とは反対側に、結像手段群が配置された平面に対して光軸が直行するように配置された撮像用凸レンズとからなり、結像手段群と撮像用凸レンズとの間隔は、撮像用凸レンズの焦点距離よりも小であり、撮像用凸レンズの焦点距離と表示用凸レンズの焦点距離との合計は、結像手段群と撮像用凸レンズとの間隔と、拡大投影手段群と表示用凸レンズとの間隔との合計に等しい、ことを特徴とする。

かかる立体映像撮像装置によれば、結像手段群と撮像用凸レンズとの間隔は、撮像用凸レンズの焦点距離よりも小であることから、撮像用凸レンズを透過した光線は、撮像用凸レンズの焦点に集光する前に、結像手段群によって要素画像群撮像手段上に要素画像群として結像され、一旦記録されることとなる。

そして、かかる要素画像を結像手段の主点を中心にして１８０度回転させて、請求項１に係る立体映像表示装置において、これらの要素画像を表示させると、撮像用凸レンズの焦点に集光する光線群が再生される。このとき、撮像用凸レンズの焦点距離と表示用凸レンズの焦点距離との合計は、結像手段群と撮像用凸レンズとの間隔と、拡大投影手段群と表示用凸レンズとの間隔との合計に等しいように調節されていることから、立体映像撮像装置の撮像側凸レンズと、立体映像表示装置の表示側凸レンズとは、焦点位置が一致した２つの凸レンズとなり、いわゆるアフォーカル系が構成される。したがって、立体映像の再生が行われることとなる。

ここで、「結像手段群」としては、焦点距離の等しい多数の微小凸レンズを用いることができる。この場合、微小凸レンズ群と要素画像群撮像手段との間隔は、微小凸レンズの焦点距離に略等しくなるように調節する。結像手段として微小凸レンズを用いた場合には、比較的明るい要素画像を得ることができる。

また、「結像手段群」としては、ピンホール板を用いることができる。かかる場合には、ボケの少ない要素画像を得ることができる。ピンホール板と要素画像群撮像手段との間隔は、隣接する要素画像同士が干渉しないように調整する。

また、「要素画像群撮像手段」としては、例えばＣＣＤ等の撮像素子や写真用のフィルム等を用いることができる。ＣＣＤを用いる場合には、要素画像群の反転処理等を電子的に行うことが容易となる。

本発明に係る立体映像表示装置によれば、立体映像をレンズ群から遠くて観察者に近い位置に表示しても、立体映像の解像度が著しく低下することがない立体映像表示装置を提供することができる。
また、本発明に係る立体映像撮像装置によれば、前記立体映像表示装置に用いる要素画像を容易に撮像することができる。

＜第１の実施形態＞
本発明の第１の実施形態について図面を参照して詳細に説明する。参照する図面において、図１は、第１の実施形態に係る立体映像表示装置を示した概略平面図である。また、図２は、立体映像が観察される様子を示した概念図である。また、図３は、電子計算機の仮想空間内に設定された立体映像表示装置を概念的に示した平面図である。

はじめに、立体映像表示装置１の構成について、図１を参照して説明する。
立体映像表示装置１は、一の平面上に配列された多数の微小凸レンズ１１からなるレンズ群１０と、このレンズ群１０と平行な他の平面上に配列された多数の液晶パネル２１からなる液晶パネル群２０と、前記レンズ群１０から見て前記液晶パネル群２０とは反対側に設置された一枚の凸レンズ３０とからなる。立体映像表示装置１は、液晶パネル群２０に表示した要素画像群をレンズ群１０によって凸レンズ３０に拡大投影し、さらに、この拡大投影された要素画像群を凸レンズ３０によって集束点４１に縮小投影することにより、立体映像を表示する装置である。

レンズ群１０は、焦点距離の等しい微小凸レンズ１１を縦横に数百、数千個配列して構成されている。図１では説明を簡略化するため、１５個の微小凸レンズ１１のみを示す。微小凸レンズ１１は、微小凸レンズ１１が配列された平面と、それぞれの微小凸レンズ１１の光軸とが垂直になるように配列されている。また、微小凸レンズ１１の直径は凸レンズ３０に比べて充分に小さいものとする。微小凸レンズ１１は、液晶パネル２１に表示された要素画像を後記する凸レンズ３０に拡大投影する役割を果たすものである。
なお、かかるレンズ群１０が、「拡大投影手段群」に相当する。

液晶パネル群２０は、一つ一つの微小凸レンズ１１に要素画像を投影できるように、微小凸レンズ１１と同数の液晶パネル２１を縦横に配列して構成されている。図１では、微小凸レンズ１１と同じく１５個の液晶パネル２１のみを示す。各液晶パネル２１は、後記する凸レンズ３０の主点３０ａと各微小凸レンズ１１の主点１１ａとを通る直線上に中心点２１ａが位置するように配置される。
なお、かかる液晶パネル群２０が、「要素画像群表示手段」に相当する。各液晶パネル２１は、立体映像を表示させたい位置から光線の経路を逆算して求めた液晶パネル２１上の所定領域に要素画像を表示するようになっている。これについては、図３を参照して後に詳しく説明する。

凸レンズ３０は、微小凸レンズ１１の光軸と凸レンズ３０の光軸が平行になるように設置される。凸レンズ３０は、各微小凸レンズ１１によって拡大投影された要素画像を、各微小凸レンズ１１に対応する集束点４１に集束するように縮小投影する。
なお、かかる凸レンズ３０が、「表示用凸レンズ」に相当する。

立体映像表示装置１において、レンズ群１０、液晶パネル群２０及び凸レンズ３０の寸法及び間隔は、以下に示す（１）式を満足するように設定されている。

ａ／ｂ＝ｐ／ｑ・・・・・・・・・・・・・・・・（１）式
ここで、ａ：レンズ群１０と液晶パネル群２０との間隔、ｂ：レンズ群１０と凸レンズ３０との間隔、ｐ：液晶パネル２１の幅、ｑ：凸レンズ３０の幅（直径）である。
このように設定することにより、各液晶パネル２１の中心点２１ａを中心とした直径ｐの円形領域に表示された要素画像を含む映像が、凸レンズ３０の大きさに拡大投影される。なお、レンズ群１０と液晶パネル群２０との間隔ａは、微小凸レンズ１１の焦点距離ｆ₁と等しいか、やや大きく設定する。

液晶パネル２１からは、無数の拡散光が発せられている。このため、間隔ａが微小凸レンズ１１の焦点距離ｆ₁に略等しい場合は、液晶パネル２１上の一点から出射した拡散光のうち、当該液晶パネル２１の中心点２１ａと凸レンズ３０の主点３０ａとを結ぶ直線上に位置する微小凸レンズ１１（以下、「当該液晶パネル２１に対応する微小凸レンズ１１」という）に入射した光線は、当該微小凸レンズ１１の主点１１ａと当該光線の出射点とを結ぶ直線と平行な方向に屈折する（いわゆる平行光）。そして、液晶パネル２１上の全ての点から出射した光線が同様に屈折することにより、液晶パネル２１に表示された要素画像は、凸レンズ３０上にｑ／ｐ倍（＝ｂ／ａ倍）に拡大投影される。そして、全ての液晶パネル２１に表示された要素画像が、それぞれの液晶パネル２１に対応する微小凸レンズ１１によって、凸レンズ３０上に拡大投影される。

そして、レンズ群１０によって拡大投影されて凸レンズ３０を透過した要素画像群は、凸レンズ３０の結像作用により、各微小凸レンズ１１に対応する集束点４１にそれぞれ集束する。一の微小凸レンズ１１に対応する集束点４１は、図１に示すように、この微小凸レンズ１１の主点１１ａと凸レンズ３０の主点３０ａとを通る直線と、凸レンズ３０からレンズ群１０とは反対側に所定距離はなれた平面（集束面４０）との交点に位置する。レンズ群１０と凸レンズ３０との間隔をｂ、凸レンズ３０と集束面４０との間隔をｃ、凸レンズ３０の焦点距離をｆ₂とすると、これらは（２）式に示す関係を満足する。

１／ｂ＋１／ｃ＝１／ｆ₂ ・・・・・・・・・・・・・・・・（２）式
ここで、立体映像は、後記するように凸レンズ３０と集束面４０との間において観察されることから、間隔ｃが観察するのに適当な間隔になるように、凸レンズ３０の焦点距離ｆ₂を調節する。また、凸レンズ３０を透過した要素画像が集束点４１に集束（縮小投影）されるためには、０＜ｆ₂＜ｂであるように凸レンズ３０の焦点距離を設定する必要がある。

次に、立体映像が観察される様子について、図２を参照して説明する。
レンズ群１０は、通常、焦点距離の等しい微小凸レンズ１１を縦横に数百、数千個配列して構成されるが、本実施形態では、説明の便宜上、図２に示すように、１５個の微小凸レンズ１１（１１−１〜１５）が直列に配列されているものとする。また、液晶パネル群２０も、図２に示すように、１５個の液晶パネル２１（２１−１〜１５）が直列に配列されているものとする。

液晶パネル２１−１〜１５の所定の領域に予め作製しておいた要素画像がそれぞれ表示されると、かかる要素画像は、図２に示すように、それぞれの液晶パネル２１−１〜１５に対応する微小凸レンズ１１−１〜１５によって、凸レンズ３０上へｑ／ｐ倍に拡大投影された後、各微小凸レンズ１１−１〜１５に対応した集束点４１−１〜１５に縮小投影される。
要素画像は、図３を参照して後に詳しく説明するが、立体映像Ｒを表示させたい位置から光線の経路を逆算して求めた液晶パネル２１上の所定領域に表示されていることから、液晶パネル群２０に表示された各要素画像からの光線は、立体映像Ｒを表示させたい位置で交差する。これにより、被写体が本当にそこに存在するのと同じ光線が再生されることとなり、視点を変えると再生画像の異なる面を観察することができる。すなわち、立体映像Ｒが表示されることとなる。

表示される立体映像Ｒは、集束面４０に近づくに連れて縮小されていく要素画像が合成されて構成されているため、凸レンズ３０に近い像に比べて画素密度は高くなる。このため、観察者に近い位置に立体映像を表示してもボケや荒さが目立たない。

ここで、立体映像Ｒが視点Ｃ１において観察される様子を、図２を参照して説明する。
液晶パネル２１−６に表示された要素画像は、図２に示すように、微小凸レンズ１１−６によって凸レンズ３０上に拡大投影され、集束点４１−６に集束する。このとき、液晶パネル２１−６に表示された要素画像を構成する再生光線の一部である光線Ｋ１は、立体映像Ｒ上の点Ｒ１を通り、集束点４１−６へ向かう途中で視点Ｃ１に入射する。これにより、視点Ｃ１に立体映像Ｒ上の点Ｒ１付近の像が観察される。

同様に、液晶パネル２１−７、２１−８、２１−９に表示された要素画像を構成する再生光線の一部である光線Ｋ２、Ｋ３、Ｋ４は、立体映像Ｒ上の点Ｒ２、Ｒ３、Ｒ４をそれぞれ通り、集束点４１−７、４１−８、４１−９へ向かう途中で視点Ｃ１に入射する。これにより、視点Ｃ１に立体映像Ｒ上の点Ｒ２、Ｒ３、Ｒ４付近の像が観察される。そして、これらの光線Ｋ１〜Ｋ４によって全体として立体映像Ｒが形成され、観察者は立体映像Ｒを観察することができる。このように、本実施形態に係る立体映像表示装置１によって観察される立体映像Ｒは、集束点４１の密度に応じて離散化された像となる。

この立体映像表示装置１によれば、立体映像は、集束点４１に縮小投影される要素画像が合成されて形成されることとなる。したがって、例えば観察者の手元位置等のように、観察者（視点Ｃ１）に近い場所に立体映像Ｒを表示した場合でも解像度が急激に低下することがない。

（要素画像の表示領域）
つづいて、液晶パネル２１に表示する要素画像ｒの表示領域について、図３を参照して説明する。ここでは、コンピュータグラフィックス（以下、「ＣＧ」と適宜略称する。）により作成した３次元映像を立体映像Ｒとして表示する場合を例にして説明する。

図３は、電子計算機の仮想空間内に設定された立体映像表示装置を概念的に示した平面図である。
はじめに、立体映像表示装置１の構成要素であるレンズ群１０、液晶パネル群２０及び凸レンズ３０の寸法、位置関係、焦点等の情報を空間座標として電子計算機に入力する。また、ＣＧにより作成した３次元映像を立体映像Ｒとして表示したい位置の座標を設定して電子計算機に入力する。これにより、電子計算機の仮想空間内に、図３に示す立体映像表示装置１と立体映像Ｒが設定される。

つぎに、各液晶パネル２１に表示する要素画像ｒの表示領域を求めるために、各液晶パネル２１に対応する集束点４１を求める。ここでは、液晶パネル２１−９を例にとって説明する。

液晶パネル２１−９に対応する集束点４１−９は、液晶パネル２１−９の中心点２１ａ−９と凸レンズ３０の主点３０ａとを通る直線と、前記（２）式より定まる間隔ｃだけ凸レンズ３０から離れた集束面４０との交点である。電子計算機は、予め入力されている液晶パネル２１−９や凸レンズ３０の座標に基づいて、かかる交点（集束点）４１−９の位置座標を計算する。なお、かかる座標計算は、公知の座標計算プログラムを用いて行うことができる。

つぎに、立体映像Ｒ上の点Ｒ１に対応する液晶パネル２１−９上の点ｒ１の座標を求めるために、点Ｒ１を通って集束点４１−９に入射する光線ｋ５の軌跡を逆にトレースする。具体的には、まず、集束点４１−９と点Ｒ１とを通る直線と、凸レンズ３０の主点３０ａにおいて光軸と垂直に交わる平面３０ｄとの交点３０ｃを求める。そして、この点３０ｃと微小凸レンズ１１−９の主点１１ａ−９とを通る直線と液晶パネル２１−９の表面との交点ｒ１を求める。

また、立体映像Ｒ上の点Ｒ４に対応する液晶パネル上の点ｒ４の座標を、前記と同様に、集束点４１−９、立体映像Ｒ上の点Ｒ４、凸レンズ３０上の点３０ｂ、微小凸レンズ１１−９の主点１１ａ−９、液晶パネル２１−９上の点ｒ４、という順序で、点Ｒ４を通って集束点４１−９に入射する光線ｋ４の軌跡を逆にトレースして求める。

そして、集束点４１−９側に面する立体映像Ｒ上のすべての点について、前記計算を繰り返して行うことにより、液晶パネル２１−９に表示する要素画像ｒの表示領域（点ｒ１、ｒ４等の集合）を求めることができる。

また、電子計算機は、これらの表示領域（点ｒ１、ｒ４等）に表示すべき立体映像Ｒの輝度情報や色情報を、ＣＧで作成した３次元映像から抽出して記憶する。ここで、これらの輝度情報や色情報は、集束点４１−９から点Ｒ１、Ｒ４等を観察したときの輝度情報や色情報とする。

そして、この手順をすべての液晶パネル２１に適用することにより、液晶パネル群２０に表示する要素画像群とその表示領域を得ることができる。

さらに、このようにして得た要素画像群を現実の立体映像表示装置１の液晶パネル群２１に表示することにより、立体映像Ｒを表示することができる。また、各要素画像ｒは、対応する集束点４１から観察したときの輝度、色彩で表示されていることから、観察者が視点を変えると、立体映像Ｒの異なる面が見えるとともに立体映像Ｒの影の付き具合や色合いが変化して、より一層立体的に観察される。

＜第２の実施形態＞
続いて、本発明の第２の実施形態について図面を参照して詳細に説明する。参照する図面において、図４は、第２の実施形態にかかる立体映像表示装置を示した概略平面図である。なお、第１の実施形態と同一の構成については、同一の符号を付し、重複する説明は省略する。
第２の実施形態にかかる立体映像表示装置２は、前記レンズ群１０に代えて多数のピンホール５１が形成された板状部材５０が配置されている点が、前記立体映像表示装置１と異なっている。

板状部材５０は、第１の実施形態におけるレンズ群１０の代わりに配置されたものであり、微小凸レンズ１１の主点１１ａに対応する位置にピンホール５１が設けられている。すなわち、ピンホール５１は、液晶パネル２１の中心点２１ａと凸レンズ３０の主点３０ａを通る直線と液晶パネル群２０から距離ａだけ離間した平面（板状部材５０）との交点に設けられている。

また、液晶パネル群２０と板状部材５０の間隔をａ、板状部材５０と凸レンズ３０の間隔をｂ、液晶パネル２１の幅をｐ、凸レンズ３０の幅（直径）をｑとすると（図１参照）、第１の実施形態と同様に、前記（１）式の関係を満足するようにａ、ｂを設定する。このとき、間隔ａは、隣接する液晶パネル２１の映像が互いに干渉しないように調節する。

液晶パネル２１は、図示しないバックライトを備えており、液晶パネル２１の表面からは無数の拡散光が発射されている。この拡散光のうちピンホール５１に入射した光線は、そのまま直進して凸レンズ３０に入射する。これにより、各液晶パネル２１に表示された要素画像が凸レンズ３０上に拡大投影される。
このとき、ピンホール５１は、点と考えて問題ない程度に充分小さいことから、微小凸レンズ１１を用いた場合に比べてボケの少ない投影像を得ることができる。

また、板状部材５０と凸レンズ３０の間隔をｂ、凸レンズ３０と集束面４０との間隔をｃ、凸レンズ３０の焦点距離をｆ₂とすると、これらは、第１の実施形態と同様に、前記（２）式の関係を満足する。そして、拡大投影された要素画像は、各ピンホール５１に対応する集束点４１にそれぞれ縮小投影される。

前記立体映像表示装置１では、レンズ群１０を構成する微小凸レンズ１１は、凸レンズ３０に比べて充分に小さいとしたが、その最小寸法はレンズである以上限界がある。そのため、前記立体映像表示装置１では、集束点４１は実際には点ではなく、微小凸レンズ１１の直径と同じ大きさとなる。したがって、拡大投影手段としてレンズ群１０を用いる場合において、立体映像Ｒの表示位置が観察者側の焦点距離付近であるときは、比較的明るく、かつ、ボケのない立体映像Ｒを得ることができるが、立体映像Ｒの表示位置が凸レンズ３０から離れるにしたがって、ボケたものになってしまう。

一方、図４に示すように、レンズ群１０の代わりにピンホール５１が形成された板状部材５０を用いた立体映像表示装置２によれば、ピンホール５１は微小凸レンズ１１に比べて充分に小さく成形することが可能であるため、集束点４１を充分に小さくすることができる。このため、拡大投影手段としてピンホール５１を用いた場合には、凸レンズ３０によって縮小投影された要素画像は、奥行き位置によってボケが拡大することがない。したがって、これら要素画像により合成される立体映像もボケが少ない。また、ピンホール板は、レンズ群１０よりも容易に作成できる。

＜第３の実施形態＞
続いて、本発明の第３の実施形態について図面を参照して詳細に説明する。参照する図面において、図５は、第３の実施形態にかかる立体映像表示装置を示した概略平面図である。なお、第１及び第２の実施形態と同一の構成については、同一の符号を付し、重複する説明は省略する。
第３の実施形態にかかる立体映像表示装置３は、図５に示すように、液晶パネル群６０と、レンズ群１０と、板状部材５０と、凸レンズ３０とを、所定の間隔を空けて互いに平行にこの順序で配置して構成されている。立体映像表示装置３は、液晶パネル群６０からの平行光をレンズ群１０によって板状部材５０のピンホール５１に集光して凸レンズ３０に拡大投影した後に、凸レンズ３０によって集束面４０に縮小投影するものである。

液晶パネル群６０は、強い平行光あるいは平行光成分を多く含む拡散光を発する多数の液晶パネル６１から構成されている。液晶パネル６１は、図５に示すように、凸レンズ３０の主点３０ａと微小凸レンズ１１の主点１１ａとを通る直線上に液晶パネル６１の中心点６１ａが位置するように配置される。

レンズ群１０は、第１及び第２の実施形態と同様に、焦点距離の等しい多数の微小凸レンズ１１を整列配置したものである。かかる微小凸レンズ１１に液晶パネル６１から平行光が入射すると、この平行光は、微小凸レンズ１１から光軸方向に焦点距離ｆ₁だけ離れた平面と、液晶パネル６１の中心点６１ａと微小凸レンズ１１の主点１１ａとを通る直線との交点（以下、かかる交点を「集光点」と呼ぶ。）に集光される。

板状部材５０は、レンズ群１０から微小凸レンズ１１の焦点距離ｆ₁だけ離間して配置されており、前記集光点に相当する位置にピンホール５１が形成されている。これにより、前記平行光以外の光線は板状部材５０によって遮断される。

ピンホール５１を通り抜けた光線は、凸レンズ３０に入射し、集束点４１に集束する。かかる作用は、前記した第１の実施形態及び第２の実施形態と同様であるため、その説明は省略する。

立体映像表示装置３によれば、要素画像を拡大投影する光線として平行光を利用するため、投影像の明るさを確保することができる。また、ピンホールを透過させるため、立体映像のボケを抑えることができる。

＜立体映像撮像装置＞
次に、立体映像撮像装置について図６、図７、図８を参照して説明する。ここで、図６は、立体映像撮像装置の概略平面図である。また、図７は、要素画像の反転処理を説明するための概念図である。また、図８は、立体映像撮像装置で撮像した立体映像を立体映像表示装置で表示する様子を示した図であり、（ａ）は撮像時、（ｂ）は表示時の様子を示した図である。なお、前記第１〜第３の実施形態と同一の構成については、同一の符号を付し、重複する説明は省略する。

立体映像撮像装置４は、図６に示すように、凸レンズ７０と、この凸レンズ７０からみて被写体Ａとは反対側に配置された多数の微小凸レンズ８１からなるレンズ群８０と、さらに、このレンズ群８０からみて凸レンズ７０とは反対側に配置されたＣＣＤ素子からなる撮像面９０とから構成されている。被写体Ａから出射された光線は、凸レンズ７０とレンズ群８０を透過した後に撮像面９０に撮像される。以下、これらの構成要素について詳しく説明する。

凸レンズ７０は、前記した第１の実施形態に係る立体映像表示装置１の凸レンズ３０と、いわゆるアフォーカル系（無限焦点系）を構成するレンズである（図８参照）。これについては後に詳しく説明する。
被写体Ａから出射して凸レンズ７０に入射した光線のうち、凸レンズ７０の光軸と平行な光線は、図６に示すように、凸レンズ７０の焦点７１に向かう方向に屈折する。なお、凸レンズ７０は、後記するレンズ群８０と同等、あるいはそれよりも大きな口径であるのが望ましい。
なお、かかる凸レンズ７０が、「撮像用凸レンズ」に相当する。

レンズ群８０は、焦点距離の等しい多数の微小凸レンズ８１を平面上に整列配置して構成されている。レンズ群８０は、凸レンズ７０の光軸と直交する平面上に配置されている。また、レンズ群８０を構成する微小凸レンズ８１は、その光軸が凸レンズ７０の光軸と平行になるように配置されている。
なお、かかるレンズ群８０が、「結像手段群」に相当する。

凸レンズ７０とレンズ群８０との間隔は、以下の関係式を満足するように定める。
ｄ＜ｆ₃ ・・・・・・・・・・・・・・・・・・・・・・・・・（３）式
ｄ＝ｆ₂＋ｆ₃−ｂ・・・・・・・・・・・・・・・・・（４）式
ここで、ｄ：凸レンズ７０とレンズ群８０の間隔、ｆ₃：凸レンズ７０の焦点距離、ｂ：立体映像表示装置１における凸レンズ３０とレンズ群１０の間隔、ｆ₂：凸レンズ３０の焦点距離、をそれぞれ示している。
このように、凸レンズ７０とレンズ群８０の間隔ｄが凸レンズ７０の焦点距離ｆ₃よりも短いことから、被写体Ａから出射して凸レンズ７０を透過した光線は、凸レンズ７０の焦点７１に集光する前に、レンズ群８０に入射する。
なお、微小凸レンズ８１の焦点距離は、立体映像表示装置１におけるレンズ群１０（拡大投影手段）と液晶パネル群２０（要素画像群表示手段）との間隔ａに略等しくなるように設定する。また、微小凸レンズ８１の径も、立体映像表示装置１における微小凸レンズ１１の径と等しくする。このようにすることにより、立体映像表示装置１において、被写体Ａから出射された光線を再現することが可能となる。

撮像面９０は、例えば平面上に密集して配置されたＣＣＤ素子等からなり、レンズ群８０と平行に配置されている。撮像面９０とレンズ群８０との間隔は、微小凸レンズ８１の焦点距離に等しくなるように設定する。これにより、凸レンズ７０を透過した被写体Ａの画像が、レンズ群８０によって、撮像面９０上に結像される。このようにして撮像された要素画像は、ＣＣＤ素子によって光電変換されて、メモリ等（図示省略）に電気的に記憶される。
なお、本実施形態では撮像面９０をＣＣＤ素子で構成したが、要素画像を記録できるものであれば、フィルムやカメラ等を用いてもよい。

撮像した要素画像を立体映像表示装置１の液晶パネル２１（図８（ｂ）参照）にそのまま表示すると、光線の向きが撮像時と逆向きに再生され、立体映像が逆奥行き像となってしまう。これを防止するために、以下に説明する手順によって要素画像を加工する。

まず、図７（ａ）に示すように、レンズ群８０によって被写体Ａの画像（要素画像）が撮像面９０に撮像される。

次に、得られた要素画像の一つ一つを、図７（ｂ）に示すように、微小凸レンズ８１の主点８１ａを中心として１８０度回転させる処理を行う。この処理は、要素画像が電子データとして取得されている場合には電子計算機を用いて座標計算によって行ってもよいし、フィルム等に記録されている場合には、レンズ群８０を挟んで反対側に別の撮像面９０’を設置して要素画像を再撮像してもよい。

上記処理により逆奥行き像は解消されるが、アフォーカル系によって再生される像は倒立像となるため、これを解消すべく、図７（ｃ）に示すように、前記処理した要素画像群をレンズ群８０の中心軸（凸レンズ７０の光軸に一致）を中心として一括して１８０度回転させる。この処理についても、電子計算機を用いて計算して行ってもよいし、要素画像を表示するフィルムや液晶パネル（２０）を物理的に回転させて行ってもよい。これにより、アフォーカル系によって再生される像は正立像となる。

このようにして、図８（ｂ）に示す立体映像表示装置１の液晶パネル２１に、前記処理を施した要素画像を表示すると、立体映像撮像装置４のレンズ群８０の位置における光線の状態が、レンズ群１０の位置に再生される。このとき、再生された光線の中には、凸レンズ７０の焦点７１に集光する光線、すなわち、凸レンズ７０の光軸と平行に凸レンズ７０に入射した光線も含まれている。かかる光線群は、凸レンズ７０の焦点７１があったはずの位置に向かう。

立体映像撮像装置４における凸レンズ７０とレンズ群８０の間隔ｄは、上記（４）式に示す関係を満足することから、図８（ｂ）に示すように、凸レンズ７０と凸レンズ３０の光軸を一致させ、かつ、レンズ群８０とレンズ群１０の位置を一致させると、凸レンズ７０の焦点７１と凸レンズ３０の焦点３１は一致する。したがって、レンズ群１０の位置にレンズ群８０によって一旦記録した光線を立体映像表示装置１で再生すると、これらの光線のうち凸レンズ７０の光軸と平行に凸レンズ７０に入射した光線は、凸レンズ３０の焦点３１を通って凸レンズ３０に入射し、凸レンズ３０の光軸と平行に出射する。このように、いわゆるアフォーカル系が構成されることから、被写体Ａの立体映像Ｒが再生されることとなる。とくに、凸レンズ３０と凸レンズ７０の焦点距離が等しい場合には、歪みのない立体映像Ｒを得ることができる。

以上、本発明の好適な実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

例えば、液晶パネル群２０は、小さな液晶パネルを多数配列して構成したものとしたが、大きな一枚の液晶パネルを分割表示させることにより、所定の位置に要素画像をそれぞれ表示させるようにしてもよい。

また、第１〜第３の実施形態において、凸レンズ３０の幅（直径）ｑは、（１）式を満足するように、すなわち、ｑ＝ｐ×ｂ／ａとなるように設定すると、各液晶パネル２１の中心点２１ａを中心とした直径ｐの円形領域に表示された要素画像を含む映像が、ちょうど凸レンズ３０の大きさに拡大投影されることとなるため、隣接する液晶パネル２１に表示された映像が干渉することがなく、最も好ましい。しかし、ｑ＞ｐ×ｂ／ａであっても、要素画像が干渉することがあるが、立体映像Ｒを表示することは可能である。また、ｑ＜ｐ×ｂ／ａであっても、立体映像Ｒを観察できる角度は狭くなるが、立体映像Ｒを表示することは可能である。

また、立体映像撮像装置４において、微小凸レンズ８１の代わりに、正立像が得られるように調節した屈折率分布レンズ等のファイバー光学系を使用してもよい。このようにした場合には、一つ一つの要素画像を１８０度反転させる処理が不要となり、より簡易に立体映像を再生することが可能となる。なお、かかる技術については特開平１０−１５０６７５号に詳しく開示されている。

第１の実施形態に係る立体映像表示装置を示した概略平面図である。立体映像が観察される様子を示した概念図である。電子計算機の仮想空間内に設定された立体映像表示装置を概念的に示した平面図である。第２の実施形態にかかる立体映像表示装置を示した概略平面図である。第３の実施形態にかかる立体映像表示装置を示した概略平面図である。立体映像撮像装置の概略平面図である。要素画像の反転処理を説明するための概念図である。立体映像撮像装置で撮像した立体映像を立体映像表示装置で表示する様子を示した図である。従来のＩＰによる立体映像の撮像及び表示方式を示した概略平面図であり、（ａ）は撮像時、（ｂ）は投影時を示す。従来の立体映像表示装置を示す概略平面図であり、（ａ）はレンズ群に近い位置に立体映像を表示する場合、（ｂ）はレンズ群から遠い位置に立体映像を表示する場合を示す。

符号の説明

１、２、３立体映像表示装置
４立体映像撮像装置
１０レンズ群（拡大投影手段群）
１１微小凸レンズ
２０液晶パネル群（要素画像群表示手段）
２１液晶パネル
３０凸レンズ（表示用凸レンズ）
４０集束面
４１集束点

Claims

被写体の要素画像群を平面上に表示する要素画像群表示手段と、
前記要素画像群が表示された平面と平行に配置され、前記要素画像群表示手段に表示された要素画像群をそれぞれ拡大投影する拡大投影手段群と、
前記拡大投影手段群からみて前記要素画像群表示手段とは反対側に、前記拡大投影手段群が配置された平面に対して光軸が直交するように配置された表示用凸レンズと、からなり、
前記拡大投影手段群と前記表示用凸レンズとの間隔は、前記表示用凸レンズの焦点距離よりも大である立体映像表示装置であって、
前記要素画像群は、
平面上に配置された結像手段群と、前記結像手段群と平行に配置され、当該結像手段群により結像された被写体の要素画像群を撮像する要素画像群撮像手段と、前記結像手段群からみて前記要素画像群撮像手段とは反対側に、前記結像手段群が配置された平面に対して光軸が直行するように配置された撮像用凸レンズと、からなる立体映像撮像装置によって撮像され、
前記結像手段群と前記撮像用凸レンズとの間隔は、前記撮像用凸レンズの焦点距離よりも小であり、
前記撮像用凸レンズの焦点距離と前記表示用凸レンズの焦点距離との合計は、前記結像手段群と前記撮像用凸レンズとの間隔と、前記拡大投影手段群と前記表示用凸レンズとの間隔との合計に等しい、ことを特徴とする立体映像表示装置。
被写体の要素画像群を平面上に表示する要素画像群表示手段と、前記要素画像群が表示された平面と平行に配置され、前記要素画像群表示手段に表示された要素画像群をそれぞれ拡大投影する拡大投影手段群と、前記拡大投影手段群からみて前記要素画像群表示手段とは反対側に、前記拡大投影手段群が配置された平面に対して光軸が直交するように配置された表示用凸レンズと、からなり、前記拡大投影手段群と前記表示用凸レンズとの間隔は、前記表示用凸レンズの焦点距離よりも大である立体映像表示装置に用いる前記要素画像群を撮像する立体映像撮像装置であって、
平面上に配置された結像手段群と、
前記結像手段群と平行に配置され、当該結像手段群により結像された被写体の要素画像群を撮像する要素画像群撮像手段と、
前記結像手段群からみて前記要素画像群撮像手段とは反対側に、前記結像手段群が配置された平面に対して光軸が直行するように配置された撮像用凸レンズとからなり、
前記結像手段群と前記撮像用凸レンズとの間隔は、前記撮像用凸レンズの焦点距離よりも小であり、
前記撮像用凸レンズの焦点距離と前記表示用凸レンズの焦点距離との合計は、前記結像手段群と前記撮像用凸レンズとの間隔と、前記拡大投影手段群と前記表示用凸レンズとの間隔との合計に等しい、ことを特徴とする立体映像撮像装置。