特許文献2においては、裸眼立体視は可能ではあるが、観察者はプロジェクタが投影する実像を実鏡映像結像光学系により結像した虚像として見ることになるため、実鏡映像結像光学系の対称面よりもずっと奥に表示されることになる。そして、虚像には手や指し棒等を近付けたりその動きに応じて映像を動かしたりといったインタラクションが不能である。さらに、ヘッドマウントディスプレイに応用した技術であるため、頭部の移動による視点の移動が考慮されておらず、結像距離が長いために高解像度化が難しいといえる。
非特許文献2においては、裸眼立体視及び頭部の移動による視点移動が考慮されてはいるが、観察者から見て対称面となるハーフミラー背面に設置された再帰性反射スクリーン上に映像が結像しているため、空中映像(つまりハーフミラーより観察者側に定位する映像)を表示した時には、輻輳と調節の不一致が甚だしくなる。また、輻輳と調節が一致するスクリーン面近傍に定位する映像を表示した場合には、映像表示面と観察者の間にハーフミラーが挟まって配置されることとなって、像とのインタラクションを行う場合には、ハーフミラーの背面側に手を回す必要がある。
非特許文献3には、異方性拡散スクリーンを用いたマルチプロジェクション方式の立体表示装置が開示されている。この方式では平面上に浮かぶ映像として提示可能ではあるものの、映像を投影する拡散スクリーンは、平面より距離のある下部に位置することから、平面上に映像表示を行った場合には輻輳と調節の矛盾は大きなものとなる。
本発明は、このような従来技術の諸問題に着目し、プロジェクタアレイにより投影される映像を、観察者が視点を移動しても途切れることなく連続的に高精細な立体映像として見ることができ、しかも平面上に浮かぶ空中に定位する立体映像に対して輻輳と調節の矛盾を減少させ、観察者とのインタラクションをも可能とする立体表示装置を提供することを主たる目的とするものである。
すなわち本発明は、対称面となるある1つの幾何平面を内部的に有しこの対称面を境にして一方側の空間から出射された光線を透過させて他方側の空間における面対称位置に実像である鏡映像を結像可能な実鏡映像結像光学系と、光線が対称面を透過する前又は後もしくは透過中においてその光線を拡散させる拡散面と、対称面を境にした一方側の空間に配置されて複数のプロジェクタを配列してなるプロジェクタアレイとを備え、拡散面に焦点を合わせて各プロジェクタの射出瞳から投影される光線を実鏡映像結像光学系の対称面及び拡散面を透過させることによって、射出瞳の対称面に対する面対称位置に拡散された実像である鏡映像たる結像瞳として結像させ、各結像瞳によって当該結像瞳の集合が配列することになる瞳結像面を隙間なく埋めることにより、各結像瞳が結像している側から、プロジェクタアレイから投影された映像を前記対称面の位置もしくは結像瞳が結像している空間に結像した像を視点移動によっても連続的に観察し得るように構成したことを特徴とする立体表示装置である。
ここで、実鏡映像結像光学系は、対称面を境にして被投影物を面対称位置に歪みのない実像として結像するものであり、上述した2面コーナーリフレクタアレイによって構成したものが適切であるが、マイクロレンズアレイ(アフォーカルレンズアレイを含む)によって構成したものや、その他のレンズや反射鏡等の光学機器を用いて構成した光学系であってもよい。拡散面としては、実鏡映像結像光学系とは独立した光拡散板(硬質な板状のもの、又はフィルムやシートを含み、幾何光学的なものあるいは波動光学的な動作原理であってもよい)を用いたり、実鏡映像結像光学系自体に光の拡散機能を持たせたものを用いることができる。また、本発明で用いるプロジェクタアレイを構成するプロジェクタには、拡散面に焦点を結んで投影できるものであればよく、一般的なプロジェクタあるいは、液晶ディスプレイの画面をレンズアレイ等の光学系によって複数に分割して投影してもよい。拡散面に対して斜め投影となる場合には、プロジェクタの投影光学系が斜め投影を前提に設計されていなければ、レンズから拡散面までの距離が拡散板各点で変化するために、投影画像は台形状となり、投影場所によって焦点位置と解像度が変わることになる。これを避けるためには、プロジェクタの投影光学系を斜め投影を前提として設計することが望ましいが、焦点深度を深めとすることで対応することも可能である。このようなプロジェクタアレイで投影される映像は、カメラで実際物を撮影しながらその映像をプロジェクタアレイに転送してリアルタイムで投影したものであってもよいし、予め撮影済み又は作成済みの映像データを投影したものとしてもよい。
本発明における拡散面における拡散角の役割は、拡散された結像瞳によって射出瞳の瞳結像面を隙間なく埋めることを目的としている。プロジェクタの映像の結像位置に拡散面を設けたことによって、映像そのものは拡散面自体が透過型スクリーンとして機能するため、プロジェクタから投影される映像の解像度は高いままであるのに対して、射出瞳は結像途中において拡散面で拡散されて、実鏡映像結像光学系を通じて結像するために、ぼやけることになる。そのため、空間に開いた穴として結像した射出瞳の実鏡映像(結像瞳)はその境界(周縁部)もはっきりしなくなり、隣接する結像瞳同士を連続させることができることとなり、ある一つの結像瞳の位置から目が外れても、その映像が突然消えることはなく、徐々に見えなくなるという効果が得られる。また、拡散角が大きすぎる場合には一つの視点においても複数プロジェクタの映像が重なって見えることになるため、適切な重なりが必要となる。なお、瞳結像面と記述しているが、結像には焦点深度があることから、必ずしも厚さのない面を意味するものではない。
また、プロジェクタアレイを構成するプロジェクタの数や配置は特に限定されるものではなく、複数のプロジェクタによるプロジェクタアレイの配置態様は、横方向又は縦方向に1列のみの1次元的配置、又は縦横の2次元的配置とすることができる。複数のプロジェクタを1次元的配置とした場合、特に観察者である人間の2つの目が左右の横方向に存在することに対応して複数のプロジェクタを横方向配置とすれば、結像した像の水平視差の表現が可能となる。この場合、拡散面による拡散機能は、横方向には狭角、縦方向には広角の異方性拡散が起こるものとすることが適切である。このようにすることで、結像した像に縦方向視差は与えられないものの、縦方向の視野角を拡大することが可能となる。なお、1次元的配置としては、横一列に直線的あるいは滑らかな曲線的に並べるのが簡単ではあるが、縦方向拡散角が十分大きい場合には、縦方向の多少のずれは問題がなく、また、瞳結像の焦点深度を考慮すると、奥行き方向のずれも多少のずれは問題がない。複数のプロジェクタを2次元的配置とした場合、拡散面による拡散機能は、隣接する射出瞳の実像が適度にオーバーラップする程度のボケが与えられる拡散角を持つものとすることが好適であり、これにより縦方向及び横方向の視差を表現することができる。2次元配置の場合には、四角格子でもよいが、オーバーラップを行うための拡散角を小さくするには三角格子がより適している。また、オーバーラップが適切に作れるのであれば、規則的に並ぶ必要もない。また、平面である必要はなく、曲面上に配置されていても構わない。この場合、瞳結像面も平面ではなく、曲面となる。さらに、瞳結像の焦点深度を考慮すると、必ずしも滑らかな曲面上に並ぶ必要はなく、奥行き方向の多少のずれも問題はない。
プロジェクタと対称面との間に拡散面が配置され、拡散面と対称面の間に空間が空いている場合、プロジェクタの焦点は拡散面に対して合わせられる。拡散面に投影された映像は、実鏡映像結像光学系によって、実像として対称面の反対側に結像する。この場合、実鏡映像結像光学系による結像となるので、解像度は拡散面に投影された映像よりも低下することになる。しかしながら、対称面よりも観察側に実像として提示されるので、プロジェクタアレイを1次元的配置として、縦方向視差を与えない場合においても、視差的に実像位置近辺に提示された立体像を見た場合、上下方向の視点移動に対しても、定位位置の移動ではなく、物体の回転という形での影響に抑えられる。また、拡散面の配置が比較的自由なため、拡散面に対してプロジェクタを垂直配置することは容易となる。なお、拡散面を対称面に対して水平配置等にすることも可能であるが、この場合において、実鏡映像結像光学系として後述する2面コーナーリフレクタアレイを用いた場合、2面コーナーリフレクタアレイには光線が斜めに入射する必要があるため、プロジェクタは拡散面に対して斜め投影とする必要がある。
一方、対称面に拡散面をほぼ一致させて配置している場合、観察者は、実鏡映像結像光学系による結像機能を通さずに、拡散面に投影された映像をそのまま観察することになるため、最も高解像度な映像を提示することができる。具体的な例としては、独立した拡散面を備えた拡散板を、実鏡映像結像光学系の上下に密着して配置するか、あるいは、実鏡映像結像光学系そのものに拡散機能を持たせるということが考えられる。例えば、実鏡映像結像光学系として後述する2面コーナーリフレクタアレイを適用し、その2面コーナーリフレクタアレイに拡散機能を持たせる方法の一つは反射面に拡散機能を持たせることであり、具体的には、反射面に微小構造物を形成し、幾何光学的、波動光学的に拡散機能を持たせる方法と、反射面を平面ではなく曲面とする方法、各反射面の角度をわずかにずらす方法等が考えられる。また、単位光学素子への入射面あるいは出射面が透明固体からなる場合には、入射(出射)面に微小構造物を形成し、幾何光学的、波動光学的に拡散機能を持たせる方法と、入射(出射)面を平面ではなく曲面とし、屈折による拡散機能を持たせる方法が考えられる。その他にも、2面コーナーリフレクタアレイの透過経路中に、光線を拡散する微粒子等を配置することや、単位光学素子を十分小さくして回折を生じさせる方法などが挙げられる。なお、対称面と拡散面を一致させた場合であっても、単位光学系と投影された画素は一般的には一致しないため、開口率が100%でなければ、一部は隠されることになる。また、特に、プロジェクタから拡散面に斜め投影した場合には、プロジェクタの投影光学系が斜め投影に対応して設計されていなければ、焦点距離の問題とともに、投影場所によって画素と単位光学系の関係が変化するという問題が生じる。
実鏡映像結像光学系が、対称面を境にして一方側の空間から出射された光線を透過させて他方側の空間における面対称位置に実像である鏡映像を結像する単位光学系を複数備えており、これらの単位光学系の配置と各プロジェクタにより投影される画像の画素配置とを対応させた場合、単位光学系の大きさが投影画像の画素と等しいか大きく、拡散面がこの単位光学系に含まれるあるいはその極近傍に配置されているならば、各単位光学系を独立した画素として観察できることとなり、観察される映像の高解像度化を図ることができる。なお、単位光学系と投影画像の画素を1対1対応させた場合には、プロジェクタ画像の解像度そのままに表示することが可能となる。
また、対称面よりも観察側に拡散面が配置され、拡散面と対称面の間に空間が空いている場合、プロジェクタの映像を拡散面の位置に結像させるには、焦点位置に注意が必要である。つまりプロジェクタの映像は、何もない拡散面の対称面に対する面対称位置に焦点を合わせて実像として結像させなければならない。この実像が実鏡映像結像光学系によって、拡散板位置に再び実像として結像される。この方式を採用した場合は、実鏡映像結像光学系による結像結果を見ることになるため、解像度は上述した対称面と拡散面がほぼ一致する場合に比べて低下する。また、観察者が見る映像は、拡散面そのものの上に投影された映像であり、上述したプロジェクタと対称面との間に拡散面を配置した場合のように映像を実像として観察することはできなくなる。
結像瞳を適切に拡散した結果、複数のプロジェクタの各射出瞳の実鏡映像である結像瞳が結像している側から、プロジェクタアレイにより拡散面に投影された映像、又はその映像の実鏡映像結像光学系により結像した実鏡映像を観察すれば、両眼視差による立体映像を観察することが可能となり、しかも観察者の眼の瞳の位置が、結像瞳とその投影している映像の延長線上にあれば、観察位置を移動(すなわち視点移動)しても立体映像が途切れることなく連続的且つ滑らかに切り替わるように観察することができるという、プロジェクタを利用した映像投影方法として視差方式での立体映像の観察環境が得られることとなる。そして、本発明で観察できる立体映像は視差的に対称面よりも手前側に表示したとしても、各プロジェクタの映像を対称面の位置あるいはそれよりも観察者側に結像させることができるため、調節と輻輳の矛盾が小さいという特徴を持つ。
また、実鏡映像結像光学系としては、対称面となる所定の平面に略垂直であり相互に略直交する2つの鏡面から構成される2面コーナーリフレクタ(単位光学系に相当)を対称面上に複数並べた構成を有する2面コーナーリフレクタアレイ、又は対称面となる所定の平面に垂直な光軸を有するアフォーカルレンズ(単位光学系に相当)を対称面上に複数並べたアフォーカルレンズアレイを適用することが望ましい。2面コーナーリフレクタアレイを本発明における実鏡映像結像光学系とする場合、プロジェクタは対称面の垂線に対して傾斜した斜め方向から投射するのが好適であるため、プロジェクタを斜めに焦点が合う投影光学系とすることが望ましい。また、2面コーナーリフレクタアレイはマイクロミラーによる反射を基本原理として利用するものであるため、色収差が出ず、また結像される像は鏡映像であるために固有焦点距離がなく、任意の位置に配置したプロジェクタアレイの射出瞳を歪みなく結像できるという利点が得られる。一方、アフォーカルレンズアレイを本発明における実鏡映像結像光学系とする場合、対称面と直交する方向からの垂直投影が可能である。
2面コーナーリフレクタアレイは、前掲特許文献1に記載された本発明者の発明による等倍結像光学系である。2面コーナーリフレクタアレイの構造を単純に述べれば、所定の平面にほぼ垂直な2つの鏡面を相互に略直交させた構成の単位光学系(2面コーナーリフレクタ)を多数並べたものである。この2面コーナーリフレクタアレイを本発明の実鏡映像結像光学系に適用した場合、各プロジェクタの射出瞳から発した光線は、2面コーナーリフレクタアレイの対称面を透過する際に、各2面コーナーリフレクタの2つの鏡面でそれぞれ1回ずつ、合計2回反射して、対称面に対する射出瞳の面対称位置にこの瞳の実像として結像するが、拡散面により光線が拡散されるため、結像した像は射出瞳の大きさよりも広がり周縁部がボケたものとなる。なお、2面コーナーリフレクタアレイは、垂直配置された2枚の反射面による2回反射を原理とした結像光学素子であり、その構造も種々のものを用いることができ、四角い貫通穴構造の内壁を反射面としたものや、透明体による四角柱の内壁を反射面としたもの、スリットミラーアレイを直交させて2段重ねにしたもの、波型の板を並べたもの等様々である。また、2回反射の前後で屈折による光路の屈曲を対称的に行うものも同様の原理に含まれる
アフォーカルレンズアレイを本発明において実鏡映像結像光学系として利用する場合には、各レンズの表面の面精度を落としたり、レンズ表面に適度な大きさの突起物を形成したり、各レンズに気泡その他の異物を混入するなどして、アフォーカルレンズアレイ自体に光線の拡散機能を持たせることができる。
本発明に係る立体表示装置は、プロジェクタアレイで投影する映像として、複数のプロジェクタと物理的配置と共に光学的に共役となるように複数のカメラからなるカメラアレイで撮影した映像とすることで、カメラアレイで撮影しているものをそのまま再生することができる。1つの結像瞳を覗いた場合、1台のプロジェクタから投影された映像がそのまま観察できるが、プロジェクタと光学的に共役なカメラの映像を投影した場合には、カメラの瞳から眺めた映像がそのまま見えることになる。そして、複数のカメラおよびプロジェクタがその物理的配置をも共役としている場合には、そのままカメラアレイが撮影している情景がプロジェクタアレイで再生される。なお、スケールに関しては不変性を持つため、カメラ配置を物理的に拡大縮小してもそのまま再生することが可能である。
本発明に係る立体表示装置は、対称面に対する被投影物の面対称位置に歪みのない実像を結像する実鏡映像結像光学系と、光線を拡散させる拡散面とを併用し、プロジェクタアレイを構成する各プロジェクタの射出瞳から照射された映像を、その射出瞳の対称面を境とした面対称位置に、境界部(周縁部)をぼかした鏡映像である実像として結像させることができる。そのため、拡散面を備えない場合と比較して、観察者が射出瞳の結像を観察している目の位置を移動させた場合、結像から目が外れると突然映像が見えなくなるという不具合を解消し、映像が徐々に見えなくなるという視覚効果が得られるようにすることができる。現実的には、ある視点で観察していた射出瞳の結像は、その位置から視点をずらすと徐々に見えなくなるが、すぐ隣の射出瞳の結像が同じく境界部(周縁部)をボカした状態で形成されているため、視点移動を行っても略連続的に映像(結像)の観察を行うことができる。さらに、観察される像は対称面の位置もしくは対称面よりも観察者側に結像するため、対称面よりも手前側に飛び出す視差を与えた場合においても、調節と輻輳の矛盾を最小限に抑えられる。また、プロジェクタアレイが1次元的であって、縦方向視差を与えない場合においても、結像位置が視差位置近傍となっているために、縦方向の視点移動の際の定位の破たんを最小限に抑えることができる。
以下、本発明の一実施形態を、図面を参照して説明する。
本実施形態に係る立体表示装置1は、図1に示すように、実鏡映像結像光学系2と、拡散面として機能する光拡散板3と、プロジェクタアレイ4とから構成され、プロジェクタアレイ4から投射された映像を、光拡散板3に結像させている。プロジェクタアレイ4の各射出瞳41は、実鏡映像結像光学系2及び光拡散板3を透過させることにより実像である鏡映像として各結像瞳6のように空中に結像され、空間に空いた穴のように作用してこの穴を覗いた観察者によって裸眼で立体映像が観察されるようにしたものである。同図において、プロジェクタアレイ4を構成する各プロジェクタは、それぞれの射出瞳41で代用して表している。以下、本実施形態の各構成要素について説明する。
実鏡映像結像光学系2は、図2に示すように、本実施形態では2面コーナーリフレクタアレイを適用したものである(以下、本実施形態及び図面において2面コーナーリフレクタアレイを符号2で示す)。この2面コーナーリフレクタアレイ2は、単位光学系として2面コーナーリフレクタ21を多数備えたものである。ここでは、2面コーナーリフレクタ21及び2面コーナーリフレクタアレイ2の基本機能を説明するため、被投影物を符号O、被投影物Oの2面コーナーリフレクタアレイ2により結像する実像である鏡映像(以下、実鏡映像)を符号Pで示す(図4参照)。全ての2面コーナーリフレクタ21を各々構成する隣接する2つの鏡面21a,21bに対してほぼ垂直な平面を素子平面Sとしているが、この素子平面Sが本発明における対称面に相当する。すなわち、2面コーナーリフレクタアレイ2においては、素子平面Sを対称面として、素子平面Sで区画された空間のうち一方に被投影物Oを配置すると、被投影物Oから発した光線(被投影物O自体が発光する場合と、被投影物Oに当たった光が反射する場合の両方を含む)が2面コーナーリフレクタアレイ2を透過する際に、2つの鏡面21a,21bで1回ずつ、合計2回反射することにより、素子平面Sの他方側の空間において被投影物Oの素子平面Sに対する面対称位置に被投影物Oの実鏡映像Pが結像する。本実施形態では、概略矩形状をなす2面コーナーリフレクタアレイ2を適用している。
具体的に2面コーナーリフレクタアレイ2は、図2及び図3(図3は図2のA領域拡大斜視図である)に示すように、平板状の基盤20を備え、この基盤20に、平らな基盤表面に対して垂直に肉厚を貫通する正方形の穴20hを多数形成し、各穴20hの内壁面を2面コーナーリフレクタ21として利用するために、穴20hの内壁面のうち直交する2つにそれぞれ鏡面21a,21bを形成したものである。基盤20は、厚み寸法が例えば50〜1000μm、本実施形態では150μmの薄板状をなす平面視正方形状のものを適用している。なお。基盤20の厚さや平面形状、平面寸法は適宜設定することができる。詳述すると、2面コーナーリフレクタアレイ2は、2つの鏡面21a,21bに対してほぼ垂直な平面を素子平面Sとするものであり、この素子平面Sを対称面として、面対称位置に被投影物Oの実鏡映像Pが結像する。なお、2面コーナーリフレクタ21は2面コーナーリフレクタアレイ2の全体と比べて非常に微小であるので、図1においては2面コーナーリフレクタ21の集合全体をグレーで表し、その内角の向きをV字形状で模式的に表してある。また、図3に示したように、2面コーナーリフレクタ21は、光を透過させるために基盤20に形成した物理的・光学的な穴20hを利用して形成したものである。本実施形態では、まず基盤20に平面視ほぼ矩形状(具体的に本実施形態では正方形状)の穴20hを多数形成し、各穴20hのうち隣接して直交する2つの内壁面に平滑鏡面処理を施して鏡面21a,21bとし、これら鏡面21a,21bを反射面として機能する2面コーナーリフレクタ21としている。2面コーナーリフレクタ21は、基盤20上において鏡面21a,21bがなす内角が全て同じ向きとなるように形成している。以下、この鏡面21a,21bの内角の向きを、2面コーナーリフレクタ21の向き(方向)と称することがある。本実施形態では、2面コーナーリフレクタ21の向きを全て同一方向に設定している。鏡面21a,21bの形成にあたって本実施形態では、金属製の金型をまず作成し、鏡面21a,21bを形成すべき内壁面をナノスケールの切削加工処理をすることによって鏡面形成を行い、これらの面粗さを10nm以下とし、可視光スペクトル域に対して一様に鏡面となるようにしている。
具体的に2面コーナーリフレクタ21を構成する鏡面21a,21bは、一辺が例えば50〜1000μm、本実施形態では基盤20の厚さに対応させた150μmとしており、先に作成した金型を用いたプレス工法をナノスケールに応用したナノインプリント工法又は電鋳工法により、1つの基盤20に所定ピッチで複数形成されている。本実施形態では、全ての2面コーナーリフレクタ21が素子平面S上に想定される規則的な格子点上に整列されて同一方向を向くようにしている。なお、隣り合う2面コーナーリフレクタ21同士の離間寸法を極力小さく設定することで、光線の透過率を向上させることができる。そして、前記基盤20のうち、2面コーナーリフレクタ21を形成した部分以外の部位には遮光処理を施し、基盤20の上面及び下面に図示しない薄板状をなす透明な補強材を設けている。本実施形態では、このような2面コーナーリフレクタ21を平面視正方形状の基盤20に数万ないし数十万個設けた2面コーナーリフレクタアレイ2を採用している。なお、電鋳工法によりアルミニウムやニッケル等の金属で基盤20を形成した場合、鏡面21a,21bは、金型の面粗さが十分小さければ、それによって自然に鏡面となる。また、ナノインプリント工法を用いて、基盤20を樹脂製などとした場合には、鏡面21a,21bを作成するには、スパッタリング等によって、鏡面コーティングを施す必要がある。
また、穴20hを、上述のような物理的な貫通穴構造として、隣接2内壁を鏡面としたものの他、樹脂やガラスなどの透明体による四角柱を形成して光学的な穴20hを持つ単位光学素子とし、その隣接2内壁を全反射もしくは反射膜による鏡面とすることで、2面コーナーリフレクタとして利用することもできる。さらに、短冊状の細長い鏡面を平行に並べたスリットミラーアレイを直交させて2段に重ねることによっても、2回反射によって実鏡映像が結像する2面コーナーリフレクタアレイを構成することができる。この場合、直交する上側スリットと下側スリットによって作られる四角い光学的な穴が単位光学素子として機能する。
このようにして基盤20に形成した2面コーナーリフレクタ21は、基盤20の表面側(又は裏面側)から穴20hに入った光を一方の鏡面(21a又は21b)で反射させ、さらにその反射光を他方の鏡面(21b又は21a)で反射させて基盤20の裏面側(又は表面側)へと通過させる機能を有し、この光の進入経路と射出経路とが基盤20を挟んで面対称をなすことから、上述のように基盤20上に多数の2面コーナーリフレクタ21を形成することで、2面コーナーリフレクタアレイ2として機能する。すなわち、斯かる2面コーナーリフレクタアレイ2の素子平面S(基盤20の肉厚の中央部を通り各鏡面と直交する面を仮定し、図3中に想像線で示す)は、基盤20の一方側にある被投影物Oの実鏡映像Pを他方側の面対称位置にとして結像させる対称面となる。
ここで、2面コーナーリフレクタアレイ2による結像様式について、被投影物として点光源Oから発せられた光の経路とともに簡単に説明する。図4(a)に平面的な模式図で、同図(b)に模式的な側面図でそれぞれ示すように、点光源Oから発せられる光線(矢印方向、実線で示す。3次元的には紙面奥側から紙面手前側へ進行する)は、2面コーナーリフレクタアレイ2の基盤20(同図では省略)に形成した穴20h(同図では省略)を通過する際に、2面コーナーリフレクタ21を構成する一方の鏡面21a(又は21b)で反射して更に他方の鏡面21b(又は21a)で反射しながら素子平面Sを透過し(透過光の光線を破線で示す)、2面コーナーリフレクタアレイ2の素子平面S(図4(b)参照)に対して点光源Oの面対称位置(同図では、Pの位置)を広がりながら通過する。すなわち、結局は点光源Oの素子平面Sに対する面対称位置に透過光が集まり、実鏡映像Pとして結像することになる。
光拡散板3は、本実施形態では板状又はフィルム状のものを適用し、2面コーナーリフレクタアレイ2の基盤20の下面側(プロジェクタアレイ4の配置側)に貼り付けるなどして密着させて素子平面Sと略平行に配置している。光拡散板3が光線を透過させる際の拡散特性は、結像の観察態様に伴うプロジェクタアレイ4の各プロジェクタの配置態様に応じて異なるものを採用すればよいが、本実施形態では、後述するようにプロジェクタを2次元配置したプロジェクタアレイ4を適用することに伴い、上下左右に隣接する各プロジェクタの射出瞳41の実鏡映像(結像瞳6)同士が相互にオーバーラップする程度の等方的な散乱角を持つような光拡散板3を用いることとしている。光拡散板3の具体的な例としては、水平方向については拡散角3.3度(実測値)のレンティキュラレンズアレイを挙げることができる。このような光拡散板3を用いることにより、後述するようなプロジェクタアレイの実装品を用いる場合、1つのプロジェクタの射出瞳41は約13mmの大きさに拡大されて、実像として結像することとなる。なお、後述するように、例えばプロジェクタの設置間隔を約12mmとする場合、水平方向については拡散して結像した射出瞳41の像(以下、「結像瞳」6)は、多数の結像瞳6の集合が配列した平面である瞳結像面6Sを埋めるようになっている。垂直方向についても、プロジェクタアレイ4の配置を考慮して、水平方向と同様に結像瞳6の重なりを考慮している。
プロジェクタアレイ4は、2面コーナーリフレクタアレイ2の下面側の空間において、何れも同等な複数のプロジェクタ(図示省略)をそれぞれの射出瞳41…が図1に示すように2次元格子状に整列して並ぶように配置したものである。詳述すると、各プロジェクタは、各射出瞳41の光軸が2面コーナーリフレクタアレイ2の素子平面S及び光拡散板3に対して斜めの角度で交差するように、傾斜姿勢で配置される。各プロジェクタの射出瞳41からは、光拡散板3をスクリーンとして焦点を合わせて映像が投影される。そのため、各プロジェクタは、光拡散板3に対して斜めに焦点が合うように映像を投影するよう調整されていることが望ましいが、焦点深度の範囲内であれば通常の正面投影型のプロジェクタも使用可能である。なお、プロジェクタアレイ4と光拡散板3との間に、各プロジェクタからの光線を一方向に屈曲させる屈曲光学系を配置し、プロジェクタから光拡散板3に対して垂直投影できるようにすれば、斜め投影に伴う調整は不要とすることができる。このような屈曲光学系としては、例えばプリズムアレイ、若しくは傾斜させた鏡面を持つスリットミラーアレイ等を利用することができる。さらに、光拡散板3に各射出瞳41から投影された映像7の各画素71,72の配置と、2面コーナーリフレクタアレイ2における単位光学素子としての穴20hの配置構成とが対応するようにしている。ただし、図5に示すように、穴20hの配列と画素71,72の配列が45度方向に回転している場合には、穴20hと一致する画素71(図中、グレイに塗りつぶされ穴20hに内接する正方形で表される)のみを利用することで、単位光学素子としての穴20hを単一の画素として独立に表示を行えるため、最も高解像度な画像提示が可能となる。各プロジェクタから投影される映像は、動画か静止画かを問わず予め撮影若しくは作成された映像データ(画像データ)や、カメラで撮影しているリアルタイムの映像データを利用することができる。例えば、各プロジェクタの結像瞳41と物理的配置と共に光学的に共役となるように配置した複数台のカメラからなるカメラアレイ配置した場合、撮影対象からの光線は各カメラに入り、その光線をそのまま再現して対応する各プロジェクタから投影されることになり、カメラアレイとプロジェクタアレイ4とを相互に離れた場所に設置していれば、結果として撮影対象である3次元物体が映像としてそのまま伝送されることになる。具体的なプロジェクタアレイ4の実装としては、マルチプロジェクションの1方式として、プロジェクタ毎に独立して画像生成を行う分散システムによるものとすることが望ましい。このような実装とすることで、プロジェクタの追加が1台毎に行えるようになる。このような分散システムによるプロジェクタアレイ4では、図示しないが、各プロジェクタユニットは独立したMPUボードに接続されている。使用するプロジェクタユニットは、例えばqHD(960X540)解像度で、大きさ30X31X7mm、明るさは6lmのものを適用する。MPUボードは、所定のCPUコア及びGPUを搭載しているものとし、適宜の有線及び無線LAN等の外部接続インターフェースを有しており、所定のOSで動作するものとする。すなわち、各プロジェクタは、独立したOSを搭載したコンピュータに接続されており、自由に画像表示が可能としている。各コンピュータは、視点だけが異なる画像を表示するため、立体データ及びプログラムを共通として、視点のみを相対的に変更すればよいようにしている。なお、プロジェクタ間の相対視点は不変であることから、予め固定パラメータとして指定することができる。つまり、新たな視点に対応するプロジェクタを増設する場合は、ハードウェア、ソフトウェアを共通のものとして、相対視点パラメータだけを変更すればよい。表示映像に対する視点を変更するには、基準視点のみを各コンピュータにブロードキャストすればよく、通信量は抑えられる。さらに、制御用のコンピュータも導入するが、表示時には視点情報を送るのみであり、特に処理能力は要求されない。本実施形態では、以上のようなプロジェクタユニット(射出瞳41のみを図示している)及びコンピュータを組として、複数台を例えば12mm間隔でアレイ状に並べてプロジェクタアレイ4を構成している。
以上のような各構成を有する本実施形態の立体表示装置1による結像方法及び観察方法について以下に説明する。この説明では、プロジェクタアレイ4における複数のプロジェクタの各射出瞳41と、上述したようなカメラアレイにおける各カメラとを物理的光学的に共役となるように対応付け、カメラアレイで撮影した映像をプロジェクタアレイ4で投影し、その映像を観察する場合について説明する。まず、この立体表示装置1とは異なる位置に配置した物体をカメラアレイの各カメラで撮影し、その映像をプロジェクタアレイ4の対応する各プロジェクタの射出瞳41から光拡散板3に焦点を合わせて斜め下方から投影する。投影された映像は光拡散板3をスクリーンとして投影される。2面コーナーリフレクタアレイ2の単位光学系である2面コーナーリフレクタ21と光拡散板3に投影された映像7の画素71,72の配置とが対応するように配列されているため、光拡散板3が2面コーナーリフレクタアレイ2と一致もしくは十分接近している場合には、一つの画素71に対応する光線が、一つの2面コーナーリフレクタによって反射されるため、投影画像の画素そのままの高解像度が得られる。また2面コーナーリフレクタアレイ2は光線の面対称変換を行うものであることから、映像が投影された光拡散板3は、2面コーナーリフレクタアレイ2の基盤20の上面にそのまま結像(光拡散板実像51)する。このとき、光拡散板3は2面コーナーリフレクタアレイ2に密着されているため、回折の影響をほぼ受けることなく高解像度で結像する。また、2面コーナーリフレクタアレイ2の単位光学系である2面コーナーリフレクタ21が光拡散板3に投影された映像の画素配置と一致するように配列されているため、2面コーナーリフレクタアレイ2によって結像した光拡散板実像51上の映像の実鏡映像5は、プロジェクタと全く同一の解像度として得られることとなる。また、各プロジェクタの射出瞳41はそれ自体が光線を射出するものであるため、その光線が光拡散板3で一旦等方向的に拡散され、2面コーナーリフレクタアレイ2に到達し、各2面コーナーリフレクタ21のそれぞれ2つの鏡面21a,21bで1回ずつ、合計2回反射して2面コーナーリフレクタアレイ2を透過して、各射出瞳41の素子平面Sに対する面対称位置となる2面コーナーリフレクタアレイ2の上方の空間に実鏡映像として結像する。この結像した射出瞳41の実鏡映像である結像瞳6は、光拡散板3で拡散された光線が結像したものであるため、射出瞳41の正面視形状である円形よりも径が大きい円形とはなるが、その周縁部は明瞭ではなくぼやけた状態となって、隣接する射出瞳41の結像瞳6同士が部分的に繋がった連続したものとなる。
このように結像した各射出瞳41の結像瞳6の集合は、2面コーナーリフレクタアレイ2の上方の空間、詳細にはプロジェクタアレイ4の素子平面Sに対する面対称位置となる空間中の位置に、仮想的に開いた覗き窓となり、各結像瞳6から結像している光拡散板3の実像(光拡散板実像51上の光拡散板3に投影された映像の実鏡映像5)を観察できることとなる。特に、観察者が両眼V,Vの位置(視点の位置)をそれぞれ近傍にある結像瞳6に合わせることで、光拡散板3に投影された映像の実鏡映像5を両眼視差による立体映像として、各プロジェクタの射出瞳41から投影されたほぼそのままの高い解像度で観察することが可能である。すなわち、本実施形態の立体表示装置1は、1つの結像瞳6からは1台のプロジェクタ(射出瞳41)から投影された映像がそのまま観察できるものであるため、まさにプロジェクタからの投影映像の解像度のままに観察することが可能である。さらに、各プロジェクタの射出瞳41から投影された映像は、対応するカメラアレイの各カメラによって撮影された対象物そのものであるため、カメラアレイによる撮影とプロジェクタアレイ4による投影とをリアルタイムで同期させることで、離れた場所にある撮影対象をそのまま伝送して3次元像として高い解像度で観察することができる。さらに本実施形態では、マイクロミラーによる反射を利用した2面コーナーリフレクタアレイ2により光線を結像させるという構成を利用しているため、色収差が出にくく、結像される像(プロジェクタアレイ2から光拡散板3に投影された映像の実鏡映像5や、各プロジェクタの射出瞳41の実像である結像瞳6)は鏡映像であるために固有焦点距離がなく、任意の位置に配置したプロジェクタアレイ2の射出瞳41やそれによる映像を歪みなく結像することが可能である。
なお本発明の構成は、上述した実施形態に限られるものではない。例えば光拡散板3は、2面コーナーリフレクタアレイ2の基盤20の上面側に配置したり、2面コーナーリフレクタアレイ2の基盤20の下面又は上面からごくわずかの距離だけ離間させて配置する構成も採用することができる。2面コーナーリフレクタアレイ2の上面側に光拡散板3を配置する場合には、この光拡散板3の実鏡映像結像光学系の対称面に対する面対称位置に焦点を合わせてプロジェクタから映像を投影する。これにより、対称面下面側に実像として結像した映像が、実鏡映像結像光学系によってさらに面対称位置に実像として結像する。また、この2面コーナーリフレクタアレイ2の上面側の実像結像位置には、光拡散板3が配置されていることによって、この光拡散板3に焦点が合った映像が投影されることになる。
図6に示した上記実施形態の第1変形例である立体表示装置100は、実鏡映像結像光学系としては上述の2面コーナーリフレクタアレイ2と同様のものを用い、複数のプロジェクタ射出瞳41を1次元的に横方向に配列したプロジェクタアレイ140を適用し、プロジェクタアレイ140の各射出瞳41から投射される光線に略正対させて当該プロジェクタアレイ140と2面コーナーリフレクタアレイ2の下面側との間の空間に光拡散板3を配置した構成を採用したものである。2面コーナーリフレクタアレイ2については、単位光学系である個々の2面コーナーリフレクタ21を図3に示したような基盤20に形成した四角形状の穴の2つの内面により形成されるものとして示しているが、各2面コーナーリフレクタ21の大きさは図6では誇張して示してあり、実際は極めて小さいものである。各プロジェクタの映像は、光拡散板3に焦点を合わせて投影される。光拡散板3に投影された映像は、2面コーナーリフレクタアレイ2によって面対称位置となる2面コーナーリフレクタアレイ2の上面側の空間に実鏡映像150として結像する。この実鏡映像150は、光拡散板3そのものが2面コーナーリフレクタアレイ2によって面対称位置に結像している光拡散板実像151上に結像していると考えることができる。さらに、プロジェクタアレイ140の各射出瞳41も2面コーナーリフレクタアレイ2によって面対称位置に結像しているが、その結像瞳6は、光拡散板3を透過した光線により生成されるものであるためボカされている。観察者が、表示された実鏡映像150上のある点を向いているとして、観察者の両眼V,V(視点)と実鏡映像150上の当該点を結ぶ直線上にプロジェクタの射出瞳41の結像瞳6が存在しており、その結像瞳6から出射している光線が観察者の眼Vに入射するのであれば、観察者は実鏡映像150上の当該点を観察することができる。つまり、広い視点から連続した視点移動によって途切れることなく実鏡映像150を観察できるためには、結像瞳6によって空間中のある平面(すなわち結像瞳6の集合により形成される瞳結像面160S)を埋め尽くすことが必要となる。一般的に、プロジェクタの射出瞳41は小さく、その射出瞳41の像だけで瞳結像面160Sを埋め尽くすことは困難であるため、この変形例においても、拡散板3によって射出瞳41の像をボカして拡大するという手法を用いている。上述したように、1次元的にプロジェクタアレイ140を構成していることから、水平方向は隣接する結像瞳6が重なる程度に拡散させ、垂直方向には適度に視域を確保できる程度に拡散させることで、瞳結像面160Sを拡散された瞳の実像で埋めることができるようにしている。なお、光拡散板3の垂直方向の拡散角については、視域を決定する役割を持つだけであるのでそれほど重要とはならない。この変形例においても、射出瞳41の結像瞳6の位置に視点を置いて映像を観察する場合、1台のプロジェクタが投影する映像の実鏡映像150をそのまま見ることができ、横に視点移動するとその視点の映像を投影するプロジェクタからの映像の実鏡映像150をそのまま観察することができる。
以上の実施形態及びその変形例では、射出瞳41の結像瞳6の位置に視点を置いて映像を観察した場合に、1台のプロジェクタが投影する映像の実鏡映像5をそのまま見ることができ、横に視点移動するとその視点の映像を投影するプロジェクタからの映像の実鏡映像5をそのまま観察できることになる場合を説明した。本発明では、各プロジェクタの射出瞳41の拡散された実鏡映像6の集合によって、空間中のある面(瞳結像面)を埋めるようにしていることから、視点の位置と瞳結像面とは必ずしも一致させる必要はなく、その位置関係を、次のように変更しても映像の観察が可能である。すなわち、瞳結像面よりも視点が後ろ(2面コーナーリフレクタアレイ2から遠ざかる方向)にあるときは、瞳結像面の実像6がまるで空間に空いた穴のように働き、その穴を通して映像が観察できる。また、瞳結像面よりも視点が前(2面コーナーリフレクタアレイ2に近付く方向)にあるときには、この穴に吸い込まれていく光線によって映像が観察できる。なお、視点の位置と瞳結像面とが一致していない場合には、観察者の瞳に入る光線は、複数のプロジェクタが投影する光線となり、これらを合成した映像が観察される。
ここで、上記変形例を利用して、プロジェクタアレイ配列が1次元で横方向視差しか与えていない立体表示装置100における垂直方向への視点移動の影響について、図7を参照して説明する。例えば、同図に示すように、光拡散板実像151の位置と視差による定位位置をほぼ一致させたとする。この場合、垂直視点移動(観察者の眼Vの垂直方向への移動)を行っても、実鏡映像150の見かけの垂直位置は、実像として光学的には、まさにそこに存在しているために変化することがない。ただし、実鏡映像150は2次元映像であり、視点が移動しても映像が変化しないため、立体としての解釈を行うと実鏡映像150は、視点移動に追従するように回転しているように見えることは避けられないが、垂直運動に伴う定位感、実在感の破綻を最小限に抑えることが可能となる。
本実施形態の立体表示装置100による表示画像例を図8に示す。同図は、テーブルに載置されたポットと、ポットの先端に棒を近付けた画像を示しており、同図左側は観察者の左目の視点から観察される画像であり、同図右側は観察者の右目の視点から観察される画像である。画面上に見える棒の先端は、空間上のある1点を指している。この棒の先端は、映像であるポットの先端と一致しているが、視点を上下に移動させてもこの関係が維持される位置に表示されている。なお、このような垂直方向の視点移動に対しては、拡散板3の実像(すなわち光拡散板3に投影された映像の実鏡映像5)の位置が重要な要素となる。拡散板3の実像の位置と視差上の位置が一致している場合には、垂直視点移動によっても定位位置は動かない。
また、拡散面として、光拡散板3を用いず、2面コーナーリフレクタアレイ2自体に光拡散機能を付帯させることも可能である。例えば、各2面コーナーリフレクタ21の鏡面21a,21bの鏡面粗さを、光線が適度に拡散する程度に粗いものとしたり、曲面(凸面、凹面)にするなどの上述したような加工を施すことにより、幾何光学的あるいは波動光学的に2面コーナーリフレクタアレイ2に拡散面の機能を兼ねさせることができる。また、光拡散板3に投影される映像の画素よりも、2面コーナーリフレクタアレイ2の単位光学系である2面コーナーリフレクタ21を十分小さくすれば、1つの画素に複数の2面コーナーリフレクタ21を対応づけることができるため、解像度をより細かく調整することが可能となる。また、拡散面(光拡散板3)は、平面だけでなく曲面とすることも可能である。
実鏡映像結像光学系としては、上述した実施形態の2面コーナーリフレクタアレイ2に代えて、図9に別の変形例(第2変形例)として示す立体表示装置200のようなアフォーカルレンズアレイ220を適用することも可能である。アフォーカルレンズアレイ220は、図10に示すように、多数のアフォーカルレンズ221を1つの素子平面220S上に並べて構成される。具体的にアフォーカルレンズ221は、素子平面200Sに垂直な光軸gを共有し且つ互いの焦点距離fs,feを隔てた2つのレンズ221a、221bから構成される。この例では、レンズ221a、221bとして共に凸レンズを適用している。これにより、素子平面220Sの一方側からレンズ221a…に入射した光は、それぞれ対をなす他方側のレンズ221b…から出射して、光源とは素子平面220Sに対して面対称となる位置に集光する。すなわち、光源となるプロジェクタの各射出瞳41から光拡散板3に投影された映像は、光拡散板3の素子平面220Sに対する面対称位置に結像する(光拡散板実像251)。また、プロジェクタアレイ240の各射出瞳41は、アフォーカルレンズアレイ220により結像し(結像瞳6)、光路の途中で光拡散板3によりボカされたことにより一定の平面(瞳結像面260S)を埋める。なお、アフォーカルレンズアレイ220を用いて映像を素子平面220Sに対する面対称位置に実像として結像させる場合、視野角は素子平面220Sに対して垂直に近い方向に制限される。そのため、この変形例では、プロジェクタアレイ240をアフォーカルレンズアレイ220の真下から直上にアフォーカルレンズアレイ220の光軸gと平行に映像を投影するように配置し、プロジェクタアレイ240とアフォーカルレンズアレイ220との間において投影される映像と垂直となるように光拡散板230を配置している。この変形例の場合、観察者は両眼V,Vの視点をアフォーカルレンズアレイ220の直上に位置付けて真下を覗き込むようにすれば、投影された映像の実鏡映像250を、結像した光拡散板実像251上に観察することができる。
その他、各部の具体的構成についても上記実施形態に限られず、本発明の趣旨を逸脱しない範囲で種々変形が可能である。