JP4257310B2

JP4257310B2 - 投影撮像装置及びその方法

Info

Publication number: JP4257310B2
Application number: JP2005096506A
Authority: JP
Inventors: 芳晴桃井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-03-29
Filing date: 2005-03-29
Publication date: 2009-04-22
Anticipated expiration: 2025-03-29
Also published as: JP2006276524A

Description

本発明は、立体的な映像などを投影及び被写体を撮像できる投影撮像装置及びその方法に関する。

近年、立体投影への要望が高まっており、様々な方式に対する研究が行われている。よく知られた立体投影方法には、両眼視差を利用する方法がある。この方法は、メガネを用いて両眼視差を有する画像をそれぞれ左右の目に分離して観察させることにより立体視を実現する方法である。しかし、この方法ではメガネをかけるわずらわしさがある。

そこで光学的に分離し観察位置により投影像を変化させることによりメガネなしの立体投影を行うことができる方法がある。このメガネなしの立体投影の方法には、投影させる像の量や密度によって２眼式、多眼式、超多眼式などに分けることができる。

つまり、異なる方向の指向性画像を観察位置によって複数投影を行うと観察者に奥行き感を含めたリアリティーある投影を行うことができる。また、観察者を撮像すると観察者の位置を推定でき、限りある投影デバイスを有効に利用することができる。

特許文献１に記載された方法は、回転光学系を用いた投影装置であり、時分割で指向性画像を投影できるため高品位な立体映像を広範囲で投影できる。
特開２００４−３３６６８０公報

しかし、特許文献１に記載された方法では、投影デバイスをより有効に利用するためにも観察者を撮像する撮像系を投影に組み込む必要がある。

そこで、本発明は、回転光学系を用いた投影系に撮像系を備えた投影撮像装置を提供する。

本発明は、回転光学系を用いて映像を投影する投影手段と、前記回転光学系を用いて被写体を撮像する撮像手段とを具備する投影撮像装置であって、前記回転光学系は、垂直方向の回転軸を中心に任意の回転速度で回転し、外周方向に向かって光を反射する軸反射面と、前記回転軸と対面すると共に前記軸反射面の回転速度の２倍の回転速度で回転し、かつ、光を任意の光線分布に拡散させる拡散面と、前記回転軸に対面すると共に前記軸反射面の回転速度の２倍の回転速度で回転する撮像用反射面を具備し、前記投影手段は、前記軸反射面を介して前記拡散面に前記映像を投影し、かつ、前記軸反射面の回転角度に応じた前記映像を投影し、前記撮像手段は、前記撮像用反射面を介して前記軸反射面に写った前記被写体の写像を撮像することを特徴とする投影撮像装置である。

本発明によって、同じ回転光学系を用いて投影系と撮像系とを実現できる。

以下、本発明の投影撮像装置の各実施形態を図面に基づき説明する。

［第１の実施形態］
本発明の第１の実施形態の投影撮像装置について図１〜６に基づき説明する。

第１の実施形態の投影撮像装置は、後から説明する実施形態の基本概念を説明するための実施形態である。

（１）投影撮像装置の構成
図１は投影撮像装置の構成を示し、図２は平面図を示し、図３は側面図を示す。

投影撮像装置は、円筒形の回転光学系装置５０と、プロジェクター１０と、カメラ２０によって構成される。

回転光学系装置５０は、軸反射ミラー３０とレンチキュラシート４０によって構成される。軸反射ミラー３０は垂直な回転軸６０の回りに任意の回転速度で回転可能である。レンチキュラシート４０は、横向きにかまぼこ型の凹凸を並べて複数配置し、軸反射ミラー３０の２倍の回転速度で回転する。

プロジェクター１０は、軸反射ミラー３０に向け、任意のあおり角を有して投影する。すなわち、斜めから投影する。また、プロジェクター１０は図２、図３で示すように軸反射ミラー３０に投影された光がレンチキュラシート４０に投影される位置に設置される。

カメラ２０もプロジェクター１０とほぼ同様のあおり角で軸反射ミラー３０に向け設置する。

このような配置で回転光学系装置５０を回転させ、回転角度に対応した映像を投影すれば、水平角度に対する指向性画像を投影できる。この指向性画像が残像効果で光線の集合となり、水平方向に視差を持った立体投影が可能となる。

全周回転させれば回転軸６０を中心にして拡散面の外側に指向性画像の集合として立体的に画像が取得できると共に、投影面を観察している観察者や投影撮像装置の外周の映像を内側から撮像することができる。

水平方向にも拡散させれば、回転させることなく広範囲でその映像を投影することができるので、撮像された観察者の映像を基に投影範囲を追従させることもできる。

ここでは垂直方向の拡散手段としてレンチキュラシート４０を横置きにしたものができるが、他にもホログラム光学素子や異方性拡散シートなどを用いることもできる。また、任意の光線分布の光の広がりを形成するために、垂直方向の拡散だけでなく水平方向の拡散効果を含めることもできる。

一般的に光線再生法やインテグラルイメージングといった指向性画像の投影では平行光の集合で立体像を表現することが多い。そのため、拡散面にレンズ等を付加し投影光を平行光にすることもできる。

プロジェクター１０には、時分割で投影を行うためにＤＭＤ（デジタルミラーデバイス、テキサスインスツルメンツ社の登録商標）を用いたプロジェクター１０がある。こうすることで、時間応答性がよく、多くの視差を生成することができる。

回転光学系装置５０は回転数を制御し、投影映像やカメラ２０との同期することが重要となる。垂直拡散のためのレンチキュラシート４０は回転軸６０上の軸反射ミラー３０の２倍の速度にするためには回転動力を共通とし、ギヤを介して回転させる。回転センサーを設けその信号に同期を取り画像の入力出力させることもできる。

あおり投影から、垂直の拡散面に結像させるために、垂直の画像投影素子１０２と垂直の投影レンズ１０３をあおり角に合わせてずらすことで垂直の面に結像させることができる。また、投影レンズを斜入射用として設計し収差を減らすこともできる。

（２）凸型の投影撮像装置
図４に拡散面を傾けた投影撮像装置の構成を示す側面図を示す。図４に示すように、拡散面を投影方向と垂直に傾けて用いる。

このように装置外側に投影し、外側の映像を撮影する投影撮像装置については、第２の実施形態における凸型の投影撮像装置で説明する。

（３）凹型の投影撮像装置
投影のための面の裏にミラーを挟み、カメラ２０が回転ミラー３０を介して撮像できる面にミラーを配置することによって、投影撮像装置の内側の投影と撮像を可能にできる。つまり、反射させて投影を行うため、全周回転させれば回転軸を中心にして拡散面の回転径の内側で指向性画像の集合として立体的に画像が投影できると共に、投影像を観察している観察者や投影撮像装置の内周の映像を外側から撮像することができる。

このように装置内側に投影し、内側の映像を撮像する投影撮像装置については、第３の実施形態における凹型の投影撮像装置で説明する。

（２）投影系の垂直視差の生成
投影系の垂直方向の視差の生成について図５〜６に基づき説明する。

回転光学系装置５０の回転によって、水平視差を生み出すことはできる。しかし、垂直方向の視差を生み出すためには垂直方向にプロジェクター１０を重ねる。

プロジェクター１０の出射瞳が光線の広がりを支配する。そのため、隙間なく画像を観察するためには出射瞳が連続する必要がある。垂直方向に射出瞳が連続的に構成できれば垂直拡散が必要なくなる。撮像系では光学系中に拡散光学素子が入っていると像がぼやけてしまい撮像に使えない。そのため、一次元の（水平方向のみに視差が着く）場合、２段目のミラーを投影系と撮像系の共通に使うことができなかった。二次元視差（プロジェクター１０を上下に重ね、カメラ２０も上下に重ねる）場合、２段目のミラーに垂直拡散が必要なくなるため、そのままカメラ２０を光軸上に設置することも可能となる。一つの方法としてハーフミラーを用いて撮像と投影を分けることもできる。

そこで、プロジェクター１０の筐体が邪魔になることがある。連続しない光の領域をなくすために垂直方向に拡散させることがある。図５に垂直方向に複数台のプロジェクター１０を配置した投影撮像装置の構成の側面図を示す。

また射出瞳をずらして配置することもできる。図６に射出瞳を水平方向にずらした複数のプロジェクター１０を配置を示す。プロジェクター１０−１、プロジェクター１０−２、プロジェクター１０−３はそのままでは筐体が邪魔で垂直方向に重ねて出射瞳を設置することができない。図６に示すように投影レンズ１０３と投影レンズ１１３と投影レンズ１２３が垂直方向に隙間なく配置されれば、回転による残像効果で隙間なく光線画像を投影させることができる。角度対応が取れていれば、回転による時分割投影によって水平の視差と垂直の視差を与えることができる。

（３）撮像系の垂直方向の視差の生成
撮像系も同様に垂直方向に視差をつけて撮像することができる。こうすることで水平にも垂直にも視差を持った視差画像を得ることができる。

また、投影面を観察者の観察位置に応じて追従する際奥行き量を回転による視差なしに得ることができる。

［第２の実施形態］
次に、第２の実施形態の投影撮像装置について説明する。第２の実施形態は凸型の投影撮像装置である。

凸型の投影撮像装置とは、図９の左図に示すように、円筒型の空間を考えて、前記円筒形の空間の外側から観察者が、前記円筒形内周に投影された三次元立体画像を観察する投影系と、前記円筒形の空間の外周の被写体を撮像する撮像系が実現できる。図９中の灰色が投影系の投影像であって、撮像系の被写体は遠くの景色を含めた外周３６０度である。黒色が観察者である。なお、円筒形の空間とは、円筒形の回転光学系装置５０によって実現できる。以下、この凸型の投影撮像装置を簡単に「凸型装置」という。

（１）凸型装置の構成
図１０〜１２は、凸型装置の説明図である。

図１０〜１２に示すように、回転軸６０と垂直に設置された軸反射ミラー３０が装置の中心にあり、その軸反射ミラー３０にプロジェクター１０とカメラ２０があおりながら向けられている。

プロジェクター１０の光が軸反射ミラー３０越しに映る位置に稜線を横向き（回転方向）のレンチキュラシートとミラーとが一体的な投影用ミラー４１が設置されている。２回反射した光は回転軸６０上に垂直に設置されたプリズムシート７０上に投影され、観察者方向に曲げられる。

カメラ２０も同様に回転軸６０上の軸反射ミラー３０をプロジェクター１０と共用で用いて、カメラ２０と軸反射ミラー３０の反射関係にある位置に撮像用ミラー４２が設置され、プリズムシート７０で曲がった光が、撮像用ミラー４２と軸反射ミラー３０で反射されて軸反射ミラー３０の写像をカメラ２０で撮像する。

回転軸６０上の軸反射ミラー３０は任意の回転速度で回転可能で、その速度の２倍の速度でプリズムシート７０と投影用ミラー４１と撮像用ミラー４２が回転する。このようにすることでプロジェクター１０の光は常にプリズムシート７０に同じ角度で投影され外れない。

（２）回転の説明
回転と投影・撮像との関係について述べる。図１６〜１９に凸型装置の回転を説明する図を示す。ここではわかりやすくするために投影系のみを示しているが撮像系でも同様である。

回転軸６０に向かって設置されたプロジェクター１０と、回転軸６０に設置され回転可能な軸反射ミラー３０と、その回転軸６０を中心とする円周上を回転可能でレンチキュラシートと反射ミラーが一体的に設置された投影用ミラー４１と、回転軸６０上に設置されたプリズムシート７０が設置されている。

投影用ミラー４１とプリズムシート７０は回転速度を等しく回転させるため、相対速度は０であり、いつでもプリズムシート７０と投影用ミラー４１の相対位置関係は同じである。一方、軸反射ミラー３０は投影用ミラー４１とプリズムシート７０のほぼ半分の速度で回転する。そうすることで、停止しているプロジェクター１０の光が軸反射ミラー３０の回転角の２倍の角度で反射し軸反射ミラー３０にいつでも届くようになる。

プロジェクター１０の投影角度間隔は光の広がりによって決めることができる。後に説明するが立体投影（指向性投影）を行うときに、１つの指向性画像の投影範囲（光の広がり）に斑があると観察できない場所ができる。このため水平方向の光の広がり角α毎に投影すれば、観察できない場所ができずに指向性画像を投影できる。

撮像系でも投影系の光の広がり角α毎に画像を取得できればよい。そうすれば、投影系でそのまま撮像できる。

（３）投影型一次元インテグラルイメージングの説明
図２０〜２２は、投影型１次元インテグラルイメージングの要素画像投影を説明する図である。

「インテグラルイメージング技術」とは、様々な指向性映像を統合することにより指向性映像を含む映像を再現する技術で、奥行きを含めた表現ができる。

「一次元インテグラルイメージング」とは、人間の目が横に２つあるので奥行き知覚に垂直方向の視差の要因が少なく水平視差のみを投影するインテグラルイメージング技術である。

ここでは投影型一次元インテグラルイメージングの一つの方法について説明する。

「要素画像」と呼ばれる指向性画像を稜線が水平方向に走るレンチキュラシート４０に投影すると、垂直方向には拡散し、水平方向は光線がほとんど広がらない。こうすることで図２２に示すような垂直方向には画面全体が見え水平方向には一部しか見えないようになる。水平方向の光の広がりは射出瞳の幾何学的関係によって決まる。設計方法によっては光学素子を入れることによって任意の光の広がりに変化させることもできる。

図２３、図２４に投影型１次元インテグラルイメージングの統合画像投影を説明する図を示す。

図２３のように回転などで様々な投影されると、様々な方向の画像が統合され図２４のように場面全体を観察できる。このため、投影系ではレンチキュラシート４０を内奏することによって、一次元インテグラルイメージングが投影できる。

［第３の実施形態］
次に、第３の実施形態の投影撮像装置について説明する。第３の実施形態は凹型の投影撮像装置である。

凹型の投影撮像装置とは、図９の右図に示すように円筒型の空間を考えて、前記円筒形の空間の内側にいる観察者が、前記円筒形の３６０度の外周の三次元立体画像を観察することができる投影系と、前記円筒形の空間の内周の被写体を撮像することが撮像系とを実現できる。図９中の灰色が投影像で、遠くの景色を含めた外周３６０度が投影できる。撮像系は内部全てを撮像する。このとき、対面しながら投影を行えば投影している背景ごと撮像できる。なお、円筒形の空間とは、円筒形の回転光学系装置５０によって実現できる。以下、この凹型の投影撮像装置を簡単に「凹型装置」という。

図１３〜１５に凹型装置を説明する図を示す。

円筒形の回転光学系装置５０内部に観察者が入るため、頭上にプロジェクター１０とカメラ２０が配置され、凸型装置と同様に回転可能な軸反射ミラー３０と、レンキュラシートとプリズムシートと反射ミラーが一体的に設置された投影用ミラー４３と、プリズムシートと反射ミラーが一体的に設置された撮像用ミラー４４で構成される。

投影用ミラー４３と撮像用ミラー４４は、回転可能で軸反射ミラー３０の２倍の速度で回転する。こうすることでプロジェクター１０の光が回転に合わせてそれぞれ投影用ミラー４３に届く。

凸型装置との違いは、プリズムシートが１段前の投影用ミラー４３と撮像用ミラー４４に設置されていることである。

なお、もう一段、反射ミラーは回転軸６０を中心とする円周上に入れ、その反射ミラー上にプリズムシート７０を配置することもできる。

［第４の実施形態］
次に、第４の実施形態の投影撮像装置について説明する。

第１〜３の実施形態では、あおり角があり、水平方向に拡散させても垂直方向の観察範囲が狭い。

また、撮像系でも、あおり撮像になっており撮像範囲が投影位置より、上方もしくは下方に限られている。

そこで、観察者の観察しやすい方向（観察者を撮像しやすい方向）に光の向きを変える。光の方向をプリズムや波状ミラーなどの偏向素子によって観察方向に曲げれば、効率的に光を届ける。プリズムが平面形状の場合、回転軸６０に対面した軸反射ミラー３０と同じ速度で回転させる。

また、ハーフミラーによって向きを変えれば背面が透けて言えるので、指向性画像と共に実世界が観察できる。

また、投影面が回転していると観察距離を短くできない。そこで、回転軸６０対象の形状の偏向素子８０を用いる。そうすることで観察者は回転物体を感じずに観察できる。図７に円筒形の偏向素子を用いた投影撮像装置の構成を示す斜視図を示す。円筒にすることで回転運動を伴わないで偏向ができる。

［第５の実施形態］
次に、第５の実施形態の投影撮像装置について説明する。

第１〜４の実施形態の回転軸６０上で回転する軸反射ミラー３０において、反射面を両面にすることによって投影範囲、撮像を全周できる。片面の反射ミラーだと、背面を向いている間は投影または撮像ができなくなり、最大でも１８０度であった。両面反射ミラーにすることにより、これが解消できる。

［第６の実施形態］
次に、第６の実施形態の投影撮像装置について説明する。

水平方向にプロジェクター１０が１台、若しくはカメラ２０が１台であると軸反射ミラー３０による蹴られによって投影画像（または、撮像する被写体）全てを投影できる範囲が限られてしまう。

そのため、回転軸６０を対称として複数のプロジェクター１０を配置する。また、連続的に回転させたとき時間的な投影間隔を短くすることができ、回転速度を遅くしてもフリッカーを感じにくい。

［第７の実施形態］
次に、第７の実施形態の投影撮像装置について説明する。

観察者のみに画像を投影させることは情報量や投影デバイスの負荷を減らすために重要である。投影領域を撮像系で得た観察者の画像情報を解析し、観察者の観察位置情報得ることは可能である。その方向だけに投影するように回転角を制御し投影を行う。

［第８の実施形態］
次に、第８の実施形態の投影撮像装置について説明する。

本実施形態では、２台または複数台の投影撮像装置を通信回線などで接続して通信を行う実施形態である。以下、順番にその具体例を説明する。

（１）第１の具体例
投影する画像を通信によって取得することもできる。また、撮像系で取得した映像を通信することもできる。

そこで、投影される映像と取得した映像を通信する通信装置を設置する。このとき、通信容量にあわせて圧縮や解凍する回路若しくはソフトを含めることもできる。また、通信を行うために画像情報を一時的にためるストレージ装置を含めることもできる。

このとき、通信相手を指定するユーザーインターフェースを含めることができる。通信相手を指定する数字や文字または音声を入力することで映像の放送先を指定する。そのとき、入力装置で入力した物を投影する別の投影系を用いることもできる。

第１〜７の実施形態で示した投影系で示すこともできる。複数の通信相手を記憶しておき、より簡単な手段で通信相手を指定することもできる。

無線で通信を行うための無線通信用回路を含めることもできる。また、無線に限らず有線も可能である。通信媒体は光、電波、電気信号などの様々な通信周波数帯が考えられるがこれらに限るものではない。また、通信方式など様々な方式がある。ここでは多方向の映像の送受信が考えられるので、通信容量の大きく、通信速度の速いものが望まれる。

放送側、受信側のフォーマットに変換する装置もしくはソフトを設置することもできる。

（２）第２の具体例
通信回線で通信するシステムがある。

図８に情報通信システムをあらわすブロック図を示す。片方（Ａ地点）で撮像された映像を、もう片方（Ｂ地点）に投影し、Ｂ地点で撮像された映像をＡ地点で投影する。こうすることによって投影撮像装置を介して映像を共有できる。円筒形の投影を考えたときに、円筒形の内側に投影し、内部の映像を撮像する。その映像を通信相手の円筒形の外側に投影し、円筒形外側の映像を撮像する。このようにすると異なる空間が視覚的につなげることができる。

（３）第３の具体例
通信回線はネットワーク化されることが望ましい。複数の地点の投影撮像装置と通信を行うことが望ましい。通信相手を認識する符号（信号）を割り振り、投影撮像装置の入力によって通信相手を指定する。入力のインターフェースとしては音声、テキスト入力、ボタン操作、ダイヤル入力などがある。

（４）第４の具体例
上記した投影撮像装置では、異なる方向の映像を投影、撮像できる。この撮像投影角度を細かくしていくと、光線として投影や撮像をできる。光線として投影を行うことによって観察する場所に依らず、視覚的に実空間に近い空間映像が再現できる。

しかし、角度を細かくすると、その分情報量が増し、通信コストも増大する。

そこで、通信量の大きさによってシステムの構成を行い、画像ベースの投影、撮像を行うか、または、光線ベースの投影撮像を行うかを変えることができる。

また、異なる情報量の投影撮像装置で行う場合、少ない情報量の装置に合わせることもできる。

また、少ない情報から細かい情報を補間することもできる。通信コストや通信料を考え情報処理を先に行い光線情報を圧縮し伝送することもできる。

（５）第５の具体例
凹型装置において、撮像手段の方向（カメラ２０などが反射ミラーで折り返された最終方向）と投影手段の方向（プロジェクター１０などが反射ミラーなどで折り返された最終方向）がほぼ対面していると、凸型装置からの背景情報をバックに観察者を撮像できる。

こうすることによって凸型装置でその映像を投影すれば、ちょうどカメレオンのように背景と同化して凹型装置内の観察者が投影できる。複合現実感が得られるので凸型装置ではさも凹型装置内の観察者が凸型装置のある空間に移動してきたように感じることができる。

図９で凹型装置に映し出されたＡ地点の風景が凹型装置内部で撮像されその映像がＡ地点で再生される。そのため違和感なくＡ地点で背景として映しだすことができる。

（６）第６の具体例
図２８に情報通信システムの概念図を示す。

凸型装置と凹型装置があり、お互いの装置を通信回線で結び映像の入出力を行う。

凹型装置内部に入り、通信相手の凸型装置を指定すると、凹型装置内の利用者を撮像し凸型装置に送信される。

受信した凸型装置に凹型装置内部の映像が映し出される。

それと同時に凸型装置外周の映像を撮像し、凹型装置に送信する。凹型装置では凸型装置外周の映像を受信し凹型装置の外周に映し出すことができる。

このように通信が行われれば、図９のように利用者がお互いに装置の壁を気にせずに通信ができまるでＢ地点の利用者が視覚的にはＡ地点に移動したことと同様の感覚をえることができる。

（７）遅延解消手段
通信を行ったとき、情報処理などが複雑になると遅延が発生し、思ったようなコミュニケーションをとることができない。そこで、撮像した映像がそのまま投影できるような共役な光学系で入出力をする。図２５から図２７まで３種類の共役関係を示す。

（７−１）第１の共役関係
図２５に平行光型を示す。

投影レンズと投影スクリーン（投影用ミラー４３に当たる）の距離を焦点距離とするフレネルレンズを投影スクリーンとして併用する。

また、撮像系も撮像レンズ（結像レンズ）と撮像面（撮像用ミラー４４に当たる）の距離を焦点距離とするフレネルレンズを介することで平行光を取得できる。このような関係にすることによって、撮像したものがそのまま投影しても投影関係が崩れない。

（７−２）第２の共役関係
図２６に透視投影型を示す。

投影側には一次元インテグラルイメージングのためのレンチキュラシートを入れるのみである。また、撮像面（撮像用ミラー４４）にフレネルレンズを入れる。このとき特に凹型装置では投影側の投影レンズから撮像面（撮像用ミラー４４）までの距離が撮像面から投影レンズまでの距離が結像関係になる。

（７−３）第３の共役関係
図２７に集光型を示す。

第３の共役関係は多眼式ディスプレイに用いられる方法と似ている。観察者の目付近に集光するように投影した光を撮像用ミラー４４面のフレネルレンズで集光する。撮像するときも観察者の目辺りの発散光を撮像用ミラー４４面のフレネルレンズで集め撮像する。

いずれの場合も被写体深度を深くすることによって撮像できる光線の太さが変化し、遠くまでシャープな像が撮像できる。

［第１１の実施形態］
観察者を撮像系でセンシングすることができるため、画像処理の結果観察者の観察位置を特定できる。指向性を持つ投影系の場合、広い範囲で投影を行うことは多くの情報と多くの指向性の分配が必要となる。

そのため、観察者のみに投影するとそれら処理や情報の節約につながる。第７の実施形態のようにミラー系を用いた角度分配方法ではその回転角を観察者方向のみに向けるような制御を行えばよい。これらの端末同士を通信すれば、通信コストも削減できる。

しかしこの方法では観察者が限定されてしまう。観察者追従行う装置と全方向の投影・撮像を行う装置とを通信する場合、追従信号を送りその位置に応じた映像のみを通信することもできる。全方向の投影を行うことができないが、通信相手（観察者のみ）の情報が得られるのでコミュニケーションがとれる。

［第９の実施形態］
次に、第９の実施形態の投影撮像装置について説明する。

（１）第１の具体例
コミュニケーションをとるためには音声の通信が必要になる。音声の取得手段としてマイクを設置し、再生手段としてスピーカーを設置することもできる。マイクは観察者に装着することもできる。再生手段をイヤホーンにし、観察者に装着させ、イヤホーンに音声を流すこともできる。全周で音声を再生するために複数のスピーカーやマイクを設置することもできる。

通信装置を介し、通信相手の投影撮像装置へ取得手段で得られた音声を送り、通信相手の音声を使用している投影撮像装置で再生する。このようにすることで、投影撮像装置を介し会話を楽しむことや、相手の投影撮像装置周辺の音を楽しむことができる。

また、音楽ソフトの再生などに用いる。例えば、歌手の映像と音声を投影撮像装置で取得しておけば、この情報を配信することで全周から（凹型装置であれば全周外側から、凸型装置であれば全周内側から）の音楽を、映像を交えて楽しむこと事ができる。普通であれば、コンサートホールの一番いい席では一人しか観賞することができないが、この情報を投影撮像装置で再生すれば多くの人が楽しむことができる。

（２）第２の具体例
音声の指向性も楽しむ事ができる。そのためには指向性の強いマイクやスピーカーを用いればよい。投影撮像装置の映像の方向とリンクさせ、指向性を待たせて収録と再生を行う。

また、指向性を持たない収音手段や再生手段からでも音声の指向性を再生することはできる。投影撮像装置で姿勢の映像を解析しマイクから収録される音声に指向性の情報を付加することが考えられ、再生装置（イヤホーンやスピーカー）からの音声も聞き手の方向に対して強弱をつけることができる。こうすることで、指向性もたない収録・再生手段でも音声の指向性を再現できる。

［第１０の実施形態］
次に、第１０の実施形態の投影撮像装置について説明する。

図２９に移動装置９０を備えた情報通信システムの概念を示す。凸型装置が凹型装置内の観察者の意思によって移動する。

このようにすれば、凹型装置内の観察者が凸型装置を介し凸型装置の設置位置周辺を意思のままに観察できる。

図２９のように凸型装置の移動装置９０は、車輪とモーターで構成されることが考えられ、３輪以上であれば安定で車輪の方向と回転速度で移動を制御できる。

凹型装置の意思伝達手段としては様々なものがある。まずは、ボタンやハンドル等で構成されるコントローラがある。移動方向を決める装置（ハンドルや十字キーやジョイスティック）と移動速度を変化させるアクセルやブレーキを決める装置（ボタンやペダル）、また移動速度の幅を決めるギヤ制御用の装置（ペダルやボタン）などで構成される。このとき方向キーが観察者の回転で矛盾が生まれないようにすることが操作性につながるので、コントローラが装置に固定またはコントローラの方向が投影撮像装置に対しての方向がリンクされている。

また、音声による意思伝達する。「右」「左」「進む」「とまる」といった言葉を認識し、指示されたように情報を通信する。また、通常の会話において音声の指向性を用いて方向情報を得ることもできる。

また、画像認識を用いる方法もある。撮像されている観察者の方向を認識し、そちらの方向に方向転換を行うことや、歩くしぐさなどをすれば進むといった方法もある。

また、全方位ウォーキングマシンのような意思伝達装置もある。投影撮像装置の床面が足の移動に伴って認識や移動することができる装置を設置し、その情報を通信することもできる。こうすることで、自然に歩いている行動がそのまま伝達され映像や音声がリンクするために、実世界と同様の反応が得られる。

［第１１の実施形態］
次に、第１１の実施形態の投影撮像装置について説明する。

通信相手や通信する相手となる装置を指定する際に、内部に設置された音声取得装置の入力信号を解析し指示する。

また、移動装置９０へ指示を音声入力によって行うこともできる。

また、ネットワークを通じて文字や映像や音声といった情報を投影撮像装置で取得することもできる。そのときの入力装置として音声で行うこともできる。また、その他の投影撮像装置とのインターフェースを音声入力によって行うこともできる。

［第１２の実施形態］
次に、第１２の実施形態の投影撮像装置について説明する。

使用者が自分の映像を送りたくない状況のとき、自分自身をコンピュータで合成された映像として送信する。投影撮像装置によって撮像された映像から使用者の動きなどを捉えコンピュータで映像として加工する。そのように合成されたキャラクターを受信側送信する。こうすることで、使用者のプライバシーが保たれ、匿名性も生まれる。

また、ＣＧで合成されたキャラクターをエージェントとして仲介させコミュニケーションする。ネットワーク上の情報や他の機器とのインターフェースをとり、通信者に付加価値を提供する。エージェントへは投影撮像装置で取得される映像と音声を入力としていれ、コンピュータ解析することでインタラクティブに反応する。場合によっては通信者の片方だけに投影することも可能とする。

［第１３の実施形態］
次に、第１３の実施形態の投影撮像装置について説明する。

投影撮像装置の入出力として、映像と音声だけでなく触覚を入れることもできる。マニュピレータなどで糸が伸び縮みするブローブ（もしくは服）といった触覚再生手段と動きに合わせて糸が伸びその動きをセンシングするブローブ（もしくは服）といった触覚取得手段を投影撮像装置に組み込みお互いに相互通信を行う。そのようにすれば、実空間とほぼ同様に視覚と聴覚と触覚を通信することができ、空間の違いを超越したコミュニケーションが可能となる。

［第１４の実施形態］
次に、第１４の実施形態の投影撮像装置について説明する。

凸型装置と凹型装置は互いに共役関係であり互いに凹型装置同士や凸型装置同士の通信には向かない。その理由は、取得できる情報に欠落が多く完全に再生できることが難しいことや情報通信する前に映像フォーマットを変換する信号処理が必要になり、信号処理速度が情報通信に大きな負荷を与えることがある。

そこで、凹型装置を凸型に、凸型装置を凹型に変換する。そのようにすることで装置の汎用性があがる。

本発明の第１の実施形態の投影撮像装置の構成を示す斜視図である。第１の実施形態の投影撮像装置の構成を示す平面図である。第１の実施形態の投影撮像装置の構成を示す側面図である。第１の実施形態の拡散面を傾けた投影撮像装置の構成を示す側面図である。第１の実施形態の垂直方向に複数台のプロジェクターを配置した投影撮像装置の構成を示す側面図である。第１の実施形態の射出瞳を水平方向にずらしたプロジェクターを配置を示す図である。第４の実施形態の円筒形の偏向素子を用いた投影撮像装置の構成を示す斜視図である。第７の実施形態の情報通信システムをあらわすブロック図である。凸型装置と凹型装置の通信による情報通信システムの概念図である。第２の実施形態の凸型装置の平面図である。第２の実施形態の凸型装置の側面図である。第２の実施形態の凸型装置の鳥瞰図である。第３の実施形態の凹型装置の平面図である。第３の実施形態の凹型装置の側面図である。第３の実施形態の凹型装置の鳥瞰図である。第２の実施形態の凸型装置の回転を説明する鳥瞰図である。第２の実施形態の凸型装置の回転を説明する平面図である。第２の実施形態の凸型装置の回転を説明する平面図である。第２の実施形態の凸型装置の回転を説明する鳥瞰図である。投影型１次元インテグラルイメージングの要素画像投影を説明する平面図である。投影型１次元インテグラルイメージングの要素画像投影を説明する側面図である。投影型１次元インテグラルイメージングの要素画像投影で観察できる像の図である。投影型１次元インテグラルイメージングの統合画像投影を説明する平面図である。投影型１次元インテグラルイメージングの統合画像投影で観察される像の図である。平行光型共役光学系による投影と撮像を説明する図である。透視投影型共役光学系による投影と撮像を説明する図である。集光型共役光学系による投影と撮像を説明する図である。第８の実施形態の情報通信システムの情報の流れを説明する図である。第１０の実施形態の移動装置を備えた情報通信システムの概念を示す図である。

符号の説明

１０プロジェクター
２０カメラ
３０反射ミラー
４０レンチキュラシート
５０回転光学系装置
６０回転軸
７０プリズムシート

Claims

回転光学系を用いて映像を投影する投影手段と、前記回転光学系を用いて被写体を撮像する撮像手段とを具備する投影撮像装置であって、
前記回転光学系は、垂直方向の回転軸を中心に任意の回転速度で回転し、外周方向に向かって光を反射する軸反射面と、前記回転軸と対面すると共に前記軸反射面の回転速度の２倍の回転速度で回転し、かつ、光を任意の光線分布に拡散させる拡散面と、前記回転軸に対面すると共に前記軸反射面の回転速度の２倍の回転速度で回転する撮像用反射面を具備し、
前記投影手段は、前記軸反射面を介して前記拡散面に前記映像を投影し、かつ、前記軸反射面の回転角度に応じた前記映像を投影し、
前記撮像手段は、前記撮像用反射面を介して前記軸反射面に写った前記被写体の写像を撮像する
ことを特徴とする投影撮像装置。
前記投影手段は、前記回転光学系の内周面に前記映像を投影し、
前記撮像手段は、前記回転光学系の外周にある前記被写体を撮像する
ことを特徴とする請求項１記載の投影撮像装置。
前記投影手段は、前記回転光学系の内側の観察者が前記回転光学系の外周に画像が観察できるように、前記拡散面に前記映像を前記回転軸方向に拡散するように投影し、
前記撮像手段は、前記回転光学系の内周側の前記被写体を撮像する
ことを特徴とする請求項１記載の投影撮像装置。
前記投影手段は複数からなり、前記各投影手段から垂直方向に異なった複数の映像を前記軸反射面を介して投影する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
前記撮像手段は複数からなり、前記各撮像手段は、前記軸反射面に写った垂直方向に異なった複数の被写体の写像を撮像する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の映像投影装置。
前記投影手段は、あおり角で投影し、
前記撮像手段は、あおり角で撮像する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
前記回転光学系は、前記軸反射面と前記拡散面を介した光を受けることができる位置に設置される偏向素子を具備する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
前記偏向素子は、前記回転軸を中心とした回転対称の形状をなしている
ことを特徴とする請求項７記載の投影撮像装置。
前記偏向素子は、反射偏向素子である
ことを特徴とする請求項７記載の投影撮像装置。
前記軸反射面は、表裏両面に反射面を具備する
ことを特徴とした請求項１から３の中で少なくとも一項に記載の投影撮像装置。
前記投影手段は、水平方向に異なった複数の映像を前記軸反射面を介して前記拡散面に投影し、かつ、前記各映像は前記回転角度に応じて投影する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
前記撮像手段によって撮像された映像を他の映像投影装置へ送信し、他の映像投影装置によって撮像された映像を受信する通信手段を具備し、
前記投影手段は、前記受信した映像を投影する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
前記投影撮像装置は、録音手段と音再生手段とを有する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
前記投影撮像装置は、移動手段を有する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の投影撮像装置。
回転光学系を用いて映像を投影し、また、前記回転光学系を用いて被写体を撮像する投影撮像方法であって、
前記回転光学系は、垂直方向の回転軸を中心に任意の回転速度で回転し、外周方向に向かって光を反射する軸反射面と、前記回転軸と対面すると共に前記軸反射面の回転速度の２倍の回転速度で回転し、かつ、光を垂直方向に拡散させる拡散面と、前記回転軸に対面すると共に前記軸反射面の回転速度の２倍の回転速度で回転する撮像用反射面を具備し、
前記軸反射面を介して前記拡散面に前記映像を投影し、かつ、前記軸反射面の回転角度に応じた前記映像を投影し、
前記撮像用反射面を介して前記軸反射面に写った前記被写体の写像を撮像する
ことを特徴とする投影撮像方法。