JP4625957B2 - 全周囲ステレオ画像撮影装置 - Google Patents

Description

本発明は、全周囲ステレオ画像撮影装置ないし全方位ステレオ視覚センサに関するものである。

全周囲を撮影する画像センサとしては、魚眼レンズや双曲面ミラーなどを用いたものが提案されている。全周囲をステレオ視する場合は、これらの画像センサを複数並べて設置するだけでは不可能であった。

全周囲画像取得は、広視野角でステレオ画像を撮像あるいは再構成することによって特徴付けられる。図１上図は、このような撮影装置において、全周囲画像における観察者の左目に対応するカメラの光軸およびその焦点がどこに位置すると考えるべきかを示したものである。図１上図では、両眼のうち左目が、観察者の頭部回転に伴ってその焦点の位置を移動させ、光軸を回転させる様子を示している。この撮影装置では、ある頭部の回転角θに対して、２次元画像が取得可能である。観察者が頭部をθ度回転させると、左目（およびカメラ）は移動し、光軸が回転する。換言すると、視覚方向によって各カメラの位置が変化する。この一次元を、取得された画像の他の二次元に加えると、全３D光線情報が、各時点で記録される。ここで、通常のカメラをラインスキャンカメラで置き換えることで、次元を一つ減らす（図１下図）。この近似によって、生成された画像は、頭部が回転したとしても、観察者の正面方向に関しては常に正確であり、他の方向から入射される光線は、頭部が他の方向に回転する時に、左目（右目）に対して直角の入射光線として近似される。ここで、この２D光線表現（θ、ｙ）を全周囲画像と呼ぶ。

全周囲画像は、同心モザイクのサブセットである。全周囲画像では、同心モザイクの３つのパラメータのうちの半径パラメータが、ＩＰＤ(interpupilar distance：瞳孔間距離)の半分に固定される。図２は、２つの相対的に固定されたラインスキャンカメラをパンすることで構成された全周囲画像のサンプルであり、図１下図の撮影装置により実際に全周囲をステレオ撮影した写真である。左右の画像において、無限点は同じ水平位置にプロットしてある。

しかしながら、左目用、右目用の２つのカメラを回すことは現実的でない。そこで、２つのカメラを回転させることなく、実風景における全周囲ビデオシーケンスを取得する幾つかの全周囲画像センサが提案されている。非特許文献１には、異なるパラメータを備えた下向きの二つの双曲面ミラーを組み合わせることによる垂直視差を備えた全周囲画像センサが開示されている。しかしながら、このセンサは、水平視差を提供することができない。非特許文献２では、垂直視差から奥行きマップを計算することでこの問題を解決している。このものは、リアルタイムで水平視差を再構築するものの、対象物の詳細な奥行きのロバストな見積りは困難である。垂直視差を用いる手法とは別の手法が非特許文献３に記載されている。非特許文献３では、湾曲ミラーないしレンズを用いて全周囲ビデオシーケンスを取得するものである。しかしながら、この文献は、視点を複数個にわたらせるような投影として、環状プロジェクションを提案することにより、この種の投影の原理的な基礎を示している。非特許文献４では、湾曲ミラーを用いたさらに他の手法が開示されている。このものは、広範囲のステレオ画像を取得できるものではあるが、全周３６０度をカバーするものではない。
N. Yokoka,K. Yamazawa, and H. Takeura, Omnidirectional stereo image sensor using compoundhyperboloidal mirror. In Proceedings of the National Conference of IEICE,number D-12-145, 3 1997 J.Simamura, N. Yokota, H. Takemura, and K. Yamazawa. Construction of an immersivemixed environment using an omnidirectional stereo image sensor. In Proceedingsof the IEEE Workshop on Omnidirectional vision pages 62-69, 6 2000. S. Peleg,M. Ben-Ezra, and Y. Pritch. Omnistereo: Panoramic stereo image imaging. IEEETransactions on Pattern Analysis and Machine Intelligence, pages 279-290, 2001 K. Tanaka,J. Hayashi, T. Endo, and S. Tachi. A method for panoramic stereo imageacquisition. In Proceedings of ICAT 2003, pp. 257-262, 2003

本発明の目的は、ステレオ視が可能な全周囲画像を撮影できる撮影装置を提供することにある。

本発明は、水平方向のすべての角（以下、全周囲と記す）に対して、２眼立体視（以下、ステレオ視と記す）が可能となるように構成された画像撮影装置に関するものである。

本発明が採用した第１の技術手段は、入射光線を左目用光線として出射させる部位と、入射光線を右目用光線として出射させる部位とを、周方向に交互に設けることで構成された円筒形の回転光学系と、前記回転光学系内に配置され、前記回転光学系の各部位を通して得られる全周囲からの右目用光線及び左目用光線を反射させるミラーと、前記ミラーから反射された右目用光線及び左目用光線から、左目用画像と右目用画像とが周方向に交互に配置された全周囲画像を撮影するカメラと、前記カメラが撮影した画像から左目用画像、右目用画像にそれぞれ対応する領域を抽出し、左目用全周囲画像と右目用全周囲画像を再構成する手段と、からなる。

本発明が採用した第２の技術手段は、入射光線を左目用光線として出射させる部位と、入射光線を右目用光線として出射させる部位とを、周方向に交互に設けることで構成された円筒形の回転光学系と、前記回転光学系の各部位に設けられ、左目用光線、右目用光線をそれぞれ異なる方向に偏光する偏光フィルムと、前記回転光学系内に配置され、前記回転光学系の各部位及び偏光フィルムを通して得られた全周囲からの右目用光線及び左目用光線を反射させるミラーと、前記ミラーから反射された右目用光線及び左目用光線を、第１光線と第２光線とに分離する無偏光ビームスプリッタと、第１光線と光軸を共有する第１カメラと、第２光線と光軸を共有する第２カメラと、第１カメラ、第２カメラのレンズの前面にそれぞれ設けられ、第１光線、第２光線の一方から左目用光線を、他方から右目用光線をそれぞれ抽出する偏光フィルムと、からなる。第１カメラ、第２カメラのいずれか一方が左目用全周囲画像を、残りの他方が右目用全周囲画像を、撮影する。偏光フィルムは、円偏光フィルム、あるいは、直線偏光フィルムである。

円筒形の回転光学系は周方向に回転する。円筒形の回転光学系において、周方向に交互に配置された、左目用光線、右目用光線を出射する各部位は、反射系あるいは屈折系である。反射系としてはミラーが、屈折系としてはプリズムが挙げられる。後述する実施例では、各部位は、縦長の短冊状のプリズムシートである。実施例では、平面のプリズムシートを示したがプリズムシートは曲面でもよい。また、実施例では、左目用光線、右目用光線を出射する各部位を、１枚のプリズムシートから構成したが、各部位を複数枚のプリズムシート群から構成してもよい。回転光学系は、入射角および射出角を、各部位（プリズムシート）の法線を基準とした時に、射出角0に対する入射角が正の部位と、射出角0に対する入射角が負の部位とを交互に配置してある。一方が左目用光線を出射する部位、他方が右目用光線を出射する部位を構成する。ここで、正負とは、周方向の一方向側を正、他方向側を負とする。回転光学系は、ターンテーブル等の回転駆動手段によって周方向に回転可能に構成されている。回転光学系の回転速度は公知の手段によって制御可能である。

前記ミラーは、一つの好ましい態様では、双曲面ミラーである。前記回転光学系の回転軸と前記ミラーの中心軸とは共通し、前記ミラーの内側焦点が前記回転光学系の内部に来るように配置される。カメラは、そのレンズが前記ミラーの外側焦点に位置するように配置される。双曲面ミラーにおいて、内方焦点に向かう光線は、双曲面ミラー面で反射して外側焦点に収束（集光）する。カメラレンズを外側焦点に配置することで、周囲３６０度の画像情報を１枚の画像に取り込むことができる。また、前記ミラーは、円錐ミラー、角錐ミラー、球面ミラーであってもよく、例えば、角錐ミラーを採用した場合には、複数のカメラが用いられる。

カメラによって取得された全周囲画像は、公知の画像変換手段であるパノラマ変換や透視投影変換によって、パノラマ画像や透視投影画像に変換される。

本発明が採用した第３の技術手段は、入射光線を左目用光線として出射させる部位と、入射光線を右目用光線として出射させる部位とを、周方向に交互に設けることで構成された円筒形の回転光学系を有し、前記回転光学系から出射された光線を、全方位視覚センサのカメラに入力するように構成した全方位ステレオ視覚センサである。全方位視覚センサとしては、幾つか手法を用いたものが知られている。ミラーとカメラを用い、ミラーに反射された光線をカメラで撮影するものでは、双曲面ミラー、球面ミラー、円錐ミラー、角錐ミラーを用いるものが例示される。このものでは、回転光学系から出射された光線をミラーで反射させて、カメラで撮影する。また、カメラに、魚眼レンズ等の広角撮像系を設けたものもある。このものでは、回転光学系から出射された光線を、広角撮像系で撮影する。

回転光学系から出射された光線により得られた画像は、左目用光線に基づく左目用画像と右目用光線に基づく右目用画像とが混在している。したがって、前記全方位ステレオ視覚センサは、左目用光線に基づく左目用画像と右目用光線に基づく右目用画像とを分離する手段を有している。左目用画像と右目用画像とを分離する手段としては、画像処理手段を用いるもの（カメラによる撮影後に分離する）、偏光フィルタのような光学的手段を用いるもの（カメラによる撮影前あるいは撮影時に分離する）が例示される。

第３の技術手段の円筒形の回転光学系の構成については、第１、第２の技術手段の円筒形の回転光学系の記載を援用することができる。

本発明により、全周囲を動画像のステレオ映像として記録可能な撮像装置が構成できる。本発明の画像センサを用いれば、全周囲どの方向を見ても、正面が少なくとも正しく観察できるステレオ視が可能な画像を得ることができる。本発明は、３６０度の全周囲画像を、コンパクトな構成の装置で得ることができる。さらに、非特許文献４の湾曲ミラー手法におけるアスペクト比の問題もない。本発明は推定や認識プロセスを有しないので、非特許文献２のようなモデルベース手法に比べてロバストである。

［Ａ］回転光学系を用いた全周囲画像取得手法
本発明に係る全周囲画像取得の原理について説明する。図３上図は、複数の羽根状のミラーを備えた回転自在の円筒形の光学系を示す。８枚のミラーが円筒形の光学系の周方向に配置されており、各ミラーの法面は円筒形の光学系の接線に対して４５度を有している。ミラーは、入射光を、接線方向から円筒形の光学系の中心へと反射する。Ｌで示す４枚のミラーは、図１における入射光に対応し、観察者の左目のための入射光を集光する。Ｒで示す４枚のミラーは、同様に、観察者の右目のための入射光を集光する。簡略化のため、ここでは、ミラーの厚さを無限小と仮定する。様々な垂直方向からの光線を集光するため、光線は、さらに２つの双曲面ミラー（一方が左目用光線、他方が右目用光線に対応する）によって、２つの光学カメラに反射される。２つの双曲面ミラーの内方焦点は左目、右目に対応しているので、観察者は、ミラーの２つの内方焦点を一致させることで、左右の目の垂直方向の高さを一致させることができる。円筒形の回転光学系を、左画像（右画像）のミラーが、シャッターが開口している間に、次の対応するミラーに届くような十分な速さで回転させることで、左目（右目）のための光線は連続方向に集光される。また、ミラーの法面と接線によって形成される角度を変化させることでＩＰＤを調整することができる（図３下図）。また、無限小の厚さの羽根状ミラーを製造し、配置することは困難であるため、実施例では、羽根状ミラーの代わりにプリズムシートを採用して、光線を曲げる。

回転光学系を通して取得された光学像には、左目用画像と右目用画像が混合されており、左目用画像と右目用画像とを分離する手段が必要となる。左目用画像と右目用画像を分離する手段については、以下の２つの方式を例示する。

高速シャッターモード：画像は、高速シャッタースピードで撮像されて、画像処理によって右目用画像と左目用画像とに分離される。
低速シャッターモード：画像は、低速シャッタースピードで撮像されて、偏光フィルムのような特別な光学系を用いて右目用画像と左目用画像とに分離される。

［Ａ］高速シャッターモード
図４は、本発明に係る撮像装置の第１の実施形態を示す全体図である。撮像装置は、基本的構成として、回転自在の円筒形の回転光学系１と、回転光学系１内に配置された双曲面ミラー２と、一台のカメラ３を有している。回転光学系１の回転軸と、双曲面ミラー２の中心軸と、カメラ３の光軸とは共通している。双曲面ミラー２は、双曲面ミラー２の内側焦点が回転光学系１の内部に位置するように配置されている。カメラ３は、カメラ３の焦点と双曲面ミラー２の外側焦点とが一致するように配置されている。

撮像装置は、カメラ３が搭載された上部構造と、円筒形の回転光学系１、双曲面ミラー２を有する下部構造とに分けられる。撮像装置の上部構造を構成するカメラ３は、天板４上に取り付けた支持フレーム５に対して、光軸が鉛直方向となるように支持されている。天板４には、円形状の開口窓が形成されており、開口窓には、透明のアクリル板４０が設けてある。双曲面ミラー２は、透明アクリル板４０の中央から吊られて固定されている。天板４は、ベース６上に立設した透明アクリル円筒部材７上に載置されており、上部構造全体が、透明アクリル円筒部材７により支持されている。回転光学系１は、ベース６上に搭載されたターンテーブル８に載せられており、回転光学系１は、ターンテーブル８を回転させることによって回転可能に構成されている。下部構造を構成する回転光学系１、双曲面ミラー２、ターンテーブル４は、透明アクリル円筒部材７の内部に収納されている。回転光学系１は、縦長の短冊状のプリズムシート１０を円環状に配置することで構成されているが、円筒形の形状を維持するために、プリズムシート１０と同数の柱体１１を円環状に配置して、各柱体１１にプリズムシート１０を支持させる。また、プリズムシート１０を、回転光学系１を構成する上下のリング間に直接支持させてもよい。図６は、本発明で用いる一枚のプリズムシート１０を、上から見たものである。

プリズムシート１０は、直進する入射光を、所定の角度で曲げる光学要素である。図示の例では、プリズムシート１０のプリズム側から直角に出射する光線に対する入射角は２３度である。左目用光線、右目用光線は、左目、右目にそれぞれ対応するプリズムシート１０Ｌ，１０Ｒによって回転光学系１の中心へと運ばれる。左目用プリズムシート１０Ｌ及び右目用プリズムシート１０Ｒは、円周方向に、交互に配置される。プリズムシートは、入射角および出射角をプリズムシートの法線を基準に反時計回りにとったとき、射出角０に対する入射角が正のものと、射出角０に対する入射角が負のものが交互に配置されるものとする。

図８および図９は、図７の円筒形の光学系１および双曲面ミラー２を上から見たものである。図８は、射出角０に対する入射角が負となるプリズムシート１０Ｌについて、光線を書き加えたものであり、観察者の左目に相当する。図９は、射出角０に対する入射角が正となるプリズムシート１０Ｒについて、光線を書き加えたものであり、観察者の右目に相当する。

実験で用いた装置の詳細について説明する。プリズムシート１０は、プリズム面が内側に面するようにして配置される。実験では、製作の便宜上、矩形の平面状のプリズムシート１０を用いたが、湾曲状のプリズムシートを用いてもよい。図１０に示すように、３２本のアルミニウム柱１１と３２枚のプリズムシート１０を円形状に交互に配置して回転光学系１を形成した。プリズムシート１０の高さは１３０ｍｍであり、回転光学系１の中心から１０５ｍｍ離れた位置に配置されている。柱体１１の表面を黒色の合成繊維で被覆することで、反射を防止した。

双曲面ミラー２の直径は１３８ｍｍであり、仰角は１６度である。上述の羽根状ミラーモデルと異なり、実際には、１つの双曲面ミラー２が用いられる。双曲面ミラーは、回転光学系１の中心に配置される。双曲面ミラー２の内方焦点に届く光線は、外方焦点へと反射され、外方焦点に配置されたカメラ３は、全周囲光線情報をキャプチャする。カメラ３は、ハイディフィニションＧＲ−ＨＤ１カメラ（ビクター社製）であり、そのレンズの焦点軸が垂直方向に配設するようにして、上部構造に配置されている。双曲面ミラー２を回転させる必要がないので、双曲面ミラー２は、上部構造と下部構造を分離する面に形成された円形状の開口に配置された透明アクリル４０板の中心から吊持されている。上部構造は、透明アクリルチューブ７によって支持されているので、全方向キャプチャリングにおいていかなる障害もない。水平方向の視野角は３６０度であり、垂直方向の視野角は６０度である。

本実施形態では、開口画像の露光を最大に、動作雑音を最小とするべく、シャッター速度を、1/250秒とした。オリエンタルモータ社製の５−フェーズステッピングモータ（PK-545AW）、モータユニット（UPK/W）、モータコントローラー（SG9200T）を用いた。モータは、504deg/sec(=700Hz×0.72deg)の角速度に対応する700Hzで駆動される。ビデオ観察を用いた正確な測定では、506.84deg/sec.の角速度が得られた。この条件において、回転光学系１はフレーム当り3/64回転の速度で回転する。左目に対応する開口あるいは右目に対応する開口は円周の1/16のピッチで配置され、その幅は円周の1/64であり、全ての全方向画像は4フレームを用いて再構成される。

図１２にこの原理を示す。図１２は、カメラによって撮影された像から、左右の目に対応する領域を抽出する方法を示したものである。図１２は、４フレームにおいて、双曲面ミラーに反射された左目開口、右目開口の配置である。左目（右目）開口は時計回りに回転して、４フレームにおける次の左目（右目）開口にオーバーラップする。フレームに対して画像が蓄積されて、全周囲左目（右目）画像が構築される。全体の画像は、画像の最初の部分を最新（現在）の部分で置き換えることで更新される。

図１１は、カメラによって撮影された像の例である。回転速度は各フレームにおいて3/64回転である。シャッター速度は、1/250秒である。カメラによって撮影された画像は、３２個の扇形部位から構成されている。３２個の扇形部位は、周方向に交互に配設された１６個の左目用画像と１６個の右目用画像とから構成されている。扇形部位を周方向に交互に抽出することで、左目用画像、右目用画像を分離することができる。

再構築された全周囲ステレオシーケンスを図１３に示す。図１３は、再構成された、全周囲ステレオ画像である。左の列が左目、右の列が右目に相当する。画像の累積が、最初の３フレームで観察される。第１フレームで取得された全周囲画像から抽出された左目用扇形部位、右目用扇形部位に基づいて画像が再構成され、順次、第２フレームで取得された全周囲画像から抽出された画像、第３フレームで取得された全周囲画像から抽出された画像、・・・と累積、更新される。自転車の動きおよびぬいぐるみが観察される。右目画像を左目画像と比べると、視差が確認できる。細い黒いストライプは、開口の幅が、周囲の1/64よりも僅かに小さいことによるものである。このストライプは、回転光学系に用いる柱体の径を細くすることで無くすことができる。理論的には、画素は、４フレーム毎に１回更新されるので、ある点における時間解像度は7.5fpsである。ＧＲ−ＨＤ１ハイディフィニションカメラを用いることで、空間解像度を落とすことでフレーム速度を２倍にすることができる。各フレームのために変換された画像は、4フレームから構成されているので、合成された画像は、動作の速い物体については、空間的に非連続となる。

回転光学系１の回転速度及び高速シャッターモードにおけるカメラ３のシャッター速度について説明する。
回転光学系１の回転速度ｖは、フレームレートｆ、短冊状のプリズム数ｎとすると、
ｖ＝（ｆ＊ｋ＊３６０／ｎ）[deg/sec] (ｋ＝0.5,1.5,2.5,3.5,…)・・・（１）、となる。
1フレーム（1/30sec）の間に、短冊状プリズム0.5本分、1.5本分、2.5本分、3.5分・・・回転すれば所望の条件を満たす。
本実施例では、短冊状のプリズムは、３２本あるので、それぞれの場合で、1フレームの間の回転角は、
0.5*360/32,
1.5*360/32,
2.5*360/32,
3.5*360/32,となる。
1secの間の回転角になおすと、
30*0.5*360/32=168.75 deg/sec,
30*1.5*360/32=506.25 deg/sec,
30*2.5*360/32=843.75 deg/sec,
30*3.5*360/32=1181.25 deg/sec,となる。
実施例の3/64 revolutionsは、1.5*360/32に相当する。時間解像度7.5fpsは、30fpsで、同じ点は4回に1回しか更新されないことに基づくものである。
高速シャッターモードの場合、シャッタースピードをsとすると(たとえば、シャッタースピード1/100 secの場合、s=100)、１／ｓ＜１／ｆ ・・・・（２）の関係がある。
実施例では、f＝30なので、1/250 <1/30となる。

［Ｂ］低速シャッターモード
図１４は、本発明に係る撮像装置の第２実施例を示す全体図である。第１実施例の撮像装置と同じ構成要素には、同じ参照番号が付してあり、第１実施例における共通する構成要素に関する記載を第２実施例に援用することができる。撮像装置は、回転自在の円筒形の回転光学系１と、回転光学系１内に配置された双曲面ミラー２と、無偏光ビームスプリッタ９と、２台のカメラ３Ａ，３Ｂを有している。回転光学系１の回転軸と、双曲面ミラー２の中心軸と、第１のカメラ３Ａの光軸とは共通している。第２のカメラ３Ｂの光軸は、第１のカメラ３Ａの光軸と直交している。双曲面ミラー２は、双曲面ミラー２の内側焦点が光学系１の内部に位置するように配置されている。第１のカメラ３Ａは、カメラ３Ａの焦点と双曲面ミラー２の外側焦点とが一致するように配置されている。第２のカメラ３Ｂは、双曲面ミラー２の外側焦点に対して、無偏光ビームスプリッタ９に関して鏡像対称になる位置である。

撮像装置は、第１カメラ３Ａ及び第２カメラ３Ｂ、ビームスプリッタ９が搭載された上部構造と、回転光学系１、双曲面ミラー２を有する下部構造とに分けられている。第１カメラ３Ａは、天板４上に取り付けた支持フレーム５に対して、光軸が鉛直方向となるように支持されている。第２カメラ３Ｂは、光軸が水平方向となるように天板４上に支持されている。天板４には、円形状の開口窓が形成されており、開口窓には、透明のアクリル板４０が設けてある。双曲面ミラー２は、透明アクリル板４０の中央から吊られて固定されている。開口窓の上方部位において、第１カメラ３Ａの光軸上に位置してビームスプリッタ９が配置されており、ビームスプリッタ９によって双曲面ミラー２から反射された光を第２カメラ３Ｂに分岐させる。第１の実施形態と同様に、天板４は透明アクリル円筒部材７上に載置されており、上部構造全体が、透明アクリル円筒部材７により支持されている。円筒形の光学系１は、ターンテーブル８に載せられており、円筒形の光学系１は、ターンテーブル８を回転させることによって回転可能に構成されている。

実施例２では、プリズムシート１０に円偏光フィルム１０Ａが設けてある。図示のものでは、プリズムシート１０の内側に円偏光フィルムを設けているが、円偏光フィルムをプリズムシート１０の外側に設けてもよい。短冊状のプリズムシート１０は、入射角および射出角をプリズムシートの法線を基準に反時計回りにとったとき、射出角０に対する入射角が正のものと、射出角０に対する入射角が負のものが交互に配置され、それぞれのプリズムシート１０の内側に、それぞれその回転方向が右、回転方向が左の円偏光フィルが配置される。双曲面ミラーには、クロムめっきが施されており、表面反射によって偏光状態が変化しない。

無偏光ビームスプリッタ９は、双曲面ミラー２の反射面で反射され、鉛直下方向から到達した光線を、鉛直上方向と、水平方向とに分割するように機能する。２台のカメラ３Ａ，３Ｂは、無偏光ビームスプリッタ９により、鉛直下方向から到達した光線が分割された２本の光線とその光軸を共有するように配置されている。２台のカメラ３Ａ，３Ｂは、そのレンズの前に、共に回転方向が左（同方向）となるような円偏光フィルム１０Ｂが配置されている。

低速シャッターシステムは、高速シャッターシステムに対して、円偏光フィルム、非偏光ビームスプリッタ、もう一つのカメラを追加することで構成することができる。矩形の円偏光フィルムが、プリズムシートの内側およびカメラレンズの前面に設けられる。幾つかのデバイスを高速シャッターシステムに追加することで構成される。上部構造には、レンズ軸が互いに直交している２つのHDカメラ、二つの軸の交点に設けた非偏光ビームスプリッタを設けてある。カメラのレンズの正面には右側円偏光フィルムが設けてある。下部構造には、双曲面ミラー及び回転光学系が設けてある。回転光学系は、複数の矩形のプリズムシート、及び、矩形の円偏光フィルムからなる。水平方向の視野角は３６０度であり、垂直方向の視野角は６０度である。高速シャッターモードでは、高速シャッタースピードで撮像された全てのフレームから右目画像及び左目画像をデジタル的に抽出した。低速シャッターモードでは、２つの画像は、特別な光学系を用いて分離される。ここでは、円偏光フィルムを用いる。この場合、時間方向の分離の必要がないため、全周囲画像を構成する場合、時間的な混合を利用してもかまわない。

円偏光フィルムの機能について説明する。左目用光線及び右目用光線は、それぞれ左側に回転する円偏光フィルム、右側に回転する円偏光フィルム、を通過する。双曲面ミラー２内の内方焦点に届いた光線は、外方焦点へと反射される。この反射プロセスにおいて、円偏光の回転方向が逆転する。光線は、さらに非偏光ビームスプリッタを通過して、レンズ軸が直交する２つのカメラに入射する。非偏光ビームスプリッタで反射される光線では、円偏光の回転が逆転されるので、左目用光線は左側に回転する円偏光が行われ、右目用光線は右側に回転する円偏光が行われる。カメラＡの正面に設けた右側に回転する円偏光フィルムにより、右目用光線が抽出される。一方、非偏光ビームスプリッタを直線状に通過する光線の円偏光の回転はそのままなので、ビームスプリッタを通過する光線において、左目用光線は右側に回転した円偏光を有し、右目用光線は左側に回転した偏光を有する。カメラＢの正面に設けた円偏光フィルムは、右側に回転する偏光フィルムであり、左目光線を抽出する。この状態は、回転光学系１の回転の間も同じである。回転光学系１が、シャッター速度に対する十分な速度で回転すると、左目用光線及び右目用光線は連続した方向の範囲で撮像される。一つのフレーム内で上記プロセスを完結させることで、全方向ビデオシーケンスが取得される。

カメラ３Ａ、３Ｂのシャッター速度は1/30秒である。低速シャッターモードでは、回転光学系の回転速度に要求される条件は、高速シャッターモードほど厳格ではないが、好ましい態様では、低速シャッタースピードの場合、
s=f...(3)となるように、sを選択する。実施例では、s=f＝30となっている。

図１７において、左側の列は左目画像であり、右側の列が右目画像である。開口の回転方向は、左目画像では反時計回りであり、右目画像では、時計回りである。一列目は、回転光学系１が回転する前の画像である。開口が交互に明暗となっていることから、円偏光フィルムの効果を確認することができる。回転光学系１が回転すると、明領域は明るいままで、暗領域は暗いままである。回転光学系１が十分な速度で回転すると、暗領域（光がブロックされている）は一時的に混合されて、全ての領域が明確に見える。よって、左目用あるいは右目用画像のみが観察される。図１８は、再構成された全周囲のステレオ画像である。

円偏光フィルムを用いる代わりに、直線偏光フィルムを用いることができる。回転光学系１を構成するプリズムシート１０には、円偏光フィルムに代えて直線偏光フィルムを設ける。左目用光線、右目用光線は、それぞれ、水平方向の直線偏光フィルム、垂直方向の直線偏光フィルムを通過する。カメラのレンズの前面には、円環状に配置された直線偏光フィルムを配置する。これは、正確に 16 のパイ形状にカットした直線偏光フィルムを図19に示すように接着して一体化したものである。カメラＡの前に設けた偏光フィルム（縦方向抽出手段）は、縦方向に偏光された光線（すなわち右目用光線）を抽出し、カメラＢの前に設けた偏光フィルム（水平方向抽出手段）は、水平方向に偏光された光線（すなわち左目用光線）を抽出する。

本発明は、全周囲ステレオ動画像撮影装置として利用することが可能である。高速シャッターモードに係る撮影装置は、より動きの少ない対象物の撮影に適している。低速シャッターモードに係る撮影装置は、より動きの速い対象物の撮影に適している。

上図は、水平方向の全周囲に対して、ステレオ視が可能となるように構成された動画像撮影装置において、カメラの光軸およびその焦点がどこに位置すると考えるべきかを示した図である。下図は、撮影装置を簡単にするために、ある頭部の回転角θに対して、縦長の短冊状の画像（１次元画像）を取得するように変更を加え、近似を行っている様子を示す図である。 図１下図の撮影装置により実際に全周囲をステレオ撮影した写真である。 上図は、本発明に係る撮影装置の原理図を示す図である。下図は、ＩＰＤの調整を示す図である。 第１実施例に係る高速シャッターモードの撮影装置の全体図である。 図４類似の図であって、光線の光路を示す図である。 本発明で用いるプリズムシートを、上から見たものである。 縦長の短冊状のプリズムシートを円環状に配置した円筒形の光学系及びその内部に配置された双曲面ミラーを示す部分斜視図である。 射出角０に対する入射角が負となるプリズムシート１０Ｌについて、光線を書き加えたものであり、観察者の左目に相当する。プリズムシート１０Ｌで屈折された出射光は回転光学系の中心に向かっている。 射出角０に対する入射角が正となるプリズムシート１０Ｒについて、光線を書き加えたものであり、観察者の右目に相当する。プリズムシート１０Ｒで屈折された出射光は回転光学系の中心に向かっている。 回転自在の円筒形の光学系の斜視図である。 カメラによって撮影された像の例である。 カメラによって撮影された像から、左右の目に対応する領域を抽出する方向を示す図である。 再構成された全周囲ステレオ画像であり、左の列が左目、右の列が右目に相当する。 第２実施例に係る低速シャッターモードの撮影装置の全体図である。 図４類似の図であって、光線の光路を示す図である。 プリズムシート及び円偏光フィルムを示す図である。 カメラによって撮影された画像であり、左の列が左目、右の列が右目に相当する。 再構成された全周囲のステレオ画像を示す。 カカメラの前面に配置すべき、直線偏光フィルムを加工して構成したフィルムを示す。

符号の説明

１ 円筒形の回転光学系
２ 双曲面ミラー
３ カメラ
３Ａ カメラ
３Ｂ カメラ
１０ プリズムシート
１０Ａ 偏光フィルム
１０Ｂ 偏光フィルム

Claims (15)

1. 入射光線を左目用光線として出射させる部位と、入射光線を右目用光線として出射させる部位とを、周方向に交互に設けることで構成された円筒形の回転光学系と、
   前記回転光学系内に配置され、前記回転光学系の各部位を通して得られる全周囲からの右目用光線及び左目用光線を反射させるミラーと、
   前記ミラーから反射された右目用光線及び左目用光線から、左目用画像と右目用画像とが周方向に交互に配置された全周囲画像を撮影するカメラと、
   前記カメラが撮影した画像から左目用画像、右目用画像にそれぞれ対応する領域を抽出し、左目用全周囲画像と右目用全周囲画像を再構成する手段と、
   からなる全周囲ステレオ画像撮影装置。
2. 前記ミラーは、双曲面ミラーであり、前記回転光学系の回転軸と前記ミラーの中心軸とは共通し、前記ミラーの内側焦点が前記光学系の内部に配置されており、
   前記カメラのレンズは、前記ミラーの外側焦点に配置されている、請求項１に記載の撮影装置。
3. 前記回転光学系において、各部位は、反射系あるいは屈折系である、請求項１，２いずれかに記載の撮影装置。
4. 前記回転光学系において、各部位は、プリズムシートである、請求項３に記載の撮影装置。
5. 前記回転光学系は、入射角および射出角を、各部位の法線を基準とした時に、射出角0に対する入射角が正の部位と、射出角0に対する入射角が負の部位とを交互に配置してなる、請求項１乃至４いずれかに記載の撮影装置。
6. 前記カメラは、その光軸が、前記回転光学系および前記ミラーと共有するように配置された、請求項１乃至５いずれかに記載の撮影装置。
7. 入射光線を左目用光線として出射させる部位と、入射光線を右目用光線として出射させる部位とを、周方向に交互に設けることで構成された円筒形の回転光学系と、
   前記回転光学系の各部位に設けられ、左目用光線、右目用光線をそれぞれ異なる方向に偏光する偏光フィルムと、
   前記回転光学系内に配置され、前記回転光学系の各部位及び偏光フィルムを通して得られた全周囲からの右目用光線及び左目用光線を反射させるミラーと、
   前記ミラーから反射された右目用光線及び左目用光線を、第１光線と第２光線とに分離する無偏光ビームスプリッタと、
   第１光線と光軸を共有する第１カメラと、
   第２光線と光軸を共有する第２カメラと、
   第１カメラ、第２カメラのレンズの前面にそれぞれ設けられ、第１光線、第２光線の一方から左目用光線を、他方から右目用光線をそれぞれ抽出する偏光フィルムと、
   からなる、全周囲ステレオ画像撮影装置。
8. 回転光学系及びカメラに設けた前記偏光フィルムは円偏向フィルムである、請求項７に記載の全周囲ステレオ画像撮影装置。
9. 回転光学系及びカメラに設けた前記偏光フィルムは直線偏向フィルムである、請求項７に記載の全周囲ステレオ画像撮影装置。
10. 前記ミラーは、１つの双曲面ミラーであり、前記回転光学系の回転軸と前記ミラーの中心軸とは共通し、前記ミラーの内側焦点が前記回転光学系の内部に配置されており、
    前記カメラのレンズは、前記ミラーの外側焦点に配置されている、請求項７乃至９いずれかに撮影装置。
11. 前記回転光学系において、各部位は、反射系あるいは屈折系である、請求項７乃至１０いずれかに記載の撮影装置。
12. 前記回転光学系において、各部位は、プリズムシートである、請求項１１に記載の撮影装置。
13. 前記回転光学系は、入射角および射出角を、各部位の法線を基準とした時に、射出角0に対する入射角が正の部位と、射出角0に対する入射角が負の部位とを交互に配置してなる、請求項７乃至１２いずれかに記載の撮影装置。
14. 入射光線を左目用光線として出射させる部位と、入射光線を右目用光線として出射させる部位とを、周方向に交互に設けることで構成された円筒形の回転光学系を有し、前記回転光学系から出射された光線を、全方位視覚センサのカメラに入力するように構成した全方位ステレオ視覚センサ。
15. 前記全方位ステレオ視覚センサは、左目用光線に基づく左目用画像と右目用光線に基づく右目用画像とを分離する手段を有している、請求項１４に記載の全方位ステレオ視覚センサ。