WO2012077574A1

WO2012077574A1 - 撮像装置および撮像方法

Info

Publication number: WO2012077574A1
Application number: PCT/JP2011/077841
Authority: WO
Inventors: 黒木　義彦
Original assignee: ソニー株式会社
Priority date: 2010-12-08
Filing date: 2011-12-01
Publication date: 2012-06-14
Also published as: EP2651114A4; EP2651114B1; JP2012124704A; US20130258069A1; CN103238316A; EP2651114A1; BR112013013514A2; US9239464B2; CN103238316B; CA2816433A1

Abstract

本発明は、画像の画質を劣化させることなく、視差情報を得ることができるようにする撮像装置および撮像方法に関する。被写体からの入射光は、リレーレンズ部３３により平行光とされて、その一部が透過型ミラー３５により反射され、残りの入射光は透過型ミラー３５を透過する。撮像素子３９は、透過型ミラー３５を透過した入射光を光電変換して基本画像を撮像し、撮像素子４０は、透過型ミラー３５で反射された入射光を光電変換して視差検出用画像を撮像する。視差画像生成部４４は、視差検出用画像上の各画素の画素値を、それらの画素に対応する基本画像上の画素の画素値に置き換えて左右の視差画像を生成する。このように、高品質な基本画像と、視差情報を有する視差検出用画像を用いれば、適切な視差を有し、高品質な視差画像対を得ることができる。本発明は、カメラに適用することができる。

Description

撮像装置および撮像方法

　本発明は撮像装置および撮像方法に関し、特に、画像の画質を劣化させることなく、視差情報を得ることができるようにした撮像装置および撮像方法に関する。

　従来、共通の被写体を左右２台のビデオカメラによって同時に撮像し、その結果得られた画像を、それぞれ左右の眼に呈示することにより、立体画像を表示するシステムが知られている。しかしながら、このようなシステムは、装置が大きくなるため機動性に欠けるだけでなく、左右のビデオカメラの光軸のずれ等が生じやすく、適切な視差を有する画像を得ることが困難であった。

　例えば、２台のビデオカメラの間隔が大きくなってしまったり、各ビデオカメラのレンズの個体差によりズーム中に左右の光軸がずれたり、左右の画面サイズが同じでなくなったりすることがある。また、フォーカス操作の際に、左右のビデオカメラを被写体に向ける動作、つまり輻輳動作時に、左右のビデオカメラが上下にずれてしまうこともあった。

　このように左右のビデオカメラで光軸のずれ等が生じると、立体画像を視聴するユーザの視覚系に日常とは異なる情報処理を強いることになり、視覚疲労の要因となる。さらに、ユーザが左右の画像を、立体視用の眼鏡を使わずにそのまま重ねて眺めた際に、被写体が二重に見えて不自然な映像になってしまう。

　そこで、１つのレンズの瞳となる領域で、被写体からの光をミラーにより２つの光束に分離させて撮像する撮像装置が提案されている（例えば、特許文献１参照）。この撮像装置では、分離された２つの光束のそれぞれについて撮像を行なうことにより、被写体の視差情報を得ると同時に、左右の眼に呈示する立体視用の画像を得ることができる。

特開２０１０－８１５８０号公報

　しかしながら、上述した技術では、被写体の視差情報を得ることはできるが、立体画像を表示させるための画像の画質の劣化が生じてしまうことがあった。

　具体的には、例えば被写体からの光束が、ミラーによって左眼用と右眼用の画像を得るための２つの光束に分離されるため、被写体からの光束のミラーに対する入射角度等によって、分離される２つの光束のそれぞれの太さが変化する。これらの２つの光束の太さが異なると、左右の画像の明るさや解像度が不均等になってしまう。

　本発明は、このような状況に鑑みてなされたものであり、画像の画質を劣化させることなく、視差情報を得ることができるようにするものである。

　本発明の一側面の撮像装置は、被写体からの入射光を集光する第１の集光手段と、前記第１の集光手段により集光された前記入射光を伝送して平行光とする伝送手段と、前記伝送手段により平行光とされた前記入射光を所定の透過率で透過させるとともに、前記平行光とされた前記入射光の一部を左右に分光する分光手段と、前記分光手段を透過した前記入射光を集光する第２の集光手段と、前記第２の集光手段により集光された前記入射光を電気信号に変換することで、前記被写体の基本画像を撮像する第１の撮像手段と、前記分光手段により分光された前記入射光のそれぞれを集光する第３の集光手段と、前記第３の集光手段により集光された前記入射光のそれぞれを電気信号に変換することで、互いに視差を有する視差検出画像を撮像する第２の撮像手段とを備える。

　撮像装置には、前記視差検出画像のそれぞれについて、前記基本画像に基づいて、前記視差検出画像と同じ視点の画像を生成することで、前記被写体を立体表示させるための視差画像を生成する視差画像生成手段をさらに設けることができる。

　前記視差画像生成手段には、これから生成しようとする前記視差画像の画素を注目画素として、前記注目画素と同じ位置にある前記視差検出画像の画素に対応する前記基本画像上の画素の画素値に基づいて、前記注目画素の画素値を求めることにより、前記視差画像を生成させることができる。

　撮像装置には、前記伝送手段と前記分光手段との間に配置され、前記分光手段により左右に分光される前記入射光の重心間の距離が変化するように、前記伝送手段からの前記入射光の一部を遮光する光量調整手段をさらに設けることができる。

　前記光量調整手段には、前記重心間の距離が７乃至６５ｍｍとなるように、前記入射光の一部を遮光させることができる。

　前記第１の集光手段には、前記被写体の像を拡大させるズームレンズを設け、前記視差検出画像間の相対視差は、前記ズームレンズによる前記被写体の像の拡大倍率により制御されるようにすることができる。

前記第１の撮像手段、および前記第２の撮像手段には、毎秒６０フレーム以上のレートで、前記基本画像および前記視差検出画像を撮像させることができる。

　前記第１の撮像手段、および前記第２の撮像手段には、毎秒２３０乃至２５０フレームのレートで、前記基本画像および前記視差検出画像を撮像させることができる。

　前記第１の撮像手段、および前記第２の撮像手段には、毎秒２９０乃至３１０フレームのレートで、前記基本画像および前記視差検出画像を撮像させることができる。

　前記第１の撮像手段、および前記第２の撮像手段には、毎秒５９０乃至６１０フレームのレートで、前記基本画像および前記視差検出画像を撮像させることができる。

　撮像装置には、前記視差画像を記憶する記憶手段と、前記記憶手段に記憶された前記視差画像に基づいて、前記被写体を立体表示させる表示制御手段とをさらに設けることができる。

　本発明の一側面の撮像方法は、被写体からの入射光を第１の集光手段が集光し、前記第１の集光手段により集光された前記入射光を伝送手段が伝送して平行光とし、分光手段が、前記伝送手段により平行光とされた前記入射光を所定の透過率で透過させるとともに、前記平行光とされた前記入射光の一部を左右に分光し、第２の集光手段が、前記分光手段を透過した前記入射光を集光し、第１の撮像手段が、前記第２の集光手段により集光された前記入射光を電気信号に変換することで、前記被写体の基本画像を撮像し、第３の集光手段が、前記分光手段により分光された前記入射光のそれぞれを集光し、第２の撮像手段が、前記第３の集光手段により集光された前記入射光のそれぞれを電気信号に変換することで、互いに視差を有する視差検出画像を撮像するステップを含む。

　本発明の一側面においては、被写体からの入射光が第１の集光手段により集光され、前記第１の集光手段により集光された前記入射光が、伝送手段により伝送されて平行光とされ、前記伝送手段により平行光とされた前記入射光が、分光手段を所定の透過率で透過するとともに、前記平行光とされた前記入射光の一部が前記分光手段で左右に分光され、第２の集光手段により、前記分光手段を透過した前記入射光が集光され、第１の撮像手段により、前記第２の集光手段により集光された前記入射光が電気信号に変換されることで、前記被写体の基本画像が撮像され、第３の集光手段により、前記分光手段により分光された前記入射光のそれぞれが集光され、前記第３の集光手段により集光された前記入射光のそれぞれが電気信号に変換されることで、第２の撮像手段により互いに視差を有する視差検出画像が撮像される。

　本発明の一側面によれば、画像の画質を劣化させることなく、視差情報を得ることができる。

本発明を適用した撮像装置の一実施の形態の構成例を示す図である。視差画像生成処理を説明するフローチャートである。撮像装置における入射瞳のイメージ図である。重心間距離と基長線の関係について説明する図である。ズームと視差の関係について説明する図である。撮像装置の他の構成例を示す図である。本発明を適用した映像記憶再生システムの一実施の形態の構成例を示す図である。視差画像生成処理を説明するフローチャートである。視差画像再生処理を説明するフローチャートである。映像記憶再生システムの他の構成例を示す図である。

　以下、図面を参照して、本発明を適用した実施の形態について説明する。

〈第１の実施の形態〉
［撮像装置の構成例］
　図１は、本発明を適用した撮像装置の一実施の形態の構成例を示す図である。より詳細には、図１は撮像装置の上断面図を示している。

　この撮像装置１１は、被写体からの入射光を受けて、被写体の立体画像を表示させるための右眼用および左眼用の視差画像を生成するものである。

　ここで、右眼用の視差画像および左眼用の視差画像とは、それぞれ被写体を立体表示させるときにユーザの右眼および左眼で観察されるように表示される画像をいう。以下では、右眼用および左眼用の視差画像を、単に左右の視差画像とも称する。また、以下、図中、上側が撮像装置１１から被写体に向かって右側であり、図中、下側が撮像装置１１から被写体に向かって左側であるものとして説明を続ける。

　撮像装置１１は、交換レンズ２１および本体２２から構成され、交換レンズ２１は、本体２２に設けられたレンズマウント３１に取り付けられている。

　交換レンズ２１は、被写体からの入射光を集光するレンズ群からなり、焦点を合わせるためのフォーカスレンズや、被写体の像を拡大するためのズームレンズ等のレンズ群の他、絞り３２を備えている。交換レンズ２１により集光された入射光は、レンズマウント３１の内部において結像されて、左右が反転した倒立像となり、本体２２内に設けられたリレーレンズ部３３に入射する。

　リレーレンズ部３３は、交換レンズ２１から入射した入射光を、後段に設けられた絞り３４の位置まで伝送するリレーレンズから構成される。このリレーレンズ部３３により、被写体（対物焦点位置）の点光源からの拡散光は、絞り３４の位置において平行光となる。リレーレンズ部３３により平行光とされた被写体からの入射光は、絞り３４によりその一部が遮光されて透過型ミラー３５－１および透過型ミラー３５－２に入射する。また、撮像装置１１では、絞り３４の像が入射瞳ＰＵとして、交換レンズ２１内部に位置している。

　透過型ミラー３５－１および透過型ミラー３５－２は、本体２２を構成する光学系の光軸上において、それらの一端が互いに隣接し、かつ互いに異なる方向に傾斜して配置されている。図１の例では、透過型ミラー３５－１と透過型ミラー３５－２は、互いに直交し、かつ透過型ミラー３５－１と透過型ミラー３５－２がそれぞれ、光学系の光軸に対して４５度および－４５度の角度をなすように配置されている。

　透過型ミラー３５－１および透過型ミラー３５－２は、リレーレンズ部３３から入射した入射光の一部を図中、上方向および下方向に反射させて、ミラー３６－１およびミラー３６－２に入射させるとともに、残りの入射光を透過させて集光レンズ３７に入射させる。また、ミラー３６－１およびミラー３６－２は、透過型ミラー３５－１および透過型ミラー３５－２から入射した入射光を反射して、集光レンズ３８－１および集光レンズ３８－２に入射させる。

　ここで、透過型ミラー３５－１乃至ミラー３６－２は、本体２２の光学系の光軸方向において、絞り３４と同じ位置に配置されており、集光された光の一部を左右に分光する分光鏡を構成する。すなわち、被写体に向かって左側から被写体を見た際の光は左右反転されて、その一部が透過型ミラー３５－１およびミラー３６－１に反射される。また、被写体に向かって右側から被写体を見た際の光は左右反転されて、その一部が透過型ミラー３５－２およびミラー３６－２に反射される。

　このように、撮像装置１１に入射した入射光の一部は、透過型ミラー３５－１乃至ミラー３６－２からなる分光鏡によって、左右に分光される。なお、透過型ミラー３５－１および透過型ミラー３５－２が配置される位置は、レンズマウント３１内部の対物焦点位置（被写体の位置）における点光源からの拡散光が平行光となる平行光領域ＰＲ１１に含まれ、これにより適切な分光が行われるようになっている。

　絞り３４を通過した入射光のうち、透過型ミラー３５－１およびミラー３６－１により分光された光束、つまり被写体に向かって左側から被写体を見た際の光は、集光レンズ３８－１により集光される。また、絞り３４を通過した入射光のうち、透過型ミラー３５－２およびミラー３６－２により分光された光束、つまり被写体に向かって右側から被写体を見た際の光は、集光レンズ３８－２により集光される。さらに、絞り３４を通過した入射光のうち、透過型ミラー３５－１および透過型ミラー３５－２を透過した光は、集光レンズ３７により集光される。

　このとき、集光レンズ３７、集光レンズ３８－１、および集光レンズ３８－２は、入射した入射光を、それぞれ撮像素子３９、撮像素子４０－１、および撮像素子４０－２の受光面上に結像させる。これらの受光面上に結像された入射光の像は、正立像となる。

　撮像素子３９、撮像素子４０－１、および撮像素子４０－２は、例えば、CCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサから構成される。

　撮像素子３９は、集光レンズ３７から入射した入射光を電気信号に変換することにより、被写体の画像（以下、基本画像と称する）を撮像し、その結果得られた基本画像を信号処理部４１に供給する。ここで、基本画像は、視差画像を生成するもととなる画像である。

　撮像素子４０－１および撮像素子４０－２は、集光レンズ３８－１および集光レンズ３８－２から入射した入射光を電気信号に変換することにより、被写体の画像（以下、視差検出用画像と称する）を撮像する。撮像素子４０－１および撮像素子４０－２は、撮像により得られた視差検出用画像を、信号処理部４２－１および信号処理部４２－２に供給する。

　ここで、撮像素子４０－１により撮像される視差検出用画像は、被写体に向かって、左側（例えば、左眼）から見た被写体の画像である。この視差検出用画像（以下、特に左眼用の視差検出用画像と称する）は、左眼用の視差画像を生成するときの視差情報として用いられる。つまり、左眼用の視差検出用画像の視点から見た被写体の画像が、左眼用の視差画像として生成される。

　同様に、撮像素子４０－２により撮像される視差検出用画像は、被写体に向かって、右側（例えば、右眼）から見た被写体の画像であり、この視差検出用画像（以下、特に右眼用の視差検出用画像と称する）は、右眼用の視差画像を生成するときに視差情報として用いられる。

　このようにして撮像装置１１で撮像される左右の視差検出用画像、および基本画像は、互いに視差を有する画像である。これらの基本画像および視差検出用画像は、静止画像であってもよいし、動画像であってもよい。

　なお、以下、透過型ミラー３５－１および透過型ミラー３５－２を特に区別する必要のない場合、単に透過型ミラー３５と称し、ミラー３６－１およびミラー３６－２を特に区別する必要のない場合、単にミラー３６とも称する。また、以下、集光レンズ３８－１および集光レンズ３８－２を特に区別する必要のない場合、単に集光レンズ３８とも称し、撮像素子４０－１および撮像素子４０－２を特に区別する必要のない場合、単に撮像素子４０とも称することとする。

　信号処理部４１は、撮像素子３９から供給された基本画像に対して、Ａ／Ｄ（Analog/Digital）変換処理、デモザイク処理、ホワイトバランス調整処理等の各種の信号処理を施して、画像メモリ４３－１および画像メモリ４３－２に供給する。

　信号処理部４２－１および信号処理部４２－２は、撮像素子４０－１および撮像素子４０－２から供給された視差検出用画像に対して、Ａ／Ｄ変換処理、デモザイク処理、ホワイトバランス調整処理等の各種の信号処理を施し、画像メモリ４３－１および画像メモリ４３－２に供給する。なお、以下、信号処理部４２－１および信号処理部４２－２を特に区別する必要のない場合、単に信号処理部４２とも称する。

　画像メモリ４３－１および画像メモリ４３－２は、信号処理部４１からの基本画像と、信号処理部４２－１および信号処理部４２－２からの視差検出用画像とを一時的に記憶する。また、画像メモリ４３－１および画像メモリ４３－２は、視差画像生成部４４－１および視差画像生成部４４－２から供給された視差画像を一時的に記憶するとともに、記憶している視差画像を、符号化部４５－１および符号化部４５－２に供給する。

　なお、以下、画像メモリ４３－１および画像メモリ４３－２を特に区別する必要のない場合、単に画像メモリ４３とも称する。

　視差画像生成部４４－１は、画像メモリ４３－１から視差検出用画像と基本画像を取得して、視差検出用画像と基本画像に基づいて左眼用の視差画像を生成し、画像メモリ４３－１に供給する。視差画像生成部４４－１は対応点探索部５１－１を備えており、対応点探索部５１－１は、視差画像生成時において、視差検出用画像の各画素について、その画素に対応する基本画像上の画素を探索する。なお、対応する画素とは、同じ被写体が表示される画素であり、以下、視差検出用画像の画素に対応する基本画像上の画素を、対応画素とも称する。

　視差画像生成部４４－２は、画像メモリ４３－２から視差検出用画像と基本画像を取得して、視差検出用画像と基本画像に基づいて、右眼用の視差画像を生成し、画像メモリ４３－２に供給する。視差画像生成部４４－２は対応点探索部５１－２を備えており、対応点探索部５１－２は、視差画像生成時において、視差検出用画像の各画素について、その画素に対応する基本画像上の対応画素を探索する。

　なお、以下、視差画像生成部４４－１および視差画像生成部４４－２を特に区別する必要のない場合、単に視差画像生成部４４とも称し、対応点探索部５１－１および対応点探索部５１－２を特に区別する必要のない場合、単に対応点探索部５１とも称する。

　符号化部４５－１および符号化部４５－２は、画像メモリ４３－１および画像メモリ４３－２から視差画像を読み出して符号化し、出力する。なお、以下、符号化部４５－１および符号化部４５－２を特に区別する必要のない場合、単に符号化部４５とも称する。

　以上のようにして視差画像を生成する撮像装置１１は、視差検出用画像および基本画像を撮像する撮像部８１と、撮像された視差検出用画像および基本画像から、視差画像を生成する映像生成部８２との２つの機能ブロックから構成されると考えることができる。

　ここで、撮像部８１は、交換レンズ２１、レンズマウント３１、およびリレーレンズ部３３乃至撮像素子４０から構成され、映像生成部８２は、信号処理部４１乃至符号化部４５から構成される。

［視差画像生成処理の説明］
　次に、撮像装置１１の動作について説明する。

　例えば、ユーザが撮像装置１１を操作して、被写体を立体表示させるための左右の視差画像の生成を指示すると、撮像装置１１は視差画像生成処理を開始して、視差画像を生成する。

　ステップＳ１１において、透過型ミラー３５は、被写体から入射した光束を分離させる。

　すなわち、ユーザが撮像装置１１を操作して撮像を開始させると、被写体からの入射光は、交換レンズ２１により集光され、さらにリレーレンズ部３３により平行光とされる。そして、リレーレンズ部３３から射出された入射光は、絞り３４によりその一部が遮光されて光量調整された後、透過型ミラー３５に入射する。すると、透過型ミラー３５は、入射した入射光の一部を透過させて集光レンズ３７に入射させるとともに、残りの入射光を反射させる。

　透過型ミラー３５で反射された入射光は、ミラー３６で反射され、さらに集光レンズ３８で集光されて撮像素子４０に入射する。また、透過型ミラー３５を透過した入射光は、集光レンズ３７により集光されて撮像素子３９に入射する。

　例えば、透過型ミラー３５における透過率が５０％である場合、撮像素子３９には、被写体からの入射光のうちの半分が入射することになり、２つの撮像素子４０には、それぞれ入射光のうちの１／４の光が入射することになる。なお、撮像素子３９で撮像される基本画像は、最終的な視差画像を生成するもととなる画像であるから、透過型ミラー３５における光の透過率は、できるだけ高いほうが望ましい。

　ステップＳ１２において、撮像素子３９は、集光レンズ３７から入射した入射光を電気信号に変換することで、基本画像を撮像する。このようにして得られた基本画像は、透過型ミラー３５における反射率の分だけ、撮像素子３９に入射する入射光の光量が全体的に低下するだけで、一般的な撮像装置で被写体を撮像して得られる画像と同じである。したがって、透過型ミラー３５における反射率（透過率）を適切に設定すれば、画質の劣化は生じず、高画質な基本画像を得ることができる。

　撮像素子３９は、撮像により得られた基本画像を信号処理部４１に供給する。信号処理部４１は、撮像素子３９からの基本画像に対して、Ａ／Ｄ変換処理等の各種の信号処理を施して画像メモリ４３に供給し、記憶させる。

　ステップＳ１３において、撮像素子４０は、集光レンズ３８から入射した入射光を電気信号に変換することで、視差検出用画像を撮像し、得られた視差検出用画像を信号処理部４２に供給する。信号処理部４２は、撮像素子４０から供給された視差検出用画像に対して、Ａ／Ｄ変換処理等の各種の信号処理を施し、画像メモリ４３に供給し、記憶させる。

　このようにして得られた左右の視差検出用画像は、２つの撮像素子４０のそれぞれに入射する光束の太さが同じとはならない場合もあるため、明るさや解像度等が左右で均等なものとはならない可能性がある。しかし、これらの視差検出用画像には、異なる視点から見た被写体の視差に関する情報が含まれているので、視差検出用画像から得られる視差情報と、高画質な基本画像とを用いれば、左右で明るさ等が均等である高画質な視差画像を得ることができる。

　ステップＳ１４において、対応点探索部５１は、画像メモリ４３に記憶されている視差検出用画像の各画素について、画像メモリ４３に記憶されている基本画像上の対応画素を探索する。例えば対応画素の探索は、視差検出用画像と基本画像との間で、１または複数の画素からなる一定の領域を単位として、相関や差分絶対値和を計算することにより行なわれる。

　具体的には、例えば差分絶対値和を利用して対応画素の探索が行なわれる場合、対応点探索部５１は、視差検出用画像上の１つの画素を注目画素とするとともに、視差検出用画像上の注目画素を中心とする所定領域を、注目領域とする。また、対応点探索部５１は、注目領域と同じ大きさの基本画像上の所定の領域を対応注目領域として、注目領域と対応注目領域の同じ位置の画素の画素値の差分絶対値を求め、それらの各画素の差分絶対値の和（差分絶対値和）を算出する。

　対応点探索部５１は、基本画像上の対応注目領域の位置を移動させながら、上述した差分絶対値和を計算することで、差分絶対値和が最小となる対応注目領域を探索する。そして、対応点探索部５１は、差分絶対値和が最小となる対応注目領域の中心に位置する画素、つまり注目画素と同じ位置にある画素を、注目画素に対する対応画素とする。このようにして、対応点探索部５１は、視差検出用画像上の各画素に対して、それらの画素に対する基本画像上の対応画素を探索する。

　差分絶対値和が最小となる対応注目領域は、基本画像上において、視差検出用画像上の注目領域と最も類似している領域であるから、対応画素は、注目画素と同じ被写体が表示される領域ということができる。

　また、例えば相関を利用して対応画素の探索が行なわれる場合、対応点探索部５１は、視差検出用画像上の１つの画素を注目画素とするとともに、視差検出用画像上の注目画素を中心とする所定領域を、注目領域とする。また、対応点探索部５１は、注目領域と同じ大きさの基本画像上の所定の領域を対応注目領域として、注目領域と対応注目領域の相関値を算出する。

　例えば、注目領域と対応注目領域がＮ個の画素からなる領域であり、注目領域のｉ番目（但し、１≦ｉ≦Ｎ）の画素の画素値をｘ_ｉ，このｉ番目の画素と同じ位置にある対応注目領域の画素の画素値をｙ_ｉとすると、相関値Ｃは、次式（１）により求められる。

　なお、式（１）において、Ｘは、注目領域内の画素の画素値の平均値を示しており、Ｙは、対応注目領域内の画素の画素値の平均値を示している。このようにして求められる相関値Ｃは、注目領域と対応注目領域の相関が高いほど大きくなる。

　対応点探索部５１は、基本画像上の対応注目領域の位置を移動させながら相関値Ｃを計算することで、相関値Ｃが最大となる対応注目領域を探索する。そして、対応点探索部５１は、相関値Ｃが最大となる対応注目領域の中心に位置する画素、つまり注目画素と同じ位置にある画素を、注目画素に対する対応画素とする。このように、相関値を利用すれば、視差検出用画像と基本画像とに輝度差がある場合においても、高い精度で対応画素を検出することができる。

　ステップＳ１５において、視差画像生成部４４は、対応画素の探索結果に基づいて視差画像を生成し、得られた視差画像を画像メモリ４３に供給して記憶させる。視差画像生成部４４は、基本画像上において、視差検出用画像の各画素の位置まで、それらの画素に対する対応画素を移動させたり、対応画素を用いた補間処理を行ったりして視差画像を生成する。

　具体的には、例えば、視差画像生成部４４は、これから生成しようとする視差画像上の画素を注目画素とし、注目画素と同じ位置にある視差検出用画像の画素に対する対応画素の画素値を、注目画素の画素値とすることで視差画像を生成する。この場合、視差検出用画像上の各画素が、それらの画素に対応する基本画像上の対応画素で置き換えられて得られた画像が、視差画像とされる。

　このように１つの高画質な基本画像を用いて左右の視差画像を生成すれば、明るさや解像度等の画質は、基本画像のものが視差画像に反映されるため、結果として、左右で明るさや解像度等の画質が均等な視差画像を得ることができる。

　このようにして得られた視差画像は、画像メモリ４３に記憶された後、符号化部４５により符号化されて後段に出力される。後段に出力された視差画像は、表示部に表示されたり、記憶部に記憶されたりする。撮像装置１１から視差画像が出力されると、視差画像生成処理は終了する。

　以上のように、透過型ミラー３５において、入射光を所定透過率で透過させて基本画像を撮像させると同時に、残りの入射光を左右に分光して、左右の視差検出用画像を撮像させることで、被写体の画像の画質を劣化させることなく、視差情報を得ることができる。

　特に、透過型ミラー３５の透過率を適切に設定することにより、撮像素子３９および撮像素子４０に対して適切な光量配分、つまり適切な画質配分が行なわれる。そして、撮像により得られた基本画像と視差検出用画像を用いれば、基本画像の画質を保ったまま、視差の大きさが適正で左右均等な画質の視差画像を得ることができ、これにより高品位な立体画像を表示することができるようになる。

［入射瞳の分割について］
　次に、左右の視差画像の視差について説明する。図３は、撮像装置１１における入射瞳ＰＵのイメージ図である。

　瞳（pupil）とは、レンズを被写体側、または結像側から見たときの開口絞りの像である。撮像装置１１では、入射瞳ＰＵは絞り３４の像である。ここで、入射瞳ＰＵに相当する円の半径をｒとすると、次式（２）が成り立つ。

　２ｒ＝ｆ／Ｆ　　　・・・（２）

　なお、式（２）において、ｆはリレーレンズ部３３の焦点距離であり、Ｆはリレーレンズ部３３のＦ値である。したがって、焦点距離を固定した場合、入射瞳ＰＵの直径２ｒとＦ値は反比例の関係にあることが分かる。

　撮像装置１１では、集光された入射光を絞り３４の位置で左右に分光するため、入射瞳ＰＵの円を、図３中、左右に分割した左半円および右半円について考察する。立体感は、ユーザの両眼間の視差（相対視差）に基づいて得られるが、入射瞳ＰＵにおいては、視差を決定する光軸は左半円および右半円のそれぞれの重心を通るものと考えられる。

　半径ｒの半円の重心は、幾何学的に求めることができ、円の中心から４ｒ／３πの距離に位置する。したがって、左半円の重心ＧＬと右半円の重心ＧＲとの距離（重心間距離Ｄ）は、次式（３）により求まる。

　Ｄ＝８ｒ／３π　　　・・・（３）

　この式（３）から、重心間距離Ｄ、つまり透過型ミラー３５で分光される左右の入射光の光束の重心間の距離は、絞り３４を絞ると、それに比例して小さくなることが分かる。換言すれば、絞り３４の口径を変化させることにより、得られる立体感を調整することができることになる。このような前提を確認するために行った実験の結果を以下に示す。

［重心間距離と基線長（ベースライン）の関係］
　図４は、重心間距離Ｄと基線長（ベースライン）との関係を示す図である。ここでは、交換レンズ２１として＃Ａおよび＃Ｂの２種類のレンズについて、重心間距離の理論値と基線長の実験値とを示している。

　レンズ＃Ａは、開放Ｆ値が１．８で、焦点距離が１０乃至１００ｍｍのズームレンズである。このレンズ＃Ａのズーム比は１０倍であり、ワイド端（広角側の端）における焦点距離は１０ｍｍである。レンズ＃Ｂは、開放Ｆ値が２．８で、焦点距離が１３．５乃至５７０ｍｍのズームレンズである。このレンズ＃Ｂのズーム比は４２倍であり、ワイド端（広角側の端）における焦点距離は１３．５ｍｍである。両者ともに、撮影距離（被写体から撮像素子までの距離）は６．５ｍを想定している。

　上述した式（２）および式（３）より、レンズ＃Ａおよび＃Ｂの重心間距離Ｄは、それぞれ２３．１ｍｍおよび１４．９ｍｍであると計算される。一方、実装置において実験により求められた基線長は、レンズ＃Ａおよび＃Ｂについてそれぞれ２０．０ｍｍおよび１２．０ｍｍとなった。

　この実験結果から、回折効果によると推測される理論値からの減少が見られるものの、絞り３４の像である入射瞳ＰＵの半円の重心間距離Ｄがほぼ基線長に匹敵するものであることが分かる。また、式（３）より、重心間距離Ｄは絞り３４の口径によって変化させることが可能であり、したがって、基線長も絞り３４の口径によって制御可能であることが分かる。

　撮像装置１１によれば、重心間距離Ｄの最小値として、およそ７ｍｍ程度を想定することができる。基線長としてもこの程度の値であれば立体感を感じさせることができると考えられる。特に、撮影距離が長い場合、基線長がある程度長くないと立体感が得られなくなると考えられる。基線長を増していくと、およそ３２ｍｍ程度になると立体感はより明確になり、その反面、背景のぼやけ具合は大きくなっていく。そして、基線長が６５ｍｍを超える領域になると、箱庭効果が生じて不自然な画作りになってしまうと考えられる。したがって、立体映像として自然に見える範囲としては、基線長が７乃至６５ｍｍ程度であると考えられる。

［ズームによる拡大と視差との関係］
　図５は、ズームによる被写体像の拡大と視差との関係を示す図である。図５のＡでは、左眼位置をＬ、右眼位置をＲとし、被写体上の点をＡおよびＢとしている。点Ａを見込んだ角ＬＡＲを点Ａの輻輳角θ_Ａとし、点Ｂを見込んだ角ＬＢＲを点Ｂの輻輳角θ_Ｂとすると、点Ａと点Ｂの視差（相対視差）ｄは、次式（４）により与えられる。

　ｄ＝θ_Ｂ－θ_Ａ　　　・・・（４）

　ここで、角ＡＬＢをｈ、角ＡＲＢをｇとすると、輻輳角θ_Ａはほぼ角ｈと等しく、輻輳角θ_Ｂはほぼ角ｇと等しい。したがって、式（４）から次式（５）が得られる。

　ｄ＝ｇ－ｈ　　　・・・（５）

　また、両眼間距離をＤ、両眼から点Ａまでの距離をＤ_Ａ、両眼から点Ｂまでの距離をＤ_Ｂとし、両眼から見た点Ａと点Ｂとの距離をδとすると、ｇ≒Ｄ／Ｄ_Ｂ，ｈ≒Ｄ／Ｄ_Ａ，Ｄ_Ｂ＝Ｄ_Ａ－δであるから、式（５）からｄ≒Ｄδ／（Ｄ_Ａ ^２－δＤ_Ａ）が得られる。ここで、Ｄ_Ａ＞＞δであるから、ｄ≒Ｄδ／Ｄ_Ａ ^２が成り立つ。

　また、図５のＢは、図５のＡに比べてｎ倍の拡大を行った場合の位置関係を示す図である。図５のＢでは、ズーム後に変化した角度や位置および距離にはそれぞれの記号の最後にダッシュが付されている。

　図５のＢの例では、被写体像がｎ倍に拡大されるので、ｇ’＝ｎｇ，ｈ’＝ｎｈとなる。このとき、視差ｄ’は、次式（６）のように表される。

　ｄ’＝θ_Ｂ’－θ_Ａ’
　＝ｇ’－ｈ’
　＝ｎ（ｇ－ｈ）
　＝ｎｄ　　　　　　　　・・・（６）

　式（６）から分かるように、ｎ倍の拡大によりｎ倍の視差が生じることになる。これは、テレ端側（望遠側の端）へズームしていくと、表示される被写体の立体感が増すことを意味する。換言すれば、ズーム撮影においては、短い基線長でも適正な視差を得ることができることになる。

　このように、撮像装置１１によれば、一つの交換レンズ２１によって集光された光を透過型ミラー３５およびミラー３６によって左右に分光することにより、両眼に呈示される画像の視差を適正に小さくすることができる。

　撮像装置１１において得られる視差は、絞り３４の口径およびズーム撮影におけるズーム比（拡大率）によって制御可能である。つまり、絞り３４の口径や交換レンズ２１によるズーム倍率を制御することで、適度な視差を有する視差画像を得ることができる。

　一般に、視差に対する眼の感度は高く、通常視力が視角で分オーダであるのに対し、視差については１オーダ高い分解能があるとされている（Howard I. P., Rogers B. J.: Stereo Acuity (Chap.5), Binocular Vision and Stereopsis, P.162, Oxford University Press, Oxford (1995).参照）。したがって、視差を適正に小さくすることは、上記の例よりも小さな視差の条件下であっても、自然に立体感を知覚させ、視覚疲労を軽減するためにも重要である。

［撮像装置の他の構成例］
　なお、以上においては、撮像装置１１内部で、視差検出用画像および基本画像から視差画像を生成すると説明したが、撮像装置１１の外部で視差画像が生成されるようにしてもよい。

　そのような場合、撮像装置１１は、例えば図６に示すように構成される。なお、図６において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図６の撮像装置１１は、図１の撮像装置１１とは信号処理部４１乃至符号化部４５が設けられていない点で異なり、他の構成は同じとなっている。すなわち、図６の撮像装置１１は、撮像部８１のみから構成され、被写体からの入射光を受光することで、視差検出用画像および基本画像を撮像し、得られた視差検出用画像と基本画像を出力する。

　撮像装置１１から出力された視差検出用画像および基本画像は、後段の映像生成部８２に入力され、映像生成部８２は、これらの画像に基づいて視差画像を生成し、出力する。

〈第２の実施の形態〉
［映像記憶再生システムの構成例］
　次に、本発明を適用した他の実施の形態について説明する。図７は、本発明を適用した映像記憶再生システムの構成例を示す図である。この映像記憶再生システムは、撮像部８１、映像生成部８２、映像記憶部８３、映像再生部８４、および表示部８５から構成される。なお、図７において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　撮像部８１は基本画像、および左右の視差検出用画像を撮像して、映像生成部８２に供給する。映像生成部８２は、撮像部８１から供給された基本画像と視差検出用画像とを用いて視差画像を生成し、映像記憶部８３に記憶させる。

　映像記憶部８３は、映像生成部８２から供給された視差画像を一時的に記憶する。映像再生部８４は、映像記憶部８３から視差画像を読み出して表示部８５に供給し、表示部８５に立体画像を表示させる。

　映像再生部８４は、復号部１５１－１、復号部１５１－２、表示制御部１５２－１、および表示制御部１５２－２から構成される。復号部１５１－１および復号部１５１－２は、映像記憶部８３から、それぞれ左眼用の視差画像および右眼用の視差画像を読み出して復号し、表示制御部１５２－１および表示制御部１５２－２に供給する。

　表示制御部１５２－１および表示制御部１５２－２は、復号部１５１－１および復号部１５１－２から供給された視差画像を表示部８５に供給して表示させる。なお、以下、復号部１５１－１および復号部１５１－２を特に区別する必要のない場合、単に復号部１５１とも称し、表示制御部１５２－１および表示制御部１５２－２を特に区別する必要のない場合、単に表示制御部１５２とも称する。

　表示部８５は、表示制御部１５２から供給された視差画像を、所定の表示方式で立体表示させる。例えば、表示部８５としては、２台のプロジェクタに円偏光または直線偏光のフィルタを取り付けて左右の視差画像をそれぞれ呈示させ、ユーザが、表示に対応した円偏光または直線偏光の眼鏡を装着して、視差画像を視聴するような態様が考えられる。

　また、表示部８５をフィルタ付きフラットパネルディスプレイにより構成し、レンチキュラレンズ方式や、パララックスバリア方式等の視聴に眼鏡を必要としない表示方式により、フラットパネルディスプレイに左右の視差画像を同時に呈示させてもよい。特に、表示部８５における表示方式を、左右の視差画像を交互に表示させるのではなく、これらの視差画像を同時に表示させる表示方式とすれば、ユーザの視覚疲労を軽減させることができる。

［視差画像生成処理の説明］
　次に、映像記憶再生システムの動作について説明する。

　例えば、ユーザが映像記憶再生システムに対して、被写体を立体表示させるための左右の視差画像の生成を指示すると、映像記憶再生システムは視差画像生成処理を開始して、視差画像を生成する。以下、図８のフローチャートを参照して、映像記憶再生システムにより行われる視差画像生成処理について説明する。

　なお、ステップＳ４１乃至ステップＳ４５の処理は、図２のステップＳ１１乃至ステップＳ１５の処理と同様であるので、その説明は適宜省略する。これらの処理において、視差画像が生成されると、生成された視差画像は、画像メモリ４３に供給されて記憶される。

　すると、ステップＳ４６において、映像生成部８２の符号化部４５は、画像メモリ４３から視差画像を読み出して符号化し、映像記憶部８３に供給する。そして、ステップＳ４７において、映像記憶部８３は、符号化部４５から供給された視差画像を記憶して、視差画像生成処理は終了する。

［視差画像再生処理の説明］
　次に、図９のフローチャートを参照して、視差画像生成処理により映像記憶部８３に記憶された視差画像に基づいて、視差画像を再生する視差画像再生処理について説明する。この視差画像再生処理は、ユーザにより視差画像の再生が指示されると、開始される。

　ステップＳ７１において、復号部１５１は、再生が指示された視差画像を映像記憶部８３から読み出す。そして、ステップＳ７２において、復号部１５１は、読み出した視差画像を復号して表示制御部１５２に供給する。

　ステップＳ７３において、表示制御部１５２は、復号部１５１から供給された視差画像を表示部８５に供給して立体表示させ、視差画像再生処理は終了する。これにより、表示部８５には、視差画像上の被写体が立体表示されることになる。

　ところで、図７の映像記憶再生システムでは、視差画像の生成から視差画像の表示までを高フレームレート化することにより、動きによるボケ（Blur）やジャーキネス（Jerkiness）の解消が図られている。

　動きによるボケは、撮像時のＭＴＦ（Modulation Transfer Function）の低下に加えて、特に、ホールド型表示において移動する被写体を追従して見る際（追従視）、映像の網膜上のスリップにより多く発生する。ここで、ホールド型表示とは、フレーム期間中、フィルムや液晶プロジェクタ等に映像が継続して表示される表示方法をいう。

　また、ジャーキネスは、映像の滑らかさが失われて、動きがギクシャクすることをいう。このジャーキネスは、高速シャッタを用いて撮像された映像を、視線を固定して見る際（固定視）に多く発生する。こうした動画質劣化には、撮像と表示のフレームレートやカメラの撮像の開口率（開口時間／フレーム時間）、視覚特性等が関与する。

　映画では毎秒２４フレーム（２４Ｈｚ）、テレビジョン放送では毎秒６０フィールド（６０Ｈｚ）のフレームレートが標準的に用いられている。映像記憶再生システムでは、動きによるボケやジャーキネスを考慮して、毎秒６０フレーム（６０Ｈｚ）以上のレート、好ましくは毎秒２３０乃至２５０フレーム（２４０Ｈｚ±１０Ｈｚ）のレートで、視差検出用画像および基本画像の撮像が行われる。これにより、時間方向の分解能不足を解消するとともに、動きのある被写体に対しては、正確な輪郭情報を得ることができるようになる。

　さらに、放送方式を考慮すると、ヨーロッパで多く用いられている毎秒５０フレーム（５０Ｈｚ）と日本やアメリカで用いられている毎秒６０フレーム（６０Ｈｚ）の公倍数として、毎秒２９０乃至３１０フレーム（３００Ｈｚ±１０Ｈｚ）のレートは、画像合成や、レート変換の処理等の画像処理を容易にする点で重用である。

　さらに、この毎秒２９０乃至３１０フレーム（３００Ｈｚ±１０Ｈｚ）のレートに、さらに映画の毎秒２４フレーム（２４Ｈｚ）を加えた公倍数として、毎秒５９０乃至６１０フレーム（６００Ｈｚ±１０Ｈｚ）のレートも、画像処理を容易にする点で重用である。したがって、毎秒２９０乃至３１０フレームのレートや、毎秒５９０乃至６１０フレームのレートで、視差検出用画像および基本画像の撮像が行われるようにしてもよい。

　このように、映像記憶再生システムによれば、両眼に呈示される画像の視差を適正な大きさとし、さらに画像の撮像を高フレームレート化することにより、人が自然界を見ているときに近い、見易く収差の小さい高品質な立体画像を撮像することができる。また、光軸が交換レンズ２１のズーム比によって実用上変化せず、像の位置をズーム比によって移動させる等の画像処理を必要としないため、容易に高精度なズーム効果を実現することができる。

［映像記憶再生システムの他の構成例］
　さらに、図７では、映像記憶再生システムの例として、各種の信号処理が施された視差検出用画像と基本画像から、視差画像が生成される場合について説明したが、視差検出用画像と基本画像がＲＡＷ画像である状態で、これらの画像から視差画像が生成されるようにしてもよい。

　そのような場合、映像記憶再生システムは、例えば図１０に示すように構成される。なお、図１０において、図１または図７における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

　図１０の映像記憶再生システムは、図７の映像記憶再生システムとは、図７の映像記憶再生システムの映像生成部８２に代えて映像生成部１８１が設けられている点で異なり、その他の構成は同じとされている。

　図１０の映像記憶再生システムでは、撮像部８１から映像生成部１８１には、視差検出用画像および基本画像が供給される。すなわち、撮像部８１の撮像素子３９から出力された基本画像は、映像生成部１８１の信号処理部４２－１および信号処理部４２－２に供給される。また、撮像部８１の撮像素子４０－１および撮像素子４０－２から出力された視差検出用画像は、映像生成部１８１の信号処理部４２－１および信号処理部４２－２に供給される。

　信号処理部４２－１は、撮像部８１から供給された視差検出用画像および基本画像に対して、Ａ／Ｄ変換処理を施し、視差画像生成部４４－１に供給する。視差画像生成部４４－１は、信号処理部４２－１から供給された視差検出用画像と基本画像に基づいて、視差画像を生成し、信号処理部４２－１に供給する。このとき、視差画像生成部４４－１に設けられた対応点探索部５１－１は、視差検出用画像の各画素について、基本画像から対応画素を探索する。

　また、信号処理部４２－１は、視差画像生成部４４－１から供給された視差画像に対して、デモザイク処理やホワイトバランス調整処理等の各種の信号処理を施して、画像メモリ４３－１に供給し、記憶させる。画像メモリ４３－１に供給された視差画像は、符号化４５－１により読み出されて符号化され、映像記憶部８３に供給される。

　同様に、信号処理部４２－２は、撮像部８１から供給された視差検出用画像および基本画像に対して、Ａ／Ｄ変換処理を施し、視差画像生成部４４－２に供給する。視差画像生成部４４－２は、信号処理部４２－２から供給された視差検出用画像と基本画像に基づいて、視差画像を生成し、信号処理部４２－２に供給する。このとき、視差画像生成部４４－２に設けられた対応点探索部５１－２は、視差検出用画像の各画素について、基本画像から対応画素を探索する。

　また、信号処理部４２－２は、視差画像生成部４４－２から供給された視差画像に対して、デモザイク処理やホワイトバランス調整処理等の各種の信号処理を施して、画像メモリ４３－２に供給し、記憶させる。画像メモリ４３－２に供給された視差画像は、符号化４５－２により読み出されて符号化され、映像記憶部８３に供給される。

　このように、視差検出用画像と基本画像がＲＡＷ画像である状態で、視差画像を生成すれば、より高品質な視差画像を得ることができる。

　なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

　１１　撮像装置，　２１　交換レンズ，　３３　リレーレンズ部，　３４　絞り，　３５－１，３５－２，３５　透過型ミラー，　３６－１，３６－２，３６　ミラー，　３７　集光レンズ，　３８－１，３８－２，３８　集光レンズ，　３９　撮像素子，　４０－１，４０－２，４０　撮像素子，　４４－１，４４－２，４４　視差画像生成部，　５１－１，５１－２，５１　対応点探索部

Claims

　被写体からの入射光を集光する第１の集光手段と、
　前記第１の集光手段により集光された前記入射光を伝送して平行光とする伝送手段と、　前記伝送手段により平行光とされた前記入射光を所定の透過率で透過させるとともに、前記平行光とされた前記入射光の一部を左右に分光する分光手段と、
　前記分光手段を透過した前記入射光を集光する第２の集光手段と、
　前記第２の集光手段により集光された前記入射光を電気信号に変換することで、前記被写体の基本画像を撮像する第１の撮像手段と、
　前記分光手段により分光された前記入射光のそれぞれを集光する第３の集光手段と、
　前記第３の集光手段により集光された前記入射光のそれぞれを電気信号に変換することで、互いに視差を有する視差検出画像を撮像する第２の撮像手段と
　を備える撮像装置。
　前記視差検出画像のそれぞれについて、前記基本画像に基づいて、前記視差検出画像と同じ視点の画像を生成することで、前記被写体を立体表示させるための視差画像を生成する視差画像生成手段をさらに備える
　請求項１に記載の撮像装置。
　前記視差画像生成手段は、これから生成しようとする前記視差画像の画素を注目画素として、前記注目画素と同じ位置にある前記視差検出画像の画素に対応する前記基本画像上の画素の画素値に基づいて、前記注目画素の画素値を求めることにより、前記視差画像を生成する
　請求項２に記載の撮像装置。
　前記伝送手段と前記分光手段との間に配置され、前記分光手段により左右に分光される前記入射光の重心間の距離が変化するように、前記伝送手段からの前記入射光の一部を遮光する光量調整手段をさらに備える
　請求項２に記載の撮像装置。
　前記光量調整手段は、前記重心間の距離が７乃至６５ｍｍとなるように、前記入射光の一部を遮光する
　請求項４に記載の撮像装置。
　前記第１の集光手段は、前記被写体の像を拡大させるズームレンズを備え、前記視差検出画像間の相対視差は、前記ズームレンズによる前記被写体の像の拡大倍率により制御される
　請求項２に記載の撮像装置。
　前記第１の撮像手段、および前記第２の撮像手段は、毎秒６０フレーム以上のレートで、前記基本画像および前記視差検出画像を撮像する
　請求項２に記載の撮像装置。
　前記第１の撮像手段、および前記第２の撮像手段は、毎秒２３０乃至２５０フレームのレートで、前記基本画像および前記視差検出画像を撮像する
　請求項７に記載の撮像装置。
　前記第１の撮像手段、および前記第２の撮像手段は、毎秒２９０乃至３１０フレームのレートで、前記基本画像および前記視差検出画像を撮像する
　請求項７に記載の撮像装置。
　前記第１の撮像手段、および前記第２の撮像手段は、毎秒５９０乃至６１０フレームのレートで、前記基本画像および前記視差検出画像を撮像する
　請求項７に記載の撮像装置。
　前記視差画像を記憶する記憶手段と、
　前記記憶手段に記憶された前記視差画像に基づいて、前記被写体を立体表示させる表示制御手段と
　をさらに備える請求項２に記載の撮像装置。
　被写体からの入射光を集光する第１の集光手段と、
　前記第１の集光手段により集光された前記入射光を伝送して平行光とする伝送手段と、　前記伝送手段により平行光とされた前記入射光を所定の透過率で透過させるとともに、前記平行光とされた前記入射光の一部を左右に分光する分光手段と、
　前記分光手段を透過した前記入射光を集光する第２の集光手段と、
　前記第２の集光手段により集光された前記入射光を電気信号に変換することで、前記被写体の基本画像を撮像する第１の撮像手段と、
　前記分光手段により分光された前記入射光のそれぞれを集光する第３の集光手段と、
　前記第３の集光手段により集光された前記入射光のそれぞれを電気信号に変換することで、互いに視差を有する視差検出画像を撮像する第２の撮像手段と
　を備える撮像装置の撮像方法であって、
　前記第１の集光手段が前記入射光を集光し、
　前記伝送手段が前記第１の集光手段からの前記入射光を伝送し、
　前記分光手段が前記伝送手段からの前記入射光を透過させるとともに、前記入射光の一部を分光し、
　前記第２の集光手段が前記分光手段を透過した前記入射光を集光し、
　前記第１の撮像手段が前記基本画像を撮像し、
　前記第３の集光手段が分光された前記入射光を集光し、
　前記第２の撮像手段が前記視差検出画像を撮像する
　ステップを含む撮像方法。