JP5368350B2 - 立体撮像装置 - Google Patents

Description

本発明は立体撮像装置に係り、特に撮影光学系の左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左視点画像及び右視点画像を取得する技術に関する。

従来、この種の立体撮像装置として、図１８に示す光学系を有するものが知られている（特許文献１）。

この光学系は、メインレンズ１及びリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。

図１９（Ａ）〜（Ｃ）は、それぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図１９では、フォーカスによる分離の違いを比較するために、図１８に示したミラー４を省略している。

図１９（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１９（Ａ）及び（Ｃ）に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。

従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視差の異なる左視点画像及び右視点画像（３Ｄ画像）を取得することができる。

また、特許文献２には、上記と同様に左右方向に瞳分割された被写体像に対応する左視点画像及び右視点画像を取得し、撮影画面のほぼ全エリアについて焦点検出（デフォーカス量の検出）を行うことができる撮像装置が記載されており、特に段落［００４７］には、絞りのＦ値を変えることで立体感の調節を行うことができる記載がある。

特表２００９−５２７００７号公報 特開２００９−１６８９９５号公報

この種の立体撮像装置により撮影される左視点画像と右視点画像は、同じ焦点距離、同じＦ値であれば、被写体の距離により視差（分離幅）が異なり、特に近接撮影の場合、近い被写体の視差が大きくなりすぎ、立体視が不能になり、逆に遠い被写体は視差が小さくなりがちで、立体感がなくなるという問題がある。

特許文献２には、絞りのＦ値を変えることで立体感の調節を行うことができる記載があるが、絞りの制御に関する記載はない。

本発明はこのような事情に鑑みてなされたもので、左視点画像と右視点画像との視差を自動的に最適化することができる立体撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記撮像素子に入射する光束を制限する絞りと、撮影画角内の最も近い被写体の距離又は主要被写体の距離を取得する手段と、前記取得した最も近い被写体の距離又は主要被写体の距離に基づいて、前記第１の画像及び第２の画像の視差が所定の範囲になるように前記絞りのＦ値を制御する絞り制御手段であって、距離が近いほど前記絞りのＦ値を大きくし、距離が遠いほど前記絞りのＦ値を小さくする絞り制御手段と、を備えたことを特徴としている。

立体撮像装置では絞りのＦ値により視差量を変化させることができるが、請求項１に係
る発明によれば、被写体の距離情報に基づいて前記第１の画像と第２の画像の視差が所定の範囲になるように絞りのＦ値を制御するようにしたため、被写体の遠近にかかわらず、目に負担のかからない自然な立体視用の第１の画像及び第２の画像を取得することができる。

本撮影前のオートフォーカス（ＡＦ）動作時に撮影画角内の被写体の距離情報を取得することができる。この取得した被写体の距離情報に基づいて絞りのＦ値を制御するようにしている。例えば、撮影画角内の最も近い被写体の距離、又は最も近い被写体の距離から最も遠い被写体の距離の情報に基づいて最も近い被写体の視差が大きくなりすぎないように、あるいは最も近い被写体から最も遠い被写体の視差が最適な視差になるように絞りのＦ値を制御する。

請求項２に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記撮像素子に入射する光束を制限する絞りと、本撮影前に前記第１の画像及び第２の画像を取得する手段と、前記本撮影前に取得した第１の画像及び第２の画像に基づいて撮影画角内の被写体の視差量を検出する視差量検出手段と、前記検出された視差量に基づいて本撮影時に前記撮像素子から出力される前記第１の画像及び第２の画像の視差量が、予め設定された適正な立体感が得られる視差量になるように前記絞りのＦ値を制御する絞り制御手段と、を備えたことを特徴としている。本撮影前に取得される第１、第２の画像に基づいて大まかな被写体の視差量を取得し、本撮影時には前記取得した被写体の視差量に基づいて絞りのＦ値を制御するようにしている。

請求項３に示すように請求項２に記載の立体撮像装置において、前記絞り制御手段は、本撮影前の前記第１の画像及び第２の画像の取得時に前記絞りを開放状態にすることを特徴としている。本撮影時の絞りの開度を開放状態にすることで、明るい状態で、かつ最も視差量が大きくなる状態で被写体の視差量を取得することができる。これにより、視差量の調整の精度を上げることができる。

請求項４に示すように請求項２又は３に記載の立体撮像装置において、前記本撮影前に取得した第１の画像及び第２の画像に基づいて撮影画角内の被写体の視差量を検出する視差量検出手段と、前記検出された視差量に基づいて本撮影時に得られる前記第１の画像及び第２の画像の視差量が前記予め設定された適正な立体感が得られる視差量に入らない場合に警告を表示する警告手段と、を備えたことを特徴としている。絞りのＦ値の制御のみでは、被写体の視差量を予め設定された適正な立体感が得られる視差量に入れることができない場合に、事前に警告表示してユーザに知らせるようにしている。

請求項５に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記撮像素子に入射する光束を制限する絞りと、主要被写体を認識する認識手段と、前記認識した主要被写体に応じて前記絞りのＦ値を制御する絞り制御手段と、を備え、前記絞り制御手段は、前記認識された主要被写体が人物又は風景の場合には、前記絞りの開口が大きくなるように制御することを特徴としている。請求項５に係る発明によれば、主要被写体に最適な視差量をもった画像を撮影することができる。主要被写体が人物の場合は、視差を強めにすることで、人物の立体感を強調することができる。また、風景の場合、被写体距離が遠方にあることが多いため、視差を強めにして立体感を出すようにしている。

請求項６に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記撮像素子に入射する光束を制限する絞りと、撮影モードを選択する選択手段と、前記選択された撮影モードに応じて前記絞りのＦ値を制御する絞り制御手段と、を備え、前記絞り制御手段は、前記選択された撮影モードが人物モード又は風景モードの場合には、前記絞りの開口が大きくなるように制御し、マクロモードの場合には、前記絞りの開口が小さくなるように制御することを特徴としている。請求項６に係る発明によれば、撮影モードに適した視差量をもった画像を撮影することができ、撮影モードが人物モードの場合は、視差を強めにすることで人物の立体感を強調し、風景モードの場合、被写体距離が遠方にあることが多いため、視差を強めにして立体感を出すようにしている。また、マクロモードによるマクロ撮影の場合、被写体距離が近いため、視差が大きくなりがちな被写体が多くなるため、被写体の視差を弱めにするようにしている。

請求項７に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向に異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記撮像素子に入射する光束を制限する絞りと、１回の撮影指示動作により前記絞りのＦ値を変えて複数回の本撮影を行う絞りブラケティング撮影手段と、を備えたことを特徴としている。

請求項７に係る発明によれば、１回の撮影指示動作により同一被写体に対して視差量の
異なる立体視用の画像（第１、第２の画像）を２枚撮影することができる。

請求項８に示すように請求項７に記載の立体撮像装置において、前記絞りブラケティング撮影手段は、各撮影時の絞りのＦ値を変えるとともに、各撮影時の露出量を一定に制御することを特徴としている。即ち、２枚の立体視用の画像は、視差は異なるが、明るさは同じにすることができる。

請求項９に示すように請求項７又は８に記載の立体撮像装置において、前記絞りブラケティング撮影手段による複数回の本撮影時に前記撮像素子からそれぞれＦ値の小さい画像とＦ値の大きい画像とを取得する手段と、前記取得したＦ値の小さい画像及びＦ値の大きい画像に基づいてそれぞれ第１の視差量及び第２の視差量を算出する視差算出手段と、前記取得したＦ値の大きい画像及び前記算出した第１、第２の視差量に基づいて左右視点画像を生成する画像生成手段と、を備えたことを特徴としている。

Ｆ値の小さい画像は視差を大きくすることができるが、合焦位置以外の被写体はボケやすく、一方、Ｆ値の大きい画像は視差を大きくすることができないが、ボケにくくなる。請求項１２に係る発明によれば、視差量が大きく、かつ合焦位置以外の被写体もボケにくい左右視点画像を生成することができる。

請求項１０に示すように請求項９に記載の立体撮像装置において、前記視差算出手段により算出された視差量が所定の最大値を越えないように制限する視差量制限手段を備え、前記画像生成手段は、前記左右視点画像の生成時に前記視差量制限手段により制限された視差量を使用することを特徴としている。これにより、左右視点画像の視差が強くなりすぎることを防ぐことができる。

請求項１１に示すように請求項９又は１０に記載の立体撮像装置において、前記視差算出手段により算出された視差量に基づいて撮影画角内の動体の有無を判別する動体判別手段と、前記画像生成手段は、前記動体判別手段により動体があると判別されると、前記左右視点画像の生成を中止することを特徴としている。絞りブラケティング撮影手段による複数回の撮影には時間差があるため、撮影画角内に動体が存在すると、良好な左右視点画像を生成することができない。そこで、動体が検知された場合には、左右視点画像の生成を中止し、立体視に適さない画像が生成されないようにしている。

請求項１２に示すように請求項１１に記載の立体撮像装置において、前記動体判別手段は、前記視差算出手段により算出された前記第１の視差量と第２の視差量との対応する画素の差分値が、該画素における規定範囲の上限値又は下限値を越える場合に動体が存在すると判別することを特徴としている。

請求項１３に示すように請求項９から１２のいずれかに記載の立体撮像装置において、立体画像表示手段と、前記取得したＦ値の小さい画像、Ｆ値の大きい画像、及び前記生成した左右視点画像をそれぞれ前記立体表示手段に表示させる表示制御手段と、前記立体画像手段に表示された画像のうち記録媒体に記録する画像の指示をユーザからの入力により受け付ける入力手段と、前記ユーザにより指示された画像を前記記録媒体に記録する記録手段と、を備えたことを特徴としている。これにより、３枚の立体視用の画像のうちの最適な画像を選択して記録することができる。

請求項１４に示すように請求項１から１３のいずれかに記載の立体撮像装置において、前記撮像素子は、該撮像素子の露光領域の略全面において、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記第１の画像及び第２の画像の読み出しが可能な撮像素子であることを特徴としている。

これにより、複数の撮像素子を使用する立体撮像装置に比べて装置の小型化を図ることができる。

本発明によれば、立体撮像装置において、左視点画像と右視点画像との視差を自動的に最適化することができ、立体視に好適な立体視画像を取得することができる。

本発明に係る立体撮像装置の実施の形態を示すブロック図 位相差ＣＣＤの構成例を示す図 撮影光学系と位相差ＣＣＤの主、副画素の１画素ずつを示した図 図３の要部拡大図 遠い被写体と近い被写体を撮影した場合の３Ｄ画像のイメージ図 本発明の第１の実施形態の立体撮像装置の撮影動作を示すフローチャート 本発明の第２の実施形態の立体撮像装置の撮影動作を示すフローチャート 撮影画角内の被写体の視差量を説明するために用いた図 背面に液晶モニタを備えた立体撮像装置の背景図 本発明の第３の実施形態の立体撮像装置の撮影動作を示すフローチャート 本発明の第３の実施形態を説明するために用いた図 本発明の第４の実施形態の立体撮像装置の撮影動作を示すフローチャート 本発明の第５の実施形態を説明するために用いた図 本発明の第５の実施形態の立体撮像装置の撮影動作を示すフローチャート 本発明の第５の実施形態による左右視点画像の生成方法を説明するために用いた図 本発明の第６の実施形態の立体撮像装置の撮影動作を示すフローチャート 本発明の第７の実施形態の立体撮像装置１０の撮影動作を示すフローチャート 従来の立体撮像装置の光学系の一例を示す図 立体撮像装置により位相差のある画像が撮像される原理を示す図

以下、添付図面に従って本発明に係る立体撮像装置の実施の形態について説明する。

［立体撮像装置の全体構成］
図１は本発明に係る立体撮像装置１０の実施の形態を示すブロック図である。

この立体撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る絞りブラケティング撮影モードを選択する選択手段である。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、撮影光学系（ズームレンズ）１２、絞り１４を介して位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ」という）１６の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。

また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、位相差ＣＣＤ１６からの画像信号の読み出し制御等を行う。

＜位相差ＣＣＤの構成例＞
図２は位相差ＣＣＤ１６の構成例を示す図である。

位相差ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。尚、前記位相差ＣＣＤ１６の全ラインの画素を順次読み出し、その後、奇数ラインの画素からなる主画像と、偶数ラインの画素からなる副画像とを分離するようにしてもよい。

図２に示すように位相差ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図３は撮影光学系１２、絞り１４、及び位相差ＣＣＤ１６の主、副画素の１画素ずつを示した図であり、図４は図３の要部拡大図である。

図４（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、位相差ＣＣＤ１６の主画素及び副画素には遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。

尚、上記構成の位相ＣＣＤ１６は、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

図１に戻って、位相差ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。

尚、図１において、４６は、撮影画角内の人物の顔を検出し、その顔を含むエリアをＡＦエリア、ＡＥエリアとして設定するための公知の顔検出回路である（例えば、特開平９−１０１５７９号公報）。また、４７は、カメラ制御プログラム、位相差ＣＣＤ１６の欠陥情報、プログラム線図、画像処理等に使用する各種の補正パラメータやテーブル等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。

ここで、図２（Ｂ）及び（Ｃ）に示すように、位相差ＣＣＤ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。

デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、位相差ＣＣＤ１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値及び位相差ＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間を制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。

［第１の実施形態］
次に、本発明の第１の実施形態の立体撮像装置１０について説明する。

図５（Ａ）及び（Ｂ）はそれぞれ遠い被写体と近い被写体を撮影した場合のイメージ図である。

図５（Ａ）及び（Ｂ）において、ピントを合わせた位置（ピント位置）の主要被写体（この例では人物）は、主画像と副画像の分離量（位相差）が０であるが、その前景、背景の被写体は、主画像と副画像とで位相差が生じる。

図５（Ａ）に示すように遠い被写体は分離量が小さくなり、立体感が乏しくなり、一方、図５（Ｂ）に示すように近い被写体は分離量が大きくなり、その分離量が融合限界を越えると、立体視ができなくなる。

そこで、本発明の第１の実施形態では、被写体距離に応じて絞りのＦ値を制御（即ち、分離量を制御）し、被写体の遠近にかかわらず、目に負担のかからない自然な立体視用の主画像及び副画像を取得できるようにしている。

図６は本発明の第１の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。

図６において、ＣＰＵ４０は、シャッタボタンが半押し（Ｓ１がＯＮ）されたか否かを判別する（ステップＳ１０）。シャッタボタンが半押しされると（「YESの場合」）、ステップＳ１２に遷移する。

ステップＳ１２では、ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、また、ＡＦ処理部４２によりコントラストＡＦ処理又は位相ＡＦ処理を行わせ、撮影光学系１２のフォーカスレンズを移動させてＡＦエリアにピントを合わせる処理を行う。尚、ステップＳ１２でのＡＥ処理では、撮影Ｅｖ値を算出するが、絞り１４のＦ値及びシャッタ速度の決定は行わない。

続いて、ＣＰＵ４０は、撮影画角内の被写体距離の算出を行う（ステップＳ１４）。この被写体距離は、ステップＳ１２におけるＡＦ処理時の情報から算出してもよいし、図示しない外部の測距手段により算出するようにしてもよい。また、撮影画角内に複数の被写体が存在する場合には、最も近い被写体、又はＡＦエリアの被写体（主要被写体）の距離を算出する。

次に、ＣＰＵ４０は、ステップＳ１４により算出した被写体距離に基づいて絞り１４のＦ値を決定し（ステップＳ１６）、また、この決定したＦ値と前記算出した撮影Ｅｖ値によりシャッタ速度を決定する。

上記Ｆ値は、最も近い被写体の距離又は主要被写体の距離に応じて、距離が近いほどＦ値を大きく（絞り開口を小さく）し、距離が遠いほどＦ値を小さく（絞り開口を大きく）するように決定する。

その後、ＣＰＵ４０は、シャッタボタンが全押し（Ｓ２がＯＮ）されたか否かを判別し（ステップＳ１８）、全押しされていない場合（「NOの場合」）には、ステップＳ２０に遷移し、ここで再度、シャッタボタンが半押し（Ｓ１がＯＮ）されているか否かを判別する。

一方、シャッタボタンが全押し（Ｓ２がＯＮ）されると、ステップＳ１６で決定したＦ値、及びシャッタ速度で本撮影（本露光）する（ステップＳ２２）。この本撮影時に位相差ＣＣＤ１６から読み出された主画像及び副画像は、それぞれデジタル信号処理部２４により画像処理される（ステップＳ２４）。その後、主画像及び副画像の２枚の画像は、それぞれ圧縮伸長処理部２６に圧縮処理されたのちＭＰファイルに格納され、メモリカード５４に記録される（ステップＳ２６）。

［第２の実施形態］
図７は本発明の第２の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図６に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図７に示すように第２の実施形態は、図６のステップＳ１４、Ｓ１６の代わりに、ステップＳ３０、Ｓ３２の処理を行う点で、第１の実施形態と相違する。

ステップＳ３０は、シャッタボタンの半押し時に取得された主画像と副画像の対応点の視差量を算出する。この視差量の算出は、一方の画像（例えば、主画像）を基準にして、他方の画像（副画像）の対応する画素を求める。この対応する画素を求める方法としては、例えばブロックマッチング法を適用することができる。そして、主画像の全ての画素について、副画像上で対応する画素との視差を求めることにより、一画面分の視差を示す視差マップを作成する。

ステップＳ３２では、上記のようにして作成された視差マップから撮影画角内の被写体の分離量（視差量）を求め、その視差量に基づいて本撮影時の絞り１４のＦ値を決定する。

いま、図８に示すように撮影画角内の主要被写体、前景、背景などの視差量が求められたとすると、主要被写体（合焦位置＝視差量０）よりも前景の視差量と背景の視差量を求めることができる。ここで、前景の視差量と背景の視差量は符号が異なるため、全体の視差量は、前景の視差量と背景の視差量のそれぞれの絶対値の和になる。前記ステップＳ３２では、上記全体の視差量が予め設定された視差量（適正な立体感が得られる所定の視差量）になるように本撮影時の絞り１４のＦ値を決定する。

尚、主要被写体が最も近い被写体の場合には、背景の視差量がそのまま全体の視差量になる。また、前景があるシーンでは、その前景の視差量が所定の視差量になるように絞り１４のＦ値を決定するようにしてもよい。なぜならば、背景の視差量が３Ｄ表示の奥行き感に関係するのに対し、前景の視差量は３Ｄ表示の飛び出し量に関係し、より立体感を出すために重要だからである。

上記のように決定されたＦ値によりシャッタも決定され、その後、シャッタボタンが全押しされると、前記決定した露出条件（Ｆ値、シャッタ速度）で本撮影が行われる（ステップＳ２２）。

本発明の第２の実施形態によれば、撮影前の被写体の視差量に応じて、その視差量が適正な視差量になるように絞り１４のＦ値を制御して本撮影するようにしたため、自然な立体視用の主画像及び副画像を取得することができる。

＜第２の実施形態の変形例１＞
本撮影前の被写体の視差量を算出するために、事前に主画像及び副画像を取得するが、このときの絞り１４は開放絞りにする。これにより、制御可能な最大の視差量を把握することができ、本撮影時の視差調整の精度を上げることができ、また、明るい画像を使用して視差量を算出することができる。

＜第２の実施形態の変形例２＞
マクロ撮影の場合には視差が強くなりすぎ、風景の場合には視差が弱くなりすぎ、Ｆ値を変えても予め設定された所定の視差量になるように視差量を制御できない場合が考えられる。

そこで、事前の把握した視差量からＦ値を制御しても本撮影される画像の視差が所定の範囲に入らない場合には、図９に示すように立体撮像装置１０の背面の液晶モニタ３０に警告（視差 強、視差 弱）などを表示する。

ユーザは、この警告表示により撮影を中断し、ズーム倍率や撮影位置などを変えることにより適切な３Ｄ画像の撮影を行うことができる。尚、警告表示が行われてもそのまま本撮影を実行してもよい。

［第３の実施形態］
図１０は本発明の第３の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図６に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１０に示すように第３の実施形態は、図６のステップＳ１４、Ｓ１６の代わりに、ステップＳ４０、Ｓ４２の処理を行う点で、第１の実施形態と相違する。

ステップＳ４０は、シャッタボタンの半押し時に取得された画像に基づいて撮影画角内の主要被写体の認識を行う。この実施形態の立体撮像装置１０は、撮影画角内の人物の顔を検出する顔検出回路４６を備えているため、主要被写体として人物を認識することができるが、その他、公知のオブジェクト認識技術を使用することで、風景、建物などの主要被写体を認識することができる（特開２００９−８９０８４号公報）。

ステップＳ４２では、ステップＳ４０で認識された主要被写体に応じて絞り１４のＦ値を決定する。

図１１に示すように撮影画角内の主要被写体（合焦位置の被写体）として、人物が認識された場合には、視差が強めになるようにＦ値を決定し、人物の立体感を強調できるようにする。また、主要被写体として風景が認識された場合には、被写体距離が遠方にあり、視差が小さいことが予想されるため、視差が強めになるようにＦ値を決定する。また、主要被写体として花が認識された場合には、被写体距離が近く、視差が強めになることが考えられるため、視差が弱めになるようにＦ値を決定する。

尚、この第３の実施形態におけるＦ値の決定は、予め主要被写体の種別毎にその主要被写体に対応するＦ値をＲＯＭ４７に記憶させておき、撮影前に認識された主要被写体に応じてＲＯＭ４７からＦ値を読み出すことにより行うようにしてもよいし、ステップＳ１２において、所定のプログラム線図にしたがって決定されたＦ値に対して、そのＦ値を視差が広がる方向、又は狭まる方向に変更することにより決定するようにしてもよい。

本発明の第３の実施形態によれば、撮影前に認識した主要被写体に応じてその主要被写体に適した視差量をもった画像を撮影することができる。

［第４の実施形態］
図１２は本発明の第４の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図１０に示した第３の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１２に示すように第４の実施形態は、図１０のステップＳ４０、Ｓ４２の代わりに、ステップＳ５０、Ｓ５２の処理を行う点で、第３の実施形態と相違する。

ステップＳ５０は、撮影前に操作部３８のモードダイヤルにより選択されている撮影モードの情報を取得する。ここで取得される撮影モードの情報には、人物、風景、夜景等のシーンポジションの選択による人物モード、風景モードの他、マクロモード、動画モードの情報が含まれる。

ステップＳ５２では、ステップＳ５０により取得された撮影モードの情報に応じて絞り１４のＦ値を決定する。

即ち、人物を撮影する人物モード、又は風景を撮影する風景モーが設定されている場合には、第３の実施形態と同様に、視差が強めになるようにＦ値を決定し、また、マクロモードが設定されている場合には、視差が弱めになるようにＦ値を決定する。また、３Ｄ動画モードの場合には、視差が弱めになるようにＦ値を設定し、３Ｄ動画の鑑賞時に目が疲れないようにする。

本発明の第４の実施形態によれば、撮影前に取得した撮影モードに応じてその撮影モードに適した視差量をもった画像を撮影することができる。

［第５の実施形態］
第５の実施形態の立体撮像装置１０は、操作部３８のモードダイヤルにより絞りブラケティング撮影モードが選択されると、以下に示す絞りブラケティング撮影を行う。

ここで、絞りブラケティング撮影は、１回のシャッタレリーズで連続して２回以上の撮影を行う際に、各撮影時のＦ値を変更するものである。尚、この絞りブラケティング撮影は、各撮影時のＦ値を変更するが、露出量を変更しない点で、一般のオートブラケティング撮影（露出量を変更するもの）とは異なるものである。

図１３（Ａ）及び（Ｂ）に示すように、Ｆ値が小さい（明るい）主画像と副画像の対応点（手前にいる人の右目）の視差量Ａは、Ｆ値が大きい（暗い）主画像と副画像の対応点（手前にいる人の右目）の視差量Ｂよりも大きくなる（Ａ＞Ｂ）。一方、Ｆ値の小さい画像は、合焦位置以外の被写体はボケやすく、Ｆ値の大きい画像は合焦位置以外の被写体がボケにくくなる。

第５の実施形態では、これらの画像を使用して視差が大きく、かつ合焦位置以外の被写体もボケにくい画像を生成する。

図１４は本発明の第５の実施形態の立体撮像装置１０の撮影動作を示すフローチャートであり、上記絞りブラケディング撮影モード時の撮影動作に関して示している。尚、図６に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１４において、ステップＳ６０では、絞りブラケティング撮影時の２つのＦ値（Ｆ値１、Ｆ値２）を決定する。いま、Ｆ値１＜Ｆ値２とすると、Ｆ値１で撮影される画像の視差は大きく、Ｆ値２で撮影される画像の視差は小さくなる。

前記Ｆ値１としては、絞り１４の開放Ｆ値とすることができ、Ｆ値２としては、絞り１４の最小絞りとすることができるが、これに限らず、前述した第１から４の実施形態に示した方法によりＦ値１を決定してもよい。また、Ｆ値２としては、絞り１４の最小絞りのＦ値に限らず、被写体の明るさ（被写体輝度）に基づいて可能な限り大きなＦ値になるように決定するようにしてもよい。また、絞りブラケティング撮影は、２種類のＦ値による２回の撮影に限らず、３種類以上のＦ値による３回以上の撮影でもよい。

尚、ステップＳ６０では、上記Ｆ値１、２の決定に伴って、ステップＳ１２で測光した撮影Ｅｖ値に基づいてそれぞれシャッタ速度Ｖ１、Ｖ２を決定し、本撮影時の露出量が一定になるようにする。

ここで、シャッタボタンが全押し（Ｓ２がＯＮ）されると、Ｆ値１、シャッタ速度Ｖ１の露出条件で本撮影し、位相差ＣＣＤ１６から第１の主画像、副画像を取得する（ステップＳ６２）。続いて、Ｆ値２、シャッタ速度Ｖ２の露出条件で本撮影し、位相差ＣＣＤ１６から第２の主画像、副画像を取得する（ステップＳ６４）。これらの２回の撮影間隔は可能な限り短いことが好ましい。また、ステップＳ６２とステップＳ６４はその順番を入れ替えてもよい。

次に、ステップＳ６２、ステップＳ６４により取得した第１の主画像、副画像、及び第２の主画像、副画像のそれぞれの視差量を算出する（ステップＳ６６）。

視差量の算出は、一方の画像（例えば、主画像）を基準にして、他方の画像（副画像）の対応する画素を求める。この対応する画素を求める方法としては、例えばブロックマッチング法を適用することができる。そして、主画像の全ての画素について、副画像上で対応する画素との視差を求めることにより、一画面分の視差を示す視差マップを作成する。これにより、視差量の大きい第１の視差マップと、視差量の小さい第２の視差マップを作成することができる。

次に、第２の主画像、副画像と、第１、第２の視差マップを使用して、視差が大きく、かつ合焦位置以外の被写体もボケにくい画像（左右視点画像）を生成する（ステップＳ６８）。この左右視点画像の生成方法について、図１５を参照しながら説明する。

図１５に示すように中央の人物にピントが合うようにＡＦ制御された画像の場合、その人物には視差は発生しない（視差０である）。図１５に示すように中央の人の右目の位置は、Ｆ値にかかわらず、通常のＣＣＤ（本発明に係る位相差ＣＣＤ１６以外のＣＣＤ）で撮影される画像のものと一致する。

一方、奥側にいる人の右目の位置は、Ｆ値が小さい（明るい）もの程、その位置が大きくずれる（視差量が大きくなる）。

ここで、Ｆ値が小さい（明るい）第１の主画像、副画像内の奥側にいる人の右目の位置の視差量をＡ、Ｆ値が大きい（暗い）第２の主画像、副画像内の奥側にいる人の右目の位置の視差量をＢとすると、Ｆ値が暗い右目の位置を、（Ａ−Ｂ）／２だけ移動させると、Ｆ値が明るい右目の位置と一致する。これを、第２の主画像の全画素にわたって行うことにより、第２の主画像を第１の主画像と同じ視差をもった画像にすることができる。尚、上記視差量Ａ、Ｂは、それぞれ第１、第２の視差マップから読み出すことができる。

また、第２の副画像についても同様の処理を行うことで、第２の副画像を第１の副画像と同じ視差をもった画像にすることができる。

これにより、ボケの少ない第２の主画像、副画像を使用し、かつ視差量の大きな第１の主画像、副画像と同じ視差量をもった画像（左右視点画像）を生成することができる。

図１４に戻って、上記のようにして生成された左右視点画像は、メモリカード５４に記録される（ステップＳ２６）。

尚、メモリカード５４には、生成された左右視点画像に限らず、第１の主画像、副画像及び第２の主画像、副画像の３枚の３Ｄ画像を記録するようにしてもよい。また、絞りブラケティング撮影時には、第１の主画像、副画像及び第２の主画像、副画像のみを記録し、その後の再生時等に左右視点画像の生成や記録を行うようにしてもよい。

＜第５の実施形態の変形例＞
この変形例では、図１４のステップＳ６６で算出された視差量の大きい第１の視差マップに保存される視差量に対して、一定の視差量（例えば、飛び出し方向の視差を制限する基準値、及び奥行き方向の視差を制限する基準値）を越えないように制限をする。

このように第１の視差マップに保存される視差量が一定の視差量を越えないように制限することにより、視差が強くなりすぎる左右視点画像が生成されないようにする。

［第６の実施形態］
図１６は本発明の第６の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図１４に示した第５の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１６に示すように第６の実施形態は、図１４のステップＳ６６とＳ６８の間に、ステップＳ７０の処理が追加されている点で、第５の実施形態と相違する。

ステップＳ７０では、ステップＳ６６で生成された第１の視差マップ上での視差の変化と第２の視差マップ上での視差の変化とで異なる傾向があるか否かを判別し、視差の変化に異なる傾向がある場合には、動体が存在すると判断する。

具体的には、第１の視差マップと第２の視差マップとの視差量の差分値が、Ｆ値と視差量もしくは被写体距離に基づいて定められる規定範囲の上限値又は下限値を越える場合には、動体が存在すると判断する。

例えば、第１の視差マップ上のある画素の視差量がｎ画素の場合、Ｆ値を変化させた第２の視差マップ上ではｍ画素になることが、Ｆ値と視差量もしくは被写体距離から計算で求めることができる。従って、第１の視差マップ上のある画素の視差量と、その画素に対応する第２の視差マップ上の画素の視差量との差分が、上記のようにして求めた視差量の差分（ｎ−ｍ）に基づいて定められる規定範囲の上限値又は下限値を越える場合には、動体が存在すると判断することができる。尚、上記Ｆ値と視差量もしくは被写体距離から算出される、他方の視差マップ上での視差量の算出は、Ｆ値の小さい第１の視差マップの視差量を用いることでより精度を向上させることができる。また、動体はある程度の面積を有するため、動体と判断される画素が複数画素以上連続している場合に、動体が存在すると判断することにより動体の検出精度を向上させることができる。

そして、撮影画角内に動体が存在すると判断すると（「YESの場合」）、左右視点画像を生成するステップＳ６８をジャンプし（左右視点画像の生成を中止し）、ステップＳ２６に遷移する。この場合、ステップＳ２６では、第１の主画像と副画像、又は第２の主画像と副画像を記録する。

即ち、絞りブラケティング撮影による２回の撮影には時間差があるため、撮影画角内に動体が存在すると、良好な左右視点画像を生成することができない。そこで、動体が検知された場合には、左右視点画像の生成を中止し、立体視に適さない画像が生成されないようにしている。

［第７の実施形態］
図１７は本発明の第７の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図１４に示した第５の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１７に示すように第７の実施形態は、図１４のステップＳ６８とＳ２６の間に、ステップＳ８０、Ｓ８２の処理が追加されている点で、第５の実施形態と相違する。

ステップＳ８０では、絞りブラケティング撮影により取得した第１の主画像と副画像、第２の主画像と副画像（ステップＳ６２、Ｓ６４）、及びステップＳ６８で生成した左右視点画像の３枚の立体視用の３Ｄ画像を液晶モニタ３０に同時に、又は１枚ずつ順次表示させる。

ユーザは、操作部３８を使用して３枚の３Ｄ画像のうちの所望の３Ｄ画像を記録画像として選択することができる。

ステップＳ８２では、操作部３８からの３Ｄ画像の選択入力とその記録指示入力を監視し、記録指示入力があると、ステップＳ２６に遷移させ、ここで、ユーザにより選択された３Ｄ画像の記録を行わせる。

これにより、３枚の３Ｄ画像のうちの適切な視差量をもった３Ｄ画像、又はユーザの好みの３Ｄ画像を記録することができる。

［その他］
この実施の形態の立体撮像装置１０は、１つの位相差ＣＣＤ１６を使用しているため、図１６に示す２つの撮像素子７、８を使用するものに比べて、装置の小型化を図ることができるが、本発明は、１つの撮像素子を使用するものに限らず、図１８に示した従来の光学系及び撮像素子を有するものにも適用できる。

また、撮像素子は、この実施の形態のＣＣＤセンサに限らず、ＣＭＯＳセンサ等の撮像素子でもよい。

また、上記の実施形態では、左右方向に瞳分割された被写体像を示す主画像、副画像を得るようにしたが、瞳分割される被写体像の数は２つに限定されず、また、瞳分割する方向も左右方向に限らず、上下左右方向に瞳分割するようにしてもよい。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…立体撮像装置、１２…撮影光学系、１４…絞り、１６…撮像素子（位相差ＣＣＤ）、３０…液晶モニタ、３２…ＣＣＤ制御部、３４…絞り駆動部、３６…レンズ駆動部、３８…操作部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ処理部、４４…ＡＥ検出部、４６…顔検出回路、４７…ＲＯＭ

Claims (14)

1. 単一の撮影光学系と、
   前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、
   前記撮像素子に入射する光束を制限する絞りと、
   撮影画角内の最も近い被写体の距離又は主要被写体の距離を取得する手段と、
   前記取得した最も近い被写体の距離又は主要被写体の距離に基づいて、前記第１の画像及び第２の画像の視差が所定の範囲になるように前記絞りのＦ値を制御する絞り制御手段であって、距離が近いほど前記絞りのＦ値を大きくし、距離が遠いほど前記絞りのＦ値を小さくする絞り制御手段と、
   を備えたことを特徴とする立体撮像装置。
2. 単一の撮影光学系と、
   前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、
   前記撮像素子に入射する光束を制限する絞りと、
   本撮影前に前記第１の画像及び第２の画像を取得する手段と、
   前記本撮影前に取得した第１の画像及び第２の画像に基づいて撮影画角内の被写体の視差量を検出する視差量検出手段と、
   前記検出された視差量に基づいて本撮影時に前記撮像素子から出力される前記第１の画像及び第２の画像の視差量が、予め設定された適正な立体感が得られる視差量になるように前記絞りのＦ値を制御する絞り制御手段と、
   を備えたことを特徴とする立体撮像装置。
3. 前記絞り制御手段は、本撮影前の前記第１の画像及び第２の画像の取得時に前記絞りを開放状態にすることを特徴とする請求項２に記載の立体撮像装置。
4. 前記本撮影前に取得した第１の画像及び第２の画像に基づいて撮影画角内の被写体の視差量を検出する視差量検出手段と、
   前記検出された視差量に基づいて本撮影時に得られる前記第１の画像及び第２の画像の視差量が前記予め設定された適正な立体感が得られる視差量に入らない場合に警告を表示する警告手段と、
   を備えたことを特徴とする請求項２又は３に記載の立体撮像装置。
5. 単一の撮影光学系と、
   前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、
   前記撮像素子に入射する光束を制限する絞りと、
   主要被写体を認識する認識手段と、
   前記認識した主要被写体に応じて前記絞りのＦ値を制御する絞り制御手段と、を備え、
   前記絞り制御手段は、前記認識された主要被写体が人物又は風景の場合には、前記絞りの開口が大きくなるように制御することを特徴とする立体撮像装置。
6. 単一の撮影光学系と、
   前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、
   前記撮像素子に入射する光束を制限する絞りと、
   撮影モードを選択する選択手段と、
   前記選択された撮影モードに応じて前記絞りのＦ値を制御する絞り制御手段と、を備え、
   前記絞り制御手段は、前記選択された撮影モードが人物モード又は風景モードの場合には、前記絞りの開口が大きくなるように制御し、マクロモードの場合には、前記絞りの開口が小さくなるように制御することを特徴とする立体撮像装置。
7. 単一の撮影光学系と、
   前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、
   前記撮像素子に入射する光束を制限する絞りと、
   １回の撮影指示動作により前記絞りのＦ値を変えて複数回の本撮影を行う絞りブラケティング撮影手段と、
   を備えたことを特徴とする立体撮像装置。
8. 前記絞りブラケティング撮影手段は、各撮影時の絞りのＦ値を変えるとともに、各撮影時の露出量を一定に制御することを特徴とする請求項７に記載の立体撮像装置。
9. 前記絞りブラケティング撮影手段による複数回の本撮影時に前記撮像素子からそれぞれＦ値の小さい画像とＦ値の大きい画像とを取得する手段と、
   前記取得したＦ値の小さい画像及びＦ値の大きい画像に基づいてそれぞれ第１の視差量及び第２の視差量を算出する視差算出手段と、
   前記取得したＦ値の大きい画像及び前記算出した第１、第２の視差量に基づいて左右視点画像を生成する画像生成手段と、
   を備えたことを特徴とする請求項７又は８に記載の立体撮像装置。
10. 前記視差算出手段により算出された視差量が所定の最大値を越えないように制限する視差量制限手段を備え、
    前記画像生成手段は、前記左右視点画像の生成時に前記視差量制限手段により制限された視差量を使用することを特徴とする請求項９に記載の立体撮像装置。
11. 前記視差算出手段により算出された視差量に基づいて撮影画角内の動体の有無を判別する動体判別手段と、
    前記画像生成手段は、前記動体判別手段により動体があると判別されると、前記左右視点画像の生成を中止することを特徴とする請求項９又は１０に記載の立体撮像装置。
12. 前記動体判別手段は、前記視差算出手段により算出された前記第１の視差量と第２の視差量との対応する画素の差分値が、該画素における規定範囲の上限値又は下限値を越える場合に動体が存在すると判別することを特徴とする請求項１１に記載の立体撮像装置。
13. 立体画像表示手段と、
    前記取得したＦ値の小さい画像、Ｆ値の大きい画像、及び前記生成した左右視点画像をそれぞれ前記立体画像表示手段に表示させる表示制御手段と、
    前記立体画像表示手段に表示された画像のうち記録媒体に記録する画像の指示をユーザからの入力により受け付ける入力手段と、
    前記ユーザにより指示された画像を前記記録媒体に記録する記録手段と、
    を備えたことを特徴とする請求項９から１２のいずれかに記載の立体撮像装置。
14. 前記撮像素子は、該撮像素子の露光領域の略全面において、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記第１の画像及び第２の画像の読み出しが可能な撮像素子であることを特徴とする請求項１から１３のいずれかに記載の立体撮像装置。

Images