JP5502205B2 - 立体撮像装置および立体撮像方法 - Google Patents

Description

本発明は立体撮像装置および立体撮像方法に係り、特に撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する技術に関する。

従来、単眼立体撮像装置として、図１１に示す光学系を有するものが知られている（特許文献１）。

この光学系は、メインレンズ１およびリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。

図１２（Ａ）〜（Ｃ）は、それぞれ前ピン、合焦（ベストフォーカス）、および後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。なお、図１２では、フォーカスによる分離の違いを比較するために、図１１に示したミラー４を省略している。

図１２（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１２（Ａ）および（Ｃ）に示すように前ピンおよび後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。

従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視点の異なる左視点画像および右視点画像（３Ｄ画像）を取得することができる。

特許文献２は複眼立体撮像装置の一例である。この撮像装置は、撮影した３Ｄ画像から手ぶれを測定し、手ぶれ補正量が所定量を超える場合に、立体視に不適であると判定し、撮影画像データを２Ｄデータ作成部に出力させる。

特許文献３は複眼立体撮像装置の手ぶれ補正機構の一例である。

特許文献４はステレオアダプタを装着した単眼カメラの手ぶれ補正機構の一例である。

特許文献５は光学式の手ぶれ補正機構を備えたカメラの一例である。ヨー方向の手ぶれ量ωｘとピッチ方向の手ぶれ量ωｙは、それぞれ、ｘ方向の加速度ａ１ｘ・ａ２ｘとｙ方向の加速度ａ１ｙ・ａ２ｙとから、ｙ軸回りの変位角θｘと角速度ωｘ、ｘ軸回りの変位角θｙと角速度ωｙを算出することで求められる。

被写体となる物体をズームレンズ等の光学系により撮像素子の撮像面上に結像した場合、撮像素子で撮像した像は元の物体に比べて光学系の収差の影響によりボケが生じ、画質が劣化することが知られている。この時の像による画像の強度分布ｇは、元の物体の輝度分布ｆと光学系の結像性能を表す点像強度分布ｈの畳み込み（Convolution ）にノイズｎが加わった
ｇ＝ｆ＊ｈ＋ｎ （＊は畳み込み積分） ・・・（Ａ）
で表される。ｇ、ｈ、ｎを既知として、式（Ａ）から元の物体の輝度分布ｆを求めることができる。このようにして、光学系のボケを信号処理により取り除き、理想的な像を得る技術は、像の「復元」、「逆畳み込み」、あるいは「デコンボリューション（Deconvolution ）」と呼ばれている。点像強度分布（ＰＳＦ）に基づく復元フィルタは、撮像時の画像の劣化に関する情報、例えば撮影条件（露光時間、露光量、被写体までの距離、焦点距離等）や撮像装置の特性情報（レンズの光学特性、撮像装置の識別情報等）等を考慮して生成される（特許文献６）。

ボケによる劣化モデルは、関数によって表現することができる。例えば、中心画素からの距離（像高）をパラメータとする正規分布でボケ現象を表現することができる（特許文献７）。

特許文献８は撮像装置の絞り制御の一例を示す。カメラは、電子ズームによる撮影時には、extra開放絞りを使用して、固体撮像素子への光量を増やすように制御される。これにより、シャッタスピードを高速化でき、手ぶれを防止することができる。また、撮影光学系の焦点距離がTELE側になるほど手ぶれしやすくなるが、低解像度で撮影した場合は、多少手ぶれしても目立たない場合がある。従って、手ぶれによる画像のボケ量（ぶれ量）を計算し、求めたボケ量と extra開放での像性能データと比較し、手ぶれによるボケ量の方が像性能の劣化の影響を上回る場合には、 extra開放絞りを利用して、シャッタスピードを速くし、手ぶれと像性能のバランスのとれたポイントで撮影する。

特表2009-527007号公報 特開2005-167310号公報 特開2008-20543号公報 特開2005-045328号公報 特開2010-136269号公報 特開2008-172321号公報 特開2000-020691号公報 特開2009-58966号公報

画像結像手段の異なる瞳位置を通過した画像情報を選択的に取得することで視差画像を撮像して立体画像を生成する単眼立体撮像装置においては、合焦位置の視差が０となり、非合焦位置ではデフォーカス量に応じた視差が生じる。そのため、撮影時のパン操作などによって生じるぶれによって、非合焦位置でのデフォーカス量が影響を受けるため、立体画像の視差量が変動する問題がある。

本発明はこのような事情に鑑みてなされたもので、撮影時のぶれ状態に対応して適切な立体画像を生成することを目的とする。

本発明は、被写体からの光束を瞳分割により２つの光束に分割し、２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力可能な撮像部と、撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、光束の光量を検出する光量検出部と、光量検出部の検出した光量に応じ、所望の視差が得られるよう絞り部の開放量を制御する第１の絞り制御を実行可能な絞り制御部と、撮像部による画像の撮影時における被写体像のぶれ量を検出するぶれ検出部と、を備え、絞り制御部はぶれ検出部の検出したぶれ量が大きいほど絞り部の開放量を第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行する立体撮像装置を提供する。

ぶれ検出部の検出したぶれ量に応じて被写体像のぶれを光学的に補正するぶれ補正部と、ぶれ検出部の検出したぶれ量がぶれ補正部のぶれ補正可能な範囲内であるか否かを判定するぶれ量判定部を備え、絞り制御部は、ぶれ量判定部がぶれ量がぶれ補正可能な範囲外であると判定した場合、第２の絞り制御を実行する。

ぶれ補正部は、ぶれ量判定部がぶれ量がぶれ補正可能な範囲内であると判定した場合、被写体像のぶれを光学的に補正し、絞り制御部は、ぶれ量判定部がぶれ量がぶれ補正可能な範囲内であると判定した場合、第１の絞り制御を実行する。

被写体像のぶれ方向を検出するぶれ方向検出部と、ぶれ方向検出部の検出したぶれ方向が瞳分割の方向と一致するか否かを判定するぶれ方向判定部と、備え、絞り制御部は、ぶれ方向判定部がぶれ方向が瞳分割の方向と一致すると判定した場合、第２の絞り制御を実行する。

絞り制御部は、ぶれ方向判定部がぶれ方向が瞳分割の方向と不一致であると判定した場合、第１の絞り制御を実行する。

本発明は、立体撮像装置が、被写体からの光束を瞳分割により２つの光束に分割し、２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力するステップと、絞り部の開放量で光電変換素子群に結像する光束の光量を調整するステップと、光束の光量を検出するステップと、検出した光量に応じ、所望の視差が得られるよう絞り部の開放量を制御する第１の絞り制御を実行するステップと、画像の撮影時における被写体像のぶれ量を検出するステップと、検出したぶれ量が大きいほど絞り部の開放量を第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行するステップと、を実行する立体撮像方法を提供する。

本発明は、立体撮像装置が、被写体からの光束を瞳分割により２つの光束に分割し、２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力するステップと、絞り部の開放量で光電変換素子群に結像する光束の光量を調整するステップと、光束の光量を検出するステップと、検出した光量に応じ、所望の視差が得られるよう絞り部の開放量を制御する第１の絞り制御を実行するステップと、画像の撮影時における被写体像のぶれ量を検出するステップと、検出したぶれ量が大きいほど絞り部の開放量を第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行するステップと、を実行する立体撮像プログラムを提供する。

本発明は、ぶれ量が大きくなるほどより絞りを絞ることで、焦点深度を深くし、視差量を小さくすることで、ぶれが大きい時に立体効果を弱め、観察者に与える影響を小さくできる。

第１実施形態に係る単眼立体撮像装置のブロック図 瞳分割視差画像取得撮像素子ＣＣＤの構成例を示す図 主、副画素の１画素ずつを示した図 図３の要部拡大図 第１実施形態に係る撮像処理のフローチャート 絞りのＦ値により主画像と副画像の視差が変動する様子を示すイメージ図 第２実施形態に係る単眼立体撮像装置のブロック図 第２実施形態に係る撮像処理のフローチャート 第３実施形態に係る単眼立体撮像装置のブロック図 第３実施形態に係る撮像処理のフローチャート 従来の単眼立体撮像装置の一例を示す図 撮像素子に結像する像の分離状態を示す図

＜第１実施形態＞
図１は第１実施形態に係る単眼立体撮像装置１の実施の形態を示すブロック図である。

この単眼立体撮像装置１は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

単眼立体撮像装置１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて単眼立体撮像装置１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、および動画を撮影する動画モードのいずれかを選択する選択手段である。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、撮像レンズ１２、絞り１４を介して瞳分割視差画像を取得可能な位相差イメージセンサである固体撮像素子（以下、「ＣＣＤ」という）１６の受光面に結像される。撮像レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム（焦点距離）制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値（Ｆ値）Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。

また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。

＜ＣＣＤの構成例＞
図２はＣＣＤ１６の構成例を示す図である。

ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域（以下「ＯＢ領域」という）とを形成する。ＯＢ領域は、実際には、有効画素領域の周囲を取り囲むように形成される。

図２に示すようにＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図３は撮像レンズ１２、絞り１４、およびＣＣＤ１６の主、副画素の１画素ずつを示した図であり、図４は図３の要部拡大図である。

図４（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、図４（Ｂ）に示すようにＣＣＤ１６の主画素および副画素には遮光部材１６Ａが形成される。単眼立体撮像装置１を横置きにして撮像する場合、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の右半分又は左半分が遮光される。あるいは単眼立体撮像装置１を縦置きにして撮像する場合、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の上半分又は下半分が遮光される。マイクロレンズＬの光軸Ｉｃから右、左、上、あるいは下方向（例えば図４（Ｂ）では光軸Ｉｃより下方向）に所定量Δだけ偏位した位置には、遮光部材１６Ａの開口１６Ｂが設けられている。光束は開口１６Ｂを通過し、フォトダイオードＰＤの受光面に到達する。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。

なお、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分／左半分、あるいは上半分／下半分）が異なる。例えば、主画素では光束の左半分が制限され、副画素では光束の右半分が制限されると、主画素からは右の視点画像、副画素からは左の視点画像が得られる。あるいは、主画素では光束の上半分が制限され、副画素では光束の下半分が制限されると、主画素からは下の視点画像、副画素からは上の視点画像が得られる。上記構成のＣＣＤ１６は、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、ＣＣＤ１６の構成はこれに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよいし、ミラーにより瞳分割するもの（例えば図１１）でもよい。さらに、瞳分割数は２以上（例えば４、９、１６、・・）でもよい。

図１に戻って、ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正および感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

ここで、図２（Ｂ）および（Ｃ）に示すように，ＣＣＤ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。

デジタル信号処理部２４で処理された左視点画像データおよび右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ（ＬＣＤ）３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左視点画像および右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。ただし、液晶モニタ３０の構成は、これに限られず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作およびＡＥ動作を開始させ、レンズ駆動部３６を介して撮像レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出する。ＣＰＵ４０は、この撮影Ｅｖ値に基づいて適正露出が得られる絞り１４の絞り値およびＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定する。ＣＰＵ４０は、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御する（通常の絞り制御）とともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。なお、被写体の明るさは外部の測光センサに基づいて算出されてもよい。

ここで、所定のプログラム線図とは、被写体の明るさ（撮影ＥＶ値）に対応して、絞り１４の絞り値とＣＣＤ１６のシャッタスピードの組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものである。このプログラム線図に従って決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、所望の視差を有する主画像、副画像の撮影が可能となる。

例えば、所定のプログラム線図は、Ｆ値が1.4(ＡＶ＝１)の一定の値をとり、撮影ＥＶ値が７から１２までは撮影ＥＶ値に応じてシャッタ速度のみを1/60秒（ＴＶ＝６）から1/2000（ＴＶ＝１１）まで変化させるように設計されている。また、撮影ＥＶ値が７よりも小さくなると（暗くなると）、Ｆ値＝1.4、シャッタ速度＝1/60秒で固定した状態で、撮影ＥＶ値が１ＥＶ小さくなる毎にＩＳＯ感度を100から200,400,800,1600,3200になるように設計されている。すなわち、被写体が暗くなると、絞り１４を開放せず、シャッタ速度やＩＳＯ感度を増やして明るさを補う。

なお、固定するＦ値を大きくすれば、視差は弱くなり、固定するＦ値を小さくすれば、視差は強くなるので、操作部３８を介してユーザから指示された視差に応じて固定するＦ値とプログラム線図を切り替えるとよい。例えば、弱い視差が指示された場合はＦ値＝5.6のプログラム線図Ａ，標準の視差が指示された場合はＦ値＝2.8のプログラム線図Ｂ、強い視差が指示された場合はＦ値＝1.4のプログラム線図Ｃに沿って通常の絞り制御を行う
。

この視差優先プログラム線図は、Ｆ値を一定の値で固定しているため、所望の視差を有する主画像、副画像の撮影を行うことができる。ただし、撮影ＥＶ値が１２よりも大きくなると（シャッタ速度が最大値になると）、露出オーバになり撮影できなくなるが、ＮＤフィルタを自動挿入して光量を減光できる構成を単眼立体撮像装置１に追加すれば、撮影ＥＶ値が１２よりも大きくなっても撮影可能である。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データおよび右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データおよび右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素および副画素に対応する左視点画像（主画像）および右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。

デフォーカスマップ作成部６１は、主画素および副画素に対応する位相差を、所定のフォーカス領域に含まれる小領域の各々について算出するだけでなく、有効画素領域の全体を実質的に被覆する複数の小領域の各々について算出する。有効画素領域の全体を実質的に被覆する複数の小領域とは、有効画素領域の全体を完全に覆っている必要はなく、有効画素領域の全体に渡って密にあるいは粗に配列されていればよい。例えば、有効画素領域をマトリクス状に所定の単位（例えば８×８画素）、あるいはそれ以下（例えば１×１画素）、あるいはそれ以上（例えば１０×１０画素）で分割した分割領域の各々について位相差が算出される。あるいは、有効画素領域の外縁を起点に所定のピッチ（例えば分割領域１つ分、あるいはそれ以上、あるいはそれ以下）を隔てた所定の単位の分割領域ごとに位相差が算出される。要するに位相差は有効画素領域の全体に渡って算出されるものとするが、必ずしも有効画素領域を構成する小領域の全てについて算出されなくてもよい。

デフォーカスマップ作成部６１は、上記小領域の各々について算出された位相差に基づき、上記小領域の各々に対応するデフォーカス量を求める。この、有効画素領域の全体に渡って求められた小領域の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。デフォーカスマップ作成部６１は、ＲＡＭなどの揮発性記憶媒体を有しており、求まったデフォーカスマップを一時的に保存する。デフォーカスマップ作成部６１は、各視点画像間で特徴点および対応点検出を行い、それらの特徴点および対応点の間の位置情報の差に基づいてデフォーカスマップを作成してもよい。

復元フィルタ保存部６２は、ＲＯＭなどの不揮発性記憶媒体で構成されており、各視点画像における各小領域の像高（画像中心からの距離、典型的には撮像レンズ１２の光軸中心Ｌからの距離）およびデフォーカス量（ないしは被写体距離）に対応する復元フィルタを保存している。

復元部６３は、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。

ぶれ量検出部７１は、光学式の手ぶれ補正機構に採用されるぶれ量検出手段である。例えば、特許文献５と同様、ぶれ量検出部７１は、振動ジャイロセンサなどで構成され、カメラの水平軸回りの角速度と、垂直軸回りの角速度を検出することで、ぶれ量を検出する。

図５は単眼立体撮像装置１の実行する撮像処理のフローチャートである。なお、デフォーカスマップの作成、復元フィルタの保存、復元フィルタを用いた視点画像の復元処理、復元された視点画像の出力処理などは、単眼立体撮像装置１以外の情報処理装置、例えばパソコンなどでも実行できる。以下のフローチャートで示される処理を単眼立体撮像装置１その他の情報処理装置に実行させるためのプログラムは、ＲＯＭやＣＤＲＯＭなどの非一時的なコンピュータ読み取り可能な記録媒体に記録されている。この処理はシャッタボタンの半押しに応じて開始する。

Ｓ１では、ＣＰＵ４０は、ぶれ量検出部７１を制御し、ぶれ量を検出させる。検出されるぶれ量にはヨー方向（水平方向）の手ぶれ量ωｘとピッチ方向（垂直方向）の手ぶれ量ωｙが含まれる。

Ｓ２では、ＣＰＵ４０は、ぶれ量検出部７１の検出したぶれ量に対応する絞り量を絞り駆動部３４に設定するよう制御する。絞り駆動部３４は設定された絞り量に達するよう絞り１４の開口を制御する。このぶれ量（ωｘ，ωｙ）に依存する絞り量Ｙは、ぶれのスカラー量が大きくなるほど、絞り量は所定のプログラム線図に従った絞り量よりもさらに小さくなる（小絞り側になる）関係にある。このぶれ量と絞り量の関係は、１次微分係数が負でありパラメータが（ωｘ，ωｙ）である関数Ｙなどで表現される。例えば、Ｙ＝［Δｘωｘ＋Δｙωｙ］＋Ａ、ここでΔｘ・Δｙはそれぞれ正の定数である。また、Ａは通常の絞り制御に従って決まる絞り量である。つまり、ぶれのスカラー量が増加するにつれて絞り量が通常の絞り量よりもさらに大きくなる。なお、絞り量ＹをＦ値で表すと、ぶれのスカラー量が大きくなるほどよりＦ値は通常の絞り制御で決定される値よりも大きい値になる。例えば、通常の絞り制御で使用されるＦ値がF1.4（強い視差）であるなら、本ステップの絞り量制御で使用される範囲はF2.8（標準の視差）〜F5.6（弱い視差）などとなる。

Ｓ３では、ＣＰＵ４０は、シャッタボタンの全押しで撮像開始が指示されたことに応じ、出力用の視点画像データを取得するようＣＣＤ１６を制御する。

Ｓ４では、復元部６３は、各視点画像に設定された各小領域の像高とデフォーカス量とを特定する。各小領域の像高の特定は画像中心から各小領域までの最短距離を算出することで行うことができる。また、各小領域のデフォーカス量の特定は、デフォーカスマップ作成部６１の作成したデフォーカスマップに基づいて各視点画像ごとに行われる。復元部６３は、各視点画像ごとに特定された小領域の像高およびデフォーカス量に対応する復元フィルタを復元フィルタ保存部６２から選択する。復元部６３は、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。

復元部６３は、劣化の復元された視点画像から立体視画像を生成し、復元後の立体視画像として改めてＶＲＡＭ５０に保存する。劣化の復元された視点画像は、液晶モニタ３０に出力されてもよいし（Ｓ５）、メモリカード５４に出力すなわち圧縮記録されてもよい（Ｓ６）。

Ｓ５にて、このＶＲＡＭ５０の復元後の立体視画像は、液晶モニタ３０に出力され、良好な３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。すなわち、復元のタイミングは、立体視画像が液晶モニタ３０の出力より前に行われることが好ましい。ただし、ＶＲＡＭ５０の復元後の立体視画像は、液晶モニタ３０以外の他の立体視ディスプレイに出力されてもよい。

Ｓ６にて、劣化の復元された視点画像は、メモリカード５４に出力すなわち圧縮記録される。このメモリカード５４に記録された復元後の立体視画像を、液晶モニタ３０など各種の立体視ディスプレイで再生すれば、同様に良好な３Ｄの被写体像が表示されうる。

以上の処理により、ぶれ発生時には、通常の絞り制御で得られる視差よりも弱い視差を有する画像が得られる。図６（Ａ）および（Ｂ）はそれぞれ絞りのＦ値により主画像と副画像の視差が変動する様子を示すイメージ図であり、図６（Ａ）はＦ値が大きい（暗い）場合に関して示しており、図６（Ｂ）はＦ値が小さい（明るい）場合に関して示している。

図６（Ａ）及び（Ｂ）において、ピントを合わせた位置（ピント位置）の主要被写体（この例では人物）の主画像と副画像の視差（位相差）はいずれも０であるが、その背景の視差は、Ｆ値が暗い程、小さく（図６（Ａ））、Ｆ値が明るい程、大きくなる（図６（Ｂ））。

このように、ぶれ量が大きくなるほどより絞り１４を絞ることで、焦点深度を深くし、視差量を小さくすることで、ぶれが大きい時に立体効果を弱め、観察者に与える影響を小さくできる。

＜第２実施形態＞
図７は第２実施形態に係る単眼立体撮像装置２のブロック図である。図１に示した第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

この単眼立体撮像装置２は、ぶれ量範囲判定制御部７２とぶれ補正部７３をさらに備える。ぶれ補正部７３は、ぶれ量範囲判定制御部７２の制御に従い、ぶれ量検出部７１の検出したヨー方向・ピッチ方向のぶれ量に相当する被写体像のぶれを光学的に補正する。例えば、ぶれ補正部７３は、ヨー方向アクチュエータおよびピッチ方向アクチュエータを制御し、検出されたぶれ量を打ち消す方向にレンズ１２を移動させて、像ぶれを防止する（レンズシフト方式）。ぶれ補正部７３の光学的ぶれ補正の方式は各種のものが採用できる。例えば、ヨー方向アクチュエータおよびピッチ方向アクチュエータを制御し、検出されたぶれ量を打ち消す方向にＣＣＤ１６を移動させて、像ぶれを防止してもよい（イメージセンサシフト方式）。

図８は単眼立体撮像装置２の実行する撮像処理のフローチャートである。この処理はシャッタボタンの半押しに応じて開始する。

Ｓ１１はＳ１と同様である。

Ｓ１２では、ぶれ量範囲判定制御部７２は、検出されたぶれ量が、ぶれ補正可能な範囲内であるか否かを判断する。Ｙｅｓの場合はＳ１３、Ｎｏの場合はＳ１４に進む。ぶれ補正可能な範囲は、光学的ぶれ補正の作動範囲である。例えば、ヨー方向アクチュエータおよびピッチ方向アクチュエータの作動範囲である。

Ｓ１３では、ぶれ量範囲判定制御部７２は、ぶれ補正部７３を制御し、検出されたぶれ量に相当する像ぶれを補正する。そして、通常の絞り制御を行う。

Ｓ１４はＳ２と同様である。この場合ぶれ補正は行わない。

Ｓ１５〜Ｓ１８はＳ３〜Ｓ６と同様である。

このように、ぶれ補正の効かないぶれ量の範囲では、ぶれ量が大きくなるほどより絞り１４を絞ることで、焦点深度を深くし、ぶれが視差の変動に与える影響を小さくすることができる。また、ぶれ補正の効くぶれ量の範囲では、ぶれ補正を行い。像ぶれを防止する。

＜第３実施形態＞
図９は第３実施形態に係る単眼立体撮像装置３のブロック図である。図１に示した第１・２実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

単眼立体撮像装置３は、ぶれ方向検出部７４とぶれ方向判定制御部７５をさらに備える。ぶれ方向検出部７４は、ぶれの生じている方向（ヨー方向および／またはピッチ方向）を検出する。

図１０は単眼立体撮像装置２の実行する撮像処理のフローチャートである。

Ｓ２１はＳ１と同様である。

Ｓ２２では、ぶれ方向検出部７４は、ぶれ量検出部７１が検出したヨー方向およびピッチ方向のぶれ量のうち、大きい方のぶれ量に対応する方向をぶれ方向として検出する。なお、ぶれ方向検出部７４は、両ぶれ量が同一の場合、瞳分割方向をぶれ方向として検出する。

Ｓ２３では、ぶれ方向判定制御部７５は、ぶれ方向検出部７４の検出したぶれ方向が、瞳分割方向と異なるか否かを判断する。Ｙｅｓ（両者は異なる）の場合はＳ２４、Ｎｏ（両者は一致する）の場合はＳ２５に進む。例えば、瞳分割方向が水平方向である場合、ぶれ方向がヨー方向ならばＳ２４に進み、ぶれ方向がピッチ方向ならばＳ２５に進む。

Ｓ２４〜Ｓ２９はＳ１３〜Ｓ１８と同様である。なお、Ｓ２４では、通常の絞り制御を行う。すなわち、ＣＣＤ１６から出力された電気信号から撮影Ｅｖ値を算出し、撮影Ｅｖ値とプログラム線図などに従って絞り量を制御し、被写体像の輝度レベルを適正な輝度レベルに制御する。また、Ｓ２４では、ぶれ量範囲判定制御部７２は、ぶれ補正部７３を制御し、検出されたぶれ量に相当する像ぶれを補正してもよい。

瞳分割方向と同じぶれ方向にぶれが生じている場合は、ぶれが立体画像の視覚に強く影響を与えると考えられるから、絞りをより絞って視差に対するぶれの影響を小さくする。一方、瞳分割方向と直交する方向にぶれが生じている場合は、ぶれが立体画像の視覚に与える影響はさほど強くないと考えられるから、ぶれ補正のみを行う。

＜第４実施形態＞
第２実施形態と第３実施形態の処理は組み合わせることができる。すなわち、まず、ぶれ方向判定制御部７５は、ぶれ方向検出部７４の検出したぶれ方向が、瞳分割方向と異なるか否かを判断する。ぶれ方向判定制御部７５が、ぶれ方向≠瞳分割方向と判定した場合、Ｓ１３に進む。この後の処理は第２実施形態と同様である。

ぶれ方向判定制御部７５が、ぶれ方向＝瞳分割方向と判定した場合、ぶれ量範囲判定制御部７２は、検出されたぶれ量が、ぶれ補正可能な範囲内であるか否かを判断する。Ｙｅｓの場合はＳ１３に進む。この後の処理は第２実施形態と同様である。Ｎｏの場合はＳ２５に進む。この後の処理は第３実施形態と同様である。

すなわち、ぶれ方向＝瞳分割方向でありかつぶれ量がぶれ補正可能な範囲外である場合に限って、絞りを通常よりも絞り、視差に対する影響を小さくすることができる。

１２：撮像レンズ、１４：絞り、１６：ＣＣＤ、６１：デフォーカスマップ作成部、６２：復元フィルタ保存部、６３：復元部、７１：ぶれ量検出部、７２：ぶれ量範囲判定制御部、７３：ぶれ補正部、７４：ぶれ方向検出部、７５：ぶれ方向判定制御部

Claims (7)

1. 被写体からの光束を瞳分割により２つの光束に分割し、前記２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力可能な撮像部と、
   前記撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、
   前記光束の光量を検出する光量検出部と、
   前記光量検出部の検出した光量に応じ、所望の視差が得られるよう前記絞り部の開放量を制御する第１の絞り制御を実行可能な絞り制御部と、
   前記撮像部による画像の撮影時における被写体像のぶれ量を検出するぶれ検出部と、を備え、
   前記絞り制御部は前記ぶれ検出部の検出したぶれ量が大きいほど前記絞り部の開放量を前記第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行する立体撮像装置。
2. 前記ぶれ検出部の検出したぶれ量に応じて被写体像のぶれを光学的に補正するぶれ補正部と、
   前記ぶれ検出部の検出したぶれ量が前記ぶれ補正部のぶれ補正可能な範囲内であるか否かを判定するぶれ量判定部を備え、
   前記絞り制御部は、前記ぶれ量判定部が前記ぶれ量が前記ぶれ補正可能な範囲外であると判定した場合、前記第２の絞り制御を実行する請求項１に記載の立体撮像装置。
3. 前記ぶれ補正部は、前記ぶれ量判定部が前記ぶれ量が前記ぶれ補正可能な範囲内であると判定した場合、前記被写体像のぶれを光学的に補正し、
   前記絞り制御部は、前記ぶれ量判定部が前記ぶれ量が前記ぶれ補正可能な範囲内であると判定した場合、前記第１の絞り制御を実行する請求項２に記載の立体撮像装置。
4. 前記被写体像のぶれ方向を検出するぶれ方向検出部と、
   前記ぶれ方向検出部の検出したぶれ方向が前記瞳分割の方向と一致するか否かを判定するぶれ方向判定部と、を備え、
   前記絞り制御部は、前記ぶれ方向判定部が前記ぶれ方向が前記瞳分割の方向と一致すると判定した場合、前記第２の絞り制御を実行する請求項１〜３のいずれかに記載の立体撮像装置。
5. 前記絞り制御部は、前記ぶれ方向判定部が前記ぶれ方向が前記瞳分割の方向と不一致であると判定した場合、前記第１の絞り制御を実行する請求項４に記載の立体撮像装置。
6. 立体撮像装置が、
   被写体からの光束を瞳分割により２つの光束に分割し、前記２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力するステップと、
   絞り部の開放量で前記光電変換素子群に結像する光束の光量を調整するステップと、
   前記光束の光量を検出するステップと、
   前記検出した光量に応じ、所望の視差が得られるよう前記絞り部の開放量を制御する第１の絞り制御を実行するステップと、
   前記画像の撮影時における被写体像のぶれ量を検出するステップと、
   前記検出したぶれ量が大きいほど前記絞り部の開放量を前記第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行するステップと、
   を実行する立体撮像方法。
7. 立体撮像装置に、
   被写体からの光束を瞳分割により２つの光束に分割し、前記２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力するステップと、
   絞り部の開放量で前記光電変換素子群に結像する光束の光量を調整するステップと、
   前記光束の光量を検出するステップと、
   前記検出した光量に応じ、所望の視差が得られるよう前記絞り部の開放量を制御する第１の絞り制御を実行するステップと、
   前記画像の撮影時における被写体像のぶれ量を検出するステップと、
   前記検出したぶれ量が大きいほど前記絞り部の開放量を前記第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行するステップと、
   を実行させるための立体撮像プログラム。

Images