JP4626684B2 - 複眼撮像装置及び像ブレ補正方法 - Google Patents

Description

本発明は複眼撮像装置に係り、特に手振れなどの振動により被写体像のブレの補正を行う複眼撮像装置に関する。

複数の光学系を備えた複眼カメラを用いて多視点画像（３次元画像）を撮影する場合において、振動による画像のブレを補正する技術として、以下のようなものが提案されている。

特許文献１には、複数の光学系の像ブレを検出するために、共通の像ブレ検出手段を用いることで、像ブレ検出手段の特性の差に起因する防振特性の差を抑えることができる発明が記載されている。

特許文献２には、左右の各光学系で撮影された映像の動きベクトルと位相差情報に基づいて、左右の各光学系で撮影された映像の一部を切り出して出力することで、視差ずれや上下ずれのない高品質の立体視を可能にする発明が記載されている。
特開２００７−３３６２４号公報 特開２００３−９２７６８号公報

しかしながら、特許文献１に記載の技術は、検出手段の特性の差しか考慮していないため、各光学系の防振手段の特性のばらつきに対応できないという問題があった。

また、特許文献２に記載の技術は、切り出し補正であるため、静止画撮影には対応できないという問題があった。

本発明はこのような事情に鑑みてなされたもので、各光学系や防振機構の特性差に起因する防振特性の差を抑えて良好な視差画像を得ることができる複眼撮像装置を提供することを目的とする。

請求項１に記載の複眼撮像装置は、被写体像を撮像する撮像素子と、前記撮像素子に被写体像を結像させる撮影光学系と、でそれぞれ構成された複数の撮像手段と、前記撮像手段に加えられた振動を検出するブレ検出手段と、前記各撮像手段毎に設けられ、前記ブレ検出手段により検出された振動により発生する前記被写体像の像ブレを除去する補正を前記各撮像手段毎に行う像ブレ補正手段と、前記像ブレ補正手段による補正により除去しきれなかった前記被写体像の像ブレ（以下、ブレ残り量という）が前記各撮像手段毎に略同一となるように、前記像ブレ補正手段を該各像ブレ補正手段毎に制御する制御手段と、ことを特徴とする。

請求項１に記載の複眼撮像装置によれば、複数の撮像手段に加えられた振動を検出し、振動により撮像手段で撮像される被写体像の像ブレを各撮像手段毎に補正するが、この像ブレの補正は、補正後の像ブレのブレ残り量が前記各撮像手段毎に略同一となるように補正される。これにより、撮像手段に設けられた像ブレ補正手段の動作特性や取付誤差にばらつきがある場合においても、各撮像手段に対して適切な像ブレ補正を行うことができる。また、各撮像手段における像ブレ補正後の被写体像のブレ残り量が略同一であるため、違和感がなく、自然で目が疲れない視差画像を得ることができる。

請求項２に記載の複眼撮像装置は、請求項１に記載の複眼撮像装置において、前記制御手段は、前記各撮像手段毎の前記ブレ残り量を少なくするための調整値であって、前記撮像手段毎に予め設定された調整値を記憶する記憶手段を有し、前記ブレ検出手段の出力と前記記憶手段に記憶された前記撮像手段毎の調整値とに基づいて前記複数の像ブレ補正手段をそれぞれ制御することを特徴とする。

請求項２に記載の複眼撮像装置によれば、各撮像手段毎の前記ブレ残り量を少なくするための調整値であって、撮像手段毎に予め設定された調整値が記憶されており、ブレ検出手段の出力と調整値とに基づいて、被写体像の像ブレの補正を行う。これにより、全ての撮像手段における補正後の像ブレのブレ残り量を略同一とすることができる。

請求項３に記載の複眼撮像装置は、請求項２に記載の複眼撮像装置において、前記記憶手段には、前記複数の像ブレ補正手段によってそれぞれ除去可能なブレ残り量のうちのブレ残り量が最も大きくなる第１の撮像手段については、そのブレ残り量を最小にする第１の調整値が記憶され、他の第２の撮像手段については、前記第１の撮像手段の防振特性に、当該第２の像ブレ補正手段の防振特性を略一致させるための第２の調整値が記憶されていることを特徴とする。

請求項３に記載の複眼撮像装置によれば、複数の像ブレ補正手段によってそれぞれ除去可能なブレ残り量のうちのブレ残り量が最も大きくなる撮像手段については、そのブレ残り量を最小にする第１の調整値を記録し、それ以外の第２の撮像手段については、第１の撮像手段の防振特性と、第２の像ブレ補正手段の防振特性とを略一致させるため第２の調整値を記憶する。これにより、撮像手段に設けられた像ブレ補正手段の動作特性や取付誤差にばらつきがある場合においても、全ての撮像手段における補正後のブレ残り量を略同一にすることができる。

請求項４に記載の複眼撮像装置は、請求項３に記載の複眼撮像装置において、単眼モードと複眼モードとを切り替える撮影モード切替手段と、前記撮影モード切替手段によって単眼モードに切り替えられると、前記第２の撮像手段のみによって撮影を行わせ、前記複眼モードに切り替えられると、複数の撮像手段によって同時に撮影を行わせる手段と、を備え、前記記憶手段には、前記第２の撮像手段については、そのブレ残り量を最小にする第３の調整値が更に記憶され、前記制御手段は、前記撮影モード切替手段によって単眼モードに切り換えられると、前記記憶手段から前記第３の調整値を読み出し、前記ブレ検出手段の出力と前記読み出した第３の調整値とに基づいて前記第２の撮像手段に設けられた像ブレ補正手段を制御し、前記複眼モードに切り替えられると、前記記憶手段から前記第１、２の調整値を読み出し、前記ブレ検出手段の出力と前記読み出した第１、２の調整値とに基づいて前記各撮像手段毎に設けられた像ブレ補正手段をそれぞれ制御することを特徴とする。

請求項４に記載の複眼撮像装置によれば、第２の撮像手段のみによって撮影を行う単眼モードの場合には、ブレ検出手段の出力と、第３の調整値とに基づいて、第２の撮像手段に設けられた像ブレ補正手段を制御する。また、複数の撮像手段により同時に撮影を行う複眼モードの場合には、ブレ検出手段の出力と、第１、２の調整値とに基づいて、各撮像手段毎に設けられた像ブレ補正手段をそれぞれ制御する。これにより、単眼モードの場合には、像ブレが最も少ない良好な平面画像を取得することができる。また、複眼モードの場合には、それぞれの撮像手段により取得された画像のブレ残り量が略一致するため、違和感なく目が疲れない良好な画像を得ることができる。

請求項５に記載の複眼撮像装置は、請求項２から４のいずれかに記載の複眼撮像装置において、前記記憶手段は、ピッチ方向及びヨー方向の各方向毎の調整値を記憶することを特徴とする。これにより、各撮像手段毎のブレ残り量をより正確に一致させることができる。
請求項６に記載の像ブレ補正方法は、被写体像を撮像する撮像素子と、前記撮像素子に被写体像を結像させる撮影光学系と、でそれぞれ構成された複数の撮像手段に加えられた振動を検出するステップと、前記各撮像手段毎に設けられた像ブレ補正手段を用いて、前記検出された振動により発生する前記被写体像の像ブレを除去する補正を前記各撮像手段毎に行うステップと、前記被写体像の像ブレを除去する補正を前記各撮像手段毎に行うステップにおいて除去しきれなかった前記被写体像の像ブレ（以下、ブレ残り量という）を求めるステップと、前記ブレ残り量が前記各撮像手段毎に略同一となるように、前記像ブレ補正手段を該各像ブレ補正手段毎に制御するステップと、を有することを特徴とする。

本発明によれば、各光学系や防振機構の特性差に起因する防振特性の差を抑えて良好な視差画像を得ることができる。

以下、添付図面に従って本発明に係る複眼撮像装置を実施するための最良の形態について詳細に説明する。

図１は、複眼撮影装置の第１の実施の形態に係る複眼デジタルカメラ１の電気的な構成を示すブロック図である。複眼デジタルカメラ１は、複数（図１では二つを例示）の撮像系を備えた複眼デジタルカメラ１であって、平面画像と、視差画像（立体画像など）とが撮影可能であり、また、動画、静止画、音声の記録再生が可能である。また、動画、静止画どちらにおいても、平面画像のみでなく、視差画像の撮影も可能である。

複眼デジタルカメラ１は、主として、光学系（１）（レンズユニット（１）１０及び撮像素子（１）１２）、光学系（２）（レンズユニット（２）２０及び撮像素子（２）２２）、モニタ３０、操作手段３４、撮影モード切替手段３６、ＣＰＵ１１０、ＥＥＰＲＯＭ１１２、ＳＤＲＡＭ１１４、ＶＲＡＭ１１６、防振手段１２０、タイミングジェネレータ（ＴＧ）１３０、アナログ信号処理手段１３２ａ、１３２ｂ、Ａ／Ｄ変換器１３４ａ、１３４ｂ、画像入力コントローラ１３６、画像信号処理手段１３８、圧縮伸張処理手段１４０、ＡＥ／ＡＷＢ検出手段１４２、ＡＦ検出手段１４４、メディアコントローラ１４６、ビデオエンコーダ１４８で構成される。

右目用の画像を結像する光学系（１）及び左目用の画像を結像する光学系（２）は、そのレンズ光軸が平行となるように、あるいは所定角度をなすように並設されている。光学系（１）及び光学系（２）の動作はＣＰＵ１１０によって制御される。光学系（１）と光学系（２）とは、基本的に連動して動作を行うが、各々個別に動作させることも可能となっている。

レンズユニット（１）１０及びレンズユニット（２）２０は、それぞれ絞り、フォーカスレンズ群等で構成される。複眼デジタルカメラ１の電源をＯＮすると、レンズユニット（１）１０及びレンズユニット（２）２０の前面に各々配設されたカバー（図示せず）が開くことによりレンズユニット（１）１０及びレンズユニット（２）２０に被写体光が入射される。

撮像素子（１）１２及び撮像素子（２）２２は、ＣＣＤ型やＣＭＯＳ型のイメージセンサであり、レンズユニット（１）１０及びレンズユニット（２）２０によって結像された被写体光を受光し、受光素子に受光量に応じた光電荷を蓄積する。撮像素子（１）１２及び撮像素子（２）２２の動作は、ＴＧ１３０により制御される。

モニタ３０は、４：３の一般的なアスペクト比を有し、カラー表示が可能な液晶ディスプレイで構成されている。このモニタ３０は、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際の撮影者インターフェース表示パネルとして利用される。また、撮影モード時には、必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。複眼モードの場合には、光学系（１）により撮影された画像が右側に、光学系（２）により撮影された画像が左側に並べて表示される。

操作手段３４は、モードダイヤル、レリーズスイッチ、電源ボタン、ズームボタン、ＢＡＣＫボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン、ＢＡＣＫボタン、十字ボタン等で構成される。

モードダイヤルは、複眼デジタルカメラ１の再生モードと撮影モードとを切り替える切り替え手段として機能し、「再生位置」と「撮影位置」の間を回転自在に設けられている。複眼デジタルカメラ１は、このモードダイヤルを「再生位置」に位置させると、再生モードに設定され、「撮影位置」に位置させると、撮影モードに設定される。また、モードダイヤルは、各種モード（撮影モード、再生モード、消去モード、編集モード等）の切り替え、オート撮影やマニュアル撮影等の撮影モードの設定に用いられる。

レリーズスイッチは、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。複眼デジタルカメラ１は、静止画撮影時（例えば、モードダイヤルで静止画撮影モード選択時、又はメニューから静止画撮影モード選択時）、このレリーズスイッチを半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、動画撮影時（例えば、モードダイヤルで動画撮影モード選択時、又はメニューから動画撮影モード選択時）には、このレリーズスイッチを全押しすると、動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、レリーズスイッチを全押している間、動画の撮影を行い、全押しを解除すると、撮影を終了するようにすることもできる。なお、静止画撮影専用のシャッタボタン及び動画撮影専用のシャッタボタンを設けるようにしてもよい。

電源ボタンは、複眼デジタルカメラ１の電源スイッチとして機能し、電源ボタンを押下することにより、電源がＯＮ／ＯＦＦされる。

ズームボタンは、レンズユニット（１）１０及びレンズユニット（２）２０のズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。

ＭＥＮＵ／ＯＫボタンは、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、複眼デジタルカメラ１の設定状態に応じて割り当てられる機能が切り替えられる。メニュー画面では、たとえば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否かなど、複眼デジタルカメラ１が持つ全ての調整項目の設定が行われる。複眼デジタルカメラ１は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタンは、モニタ３０の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタンは入力操作のキャンセル等の指示の入力に用いられる。

十字ボタンは、各種のメニューの設定や選択あるいはズームを行うためのボタンであり、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。たとえば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにストロボモードを切り替える機能が割り当てられる。また、上ボタンにモニタ３０の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのＯＮ／ＯＦＦを切り替える機能が割り当てられる。また、再生時には、右ボタンにコマ送りの機能が割り当てられ、左ボタンにコマ戻しの機能が割り当てられる。また、上ボタンにモニタ３０の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ３０に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

撮影モード切替手段３６は、所望の１つの光学系を用いることにより平面画像を撮影する単眼モードと、全ての光学系を用いることにより視差画像を撮影する複眼モードとの設定の切り替えを行う。撮影モード切替手段３６で切り替えられた情報はＣＰＵ１１０に入力され、ＣＰＵ１１０は光学系（１）及び光学系（２）の駆動を制御する。

ＣＰＵ１１０は、複眼デジタルカメラ１の全体の動作を統括制御する制御手段として機能するとともに、各種の演算処理を行う演算手段として機能し、操作手段３４、撮影モード切替手段３６等からの入力に基づき所定の制御プログラムに従って複眼デジタルカメラ１の各部を制御する。

ＥＥＰＲＯＭ１１２は、光学系（１）及び光学系（２）に対する防振特性誤差補正情報（ピッチ方向及びヨー方向の調整値）が予め記録されている。防振特性誤差補正情報については、後に詳述する。

ＳＤＲＡＭ１１４は、ＣＰＵ１１０が実行する制御プログラムであるファームウェア、制御に必要な各種データ、カメラ設定値等が予め記録されている。

ＶＲＡＭ１１６は、ＣＰＵ１１０の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。

防振手段１２０は、複眼デジタルカメラ１の振れをジャイロセンサ１２２、１２６により検出し、撮像素子（１）１２及び撮像素子（２）２２を複眼デジタルカメラ１の振れと反対方向に移動させることにより、撮像素子（１）１２及び撮像素子（２）２２に結像される被写体像の像ブレを補正する。

防振手段１２０は、図２に示すように、主として、ジャイロセンサ１２２、１２６、アンプ１２３、１２７、Ａ／Ｄ変換器１２４、１２８、モータドライバ１２５、防振アクチュエータ１４、１６、２４、２６で構成される。

防振アクチュエータ１４、１６、２４、２６は、モータドライバ１２５から出力される信号に応じて駆動され、防振アクチュエータ１４、１６、２４、２６の出力軸にそれぞれ取り付けられた駆動機構１４’、１６’、２４’、２６’を介して撮像素子（１）１２又は撮像素子（２）２２を移動させる。防振アクチュエータ１４、１６は撮像素子（１）１２を移動させ、防振アクチュエータ２４、２６は撮像素子（２）２２を移動させる。また、防振アクチュエータ１４、２４はそれぞれ撮像素子（１）１２、撮像素子（２）２２をピッチ方向に移動させ、防振アクチュエータ１６、２６はそれぞれ撮像素子（１）１２、撮像素子（２）２２をヨー方向に移動させる。これにより、撮像素子（１）１２、撮像素子（２）２２を任意の位置及び方向に移動可能となる。

ジャイロセンサ１２２、１２６は、複眼デジタルカメラ１の角速度を検出するセンサであり、手振れによる複眼デジタルカメラ１の振動を検出する。ジャイロセンサ１２２はピッチ方向の加速度を検出し、ジャイロセンサ１２６はヨー方向の加速度を検出する。

ジャイロセンサ１２２、１２６は、撮像素子（１）１２及び撮像素子（２）２２で共通である。そのため、撮像素子（１）１２及び撮像素子（２）２２から略等距離の位置（例えば、略中央）に設けられる。このように、ジャイロセンサ１２２、１２６を共通にすることにより、ジャイロセンサの出力などのばらつきによる被写体像の像ブレを補正のばらつきをなくすことができる。ジャイロセンサ１２２、１２６で検出された情報は、それぞれアンプ１２３、１２７で増幅され、Ａ／Ｄ変換器１２４、１２８でデジタル信号に変換された後で、ＣＰＵ１１０に入力される。ＣＰＵ１１０は、ジャイロセンサ１２２、１２６からそれぞれ入力された信号を、ＥＥＰＲＯＭ１１２に記録された調整値を用いて増幅して、モータドライバ１２５に出力する。

ここで、調整値について説明する。調整値とは、光学系（１）と光学系（２）との防振特性の違いによって生じる、撮像素子（１）１２と撮像素子（２）２２とで撮像される被写体像の像ブレのブレ残り量の誤差を調整する誤差調整値であり、各光学系毎、かつピッチ方向及びヨー方向、すなわち防振アクチュエータ１４、１６、２４、２６及び駆動機構１４’、１６’、２４’、２６’毎に設定される。ジャイロセンサ１２２、１２６から所定の信号が入力された場合に、当該所定の信号を増幅する増幅率を変化させた信号を防振アクチュエータ１４、１６と、２４、２６とにそれぞれ入力して撮像素子（１）１２と、撮像素子（２）２２で撮像される被写体像の像ブレを補正すると、防振特性、すなわち防振アクチュエータ１４、１６、２４、２６と撮像素子（１）１２、撮像素子（２）２２、ジャイロセンサ１２２、１２６と防振アクチュエータ１４、１６、２４、２６などの取り付け誤差、防振アクチュエータ１４、１６、２４、２６の動作特性（応答性）のばらつきなどにより撮像素子（１）１２と撮像素子（２）２２とで撮像される被写体像の像ブレのブレ残り量が変化する。このような防振特性の差により発生する被写体像の像ブレのブレ残り量を調整するための値が調整値である。

図３は、防振特性誤差補正情報を算出し、ＥＥＰＲＯＭ１１２に記録する処理の流れを示すフローチャートである。また、図４は、防振特性について説明する図である。図３に示す処理は複眼デジタルカメラ１の製造時に行われる。したがって、撮影者は、必要な調整値が予めＥＥＰＲＯＭ１１２に記録された状態の複眼デジタルカメラ１を使用して撮影動作を行うこととなる。また、図３に示す処理は、ＣＰＵ１１０が行なってもよいし、別の制御手段を用いて行なってもよい。

光学系（１）の最適値を算出する（ステップＳ１）。光学系（１）に振動を与えた状態で、光学系（１）用の調整値を変化させながら撮像素子（１）１２で得られる被写体像におけるブレ残り量を求め、光学系（１）の防振特性が最良となる調整値、すなわち最小のブレ残り量ｂ１となる調整値ｈ１（図４の実線参照）を光学系（１）における最適値として算出する。

光学系（２）の最適値を算出する（ステップＳ２）。光学系（２）にステップ１において光学系（１）に与えた振動と同じ振動を与えた状態で、光学系（２）用の調整値を変化させながら撮像素子（２）２２で得られる被写体像におけるブレ残り量を求め、光学系（２）の防振特性が最良となる調整値、すなわち最小のブレ残り量ｂ２となる調整値ｈ２（図４の破線参照）を光学系（２）における最適値として算出する。

光学系（１）の最適値が光学系（２）の最適値より小さいかどうかを判断する（ステップＳ３）。光学系（１）の最適値が光学系（２）の最適値より小さい場合、すなわち図４に示すように光学系（１）の防振特性が光学系（２）の防振特性より優れている場合（ステップＳ３でＹＥＳの場合）には、防振特性の優れた光学系（１）にステップ１と同じ振動を再度与えた状態で、光学系（１）用の調整値を変化させながら撮像素子（１）１２で得られる被写体像におけるブレ残り量を求め、光学系（１）のブレ残り量が防振特性の悪い光学系（２）の最小ブレ残り量ｂ２と同じブレ残り量ｂ２となる調整値ｈ１’を算出する（ステップＳ４）。そして、光学系（１）については最適値ｈ１及び調整値ｈ１’を、光学系（２）については最適値ｈ２をピッチ方向及びヨー方向の調整値として、ＥＥＰＲＯＭ１１２に記録する（ステップＳ５）。この時、複眼モードのときの像ブレ補正を行う際には調整値ｈ１’、ｈ２を用いるという情報を共に記録する。

光学系（１）の最適値が光学系（２）の最適値より小さくない場合（ステップＳ３でＮＯの場合）には、光学系（１）の最適値と光学系（２）の最適値とが等しいかどうかを判断する（ステップＳ６）。

光学系（１）の最適値と光学系（２）の最適値とが等しくない場合（ステップＳ６でＮＯ）には、光学系（２）の防振特性が光学系（１）の防振特性より優れている場合であり、防振特性の優れた光学系（２）に対して、防振特性の悪い光学系（１）の最小ブレ残り量ｂ１と同じブレ残り量ｂ１となる調整値ｈ２’を算出し（ステップＳ７）、光学系（１）については最適値ｈ１を、光学系（２）については最適値ｈ２及び調整値ｈ２’をピッチ方向及びヨー方向の調整値として、ＥＥＰＲＯＭ１１２に記録する（ステップＳ８）。この時、複眼モードのときの像ブレ補正を行う際には調整値ｈ１、ｈ２’を用いるという情報を共に記録する。

光学系（１）の最適値と光学系（２）の最適値とが等しい場合（ステップＳ６でＹＥＳ）には、光学系（１）の最適値ｈ１及び光学系（２）の最適値ｈ２をピッチ方向及びヨー方向の調整値として、ＥＥＰＲＯＭ１１２に記録する（ステップＳ９）。

なお、当該処理は、例えばピッチ方向についての調整値を記録する処理である。ピッチ方向とヨー方向とでは、像ブレを補正するための防振アクチュエータや駆動機構が異なるため防振特性が異なる。そのため、ヨー方向については、同様の処理を別途行うことにより調整値を記録する。

次に、単眼モードのときの調整値について説明する。図３に示す処理において、防振特性が優れている光学系がピッチ方向とヨー方向とで等しい場合、例えばピッチ方向及びヨー方向についての防振特性が共に光学系（１）が優れている場合には、単眼モードのときには光学系（１）を用いて撮影を行うこと、像ブレ補正を行う際にはピッチ方向の最適値ｈ１及びヨー方向の最適値ｈ１を調整値として用いるという情報を記録する。

図３に示す処理において、防振特性が優れている光学系がピッチ方向とヨー方向とで異なる場合、例えばピッチ方向についての防振特性は光学系（１）が優れており、ヨー方向についての防振特性は光学系（２）が優れている場合には、単眼モードのときには、より防振特性が優れた光学系を用いて撮影を行うこと、像ブレ補正を行う際には当該防振特性が優れた光学系の最適値を用いるという情報を記録する。例えば、ヨー方向の最適値ｈ１とピッチ方向の最適値ｈ２を比較して最適値ｈ１が小さい場合には、光学系（１）を用いて撮影を行うこと、像ブレ補正を行う際にはピッチ方向の最適値ｈ１及びヨー方向の最適値ｈ１を用いるという情報を記録する。

なお、単眼モードのときの調整値を記録する方法はこれに限らず、光学系（１）、光学系（２）のそれぞれについてピッチ方向及びヨー方向の最適値を算出し、ピッチ方向及びヨー方向の最適値のうちの防振特性の悪いほうの防振特性がよい方の光学系を用いて撮影を行うこと、像ブレ補正を行う際には当該防振特性がよい方の最適値を用いるという情報を記録するようにしてもよい。

図１の説明に戻る。ＴＧ１３０は、撮像素子（１）１２及び撮像素子（２）２２の光電荷蓄積・転送動作を制御する。また、ＴＧ１３０から入力されるタイミング信号（クロックパルス）により、電子シャッター速度（光電荷蓄積時間）が決定される。撮像素子（１）１２及び撮像素子（２）２２は、撮影モード時には、１画面分の画像信号を所定周期ごとに取得する。撮像素子（１）１２及び撮像素子（２）２２から出力された撮像信号は、それぞれアナログ信号処理手段１３２ａ、１３２ｂに入力される。

アナログ信号処理手段１３２ａ、１３２ｂは、撮像素子（１）１２及び撮像素子（２）２２から出力された画像信号に対してそれぞれ相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）を行い、増幅して出力する。

Ａ／Ｄ変換器１３４ａ、１３４ｂは、入力された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器１３４ａ、１３４ｂを通して、撮像素子（１）１２の撮像信号は右眼用画像データとして、撮像素子（２）２２の撮像信号は左眼用画像データとして出力される。

画像入力コントローラ１３６は、所定容量のラインバッファを内蔵しており、ＣＰＵ１１０からの指令に従い、Ａ／Ｄコンバータ１３４から出力された１画像分の画像信号を蓄積して、ＶＲＡＭ１１６に記録する。

画像信号処理手段１３８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１１０からの指令に従い、Ａ／Ｄ変換器１３４ａ、１３４ｂから入力された右眼用画像データ及び左眼用画像データに所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成し、表示用のビデオエンコーダ１４８に出力する。撮影モード時に電子ビューファインダとして使用される際には、生成された画像データが、ビデオエンコーダ１４８を介してモニタ３０にライブビュー画像（スルー画像）として表示される。また、画像信号処理手段１３８は、撮像素子（１）１２により撮影された右眼用画像データ及び撮像素子（２）２２により撮影された左眼用画像データのＹＣ信号を、所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換した上で、外部の立体画像表示装置等において立体表示を行うための立体画像データに合成する。

圧縮伸張処理手段１４０は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、圧縮伸張処理手段１４０は、ＶＲＡＭ１１６に記憶された右眼用画像データ及び左眼用画像データに対して、静止画ではＪＰＥＧ、動画ではＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理を施す。圧縮伸張処理手段１４０は、静止画の２次元画像のデータをＥｘｉｆファイル等の所定のフォーマットの画像ファイル（画像ファイルについては後に詳述する）として記録メディア３２に格納する。Ｅｘｉｆファイルは、主画像のデータを格納する領域と、縮小画像（サムネイル画像）のデータを格納する領域とを有している。撮影によって取得された主画像のデータから画素の間引き処理その他の必要なデータ処理を経て、規定サイズ（例えば、１６０×１２０又は８０×６０ピクセルなど）のサムネイル画像が生成される。こうして生成されたサムネイル画像は、主画像とともにＥｘｉｆファイル内に書き込まれる。また、Ｅｘｉｆファイルには、撮影日時、撮影条件、顔検出情報等のタグ情報が付属されている。

ＡＥ／ＡＷＢ検出手段１４２は、撮影スタンバイ状態時にレリーズスイッチが半押しされると、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ１１０は、このＡＥ／ＡＷＢ検出手段１４２から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、算出した撮影ＥＶ値と所定のプログラム線図から絞り値とシャッター速度を決定する。

また、ＡＥ／ＡＷＢ検出手段１４２は、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。ＣＰＵ１１０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス調整値）を決定する。

ＡＦ検出手段１４４は、撮影スタンバイ状態時にレリーズスイッチが半押しされると、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＦ制御に必要な物理量を算出する。本実施の形態の複眼デジタルカメラ１では、撮像素子（１）１２、撮像素子（２）２２から得られる画像のコントラストによりＡＦ制御が行われ（いわゆるコントラストＡＦ）、ＡＦ検出手段１４４は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。ＣＰＵ１１０は、このＡＦ検出手段１４４で算出される焦点評価値が極大となる位置を検出し、その位置にフォーカスレンズ群を移動させる。すなわち、フォーカスレンズ群を至近から無限遠まで所定のステップで移動させ、各位置で焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる。

メディアコントローラ１４６は、圧縮伸張処理手段１４０によって圧縮処理された各画像データを、メディアコントローラ１４６経由で接続された記録メディア３２やその他の記録メディアに記録させる。記録メディア３２は、複眼デジタルカメラ１に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。

ビデオエンコーダ１４８は、画像信号処理手段１３８から出力されたＲＧＢ信号をモニタ３０に出力する。

また、複眼デジタルカメラ１には、電源電池が着脱可能に設けられている。電源電池は、充電可能な二次電池、例えばニカド電池、ニッケル水素電池、リチウムイオン電池で構成される。電源電池は使い切り型の一次電池、例えばリチウム電池、アルカリ電池で構成してもよい。電源電池は、図示しない電池収納室に装填することにより、複眼デジタルカメラ１の各手段と電気的に接続される。

次に、上記のように構成された複眼デジタルカメラ１の撮影、記録、再生及び編集の各動作について説明する。図５は撮影準備処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ１１０で行われる。

電源ボタンを押下し、複眼デジタルカメラ１の電源を投入すると、デジタルカメラ１は、撮影モードの下で起動し（ステップＳ１１）、単眼モードと複眼モードとのどちらの撮影モードに設定されているかを判断する（ステップＳ１２）。

単眼モードに設定されている場合には、本実施の形態において防振特性の優れた光学系である光学系（１）を選択する（ステップＳ１３）。そして、ステップＳ１３で選択された光学系（１）の撮像素子（１）１２によってスルー画像用の撮影を開始する。すなわち、撮像素子（１）１２で連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、順次ビデオエンコーダ１４８に加えられ、表示用の信号形式に変換されて、モニタ３０に出力される。

このスルー画像撮影開始以降、複眼デジタルカメラ１に加えられた振動（手ブレなど）をジャイロセンサ１２２、１２６で検出して、撮像素子（１）１２で撮像される被写体像の像ブレを補正する（ステップＳ１４）。すなわち、ジャイロセンサ１２２、１２６で検出されたピッチ方向及びヨー方向の振動がそれぞれアンプ１２３、１２７及びＡ／Ｄ変換器１２４、１２８を介してＣＰＵ１１０に入力される。ＣＰＵ１１０は、ジャイロセンサ１２２から入力された信号を調整値ｈ１を用いて増幅して、モータドライバ１２５を介して防振アクチュエータ１４を駆動させる。それと同時に、ＣＰＵ１１０は、ジャイロセンサ１２６から入力された信号を調整値ｈ１を用いて増幅して、モータドライバ１２５を介して防振アクチュエータ１６を駆動させる。これにより、光学系（１）に対して最適な防振動作を行うことができ、その結果撮像素子（１）１２で撮像される被写体像の像ブレが補正される。

複眼モードに設定されている場合には、撮像素子（１）１２及び撮像素子（２）２２によってスルー画像用の撮影を開始する。すなわち、撮像素子（１）１２及び撮像素子（２）２２で連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、順次ビデオエンコーダ１４８に加えられ、表示用の信号形式に変換されて、それぞれモニタ３０に出力される。

このスルー画像撮影開始以降、複眼デジタルカメラ１に加えられた振動（手ブレなど）をジャイロセンサ１２２、１２６で検出して、撮像素子（１）１２及び撮像素子（２）２２で撮像される被写体像の像ブレを補正する（ステップＳ１５）。すなわち、ジャイロセンサ１２２、１２６で検出されたピッチ方向及びヨー方向の振動がそれぞれアンプ１２３、１２７及びＡ／Ｄ変換器１２４、１２８を介してＣＰＵ１１０に入力される。ＣＰＵ１１０は、ジャイロセンサ１２２から入力された信号を調整値ｈ１’を用いて増幅して、モータドライバ１２５を介して防振アクチュエータ１４を駆動させる。それと同時に、ＣＰＵ１１０は、ジャイロセンサ１２６から入力された信号を調整値ｈ１’を用いて増幅して、モータドライバ１２５を介して防振アクチュエータ１６を駆動させる。

また、ＣＰＵ１１０は、ジャイロセンサ１２２から入力された信号を調整値ｈ２を用いて増幅して、モータドライバ１２５を介して防振アクチュエータ２４を駆動させる。それと同時に、ＣＰＵ１１０は、ジャイロセンサ１２６から入力された信号を調整値ｈ２を用いて増幅して、モータドライバ１２５を介して防振アクチュエータ２６を駆動させる。

これにより、光学系（１）及び光学系（２）に対して適切な防振動作を行うことができ、その結果撮像素子（１）１２で得られる被写体像のブレ残り量と、撮像素子（２）２２で得られる被写体像のブレ残り量とを略同一にすることができる。

シャッタボタンが半押しされたか、すなわちＣＰＵ１１０にＳ１ＯＮ信号が入力されたかを判断する（ステップＳ１６）。Ｓ１ＯＮ信号が入力されなかった場合（ステップＳ１６でＮＯ）には、再度ステップＳ１２〜Ｓ１５が行われる。Ｓ１ＯＮ信号が入力された場合（ステップＳ１６でＹＥＳ）には、このＳ１ＯＮ信号に応動して、撮影準備処理、すなわち、ＡＥ、ＡＦ、ＡＷＢの各処理を実行する。

シャッタボタンが全押しされたか、すなわちＣＰＵ１１０にＳ２ＯＮ信号が入力されたかを判断する（ステップＳ１７）。Ｓ１ＯＮ信号が入力されなかった場合（ステップＳ１７でＮＯ）には、再度ステップＳ１６が行われる。Ｓ２ＯＮ信号が入力された場合（ステップＳ１７でＹＥＳ）には、このＳ２ＯＮ信号に応動して、以下のような撮影処理（ステップＳ１８）及び記録処理（ステップＳ１９）を実行する。

まず、上記のＡＥ処理で求めた絞り値、シャッタースピードで撮像素子（１）１２、撮像素子（２）２２を露光し、記録用の画像を撮像する。撮像素子（１）１２、撮像素子（２）２２から出力された記録用の画像信号は、画像信号処理手段１３８に取り込まれ、ＶＲＡＭ１１６に格納される。ＶＲＡＭ１１６に格納された画像信号は、ＣＰＵ１１０の制御の下、画像信号処理手段１３８に加えられる。画像信号処理手段１３８は、入力された画像信号に所定の信号処理を施して、輝度データと色差データとからなる画像データ（ＹＵＶデータ）を生成する。

画像信号処理手段１３８で生成された画像データは、一旦ＶＲＡＭ１１６に格納されたのち、メディアコントローラ１４６に加えられる。メディアコントローラ１４６は、入力された画像データに対して所定の圧縮処理を施し、圧縮画像データを生成する。

圧縮された画像データは、ＶＲＡＭ１１６に格納され、所定フォーマットの静止画像ファイル（たとえば、Ｅｘｉｆ）として、メディアコントローラ１４６を介して記録メディア３２に記録される。

本実施の形態によれば、ジャイロセンサ、アクチュエータなどの動作特性のばらつきや取付誤差がある場合においても、複数の光学系で撮影された被写体像のブレ残り量を揃えて、像ブレの補正を行うことができる。

そのため、複数枚の被写体像を立体画像として観察する場合は、違和感なく目が疲れない良好な画像が得られる。また、視差画像から距離情報を求める場合には、誤差を小さく抑えることができる。

また、平面画像を撮影する場合には、複数の光学系の中で最も防振特性の良い光学系を用いて、かつ最も防振効果が高い調整値を適用して像ブレの補正ができるため、ブレ残り量の少ない良好な画像を撮影することができる。

なお、本実施の形態では、単眼モードと複眼モードとを備えているため、ＥＥＰＲＯＭ１１２には調整値ｈ１、ｈ１’及びｈ２を記録したが、複眼モードだけの場合には、調整値ｈ１及びｈ２のみを記録するようにすればよい。

また、本実施の形態では、撮像素子（１）１２や撮像素子（２）２２を移動させることにより像ブレの補正を行ったが、レンズユニット（１）１０やレンズユニット（２）２０に含まれる光学素子を移動させることにより像ブレの補正を行っても良い。

また、本実施の形態では、機械的に像ブレの補正を行うため、防振特性の悪い光学系に合わせて像ブレの補正を行ったが、電気的な補正を併用することにより、防振特性の良い光学系に合わせて像ブレの補正を行うこともできる。すなわち、光学系（１）については調整値ｈ１を用いて像ブレの補正を行い、光学系（２）については調整値ｈ２を用いて像ブレの補正を行う。その結果、光学系（１）で撮影された被写体像のブレ残り量はｂ１となり、光学系（２）で撮影された被写体像のブレ残り量はｂ２となる。その後、光学系（２）で撮影された被写体像に対して、ブレ残り量がｂ１となるような画像処理を行う。これにより、複眼モードの場合においても、各光学系で撮影された画像のブレ残り量を揃え、かつ単眼モードの場合と同じく像ブレの少ない良好な撮影画像を得ることができる。

また、本実施の形態では、ゲイン補償を行う場合について説明したが、本発明はゲイン補償に限らず、位相補償について適用することも可能である。

また、本実施の形態では、２系統の撮像系（光学系（１）及び光学系（２））を有する例を示したが、撮像系が３個以上あってもよい。また、撮像系の配置は、横一列でなくても二次元で配置されていてもよい。また、図１の複眼デジタルカメラ１は、立体撮影のみでなく、マルチ視点や全方向の撮影も可能である。

なお、本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置、携帯音楽プレーヤー、ＰＤＡ等の電子機器にも同様に適用することができる。

複眼デジタルカメラ１の電気的構成を示すブロック図である。 防振手段１２０の構成の概略を示す図である。 調整値の記録処理の一連の処理の流れを示すフローチャートである。 防振特性を説明する図である。 撮影処理の一連の処理の流れを示すフローチャートである。

符号の説明

１、：複眼デジタルカメラ、１０：レンズユニット（１）、１２：撮像素子（１）、１４、１６、２４、２６：防振アクチュエータ、２０：レンズユニット（２）、２２：撮像素子（２）、３６：撮影モード切替手段、１１０：ＣＰＵ、１１２：ＥＥＰＲＯＭ、１２０：防振手段、１２２、１２６：ジャイロセンサ、１２５：モータドライバ

Claims (6)

1. 被写体像を撮像する撮像素子と、前記撮像素子に被写体像を結像させる撮影光学系と、でそれぞれ構成された複数の撮像手段と、
   前記撮像手段に加えられた振動を検出するブレ検出手段と、
   前記各撮像手段毎に設けられ、前記ブレ検出手段により検出された振動により発生する 前記被写体像の像ブレを除去する補正を前記各撮像手段毎に行う像ブレ補正手段と、
   前記像ブレ補正手段による補正により除去しきれなかった前記被写体像の像ブレ（以下、ブレ残り量という）が前記各撮像手段毎に略同一となるように、前記像ブレ補正手段を該各像ブレ補正手段毎に制御する制御手段と、
   を備えたことを特徴とする複眼撮像装置。
2. 前記制御手段は、前記各撮像手段毎の前記ブレ残り量を少なくするための調整値であって、前記撮像手段毎に予め設定された調整値を記憶する記憶手段を有し、前記ブレ検出手段の出力と前記記憶手段に記憶された前記撮像手段毎の調整値とに基づいて前記複数の像ブレ補正手段をそれぞれ制御することを特徴とする請求項１に記載の複眼撮像装置。
3. 前記記憶手段には、前記複数の像ブレ補正手段によってそれぞれ除去可能なブレ残り量のうちのブレ残り量が最も大きくなる第１の撮像手段については、そのブレ残り量を最小にする第１の調整値が記憶され、他の第２の撮像手段については、前記第１の撮像手段の防振特性に、当該第２の像ブレ補正手段の防振特性を略一致させるための第２の調整値が記憶されていることを特徴とする請求項２に記載の複眼撮像装置。
4. 単眼モードと複眼モードとを切り替える撮影モード切替手段と、
   前記撮影モード切替手段によって単眼モードに切り替えられると、前記第２の撮像手段のみによって撮影を行わせ、前記複眼モードに切り替えられると、複数の撮像手段によって同時に撮影を行わせる手段と、を備え、
   前記記憶手段には、前記第２の撮像手段については、そのブレ残り量を最小にする第３の調整値が更に記憶され、
   前記制御手段は、前記撮影モード切替手段によって単眼モードに切り換えられると、前記記憶手段から前記第３の調整値を読み出し、前記ブレ検出手段の出力と前記読み出した第３の調整値とに基づいて前記第２の撮像手段に設けられた像ブレ補正手段を制御し、前記複眼モードに切り替えられると、前記記憶手段から前記第１、２の調整値を読み出し、前記ブレ検出手段の出力と前記読み出した第１、２の調整値とに基づいて前記各撮像手段毎に設けられた像ブレ補正手段をそれぞれ制御することを特徴とする請求項３に記載の複眼撮像装置。
5. 前記記憶手段は、ピッチ方向及びヨー方向の各方向毎の調整値を記憶することを特徴とする請求項２から４のいずれかに記載の複眼撮像装置。
6. 被写体像を撮像する撮像素子と、前記撮像素子に被写体像を結像させる撮影光学系と、でそれぞれ構成された複数の撮像手段に加えられた振動を検出するステップと、
   前記各撮像手段毎に設けられた像ブレ補正手段を用いて、前記検出された振動により発生する前記被写体像の像ブレを除去する補正を前記各撮像手段毎に行うステップと、
   前記被写体像の像ブレを除去する補正を前記各撮像手段毎に行うステップにおいて除去しきれなかった前記被写体像の像ブレ（以下、ブレ残り量という）を求めるステップと、
   前記ブレ残り量が前記各撮像手段毎に略同一となるように、前記像ブレ補正手段を該各像ブレ補正手段毎に制御するステップと、
   を有することを特徴とする像ブレ補正方法。

Images