JP5871989B2 - 撮影装置、撮影方法及びプログラム - Google Patents

Description

本発明は撮影装置及び撮影方法に係り、特に、単一の撮影光学系の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左眼用の画像及び右眼用の画像を取得する撮影装置及び撮影方法に関する。

被写体に太陽等の明るい光源が含まれている場合、その光源の光が撮影光学系内や撮像素子の表面で反射し、反射光の像が撮像素子上に結像することで撮像画像内にゴースト像が生じることがある。

特許文献１には、撮影光学系内の絞りの開口径を変化させることで互いに異なるＦ値で２回の撮像を行い、２つの画像の差分からゴースト検出を行う構成が開示されている。

特許文献２には、フォーカスレンズを移動させてフォーカス位置とデフォーカス位置とで撮像し、フォーカス画像とデフォーカス画像の差分からゴースト検出を行う構成が開示されている。

特許文献３には、撮像画像に対して画像処理を行い被写界深度を拡大した画像を得る装置にて、光学系の光軸に対し直交する面内で波面変換素子を回転させる機構を備え、波面変換素子を回転角度０度と１８０度とに回転させたときにそれぞれ取得される２つの画像間で和、差の演算処理を行うことで、ゴースト除去を行う構成が開示されている。

特開２００８−２２８１８１号公報 特開２００８−５４２０６号公報 特開２００５−９１８６５号公報

しかしながら、特許文献１〜３に記載の発明は、１回の撮影で２枚の画像を撮影可能な単眼立体撮影装置に関するものではない。撮影レンズの左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左眼用画像及び右眼用画像を取得する場合には、左眼用の画像と右眼用の画像との間に視差がある。したがって、特許文献１〜３に記載の発明を単眼立体撮影装置に適用すると誤検出の問題が生じる。

また、特許文献１〜３に記載の発明においては、撮影条件が異なる複数回の撮像を行わなければ、ゴースト像を処理することができない。したがって、画像を連続的に撮影する場合、例えばライブビュー画像（スルー画像）を撮影する場合や、動画を撮影する場合には、特許文献１〜３に記載の発明を適用することはできない。

そして、１回の撮影で２枚の画像を撮影可能な単眼立体撮影装置で画像を連続的に撮影する場合において、ゴーストの影響を受けたままの画像を用いた場合には、正確な自動合焦制御、自動露出制御及び自動ホワイトバランス制御を行うことができないという問題がある。

本発明はこのような事情に鑑みてなされたもので、連続的に画像を取得している場合においてもゴーストの検出が可能であり、ゴーストが発生した場合においても正確に自動合焦制御、自動露出制御及び自動ホワイトバランス制御を行うことができる撮影装置及び撮影方法を提供することを目的とする。

この目的を達成するために、本発明の一の態様に係る撮影装置は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して２枚の画像を取得する画像取得手段と、取得された２枚の画像からゴーストを検出するゴースト検出手段と、取得された２枚の画像のいずれかからゴーストが検出されたか否かを判断する第１の判断手段と、第１の判断手段により２枚の画像のいずれかからゴーストが検出されたと判断された場合には、２枚の画像のうちのゴーストの発生があると判断されなかった画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行う制御手段と、を備えた。

本発明の一の態様に係る撮影装置によれば、２枚の画像のいずれかにゴーストが発生しているか否かを判断し、２枚の画像のいずれかからゴーストが検出された場合には２枚の画像のうちのゴーストの発生があると判断されなかった画像に基づいて自動合焦制御や自動露出制御や自動ホワイトバランス制御を行う。これにより、連続的に画像を取得している場合においてもゴーストの検出が可能となる。また、ゴーストが発生した場合においても正確に自動合焦制御、自動露出制御及び自動ホワイトバランス制御を行うことができる。

本発明の他の態様に係る撮影装置において、第１の判断手段は、２枚の画像のそれぞれに設定された領域内からゴーストが検出されたか否かを判断してもよい。これにより、画像処理量を減らし、画像処理に要する時間を短くすることができる。ここで、２枚の画像のそれぞれに設定された領域とは、ＡＦエリア、ＡＥエリア（測光エリア）、ＡＷＢエリア（光源種判別エリア）など、各種のものとすることができる。

本発明の他の態様に係る撮影装置において、第１の判断手段により２枚の画像のいずれかからゴーストが検出されたと判断された場合には、２枚の画像のいずれかに発生したゴーストが一定の強さ以上であるか否かを判断する第２の判断手段を備え、制御手段は、第１の判断手段により２枚の画像のいずれかからゴーストが検出されたと判断された場合かつ第２の判断手段により２枚の画像のいずれかに発生したゴーストが一定の強さ以上でないと判断された場合には、２枚の画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行うようにしてもよい。これにより、２枚の画像のいずれかに発生したゴーストが一定の強さ以上でない場合には２枚の画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行うため、より多くの場合に２枚の画像に基づいた処理を行うことができるようになり、処理の精度を高くすることができる。

本発明の他の態様に係る撮影装置において、第１の判断手段により２枚の画像のいずれかからゴーストが検出されたと判断された場合には、２枚の画像のいずれかにゴーストの発生している領域の設定された領域に占める割合が一定以上であるか否かを判断する第３の判断手段を備え、制御手段は、第１の判断手段により２枚の画像のいずれかからゴーストが検出されたと判断された場合かつ第３の判断手段により２枚の画像のいずれかにゴーストの発生している領域の設定された領域に占める割合が一定以上でないと判断された場合には、２枚の画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行うようにしてもよい。これにより、２枚の画像のいずれかにゴーストの発生している領域の設定された領域に占める割合が一定以上でない場合には２枚の画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行うため、より多くの場合に２枚の画像に基づいた処理を行うことができるようになり、処理の精度を高くすることができる。

本発明の他の態様に係る撮影装置において、第１の判断手段により２枚の画像のいずれかからゴーストが検出されたと判断された場合には、２枚の画像のどちらにもゴーストが発生していない領域を求め、当該求められた領域の設定された領域に占める割合が一定以上であるか否かを判断する第４の判断手段を備え、制御手段は、第１の判断手段により２枚の画像のいずれかからゴーストが検出されたと判断された場合かつ第４の判断手段により２枚の画像のどちらにもゴーストが発生していない領域の設定された領域に占める割合が一定以上であると判断されなかった場合には、２枚の画像のうちのゴーストの発生があると判断されなかった画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行い、第１の判断手段により２枚の画像のいずれかからゴーストが検出されたと判断された場合かつ第４の判断手段により２枚の画像のどちらにもゴーストが発生していない領域の設定された領域に占める割合が一定以上であると判断された場合には、２枚の画像のどちらにもゴーストが発生していない領域に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行うようにしてもよい。すなわち、２枚の画像のどちらにもゴーストが発生していない領域の設定された領域に占める割合が一定以上でない場合には、２枚の画像のうちのゴーストの発生があると判断されなかった画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行う。また、２枚の画像のどちらにもゴーストが発生していない領域の設定された領域に占める割合が一定以上である場合には、２枚の画像のうちの２枚の画像のどちらにもゴーストが発生していない領域に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行う。これにより、より多くの場合に２枚の画像に基づいた処理を行うことができるようになり、処理の精度を高くすることができる。特にＡＦ処理の場合には、より多くの場合で処理時間の短い位相差ＡＦ処理を行うことができる。

本発明の他の態様に係る撮影装置において、ゴースト検出手段は、取得された複数の画像間の被写体像の視差による像ずれ量を算出し、算出された像ずれ量に基づいて複数の画像間の像ずれを補正し、像ずれ補正後の複数の画像の対応画素間で画素値の差分を算出することでゴーストを検出するようにしてもよい。これにより、正確にゴーストの発生を検出することができる。

本発明の他の態様に係る撮影装置において、ゴースト検出手段は、取得された複数の画像のそれぞれに対してローパスフィルタをかけ、ローパスフィルタがかけられた複数の画像の差分を算出することでゴーストを検出するようにしてもよい。これにより、短時間でゴーストの発生を検出することができる。

本発明の他の態様に係る撮影装置において、第１の判断手段により２枚の画像からゴーストが検出されなかったと判断された場合には２枚の画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行うようにしてもよい。これにより、より正確な制御を行うことができる。

本発明の他の態様に係る撮影装置において、制御手段は、２枚の画像のうちのゴーストの発生があると判断されなかった画像に基づいて自動合焦制御を行う場合には、合焦状態を示す評価値に基づいて自動合焦制御を行い、２枚の画像に基づいて自動合焦制御を行う場合には２枚の画像の位相差に基づいて自動合焦制御を行うようにしてもよい。これにより、ゴーストが発生していない場合には短時間でＡＦ処理を行うことができる。

本発明の他の態様に係る撮影装置において、被写体の明るさが一定の明るさ以上であるか否かを判断する第５の判断手段を備え、ゴースト検出手段は、第５の判断手段により被写体の明るさが一定の明るさ以上であると判断された場合にのみゴーストを検出するようにしてもよい。これにより、ゴーストが発生する可能性がある場合にのみゴーストを検出するため、演算時間を短くすることができる。

本発明の他の態様に係る撮影方法において、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して２枚の画像を取得するステップと、取得された２枚の画像からゴーストを検出するステップと、取得された２枚の画像のいずれかからゴーストが検出されたか否かを判断するステップと、２枚の画像のいずれかからゴーストが検出されたと判断された場合には、２枚の画像のうちのゴーストの発生があると判断されなかった画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行うステップと、を備えてもよい。

本発明の他の態様に係るプログラムにおいて、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して２枚の画像を取得するステップと、取得された２枚の画像からゴーストを検出するステップと、取得された２枚の画像のいずれかからゴーストが検出されたか否かを判断するステップと、２枚の画像のいずれかからゴーストが検出されたと判断された場合には、２枚の画像のうちのゴーストの発生があると判断されなかった画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行うステップと、を演算装置に実行させてもよい。また上記のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体も本発明に含まれる。

本発明によれば、連続的に画像を取得している場合においてもゴーストの検出が可能であり、ゴーストが発生した場合においても正確に自動合焦制御、自動露出制御及び自動ホワイトバランス制御を行うことができる。

立体撮像装置のブロック図 位相差イメージセンサの構成例を示す図 主、副画素の１画素ずつを示した図 図３の要部拡大図 第１の実施形態におけるＡＦ処理の一例の流れを示すフローチャート （Ａ）部分はゴーストが発生している主画素データ及び画素データを重ね合わせて表示した様子を示す模式図であり、（Ｂ）部分はその主画素データを示す図、（Ｃ）部分はその副画素データを示す図 単眼立体撮像装置における異常光の入射を示す模式図 ゴースト検出処理の一例の流れを示すフローチャート （Ａ）部分および（Ｂ）部分は視差による像ずれと像ずれ補正の説明に用いる説明図 第２の実施形態におけるＡＦ処理の一例の流れを示すフローチャート 第３の実施形態におけるＡＦ処理の一例の流れを示すフローチャート ゴーストが発生している主画素データを示す図 第４の実施形態におけるＡＦ処理の一例の流れを示すフローチャート （Ａ）部分はゴーストが発生している主画素データを示す図であり、（Ｂ）部分はその副画素データを示す図

以下、添付図面に従って本発明に係る撮像装置を実施するための最良の形態について詳細に説明する。

＜第１の実施の形態＞
［撮像装置の構成の説明］
図１は本発明に係る単眼立体撮像装置１０の実施の形態を示すブロック図である。この単眼立体撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記憶メディアに記録するデジタルカメラであり、装置全体の動作は中央処理装置（ＣＰＵ）４０によって統括制御される。

立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影光学系１２、絞り１４を介して固体撮像素子である位相差ＣＣＤ１６の受光面に結像される。

撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。

絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4〜Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。また、ＣＰＵ４０は、ＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間（シャッタ速度）や、位相差ＣＣＤ１６からの画像信号の読み出し制御等を行う。

図２は位相差ＣＣＤ１６（単眼立体撮像素子）の構成例を示す図である。

位相差ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

図２に示すように位相差ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図３は撮影光学系１２、絞り１４、及び位相差ＣＣＤ１６の主画素ＰＤａ、副画素ＰＤｂの１画素ずつを示した図であり、図４は図３の要部拡大図である。

図４の（Ａ）部分に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、位相差ＣＣＤ１６の主画素ＰＤａ及び副画素ＰＤｂには遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素ＰＤａ、副画素ＰＤｂの受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。

なお、上記構成の位相差ＣＣＤ１６は、主画素ＰＤａと副画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよい。また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

図１に戻って、位相差ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。

また、ＥＥＰＲＯＭ５６は、カメラ制御プログラム、位相差ＣＣＤ１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図、本発明に係る複数の視差優先プログラム線図等が記憶されている不揮発性メモリである。

ここで、図２の（Ｂ）部分及び（Ｃ）部分に示すように、位相差ＣＣＤ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。

デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０（ＬＣＤ）に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、位相差ＣＣＤ１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ／ＡＷＢ検出部４４に取り込まれる。

ＡＥ／ＡＷＢ検出部４４は、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ／ＡＷＢ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及び位相差ＣＣＤ１６の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間を制御する（ＡＥ処理）。

また、ＡＥ／ＡＷＢ検出部４４は、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリア毎にＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。ＣＰＵ４０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、例えば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ＝１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する（ＡＷＢ処理）。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域（以下、ＡＦエリアという）内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。なお、ＡＦ評価値の演算はＧ信号を利用してもよいし、輝度信号（Ｙ信号）などの他の画像信号を利用してもよい。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のＡＦエリア内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。ＡＦエリアは、例えば画面中央部に設定されるが、画面全体をＡＦエリアとしてもよいし、所望の被写体（例えば顔）の近傍領域をＡＦエリアとしてもよい。なお、顔を検出する方法は既に公知であるため説明を省略する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左眼用画像（主画像）及び右眼用画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸張処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＰＭファイルは、メディアコントローラ５２により読み出され、メモリカード５４に記録される。

なお、ＡＦ動作は、シャッタボタンの第１段階の押下（半押し）がある場合のみでなく、左眼用画像及び右眼用画像の２枚分の画像データ、すなわち右眼用画像データ、左眼用画像データを連続的に撮影する場合にも行われる。右眼用画像データ、左眼用画像データを連続的に撮影する場合とは、例えばライブビュー画像（スルー画像）を撮影する場合や、動画を撮影する場合が挙げられる。この場合には、ＡＦ処理部４２は、連続的に右眼用画像データ、左眼用画像データを撮影している間、常時繰り返しＡＦ評価値の演算を行って又は位相差の検出を行って、連続的にフォーカスレンズ位置を制御するコンティニュアスＡＦを行う。

［撮像装置の動作の説明］
次に、単眼立体撮像装置１０の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＥＥＰＲＯＭ５６やＣＰＵ４０内のプログラム格納部に記憶されている。

撮影光学系１２を通過した被写体光は、絞り１４を介して位相差ＣＣＤ１６の受光面に結像される。ＣＣＤ制御部３２により、位相差ＣＣＤ１６の主画素及び副画素に蓄えられた信号電荷は、信号電荷に応じた電圧信号（画像信号）として所定のフレームレートで順次読み出され、アナログ信号処理部１８、Ａ／Ｄ変換器２０、画像入力コントローラ２２を介してデジタル信号処理部２４に順次入力され、左眼用画像データ及び右眼用画像データが順次生成される。生成された左眼用画像データ及び右眼用画像データは順次ＶＲＡＭ５０に入力される。

ＣＰＵ４０は、左眼用画像データ及び右眼用画像データに基づいて、絞り駆動部３４を介して絞り１４の開口量（Ｆ値）を変更する。また、ＣＰＵ４０は、操作部３８からの入力に応じて、レンズ駆動部３６を介してズーミングを行う。

撮影者は、この液晶モニタ３０にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。

シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ４０に入力され、ＣＰＵ４０はＡＦ処理部４２及びＡＥ／ＡＷＢ検出部４４を介してＡＥ／ＡＦ動作を実施する。

本実施の形態は、左眼用画像データ及び右眼用画像データからのゴーストの検出と、ゴーストが発生している場合のＡＦ処理に特徴がある。図５は、単眼立体撮像装置１０のＡＦ処理の流れを示すフローチャートである。

ＣＰＵ４０は、ゴーストを検出するために、Ｓ１ＯＮ信号がＣＰＵ４０に入力される直前に取得された左眼用画像データ及び右眼用画像データを比較する（ステップＳ１０）。

図６の（Ａ）部分は、ゴースト像をそれぞれ有する主画素データ及び副画素データ（左眼用画像データ及び右眼用画像データ）を重ね合わせて液晶モニタ３０に表示した様子を模式的に示す。なお、本図面上では立体表示できないため平面画像として表している。図６の（Ｂ）部分はゴースト像を有する主画素データ、図６の（Ｃ）部分はゴースト像を有する副画素データをそれぞれ示す。

立体撮像装置１０における瞳分割の構造上、図７に示すように主画素ＰＤａに入射する異常光は副画素ＰＤｂに入射せず、副画素ＰＤｂに入射する異常光は主画素ＰＤａに入射しない場合がほとんどである。即ち、図６（Ｂ）部分の主画素データ中に現れるゴースト像は図６（Ｃ）部分の副画素データ中にほとんど現れず、図６（Ｃ）部分の副画素データ中に現れるゴースト像は図６（Ｂ）部分の主画素データ中にほとんど現れない。このように、立体撮像装置１０においては、主画素データ及び副画素データを比較することによりゴーストの検出が可能である。

ステップＳ１０の処理について、図８を用いて説明する。ＣＰＵ４０は、主画素データ及び副画素データ、すなわち左眼用画像データ及び右眼用画像データをＶＲＡＭ５０から取得する（ステップＳ１００）。本実施の形態では、主画素データが右眼用画像データであり、副画素データが左眼用画像データであるが、これに限定されるものではない。

ＣＰＵ４０は、視差による像ずれ量（以下「視差量」ともいう）を算出する（ステップＳ１０２）。具体的には、まず、主画素データ中の主画素と副画素データ中の副画素との対応関係の検出（対応点検出）を行い、次に、対応する画素間（対応点間）の像ずれ量（主画素データ中の主画素の座標と副画素データ中の副画素の座標との差分）を算出し、各画素（主画素および／または副画素）と像ずれ量との関係（視差分布）を示す視差マップを生成する。なお、本例の視差マップは、副画素データ中の各副画素と像ずれ量との対応関係を示す。例えば、図９の（Ａ）部分に示す主画素データと図９の（Ｂ）部分に示す副画素データとでは、木の像がＤだけ像ずれしているので、木の像を構成する各画素に像ずれ量Ｄを関連付ける。なお、図９の（Ａ）部分およびの（Ｂ）部分中、人の像にはほとんど像ずれが無いが、実際には人の像内で被写体距離に応じた小さな像ずれが生じている。

ＣＰＵ４０は、視差マップに基づいて、主画素データと副画素データとの被写体像の視差に因る像ずれを補正する。本例では、副画素データ中で副画素を移動させることで、主画素データ中の主画素の座標と、その主画素に対応する副画素データ中の副画素の座標とを一致させる（ステップＳ１０４）。例えば、図９の（Ｂ）部分に示す副画素データでは、木の像をＤだけ左方向に移動させる。

ＣＰＵ４０は、このようにして像ずれ補正後の主画素と副画素とで画素値（信号量）の差分を算出する（ステップＳ１０６）。本実施の形態では、像ずれ補正後の主画素と副画素のそれぞれについて設定されたＡＦエリア内の画素値の差分を算出する。これにより、主画素データ及び副画素データが比較される。

ＣＰＵ４０は、ＡＦエリアの信号量の差分があるか、すなわちステップＳ１０６で算出された差分が０でないかを判断する（ステップＳ１２）。主画素データ、副画素データのいずれかのＡＦエリアにゴーストが発生している場合には、信号量の差分は０とならない。本実施の形態では、主画素データ中にゴースト像が存在する領域の値（ゴースト画素値）が正となり、副画素データ中にゴースト像が存在する領域の値（ゴースト画素値）が負となる。例えば、図６の（Ｂ）部分に示す主画素データと図６の（Ｃ）部分に示す副画素データとを取得し、画面中央部にＡＦエリアが設定されている場合には、図６の（Ｃ）部分の副画素データにゴーストが現れているため、信号量の差分は０とならない。

ステップＳ１２で信号量の差分に差があると判断された場合（ステップＳ１２でＹｅｓ）には、ＣＰＵ４０は、その差分が一定以上であるか否かを判断する（ステップＳ１４）。差分が一定以上である場合とは、ゴーストの強さが強く、ＡＦに影響があると思われる場合である。

ステップＳ１４で差分が一定以上であると判断された場合（ステップＳ１４でＹｅｓ）には、ＣＰＵ４０は、ＡＦエリアの信号量の小さい画像をＡＦの対象画像と決定してＡＦ処理部４２に入力する。ＡＦ処理部４２は、ＡＦの対象画像のＡＦエリアの画像データに基づいてコントラストＡＦ処理を行う（ステップＳ１６）。ゴーストが発生している画像は信号量が大きくなるため、信号量の小さい画像はゴーストが発生していないか、ゴーストが発生していてもその影響が小さい場合が考えられる。本実施の形態では、この信号量の小さい画像をゴーストの発生していない画像と定義する。したがって、ＡＦエリアの信号量の小さい画像を用いてＡＦを行うことで、誤合焦のリスクを減らすことができる。

ステップＳ１２で信号量の差分に差がないと判断された場合（ステップＳ１２でＮｏ）か、またはステップＳ１２で信号量の差分に差があると判断された場合（ステップＳ１２でＹｅｓ）かつステップＳ１４で差分が一定以上でないと判断された場合（ステップＳ１４でＮｏ）は、ゴーストが発生していない場合か、ゴーストが発生していたとしてもＡＦに影響が無い程度の弱いゴーストである場合（本発明では、この２つの場合をゴーストが発生していない場合と定義する）であるため、ＡＦ処理部４２は、２枚の画像のＡＦエリアの信号に基づいて位相差ＡＦ処理を行う（ステップＳ１８）。

その後、シャッタボタンが全押しされると、ＣＰＵ４０にＳ２ＯＮ信号が入力され、ＣＰＵ４０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッタ速度、絞り値で位相差ＣＣＤ１６を露光する。

位相差ＣＣＤ１６の主画素、副画素からそれぞれ出力された２枚分の画像データは、アナログ処理部６０、Ａ／Ｄ変換器２０、画像入力コントローラ２２を介してＶＲＡＭ５０に取り込まれ、画像信号処理部６４において輝度／色差信号に変換されたのち、ＶＲＡＭ５０に格納される。ＶＲＡＭ５０に格納された左眼用画像データは、圧縮伸張処理部２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、ＶＲＡＭ５０に格納される。

ＶＲＡＭ５０に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディアコントローラ２を介してメモリカード５４に記録される。これにより、立体視画像が撮影、記録される。

なお、本実施の形態では、立体視画像を撮影する場合を例に説明したが、単眼立体撮像装置１０は、平面画像、立体視画像の両方が撮影可能である。平面画像を撮影する場合には、位相差ＣＣＤ１６の主画素のみまたは副画素のみを用いて撮影を行うようにすればよい。撮影処理の詳細については立体視画像を撮影する場合と同様であるため、説明を省略する。

以上のようにしてメモリカード５４に記録された画像は、再生ボタンにより単眼立体撮像装置１０のモードを再生モードに設定することにより、液晶モニタ３０で再生表示させることができる。

再生モードに設定されると、ＣＰＵ４０は、メディアコントローラ５２にコマンドを出力し、メモリカード５４に最後に記録された画像ファイルを読み出させる。

読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部２６に加えられ、非圧縮の輝度／色差信号に伸張されたのち、ビデオ・エンコーダ２８を介して液晶モニタ３０に出力される。

画像のコマ送りは、十字キーの左右のキー操作によって行われ、十字キーの右キーが押されると、次の画像ファイルがメモリカード５４から読み出され、液晶モニタ３０に再生表示される。また、十字キーの左キーが押されると、一つ前の画像ファイルがメモリカード５４から読み出され、液晶モニタ３０に再生表示される。

本実施の形態によれば、連続的に画像を取得している場合においてもゴーストの検出が可能であり、ゴーストが発生した場合においても正確にＡＦ処理を行うことができる。位相差ＡＦ処理は、使用する２枚の画像の信号量に差がある場合には誤合焦を起こしやすいが、ゴーストの無い画像を用いたコントラストＡＦ処理とすることで、誤合焦を回避することができる。

なお、本実施の形態では、ステップＳ１２で信号量の差分に差がないと判断された場合（ステップＳ１２でＮｏ）、及びステップＳ１２で信号量の差分に差があると判断された場合（ステップＳ１２でＹｅｓ）かつステップＳ１４で差分が一定以上でないと判断された場合（ステップＳ１４でＮｏ）には、２枚の画像のＡＦエリアの信号に基づいて位相差ＡＦ処理を行った（ステップＳ１８）が、ＡＦエリアの信号に基づいて２枚の画像のそれぞれに対してコントラストＡＦ処理を行うことによりＡＦ処理を行ってもよい。被写体が暗い場合等にはノイズが大きく誤合焦する可能性がある。したがって、被写体の明るさを検出し、被写体が暗い場合にはコントラストＡＦ処理を行うようにすることで誤合焦を回避することができる。なお、２枚の画像のそれぞれに対してコントラストＡＦ処理を行った結果が異なる場合が考えられるが、この場合には、求められた結果のうちより被写体の距離が近いほうに合焦させるようにしてもよいし、先に検出された結果に基づいて合焦処理を行ってもよいし、２つの結果を合わせて合焦位置を決定しても良い。

また、本実施の形態では、左眼用画像データ及び右眼用画像データからゴーストを検出し、それに応じてＡＦ処理を変えたが、ゴーストの発生の有無に応じて変更するのはＡＦ処理に限定されない。ゴーストの発生の有無に応じてＡＥ処理を変えてもよいし、ＡＷＢ処理を変えてもよい。

まずＳ１ＯＮ信号がＣＰＵ４０に入力される直前に取得された左眼用画像データ及び右眼用画像データの信号量の差分を求め、信号量の差分に差がないと判断された場合か、または信号量の差分に差があると判断されかつ差分が一定以上でないと判断された場合には、ＡＥ／ＡＷＢ検出部４４は、２枚の画像の画像データを用いてＡＥ処理及びＡＷＢ処理を行う。

信号量の差分に差があると判断された場合かつ差分が一定以上であると判断された場合には、ＡＥ／ＡＷＢ検出部４４は、画面全体の信号量の小さい画像をＡＥの対象画像と決定し、ＡＥの対象画像の画像データを用いてＡＥ処理及びＡＷＢ処理を行う。

なお、ＡＥ／ＡＷＢ検出部４４は、既に説明したように、画像データ全体のＲ，Ｇ，Ｂ信号に基づいて積算値を求めてＡＥ処理・ＡＷＢ処理を行ってもよいし、画像の一部分にＡＥエリア・ＡＷＢエリアを設定してもよい。この場合には、設定されたＡＥエリア・ＡＷＢエリア内の信号量の差分を求め、その差分に差がないと判断された場合か、または信号量の差分に差があると判断された場合かつ差分が一定以上でないと判断された場合には、２枚の画像の画像データを用いてＡＥ処理・ＡＷＢ処理を行い、信号量の差分に差があると判断された場合かつ差分が一定以上であると判断された場合には、ＡＥエリア・ＡＷＢエリアの信号量の小さい画像をＡＥ処理・ＡＷＢ処理の対象画像と決定し、ＡＥ処理・ＡＷＢ処理の対象画像の画像データを用いてＡＥ処理・ＡＷＢ処理を行うようにすればよい。

＜第２の実施の形態＞
本発明の第１の実施の形態では、視差マップに基づいて主画素データと副画素データとの被写体像の視差に因る像ずれを補正し、像ずれ補正後の主画素と副画素とで画素値（信号量）の差分を算出することにより、ゴーストの検出を行ったが、ゴーストの検出方法はこれに限られない。

本発明の第２の実施の形態は、像ずれを補正しないでゴーストを検出する形態である。以下、第２の実施の形態に係る単眼立体撮像装置１０−１について説明する。第１の実施の形態に係る単眼立体撮像装置１０と第２の実施の形態に係る単眼立体撮像装置１０−１との相違はＡＦ処理のみであるため、ＡＦ処理のみについて説明し、他は説明を省略する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

図１０は、単眼立体撮像装置１０のＡＦ処理の流れを示すフローチャートである。ＣＰＵ４０は、主画素データ及び副画素データ、すなわち左眼用画像データ及び右眼用画像データをＶＲＡＭ５０から取得し、主画素と副画素とで画素値（信号量）の差分を算出する（ステップＳ２０）。これにより、画像１枚分の差分データが生成される。主画素と副画素とでは視差があるため、差分データが０となることは無い。

ＣＰＵ４０は、ステップＳ２０で生成された差分データを複数の領域に分割し、各領域毎に差分データの平均値を算出する（ステップＳ２１）。ＣＰＵ４０は、信号量の差分に差があるか否か、すなわち各領域毎に算出された差分データの平均値に差があるか否かを判断する（ステップＳ２２）。例えば、各領域毎の差分データの平均値の標準偏差又は分散を算出し、これが所定の値以上の場合に差があると判断すればよい。

本実施の形態では、像ずれを補正しないで信号量の差分を算出しているため、ゴーストが発生していないのであれば、画像の位置を問わず信号量の差分が略一定になるはずである。したがって、差分データの平均値に差があるということはゴーストが発生している可能性が高いことを示している。これにより、ゴーストの発生の可能性を簡単に判断することができる。

信号量の差分に差があると判断された場合（ステップＳ２２でＹｅｓ）には、ＣＰＵ４０は、ゴーストの発生の有無及びその強度を判断する。具体的には、主画素データ及び副画素データのそれぞれに対してローパスフィルタをかけ（ステップＳ２３）、ローパスフィルタがかけられた主画素データと副画素データとの信号量の差分を算出して画像１枚分の差分データが生成される（ステップＳ２４）。そして、ＣＰＵ４０は、ステップＳ２４で生成された差分データを複数の領域に分割し、各領域毎に差分データの平均値を算出する（ステップＳ２５）。

ＣＰＵ４０は、ステップＳ２２と同様の方法により、信号量の差分に差があるか否か、すなわち各領域毎に算出された差分データの平均値に差があるか否かを判断する（ステップＳ２６）。ゴーストが発生すると低周波成分が加算される。ローパスフィルタをかけることで像ずれの影響を無くすことができるが、低周波成分からなるゴーストの影響は残る。したがって、ローパスフィルタをかけた後にも信号量に差分があるということは、画像にゴーストが発生していると判断できる。

信号量の差分に差があると判断された場合（ステップＳ２６でＹｅｓ）には、ＣＰＵ４０は、ＡＦエリアの信号量の小さい画像をＡＦの対象画像と決定してＡＦ処理部４２に入力する。本実施の形態では、ＡＦエリアの信号量の小さい画像をゴーストの発生していない画像と定義する。ＡＦ処理部４２は、ＡＦの対象画像のＡＦエリアの画像データに基づいてコントラストＡＦ処理を行う（ステップＳ１６）。

ステップＳ２２で信号量の差分に差がないと判断された場合（ステップＳ１２でＮｏ）、及びステップＳ２２で信号量の差分に差があると判断された場合（ステップＳ２２でＹｅｓ）かつステップＳ２６で信号量の差分に差がないと判断された場合（ステップＳ２６でＮｏ）は、ゴーストが発生していない場合か、ゴーストが発生していたとしてもＡＦに影響が無い程度の弱いゴーストである場合、すなわち本発明でいうゴーストの発生の無い場合である。ＡＦ処理部４２は、２枚の画像のＡＦエリアの信号に基づいて位相差ＡＦ処理を行う（ステップＳ１８）。

本実施の形態によれば、像ずれを補正しないため、短時間でゴーストの発生の有無を判断することができる。像ずれの補正には時間がかかるため、補正画像データを連続的に取得する場合、すなわちライブビュー画像や動画の撮影を行っている場合、特に連続的にＡＦ処理を行う場合には適切でない場合がある。しかしながら、ローパスフィルタを用いることで、ゴーストの発生を短時間に判断することができる。

＜第３の実施の形態＞
本発明の第１の実施の形態では、ゴーストが発生していない場合か、ゴーストが発生していたとしてもＡＦに影響が無い程度の弱いゴーストである場合、すなわち本発明でいうゴーストの発生の無い場合には、２枚の画像に基づいて位相差ＡＦ処理を行い、ゴーストが強い場合にはゴーストの発生していない画像に基づいてコントラストＡＦを行ったが、ＡＦ処理の形態はこれに限られない。

本発明の第３の実施の形態は、ゴーストが強い場合にも、ゴーストの発生していない範囲のみを用いて位相差ＡＦ処理を行う形態である。以下、第３の実施の形態に係る単眼立体撮像装置１０−２について説明する。第１の実施の形態に係る単眼立体撮像装置１０と第３の実施の形態に係る単眼立体撮像装置１０−２との相違はＡＦ処理のみであるため、ＡＦ処理のみについて説明し、他は説明を省略する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

図１１は、単眼立体撮像装置１０−２のＡＦ処理の流れを示すフローチャートである。

ＣＰＵ４０は、ゴーストを検出するために、Ｓ１ＯＮ信号がＣＰＵ４０に入力される直前に取得された主画素データ及び副画素データを比較する（ステップＳ１０）。ＣＰＵ４０は、ＡＦエリアの信号量の差分があるか、すなわちステップＳ１０６で算出された差分が０でないかを判断する（ステップＳ１２）。ステップＳ１２で信号量の差分に差があると判断された場合（ステップＳ１２でＹｅｓ）には、ＣＰＵ４０は、その差分が一定以上であるか否かを判断する（ステップＳ１４）。

ステップＳ１４で差分が一定以上であると判断された場合（ステップＳ１４でＹｅｓ）には、ＣＰＵ４０は、ＡＦエリアのうちの信号量に差分がある範囲がＡＦエリア全体の一定以上を占めているか否かを判断する（ステップＳ３０）。すなわち、主画像データ、副画像データのいずれかにゴーストが発生している領域のＡＦエリアに占める割合が一定以上であるか否かが判断される。

ＡＦエリアのうちの信号量に差分がある範囲がＡＦエリア全体の一定以上を占めている場合（ステップＳ３０でＹｅｓ）には、ＣＰＵ４０は、ＡＦエリアの信号量の小さい画像をＡＦの対象画像と決定してＡＦ処理部４２に入力し、ＡＦ処理部４２は、ＡＦの対象画像のＡＦエリアの画像データに基づいてコントラストＡＦ処理を行う（ステップＳ１６）。

ＡＦエリアのうちの信号量に差分がある範囲がＡＦエリア全体の一定以上を占めていない場合（ステップＳ３０でＮｏ）には、ＣＰＵ４０は、主画素データのＡＦエリアと副画素データのＡＦエリアから、主画素データ、副画素データ共にゴーストが発生していない領域を特定する（ステップＳ３２）。例えば、図１２に示す主画素データが入力された場合には、ＣＰＵ４０は、ＡＦエリアａ内でゴーストが発生していない領域ｂを抽出する。例えば、ＡＦエリアａ内の画像データにローパスフィルタをかけ、信号が残っていない領域をゴーストが発生していない領域ｂとして抽出することができる。ＣＰＵ４０は、同様の方法により副画素データのＡＦエリアからゴーストが発生していない領域を抽出する。そして、ＣＰＵ４０は、主画素データのゴーストが発生していない領域と、副画素データのゴーストが発生していない領域との重複部分を主画素データ、副画素データ共にゴーストが発生していない領域として特定する。ＣＰＵ４０は、特定した主画素データ、副画素データ共にゴーストが発生していない領域の情報をＡＦ処理部４２に入力する。ただし、単眼立体撮像装置１０−２では、図６に示すように、主画素データと副画素データとでゴーストの発生する位置が異なるため、一方の画像のＡＦエリアにはゴーストが発生していないことも多い。

ＡＦ処理部４２は、ＡＦエリア内の主画素データ、副画素データ共にゴーストが発生していない領域の２枚の画像のＡＦエリアの信号に基づいて位相差ＡＦ処理を行う（ステップＳ３４）。

ステップＳ１２で信号量の差分に差がないと判断された場合（ステップＳ１２でＮｏ）、及びステップＳ１２で信号量の差分に差があると判断された場合（ステップＳ１２でＹｅｓ）かつステップＳ１４で差分が一定以上でないと判断された場合（ステップＳ１４でＮｏ）は、ゴーストが発生していない場合か、ゴーストが発生していたとしてもＡＦに影響が無い程度の弱いゴーストである場合、すなわち本発明でいうゴーストの発生の無い場合であるため、ＡＦ処理部４２は、２枚の画像のＡＦエリアの信号に基づいて位相差ＡＦ処理を行う（ステップＳ１８）。

本実施の形態によれば、ゴーストが発生していたとしても、より多くの場合で位相差ＡＦ処理を行うことができる。一般的に、コントラストＡＦ処理に比べて位相差ＡＦ処理の方がより高速に合焦が可能であるため、なるべく位相差ＡＦ処理を行いたい。したがって、たとえ強いゴーストを検出した場合においても、ＡＦエリア内でゴーストが発生している範囲を特定し、２枚の画像ともゴーストが発生していない範囲を用いることで、位相差ＡＦ処理が可能となる。また、ゴーストが発生していない範囲を用いるため、誤合焦を回避することができる。

なお、本実施の形態では、信号量の差分が一定以上であるか否かを判断し（ステップＳ１４）、差分が一定以上であると判断された場合（ステップＳ１４でＹｅｓ）には、ＡＦエリアのうちの信号量に差分がある範囲がＡＦエリア全体の一定以上を占めているか否かを判断し（ステップＳ３０）、一定以上を占めていない場合（ステップＳ３０でＮｏ）には、ＡＦエリア内の主画素データ、副画素データと共にゴーストが発生していない領域の２枚の画像のＡＦエリアの信号に基づいて位相差ＡＦ処理を行った（ステップＳ３２、Ｓ３４）が、信号量の差分が一定以上であるか否かを判断することは必須ではない。ＡＦエリアの信号量の差分があるかを判断し（ステップＳ１２）、信号量の差分に差があると判断された場合（ステップＳ１２でＹｅｓ）にはＡＦエリアのうちの信号量に差分がある範囲がＡＦエリア全体の一定以上を占めているか否かを判断（ステップＳ３０）してもよい。

また、本実施の形態では、左眼用画像データ及び右眼用画像データからゴーストを検出し、それに応じてＡＦ処理を変えたが、ゴーストの発生の有無に応じてＡＥ処理・ＡＷＢ処理を変えてもよい。例えば、信号量の差分が一定以上であるか否かを判断し、差分が一定以上であると判断された場合には、信号量に差分がある範囲が画面全体の一定以上を占めているか否かを判断し、一定以上を占めていない場合には、主画素データ、副画素データ共にゴーストが発生していない領域の２枚の画像の画像信号に基づいてＡＥ処理・ＡＷＢ処理を行うようにすればよい。

＜第４の実施の形態＞
本発明の第１の実施の形態では、ゴーストが発生していない場合か、ゴーストが発生していたとしてもＡＦに影響が無い程度の弱いゴーストである場合、すなわち本発明でいうゴーストの発生の無い場合には、２枚の画像に基づいて位相差ＡＦ処理を行い、ゴーストが強い場合にはゴーストの発生していない画像に基づいてコントラストＡＦを行ったが、ＡＦ処理の形態はこれに限られない。

本発明の第４の実施の形態は、ゴーストが強い場合にも、ゴーストの発生していない範囲のみを用いて位相差ＡＦ処理を行う形態である。以下、第４の実施の形態に係る単眼立体撮像装置１０−３について説明する。第１の実施の形態に係る単眼立体撮像装置１０と第４の実施の形態に係る単眼立体撮像装置１０−３との相違はＡＦ処理のみであるため、ＡＦ処理のみについて説明し、他は説明を省略する。なお、第１〜３の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

図１３は、単眼立体撮像装置１０−３のＡＦ処理の流れを示すフローチャートである。

ＣＰＵ４０は、ゴーストを検出するために、Ｓ１ＯＮ信号がＣＰＵ４０に入力される直前に取得された主画素データ及び副画素データを比較する（ステップＳ１０）。ＣＰＵ４０は、ＡＦエリアの信号量の差分があるか、すなわちステップＳ１０６で算出された差分が０でないかを判断する（ステップＳ１２）。ステップＳ１２で信号量の差分に差があると判断された場合（ステップＳ１２でＹｅｓ）には、ＣＰＵ４０は、その差分が一定以上であるか否かを判断する（ステップＳ１４）。

ステップＳ１４で差分が一定以上であると判断された場合（ステップＳ１４でＹｅｓ）には、ＣＰＵ４０は、ＡＦエリアのうちの信号量に差分がある範囲がＡＦエリア全体の一定以上を占めているか否かを判断する（ステップＳ３０）。

ＡＦエリアのうちの信号量に差分がある範囲がＡＦエリア全体の一定以上を占めていない場合（ステップＳ３０でＮｏ）には、ＣＰＵ４０は、主画素データのＡＦエリアと副画素データのＡＦエリアから、主画素データ、副画素データ共にゴーストが発生していない領域を特定する（ステップＳ３２）。ＣＰＵ４０は、特定した主画素データ、副画素データ共にゴーストが発生していない領域の情報をＡＦ処理部４２に入力する。

ＣＰＵ４０は、ステップＳ３２で特定された領域が、ＡＦエリア内の一定の範囲以上を占めるか否かを判断する（ステップＳ４０）。一定の範囲以上である場合（ステップＳ４０でＹｅｓ）は、ＡＦ処理部４２は、ステップＳ３２で特定されたＡＦエリア内の主画素データ、副画素データ共にゴーストが発生していない領域の２枚の画像のＡＦエリアの信号に基づいて位相差ＡＦ処理を行う（ステップＳ４２）。

ＡＦエリアのうちの信号量に差分がある範囲がＡＦエリア全体の一定以上を占めている場合（ステップＳ３０でＹｅｓ）、及びステップＳ３２で特定された領域がＡＦエリア内の一定の範囲以上を占めない場合（ステップＳ４０でＮｏ）には、ＣＰＵ４０は、ＡＦエリアの信号量の小さい画像をＡＦの対象画像と決定してＡＦ処理部４２に入力し、ＡＦ処理部４２は、ＡＦの対象画像のＡＦエリアの画像データに基づいてコントラストＡＦ処理を行う（ステップＳ１６）。

単眼立体撮像装置１０−３では一方の画像のＡＦエリアにはゴーストが発生していないことも多いが、図１４に示すように、主画素データ、副画素データの両方にゴーストが発生する場合がある。図１４の（Ａ）部分は主画素データであり、（Ｂ）部分は副画素データである。主画素データと副画素データとでゴーストの発生する位置が異なるため、主画素データのＡＦエリアａ内のゴーストの発生していない領域ｂは比較的大きいが、副画素データのＡＦエリアａ内のゴーストの発生していない領域ｃは小さい。したがって、このような場合には、ＡＦエリア内の主画素データ、副画素データ共にゴーストが発生していない領域が小さくなり、位相差ＡＦ処理の精度が悪くなる。したがって、このような場合には、コントラストＡＦ処理を行うことで誤合焦を回避することができる。

ステップＳ１２で信号量の差分に差がないと判断された場合（ステップＳ１２でＮｏ）、及びステップＳ１２で信号量の差分に差があると判断された場合（ステップＳ１２でＹｅｓ）かつステップＳ１４で差分が一定以上でないと判断された場合（ステップＳ１４でＮｏ）は、ゴーストが発生していない場合か、ゴーストが発生していたとしてもＡＦに影響が無い程度の弱いゴーストである場合、すなわち本発明でいうゴーストの発生の無い場合であるため、ＡＦ処理部４２は、２枚の画像のＡＦエリアの信号に基づいて位相差ＡＦ処理を行う（ステップＳ１８）。

本実施の形態によれば、２枚の画像共にゴーストの出ていない範囲で位相差ＡＦ処理を行っても精度が低い場合にはコントラストＡＦ処理にし、ゴーストの発生していない範囲が位相差ＡＦ処理に十分である場合にのみ位相差ＡＦ処理を行うようにすることができる。そのため、ＡＦ処理の精度を高くすることができ、誤合焦を回避することができる。

なお、本実施の形態では、右目用画像データ、左眼用画像データ共にゴーストが発生していない領域がＡＦエリア内の一定の範囲以上を占めない場合（ステップＳ４０でＮｏ）には、ゴーストの発生していない画像のＡＦエリアの画像データに基づいてコントラストＡＦ処理を行った（ステップＳ１６）が、この場合には、２枚の画像のそれぞれに対してコントラストＡＦ処理を行うようにしてもよい。これにより、より精度を高くすることができる。

なお、本実施の形態では、信号量の差分が一定以上であるか否かを判断し（ステップＳ１４）、差分が一定以上であると判断された場合（ステップＳ１４でＹｅｓ）には、ＡＦエリアのうちの信号量に差分がある範囲がＡＦエリア全体の一定以上を占めているか否かを判断し（ステップＳ３０）、一定以上を占めていない場合（ステップＳ３０でＮｏ）には、ＡＦエリア内の主画素データ、副画素データ共にゴーストが発生していない領域の２枚の画像のＡＦエリアの信号に基づいて位相差ＡＦ処理を行った（ステップＳ３２〜４２）が、第３の実施の形態と同様、信号量の差分が一定以上であるか否かを判断することは必須ではない。ＡＦエリアの信号量の差分があるかを判断し（ステップＳ１２）、信号量の差分に差があると判断された場合（ステップＳ１２でＹｅｓ）にはＡＦエリアのうちの信号量に差分がある範囲がＡＦエリア全体の一定以上を占めているか否かを判断（ステップＳ３０）してもよい。

＜第５の実施の形態＞
本発明の第１の実施の形態では、全ての画像に対してゴーストの検出を行ったが、ゴーストが発生するのは太陽光が入射しうる明るい場所（例えば、屋外）と限定してよい。

本発明の第５の実施の形態は、被写体の明るさを確認し、暗い場所ではゴーストが発生しないとし、ゴースト判別の処理を行わないようにする形態である。以下、第５の実施の形態に係る単眼立体撮像装置１０−４について説明する。なお、第１の実施の形態と同一の部分については説明を省略する。

シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ４０に入力され、ＣＰＵ４０はＡＦ処理部４２及びＡＥ／ＡＷＢ検出部４４を介してＡＥ／ＡＦ動作を実施する。

ＣＰＵ４０は、まず被写体の明るさを検出する。被写体の明るさは、連続的に取得された右目用画像データ、左目用画像データの輝度信号（Ｙ信号）を用いて検出可能である。被写体の明るさを検出する方法は既に公知であるため、説明を省略する。

ＣＰＵ４０は、被写体の明るさが一定の明るさ以上であるか否かを判断する。ＡＥ／ＡＷＢ検出部４４で算出された平均積算値に基づいて被写体輝度を算出し、輝度に基づいて被写体の明るさが一定以上であるか否かが判断可能である。右目用画像データ、左目用画像データ全体の輝度が屋外撮影の可能性がありうる明るさを一定の明るさとして設定し、画面全体の輝度の平均値がその明るさ以上である場合には被写体の明るさが一定以上の明るさとしても良い。また、光源が取りうる輝度を一定の明るさとして設定し、右目用画像データ、左目用画像データの一部にでもその明るさ以上の部分がある場合には被写体の明るさが一定以上の明るさとしても良い。なお、ＡＥ／ＡＷＢ検出部４４で行う測光方式は、平均測光に限らず、中央充填測光やスポット測光などの各種測光方式を用いることができるが、本実施の形態では自動露出に用いる測光エリアに重きをおいて測光を行うことが望ましい。

ゴーストが発生するのは太陽の明るい場所（たとえば屋外）と限定してよい。被写体の明るさを確認し、暗い場所ではゴーストが発生しないとし、ゴースト判別の処理を行わない。なお、演算時間は短ければ短いほど良いため、被写体の輝度を検出する処理は最初に行うことが望ましい。

被写体の明るさが一定の明るさ以上でない場合には、ゴーストが発生する虞がないため、ＣＰＵ４０は、通常のＡＦ処理、ここでは２枚の画像を用いた位相差検出方式のＡＦ処理を行う。

被写体の明るさが一定の明るさ以上である場合には、ＣＰＵ４０は、図５に示すＡＦ処理を行う。なお図５に示すＡＦ処理は、第１の実施の形態に係る単眼立体撮像装置１０と同一であるため、説明を省略する。

本実施の形態によれば、ゴーストが発生する可能性がある場合にのみゴーストを検出してＡＦ処理を行うため、演算時間を短くすることができる。主画像データと副画像データとの信号量の差分を計算するにはある程度の演算時間が必要であるため、ゴーストが発生する可能性がある場合にのみゴーストを検出することで時間のかかる演算処理を最低限にすることができる。

なお、本実施の形態では、撮像素子にＣＣＤを用いた例で説明したが、ＣＣＤに限定されるものではない。本発明は、ＣＭＯＳ等他のイメージセンサにも適用可能である。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

例えば、図２に示すような左右方向の位相差ＣＣＤのかわりに、左右方向及び上下方向の位相差ＣＣＤを使用することもできる。この場合には、左右方向に２個、上下方向に２個の合計４個の画素が１つの画素に含まれ、一度に４枚の画像信号が得られる。４枚の画像信号が得られた場合においても、左上の画像と右上の画像、左上の画像と左下の画像、左上の画像と右下の画像というように所望の２枚の画像を選択し、選択した２枚の画像に対する処理を複数回行うことにより、同様の結果を得ることができる。すなわち、本発明は、特許請求の範囲の記載が２枚の画像を対象にしているからといって２枚の画像を取得する場合に限定されるわけではなく、２枚以上の複数の画像を取得する全ての場合に適用することができる。さらに、本実施形態では、左眼用画像データ及び右眼用画像データからゴーストを検出し、それに応じてＡＦ処理、ＡＥ処理、ＡＷＢ処理を変えたが、ゴーストの発生の有無に応じて変更するのはこれらに限定されない。例えば、ゴーストの発生の有無に応じて、顔認識や自動追尾といった、画像のマッチングに基づく各種処理を変えてもよい。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０、１０−１、１０−２、１０−３、１０−４…立体撮像装置、１２…撮影光学系、１４…絞り、１６…位相差ＣＣＤ（撮像素子）、１６Ａ…遮光部材、１６Ｂ…遮光部材の開口、２４…デジタル信号処理部、４０…ＣＰＵ、４８…メモリ、５２…メディアコントローラ、５４…メモリカード、５６…ＥＥＰＲＯＭ、Ｌ…マイクロレンズ、ＰＤ…フォトダイオード（画素）

Claims (12)

1. 単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して、１回の撮影で２次元の２枚の画像を取得する画像取得手段と、
   前記取得された２枚の画像からゴーストを検出するゴースト検出手段と、
   前記取得された２枚の画像のいずれかからゴーストが検出されたか否かを判断する第１の判断手段と、
   前記第１の判断手段により前記２枚の画像のいずれかからもゴーストが検出されなかったと判断された場合には、前記２枚の画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行う制御手段と、
   を備えた撮影装置。
2. 前記第１の判断手段は、前記２枚の画像のそれぞれに設定された領域内からゴーストが検出されたか否かを判断する請求項１に記載の撮影装置。
3. 前記第１の判断手段により前記２枚の画像のいずれかからゴーストが検出されたと判断された場合には、前記２枚の画像のいずれかに発生したゴーストが一定の強さ以上であるか否かを判断する第２の判断手段を備え、
   前記制御手段は、前記第１の判断手段により前記２枚の画像のいずれかからゴーストが検出されたと判断された場合かつ前記第２の判断手段により前記２枚の画像のいずれかに発生したゴーストが一定の強さ以上でないと判断された場合には、前記２枚の画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行う請求項１に記載の撮影装置。
4. 前記第１の判断手段により前記２枚の画像のいずれかからゴーストが検出されたと判断された場合には、前記２枚の画像のいずれかに発生したゴーストが一定の強さ以上であるか否かを判断する第２の判断手段を備え、
   前記制御手段は、前記第１の判断手段により前記２枚の画像のいずれかからゴーストが検出されたと判断された場合かつ前記第２の判断手段により前記２枚の画像のいずれかに発生したゴーストが一定の強さ以上でないと判断された場合には、前記２枚の画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行う請求項２に記載の撮影装置。
5. 前記第１の判断手段により前記２枚の画像のいずれかからゴーストが検出されたと判断された場合には、前記２枚の画像のいずれかにゴーストの発生している領域の前記設定された領域に占める割合が一定以上であるか否かを判断する第３の判断手段を備え、
   前記制御手段は、前記第１の判断手段により前記２枚の画像のいずれかからゴーストが検出されたと判断された場合かつ前記第３の判断手段により前記２枚の画像のいずれかにゴーストの発生している領域の前記設定された領域に占める割合が一定以上でないと判断された場合には、前記２枚の画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行う請求項４に記載の撮影装置。
6. 前記第１の判断手段により前記２枚の画像のいずれかからゴーストが検出されたと判断された場合には、前記２枚の画像のどちらにもゴーストが発生していない領域を求め、当該求められた領域の前記設定された領域に占める割合が一定以上であるか否かを判断する第４の判断手段を備え、
   前記制御手段は、前記第１の判断手段により前記２枚の画像のいずれかからゴーストが検出されたと判断された場合かつ前記第４の判断手段により前記２枚の画像のどちらにもゴーストが発生していない領域の前記設定された領域に占める割合が一定以上であると判断されなかった場合には、前記２枚の画像のうちの前記ゴーストの発生があると判断されなかった画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行い、前記第１の判断手段により前記２枚の画像のいずれかからゴーストが検出されたと判断された場合かつ前記第４の判断手段により前記２枚の画像のどちらにもゴーストが発生していない領域の前記設定された領域に占める割合が一定以上であると判断された場合には、前記２枚の画像のどちらにもゴーストが発生していない領域に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行う請求項２、４又は５に記載の撮影装置。
7. 前記ゴースト検出手段は、前記取得された２枚の画像間の被写体像の視差による像ずれ量を算出し、前記算出された像ずれ量に基づいて前記２枚の画像間の像ずれを補正し、前記像ずれ補正後の２枚の画像の対応画素間で画素値の差分を算出することでゴーストを検出する請求項１から６のいずれかに記載の撮影装置。
8. 前記ゴースト検出手段は、前記取得された２枚の画像のそれぞれに対してローパスフィルタをかけ、前記ローパスフィルタがかけられた２枚の画像の差分を算出することでゴーストを検出する請求項１から６のいずれかに記載の撮影装置。
9. 前記制御手段は、前記２枚の画像のうちの前記ゴーストの発生があると判断されなかった画像に基づいて自動合焦制御を行う場合には、合焦状態を示す評価値に基づいて自動合焦制御を行い、前記２枚の画像に基づいて自動合焦制御を行う場合には前記２枚の画像の位相差に基づいて自動合焦制御を行う請求項４から６のいずれかに記載の撮影装置。
10. 被写体の明るさが一定の明るさ以上であるか否かを判断する第５の判断手段を備え、
    前記ゴースト検出手段は、前記第５の判断手段により被写体の明るさが一定の明るさ以上であると判断された場合にのみゴーストを検出する請求項１から９のいずれかに記載の撮影装置。
11. 単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して、１回の撮影で２次元の２枚の画像を取得するステップと、
    前記取得された２枚の画像からゴーストを検出するステップと、
    前記取得された２枚の画像のいずれかからゴーストが検出されたか否かを判断するステップと、
    前記２枚の画像のいずれかからもゴーストが検出されなかったと判断された場合には、
    前記２枚の画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行うステップと、
    を備えた撮影方法。
12. 単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して、１回の撮影で２次元の２枚の画像を取得するステップと、
    前記取得された２枚の画像からゴーストを検出するステップと、
    前記取得された２枚の画像のいずれかからゴーストが検出されたか否かを判断するステップと、
    前記２枚の画像のいずれかからもゴーストが検出されなかったと判断された場合には、
    前記２枚の画像に基づいて自動合焦制御、自動露出制御及び自動ホワイトバランス制御のうちの少なくとも１つを行うステップと、
    を演算装置に実行させるプログラム。