JPWO2017057280A1

JPWO2017057280A1 - 撮像装置、および被写体検出装置

Info

Publication number: JPWO2017057280A1
Application number: JP2017543262A
Authority: JP
Inventors: 敏之神原; 孝塩野谷; 直樹關口
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2015-09-30
Filing date: 2016-09-26
Publication date: 2018-08-16
Also published as: WO2017057280A1

Abstract

撮像装置は、被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、第１撮像領域の撮像条件を、第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、第２撮像領域から出力された第２信号に対して、第１撮像領域から出力された第１信号の補間に用いるための補正を行う補正部と、補正部で補正された第２信号により第１信号を補間した信号を用いて、第１撮像領域で撮像された被写体を検出する検出部と、を備える。

Description

本発明は、撮像装置、および被写体検出装置に関する。

画面の領域ごとに異なる撮像条件を設定可能な撮像素子を搭載した撮像装置が知られている（特許文献１参照）。しかしながら、撮像条件が異なる領域でそれぞれ生成された画像データを処理する場合に撮像条件については考慮されていなかった。

日本国特開２００６−１９７１９２号公報

第１の態様によると、撮像装置は、被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、前記第２撮像領域から出力された第２信号に対して、前記第１撮像領域から出力された前記第１信号の補間に用いるための補正を行う補正部と、前記補正部で補正された前記第２信号により前記第１信号を補間した信号を用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
第２の態様によると、撮像装置は、光学系の合焦位置を調整するレンズを介して被写体を撮像して第１信号を出力する第１撮像領域と、前記レンズを介して被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、前記第２撮像領域から出力された第２信号に対して、前記第１撮像領域の前記第１信号を出力する画素の補間に用いるための補正を行う補正部と、前記補正部で補正された前記第２信号により前記第１信号を出力する画素を補間した信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
第３の態様によると、撮像装置は、被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、前記第２撮像領域から出力された前記第２信号に対して、前記第１撮像領域から出力された前記第１信号に含まれるノイズを低減するための補正を行う補正部と、前記補正部で補正された前記第２信号により前記第１信号に含まれるノイズを低減した信号を用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
第４の態様によると、撮像装置は、被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、前記第１撮像領域の撮像条件または前記第２撮像領域の撮像条件に基づいて前記第２撮像領域から出力された前記第２信号を補正する補正部と、前記第１信号と前記補正部で補正された前記第２信号とを用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
第５の態様によると、撮像装置は、被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、前記第１撮像領域の撮像条件と前記第２撮像領域の撮像条件とに基づいて前記第２撮像領域から出力された前記第２信号を補正する補正部と、前記第１信号と前記補正部で補正された前記第２信号とを用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
第６の態様によると、撮像装置は、被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、前記第１撮像領域の撮像条件に基づいて前記第１撮像領域から出力された前記第１信号を補正し、前記第２撮像領域の撮像条件に基づいて前記第２撮像領域から出力された前記第２信号を補正する補正部と、前記補正部で補正された前記第１信号と前記補正部で補正された前記第２信号により補正された前記第１信号を出力する画素を補間した信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
第７の態様によると、被写体検出装置は、被写体を撮像して第１信号を出力する撮像素子の第１撮像領域の撮像条件を、被写体を撮像して第２信号を出力する前記撮像素子の第２撮像領域の撮像条件とは異なる撮像条件に設定され、前記第２撮像領域から出力された第２信号に対して、前記第１撮像領域から出力された前記第１信号の補間に用いるための補正を行う補正部と、前記補正部で補正された前記第２信号により前記第１信号を補間した信号を用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
第８の態様によると、被写体検出装置は、被写体を撮像して第１信号を出力する撮像素子の第１撮像領域の撮像条件を、被写体を撮像して第２信号を出力する前記撮像素子の第２撮像領域の撮像条件とは異なる撮像条件に設定され、前記第２撮像領域から出力された第２信号に対して、前記第１撮像領域から出力された前記第１信号に含まれるノイズを低減するための補正を行う補正部と、前記補正部で補正された前記第２信号により前記第１信号に含まれるノイズを低減した信号を用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
第９の態様によると、撮像装置は、入射した被写体からの光を第１撮像条件で撮像して第１画像データを生成する第１領域と、前記入射した被写体からの光を前記第１撮像条件とは異なる第２撮像条件で撮像して第２画像データを生成する第２領域と、を有する撮像部と、前記撮像部で生成された前記第１画像データを、前記第２撮像条件に基づいて補正する補正部と、前記補正部で補正された前記第１画像データと、前記撮像部で生成された前記第２画像データとから前記被写体を検出する検出部と、を備える。
第１０の態様によると、被写体検出装置は、撮像部の第１領域に入射した被写体からの光を第１撮像条件で撮像することにより生成された第１画像データを、前記撮像部の第２領域に入射した前記被写体からの光を撮像する第２撮像条件に基づいて補正する補正部と、前記補正部で補正された前記第１画像データと、前記第２領域に入射した前記被写体からの光を撮像して生成された第２画像データとから前記被写体を検出する検出部と、を備える。

第１の実施の形態によるカメラの構成を例示するブロック図である。積層型の撮像素子の断面図である。撮像チップの画素配列と単位領域を説明する図である。単位領域における回路を説明する図である。カメラの撮像素子に結像される被写体の像を模式的に示す図である。撮像条件の設定画面を例示する図である。図７(a)はライブビュー画像における第１領域の境界付近を例示する図、図７(b)は境界付近を拡大した図、図７(c)は注目画素および参照画素の拡大図である。図８(a)は画素から出力された光電変換信号の並びを例示する図、図８(b)はＧ色成分の画像データの補間を説明する図、図８(c)は補間後のＧ色成分の画像データを例示する図である。図９(a)は図８(a)からＲ色成分の画像データを抽出した図、図９(b)は色差成分Ｃｒの補間を説明する図、図９(c)は色差成分Ｃｒの画像データの補間を説明する図である。図１０(a)は図８(a)からＢ色成分の画像データを抽出した図、図１０(b)は色差成分Ｃｂの補間を説明する図、図１０(c)は色差成分Ｃｂの画像データの補間を説明する図である。撮像面における焦点検出用画素の位置を例示する図である。焦点検出画素ラインの一部の領域を拡大した図である。焦点検出位置を拡大した図である。図１４(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図１４(b)は、ライブビュー画像および探索範囲を例示する図である。領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。図１６(a)〜図１６(c)は、撮像素子の撮像面における第１領域および第２領域の配置を例示する図である。変形例１１による撮像システムの構成を例示するブロック図である。モバイル機器へのプログラムの供給を説明する図である。第２の実施の形態によるカメラの構成を例示するブロック図である。第２の実施の形態における各ブロックと、複数の補正部との対応関係を模式的に示した図である。積層型撮像素子の断面図である。画像処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。焦点検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。被写体検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。露出演算処理等の撮像条件の設定に係る、第１画像データと第２画像データとの処理について模式的に表した図である。変形例１３による第１画像データと第２画像データとの処理について模式的に表した図である。変形例１３による第１画像データと第２画像データとの処理について模式的に表した図である。変形例１３による第１画像データと第２画像データとの処理について模式的に表した図である。変形例１３による第１画像データと第２画像データとの処理について模式的に表した図である。

−−−第１の実施の形態−−−
第１の実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。カメラ１（図１）は、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像を行うことが可能に構成される。画像処理部３３は、撮像条件が異なる領域においてそれぞれ適切な処理を行う。このようなカメラ１の詳細について、図面を参照して説明する。

＜カメラの説明＞
図１は、第１の実施の形態によるカメラ１の構成を例示するブロック図である。図１において、カメラ１は、撮像光学系３１と、撮像部３２と、画像処理部３３と、制御部３４と、表示部３５と、操作部材３６と、記録部３７とを有する。

撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、撮像素子３２ａおよび駆動部３２ｂを含み、撮像光学系３１によって結像された被写体の像を光電変換する。撮像部３２は、撮像素子３２ａにおける撮像面の全域において同じ条件で撮像したり、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部３２の詳細については後述する。駆動部３２ｂは、撮像素子３２ａに蓄積制御を行わせるために必要な駆動信号を生成する。撮像部３２に対する電荷蓄積時間などの撮像指示は、制御部３４から駆動部３２ｂへ送信される。

画像処理部３３は、入力部３３ａと、補正部３３ｂと、生成部３３ｃとを含む。入力部３３ａには、撮像部３２によって取得された画像データが入力される。補正部３３ｂは、上記入力された画像データに対して補正する前処理を行う。前処理の詳細については後述する。生成部３３ｃは、上記入力された画像データと前処理後の画像データとに基づく画像を生成する。また、生成部３３ｃは、画像データに対する画像処理を行う。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減（Noise reduction）処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。さらに、生成部３３ｃは、表示部３５により表示する画像を生成する。

制御部３４は、例えばＣＰＵによって構成され、カメラ１による全体の動作を制御する。例えば、制御部３４は、撮像部３２で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子３２ａの電荷蓄積時間（露光時間）、撮像光学系３１の絞り値、ＩＳＯ感度等の露出条件を決定して駆動部３２ｂへ指示する。また、カメラ１に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部３３へ指示する。被写体要素の検出については後述する。

制御部３４には、物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、ＡＦ演算部３４ｄとが含まれる。これらは、制御部３４が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをＡＳＩＣ等により構成しても構わない。

物体検出部３４ａは、公知の物体認識処理を行うことにより、撮像部３２によって取得された画像から、人物（人物の顔）、犬、猫などの動物（動物の顔）、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの、被写体要素を検出する。設定部３４ｂは、撮像部３２による撮像画面を、上述のように検出した被写体要素を含む複数の領域に分割する。

設定部３４ｂはさらに、複数の領域に対して撮像条件を設定する。撮像条件は、上記露出条件（電荷蓄積時間、ゲイン、ＩＳＯ感度、フレームレート等）と、上記画像処理条件（例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等）とを含む。なお、撮像条件は、複数の領域の全てに同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。

撮像制御部３４ｃは、設定部３４ｂによって領域ごとに設定された撮像条件を適用して撮像部３２（撮像素子３２ａ）、画像処理部３３を制御する。これにより、撮像部３２に対しては、複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部３３に対しては、複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。領域を構成する画素の数はいくらでもよく、例えば１０００画素でもよいし、１画素でもよい。また、領域間で画素の数が異なっていてもよい。

ＡＦ演算部３４ｄは、撮像画面の所定の位置（焦点検出位置と呼ぶ）において、対応する被写体に対してフォーカスを合わせる自動焦点調節（オートフォーカス：ＡＦ）動作を制御する。ＡＦ演算部３４ｄは、演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を駆動部３２ｂに送る。ＡＦ演算部３４ｄが自動焦点調節のために行う処理は、焦点検出処理とも呼ばれる。焦点検出処理の詳細については後述する。

表示部３５は、画像処理部３３によって生成された画像や画像処理された画像、記録部３７によって読み出された画像などを再生表示する。表示部３５は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。

操作部材３６は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材３６は、各操作に対応する操作信号を制御部３４へ送出する。操作部材３６には、表示部３５の表示面に設けられたタッチ操作部材も含まれる。

記録部３７は、制御部３４からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部３７は、制御部３４からの指示に応じて記録媒体に記録されている画像データを読み出す。

＜積層型の撮像素子の説明＞
上述した撮像素子３２ａの一例として積層型の撮像素子１００について説明する。図２は、撮像素子１００の断面図である。撮像素子１００は、撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とを備える。撮像チップ１１１は、信号処理チップ１１２に積層されている。信号処理チップ１１２は、メモリチップ１１３に積層されている。撮像チップ１１１および信号処理チップ１１２、信号処理チップ１１２およびメモリチップ１１３は、それぞれ接続部１０９により電気的に接続されている。接続部１０９は、例えばバンプや電極である。撮像チップ１１１は、被写体からの光像を撮像して画像データを生成する。撮像チップ１１１は、画像データを撮像チップ１１１から信号処理チップ１１２へ出力する。信号処理チップ１１２は、撮像チップ１１１から出力された画像データに対して信号処理を施す。メモリチップ１１３は、複数のメモリを有し、画像データを記憶する。なお、撮像素子１００は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子１００が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子１００とは別に設けていてもよい。

図２に示すように、入射光は、主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１１は、例えば、ＣＭＯＳイメージセンサである。撮像チップ１１１は、具体的には、裏面照射型のＣＭＯＳイメージセンサである。撮像チップ１１１は、マイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８を有する。撮像チップ１１１は、Ｚ軸プラス方向に向かってマイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８の順に配置されている。

マイクロレンズ層１０１は、複数のマイクロレンズＬを有する。マイクロレンズＬは、入射した光を後述する光電変換部１０４に集光する。カラーフィルタ層１０２は、複数のカラーフィルタＦを有する。カラーフィルタ層１０２は、分光特性の異なる複数種類のカラーフィルタＦを有する。カラーフィルタ層１０２は、具体的には、主に赤色成分の光を透過させる分光特性の第１フィルタ（Ｒ）と、主に緑色成分の光を透過させる分光特性の第２フィルタ（Ｇｂ、Ｇｒ）と、主に青色成分の光を透過させる分光特性の第３フィルタ（Ｂ）と、を有する。カラーフィルタ層１０２は、例えば、ベイヤー配列により第１フィルタ、第２フィルタおよび第３フィルタが配置されている。パッシベーション層１０３は、窒化膜や酸化膜で構成され、半導体層１０６を保護する。

半導体層１０６は、光電変換部１０４および読出回路１０５を有する。半導体層１０６は、光の入射面である第１面１０６ａと第１面１０６ａの反対側の第２面１０６ｂとの間に複数の光電変換部１０４を有する。半導体層１０６は、光電変換部１０４がＸ軸方向およびＹ軸方向に複数配列されている。光電変換部１０４は、光を電荷に変換する光電変換機能を有する。また、光電変換部１０４は、光電変換信号による電荷を蓄積する。光電変換部１０４は、例えば、フォトダイオードである。半導体層１０６は、光電変換部１０４よりも第２面１０６ｂ側に読出回路１０５を有する。半導体層１０６は、読出回路１０５がＸ軸方向およびＹ軸方向に複数配列されている。読出回路１０５は、複数のトランジスタにより構成され、光電変換部１０４によって光電変換された電荷により生成される画像データを読み出して配線層１０８へ出力する。

配線層１０８は、複数の金属層を有する。金属層は、例えば、Ａｌ配線、Ｃｕ配線等である。配線層１０８は、読出回路１０５により読み出された画像データが出力される。画像データは、接続部１０９を介して配線層１０８から信号処理チップ１１２へ出力される。

なお、接続部１０９は、光電変換部１０４ごとに設けられていてもよい。また、接続部１０９は、複数の光電変換部１０４ごとに設けられていてもよい。接続部１０９が複数の光電変換部１０４ごとに設けられている場合、接続部１０９のピッチは、光電変換部１０４のピッチよりも大きくてもよい。また、接続部１０９は、光電変換部１０４が配置されている領域の周辺領域に設けられていてもよい。

信号処理チップ１１２は、複数の信号処理回路を有する。信号処理回路は、撮像チップ１１１から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路等である。信号処理回路は、光電変換部１０４ごとに設けられていてもよい。

また、信号処理回路は、複数の光電変換部１０４ごとに設けられていてもよい。信号処理チップ１１２は、複数の貫通電極１１０を有する。貫通電極１１０は、例えばシリコン貫通電極である。貫通電極１１０は、信号処理チップ１１２に設けられた回路を互いに接続する。貫通電極１１０は、撮像チップ１１１の周辺領域、メモリチップ１１３にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ１１１に設けてもよい。例えば、アナログ／デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ１１１に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ１１２に設けてもよい。

メモリチップ１１３は、複数の記憶部を有する。記憶部は、信号処理チップ１１２で信号処理が施された画像データを記憶する。記憶部は、例えば、ＤＲＡＭ等の揮発性メモリである。記憶部は、光電変換部１０４ごとに設けられていてもよい。また、記憶部は、複数の光電変換部１０４ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。

図３は、撮像チップ１１１の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１１を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上の画素がマトリックス状に配列されている。図３の例では、隣接する２画素×２画素の４画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×３２画素でもよいし、それ以上でもそれ以下でもよく、１画素であってもよい。

画素領域の部分拡大図に示すように、図３の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタＦとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタＦとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタＦとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施の形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義される。すなわち、１ブロックの最小単位は１つの単位領域１３１となる。上述したように、１つの単位領域１３１を形成する画素の数として取り得る値のうち、最も小さい画素の数は１画素である。したがって、１ブロックを画素単位で定義する場合、１ブロックを定義し得る画素の数のうち最小の画素の数は１画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域１３１、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１１のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１１のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。

図４は、単位領域１３１における回路を説明する図である。図４の例では、隣接する２画素×２画素の４画素により一つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、１０００画素以上でもよいし、最小１画素でもよい。単位領域１３１の二次元的な位置を符号Ａ〜Ｄにより示す。

単位領域１３１に含まれる画素のリセットトランジスタ（ＲＳＴ）は、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄに対しても、リセットトランジスタをオンオフするための専用のリセット配線３３０が設けられている。

単位領域１３１に含まれる画素の転送トランジスタ（ＴＸ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄに対しても、転送トランジスタをオンオフするための専用の転送配線３３２が設けられている。

さらに、単位領域１３１に含まれる画素の選択トランジスタ（ＳＥＬ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄに対しても、選択トランジスタをオンオフするための専用の選択配線３３６が設けられている。

なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１１側に設けられてもよいし、信号処理チップ１１２側に設けられてもよい。

単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｄに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｄの光電変換信号を共通の出力配線３０８を介して出力することができる。

ここで、単位領域１３１に含まれる画素Ａから画素Ｄについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図４の例では「ＡＢＣＤ」の順序で光電変換信号が出力される。

このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ１１１において一部のブロックに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のブロックに含まれる単位領域１３１を休ませることにより、撮像チップ１１１の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるブロック（蓄積制御の対象ブロック）を切り替えて、撮像チップ１１１の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。

上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１１、信号処理チップ１１２およびメモリチップ１１３を積層しているので、これら出力配線３０８に接続部１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜撮像素子のブロック制御＞
本実施の形態では、撮像素子３２ａにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部３４（撮像制御部３４ｃ）は、上記複数の領域を上記ブロックに対応させて、領域ごとに設定された撮像条件で撮像を行わせる。

図５は、カメラ１の撮像素子３２ａに結像される被写体の像を模式的に示す図である。カメラ１は、撮像指示が行われる前に、被写体像を光電変換してライブビュー画像を取得する。ライブビュー画像は、所定のフレームレート（例えば６０ｆｐｓ）で繰り返し撮像するモニタ用画像のことをいう。

制御部３４は、設定部３４ｂにより領域を分割する前は、撮像チップ１１１の全域（すなわち撮像画面の全体）に同一の撮像条件を設定する。同一の撮像条件とは、撮像画面の全体に共通の撮像条件を設定することをいい、例えばアペックス値で０．３段程度に満たないばらつきがあるとしても同じとみなす。撮像チップ１１１の全域で同一に設定する撮像条件は、被写体輝度の測光値に応じた露出条件、またはユーザーによって手動設定された露出条件に基づいて決定する。

図５において、撮像チップ１１１の撮像面に、人物６１ａと、自動車６２ａと、バッグ６３ａと、山６４ａと、雲６５ａ、６６ａとを含む像が結像されている。人物６１ａは、バッグ６３ａを両手で抱えている。人物６１ａの右後方に、自動車６２ａが止まっている。

＜領域の分割＞
制御部３４は、ライブビュー画像に基づき、以下のようにライブビュー画像の画面を複数の領域に分割する。先ず、物体検出部３４ａによってライブビュー画像から被写体要素を検出する。被写体要素の検出は、公知の被写体認識技術を用いる。図５の例では、物体検出部３４ａが、人物６１ａと、自動車６２ａと、バッグ６３ａと、山６４ａと、雲６５ａと、雲６６ａとを被写体要素として検出する。

次に、設定部３４ｂによって、ライブビュー画像の画面を、上記被写体要素を含む領域に分割する。本実施の形態では、人物６１ａを含む領域を領域６１とし、自動車６２ａを含む領域を領域６２とし、バッグ６３ａを含む領域を領域６３とし、山６４ａを含む領域を領域６４とし、雲６５ａを含む領域を領域６５とし、雲６６ａを含む領域を領域６６として説明する。

＜ブロックごとの撮像条件の設定＞
制御部３４は、設定部３４ｂによって画面を複数の領域に分割すると、図６に例示するような設定画面を表示部３５に表示させる。図６において、ライブビュー画像６０ａが表示され、ライブビュー画像６０ａの右側に撮像条件の設定画面７０が表示される。

設定画面７０には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード（ＴＶ）、ゲイン（ＩＳＯ）が挙げられている。フレームレートは、１秒間に取得するライブビュー画像やカメラ１により録画される動画像のフレーム数である。ゲインは、ＩＳＯ感度である。撮像条件の設定項目は、図６に例示した他にも適宜加えて構わない。全ての設定項目が設定画面７０の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。

本実施の形態において、制御部３４は、設定部３４ｂによって分割された領域のうち、ユーザーによって選択された領域を撮像条件の設定（変更）の対象にする。例えば、タッチ操作が可能なカメラ１において、ユーザーは、ライブビュー画像６０ａが表示されている表示部３５の表示面上で、撮像条件を設定（変更）したい主要被写体の表示位置をタップ操作する。制御部３４は、例えば人物６１ａの表示位置がタップ操作された場合に、ライブビュー画像６０ａにおいて人物６１ａを含む領域６１を撮像条件の設定（変更）対象領域にするとともに、領域６１の輪郭を強調して表示させる。

図６において、輪郭を強調して表示（太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等）する領域６１は、撮像条件の設定（変更）の対象となる領域を示す。図６の例では、領域６１の輪郭を強調したライブビュー画像６０ａが表示されているものとする。この場合は、領域６１が、撮像条件の設定（変更）の対象である。例えば、タッチ操作が可能なカメラ１において、ユーザーによってシャッタースピード（ＴＶ）の表示７１がタップ操作されると、制御部３４は、強調して表示されている領域（領域６１）に対するシャッタースピードの現設定値を画面内に表示させる（符号６８）。
以降の説明では、タッチ操作を前提としてカメラ１の説明を行うが、操作部材３６を構成するボタン等の操作により、撮像条件の設定（変更）を行うようにしてもよい。

シャッタースピード（ＴＶ）の上アイコン７１ａまたは下アイコン７１ｂがユーザーによってタップ操作されると、設定部３４ｂは、シャッタースピードの表示６８を現設定値から上記タップ操作に応じて増減させるとともに、強調して表示されている領域（領域６１）に対応する撮像素子３２ａの単位領域１３１（図３）の撮像条件を、上記タップ操作に応じて変更するように撮像部３２（図１）へ指示を送る。決定アイコン７２は、設定された撮像条件を確定させるための操作アイコンである。設定部３４ｂは、フレームレートやゲイン（ＩＳＯ）の設定（変更）についても、シャッタースピード（ＴＶ）の設定（変更）の場合と同様に行う。

なお、設定部３４ｂは、ユーザーの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部３４ｂは、ユーザーの操作に基づかずに、制御部３４の判断により撮像条件を設定するようにしてもよい。例えば、画像における最大輝度または最小輝度である被写体要素を含む領域において、白とびまたは黒つぶれが生じている場合、設定部３４ｂは、制御部３４の判断により、白とびまたは黒つぶれを解消するように撮像条件を設定するようにしてもよい。
強調表示されていない領域（領域６１以外の他の領域）については、設定されている撮像条件が維持される。

制御部３４は、撮像条件の設定（変更）の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部３４は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部３４は、撮像条件の設定（変更）の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。

以上説明したように、領域ごとの撮像条件が設定された後に、操作部材３６を構成する不図示のレリーズボタン、または撮像開始を指示する表示（レリーズアイコン）が操作されると、制御部３４が撮像部３２を制御することにより、上記分割された領域に対してそれぞれ設定されている撮像条件で撮像を行わせる。そして、画像処理部３３は、撮像部３２によって取得された画像データに対して画像処理を行う。画像処理は、上述したように、領域ごとに異なる画像処理条件で行うことができる。

上記画像処理部３３による画像処理の後、制御部３４から指示を受けた記録部３７が、画像処理後の画像データを不図示のメモリカードなどで構成される記録媒体に記録する。これにより、一連の撮像処理が終了する。

＜補正処理＞
上述したように、本実施の形態では、設定部３４ｂにより撮像画面の領域を分割した後は、ユーザーによって選択された領域、または、制御部３４が判断した領域に対して撮像条件を設定（変更）することが可能に構成されている。分割した領域において異なる撮像条件を設定した場合、制御部３４は、必要に応じて以下の補正処理を行わせる。

１．画像処理を行う場合
画像処理部３３（補正部３３ｂ）は、分割した領域間で異なる撮像条件を適用して取得された画像データに対する画像処理が所定の画像処理である場合において、領域の境界付近に位置する画像データに対し、画像処理の前処理として補正処理を行う。所定の画像処理は、画像において処理対象とする注目位置の画像データを、注目位置の周囲の複数の参照位置の画像データを参照して算出する処理であり、例えば、画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理などが該当する。

補正処理は、分割した領域間で撮像条件が異なることに起因して、画像処理後の画像に生じる不連続性を緩和するために行う。一般に、注目位置が、分割した領域の境界付近に位置する場合、注目位置の周囲の複数の参照位置には、注目位置の画像データと同じ撮像条件が適用された画像データと、注目位置の画像データと異なる撮像条件が適用された画像データとが混在する場合がある。本実施の形態では、異なる撮像条件が適用された参照位置の画像データをそのまま参照して注目位置の画像データを算出するよりも、撮像条件の相違による画像データ間の差異を抑えるように補正処理を施した参照位置の画像データを参照して注目位置の画像データを算出する方が好ましいという考え方に基づき、以下のように補正処理を行う。

図７(a)は、ライブビュー画像６０ａにおける領域６１と領域６４との境界付近の領域８０を例示する図である。本例では、少なくとも人物を含む領域６１に第１撮像条件が設定され、山を含む領域６４に第２撮像条件が設定されているものとする。図７(b)は、図７(a)の境界付近の領域８０を拡大した図である。第１撮像条件が設定された領域６１に対応する撮像素子３２ａ上の画素からの画像データを白地で示し、第２撮像条件が設定された領域６４に対応する撮像素子３２ａ上の画素からの画像データを網掛けで示す。図７(b)では、領域６１上であって、領域６１と領域６４との境界８１の近傍部分、すなわち境界部に注目画素Ｐからの画像データが位置する。注目画素Ｐを中心とする所定範囲９０（例えば３×３画素）に含まれる注目画素Ｐの周囲の画素（本例では８画素）を参照画素とする。図７(c)は、注目画素Ｐおよび参照画素の拡大図である。注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む参照画素の位置が参照位置である。

画像処理部３３（生成部３３ｃ）は、通常、補正処理を行わずに参照画素の画像データをそのまま参照して画像処理を行う。しかしながら、注目画素Ｐにおいて適用された撮像条件（第１撮像条件とする）と、注目画素Ｐの周囲の参照画素において適用された撮像条件（第２撮像条件とする）とが異なる場合には、補正部３３ｂが、参照画素の画像データのうちの第２撮像条件の画像データに対して以下の（例１）〜（例３）のように補正処理を行う。そして、生成部３３ｃは、補正処理後の参照画素の画像データを参照して注目画素Ｐの画像データを算出する画像処理を行う。図７(c)において、白地で示す画素から出力された画像データは第１撮像条件の画像データであり、斜線で示す画素から出力された画像データは第２撮像条件の画像データである。

（例１）
画像処理部３３（補正部３３ｂ）は、例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合、参照画素の画像データのうちの第２撮像条件の画像データに対し、補正処理として１００／８００をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。
なお、注目画素Ｐへの入射光量と参照画素への入射光量とが同じ場合には画像データの差異が小さくなるが、もともと注目画素Ｐへの入射光量と参照画素への入射光量とが異なっている場合などには、画像データの差異が小さくならない場合もある。後述する例も同様である。

（例２）
画像処理部３３（補正部３３ｂ）は、例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第２撮像条件のシャッター速度が１／１００秒の場合、参照画素の画像データのうちの第２撮像条件の画像データに対し、補正処理として１／１０００／１／１００＝１／１０をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。

（例３）
画像処理部３３（補正部３３ｂ）は、例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第２撮像条件のフレームレートが６０ｆｐｓの場合、参照画素の画像データのうちの第２撮像条件（６０ｆｐｓ）の画像データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の画像データを採用することを補正処理とする。これにより、撮像条件の相違による画像データ間の差異を小さくする。
なお、第２撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の画像データを補間算出することを補正処理としてもよい。

一方、画像処理部３３（補正部３３ｂ）は、注目画素Ｐにおいて適用された撮像条件（第１撮像条件とする）と、注目画素Ｐの周囲の全ての参照画素において適用された撮像条件（第２撮像条件とする）とが同一である場合には、参照画素の画像データに対する補正処理を行わない。つまり、生成部３３ｃは、参照画素の画像データをそのまま参照して注目画素Ｐの画像データを算出する画像処理を行う。
なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。

＜画像処理の例示＞
補正処理を伴う画像処理について例示する。
（１）画素欠陥補正処理
本実施の形態において、画素欠陥補正処理は、撮像時に行う画像処理の１つである。一般に、固体撮像素子である撮像素子３２ａは、製造過程や製造後において画素欠陥が生じ、異常なレベルの画像データを出力する場合がある。そこで、画像処理部３３（生成部３３ｃ）は、画素欠陥が生じた画素から出力された画像データを補正することにより、画素欠陥が生じた画素位置における画像データを目立たないようにする。

画素欠陥補正処理の一例を説明する。画像処理部３３（生成部３３ｃ）は、例えば、１フレームの画像においてあらかじめ不図示の不揮発性メモリに記録されている画素欠陥の位置の画素を注目画素Ｐ（処理対象画素）とし、注目画素Ｐを中心とする所定範囲９０（例えば３×３画素）に含まれる注目画素Ｐの周囲の画素（本例では８画素）を参照画素とする。

画像処理部３３（生成部３３ｃ）は、参照画素における画像データの最大値、最小値を算出し、注目画素Ｐから出力された画像データがこれら最大値または最小値を超えるときは注目画素Ｐから出力された画像データを上記最大値または最小値で置き換えるMax,Minフィルタ処理を行う。このような処理を、不図示の不揮発性メモリに位置情報が記録されている全ての画素欠陥に対して行う。

本実施の形態において、画像処理部３３（補正部３３ｂ）は、注目画素Ｐに適用された第１撮像条件と異なる第２撮像条件が適用された画素が上記参照画素に含まれる場合に、第２撮像条件が適用された画像データに対して補正処理を行う。その後、画像処理部３３（生成部３３ｃ）が上述したMax,Minフィルタ処理を行う。

（２）色補間処理
本実施の形態において、色補間処理は、撮像時に行う画像処理の１つである。図３に例示したように、撮像素子１００の撮像チップ１１１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒがベイヤー配列されている。画像処理部３３（生成部３３ｃ）は、各画素位置において配置されたカラーフィルタＦの色成分と異なる色成分の画像データが不足するので、周辺の画素位置の画像データを参照して不足する色成分の画像データを生成する色補間処理を行う。

色補間処理の一例を説明する。図８(a)は、撮像素子３２ａから出力された画像データの並びを例示する図である。各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有する。
＜Ｇ色補間＞
まず、一般的なＧ色補間について説明する。Ｇ色補間を行う画像処理部３３（生成部３３ｃ）は、Ｒ色成分およびＢ色成分の位置を順番に注目位置として、注目位置の周囲の参照位置の４つのＧ色成分の画像データを参照して注目位置におけるＧ色成分の画像データを生成する。例えば、図８(b)の太枠（左上位置から数えて２行目２列目。以降も同様に、左上位置から数えて注目位置を表すものとする）で示す注目位置においてＧ色成分の画像データを生成する場合、注目位置（２行目２列目）の近傍に位置する４つのＧ色成分の画像データＧ１〜Ｇ４を参照する。画像処理部３３（生成部３３ｃ）は、例えば（ａＧ１＋ｂＧ２＋ｃＧ３＋ｄＧ４）／４を、注目位置（２行目２列目）におけるＧ色成分の画像データとする。なお、ａ〜ｄは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

次に、本実施の形態のＧ色補間について説明する。図８(a)〜図８(c)において、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第２撮像条件が適用されているものとする。なお、図８(a)〜図８(c)において、第１撮像条件と第２撮像条件は異なる。また、図８(b)中のＧ色成分の画像データＧ１〜Ｇ４が、注目位置（２行目２列目）の画素を画像処理するための参照位置である。図８(b)において、注目位置（２行目２列目）には第１撮像条件が適用されている。参照位置のうち、画像データＧ１〜Ｇ３には第１撮像条件が適用されている。また、参照位置のうち、画像データＧ４には第２撮像条件が適用されている。そのため、画像処理部３３（補正部３３ｂ）は、画像データＧ４に対して補正処理を行う。その後、画像処理部３３（生成部３３ｃ）が注目位置（２行目２列目）におけるＧ色成分の画像データを算出する。

画像処理部３３（生成部３３ｃ）は、図８(a)におけるＢ色成分の位置およびＲ色成分の位置においてそれぞれＧ色成分の画像データを生成することにより、図８(c)に示すように、各画素位置においてＧ色成分の画像データを得ることができる。

＜Ｒ色補間＞
図９(a)は、図８(a)からＲ色成分の画像データを抽出した図である。画像処理部３３（生成部３３ｃ）は、図８(c)に示すＧ色成分の画像データと図９(a)に示すＲ色成分の画像データとに基づいて図９(b)に示す色差成分Ｃｒの画像データを算出する。

まず、一般的な色差成分Ｃｒの補間について説明する。画像処理部３３（生成部３３ｃ）は、例えば図９(b)の太枠（２行目２列目）で示す注目位置において色差成分Ｃｒの画像データを生成する場合、注目位置（２行目２列目）の近傍に位置する４つの色差成分の画像データＣｒ１〜Ｃｒ４を参照する。画像処理部３３（生成部３３ｃ）は、例えば（ｅＣｒ１＋ｆＣｒ２＋ｇＣｒ３＋ｈＣｒ４）／４を、注目位置（２行目２列目）における色差成分Ｃｒの画像データとする。なお、ｅ〜ｈは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

同様に、画像処理部３３（生成部３３ｃ）は、例えば図９(c)の太枠（２行目３列目）で示す注目位置において色差成分Ｃｒの画像データを生成する場合、注目位置（２行目３列目）の近傍に位置する４つの色差成分の画像データＣｒ２、Ｃｒ４〜Ｃｒ６を参照する。画像処理部３３（生成部３３ｃ）は、例えば（ｑＣｒ２＋ｒＣｒ４＋ｓＣｒ５＋ｔＣｒ６）／４を、注目位置（２行目３列目）における色差成分Ｃｒの画像データとする。なお、ｑ〜ｔは、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、各画素位置について色差成分Ｃｒの画像データが生成される。

次に、本実施の形態の色差成分Ｃｒの補間について説明する。図９(a)〜図９(c)において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第２撮像条件が適用されているものとする。なお、図９(a)〜図９(c)において、第１撮像条件と第２撮像条件は異なる。図９(b)において、太枠（２行目２列目）で示す位置が色差成分Ｃｒの注目位置である。また、図９(b)中の色差成分の画像データＣｒ１〜Ｃｒ４が注目位置（２行目２列目）の画素を画像処理するための参照位置である。図９(b)において、注目位置（２行目２列目）には第１撮像条件が適用されている。参照位置のうち、画像データＣｒ１、Ｃｒ３、Ｃｒ４には第１撮像条件が適用されている。また、参照位置のうち、画像データＣｒ２には第２撮像条件が適用されている。そのため、画像処理部３３（補正部３３ｂ）は、画像データＣｒ２に対して補正処理を行う。その後、画像処理部３３（生成部３３ｃ）が注目位置（２行目２列目）における色差成分Ｃｒの画像データを算出する。
また、図９(c)において、太枠（２行目３列目）で示す位置が色差成分Ｃｒの注目位置である。また、図９(c)中の色差成分の画像データＣｒ２、Ｃｒ４、Ｃｒ５、Ｃｒ６が注目位置（２行目３列目）の画素を画像処理するための参照位置である。図９(c)において、注目位置（２行目３列目）には第２撮像条件が適用されている。参照位置のうち、画像データＣｒ４、Ｃｒ５には第１撮像条件が適用されている。また、参照位置のうち、画像データＣｒ２、Ｃｒ６には第２撮像条件が適用されている。そのため、画像処理部３３（補正部３３ｂ）は、画像データＣｒ４およびＣｒ５に対してそれぞれ補正処理を行う。その後、画像処理部３３（生成部３３ｃ）が注目位置（２行目３列目）における色差成分Ｃｒの画像データを算出する。

画像処理部３３（生成部３３ｃ）は、各画素位置において色差成分Ｃｒの画像データを得たのち、各画素位置に対応させて図８(c)に示すＧ色成分の画像データを加算することにより、各画素位置においてＲ色成分の画像データを得ることができる。

＜Ｂ色補間＞
図１０(a)は、図８(a)からＢ色成分の画像データを抽出した図である。画像処理部３３（生成部３３ｃ）は、図８(c)に示すＧ色成分の画像データと図１０(a)に示すＢ色成分の画像データとに基づいて図１０(b)に示す色差成分Ｃｂの画像データを算出する。

まず、一般的な色差成分Ｃｂの補間について説明する。画像処理部３３（生成部３３ｃ）は、例えば図１０(b)の太枠（３行目３列目）で示す注目位置において色差成分Ｃｂの画像データを生成する場合、注目位置（３行目３列目）の近傍に位置する４つの色差成分の画像データＣｂ１〜Ｃｂ４を参照する。画像処理部３３（生成部３３ｃ）は、例えば（ｕＣｂ１＋ｖＣｂ２＋ｗＣｂ３＋ｘＣｂ４）／４を、注目位置（３行目３列目）における色差成分Ｃｂの画像データとする。なお、ｕ〜ｘは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

同様に、画像処理部３３（生成部３３ｃ）は、例えば図１０(c)の太枠（３行目４列目）で示す注目位置において色差成分Ｃｂの画像データを生成する場合、注目位置（３行目４列目）の近傍に位置する４つの色差成分の画像データＣｂ２、Ｃｂ４〜Ｃｂ６を参照する。画像処理部３３（生成部３３ｃ）は、例えば（ｙＣｂ２＋ｚＣｂ４＋αＣｂ５＋βＣｂ６）／４を、注目位置（３行目４列目）における色差成分Ｃｂの画像データとする。なお、ｙ、ｚ、α、βは、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、各画素位置について色差成分Ｃｂの画像データが生成される。

次に、本実施の形態の色差成分Ｃｂの補間について説明する。図１０(a)〜図１０(c)において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第２撮像条件が適用されているものとする。なお、図１０(a)〜図１０(c)において、第１撮像条件と第２撮像条件は異なる。図１０(b)において、太枠（３行目３列目）で示す位置が色差成分Ｃｂの注目位置である。また、図１０(b)中の色差成分の画像データＣｂ１〜Ｃｂ４が注目位置（３行目３列目）の画素を画像処理するための参照位置である。図１０(b)において、注目位置（３行目３列目）には第２撮像条件が適用されている。参照位置のうち、画像データＣｂ１、Ｃｂ３には第１撮像条件が適用されている。また、参照位置のうち、画像データＣｂ２、Ｃｂ４には第２撮像条件が適用されている。そのため、画像処理部３３（補正部３３ｂ）は、データＣｂ１およびＣｂ３に対してそれぞれ補正処理を行う。その後、画像処理部３３（生成部３３ｃ）が注目位置（３行目３列目）における色差成分Ｃｂの画像データを算出する。
また、図１０(c)において、太枠（３行目４列目）で示す位置が色差成分Ｃｂの注目位置である。また、図１０(c)中の色差成分の画像データＣｂ２、Ｃｂ４〜Ｃｂ６が注目位置（３行目４列目）の画素を画像処理するための参照位置である。図１０(c)において、注目位置（３行目４列目）には第２撮像条件が適用されている。また、全ての参照位置の画像データＣｂ２、Ｃｂ４〜Ｃｂ６に第２撮像条件が適用されている。そのため、画像処理部３３（生成部３３ｃ）は、画像処理部３３（補正部３３ｂ）によって補正処理が行われていない参照位置の画像データＣｂ２、Ｃｂ４〜Ｃｂ６を参照して、注目位置（３行目４列目）における色差成分Ｃｂの画像データを算出する。

画像処理部３３（生成部３３ｃ）は、各画素位置において色差成分Ｃｂの画像データを得たのち、各画素位置に対応させて図８(c)に示すＧ色成分の画像データを加算することにより、各画素位置においてＢ色成分の画像データを得ることができる。
なお、上記「Ｇ色補間」では、例えば、図８(b)の太枠（２行目２列目）で示す注目位置においてＧ色成分の画像データを生成する場合、注目位置の近傍に位置する４つのＧ色成分の画像データＧ１〜Ｇ４を参照するとしているが、画像構造によって参照するＧ色成分の画像データの数を変更してもよい。例えば、注目位置付近の画像が縦方向に類似性を有している（例えば、縦縞のパターン）場合は、注目位置の上下の画像データ（図８(b)のＧ１とＧ２）だけを用いて補間処理を行う。また、例えば、注目位置付近の画像が横方向に類似性を有している（例えば、横縞のパターン）場合は、注目位置の左右の画像データ（図８(b)のＧ３とＧ４）だけを用いて補間処理を行う。これらの場合、補正部３３ｂにより補正を行う画像データＧ４を用いる場合と用いない場合がある。

（３）輪郭強調処理
輪郭強調処理の一例を説明する。画像処理部３３（生成部３３ｃ）は、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である尖鋭化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ^２−１)個の参照画素の位置が参照位置である。
なお、カーネルサイズはＮ×Ｍ画素であってもよい。

画像処理部３３（生成部３３ｃ）は、注目画素Ｐにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。

本実施の形態において、画像処理部３３（補正部３３ｂ）は、注目画素Ｐに適用された第１撮像条件と異なる第２撮像条件が適用された画素が上記参照画素に含まれる場合に、第２撮像条件が適用された画像データに対して補正処理を行う。その後、画像処理部３３（生成部３３ｃ）が上述した線型フィルタ処理を行う。

（４）ノイズ低減処理
ノイズ低減処理の一例を説明する。画像処理部３３（生成部３３ｃ）は、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である平滑化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ^２−１)個の参照画素の位置が参照位置である。
なお、カーネルサイズはＮ×Ｍ画素であってもよい。

２．焦点検出処理を行う場合
制御部３４（ＡＦ演算部３４ｄ）は、撮像画面の所定の位置（焦点検出位置）に対応する信号データ（画像データ）を用いて焦点検出処理を行う。制御部３４（ＡＦ演算部３４ｄ）は、分割した領域間で異なる撮像条件が設定されており、ＡＦ動作の焦点検出位置が分割された領域の境界部分に位置する場合、少なくとも１つの領域の焦点検出用の信号データに対し、焦点検出処理の前処理として補正処理を行う。

補正処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、焦点検出処理の精度が低下することを抑制するために行う。例えば、画像において像ズレ量（位相差）を検出する焦点検出位置の焦点検出用の信号データが、分割した領域の境界付近に位置する場合、焦点検出用の信号データの中に異なる撮像条件が適用された信号データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された信号データをそのまま用いて像ズレ量（位相差）の検出を行うよりも、撮像条件の相違による信号データ間の差異を抑えるように補正処理を施した信号データを用いて像ズレ量（位相差）の検出を行う方が好ましいという考え方に基づき、以下のように補正処理を行う。

＜焦点検出処理の例示＞
補正処理を伴う焦点検出処理について例示する。本実施の形態のＡＦ動作は、例えば、撮像画面における複数の焦点検出位置の中からユーザーが選んだ焦点検出位置に対応する被写体にフォーカスを合わせる。制御部３４（ＡＦ演算部３４ｄ（生成部））は、撮像光学系３１の異なる瞳領域を通過した光束による複数の被写体像の像ズレ量（位相差）を検出することにより、撮像光学系３１のデフォーカス量を算出する。制御部３４（ＡＦ演算部３４ｄ）は、デフォーカス量をゼロ（許容値以下）にする位置、すなわち合焦位置へ、撮像光学系３１のフォーカスレンズを移動させる。

図１１は、撮像素子３２ａの撮像面における焦点検出用画素の位置を例示する図である。本実施の形態では、撮像チップ１１１のＸ軸方向（水平方向）に沿って離散的に焦点検出用画素が並べて設けられている。図１１の例では、１５本の焦点検出画素ライン１６０が所定の間隔で設けられる。焦点検出画素ライン１６０を構成する焦点検出用画素は、焦点検出用の光電変換信号を出力する。撮像チップ１１１において焦点検出画素ライン１６０以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、ライブビュー画像や記録用の光電変換信号を出力する。

図１２は、図１１に示す焦点検出位置８０Ａに対応する上記焦点検出画素ライン１６０の一部の領域を拡大した図である。図１２において、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂと、焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２とが例示される。赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂは、上述したベイヤー配列の規則にしたがって配される。

赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系３１（図１）の射出瞳を通る光束を受光する。すなわち、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。

なお、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂの受光領域（マスク開口部）の形状は四角形に限定されず、例えば円形であってもよい。

焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素Ｓ１は、図１２において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ１の受光部に到達する。一方、焦点検出用画素Ｓ２は、図１２において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ２の受光部に到達する。このように、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２は、撮像光学系３１（図１）の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。

なお、撮像チップ１１１における焦点検出画素ライン１６０の位置は、図１１に例示した位置に限定されない。また、焦点検出画素ライン１６０の数についても、図１１の例に限定されるものではない。さらに、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素Ｒ、撮像用画素Ｇ、撮像用画素Ｂにおける四角形状受光領域（マスク開口部）を横方向に分割した長方形状としてもよい。

また、撮像チップ１１１における焦点検出画素ライン１６０は、撮像チップ１１１のＹ軸方向（鉛直方向）に沿って焦点検出用画素を並べて設けたものであってもよい。図１２のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。

なお、図１２の例では、焦点検出用画素Ｓ１、Ｓ２がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる１ＰＤ構造を説明した。この代わりに、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる２ＰＤ構造にしてもよい。２ＰＤ構造にすることにより、焦点検出用画素で得られた光電変換信号を記録用の光電変換信号として用いることが可能になる。

制御部３４（ＡＦ演算部３４ｄ）は、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２から出力される焦点検出用の光電変換信号に基づいて、撮像光学系３１（図１）の異なる領域を通る一対の光束による一対の像の像ズレ量（位相差）を検出する。そして、像ズレ量（位相差）に基づいてデフォーカス量を演算する。このような瞳分割位相差方式によるデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。

焦点検出位置８０Ａ（図１１）は、図７(a)に例示したライブビュー画像６０ａにおいて、領域６１の境界付近の領域８０に対応する位置に、ユーザーによって選ばれているものとする。図１３は、焦点検出位置８０Ａを拡大した図である。白地の画素は第１撮像条件が設定されていることを示し、網掛けの画素は第２撮像条件が設定されていることを示す。図１３において枠１７０で囲む位置は、焦点検出画素ライン１６０（図１１）に対応する。

制御部３４（ＡＦ演算部３４ｄ）は、通常、補正処理を行わずに枠１７０で示す焦点検出用画素による信号データをそのまま用いて焦点検出処理を行う。しかしながら、枠１７０で囲む信号データに、第１撮像条件が適用された信号データと第２撮像条件が適用された信号データが混在する場合には、制御部３４（ＡＦ演算部３４ｄ）が、枠１７０で囲む信号データのうちの第２撮像条件の信号データに対して、以下の（例１）〜（例３）のように補正処理を行う。そして、制御部３４（ＡＦ演算部３４ｄ）は、補正処理後の信号データを用いて焦点検出処理を行う。

（例１）
制御部３４（ＡＦ演算部３４ｄ）は、例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合、第２撮像条件の信号データに対し、補正処理として１００／８００をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。
なお、第１撮像条件が適用された画素への入射光量と第２撮像条件が適用された画素への入射光量とが同じ場合には信号データの差異が小さくなるが、もともと第１撮像条件が適用された画素への入射光量と第２撮像条件が適用された画素への入射光量とが異なっている場合などには、信号データの差異が小さくならない場合もある。後述する例も同様である。

（例２）
制御部３４（ＡＦ演算部３４ｄ）は、例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第２撮像条件のシャッター速度が１／１００秒の場合、第２撮像条件の信号データに対し、補正処理として１／１０００／１／１００＝１／１０をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。

（例３）
制御部３４（ＡＦ演算部３４ｄ）は、例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第２撮像条件のフレームレートが６０ｆｐｓの場合、第２撮像条件（６０ｆｐｓ）の信号データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを採用することを補正処理とする。これにより、撮像条件の相違による信号データ間の差異を小さくする。
なお、第２撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを補間算出することを補正処理としてもよい。

一方、制御部３４（ＡＦ演算部３４ｄ）は、枠１７０で囲む信号データにおいて適用された撮像条件が同一である場合には上記補正処理を行わない。つまり、制御部３４（ＡＦ演算部３４ｄ）は、枠１７０で示す焦点検出用画素による信号データをそのまま用いて焦点検出処理を行う。

なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
また、上記の例では、信号データのうちの第２撮像条件の信号データに対して第１撮像条件により補正処理を行う例を説明したが、信号データのうちの第１撮像条件の信号データに対して第２撮像条件により補正処理を行ってもよい。
制御部３４（ＡＦ演算部３４ｄ）が、第１撮像条件の信号データに対して補正処理を行うか、第２撮像条件の信号データに対して補正処理を行うかを、たとえば、ＩＳＯ感度に基づいて決定するようにしてもよい。第１撮像条件と第２撮像条件とでＩＳＯ感度が異なる場合、ＩＳＯ感度が高い方の撮像条件で得られた信号データが飽和していなければ、ＩＳＯ感度が低い方の撮像条件で得られた信号データに対して補正処理を行うことが望ましい。すなわち、第１撮像条件と第２撮像条件とでＩＳＯ感度が異なる場合、明るい方の信号データとの差を小さくするように暗い方の信号データを補正処理することが望ましい。

さらにまた、信号データのうちの第１撮像条件の信号データおよび第２撮像条件の信号データに対してそれぞれ補正処理を行うことにより、補正処理後の双方の信号データ間の差を小さくするようにしてもよい。

以上の説明では、瞳分割位相差方式を用いた焦点検出処理を例示したが、被写体像のコントラストの大小に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるコントラスト検出方式の場合も同様に行うことができる。

コントラスト検出方式を用いる場合、制御部３４は、撮像光学系３１のフォーカスレンズを移動させながら、フォーカスレンズのそれぞれの位置において、焦点検出位置に対応する撮像素子３２ａの撮像用画素から出力された信号データに基づいて公知の焦点評価値演算を行う。そして、焦点評価値を最大にするフォーカスレンズの位置を合焦位置として求める。

制御部３４は、通常、補正処理を行わずに焦点検出位置に対応する撮像用画素から出力された信号データをそのまま用いて焦点評価値演算を行う。しかしながら、焦点検出位置に対応する信号データに、第１撮像条件が適用された信号データと第２撮像条件が適用された信号データが混在する場合には、制御部３４が、焦点検出位置に対応する信号データのうちの第２撮像条件の信号データに対して、上述したような補正処理を行う。そして、制御部３４は、補正処理後の信号データを用いて焦点評価値演算を行う。

３．被写体検出処理を行う場合
図１４(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図１４(b)は、ライブビュー画像６０(a)および探索範囲１９０を例示する図である。制御部３４（物体検出部３４ａ）は、ライブビュー画像から対象物（例えば、図５の被写体要素の一つであるバッグ６３ａ）を検出する。制御部３４（物体検出部３４ａ）は、対象物を検出する範囲をライブビュー画像６０ａの全範囲としてもよいが、検出処理を軽くするために、ライブビュー画像６０ａの一部を探索範囲１９０としてもよい。

制御部３４（物体検出部３４ａ）は、分割した領域間で異なる撮像条件が設定されており、探索範囲１９０が分割された領域の境界を含む場合、探索範囲１９０内の少なくとも１つの領域の画像データに対し、被写体検出処理の前処理として補正処理を行う。

補正処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、被写体要素の検出処理の精度低下を抑制するために行う。一般に、被写体要素の検出に用いる探索範囲１９０に、分割された領域の境界を含む場合、探索範囲１９０の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて被写体要素の検出を行うよりも、撮像条件の相違による画像データ間の差異を抑えるように補正処理を施した画像データを用いて被写体要素の検出を行う方が好ましいという考え方に基づき、以下のように補正処理を行う。

図５に例示したライブビュー画像６０ａにおいて、人物６１ａの持ち物であるバッグ６３ａを検出する場合を説明する。制御部３４（物体検出部３４ａ）は、人物６１ａを含む領域の近傍に探索範囲１９０を設定する。なお、人物６１ａを含む領域６１を探索範囲に設定してもよい。

制御部３４（物体検出部３４ａ）は、探索範囲１９０が撮像条件の異なる２つの領域によって分断されていない場合には、補正処理を行わずに探索範囲１９０を構成する画像データをそのまま用いて被写体検出処理を行う。しかしながら、仮に、探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合には、制御部３４（物体検出部３４ａ）は、探索範囲１９０の画像データのうちの第２撮像条件の画像データに対して、焦点検出処理を行う場合として上述した（例１）〜（例３）のように補正処理を行う。そして、制御部３４（物体検出部３４ａ）は、補正処理後の画像データを用いて被写体検出処理を行う。
なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
また、上記の例では、画像データのうちの第２撮像条件の画像データに対して第１撮像条件により補正処理を行う例を説明したが、画像データのうちの第１撮像条件の画像データに対して第２撮像条件により補正処理を行ってもよい。

上述した探索範囲１９０の画像データに対する補正処理は、人物の顔のような特定被写体を検出するために用いる探索範囲や、撮像シーンの判定に用いる領域に対して適用してもよい。

また、上述した探索範囲１９０の画像データに対する補正処理は、テンプレート画像を用いたパターンマッチング法に用いる探索範囲に限らず、画像の色やエッジなどに基づく特徴量を検出する際の探索範囲においても同様に適用してよい。

また、取得時刻が異なる複数フレームの画像データを用いて公知のテンプレートマッチング処理を施すことにより、先に取得されたフレーム画像における追尾対象物と類似する領域を後から取得されたフレーム画像から探索する移動体の追尾処理に適用してもよい。この場合において、制御部３４は、後から取得されたフレーム画像に設定する探索範囲において、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合には、探索範囲の画像データのうちの第２撮像条件の画像データに対して、上述した（例１）〜（例３）のように補正処理を行う。そして、制御部３４は、補正処理後の画像データを用いて追尾処理を行う。

さらにまた、取得時刻が異なる複数フレームの画像データを用いて公知の動きベクトルを検出する場合も同様である。制御部３４は、動きベクトルの検出に用いる検出領域において、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合には、動きベクトルの検出に用いる検出領域の画像データのうちの第２撮像条件の画像データに対して、上述した（例１）〜（例３）のように補正処理を行う。そして、制御部３４は、補正処理後の画像データを用いて動きベクトルを検出する。

４．撮像条件を設定する場合
制御部３４（設定部３４ｂ）は、撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合、少なくとも１つの領域の画像データに対し、露出条件を設定する前処理として補正処理を行う。

補正処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、露出条件を決定する処理の精度低下を抑制するために行う。例えば、撮像画面の中央部に設定された測光範囲に、分割された領域の境界を含む場合、測光範囲の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて露出演算処理を行うよりも、撮像条件の相違による画像データ間の差異を抑えるように補正処理を施した画像データを用いて露出演算処理を行う方が好ましいという考え方に基づき、以下のように補正処理を行う。

制御部３４（設定部３４ｂ）は、測光範囲が撮像条件の異なる複数の領域によって分断されていない場合には、補正処理を行わずに測光範囲を構成する画像データをそのまま用いて露出演算処理を行う。しかしながら、仮に、測光範囲の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合には、制御部３４（設定部３４ｂ）は、測光範囲の画像データのうちの第２撮像条件の画像データに対して、焦点検出処理や被写体検出処理を行う場合として上述した（例１）〜（例３）のように補正処理を行う。そして、制御部３４（設定部３４ｂ）は、補正処理後の画像データを用いて露出演算処理を行う。
なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
また、上記の例では、画像データのうちの第２撮像条件の画像データに対して第１撮像条件により補正処理を行う例を説明したが、画像データのうちの第１撮像条件の画像データに対して第２撮像条件により補正処理を行ってもよい。

上述した露出演算処理を行う際の測光範囲に限らず、ホワイトバランス調整値を決定する際に行う測光（測色）範囲や、撮影補助光を発する光源による撮影補助光の発光要否を決定する際に行う測光範囲、さらには、上記光源による撮影補助光の発光量を決定する際に行う測光範囲においても同様である。

また、撮像画面を分割した領域間で、光電変換信号の読み出し解像度を異ならせる場合において、領域ごとの読み出し解像度を決定する際に行う撮像シーンの判定に用いる領域に対しても同様に扱うことができる。

＜フローチャートの説明＞
図１５は、領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。カメラ１のメインスイッチがオン操作されると、制御部３４は、図１５に示す処理を実行するプログラムを起動させる。ステップＳ１０において、制御部３４は、表示部３５にライブビュー表示を開始させて、ステップＳ２０へ進む。

具体的には、制御部３４が撮像部３２へライブビュー画像の取得開始を指示し、取得されたライブビュー画像を逐次表示部３５に表示させる。上述したように、この時点では撮像チップ１１１の全域、すなわち画面の全体に同一の撮像条件が設定されている。
なお、ライブビュー表示中にＡＦ動作を行う設定がなされている場合、制御部３４（ＡＦ演算部３４ｄ）は、焦点検出処理を行うことにより、所定の焦点検出位置に対応する被写体要素にフォーカスを合わせるＡＦ動作を制御する。ＡＦ演算部３４ｄは、必要に応じて、上記補正処理を行ってから焦点検出処理を行う。
また、ライブビュー表示中にＡＦ動作を行う設定がなされていない場合、制御部３４（ＡＦ演算部３４ｄ）は、後にＡＦ動作が指示された時点でＡＦ動作を行う。

ステップＳ２０において、制御部３４（物体検出部３４ａ）は、ライブビュー画像から被写体要素を検出してステップＳ３０へ進む。物体検出部３４ａは、必要に応じて、上記補正処理を行ってから被写体検出処理を行う。ステップＳ３０において、制御部３４（設定部３４ｂ）は、ライブビュー画像の画面を、被写体要素を含む領域に分割してステップＳ４０へ進む。

ステップＳ４０において、制御部３４は表示部３５に領域の表示を行う。制御部３４は、図６に例示したように、分割された領域のうちの撮像条件の設定（変更）の対象となる領域を強調表示させる。また、制御部３４は、撮像条件の設定画面７０を表示部３５に表示させてステップＳ５０へ進む。
なお、制御部３４は、ユーザーの指で表示画面上の他の主要被写体の表示位置がタップ操作された場合は、その主要被写体を含む領域を撮像条件の設定（変更）の対象となる領域に変更して強調表示させる。

ステップＳ５０において、制御部３４は、ＡＦ動作が必要か否かを判定する。制御部３４は、例えば、被写体が動いたことによって焦点調節状態が変化した場合や、ユーザー操作によって焦点検出位置の位置が変更された場合、またはユーザー操作によってＡＦ動作の実行が指示された場合に、ステップＳ５０を肯定判定してステップＳ７０へ進む。制御部３４は、焦点調節状態が変化せず、ユーザー操作により焦点検出位置の位置が変更されず、ユーザー操作によってＡＦ動作の実行も指示されない場合には、ステップＳ５０を否定判定してステップ６０へ進む。

ステップＳ７０において、制御部３４は、ＡＦ動作を行わせてステップＳ４０へ戻る。ＡＦ演算部３４ｄは、必要に応じて、上記補正処理を行ってからＡＦ動作である焦点検出処理を行う。ステップＳ４０へ戻った制御部３４は、ＡＦ動作後に取得されるライブビュー画像に基づき、上述した処理と同様の処理を繰り返す。

ステップＳ６０において、制御部３４（設定部３４ｂ）は、ユーザー操作に応じて、強調して表示されている領域に対する撮像条件を設定してステップＳ８０へ進む。なお、ステップＳ６０におけるユーザー操作に応じた表示部３５の表示遷移や撮像条件の設定については、上述したとおりである。制御部３４（設定部３４ｂ）は、必要に応じて、上記補正処理を行ってから露出演算処理を行う。

ステップＳ８０において、制御部３４は、撮像指示の有無を判定する。制御部３４は、操作部材３６を構成する不図示のレリーズボタン、または撮像を指示する表示アイコンが操作された場合、ステップＳ８０を肯定判定してステップＳ９０へ進む。制御部３４は、撮像指示が行われない場合には、ステップＳ８０を否定判定してステップＳ６０へ戻る。

ステップＳ９０において、制御部３４は、所定の撮像処理を行う。すなわち、撮像制御部３４ｃが上記領域ごとに設定された撮像条件で撮像するように撮像素子３２ａを制御してステップＳ１００へ進む。

ステップＳ１００において、制御部３４（撮像制御部３４ｃ）は画像処理部３３へ指示を送り、上記撮像によって得られた画像データに対して所定の画像処理を行わせてステップＳ１１０へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。
なお、画像処理部３３（補正部３３ｂ）は、必要に応じて、領域の境界付近に位置する画像データに対して補正処理を行ってから画像処理を行う。

ステップＳ１１０において、制御部３４は記録部３７へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップＳ１２０へ進む。

ステップＳ１２０において、制御部３４は、終了操作が行われたか否かを判断する。制御部３４は、終了操作が行われた場合にステップＳ１２０を肯定判定して図１５による処理を終了する。制御部３４は、終了操作が行われない場合には、ステップＳ１２０を否定判定してステップＳ２０へ戻る。ステップＳ２０へ戻った場合、制御部３４は、上述した処理を繰り返す。

以上の説明では、撮像素子３２ａとして積層型の撮像素子１００を例示したが、撮像素子（撮像チップ１１１）における複数のブロックごとに撮像条件を設定可能であれば、必ずしも積層型の撮像素子として構成する必要はない。

以上説明した第１の実施の形態によれば、次の作用効果が得られる。
（１）被写体検出装置を備えるカメラ１は、撮像部３２の第１領域に入射した被写体像を第１撮像条件で撮像することにより生成された第１画像データを、撮像部３２の第２領域に入射した被写体像を撮像する第２撮像条件に基づいて補正する画像処理部３３（補正部３３ｂ）と、補正部３３ｂで補正された第１画像データと、第２撮像条件で撮像することにより生成された第２画像データとに基づいて被写体像から対象物（例えば人物などの被写体要素）を検出する制御部（物体検出部３４ａ）と、を備える。これにより、撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。すなわち、各領域でそれぞれ生成された画像データに基づいて、被写体要素を適切に検出することができる。例えば、領域ごとの撮像条件の違いによって、検出精度が低下することを抑制できる。

（２）カメラ１の補正部３３ｂは、第１画像データを、第１画像データの値と第２画像データの値との差が小さくなるように補正するので、撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。

（３）カメラ１の補正部３３ｂは、第１画像データを、第１撮像条件および第２撮像条件の相違に基づいて補正するので、撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。

（４）カメラ１の補正部３３ｂは、第２画像データを、第１撮像条件に基づいて補正し、物体検出部３４ａは、補正部３３ｂで補正された第１画像データと、補正部３３ｂで補正された第２画像データとに基づいて被写体要素を検出してもよい。このようにしても、撮像条件が異なる領域で、それぞれ適切に検出処理を行うことができる。

（５）カメラ１の物体検出部３４ａは、撮像光学系３１の焦点調節の対象として被写体要素を検出するので、撮像条件が異なる領域で、それぞれ適切に検出処理を行うことができる。

（６）カメラ１は、被写体の明るさを検出する制御部３４を備え、物体検出部３４ａは、制御部３４による測光の対象として被写体要素を検出するので、撮像条件が異なる領域で、それぞれ適切に検出処理を行うことができる。

（７）物体検出部３４ａは、撮像部３２の一部の探索範囲１９０について被写体要素を検出し、第１領域および第２領域は、探索範囲１９０に含まれている。これにより、撮像条件が異なる領域で、それぞれ適切に検出処理を行うことができる。

（８）カメラ１の補正部３３ｂは、第１領域に入射した被写体像を第１蓄積時間で撮像することにより生成された第１画像データを、第２領域に入射した被写体像を第２蓄積時間で撮像することにより生成された第２画像データとの差が小さくなるように補正する。これにより、電荷蓄積時間が異なる領域で、それぞれ適切に検出処理を行うことができる。

（９）カメラ１の補正部３３ｂは、第１領域に入射した被写体像を第１撮像感度で撮像することにより生成された第１画像データを、第２領域に入射した被写体像を第２撮像感度で撮像することにより生成された第２画像データとの差が小さくなるように補正する。これにより、撮像感度が異なる領域で、それぞれ適切に検出処理を行うことができる。

上述した補正処理を前処理として行うモード１と、補正処理を前処理として行わないモード２とを切り替え可能に構成してもよい。モード１が選択された場合、制御部３４は、上述した前処理を行った上で画像処理などの処理を行う。一方、モード２が選択された場合、制御部３４は、上述した前処理を行わずに画像処理などの処理を行う。例えば、被写体要素として検出されている顔の一部に陰がある場合において、顔の陰の部分の明るさが顔の陰以外の部分の明るさと同程度となるように、顔の陰の部分を含む領域の撮像条件と顔の陰以外の部分を含む領域の撮像条件とを異なる設定で撮像して生成された画像に対して、補正処理を行ってから色補間処理をすると、設定されている撮像条件の違いにより陰の部分に対して意図しない色補間が行われる場合がある。補正処理をすることなく画像データをそのまま用いて色補間処理を行い得るように、モード１とモード２とを切り替え可能に構成しておくことにより、意図しない色補間を避けることが可能になる。

−−−第１の実施の形態の変形例−−−
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１）
図１６(a)〜図１６(c)は、撮像素子３２ａの撮像面における第１領域および第２領域の配置を例示する図である。図１６(a)の例によれば、第１領域は偶数列によって構成され、第２領域は奇数列によって構成される。すなわち、撮像面が偶数列と奇数列とに分割されている。

図１６(b)の例によれば、第１領域は奇数行によって構成され、第２領域は偶数行によって構成される。すなわち、撮像面が奇数行と偶数行とに分割されている。

図１６(c)の例によれば、第１領域は、奇数列における偶数行のブロックと、偶数列における奇数行のブロックとによって構成される。また、第２領域は、偶数列における偶数行のブロックと、奇数列における奇数行のブロックとによって構成される。すなわち、撮像面が市松模様状に分割されている。

図１６(a)〜図１６(c)のいずれの場合も、１フレームの撮像を行った撮像素子３２ａから読み出した光電変換信号によって、第１領域から読み出した光電変換信号に基づく第１画像および第２領域から読み出した光電変換信号に基づく第２画像がそれぞれ生成される。変形例１によれば、第１画像および第２画像は同じ画角で撮像され、共通の被写体像を含む。

変形例１において、制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。具体的には、制御部３４は、第１画像をライブビュー画像として表示部３５に表示させる。また、制御部３４は、物体検出部３４ａによって第２画像を用いて被写体検出処理を行わせ、ＡＦ演算部３４によって第２画像を用いて焦点検出処理を行わせ、設定部３４ｂによって第２画像を用いて露出演算処理を行わせる。

変形例１においては、第１画像を撮像する第１領域に設定する撮像条件を第１撮像条件と呼び、第２画像を撮像する第２領域に設定する撮像条件を第２撮像条件と呼ぶこととする。制御部３４は、第１撮像条件と、第２撮像条件とを異ならせてもよい。

１．一例として、制御部３４は、第１撮像条件を、表示部３５による表示に適した条件に設定する。例えば、第１領域に設定される第１撮像条件を撮像画面の第１領域の全体で同一にする。一方、制御部３４は、第２領域に設定される第２撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定する。第２撮像条件は、撮像画面の第２領域の全体で同一にする。
なお、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、制御部３４は、第２領域に設定する第２撮像条件をフレームごとに異ならせてもよい。例えば、１フレーム目の第２撮像条件を焦点検出処理に適した条件とし、２フレーム目の第２撮像条件を被写体検出処理に適した条件とし、３フレーム目の第２撮像条件を露出演算処理に適した条件とする。これらの場合において、各フレームにおける第２撮像条件を撮像画面の第２領域の全体で同一にする。

２．他の一例として、制御部３４は、第１領域に設定される第１撮像条件を領域により異ならせてもよい。制御部３４（設定部３４ｂ）は、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第１撮像条件を設定する。一方、制御部３４は、第２領域に設定される第２撮像条件を撮像画面の第２領域の全体で同一にする。制御部３４は、第２撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定するが、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第２領域に設定する撮像条件をフレームごとに異ならせてもよい。

３．また、他の一例として、制御部３４は、第１領域に設定される第１撮像条件を撮像画面の第１領域の全体で同一とする一方で、第２領域に設定される第２撮像条件を撮像画面において異ならせてもよい。例えば、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第２撮像条件を設定する。この場合においても、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第２領域に設定する撮像条件をフレームごとに異ならせてもよい。

４．さらにまた、他の一例として、制御部３４は、第１領域に設定される第１撮像条件を撮像画面において異ならせるとともに、第２領域に設定される第２撮像条件を撮像画面において異ならせる。例えば、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第１撮像条件を設定しつつ、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第２撮像条件を設定する。

図１６(a)〜図１６(c)において、第１領域と第２領域との面積比を異ならせてもよい。制御部３４は、例えば、ユーザーによる操作または制御部３４の判断に基づき、第１領域の比率を第２領域よりも高く設定したり、第１領域と第２領域の比率を図１６(a)〜図１６(c)に例示したように同等に設定したり、第１領域の比率を第２領域よりも低く設定したりする。第１領域と第２領域とで面積比を異ならせることにより、第１画像を第２画像に比べて高精細にしたり、第１画像および第２画像の解像度を同等にしたり、第２画像を第１画像に比べて高精細にしたりすることができる。

（変形例２）
画像処理を行う場合の補正処理は、注目位置において適用された撮像条件（第１撮像条件とする）と、注目位置の周囲の参照位置において適用された撮像条件（第２撮像条件とする）とが異なる場合において、画像処理部３３（補正部３３ｂ）が、第２撮像条件の画像データ（参照位置の画像データのうちの第２撮像条件の画像データ）を第１撮像条件に基づいて補正した。すなわち、参照位置の第２撮像条件の画像データを補正処理することによって、第１撮像条件と第２撮像条件との差異に基づく画像の不連続性を緩和するようにした。

この代わりに、変形例２では、画像処理部３３（補正部３３ｂ）が、第１撮像条件の画像データ（注目位置の画像データと参照位置の画像データのうちの第１撮像条件の画像データ）を第２撮像条件に基づいて補正してもよい。この場合にも、第１撮像条件と第２撮像条件との差異に基づく画像の不連続性を緩和できる。

あるいは、画像処理部３３（補正部３３ｂ）が、第１撮像条件の画像データおよび第２撮像条件の画像データの双方を補正してもよい。すなわち、第１撮像条件の注目位置の画像データ、参照位置の画像データのうちの第１撮像条件の画像データ、および参照位置の画像データのうちの第２撮像条件の画像データに対してそれぞれ補正処理を施すことにより、第１撮像条件と第２撮像条件との差異に基づく画像の不連続性を緩和するようにしてもよい。
例えば、上記（例１）において、第１撮像条件（ＩＳＯ感度が１００）である、参照画素の画像データに、補正処理として４００／１００をかけ、第２撮像条件（ＩＳＯ感度が８００）である参照画素の画像データに、補正処理として４００／８００をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。なお、注目画素の画素データは、色補間処理後に１００／４００をかける補正処理を行う。この補正処理により色補間処理後の注目画素の画素データを第１撮像条件で撮像した場合と同様の値に変更することができる。さらに、上記（例１）において、第１領域と第２領域との境界からの距離によって補正処理の程度を変えても良い。そして上記（例１）の場合に比べて補正処理により画像データが増加や減少する割合を少なくすることができ、補正処理により生じるノイズを減らすことができる。以上では、上記（例１）について説明したが、上記（例２）にも同様に適用することができる。

変形例２によれば、上述した実施の形態と同様に、撮像条件が異なる領域のそれぞれ生成された画像データに対し、適切に画像処理を行うことができる。

（変形例３）
上述した説明では、画像データに対して補正処理を行う際に、第１撮像条件と第２撮像条件との差違に基づく演算を行うことにより、補正後の画像データを求めるようにした。演算の代わりに、補正用テーブルを参照することによって補正後の画像データを求めてもよい。例えば、引数として第１撮像条件および第２撮像条件を入力することにより、補正後の画像データを読み出す。あるいは、引数として第１撮像条件および第２撮像条件を入力することにより、補正係数を読み出す構成にしてもよい。

（変形例４）
上述した補正処理において、補正後の画像データの上限や下限を定めておいてもよい。上限値、下限値を設けることにより、必要以上の補正をしないように制限することができる。上限値、下限値は、あらかじめ決めておいてもよいし、撮像素子３２ａと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき決定してもよい。

（変形例５）
上記実施の形態では、制御部３４（設定部３４ｂ）がライブビュー画像に基づき被写体要素を検出し、ライブビュー画像の画面を、被写体要素を含む領域に分割する例を説明した。変形例５において、制御部３４は、撮像素子３２ａと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき領域を分割してもよい。

制御部３４は、測光用センサからの出力信号に基づき、前景と背景とに分割する。具体的には、撮像素子３２ｂによって取得されたライブビュー画像を、測光用センサからの出力信号から前景と判断した領域に対応する前景領域と、測光用センサからの出力信号から背景と判断した領域に対応する背景領域とに分割する。

制御部３４はさらに、撮像素子３２ａの撮像面の前景領域に対応する位置に対して、図１６(a)〜図１６(c)に例示したように、第１領域および第２領域を配置する。一方、制御部３４は、撮像素子３２ａの撮像面の背景領域に対応する位置に対して、撮像素子３２ａの撮像面に第１領域のみを配置する。制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。

変形例５によれば、測光用センサからの出力信号を用いることにより、撮像素子３２ｂによって取得されたライブビュー画像の領域分割を行うことができる。また、前景領域に対しては、表示用の第１画像と検出用の第２画像とを得ることができ、背景領域に対しては、表示用の第１画像のみを得ることができる。

（変形例６）
変形例６では、画像処理部３３（生成部３３ｃ）が、補正処理の一例としてコントラスト調整処理を行う。すなわち、生成部３３ｃは、階調カーブ（ガンマカーブ）を異ならせることにより、第１撮像条件と第２撮像条件との間の差異に基づく画像の不連続性を緩和する。

例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合を想定する。生成部３３ｃは、階調カーブを寝かせることにより、参照位置の画像データのうちの第２撮像条件の画像データの値を１／８に圧縮する。

あるいは、生成部３３ｃが、階調カーブを立たせることにより、注目位置の画像データ、および参照位置の画像データのうちの第１撮像条件の画像データの値を８倍に伸張させてもよい。

変形例６によれば、上述した実施の形態と同様に、撮像条件が異なる領域でそれぞれ生成された画像データに対し、適切に画像処理を行うことができる。例えば、領域の境界における撮像条件の違いによって、画像処理後の画像に現れる不連続性や違和感を抑制することができる。

（変形例７）
変形例７においては、画像処理部３３が、上述した画像処理（例えば、ノイズ低減処理）において、被写体要素の輪郭を損なわないようにする。一般に、ノイズ低減を行う場合は平滑化フィルタ処理が採用される。平滑化フィルタを用いる場合、ノイズ低減効果の一方で被写体要素の境界がぼける場合がある。

そこで、画像処理部３３（生成部３３ｃ）は、例えば、ノイズ低減処理に加えて、またはノイズ低減処理とともに、コントラスト調整処理を行うことによって上記被写体要素の境界のぼけを補う。変形例７において、画像処理部３３（生成部３３ｃ）は、濃度変換（階調変換）曲線として、Ｓの字を描くようなカーブを設定する（いわゆるＳ字変換）。画像処理部３３（生成部３３ｃ）は、Ｓ字変換を用いたコントラスト調整を行うことにより、明るいデータと暗いデータの階調部分をそれぞれ引き伸ばして明るいデータ(および暗いデータ)の階調数をそれぞれ増やすとともに、中間階調の画像データを圧縮して階調数を減らす。これにより、画像の明るさが中程度の画像データの数が減り、明るい／暗いのいずれかに分類されるデータが増える結果として、被写体要素の境界のぼけを補うことができる。

変形例７によれば、画像の明暗をくっきりさせることによって、被写体要素の境界のぼけを補うことができる。

（変形例８）
変形例８においては、画像処理部３３（生成部３３ｃ）が、第１撮像条件と第２撮像条件との差異に基づく画像の不連続性を緩和するように、ホワイトバランス調整ゲインを変更する。

例えば、注目位置において撮像時に適用された撮像条件（第１撮像条件とする）と、注目位置の周囲の参照位置において撮像時に適用された撮像条件（第２撮像条件とする）とが異なる場合において、画像処理部３３（生成部３３ｃ）が、参照位置の画像データのうちの第２撮像条件の画像データのホワイトバランスを、第１撮像条件で取得された画像データのホワイトバランスに近づけるように、ホワイトバランス調整ゲインを変更する。

なお、画像処理部３３（生成部３３ｃ）が、参照位置の画像データのうちの第１撮像条件の画像データと注目位置の画像データのホワイトバランスを、第２撮像条件で取得された画像データのホワイトバランスに近づけるように、ホワイトバランス調整ゲインを変更してもよい。

変形例８によれば、撮像条件が異なる領域でそれぞれ生成された画像データに対し、ホワイトバランス調整ゲインを撮像条件が異なる領域のどちらかの調整ゲインに揃えることによって、第１撮像条件と第２撮像条件との差異に基づく画像の不連続性を緩和することができる。

（変形例９）
画像処理部３３を複数備え、画像処理を並列処理してもよい。例えば、撮像部３２の領域Ａで撮像された画像データに対して画像処理をしながら、撮像部３２の領域Ｂで撮像された画像データに対して画像処理を行う。複数の画像処理部３３は、同じ画像処理を行ってもよいし、異なる画像処理を行ってもよい。すなわち、領域Ａおよび領域Ｂの画像データに対して同じパラメータ等を適用して同様の画像処理をしたり、領域Ａおよび領域Ｂの画像データに対して異なるパラメータ等を適用して異なる画像処理をしたりすることができる。

画像処理部３３の数を複数備える場合において、第１撮像条件が適用された画像データに対して一つの画像処理部によって画像処理を行い、第２撮像条件が適用された画像データに対して他の画像処理部によって画像処理を行ってもよい。画像処理部の数は上記２つに限られず、例えば、設定され得る撮像条件の数と同数を設けるようにしてもよい。すなわち、異なる撮像条件が適用された領域ごとに、それぞれの画像処理部が画像処理を担当する。変形例９によれば、領域ごとの異なる撮像条件による撮像と、上記領域ごとに得られる画像の画像データに対する画像処理とを並行して進行させることができる。

（変形例１０）
上述した説明では、カメラ１を例に説明したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機２５０（図１８）や、タブレット端末などのモバイル機器によって構成してもよい。

（変形例１１）
上述した実施の形態では、撮像部３２と制御部３４とを単一の電子機器として構成したカメラ１を例に説明した。この代わりに、例えば、撮像部３２と制御部３４とを分離して設け、制御部３４から通信を介して撮像部３２を制御する撮像システム１Ｂを構成してもよい。
以下、図１７を参照して撮像部３２を備えた撮像装置１００１を、制御部３４を備えた表示装置１００２から制御する例を説明する。

図１７は、変形例１１に係る撮像システム１Ｂの構成を例示するブロック図である。図１７において、撮像システム１Ｂは、撮像装置１００１と、表示装置１００２とによって構成される。撮像装置１００１は、上記実施の形態で説明した撮像光学系３１と撮像部３２とに加えて、第１通信部１００３を備える。また、表示装置１００２は、上記実施の形態で説明した画像処理部３３、制御部３４、表示部３５、操作部材３６、および記録部３７に加えて、第２通信部１００４を備える。

第１通信部１００３および第２通信部１００４は、例えば周知の無線通信技術や光通信技術等により、双方向の画像データ通信を行うことができる。
なお、撮像装置１００１と表示装置１００２とを有線ケーブルにより有線接続し、第１通信部１００３および第２通信部１００４が双方向の画像データ通信を行う構成にしてもよい。

撮像システム１Ｂは、制御部３４が、第２通信部１００４および第１通信部１００３を介したデータ通信を行うことにより、撮像部３２に対する制御を行う。例えば、撮像装置１００１と表示装置１００２との間で所定の制御データを送受信することにより、表示装置１００２は、上述したように画像に基づいて、画面を複数の領域に分割したり、分割した領域ごとに異なる撮像条件を設定したり、各々の領域で光電変換された光電変換信号を読み出したりする。

変形例１１によれば、撮像装置１００１側で取得され、表示装置１００２へ送信されたライブビュー画像が表示装置１００２の表示部３５に表示されるので、ユーザーは、撮像装置１００１から離れた位置にある表示装置１００２から、遠隔操作を行うことができる。
表示装置１００２は、例えば、スマートフォンのような高機能携帯電話機２５０によって構成することができる。また、撮像装置１００１は、上述した積層型の撮像素子１００を備える電子機器によって構成することができる。
なお、表示装置１００２の制御部３４に物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、ＡＦ演算部３４ｄとを設ける例を説明したが、物体検出部３４ａ、設定部３４ｂ、撮像制御部３４ｃ、およびＡＦ演算部３４ｄの一部について、撮像装置１００１に設けるようにしてもよい。

（変形例１２）
上述したカメラ１、高機能携帯電話機２５０、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図１８に例示するように、プログラムを格納したパーソナルコンピュータ２０５から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。

パーソナルコンピュータ２０５に対するプログラムの供給は、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４をパーソナルコンピュータ２０５にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２０５へローディングしてもよい。通信回線２０１を経由する場合は、当該通信回線に接続されたサーバー２０２のストレージ装置２０３などにプログラムを格納しておく。

また、通信回線２０１に接続された無線ＬＡＮのアクセスポイント（不図示）を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体２０４Ｂをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。

−−−第２の実施の形態−−−
図１９〜２５を参照して、第２の実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、第１の実施の形態の画像処理部３３を設ける代わりに、撮像部３２Ａが第１の実施の形態の画像処理部３３と同様の機能を有する画像処理部３２ｃをさらに含む点で、第１の実施の形態と異なる。

図１９は、第２の実施の形態によるカメラ１Ｃの構成を例示するブロック図である。図１９において、カメラ１Ｃは、撮像光学系３１と、撮像部３２Ａと、制御部３４と、表示部３５と、操作部材３６と、記録部３７とを有する。撮像部３２Ａは、第１の実施の形態の画像処理部３３と同様の機能を有する画像処理部３２ｃをさらに含む。

画像処理部３２ｃは、入力部３２１と、補正部３２２と、生成部３２３とを含む。入力部３２１には、撮像素子３２ａからの画像データが入力される。補正部３２２は、上記入力された画像データに対して補正する前処理を行う。補正部３２２が行う前処理は、第１の実施の形態における補正部３３ｂが行う前処理と同じである。生成部３２３は、上記入力された画像データと前処理後の画像データとに対して画像処理を行い、画像を生成する。生成部３２３が行う画像処理は、第１の実施の形態における生成部３３ｃが行う画像処理と同じである。

図２０は、本実施の形態における各ブロックと、複数の補正部３２２との対応関係を模式的に示した図である。図２０において、矩形で表した撮像チップ１１１の１つのマスが１つのブロック１１１ａを表している。同様に、矩形で表した後述する画像処理チップ１１４の１つのマスが１つの補正部３２２を表している。

本実施の形態では、補正部３２２は、ブロック１１１ａ毎に対応して設けられている。換言すると、補正部３２２は、撮像面における撮像条件の変更可能な領域の最小単位であるブロック毎にそれぞれ設けられている。たとえば、図２０においてハッチングを施したブロック１１１ａと、ハッチングを施した補正部３２２とは対応関係にある。図２０においてハッチングを施した補正部３２２は、ハッチングを施したブロック１１１ａに含まれる画素からの画像データに前処理を行う。各補正部３２２は、それぞれ対応するブロック１１１ａに含まれる画素からの画像データに前処理を行う。
これにより、画像データの前処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減でき、撮像条件が異なる領域でそれぞれ生成された画像データから適切な画像を短時間で生成することができる。
なお、以下の説明では、あるブロック１１１ａと、当該ブロック１１１ａに含まれる画素との関係について説明する際に、当該ブロック１１１ａのことを、当該画素が属するブロック１１１ａと呼ぶことがある。また、ブロック１１１ａを単位区分と呼ぶことがあり、ブロック１１１ａが複数集まったもの、すなわち単位区分が複数集まったものを複合区分と呼ぶことがある。

図２１は、積層型撮像素子１００Ａの断面図である。積層型撮像素子１００Ａは、裏面照射型撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とに加えて、上述した前処理および画像処理を行う画像処理チップ１１４をさらに備える。すなわち、上述した画像処理部３２ｃは、画像処理チップ１１４に設けられている。
これら撮像チップ１１１、信号処理チップ１１２、メモリチップ１１３および画像処理チップ１１４は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

メモリチップ１１３および画像処理チップ１１４の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、メモリチップ１１３と画像処理チップ１１４とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

＜補正処理＞
第１の実施の形態と同様に、第２の実施の形態では、設定部３４ｂにより撮像画面の領域を分割した後は、ユーザーによって選択された領域、または、制御部３４が判断した領域に対して撮像条件を設定（変更）することが可能に構成されている。分割した領域において異なる撮像条件を設定した場合、制御部３４は、必要に応じて補正部３２２に以下の補正処理を行わせる。

１．画像処理を行う場合
１−１．注目画素Ｐの撮像条件と注目画素Ｐの周囲の複数の参照画素の撮像条件とが同一である場合
この場合、画像処理部３２ｃでは、補正部３２２が補正処理を行わず、生成部３２３が補正されていない複数の参照画素の画像データを利用して画像処理を行う。

１−２．注目画素Ｐの撮像条件と、注目画素Ｐの周囲の複数の参照画素のうちの少なくとも１つの参照画素の撮像条件とが異なる場合
注目画素Ｐにおいて適用された撮像条件を第１撮像条件とし、複数の参照画素の一部に適用された撮像条件が第１撮像条件であり、残りの参照画素に適用された撮像条件が第２撮像条件であるとする。
この場合には、第２撮像条件が適用された参照画素が属するブロック１１１ａに対応する補正部３２２は、当該第２撮像条件が適用された参照画素の画像データに対して以下の（例１）〜（例３）のように補正処理を行う。そして、生成部３２３は、第１撮像条件が適用された参照画素の画像データと、補正処理後の参照画素の画像データとを参照して注目画素Ｐの画像データを算出する画像処理を行う。

（例１）
第２撮像条件が適用された参照画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合、当該参照画素の画像データに対し、補正処理として１００／８００をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。

（例２）
第２撮像条件が適用された参照画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第２撮像条件のシャッター速度が１／１００秒の場合、当該参照画素の画像データに対し、補正処理として１／１０００／１／１００＝１／１０をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。

（例３）
第２撮像条件が適用された参照画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第２撮像条件のフレームレートが６０ｆｐｓの場合、当該参照画素の画像データ、すなわち第２撮像条件（６０ｆｐｓ）の画像データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の画像データを採用することを補正処理とする。これにより、撮像条件の相違による画像データ間の差異を小さくする。
なお、第２撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の画像データを補間算出することを補正処理としてもよい。

なお、注目画素Ｐにおいて適用された撮像条件を第２撮像条件とし、注目画素Ｐの周囲の参照画素において適用された撮像条件を第１撮像条件とした場合も同様である。すなわち、この場合には、第１撮像条件が適用された参照画素が属するブロック１１１ａに対応する補正部３２２は、当該参照画素の画像データに対して上述した（例１）〜（例３）のように補正処理を行う。

なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件ととみなす。

生成部３２３は、注目画素Ｐの撮像条件と同一の撮像条件が適用された参照画素の画像データと補正部３２２で補正された参照画素の画像データとに基づいて、第１の実施の形態における画像処理部３３（生成部３３ｃ）と同様に、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行う。

図２２は、第１撮像条件が適用された撮像面の一部領域（以下、第１領域１４１と呼ぶ）に含まれる各画素からの画像データ（以下、第１画像データと呼ぶ）と、第２撮像条件が適用された撮像面の一部領域（以下、第２領域１４２と呼ぶ）に含まれる各画素からの画像データ（以下、第２画像データと呼ぶ）との処理について、模式的に表した図である。

第１領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１画像データがそれぞれ出力され、第２領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２画像データがそれぞれ出力される。第１画像データは、処理チップ１１４に設けられた補正部３２２のうち、第１画像データを生成した画素が属するブロック１１１ａに対応する補正部３２２に出力される。以下の説明では、それぞれの第１画像データを生成した画素が属する複数のブロック１１１ａにそれぞれ対応する複数の補正部３２２を第１処理部１５１と呼ぶ。
同様に、第２画像データは、処理チップ１１４に設けられた補正部３２２のうち、第２画像データを生成した画素が属するブロック１１１ａに対応する補正部３２２に出力される。以下の説明では、それぞれの第２画像データを生成した各画素が属する複数のブロック１１１ａにそれぞれ対応する複数の補正部３２２を第２処理部１５２と呼ぶ。

たとえば、注目画素Ｐが第１領域１４１に含まれる場合、第２領域１４２に含まれる参照画素からの第２画像データは、図２２に示すように第２処理部１５２で上述した補正処理が行われる。なお、第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報１８１を、たとえば、第１処理部１５１から受信する。
同様に、たとえば、注目画素Ｐが第２領域１４２に含まれる場合、第１領域１４１に含まれる参照画素からの第１画像データは、第１処理部１５１で上述した補正処理が行われる。なお、第１処理部１５１は、撮像条件の相違による画像データ間の差異を小さくするために必要な第２撮像条件についての情報を、第２処理部１５２から受信する。

なお、注目画素Ｐと参照画素とが第１領域１４１に含まれる場合、第１処理部１５１は、当該参照画素からの第１画像データを補正しない。同様に、注目画素Ｐと参照画素とが第２領域１４２に含まれる場合、第２処理部１５２は、当該参照画素からの第２画像データを補正しない。
あるいは、第１処理部１５１と第２処理部１５２により、それぞれ第１撮像条件の画像データおよび第２撮像条件の画像データの双方を補正してもよい。すなわち、第１撮像条件の注目位置の画像データ、参照位置の画像データのうちの第１撮像条件の画像データ、および参照位置の画像データのうちの第２撮像条件の画像データに対してそれぞれ補正処理を施すことにより、第１撮像条件と第２撮像条件との差異に基づく画像の不連続性を緩和するようにしてもよい。
例えば、上記（例１）において、第１撮像条件（ＩＳＯ感度が１００）である、参照画素の画像データに、補正処理として４００／１００をかけ、第２撮像条件（ＩＳＯ感度が８００）である参照画素の画像データに、補正処理として４００／８００をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。なお、注目画素の画素データは、色補間処理後に１００／４００をかける補正処理を行う。この補正処理により色補間処理後の注目画素の画素データを第１撮像条件で撮像した場合と同様の値に変更することができる。さらに、上記（例１）において、第１領域と第２領域との境界からの距離によって補正処理の程度を変えても良い。そして上記（例１）の場合に比べて補正処理により画像データが増加や減少する割合を少なくすることができ、補正処理により生じるノイズを減らすことができる。以上では、上記（例１）について説明したが、上記（例２）にも同様に適用することができる。

生成部３２３は、第１処理部１５１および第２処理部１５２からの画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。

なお、第１処理部１５１は、注目画素Ｐが第２領域１４２に位置する場合に、第１領域１４１に含まれるすべての画素からの第１画像データを補正処理してもよく、第１領域１４１に含まれる画素のうち、第２領域１４２の注目画素Ｐの補間に用いられる可能性がある画素からの第１画像データだけを補正処理してもよい。同様に、第２処理部１５２は、注目画素Ｐが第１領域１４１に位置する場合に、第２領域１４２に含まれるすべての画素からの第２画像データを補正処理してもよく、第２領域１４２に含まれる画素のうち、第１領域１４１の注目画素Ｐの補間に用いられる可能性がある画素からの第２画像データだけを補正処理してもよい。

２．焦点検出処理を行う場合
第１の実施形態と同様に、制御部３４（ＡＦ演算部３４ｄ）は、撮像画面の所定の位置（焦点検出位置）に対応する信号データ（画像データ）を用いて焦点検出処理を行う。なお、分割した領域間で異なる撮像条件が設定されており、ＡＦ動作の焦点検出位置が分割された領域の境界部分に位置する場合、すなわち焦点検出位置が第１領域と第２領域とで２分されている場合、本実施の形態では、以下の２−２．で説明するように、制御部３４（ＡＦ演算部３４ｄ）は、補正部３２２に対して少なくとも１つの領域の焦点検出用の信号データに対する補正処理を行わせる。

２−１．図１３における枠１７０内の画素からの信号データに、第１撮像条件が適用された信号データと第２撮像条件が適用された信号データが混在しない場合
この場合、補正部３２２は補正処理を行わず、制御部３４（ＡＦ演算部３４ｄ）は枠１７０で示す焦点検出用画素による信号データをそのまま用いて焦点検出処理を行う。

２−２．図１３における枠１７０内の画素からの信号データに、第１撮像条件が適用された信号データと第２撮像条件が適用された信号データが混在する場合
この場合には、制御部３４（ＡＦ演算部３４ｄ）は、枠１７０内の画素のうち、第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２に対して以下の（例１）〜（例３）のように補正処理を行わせる。そして、制御部３４（ＡＦ演算部３４ｄ）は、第１撮像条件が適用された画素の信号データと、補正処理後の信号データとを用いて焦点検出処理を行う。

（例１）
第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合、第２撮像条件の信号データに対し、補正処理として１００／８００をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。

（例２）
第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第２撮像条件のシャッター速度が１／１００秒の場合、第２撮像条件の信号データに対し、補正処理として１／１０００／１／１００＝１／１０をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。

（例３）
第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第２撮像条件のフレームレートが６０ｆｐｓの場合、第２撮像条件（６０ｆｐｓ）の信号データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを採用することを補正処理とする。これにより、撮像条件の相違による信号データ間の差異を小さくする。
なお、第２撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを補間算出することを補正処理としてもよい。

なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
また、上記の例では、信号データのうちの第２撮像条件の信号データに対して補正処理を行う例を説明したが、信号データのうちの第１撮像条件の信号データに対して補正処理を行ってもよい。

さらにまた、信号データのうちの第１撮像条件の信号データおよび第２撮像条件のデータに対してそれぞれ補正処理を行うことにより、補正処理後の双方の信号データ間の差を小さくするようにしてもよい。

図２３は、焦点検出処理に係る、第１信号データと第２信号データとの処理について模式的に表した図である。

第１領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１信号データが出力され、第２領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２信号データが出力される。第１領域１４１からの第１信号データは、第１処理部１５１に出力される。同様に、第２領域１４２からの第２信号データは、第２処理部１５２に出力される。

信号データのうちの第２撮像条件の信号データに対して補正処理を行うことにより、補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第２処理部１５２が処理を行う。第２領域１４２に含まれる画素からの第２信号データに、第２処理部１５２は上述した補正処理を行う。なお、第２処理部１５２は、撮像条件の相違による信号データ間の差異を小さくするために必要な第１撮像条件についての情報１８１を、たとえば、第１処理部１５１から受信する。
なお、信号データのうちの第２撮像条件の信号データに対して補正処理を行うことにより、補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第１処理部１５１は、第１信号データを補正しない。

また、信号データのうちの第１撮像条件の信号データに対して補正処理を行うことにより、補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第１処理部１５１が処理を行う。第１領域１４１に含まれる画素からの第１信号データに、第１処理部１５１は上述した補正処理を行う。なお、第１処理部１５１は、撮像条件の相違による信号データ間の差異を小さくするために必要な第２撮像条件についての情報を第２処理部１５２から受信する。
なお、信号データのうちの第１撮像条件の信号データに対して補正処理を行うことにより、補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第２処理部１５２は、第２信号データを補正しない。

さらにまた、信号データのうちの第１撮像条件の信号データおよび第２撮像条件のデータに対してそれぞれ補正処理を行うことにより、補正処理後の双方の信号データ間の差を小さくする場合、第１処理部１５１と第２処理部１５２とが処理を行う。第１処理部１５１は、第１領域１４１に含まれる画素からの第１信号データに上述した補正処理を行い、第２処理部１５２は、第２領域１４２に含まれる画素からの第２信号データに上述した補正処理を行う。

ＡＦ演算部３４ｄは、第１処理部１５１および第２処理部１５２からの信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。

３．被写体検出処理を行う場合
分割した領域間で異なる撮像条件が設定されており、探索範囲１９０が分割された領域の境界を含む場合、本実施の形態では、以下の３−２．で説明するように、制御部３４（物体検出部３４ａ）は、補正部３２２に対して探索範囲１９０内の少なくとも１つの領域の画像データに対する補正処理を行わせる。

３−１．図１４における探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在しない場合
この場合、補正部３２２は補正処理を行わず、制御部３４（物体検出部３４ａ）は探索範囲１９０を構成する画像データをそのまま用いて被写体検出処理を行う。

３−２．図１４における探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合
この場合、制御部３４（物体検出部３４ａ）は、探索範囲１９０の画像のうち、第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２に対して、焦点検出処理を行う場合として上述した（例１）〜（例３）のように補正処理を行わせる。そして、制御部３４（物体検出部３４ａ）は、第１条件が適用された画素の画像データと、補正処理後の画像データとを用いて被写体検出処理を行う。

図２４は、被写体検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。第１処理部１５１または／および第２処理部１５２で行われる補正処理は、焦点検出処理を行う場合として上述した図２３についての補正処理と同じである。

物体検出部３４ａは、第１処理部１５１および第２処理部１５２からの画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。

４．撮像条件を設定する場合
撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合について説明する。

４−１．測光範囲の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在しない場合
この場合、補正部３２２は補正処理を行わず、制御部３４（設定部３４ｂ）は測光範囲を構成する画像データをそのまま用いて露出演算処理を行う。

４−２．測光範囲の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合
この場合、制御部３４（設定部３４ｂ）は、測光範囲の画像データのうち、第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２に対して、焦点検出処理を行う場合として上述した（例１）〜（例３）のように補正処理を行わせる。そして、制御部３４（設定部３４ｂ）は、補正処理後の画像データを用いて露出演算処理を行う。

図２５は、露出演算処理等の撮像条件の設定に係る、第１画像データと第２画像データとの処理について模式的に表した図である。第１処理部１５１または／および第２処理部１５２で行われる補正処理は、焦点検出処理を行う場合として上述した図２３についての補正処理と同じである。

設定部３４ｂは、第１処理部１５１および第２処理部１５２からの画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。

以上説明した第２の実施の形態によれば、次の作用効果が得られる。
（１）カメラ１Ｃは、撮像面の単位区分毎に撮像条件を変更して撮像可能であり、第１撮像条件で撮像した少なくとも一つの単位区分からなる第１領域からの第１画像データと、第１撮像条件とは異なる第２撮像条件で撮像した少なくとも一つの単位区分からなる第２領域からの第２画像データとを生成する撮像素子３２ａを備える。カメラ１Ｃは、単位区分毎に、または、単位区分を複数有する複合区分毎に対応して設けられ、対応する単位区分、または対応する複合区分内の単位区分からの画像データを補正可能な複数の補正部３２２を備える。第２領域内の単位区分または複合区分に対応する補正部３２２は、第１画像データを、第２撮像条件により補正する。撮像素子３２ａは、裏面照射型撮像チップ１１１に設けられている。複数の補正部３２２は、画像処理チップ１１４に設けられている。
これにより、画像データの補正処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できる。

（２）裏面照射型撮像チップ１１１と画像処理チップ１１４とは積層されている。これにより、撮像素子３２ａと画像処理部３２ｃとを容易に接続できる。

（３）カメラ１Ｃは、補正部３２２により補正された第１画像データと、第２画像データとに基づいて画像を生成する生成部３２３を備える。これにより、複数の補正部３２２による前処理が並列処理によって短時間に行われるので、画像を生成するまでの時間を短縮化できる。

（４）カメラ１Ｃは、撮像面の単位区分毎に撮像条件を変更して撮像可能であり、撮像光学系を介して入射した光像を第１撮像条件で撮像した少なくとも一つの単位区分からなる第１領域からの第１画像データと、入射した光像を第１撮像条件とは異なる第２撮像条件で撮像した少なくとも一つの単位区分からなる第２領域からの第２画像データとを生成する撮像素子３２ａを備える。カメラ１Ｃは、単位区分毎または単位区分を複数有する複合区分毎に対応して設けられ、対応する単位区分または対応する複合区分内の単位区分からの画像データを補正可能な複数の補正部３２２を備える。カメラ１Ｃは、撮像光学系を動かすための情報を検出するＡＦ演算部３４ｄを備える。第１領域内の単位区分または複合区分に対応する補正部３２２は、第１画像データを、第２画像データとの差が小さくなるように補正する。ＡＦ演算部３４ｄは、補正部３２２で補正された第１画像データと、第２画像データとに基づいて撮像光学系を動かすための情報を検出する。撮像素子３２ａは、裏面照射型撮像チップ１１１に設けられている。複数の補正部３２２は、画像処理チップ１１４に設けられている。
これにより、画像データの補正処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できるとともに、複数の補正部３２２による前処理が並列処理によって短時間に行われるので、ＡＦ演算部３４ｄでの焦点検出処理の開始までの時間を短縮化でき、焦点検出処理の高速化に資する。

（５）カメラ１Ｃは、撮像面の単位区分毎に撮像条件を変更して撮像可能であり、入射した被写体像を第１撮像条件で撮像した少なくとも一つの単位区分からなる第１領域からの第１画像データと、入射した被写体像を第１撮像条件とは異なる第２撮像条件で撮像した少なくとも一つの単位区分からなる第２領域からの第２画像データとを生成する撮像素子３２ａを備える。カメラ１Ｃは、単位区分毎または単位区分を複数有する複合区分毎に対応して設けられ、対応する単位区分または対応する複合区分内の単位区分からの画像データを補正可能な複数の補正部３２２を備える。カメラ１Ｃは、被写体像から対象物を検出する物体検出部３４ａを備える。第１領域内の単位区分または複合区分に対応する補正部３２２は、第１画像データを、第２画像データの値との差が小さくなるように補正する。物体検出部３４ａは、補正部３２２で補正された第１画像データと、第２画像データとに基づいて被写体像から対象物を検出する。撮像素子３２ａは、裏面照射型撮像チップ１１１に設けられている。複数の補正部３２２は、画像処理チップ１１４に設けられている。
これにより、画像データの補正処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できるとともに、複数の補正部３２２による前処理が並列処理によって短時間に行われるので、物体検出部３４ａでの被写体検出処理の開始までの時間を短縮化でき、被写体検出処理の高速化に資する。

（６）カメラ１Ｃは、撮像面の単位区分毎に撮像条件を変更して撮像可能であり、入射した光像を第１撮像条件で撮像した少なくとも一つの単位区分からなる第１領域からの第１画像データと、入射した光像を第１撮像条件とは異なる第２撮像条件で撮像した少なくとも一つの単位区分からなる第２領域からの第２画像データとを生成する撮像素子３２ａを備える。カメラ１Ｃは、単位区分毎または単位区分を複数有する複合区分毎に対応して設けられ、対応する単位区分または対応する複合区分内の単位区分からの画像データを補正可能な複数の補正部３２２を備える。カメラ１Ｃは、撮像条件を設定する設定部３４ｂを備える。第１領域内の単位区分または複合区分に対応する補正部３２２は、第１画像データを、第２画像データとの差が小さくなるように補正する。設定部３４ｂは、補正部３２２で補正された第１画像データと、第２画像データとに基づいて撮像条件を設定する。撮像素子３２ａは、裏面照射型撮像チップ１１１に設けられている。複数の補正部３２２は、画像処理チップ１１４に設けられている。
これにより、画像データの補正処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できるとともに、複数の補正部３２２による前処理が並列処理によって短時間に行われるので、設定部３４ｂでの撮像条件の設定処理の開始までの時間を短縮化でき、撮像条件の設定処理の高速化に資する。

−−−第２の実施の形態の変形例−−−
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１３）
第１の実施の形態の変形例１における図１６(a)〜図１６(c)に示すように、撮像素子３２ａの撮像面において第１領域および第２領域を配置した場合の第１画像データと第２画像データとの処理について説明する。
本変形例においても、変形例１と同様に、図１６(a)〜図１６(c)のいずれの場合も、１フレームの撮像を行った撮像素子３２ａから読み出した画素信号によって、第１領域から読み出した画像信号に基づく第１画像および第２領域から読み出した画像信号に基づく第２画像がそれぞれ生成される。本変形例においても、変形例１と同様に、制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。
第１画像を撮像する第１領域に設定する撮像条件を第１撮像条件と呼び、第２画像を撮像する第２領域に設定する撮像条件を第２撮像条件と呼ぶこととする。制御部３４は、第１撮像条件と、第２撮像条件とを異ならせてもよい。

１．一例として、第１領域に設定される第１撮像条件が撮像画面の第１領域の全体で同一であり、第２領域に設定される第２撮像条件が撮像画面の第２領域の全体で同一である場合について、図２６を参照して説明する。図２６は、第１画像データと第２画像データとの処理について模式的に表した図である。

第１領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１画像データが出力され、第２領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２画像データが出力される。第１領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２領域１４２からの第２画像データは、第２処理部１５２に出力される。

本例では、第１撮像条件が撮像画面の第１領域の全体で同一であるので、第１処理部１５１は、第１領域に含まれる参照画素からの第１画像データを補正しない。また、第２撮像条件が撮像画面の第２領域の全体で同一であるので、第２処理部１５２は、焦点検出処理、被写体検出処理、および露出演算処理に用いる第２画像データについては補正しない。しかし、第２処理部１５２は、第１画像データの補間に用いる第２画像データについては、第１撮像条件と第２撮像条件との相違による画像データ間の差異を小さくする補正処理を行う。第２処理部１５２は、補正処理後の第２画像データを矢印１８２で示すように第１処理部１５１に出力する。なお、第２処理部１５２は、補正処理後の第２画像データを破線の矢印１８３で示すように生成部３２３に出力してもよい。
第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報１８１を、たとえば、第１処理部１５１から受信する。

生成部３２３は、第１処理部１５１からの第１画像データ、および第２処理部１５２で補正処理された第２画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
物体検出部３４ａは、第２処理部１５２からの第２画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
設定部３４ｂは、第２処理部１５２からの第２画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
ＡＦ演算部３４ｄは、第２処理部１５２からの第２信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。

２．他の一例として、第１領域に設定される第１撮像条件が撮像画面の領域によって異なり、第２領域に設定される第２撮像条件が撮像画面の第２領域の全体で同一である場合について、図２７を参照して説明する。図２７は、第１画像データと第２画像データとの処理について模式的に表した図である。

第１領域１４１に含まれる各画素からは、撮像画面の領域によって異なる第１撮像条件で撮像された第１画像データが出力され、第２領域１４２に含まれる各画素からは、撮像画面の第２領域の全体で同一の第２撮像条件で撮像された第２画像データが出力される。第１領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２領域１４２からの第２画像データは、第２処理部１５２に出力される。

上述したように本例では、第１領域に設定される第１撮像条件が撮像画面の領域によって異なる。すなわち、第１撮像条件が第１領域内の部分領域によって異なる。第１領域内にともに位置する注目画素Ｐと参照画素とで異なる第１撮像条件が設定されている場合、第１処理部１５１は、当該参照画素からの第１画像データに対して、上述した１−２．で述べた補正処理と同様の補正処理を行う。なお、注目画素Ｐと参照画素とで同じ第１撮像条件が設定されている場合、第１処理部１５１は、当該参照画素からの第１画像データに対して補正処理を行わない。

本例では、第２領域に設定される第２撮像条件が撮像画面の第２領域の全体で同一であるので、第２処理部１５２は、焦点検出処理、被写体検出処理、および露出演算処理に用いる第２画像データについては補正しない。第１画像データの補間に用いる第２画像データについては、第２処理部１５２は、第１領域に含まれる注目画素Ｐについての撮像条件と第２撮像条件との相違による画像データ間の差異を小さくする補正処理を行う。第２処理部１５２は、補正処理後の第２画像データを第１処理部１５１に出力する。なお、第２処理部１５２は、補正処理後の第２画像データを生成部３２３に出力してもよい。
第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１領域に含まれる注目画素Ｐについての撮像条件についての情報１８１を、たとえば、第１処理部１５１から受信する。

３．また、他の一例として、第１領域に設定される第１撮像条件が撮像画面の第１領域の全体で同一であり、第２領域に設定される第２撮像条件が撮像画面の領域によって異なる場合について、図２８を参照して説明する。図２８は、第１画像データと第２画像データとの処理について模式的に表した図である。

第１領域１４１に含まれる各画素からは、撮像画面の第１領域の全体で同一の第１撮像条件で撮像された第１画像データが出力され、第２領域１４２に含まれる各画素からは、撮像画面の領域によって異なる第２撮像条件で撮像された第２画像データが出力される。第１領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２領域１４２からの第２画像データは、第２処理部１５２に出力される。

本例では、第１領域に設定される第１撮像条件が撮像画面の第１領域の全体で同一であるので、第１処理部１５１は、第１領域に含まれる参照画素からの第１画像データを補正しない。

また、本例では、第２領域に設定される第２撮像条件が撮像画面の領域によって異なるので、第２処理部１５２は、第２画像データに対して次のように補正処理を行う。第２処理部１５２は、たとえば、第２画像データのうちのある撮像条件で撮像された第２画像データに対して補正処理を行うことにより、補正処理後の第２画像データと、上述したある撮像条件とは異なる他の撮像条件で撮像された第２画像データとの差を小さくする。

本例では、第１画像データの補間に用いる第２画像データについては、第２処理部１５２は、第１領域に含まれる注目画素Ｐについての撮像条件と第２撮像条件との相違による画像データ間の差異を小さくする補正処理を行う。第２処理部１５２は、補正処理後の第２画像データを第１処理部１５１に出力する。なお、第２処理部１５２は、補正処理後の第２画像データを生成部３２３に出力してもよい。なお、図２６では、第１処理部１５１に出力される補正処理後の第２画像データに符号１８２を付して表し、生成部３２３に出力される補正処理後の第２画像データに符号１８３を付して表している。
第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１領域に含まれる注目画素Ｐについての撮像条件についての情報１８１を、たとえば、第１処理部１５１から受信する。

生成部３２３は、第１処理部１５１からの第１画像データ、および第２処理部１５２で補正処理された第２画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
物体検出部３４ａは、第２処理部１５２で補正処理された、ある撮像条件で撮像された第２画像データと、他の撮像条件で撮像された第２画像データとに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
設定部３４ｂは、第２処理部１５２で補正処理された、ある撮像条件で撮像された第２画像データと、他の撮像条件で撮像された第２画像データとに基づいて露出演算処理等の撮像条件の算出処理を行う。設定部３４ｂは、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
ＡＦ演算部３４ｄは、第２処理部１５２で補正処理された、ある撮像条件で撮像された第２信号データと、他の撮像条件で撮像された第２信号データとに基づいて焦点検出処理を行う、ＡＦ演算部３４ｄは、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。

４．さらにまた、他の一例として、第１領域に設定される第１撮像条件が撮像画面の領域によって異なり、第２領域に設定される第２撮像条件が撮像画面の領域によって異なる場合について、図２９を参照して説明する。図２９は、第１画像データと第２画像データとの処理について模式的に表した図である。

第１領域１４１に含まれる各画素からは、撮像画面の領域によって異なる第１撮像条件で撮像された第１画像データが出力され、第２領域１４２に含まれる各画素からは、撮像画面の領域によって異なる第２撮像条件で撮像された第２画像データが出力される。第１領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２領域１４２からの第２画像データは、第２処理部１５２に出力される。

また、本例では、第２領域に設定される第２撮像条件が撮像画面の領域によって異なるので、第２処理部１５２は、第２画像データに対して上述した３．の一例のように補正処理を行う。

（変形例１４）
上述した第２の実施の形態では、補正部３２２の１つとブロック１１１ａ（単位区分）の１つとが対応している。しかし、補正部３２２の１つと、複数のブロック１１１ａ（単位区分）を有する複合ブロック（複合区分）の１つとが対応するようにしてもよい。この場合、補正部３２２は、当該複合ブロックに含まれる複数のブロック１１１ａに属する画素からの画像データを順次補正する。複数の補正部３２２が、複数のブロック１１１ａを有する複合ブロック毎に対応して設けられていても、画像データの補正処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減でき、撮像条件が異なる領域でそれぞれ生成された画像データから適切な画像を短時間で生成することができる。

（変形例１５）
上述した第２の実施の形態では、生成部３２３は撮像部３２Ａの内部に設けられている。しかし、生成部３２３を撮像部３２Ａの外部に設けてもよい。生成部３２３を撮像部３２Ａの外部に設けても上述した作用効果と同様の作用効果を奏する。

（変形例１６）
上述した第２の実施の形態では、積層型撮像素子１００Ａは、裏面照射型撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とに加えて、上述した前処理および画像処理を行う画像処理チップ１１４をさらに備える。しかし、積層型撮像素子１００Ａに画像処理チップ１１４を設けず、信号処理チップ１１２に画像処理部３２ｃが設けられていてもよい。

（変形例１７）
上述した第２の実施の形態では、第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報を、第１処理部１５１から受信した。また、第１処理部１５１は、撮像条件の相違による画像データ間の差異を小さくするために必要な第２撮像条件についての情報を、第２処理部１５２から受信した。しかし、第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報を、駆動部３２ｂや制御部３４から受信してもよい。同様に、第１処理部１５１は、撮像条件の相違による画像データ間の差異を小さくするために必要な第２撮像条件についての情報を、駆動部３２ｂや制御部３４から受信してもよい。
なお、上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
上述した実施の形態および変形例は、以下のような撮像装置および被写体検出装置も含む。
（１）被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、上記第１撮像領域の撮像条件を、上記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、上記第２撮像領域から出力された第２信号に対して、上記第１撮像領域から出力された上記第１信号の補間に用いるための補正を行う補正部と、上記補正部で補正された上記第２信号により上記第１信号を補間した信号を用いて、上記第１撮像領域で撮像された被写体を検出する検出部と、
を備える撮像装置。
（２）（１）のような撮像装置において、上記検出部は、上記補正部で補正された上記第２信号により上記第１信号を補間した信号から抽出された特徴を用いて、上記第１撮像領域で撮像された被写体を検出する。
（３）（１）または（２）のような撮像装置において、上記補正部は、上記第１撮像領域から出力された上記第１信号の補間に用いるための補正として、上記第２撮像領域から出力された上記第２信号に対して、上記第１撮像領域の撮像条件と上記第２撮像領域の撮像条件とに基づいて補正を行う。
（４）（３）のような撮像装置において、上記補正部は、上記第１撮像領域から出力された上記第１信号の補間に用いるための補正として、上記第２撮像領域から出力された上記第２信号に対して、上記第１撮像領域の撮像条件と上記第２撮像領域の撮像条件との相違に基づいて補正を行う。
（５）（４）のような撮像装置において、上記第１撮像領域の撮像条件と上記第２撮像領域の撮像条件とは、露出条件であり、上記補正部は、上記第２撮像領域から出力された上記第２信号に対して、上記第１撮像領域の露出条件と上記第２撮像領域の露出条件との相違に基づいて補正を行う。
（６）（５）のような撮像装置において、上記第１撮像領域の露出条件と上記第２撮像領域の露出条件とは、撮像領域の受光部の電荷蓄積時間であり、上記補正部は、上記第２撮像領域から出力された上記第２信号に対して、上記第１撮像領域の電荷蓄積時間と上記第２撮像領域の電荷蓄積時間との比に基づいて補正を行う。
（７）（５）のような撮像装置において、上記第１撮像領域の露出条件と上記第２撮像領域の露出条件とは、撮像領域の撮像感度であり、上記補正部は、上記第２撮像領域から出力された上記第２信号に対して、上記第１撮像領域の撮像感度と上記第２撮像領域の撮像感度との対数比に基づいて補正を行う。
（８）（１）または（２）のような撮像装置において、上記補正部は、上記第１撮像領域から出力された上記第１信号を補正し、上記第２撮像領域から出力された上記第２信号に対して、上記補正された第１信号の補間に用いるための補正を行い、上記検出部は、上記補正部で補正された上記第２信号により上記補正された第１信号を補間した信号を用いて上記第１撮像領域で撮像された被写体を検出する。
（９）光学系の合焦位置を調整するレンズを介して被写体を撮像して第１信号を出力する第１撮像領域と、上記レンズを介して被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、上記第１撮像領域の撮像条件を、上記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、上記第２撮像領域から出力された第２信号に対して、上記第１撮像領域の上記第１信号を出力する画素の補間に用いるための補正を行う補正部と、上記補正部で補正された上記第２信号により上記第１信号を出力する画素を補間した信号を用いて上記第１撮像領域で撮像された被写体を検出する検出部と、を備える撮像装置。
（１０）（９）のような撮像装置において、上記第１撮像領域の上記第１信号を出力する画素は、被写体からの光のうち第１の色の光を光電変換して上記第１信号を出力し、上記第２撮像領域は、被写体からの光のうち上記第１の色と異なる第２の色の光を光電変換して上記第２信号を出力する。
（１１）被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、上記第１撮像領域の撮像条件を、上記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、上記第２撮像領域から出力された上記第２信号に対して、上記第１撮像領域から出力された上記第１信号に含まれるノイズを低減するための補正を行う補正部と、上記補正部で補正された上記第２信号により上記第１信号に含まれるノイズを低減した信号を用いて、上記第１撮像領域で撮像された被写体を検出する検出部と、を備える撮像装置。
（１２）被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、上記第１撮像領域の撮像条件を、上記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、上記第１撮像領域の撮像条件または上記第２撮像領域の撮像条件に基づいて上記第２撮像領域から出力された上記第２信号を補正する補正部と、上記第１信号と上記補正部で補正された上記第２信号とを用いて、上記第１撮像領域で撮像された被写体を検出する検出部と、を備える撮像装置。
（１３）被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、上記第１撮像領域の撮像条件を、上記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、上記第１撮像領域の撮像条件と上記第２撮像領域の撮像条件とに基づいて上記第２撮像領域から出力された上記第２信号を補正する補正部と、上記第１信号と上記補正部で補正された上記第２信号とを用いて、上記第１撮像領域で撮像された被写体を検出する検出部と、を備える撮像装置。
（１４）（１３）のような撮像装置において、上記検出部は、上記第１信号と上記補正部で補正された上記第２信号とから抽出された特徴を用いて、上記第１撮像領域で撮像された被写体を検出する。
（１５）（１３）のような撮像装置において、上記検出部は、検出する被写体を表す画像と、上記第１信号および上記補正部で補正された上記第２信号とに基づいて上記第１撮像領域で撮像された被写体の検出を行う。
（１６）（１３）のような撮像装置において、上記検出部は、検出する被写体を表す画像と、上記第１信号および上記補正部で補正された上記第２信号との比較に基づいて上記第１撮像領域で撮像された被写体の検出を行う。
（１７）（１３）〜（１６）のような撮像装置において、上記補正部は、上記第１撮像領域から出力された上記第１信号の補間に用いるための補正として、上記第２撮像領域から出力された上記第２信号に対して、上記第１撮像領域の撮像条件と上記第２撮像領域の撮像条件との相違に基づいて補正を行う。
（１８）（１７）のような撮像装置において、上記第１撮像領域の撮像条件と上記第２撮像領域の撮像条件とは、露出条件であり、上記補正部は、上記第２撮像領域から出力された上記第２信号に対して、上記第１撮像領域の露出条件と上記第２撮像領域の露出条件との相違に基づいて補正を行う。
（１９）（１８）のような撮像装置において、上記第１撮像領域の露出条件と上記第２撮像領域の露出条件とは、撮像領域の受光部の電荷蓄積時間であり、上記補正部は、上記第２撮像領域から出力された上記第２信号に対して、上記第１撮像領域の電荷蓄積時間と上記第２撮像領域の電荷蓄積時間との比に基づいて補正を行う。
（２０）（１８）のような撮像装置において、上記第１撮像領域の露出条件と上記第２撮像領域の露出条件とは、撮像領域の撮像感度であり、上記補正部は、上記第２撮像領域から出力された上記第２信号に対して、上記第１撮像領域の撮像感度と上記第２撮像領域の撮像感度との対数比に基づいて補正を行う。
（２１）被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、上記第１撮像領域の撮像条件を、上記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、上記第１撮像領域の撮像条件に基づいて上記第１撮像領域から出力された上記第１信号を補正し、上記第２撮像領域の撮像条件に基づいて上記第２撮像領域から出力された上記第２信号を補正する補正部と、上記補正部で補正された上記第１信号と上記補正部で補正された上記第２信号により補正された上記第１信号を出力する画素を補間した信号を用いて上記第１撮像領域で撮像された被写体を検出する検出部と、を備える被写体検出装置。
（２２）被写体を撮像して第１信号を出力する撮像素子の第１撮像領域の撮像条件を、被写体を撮像して第２信号を出力する上記撮像素子の第２撮像領域の撮像条件とは異なる撮像条件に設定され、上記第２撮像領域から出力された第２信号に対して、上記第１撮像領域から出力された上記第１信号の補間に用いるための補正を行う補正部と、上記補正部で補正された上記第２信号により上記第１信号を補間した信号を用いて、上記第１撮像領域で撮像された被写体を検出する検出部と、を備える被写体検出装置。
（２３）被写体を撮像して第１信号を出力する撮像素子の第１撮像領域の撮像条件を、被写体を撮像して第２信号を出力する上記撮像素子の第２撮像領域の撮像条件とは異なる撮像条件に設定され、上記第２撮像領域から出力された第２信号に対して、上記第１撮像領域から出力された上記第１信号に含まれるノイズを低減するための補正を行う補正部と、上記補正部で補正された上記第２信号により上記第１信号に含まれるノイズを低減した信号を用いて、上記第１撮像領域で撮像された被写体を検出する検出部と、を備える被写体検出装置。
（２４）入射した被写体からの光を第１撮像条件で撮像して第１画像データを生成する第１領域と、上記入射した被写体からの光を上記第１撮像条件とは異なる第２撮像条件で撮像して第２画像データを生成する第２領域と、を有する撮像部と、上記撮像部で生成された上記第１画像データを、上記第２撮像条件に基づいて補正する補正部と、上記補正部で補正された上記第１画像データと、上記撮像部で生成された上記第２画像データとから上記被写体を検出する検出部と、を備える撮像装置。
（２５）撮像部の第１領域に入射した被写体からの光を第１撮像条件で撮像することにより生成された第１画像データを、上記撮像部の第２領域に入射した上記被写体からの光を撮像する第２撮像条件に基づいて補正する補正部と、上記補正部で補正された上記第１画像データと、上記第２領域に入射した上記被写体からの光を撮像して生成された第２画像データとから上記被写体を検出する検出部と、を備える被写体検出装置。

また、上述した実施の形態および変形例は、以下のような撮像装置および被写体検出装置も含む。
（１）入射した被写体からの光を第１撮像条件で撮像して第１画像データを生成する第１領域と、上記入射した被写体からの光を上記第１撮像条件とは異なる第２撮像条件で撮像して第２画像データを生成する第２領域と、を有する撮像部と、上記撮像部で生成された上記第１画像データを、上記第２撮像条件に基づいて補正する補正部と、上記補正部で補正された上記第１画像データと、上記撮像部で生成された上記第２画像データとから上記被写体を検出する検出部と、を備える撮像装置。
（２）（１）のような撮像装置において、上記補正部は、上記撮像部で生成された上記第１画像データを、上記第１画像データの値と上記第２画像データの値との差が小さくなるように補正する。
（３）（１）または（２）のような撮像装置において、上記補正部は、上記撮像部で生成された上記第１画像データを、上記第１撮像条件および上記第２撮像条件の相違に基づいて補正する。
（４）（１）から（３）のような撮像装置において、上記補正部は、上記撮像部で生成された上記第２画像データを、上記第１撮像条件に基づいて補正し、上記検出部は、上記補正部で補正された上記第１画像データと、上記補正部で補正された上記第２画像データとから上記被写体を検出する。
（５）（１）から（４）のような撮像装置において、上記検出部は、光学系の焦点調節の対象として上記被写体を検出する。
（６）（１）から（５）のような撮像装置において、上記被写体の明るさを検出する測光部を備え、上記検出部は、上記測光部による測光の対象として上記被写体を検出する。
（７）（１）から（６）のような撮像装置において、上記検出部は、上記撮像部の一部の領域について上記被写体を検出し、上記第１領域および上記第２領域は、上記一部の領域に含まれている。
（８）（１）から（７）のような撮像装置において、上記補正部は、上記撮像部で上記第１領域に入射した上記被写体からの光を第１蓄積時間で撮像することにより生成された上記第１画像データを、上記第２領域に入射した上記被写体からの光を撮像する電荷蓄積時間である第２蓄積時間に基づいて補正する。
（９）（８）のような撮像装置において、上記補正部は、上記第１領域に入射した上記被写体からの光を第１蓄積時間で撮像することにより生成された上記第１画像データを、上記第２領域に入射した上記被写体からの光を第２蓄積時間で撮像することにより生成された上記第２画像データとの差が小さくなるように補正する。
（１０）（１）から（９）のような撮像装置において、上記補正部は、上記第１領域に入射した上記被写体からの光を第１撮像感度で撮像することにより生成された上記第１画像データを、上記第２領域に入射した上記被写体からの光を撮像する撮像感度である第２撮像感度に基づいて補正する。
（１１）（１０）のような撮像装置において、上記補正部は、上記撮像部で上記第１領域に入射した上記被写体からの光を第１撮像感度で撮像することにより生成された上記第１画像データを、上記撮像部で上記第２領域に入射した上記被写体からの光を第２撮像感度で撮像することにより生成された上記第２画像データとの差が小さくなるように補正する。
（１２）撮像部の第１領域に入射した被写体からの光を第１撮像条件で撮像することにより生成された第１画像データを、上記撮像部の第２領域に入射した上記被写体からの光を撮像する第２撮像条件に基づいて補正する補正部と、上記補正部で補正された上記第１画像データと、上記第２領域に入射した上記被写体からの光を撮像して生成された第２画像データとから上記被写体を検出する検出部と、を備える被写体検出装置。
（１３）（１２）のような被写体検出装置において、上記補正部は、上記第１画像データを、上記第１画像データの値と上記第２画像データの値との差が小さくなるように補正する。
（１４）（１２）または（１３）のような被写体検出装置において、上記補正部は、上記第１画像データを、上記第１撮像条件および上記第２撮像条件の相違に基づいて補正する。
（１５）（１２）から（１４）のような被写体検出装置において、上記補正部は、上記第２画像データを、上記第１撮像条件に基づいて補正し、上記検出部は、上記補正部で補正された上記第１画像データと、上記補正部で補正された上記第２画像データとに基づいて上記被写体を検出する。
（１６）（１２）から（１５）のような被写体検出装置において、上記検出部は、光学系の焦点調節の対象として上記被写体を検出する。
（１７）（１２）から（１６）のような被写体検出装置において、上記被写体の明るさを検出する測光部を備え、上記検出部は、上記測光部による測光の対象として上記被写体を検出する。
（１８）（１２）から（１７）のような被写体検出装置において、上記検出部は、上記撮像部の一部の領域について上記被写体を検出し、上記第１領域および上記第２領域は、上記一部の領域に含まれている。
（１９）（１２）から（１８）のような被写体検出装置において、上記補正部は、上記第１領域に入射した上記被写体からの光を第１蓄積時間で撮像することにより生成された上記第１画像データを、上記第２領域に入射した上記被写体からの光を撮像する電荷蓄積時間である第２蓄積時間に基づいて補正する。
（２０）（１９）のような被写体検出装置において、上記補正部は、上記第１領域に入射した上記被写体からの光を第１蓄積時間で撮像することにより生成された上記第１画像データを、上記第２領域に入射した上記被写体からの光を第２蓄積時間で撮像することにより生成された上記第２画像データとの差が小さくなるように補正する。
（２１）（１２）から（２０）のような被写体検出装置において、上記補正部は、上記第１領域に入射した上記被写体からの光を第１撮像感度で撮像することにより生成された上記第１画像データを、上記第２領域に入射した上記被写体からの光を撮像する撮像感度である第２撮像感度に基づいて補正する。
（２２）（２１）のような被写体検出装置において、上記補正部は、上記第１領域に入射した上記被写体からの光を第１撮像感度で撮像することにより生成された上記第１画像データを、上記第２領域に入射した上記被写体からの光を第２撮像感度で撮像することにより生成された上記第２画像データとの差が小さくなるように補正する。
（２３）（１）から（１１）のような撮像装置において、上記補正部は、上記第１領域に入射した上記被写体からの光を上記第１撮像条件で撮像して生成された上記第１画像データを補正する第１の補正部と、上記第２領域に入射した上記被写体からの光を上記第２撮像条件で撮像して生成された上記第２画像データを補正する第２の補正部とを有し、上記第１の補正部は、上記第１画像データを、上記第２領域の撮像条件に基づいて補正し、上記検出部は、上記第１の補正部で補正された上記第１画像データと、上記第２画像データとから上記被写体を検出する。
（２４）（２３）のような撮像装置において、上記第１の補正部は、上記第１画像データを、上記第１画像データの値と上記第２画像データの値との差が小さくなるように補正する。
（２５）（２３）または（２４）のような撮像装置において、上記第１の補正部は、上記第１画像データを、上記第１撮像条件と上記第２撮像条件との相違に基づいて補正する。
（２６）（２３）から（２５）のような撮像装置において、上記第２の補正部は、上記第２画像データを、上記第１領域の撮像条件に基づいて補正し、上記検出部は、上記第１の補正部で補正された上記第１画像データと、上記第２の補正部で補正された上記第２画像データとから上記被写体を検出する。
（２７）（２３）から（２５）のような撮像装置において、上記第２の補正部は、上記第１画像データにより上記第２画像データを補正し、上記検出部は、上記第１の補正部で補正された上記第１画像データと、上記第２の補正部で補正された上記第２画像データとから上記被写体を検出する。
（２８）（２３）から（２７）のような撮像装置において、上記撮像部は、第１半導体基板に設けられ、上記第１の補正部と上記第２の補正部とは、第２半導体基板に設けられている。
（２９）（２８）のような撮像装置において、上記第１半導体基板と上記第２半導体基板とは積層されている。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１５年第１９４６１３号（２０１５年９月３０日出願）

１，１Ｃ…カメラ
１Ｂ…撮像システム
３２…撮像部
３２ａ、１００…撮像素子
３３…画像処理部
３３ａ，３２１…入力部
３３ｂ，３２２…補正部
３３ｃ，３２３…生成部
３４…制御部
３４ａ…物体検出部
３４ｂ…設定部
３４ｃ…撮像制御部
３４ｄ…ＡＦ演算部
３５…表示部
９０…所定範囲
１００１…撮像装置
１００２…表示装置
Ｐ…注目画素

Claims

被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、
前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、
前記第２撮像領域から出力された第２信号に対して、前記第１撮像領域から出力された前記第１信号の補間に用いるための補正を行う補正部と、
前記補正部で補正された前記第２信号により前記第１信号を補間した信号を用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、
を備える撮像装置。
前記検出部は、前記補正部で補正された前記第２信号により前記第１信号を補間した信号から抽出された特徴を用いて、前記第１撮像領域で撮像された被写体を検出する請求項１記載の撮像装置。
前記補正部は、前記第１撮像領域から出力された前記第１信号の補間に用いるための補正として、前記第２撮像領域から出力された前記第２信号に対して、前記第１撮像領域の撮像条件と前記第２撮像領域の撮像条件とに基づいて補正を行う請求項１または２に記載の撮像装置。
前記補正部は、前記第１撮像領域から出力された前記第１信号の補間に用いるための補正として、前記第２撮像領域から出力された前記第２信号に対して、前記第１撮像領域の撮像条件と前記第２撮像領域の撮像条件との相違に基づいて補正を行う請求項３記載の撮像装置。
前記第１撮像領域の撮像条件と前記第２撮像領域の撮像条件とは、露出条件であり、
前記補正部は、前記第２撮像領域から出力された前記第２信号に対して、前記第１撮像領域の露出条件と前記第２撮像領域の露出条件との相違に基づいて補正を行う請求項４記載の撮像装置。
前記第１撮像領域の露出条件と前記第２撮像領域の露出条件とは、撮像領域の受光部の電荷蓄積時間であり、
前記補正部は、前記第２撮像領域から出力された前記第２信号に対して、前記第１撮像領域の電荷蓄積時間と前記第２撮像領域の電荷蓄積時間との比に基づいて補正を行う請求項５記載の撮像装置。
前記第１撮像領域の露出条件と前記第２撮像領域の露出条件とは、撮像領域の撮像感度であり、
前記補正部は、前記第２撮像領域から出力された前記第２信号に対して、前記第１撮像領域の撮像感度と前記第２撮像領域の撮像感度との対数比に基づいて補正を行う請求項５記載の撮像装置。
前記補正部は、前記第１撮像領域から出力された前記第１信号を補正し、前記第２撮像領域から出力された前記第２信号に対して、前記補正された第１信号の補間に用いるための補正を行い、
前記検出部は、前記補正部で補正された前記第２信号により前記補正された第１信号を補間した信号を用いて前記第１撮像領域で撮像された被写体を検出する
請求項１または２記載の撮像装置。
光学系の合焦位置を調整するレンズを介して被写体を撮像して第１信号を出力する第１撮像領域と、前記レンズを介して被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、
前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、
前記第２撮像領域から出力された第２信号に対して、前記第１撮像領域の前記第１信号を出力する画素の補間に用いるための補正を行う補正部と、
前記補正部で補正された前記第２信号により前記第１信号を出力する画素を補間した信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、
を備える撮像装置。
前記第１撮像領域の前記第１信号を出力する画素は、被写体からの光のうち第１の色の光を光電変換して前記第１信号を出力し、
前記第２撮像領域は、被写体からの光のうち前記第１の色と異なる第２の色の光を光電変換して前記第２信号を出力する請求項９記載の撮像装置。
被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、
前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、
前記第２撮像領域から出力された前記第２信号に対して、前記第１撮像領域から出力された前記第１信号に含まれるノイズを低減するための補正を行う補正部と、
前記補正部で補正された前記第２信号により前記第１信号に含まれるノイズを低減した信号を用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、
を備える撮像装置。
被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、
前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、
前記第１撮像領域の撮像条件または前記第２撮像領域の撮像条件に基づいて前記第２撮像領域から出力された前記第２信号を補正する補正部と、
前記第１信号と前記補正部で補正された前記第２信号とを用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、
を備える撮像装置。
被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、
前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、
前記第１撮像領域の撮像条件と前記第２撮像領域の撮像条件とに基づいて前記第２撮像領域から出力された前記第２信号を補正する補正部と、
前記第１信号と前記補正部で補正された前記第２信号とを用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、
を備える撮像装置。
前記検出部は、前記第１信号と前記補正部で補正された前記第２信号とから抽出された特徴を用いて、前記第１撮像領域で撮像された被写体を検出する請求項１３記載の撮像装置。
前記検出部は、検出する被写体を表す画像と、前記第１信号および前記補正部で補正された前記第２信号とに基づいて前記第１撮像領域で撮像された被写体の検出を行う請求項１３記載の撮像装置。
前記検出部は、検出する被写体を表す画像と、前記第１信号および前記補正部で補正された前記第２信号との比較に基づいて前記第１撮像領域で撮像された被写体の検出を行う請求項１３記載の撮像装置。
前記補正部は、前記第１撮像領域から出力された前記第１信号の補間に用いるための補正として、前記第２撮像領域から出力された前記第２信号に対して、前記第１撮像領域の撮像条件と前記第２撮像領域の撮像条件との相違に基づいて補正を行う請求項１３から１６の何れか一項に記載の撮像装置。
前記第１撮像領域の撮像条件と前記第２撮像領域の撮像条件とは、露出条件であり、
前記補正部は、前記第２撮像領域から出力された前記第２信号に対して、前記第１撮像領域の露出条件と前記第２撮像領域の露出条件との相違に基づいて補正を行う請求項１７記載の撮像装置。
前記第１撮像領域の露出条件と前記第２撮像領域の露出条件とは、撮像領域の受光部の電荷蓄積時間であり、
前記補正部は、前記第２撮像領域から出力された前記第２信号に対して、前記第１撮像領域の電荷蓄積時間と前記第２撮像領域の電荷蓄積時間との比に基づいて補正を行う請求項１８記載の撮像装置。
前記第１撮像領域の露出条件と前記第２撮像領域の露出条件とは、撮像領域の撮像感度であり、
前記補正部は、前記第２撮像領域から出力された前記第２信号に対して、前記第１撮像領域の撮像感度と前記第２撮像領域の撮像感度との対数比に基づいて補正を行う請求項１８記載の撮像装置。
被写体を撮像して第１信号を出力する第１撮像領域と、被写体を撮像して第２信号を出力する第２撮像領域とを有する撮像素子と、
前記第１撮像領域の撮像条件を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、
前記第１撮像領域の撮像条件に基づいて前記第１撮像領域から出力された前記第１信号を補正し、前記第２撮像領域の撮像条件に基づいて前記第２撮像領域から出力された前記第２信号を補正する補正部と、
前記補正部で補正された前記第１信号と前記補正部で補正された前記第２信号により補正された前記第１信号を出力する画素を補間した信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、
を備える撮像装置。
被写体を撮像して第１信号を出力する撮像素子の第１撮像領域の撮像条件を、被写体を撮像して第２信号を出力する前記撮像素子の第２撮像領域の撮像条件とは異なる撮像条件に設定され、前記第２撮像領域から出力された第２信号に対して、前記第１撮像領域から出力された前記第１信号の補間に用いるための補正を行う補正部と、
前記補正部で補正された前記第２信号により前記第１信号を補間した信号を用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、
を備える被写体検出装置。
被写体を撮像して第１信号を出力する撮像素子の第１撮像領域の撮像条件を、被写体を撮像して第２信号を出力する前記撮像素子の第２撮像領域の撮像条件とは異なる撮像条件に設定され、前記第２撮像領域から出力された第２信号に対して、前記第１撮像領域から出力された前記第１信号に含まれるノイズを低減するための補正を行う補正部と、
前記補正部で補正された前記第２信号により前記第１信号に含まれるノイズを低減した信号を用いて、前記第１撮像領域で撮像された被写体を検出する検出部と、
を備える被写体検出装置。
入射した被写体からの光を第１撮像条件で撮像して第１画像データを生成する第１領域と、前記入射した被写体からの光を前記第１撮像条件とは異なる第２撮像条件で撮像して第２画像データを生成する第２領域と、を有する撮像部と、
前記撮像部で生成された前記第１画像データを、前記第２撮像条件に基づいて補正する補正部と、
前記補正部で補正された前記第１画像データと、前記撮像部で生成された前記第２画像データとから前記被写体を検出する検出部と、
を備える撮像装置。
撮像部の第１領域に入射した被写体からの光を第１撮像条件で撮像することにより生成された第１画像データを、前記撮像部の第２領域に入射した前記被写体からの光を撮像する第２撮像条件に基づいて補正する補正部と、
前記補正部で補正された前記第１画像データと、前記第２領域に入射した前記被写体からの光を撮像して生成された第２画像データとから前記被写体を検出する検出部と、
を備える被写体検出装置。