JP6808993B2 - 撮像素子、電子機器、撮像方法、およびプログラム - Google Patents

撮像素子、電子機器、撮像方法、およびプログラム Download PDF

Info

Publication number
JP6808993B2
JP6808993B2 JP2016120933A JP2016120933A JP6808993B2 JP 6808993 B2 JP6808993 B2 JP 6808993B2 JP 2016120933 A JP2016120933 A JP 2016120933A JP 2016120933 A JP2016120933 A JP 2016120933A JP 6808993 B2 JP6808993 B2 JP 6808993B2
Authority
JP
Japan
Prior art keywords
image
region
subject
exposure time
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016120933A
Other languages
English (en)
Other versions
JP2017225084A (ja
Inventor
英範 栗林
英範 栗林
嘉明 宮川
嘉明 宮川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2016120933A priority Critical patent/JP6808993B2/ja
Publication of JP2017225084A publication Critical patent/JP2017225084A/ja
Application granted granted Critical
Publication of JP6808993B2 publication Critical patent/JP6808993B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像素子、電子機器、撮像方法、およびプログラムに関する。
画面の領域ごとに異なる撮像条件を設定可能な撮像装置が知られている（特許文献１参照）。しかしながら、このような撮像装置の特徴を活かせていないという問題があった。
特開２００６−４９３６１号公報
本発明の第１の態様による撮像素子は、面上に複数の画素が配置され、被写体を撮像する撮像素子であって、前記複数の画素のうち、第１露光時間で撮像し、第１画像信号を生成する第１画素領域と、前記複数の画素のうち、前記第１露光時間より長い第２露光時間で撮像し、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域とを備え、前記第２領域は、取得した被写体の動きに関する情報に基づいて設定された前記第２露光時間で撮像を行う。
本発明の第２の態様による撮像素子は、面上に複数の画素が配置され、被写体を撮像する撮像素子であって、前記複数の画素のうち、第１露光時間で撮像し、第１画像信号を生成する第１画素領域と、前記複数の画素のうち、前記第１露光時間より長い第２露光時間で撮像し、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域とを備え、前記第２領域は、さらに前記第２露光時間とは異なる第３露光時間で撮像を行い、前記第２露光時間で撮像され生成された前記第２画像信号と、前記第３露光時間で撮像され生成された第３画像信号とに基づいて、前記第２領域内の露光時間の設定を行う。
本発明の第３の態様による撮像素子は、面上に複数の画素が配置され、被写体を撮像する撮像素子であって、前記複数の画素のうち、第１露光時間で撮像し、第１画像信号を生成する第１画素領域と、前記複数の画素のうち、前記第１露光時間より長い第２露光時間で撮像し、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域と、前記複数の画素のうち、撮像を行い、第３画像信号を生成する第３画素領域とを備え、前記第２領域は、前記第３画像信号に基づく画像によって検出された前記被写体に対して前記第２露光時間が設定される。
本発明の第４の態様による撮像素子は、面上に複数の画素が配置され、被写体を撮像する撮像素子であって、前記複数の画素のうち、第１露光時間で撮像し、第１画像信号を生成する第１画素領域と、前記複数の画素のうち、前記第１露光時間より長い第２露光時間で撮像し、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域とを備え、前記第２領域は、前記第２画像信号に対して、設定された第２ゲインで増幅し、前記第２ゲインは、前記第２露光時間に基づいて設定される。
本発明の第５の態様による撮像素子は、面上に複数の画素が配置され、被写体を撮像する撮像素子であって、前記複数の画素のうち、第１露光時間で撮像し、第１画像信号を生成する第１画素領域と、前記複数の画素のうち、前記第１露光時間より長い第２露光時間で撮像し、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域とを備え、前記第２領域は、制御部による撮像開始の制御に基づいて撮像を行い、前記第２領域は、前記第１画像信号に基づく画像の明るさに基づいて、前記制御部による撮像開始の制御が行われ、撮像を行う。
本発明の第６の態様による電子機器は、第１から第５のいずれかの態様による撮像素子と、前記表示部とを備える。
本発明の第７の態様による撮像方法は、面上に複数の画素が配置され、被写体を撮像する撮像素子の撮像方法であって、前記複数の画素のうち第１画素領域において、第１露光時間で撮像し第１画像信号を生成し、前記複数の画素のうち第２領域において、前記第１露光時間より長い第２露光時間で撮像し前記被写体に関する情報が抽出される第２画像信号を生成し、前記第２露光時間は、取得した被写体の動きに関する情報に基づいて設定する。
本発明の第８の態様によるプログラムは、面上に複数の画素が配置され、被写体を撮像する撮像素子を制御するコンピュータに実行させるプログラムであって、前記複数の画素のうち第１画素領域において、第１露光時間で撮像し第１画像信号を生成させる処理と、前記複数の画素のうち第２領域において、前記第１露光時間より長い第２露光時間で撮像し前記被写体に関する情報が抽出される第２画像信号を生成させる処理とをコンピュータに実行させ、前記第２露光時間は、取得した被写体の動きに関する情報に基づいて設定する。
本発明の第９の態様による撮像素子は、面上に複数の画素が配置され、被写体を撮像する撮像素子であって、前記複数の画素のうち、撮像を行い、第１画像信号を生成する第１画素領域と、前記複数の画素のうち、前記第１画像信号に基づく画像によって検出された前記被写体に対して設定された露光時間で撮像を行い、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域とを備え、前記第１画素領域は、前記第２画像信号よりもゲインを上げた前記第１画像信号を生成する。
本発明の第１０の態様による電子機器は、第９の態様による撮像素子と、他の電子機器と通信を行う通信部と、前記第２画像信号と前記第１画像信号とを前記通信部を介して前記他の電子機器に送信する制御部とをさらに備える。
本発明の第１１の態様による撮像方法は、面上に複数の画素が配置され、被写体を撮像する撮像方法であって、前記複数の画素のうち第１画素領域において、撮像を行い、第１画像信号を生成し、前記複数の画素のうち第２領域において、前記第１画像信号に基づく画像によって検出された前記被写体に対して設定された露光時間で撮像を行い、前記被写体に関する情報が抽出される第２画像信号を生成し、前記第２画像信号よりもゲインを上げた前記第１画像信号を生成させる。
本発明の第１２の態様によるプログラムは、面上に複数の画素が配置され、被写体を撮像する撮像素子を制御するコンピュータに実行させるプログラムであって、前記複数の画素のうち第１画素領域において、撮像を行い、第１画像信号を生成させる処理と、前記複数の画素のうち第２領域において、前記第１画像信号に基づく画像によって検出された前記被写体に対して設定された露光時間で撮像を行い、前記被写体に関する情報が抽出される第２画像信号を生成させる処理とをコンピュータに実行させ、前記第２画像信号よりもゲインを上げた前記第１画像信号を生成させる。
第１の実施の形態によるカメラの構成を例示するブロック図である。 積層型の撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 単位領域における回路を説明する図である。 撮像素子の機能的構成を示すブロック図である。 図６(a)〜図６(c)は、撮像素子の撮像面に設定される第１領域および第２領域の配置を例示する図である。 被写体領域を例示する図である。 図８(a)は、ライブビュー表示用の第１画像を例示する図、図８(b)は、第１画像に比べて第２露光時間を長く設定した第２画像を例示する図である。 領域を抽出する処理の流れを説明するフローチャートである。 撮像条件の設定画面を例示する図である。 領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。 図１２(a)は、短い露光時間で撮像した滝を示す図、図１２(b)は、図１２(a)の場合より長い露光時間で撮像した滝を示す図である。 第１の実施の形態の変形例１の処理の流れを説明するフローチャートである。 第１画像に基づいて取得した動きベクトルを例示する図である。 図１５(a)は、第２画像を例示する図、図１５(b)は、同じ被写体を撮像した第３画像を例示する図である。 第１の実施の形態の変形例５の処理の流れを説明するフローチャートである。 図１７(a)は、第３画像を例示する図であり、図１７(b)は、同じ被写体を撮像した第２画像を例示する図である。 第１の実施の形態の変形例１１の処理の流れを説明するフローチャートである。 第１の実施の形態の変形例１２の処理の詳細を説明するフローチャートである。 図２０(a)は、色差ｃの関数ｆ（ｃ）を例示する図、図２０(b)は、距離ｄの関数ｆ（ｄ）を例示する図である。 第２の実施の形態による監視カメラシステムの全体構成を例示する図である。 第２の実施の形態によるカメラの構成を例示するブロック図である。 監視カメラシステムによる処理手順について説明するフローチャートである。 第２の実施の形態の変形例１に係るカメラの構成を例示するブロック図である。 第２の実施の形態の変形例１に係る監視カメラシステムによる処理手順について説明するフローチャートである。 撮像素子の画素領域の部分拡大図である。 ＲＧＢ表色系の画像を取得するか、赤外画像を取得するかを判断する処理を説明するフローチャートである。 第３の実施の形態による画像処理装置を例示するブロック図である。 画像処理装置でレタッチ処理を行う画像を例示する図である。 プログラムの供給を説明する図である。
−−第１の実施の形態−−
第１の実施の形態による撮像素子、およびこの撮像素子を搭載する電子機器について説明する。図１のデジタルカメラ１（以降、カメラ１と称する）は、電子機器の一例である。カメラ１には、イメージセンサの一例として撮像素子３２ａが搭載される。撮像素子３２ａは、撮像面の領域ごとに異なる条件で撮像を行うことが可能に構成される。カメラ１の画像処理部３３は、撮像条件が異なる領域に対して、それぞれ適切な処理を行う。このようなカメラ１の詳細について、図面を参照して説明する。
＜カメラの説明＞
図１は、カメラ１の構成を例示するブロック図である。図１において、カメラ１は、撮像光学系３１と、撮像部３２と、画像処理部３３と、制御部３４と、表示部３５と、操作部材３６と、記録部３７と、送受信部３８とを有する。
撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、撮像素子３２ａおよび駆動部３２ｂを含み、撮像光学系３１によって結像された被写体の像を光電変換する。撮像部３２は、撮像素子３２ａにおける撮像面の全域において同じ条件で撮像したり、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部３２の詳細については後述する。駆動部３２ｂは、撮像素子３２ａに蓄積制御を行わせるために必要な駆動信号を生成する。駆動部３２ｂに対する電荷蓄積時間、ＩＳＯ感度（ゲイン）、フレームレートなどの撮像指示は、制御部３４から駆動部３２ｂへ送信される。
画像処理部３３には、撮像部３２によって取得された画像データが入力される。画像処理部３３は、上記入力された画像データに対する画像処理を行う。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減（Noise reduction）処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。さらに、画像処理部３３は、表示部３５により表示する画像を生成する。
制御部３４は、例えばＣＰＵによって構成され、カメラ１による全体の動作を制御する。制御部３４は、撮像部３２で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子３２ａの電荷蓄積時間（以下、露光時間と称する）、ＩＳＯ感度、フレームレート、および撮像光学系３１の絞り値等の露出条件を決定する。こうして、決定された露光時間およびＩＳＯ感度は、駆動部３２ｂに入力され、絞り値は、撮像光学系３１に設けられた絞りを駆動する不図示の絞り駆動部に入力される。
また、制御部３４は、カメラ１に設定されている撮像シーンモードや、撮像部３２で取得された光電変換信号から生成された画像に基づいて認識した被写体の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部３３へ指示する。制御部３４は、上記被写体として、例えば、人物（人物の顔）、犬、猫などの動物（動物の顔）、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体など認識することができる。このような認識技術は公知であるので、被写体の認識についての詳細な説明は省略する。
制御部３４には、領域抽出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、ＡＦ演算部３４ｄとが含まれる。これらは、制御部３４が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをＡＳＩＣ等により構成しても構わない。
領域抽出部３４ａは、領域抽出処理を行うことにより、撮像部３２によって取得された画像（後述する検出用の第２画像）に基づいて、被写体が写っている可能性がある領域（以後、被写体とみられる領域と称する）を抽出する。領域抽出部３４ａは、例えば、第２画像の色、エッジ、形状等の特徴量に基づいて領域を抽出する。このような手法は公知であるため、詳細な説明については省略する。
設定部３４ｂは、領域抽出部３４ａによって抽出された複数の領域ごとに、撮像部３２によって取得された画像（後述する第１画像、第２画像、第３画像を含む）を自動で分割する。設定部３４ｂはさらに、上記分割した複数の領域に対応させて、撮像条件を設定する。撮像条件は、上記露出条件（露光時間、ゲイン、ＩＳＯ感度（すなわちゲイン）、フレームレート等）と、上記画像処理条件（例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等）とを含む。なお、撮像条件は、複数の領域の全てに同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。
撮像制御部３４ｃは、設定部３４ｂによって領域ごとに設定された撮像条件を適用して撮像部３２（撮像素子３２ａ）、画像処理部３３を制御する。これにより、撮像素子３２ａに対しては、複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部３３に対しては、複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。領域を構成する画素の数はいくらでもよく、例えば１０００画素でもよいし、１画素でもよい。また、領域間で画素の数が異なっていてもよい。
ＡＦ演算部３４ｄは、撮像画面の所定の位置（焦点検出位置と呼ぶ）において、対応する被写体に対してフォーカスを合わせる自動焦点調節（オートフォーカス：ＡＦ）動作を制御する。ＡＦ演算部３４ｄは、演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力し、この駆動信号に基づき、図示を省略した自動焦点調節部が撮像光学系３１の自動焦点調節動作を行う。ＡＦ演算部３４ｄが自動焦点調節のために行う処理は、焦点検出処理とも呼ばれる。
表示部３５は、画像処理部３３によって生成された画像や画像処理された画像、記録部３７によって読み出された画像などを再生表示する。表示部３５は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。
操作部材３６は、レリーズボタン３６Ｂやメニューボタン等の種々の操作部材によって構成される。操作部材３６は、各操作に対応する操作信号を制御部３４へ送出する。操作部材３６には、表示部３５の表示面に設けられたタッチパネル３６Ａも含まれる。タッチパネル３６Ａは、例えば、ユーザの指がタッチパネル３６Ａに接触したことによる、静電容量の変化やタッチパネル３６Ａへの押圧などを検出することにより、表示面におけるユーザの指が接触した位置を示す信号を制御部３４へ送出する。なお、ここでの例として、ユーザの指で説明したが、足の指や、肘などの指以外の人の部位であってもよい。また、ユーザの指の代わりにスタイラスペン等によって操作されてもよい。また、必ずしも表示面に接触する必要がなく、ユーザの指が表示面に対して所定の距離まで近づいたことに基づいて、表示面におけるユーザの指の位置を示す信号を制御部３４へ送出してもよい。
なお、タッチパネル３６Ａに代えて、撮像素子３２ａとは別に設けられた小型カメラモジュールによって、ユーザの指等の位置を検出する装置であってもよい。このような小型カメラモジュールによって、ユーザの指等の位置を検出し、表示面に対する指の接触を検出してもよい。もちろん、小型カメラモジュールによって、上記したようなユーザによる非接触の操作を検出してもよい。小型カメラモジュールは、例えば、カメラ筐体内に配置され、表示部３５の表示面付近に配置されており、撮像素子３２ａが撮像する方向とは反対側を撮像する。
記録部３７は、制御部３４からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部３７は、制御部３４からの指示に応じて記録媒体に記録されている画像データを読み出す。
送受信部３８は、制御部３４からの指示に応じて、外部機器との間で通信を行う。例えば、外部機器から送信された指示によりカメラ１の設定を変更したり、撮像を開始するなど、カメラ１は外部制御が可能に構成されている。また、カメラ１で取得した画像のデータを外部機器へ送信するなど、カメラ１は監視用途に使用することも可能である。
なお、カメラ１と外部機器との間の通信は、ケーブルを介した有線通信でも電波等による無線通信でもよい。
＜積層型の撮像素子の説明＞
電子機器に搭載される撮像素子３２ａの一例として、積層型の撮像素子１００について説明する。図２は、撮像素子１００の断面図である。撮像素子１００は、撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とを備える。撮像チップ１１１は、信号処理チップ１１２に積層されている。信号処理チップ１１２は、メモリチップ１１３に積層されている。撮像チップ１１１および信号処理チップ１１２、信号処理チップ１１２およびメモリチップ１１３は、それぞれ接続部１０９により電気的に接続されている。接続部１０９は、例えばバンプや電極である。撮像チップ１１１は、被写体からの光像を撮像して画像データを生成する。撮像チップ１１１は、画像データを撮像チップ１１１から信号処理チップ１１２へ出力する。信号処理チップ１１２は、撮像チップ１１１から出力された画像データに対して信号処理を施す。メモリチップ１１３は、複数のメモリを有し、画像データを記憶する。なお、撮像素子１００は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子１００が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子１００とは別に設けていてもよい。
図２に示すように、入射光は、主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ１１１は、例えば、ＣＭＯＳイメージセンサである。撮像チップ１１１は、具体的には、裏面照射型のＣＭＯＳイメージセンサである。撮像チップ１１１は、マイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８を有する。撮像チップ１１１は、Ｚ軸プラス方向に向かってマイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８の順に配置されている。
マイクロレンズ層１０１は、複数のマイクロレンズＬを有する。マイクロレンズＬは、入射した光を後述する光電変換部１０４に集光する。カラーフィルタ層１０２は、分光特性の異なる複数種類のカラーフィルタＦを有する。カラーフィルタ層１０２は、具体的には、主に赤色成分の光を透過させる分光特性の第１フィルタ（Ｒ）と、主に緑色成分の光を透過させる分光特性の第２フィルタ（Ｇｂ、Ｇｒ）と、主に青色成分の光を透過させる分光特性の第３フィルタ（Ｂ）と、を有する。カラーフィルタ層１０２は、例えば、ベイヤー配列により第１フィルタ、第２フィルタおよび第３フィルタが配置されている。パッシベーション層１０３は、窒化膜や酸化膜で構成され、半導体層１０６を保護する。
半導体層１０６は、光電変換部１０４および読出回路１０５を有する。半導体層１０６は、光の入射面である第１面１０６ａと第１面１０６ａの反対側の第２面１０６ｂとの間に複数の光電変換部１０４を有する。半導体層１０６は、光電変換部１０４がＸ軸方向およびＹ軸方向に複数配列されている。光電変換部１０４は、光を電荷に変換する光電変換機能を有する。また、光電変換部１０４は、光電変換信号による電荷を蓄積する。光電変換部１０４は、例えば、フォトダイオードである。半導体層１０６は、光電変換部１０４よりも第２面１０６ｂ側に読出回路１０５を有する。半導体層１０６は、読出回路１０５がＸ軸方向およびＹ軸方向に複数配列されている。読出回路１０５は、複数のトランジスタにより構成され、光電変換部１０４によって光電変換された電荷により生成される画像データを読み出して配線層１０８へ出力する。
配線層１０８は、複数の金属層を有する。金属層は、例えば、Ａｌ配線、Ｃｕ配線等である。配線層１０８は、読出回路１０５により読み出された画像データが出力される。画像データは、接続部１０９を介して配線層１０８から信号処理チップ１１２へ出力される。
なお、接続部１０９は、光電変換部１０４ごとに設けられていてもよい。また、接続部１０９は、複数の光電変換部１０４ごとに設けられていてもよい。接続部１０９が複数の光電変換部１０４ごとに設けられている場合、接続部１０９のピッチは、光電変換部１０４のピッチよりも大きくてもよい。また、接続部１０９は、光電変換部１０４が配置されている領域の周辺領域に設けられていてもよい。
信号処理チップ１１２は、複数の信号処理回路を有する。信号処理回路は、撮像チップ１１１から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路等である。信号処理回路は、光電変換部１０４ごとに設けられていてもよい。
また、信号処理回路は、複数の光電変換部１０４ごとに設けられていてもよい。信号処理チップ１１２は、複数の貫通電極１１０を有する。貫通電極１１０は、例えばシリコン貫通電極である。貫通電極１１０は、信号処理チップ１１２に設けられた回路を互いに接続する。貫通電極１１０は、撮像チップ１１１の周辺領域、メモリチップ１１３にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ１１１に設けてもよい。例えば、アナログ／デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ１１１に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ１１２に設けてもよい。
メモリチップ１１３は、複数の記憶部を有する。記憶部は、信号処理チップ１１２で信号処理が施された画像データを記憶する。記憶部は、例えば、ＤＲＡＭ等の揮発性メモリである。記憶部は、光電変換部１０４ごとに設けられていてもよい。また、記憶部は、複数の光電変換部１０４ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。
図３は、撮像チップ１１１の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１１を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上の画素がマトリックス状に配列されている。図３の例では、隣接する２画素×２画素の４画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×３２画素でもよいし、それ以上でもそれ以下でもよく、１画素であってもよい。
画素領域の部分拡大図に示すように、図３の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタＦとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタＦとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタＦとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施の形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義される。すなわち、１ブロックの最小単位は１つの単位領域１３１となる。上述したように、１つの単位領域１３１を形成する画素の数として取り得る値のうち、最も小さい画素の数は１画素である。したがって、1ブロックを画素単位で定義する場合、１ブロックを定義し得る画素の数のうち最小の画素の数は１画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域１３１、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１１のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１１のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
図４は、単位領域１３１における回路を説明する図である。図４の例では、隣接する２画素×２画素の４画素により一つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、１０００画素以上でもよいし、最小１画素でもよい。単位領域１３１の二次元的な位置を符号Ａ〜Ｄにより示す。
単位領域１３１に含まれる画素のリセットトランジスタ（ＲＳＴ）は、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄに対しても、リセットトランジスタをオンオフするための専用のリセット配線３３０が設けられている。
単位領域１３１に含まれる画素の転送トランジスタ（ＴＸ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄに対しても、転送トランジスタをオンオフするための専用の転送配線３３２が設けられている。
さらに、単位領域１３１に含まれる画素の選択トランジスタ（ＳＥＬ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄに対しても、選択トランジスタをオンオフするための専用の選択配線３３６が設けられている。
なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１１側に設けられてもよいし、信号処理チップ１１２側に設けられてもよい。
単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｄに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｄの光電変換信号を、それぞれ対応する増幅トランジスタ（ＡＭＰ）を介して、共通の出力配線３０８から出力することができる。
ここで、単位領域１３１に含まれる画素Ａから画素Ｄについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図４の例では「ＡＢＣＤ」の順序で光電変換信号が出力される。
このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに露光時間を制御することができる。換言すると、単位領域１３１間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ１１１において一部のブロックに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のブロックに含まれる単位領域１３１を休ませることにより、撮像チップ１１１の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるブロック（蓄積制御の対象ブロック）を切り替えて、撮像チップ１１１の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。
図５は、図４に例示した回路に対応する撮像素子１００の機能的構成を示すブロック図である。マルチプレクサ４１１は、単位領域１３１を形成する４個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位領域１３１に対応して設けられた出力配線３０８へ出力させる。マルチプレクサ４１１は、ＰＤ１０４とともに、撮像チップ１１１に形成される。
マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１２に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１３に形成される。
メモリチップ１１３に形成された演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１２に設けられてもよい。なお、図５では１つの単位領域１３１の分の接続を示すが、実際にはこれらが単位領域１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位領域１３１ごとに存在しなくてもよく、例えば、一つの演算回路４１５がそれぞれの単位領域１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。
また、演算回路４１５は、後段の制御部、画像処理部等の機能を含めた構成としてもよい。
上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１１、信号処理チップ１１２およびメモリチップ１１３を積層しているので、これら出力配線３０８に接続部１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
＜撮像素子のブロック制御＞
本実施の形態では、撮像素子３２ａにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部３４（撮像制御部３４ｃ）は、上記複数の領域を上記ブロックに対応させて、ブロックごとに設定された撮像条件で撮像を行わせる。
ブロックを構成する画素の数はいくらでもよく、例えば１０００画素でもよいし、１画素でもよい。
カメラ１は、撮像指示が行われる前に、被写体像を光電変換してライブビュー画像を取得する。ライブビュー画像は、所定のフレームレート（例えば６０ｆｐｓ）で繰り返し撮像するモニタ用画像のことをいう。図６(a)は、ライブビュー画像を取得する際に撮像素子３２ａの撮像面に設定される第１領域Ｂ１および第２領域Ｂ２の配置を例示する図である。図６(a)によれば、第１領域Ｂ１は、奇数のブロックの列における偶数のブロックの行のブロックと、偶数のブロックの列における奇数のブロックの行のブロックとによって構成される。すなわち、撮像面は、第１領域Ｂ１の複数のブロックＢ１と、第２領域Ｂ２の複数のブロックとによって分割されている。また、第２領域Ｂ２は、偶数のブロックの列における偶数のブロックの行のブロックと、奇数のブロックの列における奇数のブロックの行のブロックとによって構成される。すなわち、撮像面が第１領域Ｂ１に属する複数のブロックＢ１と第２領域Ｂ２に属する複数のブロックとによって市松模様状に分割されている。
本実施の形態では、１フレームの撮像を行った撮像素子３２ａから読み出した光電変換信号によって、第１領域Ｂ１から読み出した光電変換信号に基づく第１画像と、第２領域Ｂ２から読み出した光電変換信号に基づく第２画像とをそれぞれ生成する。図６(a)によると、第１画像および第２画像は同じ画角で撮像され、共通の被写体の像を含む。第１画像の取得と第２画像の取得は、並行して行うことができる。
なお、第１領域Ｂ１および第２領域Ｂ２を市松模様状に分割する代わりに、図６(b)または図６(c)のように分割してもよい。図６(b)の例によれば、第１領域Ｂ１は偶数のブロックＢ１の列によって構成され、第２領域Ｂ２は奇数のブロックの列によって構成される。すなわち、撮像面が偶数のブロックＢ１の列と奇数のブロックの列とに分割されている。図６(c)の例によれば、第１領域Ｂ１は奇数のブロックＢ１の行によって構成され、第２領域Ｂ２は偶数のブロックの行によって構成される。すなわち、撮像面が奇数のブロックＢ１の行と偶数のブロックの行とに分割されている。
図６(b)、図６(c)のいずれの場合も、１フレームの撮像を行った撮像素子３２ａから読み出した光電変換信号によって、第１領域Ｂ１から読み出した光電変換信号に基づく第１画像と、第２領域Ｂ２から読み出した光電変換信号に基づく第２画像とをそれぞれ生成する。
本実施の形態において、制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。例えば、制御部３４は、第１画像をライブビュー画像として表示部３５に表示させる。また、制御部３４は、第２画像を用いて領域抽出部３４ａにより領域抽出処理を行い、第２画像を用いてＡＦ演算部３４により焦点検出処理を行い、第２画像を用いて設定部３４ｂにより露出演算処理を行う。本実施の形態では、領域抽出、焦点検出、および露出演算に用いる第２画像を検出用の画像と称する。
なお、第１画像を表示用以外の用途として、例えば焦点検出等に用いてもよい。また、第１画像をライブビュー画像として表示部３５に表示させる代わりに、カメラ１の外部にあるモニタに、カメラ１から第１画像を送信し、外部のモニタに第１画像を表示させてもよい。このようにすることで、外部のモニタでカメラ１で撮像された画像がリアルタイムで表示されるようになる。
また、本実施の形態において、表示用に第１画像を撮像する第１領域Ｂ１に設定する撮像条件を第１撮像条件と呼び、検出用に第２画像を撮像する第２領域Ｂ２に設定する撮像条件を第２撮像条件と呼ぶこととする。制御部３４は、第１撮像条件と第２撮像条件とを同じにすることも、異ならせることもできる。
一例として、制御部３４は、第１領域Ｂ１に設定する第１撮像条件を、表示部３５によるライブビュー表示に適した条件に設定する。また、第１撮像条件を撮像画面の第１領域Ｂ１の全体で一様に同じにする。一方、制御部３４は、第２領域Ｂ２に設定する第２撮像条件を、上記検出等に適した条件に設定する。第２撮像条件は、撮像画面の第２領域Ｂ２の全体で一様に同じにしてもよいし、領域ごとに異なる設定にしてもよい。
なお、領域抽出処理、焦点検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、制御部３４は、第２領域Ｂ２に設定する第２撮像条件をフレームごとに異ならせてもよい。例えば、１フレーム目の第２撮像条件を領域抽出処理に適した条件とし、２フレーム目の第２撮像条件を焦点検出処理に適した条件とし、３フレーム目の第２撮像条件を露出演算処理に適した条件とする。これらの場合において、各フレームにおける第２撮像条件を撮像画面の第２領域Ｂ２の全体で一様に同じにしてもよいし、領域ごとに異なる設定にしてもよい。
図６(a)〜図６(c)において、第１領域Ｂ１と第２領域Ｂ２との面積比を異ならせてもよい。制御部３４は、例えば、ユーザによる操作または制御部３４の判断に基づき、第１領域Ｂ１の比率を第２領域Ｂ２よりも高く設定したり、第１領域Ｂ１と第２領域Ｂ２の比率を図６(a)〜図６(c)に例示したように同等に設定したり、第１領域Ｂ１の比率を第２領域Ｂ２よりも低く設定したりする。第１領域Ｂ１と第２領域Ｂ２とで面積比を異ならせることにより、第１画像を第２画像に比べて高精細にしたり、第１画像および第２画像の解像度を同等にしたり、第２画像を第１画像に比べて高精細にしたりすることができる。
＜被写体の例示＞
図７は、カメラ１による撮像画面における被写体領域を例示する図である。図７において、被写体領域には、人物６１と、自動車６２と、バッグ６３と、山６４と、雲６５、雲６６とが含まれている。人物６１は、バッグ６３を両手で抱えている。人物６１の右後方に、自動車６２が止まっている。第１領域Ｂ１と第２領域Ｂ２とを例えば、図６(a)、図６(b)または図６(c)のように定めると、第１領域Ｂ１による第１画像は、図７に示したようなライブビュー表示用の画像となり、第２領域Ｂ２による第２画像も、図７に示したような検出用の画像となる。
撮像素子３２ａの複数のブロックに異なる撮像条件を設定する場合、被写体領域に対応するブロックごとに撮像条件を設定することが想定される。例えば、人物６１の領域に含まれるブロックと、自動車６２に含まれるブロックと、バッグ６３に含まれるブロックと、山６４に含まれるブロックと、雲６５に含まれるブロックと、雲６６に含まれるブロックとに対し、それぞれ撮像条件を設定する。このためには、被写体を適切な露出条件で撮像し、白とびや黒つぶれがない画像が得られていることが必要である。白とびや黒つぶれがある画像では、例えば個々の被写体領域の輪郭（エッジ）が現れず、被写体を認識することが困難になるからである。
＜第２領域Ｂ２に設定する撮像条件＞
そこで、本実施の形態では、撮像素子３２ａの第２領域Ｂ２に対し、検出用の第２画像を取得するための第２撮像条件を適切に設定することにより、領域抽出処理、焦点検出処理、および露出演算処理を適切に行うことを可能にする。本実施の形態では、第２撮像条件を以下のように設定する。
図８(a)は、ライブビュー表示用の第１画像を例示する図である。光量が不足する環境の場合、画面内のエッジや色差等が抽出しづらくなり、被写体の領域を抽出しづらくなる。図８(b)は、第１画像よりも明るい第２画像を例示する図である。第２画像を明るくすると、画像内が暗い場合と比較し、画面内のエッジや色差等が抽出しやすくなり、領域抽出や被写体認識の精度の向上を期待できる。制御部３４は、例えば、検出用の第２画像を得るための第２撮像条件の第２露光時間を、ライブビュー表示用の第１画像を得るための第１撮像条件の第１露光時間に比べて長くする。ライブビュー表示用の第１画像の第１露光時間に比べて長い第２露光時間を検出用の第２画像に設定するため（ただし、以下に記載するように過度の露出を避けた露出設定にしてもよい）、ライブビュー表示用の第１画像が暗く撮像されているとしても、領域抽出部３４ａが、明るい第２画像に基づいて、正確に領域抽出を行うことが可能になる。
被写体とみられる領域の抽出を正確に行うことができると、被写体ごとに分割した被写体領域に対する撮像条件の変更を適切に行うことが可能になる。
なお、上述した例は、ライブビュー表示用の第１画像を撮像する場合であるが、ライブビュー表示しながら動画撮像する場合も含む。すなわち、ライブビュー表示している画像を動画像として記憶する場合も含む概念である。
さらに、制御部３４は、領域抽出部３４ａによって正確に抽出された領域を対象に被写体の認識を行うことにより、制御部３４による被写体認識の精度を高めることにも役立つ。
ライブビュー表示用の第１画像に比べて明るい第２画像を撮像する方法として、第２露光時間を長くする以外にゲインを増幅する方法も考えられる。しかしながら、第２露光時間を長くする方がゲインを増幅させる場合よりもノイズの発生を抑制できる場合がある。そのため、本実施の形態では、ライブビュー表示用の第１画像に比べて第２露光時間を長く設定して明るい第２画像を得る。これにより、ゲインを増幅させる場合よりもノイズが少ない第２画像に基づき、領域抽出や被写体認識を行うことができる。ノイズが少ないことは、領域抽出や被写体認識の精度を高めることにも役立つ。
ただし、第２画像を撮像する方法として、第２露光時間を長くする代わりに第２画像用のゲインを増幅し、明るい画像を撮像する方法であってもよい。
（熱雑音について）
第２露光時間を長くすることで、撮像部３２の発熱による熱雑音（暗電流に起因する）が大きくなるとも考えられる。しかしながら、第２露光時間を長くしても撮像部３２による熱の発生を抑える制御を行うとともに、発生した熱を効率よく逃がして温度上昇を抑えることによって熱雑音を抑制することができる。例えば、ヒートシンクを用いて撮像部３２の熱を放熱する。これにより、第２露光時間を長くした場合に生じるノイズを、第２画像用のゲインを増幅させた場合の増幅後のノイズよりも小さくすることができる。このように、ライブビュー表示用の第１画像の第１露光時間に比べて長い第２露光時間を設定することで、ノイズが発生しづらい第２画像を得ることができる。
＜領域を抽出する処理の説明＞
図９は、領域を抽出する処理の流れを説明するフローチャートである。例えば、カメラ１のメインスイッチがオン操作されると、制御部３４は、図９に示す処理を実行するプログラムを起動させる。ステップＳ１において、制御部３４は、撮像素子３２ａに第１領域Ｂ１および第２領域Ｂ２（例えば図６(a)）をセットしてステップＳ３へ進む。上述したように、第１領域Ｂ１は、ライブビュー表示用の第１画像を撮像する領域である。第２領域Ｂ２は、検出用の第２画像を撮像する領域である。
ステップＳ３において、制御部３４は、撮像素子３２ａの第１領域Ｂ１にライブビュー表示用の第１露光時間を設定してステップＳ５へ進む。ステップＳ５において、制御部３４は、撮像素子３２ａの第２領域Ｂ２に第１領域Ｂ１の第１露光時間よりも長い第２露光時間を設定してステップＳ７へ進む。
ステップＳ７において、制御部３４は、撮像素子３２ａの第２領域Ｂ２で第２画像の撮像を行わせ、撮像素子３２ａの第２領域Ｂ２から読み出した光電変換信号に基づく第２画像の生成を開始させてステップＳ９へ進む。
ステップＳ９において、制御部３４は、領域抽出部３４ａにより、第２画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域（例えば、図７に示した被写体領域６１〜６６）を抽出し、図９による処理を終了する。
＜領域ごとの撮像条件の設定＞
設定部３４ｂは、領域抽出部３４ａによって抽出された被写体に基づいて、撮像部３２で取得された画像を分割する。図７の例では、例えば人物６１の領域と、自動車６２の領域と、バッグ６３の領域と、山６４の領域と、雲６５の領域と、雲６６の領域と、その他の領域とに分割される。制御部３４は、領域抽出部３４ａによって領域抽出処理が行われ、設定部３４ｂによって画像（例えば第１画像）が自動で分割されると、図１０に例示するような設定画面を表示部３５に表示させる。図１０において、第１画像に基づくライブビュー画像６０ａが表示部３５に表示され、ライブビュー画像６０ａの右側に撮像条件の設定画面７０が表示される。
設定画面７０には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード（ＴＶ）、ゲイン（ＩＳＯ感度）が挙げられている。フレームレートは、１秒間に取得するライブビュー画像やカメラ１により録画される動画像のフレーム数である。シャッタースピードは露光時間に対応する。ゲインはＩＳＯ感度に対応する。撮像条件の設定項目は、図１０に例示した他にも適宜加えて構わない。全ての設定項目が設定画面７０の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。
本実施の形態において、制御部３４は、設定部３４ｂによって分割された領域のうち、ユーザ操作によって選択された領域を撮像条件の設定（変更）の対象にすることができる。例えば、タッチ操作が可能なカメラ１において、ユーザは、ライブビュー画像６０ａが表示されている表示部３５の表示面上で、撮像条件を設定（変更）したい被写体の表示位置をタッチ操作する。制御部３４は、例えば人物６１の表示位置がタッチ操作された場合に、ライブビュー画像６０ａにおいて人物６１に対応する領域を撮像条件の設定（変更）対象領域にするとともに、人物６１に対応する領域の輪郭を強調して表示させる。
図１０において、輪郭を強調して表示する領域は、撮像条件の設定（変更）の対象となる領域を示す。強調した表示とは、例えば、太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等である。図１０の例では、人物６１に対応する領域の輪郭を強調したライブビュー画像６０ａが表示されているものとする。この場合は、強調表示されている領域が、撮像条件の設定（変更）の対象である。例えば、タッチ操作が可能なカメラ１において、ユーザによってシャッタースピード（ＴＶ）の表示７１がタッチ操作されると、制御部３４は、強調して表示されている領域（人物６１）に対するシャッタースピードの現設定値を画面内に表示させる（符号６８）。
以降の説明では、タッチ操作を前提としてカメラ１の説明を行うが、操作部材３６を構成するボタン等の操作により、撮像条件の設定（変更）を行うようにしてもよい。
また、タッチパネル３６Ａは、非接触操作を検出して撮像条件の設定（変更）を行うようにしてもよい。制御部３４は、例えば、ユーザの視線位置を検出し、ユーザが注視している領域を検出する。視線検出には、例えば赤外光をユーザの角膜で反射させて視線方向を検出する角膜反射法や、ユーザの眼球の映像をカメラで撮像して画像処理により視線を検出する画像解析法などがあり、いずれの視線検出方法を用いてもよい。なお、タッチパネル３６Ａに代えて、先に説明した、小型カメラモジュールを用いて、非接触操作を検出してもよい。この場合、小型カメラモジュールでユーザの指の位置を検出し、ユーザの指の位置が表示部３５の表示面上のどこに位置するか決定する。制御部３４は、ユーザの指先の延長上に位置する表示部３５の表示面上の位置にある被写体を操作しているみなし、その被写体の撮像条件の設定を行う。
シャッタースピード（ＴＶ）の上アイコン７１ａまたは下アイコン７１ｂがユーザによってタッチ操作されると、設定部３４ｂは、シャッタースピードの表示６８を現設定値から上記タッチ操作に応じて増減させるとともに、強調して表示されている領域（人物６１）に対応する撮像素子３２ａの単位領域１３１（図３）の撮像条件を、上記タッチ操作に応じて変更するように撮像部３２（図１）へ指示を送る。決定アイコン７２は、設定された撮像条件を確定させるための操作アイコンである。設定部３４ｂは、フレームレートやゲイン（ＩＳＯ）の設定（変更）についても、シャッタースピード（ＴＶ）の設定（変更）の場合と同様に行う。
なお、設定部３４ｂは、ユーザの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部３４ｂは、ユーザの操作に基づかずに、制御部３４の判断により撮像条件を設定するようにしてもよい。例えば、画像における最大輝度または最小輝度である被写体を含む領域において、白とびまたは黒つぶれが生じている場合、設定部３４ｂは、制御部３４の判断により、白とびまたは黒つぶれを解消するように撮像条件を設定するようにしてもよい。
強調表示されていない領域（人物６１以外の他の領域）については、設定されている撮像条件が維持される。
制御部３４は、撮像条件の設定（変更）の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部３４は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部３４は、撮像条件の設定（変更）の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。
以上説明したように、領域ごとの撮像条件が設定された後に、操作部材３６を構成するレリーズボタン３６Ｂ、または撮像開始を指示する表示（例えば図１０のレリーズアイコン７４）が操作されると、制御部３４が撮像部３２を制御することにより、撮像素子３２ａの第１領域Ｂ１および第２領域Ｂ２の設定を解除して、撮像面の画素領域の全画素を用いて撮像を行わせる（本撮像）。本撮像時の撮像条件は、上記の分割された領域ごと（人物６１、自動車６２、バッグ６３、山６４、雲６５、雲６６）に異なる撮像条件を適用することもできる。そして、画像処理部３３は、撮像部３２によって取得された画像データに対して画像処理を行う。画像処理は、上記の領域ごとに異なる画像処理条件で行うこともできる。
なお、レリーズボタン３６Ｂまたはレリーズアイコン７４が操作された場合に、撮像面の画素領域の全画素を用いて撮像を行わせる本撮像以外の撮像を行ってもよい。本撮像以外の撮像として、例えば撮像素子３２ａの第１領域Ｂ１のみで撮像を行ったり、撮像素子３２ａの第２領域Ｂ２のみで撮像を行ったりしてよい。
上記画像処理部３３による画像処理の後、制御部３４から指示を受けた記録部３７が、画像処理後の画像データを不図示のメモリカードなどで構成される記録媒体に記録する。これにより、一連の撮像処理が終了する。
（検出用の第２画像の記憶について）
検出用の第２画像については、記録部３７によって記録媒体に記録してもよい。静止画を撮像する場合には、本撮像した画像に対して、検出用に撮像した第２画像（例えば、本撮像の前に撮像した複数枚の第２画像）の全てを関連づけて記録してもよいし、本撮像を行った画像の前に撮像した第２画像のみを関連づけて記録してもよい。
なお、第２画像をそのまま記録すると、記録媒体の使用容量が大きくなる場合があるため、第２画像そのものではなく、主要な被写体とみられる領域を示す情報のみを本撮像した画像に関連づけて記録してもよい。例えば、図７における人物６１の位置を示す座標と、自動車６２の位置を示す座標を、本撮像した画像に関連付けて記録する。
動画像を撮像する場合も同様に、動画像に関連付けて第２画像、または第２画像における主要な被写体の位置を示す情報を記録してもよい。
＜カメラで撮像する処理の説明＞
図１１は、領域ごとに撮像条件を設定して撮像するカメラ１の処理の流れを説明するフローチャートである。カメラ１のメインスイッチがオン操作されると、制御部３４は、図１１に示す処理を実行するプログラムを起動させる。ステップＳ３１０において、制御部３４は、撮像素子３２ａに第１領域Ｂ１および第２領域Ｂ２（例えば図６(a)）をセットしてステップＳ３２０へ進む。上述したように、第１領域Ｂ１はライブビュー表示用の第１画像を撮像する領域であり、第２領域Ｂ２は検出用の第２画像を撮像する領域である。
ステップＳ３２０において、制御部３４は、表示部３５にライブビュー表示を開始させるとともに、第２画像に基づいて被写体とみられる領域を抽出する処理を行ってステップＳ３３０へ進む。制御部３４は、例えば図９の処理により、第２画像に基づいて領域を抽出する。
なお、領域の抽出は、図９による処理に代えて、後述する第１の実施の形態の変形例１〜変形例１１のいずれかの処理を行ってもよい。
ステップＳ３３０において、ライブビュー表示中にＡＦ動作を行う設定がなされている場合、制御部３４（ＡＦ演算部３４ｄ）は、焦点検出処理を行うことにより、所定の焦点検出位置に対応する被写体にフォーカスを合わせるＡＦ動作を制御する。また、ライブビュー表示中にＡＦ動作を行う設定がなされていない場合、制御部３４（ＡＦ演算部３４ｄ）は、後にＡＦ動作が指示された時点でＡＦ動作を行う。
ステップＳ３４０において、制御部３４は、表示部３５に領域の表示を行う。制御部３４は、図１０に例示したように、ライブビュー画像６０のうち撮像条件の設定（変更）の対象となる領域を強調表示させる。制御部３４は、強調表示する領域を、ユーザによるタッチ操作位置に基づいて決定する。また、制御部３４は、撮像条件の設定画面７０を表示部３５に表示させてステップＳ３５０へ進む。
なお、制御部３４は、ユーザの指で表示画面上の他の被写体の表示位置がタッチ操作された場合は、その被写体を含む領域を撮像条件の設定（変更）の対象となる領域に変更して強調表示させる。
ステップＳ３５０において、制御部３４は、分割した領域に対する変更が必要か否かを判定する。制御部３４は、ユーザ操作によって変更が指示された（例えば、タッチ操作が可能なカメラ１において、表示部３５に表示されている領域変更ボタン７３がタッチ操作された）場合に、ステップＳ３５０を肯定判定してステップＳ３７０へ進む。制御部３４は、ユーザ操作によって変更が指示されない場合には、ステップＳ３５０を否定判定してステップＳ３６０へ進む。
ステップＳ３５０を肯定判定後に進むステップＳ３７０において、制御部３４は、設定部３４ｂによって分割された領域の範囲を変更する処理を行う。制御部３４は、ユーザ操作に基づき、ある被写体の領域に別の領域を追加したり、ある被写体の領域から一部の領域を削除したりする。分割された領域の範囲を変更する理由は、制御部３４が共通の被写体（一つの領域）として扱う範囲を変更するためである。例えば、異なる領域である、人物６１の領域と、バッグ６３の領域とを一つの領域として扱うように変更する。このように、制御部３４が共通の被写体として扱う領域を設定することで、共通の被写体として扱う領域の撮像条件を、一度の操作で変更する事などができるようになる。
制御部３４は、変更処理を終了するとステップＳ３４０へ戻り、変更処理後の領域を表示部３５に表示させる。
ステップＳ３５０を否定判定後に進むステップＳ３６０において、制御部３４（設定部３４ｂ）は、ユーザ操作に応じて、強調して表示されている領域に対する撮像条件を設定してステップＳ３８０へ進む。ここで、ステップＳ３６０において特にユーザの操作がない場合は、ステップＳ３８０へ進む。なお、ステップＳ３６０におけるユーザ操作に応じた表示部３５の表示遷移や撮像条件の設定については、上述したとおりである。
ステップＳ３８０において、制御部３４は、撮像指示の有無を判定する。制御部３４は、操作部材３６を構成するレリーズボタン３６Ｂ、または撮像を指示するレリーズアイコン７４が操作された場合、ステップＳ３８０を肯定判定してステップＳ３９０へ進む。制御部３４は、撮像指示が行われない場合には、ステップＳ３８０を否定判定してステップＳ３５０へ戻る。
ステップＳ３９０において、制御部３４は、所定の撮像処理を行う。すなわち、撮像制御部３４ｃが撮像素子３２ａを制御して、上記領域ごと（人物６１、自動車６２、バッグ６３、山６４、雲６５、雲６６）に設定された撮像条件を適用して本撮像を行わせる。本撮像では、上述したように、撮像素子３２ａの第１領域Ｂ１および第２領域Ｂ２の設定を解除して、撮像素子３２ａの画素領域の全ての画素を用いることができる。
ステップＳ４００において、制御部３４（撮像制御部３４ｃ）は画像処理部３３へ指示を送り、上記撮像によって得られた画像データに対して所定の画像処理を行わせてステップＳ４１０へ進む。画像処理は、例えば画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理等を含む。
ステップＳ４１０において、制御部３４は記録部３７へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップＳ４２０へ進む。
ステップＳ４２０において、制御部３４は、終了操作が行われたか否かを判断する。制御部３４は、終了操作が行われた場合にステップＳ４２０を肯定判定して図１１による処理を終了する。制御部３４は、終了操作が行われない場合には、ステップＳ４２０を否定判定してステップＳ３２０へ戻る。ステップＳ３２０へ戻った場合、制御部３４は、上述した処理を繰り返す。
以上説明した第１の実施の形態によれば、次の作用効果が得られる。
（１）カメラ１の撮像素子３２ａは、撮像面上の画素領域に複数の画素が配置されており、被写体を撮像する。撮像素子３２ａは、複数の画素のうち、第１露光時間で撮像し、第１画像信号を生成する第１領域Ｂ１と、第１露光時間より長い第２露光時間で撮像し、検出用の第２画像信号を生成する第２領域Ｂ２とを有する。これにより、第１画像が暗く撮像されるとしても、第１画像の第１露光時間よりも長い第２露光時間で第２画像を取得することにより、第１画像より明るい第２画像に基づいて情報、例えば、被写体とみられる領域を抽出することができる。
（２）カメラ１は、表示部３５を備える。また、撮像素子３２ａにより生成された第１画像信号に基づいて、ライブビュー画像を表示部３５に表示させるようにしたので、ユーザは、例えばモニタ用画像として、ライブビュー表示された画像を表示部３５を介して確認することができる。
（３）カメラ１の制御部３４は、撮像素子３２ａの第２領域Ｂ２に第２露光時間を設定するので、適切な露光時間の第２画像を得ることができる。
（４）制御部３４の領域抽出部３４ａは、撮像素子３２ａの第２領域Ｂ２によって第２露光時間で撮像された第２画像信号に基づく第２画像に含まれる被写体の領域を抽出するので、明るい第２画像に基づいて、被写体の領域を適切に抽出することができる。
（５）カメラ１は、領域抽出部３４ａによって抽出された被写体の領域ごとに撮像条件を設定する設定部３４ｂと、設定部３４ｂによって設定された撮像条件に基づいて、第１領域Ｂ１で撮像される撮像条件を制御する撮像制御部３４ｃとを備える。これにより、撮像素子３２ａの画素領域において複数の領域ごとに、それぞれ適切な露出条件で撮像を行うことができる。
（第１の実施の形態の変形例１）
撮像素子３２ａの第２領域Ｂ２に設定する第２露光時間を、以下に説明する内容に基づいて設定してもよい。以下に、撮像された画像内に発生するブレに基づく第２露光時間の設定について説明する。
＜ブレに基づく露光時間設定＞
カメラ１の制御部３４は、撮像部３２によって撮像された画面上の被写体の動きに関する情報を取得する。被写体の動きは、被写体に動きがある場合や、手持ちされたカメラ１が揺動していることによって被写体が相対的に動いて見える場合を含む。
被写体の動きに関する情報を得る一つの方法として、例えば、図６(a)の撮像素子３２ａの第１領域Ｂ１でライブビュー表示用に撮像した第１画像を利用し、複数フレームの第１画像に基づいて動きベクトルを取得することができる。具体的には、時間的に後に取得した画像と前に取得した画像との差分を取ることにより取得する。制御部３４は、取得した動きベクトルから、被写体の動きの大きさを検出する。制御部３４は、動きの大きさが所定の閾値よりも大きい場合と小さい場合とで、以下のように異なる処理を行う。
-- 動きの大きさが所定の閾値よりも小さい場合 --
制御部３４は、取得した動きベクトルの大きさが所定の閾値よりも小さい場合、図６(a)の撮像素子３２ａの第２領域Ｂ２で検出用の第２画像を得るための第２露光時間を、より長い第２Ａ露光時間にする。これは、被写体の動きが小さいため、より長い第２Ａ露光時間を設定したとしても、ブレによって被写体の検出がしづらくならないからである。
なお、環境の明るさ、すなわちカメラ１の周囲の明るさによっては、第２Ａ露光時間を長くしすぎると、第２画像の明るさが飽和してしまう場合も考えられる。そこで、制御部３４は、動きベクトルの大きさと環境の明るさとの兼ね合いで、撮像素子３２ａの第２領域Ｂ２に設定する第２Ａ露光時間を決定する。
環境の明るさの取得については、撮像素子３２ａの第１領域Ｂ１で取得されたライブビュー表示用の第１画像に基づいて明るさを取得してもよいし、撮像部３２と別に設けた測光装置による測光結果に基づいて明るさを取得してもよい。また、撮像素子３２ａの第２領域Ｂ２で検出用の第２画像を取得する前に、第２領域Ｂ２で明るさ取得用の撮像を行わせて、この場合に取得された明るさ取得用の画像に基づいて明るさを取得してもよい。
制御部３４は、このように撮像素子３２ａの第２領域Ｂ２に検出用の第２画像を得るための第２Ａ露光時間を設定すると、第２領域Ｂ２で第２画像の撮像を開始させる。
（設定例１）
制御部３４は、例えば、撮像素子３２ａの第１領域Ｂ１でライブビュー表示用として第１画像を露光時間１０msecで撮像し、この第１画像に基づいて環境の明るさを取得する。制御部３４は、環境の明るさに基づいて、検出用の第２画像を得るための第２Ａ露光時間として２０msecから５０msecの範囲内が適していると判断したとする。次に、制御部３４は、上記第１画像に基づいて動きベクトルを取得する。制御部３４は、取得した動きベクトルに基づき、すなわちブレに基づき、検出用の第２画像を得るための第２Ａ露光時間として２５msec以下であることが適していると判断したとする。設定例１の場合、制御部３４は、明るさとブレとに基づき、検出用の第２画像を得るための第２Ａ露光時間を２５msecに設定する。
（設定例２）
制御部３４は、設定例１の場合と同様に、環境の明るさに基づいて検出用の第２画像を得るための第２Ａ露光時間として２０msecから５０msecの範囲内が適していると判断したとする。次に、制御部３４は、ブレに基づいて検出用の第２画像を得るための第２Ａ露光時間として１５msec以下であることが適していると判断したとする。設定例２の場合、制御部３４は、明るさおよびブレに基づき、検出用の第２画像を得るための第２Ａ露光時間を１５msecに設定するとともに、不足する明るさを補うために、第２画像用のゲインを増幅させる（例えばＩＳＯ感度を上げる）。
-- 動きの大きさが所定の閾値よりも大きい場合 --
制御部３４は、取得した動きベクトルの大きさが所定の閾値よりも大きい場合には、動きベクトルの時間変化を検出し、動きベクトルが動く範囲を検出する。制御部３４は、動きベクトルの動く範囲が広い場合と狭い場合とで、以下のように異なる処理を行う。
(i)動きベクトルが動く範囲が狭い場合
制御部３４は、動きベクトルが動く範囲が狭い、例えば動きベクトルが所定範囲内を移動している場合は、動きが大きい場合（早い動き）であったとしても第２露光時間を短くする必要がないという考え方に基づき、検出用の第２画像を得るための第２露光時間を、より長い第２Ａ露光時間にする。これは、被写体が動く範囲が限られているため、より長い第２Ａ露光時間を設定したとしても、ブレによって被写体の検出がしづらくならないからである。
制御部３４は、このように撮像素子３２ａの第２領域Ｂ２に検出用の第２画像を得るための第２Ａ露光時間を設定すると、第２領域Ｂ２で第２画像の撮像を開始させる。
(ii)動きベクトルが動く範囲が広い場合
一方、制御部３４は、動きベクトルが動く範囲が広い、例えば動きベクトルが所定範囲から外れて移動している場合は、動きが大きく（早い動き）、広い範囲を移動していることから、第２露光時間を短めに設定する必要があるという考え方に基づき、検出用の第２画像を得るための第２露光時間を、より短い第２Ｂ露光時間にする。なお、基本的には、第２Ｂ露光時間は、動きベクトルの取得に用いたライブビュー表示用の第１画像を取得する場合の第１露光時間よりも長く設定する。
ただし、動きベクトルがあまりに大きく動く場合には、被写体のブレが必要以上に大きくなるのを避けるため、検出用の第２画像を得るための第２Ｂ露光時間を、動きベクトルの取得に用いたライブビュー表示用の第１画像を取得する場合の第１露光時間よりも短く設定してもよい。
制御部３４は、このように撮像素子３２ａの第２領域Ｂ２で検出用の第２画像を得るための第２Ｂ露光時間を設定すると、第２領域Ｂ２で第２画像の撮像を開始させる。
(iii)動きベクトルが一定の範囲で継続して動く場合
図１２(a)は、短い露光時間で撮像した滝を例示する図、図１２(b)は、図１２(a)の場合より長い露光時間で撮像した滝を例示する図である。制御部３４は、滝を被写体にする場合のように、物体の動き（水の流れ）が画面の一定の範囲の中を継続して動く場合は、常に一定の範囲内で継続した動きが発生する。これにより、短い露光時間で撮像した図１２(a)と、長い露光時間で撮像した図１２(b)との間では、画像における滝の領域の範囲は変わらない。そのため、制御部３４は、撮像素子３２ａの第２領域Ｂ２で検出用の第２画像を得るための第２露光時間を、より長い第２Ａ露光時間にする。
滝のような被写体の場合、より長い第２Ａ露光時間を設定することによって物体の動き（水の流れ）が線状（図１２(b)）になるので、被写体の領域の抽出がしやすくなる。したがって、取得した動きベクトルの大きさが所定の閾値よりも大きい場合でも、画面内の限られた範囲で動き続きける場合には、被写体のブレを気にせずにより長い第２Ａ露光時間を設定してよい。
上述した説明では、動きベクトルが一定の範囲で継続して動く場合として滝を例示したが、例えば、ベルトコンベアー、（飛行機等の）プロペラ、道路上の走行している車の列についても同様である。
なお、以上の説明では、撮像素子３２ａの第１領域Ｂ１で取得されるライブビュー表示用の第１画像に基づいて動きの情報を取得する例を説明したが、次のように取得してもよい。撮像素子３２ａの第２領域Ｂ２で検出用の第２画像を取得する前に、第２領域Ｂ２で動き情報の取得のための撮像を行い、第２領域Ｂ２で取得された動き情報取得用の画像に基づいて動きの情報（すなわち動きベクトル）を取得してもよい。すなわち、第２領域Ｂ２で、動き情報を取得するための撮像を行ってもよい。
また、撮像素子３２ａの第１領域Ｂ１、撮像素子３２ａの第２領域Ｂ２以外の画素領域で、動きの情報を取得するための撮像を行うようにしてもよい。
さらにまた、撮像部３２以外の他の外部センサを設けることにより、動きの情報を取得するように構成してもよい。例えば、外部センサとしてキネクト（Kinect(商標)）センサと呼ばれるモーション認識用センサを設け、このセンサで取得される３次元位置情報に基づいて被写体の動きを求めてもよい。キネクトセンサは、ＲＧＢ方式カメラに加えて、奥行き（センサからの距離）測定用の赤外光カメラを備えており、被写体（例えば人物）の骨格の各部位についての３次元位置情報を取得する。キネクトセンサ出力に基づいて人物の動きを精度よく検出することにより、ＲＧＢ表色系の画像データのみに基づいて人物の動きを求める場合に比べて、高精度に人物の動きを求めることができる。
外部センサとして加速度センサを用いる構成にしてもよい。加速度センサを被写体に設け、このセンサで取得される加速度信号に基づいて被写体の動きを求めることができる。
また、外部センサとしていわゆるＴＯＦ（time of flight）センサを設けてもよい。ＴＯＦセンサは、公知のＴＯＦ法に用いるイメージセンサである。ＴＯＦ法は、不図示の光源部から被写体に向けて光パルス（照射光）を発し、被写体で反射された光パルスがＴＯＦセンサへ戻ってくるまでの時間に基づいて、被写体までの距離を検出する技術である。被写体までの距離の変化に基づき、被写体の動きを求める構成としてもよい。
なお、撮像素子３２ａをＴＯＦセンサに利用してもよい。
＜フローチャートの説明＞
図１３は、第１の実施の形態の変形例１において、制御部３４が、ブレに基づき領域を抽出する処理の流れを説明するフローチャートである。制御部３４は、図１１におけるステップＳ３２０の処理として、図１３の処理を行う。図１３のステップＳ１０において、制御部３４は、撮像素子３２ａの第１領域Ｂ１に、あらかじめ用意されている初期値（露光時間、フレームレート、ゲイン（ＩＳＯ感度）など）を設定してステップＳ２０へ進む。初期値は、例えば、明るい室内でライブビュー表示用の第１画像を取得する場合に適した撮像条件を、撮像素子３２ａの第１領域Ｂ１に一様に設定する。
ステップＳ２０において、制御部３４は、撮像素子３２ａの第１領域Ｂ１でライブビュー表示用の第１画像の撮像を行わせる。そして制御部３４は、１フレームの撮像が行われるごとに、撮像素子３２ａの第１領域Ｂ１から読み出した光電変換信号に基づく第１画像を生成させてステップＳ３０へ進む。ステップＳ３０において、制御部３４は、第１画像に基づいて、動き情報と明るさとを取得してステップＳ４０へ進む。
ステップＳ４０において、制御部３４は、被写体の動きが大きいか否かを判定する。制御部３４は、動きベクトルの大きさが所定値より大きい場合にステップＳ４０を肯定判定してステップＳ５０へ進む。制御部３４は、動きベクトルの大きさが所定値に満たない場合には、ステップＳ４０を否定判定してステップＳ７０へ進む。
ステップＳ５０において、制御部３４は、被写体の動く範囲が広いか否かを判定する。制御部３４は、動きベクトルの動く範囲が所定の範囲より広い場合にステップＳ５０を肯定判定してステップＳ６０へ進む。制御部３４は、動きベクトルの動く範囲が所定の範囲に収まる場合には、ステップＳ５０を否定判定してステップＳ７０へ進む。
なお、ステップＳ５０の処理を省略し、ステップＳ４０を肯定判定した場合にステップＳ６０へ進むように構成してもよい。
ステップＳ６０において、制御部３４は、検出用の第２画像を得るための第２露光時間として、ライブビュー表示用の第１画像を取得する場合の第１露光時間よりも長く、ステップＳ７０において設定する第２Ａ露光時間よりも短い第２Ｂ露光時間を設定してステップＳ８０へ進む。なお、第２Ｂ露光時間を第１露光時間よりも長くするので、必要に応じて、第２画像用のゲインを第１画像用のゲインよりも低く設定し、過度の露出を避ける。第２Ｂ露光時間は、例えば撮像素子３２ａの第２領域Ｂ２に一様に設定する。
ステップＳ７０において、制御部３４は、検出用の第２画像を得るための第２露光時間として、ライブビュー表示用の第１画像を取得する場合の第１露光時間よりも長く、かつ、上述したように環境の明るさとブレとに基づいた、より長い第２Ａ露光時間を設定してステップＳ８０へ進む。なお、第２Ａ露光時間を第１露光時間よりも長くするので、必要に応じて、第２画像用のゲインを第１画像用のゲインよりも低く設定し、過度の露出を避ける。第２Ａ露光時間は、例えば撮像素子３２ａの第２領域Ｂ２に一様に設定する。
ステップＳ８０において、制御部３４は、撮像素子３２ａの第２領域Ｂ２で第２画像の撮像を行わせ、撮像素子３２ａの第２領域Ｂ２から読み出した光電変換信号に基づく第２画像の生成を開始させてステップＳ９０へ進む。
ステップＳ９０において、制御部３４は、領域抽出部３４ａにより、第２画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域（例えば、図７に示した被写体領域６１〜６６）を抽出し、図１３による処理を終了する。第１の実施の形態の変形例１では、領域抽出部３４ａによって抽出された複数の領域に対応して、設定部３４ｂが、撮像部３２によって取得される画像を自動で分割する。
以上説明した第１の実施の形態の変形例１によれば以下の作用効果が得られる。
（１）カメラ１の撮像素子３２ａは、取得した被写体の動きに関する情報、例えば動きベクトルに基づいて設定された第２露光時間（第２Ａ露光時間または第２Ｂ露光時間）で、第２領域Ｂ２の撮像を行う。これにより、被写体が動くことによるブレを抑えた適切な第２露光時間で撮像した第２画像を得ることができる。
（２）撮像素子３２ａの第２領域Ｂ２の第２露光時間（第２Ａ露光時間または第２Ｂ露光時間）は、被写体が動く範囲に基づいて設定される。これにより、被写体が動く範囲を考慮した適切な第２露光時間で撮像した第２画像を得ることができる。
また、一定方向に動く被写体については、第２露光時間を長くすることができるようになり、被写体とみられる領域の抽出に適した第２画像を得ることができる。
（３）撮像素子３２ａにおいて、被写体の動きに関する情報は、例えばライブビュー表示用の第１画像信号に基づいて取得されるようにしたので、動きベクトルの取得と並行して、第２露光時間の設定を行うことが可能になる。これにより、第２画像を早く取得することができる。
（４）撮像素子３２ａの第２領域Ｂ２に設定する第２露光時間を長くすることにより、撮像部３２で撮像される被写体の像を適度にブレさせて第２の画像の解像度が低下される。この結果、画像構造や色が平均化されて、被写体とみられる領域の抽出に好適にすることができる。
（第１の実施の形態の変形例２）
制御部３４は、図１３のステップＳ６０およびＳ７０の代わりに、第２画像を得るための第２露光時間（第２Ａ露光時間または第２Ｂ露光時間）を以下のように設定してもよい。
（被写体ブレについて）
動きのある被写体を撮像する場合、第２露光時間を長くすることによって、撮像部３２で撮像される被写体の像がブレる。第１の実施の形態の変形例２では、そのブレを利用することによって、検出用の第２画像に基づいて被写体に対応する領域を抽出しやすくする。例えば、被写体に動きがある場合や、手持ちされたカメラ１が揺動していることによって被写体が相対的に動いて見える場合には、第２画像において細かい画像構造や色の平均化が生じる。つまり、第２画像の解像度が低下する。
一般に、画像の解像度が低下すると、被写体の細かな画像構造や細かい色の違いが薄れる（消失する）ので、このような画像構造や色の平均化は、領域抽出を容易にするというメリットがある。ただし、第２露光時間があまりに長い場合は、被写体のブレが大きくなり過ぎて領域抽出が困難になる。そのため、適切な被写体のブレを得るために、適度な長さで第２露光時間を設定する。
第１の実施の形態の変形例２において、適度な長さの第２露光時間とは以下の露光時間をいう。例えば一つの第２露光時間を設定する方法としては、第２露光時間を延ばしていくと、被写体のブレにより色や形状が平均化され、一つの大きな領域であるように撮像される。露光開始後の時間経過とともに各領域の面積の変化を検出すると、当初は面積の増加率が大きいものの、次第に面積の増加率が鈍り、やがて面積の増加が止まる（ブレによる面積増加が飽和する）。
第１の実施の形態の変形例２によれば、露光開始から面積の増加が止まるまでの時間を第２露光時間（第２Ａ露光時間または第２Ｂ露光時間）として設定することにより、平均化された領域を抽出しやすくすることができる。
なお、上述では、ステップＳ６０およびＳ７０の代わりに、第２画像を得るための第２露光時間（第２Ａ露光時間または第２Ｂ露光時間）を以下のように設定してもよいと記載したが、ステップＳ７０はそのままにして、ステップＳ６０の代わりに上記のような露光時間の設定を行ってもよいし、ステップＳ６０はそのままにして、ステップＳ７０の代わりに上記のような露光時間の設定を行ってもよい。
（第１の実施の形態の変形例３）
＜領域内で異なる露光時間を設定＞
第１の実施の形態の変形例１では、検出用の第２画像を得るために撮像素子３２ａの第２領域Ｂ２に第２露光時間を設定する場合において、第２領域Ｂ２を構成する全てのブロックに同じ第２露光時間を設定（すなわち、第２画像の画面全体で一様に設定）する例を説明した。この代わりに、第２領域Ｂ２を構成するブロック間で異なる第２露光時間を設定（すなわち、第２画像の画面内の領域間で異なる設定）してもよい。以下の処理は、上述した図１３のステップＳ６０で行ってもよいし、ステップＳ７０で行ってもよいし、Ｓ６０とＳ７０との両方で行ってもよい。
（例１）第２領域Ｂ２内をグループに分け、グループ間で異なる露光時間を設定
図１４は、第１画像に基づいて取得した動きベクトルを例示する図である。制御部３４は、上述した被写体の動きの情報に基づいて第２露光時間を設定する場合において、取得した動きベクトルの中に、向きおよび大きさの少なくとも一方が異なる動きベクトルが存在する場合には、第２領域Ｂ２を複数の小領域、すなわち複数のグループに分け、複数のグループ間で異なる第２露光時間を設定する。具体的には、図１４の動きベクトルの向きと大きさが同程度のベクトルをグルーピングして、第１グループ１４Ａと第２グループ１４Ｂとに分ける。そして、グループごとに第２露光時間を設定する。例えば、撮像素子３２ａの第２領域Ｂ２を、動きベクトルの大きさが大きい第１グループ１４Ａに対応する領域と、動きベクトルの大きさが小さい第２グループ１４Ｂに対応する領域と、に分ける。
制御部３４は、撮像素子３２ａの第２領域Ｂ２を構成する複数のブロックのうち、第２グループ１４Ｂに対応するブロックには、検出用の第２画像を得るための第２露光時間として、ステップＳ７０の場合と同様に、より長い第２Ａ露光時間（例えば２５msec）を設定する。また、制御部３４は、撮像素子３２ａの第２領域Ｂ２を構成する複数のブロックのうち、第１グループ１４Ａに対応するブロックについては、動きベクトルが動く範囲に基づいて異なる第２露光時間を設定する。例えば、動きベクトルが動く範囲が狭い場合は、撮像素子３２ａの第２領域Ｂ２を構成するブロックに対し、上記第２Ａ露光時間を設定する。また、動きベクトルが動く範囲が広い場合は、撮像素子３２ａの第２領域Ｂ２を構成するブロックに対し、第２Ａ露光時間よりも短い第２Ｂ露光時間（本例の場合、例えば１０msec）とする。
制御部３４は、このように撮像素子３２ａの第２領域Ｂ２に検出用の第２画像を得るための第２露光時間（第２Ａ露光時間または第２Ｂ露光時間）を設定し、第２領域Ｂ２で第２画像の撮像を開始させる。
なお、第２露光時間を第２Ａ露光時間と第２Ｂ露光時間とに２段階に分ける場合を例示したが、動きベクトルの大きさや動きベクトルが動く範囲により、第２露光時間を３段階またはそれ以上に分けてもよい。
（例２）第２領域Ｂ２で、露光時間を異ならせた複数フレームの画像を取得
制御部３４は、撮像素子３２ａの第２領域Ｂ２でフレーム毎に第２露光時間を変えながら、複数フレームの第２画像を検出用画像として取得させてもよい。例えば、制御部３４は、撮像素子３２ａの第２領域Ｂ２を構成する全てのブロックに対して第２Ｂ露光時間を設定して１フレームの撮像を行い、さらに上記第２領域Ｂ２を構成する全てのブロックに対して第２Ｂ露光時間より長い第２Ａ露光時間を設定して次フレームの撮像を行う。これは、撮像素子３２ａの第２領域Ｂ２をグループ分けしない点で、第２領域Ｂ２内をグループに分け、グループ間で異なる第２露光時間を設定する上記（例１）とは異なる。
撮像素子３２ａの第２領域Ｂ２に対してフレーム間で異なる第２露光時間（第２Ａ露光時間および第２Ｂ露光時間）を設定して複数フレームの撮像を行うことにより、第２Ｂ露光時間を設定して取得したフレームの第２画像では大きなブレが発生しないが、第２Ｂ露光時間より長い第２Ａ露光時間を設定して取得したフレームの第２画像では大きなブレが生じる領域が発生する場合がある。制御部３４は、ブレが大きく生じた領域では被写体とみられる領域を適切に抽出することができない場合があるため、第２Ａ露光時間を設定して取得したフレームの第２画像で大きなブレが生じた領域について、第２Ｂ露光時間を設定して取得したフレームの第２画像を採用する。また、第２Ａ露光時間を設定して取得したフレームの第２画像で大きなブレが生じなかった領域については、第２Ａ露光時間を設定して取得したフレームの第２画像を採用する。
制御部３４は、このように検出用の第２画像を得るための第２露光時間を設定すると、撮像素子３２ａの第２領域Ｂ２で第２画像の撮像を開始させる。
なお、撮像素子３２ａの第２領域Ｂ２に対して第２Ａ露光時間および第２Ｂ露光時間を設定して２フレームの第２画像を撮像させる場合を例示したが、第２露光時間が異なる３フレームまたはそれ以上のフレーム数の第２画像を撮像させてもよい。
また、第１の実施の形態の変形例３の説明では、上記（例１）として、撮像素子３２ａの第２領域Ｂ２内を複数のグループに分ける手法と、上記（例２）として、第２領域Ｂ２に対してフレーム間で異なる第２露光時間を設定して複数フレームの第２画像を取得する手法とを説明したが、いずれを採用してもよい。
また、撮像素子３２ａの第２領域Ｂ２内を複数のグループに分ける代わりに、撮像素子３２ａの第１領域Ｂ１を複数のグループに分けてもよい。さらにまた、第２領域Ｂ２に対してフレーム間で異なる第２露光時間を設定して複数フレームの画像を取得する代わりに、第１領域Ｂ１に対してフレーム間で異なる第１露光時間を設定して複数フレームの画像を取得してもよい。
以上説明した第１の実施の形態の変形例３によれば以下の作用効果が得られる。
（１）カメラ１の撮像素子３２ａは、撮像素子３２ａの第２領域Ｂ２の中で異なる第２露光時間を設定して第２画像を撮像する。例えば、人物６１や自動車６２ごとに適切な露光時間を設定することで、各被写体を明るく撮像でき、第２画像の全体を明るくすることができる。また、各被写体のブレを抑えることができる。
（２）例１では、撮像素子３２ａの第２領域Ｂ２は、被写体の動きに関する情報、例えば動きベクトルをグループ化することによって複数の領域に分けられる。そして、それぞれの領域で、例えば第２Ａ露光時間と、第２Ｂ露光時間とが設定される。これにより、例えば人物６１の領域や自動車６２などの各領域に対し、それぞれの動きに基づいた適切な露光時間を設定することができ、各被写体のブレを抑えることができる。
（３）例２では、撮像素子３２ａの第２領域Ｂ２は、第２露光時間が異なる複数フレームの第２画像を取得する。そして、各フレームの第２画像における被写体のブレにより、第２画像用のそれぞれの領域で、例えば第２Ａ露光時間と、第２Ｂ露光時間とが設定される。例えば、第２Ａ露光時間で撮像するとブレが生じる領域は第２Ｂ露光時間を、第２Ａ露光時間で撮像してもブレが発生しない領域は第２Ａ露光時間を、それぞれ採用する。これにより、例えば人物６１の領域や自動車６２などの各領域に対し、それぞれの動きに基づき適切な第２露光時間を設定することができ、各被写体のブレを抑えることができる。
（４）撮像素子３２ａの第２領域Ｂ２の第２露光時間は、例えば被写体の動きベクトルが所定の閾値よりも小さい場合、第２Ａ露光時間に設定し、被写体の動きに関する情報が前記所定の閾値よりも大きい場合、被写体が動く範囲に基づいて第２Ｂ露光時間に設定する。これにより、被写体とみられる領域の抽出に適した検出用の第２画像を得ることができる。
（５）上記第２Ｂ露光時間は、所定時間内に被写体が動く範囲が広い場合に、上記第２Ａ露光時間よりも短い時間に設定するので、被写体のブレが必要以上に大きくなるのを避けて、被写体とみられる領域の抽出に適した検出用の第２画像を得ることができる。
（第１の実施の形態の変形例４）
検出用の第２画像を撮像する場合に、撮像素子３２ａの第２領域Ｂ２に対してゲインの設定を行ってもよい。ゲインの設定を行う場合は、第２領域Ｂ２で設定可能な第２露光時間に基づいて行うとよい。例えば、制御部３４がブレに基づいて、検出用の第２画像を得るための第２露光時間として２０msecから５０msecの範囲内が適していると判断したとする。制御部３４は、環境の明るさに基づいてＩＳＯ感度２００、かつ、第２露光時間２５msecで明るく撮像できる場合でも、できる限りＩＳＯ感度を下げて第２画像を撮像するために、第２露光時間をブレに基づく限界の５０msecに設定するとともに、ＩＳＯ感度を２００から１００へ下げる設定を行う。これは、なるべく低いゲインを設定するのは、検出用としてノイズの少ない好適な第２画像を得るためである。
また、撮像素子３２ａの第２領域Ｂ２に設定する第２画像用のゲインは、撮像素子３２ａの第１領域Ｂ１に設定するライブビュー表示用の第１画像用のゲインよりも低いゲインを設定するとよい。このように設定するのは、ライブビュー表示用の第１画像よりもノイズの少ない第２画像を得るためである。
なお、第２画像用のゲインは、撮像素子３２ａの第２領域Ｂ２の全部にわたって一様に設定してもよいし、第２領域Ｂ２の中の領域ごとに異なるゲインを設定してもよい。例えば、第２領域Ｂ２のうちより長い第２Ａ露光時間を設定した人物６１の領域に対しては低いゲインを設定し、第２領域Ｂ２のうち短い第２Ｂ露光時間を設定した自動車６２の領域に対しては高いゲインを設定する。
以上説明した第１の実施の形態の変形例４によれば以下の作用効果が得られる。
（１）撮像素子３２ａは、第２画像信号に対して、第２領域Ｂ２において設定された第２画像用のゲインで増幅する。これにより、光電変換信号の飽和を避けて、検出用に適した第２画像を得ることができる。
（２）上記第２画像用のゲインは、第２露光時間に基づいて設定する。例えば、第２領域Ｂ２においてより長い第２Ａ露光時間を設定した領域には低いゲインを設定し、第２領域Ｂ２において短い第２Ｂ露光時間を設定した領域には高いゲインを設定することによって、光電変換信号の飽和を避けて、検出用に適した第２画像を得ることができる。
（３）上記第２画像用のゲインは、撮像素子３２ａの第１領域Ｂ１に設定され、第１画像信号に対して増幅する第１画像用のゲインよりも小さいので、ライブビュー表示用の第１画像に比べて明る過ぎることがなく、検出用に適した第２画像を得ることができる。
（第１の実施の形態の変形例５）
＜第３画像で第２露光時間を設定＞
また、カメラ１の制御部３４は、第２画像を得るための第２露光時間を、第３画像に基づいて設定してもよい。第３画像は、明るさ情報の取得のための画像である。
制御部３４は、撮像素子３２ａにより少なくとも１フレームの撮像を行うまでは、環境の明るさが判らないので、撮像素子３２ａの第２領域Ｂ２で検出用の第２画像を取得する前に、撮像素子３２ａの第２領域Ｂ２で明るさ情報の取得のために撮像を行わせ、取得した第３画像に基づいて明るさを取得する。第３画像に基づいて取得した環境の明るさに基づいて、第２画像を得るための第２露光時間を設定する。
制御部３４は、後述するように第３画像に基づいて被写体の有無を判断する。被写体は、上述したように、人物（人物の顔）、犬、猫などの動物（動物の顔）、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体など何でもよい。もちろん、上記した被写体すべてを検出するのではなく、例えば人のみを検出してもよい。
図１５は、第２画像と第３画像との比較例を示す図である。図１５(a)は、例えば初期値のＩＳＯ感度（例えばＩＳＯ１００）を設定して取得した第２画像を例示する図である。図１５(a)から分かるように、光量が不足する環境の場合、被写体の有無が判りづらくなる。一方、図１５(b)は、図１５(a)の場合よりも高いＩＳＯ感度（例えばＩＳＯ２５６００）を設定して撮像を行った図である。図１５(b)は、第２画像用の第２露光時間（例えばステップＳ８０において設定する第２Ｂ露光時間）よりも短い第３露光時間を設定して、同じ被写体を撮像した第３画像を例示している。第３画像は、高いＩＳＯ感度を設定することから、明細書内ではゲイン増幅画像とも称している。第１の実施の形態の変形例５は、この第３画像を得ることで、被写体の有無を判りやすくする。すなわち、図１５(b)のような高感度の第３画像を取得することによって、暗い環境下でも短時間で明るい第３画像を取得できるので、制御部３４は、第３画像に基づいて、被写体とみられる領域を短い時間で判別できる。制御部３４は、この第３画像に基づき、撮像素子３２ａの第２領域Ｂ２に対して被写体がいると判別した領域に対して第２画像用の第２露光時間を設定する。制御部３４は、例えば、領域１５Ｘおよび領域１５Ｙに対して第２Ｘ露光時間を設定し、領域１５Ｚに対して第２Ｚ露光時間を設定する。制御部３４は、このように撮像素子３２ａの第２領域Ｂ２に第２露光時間を設定すると、第２領域Ｂ２で検出用画像（第２画像）の撮像を開始させる。
図１５(b)のような第３画像は、撮像素子３２ａの第３領域から読み出した光電変換信号に基づいて生成する。ここで、第３領域は、撮像素子３２ａの撮像面（画素領域）の全域を用いて構成してもよいし、撮像素子３２ａの第１領域Ｂ１もしくは第２領域Ｂ２、または第１領域Ｂ１および第２領域Ｂ２以外の領域で構成してもよい。第１の実施の形態の変形例５では、例えば図６(a)の撮像素子３２ａの第２領域Ｂ２を第３領域として兼用する構成とする。すなわち、第１画像を第１領域Ｂ１で撮像しながら第３画像を撮像し得るように、第１画像の撮像と並行して撮像することができる第２領域Ｂ２を用いて第３画像を取得させる。
撮像素子３２ａの第２領域Ｂ２を第３領域として兼用して第３画像を得ることにより、ライブビュー表示用の第１画像の取得と並行して第３画像を取得する。このように構成することによって、第３画像に基づく領域の判別、および判別した領域ごとに設定する第２画像用の第２露光時間の設定を早く行う。
（第３画像のフレームレートについて）
第３画像については、フレームレートを高く設定して撮像するのが好ましい。第１の実施の形態の変形例５では、ライブビュー表示用の第１画像や検出用の第２画像を撮像する場合のフレームレートよりも、第３画像を撮像する場合のフレームレートを高く設定する（例えば１２０ｆｐｓ）。これにより、動きの速い被写体を正確に捉えることが可能になる。
＜フローチャートの説明＞
図１６は、第１の実施の形態の変形例５において、制御部３４が、第３画像を用いて領域を抽出する処理の流れを説明するフローチャートである。制御部３４は、図１１におけるステップＳ３２０の処理として、図１６の処理を行う。図１６のステップＳ１１０において、制御部３４は、撮像素子３２ａの第１領域Ｂ１および第２領域Ｂ２に、あらかじめ用意されている初期値を設定してステップＳ１２０へ進む。初期値は、撮像素子３２ａの第１領域Ｂ１、第２領域Ｂ２において、それぞれ一様に設定する。例えば、第１領域Ｂ１に第１露光時間を、第２領域Ｂ２に第３露光時間を、第１領域Ｂ１にフレームレート６０ｆｐｓを、第２領域Ｂ２にフレームレート１２０ｆｐｓを、第１領域Ｂ１および第２領域Ｂ２にＩＳＯ感度１００を、それぞれ設定する。ステップＳ１２０において、制御部３４は、撮像素子３２ａの第２領域Ｂ２に、上記第１領域Ｂ１に設定したゲインよりも高いゲイン（例えばＩＳＯ２５６００）を設定してステップＳ１２５へ進む。高いゲインは、撮像素子３２ａの第２領域Ｂ２に一様に設定する。これにより、１フレームの撮像を行った撮像素子３２ａの第２領域Ｂ２から読み出した光電変換信号に基づき、第３画像が生成される。
なお、ステップＳ１２０では第２領域Ｂ２に対して高いゲインを設定したが、第３領域を第２領域Ｂ２以外の他の領域で構成する場合には、第２領域Ｂ２とは異なる領域である第３領域に対して高いゲインを設定してよい。すなわち、ステップＳ１２０において、第２領域Ｂ２以外の他の領域において、高いゲインを設定するような制御を行ってもよい。もちろん、この第２領域Ｂ２とは異なる領域である第３領域は、第１領域Ｂ１であってもよいし、第１領域Ｂ１でなくてもよい。
ステップＳ１２５において、制御部３４は、第３画像に基づいて、被写体がどの位置にいるのかを検出してステップＳ１３０へ進む。ステップＳ１３０において、制御部３４は、１フレームの撮像を行った撮像素子３２ａの第１領域Ｂ１から読み出した光電変換信号に基づくライブビュー表示用の第１画像を生成してステップＳ１４０へ進む。
ステップＳ１４０において、制御部３４は、第３画像の明るさに基づいてブロック間で異なる第２露光時間を、検出用の第２画像を得るために設定する。例えば、撮像素子３２ａの第２領域Ｂ２を構成する複数のブロックのうち、第３画像の明るい領域に対応するブロックには第２Ａ露光時間を、第３画像の暗い領域に対応するブロックには第２Ａ露光時間よりも長い第２Ｃ露光時間を設定する。
ステップＳ１５０において、制御部３４は、撮像素子３２ａの第２領域Ｂ２で検出用の第２画像の撮像を行わせ、撮像素子３２ａの第２領域Ｂ２から読み出した光電変換信号に基づく第２画像の生成を開始させてステップＳ１６０へ進む。
ステップＳ１６０において、制御部３４は、領域抽出部３４ａで第２画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域を抽出し、図１６による処理を終了する。図１６による処理では、領域抽出部３４ａによって抽出された複数の領域に対応して、撮像部３２によって取得される画像を自動で分割することができる。
（被写体が検出されなかった領域の露光時間について）
第３画像では、上記ステップＳ１２０において撮像素子３２ａの第２領域Ｂ２に、ＩＳＯ感度を高く、例えばＩＳＯ２５６００以上に設定する。一般に、高いＩＳＯ感度を設定するとノイズが発生しやすくなる。このため、第３画像に含まれるノイズを誤って被写体と判別してしまう可能性がある。そこで、第３画像を取得した場合には、その後に取得した検出用の第２画像に基づいて被写体とみられる領域を抽出する前に、実際に被写体らしきものが写っているか否かを第２画像に基づいて判別してもよい。
図１７(a)は、ＩＳＯ感度を高く設定して撮像した第３画像を例示する図であり、図１７(b)は、同じ被写体を撮像した第２画像を例示する図である。図１７(a)の第３画像において、領域ＲにノイズＱが発生したとする。これは、図１７(a)の第３画像を撮像した際に、ＩＳＯ感度を高く設定しため、画像の一部に発生してしまったノイズである。一方、図１７(b)の第２画像については、図１７(a)の第３画像を撮像した時よりも低いＩＳＯ感度を設定して撮像を行った。図１７(b)の第２画像は、高いＩＳＯ感度を設定した第３画像と異なり、領域ＲにノイズＱが発生していない。これは、図１７(b)の第２画像の方が、ＩＳＯ感度が低いため、画像内に高いノイズが発生しなかったからである。ここで、制御部３４は、第３画像の領域Ｒに発生した大きな輝点のノイズＱを誤って被写体と判別してしまう場合がある。このように、制御部３４が、第３画像に含まれるノイズＱを一旦は被写体らしきものと判別するものの、第２画像においては、ノイズＱに対応する領域Ｒに被写体とみられるものが写っていないことがあり得る。そこで、制御部３４は、第２画像において被写体とみられるものが写っていないときに、この領域Ｒに対して周りの領域よりも長い第２Ｃ露光時間を設定している場合、周りの領域と同様の短い第２Ａ露光時間に設定し直す（再設定）。
すなわち、露光時間の再設定とは、第３画像に基づき、被写体とみられるものが写るように第２画像を得るための第２Ｃ露光時間を長く設定したにもかかわらず、その第２画像において被写体とみられるものが写らなかったので、何も写らない領域に対応するブロックの第２露光時間を短く設定し直すものである。
上記のような露光時間の再設定は、例えば、図１６のステップＳ１５０とステップＳ１６０との間で行うとよい。例えば制御部３４は、図１６のステップ１５０の処理を終了すると、第２画像の中に何も写らない領域、すなわち、被写体とみられるものが写っていない領域があるか否かを判定する。制御部３４は、第２画像の中に被写体とみられるものが写っていない領域が存在する場合には、撮像素子３２ａの第２領域Ｂ２を構成する複数のブロックのうち、被写体とみられるものが写っていない領域（図１７(b)の領域Ｒ）に対応するブロックに対して第２露光時間を再設定してステップＳ１６０へ進む。再設定では、何も写らない領域に対応するブロックに対し、ステップＳ１４０において設定した長い第２Ｃ露光時間を短くする。具体的には、ステップＳ１４０において第３画像の暗い領域に対応するブロックに長い第２Ｃ露光時間を設定したものの、当ブロックに何も写らなかったので、当ブロックに対する第２露光時間を当ブロックの周りの領域と同様の短い第２Ａ露光時間に設定し直す。ただし、再設定する第２Ａ露光時間は、ライブビュー表示用の第１画像の第１露光時間より長くてよい。
一方、制御部３４は、第２画像の中に何も写らない領域が存在しない（すなわち、被写体とみられるものが写っている）場合には、ステップＳ１４０において設定した第２Ｃ露光時間を維持してステップＳ１６０へ進む。すなわち、ステップＳ１４０において設定した第２露光時間により第２画像の取得を継続する。
ここで、上記露光時間の再設定を行う場合について述べる。制御部３４は、上記露光時間の再設定の方法として、下記（例１）〜（例４）のいずれかの方法から選択してもよい。
（例１）制御部３４は、その領域に対する第２Ｃ露光時間を、その領域近くの領域に設定されている第２Ａ露光時間と同じ設定にする。近くの領域であれば、環境の明るさ等もほぼ同様となり、時間が経過し、その領域に被写体が存在するようになっても、検出用の第２画像に基づいて検出することができるからである。
（例２）制御部３４は、その領域に対する第２Ｃ露光時間を、その領域で得られる明るさが所定値以上になるように設定する。検出用の第２画像において所定値以上の明るさが得られるようにしておくと、時間が経過し、その領域に被写体が存在するようになっても、第２画像に基づいて検出することができるからである。
（例３）制御部３４は、その領域に対する第２Ｃ露光時間を、検出用の第２画像を得るために第２領域Ｂ２に設定する第２露光時間の平均値に設定する。検出用の第２画像において平均的な明るさが得られるようにしておくと、時間が経過し、その領域に被写体が存在するようになっても、第２画像に基づいて検出することができるからである。
（例４）制御部３４は、その領域に対する第２Ｃ露光時間を、検出用の第２画像を得るために第２領域Ｂ２に設定する第２露光時間の最も長い露光時間に合わせて設定する。検出用の第２画像において最大の明るさが得られるようにしておくと、時間が経過し、その領域に被写体が存在するようになっても、第２画像に基づいて検出することができるからである。
上記（例１）〜（例４）はいずれも、第２露光時間を再設定した後に時間が経過し、その領域に被写体が存在するようになっても、被写体を検出し得るように、その領域に対してある程度の明るさを確保しておく。すなわち、環境の明るさが極端に暗い場合には、設定する露光時間が長過ぎると、第２画像、すなわち第２領域Ｂ２全体の画像が撮像されるフレームレートが遅くなる。第２画像を取得するフレームレートが遅すぎると、その領域に何らかの被写体が入ってきた時に検出するのが遅れてしまう。このような遅れを避けるために、環境の明るさが極端に暗い場合でも、適度に明るく、フレームレートも周囲の領域と同程度になるような第２露光時間を設定する必要がある。そのような方法が上記（例１）〜（例４）である。
制御部３４は、（例１）〜（例４）のうち、例えば設定メニューにおいて選択されている処理を行う。
なお、制御部３４は、（例１）〜（例４）のうち、実行する処理を自動で選択してもよい。
また、制御部３４は、（例１）〜（例４）を適宜組み合わせた処理を実行するように構成してもよい。
以上説明した第１の実施の形態の変形例５によれば、以下の作用効果が得られる。
（１）第２画像用の第２Ａ露光時間（ステップＳ７０において設定する露光時間）よりも短い第３露光時間を設定することにより、第２画像を取得する場合よりも短い時間で第３画像を取得できる。第３画像を短時間で取得したことにより、例えば、この第３画像に基づくことによって被写体の存在を短い時間で判別できる。
（２）撮像素子３２ａの第３領域は、ライブビュー表示用の第１画像信号、または検出用の第２画像信号よりも高いＩＳＯ感度で第３画像信号を生成するので、暗い環境下でも短い時間で明るい第３画像を取得できる。この第３画像に基づくことによって、被写体の存在を短い時間で判別できる。
（３）撮像素子３２ａの第２領域Ｂ２は、第３画像信号に基づいて第２露光時間が設定される。短い時間で取得される第３画像に基づくことにより、第２露光時間の設定を短時間で行うことができる。
（４）撮像素子３２ａの第３領域は、例えば第２領域Ｂ２と兼用させて、第２領域Ｂ２に含まれるようにした。すなわち、第２領域Ｂ２は、第３画像信号を生成する画素領域と、第２画像信号を生成する画素領域とを有する。このように構成することで、専用の第３領域を設けることなしに、第３画像を取得できる。
（５）撮像素子３２ａの第３領域は、例えばライブビュー表示用の第１画像信号を生成する第１領域Ｂ１、または検出用の第２画像信号を生成する第２領域Ｂ２よりもフレームレートを高くして撮像し第３画像を生成する。これにより、第３画像において、動きの速い被写体を正確に捉えることが可能になる。
（第１の実施の形態の変形例６）
第３画像の取得を、以下に例示するタイミングで行ってもよい。すなわち、上述した図１６のステップＳ１２５において取得する第３画像とは、異なるタイミングで取得してもよい。
（例１）ライブビュー表示用の第１画像を取得する撮像素子３２ａの第１領域Ｂ１と、検出用の第２画像を取得する撮像素子３２ａの第２領域Ｂ２とは異なる第３領域を撮像素子３２ａに設け、第１画像や第２画像の取得と並行して第３領域において第３画像を取得できるように構成する。そして、ライブビュー表示用の第１画像の取得や、検出用の第２画像の取得と並行して、第３画像を常に取得する。これにより、検出用の第２画像を得るための第２露光時間を、常に、適切に設定することが可能になる。
（例２）ライブビュー表示用の第１画像の取得や、検出用の第２画像の取得と並行して上記第３領域において第３画像を取得できるように構成する。そして、所定のタイミングで第３画像を取得する。例えば、第１画像または第２画像をフレームレート１０ｆｐｓで撮像している場合において、２secごとに第３画像を撮像する。これにより、第３画像を常に撮像することなしに、検出用の第２画像を得るための第２露光時間を、２secごとに適切に設定することが可能になる。
なお、上記（例２）の場合には、撮像素子３２ａの第３領域を、撮像素子３２ａの撮像面の画素領域の全域を用いて構成してもよいし、画素領域のうちの第１領域Ｂ１もしくは第２領域Ｂ２、または第１領域Ｂ１および第２領域Ｂ２以外の領域で構成してもよい。
（例３）ライブビュー表示用の第１画像の取得や、検出用の第２画像の取得と並行して上記第３領域において第３画像を取得できるように構成する。そして、所定の条件を満たした場合に、第３画像を取得する。例えば、当初検出用の第２画像に基づいて検出されていた被写体が画面外に外れた場合、または当初検出用の第２画像に基づいて検出されていなかった被写体が画面内に入ってきた場合に、第３画像を取得する。これにより、被写体が画面内に入ったり出たりするような、所定のタイミングで第３画像を取得することができる。
制御部３４は、（例１）〜（例３）のうち、例えば設定メニューにおいて選択されているタイミングで第３画像を取得してよい。
（第１の実施の形態の変形例７）
第３画像を取得する領域を以下のように設定してもよい。すなわち、第３画像を取得する撮像素子３２ａの第３領域を、撮像素子３２ａの撮像面の画素領域の全部を一様に用いて構成してもよいし、一部の画素領域を用いて構成してもよい。
ここで、第３画像を得るために、撮像素子３２ａの第３領域に対して通常よりもＩＳＯ感度、例えばゲインを高く設定するので、環境の明るさが明るい領域については、読み出した光電変換信号が飽和してしまい、被写体とみられる領域を判別しづらくなってしまうことも想定される。
そこで、制御部３４は、撮像画角内で明るさが所定値に満たない領域を検出し、検出した領域に対応する、撮像素子３２ａの撮像面の一部の領域のみを第３画像として取得する。
なお、環境の明るさの取得については、図１６のステップＳ１３０において取得されるライブビュー表示用の第１画像に基づいて取得してもよいし、撮像部３２と別に設けた測光装置による測光結果に基づいて明るさを取得してもよい。また、例えば図１６のステップＳ１２０の処理を行う前において撮像素子３２ａの第２領域Ｂ２で明るさ取得用の撮像を行わせて、この場合に取得された明るさ取得用の画像に基づいて明るさを取得してもよい。制御部３４は、撮像画角内で明るさが所定値に満たない領域を検出してから、検出した領域を対象に図１６のステップＳ１２０およびＳ１２５の処理を行うことにより、撮像素子３２ａの撮像面の一部の領域によって第３画像を取得する。
以上説明した第１の実施の形態の変形例７によれば、環境の明るさが明るい場合でも、光電変換信号の飽和を避けて、被写体とみられる領域を判別しやすい第３画像を得ることができる。
（第１の実施の形態の変形例８）
第３画像の明るさを、領域によって異ならせてもよい。上述した説明では、第３画像を取得する場合において、撮像素子３２ａの撮像面の画素領域の全部を一様に用いて、ＩＳＯ感度（例えば２５６００）を一様に設定する例を説明した。この代わりに、撮像素子３２ａの第３領域を複数の領域に分けて、複数の領域においてそれぞれ異なるＩＳＯ感度を設定してもよい。
ＩＳＯ感度を高くして撮像する場合、環境の明るさが明るい領域については、読み出した光電変換信号が飽和してしまい、被写体とみられる領域を判別しづらくなってしまうことも想定される。
そこで、制御部３４は、光電変換信号が飽和しないように、領域ごとに撮像する明るさの条件（すなわちＩＳＯ感度）を変えて第３画像を撮像する。例えば、光電変換信号が飽和する明るい領域に対してはＩＳＯ感度を下げ、光電変換信号が飽和しない領域に対してはＩＳＯ感度を維持する。このように撮像することによって、光電変換信号が飽和することなく、被写体とみられる領域を判別しやすい第３画像を撮像することができる。
なお、環境の明るさの取得については、第１の実施の形態の変形例７と同様に、ライブビュー表示用の第１画像に基づいて明るさを取得してもよいし、撮像部３２と別に設けた測光装置による測光結果に基づいて明るさを取得してもよい。また、例えば図１６のステップＳ１２０の処理を行う前において撮像素子３２ａの第２領域Ｂ２で明るさ取得用の撮像を行わせて、この場合に取得された明るさ取得用の画像に基づいて明るさを取得してもよい。
制御部３４は、本変形例８では、図１６のステップＳ１２０において、図１６のステップＳ１２０に代えて、撮像画角内の領域ごとの明るさを検出してから、領域ごとのゲインを設定する処理を行う。すなわち、撮像素子３２ａの第２領域Ｂ２に対して第１領域Ｂ１に設定するゲインよりも高いゲインを設定する際に、領域ごとの明るさによって異なるゲインを設定する。これにより、撮像素子３２ａの第２領域Ｂ２に対して一様なゲインではなく、領域ごとの明るさによって異なるゲインを設定して第３画像が取得される。
なお、撮像素子３２ａの第２領域Ｂ２に対して第１領域Ｂ１に設定するゲインよりも高いゲインを設定すると記載したが、領域の明るさによっては、第１領域Ｂ１に設定するゲインよりも第２領域Ｂ２に設定するゲインを高くする必要は必ずしもない。
以上説明した第１の実施の形態の変形例８によれば、以下の作用効果が得られる。すなわち、撮像素子３２ａの第３領域では、取得された第３領域内の明るさに基づいて、第３画像信号を増幅するゲインの値を第３領域内で異ならせたので、環境の明るさが明るい領域において第３画像が飽和してしまい、または、環境の明るさが暗い領域において被写体らしきものが写るか否かを判別しづらくなってしまうことを避けることができる。
（検出用画像のフレームレートについて）
制御部３４は、図１６のステップＳ１４０において、検出用の第２画像を得るための第２露光時間を設定する場合に、設定した第２露光時間に基づいてフレームレートを設定する。具体的には、設定した第２露光時間で撮像を繰り返すことが可能な程度に速いフレームレートを決定する。例えば、第２露光時間が２５msecの場合にはフレームレートは４０ｆｐｓである。検出用の第２画像をできるだけ多く記憶しておけるように、可能な限りフレームレートを速くしておく方がよい。
例えば、カメラ１を後述する監視カメラ等に利用する場合においては、フレームレートが遅いと移動速度が速い物体の検出を捉えられずに逃してしまう可能性があるため、できるだけ速いフレームレートを設定して撮像することが好ましい。
なお、第２画像を得るためのフレームレートは、撮像素子３２ａの第２領域Ｂ２において一様に設定してもよい。例えば、第２領域Ｂ２の中に異なる第２露光時間を設定した複数の領域が存在する場合において、第２領域Ｂ２に対して一様なフレームレートを設定する場合には、複数の領域の中で一番遅い第２露光時間が撮像可能なレートに合わせて、一様にフレームレートを設定する。
（第１の実施の形態の変形例９）
上述した説明では、被写体の動きに関する情報を得る一例として、ライブビュー表示用の第１画像に基づいて動きベクトルを取得する例を説明した。この代わりに、上記第３画像に基づいて動きベクトルを取得してもよい。つまり、第３画像から取得した動きベクトルにより、検出用の第２画像を得るための第２露光時間を設定する。
第１の実施の形態の変形例９の場合、制御部３４は、図１３のフローチャートによる処理の一部を変更する。制御部３４は、例えば図１３のステップＳ２０の処理に代えて、撮像素子３２ａの第２領域Ｂ２によって第３画像を取得し、図１３のステップＳ３０からステップＳ５０の処理を第３画像に基づいて行う。
そして、制御部３４は、図１３のステップＳ６０、ステップＳ７０の処理をそれぞれ第３画像に基づいて行う。すなわち、ステップＳ６０において、制御部３４は、検出用の第２画像を得るための第２露光時間として、第３画像を取得する場合の第３露光時間よりも長く、ステップＳ７０において設定する第２Ａ露光時間より短い第２Ｂ露光時間を設定してステップＳ８０へ進む。なお、第２Ｂ露光時間を第３露光時間よりも長くするので、必要に応じて、第２画像用のゲインを第３画像用のゲインよりも低く設定し、過度の露出を避ける。第２Ｂ露光時間は、例えば撮像素子３２ａの第２領域Ｂ２に一様に設定する。
また、ステップＳ７０において、制御部３４は、検出用の第２画像を得るための第２露光時間として、第３画像を取得する場合の第３露光時間よりも長く、かつ、環境の明るさとブレとに基づいた、より長い第２Ａ露光時間を設定してステップＳ８０へ進む。なお、第２Ａ露光時間を第３露光時間よりも長くするので、必要に応じて、第２画像用のゲインを第３画像用のゲインよりも低く設定し、過度の露出を避ける。第２Ａ露光時間は、例えば撮像素子３２ａの第２領域Ｂ２に一様に設定する。
ステップＳ８０以降の処理は図１３の処理と同様であるため説明を省略する。
第１の実施の形態の変形例９によれば、第３画像はライブビュー表示用の第１画像よりも高いＩＳＯ感度、および速いフレームレートを設定して撮像するので、第１画像に比べて明るい第３画像に基づき、検出用の第２画像を得るための第２露光時間を設定することができる。また、第３画像は第１画像よりも短時間で取得できるので、検出用の第２画像を得るための第２露光時間を早く設定することができる。
（第１の実施の形態の変形例１０）
上述で説明したように、制御部３４は、被写体を認識する場合に、ノイズによって誤認識する場合、または認識できない場合がある。そこで制御部３４は、ノイズの一つであるランダムノイズへの対処として以下の処理を行ってもよい。
（処理１）
制御部３４は、例えば第３画像を時系列に連続して撮像している場合、撮像した複数の第３画像を利用して被写体を判別する。処理１では、時系列に撮像した複数フレームの第３画像の画素値をそれぞれ加算し、加算した枚数分だけ除算を行う、加算平均によるノイズキャンセルを行う。時系列に撮像した第３画像に含まれる被写体が静止している場合、被写体に対応する画素値は加算平均による減増はほとんどない。一方、第３画像に重畳するランダムノイズの画素値は、各画像に重畳するノイズがランダムなため、加算平均によってランダムなノイズが平均化され一様になる。そのため、加算後の画素値は、被写体に対応する画素値の方がノイズに対応する画素値に比べて相対的に大きくなる。
以上説明した処理１によれば、加算後の第３画像に基づいて被写体を判別することにより、誤って被写体と判別してしまう可能性を低く抑えることができる。
（処理２）
制御部３４は、例えば第３画像を時系列に連続して撮像している場合、撮像した複数の第３画像の差分に基づいて動きベクトルを取得する。処理２では、動きベクトルの変化が特徴的な動きを示す場合には、たとえ第３画像に基づいて被写体を判別しなかったとしても、第３画像に被写体が存在するものとみなす。例えば、カメラ１を監視カメラのような定点カメラとして利用する場合において、動きベクトルの軌跡が道に沿って移動している場合、被写体が人や動物、車などである可能性が高い。このような場合、制御部３４は、第３画像に基づいて被写体を判別できなかったとしても、被写体が存在するものとみなし、動きベクトルの軌跡が移動した領域（向きと大きさが同程度の動きベクトルの集合）に対して、検出用の第２画像を取得するための第２露光時間を設定する。
以上説明した処理２によれば、第３画像に基づいて被写体を判別できなかったとしても、適切に第２画像を取得するための露光時間を設定できる。
なお、上記処理１および処理２は、被写体の判別に用いる画像（第２画像または第３画像）の画面内の全ての領域で行う必要はない。例えば、所定の明るさよりも明るい領域では、被写体に対応する画素値がノイズに対応する画素値よりも大きいので、上記処理１および処理２を行わなくてもよい。
また、被写体の存在が既知とされている領域については、上記処理を行わなくてもよい。すなわち、被写体の存在が不明であって、被写体の判別に用いる画像（第２画像または第３画像）に所定の明るさよりも暗い領域が存在する場合に、上記処理１または処理２を行ってもよい。
（処理３）
制御部３４は、第３画像に基づいて被写体を判別する前に、第３画像において所定の明るさより暗い（画素値が所定の判定閾値より小さい）領域のみに特別な処理を施してもよい。例えば、上記所定の明るさより暗い領域を二つの領域３Ａ、３Ｂとに分ける。領域３Ａは例えば複数の小領域３ａからなり、すなわち複数の小領域３ａの集合体であり、領域３Ｂも例えば複数の小領域３ｂからなり、すなわち複数の小領域３ｂの集合体である。小領域３ａと小領域３ｂは、例えば、図６(a)のように、上記の暗い領域を市松模様のように分割しても良いし、図６(b)または図６(c)のように、上記の暗い領域に左右方向または上下方向に交互に配置されても良い。
制御部３４は、領域３Ａに対しては上記第３画像を得る場合と同じＩＳＯ感度（上記例ではＩＳＯ２５６００）を設定し、領域３Ｂに対しては領域３Ａよりも低いＩＳＯ感度（例えばＩＳＯ６４００）を設定する。そして、領域３Ｂに対して領域３Ａよりも長い露光時間（例えば４倍）を設定して第３画像を撮像させる。
ここで、領域３Ａから読み出された光電変換信号に基づく第１の第３画像を第３Ａ画像と称し、領域３Ｂから読み出された光電変換信号に基づく第２の第３画像を第３Ｂ画像と称する。制御部３４は、第３Ａ画像および第３Ｂ画像に基づいて被写体を判別し、判別した領域に対して、その領域ごとに、検出用の第２画像を得るための第２露光時間を第３Ａ画像および第３Ｂ画像に基づいて設定する。制御部３４は、このように検出用の第２画像を得るための第２露光時間を設定すると、撮像素子３２ａの第２領域Ｂ２で検出用画像（第２画像）の撮像を開始させる。
例えば、所定の明るさより暗い（画素値が所定の判定閾値より小さい）領域において、制御部３４は、第３Ａ画像に基づく被写体の判別と第３Ｂ画像に基づく被写体の判別とが同じ結果であれば、被写体であると判断する。制御部３４は、第３Ａ画像に基づく被写体の判別と第３Ｂ画像に基づく被写体の判別とで結果が異なる場合には、被写体であるとは判断しない。
以上説明した処理３によれば、第３Ｂ画素に対して露光時間を第３Ａ画素に比べて長く設定するために、第３画像を取得する場合よりも遅いフレームレートで撮像することになるものの、ノイズを誤って被写体と判別する可能性を低減することができる。
上記処理１〜処理３については、所定の明るさより暗い領域を対象に行う例を説明したが、撮像素子３２ａによって取得される画面の全体の画素領域を対象に行ってもよいし、一部の画素領域を対象に行うようにしてもよい。
なお、上述したように、撮像素子３２ａの第２領域Ｂ２を第３領域として兼用し、兼用する領域を、領域３Ａと領域３Ｂとに分ける構成としてもよい。
もちろん、撮像素子３２ａの第１領域Ｂ１を第３領域として兼用してもよいし、第１領域Ｂ１および第２領域Ｂ２以外の領域を第３領域とし、この第３領域を、領域３Ａと領域３Ｂとに分ける構成としてもよい。
（第１の実施の形態の変形例１１）
第１の実施の形態および変形例１〜変形例１０では、検出用の第２画像を必ず取得する例を説明した。しかし、検出用の第２画像を必ず取得する必要がなく、以下の（例１）〜（例５）に例示する所定の条件を満たした場合に第２画像を取得するようにしてもよい。
（例１）制御部３４は、例えばライブビュー表示用の第１画像の中に所定の明るさよりも暗い（画素値が所定の判定閾値より小さい）領域が存在する場合に、第２画像の撮像を開始させる。（例１）において、制御部３４は、図１３のフローチャートによる処理の一部を変更する。制御部３４は、例えば図１３のステップＳ３０の処理後でステップＳ４０の処理前に、以下の処理を行う。なお、処理によっては、図１３のステップＳ３０の処理の前に以下の処理を行ってもよい。
制御部３４は、第１画像の中に所定の明るさよりも暗い（画素値が所定の判定閾値より小さい）領域が存在するか否かを判定する。制御部３４は、暗い領域が存在する場合に図１３のステップＳ４０からステップＳ９０の処理を第２画像に基づいて行う。ステップＳ４０以降の処理は、既述しているので説明を省略する。
一方、制御部３４は、第１画像の中に暗い領域が存在しない場合には図１３のステップＳ９０へ進む。すなわち、制御部３４は、第２画像を取得せずに第１画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域（例えば、図７に示した被写体領域６１〜６６）を抽出する。
（例２）次に、第１の実施の形態の変形例５のように第３画像を撮像する場合には、第１画像内に所定の明るさよりも暗い領域があった場合に、第３画像の撮像を行い、その後（または第３画像の撮像とともに）第２画像の撮像を行うようにしてもよい。第３画像とともに撮像する場合、第２画像を得るための第２露光時間の設定は、予め定められた設定にしてもよい。例えば、撮像しているときの撮像モード（風景撮影モード、ポートレート撮影モード等）の撮像モードによって値を変えてもよいし、ユーザによる設定を適用してもよい。
図１８は、（例２）において、制御部３４が第３画像を用いて領域を抽出する処理の流れを説明するフローチャートである。制御部３４は、例えば、図１６のフローチャートに代えて図１８のフローチャートによる処理を実行する。図１８のフローチャートは、図１６のフローチャートに比べてステップＳ１１２、Ｓ１１４およびステップＳ１１６が追加されている点において相違するので、これらの相違点を中心に説明する。
ステップＳ１１０の次に進むステップＳ１１２において、制御部３４は、１フレームの撮像を行った撮像素子３２ａの第１領域Ｂ１から読み出した光電変換信号に基づくライブビュー表示用の第１画像を生成してステップＳ１１４へ進む。ステップＳ１１４において、制御部３４は、第１画像に基づいて、明るさを取得してステップＳ１１６へ進む。ステップＳ１１６において、制御部３４は、ライブビュー表示用の第１画像の中に所定の明るさよりも暗い（画素値が所定の判定閾値より小さい）領域が存在するか否かを判定する。制御部３４は、暗い領域が存在する場合にステップＳ１１６を肯定判定してステップＳ１２０へ進む。ステップＳ１２０以降へ進む場合、制御部３４は第３画像を取得してから第２画像を取得し、第２画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域（例えば、図７に示した被写体領域６１〜６６）を抽出する。
一方、制御部３４は、暗い領域が存在しない場合には、ステップＳ１１６を否定判定してステップＳ１６０へ進む。ステップＳ１６０へ進む場合、制御部３４は第３画像、第２画像を取得せずに、第１画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域（例えば、図７に示した被写体領域６１〜６６）を抽出する。
なお、第３画像、第２画像の撮像は、第１画像内に存在する所定の明るさよりも暗い領域に対してのみ行うようにしてもよい。なお、ここではライブビュー表示用の第１画像に基づいて明るさを取得する例を説明したが、撮像部３２と別に設けた測光装置による測光結果に基づいて明るさを取得してもよい。
また、（例１）および（例２）において検出用の第２画像の撮像を開始した以降は、継続して第２画像の撮像を繰り返してもよいが、ライブビュー表示用に並行して撮像される第１画像の中に所定の明るさよりも暗い領域が存在しなくなった場合には、以降の検出用の第２画像の撮像をやめてもよい。また、第２画像の撮像を開始後所定時間経過した場合に第２画像の撮像をやめてもよい。
（例３）制御部３４は、例えばライブビュー表示用の第１画像に基づいて被写体とみられる領域を抽出し、第１画像に基づく領域の抽出精度が低下した場合に、第２画像の撮像を開始させる。制御部３４は、図１８のフローチャートによる処理の一部を変更する。制御部３４は、例えば図１８のステップＳ１１４、Ｓ１１６の代わりに、以下の処理を行う。
制御部３４は、第１画像に基づく領域抽出処理による抽出精度が低下したか否かを判定する。制御部３４は、環境の明るさが急に暗くなるなどの理由により、抽出精度が低下した場合に図１８のステップＳ１２０からステップＳ１６０の処理を行う。ステップＳ１２０以降の処理は、既述しているので説明を省略する。
これにより、第１画像に基づく上記領域の抽出精度が低下した場合には、第１画像の第１露光時間に比べて長い第２露光時間を設定した第２画像に基づいて、被写体とみられる領域を好適に抽出することが可能になる。
一方、制御部３４は、第１画像に基づく領域抽出処理による抽出精度が低下しない場合には図１８のステップＳ１６０へ進む。ステップＳ１６０へ進む場合、制御部３４は第３画像、第２画像を取得せずに、第１画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域（例えば、図７に示した被写体領域６１〜６６）を抽出する。
図１８のステップＳ１５０にて検出用の第２画像の撮像を開始した以降は、継続して第２画像の撮像を繰り返してもよいが、ライブビュー表示用に並行して撮像される第１画像に基づく領域の抽出精度が低下しなくなった場合には、以降の検出用の第２画像の撮像をやめてもよい。また、図１８のステップＳ１５０にて第２画像の撮像を開始後所定時間経過した場合に第２画像の撮像をやめてもよい。
（例４）制御部３４は、例えばライブビュー表示用の第１画像に基づいて動きベクトルを取得し、動きベクトルの大きさが所定値以上に大きくなった場合に、第２画像の取得を開始させる。制御部３４は、図１３のフローチャートによる処理の一部を変更する。制御部３４は、例えば図１３のステップＳ３０の処理後でステップＳ４０の処理前に、以下の処理を行う。
制御部３４は、被写体の動きが大きいか否かを判定する。制御部３４は、例えば動きベクトルの大きさが所定値以上の場合に図１３のステップＳ４０からステップＳ９０の処理を第２画像に基づいて行う。ステップＳ４０以降の処理は、既述しているので説明を省略する。
第１画像に基づく動きベクトルの大きさが所定値以上に変化した場合には、被写体が急に暗い環境下へ移動するなどして、撮像される第１画像に基づく領域の抽出精度が低下することも考えられる。しかしながら、第２画像の撮像を開始させておくことで、第１画像の第１露光時間に比べて長い第２露光時間を設定した明るい第２画像に基づき、被写体とみられる領域を好適に抽出することが可能になる。
（例４）において検出用の第２画像の撮像を開始した以降は、継続して第２画像の撮像を繰り返してもよいが、ライブビュー表示用に並行して撮像される第１画像に基づく動きベクトルの大きさが所定値未満に戻った場合には、以降の検出用の第２画像の撮像をやめてもよい。また、第２画像の撮像を開始後所定時間経過した場合に第２画像の撮像をやめてもよい。
（例５）制御部３４は、ユーザが設定操作を行うことによって撮像条件を変更した場合に、撮像素子３２ａによって取得される画面における被写体の領域を正確に設定する必要がある。このため、上記（例１）〜（例４）において第１画像に基づいて被写体とみられる領域を抽出している場合でも、ユーザによる撮像条件の変更操作のタイミングで、被写体とみられる領域を正確に抽出するため、第２画像の撮像を開始させる。すなわち、第２画像は、制御部３４による撮像開始の制御に基づいて撮像される。
なお、第２画像の撮像を開始した以降は、継続して第２画像の撮像を繰り返してもよいが、ユーザ操作に基づく撮影動作の終了時に検出用の第２画像の撮像をやめてもよい。また、第２画像の撮像を開始後所定時間経過した場合に第２画像の撮像をやめてもよい。
上記（例１）〜（例５）の場合において、第２画像を取得するためのゲインを設定する際に、設定可能な露光時間に基づいて、なるべく低いゲインを設定するとよい。低いゲインを設定することにより、取得される第２画像のノイズを低減できるからである。
また、上記（例１）〜（例５）の場合において、第２画像を取得するためのゲインの値を、ライブビュー表示用の第１画像を取得するためのゲインの値よりも小さくするとよい。ゲインの値を小さくすることによって、取得される第２画像のノイズを第１画像のノイズに比べて少なく抑えられるからである。
第１の実施の形態の変形例１１によれば、以下の作用効果が得られる。
（１）（例１）〜（例５）のいずれの場合にも、第２画像を常に取得し続ける場合と比べて省電力化につながる。また、検出用の第２画像を不図示のメモリ等に記憶する場合には、第２画像を常に取得し続ける場合と比べて、メモリ等の記憶容量を節約することもできる。
（２）（例１）〜（例５）の撮像素子３２ａの第２領域Ｂ２では、制御部３４による撮像開始の制御に基づいて撮像を行うので、被写体とみられる領域の抽出に適したタイミングで、第２画像を得ることができる。
（３）（例１）の撮像素子３２ａの第２領域Ｂ２ｄでは、第１画像信号に基づく第１画像の明るさに基づいて制御部３４による撮像開始の制御が行われ、第２画像の撮像を行うので、被写体とみられる領域の抽出に適したタイミングで、第２画像を得ることができる。
（第１の実施の形態の変形例１２）
第１の実施の形態の変形例１２の処理では、図１１のステップＳ３７０で行った処理である、自動分割した領域に対する変更処理の別の方法について説明する。第１の実施の形態の変形例１２の処理では、制御部３４が、ユーザによるタッチ位置に基づいて、ある被写体の領域に別の領域を追加し、ある被写体の領域と別の領域とを一つの領域とする処理を行ったり、ある被写体の領域から一部の領域を削除し、ある被写体の領域と別の領域とを別々の領域として扱う処理を行ったりする。このように、制御部３４が共通の被写体として扱う領域を設定することで、共通の被写体として扱う領域の撮像条件を、一度の操作で変更する事などができるようになる。
第１の実施の形態の変形例１２の処理として、例えば、ある被写体の領域に別の領域が追加されていない場合に、ユーザによって別の領域にタッチ操作が行われた場合には、ある被写体の領域に別の領域を追加する処理（共通化する処理）を行う。一方、ある被写体の領域に別の領域が既に追加されている場合に、ユーザによって別の領域にタッチ操作が行われた場合には、ある被写体の領域から別の領域を削除（追加のキャンセルを）する処理を行う。このように、一回のタッチ操作で、領域の追加、または領域の削除を行うことについて説明をする。
なお、変形例１２の説明に先立ち、領域抽出部３４ａによって抽出された被写体に基づき、撮像部３２で取得された画像が設定部３４ｂによって図１０のように分割されているものとする。図１０の例では、例えば人物６１の領域と、自動車６２の領域と、バッグ６３の領域と、山６４の領域と、雲６５の領域と、雲６６の領域と、その他の領域とに分割されており、ある被写体の領域（例えば人物６１の領域）が選択されている。
制御部３４は、表示部３５に表示する画像のうち、ある被写体の領域（人物６１の領域）を強調表示させる。強調表示は、例えば人物６１の領域をカラー画像として表示し、その他の領域をモノクロ画像として表示してよい。
次に制御部３４は、表示部３５の表示画面におけるタッチ位置を検出する。そして、制御部３４は、ユーザによるタッチ位置が、ある被写体の領域とは別の被写体の領域（例えばバッグ６３の領域）に位置する場合、ある被写体の領域（人物６１の領域）に対してバッグ６３の領域を追加する。
なお、第１の実施の形態の変形例１２では、表示画面におけるバッグ６３の領域がタッチ操作された場合に、バッグ６３の領域全体を追加する例を説明するが、バッグ６３の領域全体ではなく、バッグ６３の領域のうちのタッチされた領域のみ、またはタッチされた領域の周辺を追加するようにしてもよい。
一方、制御部３４は、ある被写体の領域（人物６１の領域）に別の被写体の領域（バッグ６３の領域）が既に追加されていた場合に、表示画面におけるバッグ６３の領域がタッチ操作されると、人物６１の領域からバッグ６３の領域を削除（追加のキャンセルを）する。
図１９は、第１の実施の形態の変形例１２の処理を説明するフローチャートである。図１９の処理は、図１１のステップＳ３７０の処理として行ってもよい。第１の実施の形態の変形例１２において、制御部３４は、図１０のように分割した領域ごとに、後述する判定処理のためのフラグを設ける。制御部３４は、ある被写体の領域に別の被写体の領域を追加する場合に、別の被写体の領域のフラグを１にする。また、制御部３４は、ある被写体の領域から別の被写体の領域を削除する場合に、別の被写体の領域のフラグを０にする。同様に、制御部３４は、他の被写体の領域に対応するフラグについても、追加または削除に応じて１または０にする。
図１９のステップＳ３７１において、制御部３４は、表示部３５の表示画面におけるタッチ位置を検出してステップＳ３７２へ進む。ステップＳ３７２において、制御部３４は、既に選択されている領域か否かを判定する。制御部３４は、タッチ位置を含む被写体の領域のフラグが０の場合に、タッチ位置は選択されている領域でないと判定する（第１処理を行う領域と判定する）。一方、制御部３４は、タッチ位置を含む被写体の領域のフラグが１の場合に、タッチ位置は既に選択されている領域である（既に追加されている）と判定する（第２処理を行う領域と判定する）。
ステップＳ３７３において、制御部３４は、領域の追加または削除の判定を行う。制御部３４は、ステップＳ３７２の判定により、タッチ位置を含む被写体の領域のフラグが０のためタッチ位置が選択されている領域でないと判定した場合、タッチ位置を含む被写体の領域（本例ではバッグ６３の領域）を、選択されている領域（本例では人物６１の領域）へ追加する追加判定を行う。
一方、制御部３４は、ステップＳ３７２の判定により、タッチ位置を含む被写体の領域のフラグが１のためタッチ位置が選択されている領域である（既に追加されている）と判定した場合は、タッチ位置を含む被写体の領域を削除する削除判定を行う。例えば、人物６１の領域にバッグ６３の領域が既に追加されていた場合には、人物６１の領域からバッグ６３の領域を削除（追加のキャンセルを）する削除判定を行う。
ステップＳ３７４において、制御部３４は、ステップＳ３７３の判定結果に基づき、表示部３５に候補表示を行わせる。具体的には、人物６１の領域にバッグ６３の領域を追加する追加判定をした場合は、制御部３４は、バッグ６３の領域の表示をモノクロ画像の表示からカラー画像の表示に変更することにより、バッグ６３の領域が追加候補であることを示す。これとは反対に、人物６１の領域からバッグ６３の領域を削除する削除判定をした場合は、バッグ６３の領域の表示をカラー画像の表示からモノクロ画像の表示に変更することにより、バッグ６３の領域が削除候補であることを示す。
ステップＳ３７５において、制御部３４は、変更操作終了か否かを判定する。制御部３４は、終了操作が行われた（例えば、領域変更ボタン７３が再びタッチ操作された）場合に、変更処理を行って図１９による処理を終了する。例えば、バッグ６３の領域を人物６１の領域に追加する場合に、制御部３４は変更処理としてバッグ６３の領域のフラグを１にする。また、人物６１の領域からバッグ６３の領域を削除する場合に、制御部３４は変更処理としてバッグ６３の領域のフラグを０にする。
一方、制御部３４は、終了操作が行われない場合にステップＳ３７１へ戻る。ステップＳ３７１へ戻った制御部３４は、上述した処理を繰り返す。
以上説明したように、制御部３４は、例えば、図１０の人物６１の領域とバッグ６３の領域とが別個の領域とされている場合において、ユーザによるタッチ操作に基づき、人物６１の領域にバッグ６３の領域を追加して一つの領域として扱う。この場合、制御部３４は、人物６１の領域に適用する撮像条件をバッグ６３の領域にも適用する。
人物６１の領域の撮像条件と同じ条件をバッグ６３の領域に適用するタイミングは、例えば、バッグ６３の領域が人物６１の領域に追加された時点でよい。
なお、上記タイミングとは別のタイミングの例として、バッグ６３の領域が人物６１の領域に追加された後、ユーザ操作により人物６１の領域に対する撮像条件が変更された時点で、人物６１の領域の撮像条件と同じ条件をバッグ６３の領域に適用してもよい。
また、制御部３４は、既に人物６１の領域およびバッグ６３の領域が一つの領域とされている場合には、ユーザによるタッチ操作に基づき、人物６１の領域からバッグ６３の領域を削除する。この場合、制御部３４は、図１１のステップＳ３６０の処理を行った場合にバッグ６３の領域に適用する撮像条件を、人物６１の領域に適用する条件と別に設定する。
人物６１の領域とバッグ６３の領域とで異なる撮像条件を適用するタイミングは、例えば、バッグ６３の領域が人物６１の領域から削除された後、ユーザ操作により人物６１の領域またはバッグ６３の領域に対する撮像条件が変更された時点でよい。
以上説明した第１の実施の形態の変形例１２によれば、以下の作用効果が得られる。
（１）カメラ１の制御部３４は、領域抽出部３４ａによって抽出された被写体の領域のうち、表示部３５の表示画面におけるタッチ位置に基づいて領域を検出する。制御部３４はさらに、タッチ位置を含む領域（例えばバッグ６３の領域）が、人物６１の領域と一つの領域として扱う追加判定する領域か、人物６１の領域と別個の領域として扱う削除判定する領域かを判定する。これにより、一回のタッチ操作で、人物６１の領域にバッグ６３の領域を追加したり、人物６１の領域からバッグ６３の領域を削除したりすることが可能になるため、操作を容易にすることができる。従来は、例えば、領域追加用／領域削除用の操作ボタンを表示部３５に表示させて、この操作ボタンがタッチ操作されることによって領域追加モードから領域削除モードへのモード切り替え、または、領域削除モードから領域追加モードへのモード切り替えを行う必要があった。しかしながら、第１の実施の形態の変形例１２によれば、このようなモード切り替えをすることなく、一回のタッチ操作によって、領域を追加または領域を削除（追加のキャンセルを）することができる。
（２）カメラ１の制御部３４は、例えば、バッグ６３の領域が追加判定すべき領域である場合、人物６１の領域とバッグ６３の領域とを１つの領域とする追加処理を行い、バッグ６３の領域が削除判定すべき領域である場合、人物６１の領域からバッグ６３の領域を削除する処理を行う。これにより、上述したようなモード切り替えをすることなく、一回のタッチ操作によって、領域を追加または領域を削除（追加のキャンセルを）することができる。
（３）カメラ１の制御部３４は、検出したバッグ６３の領域が上記削除判定すべき領域である場合、人物６１の領域に撮像条件を設定することによって、バッグ６３の領域にも人物６１の領域と同じ撮像条件を設定する。これにより、選択したバッグ６３の領域に適用する撮像条件を容易に設定することができる。
（第１の実施の形態の変形例１３）
第１の実施の形態の変形例１３の処理では、第１の実施の形態の変形例１２と別の方法として、制御部３４が、ユーザによるタッチ位置、タッチ位置の画像の色、およびタッチ位置からの距離に基づいて、ある被写体の領域に別の領域を追加したり、ある被写体の領域から一部の領域を削除したりする。第１の実施の形態の変形例１２との違いとして、第１の実施の形態の変形例１３において、ある被写体の領域に追加される領域の大きさは、タッチ位置と、タッチ位置の色と近い色の領域、かつ、タッチ位置の近くに位置する領域によって決定される（後述の範囲情報Ｍで説明）。タッチ位置の色と異なる色の領域や、タッチ位置から遠くに位置する領域については、ある被写体の領域に追加されない。
このように、タッチ位置の色やタッチ位置からの距離を考慮しつつ、一回のタッチ操作で、タッチ位置を含む領域の大きさを決定し、領域の追加、または領域の削除を行うことについて説明する。
第１の実施の形態の変形例１３において、撮像部３２で取得された画像が図１０のように分割されている点と、ある被写体の領域（例えば人物６１の領域）が選択されている点は、上述した第１の実施の形態の変形例１２の場合と同様である。
また、第１の実施の形態の変形例１３において、制御部３４は、タッチ操作された領域をある被写体の領域（人物６１の領域）に追加する追加判定、または、タッチ操作された領域をある被写体の領域（人物６１の領域）から削除する削除判定、を行うために判定値ｍを用いる。判定値ｍには、例えば、表示部３５に表示する画像の各画素位置の画素値ｐを用いる。
制御部３４はさらに、選択されている領域（本例では人物６１の領域）に対しては、各画素位置において、例えばｍ＝ｐ＋Ｖのように、画素値ｐに所定値Ｖを加算するなどして、判定値ｍを強制的に大きな値にする。選択されている領域の判定値ｍを強制的に大きくするのは、後述する判定閾値よりも大きな値にするためである。一方、選択されていない領域における判定値ｍは、所定値Ｖを加算しないで判定閾値よりも小さな値にしておく。
また、制御部３４は、ユーザによるタッチ位置の色と近い色の領域であり、かつ、タッチ位置からの距離が近い位置の領域を判断するために範囲情報Ｍを用いる。制御部３４は、範囲情報Ｍを、表示部３５に表示する画像のタッチ位置の色と、タッチ位置から離れた位置の色との差分（色差ｃと称する）と、タッチ位置からの距離ｄとに基づいて算出する。範囲情報Ｍは、例えばＭ＝ｐ×ｆ（ｃ）×ｆ（ｄ）のように、各画素位置の画素値ｐと、上記色差ｃの関数ｆ（ｃ）と、上記距離ｄの関数ｆ（ｄ）との積として定義される。ここで、色差ｃは、例えばＲＧＢ色空間における色の差分をいう。図２０(a)は、関数ｆ（ｃ）を例示する図である。図２０(a)によると、色差ｃが大きくなるほど関数ｆ（ｃ）が小さくなり、色差ｃが小さくなるほど関数ｆ（ｃ）が大きくなる。
また、距離ｄは、タッチ位置と、タッチ位置から離れた位置までの空間的な距離をいう。図２０(b)は、関数ｆ（ｄ）を例示する図である。図２０(b)によると、距離ｄが大きくなるほど関数ｆ（ｄ）が小さくなり、距離ｄが小さくなるほど関数ｆ（ｄ）が大きくなる。
上記範囲情報Ｍは、タッチ位置の色と近い色の領域で、かつ、タッチ位置からの距離ｄが短い位置の領域においては関数ｆ（ｃ）、関数ｆ（ｄ）がそれぞれ大きくなるので、Ｍの値が大きくなる。制御部３４は、タッチ位置の周囲で範囲情報Ｍが所定値（例えば、画素値ｐの１／２）以上となる領域を、タッチ位置と同じ処理を行う領域に決定する。
一方、上記範囲情報Ｍは、タッチ位置の色と異なる色の領域では関数ｆ（ｃ）が小さくなるので、Ｍの値が小さくなる。また、タッチ位置から遠くに位置する領域では関数ｆ（ｄ）が小さくなるので、Ｍの値が小さくなる。制御部３４は、タッチ位置の周囲で範囲情報Ｍの値が所定値（例えば、画素値ｐの１／２）に満たない領域には、タッチ位置と同じ処理を行わない。
制御部３４は、第１の実施の形態の変形例１３において、図１９のフローチャートのうちの以下の処理を変形例１２の場合と異ならせる。図１９のステップＳ３７２において、制御部３４は、既に選択されている領域か否かを判定する。制御部３４は、タッチ位置における判定値ｍが判定閾値より小さい場合には、タッチ位置は選択されている領域でないと判定する。一方、制御部３４は、タッチ位置における判定値ｍが判定閾値より大きい場合には、タッチ位置は既に選択されている領域である（既に追加されている）と判定する。
図１９のステップＳ３７３において、制御部３４は、領域の追加または削除の判定を行う。制御部３４は、ステップＳ３７２の判定により、タッチ位置が選択されている領域でないと判定した場合は、タッチ位置およびタッチ位置の周囲で上記範囲情報Ｍが所定値以上となる領域を、選択されている領域（本例では人物６１の領域）へ追加する追加判定を行う。
なお、制御部３４は、上記範囲情報Ｍの値が所定値に満たない場合には、タッチ位置のみを追加判定する。
一方、制御部３４は、ステップＳ３７２の判定により、タッチ位置が選択されている領域である（既に追加されている）と判定した場合は、タッチ位置を含む被写体の領域を削除する削除判定を行う。例えば、人物６１の領域にバッグ６３の領域の一部が既に追加されていた場合には、人物６１の領域から追加されていた領域を削除（追加のキャンセルを）する削除判定を行う。
制御部３４は、図１９のステップＳ３７４において、ステップＳ３７３の判定結果に基づき、以下のように表示部３５に候補表示を行わせる。制御部３４は、ステップＳ３７３で追加判定をした場合は、例えばバッグ６３の領域のうち上記範囲情報Ｍが所定値以上となる領域の表示をモノクロ画像の表示からカラー画像の表示に変更することにより、追加候補であることを示す。
これとは反対に、ステップＳ３７３で削除判定をした場合には、バッグ６３の領域のうち追加されていた領域の表示をカラー画像の表示からモノクロ画像の表示に変更することにより、削除候補であることを示す。
また、制御部３４は、図１９の処理の終了時に以下のように変更処理を行う。制御部３４は、ステップＳ３７３で追加判定をした場合は、バッグ６３の領域のうちの上記範囲情報Ｍが所定値以上となる領域の各画素位置において、上記のように判定値ｍを強制的に大きな値にする。
一方、制御部３４は、ステップＳ３７３で削除判定をした場合は、削除する領域の各画素位置において、判定値ｍから上記所定値Ｖを減算することにより、判定値ｍを各画素位置の画素値ｐに戻す。図１９における他のステップの処理については、既述の通りであるので説明を省略する。
以上説明した第１の実施の形態の変形例１３によれば、制御部３４が、ユーザによるタッチ位置だけでなく、タッチ位置における画像の色、およびタッチ位置からの距離ｄに基づいて追加候補／削除候補となる領域を判断するようにしたので、以下の作用効果が得られる。すなわち、制御部３４は、タッチ位置における色と近い色の領域で、かつ、タッチ位置に近い位置に存在する領域を適切に判断することができる。これにより、タッチ位置（例えばバッグ６３の領域）の色と異なった色の領域が、ユーザの意図に反して、ある被写体（本例では人物６１）の領域への追加候補にされることを避けることができる。また、タッチ位置から遠い位置に存在する被写体の領域が、ユーザの意図に反して追加候補にされることを避けることができる。
なお、上述した図１９のステップＳ３７２の処理で用いる判定閾値は、追加用の判定閾値と、削除用の判定閾値との間で差をつけるのが好ましい。また、追加用の判定閾値と削除用の判定閾値との差は、画素値ｐの大きさによらず一定に保ってもよいが、画素値ｐの大きさによって異ならせてもよい。例えば、画素値ｐの値が１〜２５５の範囲で表される場合において、画素値ｐの中間値付近（例えば５０＜ｐ＜２００の範囲）では、追加用の判定閾値を削除用の判定閾値よりも大きくした上で、両者の差を大きくとる。これに対し、画素値ｐが小さい場合（ｐ≦５０）、および画素値ｐが大きい場合（ｐ≧２００）には、それぞれ追加用の判定閾値を削除用の判定閾値よりも大きくするが、追加用の判定閾値と削除用の判定閾値との差は、上記画素値ｐの中間値付近の場合よりも小さくする。画素値ｐの中間値付近において追加用の判定閾値と削除用の判定閾値との差をより大きくするのは、タッチ位置における画像の画素値ｐの揺らぎによって追加判定されてしまったり、削除判定されてしまったりすることを防止するためである。これにより、表示部３５の画面上で指の位置が少し移動しただけで、追加判定と削除判定とが頻繁に繰り返されることを防止できる。
また、上述したステップＳ３７３の判定で用いる追加用の閾値と削除用の閾値とに差を設ける場合において、閾値の差をユーザ操作により手動で設定するようにしてもよい。さらにまた、閾値の差を、過去の操作履歴や画像に基づいて制御部３４が自動で設定するようにしてもよい。
なお、第１の実施の形態の変形例１３の処理では、タッチ位置における画像の色、およびタッチ位置からの距離ｄに基づいて追加候補／削除候補の判断を行うようにしたが、処理を一部変更してもよい。
すなわち、制御部３４は、少なくともユーザによるタッチ位置と、タッチ位置における画像の色とに基づいて、追加候補／削除候補の判断を行うようにしてもよい。タッチ位置における画像の色に基づくことで、制御部３４は、タッチ位置における色と近い色の領域を、適切に判断することができる。これにより、タッチ位置（例えばバッグ６３の領域）の色と異なった色の領域が、ユーザの意図に反して、ある被写体（本例では人物６１）の領域への追加候補にされることを避けることができる。
また、第１の実施の形態の変形例１３の処理の一部を変更して、制御部３４が、少なくともユーザによるタッチ位置と、タッチ位置からの距離ｄとに基づいて、追加候補／削除候補の判断を行うようにしてもよい。タッチ位置からの距離ｄに基づくことで、制御部３４は、タッチ位置に近い位置に存在する領域を適切に判断することができる。これにより、タッチ位置から遠い位置に存在する被写体の領域が、ユーザの意図に反して追加候補にされることを避けることができる。
（第１の実施の形態の変形例１４）
第１の実施の形態の変形例１４の処理では、制御部３４が、ある被写体の領域に別の被写体の領域を追加する場合において、追加する別の被写体の領域に対し、ある被写体の領域の画像処理条件を適用する。
制御部３４は、例えば、バッグ６３の領域を人物６１の領域に追加する場合において、人物６１の領域に適用されている画像処理条件を、バッグ６３の領域にも適用する。このように、領域の追加に伴って、その領域に適用する画像処理条件を変更する。
人物６１の領域と同じ画像処理条件をバッグ６３の領域に適用するタイミングは、例えば、バッグ６３の領域が人物６１の領域に追加された時点でよい。
なお、上記タイミングとは別のタイミングの例として、バッグ６３の領域が人物６１の領域に追加された後、ユーザ操作により人物６１の領域に対する画像処理条件が変更された時点で、人物６１の領域の画像処理条件と同じ条件をバッグ６３の領域に適用してもよい。
一方で、制御部３４は、例えば、バッグ６３の領域を人物６１の領域から削除する場合において、バッグ６３の領域に適用する画像処理条件を、人物６１の領域に適用する画像処理条件とは別に設定可能にする。
人物６１の領域とバッグ６３の領域とで異なる画像処理条件を適用するタイミングは、例えば、バッグ６３の領域が人物６１の領域から削除された後、ユーザ操作により人物６１の領域またはバッグ６３の領域に対する画像処理条件が変更された時点でよい。
以上説明した第１の実施の形態の変形例１４によれば、ある被写体の領域に別の被写体の領域を追加する場合、画像においてユーザがタッチした別の被写体の領域に、ある被写体の領域に適用されている画像処理条件と同様の画像処理条件を適用することができる。また、ある被写体の領域から別の被写体の領域を削除する場合、画像においてユーザがタッチした別の被写体の領域に、ある被写体の領域に適用されている画像処理条件と別の条件を設定することが可能になる。
第１の実施の形態の変形例１２〜変形例１４の説明では、ユーザ操作が、タッパネル３６Ａへのタッチ操作等によって行われる例を説明したが、マウス等のポインティングデバイスへの操作を、ユーザ操作として受け付けてもよい。ポインティングデバイスによるボタン操作が行われた時点に表示中のポインタ（カーソル等）の位置が、第１の実施の形態の変形例１２〜変形例１４におけるタッチ位置に相当する。なお、後述する変形例１６、変形例１７についても同様である。
（第１の実施の形態の変形例１５）
第１の実施の形態の変形例１５の処理では、制御部３４が、ユーザによるフリック操作に基づいて、ある被写体の領域に別の領域を追加したり、ある被写体の領域から一部の領域を削除したりする。
制御部３４は、例えば、タッパネル３６Ａにおいて図１０の人物６１の領域に触れるユーザの指がバッグ６３の領域まで移動した場合に、人物６１の領域に対し、バッグ６３の領域を追加する。また、制御部３４は、例えば、人物６１の領域に触れるユーザの指が他の領域（例えば自動車６２の領域）まで移動した場合には、人物６１の領域に対し、自動車６２の領域を追加する。
一方で、制御部３４は、例えば、図１０のバッグ６３の領域に触れるユーザの指が人物６１の領域外へ移動した場合には、バッグ６３の領域を、人物６１の領域から除外する。また、制御部３４は、例えば、自動車６２の領域に触れるユーザの指が人物６１以外の他の領域まで移動した場合には、自動車６２の領域を、人物６１の領域から除外する。
制御部３４は、第１の実施の形態の変形例１５において、図１９のフローチャートによる処理の一部を変更する。制御部３４は、例えば図１９のステップＳ３７１の代わりに、フリック操作の開始位置を検出する。次に、制御部３４は、ステップＳ３７２の代わりに、フリック操作の終了位置を検出する。
そして、ステップＳ３７３では、制御部３４は、フリック操作の開始位置および終了位置に基づいて、領域の追加または削除の判定を行う。制御部３４は、フリック操作の終了位置が、選択されている領域でない場合に、フリック操作の終了位置を含む領域（本例ではバッグ６３の領域）を、選択されている領域（本例では人物６１の領域）へ追加する追加判定を行う。
一方、制御部３４は、フリック操作の終了位置が、選択されている領域である（既に追加されている）場合に、フリック操作の終了位置を含む領域を削除する削除判定を行う。例えば、人物６１の領域にバッグ６３の領域が既に追加されていた場合には、人物６１の領域からバッグ６３の領域を削除（追加のキャンセルを）する削除判定を行う。図１９における他のステップの処理については、既述の通りであるので説明を省略する。
以上説明した第１の実施の形態の変形例１５によれば、以下の作用効果が得られる。すなわち、カメラ１の制御部３４は、領域抽出部３４ａによって抽出された被写体の領域のうち、表示部３５の表示画面におけるフリック操作に基づいて領域を検出する。制御部３４はさらに、フリック操作の開始位置および終了位置に基づき、例えばバッグ６３の領域が、人物６１の領域と一つの領域として扱う追加判定する領域か、人物６１の領域と別個の領域として扱う削除判定する領域かを判定する。これにより、一回のフリック操作によって、例えば人物６１の領域にバッグ６３の領域を追加したり、人物６１の領域からバッグ６３の領域を削除（追加のキャンセルを）したりすることが可能になるため、操作を容易にすることができる。具体的には、第１の実施の形態の変形例１２〜変形例１４の場合と同様に、従来必要とされていたモード切り替えの操作（領域追加モードと領域削除モードとを切り替える操作）を不要にすることができる。
なお、第１の実施の形態の変形例１５の処理の一部を次のように変更してもよい。
（１）制御部３４は、ユーザによるフリック操作に基づいて、ある被写体の領域（例えば人物６１の領域）に別の被写体の領域（例えばバッグ６３の領域）を追加することなく、別の被写体の領域（バッグ６３の領域）に適用される撮像条件を、ある被写体の領域（人物６１の領域）に適用される撮像条件と同じ条件に変更してもよい。
（２）また、制御部３４は、ユーザによるフリック操作に基づいて、ある被写体の領域（人物６１の領域）から別の被写体の領域（バッグ６３の領域）を削除することなく、別の被写体の領域（バッグ６３の領域）に適用される撮像条件を、ある被写体の領域（人物６１の領域）に適用される撮像条件と別の条件に変更してもよい。
制御部３４は、上記（１）の場合に別の被写体の領域（バッグ６３の領域）の撮像条件を変更するのは、ユーザによるフリック操作が行われたタイミングとする。
なお、上記タイミングとは別のタイミングの例として、上記フリック操作が行われた後、ユーザ操作によってある被写体の領域（人物６１の領域）に対する撮像条件が変更されたタイミングで、別の被写体の領域（バッグ６３の領域）の撮像条件を、ある被写体の領域（人物６１の領域）の撮像条件と同じ条件に変更してもよい。
また、制御部３４は、上記（２）の場合に別の被写体の領域（バッグ６３の領域）の撮像条件を変更するのは、上記フリック操作が行われた後、ユーザ操作によって別の被写体の領域（バッグ６３の領域）に対する撮像条件が変更されたタイミングとする。
また、第１の実施の形態の変形例１５の説明では、ユーザ操作が、タッパネル３６Ａへのフリック操作等によって行われる例を説明したが、マウス等のポインティングデバイスへの操作を、ユーザ操作として受け付けてもよい。ポインティングデバイスによるドラッグ操作の開始時のポインタ（カーソル等）の位置が、第１の実施の形態の変形例１５におけるフリック操作の開始位置に相当する。また、ポインティングデバイスによるドラッグ操作の終了時のポインタ（カーソル等）の位置が、第１の実施の形態の変形例１５におけるフリック操作の終了位置に相当する。
（第１の実施の形態の変形例１６）
第１の実施の形態の変形例１６の処理では、制御部３４が、ユーザによるタッチ操作に基づいて、ある被写体の領域に適用された撮像条件と同じ条件を、別の被写体の領域の撮像条件に適用する場合において、複数の被写体の領域の中から、どの被写体の領域の撮像条件と同じ条件を適用するかを、ユーザによるタッチ位置に基づいて決定する。
制御部３４は、図１０のように分割した複数の被写体の領域（人物６１の領域、自動車６２の領域、…）のそれぞれの中央（重心）の位置と、別の被写体の領域（例えば、バッグ６３の領域）に触れたユーザの指のタッチ位置との間の距離を比べる。そして、制御部３４は、例えばタッチ位置からの距離が一番近い被写体の領域（例えば人物６１の領域）の撮像条件を、別の被写体の領域（バッグ６３の領域）に適用する撮像条件の候補とする。また、制御部３４は、タッチされているバッグ６３の領域と、撮像条件の候補である人物６１の領域とを表示部３５に強調表示させる。強調表示は、他の領域の表示よりも明るく表示させたり、他の領域の表示よりもコントラストを高めて表示させたりしてよい。制御部３４はさらに、候補である人物６１の領域の撮像条件と同じ条件を、バッグ６３の領域に適用する。
このように、制御部３４は、表示部３５の表示画面におけるタッチ位置からの距離が一番近い被写体の領域（人物６１の領域）の撮像条件を、タッチされている被写体の領域（バッグ６３の領域）に適用する撮像条件の候補として選ぶ。そして、制御部３４は、人物６１の領域を強調表示することにより、候補に選んだ撮像条件が人物６１の領域の撮像条件と同じであることを示す。さらに、制御部３４は、表示部３５に表示する画像のうち、タッチされている被写体の領域（バッグ６３の領域）に、候補の撮像条件を適用する。
制御部３４が、上記の場合に別の被写体の領域（バッグ６３の領域）に適用する撮像条件を確定するのは、ユーザの指がバッグ６３の領域から離れたタイミングとする。制御部３４は、ユーザの指がバッグ６３の領域から離れると、バッグ６３の領域に適用する撮像条件を確定するとともに、バッグ６３の領域と、人物６１の領域の強調表示を解除する。
上述とは反対の例として、タッチ位置からの距離が一番近い被写体の領域（人物６１の領域）と同じ撮像条件が既に適用済みである場合、制御部３４は次のような制御を行っても良い。タッチされた被写体の領域（バッグ６３の領域）に、タッチ位置からの距離が一番近い被写体の領域（人物６１の領域）と同じ撮像条件が既に適用済みである場合、制御部３４は、タッチ操作に基づいて、タッチされた被写体の領域（バッグ６３の領域）に適用される撮像条件を、上記被写体の領域（人物６１の領域）の撮像条件と別の条件に変更するような制御を行っても良い。
制御部３４が、タッチされている被写体の領域（バッグ６３の領域）に適用される撮像条件を、上記被写体の領域（人物６１の領域）に適用される撮像条件と別の条件に変更するのは、ユーザの指で被写体の領域（バッグ６３の領域）にタッチ操作が行われた後、ユーザ操作によって被写体の領域（バッグ６３の領域）に対する撮像条件が変更されたタイミングである。制御部３４は、ユーザ操作によって、被写体の領域（バッグ６３の領域）の撮像条件を変更し、一番近い被写体の領域（人物６１の領域）と別の条件に設定する。
以上説明した第１の実施の形態の変形例１６によれば、制御部３４が、ユーザの指でタッチされた被写体の領域（バッグ６３の領域）に適用する撮像条件の候補に、タッチ位置からの距離が一番近い被写体の領域（人物６１の領域）の撮像条件と同じ条件を選んだので、撮像条件の候補を適切に選ぶことができる。これにより、タッチ位置（バッグ６３の領域）からの距離が離れた被写体の領域に適用された撮像条件がバッグ６３の領域に適用されることを避けることができる。
また、被写体の領域（人物６１の領域）を強調表示することにより、候補に選んだ撮像条件が被写体の領域（人物６１の領域）の撮像条件と同じであることを、ユーザにわかりやすく示すことができる。
（第１の実施の形態の変形例１７）
第１の実施の形態の変形例１７の処理では、制御部３４が、ユーザによるタッチ位置における画像の色に基づき、複数の被写体の領域の中から、どの被写体の領域の撮像条件と同じ条件を適用するかを決定する。
制御部３４は、図１０のように分割した複数の被写体の領域（人物６１の領域、自動車６２の領域、…）について、それぞれの代表色を求める。例えば、各被写体の領域内の色を平均した平均色を、その領域の代表色とする。そして、制御部３４は、例えばタッチ位置（本例ではバッグ６３）の色と一番近い代表色を有する被写体の領域（例えば人物６１の領域）の撮像条件を、タッチされている被写体の領域（バッグ６３の領域）に適用する撮像条件の候補とする。
制御部３４は、変形例１６の場合と同様に、タッチされているバッグ６３の領域と、撮像条件の候補である人物６１の領域とを表示部３５に強調表示させるとともに、候補である人物６１の領域の撮像条件と同じ条件を、バッグ６３の領域に適用する。
このように、制御部３４は、表示部３５の表示画面におけるタッチ位置における画像の色と一番近い代表色を有する被写体の領域（例えば人物６１の領域）の撮像条件を、タッチされている被写体の領域（バッグ６３の領域）に適用する撮像条件の候補として選ぶ。そして、制御部３４は、変形例１６の場合と同様に、候補に選んだ撮像条件が人物６１の領域の撮像条件と同じであることを、人物６１の領域を強調表示することによって示す。さらに、制御部３４は、表示部３５に表示する画像のうち、タッチされている被写体の領域（バッグ６３の領域）に、候補に選んだ撮像条件を適用する。
制御部３４がバッグ６３の領域に適用する撮像条件を確定するタイミングは、ユーザの指がバッグ６３の領域から離れた時点でよい。制御部３４は、ユーザの指がバッグ６３の領域から離れると、バッグ６３の領域に適用する撮像条件を確定するとともに、バッグ６３の領域と、候補である人物６１の領域の強調表示を解除する。
以上説明した第１の実施の形態の変形例１７によれば、制御部３４が、ユーザの指でタッチされた被写体の領域（バッグ６３の領域）に適用する撮像条件の候補に、ユーザによるタッチ位置の画像の色と一番近い代表色を有する被写体の領域（人物６１の領域）の撮像条件と同じ条件を選んだので、撮像条件の候補を適切に選ぶことができる。これにより、タッチ位置（バッグ６３の領域）の色と異なる色の被写体の領域に適用された撮像条件がバッグ６３の領域に適用されることを避けることができる。
以上説明した第１の実施の形態の変形例１６と、第１の実施の形態の変形例１７とを組み合わせてもよい。すなわち、制御部３４は、ユーザの指でタッチされた被写体の領域（バッグ６３の領域）に適用する撮像条件の候補に、タッチ位置からの距離が一番近い被写体の領域であって、かつ、タッチ位置の画像の色と一番近い代表色を有する被写体の領域の撮像条件と同じ条件を選ぶ。これにより、タッチ位置からの距離が離れた被写体の領域や、タッチ位置の色と異なる色の被写体の領域に適用された撮像条件が、タッチ位置の被写体の領域に適用されることを避けることができる。
以上の説明では、撮像素子３２ａとして積層型の撮像素子１００を例示したが、撮像素子（撮像チップ１１１）における複数のブロックごとに撮像条件を設定可能であれば、必ずしも積層型の撮像素子として構成する必要はない。例えば、平面内で、撮像素子の画素の一部をまとめたブロックごとに配線を引き、ブロックごとに撮像条件を設定するような構成にしてもよい。
また、撮像素子は、湾曲した曲面形状に構成されていてもよい。
上述した第１の実施の形態および変形例では、撮像素子３２ａを備えるカメラ１を例に説明したが、撮像素子３２ａ単体でもよい。また、撮像素子３２を備えた、スマートフォンのような高機能携帯電話機や、タブレット端末、腕時計型端末、音楽プレイヤ、ヘッドマントディスプレイやアイウェア等のウエアラブル装置などのモバイル機器や、撮像素子３２ａを備えたデジタルサイネージ、撮像素子３２ａを備えた現金自動預払機（ＡＴＭ装置）や、撮像素子３２ａを備えた鉄道やバスの乗車券・定期券等の自動券売機や、撮像素子３２ａを備えた図書館や美術館等の各種の情報検索端末装置等のパネルや、撮像素子３２ａを備えた内視鏡、撮像素子３２ａを備えたカプセル内視鏡などの医療機器など、撮像素子３２ａを備えた電子機器であってもよい。
また、上記の電子機器は、撮像素子３２aに加え、第１の実施の形態に記載された構成を適宜追加して備えてもよい。例えば、電子機器は、制御部３４、表示部３５、タッチパネル３６Ａ等の検出部等をさらに備えてもよい。
−−第２の実施の形態−−
第２の実施の形態による撮像素子、およびこの撮像素子を搭載する監視カメラについて説明する。監視カメラ１０（以降、カメラ１０と称する）は、電子機器の一例である。カメラ１０には、イメージセンサの一例として撮像素子３２ａが搭載される。撮像素子３２ａは、第１の実施の形態によるカメラ１に搭載されたものと同様である。したがって、以下に記載されている内容のうち、第１の実施の形態に関連する内容は、適宜第１の実施の形態、または第１の実施の形態の変形例を適宜適用することができる。例えば、第１の実施の形態に記載された第２画像の露光時間の設定等を、適宜第２の実施の形態または、第２の実施の形態の各変形例に適用することができる。
図２１を参照して、カメラ１０を用いた監視カメラシステムの全体構成を説明する。図２１において、カメラ１０Ａと、カメラ１０Ｂと、サーバ２と、モニタ３と、無線ＬＡＮ(Local Area Network)のアクセスポイント４とがネットワーク５に接続されている。監視カメラシステムは、カメラ１０Ａおよびカメラ１０Ｂにより監視用の画像を取得する。画像は、所定時間ごとに取得された静止画像であってもよいし、所定のフレームレートで取得された動画像であってもよい。
なお、複数台のカメラ１０を説明するために、便宜上カメラ１０Ａ、カメラ１０Ｂと称するが、これらは同じ機種のカメラであってもよい。
また、監視カメラシステムを構成するカメラ１０の数は２台に限らず、例えば１台でも１０台でも、それ以上であってもよい。
カメラ１０Ａは、ネットワーク５に有線接続されている。カメラ１０Ｂは、アクセスポイント４と無線接続されている。アクセスポイント４がネットワーク５に接続されているので、カメラ１０Ｂは、アクセスポイント４を介してネットワーク５に接続されることになる。
＜カメラの説明＞
図２２は、カメラ１０の構成を例示するブロック図である。図２２において、カメラ１０は、撮像光学系３１と、撮像部３２と、画像処理部３３と、制御部３４と、操作部材３６と、送受信部３８と、記憶部３９とを有する。
撮像光学系３１、撮像部３２、画像処理部３３、および制御部３４は、それぞれ図１のカメラ１の構成と同様である。撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、撮像光学系３１によって結像された被写体の像を光電変換する。撮像部３２は、撮像素子３２ａにおける撮像面の全域において同じ条件で撮像したり、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。画像処理部３３は、撮像部３２によって取得された画像データに対して画像処理を行う。
制御部３４は、図１のカメラ１と同様に、カメラ１０による全体の動作を制御する。制御部３４が、領域抽出部３４ａ、設定部３４ｂ、撮像制御部３４ｃ、およびＡＦ演算部３４ｄを含む点は、図１のカメラ１と同様である。
操作部材３６は、例えば、手動操作による撮影や保守時のために備えられている。操作部材３６は、メニューボタン等の種々の操作部材を含み、各操作に対応する操作信号を制御部３４へ送出する。
記憶部３９は、バッファメモリなどの記憶媒体であり、制御部３４からの指示に応じて、画像データなどを一時記憶する。記憶部３９に記憶された画像データは、送受信部３８よりネットワーク５（図２１）経由でサーバ２へ送られる。
送受信部３８は、制御部３４からの指示に応じて、サーバ２との間で通信を行う。例えば、サーバ２から送信された指示により設定を変更したり、撮像を開始するなど、カメラ１０は外部からの遠隔制御が可能に構成されている。また、カメラ１０で取得した画像のデータをサーバ２へ送信するなど、カメラ１０は監視情報を外部へ送信することも可能である。
図２１のサーバ２は、データベースを含む記憶装置、データ処理装置、およびネットワーク５との間の通信制御装置等によって構成される。サーバ２は、ネットワーク５を経由して、カメラ１０を遠隔制御する制御信号を送信する。また、サーバ２は、ネットワーク５を経由してカメラ１０から送信された画像のデータを受信する。受信した画像のデータは、サーバ２の記憶装置に記録、蓄積する。
カメラ１０からネットワーク５を経由して送信された画像のデータは、モニタ３の画面に表示可能に構成されている。モニタ３は、不図示のオペレータによる操作により、カメラ１０Ａおよびカメラ１０Ｂでそれぞれ取得されている最新の画像、またはサーバ２の記憶装置に蓄積されている画像データに基づく画像を表示する。
図２１の監視カメラシステムでは、カメラ１０（カメラ１０Ａおよびカメラ１０Ｂをまとめてカメラ１０と称する）で取得された第１画像（第１の実施の形態におけるライブビュー表示用の画像に相当）を、例えば監視画像としてサーバ２に蓄積するとともに、モニタ３に再生表示させる。また、カメラ１０で取得された第２画像は、検出用画像としてサーバ２に蓄積され、監視画像に写る被写体（監視対象物）を検出するために使用される。
ここで、カメラ１０では、監視画像を撮像するために以下のような制御を行う。カメラ１０に備わる制御部３４は、カメラ１０の撮像素子３２ａの第１領域Ｂ１を上述の実施の形態１の変形例５で説明した第３領域のように制御し、撮像素子３２ａの第１領域Ｂ１によって監視画像を撮像する。
一般に、カメラ１を監視用途に使用する場合には、速いフレームレートで明るい画像を撮像できることが好ましい。また、ＩＳＯ感度を高く設定し、また第１露光時間を短く設定した監視画像は、監視用途に好ましい。
一方で、カメラ１を監視用途に使用する場合において、監視画像内に撮像された監視対象物を精度よく見つけるためには、ノイズが少ない画像の方がよい。検出用の第２画像については、ＩＳＯ感度を高く設定する監視画像と異なり、第２露光時間を長く設定するためにノイズが発生しづらい。このため、ノイズが少ない画像は、監視対象物が写る領域を精度よく抽出するという監視用途の要求を満たす。また、上述した第１の実施の形態の変形例５と同様に、カメラ１０の撮像素子３２ａの第１領域Ｂ１で撮像された監視画像に基づいて監視対象物（被写体）を検出する。次に検出された被写体の明るさを、カメラ１０の撮像素子３２ａの第１領域Ｂ１で撮像された監視画像に基づいて検出する。そして、検出された明るさに基づいて、検出用の第２画像を撮像するための、検出された被写体に対する露光時間を設定してもよい。
＜フローチャートの説明＞
上述した監視カメラシステムによる処理手順について、図２３のフローチャートを参照して説明する。図２３において、左側にカメラ１０による処理の流れを示し、右側にサーバ２による処理の流れを示す。
＜カメラ１０の処理＞
カメラ１０の制御部３４は、例えば、電源が供給されると、図２３による処理を開始する。図２３のステップＳ５１０において、制御部３４は、撮像素子３２ａに第１領域Ｂ１および第２領域Ｂ２をセットしてステップＳ５２０へ進む。第１領域Ｂ１および第２領域Ｂ２は、例えば図６(a)を参照して説明した領域である。
ステップＳ５２０において、制御部３４は、撮像素子３２ａの第２領域Ｂ２に、初期値のゲインおよび初期値のフレームレートを設定してステップＳ５３０へ進む。初期値のゲインは、例えばＩＳＯ４００相当であり、初期値のフレームレートは、例えば６０ｆｐｓである。
ステップＳ５３０において、制御部３４は、撮像素子３２ａの第１領域Ｂ１に、上記第２領域Ｂ２に設定するゲインよりも高いゲイン、および上記第２領域Ｂ２に設定するフレームレートよりも速いフレームレートを設定してステップＳ５４０へ進む。この理由は、撮像素子３２ａの第１領域Ｂ１によって、撮像素子３２ａの第２領域Ｂ２で取得される第２画像よりも明るい監視画像を得るとともに、監視対象物が動く場合の監視画像の像ブレを小さくするためである。
なお、ステップＳ５３０において、必ずしも撮像素子３２ａの第１領域Ｂ１を、上記第２領域Ｂ２に設定するゲインよりも高いゲイン、かつ速いフレームレートにしなくてもよい。いずれか一方だけ高く設定してもよいし、両方とも設定しなくてもよい。
また、撮像素子３２ａの第１領域Ｂ１に設定するゲインは、第１領域Ｂ１において一様な値でなくてもよく、第１領域Ｂ１内で異なる値のゲインを設定してもよい。制御部３４は、例えば、検出した撮像画角内の明るさによって、第１領域Ｂ１における領域ごとに異なるゲインを設定する。監視画像信号を増幅するゲインの値を第１領域Ｂ１の中で異ならせるのは、環境の明るさが明るい領域、暗い領域にそれぞれ適した監視画像を得るためである。
ステップＳ５４０において、制御部３４は、１フレームの撮像を行った撮像素子３２ａの第１領域Ｂ１から読み出した光電変換信号に基づく監視画像を生成してステップＳ５５０へ進む。ステップＳ５５０において、制御部３４は画像処理部３３へ指示を送り、監視画像のデータに対して所定の画像処理を行わせてステップＳ５６０へ進む。画像処理は、例えば画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理等を含む。ステップＳ５６０において、制御部３４は送受信部３８へ指示を送り、画像処理後の監視画像のデータをサーバ２へ送信させてステップＳ５７０へ進む。
なお、ステップＳ５８０における画像処理は、カメラ側１０で行わず、サーバ２側で行ってもよい。
ステップＳ５７０において、制御部３４は、１フレームの撮像を行った撮像素子３２ａの第２領域Ｂ２から読み出した光電変換信号に基づく第２画像を生成してステップＳ５８０へ進む。なお、ステップＳ５７０において、第２画像を生成するにあたり、次のような処理を行う。まず制御部３４は、撮像素子３２ａの第１領域Ｂ１に基づいて生成した監視画像から監視画像内にいる被写体の検出を行う。次に制御部３４は、検出された被写体の明るさを監視画像から検出する。そして、制御部３４は、検出された被写体の明るさに基づいて、被写体を撮像する第２露光時間を設定し、第２画像の生成を行う。
なお、第２画像の第２露光時間の設定は上記のように行わず、監視画像で設定した露光時間に基づいて決定してもよい。すなわち、制御部３４は、監視画像の露光時間よりも長くなるように、第２画像の第２露光時間を設定してもよい。
ステップＳ５８０において、制御部３４は画像処理部３３へ指示を送り、第２画像のデータに対して所定の画像処理を行わせてステップＳ５９０へ進む。画像処理は、例えば画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理等を含む。ステップＳ５９０において、制御部３４は送受信部３８へ指示を送り、画像処理後の第２画像のデータをサーバ２へ送信させてステップＳ６００へ進む。
なお、ステップＳ５８０における画像処理は、カメラ側１０で行わず、サーバ２側で行ってもよい。
ステップＳ６００において、制御部３４は、終了処理が指示されたか否かを判断する。制御部３４は、例えば、サーバ２より終了コマンドを受信した場合にステップＳ６００を肯定判定して図２３による処理を終了する。制御部３４は、終了処理が指示されない場合には、ステップＳ６００を否定判定してステップＳ５４０へ戻る。ステップＳ５４０へ戻った場合、制御部３４は、上述した処理を繰り返す。
なお、ステップＳ５４０〜ステップＳ５６０と、ステップＳ５７０〜ステップＳ５９０との順序を変えて、ステップＳ５７０〜ステップＳ５９０を先に行ってもよい。これは、第１領域、第２領域のそれぞれで撮像されたタイミングで、適宜画像処理、サーバへの送信を行えばよい。
＜サーバ２の処理＞
サーバ２は、図２３による処理を実行する。図２３のステップＳ７１０において、サーバ２は、カメラ１０から監視画像のデータを受信したか否かを判定する。サーバ２は、カメラ１０から監視画像のデータを受信した場合にステップＳ７１０を肯定判定してステップＳ７２０へ進む。サーバ２は、カメラ１０から監視画像のデータを受信しない場合には、ステップＳ７１０を否定判定してステップＳ７４０へ進む。
ステップＳ７２０において、サーバ２は、例えばカメラ１０から送信された監視画像のデータに基づき、モニタ３の画面に監視画像を表示させてステップＳ７３０へ進む。ステップＳ７３０において、サーバ２は、監視画像のデータを記憶装置に記録してステップＳ７４０へ進む。これにより、カメラ１０によって撮像された監視画像のデータが、サーバ２に蓄積される。
ステップＳ７４０において、サーバ２は、カメラ１０から第２画像のデータを受信したか否かを判定する。サーバ２は、カメラ１０から第２画像のデータを受信した場合にステップＳ７４０を肯定判定してステップＳ７５０へ進む。サーバ２は、カメラ１０から第２画像のデータを受信しない場合には、ステップＳ７４０を否定判定してステップＳ７６０へ進む。
ステップＳ７５０において、サーバ２は、第２画像のデータを記憶装置に記録してステップＳ７６０へ進む。これにより、カメラ１０によって撮像された第２画像のデータが、サーバ２に蓄積される。
ステップＳ７６０において、サーバ２は、終了処理が指示されたか否かを判断する。サーバ２は、例えば、オペレータにより終了操作が行われた場合にステップＳ７６０を肯定判定して図２３による処理を終了する。制御部３４は、終了操作が行われない場合には、ステップＳ７６０を否定判定してステップＳ７１０へ戻る。ステップＳ７１０へ戻った場合、サーバ２は、上述した処理を繰り返す。
なお、ステップＳ７１０〜ステップＳ７３０と、ステップＳ７４０〜ステップＳ７５０との順序を変えて、ステップＳ７４０〜ステップＳ７５０を先に行ってもよい。これらステップに対する処理は、カメラ１０から画像が送信されたタイミングで、適宜処理を行えばよい。
以上説明した第２の実施の形態によれば、次の作用効果が得られる。
（１）カメラ１０の撮像素子３２ａは、撮像面上の画素領域に複数の画素が配置されており、被写体を撮像する。撮像素子３２ａは、複数の画素のうち、撮像して監視画像信号を生成する第１領域Ｂ１と、複数の画素のうち、監視画像信号に基づく監視画像によって検出された被写体に対して設定された第２露光時間で撮像し、被写体に関する情報が抽出される第２画像信号を生成する第２領域Ｂ２とを有する。これにより、監視画像によって被写体を検出し、検出された被写体に対して適切に設定された露光時間で撮像された第２画像信号を生成することができるため、ノイズが少ない画像を生成することができる。
（２）撮像素子３２ａの第１領域Ｂ１は、第２画像信号を生成する第２領域Ｂ２よりもゲインを上げて、監視画像信号を生成するので、暗い環境化でも明るい監視用画像を得られ、対象物が速く移動する場合でもブレが少ない監視用画像を得ることができる。すなわち、対象物を検出しやすい画像が得られる。
（３）撮像素子３２ａの第２領域Ｂ２は、監視画像信号に基づいて第２露光時間が設定されるので、監視用画像に写る対象物を検出するために適した第２露光時間によって、検出用の第２画像を得ることができる。
（４）撮像素子３２ａの第１領域Ｂ１は、取得された第１領域Ｂ１内の明るさに基づいて、監視画像信号を増幅するゲインの値を第１領域Ｂ１内で異ならせることができる。これにより、環境の明るさが明るい領域で監視用画像が飽和することによって対象物が飽和したり、環境の明るさが暗い領域で監視用画像が黒潰れすることによって対象物が判らなくなってしまうことを避けることができる。
（５）撮像素子３２ａの第１領域Ｂ１は、第２領域Ｂ２よりもフレームレートを高くして撮像できる。これにより、監視用画像において、動きの速い対象物を正確に捉えることが可能になる。
なお、ステップＳ５７０において、制御部３４が、撮像素子３２ａの第１領域Ｂ１に基づいて生成した監視画像から監視画像内にいる被写体を複数検出した場合、制御部３４は、第２画像の第２露光時間の設定を各被写体ごとに異ならせて設定してもよい。各被写体ごとに明るさが異なる場合があるため、被写体の領域ごとに露光時間を設定した方が、各被写体を明るく撮像することができるようになる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（第２の実施の形態の変形例１）
第２画像に基づいて関連情報（ログ情報とも称する）を生成してもよい。ログ情報は、第２画像に基づいて抽出した監視対象物を撮像した時刻と、監視対象物とを関連づける情報のことをいう。第２の実施の形態の変形例１に係る監視カメラシステムの構成は、第２の実施形態の監視カメラシステムの全体構成（図２１）と同様である。第２の実施の形態の変形例１に係るカメラ１０は、以下に説明する機能を備える。
＜カメラの説明＞
図２４は、第２の実施の形態の変形例１に係る監視カメラシステムのカメラ１０の構成を例示するブロック図である。図２４のカメラ１０は、第２の実施形態のカメラ１０（図２２）と同様に、撮像光学系３１と、撮像部３２と、画像処理部３３と、操作部材３６と、送受信部３８と、記憶部３９とを有する。また、図２４のカメラ１０は、制御部３４Ｓを備え、この制御部３４Ｓに情報生成部３４ｆが設けられている点において、第２の実施形態のカメラ１０（図２２）と相違する。このため、図２２のカメラ１０と相違する点を中心に説明を行う。
制御部３４Ｓは、カメラ１０による全体の動作を制御する。制御部３４Ｓの領域抽出部３４ａ、設定部３４ｂ、撮像制御部３４ｃ、およびＡＦ演算部３４ｄについては、図２２のカメラ１０と同様であるため、説明を省略する。
制御部３４Ｓの情報生成部３４ｆは、検出用の第２画像に基づいて監視対象物を抽出した場合、抽出した監視対象物を撮像した時刻と、監視対象物とを関連づけるログ情報を生成する。生成したログ情報は、送受信部３８によって、監視画像のデータとともにサーバ２へ送られる。すなわち、第２の実施の形態の変形例１では、監視画像のデータのみならず、第２画像に基づいて生成したログ情報もサーバ２へ送られる。サーバ２は、上記監視画像のデータと、上記ログ情報とをサーバ２の記憶装置に記録する。
第２の実施の形態の変形例１に係る監視カメラシステムでは、カメラ１０で取得された監視画像をサーバ２に蓄積するとともに、モニタ３に再生表示させる。また、第２の実施の形態の変形例１に係る監視カメラシステムでは、カメラ１０で取得された第２画像を、監視画像に写る被写体（監視対象物）を検出するために使用する。第２画像および監視画像は並行して撮像されるため、第２画像で監視対象物が写っている時刻には、この第２画像と並行して撮像された監視画像にも監視対象物が写っていると考えられる。したがって、上記ログ情報によって関連付けられた時刻の前後に撮像された監視画像を用いて、以下のように、監視画像に写る監視対象物を検出する。
例えば、記憶装置に蓄積されている過去の監視画像をオペレータがモニタ３に再生表示させる場合に、サーバ２が、上記ログ情報に基づいて第２画像に撮像されている監視対象物の情報（例えばリスト）を前もってモニタ３に表示させる。オペレータ操作によってリストから監視対象物の一つ（二つ以上でもよい）が選択されると、サーバ２は、上記ログ情報を参照して、選択された監視対象物が撮像されている時間帯の監視画像をモニタ３に再生表示させる。サーバ２は、例えばサーバ２内に蓄積された動画像のうち、選択された監視対象物が写っているフレームの部分だけをモニタ３に表示させてもよい。
このように、第２画像から抽出した監視対象物を撮像した時刻と、監視対象物とを関連づけるログ情報を生成し、このログ情報を監視画像のデータとともに記録、蓄積することにより、監視画像の参照性を向上させることができる。
＜フローチャートの説明＞
第２の実施の形態の変形例１に係る監視カメラシステムによる処理手順について、図２５のフローチャートを参照して説明する。図２５において、左側にカメラ１０による処理の流れを示し、右側にサーバ２による処理の流れを示す。
＜カメラ１０の処理＞
カメラ１０の制御部３４は、例えば、電源が供給されると、図２５による処理を開始する。図２５のフローチャートは、図２３のフローチャートに比べてステップＳ５８５およびＳ５９５が追加され、ステップＳ５９０が省略されている点において相違するので、これらの相違点を中心に説明する。
ステップＳ５８０の次に進むステップＳ５８５において、制御部３４は、第２画像に基づいて上記のログ情報を生成してステップＳ５９５へ進む。ステップＳ５９５において、制御部３４は送受信部３８へ指示を送り、監視画像のデータおよびログ情報をサーバ２へ送信させてステップＳ６００へ進む。制御部３４が実行する他の処理は、図２３の処理と同様である。
以上の説明では、カメラ１０の制御部３４の情報生成部３４ｆによってログ情報の生成を行うようにしたが、サーバ２においてログ情報の生成を行ってもよい。サーバ２でログ情報を生成する場合は、制御部３４は、ステップＳ５８５の処理を行わない。そして、ステップＳ５９５の処理に代えて、制御部３４が送受信部３８へ指示を送り、監視画像のデータおよび第２画像のデータをサーバ２へ送信させてステップＳ６００へ進む。
＜サーバ２の処理＞
サーバ２は、図２５による処理を実行する。図２５のフローチャートは、図２３のフローチャートに比べてステップＳ７３０Ｂ、およびＳ７７０〜Ｓ７９０が追加され、ステップＳ７３０〜Ｓ７５０が省略されている点において相違するので、これらの相違点を中心に説明する。
ステップＳ７２０の次に進むステップＳ７３０Ｂにおいて、サーバ２は、監視画像のデータ、およびログ情報を記憶装置に記録してステップＳ７７０へ進む。これにより、カメラ１０によって撮像された監視画像のデータとログ情報とが、サーバ２に蓄積される。
ステップＳ７７０において、サーバ２は、過去の監視画像を表示するか否かを判定する。サーバ２は、例えば、オペレータによって過去の監視画像をモニタ３に再生表示させる操作が行われた場合に、ステップＳ７７０を肯定判定してステップＳ７８０へ進む。サーバ２は、オペレータによって過去の監視画像をモニタ３に再生表示させる操作が行われない場合には、ステップＳ７７０を否定判定してステップＳ７６０へ進む。
ステップＳ７８０において、サーバ２は、ログ情報に基づいて、例えば、指定された日時、および指定されたカメラ１０によって撮像された第２画像に撮像されている監視対象物のリストをモニタ３に表示させて、ステップＳ７９０へ進む。ステップＳ７９０において、サーバ２は、リストのうちの、選択された監視対象物が撮像されている時間帯に対応する監視画像をモニタ３へ表示させて、ステップＳ７６０へ進む。サーバ２が実行する他の処理は、図２３の処理と同様である。
サーバ２でログ情報を生成する場合において、サーバ２は、カメラ１０から送信された第２画像がある程度溜まった段階で、適宜ログ情報を生成するとよい。すなわち、サーバ２は、ステップＳ７３０Ｂの処理に代えて、以下の処理を行う。サーバ２は、カメラ１０から送信された第２画像のデータに基づいて上記のログ情報を生成する。そして、サーバ２は、監視画像のデータ、およびログ情報を記憶装置に記録してステップＳ７７０へ進む。これにより、カメラ１０によって撮像された監視画像のデータとログ情報とが、サーバ２に蓄積される。
また、サーバ２による制御として、ステップＳ７１０〜ステップＳ７３０の処理を実行せずに、ステップＳ７７０〜ステップＳ７９０およびＳ７６０までの処理のみを実行してもよい。
なお、サーバ２は、カメラ１０から送信された第２画像がある程度溜まった段階で、適宜ログ情報を生成としたが、カメラ１０から第２画像が送信された段階で、逐一ログ情報を生成してもよい。
以上説明した第２の実施の形態の変形例１によれば、次の作用効果が得られる。
（１）監視カメラシステムのカメラ１０は、撮像素子３２ａと、サーバ２と通信を行う送受信部３８と、第２画像信号と監視画像信号とを送受信部３８を介してサーバ２に送信する制御部３４を備えるので、撮像素子３２ａで生成された第２画像信号と監視画像信号とをサーバ２へ送信できる。
（２）例えば、サーバ２では、第２画像から抽出した監視対象物を撮像した時刻と、監視対象物とを関連づけるログ情報を生成し、このログ情報を監視画像のデータとともに記録、蓄積することが可能になる。この結果として、蓄積された監視画像を、後から参照しやすくすることができる。すなわち、ログ情報を参照して、容易に監視画像から監視対象物を探し出すことができる。
（第２の実施の形態の変形例２）
図２６(a)は、第２の実施の形態の変形例２における撮像素子３２ａの画素領域の部分拡大図であり、単位領域１３１のカラーフィルタ配列を説明する図である。図２６(a)の単位領域１３１は、赤外画素ＩＲ、青色画素Ｂ、赤色画素Ｒ、および緑色画素Ｇｒの４画素から成る配列を内包する。緑色画素Ｇｒは、カラーフィルタとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Ｂは、カラーフィルタとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。赤外画素ＩＲは、カラーフィルタとして赤外光フィルタを有する画素であり、入射光のうち赤外波長帯の光を受光する。
監視カメラシステムの用途として、屋外を終日定点撮影する場合がある。屋外撮影では、日中に比べて明るさが不足する夜間において、カメラ１０で取得される監視画像のＳ／Ｎ比が低下する。明るさが不足する場合、カメラ１０で撮像される範囲を照明する可視光源を設けることにより、カメラ１０で明るい監視画像を撮像することが可能になる。しかしながら、周囲の環境によっては可視光源を点灯することが好ましくないケースがある。
このような場合には、可視光源に代わる赤外光源によってカメラ１０で撮像される範囲を照明する。そして、カメラ１０には、上記赤外画素ＩＲを有する撮像素子３２ａが備わる。赤外光源を点灯させて、カメラ１０によって赤外画像を撮像すれば、夜間の屋外で明るい監視画像を取得することができる。
カメラ１０の制御部３４は、環境の明るさに応じて、撮像素子３２ａによりＲＧＢ表色系の画像を取得させるか、あるいは赤外画像を取得させるかを切り換える。例えば、環境の明るさが所定の明るさ以上である場合は、制御部３４は撮像素子３２ａにＲＧＢ表色系の画像のみを取得させる。また、制御部３４は、環境の明るさが所定の明るさに満たなければ、撮像素子３２ａに赤外画像を取得させる。
図２７は、カメラ１０の制御部３４が、ＲＧＢ表色系の画像を取得するか、赤外画像を取得するかを判断する処理を説明するフローチャートである。制御部３４は、図１１のステップＳ３１０の次に図２７による処理を実行する。図２７のステップＳ３１２において、制御部３４は、環境の明るさを取得してステップＳ３１４へ進む。
環境の明るさの取得については、撮像部３２と別に設けた測光装置による測光結果に基づいて明るさを取得してもよいし、例えば、撮像素子３２ａの第１領域Ｂ１で明るさ取得用の撮像を行わせて、この場合に取得された明るさ取得用の画像に基づいて明るさを取得してもよい。この場合には、撮像素子３２ａは、単位領域１３１の青色画素Ｂ、赤色画素Ｒ、および緑色画素Ｇｒによって可視光域の画像（ＲＧＢ表色系の画像）を撮像し、この画像に基づき、環境の明るさが取得される。
図２７のステップＳ３１４において、制御部３４は、環境の明るさが所定の明るさより明るいか否かを判定する。制御部３４は、環境の明るさが所定の明るさよりも明るい場合にステップＳ３１４を肯定判定してステップＳ３１６へ進み、環境の明るさが所定の明るさ未満である場合にステップＳ３１４を否定判定してステップＳ３１８へ進む。
ステップＳ３１６において、制御部３４は、図２６(a)の青色画素Ｂ、赤色画素Ｒ、および緑色画素Ｇｒに基づき、ＲＧＢ表色系の画像を取得する設定を行ってステップＳ３２０へ進む。ステップＳ３１８において、制御部３４は、図２６(a)の赤外画素ＩＲに基づき、赤外画像を取得する設定を行ってステップＳ３２０へ進む。
なお、環境の明るさが所定の明るさに満たない場合は、カメラ１０で撮像される範囲を照明する赤外光源が点灯されるものとする。図２７に例示した処理を行うことにより、撮像素子３２ａによるＲＧＢ表色系の画像の取得と、赤外画像の取得とを適切に切り換えることができる。
カメラ１０は、赤外画像の取得に切り替えられた場合に、撮像素子３２ａの第１領域Ｂ１の赤外画素ＩＲに基づき、赤外画像として監視画像（第１画像）を取得するとともに、撮像素子３２ａの第２領域Ｂ２の赤外画素ＩＲに基づき、赤外画像として第２画像を取得する。上述したように、監視画像はモニタ３に再生表示される画像である。また、第２画像は監視画像に写る被写体（監視対象物）を検出するための画像である。
第２の実施の形態の変形例２において、制御部３４は、撮像素子３２ａの第１領域Ｂ１および第２領域Ｂ２の赤外画素ＩＲに基づいて赤外画像を取得する場合には、撮像素子３２ａの第１領域Ｂ１および第２領域Ｂ２の青色画素Ｂ、赤色画素Ｒ、および緑色画素Ｇｒに基づくＲＧＢ表色系の画像の取得を停止させる。ＲＧＢ表色系の画像の取得が停止された場合には、赤外画像である監視画像がモニタ３に再生表示される。赤外画像は色の情報を含まないので、モニタ３に表示されるのは、赤外光の明るさに基づいた輝度分布画像である。
カメラ１０が赤外画素ＩＲに基づく赤外画像を取得する場合において、制御部３４は、第１の実施の形態の場合と同様に、ブレに基づいて、撮像素子３２ａの第２領域Ｂ２に含まれる赤外画素ＩＲに対し、検出用の第２画像を得るための第２露光時間を決定してよい。
また、制御部３４は、赤外画素ＩＲに基づいて第１の実施の形態の変形例５で説明した第３画像を取得することにより、第３画像から得られる明るさに基づいて第２画像を得るための第２露光時間を決定してよい。第３画像は暗い環境下でも短時間で取得できるので、撮像素子３２ａの第２領域Ｂ２に含まれる赤外画素ＩＲに対し、第２画像を取得するための第２露光時間の設定を早く行うことができるようになる。
第２の実施の形態の変形例２によれば、赤外画像として第２画像を取得するように構成したので、可視光域の明るさが不足する状況でも、第２画像を好適に撮像することができる。例えば、赤外画素ＩＲに対して長い第２露光時間を設定して赤外画像を取得する場合には、カメラ１０で撮像される範囲を照明する赤外光源の発光量を抑えることができる。
（第２の実施の形態の変形例３）
第２の実施の形態の変形例３において、制御部３４は、赤外画素ＩＲに基づく赤外画像を取得させる場合に、青色画素Ｂ、赤色画素Ｒ、および緑色画素Ｇｒに基づくＲＧＢ表色系の画像も取得させる。ＲＧＢ表色系の画像も取得するので、赤外画像を取得中にも、ＲＧＢ表色系の監視画像をモニタ３に再生表示することができる。
カメラ１０は、可視光域の明るさが不足する状況において、撮像素子３２ａの第１領域Ｂ１および第２領域Ｂ２の赤外画素ＩＲに基づいて、赤外画像としての監視画像、および赤外画像としての第２画像を取得するとともに、撮像素子３２ａの第１領域Ｂ１の青色画素Ｂ、赤色画素Ｒ、および緑色画素Ｇｒに基づいて、ＲＧＢ表色系の監視画像を取得する。上述したように、監視画像はモニタ３に再生表示させる画像である。また、第２画像は監視画像に写る被写体（監視対象物）を検出するための画像である。
第２の実施の形態の変形例３において、制御部３４は、図２６(a)の単位領域１３１内の画素ＩＲ、Ｂ、Ｒ、Ｇｒに対してそれぞれ撮像条件を設定する。制御部３４は、撮像素子３２ａの第１領域Ｂ１の画素Ｂ、Ｒ、Ｇｒに対し、例えば、環境の明るさが不足する場合に適した露光時間（およびゲイン）を設定する。また、上記第１領域Ｂ１の赤外画素ＩＲに対し、赤外光源によって照明される場合に適した露光時間（およびゲイン）を設定する。さらにまた、撮像素子３２ａの第２領域Ｂ２の赤外画素ＩＲに対し、赤外光源によって照明される場合に適した露光時間（およびゲイン）を設定する。
赤外画素ＩＲと、画素Ｂ、Ｒ、Ｇｒとでは、異なった露光時間を設定することができる。このように、単位領域１３１内の青色画素Ｂ、赤色画素Ｒ、および緑色画素Ｇｒの露光時間（およびゲイン）と赤外画素ＩＲの露光時間（およびゲイン）とを異ならせる場合には、可視光用の単位領域には、青色画素Ｂ、赤色画素Ｒ、および緑色画素Ｇｒの３画素を内包し、赤外光用の単位領域には、赤外画素ＩＲの１画素を内包するとよい。
また、カメラ１０が赤外画像（監視画像および第２画像）と、ＲＧＢ表色系の監視画像との双方を取得する場合において、ＲＧＢ表色系の監視画像の取得については、赤外画像より高いＩＳＯ感度を設定して撮像を行って、なるべく明るいＲＧＢ表色系の画像を撮像する。
また、ＲＧＢ表色系の監視画像については、ＩＳＯ感度を高く設定して撮像しているため、第１露光時間を短くして撮像する。なお、第１露光時間をブレない程度に長くして、なるべく明るいＲＧＢ表色系の画像を撮像してもよい。
赤外画像より高いＩＳＯ感度とは、例えば、上記第２領域Ｂ２により赤外画像の第２画像を撮像する場合のＩＳＯ感度よりも高い設定値、または、上記の赤外画素ＩＲに基づいて第３画像を撮像する場合のＩＳＯ感度よりも高い設定値でもよい。ＲＧＢ表色系の監視画像と赤外画像である第２画像との双方を取得する場合は、被写体とみられる領域の抽出を赤外画像である第２画像に基づいて行う。そこで、ＲＧＢ表色系の監視画像は、被写体領域の検出に用いないため、ＲＧＢ表色系の監視画像のＩＳＯ感度を赤外画像より高く設定する。この理由は、ＲＧＢ表色系の監視画像は視認できればよく、ＩＳＯ感度を赤外画像より高く設定してノイズが生じても構わないからである。
第２の実施の形態の変形例３によれば、色の情報を有するＲＧＢ表色系の監視画像を取得するようにしたので、ユーザにとって視認しやすい監視画像をモニタ３に表示させることができる。
また、赤外画像として第２画像を取得するように構成したので、可視光域の明るさが不足する状況でも、第２画像を好適に撮像することができる。例えば、赤外画素ＩＲに対して長い第２露光時間を設定して赤外画像を取得する場合には、被写体の領域を好適に検出することができる。
また、制御部３４は、カメラ１０が撮像素子３２ａの赤外画素ＩＲに基づく赤外画像と、画素Ｂ、Ｒ、Ｇｒに基づくＲＧＢ表色系の画像との双方を取得する場合において、赤外画像による明るさの情報を用いてＲＧＢ表色系の画像を補正してもよい。例えば、環境の明るさが不足する状況では、設定によっては、暗いＲＧＢ表色系の監視画像が取得される場合が想定される。暗いＲＧＢ表色系の監視画像は、モニタ３に表示させた場合にユーザにとって視認しづらいものとなる。
そこで、制御部３４は、ＲＧＢ表色系の監視画像が暗い場合に、赤外画像の明るさの情報を用いて、ＲＧＢ表色系の監視画像を明るく補正する。このようにＲＧＢ表色系の監視画像の明るさを補正することによって、ユーザにとって視認しやすい監視画像をモニタ３に表示させることができる。
また、制御部３４は、カメラ１０が撮像素子３２ａの赤外画素ＩＲに基づく赤外画像と、画素Ｂ、Ｒ、Ｇｒに基づくＲＧＢ表色系の画像との双方を取得する場合において、画素Ｂ、Ｒ、Ｇｒに基づき、第１の実施の形態の変形例５で説明した第３画像を取得することによって、ＲＧＢ表色系の第３画像から得られる明るさに基づいて赤外画像の第２画像を取得するための第２露光時間を決定してもよい。
例えば、制御部３４は、撮像素子３２ａの第１の領域Ｂ１の画素Ｂ、Ｒ、Ｇｒに基づいて、第１の実施の形態の変形例５で説明した第３画像を取得する。そして、制御部３４は、ＲＧＢ表色系の第３画像から得られる明るさに基づいて、第２領域Ｂ２の赤外画素ＩＲに基づいて第２画像を得るための第２露光時間を決定する。
このような制御を行うことによって、第２領域Ｂ２に含まれる赤外画素ＩＲに対し、赤第２画像を取得するための第２露光時間の設定を早く行うことができる。
（第２の実施の形態の変形例４）
以上の説明では、図２６(a)に例示した単位領域１３１を有する撮像素子３２ａの場合を説明したが、赤外画素ＩＲのみを有する単位領域１３１を有する撮像素子３２ａであってもよい。図２６(b)は、赤外画素ＩＲのみを有する撮像素子３２ａの画素領域の部分拡大図である。図２６(b)の単位領域１３１は、赤外画素ＩＲのみの４画素を内包する。
図２６(b)の単位領域１３１のみが配列される撮像素子３２ａでは、赤外画像のみが撮像される。この場合においても、第１の実施の形態の場合と同様に、ブレに基づいて、赤外画像（第２画像）を得るための第２露光時間を決定してよい。また、第１の実施の形態の変形例５で説明した第３画像を取得することにより、第３画像から得られる明るさに基づいて赤外画像（第２画像）を得るための第２露光時間を決定してよい。このような制御を行うことによって、第２領域Ｂ２に含まれる赤外画素ＩＲに対し、赤外画像（第２画像）を取得するための第２露光時間の設定を早く行うことができるようになる。
第２の実施の形態の変形例４によれば、赤外画像（第２画像）を取得するように構成したので、可視光域の明るさが不足する状況でも、好適に撮像することができる。例えば、赤外画素ＩＲに対して長い第２露光時間を設定して赤外画像を取得する場合には、被写体の領域を好適に検出することができる。
（第２の実施の形態の変形例５）
第２の実施の形態による監視カメラシステムにおいて、監視画像に写る被写体、例えば監視対象物を検出するだけでなく監視対象物を認識したい場合がある。そこで、例えば特定の人物、動物、物などを、第２画像に基づいて認識する。
このような認識処理の一例として、例えば、テンプレートの画像（または特徴量）を用いる手法がある。テンプレート画像や特徴量のデータは、あらかじめカメラ１０の制御部３４内に格納しておくか、カメラ１０の制御部３４がネットワーク５を介してサーバ２（あらかじめテンプレート画像や特徴量のデータを格納しておく）から取得する。テンプレート画像は、例えば、特定の環境や撮像条件の下で監視対象物を撮像した画像である。そのため、テンプレート画像に含まれる監視対象物と、監視カメラシステムのカメラ１０で撮像された検出用の第２画像に含まれる被写体とを比較する場合、テンプレート画像に含まれる監視対象物の明るさと、検出用の第２画像に含まれる被写体の明るさとが異なる場合がある。このような場合、被写体（監視対象物）を認識する精度が落ち、場合によっては誤認識を引き起こすことも想定される。
上記の誤認識を避けるために、検出用の第２画像を撮像する上で、第２露光時間の設定を、テンプレート画像の明るさと同じになるような第２露光時間に設定してもよい。つまり、監視画像（またはスルー画像）で被写体が検出された後、テンプレート画像の明るさがＸという値であれば、検出用の第２画像を撮像する際に外部環境等を考慮して、撮像される被写体の明るさがＸという値になるように第２露光時間を設定する。
このように制御することによって、検出用の第２画像と、テンプレートの画像との明るさが同じになるため、被写体の認識精度を高めることができる。
なお、監視カメラ１０を例に説明したが、第１の実施の形態で説明した種々の電子機器に対し、第２の実施の形態およびその変形例の撮像素子３２ａを適用してもよい。
また、監視カメラ１０を例に監視用途として説明したが、監視用途としては上記の例に限られず、医療用に病巣を監視検出する用途にも適用することができる。
−−第３の実施の形態−−
画像に写る被写体ごとに分割した領域を変更する機能を備えた画像処理装置を構成してもよい。図２８は、第３の実施の形態による画像処理装置５００を例示するブロック図である。画像処理装置５００は、例えばコンピュータシステムによって構成されており、操作部材５０１と、制御装置５０２と、メモリカードスロット５０３と、表示部５０４とを備えている。コンピュータシステムとは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。
操作部材５０１は、ユーザによって操作される種々の入力部材、例えばポインティングデバイス（マウス、タッチパッド等）やキーボードなどを含む。制御装置５０２は、演算部５０２ａ、メモリ、およびその他の周辺回路により構成され、画像処理装置５００の動作を制御する。
制御装置５０２を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは揮発性のメモリであって、演算部５０２ａがプログラム実行時にプログラムを展開するためのワークメモリとして使用される。また、ＳＤＲＡＭは、データを一時的に記憶するためのバッファメモリとしても使用される。
フラッシュメモリは不揮発性のメモリであって、演算部５０２ａが実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどを記録することができる。
制御装置５０２は、プログラムに基づき、メモリカードスロット５０３に挿入されているメモリカードから読み出した画像信号に基づいて、表示部５０４に再生表示するための表示画像データを生成する。また、制御装置５０２は、表示画像データに基づいて、画像を複数に分割した領域を変更（あるいは補正）する。制御装置５０２は、上記変更後の領域を示す情報を、画像信号とともに含む画像ファイルを生成してもよい。生成した画像ファイルは、メモリカードに上書き、あるいは画像ファイルに名前を付して記録することもできる。
メモリカードスロット５０３は、記憶媒体としてのメモリカードを挿入するためのスロットである。表示部５０４は、例えば液晶表示パネルによって構成される。表示部５０４は、上記表示画像データに基づく再生画像や、制御装置５０２を設定するための設定画面などを表示する。
画像処理装置５００は、例えば、画像に対するレタッチ処理を行う。レタッチは、画像の色や明るさ等の修正や、画像に写り込んだ不要物の除去など、画像に対する修正や加工をいう。レタッチは、画像の一部の領域ごとに行ってもよい。すなわち、画像の全体を一度に処理対象にするよりも、画像の一部（例えば被写体ごと）を処理対象にしたいこともある。
図２９は、画像処理装置５００でレタッチ処理を行う画像を例示する図である。図２９において、画像には、テーブル８１と、テーブル８１の上に置かれた器８２と、器８２に盛られた果物８３と、テーブル８１および果物８３の背後にある壁８５に設けられた窓８４とが含まれている。また、壁８５の右に側壁８６が、テーブル８１の右に床８７が、それぞれ写っている。
画像処理装置５００は、レタッチ処理の対象にする画像の領域を切り替える。例えば、第１の実施の形態に係るカメラ１の設定部３４ｂと同様に、被写体の領域ごとに画像を分割し、分割した個々の領域をレタッチ処理の対象にする。図２９に例示した画像の場合、例えば、テーブル８１と、器８２と、果物８３と、窓８４と、壁８５と、側壁８６と、床８７とに分割されている。
しかしながら、画像処理装置５００によって分割された領域とは異なる範囲を対象にレタッチ処理を行いたい場合がある、例えば、ユーザが、器８２と果物８３とを一つの被写体領域としてレタッチ処理の対象にしたい場合を説明する。この場合、画像処理装置５００は、画像の分割によって器８２と果物８３とに分けた領域を、一つの領域にまとめるように変更する。そして、一つにまとめた領域を対象にレタッチ処理を行う。
画像処理装置５００の演算部５０２ａは、ユーザにより操作部材５０１を介してプログラムの起動操作が行われると、レタッチ処理プログラムを起動させる。そして、演算部５０２ａは、メモリカードスロット５０３に挿入されているメモリカードから読み出した画像信号に基づく再生画像を表示部５０４に表示させる。
次に、演算部５０２ａは、表示部５０４に領域の表示を行わせる。すなわち、演算部５０２ａは、図２９に例示した画像のうち、レタッチ処理の対象とする領域を強調表示させる。演算部５０２ａは、強調表示する領域（すなわちレタッチ対象領域）を、表示部５０４の画面上で、ユーザ操作によって指定された位置に基づいて選択する。例えば、ユーザによってマウスのボタンが押下操作された時点で表示部５０４に表示中のポインタの位置を含む被写体の領域を選択する。
演算部５０２ａは、終了操作が行われた（例えば、キーボードの所定キーが操作された）場合に、レタッチ処理プログラムを終了する。
＜領域変更処理＞
演算部５０２ａは、ユーザ操作に基づき、ある被写体の領域に別の領域を追加したり、ある被写体の領域から一部の領域を削除したりする。演算部５０２ａが分割した領域の範囲を変更する理由は、演算部５０２ａが共通の被写体として扱う（例えば、同じレタッチ処理を適用する）範囲を変更するためである。領域の範囲を変更する処理は、上述した第１の実施の形態の変形例１２〜変形例１７の場合と同様に行ってよい。
以上説明した第３の実施の形態によれば、図２９の被写体の領域のうち、ユーザ操作に基づいて選択した領域（例えば器８２の領域）が、果物８３の領域と一つの領域として扱う追加判定する領域か、果物８３の領域と別個の領域として扱う削除判定する領域かを判定する。これにより、果物８３の領域に器８２の領域を追加するモードに切り換えたり、あるいは、果物８３の領域から器８２の領域を削除するモードに切り替えたりすることなしに、器８２の領域の追加または削除を行うことができる。
演算部５０２ａは、例えば、第１の実施の形態の変形例１２において用いたフラグを示す情報を制御装置５０２内のメモリに記録する。そして、演算部５０２ａは、追加候補を追加したとき、または削除候補を削除したときに、フラグを示す情報を逐次更新する。例えば、果物８３の領域に器８２の領域を追加した場合は、器８２についてのフラグを１にする情報をメモリに記録する。また、果物８３の領域から器８２の領域を削除した場合は、器８２についてのフラグを０にする情報をメモリに記録する。
上記の説明では、ユーザ操作が、ポインティングデバイスとしてマウスを操作することによって行われる例を説明したが、タッチ操作可能な表示パネルによって構成される表示部５０４へのタッチ操作等を、ユーザ操作として受け付けてもよい。タッチ操作によるタッチ位置として、本実施の形態におけるポインティングデバイス（マウス、タッチパッド等）によるボタン操作が行われた時点に表示中のポインタ（カーソル等）の位置を用いてもよい。
また、フリック操作によるフリック操作開始位置、フリック操作終了位置として、本実施の形態におけるポインティングデバイス（マウス、タッチパッド等）によるドラッグ操作の開始時のポインタ位置、ドラッグ操作の終了時のポインタ位置を用いてもよい。
（第３の実施の形態の変形例）
表示部５０４をタッチ操作可能な表示パネルで構成する場合において、第１の実施の形態の変形例１２〜変形例１７の内容についても、第３の実施の形態に適用してもよい。これにより、第１の実施の形態の変形例１２〜変形例１７の場合と同様の作用効果を得ることができる。
（プログラムの供給）
上述した画像処理装置５００を構成するコンピュータシステムへのプログラムの供給は、例えば図３０に例示するように、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４を画像処理装置５００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法で画像処理装置５００へローディングしてもよい。通信回線２０１を経由する場合は、当該通信回線に接続されたサーバー２０２のストレージ装置２０３などにプログラムを格納しておく。
また、通信回線２０１に接続された無線ＬＡＮのアクセスポイント（不図示）を経由して、画像処理装置５００へプログラムを無線送信することもできる。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
１…カメラ
３２…撮像部
３２ａ、１００…撮像素子
３３…画像処理部
３４…制御部
３４ａ…領域抽出部
３４ｂ…設定部
３４ｃ…撮像制御部
３４ｄ…ＡＦ演算部
３５…表示部
１１１…撮像チップ
１１２…信号処理チップ
１１３…メモリチップ
１３１…単位領域
４１５…演算回路

Claims (35)

  1. 面上に複数の画素が配置され、被写体を撮像する撮像素子であって、
    前記複数の画素のうち、第１露光時間で撮像し、第１画像信号を生成する第１画素領域と、
    前記複数の画素のうち、前記第１露光時間より長い第２露光時間で撮像し、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域とを備え、
    前記第２領域は、取得した被写体の動きに関する情報に基づいて設定された前記第２露光時間で撮像を行う撮像素子。
  2. 請求項１に記載の撮像素子であって、
    前記第２露光時間は、さらに前記被写体が動く範囲に基づいて設定される撮像素子。
  3. 請求項２に記載の撮像素子であって、
    前記第２露光時間は、前記被写体の動きに関する情報が所定の閾値よりも小さい場合、第３露光時間に設定され、前記被写体の動きに関する情報が前記所定の閾値よりも大きい場合、前記被写体が動く範囲に基づいて第４露光時間に設定される撮像素子。
  4. 請求項３に記載の撮像素子であって、
    前記第４露光時間は、所定時間内に前記被写体が動く範囲が第１所定範囲よりも広い場合、前記第３露光時間よりも短い時間に設定される撮像素子。
  5. 請求項１から請求項４の少なくとも一項に記載の撮像素子であって、
    前記被写体の動きに関する情報は、前記第１画像信号に基づいて取得される撮像素子。
  6. 面上に複数の画素が配置され、被写体を撮像する撮像素子であって、
    前記複数の画素のうち、第１露光時間で撮像し、第１画像信号を生成する第１画素領域と、
    前記複数の画素のうち、前記第１露光時間より長い第２露光時間で撮像し、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域とを備え、
    前記第２領域は、さらに前記第２露光時間とは異なる第３露光時間で撮像を行い、前記第２露光時間で撮像され生成された前記第２画像信号と、前記第３露光時間で撮像され生成された第３画像信号とに基づいて、前記第２領域内の露光時間の設定を行う撮像素子。
  7. 請求項６に記載の撮像素子であって、
    前記第２領域は、前記第２画像信号に基づいて生成された画像と、前記第３画像信号に基づいて生成された画像とに含まれる被写体のブレに基づいて、前記第２領域内の露光時間の設定を行う撮像素子。
  8. 請求項６に記載の撮像素子であって、
    前記第２領域は、前記第２露光時間で撮像を行う画素領域と、前記第２露光時間とは異なる第３露光時間で撮像を行う画素領域とを有する撮像素子。
  9. 請求項８に記載の撮像素子であって、
    前記第２領域は、取得された前記被写体の動きに関する情報に基づいて、前記第２露光時間で撮像を行う画素領域と、前記第２露光時間とは異なる第３露光時間で撮像を行う画素領域とが設定される撮像素子。
  10. 面上に複数の画素が配置され、被写体を撮像する撮像素子であって、
    前記複数の画素のうち、第１露光時間で撮像し、第１画像信号を生成する第１画素領域と、
    前記複数の画素のうち、前記第１露光時間より長い第２露光時間で撮像し、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域と、
    前記複数の画素のうち、撮像を行い、第３画像信号を生成する第３画素領域とを備え、
    前記第２領域は、前記第３画像信号に基づく画像によって検出された前記被写体に対して前記第２露光時間が設定される撮像素子。
  11. 請求項１０に記載の撮像素子であって、
    前記第３画素領域は、前記第１画像信号、または前記第２画像信号よりもゲインを上げた第３画像信号を生成する撮像素子。
  12. 請求項１１に記載の撮像素子であって、
    前記第２領域は、前記第３画像信号に基づいて前記第２露光時間が設定される撮像素子。
  13. 請求項１１または請求項１２に記載の撮像素子であって、
    前記第３画素領域は、前記第２領域に含まれる領域であり、
    前記第２領域は、前記第３画像信号を生成する画素領域と、前記第２画像信号を生成する画素領域とを有する撮像素子。
  14. 請求項１１から請求項１３の少なくとも一項に記載された撮像素子であって、
    前記第３画素領域は、取得された前記第３画素領域内の明るさに基づいて、前記第３画像信号を増幅するゲインの値を前記第３画素領域内で異ならせる撮像素子。
  15. 請求項１０から請求項１４の少なくとも一項に記載の撮像素子であって、
    前記第３画素領域は、前記第１画像信号、または前記第２画像信号よりもフレームレートを高くして撮像し前記第３画像信号を生成する撮像素子。
  16. 面上に複数の画素が配置され、被写体を撮像する撮像素子であって、
    前記複数の画素のうち、第１露光時間で撮像し、第１画像信号を生成する第１画素領域と、
    前記複数の画素のうち、前記第１露光時間より長い第２露光時間で撮像し、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域とを備え、
    前記第２領域は、前記第２画像信号に対して、設定された第２ゲインで増幅し、
    前記第２ゲインは、前記第２露光時間に基づいて設定される撮像素子。
  17. 請求項１６に記載の撮像素子であって、
    前記第２ゲインは、前記第１画像信号に対して増幅される第１ゲインよりも小さい撮像素子。
  18. 面上に複数の画素が配置され、被写体を撮像する撮像素子であって、
    前記複数の画素のうち、第１露光時間で撮像し、第１画像信号を生成する第１画素領域と、
    前記複数の画素のうち、前記第１露光時間より長い第２露光時間で撮像し、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域とを備え、
    前記第２領域は、制御部による撮像開始の制御に基づいて撮像を行い、
    前記第２領域は、前記第１画像信号に基づく画像の明るさに基づいて、前記制御部による撮像開始の制御が行われ、撮像を行う撮像素子。
  19. 請求項１から請求項１８の少なくとも一項に記載の撮像素子であって、
    前記第１画像信号は、前記第１画像信号に基づく画像が生成され表示部に表示される撮像素子。
  20. 請求項１９に記載の撮像素子と、
    前記表示部とを備える電子機器。
  21. 請求項２０に記載の電子機器であって、
    前記第２露光時間を設定する制御部をさらに備える電子機器。
  22. 請求項２１に記載の電子機器であって、
    前記第２露光時間で撮像された第２画像信号に基づく画像に含まれる前記被写体の領域を抽出する抽出部をさらに備える電子機器。
  23. 請求項２２に記載の電子機器であって、
    前記抽出部によって抽出された前記被写体の領域ごとに撮像条件を設定する設定部と、
    前記設定部によって設定された撮像条件に基づいて、前記第１画素領域で撮像される撮像条件を制御する制御部とをさらに備える電子機器。
  24. 請求項２３に記載の電子機器であって、
    前記抽出部によって抽出された前記被写体の領域のうち、ユーザによって選択された選択領域を検出する検出部をさらに備え、
    前記制御部は、前記検出部によって検出された前記選択領域が第１処理を行う領域か第２処理を行う領域かを判定する電子機器。
  25. 請求項２４に記載の電子機器であって、
    前記制御部は、前記選択領域が前記第１処理を行う領域の場合、前記抽出部によって抽出された前記被写体の領域のうちの特定の被写体領域と前記選択領域とを１つの領域とする処理を行い、前記選択領域が前記第２処理を行う領域の場合、前記特定の被写体領域と前記選択領域とを異なる領域とする処理を行う電子機器。
  26. 請求項２５に記載の電子機器であって、
    前記設定部は、前記選択領域が前記第２処理を行う領域の場合に、前記特定の被写体領域の撮像条件を設定した場合、前記選択領域の撮像条件を前記特定の被写体領域の撮像条件と同じ撮像条件に設定する電子機器。
  27. 面上に複数の画素が配置され、被写体を撮像する撮像素子の撮像方法であって、
    前記複数の画素のうち第１画素領域において、第１露光時間で撮像し第１画像信号を生成し、
    前記複数の画素のうち第２領域において、前記第１露光時間より長い第２露光時間で撮像し前記被写体に関する情報が抽出される第２画像信号を生成し、
    前記第２露光時間は、取得した被写体の動きに関する情報に基づいて設定する撮像方法。
  28. 面上に複数の画素が配置され、被写体を撮像する撮像素子を制御するコンピュータに実行させるプログラムであって、
    前記複数の画素のうち第１画素領域において、第１露光時間で撮像し第１画像信号を生成させる処理と、
    前記複数の画素のうち第２領域において、前記第１露光時間より長い第２露光時間で撮像し前記被写体に関する情報が抽出される第２画像信号を生成させる処理とをコンピュータに実行させ、
    前記第２露光時間は、取得した被写体の動きに関する情報に基づいて設定するプログラム。
  29. 面上に複数の画素が配置され、被写体を撮像する撮像素子であって、
    前記複数の画素のうち、撮像を行い、第１画像信号を生成する第１画素領域と、
    前記複数の画素のうち、前記第１画像信号に基づく画像によって検出された前記被写体に対して設定された露光時間で撮像を行い、前記被写体に関する情報が抽出される第２画像信号を生成する第２領域とを備え、
    前記第１画素領域は、前記第２画像信号よりもゲインを上げた前記第１画像信号を生成する撮像素子。
  30. 請求項２９に記載の撮像素子であって、
    前記第２領域は、前記第１画像信号に基づいて前記露光時間が設定される撮像素子。
  31. 請求項２９または３０に記載の撮像素子であって、
    前記第１画素領域は、取得された前記第１画素領域内の明るさに基づいて、前記第１画像信号を増幅するゲインの値を前記第１画素領域内で異ならせる撮像素子。
  32. 請求項２９から請求項３１の少なくとも一項に記載の撮像素子であって、
    前記第１画素領域は、前記第２領域よりもフレームレートを高くして撮像する撮像素子。
  33. 請求項２９から請求項３２の少なくとも一項に記載の撮像素子と、
    他の電子機器と通信を行う通信部と、
    前記第２画像信号と前記第１画像信号とを前記通信部を介して前記他の電子機器に送信する制御部とをさらに備える電子機器。
  34. 面上に複数の画素が配置され、被写体を撮像する撮像方法であって、
    前記複数の画素のうち第１画素領域において、撮像を行い、第１画像信号を生成し、
    前記複数の画素のうち第２領域において、前記第１画像信号に基づく画像によって検出された前記被写体に対して設定された露光時間で撮像を行い、前記被写体に関する情報が抽出される第２画像信号を生成し、
    前記第２画像信号よりもゲインを上げた前記第１画像信号を生成させる撮像方法。
  35. 面上に複数の画素が配置され、被写体を撮像する撮像素子を制御するコンピュータに実行させるプログラムであって、
    前記複数の画素のうち第１画素領域において、撮像を行い、第１画像信号を生成させる処理と、
    前記複数の画素のうち第２領域において、前記第１画像信号に基づく画像によって検出された前記被写体に対して設定された露光時間で撮像を行い、前記被写体に関する情報が抽出される第２画像信号を生成させる処理とをコンピュータに実行させ、
    前記第２画像信号よりもゲインを上げた前記第１画像信号を生成させるプログラム。
JP2016120933A 2016-06-17 2016-06-17 撮像素子、電子機器、撮像方法、およびプログラム Active JP6808993B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016120933A JP6808993B2 (ja) 2016-06-17 2016-06-17 撮像素子、電子機器、撮像方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016120933A JP6808993B2 (ja) 2016-06-17 2016-06-17 撮像素子、電子機器、撮像方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020204479A Division JP7151756B2 (ja) 2020-12-09 2020-12-09 撮像素子および撮像装置

Publications (2)

Publication Number Publication Date
JP2017225084A JP2017225084A (ja) 2017-12-21
JP6808993B2 true JP6808993B2 (ja) 2021-01-06

Family

ID=60688591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016120933A Active JP6808993B2 (ja) 2016-06-17 2016-06-17 撮像素子、電子機器、撮像方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6808993B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7349653B2 (ja) * 2018-12-10 2023-09-25 株式会社サンライン 画像識別システム
JP7281897B2 (ja) * 2018-12-12 2023-05-26 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム
WO2020137665A1 (ja) 2018-12-27 2020-07-02 富士フイルム株式会社 撮像素子、撮像装置、撮像方法及びプログラム
WO2021010355A1 (ja) * 2019-07-16 2021-01-21 株式会社ニコン 撮像装置及び撮像方法
CN110533692B (zh) * 2019-08-21 2022-11-11 深圳新视达视讯工程有限公司 一种面向无人机航拍视频中移动目标的自动跟踪方法
JP7095714B2 (ja) * 2019-09-24 2022-07-05 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP7444585B2 (ja) 2019-11-14 2024-03-06 キヤノン株式会社 認識装置、認識方法
JP7345561B2 (ja) * 2019-11-25 2023-09-15 富士フイルム株式会社 映像作成方法
US11055548B1 (en) * 2020-06-05 2021-07-06 Pixart Imaging Inc. Motion sensor using temporal difference pixels and lift-up detection thereof
CN113038028B (zh) * 2021-03-24 2022-09-23 浙江光珀智能科技有限公司 一种图像生成方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014133076A1 (ja) * 2013-02-27 2014-09-04 株式会社ニコン 撮像素子および電子機器
JP2014179778A (ja) * 2013-03-14 2014-09-25 Nikon Corp 信号処理装置、撮像素子、撮像装置および電子機器
US10321083B2 (en) * 2013-08-12 2019-06-11 Nikon Corporation Electronic apparatus, method for controlling electronic apparatus, and control program

Also Published As

Publication number Publication date
JP2017225084A (ja) 2017-12-21

Similar Documents

Publication Publication Date Title
JP6808993B2 (ja) 撮像素子、電子機器、撮像方法、およびプログラム
JP6610751B2 (ja) 電子機器
EP3531418A1 (en) Electronic device displaying interface for editing video data and method for controlling same
KR102661185B1 (ko) 전자 장치 및 그의 이미지 촬영 방법
JP6977759B2 (ja) 電子機器
US11641524B2 (en) Electronic device and method for displaying image in electronic device
JP2023169254A (ja) 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム
JP7151756B2 (ja) 撮像素子および撮像装置
US11689816B2 (en) Imaging apparatus, operation method of imaging apparatus, and program
CN112640429A (zh) 成像元件、摄像装置、图像数据处理方法及程序
KR20160011533A (ko) 이미지 촬영 장치, 이미지 촬영 방법 및 비일시적 기록매체
JP7433792B2 (ja) 撮像装置およびその制御方法
CN112514370B (zh) 图像处理装置、摄像装置、图像处理方法及记录介质
CN112640430A (zh) 成像元件、摄像装置、图像数据处理方法及程序
JP5447134B2 (ja) 画像処理装置、返信画像生成システム、及び、プログラム
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
US12003867B2 (en) Electronic device and method for displaying image in electronic device
US20230026684A1 (en) Biometric authentication system and electronic device for same
US20230122606A1 (en) Image capturing system, control method, and storage medium
US10771675B2 (en) Imaging control apparatus and imaging control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200624

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201123

R150 Certificate of patent or registration of utility model

Ref document number: 6808993

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250