--第1の実施の形態--
第1の実施の形態による撮像素子、およびこの撮像素子を搭載する電子機器について説明する。図1のデジタルカメラ1(以降、カメラ1と称する)は、電子機器の一例である。カメラ1には、イメージセンサの一例として撮像素子32aが搭載される。撮像素子32aは、撮像面の領域ごとに異なる条件で撮像を行うことが可能に構成される。カメラ1の画像処理部33は、撮像条件が異なる領域に対して、それぞれ適切な処理を行う。このようなカメラ1の詳細について、図面を参照して説明する。
<カメラの説明>
図1は、カメラ1の構成を例示するブロック図である。図1において、カメラ1は、撮像光学系31と、撮像部32と、画像処理部33と、制御部34と、表示部35と、操作部材36と、記録部37と、送受信部38とを有する。
撮像光学系31は、被写界からの光束を撮像部32へ導く。撮像部32は、撮像素子32aおよび駆動部32bを含み、撮像光学系31によって結像された被写体の像を光電変換する。撮像部32は、撮像素子32aにおける撮像面の全域において同じ条件で撮像したり、撮像素子32aにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部32の詳細については後述する。駆動部32bは、撮像素子32aに蓄積制御を行わせるために必要な駆動信号を生成する。駆動部32bに対する電荷蓄積時間、ISO感度(ゲイン)、フレームレートなどの撮像指示は、制御部34から駆動部32bへ送信される。
画像処理部33には、撮像部32によって取得された画像データが入力される。画像処理部33は、上記入力された画像データに対する画像処理を行う。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減(Noise reduction)処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。さらに、画像処理部33は、表示部35により表示する画像を生成する。
制御部34は、例えばCPUによって構成され、カメラ1による全体の動作を制御する。制御部34は、撮像部32で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子32aの電荷蓄積時間(以下、露光時間と称する)、ISO感度、フレームレート、および撮像光学系31の絞り値等の露出条件を決定する。こうして、決定された露光時間およびISO感度は、駆動部32bに入力され、絞り値は、撮像光学系31に設けられた絞りを駆動する不図示の絞り駆動部に入力される。
また、制御部34は、カメラ1に設定されている撮像シーンモードや、撮像部32で取得された光電変換信号から生成された画像に基づいて認識した被写体の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部33へ指示する。制御部34は、上記被写体として、例えば、人物(人物の顔)、犬、猫などの動物(動物の顔)、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体など認識することができる。このような認識技術は公知であるので、被写体の認識についての詳細な説明は省略する。
制御部34には、領域抽出部34aと、設定部34bと、撮像制御部34cと、AF演算部34dとが含まれる。これらは、制御部34が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをASIC等により構成しても構わない。
領域抽出部34aは、領域抽出処理を行うことにより、撮像部32によって取得された画像(後述する検出用の第2画像)に基づいて、被写体が写っている可能性がある領域(以後、被写体とみられる領域と称する)を抽出する。領域抽出部34aは、例えば、第2画像の色、エッジ、形状等の特徴量に基づいて領域を抽出する。このような手法は公知であるため、詳細な説明については省略する。
設定部34bは、領域抽出部34aによって抽出された複数の領域ごとに、撮像部32によって取得された画像(後述する第1画像、第2画像、第3画像を含む)を自動で分割する。設定部34bはさらに、上記分割した複数の領域に対応させて、撮像条件を設定する。撮像条件は、上記露出条件(露光時間、ゲイン、ISO感度(すなわちゲイン)、フレームレート等)と、上記画像処理条件(例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等)とを含む。なお、撮像条件は、複数の領域の全てに同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。
撮像制御部34cは、設定部34bによって領域ごとに設定された撮像条件を適用して撮像部32(撮像素子32a)、画像処理部33を制御する。これにより、撮像素子32aに対しては、複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部33に対しては、複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。領域を構成する画素の数はいくらでもよく、例えば1000画素でもよいし、1画素でもよい。また、領域間で画素の数が異なっていてもよい。
AF演算部34dは、撮像画面の所定の位置(焦点検出位置と呼ぶ)において、対応する被写体に対してフォーカスを合わせる自動焦点調節(オートフォーカス:AF)動作を制御する。AF演算部34dは、演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力し、この駆動信号に基づき、図示を省略した自動焦点調節部が撮像光学系31の自動焦点調節動作を行う。AF演算部34dが自動焦点調節のために行う処理は、焦点検出処理とも呼ばれる。
表示部35は、画像処理部33によって生成された画像や画像処理された画像、記録部37によって読み出された画像などを再生表示する。表示部35は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。
操作部材36は、レリーズボタン36Bやメニューボタン等の種々の操作部材によって構成される。操作部材36は、各操作に対応する操作信号を制御部34へ送出する。操作部材36には、表示部35の表示面に設けられたタッチパネル36Aも含まれる。タッチパネル36Aは、例えば、ユーザの指がタッチパネル36Aに接触したことによる、静電容量の変化やタッチパネル36Aへの押圧などを検出することにより、表示面におけるユーザの指が接触した位置を示す信号を制御部34へ送出する。なお、ここでの例として、ユーザの指で説明したが、足の指や、肘などの指以外の人の部位であってもよい。また、ユーザの指の代わりにスタイラスペン等によって操作されてもよい。また、必ずしも表示面に接触する必要がなく、ユーザの指が表示面に対して所定の距離まで近づいたことに基づいて、表示面におけるユーザの指の位置を示す信号を制御部34へ送出してもよい。
なお、タッチパネル36Aに代えて、撮像素子32aとは別に設けられた小型カメラモジュールによって、ユーザの指等の位置を検出する装置であってもよい。このような小型カメラモジュールによって、ユーザの指等の位置を検出し、表示面に対する指の接触を検出してもよい。もちろん、小型カメラモジュールによって、上記したようなユーザによる非接触の操作を検出してもよい。小型カメラモジュールは、例えば、カメラ筐体内に配置され、表示部35の表示面付近に配置されており、撮像素子32aが撮像する方向とは反対側を撮像する。
記録部37は、制御部34からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部37は、制御部34からの指示に応じて記録媒体に記録されている画像データを読み出す。
送受信部38は、制御部34からの指示に応じて、外部機器との間で通信を行う。例えば、外部機器から送信された指示によりカメラ1の設定を変更したり、撮像を開始するなど、カメラ1は外部制御が可能に構成されている。また、カメラ1で取得した画像のデータを外部機器へ送信するなど、カメラ1は監視用途に使用することも可能である。
なお、カメラ1と外部機器との間の通信は、ケーブルを介した有線通信でも電波等による無線通信でもよい。
<積層型の撮像素子の説明>
電子機器に搭載される撮像素子32aの一例として、積層型の撮像素子100について説明する。図2は、撮像素子100の断面図である。撮像素子100は、撮像チップ111と、信号処理チップ112と、メモリチップ113とを備える。撮像チップ111は、信号処理チップ112に積層されている。信号処理チップ112は、メモリチップ113に積層されている。撮像チップ111および信号処理チップ112、信号処理チップ112およびメモリチップ113は、それぞれ接続部109により電気的に接続されている。接続部109は、例えばバンプや電極である。撮像チップ111は、被写体からの光像を撮像して画像データを生成する。撮像チップ111は、画像データを撮像チップ111から信号処理チップ112へ出力する。信号処理チップ112は、撮像チップ111から出力された画像データに対して信号処理を施す。メモリチップ113は、複数のメモリを有し、画像データを記憶する。なお、撮像素子100は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子100が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子100とは別に設けていてもよい。
図2に示すように、入射光は、主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図2の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ111は、例えば、CMOSイメージセンサである。撮像チップ111は、具体的には、裏面照射型のCMOSイメージセンサである。撮像チップ111は、マイクロレンズ層101、カラーフィルタ層102、パッシベーション層103、半導体層106、および配線層108を有する。撮像チップ111は、Z軸プラス方向に向かってマイクロレンズ層101、カラーフィルタ層102、パッシベーション層103、半導体層106、および配線層108の順に配置されている。
マイクロレンズ層101は、複数のマイクロレンズLを有する。マイクロレンズLは、入射した光を後述する光電変換部104に集光する。カラーフィルタ層102は、分光特性の異なる複数種類のカラーフィルタFを有する。カラーフィルタ層102は、具体的には、主に赤色成分の光を透過させる分光特性の第1フィルタ(R)と、主に緑色成分の光を透過させる分光特性の第2フィルタ(Gb、Gr)と、主に青色成分の光を透過させる分光特性の第3フィルタ(B)と、を有する。カラーフィルタ層102は、例えば、ベイヤー配列により第1フィルタ、第2フィルタおよび第3フィルタが配置されている。パッシベーション層103は、窒化膜や酸化膜で構成され、半導体層106を保護する。
半導体層106は、光電変換部104および読出回路105を有する。半導体層106は、光の入射面である第1面106aと第1面106aの反対側の第2面106bとの間に複数の光電変換部104を有する。半導体層106は、光電変換部104がX軸方向およびY軸方向に複数配列されている。光電変換部104は、光を電荷に変換する光電変換機能を有する。また、光電変換部104は、光電変換信号による電荷を蓄積する。光電変換部104は、例えば、フォトダイオードである。半導体層106は、光電変換部104よりも第2面106b側に読出回路105を有する。半導体層106は、読出回路105がX軸方向およびY軸方向に複数配列されている。読出回路105は、複数のトランジスタにより構成され、光電変換部104によって光電変換された電荷により生成される画像データを読み出して配線層108へ出力する。
配線層108は、複数の金属層を有する。金属層は、例えば、Al配線、Cu配線等である。配線層108は、読出回路105により読み出された画像データが出力される。画像データは、接続部109を介して配線層108から信号処理チップ112へ出力される。
なお、接続部109は、光電変換部104ごとに設けられていてもよい。また、接続部109は、複数の光電変換部104ごとに設けられていてもよい。接続部109が複数の光電変換部104ごとに設けられている場合、接続部109のピッチは、光電変換部104のピッチよりも大きくてもよい。また、接続部109は、光電変換部104が配置されている領域の周辺領域に設けられていてもよい。
信号処理チップ112は、複数の信号処理回路を有する。信号処理回路は、撮像チップ111から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ/デジタル(A/D)変換回路等である。信号処理回路は、光電変換部104ごとに設けられていてもよい。
また、信号処理回路は、複数の光電変換部104ごとに設けられていてもよい。信号処理チップ112は、複数の貫通電極110を有する。貫通電極110は、例えばシリコン貫通電極である。貫通電極110は、信号処理チップ112に設けられた回路を互いに接続する。貫通電極110は、撮像チップ111の周辺領域、メモリチップ113にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ111に設けてもよい。例えば、アナログ/デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ111に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ112に設けてもよい。
メモリチップ113は、複数の記憶部を有する。記憶部は、信号処理チップ112で信号処理が施された画像データを記憶する。記憶部は、例えば、DRAM等の揮発性メモリである。記憶部は、光電変換部104ごとに設けられていてもよい。また、記憶部は、複数の光電変換部104ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。
図3は、撮像チップ111の画素配列と単位領域131を説明する図である。特に、撮像チップ111を裏面(撮像面)側から観察した様子を示す。画素領域には例えば2000万個以上の画素がマトリックス状に配列されている。図3の例では、隣接する2画素×2画素の4画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×32画素でもよいし、それ以上でもそれ以下でもよく、1画素であってもよい。
画素領域の部分拡大図に示すように、図3の単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を内包する。緑色画素Gb、Grは、カラーフィルタFとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタFとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタFとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施の形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義される。すなわち、1ブロックの最小単位は1つの単位領域131となる。上述したように、1つの単位領域131を形成する画素の数として取り得る値のうち、最も小さい画素の数は1画素である。したがって、1ブロックを画素単位で定義する場合、1ブロックを定義し得る画素の数のうち最小の画素の数は1画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域131、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子100は、行方向(撮像チップ111のX軸方向)の間引きのみでなく、列方向(撮像チップ111のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
図4は、単位領域131における回路を説明する図である。図4の例では、隣接する2画素×2画素の4画素により一つの単位領域131を形成する。なお、上述したように単位領域131に含まれる画素の数はこれに限られず、1000画素以上でもよいし、最小1画素でもよい。単位領域131の二次元的な位置を符号A~Dにより示す。
単位領域131に含まれる画素のリセットトランジスタ(RST)は、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aのリセットトランジスタをオンオフするリセット配線300が設けられており、画素Bのリセットトランジスタをオンオフするリセット配線310が、上記リセット配線300とは別個に設けられている。同様に、画素Cのリセットトランジスタをオンオフするリセット配線320が、上記リセット配線300、310とは別個に設けられている。他の画素Dに対しても、リセットトランジスタをオンオフするための専用のリセット配線330が設けられている。
単位領域131に含まれる画素の転送トランジスタ(TX)についても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの転送トランジスタをオンオフする転送配線302、画素Bの転送トランジスタをオンオフする転送配線312、画素Cの転送トランジスタをオンオフする転送配線322が、別個に設けられている。他の画素Dに対しても、転送トランジスタをオンオフするための専用の転送配線332が設けられている。
さらに、単位領域131に含まれる画素の選択トランジスタ(SEL)についても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの選択トランジスタをオンオフする選択配線306、画素Bの選択トランジスタをオンオフする選択配線316、画素Cの選択トランジスタをオンオフする選択配線326が、別個に設けられている。他の画素Dに対しても、選択トランジスタをオンオフするための専用の選択配線336が設けられている。
なお、電源配線304は、単位領域131に含まれる画素Aから画素Dで共通に接続されている。同様に、出力配線308は、単位領域131に含まれる画素Aから画素Dで共通に接続されている。また、電源配線304は複数の単位領域間で共通に接続されるが、出力配線308は単位領域131ごとに個別に設けられる。負荷電流源309は、出力配線308へ電流を供給する。負荷電流源309は、撮像チップ111側に設けられてもよいし、信号処理チップ112側に設けられてもよい。
単位領域131のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域131に含まれる画素Aから画素Dに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域131の選択トランジスタを個別にオンオフすることにより、各画素Aから画素Dの光電変換信号を、それぞれ対応する増幅トランジスタ(AMP)を介して、共通の出力配線308から出力することができる。
ここで、単位領域131に含まれる画素Aから画素Dについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図4の例では「ABCD」の順序で光電変換信号が出力される。
このように単位領域131を基準として回路を構成することにより、単位領域131ごとに露光時間を制御することができる。換言すると、単位領域131間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ111において一部のブロックに含まれる単位領域131に電荷蓄積(撮像)を行わせる間に他のブロックに含まれる単位領域131を休ませることにより、撮像チップ111の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積(撮像)を行わせるブロック(蓄積制御の対象ブロック)を切り替えて、撮像チップ111の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。
図5は、図4に例示した回路に対応する撮像素子100の機能的構成を示すブロック図である。マルチプレクサ411は、単位領域131を形成する4個のPD104を順番に選択して、それぞれの画素信号を当該単位領域131に対応して設けられた出力配線308へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ111に形成される。
マルチプレクサ411を介して出力された画素信号は、信号処理チップ112に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ113に形成される。
メモリチップ113に形成された演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ112に設けられてもよい。なお、図5では1つの単位領域131の分の接続を示すが、実際にはこれらが単位領域131ごとに存在して、並列で動作する。ただし、演算回路415は単位領域131ごとに存在しなくてもよく、例えば、一つの演算回路415がそれぞれの単位領域131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
また、演算回路415は、後段の制御部、画像処理部等の機能を含めた構成としてもよい。
上記の通り、単位領域131のそれぞれに対応して出力配線308が設けられている。撮像素子100は撮像チップ111、信号処理チップ112およびメモリチップ113を積層しているので、これら出力配線308に接続部109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
<撮像素子のブロック制御>
本実施の形態では、撮像素子32aにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部34(撮像制御部34c)は、上記複数の領域を上記ブロックに対応させて、ブロックごとに設定された撮像条件で撮像を行わせる。
ブロックを構成する画素の数はいくらでもよく、例えば1000画素でもよいし、1画素でもよい。
カメラ1は、撮像指示が行われる前に、被写体像を光電変換してライブビュー画像を取得する。ライブビュー画像は、所定のフレームレート(例えば60fps)で繰り返し撮像するモニタ用画像のことをいう。図6(a)は、ライブビュー画像を取得する際に撮像素子32aの撮像面に設定される第1領域B1および第2領域B2の配置を例示する図である。図6(a)によれば、第1領域B1は、奇数のブロックの列における偶数のブロックの行のブロックと、偶数のブロックの列における奇数のブロックの行のブロックとによって構成される。すなわち、撮像面は、第1領域B1の複数のブロックB1と、第2領域B2の複数のブロックとによって分割されている。また、第2領域B2は、偶数のブロックの列における偶数のブロックの行のブロックと、奇数のブロックの列における奇数のブロックの行のブロックとによって構成される。すなわち、撮像面が第1領域B1に属する複数のブロックB1と第2領域B2に属する複数のブロックとによって市松模様状に分割されている。
本実施の形態では、1フレームの撮像を行った撮像素子32aから読み出した光電変換信号によって、第1領域B1から読み出した光電変換信号に基づく第1画像と、第2領域B2から読み出した光電変換信号に基づく第2画像とをそれぞれ生成する。図6(a)によると、第1画像および第2画像は同じ画角で撮像され、共通の被写体の像を含む。第1画像の取得と第2画像の取得は、並行して行うことができる。
なお、第1領域B1および第2領域B2を市松模様状に分割する代わりに、図6(b)または図6(c)のように分割してもよい。図6(b)の例によれば、第1領域B1は偶数のブロックB1の列によって構成され、第2領域B2は奇数のブロックの列によって構成される。すなわち、撮像面が偶数のブロックB1の列と奇数のブロックの列とに分割されている。図6(c)の例によれば、第1領域B1は奇数のブロックB1の行によって構成され、第2領域B2は偶数のブロックの行によって構成される。すなわち、撮像面が奇数のブロックB1の行と偶数のブロックの行とに分割されている。
図6(b)、図6(c)のいずれの場合も、1フレームの撮像を行った撮像素子32aから読み出した光電変換信号によって、第1領域B1から読み出した光電変換信号に基づく第1画像と、第2領域B2から読み出した光電変換信号に基づく第2画像とをそれぞれ生成する。
本実施の形態において、制御部34は、第1画像を表示用として用いるとともに、第2画像を検出用として用いる。例えば、制御部34は、第1画像をライブビュー画像として表示部35に表示させる。また、制御部34は、第2画像を用いて領域抽出部34aにより領域抽出処理を行い、第2画像を用いてAF演算部34により焦点検出処理を行い、第2画像を用いて設定部34bにより露出演算処理を行う。本実施の形態では、領域抽出、焦点検出、および露出演算に用いる第2画像を検出用の画像と称する。
なお、第1画像を表示用以外の用途として、例えば焦点検出等に用いてもよい。また、第1画像をライブビュー画像として表示部35に表示させる代わりに、カメラ1の外部にあるモニタに、カメラ1から第1画像を送信し、外部のモニタに第1画像を表示させてもよい。このようにすることで、外部のモニタでカメラ1で撮像された画像がリアルタイムで表示されるようになる。
また、本実施の形態において、表示用に第1画像を撮像する第1領域B1に設定する撮像条件を第1撮像条件と呼び、検出用に第2画像を撮像する第2領域B2に設定する撮像条件を第2撮像条件と呼ぶこととする。制御部34は、第1撮像条件と第2撮像条件とを同じにすることも、異ならせることもできる。
一例として、制御部34は、第1領域B1に設定する第1撮像条件を、表示部35によるライブビュー表示に適した条件に設定する。また、第1撮像条件を撮像画面の第1領域B1の全体で一様に同じにする。一方、制御部34は、第2領域B2に設定する第2撮像条件を、上記検出等に適した条件に設定する。第2撮像条件は、撮像画面の第2領域B2の全体で一様に同じにしてもよいし、領域ごとに異なる設定にしてもよい。
なお、領域抽出処理、焦点検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、制御部34は、第2領域B2に設定する第2撮像条件をフレームごとに異ならせてもよい。例えば、1フレーム目の第2撮像条件を領域抽出処理に適した条件とし、2フレーム目の第2撮像条件を焦点検出処理に適した条件とし、3フレーム目の第2撮像条件を露出演算処理に適した条件とする。これらの場合において、各フレームにおける第2撮像条件を撮像画面の第2領域B2の全体で一様に同じにしてもよいし、領域ごとに異なる設定にしてもよい。
図6(a)~図6(c)において、第1領域B1と第2領域B2との面積比を異ならせてもよい。制御部34は、例えば、ユーザによる操作または制御部34の判断に基づき、第1領域B1の比率を第2領域B2よりも高く設定したり、第1領域B1と第2領域B2の比率を図6(a)~図6(c)に例示したように同等に設定したり、第1領域B1の比率を第2領域B2よりも低く設定したりする。第1領域B1と第2領域B2とで面積比を異ならせることにより、第1画像を第2画像に比べて高精細にしたり、第1画像および第2画像の解像度を同等にしたり、第2画像を第1画像に比べて高精細にしたりすることができる。
<被写体の例示>
図7は、カメラ1による撮像画面における被写体領域を例示する図である。図7において、被写体領域には、人物61と、自動車62と、バッグ63と、山64と、雲65、雲66とが含まれている。人物61は、バッグ63を両手で抱えている。人物61の右後方に、自動車62が止まっている。第1領域B1と第2領域B2とを例えば、図6(a)、図6(b)または図6(c)のように定めると、第1領域B1による第1画像は、図7に示したようなライブビュー表示用の画像となり、第2領域B2による第2画像も、図7に示したような検出用の画像となる。
撮像素子32aの複数のブロックに異なる撮像条件を設定する場合、被写体領域に対応するブロックごとに撮像条件を設定することが想定される。例えば、人物61の領域に含まれるブロックと、自動車62に含まれるブロックと、バッグ63に含まれるブロックと、山64に含まれるブロックと、雲65に含まれるブロックと、雲66に含まれるブロックとに対し、それぞれ撮像条件を設定する。このためには、被写体を適切な露出条件で撮像し、白とびや黒つぶれがない画像が得られていることが必要である。白とびや黒つぶれがある画像では、例えば個々の被写体領域の輪郭(エッジ)が現れず、被写体を認識することが困難になるからである。
<第2領域B2に設定する撮像条件>
そこで、本実施の形態では、撮像素子32aの第2領域B2に対し、検出用の第2画像を取得するための第2撮像条件を適切に設定することにより、領域抽出処理、焦点検出処理、および露出演算処理を適切に行うことを可能にする。本実施の形態では、第2撮像条件を以下のように設定する。
図8(a)は、ライブビュー表示用の第1画像を例示する図である。光量が不足する環境の場合、画面内のエッジや色差等が抽出しづらくなり、被写体の領域を抽出しづらくなる。図8(b)は、第1画像よりも明るい第2画像を例示する図である。第2画像を明るくすると、画像内が暗い場合と比較し、画面内のエッジや色差等が抽出しやすくなり、領域抽出や被写体認識の精度の向上を期待できる。制御部34は、例えば、検出用の第2画像を得るための第2撮像条件の第2露光時間を、ライブビュー表示用の第1画像を得るための第1撮像条件の第1露光時間に比べて長くする。ライブビュー表示用の第1画像の第1露光時間に比べて長い第2露光時間を検出用の第2画像に設定するため(ただし、以下に記載するように過度の露出を避けた露出設定にしてもよい)、ライブビュー表示用の第1画像が暗く撮像されているとしても、領域抽出部34aが、明るい第2画像に基づいて、正確に領域抽出を行うことが可能になる。
被写体とみられる領域の抽出を正確に行うことができると、被写体ごとに分割した被写体領域に対する撮像条件の変更を適切に行うことが可能になる。
なお、上述した例は、ライブビュー表示用の第1画像を撮像する場合であるが、ライブビュー表示しながら動画撮像する場合も含む。すなわち、ライブビュー表示している画像を動画像として記憶する場合も含む概念である。
さらに、制御部34は、領域抽出部34aによって正確に抽出された領域を対象に被写体の認識を行うことにより、制御部34による被写体認識の精度を高めることにも役立つ。
ライブビュー表示用の第1画像に比べて明るい第2画像を撮像する方法として、第2露光時間を長くする以外にゲインを増幅する方法も考えられる。しかしながら、第2露光時間を長くする方がゲインを増幅させる場合よりもノイズの発生を抑制できる場合がある。そのため、本実施の形態では、ライブビュー表示用の第1画像に比べて第2露光時間を長く設定して明るい第2画像を得る。これにより、ゲインを増幅させる場合よりもノイズが少ない第2画像に基づき、領域抽出や被写体認識を行うことができる。ノイズが少ないことは、領域抽出や被写体認識の精度を高めることにも役立つ。
ただし、第2画像を撮像する方法として、第2露光時間を長くする代わりに第2画像用のゲインを増幅し、明るい画像を撮像する方法であってもよい。
(熱雑音について)
第2露光時間を長くすることで、撮像部32の発熱による熱雑音(暗電流に起因する)が大きくなるとも考えられる。しかしながら、第2露光時間を長くしても撮像部32による熱の発生を抑える制御を行うとともに、発生した熱を効率よく逃がして温度上昇を抑えることによって熱雑音を抑制することができる。例えば、ヒートシンクを用いて撮像部32の熱を放熱する。これにより、第2露光時間を長くした場合に生じるノイズを、第2画像用のゲインを増幅させた場合の増幅後のノイズよりも小さくすることができる。このように、ライブビュー表示用の第1画像の第1露光時間に比べて長い第2露光時間を設定することで、ノイズが発生しづらい第2画像を得ることができる。
<領域を抽出する処理の説明>
図9は、領域を抽出する処理の流れを説明するフローチャートである。例えば、カメラ1のメインスイッチがオン操作されると、制御部34は、図9に示す処理を実行するプログラムを起動させる。ステップS1において、制御部34は、撮像素子32aに第1領域B1および第2領域B2(例えば図6(a))をセットしてステップS3へ進む。上述したように、第1領域B1は、ライブビュー表示用の第1画像を撮像する領域である。第2領域B2は、検出用の第2画像を撮像する領域である。
ステップS3において、制御部34は、撮像素子32aの第1領域B1にライブビュー表示用の第1露光時間を設定してステップS5へ進む。ステップS5において、制御部34は、撮像素子32aの第2領域B2に第1領域B1の第1露光時間よりも長い第2露光時間を設定してステップS7へ進む。
ステップS7において、制御部34は、撮像素子32aの第2領域B2で第2画像の撮像を行わせ、撮像素子32aの第2領域B2から読み出した光電変換信号に基づく第2画像の生成を開始させてステップS9へ進む。
ステップS9において、制御部34は、領域抽出部34aにより、第2画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域(例えば、図7に示した被写体領域61~66)を抽出し、図9による処理を終了する。
<領域ごとの撮像条件の設定>
設定部34bは、領域抽出部34aによって抽出された被写体に基づいて、撮像部32で取得された画像を分割する。図7の例では、例えば人物61の領域と、自動車62の領域と、バッグ63の領域と、山64の領域と、雲65の領域と、雲66の領域と、その他の領域とに分割される。制御部34は、領域抽出部34aによって領域抽出処理が行われ、設定部34bによって画像(例えば第1画像)が自動で分割されると、図10に例示するような設定画面を表示部35に表示させる。図10において、第1画像に基づくライブビュー画像60aが表示部35に表示され、ライブビュー画像60aの右側に撮像条件の設定画面70が表示される。
設定画面70には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード(TV)、ゲイン(ISO感度)が挙げられている。フレームレートは、1秒間に取得するライブビュー画像やカメラ1により録画される動画像のフレーム数である。シャッタースピードは露光時間に対応する。ゲインはISO感度に対応する。撮像条件の設定項目は、図10に例示した他にも適宜加えて構わない。全ての設定項目が設定画面70の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。
本実施の形態において、制御部34は、設定部34bによって分割された領域のうち、ユーザ操作によって選択された領域を撮像条件の設定(変更)の対象にすることができる。例えば、タッチ操作が可能なカメラ1において、ユーザは、ライブビュー画像60aが表示されている表示部35の表示面上で、撮像条件を設定(変更)したい被写体の表示位置をタッチ操作する。制御部34は、例えば人物61の表示位置がタッチ操作された場合に、ライブビュー画像60aにおいて人物61に対応する領域を撮像条件の設定(変更)対象領域にするとともに、人物61に対応する領域の輪郭を強調して表示させる。
図10において、輪郭を強調して表示する領域は、撮像条件の設定(変更)の対象となる領域を示す。強調した表示とは、例えば、太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等である。図10の例では、人物61に対応する領域の輪郭を強調したライブビュー画像60aが表示されているものとする。この場合は、強調表示されている領域が、撮像条件の設定(変更)の対象である。例えば、タッチ操作が可能なカメラ1において、ユーザによってシャッタースピード(TV)の表示71がタッチ操作されると、制御部34は、強調して表示されている領域(人物61)に対するシャッタースピードの現設定値を画面内に表示させる(符号68)。
以降の説明では、タッチ操作を前提としてカメラ1の説明を行うが、操作部材36を構成するボタン等の操作により、撮像条件の設定(変更)を行うようにしてもよい。
また、タッチパネル36Aは、非接触操作を検出して撮像条件の設定(変更)を行うようにしてもよい。制御部34は、例えば、ユーザの視線位置を検出し、ユーザが注視している領域を検出する。視線検出には、例えば赤外光をユーザの角膜で反射させて視線方向を検出する角膜反射法や、ユーザの眼球の映像をカメラで撮像して画像処理により視線を検出する画像解析法などがあり、いずれの視線検出方法を用いてもよい。なお、タッチパネル36Aに代えて、先に説明した、小型カメラモジュールを用いて、非接触操作を検出してもよい。この場合、小型カメラモジュールでユーザの指の位置を検出し、ユーザの指の位置が表示部35の表示面上のどこに位置するか決定する。制御部34は、ユーザの指先の延長上に位置する表示部35の表示面上の位置にある被写体を操作しているみなし、その被写体の撮像条件の設定を行う。
シャッタースピード(TV)の上アイコン71aまたは下アイコン71bがユーザによってタッチ操作されると、設定部34bは、シャッタースピードの表示68を現設定値から上記タッチ操作に応じて増減させるとともに、強調して表示されている領域(人物61)に対応する撮像素子32aの単位領域131(図3)の撮像条件を、上記タッチ操作に応じて変更するように撮像部32(図1)へ指示を送る。決定アイコン72は、設定された撮像条件を確定させるための操作アイコンである。設定部34bは、フレームレートやゲイン(ISO)の設定(変更)についても、シャッタースピード(TV)の設定(変更)の場合と同様に行う。
なお、設定部34bは、ユーザの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部34bは、ユーザの操作に基づかずに、制御部34の判断により撮像条件を設定するようにしてもよい。例えば、画像における最大輝度または最小輝度である被写体を含む領域において、白とびまたは黒つぶれが生じている場合、設定部34bは、制御部34の判断により、白とびまたは黒つぶれを解消するように撮像条件を設定するようにしてもよい。
強調表示されていない領域(人物61以外の他の領域)については、設定されている撮像条件が維持される。
制御部34は、撮像条件の設定(変更)の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部34は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部34は、撮像条件の設定(変更)の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。
以上説明したように、領域ごとの撮像条件が設定された後に、操作部材36を構成するレリーズボタン36B、または撮像開始を指示する表示(例えば図10のレリーズアイコン74)が操作されると、制御部34が撮像部32を制御することにより、撮像素子32aの第1領域B1および第2領域B2の設定を解除して、撮像面の画素領域の全画素を用いて撮像を行わせる(本撮像)。本撮像時の撮像条件は、上記の分割された領域ごと(人物61、自動車62、バッグ63、山64、雲65、雲66)に異なる撮像条件を適用することもできる。そして、画像処理部33は、撮像部32によって取得された画像データに対して画像処理を行う。画像処理は、上記の領域ごとに異なる画像処理条件で行うこともできる。
なお、レリーズボタン36Bまたはレリーズアイコン74が操作された場合に、撮像面の画素領域の全画素を用いて撮像を行わせる本撮像以外の撮像を行ってもよい。本撮像以外の撮像として、例えば撮像素子32aの第1領域B1のみで撮像を行ったり、撮像素子32aの第2領域B2のみで撮像を行ったりしてよい。
上記画像処理部33による画像処理の後、制御部34から指示を受けた記録部37が、画像処理後の画像データを不図示のメモリカードなどで構成される記録媒体に記録する。これにより、一連の撮像処理が終了する。
(検出用の第2画像の記憶について)
検出用の第2画像については、記録部37によって記録媒体に記録してもよい。静止画を撮像する場合には、本撮像した画像に対して、検出用に撮像した第2画像(例えば、本撮像の前に撮像した複数枚の第2画像)の全てを関連づけて記録してもよいし、本撮像を行った画像の前に撮像した第2画像のみを関連づけて記録してもよい。
なお、第2画像をそのまま記録すると、記録媒体の使用容量が大きくなる場合があるため、第2画像そのものではなく、主要な被写体とみられる領域を示す情報のみを本撮像した画像に関連づけて記録してもよい。例えば、図7における人物61の位置を示す座標と、自動車62の位置を示す座標を、本撮像した画像に関連付けて記録する。
動画像を撮像する場合も同様に、動画像に関連付けて第2画像、または第2画像における主要な被写体の位置を示す情報を記録してもよい。
<カメラで撮像する処理の説明>
図11は、領域ごとに撮像条件を設定して撮像するカメラ1の処理の流れを説明するフローチャートである。カメラ1のメインスイッチがオン操作されると、制御部34は、図11に示す処理を実行するプログラムを起動させる。ステップS310において、制御部34は、撮像素子32aに第1領域B1および第2領域B2(例えば図6(a))をセットしてステップS320へ進む。上述したように、第1領域B1はライブビュー表示用の第1画像を撮像する領域であり、第2領域B2は検出用の第2画像を撮像する領域である。
ステップS320において、制御部34は、表示部35にライブビュー表示を開始させるとともに、第2画像に基づいて被写体とみられる領域を抽出する処理を行ってステップS330へ進む。制御部34は、例えば図9の処理により、第2画像に基づいて領域を抽出する。
なお、領域の抽出は、図9による処理に代えて、後述する第1の実施の形態の変形例1~変形例11のいずれかの処理を行ってもよい。
ステップS330において、ライブビュー表示中にAF動作を行う設定がなされている場合、制御部34(AF演算部34d)は、焦点検出処理を行うことにより、所定の焦点検出位置に対応する被写体にフォーカスを合わせるAF動作を制御する。また、ライブビュー表示中にAF動作を行う設定がなされていない場合、制御部34(AF演算部34d)は、後にAF動作が指示された時点でAF動作を行う。
ステップS340において、制御部34は、表示部35に領域の表示を行う。制御部34は、図10に例示したように、ライブビュー画像60のうち撮像条件の設定(変更)の対象となる領域を強調表示させる。制御部34は、強調表示する領域を、ユーザによるタッチ操作位置に基づいて決定する。また、制御部34は、撮像条件の設定画面70を表示部35に表示させてステップS350へ進む。
なお、制御部34は、ユーザの指で表示画面上の他の被写体の表示位置がタッチ操作された場合は、その被写体を含む領域を撮像条件の設定(変更)の対象となる領域に変更して強調表示させる。
ステップS350において、制御部34は、分割した領域に対する変更が必要か否かを判定する。制御部34は、ユーザ操作によって変更が指示された(例えば、タッチ操作が可能なカメラ1において、表示部35に表示されている領域変更ボタン73がタッチ操作された)場合に、ステップS350を肯定判定してステップS370へ進む。制御部34は、ユーザ操作によって変更が指示されない場合には、ステップS350を否定判定してステップS360へ進む。
ステップS350を肯定判定後に進むステップS370において、制御部34は、設定部34bによって分割された領域の範囲を変更する処理を行う。制御部34は、ユーザ操作に基づき、ある被写体の領域に別の領域を追加したり、ある被写体の領域から一部の領域を削除したりする。分割された領域の範囲を変更する理由は、制御部34が共通の被写体(一つの領域)として扱う範囲を変更するためである。例えば、異なる領域である、人物61の領域と、バッグ63の領域とを一つの領域として扱うように変更する。このように、制御部34が共通の被写体として扱う領域を設定することで、共通の被写体として扱う領域の撮像条件を、一度の操作で変更する事などができるようになる。
制御部34は、変更処理を終了するとステップS340へ戻り、変更処理後の領域を表示部35に表示させる。
ステップS350を否定判定後に進むステップS360において、制御部34(設定部34b)は、ユーザ操作に応じて、強調して表示されている領域に対する撮像条件を設定してステップS380へ進む。ここで、ステップS360において特にユーザの操作がない場合は、ステップS380へ進む。なお、ステップS360におけるユーザ操作に応じた表示部35の表示遷移や撮像条件の設定については、上述したとおりである。
ステップS380において、制御部34は、撮像指示の有無を判定する。制御部34は、操作部材36を構成するレリーズボタン36B、または撮像を指示するレリーズアイコン74が操作された場合、ステップS380を肯定判定してステップS390へ進む。制御部34は、撮像指示が行われない場合には、ステップS380を否定判定してステップS350へ戻る。
ステップS390において、制御部34は、所定の撮像処理を行う。すなわち、撮像制御部34cが撮像素子32aを制御して、上記領域ごと(人物61、自動車62、バッグ63、山64、雲65、雲66)に設定された撮像条件を適用して本撮像を行わせる。本撮像では、上述したように、撮像素子32aの第1領域B1および第2領域B2の設定を解除して、撮像素子32aの画素領域の全ての画素を用いることができる。
ステップS400において、制御部34(撮像制御部34c)は画像処理部33へ指示を送り、上記撮像によって得られた画像データに対して所定の画像処理を行わせてステップS410へ進む。画像処理は、例えば画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理等を含む。
ステップS410において、制御部34は記録部37へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップS420へ進む。
ステップS420において、制御部34は、終了操作が行われたか否かを判断する。制御部34は、終了操作が行われた場合にステップS420を肯定判定して図11による処理を終了する。制御部34は、終了操作が行われない場合には、ステップS420を否定判定してステップS320へ戻る。ステップS320へ戻った場合、制御部34は、上述した処理を繰り返す。
以上説明した第1の実施の形態によれば、次の作用効果が得られる。
(1)カメラ1の撮像素子32aは、撮像面上の画素領域に複数の画素が配置されており、被写体を撮像する。撮像素子32aは、複数の画素のうち、第1露光時間で撮像し、第1画像信号を生成する第1領域B1と、第1露光時間より長い第2露光時間で撮像し、検出用の第2画像信号を生成する第2領域B2とを有する。これにより、第1画像が暗く撮像されるとしても、第1画像の第1露光時間よりも長い第2露光時間で第2画像を取得することにより、第1画像より明るい第2画像に基づいて情報、例えば、被写体とみられる領域を抽出することができる。
(2)カメラ1は、表示部35を備える。また、撮像素子32aにより生成された第1画像信号に基づいて、ライブビュー画像を表示部35に表示させるようにしたので、ユーザは、例えばモニタ用画像として、ライブビュー表示された画像を表示部35を介して確認することができる。
(3)カメラ1の制御部34は、撮像素子32aの第2領域B2に第2露光時間を設定するので、適切な露光時間の第2画像を得ることができる。
(4)制御部34の領域抽出部34aは、撮像素子32aの第2領域B2によって第2露光時間で撮像された第2画像信号に基づく第2画像に含まれる被写体の領域を抽出するので、明るい第2画像に基づいて、被写体の領域を適切に抽出することができる。
(5)カメラ1は、領域抽出部34aによって抽出された被写体の領域ごとに撮像条件を設定する設定部34bと、設定部34bによって設定された撮像条件に基づいて、第1領域B1で撮像される撮像条件を制御する撮像制御部34cとを備える。これにより、撮像素子32aの画素領域において複数の領域ごとに、それぞれ適切な露出条件で撮像を行うことができる。
(第1の実施の形態の変形例1)
撮像素子32aの第2領域B2に設定する第2露光時間を、以下に説明する内容に基づいて設定してもよい。以下に、撮像された画像内に発生するブレに基づく第2露光時間の設定について説明する。
<ブレに基づく露光時間設定>
カメラ1の制御部34は、撮像部32によって撮像された画面上の被写体の動きに関する情報を取得する。被写体の動きは、被写体に動きがある場合や、手持ちされたカメラ1が揺動していることによって被写体が相対的に動いて見える場合を含む。
被写体の動きに関する情報を得る一つの方法として、例えば、図6(a)の撮像素子32aの第1領域B1でライブビュー表示用に撮像した第1画像を利用し、複数フレームの第1画像に基づいて動きベクトルを取得することができる。具体的には、時間的に後に取得した画像と前に取得した画像との差分を取ることにより取得する。制御部34は、取得した動きベクトルから、被写体の動きの大きさを検出する。制御部34は、動きの大きさが所定の閾値よりも大きい場合と小さい場合とで、以下のように異なる処理を行う。
-- 動きの大きさが所定の閾値よりも小さい場合 --
制御部34は、取得した動きベクトルの大きさが所定の閾値よりも小さい場合、図6(a)の撮像素子32aの第2領域B2で検出用の第2画像を得るための第2露光時間を、より長い第2A露光時間にする。これは、被写体の動きが小さいため、より長い第2A露光時間を設定したとしても、ブレによって被写体の検出がしづらくならないからである。
なお、環境の明るさ、すなわちカメラ1の周囲の明るさによっては、第2A露光時間を長くしすぎると、第2画像の明るさが飽和してしまう場合も考えられる。そこで、制御部34は、動きベクトルの大きさと環境の明るさとの兼ね合いで、撮像素子32aの第2領域B2に設定する第2A露光時間を決定する。
環境の明るさの取得については、撮像素子32aの第1領域B1で取得されたライブビュー表示用の第1画像に基づいて明るさを取得してもよいし、撮像部32と別に設けた測光装置による測光結果に基づいて明るさを取得してもよい。また、撮像素子32aの第2領域B2で検出用の第2画像を取得する前に、第2領域B2で明るさ取得用の撮像を行わせて、この場合に取得された明るさ取得用の画像に基づいて明るさを取得してもよい。 制御部34は、このように撮像素子32aの第2領域B2に検出用の第2画像を得るための第2A露光時間を設定すると、第2領域B2で第2画像の撮像を開始させる。
(設定例1)
制御部34は、例えば、撮像素子32aの第1領域B1でライブビュー表示用として第1画像を露光時間10msecで撮像し、この第1画像に基づいて環境の明るさを取得する。制御部34は、環境の明るさに基づいて、検出用の第2画像を得るための第2A露光時間として20msecから50msecの範囲内が適していると判断したとする。次に、制御部34は、上記第1画像に基づいて動きベクトルを取得する。制御部34は、取得した動きベクトルに基づき、すなわちブレに基づき、検出用の第2画像を得るための第2A露光時間として25msec以下であることが適していると判断したとする。設定例1の場合、制御部34は、明るさとブレとに基づき、検出用の第2画像を得るための第2A露光時間を25msecに設定する。
(設定例2)
制御部34は、設定例1の場合と同様に、環境の明るさに基づいて検出用の第2画像を得るための第2A露光時間として20msecから50msecの範囲内が適していると判断したとする。次に、制御部34は、ブレに基づいて検出用の第2画像を得るための第2A露光時間として15msec以下であることが適していると判断したとする。設定例2の場合、制御部34は、明るさおよびブレに基づき、検出用の第2画像を得るための第2A露光時間を15msecに設定するとともに、不足する明るさを補うために、第2画像用のゲインを増幅させる(例えばISO感度を上げる)。
-- 動きの大きさが所定の閾値よりも大きい場合 --
制御部34は、取得した動きベクトルの大きさが所定の閾値よりも大きい場合には、動きベクトルの時間変化を検出し、動きベクトルが動く範囲を検出する。制御部34は、動きベクトルの動く範囲が広い場合と狭い場合とで、以下のように異なる処理を行う。
(i)動きベクトルが動く範囲が狭い場合
制御部34は、動きベクトルが動く範囲が狭い、例えば動きベクトルが所定範囲内を移動している場合は、動きが大きい場合(早い動き)であったとしても第2露光時間を短くする必要がないという考え方に基づき、検出用の第2画像を得るための第2露光時間を、より長い第2A露光時間にする。これは、被写体が動く範囲が限られているため、より長い第2A露光時間を設定したとしても、ブレによって被写体の検出がしづらくならないからである。
制御部34は、このように撮像素子32aの第2領域B2に検出用の第2画像を得るための第2A露光時間を設定すると、第2領域B2で第2画像の撮像を開始させる。
(ii)動きベクトルが動く範囲が広い場合
一方、制御部34は、動きベクトルが動く範囲が広い、例えば動きベクトルが所定範囲から外れて移動している場合は、動きが大きく(早い動き)、広い範囲を移動していることから、第2露光時間を短めに設定する必要があるという考え方に基づき、検出用の第2画像を得るための第2露光時間を、より短い第2B露光時間にする。なお、基本的には、第2B露光時間は、動きベクトルの取得に用いたライブビュー表示用の第1画像を取得する場合の第1露光時間よりも長く設定する。
ただし、動きベクトルがあまりに大きく動く場合には、被写体のブレが必要以上に大きくなるのを避けるため、検出用の第2画像を得るための第2B露光時間を、動きベクトルの取得に用いたライブビュー表示用の第1画像を取得する場合の第1露光時間よりも短く設定してもよい。
制御部34は、このように撮像素子32aの第2領域B2で検出用の第2画像を得るための第2B露光時間を設定すると、第2領域B2で第2画像の撮像を開始させる。
(iii)動きベクトルが一定の範囲で継続して動く場合
図12(a)は、短い露光時間で撮像した滝を例示する図、図12(b)は、図12(a)の場合より長い露光時間で撮像した滝を例示する図である。制御部34は、滝を被写体にする場合のように、物体の動き(水の流れ)が画面の一定の範囲の中を継続して動く場合は、常に一定の範囲内で継続した動きが発生する。これにより、短い露光時間で撮像した図12(a)と、長い露光時間で撮像した図12(b)との間では、画像における滝の領域の範囲は変わらない。そのため、制御部34は、撮像素子32aの第2領域B2で検出用の第2画像を得るための第2露光時間を、より長い第2A露光時間にする。
滝のような被写体の場合、より長い第2A露光時間を設定することによって物体の動き(水の流れ)が線状(図12(b))になるので、被写体の領域の抽出がしやすくなる。したがって、取得した動きベクトルの大きさが所定の閾値よりも大きい場合でも、画面内の限られた範囲で動き続きける場合には、被写体のブレを気にせずにより長い第2A露光時間を設定してよい。
上述した説明では、動きベクトルが一定の範囲で継続して動く場合として滝を例示したが、例えば、ベルトコンベアー、(飛行機等の)プロペラ、道路上の走行している車の列についても同様である。
なお、以上の説明では、撮像素子32aの第1領域B1で取得されるライブビュー表示用の第1画像に基づいて動きの情報を取得する例を説明したが、次のように取得してもよい。撮像素子32aの第2領域B2で検出用の第2画像を取得する前に、第2領域B2で動き情報の取得のための撮像を行い、第2領域B2で取得された動き情報取得用の画像に基づいて動きの情報(すなわち動きベクトル)を取得してもよい。すなわち、第2領域B2で、動き情報を取得するための撮像を行ってもよい。
また、撮像素子32aの第1領域B1、撮像素子32aの第2領域B2以外の画素領域で、動きの情報を取得するための撮像を行うようにしてもよい。
さらにまた、撮像部32以外の他の外部センサを設けることにより、動きの情報を取得するように構成してもよい。例えば、外部センサとしてキネクト(Kinect(商標))センサと呼ばれるモーション認識用センサを設け、このセンサで取得される3次元位置情報に基づいて被写体の動きを求めてもよい。キネクトセンサは、RGB方式カメラに加えて、奥行き(センサからの距離)測定用の赤外光カメラを備えており、被写体(例えば人物)の骨格の各部位についての3次元位置情報を取得する。キネクトセンサ出力に基づいて人物の動きを精度よく検出することにより、RGB表色系の画像データのみに基づいて人物の動きを求める場合に比べて、高精度に人物の動きを求めることができる。
外部センサとして加速度センサを用いる構成にしてもよい。加速度センサを被写体に設け、このセンサで取得される加速度信号に基づいて被写体の動きを求めることができる。
また、外部センサとしていわゆるTOF(time of flight)センサを設けてもよい。TOFセンサは、公知のTOF法に用いるイメージセンサである。TOF法は、不図示の光源部から被写体に向けて光パルス(照射光)を発し、被写体で反射された光パルスがTOFセンサへ戻ってくるまでの時間に基づいて、被写体までの距離を検出する技術である。被写体までの距離の変化に基づき、被写体の動きを求める構成としてもよい。
なお、撮像素子32aをTOFセンサに利用してもよい。
<フローチャートの説明>
図13は、第1の実施の形態の変形例1において、制御部34が、ブレに基づき領域を抽出する処理の流れを説明するフローチャートである。制御部34は、図11におけるステップS320の処理として、図13の処理を行う。図13のステップS10において、制御部34は、撮像素子32aの第1領域B1に、あらかじめ用意されている初期値(露光時間、フレームレート、ゲイン(ISO感度)など)を設定してステップS20へ進む。初期値は、例えば、明るい室内でライブビュー表示用の第1画像を取得する場合に適した撮像条件を、撮像素子32aの第1領域B1に一様に設定する。
ステップS20において、制御部34は、撮像素子32aの第1領域B1でライブビュー表示用の第1画像の撮像を行わせる。そして制御部34は、1フレームの撮像が行われるごとに、撮像素子32aの第1領域B1から読み出した光電変換信号に基づく第1画像を生成させてステップS30へ進む。ステップS30において、制御部34は、第1画像に基づいて、動き情報と明るさとを取得してステップS40へ進む。
ステップS40において、制御部34は、被写体の動きが大きいか否かを判定する。制御部34は、動きベクトルの大きさが所定値より大きい場合にステップS40を肯定判定してステップS50へ進む。制御部34は、動きベクトルの大きさが所定値に満たない場合には、ステップS40を否定判定してステップS70へ進む。
ステップS50において、制御部34は、被写体の動く範囲が広いか否かを判定する。制御部34は、動きベクトルの動く範囲が所定の範囲より広い場合にステップS50を肯定判定してステップS60へ進む。制御部34は、動きベクトルの動く範囲が所定の範囲に収まる場合には、ステップS50を否定判定してステップS70へ進む。
なお、ステップS50の処理を省略し、ステップS40を肯定判定した場合にステップS60へ進むように構成してもよい。
ステップS60において、制御部34は、検出用の第2画像を得るための第2露光時間として、ライブビュー表示用の第1画像を取得する場合の第1露光時間よりも長く、ステップS70において設定する第2A露光時間よりも短い第2B露光時間を設定してステップS80へ進む。なお、第2B露光時間を第1露光時間よりも長くするので、必要に応じて、第2画像用のゲインを第1画像用のゲインよりも低く設定し、過度の露出を避ける。第2B露光時間は、例えば撮像素子32aの第2領域B2に一様に設定する。
ステップS70において、制御部34は、検出用の第2画像を得るための第2露光時間として、ライブビュー表示用の第1画像を取得する場合の第1露光時間よりも長く、かつ、上述したように環境の明るさとブレとに基づいた、より長い第2A露光時間を設定してステップS80へ進む。なお、第2A露光時間を第1露光時間よりも長くするので、必要に応じて、第2画像用のゲインを第1画像用のゲインよりも低く設定し、過度の露出を避ける。第2A露光時間は、例えば撮像素子32aの第2領域B2に一様に設定する。
ステップS80において、制御部34は、撮像素子32aの第2領域B2で第2画像の撮像を行わせ、撮像素子32aの第2領域B2から読み出した光電変換信号に基づく第2画像の生成を開始させてステップS90へ進む。
ステップS90において、制御部34は、領域抽出部34aにより、第2画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域(例えば、図7に示した被写体領域61~66)を抽出し、図13による処理を終了する。第1の実施の形態の変形例1では、領域抽出部34aによって抽出された複数の領域に対応して、設定部34bが、撮像部32によって取得される画像を自動で分割する。
以上説明した第1の実施の形態の変形例1によれば以下の作用効果が得られる。
(1)カメラ1の撮像素子32aは、取得した被写体の動きに関する情報、例えば動きベクトルに基づいて設定された第2露光時間(第2A露光時間または第2B露光時間)で、第2領域B2の撮像を行う。これにより、被写体が動くことによるブレを抑えた適切な第2露光時間で撮像した第2画像を得ることができる。
(2)撮像素子32aの第2領域B2の第2露光時間(第2A露光時間または第2B露光時間)は、被写体が動く範囲に基づいて設定される。これにより、被写体が動く範囲を考慮した適切な第2露光時間で撮像した第2画像を得ることができる。
また、一定方向に動く被写体については、第2露光時間を長くすることができるようになり、被写体とみられる領域の抽出に適した第2画像を得ることができる。
(3)撮像素子32aにおいて、被写体の動きに関する情報は、例えばライブビュー表示用の第1画像信号に基づいて取得されるようにしたので、動きベクトルの取得と並行して、第2露光時間の設定を行うことが可能になる。これにより、第2画像を早く取得することができる。
(4)撮像素子32aの第2領域B2に設定する第2露光時間を長くすることにより、撮像部32で撮像される被写体の像を適度にブレさせて第2の画像の解像度が低下される。この結果、画像構造や色が平均化されて、被写体とみられる領域の抽出に好適にすることができる。
(第1の実施の形態の変形例2)
制御部34は、図13のステップS60およびS70の代わりに、第2画像を得るための第2露光時間(第2A露光時間または第2B露光時間)を以下のように設定してもよい。
(被写体ブレについて)
動きのある被写体を撮像する場合、第2露光時間を長くすることによって、撮像部32で撮像される被写体の像がブレる。第1の実施の形態の変形例2では、そのブレを利用することによって、検出用の第2画像に基づいて被写体に対応する領域を抽出しやすくする。例えば、被写体に動きがある場合や、手持ちされたカメラ1が揺動していることによって被写体が相対的に動いて見える場合には、第2画像において細かい画像構造や色の平均化が生じる。つまり、第2画像の解像度が低下する。
一般に、画像の解像度が低下すると、被写体の細かな画像構造や細かい色の違いが薄れる(消失する)ので、このような画像構造や色の平均化は、領域抽出を容易にするというメリットがある。ただし、第2露光時間があまりに長い場合は、被写体のブレが大きくなり過ぎて領域抽出が困難になる。そのため、適切な被写体のブレを得るために、適度な長さで第2露光時間を設定する。
第1の実施の形態の変形例2において、適度な長さの第2露光時間とは以下の露光時間をいう。例えば一つの第2露光時間を設定する方法としては、第2露光時間を延ばしていくと、被写体のブレにより色や形状が平均化され、一つの大きな領域であるように撮像される。露光開始後の時間経過とともに各領域の面積の変化を検出すると、当初は面積の増加率が大きいものの、次第に面積の増加率が鈍り、やがて面積の増加が止まる(ブレによる面積増加が飽和する)。
第1の実施の形態の変形例2によれば、露光開始から面積の増加が止まるまでの時間を第2露光時間(第2A露光時間または第2B露光時間)として設定することにより、平均化された領域を抽出しやすくすることができる。
なお、上述では、ステップS60およびS70の代わりに、第2画像を得るための第2露光時間(第2A露光時間または第2B露光時間)を以下のように設定してもよいと記載したが、ステップS70はそのままにして、ステップS60の代わりに上記のような露光時間の設定を行ってもよいし、ステップS60はそのままにして、ステップS70の代わりに上記のような露光時間の設定を行ってもよい。
(第1の実施の形態の変形例3)
<領域内で異なる露光時間を設定>
第1の実施の形態の変形例1では、検出用の第2画像を得るために撮像素子32aの第2領域B2に第2露光時間を設定する場合において、第2領域B2を構成する全てのブロックに同じ第2露光時間を設定(すなわち、第2画像の画面全体で一様に設定)する例を説明した。この代わりに、第2領域B2を構成するブロック間で異なる第2露光時間を設定(すなわち、第2画像の画面内の領域間で異なる設定)してもよい。以下の処理は、上述した図13のステップS60で行ってもよいし、ステップS70で行ってもよいし、S60とS70との両方で行ってもよい。
(例1)第2領域B2内をグループに分け、グループ間で異なる露光時間を設定
図14は、第1画像に基づいて取得した動きベクトルを例示する図である。制御部34は、上述した被写体の動きの情報に基づいて第2露光時間を設定する場合において、取得した動きベクトルの中に、向きおよび大きさの少なくとも一方が異なる動きベクトルが存在する場合には、第2領域B2を複数の小領域、すなわち複数のグループに分け、複数のグループ間で異なる第2露光時間を設定する。具体的には、図14の動きベクトルの向きと大きさが同程度のベクトルをグルーピングして、第1グループ14Aと第2グループ14Bとに分ける。そして、グループごとに第2露光時間を設定する。例えば、撮像素子32aの第2領域B2を、動きベクトルの大きさが大きい第1グループ14Aに対応する領域と、動きベクトルの大きさが小さい第2グループ14Bに対応する領域と、に分ける。
制御部34は、撮像素子32aの第2領域B2を構成する複数のブロックのうち、第2グループ14Bに対応するブロックには、検出用の第2画像を得るための第2露光時間として、ステップS70の場合と同様に、より長い第2A露光時間(例えば25msec)を設定する。また、制御部34は、撮像素子32aの第2領域B2を構成する複数のブロックのうち、第1グループ14Aに対応するブロックについては、動きベクトルが動く範囲に基づいて異なる第2露光時間を設定する。例えば、動きベクトルが動く範囲が狭い場合は、撮像素子32aの第2領域B2を構成するブロックに対し、上記第2A露光時間を設定する。また、動きベクトルが動く範囲が広い場合は、撮像素子32aの第2領域B2を構成するブロックに対し、第2A露光時間よりも短い第2B露光時間(本例の場合、例えば10msec)とする。
制御部34は、このように撮像素子32aの第2領域B2に検出用の第2画像を得るための第2露光時間(第2A露光時間または第2B露光時間)を設定し、第2領域B2で第2画像の撮像を開始させる。
なお、第2露光時間を第2A露光時間と第2B露光時間とに2段階に分ける場合を例示したが、動きベクトルの大きさや動きベクトルが動く範囲により、第2露光時間を3段階またはそれ以上に分けてもよい。
(例2)第2領域B2で、露光時間を異ならせた複数フレームの画像を取得
制御部34は、撮像素子32aの第2領域B2でフレーム毎に第2露光時間を変えながら、複数フレームの第2画像を検出用画像として取得させてもよい。例えば、制御部34は、撮像素子32aの第2領域B2を構成する全てのブロックに対して第2B露光時間を設定して1フレームの撮像を行い、さらに上記第2領域B2を構成する全てのブロックに対して第2B露光時間より長い第2A露光時間を設定して次フレームの撮像を行う。これは、撮像素子32aの第2領域B2をグループ分けしない点で、第2領域B2内をグループに分け、グループ間で異なる第2露光時間を設定する上記(例1)とは異なる。
撮像素子32aの第2領域B2に対してフレーム間で異なる第2露光時間(第2A露光時間および第2B露光時間)を設定して複数フレームの撮像を行うことにより、第2B露光時間を設定して取得したフレームの第2画像では大きなブレが発生しないが、第2B露光時間より長い第2A露光時間を設定して取得したフレームの第2画像では大きなブレが生じる領域が発生する場合がある。制御部34は、ブレが大きく生じた領域では被写体とみられる領域を適切に抽出することができない場合があるため、第2A露光時間を設定して取得したフレームの第2画像で大きなブレが生じた領域について、第2B露光時間を設定して取得したフレームの第2画像を採用する。また、第2A露光時間を設定して取得したフレームの第2画像で大きなブレが生じなかった領域については、第2A露光時間を設定して取得したフレームの第2画像を採用する。
制御部34は、このように検出用の第2画像を得るための第2露光時間を設定すると、撮像素子32aの第2領域B2で第2画像の撮像を開始させる。
なお、撮像素子32aの第2領域B2に対して第2A露光時間および第2B露光時間を設定して2フレームの第2画像を撮像させる場合を例示したが、第2露光時間が異なる3フレームまたはそれ以上のフレーム数の第2画像を撮像させてもよい。
また、第1の実施の形態の変形例3の説明では、上記(例1)として、撮像素子32aの第2領域B2内を複数のグループに分ける手法と、上記(例2)として、第2領域B2に対してフレーム間で異なる第2露光時間を設定して複数フレームの第2画像を取得する手法とを説明したが、いずれを採用してもよい。
また、撮像素子32aの第2領域B2内を複数のグループに分ける代わりに、撮像素子32aの第1領域B1を複数のグループに分けてもよい。さらにまた、第2領域B2に対してフレーム間で異なる第2露光時間を設定して複数フレームの画像を取得する代わりに、第1領域B1に対してフレーム間で異なる第1露光時間を設定して複数フレームの画像を取得してもよい。
以上説明した第1の実施の形態の変形例3によれば以下の作用効果が得られる。
(1)カメラ1の撮像素子32aは、撮像素子32aの第2領域B2の中で異なる第2露光時間を設定して第2画像を撮像する。例えば、人物61や自動車62ごとに適切な露光時間を設定することで、各被写体を明るく撮像でき、第2画像の全体を明るくすることができる。また、各被写体のブレを抑えることができる。
(2)例1では、撮像素子32aの第2領域B2は、被写体の動きに関する情報、例えば動きベクトルをグループ化することによって複数の領域に分けられる。そして、それぞれの領域で、例えば第2A露光時間と、第2B露光時間とが設定される。これにより、例えば人物61の領域や自動車62などの各領域に対し、それぞれの動きに基づいた適切な露光時間を設定することができ、各被写体のブレを抑えることができる。
(3)例2では、撮像素子32aの第2領域B2は、第2露光時間が異なる複数フレームの第2画像を取得する。そして、各フレームの第2画像における被写体のブレにより、第2画像用のそれぞれの領域で、例えば第2A露光時間と、第2B露光時間とが設定される。例えば、第2A露光時間で撮像するとブレが生じる領域は第2B露光時間を、第2A露光時間で撮像してもブレが発生しない領域は第2A露光時間を、それぞれ採用する。これにより、例えば人物61の領域や自動車62などの各領域に対し、それぞれの動きに基づき適切な第2露光時間を設定することができ、各被写体のブレを抑えることができる。
(4)撮像素子32aの第2領域B2の第2露光時間は、例えば被写体の動きベクトルが所定の閾値よりも小さい場合、第2A露光時間に設定し、被写体の動きに関する情報が前記所定の閾値よりも大きい場合、被写体が動く範囲に基づいて第2B露光時間に設定する。これにより、被写体とみられる領域の抽出に適した検出用の第2画像を得ることができる。
(5)上記第2B露光時間は、所定時間内に被写体が動く範囲が広い場合に、上記第2A露光時間よりも短い時間に設定するので、被写体のブレが必要以上に大きくなるのを避けて、被写体とみられる領域の抽出に適した検出用の第2画像を得ることができる。
(第1の実施の形態の変形例4)
検出用の第2画像を撮像する場合に、撮像素子32aの第2領域B2に対してゲインの設定を行ってもよい。ゲインの設定を行う場合は、第2領域B2で設定可能な第2露光時間に基づいて行うとよい。例えば、制御部34がブレに基づいて、検出用の第2画像を得るための第2露光時間として20msecから50msecの範囲内が適していると判断したとする。制御部34は、環境の明るさに基づいてISO感度200、かつ、第2露光時間25msecで明るく撮像できる場合でも、できる限りISO感度を下げて第2画像を撮像するために、第2露光時間をブレに基づく限界の50msecに設定するとともに、ISO感度を200から100へ下げる設定を行う。これは、なるべく低いゲインを設定するのは、検出用としてノイズの少ない好適な第2画像を得るためである。
また、撮像素子32aの第2領域B2に設定する第2画像用のゲインは、撮像素子32aの第1領域B1に設定するライブビュー表示用の第1画像用のゲインよりも低いゲインを設定するとよい。このように設定するのは、ライブビュー表示用の第1画像よりもノイズの少ない第2画像を得るためである。
なお、第2画像用のゲインは、撮像素子32aの第2領域B2の全部にわたって一様に設定してもよいし、第2領域B2の中の領域ごとに異なるゲインを設定してもよい。例えば、第2領域B2のうちより長い第2A露光時間を設定した人物61の領域に対しては低いゲインを設定し、第2領域B2のうち短い第2B露光時間を設定した自動車62の領域に対しては高いゲインを設定する。
以上説明した第1の実施の形態の変形例4によれば以下の作用効果が得られる。
(1)撮像素子32aは、第2画像信号に対して、第2領域B2において設定された第2画像用のゲインで増幅する。これにより、光電変換信号の飽和を避けて、検出用に適した第2画像を得ることができる。
(2)上記第2画像用のゲインは、第2露光時間に基づいて設定する。例えば、第2領域B2においてより長い第2A露光時間を設定した領域には低いゲインを設定し、第2領域B2において短い第2B露光時間を設定した領域には高いゲインを設定することによって、光電変換信号の飽和を避けて、検出用に適した第2画像を得ることができる。
(3)上記第2画像用のゲインは、撮像素子32aの第1領域B1に設定され、第1画像信号に対して増幅する第1画像用のゲインよりも小さいので、ライブビュー表示用の第1画像に比べて明る過ぎることがなく、検出用に適した第2画像を得ることができる。
(第1の実施の形態の変形例5)
<第3画像で第2露光時間を設定>
また、カメラ1の制御部34は、第2画像を得るための第2露光時間を、第3画像に基づいて設定してもよい。第3画像は、明るさ情報の取得のための画像である。
制御部34は、撮像素子32aにより少なくとも1フレームの撮像を行うまでは、環境の明るさが判らないので、撮像素子32aの第2領域B2で検出用の第2画像を取得する前に、撮像素子32aの第2領域B2で明るさ情報の取得のために撮像を行わせ、取得した第3画像に基づいて明るさを取得する。第3画像に基づいて取得した環境の明るさに基づいて、第2画像を得るための第2露光時間を設定する。
制御部34は、後述するように第3画像に基づいて被写体の有無を判断する。被写体は、上述したように、人物(人物の顔)、犬、猫などの動物(動物の顔)、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体など何でもよい。もちろん、上記した被写体すべてを検出するのではなく、例えば人のみを検出してもよい。
図15は、第2画像と第3画像との比較例を示す図である。図15(a)は、例えば初期値のISO感度(例えばISO100)を設定して取得した第2画像を例示する図である。図15(a)から分かるように、光量が不足する環境の場合、被写体の有無が判りづらくなる。一方、図15(b)は、図15(a)の場合よりも高いISO感度(例えばISO25600)を設定して撮像を行った図である。図15(b)は、第2画像用の第2露光時間(例えばステップS80において設定する第2B露光時間)よりも短い第3露光時間を設定して、同じ被写体を撮像した第3画像を例示している。第3画像は、高いISO感度を設定することから、明細書内ではゲイン増幅画像とも称している。第1の実施の形態の変形例5は、この第3画像を得ることで、被写体の有無を判りやすくする。すなわち、図15(b)のような高感度の第3画像を取得することによって、暗い環境下でも短時間で明るい第3画像を取得できるので、制御部34は、第3画像に基づいて、被写体とみられる領域を短い時間で判別できる。制御部34は、この第3画像に基づき、撮像素子32aの第2領域B2に対して被写体がいると判別した領域に対して第2画像用の第2露光時間を設定する。制御部34は、例えば、領域15Xおよび領域15Yに対して第2X露光時間を設定し、領域15Zに対して第2Z露光時間を設定する。制御部34は、このように撮像素子32aの第2領域B2に第2露光時間を設定すると、第2領域B2で検出用画像(第2画像)の撮像を開始させる。
図15(b)のような第3画像は、撮像素子32aの第3領域から読み出した光電変換信号に基づいて生成する。ここで、第3領域は、撮像素子32aの撮像面(画素領域)の全域を用いて構成してもよいし、撮像素子32aの第1領域B1もしくは第2領域B2、または第1領域B1および第2領域B2以外の領域で構成してもよい。第1の実施の形態の変形例5では、例えば図6(a)の撮像素子32aの第2領域B2を第3領域として兼用する構成とする。すなわち、第1画像を第1領域B1で撮像しながら第3画像を撮像し得るように、第1画像の撮像と並行して撮像することができる第2領域B2を用いて第3画像を取得させる。
撮像素子32aの第2領域B2を第3領域として兼用して第3画像を得ることにより、ライブビュー表示用の第1画像の取得と並行して第3画像を取得する。このように構成することによって、第3画像に基づく領域の判別、および判別した領域ごとに設定する第2画像用の第2露光時間の設定を早く行う。
(第3画像のフレームレートについて)
第3画像については、フレームレートを高く設定して撮像するのが好ましい。第1の実施の形態の変形例5では、ライブビュー表示用の第1画像や検出用の第2画像を撮像する場合のフレームレートよりも、第3画像を撮像する場合のフレームレートを高く設定する(例えば120fps)。これにより、動きの速い被写体を正確に捉えることが可能になる。
<フローチャートの説明>
図16は、第1の実施の形態の変形例5において、制御部34が、第3画像を用いて領域を抽出する処理の流れを説明するフローチャートである。制御部34は、図11におけるステップS320の処理として、図16の処理を行う。図16のステップS110において、制御部34は、撮像素子32aの第1領域B1および第2領域B2に、あらかじめ用意されている初期値を設定してステップS120へ進む。初期値は、撮像素子32aの第1領域B1、第2領域B2において、それぞれ一様に設定する。例えば、第1領域B1に第1露光時間を、第2領域B2に第3露光時間を、第1領域B1にフレームレート60fpsを、第2領域B2にフレームレート120fpsを、第1領域B1および第2領域B2にISO感度100を、それぞれ設定する。ステップS120において、制御部34は、撮像素子32aの第2領域B2に、上記第1領域B1に設定したゲインよりも高いゲイン(例えばISO25600)を設定してステップS125へ進む。高いゲインは、撮像素子32aの第2領域B2に一様に設定する。これにより、1フレームの撮像を行った撮像素子32aの第2領域B2から読み出した光電変換信号に基づき、第3画像が生成される。
なお、ステップS120では第2領域B2に対して高いゲインを設定したが、第3領域を第2領域B2以外の他の領域で構成する場合には、第2領域B2とは異なる領域である第3領域に対して高いゲインを設定してよい。すなわち、ステップS120において、第2領域B2以外の他の領域において、高いゲインを設定するような制御を行ってもよい。もちろん、この第2領域B2とは異なる領域である第3領域は、第1領域B1であってもよいし、第1領域B1でなくてもよい。
ステップS125において、制御部34は、第3画像に基づいて、被写体がどの位置にいるのかを検出してステップS130へ進む。ステップS130において、制御部34は、1フレームの撮像を行った撮像素子32aの第1領域B1から読み出した光電変換信号に基づくライブビュー表示用の第1画像を生成してステップS140へ進む。
ステップS140において、制御部34は、第3画像の明るさに基づいてブロック間で異なる第2露光時間を、検出用の第2画像を得るために設定する。例えば、撮像素子32aの第2領域B2を構成する複数のブロックのうち、第3画像の明るい領域に対応するブロックには第2A露光時間を、第3画像の暗い領域に対応するブロックには第2A露光時間よりも長い第2C露光時間を設定する。
ステップS150において、制御部34は、撮像素子32aの第2領域B2で検出用の第2画像の撮像を行わせ、撮像素子32aの第2領域B2から読み出した光電変換信号に基づく第2画像の生成を開始させてステップS160へ進む。
ステップS160において、制御部34は、領域抽出部34aで第2画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域を抽出し、図16による処理を終了する。図16による処理では、領域抽出部34aによって抽出された複数の領域に対応して、撮像部32によって取得される画像を自動で分割することができる。
(被写体が検出されなかった領域の露光時間について)
第3画像では、上記ステップS120において撮像素子32aの第2領域B2に、ISO感度を高く、例えばISO25600以上に設定する。一般に、高いISO感度を設定するとノイズが発生しやすくなる。このため、第3画像に含まれるノイズを誤って被写体と判別してしまう可能性がある。そこで、第3画像を取得した場合には、その後に取得した検出用の第2画像に基づいて被写体とみられる領域を抽出する前に、実際に被写体らしきものが写っているか否かを第2画像に基づいて判別してもよい。
図17(a)は、ISO感度を高く設定して撮像した第3画像を例示する図であり、図17(b)は、同じ被写体を撮像した第2画像を例示する図である。図17(a)の第3画像において、領域RにノイズQが発生したとする。これは、図17(a)の第3画像を撮像した際に、ISO感度を高く設定しため、画像の一部に発生してしまったノイズである。一方、図17(b)の第2画像については、図17(a)の第3画像を撮像した時よりも低いISO感度を設定して撮像を行った。図17(b)の第2画像は、高いISO感度を設定した第3画像と異なり、領域RにノイズQが発生していない。これは、図17(b)の第2画像の方が、ISO感度が低いため、画像内に高いノイズが発生しなかったからである。ここで、制御部34は、第3画像の領域Rに発生した大きな輝点のノイズQを誤って被写体と判別してしまう場合がある。このように、制御部34が、第3画像に含まれるノイズQを一旦は被写体らしきものと判別するものの、第2画像においては、ノイズQに対応する領域Rに被写体とみられるものが写っていないことがあり得る。そこで、制御部34は、第2画像において被写体とみられるものが写っていないときに、この領域Rに対して周りの領域よりも長い第2C露光時間を設定している場合、周りの領域と同様の短い第2A露光時間に設定し直す(再設定)。
すなわち、露光時間の再設定とは、第3画像に基づき、被写体とみられるものが写るように第2画像を得るための第2C露光時間を長く設定したにもかかわらず、その第2画像において被写体とみられるものが写らなかったので、何も写らない領域に対応するブロックの第2露光時間を短く設定し直すものである。
上記のような露光時間の再設定は、例えば、図16のステップS150とステップS160との間で行うとよい。例えば制御部34は、図16のステップ150の処理を終了すると、第2画像の中に何も写らない領域、すなわち、被写体とみられるものが写っていない領域があるか否かを判定する。制御部34は、第2画像の中に被写体とみられるものが写っていない領域が存在する場合には、撮像素子32aの第2領域B2を構成する複数のブロックのうち、被写体とみられるものが写っていない領域(図17(b)の領域R)に対応するブロックに対して第2露光時間を再設定してステップS160へ進む。再設定では、何も写らない領域に対応するブロックに対し、ステップS140において設定した長い第2C露光時間を短くする。具体的には、ステップS140において第3画像の暗い領域に対応するブロックに長い第2C露光時間を設定したものの、当ブロックに何も写らなかったので、当ブロックに対する第2露光時間を当ブロックの周りの領域と同様の短い第2A露光時間に設定し直す。ただし、再設定する第2A露光時間は、ライブビュー表示用の第1画像の第1露光時間より長くてよい。
一方、制御部34は、第2画像の中に何も写らない領域が存在しない(すなわち、被写体とみられるものが写っている)場合には、ステップS140において設定した第2C露光時間を維持してステップS160へ進む。すなわち、ステップS140において設定した第2露光時間により第2画像の取得を継続する。
ここで、上記露光時間の再設定を行う場合について述べる。制御部34は、上記露光時間の再設定の方法として、下記(例1)~(例4)のいずれかの方法から選択してもよい。
(例1)制御部34は、その領域に対する第2C露光時間を、その領域近くの領域に設定されている第2A露光時間と同じ設定にする。近くの領域であれば、環境の明るさ等もほぼ同様となり、時間が経過し、その領域に被写体が存在するようになっても、検出用の第2画像に基づいて検出することができるからである。
(例2)制御部34は、その領域に対する第2C露光時間を、その領域で得られる明るさが所定値以上になるように設定する。検出用の第2画像において所定値以上の明るさが得られるようにしておくと、時間が経過し、その領域に被写体が存在するようになっても、第2画像に基づいて検出することができるからである。
(例3)制御部34は、その領域に対する第2C露光時間を、検出用の第2画像を得るために第2領域B2に設定する第2露光時間の平均値に設定する。検出用の第2画像において平均的な明るさが得られるようにしておくと、時間が経過し、その領域に被写体が存在するようになっても、第2画像に基づいて検出することができるからである。
(例4)制御部34は、その領域に対する第2C露光時間を、検出用の第2画像を得るために第2領域B2に設定する第2露光時間の最も長い露光時間に合わせて設定する。検出用の第2画像において最大の明るさが得られるようにしておくと、時間が経過し、その領域に被写体が存在するようになっても、第2画像に基づいて検出することができるからである。
上記(例1)~(例4)はいずれも、第2露光時間を再設定した後に時間が経過し、その領域に被写体が存在するようになっても、被写体を検出し得るように、その領域に対してある程度の明るさを確保しておく。すなわち、環境の明るさが極端に暗い場合には、設定する露光時間が長過ぎると、第2画像、すなわち第2領域B2全体の画像が撮像されるフレームレートが遅くなる。第2画像を取得するフレームレートが遅すぎると、その領域に何らかの被写体が入ってきた時に検出するのが遅れてしまう。このような遅れを避けるために、環境の明るさが極端に暗い場合でも、適度に明るく、フレームレートも周囲の領域と同程度になるような第2露光時間を設定する必要がある。そのような方法が上記(例1)~(例4)である。
制御部34は、(例1)~(例4)のうち、例えば設定メニューにおいて選択されている処理を行う。
なお、制御部34は、(例1)~(例4)のうち、実行する処理を自動で選択してもよい。
また、制御部34は、(例1)~(例4)を適宜組み合わせた処理を実行するように構成してもよい。
以上説明した第1の実施の形態の変形例5によれば、以下の作用効果が得られる。
(1)第2画像用の第2A露光時間(ステップS70において設定する露光時間)よりも短い第3露光時間を設定することにより、第2画像を取得する場合よりも短い時間で第3画像を取得できる。第3画像を短時間で取得したことにより、例えば、この第3画像に基づくことによって被写体の存在を短い時間で判別できる。
(2)撮像素子32aの第3領域は、ライブビュー表示用の第1画像信号、または検出用の第2画像信号よりも高いISO感度で第3画像信号を生成するので、暗い環境下でも短い時間で明るい第3画像を取得できる。この第3画像に基づくことによって、被写体の存在を短い時間で判別できる。
(3)撮像素子32aの第2領域B2は、第3画像信号に基づいて第2露光時間が設定される。短い時間で取得される第3画像に基づくことにより、第2露光時間の設定を短時間で行うことができる。
(4)撮像素子32aの第3領域は、例えば第2領域B2と兼用させて、第2領域B2に含まれるようにした。すなわち、第2領域B2は、第3画像信号を生成する画素領域と、第2画像信号を生成する画素領域とを有する。このように構成することで、専用の第3領域を設けることなしに、第3画像を取得できる。
(5)撮像素子32aの第3領域は、例えばライブビュー表示用の第1画像信号を生成する第1領域B1、または検出用の第2画像信号を生成する第2領域B2よりもフレームレートを高くして撮像し第3画像を生成する。これにより、第3画像において、動きの速い被写体を正確に捉えることが可能になる。
(第1の実施の形態の変形例6)
第3画像の取得を、以下に例示するタイミングで行ってもよい。すなわち、上述した図16のステップS125において取得する第3画像とは、異なるタイミングで取得してもよい。
(例1)ライブビュー表示用の第1画像を取得する撮像素子32aの第1領域B1と、検出用の第2画像を取得する撮像素子32aの第2領域B2とは異なる第3領域を撮像素子32aに設け、第1画像や第2画像の取得と並行して第3領域において第3画像を取得できるように構成する。そして、ライブビュー表示用の第1画像の取得や、検出用の第2画像の取得と並行して、第3画像を常に取得する。これにより、検出用の第2画像を得るための第2露光時間を、常に、適切に設定することが可能になる。
(例2)ライブビュー表示用の第1画像の取得や、検出用の第2画像の取得と並行して上記第3領域において第3画像を取得できるように構成する。そして、所定のタイミングで第3画像を取得する。例えば、第1画像または第2画像をフレームレート10fpsで撮像している場合において、2secごとに第3画像を撮像する。これにより、第3画像を常に撮像することなしに、検出用の第2画像を得るための第2露光時間を、2secごとに適切に設定することが可能になる。
なお、上記(例2)の場合には、撮像素子32aの第3領域を、撮像素子32aの撮像面の画素領域の全域を用いて構成してもよいし、画素領域のうちの第1領域B1もしくは第2領域B2、または第1領域B1および第2領域B2以外の領域で構成してもよい。
(例3)ライブビュー表示用の第1画像の取得や、検出用の第2画像の取得と並行して上記第3領域において第3画像を取得できるように構成する。そして、所定の条件を満たした場合に、第3画像を取得する。例えば、当初検出用の第2画像に基づいて検出されていた被写体が画面外に外れた場合、または当初検出用の第2画像に基づいて検出されていなかった被写体が画面内に入ってきた場合に、第3画像を取得する。これにより、被写体が画面内に入ったり出たりするような、所定のタイミングで第3画像を取得することができる。
制御部34は、(例1)~(例3)のうち、例えば設定メニューにおいて選択されているタイミングで第3画像を取得してよい。
(第1の実施の形態の変形例7)
第3画像を取得する領域を以下のように設定してもよい。すなわち、第3画像を取得する撮像素子32aの第3領域を、撮像素子32aの撮像面の画素領域の全部を一様に用いて構成してもよいし、一部の画素領域を用いて構成してもよい。
ここで、第3画像を得るために、撮像素子32aの第3領域に対して通常よりもISO感度、例えばゲインを高く設定するので、環境の明るさが明るい領域については、読み出した光電変換信号が飽和してしまい、被写体とみられる領域を判別しづらくなってしまうことも想定される。
そこで、制御部34は、撮像画角内で明るさが所定値に満たない領域を検出し、検出した領域に対応する、撮像素子32aの撮像面の一部の領域のみを第3画像として取得する。
なお、環境の明るさの取得については、図16のステップS130において取得されるライブビュー表示用の第1画像に基づいて取得してもよいし、撮像部32と別に設けた測光装置による測光結果に基づいて明るさを取得してもよい。また、例えば図16のステップS120の処理を行う前において撮像素子32aの第2領域B2で明るさ取得用の撮像を行わせて、この場合に取得された明るさ取得用の画像に基づいて明るさを取得してもよい。制御部34は、撮像画角内で明るさが所定値に満たない領域を検出してから、検出した領域を対象に図16のステップS120およびS125の処理を行うことにより、撮像素子32aの撮像面の一部の領域によって第3画像を取得する。
以上説明した第1の実施の形態の変形例7によれば、環境の明るさが明るい場合でも、光電変換信号の飽和を避けて、被写体とみられる領域を判別しやすい第3画像を得ることができる。
(第1の実施の形態の変形例8)
第3画像の明るさを、領域によって異ならせてもよい。上述した説明では、第3画像を取得する場合において、撮像素子32aの撮像面の画素領域の全部を一様に用いて、ISO感度(例えば25600)を一様に設定する例を説明した。この代わりに、撮像素子32aの第3領域を複数の領域に分けて、複数の領域においてそれぞれ異なるISO感度を設定してもよい。
ISO感度を高くして撮像する場合、環境の明るさが明るい領域については、読み出した光電変換信号が飽和してしまい、被写体とみられる領域を判別しづらくなってしまうことも想定される。
そこで、制御部34は、光電変換信号が飽和しないように、領域ごとに撮像する明るさの条件(すなわちISO感度)を変えて第3画像を撮像する。例えば、光電変換信号が飽和する明るい領域に対してはISO感度を下げ、光電変換信号が飽和しない領域に対してはISO感度を維持する。このように撮像することによって、光電変換信号が飽和することなく、被写体とみられる領域を判別しやすい第3画像を撮像することができる。
なお、環境の明るさの取得については、第1の実施の形態の変形例7と同様に、ライブビュー表示用の第1画像に基づいて明るさを取得してもよいし、撮像部32と別に設けた測光装置による測光結果に基づいて明るさを取得してもよい。また、例えば図16のステップS120の処理を行う前において撮像素子32aの第2領域B2で明るさ取得用の撮像を行わせて、この場合に取得された明るさ取得用の画像に基づいて明るさを取得してもよい。
制御部34は、本変形例8では、図16のステップS120において、図16のステップS120に代えて、撮像画角内の領域ごとの明るさを検出してから、領域ごとのゲインを設定する処理を行う。すなわち、撮像素子32aの第2領域B2に対して第1領域B1に設定するゲインよりも高いゲインを設定する際に、領域ごとの明るさによって異なるゲインを設定する。これにより、撮像素子32aの第2領域B2に対して一様なゲインではなく、領域ごとの明るさによって異なるゲインを設定して第3画像が取得される。
なお、撮像素子32aの第2領域B2に対して第1領域B1に設定するゲインよりも高いゲインを設定すると記載したが、領域の明るさによっては、第1領域B1に設定するゲインよりも第2領域B2に設定するゲインを高くする必要は必ずしもない。
以上説明した第1の実施の形態の変形例8によれば、以下の作用効果が得られる。すなわち、撮像素子32aの第3領域では、取得された第3領域内の明るさに基づいて、第3画像信号を増幅するゲインの値を第3領域内で異ならせたので、環境の明るさが明るい領域において第3画像が飽和してしまい、または、環境の明るさが暗い領域において被写体らしきものが写るか否かを判別しづらくなってしまうことを避けることができる。
(検出用画像のフレームレートについて)
制御部34は、図16のステップS140において、検出用の第2画像を得るための第2露光時間を設定する場合に、設定した第2露光時間に基づいてフレームレートを設定する。具体的には、設定した第2露光時間で撮像を繰り返すことが可能な程度に速いフレームレートを決定する。例えば、第2露光時間が25msecの場合にはフレームレートは40fpsである。検出用の第2画像をできるだけ多く記憶しておけるように、可能な限りフレームレートを速くしておく方がよい。
例えば、カメラ1を後述する監視カメラ等に利用する場合においては、フレームレートが遅いと移動速度が速い物体の検出を捉えられずに逃してしまう可能性があるため、できるだけ速いフレームレートを設定して撮像することが好ましい。
なお、第2画像を得るためのフレームレートは、撮像素子32aの第2領域B2において一様に設定してもよい。例えば、第2領域B2の中に異なる第2露光時間を設定した複数の領域が存在する場合において、第2領域B2に対して一様なフレームレートを設定する場合には、複数の領域の中で一番遅い第2露光時間が撮像可能なレートに合わせて、一様にフレームレートを設定する。
(第1の実施の形態の変形例9)
上述した説明では、被写体の動きに関する情報を得る一例として、ライブビュー表示用の第1画像に基づいて動きベクトルを取得する例を説明した。この代わりに、上記第3画像に基づいて動きベクトルを取得してもよい。つまり、第3画像から取得した動きベクトルにより、検出用の第2画像を得るための第2露光時間を設定する。
第1の実施の形態の変形例9の場合、制御部34は、図13のフローチャートによる処理の一部を変更する。制御部34は、例えば図13のステップS20の処理に代えて、撮像素子32aの第2領域B2によって第3画像を取得し、図13のステップS30からステップS50の処理を第3画像に基づいて行う。
そして、制御部34は、図13のステップS60、ステップS70の処理をそれぞれ第3画像に基づいて行う。すなわち、ステップS60において、制御部34は、検出用の第2画像を得るための第2露光時間として、第3画像を取得する場合の第3露光時間よりも長く、ステップS70において設定する第2A露光時間より短い第2B露光時間を設定してステップS80へ進む。なお、第2B露光時間を第3露光時間よりも長くするので、必要に応じて、第2画像用のゲインを第3画像用のゲインよりも低く設定し、過度の露出を避ける。第2B露光時間は、例えば撮像素子32aの第2領域B2に一様に設定する。
また、ステップS70において、制御部34は、検出用の第2画像を得るための第2露光時間として、第3画像を取得する場合の第3露光時間よりも長く、かつ、環境の明るさとブレとに基づいた、より長い第2A露光時間を設定してステップS80へ進む。なお、第2A露光時間を第3露光時間よりも長くするので、必要に応じて、第2画像用のゲインを第3画像用のゲインよりも低く設定し、過度の露出を避ける。第2A露光時間は、例えば撮像素子32aの第2領域B2に一様に設定する。
ステップS80以降の処理は図13の処理と同様であるため説明を省略する。
第1の実施の形態の変形例9によれば、第3画像はライブビュー表示用の第1画像よりも高いISO感度、および速いフレームレートを設定して撮像するので、第1画像に比べて明るい第3画像に基づき、検出用の第2画像を得るための第2露光時間を設定することができる。また、第3画像は第1画像よりも短時間で取得できるので、検出用の第2画像を得るための第2露光時間を早く設定することができる。
(第1の実施の形態の変形例10)
上述で説明したように、制御部34は、被写体を認識する場合に、ノイズによって誤認識する場合、または認識できない場合がある。そこで制御部34は、ノイズの一つであるランダムノイズへの対処として以下の処理を行ってもよい。
(処理1)
制御部34は、例えば第3画像を時系列に連続して撮像している場合、撮像した複数の第3画像を利用して被写体を判別する。処理1では、時系列に撮像した複数フレームの第3画像の画素値をそれぞれ加算し、加算した枚数分だけ除算を行う、加算平均によるノイズキャンセルを行う。時系列に撮像した第3画像に含まれる被写体が静止している場合、被写体に対応する画素値は加算平均による減増はほとんどない。一方、第3画像に重畳するランダムノイズの画素値は、各画像に重畳するノイズがランダムなため、加算平均によってランダムなノイズが平均化され一様になる。そのため、加算後の画素値は、被写体に対応する画素値の方がノイズに対応する画素値に比べて相対的に大きくなる。
以上説明した処理1によれば、加算後の第3画像に基づいて被写体を判別することにより、誤って被写体と判別してしまう可能性を低く抑えることができる。
(処理2)
制御部34は、例えば第3画像を時系列に連続して撮像している場合、撮像した複数の第3画像の差分に基づいて動きベクトルを取得する。処理2では、動きベクトルの変化が特徴的な動きを示す場合には、たとえ第3画像に基づいて被写体を判別しなかったとしても、第3画像に被写体が存在するものとみなす。例えば、カメラ1を監視カメラのような定点カメラとして利用する場合において、動きベクトルの軌跡が道に沿って移動している場合、被写体が人や動物、車などである可能性が高い。このような場合、制御部34は、第3画像に基づいて被写体を判別できなかったとしても、被写体が存在するものとみなし、動きベクトルの軌跡が移動した領域(向きと大きさが同程度の動きベクトルの集合)に対して、検出用の第2画像を取得するための第2露光時間を設定する。
以上説明した処理2によれば、第3画像に基づいて被写体を判別できなかったとしても、適切に第2画像を取得するための露光時間を設定できる。
なお、上記処理1および処理2は、被写体の判別に用いる画像(第2画像または第3画像)の画面内の全ての領域で行う必要はない。例えば、所定の明るさよりも明るい領域では、被写体に対応する画素値がノイズに対応する画素値よりも大きいので、上記処理1および処理2を行わなくてもよい。
また、被写体の存在が既知とされている領域については、上記処理を行わなくてもよい。すなわち、被写体の存在が不明であって、被写体の判別に用いる画像(第2画像または第3画像)に所定の明るさよりも暗い領域が存在する場合に、上記処理1または処理2を行ってもよい。
(処理3)
制御部34は、第3画像に基づいて被写体を判別する前に、第3画像において所定の明るさより暗い(画素値が所定の判定閾値より小さい)領域のみに特別な処理を施してもよい。例えば、上記所定の明るさより暗い領域を二つの領域3A、3Bとに分ける。領域3Aは例えば複数の小領域3aからなり、すなわち複数の小領域3aの集合体であり、領域3Bも例えば複数の小領域3bからなり、すなわち複数の小領域3bの集合体である。小領域3aと小領域3bは、例えば、図6(a)のように、上記の暗い領域を市松模様のように分割しても良いし、図6(b)または図6(c)のように、上記の暗い領域に左右方向または上下方向に交互に配置されても良い。
制御部34は、領域3Aに対しては上記第3画像を得る場合と同じISO感度(上記例ではISO25600)を設定し、領域3Bに対しては領域3Aよりも低いISO感度(例えばISO6400)を設定する。そして、領域3Bに対して領域3Aよりも長い露光時間(例えば4倍)を設定して第3画像を撮像させる。
ここで、領域3Aから読み出された光電変換信号に基づく第1の第3画像を第3A画像と称し、領域3Bから読み出された光電変換信号に基づく第2の第3画像を第3B画像と称する。制御部34は、第3A画像および第3B画像に基づいて被写体を判別し、判別した領域に対して、その領域ごとに、検出用の第2画像を得るための第2露光時間を第3A画像および第3B画像に基づいて設定する。制御部34は、このように検出用の第2画像を得るための第2露光時間を設定すると、撮像素子32aの第2領域B2で検出用画像(第2画像)の撮像を開始させる。
例えば、所定の明るさより暗い(画素値が所定の判定閾値より小さい)領域において、制御部34は、第3A画像に基づく被写体の判別と第3B画像に基づく被写体の判別とが同じ結果であれば、被写体であると判断する。制御部34は、第3A画像に基づく被写体の判別と第3B画像に基づく被写体の判別とで結果が異なる場合には、被写体であるとは判断しない。
以上説明した処理3によれば、第3B画素に対して露光時間を第3A画素に比べて長く設定するために、第3画像を取得する場合よりも遅いフレームレートで撮像することになるものの、ノイズを誤って被写体と判別する可能性を低減することができる。
上記処理1~処理3については、所定の明るさより暗い領域を対象に行う例を説明したが、撮像素子32aによって取得される画面の全体の画素領域を対象に行ってもよいし、一部の画素領域を対象に行うようにしてもよい。
なお、上述したように、撮像素子32aの第2領域B2を第3領域として兼用し、兼用する領域を、領域3Aと領域3Bとに分ける構成としてもよい。
もちろん、撮像素子32aの第1領域B1を第3領域として兼用してもよいし、第1領域B1および第2領域B2以外の領域を第3領域とし、この第3領域を、領域3Aと領域3Bとに分ける構成としてもよい。
(第1の実施の形態の変形例11)
第1の実施の形態および変形例1~変形例10では、検出用の第2画像を必ず取得する例を説明した。しかし、検出用の第2画像を必ず取得する必要がなく、以下の(例1)~(例5)に例示する所定の条件を満たした場合に第2画像を取得するようにしてもよい。
(例1)制御部34は、例えばライブビュー表示用の第1画像の中に所定の明るさよりも暗い(画素値が所定の判定閾値より小さい)領域が存在する場合に、第2画像の撮像を開始させる。(例1)において、制御部34は、図13のフローチャートによる処理の一部を変更する。制御部34は、例えば図13のステップS30の処理後でステップS40の処理前に、以下の処理を行う。なお、処理によっては、図13のステップS30の処理の前に以下の処理を行ってもよい。
制御部34は、第1画像の中に所定の明るさよりも暗い(画素値が所定の判定閾値より小さい)領域が存在するか否かを判定する。制御部34は、暗い領域が存在する場合に図13のステップS40からステップS90の処理を第2画像に基づいて行う。ステップS40以降の処理は、既述しているので説明を省略する。
一方、制御部34は、第1画像の中に暗い領域が存在しない場合には図13のステップS90へ進む。すなわち、制御部34は、第2画像を取得せずに第1画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域(例えば、図7に示した被写体領域61~66)を抽出する。
(例2)次に、第1の実施の形態の変形例5のように第3画像を撮像する場合には、第1画像内に所定の明るさよりも暗い領域があった場合に、第3画像の撮像を行い、その後(または第3画像の撮像とともに)第2画像の撮像を行うようにしてもよい。第3画像とともに撮像する場合、第2画像を得るための第2露光時間の設定は、予め定められた設定にしてもよい。例えば、撮像しているときの撮像モード(風景撮影モード、ポートレート撮影モード等)の撮像モードによって値を変えてもよいし、ユーザによる設定を適用してもよい。
図18は、(例2)において、制御部34が第3画像を用いて領域を抽出する処理の流れを説明するフローチャートである。制御部34は、例えば、図16のフローチャートに代えて図18のフローチャートによる処理を実行する。図18のフローチャートは、図16のフローチャートに比べてステップS112、S114およびステップS116が追加されている点において相違するので、これらの相違点を中心に説明する。
ステップS110の次に進むステップS112において、制御部34は、1フレームの撮像を行った撮像素子32aの第1領域B1から読み出した光電変換信号に基づくライブビュー表示用の第1画像を生成してステップS114へ進む。ステップS114において、制御部34は、第1画像に基づいて、明るさを取得してステップS116へ進む。ステップS116において、制御部34は、ライブビュー表示用の第1画像の中に所定の明るさよりも暗い(画素値が所定の判定閾値より小さい)領域が存在するか否かを判定する。制御部34は、暗い領域が存在する場合にステップS116を肯定判定してステップS120へ進む。ステップS120以降へ進む場合、制御部34は第3画像を取得してから第2画像を取得し、第2画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域(例えば、図7に示した被写体領域61~66)を抽出する。
一方、制御部34は、暗い領域が存在しない場合には、ステップS116を否定判定してステップS160へ進む。ステップS160へ進む場合、制御部34は第3画像、第2画像を取得せずに、第1画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域(例えば、図7に示した被写体領域61~66)を抽出する。
なお、第3画像、第2画像の撮像は、第1画像内に存在する所定の明るさよりも暗い領域に対してのみ行うようにしてもよい。なお、ここではライブビュー表示用の第1画像に基づいて明るさを取得する例を説明したが、撮像部32と別に設けた測光装置による測光結果に基づいて明るさを取得してもよい。
また、(例1)および(例2)において検出用の第2画像の撮像を開始した以降は、継続して第2画像の撮像を繰り返してもよいが、ライブビュー表示用に並行して撮像される第1画像の中に所定の明るさよりも暗い領域が存在しなくなった場合には、以降の検出用の第2画像の撮像をやめてもよい。また、第2画像の撮像を開始後所定時間経過した場合に第2画像の撮像をやめてもよい。
(例3)制御部34は、例えばライブビュー表示用の第1画像に基づいて被写体とみられる領域を抽出し、第1画像に基づく領域の抽出精度が低下した場合に、第2画像の撮像を開始させる。制御部34は、図18のフローチャートによる処理の一部を変更する。制御部34は、例えば図18のステップS114、S116の代わりに、以下の処理を行う。
制御部34は、第1画像に基づく領域抽出処理による抽出精度が低下したか否かを判定する。制御部34は、環境の明るさが急に暗くなるなどの理由により、抽出精度が低下した場合に図18のステップS120からステップS160の処理を行う。ステップS120以降の処理は、既述しているので説明を省略する。
これにより、第1画像に基づく上記領域の抽出精度が低下した場合には、第1画像の第1露光時間に比べて長い第2露光時間を設定した第2画像に基づいて、被写体とみられる領域を好適に抽出することが可能になる。
一方、制御部34は、第1画像に基づく領域抽出処理による抽出精度が低下しない場合には図18のステップS160へ進む。ステップS160へ進む場合、制御部34は第3画像、第2画像を取得せずに、第1画像に基づいて領域抽出処理を行うことにより、被写体とみられる領域(例えば、図7に示した被写体領域61~66)を抽出する。
図18のステップS150にて検出用の第2画像の撮像を開始した以降は、継続して第2画像の撮像を繰り返してもよいが、ライブビュー表示用に並行して撮像される第1画像に基づく領域の抽出精度が低下しなくなった場合には、以降の検出用の第2画像の撮像をやめてもよい。また、図18のステップS150にて第2画像の撮像を開始後所定時間経過した場合に第2画像の撮像をやめてもよい。
(例4)制御部34は、例えばライブビュー表示用の第1画像に基づいて動きベクトルを取得し、動きベクトルの大きさが所定値以上に大きくなった場合に、第2画像の取得を開始させる。制御部34は、図13のフローチャートによる処理の一部を変更する。制御部34は、例えば図13のステップS30の処理後でステップS40の処理前に、以下の処理を行う。
制御部34は、被写体の動きが大きいか否かを判定する。制御部34は、例えば動きベクトルの大きさが所定値以上の場合に図13のステップS40からステップS90の処理を第2画像に基づいて行う。ステップS40以降の処理は、既述しているので説明を省略する。
第1画像に基づく動きベクトルの大きさが所定値以上に変化した場合には、被写体が急に暗い環境下へ移動するなどして、撮像される第1画像に基づく領域の抽出精度が低下することも考えられる。しかしながら、第2画像の撮像を開始させておくことで、第1画像の第1露光時間に比べて長い第2露光時間を設定した明るい第2画像に基づき、被写体とみられる領域を好適に抽出することが可能になる。
(例4)において検出用の第2画像の撮像を開始した以降は、継続して第2画像の撮像を繰り返してもよいが、ライブビュー表示用に並行して撮像される第1画像に基づく動きベクトルの大きさが所定値未満に戻った場合には、以降の検出用の第2画像の撮像をやめてもよい。また、第2画像の撮像を開始後所定時間経過した場合に第2画像の撮像をやめてもよい。
(例5)制御部34は、ユーザが設定操作を行うことによって撮像条件を変更した場合に、撮像素子32aによって取得される画面における被写体の領域を正確に設定する必要がある。このため、上記(例1)~(例4)において第1画像に基づいて被写体とみられる領域を抽出している場合でも、ユーザによる撮像条件の変更操作のタイミングで、被写体とみられる領域を正確に抽出するため、第2画像の撮像を開始させる。すなわち、第2画像は、制御部34による撮像開始の制御に基づいて撮像される。
なお、第2画像の撮像を開始した以降は、継続して第2画像の撮像を繰り返してもよいが、ユーザ操作に基づく撮影動作の終了時に検出用の第2画像の撮像をやめてもよい。また、第2画像の撮像を開始後所定時間経過した場合に第2画像の撮像をやめてもよい。
上記(例1)~(例5)の場合において、第2画像を取得するためのゲインを設定する際に、設定可能な露光時間に基づいて、なるべく低いゲインを設定するとよい。低いゲインを設定することにより、取得される第2画像のノイズを低減できるからである。
また、上記(例1)~(例5)の場合において、第2画像を取得するためのゲインの値を、ライブビュー表示用の第1画像を取得するためのゲインの値よりも小さくするとよい。ゲインの値を小さくすることによって、取得される第2画像のノイズを第1画像のノイズに比べて少なく抑えられるからである。
第1の実施の形態の変形例11によれば、以下の作用効果が得られる。
(1)(例1)~(例5)のいずれの場合にも、第2画像を常に取得し続ける場合と比べて省電力化につながる。また、検出用の第2画像を不図示のメモリ等に記憶する場合には、第2画像を常に取得し続ける場合と比べて、メモリ等の記憶容量を節約することもできる。
(2)(例1)~(例5)の撮像素子32aの第2領域B2では、制御部34による撮像開始の制御に基づいて撮像を行うので、被写体とみられる領域の抽出に適したタイミングで、第2画像を得ることができる。
(3)(例1)の撮像素子32aの第2領域B2dでは、第1画像信号に基づく第1画像の明るさに基づいて制御部34による撮像開始の制御が行われ、第2画像の撮像を行うので、被写体とみられる領域の抽出に適したタイミングで、第2画像を得ることができる。
(第1の実施の形態の変形例12)
第1の実施の形態の変形例12の処理では、図11のステップS370で行った処理である、自動分割した領域に対する変更処理の別の方法について説明する。第1の実施の形態の変形例12の処理では、制御部34が、ユーザによるタッチ位置に基づいて、ある被写体の領域に別の領域を追加し、ある被写体の領域と別の領域とを一つの領域とする処理を行ったり、ある被写体の領域から一部の領域を削除し、ある被写体の領域と別の領域とを別々の領域として扱う処理を行ったりする。このように、制御部34が共通の被写体として扱う領域を設定することで、共通の被写体として扱う領域の撮像条件を、一度の操作で変更する事などができるようになる。
第1の実施の形態の変形例12の処理として、例えば、ある被写体の領域に別の領域が追加されていない場合に、ユーザによって別の領域にタッチ操作が行われた場合には、ある被写体の領域に別の領域を追加する処理(共通化する処理)を行う。一方、ある被写体の領域に別の領域が既に追加されている場合に、ユーザによって別の領域にタッチ操作が行われた場合には、ある被写体の領域から別の領域を削除(追加のキャンセルを)する処理を行う。このように、一回のタッチ操作で、領域の追加、または領域の削除を行うことについて説明をする。
なお、変形例12の説明に先立ち、領域抽出部34aによって抽出された被写体に基づき、撮像部32で取得された画像が設定部34bによって図10のように分割されているものとする。図10の例では、例えば人物61の領域と、自動車62の領域と、バッグ63の領域と、山64の領域と、雲65の領域と、雲66の領域と、その他の領域とに分割されており、ある被写体の領域(例えば人物61の領域)が選択されている。
制御部34は、表示部35に表示する画像のうち、ある被写体の領域(人物61の領域)を強調表示させる。強調表示は、例えば人物61の領域をカラー画像として表示し、その他の領域をモノクロ画像として表示してよい。
次に制御部34は、表示部35の表示画面におけるタッチ位置を検出する。そして、制御部34は、ユーザによるタッチ位置が、ある被写体の領域とは別の被写体の領域(例えばバッグ63の領域)に位置する場合、ある被写体の領域(人物61の領域)に対してバッグ63の領域を追加する。
なお、第1の実施の形態の変形例12では、表示画面におけるバッグ63の領域がタッチ操作された場合に、バッグ63の領域全体を追加する例を説明するが、バッグ63の領域全体ではなく、バッグ63の領域のうちのタッチされた領域のみ、またはタッチされた領域の周辺を追加するようにしてもよい。
一方、制御部34は、ある被写体の領域(人物61の領域)に別の被写体の領域(バッグ63の領域)が既に追加されていた場合に、表示画面におけるバッグ63の領域がタッチ操作されると、人物61の領域からバッグ63の領域を削除(追加のキャンセルを)する。
図19は、第1の実施の形態の変形例12の処理を説明するフローチャートである。図19の処理は、図11のステップS370の処理として行ってもよい。第1の実施の形態の変形例12において、制御部34は、図10のように分割した領域ごとに、後述する判定処理のためのフラグを設ける。制御部34は、ある被写体の領域に別の被写体の領域を追加する場合に、別の被写体の領域のフラグを1にする。また、制御部34は、ある被写体の領域から別の被写体の領域を削除する場合に、別の被写体の領域のフラグを0にする。同様に、制御部34は、他の被写体の領域に対応するフラグについても、追加または削除に応じて1または0にする。
図19のステップS371において、制御部34は、表示部35の表示画面におけるタッチ位置を検出してステップS372へ進む。ステップS372において、制御部34は、既に選択されている領域か否かを判定する。制御部34は、タッチ位置を含む被写体の領域のフラグが0の場合に、タッチ位置は選択されている領域でないと判定する(第1処理を行う領域と判定する)。一方、制御部34は、タッチ位置を含む被写体の領域のフラグが1の場合に、タッチ位置は既に選択されている領域である(既に追加されている)と判定する(第2処理を行う領域と判定する)。
ステップS373において、制御部34は、領域の追加または削除の判定を行う。制御部34は、ステップS372の判定により、タッチ位置を含む被写体の領域のフラグが0のためタッチ位置が選択されている領域でないと判定した場合、タッチ位置を含む被写体の領域(本例ではバッグ63の領域)を、選択されている領域(本例では人物61の領域)へ追加する追加判定を行う。
一方、制御部34は、ステップS372の判定により、タッチ位置を含む被写体の領域のフラグが1のためタッチ位置が選択されている領域である(既に追加されている)と判定した場合は、タッチ位置を含む被写体の領域を削除する削除判定を行う。例えば、人物61の領域にバッグ63の領域が既に追加されていた場合には、人物61の領域からバッグ63の領域を削除(追加のキャンセルを)する削除判定を行う。
ステップS374において、制御部34は、ステップS373の判定結果に基づき、表示部35に候補表示を行わせる。具体的には、人物61の領域にバッグ63の領域を追加する追加判定をした場合は、制御部34は、バッグ63の領域の表示をモノクロ画像の表示からカラー画像の表示に変更することにより、バッグ63の領域が追加候補であることを示す。これとは反対に、人物61の領域からバッグ63の領域を削除する削除判定をした場合は、バッグ63の領域の表示をカラー画像の表示からモノクロ画像の表示に変更することにより、バッグ63の領域が削除候補であることを示す。
ステップS375において、制御部34は、変更操作終了か否かを判定する。制御部34は、終了操作が行われた(例えば、領域変更ボタン73が再びタッチ操作された)場合に、変更処理を行って図19による処理を終了する。例えば、バッグ63の領域を人物61の領域に追加する場合に、制御部34は変更処理としてバッグ63の領域のフラグを1にする。また、人物61の領域からバッグ63の領域を削除する場合に、制御部34は変更処理としてバッグ63の領域のフラグを0にする。
一方、制御部34は、終了操作が行われない場合にステップS371へ戻る。ステップS371へ戻った制御部34は、上述した処理を繰り返す。
以上説明したように、制御部34は、例えば、図10の人物61の領域とバッグ63の領域とが別個の領域とされている場合において、ユーザによるタッチ操作に基づき、人物61の領域にバッグ63の領域を追加して一つの領域として扱う。この場合、制御部34は、人物61の領域に適用する撮像条件をバッグ63の領域にも適用する。
人物61の領域の撮像条件と同じ条件をバッグ63の領域に適用するタイミングは、例えば、バッグ63の領域が人物61の領域に追加された時点でよい。
なお、上記タイミングとは別のタイミングの例として、バッグ63の領域が人物61の領域に追加された後、ユーザ操作により人物61の領域に対する撮像条件が変更された時点で、人物61の領域の撮像条件と同じ条件をバッグ63の領域に適用してもよい。
また、制御部34は、既に人物61の領域およびバッグ63の領域が一つの領域とされている場合には、ユーザによるタッチ操作に基づき、人物61の領域からバッグ63の領域を削除する。この場合、制御部34は、図11のステップS360の処理を行った場合にバッグ63の領域に適用する撮像条件を、人物61の領域に適用する条件と別に設定する。
人物61の領域とバッグ63の領域とで異なる撮像条件を適用するタイミングは、例えば、バッグ63の領域が人物61の領域から削除された後、ユーザ操作により人物61の領域またはバッグ63の領域に対する撮像条件が変更された時点でよい。
以上説明した第1の実施の形態の変形例12によれば、以下の作用効果が得られる。
(1)カメラ1の制御部34は、領域抽出部34aによって抽出された被写体の領域のうち、表示部35の表示画面におけるタッチ位置に基づいて領域を検出する。制御部34はさらに、タッチ位置を含む領域(例えばバッグ63の領域)が、人物61の領域と一つの領域として扱う追加判定する領域か、人物61の領域と別個の領域として扱う削除判定する領域かを判定する。これにより、一回のタッチ操作で、人物61の領域にバッグ63の領域を追加したり、人物61の領域からバッグ63の領域を削除したりすることが可能になるため、操作を容易にすることができる。従来は、例えば、領域追加用/領域削除用の操作ボタンを表示部35に表示させて、この操作ボタンがタッチ操作されることによって領域追加モードから領域削除モードへのモード切り替え、または、領域削除モードから領域追加モードへのモード切り替えを行う必要があった。しかしながら、第1の実施の形態の変形例12によれば、このようなモード切り替えをすることなく、一回のタッチ操作によって、領域を追加または領域を削除(追加のキャンセルを)することができる。
(2)カメラ1の制御部34は、例えば、バッグ63の領域が追加判定すべき領域である場合、人物61の領域とバッグ63の領域とを1つの領域とする追加処理を行い、バッグ63の領域が削除判定すべき領域である場合、人物61の領域からバッグ63の領域を削除する処理を行う。これにより、上述したようなモード切り替えをすることなく、一回のタッチ操作によって、領域を追加または領域を削除(追加のキャンセルを)することができる。
(3)カメラ1の制御部34は、検出したバッグ63の領域が上記削除判定すべき領域である場合、人物61の領域に撮像条件を設定することによって、バッグ63の領域にも人物61の領域と同じ撮像条件を設定する。これにより、選択したバッグ63の領域に適用する撮像条件を容易に設定することができる。
(第1の実施の形態の変形例13)
第1の実施の形態の変形例13の処理では、第1の実施の形態の変形例12と別の方法として、制御部34が、ユーザによるタッチ位置、タッチ位置の画像の色、およびタッチ位置からの距離に基づいて、ある被写体の領域に別の領域を追加したり、ある被写体の領域から一部の領域を削除したりする。第1の実施の形態の変形例12との違いとして、第1の実施の形態の変形例13において、ある被写体の領域に追加される領域の大きさは、タッチ位置と、タッチ位置の色と近い色の領域、かつ、タッチ位置の近くに位置する領域によって決定される(後述の範囲情報Mで説明)。タッチ位置の色と異なる色の領域や、タッチ位置から遠くに位置する領域については、ある被写体の領域に追加されない。
このように、タッチ位置の色やタッチ位置からの距離を考慮しつつ、一回のタッチ操作で、タッチ位置を含む領域の大きさを決定し、領域の追加、または領域の削除を行うことについて説明する。
第1の実施の形態の変形例13において、撮像部32で取得された画像が図10のように分割されている点と、ある被写体の領域(例えば人物61の領域)が選択されている点は、上述した第1の実施の形態の変形例12の場合と同様である。
また、第1の実施の形態の変形例13において、制御部34は、タッチ操作された領域をある被写体の領域(人物61の領域)に追加する追加判定、または、タッチ操作された領域をある被写体の領域(人物61の領域)から削除する削除判定、を行うために判定値mを用いる。判定値mには、例えば、表示部35に表示する画像の各画素位置の画素値pを用いる。
制御部34はさらに、選択されている領域(本例では人物61の領域)に対しては、各画素位置において、例えばm=p+Vのように、画素値pに所定値Vを加算するなどして、判定値mを強制的に大きな値にする。選択されている領域の判定値mを強制的に大きくするのは、後述する判定閾値よりも大きな値にするためである。一方、選択されていない領域における判定値mは、所定値Vを加算しないで判定閾値よりも小さな値にしておく。
また、制御部34は、ユーザによるタッチ位置の色と近い色の領域であり、かつ、タッチ位置からの距離が近い位置の領域を判断するために範囲情報Mを用いる。制御部34は、範囲情報Mを、表示部35に表示する画像のタッチ位置の色と、タッチ位置から離れた位置の色との差分(色差cと称する)と、タッチ位置からの距離dとに基づいて算出する。範囲情報Mは、例えばM=p×f(c)×f(d)のように、各画素位置の画素値pと、上記色差cの関数f(c)と、上記距離dの関数f(d)との積として定義される。ここで、色差cは、例えばRGB色空間における色の差分をいう。図20(a)は、関数f(c)を例示する図である。図20(a)によると、色差cが大きくなるほど関数f(c)が小さくなり、色差cが小さくなるほど関数f(c)が大きくなる。
また、距離dは、タッチ位置と、タッチ位置から離れた位置までの空間的な距離をいう。図20(b)は、関数f(d)を例示する図である。図20(b)によると、距離dが大きくなるほど関数f(d)が小さくなり、距離dが小さくなるほど関数f(d)が大きくなる。
上記範囲情報Mは、タッチ位置の色と近い色の領域で、かつ、タッチ位置からの距離dが短い位置の領域においては関数f(c)、関数f(d)がそれぞれ大きくなるので、Mの値が大きくなる。制御部34は、タッチ位置の周囲で範囲情報Mが所定値(例えば、画素値pの1/2)以上となる領域を、タッチ位置と同じ処理を行う領域に決定する。
一方、上記範囲情報Mは、タッチ位置の色と異なる色の領域では関数f(c)が小さくなるので、Mの値が小さくなる。また、タッチ位置から遠くに位置する領域では関数f(d)が小さくなるので、Mの値が小さくなる。制御部34は、タッチ位置の周囲で範囲情報Mの値が所定値(例えば、画素値pの1/2)に満たない領域には、タッチ位置と同じ処理を行わない。
制御部34は、第1の実施の形態の変形例13において、図19のフローチャートのうちの以下の処理を変形例12の場合と異ならせる。図19のステップS372において、制御部34は、既に選択されている領域か否かを判定する。制御部34は、タッチ位置における判定値mが判定閾値より小さい場合には、タッチ位置は選択されている領域でないと判定する。一方、制御部34は、タッチ位置における判定値mが判定閾値より大きい場合には、タッチ位置は既に選択されている領域である(既に追加されている)と判定する。
図19のステップS373において、制御部34は、領域の追加または削除の判定を行う。制御部34は、ステップS372の判定により、タッチ位置が選択されている領域でないと判定した場合は、タッチ位置およびタッチ位置の周囲で上記範囲情報Mが所定値以上となる領域を、選択されている領域(本例では人物61の領域)へ追加する追加判定を行う。
なお、制御部34は、上記範囲情報Mの値が所定値に満たない場合には、タッチ位置のみを追加判定する。
一方、制御部34は、ステップS372の判定により、タッチ位置が選択されている領域である(既に追加されている)と判定した場合は、タッチ位置を含む被写体の領域を削除する削除判定を行う。例えば、人物61の領域にバッグ63の領域の一部が既に追加されていた場合には、人物61の領域から追加されていた領域を削除(追加のキャンセルを)する削除判定を行う。
制御部34は、図19のステップS374において、ステップS373の判定結果に基づき、以下のように表示部35に候補表示を行わせる。制御部34は、ステップS373で追加判定をした場合は、例えばバッグ63の領域のうち上記範囲情報Mが所定値以上となる領域の表示をモノクロ画像の表示からカラー画像の表示に変更することにより、追加候補であることを示す。
これとは反対に、ステップS373で削除判定をした場合には、バッグ63の領域のうち追加されていた領域の表示をカラー画像の表示からモノクロ画像の表示に変更することにより、削除候補であることを示す。
また、制御部34は、図19の処理の終了時に以下のように変更処理を行う。制御部34は、ステップS373で追加判定をした場合は、バッグ63の領域のうちの上記範囲情報Mが所定値以上となる領域の各画素位置において、上記のように判定値mを強制的に大きな値にする。
一方、制御部34は、ステップS373で削除判定をした場合は、削除する領域の各画素位置において、判定値mから上記所定値Vを減算することにより、判定値mを各画素位置の画素値pに戻す。図19における他のステップの処理については、既述の通りであるので説明を省略する。
以上説明した第1の実施の形態の変形例13によれば、制御部34が、ユーザによるタッチ位置だけでなく、タッチ位置における画像の色、およびタッチ位置からの距離dに基づいて追加候補/削除候補となる領域を判断するようにしたので、以下の作用効果が得られる。すなわち、制御部34は、タッチ位置における色と近い色の領域で、かつ、タッチ位置に近い位置に存在する領域を適切に判断することができる。これにより、タッチ位置(例えばバッグ63の領域)の色と異なった色の領域が、ユーザの意図に反して、ある被写体(本例では人物61)の領域への追加候補にされることを避けることができる。また、タッチ位置から遠い位置に存在する被写体の領域が、ユーザの意図に反して追加候補にされることを避けることができる。
なお、上述した図19のステップS372の処理で用いる判定閾値は、追加用の判定閾値と、削除用の判定閾値との間で差をつけるのが好ましい。また、追加用の判定閾値と削除用の判定閾値との差は、画素値pの大きさによらず一定に保ってもよいが、画素値pの大きさによって異ならせてもよい。例えば、画素値pの値が1~255の範囲で表される場合において、画素値pの中間値付近(例えば50<p<200の範囲)では、追加用の判定閾値を削除用の判定閾値よりも大きくした上で、両者の差を大きくとる。これに対し、画素値pが小さい場合(p≦50)、および画素値pが大きい場合(p≧200)には、それぞれ追加用の判定閾値を削除用の判定閾値よりも大きくするが、追加用の判定閾値と削除用の判定閾値との差は、上記画素値pの中間値付近の場合よりも小さくする。画素値pの中間値付近において追加用の判定閾値と削除用の判定閾値との差をより大きくするのは、タッチ位置における画像の画素値pの揺らぎによって追加判定されてしまったり、削除判定されてしまったりすることを防止するためである。これにより、表示部35の画面上で指の位置が少し移動しただけで、追加判定と削除判定とが頻繁に繰り返されることを防止できる。
また、上述したステップS373の判定で用いる追加用の閾値と削除用の閾値とに差を設ける場合において、閾値の差をユーザ操作により手動で設定するようにしてもよい。さらにまた、閾値の差を、過去の操作履歴や画像に基づいて制御部34が自動で設定するようにしてもよい。
なお、第1の実施の形態の変形例13の処理では、タッチ位置における画像の色、およびタッチ位置からの距離dに基づいて追加候補/削除候補の判断を行うようにしたが、処理を一部変更してもよい。
すなわち、制御部34は、少なくともユーザによるタッチ位置と、タッチ位置における画像の色とに基づいて、追加候補/削除候補の判断を行うようにしてもよい。タッチ位置における画像の色に基づくことで、制御部34は、タッチ位置における色と近い色の領域を、適切に判断することができる。これにより、タッチ位置(例えばバッグ63の領域)の色と異なった色の領域が、ユーザの意図に反して、ある被写体(本例では人物61)の領域への追加候補にされることを避けることができる。
また、第1の実施の形態の変形例13の処理の一部を変更して、制御部34が、少なくともユーザによるタッチ位置と、タッチ位置からの距離dとに基づいて、追加候補/削除候補の判断を行うようにしてもよい。タッチ位置からの距離dに基づくことで、制御部34は、タッチ位置に近い位置に存在する領域を適切に判断することができる。これにより、タッチ位置から遠い位置に存在する被写体の領域が、ユーザの意図に反して追加候補にされることを避けることができる。
(第1の実施の形態の変形例14)
第1の実施の形態の変形例14の処理では、制御部34が、ある被写体の領域に別の被写体の領域を追加する場合において、追加する別の被写体の領域に対し、ある被写体の領域の画像処理条件を適用する。
制御部34は、例えば、バッグ63の領域を人物61の領域に追加する場合において、人物61の領域に適用されている画像処理条件を、バッグ63の領域にも適用する。このように、領域の追加に伴って、その領域に適用する画像処理条件を変更する。
人物61の領域と同じ画像処理条件をバッグ63の領域に適用するタイミングは、例えば、バッグ63の領域が人物61の領域に追加された時点でよい。
なお、上記タイミングとは別のタイミングの例として、バッグ63の領域が人物61の領域に追加された後、ユーザ操作により人物61の領域に対する画像処理条件が変更された時点で、人物61の領域の画像処理条件と同じ条件をバッグ63の領域に適用してもよい。
一方で、制御部34は、例えば、バッグ63の領域を人物61の領域から削除する場合において、バッグ63の領域に適用する画像処理条件を、人物61の領域に適用する画像処理条件とは別に設定可能にする。
人物61の領域とバッグ63の領域とで異なる画像処理条件を適用するタイミングは、例えば、バッグ63の領域が人物61の領域から削除された後、ユーザ操作により人物61の領域またはバッグ63の領域に対する画像処理条件が変更された時点でよい。
以上説明した第1の実施の形態の変形例14によれば、ある被写体の領域に別の被写体の領域を追加する場合、画像においてユーザがタッチした別の被写体の領域に、ある被写体の領域に適用されている画像処理条件と同様の画像処理条件を適用することができる。また、ある被写体の領域から別の被写体の領域を削除する場合、画像においてユーザがタッチした別の被写体の領域に、ある被写体の領域に適用されている画像処理条件と別の条件を設定することが可能になる。
第1の実施の形態の変形例12~変形例14の説明では、ユーザ操作が、タッパネル36Aへのタッチ操作等によって行われる例を説明したが、マウス等のポインティングデバイスへの操作を、ユーザ操作として受け付けてもよい。ポインティングデバイスによるボタン操作が行われた時点に表示中のポインタ(カーソル等)の位置が、第1の実施の形態の変形例12~変形例14におけるタッチ位置に相当する。なお、後述する変形例16、変形例17についても同様である。
(第1の実施の形態の変形例15)
第1の実施の形態の変形例15の処理では、制御部34が、ユーザによるフリック操作に基づいて、ある被写体の領域に別の領域を追加したり、ある被写体の領域から一部の領域を削除したりする。
制御部34は、例えば、タッパネル36Aにおいて図10の人物61の領域に触れるユーザの指がバッグ63の領域まで移動した場合に、人物61の領域に対し、バッグ63の領域を追加する。また、制御部34は、例えば、人物61の領域に触れるユーザの指が他の領域(例えば自動車62の領域)まで移動した場合には、人物61の領域に対し、自動車62の領域を追加する。
一方で、制御部34は、例えば、図10のバッグ63の領域に触れるユーザの指が人物61の領域外へ移動した場合には、バッグ63の領域を、人物61の領域から除外する。また、制御部34は、例えば、自動車62の領域に触れるユーザの指が人物61以外の他の領域まで移動した場合には、自動車62の領域を、人物61の領域から除外する。
制御部34は、第1の実施の形態の変形例15において、図19のフローチャートによる処理の一部を変更する。制御部34は、例えば図19のステップS371の代わりに、フリック操作の開始位置を検出する。次に、制御部34は、ステップS372の代わりに、フリック操作の終了位置を検出する。
そして、ステップS373では、制御部34は、フリック操作の開始位置および終了位置に基づいて、領域の追加または削除の判定を行う。制御部34は、フリック操作の終了位置が、選択されている領域でない場合に、フリック操作の終了位置を含む領域(本例ではバッグ63の領域)を、選択されている領域(本例では人物61の領域)へ追加する追加判定を行う。
一方、制御部34は、フリック操作の終了位置が、選択されている領域である(既に追加されている)場合に、フリック操作の終了位置を含む領域を削除する削除判定を行う。例えば、人物61の領域にバッグ63の領域が既に追加されていた場合には、人物61の領域からバッグ63の領域を削除(追加のキャンセルを)する削除判定を行う。図19における他のステップの処理については、既述の通りであるので説明を省略する。
以上説明した第1の実施の形態の変形例15によれば、以下の作用効果が得られる。すなわち、カメラ1の制御部34は、領域抽出部34aによって抽出された被写体の領域のうち、表示部35の表示画面におけるフリック操作に基づいて領域を検出する。制御部34はさらに、フリック操作の開始位置および終了位置に基づき、例えばバッグ63の領域が、人物61の領域と一つの領域として扱う追加判定する領域か、人物61の領域と別個の領域として扱う削除判定する領域かを判定する。これにより、一回のフリック操作によって、例えば人物61の領域にバッグ63の領域を追加したり、人物61の領域からバッグ63の領域を削除(追加のキャンセルを)したりすることが可能になるため、操作を容易にすることができる。具体的には、第1の実施の形態の変形例12~変形例14の場合と同様に、従来必要とされていたモード切り替えの操作(領域追加モードと領域削除モードとを切り替える操作)を不要にすることができる。
なお、第1の実施の形態の変形例15の処理の一部を次のように変更してもよい。
(1)制御部34は、ユーザによるフリック操作に基づいて、ある被写体の領域(例えば人物61の領域)に別の被写体の領域(例えばバッグ63の領域)を追加することなく、別の被写体の領域(バッグ63の領域)に適用される撮像条件を、ある被写体の領域(人物61の領域)に適用される撮像条件と同じ条件に変更してもよい。
(2)また、制御部34は、ユーザによるフリック操作に基づいて、ある被写体の領域(人物61の領域)から別の被写体の領域(バッグ63の領域)を削除することなく、別の被写体の領域(バッグ63の領域)に適用される撮像条件を、ある被写体の領域(人物61の領域)に適用される撮像条件と別の条件に変更してもよい。
制御部34は、上記(1)の場合に別の被写体の領域(バッグ63の領域)の撮像条件を変更するのは、ユーザによるフリック操作が行われたタイミングとする。
なお、上記タイミングとは別のタイミングの例として、上記フリック操作が行われた後、ユーザ操作によってある被写体の領域(人物61の領域)に対する撮像条件が変更されたタイミングで、別の被写体の領域(バッグ63の領域)の撮像条件を、ある被写体の領域(人物61の領域)の撮像条件と同じ条件に変更してもよい。
また、制御部34は、上記(2)の場合に別の被写体の領域(バッグ63の領域)の撮像条件を変更するのは、上記フリック操作が行われた後、ユーザ操作によって別の被写体の領域(バッグ63の領域)に対する撮像条件が変更されたタイミングとする。
また、第1の実施の形態の変形例15の説明では、ユーザ操作が、タッパネル36Aへのフリック操作等によって行われる例を説明したが、マウス等のポインティングデバイスへの操作を、ユーザ操作として受け付けてもよい。ポインティングデバイスによるドラッグ操作の開始時のポインタ(カーソル等)の位置が、第1の実施の形態の変形例15におけるフリック操作の開始位置に相当する。また、ポインティングデバイスによるドラッグ操作の終了時のポインタ(カーソル等)の位置が、第1の実施の形態の変形例15におけるフリック操作の終了位置に相当する。
(第1の実施の形態の変形例16)
第1の実施の形態の変形例16の処理では、制御部34が、ユーザによるタッチ操作に基づいて、ある被写体の領域に適用された撮像条件と同じ条件を、別の被写体の領域の撮像条件に適用する場合において、複数の被写体の領域の中から、どの被写体の領域の撮像条件と同じ条件を適用するかを、ユーザによるタッチ位置に基づいて決定する。
制御部34は、図10のように分割した複数の被写体の領域(人物61の領域、自動車62の領域、…)のそれぞれの中央(重心)の位置と、別の被写体の領域(例えば、バッグ63の領域)に触れたユーザの指のタッチ位置との間の距離を比べる。そして、制御部34は、例えばタッチ位置からの距離が一番近い被写体の領域(例えば人物61の領域)の撮像条件を、別の被写体の領域(バッグ63の領域)に適用する撮像条件の候補とする。また、制御部34は、タッチされているバッグ63の領域と、撮像条件の候補である人物61の領域とを表示部35に強調表示させる。強調表示は、他の領域の表示よりも明るく表示させたり、他の領域の表示よりもコントラストを高めて表示させたりしてよい。制御部34はさらに、候補である人物61の領域の撮像条件と同じ条件を、バッグ63の領域に適用する。
このように、制御部34は、表示部35の表示画面におけるタッチ位置からの距離が一番近い被写体の領域(人物61の領域)の撮像条件を、タッチされている被写体の領域(バッグ63の領域)に適用する撮像条件の候補として選ぶ。そして、制御部34は、人物61の領域を強調表示することにより、候補に選んだ撮像条件が人物61の領域の撮像条件と同じであることを示す。さらに、制御部34は、表示部35に表示する画像のうち、タッチされている被写体の領域(バッグ63の領域)に、候補の撮像条件を適用する。
制御部34が、上記の場合に別の被写体の領域(バッグ63の領域)に適用する撮像条件を確定するのは、ユーザの指がバッグ63の領域から離れたタイミングとする。制御部34は、ユーザの指がバッグ63の領域から離れると、バッグ63の領域に適用する撮像条件を確定するとともに、バッグ63の領域と、人物61の領域の強調表示を解除する。
上述とは反対の例として、タッチ位置からの距離が一番近い被写体の領域(人物61の領域)と同じ撮像条件が既に適用済みである場合、制御部34は次のような制御を行っても良い。タッチされた被写体の領域(バッグ63の領域)に、タッチ位置からの距離が一番近い被写体の領域(人物61の領域)と同じ撮像条件が既に適用済みである場合、制御部34は、タッチ操作に基づいて、タッチされた被写体の領域(バッグ63の領域)に適用される撮像条件を、上記被写体の領域(人物61の領域)の撮像条件と別の条件に変更するような制御を行っても良い。
制御部34が、タッチされている被写体の領域(バッグ63の領域)に適用される撮像条件を、上記被写体の領域(人物61の領域)に適用される撮像条件と別の条件に変更するのは、ユーザの指で被写体の領域(バッグ63の領域)にタッチ操作が行われた後、ユーザ操作によって被写体の領域(バッグ63の領域)に対する撮像条件が変更されたタイミングである。制御部34は、ユーザ操作によって、被写体の領域(バッグ63の領域)の撮像条件を変更し、一番近い被写体の領域(人物61の領域)と別の条件に設定する。
以上説明した第1の実施の形態の変形例16によれば、制御部34が、ユーザの指でタッチされた被写体の領域(バッグ63の領域)に適用する撮像条件の候補に、タッチ位置からの距離が一番近い被写体の領域(人物61の領域)の撮像条件と同じ条件を選んだので、撮像条件の候補を適切に選ぶことができる。これにより、タッチ位置(バッグ63の領域)からの距離が離れた被写体の領域に適用された撮像条件がバッグ63の領域に適用されることを避けることができる。
また、被写体の領域(人物61の領域)を強調表示することにより、候補に選んだ撮像条件が被写体の領域(人物61の領域)の撮像条件と同じであることを、ユーザにわかりやすく示すことができる。
(第1の実施の形態の変形例17)
第1の実施の形態の変形例17の処理では、制御部34が、ユーザによるタッチ位置における画像の色に基づき、複数の被写体の領域の中から、どの被写体の領域の撮像条件と同じ条件を適用するかを決定する。
制御部34は、図10のように分割した複数の被写体の領域(人物61の領域、自動車62の領域、…)について、それぞれの代表色を求める。例えば、各被写体の領域内の色を平均した平均色を、その領域の代表色とする。そして、制御部34は、例えばタッチ位置(本例ではバッグ63)の色と一番近い代表色を有する被写体の領域(例えば人物61の領域)の撮像条件を、タッチされている被写体の領域(バッグ63の領域)に適用する撮像条件の候補とする。
制御部34は、変形例16の場合と同様に、タッチされているバッグ63の領域と、撮像条件の候補である人物61の領域とを表示部35に強調表示させるとともに、候補である人物61の領域の撮像条件と同じ条件を、バッグ63の領域に適用する。
このように、制御部34は、表示部35の表示画面におけるタッチ位置における画像の色と一番近い代表色を有する被写体の領域(例えば人物61の領域)の撮像条件を、タッチされている被写体の領域(バッグ63の領域)に適用する撮像条件の候補として選ぶ。そして、制御部34は、変形例16の場合と同様に、候補に選んだ撮像条件が人物61の領域の撮像条件と同じであることを、人物61の領域を強調表示することによって示す。さらに、制御部34は、表示部35に表示する画像のうち、タッチされている被写体の領域(バッグ63の領域)に、候補に選んだ撮像条件を適用する。
制御部34がバッグ63の領域に適用する撮像条件を確定するタイミングは、ユーザの指がバッグ63の領域から離れた時点でよい。制御部34は、ユーザの指がバッグ63の領域から離れると、バッグ63の領域に適用する撮像条件を確定するとともに、バッグ63の領域と、候補である人物61の領域の強調表示を解除する。
以上説明した第1の実施の形態の変形例17によれば、制御部34が、ユーザの指でタッチされた被写体の領域(バッグ63の領域)に適用する撮像条件の候補に、ユーザによるタッチ位置の画像の色と一番近い代表色を有する被写体の領域(人物61の領域)の撮像条件と同じ条件を選んだので、撮像条件の候補を適切に選ぶことができる。これにより、タッチ位置(バッグ63の領域)の色と異なる色の被写体の領域に適用された撮像条件がバッグ63の領域に適用されることを避けることができる。
以上説明した第1の実施の形態の変形例16と、第1の実施の形態の変形例17とを組み合わせてもよい。すなわち、制御部34は、ユーザの指でタッチされた被写体の領域(バッグ63の領域)に適用する撮像条件の候補に、タッチ位置からの距離が一番近い被写体の領域であって、かつ、タッチ位置の画像の色と一番近い代表色を有する被写体の領域の撮像条件と同じ条件を選ぶ。これにより、タッチ位置からの距離が離れた被写体の領域や、タッチ位置の色と異なる色の被写体の領域に適用された撮像条件が、タッチ位置の被写体の領域に適用されることを避けることができる。
以上の説明では、撮像素子32aとして積層型の撮像素子100を例示したが、撮像素子(撮像チップ111)における複数のブロックごとに撮像条件を設定可能であれば、必ずしも積層型の撮像素子として構成する必要はない。例えば、平面内で、撮像素子の画素の一部をまとめたブロックごとに配線を引き、ブロックごとに撮像条件を設定するような構成にしてもよい。
また、撮像素子は、湾曲した曲面形状に構成されていてもよい。
上述した第1の実施の形態および変形例では、撮像素子32aを備えるカメラ1を例に説明したが、撮像素子32a単体でもよい。また、撮像素子32を備えた、スマートフォンのような高機能携帯電話機や、タブレット端末、腕時計型端末、音楽プレイヤ、ヘッドマントディスプレイやアイウェア等のウエアラブル装置などのモバイル機器や、撮像素子32aを備えたデジタルサイネージ、撮像素子32aを備えた現金自動預払機(ATM装置)や、撮像素子32aを備えた鉄道やバスの乗車券・定期券等の自動券売機や、撮像素子32aを備えた図書館や美術館等の各種の情報検索端末装置等のパネルや、撮像素子32aを備えた内視鏡、撮像素子32aを備えたカプセル内視鏡などの医療機器など、撮像素子32aを備えた電子機器であってもよい。
また、上記の電子機器は、撮像素子32aに加え、第1の実施の形態に記載された構成を適宜追加して備えてもよい。例えば、電子機器は、制御部34、表示部35、タッチパネル36A等の検出部等をさらに備えてもよい。
--第2の実施の形態--
第2の実施の形態による撮像素子、およびこの撮像素子を搭載する監視カメラについて説明する。監視カメラ10(以降、カメラ10と称する)は、電子機器の一例である。カメラ10には、イメージセンサの一例として撮像素子32aが搭載される。撮像素子32aは、第1の実施の形態によるカメラ1に搭載されたものと同様である。したがって、以下に記載されている内容のうち、第1の実施の形態に関連する内容は、適宜第1の実施の形態、または第1の実施の形態の変形例を適宜適用することができる。例えば、第1の実施の形態に記載された第2画像の露光時間の設定等を、適宜第2の実施の形態または、第2の実施の形態の各変形例に適用することができる。
図21を参照して、カメラ10を用いた監視カメラシステムの全体構成を説明する。図21において、カメラ10Aと、カメラ10Bと、サーバ2と、モニタ3と、無線LAN(Local Area Network)のアクセスポイント4とがネットワーク5に接続されている。監視カメラシステムは、カメラ10Aおよびカメラ10Bにより監視用の画像を取得する。画像は、所定時間ごとに取得された静止画像であってもよいし、所定のフレームレートで取得された動画像であってもよい。
なお、複数台のカメラ10を説明するために、便宜上カメラ10A、カメラ10Bと称するが、これらは同じ機種のカメラであってもよい。
また、監視カメラシステムを構成するカメラ10の数は2台に限らず、例えば1台でも10台でも、それ以上であってもよい。
カメラ10Aは、ネットワーク5に有線接続されている。カメラ10Bは、アクセスポイント4と無線接続されている。アクセスポイント4がネットワーク5に接続されているので、カメラ10Bは、アクセスポイント4を介してネットワーク5に接続されることになる。
<カメラの説明>
図22は、カメラ10の構成を例示するブロック図である。図22において、カメラ10は、撮像光学系31と、撮像部32と、画像処理部33と、制御部34と、操作部材36と、送受信部38と、記憶部39とを有する。
撮像光学系31、撮像部32、画像処理部33、および制御部34は、それぞれ図1のカメラ1の構成と同様である。撮像光学系31は、被写界からの光束を撮像部32へ導く。撮像部32は、撮像光学系31によって結像された被写体の像を光電変換する。撮像部32は、撮像素子32aにおける撮像面の全域において同じ条件で撮像したり、撮像素子32aにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。画像処理部33は、撮像部32によって取得された画像データに対して画像処理を行う。
制御部34は、図1のカメラ1と同様に、カメラ10による全体の動作を制御する。制御部34が、領域抽出部34a、設定部34b、撮像制御部34c、およびAF演算部34dを含む点は、図1のカメラ1と同様である。
操作部材36は、例えば、手動操作による撮影や保守時のために備えられている。操作部材36は、メニューボタン等の種々の操作部材を含み、各操作に対応する操作信号を制御部34へ送出する。
記憶部39は、バッファメモリなどの記憶媒体であり、制御部34からの指示に応じて、画像データなどを一時記憶する。記憶部39に記憶された画像データは、送受信部38よりネットワーク5(図21)経由でサーバ2へ送られる。
送受信部38は、制御部34からの指示に応じて、サーバ2との間で通信を行う。例えば、サーバ2から送信された指示により設定を変更したり、撮像を開始するなど、カメラ10は外部からの遠隔制御が可能に構成されている。また、カメラ10で取得した画像のデータをサーバ2へ送信するなど、カメラ10は監視情報を外部へ送信することも可能である。
図21のサーバ2は、データベースを含む記憶装置、データ処理装置、およびネットワーク5との間の通信制御装置等によって構成される。サーバ2は、ネットワーク5を経由して、カメラ10を遠隔制御する制御信号を送信する。また、サーバ2は、ネットワーク5を経由してカメラ10から送信された画像のデータを受信する。受信した画像のデータは、サーバ2の記憶装置に記録、蓄積する。
カメラ10からネットワーク5を経由して送信された画像のデータは、モニタ3の画面に表示可能に構成されている。モニタ3は、不図示のオペレータによる操作により、カメラ10Aおよびカメラ10Bでそれぞれ取得されている最新の画像、またはサーバ2の記憶装置に蓄積されている画像データに基づく画像を表示する。
図21の監視カメラシステムでは、カメラ10(カメラ10Aおよびカメラ10Bをまとめてカメラ10と称する)で取得された第1画像(第1の実施の形態におけるライブビュー表示用の画像に相当)を、例えば監視画像としてサーバ2に蓄積するとともに、モニタ3に再生表示させる。また、カメラ10で取得された第2画像は、検出用画像としてサーバ2に蓄積され、監視画像に写る被写体(監視対象物)を検出するために使用される。
ここで、カメラ10では、監視画像を撮像するために以下のような制御を行う。カメラ10に備わる制御部34は、カメラ10の撮像素子32aの第1領域B1を上述の実施の形態1の変形例5で説明した第3領域のように制御し、撮像素子32aの第1領域B1によって監視画像を撮像する。
一般に、カメラ1を監視用途に使用する場合には、速いフレームレートで明るい画像を撮像できることが好ましい。また、ISO感度を高く設定し、また第1露光時間を短く設定した監視画像は、監視用途に好ましい。
一方で、カメラ1を監視用途に使用する場合において、監視画像内に撮像された監視対象物を精度よく見つけるためには、ノイズが少ない画像の方がよい。検出用の第2画像については、ISO感度を高く設定する監視画像と異なり、第2露光時間を長く設定するためにノイズが発生しづらい。このため、ノイズが少ない画像は、監視対象物が写る領域を精度よく抽出するという監視用途の要求を満たす。また、上述した第1の実施の形態の変形例5と同様に、カメラ10の撮像素子32aの第1領域B1で撮像された監視画像に基づいて監視対象物(被写体)を検出する。次に検出された被写体の明るさを、カメラ10の撮像素子32aの第1領域B1で撮像された監視画像に基づいて検出する。そして、検出された明るさに基づいて、検出用の第2画像を撮像するための、検出された被写体に対する露光時間を設定してもよい。
<フローチャートの説明>
上述した監視カメラシステムによる処理手順について、図23のフローチャートを参照して説明する。図23において、左側にカメラ10による処理の流れを示し、右側にサーバ2による処理の流れを示す。
<カメラ10の処理>
カメラ10の制御部34は、例えば、電源が供給されると、図23による処理を開始する。図23のステップS510において、制御部34は、撮像素子32aに第1領域B1および第2領域B2をセットしてステップS520へ進む。第1領域B1および第2領域B2は、例えば図6(a)を参照して説明した領域である。
ステップS520において、制御部34は、撮像素子32aの第2領域B2に、初期値のゲインおよび初期値のフレームレートを設定してステップS530へ進む。初期値のゲインは、例えばISO400相当であり、初期値のフレームレートは、例えば60fpsである。
ステップS530において、制御部34は、撮像素子32aの第1領域B1に、上記第2領域B2に設定するゲインよりも高いゲイン、および上記第2領域B2に設定するフレームレートよりも速いフレームレートを設定してステップS540へ進む。この理由は、撮像素子32aの第1領域B1によって、撮像素子32aの第2領域B2で取得される第2画像よりも明るい監視画像を得るとともに、監視対象物が動く場合の監視画像の像ブレを小さくするためである。
なお、ステップS530において、必ずしも撮像素子32aの第1領域B1を、上記第2領域B2に設定するゲインよりも高いゲイン、かつ速いフレームレートにしなくてもよい。いずれか一方だけ高く設定してもよいし、両方とも設定しなくてもよい。
また、撮像素子32aの第1領域B1に設定するゲインは、第1領域B1において一様な値でなくてもよく、第1領域B1内で異なる値のゲインを設定してもよい。制御部34は、例えば、検出した撮像画角内の明るさによって、第1領域B1における領域ごとに異なるゲインを設定する。監視画像信号を増幅するゲインの値を第1領域B1の中で異ならせるのは、環境の明るさが明るい領域、暗い領域にそれぞれ適した監視画像を得るためである。
ステップS540において、制御部34は、1フレームの撮像を行った撮像素子32aの第1領域B1から読み出した光電変換信号に基づく監視画像を生成してステップS550へ進む。ステップS550において、制御部34は画像処理部33へ指示を送り、監視画像のデータに対して所定の画像処理を行わせてステップS560へ進む。画像処理は、例えば画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理等を含む。ステップS560において、制御部34は送受信部38へ指示を送り、画像処理後の監視画像のデータをサーバ2へ送信させてステップS570へ進む。
なお、ステップS580における画像処理は、カメラ側10で行わず、サーバ2側で行ってもよい。
ステップS570において、制御部34は、1フレームの撮像を行った撮像素子32aの第2領域B2から読み出した光電変換信号に基づく第2画像を生成してステップS580へ進む。なお、ステップS570において、第2画像を生成するにあたり、次のような処理を行う。まず制御部34は、撮像素子32aの第1領域B1に基づいて生成した監視画像から監視画像内にいる被写体の検出を行う。次に制御部34は、検出された被写体の明るさを監視画像から検出する。そして、制御部34は、検出された被写体の明るさに基づいて、被写体を撮像する第2露光時間を設定し、第2画像の生成を行う。
なお、第2画像の第2露光時間の設定は上記のように行わず、監視画像で設定した露光時間に基づいて決定してもよい。すなわち、制御部34は、監視画像の露光時間よりも長くなるように、第2画像の第2露光時間を設定してもよい。
ステップS580において、制御部34は画像処理部33へ指示を送り、第2画像のデータに対して所定の画像処理を行わせてステップS590へ進む。画像処理は、例えば画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理等を含む。ステップS590において、制御部34は送受信部38へ指示を送り、画像処理後の第2画像のデータをサーバ2へ送信させてステップS600へ進む。
なお、ステップS580における画像処理は、カメラ側10で行わず、サーバ2側で行ってもよい。
ステップS600において、制御部34は、終了処理が指示されたか否かを判断する。制御部34は、例えば、サーバ2より終了コマンドを受信した場合にステップS600を肯定判定して図23による処理を終了する。制御部34は、終了処理が指示されない場合には、ステップS600を否定判定してステップS540へ戻る。ステップS540へ戻った場合、制御部34は、上述した処理を繰り返す。
なお、ステップS540~ステップS560と、ステップS570~ステップS590との順序を変えて、ステップS570~ステップS590を先に行ってもよい。これは、第1領域、第2領域のそれぞれで撮像されたタイミングで、適宜画像処理、サーバへの送信を行えばよい。
<サーバ2の処理>
サーバ2は、図23による処理を実行する。図23のステップS710において、サーバ2は、カメラ10から監視画像のデータを受信したか否かを判定する。サーバ2は、カメラ10から監視画像のデータを受信した場合にステップS710を肯定判定してステップS720へ進む。サーバ2は、カメラ10から監視画像のデータを受信しない場合には、ステップS710を否定判定してステップS740へ進む。
ステップS720において、サーバ2は、例えばカメラ10から送信された監視画像のデータに基づき、モニタ3の画面に監視画像を表示させてステップS730へ進む。ステップS730において、サーバ2は、監視画像のデータを記憶装置に記録してステップS740へ進む。これにより、カメラ10によって撮像された監視画像のデータが、サーバ2に蓄積される。
ステップS740において、サーバ2は、カメラ10から第2画像のデータを受信したか否かを判定する。サーバ2は、カメラ10から第2画像のデータを受信した場合にステップS740を肯定判定してステップS750へ進む。サーバ2は、カメラ10から第2画像のデータを受信しない場合には、ステップS740を否定判定してステップS760へ進む。
ステップS750において、サーバ2は、第2画像のデータを記憶装置に記録してステップS760へ進む。これにより、カメラ10によって撮像された第2画像のデータが、サーバ2に蓄積される。
ステップS760において、サーバ2は、終了処理が指示されたか否かを判断する。サーバ2は、例えば、オペレータにより終了操作が行われた場合にステップS760を肯定判定して図23による処理を終了する。制御部34は、終了操作が行われない場合には、ステップS760を否定判定してステップS710へ戻る。ステップS710へ戻った場合、サーバ2は、上述した処理を繰り返す。
なお、ステップS710~ステップS730と、ステップS740~ステップS750との順序を変えて、ステップS740~ステップS750を先に行ってもよい。これらステップに対する処理は、カメラ10から画像が送信されたタイミングで、適宜処理を行えばよい。
以上説明した第2の実施の形態によれば、次の作用効果が得られる。
(1)カメラ10の撮像素子32aは、撮像面上の画素領域に複数の画素が配置されており、被写体を撮像する。撮像素子32aは、複数の画素のうち、撮像して監視画像信号を生成する第1領域B1と、複数の画素のうち、監視画像信号に基づく監視画像によって検出された被写体に対して設定された第2露光時間で撮像し、被写体に関する情報が抽出される第2画像信号を生成する第2領域B2とを有する。これにより、監視画像によって被写体を検出し、検出された被写体に対して適切に設定された露光時間で撮像された第2画像信号を生成することができるため、ノイズが少ない画像を生成することができる。
(2)撮像素子32aの第1領域B1は、第2画像信号を生成する第2領域B2よりもゲインを上げて、監視画像信号を生成するので、暗い環境化でも明るい監視用画像を得られ、対象物が速く移動する場合でもブレが少ない監視用画像を得ることができる。すなわち、対象物を検出しやすい画像が得られる。
(3)撮像素子32aの第2領域B2は、監視画像信号に基づいて第2露光時間が設定されるので、監視用画像に写る対象物を検出するために適した第2露光時間によって、検出用の第2画像を得ることができる。
(4)撮像素子32aの第1領域B1は、取得された第1領域B1内の明るさに基づいて、監視画像信号を増幅するゲインの値を第1領域B1内で異ならせることができる。これにより、環境の明るさが明るい領域で監視用画像が飽和することによって対象物が飽和したり、環境の明るさが暗い領域で監視用画像が黒潰れすることによって対象物が判らなくなってしまうことを避けることができる。
(5)撮像素子32aの第1領域B1は、第2領域B2よりもフレームレートを高くして撮像できる。これにより、監視用画像において、動きの速い対象物を正確に捉えることが可能になる。
なお、ステップS570において、制御部34が、撮像素子32aの第1領域B1に基づいて生成した監視画像から監視画像内にいる被写体を複数検出した場合、制御部34は、第2画像の第2露光時間の設定を各被写体ごとに異ならせて設定してもよい。各被写体ごとに明るさが異なる場合があるため、被写体の領域ごとに露光時間を設定した方が、各被写体を明るく撮像することができるようになる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
(第2の実施の形態の変形例1)
第2画像に基づいて関連情報(ログ情報とも称する)を生成してもよい。ログ情報は、第2画像に基づいて抽出した監視対象物を撮像した時刻と、監視対象物とを関連づける情報のことをいう。第2の実施の形態の変形例1に係る監視カメラシステムの構成は、第2の実施形態の監視カメラシステムの全体構成(図21)と同様である。第2の実施の形態の変形例1に係るカメラ10は、以下に説明する機能を備える。
<カメラの説明>
図24は、第2の実施の形態の変形例1に係る監視カメラシステムのカメラ10の構成を例示するブロック図である。図24のカメラ10は、第2の実施形態のカメラ10(図22)と同様に、撮像光学系31と、撮像部32と、画像処理部33と、操作部材36と、送受信部38と、記憶部39とを有する。また、図24のカメラ10は、制御部34Sを備え、この制御部34Sに情報生成部34fが設けられている点において、第2の実施形態のカメラ10(図22)と相違する。このため、図22のカメラ10と相違する点を中心に説明を行う。
制御部34Sは、カメラ10による全体の動作を制御する。制御部34Sの領域抽出部34a、設定部34b、撮像制御部34c、およびAF演算部34dについては、図22のカメラ10と同様であるため、説明を省略する。
制御部34Sの情報生成部34fは、検出用の第2画像に基づいて監視対象物を抽出した場合、抽出した監視対象物を撮像した時刻と、監視対象物とを関連づけるログ情報を生成する。生成したログ情報は、送受信部38によって、監視画像のデータとともにサーバ2へ送られる。すなわち、第2の実施の形態の変形例1では、監視画像のデータのみならず、第2画像に基づいて生成したログ情報もサーバ2へ送られる。サーバ2は、上記監視画像のデータと、上記ログ情報とをサーバ2の記憶装置に記録する。
第2の実施の形態の変形例1に係る監視カメラシステムでは、カメラ10で取得された監視画像をサーバ2に蓄積するとともに、モニタ3に再生表示させる。また、第2の実施の形態の変形例1に係る監視カメラシステムでは、カメラ10で取得された第2画像を、監視画像に写る被写体(監視対象物)を検出するために使用する。第2画像および監視画像は並行して撮像されるため、第2画像で監視対象物が写っている時刻には、この第2画像と並行して撮像された監視画像にも監視対象物が写っていると考えられる。したがって、上記ログ情報によって関連付けられた時刻の前後に撮像された監視画像を用いて、以下のように、監視画像に写る監視対象物を検出する。
例えば、記憶装置に蓄積されている過去の監視画像をオペレータがモニタ3に再生表示させる場合に、サーバ2が、上記ログ情報に基づいて第2画像に撮像されている監視対象物の情報(例えばリスト)を前もってモニタ3に表示させる。オペレータ操作によってリストから監視対象物の一つ(二つ以上でもよい)が選択されると、サーバ2は、上記ログ情報を参照して、選択された監視対象物が撮像されている時間帯の監視画像をモニタ3に再生表示させる。サーバ2は、例えばサーバ2内に蓄積された動画像のうち、選択された監視対象物が写っているフレームの部分だけをモニタ3に表示させてもよい。
このように、第2画像から抽出した監視対象物を撮像した時刻と、監視対象物とを関連づけるログ情報を生成し、このログ情報を監視画像のデータとともに記録、蓄積することにより、監視画像の参照性を向上させることができる。
<フローチャートの説明>
第2の実施の形態の変形例1に係る監視カメラシステムによる処理手順について、図25のフローチャートを参照して説明する。図25において、左側にカメラ10による処理の流れを示し、右側にサーバ2による処理の流れを示す。
<カメラ10の処理>
カメラ10の制御部34は、例えば、電源が供給されると、図25による処理を開始する。図25のフローチャートは、図23のフローチャートに比べてステップS585およびS595が追加され、ステップS590が省略されている点において相違するので、これらの相違点を中心に説明する。
ステップS580の次に進むステップS585において、制御部34は、第2画像に基づいて上記のログ情報を生成してステップS595へ進む。ステップS595において、制御部34は送受信部38へ指示を送り、監視画像のデータおよびログ情報をサーバ2へ送信させてステップS600へ進む。制御部34が実行する他の処理は、図23の処理と同様である。
以上の説明では、カメラ10の制御部34の情報生成部34fによってログ情報の生成を行うようにしたが、サーバ2においてログ情報の生成を行ってもよい。サーバ2でログ情報を生成する場合は、制御部34は、ステップS585の処理を行わない。そして、ステップS595の処理に代えて、制御部34が送受信部38へ指示を送り、監視画像のデータおよび第2画像のデータをサーバ2へ送信させてステップS600へ進む。
<サーバ2の処理>
サーバ2は、図25による処理を実行する。図25のフローチャートは、図23のフローチャートに比べてステップS730B、およびS770~S790が追加され、ステップS730~S750が省略されている点において相違するので、これらの相違点を中心に説明する。
ステップS720の次に進むステップS730Bにおいて、サーバ2は、監視画像のデータ、およびログ情報を記憶装置に記録してステップS770へ進む。これにより、カメラ10によって撮像された監視画像のデータとログ情報とが、サーバ2に蓄積される。
ステップS770において、サーバ2は、過去の監視画像を表示するか否かを判定する。サーバ2は、例えば、オペレータによって過去の監視画像をモニタ3に再生表示させる操作が行われた場合に、ステップS770を肯定判定してステップS780へ進む。サーバ2は、オペレータによって過去の監視画像をモニタ3に再生表示させる操作が行われない場合には、ステップS770を否定判定してステップS760へ進む。
ステップS780において、サーバ2は、ログ情報に基づいて、例えば、指定された日時、および指定されたカメラ10によって撮像された第2画像に撮像されている監視対象物のリストをモニタ3に表示させて、ステップS790へ進む。ステップS790において、サーバ2は、リストのうちの、選択された監視対象物が撮像されている時間帯に対応する監視画像をモニタ3へ表示させて、ステップS760へ進む。サーバ2が実行する他の処理は、図23の処理と同様である。
サーバ2でログ情報を生成する場合において、サーバ2は、カメラ10から送信された第2画像がある程度溜まった段階で、適宜ログ情報を生成するとよい。すなわち、サーバ2は、ステップS730Bの処理に代えて、以下の処理を行う。サーバ2は、カメラ10から送信された第2画像のデータに基づいて上記のログ情報を生成する。そして、サーバ2は、監視画像のデータ、およびログ情報を記憶装置に記録してステップS770へ進む。これにより、カメラ10によって撮像された監視画像のデータとログ情報とが、サーバ2に蓄積される。
また、サーバ2による制御として、ステップS710~ステップS730の処理を実行せずに、ステップS770~ステップS790およびS760までの処理のみを実行してもよい。
なお、サーバ2は、カメラ10から送信された第2画像がある程度溜まった段階で、適宜ログ情報を生成としたが、カメラ10から第2画像が送信された段階で、逐一ログ情報を生成してもよい。
以上説明した第2の実施の形態の変形例1によれば、次の作用効果が得られる。
(1)監視カメラシステムのカメラ10は、撮像素子32aと、サーバ2と通信を行う送受信部38と、第2画像信号と監視画像信号とを送受信部38を介してサーバ2に送信する制御部34を備えるので、撮像素子32aで生成された第2画像信号と監視画像信号とをサーバ2へ送信できる。
(2)例えば、サーバ2では、第2画像から抽出した監視対象物を撮像した時刻と、監視対象物とを関連づけるログ情報を生成し、このログ情報を監視画像のデータとともに記録、蓄積することが可能になる。この結果として、蓄積された監視画像を、後から参照しやすくすることができる。すなわち、ログ情報を参照して、容易に監視画像から監視対象物を探し出すことができる。
(第2の実施の形態の変形例2)
図26(a)は、第2の実施の形態の変形例2における撮像素子32aの画素領域の部分拡大図であり、単位領域131のカラーフィルタ配列を説明する図である。図26(a)の単位領域131は、赤外画素IR、青色画素B、赤色画素R、および緑色画素Grの4画素から成る配列を内包する。緑色画素Grは、カラーフィルタとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Bは、カラーフィルタとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。赤外画素IRは、カラーフィルタとして赤外光フィルタを有する画素であり、入射光のうち赤外波長帯の光を受光する。
監視カメラシステムの用途として、屋外を終日定点撮影する場合がある。屋外撮影では、日中に比べて明るさが不足する夜間において、カメラ10で取得される監視画像のS/N比が低下する。明るさが不足する場合、カメラ10で撮像される範囲を照明する可視光源を設けることにより、カメラ10で明るい監視画像を撮像することが可能になる。しかしながら、周囲の環境によっては可視光源を点灯することが好ましくないケースがある。
このような場合には、可視光源に代わる赤外光源によってカメラ10で撮像される範囲を照明する。そして、カメラ10には、上記赤外画素IRを有する撮像素子32aが備わる。赤外光源を点灯させて、カメラ10によって赤外画像を撮像すれば、夜間の屋外で明るい監視画像を取得することができる。
カメラ10の制御部34は、環境の明るさに応じて、撮像素子32aによりRGB表色系の画像を取得させるか、あるいは赤外画像を取得させるかを切り換える。例えば、環境の明るさが所定の明るさ以上である場合は、制御部34は撮像素子32aにRGB表色系の画像のみを取得させる。また、制御部34は、環境の明るさが所定の明るさに満たなければ、撮像素子32aに赤外画像を取得させる。
図27は、カメラ10の制御部34が、RGB表色系の画像を取得するか、赤外画像を取得するかを判断する処理を説明するフローチャートである。制御部34は、図11のステップS310の次に図27による処理を実行する。図27のステップS312において、制御部34は、環境の明るさを取得してステップS314へ進む。
環境の明るさの取得については、撮像部32と別に設けた測光装置による測光結果に基づいて明るさを取得してもよいし、例えば、撮像素子32aの第1領域B1で明るさ取得用の撮像を行わせて、この場合に取得された明るさ取得用の画像に基づいて明るさを取得してもよい。この場合には、撮像素子32aは、単位領域131の青色画素B、赤色画素R、および緑色画素Grによって可視光域の画像(RGB表色系の画像)を撮像し、この画像に基づき、環境の明るさが取得される。
図27のステップS314において、制御部34は、環境の明るさが所定の明るさより明るいか否かを判定する。制御部34は、環境の明るさが所定の明るさよりも明るい場合にステップS314を肯定判定してステップS316へ進み、環境の明るさが所定の明るさ未満である場合にステップS314を否定判定してステップS318へ進む。
ステップS316において、制御部34は、図26(a)の青色画素B、赤色画素R、および緑色画素Grに基づき、RGB表色系の画像を取得する設定を行ってステップS320へ進む。ステップS318において、制御部34は、図26(a)の赤外画素IRに基づき、赤外画像を取得する設定を行ってステップS320へ進む。
なお、環境の明るさが所定の明るさに満たない場合は、カメラ10で撮像される範囲を照明する赤外光源が点灯されるものとする。図27に例示した処理を行うことにより、撮像素子32aによるRGB表色系の画像の取得と、赤外画像の取得とを適切に切り換えることができる。
カメラ10は、赤外画像の取得に切り替えられた場合に、撮像素子32aの第1領域B1の赤外画素IRに基づき、赤外画像として監視画像(第1画像)を取得するとともに、撮像素子32aの第2領域B2の赤外画素IRに基づき、赤外画像として第2画像を取得する。上述したように、監視画像はモニタ3に再生表示される画像である。また、第2画像は監視画像に写る被写体(監視対象物)を検出するための画像である。
第2の実施の形態の変形例2において、制御部34は、撮像素子32aの第1領域B1および第2領域B2の赤外画素IRに基づいて赤外画像を取得する場合には、撮像素子32aの第1領域B1および第2領域B2の青色画素B、赤色画素R、および緑色画素Grに基づくRGB表色系の画像の取得を停止させる。RGB表色系の画像の取得が停止された場合には、赤外画像である監視画像がモニタ3に再生表示される。赤外画像は色の情報を含まないので、モニタ3に表示されるのは、赤外光の明るさに基づいた輝度分布画像である。
カメラ10が赤外画素IRに基づく赤外画像を取得する場合において、制御部34は、第1の実施の形態の場合と同様に、ブレに基づいて、撮像素子32aの第2領域B2に含まれる赤外画素IRに対し、検出用の第2画像を得るための第2露光時間を決定してよい。
また、制御部34は、赤外画素IRに基づいて第1の実施の形態の変形例5で説明した第3画像を取得することにより、第3画像から得られる明るさに基づいて第2画像を得るための第2露光時間を決定してよい。第3画像は暗い環境下でも短時間で取得できるので、撮像素子32aの第2領域B2に含まれる赤外画素IRに対し、第2画像を取得するための第2露光時間の設定を早く行うことができるようになる。
第2の実施の形態の変形例2によれば、赤外画像として第2画像を取得するように構成したので、可視光域の明るさが不足する状況でも、第2画像を好適に撮像することができる。例えば、赤外画素IRに対して長い第2露光時間を設定して赤外画像を取得する場合には、カメラ10で撮像される範囲を照明する赤外光源の発光量を抑えることができる。
(第2の実施の形態の変形例3)
第2の実施の形態の変形例3において、制御部34は、赤外画素IRに基づく赤外画像を取得させる場合に、青色画素B、赤色画素R、および緑色画素Grに基づくRGB表色系の画像も取得させる。RGB表色系の画像も取得するので、赤外画像を取得中にも、RGB表色系の監視画像をモニタ3に再生表示することができる。
カメラ10は、可視光域の明るさが不足する状況において、撮像素子32aの第1領域B1および第2領域B2の赤外画素IRに基づいて、赤外画像としての監視画像、および赤外画像としての第2画像を取得するとともに、撮像素子32aの第1領域B1の青色画素B、赤色画素R、および緑色画素Grに基づいて、RGB表色系の監視画像を取得する。上述したように、監視画像はモニタ3に再生表示させる画像である。また、第2画像は監視画像に写る被写体(監視対象物)を検出するための画像である。
第2の実施の形態の変形例3において、制御部34は、図26(a)の単位領域131内の画素IR、B、R、Grに対してそれぞれ撮像条件を設定する。制御部34は、撮像素子32aの第1領域B1の画素B、R、Grに対し、例えば、環境の明るさが不足する場合に適した露光時間(およびゲイン)を設定する。また、上記第1領域B1の赤外画素IRに対し、赤外光源によって照明される場合に適した露光時間(およびゲイン)を設定する。さらにまた、撮像素子32aの第2領域B2の赤外画素IRに対し、赤外光源によって照明される場合に適した露光時間(およびゲイン)を設定する。
赤外画素IRと、画素B、R、Grとでは、異なった露光時間を設定することができる。このように、単位領域131内の青色画素B、赤色画素R、および緑色画素Grの露光時間(およびゲイン)と赤外画素IRの露光時間(およびゲイン)とを異ならせる場合には、可視光用の単位領域には、青色画素B、赤色画素R、および緑色画素Grの3画素を内包し、赤外光用の単位領域には、赤外画素IRの1画素を内包するとよい。
また、カメラ10が赤外画像(監視画像および第2画像)と、RGB表色系の監視画像との双方を取得する場合において、RGB表色系の監視画像の取得については、赤外画像より高いISO感度を設定して撮像を行って、なるべく明るいRGB表色系の画像を撮像する。
また、RGB表色系の監視画像については、ISO感度を高く設定して撮像しているため、第1露光時間を短くして撮像する。なお、第1露光時間をブレない程度に長くして、なるべく明るいRGB表色系の画像を撮像してもよい。
赤外画像より高いISO感度とは、例えば、上記第2領域B2により赤外画像の第2画像を撮像する場合のISO感度よりも高い設定値、または、上記の赤外画素IRに基づいて第3画像を撮像する場合のISO感度よりも高い設定値でもよい。RGB表色系の監視画像と赤外画像である第2画像との双方を取得する場合は、被写体とみられる領域の抽出を赤外画像である第2画像に基づいて行う。そこで、RGB表色系の監視画像は、被写体領域の検出に用いないため、RGB表色系の監視画像のISO感度を赤外画像より高く設定する。この理由は、RGB表色系の監視画像は視認できればよく、ISO感度を赤外画像より高く設定してノイズが生じても構わないからである。
第2の実施の形態の変形例3によれば、色の情報を有するRGB表色系の監視画像を取得するようにしたので、ユーザにとって視認しやすい監視画像をモニタ3に表示させることができる。
また、赤外画像として第2画像を取得するように構成したので、可視光域の明るさが不足する状況でも、第2画像を好適に撮像することができる。例えば、赤外画素IRに対して長い第2露光時間を設定して赤外画像を取得する場合には、被写体の領域を好適に検出することができる。
また、制御部34は、カメラ10が撮像素子32aの赤外画素IRに基づく赤外画像と、画素B、R、Grに基づくRGB表色系の画像との双方を取得する場合において、赤外画像による明るさの情報を用いてRGB表色系の画像を補正してもよい。例えば、環境の明るさが不足する状況では、設定によっては、暗いRGB表色系の監視画像が取得される場合が想定される。暗いRGB表色系の監視画像は、モニタ3に表示させた場合にユーザにとって視認しづらいものとなる。
そこで、制御部34は、RGB表色系の監視画像が暗い場合に、赤外画像の明るさの情報を用いて、RGB表色系の監視画像を明るく補正する。このようにRGB表色系の監視画像の明るさを補正することによって、ユーザにとって視認しやすい監視画像をモニタ3に表示させることができる。
また、制御部34は、カメラ10が撮像素子32aの赤外画素IRに基づく赤外画像と、画素B、R、Grに基づくRGB表色系の画像との双方を取得する場合において、画素B、R、Grに基づき、第1の実施の形態の変形例5で説明した第3画像を取得することによって、RGB表色系の第3画像から得られる明るさに基づいて赤外画像の第2画像を取得するための第2露光時間を決定してもよい。
例えば、制御部34は、撮像素子32aの第1の領域B1の画素B、R、Grに基づいて、第1の実施の形態の変形例5で説明した第3画像を取得する。そして、制御部34は、RGB表色系の第3画像から得られる明るさに基づいて、第2領域B2の赤外画素IRに基づいて第2画像を得るための第2露光時間を決定する。
このような制御を行うことによって、第2領域B2に含まれる赤外画素IRに対し、赤第2画像を取得するための第2露光時間の設定を早く行うことができる。
(第2の実施の形態の変形例4)
以上の説明では、図26(a)に例示した単位領域131を有する撮像素子32aの場合を説明したが、赤外画素IRのみを有する単位領域131を有する撮像素子32aであってもよい。図26(b)は、赤外画素IRのみを有する撮像素子32aの画素領域の部分拡大図である。図26(b)の単位領域131は、赤外画素IRのみの4画素を内包する。
図26(b)の単位領域131のみが配列される撮像素子32aでは、赤外画像のみが撮像される。この場合においても、第1の実施の形態の場合と同様に、ブレに基づいて、赤外画像(第2画像)を得るための第2露光時間を決定してよい。また、第1の実施の形態の変形例5で説明した第3画像を取得することにより、第3画像から得られる明るさに基づいて赤外画像(第2画像)を得るための第2露光時間を決定してよい。このような制御を行うことによって、第2領域B2に含まれる赤外画素IRに対し、赤外画像(第2画像)を取得するための第2露光時間の設定を早く行うことができるようになる。
第2の実施の形態の変形例4によれば、赤外画像(第2画像)を取得するように構成したので、可視光域の明るさが不足する状況でも、好適に撮像することができる。例えば、赤外画素IRに対して長い第2露光時間を設定して赤外画像を取得する場合には、被写体の領域を好適に検出することができる。
(第2の実施の形態の変形例5)
第2の実施の形態による監視カメラシステムにおいて、監視画像に写る被写体、例えば監視対象物を検出するだけでなく監視対象物を認識したい場合がある。そこで、例えば特定の人物、動物、物などを、第2画像に基づいて認識する。
このような認識処理の一例として、例えば、テンプレートの画像(または特徴量)を用いる手法がある。テンプレート画像や特徴量のデータは、あらかじめカメラ10の制御部34内に格納しておくか、カメラ10の制御部34がネットワーク5を介してサーバ2(あらかじめテンプレート画像や特徴量のデータを格納しておく)から取得する。テンプレート画像は、例えば、特定の環境や撮像条件の下で監視対象物を撮像した画像である。そのため、テンプレート画像に含まれる監視対象物と、監視カメラシステムのカメラ10で撮像された検出用の第2画像に含まれる被写体とを比較する場合、テンプレート画像に含まれる監視対象物の明るさと、検出用の第2画像に含まれる被写体の明るさとが異なる場合がある。このような場合、被写体(監視対象物)を認識する精度が落ち、場合によっては誤認識を引き起こすことも想定される。
上記の誤認識を避けるために、検出用の第2画像を撮像する上で、第2露光時間の設定を、テンプレート画像の明るさと同じになるような第2露光時間に設定してもよい。つまり、監視画像(またはスルー画像)で被写体が検出された後、テンプレート画像の明るさがXという値であれば、検出用の第2画像を撮像する際に外部環境等を考慮して、撮像される被写体の明るさがXという値になるように第2露光時間を設定する。
このように制御することによって、検出用の第2画像と、テンプレートの画像との明るさが同じになるため、被写体の認識精度を高めることができる。
なお、監視カメラ10を例に説明したが、第1の実施の形態で説明した種々の電子機器に対し、第2の実施の形態およびその変形例の撮像素子32aを適用してもよい。
また、監視カメラ10を例に監視用途として説明したが、監視用途としては上記の例に限られず、医療用に病巣を監視検出する用途にも適用することができる。
--第3の実施の形態--
画像に写る被写体ごとに分割した領域を変更する機能を備えた画像処理装置を構成してもよい。図28は、第3の実施の形態による画像処理装置500を例示するブロック図である。画像処理装置500は、例えばコンピュータシステムによって構成されており、操作部材501と、制御装置502と、メモリカードスロット503と、表示部504とを備えている。コンピュータシステムとは、OS(Operating System)や周辺機器のハードウェアを含むものとする。
操作部材501は、ユーザによって操作される種々の入力部材、例えばポインティングデバイス(マウス、タッチパッド等)やキーボードなどを含む。制御装置502は、演算部502a、メモリ、およびその他の周辺回路により構成され、画像処理装置500の動作を制御する。
制御装置502を構成するメモリには、SDRAMやフラッシュメモリが含まれる。SDRAMは揮発性のメモリであって、演算部502aがプログラム実行時にプログラムを展開するためのワークメモリとして使用される。また、SDRAMは、データを一時的に記憶するためのバッファメモリとしても使用される。
フラッシュメモリは不揮発性のメモリであって、演算部502aが実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどを記録することができる。
制御装置502は、プログラムに基づき、メモリカードスロット503に挿入されているメモリカードから読み出した画像信号に基づいて、表示部504に再生表示するための表示画像データを生成する。また、制御装置502は、表示画像データに基づいて、画像を複数に分割した領域を変更(あるいは補正)する。制御装置502は、上記変更後の領域を示す情報を、画像信号とともに含む画像ファイルを生成してもよい。生成した画像ファイルは、メモリカードに上書き、あるいは画像ファイルに名前を付して記録することもできる。
メモリカードスロット503は、記憶媒体としてのメモリカードを挿入するためのスロットである。表示部504は、例えば液晶表示パネルによって構成される。表示部504は、上記表示画像データに基づく再生画像や、制御装置502を設定するための設定画面などを表示する。
画像処理装置500は、例えば、画像に対するレタッチ処理を行う。レタッチは、画像の色や明るさ等の修正や、画像に写り込んだ不要物の除去など、画像に対する修正や加工をいう。レタッチは、画像の一部の領域ごとに行ってもよい。すなわち、画像の全体を一度に処理対象にするよりも、画像の一部(例えば被写体ごと)を処理対象にしたいこともある。
図29は、画像処理装置500でレタッチ処理を行う画像を例示する図である。図29において、画像には、テーブル81と、テーブル81の上に置かれた器82と、器82に盛られた果物83と、テーブル81および果物83の背後にある壁85に設けられた窓84とが含まれている。また、壁85の右に側壁86が、テーブル81の右に床87が、それぞれ写っている。
画像処理装置500は、レタッチ処理の対象にする画像の領域を切り替える。例えば、第1の実施の形態に係るカメラ1の設定部34bと同様に、被写体の領域ごとに画像を分割し、分割した個々の領域をレタッチ処理の対象にする。図29に例示した画像の場合、例えば、テーブル81と、器82と、果物83と、窓84と、壁85と、側壁86と、床87とに分割されている。
しかしながら、画像処理装置500によって分割された領域とは異なる範囲を対象にレタッチ処理を行いたい場合がある、例えば、ユーザが、器82と果物83とを一つの被写体領域としてレタッチ処理の対象にしたい場合を説明する。この場合、画像処理装置500は、画像の分割によって器82と果物83とに分けた領域を、一つの領域にまとめるように変更する。そして、一つにまとめた領域を対象にレタッチ処理を行う。
画像処理装置500の演算部502aは、ユーザにより操作部材501を介してプログラムの起動操作が行われると、レタッチ処理プログラムを起動させる。そして、演算部502aは、メモリカードスロット503に挿入されているメモリカードから読み出した画像信号に基づく再生画像を表示部504に表示させる。
次に、演算部502aは、表示部504に領域の表示を行わせる。すなわち、演算部502aは、図29に例示した画像のうち、レタッチ処理の対象とする領域を強調表示させる。演算部502aは、強調表示する領域(すなわちレタッチ対象領域)を、表示部504の画面上で、ユーザ操作によって指定された位置に基づいて選択する。例えば、ユーザによってマウスのボタンが押下操作された時点で表示部504に表示中のポインタの位置を含む被写体の領域を選択する。
演算部502aは、終了操作が行われた(例えば、キーボードの所定キーが操作された)場合に、レタッチ処理プログラムを終了する。
<領域変更処理>
演算部502aは、ユーザ操作に基づき、ある被写体の領域に別の領域を追加したり、ある被写体の領域から一部の領域を削除したりする。演算部502aが分割した領域の範囲を変更する理由は、演算部502aが共通の被写体として扱う(例えば、同じレタッチ処理を適用する)範囲を変更するためである。領域の範囲を変更する処理は、上述した第1の実施の形態の変形例12~変形例17の場合と同様に行ってよい。
以上説明した第3の実施の形態によれば、図29の被写体の領域のうち、ユーザ操作に基づいて選択した領域(例えば器82の領域)が、果物83の領域と一つの領域として扱う追加判定する領域か、果物83の領域と別個の領域として扱う削除判定する領域かを判定する。これにより、果物83の領域に器82の領域を追加するモードに切り換えたり、あるいは、果物83の領域から器82の領域を削除するモードに切り替えたりすることなしに、器82の領域の追加または削除を行うことができる。
演算部502aは、例えば、第1の実施の形態の変形例12において用いたフラグを示す情報を制御装置502内のメモリに記録する。そして、演算部502aは、追加候補を追加したとき、または削除候補を削除したときに、フラグを示す情報を逐次更新する。例えば、果物83の領域に器82の領域を追加した場合は、器82についてのフラグを1にする情報をメモリに記録する。また、果物83の領域から器82の領域を削除した場合は、器82についてのフラグを0にする情報をメモリに記録する。
上記の説明では、ユーザ操作が、ポインティングデバイスとしてマウスを操作することによって行われる例を説明したが、タッチ操作可能な表示パネルによって構成される表示部504へのタッチ操作等を、ユーザ操作として受け付けてもよい。タッチ操作によるタッチ位置として、本実施の形態におけるポインティングデバイス(マウス、タッチパッド等)によるボタン操作が行われた時点に表示中のポインタ(カーソル等)の位置を用いてもよい。
また、フリック操作によるフリック操作開始位置、フリック操作終了位置として、本実施の形態におけるポインティングデバイス(マウス、タッチパッド等)によるドラッグ操作の開始時のポインタ位置、ドラッグ操作の終了時のポインタ位置を用いてもよい。
(第3の実施の形態の変形例)
表示部504をタッチ操作可能な表示パネルで構成する場合において、第1の実施の形態の変形例12~変形例17の内容についても、第3の実施の形態に適用してもよい。これにより、第1の実施の形態の変形例12~変形例17の場合と同様の作用効果を得ることができる。
(プログラムの供給)
上述した画像処理装置500を構成するコンピュータシステムへのプログラムの供給は、例えば図30に例示するように、プログラムを格納したCD-ROMなどの記録媒体204を画像処理装置500にセットして行ってもよいし、ネットワークなどの通信回線201を経由する方法で画像処理装置500へローディングしてもよい。通信回線201を経由する場合は、当該通信回線に接続されたサーバー202のストレージ装置203などにプログラムを格納しておく。
また、通信回線201に接続された無線LANのアクセスポイント(不図示)を経由して、画像処理装置500へプログラムを無線送信することもできる。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。