JP4285573B2 - 動き検出装置 - Google Patents

Description

本発明は、所定時間が経過するたびに撮像部で画像を撮像し、その撮像された画像間から互いに異なる部分を検出することで被写体の動きを検出する動き検出装置に関する。

従来、この種の技術としては、例えば、カメラを用いたセキュリティーシステムや監視カメラがある。このような監視カメラ等にあっては、まず、一定時間が経過するたびに所定位置の画像を撮像し、その撮像された画像の各画素で前フレームと現フレームとの輝度値の差を算出する。そして、その差が大きい部分を検出することで、動きのない背景と区別して、特定の被写体の動きを検出するようになっている（例えば、特許文献１参照）。

ところで、この種の監視カメラ等においては、一般に、撮像される画像の明るさが一定範囲に収まるように露出制御を行っている。このような露出制御にあっては、まず、前フレームの画像の明るさを数値化し、明るさの評価値とする。そして、その評価値を、外部から設定された明るさの基準値（露出目標値）と比較し、両者がほぼ一致するように、電子シャッタのシャッタ速度や撮像素子の出力の増幅率を制御する。これにより、光源の輝度変化によらず、画像全体の明るさを、露出目標値とほぼ一致させるようになっている。

特開平９−３２２２０２８号公報

しかしながら、上記従来の技術にあっては、光源に輝度変化が生じると、露出制御動作が働いて、シャッタ速度や増幅率が制御されても、画像全体の明るさが若干変化してしまう。そのため、画像全体の輝度値が変化してしまい、画像全体にフレーム差分が生じ、実際には被写体に動きがないときにも被写体の動きが誤検出されてしまう問題があった。
また、被写体に動きがあるときでも、被写体の動きによって明るさの評価値に変化が生じてしまうと、露出制御動作が働き、シャッタ速度や増幅率が変化する。そのため、背景画像の輝度値が変化してしまい、背景画像にフレーム差分が生じて、背景部分にも動きがあると誤判定され、その結果、動き検出の精度が低下してしまうという問題があった。

本発明に係る動き検出方法の態様のひとつは、電子シャッタ機能を有するイメージセンサを有し、前記イメージセンサを用いて第1の時刻で撮像した第１の画像と前記イメージセンサを用いて前記第１の時刻とは異なる第２の時刻で撮像した第２の画像とを出力する撮像手段と、前記第２の時刻における前記電子シャッタのシャッタ速度と前記第２の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を用いて、前記第２の画像のうち前記第１の画像に対して変化がない領域の輝度値が一定になるよう、前記第２の画像の輝度値を正規化する正規化手段と、前記第1の画像と前記正規化手段で輝度値が正規化された前記第２の画像とに基づいて、前記第1の画像に対して前記第２の画像が変化した領域を検出する検出手段と、を有することを特徴とする。
上記動き検出方法において、前記正規化手段では、前記イメージセンサが有する最大シャッタ速度と前記イメージセンサの出力を所定のゲインで増幅する増幅手段が有する最大ゲインとの乗算値を前記シャッタ速度と前記ゲインとで除して算出される変換係数を、前記第２の画像の輝度値に乗じることが好ましい。また、前記正規化手段では、前記第１の時刻における前記電子シャッタのシャッタ速度と前記第１の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を用いて前記第１の画像の輝度値を正規化し、前記検出手段では、前記正規化手段で輝度値が正規化された前記第1及び第２の画像とに基づいて前記第1の画像に対して前記第２の画像が変化した領域を検出することが好ましい。また、前記第２の時刻は、前記第1の時刻より所定時間後の時刻であることが好ましい。また、前記撮像手段は、前記第２の時刻における前記電子シャッタのシャッタ速度と前記第２の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を設定し且つ前記設定したシャッタ速度又はゲインの少なくともいずれか一方を出力する設定手段を有し、前記正規化手段は、前記設定手段により出力されたシャッタ速度又はゲインの少なくともいずれか一方を用いて前記第２の画像の輝度値を正規化することが好ましい。また、電子シャッタ機能を有するイメージセンサを有し、前記イメージセンサを用いて第1の時刻で撮像した第１の画像と前記イメージセンサを用いて前記第１の時刻とは異なる第２の時刻で撮像した第２の画像とを出力する撮像手段と、前記第２の時刻における前記電子シャッタのシャッタ速度と前記第２の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を用いて、前記第２の画像のうち前記第１の画像に対して変化がない領域の輝度値が一定になるよう、前記第２の画像の輝度値を正規化する正規化手段と、前記第1の画像を構成する画素の輝度値と前記正規化手段で輝度値が正規化された前記第２の画像を構成する画素の輝度値とを記憶する記憶手段と、前記第１の画像を構成する所定の画素の輝度値と、前記所定の画素の位置に対応する位置の前記正規化手段で輝度値が正規化された前記第２の画像を構成する画素の輝度値と、の差分を算出する差分手段と、前記差分手段によって算出された差分の大きさに基づいて、前記第1の画像に対して前記第２の画像が変化した領域を検出する判定手段と、を有することが好ましい。
本発明に係る動き検出方法の他の態様は、電子シャッタ機能を有するイメージセンサを用いて第1の時刻で撮像した第１の画像を出力するステップと、前記イメージセンサを用いて前記第１の時刻とは異なる第２の時刻で撮像した第２の画像とを出力するステップと、前記第２の時刻における前記電子シャッタのシャッタ速度と前記第２の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を用いて、前記第２の画像のうち前記第１の画像に対して変化がない領域の輝度値が一定になるよう、前記第２の画像の輝度値を正規化するステップと、前記第1の画像と前記輝度値が正規化された前記第２の画像とに基づいて前記第1の画像に対して前記第２の画像が変化した領域を検出するステップと、を有することを特徴とする。
本発明に係る動き検出方法の他の態様は、電子シャッタ機能を有するイメージセンサを用いて第1の時刻で撮像した第１の画像を出力するステップと、前記イメージセンサを用いて前記第１の時刻とは異なる第２の時刻で撮像した第２の画像とを出力するステップと、前記第２の時刻における前記電子シャッタのシャッタ速度と前記第２の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を用いて、前記第２の画像のうち前記第１の画像に対して変化がない領域の輝度値が一定になるよう、前記第２の画像の輝度値を正規化するステップと、前記第1の画像を構成する画素の輝度値と前記正規化手段で輝度値が正規化された前記第２の画像を構成する画素の輝度値とを記憶するステップと、前記第１の画像を構成する所定の画素の輝度値と、前記所定の画素の位置に対応する位置の前記正規化手段で輝度値が正規化された前記第２の画像を構成する画素の輝度値と、の差分を算出するステップと、前記算出された差分の大きさに基づいて、前記第1の画像に対して前記第２の画像が変化した領域を検出するステップと、を有することを特徴とする。

上記課題を解決するために、本発明に係る動き検出装置の他の態様は、異なる時刻に撮像された複数の画像間から輝度値が変化した部分を検出することで被写体の動きを検出する動き検出装置であって、前記画像の撮像時における電子シャッタのシャッタ速度、及び前記画像を撮像したイメージセンサの出力に乗じたゲインの少なくとも一方で前記画像の輝度値を正規化する正規化手段と、その正規化手段で輝度値が正規化された画像間から当該輝度値が変化した部分を検出する検出手段とを備えたことを特徴とする。
また、前記正規化手段は、最大シャッタ速度と最大ゲインとの乗算値を前記シャッタ速度と前記ゲインとで除して算出される変換係数を、前記画像の輝度値に乗じるものであってもよい。
このような構成によれば、例えば、露出制御動作が働いて電子シャッタのシャッタ速度やセンサ出力の増幅率が変化した場合、シャッタ速度や増幅率で画像の輝度値を正規化することで、背景画像の輝度値を一定に保つことができる。そのため、背景画像にフレーム差分が生じることを防止することができ、例えば、撮像部で撮像された画像をそのまま用いて被写体の動きを検出する方法に比べ、動き検出の精度を向上することができる。

また、前記正規化手段は、最大シャッタ速度と最大ゲインとの乗算値を前記シャッタ速度と前記ゲインとで除して算出される変換係数を、前記画像の輝度値に乗じるものであってもよい。
このような構成によれば、例えば、露出制御動作が働いて電子シャッタのシャッタ速度やセンサ出力の増幅率が変化した場合、シャッタ速度や増幅率で画像の輝度値を正規化することで、背景画像の輝度値を一定に保つことができる。そのため、背景画像にフレーム差分が生じることを防止することができ、例えば、撮像部で撮像された画像をそのまま用いて被写体の動きを検出する方法に比べ、動き検出の精度を向上することができる。

以下、本発明に係る動き検出装置の一実施形態を、図面に基づいて説明する。
この動き検出装置１は、所定画像を撮像可能な撮像部で所定時間が経過するたびに撮像された画像の間から互いに異なる部分を検出することで被写体の動きを検出するものである。また、その際、この動き検出装置は、前記撮像部で実行される露出制御の制御パラメータによって、前記互いに異なる部分の検出に用いられる画像の輝度値を補正するようになっている。そのため、背景画像の輝度値を一定に保つことができ、背景画像にフレーム差分が生じることを防止することができ、動き検出の精度を向上することができる。

＜動き検出装置の構成＞
図１は、本発明の一実施形態の内部構成を示すブロック図である。この図１に示すように、動き検出装置１は、撮像部２、広Ｄレンジ画像生成部３、及び動き検出部４を含んで構成される。また、撮像部２は、図２に示すように、撮像レンズ５、アナログ・デジタル映像信号処理本線６及び露出制御部７を含んで構成される。

撮像レンズ５は、アナログ・デジタル映像信号処理本線６のイメージセンサ８（後述）の法線方向に光軸方向が向けられて当該イメージセンサ８の上方に配されている。そして、撮像レンズ５は、光軸方向からの光をイメージセンサ８に集光する。
また、アナログ・デジタル映像信号処理本線６は、イメージセンサ８、ＰＧＡ（Programmable Gain Amplifier）９、及びＡＤＣ（Analog-to-Digital Converter）１０を含んで構成される。

イメージセンサ８は、撮像レンズ５で集光された光を電力に変換する。また、イメージセンサ８は、露出制御部７（シャッタ速度・ゲイン設定部１３（後述））から出力されるシャッタ速度設定指令（後述）に対応するシャッタ速度（露光時間）が経過するたびに、その露光時間に変換された電力をＰＧＡ９に出力する電子シャッタ機能を備えている。
また、ＰＧＡ９は、露出制御部７（シャッタ速度・ゲイン設定部１３）から出力されるゲイン設定指令（後述）に対応するゲイン（増幅率）でイメージセンサ８から出力される電力を増幅する。そして、ＰＧＡ９は、その増幅された電力をＡＤＣ１０に出力する。

さらに、ＡＤＣ１０は、ＰＧＡ９から出力される電力をデジタル化して本線映像信号（各画素の輝度値を示す情報を含む画像データ）を生成する。そして、ＡＤＣ９は、その生成された本線映像信号を露出制御部７（輝度測光部１１（後述）、露出誤差検出器１２（後述））と広Ｄレンジ画像生成部３とに出力する。
また、露出制御部７は、輝度測光部１１、露出誤差検出器１２及びシャッタ速度・ゲイン設定部１３を含んで構成される。

輝度測光部１１は、アナログ・デジタル映像信号処理本線６のＡＤＣ１０から出力される本線映像信号が示す１画面分（１フレーム分、１フィールド分）の画像に含まれる各画素の輝度値を積分し、その積分結果を輝度評価値として露出誤差検出器１２に出力する。
なお、本実施形態では、１画面分の画像に含まれる各画素の輝度値を単に積分することで輝度評価値を生成する例を示したが、これに限られるものではない。例えば、中央付近に被写体が撮像されていると想定し、中央付近の画素を重み付けして積分してもよく、また、画像を複数の領域に分割し、各領域毎に重み付けして積分するようにしてもよい。

また、露出誤差検出器１２は、輝度測光部１１から出力される輝度評価値と、外部のマイクロコントローラ（不図示）で設定される明るさの基準値（露出目標値）とを比較する。すなわち、露出誤差検出器１２は、輝度評価値と露出目標値との大小関係を判定し、その判定結果をシャッタ速度・ゲイン設定部１３に出力する。
さらに、シャッタ速度・ゲイン設定部１３は、露出誤差検出器１２から出力される判定結果が、輝度評価値が露出目標値よりも大きいことを示す場合には、シャッタ速度（露光時間）をそれまでよりも短く設定したりゲインを小さく設定したりする指令（以下、「シャッタ速度設定指令」「ゲイン設定指令」とも呼ぶ。）をアナログ・デジタル映像信号処理本線６（イメージセンサ８、ＰＧＡ９）に出力する。また、シャッタ速度・ゲイン設定部１３は、露出誤差検出器１２から出力される判定結果が、輝度評価値が露出目標値よりも小さいことを示す場合には、シャッタ速度をそれまでよりも長く設定したりゲインを大きく設定したりする指令をアナログ・デジタル映像信号処理本線６に出力する。なお、その際、シャッタ速度Ｔは、イメージセンサ８の構造で決まる最短露光時間Ｔminの整数Ｎ倍に設定され、また、ゲインＭは整数値で設定される。

なお、本実施形態では、シャッタ速度やゲインをフレーム単位で切り替えて設定する例を示したが、これに限られるものではない。例えば、画像を形成する複数の画素からなる画素領域単位や、画素列単位、画素単位で切り替えて設定するようにしてもよい。
また、シャッタ速度・ゲイン設定部１３は、アナログ・デジタル映像信号処理本線６に出力しているシャッタ速度設定指令やゲイン設定指令が示すシャッタ速度ＴやゲインＭに基づき、下記（１）式に従って、撮像条件値Ｖを生成する。そして、シャッタ速度・ゲイン設定部１３は、その生成された撮像条件値を広Ｄレンジ画像生成部３に出力する。

Ｖ＝（Ｔmax×Ｍmax）／（Ｔ×Ｍ）
＝（（Ｔmin×Ｎmax）×Ｍmax）／（（Ｔmin×Ｎ）×Ｍ）
＝（Ｎmax×Ｍmax）／（Ｎ×Ｍ） ………（１）

但し、Ｔmaxはイメージセンサ８が許容する最長露光時間、ＭmaxはＰＧＡ９が許容する最大ゲイン、Ｎmax（＝Ｔmax／Ｔmin）は整数である。
なお、本実施形態では、撮像条件値Ｖをフレーム単位で切り替えて設定する例を示したが、これに限られるものではない。例えば、画像を形成する複数の画素からなる画素領域単位や、画素列単位、画素単位で切り替えて設定するようにしてもよい。

また、広Ｄレンジ画像生成部３は、図１に示すように、撮像部２（アナログ・デジタル映像信号処理本線６のＡＤＣ１０）から順次出力される本線映像信号Ｉ（それぞれが１画面分の画像の各画素に対応する信号）に、撮像部２（露出制御部７のシャッタ速度・ゲイン設定部１３）から出力される撮像条件値Ｖを順次乗算して広Ｄレンジ画像信号ＷＩを生成する。そして、広Ｄレンジ画像生成部３は、その生成された広Ｄレンジ画像信号ＷＩを動き検出部４（メモリアービタ１５（後述）、差分部１７（後述））に順次出力する。

さらに、動き検出部４は、図３に示すように、画素カウンタ・制御部１４、メモリアービタ１５、画像メモリ１６、差分部１７及び判定部１８を含んで構成される。
画素カウンタ・制御部１４は、撮像部２における各種同期信号（水平同期信号、垂直同期信号、画素同期信号等）を検出し、その検出された同期信号に基づいて、広Ｄレンジ画像生成部３から出力されている広Ｄレンジ画像信号ＷＩが示す画素のＸＹ座標位置を算出する。また、画素カウンタ・制御部１４は、広Ｄレンジ画像信号ＷＩが順次入力され、ＸＹ座標位置が変わる度に、所定の制御信号をメモリアービタ１５に出力し、また、前記ＸＹ座標位置に対応する画素の輝度値を記録させるアドレスを示すアドレス・制御信号を画像メモリ１６に出力する。

また、メモリアービタ１５は、画素カウンタ・制御部１４から制御信号が出力されると、広Ｄレンジ画像生成部３から出力されている広Ｄレンジ信号ＷＩが示す画素のＸＹ座標位置に対応するアドレスから前フレームの情報（対応画素の輝度値の情報）を読み出す。そして、メモリアービタ１５は、その読み出された情報を差分部１７に出力すると共に、前記広Ｄレンジ画像信号ＷＩが示す輝度値の情報を前記対応するアドレスに書き込む。

さらに、画像メモリ１６は、メモリアービタ１５から読み出し要求があると、画素カウンタ・制御部１４から出力されるアドレス・制御信号が示すアドレスから前フレームの情報（対応画素の輝度値の情報）をメモリアービタ１５に読み出させる。また、メモリアービタ１５から書き込み要求があると、画素カウンタ・制御部１４から出力されるアドレス・制御信号が示すアドレスに前記書き込み要求に対応する輝度値の情報を書き込ませる。

また、差分部１７は、メモリアービタ１５から出力される情報が示す輝度値と、広Ｄレンジ画像生成部３から出力されている広Ｄレンジ画像信号が示す画素の輝度値との差を算出する。そして、差分部１４は、その算出結果を判定部１８に出力する。
さらに、判定部１８は、差分部１７から出力される算出結果の大きさに基づいて被写体の動きを検出し、その検出結果を、ＣＰＵや動き検出メモリ（不図示）に転送する。

＜動き検出装置の具体的動作＞
次に、本発明に係る動き検出装置の動作を具体的状況に基づいて説明する。なお、本例は、フレーム単位で撮像条件を更新する。

いま、動きの無い状態で撮像動作が行われ、このときの撮像条件値をＶ１とする。この撮像条件値Ｖ１により広Ｄレンジ画像信号が生成される（後述）。
そして、被写体の動き検出の実行中に、被写体の動きによって本線映像信号が示す現フレームの画像において一部の画素の輝度値が増大したとする。すると、図２に示すように、輝度測光部１１によって、輝度評価値が露出目標値より十分に大きく算出され、露出誤差検出器１２によって、その旨を示す判定結果がシャッタ速度・ゲイン設定部１３に出力される。そして、シャッタ速度・ゲイン設定部１３によって、シャッタ速度設定指令がアナログ・デジタル映像信号処理本線６のイメージセンサ８に出力され、ゲイン設定指令がＰＧＡ９に出力され、さらに、撮像条件値Ｖ２が広Ｄレンジ画像生成部３に出力される。上記動作は、現フレームの撮像動作終了後、直ちに実行され、次フレームにおいては、新しい撮像条件にて撮像動作が行われる。

そして、次フレームの検出が開始されると、イメージセンサ８によって、前記シャッタ速度設定指令に対応するシャッタ速度（露光時間）で、撮像レンズ５で集光された光が電力に変換され、その変換された電力がＰＧＡ９に出力される。また、ＰＧＡ９によって、前記ゲイン設定指令に対応するゲイン（増幅率）でイメージセンサ８から出力される電力が増幅され、その増幅された電力がＡＤＣ１０に出力される。そして、ＡＤＣ１０によって、その出力された電力がデジタル化されて本線映像信号が生成され、その本線映像信号が広Ｄレンジ画像生成部３と輝度測光部１１と露出誤差検出器１２とに出力される。

すると、図１に示すように、広Ｄレンジ画像生成部３によって、その出力された本線映像信号Ｉに、撮像部２の露出制御部７のシャッタ速度・ゲイン設定部１３から出力された撮像条件値Ｖ２が順次乗算されて広Ｄレンジ画像信号ＷＩが生成される。つまり、前記本線映像信号Ｉを生成するときに用いられたシャッタ速度ＴやゲインＭで当該本線映像信号Ｉが正規化され、背景画像の輝度値が全てのフレームで一定に保たれた広Ｄレンジ画像信号ＷＩが生成される。そして、広Ｄレンジ画像生成部３によって、その生成された広Ｄレンジ画像信号ＷＩが動き検出部４のメモリアービタ１５や差分部１７に順次出力される。

また同時に、図３に示すように、画素カウンタ・制御部１４によって、撮像部２における各種同期信号（水平同期信号、垂直同期信号、画素同期信号等）が検出され、その検出された同期信号に基づいて、広Ｄレンジ画像生成部３から出力されている広Ｄレンジ画像信号ＷＩが示す画素のＸＹ座標位置が検出される。そして、画素カウンタ・制御部１４によって、その検出されたＸＹ座標位置が変わるたびに、制御信号がメモリアービタ１５に出力され、また、アドレス・制御信号が画像メモリ１６に出力される。さらに、メモリアービタ１５は、前記制御信号が出力されるたびに、広Ｄレンジ画像信号ＷＩが示す画素のＸＹ座標に対応するアドレスから前フレームの情報（対応画素の輝度値）が読み出される。そして、メモリアービタ１５によって、その読み出された情報が差分部１７に出力されると共に、前記広Ｄレンジ画像信号ＷＩが示す輝度値の情報が前記対応するアドレスに記憶される。また、差分部１７によって、その出力された情報が示す輝度値と前記広Ｄレンジ画像信号ＷＩが示す画素の輝度値との差が、被写体が動いている部分で大きく算出され、また、背景部分でほぼ「０」と算出され、その算出結果が判定部１８に出力される。そして、判定部１８によって、その出力された算出結果の大きさに基づいて被写体の動きのある領域のみが適切に検出され、その検出結果がＣＰＵや動き検出メモリ（不図示）に転送される。

このように、本実施形態の動き検出装置によれば、露出制御動作が働いて電子シャッタのシャッタ速度やゲインが変化した場合、シャッタ速度やゲインで画像の輝度値を正規化することで、背景画像の輝度値を一定に保つことができる。そのため、背景画像にフレーム差分が生じることを防止することができ、例えば、撮像部２で撮像された画像をそのまま用いて被写体の動きを検出する方法に比べ、動き検出の精度を向上することができる。

以上、図１の広Ｄレンジ画像生成部３が特許請求の範囲に記載の正規化手段を構成し、同様に、図１の動き検出部４、図３の差分部１７が検出手段を構成する。
なお、図１の広Ｄレンジ画像生成部３が特許請求の範囲に記載の正規化手段を構成する。また、本発明の動き検出装置は、上記実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

本発明の動き検出手段の概略構成を示すブロック図である。 図１の撮像部の内部構成を示すブロック図である。 図１の動き検出部の内部構成を示すブロック図である。

符号の説明

１…検出装置、２…撮像部、３…レンジ画像生成部、４…検出部、５…撮像レンズ、６…アナログ・デジタル映像信号処理本線、７…露出制御部、８…イメージセンサ、９…ＰＧＡ、１０…ＡＤＣ、１１…輝度測光部、１２…露出誤差検出器、１３…シャッタ速度・ゲイン設定部、１４…画素カウンタ・制御部、１５…メモリアービタ、１６…画像メモリ、１７…差分部、１８…判定部。

Claims (9)

1. 電子シャッタ機能を有するイメージセンサを有し、前記イメージセンサを用いて第1の時刻で撮像した第１の画像と前記イメージセンサを用いて前記第１の時刻とは異なる第２の時刻で撮像した第２の画像とを出力する撮像手段と、
   前記第２の時刻における前記電子シャッタのシャッタ速度と前記第２の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を用いて、前記第２の画像のうち前記第１の画像に対して変化がない領域の輝度値が一定になるよう、前記第２の画像の輝度値を正規化する正規化手段と、
   前記第1の画像と前記正規化手段で輝度値が正規化された前記第２の画像とに基づいて、前記第1の画像に対して前記第２の画像が変化した領域を検出する検出手段と、
   を有することを特徴とする動き検出装置。
2. 前記正規化手段では、前記イメージセンサが有する最大シャッタ速度と前記イメージセンサの出力を所定のゲインで増幅する増幅手段が有する最大ゲインとの乗算値を前記シャッタ速度と前記ゲインとで除して算出される変換係数を、前記第２の画像の輝度値に乗じることを特徴とする請求項１に記載の動き検出装置。
3. 前記正規化手段では、前記第１の時刻における前記電子シャッタのシャッタ速度と前記第１の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を用いて前記第１の画像の輝度値を正規化し、
   前記検出手段では、前記正規化手段で輝度値が正規化された前記第1及び第２の画像とに基づいて前記第1の画像に対して前記第２の画像が変化した領域を検出することを特徴とする請求項１又は２に記載の動き検出装置。
4. 前記第２の時刻は、前記第1の時刻より所定時間後の時刻であることを特徴とする請求項１〜３のいずれかに記載の動き検出装置。
5. 前記撮像手段は、前記第２の時刻における前記電子シャッタのシャッタ速度と前記第２の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を設定し且つ前記設定したシャッタ速度又はゲインの少なくともいずれか一方を出力する設定手段を有し、
   前記正規化手段は、前記設定手段により出力されたシャッタ速度又はゲインの少なくともいずれか一方を用いて前記第２の画像の輝度値を正規化することを特徴とする請求項１に記載の動き検出装置。
6. 電子シャッタ機能を有するイメージセンサを有し、前記イメージセンサを用いて第1の時刻で撮像した第１の画像と前記イメージセンサを用いて前記第１の時刻とは異なる第２の時刻で撮像した第２の画像とを出力する撮像手段と、
   前記第２の時刻における前記電子シャッタのシャッタ速度と前記第２の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を用いて、前記第２の画像のうち前記第１の画像に対して変化がない領域の輝度値が一定になるよう、前記第２の画像の輝度値を正規化する正規化手段と、
   前記第1の画像を構成する画素の輝度値と前記正規化手段で輝度値が正規化された前記第２の画像を構成する画素の輝度値とを記憶する記憶手段と、
   前記第１の画像を構成する所定の画素の輝度値と、前記所定の画素の位置に対応する位置の前記正規化手段で輝度値が正規化された前記第２の画像を構成する画素の輝度値と、の差分を算出する差分手段と、
   前記差分手段によって算出された差分の大きさに基づいて、前記第1の画像に対して前記第２の画像が変化した領域を検出する判定手段と、
   を有することを特徴とする動き検出装置。
7. 請求項１〜６のいずれかに記載の動き検出装置を有することを特徴とするカメラ。
8. 電子シャッタ機能を有するイメージセンサを用いて第1の時刻で撮像した第１の画像を出力するステップと、
   前記イメージセンサを用いて前記第１の時刻とは異なる第２の時刻で撮像した第２の画像とを出力するステップと、
   前記第２の時刻における前記電子シャッタのシャッタ速度と前記第２の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を用いて、前記第２の画像のうち前記第１の画像に対して変化がない領域の輝度値が一定になるよう、前記第２の画像の輝度値を正規化するステップと、
   前記第1の画像と前記輝度値が正規化された前記第２の画像とに基づいて前記第1の画像に対して前記第２の画像が変化した領域を検出するステップと、
   を有することを特徴とする動き検出方法。
9. 電子シャッタ機能を有するイメージセンサを用いて第1の時刻で撮像した第１の画像を出力するステップと、
   前記イメージセンサを用いて前記第１の時刻とは異なる第２の時刻で撮像した第２の画像とを出力するステップと、
   前記第２の時刻における前記電子シャッタのシャッタ速度と前記第２の画像を撮像した前記イメージセンサの出力に乗じたゲインとの少なくとも一方を用いて、前記第２の画像のうち前記第１の画像に対して変化がない領域の輝度値が一定になるよう、前記第２の画像の輝度値を正規化するステップと、
   前記第1の画像を構成する画素の輝度値と前記正規化手段で輝度値が正規化された前記第２の画像を構成する画素の輝度値とを記憶するステップと、
   前記第１の画像を構成する所定の画素の輝度値と、前記所定の画素の位置に対応する位置の前記正規化手段で輝度値が正規化された前記第２の画像を構成する画素の輝度値と、の差分を算出するステップと、
   前記算出された差分の大きさに基づいて、前記第1の画像に対して前記第２の画像が変化した領域を検出するステップと、
   を有することを特徴とする動き検出方法。

Images