JP5398612B2

JP5398612B2 - 動体検出装置および方法

Info

Publication number: JP5398612B2
Application number: JP2010066302A
Authority: JP
Inventors: 恒史遠藤; 和田　　哲
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-03-23
Filing date: 2010-03-23
Publication date: 2014-01-29
Anticipated expiration: 2030-03-23
Also published as: JP2011198241A; US20110235866A1

Description

この発明は動体検出装置および方法に関する。

画像中の被写体を検出するもの（特許文献１），２つの画像間の違い（修正部分）を見つけるもの（特許文献２）など，画像を用いた領域抽出には種々のものがある。

画像中の動き（動体）を検出する処理がある。動体検出処理では，一般に背景差分またはフレーム間差分が用いられる。ここで，２つの画像の差分を用いた被写体（動体）検出では差分算出に用いられる２つの画像の静止領域（背景）が同じ位置にあることが必要である。しかしながら，特に非固定カメラによって得られた画像では静止領域を同じ位置とするのは簡単ではない。静止領域の位置に相違があると，２つの画像間で静止領域（背景）に位置ズレが生じ，静止領域（背景）にも差分（誤検出）が生じ，本来の動体（動き）の検出が阻害される。図１１は従来の動体検出処理の手順を画像によって示すもので，２つの入力画像91，92の位置合わせが行われた後，差分画像93が生成されている。非固定カメラによって得られた画像を用いると撮影視点の変化等によって本来の動体画像93cとともに,差分画像93中の静止領域（背景）に差分93ａ，93ｂ（誤検出）が現れることがある。

特開２００７−１２２１０１号公報特開２００８−２６９１３１号公報

この発明は，背景（静止物）領域の誤検出を抑制することを目的とする。

第１の発明による動体検出装置は，所定の撮像対象範囲を撮像することによって得られる上記撮像対象範囲内の画像を表す入力画像データの入力を受付ける入力画像データ受付手段，上記入力画像データ受付手段によって受付けられた２つの入力画像データによって表される２つの入力画像の相対的な位置ズレを解消するように，２つの入力画像の一方の位置を他方の位置に合わせる位置合わせ手段，上記位置合わせ手段による位置合わせ後の上記２つの入力画像に残存する残存位置ズレ量を算出する残存位置ズレ量算出手段，上記残存位置ズレ量に応じて，上記入力画像の解像度以下の複数の解像度のうちのいずれかを選択する解像度選択手段，上記解像度選択手段によって上記入力画像の解像度よりも低い解像度が選択された場合に，選択された解像度になるように上記２つの入力画像の解像度を下げる低解像度入力画像作成手段，上記２つの入力画像または上記低解像度入力画像作成手段によって作成された２つの低解像度入力画像の差分に基づいて動体領域を検出する動体検出手段を備える。

第１の発明は，上記動体検出装置に適した制御方法も提供する。この方法は，入力画像データ受付手段が，所定の撮像対象範囲を撮像することによって得られる上記撮像対象範囲内の画像を表す入力画像データの入力を受付け，位置合わせ手段が，上記入力画像データ受付手段によって受付けられた２つの入力画像データによって表される２つの入力画像の相対的な位置ズレを解消するように，２つの入力画像の少なくともいずれか一方の位置を補正し，残存位置ズレ量算出手段が，上記位置合わせ手段による位置合わせ後の上記２つの入力画像に残存する残存位置ズレ量を算出し，解像度選択手段が，上記残存位置ズレ量に応じて上記入力画像の解像度以下の複数の解像度のうちのいずれかを選択し，低解像度入力画像作成手段が，上記解像度選択手段によって上記入力画像の解像度よりも低い解像度が選択された場合に，選択された解像度になるように，上記２つの入力画像の解像度を下げ，２値差分画像データ生成手段が，上記２つの入力画像または上記低解像度入力画像作成手段によって作成された２つの低解像度入力画像の差分に基づいて動体領域を検出するものである。

第１の発明によると，差分を，入力画像の解像度よりも低い解像度を持つように解像度が下げられた２つの低解像度入力画像の間でとることができるので，たとえ静止領域（背景）に位置ズレがあったとしても，それを目立たなくするまたは無くすことができ，誤検出が抑制される。その結果，動体の検出（抽出）の精度を高めることができる。

残存位置ズレ量が大きいと静止領域（背景）に誤検出が発生する可能性が高くなるので，残存位置ズレ量が大きい場合には相対的に低い解像度を選択すると，誤検出の発生が効果的に抑制される。逆に残存位置ズレ量が小さい場合に相対的に高い解像度（入力画像の解像度と同じ解像度を含む）を選択することによって，動体領域の位置検出の精度の低下が抑制される。選択されるべき複数の解像度は２つ（２段階）であっても，それ以上（多段階）であってもよい。

一実施態様では，上記解像度選択手段によって選択される解像度のうち最も低い解像度は，上記残存位置ズレ量を吸収できる最高の解像度，すなわち，上記残存位置ズレ量だけ位置ズレのある上記２つの入力画像中の対応点が同一画素となる最大の解像度である。あまりに解像度を下げすぎると動体領域の位置検出の精度が悪くなるので，最も低い解像度を，上記残存位置ズレ量を吸収できる最高の解像度（残存位置ズレ量だけ離れた画素が同一画素となる解像度）までに制限することによって，不必要に解像度が下がらず，したがって動体領域の位置検出の精度の不要な悪化が避けられる。

上記解像度選択手段は，水平方向解像度および垂直方向解像度のそれぞれを選択するものであってもよい。

好ましくは，上記動体検出装置は，上記既存位置ズレ量と所定の閾値を比較する比較手段を備え，上記解像度選択手段は，上記既存位置ズレ量が所定の閾値を超えている場合に，上記入力画像の解像度以下でありかつ互いに値の異なる２つの解像度のうちのより低い解像度を選択し，上記既存位置ズレ量が所定の閾値以下の場合に上記２つの解像度のうちのより高い解像度を選択する。２つの解像度のうちのいずれかを用いることによって動体領域の検出の迅速化を図ることができる。

もっとも，異なる複数の残存位置ズレ量に対応して複数の解像度を記憶したテーブルを設けておき，この複数の解像度の中から残存位置ズレ量に応じて選ばれる一の解像度を用いるようにしてもよい。必要以上に低い解像度の差分画像が生成されなくなるので，動体検出精度の低下を極力抑制することができる。

上記動体検出手段は，一実施態様では，上記２つの入力画像または２つの低解像度入力画像を画素ごとに比較して差を求め，求めた差を２値化処理することによって得られる２値化差分画像データから上記動体領域を検出するものである。

第２の発明による動体検出装置は，所定の撮像対象範囲を撮像することによって得られる上記撮像対象範囲内の画像を表す入力画像データの入力を受付ける入力画像データ受付手段，上記入力画像データ受付手段によって受付けられた２つの入力画像データによって表される２つの入力画像の組について，上記入力画像の解像度以下の，互いに異なる解像度の複数の解像度入力画像の組を作成する複数解像度入力画像作成手段，上記複数解像度入力画像作成手段によって作成された，互いに異なる解像度の複数の解像度入力画像の組のそれぞれについて，解像度入力画像の組における差分に基づいて，解像度入力画像の組ごとに差分画像データを生成する差分画像データ生成手段，上記入力画像データ受付手段によって受付けられた２つの画像データによって表される２つの入力画像の相対的な位置ズレを解消するように，２つの入力画像の一方の位置を他方の位置に合わせる位置合わせ手段，上記位置合わせ手段による位置合わせ後の上記２つの入力画像に残存する残存位置ズレ量を算出する残存位置ズレ量算出手段，上記残存位置ズレ量算出手段によって算出された残存位置ズレ量に応じて，上記差分画像データ生成手段によって生成された複数の差分画像データのうちのいずれかを選択する差分画像データ選択手段，および上記画像データ選択手段によって選択された差分画像データから動体領域を検出する動体検出手段を備えたものである。

この発明は，第２の発明による動体検出装置の制御に適した制御方法も提供している。

第２の発明によると，２つの入力画像の組についてあらかじめ複数の解像度の解像度入力画像が作成され，複数の差分画像データが作成される。複数の差分画像データのうち残存位置ズレ量に応じた解像度のものが選択されて，選択された差分画像データが用いられて動体領域が検出される。第２の発明においても，差分を，入力画像の解像度よりも低い解像度を持つように解像度が下げられた２つの解像度入力画像の間でとることができるので，たとえ静止領域（背景）に位置ズレがあったとしても，それを目立たなくするまたは無くすことができ，誤検出を効果的に抑制することができる。

第３の発明による動体検出装置は，所定の撮像対象範囲を撮像することによって得られる上記撮像対象範囲内の画像を表す入力画像データの入力を受付ける入力画像データ受付手段，上記入力画像データ受付手段によって受付けられた２つの入力画像データによって表される２つの入力画像の相対的な位置ズレを解消するように，２つの入力画像の一方の位置を他方の位置に合わせる位置合わせ手段，上記２つの入力画像を複数の領域に区分けする領域区分け手段，上記区分領域ごとに，上記位置合わせ手段による位置合わせ後の上記２つの入力画像に残存する残存位置ズレ量を算出する残存位置ズレ量算出手段，上記区分領域ごとに，上記残存位置ズレ量に応じて，上記入力画像の解像度以下の複数の解像度のうちのいずれかを選択する解像度選択手段，上記解像度選択手段によって上記入力画像の解像度よりも低い解像度が選択された場合に，選択された解像度になるように上記２つの入力画像の上記区分領域の解像度を下げる低解像度入力画像作成手段，上記２つの入力画像中の対応する区分領域または上記低解像度入力画像作成手段によって作成された２つの解像度の区分領域における差分に基づいて，区分領域ごとに差分画像データを生成する差分画像データ生成手段，上記差分画像データ生成手段によって生成される区分領域ごとの差分画像データを合成して一つの差分画像データを生成する合成手段，ならびに上記合成手段によって生成された合成差分画像データから動体領域を検出する動体検出手段を備えるものである。

この発明は第３の発明による動体検出装置に好適な制御方法も提供する。

第１の発明および第２の発明と同様に，第３の発明においても，差分を，入力画像の解像度よりも低い解像度を持つように解像度が下げられた２つの低解像度入力画像の間でとることができるので，たとえ静止領域（背景）に位置ズレがあったとしても，それを目立たなくするまたは無くすことができ，誤検出が効果的に抑制される。また，第３の発明では複数の区分領域のそれぞれで異なる解像度を選択することができるから，低い解像度を用いる必要のない領域（たとえば，残存位置ズレ量が大きくない領域）を含めて全体として低い解像度の解像度入力画像が得られてしまい，動体領域の位置検出の精度が低められてしまうことが防止される。

一実施態様では，上記差分画像データ生成手段は，区分領域ごとに異なる２値化閾値を用いて２値化処理を行う。区分領域ごとに動体検出の感度を異ならせることができる。

上記位置合わせ手段は，２つの入力画像全体の位置合わせ誤差を最小にするグローバルモーションにしたがって２つの入力画像の位置合わせを行うものであってもよし，２つの入力画像のそれぞれに含まれる特定被写体像の移動ベクトルにしたがって２つの入力画像の位置合わせを行うものであってもよい。

ディジタル・スチル・カメラの電気的構成を示すブロック図である第１実施例の動体検出処理の手順を示すフローチャートである。第１実施例の動体検出処理の手順を画像によって示すものである。２つの入力画像（基準画像と対象画像）の重合わせ画像と，複数点における残存位置ズレ量の大きさと方向を示す。第２実施例の動体検出処理の手順を示すフローチャートである。第３実施例の動体検出処理の手順を示すフローチャートである。第３実施例の動体検出処理の手順を画像によって示すものである。２つの入力画像（基準画像と対象画像）の重合わせ画像と，複数点における残存位置ズレ量の大きさと方向と，区分領域とを示す。第４実施例の動体検出処理の手順を示すフローチャートである。第５実施例の動体検出処理の手順を示すフローチャートである。従来の動体検出処理の手順を画像によって示すものである。

図１は，ディジタル・スチル・カメラの電気的構成を示すブロック図である。図１に示すブロック図は，第１実施例のみならず，後述する第２〜第５実施例にも援用する。また，ディジタル・スチル・カメラに限らず，ディジタル・ムービ・カメラにも，この発明の実施例は適用することができる。

ディジタル・スチル・カメラの全体的な動作はＣＰＵ１によって統括される。

ディジタル・スチル・カメラは，ＣＣＤ15を備え，ＣＣＤ15の前方に撮像レンズ11，絞り12，赤外線カット・フィルタ13および光学的ロウパス・フィルタ（ＯＬＰＦ）14が設けられている。

ディジタル・スチル・カメラには操作器２が含まれている。操作器２には電源ボタン，モード設定ダイアル，二段ストローク・タイプのシャッタ・レリーズ・ボタンなどが含まれる。操作器２から出力される操作信号はＣＰＵ１に入力する。モード設定ダイアルによって設定されるモードには撮影モード，再生モードなどがある。

ディジタル・スチル・カメラには，ストロボ撮像のための発光装置６，および発光装置６からの出射光の反射光を受光するための受光装置７が設けられている。

ディジタル・スチル・カメラの電源がオンされ，撮影モードが設定されると，被写体像を表す光線束が撮像レンズ11に入射する。光線束は撮像レンズ11，絞り12，赤外線カット・フィルタ13および光学的ロウパス・フィルタ14を介してＣＣＤ15の受光面上に入射する。ＣＣＤ15の受光面上に被写体像が結像し，被写体像を表すアナログ信号がＣＣＤ15から出力する。ＣＣＤ15によって一定周期で被写体が撮像され，一定周期で被写体像を表す映像信号が１フレーム分ずつＣＣＤ15から出力される。

アナログ信号処理装置16には，相関二重サンプリング回路，信号増幅器などが含まれている。ＣＣＤ15から出力された被写体像を表すアナログ信号はアナログ信号処理装置16に入力し，相関二重サンプリング，信号増幅などが行われる。アナログ信号処理装置16から出力されたアナログ映像信号はアナログ／ディジタル変換回路18に入力し，ディジタル画像データに変換される。ディジタル画像データはメモリ制御回路19の制御のもとメイン・メモリ20に一時的に記録される。

ディジタル画像データはメイン・メモリ20から読出されてディジタル信号処理回路21に入力する。ディジタル信号処理回路21では白バランス調整，ガンマ補正などの所定のディジタル信号処理が行われる。ディジタル信号処理回路21においてディジタル信号処理が行われたデータは表示制御回路26に与えられる。表示制御回路26によって表示装置27が制御されることにより表示画面上に被写体像が表示される。

シャッタ・レリーズ・ボタンの第一段階の押下があると，レンズ駆動回路５によってレンズ11が駆動されて焦点合わせが行われる。メイン・メモリ20から読出される画像データに基づいてディジタル信号処理回路21において輝度データが得られる。輝度データは積算回路23に入力し積算される。積算値を表すデータはＣＰＵ１に与えられて露出量が算出される。算出された露出量となるように絞り12の開口が絞り駆動回路４によって制御され，ＣＣＤ15のシャッタ速度が撮像素子駆動回路３によって制御される。

シャッタ・レリーズ・ボタンの第二段階の押下があると，アナログ／ディジタル変換回路18から出力された画像データはメイン・メモリ20に記録される。メイン・メモリ20から読み出された画像データに対し，上述のように所定のディジタル信号処理が行われる。ディジタル信号処理回路21から出力された画像データは圧縮伸張処理回路22においてデータ圧縮される。圧縮された画像データが外部メモリ制御回路24の制御によってメモリ・カード25に記録される。

再生モードが設定されると，メモリ・カード25に記録されている圧縮画像データが読み取られる。読取られた圧縮画像データは圧縮伸張処理回路22において伸張され表示制御回路26に与えられる。表示装置27の表示画面上に再生画像が表示される。

この実施例では，２つの画像データの差分を算出し，差分画像中に現れる被写体，すなわち動体を検出することができる。差分算出に先立って，差分算出に用いられる２つの画像の位置合わせが行われる。動体検出処理は，メイン・メモリ20に一時的に記憶される２つの画像データが用いられて基本的にはＣＰＵ１によって実行されるが，その一部を他のハードウエア回路に担わせてもよい。以下の説明において，動体検出処理に用いられる２つの画像データによって表される画像を入力画像81，82とする。

図２は，第１実施例の動体検出処理の手順を示すフローチャートである。図３は第１実施例の動体検出処理の手順を画像によって示すものである。

メイン・メモリ20に記憶されている２つの画像データによって表される２つの入力画像81，82の位置合わせが行われる（ステップ31）。２つの入力画像81，82の位置合わせでは，２つの入力画像のうちの一方（たとえば入力画像81）を基準画像とし，他方（入力画像82）を対象画像としたときに，対象画像82の位置，傾きおよび大きさを基準画像81に合わせるためのパラメータが得られる。基準画像81中の所定の評価基準点（または領域）についての特徴量を求め，これと同じ特徴量を持つ対象画像82中の対応点（対応領域）を検索して，評価基準点（領域）に対する対応点（領域）のずれ量を求めることでグローバルモーションを算出して，これを位置合せパラメータ（移動パラメータ，回転パラメータ，拡大／縮小パラメータ）としてもよいし，他の方法を用いて位置合わせパラメータを求めてもよい。いずれにしても，対象画像82の位置を基準画像81の位置に一致させる位置合わせパラメータは，メイン・メモリ20に一時的に記憶される。２つの入力画像81，82の相対的な位置ズレが解消される。

残存位置ズレ量が算出される（ステップ32）。レンズ11の歪み，撮影視点の変化，計算機の精度，画像変形アルゴリズムの限界等によって，２つの入力画像81，82を画像全体で完全に位置合わせを行うことは一般に困難であり，このため，位置合わせ処理を経ても未だ位置ズレは残存する。特に，入力画像81，82が，固定ではなく，非固定の状態のディジタル・スチル・カメラが用いられて得られた画像の場合，完全な位置合わせは困難である。

図４は，位置合わせ後の２つの入力画像81，82を重合わせた重合わせ画像80において，複数の対応点における残存位置ズレ量の大きさと方向を，矢印の向きおよび長さによって示すものである。残存位置ズレ量の算出では，位置合わせ後の２つの入力画像81，82の対応点が検索され，その対応点の位置ズレの大きさ（距離）および方向が算出される。たとえば，この位置ズレの大きさが最大であるものが残存位置ズレ量として用いられる。

残存位置ズレ量が大きい場合，背景（静止物）領域において２つの入力画像81，82間に差分が生じる可能性がある。動き（移動物）のない背景に差分（誤検出）が生じ，本来の動体の検出（抽出）が阻害されてしまう。

そこで，この実施例では，２つの入力画像81，82の解像度をそれよりも低い解像度にした低解像度入力画像を生成し，これを用いて差分を算出して差分画像を作成することによって，微少な位置ズレの影響を抑制ないし無くすようにする処理が行われる。

図２に戻って，算出された残存位置ズレ量と所定の閾値ｄが比較される（ステップ33）。残存位置ズレ量が閾値ｄよりも大きい場合には（ステップ33でYES ），２つの入力画像81，82の解像度よりも低い解像度Ａに２つの入力画像81，82の解像度が下げられる（ステップ34）（図３の画像81Ａおよび画像82Ａを参照）。残存位置ズレ量が閾値ｄ以下の場合には（ステップ33でNO ），２つの入力画像81，82の解像度よりも低く，かつ上記解像度Ａよりも高い解像度Ｂに，２つの入力画像81，82の解像度が下げられる（ステップ36）（入力画像81，82の解像度＞解像度Ｂ＞解像度Ａの関係）。不必要に解像度を下げないようにするために，低い方の解像度Ａは算出される残存位置ズレ量を吸収できる最高の解像度（残存位置ズレ量だけ位置ズレのある対応点が同一画素となる最大の解像度）が望ましい。また解像度Ａ，Ｂはいずれも水平解像度と垂直解像度とで値を異ならせてもよい。さらに，解像度Ａ，Ｂの２段階ではなくさらに多段階の解像度を用いるようにしてもよい。異なる複数の残存位置ズレ量に対応して複数の解像度を記憶したルックアップテーブルをメイン・メモリ20に記憶しておき，このルックアップテーブルに基づいて，算出される残存位置ズレ量に応じた解像度を選択するようにしてもよい。

残存位置ズレ量が閾値ｄよりも大きい場合，解像度Ａの解像度を持つ２つの低解像度入力画像81Ａ，82Ａが得られる。解像度Ａの入力画像81Ａと解像度Ａの入力画像82Ａとが，メイン・メモリ20に一時的に記憶されている上述した位置合わせパラメータに基づいて位置合せされ，その後に差分がとられることで差分画像83が得られる（ステップ35）。差分画像83は所定の閾値によって２値化されて２値化差分画像が得られる。２値化差分画像が用いられて被写体（動体）が抽出（検出）される（ステップ38）。必要に応じて，被写体抽出結果に基づいて，元の解像度の画像における被写体（動体）の座標位置（領域）を求めてもよい（ステップ39）。

残存位置ズレ量が閾値ｄ以下である場合には，解像度Ｂの２つの低解像度入力画像が用いられる点を除いて，上述の処理と同じ処理が行われる（ステップ36，37，38，39）。

差分画像83の作成に用いられるのは低解像度にされた入力画像81Ａ，82Ａであるから，背景（静止物）領域に微少な位置ズレが残存していても，それを差分として抽出させないまたは，抽出されても非常に狭い範囲にすることができる。静止領域（背景）における誤検出が効果的に抑制される。

上述した第１実施例では，解像度Ａおよび解像度Ｂのいずれもが入力画像81，82の解像度よりも低いものとして説明したが，解像度Ａおよび解像度Ｂのうち，より高い解像度である解像度Ｂについては，入力画像81，82の解像度と同じ解像度としてもよい。このことは後述する他の実施例でも同様である。

第２実施例
図５は第２実施例の動体検出処理の手順を示すフローチャートである。図２に示す第１実施例のフローチャートとは，入力画像81，82のそれぞれについて，あらかじめ解像度Ａの低解像度入力画像81Ａ，82Ａと，解像度Ｂの低解像度入力画像81Ｂ，82Ｂを作成し，低解像度入力画像81Ａ，82Ａから算出される解像度Ａの差分画像と，低解像度入力画像81Ｂ，82Ｂから算出される解像度Ｂの差分画像を作成しておく点が異なる（ステップ41，42）。解像度Ａの差分画像および解像度Ｂの差分画像はメイン・メモリ20に一時的に記憶される。

残存位置ズレ量が閾値ｄよりも大きい場合には，あらかじめ作成された解像度Ａの差分画像が選択され（メイン・メモリ20から読み出され）（ステップ33でYES ，ステップ43），解像度Ａの差分画像から被写体（動体）が抽出される。残存位置ズレ量が閾値ｄ以下の場合には，あらかじめ作成された解像度Ｂの差分画像が選択され（メイン・メモリ20から読み出され）（ステップ33でNO ，ステップ44），解像度Ｂの差分画像から被写体（動体）が抽出される。

第２実施例においても，差分画像の作成に用いられる２つの入力画像の解像度が撮像によって得られる元の入力画像81，82の解像度よりも低いので，背景（静止物）領域における誤検出が抑制される。

第３実施例
図６は，第３実施例の動体検出処理の手順を示すフローチャートである。図７は第３実施例の動体検出処理の手順を画像によって示すものである。

第３実施例の動体検出処理では，入力画像81，82が複数の領域に分割されて区分けされ，区分領域ごとに差分画像を作成する点が，第１，第２実施例と異なる。第１実施例の動体検出処理のフローチャート（図２）における処理と同一処理には同一符号を付し，重複説明を避ける。

図８を参照して，図８は図４に対応するもので，位置合わせ後の２つの入力画像81，82を重合わせた重合わせ画像80において，複数の対応点における残存位置ズレ量の大きさと方向を矢印の向きおよび長さによって示すとともに，区分領域の一例を示すものである。重合わせ画像80において，中心部領域80αと，中心部領域80αの周囲を取り囲む周辺部領域80βの２つの領域に区分けされている。この場合，中心部領域80αに相当する領域と，周辺部領域80βのそれぞれについて，上述した第１実施例の動体検出処理が行われる。

図６に戻って，区分領域ごとの残存位置ズレ量が算出される（ステップ51）。すなわち，入力画像81，82のそれぞれにおいて中心部領域80αのみを処理対象にして残存位置ズレ量が算出される。同様にして，入力画像81，82のそれぞれにおいて周辺部領域80βのみを処理対象にして残存位置ズレ量が算出される。

中心部領域80αについて，入力画像81，82が解像度ＡまたはＢを持つように解像度が下げられた上で差分画像84が生成される（ステップ53および54，またはステップ55および56）（図７の画像81Ｃ，画像82Ｃ，画像84を参照）。解像度Ａまたは解像度Ｂのいずれが採用されるかは，上述のように，中心部領域80αにおける残存位置ズレ量が閾値ｄよりも大きいかどうかに基づく（ステップ52）。

全領域の差分画像が生成されたかどうかが判断される（ステップ58）。周辺部領域80βについての差分画像が生成されていない場合，周辺部領域80βについても，入力画像81，82が解像度ＡまたはＢを持つように解像度が下げられた上で，差分画像85が生成される（ステップ57，ステップ53および54，またはステップ55および56）（図７の画像81Ｄ，画像82Ｄ，画像85を参照）。

中心部領域80αおよび周辺部領域80βについての２つの差分画像84，85が生成されると，２つの差分画像84，85が合成されて１つの差分画像86が生成される（ステップ58でYES ，ステップ59）（図７の画像86を参照）。生成された差分画像86が所定の閾値によって２値化され，２値化差分画像が用いられて被写体（動体）が抽出（検出）されること（ステップ38），さらに必要に応じて元の解像度の画像における被写体（動体）の座標位置（領域）が求められる（ステップ39）のは，第１実施例と同じである。

区分領域ごとに，差分画像の解像度（差分画像の作成に用いられる入力画像の解像度）を変えることができる。残存位置ズレ量の小さい領域と残存位置ズレ量の大きい領域とに区分領域が区分けされると，残存位置ズレ量の小さい区分領域についてはより高い解像度Ｂによって差分画像を作成することができるので，より高精度に被写体位置（動体位置）を特定することができる。

区分領域は２つ以上であってもよいのは言うまでない。区分（分割）のやり方も上述した中心部領域とその周辺部領域に代えて，格子状の分割，その他の分割のやり方を採用してもよい。区分数および区分のやり方は，たとえば操作部２を用いてユーザによって指定される。

第４実施例
図９は第４実施例の動体検出処理の手順を示すフローチャートである。図６に示す第３実施例のフローチャートとは，被写体（動体）の検出に用いられる２値化差分画像の作成に用いられる２値化閾値を，解像度Ａによって作成された差分画像に適用する値と，解像度Ｂによって作成された差分画像に適用する値とで異ならせる点（ステップ61，62，63）が異なる。図６に示すフローチャートと同一処理には同一符号を付し，重複説明を避ける。

被写体（動体）検出処理では，差分画像において所定の２値化閾値よりも大きな差分値を持つ画素（領域）が被写体（動体）を表す画素（領域）として検出（抽出）される。２値化閾値が小さいほど被写体検出としては高感度となるが，誤検出が増加する。ここで，解像度Ａの差分画像と，解像度Ｂの差分画像とでは，解像度Ａの差分画像の方が低解像度であるので誤検出は少ない。このように誤検出の少ない領域で被写体検出の感度を高めることにより差分の少ない動体まで確実に抽出可能とする場合には，解像度Ａの差分画像に適用する２値化閾値として比較的小さい値を採用し（たとえば，差分値の範囲が０〜２５５レベルであれば，閾値を「１６」に設定する），解像度Ｂの差分画像に適用する２値化閾値としてはそれよりも大きな値を採用することができる（たとえば，差分値の範囲が０〜２５５レベルであれば，閾値を「３２」に設定する）。

他方，解像度が低い画像は解像度が高い画像よりも２値化処理によって離散的表現（エリアジング）が生じやすい。エリアジングの影響を低減させることを目的とする場合には被写体検出の感度を低めればよい。たとえば，解像度がより低い解像度Ａの差分画像はエリアジングが生じやすいため，適用する２値化閾値として比較的大きな値を採用し（たとえば，差分値の範囲が０〜２５５レベルであれば，２値化閾値を「３２」に設定する），解像度Ｂの差分画像に適用する２値化閾値としてはそれよりも小さい値（たとえば，２値化閾値を「１６」）を採用してもよい。

図９を参照して，区分領域ごとに作成される差分画像が合成されて１つの差分画像が得られた後，区分領域ごとに差分画像の２値化処理が行われる。中心部領域80αの差分画像（図７の画像84，図８を参照）が解像度Ａによって生成されたものである場合には，１つにされた差分画像のうち，中心部領域80αに相当する範囲について２値化閾値ａが用いられて２値化処理される（ステップ53，54，61，ステップ63）。他方，中心部領域80αの差分画像が解像度Ｂによって生成されたものである場合には，１つにされた差分画像のうち，中心部領域80αに相当する範囲について２値化閾値ｂが用いられて２値化処理される（ステップ55，56，62，ステップ63）。同様にして，１つにされた差分画像のうちの周辺部領域80βについても，周辺部領域80βの差分画像（図７の画像85，図８を参照）が解像度Ａによって生成された場合には２値化閾値ａが用いられて２値化処理され，解像度Ｂによって生成された場合には２値化閾値ｂが用いられて２値化処理される（ステップ63）。

第５実施例
図１０は，第５実施例の動体検出処理の手順を示すフローチャートである。第３実施例の動体検出処理（図６）とは，２つの入力画像81，82の位置合わせにおいて特に特定被写体の移動ベクトルが用いられている点が異なる（ステップ71）。図６に示すフローチャートと同一処理には同一符号を付し，重複説明を避ける。

たとえば，人の顔画像部分が検出され，人の顔画像部分の動き量およびその方向（動きベクトル）が用いられて，２つの入力画像81，82の位置合わせ（移動パラメータ，回転パラメータ，拡大／縮小パラメータの算出）が行われる。画像全体の位置合わせ誤差を最小とするグローバルモーションを用いた位置合わせと比較すると，画像全体の残存位置ズレ量は大きくなるが，顔画像部分については比較的精度よく位置合わせをすることができる。顔画像部分とそれ以外の部分とで区分領域を区分けすることによって，顔画像部分の分割領域については残存位置ズレ量が小さくなり，したがってより高解像度の解像度Ｂの差分画像が生成される（ステップ52でNO，ステップ55，56）。顔画像部分に動きがある場合の動き検出の精度を高めることができる。

１ＣＰＵ
15 ＣＣＤ
20 メイン・メモリ
21 ディジタル信号処理回路

Claims

所定の撮像対象範囲を撮像することによって得られる上記撮像対象範囲内の画像を表す入力画像データの入力を受付ける入力画像データ受付手段，
上記入力画像データ受付手段によって受付けられた２つの入力画像データによって表される２つの入力画像の相対的な位置ズレを解消するように，２つの入力画像の一方の位置を他方の位置に合わせる位置合わせ手段，
上記位置合わせ手段による位置合わせ後の上記２つの入力画像に残存する残存位置ズレ量を算出する残存位置ズレ量算出手段，
上記残存位置ズレ量に応じて，上記入力画像の解像度以下の複数の解像度のうちのいずれかを選択する解像度選択手段，
上記解像度選択手段によって上記入力画像の解像度よりも低い解像度が選択された場合に，選択された解像度になるように上記２つの入力画像の解像度を下げる低解像度入力画像作成手段，
上記２つの入力画像または上記低解像度入力画像作成手段によって作成された２つの低解像度入力画像の差分に基づいて動体領域を検出する動体検出手段を備える，
動体検出装置。
上記解像度選択手段によって選択される解像度のうち最も低い解像度は，上記残存位置ズレ量を吸収できる最高の解像度である，請求項１に記載の動体検出装置。
上記解像度選択手段は，水平方向解像度および垂直方向解像度のそれぞれを選択するものである，請求項１に記載の動体検出装置。
上記残存位置ズレ量と所定の閾値を比較する比較手段をさらに備え，
上記解像度選択手段は，
上記残存位置ズレ量が所定の閾値を超えている場合に，上記入力画像の解像度以下であり，かつ互いに値の異なる２つの解像度のうちの低い解像度を選択し，上記残存位置ズレ量が所定の閾値以下の場合に上記２つの解像度のうちの大きい解像度を選択する，
請求項１に記載の動体検出装置。
異なる複数の残存位置ズレ量に対応して複数の解像度を記憶したテーブルを備えている，請求項１に記載の動体検出装置。
上記動体検出手段は，上記２つの入力画像または２つの低解像度入力画像を画素ごとに比較して差を求め，求めた差を２値化処理することによって得られる２値化差分画像データから上記動体領域を検出するものである，
請求項１に記載の動体検出装置。
所定の撮像対象範囲を撮像することによって得られる上記撮像対象範囲内の画像を表す入力画像データの入力を受付ける入力画像データ受付手段，
上記入力画像データ受付手段によって受付けられた２つの入力画像データによって表される２つの入力画像の組について，上記入力画像の解像度以下の，互いに異なる解像度の複数の解像度入力画像の組を作成する複数解像度入力画像作成手段，
上記複数解像度入力画像作成手段によって作成された，互いに異なる解像度の複数の解像度入力画像の組のそれぞれについて，解像度入力画像の組における差分に基づいて，解像度入力画像の組ごとに差分画像データを生成する差分画像データ生成手段，
上記入力画像データ受付手段によって受付けられた２つの画像データによって表される２つの入力画像の相対的な位置ズレを解消するように，２つの入力画像の一方の位置を他方の位置に合わせる位置合わせ手段，
上記位置合わせ手段による位置合わせ後の上記２つの入力画像に残存する残存位置ズレ量を算出する残存位置ズレ量算出手段，
上記残存位置ズレ量算出手段によって算出された残存位置ズレ量に応じて，上記差分画像データ生成手段によって生成された複数の差分画像データのうちのいずれかを選択する差分画像データ選択手段，および
上記画像データ選択手段によって選択された差分画像データから動体領域を検出する動体検出手段，
を備えた動体検出装置。
所定の撮像対象範囲を撮像することによって得られる上記撮像対象範囲内の画像を表す入力画像データの入力を受付ける入力画像データ受付手段，
上記入力画像データ受付手段によって受付けられた２つの入力画像データによって表される２つの入力画像の相対的な位置ズレを解消するように，２つの入力画像の一方の位置を他方の位置に合わせる位置合わせ手段，
上記２つの入力画像を複数の領域に区分けする領域区分け手段，
上記区分領域ごとに，上記位置合わせ手段による位置合わせ後の上記２つの入力画像に残存する残存位置ズレ量を算出する残存位置ズレ量算出手段，
上記区分領域ごとに，上記残存位置ズレ量に応じて，上記入力画像の解像度以下の複数の解像度のうちのいずれかを選択する解像度選択手段，
上記解像度選択手段によって上記入力画像の解像度よりも低い解像度が選択された場合に，選択された解像度になるように上記２つの入力画像の上記区分領域の解像度を下げる低解像度入力画像作成手段，
上記２つの入力画像中の対応する区分領域または上記低解像度入力画像作成手段によって作成された２つの低解像度の区分領域における差分に基づいて，区分領域ごとに差分画像データを生成する差分画像データ生成手段，
上記差分画像データ生成手段によって生成される区分領域ごとの差分画像データを合成して一つの差分画像データを生成する合成手段，ならびに
上記合成手段によって生成された合成差分画像データから動体領域を検出する動体検出手段，
を備えた動体検出装置。
上記差分画像データ生成手段は，
区分領域ごとに異なる２値化閾値を用いて２値化処理を行う，
請求項８に記載の動体検出装置。
上記位置合わせ手段は，
２つの入力画像全体の位置合わせ誤差を最小にするグローバルモーションにしたがって２つの入力画像の相対的な位置ズレを解消するものである，
請求項１，７および８に記載の動体検出装置。
上記位置合わせ手段は，
２つの入力画像のそれぞれに含まれる特定被写体像の移動ベクトルにしたがって，２つの入力画像の相対的な位置ズレを解消する，
請求項１，７および８に記載の動体検出装置。
入力画像データ受付手段が，所定の撮像対象範囲を撮像することによって得られる上記撮像対象範囲内の画像を表す入力画像データの入力を受付け，
位置合わせ手段が，上記入力画像データ受付手段によって受付けられた２つの入力画像データによって表される２つの入力画像の相対的な位置ズレを解消するように，２つの入力画像の少なくともいずれか一方の位置を補正し，
残存位置ズレ量算出手段が，上記位置合わせ手段による位置合わせ後の上記２つの入力画像に残存する残存位置ズレ量を算出し，
解像度選択手段が，上記残存位置ズレ量に応じて上記入力画像の解像度以下の複数の解像度のうちのいずれかを選択し，
低解像度入力画像作成手段が，上記解像度選択手段によって上記入力画像の解像度よりも低い解像度が選択された場合に，選択された解像度になるように，上記２つの入力画像の解像度を下げ，
２値差分画像データ生成手段が，上記２つの入力画像または上記低解像度入力画像作成手段によって作成された２つの低解像度入力画像の差分に基づいて動体領域を検出する，
動体検出装置の制御方法。
入力画像データ受付手段が，所定の撮像対象範囲を撮像することによって得られる上記撮像対象範囲内の画像を表す入力画像データの入力を受付け，
複数解像度入力画像作成手段が，上記入力画像データ受付手段によって受付けられた２つの入力画像データによって表される２つの入力画像の組について，上記入力画像の解像度以下の，互いに異なる解像度の複数の解像度入力画像の組を作成し，
差分画像データ生成手段が，上記複数解像度入力画像作成手段によって作成された，互いに異なる解像度の複数の解像度入力画像の組のそれぞれについて，解像度入力画像の組における差分に基づいて，解像度入力画像の組ごとに差分画像データを生成し，
位置合わせ手段が，上記入力画像データ受付手段によって受付けられた２つの画像データによって表される２つの入力画像の相対的な位置ズレを解消するように，２つの入力画像の少なくともいずれか一方の位置を補正し，
残存位置ズレ量算出手段が，上記位置合わせ手段による位置合わせ後の上記２つの入力画像に残存する残存位置ズレ量を算出し，
差分画像データ選択手段が，上記残存位置ズレ量算出手段によって算出された残存位置ズレ量に応じて，上記差分画像データ生成手段によって生成された複数の差分画像データのうちのいずれかを選択し，
動体検出手段が，上記画像データ選択手段によって選択された差分画像データから動体領域を検出する，
動体検出装置の制御方法。
入力画像データ受付手段が，所定の撮像対象範囲を撮像することによって得られる上記撮像対象範囲内の画像を表す入力画像データの入力を受付け，
位置合わせ手段が，上記入力画像データ受付手段によって受付けられた２つの画像データによって表される２つの入力画像の相対的な位置ズレを解消するように，２つの入力画像の少なくともいずれか一方の位置を補正し，
領域区分け手段が，上記２つの入力画像を複数の領域に区分けし，
残存位置ズレ量算出手段が，上記区分領域ごとに，上記位置合わせ手段による位置合わせ後の上記２つの入力画像に残存する残存位置ズレ量を算出し，
解像度選択手段が，上記区分領域ごとに，上記残存位置ズレ量に応じて，上記入力画像の解像度以下の複数の解像度のうちのいずれかを選択し，
低解像度入力画像作成手段が，上記解像度選択手段によって上記入力画像の解像度よりも低い解像度が選択された場合に，選択された解像度になるように上記２つの入力画像の上記区分領域の解像度を下げ，
差分画像データ生成手段が，上記区分領域ごとに，上記２つの入力画像中の対応する区分領域または上記低解像度入力画像作成手段によって作成された２つの低解像度の区分領域における差分に基づいて，区分領域ごとに差分画像データを生成し，
合成手段が，上記差分画像データ生成手段によって生成される区分領域ごとの差分画像データを合成して一つの差分画像データを生成し，
動体検出手段が，上記合成手段によって生成された合成差分画像データから動体領域を検出する，
動体検出装置の制御方法。