JP6532187B2

JP6532187B2 - 画像処理装置、その制御方法、および制御プログラム

Info

Publication number: JP6532187B2
Application number: JP2014053476A
Authority: JP
Inventors: 文貴中山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-03-17
Filing date: 2014-03-17
Publication date: 2019-06-19
Anticipated expiration: 2034-03-17
Also published as: JP2015176441A

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、異なる時間に撮像された画像において動体を検出処理する画像処理装置に関する。

一般に、デジタルカメラなどの画像処理装置において、撮像の結果得られた画像において動体を検出処理することが行われている。例えば、動体の遠近状態に応じて、動体検出特性が異なる複数の動体検出処理を行って、いずれかの動体検出処理において動体が検出された場合に動体が検出されたとする手法がある（特許文献１参照）。

なお、動体検出特性が異なる動体検出処理とは、例えば、画像を複数のブロック領域に分割して動体検出を行う際にそのブロックサイズを異ならせて動体検出を行うことをいい、さらには、動体検出処理において解像度を異ならせて動体検出を行うことをいう。

さらに、動体検出処理を行う際、小さな動体に対応できるように、画像を所定の大きさのブロック領域に分割して、ブロック領域毎に輝度平均値又はエッジ情報などの特徴情報を求めて、その差分から動体検出を行うようにしたものがある（特許文献２参照）。

特開２０１０−２６７０５５号公報特開２００８−９７６８号公報

しかしながら、特許文献１に記載の手法においては、動体検出と誤検出とのトレードオフが発生することがある。例えば、動体検出特性としてブロックサイズを異ならせる場合、大きいサイズのブロックについては、近景の比較的大きい動体を検出することができる一方、検出精度が粗くなってしまう。一方、小さいサイズのブロックについて、遠景の比較的小さい動体を検出することができる半面、ノイズなどの信号変化を動体として検出する恐れがある。

よって、特許文献１に記載の手法では、精度よく動体検出を行うことが難しい。さらに、特許文献１に記載の手法においては、複数の動体検出処理を行う結果、不可避的に処理量および処理時間が増加することになる。

また、特許文献２に記載の手法では、小さい動体については微小変化又はエッジなどの代表値の変化に応じて動体の検出を行うものの、特許文献１に記載の手法と同様にノイズなどの信号変化を誤検出する恐れがある。このため、特許文献２に記載の手法においても精度よく動体検出を行うことが難しい。

そこで、本発明の目的は、動体の大きさに拘わらず、常に精度よく動体検出を行うことができる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置であって、前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割手段と、前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の下位階層画像および第２の下位階層画像を得る第２のブロック分割手段と、前記第１の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して、当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出手段と、前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出手段と、前記第２の動体検出結果において前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと当該ブロックの周辺のブロックとが前記動体領域であるか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成手段と、を有することを特徴する。

本発明による制御方法は、互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置の制御方法であって、前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割ステップと、前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の下位階層画像および第２の下位階層画像を得る第２のブロック分割ステップと、前記第１の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して、当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出ステップと、前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出ステップと、前記第２の動体検出結果において前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと当該ブロックの周辺のブロックとが前記動体領域であるか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成ステップと、を有することを特徴する。

本発明による制御プログラムは、互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割ステップと、前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の下位階層画像および第２の下位階層画像を得る第２のブロック分割ステップと、前記第１の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して、当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出ステップと、前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出ステップと、前記第２の動体検出結果において前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと当該ブロックの周辺のブロックとが前記動体領域であるか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成ステップと、を実行させることを特徴する。

本発明によれば、第２の動体検出結果において着目ブロック領域が動体領域に含まれているか否かに応じて、当該着目ブロック領域について第１の動体検出結果および第２の動体検出結果のいずれを用いるか否かを決定して動体領域を求める。これによって、動体の大きさに拘わらず、常に精度よく動体検出を行うことができる。

本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。図１に示す密度判定部で行われる動体ブロック密度判定および動体内部判定部で行われる動体内部判定を説明するための図である。図１に示す画像処理装置で行われる動体検出処理を説明するためのフローチャートである。図１に示す画像処理装置で行われる動体検出処理において下位階層の着目ブロック領域が動体内部ブロックである際の処理を示す図である。図１に示す画像処理装置で行われる動体検出処理において下位階層の着目ブロック領域が非動体内部ブロックである際の処理を示す図である。本発明の第２の実施形態による画像処理装置の一例についてその構成を示すブロック図である。図６に示す画像処理装置で行われる動体検出処理を説明するためのフローチャートである。図５に示す画像処理装置で行われる動体検出処理を説明するための図である。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。

図示の画像処理装置１００は動体検出対象画像を取り込む。ここでは、説明の便宜上、動体検出対象画像を第１の入力画像１０１および第２の入力画像１０２とするが、これら第１の入力画像１０１および第２の入力画像１０２は同一の画像であって、時系列的に、例えば、連続的に撮像された画像である。つまり、画像処理装置１００は第１の入力画像１０１および第２の入力画像１０２の各々について少なくとも２フレーム分（つまり、互いに撮像された時間が異なる画像）を取り込むことになる。

画像処理装置１００は、後述するようにして、第１の入力画像１０１および第２の入力画像１０２について動体検出処理（画像処理）を行って、動体検出結果１１４を出力する。例えば、画像処理装置は、互いに異なる２つのブロックサイズで第１の入力画像１０１および第２の入力画像１０２を分割して動体検出を行い、ブロック領域毎の動体検出結果に応じて最終的な動体検出結果を生成する。

なお、以下の説明では、互いに異なるブロックサイズで第１の入力画像１０１および第２の入力画像１０２を分割して動体検出処理を行うことを階層処理という。そして、小さいブロックサイズを上位階層といい、大きいブロックサイズを下位階層という。また、互いに異なるブロックサイズで得られた動体検出結果を用いて新たな動体検出結果を生成することを階層合成処理という。

画像処理装置１００は画像入力部１０３を有しており、この画像入力部１０３は第１の入力画像１０１および第２の入力画像１０２を取り込むための入力インターフェースである。画像入力部１０３にはブロック分割部１０４〜１０７が接続されている。ブロック分割部１０４および１０５は上位階層処理のためのブロック分割部であって、ブロック分割部１０４には現在（つまり時間的に後）の第１の入力画像１０１が入力され、ブロック分割部１０５には過去（つまり、時間的に前）の第１の入力画像１０１が入力される。そして、ブロック分割部１０４および１０５はそれぞれ第１の入力画像１０１をＮ１×Ｎ１（第１の分割数）の複数のブロック領域に分割して（以下このブロック領域を第１のブロック領域と呼ぶ）、第１の現在分割画像（第１の上位階層画像）および第１の過去分割画像（第２の上位階層画像）を出力する。

ブロック分割部１０６および１０７は下位階層処理のためのブロック分割部であって、ブロック分割部１０６には現在の第２の入力画像１０２が入力され、ブロック分割部１０７には過去の第２の入力画像１０２が入力される。そして、ブロック分割部１０６および１０７はそれぞれ第１の入力画像１０１をＮ２×Ｎ２（第２の分割数）の複数のブロック領域に分割して（以下このブロック領域を第２のブロック領域と呼ぶ）、第２の現在分割画像（第１の下位階層画像）および第２の過去分割画像（第２の下位階層画像）を出力する。

なお、ブロック領域のサイズは任意であり、例えば、動体検出を行う画像のサイズに応じて任意に決定される。また、ここでは、Ｎ１＞Ｎ２である。

動体検出部１０８および１０９は、ブロック分割部１０４〜１０７の出力である分割画像を受けて、これら分割画像を比較してブロック領域毎に当該ブロック領域に動体が存在するか否か、つまり、ブロック領域が動体ブロックであるか否かを判定する。

例えば、動体検出部１０８は、第１の現在分割画像および第１の過去分割画像について、互いに対応するブロック領域において当該ブロック領域の画素値の差分を求める。そして、動体検出部１０８はこれら差分の絶対値和を算出して、差分絶対値和が所定の差分閾値よりも大きいと、このブロック領域を動体ブロックであると判定する。一方、差分絶対値和が所定の差分閾値以下であると、動体検出部１０８はこのブロック領域を非動体ブロックであると判定する。そして、動体検出部１０８は全てのブロック領域について動体ブロックであるか否かを示す第１のブロック判定結果（第１の動体検出結果ともいう）を出力する。

同様にして、動体検出部１０９は、第２の現在分割画像および第２の過去分割画像について、互いに対応するブロック領域において当該ブロック領域の画素値の差分を求める。そして、動体検出部１０９はこれら差分の絶対値和を算出して、差分絶対値和が所定の差分閾値よりも大きいと、このブロック領域を動体ブロックであると判定する。一方、差分絶対値和が所定の差分閾値以下であると、動体検出部１０９はこのブロック領域を非動体ブロックであると判定する。そして、動体検出部１０９は全てのブロック領域について動体ブロックであるか否かを示す第２のブロック判定結果（第２の動体検出結果ともいう）を出力する。

なお、上述の閾値は、例えば、ユーザによって設定される。さらには、撮影条件などを考慮して動的に変更するようにしてもよい。

前述の第１の動体検出結果は密度判定部１１０および動体検出結果合成部１１２に送られる。また、第２の動体検出結果は動体内部判定部１１１および動体検出結果合成部１１２に送られる。

密度判定部１１０は、第１の動体検出結果に応じて、所定の着目ブロック領域の周辺に動体ブロックが集中しているか否かを判定する。例えば、密度判定部１１０は、所定の着目ブロック領域を含む周辺ブロック領域において動体ブロックの数を求める。そして、密度判定部１１０は動体ブロックの数が所定のブロック閾値よりも大きいと、着目ブロック領域に関して動体ブロック密度が高いと判定する。

一方、密度判定部１１０は、動体ブロックの数が所定のブロック閾値以下であると、着目ブロック領域に関して動体ブロック密度が低いと判定する。そして、密度判定部１１０は動体ブロック密度を示す動体ブロック密度判定結果を動体検出結果合成部１１２に送る。

動体内部判定部１１１は、第２の動体検出結果に応じて、所定の着目ブロック領域が動体の内部（つまり、動体の領域）に位置するか否かを判定する。例えば、動体内部判定部１１１は、着目ブロック領域を含む周辺ブロック領域についてその全ブロック領域が動体ブロックであると、着目ブロックが動体内部に位置する動体内部ブロックであると判定する。

一方、着目ブロック領域を含む周辺ブロック領域について少なくとも一つのブロック領域が非動体ブロックであると、動体内部判定部１１１は、着目ブロック領域が動体内部に位置しない非動体内部ブロックであると判定する。そして、動体内部判定部１１１は動体内部ブロックであるか否かを示す動体内部判定結果を動体検出結果合成部１１２に送る。

図２は、図１に示す密度判定部１１０で行われる動体ブロック密度判定および動体内部判定部１１１で行われる動体内部判定を説明するための図である。

前述のように、上位階層においては、第１の入力画像１０１はＮ１×Ｎ１のブロック領域２０２に分割されて、第１の分割画像２０１とされる。一方、第２の入力画像１０２はＮ２×Ｎ２のブロック領域２０４に分割されて、第１の分割画像２０３とされる。

上位階層の動体検出結果を示す第１の動体検出結果２０５において、灰色ブロック領域は動体ブロック２０５ａを示し、白色ブロック領域は非動体ブロック２０５ｂを示す。そして、実線で囲まれたブロック領域は着目ブロック領域２０５ｃをしめし、点線で囲まれたブロック領域は着目ブロック領域２０５ｃを中心とする周辺ブロック領域２０５ｄを示す。

いま、ブロック閾値が６ブロックであるとすると、着目ブロック領域２０５ｃの周辺に動体ブロック２０５ａが着目ブロック領域２０５ｃを含めて９ブロック中７ブロック存在する。よって、図示の第１の動体検出結果２０５においては、密度判定部１１０は着目ブロック領域２０５ｃの周辺には動体ブロック２０５ａが集中していると判定して、着目ブロック領域に関して動体ブロック密度が高いと判定する。

下位階層の動体検出結果を示す第２の動体検出結果２０６においては、着目ブロック領域２０６ｃを含む周辺ブロック領域２０６ｄの全てが動体ブロック２０６ａである。よって、動体内部判定部１１１は、着目ブロック領域２０６ｃが着目ブロック領域２０６ｃは動体内部ブロックであると判定することになる。

前述のように、動体検出結果合成部１１２は、第１および第２の動体検出結果と動体ブロック密度判定結果および動体内部判定結果を受ける。そして、動体検出結果合成部１１２は、第１および第２の動体検出結果と動体ブロック密度判定結果および動体内部判定結果に応じて、後述するようにして新たな動体検出結果を生成する。

動体検出結果出力部１１３は動体検出結果合成部１１２で生成された新たな動体検出結果を入力画像における動体検出結果として出力する。

図３は、図１に示す画像処理装置で行われる動体検出処理を説明するためのフローチャートである。

動体検出処理を開始すると、ユーザ操作に応じて、図示しない制御部は入力画像の分割ブロックサイズと階層数を決定する（ステップＳ４０１）。ここでは、階層数は２、上位階層の分割ブロックサイズはＮ１、下位階層の分割ブロックサイズはＮ２である（Ｎ１＜Ｎ２、例えば、Ｎ１＝４Ｎ２である）。

続いて、制御部の制御下で画像入力部１０３は第１の入力画像１０１および第２の入力画像１０２を取り込む（ステップＳ４０２）。ここでは、図１で説明したように、第１の入力画像１０１および第２の入力画像１０２は同一の画像であり、各々少なくとも２フレーム分が入力される。

続いて、ブロック分割部１０４および１０５は、前述のように、第１の入力画像１０１を分割ブロックサイズＮ１で分割して、それぞれ第１の現在分割画像および第１の過去分割画像を出力する。また、ブロック分割部１０６および１０７は、前述のように、第２の入力画像１０２を分割ブロックサイズＮ２で分割して、それぞれ第２の現在分割画像および第２の過去分割画像を出力する（ステップＳ４０３）。

次に、動体検出部１０８は、第１の現在分割画像および第１の過去分割画像に応じて前述のようにして、第１の動体検出結果を求める。同様に、動体検出部１０９は、第２の現在分割画像および第２の過去分割画像に応じて、第２の動体検出結果を求める（ステップＳ４０４）。そして、動体内部判定部１１１は、下位階層の着目ブロック領域が動体内部ブロックであるか否かを判定する（ステップＳ４０５）。

図４Ａは、図１に示す画像処理装置で行われる動体検出処理において下位階層の着目ブロック領域が動体内部ブロックである際の処理を示す図である。また、図４Ｂは、図１に示す画像処理装置で行われる動体検出処理において下位階層の着目ブロック領域が非動体内部ブロックである際の処理を示す図である。

図４Ａに示すように、第１の動体検出結果３０１および第２の動体検出結果３０４が得られたとする。下位階層の動体検出結果である第２の動体検出結果３０４において、着目ブロック領域３０５および３０７に関して、それぞれ周辺ブロック領域３０６および３０８が全て動体ブロック３０６ａおよび３０８ａである。この結果、動体内部判定部１１１は、下位階層の着目ブロック領域３０５および３０７が動体内部ブロックであると判定する。

一方、図４Ｂに示すように、第１の動体検出結果３２１および第２の動体検出結果３２４が得られたとする。下位階層の動体検出結果である第２の動体検出結果３２４において、着目ブロック領域３２５および３２７に関して、それぞれ周辺ブロック領域３２６および３２８にはそれぞれ動体ブロック３２６ａおよび３２８ａと非動体ブロック３２６ｂおよび３２８ｂとが存在する。この結果、動体内部判定部１１１は、下位階層の着目ブロック領域３２５および３２７がともに非動体内部ブロックであると判定する。

動体内部判定部１１１によって着目ブロック領域が動体内部ブロックであると判定されると（ステップＳ４０５において、ＹＥＳ）、動体検出結果合成部１１２は、下位階層の着目ブロック領域が動体内部ブロックである場合の階層合成処理を行う（ステップＳ４０６）。

図４Ａに示すように、上位階層の動体検出結果である第１の動体検出結果３０１において、着目ブロック領域３０５に対応する着目ブロック領域３０２には動体ブロック３０２ａおよび非動体ブロック３０２ｂが存在する。一方、前述のように、着目ブロック領域３０５は動体内部ブロックであるので、動体検出結果合成部１１２は、着目ブロック領域３０２を、全てのブロックが動体ブロック３０９ａである着目ブロック領域３０９とする。

つまり、下位階層において着目ブロック領域が動体内部ブロックと判定された際に、上位階層において対応する着目ブロック領域に非動体ブロックが存在すると判定され場合、当該上位階層の着目ブロック領域は動体領域であるにも拘わらず、上位階層において動体領域として未検出となった可能性が高い。このため、前述のように、動体検出結果合成部１１２は、着目ブロック領域３０２を、全てのブロックが動体ブロック３０９ａである着目ブロック領域３０９とする。

同様にして、着目ブロック領域３０７に対応する上位階層の着目ブロック領域３０３についても、動体ブロック３０３ａおよび非動体ブロック３０３ｂが存在するが、動体検出結果合成部１１２は、着目ブロック領域３０３を、全てのブロックが動体ブロック３１０ａである着目ブロック領域３１０とする。

つまり、ここでは、当該着目ブロック領域に関しては、動体検出結果合成部１１２は第２の動体検出結果を最終的な検出結果とすることになる。

動体内部判定部１１１によって着目ブロック領域が非動体内部ブロックであると判定されると（ステップＳ４０５において、ＮＯ）、制御部の制御下で、密度判定部１１０は上位階層の動体検出結果である第１の動体判定結果において着目ブロック領域に関して動体ブロックの密度を判定する（ステップＳ４０７）。

図４Ｂに示すように、下位階層の着目ブロック領域３２５に対応する上位階層の着目ブロック領域３２２においては、動体ブロック３２２ａの数が非動体ブロック３２２ｂの数よりも多い。よって、密度判定部１１０は着目ブロック領域３２２には動体ブロック３２２ａが集中していると判定して、着目ブロック領域３２２に関して動体ブロック密度が高いと判定する。

一方、下位階層の着目ブロック３２７に対応する上位階層の着目ブロック領域３２３については、動体ブロック３２３ａの数が非動体ブロック３２３ｂの数よりも少ない。よって、密度判定部１１０は着目ブロック領域３２３に関して動体ブロック密度が低いと判定する。

密度判定部１１０によって着目ブロック領域の動体ブロック密度が高いと判定されると（ステップＳ４０７において、ＹＥＳ）、動体検出結果合成部１１２は上位階層において密度が高い場合の階層合成処理を行う（ステップＳ４０８）。

下位階層の着目ブロック領域３２５に対応する上位階層の着目ブロック領域３２２の動体ブロック密度が高い。ステップＳ４０８の処理においては、動体検出結果合成部１１２は、着目ブロック領域３２５が非動体ブロックであったとしても、着目ブロック領域３２２を、そのまま動体ブロック３２２ａおよび非動体ブロック３２２ｂを有する着目ブロック領域３１０として出力する。

つまり、下位階層において着目ブロック領域が非動体内部ブロックと判定された際に、上位階層において対応する着目ブロック領域の動体ブロック密度が高いと、小さい動体又は遠景にある動体である可能性が高い。このため、前述のように、動体検出結果合成部１１２は、着目ブロック領域３２２を、そのまま動体ブロック３２２ａおよび非動体ブロック３２２ｂを有する着目ブロック領域３１０として出力する。

ここでは、当該着目ブロック領域に関しては、動体検出結果合成部１１２は第１の動体検出結果を最終的な動体検出結果とすることになる。

密度判定部１１０によって着目ブロック領域の動体ブロック密度が低いと判定されると（ステップＳ４０７において、ＮＯ）、動体検出結果合成部１１２は、上位階層において密度が低い場合の階層合成処理を行う（ステップＳ４０９）。

下位階層の着目ブロック領域３２７に対応する上位階層の着目ブロック領域３２３の動体ブロック密度が低い。ステップＳ４０９の処理においては、動体検出結果合成部１１２は、着目ブロック領域３２３に代えて、全てが非動体ブロック３３０ｂである着目ブロック領域３３０を出力する。

つまり、下位階層において着目ブロック領域が非動体内部ブロックと判定された際に、上位階層において対応する着目ブロック領域の動体ブロック密度が低いと、ノイズなどを動体として誤検出した可能性が高い。このため、前述のように、動体検出結果合成部１１２は、着目ブロック領域３２３に代えて、全てが非動体ブロック３３０ｂである着目ブロック領域３３０を出力する。

ここでは、当該着目ブロック領域に関しては、動体検出結果合成部１１２は第２の動体検出結果を最終的な動体検出結果とすることになる。

ステップＳ４０６、Ｓ４０８、又はＳ４０９の処理に続いて、動体検出結果合成部１１２は第１および第２の入力画像１０１および１０２について全ブロック領域について動体検出処理が完了したか否かを判定する（ステップＳ４１０）。全ブロック領域について動体検出処理が完了すると（ステップＳ４１０において、ＹＥＳ）、動体検出結果合成部１１２は動体検出処理を終了する。

一方、全ブロック領域について動体検出処理が完了していないと（ステップＳ４１０において、ＮＯ）、処理はステップＳ４０４に戻って、次のブロック領域について階層処理が行われる。

なお、上述の説明では、階層を２階層としてブロックサイズの関係をＮ２＝４×Ｎ１であるとして説明したが、階層数およびブロックサイズの関係が変えても、同様にして動体検出処理を行うようにすればよい。

さらに、ステップＳ４０７で用いられるブロック閾値は、画像を撮像した際の感度に応じて変更するようにしてもよい。例えば、高感度下で撮像を行った場合にはノイズの影響を受けやすくなるので、ブロック閾値を高くする。これによって、ノイズの影響が除去された動体検出結果をブロック密度の判定に用いることができる。

このように、本発明の第１の実施形態では、ノイズの影響を除いて、かつ動体の大きさに拘わらず、常に精度よく動体の検出を行うことができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置について説明する。

第２の実施形態による画像処理装置では、上位階層で得られた動体検出結果（第１の動体検出結果）に基づいて仮想的に中間階層の動体検出結果（第３の動体検出結果）を生成する。そして、これら第１〜第３の動体検出結果に応じて最終的な動体検出結果を生成する。

図５は、本発明の第２の実施形態による画像処理装置の一例についてその構成を示すブロック図である。なお、図５において、図１に示す画像処理装置と同一の構成要素については同一の参照番号を付して説明を省略する。

図示の画像処理装置は、中間階層結果生成部５１５を有しており、さらに、図１に示す動体検出結果合成部１１２とその機能が異なる動体検出結果合成部５１２を有している。図示の画像処理装置においては、第１の実施形態と同様に、分割ブロックサイズは上位階層のブロックサイズをＮ１とし、下位階層のブロックサイズをＮ２とする。そして、Ｎ２＝４×Ｎ１であるとする。

さらに、ここでは、上位階層と下位階層との中間にある中間階層のブロックサイズＮ３を、ブロックサイズＮ１とブロックサイズＮ２の中間とする。例えば、Ｎ３＝２×Ｎ１（Ｎ３＝Ｎ２／２）とする。つまり、中間階層では、Ｎ３×Ｎ３（第３の分割数）の複数のブロック領域に分割されることになる。

図６は、図６に示す画像処理装置で行われる動体検出処理を説明するためのフローチャートである。なお、図６に示すフローチャートにおいて、図３に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。

動体検出処理を開始すると、図３で説明したステップＳ４０１〜Ｓ４０４の処理が行われる。ステップＳ４０４の処理が行われた後、中間階層結果生成部５１５は、上位階層の動体検出結果である第１の動体検出結果に基づいて中間階層の動体検出結果である第３の動体検出結果を生成する（ステップＳ７０１）。

図７は、図５に示す画像処理装置で行われる動体検出処理を説明するための図である。

図７においては、下位階層の着目ブロック領域が非動体内部ブロックである場合の例が示されている。

下位階層の動体検出結果である第２の動体検出結果において、着目ブロック領域６０２を含む周辺ブロック領域６０２１には動体ブロック６０２ａおよび６０２ｂが存在するので、着目ブロック領域６０２は非動体内部ブロックと判定される。

上位階層の動体検出結果である第１の動体検出結果において、着目ブロック領域６０２に対応する着目ブロック領域６０１には動体ブロック６０１ａおよび非動体ブロック６０１ｂが存在する。

中間階層の動体検出結果である第３の動体検出結果において、着目ブロック領域６０１および６０２に対応する着目ブロック領域６０３は４つの分割ブロック領域６０４〜６０７を有する。つまり、着目ブロック領域６０３はブロックサイズＮ３の分割ブロック領域４つで構成されることになる。

ここで、中間階層結果生成部５１５は、分割ブロック領域６０４〜６０７の各々について、上位階層の対応する領域においてその動体ブロックの数が所定のブロック閾値以上であると。当該分割ブロック領域を動体ブロックとする。

いま、ブロック閾値を”２”とすると、分割ブロック領域６０４〜６０６については、上位階層の対応する領域において動体ブロックの数が２つ以上あるので、中間階層結果生成部５１５は分割ブロック領域６０４〜６０６の各々を動体ブロックとする。一方、分割ブロック領域６０７については、上位階層の対応する領域において動体ブロックの数が１つあるので、中間階層結果生成部５１５は分割ブロック領域６０７を非動体ブロックとする。

このようにして、中間階層結果生成部５１５は上位階層の動体検出結果である第１の動体検出結果に応じて、中間階層の動体検出結果である第３の動体検出結果を生成する。

図３で説明したように、ステップＳ４０５において、着目ブロック領域が動体内部ブロックであると判定されると、ステップＳ４０６の処理が行われる。一方、下位階層における着目ブロック領域が非動体内部ブロックであると判定されると（ステップＳ４０５において、ＮＯ）、中間階層結果生成部５１５は、中間階層の動体検出結果である第３の動体検出結果において着目ブロックが動体ブロックであるか否かを判定する動体判定を行う（ステップＳ７０２）。

中間階層の動体検出結果である第３の動体検出結果において着目ブロックが動体ブロックであると判定されると（ステップＳ７０２において、ＹＥＳ）、動体検出結果合成部５１２は中間階層における着目ブロックが動体ブロックである場合の階層合成処理を行う（ステップＳ７０３）。なお、ステップＳ７０３に係る処理は、前述したステップＳ４０６の処理と同様である。この際には、下位階層の動体検出結果の代わりにこの中間階層の動体検出結果が用いられることになる。

一方、中間階層の動体検出結果である第３の動体検出結果において着目ブロックが動体ブロックではないと判定されると（ステップＳ７０２において、ＮＯ）、動体検出結果合成部５１２は、中間階層の着目ブロックが動体ブロックではない場合の階層合成処理を行う（ステップＳ７０４）。そして、ステップＳ７０４の処理においては、動体検出結果合成部５１２は、上位階層の動体検出結果である第１の動体検出結果を出力する。

このようにして、動体検出処理を行うと、図７に示す分割ブロック領域６０４〜６０６の各々については上位階層に対応する４つのブロックの全てが動体ブロックとされる。一方、分割ブロック領域６０７については当該分割ブロック領域６０７を構成する上位階層に対応する４つのブロックのうちブロック６０９のみが動体ブロックとされる。この結果、最終的な動体検出結果として動体検出結果６０８が得られる。

なお、ステップＳ４０６、Ｓ７０３、又はＳ７０４の処理の後、図３で説明したステップＳ４１０の処理が行われる。

上述の第２の実施形態においては、階層数を３として、これら３階層においてブロックサイズの関係をＮ２＝４×Ｎ１、Ｎ３＝２×Ｎ１としたが、階層数およびブロックサイズの関係を変えても同様にして処理を行うようにすればよい。

このように、本発明の第２の実施形態においても、ノイズの影響を除いて、かつ動体の大きさに拘わらず、常に精度よく動体の検出を行うことができる。

上述の説明から明らかなように、図１に示す例においては、ブロック分割部１０４および１０５が第１のブロック分割手段として機能し、ブロック分割部１０６および１０７が第２のブロック分割手段として機能する。また、動体検出部１０８が第１の検出手段として機能し、動体検出部１０９が第２の検出手段として機能する。さらに、密度判定部１１０、動体内部判定部１１１、および動体検出結果合成部１１２は生成手段として機能する。

なお、図５に示す例では、密度判定部１１０、動体内部判定部１１１、中間階層結果生成部５１５、および動体検出結果合成部５１２が生成手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも第１のブロック分割ステップ、第２のブロック分割ステップ、第１の検出ステップ、第２の検出ステップ、および生成ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０３画像入力部
１０４〜１０７ブロック分割部
１０８動体検出部（上位階層）
１０９動体検出部（下位階層）
１１０密度判定部
１１１動体内部判定部
１１２，５１２動体検出結果合成部（階層合成）
１１３動体検出結果出力部
５１５中間階層結果生成部

Claims

互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置であって、
前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割手段と、
前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の下位階層画像および第２の下位階層画像を得る第２のブロック分割手段と、
前記第１の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して、当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出手段と、
前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出手段と、
前記第２の動体検出結果において前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと当該ブロックの周辺のブロックとが前記動体領域であるか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成手段と、
を有することを特徴する画像処理装置。
前記生成手段は、前記第２の動体検出結果において前記着目ブロック領域に対応するブロックと当該ブロックの周辺のブロックとが前記動体領域に該当すると、前記着目ブロック領域については前記第２の動体検出結果を用いるようにしたことを特徴とする請求項１に記載の画像処理装置。
前記生成手段は、前記第２の動体検出結果において着目ブロック領域に対応するブロックと当該ブロックの周辺のブロックの少なくとも１つが前記動体領域に該当しない場合に、前記第２の動体検出結果の着目ブロック領域に対応する前記第１の動体検出結果の着目ブロック領域において前記動体領域に該当するブロックの数が所定の閾値よりも大きいと、前記着目ブロック領域については前記第１の動体検出結果を用いるようにしたことを特徴とする請求項１又は２に記載の画像処理装置。
前記生成手段は、前記第２の動体検出結果において着目ブロック領域に対応するブロックと当該ブロックの周辺のブロックの少なくとも１つが前記動体領域に該当しない場合に、前記第２の動体検出結果の着目ブロック領域に対応する前記第１の動体検出結果の着目ブロック領域において前記動体領域に該当するブロックの数が前記所定の閾値以下であると、前記着目ブロック領域については前記第２の動体検出結果を用いることを特徴とする請求項３に記載の画像処理装置。
前記生成手段は、前記第１の画像および前記第２の画像を撮像した際の感度に応じて、前記閾値を変更するようにしたことを特徴とする請求項３又は４に記載の画像処理装置。
前記生成手段は、前記感度が高くなるにつれて前記閾値を大きくすることを特徴とする請求項５に記載の画像処理装置。
前記生成手段は、前記第１の分割数よりも小さくかつ前記第２の分割数よりも大きい第３の分割数のブロックで第３の動体検出結果を得る際、前記第３の動体検出結果の着目ブロック領域のブロックに対応する前記第１の動体検出結果の領域において前記動体領域に該当するブロックの数が所定の閾値以上であると、前記第３の動体検出結果の着目ブロック領域のブロックが前記動体領域に該当するとし、
前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと当該ブロックの周辺のブロックの少なくとも１つが前記動体領域に該当しない場合に、前記第３の動体検出結果において着目ブロック領域が前記動体領域に該当すると、当該着目ブロック領域については前記第３の動体検出結果を用いるようにしたことを特徴とする請求項１に記載の画像処理装置。
前記生成手段は、前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと当該ブロックの周辺のブロックの少なくとも１つが前記動体領域に該当しない場合に、前記第３の動体検出結果において着目ブロック領域が前記動体領域に該当していないと、当該着目ブロック領域については前記第１の動体検出結果を用いるようにしたことを特徴とする請求項７に記載の画像処理装置。
前記第１の検出手段は、前記第１の上位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域における画素値の差分の絶対値和が所定のブロック閾値よりも大きいと当該着目ブロック領域が前記動体領域に該当するとし、
前記第２の検出手段は、前記第１の下位階層画像および前記第２の下位階層画像の各々に設定された着目ブロック領域における画素値の差分の絶対値和が所定のブロック閾値よりも大きいと当該着目ブロック領域が前記動体領域に該当するとすることを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置の制御方法であって、
前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割ステップと、
前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の下位階層画像および第２の下位階層画像を得る第２のブロック分割ステップと、
前記第１の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して、当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出ステップと、
前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出ステップと、
前記第２の動体検出結果において前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと当該ブロックの周辺のブロックとが前記動体領域であるか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成ステップと、
を有することを特徴する制御方法。
互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割ステップと、
前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の下位階層画像および第２の下位階層画像を得る第２のブロック分割ステップと、
前記第１の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の上位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して、当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出ステップと、
前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと前記第２の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックとを比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出ステップと、
前記第２の動体検出結果において前記第１の下位階層画像の複数のブロックの着目ブロック領域に対応するブロックと当該ブロックの周辺のブロックとが前記動体領域であるか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成ステップと、
を実行させることを特徴する制御プログラム。