JP4867771B2

JP4867771B2 - テンプレートマッチング装置

Info

Publication number: JP4867771B2
Application number: JP2007110915A
Authority: JP
Inventors: 聡古川
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2007-04-19
Filing date: 2007-04-19
Publication date: 2012-02-01
Anticipated expiration: 2027-04-19
Also published as: JP2008269258A

Description

本発明は、撮像画像から追跡対象物体を検出するテンプレートマッチング装置に関するものである。

撮像画像から追跡対象物体を検出する従来のテンプレートマッチング装置の一例として、特許文献１には、サーチ画像の各部分画像に対して正規化相関係数を求めるともに、部分画像の画素の画素値とテンプレート画像の画素値との差分の総和と、画素値の二乗和とを求めてマッチングを行うものが開示されている。

また、従来のテンプレートマッチング装置の他の例として、特許文献２には、標準パターンの原点を入力画像のエッジ点に順次一致させて座標値の総和を求める画像認識装置が開示されている。特許文献２の画像認識装置は、まず、入力画像の任意のエッジ点を比較開始点として設定し、この比較開始点に標準パターンの原点を一致させた状態で、標準パターンの各画素位置における入力画像の座標値をそれぞれロードし、座標値の総和を求める。続いて、上記画像認識装置は標準パターンの原点を入力画像の他のエッジ点に一致させて上記と同様の動作を行い、座標値の総和を求める。その後も、画像認識装置は、入力画像の各エッジ点に標準パターンの原点を順次一致させて、座標値の総和をそれぞれ求める。入力画像の全てのエッジ点において座標値の総和を求めた後、画像認識装置は、座標値の総和が最大となるエッジ点を認識対象（追跡対象物体）の位置として出力する。
特開平１０−１８７９６７号公報（段落００１２，００２１及び図１）特開平５−１２４４８号公報（段落００１８〜００２０及び図５）

ところで、特許文献１のテンプレートマッチング装置及び特許文献２の画像認識装置を含む従来のテンプレートマッチング装置によって検出される追跡対象物体は移動することによって形状が変化するものである。

しかしながら、従来のテンプレートマッチング装置では、追跡対象物体の形状変化によってテンプレートとの間にわずかな位置ずれが発生したときであっても、入力画像とテンプレートの相関値が大きく低下してしまった。また、上記位置ずれがない場合であっても、人の輪郭など形状変化の大きい部分が多く存在すると相関値を大きくすることができなかった。上記より、従来のテンプレートマッチング装置には、追跡対象物体の検出精度を高めることが難しいという問題があった。

本発明は上記の点に鑑みて為されたものであり、その目的は、追跡対象物体を精度よく検出することができるテンプレートマッチング装置を提供することにある。

請求項１の発明は、撮像画像から移動物体の輪郭を抽出して２値の輪郭画像を作成する輪郭抽出手段と、追跡対象物体のテンプレートと同じ大きさの部分領域を前記輪郭画像から順次抽出し、当該抽出した部分領域ごとに前記テンプレートとの相関値を求め、当該相関値が最大となる部分領域を選択することによって前記追跡対象物体を検出するマッチング手段と、前記マッチング手段によってこれまでに選択された複数の前記相関値が最大となる部分領域に対して画素ごとに画素値を累積して、多値の画素値を有する画素で構成される前記テンプレートの作成及び更新を行うテンプレート作成／更新手段とを備えることを特徴とする。

請求項２の発明は、請求項１の発明において、前記マッチング手段が、前記部分領域ごとに、当該部分領域の輪郭部分の画素に対応する前記テンプレートの画素の画素値をそれぞれ抽出し、当該抽出した画素値をそれぞれ累乗した値の総和を前記相関値とすることを特徴とする。

請求項３の発明は、請求項１又は２の発明において、前記輪郭抽出手段が、輪郭部分の画素の画素値を１として２値の前記輪郭画像を作成し、前記マッチング手段が、前記部分領域ごとに、当該部分領域の前記輪郭部分の画素に対応する前記テンプレートの画素を抽出し、当該抽出した画素の周囲にある画素の中から画素値が０より大きい画素の個数を求め、前記抽出した画素の画素値に対して前記画素値が０より大きい画素の個数に応じた重み付けを行い、当該重み付けを行った各画素値の総和を前記相関値とすることを特徴とする。

請求項４の発明は、請求項１乃至３のいずれか１項の発明において、前記輪郭抽出手段が、輪郭部分の画素の画素値を１として２値の前記輪郭画像を作成し、前記マッチング手段が、前記部分領域ごとに、当該部分領域及び前記テンプレートの両方で画素値が０より大きい画素の個数と、前記テンプレートで画素値が０より大きい画素の個数との比率を計算し前記相関値とすることを特徴とする。

請求項５の発明は、請求項１乃至４のいずれか１項の発明において、前記輪郭抽出手段が、輪郭部分の画素の画素値を１として２値の前記輪郭画像を作成し、前記マッチング手段が、前記部分領域ごとに、当該部分領域及び前記テンプレートの両方で画素値が０より大きい画素の個数と両方で画素値が０である画素の個数との和と、前記テンプレートで画素値が０より大きい画素の個数との比率を計算し前記相関値とすることを特徴とする。

請求項６の発明は、請求項１乃至５のいずれか１項の発明において、前記輪郭抽出手段が、輪郭部分の画素の画素値を１として２値の前記輪郭画像を作成し、前記マッチング手段が、前記部分領域ごとに、当該部分領域の前記輪郭部分の画素に対応する前記テンプレートの画素を中心として予め設定された範囲内にある複数の画素の画素値のうち最大の画素値を抽出し、当該抽出した画素値の総和を計算し前記相関値とすることを特徴とする。

請求項７の発明は、請求項１乃至６のいずれか１項の発明において、前記マッチング手段が、前記テンプレートの各行ごと及び各列ごとに画素値の総和を求めるとともに、前記部分領域ごとに、当該部分領域の各行ごと及び各列ごとに画素値の総和を求め、前記テンプレートの各行ごとに求めた画素値の総和と前記部分領域の各行ごとに求めた画素値の総和との相関値、及び前記テンプレートの各列ごとに求めた画素値の総和と前記部分領域の各列ごとに求めた画素値の総和との相関値を計算し、これらの相関値の和が最大となる部分領域を選択することによって前記追跡対象物体を検出することを特徴とする。

請求項１の発明によれば、テンプレート作成／更新手段が、マッチング手段でこれまでに選択された相関値が最大となる複数の部分領域を用いて、追跡対象物体の形状変化が小さい部分では大きな画素値を有し形状変化が大きい部分では小さな画素値を有する輪郭画素を持つ追跡対象物体のテンプレートの作成及び更新を行うことによって、追跡対象物体の形状変化によって発生する輪郭部分の位置ずれの影響を低減することができるので、追跡対象物体を精度よく追跡することができる。

請求項２の発明によれば、輪郭画素に対応するテンプレートの画素の画素値を累乗することによって、テンプレートにおいて画素値が大きい画素、つまり追跡対象物体の形状変化が小さい輪郭部分を重視した上記追跡対象物体の追跡を行うことができる。

請求項３の発明によれば、不連続な輪郭部分に比べて、連続性があり安定して抽出される輪郭部分に大きな重みを与え、安定した輪郭を重視した追跡対象物体の検出を行うことができるので、追跡対象物体を安定して追跡することができる。

請求項４の発明によれば、マッチング手段が相関値を求める際に、輪郭部分ではない画素の影響を受けないことによって、追跡対象物体の検出を正確に行うことができ、追跡対象物体を安定に追跡することができる。

請求項５の発明によれば、輪郭部分の画素の割合が大きい場合、輪郭部分の画素とともに、輪郭部分ではない画素も用いることによって、追跡対象物体の追跡を精度よく行うことができる。

請求項６の発明によれば、輪郭画像の部分領域とテンプレートとにおいて輪郭がわずかにずれていた場合であっても、上記輪郭のずれを吸収した形で追跡対象物体の検出を行うことができる。

請求項７の発明によれば、マッチング手段が追跡対象物体を検出する際に、輪郭画像内でテンプレートを順次移動しても１回の移動において１次元の数列同士の計算を２回行うのみでよいため、テンプレートを移動するたびに部分領域の輪郭部分の画素に対応するテンプレートの画素の画素値をそれぞれ抽出して全ての画素値の総和を相関値とする場合に比べて、追跡対象物体を検出するための処理時間を短縮することができる。

（実施形態１）
まず、実施形態１のテンプレートマッチング装置の構成について図１〜３を用いて説明する。このテンプレートマッチング装置は、撮像映像から追跡対象物体を検出するものであり、図１に示すように、例えばビデオカメラなどであって映像Ａ（図２参照）を撮像する撮像装置１と、撮像装置１から連続的に取得したアナログの映像データをデジタルデータに変換するＡ／Ｄ変換部２と、Ａ／Ｄ変換部２で変換されたデジタルデータを記憶する画像メモリ３と、デジタルデータを用いて移動物体の輪郭を抽出して２値の輪郭画像を作成し画像メモリ３に記憶させる移動輪郭抽出部（輪郭抽出手段）４と、画像メモリ３に記憶されている輪郭画像の部分領域Ｂ（図２参照）と追跡対象物体のテンプレートＣ（図２参照）とを照合し追跡対象物体Ｄ（図２参照）の存否を判定するマッチング部５と、マッチング部５で用いられる追跡対象物体ＤのテンプレートＣを記憶するテンプレートメモリ６と、マッチング部５の照合結果に基づいて追跡対象物体が含まれた部分領域Ｂを輪郭画像から切り出す追跡制御部７と、追跡制御部７で切り出された部分領域Ｂの映像を予め設定されたズーム倍率で表示する画像表示部８と、マッチング部５で用いられる追跡対象物体ＤのテンプレートＣの作成及び更新を行うテンプレート作成／更新部９とを備えている。なお、少なくともマッチング部５、追跡制御部７及びテンプレート作成／更新部９はマイクロコンピュータで構成されている。

移動輪郭抽出部４で作成される輪郭画像は、移動物体の輪郭部分になる画素の画素値が１となる２値のモノクロ画像である。以下、画素値が１となる画素を輪郭画素という。

マッチング部５は、画像メモリ３から輪郭画像を取得すると、まず、テンプレートメモリ６に記憶されている追跡対象物体ＤのテンプレートＣ（図２参照）と同じ大きさであり輪郭画像の左上隅にある部分領域Ｂ（図２参照）を抽出する。続いて、マッチング部５は、抽出した部分領域Ｂの画素のうち輪郭画素（画素値が１である画素）に対応するテンプレートＣの画素の画素値を全て抽出する。一方、輪郭画素ではない画素（画素値が０である画素）に対応するテンプレートＣの画素の画素値の抽出は行われない。その後、マッチング部５は、抽出した全ての画素値の総和を計算し、計算した総和を部分領域とテンプレートＣの相関値とする。上記のように、輪郭画素ではない画素に対応するテンプレートＣの画素の画素値の抽出を省略することができるので、部分領域Ｂの全ての画素に対応するテンプレートＣの画素の画素値を抽出して総和を計算する場合に比べて、マッチング部５の演算処理の負荷を低減することができる。

輪郭画像の左上隅にある部分領域ＢとテンプレートＣの相関値を求めた後、マッチング部５は、テンプレートＣを１画素分だけ右方向に移動させて、新たな部分領域Ｂを抽出し、抽出した部分領域Ｂの画素のうち輪郭画素に対応するテンプレートＣの画素の画素値を全て抽出する。その後、マッチング部５は、抽出した画素値の総和を計算し、計算した総和を部分領域ＢとテンプレートＣの相関値とする。このようにテンプレートＣを１画素分だけ右に移動させるたびに、マッチング部５は、抽出した部分領域ＢとテンプレートＣの相関値を求めていく。テンプレートＣが輪郭画像の右上隅に到達し、この位置での部分領域ＢとテンプレートＣの相関値を求めた後、マッチング部５はテンプレートＣを１画素分下に移動させ、最も左側の部分領域Ｂから１画素分ずつ右に移動させるごとに部分領域Ｂを抽出し、抽出した部分領域ＢとテンプレートＣの相関値を順次求めていく。

上記のようにして輪郭画像の左上隅から右下隅までの全ての部分領域Ｂにおいて相関値を求めた後、マッチング部５は、これらの相関値の大きさを比較し、相関値が最大となる部分領域Ｂを選択することによって、追跡対象物体Ｄを検出する。

追跡制御部７は、相関値が最大となるつまり追跡対象物体Ｄが検出された部分領域Ｂを輪郭画像から切り出すとともに、画像メモリ３に記憶されているデジタルデータから、切り出した部分領域Ｂに相当するデジタルデータを抽出する。デジタルデータ及び部分領域Ｂのデジタルデータは追跡制御部７から画像表示部８に出力される。一方、切り出された部分領域Ｂは追跡制御部７からテンプレート作成／更新部９に出力される
画像表示部８は、追跡制御部７からデジタルデータ及び部分領域Ｂのデジタルデータが入力されると、デジタルデータに基づいて全体映像Ａを表示するとともに、部分領域Ｂのデジタルデータに基づいて、追跡対象物体Ｄが検出された部分領域Ｂの映像を予め設定されたズーム倍率で表示する。

一方、テンプレート作成／更新部９は、図２に示すように、追跡制御部７からの部分領域を少なくとも５枚分記憶可能なメモリ９０（図１参照）を備え、追跡制御部７から部分領域Ｂ１を取得するごとに、これまでに取得した部分領域のうち、今回取得した部分領域Ｂ１を含む最新の５枚の部分領域Ｂ１〜Ｂ５に対して画素ごとに画素値を累積して、多値（例えば０〜２５５）の画素値を有する画素で構成されるテンプレートＣを作成する。テンプレートＣを作成した後、テンプレート作成／更新部９は、テンプレートメモリ６に記憶されているテンプレートＣを新しく作成したテンプレートＣに更新する。また、テンプレート作成／更新部９は、追跡制御部７から取得した部分領域Ｂ１をメモリ９０に記憶させる。なお、テンプレートＣの作成に用いられる部分領域Ｂ１〜Ｂ５の枚数は複数枚必要であるが５枚に限定されるものではなく、用途に応じて適宜設定される。

図３（ａ）には、テンプレート作成／更新部９で作成されたテンプレートＣにおける各画素の画素値の大きさが示されている。テンプレートＣでは、例えば追跡対象物体Ｄが人である場合、頭や肩など比較的形状の安定している部位では、各部分領域Ｂの輪郭画素の画素値が累積されて高い値の画素値となる一方、手足などのように形状が大きく変化する部分では、各部分領域Ｂの輪郭画素の画素値が分散するので、低い値の画素値となる。上記より、追跡対象物体Ｄの部位ごとに重み付けされることになる。このように重み付けされているテンプレートＣと図３（ｂ）に示す輪郭画像の部分領域Ｂとがマッチング部５で照合されることによって、追跡対象物体Ｄの形状変化に強いマッチングを行うことができる。

ところで、図１に示す移動輪郭抽出部４で作成された輪郭画像は、追跡対象物体Ｄの輪郭のうち移動した部分の輪郭のみが抽出されるため、追跡対象物体Ｄの輪郭の一部が消失されることがある。しかし、本実施形態のテンプレートＣは複数枚の部分領域Ｂ１〜Ｂ５で作成されているため、互いに補完することができる。これにより、追跡対象物体Ｄの輪郭を正確にすることができる。

次に、本実施形態の動作について図１を用いて説明する。まず、Ａ／Ｄ変換部２が、撮像装置１からの映像データをデジタルデータに変換する。その後、移動輪郭抽出部４が、デジタルデータから２値の輪郭画像を作成する。その後、マッチング部５が、テンプレートメモリ６のテンプレートを用いて輪郭画像から部分領域Ｂを順次抽出し、部分領域ＢごとにテンプレートＣとの相関値を求め、相関値が最大となる部分領域Ｂを選択することによって、追跡対象物体Ｄを検出する。

一方、テンプレート作成／更新部９は、相関値が最大となる部分領域Ｂ１を取得するごとに、最新の５枚の部分領域Ｂ１〜Ｂ５に対して画素ごとに画素値を累積してテンプレートＣを作成する。その後、テンプレート作成／更新部９は、テンプレートメモリ６に記憶されているテンプレートＣを新しく作成したテンプレートＣに更新する。このようなテンプレートＣを用いることによって、追跡対象物体Ｄの形状変化によって輪郭画像において輪郭の位置ずれが発生したとしても、位置ずれした輪郭を認識することができるので、追跡対象物体Ｄを検出することができる。上記のような複数のステップを繰り返すことによって、一旦補足した追跡対象物体Ｄを追跡し、ズーム表示することができる。

以上、本実施形態によれば、テンプレート作成／更新部９が、マッチング部５でこれまでに選択された相関値が最大となる複数の部分領域Ｂを用いて、追跡対象物体Ｄの形状変化が小さい部分では大きな画素値を有し形状変化が大きい部分では小さな画素値を有する輪郭画素を持つ追跡対象物体ＤのテンプレートＣの作成及び更新を行うことによって、追跡対象物体Ｄの形状変化によって発生する輪郭部分の位置ずれの影響を低減することができるので、追跡対象物体Ｄを精度よく追跡することができる。

なお、撮像装置１によって撮像された映像はモノクロ映像であってもカラー映像であってもよく、用途に応じて適宜設定されるものである。カラー映像である場合、Ａ／Ｄ変換部２で変換されたデジタルデータには色情報が含まれる。この点は、後述の実施形態２〜７においても同様である。

また、実施形態１の変形例として、テンプレート作成／更新部９が追跡対象物体ＤのテンプレートＣを作成するときに最新の連続した５枚の部分領域Ｂ１〜Ｂ５ではなく、一定枚数おき（例えば１枚おき）に取り出した部分領域を用いてもよい。この点は、後述の実施形態２〜７においても同様である。

（実施形態２）
実施形態２のテンプレートマッチング装置は、実施形態１と同様の構成であるが、図１に示すマッチング部５の機能が実施形態１と相違している。なお、実施形態１と同様の構成要素については、同一の符号を付して説明を省略する。

本実施形態のマッチング部５は、画像メモリ３から輪郭画像を取得すると、まず、実施形態１と同様に部分領域Ｂ（図２参照）を抽出し、抽出した部分領域Ｂの輪郭画素（画素値が１である画素）に対応するテンプレートＣ（図２参照）の画素の画素値をそれぞれ抽出する。その後、マッチング部５は、実施形態１とは異なり、抽出した画素値をそれぞれ累乗し、累乗した各画素値の総和を計算し、計算した総和を部分領域ＢとテンプレートＣの相関値とする。なお、各画素値を累乗する際の指数は、極端に大きくすると一部の画素が必要以上に支配的となり、相関値が不安定になる可能性があることから、２程度が好ましい。

全ての部分領域Ｂにおいて相関値を求めた後、マッチング部５は、これらの相関値の大きさを比較し、相関値が最大となる部分領域Ｂを選択することによって、追跡対象物体Ｄを検出する。

以上、本実施形態によれば、輪郭画素に対応するテンプレートＣの画素の画素値を累乗することによって、テンプレートＣにおいて画素値が大きい画素、つまり追跡対象物体Ｄの形状変化が小さい輪郭部分を重視した上記追跡対象物体Ｄの追跡を行うことができる。

（実施形態３）
ところで、輪郭画像は、追跡対象物体Ｄ（図２参照）の形状変化が小さい輪郭部分では太く連続性があるが、追跡対象物体Ｄの形状変化が大きい部分の輪郭部分ではランダムなノイズを含んだり、不連続になったりすることが多い。

そこで、上記のような輪郭画像であっても追跡対象物体Ｄを安定して追跡するものとして、実施形態３を説明する。本実施形態のテンプレートマッチング装置は、実施形態１と同様の構成であるが、図１に示すマッチング部５の機能が実施形態１と相違している。なお、実施形態１と同様の構成要素については、同一の符号を付して説明を省略する。

本実施形態のマッチング部５は、画像メモリ３から輪郭画像を取得すると、まず、実施形態１と同様に部分領域Ｂ（図２参照）を抽出し、抽出した部分領域Ｂの輪郭画素（画素値が１である画素）に対応するテンプレートＣ（図２参照）の画素をそれぞれ抽出する。その後、図４に示すように、マッチング部５は、抽出した画素ａ１の周囲にある画素の中から画素値が０より大きい画素の個数を求める。その後、マッチング部５は、抽出した画素ａ１の画素値に対して、画素値が１である周囲の画素の個数に応じた重み付けを行う。つまり、マッチング部５は、抽出した各画素ａ１と隣接画素の連結状況を調べ、隣接画素と強く連結していれば画素値を累乗して大きな重みを与える。具体的には、図４（ａ）に示すように周囲の画素値が全て０であり孤立している画素ａ１には小さな重み（例えば１）を与え、図４（ｂ）に示すように周囲のうち一方向のみに画素値が０より大きい画素ａ２がある弱い連結の画素ａ１には上記孤立している画素ａ１より大きい重み（例えばｎ乗／２）を与え、図４（ｃ）に示すように周囲に画素値が０より大きい画素ａ２，・・・が２個以上ある画素ａ１にはさらに大きな重み（例えばｎ乗）を与える。マッチング部５は、上記のようにして重み付けを行った後、重み付けを行った各画素値の総和を計算し、計算した総和を部分領域ＢとテンプレートＣの相関値とする。

以上、本実施形態によれば、不連続な輪郭部分に比べて、連続性があり安定して抽出される輪郭部分に大きな重みを与え、安定した輪郭を重視した追跡対象物体Ｄの検出を行うことができるので、追跡対象物体Ｄを安定して追跡することができる。

（実施形態４）
輪郭画像は輪郭部分の画素のみが画素値１となり、テンプレートＣも輪郭部分の画素のみが０より大きい画素値を有することから、一般的に全画素に対して輪郭画素ではない画素（画素値が０である画素）の割合は高くなることが多い。画素ごとの画素値の差分の総和を計算して相関値を求める場合、画素値が０である多くの画素同士が一致するため、画素値が０である画素の割合が高くなるほど、相関値が必要以上に大きくなる傾向がある。また、部分領域Ｂの画素のうち輪郭画素に対応するテンプレートＣの画素の画素値を抽出し、抽出した全ての画素値の総和を相関値とする場合、画素値が０である画素が多くなるほど、マッチング部５が抽出する画素が少なくなり、相関値の信頼性が低下する可能性がある。したがって、画素値が０である画素の割合が高い場合、上記のようにして相関値を求めることが効果的でないことがある。

実施形態４は、画素値が０である画素の割合が高い輪郭画像に適するものである。本実施形態のテンプレートマッチング装置は、実施形態１と同様の構成であるが、図１に示すマッチング部５の機能が実施形態１と相違している。なお、実施形態１と同様の構成要素については、同一の符号を付して説明を省略する。

図５（ａ）には、画素値が０である画素（図５（ａ）の黒い部分）と画素値が０より大きい画素（図５（ａ）の白い部分）とが区別して表わされているテンプレートＣが示され、図５（ｂ）にはテンプレートＣと同じ大きさであり、画素値が０である画素（図５（ｂ）の黒い部分）と画素値が１である画素（図５（ｂ）の白い部分）とが区別して表わされている部分領域Ｂが示されている。なお、図５（ａ），（ｂ）には、説明を容易にするために画素数を８×８個と少なく表示されているが、実際のテンプレートＣ及び部分領域Ｂは上記よりも多くの画素で構成されている。

本実施形態のマッチング部５は、部分領域Ｂの輪郭画素に対応するテンプレートＣの画素の画素値を抽出するのではなく、まず、テンプレートＣから画素値が０より大きい画素の個数（図５（ａ）では１４個）を求める。一方、輪郭画像が入力されると、マッチング部５は輪郭画像からテンプレートＣと同じ大きさの部分領域Ｂを順次抽出し、抽出した部分領域Ｂごとに、部分領域Ｂ及びテンプレートＣの両方で画素値が０より大きい画素の個数（図５では１１個）を求める。

その後、マッチング部５は、「部分領域Ｂ及びテンプレートＣの両方で画素値が０より大きい画素の個数」と「テンプレートＣで画素値が０より大きい画素の個数」の比率を計算し、計算した比率を相関値とする。図５の例において、上記相関値は（１１個／１４個）×１００＝７９（％）となる。マッチング部５は全ての部分領域Ｂにおいて相関値を求める。

全ての部分領域Ｂにおいて相関値を求めた後、マッチング部５は、これらの相関値の大きさを比較し、相関値が最大となる部分領域を選択することによって、追跡対象物体Ｄを検出する。

以上、本実施形態によれば、マッチング部５が相関値を求める際に、輪郭画素ではない画素の影響を受けないことによって、追跡対象物体Ｄの検出を正確に行うことができ、追跡対象物体Ｄを安定に追跡することができる。

（実施形態５）
ところで、移動輪郭抽出部４によって、追跡対象物体Ｄの輪郭だけでなく、追跡対象物体Ｄである人が装着している服の模様なども輪郭と同様に抽出してしまう場合があり、このような場合、輪郭画素は輪郭部分だけでなく服の模様部分も含むことになり、この結果、輪郭画素の割合が高くなる。同時に、テンプレート作成／更新部９によって作成されるテンプレートＣも輪郭画素の割合が高くなる。

実施形態５は上記のような輪郭画像及びテンプレートに適したものである。本実施形態のテンプレートマッチング装置は、実施形態１と同様の構成であるが、図１に示すマッチング部５の機能が実施形態１と相違している。なお、実施形態１と同様の構成要素については、同一の符号を付して説明を省略する。

本実施形態のマッチング部５は、部分領域の輪郭画素に対応するテンプレートＣの画素の画素値を抽出するのではなく、まず、図５（ａ）に示すテンプレートＣから画素値が０より大きい画素の個数（図５（ａ）では１４個）を求める。一方、輪郭画像が入力されると、マッチング部５は輪郭画像からテンプレートＣと同じ大きさの部分領域Ｂを順次抽出し、抽出した部分領域Ｂごとに、部分領域Ｂ及びテンプレートＣの両方で画素値が０より大きい画素の個数（図５では１１個）と、部分領域Ｂ及びテンプレートＣの両方で画素値が０である画素の個数（図５では４７個）とを求める。

その後、マッチング部５は、「（部分領域Ｂ及びテンプレートＣの両方で画素値が０より大きい画素の個数）と（両方で画素値が０である画素の個数）の和」と「テンプレートＣで画素値が０より大きい画素の個数」の比率を計算し、計算した比率を相関値とする。図５に例において、相関値は｛（１１個＋４７個）／１４個｝＝４．１となる。マッチング部５は全ての部分領域Ｂにおいて相関値を求める。

全ての部分領域において相関値を求めた後、マッチング部５は、これらの相関値の大きさを比較し、相関値が最大となる部分領域Ｂを選択することによって、追跡対象物体Ｄを検出する。

以上、本実施形態によれば、輪郭画素の割合が大きい場合、輪郭画素とともに、輪郭画素ではない画素も用いることによって、追跡対象物体Ｄの追跡を精度よく行うことができる。

（実施形態６）
実施形態６のテンプレートマッチング装置は、実施形態１と同様の構成であるが、図１に示すマッチング部５の機能が実施形態１と相違している。なお、実施形態１と同様の構成要素については、同一の符号を付して説明を省略する。

本実施形態のマッチング部５は、部分領域Ｂの輪郭画素に対応するテンプレートＣの画素の画素値を抽出するのではなく、部分領域Ｂの輪郭画素に対応するテンプレートＣの画素を中心として予め設定された範囲内にある複数の画素のうち最大の画素値を抽出する。図６を用いて具体的に説明すると、部分領域Ｂの輪郭画素ａ３に対応するテンプレートＣの画素ａ４を中心として、図６（ｂ）に示す範囲内（３個×３個の画素の範囲内）の画素から最大の画素値を抽出する。図６（ｂ）において、部分領域Ｂの輪郭画素ａ３に対応するテンプレートＣの画素ａ４の画素値は３であるのに対し、範囲内で画素値が最大となるのは、上記対応する画素ａ４の右上に位置する画素ａ５であり、画素値は６である。したがって、部分領域Ｂの輪郭画素ａ３に対して画素値３を抽出するのではなく画素値６を抽出する。

全ての輪郭画素ａ３において画素値を抽出した後、マッチング部５は、抽出した画素値の総和を計算し、計算した総和を相関値とする。全ての部分領域Ｂにおいて相関値を求めた後、マッチング部５は、これらの相関値の大きさを比較し、相関値が最大となる部分領域Ｂを選択することによって、追跡対象物体Ｄを検出する。

以上、本実施形態によれば、輪郭画像の部分領域ＢとテンプレートＣとにおいて輪郭がわずかにずれていた場合であっても、上記輪郭のずれを吸収した形で追跡対象物体Ｄの検出を行うことができる。

（実施形態７）
実施形態７のテンプレートマッチング装置は、実施形態１と同様の構成であるが、図１に示すマッチング部５の機能が実施形態１と相違している。なお、実施形態１と同様の構成要素については、同一の符号を付して説明を省略する。

本実施形態のマッチング部５は、図７（ａ）に示すようにテンプレートＣの同じ行にある画素の画素値の総和を行ごとに求め、各行の画素値の総和の集合群としてヒストグラムｂ１を作成する。同様に、マッチング部５は、同じ列にある画素の画素値の総和を列ごとに求め、各列の画素値の総和の集合群としてヒストグラムｂ２を作成する。

一方、輪郭画像が入力されると、マッチング部５は、テンプレートＣと同じ大きさの部分領域Ｂを順次抽出し、抽出した部分領域Ｂにおいて、図７（ｂ）に示すように同じ行にある画素の画素値の総和を行ごとに求め、各行の画素値の総和の集合群としてヒストグラムｂ３を作成する。同様に、マッチング部５は、同じ列にある画素の画素値の総和を列ごとに求め、各列の画素値の総和の集合群としてヒストグラムｂ４を作成する。

その後、マッチング部５は、部分領域Ｂの輪郭画素に対応するテンプレートＣの画素の画素値を抽出するのではなく、行ごと及び列ごとに、テンプレートＣの画素値の総和と部分領域Ｂの画素値の総和との差分を計算し、計算した各行の差分の総和及び各列の差分の総和を求める。ここで、各行の差分の総和及び各列の差分の総和が小さいほど部分領域ＢとテンプレートＣの相関が強くなるので、各行の画素値の総和と各列の画素値の総和との和の逆数を部分領域ＢとテンプレートＣの相関値とする。

全ての部分領域Ｂにおいて相関値を求めた後、マッチング部５は、これらの相関値の大きさを比較し、相関値が最大となる部分領域（各行の差分の総和と各列の差分の総和との和が最小となる部分領域）Ｂを選択することによって、追跡対象物体Ｄを検出する。

以上、本実施形態によれば、マッチング部５が追跡対象物体Ｄを検出する際に、輪郭画像内でテンプレートＣを順次移動しても１回の移動において１次元の数列同士の計算を２回行うのみでよいため、テンプレートＣを移動するたびに部分領域Ｂの輪郭画素に対応するテンプレートＣの画素の画素値をそれぞれ抽出して全ての画素値の総和を相関値とする場合に比べて、追跡対象物体Ｄを検出するための処理時間を短縮することができる。

なお、実施形態１〜７の変形例として、実施形態１〜７のマッチング部５に代えて、実施形態１〜７の各マッチング部５が有する機能のうち２以上の機能を有するマッチング部５を備えてもよい。このようなマッチング部５は、使用者による操作又は自己の判断によって、どの機能を用いて追跡対象物体Ｄを検出するのかを切り換えることができる。

一例として、本変形例のマッチング部５が、「部分領域Ｂ（図５（ｂ）参照）及びテンプレートＣ（図５（ａ）参照）の両方で画素値が０より大きい画素の個数」と「テンプレートＣで画素値が０より大きい画素の個数」の比率を相関値とする機能（実施形態４の機能）と、「（部分領域Ｂ及びテンプレートＣの両方で画素値が０より大きい画素の個数）と（両方で画素値が０である画素の個数）の和」と「テンプレートＣで画素値が０より大きい画素の個数」の比率を相関値とする機能（実施形態５の機能）とを有する場合、マッチング部５は、テンプレートＣ全体の画素数に占める輪郭画素（画素値が０より大きい画素）の割合が一定以上（例えば１０〜２０％以上）と判断すると、実施形態５の機能に切り換える一方、上記輪郭画素の割合が一定未満と判断すると、実施形態４の機能に切り換えることができる。

実施形態１〜７のブロック図である。同上のテンプレート作成／更新部によるテンプレートの作成についての説明図である。（ａ）は実施形態１のテンプレートを示す図、（ｂ）は輪郭画像の部分領域を示す図である。実施形態３のテンプレートにおいて、（ａ）は孤立している画素を示す図、（ｂ）は連結の弱い画素を示す図、（ｃ）は連結の強い画素を示す図である。（ａ）は実施形態４，５のテンプレートを示す図、（ｂ）は輪郭画像の部分領域を示す図である。（ａ）は実施形態６の輪郭画素の部分領域を示す図、（ｂ）はテンプレートを示す図である。（ａ）は実施形態７のテンプレートを示す図、（ｂ）は輪郭画像の部分領域を示す図である。

符号の説明

１撮像装置
２Ａ／Ｄ変換部
４移動輪郭抽出部
５マッチング部
６テンプレートメモリ
９テンプレート作成／更新部

Claims

撮像画像から移動物体の輪郭を抽出して２値の輪郭画像を作成する輪郭抽出手段と、
追跡対象物体のテンプレートと同じ大きさの部分領域を前記輪郭画像から順次抽出し、当該抽出した部分領域ごとに前記テンプレートとの相関値を求め、当該相関値が最大となる部分領域を選択することによって前記追跡対象物体を検出するマッチング手段と、
前記マッチング手段によってこれまでに選択された複数の前記相関値が最大となる部分領域に対して画素ごとに画素値を累積して、多値の画素値を有する画素で構成される前記テンプレートの作成及び更新を行うテンプレート作成／更新手段と
を備えることを特徴とするテンプレートマッチング装置。
前記マッチング手段が、前記部分領域ごとに、当該部分領域の輪郭部分の画素に対応する前記テンプレートの画素の画素値をそれぞれ抽出し、当該抽出した画素値をそれぞれ累乗した値の総和を前記相関値とすることを特徴とする請求項１記載のテンプレートマッチング装置。
前記輪郭抽出手段が、輪郭部分の画素の画素値を１として２値の前記輪郭画像を作成し、
前記マッチング手段が、前記部分領域ごとに、当該部分領域の前記輪郭部分の画素に対応する前記テンプレートの画素を抽出し、当該抽出した画素の周囲にある画素の中から画素値が０より大きい画素の個数を求め、前記抽出した画素の画素値に対して前記画素値が０より大きい画素の個数に応じた重み付けを行い、当該重み付けを行った各画素値の総和を前記相関値とする
ことを特徴とする請求項１又は２記載のテンプレートマッチング装置。
前記輪郭抽出手段が、輪郭部分の画素の画素値を１として２値の前記輪郭画像を作成し、
前記マッチング手段が、前記部分領域ごとに、当該部分領域及び前記テンプレートの両方で画素値が０より大きい画素の個数と、前記テンプレートで画素値が０より大きい画素の個数との比率を計算し前記相関値とする
ことを特徴とする請求項１乃至３のいずれか１項に記載のテンプレートマッチング装置。
前記輪郭抽出手段が、輪郭部分の画素の画素値を１として２値の前記輪郭画像を作成し、
前記マッチング手段が、前記部分領域ごとに、当該部分領域及び前記テンプレートの両方で画素値が０より大きい画素の個数と両方で画素値が０である画素の個数との和と、前記テンプレートで画素値が０より大きい画素の個数との比率を計算し前記相関値とする
ことを特徴とする請求項１乃至４のいずれか１項に記載のテンプレートマッチング装置。
前記輪郭抽出手段が、輪郭部分の画素の画素値を１として２値の前記輪郭画像を作成し、
前記マッチング手段が、前記部分領域ごとに、当該部分領域の前記輪郭部分の画素に対応する前記テンプレートの画素を中心として予め設定された範囲内にある複数の画素の画素値のうち最大の画素値を抽出し、当該抽出した画素値の総和を計算し前記相関値とする
ことを特徴とする請求項１乃至５のいずれか１項に記載のテンプレートマッチング装置。
前記マッチング手段が、前記テンプレートの各行ごと及び各列ごとに画素値の総和を求めるとともに、前記部分領域ごとに、当該部分領域の各行ごと及び各列ごとに画素値の総和を求め、前記テンプレートの各行ごとに求めた画素値の総和と前記部分領域の各行ごとに求めた画素値の総和との相関値、及び前記テンプレートの各列ごとに求めた画素値の総和と前記部分領域の各列ごとに求めた画素値の総和との相関値を計算し、これらの相関値の和が最大となる部分領域を選択することによって前記追跡対象物体を検出することを特徴とする請求項１乃至６のいずれか１項に記載のテンプレートマッチング装置。