JP5772572B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

例えば、建物内の安全の確認や、製造物の不良の発見のための監視等の用途で、画像で撮影した対象を、テンプレートマッチングを用いて追尾するシステムが使用されている。このようなシステムにおいて、撮影するカメラまたは撮影する対象物が移動する場合には、画像上での対象物の見え方が変化する。このため、変化する対象物を追尾することになり、使用するテンプレートを自動更新する必要がある。

例えば、入力された動画像の１つのフレームにおいて、所望のパターンが指示されると、別のフレームにおいて、指示されたパターンに最も近いパターンを検出する例がある。このとき、検出されたパターンを指示されたパターンと置き換えることによりテンプレートを更新し、パターンの検出を繰り返すことにより、所望の対象物を追跡する方法が知られている。

特開平１−３１５８８４号公報

しかしながら、上記のようにテンプレートを自動更新することにより対象物を追尾する方法では、対象物の大きさや向きの変化が大きい場合などには対応できないことがある。また、対象物に対する照明条件などが変わると、画面全体の輝度が変わってしまい、更新したテンプレートでは対象物が抽出できない場合もある。さらに、テンプレートの設定によっては、対象物を見失ってしまう場合もある。

上記課題に鑑み、対象物の画像の位置、大きさ、輝度等が変化しても対象物を検出できるようにテンプレートを更新することが可能な画像処理装置、画像処理方法、およびプログラムを提供する。

ひとつの態様である画像処理装置は、対象領域指定部、計算部、分離度検出部、対象領域決定部を有する。対象領域指定部は、対象領域を指定する。計算部は、画像を対象領域より小さい複数の小領域に分割した際に、対象領域内と対象領域外の小領域毎の特徴値のヒストグラムに基づく、複数の小領域毎の尤度を各複数の小領域の中心座標に重み付けた重心および重心に応じた共分散行列を計算する。分離度検出部は、ヒストグラム、尤度、重心、および共分散行列に基づき分離度を検出する。対象領域決定部は、分離度に基づき更新後対象領域を決定することを特徴としている。

別な態様である画像処理方法では、対象領域が指定される。画像を対象領域より小さい複数の小領域に分割した際に、対象領域内と対象領域外の小領域毎の特徴値のヒストグラムに基づく、複数の小領域毎の尤度を各複数の小領域の中心座標に重み付けた重心および重心に応じた共分散行列が計算される。ヒストグラム、尤度、重心、および共分散行列に基づき分離度が検出され、その分離度に基づき更新後対象領域が決定されることを特徴としている。

なお、上述した本発明に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した本発明に係る方法と同様の作用効果を奏するので、前述した課題が解決される。

上述した態様の画像処理装置、画像処理方法、およびプログラムによれば、対象物の画像の位置、大きさ、輝度が変化しても追尾が可能なテンプレートを提供することができる。

第１の実施の形態による画像処理システムの構成を示す図である。 第１の実施の形態による画像を示す図であり、（ａ）は、対象領域の指定の例を示し、（ｂ）は、小領域に分割した例を示す。 第１の実施の形態による輝度分散のヒストグラムの一例を示す図であり、（ａ）は、対象領域内のヒストグラム、（ｂ）は、対象領域外のヒストグラムを示す。 第１の実施の形態による各輝度分散の尤度を示す図である。 第１の実施の形態による複数のマハラノビス距離を図示した例である。 第１の実施の形態による分離度最大距離の一例を示す図である。 第１の実施の形態による画像処理システムの動作を示すフローチャートである。 第２の実施の形態による画像を示す図であり、（ａ）は、対象領域の指定の例を示し、（ｂ）は、小領域に分割した例を示す。 第２の実施の形態によるＨＳ値のヒストグラムの一例を示す図であり、（ａ）は、対象領域内のヒストグラム、（ｂ）は、対象領域外のヒストグラムを示す。 第２の実施の形態による各ＨＳ値の尤度を示す図である。 標準的なコンピュータの構成を示す図である。

（第１の実施の形態）
以下、図面を参照しながら、第１の実施の形態による画像処理システム１について説明する。図１は、第１の実施の形態による画像処理システム１の構成を示す図である。図１に示すように、画像処理システム１は、カメラ３、および画像処理装置５を有している。カメラ３は、例えば固体撮像素子などを備えた、動画を撮影可能な撮影装置である。

画像処理装置５は、入力画像記憶部７、テンプレート記憶部９、相関演算部１１、更新判定部１３、位置出力部１５、対象領域指定部１７、テンプレート更新部２０を有している。入力画像記憶部７は、カメラ３で撮影された画像を記憶する記憶装置である。テンプレート記憶部９は、対象物を追尾するために用いる参照画像となるテンプレートを記憶する記憶装置である。

相関演算部１１は、テンプレートと、撮影された画像との相関を演算する。更新判定部１３は、相関演算部１１で算出された相関度に基づき、画像に変化があったか否かを判断する。更新判定部１３は、相関度の低下により画像に変化があったことを検出すると、テンプレートを更新すると判定する。位置出力部１５は、相関演算部１１により、所定以上の相関があると算出された場合に、対象物の位置を特定して出力する。対象領域指定部１７は、例えば、キーボードやマウス装置から入力された領域を対象領域として指定する。

テンプレート更新部２０は、特徴値計算部２２、ヒストグラム計算部２４、尤度計算部２６、重心・共分散計算部２８、分離度検出部３０、領域決定部３２を有している。特徴値計算部２２は、入力画像記憶部７に記憶された画像を、後述するように複数の領域に分割し、それぞれの領域における特徴量を算出する。ヒストグラム計算部２４は、特徴値計算部２２で算出された特徴量の、対象領域指定部１７で指定された対象領域内外でのヒストグラムを計算する。

尤度計算部２６は、ヒストグラム計算部２４で計算された特徴量のヒストグラムに基づき、尤度を計算する。重心・共分散計算部２８は、複数の領域に尤度計算部２６で計算された尤度の重み付けをした結果に基づき、重心および共分散行列を計算する。分離度検出部３０は、重心・共分散計算部２８で算出された重心から所定距離の領域の内外で、分離度の差が最も大きくなるマハラノビス距離を検出する。領域決定部３２は、分離度検出部３０で検出されたマハラノビス距離に基づき、次のテンプレートとすべき領域を決定するとともに、決定したテンプレートをテンプレート記憶部９に記憶させる。

以上のように構成される画像処理システム１において行われる処理を、図２から図６を参照しながら説明する。なお、本実施の形態においては、テンプレートの更新に用いる特徴量として、輝度分散を用いる。輝度分散は、海面上の船を追尾する場合等、画像において、対象物と、その他の部分との輝度の変化に差がある場合に、採用することが好ましい。船の追尾の例においては、船はエッジやコーナーが多く輝度の変化が大きいのに対し、海面は一様なパターンが多く輝度の変化は少ないため、特徴量として輝度分散を用いている。

図２は、第１の実施の形態による画像を示す図であり、（ａ）は、対象領域の指定の例を示し、（ｂ）は、小領域に分割した例を示す。図２（ａ）に示すように、まず、ユーザは、不図示の表示装置に表示された画像４０において、不図示のマウス装置等により、追尾したい対象物４２を取り囲む矩形領域を設定する。画像処理システム１において、対象領域指定部１７は、ユーザにより指定された矩形領域を、対象領域４４として指定する。

図２（ｂ）に示すように、特徴値計算部２２は、画像４０を、座標（ｘ、ｙ）を中心とする、対象領域４４よりも小さい複数の小領域４５に分割し、各小領域４５において、下記の式１により輝度分散Ｖａｒ（ｘ、ｙ）を計算する。

ここで、Ｎは、小領域４５におけるピクセル数、ｖ（ｋ）は、小領域４５内の画素に１からＮまでの番号を便宜的に割り当てた場合の、ｋ（ｋは１からＮまでの整数）番目の画素の輝度値である。輝度値とは、例えば、各画素の輝度信号の階調値である。

次に、ヒストグラム計算部２４は、対象領域４４の内外における、小領域４５の輝度分散ヒストグラムを求める。図３は、輝度分散のヒストグラムの一例を示す図であり、（ａ）は、対象領域４４内のヒストグラム、（ｂ）は、対象領域４４外のヒストグラムを示す。

図３において、横軸は、輝度分散ｉ、縦軸は、頻度である。ここで、輝度分散ｉは、式１により算出された輝度分散Ｖａｒ（ｘ、ｙ）を所定の値の範囲ごとに分け、それぞれの範囲に振分けた番号０〜ｎ（ｎは任意の整数）で表している。例えば、輝度分散Ｖａｒ（ｘ、ｙ）＝０〜Ｖａｒ１の範囲に輝度分散ｉ＝１を割り当て、輝度分散Ｖａｒ（ｘ、ｙ）＝Ｖａｒ１〜Ｖａｒ２の範囲に輝度分散ｉ＝１を割り当てる等である。頻度は、それぞれの輝度分散ｉに該当する小領域４５の数を、算出対象の領域における小領域４５の総和が「１」になるように正規化して表すものとする。ここで、頻度Ｗ１（ｉ）は、対象領域４４内を算出対象とした場合の頻度を示し、頻度Ｗ２（ｉ）は、対象領域４４外を算出対象とした場合の頻度を示す。

図４は、各輝度分散の尤度ρ（ｉ）を示す図である。尤度計算部２６は、下記の式２により尤度ρ（ｉ）を算出する。
ρ（ｉ）＝ｌｎ（Ｗ１（ｉ）／Ｗ２（ｉ））・・・（式２）
図４において、横軸は、輝度分散ｉである。縦軸は、輝度分散ｉに応じて上記式２により算出された尤度ρ（ｉ）を示している。

続いて、重心・共分散計算部２８は、式２により算出した尤度ρ（ｉ）を用いて、対象領域４４内の小領域４５の中心座標の尤度ρ（ｉ）で重み付けした重心と共分散行列を求める。すなわち、重心・共分散計算部２８は、各小領域４５の中心座標（ｘ、ｙ）に、各小領域４５の輝度分散に基づき式２により計算した尤度ρ（ｉ）を割り当てる。例えば、重心・共分散計算部２８は、便宜的に番号ｐ（ｐは、１以上の整数）を割り当てた小領域４５の中心座標（ｘｐ、ｙｐ）の輝度分散Ｖａｒ（ｘｐ、ｙｐ）が、例えばｉ＝１に属している場合には、ｉ＝１に対応する尤度ρ（１）を中心座標（ｘｐ、ｙｐ）に割り当てる。以下、中心座標（ｘｐ、ｙｐ）に対応する尤度ρ（ｉ）を尤度ρ（ｐ）という。なお、対象領域４４内の小領域４５の数をＭ（Ｍは正の整数）とすると、ｐは、１≦ｐ≦Ｍの整数である。以上より、重心の座標（ｘｇ、ｙｇ）は、下記の式３により算出される。

このとき、共分散行列Ａは、下記の式４により算出される。

分離度検出部３０は、各小領域４５の中心座標（ｘｐ、ｙｐ）に対し、重心（座標（ｘｇ、ｙｇ））からのマハラノビス距離ｄを、下記式５、式６により計算する。

図５は、以上のように算出されたマハラノビス距離ｄに基づき、マハラノビス距離ｄ=１、２、・・・、Ｄ（Ｄは、以下の例では４を使用する。よってここでは、マハラノビス距離ｄ=１、２、３、４）の領域を図示した例である。図５に示すように、重心５０に対するマハラノビス距離ｄ＝１の領域は、領域５２で表される。以下同様に、マハラノビス距離ｄ=２、３、４の領域は、それぞれ領域５４、５６、５８で表される。

選択したマハラノビス距離ｄ=１、２、３、４に対して、分離度検出部３０は、以下の処理を行う。すなわち、分離度検出部３０は、小領域４５の中心座標（ｘｐ、ｙｐ）について算出されたマハラノビス距離ｄが上記マハラノビス距離ｄ＝１〜４から選択された距離以下である領域を対象領域内とし、選択された距離を超える領域を対象領域外とする。そして、分離度検出部３０は、上記図２および図３を参照しながら説明した処理と同様の処理を行う。すなわち、分離度検出部３０は、対象領域内の小領域４５の輝度分散のヒストグラムにおける頻度Ｗｄ１（ｉ）（頻度の総和を１で正規化）、および対象領域外の小領域４５の輝度分散のヒストグラムにおける頻度Ｗｄ２（頻度の総和を１で正規化）を求める。

続いて、得られた結果を用いて、分離度検出部３０は、頻度Ｗｄ１（ｉ）、および頻度Ｗｄ２（ｉ）に基づき輝度ヒストグラムの分離度α（ｄ）を求める。分離度α（ｄ）は下記の式７により求められる。

分離度検出部３０は、以上の処理を複数のマハラノビス距離ｄ（ここでは、ｄ＝１、２、３、４）に基づいて行い、上記式７により算出される分離度α（ｄ）を算出し、算出された中で最大の分離度α（ｄ）となるマハラノビス距離である分離度最大距離ｄｍａｘを求める。

図６は、分離度最大距離ｄｍａｘの一例を示す図である。図６に示すように、この例では、分離度最大距離ｄｍａｘ＝２であり、対応する領域は、領域５４である。画像処理装置５では、この領域５４を、新たな対象領域とする。

さらに、ここで、対象領域指定部１７は、上記の処理により抽出された新たな対象領域である領域５４を新たな対象領域４４と指定して、上記処理をはじめから再度実行する。ここで、対象領域４４は、領域５４を内包する矩形領域としてもよい。上記処理を再度実行することにより、領域決定部３２は、分離度最大距離ｄｍａｘに対応する領域をテンプレートとして、テンプレート記憶部９に記憶させる。

例えば、再度上記処理を実行した結果導き出された新たな対象領域が、例えば、図６に示す領域５４であるとする。このとき、テンプレートとしては、図６に示すように、重心５０からのマハラノビス距離ｄが、分離度最大距離ｄｍａｘ以内の小領域４５の集合である領域６０が登録される。なお、ここでは説明の都合上、再処理実行後に導き出された新たな対象領域は、１回目に導き出された対象領域と同一としているが、同一とは限らない。

以下、主に図７を参照しながら、第１の実施の形態による画像処理システム１の動作についてさらに説明する。図７は、第１の実施の形態による画像処理システム１の動作を示すフローチャートである。

図１を参照して説明したように、まず、ユーザが、不図示の表示装置に表示された画像４０において、不図示のマウス装置等により、追尾したい対象物４２を指定するため、対象物４２を取り囲む例えば矩形領域を設定する。画像処理システム１において、対象領域指定部１７は、ユーザにより指定された矩形領域を、対象領域４４として指定する（Ｓ１０１）。

図２を参照して説明したように、特徴値計算部２２は、画像４０を、座標（ｘ、ｙ）を中心とする、対象領域４４よりも小さい複数の小領域４５に分割する（Ｓ１０２）。特徴値計算部２２は、各小領域４５において、上記式１により輝度分散Ｖａｒ（ｘ、ｙ）を計算する（Ｓ１０３）。

図３を参照して説明したように、ヒストグラム計算部２４は、対象領域４４の内外における、各小領域４５の輝度分散ヒストグラムを求める（Ｓ１０４）。図４を参照して説明したように、算出されたヒストグラムに基づき、尤度計算部２６は、式２により尤度ρ（ｉ）を算出する（Ｓ１０５）。重心・共分散計算部２８は、式２により算出した尤度ρ（ｉ）を用いて、式３により対象領域４４内の小領域４５の中心座標の尤度ρ（ｉ）で重み付けした重心と共分散行列を求める（Ｓ１０６）。

図５を参照して説明したように、分離度検出部３０は、各小領域４５の中心座標（ｘｐ、ｙｐ）について、重心（座標（ｘｇ、ｙｇ））からのマハラノビス距離ｄを、上記式５、式６により計算する。図２および図３を参照しながら説明した処理と同様に、分離度検出部３０は、選択されたマハラノビス距離ｄに基づく対象領域内外について、輝度分散ヒストグラムの頻度Ｗｄ１（ｉ）、Ｗｄ２（ｉ）を算出し、式７により分離度α（ｄ）を求める。また、分離度検出部３０は、分離度α（ｄ）が最大となる分離度最大距離ｄｍａｘを求める（Ｓ１０７）。

図６を参照して説明したように、領域決定部３２は、重心からのマハラノビス距離ｄが、分離度最大距離ｄｍａｘ以内の領域を、新たな対象領域として切り出す（Ｓ１０８）。領域決定部３２は、新たな対象領域を切り出す上記Ｓ１０４からＳ１０８の処理が、再実行済みであるか否か判別し（Ｓ１０９）、再実行をしていない場合には（Ｓ１０９：ＮＯ）、Ｓ１０４に処理を戻し、Ｓ１０８までの処理を再度繰り返す。再実行済みであると判別された場合には（Ｓ１０９：ＹＥＳ）、領域決定部３２は、テンプレート記憶部９に、分離度最大距離ｄｍａｘに対応する領域（図６の例では領域５４）をテンプレートとして、テンプレート記憶部９に登録する（Ｓ１１０）。

以下、対象物４２の追尾を行う処理として、画像処理装置５は、入力画像記憶部７に、カメラ３から次のフレームの画像が入力されるのを待つ（Ｓ１１１）。相関演算部１１は、入力された新たな画像について、Ｓ１１０までの処理で登録されたテンプレートとの相関を算出する。これにより相関演算部１１は、入力された新たな画像における対象物４２の位置を追尾位置７０として算出し、位置出力部１５は、例えば図示せぬ表示部などに出力する（Ｓ１１２）。

更新判定部１３は、相関演算部１１が算出した相関値が、あらかじめ定められた閾値より大きいか否か判別する（Ｓ１１３）。算出した相関値が、あらかじめ定められた閾値より大きい場合には、更新判定部１３は、テンプレート記憶部９に登録されているテンプレートが適切であると判断し、Ｓ１１１に戻って対象物４２の追尾を継続する（Ｓ１１３：ＹＥＳ）。算出した相関値が、あらかじめ定められた閾値以下の場合には、更新判定部１３は、画像に変化があったと判断し、テンプレート記憶部９に登録されているテンプレートを更新する必要があると判断する（Ｓ１１３：ＮＯ）。このとき、更新判定部１３は、現在テンプレートに指定されている領域を内包する矩形領域を新たな対象領域４４として指定し（１１４）、Ｓ１０２からの処理を繰り返す。

以上説明したように、第１の実施の形態による画像処理システム１は、追尾する対象物４２の移動などにより、取得した画像とテンプレートとの相関値が一定以下に低下した場合に、テンプレートを更新する。テンプレートは、小領域４５の中心座標に基づく重心からのマハラノビス距離ｄが、小領域４５毎の輝度分散に基づいて算出された分離度α（ｄ）が最大になる分離度最大距離ｄｍａｘ以内となる小領域４５の集合とする。なお、輝度分散に基づき新たなテンプレートを切り出すＳ１０４からＳ１０８の処理は、２回行うことが好ましい。

以上のように、第１の実施の形態による画像処理システム１によれば、例えば、移動する航空機から船舶を対象物４２として撮影する場合に、航空機と船舶の位置により対象物４２の大きさや向き等が変化する場合にも、適切な対応が可能である。すなわち、対象物４２以外の影響をなるべく除去した情報に基づき、随時テンプレートを更新することができる。よって、対象物４２を見失うことも防止できる。

第１の実施の形態による画像処理システム１は、輝度分散のヒストグラムの分離度に基づきテンプレートを更新する。このように、輝度分散が異なる領域を分離できるように、対象領域の大きさを決定していることで、輝度の変化と形状の変化の両方に自動対応したテンプレート更新を可能とし、その結果、輝度の変化と形状の変化の両方に対応した対象追尾が可能となる。これにより、照明条件による輝度の変化も自動的に考慮される。

また、対象領域４４が指定され、新たな対象領域を求める処理を一度目に行う場合には、重心から中心点までの距離が分離度最大距離ｄｍａｘより大きい小領域４５も含む対象領域４４に基づき新たな対象領域が抽出される。そこで、一度抽出した対象領域について、再度同様の処理を行って対象領域を抽出することにより、分離度最大距離ｄｍａｘ外の小領域４５の影響を除去することが可能になり、より適切なテンプレートの更新が可能になる。なお、輝度値として、カラー画像の各色の輝度を組み合わせた輝度値を用いるようにしてもよい。

（第２の実施の形態）
以下、図８から図１０を主に参照しながら、第２の実施の形態による画像処理システムについて説明する。第２の実施の形態において、第１の実施の形態と同様の構成および動作については重複説明を省略する。

第２の実施の形態による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。第２の実施の形態においては、特徴量として、各画素のＨｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ（ＨＳＶ）色空間でのＨ成分（色相）、Ｓ成分（彩度）の平均値を計算する。これは、例えば、人の顔における肌色など、対象物に多く存在し、周囲にはあまり存在しない色があるような、特徴が色の成分に顕著に現れる場合などに用いることが好ましい。

図８は、第２の実施の形態による画像を示す図であり、（ａ）は、対象領域の指定の例を示し、（ｂ）は、小領域に分割した例を示す。図８（ａ）に示すように、まず、ユーザは、不図示の表示装置に表示された画像１５０において、不図示のマウス装置等により、追尾したい対象物１５２を取り囲む矩形領域を設定する。画像処理システム１において、対象領域指定部１７は、ユーザにより指定された矩形領域を、対象領域１５４として指定する。本実施の形態における対象物１５２は人の顔であるため、対象領域１５４は、画像１５０のほかの領域と比較すると、肌色が多い領域となっている。

図８（ｂ）に示すように、特徴値計算部２２は、画像１５０を、座標（ｘ、ｙ）を中心とする、対象領域４４よりも小さい複数の小領域１５６に分割する。特徴値計算部２２は、各小領域１５６において、下記の式１によりＨ成分の平均Ｈａｖｅ（ｘ、ｙ）、Ｓ成分の平均Ｓａｖｅ（ｘ、ｙ）を計算する。

ここで、Ｎは、小領域１５６おけるピクセル数、ｈ（ｋ）、ｓ（ｋ）はそれぞれ、小領域１５６内の画素に１からＮまでの番号を便宜的に割り当てた場合の、ｋ（ｋは１からＮまでの整数）番目の画素のＨ成分、Ｓ成分の値である。

次に、ヒストグラム計算部２４は、対象領域１５４の内外における、小領域１５６のＨ成分、Ｓ成分のヒストグラムを求める。図９は、Ｈ成分、Ｓ成分のヒストグラムの一例を示す図であり、（ａ）は、対象領域１５４内のヒストグラム、（ｂ）は、対象領域１５４外のヒストグラムを示す。

図９において、横軸は、Ｈ成分、Ｓ成分の組み合わせを用いたＨＳ値であり、縦軸は、頻度である。ここでＨＳ値とは、以下の例では、Ｈ成分を３段階、Ｓ成分を３段階で区分分けし、組み合わせて３×３＝９段階のインデックスをＨＳ値ｈｓ＝１〜９として生成する。例えば、ｈｓ＝１は、Ｈ成分の平均、Ｓ成分の平均ともに第１段階の小領域１５６に対応し、ｈｓ＝２は、Ｈ成分の平均が第１段階、Ｓ成分の平均が第２段階の小領域１５６に対応するなどとする。頻度は、それぞれのＨＳ値を有する小領域１５６の数を、頻度の総和が「１」になるように正規化した数値である。ここで、頻度Ｗ１（ｈｓ）は、対象領域１５４内の頻度を示し、頻度Ｗ２（ｈｓ）は、対象領域１５４外の頻度を示す。なお、ＨＳ値のインデックスは９に限定されない。また、Ｈ成分、Ｓ成分のどの組み合わせを、各ＨＳ値ｈｓに対応付けるかについては、任意の組み合わせを用いることができる。

図１０は、ＨＳ値の尤度ρ（ｈｓ）を示す図である。尤度計算部２６は、下記の式９により尤度ρ（ｈｓ）を算出する。
ρ（ｈｓ）＝ｌｎ（Ｗ１（ｈｓ）／Ｗ２（ｈｓ））・・・（式９）
図１０において、横軸は、ＨＳ値ｈｓである。縦軸は、ＨＳ値に応じて上記式９により算出された尤度ρ（ｈｓ）を示している。ここで、尤度１６０のように、尤度ρ（ｈｓ）が大きいところが、対象領域１５４の色の特徴を表しており、本実施の形態においては、肌色らしさが大きいことを示している。

続いて、重心・共分散計算部２８は、式９により算出した尤度ρ（ｈｓ）を用いて、対象領域１５４内の小領域１５６の中心座標の尤度ρ（ｈｓ）で重み付けした重心と共分散行列を求める。すなわち、重心・共分散計算部２８は、各小領域１５６の中心座標（ｘ、ｙ）に、各小領域１５６のＨＳ値に基づき式９により計算した尤度ρ（ｈｓ）を割り当てる。例えば、重心・共分散計算部２８は、便宜的に番号ｐ（ｐは、１以上の整数）を割り当てた小領域１５６の中心座標（ｘｐ、ｙｐ）のＨＳ値が、例えばｈｓ＝１に属している場合には、ｈｓ＝１に対応する尤度ρ（ｈｓ）を中心座標（ｘｐ、ｙｑ）に割り当てる。以下、このときの尤度ρ（ｈｓ）を尤度ρ（ｐ）という。なお、対象領域１５４内の小領域１５６の数をＭ（Ｍは正の整数）とすると、ｐは、１≦ｐ≦Ｍの整数である。以上より、重心の座標（ｘｇ、ｙｇ）は、第１の実施の形態と同様、上記の式３により算出される。

以下、第１の実施の形態と同様に、式４により、共分散行列Ａが算出され、式５、式６によりマハラノビス距離ｄが計算される。分離度検出部３０は、算出された重心からマハラノビス距離ｄが所定値以下である領域を対象領域内とし、重心からのマハラノビス距離ｄが、所定値を超える領域を対象領域外とする。そして、分離度検出部３０は、図９を参照しながら説明した処理と同様の処理を行う。すなわち、分離度検出部３０は、対象領域内の小領域１５６のＨＳ値のヒストグラムの頻度Ｗｄ１（ｈｓ）（頻度の総和を１で正規化）、および対象領域外の小領域１５６のＨＳ値のヒストグラムの頻度Ｗｄ２（ｈｓ）（頻度の総和を１で正規化）を求める。

続いて、得られた結果を用いて、分離度検出部３０は、頻度Ｗｄ１（ｈｓ）、および頻度Ｗｄ２（ｈｓ）の分離度を求める。分離度α（ｄ）は下記の式１０により求められる。

分離度検出部３０は、以上の処理を複数のマハラノビス距離ｄ（ここでは、ｄ＝１、２、３、４）に基づいて行い、上記式７により算出された分離度α（ｄ）の中で最大の分離度α（ｄ）となるマハラノビス距離である分離度最大距離ｄｍａｘを求める。領域決定部３２は、マハラノビス距離ｄが分離度最大距離ｄｍａｘ以内の領域を、新たな対象領域とする。

以下、第１の実施の形態における処理と同様、対象領域指定部１７は、上記の処理により抽出された新たな対象領域を新たな対象領域１５４と指定して、上記対象領域を決定する処理を再度実行する。上記処理を再度実行することにより、領域決定部３２は、分離度最大距離ｄｍａｘに対応する領域に応じた小領域１５６の集合をテンプレートとして、テンプレート記憶部９に記憶させる。

以上説明したように、第２の実施の形態による画像処理システム１によれば、追尾する対象物１５２の移動などにより、取得した画像とテンプレートとの相関値が一定以下に低下した場合に、テンプレートを更新する。テンプレートは、小領域１５６毎のＨＳ値に基づいて算出された重心からのマハラノビス距離ｄが、分離度α（ｄ）が最大になる分離度最大距離ｄｍａｘ以内となる小領域１５６とする。なお、ＨＳ値に基づき新たなテンプレートを切り出す処理は、２回行うことが好ましい。

以上のように、第２の実施の形態による画像処理システム１によれば、例えば、移動する対象物１５２を撮影する際に、対象物１５２の大きさや向き等が変化する場合にも、適切な対応が可能である。すなわち、対象物１５２以外の影響をなるべく除去した情報に基づき、随時テンプレートを更新することができる。よって、対象物１５２を見失うことも防止できる。

第２の実施の形態による画像処理システム１は、画像の色成分のヒストグラムの分離度に基づきテンプレートを更新する。このように、色成分が異なる領域に基づき対象領域の大きさを決定していることで、対象物１５２の移動による形状の変化に自動対応したテンプレート更新を可能とし、その結果、対象物１５２の移動による形状の変化に対応した対象追尾が可能となる。これにより、照明条件による画面全体の色成分の変化も自動的に考慮される。

また、対象領域１５４が指定され、新たな対象領域を求める処理を一度目に行う場合には、重心から中心点までの距離が分離度最大距離ｄｍａｘより大きい小領域１５６も含む対象領域４４に基づき新たな対象領域が抽出される。そこで、一度抽出した対象領域について、再度同様の処理を行って対象領域を抽出することにより、分離度最大距離ｄｍａｘ外の小領域１５６の影響を除去することが可能になり、より適切なテンプレートの更新が可能になる。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、特徴値として、輝度分散およびＨＳ値を例にして説明したが、画像の特徴を表す値であれば、他の特徴値、または計算値を用いた値でもよい。また、新たな対象領域を抽出する処理は、二度行う場合について説明したが、上記に限定されない。３度以上繰り返すことにより、さらに領域抽出の精度が向上する。また、１回のみでも、対象物４２の大きさ、向き、照明条件を考慮したテンプレートの抽出は可能である。

ここで、上記第１および第２の実施の形態による画像処理方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１１は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１１に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。

ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。

外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。

上記第１および第２の実施の形態による画像処理方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に画像処理の動作を行なわせる。このとき、まず、画像処理の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。

以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
対象物を追尾するためのテンプレートを更新する画像処理装置であって、
前記対象物を含む画像において前記対象物を含む対象領域を指定する対象領域指定部と、
前記画像を前記対象領域より小さい複数の小領域に分割した際に、前記対象領域内と前記対象領域外の前記小領域毎の特徴値のヒストグラムに基づく、前記複数の小領域毎の尤度を前記各複数の小領域の中心座標に重み付けた重心および前記重心に応じた共分散行列を計算する計算部と、
前記ヒストグラム、前記尤度、前記重心、および前記共分散行列に基づき前記画像内の領域が他から分離される度合いを示す分離度を検出する分離度検出部と、
前記分離度に基づき更新後の前記テンプレートとして指定する更新後対象領域を決定する対象領域決定部と、
を有することを特徴とする画像処理装置。
（付記２）
前記特徴値は、輝度分散であることを特徴とする付記１に記載の画像処理装置。
（付記３）
前記特徴値は、カラー輝度平均であることを特徴とする付記１に記載の画像処理装置。
（付記４）
前記尤度は、前記対象領域内と前記対象領域外における所定範囲毎の前記特徴値の出現頻度の比に基づくことを特徴とする付記１から付記３のいずれかに記載の画像処理装置。
（付記５）
対象物を追尾するためのテンプレートを更新する画像処理方法であって、
前記画像において前記対象物を含む対象領域を指定しと、
前記画像を前記対象領域より小さい複数の小領域に分割した際に、前記対象領域内と前記対象領域外の前記小領域毎の特徴値のヒストグラムに基づく、前記複数の小領域毎の尤度を前記各複数の小領域の中心座標に重み付けた重心および前記重心に応じた共分散行列を計算し、
前記ヒストグラム、前記尤度、前記重心、および前記共分散行列に基づきある領域を他から分離するための分離度を検出し、
前記分離度に基づき更新後の前記テンプレートとして指定する更新後対象領域を決定する、
ことを特徴とする画像処理方法。
（付記６）
前記更新後対象領域を前記対象領域として、前記重心および前記共分散行列を計算する処理と、分離度を検出する処理と、新しい更新後対象領域を決定する処理とをさらに繰り返すことを特徴とする付記５に記載の画像処理方法。
（付記７）
前記特徴値は、輝度分散であることを特徴とする付記５または付記６に記載の画像処理方法。
（付記８）
前記特徴値は、カラー輝度平均であることを特徴とする付記５または付記６に記載の画像処理方法。
（付記９）
前記尤度は、前記対象領域内と前記対象領域外における所定範囲毎の前記特徴値の出現頻度の比に基づくことを特徴とする付記５から付記８のいずれかに記載の画像処理方法。
（付記１０）
対象物を追尾するためのテンプレートを更新する際に、
前記対象物を含む画像において前記対象物を含む対象領域を指定し、
前記画像を前記対象領域より小さい複数の小領域に分割した際に、前記対象領域内と前記対象領域外の前記小領域毎の特徴値のヒストグラムに基づく、前記複数の小領域毎の尤度を前記各複数の小領域の中心座標に重み付けた重心および前記重心に応じた共分散行列を計算し、
前記ヒストグラム、前記尤度、前記重心、および前記共分散行列に基づきある領域を他から分離するための分離度を検出し、
前記分離度に基づき更新後の前記テンプレートとして指定する更新後対象領域を決定する、
処理をコンピュータに実行させるプログラム。
（付記１１）
前記更新後対象領域を前記対象領域として、前記重心および前記共分散行列を計算する処理と、分離度を検出する処理と、新しい更新後対象領域を決定する処理とをさらに繰り返すことを特徴とする付記１０に記載のプログラム。
（付記１２）
前記特徴値は、輝度分散であることを特徴とする付記１０または付記１１に記載のプログラム。
（付記１３）
前記特徴値は、カラー輝度平均であることを特徴とする付記１０または付記１１に記載のプログラム。
（付記１４）
前記尤度は、前記対象領域内と前記対象領域外における所定範囲毎の前記特徴値の出現頻度の比に基づくことを特徴とする付記９から付記１１のいずれかに記載のプログラム。

１ 画像処理システム
３ カメラ
５ 画像処理装置
７ 入力画像記憶部
９ テンプレート記憶部
１１ 相関演算部
１３ 更新判定部
１５ 位置出力部
１７ 対象領域指定部
２０ テンプレート更新部
２２ 特徴値計算部
２４ ヒストグラム計算部
２６ 尤度計算部
２８ 重心・共分散計算部
３０ 分離度検出部
３２ 領域決定部
４０ 画像
４２ 対象物
４４ 対象領域
４５ 小領域
４６ 波等
５０ 重心
５２ 領域
６０ 対象領域
６２ テンプレート領域

Claims (10)

1. 対象物を追尾するためのテンプレートを更新する画像処理装置であって、
   前記対象物を含む画像において前記対象物を含む対象領域を指定する対象領域指定部と、
   前記画像を前記対象領域より小さい複数の小領域に分割した際に、前記対象領域内と前記対象領域外の前記小領域毎の特徴値のヒストグラムに基づく、前記複数の小領域毎の尤度を前記各複数の小領域の中心座標に重み付けた重心および前記重心に応じた共分散行列を計算する計算部と、
   前記ヒストグラム、前記尤度、前記重心、および前記共分散に基づきある領域を他から分離するための分離度を検出する分離度検出部と、
   前記分離度に基づき更新後の前記テンプレートとして指定する更新後対象領域を決定する対象領域決定部と、
   を有することを特徴とする画像処理装置。
2. 前記特徴値は、輝度分散であることを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴値は、カラー輝度平均であることを特徴とする請求項１に記載の画像処理装置。
4. 前記尤度は、前記対象領域内と前記対象領域外における所定範囲毎の前記特徴値の出現頻度の比に基づくことを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
5. 対象物を追尾するためのテンプレートを更新する画像処理方法であって、
   前記画像において前記対象物を含む対象領域を指定しと、
   前記画像を前記対象領域より小さい複数の小領域に分割した際に、前記対象領域内と前記対象領域外の前記小領域毎の特徴値のヒストグラムに基づく、前記複数の小領域毎の尤度を前記各複数の小領域の中心座標に重み付けた重心および前記重心に応じた共分散行列を計算し、
   前記ヒストグラム、前記尤度、前記重心、および前記共分散に基づきある領域を他から分離するための分離度を検出し、
   前記分離度に基づき更新後の前記テンプレートとして指定する更新後対象領域を決定する、
   ことを特徴とする画像処理方法。
6. 前記更新後対象領域を前記対象領域として、前記重心および前記共分散行列を計算する処理と、分離度を検出する処理と、新しい更新後対象領域を決定する処理とをさらに繰り返すことを特徴とする請求項５に記載の画像処理方法。
7. 前記特徴値は、輝度分散であることを特徴とする請求項５または請求項６に記載の画像処理方法。
8. 前記特徴値は、カラー輝度平均であることを特徴とする請求項５または付記６に記載の画像処理方法。
9. 前記尤度は、前記対象領域内と前記対象領域外における所定範囲毎の前記特徴値の出現頻度の比に基づくことを特徴とする請求項５から請求項８のいずれかに記載の画像処理方法。
10. 対象物を追尾するためのテンプレートを更新する際に、
    前記対象物を含む画像において前記対象物を含む対象領域を指定し、
    前記画像を前記対象領域より小さい複数の小領域に分割した際に、前記対象領域内と前記対象領域外の前記小領域毎の特徴値のヒストグラムに基づく、前記複数の小領域毎の尤度を前記各複数の小領域の中心座標に重み付けた重心および前記重心に応じた共分散行列を計算し、
    前記ヒストグラム、前記尤度、前記重心、および前記共分散に基づきある領域を他から分離するための分離度を検出し、
    前記分離度に基づき更新後の前記テンプレートとして指定する更新後対象領域を決定する、
    処理をコンピュータに実行させるプログラム。