JP6432162B2 - 画像照合方法、画像照合装置、モデルテンプレート生成方法、モデルテンプレート生成装置、およびプログラム - Google Patents

Description

本発明は、テンプレートマッチングによって画像照合を行う技術に関する。

テンプレートマッチングによって物体検出をする場合に、登録されたモデル画像と照合対象の画像の間で変動が生じると、検出精度が低下する。ここでいう変動は、例えば、位置ずれや回転、拡大・縮小、物体のわずかな変形、照明の変化や画像ノイズの付加などを指す。

この問題への対処法として、種々の変動に対応した複数のモデルテンプレートを用意することが考えられる。例えば、異なる角度から撮影したモデル画像や、照明を変更して撮影したモデル画像や、ノイズを加えたモデル画像から、それぞれモデルテンプレートを生成する。これにより、変動が加わった場合でも検出が可能となる。

別の対処法として、非特許文献１ではGeometric Blurと呼ばれる手法を提案している。この手法では、特徴量の位置を考慮して、原点からの距離が遠いほど分散の大きいガウシアンフィルタを適用することで、変動に対してロバストなテンプレートマッチングが実現できる。

Berg, Alexander C., and Jitendra Malik. "Geometric blur for template matching." Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. Vol. 1. IEEE, 2001.

複数のモデルテンプレートを生成して利用する手法では、モデルテンプレートの数だけ探索処理を行う必要があるため、モデルテンプレートの数に応じて線型的に処理時間が増加するという問題がある。

また、非特許文献１に記載の手法では、ガウシアンフィルタを適用するため、連続量であり単峰性の分布を取る特徴量（例えば、輝度特徴量）に対してのみ適用可能である。輝度勾配の方向を量子化したものを特徴量として用いる場合など上記の条件を満たさない場合には、非特許文献１に記載の手法は適用できない。

本発明は、変動に対してロバストなテンプレートマッチング技術を提供することを目的とする。

上記の課題を解決するために、本発明の第１の態様にかかる画像照合方法では、モデル画像に予測される種々の変動を加え、これらの変動画像から特徴抽出をし、様々な変動下において安定して現れる特徴量を用いてテンプレートを生成する。

より具体的には、本発明の第１の態様にかかる画像照合方法は、画像照合装置によって実行される画像照合方法であって、
モデル画像を取得する取得ステップと、
前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成ステップと、
前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合ステップと、
を含み、
前記テンプレート生成ステップでは、前記特徴量抽出ステップにおいて特徴量が抽出される数が多い領域の特徴量を用いて、前記モデルテンプレートを生成する。
本発明の第２の態様にかかる画像照合方法は、画像照合装置によって実行される画像照合方法であって、
モデル画像を取得する取得ステップと、
前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成ステップと、
前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合ステップと、
を含み、
前記テンプレート生成ステップでは、前記特徴量の分布の尖度が高い領域の特徴量を用いて、前記モデルテンプレートを生成する。
本発明の第３の態様にかかる画像照合方法は、画像照合装置によって実行される画像照合方法であって、
モデル画像を取得する取得ステップと、
前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成ステップと、
前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合ステップと、
を含み、
前記テンプレート生成ステップでは、前記領域毎に、前記特徴量抽出ステップにおいて特徴量が抽出される数に基づいて当該領域の指標値を割り当て、
前記照合ステップでは、各領域に割り当てられた指標値を重みとして用いる。
本発明の第４の態様にかかる画像照合方法は、画像照合装置によって実行される画像照合方法であって、
モデル画像を取得する取得ステップと、
前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成ステップと、
前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合ステップと、
を含み、
前記テンプレート生成ステップでは、前記領域毎に、前記特徴量抽出ステップにおいて抽出される特徴量の分布の尖度に基づいて当該領域の指標値を割り当て、
前記照合ステップでは、各領域に割り当てられた指標値を重みとして用いる。

なお、モデル画像に加える変動は任意のものであって良いが、例えば、回転、拡大・縮小、変形、照明の変化、画像ノイズの付加の少なくともいずれかとすることが好ましい。

このようにすることで、照合時に変動が生じた場合であっても、その変動がモデルテンプレート生成時に考慮されていれば物体を正確に検出することが可能となる。また、モデル画像に多くの変動を加えているが、生成するテンプレートは１つであるため、照合時に処理速度の低下を招かない。

本発明において、特徴量抽出ステップでは、それぞれの変動画像から、当該変動画像を複数の領域に分割し、領域毎の特徴量を抽出する。この場合、１つの領域から１つの特徴量を抽出しても良いし、１つの領域を構成する複数のサブ領域からそれぞれ特徴量を抽出してもよい。いずれの場合であっても、複数の変動画像から領域毎に特徴量を抽出することにより、各領域における特徴量の分布が得られる。特徴量として、たとえば、輝度の勾配方向を量子化したものを用いることができる。

本発明におけるテンプレート生成ステップでは、前記特徴量抽出ステップにおいて上記領域毎に抽出された特徴量の分布を用いて、モデルテンプレートを生成することが好ましい。ここでは、特徴量の分布自体を用いてモデルテンプレートを生成しても良いし、特徴量の分布を特徴付けるパラメータ（最頻値や平均値など）を用いてモデルテンプレートを生成しても良い。

あるいは、各領域において抽出される割合が高い特徴量を用いてモデルテンプレートを生成することも好ましい。ここで、抽出される割合が高い特徴量とは、出現頻度が高い方から所定数の特徴量を意味しても良いし、出現確率が所定値以上の特徴量を意味しても良い。例えば、特徴量の最頻値を用いたり、出現確率が閾値（例えば２０％）以上の特徴量を用いたりして、モデルテンプレートを生成することが考えられる。

また、本発明の１つの態様における、テンプレート生成ステップでは、特徴量抽出ステップにおいて特徴量が抽出される数が多い領域の特徴量を用いて、モデルテンプレートを生成する。ここでは、特徴量が領域から取得されたりされなかったりするものであることを想定する。このような特徴量の例として、輝度勾配に関する特徴量が挙げられる。エッジがある領域からは輝度勾配特徴量が得られるが、エッジがない領域からは輝度勾配特徴量は得られない。したがって、複数の変動画像からこのような特徴量を抽出すると、領域によって抽出される特徴量の数（抽出頻度）が異なる。上述のように、抽出される特徴量
の数が多い領域の特徴量を用いてテンプレートモデルを生成することで、種々の変動下において共通して現れる可能性が高い特徴量をモデルテンプレートに反映させられるので、変動下における照合精度が向上する。また、特徴量の数が少なくて済むため照合処理が高速になる。なお、抽出される特徴量の数が多い領域というのは、その領域から抽出される特徴量の数が所定の閾値以上の領域を意味しても良いし、抽出される特徴量の数が上位所定割合に属する領域を意味しても良い。

また、本発明の１つの様態における、テンプレート生成ステップでは、特徴量の分布の尖度が高い領域の特徴量を用いてモデルテンプレートを生成する。特徴量分布の尖度が高いということは、種々の変動下において共通した特徴量が得られることを意味する。したがって、このような特徴量を用いてモデルテンプレートを生成することで、変動下における照合精度を向上させられるとともに、照合処理を高速化できる。

本発明の１つの様態においては特徴量の出現頻度が高い領域や特徴量分布の尖度が高い領域の特徴量のみを用いてモデルテンプレートを生成しているが、本発明の他の様態においては、出現頻度や尖度を照合時における重みとして利用する。すなわち、各領域における特徴量の出現頻度や特徴量分布の尖度に基づいてその領域の指標値を求めて割り当て、照合ステップにおいて各領域に割り当てられた指標値に基づいた重み付けをして入力画像とモデルテンプレートとのテンプレートマッチングを行う。この際、出現頻度や尖度が大きいほど重みを大きくする。換言すると、特徴量の出現頻度が高い領域や特徴量分布の尖度が高い領域ほど照合スコアに与える影響度を大きくする。このようにすることで、変動が加えられた場合でも照合精度を向上させることができる。

なお、本発明は、上記処理の少なくとも一部を含む画像照合方法として捉えることができる。また、本発明は、上記画像照合方法において用いられるモデルテンプレートを生成するためのモデルテンプレート生成方法として捉えることもできる。また、本発明は上記画像照合方法およびモデルテンプレート生成方法を実施するための手段を備える画像照合装置およびモデルテンプレート生成装置として捉えることもできる。また、本発明は、上記画像照合方法およびモデルテンプレート生成方法をコンピュータに実行させるためのコンピュータプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、変動に対してロバストなテンプレートマッチングを実現できる。

本実施形態にかかる画像照合装置の機能ブロックを示す図である。 本実施形態にかかる画像照合装置のハードウェア構成を示す図である。 モデルテンプレート生成処理の流れを示すフローチャートである。 特徴量抽出を説明する図であり、（Ａ）はモデル画像の領域分割、（Ｂ）は分割された領域、（Ｃ）は領域からの特徴量算出、（Ｄ）は輝度勾配方向特徴量の量子化をそれぞれ示す。 特徴量分布の作成処理について説明する図であり、（Ａ）はモデル画像、（Ｂ）は変動画像、（Ｃ）は各変動画像から抽出される輝度勾配方向特徴量、（Ｄ）は輝度勾配方向特徴量の分布をそれぞれ示す。 特徴量分布に基づくモデルテンプレート生成処理について説明する図であり、（Ａ）はモデル画像、（Ｂ）〜（Ｄ）は各領域における特徴量分布を示す。 画像照合処理の流れを示すフローチャートである。

以下に図面を参照して、この発明を実施するための形態を、実施例に基づいて例示的に詳しく説明する。ただし、この実施例に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

本実施形態にかかる画像照合装置１００は、生産ラインなどに組み込まれ、ベルトコンベア上を搬送されるワークの画像を取得して、この画像に対して予め登録されたモデル（
モデルテンプレート）を用いてパターンマッチング処理を行う。

図２は、本発明の実施の形態に係る画像照合装置１００の概略構成図である。図２を参照して、画像照合装置１００は、演算処理部であるＣＰＵ（Central Processing Unit）
１０１と、メモリ部であるメインメモリ１０２およびハードディスク１０３と、カメラインターフェイス１０４と、入力インターフェイス１０５と、表示コントローラ１０６と、ＰＬＣ（Programmable Logic Controller）インターフェイス１０７と、通信インターフ
ェイス１０８と、データリーダ／ライタ１０９とを含む。これらの各部は、バスＢを介して、互いにデータ通信可能に接続される。

ＣＰＵ１０１は、ハードディスク１０３に格納されたプログラム（コード）をメインメモリ１０２に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１０２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ハードディスク１０３から読み出されたプログラムに加えて、撮像装置８によって取得された画像データ、ワークデータ、モデルに関する情報などを保持する。さらに、ハードディスク１０３には、各種設定値などが格納されてもよい。なお、ハードディスク１０３に加えて、あるいは、ハードディスク１０３に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。

カメラインターフェイス１０４は、ＣＰＵ１０１と撮像装置８との間のデータ伝送を仲介する。すなわち、カメラインターフェイス１０４は、ワークを撮像して画像データを生成するための撮像装置８と接続される。より具体的には、カメラインターフェイス１０４は、１つ以上の撮像装置８と接続が可能であり、撮像装置８からの画像データを一時的に蓄積するための画像バッファ１０４ａを含む。そして、カメラインターフェイス１０４は、画像バッファ１０４ａに所定コマ数の画像データが蓄積されると、その蓄積されたデータをメインメモリ１０２へ転送する。また、カメラインターフェイス１０４は、ＣＰＵ１０１が発生した内部コマンドに従って、撮像装置８に対して撮像コマンドを与える。

入力インターフェイス１０５は、ＣＰＵ１０１とマウス４、キーボード、タッチパネルなどの入力部との間のデータ伝送を仲介する。すなわち、入力インターフェイス１０５は、ユーザが入力部を操作することで与えられる操作指令を受付ける。

表示コントローラ１０６は、表示装置の典型例であるディスプレイ２と接続され、ＣＰＵ１０１における画像処理の結果などをユーザに通知する。すなわち、表示コントローラ１０６は、ディスプレイ２に接続され、当該ディスプレイ２での表示を制御する。

ＰＬＣインターフェイス１０７は、ＣＰＵ１０１とワーク搬送機構を制御するＰＬＣ５との間のデータ伝送を仲介する。より具体的には、ＰＬＣインターフェイス１０７は、ＰＬＣ５によって制御される生産ラインの状態に係る情報やワークに係る情報などをＣＰＵ１０１へ伝送する。

通信インターフェイス１０８は、ＣＰＵ１０１とコンソール（あるいは、パーソナルコンピュータやサーバ装置）などとの間のデータ伝送を仲介する。通信インターフェイス１０８は、典型的には、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）などからなる。なお、後述するように、メモリカード６に格納されたプログラムを画像照合装置１００にインストールする形態に代えて、通信インターフェイス１０８を介して、配信サーバなどからダウンロードしたプログラムを画像照合装置１００にインストールしてもよい。

データリーダ／ライタ１０９は、ＣＰＵ１０１と記録媒体であるメモリカード６との間
のデータ伝送を仲介する。すなわち、メモリカード６には、画像照合装置１００で実行されるプログラムなどが格納された状態で流通し、データリーダ／ライタ１０９は、このメモリカード６からプログラムを読出す。また、データリーダ／ライタ１０９は、ＣＰＵ１０１の内部指令に応答して、撮像装置８によって取得された画像データおよび／または画像照合装置１００における処理結果などをメモリカード６へ書込む。なお、メモリカード６は、ＣＦ（Compact Flash）、ＳＤ（Secure Digital）などの汎用的な半導体記憶デバ
イスや、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体や、ＣＤ−ＲＯＭ
（Compact Disk Read Only Memory）などの光学記憶媒体等からなる。

また、画像照合装置１００には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。

本実施形態にかかる画像照合装置１００の機能ブロックを図１に示す。上述のように、画像照合装置１００のＣＰＵ１０１が、予めインストールされたプログラム（ＯＳやアプリケーションプログラム等）を実行することによって、図１に示す機能が実現される。なお、図１に示す機能の一部または全部は専用のハードウェアとして実現されても良い。

図１に示すように、画像照合装置１００は、大まかに分けて、モデルテンプレート生成処理部１１０とテンプレートマッチング部１２０とを備える。モデルテンプレート生成処理部１１０は、モデル画像からモデルテンプレートを生成する機能部である。モデルテンプレート生成処理部１１０によって生成されたモデルテンプレートは、モデルテンプレート記憶部１３０に記憶される。テンプレートマッチング部１２０は、照合対象の画像（照合画像）を入力として受け付け、モデルテンプレート記憶部１３０に記憶されたモデルテンプレートを用いて、照合画像がモデルテンプレートと一致するか否かを判定する機能部である。

モデルテンプレート生成処理部１１０は、モデル画像取得部１１１、変動画像生成部１１２、特徴量抽出部１１３、モデルテンプレート生成部１１４を備える。図３は、モデルテンプレート生成処理部１１０によって実行されるモデルテンプレート生成処理の流れを示すフローチャートである。また、テンプレートマッチング部１２０は、照合画像取得部１２１、特徴量抽出部１２２、画像照合部１２３を備える。図７は、テンプレートマッチング部１２０によって実行される画像照合処理（テンプレートマッチング処理）の流れを示すフローチャートである。各機能部の詳細については、図面を参照しつつ、以下で順次説明する。

＜モデルテンプレート生成処理＞
まず、モデルテンプレート生成処理部１１０によって実行されるモデルテンプレート生成処理について説明する。本実施形態では、モデルテンプレート生成時に使用されるモデル画像の撮影環境と照合対象の画像の撮影環境とが変化する場合であってもロバストに物体検出が可能なモデルテンプレートを生成する。環境の違いとして、例えば、明るさ、画像ノイズ、物体の回転や大きさの変化、変形などが存在する。ロバストな画像照合を可能とするために、モデルテンプレート生成処理部１１０は、入力されるモデル画像に対して、想定される種々の変動を加えた変動画像を複数生成し、複数の変動画像から得られる特徴量の分布に基づいて、１つのモデルテンプレートを生成する。

［モデル画像取得］
モデルテンプレートを生成するために、まずモデル画像取得部１１１がモデル画像を取得する（Ｓ１１）。モデル画像は、テンプレートマッチングによって検出すべき物体が撮影された画像である。モデル画像取得部１１１によるモデル画像の取得方法は任意であって良い。例えば、記憶媒体に記憶されたモデル画像データを読み込んでも良いし、ネット
ワーク経由でモデル画像データを取得しても良い。また、画像照合装置１００に撮像装置を組み込み、撮像装置によって撮影されたデータをモデル画像取得部１１１が取得しても良い。

［変動画像生成］
次に、変動画像生成部１１２が、モデル画像に対してそれぞれ異なる種々の変動を加えて、複数の変動画像を生成する（Ｓ１２）。変動の例として、回転、拡大・縮小、変形、照明の変化、画像ノイズの付加などがある。変動画像生成部１１２は、これらの変動の１つまたは複数を組み合わせた変動をモデル画像に加えて変動画像を生成する。どのような種類の変動を与えるかや、それぞれの変動をどの程度にするかは、実際に物体検出を行う際に想定される変動を考慮して決定することが好ましい。変動画像生成部１１２が生成する変動画像の枚数は任意であって良いが、例えば数千枚から数万枚程度の変動画像を生成することが考えられる。

［特徴量抽出］
次に、特徴量抽出部１１３が、複数の変動画像のそれぞれから特徴量を抽出する（Ｓ１３）。本実施形態では、抽出する特徴量として輝度勾配方向特徴量を採用する。以下、輝度勾配方向特徴量について図４を参照しながら説明する。図４（Ａ）に示すように、特徴量抽出部１１３は、変動画像３０を複数の領域に分割する。本実施形態では、３ピクセル×３ピクセルの大きさを有する領域に分割する。図４（Ｂ）は、図４（Ａ）における領域３１を拡大して示した図である。図４（Ｂ）に示すように、領域３１は３×３の９個のピクセル３１Ａ〜３１Ｉから構成される。なお、各領域の大きさは３×３以外の任意の大きさであってもよい。また、各領域が互いに重複するように領域分割をしても良い。

特徴量抽出部１１３は、分割領域内の各ピクセルについて輝度勾配の方向および大きさ（強度）を求める。輝度勾配は、対象ピクセルおよびその周囲のピクセルから求めることができる。図４（Ｃ）は、領域３１内の各ピクセルについて求められる輝度勾配を表す。ここで、矢印の方向は輝度勾配の方向を表わし、矢印の長さは輝度勾配の大きさを表す。図４（Ｃ）において太線で示される矢印は、輝度勾配強度が所定の閾値以上であることを示している。本実施形態においては、あるピクセルにおける輝度勾配強度が所定の閾値未満である場合には、そのピクセルから輝度勾配が検出されなかったとみなす。図４（Ｃ）の例では、３つのピクセル３１Ｃ，３１Ｅ，３１Ｇからのみ輝度勾配が検出されたものとみなす。

輝度勾配の方向は、図４（Ｄ）に示すように量子化されて表される。本実施形態では、輝度勾配方向を８つの方向に分類している。したがって、図４（Ｃ）に示す領域３１からは、方向１の輝度勾配が１つと、方向２の特徴量が２つ抽出される。なお、輝度勾配方向を量子化する際の量子化方法は任意であって構わない。

以上の処理をモデル画像３０内の全ての領域に対して実施することで、１枚の変動画像に対する輝度勾配方向特徴量の抽出が完了する。

特徴量抽出部１１３は、全ての変動画像に対して上記の処理を施し、各領域の輝度勾配方向特徴量の分布を統合することにより、各領域における特徴量分布を作成する（Ｓ１４）。複数の変動画像から特徴量分布を作成する処理について、図５を参照して説明する。図５（Ａ）は、モデル画像４０を示す図である。モデル画像４０には、検出対象物体４２が写っている。なお、図中では検出対象物体４２の内部をハッチングで示しているが、内部と境界線とは同じ輝度を有するものとする。以下、モデル画像４０における領域４１を例にとって、特徴量分布作成処理を説明する。

図５（Ｂ）は、モデル画像４０に種々の変動（ただし、ここでは回転および拡大・縮小に限定している）を加えた場合の、領域４１における画像を示している。変動がなければ領域４１には物体４２の角部（縦方向エッジおよび横方向エッジ）が含まれるが、変動によって、エッジの向きが変動したり、いずれか一方のエッジまたは両方のエッジが領域４１からはずれてしまったりする。図５（Ｂ）に示すそれぞれの変動画像の領域４１から、輝度勾配方向特徴量を抽出した結果を図５（Ｃ）に示す。それぞれの変動画像から、１つまたは複数の輝度勾配方向特徴量が得られる。加えられる変動によって抽出される輝度勾配は異なるものとなるが、平均するとモデル画像の輝度勾配と類似する輝度勾配が得られる確率が高い。

図５の例では、モデル画像に加える変動を回転や拡大・縮小として説明しているが、照明を変化させたり、画像ノイズを付加したりするといった変動を加える場合であっても同様の処理が行えることは明らかであろう。

特徴量抽出部１１３は、このようにして複数の変動画像から得られる１つの領域に関する輝度勾配方向特徴量の分布を作成する。図５（Ｄ）は、モデル画像４０の領域４１における特徴量分布を示す図である。図５（Ｄ）においては、横軸は量子化された輝度勾配方向特徴量、縦軸は各輝度勾配方向特徴量の出現確率を表す。出現確率は、ある領域から抽出される特徴量全体に占める、ある方向の特徴量の割合を意味する。この例では、領域４１から抽出される輝度勾配方向特徴量として出現頻度が高いものは、方向１および８であることが示されている。

特徴量抽出部１１３は、ステップＳ１４で作成された輝度勾配方向特徴量の分布に基づいて、モデル画像の領域毎にモデルテンプレート生成の際に用いる特徴量を算出する（Ｓ１５）。本実施形態においては、領域毎にその領域内における出現確率（出現割合）が高い輝度勾配方向特徴量をモデルテンプレート生成の際に用いる特徴量とする。ここで、出現確率（出現割合）が高い輝度勾配方向特徴量とは、当該領域において出現確率（出現割合）が所定の閾値以上の輝度勾配方向特徴量を指す。閾値として２０％を採用した場合は、図５（Ｄ）に示す分布からは方向１および８の輝度勾配方向特徴量が、モデルテンプレート生成の際に用いる特徴量として決定される。

なお、モデルテンプレート生成の際に用いる特徴量は上記以外の基準によって選択しても良い。例えば、ステップＳ１４で作成された輝度勾配方向特徴量の分布自体をモデルテンプレート生成の際の特徴量として利用しても良い。その他にも、分布における最頻値や、特徴量の有無を０または１で表したものや、出現確率自体を特徴量として利用しても良い。

［モデルテンプレート生成］
モデルテンプレート生成部１１４は、特徴量抽出部１１３が算出した特徴量に基づいてモデルテンプレートを生成する（Ｓ１６）。モデルテンプレートは、モデル画像および変動画像の各領域に対応付けられた特徴量の集合であり、例えば２次元配列（特徴量マップ）として表現できる。この際、モデル画像の全ての領域に対応する特徴量を用いてモデルテンプレートを生成する必要はなく、特徴量の出現数が多い領域、あるいは分布の尖度が大きい領域から優先してモデルテンプレートを生成する。

例えば、特徴量の出現数が多い領域から優先してモデルテンプレートを生成する場合には、特徴量の出現数が所定の閾値以上の領域、あるいは、特徴量の出現数が所定の上位割合（例えば、上位２５％）に属する領域の特徴量を用いてモデルテンプレートを生成する。図６を例にして説明する。図６（Ａ）は、モデル画像５０と、その中の３つの領域５１，５２，５３を示している。図６（Ｂ）〜（Ｄ）は、それぞれ領域５１〜５３における輝
度勾配方向特徴量の分布を示す。図６（Ｂ）〜（Ｄ）においては、縦軸は、ステップＳ１３において抽出される特徴量の数を表す。この例では、例えば、領域５１と５２における特徴量の出現数（全体の合計）は閾値以上であると判断され、領域５３における特徴量の出現数は閾値未満であると判断される。このように判断される場合は、モデルテンプレート生成部１１４は、領域５１および５２から取得される特徴を用いてモデルテンプレートを生成する。すなわち、モデルテンプレートは、領域５１および領域５２に対応した特徴量を含むが、領域５３に対応した特徴量は含まない。

特徴量の分布の尖度が大きい領域からモデルテンプレートを生成する場合も、上記と同様である。すなわち、特徴量分布の尖度が所定の閾値以上の領域の特徴量を用いてモデルテンプレートを生成する。なお、ここでの尖度は、頻度分布のピークのシャープさを表しピークがシャープなほど高い値をとる指標であれば任意のものを採用可能であり、統計学の分野において定義される尖度に限定されるわけではない。

また、特徴量の出現数が多い領域や、分布の尖度が大きい領域から優先してモデルテンプレートを生成する手法として、そのような領域ほど重み付けを大きくすることも好ましい。この場合、領域毎に特徴量の出現数や分布の尖度に基づいてその領域に対する指標値を算出して、この指標値を当該領域における照合時の重みとしてモデルテンプレートを生成する。

モデルテンプレート生成部１１４によって生成されたモデルテンプレートは、モデルテンプレート記憶部１３０に格納される。

＜テンプレートマッチング処理＞
次に、テンプレートマッチング部１２０によって実行されるテンプレートマッチング処理（画像照合処理）について、図７のフローチャートを参照しながら説明する。まず、照合画像取得部１２１が、照合画像を取得する（Ｓ２１）。照合画像は、モデルテンプレートを用いてその画像の中から物体を検出する対象となる画像である。照合画像取得部１２１による照合画像の取得方法は、モデル画像取得部１１１の場合と同様に任意であって構わない。

特徴量抽出部１２２は、照合画像から輝度勾配方向特徴量を抽出する（Ｓ２２）。この特徴量抽出処理は、特徴量抽出部１１３による処理（ステップＳ１３および図４）と同様である。特徴量抽出部１１３は、照合画像の各領域から輝度勾配方向特徴量を取得して特徴量マップを得る。

次に、画像照合部１２３は、特徴量抽出部１２２によって取得された特徴量マップと、モデルテンプレートとを比較することによって、照合画像に照合対象の物体が含まれるか否かを判定する。具体的には、照合画像から得られる特徴量マップとモデルテンプレートを領域ベースで比較して、その一致度合い（類似度）に基づいて、上記の判定が行われる。照合画像における処理対象位置をずらしながら照合を行うことで、類似度が所定値以上となる位置に検出対象の物体が存在することを検出できる。

照合画像の特徴量とモデルテンプレートの特徴量が一致するか否かは、次のように判定することができる。例えば、照合画像のある領域から得られる輝度勾配方向が、モデルテンプレートの同じ領域の特徴量分布に含まれていれば、当該領域において特徴量が一致すると判断できる。より具体的には、モデルテンプレートの輝度勾配方向特徴量分布が図５（Ｄ）に示すように方向１および８である場合に、照合画像における輝度勾配方向が１（あるいは、８、または、１および８）であれば、これらの特徴が一致すると判断できる。

ただし、上記の判定手法は一例であり、特徴量同士が一致するか否かの判定はその他の方法により行ってもよい。例えば、モデルテンプレートの特徴量に含まれる輝度勾配方向の全てが照合画像の特徴量に含まれる場合に、これらの特徴量が一致すると判定するようにしてもよい。また、照合画像から得られる輝度勾配方向の、モデルテンプレートの特徴量（分布）における出現率に基づいて判定をしてもよい。例えば、照合画像から得られる輝度勾配方向の、モデルテンプレートの分布における出現率（方向が複数ある場合は最大の出現率）が所定の閾値以上であるときに、一致すると判定してもよい。あるいは、照合画像から得られる全ての輝度勾配方向について、モデルテンプレートの分布における出現率を合計し、その合計が閾値以上であるときに、一致すると判定してもよい。

画像照合部１２３は、モデルテンプレートに含まれる複数の特徴量のうち、照合画像から得られる特徴量と一致するものの割合を類似度（照合スコア）とし、当該類似度が照合閾値以上である場合に、照合画像に照合画像の物体が含まれていると判定する。なお、モデルテンプレートに重み（特徴量の出現数や分布の尖度に基づく領域毎の指標値）が含まれる場合には、画像全体の類似度（照合スコア）を算出する際に領域毎にこの指標値に基づく重み付けをして類似度を算出する。

＜本実施形態の作用・効果＞
本実施形態によれば、モデル画像に対して種々の変動を加えた画像から特徴量抽出をしてモデルテンプレートを生成しているので、照合時における環境や物体の変動に対してロバストな検出が可能となる。

出現頻度の高い特徴量のみを使用してモデルテンプレートを生成しているので、照合処理が高速になる。また、出現頻度の低い特徴量は照合スコアに対する貢献度が小さいため、予期しない変動に対してもロバストな検出が可能となる。

物体を特徴付ける画像領域（出現数が多い領域や尖度の高い領域）の特徴量のみを使用している場合は、処理が高速になる。さらに、種々の変動に対して安定しない領域を使用しないことから、予期しない変動に対してもロバストな検出が可能となる。なお、出現数の多さや尖度の高さに基づいて領域毎の重みを採用する場合は、より正確な検出が可能となる。

本実施形態では、連続量を取らない特徴量を利用する場合にも適用可能である。また、特徴量分布が複数のピークを持つ場合であっても適用可能である。非特許文献１に記載のGeometric Blurでは、連続量を取り、単峰性の分布を取る特徴量に対してのみ適用可能である。したがって、本実施形態の方がより多くの種類の特徴量に対して適用可能である。

＜変形例＞
本実施形態では、輝度勾配方向特徴量を採用したが、量子化される値であれば任意の特徴量を採用可能である。例えば、輝度値（例：０〜２５５）、輝度値比較（相対位置関係ごとに大小関係を０，１で表現）、ウェーブレット変換特徴量などを採用可能である。

上記の説明では、照合画像から得られる特徴量マップとモデルテンプレートとを領域ベースで比較する手法を説明したが、テンプレートマッチングの手法は領域ベースの手法に限られず、特徴ベースのマッチングであってもよい。特徴ベースのマッチングでは、モデル画像から特徴点を抽出してモデルテンプレートを生成し、同様の手法により照合画像から特徴点を抽出する。特徴点抽出は、例えば、ＳＩＦＴやＳＵＲＦ特徴量などを用いて行うこともできる。そして、照合画像の特徴点とモデルテンプレートの特徴点を総当たりで比較し、照合スコアが最も高い点を対応する特徴点と判断する。複数の特徴点同士の対応関係から、射影変換や相似変換やアフィン変換などの変換パラメータを求めて、照合画像
中における検出対象物体の位置を判断することができる。

上記の説明では、モデル画像および照合画像が静止画であるものとして説明したが、モデル画像および照合画像は静止画像列（動画像）であっても構わない。動画像に対するモデルテンプレートの生成および照合処理も、上記で説明した静止画像に対する処理と同様に実現可能であり、したがって本実施形態は動画像に対しても適用可能である。なお、動画像に対して変動を加える場合には、各静止画像に対して上記で説明した変動を加える以外にも、明るさを徐々に変化させるという変動や、各画像の時系列間隔をランダムに変化させるといった変動を新たに加えることもできる。

上記の説明では、モデルテンプレートの生成と画像照合処理とを１つの装置によって実行しているが、モデルテンプレートの生成と画像照合は異なる装置によって行われてもかまわない。

１００ 画像照合装置
１１０ モデルテンプレート生成処理部
１１１ モデル画像取得部
１１２ 変動画像生成部
１１３ 特徴量抽出部
１１４ モデルテンプレート生成部
１２０ テンプレートマッチング部
１２１ 照合画像取得部
１２２ 特徴量抽出部
１２３ 画像照合部
１３０ モデルテンプレート記憶部

Claims (23)

1. 画像照合装置によって実行される画像照合方法であって、
   モデル画像を取得する取得ステップと、
   前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成ステップと、
   前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
   前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
   照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合ステップと、
   を含み、
   前記テンプレート生成ステップでは、前記特徴量抽出ステップにおいて特徴量が抽出される数が多い領域の特徴量を用いて、前記モデルテンプレートを生成する、
   画像照合方法。
2. 画像照合装置によって実行される画像照合方法であって、
   モデル画像を取得する取得ステップと、
   前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成ステップと、
   前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
   前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
   照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合ステップと、
   を含み、
   前記テンプレート生成ステップでは、前記特徴量の分布の尖度が高い領域の特徴量を用いて、前記モデルテンプレートを生成する、
   画像照合方法。
3. 画像照合装置によって実行される画像照合方法であって、
   モデル画像を取得する取得ステップと、
   前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成ステップと、
   前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
   前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
   照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合ステップと、
   を含み、
   前記テンプレート生成ステップでは、前記領域毎に、前記特徴量抽出ステップにおいて特徴量が抽出される数に基づいて当該領域の指標値を割り当て、
   前記照合ステップでは、各領域に割り当てられた指標値を重みとして用いる、
   画像照合方法。
4. 画像照合装置によって実行される画像照合方法であって、
   モデル画像を取得する取得ステップと、
   前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成ステップと、
   前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
   前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
   照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合ステップと、
   を含み、
   前記テンプレート生成ステップでは、前記領域毎に、前記特徴量抽出ステップにおいて抽出される特徴量の分布の尖度に基づいて当該領域の指標値を割り当て、
   前記照合ステップでは、各領域に割り当てられた指標値を重みとして用いる、
   画像照合方法。
5. 前記テンプレート生成ステップでは、前記領域毎に、前記特徴量抽出ステップにおいて抽出される特徴量の分布を用いて、前記モデルテンプレートを生成する、
   請求項１〜４のいずれかに記載の画像照合方法。
6. 前記テンプレート生成ステップでは、前記領域毎に、前記特徴量抽出ステップにおいて抽出される割合が多い特徴量を用いて、前記モデルテンプレートを生成する、
   請求項１〜４のいずれかに記載の画像照合方法。
7. 前記変動画像生成ステップにおいて前記モデル画像に加えられる変動は、回転、拡大・縮小、変形、照明の変化、画像ノイズの付加の少なくともいずれかである、
   請求項１〜６のいずれかに記載の画像照合方法。
8. 前記特徴量は、輝度勾配の方向である、
   請求項１〜７のいずれかに記載の画像照合方法。
9. 前記特徴量は、輝度値である、
   請求項１〜７のいずれかに記載の画像照合方法。
10. モデル画像を取得する取得部と、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成
    部と、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出部と、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成部と、
    照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合部と、
    を備え、
    前記テンプレート生成部は、前記特徴量抽出部が抽出する特徴量の数が多い領域の特徴量を用いて、前記モデルテンプレートを生成する、
    画像照合装置。
11. モデル画像を取得する取得部と、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成部と、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出部と、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成部と、
    照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合部と、
    を備え、
    前記テンプレート生成部は、前記特徴量の分布の尖度が高い領域の特徴量を用いて、前記モデルテンプレートを生成する、
    画像照合装置。
12. モデル画像を取得する取得部と、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成部と、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出部と、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成部と、
    照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合部と、
    を備え、
    前記テンプレート生成部は、前記領域毎に、前記特徴量抽出部が抽出する特徴量の数に基づいて当該領域の指標値を割り当て、
    前記照合部は、各領域に割り当てられた指標値を重みとして用いる、
    画像照合装置。
13. モデル画像を取得する取得部と、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成部と、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出部と、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成部と、
    照合画像から抽出される特徴量と前記モデルテンプレートを用いてテンプレートマッチングを行う照合部と、
    を備え、
    前記テンプレート生成部は、前記領域毎に、前記特徴量抽出部が抽出する特徴量の分布の尖度に基づいて当該領域の指標値を割り当て、
    前記照合部は、各領域に割り当てられた指標値を重みとして用いる、
    画像照合装置。
14. 請求項１〜９のいずれかに記載の方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。
15. モデルテンプレート生成装置によって実行されるモデルテンプレート生成方法であって、
    モデル画像を取得する取得ステップと、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成ステップと、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
    を含み、
    前記テンプレート生成ステップでは、前記特徴量抽出ステップにおいて特徴量が抽出される数が多い領域の特徴量を用いて、前記モデルテンプレートを生成する、
    モデルテンプレート生成方法。
16. モデルテンプレート生成装置によって実行されるモデルテンプレート生成方法であって、
    モデル画像を取得する取得ステップと、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成ステップと、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
    を含み、
    前記テンプレート生成ステップでは、前記特徴量の分布の尖度が高い領域の特徴量を用いて、前記モデルテンプレートを生成する、
    モデルテンプレート生成方法。
17. 照合画像のテンプレートマッチングに用いるモデルテンプレートを生成するモデルテンプレート生成装置によって実行される、モデルテンプレート生成方法であって、
    モデル画像を取得する取得ステップと、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成ステップと、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
    を含み、
    前記テンプレート生成ステップでは、前記領域毎に、前記特徴量抽出ステップにおいて特徴量が抽出される数に基づいて当該領域の指標値を割り当て、
    前記テンプレートマッチングでは、各領域に割り当てられた指標値が重みとして用いられる、
    モデルテンプレート生成方法。
18. 照合画像のテンプレートマッチングに用いるモデルテンプレートを生成するモデルテンプレート生成装置によって実行される、モデルテンプレート生成方法であって、
    モデル画像を取得する取得ステップと、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成
    ステップと、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出ステップと、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成ステップと、
    を含み、
    前記テンプレート生成ステップでは、前記領域毎に、前記特徴量抽出ステップにおいて抽出される特徴量の分布の尖度に基づいて当該領域の指標値を割り当て、
    前記テンプレートマッチングでは、各領域に割り当てられた指標値が重みとして用いられる、
    モデルテンプレート生成方法。
19. モデル画像を取得する取得部と、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成部と、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出部と、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成部と、
    を備え、
    前記テンプレート生成部は、前記特徴量抽出部が抽出する特徴量の数が多い領域の特徴量を用いて、前記モデルテンプレートを生成する、
    モデルテンプレート生成装置。
20. モデル画像を取得する取得部と、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成部と、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出部と、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成部と、
    を備え、
    前記テンプレート生成部は、前記特徴量の分布の尖度が高い領域の特徴量を用いて、前記モデルテンプレートを生成する、
    モデルテンプレート生成装置。
21. 照合画像のテンプレートマッチングに用いるモデルテンプレートを生成するモデルテンプレート生成装置であって、
    モデル画像を取得する取得部と、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成部と、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出部と、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成部と、
    を備え、
    前記テンプレート生成部は、前記領域毎に、前記特徴量抽出部が抽出する特徴量の数に基づいて当該領域の指標値を割り当て、
    前記テンプレートマッチングでは、各領域に割り当てられた指標値が重みとして用いられる、
    モデルテンプレート生成装置。
22. 照合画像のテンプレートマッチングに用いるモデルテンプレートを生成するモデルテンプレート生成装置であって、
    モデル画像を取得する取得部と、
    前記モデル画像にそれぞれ異なる変動を加えて複数の変動画像を生成する変動画像生成部と、
    前記複数の変動画像のそれぞれを複数の領域に分割し、領域毎の特徴量を抽出する特徴量抽出部と、
    前記特徴量に基づいてモデルテンプレートを生成するテンプレート生成部と、
    を備え、
    前記テンプレート生成部は、前記領域毎に、前記特徴量抽出部が抽出する特徴量の分布の尖度に基づいて当該領域の指標値を割り当て、
    前記テンプレートマッチングでは、各領域に割り当てられた指標値が重みとして用いられる、
    モデルテンプレート生成装置。
23. 請求項１５〜１８のいずれかに記載の方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。

Images