JP3872061B2

JP3872061B2 - 画像処理装置

Info

Publication number: JP3872061B2
Application number: JP2004031021A
Authority: JP
Inventors: 美和子広岡; 和彦鷲見; 橋本　　学
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-02-06
Filing date: 2004-02-06
Publication date: 2007-01-24
Anticipated expiration: 2022-01-24
Also published as: JP2004158043A

Description

この発明は、ロボットや産業機械の位置制御及び検査などに使われる視覚装置における画像処理装置に係り、特に特別なノウハウを必要とせず、認識精度を低下させることなく処理時間を短縮できる画像処理装置に関するものである。

従来の画像処理装置の説明をはじめる前に、先ず、基本的なテンプレートマッチング手法について説明する。テンプレートマッチング法（Template Matching ＝ＴＭ手法）は、ティーチング・バイ・ショーイング、即ち、対象毎にプログラムを組まなくても対象の画像を登録するだけで、自動的にその対象を再認識することができることを特徴とし、画像処理に関する知識のないユーザでも簡単に使いこなせるため、ユーザのニーズが高い位置合わせ手法である。

また、最近のファクトリーオートメーション（以下ＦＡという）分野における画像処理装置への要求として２値化処理だけで対応できないような複雑な検査や位置決めを高速に精度よく行うことが要求されており、正規化相互相関係数に基づいた位置合わせを行なう濃淡テンプレートマッチングへの期待は大きい。

しかし、濃淡テンプレートマッチングはその膨大な計算量のために、従来専用ハードウエアなしには、実現不可能とされてきた。そのため、画像処理装置が高価になり、市場開拓の障害となっていた。

図１６は従来の濃淡テンプレートマッチング処理を説明する説明図である。図に示すように、濃淡テンプレートマッチングは位置（ｘ，ｙ）から開始されるテンプレートと同じ大きさの局所領域Ｓ_x,yを順にずらしながら、テンプレート画像Ｇ_i,jと探索画像Ｆ_i,jの相関値Ｍ_x,yを計算し、相関値が最も高い位置（ｘ，ｙ）をテンプレートが発見された位置として出力する。なお、この相関値Ｍ_x,yは次の式（１）で与えられる。

ただし、上記式（１）において、Ｆ，Ｇは探索画像あるいはテンプレート画像の局所領域内における画像の輝度の平均値、ｎは局所領域Ｓ_x,yに含まれる画素の個数である。また、この式（１）には分母側に画像の輝度分散を表す項が含まれていることからもわかるように、この相関値Ｍ_x,yは、画像の明るさの線形的な変動Ｆ’_i,j＝Ｆ_i,j×ｋ１＋ｋ２に全く影響を受けないことがわかる。従って、濃淡テンプレートマッチングを用いることによってテンプレート画像と検査画像とのコントラストが変化したり、画像全体の明るさの変化やノイズへの余裕度が大きい。

しかしながら、このような濃淡テンプレートマッチングは相関値演算に時間がかかり、ＦＡ分野など、高速化が要求される場合には時間の制限から実用的に対応できなかった。たとえば、５１２×５１２の検査画像中、１２８×１２８のテンプレート画像のサーチを行う場合、次の式（２）による回数の積和演算が必要であり、１００Ｍｉｐｓクラスの計算機をもってしても１０秒以上の計算時間を要することとなる。

１２８×１２８×（５１２−１２８）×（５１２−１２８）＝２．４×１０⁹
・・・（２）

これに対して、よく知られた高速化手法として粗精サーチ法がある。図１７は粗精サーチ法による処理の概要を説明する説明図である。図に示すように、粗精サーチ法は、第１ステップとして原画像を１／４や１／８に縮退した画像（粗画像）を作り、粗画像のテンプレート画像でだいたいの位置をサーチし、その周辺だけを原画像で精サーチして正確な位置を求めるという方法である。この方法で先ほどの例と同じ結果を得るのに必要な演算量は、粗精サーチの比率を１：Ｎとすれば、下記式（３）で与えられる回数で済む。

図１８は図１７で説明した粗精サーチ法における式（３）の精サーチ量Ｎと粗精比との関係を示すグラフ図である。図１８に示すように、Ｎを変化させると、Ｎが極小となる最適な粗精比が存在するが、このような場合にも、ＦＡラインでの実用化レベルとして目安にされる０．１ｓｅｃ以内の認識を達成するには、まだ数百倍の時間短縮を達成しなければならない。

このように、従来の粗精サーチによるテンプレートマッチング法では、処理速度が遅く実用的でないという問題点があった。

このようなテンプレートマッチング技術に対して、いくつかの技術が開発されている。図１９は、例えば特許文献１に示された従来の部分テンプレートマッチング法を示す説明図である。図において、１１はパターン位置検出対象である半導体ペレットの回路素子形成領域であり、１２は回路素子形成領域１１の２辺に規則的に配列された接続パッドである。１３ａ，１３ｂはパターン位置検出に際して探索されるパターン探索領域（目標パターン）である。

ここでは目標パターンとそれぞれ一致するテンプレートを持ち、予め教示していた位置関係を利用して、真のピークを検出しようとするものである。この場合、対象としたいテンプレートを部分に分けて、それぞれの部分でパターン探索領域１３ａ，１３ｂとテンプレートマッチングすることによって、同一の特徴を持ったパターンが複数個等間隔に配列されている場合でも、目標パターンを識別できる。また、目標パターンを部分に分けて撮像できるので、分解能を高めることができる。

しかしながら、この方式ではどの部分をテンプレートとすれば良いのか、ユーザが判断しなければならず、ノウハウが必要とされた。

一方、テンプレートの自己評価方法を使用する画像処理装置として、特許文献２に開示されるものがある。図２０は前述した従来の画像処理装置の構成を示すブロック図である。図において、１４は検出対象を撮像する撮像手段、１５は撮像された画像データを２値化する２値化回路、１６は２値化された画像データを格納する画像メモリ、１７はシフトメモリ１８、並列切出しレジスタ１９、標準パターンレジスタ２０、パターン照合回路２１より成り、画像データより切り出した部分パターンを標準パターンと照合するマッチング回路、２２はパターン照合回路２１の出力の最小値を検出する最小値検出回路、２３は領域限定回路、２４はそれらに所定のタイミングを与えるタイミング発生回路、２５は当該システムの全体制御を行う計算機である。

次に動作について説明する。
撮像手段１４で撮像された検出対象の画像から、求めるべき標準パターンの大きさの部分パターンを切り出して、標準パターンの候補とし、順次切り出された部分パターンあるいは部分パターンと検出対象の画像から標準パターンとしての適性を表す評価値を求め、その値に基づいて標準パターンを決定するように動作する。このように、画面内から自動的にパターンマッチングに適した標準パターンを選択できるので、ユーザのノウハウが不要となる。

しかしながら、上記画像処理装置では入力画像の中からテンプレートを選択するのに、ユーザは予めテンプレートの大きさを決定しておかなければならず、せっかく自己評価して最適なテンプレートが自動的に登録されるとしても最適な大きさが選択されているかどうかは評価できない。

また、入力画像全面をテンプレートの候補として順次切り出して、それぞれについて評価しなければならないので、時間もかかる。多くのテンプレートマッチングを用いて認識を行なう場合、ユーザが認識したい対象物は自明であることが多いのに、そのユーザの知識が活かせず、評価値のみでテンプレートが決定されてしまうので、不必要な処理にかかる時間が多く、ユーザの意図も反映しにくいという問題点があった。

図２１は特許文献３に開示される従来の画像処理装置の構成を示すブロック図である。図において、２６はサーチ画像を保存する探索画像用記憶装置、２７はテンプレート画像を保存しておくテンプレート画像用記憶装置、２８は両画像の０値を処理する０値データ処理回路で、２９は両画像値の比を求める割算器である。

３０は割算器２９の計算値を保存する計算値保存用記憶装置、３１は割算器２９の出力値と計数値保存用記憶装置３０の保存値との差の絶対値を求める絶対値計算回路、３２は今回得られた絶対値と前回得られた絶対値を加算する加算回路、３３はしきい値を保存するしきい値保存回路で、３４は加算回路３２による加算値としきい値とを比較する比較回路である。

また、この画像処理装置では、残差逐次検定法（Suquential Similarity Ditection Algorithm ＝ＳＳＤＡ法）による打ち切りを、画像間に明るさの差があっても達成できるように変形している。従って、画像取得時の周囲の明るさなどの制限がなくなって、常時環境が変化するような状況でのアプリケーションに用いることができる。

この画像処理装置では、入力画像全体の明るさのコントラストの幅が変化しても対応できるようになっているが、画像全体の明るさがシフトアップもしくはシフトダウンしたときには、両画像の比はテンプレートの位置によって変化するので対応できない。また、しきい値処理をしており、このしきい値を決定するにはノウハウを要する。

また、サブピクセルの精度を求める方法として、特許文献４に開示されるものが提案されている。図２２は前述した特許文献４に開示された従来の画像処理方法を示すフロー図である。概要について説明すると、画素位置を画素単位でずらしつつ被検出画像とテンプレート画像との相関値を算出し、その相関値が最大となる画素位置を探索し（第１段階）、その８近傍画素の位置と相関値を求め（第２段階）、これらの座標と相関値から多変数多項式回帰曲面を決定し（第３段階）、その曲面のピークからサブピクセル精度のピーク検出を行なう（第４段階）ものである。

このように、多変数多項式回帰曲面から、高精度でピーク位置の変化に連続な推定ピーク位置を求めることができるので、画素単位を超越したサブピクセル精度で位置検出することができる。

しかしながら、中心と８近傍の全９点の相関値を最初に計算しなければならず、処理時間がかかる。また、ＸＹ平面と相関値の関係が２次の曲面を形成することが仮定となっているが、実際の相関値のピークと近傍の形状は２次曲面よりもするどいピークを描くことが多いので、２次曲面の近似では正確にピークを求めることができない。

特公平２−６４２号公報特開昭６１−７４０８２号公報特開平４−３５９３８８号公報特開平５−１２０４３６号公報

従来の画像処理装置は以上のように構成されているので、通常の濃淡テンプレートマッチングでは相関値の演算に多大な時間がかかるため実用的ではなく、粗精サーチによるテンプレートマッチングでも処理時間の短縮は充分とはいえず、ＦＡなどの高速処理が要求される分野には時間の制約から実用的に対応することができないものであるという課題があった。

また、部分テンプレートマッチング法によるものでは、どの部分をテンプレートとするかをユーザが判断するためのノウハウが必要であり、テンプレートの自己評価を行う方式では評価値のみでテンプレートが決定されてしまうため、ユーザの知識を生かせず、不必要な処理にかかる時間が多く、ユーザの意図も反映しにくいものであった。

さらに、ＳＳＤＡ法によるものでは画像全体の明るさのシフトアップやダウンに対応できず、しきい値処理のためのしきい値の決定にノウハウが必要であり、サブピクセル精度で位置検出するものでは、中心と８近傍の相関値の計算に時間がかかり、２次曲面の近似では正確にピークを求めることができないなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、特別なノウハウを必要とせず、認識精度を低下させることなく処理時間を短縮できる画像処理装置を得ることを目的とする。

この発明に係る画像処理装置は、入力画像に空間バンドパスフィルタを作用させるフィルタリング部と、このフィルタリング部の出力に対して２種類のしきい値を用いたしきい値処理を行って３値の画像表現を得る３値化部と、この３値化部の出力する３値化された中間画像と、同様にして作成したテンプレート画像との間で近似的な相互相関演算を行い、その相関値に基づいて最良の重ね合わせが得られる位置を得る３値テンプレートマッチング部と、重ね合わせた入力画像のフィルタリング部の出力中の、テンプレートデータの中から予め選び出した着目画素に対応する画素を参照して、その画素がテンプレートデータに保存されている要件を満たしているか否かを判定する適合度判定部と、要件を満たしていると判定された画素の集まりから、入力画像の小数点以下の位置ずれ量を算出する位置ずれ量算出部と、この位置ずれ量算出部の算出した小数点以下の位置ずれ量とテンプレートデータに保存されている小数点以下の位置ずれ量とを比較して最終の位置合わせ結果を得る演算部とを備えるものである。

この発明によれば、入力画像に空間バンドパスフィルタを作用させるフィルタリング部と、このフィルタリング部の出力に対して２種類のしきい値を用いたしきい値処理を行って３値の画像表現を得る３値化部と、この３値化部の出力する３値化された中間画像と、同様にして作成したテンプレート画像との間で近似的な相互相関演算を行い、その相関値に基づいて最良の重ね合わせが得られる位置を得る３値テンプレートマッチング部と、重ね合わせた入力画像のフィルタリング部の出力中の、テンプレートデータの中から予め選び出した着目画素に対応する画素を参照して、その画素がテンプレートデータに保存されている要件を満たしているか否かを判定する適合度判定部と、要件を満たしていると判定された画素の集まりから、入力画像の小数点以下の位置ずれ量を算出する位置ずれ量算出部と、この位置ずれ量算出部の算出した小数点以下の位置ずれ量とテンプレートデータに保存されている小数点以下の位置ずれ量とを比較して最終の位置合わせ結果を得る演算部とを備えるので、画素単位の位置合わせを高速に行うことができ、さらに画素の小数点以下の精度での位置合わせが可能になるという効果がある。

この発明によれば、原画像より切り出された指定領域の画像と、その開始点や姿勢を変えながら取り出した指定領域と同じ大きさの領域の画像との類似度を評価する類似度評価部と、この類似度評価部の評価結果に基づいて、指定領域の画像がテンプレート画像として適切であるか否かを判定する判定部とを備えるので、パターンマッチングの原理を熟知していないユーザでも、適切な基準パターンを選ぶことができるという効果がある。

参考形態１．
図１はこの発明の実施の形態ではないが、その理解を助けるための参考形態１による画像処理装置の構成を示すブロック図である。図において、８０は画像入力部より入力された原画像であり、８１はこの原画像８０に予めよく似た属性の部分領域であるセグメントに分割するセグメント化部である。８２は原画像８０とセグメント化部８１によって分割されたセグメントの画像の表示を行う画像表示部であり、８３はユーザがこの画像表示部８２の表示を参照してテンプレート画像として選択したいセグメントを指定する情報の入力を行う入力装置である。８４はこの入力装置８３より入力された情報によって指定されたセグメントに外接する外接長方形を生成する外接長方形生成部であり、８５は原画像８０よりこの外接長方形生成部８４の生成した外接長方形で囲まれた領域を切り出す画像切出部、８６はこの画像切出部８５によって切り出された画像をテンプレート画像として登録するパターン登録部である。

次に動作について説明する。
ここで、図２はこの参考形態１による画像処理装置の動作を示すフロー図であり、図３は参考形態１の画像処理装置による画像処理の過程をイメージ的に示した説明図である。このように構成された画像処理装置を用いたテンプレートパターンの登録を次のように行われる。ユーザは登録したい対象物をカメラなどの画像入力部を用いて撮像する（ステップＳＴ１２１）。

入力された原画像８０は一旦画像メモリに格納される。次にこの原画像８０をセグメント化部８１によって領域分けする（ステップＳＴ１２２）。領域分けは様々な方法で行なえることが知られている。例えば、次のような方法がある。入力画像をあるしきい値で２値化して２値画像を生成し、ラベリングを行なうことによって領域分けを行う。

この他に、入力画像に空間バンドパスフィルタであるディファレンス・オブ・ガウシアン・フィルタ（ Difference of Gaussian filter；以下、ＤＯＧフィルタという）をかけ、２つのしきい値でしきい値処理を行ない、３値画像を生成し、ラベリングすることによって領域分けする。なお、これら以外の手法を用いてセグメント化してもよい。

次に、どのように領域分けされたかをユーザにわかるように画像表示部８２に領域分けされた画像を表示する（ステップＳＴ１２３）。ユーザはそれを見て、自分が登録したい対象物の領域を選択し、マウスやキーボードなどの入力装置８３を用いて入力する（ステップＳＴ１２４）。図３に示した例では対象物は全体がひとつの領域に入っており、ユーザもそのひとつの領域を選択するように描かれているが、対象物が２つ以上の領域に分けられているときなど、複数個の領域を同時に選択することもできる。

また、ユーザが選択しやすいように領域に番号をつけ番号を指定してもよいし、面積やコーナー数を一緒に表示してもよい。なお、この参考形態１ではユーザが対象物の領域を選択する例を示したが、予めユーザが登録したい対象物の特徴、即ち、面積や形状的特徴などを入力しておき、それに最も近い領域を自動的に選択したり、ユーザに示すなどしてユーザのプログラミングを補助するようにしても良い。

入力装置８３から入力された情報によって原画像８０中の対象物に対応したセグメントが選択され（ステップＳＴ１２５）、選択された領域が決定した後、そのセグメントに外接する外接長方形が外接長方形生成部８４によって生成される（ステップＳＴ１２６）。なお、複数の領域が同時に選択された場合は、そのすべての領域を含む外接長方形を生成する。

外接長方形は着目領域中すべての画素の位置のＸの最小値、Ｙの最小値と、Ｘの最大値、Ｙの最大値の二点を対角とする長方形で、Ｘ軸に平行な辺とＹ軸に平行な辺とで構成される。最後に画像切出部８５によって原画像８０より、この外接長方形によって囲まれた領域の切り出しを行い（ステップＳＴ１２７）、パターン登録部８６にてそれをテンプレート画像として登録する（ステップＳＴ１２８）。

以上のように、この参考形態１によれば、ユーザの指定したセグメントに外接する長方形で囲まれた領域の画像をテンプレート画像とするように構成したので、パターンマッチングの原理を熟知していないユーザでも、少ない操作で適切な基準パターンを選ぶことができる。

参考形態２．
この参考形態２は、テンプレートマッチングに使用しない領域に対してマスクを生成するものである。

図４は参考形態２による画像処理装置の構成を示すブロック図である。図において、８７は画像切出部８５によって原画像８０から切り出された画像を、テンプレートマッチングに使用する領域とそれには使用しない領域とに分け、テンプレートマッチングには使用されない領域にマスクを生成するマスク生成部である。なお、図１と同一構成要素には同一符号を付して重複する説明を省略する。

次に動作について説明する。
図５は参考形態２の画像処理装置による動作を示すフロー図であり、図６は参考形態２の画像処理装置による画像処理の過程をイメージ的に示した説明図である。図４に示すように構成された参考形態２による画像処理装置を用いたテンプレートパターンの登録は以下に示す手順で行われる。登録手順のうち、画像入力（ステップＳＴ１２１）から画像切り出し（ステップＳＴ１２７）までの手順は上記参考形態１と同じやり方で行なうので重複する説明を省略する。ただし、上記参考形態１のようにセグメントの外接長方形を切り出すもののみではなく、ユーザが自由に好きな形に指定した領域を切り出すようにしてもよい。

これらいずれかの方法で領域を切り出した後、マスク生成部８７は切り出した領域をテンプレートマッチングに使用する領域と使用しない領域とに自動的に分ける。この領域分けは上記参考形態１で行なったような領域分けの方法がある。

また、上記参考形態１のようにテンプレート領域を決定するときに、原画像８０の全体を領域分けしてから、ユーザが領域を選択することによって、テンプレート領域を決定した場合、対象物の領域は既知であるので、対象物の領域はテンプレートとして使用する領域とし、その他の領域、主に背景であることが多い領域は使用しない領域として分けることができる。

この使用しない領域はマスク領域としてマスクを生成し（ステップＳＴ１２９）、マスク領域の画像データはテンプレートマッチング動作時に参照しないようにテンプレートデータに記録しておく（ステップＳＴ１３０）。なお、テンプレートマッチングを実行するときには、マッチングに使用する領域のみを使用してサーチを行なう。

以上のように、この参考形態２によれば、テンプレートマッチングに使用しない領域に対してマスクを生成するように構成したので、登録した矩形パターンの面積に比べて認識対象物体が小さい場合でも信頼性の高いマッチングが可能になる。

実施の形態１．
この実施の形態１は、着目画素がテンプレートデータに保存されている要件を満たしているか否かを判定して、満たしている着目画素のみを採用し、採用画素の集まりから入力画像の小数点以下の位置ずれ量を計算するものである。

図７はこの発明の実施の形態１による画像処理装置の構成を示すブロック図である。図において、４１はこの対象物を撮像して原画像の入力を行うテレビカメラなどの画像入力部、９０は画像入力部４１より入力されたサーチ画像を縮小する画像縮小部、９１はこの画像縮小部９０にて縮小された画像と画像入力部４１からの縮小されていない画像とを切り替える切替部であり、９２はこの切替部９１より出力される画像に空間バンドパスフィルタを作用させるフィルタリング部である。

このフィルタリング部９２でも上記参考形態１の場合と同様に、空間バンドパスフィルタとしてＤＯＧフィルタが用いられている。９３はこのフィルタリング部９２の出力に対して２種類のしきい値を用いたしきい値処理を行って、３値表現された多重解像度のシーン表現である３値画像を得る３値化部であり、９４はこの３値化部９３でしきい値処理に用いる２種類のしきい値の最適値を決定する最適しきい値決定部である。

また、９５はこの３値化部９３の出力する３値画像と３値表現された２次元テンプレート画像との間でテンプレートマッチングを行って近似的な相互相関の演算を行って、得られた相関値に基づいて最良の重ね合わせが得られる位置を算出する３値テンプレートマッチング部である。９６は記憶されているテンプレートデータの中から予め選び出した着目画素について、重ね合わせた入力画像のフィルタリング部９２の出力中の対応する画素を参照して、その画素がそのテンプレートデータに保存されている要件を満たしているか否かを判定する適合度判定部である。

９７はこの適合度判定部９６において前記要件を満たしていると判定された画素の集まりから、入力画像の小数点以下の位置ずれ量を計算する位置ずれ量算出部であり、９８はこの位置ずれ量算出部９７の算出した小数点以下の位置ずれ量を前記テンプレートデータに保存されている小数点以下の位置ずれ量と比較して最終位置合わせ結果を得る演算部である。

次に動作について説明する。
図８は実施の形態１の画像処理装置によるテンプレート生成処理を示すフロー図、図９は図８に示したテンプレート生成処理における小数点以下位置ずれ量の計算方法を示す説明図、図１０は実施の形態１の画像処理装置による画像処理の流れを示すフロー図、図１１は実施の形態１の画像処理装置による画像処理の過程をイメージ的に示した説明図である。

先ず、図８に従ってテンプレートデータの生成について説明する。
ユーザは対象物を撮像して入力し、テンプレート領域としての対象物の部分を切り出すように操作する（ステップＳＴ１３１）。切り出された画像はフィルタリング部９２において、自動的にＤＯＧフィルタでフィルタリングされてフィルタリング画像を生成する（ステップＳＴ１３２）。３値化部９３はこのフィルタリング画像を２つのしきい値で３値化し、３値画像を生成する（ステップＳＴ１３３）。この３値画像はテンプレート画像として保存する（ステップＳＴ１３４）。

一方、その３値画像の中で正領域と負領域が隣あっている位置をいくつか選びだし（ステップＳＴ１３５）、着目点としてその座標と属性をテンプレートデータとして保存する（ステップＳＴ１３６）。ここで、この属性とは正領域と負領域の位置関係のことで、正領域の右に負領域がある組合せ、反対の位置関係にある組合せ、上下関係にある組合せなどがある。場合によっては、右上、右下、左上、左下というような斜め方向の属性を含んでもよいが、ここでは簡単に説明するため、上下左右の位置関係のみを扱う。

次に各着目点における小数点以下の位置ずれ量を計算する（ステップＳＴ１３７）。この計算方法を図９を用いて説明する。この位置ずれ量計算は３値化する前のフィルタリング画像を用いて行なう。着目点が正領域、負領域に相当するフィルタリング画像の値をもとに、その２点を結んだグラフが０点、すなわち、Ｘ軸と交差する位置のＸ座標を計算で求める。

ここでは、２点間は線形であると仮定して、計算しているが、その他の補間手法を用いても良い。算出された小数点以下の位置ずれ量はテンプレートデータとして保存される（ステップＳＴ１３８）。このようにして、テンプレートデータには３値画像によるテンプレート画像、着目点の座標と属性、小数点以下の位置ずれ量の標準値などが保存される。

次にサーチ手順を図１０に従って説明する。
先ず、画像入力部４１よりサーチ画像を入力し（ステップＳＴ１４１）、そのサーチ画像をデジタル化してフィルタリング部９２に送り、ＤＯＧフィルタを作用させ、フィルタリング画像を生成する（ステップＳＴ１４２）。そのフィルタリング画像を３値化部９３に送り、二つのしきい値でしきい値処理して３値画像を得る（ステップＳＴ１４３）。

このようにして得られた３値化された中間画像を３値テンプレートマッチング部９５に送り、同様にして作成してテンプレートデータとして記憶されているテンプレート画像との間で近似的な相互相関演算を行ない（ステップＳＴ１４４，ＳＴ１４５）、その相関値に基づいて最良の重ね合わせを得る位置を算出する（ステップＳＴ１４６）。

ついで適合度判定部９６において、記憶されているテンプレートデータの中からあらかじめ選び出した着目画素について、サーチ画像のフィルタリング画像と重ね合わせを行い（ステップＳＴ１４７）、その画素の符号が一致するか否かをチェックする（ステップＳＴ１４８）。すなわち、着目点の位置において、テンプレート画像の正領域の位置にはサーチ画像の対応する点においても正領域の領域になっており、その組合せにおける負領域の位置にはサーチ画像でも負領域が存在するというように＋−の組合せでどちらでも一致する場合、その着目点は採用するものと判定して位置ずれ量算出部９７に送る。

位置ずれ量算出部９７はこの採用すると判定された着目点について小数点以下の位置ずれ量を計算する（ステップＳＴ１５０）。この小数点以下の位置ずれ量の計算方法はテンプレートデータ生成のときと同様に、フィルタリング画像の正負のそれぞれの値から０を通る位置を推定する方法である。小数点以下の位置ずれ量はＸ，Ｙの方向別に加算されて記録され（ステップＳＴ１５１）、そのときデータ数もインクリメントする（ステップＳＴ１４９）。さきほどの着目点での＋−が一致しなかった着目点については、そのデータは使わずに捨てる。

すべての着目点について上記小数点以下の位置ずれ量の処理が行われた後、演算部９８は方向別にそれらの平均を求め、これをサーチ画像の小数点以下の位置ずれ量とする（ステップＳＴ１５２）。次に、それをテンプレートとして記憶されている固有の位置ずれ量と比較し、その差と３値画像の近似的相互相関のピークで求めた対象物の位置とを加算して、その位置を対象物の正確な位置とする（ステップＳＴ１５３）。

以上のように、この実施の形態１によれば、テンプレートマッチングに使用しない領域に対してマスクを生成するように構成したので、登録した矩形パターンの面積に比べて認識対象物体が小さい場合でも信頼性の高いマッチングが可能になる。

実施の形態２．
この実施の形態２は、指定領域の画像と、開始点や姿勢をずらしながら切り出した領域の画像の類似度を評価し、その評価結果に基づいて指定領域のテンプレート画像として適当かを判定するものである。

図１２はこの発明の実施の形態２による画像処理装置の構成を示すブロック図である。図において、９９は画像入力部から入力された原画像８０よりユーザの指定する指定領域を切り出す第１画像切出部であり、１００はこの第１画像切出部９９の切り出した画像が一旦登録されるパターン登録部である。１０１は原画像８０を回転および平行移動させる回転／平行移動部であり、１０２はこの回転／平行移動部１０１にて回転あるいは平行移動された原画像８０より前記指定画像と同一の大きさの領域を切り出す第２画像切出部である。

１０３はこの第２画像切出部１０２によって切り出された領域の画像と前記指定領域の画像との類似度を評価する類似度評価部であり、１０４はこの類似度評価部１０３の評価結果に基づいて、パターン登録部１００に登録されている指定領域の画像がテンプレート画像として適切であるか否かを判定する判定部である。なお、図１と同一構成要素には同一符号を付して重複する説明を省略する。

次に動作について説明する。
図１３は実施の形態２の画像処理装置による動作を示すフロー図であり、図１４は実施の形態２の画像処理装置による画像処理の過程をイメージ的に示した説明図、図１５は実施の形態２の画像処理装置によるテンプレート画像の回転処理を示す説明図である。
なお、この実施の形態２の画像処理装置はテンプレートを登録する方法を使用するものである。

ユーザは登録したい対象物をカメラで撮像して原画像８０として入力し、その原画像８０の中で自分が登録したい領域を第１画像切出部９９に指示してそれを切りとり、テンプレートとしてパターン登録部１００に一旦登録する（ステップＳＴ１６１）。なお、このテンプレートを仮テンプレートと呼ぶ。次に、類似度評価部１０３はこの仮テンプレートを用いて、回転／平行移動部１０１および第２画像切出部１０２によって領域の開始点や姿勢をずらしながら切り出されてくる領域の画像と、この仮テンプレートとの相互相関値を求め（ステップＳＴ１６２）、スコアマップを生成する（ステップＳＴ１６３）。

次に判定部１０４によってマップ形状の解析を行なう（ステップＳＴ１６４）。このマップ形状の解析は図１４に示すように行われる。即ち、真の対象物の位置にマップ上でピークがあらわれるか、同じようなピークが複数個でないか、ノイズに埋もれないか、などの安定性のチェック（ステップＳＴ１６５）やユニークネスのチェック（ステップＳＴ１６６）である。

もし、同じ画像に対象物とおなじようなパターンが複数個あり、ピークがいくつもあらわれるような場合にはユーザに警告を発する（ステップＳＴ１６７）。ユーザが画面中に複数個の対象物を撮像しているためにピークが複数ある場合は正しい認識を行なっていると判断できるので、このテンプレートを本登録する（ステップＳＴ１６８）。

しかし、ユーザが意図しないでピークが現れる場合は、テンプレート画像そのものがテンプレートマッチングに適していないとして、別のアルゴリズムによる認識を行なうか、テンプレートの形状を変えるようにアドバイスする。また、対象物の背景が複雑で真のピークがノイズに埋もれてしまう場合は、テンプレートマッチングに向いていないとして、再度登録しなおすように指示する（ステップＳＴ１６９）。

また、テンプレート画像自身を回転させたり、Ｘ，Ｙ方向にずらしたときの画像ともとのテンプレート画像との相互相関や特徴量空間を比較し、類似していると判断された場合はユーザに警告する。例えば、図１５の右のテンプレート（例２）では、０°のテンプレート画像と１８０°回転させたときのテンプレート画像は似ているので、この対象物は１８０°ごとに回転を区別できないことをユーザに知らせる。

以上のように、この実施の形態２によれば、指定領域の画像と、開始点や姿勢をずらしながら切り出した領域の画像の類似度を評価し、その評価結果に基づいて指定領域のテンプレート画像として適当かを判定するように構成したので、パターンマッチングの原理を熟知していないユーザでも、適切な基準パターンを選ぶことができる。

参考形態１による画像処理装置の構成を示すブロック図である。参考形態１による画像処理装置の動作を示すフロー図である。参考形態１の画像処理装置による画像処理の過程をイメージ的に示した説明図である。参考形態２による画像処理装置の構成を示すブロック図である。参考形態２の画像処理装置による動作を示すフロー図である。参考形態２の画像処理装置による画像処理の過程をイメージ的に示した説明図である。この発明の実施の形態１による画像処理装置の構成を示すブロック図である。実施の形態１の画像処理装置によるテンプレート生成処理を示すフロー図である。図８に示したテンプレート生成処理における小数点以下位置ずれ量の計算方法を示す説明図である。実施の形態１の画像処理装置による画像処理の流れを示すフロー図である。実施の形態１の画像処理装置による画像処理の過程をイメージ的に示した説明図である。この発明の実施の形態２による画像処理装置の構成を示すブロック図である。実施の形態２の画像処理装置による動作を示すフロー図である。実施の形態２の画像処理装置による画像処理の過程をイメージ的に示した説明図である。実施の形態２の画像処理装置によるテンプレート画像の回転処理を示す説明図である。従来の濃淡テンプレートマッチング処理を説明する説明図である。粗精サーチ法による処理の概要を説明する説明図である。図１７で説明した粗精サーチ法における式（３）の精サーチ量Ｎと粗精比との関係を示すグラフ図である。従来の部分テンプレートマッチング法を示す説明図である。従来の画像処理装置の構成を示すブロック図である。従来の画像処理装置の構成を示すブロック図である。従来の画像処理方法を示すフロー図である。

符号の説明

４１画像入力部、８０原画像、８１セグメント化部、８２画像表示部、８３入力装置、８４外接長方形生成部、８５画像切出部、８６パターン登録部、８７マスク生成部、９０画像縮小部、９１切替部、９２フィルタリング部、９３３値化部、９４最適しきい値決定部、９５３値テンプレートマッチング部、９６適合度判定部、９７位置ずれ量算出部、９８演算部、９９第１画像切出部、１００パターン登録部、１０１回転／平行移動部、１０２第２画像切出部、１０３類似度評価部、１０４判定部。

Claims

入力画像に空間バンドパスフィルタを作用させるフィルタリング部と、
このフィルタリング部の出力に対して２種類のしきい値を用いたしきい値処理を行って３値の画像表現を得る３値化部と、
この３値化部の出力する３値化された中間画像と、同様にして作成したテンプレート画像との間で近似的な相互相関演算を行い、その相関値に基づいて最良の重ね合わせが得られる位置を得る３値テンプレートマッチング部と、
重ね合わせた上記入力画像の上記フィルタリング部の出力中の、テンプレートデータの中から予め選び出した着目画素に対応する画素を参照して、その画素が上記テンプレートデータに保存されている要件を満たしているか否かを判定する適合度判定部と、
上記要件を満たしていると判定された画素の集まりから、上記入力画像の小数点以下の位置ずれ量を算出する位置ずれ量算出部と、
この位置ずれ量算出部の算出した小数点以下の位置ずれ量と上記テンプレートデータに保存されている小数点以下の位置ずれ量とを比較して最終の位置合わせ結果を得る演算部と
を備えた画像処理装置。