JP3464463B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】この発明はロボットや産業機
械の位置制御及び検査などに使われる視覚装置における
画像処理装置に係り、特にテンプレートマッチング法に
おけるテンプレート画像の生成に関するものである。 【０００２】 【従来の技術】ここで、具体的な従来の画像処理装置の
説明をはじめる前に、まず基本的なテンプレートマッチ
ング手法について説明しておく。テンプレートマッチン
グ法（Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ ＝ＴＭ手
法）は、ティーチング・バイ・ショーイング、すなわち
対象毎にプログラムを組まなくても対象の画像を登録す
るだけで、自動的にその対象を再認識することが出来る
ような機能、が特徴であり、画像処理に関する知識のな
いユーザでも簡単に使いこなせるため、ユーザのニーズ
が高い位置合わせ手法である。また、最近のファクトリ
ーオートメーション（以下、ＦＡという）分野における
画像処理装置への要求として２値化処理だけで対応でき
ないような複雑な検査や位置決めを高速に精度よく行う
ことが要求されており、正規化相互相関係数に基づいた
位置合わせを行なう濃淡テンプレートマッチングへの期
待は大きい。しかし、濃淡テンプレートマッチングはそ
の膨大な計算量のために、従来専用ハードウエアなしに
は、実現不可能とされてきた。そのため、画像処理装置
が高価になり、市場開拓の障害となっていた。 【０００３】次に、この濃淡テンプレートマッチング処
理の概要を、図６を用いて説明する。濃淡テンプレート
マッチングは位置（ｘ，ｙ）から開始されるテンプレー
トと同じ大きさの局所領域Ｓ_ｘ，ｙを順にずらしなが
ら、テンプレート画像Ｇ_ｉ，ｊと探索画像Ｆ_ｉ，ｊの相
関値Ｍ_ｘ，ｙを計算し、相関値が最も高い位置（ｘ，
ｙ）をテンプレートが発見された位置として、出力す
る。なお、この相関値Ｍ_{ｘ， ｙ}は次の式（１）で与えら
れる。 【０００４】 【数１】 【０００５】ただし、上記式（１）において、Ｆ，Ｇは
探索画像あるいはテンプレート画像の局所領域内におけ
る画像の輝度の平均値、ｎは局所領域Ｓ_ｘ，ｙに含まれ
る画素の個数である。また、この式（１）には分母側に
画像の輝度分散を表す項が含まれていることからもわか
るように、この相関値Ｍ_ｘ，ｙは、画像の明るさの線形
的な変動Ｆ’_ｉ，ｊ＝Ｆ_ｉ，ｊ×ｋ１＋ｋ２に全く影響
を受けないことがわかる。従って、濃淡テンプレートマ
ッチングを用いることによってテンプレート画像と検査
画像とのコントラストが変化したり、画像全体の明るさ
の変化やノイズへの余裕度が大きい。 【０００６】しかしながら、このような濃淡テンプレー
トマッチングは相関値演算に時間がかかり、ＦＡ分野な
ど、高速化が要求される場合には時間の制限から実用的
に対応できなかった。たとえば、５１２×５１２の検査
画像中、１２８×１２８のテンプレート画像のサーチを
行う場合、次の式（２）による回数の積和演算が必要で
あり、１００Ｍｉｐｓクラスの計算機をもってしても１
０秒以上の計算時間を要することとなる。 【０００７】 １２８×１２８×（５１２−１２８）×（５１２−１２８） ＝２．４×１０^９ ・・・（２） 【０００８】これに対して、よく知られた高速化手法と
して粗精サーチ法があった。粗精サーチ法とは、図７に
示すように、第１ステップとして原画像を１／４や１／
８に縮退した画像（粗画像）を作り、粗画像のテンプレ
ート画像でだいたいの位置をサーチし、その周辺だけを
原画像で精サーチして正確な位置を求めるという方法で
ある。この方法で先ほどの例と同じ結果を得るのに必要
な演算量は、粗精サーチの比率を１：Ｎとすれば、次の
式（３）で与えられる回数で済む。 【０００９】 【数２】 【００１０】このようにＮを変化させると、図８に示す
様に最適な粗精比が存在するが、このような場合にも、
ＦＡラインでの実用化レベルとして目安にされる０．１
ｓｅｃ以内の認識を達成するにはまだ数百倍の時間短縮
を達成しなければならない。 【００１１】このように、従来の粗精サーチによるテン
プレートマッチング法では、処理速度が遅く実用的でな
いという問題点があった。 【００１２】このようなテンプレートマッチング技術に
対して、いくつかの技術が開発されている。図９はたと
えば、特公平２−６４２号公報に示された従来の部分テ
ンプレートマッチング法を示す説明図である。図におい
て、１１はパターン位置検出対象である半導体ペレット
の回路素子形成領域であり、１２はその２辺に規則的に
配列された接続パッドである。１３ａ，１３ｂはパター
ン位置検出に際して探索されるパターン探索領域（目標
パターン）である。 【００１３】ここでは目標パターンとそれぞれ一致する
テンプレートを持ち、予め教示していた位置関係を利用
して、真のピークを検出しようとするものである。この
場合、対象としたいテンプレートを部分に分けて、それ
ぞれの部分でパターン探索領域１３ａ，１３ｂとテンプ
レートマッチングすることによって、同一の特徴を持っ
たパターンが複数個等間隔に配列されている場合でも、
目標パターンを識別できる。また、目標パターンを部分
に分けて撮像できるので、分解能を高めることができ
る。 【００１４】しかしながら、この方式ではどの部分をテ
ンプレートとすれば良いのか、ユーザが判断しなければ
ならず、ノウハウが必要とされた。 【００１５】一方、テンプレートの自己評価方法として
特開昭６１−７４０８２号公報では次のような方式が提
案されている。次に図１０を用いてそれを説明する。図
において、１４は検出対象を撮像する撮像手段、１５は
撮像された画像データを２値化する２値化回路、１６は
２値化された画像データを格納する画像メモリ、１７は
シフトメモリ１８、並列切出しレジスタ１９、標準パタ
ーンレジスタ２０、パターン照合回路２１より成り、画
像データより切り出した部分パターンを標準パターンと
照合するマッチング回路、２２はパターン照合回路２１
の出力の最小値を検出する最小値検出回路、２３は領域
限定回路、２４はそれらに所定のタイミングを与えるタ
イミング発生回路、２５は当該システムの全体制御を行
う計算機である。 【００１６】この方式は、撮像手段１４で撮像された検
出対象の画像から、求めるべき標準パターンの大きさの
部分パターンを切り出して、標準パターンの候補とし、
順次切り出された部分パターンあるいは部分パターンと
検出対象の画像から標準パターンとしての適性を表す評
価値を求め、その値に基づいて標準パターンを決定する
ように動作する。このように、この方式によれば、画面
内から自動的にパターンマッチングに適した標準パター
ンを選択できるので、ユーザのノウハウが不要となる。 【００１７】しかしながら、この方式では入力画像の中
からテンプレートを選択するのに、ユーザは予めテンプ
レートの大きさを決定しておかなければならず、せっか
く自己評価して最適なテンプレートが自動的に登録され
るとしても最適な大きさが選択されているかどうかは評
価できない。 【００１８】また、この方式では入力画像全面をテンプ
レートの候補として順次切り出してそれぞれについて評
価しなければならないので、時間もかかる。多くのテン
プレートマッチングを用いて認識を行なう場合、ユーザ
が認識したい対象物は自明であることが多いのに、その
ユーザの知識が活かせず、評価値のみでテンプレートが
決定されてしまうので、不必要な処理にかかる時間が多
く、ユーザの意図も反映しにくいという問題点があっ
た。 【００１９】さらに、特開平４−３５９３８８号公報で
は次のような方式が提案されている。次に図１１を用い
てそれを説明する。この装置はサーチ画像を保存する探
索画像用記憶装置２６、テンプレート画像を保存してお
くテンプレート画像用記憶装置２７、両画像の０値を処
理する０値データ処理回路２８、両画像値の比を求める
割算器２９、割算器２９の計算値を保存する計算値保存
用記憶装置３０、割算器２９の出力値と計数値保存用記
憶装置３０の保存値との差の絶対値を求める絶対値計算
回路３１、今回得られた絶対値と前回得られた絶対値を
加算する加算回路３２、しきい値を保存するしきい値保
存回路３３、加算回路３２による加算値としきい値を比
較する比較回路３４とで構成されている。この手法によ
れば、残差逐次検定法（Ｓｕｑｕｅｎｔｉａｌ Ｓｉｍ
ｉｌａｒｉｔｙ Ｄｉｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔ
ｈｍ ＝ＳＳＤＡ法）による打ち切りを、画像間に明る
さの差があっても達成できるように変形している。従っ
て、画像取得時の周囲の明るさなどの制限がなくなっ
て、常時環境が変化するような状況でのアプリケーショ
ンに用いることができる。 【００２０】この手法では、入力画像全体の明るさのコ
ントラストの幅が変化しても対応できるようになってい
るが、画像全体の明るさがシフトアップもしくはシフト
ダウンしたときには、この両画像の比はテンプレートの
位置によって変化するので対応できない。また、しきい
値処理をしており、このしきい値を決定するにはノウハ
ウを要する。 【００２１】また、サブピクセルの精度を求める方法と
して、特開平５−１２０４３６号公報では次のような方
式が提案されている。次に図１２を用いてそれを説明す
る。この方式は画素位置を画素単位でずらしつつ被検出
画像とテンプレート画像との相関値を算出し、その相関
値が最大となる画素位置を探索し（第１段階）、その８
近傍画素の位置と相関値を求め（第２段階）、これらの
座標と相関値から多変数多項式回帰曲面を決定し（第３
段階）、その曲面のピークからサブピクセル精度のピー
ク検出を行なう（第４段階）ものである。この手法で
は、多変数多項式回帰曲面から、高精度でピーク位置の
変化に連続な推定ピーク位置を求めることができるの
で、画素単位を超越したサブピクセル精度で位置検出す
ることができる。 【００２２】しかしながら、この手法では中心と８近傍
の全９点の相関値を最初に計算しなければならず、処理
時間がかかる。また、この手法ではＸＹ平面と相関値の
関係が２次の曲面を形成することが仮定となっている
が、実際の相関値のピークと近傍の形状は２次曲面より
もするどいピークを描くことが多いので、２次曲面の近
似では正確にピークを求めることはできない。 【００２３】 【発明が解決しようとする課題】従来の画像処理装置は
以上のように構成されているので、通常の濃淡テンプレ
ートマッチングでは相関値の演算に多大な時間がかかる
ため実用的ではなく、粗精サーチによるテンプレートマ
ッチングでも処理時間の短縮は充分とはいえず、ＦＡな
どの高速処理が要求される分野には時間の制約から実用
的に対応することができないものであり、さらに、部分
テンプレートマッチング法によるものでは、どの部分を
テンプレートとするかをユーザが判断するためのノウハ
ウが必要であり、テンプレートの自己評価を行う方式で
は評価値のみでテンプレートが決定されてしまうため、
ユーザの知識を生かせず、不必要な処理にかかる時間が
多く、ユーザの意図も反映しにくいものであり、ＳＳＤ
Ａ法によるものでは画像全体の明るさのシフトアップや
ダウンに対応できず、しきい値処理のためのしきい値の
決定にノウハウが必要であるなどの問題点があった。 【００２４】この発明は上記のような課題を解決するた
めになされたもので、特別なノウハウを必要とせず、認
識精度を低下させることなく処理時間を短縮できる画像
処理装置を得ることを目的とする。 【００２５】 【課題を解決するための手段】この発明に係る画像処理
装置は、予め用意されたテンプレートデータを用いたテ
ンプレートマッチング法によって認識を行う画像処理装
置において、入力された原画像のテンプレートデータ中
のテンプレート画像と同じ大きさの領域内の輝度の分散
値を演算する分散値計算部と、分散値計算部によって求
められた分散値としきい値との比較によって対象物が存
在するか否かの判定を行う分散値判定部とを備えるもの
である。 【００２６】 【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による画
像処理装置の構成を示す図である。図において、４０は
ユーザによって登録がなされるワーク等の対象物であ
り、４１はこの対象物を撮像して原画像の入力を行うテ
レビカメラなどの画像入力部である。５３は画像入力部
４１にて入力された原画像が格納される画像メモリであ
り、５４はテンプレートマッチングのために予め用意さ
れている、テンプレート画像、テンプレート画像の分散
値、相関値のしきい値、サーチ領域、サーチ照明状態パ
ラメータなどのテンプレートデータである。５５は画像
メモリ５３に格納されている原画像内の、テンプレート
データ５４中のテンプレート画像と同じ領域の分散値を
演算する分散値計算部であり、５６はこの分散値計算部
５５にて求められた分散値に基づいて、対象物が存在す
るか否かの判定を行う分散値判定部である。５７は画像
メモリ５３に格納されている原画像とテンプレートデー
タ５４中のテンプレート画像との相関値を演算する相関
値計算部であり、５８はこの相関値計算部５７にて求め
られた相関値を判定する相関値判定部である。５９は分
散値判定部５６と相関値判定部５８の判定結果に基づく
認識結果の記録を行う認識結果記録部である。 【００２７】次に動作について説明する。ここで、図２
はこの実施の形態１による画像処理装置の処理の流れを
示すフローチャートである。ユーザは予めテンプレート
データ５４を生成しておく、このテンプレートデータ５
４には前述のように、テンプレート画像、テンプレート
画像の分散値、相関値のしきい値、サーチ領域の範囲
（スタート座標、画像サイズ）、サーチ時の照明状態パ
ラメータなどが含まれている。処理が開始されると、ま
ずテンプレートデータ５４のロードが行われ（ステップ
ＳＴ５１）、次いでサーチ領域を撮像した入力画像が画
像メモリ５３に格納される（ステップＳＴ５２）。次
に、その入力画像に対してテンプレートデータ５４内の
テンプレート画像の大きさと同じ領域内の分散値の和
が、分散値計算部５５において次の式（４）にて計算さ
れる（ステップＳＴ５３）。 【００２８】 【数３】 【００２９】ただし、式（４）において、Ｆは局所領域
内における画像の輝度の平均値、ｎは局所領域Ｓ_ｘ，ｙ
に含まれる画素の個数である。 【００３０】次に、分散値計算部５５で算出された分散
値の和Ｖ_ｘ，ｙの値がしきい値よりも小さければ、その
位置には対象物が存在しないと判定して以後の処理を打
ち切る。一方、分散値の和がしきい値よりも大きけれ
ば、その位置を対象物認識位置の候補として残し、最終
的な正確な位置は、相関値計算部５７にてテンプレート
マッチングによる相関値を計算し（ステップＳＴ５
５）、その相関値をしきい値と比較して（ステップＳＴ
５６）決定し、その結果を認識結果記録部５９にて記録
する（ステップＳＴ５７）。 【００３１】なお、前記分散値のしきい値は、照明の変
動や対象物４０の色あいの変動具合いなどの検査時の状
況をユーザにパラメータとして入力させて、それに応じ
て決定する。すなわち、照明条件の変動が大きい時に
は、テンプレート画像の分散値とサーチ画像の分散値は
大きく異なり、逆に照明条件が安定しているときには、
近い値をとる。このことを利用して、ユーザには照明状
態パラメータとして、照明条件が安定しているときには
テンプレート画像の分散値よりもサーチ画像の分散値が
大きな場合のみ候補として残す。また、照明条件が不安
定なときや外乱の影響を受けやすいときには、テンプレ
ート画像の数分の一、たとえば、１／５をしきい値とし
て、その値よりサーチ画像の分散値が大きいときには候
補として残し、最終的な判断は従来から用いられている
相関値によって判断する。 【００３２】参考例１．本願発明とは直接関係ないが、
その理解を助ける参考例１をここに示す。図３は参考例
１による画像処理装置を示す構成図で、相当部分には図
１と同一符号を付してその説明を省略する。図におい
て、６０は相関値計算部５７によって求められ、相関値
判定部５８にてしきい値と比較されて候補として残され
た相関値について、ピークの位置および値の推定を行う
ピーク推定部である。 【００３３】次に動作について説明する。ここで、図４
はこの参考例１による画像処理装置の処理の流れを示す
フローチャートであり、図５はこの参考例１によるピー
ク推定の原理をイメージ的に示した説明図である。この
場合も、ユーザは予めテンプレートデータ５４を生成し
ておく。このテンプレートデータ５４にはテンプレート
画像、相関値のしきい値、サーチ領域の範囲スタート座
標、画像サイズなどが含まれている。処理が開始される
と、上記実施の形態１の場合と同様にしてテンプレート
データがロードされ（ステップＳＴ６１）、サーチ領域
を撮像した入力画像が画像メモリ５３に入力される（ス
テップＳＴ６２）。次に、その入力画像に対して数画素
ごとに、テンプレートデータ５４内のテンプレート画像
との相関値が相関値計算部５７で計算され（ステップＳ
Ｔ６３）、その極大値を検出して（ステップＳＴ６４）
しきい値との比較を相関値判定部５８において行う（ス
テップＳＴ６５）。比較の結果その座標での相関値が周
辺の相関値よりも高いとき、その近傍に真のピークが存
在する可能性があると判断して、それを対象物認識位置
の候補として残す（ステップＳＴ６６）。全サーチ領域
について処理が終了すると、ピーク推定部６０は周辺の
相関値と座標とを求め（ステップＳＴ６７）、得られた
周辺の相関値と座標およびそれ自身の座標と相関値か
ら、ピークの位置と値を推定する（ステップＳＴ６
８）。 【００３４】このピークの推定はＸ軸、Ｙ軸ごとに行な
う。Ｘ軸について図中５に基づいて説明する。今、ある
座標（図５ではｓＯ）ではその左右の相関値よりも高い
のでｓＯはピークの近くにあるとする。次にｓ＿ｍｉｎ
ｕｓ１とｓ＿ｐｌｕｓ１を比較してｓ＿ｍｉｎｕｓ１の
方が大きいので、ｓ＿ｍｉｎｕｓ２を求め、その４点の
座標と相関値からピークを推定する。Ｙ軸方向について
も同様に推定する。推定の結果、ピークの推定座標が範
囲を越えたり、ピークの相関値が負になったときは推定
不可なピークなので候補から外し（ステップＳＴ６
９）、適当なもののみを認識結果記録部５９にて記録す
る（ステップＳＴ７０）。 【００３５】なお、上記参考例では２直線の交点からピ
ーク推定を行なったが、近傍３点または４点の相関値を
用いてラグランジェ補間法で２次または３次の曲線当て
はめを行ない、ピークを求めるようにしてもよい。 【００３６】 【発明の効果】以上のように、この発明によれば、サー
チ領域を撮像した入力画像に対してテンプレートの大き
さと同じ領域内の輝度の分散値の和を計算して対象物の
存在を判定するように構成したので、その値から対象物
が存在する候補点を絞り込むことが可能となり、全ての
領域の相関値を計算しなくてもよくなるので、処理の時
間を短縮できるという効果があり、特に背景が一様で対
象物だけが設置してあるサーチ画像でのサーチ時間を大
きく短縮することができ、さらに分散値によって対象物
が存在しない位置を検出するので、信頼性の高い認識が
行なえるという効果がある。

【図面の簡単な説明】 【図１】 この発明の実施の形態１による画像処理装置
の構成を示す図である。 【図２】 実施の形態１による画像処理装置における処
理の流れを示すフローチャートである。 【図３】 この発明の参考例１による画像処理装置の構
成を示す図である。 【図４】 参考例１による画像処理装置における処理の
流れを示すフローチャートである。 【図５】 参考例１におけるピーク検出の原理を示す説
明図である。 【図６】 従来の基本的なテンプレートマッチング方式
を示す概念図である。 【図７】 従来の粗精サーチ法を示す概念図である。 【図８】 従来の粗精サーチによる高速化効果を示す説
明図である。 【図９】 従来の画像処理装置によるテンプレートマッ
チング法を示す説明図である。 【図１０】 従来の他の画像処理装置を示す構成図であ
る。 【図１１】 従来のさらに他の画像処理装置を示す構成
図である。 【図１２】 従来のさらに他の画像処理装置におけるピ
クセルの精度を求める方法を示すフローチャートであ
る。 【符号の説明】 ４０ 対象物、４１ 画像入力部、５３ 画像メモリ、
５４ テンプレートデータ、５５ 分散値計算部、５６
分散値判定部、５７ 相関値計算部、５８相関値判定
部、５９ 認識結果記録部。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−48372（ＪＰ，Ａ) 特開 平４−154368（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 G01B 11/00 - 11/30 G01N 21/84 - 21/958 H04N 7/18

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】 予め用意されたテンプレートデータを用
   いたテンプレートマッチング法によって認識を行う画像
   処理装置において、 入力された原画像の上記テンプレートデータ中のテンプ
   レート画像と同じ大きさの領域内の輝度の分散値を演算
   する分散値計算部と、 上記分散値計算部によって求められた分散値としきい値
   との比較によって対象物が存在するか否かの判定を行う
   分散値判定部とを備えたことを特徴とする画像処理装
   置。