JP3447717B2 - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP3447717B2 JP3447717B2 JP2001123369A JP2001123369A JP3447717B2 JP 3447717 B2 JP3447717 B2 JP 3447717B2 JP 2001123369 A JP2001123369 A JP 2001123369A JP 2001123369 A JP2001123369 A JP 2001123369A JP 3447717 B2 JP3447717 B2 JP 3447717B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- search
- image processing
- correlation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明はロボットや産業機
械の位置制御及び検査などに使われる視覚装置における
画像処理装置に係り、特にテンプレートマッチング法に
おけるテンプレート画像の生成に関するものである。 【０００２】 【従来の技術】ここで、具体的な従来の画像処理装置の
説明をはじめる前に、まず基本的なテンプレートマッチ
ング手法について説明しておく。テンプレートマッチン
グ法（Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ ＝ＴＭ手
法）は、ティーチング・バイ・ショーイング、すなわち
対象毎にプログラムを組まなくても対象の画像を登録す
るだけで、自動的にその対象を再認識することが出来る
ような機能、が特徴であり、画像処理に関する知識のな
いユーザでも簡単に使いこなせるため、ユーザのニーズ
が高い位置合わせ手法である。また、最近のファクトリ
ーオートメーション（以下ＦＡという）分野における画
像処理装置への要求として２値化処理だけで対応できな
いような複雑な検査や位置決めを高速に精度よく行うこ
とが要求されており、正規化相互相関係数に基づいた位
置合わせを行なう濃淡テンプレートマッチングへの期待
は大きい。しかし、濃淡テンプレートマッチングはその
膨大な計算量のために、従来専用ハードウエアなしに
は、実現不可能とされてきた。そのため、画像処理装置
が高価になり、市場開拓の障害となっていた。 【０００３】次に、この濃淡テンプレートマッチング処
理の概要を、図４を用いて説明する。濃淡テンプレート
マッチングは位置（ｘ，ｙ）から開始されるテンプレー
トと同じ大きさの局所領域Ｓｘ，ｙを順にずらしなが
ら、テンプレート画像Ｇｉ，ｊと探索画像Ｆｉ，ｊの相
関値Ｍｘ，ｙを計算し、相関値が最も高い位置（ｘ，
ｙ）をテンプレートが発見された位置として、出力す
る。なお、この相関値Ｍｘ， ｙは次の式（１）で与えら
れる。 【０００４】 【数１】 【０００５】ただし、上記式（１）において、Ｆ，Ｇは
探索画像あるいはテンプレート画像の局所領域内におけ
る画像の輝度の平均値、ｎは局所領域Ｓｘ，ｙに含まれ
る画素の個数である。また、この式（１）には分母側に
画像の輝度分散を表す項が含まれていることからもわか
るように、この相関値Ｍｘ，ｙは、画像の明るさの線形
的な変動Ｆ’ｉ，ｊ＝Ｆｉ，ｊ×ｋ１＋ｋ２に全く影響
を受けないことがわかる。従って、濃淡テンプレートマ
ッチングを用いることによってテンプレート画像と検査
画像とのコントラストが変化したり、画像全体の明るさ
の変化やノイズへの余裕度が大きい。 【０００６】しかしながら、このような濃淡テンプレー
トマッチングは相関値演算に時間がかかり、ＦＡ分野な
ど、高速化が要求される場合には時間の制限から実用的
に対応できなかった。たとえば、５１２×５１２の検査
画像中、１２８×１２８のテンプレート画像のサーチを
行う場合、次の式（２）による回数の積和演算が必要で
あり、１００Ｍｉｐｓクラスの計算機をもってしても１
０秒以上の計算時間を要することとなる。 【０００７】 １２８×１２８×（５１２−１２８）×（５１２−１２８） ＝２．４×１０９ ・・・（２） 【０００８】これに対して、よく知られた高速化手法と
して粗精サーチ法があった。粗精サーチ法とは、図５に
示すように、第１ステップとして原画像を１／４や１／
８に縮退した画像（粗画像）を作り、粗画像のテンプレ
ート画像でだいたいの位置をサーチし、その周辺だけを
原画像で精サーチして正確な位置を求めるという方法で
ある。この方法で先ほどの例と同じ結果を得るのに必要
な演算量は、粗精サーチの比率を１：Ｎとすれば、次の
式（３）で与えられる回数で済む。 【０００９】 【数２】 【００１０】このようにＮを変化させると、図６に示す
様に最適な粗精比が存在するが、このような場合にも、
ＦＡラインでの実用化レベルとして目安にされる０．１
ｓｅｃ以内の認識を達成するにはまだ数百倍の時間短縮
を達成しなければならない。 【００１１】このように、従来の粗精サーチによるテン
プレートマッチング法では、処理速度が遅く実用的でな
いという問題点があった。 【００１２】このようなテンプレートマッチング技術に
対して、いくつかの技術が開発されている。図７はたと
えば、特公平２−６４２号公報に示された従来の部分テ
ンプレートマッチング法を示す説明図である。図におい
て、１１はパターン位置検出対象である半導体ペレット
の回路素子形成領域であり、１２はその２辺に規則的に
配列された接続パッドである。１３ａ，１３ｂはパター
ン位置検出に際して探索されるパターン探索領域（目標
パターン）である。 【００１３】ここでは目標パターンとそれぞれ一致する
テンプレートを持ち、予め教示していた位置関係を利用
して、真のピークを検出しようとするものである。この
場合、対象としたいテンプレートを部分に分けて、それ
ぞれの部分でパターン探索領域１３ａ，１３ｂとテンプ
レートマッチングすることによって、同一の特徴を持っ
たパターンが複数個等間隔に配列されている場合でも、
目標パターンを識別できる。また、目標パターンを部分
に分けて撮像できるので、分解能を高めることができ
る。 【００１４】しかしながら、この方式ではどの部分をテ
ンプレートとすれば良いのか、ユーザが判断しなければ
ならず、ノウハウが必要とされた。 【００１５】一方、テンプレートの自己評価方法として
特開昭６１−７４０８２号公報では次のような方式が提
案されている。次に図８を用いてそれを説明する。図に
おいて、１４は検出対象を撮像する撮像手段、１５は撮
像された画像データを２値化する２値化回路、１６は２
値化された画像データを格納する画像メモリ、１７はシ
フトメモリ１８、並列切出しレジスタ１９、標準パター
ンレジスタ２０、パターン照合回路２１より成り、画像
データより切り出した部分パターンを標準パターンと照
合するマッチング回路、２２はパターン照合回路２１の
出力の最小値を検出する最小値検出回路、２３は領域限
定回路、２４はそれらに所定のタイミングを与えるタイ
ミング発生回路、２５は当該システムの全体制御を行う
計算機である。 【００１６】この方式は、撮像手段１４で撮像された検
出対象の画像から、求めるべき標準パターンの大きさの
部分パターンを切り出して、標準パターンの候補とし、
順次切り出された部分パターンあるいは部分パターンと
検出対象の画像から標準パターンとしての適性を表す評
価値を求め、その値に基づいて標準パターンを決定する
ように動作する。このように、この方式によれば、画面
内から自動的にパターンマッチングに適した標準パター
ンを選択できるので、ユーザのノウハウが不要となる。 【００１７】しかしながら、この方式では入力画像の中
からテンプレートを選択するのに、ユーザは予めテンプ
レートの大きさを決定しておかなければならず、せっか
く自己評価して最適なテンプレートが自動的に登録され
るとしても最適な大きさが選択されているかどうかは評
価できない。 【００１８】また、この方式では入力画像全面をテンプ
レートの候補として順次切り出してそれぞれについて評
価しなければならないので、時間もかかる。多くのテン
プレートマッチングを用いて認識を行なう場合、ユーザ
が認識したい対象物は自明であることが多いのに、その
ユーザの知識が活かせず、評価値のみでテンプレートが
決定されてしまうので、不必要な処理にかかる時間が多
く、ユーザの意図も反映しにくいという問題点があっ
た。 【００１９】さらに、特開平４−３５９３８８号公報で
は次のような方式が提案されている。次に図９を用いて
それを説明する。この装置はサーチ画像を保存する探索
画像用記憶装置２６、テンプレート画像を保存しておく
テンプレート画像用記憶装置２７、両画像の０値を処理
する０値データ処理回路２８、両画像値の比を求める割
算器２９、割算器２９の計算値を保存する計算値保存用
記憶装置３０、割算器２９の出力値と計数値保存用記憶
装置３０の保存値との差の絶対値を求める絶対値計算回
路３１、今回得られた絶対値と前回得られた絶対値を加
算する加算回路３２、しきい値を保存するしきい値保存
回路３３、加算回路３２による加算値としきい値を比較
する比較回路３４とで構成されている。この手法によれ
ば、残差逐次検定法（Ｓｕｑｕｅｎｔｉａｌ Ｓｉｍｉ
ｌａｒｉｔｙ Ｄｉｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈ
ｍ ＝ＳＳＤＡ法）による打ち切りを、画像間に明るさ
の差があっても達成できるように変形している。従っ
て、画像取得時の周囲の明るさなどの制限がなくなっ
て、常時環境が変化するような状況でのアプリケーショ
ンに用いることができる。 【００２０】この手法では、入力画像全体の明るさのコ
ントラストの幅が変化しても対応できるようになってい
るが、画像全体の明るさがシフトアップもしくはシフト
ダウンしたときには、この両画像の比はテンプレートの
位置によって変化するので対応できない。また、しきい
値処理をしており、このしきい値を決定するにはノウハ
ウを要する。 【００２１】また、サブピクセルの精度を求める方法と
して、特開平５−１２０４３６号公報では次のような方
式が提案されている。次に図１０を用いてそれを説明す
る。この方式は画素位置を画素単位でずらしつつ被検出
画像とテンプレート画像との相関値を算出し、その相関
値が最大となる画素位置を探索し（第１段階）、その８
近傍画素の位置と相関値を求め（第２段階）、これらの
座標と相関値から多変数多項式回帰曲面を決定し（第３
段階）、その曲面のピークからサブピクセル精度のピー
ク検出を行なう（第４段階）ものである。この手法で
は、多変数多項式回帰曲面から、高精度でピーク位置の
変化に連続な推定ピーク位置を求めることができるの
で、画素単位を超越したサブピクセル精度で位置検出す
ることができる。 【００２２】しかしながら、この手法では中心と８近傍
の全９点の相関値を最初に計算しなければならず、処理
時間がかかる。また、この手法ではＸＹ平面と相関値の
関係が２次の曲面を形成することが仮定となっている
が、実際の相関値のピークと近傍の形状は２次曲面より
もするどいピークを描くことが多いので、２次曲面の近
似では正確にピークを求めることはできない。 【００２３】 【発明が解決しようとする課題】従来の画像処理装置は
以上のように構成されているので、通常の濃淡テンプレ
ートマッチングでは相関値の演算に多大な時間がかかる
ため実用的ではなく、粗精サーチによるテンプレートマ
ッチングでも処理時間の短縮は充分とはいえず、ＦＡな
どの高速処理が要求される分野には時間の制約から実用
的に対応することができないものであり、さらに、部分
テンプレートマッチング法によるものでは、どの部分を
テンプレートとするかをユーザが判断するためのノウハ
ウが必要であり、テンプレートの自己評価を行う方式で
は評価値のみでテンプレートが決定されてしまうため、
ユーザの知識を生かせず、不必要な処理にかかる時間が
多く、ユーザの意図も反映しにくいものであり、ＳＳＤ
Ａ法によるものでは画像全体の明るさのシフトアップや
ダウンに対応できず、しきい値処理のためのしきい値の
決定にノウハウが必要であるなどの問題点があった。 【００２４】この発明は上記のような課題を解決するた
めになされたもので、特別なノウハウを必要とせず、認
識精度を低下させることなく処理時間を短縮できる画像
処理装置を得ることを目的とする。 【００２５】 【課題を解決するための手段】この発明に係る画像処理
装置は、予め用意されたテンプレートデータを用いた回
転テンプレートマッチング法によって認識を行う画像処
理装置において、入力された原画像とテンプレートデー
タ中のテンプレート画像との相関値のスコアマップを、
２次元平面の平行移動と回転の３次元空間内において生
成する３次元スコアマップ生成部と、３次元スコアマッ
プ生成部にて生成されたスコアマップにおけるピークの
探索を行うピーク探索部とを備えるものである。 【００２６】 【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による画
像処理装置の構成を示す図である。図において、４０は
ユーザによって登録がなされるワーク等の対象物であ
り、４１はこの対象物を撮像して原画像の入力を行うテ
レビカメラなどの画像入力部である。５４はテンプレー
トマッチングのために予め用意されている、テンプレー
ト画像、テンプレート画像の分散値、相関値のしきい
値、サーチ領域、サーチ照明状態パラメータなどのテン
プレートデータである。５７は画像メモリに格納されて
いる原画像とテンプレートデータ５４中のテンプレート
画像との相関値を演算する相関値計算部であり、６１は
相関値計算部５７が画像入力部４１より入力されたサー
チ画像とテンプレートデータ５４中のテンプレート画像
より計算した相関値のスコアマップを、２次元平面の平
行移動と回転の３次元空間内において生成する３次元ス
コアマップ生成部である。また、６２はこの３次元スコ
アマップ生成部６１にて生成されたスコアマップにおけ
るピークの探索を行うピーク探索部である。 【００２７】次に動作について説明する。ここで、図２
はこの実施の形態１による画像処理装置の処理の流れを
示すフローチャートであり、図３はこの実施の形態１に
よる画像処理装置の３次元スコアマップ生成の処理をイ
メージ的に示した説明図である。先ず、ユーザは予めテ
ンプレートデータ５４を生成しておく。このとき回転さ
せたテンプレート画像を生成しても良いし、サーチ画像
を入力したときにサーチ画像を回転させても同じ効果が
得られる。この実施の形態１では、サーチ画像を回転さ
せている。なお、テンプレートデータ５４にはテンプレ
ート画像、相関値のしきい値、サーチ領域の範囲などが
含まれている。 【００２８】テンプレートデータ５４をロードし（ステ
ップＳＴ７１）、サーチ画像を入力して（ステップＳＴ
７２）、先ほどのテンプレートデータ５４内のテンプレ
ート画像との相関値を相関値計算部５７において算出し
（ステップＳＴ７４）、回転角０度のときのＸ，Ｙ面に
その相関値を３次元スコアマップ生成部６１にて記録す
る（ステップＳＴ７５）。次に画像を回転させ（ステッ
プＳＴ７３）、その回転テンプレートのうちの１つをテ
ンプレートとして同様に相関値を求め（ステップＳＴ７
４）、その角度のＸ，Ｙ面にスコアを記録する（ステッ
プＳＴ７５）。全ての回転テンプレートについて同様の
処理を行ない、３次元スコアマップを生成する。 【００２９】次に、ピーク探索部６２によって３次元ス
コアマップが探索され、求められたピークが対象物４０
の位置として出力される。このピーク探索する方法とし
ては、（１）全点を比較する方法、（２）中心から始ま
って随時現在地よりスコアの高いところへ移動し移動し
なくなったらその位置をピークとする山登り法、などが
ある。この実施の形態１のフローチャートでは山登り法
によるピーク探索を行なっている。即ち、サーチ領域の
中心をピーク中心と仮定し（ステップＳＴ７６）、この
仮のピーク中心における相関値を、Ｘ，Ｙおよび回転Ｒ
を少しずつずらせた位置における相関値と比較する（ス
テップＳＴ７７）。その結果、当該仮のピーク中心の相
関値より大きな相関値を有する位置が検出されると（ス
テップＳＴ７８）、その位置を仮のピーク中心に変更し
た後（ステップＳＴ７９）、処理をステップＳＴ７７に
戻して前記処理を繰り返す。仮のピーク中心とされた位
置の相関値が最も高くなったことが検出されると、その
位置を真のピーク中心として（ステップＳＴ８０）処理
を終了する。 【００３０】また、上記実施の形態１では回転Ｒを固定
してＸ，Ｙをずらしながら３次元スコアマップを生成し
ているが、Ｘ，Ｙを固定して回転Ｒを徐々に変化させ、
全ての回転Ｒについての相関値が得られてからＸ，Ｙを
少しずつずらす方法もある。 【００３１】 【発明の効果】以上のように、この発明によれば、３次
元スコアマップを生成し、当該スコアマップの探索によ
ってピークを求めるように構成したので、高速に位置や
姿勢の計測が行える効果がある。
械の位置制御及び検査などに使われる視覚装置における
画像処理装置に係り、特にテンプレートマッチング法に
おけるテンプレート画像の生成に関するものである。 【０００２】 【従来の技術】ここで、具体的な従来の画像処理装置の
説明をはじめる前に、まず基本的なテンプレートマッチ
ング手法について説明しておく。テンプレートマッチン
グ法（Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ ＝ＴＭ手
法）は、ティーチング・バイ・ショーイング、すなわち
対象毎にプログラムを組まなくても対象の画像を登録す
るだけで、自動的にその対象を再認識することが出来る
ような機能、が特徴であり、画像処理に関する知識のな
いユーザでも簡単に使いこなせるため、ユーザのニーズ
が高い位置合わせ手法である。また、最近のファクトリ
ーオートメーション（以下ＦＡという）分野における画
像処理装置への要求として２値化処理だけで対応できな
いような複雑な検査や位置決めを高速に精度よく行うこ
とが要求されており、正規化相互相関係数に基づいた位
置合わせを行なう濃淡テンプレートマッチングへの期待
は大きい。しかし、濃淡テンプレートマッチングはその
膨大な計算量のために、従来専用ハードウエアなしに
は、実現不可能とされてきた。そのため、画像処理装置
が高価になり、市場開拓の障害となっていた。 【０００３】次に、この濃淡テンプレートマッチング処
理の概要を、図４を用いて説明する。濃淡テンプレート
マッチングは位置（ｘ，ｙ）から開始されるテンプレー
トと同じ大きさの局所領域Ｓｘ，ｙを順にずらしなが
ら、テンプレート画像Ｇｉ，ｊと探索画像Ｆｉ，ｊの相
関値Ｍｘ，ｙを計算し、相関値が最も高い位置（ｘ，
ｙ）をテンプレートが発見された位置として、出力す
る。なお、この相関値Ｍｘ， ｙは次の式（１）で与えら
れる。 【０００４】 【数１】 【０００５】ただし、上記式（１）において、Ｆ，Ｇは
探索画像あるいはテンプレート画像の局所領域内におけ
る画像の輝度の平均値、ｎは局所領域Ｓｘ，ｙに含まれ
る画素の個数である。また、この式（１）には分母側に
画像の輝度分散を表す項が含まれていることからもわか
るように、この相関値Ｍｘ，ｙは、画像の明るさの線形
的な変動Ｆ’ｉ，ｊ＝Ｆｉ，ｊ×ｋ１＋ｋ２に全く影響
を受けないことがわかる。従って、濃淡テンプレートマ
ッチングを用いることによってテンプレート画像と検査
画像とのコントラストが変化したり、画像全体の明るさ
の変化やノイズへの余裕度が大きい。 【０００６】しかしながら、このような濃淡テンプレー
トマッチングは相関値演算に時間がかかり、ＦＡ分野な
ど、高速化が要求される場合には時間の制限から実用的
に対応できなかった。たとえば、５１２×５１２の検査
画像中、１２８×１２８のテンプレート画像のサーチを
行う場合、次の式（２）による回数の積和演算が必要で
あり、１００Ｍｉｐｓクラスの計算機をもってしても１
０秒以上の計算時間を要することとなる。 【０００７】 １２８×１２８×（５１２−１２８）×（５１２−１２８） ＝２．４×１０９ ・・・（２） 【０００８】これに対して、よく知られた高速化手法と
して粗精サーチ法があった。粗精サーチ法とは、図５に
示すように、第１ステップとして原画像を１／４や１／
８に縮退した画像（粗画像）を作り、粗画像のテンプレ
ート画像でだいたいの位置をサーチし、その周辺だけを
原画像で精サーチして正確な位置を求めるという方法で
ある。この方法で先ほどの例と同じ結果を得るのに必要
な演算量は、粗精サーチの比率を１：Ｎとすれば、次の
式（３）で与えられる回数で済む。 【０００９】 【数２】 【００１０】このようにＮを変化させると、図６に示す
様に最適な粗精比が存在するが、このような場合にも、
ＦＡラインでの実用化レベルとして目安にされる０．１
ｓｅｃ以内の認識を達成するにはまだ数百倍の時間短縮
を達成しなければならない。 【００１１】このように、従来の粗精サーチによるテン
プレートマッチング法では、処理速度が遅く実用的でな
いという問題点があった。 【００１２】このようなテンプレートマッチング技術に
対して、いくつかの技術が開発されている。図７はたと
えば、特公平２−６４２号公報に示された従来の部分テ
ンプレートマッチング法を示す説明図である。図におい
て、１１はパターン位置検出対象である半導体ペレット
の回路素子形成領域であり、１２はその２辺に規則的に
配列された接続パッドである。１３ａ，１３ｂはパター
ン位置検出に際して探索されるパターン探索領域（目標
パターン）である。 【００１３】ここでは目標パターンとそれぞれ一致する
テンプレートを持ち、予め教示していた位置関係を利用
して、真のピークを検出しようとするものである。この
場合、対象としたいテンプレートを部分に分けて、それ
ぞれの部分でパターン探索領域１３ａ，１３ｂとテンプ
レートマッチングすることによって、同一の特徴を持っ
たパターンが複数個等間隔に配列されている場合でも、
目標パターンを識別できる。また、目標パターンを部分
に分けて撮像できるので、分解能を高めることができ
る。 【００１４】しかしながら、この方式ではどの部分をテ
ンプレートとすれば良いのか、ユーザが判断しなければ
ならず、ノウハウが必要とされた。 【００１５】一方、テンプレートの自己評価方法として
特開昭６１−７４０８２号公報では次のような方式が提
案されている。次に図８を用いてそれを説明する。図に
おいて、１４は検出対象を撮像する撮像手段、１５は撮
像された画像データを２値化する２値化回路、１６は２
値化された画像データを格納する画像メモリ、１７はシ
フトメモリ１８、並列切出しレジスタ１９、標準パター
ンレジスタ２０、パターン照合回路２１より成り、画像
データより切り出した部分パターンを標準パターンと照
合するマッチング回路、２２はパターン照合回路２１の
出力の最小値を検出する最小値検出回路、２３は領域限
定回路、２４はそれらに所定のタイミングを与えるタイ
ミング発生回路、２５は当該システムの全体制御を行う
計算機である。 【００１６】この方式は、撮像手段１４で撮像された検
出対象の画像から、求めるべき標準パターンの大きさの
部分パターンを切り出して、標準パターンの候補とし、
順次切り出された部分パターンあるいは部分パターンと
検出対象の画像から標準パターンとしての適性を表す評
価値を求め、その値に基づいて標準パターンを決定する
ように動作する。このように、この方式によれば、画面
内から自動的にパターンマッチングに適した標準パター
ンを選択できるので、ユーザのノウハウが不要となる。 【００１７】しかしながら、この方式では入力画像の中
からテンプレートを選択するのに、ユーザは予めテンプ
レートの大きさを決定しておかなければならず、せっか
く自己評価して最適なテンプレートが自動的に登録され
るとしても最適な大きさが選択されているかどうかは評
価できない。 【００１８】また、この方式では入力画像全面をテンプ
レートの候補として順次切り出してそれぞれについて評
価しなければならないので、時間もかかる。多くのテン
プレートマッチングを用いて認識を行なう場合、ユーザ
が認識したい対象物は自明であることが多いのに、その
ユーザの知識が活かせず、評価値のみでテンプレートが
決定されてしまうので、不必要な処理にかかる時間が多
く、ユーザの意図も反映しにくいという問題点があっ
た。 【００１９】さらに、特開平４−３５９３８８号公報で
は次のような方式が提案されている。次に図９を用いて
それを説明する。この装置はサーチ画像を保存する探索
画像用記憶装置２６、テンプレート画像を保存しておく
テンプレート画像用記憶装置２７、両画像の０値を処理
する０値データ処理回路２８、両画像値の比を求める割
算器２９、割算器２９の計算値を保存する計算値保存用
記憶装置３０、割算器２９の出力値と計数値保存用記憶
装置３０の保存値との差の絶対値を求める絶対値計算回
路３１、今回得られた絶対値と前回得られた絶対値を加
算する加算回路３２、しきい値を保存するしきい値保存
回路３３、加算回路３２による加算値としきい値を比較
する比較回路３４とで構成されている。この手法によれ
ば、残差逐次検定法（Ｓｕｑｕｅｎｔｉａｌ Ｓｉｍｉ
ｌａｒｉｔｙ Ｄｉｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈ
ｍ ＝ＳＳＤＡ法）による打ち切りを、画像間に明るさ
の差があっても達成できるように変形している。従っ
て、画像取得時の周囲の明るさなどの制限がなくなっ
て、常時環境が変化するような状況でのアプリケーショ
ンに用いることができる。 【００２０】この手法では、入力画像全体の明るさのコ
ントラストの幅が変化しても対応できるようになってい
るが、画像全体の明るさがシフトアップもしくはシフト
ダウンしたときには、この両画像の比はテンプレートの
位置によって変化するので対応できない。また、しきい
値処理をしており、このしきい値を決定するにはノウハ
ウを要する。 【００２１】また、サブピクセルの精度を求める方法と
して、特開平５−１２０４３６号公報では次のような方
式が提案されている。次に図１０を用いてそれを説明す
る。この方式は画素位置を画素単位でずらしつつ被検出
画像とテンプレート画像との相関値を算出し、その相関
値が最大となる画素位置を探索し（第１段階）、その８
近傍画素の位置と相関値を求め（第２段階）、これらの
座標と相関値から多変数多項式回帰曲面を決定し（第３
段階）、その曲面のピークからサブピクセル精度のピー
ク検出を行なう（第４段階）ものである。この手法で
は、多変数多項式回帰曲面から、高精度でピーク位置の
変化に連続な推定ピーク位置を求めることができるの
で、画素単位を超越したサブピクセル精度で位置検出す
ることができる。 【００２２】しかしながら、この手法では中心と８近傍
の全９点の相関値を最初に計算しなければならず、処理
時間がかかる。また、この手法ではＸＹ平面と相関値の
関係が２次の曲面を形成することが仮定となっている
が、実際の相関値のピークと近傍の形状は２次曲面より
もするどいピークを描くことが多いので、２次曲面の近
似では正確にピークを求めることはできない。 【００２３】 【発明が解決しようとする課題】従来の画像処理装置は
以上のように構成されているので、通常の濃淡テンプレ
ートマッチングでは相関値の演算に多大な時間がかかる
ため実用的ではなく、粗精サーチによるテンプレートマ
ッチングでも処理時間の短縮は充分とはいえず、ＦＡな
どの高速処理が要求される分野には時間の制約から実用
的に対応することができないものであり、さらに、部分
テンプレートマッチング法によるものでは、どの部分を
テンプレートとするかをユーザが判断するためのノウハ
ウが必要であり、テンプレートの自己評価を行う方式で
は評価値のみでテンプレートが決定されてしまうため、
ユーザの知識を生かせず、不必要な処理にかかる時間が
多く、ユーザの意図も反映しにくいものであり、ＳＳＤ
Ａ法によるものでは画像全体の明るさのシフトアップや
ダウンに対応できず、しきい値処理のためのしきい値の
決定にノウハウが必要であるなどの問題点があった。 【００２４】この発明は上記のような課題を解決するた
めになされたもので、特別なノウハウを必要とせず、認
識精度を低下させることなく処理時間を短縮できる画像
処理装置を得ることを目的とする。 【００２５】 【課題を解決するための手段】この発明に係る画像処理
装置は、予め用意されたテンプレートデータを用いた回
転テンプレートマッチング法によって認識を行う画像処
理装置において、入力された原画像とテンプレートデー
タ中のテンプレート画像との相関値のスコアマップを、
２次元平面の平行移動と回転の３次元空間内において生
成する３次元スコアマップ生成部と、３次元スコアマッ
プ生成部にて生成されたスコアマップにおけるピークの
探索を行うピーク探索部とを備えるものである。 【００２６】 【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による画
像処理装置の構成を示す図である。図において、４０は
ユーザによって登録がなされるワーク等の対象物であ
り、４１はこの対象物を撮像して原画像の入力を行うテ
レビカメラなどの画像入力部である。５４はテンプレー
トマッチングのために予め用意されている、テンプレー
ト画像、テンプレート画像の分散値、相関値のしきい
値、サーチ領域、サーチ照明状態パラメータなどのテン
プレートデータである。５７は画像メモリに格納されて
いる原画像とテンプレートデータ５４中のテンプレート
画像との相関値を演算する相関値計算部であり、６１は
相関値計算部５７が画像入力部４１より入力されたサー
チ画像とテンプレートデータ５４中のテンプレート画像
より計算した相関値のスコアマップを、２次元平面の平
行移動と回転の３次元空間内において生成する３次元ス
コアマップ生成部である。また、６２はこの３次元スコ
アマップ生成部６１にて生成されたスコアマップにおけ
るピークの探索を行うピーク探索部である。 【００２７】次に動作について説明する。ここで、図２
はこの実施の形態１による画像処理装置の処理の流れを
示すフローチャートであり、図３はこの実施の形態１に
よる画像処理装置の３次元スコアマップ生成の処理をイ
メージ的に示した説明図である。先ず、ユーザは予めテ
ンプレートデータ５４を生成しておく。このとき回転さ
せたテンプレート画像を生成しても良いし、サーチ画像
を入力したときにサーチ画像を回転させても同じ効果が
得られる。この実施の形態１では、サーチ画像を回転さ
せている。なお、テンプレートデータ５４にはテンプレ
ート画像、相関値のしきい値、サーチ領域の範囲などが
含まれている。 【００２８】テンプレートデータ５４をロードし（ステ
ップＳＴ７１）、サーチ画像を入力して（ステップＳＴ
７２）、先ほどのテンプレートデータ５４内のテンプレ
ート画像との相関値を相関値計算部５７において算出し
（ステップＳＴ７４）、回転角０度のときのＸ，Ｙ面に
その相関値を３次元スコアマップ生成部６１にて記録す
る（ステップＳＴ７５）。次に画像を回転させ（ステッ
プＳＴ７３）、その回転テンプレートのうちの１つをテ
ンプレートとして同様に相関値を求め（ステップＳＴ７
４）、その角度のＸ，Ｙ面にスコアを記録する（ステッ
プＳＴ７５）。全ての回転テンプレートについて同様の
処理を行ない、３次元スコアマップを生成する。 【００２９】次に、ピーク探索部６２によって３次元ス
コアマップが探索され、求められたピークが対象物４０
の位置として出力される。このピーク探索する方法とし
ては、（１）全点を比較する方法、（２）中心から始ま
って随時現在地よりスコアの高いところへ移動し移動し
なくなったらその位置をピークとする山登り法、などが
ある。この実施の形態１のフローチャートでは山登り法
によるピーク探索を行なっている。即ち、サーチ領域の
中心をピーク中心と仮定し（ステップＳＴ７６）、この
仮のピーク中心における相関値を、Ｘ，Ｙおよび回転Ｒ
を少しずつずらせた位置における相関値と比較する（ス
テップＳＴ７７）。その結果、当該仮のピーク中心の相
関値より大きな相関値を有する位置が検出されると（ス
テップＳＴ７８）、その位置を仮のピーク中心に変更し
た後（ステップＳＴ７９）、処理をステップＳＴ７７に
戻して前記処理を繰り返す。仮のピーク中心とされた位
置の相関値が最も高くなったことが検出されると、その
位置を真のピーク中心として（ステップＳＴ８０）処理
を終了する。 【００３０】また、上記実施の形態１では回転Ｒを固定
してＸ，Ｙをずらしながら３次元スコアマップを生成し
ているが、Ｘ，Ｙを固定して回転Ｒを徐々に変化させ、
全ての回転Ｒについての相関値が得られてからＸ，Ｙを
少しずつずらす方法もある。 【００３１】 【発明の効果】以上のように、この発明によれば、３次
元スコアマップを生成し、当該スコアマップの探索によ
ってピークを求めるように構成したので、高速に位置や
姿勢の計測が行える効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による画像処理装置
の構成を示す図である。 【図２】 この実施の形態１による画像処理装置の処理
の流れを示すフローチャートである。 【図３】 この実施の形態１による画像処理装置の３次
元スコアマップ生成の処理をイメージ的に示した説明図
である。 【図４】 従来の基本的なテンプレートマッチング方式
を示す概念図である。 【図５】 従来の粗精サーチ法を示す概念図である。 【図６】 従来の粗精サーチによる高速化効果を示す説
明図である。 【図７】 従来の画像処理装置によるテンプレートマッ
チング法を示す説明図である。 【図８】 従来の他の画像処理装置を示す構成図であ
る。 【図９】 従来のさらに他の画像処理装置を示す構成図
である。 【図１０】 従来のさらに他の画像処理装置におけるピ
クセルの精度を求める方法を示すフローチャートであ
る。 【符号の説明】 ４０ 対象物、４１ 画像入力部、５４ テンプレート
データ、５７ 相関値計算部、６１ ３次元スコアマッ
プ生成部、６２ ピーク探索部。
の構成を示す図である。 【図２】 この実施の形態１による画像処理装置の処理
の流れを示すフローチャートである。 【図３】 この実施の形態１による画像処理装置の３次
元スコアマップ生成の処理をイメージ的に示した説明図
である。 【図４】 従来の基本的なテンプレートマッチング方式
を示す概念図である。 【図５】 従来の粗精サーチ法を示す概念図である。 【図６】 従来の粗精サーチによる高速化効果を示す説
明図である。 【図７】 従来の画像処理装置によるテンプレートマッ
チング法を示す説明図である。 【図８】 従来の他の画像処理装置を示す構成図であ
る。 【図９】 従来のさらに他の画像処理装置を示す構成図
である。 【図１０】 従来のさらに他の画像処理装置におけるピ
クセルの精度を求める方法を示すフローチャートであ
る。 【符号の説明】 ４０ 対象物、４１ 画像入力部、５４ テンプレート
データ、５７ 相関値計算部、６１ ３次元スコアマッ
プ生成部、６２ ピーク探索部。
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平４−180183（ＪＰ，Ａ)
特開 昭64−61879（ＪＰ，Ａ)
特開 昭59−103179（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00
G06T 1/00
G01B 11/00 - 11/30
G01N 21/84 - 21/958
H04N 7/18
Claims (1)
- (57)【特許請求の範囲】 【請求項１】 予め用意されたテンプレートデータを用
いた回転テンプレートマッチング法によって認識を行う
画像処理装置において、 入力された原画像と上記テンプレートデータ中のテンプ
レート画像との相関値のスコアマップを、２次元平面の
平行移動と回転の３次元空間内において生成する３次元
スコアマップ生成部と、 上記３次元スコアマップ生成部にて生成されたスコアマ
ップにおけるピークの探索を行うピーク探索部とを備え
たことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001123369A JP3447717B2 (ja) | 2001-04-20 | 2001-04-20 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001123369A JP3447717B2 (ja) | 2001-04-20 | 2001-04-20 | 画像処理装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27097793A Division JP3212777B2 (ja) | 1993-10-28 | 1993-10-28 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001297326A JP2001297326A (ja) | 2001-10-26 |
| JP3447717B2 true JP3447717B2 (ja) | 2003-09-16 |
Family
ID=18972935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001123369A Expired - Lifetime JP3447717B2 (ja) | 2001-04-20 | 2001-04-20 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3447717B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9147130B2 (en) | 2011-12-01 | 2015-09-29 | Canon Kabushiki Kaisha | Information processing method, information processing apparatus, and recording medium for identifying a class of an object by using a plurality of discriminators |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013037510A (ja) * | 2011-08-08 | 2013-02-21 | Juki Corp | 画像処理装置 |
-
2001
- 2001-04-20 JP JP2001123369A patent/JP3447717B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9147130B2 (en) | 2011-12-01 | 2015-09-29 | Canon Kabushiki Kaisha | Information processing method, information processing apparatus, and recording medium for identifying a class of an object by using a plurality of discriminators |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001297326A (ja) | 2001-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3212777B2 (ja) | 画像処理装置 | |
| US6751338B1 (en) | System and method of using range image data with machine vision tools | |
| US7471809B2 (en) | Method, apparatus, and program for processing stereo image | |
| JP4323475B2 (ja) | 試料検査装置、試料検査方法及びプログラム | |
| JP2006294003A (ja) | 画像処理方法およびその方法を用いた３次元計測方法ならびに画像処理装置 | |
| US7941008B2 (en) | Pattern search method | |
| US8315457B2 (en) | System and method for performing multi-image training for pattern recognition and registration | |
| CN100372089C (zh) | 图形评价装置、图形评价方法 | |
| CN1981302B (zh) | 图像处理装置和方法 | |
| JP2008102814A (ja) | オブジェクト検出方法 | |
| JP2003216931A (ja) | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 | |
| JP2002140694A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
| JP3447717B2 (ja) | 画像処理装置 | |
| JP3447716B2 (ja) | 画像処理装置 | |
| JP2000182066A (ja) | 画像処理装置 | |
| JP3872061B2 (ja) | 画像処理装置 | |
| JP3066137B2 (ja) | パターンマッチング方法 | |
| JPH0875454A (ja) | 測距装置 | |
| JP3464463B2 (ja) | 画像処理装置 | |
| JPH0737893B2 (ja) | パターンマッチング方法 | |
| JP2004240909A (ja) | 画像処理装置及び画像処理方法 | |
| CN111415327A (zh) | 基于相关分析的pcb图像分块采样装置及方法 | |
| Chang et al. | Fast search algorithms for industrial inspection | |
| JP2002277409A (ja) | プリント基板パターンの検査装置 | |
| 주성호 | GAN based Multimodal Image Alignment Framework for Semiconductor Manufacturing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080704 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090704 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100704 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100704 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |