JP2957878B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は画像処理装置に関し、
特にたとえばテンプレートマッチングによって検査用画
像の中から基準画像との対応領域を検出し、定形性を有
する製造物が良品か不良品かを画像認識する製造物検査
システムに用いられる、画像処理装置に関する。

【０００２】

【従来の技術】画像処理の技術の１つとして、撮像装置
等から入力された検査用画像（ディジタル画像）と予め
登録されている基準画像とを比較して検査用画像の中か
ら基準画像に対応する領域を求めるテンプレートマッチ
ングの手法がある。この手法は、図５に示すように、予
め用意されたテンプレート１に検査用画像２の一部（基
準画像）を登録し、一方、検査用画像に任意の領域（サ
ーチボックス）３を設ける。そして、そのサーチボック
ス３内をテンプレート１が矢印４のように走査すること
によって基準画像と検査用画像との相関度を調べ、最も
相関度の大きい領域を対応領域とするものである。

【０００３】ここで、図６を参照して、テンプレートマ
ッチングについて説明する。図６において、検査用画像
を含むサーチボックス３の面積をＭ×Ｎ，基準画像を含
むテンプレート１の面積をＭｒ×Ｎｒとする。そして、
テンプレート１のステップ幅が決まればテンプレート１
がサーチボックス３内を所定のステップ幅で走査する。

【０００４】たとえば、ステップ幅が１画素ずつの場
合、テンプレート１内の任意の画素を（ｍｒ，ｎｒ）と
すると、走査範囲は数１のように表される。

【０００５】

【数１】 ｜ｉ−ｍｒ｜≧Ｍｒ／２，｜ｊ−ｎｒ｜≧Ｎｒ／２ （≧は定義域） ここで、テンプレート１の中心画素を（ｍｃ，ｎｃ）と
すると走査ステップは、ｍｃ＋α，ｎｃ＋α（α＝１，
２，３，…）となる。また、ステップ幅が４画素ずつの
場合には、走査ステップはｍｃ＋β，ｎｃ＋β（β＝
１，５，９，…）となる。

【０００６】そして、テンプレートマッチングでは、検
査用画像とテンプレート１内の基準画像との相関値を求
める計算式として、たとえば数２に示すような相関関数
を用いた計算式が用いられる。

【０００７】

【数２】

【０００８】なお、数２の相関値は、−１≦相関値≦１
の値をとる。上述の手法では、検査用画像と基準画像と
を統計的に調べていくものであり、入力される検査用画
像がたとえば外乱などによって変化するなど多少不安定
であっても、正確な対応領域を求めることができる。

【０００９】

【発明が解決しようとする課題】しかしこの手法では計
算時間がかかってしまう。そこで高速で計算するために
は、一般的に図７に示すような手法がとられる。まず、
図７に示すステップＳａにおいて、初期設定としてステ
ップ幅を設定する。そして、ステップＳｂにおいて図８
（Ａ）に示すように、テンプレート１を検査用画像のサ
ーチボックス３内を大まかな間隔、すなわち１画素ずつ
テンプレート１を移動させるのではなく或るステップ幅
をもたせて走査するテンプレートマッチングによって相
関値の計算を行い、最大相関値を有する領域を検出す
る。テンプレート１がたとえば６４×６４画素の大きさ
であれば、ステップ幅をたとえば３２画素ずつにする
と、図８（Ａ）のようにテンプレート１が走査してい
く。そして、検出された領域がたとえば図８（Ｂ）に示
す領域５であれば、その領域５を中心に小さな（たとえ
ば１００×２００画素の）サーチボックス６を設ける。
なお、サーチボックス６内の位置と検査による相関値と
の関係は図９に示すようになる。図９からわかるよう
に、領域５の相関値が最大相関値である。そして、図７
のステップＳｃにおいて、そのサーチボックス６内をテ
ンプレート１が１画素毎のステップ幅で走査してテンプ
レートマッチングをみて、ステップＳｄにおいて正確な
対応領域を検出する。

【００１０】しかし、この手法では、ステップＳｂにお
いて最初に行われるステップ幅の大きなテンプレートマ
ッチングの計算結果の精度が最終的にテンプレートマッ
チングの精度を左右してしまうので、最初のテンプレー
トマッチングのステップ幅をあまり大きくすることがで
きず、計算時間をあまり短縮できなかった。また、ステ
ップＳｂのテンプレートマッチング処理において、撮像
装置にあてる照明部品の経時変化や外乱等による入力画
像の変化の影響を受けて正確な相関値が得られず、その
結果正確な対応領域を検出することができないことがあ
った。その結果、不良品でないのに不良と判断される場
合があった。

【００１１】それゆえに、この発明の主たる目的は、計
算時間を短縮できかつ正確な対応領域を検出できる、画
像処理装置を提供することである。

【００１２】

【課題を解決するための手段】この発明は、基準画像を
含むテンプレートを所定ステップ幅で検査用画像上で移
動させてテンプレートマッチングをみることによって検
査用画像の中から基準画像との相関値の大きい領域を検
出する第１手段、および第１手段でのステップ幅より小
さいステップ幅でテンプレートを領域上で移動させてテ
ンプレートマッチングをみることによって領域の中から
基準画像と最も相関値の大きい領域を基準画像との対応
領域とする第２手段を含む画像処理装置において、各ス
テップ幅毎に相関値とそれに対応する信頼度区間との関
係を示すデータを記憶するメモリ、第１手段でのステッ
プ幅と所望の信頼度区間とを予め設定する手段、第１手
段のテンプレートマッチングをみたときの最大相関値に
対応する信頼度区間と予め設定された信頼度区間とを比
較する手段、および最大相関値に対応する信頼度区間が
予め設定された信頼度区間の範囲からはみ出している場
合にステップ幅を変更する手段を備える、画像処理装置
である。

【００１３】

【作用】実験あるいは経験的に得られた相関値とそれに
対応する信頼度区間との関係を示すデータを予めメモリ
に格納しておく。そして、第１手段での比較的大きいス
テップ幅と所望の信頼度区間とを予め設定する。予め設
定されたステップ幅を用いて第１手段でテンプレートマ
ッチングをみて、そのときの最大相関値に対応する信頼
度区間をメモリのデータを参照して得る。この最大相関
値に対応する信頼度区間が予め設定された所望の信頼度
区間からはみ出していればステップ幅を小さくして、再
び第１手段でテンプレートマッチングをみる。この処理
を、最大相関値に対応する信頼度区間が予め設定された
信頼度区間と等しいかまたは予め設定された信頼度区間
内になるまで繰り返し、ステップ幅を決定する。そし
て、最大相関値に対応する信頼度区間が予め設定された
信頼度区間と等しければ、その後第１手段で大まかなテ
ンプレートマッチングをみた後、第２手段で細かなテン
プレートマッチングをみて、所望の対応領域を得る。ま
た、最大相関値に対応する信頼度区間が予め設定された
信頼度区間内であれば、ステップ幅を大きくして、その
後第１手段および第２手段でそれぞれテンプレートマッ
チングをみて、所望の対応領域を得る。

【００１４】

【発明の効果】この発明によれば、外乱や照明の経時変
化等の不安定要素があって、最大相関値に対応する信頼
度区間が予め設定された信頼度区間からはみ出している
場合にはステップ幅を小さくする。一方、安定してお
り、最大相関値に対応する信頼度区間が予め設定された
信頼度区間内である場合にはステップ幅を大きくする。
このように、動的にステップ幅を得ることができる。し
たがって、最初にテンプレートマッチングのステップ幅
を大きくとってもその後最適なステップ幅に設定し直せ
るので、問題なく高速に計算でき、また、外乱や照明の
経時変化等の不安定要素の影響を受けることなく正確に
対応領域を検出できる。したがって、この発明を製造物
検査システムに用いると、良品／不良品の判断をより正
確に行える。

【００１５】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。

【００１６】

【実施例】図１を参照して、この実施例の画像処理装置
１０はたとえば製造物検査システムに用いられ、ＣＰＵ
１２を含む。ＣＰＵ１２には、バス１４を介して、プロ
グラムメモリ１６，ＲＡＭ１８，画像メモリ２０，Ａ／
Ｄ変換回路２２およびＩ／Ｏインタフェース２４が接続
される。プログラムメモリ１６には画像処理装置１０の
動作を制御するためのプログラムおよび図２に示すグラ
フのデータなどが格納され、ＲＡＭ１８にはプログラム
の変数，計算を行うためのデータおよび計算結果などが
格納される。Ｉ／Ｏインタフェース２４には照明装置２
６が接続され、Ａ／Ｄ変換回路２２には撮像装置２８が
接続される。そして、検査対象物３０を撮像装置２８と
照明装置２６との間に配置して、検査対象物３０を撮像
装置２８によって撮影して、その映像信号をＡ／Ｄ変換
回路２２を介して検査用画像の映像データとして、画像
メモリ２０に格納する。画像メモリ２０には、そのほか
に、検査用画像の中から対応領域を検出するための基準
画像を含むテンプレートなどが格納される。

【００１７】図２に示すグラフのデータは、母集団の相
関値を区間推定するものであり、横軸に実際にテンプレ
ートマッチングをみたときの相関値（以下単に、「検査
による相関値」という）をとり、縦軸に実験や経験によ
って得られた相関値（以下単に、「真の相関値」とい
う）をとる。このようなデータが図２（Ａ）ないし
（Ｅ）に示すように、たとえばステップ幅１ないしステ
ップ幅５といった各ステップ幅毎に得られる。たとえ
ば、ステップ幅１，２，３，４および５は、それぞれ１
画素ずつ，４画素ずつ，８画素ずつ，１６画素ずつ，お
よび３２画素ずつのステップ幅を有する。なお、図２
（Ａ）ないし（Ｅ）の各曲線によって囲まれる範囲
（α）であれば、検査による相関値に対する真の相関値
のとり得る全ての値のうち、所定確率（この実施例では
たとえば９５％）の範囲の真の相関値が含まれる。検査
による相関値に対する真の相関値の範囲（α）を信頼度
区間という。したがって、図２に示すグラフのデータか
ら検査による相関値と信頼度区間との関係がわかる。た
とえば図２（Ｂ）にステップ幅２のグラフを示すが、検
査による相関値が０．８５の場合、真の相関値は９５％
の確率で、０．５０〜０．９６となる。

【００１８】このような画像処理装置の動作を、図３を
参照して説明する。まず、ステップＳ１において、初期
設定を行う。初期設定としては、最初（ステップＳ３）
に実行するテンプレートマッチングにおけるテンプレー
トのステップ幅および所望の信頼度区間をそれぞれ設定
する。次いで、ステップＳ３において、設定されたステ
ップ幅を用いてテンプレートマッチングをみて、最大相
関値を求め、プログラムメモリ１６に格納されているグ
ラフのデータを参照して、最大相関値に対応する信頼度
区間を検出する。なお、この実施例では、検査対象物３
０の検査用画像はたとえば５１２×５１２画素で構成さ
れ、テンプレートはたとえば６４×６４画素で構成され
る。次いで、ステップＳ５では、その信頼度区間とステ
ップＳ１で初期設定した信頼度区間とを比較する。外乱
による影響等で最大相関値の信頼度区間が初期設定した
信頼度区間からはみ出していればステップＳ７におい
て、ステップ幅を小さくして、ステップＳ３において再
びテンプレートマッチングをみる。そして、ステップＳ
５において最大相関値の信頼度区間が、初期設定した信
頼度区間内になるかあるいは初期設定した信頼度区間と
等しくなるまでその処理を繰り返す。ステップＳ５にお
いて、最大相関値の信頼度区間が初期設定した信頼度区
間に収まれば、ステップＳ９においてステップ幅を大き
くしてステップＳ１１に進む。２つの信頼度区間が等し
い場合もステップＳ１１に進む。

【００１９】以降、上述の従来と同様に２段階のテンプ
レートマッチングによって処理する。すなわち、ステッ
プＳ１１において、上述の処理で設定されたステップ幅
を用いて大まかなテンプレートマッチングをみて、最大
相関値を有する対応領域を検出する。そして、ステップ
Ｓ１３において、その対応領域を中心として小さなサー
チボックスを設定し、そのサーチボックス内で今度はス
テップ幅が１画素ずつのテンプレートマッチングをみ
る。なお、サーチボックスはたとえば縦１００×横２０
０画素で構成される。ステップＳ１５において、ステッ
プＳ１３のテンプレートマッチングでの最大相関値を有
する対応領域を検出し、その対応領域が検出すべき正確
な対応領域となり、終了する。そして、このように対応
領域を見つけることで対象検査物３０の位置を知ること
ができ、製造物検査システムの良品／不良品の判断がよ
り正確となる。

【００２０】図４（Ａ）を参照して具体的に説明する。
図４（Ａ）に示すように、検査による相関値が０．７０
のとき、ステップ幅４の信頼度区間Ａは０．０６〜０．
８９，ステップ幅３の信頼度区間Ｃは０．２８〜０．８
６であり、初期設定した所望の信頼度区間Ｂを０．１０
〜０．９０（幅は０．８０）とする。まず、ステップ幅
４で１６画素ずつステップしてテンプレートマッチング
をみた結果、検査による最大相関値が０．７０であれ
ば、その信頼度区間はＡとなり０．０６〜０．８９の値
をとる。この範囲は信頼度区間Ｂの範囲からはみ出して
いるので、ステップ幅４でのテンプレートマッチングは
信頼度が低い。したがって、ステップ幅をステップ幅３
にして８画素ずつステップしてテンプレートマッチング
をみると、最大相関値が０．７であっても信頼度区間が
Ｃとなり０．２８〜０．８６となり、信頼度区間Ｂ内を
十分確保でき、テンプレートマッチングの信頼度が高く
なる。したがって、このように信頼度区間Ｂを満たすス
テップ幅３を用いてテンプレートマッチングをみる。

【００２１】また、信頼度区間Ｂと信頼度区間Ｃとを比
較してわかるように、信頼度区間Ｂの幅にはまだ余裕が
あるので、信頼度区間Ｂ以内に収まるという条件をより
小さい相関値であっても満たすことができる。このよう
に低い相関値であっても判断できるので、多少のノイズ
に関係なく信頼性の高いテンプレートマッチングをみる
ことができる。たとえば、ステップ幅３とすることによ
って、相関値が０．６７であっても信頼度区間Ｂ内とい
う条件を満たし、正確にテンプレートマッチングをみる
ことができるようになる。

【００２２】また、図４（Ｂ）に示すように、所望の信
頼度区間をＢ′に示すように０．０５〜０．９０とする
と、検査による相関値が０．７０の場合ステップ幅４で
あっても信頼度区間Ｂ′内という条件を満たす。しか
し、検査による相関値がたとえば照明部品の経時変化や
何らかの外乱等によって０．６０になったとすると、信
頼度区間は−０．２６〜０．８５の値をとることになり
信頼度区間Ｂ′からはみ出してしまい、テンプレートマ
ッチングの信頼度が下がってしまう。そこで、ステップ
幅をステップ幅３（８画素ずつステップする）に変更す
ると、検査による相関値が０．６０となっても信頼度区
間は０．１０〜０．８３となり、信頼度区間Ｂ′内とい
う条件を満たす。したがって、高い信頼性でテンプレー
トマッチングをみることができる。このように、ステッ
プ幅を動的に変えることができるので、検査による相関
値が小さくなっても安定して対応領域を検出することが
できる。また、ステップ幅を動的に変えても、画像検査
に適した正規化された相関関数の式すなわち数２自体を
変える必要がないので、実用価値が高い。

【００２３】なお、外乱の影響によってシェーディング
が起こり照明むらが発生すると検査による相関値が小さ
くなり、また、照明が暗くあるいは明るくなると検査に
よる相関値が小さくなる。

【図面の簡単な説明】

【図１】この発明の一実施例を示すブロック図である。

【図２】母集団の相関値を区間推定するデータを示すグ
ラフである。

【図３】この実施例の動作を示すフロー図である。

【図４】ステップ幅３と４の場合の検査による相関値と
信頼度区間との関係を示すグラフである。

【図５】テンプレートマッチングをみるための登録画像
と検査用画像とを示す図解図である。

【図６】テンプレートマッチングを説明するための図解
図である。

【図７】従来技術の動作を示すフロー図である。

【図８】２段階にテンプレートマッチングをみる場合を
説明するための図解図である。

【図９】サーチボックスの位置と検査による相関値との
関係を示すグラフである。

【符号の説明】

１０ …画像処理装置 １２ …ＣＰＵ １６ …プログラムメモリ １８ …ＲＡＭ ２０ …画像メモリ ２６ …照明装置 ２８ …撮像装置 ３０ …検査対象物

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】基準画像を含むテンプレートを所定ステッ
   プ幅で検査用画像上で移動させてテンプレートマッチン
   グをみることによって前記検査用画像の中から前記基準
   画像との相関値の大きい領域を検出する第１手段、およ
   び前記第１手段でのステップ幅より小さいステップ幅で
   前記テンプレートを前記領域上で移動させてテンプレー
   トマッチングをみることによって前記領域の中から前記
   基準画像と最も相関値の大きい領域を前記基準画像との
   対応領域とする第２手段を含む画像処理装置において、 各ステップ幅毎に前記相関値とそれに対応する信頼度区
   間との関係を示すデータを記憶するメモリ、 前記第１手段でのステップ幅と所望の信頼度区間とを予
   め設定する手段、 前記第１手段のテンプレートマッチングをみたときの最
   大相関値に対応する信頼度区間と前記予め設定された信
   頼度区間とを比較する手段、および前記最大相関値に対
   応する信頼度区間が前記予め設定された信頼度区間の範
   囲からはみ出している場合に前記ステップ幅を変更する
   手段を備える、画像処理装置。