JP3016687B2

JP3016687B2 - 画像処理装置

Info

Publication number: JP3016687B2
Application number: JP6091277A
Authority: JP
Inventors: 徹柳沢
Original assignee: Citizen Watch Co Ltd
Current assignee: Citizen Watch Co Ltd
Priority date: 1993-07-06
Filing date: 1994-04-28
Publication date: 2000-03-06
Anticipated expiration: 2015-03-06
Also published as: JPH07192134A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パターンマッチングに
係る画像処理装置に関し、特に、ランレングスコードを
用いた画像のパターンマッチングに係る画像処理装置に
関する。

【０００２】

【従来の技術】一般に、パターンマッチングとは、予め
登録された参照画像と似た画像の被検査画像中の存在有
無の検査と存在場所の検索とを行う機能を示している。
従来、パターンマッチングは、被検査画像と参照画像と
の間で相関を取ることにより実現していた（「ディジタ
ル画像処理」Rosenfeld-Kak pp.305 1978 参照）。

【０００３】一般には、被検査画像の画素の明るさをＡ
ij、参照画像の画素の明るさをＢij、参照画像の画素の
総数をＭ×Ｎとすると、各々の画像のダイナミックレン
ジで規格化した正規化相関Ｓは数１で与えられる。

【０００４】

【数１】

【０００５】また、明るさ等を考慮して数２に示す正規
化相関Ｃも提案されている。

【０００６】

【数２】

【０００７】数２は、明るさに対して普遍的なため、主
に被検査画像の照明の変動に起因する画像全体の明るさ
の均一な変化をキャンセルしたい時において有効であ
る。

【０００８】一方、対象とする画像が白地に黒の文字や
作画と言った分野では、記号または図形情報の一致を見
るために、２つの画像を移動して重ねあわせ、一致する
部分の面積の大きさを基準とする方法が、数多く提案さ
れている。図形を２値画像と見た場合は、重ねあわせた
図形の一致した部分は相互相関に相当するので、これら
の手法は２値画像のパターンマッチングと解釈できる。
２値画像は、ランレングスコードが利用できるが、該コ
ードは情報量が少ないので、デジタル処理に適している
（特開昭６２ー２４９２９３参照）。

【０００９】ただし、一般的な工業計測の分野では、相
互相関では相関の基準とならない場合が多い。画像の品
質を考慮して、登録画像の面積情報を用いてキャリブレ
ートして使用する例も見られる（特開昭６１−１８２１
７９）。

【００１０】

【発明が解決しようとする課題】パターンマッチングで
は、参照画像を被検査画像の全域にわたって移動させ、
正規化相関Ｓあるいは正規化相関Ｃを移動毎に求め、求
められた相関の中で最大値を示した場所を決定するこに
よって、参照画像と似た画像の被検査画像中の存在有無
の検査と存在場所の検索とを行うものである。しかし、
数１や数２を用いる演算は、画素数に応じて計算回数が
増大し、高速化が不可能であった。そこで、粗い分解能
で大雑把に相関値の高い位置を求め、この周辺について
詳細にパターンマッチングを行うという、段階的にパタ
ーンマッチングを行う手法が考案され、高速化が計らて
いるが、あまり分解能を落とすと高い相関を持つ位置を
見落とす率が高くなるため、むやみに分解能を落とせず
演算回数を少なくするための決定的な改善にはなってい
ない。

【００１１】２値画像を用い、ランレングスコードによ
り図形情報になおした後、登録図形を画面内で移動さ
せ、重ならない部分の面積の最小値を求めるという方法
では、面積等を求める画素毎の加算が、ランレングスコ
ード間の減算となり、計算量はかなり減少する。（特開
昭６２ー２４９２９３）。しかしながらこれらの方法を
もってしても計算数量は大きく、充分な高速化は実現で
きていない。しかも、単一しきい値で２値化できない情
報は、相関に用いることができない。

【００１２】本発明の目的は、パターンマッチングを高
速に行う画像処理装置を提供することである。

【００１３】

【課題を解決するための手段】本発明の画像処理装置
は、被検査画像と参照画像とのパターンマッチングを行
う画像処理装置において、前記被検査画像と参照画像
を、一端から他端に水平方向にアドレスを設定し、白黒
（黒白）変化点の位置を記録した、複数列からなる参照
画像・ランレングスコードと複数列からなる被検査画像
・ランレングスコードとに記録し、被検査画像・ランレ
ングスコードと参照画像・ランレングスコードとを相対
的に平行移動する平行移動手段と、前記被検査画像・ラ
ンレングスコードと参照画像・ランレングスコードの各
列ごとに、２つの画像のランレングスコードを論理積演
算するＡＮＤ手段と、ランレングスコードから面積を計
測する面積計測手段と、面積から相関を算出する相関演
算手段を有する画像処理装置であって、前記平行移動手
段は、水平方向の移動は、参照画像・ランレングスコー
ドに水平方向の移動量を加算することにより、参照画像
・ランレングスコードを移動させ、縦方向の移動は前記
被検査画像を含む・ランレングスコードより、参照画像
に対応する、列を読み替えることにより、被検査画像・
ランレングスコードを縦方向に移動し、前記２つのラン
レングスコードを論理演算するＡＮＤ手段は、前記ラン
レングスコードの、黒から白に変わるアドレスを左ラン
とし、白から黒に変わるアドレスを右ランとすると、各
ランレングスコードの奇数番目が左ランであり、偶数番
目が右ランであり、参照画像と被検査画像の２つのラン
レングスコードについて、各列ごとにランレングスコー
ドを１つのデータとして扱い、前記データをアドレスの
小さい順に並べ直し、参照画像と被検査画像との排他的
論理和画像・ランレングスコードを形成し、前記排他的
論理和画像・ランレングスコードの右ランのうち、参照
画像・ランレングスコードと被検査画像・ランレングス
コードとの左ランと一致するものと、前記排他的論理和
画像・ランレングスコードの左ランのうち、参照画像ラ
ンレングスコードと被検査画像・ランレングスコードと
の右ランと一致するものとを残して論理積画像・ランレ
ングスコードを得る画像処理装置である。

【００１４】

【００１５】

【００１６】

【００１７】

【００１８】

【００１９】

【００２０】

【００２１】

【００２２】

【００２３】

【００２４】

【００２５】

【００２６】

【００２７】

【００２８】

【００２９】

【００３０】

【００３１】

【００３２】

【００３３】

【実施例】

＜実施例１＞〔〔画像処理装置の概要〕〕（図１、図２参照）以下、本発明を図面に基づいて説明する。図１は本発明
の画像処理装置の一実施例を示す構成図である。図１に
於て、１はカメラ、２は１で取り込んだ画像から二値画
像を発生する二値化回路、１２は二値画像から膨張二値
画像を発生する二値画像膨張手段、３は二値画像から二
値画像に復元可能な白黒境界だけのデータに圧縮するラ
ンレングスコード発生回路、４はランレングスコードか
らノイズを除去するノイズ除去手段、５は被検査画像の
ランレングスコードを記憶する被検査画像メモリ、６は
参照画像のランレングスコードを記憶する参照画像メモ
リ、７は参照画像を膨張して発生したマスク画像のラン
レングスコードを記憶するマスク画像メモリ、８は参照
画像とマスク画像を移動させる画像移動手段、９は被検
査画像と移動した参照画像とマスク画像から論理積演算
をするＡＮＤ手段、１０はランレングスコードから面積
を測定する面積計測手段、１１は２つの面積からパター
ンマッチングに必要な相関計算を行う相関演算手段を示
している。

【００３４】本実施例では、図１に示した画像処理装置
を用いて、図２に示すような、Ｔ字型の形状の対象Ｒと
対象Ｒの背景（図２の斜線部）とを含んだ矩形状の領域
を参照画像として登録し、図３に示すような被検査画像
から対象Ｒとほぼ同じ形状、ほぼ同じ大きさ、ほぼ同じ
向きの対象を検出するまでの手順を説明する。

【００３５】本実施例では、説明の都合上、参照画像の
画素数を縦２０画素・横２０画素（以下、縦方向の画素
の並びを行、横方向の画素の並びを列として扱う）とす
るが、ロボット等による製造組立ライン等に用いられる
画像処理では参照画像として通常５００×５００画素程
度の画素の集合を扱っている。

【００３６】〔〔参照画像及びマスク画像の登録〕〕
（図２参照）本実施例では、図２に示す参照画像とマスク画像及び図
３に示す被検査画像とをそれぞれ参照画像メモリ６（図
１参照）とマスク画像メモリ７と被検査画像メモリ５
（図１参照）とに記憶する。そこでまず、参照画像を参
照画像メモリ６に記憶し、マスク画像をマスク画像メモ
リ７に記憶するまでの手順を説明する。

【００３７】〔カメラからの画像の取り込み〕（図２参
照）図２に示す画像を、カメラ１（図１参照）により取り込
み、取り込んだアナログビデオ信号を同じくカメラ１に
よりＡ／Ｄ変換し、デジタル信号を二値化回路２（図１
参照）へ送出する。実際にはもっと大きな領域で画像を
取り込み、矩形とのＡＮＤ手段等で図２に示すような領
域に切り出して使用するが、説明の都合上省略する。

【００３８】〔二値化処理〕（図６参照）カメラ１（図１参照）から送られてきたデジタル信号を
二値化回路２（図１参照）により２０×２０の画素とし
て二値化する。二値化した参照画像をコードとして表現
すると図６のようになる。図６において、最上段の０か
ら９の数字は、目安として付記したもので特別な意味は
ない。また、左の第１行目の１から２０の数字は画素の
列を表し、以後、図６の上段から下段に従って順番に１
列、２列・・・と表記する。さらに、本実施例では、パ
ターンマッチングすべき対象Ｒを白、背景を黒とし、黒
を０、白を１として画像処理装置のメモリ上では扱って
いる。このような、２０×２０画素全部のコードをＲＡ
Ｍ等のメモリに一時的に保持しておいても良いし、一走
査分だけのコードをＲＡＭ等のメモリに一時的に保持
し、一走査分（本実施例では２０画素分）を後述するラ
ンレングスコード発生回路３（図１参照）によりランレ
ングスコード処理するという操作を繰り返し用いても良
い（その場合、本実施例では２０回繰り返すことにな
る）。本実施例では２０×２０画素全部のコードをＲＡ
Ｍに一時的に保持している。

【００３９】〔二値画像膨張処理〕（図１２参照）図６において、１つの画素に着目する。図１２ａに示す
ように、１つの画素は上下左右斜め上下合計８つの画素
で囲まれている。もし着目した画素の値が１の場合、該
画素を囲む８つの画素の値が全て１となるような処理
を、全ての画素について行うと、結果は図１２ｂとなる
（説明の都合膨張結果は１のかわりに２と記す）。図１
２ｂに示される二値画像は、図６に示される二値画像の
周辺を１画素太らせた二値画像となっている。この処理
を二値画像の膨張処理とよぶ。膨張後の二値画像に同じ
処理を何回か繰り返し施す事により、任意の膨張二値画
像を発生させる事ができる。膨張二値画像は、膨張前の
二値画像の輪郭からほぼ等距離の領域を示す輪郭をもた
らす。本実施例では膨張二値画像そのものを参照画像の
相関領域として利用する。説明の都合上本実施令では相
関領域を示すマスク画像としては、図１２ｂに示す１回
の膨張処理を行った膨張二値画像を用いる。

【００４０】〔ランレングスコードの発生〕（図７、図
８、図９参照）前述したＲＡＭに保持されている２０×２０画素のコー
ドから、ランレングスコード発生回路３によりランレン
グスコードが発生する。

【００４１】本実施例ではランレングスコードを以下の
ように説明する。

【００４２】本実施例で用いるランレングスコードと
は、画面の左端から水平方向（図６横方向）にみた場合
の、黒白（白黒）変化点の位置（左ラン、右ラン）であ
る。ここで、黒（背景）から白（対象）に変わる位置を
左ランと表現し、白（対象）から黒（背景）に変わるラ
ンレングスコードを右ランと表現する。そうすると、画
面の左端から水平方向（図６横方向）にみているので、
左ランと右ランとの間が対象（白）となり、右ランと左
ランとの間が背景（黒）となる。

【００４３】以上、ランレングスコードの定義に基づい
て、本実施例における参照画像である２０×２０の画素
のコードを左端から水平方向にランレングスコード処理
していくと図７のようになる。図７の左の第１行目の１
から２０の数字は画素の列を表し、ランレングスコード
は図７の第２行目以降に表示している。

【００４４】図２に示す参照画像から、あるいは図６に
示す二値化したコードから分かるように、対象Ｒの左側
（図２参照）は背景であり、ランレングスコードは、各
列において、背景、対象Ｒ、背景、対象Ｒ・・・の順に
並んだランレングスコードということになる（前述した
定義によれば、左ラン、右ラン、左ラン・・・の順に並
ぶ）。同じく、対象Ｒの右側（図２参照）も背景である
ので、各列における最後のランレングスコードは背景の
ランレングスコード（左ラン）であり、本実施例では一
列２０画素であるので各列における最後のランレングス
コードは全て２０（左ラン）となる。このような理由か
ら各列最後のランレングスコードはあえてメモリ上に記
憶する必要がないが、本実施例では、説明の都合によ
り、各列最後のランレングスコードもメモリに記憶す
る。

【００４５】ランレングスコードを画像処理装置のメモ
リ上に保持する際、図７に示すような形式でランレング
スコードを保持するわけではなく、実際には、一次元の
配列としてメモリ上に保持し、ランレングスコードを記
憶しているメモリをアクセスする際は、ランレングスコ
ードを記憶しているメモリ上の物理的なアドレスを用い
てアクセスすることになる。図８は、ランレングスコー
ドを記憶しているメモリの内容を模式的に表現したもの
であり、上段がメモリ上のアドレスであり、下段が上段
のアドレスに対応するランレングスコードである。

【００４６】図８に示すようなランレングスコードのア
クセスの高速化のために、本実施例では、各列の最初
（左端）のランレングスコードのアドレスを各列単位に
テーブルに記憶する。図９は、列と列に対応する最初
（左端）のランレングスコードとの対応を示すテーブル
である。例えば、３列目のランレングスコードをアクセ
スする際は、図９に示す第３列に対応するアドレスが４
であるから、メモリ上のアドレスが４（図８参照）であ
るところをアクセスし、順次、アドレス＝５、アドレス
＝６の示す場所をアクセスすれば良い。

【００４７】〔ノイズの除去〕（図４参照）最初にランレングスコードを発生させた状態では、参照
画像の大きさに対して充分小さな対象が数多く存在す
る。これらは、ほとんどがデジタルノイズであり、特
に、１画素程度のデジタルノイズは良く存在する。これ
らデジタルノイズをノイズ除去手段４（図１参照）によ
り整理する。

【００４８】図４は、ノイズ除去手段４の処理を視覚的
に表現したものであり、図４（ａ）はノイズ除去を行う
前を示し、二値化回路２（図１参照）により二値化され
た画像の一走査分の画像（図６の二値化表現された画像
の一列に相当）を凸部と凹部とにより表現したものであ
る。図４において、凸部は対象（白；図６では１）を示
し、凹部は背景（黒；図６では０）を示している。

【００４９】本発明の画像処理はほとんどの処理におい
てランレングスコードを用いている。このため、前述し
たように凸部の左端を左ランとして、凸部の右端を右ラ
ンとして扱い、右ランから左ラン（図４の左から見て、
その右ランのひとつ手前の左ラン）を差し引いて対象の
幅を算出し、算出された対象の幅が予め指定しておいた
指定ノイズ幅Ｌよりも小さい場合、その対象をノイズと
見なし除去する。対象がノイズであると見なされた場
合、左ラン及び右ランを対で消去する。具体的には、図
８に示すランレングスコードの対応する部分を消去し、
その後に記憶されているランレングスコードを前に詰め
ていくという作業を行うことになる。従って、図９に示
すアドレスのテーブルも更新される。

【００５０】別途背景に対しても同じことを行う。この
時、指定ノイズ幅Ｌ’は、通常、対象に対して用いた指
定ノイズ幅Ｌと同じでも良いが、実際には、取り扱う画
像の性質により、ＬとＬ’の値を変えると便利なことも
多い。さらに、強制的に対象を結合させたり引き離した
りする目的で、背景のノイズを除去した後に対象のノイ
ズを除去したり、対象及び背景のノイズ除去を交互に何
回も実行することにより、ノイズ除去の効果を高めるこ
ともできる。

【００５１】図４（ｂ）は図４（ａ）に示した一走査分
の画像をノイズ除去手段４によりノイズ除去した結果を
表現している。

【００５２】ノイズ除去という作業を行わなくとも本発
明の目的であるパターンマッチングは可能である。しか
し、ノイズが多いにも係わらずそのまま処理を続ける
と、ノイズはランレングスコードとして存在し、そのた
め必要以上にメモリを使ってしまい、さらに、存在する
ランレングスコードの数に応じて後述する相関演算を意
味もなく繰り返すため時間的ロスが生じてしまう。この
ような理由から、パターンマッチング、特に画像処理装
置を取りまく環境が理想的とは言い難い製造組立ライン
等に用いられるパターンマッチングにおいて、メモリの
節約、処理の高速化にノイズ除去は有効な手段となって
いる。また、本発明のノイズ除去は、図６に示すような
二値画像を用いてノイズ除去を行うのではなく、ランレ
ングスコードを用いて行っているため、計算の処理回数
が少なくてすみ、一層の高速処理を実現している。例え
ば、図６に示す二値画像（この画像にはノイズは無い
が）から画像処理で良く用いられている８連結孤立点除
去オペレーションにより（対象に対する）ノイズ除去を
行うとすれば８（近傍点）×１０５（図６中の１の個
数）＝８４０回もの１か０かの比較計算をする必要があ
るのに対し、図８及び図９に示すランレングスコードと
アドレスとを用いれば１８（＝ランレングスコードの数
／２）回の右ランから左ランの減算とＬに対する大小比
較ですむ。このような傾向は、取り扱う画素数が増大す
るのに従って顕著に現れる。通常、製造組立ライン等で
は５００×５００画素を扱うが、そのような場合、（画
像の性質にもよるが）１０００〜１００分の１程度の処
理ですむ。

【００５３】指定ノイズ幅は、参照画像の画素数や背景
・対象の鮮明度等に応じて作業者が適当に指定する。本
実施例の参照画像の画素数は２０×２０画素と極めて小
さく、ノイズ除去手段４を用いると、登録すべき対象の
情報を正確に登録できなくなる。このため、本実施例に
おいては、ノイズ除去手段は用いないこととする（もし
くは、指定ノイズ幅＝０とする）。

【００５４】〔参照画像メモリ及びマスク画像メモリへ
の登録〕ノイズ除去後、図８に示すランレングスコード
と図９に示す各列の最初（左端）のランレングスコード
のアドレスのテーブルとを参照画像メモリ６（図１参
照）に登録する。マスク画像についても参照画像と同様
の手続きによりマスク画像メモリ７へ登録する。

【００５５】〔〔被検査画像の登録〕〕（図１、図３参
照）以上、参照画像の登録処理の手順を示してきた。続い
て、図３に示す被検査画像の登録処理を行う。

【００５６】被検査画像の登録も参照画像の登録と同
様、カメラ１により被検査画像を取り込み、取り込んだ
アナログビデオ信号を同じくカメラ１によりＡ／Ｄ変換
し、デジタル信号を二値化回路２（図１参照）により二
値化する。本実施例で扱う被検査画像の二値画像は３０
×３０の画素である。二値化した被検査画像をコードと
して表現すると図１０のようになる。図６同様、図１０
において、最上段の０から９の数字は、目安として付記
したもので特別な意味はなく、また、左の第１行目の１
から３０の数字は画素の列を表している。

【００５７】続いて、二値画像をランレングスコード発
生回路３によりランレングスコード化し、さらに、ノイ
ズ除去手段４によりノイズ除去後、被検査画像メモリ５
に登録する。被検査画像についても、図８に示すランレ
ングスコードと図９に示す各列の最初（左端）のランレ
ングスコードのアドレスのテーブルとを登録する。

【００５８】〔〔基準点の設定〕〕（図２参照）参照画像の左ランと右ランとの中から図２に示すように
任意に基準点Ｐn （n=1,2,3,・・・）を数点抽出する。１
点ではなく数点抽出しておく理由は、被検査画像が何ら
かの欠損を受け、参照画像と比較する場合、被検査画像
上の一致するはずの基準点に対応する部分が欠落して、
パターンマッチングが行えないという事態を防ぐためで
ある。このような理由から、複数の基準点は参照画像の
白黒境界の中でお互いに離れた位置を採るべきである。
劣悪な検査条件の中で登録物体の位置や類似度を検出す
る様な場合は複数点を用いるが、画像の欠陥の有無だけ
を調べる場合は、基準点は１つでも構わない。

【００５９】〔〔参照画像とマスク画像の被検査画像上
の移動〕〕（図３参照）本発明では、相関演算を用いてパターンマッチングを行
っている。相関とは、後述するように参照画像と被検査
画像との一致度の指標である。この相関演算を行うため
には、被検査画像上の適当な場所に参照画像を重ね合わ
せる必要がある。この重ね合わせは被検査画像全体（実
際には、参照画像は被検査画像に含まれる一部分である
から、被検査画像から参照画像の大きさを引いた領域）
に対して行う。つまり、重ね合わせる場所を移動し、そ
の都度相関演算を行い、最も大きな相関が得られた場所
の決定をしてパターンマッチングが完了するわけであ
る。この重ね合わせの前手続きを、参照画像の被検査画
像上の移動と呼んでいる（ここでは詳述しないが、後述
の相関演算の必要から、マスク画像も参照画像と一緒に
移動しなければならない）。参照画像の移動の最も単純
な方法として、被検査画像上を一画素づつ参照画像を移
動するという方法があるが、この方法では、被検査画像
の画素数に応じて計算量が増大するためあまり効率的な
方法ではない。

【００６０】このため、本実施例では、最初に前述した
参照画像のランレングスコード上の基準点Ｐn （n=1,2,
3,・・・）と被検査画像のランレングスコードとを用いて
参照画像を移動する事によって処理の高速化を実現して
いる。さらに検出した高い相関を示す位置周辺を、全体
からは無視し得る範囲で画素単位で検索することによっ
て、画素以上の精度を確保することもできる。

【００６１】具体的には、基準点Ｐn が左ランであれば
被検査画像の左ランのみに一致させ、基準点Ｐn が右ラ
ンであれば被検査画像の右ランのみに一致させる。この
操作は基準点の数だけ行う。横方向の画像の移動は、参
照画像上の基準点Ｐn が一致した被検査画像の左ラン
（もしくは右ラン）から参照画像の基準点の左ラン（も
しくは右ラン）を差し引いた値を移動量とし、参照画像
の各々のランレングスコードに移動量を加算することに
より実現できる。また、縦方向の移動は、参照画像に対
応する被検査画像のランレングスコードの列を読み替え
ることにより実現できる。

【００６２】例えば、参照画像の基準点Ｐ1 は右ランで
あるので、メモリに保持している被検査画像の右ランを
順にアクセスする。図３および図１０に示す被検査画像
において、最初に右ランが現れるのは点Ｑ1 であるの
で、まず基準点Ｐ1 を点Ｑ1 に一致させる。基準点Ｐ1
は図６における第３列であり、基準点Ｐ1 の右ランは１
２（図７参照）である。それに対し、点Ｑ1 の右ランが
２２（図１０参照）であるとし、点Ｑ1 が第７列にある
とすれば、水平方向（横方向）移動量は、２２−１２＝
１０であり、被検査画像の相関演算の対象となる列は、
Ｐ1 が参照画像の２列目にあることを考慮すると、図１
０の第５列目（対象の存在する領域ではなく、参照画像
の登録領域）からである。したがって、参照画像の全て
のランレングスコードに水平方向移動量を加算し、被検
査画像の第５列目から、参照画像の大きさを考慮して第
２４列目までのランレングスコードを取り出して、加算
した参照画像のランレングスコードと取り出した被検査
画像のランレングスコードとを用いて以後説明する手順
に従い相関演算を行う。

【００６３】以上が、参照画像の被検査画像上の移動で
あり、このような処理は画像移動手段８（図１参照）に
より行われ、続いて、後述するＡＮＤ処理、面積計測、
相関演算の順で処理がなされ、その後、再びこの画像移
動手段８は参照画像を移動する。例えば、基準点Ｐ1 は
右ランであるので、被検査画像の最後の右ランまで移動
と相関演算とを繰り返す。また、被検査画像上の一致す
るはずの基準点Ｐ1 に対応する部分が欠落していて、あ
まり良い相関が得られない場合がある。このため、本発
明では、基準点は一点だけではなく複数用意する。例え
ば、本実施例では、基準点Ｐ1 と被検査画像の最後の右
ランとを一致させ相関演算した後、基準点を基準点Ｐ2
に換えて再度繰り返す。このような処理は、最後の基準
点まで繰り返される。

【００６４】以上、本発明の移動方法は、一つの基準点
に関して言えば、どんなに多くとも、基準点が右ランで
あれば、被検査画像の右ランの個数だけ繰り返せば良
く、従来の画素単位の移動と比較しても、圧倒的に高速
な移動を実現し得るものである。

【００６５】〔〔ＡＮＤ処理〕〕（図５参照）被検査画像から取り出したランレングスコードと移動し
た（移動量だけ加算してある）参照画像のランレングス
コードとから、ＡＮＤ手段９（図１参照）により、論理
積演算を行い共通領域を示す論理積ランレングスコード
を算出する。また、被検査画像から取り出したランレン
グスコードと、参照画像と一緒に移動したマスク画像の
ランレングスコードとから、ＡＮＤ手段９（図１参照）
により、論理積演算を行い相関領域を示す論理積ランレ
ングスコードを算出する。

【００６６】図５を用いてＡＮＤ処理の概念を説明す
る。図５に示すαとβとは、一列のランレングスコード
に対応する２値画像である。図５においても、図４と同
様、凹部が背景、凸部が対象である。２値画像γは、
α、βのランレングスコードを、本発明のＡＮＤ手段９
にて処理した結果を、図５に示すように２値画像で表し
たものが、２値画像γである。図５に示すように、２値
画像α、βどちらについても凸部であったところのみが
２値画像γでは凸部となり、２値画像α、βどちらか一
方が凸部であったり、２値画像α、βどちらとも凹部で
あったところは２値画像γでは凹部となる。

【００６７】この操作は、以下のように行う。まず２値
画像αとβのランレングスコードデータを１つのデータ
と見て、座標値の小さい順に左から並べ直し、１つのラ
ンレングスコードとし、αとβの排他的論理和画像・ラ
ンレングスコードを得る。図５において、２値画像αと
βの排他的論理和を示してあり、ここにおいて、各ラン
レングスコードの奇数番目が左ランであり、偶数番目が
右ランである。以下説明のために、図５に示す２値画像
にて概念を説明する。次に排他的論理和の右ランを、も
との２値画像αとβの左ランと比較し、一致する物を残
す。さらに、排他的論理和の左ランを、もとの画像αと
βの右ランと比較し、一致する物を残す。この結果ＡＮ
Ｄ画像が得られる。（同様に、排他的論理和の左ランを
もとの画像αとβの左ランと比較し、一致する物を残
し、排他的論理和の右ランを、もとの画像αとβの右ラ
ンと比較し、一致する物を残すことにより、ＯＲ（論理
和）画像を得る事もできる。）

【００６８】つまり、２値画像γが、α及びβの共通領
域を示す論理積であり、このような処理を被検査画像か
ら取り出したランレングスコードと移動した（移動量だ
け加算してある）参照画像のランレングスコードとで行
う。ＡＮＤ処理は各列毎に行う。本実施例では、参照画
像の列の数が２０列であるので、ＡＮＤ処理は、前述し
た一回の移動について２０回行う。ランレングスコード
を用いると、図６と図１０に示すような、各々の画面に
ランレングスコードのペアが１個程度しかない場合は、
ソートの為に座標値を一行あたり２回程度比較すること
でＡＮＤ処理を実現できるし、ランレングスコードの数
が変わらなければ画素数が増えても比較回数は変わらな
い。これに対し画素ごとのＡＮＤ処理を施した場合、図
６の大きさで１行あたり２０回、５００×５００画素の
画像では５００回を要する。

【００６９】〔〔面積計測〕〕後述する相関演算に必要
なパラメータとして参照画像の面積、参照画像と被検査
画像との論理積ランレングスコードの面積、移動したマ
スク画像領域内の被検査画像の面積をそれぞれ求めてお
く必要がある。これらの面積計測は面積計測手段１０
（図１参照）により行う。本発明では、面積計測につい
てもランレングスコードを用いている。このため、本発
明の面積計測によれば、二値画像の画素を数えて面積を
計測する方法に比べて処理回数を激減でき高速処理が実
現できる。例えば、本実施例では、一回の移動につい
て、従来の方法であれば２０×２０×２＝８００回の計
算が必要となるが、本発明による面積計測では２０×２
＝４０回程度の計算で済む。このような傾向は、画像処
理装置が扱う画素数に応じて顕著になり、製造組立ライ
ン等に用いられる画像処理では通常５００×５００程度
の画素を扱うため、本実施例の画像をそのまま高分解能
化したと想定すると、２５０分の１程度に処理回数が激
減できる。

【００７０】〔参照画像とマスク画像の面積計測〕参照
画像のランレングスコードの凸部（対象）の総和を求め
ることにより、参照画像の面積を得る。凸部の総和は、
右ランから右ランと対の左ランを差し引くことによって
凸部の長さを求め、この凸部の長さを全ての列について
累積することによって求める。同様にマスク画像の面積
を得る。参照画像とマスク画像の面積は、一度求めてお
けば良く、移動の度に求める必要はない。

【００７１】〔マスク画像領域内の被検査画像の面積計
測〕マスク画像と被検査画像のＡＮＤ処理された論理積
ランレングスコードの凸部（対象）の総和を求めること
により、被検査画像の面積を得る。凸部の総和は、右ラ
ンから右ランと対の左ランを差し引くことによって凸部
の長さを求め、この凸部の長さを全ての列について累積
することによって求める。

【００７２】〔参照画像と被検査画像との論理積ランレ
ングスコードの面積計測〕参照画像と被検査画像のＡＮ
Ｄ処理された論理積ランレングスコードの凸部の総和を
求めることにより、共通領域の面積を得る。凸部の総和
は、右ランから右ランと対の左ランを差し引くことによ
って共通領域の長さを求め、これを対になっている全て
のランレングスコードについて行い、各共通領域の長さ
を累積することによって求める。

【００７３】〔〔相関演算〕〕（数３参照）参照画像の面積をＡ、参照画像と被検査画像との論理積
ランレングスコードの面積をＴ、マスク画像内の被検査
画像の面積をＢとすると、正規化相関ＳＢは数３を用い
て算出される。これは相関演算手段１１により計算され
る。

【００７４】

【数３】

【００７５】ここで、本来ならば、正規化相関Ｃ（数
２）に対応する正規化相関ＣＢ（数４）を用いた方が、
より正確に相関値を求められるが、説明の容易さを考慮
して、ここでは数３を求める手順を説明することとす
る。

【００７６】

【数４】

【００７７】〔〔最大値検索〕〕参照画像の全移動およ
び全基準点について相関演算を行い、その結果として得
られた最も大きな正規化相関ＳＢを算出したところの参
照画像の位置の検出をもってしてパターンマッチングが
完了する。つまり、正規化相関ＳＢの最大値検索を行う
ことによりパターンマッチングが行える。正規化相関Ｓ
Ｂは参照画像と被検査画像との一致度を示し、最大値が
得られる座標は被検査画像中の参照画像に最も近いパタ
ーンの存在する位置を示している。

【００７８】しかしながら、被検査画像中に参照画像中
の対象と一致する対象がそもそも存在しない場合もあ
る。この場合、最大値の正規化相関ＳＢであってその最
大値を示す参照画像の位置が正しいとは言えない。この
ため、本発明では、正規化相関にしきい値を設定してお
き、予め設定しておいたしきい値に正規化相関の最大値
が満たない場合は、被検査画像中にそもそも参照画像の
対象が存在しなかったという判断をする。また、これよ
り大きな別のしきい値を用いて、ひとつの基準点での正
規化相関の最大値がそのしきい値をクリアすればパター
ンマッチングは完了とする事により、各々の基準点で重
複した作業を繰り返すのを避けることもできる。

【００７９】このように、正規化相関ＳＢは、数３に示
すように単純な計算で求められ、各面積を計測しておけ
ば一度の計算で求めることができるため、正規化相関Ｓ
Ｂの計算は高速に行うことができる。例えば本実施例で
は、数１や数２に示した従来の計算方法を用いて相関演
算すれば、３０×３０画素の被検査画像に対応する８ビ
ット程度で表される濃淡画像領域を、２０×２０画素の
参照画像に対応する８ビット程度で表される濃淡画像が
移動することになるので、正規化相関Ｓは、参照画像の
自己相関項（ΣＡij２）を予め求めてあるとしても、２
０×２０×２回の積和算を必要とし、（一方の画像の移
動は読みだしアドレスを変更して対処するとし、ここで
は考慮しない。）正規化相関Ｓは１００回求めることに
なるので、全体で８万回の積和算が必要である。本実施
例によれば、一回の正規化相関ＳＢの算出に、移動に対
して４０×２回の加算、ＡＮＤ処理に対する比較４０×
２回、面積計測に対して、減算と累加算２０×２＝４０
回程度、即ち２００回程度の整数計算ですむ。これは２
値画像とランレングスコードの性質を利用した効果であ
るが、画素単位で移動して検索する方法の場合は、１０
０回の移動が必要であり、全体として２万回程度の整数
計算が必要である。一方本実施例の基準点を用いて移動
する場合では、基準点１個当たりの移動回数は１０回程
度なので、全体として２０００回程度の計算ですむ。全
体として非常に高速にパターンマッチングが実現でき
る。このような傾向は、画像処理装置が扱う画素数に応
じて顕著になり、製造組立ライン等に用いられる画像処
理では通常５００×５００程度の画素を扱うため、計算
回数は激増する。ここで同じ画像で被検査画像の３０×
３０画素を５００×５００画素と置き換え、参照画像の
２０×２０画素を３００×３００画素と置き換えると、
従来の方法では、正規化相関Ｓは３００×３００×２回
の積和算が必要であり、それを２００×２００回行わね
ばならない。従って７２憶回の積和算を必要とする。２
値画像とランレングスコードを用いたとしても、正規化
相関ＳＢは１２００＋１２００＋６００＝３０００回の
整数計算が必要であり、移動回数は、２００×２００回
なので、３０００×２００×２００＝１億２千万回の整
数計算が必要である。これに対し本発明によれば、基準
点１個当たりの移動回数は２００回なので、全体として
３０００×２００＝６０万回の整数計算で求められる。
従って濃淡画像で従来行っていた場合に比べ１万分の１
以下，また２値画像とランレングスコードを組み合わせ
た従来の方法と比べても、２００分の１程度に処理回数
が激減できる。さらに従来技術で述べた分解能を落とす
方法を本発明の方法と組み合わせて使用することもでき
る。

【００８０】通常は、高い相関を示す位置を検索する為
に１画素ごとに画像を移動して相関を求めるが、この方
法では計算回数が膨大になり、非常に時間がかかる。登
録画像の左ランまたは右ラン上の１点に着目し、この点
を被検査画像の左ランまたは右ラン上を移動させること
により、最初に相関値の高い領域を絞り込む本発明の方
法によれば、計算回数が激減し、非常に高速にパターン
マッチングを行うことができる。さらに二値画像の特徴
を生かし、参照画像の輪郭を膨張する事により、対象の
存在する領域を理想的に限定する相関領域を自動的に発
生する事により、背景画像の変化に強いパターンマッチ
ングが行える。

【００８１】〔〔処理の流れ〕〕最後に、パターンマッ
チングの処理の手順を図１１に示すフローチャートを用
いて説明する。

【００８２】ＳＴＥＰ１参照画像の登録、マスク画
像の登録、被検査画像の登録、参照画像の面積計測、マ
スク画像の面積計測及び基準点の設置を行う。前述した
ように、登録とは、カメラからの画像の取り込み、二値
化処理、二値画像膨張処理、ランレングスコードの発
生、ノイズ除去、メモリへの登録を意味する。ここで、
参照画像の面積計測とマスク画像の面積計測は、ＳＴＥ
Ｐ１で行わなくても後述する相関演算（ＳＴＥＰ６）以
前であればいつでも良いが、参照画像の面積とマスク画
像の面積は一度求めておけば良いのでＳＴＥＰ１で求め
ておくことが望ましい。ＳＴＥＰ２参照画像とマスク画像の被検査画像上の
移動を行う。ＳＴＥＰ３ＡＮＤ処理を行う。ＳＴＥＰ４マスク画像と被検査画像との論理積ラン
レングスコードの面積計測を行う。ＳＴＥＰ５参照画像と被検査画像との論理積ランレ
ングスコードの面積計測を行う。ＳＴＥＰ６相関演算を行う。ＳＴＥＰ７ひとつの基準点に関して、参照画像の被
検査画像上の移動が完了しているか（参照画像が被検査
画像全域を移動したか）を判断する。完了していればＳ
ＴＥＰ８へ進む。まだ完了していない場合はＳＴＥＰ２
へ戻る。ＳＴＥＰ８参照画像の被検査画像上の移動に用いた
基準点がＳＴＥＰ１で設定した最後の基準点かを判断す
る。最後の基準点であればＳＴＥＰ１０へ進む。最後の
基準点ではない場合はＳＴＥＰ９へ進む。ＳＴＥＰ９基準点を次の基準点に換えてＳＴＥＰ２
へ戻る。ＳＴＥＰ１０相関値の最大値検索を行う。

【００８３】ＳＴＥＰ１からＳＴＥＰ１０までが本発明
の一実施例である画像処理方法の手順であるが、パター
ンマッチングの完了は必ずしもこの手順通りで行う必要
はない。例えば、前述したように、相関値の最大値検索
（ＳＴＥＰ１０）をＳＴＥＰ７とＳＴＥＰ８との間で行
い、ひとつの基準点での正規化相関の最大値が予め設定
したしきい値をクリアしているかの判断を行い、クリア
していれば処理を完了するような手順としても良いし、
相関演算後ただちに、予め設定したしきい値をクリアし
ているかの判断を行いクリアしていれば処理を完了する
ような手順としても良い。どこで相関値の最大値検索を
行うかは、画像処理を行う環境や目的によって判断され
るものである。

【００８４】＜実施例２＞２値画像の代わりに微分エッ
ジを用いる場合について、図面を用いて説明する。２値
画像は、画像のコントラストの大きな部分のみの情報を
用いるため、比較的画質の変化に強く、安定したエッジ
情報が得られるが、単一のしきい値で２値化できる情報
しか用いることができない。これに対し、微分エッジは
コントラストの大きな全ての情報を相関に用いることが
できる利点がある。微分エッジは画質の変化に対して不
安定なので、取扱いが難しいが、本実施例では比較的安
定した微分エッジが得られる縦，横方向の１次元微分か
ら２次元の微分エッジを合成する装置について説明す
る。本実施例におけるパターンマッチングは、該装置を
実施例１に於いて図１のカメラ入力後のＡ／Ｄ変換直後
に挿入することにより実現される。実施例１と本実施例
は画質を考慮して使い分けるとよい。

【００８５】図１３は本実施例の微分回路を示すブロッ
ク図である。該回路の入力は図１に示したカメラからの
アナログビデオ信号をＡ／Ｄ変換したデジタル入力信号
である。１３は、該デジタル入力信号を走査線横方向に
画素単位で遅延させるための横方向遅延回路であり、フ
ァーストインファーストアウトメモリで構成される。１
４は、前記デジタル入力信号を走査線縦方向に画素単位
で遅延させるための縦方向遅延回路であり、ファースト
インファーストアウトメモリで構成される。１５は、デ
ジタル入力信号と横方向遅延回路の出力信号の間の差を
求める横微分回路であり、ＲＯＭまたはＲＡＭを用いた
ルックアップテーブルで構成される。１６は、デジタル
入力信号と縦方向遅延回路の出力信号の間の差を求める
縦微分回路であり、ＲＯＭまたはＲＡＭを用いたルック
アップテーブルで構成される。１７は、横微分回路の出
力と縦微分回路の出力から２次元の微分画像を発生する
合成回路であり、ＲＯＭまたはＲＡＭを用いたルックア
ップテーブルで構成される。

【００８６】入力デジタル信号は、遅延回路１３，１４
により縦，横各々の方向に遅延されると、各々の方向に
ずらした画像となり、微分回路１５，１６により原画像
とこれら各々の遅延画像の差をとると図１４の様に階調
差を輝度で表現した微分画像となる。微分回路１５，１
６では、さらに該微分画像は取扱いが容易な絶対値にし
ておく。遅延の量を小さくとると（最少は１画素）小さ
な領域の変化を捕らえられるが、微分エッジが細くなり
消失し易くなる。反対に遅延の量を大きくすると、エッ
ジは安定して得られるが、小さな変化を捕らえることが
できない。本実施例では、４画素程度の遅延量を適当と
する。本実施例の構成では、遅延回路１３，１４を用い
ることにより、遅延量を４画素を中心に幅２画素程度で
可変にすることができ、画質に応じた制御を行える。
縦，横方向の微分画像は、合成回路１７により射影の逆
操作を行い、２次元の微分画像に合成される。

【００８７】以下、各々の回路の構成と働きにつき個別
に説明する。

【００８８】〔ルックアップテーブル〕ルックアップテ
ーブルは、ランダムアクセスできるメモリーを用い、予
めあるデータの変換結果を、そのデータに対応するアド
レスを指定して書き込んでおき、アドレスにデータを入
力することにより変換データを得るものであるが、入力
データから出力データへの変換は、メモリーの読みだし
時間だけで完結するので、大変高速な変換器となる。ま
たデータの変換の為の計算は予めメモリーに書き込んで
おくので、該変換に非常に時間のかかる計算を要したと
しても、計算時間に関わり無く、変換時間はメモリーの
読み出し速度で行われる。

【００８９】〔縦，横微分回路〕上記ルックアップテー
ブルに、アドレス線１６本，データ線８本のランダムア
クセスできるメモリーを使用し、１６本のアドレス線中
８本に前記デジタル入力信号を入力し、残りの８本に縦
または横遅延回路の出力を入力する。入力デジタル信号
と縦または横遅延回路の出力の差の絶対値を予め該メモ
リーに入力しておき、該メモリーの８本のデータ線から
出力する。

【００９０】〔合成回路〕上記ルックアップテーブル
に、アドレス線１６本，データ線８本のランダムアクセ
スできるメモリーを使用し、１６本のアドレス線中８本
に横微分回路の出力を入力し、残りの８本に縦微分回路
の出力を入力する。横微分回路の出力と縦微分回路の出
力の自乗和の平方根を予め該メモリーに入力しておき、
該メモリーの８本のデータ線から出力する。

【００９１】上記微分回路をもって微分した画像は、指
定した幅を持つ微分エッジの絶対値の濃淡画像である。
本実施例は、本実施例で述べた微分回路を、図１のカメ
ラ入力の後Ａ／Ｄ変換と２値化回路の間に挿入すること
により、実施例１で述べた２値画像を対象とする装置を
微分画像を用いたパターンマッチング装置に変更するも
のである。実施例１は２値画像のエッジを用いたパター
ンマッチングであるのに対し、本実施例では幅を持たせ
た微分エッジを２値化した、微分エッジ画像を対象とし
たパターンマッチングとなる。

【００９２】上記微分エッジは４画素程度の幅を持たせ
るように指定してあるので、消失すること無く、比較的
安定して得られる。また幅を持たせたことにより、画像
の回転変化に対し急激に一致度が落ちることを防いでい
る。本実施例と実施例１は、上記微分回路を実施例１の
構成の前処理として挿入するか否かにより、選択するこ
とができる。実施例１と本実施例をエッジの安定性や２
値化情報のとり方といった画像の性質により使い分ける
ことで、さらにパターンマッチングの適用範囲を広げる
ことができる。

【００９３】

【発明の効果】本発明の画像処理装置によれば、パター
ンマッチングを高速に行うことができる。

【００９４】

【００９５】

【００９６】

【００９７】

【００９８】

【００９９】

【０１００】

【０１０１】

【０１０２】

【図面の簡単な説明】

【図１】本発明の一実施例である画像処理装置を示す構
成図である。

【図２】実施例１で説明する参照画像の一例を示す図で
ある。

【図３】実施例１で説明する被検査画像の一例を示す図
である。

【図４】本発明におけるランレングスコードのノイズ除
去の方法を示す説明図である。

【図５】本発明におけるランレングスコードのＡＮＤ処
理を示す説明図である。

【図６】図２で示した参照画像の二値画像を示す図であ
る。

【図７】図６で示した二値画像のランレングスコードを
示す図である。

【図８】図７で示したランレングスコードのメモリマッ
プを示す図である。

【図９】図８で示したメモリマップのアドレステーブル
を示す図である。

【図１０】図３で示した被検査画像の二値画像を示す図
である。

【図１１】本発明の一実施例の処理の流れを示すフロー
チャートである。

【図１２】実施例１で説明する二値画像膨張処理を示す
図である。

【図１３】実施例２で説明する微分回路を示すブロック
図である。

【図１４】実施例２で説明する微分結果を示す図であ
る。

【符号の説明】

１カメラ２二値化回路３ランレングスコード発生回路４ノイズ除去手段５被検査画像メモリ６参照画像メモリ７マスク画像メモリ８画像移動手段９ＡＮＤ手段１０面積計測手段１１相関演算手段１２二値画像膨張手段１３横方向遅延回路１４縦方向遅延回路１５横微分回路１６縦微分回路１７合成回路

Claims

(57)【特許請求の範囲】

【請求項１】被検査画像と参照画像とのパターンマッ
チングを行う画像処理装置において、前記被検査画像と参照画像を、一端から他端に水平方向
にアドレスを設定し、白黒（黒白）変化点の位置を記録
した、複数列からなる参照画像・ランレングスコードと
複数列からなる被検査画像・ランレングスコードとに記
録し、被検査画像・ランレングスコードと参照画像・ランレン
グスコードとを相対的に平行移動する平行移動手段と、前記被検査画像・ランレングスコードと参照画像・ラン
レングスコードの各列ごとに、２つの画像のランレング
スコードを論理積演算するＡＮＤ手段と、ランレングスコードから面積を計測する面積計測手段
と、面積から相関を算出する相関演算手段を有する画像処理
装置であって、前記平行移動手段は、水平方向の移動は、参照画像・ランレングスコードに水
平方向の移動量を加算することにより、参照画像・ラン
レングスコードを移動させ、縦方向の移動は、前記被検査画像を含む・ランレングス
コードより、参照画像に対応する、列を読み替えること
により、被検査画像・ランレングスコードを縦方向に移
動させ、前記２つのランレングスコードを論理演算するＡＮＤ手
段は、前記ランレングスコードの、黒から白に変わるアドレス
を左ランとし、白から黒に変わるアドレスを右ランとす
ると、各ランレングスコードの奇数番目が左ランであ
り、偶数番目が右ランであり、参照画像と被検査画像の２つのランレングスコードにつ
いて、各列ごとにランレングスコードを１つのデータと
して扱い、前記データをアドレスの小さい順に並べ直
し、参照画像と被検査画像との排他的論理和画像・ラン
レングスコードを形成し、前記排他的論理和画像・ランレングスコードの右ランの
うち、参照画像・ランレングスコードと被検査画像・ラ
ンレングスコードとの左ランと一致するものと、前記排他的論理和画像・ランレングスコードの左ランの
うち、参照画像ランレングスコードと被検査画像・ラン
レングスコードとの右ランと一致するものとを残して論
理積画像・ランレングスコードを得ることを特徴とする
画像処理装置。
【請求項２】前記ランレングスコードの、背景から対
象に変化する場所を示すランレングスコードを左ランと
し、一方の左ランを、もう一方の左ランに一致させるよ
うに、前記平行移動手段により画像を移動させることを
特長とする、請求項１記載の画像処理装置。
【請求項３】前記ランレングスコードの、対象から背
景に変化する場所を示すランレングスコードを右ランと
し、一方の右ランを、もう一方の右ランに一致させるよ
うに、前記平行移動手段により画像を移動させることを
特長とする、請求項１記載の画像処理装置。