JPH10162138A

JPH10162138A - 画像処理方法

Info

Publication number: JPH10162138A
Application number: JP8315341A
Authority: JP
Inventors: Yoshihito Hashimoto; 良仁橋本; Naohito Taniwaki; 尚人谷脇; Kazutaka Ikeda; 和隆池田
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1996-11-26
Filing date: 1996-11-26
Publication date: 1998-06-19

Abstract

(57)【要約】【課題】演算処理の高速化を図った画像処理方法を提供
するにある。【解決手段】ＡＳＩＣ９は輝度値の総和・二乗和・積和
計算を行ない、ＣＰＵ８が、相関値計算、相関値比較等
のその他の処理を行う。【効果】単純で処理数の多い演算を専用のＡＳＩＣ９で
演算を行うことにより、ＣＰＵ８のみで演算処理を行う
場合に比べて処理時間を大幅に短縮できるという効果が
ある。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、検査対象画像から
テンプレート（教示画像）と最も類似する部分を検出す
るパターンマッチングによって画像位置を検出する画像
処理方法に関するものである。

【０００２】

【従来の技術】検査対象画像から教示画像たるテンプレ
ートと類似する部分を検出する方法の１つに特開平７−
３２２０５７号公報等に見られるパターンマッチング法
がある。この手法は、図９（ａ）に示すようにテンプレ
ート１０を検査対象画像１１内でｘ，ｙ方向に移動さ
せ、両者の重なっている部分に対して式（１）の計算を
行い、これが最大となる時のテンプレートの位置ｘ，ｙ
を検出するものである。図９（ａ）では中央の破線枠で
示される位置が検出位置となる。

【０００３】

【数１】

【０００４】ｆ：テンプレートの輝度値ｇ：検査画像輝度値Ｓ：テンプレートと画像の重なった領域ｍｎ：重なり領域の画素数ところで、従来のパターンマッチングを用いた画像処理
方法では式（１）の輝度の総和・二乗和・積和の各項の
計算をメインＣＰＵあるいはＤＳＰで行い、その後で式
（１）の計算を行っている。

【０００５】また、検出の処理を数段階の処理に分け、
最後の１段階以外は粗サーチとして、図９（ｂ）に示す
ように解像度を低下させた対象画像１１及びテンプレー
ト１０を用い、概略位置（破線枠で示す）を決定し、図
９（ｃ）に示すように段階が進む毎に対象画像１１及び
テンプレート１０の解像度を向上させて行き、次段階の
サーチ範囲は前段階の検出位置（図では＋で示す）を中
心として、前後方向に√（圧縮率）の範囲（１／６４の
圧縮ではｘ，ｙ前後方向に８画素、計２５６画素の範
囲）１１’とする。こうすることでサーチ範囲の縮小を
行うことが可能となる。この時の解像度は、元の解像度
の１／２５６〜１／４程度の範囲である。解像度を低下
させる方法は、１／６４の圧縮であれば、近傍８×８画
素の輝度の平均値を計算し、その値を圧縮画像の１画素
の輝度値とすることで行う。最後の１段階は詳細サーチ
として本来の解像度で処理を行い、正確な位置の検出を
行う。

【０００６】

【発明が解決しようとする課題】ところで上述のパター
ンマッチングによって類似位置検出では、演算量が膨大
となるため、処理時間が膨大になる問題があった。従来
のメインＣＰＵやＤＳＰを用いた輝度の総和・二乗和・
積和演算では十分高速な処理時間が得られず、更に総和
の演算が終了してから（１）式の計算を行うため、処理
時間が更に長くなると言った問題があった。また、画像
の圧縮による粗サーチでは、圧縮画像を作成することそ
のものに処理時間がかかり、全体の処理時間が長くなる
という問題があり、段階が進む毎にテンプレート１枚あ
たりの処理時間が増加していくと言う問題があった。ま
た、各段階毎にテンプレートを用意しなければならず、
処理が煩雑になる問題もあった。

【０００７】本発明は上記問題点に鑑みて為されたもの
で、その目的とするところは、演算処理の高速化を図っ
た画像処理方法を提供するにある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に請求項１の発明では、検査対象画像からテンプレート
と最も類似する部分を検出するパターンマッチングによ
って画像位置を検出する画像処理方法において、輝度値
の総和、二乗和、積和の計算のように単純で処理数の多
い演算をＡＳＩＣで行うとともに、複雑で処理数の少な
い演算をＣＰＵで行うことを特徴とし、単純で処理数の
多い演算を専用のＡＳＩＣで演算を行うことにより、Ｃ
ＰＵのみで演算処理を行う場合に比べて処理時間を大幅
に短縮できる。請求項２の発明では、請求項１の発明
において、処理を粗サーチと詳細サーチに分け、粗サー
チ時にはテンプレート中の輝度の分散値の高い特徴的な
矩形領域を複数抽出し、該抽出された矩形領域に対して
のみ演算を行うことを特徴とし、矩形領域内の画素につ
いてのみ相関演算を行うことで処理時間を一層短くする
ことができる。

【０００９】請求項３の発明では、請求項１の発明にお
いて、テンプレートの大きさに応じて抽出する抽出領域
の大きさを変更、若しくは抽出個数を変更することを特
徴とし、検査対象物の分布範囲が大きい場合でも精度を
落とさずに位置の検出を行うことができる。請求項４の
発明では、請求項２の発明において、粗サーチ時のすべ
ての段階に対して同一のテンプレートを用いることを特
徴とし、テンプレート設定時の処理を簡略化し、且つ処
理時間を短縮させることができる。

【００１０】請求項５の発明では、請求項１の発明にお
いて、ＡＳＩＣによる演算処理中に、ＣＰＵでＡＳＩＣ
の前回の結果を用いる処理を行なうことを特徴とし、Ａ
ＳＩＣとＣＰＵで並行に演算処理を行うことにより、更
に大幅に演算処理の時間を短縮することができる。請求
項６の発明では、請求項１の発明において、特徴点の選
択を格子点の集合とし、その格子点の集合の半分を分散
が最大となる箇所、もう半分を最小となる箇所として選
択し、これらの選択箇所に対してのみ演算を行うことを
特徴とし、位置検出精度の低下を押えつつ処理時間の高
速化を図ることができる。

【００１１】

【発明の実施の形態】以下本発明を実施形態に基づいて
説明する。（実施形態１）図１は本発明の画像処理方法を採用した
画像処理装置の全体構成を示しており、被検査対象物を
撮像するＴＶカメラ１と、モニタ２と、テンプレートを
保存するメモリ３と、ＴＶカメラ１から取り込んだ検査
画像を記録するキャプチャーメモリ４Ａ，４Ｂと、モニ
タ２に表示する画像を記録するディスプレイメモリ５
Ａ，５Ｂと、文字や図形を描画し、検査画像と重ねてモ
ニタ２に表示させるためのオーバーレイメモリ６と、デ
ィスプレイメモリ５Ａ，５Ｂの内容と自分の内容とを参
照し、モニタ２への出力値を決定するテーブルを持つＬ
ＵＴ（ＬｏｏＫＵｐＴａｂｌｅ）７と、ＣＰＵ８
と、ＡＳＩＣ９とを備え、メモリ３は切り換えスイッチ
ＳＷ₁によりＣＰＵ８のアクセスとＡＳＩＣ９のアクセ
スとを切り換え、ＡＳＩＣ９とＣＰＵ８とが同時にアク
セスすることができないようになっている。

【００１２】またキャプチャーメモリ４Ａ，４Ｂは切り
換えスイッチＳＷ₂a ,ＳＷ₂bにより夫々ＣＰＵ８のアク
セスと、ＡＳＩＣ９のアクセスとに切り換えられるよい
うになっており、キャプチャーメモリ４Ａ又は４ＢがＡ
ＳＩＣ９又はＣＰＵ８に接続されている場合は、他方の
キャプチャーメモリ４Ｂ又は４ＡはＴＶカメラ１に接続
されるようになっており、一方がＣＰＵ８又はＡＳＩＣ
９による処理を行っている間他方はＴＶカメラ１に接続
され、次の検査画像を取り込みを行うようになってお
り、ＴＶカメラ１と、ＣＰＵ８と、ＡＳＩＣ９が同時に
同じメモリ４Ａ，４Ｂにアクセスすることができないよ
うになっている。

【００１３】またディスプレイメモリ５Ａ，５Ｂは切り
換えスイッチＳＷ₃a, ＳＷ₃bによってＣＰＵ８からのア
クセスと、ＴＶカメラ１からの取り込みと、モニタ２へ
の表示の切り換えを行うようになっている。尚ＬＵＴ
７、ディスプレイメモリ４Ａ，４Ｂ、オーバーレイメモ
リ６は本発明の画像処理とは直接関係するものでない。

【００１４】また図示しないが、ＡＳＩＣ９を実際に動
作させるのに必要なスキャンデータが保存されているス
キャンメモリを備えている。スキャンデータはＣＰＵ８
によって作成される。図２は該装置の動作フローを示し
ており、このフローによれば、ＣＰＵ８でＡＳＩＣ９を
選択して、スキャンデータを転送すると、ＡＳＣＩ９は
メモリ選択とライトモード選択を行う。これによりメモ
リ部ではスキャンメモリにスキャンデータを書き込むよ
うになっている。

【００１５】そして装置（チェッカ）をスタートさせる
とＣＰＵ８によりＡＳＩＣ９ではメモリ選択とスキャン
メモリの読み出しアドレスを生成する。この生成により
メモリ部ではスキャンメモリからデータ読み出しを行な
う。この読み出しに対応してＡＳＩＣ９はデータ数のチ
ェック、モード設定、各種パラメータ設定、スキャンデ
ータの生成を行なうとともに、ビデオメモリであるキャ
プチャメモリ４Ａ，４Ｂ及びメモリ３の読み出しを行な
う。この読み出しデータをＡＳＩＣ９は設定モードセレ
クトに基づいて濃淡データカウント、つまり和、積和、
二乗和の演算処理を行ない、ＣＰＵ８に対してその結果
の読み出し要求を行う。ＣＰＵ８ではタイミング調整を
行って結果を読み出しするのである。

【００１６】このような動作フローに基づいて図１の画
像処理装置が動作するである。次に上記画像処理装置を
用いた本実施形態を説明する。本実施形態の方法は図３
に示すテンプレート１枚に対する処理アルゴリズムの
内、テンプレート座標値計算後の、輝度値の総和・二乗
和・積和計算のステップ（ａ）をＡＳＩＣ９が処理し、
その他の処理をＣＰＵ８が担うものである。つまり本実
施形態では、総和・二乗和・積和計算のように単純で且
つ処理回数の多い演算を、その演算処理に特化させたＡ
ＳＩＣ９を用いることで処理時間の短縮を図っているの
である。而して、従来のＣＰＵのみで処理を行う方法で
は、１２８×１２８の大きさのテンプレートで５１２×
４８０の対象画像をサーチするのに数秒かかっていた処
理時間を本実施形態では１秒以下に高速化することがで
きた。

【００１７】（実施形態２）実施形態１のＡＳＩＣ９に
より演算処理の短縮を図っているが、これに加えて本実
施形態では、更に処理時間を短縮するために、テンプレ
ート及び対象画像の解像度が低解像度の段階、つまり粗
サーチ時に於いて相関値演算を行う領域をテンプレート
中輝度の分散値の高い特徴的な矩形領域とし、その抽出
領域数を例えば５箇所とし、演算処理に要する時間を短
縮させている。

【００１８】つまり図４（ａ）に示すようにテンプレー
ト１０のサイズを例えばＴｘ＝１２８，Ｔｙ＝１２８と
し、演算対象とする各矩形領域１２の大きさをＶｘ＝
８，Ｖｙ＝８とした。この矩形領域の選択は、この８×
８の矩形領域内の輝度の分散値を計算し、上位から５個
選択することで行う。分散値は式（２）によって求め
る。

【００１９】

【数２】

【００２０】つまり上記の矩形領域を用いて分散値の高
い領域を選択した場合、図４（ａ）のように急激な輝度
変化すなわちエッジが存在する個所が選択され、また、
単純に上位から順に選択すると図４（ｂ）のように矩形
領域１２の位置が局在化して、検査結果が局所解に陥い
て検出精度が低下する点に鑑みて、２個目以降に選択さ
れた矩形領域１２の場合は既に位置の決定している分散
値の上位の箇所から一定値以上離れた箇所を選択するこ
とにした。つまり図４（ｃ）に示すように選択された領
域の中心座標を中心としてＴｙ／３，Ｔｘ／３の領域１
３は領域選択の候補から外すことにした。

【００２１】従って最終的に図４（ｄ）のように矩形領
域１２が選択される。これらの矩形領域１２内の画素に
ついてのみ、相関演算を行うことで、処理時間を１／２
に短縮することができたのである。（実施形態３）本実施形態は実施形態１の演算処理にＡ
ＳＩＣ９を用いる点で同じで且つ実施形態２と同様に矩
形領域１２を選択する方法であるが下記の点で実施形態
２と相違する。

【００２２】つまり元のテンプレート１０の大きさをＴ
Ｘ，ＴＹすると、矩形領域の大きさをＴＸ／１６，ＴＹ
／１６としたものである。これにより、テンプレート１
０の大きさに対する矩形領域１２の大きさの割合が一定
になり、テンプレート１２の大きさに関わらず、同一の
精度で位置の検出を行うことができる。また、実施形態
２では個数を５個と一定にしたが、テンプレート１１の
大きさの変化に比例して、個数も増加させることにし
た。こうすることで、検出対象物の分布範囲が大きい場
合でも精度を落とさずに位置の検出を行うことができ
る。

【００２３】（実施形態４）本実施形態も実施形態１の
演算処理にＡＳＩＣ９を用いる点で同じあるが、図５
（ａ）（ｂ）に示すように、粗サーチ処理を２段階と
し、１段回目（図５（ａ））は検査対象画像上の領域を
ｘ，ｙ方向ともに７画素ずつ跳ばしながらテンプレート
１０を移動させ、図５（ｂ）に示す２段回目では１画素
ずつ跳ばしながら移動して相関演算を行う。つまり従来
の２段画目への移行ではテンプレート１枚あたりの処理
時間が１６倍になり、また、２段回目のサーチ範囲も２
５６画素となるため、処理時間を押さえるためにはさら
に何段階かの階層を挟まなければならなかったが、本実
施形態では２段回目のサーチにも１段回目と同じテンプ
レート１０を用いて処理を行うことで、同一の処理を処
理時間および階層数を増加させることなく行えるように
なった。尚図５（ｂ）の検査画像１１の中心の＋は前回
の検出位置を示す。

【００２４】（実施形態５）本実施形態は、ＡＳＩＣ９
を用いても図６（ａ）に示すように直列演算ではＡＳＩ
Ｃ９による演算が終了してからその結果を受けてＣＰＵ
８による演算を行うため処理時間がかかっていたのを改
善したものである。つまり上述の粗サーチ時のＣＰＵ８
が担当する演算とＡＳＩＣ９が担当する演算の処理時間
はほぼ同じであるので、この点に鑑みて本実施形態では
図６（ｂ）に示すように、ＡＳＩＣ９による演算とＣＰ
Ｕ８による演算を並列に行うようにして処理時間の短縮
を図った。このとき、ＣＰＵ８はＡＳＩＣ９が１時点前
のサーチ点について出力した結果を用いて演算を行う。
この処理により、（ＡＳＩＣ９の演算処理時間＋ＣＰＵ
８の演算処理時間）であった処理時間をＡＳＩＣ９の演
算処理時間とＣＰＵ８の演算処理時間の内長い方の処理
時間のみとすることができる。これにより、テンプレー
ト１枚あたりの処理時間を２／３に短縮でき、結果全体
の処理時間を２／３に短縮することができた。

【００２５】図７は本実施形態における演算処理のフロ
ーチャートを示しており、ＣＰＵ８でテンプレート座標
値計算後、ＡＳＩＣ９の設定行なった後、ＡＳＩＣ９で
は総和計算等ＡＳＩＣ９で特化された処理を行ない、こ
れに並行してＣＰＵ８で相関値計算、相関値比較を行う
のである。上記の本実施形態によれば、類似位置検出に
要する処理時間が大幅に短縮され、ＣＰＵ８のみで演算
処理を行う場合に比べて処理時間を１／１０まで短縮で
きた。具体的には数秒乃至２８０ｍｓｅｃまで短縮でき
た。

【００２６】勿論、本実施形態の演算処理の方法を実施
形態２，実施形態３に用いても良い。（実施形態６）本実施形態は実施形態１或いは実施形態
５におけるＡＳＩＣ９を用いて演算処理の方法に加えて
下記のような処理を行うものである。

【００２７】まず図８は本実施形態で用いる格子点テン
プレートを示しており、各格子点は図８に示すようにｘ
方向には１５画素、ｙ方向には７画素離れており、この
組を２つ用いるため全体で元のテンプレートの１／６４
の画素数となる。これを、テンプレート領域内で移動
し、一方は式（２）の分散値が最大となる個所（図８
（ｂ））、もう一方は最小となる個所（図８（ｃ））を
選択し演算に用いる点の位置を特定する。このテンプレ
ートを用いて実施形態１，５の処理を行う。この方法に
より、単純に画素を間引き格子点にしただけの場合（図
８（ｅ））には検出できなかった画像の場合でも正しい
位置を図８（ｄ）に示すように検出できるようになっ
た。

【００２８】

【発明の効果】請求項１の発明は、検査対象画像からテ
ンプレートと最も類似する部分を検出するパターンマッ
チングによって画像位置を検出する画像処理方法におい
て、輝度値の総和、二乗和、積和の計算のように単純で
処理数の多い演算をＡＳＩＣで行うとともに、複雑で処
理数の少ない演算をＣＰＵで行うことを特徴とし、単純
で処理数の多い演算を専用のＡＳＩＣで演算を行うこと
により、ＣＰＵのみで演算処理を行う場合に比べて処理
時間を大幅に短縮できるという効果がある。

【００２９】請求項２の発明は、請求項１の発明におい
て、処理を粗サーチと詳細サーチに分け、粗サーチ時に
はテンプレート中の輝度の分散値の高い特徴的な矩形領
域を複数抽出し、該抽出された矩形領域に対してのみ演
算を行うことを特徴とし、矩形領域内の画素についての
み相関演算を行うことで処理時間を一層短くすることが
できるという効果がある。

【００３０】請求項３の発明は、請求項１の発明におい
て、テンプレートの大きさに応じて抽出する抽出領域の
大きさを変更、若しくは抽出個数を変更することを特徴
とし、検査対象物の分布範囲が大きい場合でも精度を落
とさずに位置の検出を行うことができるという効果があ
る。請求項４の発明は、請求項２の発明において、粗サ
ーチ時のすべての段階に対して同一のテンプレートを用
いることを特徴とし、テンプレート設定時の処理を簡略
化し、且つ処理時間を短縮させることができるという効
果がある。

【００３１】請求項５の発明は、請求項１の発明におい
て、ＡＳＩＣによる演算処理中に、ＣＰＵでＡＳＩＣの
前回の結果を用いる処理を行なうことを特徴とし、ＡＳ
ＩＣとＣＰＵで並行に演算処理を行うことにより、更に
大幅に演算処理の時間を短縮することができるという効
果がある。請求項６の発明は、請求項１の発明におい
て、特徴点の選択を格子点の集合とし、その格子点の集
合の半分を分散が最大となる箇所、もう半分を最小とな
る箇所として選択し、これらの選択箇所に対してのみ演
算を行うことを特徴とし、位置検出精度の低下を押えつ
つ処理時間の高速化を図ることができるという効果があ
る。

【図面の簡単な説明】

【図１】本発明方法を画像処理装置の回路構成図であ
る。

【図２】図１のＣＰＵとＡＳＩＣの動作説明用フローチ
ャートである。

【図３】本発明の実施形態１のフローチャートである。

【図４】本発明の実施形態２の説明図である。

【図５】本発明の実施形態３の説明図である。

【図６】本発明の実施形態４の説明図である。

【図７】本発明の実施形態５の説明図である。

【図８】本発明の実施形態６の説明図である。

【図９】従来のパターンマッチングの画像処理方法の説
明図である。

【符号の説明】

１ＴＶカメラ２モニタ３メモリ４Ａ，４Ｂキャプチャーメモリ５Ａ，５Ｂディスプレイメモリ６オーバーレイメモリ７ＬＵＴ８ＣＰＵ９ＡＳＩＣＳＷ₁，ＳＷ_2a，ＳＷ_2b，ＳＷ_3a,ＳＷ_3b 切り換
えスイッチ

Claims

【特許請求の範囲】

【請求項１】検査対象画像からテンプレートと最も類似
する部分を検出するパターンマッチングによって画像位
置を検出する画像処理方法において、輝度値の総和、二
乗和、積和の計算のように単純で処理数の多い演算をＡ
ＳＩＣで行うとともに、複雑で処理数の少ない演算をＣ
ＰＵで行うことを特徴とする画像処理方法。
【請求項２】処理を粗サーチと詳細サーチに分け、粗サ
ーチ時にはテンプレート中の輝度の分散値の高い特徴的
な矩形領域を複数抽出し、該抽出された矩形領域に対し
てのみ演算を行うことを特徴とする請求項１記載の画像
処理方法。
【請求項３】テンプレートの大きさに応じて抽出する抽
出領域の大きさを変更、若しくは抽出個数を変更するこ
とを特徴とする請求項２記載の画像処理方法。
【請求項４】粗サーチ時のすべての段階に対して同一の
テンプレートを用いることを特徴とする請求項２記載の
画像処理方法。
【請求項５】ＡＳＩＣによる演算処理中に、ＣＰＵでＡ
ＳＩＣの前回の結果を用いる処理を行なうことを特徴と
する請求項１記載の画像処理方法。
【請求項６】特徴点の選択を格子点の集合とし、その格
子点の集合の半分を分散が最大となる箇所、もう半分を
最小となる箇所として選択し、これらの選択箇所に対し
てのみ演算を行うことを特徴とする請求項１記載の画像
処理方法。