JP3427230B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理装置に関する
もので、より具体的には、方向性ある対象物がその傾き
をランダムに撮像エリアに置かれるような場合における
マッチング処理を、高速かつ正確に行うための画像メモ
リ中のデータへのアクセスシステムの改良に関する。

【０００２】

【従来の技術】製品の外観上の欠陥の有無を検査する視
覚検査装置等の画像処理装置では、検査対象物をカメラ
で撮像し、得られた画像データと、予め登録しておいた
モデル画像とを比較（パターン認識）し、一致するか否
かを判断するようにしている。ところで、係る視覚検査
装置は、製造ラインの搬出側に配置され、搬送装置上を
ランダムで移動してくる検査対象物に対して検査処理を
行うようになっており、カメラの撮像領域中に侵入して
くる検査対象物の向きは一定ではない。

【０００３】そこで、比較対象（基準）となる同一形状
のモデルを所定角度刻みで回転させて得られる各回転角
度毎のモデル画像を登録しておき、上記パターン認識を
行うに際し、撮像して得られた検査対象の画像データを
回転させた各モデル画像と順次比較するようにし、ある
回転角度のモデル画像と一致度が高い場合には、その角
度方向に係るモデル画像と一致する検査対象物あり、す
なわち、良品であると判断し、いずれの回転角度のモデ
ル画像とも一致しない場合には不良品と判断するように
している。

【０００４】従って、視覚検査装置を動作させる前準備
として、上記複数のモデル画像からなる回転モデルを登
録する必要がある。そこで従来は、正常な見本となる検
査対象物の角度を少しずつ変えながら、その都度カメラ
で撮像し、その撮像した各画像に対して所定の画像処理
（領域切り出し等）を行った後、モデルメモリに各モデ
ル画像を角度データと対にして登録するか、或いはそれ
とは逆に正常な検査対象物を固定しておき、カメラの角
度を少しずつ変えながら撮像し、上記処理を行うように
している。

【０００５】

【発明が解決しようとする課題】しかしながら、上記し
た従来の装置では、以下に示す種々の問題を有してい
る。すなわち、１種類の対象物を認識するために必要な
モデル画像は、所定角度毎に回転させた各回転角度毎の
複数のモデル画像が必要となり、それらを記憶させてお
くメモリ容量が多く必要となる。そして、実際の認識検
査（パターンマッチング）は、係る各回転角度毎の複数
のモデル画像と比較され、いずれか１つのモデル画像と
の一致度（相関値）が高いと正常な対象物であると判断
するが、実際の検査対象物の角度が、モデル画像として
用意した角度と一致すれば良いが、一致していない場合
には、必然的にその一致度は低くなり、誤認識をするお
それがある。したがって、係る問題を解消するために
は、回転角度の間隔を小さくし、登録するモデル数を多
くすれば良いが、そうすると、モデル用のメモリ容量が
多く必要となり上記問題が顕著になるばかりでなく、マ
ッチング処理数も増え、高速判定ができなくなる。

【０００６】また、各回転角度毎の回転モデルの登録処
理を行う場合は、カメラか検査対象物の少なくとも一方
を実際に回転させるとともにその都度撮像し、得られた
画像データに対して所定の処理を行っていたため、その
処理が煩雑となる。

【０００７】さらに、処理対象物は、撮像エリア中のど
の位置に存在しているか不明であるため、撮像した画像
データに対してすべての画素に対してシリアルサーチ
（粗サーチ）を行い対象物のおおよその存在位置を特定
し、次いでランダムアクセスによりその存在位置の部分
に対してマッチング処理を行うことが一般に行われる。
すると、シリアルサーチ用のモデル画像とランダムサー
チ用のモデル画像とが必要となり、上記問題（メモリ容
量の増大，低速化等）がより顕著となる。

【０００８】本発明は、上記した背景に鑑みてなされた
もので、その目的とするところは、上記した問題点を解
決し、少ないモデル画像を用いて各種の傾斜角度で撮像
された処理対象物の画像データとのマッチング処理を行
うことができ、モデル画像を格納するメモリ容量の削減
を図るとともに、マッチングを行う回数を少なくし、高
速処理を行うことができ、更に撮像された対象物と正確
に角度合わせを行った状態でマッチング処理を行うこと
により正確に認識処理を行え、さらに、部品点数の削減
並びに構成及び制御の簡易化を図ることのできる画像処
理装置を提供することにある。

【０００９】

【００１０】

【課題を解決するための手段】上記した目的を達成する
ために、本発明に係る画像処理装置では、与えられた画
像データ中に対してシリアルサーチし、前記画像データ
中に存在する対象物の存在位置を検出する粗サーチ手段
と、前記粗サーチ手段により検出された前記対象物の存
在位置データに基づいて前記画像データに対してランダ
ムサーチをしてモデル画像とのマッチングをとるマッチ
ング手段と、撮像した画像データを格納する画像記憶手
段と、前記モデル画像を登録するモデル記憶手段とを備
えた画像処理装置において、与えられた画像データ中の
対象物の傾きを検出する傾き検出手段を設けるととも
に、前記画像記憶手段に格納された画像データを読み出
す際に、前記傾き検出手段により検出された傾きに基づ
いてアフィン変換を行い、撮像された前記画像データを
少なくとも所定角度回転させ、予め登録したモデル画像
の角度に合わせる変換後の画像データを前記粗サーチ手
段及びマッチング手段に与えるようにしたメモリ制御手
段とを備えたものを前提とする。

【００１１】そして、上記した前提において、前記メモ
リ制御手段が、粗サーチ用の画像出力のためのアフィン
変換部と、マッチング用の画像出力のためのアフィン変
換部とを共通化させるように構成することである。

【００１２】また好ましくは、前記撮像して得られた対
象物を表示するモニタ手段をさらに備え、前記モニタ手
段に出力する表示態様を、前記アフィン変換後の画像デ
ータとすることであり、係る場合に、前記メモリ制御手
段が、前記モニタ手段上の所定領域の座標値を受け、そ
れに基づいて前記アフィン変換をおこない、前記画像記
憶手段上のアドレスを求め、その求めたアドレスに基づ
いて前記画像記憶手段に格納された画像データを読み出
すようにするとなおよい。

【００１３】

【作用】撮像し、画像記憶手段に格納された画像データ
を読み出すに際し、メモリ制御手段によりアフィン変換
を行い、所定の傾斜角度方向に読み出していく。する
と、撮像した対象物の角度に問わず、画像記憶手段から
読み出された画像は所定角度回転されて、モデル画像と
同一の回転角度になる。従って、係る変換後の画像デー
タとモデル画像とを比較し、所定の認識処理を行う。従
って、比較対象となるモデル画像は、少なくとも１つ
（粗サーチとマッチングのために各１個ずつ）登録すれ
ば良い。そして、比較処理に用いるモデル画像数が少な
いため、短時間で認識処理が行われる。

【００１４】また、アフィン変換を行う際の回転角度を
適宜設定することにより、撮像した対象物の傾きが何度
であっても、モデル画像の角度に一致されるので、多数
の回転角度からなるモデル画像を備えているのと同様の
効果が得られ、角度不一致による認識率の低下はない。

【００１５】さらに、粗サーチ（シリアルサーチ），マ
ッチング（ランダムサーチ）を共に共通のハードウェア
で構成されるアフィン変換部で実行するようにすると、
アフィン変換の演算速度が極めて短時間となり、高速に
画像データが読み出され、認識を行うための全体の処理
時間も短時間となる。

【００１６】

【実施例】以下、本発明に係る画像処理装置の好適な実
施例を添付図面を参照にして詳述する。図１は本発明が
適用される画像処理システムの概略構成を示しており、
同図に示すように、ＴＶカメラ１にて処理対象物を撮像
し、得られた画像データを画像処理装置２に与え、そこ
において撮像した対象物に対し、登録されたモデル画像
に基づいて所定のマッチング処理を行うようになってい
る。また、撮像された画像データは、所定の画像処理を
経た後ビデオモニタ３に表示され、操作者が視覚により
確認できるようになっている。

【００１７】また、画像処理装置２の内部は、図２に示
すように、ＴＶカメラから送られるビデオ信号をＡ／Ｄ
変換部５で受け、そこにおいてデジタル信号に変換後、
２つのビデオバス（ビデオバス０，ビデオバス１）に出
力するようになっている。

【００１８】また、各ビデオバスにはメモリ制御部７を
介して画像メモリ８が接続され、ＴＶカメラで撮像され
た画像データは、メモリ制御部７を介して一旦画像記憶
手段たる画像メモリ８に格納されるようになっている。
また、画像メモリ８に格納された画像データは、メモリ
制御部７を介して読み出され、上記所定のビデオバスを
介して計測部９または画面制御部１０に送られ、或い
は、ＣＰＵバスを介してＣＰＵ１１またはモデル記憶手
段たるＲＡＭ１２に出力されるようになる。

【００１９】そして、画面制御部１０は、ビデオバスを
介して送られる画像信号（デジタル信号）に基づいてビ
デオモニタ３に表示すべく所定の制御信号を出力するも
ので、係る制御信号がＤ／Ａ変換部１３にてビデオ信号
（アナログ）に変換後図外のビデオモニタ３に出力する
ようになっている。なお、画面制御部１０は、従来のも
のと同様であるため、その詳細な説明を省略する。なお
また、ＣＰＵ１１は、ＲＯＭ１に格納されたプログラム
にしたがって、後述する所定の処理を実行するようにな
っている。

【００２０】次に、各部について詳述すると、計測部９
は、傾き検出部９ａと、認識部９ｂとを備えており、傾
き検出部９ａは、ＴＶカメラで撮像して得られた処理対
象物のＸ軸に対する傾斜角度を求めるもので、例えば２
値化して対象物の外形状やその内部の所定の特徴的部分
の形状（模様の外形）等を抽出し、その抽出した形状の
主軸角を求めることにより算出するようになっている。
また、対象物の特徴的部分を２箇所検出し、その検出し
た特徴的部分を結ぶ線分のＸ軸に対する傾斜角度を求
め、回転角０度の時の対応する線分のＸ軸に対する傾斜
角度との差から現在撮像された対象物の回転角度を求め
るようにするなどの他、種々の手段を用いることができ
る。

【００２１】また、認識部９ｂは、所定のアルゴリズム
からなる画像認識処理を実行するもので、ＲＡＭ１２に
登録されたモデル画像と、画像メモリ８に格納された処
理対象物の画像データとを比較して、画像データ中の対
象物の存在位置を検出したり、マッチングをとって対象
物の良否を判定したりするようになっている。すなわ
ち、粗サーチ手段とマッチング手段を兼ねている。

【００２２】ここで本発明では、認識部９ｂにてマッチ
ング処理を行うに際し、比較基準となるモデル画像はＲ
ＡＭ１２に格納しておくが、実際にメモリ（ＲＡＭ）に
格納する画像データは、１種類のモデルに対して所定角
度（例えば回転角０度）の画像１枚のみを登録するよう
にしている。そして、マッチング処理の際には、画像メ
モリ８に一時的に記憶された対象物の画像データを、傾
き検出部９ａで検出された回転角度だけ回転させるよう
に座標系を変換（アフィン変換）して得られた変換後の
画像と、ＲＡＭ１２に格納されたモデル画像とのマッチ
ングを認識部９ｂで求めるようにしている。

【００２３】そして本発明の要部となるメモリ制御部７
について説明すると、図３に示すように、ＣＰＵバスに
はＣＰＵインタフェース（Ｉ／Ｆ）部２０が接続され、
ＣＰＵバスを介してＣＰＵ１１と双方向通信可能とし、
そのＣＰＵインタフェース部２０を介してＣＰＵ１１か
ら与えられる画素の座標値（変換後の座標系での座標
値）等のデータコントロール信号をシリアルアドレスジ
ェネレータ（アドレス生成部）２１またはランダムアド
レスジェネレータ（アドレス生成部）２２のいずれかに
送るようになっている。

【００２４】そして、シリアルアドレスジェネレータ２
１は、画像メモリ中の対象物存在位置を検索するために
粗サーチを行ったり及びモニタに表示するためのビデオ
バスに同期し、次段のアフィン変換部２３に対してモニ
タ上の座標値（Ｘ，Ｙ）を左上（０，０）から右下まで
ラスタ方向に一画素ずつ順に出力するようになってい
る。

【００２５】また、ランダムアドレスジェネレータ２２
は、最終的な認識処理（マッチング）を行うためにビデ
オバスに同期し、次段のアフィン変換部２３に対してモ
ニタ上の所定の領域（対象物に対するマッチング処理を
するモデル領域）を、モニタ上の座標値で一画素ずつ順
に出力するようになっている。

【００２６】また、アフィン変換部２３は、ＣＰＵ１１
から設定される変換パラメータ（傾き検出部９ａで検出
した対象物の回転角度θ等）に基づき、各ジェネレータ
２１，２２から与えられた座標値をアフィン変換して対
応する画像メモリ８に格納されたアドレス座標を求め、
それをメモリインタフェース部２４を介して画像メモリ
８に送り、その対応する画素データをビデオバスに出力
するようになっている。

【００２７】すなわち、例えば対象物を撮像し、格納さ
れた画像メモリ８中には、図４（Ａ）に示すように、対
象物Ｋが傾いているとすると、所定角度θだけ回転する
ことにより同図（Ｂ）に示すように回転角度０度の位置
に座標変換することができ、その状態をモニタに表示す
るようになる。そして、モニタ上の座標値（ＸA ，ＹA
）に対応する画像メモリ上の座標値（Ｘ'A，Ｙ'A）と
の関係は、回転中心の座標を（Ｘc ，Ｙc ）とすると、

【００２８】

【数１】 となる。したがって、係る関係式に基づいて一方の座標
系の座標値を入力すると回転角度θはパラメータとして
設定されるため、他方の座標系の座標値が求められる。
そして、係るアフィン変換部２３は、上記関係式に基づ
いて所定の演算を行うハードウエアで構成される。

【００２９】また、ＣＰＵバスには、図２に示すように
キーボード，マウスその他の入力装置２５が接続されて
おり、この入力装置２５は、撮像して得られた画像デー
タ（モニタ３に表示）中のモデルとして登録する領域
（モデル領域）を指示できるようになっており、係る指
示された領域の画像データをＲＡＭ１２に登録するよう
になっている。

【００３０】次に、上記した装置の作用を説明する。ま
ず、マッチング処理を行う前に、前処理としてモデル登
録を行う。すなわち、図５に示すように、比較基準とな
る対象物を撮像した画像データを画像メモリ８に登録す
る（ＳＴ１１）。この時、対象物を回転角度０度の位置
に置くようにすると、画像メモリ８に格納されたデータ
をそのまま呼び出してモニタ３に表示する。

【００３１】次いで、操作者は、モニタ３を見ながら、
入力装置２５を用い、モデル画像として登録するモデル
領域を指示する（ＳＴ１２）。すると、ＣＰＵ１１は、
その指示されるモデル領域内のモニタ３上での座標系の
座標値を出力し、対応する画像データを画像メモリ８か
らＲＡＭ１２へコピーする（ＳＴ１３）。なお、この時
登録する画像は、計測処理を行うための対象物のおおよ
その存在位置を検出する粗サーチ用のモデル画像と、最
終的な対象物の一致度等のマッチング処理を行うための
モデル画像の両者に対して行うが、いずれも１種類のモ
デル画像に対してＲＡＭ１２に登録する画像は、１つず
つ（回転角度０度）としている。これにより、モデル登
録処理が終了する。なお、粗サーチ用のモデルは、撮像
した画像データ中の対象物の存在位置を検出・特定する
ためのものであるので、対象物の角の一部等の特徴的な
部分というように小さな領域となる。これにより、モデ
ル登録処理が終了する。

【００３２】なお、比較基準となる対象物を任意の回転
角度で置いた状態で撮像した場合には、後述するシリア
ルサーチの際のアフィン変換を行い、回転させて回転角
度０度の状態でモニタ３上に表示する。そして、操作者
はモニタ上で領域を指示する。すると、ＣＰＵ１１は、
モニタ上の座標値をメモリ制御部７に送り、そこにおい
て後述するランダムサーチの際のアフィン変換を行いつ
つ画像メモリ中の所定アドレスに格納された画像データ
を読み出し、ＲＡＭ１２に登録することになる。そし
て、いずれの場合も、操作者並びに操作者から指示を受
けたＣＰＵ１１は、モニタ上での座標値に基づいて命令
を発するだけで良い。

【００３３】一方、計測処理は、ＴＶカメラ１の撮像領
域に侵入してくる対象物を順次撮像し、それを画像メモ
リ８に格納する。また、この画像の取り込みとともに計
測部９の傾き検出部９ａにて、対象物の傾きを求める
（位置補正計測する）（ＳＴ１４）。

【００３４】次いで、求められた傾きに基づいてＣＰＵ
１１にてアフィン変換パラメータを求め、それをアフィ
ン変換部２３に設定する（ＳＴ１５）。そして、ＣＰＵ
１１からの制御信号をシリアルアドレスレスジェネレー
タ２１を介してアフィン変換部２３を作動させ、画像メ
モリ８に登録された画像データに対し、回転角度０度に
なるように、画像メモリ８のデータをシリアルに読み出
してビデオバスに送り、画面制御部１０を介してモニタ
３に表示するとともに、計測部９の認識部９ｂにデータ
を送る。これにより、撮像した対象物の傾きが何度であ
っても、モニタ３に表示され、また認識部９ｂに送られ
る画像は、例えば図６（Ａ）に示すように、回転角度０
度（ＲＡＭ１２に格納したモデル画像の角度と同じ）の
状態になる。

【００３５】すると、認識部９ｂでは、順次送られてく
るデータに対し、ＲＡＭ１２に登録されたモデル画像を
もとに、シリアルのサーチ処理を行い（図６（Ｂ）中、
矢印方向にサーチする）、画像データ中に存在するモデ
ル画像と同一の領域の検出を行い、例えば、図６（Ｃ）
に示すように候補点Ｐの座標値（モニタ上の座標系にお
ける座標値）をＣＰＵ１１に出力する（ＳＴ１６）。な
お、係るシリアルサーチ処理する対象の画像は、図示す
るように、常に回転角度０度となるため、比較するモデ
ルも１つで済むので、高速処理が可能で、瞬時に対象物
Ｋの候補点Ｐを検出することができる。

【００３６】次いで、このようにして候補点Ｐが検出さ
れたなら、ＣＰＵ１１にてその候補点Ｐに基づいて決定
されるランダムアクセスする領域Ｒを求め、その領域Ｒ
中に存在するモニタ３上での座標値を順次ランダムアド
レスジェネレータ２２に対して送る。そして、そのラン
ダムアドレスジェネレータ２２からアフィン変換部２３
を介して出力されるアドレスデータに基づいて、上記領
域Ｒに対応する画像メモリ８中の画像データ（図６
（Ｄ）中Ｒ部分）を読み出し、認識部９ｂにその画像デ
ータを送る。そして、認識部９ｂでは、図６（Ｅ）に示
すように、ＲＡＭ１２に登録されているモデルと比較
し、所定のマッチング処理を行い、その一致度を求める
（ＳＴ１７）。このマッチング処理を行う場合も、対象
の画像は、図示するように、常に回転角度０度となるた
め、マッチング処理も１つのモデルとの一致度を求める
だけで済むので、高速な認識処理が行える。

【００３７】さらに、本例では、シリアルサーチ（粗サ
ーチ）と、ランダムサーチをともにアフィン変換を行う
に際し、ハードウェアから構成されるアフィン変換部２
３を用いているため、ＣＰＵ１１からは、画像モニタ上
での座標値を与えるだけでよいので、高速に座標変換に
よる画像メモリ中のアドレスを求め、読み出すことがで
きる。

【００３８】しかも、両サーチのアフィン変換を行う変
換部（素子）を共通に使用するようにしたため、部品点
数の削減に伴う、構成の簡略化並びにコストダウンを図
ることができる。そして、このように共通化したとして
も、シリアルサーチする際とランダムサーチする際のア
フィン変換パラメータ（傾斜角度など）は、ともに同じ
であるため、パラメータの設定処理も１回で済み、制御
アルゴリズムが簡易となる。

【００３９】

【発明の効果】以上のように、本発明に係る画像処理装
置では、１つの対象物に対して登録するモデル画像は、
少なくとも代表の回転角度のモデル画像だけ登録すれば
良いので、モデル記憶手段のメモリ容量を小さくするこ
とができる。

【００４０】そして、撮像し画像記憶手段に格納された
画像データに対して所定の画像認識処理を行う場合に
は、係る画像データに対してアフィン変換を行って得ら
れた画像データに対してシリアルサーチ（粗サーチ）及
びマッチングをそれぞれ行うようにしたため、マッチン
グを行う回数を少なくし、高速処理を行うことができ
る。しかも、アフィン変換を行う際の回転角度を適宜設
定することにより、任意の所望の角度のモデル画像を間
接的に備えているのと同様の効果が得られ、各種の傾斜
角度で撮像された処理対象物の画像データとのマッチン
グ処理を正確に行うことができる。

【００４１】さらに、粗サーチ（シリアルサーチ），マ
ッチング（ランダムサーチ）を共に共通のハードウェア
で構成されるアフィン変換部で実行するようにすると、
部品点数の削減並びに構成及び制御の簡易化を図ること
ができ、しかも、ＣＰＵ側はモニタ上の画像の座標を出
力するだけでメモリ制御手段が所定の演算処理を行い、
しかも係る演算処理はハードウェアで構成されているた
め、極めて高速に処理することができる。

【図面の簡単な説明】

【図１】本発明に係る画像処理装置が適用されるシステ
ムの概略構成を示す図である。

【図２】本発明に係る画像処理装置の好適な一実施例を
示すブロック図である。

【図３】その要部となるメモリ制御部の内部構成を示す
図である。

【図４】作用を説明する図である。

【図５】装置の作用を説明するフローチャートである。

【図６】その作用を説明する図である。

【符号の説明】

１ ＴＶカメラ ２ 画像処理装置 ３ モニタ ７ メモリ制御部 ８ 画像メモリ １１ ＣＰＵ １２ ＲＡＭ（モデルメモリ手段） ２１ シリアルアドレスジェネレータ ２２ ランダムアドレスジェネレータ ２３ アフィン変換部

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 与えられた画像データ中に対してシリア
   ルサーチし、前記画像データ中に存在する対象物の存在
   位置を検出する粗サーチ手段と、 前記粗サーチ手段により検出された前記対象物の存在位
   置データに基づいて前記画像データに対してランダムサ
   ーチをしてモデル画像とのマッチングをとるマッチング
   手段と、 撮像した画像データを格納する画像記憶手段と、 前記モデル画像を登録するモデル記憶手段とを備えた画
   像処理装置において、 与えられた画像データ中の対象物の傾きを検出する傾き
   検出手段を設けるとともに、 前記画像記憶手段に格納された画像データを読み出す際
   に、前記傾き検出手段により検出された傾きに基づいて
   アフィン変換を行い、撮像された前記画像データを少な
   くとも所定角度回転させ、予め登録したモデル画像の角
   度に合わせる変換後の画像データを前記粗サーチ手段及
   びマッチング手段に与えるようにしたメモリ制御手段を
   備え、 前記メモリ制御手段が、粗サーチ用の画像出力のための
   アフィン変換部と、マッチング用の画像出力のためのア
   フィン変換部とを共通化させるように構成したことを特
   徴とする画像処理装置。
2. 【請求項２】 前記撮像して得られた対象物を表示する
   モニタ手段をさらに備え、 前記モニタ手段に出力する表示態様を、前記アフィン変
   換後の画像データとした請求項１に記載の画像処理装
   置。
3. 【請求項３】 前記メモリ制御手段が、前記モニタ手段
   上の所定領域の座標値を受け、それに基づいて前記アフ
   ィン変換を行い、前記画像記憶手段上のアドレスを求
   め、その求めたアドレスに基づいて前記画像記憶手段に
   格納された画像データを読み出すようにした請求項２に
   記載の画像処理装置。