JPS63201876A - 画像処理方法および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像の処理方法及び装置に係り、特に、画像を
用いた物品の検査に好適な方法及び装置に関する。

〔従来の技術〕

テレビカメラ等により物体の画像をとらえ、この画像を
用いて当該物体の形状等を検査する技術は、コンピュー
タによる情報処理技術の進歩に伴ない、近年大きく進展
している。

従来、この種の検査装置においては、一般に被検査物体
をベルトコンベア等の移送ライン上で一定の向きにそろ
えてから画像入力が行なわれていた。例えば特開昭５９
−９０１７６号公報には、移送ライン上の被検査物体を
テレビカメラで画像入力し、その形状等を検査する装置
が記載されている。このような検査においては被検査物
体の向きを予め移送ライン上で匡正し、そろえておく必
要があった。

また、形状等の検査の基準となる物体像や物体の特徴点
（検査仕様）については、それを前もって定めた後、検
査装置に予め教示しておく必要があった。

〔発明が解決しようとする問題点〕

最近、画像を入力した後の画像処理技術の性能向上、処
理速度の向上が著しい。そのために被検雑物体の搬送ラ
イン上での移動２位置変更に係わる性能、速度がシステ
ム全体の性能、速度向上のネックとなりつつある。なお
、このような位置合せを必要とせず、物体の特徴量（例
えば面積値。

周囲長さ）を抽出しそれを基準値陛較することによって
検査を行う方法もあるが、物体の外観に係また、従来の
画像による検査方法では、テレビカメラを用いて被検査
物体のモデルを画像化し、その検査仕様を教示するとい
う大変煩雑な作業が必要であった。更に、教示に使用す
る物体のモデルを準備する必要もあった。

本発明の目的は、上記従来技術の問題点を解決し、高性
能化、省力化の進んだ画像処理方法および装置を提供す
ることにある。

本発明の目的を更に具体的に言えば、第一に、教示作業
を大幅に簡略化することのできる画像処理方法及び装置
を提供することにある。第二には、被検査物体をテレビ
カメラに対して特定の位置に位置決めしたり向きをそろ
えたりすることなく、検査することのできる画像処理方
法および装置を提供することにある。

〔問題点を解決するための手段〕

上記目的を達成するために本発明の特徴とするところは
、第一に、ＣＡ　Ｄ　（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ
Ｄｃｓｉｇｎ、コンピュータ・エイデツド・デザイン）
技術を用いて、物体の形状等に関する設計を行ない、そ
の時のデータを直接用いて当該物体の画像による検査に
使用される検査仕様を作成し、この検査仕様を用いて当
該物体の形状に関する検査を行なうようにした点にある
。

第二に、画像処理技術を用いて物体の形状等の検査を行
なうにあたり、物体の基準画像及び／又は検査仕様と被
検査物体の入力画像とを画像上で回転、移動操作を施し
、これにより両者の画像を検査可能の状態まで一致させ
るようにした点にある。なお、物体とは、ある物品につ
いてその完成品のみならず、部品をも意味するものであ
る。

〔作用〕

本発明によれば、物体の形状設計に用いられたＣＡＤデ
ータを直接用いて基準画像又は検査仕様を作成するので
、別途検査のための物体モデルを製作したり、画像処理
装置に基準画像を教示したりする工程が不要となる。

韮だ、基準画像及び／又は検査仕様を画像処理により（
電気的手段を用いて）回転、移動させて被検査画像と一
致させているので、被検査物体を撮像するに際し、物体
をカメラに対して機械的に位置決めしたり向きをそろえ
たりする操作が不要となる。

〔実施例〕

本発明の実施例を図面を用いて詳細に説明する。

第１図は、本実施例の画像処理装置を生産ラインに適用
した場合の全体構成を示す。図において、１は検査装置
であり、検査仕様データ作成装置３で作成した検査仕様
データを入力することができるようになっている。従っ
て検査装置１自体としては、検査仕様の教示を必要とし
ない。検査仕様データ作成装置３は、ＣＡＤシステム２
で作成した基本設計データ１４や、詳細設計データ１５
を入力し、オペレータ○Ｐ２の操作により検査仕様を作
成する。この検査仕様作成作業は、検査装置上で、被検
査物の実物モデルをカメラで画像化しながら教示するの
に比べて、はるかに手軽に、素早く処理できる。

検査装置１は、生産ライン上部品製造装置５の後方に設
置され部品単品２６の検査に使用できるのみならず、部
品組合せ装置６の後方に設置して中間製品２７の検査に
も適用できる。また最終組立装置７の後方に設置して最
終製品２８の検査にも適用できる。２２，２３．２４は
、それぞれの段階での検査に使用するテレビカメラであ
る。

２５は、生産ラインに供給する素材材料である。

ＣＡＤシステム２は、製品の基本設計部１２と部品の詳
細設計部１３から構成されている。製品の基本設計部１
２からは、基本設計データ１４（外形２寸法等）を出力
する。部品の詳細設計部１３からは、詳細設計データ１
５（部品形状寸法等）を出力する。これらのデータはデ
ータベース４に格納される。８，１０は、それぞれマン
マシンコミュニケーション用のコンソールディスプレイ
、９，１１はそれぞれキーボードであり、オペレータＯ
ＰＩ、’ＯＰ２により操作される。

検査仕様作成装置３は、データベース４に格納されたＣ
ＡＤシステムの出力データ１４．１５を入力し、検査仕
様データ１９．２０及び２１を作成する。検査仕様作成
装置３は、部品（単品）の検査仕様作成処理部１６２組
合せ部品の検査仕様作成処理部１７．製品の検査仕様作
成機能部１８等から構成される。なお、必要に応じてこ
れらのうち、一部の機能のみでも、十分な場合があるの
は当然である。

部品の検査仕様作成処理部１６は部品検査仕様データ１
９を、組合せ部品検査仕様作成処理部１７は１組合せ部
品検査仕様データ２０を、製品Ｃは の検査仕様作成処理部１８矛製品検査仕様データ２１を
出力する。これらの検査仕様データ１９ないし２１は、
データベース４に格納され、検査装置への入力データと
して使用される。

第２図を用いて検査装置１の周辺を説明する。

被検査物体として、半導体ＩＣ基盤（ＩＣ）を例にとる
。検査装置本体１は、ＩＣの模様パターン３０１以外に
姿勢情報３０２や位置情報３０３を検査仕様３００とし
て入力できるようになっている。検査仕様３００は、第
１図におけるＣＡＤシステム２及び検査仕様作成装置３
により作成されたものであり、検査装置１上で教示によ
り作成したものではない。

２４はテレビカメラである。被検査物体２０１ないし２
０３は、搬送装置２００により移動されるが、検査仕様
として、位置情報３０３が含まれているので、テレビカ
メラ下方で一定方向にそろえる必要はなく、向きも自由
でよい。

第３図を用いて本実施例における検査仕様の作成方法に
ついて説明する。まずＣＡＤシステム２にて、部品の設
計が行われる。オペレータ○Ｐ］は、コンソールディス
プレイ８．キーボード９を操作して設計図を作成する。

設計結果は、ＣＡＤシステム出カフカファイル３１０納
される。３３０は従来の検査仕様作成方式を本発明と比
較するために示し、３２０は、本発明に係る検査仕様作
成方式を示す。従来の方式３３０では、ＣＡＤシステム
の出力ファイル３１０からの情報を作図装置３３１に入
力し、設計図３３２を作成し、その設計図により標準モ
デル作成処理３３３により例えばドーナツ形の標準被検
査モデル３３４を作成する。標準モデル作成処理３３３
は、一般に、自動機械ではなく手作業で行われる。従来
例において自動化とは、ＣＡＤシステム出カフカファイ
ル３の情報をＮＣ加工装置３３５に入力し、標準被検査
モデル３３４を作成することを意味していた。

本発明では、３２０に示すように、ＣＡＤシステム出カ
フカファイル３１０報を検査仕様作成システム３に入力
し、検査仕様データ３００を出力する。

第４図を用いて、検査装置１の概要を説明する。

検査装置本体４２．検査仕様入力のためのファイル３０
０．検査仕様を格納するための内部ファイル１１０．被
検査物入力画像格納用の第１の画像メモリ１２０．２個
の第２の画像メモリ１３０゜１３１を有する。なお、２
６は被検査物体、４００は搬送装置、４１０は良品路、
４２０は不良品路、４、３０は仕切り板である。検査仕
様は、画像メモリ１１１及び補助メモリ１１２に格納さ
れる。

第５図を用いて本発明に係る検査仕様作成方法を従来方
法との比較において説明する。ＣＡＤシステム２上では
、画像メモリ２１０上で、ある物体画像２２０のある部
品の寸法は、ｍ画素であったとする。従来では標準対象
物のモデルを製作しく］１） た時、その実際のモデル３３４では対応する部分がＱ（
ｌ］ｗＩＩ）であったとする。このモデルをテレビカメ
ラ２２にて画像入力するものとする。検査装置上の画像
メモリ２１０−ａ上では、その画像の上記対応する部分
の寸法はＬ画素である。

本発明の方法では、ＣＡＤシステム２の画像メモリ２１
０上の物体画像２２０を検査装置の画像２１０−ｂ上に
電気的に変換するだけである。この変換処理ｆ２は、検
査装置や環境を考慮して数式化モデルが容易に得られる
ので、これを使用するとよい。

被検査物体が複合部品から構成される製品の場合の設計
手順を第６図に示す。この場合は製品の全体設計部１２
と部品の設計部１３から構成される。出力情報は、全体
図情報１４や部品図情報１５である。

製品が単一の部品からなる場合の設計手順を第７図に示
す。この場合は製品形状寸法の設計部１３からの出力は
、寸法形状情報１５のみである。

第８図は、ＣＡＤ情報からの検査仕様の決定力法につい
ての説明図である。まずデータベース３１０から情報を
入力し、画像イメージのジェネレート処理３５０を行う
。ここからの出力は、画像データ８０２である。画像デ
ータ８０２は、画像メモリ８１０上に作成される。次に
検査仕様決定処理３６０により、検査仕様３ｏ○を作成
する。

第９図に、ＣＡＤによる検査仕様作成処理についての詳
細手順をフローチャートで示す。まず設計情報３１０を
作成する（Ａ）。次に、設計情報３１０を使用して、検
査用画像を作成する（Ｂ）。

続いて姿勢情報作成（Ｃ）、位置情報作成（Ｄ）、テン
ブレー１・情報作成（Ｅ）、各種特徴量作成（Ｆ）をこ
の順序で行い、最後に上記作成結果を検査仕様データと
して出力する（Ｇ）。

第１０図は、画像中の物体の位置や姿勢の決定方法につ
いて一例を示したものである。姿勢として、物体の等価
楕円の主軸（長軸）の向きを使用した例である。位置と
しては重心を用いた。図中、９１は等価楕円、９２はそ
の主軸を示す。

第１１図により、被検査物体を物理的に位置決めせず画
像処理的に画像の一致化処理を行う本発明の検査方法の
詳細を説明する。検査仕様作成処理３２０では、画像メ
モリ８０１中に標準対象物体の画像８０２−ａが作成さ
れている。この画像８０２−ａは、ＣＡＤ情報から作成
したものである。検査仕様作成時に、画像８０２−ａの
向きθ０及び重心（Ｘｃｏ、　Ｙｃｏ）を計算し検査仕
様データに添付しておく。検査実行処理３７０では、入
力画像メモリ８０１には、被検査物体の画像８０２−ｂ
が格納されている。その向きθ１及び重心（Ｘｃｌ、　
ＹＧｔ）を計測する。検査仕様のθｌ、（Ｘｃｏ、　Ｙ
ｃｏ）と比較して、それぞれを一致させるために必要な
画像回転及び画像シフト量が得られるのでこれに従い、
回転とシフト処理により２つの画像の姿勢と位置の一致
化ができる。被検査物に対して回転とシフトを行うと向
き及び重心についての一致化画像８０２−ｃが得られ、
これと標準画像８０２−ａとの間で画像間演算を行うと
差分画像が得られる。標準画像８０２−ａと被検査物体
の画像８０２−ｂの差異８０２−ｄが差分画像上に得ら
れるので、これを評価することにより検査ができる。

次に、検査仕様決定処理３２０と、検査実行処理３７０
について詳述する。

第１２図に、検査仕様決定処理３２０の詳細をフローチ
ャートにて示す。まず、ＣＡＤデータを使用して、被検
査モデルの画像を作成する（Ａ）。

作成した画像は、検査仕様の一部となる。次に画像位置
（重心等）の計算（Ｂ）、画像の向き（等価楕円の傾き
等）の計算（Ｃ）を行ない、必要に応じてテンプレート
を作成する（Ｄ）。次に寸法検査や形状検査すべき検査
位置を決定する（Ｅ）。

以上の情報を検査仕様としてデータベース上に出力する
（Ｆ）。このような検査仕様の構成であるため、標準画
像と被検査画像の位置合ねせを画像処理的に行い、物理
的な位置合わせが不要となるのである。

次に、第１３図により、検査実行処理３７０についてフ
ローチャートにより詳細に説明する。まず、被検査画像
をテレビカメラから入力する（Ａ）。

次に画像前処理によりノイズ除去や２値化処理を行う（
Ｂ）。次に被検査画像の向きを計測しくＣ）、標準画像
との向きを比較して、向きの差だけ画像回転し、向きを
標準画像と一致させる（Ｄ）。次に画像の位置を計測す
る（Ｅ）。画像の位置計測には重心等を使用する。次に
標準画像との位置を比較し、位置合わせのための画像シ
フトを行う（Ｆ）。以上の処理で標準画像と被検査画像
は、向き及び位置の一致化処理を完了し、第１１図の画
像８０２−ｃが作成できたことになる。続いて標準画像
と被検査画像の一致化後の画像の間で画像間演算により
、差分画像を作成する（Ｇ）。この差分画像を評価する
ことにより被検査対象物の良品、不良品の仕分けができ
る（Ｈ）。

上述の実施例では、標準画像として、物体の全体像を想
定していたが、これに限らず、物体の一部の像をもって
標準画像としても良い。例えば部分的に特徴のある形状
を有する物体の場合、その部分のみをもって標準像を作
成し、被検査物体の該当する部分の像と比較判定を行う
ことができる。

また、特定部分の画像とその部分の面積、長さ等の特徴
量との組合せで比較９判定することも可能である。なお
、このような場合には、標準画像の方を回転、移動処理
した方が、処理に要する演算量が少なくなるので好まし
い。

次に本発明の検査装置のもうひとつの実施例を第１４図
にて説明する。本実施例の検査装置も前例同様、検査仕
様作成処理部３２０と検査実行処理部３７０から構成さ
れている。標準被検査物体の画像８０１は、ＣＡＤデー
タから作成することは、前述の場合と同じである。被検
査物体の画像８０２−ａの等価楕円の主軸（長軸）の向
きはθ０であり、これを検査仕様の一部として計測して
おくものとする。また対象物体の外周部に、いくつかの
特徴点を検査時、使用するものとする。本図では、Ａ、
Ｂ、Ｃ点を仮に検査に使用する特徴点とする。この特徴
点の決定は、オペレータが自由に選択でき、特徴点の数
も自由に決定できるようにしておく。これらの特徴点の
周辺からテンプレートを作成し、これを検査仕様に加え
るものとする。検査実行処理３７０における被検査物体
の入力画像を８０１．物体の画像を８０２−ｂであられ
す。画像８０２−ｂの向きθ１を計測し、標準画像８０
２−ａの向きＯｏと比較して向きの差へ〇を計算する。

すなわち、八〇−００−０１となる。

検査仕様で作成したテンプレートは、標準画像と同じ向
きにある検査画像に対してはテンプレートマツチング技
術を用いると効果があるが、向きの異なる画像８０２−
ｂに対しては効果がない。

そこで、テンプレートをΔ０だけ回転させて、補正テン
プレートを作成する。補正テンプレートを用いて被検査
画像に対しテンプレートマツチング処理を行うと、標準
画像におけるテンプレート採取した特徴点Ａ、Ｂ、Ｃに
対応する点Ａ’ＨＢ’　。

Ｃ′点が検出できる。Ａ’　、Ｂ’　、Ｃ’点を評価す
ることにより被検査対象物の良否を判定する。

なお、テンブレー１・を補正する代りに、被検査画像を
八〇だけ回転し標準画像に向きを合わせてから、検査仕
様のテンプレートを用いてテンブレートマッチングを実
施させる方法であってもよい。

次に、本実施例での検査仕様作成処理３２０と検査実行
処理３７０について、それぞれ第１５図。

第１６図により説明する。

第１５図に示すフローチャートにおいて、まず、ＣＡＤ
システムの出力データから標準画像を作成する（Ａ）。

次に特徴点を選択し、その特徴点についてテンプレート
を作成する（Ｂ、Ｃ）。特徴点の数は、自由に選択でき
るものとする。次に画像の向きＯｏを計測する（Ｄ）。

以上の処理で得た、特徴点情報（テンプレートデータ、
特徴点の位置、特徴点の数等）や向きＯｏを検査仕様情
報として、データベースに格納する。

第１６図に示す検査実行手順のフローチャートにおいて
、まず、テレビカメラから被検査対象物の画像を入力す
る（Ａ）。次に、画像前処理によりノイズを除去し、２
値化処理を行う（Ｂ）。次に被検査物の画像の向きθ１
を計測する（Ｃ）。

次に、Ａ点、Ｂ点、０点のテンプレートを補正処理する
（Ｄ−Ｆ）。ここではＡ、Ｂ、Ｃの３点であるが、実際
には任意の数を選択できるものとする。テンプレートの
補正は、テンプレートそのものを回転処理させることに
より行い得る。次に各テンプレートを使ってテンプレー
トマツチング処理を行う（Ｇ、Ｈ）。全特徴点に対して
テンプレートマツチング処理を終了すると、最大−数点
の座標値や、最大−数点の種々の値を評価することによ
り被検査物の良否を決定する（Ｊ）。

このような検査方法によれば、被検査物の外周部の特徴
点を用いた検査を行うことが可能であり、しかも被検査
物をテレビカメラに対して一定位置に固定する必要もな
い。

〔発明の効果〕

本発明によれば、画像処理技術を用いた物体の検査の自
動化、高速化、簡易化に効果がある。特に、検査仕様を
物体の設計時に作成することができ検査の自動化が向上
する。また、被検査物体を搬送ライン上で位置決めする
必要がなくなり、検査装置の簡易化が達成されるととも
に、変形し易い物体に対する検査が容易に行なえる。

【図面の簡単な説明】

第１図ないし第１３図はそれぞれ本発明の一実施例を説
明するための図、第１４図ないし第１６図はそれぞれ本
発明の他の実施例を説明するための図である。 １・・・検査装置、２・・ＣＡＤシステテ、３・検査仕
様データ作成装置、４・・データベース、５・部品製造
装置、６・・部品組合せ装置、７・・最終組立て装置、
８，１０・・・ディスプレイ、９，１］・・・キーボー
ド、２２，２３．２４・・・テレビカメラ。

Claims (1)

1. 【特許請求の範囲】 １、ＣＡＤ法により物体の少なくとも形状に関する設計
   を行ない、その設計データを直接用いて当該物体の形状
   に関する画像データを作成し、その画像データを検査仕
   様として準備する工程と、 当該物体を製作した後、光学的手段を用いてその物体の
   画像を作成する工程と、 上記検査仕様と上記物体の画像とを画像上比較判定する
   工程と、を有することを特徴とする画像処理方法。 ２、物体の形状に関する検査仕様を画像データとして作
   成する工程と、 当該物体を製作した後、光学的手段を用いてその物体の
   画像を作成する工程と、 上記検査仕様を電気的処理により画像上で回転、移動さ
   せて上記物体の画像との画面上での向き、座標を一致さ
   せ、両者の比較、判定を行う工程と、を有することを特
   徴とする画像処理方法。 ３、物体の形状を、コンピュータによる演算に基づいて
   設計するＣＡＤ手段と、 マン・マシン・コミュニケーション装置を有し、上記Ｃ
   ＡＤ手段により作成された当該物体の形状に関する電気
   的データを入力して、当該物体の画像及びその画像の画
   面上での向き、位置を含む画像情報を検査仕様データと
   して作成する検査仕様データ作成装置と、 被検査物体の画像及び上記検査仕様データを入力し、物
   体の画像の形状、向き、位置について被検査物体と検査
   仕様データとを比較、判定する検査装置と、を有するこ
   とを特徴とする画像処理装置。 ４、特許請求の範囲第３項において、上記検査装置は被
   検査物体と検査仕様データとのそれぞれの画像における
   向き、位置の差分を演算する手段と、上記差分に基づい
   て差分がなくなるように被検査物体と検査仕様データの
   それぞれの画像を相対的にかつ電気的に回転、移動させ
   る一致化画像作成手段とを有することを特徴とする画像
   処理装置。