JPH11351827A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH11351827A
JPH11351827A JP10162459A JP16245998A JPH11351827A JP H11351827 A JPH11351827 A JP H11351827A JP 10162459 A JP10162459 A JP 10162459A JP 16245998 A JP16245998 A JP 16245998A JP H11351827 A JPH11351827 A JP H11351827A
Authority
JP
Japan
Prior art keywords
image
image processing
seek line
seek
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10162459A
Other languages
English (en)
Inventor
Tosuke Kawada
東輔 河田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Machine Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Machine Manufacturing Co Ltd filed Critical Fuji Machine Manufacturing Co Ltd
Priority to JP10162459A priority Critical patent/JPH11351827A/ja
Priority to US09/317,845 priority patent/US6640002B1/en
Publication of JPH11351827A publication Critical patent/JPH11351827A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Abstract

(57)【要約】 【課題】 位置が一定しない検査対象物の寸法検査と欠
陥検査を可能にする。 【解決手段】 撮像装置により部品を撮像し、取得した
画像データの処理によって基準位置からの位置ずれ,基
準回転位置からの回転角度および寸法を測定する。その
測定結果に基づいて、部品の像310の輪郭線の小距離
内側に、輪郭線に平行にネガティブシークライン31
2,313,314を設定し、検査テンプレート315
を構成させる。ネガティブシークラインは、画像のエッ
ジ、すなわち画像内の光学的特性が急変する部分とは交
差しないことが予定されている線であるが、部品に切欠
が存在すれば、その切欠の像311をネガティブシーク
ラインが通過し、例えば、ネガティブシークライン31
4がエッジと交差する。この事実から部品が切欠の欠陥
を有し、不合格と判定する。部品の像310の外側にネ
ガティブシークラインを設定して、ばりの有無を検査す
ることもできる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は撮像装置により取得
された画像処理対象物の画像データを処理することによ
り画像処理対象物に関する情報を取得するための画像処
理装置および画像処理用記録媒体に関するものである。
【0002】
【従来の技術】本出願人は先にこの種の画像処理装置の
一種を開発し、特許出願した。特開平8−180191
号として公開されたものおよび特願平10−9085号
(未公開)として出願中のものがそれである。これら画
像処理装置においては、捜索テンプレートおよび測定テ
ンプレートを利用して画像処理対象物の位置(対象物の
中心である中心点,任意に指定される指定点等特定点の
座標で表される),回転角度(基準回転位置からの回転
角度),寸法等が測定される。捜索テンプレートは、2
個の点を一対とするポイントペアを複数組有するもので
あり、原則的には、すべてのポイントペアの一方が画像
処理対象物の輪郭線の内側に、他方が外側に位置する場
合に、その画像処理対象物が捜索対象物であると判定さ
れる。そのために、捜索テンプレートのポイントペアは
捜索対象物の輪郭線の形状に応じて設定されるが、捜索
対象物の位置や回転角度が大きくばらつく場合には、捜
索テンプレートの位置や回転角度を種々に変更しつつ、
画像処理対象物が捜索対象物であるか否かの判定が行わ
れるようにすることが必要である。その場合には、基準
寸法の捜索対象物が基準位置および基準回転位置にある
場合に、その基準捜索対象物の輪郭線に基づいてマスタ
捜索テンプレートが作成される。そして、そのマスタ捜
索テンプレートの位置や回転角度を種々に変えた捜索テ
ンプレートが作成され、それら捜索テーンプレートを画
像処理対象物の画像が存在する画面に重ね合わせた状態
が想定されて、いずれかの捜索テンプレートのすべての
ポイントペアが画像処理対象物の輪郭線の外側と内側と
に分かれて位置すれば、その画像処理対象物は捜索対象
物であると判定される。なお、ここにおいて、画像処理
対象物および捜索対象物は、独立した1個の物体であっ
ても、物体の一部であっても、物体の表面に存在する突
起,凹部,キャラクタ等であってもよい。捜索対象物の
形状が四角形や円形のように単純な形状であれば、ポイ
ントペアの数は少なくてよいが、複雑な形状であれば、
多数のポイントペアを有する捜索テンプレートが必要に
なる。
【0003】画像処理対象物が捜索対象物であると判定
されたならば、測定テンプレートを使用してその捜索対
象物の位置,回転角度,寸法等が測定される。この際に
は、捜索対象物である画像処理対象物が測定対象物とな
るのである。測定テンプレートは、画像処理対象物が捜
索対象物であるとの判定が行われた捜索テンプレートに
基づいて自動で作成される。その最も簡便なものは、捜
索テンプレートの各ポイントペアの2点をそれぞれ直線
的につないで形成される線分の集合である。これら線分
はシークラインと称され、各シークラインと測定対象物
の輪郭線との交点が求められる。測定対象物の像とその
周辺部の像との光学的特性、例えば明るさが異なる場合
には、測定対象物の輪郭線の位置において急激な輝度の
変化が生じる。この急激な輝度の変化が生じる部分をエ
ッジと称し、シークラインとエッジとの交点をエッジ点
と称することとする。測定対象物の輪郭線はエッジとな
ることが多く、輪郭線がエッジとなれば測定テンプレー
トを用いて測定対象物の位置,回転角度,寸法等を測定
することができる。測定対象物の輪郭線上に位置するエ
ッジ点の集合から、測定対象物の位置等を求めることが
できるのである。測定対象物の形状が四角形や円形のよ
うに単純な形状であれば、シークラインの本数は少なく
てよく、複雑な形状になるほど多数本のシークラインが
必要になる。また、一般に、シークラインの本数はポイ
ントペアの数よりは多くされる。
【0004】上記エッジは、画像内の色等、明るさ以外
の光学的特性が急変する位置においても生じる。また、
上記説明においては理解を容易にするために、ポイント
ペアは輪郭線の内側と外側に位置し、シークラインは輪
郭線と交差するとしたが、厳密には、シークラインはエ
ッジと交差すればよいのであり、ポイントペアはエッジ
の両側の光学的特性を互いに異にする2つの領域内にそ
れぞれ位置すればよいのである。さらに、上記説明にお
いては、理解を容易にするために測定テンプレートによ
る測定が1回行われるものとして説明したが、多くの場
合、測定が複数回行われる。1個の測定テンプレートに
よる測定が行われた後、その測定結果に基づいて、シー
クライン本数が多い、あるいは測定対象物とのずれが少
ない新たな測定テンプレートが作成され、その測定テン
プレートによりさらに高精度の測定が行われるのであ
る。
【0005】このように、捜索テンプレートおよび測定
テンプレートを使用すれば、予定の位置や回転角度から
相当大きく外れた位置や回転角度の測定対象物でも支障
なく捜索し、それの位置,回転角度,寸法等を迅速に測
定することができる。
【0006】
【発明が解決しようとする課題,課題解決手段,作用お
よび効果】本発明は以上説明した画像処理技術をさらに
改善することを課題としてなされたものであり、本発明
によって、下記各態様の画像処理装置および画像処理用
記録媒体が得られる。各態様は請求項と同様に、項に区
分し、各項に番号を付し、必要に応じて他の項の番号を
引用する形式で記載する。各項に記載の特徴の組合わせ
の可能性の理解を容易にするためである。なお、本明細
書に記載の技術的特徴およびそれらの組合わせが以下の
ものに限定されると解釈されるべきではない。 (1)画像処理対象物を撮像する撮像装置と、その撮像
装置により撮像した画像のデータである画像データを記
憶する画像データ記憶手段と、その画像データ記憶手段
に記憶された画像データにより表される画像の光学的特
性が急変する部分であるエッジと交差しないことが予定
されたネガティブシークラインを設定するネガティブシ
ークライン設定手段と、その設定されたネガティブシー
クラインがエッジと交差するか否かを判定する判定手段
とを含む画像処理装置(請求項1)。先に開発した画像
処理装置においては、測定テンプレートのシークライン
がエッジと交差することが予定されていたが、エッジと
交差しないことが予定されたシークラインを利用すれ
ば、先に開発した画像処理装置ではできなかったことが
可能となる。エッジと交差することが予定されたシーク
ラインと、交差しないことが予定されたシークラインと
を区別するために、前者をポジティブシークライン、後
者をネガティブシークラインと称することとする。ネガ
ティブシークラインの一利用方法は、部品表面の傷や汚
れ等欠陥の検査である。例えば、四角形の部品の水平な
表面に傷があるか否かを検査する場合には、その表面の
輪郭線の内側に多数のネガティブシークラインを設定
し、それらネガティブシークラインのいずれかがエッジ
と交差するか否かを調べるのである。例えば、明るい像
となる表面に暗い像となる傷や汚れが存在すれば、それ
ら傷や汚れの輪郭線がエッジとなる。ネガティブシーク
ラインは、上記のように、表面の輪郭線の内側に設定さ
れるものであるから、通常はエッジと交差しないのであ
るが、表面に傷や汚れが存在し、ネガティブシークライ
ンがそれら傷や汚れと交差すれば、ネガティブシークラ
インはエッジと交差することになる。したがって、ネガ
ティブシークライン上にエッジ点、すなわち輝度の変化
が大きい点が存在するか否かを調べれば、検査対象表面
に傷や汚れが存在するか否かを調べることができるので
ある。なお、検査に使用されるシークラインと前述の測
定に使用されるシークラインとを区別するために、前者
を検査シークライン、後者を測定シークラインと称する
こととする。ネガティブシークラインは必ず検査に使用
されるとは限らず、後に実施形態に関して説明するよう
に対象物の捜索等のためにも使用可能である。また、ポ
ジティブシークラインも測定のみではなく、欠陥の検査
にも使用できる。判定手段を、ポジティブシークライン
がエッジと交差するか否かの判定結果に基づいて、画像
処理対象物が捜索対象物であるか否かの判定、あるいは
画像処理対象物が欠陥を有するか否かの判定を行うもの
とするのである。 (2)さらに、前記画像処理対象物の位置,回転角度,
寸法の少なくとも1つを測定する位置等測定手段を含
み、前記ネガティブシークライン設定手段が位置等測定
手段により測定された前記位置,回転角度,寸法の少な
くとも1つに基づいて前記ネガティブシークラインを設
定する (1)項に記載の画像処理装置(請求項2)。ネガ
ティブシークラインは前述のように、エッジと交差しな
いことが予定されたシークラインであるから、傷や汚れ
等の欠陥検査に使用される場合には、検査対象物の位
置,回転角度,寸法等が既知であることが必要である。
検査対象物が正確な寸法を有し、かつ正確な位置および
回転角度に位置決めされる場合には、位置等測定手段を
省略することが可能であるが、検査対象物の寸法が不正
確であったり、検査対象物が正確な位置や回転角度に位
置決めされない場合には、ネガティブシークラインの設
定に先立って検査対象物(対象物が検査対象物であるか
否かが未定である状態では画像処理対象物)の位置,回
転角度,寸法のうち、不正確であるものが測定されるこ
とが必要となる。換言すれば、位置等測定手段を含む画
像処理装置によれば、位置,回転角度,寸法等が一定し
ない検査対象物の欠陥も支障なく検査できるのである。 (3)前記画像データ記憶手段に記憶された画像データ
により表される画像の光学的特性が急変する部分である
エッジと交差することが予定されたポジティブシークラ
インを設定するポジティブシークライン設定手段を含む
(1)項または (2)項に記載の画像処理装置。ネガティブ
シークラインとポジティブシークラインとを併用すれ
ば、一方のみを使用する場合に比較して、対象物の捜索
や検査の自由度,信頼性および能率の少なくとも1つを
向上させることができる。 (4)前記判定手段が、ポジティブシークラインがエッ
ジと交差し、ネガティブシークラインがエッジと交差し
ない場合に前記撮像装置により撮像された画像処理対象
物が予定の対象物であると判定するものである (3)項に
記載の画像処理装置(請求項3)。本態様によれば、対
象物の捜索の信頼性や能率を向上させることができる。
例えば、複数の同一形状の画像処理対象物が並んでいる
場合に、特定の位置にある画像処理対象物を迅速に捜索
することができる。いま、3個の円形対象物が一定ピッ
チで横一列に並んでおり、右端の円形対象物を特定する
必要があるとする。上下方向に延びるポジティブシーク
ラインとその右側に上記ピッチと同距離離れて上下方向
に延びるネガティブシークラインとを設定し、ポジティ
ブシークラインがエッジと交差し、ネガティブシークラ
インがエッジと交差しない状態となる位置を捜せば、ポ
ジティブシークラインの位置にある円形対象物が右端の
円形対象物であると簡単に特定できるのである。 (5)撮像装置により撮像され、画像データ記憶手段に
記憶されている画像処理対象物の画像を表す画像データ
に基づいて画像処理対象物の画像処理をコンピュータに
行わせるためのプログラムであって、前記画像データ記
憶手段に記憶されている画像データにより表される画像
の光学的特性が急変する部分であるエッジと交差しない
ことが予定されたネガティブシークラインを設定するネ
ガティブシークライン設定処理と、その設定されたネガ
ティブシークラインがエッジと交差するか否かを判定す
る判定処理とを含むプログラムがコンピュータにより読
み取り可能に記録された画像処理用記録媒体(請求項
8)。本態様の記録媒体とコンピュータとの組合わせが
(1)項に記載の画像処理装置となる。 (6)画像処理対象物を撮像する撮像装置と、その撮像
装置により撮像した画像のデータである画像データを記
憶する画像データ記憶手段と、その画像データ記憶手段
に記憶されている画像データにより表される画像の光学
的特性が急変する部分であるエッジと交差しないことが
予定されたネガティブシークラインと、エッジと交差す
ることが予定されたポジティブシークラインとの少なく
とも一方を設定するシークライン設定手段と、そのシー
クライン設定手段により設定されたシークラインがポジ
ティブシークラインである場合にはそのポジティブシー
クラインがエッジと交差し、設定されたシークラインが
ネガティブシークラインである場合にはそのネガティブ
シークラインがエッジと交差しないという条件が満たさ
れた場合に、前記画像処理対象物は合格であると判定
し、その条件が満たされない場合に不合格であると判定
する合否判定手段とを含む画像処理装置(請求項4)。
先に開発された画像処理装置においては、シークライン
はもっぱら画像処理対象物(測定対象物)の測定のため
に使用されていたのに対し、本態様の画像処理装置にお
いては画像処理対象物(検査対象物)の検査に使用され
る。本項に係る発明によってシークラインの利用範囲が
拡げられたのである。 (7)さらに、前記画像処理対象物の位置,回転角度,
寸法の少なくとも1つを測定する位置等測定手段を含
み、前記シークライン設定手段が位置等測定手段により
測定された前記位置,回転角度,寸法の少なくとも1つ
に基づいて前記シークラインを設定する (6)項に記載の
画像処理装置(請求項5)。本態様によれば、位置,回
転角度,寸法等が一定しない画像処理対象物(検査対象
物)も支障なく検査できる。 (8)前記シークラインが、両端が有限の線を含む (6)
項または (7)項に記載の画像処理装置。特殊な場合には
シークラインが、少なくとも一端が無限(実際上は画像
処理領域の境界までに限定されるが)の線とされるが、
多くの場合は、両端が有限の線とされる。本 (8)項から
(15)項までの特徴は、 (1),(17)項の画像処理装置や
(5) ,(16)項の画像処理用記録媒体においても適用可能
である。 (9)前記両端が有限の線が線分を含む (8)項に記載の
画像処理装置。本態様のシークラインが最も単純であ
り、その割に有用性が高い。 (10)前記シークラインが、閉曲線を含む (6)ないし
(9)項のいずれか1つに記載の画像処理装置。例えば、
画像処理対象物が円形である場合には、シークラインが
円とされることが望ましい。 (11)前記撮像装置が多数の撮像素子を備え、各撮像
素子の受光状態に応じた電気信号を発生させるものであ
り、前記画像データ記憶手段がそれら各撮像素子の電気
信号のデータを、各撮像素子の位置と関連付けて記憶す
るものであって、かつ、当該画像処理装置が、さらに、
画像データ記憶手段の画像データにより形成される物理
画面に対応して想定される仮想画面上の任意の点を指定
する点指定手段と、その点指定手段による点指定毎に前
記物理画面上の光学的特性値のデータに基づいて指定さ
れた点の光学的特性値を演算する仮想点データ演算手段
とを含み、前記シークライン設定手段が、前記仮想画面
上において前記シークラインを設定するものである (6)
項ないし(10)項のいずれか1つに記載の画像処理装置
(請求項6)。(6)ないし(10)項のいずれかに係る画像
処理装置において撮像装置により撮像が行われるときは
通常、撮像面が多数の画素に分解され、画素のそれぞれ
について画像データが作成されて画像データ記憶手段に
記憶される。「画像データの表す画像」とは、画像デー
タに基づいて得られる画像であり、画素を単位とし、光
学的特性値が画素毎に得られる画像でもよく、あるいは
画素を単位とせず、光学的特性値が任意の点において得
られる画像でもよい。前者の一例は、多数の撮像素子を
備え、各撮像素子の受光状態に応じた電気信号を発生さ
せる撮像装置により得られた各撮像素子毎の電気信号の
集合として観念される画像であり、画像は撮像素子が配
列された撮像面上に物理的に形成された画像であるとい
うことができる。その意味でこの画像を物理画像と称
し、物理画像が存在する画面(撮像面と一致している)
を物理画面と称することとする。物理画像のデータは、
各撮像素子毎の電気信号のデータを各撮像素子の位置と
関連付けて記憶手段に記憶させることにより保存され、
再現され得る。また、物理画像を表す画像データは実際
に存在しており、その意味で物理画像は、後述の仮想画
像の対比において実在画像と称することもでき、実在画
像が存する画面は実在画面と称することができる。実在
画像を表す画像データは、各撮像素子毎の電気信号の大
きさ自体を表すアナログデータあるいはデジタルデータ
でもよく、例えば256段階の離散値で表される多段階
のデジタルデータ(階調データと称する)でもよく、撮
像素子毎の電気信号がしきい値を超えるか否かにより2
値化された2値化データでもよい。画像データが表す画
像が、画素を単位とし、光学的特性値が画素毎に得られ
る画像である場合には、ポイントペアの2点や、シーク
ラインは画素を単位として設定されることになり、画素
が十分に小さい場合や、要求精度が比較的低い場合に採
用可能である。画素を単位とせず、光学的特性値が任意
の点において得られる画像の一例は、上記物理画面の各
撮像素子の電気信号のデータが各撮像素子の中央の点の
光学的特性値を表すと見なし、それら多数の点の光学的
特性値を満たす曲面を想定した場合に、その曲面を規定
する連続的な光学的特性値の集合として観念される画像
である。この画像の画像データは例えば上記曲面を表す
式のデータとして保存することも可能であり、この画像
データも実在画像の一種であることになる。それに対し
て、上記曲面のデータを予め求めておく代わりに、画面
上の任意の点が指定された場合に、その点のみの光学的
特性値を各点が指定される毎に演算によって求めること
も可能である。この場合には画像は実際には存在せず、
存在すると仮想されているに過ぎないため、仮想画像と
称し、仮想画像が存在する画面を仮想画面と称すること
とする。本態様の画像処理装置はこの仮想画像,仮想画
面を利用する態様であり、記憶容量の比較的小さい画像
データ記憶手段を使用しながら、迅速にかつ高精度で測
定対象物の測定や検査対象物の欠陥検査を行うことがで
きる。 (12)前記位置等測定手段が、一定の距離を隔てた2
個の点を一対とするポイントペアを複数組有する捜索テ
ンプレートのデータを記憶する捜索テンプレートデータ
記憶手段と、その捜索テンプレートデータ記憶手段の捜
索テンプレートを前記画像データ記憶手段の画像データ
の表す画像が存在する画面に重ねた場合に、前記複数組
のポイントペアを構成する各対の点の光学的特性値の相
違状態が設定状態以上である場合には、その対の2点が
エッジの両側に分かれて位置する適合状態にあるとし、
前記複数のポイントペアのうち設定量以上のものが適合
状態にあれば、画像処理対象物は捜索テンプレートに適
合する捜索対象物であると判定する捜索物判定手段と、
測定シークラインを複数本有する測定テンプレートのデ
ータを記憶する測定テンプレートデータ記憶手段と、そ
の測定テンプレートデータ記憶手段の測定テンプレート
を前記画像データ記憶手段の画像データの表す画像が存
在する画面に重ね、前記複数本の測定シークラインの各
々の上における前記画像処理対象物のエッジ点の座標を
演算するエッジ点座標演算手段とを含む (6)項ないし(1
1)項のいずれか1つに記載の画像処理装置(請求項
7)。位置等測定手段を本態様のものとすれば、画像処
理対象物の位置,回転角度,寸法等を迅速に測定できる
上、測定テンプレートの測定シークラインに類似の検査
シークラインの設定により検査を実行することができ
る。位置や回転角度が一定しない画像処理対象物の位
置,回転角度,寸法等の測定に引き続いて、欠陥等の検
査も容易に実行することができるのである。検査シーク
ラインの集合を検査テンプレートと称することとする。 (13)前記捜索テンプレートを、前記画像処理対象物
を規定する画像処理対象物規定データに基づいて自動的
に設定する捜索テンプレート自動設定手段を含む(12)項
に記載の画像処理装置。画像処理対象物の位置および回
転角度がほぼ一定である場合には、画像処理対象物規定
データに基づいて捜索テンプレートが1個設定されるよ
うにすればよい。しかし、画像処理対象物の位置,回転
角度の少なくとも一方が一定ではない場合には、その一
定ではないものが基準の状態にある場合についてマスタ
捜索テンプレートが設定され、そのマスタ捜索テンプレ
ートに上記位置および回転角度のうち一定ではないもの
に対応する変更が施されて、少なくとも1つの捜索テン
プレートが設定されるようにすることが必要となる。本
態様においては、捜索テンプレートが自動で設定される
ため、作業者が設定する必要がなく、使用が容易でかつ
高能率の画像処理装置が得られる。 (14)前記捜索テンプレートに基づいて前記測定テン
プレートを自動で設定する測定テンプレート自動設定手
段を含む(12)項または(13)項に記載の画像処理装置。画
像処理対象物の位置および回転角度がほぼ一定である場
合には、捜索テンプレートが一義的に決まるため、測定
テンプレートも一義的に決まる、しかし、画像処理対象
物の位置,回転角度の少なくとも一方が一定でない場合
には、捜索テンプレートが複数設定され、それらのいず
れかによって画像処理対象物が捜索対象物であると判定
される。したがって、測定テンプレートは、画像処理対
象物が捜索対象物であると判定された捜索テンプレート
に基づいて自動設定されることになる。有効な測定テン
プレートを簡単に得ることができ、画像処理対象物の位
置,回転角度,寸法等の測定、ひいては検査を迅速に行
うことが可能となる。 (15)一つの測定テンプレートを用いた画像処理対象
物の位置,回転角度および寸法の少なくとも1つの測定
結果に基づいて、再測定のための新たな測定テンプレー
トである再測定テンプレートを自動で設定する再測定テ
ンプレート自動設定手段を含む(14)項に記載の画像処理
装置。一つの測定テンプレートを用いた画像処理対象物
の位置,回転角度および寸法の少なくとも1つの測定結
果に基づいて再測定テンプレートが設定されるようにす
れば、再測定テンプレートを上記一つの測定テンプレー
トより画像処理対象物とのずれの小さいものとすること
ができ、ずれの小さい測定テンプレートにより測定を行
う方が高い精度を得ることができる。 (16)撮像装置により撮像され、画像データ記憶手段
に記憶されている検査対象物の画像を表す画像データに
基づいて検査対象物の欠陥検査をコンピュータに行わせ
るためのプログラムであって、前記画像データ記憶手段
に記憶された画像データにより表される画像の光学的特
性が急変する部分であるエッジと交差しないことが予定
されたネガティブシークラインと、エッジと交差するこ
とが予定されたポジティブシークラインとの少なくとも
一方を設定するシークライン設定処理と、そのシークラ
イン設定処理により設定されたシークラインがポジティ
ブシークラインである場合にはそのポジティブシークラ
インがエッジと交差し、設定されたシークラインがネガ
ティブシークラインである場合にはそのネガティブシー
クラインがエッジと交差しないという条件が満たされた
場合に、前記検査対象物は合格であると判定し、その条
件が満たされない場合に不合格であると判定する合否判
定処理とを含むプログラムがコンピュータにより読み取
り可能に記録された画像処理用記録媒体(請求項9)。 (17)画像処理対象物を撮像する撮像装置と、その撮
像装置により撮像した画像のデータである画像データを
記憶する画像データ記憶手段と、その画像データ記憶手
段に記憶された画像データに基づいて画像処理対象物の
位置,回転角度,寸法の少なくとも1つを測定する位置
等測定手段と、その位置等測定手段により測定された位
置,回転角度,寸法の少なくとも1つを考慮した上で、
前記画像処理対象物に予定外のエッジが存在するか否か
に基づいて欠陥の有無を判定する欠陥判定手段とを含む
画像処理装置(請求項10)。本態様に係る画像処理装
置によれば、位置,回転角度,寸法の少なくとも1つが
一定しない画像処理対象物についても支障なく欠陥検査
を行うことができる。前述の捜索テンプレート,測定テ
ンプレート,検査テンプレート等を利用した画像処理装
置はその一例であるが、これに限定されるわけではな
い。 (18)前記撮像装置がテレセントリック光学系を有す
る (1)ないし(17)項のいずれか1つに記載の画像処理装
置。 (19)前記テレセントリック光学系が、一平面をなす
反射面と、その反射面と光軸が直交する状態で配置さ
れ、反射面からの平行光を焦点に集光する第一レンズ系
と、それら反射面と第一レンズ系との間の位置に被測定
物を支持する被測定物支持装置と、前記第一レンズ系に
対して前記反射面とは反対側の位置に設けられ、第一レ
ンズ系の光軸に対して傾斜し、光の一部を透過させ、残
りを反射する反射面を有するビームスプリッタと、その
ビームスプリッタの反射面に対して前記第一レンズ系の
焦点とは面対称の位置に設けられたオリフィスと、その
オリフィスに対して前記ビームスプリッタとは反対側に
設けられた光源と、前記第一レンズ系の焦点に焦点を有
し、第一レンズ系により集光されるとともに前記ビーム
スプリッタを通過した光を平行光線に変換する第二レン
ズ系とを含み、前記撮像装置の撮像センサが、第二レン
ズ系により平行光線に変換された光により形成される像
を撮像する位置に配設された(18)項に記載の画像処理装
置。
【0007】
【発明の実施の形態】以下、本発明を立体形状の検査対
象物の寸法,欠陥検査装置に適用した場合の一実施形態
を図面に基づいて説明する。本寸法,欠陥検査装置は、
図1〜3に示す撮像装置10と、図4に示す画像処理装
置12,モニタテレビ14および入力装置16とを含ん
でいる。入力装置16は、キーボード18,マウス2
0,フットスイッチ22等を含んでいる。画像処理装置
12は、入力装置16から入力される情報,指令等に応
じて作動し、撮像装置10により撮像された画像を処理
して検査対象物の寸法を測定し、その測定寸法を基準寸
法と比較して合否の判定を行う。また、検査対象物表面
に傷や汚れ等の欠陥があるか否か、外周部に欠け等の欠
陥があるか否かの検査も行う。撮像された画像,測定さ
れた寸法,判定結果および欠陥の有無等は表示装置とし
てのモニタテレビ14に表示される。さらに、モニタテ
レビの表示内容を記録媒体としての記録用紙に印刷する
印刷装置を画像処理装置12に接続することも可能であ
る。
【0008】画像処理装置12の作動に必要な情報の入
力はキーボード18およびマウス20を使用して行われ
るが、作動開始指令等の単純な指令はキーボード18,
マウス20およびフットスイッチ22のいずれからも入
力可能であり、特に多数の検査対象物の検査を連続的に
行う場合には、フットスイッチ22により作動開始指令
を入力すれば、両手を検査対象物の交換等別の作業に使
用することができ、便利である。さらに、検査の結果、
検査対象物が不合格であった場合には、画像処置装置に
内蔵のブザーが作動するようになっており、オペレータ
はモニタテレビ14を常時注視している必要がなく、本
寸法,欠陥検査装置はこの点でも使い勝手のよいものと
なっている。
【0009】次に、撮像装置10について説明する。図
1〜3において、30は撮像装置本体であり、ベース3
2,コラム34およびヘッド36を備えている。コラム
34はベース32から上方に延び、上端部においてヘッ
ド36を支持し、中間部においてレンズブラケット38
を支持している。ヘッド36は、コラム34の上端から
水平に延び出たアーム40と、そのアーム40の上に固
定されたカメラブラケット42とを備えている。コラム
34の前面には案内部が設けられ、この案内部にレンズ
ブラケット38の被案内部が上下方向に案内されるよう
になっている。案内部は、横断面形状が矩形で、上下方
向に延びる案内溝46により構成され、その案内溝46
にレンズブラケット38の後面に被案内部として設けら
れた嵌合突部48が摺動可能に嵌合されているのであ
る。さらに、アーム40とレンズブラケット38とは調
節ねじ50により連結されている。調節ねじ50は、第
一ねじ部52,第二ねじ部54および操作部56を有
し、第一ねじ部52と第二ねじ部54とがそれぞれアー
ム40とレンズブラケット38とに形成されたねじ穴に
螺合されている。第一ねじ部52と第二ねじ部54とは
ねじの向きとピッチとの少なくとも一方を異にしてお
り、したがって、操作部56を指で回転させることによ
りレンズブラケット38を昇降させ、アーム40および
カメラブラケット42に対する相対的位置を調節するこ
とができる。この位置調節後、レンズブラケット38は
固定手段としてのボルト58によりコラム34に固定さ
れる。なお、レンズブラケット38に形成されたボルト
穴は、上下方向に長い長穴60とされており、ボルト5
8が僅かに緩められた状態では、レンズブラケット38
の上記昇降を許容する。
【0010】ベース32上には、鏡支持板64が水平に
配設されている。鏡支持板64は、概して矩形板状の部
材であるが、その中央の点を中心とする一円周上に等角
度間隔で配設された3本の調節ねじ66を介してベース
32に支持されており、調節ねじ66の調節により、ベ
ース32に対する相対的な傾きを調節し得るようにされ
ている。鏡支持板64の上面には平板状の鏡68が固定
されており、その鏡68の反射面70上には、平板状の
ガラス板から成る検査対象物支持板72が載置されてい
る。反射面70は入射する光を100近く反射する全反
射面であり、平面度の高いものとされている。
【0011】前記カメラブラケット42にはCCDカメ
ラ76が保持されている。CCDカメラ76は、固体イ
メージセンサの一種であるCCD(電荷結合素子)80
と結象レンズ82(図5参照)とを備え、カメラブラケ
ット42に対して上下方向位置調節可能に取り付けられ
ている。操作部材84を回転させることによって、図示
しない昇降機構を介してCCDカメラ76を昇降させ得
るようにされているのである。CCD80は、一平面上
に多数の微小な撮像素子が配列されたものであり、各撮
像素子の受光状態に応じた電気信号を発生させる。
【0012】前記アーム40内には、図2に示すよう
に、ビームスプリッタ90が配設されている。ビームス
プリッタ90は、上記CCDカメラ76の光軸に対して
45度傾斜した姿勢で配設されており、このビームスプ
リッタ90に、照明装置92が水平方向から対向させら
れている。照明装置92は、オリフィス94,光ファイ
バ96および光源としてのハロゲンランプ98を備え、
ハロゲンランプ98から放射された光が光ファイバ96
によりアーム40に固定されたオリフィス94に導かれ
るようになっている。オリフィス94は先端に微小な透
孔100を備え、この透孔100からビームスプリッタ
90に向かって光を放射状に投光する。なお、光ファイ
バ96により導かれた光を透孔100に集光するため
に、光ファイバ96と透孔100との間にレンズを設け
ることが望ましい。
【0013】前記レンズブラケット38は、下端に水平
の延び出たレンズ保持部102を備えている。レンズ保
持部102には、円形の開口104が形成されるととも
に、その開口の上端部にざぐり穴106が形成されてお
り、そのざぐり穴106に対物レンズ108が嵌合さ
れ、レンズカバー110により離脱を防止されている。
【0014】以上説明した、CCD80,結像レンズ8
2,ビームスプリッタ90,対物レンズ108および鏡
68は、図5に示すように、互いに同軸に配置されてい
る。また、対物レンズ108の焦点と結像レンズ82の
焦点とが一致し、かつ、それら一致した焦点Oと、前記
オリフィス94の透孔98とが、ビームスプリッタ90
の反射面112に対して面対称の相対位置となるよう
に、結像レンズ82,ビームスプリッタ90および対物
レンズ108の位置が決定されている。また、鏡68の
反射面70は対物レンズ108から焦点距離f1 だけ隔
たった位置に、対物レンズ108の光軸と直交する向き
で配設され、CCD80の撮像面は結像レンズ82から
焦点距離f2 だけ隔たった位置に、結像レンズ82の光
軸と直交する向きで配設されている。なお、上記焦点O
の位置に透孔116を有するオリフィス118が設けら
れ、反射面70等により反射された平行光が対物レンズ
108により集光された光のみが結像レンズ82に入射
するようにされているが、本撮像装置10の周囲が十分
に暗い場合には、オリフィス118を省略することも可
能である。また、図5においては、理解を容易にするた
めに、透孔116を通過する光の直径が透孔116の直
径より大きく図示されているが、実際には透孔116の
直径にほぼ等しい直径の光が通過するのみである。
【0015】以上のように構成された撮像装置10にお
いて、検査対象物122の検査を行う場合には、検査対
象物122を検査対象物支持板72上に載置し、照明装
置92により照明する。点光源としての透孔100から
放射状に投光された光の一部はビームスプリッタ90を
通過するが、残りは反射面112により反射され、対物
レンズ108に向かう。透孔100は反射面112に対
して焦点Oと面対称の位置にあるため、透孔100から
の光はあたかも焦点Oから出た光のように対物レンズ1
08に入射し、対物レンズ108の光軸に平行な平行光
に変換されて検査対象物122および反射面70に向か
う。検査対象物122の表面に当たった光はこの表面に
より反射されるが、その反射光のうち対物レンズ108
の光軸に平行な成分は対物レンズ108により焦点Oへ
集光される。検査対象物122の周囲を通過した光は反
射面70により反射されるが、反射面70は対物レンズ
108の光軸に直角であるため、反射面70で反射され
た光は入射時と同じ経路をたどって対物レンズ108の
光軸に平行に検査対象物122の周囲を通過し、対物レ
ンズ108により焦点Oに向かって集光される。この光
の一部はビームスプリッタ90の反射面112により照
明装置92に向かって戻されるが、残りはビームスプリ
ッタ90および焦点O(オリフィス118)を通過して
結像レンズ82に入射し、結像レンズ82の光軸に平行
な平行光に変換される。この平行光はCCD80の撮像
面に入射し、撮像面に検査対象物122の像と反射面の
像とから成る画像を形成する。
【0016】この画像は、検査対象物122の表面と反
射面70とからの対物レンズ108の光軸に平行な光に
よって形成されるため、透視図法ないし投影図法で描か
れた図面と同じ画像になる。図67に示すように、通常
の光学系124を通して撮像センサ125により検査対
象物122を撮像した場合には、検査対象物122の光
学系124から遠い部分の画像が、近い部分の画像に比
較して小さく撮像されてしまう。もし、対物レンズから
遠い部分が二点鎖線で示すように、光学系からの距離が
他の部分と同じ位置にあれば、もっと大きな画像として
取得されるのに対し、小さく撮像されてしまうのであ
る。この問題は、検査対象物122の光学系124に対
向する面が光学系124の光軸に直角な一平面でない限
り発生し、また、一平面であっても、その一平面の位置
が一定しない限り発生し、三次元形状の検査対象物の寸
法測定を不可能にする。それに対し、本撮像装置10に
よればこの問題が解消され、三次元形状の検査対象物1
22であっても透視図法ないし投影図法で描かれた図面
と同じ画像が取得されるため、この画像に基づいて寸法
を求めれば、透視図法ないし投影図法上の寸法を取得す
ることができる。
【0017】また、反射面70は100%に近い反射率
を有する全反射面であるのに対し、検査対象物122の
表面は、切削面である場合は勿論、たとえ研削面であっ
ても微細な凹凸が存在するため、対物レンズ108の光
軸に平行に反射される成分は比較的少なく、検査対象物
122の表面像は反射面の像に比較して暗くなる。検査
対象物122の表面が対物レンズ108の光軸に直角で
ある場合にそうなのであって、光軸に対して傾斜してい
る場合には光軸に平行な成分がさらに減少し、実質的に
シルエット像になる。そして、検査対象物122の表面
が対物レンズ108の光軸に直角な場合でも、その表面
の周縁には意図的に面取りが施され、あるいは丸みが付
けられることが多く、また、意図的に丸みが付けられな
い場合でも自然に微小な丸みが付くことが多いため、検
査対象物122の輪郭線に沿って暗く、反射面70の領
域とは格段に明度の異なる画像が形成され、後に画像処
理によってきわめて容易に輪郭線を特定することができ
る。さらに、外周部に欠け等の欠陥が存在すれば、その
部分は反射面70からの反射光が透過するため、明るい
部分となり、暗い部分との対比により容易に検出するこ
とができる。
【0018】以上は、検査対象物122の外側の輪郭線
について述べたが、検査対象物が貫通した開口を有する
場合には、その開口の内側の輪郭線も同様の理由できわ
めて容易に特定できる。さらに、検査対象物122の表
面が対物レンズ108の光軸に直角である場合に、その
表面に文字,記号等のキャラクタや図形が記載され、凹
部が形成され、あるいは傷,汚れが存在すれば、それら
は検査対象物122の表面とは明るさを異にする像(多
くの場合には検査対象物122の表面より暗い像)を形
成するため、これらの輪郭線を特定することも可能であ
る。
【0019】画像処理装置12は、上記のようにしてC
CDカメラ76により取得された画像のデータを処理
し、検査対象物122の外側や内側の輪郭線に基づい
て、検査対象物122の寸法,位置,基準回転位置から
の回転角度等を求める。また、検査対象物122の表面
に存在するキャラクタ,図形,凹部,傷,汚れ等の輪郭
線に基づいて、キャラクタ,図形,凹部等を識別し、
傷,汚れ等欠陥を検出する。この画像処理は複雑である
ので、後にまとめて詳述することとし、ここでは省略す
る。画像処理装置12は、さらに、上記のように求めた
寸法,位置,回転角度等のデータを基準データと比較し
て合否の判定を行い、その判定結果を、求めた寸法,位
置,回転角度等の値と共にモニタテレビ14に表示させ
る。また、検査対象物122の表面に存在するキャラク
タ,図形,凹部等の識別結果や、傷,汚れ等欠陥の検出
結果もモニタテレビ14に表示させる。
【0020】上記撮像装置10と画像処理装置12との
組合わせにより、1/100以下の測定誤差で検査対象
物122の寸法を測定し得ることが実験により確認され
ているが、測定精度を高めるためには、対物レンズ10
8の焦点とオリフィス94の透孔100との光軸方向の
相対位置精度と、対物レンズ108の光軸と鏡68の反
射面70との直角度とを向上させることが必要である。
【0021】まず、対物レンズ108の焦点とオリフィ
ス94の透孔100との相対位置について説明する。図
6に、オリフィス94の透孔100が対物レンズ108
の焦点Oより対物レンズ108側にある場合における撮
像の模様を示す。ただし、理解を容易にするために、ビ
ームスプリッタ90を省略し、あたかも透孔100が対
物レンズ108の光軸上にあるかのように示す。また、
透孔100の位置のずれも著しく誇大に示す。本来は、
透孔100は焦点Oの位置にあり、図6に二点鎖線で示
す経路を経て撮像センサ80に入射し、L0 の大きさの
像を形成するはずであるが、透孔100が対物レンズ1
08に近すぎる場合には、矢印付きの細線で示す経路を
経て撮像センサ80に入射し、L1 の大きさの像を形成
する。正規の像より小さくなってしまうのである。
【0022】それに対し、図7に示すように、オリフィ
ス94の透孔100が対物レンズ108の焦点距離より
離れた位置にある場合には、透孔100からの光は、矢
印付きの細線で示す経路を経て撮像センサ80に入射
し、L1 の大きさの像を形成する。正規の像より大きく
なってしまうのである。オリフィス94と対物レンズ1
08との光軸方向の相対位置が適切でなければ、すなわ
ち、オリフィス94の透孔100が正確に対物レンズ1
08の焦点O上になければ、CCDカメラ76によって
取得される検査対象物122の像が過大になったり、過
小になったりするのであり、そのような像を含む画像の
処理により求められる寸法に誤差を生じさせる。しか
も、この寸法誤差は、反射面70から検査対象物122
までの距離が大きいほど大きくなる。この誤差を除去す
るためには、対物レンズ108の焦点Oと透孔100と
の光軸方向の相対位置を調節することが必要であり、こ
の調節はオリフィス94の光軸方向の位置を変更するこ
とによっても可能であるが、本実施形態においては、対
物レンズ108のビームスプリッタ90に対する光軸方
向の相対位置、すなわち透孔100に対する光軸方向の
相対位置を変更することにより、調節が行われるように
なっている。
【0023】具体的には、図8に示すように、検査対象
物支持板72上に検査用ゲージ126を載置し、その検
査用ゲージ126の第一基準部127と第二基準部12
8との寸法測定を行いつつ、調節ねじ50により対物レ
ンズ108の高さを調節し、第一基準部127と第二基
準部128との寸法が実質的に同じ値として取得された
とき、レンズブラケット38をコラム34に固定するの
である。第一基準部127と第二基準部128とは、図
9に示すように、ガラス板に同じ大きさの基準マーク1
29を同じ中心間距離で2個ずつ形成したものであり、
検査用ゲージ126が検査対象物支持板72上に載置さ
れたとき、第一基準部127と第二基準部128との光
軸方向の位置が異なるように構成されている。前述のよ
うに、検査対象物122の寸法誤差は、反射面70から
の検査対象物122までの距離が大きくなるほど大きく
なるため、第一基準部127と第二基準部128との反
射面70からの距離が異なっても、2個の基準マーク1
29の中心間距離の寸法誤差が実質的に同じになる状態
になれば、対物レンズ108から検査用ゲージ126に
向かう光が対物レンズ108の光軸に平行になったと考
えることができ、対物レンズ108の焦点Oと透孔10
0との光軸方向の相対位置が適切になったと考えること
ができるのである。
【0024】なお、上記検査用ゲージ126は、反射面
70により反射された光を基準マーク129が遮断する
ものとされており、基準マーク129は反射率の低い材
料で形成されているが、逆に第一基準部127と第二基
準部128との基準マーク129を反射率の高い材料で
形成し、第一基準部127と第二基準部128とを、高
さが互いに異なる支持段部を有する支持部材の各支持段
部上に載置して、較正治具とすることも可能である。こ
の場合、各支持段部の支持面はできる限り反射率の低い
ものとすることが望ましい。本態様においては、対物レ
ンズ108からの平行光は反射面70には到達せず、反
射率の高い基準マーク129からの反射光により基準マ
ーク129の寸法測定が行われることとなるが、平行光
の平行度が悪い場合には基準マーク129の測定寸法が
誤差を含み、その誤差が対物レンズ108と基準マーク
129との距離の大小によって変わるため、本態様によ
っても平行光の平行度の良否、すなわち対物レンズ10
8の焦点Oと透孔100との光軸方向の相対位置の適切
を検査することができるのである。
【0025】次に、対物レンズ108の光軸と鏡68の
反射面70と直角度について説明する。図10に示すよ
うに、対物レンズ108の光軸と反射面70とが直角で
ある場合には、対物レンズ108からの平行光が二点鎖
線で示す経路を経てL0 の大きさの像を形成するのに対
し、反射面70が傾いている場合には、矢印付きの細線
で示す経路を経て、L1 の大きさの像を形成する。つま
り、対物レンズ108の光軸と鏡68の反射面70との
直角度が悪いほど、検査対象物122の外のり寸法が大
きな値で取得されてしまうのである。この誤差を除去す
るためには、鏡支持板64に螺合されている3本の調節
ねじ66の鏡支持板64からの突出量を変更することに
より、鏡68の反射面70の向きを調節しつつ、検査対
象物支持板72上の検査対象物122の外のり寸法を測
定し、外のり寸法が極小値に達したとき、ロックナット
により調節ねじ66を固定すれば、対物レンズ108の
光軸と鏡68の反射面70との直角度を高くすることが
できる。なお、図示の例では調節ねじ66は検査対象物
支持板72に螺合され、下端がベース32に当接するよ
うにされているが、調節ねじを、前記調節ねじ50と同
様のものとし、検査対象物支持板72とベース32との
両方に螺合させることも可能である。
【0026】寸法精度をさらに高めることが必要な場合
には、反射面70,結像レンズ82および対物レンズ1
08の局部的な歪みに基づいて発生する寸法測定誤差も
除去することが望ましい。例えば、図11に示すよう
に、ガラス板130に、縦横に等ピッチで同じ大きさの
基準マーク132を形成した較正用ゲージ134を、検
査対象物支持板72上に載置し、互いに隣接する基準マ
ーク132間の中心間距離の誤差を検出し、それら誤差
を反射面70,結像レンズ82および対物レンズ108
の局部的な歪みを表すデータとして画像処理装置12に
記憶させておき、検査対象物122の寸法を求める際
に、この歪みデータに基づいて寸法の補正が行われるよ
うにするのである。なお、図11に示す較正用ゲージ1
34においては基準マーク132の数は少なく描かれて
いるが、実際には小さいピッチで多数の基準マーク13
2が形成されることが望ましく、それら基準マーク13
2は光を遮断するものでも、光を透過させるものでもよ
い。他の部分と逆になっていればよいのである。
【0027】次に、画像処理装置12について説明す
る。この画像処理装置12は、本来、電気部品供給装置
から供給される電気部品を、吸着ヘッド等の部品保持ヘ
ッドにより保持し、搬送して、プリント基板等の回路基
材に装着する電気部品装着装置用の画像処理装置として
開発されたものである。電気部品装着装置においては、
部品保持ヘッドによる電気部品の保持位置や保持方位
(基準回転位置からの回転角度で表され、以下、回転角
度と称する)を検出し、あるいは基材支持装置により支
持された回路基材の位置や回転角度を検出し、それらの
誤差を修正した上で、電気部品を回路基材に装着するこ
とが行われており、そのために、電気部品や回路基材の
基準マークを撮像する撮像センサが必要であり、これら
撮像センサの画像処理装置として開発されたものなので
ある。したがって、前記CCDカメラ76の代わりに、
電気部品装着装置により従来から使用されている撮像装
置のCCDカメラを接続すれば、電気部品や回路基材の
基準マークの位置等を検出することができる。また、前
記寸法,欠陥検査装置と同様の構成の撮像装置により、
電気部品,基準マーク等の撮像を行い、それらの位置等
を検出することができる。
【0028】その一例を図12に示す。図12におい
て、前記鏡68に相当する鏡140が部品吸着ヘッド1
42に取り付けられており、吸着管144に保持された
電気部品146の像が、前記撮像装置10におけるのと
同じ原理で取得される。そのための光学系を構成する各
構成要素は撮像装置10におけるそれらと同じであるた
め、同一の符号を用いて対応関係を示し、詳細な説明は
省略する。なお、光学系の各構成要素を保持する部材の
構成は撮像装置10とは異なるが、これらの部材の構成
は重要ではないため、説明を省略する。
【0029】以上のようにしてCCDカメラ76により
取得された検査対象物122,電気部品,基準マーク等
の画像のデータが画像処理装置12により処理され、検
査対象物122の寸法検査や欠陥検査、電気部品146
の保持位置の検出等が行われる。画像処理装置12はコ
ンピュータを主体とするものであり、図13に示すよう
に、CPU154,DRAM(ダイナミックラム)15
6,SRAM(スタティックラム)158,PROM
(プログラマブルロム)160,漢字ROM162,フ
レームグラバメモリ164,および4面分のオーバレイ
表示メモリ166を有し、これらは基板167上の図示
しない内部バスによって互に接続されている。
【0030】上記内部バスにはまた、2チャンネルのシ
リアルインタフェース170が接続され、入力装置16
が接続されている。入力装置16は、テンキー,アルフ
ァベットキー等を有する前記キーボード18を主体と
し、寸法,欠陥検査装置全体の運転に必要な情報,指令
と共に、画像処理対象物(物体の全体でも一部でもよ
い)の種類,個数等,画像処理に必要な情報を入力する
装置である。バスにはまた、イーサネットインタフェー
ス174およびメモリカードインタフェース176が接
続されている。
【0031】イーサネットインタフェース174は電気
部品装着装置等の、画像処理装置以外の部分を制御する
コンピュータとの間で通信を行うためのインタフェース
である。画像処理装置12には、オプションの制御機器
を接続可能であり、イーサネットインタフェース174
はP1コネクタ168を介してデータ交換を行うのであ
る。また、電気部品装着装置の各種駆動装置を制御する
制御装置も、コンピュータを主体として画像処理装置1
2とは別に設けられ、図示しない外部バスを介してP1
コネクタ168に接続される。この別の制御装置は本発
明とは関連が薄いため図示および説明は省略する。メモ
リカードは、画像処理を行うために予め作成されたプロ
グラムが記憶されたものであり、画像処理装置12にセ
ットされれば、CPU154がPROM160を使用し
てメモリカード内のプログラムやプログラムの実行に必
要なデータをメモリカードインタフェース176を介し
て読み出し、DRAM156に記憶させる。
【0032】バスには更に、CCDカメラインタフェー
ス180が接続され、これに前記寸法,欠陥検査装置の
CCDカメラ76(または電気部品装着装置のCCDカ
メラ76)が接続される。CCDカメラ76により得ら
れた画像のデータである画像データは、CCDカメライ
ンタフェース180を介してフレームグラバメモリ16
4に格納される。前述のように、フレームグラバメモリ
164は4つ設けられており、例えば、連続して撮像さ
れる4個の検査対象物122の画像データが各フレーム
グラバメモリ164に順次格納される。
【0033】バスには更に、テレビインタフェース18
6が接続され、モニタテレビ14が接続されている。モ
ニタテレビ14はカラー表示およびモノクロ表示の両方
が可能である。前述のように、検査対象物122の撮像
により得られた4つのモノクロ画像の画像データが、フ
レームグラバメモリ164に並列的に格納されるように
なっており、一方オーバレイ表示メモリ166は、画像
を16色のカラーで表示するカラー画像データを記憶し
得るメモリを4面分備えている。モニタテレビ14に
は、上記4つのモノクロ画像のいずれか1つに、上記4
面分のカラー画像のうちモノクロ画像に対応するものが
重ねて表示され、画像処理の経過や結果が表示される。
この同じモニタテレビ14に、入力装置16を用いて入
力されたデータもカラーで表示される。この表示時に漢
字ROM162が使用される。
【0034】以下、CCDカメラ76の撮像により得ら
れた画像データの処理について説明する。画像処理のた
めのプログラムやデータは前述のようにメモリカードに
記憶されており、メモリカードがセットされれば読み出
されてDRAM156に記憶される。メモリカードから
読み出される画像処理プログラムを図14ないし図16
にそれぞれ示す。これらのプログラムの実行により、画
像処理対象物の寸法,位置,回転角度等の測定、寸法の
検査ならびに欠陥の有無の検査が行われる。
【0035】図14に示すプログラムは事前処理プログ
ラムである。事前処理プログラムは、一検査プログラム
の立ち上げ時、すなわち事前処理プログラムのDRAM
156への格納後に実行される。まず、一検査プログラ
ムの実行に必要なすべての画像処理対象物のうちの1つ
について、パターンマッチングを行うか否かが判定さ
れ、行うのであればマスタ捜索テンプレートに基づいて
捜索テンプレートが生成されてDRAM156に記憶さ
れる。同様の処理がすべての画像処理対象物について順
次行われる。
【0036】上記マスタ捜索テンプレートは2個の点を
一対とするポイントペアを複数組有し、それらポイント
ペアを規定する座標面(マスタ捜索テンプレート座標面
と称する)が画像処理装置12の基準座標面と一致して
いるものである。すなわち、マスタ捜索テンプレート座
標面の原点および座標軸の方向が、CCDカメラ76の
視野の中心に原点が設定された基準座標面の原点および
座標軸の方向と一致しているのである。マスタ捜索テン
プレートは、画像処理対象物の形状,寸法に基づいて予
め作成されてメモリカードに記憶されており、事前処理
プログラムと共にDRAM156に読み込まれる。
【0037】図17に、画像処理対象物が正方形の部分
である場合のマスタ捜索テンプレートの設定データの一
例を示し、そのデータによって設定されるマスタ捜索テ
ンプレート200を図18に示す。図17のデータ中、
第7,8,10,11行のデータおよび第5行のhs
(ハーフスパン)=5.5がマスタ捜索テンプレートの
設定データである。Pairとは、ポイントペアを構成
する2個の点の延長線上において、画像処理対象物の中
心線に対して対称に別のポイントペアを設定することを
意味する。例えば、図18に示す(7),(8),(10),(11) の
各ポイントペア202に対して(7) ´,(8)´,(10) ´,
(11) ´の各ポイントペア202が設定されるのであ
る。これらポイントペア202に付された括弧付の数字
は、図17における行番号と一致している。また、20
4は画像処理対象物である。
【0038】マスタ捜索テンプレートは、寸法,位置,
回転角度のいずれにも誤差のないマスタ画像処理対象物
について、各組のポイントペアを構成する2個の点の一
方が画像処理対象物の内側に、他方が外側に位置し、か
つ、それらポイントペアの2個の点の中点がマスタ画像
処理対象物のエッジ(輪郭線)上に位置するように作成
される。それを図に示せば、図18に示すようになるの
である。なお、一般的には、ポイントペアの2個の点の
中点がマスタ画像処理対象物のエッジ上に位置すること
は不可欠ではなく、2個の点がそれぞれ画像処理対象物
のエッジより内側と外側とに指定されればよい。また、
図18に示す例の場合、ポイントペア202の2個の点
のうちの一方の点が別のポイントペア202の一方の点
と共通にされているが、これも不可欠なことではない。
さらに、図18においては、いずれの点がポイントペア
202を構成するかを判り易く示すために、ポイントペ
ア202を構成する2個の点が直線でつながれている
が、この直線は説明の都合上の線であって実際に直線の
データが設定されるわけではない。
【0039】図21に、画像処理対象物が、一部が切り
欠かれた図22の円板206である場合のマスタ捜索テ
ンプレートのデータを示す。このマスタ捜索テンプレー
ト208においては、円周部分に設けられた(15)〜(17)
のポイントペア210は(15)´〜(17)´のポイントペア
210とペアにされているが、その他のポイントペア2
10は他のポイントペアとペアにされてはいない。
【0040】寸法,欠陥検査装置においては、画像処理
対象物が、例えば検査対象物122の像の全体とされ、
検査されるべき複数種類の検査対象物122についての
マスタ捜索テンプレートデータが予め作成されてメモリ
カードに記憶されており、画像処理実行時にはDRAM
156に格納される。そのため、捜索テンプレートの生
成時には、捜索テンプレートを生成すべき検査対象物1
22の種類に応じてマスタ捜索テンプレートデータがD
RAM156から読み出される。マスタ捜索テンプレー
トは前述のように回転角度が0度の捜索テンプレートで
あり、マスタ捜索テンプレートが設定角度範囲内におい
て図20に二点鎖線で示すように設定ピッチで回転させ
られることにより、複数種類の捜索テンプレートが生成
され、そのデータがDRAM156に格納される。
【0041】この捜索テンプレートの生成角度範囲およ
び設定ピッチをそれぞれ指定するデータは、図17に示
すように、マスタ捜索テンプレートのデータと共に記憶
されている。第15行のpitchA=4.5 が設定ピッチのデ
ータであり、第16行のstartA=-45および第17行のen
dA=45 が捜索テンプレートの生成角度範囲を規定するデ
ータである。捜索テンプレートを生成する角度範囲およ
びピッチは検査対象物122に応じて設定される。例え
ば、検査対象物122が検査対象物支持板72上に載置
される際の回転角度が大きくずれることが予想される場
合には、生成角度範囲が広くされるのである。因みに、
図14に示す事前処理プログラムの例では、生成角度範
囲が−45度から+45度とされ、設定ピッチが5度と
されている。
【0042】1つの検査対象物122についての捜索テ
ンプレートの生成が終了すれば、プログラムの実行は最
初に戻り、次の検査対象物122についてパターンマッ
チングを行うか否かの判定および行うのであれば捜索テ
ンプレートの生成が行われる。パターンマッチングを行
わない場合にはプログラムの実行は始めに戻り、次の検
査対象物122についてパターンマッチングを行うか否
かの判定が行われる。全部の検査対象物122について
パターンマッチングを行うか否かの判定,パターンマッ
チングを行う検査対象物122についての捜索テンプレ
ートの生成が行われたならば図14のプログラムの実行
は終了する。
【0043】次に、図15に示す実行処理プログラムを
説明する。このプログラムは、CCDカメラ76により
検査対象物122が撮像され、画像データがフレームグ
ラバメモリ164に格納された後に実行される。まず、
検査対象物122が四角形物等、パターンマッチングの
みで処理可能であれば、図16に示すパターンマッチン
グプログラムに従って画像処理が行われる。
【0044】次に、画像処理対象物が、QFP(クウォ
ード フラットパッケージ),PLCC(プラスティッ
ク リーデッド チップ キャリア),S0P(スモー
ルアウト ライン パッケージ)等多数のリードを備え
て形状が複雑な電気部品、BGA(ボール グリッド
アレイ)の半田バンプ等画像処理対象物の数が多いも
の、太陽電池のグリッドパターンのように画像処理対象
物の形状が複雑なもの、形状が単純な円や四角形ではな
い機械部品、画像処理のためにパターンマッチングを組
み合わせたパターンマッチングマネージャを作動させる
必要があるものであるか否かが判定される。パターンマ
ッチングの組合わせについては後述する。
【0045】パターンマッチングマネージャ作動の必要
がなければ、仮想画面上での画像処理を行うべきか否か
が判定され、判定の結果がNOであれば物理画面上での
画像処理を行うべきか否かが判定される。物理画面は、
光学的特性値が画素毎に求められて画像データが実在す
る画像の画面であり、仮想画面は、画素に拘束されない
任意の点の光学的特性値が必要に応じて演算によって求
められる画面である。上記パターンマッチングおよびパ
ターンマッチングマネージャはいずれも、後に説明する
ように、仮想画面上で行われる処理であるが、本実施形
態においては、これらの他に、パターンマッチングによ
らないで仮想画面上と物理画面上とでそれぞれ画像処理
を行い得るようにされている。上記「仮想画面上での画
像処理を行うべきか否か」および「物理画面上での画像
処理を行うべきか否か」の判定は、パターンマッチング
またはパターンマッチングマネージャの画像処理を行う
ことが指令されているか否かの判定なのである
【0046】図16に示すパターンマッチングプログラ
ムを説明する。まず、サーチウインドウが設定され、画
像処理対象物を捜索する捜索領域が設定される。サーチ
ウインドウの設定は、CCDカメラ76の撮像面の一部
あるいは全部を座標値によって指定することにより行わ
れる。画像処理対象物が何であるかは、作業手順中のデ
ータにより判っており、撮像面に形成される画像処理対
象物の像の位置はおおよそ判るため、サーチウインドウ
は位置に多少のずれがあっても画像処理対象物を包含す
るに適した十分な大きさに設定される。このようにすれ
ば捜索領域が狭くて済み、短時間で捜索することができ
る。
【0047】フルセットのパターンマッチング処理は、
捜索対象部を捜索する捜索ステップ,捜索対象部のおお
よそのエッジ点を捜索する再捜索ステップ,捜索対象部
のエッジ点を演算する測定ステップ,測定ステップを繰
り返し行う再測定ステップおよび検査ステップの5つの
ステップを含む。通常は5つのステップ全部の終了によ
りパターンマッチングが終了する。1つでも異常のステ
ップがあれば、次のステップは実行されず、直ちにパタ
ーンマッチングが終了させられる。
【0048】まず、捜索ステップを説明する。捜索ステ
ップにおいては、DRAM156から捜索テンプレート
が1つずつ順次読み出され、図24に示すように画像処
理対象物の像220と背景(画像処理対象物以外の部分
の意であって、画像処理対象物が部品表面の凹部等であ
る場合には部品表面の像が背景となる)とを含む画像が
存在する画面221に重ねられ、捜索テンプレート22
2の複数のポイントペア224を構成する2個の点(以
下、ポイントペア構成点と称する)の光学的特性値(本
実施形態では輝度)が演算される。図17に示す例で
は、回転角度が−45度の捜索テンプレートから順に読
み出される。
【0049】ポイントペア構成点は仮想画面上の点であ
り、ポイントペア構成点の輝度は物理画面上の複数の画
素の画像データとしての輝度から補間演算により求めら
れる。捜索テンプレートのデータにより指定された仮想
画面上の点の光学的特性値が物理画面の画像データに基
づいて求められるのであり、これを視覚的に表したのが
図24であって、請求項7にいう「捜索テンプレートを
画像データの表す画像が存在する画面に重ねる」とはこ
のことを意味する。図24の画面221は仮想画面であ
り、この画面221内の画像対象物の像220はこの位
置に存在すると仮想されているのみで、実際にこの像2
20を表す画像データは存在しない。他の図に関しても
同様である。
【0050】ポイントペア構成点の輝度の補間演算は、
例えばX,Y座標面上における4×4個の制御点の画像
データによって規定される双3次スプライン曲面等の曲
面を使用して行うことも可能であるが、本実施形態にお
いては、ポイントペア構成点に隣接する4個の画素の画
像データに基づいて、最も単純な線形補間により行われ
る。図25において(u0 ,v0 )はポイントペア構成
点、f(u0 ,v0 )はポイントペア構成点の輝度、
(u´,v´),(u´+1,v´),(u´,v´+
1),(u´+1,v´+1)はそれぞれ線形補間に使
用される4個の画素の中心位置、f(u´,v´),f
(u´+1,v´),f(u´,v´+1),f(u´
+1,v´+1)は4個の画素の各輝度であり、ポイン
トペア構成点の輝度は(1)式によって演算される。 f=(u0 ,v0 )=f(u´,v´)(1−α)(1−β)+f(u´+1, v´)α(1−β)+f(u´,v´+1)(1−β)β+f(u´+1,v´ +1)αβ・・・・・・・(1)
【0051】上記演算は図26に示す物理画面/仮想画
面変換ドライバ300によって行われる。図に示すよう
に、物理画面/仮想画面変換ドライバ300は、一般的
な画像処理アプリケーションソフトウエア302とは別
に構成されており、画像処理アプリケーションソフトウ
エア302において、物理画面304上の画像データに
基づいて仮想画面306上の画像データを演算する必要
が生じる度に、物理画面/仮想画面変換ドライバ300
が呼び出されて、仮想画面306上の画像データの演算
が行われるのである。
【0052】各対のポイントペア224の2個の構成点
について輝度が演算される毎に、それら2個のポイント
ペア構成点の輝度が比較される。CCDカメラ76によ
る撮像時には、画像処理対象物としての検査対象物12
2に入射した光は背景としての反射面70に入射した光
より少なく反射されるため、画像処理対象物(検査対象
物122)に対応する部分と背景(反射面70)に対応
する部分とでは固体撮像素子の電荷量に差が生ずる。画
像処理対象物の像が暗く、背景が明るくなるのである。
そのため、2個のポイントペア構成点の一方が画像処理
対象物のエッジ内に位置し、他方の点がエッジ外に位置
するのであれば、2個のポイントペア構成点の輝度に予
め設定された設定値以上(設定値が正の場合)または設
定値以下(設定値が負の場合)の差が生ずる。
【0053】上記輝度差の設定値はマスタ捜索テンプレ
ートデータと共に記憶されている。例えば、図17にお
いては第5行に記述されているように設定値diffが
20に設定されている。この場合には、2個のポイント
ペア構成点のうち、画像処理対象物のエッジ内のポイン
トペア構成点の輝度がエッジ外のポイントペア構成点の
輝度より20階調以上小さければ、設定値以上の差があ
ると判定される。逆に、設定値diffが−20に設定
されていれば、画像処理対象物のエッジ外のポイントペ
ア構成点の輝度がエッジ内のポイントペア構成点の輝度
より20階調以上小さければ、設定値以上の差があると
判定される。いずれの場合もそれら2個のポイントペア
構成点は画像処理対象物のエッジを跨いでおり、適合状
態にあることになる。この場合に、「2個のポイントペ
ア構成点が設定輝度差条件を満たす」と表現することと
する。
【0054】(1) 画像処理対象物が捜索対象部ではな
く、2個のポイントペア構成点がエッジを跨いでいな
い、(2) 供給ミスにより検査対象物122が検査対象物
支持板72上に載置されていない、あるいは(3) 固体撮
像素子にごみ等が付着して画像データが得られない等の
理由により、2個のポイントペア構成点が設定輝度差条
件を満たさず、適合状態にあるとは言えないことがあ
る。この状態をポイントペアのフェールと称する。捜索
テンプレートに適合する捜索対象部が存在しないと判定
するためのフェール数は予め設定されている。例えば、
図17においては、第3行に示すようにフェール数は0
に設定されており、全部のポイントペアについて2個の
ポイントペア構成点が設定輝度差条件を満たさなけれ
ば、捜索テンプレートに適合する捜索対象部が存在する
とは判定されないようになっている。
【0055】フェール数が1以上に設定されているとす
れば、複数組のポイントペアのうち設定輝度差条件を満
たさないポイントペアが設定フェール数を越える数あれ
ば、捜索テンプレートに適合する捜索対象部は存在しな
いと判定される。−45度の回転角度において捜索対象
部が存在すると判定されれば、捜索ステップは終了し、
再捜索ステップが実行されるが、存在しないと判定され
れば、回転角度が異なる捜索テンプレートが読み出され
て捜索対象部が捜索される。
【0056】捜索対象部が存在すると判定されるまで、
複数種類の捜索テンプレートが順次読み出され、捜索対
象部が捜索される。全種類の捜索テンプレートを用いて
捜索しても、捜索テンプレートに適合する捜索対象部が
存在するとの判定が得られなければ、次に捜索テンプレ
ートの位置をずらして捜索が行われる。X軸方向とY軸
方向とにそれぞれ一定ピッチずつずらされ、各位置にお
いてそれぞれ回転角度の異なる複数種類の捜索テンプレ
ートを用いて捜索対象部が捜索されるのである。
【0057】この移動ピッチは予め設定され、マスタ捜
索テンプレートを規定するデータと共にメモリカードに
記憶されている。図17において第13行および14行
に示されているpitchX=2.2, pitchY=2.2が移動ピッチで
ある。まず、Y軸方向に設定ピッチ移動させられる。具
体的には、複数種類の捜索テンプレートの各ポイントペ
アの座標がY軸方向を正方向へ設定ピッチ分ずれるよう
に座標変換が行われるのである。この捜索テンプレート
を用いて捜索対象部の捜索が行われる。この位置におい
て回転角度の異なる全種類の捜索テンプレートを用いて
も捜索対象部が存在するとの判定が得られなければ、次
に捜索テンプレートがX軸方向を正方向へ設定ピッチ分
ずらされる。さらにここでも捜索対象部が存在するとの
判定が得られなければ、次に捜索テンプレートはY軸方
向を負方向へ設定ピッチ分ずらされる。ここでも捜索対
象部が存在するとの判定が得られなければ、次に捜索テ
ンプレートは更にY軸方向を負方向へ設定ピッチ分ずら
され、さらにここでも捜索対象部が存在するとの判定が
得られなければ、次に捜索テンプレートはX軸方向を負
方向へ設定ピッチ分ずらされる。捜索テンプレートはサ
ーチウインドウ内を角形の螺旋形を描くように移動させ
られるのである。
【0058】捜索テンプレートを移動させても捜索対象
部が存在するとの判定を得ることができず、座標変換を
行ったとき、サーチウインドウからはみ出すポイントペ
アが生ずるに至れば、捜索テンプレートの移動は不可能
であって捜索テンプレートに適合する捜索対象部は存在
しないと判定され、捜索ステップは異常終了される。前
記モニタテレビ14に異常発生が表示されるとともに、
異常の発生が記憶される。画像処理対象物が検査対象物
122である場合には、画像処理結果が異常であると判
定された検査対象物122の検査対象物支持板72への
載置位置がオペレータによりチェックされ、載置位置が
大きく外れておれば、位置の修正が行われ、大きく外れ
ていなければ、検査対象物122は予定されたものでは
ないと判断されて、排除される。
【0059】図24に示す画像処理対象物の像220の
ように全部のポイントペア224の2個のポイントペア
構成点が像220のエッジの内側と外側とにあり、設定
輝度差条件が満たされれば、そのときの捜索テンプレー
トの位置および回転角度がDRAM156に記憶され、
再捜索ステップが実行される。再捜索ステップにおいて
は、図27に示すように再捜索テンプレート228を用
いて画像処理対象物の像220のエッジ点が、再捜索テ
ンプレート228の座標面である再捜索テンプレート座
標面(捜索テンプレート座標面と同じである)上におい
て捜索される。再捜索テンプレート228は、複数本の
シークライン230を含む。シークライン230は、捜
索ステップにおいて画像処理対象物の像220を見つけ
た捜索テンプレートに基づいて設定される。ポイントペ
アの2個のポイントペア構成点がシークライン230の
両端をそれぞれ規定する点とされるのである。
【0060】設定された複数本のシークライン230の
それぞれについて画像処理対象物の像220のエッジ点
が捜索される。この意味において、再捜索テンプレート
228は測定テンプレートと考えることもできる。この
捜索は、図28に示すように、予め定められたピッチ
(例えば0.05mm)でシークライン230を分割し、
複数の分割点P1〜P15の各々についてそれぞれ輝度
を演算することにより行われる。このピッチは、CCD
カメラ76の固体撮像素子232の対角線より短い長さ
に設定されている。そのため、1個の固体撮像素子23
2の中に分割点が3個ないし4個含まれることとなる。
分割点も仮想画面上の点であり、捜索ステップにおける
と同様に線形補間が行われ、分割点P1〜P15の輝度
が演算される。
【0061】線形補間によって演算された15個の分割
点P1〜P15の各輝度の一例を図29に示す。なお、
輝度値は正の値で表され、輝度値取得対象物が明るいほ
ど値は大きくなる。本実施形態の撮像装置10は、画像
処理対象物としての検査対象物122と背景としての反
射面70とに平行光を照射し、それらの表面からの反射
光に基づいて像を取得するようにされており、以下の説
明は画像処理対象物が暗くて輝度値が小さく、背景は明
るくて輝度値が大きいものとして行う。線形補間によっ
て演算された輝度値からは、図32のグラフに示すよう
に、どこで輝度が最も大きく変化するかが判らない。そ
のため、差分フィルタを用いて輝度値の微分値を求め
る。図30に示す差分フィルタを用いて微分値を求めた
結果を図33のグラフに示す。この差分フィルタは、シ
ークラインを規定する一方の点から他方の点に向かっ
て、隣接する2個の点のうち上流側に位置する点の輝度
を負の値とし、下流側に位置する点を正の値とし、それ
ら2個の値の和を求めるフィルタである。この微分値は
分割点の値ではなく、図33のグラフにおいては、輝度
微分値の得られる位置が隣接2分割点の中央位置である
「.5」で示されている。このグラフから明らかなよう
に、輝度変化の大小は判るが、どこが最大であるかは判
らない。なお、演算方向に応じて、すなわち画像処理対
象物の内側にある分割点から画像処理対象物の外側(背
景内)にある分割点に向かって演算を行うか、逆に行う
かにより、輝度微分値の符号が逆になる。前者の場合は
輝度微分値が正の値になり、輝度微分値が最大の位置が
輝度の変化勾配の絶対値が最大の位置である(変化勾配
の絶対値が最大の位置の輝度微分値を極大値と称す
る)。後者の場合は輝度微分値が負の値になり、輝度微
分値が最小の位置が輝度の変化勾配の絶対値が最大の位
置である(変化勾配の絶対値が最大の位置の輝度微分値
を極小値と称する)。図33および次に説明する図34
のグラフに示す輝度微分値は、前者の演算により得られ
た値である。
【0062】それに対し、図31に示す差分フィルタを
用いて微分を行えば、図34のグラフに示すように、f
8.5の位置に輝度微分値の極大値177が得られ、こ
の位置が輝度の変化勾配の絶対値が最大の位置であるこ
とが判る。図31に示す差分フィルタは、シークライン
上に設定された分割点のうちの1つに対して、その分割
点を含んで演算方向において上流側の4個の分割点をい
ずれも負の値とし、下流側において連続する4個の分割
点の輝度値をいずれも正の値とし、それらの和を求める
フィルタである。
【0063】固体撮像素子のエッジ点に対応する部分に
汚れ等が付着して電荷量に変化が生ずれば、エッジ点で
はない位置において輝度微分値の極大値あるいは極小値
が得られることがあるが、そのような位置における輝度
の変化勾配の絶対値は小さい。それに対しエッジ点近傍
においては、画像処理対象物と背景との明るさに顕著な
差があって輝度の変化勾配の絶対値が大きい。そのた
め、設定値を設け、変化勾配の絶対値が最も大きい位置
の輝度微分値が、エッジ点近傍について得られた値であ
るか否かを判定し、前者の場合を排除する。この設定値
は、輝度微分値が正の値で得られる場合には正の値で設
定され、輝度微分値の極大値が設定値以上であるか否か
が判定され、極大値が設定値以上であれば、その極大値
はエッジ点近傍の位置に得られた値であって、エッジ点
の演算に用いることができると判定され、エッジ点の演
算が行われる。また、輝度微分値が負の値で得られる場
合には、設定値は負の値で設定され、輝度微分値の極小
値が設定値以下であるか否かが判定され、極小値が設定
値以下であれば、その極小値をエッジ点の演算に用いる
ことができると判定される。換言すれば、輝度微分値の
極大値が設定値より小さく、あるいは極小値が設定値よ
り大きくてエッジ点が演算されないことが再捜索ステッ
プにおけるシークラインのフェールである。
【0064】図17に示す例においては、図32および
図33に示す例と同様に、画像処理対象物の内側にある
分割点から外側にある分割点に向かって輝度微分値の演
算を行うように決められており、輝度値の変化勾配の絶
対値が最も大きい位置において輝度微分値は最大にな
り、その極大値がエッジ点近傍において得られた値であ
るか否かを判定する設定値は、正の値、すなわち第5行
に示すようにll=200とされている。本例では画像
処理対象物の方が背景より暗いため、輝度微分値が正の
値で求められるとともに、その値が200以上でなけれ
ば、エッジ点の位置の演算が行われないようにされてい
る。
【0065】また、図17に示すように、どのような差
分フィルタを用いて演算を行うかも予め決められてい
る。この差分フィルタ係数Nは(2)式に従って演算さ
れる。 N=gUnit/分割点間ピッチ・・・・・・・(2) ただし、gUnit は固体撮像素子の対角線の長さである。
【0066】差分フィルタを用いて微分が行われ、輝度
微分値の極大値(または極小値)が得られれば、輝度の
変化勾配の絶対値が最大の位置、すなわちエッジ点が下
記の式に従って求められる。なお、(3)式および
(4)式は、N=4の場合を例に取った式であり、f
max ,f(max-4) 〜f(max-1) ,f(max+1) 〜f
(max+4) はそれぞれ、輝度微分値(fmax は極大(小)
値)である。「f」は、図34に示すように、数字が付
されてシークライン上の輝度微分値の取得位置を表す
が、(3),(4)式においては、fに付された数字に
より指定される位置の輝度微分値を表す。fmax は輝度
微分値が極大(小)の位置(図33に示す例ではf8.
5)の輝度微分値であり、f(max-1) ,f(max-2) ,f
(max-3) ,f(max-4) はそれぞれ、演算方向においてf
max より上流側の4個所(図33に示す例ではf7.5 ,
f6.5 ,f5.5 ,f4.5 )の各輝度微分値であり、f
(max+1) ,f(max+2),f(max+3) ,f(max+4はそれぞ
れ、演算方向においてfmax より下流側の4個所(図3
3に示す例ではf9.5 ,f10.5,f11.5,f12.5) の各
輝度微分値である。 dl=fmax ×4 −(f(max-1) +f(max-2) +f(max-3) +f(max-4) )・・ ・・・・・(3) dr =fmax ×4 −(f(max+1) +f(max+2) +f(max+3) +f(max+4) )・・ ・・・(4) edgePitch =(dl×N)/(dl+dr)−N/2・・・・・・(5) エッジ点=(輝度微分値極大(小)値点ピッチ数+edgePitch)×分割点ピッチ・ ・・・・(6) (3)式および(4)式はN=4の場合の式であるが、
一般的には、dlを求める場合、極大(小)値点の輝度
微分値にNを掛けた値から、演算方向において極大
(小)値点より上流側のN個の点の各輝度微分値の和が
引かれ、drを求める場合、極大(小)値点の輝度微分
値にNを掛けた値から、極大(小)値点より下流側のN
個の点の各輝度微分値の和が引かれる。なお、図29に
示す演算結果を図31に示す差分フィルタを用いて微分
を行った場合にエッジ点を求めるとき、(6)式の輝度
微分値極大(小)値点ピッチ数は、8.5である。
【0067】エッジ点の演算時には、まず、線形補間に
より分割点の輝度が演算され、差分フィルタ係数Nに従
って微分が行われた後、(3)〜(6)式に従って演算
が行われて輝度の最大変化位置、すなわちエッジ点が求
められる。図28に示すシークライン230の場合、
(6)式の演算結果は0.403mmになり、シークライ
ン230の分割点P1から0.403mmの位置にエッジ
点があることが判る。
【0068】このようにして複数本のシークライン23
0の各々についてエッジ点が演算される。シークライン
230のフェール数(ポイントペア202のフェール数
が設定数以下である場合には捜索テンプレートに適合す
る捜索対象部が存在すると判定されるようにされている
場合には、ポイントペア202のフェール数とシークラ
イン230のフェール数との和)が設定数以下であれば
正常であると判定されて測定ステップが実行され、設定
数を越えるフェールがあれば異常終了される。異常発生
時の処理は捜索ステップと同じである。図17において
は第3行に示すようにfail Countが0に設定されてお
り、フェールが1つでもあれば再捜索ステップは異常終
了させられる。
【0069】フェール数が設定数以下であり、再捜索ス
テップが正常に終了すれば、次に測定ステップが実行さ
れる。再捜索テンプレートは、捜索ステップにおいて捜
索対象部ありと判定した捜索テンプレートに基づいて設
定されており、シークライン230上においてエッジ点
を見つけることはできるが、エッジ点とシークライン2
30の中点(図27に×印を付して示し、以下、アイデ
アルポイントと称する)との間にはずれがあるのが普通
である。前記ポイントペアを構成する2個の点は、捜索
対象部に寸法,位置,回転角度のずれがなければそれら
2個の点の中点が捜索対象部のエッジ上に位置するよう
に設定されており、アイデアルポイントとエッジ点とが
一致するはずであるが、実際には画像処理対象物にはず
れがあり、アイデアルポイントと演算により得られたエ
ッジ点とにはずれが生ずるのである。
【0070】そのため、再捜索ステップが異常なく実行
されれば、次に測定ステップが実行され、エッジ点の位
置が演算される。測定ステップにおいては、まず、図3
5に示すような測定テンプレート236が自動設定され
る。測定テンプレート236は、複数のシークライン2
38を有しており、予め設定されたマスタ測定テンプレ
ートのデータと、上記再捜索ステップにおける再捜索テ
ンプレート座標面の基準座標面に対する相対位置のデー
タと、再捜索テンプレート座標面上におけるエッジ点の
演算結果とに基づいて設定される。
【0071】マスタ測定テンプレートデータは、前記図
17に例示するように、マスタ捜索テンプレートデータ
等と共に記憶されている。図17の第20行〜33行の
データが測定ステップ実行のためのデータであり、第2
1行のhs=3.5,第23行〜27行および第29行
〜33行のデータがマスタ測定テンプレートデータであ
る。このデータにより得られるマスタ測定テンプレート
240を図19に示す。242はシークラインである。
マスタ測定テンプレート240は同じ電気部品用のマス
タ捜索テンプレートより多くのシークラインを有してい
る。なお、画像処理対象物が一部が切り欠かれた円板2
06の場合には、図23に示すように複数のシークライ
ン246を有するマスタ測定テンプレート244が設定
される。
【0072】測定テンプレートのシークラインの一部あ
るいは全部がペアにされている。シークラインの延長線
上に、画像処理対象物の中心線に対して対称に別のシー
クラインが設定されているのである。これらペアにされ
たシークラインをペアシークラインと称する。測定テン
プレートは、マスタ測定テンプレートデータの座標変換
によって設定される。再捜索テンプレートの座標面(こ
の再捜索テンプレートの座標面は、捜索ステップにおい
て画像処理対象物が捜索テンプレートに適合する捜索対
象部であると判定された際の捜索テンプレートの捜索テ
ンプレート座標面と共通である)の基準座標面に対する
相対位置および相対回転角度と、再捜索テンプレート座
標面に対する画像処理対象物の相対位置および相対回転
角度(これらは再捜索ステップにおいて演算されたエッ
ジ点の座標値に基づいて演算されるが、この演算につい
ては後に説明する)とに対応する座標変換を、マスタ測
定テンプレートデータ(基準座標面と一致するマスタ測
定テンプレート座標面において設定されている)に施し
て設定されるのである。
【0073】測定テンプレートの自動設定が終了したな
らば、その測定テンプレートの各シークライン上のエッ
ジ点の演算が、再捜索ステップにおけるそれと同様に行
われる。シークライン上に一定ピッチで分割点が設定さ
れ、分割点毎に線形補間によって輝度が演算されるとと
もに、差分フィルタが用いられて輝度微分値が演算され
るとともにエッジ点が演算されるのである。測定ステッ
プにおいても、許容されるフェールの数が設定されてい
る。ここにおけるフェールは、再捜索ステップにおける
と同様に、シークラインについてエッジ点が演算されな
いことを意味する。フェール数が設定数以下であれば正
常とされ、次に再測定ステップが実行される。また、フ
ェール数が設定数を越える数あれば測定ステップは異常
終了させられる。異常発生時の処理は捜索ステップにお
けると同じである。
【0074】再測定ステップにおいては再測定テンプレ
ートが設定され、エッジ点が演算される。再測定テンプ
レートは、測定テンプレートおよび測定ステップにおい
て演算されたエッジ点に基づいて自動設定される。測定
ステップにおいて得られたエッジ点に基づき、アイデア
ルポイントがエッジ点上に位置すると予想される位置へ
測定テンプレートが座標変換により回転移動させられる
のである。再測定ステップにおけるエッジ点の演算も再
捜索ステップにおけると同様に行われる。
【0075】再測定ステップにおける異常の判定は、測
定ステップについて設定された許容フェール数が用いら
れ、エッジ点の得られないシークラインが設定数より多
くあれば異常であって画像処理が終了される。異常発生
時の処理は捜索ステップにおけると同じである。設定数
以下であれば正常終了され、次にオブジェクトベクト
ル、すなわち画像処理対象物の寸法,位置,回転角度が
演算される。再測定ステップの実行回数が多いほどアイ
デアルポイントとエッジ点とのずれが少なくなり、エッ
ジ点の検出精度が向上する。再測定ステップの設定回数
は予め設定されて記憶されている。なお、2回目以降の
再測定ステップの実行に用いられる再測定テンプレート
は、その直前の再測定ステップ実行時における再測定テ
ンプレートとその再測定ステップにおけるエッジ点の演
算結果とから自動設定される。
【0076】再測定ステップが正常に終了すれば、測定
された画像処理対象物の寸法と基準寸法との差が演算さ
れ、その演算結果が許容誤差範囲と比較されて、許容誤
差範囲内であれば合格、許容誤差範囲外であれば不合格
と判定される。基準寸法および許容誤差範囲は、各画像
処理対象物に対して予め定められ、メモリカードに格納
されている。したがって、メモリカードが画像処理装置
12に読み込まれれば、DRAM156に記憶され、寸
法検査においてはこれら基準寸法および許容誤差範囲が
使用される。
【0077】上記寸法検査が正常に終了すれば、続いて
欠陥の有無の検査である検査ステップが実行される。図
17の最下部に例示するように、前記マスタ捜索テンプ
レートデータおよびマスタ測定テンプレートデータと共
にマスタ検査テンプレートデータがDRAM156に記
憶されている。このマスタ検査テンプレートデータによ
り表されるマスタ検査テンプレートは図57に示すもの
であり、このマスタ検査テンプレートデータと、再測定
ステップの実行により測定された画像処理対象物の位置
および回転角度のデータとに基づいて検査テンプレート
データが作成され、検査ステップが実行されるのであ
る。なお、図57に示すマスタ検査テンプレートは、正
方形の画像処理対象物204の右辺に切欠とばりとの欠
陥が存在するか否かを検査するための2本のネガティブ
シークライン250,252と多数本のポジティブシー
クライン254とを含むものである。ポジティブシーク
ライン254は本来右向きの矢印で表されるべきもので
あるが、図示の都合で単純な線分で表されている。検査
ステップの詳細については後に説明する。
【0078】モニタテレビ14には、画像処理の経過が
表示される。例えば、捜索ステップの実行時には、フレ
ームグラバメモリ164に格納されている画像データ
(例えば、4つの検査対象物122を撮像した4セット
の画像データの1セット)に基づいて画像処理対象物
(検査対象物122)の像と背景とを含む画像がモノク
ロ表示され、その上に捜索テンプレートの角度が設定ピ
ッチずつ変えられるとともに角形の螺旋状に位置が変え
られる様子がカラー表示され、作業者に処理の進行状況
が示される。
【0079】モニタテレビ14は、自動選択表示モード
と手動選択表示モードとの2つのモードで表示が可能な
ものとされており、自動選択表示モードに設定されてい
る場合には、画像処理経過の表示と、入力装置16から
の入力に関連した入力関連データとの両方が、入力関連
データを優先させつつ表示される。したがって、自動選
択表示モードに設定されている状態で、入力装置16に
よりデータが入力されれば、上記画像処理経過の表示か
ら自動的に入力関連データの表示に切り換えられる。手
動表示選択モードにおいては、画像処理経過の表示と入
力関連データの表示とのうち、オペレータの手動操作に
よって選択された方のみの表示が行われる。
【0080】次に、画像処理対象物のオブジェクトベク
トルの演算について説明する。以下に説明する演算を行
うためのオブジェクトベクトル演算プログラムはメモリ
カードに記憶されており、メモリカードの画像処理装置
12へのセット時にDRAM156に移される。寸法,
位置,回転角度は指定がある場合に演算される。例え
ば、図17の例においては、第5行および第21行のv
f=PAのPが位置(Position) ,Aが角度(Angle) を
表し、位置および回転角度を演算することが指定されて
いる。
【0081】寸法演算は例えば次の場合に必要になる。
画像処理対象物の寸法が必要な場合、画像処理対象
物を、捜索対象部に似ているが捜索対象部ではないもの
と識別したい場合、エッジ測定にフェールがあり、か
つ、位置測定精度を確保したい場合等である。は、例
えば、形状が同じで寸法が少し異なる電気部品を区別す
ることが必要な場合である。の場合に寸法演算が必要
になるのは、フェールがある場合には、後述のようにフ
ェールを考慮して画像処理対象物の位置を求めるために
寸法が必要であるからである。本実施形態においても、
上記〜のいずれにも該当しない場合には寸法演算は
行われないが、寸法演算の必要がある場合には、位置お
よび回転角度の演算に先立って行われる。
【0082】以下、画像処理対象物が四角形の検査対象
物122であり、寸法,位置,角度の演算が指定されて
おり、かつ、フェールがある場合を例に取って説明す
る。まず、寸法演算を説明する。寸法演算は、寸法演算
に使う旨の指示があるペアシークラインを用いて行われ
る。換言すれば、いずれのシークラインにも寸法演算に
使う旨の指示がない場合,指示があってもシークライン
がペアシークラインでない場合には寸法演算が行われな
いのである。1つのテンプレート内にシークラインにつ
いて寸法演算を行う旨の指定が1つもないときにはフラ
グが0にセットされ、1つでも指定があればフラグが1
にセットされることにより、寸法演算を行うか否かが判
定される。このようにすれば、寸法演算が不要である場
合に、複数本のシークラインの一つ一つについて寸法演
算に使うことが指示されているか否かを判定することな
く寸法演算不要を知ることができ、処理時間が短くて済
む。
【0083】寸法演算の最初はサイズファクタの演算で
ある。サイズファクタは、画像処理対象物の寸法の、測
定テンプレート座標面(測定テンプレートの設定座標
面)のX軸方向とY軸方向とのそれぞれにおける過大率
である。X軸方向の寸法過大率は、図36に四角形物2
58を示すように、X軸方向に平行に設定された複数組
のペアシークラインの各組のシークラインのエッジ点間
の距離(測定スパンと称する)をペアシークラインのア
イデアルポイント(図中×印が付された点)間の距離
(本来のスパンと称する)で除した値を平均することに
より求められる。また、Y軸方向の寸法過大率は、Y軸
方向に設定された複数組のペアシークラインの各組のペ
アシークラインの測定スパンを本来のスパンで除した値
を平均することにより求められる。なお、図36に破線
で示すのは、フェールが生じたシークラインであり、フ
ェールの生じたシークラインを含むペアシークラインに
ついては、寸法過大率は演算されない。これらX軸方向
の寸法過大率およびY軸方向の寸法過大率をそれぞれ、
四角形物258のX軸方向,Y軸方向の各本来のスパン
に掛けることにより寸法が演算される。
【0084】複数本のシークラインのいずれか1つにで
もフェールがあれば、フェールのないシークラインの全
部についてアイデアルポイントをサイズファクタで補正
した点であるサイズポイントが演算される。図37に例
を示すように、Y軸方向にほぼ平行なシークラインにつ
いては、アイデアルポイントのY座標値にY軸方向の寸
法過大率を掛けることによりサイズポイントのY座標値
が演算され、図示は省略するが、X軸方向に平行なシー
クラインについては、アイデアルポイントのX座標値に
X軸方向の寸法過大率を掛けることにより演算される。
【0085】また、前述のように、サイズファクタの演
算はX軸およびY軸に平行なシークラインであってペア
にされているもののみを使用して行われるが、この得ら
れたサイズファクタを用いたサイズポイントの演算等
は、X軸ともY軸とも平行ではないシークラインについ
ても行われる。傾斜したシークラインについてのサイズ
ポイントの演算および以下の演算は、後述の円形の画像
処理対象物(検査対象物)におけるサイズポイントの演
算等と実質的に同じである。
【0086】次いで、エッジ点とサイズポイントとの差
Diffが演算される。サイズポイントは、寸法誤差を有す
る画像処理対象物に対して、その寸法誤差を承認した上
で改めて測定テンプレートを設定し直したと考えた場合
のアイデアルポイントに相当する。したがって、上記エ
ッジ点とサイズポイントとの差Diffはエッジ点の位置ず
れ量そのものを表していることになる。差Diffの演算
は、エッジ点の座標値からサイズポイントの座標値を引
くことにより行われるため、差Diffが正の値である場合
にはエッジ点が測定テンプレート座標面上において正側
へずれていることになるのである。
【0087】このようにフェールがある場合にサイズポ
イントを演算するのは、画像処理対象物の位置の演算に
対するフェールの影響を小さくし、演算誤差を小さくす
るためである。例えば、画像処理対象物の寸法が本来の
寸法より大きいが位置ずれはない場合に、演算誤差ペア
シークラインを構成する一方のシークラインにフェール
があり、他方のシークラインにフェールがないとすれ
ば、サイズポイントを演算せず、アイデアルポイントの
ままで演算を行った場合には、フェールのない側におい
てエッジ点とアイデアルポイントとの差の和がフェール
のある側より大きくなり、実際には位置ずれはないにも
かかわらず画像処理対象物がフェールのないシークライ
ン側にずれているとの演算結果が出されてしまうため、
これを回避するためにサイズポイントの演算を行うので
ある。
【0088】次に位置および回転角度の演算を説明す
る。寸法,欠陥検査装置においては検査対象物122の
外のり寸法あるいは内のり寸法のみが取得されればよい
場合が多いが、画像処理対象物が、検査対象物122の
表面に記載されたキャラクタや、検査対象物122の表
面に発生している傷等である場合や、電気部品装着装置
において吸着ヘッドに保持された電気部品146である
場合には、それらの位置や回転角度の測定が必要となる
ことがしばしばある。回転角度の演算は、0度,90
度,180度,270度のシークラインであって、か
つ、回転角度の演算に使用することが指示されているシ
ークラインに基づいてのみ行われる。また、0度と18
0度,90度と270度との各処理は一括して行われ
る。
【0089】位置および回転角度は、回転中心RCにつ
いて演算される。回転中心RCとはコンピュータの演算
上の中心であり、オペレータが画像処理対象物の中心と
して指定する指定中心DCとは異なる場合もあり、一致
する場合もある。指定中心DCは、検査対象物122の
平面形状に中心点がある場合にはその中心点とされるの
が普通であるが、中心点がない場合には勿論、中心点が
ある場合でも他の点が指定中心DCとされても差し支え
ない。画像処理対象物が電気部品146である場合に
は、その電気部品146を回路基材に装着するプログラ
ムの作成に当たり、画像処理対象物の基準とされる点が
指定中心DCとされる。また、前記マスタ捜索テンプレ
ート座標面,マスタ測定テンプレート座標面等の原点が
指定中心DCに置かれ、さらに、後述するように、指定
中心DCについて電気部品146の水平面内における位
置修正量が演算される。
【0090】まず、図38に示す直線Lを例に取り、位
置および回転角度の演算を説明する。直線Lには本来は
4本のシークラインが設定されていたが1本がフェール
したか、あるいは当初から3本のシークラインが設定さ
れていたかにより、3本のシークラインSL1 ,SL
2 ,SL3 について上記差Diffが演算されたとすれば、
回転中心RCは左側の2本のシークラインSL1 ,SL
2 寄りに設定される。回転中心RCは、一方の側の複数
本のシークラインと回転中心RCとの各距離の和(シー
クラインが1本の場合、そのシークラインと回転中心R
Cとの距離)の絶対値と、他方の側の複数本のシークラ
インと回転中心との距離の和(シークラインが1本の場
合、そのシークラインと回転中心RCとの距離)の絶対
値とが等しくなる位置に設定される。換言すれば、回転
中心RCの一方の側を正,他方の側を負とすれば、全部
のシークラインまでの距離の和が0になる位置に回転中
心RCが設定されるのである。回転角度(ラジアン)
は、(7)式によって演算される。 回転角度=(AO・A′+BO・B′+CO・C′)/(AO2 +BO2 +CO 2 )・・・・・・・・・(7) ただし、 AO:回転中心RCとシークラインSL1 との距離 BO:回転中心RCとシークラインSL2 との距離 CO:回転中心RCとシークラインSL3 との距離 A′:シークラインA上における差Diff B′:シークラインB上における差Diff C′:シークラインC上における差Diff また、回転中心RCの位置は、(8)式によって演算さ
れる。 (A´+B´+C´)/3・・・・(8)
【0091】差Diffと、エッジ点の回転中心からの距離
を用いて複数のシークラインの各々について角度を演算
し、それらを平均することによっても角度を得ることが
できるが、その場合、例えば、凹凸があって1個所でも
角度が大きく外れればその誤差が最終的な角度の値に大
きな影響を与える。それに対し、上記(7)式に従って
角度を演算すれば、特定のエッジ点の誤差の影響を小さ
くすることができ、回転角度の演算精度を向上させるこ
とができる。
【0092】複数本のシークラインのいずれかにフェー
ルがあり、エッジ点が得られない場合には、図39に示
すように、指定中心DCと回転中心RCとにずれが生ず
る。SL2 がフェールのあったシークラインである。一
般に、指定中心DCは画像処理対象物の中心に設定さ
れ、シークラインはその指定中心DCに対して対称に設
定されるため、シークラインにフェールが生じ、それに
対応した回転中心RCの設定が行われれば、指定中心D
Cと回転中心RCとにずれが生じるのである。回転中心
RCは前述のように、回転中心RCの一方の側を正と
し、他方の側を負とすることにより、複数のシークライ
ンの各エッジ点と回転中心RCとの距離の和が0になる
ように設定されることから(9)式が成立し、この
(9)式とから(10)式が得られ、回転中心RCと指定中
心DCとのずれvが演算される。 t0 +t1 +t3 =0・・・・・・(9) (s0 −v)+{s0 +(s1 −s0 )−v}+{s0 +(s3 −s0 )−v} =0・・・・・・・(10) ただし、 t0 :回転中心RCとシークラインSL0 との距離 t1 :回転中心RCとシークラインSL1 との距離 t3 :回転中心RCとシークラインSL3 との距離 s0 :指定中心DCとシークラインSL0 との距離 s1 :指定中心DCとシークラインSL1 との距離 s3 :指定中心DCとシークラインSL3 との距離
【0093】図40に示すように、シークラインが矩形
の画像処理対象物の互に平行な2本の辺について設定さ
れている場合、(11)式が成立し、回転中心RCと指定
中心DCとのずれ量vは(12)式に基づいて演算され
る。 t0 +t1 +t2 +t3 +t4 +t5 =0・・・・・・(11) s0 +{s0 +(s1 −s0 )}+{s0 +(s2 −s0 )}+{s0 +(s3 −s0 )}+{s0 +(s4 −s0 )}+{s0 +(s5 −s0 )}−6v=0 ・・・・・・(12)
【0094】図41に示す画像処理対象物の場合、(1
3)式が成立し、回転中心RCと指定中心DCとのずれ
vは(14)式に基づいて演算される。 t0 +t1 +t2 +t3 +t4 =0・・・・・・(13) s0 +{s0 +(s1 −s0 )}+{s0 +(s2 −s0 )}+{s0 +(s3 −s0 )}+{s0 +(s4 −s0 )}−5v=0・・・・・・(14)
【0095】図42に示すように、シークラインが互に
直角な2方向に設定されている場合にはX軸方向および
Y軸方向に関してそれぞれ(15)式および(16)式が成
立し、回転中心RCと指定中心DCとのX軸方向,Y軸
方向の各位置ずれvx ,vyは、それぞれ(17)式およ
び(18)式に基づいて演算される。 t0 +t1 +t2 +t3 +t4 +t5 =0・・・・・・(15) t6 +t7 +t8 +t9 +t10+t11=0・・・・・・(16) s0 +{s0 +(s1 −s0 )}+{s0 +(s2 −s0 )}+{s0 +(s3 −s0 )}+{s0 +(s4 −s0 )}+{s0 +(s5 −s0 )}−6vx = 0・・・・・・(17) s6 +{s6 +(s7 −s6 )}+{s6 +(s8 −s6 )}+{s6 +(s9 −s6 )}+{s6 +(s10−s6 )}+{s6 +(s11−s6 )}−6vy = 0・・・・・・(18)
【0096】X軸方向について(17)式に基づいて回転
中心RCX の指定中心DCに対するX軸方向の位置ずれ
x を演算し、それに基づいて回転中心RCX が求めら
れる。Y軸方向について(18)式に基づいて回転中心R
Y の指定中心DCに対するY軸方向の位置ずれvy
演算し、それに基づいて回転中心RCy が求められる。
回転中心RCX を通り、シークライン設定座標のY軸に
平行な直線と、回転中心RCY を通り、X軸に平行な直
線との交点が図42に示す画像処理対象物の回転中心R
Cである。
【0097】シークラインが互に直角な2方向に設定さ
れている画像処理対象物の別の例を図43に示す。この
画像処理対象物については(19)式および(20)式が成
立し、回転中心RCと指定中心DCとのX軸方向,Y軸
方向の各ずれvx ,vy は、それぞれ(21)式および
(22)式に基づいて演算される。ただし、図43に示す
画像処理対象物は、回転中心RCと指定中心DCとにず
れがなく、vx =vy =0であって、シークラインと回
転中心RCおよび指定中心DCとの距離は同じであると
して図示されており、したがって、(19)式および(2
0)式と、(21)式および(22)式とにおいて同じ符号
が使用されている。 s0 +s1 +s2 +s3 =0・・・・・・(19) s4 +s5 +s6 +s7 =0・・・・・・(20) s0 +{s0 +(s1 −s0 )}+{s0 +(s2 −s0 )}+{s0 +(s3 −s0 )}−4vx =0・・・・・・(21) s4 +{s4 +(s5 −s4 )}+{s4 +(s6 −s4 )}+{s4 +(s7 −s4 )}−4vy =0・・・・・・(22)
【0098】回転角度を演算するために、図44に示す
角度ファクタが予め設定されている。角度ファクタは、
シークラインの位置および極性によって決定される。図
44に示す角度ファクタをXY座標上で示せば図45に
示すようになる。
【0099】図46に回転中心RCおよび角度ファクタ
を用いて画像処理対象物の位置および回転角度を演算す
る例を示す。回転角度は(23)式,(24)式に従って演
算される。(23)式におけるd00 ないしd41
正負の符号は角度ファクタによって決められている。
(23)式で演算される回転角度は、画像処理対象物の測
定テンプレート座標面に対する回転角度である。また、
回転中心RCのX軸方向の位置ずれΔx,Y軸方向の位
置ずれΔyはそれぞれ(25)式,(26)式により演算さ
れる。これら位置ずれΔx,Δyは、回転中心RCの実
際の位置の本来あるべき位置からのずれ量である。 回転角度=(−d00 −d11 +d22 +d30 −d41 )/ta ・ ・・・・(23) ta =t0 2+t1 2+t2 2+v0 2+v1 2・・・・(24) Δx=(d3 +d4 )/2・・・・・・・・・(25) Δy=(d0 +d1 +d2 )/3・・・・・・(26) ただし、d0 ,d1 ,d2 ,d3 ,d4 はそれぞれ、5
本のシークラインにおけるエッジ点のサイズポイントか
らのずれ量である。
【0100】画像処理対象物が矩形であり、図47に示
すように矩形の像258のX軸,Y軸にそれぞれ平行な
2辺に各々シークラインが設定されている場合の回転角
度および回転中心RCの位置ずれΔx,Δyの演算を
(27)式〜(29)式に示す。 回転角度=(−d00 +d11 +d22 −d33 +d40 −d51 −d62 +d73 )/(t0 2+t1 2+t2 2+t3 2+v0 2+v1 2+v2 2+v3 2 )・・・・・(27) Δx=(d4 +d5 +d6 +d7 )/4・・・・・・(28) Δy=(d0 +d1 +d2 +d3 )/4・・・・・・(29) d0 〜d3 は回転中心RCからの距離がt0 〜t3 のシ
ークライン上におけるエッジ点とサイズポイントとのず
れ量であり、d4 〜d7 は回転中心RCからの距離がv
0 〜v3 のシークライン上におけるエッジ点とサイズポ
イントとのずれ量である。
【0101】上記各式が回転角度および位置ずれΔx,
Δyの演算式として妥当なものであることを数学的に証
明する代わりに、具体的に数値を代入して妥当性を示
す。図48に示す形状の画像処理対象物が、回転中心R
Cのまわりに−0.1(ラジアン)回転するとともに、
回転中心RCがY軸方向に5mm、X軸方向に0mmずれた
場合を想定する。この場合に、t0 =30mm,t1 =2
mm,t2 =50mm,v0 =30mm,v1 =30mmとす
れば、sin θ=θと見なしてよい程に回転角度が小さい
限り、d0 =+8mm,d1 =+7mm,d2 =0mm,d3
=−3mm,d 4 =+3mmとなるはずである。また、ta
=t0 2+t1 2+t2 2+v0 2+v1 2を演算すれば5600
(mm2 )が得られる。これらの値を(30), (31) ,(32)式
に代入すれば、下記の通り、回転角度および回転中心R
Cの位置ずれΔx,Δyがそれぞれ、−0.1ラジア
ン,5mmおよび0mmと求まり、式の妥当性が確かめられ
る。 回転角度={−(8×30}−(7×20)+(0×50)+(−3×30)− (+3×30)}/5600=−0.1・・・・(30) Δx=(−3+3)/2=0・・・・・・・(31) Δy=(8+7+0)/3=5・・・・・・(32)
【0102】以上のようにして演算されるのは回転中心
RCの回転角度および位置ずれであるが、画像処理対象
物が電気部品146である場合には、その電気部品14
6の回路基材への装着作業の実行上必要なのは指定中心
DCの回転角度および位置ずれであるため、回転中心R
Cの回転角度および位置ずれから指定中心DCのそれら
を演算することが必要である。ただし、回転角度は回転
中心RCについても指定中心DCについても同じである
ため演算の必要はなく、位置ずれのみについて演算を行
えばよい。画像処理対象物に回転角度誤差がなく、単純
にX軸方向とY軸方向とに位置ずれΔx1 ,Δy1 を生
じたのみであれば、回転中心RCの位置ずれも指定中心
DCの位置ずれも共にΔx1 ,Δy1 となる。しかし、
画像処理対象物に回転角度誤差Δθが生じた場合には、
図49に示すように回転中心RCからX軸方向およびY
軸方向にそれぞれvx ,vy だけ離れた位置にある指定
中心DCの位置ずれは、(Δx1 −Δθ×vy ),(Δ
1 +Δθ×vx )となる。
【0103】ここで演算された回転角度Δθおよび位置
ずれ(Δx1 −Δθ×vy ),(Δy1 +Δθ×vx
は画像処理対象物の指定中心DCの測定テンプレート座
標面に対する回転角度および位置ずれであるが、測定テ
ンプレート座標面自体が図50に示すように基準座標面
に対して回転角度θおよび位置ずれΔx2 ,Δy2 を有
しているのが普通である。そして、基準座標は一般にC
CDカメラ76の光軸、すなわち視野の中心に原点を有
する座標面として設定され、また、部品姿勢検出位置に
おいては吸着管144の軸線がCCDカメラ76の光軸
と一致するように位置決めされる。この場合には、上記
測定テンプレート座標面の基準座標面に対する回転角度
θおよび位置ずれΔx2 ,Δy2 は、測定テンプレート
座標面の吸着管144の軸線に対する回転角度および位
置ずれであることになる。したがって、画像処理対象物
としての電気部品の指定中心DCの吸着管144の軸線
に対する回転角度および位置ずれはそれぞれ、θ+Δ
θ,Δx2 +(Δx 1 −Δθ×vy )cos θ,Δy2
(Δy1 +Δθ×vx )sin θとなる。
【0104】フェールがある場合には回転中心の座標,
回転中心から各シークラインまでの距離,回転中心と指
定中心との位置ずれ等の値が前述のように演算される
が、フェールがない場合はこれらの値は各画像処理対象
物とテンプレートとの組合わせに対してそれぞれ一定の
値に決まるため、これらの値がデフォルト値としてメモ
リカードに格納されており、このデフォルト値を用いて
上記各演算が行われる。なお、寸法の演算が指定されて
おらず、すべてのシークラインがペアにされており、か
つ、フェールもない場合には、サイズポイントの演算が
省略されて、サイズポイントに代えてエッジ点とアイデ
アルポイントとの差が演算され、その演算結果に基づい
て位置および回転角度が演算されるようにしてもよい。
この場合には、サイズに誤差があっても、ペアシークラ
インを構成する2本のシークライン同士で寸法誤差の影
響を打ち消し合い、位置の演算結果に影響を及ぼさない
からである。さらに、フェールがある場合でも、位置ず
れの演算が指定されていない場合はサイズポイントが不
要であり、演算を省略してもよい。
【0105】次に、画像処理対象物がプリント基板の基
準マーク等のように円形や円形の一部が切り欠かれた形
状のものである場合について説明する。基準マークはプ
リント基板に付され、基準マークの撮像に基づいてプリ
ント基板の位置誤差および回転角度誤差が算出される。
したがって、基準マークの回転角度を演算する必要はな
い。また、円形や円形の一部が切り欠かれた画像処理対
象物の位置ずれの演算も矩形の画像処理対象物の位置ず
れの演算と共通する部分が多いが、位置ずれの演算に特
殊性がある。以下、この点について説明する。
【0106】まず、図51〜図53に基づいて円形の像
260のシークラインにフェールがある場合を説明す
る。ここでは、図51に示すように、破線で示す0度の
シークラインがフェールのシークラインであり、また、
円形の像260が、本来の寸法(図中二点鎖線で示す大
きさ)より大きいものとする。円形の像260について
も始めに寸法演算が行われる。寸法演算においては、矩
形の像258の場合と同様にサイズファクタが演算され
る。シークラインが図51に示すように45度間隔で放
射状に8本設定されているとすれば、X軸方向,Y軸方
向の各サイズファクタsizeFX,sizeFYはそれぞれ、size
XM=sizeYM=0,baseXM=baseYM=0の初期設定を行っ
た上で、(33)式〜(35)式によって演算される。 for(i=0; i<n;i++){sizeXM+=(測定スパン〔i〕/本来のスパン〔i 〕)*|cos 角度〔i〕|;baseXM+=|cos 角度〔i〕|;sizeYM+=(測定スパ ン〔i〕/本来のスパン〔i〕)*|sin 角度〔i〕|;baseYM+=|sin 角度〔 i〕|}; ・・・(33) sizeFX=(sizeXM)/baseXM ; ・・・・・(34) sizeFY=(sizeYM)/baseYM ; ・・・・・(35) ただし、(33)式はC言語で記述されており、for(i=
0; i<n;i++)は、i番目のシークラインについて
の{ }内の演算を、iを0からn−1まで1ずつ変化
させつつ行った結果の総和を意味する。また、nはペア
シークライン数であり、図51の例では4であるため、
(33)式の演算に当たってiは0から3まで順次変えら
れることとなるが、このiがフェールのシークラインを
含むペアシークラインを指定する値になった場合には、
演算が行われることなく次のペアシークラインを指定す
る値に変えられるようになっている。したがって、図5
1の例では0度のシークラインを含むペアシークライン
以外の3対のペアシークラインについて(33)式の演算
が行われることとなる。
【0107】円の場合、シークラインが放射状に設定さ
れるため、X軸およびY軸に対して傾斜したシークライ
ンが存在し、これらシークラインはX軸方向とY軸方向
との両方について寸法過大率の成分を有する。そのた
め、(33)〜(35)式においては、各シークライン上に
おける寸法過大率のX軸方向の成分とY軸方向の成分と
が求められ、それぞれ成分比率に応じてサイズファクタ
の決定に寄与させられるようになっている。この演算に
よって得られるsizeFXおよびsizeFYは、それぞれX軸方
向とY軸方向との寸法過大率である。寸法誤差がX軸方
向とY軸方向とで異なる比率で生ずる場合に対処するた
めに、両方向で別個にサイズファクタが演算されるよう
になっているのである。
【0108】次に、サイズポイントが演算される。ま
ず、図53に示すようにアイデアルポイントとサイズポ
イントとの差であるpairDiffが(36)〜(43)式((36),(3
7)式はC言語で記述されている)によって演算され、 得
られたpairDiffとアイデアルポイントとからサイズポイ
ントが算出され、更にエッジポイントを用いてサイズポ
イントとエッジポイントとのずれDiffが演算されるので
ある。 ΔLx =pairRadius*cos θ*(sizeFX −1); ・・(36) ΔLy =pairRadius*sin θ*(sizeFY −1); ・・(37) ΔLx ≧0かつΔLy ≧0の場合 pairDiff=√{(ΔLx 2 +(ΔLy 2 }; ・・(38) ΔLx <0かつΔLy <0の場合 pairDiff=−√{(ΔLx 2 +(ΔLy 2 }; ・・(39) ΔLx <0かつΔLy ≧0であって|ΔLx |≧|ΔLy |の場合 pairDiff=−√{(ΔLx 2 −(ΔLy 2 }; ・・(40) ΔLx <0かつΔLy ≧0であって|ΔLx |<|ΔLy |の場合 pairDiff=√{−(ΔLx 2 +(ΔLy 2 }; ・・(41) ΔLx ≧0かつΔLy <0であって|ΔLx |≧|ΔLy |の場合 pairDiff=√{(ΔLx 2 −(ΔLy 2 }; ・・(42) ΔLx ≧0かつΔLy <0であって|ΔLx |<|ΔLy |の場合 pairDiff=−√{−(ΔLx 2 +(ΔLy 2 }; ・・(43)
【0109】前述のように、円形の像260は回転角度
を演算する必要がなく、位置のみが演算される。位置を
演算するにあたり、まず、位置ファクタ(posFactor) が
(44)式に従って演算される。 posFactorM〔i〕=1/Σcos2(角度R〔i〕−角度〔n〕)・・・(44) ただし、iはシークラインを指定する値であり、0から
7まである。また、nの値もシークラインの本数である
1から8まで1ずつ増加させられる。Σcos2(角度R
〔i〕−角度〔n〕)の演算は、i番目のシークライン
の角度R〔i〕とフェールのないシークラインすべての
角度R〔n〕との差の余弦の2乗の和を求める演算であ
る。この演算においても、iがフェールのシークライン
を指定する値になった場合には、演算が行われることな
く次のシークラインを指定する値に変えられるようにな
っているため、図51の例では0度のシークラインにつ
いての演算は行われず、45度〜315度の各シークラ
インについて位置ファクタの演算が行われる。
【0110】次に位置ファクタを用いて円形の像260
の位置が(45)式(C言語で記述されている)に従って
演算される。 for(x=0,y=0,i=0;i<n;i++){x=x+cos (i) *posFactorM [i]*ss[i];y=y+sin(i)*posFactorM[i]*ss[i]; }・・・・ (45) ss[i]は、先に演算された各シークラインについての
サイズポイントとエッジポイントとのずれ量Diffであ
り、フェールのないシークラインの全部について、それ
ぞれそのシークラインのずれ量ss[i]に位置ファクタ
posFactorM[i]が掛けられるとともにX軸,Y軸に平
行な成分が演算されてX座標,Y座標毎にそれぞれ加算
され、中心位置(x,y)が求められる。この中心位置
の座標は、円形の像260の中心の、測定テンプレート
座標面の原点からのX軸方向およびY軸方向における位
置ずれを示す。前述のように、シークラインにフェール
があれば画像処理対象物の回転中心RCが、フェールが
ない場合の位置(正規の回転中心の位置と称すべきも
の)からずれるのであるが、(44) 式により位置ファク
タが演算され、その位置ファクタを用いて(45)式により
位置ずれが演算されることにより、シークラインにフェ
ールがある場合でも、フェールがない場合と同様に、円
形の像260の正規の回転中心に相当する中心の位置ず
れが演算されるのである。したがって、得られた位置ず
れに測定テンプレート座標面の基準座標面に対する位置
ずれを加えた値が円形の像260の基準座標面上におけ
る位置ずれを表すことになる。
【0111】画像処理対象物が円形であってフェールが
ない場合には、位置ファクタ等にデフォルト値を用いて
演算が行われる。この点は、画像処理対象物が矩形の像
258である前述の場合と同様である。画像処理対象物
が図38の線分や、図47の矩形等である場合の前記説
明においては、位置ファクタなる用語を使用しなかった
が、実際の実施形態においては、これらの場合にも(44)
式を用いて位置ファクタの演算が行われるのであって、
前記 (8)式における1/3や、(28),(29)式における1
/4等が位置ファクタに相当する。このことは(44)式
に実際の値を代入してみれば容易に確かめ得る。(44)式
は図形のいかんを問わず一般的に使用し得るものなので
ある。図38,図47等の説明において(44)式を使用
しなかったのは、直観的に理解できるようにするためで
あり、これら簡単な例について直観的に演算した結果
と、同じ例について(44)式を用いて演算した結果とを
比較することにより(44)式の妥当性を確かめるためで
ある。上記1/3,1/4等の値はシークラインにフェ
ールが発生すれば勿論変わる。また、例えば矩形の角部
が斜めに45度で切り欠かれた八角形について上記円形
の画像対象物についての演算がそのまま適用できること
は勿論、一般的に傾斜した辺を有する画像処理対象物に
ついても寸法や位置の演算を同様に行い得る。
【0112】以上、画像処理対象物がリードを有しない
角チップのように矩形である場合と基準マークのように
円形である場合とについて説明したが、回路基材にに装
着される電気部品には、クウォードフラットパッケージ
型の電気部品のように複数のリード線を有するものがあ
る。このような電気部品が画像処理対象物である場合に
は、パターンマッチングプロセスの組合わせであるパタ
ーンマッチングマネージャにより画像処理が行われる。
パターンマッチングマネージャはパターンマッチングプ
ロセスを複数回組み合わせることにより画像処理を行う
ものである。
【0113】例えば、図54に示すQFP(クウォード
フラットパッケージ型電気部品)の像270の場合
は、QFP全体の輪郭に基づいてではなく、リードの像
に基づいて画像処理が行われる。これは、QFPではリ
ードの位置のデータに基づいて装着を行えばリードと基
板のパターンとの誤差を最も小さくできるからであり、
各リードを画像処理対象物とするパターンマッチングの
組合わせによって、QFPの寸法,位置,回転角度等が
演算されるのである。
【0114】画像処理時には、まず、リードの像272
の1つが捜索される。そのために、リードの像272を
1つ包含するのに適した大きさのサーチウインドウ27
6が設定され、その中で予め設定された複数組のポイン
トペアを含む捜索テンプレートを用いてリードの像27
2が捜索される。
【0115】捜索ステップ,再捜索ステップ,測定ステ
ップおよび再測定ステップのフルセットのパターンマッ
チングが行われてリードの像272の位置および回転角
度が測定される。リードの像272の位置および回転角
度が判れば、次に捜索ステップおよび再捜索ステップを
含むサブセットのパターンマッチングにより1辺全部の
リードの像272が捜索される。続いて隣接するリード
の像272の位置および回転角度が測定されるが、リー
ドのピッチは予め判っており、次のリードの像272に
ついての捜索ステップにおいて捜索テンプレート座標面
の位置,回転角度は、その直前に再捜索ステップによっ
て求められたリードの像272の位置および回転角度
と、リード間のピッチとに基づいて相当正確に予測され
るため、フルセットのパターンマッチングを行わなくて
も十分に精度良く次のリードの像272を捜索し得る。
【0116】1辺全部のリードの像272についてパタ
ーンマッチングが行われ、全部のリードの像272の位
置が演算されたならば、これらリードの像272の中心
のX座標値,Y座標値が加算されるとともにリード本数
で除され、1辺の中心座標が演算される。同様にして3
辺のリードの像272がサブセットのパターンマッチン
グで捜索される。辺同士の位置関係は予め判っており、
先に行われたパターンマッチングの再捜索テンプレート
座標面の位置,回転角度に基づいて捜索テンプレートの
位置,回転角度が設定される。4辺全部について各中心
座標が演算されたならば、互に平行な2つの辺の各中心
を結ぶ2本の直線a,bの交点が演算され、電気部品の
中心座標とされる。QFPの像270の回転角度は、(4
6)式で求められる。 (直線aの傾き−90度+直線bの傾き)/2・・・・(46)
【0117】このようにパターンマッチングまたはパタ
ーンマッチングマネージャによれば、殆どの形状の検査
対象物や回路基材に装着すべき電気部品の像認識を行う
ことができる。マスタ捜索テンプレート,マスタ測定テ
ンプレートの作成は必要であるが、それらテンプレート
を使用した画像処理プログラムは共用でき、検査対象物
や電気部品の種類毎に画像処理プログラムを作成するこ
とに比較すれば、プログラム作成に要する時間が短くて
済むのである。
【0118】なお、画像処理時間は、サーチウインドウ
の中心からの画像処理対象物の中心のオフセット量が大
きいほど長くなる。そのため、画像処理対象物が捜索さ
れた捜索テンプレート座標面の位置に基づいて、サーチ
ウインドウの中心の位置を修正することが望ましい。例
えば、QFPの像270の場合、複数個のQFPについ
ての画像処理後、リードの像272の中心のサーチウイ
ンドウ276の中心からの平均的なはずれを求め、その
平均的なはずれを0にするようにサーチウインドウの中
心位置を修正するのである。
【0119】本実施形態においては、順次撮像される複
数の電気部品146の画像について、パターンマッチン
グあるいはパターンマッチングマネージャと、オブジェ
クトベクトルの演算とが行われ、電気部品の識別,位置
誤差および回転角度誤差の演算が行われる。図55のタ
イムチャートに示すように、電気部品146の装着サイ
クルタイムTrのうち、電気部品146が撮像位置にお
いて停止している間にCCDカメラ76による撮像が行
われる。撮像後、画像データはCCDカメラ76からフ
レームグラバメモリ164へ転送され、画像処理される
のであるが、画像データの転送と画像処理とは並行して
行われる。
【0120】フレームグラバメモリ164は、4個分の
電気部品146の画像データを並列的に記憶し得るよう
にされており、そのため、処理時間が装着サイクルタイ
ムより長い電気部品146についても画像処理を行うこ
とができる。画像処理は、画像処理結果が使用されるま
でに終了すればよく、1個の電気部品146の撮像から
画像処理結果の使用までの間に他の電気部品146が複
数個装着されるのであれば、1装着サイクルタイムTr
の間に画像処理を終了させることは不可欠ではなく、複
数装着サイクルタイムの間に、そのサイクル数と同じ数
の画像処理対象物の画像処理が行われればよい。本実施
形態においては、1個の電気部品146の撮像から装着
までの間に他の3個の電気部品146の装着が行われ、
合計4個の電気部品146の間では画像処理時間を融通
し合うことが可能である。
【0121】電気部品には、例えば、角チップのように
形状が単純でリードを有せず、所要画像処理時間が短い
ものもあれば、QFPのように多数のリードを有し、所
要画像処理時間が長い電気部品もあり、所要画像処理時
間が短い電気部品について余った時間を所要画像処理時
間が長い電気部品の処理に使うことができるのである。
全ての電気部品の画像処理が1装着サイクルタイム内に
終了しなければならないとすれば、装着サイクルタイム
は画像処理が予定されている複数種類の電気部品のうち
で最も長時間を要するものに合わせて決定される必要が
あり、装着能率が低く抑えられてしまう。それに対し
て、本電気部品装着装置においては、4個の画像データ
が並列的にフレームグラバメモリ164に記憶され、4
装着サイクルタイムの間にそれら画像データの処理が行
われるため、4個の電気部品の各画像処理時間の合計
が、画像処理が行われる電気部品の数倍の装着サイクル
タイム以内であればよい。換言すれば、それら複数の電
気部品の画像処理時間の平均が、1装着サイクルタイム
以内であればよいのであり、装着サイクルタイムを短縮
することができる。
【0122】その一例を図56に示す。図から明らかな
ように、1個の電気部品にそれぞれ要する画像処理時間
e1〜Te7には長短差があるが、4個ずつの画像処理時
間の合計Tt1〜Tt4はそれぞれ、装着サイクルタイムT
rの4倍より短い時間であり、その分だけ装着サイクル
タイムTrを短くすることができるのである。
【0123】順次検査すべき被検査物122が、複数種
類混合して流れてくる場合にも同様の効果が得られる。
順次検査される被検査物122の検査に要する時間が互
いに異なる場合に、フレームグラバメモリ164の数と
同数の、順次検査される被検査物122の各々の検査に
要する時間の平均値に近いサイクルタイムで検査を実行
することができるのである。
【0124】さらに、順次検査される被検査物122の
種類が1種類で、検査に要する時間が同じであっても、
被検査物122の撮像時間間隔がまちまちの場合には、
複数のフレームグラバメモリ164の効果が得られる。
連続した複数個の被検査物122の間で画像処理時間を
融通し合うことができるからである。
【0125】最後に検査ステップの詳細について説明す
る。例えば、図58に示す形状の部品の互いに隣接する
3辺に欠陥の一種である切欠311が存在するか否かを
検査する必要がある場合には、問題の部品の画像(以
下、単に部品という)310の3辺の小距離内側の位置
に、各辺に平行なネガティブシークライン312,31
3,314が設定される。基準位置,基準回転角度の部
品310に基づいて予め設定され、DRAM156に記
憶されているマスタ検査テンプレートが読み出され、そ
のマスタ検査テンプレートが、検査に先立って測定され
た部品310の実際の位置,回転角度に応じて座標変換
されることにより、ネガティブシークライン312,3
13,314を含む実際の検査テンプレート315が設
定されるのである。設定された検査テンプレート315
のデータもDRAM156に記憶され、DRAM156
は検査テンプレートデータ記憶手段として機能する。
【0126】図58の例では部品310のシルエット画
像が取得され、切欠311は明るい像として形成される
とする。ネガティブシークライン312,313,31
4は部品310の暗い像の内側に設定され、本来はエッ
ジと交差しないものであるが、切欠311が存在すれ
ば、部品310と切欠311との境界がエッジとなる。
したがって、ネガティブシークライン312,313に
関して行われる「エッジと交差しないか」の判定の結果
はYESとなるが、ネガティブシークライン314に関
して行われる判定の結果はNOとなる。検査テンプレー
ト315に属するすべてのネガティブシークラインのう
ち一つについてでも判定結果がNOになれば、その部品
310は切欠311の欠陥を有するものとして不合格で
あることがモニタテレビ14に表示される。
【0127】上記ネガティブシークライン312,31
3,314の、部品310の各辺からの距離を変更する
ことによって、検出可能な切欠の大きさを変更し得る。
切欠が存在しても、小さいものであれば部品が合格品と
される場合には、その小さい切欠を横切らない位置にネ
ガティブシークライン312,313,314を設定す
ればよいのである。また、各辺に対して、それらからの
距離が異なる複数本ずつのネガティブシークラインを設
定しておけば、辺からの距離が大きいネガティブシーク
ラインほど大きい切欠しか検出しないため、大きさの範
囲毎にそれぞれいくつの切欠が存在するかも調べること
ができる。
【0128】上記部品310に、図59に示すように欠
陥の一種であるばり316が存在するか否かの検査をす
る必要がある場合には、3辺の小距離外側の位置におい
て各辺に平行に延びる3本のネガティブシークライン3
17,318,320を含む検査テンプレート322が
設定される。DRAM156に記憶されているマスタ検
査テンプレートの座標変換によって実際の検査テンプレ
ート322が設定されるのである。そして、図示の場合
には、ネガティブシークライン320に関しての「エッ
ジと交差しないか」の判定の結果がNOになることによ
り、部品310はばり316の欠陥を有することにより
不合格の判定がなされ、その判定結果がモニタテレビ1
4に表示される。
【0129】上記部品310の像の中に図60に示す傷
326があるか否かを検査する必要がある場合には、部
品310の輪郭線の内側に多数本のネガティブシークラ
イン328〜338等を含む検査テンプレート339が
設定される。この際、部品310の輪郭線の内側に穴3
40,342等が存在すれば、ネガティブシークライン
は符号336,338で示されるもののように、穴34
0,342等を避けて設定される。ネガティブシークラ
インが穴340,342等の縁と交差すれば、「エッジ
と交差しないか」の判定の結果がNOとなり、誤った検
査結果が出されてしまうからである。図示の例では、部
品310の表面の像に比較して傷326の像が暗いもの
とすれば、本来エッジと交差しないはずのネガティブシ
ークライン332,334がエッジと交差することとな
り、その事実に基づいて部品310には傷326が存在
し、不合格であるとの判定がなされることとなる。
【0130】図58のネガティブシークライン312,
313,314と図59のネガティブシークライン31
7,318,320との両方を含む検査テンプレートが
設定されるようにすることも可能であり、その場合に
は、切欠320とばり316との両方の欠陥を一挙に検
査することができる。さらに、図60のネガティブシー
クライン328〜338等も共に設定されるようにすれ
ば、切欠320,ばり316および傷326の検査を一
挙に行うことができる。
【0131】本寸法,欠陥検査装置によれば、部品全体
の検査のみならず、部品の一部の検査も行うことができ
る。その一例を図61に示す。図示の部品は太陽電池3
50であり、検査対象物はそれのグリッドパターン35
2である。グリッドパターン352は、互いに平行に延
びる多数のグリッド354,356,358等を含んで
おり、これらグリッドに不連続部360が存在すれば使
用不能であるため、検査を行う必要がある。また、グリ
ッド間に汚れ362が存在すれば、機能不良の可能性が
あるため、その検査も必要になる。そこで、各グリッド
354等の輪郭線の内側に不連続部検出用のネガティブ
シークライン366,368,370等が、また、グリ
ッド間には汚れ検出用のネガティブシークライン37
2,374等が設定される。これらシークライン366
等はいずれもグリッド354等の長手方向に平行に延び
る状態で形成され、検査テンプレート378を構成す
る。
【0132】この検査テンプレート378のネガティブ
シークラインのうち、ネガティブシークライン368の
ように不連続部360を通過するものがあれば、そのネ
ガティブシークライン368はエッジと交差することと
なり、その太陽電池350のグリッドパターン352に
は欠陥の一種である不連続部360が存在するとして、
不合格の判定がなされる。また、ネガティブシークライ
ン374のように、汚れ362を通過するものがあれ
ば、そのネガティブシークライン374がエッジと交差
することとなり、その太陽電池350には欠陥の一種で
ある汚れが存在するとして、不合格の判定がなされる。
そのために、不連続部検出用のネガティブシークライン
366等と、汚れ検出用のネガティブシークライン37
2等とは、検査テンプレート内において区別されてい
る。
【0133】以上説明した検査テンプレートにおいて
は、ネガティブシークラインの1本でもエッジと交差す
れば、その検査対象物は不合格とされていたが、小さい
傷や汚れ等、検査対象物の性能に影響がないものが存在
するのみである場合には、合格であると判定されるよう
にすることも可能である。例えば、ネガティブシークラ
インのうち、連続して何本のものに関しての判定結果が
NOになったかに基づいて欠陥の大きさを知ることがで
き、欠陥の大きさが設定寸法以上である場合に不合格の
判定が行われるようにし、あるいは、判定結果がNOに
なるネガティブシークラインの本数が設定本数以上であ
る場合に不合格の判定が行われるようにするのである。
モニタテレビ14には、合否の判定結果のみならず、欠
陥の種類,大きさ,数等も共に表示されるようにするこ
とが望ましい。
【0134】以上の説明においては、ポジティブシーク
ラインが位置,回転角度,寸法等の測定および検査に使
用され、ネガティブシークラインが欠陥検査に使用され
ていたが、これらは別の目的にも使用可能である。その
一例を図62に示す。本例はポジティブシークラインが
欠陥検査に使用される場合の一例である。前記太陽電池
350のグリッド354等に不連続部360が存在する
か否かを検査するために、グリッド354等の長手方向
と交差(図示の例では直交)するポジティブシークライ
ン380が多数設定されている。ポジティブシークライ
ン380は、不連続部360の寸法より小さいピッチで
多数設定され、共同して検査テンプレート382を構成
している。ポジティブシークライン380は通常はエッ
ジと交差するが、不連続部360においてはエッジと交
差しないため、「エッジと交差するか」の判定の結果が
NOとなり、太陽電池350は不合格品であると判定さ
れる。
【0135】ネガティブシークラインが対象物の捜索に
使用される場合の一例を図63に示す。本例は、部品3
90の暗い表面に四角形状の明るいパッド392が多数
形成されている場合に、右上角のパッド392が捜索さ
れる例である。そのために、パッド392の輪郭線と交
差する多数のポジティブシークライン394と複数本
(図示の例では4本)のネガティブシークライン396
とを含む検査テンプレート398が設定される。そし
て、すべてのポジティブシークライン394について
「エッジと交差するか」の判定が、また、すべてのネガ
ティブシークライン396について「エッジと交差しな
いか」の判定が行われ、すべての判定結果がYESとな
れば、ポジティブシークライン394が設定されている
位置にあるパッド392が右上角のパッドであると判定
される。例えば、右上角のパッド392の左側に位置す
るパッド392に対して同じ検査テンプレート398が
設定されたとすれば、上下方向に延びるネガティブシー
クライン396が右上角のパッド392と交差し、ま
た、下側に位置するパッド392に対して同じ検査テン
プレート398が設定されたとすれば、横方向に延びる
ネガティブシークライン396が右上角のパッド392
と交差する。そのため、いずれも場合にも「エッジと交
差しないか」の判定の結果がNOとなるネガティブシー
クライン396が存在し、現に検査テンプレート398
が設定されているパッド392が右上角のパッドではな
いことが判り、前記条件が満たされるのは図示の場合の
みであるからである。
【0136】以上の例ではシークラインはすべて、両端
が有限の直線、すなわち線分で設定されていたが、これ
は不可欠ではない。例えば、図64に示すように、画像
処理対象物404が円形のものである場合には、その画
像処理対象物404と同心の円をネガティブシークライ
ン406,408として設定することが好都合である場
合があるのである。ネガティブシークライン406は切
欠検出用、ネガティブシークライン408はばり検出用
である。また、画像処理対象物404の輪郭線の内側に
同心の円を多数設定して、それらを傷,汚れ等内部領域
欠陥の有無を検査するための検査シークライン(ネガテ
ィブシークライン)とすることも可能である。
【0137】図65に示す例においては、画像処理対象
物412が扇形であるため、円弧のネガティブシークラ
イン414,416と、線分のネガティブシークライン
418,420を含む検査テンプレート422が設定さ
れている。この検査テンプレート422は切欠検出用で
あり、この他に、ばり検出用,内部領域欠陥検出用等を
同様の形態で設定することができる。
【0138】以上のようにして、欠陥の有無が検出され
た後、その検出結果に基づいて画像処理対象物が合格品
であるか不合格品であるかの判定が行われる。最も単純
な判定は、1個でも欠陥が存在すれば不合格とする判定
であるが、予め定められた基準以上の大きさ,数等欠陥
検査基準を超える欠陥が存在する場合に不合格とされる
ようにすることも可能である。この欠陥検査基準も画像
処理対象物毎に予め作成されてメモリカードに格納され
ており、画像処理装置12のDRAM156に読み込ま
れて使用される。
【0139】以上説明したように、画像処理装置12に
おいては、CCDカメラ76により撮像された被検査物
122,電気部品146,基準マーク等の画像のデータ
は、パターンマッチングやパターンマッチングマネージ
ャによって処理されるのであるが、パターンマッチン
グ,パターンマッチングマネージャは、捜索テンプレー
ト,再捜索テンプレート,測定テンプレート,再測定テ
ンプレートおよび検査テンプレートを用いて画像処理対
象物を捜索し、エッジ点を演算するようにされており、
テンプレートが設定された部分のみが捜索され、測定さ
れ、検査される。画像処理の必要な部分のみが処理さ
れ、画像処理の必要がない部分は画像データが得られて
も処理されないのである。そのため、短時間で画像処理
を行うことができ、かつ、画像処理対象物に直接接触し
ていない限り大抵の画像ノイズ(白点,黒点,しみ等)
の影響を受けることなく画像処理を行うことができる。
【0140】さらに、捜索ステップにおいては2個のポ
イントペア構成点の輝度差等光学的特性値の差の状態に
よって適合状態にあるか否かが判定され、再捜索ステッ
プ,測定ステップ,再測定ステップ,検査ステップにお
いては、シークライン上における輝度等光学的特性値の
変化勾配によってエッジ点が決定されるようになってい
る。そのため、QFPのように画像処理対象物が比較的
大きく、照明にむらが生じ易い場合でも、照明に殆ど差
がない部分同士の間で光学的特性値の比較が行われるこ
ととなり、照明の偏りの影響を受けることなく、正確に
画像処理を行うことができる。
【0141】また、CCDカメラの固体撮像素子の大き
さが変わっても、プログラムを実質的に変更することな
く、容易に対応することができる。さらに、画像処理対
象物の位置,回転角度,寸法等の測定および検査と同様
の手法で欠陥検査を行うものであるため、寸法等の検査
に付随して短時間で欠陥検査を行うことができる。
【0142】先には画像処理対象物の指定中心DCにマ
スタ測定テンプレート座標面の原点が置かれる場合につ
いて説明したが、マスタ測定テンプレート座標面の原点
が指定中心DC以外の位置に置かれてもよい。この場
合、回転中心RCと指定中心DCとの間の位置ずれ(ま
たは回転角度)に、指定中心DCとマスタ測定テンプレ
ート座標面との間の位置ずれ(または回転角度)を加
え、その値にさらにマスタ測定テンプレート座標面の基
準座標面に対する位置ずれ(または回転角度)を加える
ことにより、指定中心DCの基準座標上における位置ず
れ(または回転角度)が得られる。
【0143】本実施形態においては、画像処理装置12
が、被検査物の形状,寸法がほぼ決まっていることを利
用し、捜索テンプレート200,再捜索テンプレート2
28,測定テンプレート236,再測定テンプレート,
検査テンプレート315等を使用する特殊な処理により
寸法検査および欠陥検査を行うものであるため、ごく短
時間で処理を完了することができる。また、被検査物
(被測定物でもある)支持装置が透明平板であり、か
つ、被検査物の位置や回転角度に合わせて捜索テンプレ
ート200等が自動設定されるものであるため、被検査
物は被検査物支持板72上に単純に載置すればよい。被
測定物122の位置や回転角度を正確に決めなくても、
画像処理装置12により寸法の取得や欠陥の検出が行わ
れるのであり、被検査物の撮像装置10へのセットが容
易である。また、画像処理装置12に対する処理開始指
令をフットスイッチで行うことが可能であるため、両手
を他の目的に使用することができ、使い勝手がよい利点
がある。さらに、被測定物を固定する必要がなく、か
つ、非接触で寸法測定が可能であるため、ゴム,軟質合
成樹脂等から成る製品の寸法測定,寸法検査を容易に行
い得る。そのため、例えば、射出成形やプレス成形によ
り製造される多量の製品の全数寸法検査すら可能であ
る。また、貫通穴内径,穴間ピッチ,突起間ピッチ,円
筒外径,フランジ間距離,軸長等予め定められた部位の
寸法検査のみならず、加工もれや欠損等の検査も行い得
る。
【0144】以上の説明から明らかなように、本実施形
態においては、画像処理装置12のフレームグラバメモ
リ164が画像データ記憶手段を構成し、DRAM15
6が捜索テンプレートデータ記憶手段,測定テンプレー
トデータ記憶手段、検査テンプレートデータ記憶手段を
構成している。画像処理装置12の、パターンマッチン
グプログラムの捜索ステップ単独または捜索ステップと
再捜索ステップとの両方を実行する部分が捜索物判定手
段を構成している。画像処理装置12の、パターンマッ
チングプログラムの捜索ステップ,再捜索ステップ,測
定ステップ,再測定ステップを実行する部分が位置等測
定手段を構成しており、そのうち、再捜索ステップ,測
定ステップ,再測定ステップ等においてエッジ点の座標
を演算する部分がエッジ点座標演算手段を構成してい
る。画像処理装置12のパターンマッチングプログラム
のうち、捜索ステップ,再捜索ステップ,測定ステッ
プ,再捜索ステップにおいて輝度を演算すべき点を指定
する部分が点指定手段を構成し、指定された点の輝度値
の演算を行う部分が仮想点データ演算手段を構成してい
る。
【0145】さらに、画像処理装置12の、測定された
画像処理対象物の寸法を基準寸法と比較して合否を判定
する部分が寸法検査手段を構成している。画像処理装置
12の、ネガティブシークラインを含む検査テンプレー
トを設定する部分や、ネガティブシークラインを含む捜
索テンプレートを設定する部分がネガティブシークライ
ン設定手段を構成し、ポジティブシークラインを含む検
査テンプレートや捜索テンプレートを設定する部分がポ
ジティブシークライン設定手段を構成しており、それら
ネガティブシークライン設定手段またはポジティブシー
クライン設定手段が単独で、あるいは共同でシークライ
ン設定手段を構成すると考えることができる。また、画
像処理装置12の、ネガティブシークラインがエッジと
交差するか否かを判定する部分が判定手段を構成し、そ
の判定結果に基づいて画像処理対象物の合否を判定する
部分が上記判定手段と共同して合否判定手段を構成して
いる。そして、上記シークライン設定手段と判定手段と
が欠陥判定手段を構成している。
【0146】なお、上記実施形態においては、寸法誤差
がX軸方向とY軸方向とで異なる比率で生ずる場合に対
処するために、両方向で別個にサイズファクタが演算さ
れるようになっていたが、両方向のサイズファクタが同
じであるとの仮定の下に演算されるようにしてもよい。
例えば、図36の矩形の像250においては、フェール
の生じたシークラインを含むペアシークラインを除い
て、X軸方向に平行な方向のすべてのペアシークライン
についての測定スパンを本来のスパンで除した値と、Y
軸方向に平行な方向のすべてのペアシークラインについ
ての測定スパンを本来のスパンで除した値とが求めら
れ、それら値のすべての平均値がサイズファクタとされ
るようにするのである。こうして求められたサイズファ
クタはX軸方向に平行なシークライン上のサイズポイン
トの演算にも、Y軸方向に平行なシークライン上のサイ
ズポイントの演算にも共通に使用される。
【0147】また、図51の円形の円形の像260のサ
イズファクタについても同様であって、図51に示され
ているペアシークラインのうち、フェールが生じたシー
クラインを含まないペアシークラインのすべてに関し
て、測定スパンを本来のスパンで除した値が求められ、
それらの値の平均値であるサイズファクタがフェールが
生じたシークラインを除くすべてのシークラインについ
てのpairRadiusに掛けられてサイズポイントが演算さ
れ、それらサイズポイントと対応するエッジポイントと
のずれDiffが演算されるようにする。位置ファクタおよ
び位置ファクタの演算は前記実施形態と同じでよい。
【0148】また、上記実施形態において、再捜索ステ
ップは1回行われていたが、2回以上行われるようにし
てもよい。1回目の再捜索ステップにおいてフェールが
設定数以下であり、画像処理対象物のエッジ点が得られ
た後、更に再捜索テンプレートを設定して再捜索ステッ
プを行うのであり、再捜索テンプレートは、前回の再捜
索ステップにおいて用いられた再捜索テンプレートとエ
ッジ点の演算結果とに基づいて、画像処理対象物とのず
れがより少なくなる位置,角度で設定される。再捜索ス
テップが1回のみ行われるようにするより、複数回行わ
れるようにする方が、次の測定ステップでフェールが発
生する確率が低下することが経験上判っている。この理
由は定かではないが、捜索ステップにおいて画像処理対
象物と捜索テンプレートとのずれが大きく、辛うじて捜
索対象部が存在すると判定された場合には、再捜索テン
プレートと画像処理対象物とのずれがかなり大きくなる
可能性があり、この場合には次の測定ステップにおいて
測定テンプレートと画像処理対象物とのずれも大きくな
ってフェールが発生することがあるのに対し、再捜索ス
テップが2回以上行われれば、その確率が低下するため
ではないかと推測されている。
【0149】また、画像処理対象物の形状,おおよその
位置,回転角度が予め判っていれば、捜索テンプレート
による捜索を行わなくてもシークラインをエッジ点の演
算可能な位置に設定することができ、始めから測定テン
プレートを用いてエッジ点を求めることができる。上記
実施形態においては、再捜索テンプレートを用いて再捜
索ステップを行った後、測定ステップが行われるように
なっていたが、画像処理対象物の寸法誤差や形状欠陥が
小さい場合には、捜索ステップの直後に測定ステップを
実行させることも可能である。この場合、前記再捜索テ
ンプレートを測定テンプレートとして使用することも可
能であるが、シークライン数がさらに多いテンプレート
を使用することが望ましい。
【0150】さらに、上記実施形態においてパターンマ
ッチングにおける異常の判定は、プログラム中に設定さ
れた許容フェール数を越えるフェールがあるか否かによ
り行われていたが、例えば、フェールが一つでもあれば
異常と判定し、フェールのない画像処理対象物について
のみオブジェクトベクトルの演算を行うプログラムと、
少なくとも1つのフェールを許容し、フェールがあって
もオブジェクトベクトルの演算を行うプログラムとを作
成し、オペレータが選択し得るようにしてもよい。フェ
ールを許容しないプログラムは画像処理に要する時間が
短くて済むため、状況によってはこのプログラムを選択
し、被検査物122の検査能率を高め、あるいは電気部
品146を1個装着するのに要する時間を短縮すること
ができる。
【0151】上記実施形態においては、画像内のエッ
ジ、すなわち光学的特性が急変する部分を捜すために、
まず捜索テンプレートの各ポイントペアを構成する2点
の光学的特性値が設定値以上異なる部分が捜され、次に
測定テンプレートのシークライン(測定シークライン)
上における光学的特性値の微分値が最大の部分が捜され
てエッジ点とされるようになっていたが、測定テンプレ
ートのシークライン上における光学的特性の微分値が設
定値以上である部分が捜され、その部分がエッジである
とされるようにすることも可能である。その場合、1本
のシークライン上に微分値が設定値以上である点が連続
して現れる場合には、それらの中で最大のものがエッジ
点とされるようにすればよい。
【0152】また、上記実施形態においては、対物レン
ズ108の焦点Oとオリフィス94の透孔100との光
軸方向の相対位置を調節するために、調節ねじ50が使
用され、鏡68の反射面70の向きを調節するために調
節ねじ66が使用されていたが、これら調節ねじの代わ
りに図66に示す積層圧電素子280を使用することも
可能である。積層圧電素子280は、焼結したセラミッ
クスを切断,研磨した薄板282の間に内部電極28
4,285を交互に配設し、内部電極284を外部電極
286に、内部電極285を外部電極287にそれぞれ
接続してなるものである。外部電極286,287を駆
動回路288に接続し、その駆動回路288を撮像装置
10および画像処理装置12によって制御することによ
り、対物レンズ108の焦点Oとオリフィス94の透孔
100との光軸方向の相対位置や、鏡68の反射面70
の向きを調節するのである。積層圧電素子280はそれ
に印加する電圧を変化させることにより長さを変化させ
ることができ、撮像装置10により取得された画像を、
画像処理装置12が処理して前記検査治具126の基準
マーク129の中心間距離や被検査物122の測定寸法
を得、それら測定結果を参照しつつ駆動回路288を制
御し、対物レンズ108の焦点Oとオリフィス94の透
孔100との光軸方向の相対位置や、鏡68の反射面7
0の向きを自動で調節するようにすることができる。
【0153】また、被検査物(寸法を測定すべき物と考
えれば被測定物)を支持する支持装置は、前記実施形態
においては単純な透明平板とされており、鏡の表面が傷
つくのを防止する鏡保護板と考えることもできるもので
ある。したがって、鏡自体を支持装置として機能させる
ことも可能である。また、被測定物の輪郭線内において
被測定物を支持するもの、あるいは被測定物の寸法を測
定すべき部分の撮像を妨げない形状を有するものであれ
ば、支持装置を透明材料で製作することは不可欠ではな
い。支持装置を、被測定物を一定の位置または方位に位
置決めして支持するものとすることも可能であり、その
場合には画像処理に要する時間を短縮し得る利点があ
る。
【0154】その他、特許請求の範囲を逸脱することな
く、当業者の知識に基づいて種々の変形,改良を施した
態様で本発明を実施することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態である寸法,欠陥検査装置
の撮像装置を示す側面図(一部断面)である。
【図2】上記撮像装置の正面図(一部断面)である。
【図3】上記撮像装置の要部の、CCDカメラおよびそ
れの昇降装置を除いた状態の平面図である。
【図4】上記寸法,欠陥検査装置の画像処理装置を含む
制御装置の正面図である。
【図5】前記撮像装置の光学系を概念的に示す図であ
る。
【図6】上記光学系における寸法誤差の発生を説明する
ための図である。
【図7】上記光学系における寸法誤差の発生を説明する
ための図である。
【図8】前記撮像装置において使用される検査用ゲージ
を示す正面断面図である。
【図9】上記検査用ゲージの平面図である。
【図10】前記光学系における寸法誤差の発生を説明す
るための概念図である。
【図11】前記撮像装置において使用される較正用ゲー
ジを示す平面図である。
【図12】前記画像処理装置と組み合わせて使用可能な
電気部品装着装置の電気部品撮像装置を概念的に示す図
である。
【図13】前記画像処理装置のブロック図である。
【図14】上記画像処理装置のDRAMに記憶された事
前処理プログラムを示す図である。
【図15】上記画像処理装置のDRAMに記憶された実
行処理プログラムを示す図である。
【図16】上記画像処理装置のDRAMに記憶されたパ
ターンマッチングプログラムを示す図である。
【図17】上記パターンマッチングプログラムを正方形
の像について実行するための設定データを示す図であ
る。
【図18】図17に示す設定データに基づいて設定され
るマスタ捜索テンプレートを画像処理対象物と共に示す
図である。
【図19】図17に示す設定データに基づいて設定され
るマスタ測定テンプレートを画像処理対象物と共に示す
図である。
【図20】上記マスタ捜索テンプレートに基づく捜索テ
ンプレートの生成を説明する図である。
【図21】前記パターンマッチングプログラムを一部が
切り欠かれた円板について実行するための設定データを
示す図である。
【図22】図21に示す設定データに基づいて設定され
るマスタ捜索テンプレートを円板と共に示す図である。
【図23】図21に示す設定データに基づいて設定され
るマスタ測定テンプレートを円板と共に示す図である。
【図24】前記パターンマッチングプログラムの捜索ス
テップにおいて捜索テンプレートが仮想画面に重ねられ
た状態を示す図である。
【図25】仮想画面上において指定された点の輝度を演
算するための線形補間を説明する図である。
【図26】前記画像処理装置において物理画面上の画像
データから仮想画面上の画像データを演算する物理画面
/仮想画面変換ドライバを概念的に示す図である。
【図27】前記パターンマッチングプログラムの再捜索
ステップの再捜索テンプレートが仮想画面に重ねられた
状態を示す図である。
【図28】上記再捜索テンプレートのシークライン上に
設定された分割点と撮像面を構成する固体撮像素子との
関係を示す図である。
【図29】図28に示す分割点について演算された輝度
を表す図表である。
【図30】上記分割点について演算された輝度を微分す
るための差分フィルタを示す図である。
【図31】上記分割点について演算された輝度を微分す
るための別の差分フィルタを示す図である。
【図32】図29に示す演算結果をグラフにして示す図
である。
【図33】図30に示す差分フィルタを用いて行った微
分の結果を表すグラフである。
【図34】図31に示す差分フィルタを用いて行った微
分の結果を表すグラフである。
【図35】前記パターンマッチングプログラムの測定ス
テップにおいて測定テンプレートが仮想画面に重ねられ
た状態を示す図である。
【図36】パターンマッチングの実行後に行われる画像
処理対象物の寸法計算を矩形の像を例に取って説明する
図である。
【図37】上記寸法計算においてサイズポイントとエッ
ジポイントとの差の演算を説明する図である。
【図38】画像処理対象物の回転中心および回転角度の
演算を直線を例に取って説明する図である。
【図39】シークラインにフェールがある場合における
画像処理対象物の回転中心の指定中心に対するずれの演
算を説明する図である。
【図40】シークラインにフェールがある場合における
画像処理対象物の回転中心の指定中心に対するずれの演
算の別の例を説明する図である。
【図41】シークラインにフェールがある場合における
画像処理対象物の回転中心の指定中心に対するずれの演
算の更に別の例を説明する図である。
【図42】シークラインが互に直交する2方向に設定さ
れた場合における画像処理対象物の回転中心および回転
中心の指定中心に対するずれの演算を説明する図であ
る。
【図43】シークラインが互に直交する2方向に設定さ
れた場合における画像処理対象物の回転中心および回転
中心の指定中心に対するずれの演算の別の例を説明する
図である。
【図44】画像処理対象物の角度の演算に用いられる角
度ファクタを示す図表である。
【図45】上記角度ファクタを座標面上において示す図
である。
【図46】画像処理対象物の回転中心および回転角度の
演算を説明する図である。
【図47】画像処理対象物の回転中心および回転角度の
演算の別の例を説明する図である。
【図48】画像処理対象物の回転中心および回転角度の
演算の更に別の例を説明する図である。
【図49】画像処理対象物の指定中心と回転中心とにず
れがあり、画像処理対象物に位置および角度のずれがあ
る場合における指定中心の位置の演算を説明する図であ
る。
【図50】画像処理対象物の基準座標に対する位置ずれ
量および角度ずれ量の演算を説明する図である。
【図51】画像処理対象物の一種である円形の像にシー
クラインが設定された状態を示す図である。
【図52】上記円形の像の寸法計算を説明する図であ
る。
【図53】上記寸法計算におけるサイズポイントの演算
およびエッジポイントとの差の演算を説明する図であ
る。
【図54】QFPについて行われるパターンマッチング
を説明する図である。
【図55】電気部品装着装置における装着サイクルタイ
ムとCCDカメラの露光時間および画像転送時間との関
係を示すタイムチャートである。
【図56】上記電気部品装着装置における画像処理サイ
クルを説明するタイムチャートである。
【図57】図17に示す設定データに基づいて設定され
るマスタ検査テンプレートを画像処理対象物と共に示す
図である。
【図58】検査テンプレートによる切欠の検査の一例を
示す図である。
【図59】検査テンプレートによるばりの検査の一例を
示す図である。
【図60】検査テンプレートによる傷の検査の一例を示
す図である。
【図61】検査テンプレートによる不連続部および汚れ
の検査の一例を示す図である。
【図62】別の検査テンプレートによる不連続部の検査
の一例を示す図である。
【図63】ネガティブシークラインとポジティブシーク
ラインとを含む捜索テンプレートによる捜索の一例を示
す図である。
【図64】別の検査テンプレートを示す図である。
【図65】さらに別の検査テンプレートを示す図であ
る。
【図66】前記撮像装置の調節装置の別の実施形態を概
念的に示す図である。
【図67】従来の光学系による撮像を概念的に示す図で
ある。
【符号の説明】
10:撮像装置 12:画像処理装置 14:モニ
タテレビ 16:入力装置 18:キーボード
20:マウス 22:フットスイッチ 156:D
RAM 164:フレームグラバメモリ 258:
矩形の像 260:円形の像 270:QFPの像
310:部品 311:切欠 312,31
3,314:ネガティブシークライン 315,32
2,339,378,382,398:検査テンプレー
ト 316:ばり 326:傷 350:太陽電池 352:グリッドパターン 3
54,356,358:グリッド 360:不連続部
362:汚れ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI G06T 9/20 G06F 15/70 335Z

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 画像処理対象物を撮像する撮像装置と、 その撮像装置により撮像した画像のデータである画像デ
    ータを記憶する画像データ記憶手段と、 その画像データ記憶手段に記憶された画像データにより
    表される画像の光学的特性が急変する部分であるエッジ
    と交差しないことが予定されたネガティブシークライン
    を設定するネガティブシークライン設定手段と、 その設定されたネガティブシークラインがエッジと交差
    するか否かを判定する判定手段とを含む画像処理装置。
  2. 【請求項2】 前記画像処理対象物の位置,回転角度,
    寸法の少なくとも1つを測定する位置等測定手段を含
    み、前記ネガティブシークライン設定手段が位置等測定
    手段により測定された前記位置,回転角度,寸法の少な
    くとも1つに基づいて前記ネガティブシークラインを設
    定する請求項1に記載の画像処理装置。
  3. 【請求項3】 前記エッジと交差することが予定された
    ポジティブシークラインを設定するポジティブシークラ
    イン設定手段を含み、かつ、前記判定手段が、ポジティ
    ブシークラインがエッジと交差し、ネガティブシークラ
    インがエッジと交差しない場合に前記撮像装置により撮
    像された画像処理対象物が予定の対象物であると判定す
    るものである請求項1または2に記載の画像処理装置。
  4. 【請求項4】 画像処理対象物を撮像する撮像装置と、 その撮像装置により撮像した画像のデータである画像デ
    ータを記憶する画像データ記憶手段と、 その画像データ記憶手段に記憶されている画像データに
    より表される画像の光学的特性が急変する部分であるエ
    ッジと交差しないことが予定されたネガティブシークラ
    インと、エッジと交差することが予定されたポジティブ
    シークラインとの少なくとも一方を設定するシークライ
    ン設定手段と、 そのシークライン設定手段により設定されたシークライ
    ンがポジティブシークラインである場合にはそのポジテ
    ィブシークラインがエッジと交差し、設定されたシーク
    ラインがネガティブシークラインである場合にはそのネ
    ガティブシークラインがエッジと交差しないという条件
    が満たされた場合に、前記画像処理対象物は合格である
    と判定し、その条件が満たされない場合に不合格である
    と判定する合否判定手段とを含む画像処理装置。
  5. 【請求項5】 前記画像処理対象物の位置,回転角度,
    寸法の少なくとも1つを測定する位置等測定手段を含
    み、前記シークライン設定手段が位置等測定手段により
    測定された前記位置,回転角度,寸法の少なくとも1つ
    に基づいて前記シークラインを設定する請求項4に記載
    の画像処理装置。
  6. 【請求項6】 前記撮像装置が多数の撮像素子を備え、
    各撮像素子の受光状態に応じた電気信号を発生させるも
    のであり、前記画像データ記憶手段がそれら各撮像素子
    の電気信号のデータを、各撮像素子の位置と関連付けて
    記憶するものであって、かつ、当該画像処理装置が、さ
    らに、画像データ記憶手段の画像データにより形成され
    る物理画面に対応して想定される仮想画面上の任意の点
    を指定する点指定手段と、その点指定手段による点指定
    毎に前記物理画面上の光学的特性値のデータに基づいて
    指定された点の光学的特性値を演算する仮想点データ演
    算手段とを含み、前記シークライン設定手段が、前記仮
    想画面上において前記シークラインを設定するものであ
    る請求項4または5のいずれか1つに記載の画像処理装
    置。
  7. 【請求項7】 前記位置等測定手段が、 一定の距離を隔てた2個の点を一対とするポイントペア
    を複数組有する捜索テンプレートのデータを記憶する捜
    索テンプレートデータ記憶手段と、 その捜索テンプレートデータ記憶手段の捜索テンプレー
    トを前記画像データ記憶手段の画像データの表す画像が
    存在する画面に重ねた場合に、前記複数組のポイントペ
    アを構成する各対の点の光学的特性値の相違状態が設定
    状態以上である場合には、その対の2点がエッジの両側
    に分かれて位置する適合状態にあるとし、前記複数のポ
    イントペアのうち設定量以上のものが適合状態にあれ
    ば、画像処理対象物は捜索テンプレートに適合する捜索
    対象物であると判定する捜索対象物判定手段と、 測定シークラインを複数本有する測定テンプレートのデ
    ータを記憶する測定テンプレートデータ記憶手段と、 その測定テンプレートデータ記憶手段の測定テンプレー
    トを前記画像データ記憶手段の画像データの表す画像が
    存在する画面に重ね、前記複数本の測定シークラインの
    各々の上における前記画像処理対象物のエッジ点の座標
    を演算するエッジ点座標演算手段とを含む請求項4ない
    し6のいずれか1つに記載の画像処理装置。
  8. 【請求項8】 撮像装置により撮像され、画像データ記
    憶手段に記憶されている画像処理対象物の画像を表す画
    像データに基づいて画像処理対象物の画像処理をコンピ
    ュータに行わせるためのプログラムであって、 前記画像データ記憶手段に記憶されている画像データに
    より表される画像の光学的特性が急変する部分であるエ
    ッジと交差しないことが予定されたネガティブシークラ
    インを設定するネガティブシークライン設定処理と、 その設定されたネガティブシークラインがエッジと交差
    するか否かを判定する判定処理とを含むプログラムがコ
    ンピュータにより読み取り可能に記録された画像処理用
    記録媒体。
  9. 【請求項9】 撮像装置により撮像され、画像データ記
    憶手段に記憶されている検査対象物の画像を表す画像デ
    ータに基づいて検査対象物の欠陥検査をコンピュータに
    行わせるためのプログラムであって、 前記画像データ記憶手段に記憶された画像データにより
    表される画像の光学的特性が急変する部分であるエッジ
    と交差しないことが予定されたネガティブシークライン
    と、エッジと交差することが予定されたポジティブシー
    クラインとの少なくとも一方を設定するシークライン設
    定処理と、 そのシークライン設定処理により設定されたシークライ
    ンがポジティブシークラインである場合にはそのポジテ
    ィブシークラインがエッジと交差し、設定されたシーク
    ラインがネガティブシークラインである場合にはそのネ
    ガティブシークラインがエッジと交差しないという条件
    が満たされた場合に、前記検査対象物は合格であると判
    定し、その条件が満たされない場合に不合格であると判
    定する合否判定処理とを含むプログラムがコンピュータ
    により読み取り可能に記録された画像処理用記録媒体。
  10. 【請求項10】 画像処理対象物を撮像する撮像装置
    と、 その撮像装置により撮像した画像のデータである画像デ
    ータを記憶する画像データ記憶手段と、 その画像データ記憶手段に記憶された画像データに基づ
    いて画像処理対象物の位置,回転角度,寸法の少なくと
    も1つを測定する位置等測定手段と、 その位置等測定手段により測定された位置,回転角度,
    寸法の少なくとも1つを考慮した上で、前記画像処理対
    象物に予定外のエッジが存在するか否かに基づいて欠陥
    の有無を判定する欠陥判定手段とを含む画像処理装置。
JP10162459A 1998-06-10 1998-06-10 画像処理装置 Pending JPH11351827A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP10162459A JPH11351827A (ja) 1998-06-10 1998-06-10 画像処理装置
US09/317,845 US6640002B1 (en) 1998-06-10 1999-05-25 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10162459A JPH11351827A (ja) 1998-06-10 1998-06-10 画像処理装置

Publications (1)

Publication Number Publication Date
JPH11351827A true JPH11351827A (ja) 1999-12-24

Family

ID=15755027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10162459A Pending JPH11351827A (ja) 1998-06-10 1998-06-10 画像処理装置

Country Status (2)

Country Link
US (1) US6640002B1 (ja)
JP (1) JPH11351827A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002066989A (ja) * 2000-08-29 2002-03-05 Nec Machinery Corp プリント基板切断装置
JP2010256053A (ja) * 2009-04-22 2010-11-11 Visco Technologies Corp 形状欠損検査装置、形状モデリング装置および形状欠損検査プログラム
JP2013156671A (ja) * 2012-01-26 2013-08-15 Secom Co Ltd 画像監視装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466701B1 (en) * 1997-09-10 2002-10-15 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
JP4265876B2 (ja) * 2000-11-06 2009-05-20 富士フイルム株式会社 画像を幾何学的に計測するための計測処理装置
JP3566222B2 (ja) * 2001-03-29 2004-09-15 日本特殊陶業株式会社 突起状付着物検出方法及びそれを用いたスパークプラグの製造方法
US20040041912A1 (en) * 2002-09-03 2004-03-04 Jiabin Zeng Method and apparatus for video metrology
US7460167B2 (en) * 2003-04-16 2008-12-02 Par Technology Corporation Tunable imaging sensor
US8064730B2 (en) * 2003-09-22 2011-11-22 Asml Netherlands B.V. Device manufacturing method, orientation determination method and lithographic apparatus
US20050286753A1 (en) * 2004-06-25 2005-12-29 Triant Technologies Inc. Automated inspection systems and methods
JP4530763B2 (ja) * 2004-08-23 2010-08-25 富士機械製造株式会社 部品データ作成方法及び部品データ作成装置
CN101180549A (zh) * 2005-04-11 2008-05-14 株式会社爱德万测试 电子器件的处理设备
US7876977B2 (en) * 2006-02-15 2011-01-25 Conexant Systems, Inc. Image processor and method of image rotation
DE102006022878B3 (de) * 2006-05-15 2007-09-06 Sartorius Biotech Gmbh Verfahren und Detektionsvorrichtung zur bildgebenden Erfassung einer Probe
JP4270281B2 (ja) * 2007-01-16 2009-05-27 セイコーエプソン株式会社 画像処理のための装置、方法、および、プログラム
US8200042B2 (en) * 2007-01-31 2012-06-12 Olympus Corporation Endoscope apparatus and program
JP5295526B2 (ja) * 2007-01-31 2013-09-18 オリンパス株式会社 計測用内視鏡装置
WO2009096119A1 (ja) * 2008-01-29 2009-08-06 Advantest Corporation 電子部品ハンドリング装置および電子部品の位置検出方法
US7777871B2 (en) * 2008-04-29 2010-08-17 Acushnet Company Apparatus for measuring physical properties of golf balls and cores
US9224120B2 (en) * 2010-04-20 2015-12-29 Temptime Corporation Computing systems and methods for electronically indicating the acceptability of a product
CN102567981A (zh) * 2010-12-21 2012-07-11 鸿富锦精密工业(深圳)有限公司 影像拍摄偏差修正系统及方法
US9111147B2 (en) * 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
US9013714B2 (en) * 2011-12-06 2015-04-21 The Procter & Gamble Company Method of analyzing video or image data of an absorbent article
JP6136420B2 (ja) 2013-03-21 2017-05-31 富士通株式会社 設計支援装置、ビア追加方法、及びプログラム
JP6470506B2 (ja) * 2014-06-09 2019-02-13 株式会社キーエンス 検査装置
US20160343140A1 (en) * 2015-05-24 2016-11-24 Pointivo, Inc. Surveying and measurement methods and devices
DE102016120775A1 (de) 2015-11-02 2017-05-04 Cognex Corporation System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem
US10937168B2 (en) 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
CN108615245B (zh) * 2018-05-09 2021-11-30 歌尔光学科技有限公司 引线尺寸检测方法、装置及计算机可读存储介质
US10825137B2 (en) * 2019-01-15 2020-11-03 Datalogic IP Tech, S.r.l. Systems and methods for pre-localization of regions of interest for optical character recognition, and devices therefor
JP7230722B2 (ja) * 2019-07-24 2023-03-01 富士通株式会社 画像処理装置及び画像処理方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4399554A (en) 1980-08-21 1983-08-16 General Motors Corporation Method and apparatus for inspecting engine head valve retainer assemblies for missing keys
US4536856A (en) 1982-06-07 1985-08-20 Sord Computer Systems, Inc. Method of and apparatus for controlling the display of video signal information
US4581762A (en) * 1984-01-19 1986-04-08 Itran Corporation Vision inspection system
US4782238A (en) * 1987-10-20 1988-11-01 Eastman Kodak Company Apparatus for generating edge position signals for use in locating an address element on a mailpiece
US5168530A (en) * 1988-08-29 1992-12-01 Raytheon Company Confirmed boundary pattern matching
US5012524A (en) * 1989-02-27 1991-04-30 Motorola, Inc. Automatic inspection method
JP2941308B2 (ja) * 1989-07-12 1999-08-25 株式会社日立製作所 検査システムおよび電子デバイスの製造方法
JP2745764B2 (ja) 1990-03-08 1998-04-28 松下電器産業株式会社 位置認識装置
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5586058A (en) 1990-12-04 1996-12-17 Orbot Instruments Ltd. Apparatus and method for inspection of a patterned object by comparison thereof to a reference
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
US5805722A (en) * 1993-11-22 1998-09-08 Cognex Corporation Method and apparatus for locating, inspecting, and placing large leaded devices
US5754677A (en) * 1994-10-25 1998-05-19 Fuji Machine Mfg. Co., Ltd. Image processing apparatus
JP3794502B2 (ja) * 1994-11-29 2006-07-05 ソニー株式会社 画像領域抽出方法及び画像領域抽出装置
US5515159A (en) 1995-02-10 1996-05-07 Westinghouse Electric Corporation Package seal inspection system
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
US6141433A (en) * 1997-06-19 2000-10-31 Ncr Corporation System and method for segmenting image regions from a scene likely to represent particular objects in the scene

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002066989A (ja) * 2000-08-29 2002-03-05 Nec Machinery Corp プリント基板切断装置
JP4651789B2 (ja) * 2000-08-29 2011-03-16 キヤノンマシナリー株式会社 プリント基板切断装置
JP2010256053A (ja) * 2009-04-22 2010-11-11 Visco Technologies Corp 形状欠損検査装置、形状モデリング装置および形状欠損検査プログラム
JP2013156671A (ja) * 2012-01-26 2013-08-15 Secom Co Ltd 画像監視装置

Also Published As

Publication number Publication date
US6640002B1 (en) 2003-10-28

Similar Documents

Publication Publication Date Title
JPH11351827A (ja) 画像処理装置
US5694214A (en) Surface inspection method and apparatus
JPH0828402B2 (ja) 半導体チップと導体リード・フレームの検査及び位置合せのためのシステム及び方法
KR20090098893A (ko) 프로브 검사 장치, 위치 이탈 보정 방법, 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2006136923A (ja) レーザ加工機及びレーザ加工方法
JP3311135B2 (ja) 検査範囲認識方法
JP7135418B2 (ja) 平坦度検出方法、平坦度検出装置及び平坦度検出プログラム
JPS59119204A (ja) マ−ク位置検出方法
US6597806B1 (en) Image processing method and apparatus
US20080291468A1 (en) Apparatus and method for measuring height of protuberances
JP3721983B2 (ja) 三次元形状の欠陥検査方法
JP3678916B2 (ja) 非接触三次元測定方法
JP3620884B2 (ja) 画像処理装置
JP4185186B2 (ja) 撮像装置
JPH11351840A (ja) 非接触三次元測定方法
JPH11211420A (ja) 光学式寸法測定方法および装置
CN114942246A (zh) 基于3D共焦传感器检测MiniLED焊接质量的方法、设备
JP3272998B2 (ja) バンプ高さ良否判定装置
JP3823488B2 (ja) Icリード浮き検査装置及び検査方法
US5412477A (en) Apparatus for measuring bend amount of IC leads
JP3219094B2 (ja) チップサイズ検出方法およびチップピッチ検出方法およびチップ配列データ自動作成方法ならびにそれを用いた半導体基板の検査方法および装置
US7068378B2 (en) Apparatus and method for measuring amount of projection of abrasive grain on grinding tool
JP2021067537A (ja) 外観検査装置及び、不良検査方法
JPH0282367A (ja) 3次元形状検査装置
JPH10105719A (ja) 孔位置の光学的計測方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080415

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090401

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090623