JP3020973B2 - 画像処理方法 - Google Patents

画像処理方法

Info

Publication number
JP3020973B2
JP3020973B2 JP1343107A JP34310789A JP3020973B2 JP 3020973 B2 JP3020973 B2 JP 3020973B2 JP 1343107 A JP1343107 A JP 1343107A JP 34310789 A JP34310789 A JP 34310789A JP 3020973 B2 JP3020973 B2 JP 3020973B2
Authority
JP
Japan
Prior art keywords
clustering
fuzzy
image
data
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP1343107A
Other languages
English (en)
Other versions
JPH03204089A (ja
Inventor
英二 西守
利昭 信宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP1343107A priority Critical patent/JP3020973B2/ja
Priority to EP90314291A priority patent/EP0435660B1/en
Priority to DE69030869T priority patent/DE69030869T2/de
Publication of JPH03204089A publication Critical patent/JPH03204089A/ja
Priority to US08/174,174 priority patent/US5638460A/en
Application granted granted Critical
Publication of JP3020973B2 publication Critical patent/JP3020973B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はフアジイ理論を用いて入力画像を処理する画
像処理方法に関するものである。
〔従来の技術〕
従来、ある特徴量を基準データに基づいて評価する手
段の1つとしてクラスタリングの技術が知られている。
かかるクラスタリングは基準パターンと入力パターンと
のマツチングを行い、類似度の大きいものを所定の基準
パターンと同じクラスに分類するものである。
〔発明が解決しようとしている課題〕
しかしながら、上述のような従来のクラスタリングを
画像処理における入力画像の評価に用いる場合、特徴量
が一義的に、評価されると、誤認識が生じ、画像処理に
悪影響を及ぼす恐れがある。
また特開平1−180404号に開示される方法では基準パ
ターンと被検査パターンとを直接比較しているので基準
パターンを格納しておくメモリの容量が大きくなり、画
像処理を実行するためのハードウエアの構成が複雑にな
るという問題があり、さらにかかる従来の方法では、2
値画像データを直接比較しているので柔軟な判定ができ
ないという課題があった。
そこで本発明はかかる従来の課題に鑑み、簡単なハー
ドウエアで、対象物の誤認識の少ないクラスタリングを
用いた画像処理方法を提供することを目的とする。
<課題を解決する手段> 上述の目的を達成するために本発明の画像処理方法
は、入力画像データから対象物の形状に関する複数の特
徴量を抽出し、前記形状に関する複数の特徴量に基づい
てファジイクラスタリングによる第1の評価を行い、 入力画像データから対象物の位置に関する特徴量を抽
出し、前記位置に関する特徴量をファジイ集合で表し、
該ファジイ集合と基準パターンのファジイ集合との逆真
理値法を適用したマッチングにより第2の評価を行うこ
とを特徴とする。
〔実施例〕
本発明の好ましい実施例を図面を用いて説明する。
実施例1 本発明の第1の実施例のはんだ付け検査器を説明す
る。
第1図は、本実施例のはんだ付け検査器の全体構成を
示すブロツク図である。
第1図において、101は画像データをR,G,Bのアナログ
信号として読み取るCCDカメラ、102,103,104はアナログ
/デジタル変換器、105,106,107はそれぞれR,G,Bのデジ
タルデータを記憶するフレームメモリ、108はインタフ
エース、109は画素毎にR,G,Bの平均値を算出する平均化
回路、110は雑音除去部、111は領域抽出部、112は特徴
量抽出部、113は逆真理値限定法による演算を行う逆真
理値法演算部、114はフアジイクラスタリングによる演
算を行うフアジイクラスタリング演算部、115は基準パ
ターンを発生する基準パターン発生部、116は逆真理値
法による演算結果とフアジイクラスタリングによる演算
結果を結合するDempster結合部、117は最終的な判定結
果を出力する判定結果出力部、118はCCDカメラを回転さ
せ、あるいは2次元平面内で移動させるためのモータ、
119はモータ118の駆動やメモリのアドレス制御その他の
制御を行う制御部である。
CCDカメラ101から取り込まれたR(レツド)、G(グ
リーン)、B(ブルー)のアナログ画像信号は、A/D変
換器102,103,104でそれぞれ多値のデジタルデータに変
換され、フレームメモリ105,106,107に記憶される。こ
の画像データはインタフエース108を経て、平均化回路1
09で平均値データが算出される。次に雑音除去部110
で、ノイズ除去が行われ、領域抽出部111で特徴量を抽
出する領域を抽出する。抽出された領域に対して特徴量
抽出部112は位置情報、明るさ情報、形状情報などに関
する特徴量を抽出する。位置情報に関する特徴量は113
において逆真理値限定法により基準パターン発生部115
から送られた基準パターンとのマツチングが行われる。
一方明るさ情報、形状情報に関する特徴量は114におい
て、フアジイクラスタリングにより115からの基準パタ
ーンとのマツチングが行われる。この2つの演算結果は
Dempster結合部116において、Dempster−Shaferの結合
規則に従って合成され、確信度が高められた判定結果が
117から出力される。
第2図に本発明のはんだ付け付着状態検査の全体的な
処理流れを示す。
(ステツプ1) 画像入力部であるCCDカメラ101からICの1番目のリー
ド付近の画像を画素毎にR,G,B各色成分について8bitで
取り込む。
(ステツプ2) ステツプ1で入力されたR,G,Bデータの平均値(R+
G+B)/3をとり、白黒画像化する。ここで本実施例で
は、R,G,Bの3原色成分により読取ったが、例えばR,G,B
のいずれか単色成分を用いたり、輝度と色度の組み合わ
せとしてY,I,Qあるいは特にG(グリーン)信号はNDイ
メージに近いのでG単色成分を用いるようにすれば、装
置の簡素化を図ることができる。L,a,bなどの色
成分で入力し、輝度成分を用いるようにしても良い。こ
こで、単色画像を生成するのは、本実施例がはんだ付け
検査を目的とするものであり、その検査において、色彩
がさほど重要なパラメータでないことによるが、色度の
パラメータを加味して判定を行うこともできる。
(ステツプ3) ステツプ2で単色成分が抽出された画像に対し、次に
第1図雑音除去部110において雑音除去(孤立点除去)
が行われる。本実施例においては、第6のような9×9
画素のメデイアンフイルタを用いる。
メデイアンフイルタのアルゴリズムを第5図に示す。
すなわち、着目する1点についてのメデイアンフイルタ
の出力は、まず、その点を中心としたウインドウ(9×
9画素)をとり、ウインドウ内のデータを大きさ順に並
べ、順番が真中のものをこの点での値とする。この処理
を全画面について行なう。なお、メデイアンフイルタ以
外の手法(例えば平滑化フイルタなど)を用いることも
可能である。
また、フイルタサイズも9×9には限らない。
(ステツプ4) 次に第1図の領域抽出部111において、領域抽出が行
われる。領域抽出のアルゴリズムを第10図に示す。
雑音除去された画像データは、S1001において領域抽
出のため、2値化される。2値化の閾値を決めるために
は判別分析法を用いる(S1001)。判定分析法のアルゴ
リズムを第7図に示す。まず第8図に示すように、画像
の濃度のヒストグラムを作り、このヒストグラムをもと
に、分散σB 2(k)が最大にするような閾値kを繰り返
し計算により求める。そして、この閾値を使って画像デ
ータの2値化を行う。2値化された画像データは連結点
が調べられ、領域が抽出される(S1003)。次に各領域
について、ドツト数をカウントすることにより、面積を
計算し(S1004)、予め与えられた面積以下の小領域は
雑音とみなして除去する(S1006)。そして、残った領
域には、番号付け(ナンバリング)を行なう(S100
7)。番号付けを行なった後の画像が第9図である。
(ステツプ5) 番号付けされた各領域に対して、特徴量抽出部112に
おいて特徴量抽出を行なう。今回用いた特徴量を第10図
に示す。
第12図に示すように、各領域の2値画像からF1〜F18
の特徴量を第13図に示すように多値画像からF19〜F24
特徴量を計算する。各特徴量の計算方法について、以下
に示す。
外接長方形 以下の特徴量を算出する際に必要となる情報である。
領域の左、上、右、下端を通る垂直及び平行線で囲まれ
た長方形を外接長方形と呼ぶ(第14図参照)。
重心位置 大きさ、形状認識には直接的には関与しない情報であ
る。第14図の(XG,YG)が重心にあたる。
アスペクト比 縦横比とも呼ばれる形状認識に有効な従来から用いら
れている特徴量で、aの外接長方形により次式のように
求められる。
アスペクト比=|YU−YD|/|XR−XL| X平均長さ:X最大長さ、Y平均長さ:Y最大長さ 領域の座標軸への射影を求め、その強度分布(周辺分
布と呼ぶ)のX(Y)方向の平均長さXmean(Ymean)と
X(Y)方向の最大長さXmax(Ymax)の比で示す特徴
量。
面積 領域部分の全ての画素数を計数して面積とする。
大きさに関与し、形状には関与しない特徴量である。
面積密度 で求めた面積と、で求めた外接長方形の面積との
比で表す特徴量。
X方向偏り、Y方向偏り b重心がa外接長方形内でX(Y)方向にどのくらい
偏っているかを示す特徴量。各々、 |XG−XL|/|XR−XL|,|YG−YU|/|YD−YU| で計算される。
周囲長 領域の輪郭の長さで示される情報である。
サイズ 面積と周囲長の情報により、2×面積/周囲長で
示される特徴量である。
周面比 面積と周囲長の情報により、(周囲長)2/面積で
示される従来より用いられている特徴量である。
X軸周辺分布分散、Y軸周辺分布分散 周辺分布においてX、Y軸各々に対しての分散で示さ
れる特徴量。
多値画像から求められる特徴量は、以下の特徴量であ
る。
平均、分散 その領域における画素の濃淡値の平均及び分散で示さ
れる特徴量。
有界変動量(BVQ) 有界変動量はパターンの局所的性質を反映した計数量
の少ない特徴量として、数学における有界変動関数の全
変動の概念を応用して定義されたものである。デイジタ
ル濃淡画像配列Pの有界変動量は次のようにして計算で
きる。θ=0゜の場合、領域番号配列PNを横方向に1個
づつ探索して、隣接する2個が同一領域番号の時のみ、
対応する隣接2画素の濃淡差の絶対値をSDj|θ=0゜に
加え、絶対差分総和SDj|θ=0゜を計算する。
また同時に、そのときの差分演算回数Dj|θ=0゜を
求めておき、全画面の処理終了後、領域jごとにθ=0
゜方向の有界変動量BVQj|θ=0゜を計算する。
SDj|θ=0゜=Σ{|P(I,J−1)−P(I,J)| :PN(I,J−1)=PN(I,J)} BVQj|θ=0゜=SDj|θ=0゜/Dj|θ=0゜ θ=45゜ 90゜ 135゜のときもPNの検索方向がθ方向
に変化するだけで同様の計算を行う。
以上の様な画像入力(S1)から特徴量抽出(S5)まで
の処理をすべてのICリードについて繰り返す。第4図
(a)は、ICを示す図であり、その斜線部を拡大したの
が第4図(b)である。第4図(b)において305は、
はんだ付けのされない空間部分、306は基板の部分、307
はICリード部である。S1の画像入力は第4図(b)につ
いて行い、上述の処理を第4図(a)のすべてのICリー
ドについて繰り返し特徴量を抽出し、メモリに保存す
る。
このようにすべてのICリードについて特徴を抽出する
ため、本実施例の検査装置は、第3図(a)のような構
成になっている。即ち、301が検査対象を載せる。プレ
ート302は検査対象の基板、303はCCDカメラ、304はCCD
カメラ移動部、305がベルトコンベアである。
CCDカメラ移動部304は、CCDカメラ303をX方向、Y方
向に移動、θ方向に回転させ、ICリードすべての画像入
力ができるようにしている。
次に上で求めた特徴量と、基準パターンとのマツチン
グを行ない、入力パターンはどのパターンに所属するか
を求める。本実施例で用いた基準パターンは、 正常(リード部)正常(はんだ部)浮き浮き気
味ブリツジはんだボールはんだ不足(リード部)
はんだ不足(はんだ部)の8種類である。
第15図〜第20図にそれぞれ、正常、浮き、浮き気味、
ブリツジ、はんだボール、はんだ不足の2値化画像の例
を示す。
(ステツプ7) 上述の特徴量のうち、形状に関するもの(F7〜F18
及び、明るさに関するもの(F19〜F24)について、フア
ジイクラスタリング演算部114において付加データフア
ジイクラスタリング法を適用し、入力画像がどの状態に
どれだけ属するかについての“第1の証拠”を計算す
る。
基準となるパターンデータは本実施例においては正
常(リード部)正常(はんだ部)浮き浮き気味
ブリツジ はんだボール はんだ不足(リード
部)はんだ不足(はんだ部)の8種類を用いた。これ
らの基準パターンデータはそれぞれ経験的に得られた典
型的なサンプルを選び出し、これらに対して前述と同様
の画像処理(平均化、雑音除去等)を行い、得られた特
徴量(F1〜F24)を基準パターンベクトルとして基準パ
ターン発生部115から入力し、内部知識として蓄える。
ここで基準ベクトルは例えば、複数のサンプルから統
計的に得られた数値でもよく、また、最もマツチングし
たい典型的な1サンプルから得られた数値であってもよ
い。以下に付加データフアジイクラスタリング法のアル
ゴリズムについて述べる。
教師なしパターン認識の分野においては、扱うべきデ
ータ集合のそれぞれのデータ・ベクトルが予め定められ
たどのクラスタに属しているかを決定するクラスタリン
グ手法が用いられている。クラスタリングとは、与えら
れた多次元データ集合を、そのデータ集合の構造のみか
ら「似ている」データ同士を同一のクラスタにまとめ、
指定された任意の数のクラスタに分割することである。
1つのクラスタは、与えられたデータ集合内の1つの部
分集合であり、分割とはクラスタの族を形成することで
ある。各データは、その分割のうちただ1個のクラスタ
のみに帰属するという特性を持つ。
しかし、パターン認識では、認識主体である人間が見
たり聞いたりする事柄を扱う対象にしているため、人間
の主観や個性など複雑な要素が関係してくる。すなわ
ち、扱う対象の性質に真為の2値のみでは説明できない
あいまいさが存在し、そのあいまいさを一般的には多様
性に富んだかなり複雑なものである。このように人間の
判断が関与してくる分野では{0,1}の2値評価だけで
は充分な説明がつかない場合も多く、中間のあいまい状
態も積極的に取り入れた{0,1}多値評価の理論が検討
されている。この{0,1}多値評価の概念をクラスタリ
ングに導入したものがフアジイ・クラスタリングであ
る。
いまn個の分類対象(個体と呼ぶことにする)を、 E={o1,o2…,oi,…on} または{1,2,…,i,…,n} (1) で表す。また、第i個体のp変量観測ベクトルを、 xi(xi1,xi2,…,xi1,…,xip) で表し多変量データ行列全体を、 X=(x1,x2,…,xi,…,xn) (2) と書く。いま個体の集合Eを適当に分割して互いに排反
な空でないc個のクラスタ(つまりフアジイ部分集合)
が与えられたものとする。これを、 で表す。
いま(3)式のようなc個の分割に対して、各個体が
各クラスタに所属する度合を次の行列で表す。
U=(uji) (j=1,2,…,c;i=1,2,…,n) (4) ここで、 である。
つまりujiがメンバーシツプ関数であり、これで個体
iがクラスタに所属する度合を示す。このとき次の
関数の最適化を考える。
ここで、1<p<∞に対して、 であり、vjはクラスタの平均ベクトルである。い
ま、p=1,uij∈{0,1}と考えるといわゆる通常のk=
means法となり、J1は平均和基準そのものである。p=
1,2に対して(5)式のJpを最小化する重み係数が
(6),(7)式の形により与えられることは典型的な
極値問題としてラグランジユの未定係数法などを使って
示すことができる。そしてこれを一般のpにまで拡張を
はかったアルゴリズムを要約すると次のようになる。
クラスタ数c,べき指数pを設定する。Uの初期条件U(0)
を適当に与え、反復回数L=0とする。
(7)式により平均ベクトルvj (L)(j=1,2,…,c)を
計算する。
(6)式によりU(L)を更新する。
適当な収束判定値εを与えて、|U(L+1)−U(L)|≦εとな
れば計算終了。そうでなければ、L=L+1として に戻る。
フアジイk−means法を画像データに応用した場合、
類似したパターンのデータ集合の分類がうまくできない
という欠点や、孤立したデータ(すなわちデータ数の少
ないクラスタ)は他の(データ数の多い)クラスタに含
まれてしまうという欠点がある。この点を改善するため
に(5)式に基準パターン・ベクトルsjを導入して
(8)式を目的関数とする方法が提案されている。
gi∈〔0,1〕 ただし、gi∈(0,1) sjを与えた場合 gj=0 sjを与えない場合 予め分類したいパターン(クラスタ)の代表となりう
るいくつかのベクトルを{sj}として与えておく。これ
は一種のパターンマツチングと考えることができる。こ
の手法はPedryczの手法と比較して、sjを最高でもクラ
スタ数c個だけ与えればよく、与えるデータ数も少なく
てすむ。
また、giはクラスタに関するフアジイk−means
法でのクラスタリングとsjを与えた場合の一種のマツチ
ングによるクラスタリングとの比を表すパラメータであ
る。gi=0の場合にはフアジイk−means法と同一であ
り、gj=1の場合にはsjと各データxiへの距離によるク
ラスタリングとなる。gj=1/2の場合には両クラスタリ
ングの重み付けが等しいクラスタリングである。
最終的に得られたUの要素ujiによって個体iがクラ
スタに所属する度合が分かる。通常のk−means法であ
れば求めたクラスタ集合Г={S1,S2,…,Sj,…,Sc}に
対し、ある個体iがSjに所属しているか(uji=1)、
所属していないか(uji=0)を知るだけであるが、こ
の方式によると各クラスタへの所属の度合を知ることが
できる。
今回のシミユレーシヨンでは、式(8)においてp=
1.3 c=8 n=87 gj=0.9を用いている。
付加フアジイデータクラスタリング法の原理を様式的
に示したのが、第21図である。図示するためにパラメー
タは2個(2次元)としたが、実際には18個(18次元)
ある。
付加フアジイデータクラスタリングにおいては、複数
のリードに関する画像の画像処理して求めた特徴量を同
時に処理する。これにより、似たパターンどうしをまと
めるクラスタリングと基準パターンとのマツチングを同
時に行ったのと同様の効果が得られる。また、従来のク
ラスタリング法(ハード・クラスタリング)では、ある
入力データは必ずどれか1つのクラスタに含めることし
かできなかったが、フアジイクラスタリングでは複数の
クラスタにそれぞれどれだけの度合で含まれるというこ
とを表わすことができる。したがって、クラスタリング
だけで、正確に判断できない場合にも、あいまいさを残
しておき、後に他の情報を合わせて判断することができ
る。
第21図において、a,b,cはそれぞれ正常(リード
部)、浮き、はんだボールの基準パターンであり、+は
入力画像データから求めた特徴量である。一方、A,B,C
はそれぞれ従来のクラスタリングにおけるクラスタ結果
を示すものである。即ち、特徴量211,212は、“浮き”
というクラスタBに属し、213はいずれのクラスタにも
属さず、214は“はんだボール”というクラスタCに属
し、215は、“正常”というクラスタAに属する。この
ように、従来のクラスタリングにおいては、ある特徴量
に対しては、いずれかのクラスタに属するか又はいずれ
のクラスタにも属さないか一義時に決められていた。こ
れに対し、本発明のフアジイクラスタリングによれば、
例えば211がA,Cに属する度合いも考慮して、あいまいさ
を残しておくことにより、別の情報を合わせて判断する
ことにより、検査精度を向上させることができる。
位置に関する特徴量(F1〜F6)については逆真理値限
定法演算部113において、逆真理値限定法を適用し、前
記〜に関する。“第2の証拠”を計算する。すなわ
ち第22図(a)に示すように位置情報をフアジイ集合で
表し、基準パターンのフアジイ集合とのマツチングを行
なう。
このマツチングの取り方に数値的真理値による逆真理
値限定法を用いた。ここで、この逆真理値限定法につい
て簡単に述べる。いま、A,Bをフアジイ集合とし、“X i
s A"という命題の数値的真理値がtである時、次のよう
なBを求めるのが真理値限定である。
(“X is A"is t)=(X is B) ここでAとBが与えられたとき、tを推定するのが逆真
理値限定法である。上記の提案によればtは次式で表さ
れる。
t={Sup(A∩B)+Inf(A∪B)}/2 ここにSupはメンバーシツプ関数の最大値、Infは最小値
を意味する。また、A,Bはともにnormal,convexとする。
この方法でtは第22図(b)のような言語的意味を有す
る。
第23図に具体的な計算例を示す。
逆真理値限定法の結果tには、2次元平面上のX方向
に関するtx(第25図S251)とY方向に関するty(第25図
S256)があるので、最終結果として、積演算を行ない、 t=min(tx,tY) (9) を用いる(S254)。
位置の特徴量に逆真理値限定法を用いる理由は、以下
に示す通りである。
第24図において、リードは領域IIに、はんだは領域II
Iに入るように装置が構成されている。この場合、領域
Iに入るものはブリツジ、はんだボール等の欠陥にな
る。これらの欠陥は位置に任意性があるのでクラスタリ
ングの方法で分類するのは困難である。すなわち本来、
ブリツジやはんだボール等はないのが正常であり、大部
分の場合には検出しないが、これらが生じる場合にはど
こに生じるかは不確定だからである。また、リード、は
んだにも多少の位置ずれがあるため、位置ずれを許容で
きる方法が望ましい。このため、本方法では、位置のマ
ツチングに付加データフアジイクラスタリングの代わり
に逆真理値限定法を用いた。
(ステツプ9) 最後に、付加データフアジイクラスタリングの結果と
逆真理値限定法の結果を独立な基本確率としてDempster
の結合規則を用いて結合する(第25図S255)。
その計算式は であらわされる。
ここで、m1(A1i)、(i=1,2,・・・8)はi番目
の基準パターンに関する付加データフアジイクラスタリ
ングの結果であり m2(A2j)、(j=1,2,…,8)はj番目の基準パターン
に関する逆真理値限定法の結果。
m(Ak)(k=1,2,…,8)は結合された結果である。
また、分子はA1jとA2jの積集合Akにそれぞれ基本確率
の積を割り当てることを意味し、分母は矛盾する推論の
結合の場合はA1jとA2jの積集合が空集合となる場合があ
るので、これらを除外し正規化している。2個以上の基
本確率の結合は、もしそれらが独立な証拠より得られた
ものであれば、(10)式を順次適用することによって実
現される。
最初の領域についてDempster結合を行ったあと、逆真
理値限定法、付加データフアジイクラスタリングを1ピ
ン当たりのすべての領域について繰り返す(S256)。あ
る1画面(1ピン)についての処理結果例を第26図に示
す。この中には32の領域があり、それぞれの領域で8種
類の基準パターンに関するDempsterの結合結果が求めら
れる。
(ステツプ10) 最終的な評価は、1ピン当りの全ての領域で最大の結
果を用いて判定結果出力部117から出力される。例え
ば、浮きに関しては、領域1,2,3の結果は0.13,0.634,0.
001であるので、最大値の0.634=63.4%が結果となる。
この結果は、浮きの可能性が63.4%、浮き気味の可能性
が30.4%というように評価する。
以上の処理がすべてのピンについて繰り返され(S25
8)、最終的にその基板のはんだ付けの良否の判断が行
われる。
最終的な判断は、以下の通り行われる。
まず、ピン毎の評価については、前述の評価結果のう
ち浮き、浮き気味、ブリツジ、半田ボール、不足(リー
ド部)、不足(はんだ部)の6つの不良項目の可能性の
最大値が60%以上の場合にそのピンを不良と評価する。
次に、すべてのピンのうち少くとも1本のピンについ
て、不良と判断された場合にその基板を不良と判断す
る。
そして、不良と判断された基準については、インライ
ンの場合には、ソート手段によりラインから取り除いた
り、あるいは、ランプやブザーで警告するようにしても
よい。
最終的なデータの取り扱いは上の場合に限らず、例え
ば、基本的には正常(リード部)、正常(はんだ部)の
データを優先的に評価に用い、不良項目が1つでも60%
以上の場合には、不良として処理するようにしてもよ
い。
〔実施例1の効果〕 従来の(2値の)クラスタリング(k−means法)に
おいては、あるクラスタ集合に属するか、属さないかを
知るだけであり、あいまいな帰属度は許されないから中
間状態にあるデータも無理やりどちらかのクラスタ集合
に帰属させなければならない。そのため誤認識を起こし
たり、柔軟な評価ができなかった。
これに対し、本実施例においてはフアジイ・クラスタ
リングを用い、さらに逆真理値限定法及びそれらを統合
するのにDempsterの結合規則を用いることにより以下の
ような効果を得ることができる。
誤判定が減少する。
すなわちハード・クラスタリングを行う場合にくらべ
て、本実施例によるフアジイクラスタリングによれば判
定精度が格段に向上する。
更に、逆真理値限定法の出力と付加データフアジイク
ラスタリングの出力はDempsterの結合規則を使って結合
され、単独のものよりより高い確信度が得られる。
柔軟な評価が可能となる。
ハード・クラスタリングでは{0,1}の評価のため、
例えばはんだ不足か、不足でないかしか分からないが、
フアジイ処理でははんだ不足がどの程度生じているかが
分かり、その後の処理に幅を持たせることができる。
あいまいさを自由に設定できる。
(8)式のpの値を変えることによりクラスタリング
のあいまいさを設定することができる。pを大きくする
ことによりあいまい度を大きくすることができる。ま
た、クラスタリングを行うには、最初に初期条件U(0)
与えなければならないが、その初期条件の与え方により
クラスタリングの結果が変わってくる。特に、ハード・
クラスタリングの場合にはその傾向が強い。しかし、フ
アジイ・クラスタリングの場合、最初にpを大きくして
おいてあいまいに分類し、次にpを小さくして再び分類
することにより初期条件の違いにまったく左右されない
結果が得られる。
実施例2 第27図は本発明の第2の実施例の構成を示すブロツク
図である。基本的構成は、第1の実施例と同様である
が、本実施例においては、CCDカメラ101を移動、回転す
るため手段は有さず、フレームメモリ105〜107にICの全
体を読み取った画像データを格納しておき、CPU119によ
るフレームメモリ105〜107からの読み出しのアドレスを
制御することによりピン毎の判定を行うことができるよ
うにしたものである。
本実施例によれば、CCDカメラあるいは、基板を載せ
たテーブルを移動、回転する手段が不要となり、装置全
体の構成を簡素化することができる。
なお、実施例1においては、CCDカメラを移動・回転
させることにより、1個の基板についてのすべてのICリ
ードの画像入力を行うようにしたが、例えば第3図
(a)で基板302を載せたテーブル301をX−Yテーブル
としモータで移動、回転するようにしてもよい。
また、上記入力手段は、CCDカメラ(エリアセンサ)
のほか、CCDセンサ、フォトマルなどであってもよい。
また、位置情報の評価にあったては逆真理値法でな
く、例えばフアジイ推論など、他の評価手段を用いても
よい。
また、上述の2つの評価手段(フアジイクラスタリン
グと逆真理値法)の結合にはDempsterの結合規則ではな
く、例えば両評価手段の重み付け平均や最大値、最小値
をとるなど他の結合方法を用いてもよい。
また、特徴量も、位置情報、形状情報、明るさ情報に
限らず、色情報(色層や彩度など)や、ドツト配置情報
など他の特徴量を抽出してもよいのは勿論である。
また、上述の実施例のはんだ付け検査に限らず、本発
明のアルゴリズムは例えば、画像のパターンマツチン
グ、画像域分離など画像の特徴量に応じた他のあらゆる
評価にも適用することができる。
<発明の効果> 以上説明したように本発明に依れば画像に含まれる対
象物の形状に関する特徴量に基づいたファジイクラスタ
リングと、前記対象物の位置に関する特徴量をファジイ
集合で表し、基準パターンのファジイ集合とのマツチン
グのための逆真理値法とにより評価を行っているので、
少ない規模のハードウエアによって、誤認識が少なく精
度良く、対象物の評価処理を行うことができる。
【図面の簡単な説明】
第1図は、本発明の第1の実施例の基板実装検査装置の
全体ブロツク図、 第2図は、本発明の第1の実施例の検査のアルゴリズム
を示すフローチヤート 第3図は、検査装置の外観図、 第4図は、ICチツプの拡大図、 第5図は、雑音除去のフローチヤート、 第6図は、ウインドウを示す図、 第7図は、判別分析法のフローチヤート、 第8図は、2値化方法を示す図、 第9図は、領域抽出例と番号付けを示す図、 第10図は、領域抽出のフローチヤート、 第11図は、抽出すべき特徴量を示す図、 第12図は、2値画像データの流れを示す図、 第13図は、多値画像データの流れを示す図、 第14図は、外接長方形と重心を示す図、 第15図は、正常なはんだ付けの2値化画像の例を示す
図、 第16図は、浮きの場合の2値化画像の例を示す図、 第17図は、浮き気味の場合の2値化画像の例を示す図、 第18図は、ブリツジのある場合の2値化画像の例を示す
図、 第19図は、はんだボールのある場合の2値化画像の例を
示す図、 第20図は、はんだ不足の場合の2値化画像の例を示す
図、 第21図は、フアジイクラスタリングの原理を示す図、 第22図は、逆真理値限定法を説明する図、 第23図は、逆真理値限定法の適用の具体的例を示す図、 第24図は、抽出された領域を示す図、 第25図は、Dempsterの結合のフローチヤート、 第26図は、Dempster結合結果を示す図、 第27図は、本発明の第2の実施例の基板実装検査装置の
構成を示すブロツク図である。 113……逆真理値限定法演算部 114……フアジイクラスタリング演算部 115……Dempster結合部
フロントページの続き (56)参考文献 特開 平1−180404(JP,A) 寺野,他,「ファジィシステム入 門」、オーム社 昭和62年4月30日 P.196−202,233−243 寺野,他,「応用ファジィシステム入 門」、オーム社 平成1年5月25日 P.86−87

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】入力画像データから対象物の形状に関する
    複数の特徴量を抽出し、前記形状に関する複数の特徴量
    に基づいてファジイクラスタリングによる第1の評価を
    行い、 入力画像データから対象物の位置に関する特徴量を抽出
    し、前記位置に関する特徴量をファジイ集合で表し、該
    ファジイ集合と基準パターンのファジイ集合との逆真理
    値法を適用したマッチングにより第2の評価を行うこと
    を特徴とする画像処理方法。
  2. 【請求項2】更に前記第1、第2の評価手段による評価
    結果を結合することを特徴とする請求項1記載の画像処
    理方法。
JP1343107A 1989-12-29 1989-12-29 画像処理方法 Expired - Fee Related JP3020973B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP1343107A JP3020973B2 (ja) 1989-12-29 1989-12-29 画像処理方法
EP90314291A EP0435660B1 (en) 1989-12-29 1990-12-24 Method of evaluating objects based upon image processing, and inspection apparatus using said method
DE69030869T DE69030869T2 (de) 1989-12-29 1990-12-24 Bildverarbeitungsverfahren zur Bewertung von Objekten und Vorrichtung zur Qualitätsprüfung zur Durchführung des Verfahrens
US08/174,174 US5638460A (en) 1989-12-29 1993-12-29 Method of evaluating object based upon image processing and inspection apparatus using said method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1343107A JP3020973B2 (ja) 1989-12-29 1989-12-29 画像処理方法

Publications (2)

Publication Number Publication Date
JPH03204089A JPH03204089A (ja) 1991-09-05
JP3020973B2 true JP3020973B2 (ja) 2000-03-15

Family

ID=18358994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1343107A Expired - Fee Related JP3020973B2 (ja) 1989-12-29 1989-12-29 画像処理方法

Country Status (1)

Country Link
JP (1) JP3020973B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338576B1 (ko) * 2005-12-26 2013-12-06 가부시키가이샤 니콘 화상 해석에 의해서 결함 검사를 실시하는 결함검사장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6802694A (en) * 1993-05-28 1994-12-20 Axiom Bildverarbeitungssysteme Gmbh An automatic inspection apparatus
JP3421469B2 (ja) * 1995-03-09 2003-06-30 Kddi株式会社 類似画像の検索装置および方法
US6529621B1 (en) * 1998-12-17 2003-03-04 Kla-Tencor Mechanisms for making and inspecting reticles
US6894262B2 (en) * 2002-01-15 2005-05-17 Hewlett-Packard Development Company L.P. Cluster-weighted modeling for media classification
US9211058B2 (en) 2010-07-02 2015-12-15 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
US10682198B2 (en) 2010-07-02 2020-06-16 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
CN104568770B (zh) * 2014-12-09 2017-07-18 江苏大学 无监督可能模糊学习矢量量化的生菜品种光谱鉴别方法
JP2017150935A (ja) * 2016-02-24 2017-08-31 コニカミノルタ株式会社 光特性測定システムおよび測定用光学装置
CN112750143B (zh) * 2020-12-02 2024-04-26 上海海洋大学 一种基于极值法的茎柔鱼形态特征提取方法
CN116990323B (zh) * 2023-09-26 2023-12-05 睿同科技有限公司 一种高精密印刷版视觉检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
寺野,他,「ファジィシステム入門」、オーム社 昭和62年4月30日 P.196−202,233−243
寺野,他,「応用ファジィシステム入門」、オーム社 平成1年5月25日 P.86−87

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338576B1 (ko) * 2005-12-26 2013-12-06 가부시키가이샤 니콘 화상 해석에 의해서 결함 검사를 실시하는 결함검사장치

Also Published As

Publication number Publication date
JPH03204089A (ja) 1991-09-05

Similar Documents

Publication Publication Date Title
Liu et al. FPCNet: Fast pavement crack detection network based on encoder-decoder architecture
US6148099A (en) Method and apparatus for incremental concurrent learning in automatic semiconductor wafer and liquid crystal display defect classification
US5987158A (en) Apparatus for automated identification of thick cell groupings on a biological specimen
Ruz et al. A neurofuzzy color image segmentation method for wood surface defect detection
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
EP0435660B1 (en) Method of evaluating objects based upon image processing, and inspection apparatus using said method
CN111860439A (zh) 一种无人机巡检图像缺陷检测方法、系统及设备
CN109975196B (zh) 一种网织红细胞检测方法及其系统
CN115578374A (zh) 一种机械零件铸造质量评估方法与系统
JP3020973B2 (ja) 画像処理方法
CN111242046B (zh) 一种基于图像检索的地面交通标志识别方法
Sobrevilla et al. White blood cell detection in bone marrow images
KR101048582B1 (ko) 칼라 이미지에서 얼굴들을 검출하기 위한 방법 및 디바이스
CN112464983A (zh) 一种用于苹果树叶病害图像分类的小样本学习方法
Chang et al. An unsupervised neural network approach for automatic semiconductor wafer defect inspection
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN115485740A (zh) 异常晶片图像分类
JP2840347B2 (ja) 基板実装検査装置
CN115620075A (zh) 白细胞分类模型用数据集的生成方法、系统及设备
CN115272350A (zh) 一种计算机pcb主板生产质量检测方法
CN117522864B (zh) 基于机器视觉的欧松板表面瑕疵检测方法
CN117173147A (zh) 钢带加工用表面处理设备及其方法
Chang et al. Learning vector quantization neural networks for LED wafer defect inspection
CN115471494A (zh) 基于图像处理的沃柑质检方法、装置、装备及存储介质

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees