JP3020973B2

JP3020973B2 - 画像処理方法

Info

Publication number: JP3020973B2
Application number: JP1343107A
Authority: JP
Inventors: 英二西守; 利昭信宮
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1989-12-29
Filing date: 1989-12-29
Publication date: 2000-03-15
Anticipated expiration: 2015-03-15
Also published as: JPH03204089A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明はフアジイ理論を用いて入力画像を処理する画
像処理方法に関するものである。

〔従来の技術〕

従来、ある特徴量を基準データに基づいて評価する手
段の１つとしてクラスタリングの技術が知られている。
かかるクラスタリングは基準パターンと入力パターンと
のマツチングを行い、類似度の大きいものを所定の基準
パターンと同じクラスに分類するものである。

〔発明が解決しようとしている課題〕

しかしながら、上述のような従来のクラスタリングを
画像処理における入力画像の評価に用いる場合、特徴量
が一義的に、評価されると、誤認識が生じ、画像処理に
悪影響を及ぼす恐れがある。

また特開平１−180404号に開示される方法では基準パ
ターンと被検査パターンとを直接比較しているので基準
パターンを格納しておくメモリの容量が大きくなり、画
像処理を実行するためのハードウエアの構成が複雑にな
るという問題があり、さらにかかる従来の方法では、２
値画像データを直接比較しているので柔軟な判定ができ
ないという課題があった。

そこで本発明はかかる従来の課題に鑑み、簡単なハー
ドウエアで、対象物の誤認識の少ないクラスタリングを
用いた画像処理方法を提供することを目的とする。

＜課題を解決する手段＞上述の目的を達成するために本発明の画像処理方法
は、入力画像データから対象物の形状に関する複数の特
徴量を抽出し、前記形状に関する複数の特徴量に基づい
てファジイクラスタリングによる第１の評価を行い、入力画像データから対象物の位置に関する特徴量を抽
出し、前記位置に関する特徴量をファジイ集合で表し、
該ファジイ集合と基準パターンのファジイ集合との逆真
理値法を適用したマッチングにより第２の評価を行うこ
とを特徴とする。

〔実施例〕

本発明の好ましい実施例を図面を用いて説明する。

実施例１本発明の第１の実施例のはんだ付け検査器を説明す
る。

第１図は、本実施例のはんだ付け検査器の全体構成を
示すブロツク図である。

第１図において、101は画像データをR,G,Bのアナログ
信号として読み取るCCDカメラ、102,103,104はアナログ
／デジタル変換器、105,106,107はそれぞれR,G,Bのデジ
タルデータを記憶するフレームメモリ、108はインタフ
エース、109は画素毎にR,G,Bの平均値を算出する平均化
回路、110は雑音除去部、111は領域抽出部、112は特徴
量抽出部、113は逆真理値限定法による演算を行う逆真
理値法演算部、114はフアジイクラスタリングによる演
算を行うフアジイクラスタリング演算部、115は基準パ
ターンを発生する基準パターン発生部、116は逆真理値
法による演算結果とフアジイクラスタリングによる演算
結果を結合するDempster結合部、117は最終的な判定結
果を出力する判定結果出力部、118はCCDカメラを回転さ
せ、あるいは２次元平面内で移動させるためのモータ、
119はモータ118の駆動やメモリのアドレス制御その他の
制御を行う制御部である。

CCDカメラ101から取り込まれたＲ（レツド）、Ｇ（グ
リーン）、Ｂ（ブルー）のアナログ画像信号は、A/D変
換器102,103,104でそれぞれ多値のデジタルデータに変
換され、フレームメモリ105,106,107に記憶される。こ
の画像データはインタフエース108を経て、平均化回路1
09で平均値データが算出される。次に雑音除去部110
で、ノイズ除去が行われ、領域抽出部111で特徴量を抽
出する領域を抽出する。抽出された領域に対して特徴量
抽出部112は位置情報、明るさ情報、形状情報などに関
する特徴量を抽出する。位置情報に関する特徴量は113
において逆真理値限定法により基準パターン発生部115
から送られた基準パターンとのマツチングが行われる。
一方明るさ情報、形状情報に関する特徴量は114におい
て、フアジイクラスタリングにより115からの基準パタ
ーンとのマツチングが行われる。この２つの演算結果は
Dempster結合部116において、Dempster−Shaferの結合
規則に従って合成され、確信度が高められた判定結果が
117から出力される。

第２図に本発明のはんだ付け付着状態検査の全体的な
処理流れを示す。

（ステツプ１）画像入力部であるCCDカメラ101からICの１番目のリー
ド付近の画像を画素毎にR,G,B各色成分について8bitで
取り込む。

（ステツプ２）ステツプ１で入力されたR,G,Bデータの平均値（Ｒ＋
Ｇ＋Ｂ）/3をとり、白黒画像化する。ここで本実施例で
は、R,G,Bの３原色成分により読取ったが、例えばR,G,B
のいずれか単色成分を用いたり、輝度と色度の組み合わ
せとしてY,I,Qあるいは特にＧ（グリーン）信号はNDイ
メージに近いのでＧ単色成分を用いるようにすれば、装
置の簡素化を図ることができる。Ｌ^＊,a^＊,b^＊などの色
成分で入力し、輝度成分を用いるようにしても良い。こ
こで、単色画像を生成するのは、本実施例がはんだ付け
検査を目的とするものであり、その検査において、色彩
がさほど重要なパラメータでないことによるが、色度の
パラメータを加味して判定を行うこともできる。

（ステツプ３）ステツプ２で単色成分が抽出された画像に対し、次に
第１図雑音除去部110において雑音除去（孤立点除去）
が行われる。本実施例においては、第６のような９×９
画素のメデイアンフイルタを用いる。

メデイアンフイルタのアルゴリズムを第５図に示す。
すなわち、着目する１点についてのメデイアンフイルタ
の出力は、まず、その点を中心としたウインドウ（９×
９画素）をとり、ウインドウ内のデータを大きさ順に並
べ、順番が真中のものをこの点での値とする。この処理
を全画面について行なう。なお、メデイアンフイルタ以
外の手法（例えば平滑化フイルタなど）を用いることも
可能である。

また、フイルタサイズも９×９には限らない。

（ステツプ４）次に第１図の領域抽出部111において、領域抽出が行
われる。領域抽出のアルゴリズムを第10図に示す。

雑音除去された画像データは、S1001において領域抽
出のため、２値化される。２値化の閾値を決めるために
は判別分析法を用いる（S1001）。判定分析法のアルゴ
リズムを第７図に示す。まず第８図に示すように、画像
の濃度のヒストグラムを作り、このヒストグラムをもと
に、分散σ_B ²（ｋ）が最大にするような閾値ｋを繰り返
し計算により求める。そして、この閾値を使って画像デ
ータの２値化を行う。２値化された画像データは連結点
が調べられ、領域が抽出される（S1003）。次に各領域
について、ドツト数をカウントすることにより、面積を
計算し（S1004）、予め与えられた面積以下の小領域は
雑音とみなして除去する（S1006）。そして、残った領
域には、番号付け（ナンバリング）を行なう（S100
7）。番号付けを行なった後の画像が第９図である。

（ステツプ５）番号付けされた各領域に対して、特徴量抽出部112に
おいて特徴量抽出を行なう。今回用いた特徴量を第10図
に示す。

第12図に示すように、各領域の２値画像からF₁〜F₁₈
の特徴量を第13図に示すように多値画像からF₁₉〜F₂₄の
特徴量を計算する。各特徴量の計算方法について、以下
に示す。

外接長方形以下の特徴量を算出する際に必要となる情報である。
領域の左、上、右、下端を通る垂直及び平行線で囲まれ
た長方形を外接長方形と呼ぶ（第14図参照）。

重心位置大きさ、形状認識には直接的には関与しない情報であ
る。第14図の（X_G,Y_G）が重心にあたる。

アスペクト比縦横比とも呼ばれる形状認識に有効な従来から用いら
れている特徴量で、ａの外接長方形により次式のように
求められる。

アスペクト比＝|Y_U−Y_D|/|X_R−X_L| Ｘ平均長さ:X最大長さ、Ｙ平均長さ:Y最大長さ領域の座標軸への射影を求め、その強度分布（周辺分
布と呼ぶ）のＸ（Ｙ）方向の平均長さXmean（Ymean）と
Ｘ（Ｙ）方向の最大長さXmax（Ymax）の比で示す特徴
量。

面積領域部分の全ての画素数を計数して面積とする。

大きさに関与し、形状には関与しない特徴量である。

面積密度で求めた面積と、で求めた外接長方形の面積との
比で表す特徴量。

周囲長領域の輪郭の長さで示される情報である。

サイズ面積と周囲長の情報により、２×面積／周囲長で
示される特徴量である。

周面比面積と周囲長の情報により、（周囲長）²/面積で
示される従来より用いられている特徴量である。

Ｘ軸周辺分布分散、Ｙ軸周辺分布分散周辺分布においてＸ、Ｙ軸各々に対しての分散で示さ
れる特徴量。

多値画像から求められる特徴量は、以下の特徴量であ
る。

平均、分散その領域における画素の濃淡値の平均及び分散で示さ
れる特徴量。

有界変動量（BVQ）有界変動量はパターンの局所的性質を反映した計数量
の少ない特徴量として、数学における有界変動関数の全
変動の概念を応用して定義されたものである。デイジタ
ル濃淡画像配列Ｐの有界変動量は次のようにして計算で
きる。θ＝０゜の場合、領域番号配列PNを横方向に１個
づつ探索して、隣接する２個が同一領域番号の時のみ、
対応する隣接２画素の濃淡差の絶対値をSD_j|θ＝０゜に
加え、絶対差分総和SD_j|θ＝０゜を計算する。

また同時に、そのときの差分演算回数D_j|θ＝０゜を
求めておき、全画面の処理終了後、領域ｊごとにθ＝０
゜方向の有界変動量BVQ_j|θ＝０゜を計算する。

SD_j|θ＝０゜＝Σ｛|P（I,J−１）−Ｐ（I,J）｜ :PN（I,J−１）＝PN（I,J）｝ BVQ_j|θ＝０゜＝SD_j|θ＝０゜/D_j|θ＝０゜ θ＝45゜ 90゜ 135゜のときもPNの検索方向がθ方向
に変化するだけで同様の計算を行う。

以上の様な画像入力（S1）から特徴量抽出（S5）まで
の処理をすべてのICリードについて繰り返す。第４図
（ａ）は、ICを示す図であり、その斜線部を拡大したの
が第４図（ｂ）である。第４図（ｂ）において305は、
はんだ付けのされない空間部分、306は基板の部分、307
はICリード部である。S1の画像入力は第４図（ｂ）につ
いて行い、上述の処理を第４図（ａ）のすべてのICリー
ドについて繰り返し特徴量を抽出し、メモリに保存す
る。

このようにすべてのICリードについて特徴を抽出する
ため、本実施例の検査装置は、第３図（ａ）のような構
成になっている。即ち、301が検査対象を載せる。プレ
ート302は検査対象の基板、303はCCDカメラ、304はCCD
カメラ移動部、305がベルトコンベアである。

CCDカメラ移動部304は、CCDカメラ303をＸ方向、Ｙ方
向に移動、θ方向に回転させ、ICリードすべての画像入
力ができるようにしている。

次に上で求めた特徴量と、基準パターンとのマツチン
グを行ない、入力パターンはどのパターンに所属するか
を求める。本実施例で用いた基準パターンは、正常（リード部）正常（はんだ部）浮き浮き気
味ブリツジはんだボールはんだ不足（リード部）
はんだ不足（はんだ部）の８種類である。

第15図〜第20図にそれぞれ、正常、浮き、浮き気味、
ブリツジ、はんだボール、はんだ不足の２値化画像の例
を示す。

（ステツプ７）上述の特徴量のうち、形状に関するもの（F₇〜F₁₈）
及び、明るさに関するもの（F₁₉〜F₂₄）について、フア
ジイクラスタリング演算部114において付加データフア
ジイクラスタリング法を適用し、入力画像がどの状態に
どれだけ属するかについての“第１の証拠”を計算す
る。

基準となるパターンデータは本実施例においては正
常（リード部）正常（はんだ部）浮き浮き気味
ブリツジはんだボールはんだ不足（リード
部）はんだ不足（はんだ部）の８種類を用いた。これ
らの基準パターンデータはそれぞれ経験的に得られた典
型的なサンプルを選び出し、これらに対して前述と同様
の画像処理（平均化、雑音除去等）を行い、得られた特
徴量（F₁〜F₂₄）を基準パターンベクトルとして基準パ
ターン発生部115から入力し、内部知識として蓄える。

ここで基準ベクトルは例えば、複数のサンプルから統
計的に得られた数値でもよく、また、最もマツチングし
たい典型的な１サンプルから得られた数値であってもよ
い。以下に付加データフアジイクラスタリング法のアル
ゴリズムについて述べる。

教師なしパターン認識の分野においては、扱うべきデ
ータ集合のそれぞれのデータ・ベクトルが予め定められ
たどのクラスタに属しているかを決定するクラスタリン
グ手法が用いられている。クラスタリングとは、与えら
れた多次元データ集合を、そのデータ集合の構造のみか
ら「似ている」データ同士を同一のクラスタにまとめ、
指定された任意の数のクラスタに分割することである。
１つのクラスタは、与えられたデータ集合内の１つの部
分集合であり、分割とはクラスタの族を形成することで
ある。各データは、その分割のうちただ１個のクラスタ
のみに帰属するという特性を持つ。

しかし、パターン認識では、認識主体である人間が見
たり聞いたりする事柄を扱う対象にしているため、人間
の主観や個性など複雑な要素が関係してくる。すなわ
ち、扱う対象の性質に真為の２値のみでは説明できない
あいまいさが存在し、そのあいまいさを一般的には多様
性に富んだかなり複雑なものである。このように人間の
判断が関与してくる分野では｛0,1｝の２値評価だけで
は充分な説明がつかない場合も多く、中間のあいまい状
態も積極的に取り入れた｛0,1｝多値評価の理論が検討
されている。この｛0,1｝多値評価の概念をクラスタリ
ングに導入したものがフアジイ・クラスタリングであ
る。

いまｎ個の分類対象（個体と呼ぶことにする）を、Ｅ＝｛o₁,o₂…,o_i,…o_n｝または｛1,2,…,i,…,n｝（１）で表す。また、第ｉ個体のｐ変量観測ベクトルを、 x_i（x_i1,x_i2,…,x_i1,…,x_ip）で表し多変量データ行列全体を、Ｘ＝（x₁,x₂,…,x_i,…,x_n）（２）と書く。いま個体の集合Ｅを適当に分割して互いに排反
な空でないｃ個のクラスタ（つまりフアジイ部分集合）
が与えられたものとする。これを、で表す。

いま（３）式のようなｃ個の分割に対して、各個体が
各クラスタに所属する度合を次の行列で表す。

Ｕ＝（u_ji）（ｊ＝1,2,…,c;i＝1,2,…,n）（４）ここで、である。

つまりu_jiがメンバーシツプ関数であり、これで個体
ｉがクラスタ_ｊに所属する度合を示す。このとき次の
関数の最適化を考える。

ここで、１＜ｐ＜∞に対して、であり、v_jはクラスタ_ｊの平均ベクトルである。い
ま、ｐ＝1,u_ij∈｛0,1｝と考えるといわゆる通常のｋ＝
means法となり、J₁は平均和基準そのものである。ｐ＝
1,2に対して（５）式のJ_pを最小化する重み係数が
（６），（７）式の形により与えられることは典型的な
極値問題としてラグランジユの未定係数法などを使って
示すことができる。そしてこれを一般のｐにまで拡張を
はかったアルゴリズムを要約すると次のようになる。

クラスタ数c,べき指数ｐを設定する。Ｕの初期条件U⁽⁰⁾
を適当に与え、反復回数Ｌ＝０とする。

（７）式により平均ベクトルv_j ^(L)（ｊ＝1,2,…,c）を
計算する。

（６）式によりU^(L)を更新する。

適当な収束判定値εを与えて、|U^(L+1)−U^(L)|≦εとな
れば計算終了。そうでなければ、Ｌ＝Ｌ＋１としてに戻る。

フアジイｋ−means法を画像データに応用した場合、
類似したパターンのデータ集合の分類がうまくできない
という欠点や、孤立したデータ（すなわちデータ数の少
ないクラスタ）は他の（データ数の多い）クラスタに含
まれてしまうという欠点がある。この点を改善するため
に（５）式に基準パターン・ベクトルs_jを導入して
（８）式を目的関数とする方法が提案されている。

g_i∈〔0,1〕ただし、g_i∈（0,1） s_jを与えた場合 g_j＝0 s_jを与えない場合予め分類したいパターン（クラスタ）の代表となりう
るいくつかのベクトルを｛s_j｝として与えておく。これ
は一種のパターンマツチングと考えることができる。こ
の手法はPedryczの手法と比較して、s_jを最高でもクラ
スタ数ｃ個だけ与えればよく、与えるデータ数も少なく
てすむ。

また、g_iはクラスタ_ｊに関するフアジイｋ−means
法でのクラスタリングとs_jを与えた場合の一種のマツチ
ングによるクラスタリングとの比を表すパラメータであ
る。g_i＝０の場合にはフアジイｋ−means法と同一であ
り、g_j＝１の場合にはs_jと各データx_iへの距離によるク
ラスタリングとなる。g_j＝1/2の場合には両クラスタリ
ングの重み付けが等しいクラスタリングである。

最終的に得られたＵの要素u_jiによって個体ｉがクラ
スタに所属する度合が分かる。通常のｋ−means法であ
れば求めたクラスタ集合Г＝｛S₁,S₂,…,S_j,…,S_c｝に
対し、ある個体ｉがS_jに所属しているか（u_ji＝１）、
所属していないか（u_ji＝０）を知るだけであるが、こ
の方式によると各クラスタへの所属の度合を知ることが
できる。

今回のシミユレーシヨンでは、式（８）においてｐ＝
1.3 ｃ＝８ｎ＝87 g_j＝0.9を用いている。

付加フアジイデータクラスタリング法の原理を様式的
に示したのが、第21図である。図示するためにパラメー
タは２個（２次元）としたが、実際には18個（18次元）
ある。

付加フアジイデータクラスタリングにおいては、複数
のリードに関する画像の画像処理して求めた特徴量を同
時に処理する。これにより、似たパターンどうしをまと
めるクラスタリングと基準パターンとのマツチングを同
時に行ったのと同様の効果が得られる。また、従来のク
ラスタリング法（ハード・クラスタリング）では、ある
入力データは必ずどれか１つのクラスタに含めることし
かできなかったが、フアジイクラスタリングでは複数の
クラスタにそれぞれどれだけの度合で含まれるというこ
とを表わすことができる。したがって、クラスタリング
だけで、正確に判断できない場合にも、あいまいさを残
しておき、後に他の情報を合わせて判断することができ
る。

第21図において、a,b,cはそれぞれ正常（リード
部）、浮き、はんだボールの基準パターンであり、＋は
入力画像データから求めた特徴量である。一方、A,B,C
はそれぞれ従来のクラスタリングにおけるクラスタ結果
を示すものである。即ち、特徴量211,212は、“浮き”
というクラスタＢに属し、213はいずれのクラスタにも
属さず、214は“はんだボール”というクラスタＣに属
し、215は、“正常”というクラスタＡに属する。この
ように、従来のクラスタリングにおいては、ある特徴量
に対しては、いずれかのクラスタに属するか又はいずれ
のクラスタにも属さないか一義時に決められていた。こ
れに対し、本発明のフアジイクラスタリングによれば、
例えば211がA,Cに属する度合いも考慮して、あいまいさ
を残しておくことにより、別の情報を合わせて判断する
ことにより、検査精度を向上させることができる。

位置に関する特徴量（F₁〜F₆）については逆真理値限
定法演算部113において、逆真理値限定法を適用し、前
記〜に関する。“第２の証拠”を計算する。すなわ
ち第22図（ａ）に示すように位置情報をフアジイ集合で
表し、基準パターンのフアジイ集合とのマツチングを行
なう。

このマツチングの取り方に数値的真理値による逆真理
値限定法を用いた。ここで、この逆真理値限定法につい
て簡単に述べる。いま、A,Bをフアジイ集合とし、“X i
s A"という命題の数値的真理値がｔである時、次のよう
なＢを求めるのが真理値限定である。

（“X is A"is t）＝（X is B）ここでＡとＢが与えられたとき、ｔを推定するのが逆真
理値限定法である。上記の提案によればｔは次式で表さ
れる。

ｔ＝｛Sup（Ａ∩Ｂ）＋Inf（Ａ∪Ｂ）｝/2 ここにSupはメンバーシツプ関数の最大値、Infは最小値
を意味する。また、A,Bはともにnormal,convexとする。
この方法でｔは第22図（ｂ）のような言語的意味を有す
る。

第23図に具体的な計算例を示す。

逆真理値限定法の結果ｔには、２次元平面上のＸ方向
に関するt_x（第25図S251）とＹ方向に関するt_y（第25図
S256）があるので、最終結果として、積演算を行ない、ｔ＝min（t_x,t_Y）（９）を用いる（S254）。

位置の特徴量に逆真理値限定法を用いる理由は、以下
に示す通りである。

第24図において、リードは領域IIに、はんだは領域II
Iに入るように装置が構成されている。この場合、領域
Ｉに入るものはブリツジ、はんだボール等の欠陥にな
る。これらの欠陥は位置に任意性があるのでクラスタリ
ングの方法で分類するのは困難である。すなわち本来、
ブリツジやはんだボール等はないのが正常であり、大部
分の場合には検出しないが、これらが生じる場合にはど
こに生じるかは不確定だからである。また、リード、は
んだにも多少の位置ずれがあるため、位置ずれを許容で
きる方法が望ましい。このため、本方法では、位置のマ
ツチングに付加データフアジイクラスタリングの代わり
に逆真理値限定法を用いた。

（ステツプ９）最後に、付加データフアジイクラスタリングの結果と
逆真理値限定法の結果を独立な基本確率としてDempster
の結合規則を用いて結合する（第25図S255）。

その計算式はであらわされる。

ここで、m₁（A_1i）、（ｉ＝1,2,・・・８）はｉ番目
の基準パターンに関する付加データフアジイクラスタリ
ングの結果であり m₂（A_2j）、（ｊ＝1,2,…,8）はｊ番目の基準パターン
に関する逆真理値限定法の結果。

ｍ（A_k）（ｋ＝1,2,…,8）は結合された結果である。

また、分子はA_1jとA_2jの積集合A_kにそれぞれ基本確率
の積を割り当てることを意味し、分母は矛盾する推論の
結合の場合はA_1jとA_2jの積集合が空集合となる場合があ
るので、これらを除外し正規化している。２個以上の基
本確率の結合は、もしそれらが独立な証拠より得られた
ものであれば、（10）式を順次適用することによって実
現される。

最初の領域についてDempster結合を行ったあと、逆真
理値限定法、付加データフアジイクラスタリングを１ピ
ン当たりのすべての領域について繰り返す（S256）。あ
る１画面（１ピン）についての処理結果例を第26図に示
す。この中には32の領域があり、それぞれの領域で８種
類の基準パターンに関するDempsterの結合結果が求めら
れる。

（ステツプ10）最終的な評価は、１ピン当りの全ての領域で最大の結
果を用いて判定結果出力部117から出力される。例え
ば、浮きに関しては、領域1,2,3の結果は0.13,0.634,0.
001であるので、最大値の0.634＝63.4％が結果となる。
この結果は、浮きの可能性が63.4％、浮き気味の可能性
が30.4％というように評価する。

以上の処理がすべてのピンについて繰り返され（S25
8）、最終的にその基板のはんだ付けの良否の判断が行
われる。

最終的な判断は、以下の通り行われる。

まず、ピン毎の評価については、前述の評価結果のう
ち浮き、浮き気味、ブリツジ、半田ボール、不足（リー
ド部）、不足（はんだ部）の６つの不良項目の可能性の
最大値が60％以上の場合にそのピンを不良と評価する。

次に、すべてのピンのうち少くとも１本のピンについ
て、不良と判断された場合にその基板を不良と判断す
る。

そして、不良と判断された基準については、インライ
ンの場合には、ソート手段によりラインから取り除いた
り、あるいは、ランプやブザーで警告するようにしても
よい。

最終的なデータの取り扱いは上の場合に限らず、例え
ば、基本的には正常（リード部）、正常（はんだ部）の
データを優先的に評価に用い、不良項目が１つでも60％
以上の場合には、不良として処理するようにしてもよ
い。

〔実施例１の効果〕従来の（２値の）クラスタリング（ｋ−means法）に
おいては、あるクラスタ集合に属するか、属さないかを
知るだけであり、あいまいな帰属度は許されないから中
間状態にあるデータも無理やりどちらかのクラスタ集合
に帰属させなければならない。そのため誤認識を起こし
たり、柔軟な評価ができなかった。

これに対し、本実施例においてはフアジイ・クラスタ
リングを用い、さらに逆真理値限定法及びそれらを統合
するのにDempsterの結合規則を用いることにより以下の
ような効果を得ることができる。

誤判定が減少する。

すなわちハード・クラスタリングを行う場合にくらべ
て、本実施例によるフアジイクラスタリングによれば判
定精度が格段に向上する。

更に、逆真理値限定法の出力と付加データフアジイク
ラスタリングの出力はDempsterの結合規則を使って結合
され、単独のものよりより高い確信度が得られる。

柔軟な評価が可能となる。

ハード・クラスタリングでは｛0,1｝の評価のため、
例えばはんだ不足か、不足でないかしか分からないが、
フアジイ処理でははんだ不足がどの程度生じているかが
分かり、その後の処理に幅を持たせることができる。

あいまいさを自由に設定できる。

（８）式のｐの値を変えることによりクラスタリング
のあいまいさを設定することができる。ｐを大きくする
ことによりあいまい度を大きくすることができる。ま
た、クラスタリングを行うには、最初に初期条件U⁽⁰⁾を
与えなければならないが、その初期条件の与え方により
クラスタリングの結果が変わってくる。特に、ハード・
クラスタリングの場合にはその傾向が強い。しかし、フ
アジイ・クラスタリングの場合、最初にｐを大きくして
おいてあいまいに分類し、次にｐを小さくして再び分類
することにより初期条件の違いにまったく左右されない
結果が得られる。

実施例２第27図は本発明の第２の実施例の構成を示すブロツク
図である。基本的構成は、第１の実施例と同様である
が、本実施例においては、CCDカメラ101を移動、回転す
るため手段は有さず、フレームメモリ105〜107にICの全
体を読み取った画像データを格納しておき、CPU119によ
るフレームメモリ105〜107からの読み出しのアドレスを
制御することによりピン毎の判定を行うことができるよ
うにしたものである。

本実施例によれば、CCDカメラあるいは、基板を載せ
たテーブルを移動、回転する手段が不要となり、装置全
体の構成を簡素化することができる。

なお、実施例１においては、CCDカメラを移動・回転
させることにより、１個の基板についてのすべてのICリ
ードの画像入力を行うようにしたが、例えば第３図
（ａ）で基板302を載せたテーブル301をＸ−Ｙテーブル
としモータで移動、回転するようにしてもよい。

また、上記入力手段は、CCDカメラ（エリアセンサ）
のほか、CCDセンサ、フォトマルなどであってもよい。

また、位置情報の評価にあったては逆真理値法でな
く、例えばフアジイ推論など、他の評価手段を用いても
よい。

また、上述の２つの評価手段（フアジイクラスタリン
グと逆真理値法）の結合にはDempsterの結合規則ではな
く、例えば両評価手段の重み付け平均や最大値、最小値
をとるなど他の結合方法を用いてもよい。

また、特徴量も、位置情報、形状情報、明るさ情報に
限らず、色情報（色層や彩度など）や、ドツト配置情報
など他の特徴量を抽出してもよいのは勿論である。

また、上述の実施例のはんだ付け検査に限らず、本発
明のアルゴリズムは例えば、画像のパターンマツチン
グ、画像域分離など画像の特徴量に応じた他のあらゆる
評価にも適用することができる。

＜発明の効果＞以上説明したように本発明に依れば画像に含まれる対
象物の形状に関する特徴量に基づいたファジイクラスタ
リングと、前記対象物の位置に関する特徴量をファジイ
集合で表し、基準パターンのファジイ集合とのマツチン
グのための逆真理値法とにより評価を行っているので、
少ない規模のハードウエアによって、誤認識が少なく精
度良く、対象物の評価処理を行うことができる。

【図面の簡単な説明】

第１図は、本発明の第１の実施例の基板実装検査装置の
全体ブロツク図、第２図は、本発明の第１の実施例の検査のアルゴリズム
を示すフローチヤート第３図は、検査装置の外観図、第４図は、ICチツプの拡大図、第５図は、雑音除去のフローチヤート、第６図は、ウインドウを示す図、第７図は、判別分析法のフローチヤート、第８図は、２値化方法を示す図、第９図は、領域抽出例と番号付けを示す図、第10図は、領域抽出のフローチヤート、第11図は、抽出すべき特徴量を示す図、第12図は、２値画像データの流れを示す図、第13図は、多値画像データの流れを示す図、第14図は、外接長方形と重心を示す図、第15図は、正常なはんだ付けの２値化画像の例を示す
図、第16図は、浮きの場合の２値化画像の例を示す図、第17図は、浮き気味の場合の２値化画像の例を示す図、第18図は、ブリツジのある場合の２値化画像の例を示す
図、第19図は、はんだボールのある場合の２値化画像の例を
示す図、第20図は、はんだ不足の場合の２値化画像の例を示す
図、第21図は、フアジイクラスタリングの原理を示す図、第22図は、逆真理値限定法を説明する図、第23図は、逆真理値限定法の適用の具体的例を示す図、第24図は、抽出された領域を示す図、第25図は、Dempsterの結合のフローチヤート、第26図は、Dempster結合結果を示す図、第27図は、本発明の第２の実施例の基板実装検査装置の
構成を示すブロツク図である。 113……逆真理値限定法演算部 114……フアジイクラスタリング演算部 115……Dempster結合部

フロントページの続き (56)参考文献特開平１−180404（ＪＰ，Ａ) 寺野，他，「ファジィシステム入門」、オーム社昭和62年４月30日Ｐ．196−202，233−243 寺野，他，「応用ファジィシステム入門」、オーム社平成１年５月25日Ｐ．86−87

Claims

(57)【特許請求の範囲】

【請求項１】入力画像データから対象物の形状に関する
複数の特徴量を抽出し、前記形状に関する複数の特徴量
に基づいてファジイクラスタリングによる第１の評価を
行い、入力画像データから対象物の位置に関する特徴量を抽出
し、前記位置に関する特徴量をファジイ集合で表し、該
ファジイ集合と基準パターンのファジイ集合との逆真理
値法を適用したマッチングにより第２の評価を行うこと
を特徴とする画像処理方法。
【請求項２】更に前記第１、第２の評価手段による評価
結果を結合することを特徴とする請求項１記載の画像処
理方法。