JPH03204089A - 画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はファジィ理論を用いて入力画像を処理する画像
処理方法に関するものである。

〔従来の技術〕

従来、ある特徴量を基準データに基づいて評価する手段
の１つとしてクラスタリングの技術が知られている。か
かるクラスタリングは基準パターンと入カバターンとの
マツチングを行い、類似度の大きいものを所定の基準パ
ターンと同じクラスに分類するものである。

〔発明が解決しようとしている課題〕

しかしながら、上述のような従来のクラスタリングを画
像処理における入力画像の評価に用いる場合、特徴量が
一義的に、評価されると、誤認識が生じ、画像処理に悪
影響を及ぼす恐れがある。

また、画像の特徴の評価の際には、クラスタリングによ
る評価になじまない特徴量も存在する。

そこで、本発明は、かかる従来技術の欠点に鑑み、画像
処理に最適で誤認識の少ないクラスタリングを用いた画
像処理方法を提供することを目的とする。

〔課題を解決するための手段及び作用〕上記課題を解決
するため、本発明の画像処理方法は、入力画像データか
ら、複数の特徴量を抽出し、前記特徴量に基づいてファ
ジィクラスタリングにより第１の評価を行い前記特徴量
に基づいて他の方法により第２の評価を行うことを特徴
とする。

〔実施例〕

本発明の好ましい実施例を図面を用いて説明する。

見上１」 本発明の第１の実施例のはんだ付は検査器を説明する。

第１図は、本実施例のはんだ付は検査器の全体構成を示
すブロック図である。

第１図において、１０１は画像データをＲ，Ｇ、　Ｂの
アナログ信号として読み取るＣＣＤカメラ、１０２゜１
０３．１０４はアナログ／デジタル変換器、１０５゜１
０６．１０７はそてぞれＲ，Ｇ、　Ｂのデジタルデータ
を記憶するフレームメモリ、ｌｏ８はインタフェース、
１０９は画素毎にＲ，Ｇ、　　Ｂの平均値を算出する平
均化回路、１１０は雑音除去部、１１１は領域抽出部、
１１２は特微量抽出部、１１３は逆真理値限定法による
演算を行う逆真理値法演算部、１１４はフアクフラスタ
゛リングによる演算を行うファジィクラスクリング演算
部、１１５は基準パターンを発生する基準パターン発生
部、１１６は逆真理値法による演算結果とファジィクラ
スタリングによる演算結果を結合するＤｅｍｐｓｔｅｒ
結合部、１１７は最終的な判定結果を出力する判定結果
出力部、１１８はＣＣＤカメラを回転させ、あるいは２
次元平面内で移動させるためのモータ、１１９はモータ
１１８の駆動やメモリのアドレス制御その他の制御を行
う制御部である。

ＣＣＤカメラ１０１から取り込まれたＲ（レッド）、Ｇ
（グリーン）、Ｂ（ブルー）のアナログ画像信号は、Ａ
／Ｄ変換器１０２．　１０３．　１０４でそれぞれ多値
のデジタルデータに変換され、フレームメモリ１０５．
　１０６．　１０７に記憶される。この画像データはイ
ンターフェース１０Ｂを経て、平均化回路１０９で平均
値データが算出される。次に雑音除去部１１０で、ノイ
ズ除去が行われ、領域抽出部１】１で特徴量を抽出する
領域を抽出する。抽出された領域に対して特微量抽出部
１１２は位置情報、明るさ情報、形状情報などに関する
特徴量を抽出する。位置情報に関する特徴量は１１３に
おいて逆真理値限定法により基準パターン発生部１１５
から送られた基準パターンとのマツチングが行われる。

一方間るさ情報、形状情報に関する特徴量は１１４にお
いて、ファジィクラスタリングにより１１５からの基準
パターンとのマツチングが行われる。この２つの演算結
果はＤｅｍｐｓｔｅｒ結合部１１６において、Ｄｅｍｐ
ｓｔｅｒＳｈａｆｅｒの結合規則に従って合成され、確
信度が高められた判定結果が１１７がら出力される。

第２図に本発明のはんだ付は付着状態検査の全体的な処
理流れを示す。

（ステップ１） 画像入力部であるＣＣＤカメラ１０１からＩＣの１番目
のリード付近の画像を画素毎にＲ，Ｇ、　Ｂ各色成分に
ついて８ｂｉｔで取り込む。

（ステップ２） ステップ１で入力されたＲ、　Ｇ、　Ｂデータの平均値
（Ｒ十Ｇ十Ｂ）／３をとり、白黒画像化する。ここで本
実施例では、Ｒ，Ｇ、　　Ｂの３原色成分により読取っ
たが、例えばＲ，Ｇ、　　Ｂのいずれが単色成分を用い
たり、輝度と色度の組み合わせとしてＹ、　　Ｉ、　Ｑ
あるいは特にＧ（グリーン）信号はＮＤイメージに近い
のでＧ単色成分を用いるようにすれば、装置の簡素化を
図ることができる。Ｌｌ。

ａ”、　　ｂ”などの色成分で入力し、輝度成分を用い
るようにしても良い。ここで、単色画像を生成するのは
、本実施例がはんだ付は検査を目的とするものであり、
その検査において、色彩がさほど重要なパラメータでな
いことによるが、色度のパラメータを加味して判定を行
うこともできる。

（ステップ３） ステップ２で単色成分が抽出された画像に対し、次に第
１図雑音除去部１１０において雑音除去（孤立点除去）
が行われる。本実施例においては、第６のような９×９
画素のメデイアンフィルタを用いる。

メデイアンフィルタのアルゴリズムを第５図に示す。す
なわち、着目する１点についてのメデイアンフィルタの
出力は、まず、その点を中心としたウィンドウ（９×９
画素）をとり、ウィンドウ内のデー夕を大きさ順に並べ
、順番が真中のものをこの点での値とする。この処理を
全画面について行なう。

なお、メデイアンフィルタ以外の手法（例えば平滑化フ
ィルタなど）を用いることも可能である。

また、フィルタサイズも９×９には限らない。

（ステップ４） 次に第１図の領域抽出部１１１において、領域抽出が行
われる。領域抽出のアルゴリズムを第１０図に示す。

雑音除去された画像データは、３１００１において領域
抽出のため、２値化される。２値化の閾値を決めるため
には判別分析法を用いる（Ｓ１００Ｉ）。判別分析法の
アルゴリズムを第７図に示す。まず第８図に示すように
、画像の濃度のヒストグラムを作り、このヒストグラム
をもとに、分散σ♂（ｋ）が最大にするような閾値ｋを
繰り返し計算により求める。そして、この闇値を使って
画像データの２値化を行う。２値化された画像データは
連結点が調べられ、領域が抽出される（Ｓ１００３）。

次に各領域について、ドツト数をカウントすることによ
り、面積を計算しく５１００４）、予め与えられた面積
以下の小領域は雑音とみなして除去する（Ｓ１００６）
。そして、残った領域には、番号付け（ナンバリング）
を行なう（Ｓ１００７）。番号付けを行なった後の画像
が第９図である。

（ステップ５） 番号付けされた各領域に対して、特徴量抽出部１１２に
おいて特徴量抽出を行なう。今回用いた特徴量を第１Ｏ
図に示す。

第１２図に示すように、各領域の２値画像からＦ１〜Ｆ
＋ｓの特徴量を第１３図に示すように多値画像からＦ１
９〜Ｆ２４の特徴量を計算する。各特徴量の計算方法に
ついて、以下に示す。

■外接長方形 以下の特徴量を算出する際に必要となる情報である。領
域の左、上、右、下端を通る垂直及び平行線で囲まれた
長方形を外接長方形と呼ぶ（第１４図参照）。

■重心位置 大きさ、形状認識には直接的には関与しない情報である
。第１４図の（Ｘｃ、　　Ｙｃ）が重心にあたる。

■アスペクト比 縦横比とも呼ばれる形状認識に有効な従来から用いられ
ている特徴量で、ａの外接長方形により次式のように求
められる。

アスペクト比＝　ｌ　Ｙｕ−Ｙｏ　ｌ　／　ｌ　ＸＲ−
ＸＬ■Ｘ平均長さ：Ｘ最大長さ、Ｙ平均長さ：Ｙ最大長
さ 領域の座標軸への射影を求め、その強度分布（周辺分布
と呼ぶ）のｘ　（ｙ）方向の平均長さＸ　ｍｅａｎ（Ｙ
　ｍｅａｎ　）とｘ　（ｙ）方向の最大長さＸ　ｍａｘ
　（Ｙ　ｍａｘ　）の比で示す特徴量。

■面積 領域部分の全ての画素数を計数して面積とする。

大きさに関与し、形状には関与しない特徴量である。

■面積密度 ■で求めた面積と、■で求めた外接長方形の面積との比
で表す特徴量。

■Ｘ方向偏り、Ｙ方向側り ｂ重心がａ外接長方形内でｘ　（ｙ）方向にどの（らい
偏っているかを示す特徴量。各々、Ｘｃ−ＸＬＩ／　Ｉ
ＸＲ−ＸＬＩ、　１Ｙｃ−Ｙｕｌ／　１Ｙｏ−Ｙｕで計
算される。

■周囲長 領域の輪郭の長さで示される情報である。

■サイズ ■面積と■周囲長の情報により、２×面積／周囲長で示
される特徴量である。

０周面比 ■面積と■周囲長の情報により、（周囲長）２／面積で
示される従来より用いられている特徴量である。

■Ｘ軸周辺分布分散、Ｙ軸周辺分布分散周辺分布におい
てｘ、Ｙ軸各々に対しての分散で示される特徴量。

多値画像から求められる特徴量は、＞ス丁の１和良き１
７゛′工う　イｐ。

■平均、分散 その領域における画素の濃淡値の平均及び分散で示され
る特徴量。

■官界変動量（ＢＶＱ） 官界変動量はパターンの局所的性質を反映した計算量の
少ない特徴量として、数学における官界変動関数の全変
動の概念を応用して定義されたものである。ディジタル
濃淡画像配列Ｐの官界変動量は次のようにして計算でき
る。θ＝０゜の場合、領域番号配列ＰＮを横方向に１個
づつ探索して、隣接する２個が同一領域番号の時のみ、
対応する隣接２画素の濃淡差の絶対値をＳＤｊθ−００
に加え、絶対差分総和５Ｄ１１０−〇°を計算する。

また同時に、そのときの差分演算回数Ｄ＋ｌθ二〇°を
求めておき、全画面の処理終了後、領域ｊごとにθ＝０
°方向の官界変動量ＢＶＱｉ　ｌθ二００　を計算する
。

５Ｄｉｌθ＝０°　＝Σ（ＩＰ（Ｉ、　　Ｊ−１）−Ｐ
（１，Ｊ）１：ＰＮ（Ｉ、　　Ｊ−１）＝　ＰＮ（Ｉ、
　　Ｊ）ＩＢＶＱ＋ｌθ　＝０°　＝ＳＤ、ｌθ　＝０
°　／Ｄ口θ　＝０゜θ＝４５°　９０°　１３５°の
ときもＰＮの探索方向がθ方向に変化するだけで同様の
計算を行う。

以上の様な画像入力（Ｓｌ）から特徴量抽出（Ｓ５）ま
での処理をすべてのＩＣリードについて繰り返す。

第４図（ａ）は、ＩＣを示す図であり、その斜線部を拡
大したのが第４図（ｂ）である。第４図（ｂ）において
３０５は、はんだ付けのされない空間部分、３０６は基
板の部分、３０７はＩＣリード部である。ＳＬの画像入
力は第４図（ｂ）について行い、上述の処理を第４図（
ａ）のすべてのＩＣリードについて繰り返し特徴量を抽
出し、メモリに保存する。

このようにすべてのＩＣリードについて特徴を抽出する
ため、本実施例の検査装置は、第３図（ａ）のような構
成になっている。即ち、３０１が検査対象を載せる。プ
レート３０２は検査対象の基板、３０３はＣＣＤカメラ
、３０４はＣＣＤカメラ移動部、３０５がベルトコンベ
アである。

ＣＯＤカメラ移動部３０４は、ＣＣＤカメラ３０３をＸ
方向、Ｙ方向に移動、θ方向に回転させ、ＩＣリードす
べての画像入力ができるようにしている。

次に上で求めた特徴量と、基準パターンとのマツチング
を行ない、入カバターンはどのパターンに所属するかを
求める。本実施例で用いた基準パターンは、 ■正常（リード部）■正常（はんだ部）■浮き■浮き気
味■ブリッジ■はんだボール■はんだ不足（リード部）
■はんだ不足（はんだ部）の８種類である。

第１５図〜第２０図にそれぞれ、正常、浮き、浮き気味
、ブリッジ、はんだボール、はんだ不足の２値化画像の
例を示す。

（ステップ７） 上述の特徴量のうち、形状に関するもの（Ｆ７〜Ｆ’ｓ
）及び、明るさに関するもの（Ｆ　１９〜Ｆ２４）につ
いて、ファジィクラスタリング演算部１１４において付
加データファジィクラスタリング法を適用し、入力画像
がどの状態にどれだけ属するかについての′第１の証拠
“を計算する。

基準となるパターンデータは本実施例においては■正常
（リード部）■正常（はんだ部）■浮き■浮き気味　■
ブリッジ　■はんだボール　■はんだ不足（リード部）
■はんだ不足（はんだ部）の８種類を用いた。これらの
基準パターンデータはそれぞれ経験的に得られた典型的
なサンプルを選び出し、これらに対して前述と同様の画
像処理（平均化、雑音除去等）を行い、得られた特徴量
（Ｆ＋〜Ｆ２４）を基準パターンベクトルとして基準パ
ターン発生部１１５から入力し、内部知識として蓄える
。

ここで基準ベクトルは例えば、複数のサンプルから統計
的に得られた数値でもよ（、また、最もマツチングした
い典型的な１サンプルから得られた数値であってもよい
。以下に付加データファジィクラスタリング法のアルゴ
リズムについて述べる。

教師なしパターン認識の分野においては、扱うべきデー
タ集合のそれぞれのデータ・ベクトルが予め定められた
どのクラスタに属しているかを決定するクラスタリング
手法が用いられている。クラスタリングとは、与えられ
た多次元データ集合を、そのデータ集合の構造のみから
「似ている」データ同士を同一のクラスタにまとめ、指
定された任意の数のクラスタに分割することである。１
つのクラスタは、与えられたデータ集合内の１つの部分
集合であり、分割とはクラスタの族を形成することであ
る。各データは、その分割のうちただ１個のクラスタの
みに帰属するという特性を持つ。

しかし、パターン認識では、認識主体である人間が見た
り聞いたりする事柄を扱う対象にしているため、人間の
主観や個性など複雑な要素が関係してくる。すなわち、
扱う対象の性質に真為の２値のみでは説明できないあい
まいさが存在し、そのあいまいさを一般的には多様性に
富んだかなり複雑なものである。このように人間の判断
が関与してくる分野ではｉｏ、　　１）の２値評価だけ
では充分な説明がつかない場合も多く、中間のあいまい
状態も積極的に取り入れた（０．　１）多値評価の理論
が検討されている。この［０，１］多値評価の概念をク
ラスタリングに導入したものがファジィ・クラスタリン
グである。

いまｎ個の分類対象（個体と呼ぶことにする）を、Ｅ＝
　［０１，０２・−、０１，・・・ｏｎｌまたは（１，
２，・・・ｌ　ｉｌ・・・、　ｎｌ　　　　　（１）で
表す。また、第１個体のｐ変量観測ベクトルを、Ｘ　ｉ
　”　（Ｘ　ｉｌ　、　　Ｘ　ｉ２１　・・・、Ｘｉｌ
、・・・、Ｘ１ｐ）で表し多変量データ行列全体を、 Ｘ＝　（ｘ＋、　Ｘ２．・・・、Ｘｌ、・・’＋Ｘｎ）
　　　　（２）と書（。いま個体の集合Ｅを適当に分割
して互いに排反な空でない０個のクラスタ（つまりファ
ジィ部分集合）が与えられたものとする。これを、トー
（ζＩ、ζ２．・・・、ζ５．・・・、ζ。）（３）で
表す。

いま（３）式のような０個の分割に対して、各個体が各
クラスタに所属する度合を次の行列で表す。

Ｕ＝（ｕ、） （ｊ”１．　２１　”’ｌ　　Ｃ；ｉ＝１．　２１　”
’Ｉ　　ｎ）　　　（４）ここで、 Ｕ１＋ｅ［０，１］、Ｅｕｌ＋＝１　　である。

つまりｕｌｌがメンバーシップ関数であり、これで個体
ｉがクラスタＳｌに所属する度合を示す。このとき次の
関数の最適化を考える。

Ｊｐ（Ｕ、　ｖ）＝Ｅ　Ｘ（ｕｌｌ）’ｌｌｘ＋−ｖｊ
ｌｌ’　（１≦ｐ＜ｏｏ）　　　　　（５）−１ｊ−１ ここで、ｌａｐ＜■に対して、 ｕｌｌ： （６） えられることは典型的な極値問題としてラグランジ１の
未定係数法などを使って示すことができる。

そしてこれを一般のｐにまで拡張をはかったアルゴリズ
ムを要約すると次のようになる。

国　クラスタ数Ｃ１べき指数ｐを設定する。Ｕの初期条
件Ｕ３０′を適当に与え、反復回数Ｌ＝０とする。

図　（７）式により平均ベクトル犀Ｌｌ　（ｊ＝ｔ、　
　２゜Ｅ　（ｌ　ｘ＋−ｖｊＩｔ　’／　ｌｌ　ｘ＋−
ｖｋＩＩ　”）”　”−”一 Σ　（ＬｔＪ＋）’Ｘ＋ １ （７） Σ（ｕｊｉ）’ であり、■、はクラスタＳｌの平均ベクトルである。

いま、ｐ＝１．　　ｕｊｉ　ｅ　（０，１）と考えると
いわゆる通常のに−ｍｅａｎｓ法となり、Ｊｌは平方和
基準そのものである。ｐ＝ｌ、２に対して（５）式のＪ
９を最小化する重み係数がｌ）、（７）式の形により与
同適当な収束判定値εを与えて、ｌ　Ｕ（Ｌ＋υ−Ｕｆ
Ｌ）≦εとなれば計算終了。そうでなければ、Ｌ＝Ｌ＋
１として図に戻る。

ファジィｋ　−ｍ　ｅ　ａ　ｎ　Ｓ法を画像データに応
用した場合、類似したパターンのデータ集合の分類がう
まくできないという欠点や、孤立したデータ（すなわち
データ数の少ないクラスタ）は他の（データ数の多い）
クラスタに含まれてしまうという欠点がある。この点を
改善するために（５）式に基準開数とする方法が弊ｉ÷
嘘咄→提案さ土ｒ１゜（ｌ≦ｐ　＜　００　）　　　　
　　　　　　　　　　　　（８）ｇｉｅ−［０，１） ただし、ｇ：＋　（０，１）　　ｓｌを与えた場合ｇｌ
＝ＯＳｉを与えない場合 予め分類したいパターン（クラスタ）の代表となりつる
いくつかのベクトルを（Ｓ、）　として与えておく。こ
れは一種のパターンマツチングと考えることができる。

この手法はＰｅｄｒｙｃｚの手法と比較して、Ｓｌを最
高でもクラスタ数Ｃ個だけ与えればよく、与えるデータ
数も少なくてすむ。

また、ｇｌはクラスタＳ、に関するファジィに−ｍｅａ
ｎｓ法でのクラスタリングとＳ、を与えた場合の一種の
マ さツチングによるクラスタリングとの比を表すパラメー
タである。ｇｌ−０の場合にはファジィに−ｍｅａｎｓ
法と同一であり、ｇｉ”１の場合にはｓＨと各データＸ
、への距離によるクラスタリングとなる。ｇ＋＝１／２
の場合には両クラスタリングの重み付けが等しいクラス
タリングである。

最終的に得られたＵの要素ｕｉｉによって個体ｉがクラ
スタに所属する度合が分かる。通常のに−ｍｅａｎｓ法
であれば求めたクラスタ集合ｒ　＝　［ＳＩ、　Ｓ２．
・・・Ｓ４．・・・、　Ｓｃｌに対し、ある個体ｉがＳ
Ｉに所属しているか＜　ｕ　ｎ　＝＝　１）、所属して
いないか（ｕ　Ｉｔ　＝　ｏ　）を知るだけであるが、
この方式によると各クラスタへの所属の度合を知ること
ができる。

今回のシミュレーションでは、式（８）においてｐ＝１
．３　　ｃ＝８　　ｎ＝８７　　ｇｌ＝０．９を用いて
いる。

付加ファジィデータクラスタリング法の原理を様式的に
示したのが、第２１図である。図示するためにパラメー
タは２個（２次元）としたが、実際には１８個（１８次
元）ある。

付加ファジィデータクラスタリングにおいては、複数の
リードに関する画像を画像処理して求めた特徴量を同時
に処理する。これにより、似たパターンどうしをまとめ
るクラスタリングと基準パターンとのマツチングを同時
に行ったのと同様の効果が得られる。また、従来のクラ
スタリング法（ハード・クラスタリング）では、ある入
力データは必ずどれか１つのクラスタに含めることしか
できなかったが、ファジィクラスタリングでは複数のク
ラスタにそれぞれどれだけの度合で含まれるということ
を表わすことができる。したがって、クラスタリングだ
けで、正確に判断できない場合にも、あいまいさを残し
ておき、後に他の情報を合わせて判断することができる
。

第２１図において、ａ、　ｂ、　ｃはそれぞれ正常（リ
ード部）、浮き、はんだポールの基準パターンであり、
＋は入力画像データから求めた特徴量である。−方、Ａ
、　　Ｂ、　Ｃはそれぞれ従来のクラスタリングにおけ
るクラスタ結果を示すものである。即ち、特徴１２１１
，２１２は、′浮き”というクラスタＢに属し、２１３
はいずれのクラスタにも属さず、２１４は“はんだボー
ル”というクラスタＣに属し、２１５は、“正常”とい
うクラスタＡに属する。このように、従来のクラスタリ
ングにおいては、ある特徴量に対しては、いずれかのク
ラスタに属するか又はいずれのクラスタにも属さないか
一義時に決められていた。これに対し、本発明のファジ
ィクラスタリングによれば、例えば２１１がＡ、　　Ｃ
に属する度合いも考慮して、あいまいさを残しておくこ
とにより、別の情報を合わせて判断することにより、検
査精度を向上させることができる。

位置に関する特徴量（Ｆ＋〜Ｆ６）については逆真理値
限定法演算部１１３において、逆真理値限定法を適用し
、前記■〜■に関する“第２の証拠”を計算する。すな
わち第２２図（ａ）に示すように位置情報をファジィ集
合で表し、基準パターンのファジィ集合とのマツチング
を行なう。

このマツチングの取り方に数値的真理値による逆真理値
限定法を用いた。ここで、この逆真理値限定法について
簡単に述べる。いま、Ａ、Ｂをファジィ集合とし、“Ｘ
　　ｉｓ　　Ａ”という命題の数値的真理値がｔである
時、次のようなりを求めるのが真理値限定である。

（“Ｘ　　ｉｓ　　Ａ″ｉｓ　　ｔ）　＝　（Ｘ　　ｉ
ｓ　　Ｂ）ここでＡとＢが与えられたとき、ｔを推定す
るのが逆真理値限定法である。上記の提案によればｔは
次式で表される。

ｔ＝　［Ｓｕｐ　（Ａ　ｎ　Ｂ）　＋Ｉｎｆ　（Ａ　Ｕ
コＢ）］　／２ここにＳｕｐはメンバーシップ関数の最
大値、Ｉｎｆは最小値を意味する。また、Ａ、　Ｂはと
もにｎｏｒｍａｌ。

ｃｏｎｖｅｘとする。この方法でｔは第２２図（ｂ）の
ような言語的意味を有する。

第２３図に具体的な計算例を示す。

逆真理値限定法の結果ｔには、２次元平面上のＸ方向に
関するｔｘ（第２５図３２５１）とＹ方向に関するｔｙ
（第２５図３２５２）があるので、最終結果として、積
演算を行ない、 ｔ＝＋ｍｉｎ　（ｔｘ、　　ｔｙ）　　　　　　　　　
　（９）を用いる（Ｓ２５４）。

位置の特徴量に逆真理値限定法を用いる理由は、以下に
示す通りである。

第２４図において、リードは領域■に、はんだは領域■
に入るように装置が構成されている。この場合、領域Ｉ
に入るものはブリッジ、はんだボール等の欠陥になる。

これらの欠陥は位置に任意性があるのでクラスタリング
の方法で分類するのは困難である。すなわち本来、ブリ
ッジやはんだボール等はないのが正常であり、大部分の
場合には検出しないが、これらが生じる場合にはどこに
生じるかは不確定だからである。また、リード、はんだ
にも多少の位置ずれがあるため、位置ずれを許容できる
方法が望ましい。このため、本方法では、位置のマツチ
ングに付加データファジィクラスタリングの代わりに逆
真理値限定法を用いた。

（ステップ９） 最後に、付加データファジィクラスタリングの結果と逆
真理値限定法の結果を独立な基本確率としてＤ　ｅ　ｍ
　ｐ　ｓ　ｔ　ｅ　ｒの結合規則を用いて結合する（第
２５図３２５５）。

その計算式は であられされる。

ここで、ｒｒｚ（Ａ＋＋）、（ｉ＝１．　２．　　・・
・８）は１番目の基準パターンに関する付加データファ
ジィクラスタリングの結果であり ｍ２（Ａ２ｊ）、（ｊ＝１．　２．　・、　８）はｊ番
目の基準パターンに関する逆真理値限定法の結果。

ｍ　（Ａｋ）　　（ｋ＝１．　２．　・、　　８）は結
合された結果である。

また、分子はＡ＋＋とＡ２ｊの積集合Ａｋにそれぞれの
基本確率の積を割り当てることを意味し、分母は矛盾す
る推論の結合の場合はＡｎとＡ２ｊの積集合が空集合と
なる場合があるので、これらを除外して正規化している
。２個以上の基本確率の結合は、もしそれらが独立な証
拠より得られたものであれば、（１０）式を順次適用す
ることによって実現される。

最初の領域についてＤ　ｅ　ｍ　ｐ　ｓ　ｔ　ｅ　ｒ結
合を行ったあと、逆真理値限定法、付加データファジィ
クラスタリングを１ピン当たりのすべての領域について
繰り返す（Ｓ２５６）。ある１画面（ｌピン）について
の処理結果例を第２６図に示す。この中には３２の領域
があり、それぞれの領域で８種類の基準パターンに関す
るＤ　ｅ　ｍ　ｐ　ｓ　ｔ　ｅ　ｒの結合結果が求めら
れる。

（ステップ１０） 最終的な評価は、ｌピン当りの全ての領域で最大の結果
を用いて判定結果出力部１１７がら出力される。例えば
、浮きに関しては、領域１．　２．３の結果は０．１３
．　０．６３４．　０．００１　テあるノテ、最大値（
７）０．６３４＝６３．４％が結果となる。この結果は
、浮きの可能性が６３．４％、浮き気味の可能性が３０
．４％というように評価する。

以上の処理がすべてのピンについて繰り返され（３２５
８）、最終的にその基板のはんだ付けの良否の判断が行
われる。

最終的な判断は、以下の通り行われる。

まず、ピン毎の評価については、前述の評価結果のうち
浮き、浮き気味、ブリッジ、半田ボール、不足（リード
部）、不足（はんだ部）の６つの不良項目の可能性の最
大値が６０％以上の場合にそのピンを不良と評価する。

次に、すべてのピンのうち少くとも１本のピンについて
、不良と判断された場合にその基板を不良と判断する。

そして、不良と判断された基板については、インライン
の場合には、ソート手段によりラインから取り除いたり
、あるいは、ランプやブザーで警告するようにしてもよ
い。

最終的なデータの取り扱いは上の場合に限らず、例えば
、基本的には正常（リード部）、正常（はんだ部）のデ
ータを優先的に評価に用い、不良項目が１つでも６０％
以上の場合には、不良として処理するようにしてもよい
。

〔実施例１の効果〕 従来の（２値の）クラスタリング（ｋ−ｍｅａｎｓ法）
においては、あるクラスタ集合に属するか、属さないか
を知るだけであり、あいまいな帰属度は許されないから
中間状態にあるデータも無理やりどちらかのクラスタ集
合に帰属させなければならない。そのため誤認識を起こ
したり、柔軟な評価ができなかった。

これに対し、本実施例においてはファジィ・クラスタリ
ングを用い、さらに逆真理値限定法及びそれらを統合す
るのにＤ　ｅ　ｍ　ｐ　ｓ　ｔ　ｅ　ｒの結合規則を用
いることにより以下のような効果を得ることができる。

■　誤判定が減少する。

すなわちハード・クラスタリングを行う場合にくらべて
、本実施例によるファジィクラスタリングによれば判定
精度が格段に向上する。

更に、逆真理値限定法の出力と付加データファジィクラ
スタリングの出力はＤ　ｅ　ｍ　ｐ　ｓ　ｔ　ｅ　ｒの
結合規則を使って結合され、単独のものよりより高い確
信度が得られる。

■　柔軟な評価が可能となる。

ハード・クラスタリングでは［０，１１の評価のため、
例えばはんだ不足か、不足でないかしか分からないが、
ファジィ処理でははんだ不足がどの程度束じているかが
分かり、その後の処理に幅を持たせることができる。

◎　あいまいさを自由に設定できる。

（８）式のｐの値を変えることによりクラスタリングの
あいまいさを設定することができる。ｐを大きくするこ
とによりあいまい度を大きくすることができる。また、
クラスタリングを行うには、最初に初期条件Ｕ（０〉を
与えなければならないが、その初期条件の与え方により
クラスタリングの結果が変わってくる。特に、ハード・
クラスタリングの場合にはその傾向が強い。しかし、フ
ァジィ・クラスタリングの場合、最初にｐを大きくして
おいてあいまいに分類し、次にｐを小さくして再び分類
することにより初期条件の違いにまったく左右されない
結果が得られる。

笈隻朋」 第２７図は本発明の第２の実施例の構成を示すブロック
図である。基本的構成は、第１の実施例と同様であるが
、本実施例においては、ＣＣＤカメラ１０１を移動、回
転するため手段は有さす、フレームメモリ１０５〜１０
７にＩＣの全体を読み取った画像データを格納しておき
、ＣＰＵ１１９によるフレームメモリ１０５〜１０７か
らの読み出しのアドレスを制御することによりピン毎の
判定を行うことができるようにしたものである。

本実施例によれば、ＣＣＤカメラあるいは、基板を載せ
たテーブルを移動、回転する手段が不要となり、装置全
体の構成を簡素化することができる。

なお、実施例１においては、ＣＣＤカメラを移動・回転
させることにより、１個の基板についてのすべてのＩＣ
リードの画像入力を行うようにしたが、例えば第３図（
ａ）で基板３０２を載せたテーブル３０１をＸ−Ｙテー
ブルとしモータで移動、回転するようでなく、例えばフ
ァジィ推論など、他の評価手段を用いてもよい。

また、上述の２つの評価手段（ファジィクラスタリング
と逆真理値法）の結合にはＤ　ｅ　ｍ　ｐ　ｓ　ｔ　ｅ
　ｒの結合規則ではなく、例えば両評価手段の重み付は
平均や最大値、最小値をとるなど他の結合方法を用いて
もよい。

また、特微量も、位置情報、形状情報、明るさ情報に限
らず、色情報（色層や彩度など）や、ドツト配置情報な
ど他の特微量を抽出してもよいのは勿論である。

また、上述の実施例のはんだ付は検査に限らず、本発明
のアルゴリズムは例えば、画像のパターンマツチング、
画像域分離など画像の特徴量に応じた他のあらゆる評価
にも適用することができる。

〔発明の効果〕

以上説明したように、本発明によれば、誤認識の少なく
精度の良い画像処理を行うことができる。

【図面の簡単な説明】

第１図は、本発明の第１の実施例の基板実装検査装置の
全体ブロック図、 第２図は、本発明の第１の実施例の検査のアルゴリズム
を示すフローチャート 第３図は、検査装置の外観図、 第４図は、ＩＣチップの拡大図、 第５図は、雑音除去のフローチャート、第６図は、ウィ
ンドウを示す図、 第７図は、判別分析法のフローチャート、第８図は、２
値化方法を示す図、 第９図は、領域抽出例と番号付けを示す図、第１０図は
、領域抽出のフローチャート、第１１図は、抽出すべき
特徴量を示す図、第１２図は、２値画像データの流れを
示す図、第１３図は、多値画像データの流れを示す図、
第１４図は、外接長方形と重心を示す図、第１５図は、
正常なはんだ付けの２値化画像の例を示す図、 第１６図は、浮きの場合の２値化画像の例を示す図、 第１７図は、浮き気味の場合の２値化画像の例を示す図
、 第１８図は、ブリッジのある場合の２値化画像の例を示
す図、 第１９図は、はんだポールのある場合の２値化画像の例
を示す図、 第２０図は、はんだ不足の場合の２値化画像の例を示す
図、 第２１図は、ファジィクラスタリングの原理を示す図、 第２２図は、逆真理値限定法を説明する図、第２３図は
、逆真理値限定法の適用の具体的例を示す図、 第２４ｒＩ！Ｊは、抽出された領域を示す図、第２５図
は、Ｄｅｍｐｓｔｅｒの結合のフローチャート、 第２６図は、Ｄ　ｅ　ｍ　ｐ　ｓ　ｔ　ｅ　ｒ結合結果
を示す図、第２７図は、本発明の第２の実施例の基板実
装検査装置の構成を示すブロック図である。 １１３・・・逆真理値限定法演算部 １１４・・・ファジィクラスタリング演算部１１５−・
・Ｄ　ｅ　ｍ　ｐ　ｓ　ｔ　ｅ　ｒ結合部集Ｓ図 卆１旨餘とフローへ−ト 第ｑ図 第７３図 汐値画橡デＬ９ フ千ジンクラスタリンフリ覧潅音ｐへ Ｌ Ｒ ラ≦１き気味 −６５９− ５審さ 第７８図 フ゛リッレ ｌｌんだ゛ボーｊし １人だ尋足 Ｌ Ｘｅ Ｘ。 ＬＩ ｃｒ Ｄ 十のｉ語的覧味

Claims (1)

1. 【特許請求の範囲】 （１）入力画像データから複数の特徴量を抽出し、前記
   特徴量に基づいてファジィクラスタリングにより第１の
   評価を行い、 前記特徴量に基づいて他の方法により第２の評価を行う
   ことを特徴とする画像処理方法。（２）前記他の方法は
   、逆真理値限定法であることを特徴とする請求項第１項
   記載の画像処理方法。 （３）更に、前記第１、第２の評価手段による評価結果
   を結合することを特徴とする請求項第１項又は第２項記
   載の画像処理方法。