JP3672401B2

JP3672401B2 - はんだ付け部検査方法及び検査装置

Info

Publication number: JP3672401B2
Application number: JP34021396A
Authority: JP
Inventors: 鍾亨金
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 1995-12-28
Filing date: 1996-12-19
Publication date: 2005-07-20
Anticipated expiration: 2016-12-19
Also published as: US6111602A; JPH09214131A; KR0176661B1; KR970058431A

Description

【０００１】
【発明の属する技術分野】
本発明は、はんだ付け部の品質検査方法及び検査装置に係り、より詳しくは、環状照明を用いてはんだ付け部のイメージを取り、これを神経回路網に入力して学習させてはんだ付け部の品質等級を分類するはんだ付け部の検査方法及び検査装置に関する。
【０００２】
【従来の技術】
電子製品の基板上にはんだ付けられる実装部品のはんだ付け部は、はんだ材料の量や温度条件などによって多様な３次元の形状を持ち、その表面は鏡面である。このようなはんだ付け部の表面を適切なランプで照明し、その反射光をＣＣＤカメラで受光して、得られたはんだ付け部のディジタルイメージデータに基づいて、これを人工知能技法として神経回路網で学習することによりはんだ付け部の形状を認識し、その品質の良いか否かを分類決定する方法も様々に知られている。
【０００３】
しかし、従来の神経回路網を用いた分類方法は、主にKohonenモデルのunsupervised versionのＬＶＱ（Learning Vector Quantization）アルゴリズムに従い、このような従来の方法は、はんだ付け部検査作業で要求される程度の認識正確度を保障する為には、数多くプロトタイプを必要とし、従って学習課程と分類課程での全体的効率が極めて劣っている。又、実において、分類過程で自ら形成されたプロトタイプやクラスタは単純に各サンプル間の類似性を判断する尺度に過ぎないので、度々検査者の意図と設計者の意図とが一致しない場合が発生する。
【０００４】
そして、照明の方法においても、従来の場合、一つのカメラに複数の光源を設置するとか複数のカメラに一つの光源を設置して、いずれかの一方を移動させながらはんだ付け部の表面の傾斜度を測定した。このような方法においては、照明とかカメラの位置が変わる時毎に複数のイメージを記録、分析しなければならないので、処理の時間がなかなかかかるだけでなく、高いコストの装備が所要される。
【０００５】
【発明が解決しようとする課題】
従って、本発明の目的は、少ない数量のプロトタイプでも分類正確度が高い適応的ＬＶＱ方法を活用したはんだ付け部検査方法及び検査装置を提供することである。
本発明の他の目的は、環状照明技法を利用して低廉の装備コストで短い処理時間内にはんだ付け部のカラーイメージを得て検査することができるはんだ付け部検査方法及び検査装置を提供することである。
【０００６】
【課題を解決するための手段】
上記の目的を達成する為の本発明によるはんだ付け部検査方法は、電子部品の基板上のサンプルはんだ付け部を照明し、ＣＣＤカメラを用いて前記サンプルはんだ付け部のサンプルイメージを得る段階と、前記各サンプルイメージをはんだ付け品質によって検査者により複数のクラスに分ける段階と、各クラスに属する特定のサンプルイメージを神経回路網に入力して前記クラスをいくつかの細分化されたクラスタに分ける段階と、前記各クラスタに対して学習を行い、各該当クラスに対する暫定シナプスウェイトを決定する段階と、相異なる隣接のクラスに属するクラスタ間の境界条件に従って前記暫定シナプスウェイトを調整し、確定シナプスウェイトを決定するシナプスウェイト調整段階と、クラス分けの対象となる入力イメージについて、前記確定シナプスウェイトに基づいた神経回路網の出力値を算出し、前記入力イメージを、この算出された出力値に近似する出力値を有するクラスに所属させる段階とを有するはんだ付け部の検査方法であって、前記暫定シナプスウェイトの決定段階は、現在すなわち最新の入力と、それより前の入力に基づいた既存の出力ニューロンのシナプスウェイトとの間の類似性が所定範囲以上外れる時、新たな出力ニューロンを生成するステップと、新たな出力ニューロンが生成される時に新たなクラスタを生成するステップと、前記現在すなわち最新の入力を前記新たなクラスタに所属させるステップとを含み、前記シナプスウェイト調整段階は、特定クラスに該当する入力が他のクラスのシナプスウェイトを選択する場合にのみ、前記特定クラスの入力から離れる方向に前記他のクラスの前記暫定シナプスウェイトを変更することを特徴としている。
ここで、前記照明は、異なる色相を有し、相異なる入射角をもってハンダ付け部の表面を照明するよう同軸線上に配置された複数の円環状の蛍光灯により行われることを特徴とし、更に、前記ＣＣＤカメラは、前記複数の蛍光灯に対して軸線上に配置されていることを特徴とする。
【０００７】
【発明の実施の形態】
以下では、図面を参考して本発明を詳しく説明する。
図１は、本発明のはんだ付け部検査におけるはんだ付け部イメージの入手のために採用される照明システムの概略的斜視図である。この図面で見られるように、電子部品の基板１上に実装部品のリード２がはんだ付け部３により取り付けている。はんだ付け部３の上部には、三つの環状色相ランプ４，５，６がそれぞれ異なる直径を有して層状に配列されているし、色相ランプ４，５，６から照明された光は、鏡面になったはんだ付け部３の表面から反射されてはんだ付け部３の真上部にあるＣＣＤカメラ７に捕まれるようになる。
【０００８】
色相ランプ４，５，６は、上部から順次に青Ｂ、赤Ｒ、緑Ｇの色相光を各々照射する高周波蛍光灯として、これらの高さ及び直径が相異なので、はんだ付け部に対した入射角がそれぞれ異なり、従って、はんだ付け部の表面傾斜度によりそれぞれ異なる色相のイメージが得られる。例えば、最上部に最小径を有するＢ色相ランプ４が基板１の垂直線に対して２０゜の角度にはんだ付け部３を照明し、Ｒ色相ランプ５が４０゜の角度で、そしてＧ色相ランプ５が７０゜の角度に各々はんだ付け部３を照明する場合、これらにより得られた一枚のイメージでは、１０゜の傾斜度を有する平らなはんだ付け部の表面は青色に、２０゜の傾斜度を有するやや斜めになった表面は赤色に、そしてほぼ３５゜の急傾斜度を有する表面は緑色に区別されて現れる。このような方法に得られたカラーイメージは、はんだ付け部３の３次元的な形状特性が含まれているので、これらから実際の形状を類推することができる。
【０００９】
ＣＣＤカメラ７が環状照明により受光した情報は電気的信号の形態としてカラーイメージ取得部８へ送られて、各色相別フレームからなるカラーイメージの定量化された情報に変換される。これらの情報は、主プロセッサ９のメモリに貯蔵されて主プロセッサの神経回路網の分類機で学習を通じた分類課程を経るようになる。
【００１０】
神経回路での処理が行われる前に、多量のはんだ付け部に対するカラーイメージを取得し、これらを検査専門家がその品質によって分ける。例えば、未鑞（Ｉ）、未鑞正常（ＩＡ）、正常（Ａ）、正常過鑞（ＥＡ）、過鑞（Ｅ）の５個のクラスに分類できる。図２は５個クラスの典型的のはんだ付け形態とこれらのイメージに示した色相分布を示したことである。ここで、色相表示が無い部分は青色を、斜線になっているところは赤色を、そして、黒色の部分は緑色を示している。未鑞（Ｉ）のイメージでは青色Ｂが主に現れ、未鑞正常（ＩＡ）では緑色Ｇと赤色Ｒが現れ出し、正常（Ａ）では緑色Ｇ、赤色Ｒ、並びにＢが順次に現れる。正常過鑞（ＥＡ）では、主に赤色Ｒが現れ、過鑞（Ｅ）では青色Ｂパターンが緑Ｇと赤色Ｒパターンに囲まれている形態を取り、これはそのはんだ付けの凸の形状に因ることである。
【００１１】
このように、検査専門家により分類されたサンプルはんだ付け部等のイメージは、神経回路網に入力されて学習の課程を経るようになる。本発明で採択しているＬＶＱ（Learning Vector Quantization）アルゴリズムは一般のＬＶＱ方法と同様にＬＶＱ１及びＬＶＱ２の二種類の学習段階に分かれる。
ＬＶＱ１では、前述の通り検査者が分類しておくクラス内で自体クラスタ形成モジュールが適用されて、自らいくつかのクラスタを作り出す。あらゆるクラスに対して自体クラスタ形成モジュールが適用されて各々自体クラスタが形成される。このように形成されたクラスタはまだ相互間の境界がはっきりしていないので、ＬＶＱ２段階で他のクラスで形成されたクラスタとの境界を調整する。このように調整された結果は各ニューロンと繋がっているウェイトの値に表すところ、このウェイト値は入力と同様の次元を有し、これをプロトタイプイメージと（prototype image）と称する。
【００１２】
図３は、各専門家分類のクラスに適用される自体クラスタ形成モジュールの構造である。ここで見られるように、ディジタルメモリに貯蔵されている各入力カラーイメージはｉ×ｊの画素（pixel）からなっているし、Ｒ，Ｇ，Ｂの色相パターンを持っている。各色相パターンは入力イメージ１０と同一の大きさの各色相フレーム１２，１３，１４に分かれて各画素の明暗値が入力ノード１１の入力値として利用される。入力カラーイメージは次の式に現われる。
【００１３】
【数１】

【００１４】
ここで、ｃは入力イメージのクラスを示し、Ｉ_c（ｌ，ｉ，ｊ）は（ｉ，ｊ）画素のｌ番目のディジタルメモリフレームを示す。即ち、Ｉは各色相のインデックスとして、１は赤い色、２は緑、３は青色を示す。ｎとｍはイメージのサイズを示すこととして、一つのイメージはｎ×ｍ個の画素になっている。
入力ノードのディメンションは入力されるウィナーイメージのディメンションと同一で、出力ニューロン１５は入力ノードとみんな繋がっている。従って、これらを連結する神経回路のウェイトは次の式のように示される。
【００１５】
【数２】

【００１６】
ここで、あらゆる添字は入力イメージで使用したことと同様である。ｋ番目の出力ニューロンに入る入力値は入力イメージの明暗値とシナプスウェイト間の相関値として次の通り示される。
【００１７】
【数３】

【００１８】
自体クラスタ形成モジュールで出力ノード１５に入る入力値は入力イメージの明暗値とシナプスウェイト間の相互類似度を意味する。図３で示されたように、各ニューロンの出力値は自ら“＋”の値にフィードバックされ、他の出力ニューロン等には“−”にフィードバックされる。それでは、単に最大の値を有する一つのニューロンのみが“＋”の値に収斂し、余りはゼロに収斂する。これが競争学習（competitive learning）の原理である。これは現在入力されたイメージの明暗値と最も近い値を有するシナプスウェイトと連結された出力ニューロンを“ウィナー”と選定することである。ウィナーシナプスウェイトを、ウィナーが入力イメージに近接するようにアップデートする。
【００１９】
ＬＶＱアルゴリズムは実際の問題に適用する時、出力ニューロンの数をどう決定するかが非常に重要な問題である。出力ニューロンの数があまり多い場合は、処理の時間がひどくかかり、反面にあまり少ない場合には、処理の時間は短くなるが、分類の正確度が劣るようになる。従って、望む分類の性能が保障される範囲内で出力ニューロンの数を減らすのが効率的である。これのために適応学習の方法を導入したが、その核心概念は新たに入力されたイメージが自分が属しているウィナーとの類似性が、ある値以下である時、新たな入力イメージをそのウィナーに所属させなく、独立的に追加の出力を生成して他のクラスタを作り、新たな入力イメージをここに所属させる。似ている研究や概念等がＬＶＱを用いたイメージ圧縮など、他の分野でもその必要性が指摘された。
【００２０】
以下で、適応学習方法（adaptive learning mechanism）を利用した全体神経回路網の学習課程を説明する。
まず、自体クラスタ形成モジュールを一つの検査されたクラス（ｃ番目のクラス）に適応する。それから一番目のサンプルイメージの明暗値を一番目の出力ニューロンのシナプスウェイトの値として指定する。
【００２１】
【数４】

【００２２】
その後のサンプルイメージを入力し、ウィナー出力ニューロンを決定する。Ｗ_C ^winはウィナー出力ニューロンと繋がれたウェイト値の集合である。
あらゆるｋに対して、
【００２３】
【数５】

【００２４】
ここで、｜・｜は、二つのスカラー値の差を計算する演算子である（最初始める時は一つの出力ニューロンに出発する）。
次の条件が満足されると、入力Ｉ_CをＷ_C ^winに所属させる。
【００２５】
【数６】

【００２６】
そして、ウィナーニューロンのシナプスウェイトを次のように換える。
【００２７】
【数７】

【００２８】
ここで、ｔは学習のための繰り返し回数を示す。η（ｔ）は動学習係数（dynamic learning rate）としてｔが増加すれば増加するほどその値は減少する。ξは類似性を判定するしきい値（similarity bound）としてウィナーニューロンに新たに入力を包含させるか否かを判定し、その値は使用者が決定する。（７）式のアップデイトルールはウィナープロトタイプイメージが仮想入力空間上で位置移動することとして容易に説明される。図４のようにシナプスウェイトを換えると、ウィナープロトタイプイメージが入力サンプルにもっと近づいていくことが知られる。
一方、次の条件を満足すると、入力Ｉ_CをウィナーニューロンＷ_C ^winに所属させない。
【００２９】
【数８】

【００３０】
これは入力Ｉ_Ｃとウィナーのシナプスウェイトとの類似性が基準の値より劣るということを意味するので、次のように新たな出力ニューロンを生成する。
【００３１】
【数９】

【００３２】
それでは、ウィナーの新たなプロトタイプイメージはその以前のウィナーＷ_C ^winと仮想入力空間上でお互いに境界を成しているようになる。あらゆる入力サンプルイメージに対して前述の（５）式乃至（９）式に該当する課程を続けて行う。以上の課程が終わっても未だプロトタイプ間の境界が明らかではない。特に新たなプロトタイプイメージが生成された時、他の既存のプロトタイプイメージ等との境界は改めて調整しなければならない。従って、新たなプロトタイプイメージが生成されない時までに前述の課程を繰り返す。このような学習を検査専門家が分類しておく各クラスに対して順次に実施する。
【００３３】
以上のＬＶＱ１学習段階が終了すると、ＬＶＱ２学習段階で各検査されたクラス内でクラスタらが生成された後、各々別のクラスのサンプルでシナプスウェイトを調整する。ＬＶＱ２アルゴリズムの為の初期のシナプスウェイトの値はＬＶＱ１で学習された値をそのまま使用する。
競争学習方法を通じてウィナーを定めるが、入力が異なるクラスのプロトタイプイメージをウィナーに選択した場合のみにシナプスウェイトを換える。例えば、入力Ｉ_ｑが元のｑクラスに属するが、ウィナーを探した時、ｃクラスに決定された場合、ｃクラスのウィナーニューロンのシナプスウェイト、即ちＷ _Ｃ ^ｗｉｎを次のように換える。
【００３４】
【数１０】

【００３５】
この課程は、図５で見られるように、入力イメージＩ_qがｑクラスに属するにもかかわらず、ｃクラスのウィナーを探すようになった場合、ｃクラスのシナプスウェイトを誤って認識された入力Ｉ_qより反対方向に移動させてしまうことが知られる。
以上のようなＬＶＱ１及びＬＶＱ２段階の学習課程を通じてあらゆるシナプスウェイトが決定されると、これらを確定シナプスウェイトとして登録する。
【００３６】
今は、検査しようとするはんだ付け部を図１に示されたように照明システムとＣＣＤカメラを利用してイメージを取り、これを主プロセッサの神経回路網に入力して、前述の確定シナプスウェイトに基づいた出力値を算出する。この出力値と近似の出力値を有する検査者クラスを探し出して、該当検査対象のはんだ付け部が一番近似の出力値を有するクラスに所属されたことを判定する。これにより、検査対象はんだ付け部は検査者が前もって分類しておいたある一つのクラスに属してそのクラスに該当する品質評価を受けるようになる。
【００３７】
【発明の効果】
以上の説明の通り、本発明によると、最小のプロトタイプの数として著しく向上された分類の正確度を満足させるはんだ付け部検査方法及び検査装置が提供される。
【図面の簡単な説明】
【図１】本発明のはんだ付け部におけるはんだ付け部イメージの入手のために採用される照明システムの概略的斜視図である。
【図２】はんだ付け部のカラーイメージの例示図である。
【図３】各専門家分類のクラスに適用される自体クラスタ形成モジュールの構造図である。
【図４】ＬＶＱ１段階でのウィナープロトタイプイメージの説明図である。
【図５】ＬＶＱ１段階でのウィナープロトタイプイメージの説明図である。
【符号の説明】
４，５，６色相ランプ（照明手段）
７ＣＣＤカメラ
８カラーイメージ取得部（イメージ取得部）
９主プロセッサ

Claims

はんだ付け部の検査方法において、
電子部品の基板上のサンプルはんだ付け部を照明し、ＣＣＤカメラを用いて前記サンプルはんだ付け部のサンプルイメージを得る段階と、
前記各サンプルイメージをはんだ付け品質によって検査者により複数のクラスに分ける段階と、
各クラスに属する特定のサンプルイメージを神経回路網に入力して前記クラスをいくつかの細分化されたクラスタに分ける段階と、
前記各クラスタに対して学習を行い、各該当クラスに対する暫定シナプスウェイトを決定する段階と、
相異なる隣接のクラスに属するクラスタ間の境界条件に従って前記暫定シナプスウェイトを調整し、確定シナプスウェイトを決定するシナプスウェイト調整段階と、
クラス分けの対象となる入力イメージについて、前記確定シナプスウェイトに基づいた神経回路網の出力値を算出し、前記入力イメージを、この算出された出力値に近似する出力値を有するクラスに所属させる段階と
を有するはんだ付け部の検査方法であって、
前記暫定シナプスウェイトの決定段階は、現在すなわち最新の入力と、それより前の入力に基づいた既存の出力ニューロンのシナプスウェイトとの間の類似性が所定範囲以上外れる時、新たな出力ニューロンを生成するステップと、
新たな出力ニューロンが生成される時に新たなクラスタを生成するステップと、
前記現在すなわち最新の入力を前記新たなクラスタに所属させるステップとを含み、
前記シナプスウェイト調整段階は、特定クラスに該当する入力が他のクラスのシナプスウェイトを選択する場合にのみ、前記特定クラスの入力から離れる方向に前記他のクラスの前記暫定シナプスウェイトを変更する
ことを特徴とするはんだ付け部検査方法。
前記照明は、異なる色相を有し、相異なる入射角をもってハンダ付け部の表面を照明するよう同軸線上に配置された複数の円環状の蛍光灯により行われることを特徴とする請求項１記載のはんだ付け部検査方法。
前記ＣＣＤカメラは、前記複数の蛍光灯に対して軸線上に配置されていることを特徴とする請求項２記載のはんだ付け部検査方法。