JPH06273346A - はんだ付け状態検査装置 - Google Patents

Abstract

(57)【要約】 【目的】 実装基板に搭載する電子部品のはんだ付けの
良，不良を判定する基準は当該部品の種類により変化す
る。これら条件の変化に容易に対応する。 【構成】 電子部品の基板実装後のはんだ付け状態を多
段多照明装置により照射し，それぞれの画像を撮像カメ
ラにて撮像し，各段により得られた濃淡階調分布の画像
配列データから構成される形状情報データのパターン
を，認識判定装置に入力し，学習形階層式パーセプトロ
ンにてニューロ・ファジィコンピュータを構成し，はん
だ付け状態を出力し，認識判定検査するはんだ付けの状
態検査装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は電子部品の実装基板検査
装置に係り，特に，電子部品の基板実装後のはんだ付け
状態の検査装置に関する。

【０００２】

【従来の技術】従来の装置は特開６１−４１９０６号公
報に記載のように，被検査対象であるはんだ付け部に異
なった複数のランプで照射し，はんだ付け面に対して，
その都度得られる反射面の値の変化を，受光素子または
テレビカメラによりはんだ付け面の幾つかの傾斜面の画
像情報を得る。この種々の画像情報を数値的演算処理に
より判断基準を作り高度のソフトにより，はんだの状態
別，例えば，はんだ付けの「ａ：良，ｂ：不足，ｃ：過
剰，ｄ：ぬれ不良，ｅ：無し，ｆ：リード浮き，ｇ：リ
ードずれなどに分類し判定をしていた。

【０００３】

【発明が解決しようとする課題】上記従来技術は，特
に，はんだ表面状態の多様性，及びその進展性，柔軟性
について考慮されていない。つまり，実装基板に搭載す
る電子部品はより一層高密度化され，小形化され，はん
だ付け技術は進歩し，また，当該基板の採用先により，
当然なことながら，その都度，はんだ付けの良，不良を
判定する基準は変化する。従って，その毎に画像情報の
数値的演算処理内容を変更する必要がある。

【０００４】しかし，これらの検討は大変に手間の掛か
るものであり，非常に困難である。また，この判定基準
を設定することは種々のノウハウの積み重ねが必要であ
るため高度の解析判定ソフトが必要であり，また，その
判定基準を設定は大変困難であり判定も微妙となってき
ている。このため判定が不十分であったり，時により検
査結果に大きなバラツキが出る為に検査精度が低下する
という問題もあった。また，判定処理時間も長くなり問
題であった。

【０００５】

【課題を解決するための手段】本発明は上記の問題を解
決するために，電子部品の基板実装後のはんだ付け状態
を発光手段により照射し，それぞれの画像を撮像カメラ
にて撮像し，画像処理装置により必要抽出画像分布デー
タから得られた，各段により構成される形状データの配
列分布状態のパターンを認識判定検査するものである。
また，該発光手段は照明角度を順次切り替えるか，相異
なる色相の光源を用いて照明する多段多照明手段で，さ
らに，該照明手段により照明されたはんだ付け面を照明
角度に応じて複数の画像の電気信号（画像データ）に変
換する手段と，このはんだ付け状態のそれぞれの画像デ
ータをもとに，はんだ付け状態を最適に判断する学習認
識機能をもったニューロ・ファジィコンピュータの手段
により構成される。なお，このニューロ・ファジィコン
ピュータの入力層が光電変換機能を有する場合は前記電
気信号（画像データ）に変換する手段は必要ない。

【０００６】

【作用】本発明は多段多照明による照明を順次切り替え
る手段または，相異なる色相の光源を用いて照明された
被検査はんだ付け面を複数の角度から撮像し，このはん
だ付け面のそれぞれの角度の画像情報を得る。その後，
このはんだ付け状態の画像詳細情報をデータ化（例え
ば，画像処理装置により必要抽出画像分布データから得
られた，各段により構成される形状コードの配列分布状
態のパターンのデータ）し，この画像詳細情報のデータ
を学習認識機能をもったニューロ・ファジィコンピュー
タに入力し，はんだ付け状態の各種判定基準の出力との
関係を対応させながらはんだ付け状態の各種レベルの豊
富なデータにより学習させニューロ・ファジィコンピュ
ータ内のネットワークが最適な判断構成となるように重
み付けを実施，構成する。このようなニューロ・ファジ
ィコンピュータの動作により，微妙なはんだ付けの条件
変化に対応し最適に判断を行うものであり，この解決策
は判定するための高度解析プログラム即ち高度論理判定
アルゴリズムを不要とし，単純な学習のみで誰でも何処
でも判定内容を容易に充実させることが出来，はんだ付
け状態の検査，測定レベルを的確にし，検査，測定の効
率を大幅に向上することが出来る。

【０００７】

【実施例】以下に本発明によるはんだ付けの状態検査装
置の一実施例について図面により詳細に説明する。図１
は，はんだ付けの状態検査装置の主要部簡略構成図であ
る。同図において，電子部品がはんだ付けされた実装基
板１の上方には被検査はんだ付け部への照射角度が変え
られる光源，一例として複数の環状の照明装置１１，照
明装置１３，照明装置１５，照明装置１７を配置してい
る。更に撮像カメラ２，２′を上方に配置し，この撮像
カメラ２，または２′は画像処理装置３，４及び認識判
定装置５に接続される。尚，実装基板１上面においては
電子部品のリード部２１とはんだ付け部２２の側断面図
を示してある。

【０００８】図２は図１の実装基板１を拡大したはんだ
付け部側面図を示したものである。同図において，各段
各照明装置１１，１３，１５，１７を順次切り替えた場
合，各段各照明を入射（入射光：１ａ，３ａ，５ａ，７
ａ）し，反射（反射光：１ｂ，３ｂ，５ｂ，７ｂ）する
はんだ傾斜角度を順番に示した詳細状態を示すものであ
る。

【０００９】図３は電子部品のリード部２１とはんだ付
け部２２の平面図を示している。同図の二点鎖線で現し
たほぼ正方形の枠２３は撮像カメラ２，２′の撮像取り
込み範囲を示す。

【００１０】図４は画像処理装置により得たはんだ付け
の状態のはんだ形状コードを示した詳細データ状態図を
示している。同図は，多段多照明装置１１，１３，１
５，１７により各照明をはんだ付け面に順次切り替えた
場合，撮像カメラ２，２′から得た撮影画像を画像処理
装置３によりはんだ面からの相対的に反射率の高い箇所
の領域を摘出し画像処理装置４で各画像データを合成し
て再構築し，表示したものである。例えば，形状傾斜角
度のコード番号１ｃは照明装置１１で照射した場合の相
対的に反射率の高い箇所の領域を示し，コード番号３ｃ
は照明装置１３で照射した場合の相対的に反射率の高い
箇所の領域を示す。このように画像処理装置４により各
照明に対応した各撮像データは合成される。従って，図
４は画像処理後に得たはんだ面の形状傾斜角度のコード
番号をはんだ付け上面より示した詳細データ状態を示し
ていることになる。なお，形状傾斜角度のコード番号２
ｃは多段多照明装置１１，１３の中間値コード番号，４
ｃは多段多照明装置１３，１５の中間値，コード番号６
ｃは多段多照明装置１５，１７の中間値を画像処理装置
３，４により求め設定したものである。

【００１１】図５ははんだ付け上面より示した詳細デー
タ（すなわち，図４）の結果を入力し，認識判定処理
し，各種のはんだ付け状態別に分類し出力する認識判定
装置５の構成図を示す。同図において認識判定装置５の
構成は公知のニューラルネットワークの一種である学習
形階層式パーセプトロンからなる，ニューロ・ファジィ
コンピュータである。

【００１２】ニューラルネットワークの構成は入力層
Ｉ，中間層Ｈ，出力層Ｏである。ここで各層のニューロ
ンユニットが互いにシナプス結合，すなわち，各シナプ
ス（図示省略）はそれぞれ１個づつ係数を記憶し，他の
ニューロンユニットからきた信号を受けて，該係数を掛
ける作用を介して接続された後，ニューロン（図示省
略）に取り込む。各ニューロンが出す信号は該ニューロ
ンユニットが取り込んだ信号の総和のレベルにより決ま
る。記憶している係数が該ニューラルネットワークの持
つ知識である。

【００１３】ここで，ニューラルネットワークの学習に
はバックプロパゲーションを用いる。すなわち，始めに
入力層Ｉに詳細データを入力し，中間層Ｈを経て出力層
Ｏに回答，すなわち，はんだ付け状態別分類を得る。ニ
ューラルネットワークはこの回答と理想回答とを比較し
その差が小さくなるようにシナップス結合を出力層Ｏか
ら中間層Ｈ，入力層Ｉへと逆にだどり，自ら変更してい
く。この学習を多くのデータを用いて繰り返すことによ
り，ニューラルネットワークはあらゆるデータに対して
正確な回答を出力するようになる。すなわち，ニューラ
ルネットワーク内のネットワークが最適な判断構成とな
るように結合の重み付けを実施されるように構成され
る。

【００１４】以上のニューラルネットワークの動作式
は，まず，順伝播の動作は，入力層ＩにパターンＰが入
力されると，中間層Ｈの各ユニットｊは式（１）で示さ
れる内部ポテンシャルＵｊを蓄積する。結合の重み値を
Ｗとし，ｆをシグモイド関数とする。Ｕｊ＝ΣＷｊｉ・
Ｉｉ＋θｊ−−−−−（１） Ｕｊ：中間層Ｈのユニットの内部ポテンシャル Ｗｊｉ：入力層Ｉのユニットから中間層Ｈのユニットへ
の結合係数 Ｉｉ：入力層Ｉのユニットの出力 θｊ：中間層Ｈのユニットのオフセット係数 Ｈｊ＝ｆ（Ｕｊ）−−−−−−（２） Ｈｊ：中間層Ｈのユニットの出力 これは，中間層Ｈのユニットの出力が，入力層Ｉのユニ
ットの出力と結合係数の荷重和により求められることを
表している。この内部ポテンシャルＵｊは，例として単
調非減少のシグモイド関数ｆ（ｘ）により，中間層Ｈの
ユニットの出力Ｈｊとなる。同様に，出力層Ｏの各ユニ
ットｋも次式により求められる。 Ｓｋ＝ΣＶｋｊ・Ｈｊ＋γｋ−−−−−（３） Ｓｋ：出力層Ｏのユニットの内部ポテンシャル Ｖｋｊ：中間層Ｈのユニットから出力層Ｏのユニットへ
の結合係数 γｊ：出力層Ｏのユニットのオフセット係数 Ｏｋ＝ｆ（Ｓｋ）−−−−−−−（４） Ｏｋ：出力層Ｏのユニットの出力 次に，学習データにもとづく結合係数の逆伝播の動作
は，出力層Ｏの出力Ｏｋと教師データＴｋとが一致する
ように，結合係数の修正値を求める。学習の評価として
は，誤差関数Ｅｐとする。 Ｅｐ＝ｇ（Ｔｐｋ−Ｏｋｐ）−−−−−−（５） を考える。中間層と出力層の結合係数の更新値△Ｖｋｊ
は，各結合係数を微小変化させたとき，誤差関数への影
響δＥｐ／δＶｋｊに比例した量ずつ，最小値へ変化さ
せれば， △Ｖｋｊ＝−α・δＥｐ／δＶｋｊ−−（６） α：定数 結合係数の誤差関数Ｅｐへの影響は δＥｐ／δＶｋｊ＝−θｋ・Ｈｊ−−−（７） θｋ：誤差 新たな結合係数Ｖｋｊは， △Ｖｋｊ＝α・θｋ・Ｈｊ−−−−−−（８） Ｖｋｊ＝Ｖｋｊ（前回）＋△Ｖｋｊ−−−−（９） 同様に，入力層と中間層の結合係数の更新値△Ｗｊｉ
は，各結合係数を微小変化させたとき，誤差関数への影
響δＥｐ／δＷｊｉに比例した量ずつ，最小値へ変化さ
せれば， △Ｗｊｉ＝−β・δＥｐ／δＷｊｉ−−−−（１０） β：定数 結合係数の誤差関数Ｅｐへの影響は δＥｐ／δＷｊｉ＝−εｊ・Ｉｉ−−−−（１１） εｊ：誤差 新たな結合係数Ｗｉｊは， △Ｗｊｉ＝β・εｊ・Ｉｉ−−−−（１２） Ｗｊｉ＝Ｗｊｉ（前回）＋△Ｗｊｉ−−−（１３） となる。この結合の重み値の更新の動作を繰り返す事に
より，誤差を０に近付けていく学習方法である。

【００１５】本発明の実施例においては，ニューラルネ
ットワークの具体的構成例として，ニューラルネットワ
ークの構成は中間層を二重とした入力層Ｉ，中間層Ｈ，
中間層Ｈ′，出力層Ｏの４層にて，ニューロ・ファジィ
コンピュータを構成している。係る中で，ニューラルネ
ットワークの入力層Ｉ，中間層Ｈ，中間層Ｈ′の構成に
おいて，中間層Ｈ′の一群はファジィ出力的に結合され
ている。

【００１６】ニューロ・ファジィコンピュータである該
認識判定装置５の入力層Ｉは図４に示した詳細データ状
態図に対応し，その画素に対応する（冗長度の多い場合
には必要に応じて，一定間隔に間曳いた後）たてデータ
ｎ×よこデータｍ＝ｎｍニューロンユニットを設ける。
この入力層Ｉに画像処理装置４からのデータが入力す
る。

【００１７】中間層Ｈは入力層Ｉに対応しｐｑのニュー
ロンユニットを実験的に設ける。中間層Ｈ′は，詳細分
類Ｎニューロンユニットに，はんだ状態をファジィ的に
出力する一群を設ける。例えば，はんだ形状計測の要素
である，「はんだ高さが，非常に高い，高い，普通，低
い，かなり低い」の５分類と，かんだ長さが，「非常に
長い，長い，普通，短い，かなり短い」の５分類と，は
んだ形状状態の要素であるはんだ部中央の急峻性が，
「非常に急峻，急峻，普通，盛り上がる，かなり盛り上
がる」の５分類と，リードに接続する先端付近のはんだ
部の平坦性が，「非常に平坦，平坦，普通，平坦が少な
い，平坦が全くない」の５分類と，はんだ部とリード位
置のずれが，「非常に大，大，普通，少ない，全くな
い」の５分類の，この群の計２５ニューロンユニット
に，さらに別群として，後段の出力層Ｏの認識判定に必
要なニューロンユニット数を加えて，中間層Ｈ′のニュ
ーロンユニット数Ｎを設けられる。

【００１８】次に，出力層Ｏには認識判定カテゴリ結果
の詳細分類Ｍニューロンユニットを設ける。予め設定し
た認識判定カテゴリとして各種はんだ付けの状態別，
ａ：良，ｂ：不足，ｃ：過剰，ｄ：ぬれ不良，ｅ：無
し，ｆ：リード浮き，ｇ：リードずれ，ｈ：異常など
に，Ｍ分類される。

【００１９】学習段階においては，上記係数（知識）を
適切な値に修正する事になる。先ず，はんだ付けの状態
の自動分類をするために，予め詳細分類が分かっている
はんだ面の形状傾斜角度の特徴パラメータである形状傾
斜角度別の形状情報データが，入力層Ｉに，画素分たて
データｎ×よこデータｍ＝ｎｍニューロンユニット入力
される。この時のはんだ付け状態のデータは，はんだ付
けの実面積領域，急峻性，平坦性，リード位置との対象
性等の形状データをふくんでいる。学習には，各分類の
お手本の例題となるデータと正しい出力値を準備し，例
題を入力層Ｉに入力し，中間層Ｈ′の出力をえて，出力
層Ｏが出す出力と正しい出力値の差（誤差）が小さくな
るように，各シナプスが記憶している係数を更新する。
外部へ出力しない中間層Ｈ′，中間層Ｈについては，お
手本に対する直接の誤差を測定出来ないため，出力層Ｏ
と，中間層Ｈ′の一群に表れている誤差を逆伝播させる
ことによって，中間層Ｈ′，中間層Ｈによる誤差を修正
する。具体的には後段の層のニューロンユニットの誤差
とシナプスの係数を掛け算し，そのシナプスにつながる
前段の層Ｈのニューロンユニットにつたえ記憶している
係数を更新し学習する。

【００２０】しかるのちに，任意のはんだ付けの状態を
撮像すれば，画像処理し，認識判定し，はんだ付けの状
態の結果を抽出し明確にする。以上の実施例によれば，
簡単な構成と，高級なソフトを使用しないで，必要時に
詳細データ状態図即ち画像分布データの入力のみで，は
んだ付けの状態をファジィ判定しつつ，認識判定カテゴ
リのレベルを学習し，検査基準を任意に最適な検査条件
を設定できる。使用時には極めて高速に，正確に判定検
査できる。はんだ付けの状態の条件の変更も学習により
容易である。

【００２１】なお，既述の実施例では，図４において形
状情報データとして，各撮像される画素毎に，形状傾斜
角度のコード番号を記載し構成し表示したが，さらに，
詳細な形状データとして，各画素で撮像される濃度の階
調レベルを併せ表示処理することもできる。即ち，形状
傾斜角度のコード１，３，５，７のときの実データ，形
状傾斜角度のコード２，４，６，のときは重なり部の平
均階調レベルデータが用いられる。例えば，（コード番
号，＆階調レベル）とされる。（１ｃ＆２５６），（２
ｃ＆１２０）等。本データを形状データとして，ニュー
ラルネットワークに入力し，出力し，より高度に，認識
判定処理される。

【００２２】また，以上の実施例では，図１に示した画
像処理装置３，４の動作を分けた例を説明したが，認識
判定装置５に含めて実行することも可能である。すなわ
ち，多段多照明装置１１，１３，１５，１７により各照
明をはんだ付け面に順次切り替え毎に，撮影カメラ２，
または２′からの画像データを直接入力する。はんだ付
けの状態の詳細データ状態は各撮影画像のデータを，順
次順番にタイミングをとり入力し，前後の比較から，順
次，はんだ面からのもっとも反射率の高い箇所の領域を
形状データとし，データが重なる毎に情報処理すれば，
一つのはんだ面のデータが入力完了し，時分割的に入力
することになり，（画像処理装置３，４を有する場合の
空間分割的入力に対し），認識判定装置５のみで，はん
だデータから認識判定装置５の入力層Ｉ，中間層Ｈ，中
間層Ｈ′，出力層Ｏをえて，はんだ付け状態毎の結果
を，学習し，識別し，検査可能である。

【００２３】更に，また認識判定装置５の入力層Ｉに受
光出来る面を形成し，撮像カメラ２，または２′の替わ
りに直接結像面を入力層Ｉの前面（図示省略）に形成す
る。この時の図１に示した画像処理装置３，４の動作も
認識判定装置５に含められて実行する。 すなわち，多
段多照明装置１１，１３，１５，１７により各照明をは
んだ付け面に順次切り替え毎に，撮影画像を入力する。
はんだ付けの状態の詳細データ状態は各撮影画像のはん
だ面からのもっとも反射率の高い箇所の領域を順次入力
することになり，一つのはんだ面のデータが入力完了
し，データが重なる毎に情報処理すれば，認識判定装置
５のみで，同様の手順で，アナログのデータから認識判
定装置５の入力層Ｉ，中間層Ｈ，中間層Ｈ′，出力層Ｏ
をえて，学習し，識別し，検査可能である。この場合更
に最も簡素な構成とすることができる。

【００２４】また，実施例では照明式で説明したがレー
ザー光線を用いてもよい。この場合は例えば図１の撮像
カメラの位置にレーザー光源を置き多段照明装置のそれ
ぞれの位置にリング状のセンサを設け角度又は高さの画
像分布データをもとに入力しても同様の効果が得られる
ことが可能である。更に，多段の照明装置は当該各段，
すなわち，光の各照射角度に対応して固有の色を発光さ
せることにより，画像分布データの抽出をより高速化す
ることが出来る。例えば，照明手段を赤色，青色，緑色
等の複数の色相とした場合は反射光の色相の違い，変化
により照射角度が特定出来るため，時間と共に光源を切
換（多段光源の場合）たり，移動（光源を移動すること
により照射角度を変える）する必要が無い。

【００２５】

【発明の効果】以上説明したように本発明は，電子部品
の基板実装後のはんだ付け状態を多段多照明装置により
照射し，それぞれの画像を撮像カメラにて撮像し，画像
処理装置により必要画像分布データを，認識判定装置に
入力し，ニューラルネットワーク一種である学習形階層
式パーセプトロンにてニューラル・ファジィコンピュー
タを構成し，形状状態のファジィデータも含め，且つは
んだ付け状態を高速，正確に認識判定検査する。

【図面の簡単な説明】

【図１】本発明によるはんだ付けの状態検査装置の主要
部簡略構成図。

【図２】はんだ付け部拡大側断面図。

【図３】電子部品のリード部とはんだ付け部の拡大平面
図。

【図４】本発明によるはんだ形状コードを示した詳細デ
ータ状態図。

【図５】本発明に用いる認識判定装置のブロック構成
図。

【符号の説明】

１ 実装基板 １１，１３，１５，１７ 照明装置 １ａ，３ａ，５ａ，７ａ 入射光 １ｂ，３ｂ，５ｂ，７ｂ 反射光 １ｃ，３ｃ，５ｃ，７ｃ コード番号 ２，２′ 撮像カメラ ３，４ 画像処理装置 ５ 認識判定装置 Ｉ 入力層 Ｈ 中間層 Ｈ′ 中間層 Ｏ 出力層

Claims (4)

【特許請求の範囲】
1. 【請求項１】 電子部品の基板実装後のはんだ付け状態
   を多段多照明装置により照射し、それぞれの画像を撮像
   カメラにて撮像し，各段により得られた濃淡階調分布の
   画像配列データから構成される形状情報データのパター
   ンを，認識判定装置に入力し，学習形階層式パーセプト
   ロンにてニューロ・ファジィコンピュータを構成し，は
   んだ付け状態を出力し，認識判定検査するはんだ付けの
   状態検査装置。
2. 【請求項２】 電子部品の基板実装後のはんだ付け状態
   を多段多照明装置により照射し，それぞれの画像を撮像
   カメラにて撮像し，各段により得られた濃淡階調分布の
   画像配列データから構成される形状情報データのパター
   ンを，認識判定装置に入力し，入力層，中間層，出力層
   により学習形階層式パーセプトロンにて形成されるニュ
   ーロ・ファジィコンピュータを構成し，中間層にファジ
   ィ処理を含め，更に該出力層に，はんだ付け状態を出力
   し，認識判定検査するはんだ付けの状態検査装置。
3. 【請求項３】 電子部品の基板実装後のはんだ付け状態
   を多段多照明装置により照射し，認識判定装置の入力層
   に受光出来る面を形成し，該多段多照明装置の切り替え
   毎に該認識判定装置にて直接結像し，入力し，形状情報
   データを入力層，中間層，出力層により学習形階層式パ
   ーセプトロンにて形成されるニューロ・ファジィコンピ
   ュータを構成し，該中間層にファジィ処理を含め，更に
   該出力層に，はんだ付け状態を出力し，認識判定検査す
   るはんだ付けの状態検査装置。
4. 【請求項４】 電子部品の基板実装後のはんだ付け状態
   をレーザー式にて走査照射しそれぞれの面をセンサにて
   受光し，画像処理装置により必要抽出画像分布の画像配
   列データから構成される形状情報データのパターンを認
   識判定装置に入力し，入力層，中間層，出力層により学
   習形階層式パーセプトロンにて形成されるニューロ・フ
   ァジィコンピュータを構成し，該中間層にファジィ処理
   を含め，更に該出力層に，はんだ付け状態を出力し，認
   識判定検査するはんだ付けの状態検査装置。