JPH0886628A

JPH0886628A - 神経回路網による半導体チップリード半田外観検査法

Info

Publication number: JPH0886628A
Application number: JP6221710A
Authority: JP
Inventors: Yukichi Shoji; 祐吉小路; Naoyoshi Takatsu; 直由高津
Original assignee: Rohm Co Ltd
Current assignee: Rohm Co Ltd
Priority date: 1994-09-16
Filing date: 1994-09-16
Publication date: 1996-04-02

Abstract

(57)【要約】【目的】半導体チップのリード面に塗布された半田の
外観検査の自動化を実現する方法を提供する。【構成】半導体チップ３のリードに塗布された半田表
面の画像をカメラ１で撮影し、画像４を複数の領域に分
割して各領域の輝度レベルの平均値を算出し、画像を２
値化してラベリング処理を行った後、連結成分の２次元
特徴量を複数個計測し、前記平均値と２次元特徴量と
を、予め学習させた神経回路網に入力して半田の良否判
定出力を得る。輝度レベルの平均値は、画像を横（縦）
方向に分割した各領域の輝度平均値と、画像を縦（横）
方向に分割し、さらにリードの付け根付近の１個以上の
領域を格子状に分割した各領域の輝度平均値とを使う。
２次元特徴量は、連結成分の総数と、最も大きい連結成
分の面積と、同連結成分に外接する四角形の縦の長さと
横の長さの比と、面積の大きいものから順にｋ個（ｋは
１以上の整数）の連結成分についての重心座標の分散と
を含む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、半導体製造工場におけ
るチップリード面半田外観検査や、半導体ユーザー側で
の製品受け入れ検査に適用される方法に関する。

【０００２】

【従来の技術】半導体製造工場では、半導体チップのリ
ード（端子）に半田を塗布した上で出荷している製品が
少なくない。この半田に表面欠陥、半田弾き、未半田等
の不良があると、ユーザー側でチップを基板に自動実装
した場合に接触不良などの不具合を生じる。従って製品
出荷前の外観検査が不可欠であるが、目視検査に頼って
いるのが現状である。しかし、近年、半導体チップの小
型化や、生産量の増大などの理由で目視検査では対応で
きなくなってきており、検査の自動化が望まれている。

【０００３】表面欠陥の検査手法としてよく用いられる
手法に、レーザー光の散乱を利用したものがある。これ
は物体の表面をレーザー光で走査したときに欠陥部分で
は散乱光の方向が変化することを利用して、欠陥を検出
するものである。

【０００４】また、実装部品の半田接合部の外観検査に
ニューラルネット（八尋，西：“はんだ接合部における
検査技術”，ＨＹＢＲＩＤＳ，８，３，ＰＰ．１８−２
４（１９９２））やファジィニューロン（熊田：“はん
だ付け外観検査装置ＶＢ２０００”．エレクトロニクス
実装技術，９．９，ＰＰ．８３−８６（１９９３））を
応用した例も報告されている。これらの手法は、プリン
ト基板に電子部品を半田付けした際に部品のリード先端
と基板表面との間に形成される半田フィレットの表面の
光沢パターンが、半田量の過不足や塗れ性などの半田状
態によって固有の形状を示すことを利用したものであ
り、ニューラルネットやファジィニューロンによる“や
わらかい”パターンマッチングによって半田状態を識別
するものである。

【０００５】また、半導体チップの裏面に形成した半田
バンプの欠陥検査にニューラルネットを応用した事例の
報告もある（斎藤：“ニューラルネットによるハンダバ
ンプ検査”第６回人工知能学会全国大会論文集，６，Ｐ
ｔ２，ＰＰ．５８９〜５９２（１９９２））。良好な半
田バンプはほぼ半球状をしているが、バンプ形成プロセ
スのパラメータ変動や搬送時のショックなどによって半
田量の過不足、変形、つぶれ、欠け、ゴミの付着などの
欠陥を生じる。欠陥の多様性のためその判定をアルゴリ
ズムとして記述することは困難であり、この問題をニュ
ーラルネットによって解決している。具体的には、まず
同軸落射照明下で得られたバンプの画像を２値化した上
でラベリング処理を施し、バンプの面積、外接四角形の
縦及び横の長さという３種の２次元特徴量を計測する。
次に照明を蛍光灯リングライトに切り替え、図５に示す
ような同心円状の８個の領域にバンプの画像を分割し、
各領域の輝度の平均値を算出する。このようにして得ら
れた３種の２次元特徴量と８個の輝度平均とを、予め学
習させておいたニューラルネットに与えることによっ
て、半田バンプの良否判定を行っている。

【０００６】

【発明が解決しようとする課題】図６に示すように、半
導体チップ１０のリード１１は四角く平らであるので、
そこに塗布される半田１２は薄いカマボコ状になる。主
な半田不良は、ピンホール、ブローホール、一部半田無
し、全面半田無し、半田弾き（ｄｅｗｅｔｔｉｎｇ）な
どである。また、欠陥がなくとも半田表面の凹凸の大き
いものは不良として検出する必要がある。これら不良モ
ードは一つのリード上に混在して発生する場合が少なく
ない。また、溶融半田をチップリードに塗布するリ一ル
の形状の影響によって、良品に分類される半田面であっ
ても表面に微少な凹凸があり、表面の３次元形状は単純
ではない。

【０００７】このような事情により、半田面の画像は複
雑で多様性に富んだものとなる。良品と不良品とで類似
したパターンを生じる場合も多く、実装部品の半田接合
部の検査に用いられているようなパターンマッチングで
は識別不可能である。

【０００８】また、半田面が曲面であることや、半田無
し不良などの欠陥部分ではリード金属の平らな表面が露
出していることなどの理由により、入射光の散乱方向は
欠陥部分とそうでない部分とで明確な違いを生じず、レ
ーザー光の散乱方向を利用した手法を適用することはで
きない。

【０００９】一方、半田バンプの検査で用いられている
手法は、半導体チップリードの半田検査の場合にも有効
であると期待できる。しかし、半田バンプが半球状の形
をしているのに対して、チップリード面の半田は薄いカ
マボコ状である。このため、画像に明確な陰影を生じに
くく、且つ表面の微少な凹凸によって画像の輝度分布は
大きく影響を受けるため、画像による半田状態の識別は
より難しくなる。従って、チップリードの半田検査に最
適な２次元特徴量と画像分割条件を決定することが不可
欠であり、それができて初めてこの手法を半導体チップ
リードの半田検査に適用することができる。

【００１０】そこで本発明が解決すべき課題は、半導体
チップのリード面に塗布された半田の外観検査の自動化
を実現するための方法を提供することにある。

【００１１】

【課題を解決するための手段】半導体チップのリードに
塗布された半田表面の画像をＣＣＤカメラ等で撮影し、
画像を複数の領域に分割して各領域の輝度レベルの平均
値を算出し、次に画像を２値化してラベリング処理を行
った後、連結成分の２次元特徴量を複数個計測し、前記
平均値と２次元特徴量とを、予め学習させた神経回路網
に入力して半田の良否判定出力を得る。

【００１２】輝度レベルの平均値は、画像を横（または
縦）方向に分割した各領域の輝度平均値と、画像を縦
（または横）方向に分割し、さらにリードの付け根付近
の１個以上の領域を格子状に分割した各領域の輝度平均
値と、を使う。

【００１３】２次元特徴量は、連結成分の総数と、最も
大きい連結成分の面積と、同連結成分に外接する四角形
の縦の長さと横の長さの比と、面積の大きいものから順
にｋ個（ｋは１以上の整数）の連結成分についての重心
座標の分散とを含むか、もしくは、連結成分の総数と、
最も大きい連結成分の面積を画像面積で正規化したもの
と、同連結成分に外接する四角形の縦の長さと横の長さ
の比と、面積の大きいものから順にｋ個の連結成分につ
いての重心座標の分散を画像サイズで正規化したものを
含む。

【００１４】

【作用】図７はチップリードの半田面の典型的な２値画
像の例である。白い連結成分の幾何学的特徴に着目した
とき、半田状態の各モードの特徴は以下のように表現す
ることができる。すなわち、良品の場合は、（１），
（１）’に示すように縦に長い連結成分がリード中央付
近に存在する。半田弾き不良の場合は、（２）に示すよ
うに多数の小さな粒状の連結成分が散在している。半田
無し不良の場合は、（３）に示すように連結成分は四角
く大きい。一部半田無し不良の場合は、（４）に示すよ
うに縦に長い連結成分がリード中央付近にあり、リード
端部分には横に広い運結成分がある。

【００１５】実験の結果、以下の４種の２次元特徴量
が、前記のような典型的な２値画像の識別に有効である
ことがわかった。・連結成分の総数Ｎｂ・最も大きい連結成分の面積Ｓ１・同連結成分に外接する四角形の縦の長さ÷横の長さ
Ｒ１・面積の大きいものから順にｋ個の連結成分の重心座標
（ｘ座標）の分散Ｇｘ

【００１６】これらの特徴量の作用を概念的に説明する
と、例えば良品の場合はＮｂ、Ｇｘが小さくＲ１が大き
い、半田弾き不良の場合はＮｂ、Ｇｘが大きくＳ１は小
さいというように、２次元特徴量の組み合わせによっ
て、半田状態の類別ができる。また、リード部分の画像
サイズを縦Ｙ、横Ｘとしたとき、ｓｔの代わりにＳ１／
（Ｘ＊Ｙ）を、Ｇｘの代わりにＧｘ／（Ｘ²）を使え
ば、これらの特徴量は無次元量になるので、リードサイ
ズに依存しない識別が可能になる。

【００１７】しかしながら、実際の画像は先述のように
複雑で多様性に富んでおり、これだけの情報では精度の
高い識別はできない。そこで原画像の輝度分布情報をこ
れに加えることによって、画像の様々なヴァリエーショ
ンに対処する。ここで輝度分布情報とは、画像を複数の
領域に分割したときの、各領域の輝度平均値のことであ
る。輝度分布情報には半田面の３次元情報が間接的に含
まれるので、より高度な識別が可能になると考えられ
る。ここで重要なのは輝度分布を得るための画像の分割
方法である。

【００１８】チップリードの形状は長い長方形であり、
半田面の輝度分布はこの形状に依存する。したがって、
リード形状に合った分割を行うのが効果的である。つま
りリード長と平行な線での分割（縦方向分割）と、これ
と直交する線での分割（横方向分割）とである。また、
リードの付け根部分（チップに近い部分）は、パッケー
ジが近くにある為に半田塗布の精度が出にくく、未半田
不良（一部半田無し不良）が発生しやすい。未半田の部
分はリード金属がむき出しになるが、白黒画像で見たと
き半田面との区別がつきにくい。そこでこの部分の領域
を格子状に細かく分割することによって情報量を増や
し、一部半田無し不良に対する検出率の向上を図る。こ
うすることによって、画像全体を細かく格子状に分割す
るよりも少ない分割数で識別精度を向上できることを実
験により確認している。

【００１９】

【実施例】以下、本発明の実施例について説明する。本
発明の実施例を図１に示す。まず、同軸照明下でＣＣＤ
カメラ１によって、顕微鏡２で観察された半導体チップ
３の画像を取り込む（ステップ１０１）。次に画像４の
中からリード部分を切り出す（ステップ１０２）。以
下、切り出したリード部分の画像をリード画像と呼ぶ。
その後処理は２つのフローに分かれる。第一はリード画
像を２値化して（ステップ１０３）、ラベリング処理
（ステップ１０４）を施したのち、複数の２次元特徴量
を計測する（ステップ１０５）。他方は、リード画像を
複数の領域に分割して（ステップ１０６）、各領域の輝
度平均値を算出する（ステップ１０７）。こうして得ら
れた複数の２次元特徴量と複数の輝度平均値とを、予め
学習させておいた神経回路網（以下、ニューラルネット
という）に入力する（ステップ１０８）。最後にニュー
ラルネットの出力値によって半田の良否を判定する（ス
テップ１０９）。なお、同図は、説明を分かりやすくす
るために輝度平均算出フローと２次元特徴量計測フロー
とを並列に記しているが、実際の処理はシリアルに行わ
れる。

【００２０】ニューラルネットには例えば図２に示すよ
うな階層型ネットワークを使う。入力層は、２次元特徴
量の個数と輝度平均値の個数とを合わせた個数のニュー
ロンから構成される。出力層は、識別するカテゴリー数
と同数のニューロンから構成される。例えば、カテゴリ
ーが良品、不良品の２個である場合には２個のニューロ
ンを、良品、一部半田無し、半田弾き、その他の不良と
いうように４個のカテゴリーの場合は４個のニューロン
を用意する。ニューラルネットには例えば誤差逆伝播ア
ルゴリズムによって予め入力空間のカテゴリ分けを学習
させておく。入力信号が属するカテゴリーに対応した出
力ニューロンに対しては１を、その他のニューロンに対
しては０を教師信号として与えるような学習を行うこと
によって、ニューラルネットは入力信号空間のカテゴリ
分けを学習することができる。

【００２１】なお、以下、入力信号が良品のものである
ときに１を出力するように学習させた出力ニューロンを
「良品検出ニューロン」とよび、不良であるときに１を
出力するように学習させた出力ニューロンを「不良検出
ニューロン」と呼ぶ。

【００２２】また、ニューラルネットの出力値による良
否判定の方法は例えば次のようにする。あるリード画像
から得られた入力信号をニューラルネットに与えたとき
に、良品検出ニューロンの出力値があるしきい値ｔｈ１
以上で、且つ、不良検出ニューロンの出力値があるしき
い値ｔｈ２より小さければ、そのリードの半田は良品と
判定し、それ以外は不良と判定する。ｔｈ１を大きく、
ｔｈ２を小さく設定すれば、良品である確度の高い場合
のみを良品とし、それ以外は曖昧なものも含めて全て不
良とするような判定基準になる。ただし、この判定方法
はあくまで一例であって、この他例えば、中間的な値を
出力した場合には“認識不能”として判断を目視検査に
まわすというやり方や、不良検出ニューロンを複数の不
良モードに対応させて複数個用意して、各ニューロンの
出力値から不良モードを類別するというやり方など、様
々な方法が考えられる。

【００２３】図３は図１における領域分割（ステップ１
０６）の方法である。まず、リード画像を同図（ａ）の
ように縦方向にｎ分割し、各領域の輝度平均を算出す
る。次に、リード画像を同図（ｂ）のように横方向にｍ
分割し、さらにリードの末端部分近辺の領域ｋ個をｈ個
の格子に分割し、各領域の平均値ｍ−ｋ＋ｈ個を検出す
る。

【００２４】こうして得られたｎ＋ｍ−ｋ＋ｈ個の輝度
平均と、２次元特徴量とをニューラルネットへの入力と
する。なお、ｎ、ｍ、ｋ、ｈは１以上の整数であり、図
はｎ＝５、ｍ＝７、ｋ＝２、ｈ＝１０の場合を示してい
る。リードの末端部分を細かく分割する目的は、この部
分に半田一部無し不良が発生しやすいため、情報量を増
やすことによって検出精度を向上させることにある。ま
た、この例では横方向に分割した領域を格子状に分割し
ているが、縦方向に分割した領域を格子状に分割しても
同様の効果を得ることができる。

【００２５】図１における２次元特徴量の計測（ステッ
プ１０５）において計測する特徴量の種類は、以下の
ａ）〜ｄ）の４種、もしくはｅ）〜ｈ）の４種を含む複
数の特徴量である。ａ）連結成分の総数Ｎｂｂ）最も大きい連結成分の面積Ｓ１ｃ）同連結成分に外接する四角形の縦の長さ÷横の長さ
Ｒ１ｄ）面積の大きいものから順にｋ個の連結成分の重心座
標（ｘ座標）の分散Ｇｘｅ）連結成分の総数Ｎｂｆ）最も大きい連結成分の面積÷リード画像の面積Ｓ
１′ ｇ）同連結成分に外接する四角形の縦の長さ÷横の長さ
Ｒ１ｈ）面積の大きいものから順にｋ個の連結成分の重心座
標（ｘ座標）の分散÷（リード画像のｘ方向サイズ）²
Ｇｘ’

【００２６】Ｓ１’、Ｇｘ’はそれそれＳ１、Ｇｘをリ
ード画像の面積、リード画像のｘ方向サイズの自乗で正
規化したものであり、いずれも無次元の量である。こう
することによって、リードサイズの異なる品種に対して
も、同一のニューラルネットを適用することができるよ
うになる。

【００２７】次に、本実施例を使って行った外観検査の
実験について述べる。まず実験条件を示す。ニューラル
ネットは入力層、中間層、出力層の順にニューロン数２
４、２０、３の３層ネットワークである。出力ニューロ
ンは良品検出ニューロン１個、不良検出ニューロン２個
からなる。不良検出ニューロンは、一部半田無し不良検
出用、その他の不良検出用である。２次元特徴量には、
前記ａ）〜ｄ）を使った。また、画像分割は図３のよう
にした。従って、ニューラルネットへの入力信号数は、
２次元特徴量４個、輝度平均２０個の計２４個である。
ニューラルネットの学習は、リード画像１４２個につい
て１００００回行った。

【００２８】学習終了後、学習に使った画像を含まない
５０８個のリード画像について、本実施例による良否判
定の実験を行った。画像の内訳は良品３２９個、不良１
７９個である。良品の中には、理想に近い良品の他に、
表面に凹凸のあるもの、光沢がやや少ないもの、リード
にわずかな曲がりのあるものなど、良品の規格を満たす
範囲内で様々なヴァリエーションを含めた。また、不良
品の内訳は、表面欠陥、一部半田無し、全面半田無し、
半田弾きなどである。また、欠陥がなくとも表面の凹凸
が大きいものは不良に分類した。

【００２９】判定のしきい値はｔｈ１＝０．８、ｔｈ２
＝０．４とし、良品検出ニューロンの出力がｔｈ１より
大きく、且つ、２個ある不良検出ニューロンの出力がと
もにｔｈ２より小さければ良品、それ以外は不良と判定
した。本実施例による判定結果と、予め顕微鏡を使った
目視検査によって良否判定しておいた記録とを照合し、
両者が一致した場合に正解とした。

【００３０】本実施例の正解率は、良品については９
５．７％、不良については１００％であった（表１上
段）。良品を不良と誤認識した１４例に対する各出力ニ
ューロンの出力値は表２のごとくであった。１４例中９
例までもが良品検出ニューロンの出力が０．６を越えて
おり（表中○印）、惜しい結果となつている。明かな誤
認識は表中※印をつけた２例だけである。

【００３１】

【表１】

【００３２】

【表２】

【００３３】また、比較のために以下のような実験を行
った。リード画像の分割条件による正解率の違いをみる
ために、図４に示す３種の分割条件について比較実験を
行った。同図（ａ）は本実施例における領域分割方法で
あり、同図（ｂ）はリードの付け根部分を格子状に分割
していないもの、同図（ｃ）はリード画像全体を格子状
に分割したものである。分割数では（ｃ）が１００分割
で最大であり、（ａ）、（ｂ）は順に２０分割、１２分
割である。これら３種の分割条件から得られる輝度分布
のみを使って識別実験を行った結果、正解率は表１下段
のごとくであった。

【００３４】すなわち、正解率を（良品に対する正解
率、不良品に対する正解率）と表すと、（ａ）が（９
４．３％、９９．４％）、（ｂ）が（１９．４％、９
８．９％）、（ｃ）が（９４．８％、９４．４％）であ
った。この結果より、本実施例の分割方法が、少ない分
割数でなおかつ高い識別精度を実現できることが分か
る。また、（ａ）の結果と（ｂ）の結果の比較により、
リードの付け根部分を細かく分割したことの効果が極め
て大きいことが分かる。

【００３５】以上は輝度平均のみを使って行った比較実
験の結果であるが、これに２次元特徴量を加えた本実施
例の結果（前出の表１上段）よりも識別精度は低いこと
が分かる。なお、処理速度はリード１本当たり（４０＊
１４６画素）トータルで約２３ｍｓと、非常に高速であ
った（ｃｐｕ＝ｉ４８６，６６ＭＨｚ）。

【００３６】以上の実験によって、本実施例により、高
速で精度の高い検査システムを実現できることが検証さ
れた。

【００３７】

【発明の効果】以上述べたように、本発明によれば、精
度の高い良否判定が可能となる。また、ニューラルネッ
トの学習機能を利用するので、識別のアルゴリズムを記
述する必要がなく、設計が容易となる。さらに、高速処
理が可能となる。

【図面の簡単な説明】

【図１】本発明の実施例のフローチャートである。

【図２】本発明のニューラルネットの階層構造の説明
図である。

【図３】本発明の実施例におけるリード画像分割方法
の説明図である。

【図４】本発明実施例の比較実験を行った分割方法の
説明図である。

【図５】ハンダバンプ検査における画像分割方法の説
明図である。

【図６】チップリードに塗布された半田の形状を示す
説明図である。

【図７】半田面の２値画像の典型例の説明図である。

【符号の説明】

１ＣＣＤカメラ、２顕微鏡、３半導体チップ、４
画像、１０半導体チップ、１１リード、１２半
田

Claims

【特許請求の範囲】

【請求項１】半導体チップのリードに塗布された半田
の表面の画像を複数の領域に分割して各領域の輝度レベ
ルの平均値を算出し、同画像を２値化してラベリング処
理を行った後、連結成分の特徴量を複数個計測し、前記
平均値と特徴量とを、予め学習させた神経回路網に入力
して、半田の良否判定出力を得る、神経回路網による半
導体チップリード半田外観検査法であって、輝度レベルの平均値は、画像を横又は縦のいずれか一方の方向に分割した各領域
の輝度平均値と、画像を縦又は横のいずれか他方の方向に分割し、さらに
リードの付け根付近の１個以上の領域を格子状に分割し
た各領域の輝度平均値であることを特徴とする半導体チ
ップリード半田外観検査法。
【請求項２】半導体チップのリードに塗布された半田
の表面の画像を複数の領域に分割して各領域の輝度レベ
ルの平均値を算出し、同画像を２値化してラベリング処
理を行った後、連結成分の特徴量を複数個計測し、前記
平均値と特徴量とを、予め学習させた神経回路網に入力
して、半田の良否判定出力を得る、神経回路網による半
導体チップリード半田外観検査法であって、特徴量は、連結成分の総数と、最も大きい連結成分の面積と、同連結成分に外接する四角形の縦の長さと横の長さの比
と、面積の大きいものから順にｋ個（ｋは１以上の整数）の
連結成分についての重心座標の分散とを含むことを特徴
とする神経回路網による半導体チップリード半田外観検
査法。
【請求項３】半導体チップのリードに塗布された半田
の表面の画像を複数の領域に分割して各領域の輝度レベ
ルの平均値を算出し、同画像を２値化してラベリング処
理を行った後、連結成分の特徴量を複数個計測し、前記
平均値と特徴量とを、予め学習させた神経回路網に入力
して、半田の良否判定出力を得る、神経回路網による半
導体チップリード半田外観検査法であって、特徴量は、連結成分の総数と、最も大きい連結成分の面積を画像面積で正規化したもの
と、同連結成分に外接する四角形の縦の長さと横の長さの比
と、面積の大きいものから順にｋ個（ｋは１以上の整数）の
連結成分についての重心座標の分散を画像サイズで正規
化したものとを含むことを特徴とする神経回路網による
半導体チップリード半田外観検査法。