JP6189127B2 - はんだ付け検査装置、はんだ付け検査方法および電子部品 - Google Patents

Description

本発明は、はんだ付け検査装置、はんだ付け検査方法および電子部品に関する。

従来、電子部品に含まれるはんだ付けの良否を自動的に検査する検査方法が知られている。例えば、特許文献１には、電子部品の基板に取り付けられているはんだ付け部を照明し、その反射光をＣＣＤカメラで受光してイメージを得る段階と、イメージ全体をニューラルネットワークに適用して、はんだ付けの良否を判定する段階とを有するはんだ付け部検査方法が開示されている。

特開平９−２１４１３１号公報

しかし、上記従来のはんだ付け部検査方法では、イメージ全体をニューラルネットワークに適用しているので、はんだ付けの良否判定の精度が十分でないという問題がある。そこで、本発明は上記問題に鑑みてなされたものであり、はんだ付けの良否判定の精度を向上させることを可能とするはんだ付け検査装置、はんだ付け検査方法および電子部品を提供することを目的とする。

本発明の一態様に係るはんだ付け検査装置は、
電子部品に備えられた接続子、フレーム及び該接続子と該フレームとを接続するはんだからなるはんだ付け部に対して、互いに異なる角度で光を照射する複数の光源と、
前記接続子、フレーム及びはんだ付け部が反射した光を受光し、前記接続子、前記フレーム及び前記はんだ付け部が撮像された全体画像を生成する撮像部と、
前記撮像部が生成した全体画像において前記接続子を基準とする相対位置が予め決められた画像領域を、前記はんだ付け部に対応する前記全体画像内の領域であるはんだ付け領域として抽出するはんだ付け領域抽出部と、
前記はんだ付け領域抽出部が抽出したはんだ付け領域の画素値に関する情報を、学習済みのニューラルネットワークに適用することにより、前記はんだ付け部のはんだ付けの良否を判定する判定部と、
を備える。

本発明の一態様は、前記はんだ付け検査装置において、
前記はんだ付け領域は、前記全体画像内に複数あり、
前記学習済みのニューラルネットワークは、前記はんだ付け領域毎にあり、
前記はんだ付け領域抽出部は、前記全体画像からはんだ付け領域を複数抽出し、
前記判定部は、前記はんだ付け領域抽出部が抽出した複数のはんだ付け領域それぞれの画素値に関する情報を、対応する学習済みのニューラルネットワークに適用することにより、はんだ付けの良否を判定する。

本発明の一態様は、前記はんだ付け検査装置において、
前記複数の光源は前記はんだ付け部に対して順次切り替えて光を照射し、
前記判定部は、前記光源が照射する毎に前記撮像部が撮像して得た複数の全体画像それぞれに含まれる、全体画像上の位置が同じはんだ付け領域の画素値に関する情報を、同じ学習済みのニューラルネットワークの入力層に含まれる別々のニューロンの入力値として与えることにより、前記はんだ付け部のはんだ付けの良否を判定する。

本発明の一態様は、前記はんだ付け検査装置において、
前記複数の光源は全て青色光源であり、前記はんだ付け部に対して順次切り替えて青色光を照射する。

本発明の一態様は、前記はんだ付け検査装置において、
前記接続子及び前記フレームは銅を含む。

本発明の一態様は、前記はんだ付け検査装置において、
前記はんだ付け領域抽出部は、前記接続子の境界を前記全体画像から抽出し、該境界の位置に基づいて、前記はんだ付け領域を抽出する。

本発明の一態様は、前記はんだ付け検査装置において、
前記複数の光源に含まれる第１の光源は、前記はんだ付け部に対して垂直に光を照射し、
前記はんだ付け領域抽出部は、前記第１の光源を照射したときに前記撮像部が生成した全体画像に基づいて、前記接続子の境界を前記全体画像から抽出し、該境界の位置に基づいて、前記はんだ付け領域を抽出する。

本発明の一態様は、前記はんだ付け検査装置において、
電子部品の機種と前記接続子の種類が関連付けられて記憶されており、前記接続子の種類毎にニューラルネットワークを識別するニューラルネットワーク識別情報が記憶されている記憶部と、
前記電子部品の機種を取得する機種取得部と、
前記機種取得部が取得した機種が前記記憶部において関連付けられた接続子の種類に対応するニューラルネットワーク識別情報を読み出す読出部と、
前記判定部は、前記読出部が読み出したニューラルネットワーク識別情報が識別するニューラルネットワークを用いて、はんだ付けの良否を判定する。

本発明の一態様は、前記はんだ付け検査装置において、
前記判定部は、前記はんだ付け領域抽出部が抽出した領域をブロックに分割し、分割したブロック毎の画素値に関する情報を前記ニューラルネットワークの入力層の別々のニューロンに入力することにより、はんだ付けの良否を判定する。

本発明の一態様は、前記はんだ付け検査装置において、
前記ブロック毎の画素値に関する情報は、ブロック毎の輝度値の平均値である。

本発明の一態様は、前記はんだ付け検査装置において、
前記判定部は、前記ニューラルネットワークに適用する前に、前記全体画像を２値化画像に変換し、変換後の２値化画像からはんだ付けされた画像領域を抽出し、該抽出した画像領域の面積が所定の範囲内の場合に、前記ニューラルネットワークに適用し、前記抽出した画像領域の面積が所定の範囲外の場合に、前記ニューラルネットワークに適用せずに前記はんだ付けが不良であると判定する。

本発明の一態様は、前記はんだ付け検査装置において、
検査者により前記はんだ付けの良否を判定され良否毎に分類された前記はんだ付け領域の画素値に関する情報を用いて、前記ニューラルネットワークの学習を実行する学習実行部を備える。

本発明の一態様に係るはんだ付け検査方法は、
電子部品に備えられた接続子、フレーム及び該接続子と該フレームとを接続するはんだからなるはんだ付け部に対して、複数の光源から互いに異なる角度で光を照射する手順と、
撮像部が、前記接続子、フレーム及びはんだ付け部が反射した光を受光し、前記接続子、前記フレーム及び前記はんだ付け部が撮像された全体画像を生成する手順と、
はんだ付け領域抽出部が、前記撮像部が生成した全体画像において前記接続子を基準とする相対位置が予め決められた画像領域を、前記はんだ付け部に対応する前記全体画像内の領域であるはんだ付け領域として抽出する手順と、
判定部が、前記はんだ付け領域抽出部が抽出したはんだ付け領域の画素値に関する情報を、学習済みのニューラルネットワークに適用することにより、前記はんだ付け部のはんだ付けの良否を判定する手順と、
を有する。

本発明の一態様に係る電子部品は、
接続子、フレーム及び該接続子と該フレームとを接続するはんだからなるはんだ付け部を備える電子部品であって、前記はんだ付け部に対して、複数の光源から互いに異なる角度で光を照射する手順と、撮像部が、前記接続子、フレーム及びはんだ付け部が反射した光を受光し、前記接続子、前記フレーム及び前記はんだ付け部が撮像された全体画像を生成する手順と、
はんだ付け領域抽出部が、前記撮像部が生成した全体画像において前記接続子を基準とする相対位置が予め決められた画像領域を、前記はんだ付け部に対応する前記全体画像内の領域であるはんだ付け領域として抽出する手順と、
判定部が、前記はんだ付け領域抽出部が抽出したはんだ付け領域の画素値に関する情報を、学習済みのニューラルネットワークに適用することにより、前記はんだ付け部のはんだ付けの良否を判定する手順と、
を有するはんだ付け検査方法により検査された電子部品である。

したがって、本発明の一態様に係るはんだ付け検査装置は、はんだ付け領域の画素値に関する情報のみをニューラルネットワークに入力することにより、ニューラルネットワークにおける判定精度を向上させることができる。

さらに、本発明の一態様に係るはんだ付け検査装置は、全体画像の画素値に関する情報ではなく、全体画像から抽出したはんだ付け領域の画素値に関する情報をニューラルネットワークに適用することにより、ニューラルネットワークに入力される情報量が少なくすることができ、その結果、計算量を低減することができる。

また、本発明の一態様に係るはんだ付け検査方法は、はんだ付け領域の画素値に関する情報のみをニューラルネットワークに入力することにより、ニューラルネットワークにおける判定精度を向上させることができる。

さらに、本発明の一態様に係るはんだ付け検査方法は、全体画像の画素値に関する情報ではなく、全体画像から抽出したはんだ付け領域の画素値に関する情報をニューラルネットワークに適用することにより、ニューラルネットワークに入力される情報量が少なくすることができ、その結果、計算量を低減することができる。

図１（Ａ）は、本発明の実施形態に係る電子部品ＥＰの概略断面図の一例である。図１（Ｂ）は、図１（Ａ）の領域Ｒ３１の拡大断面図の一例である。 本発明の実施形態に係るはんだ付け検査装置１の概略断面図の一例である。 本発明の実施形態に係るはんだ付け検査装置１の概略平面図の一例である。 図４（Ａ）は、全体画像の模式図の一例である。図４（Ｂ）は、電子部品ＥＰを図４（Ａ）の線Ａ−Ａ’で切った場合の断面図の一例である。 本発明の実施形態に係る情報処理部２の構成を示す概略ブロック図の一例である。 電子部品と接続子の種類とが関連付けられたテーブルＴ１の一例である。 接続子の種類とニューラルネットワーク識別情報とが関連付けられたテーブルＴ２の一例である。 ニューラルネットワーク識別情報とそのニューラルネットワークで用いられる複数の結合荷重（以下、重みともいう）とが関連付けられたテーブルＴ３の一例である。 本発明の実施形態において、生成される画像データの一例である。 本発明の実施形態における接続子の位置検出について説明するための図である。 ２値化処理について説明するための図である。 全体画像から抽出するはんだ付け領域の一例である。 本発明の実施形態に係るはんだ付け検査装置１のデータ収集処理の一例を示すフローチャートである。 ニューラルネットワークの入力と出力について説明するための図である。 本発明の実施形態に係るはんだ付け検査装置１の学習処理の一例を示すフローチャートである。 本発明の実施形態に係るはんだ付け検査装置１の検査処理の一例を示すフローチャートである。

以下、本発明に係る実施形態について図面に基づいて説明する。

図１（Ａ）及び図１（Ｂ）を用いて、本実施形態ではんだ付けの検査対象とする電子部品ＥＰの構成について説明する。図１（Ａ）に示すように、電子部品ＥＰは、フレームＦ３２と、このフレームＦ３２のｚ軸正側の面に接合された接合部材Ｓ３２と、フレームＦ３１とを備える。電子部品ＥＰは、更に、フレームＦ３１のｚ軸正側の面に、接続された接続子Ｓ３１を備える。ここで図１（Ｂ）に示すように、接続子Ｓ３１は、はんだからなるはんだ付け部Ｈ３１を介してフレームＦ３１のｚ軸正側の面に接続されている。接続子Ｓ３１の一部は、接合部材Ｓ３２のｚ軸正側の面と接合されている。

図２に示すように、本発明の一態様である実施形態に係るはんだ付け検査装置１は、第１の光源Ｌ１と、第１の光源Ｌ１からｘ軸負方向に離れた位置に設置された光学部品１１を備える。はんだ付け検査装置１は、更に電子部品１１からｚ軸負方向に離れて設置された第２光源指示部材Ｓ２を更に備える。ここで、第２光源指示部材Ｓ２は、天井に開口部を有するドーム部材Ｓ２１と、そのドーム部材Ｓ２１の底円周を支持する支持部材Ｓ２２とから構成されている。はんだ付け検査装置１は、更に第２光源指示部材Ｓ２の支持部材Ｓ２２のｚ軸正側の面の上に、ドーム部材Ｓ２１の内面に向かって光を出射するよう取り付けられた第２の光源Ｌ２を備える。

また、はんだ付け検査装置１は、更に第２光源指示部材Ｓ２からｚ軸負方向に離れて設置された第３光源指示部材Ｓ３と、第３光源指示部材Ｓ３の内側に取り付けられた第３の光源Ｌ３を備える。はんだ付け検査装置１は、更に光学部品１１からｚ軸正方向に離れて設置された撮像部１３及び撮像部１３と電気配線で接続された情報処理部２を備える。

第１の光源Ｌ１、第２の光源Ｌ２、第３の光源Ｌ３は、例えば、全て青色光源であり、電子部品ＥＰ、特に電子部品ＥＰが備えるはんだ付け部Ｈ３１に対して順次切り替えて青色光を照射する。ここで、青色光源は、例えば、青色ＬＥＤである。

はんだ付け部Ｈ３１ははんだからなるので銀色である。一方、接続子Ｓ３１とフレームＦ３１は、一例として銅を含むので、接続子Ｓ３１とフレームＦ３１は銅色である。このため、青色光の反射率は、はんだ付け部Ｈ３１の方が、接続子Ｓ３１及びフレームＦ３１より大きい。これにより、はんだ付け部Ｈ３１に対して青色光を照射することで緑色または赤色の光を照射した場合よりも、撮像部１３により撮像された全体画像において、はんだ付け部Ｈ３１と接続子Ｓ３１及びフレームＦ３１との境界が明瞭になる。

以下、第１の光源Ｌ１が出射した光を第１光といい、第２の光源Ｌ２が出射した光を第２光といい、第３の光源Ｌ３が出射した光を第３光という。第１光と第２光と第３光とは、電子部品ＥＰに対する入射角度が異なっている。第１光と電子部品ＥＰの表面との角度は９０度である。すなわち、第１の光源Ｌ１は、電子部品ＥＰ、特に電子部品ＥＰが備えるはんだ付け部に対して垂直に光を照射する。第２光と電子部品ＥＰの表面とがなす鋭角の角度は、所定角度である。第３光と電子部品ＥＰの表面とがなす鋭角の角度は、例えば、上記の所定角度よりも小さい第２所定角度である。

このように、はんだ付け検査装置１は、電子部品に備えられた接続子、フレーム及び該接続子とフレームとを接続するはんだからなるはんだ付け部に対して、互いに異なる角度で光を照射する複数の光源を備えている。

図３に示すように、図２のｚ軸に垂直な平面図において、第１光が通る領域Ｒ１を取り囲む円周上に第２の光源Ｌ２が配置され、更に第２の光源Ｌ２を取り囲む円周上に第３の光源Ｌ３が配置されている。

図２の例では、第１の光源Ｌ１は、例えば、青色の単色光をｘ軸負方向へ出射する。そして、光学部品１１は、ハーフミラー１２を備え、例えば、第１の光源が出射した光のうち半分の光をハーフミラー１２でｚ軸負方向に反射する。これにより、反射された光が、ドーム部材Ｓ２１の天井の開口部を通って、電子部品ＥＰへ導かれる。

図２の例では、第２の光源Ｌ２は、ドーム部材Ｓ２１の内面に向かって青色光を照射する。ここでドーム部材Ｓ２１は、内面に光を反射する反射材を有する。これにより、ドーム部材Ｓ２１は、第２の光源Ｌ２から照射された青色光を反射する。その結果、反射された光が第２光として電子部品ＥＰに導かれる。

図２の例では、第３の光源Ｌ３は、電子部品ＥＰに向かって青色光を照射する。これにより、照射された青色光が第３光として電子部品ＥＰに導かれる。

光学部品１１は、ハーフミラー１２で電子部品ＥＰが反射した光のうち半分の光を通過させる。これにより、ハーフミラー１２を通過した半分の光が撮像部１３へ導かれる。

図２に示すように、撮像部１３は、接続子Ｓ３１、フレームＦ３１及びはんだ付け部Ｈ３１が反射した光を受光し、光を出射する光源が切り替わる毎に、この接続子Ｓ３１、このフレームＦ３１及びこのはんだ付け部Ｈ３１が撮像された全体画像データを生成する。撮像部１３は、生成した全体画像データを情報処理部２へ出力する。

情報処理部２は、撮像部１３が生成した全体画像データを用いて、はんだ付け部Ｈ３１のはんだ付けの良否を判定する。

図４（Ａ）において、接続子の画像領域Ｒ４４の周りに、領域Ｒ４１〜Ｒ４３で示されるはんだフィレットの画像領域が存在する。図４（Ｂ）の断面図において、接続子Ｓ３１とフレームＦ３１とがはんだフィレットを介して接続されている。図４（Ｂ）において、第１光でｚ軸の正方向に反射するはんだフィレットの主な領域は、領域Ｒ４５である。領域Ｒ４５がｚ軸の正方向に光を反射することで、図４（Ａ）の全体画像において領域Ｒ４１が明るくなる。図４（Ｂ）において、第２光でｚ軸の正方向に反射するはんだフィレットの主な領域は、領域Ｒ４６である。領域Ｒ４６がｚ軸の正方向に光を反射することで、図４（Ａ）の全体画像において領域Ｒ４２が明るくなる。図４（Ｂ）において、第３光でｚ軸の正方向に反射するはんだフィレットの主な領域は、領域Ｒ４７である。領域Ｒ４７がｚ軸の正方向に光を反射することで、図４（Ａ）の全体画像において領域Ｒ４３が明るくなる。

図５に示すように、情報処理部２は、記憶部２１、はんだ付け領域抽出部２２、判定部２３、データ振分部２５、学習実行部２６、入力部２７、機種取得部２８及び読出部２９を備える。

図６に示すように、記憶部２１には、例えば、電子部品の機種と接続子の種類とが関連付けられたテーブルＴ１が記憶されている。また、図７に示すように、記憶部２１には、例えば、接続子の種類及びニューラルネットワーク識別情報とが関連付けられたテーブルＴ２が記憶されている。ここで、ニューラルネットワーク識別情報は、ニューラルネットワークを識別する情報である。このように、記憶部２１には、電子部品の機種と接続子の種類が関連付けられて記憶されており、接続子の種類毎にニューラルネットワークを識別するニューラルネットワーク識別情報が記憶されている。

また、記憶部２１には、例えば、後述するデータ収集処理において、データ振分部２５によりニューラルネットワークの学習に用いるサンプルデータが保存される。ここで、はんだ付け領域とは、接続子を基準とする相対的な位置と領域の大きさが予め決められた画像領域であり、接続子の全体画像上の位置に応じて決まる画像領域である。本実施形態では、一例として、はんだ付け領域の数は３つであり、第１はんだ付け領域、第２はんだ付け領域及び第３はんだ付け領域がある。

サンプルデータは、第１はんだ付け領域について、はんだ付けが良好な画像データの集合である第１良品ブロックと、はんだ付けが不良な画像データの集合である第１不良品ブロックを含む。更に、サンプルデータは、第２はんだ付け領域について、はんだ付けが良好な画像データの集合である第２良品ブロックと、はんだ付けが不良な画像データの集合である第２不良品ブロックを含む。更に、サンプルデータは、第３はんだ付け領域について、はんだ付けが良好な画像データの集合である第３良品ブロックと、はんだ付けが不良な画像データの集合である第３不良品ブロックを含む。

なお、はんだ付け領域の数は、３つに限らず、２つ以下でもよいし、４つ以上であってもよい。

更に、記憶部２１には、例えば、後述する学習処理において、学習実行部２６により、ニューラルネットワーク識別情報とそのニューラルネットワークで用いられる複数の結合荷重（以下、重みともいう）とが関連付けられたテーブルＴ３が記憶される。

本実施形態では、一例として、ニューラルネットワークは、入力層、中間層及び出力層から構成される３層のフィードフォーワード型である。入力層の各ニューロンは、中間層の全てのニューロンと人工シナプスを介して接続されている。中間層の各ニューロンは、出力層のニューロン全てと人工シナプスを介して接続されている。入力層のニューロンの個数はｍであり、中間層のニューロンの個数はｎ（本実施形態では、一例としてｍ／２）であり、出力層のニューロンの個数はｌ（本実施形態では、一例として２）である。

本実施形態では、はんだ付け領域毎に、ニューラルネットワークが設けられる。

図８に示すように、記憶部２１に記憶されるテーブルＴ３において、ニューラルネットワーク識別情報、第１はんだ付け領域用のニューラルネットワークで用いられる入力層のニューロンと中間層のニューロンとの結合荷重を要素とする配列、および第１はんだ付け領域用のニューラルネットワークで用いられる中間層のニューロンと出力層のニューロンとの結合荷重を要素とする配列が関連付けられている。

更に、テーブルＴ３において、例えば、ニューラルネットワーク識別情報、第２はんだ付け領域用のニューラルネットワークで用いられる入力層のニューロンと中間層のニューロンとの結合荷重を要素とする配列、および第２はんだ付け領域用のニューラルネットワークで用いられる中間層のニューロンと出力層のニューロンとの結合荷重を要素とする配列が関連付けられている。

更に、テーブルＴ３において、例えば、ニューラルネットワーク識別情報、第３はんだ付け領域用のニューラルネットワークで用いられる入力層のニューロンと中間層のニューロンとの結合荷重を要素とする配列、および第３はんだ付け領域用のニューラルネットワークで用いられる中間層のニューロンと出力層のニューロンとの結合荷重を要素とする配列が関連付けられている。

図５に示すように、はんだ付け領域抽出部２２は、撮像部１３が生成した全体画像において上記接続子Ｓ３１を基準とする相対位置が予め決められた画像領域を、上記はんだ付け部Ｈ３１に対応する上記全体画像内の領域であるはんだ付け領域として抽出する。はんだ付け領域は、既述したように、一例として、全体画像内に複数ある。本実施形態では、一例として、はんだ付け領域は三つである。はんだ付け領域抽出部２２は、例えば、上記画像からはんだ付け領域を複数（本実施形態では、一例として三つ）抽出する。具体的には、例えば、はんだ付け領域抽出部２２は、接続子Ｓ３１の境界を全体画像から抽出し、該境界の位置に基づいて、複数のはんだ付け領域を抽出する。はんだ付け領域抽出部２２は、抽出した各はんだ付け領域の画像データを抽出する。

サンプル収集モードの場合、はんだ付け領域抽出部２２は、抽出した各画像データをデータ振分部２５へ出力する。

はんだ検査モードの場合、はんだ付け領域抽出部２２は、抽出した各画像データを判定部２３へ出力する。

判定部２３は、はんだ付け領域抽出部２２が抽出したはんだ付け領域の画素値に関する情報を、学習済みのニューラルネットワークに適用することにより、上記はんだ付け部Ｈ３１のはんだ付けの良否を判定する。ここで、既述したように、本実施形態では、学習済みのニューラルネットワークは、上記はんだ付け領域毎にある。よって、より詳細には、判定部２３は、例えば、はんだ付け領域抽出部２２が抽出した複数のはんだ付け領域それぞれの画素値に関する情報を、対応する学習済みのニューラルネットワークに適用することにより、はんだ付けの良否を判定する。

上述したように、複数の光源ははんだ付け部Ｈ３１に対して順次切り替えて光を照射する。よって、より詳細には、判定部２３は、例えば、光源が照射する毎に撮像部１３が撮像して得た複数の全体画像それぞれに含まれる、全体画像上の位置が同じはんだ付け領域の画素値に関する情報を、同じ学習済みのニューラルネットワークの入力層に含まれる別々のニューロンの入力値として与えることにより、はんだ付け部Ｈ３１のはんだ付けの良否を判定する。

また、その際、判定部２３は、例えば、読出部２９が読み出したニューラルネットワーク識別情報が識別するニューラルネットワークを用いて、はんだ付けの良否を判定する。また、その際、判定部２３は、例えば、はんだ付け領域抽出部２２が抽出した領域をブロックに分割し、分割したブロック毎の画素値に関する情報を上記ニューラルネットワークの入力層の別々のニューロンに入力することにより、はんだ付けの良否を判定する。ここで、ブロック毎の画素値に関する情報は、例えば、ブロック毎の輝度値の平均値である。

なお、判定部２３は、例えば、ニューラルネットワークに適用する前に、上記全体画像を２値化画像に変換し、変換後の２値化画像からはんだ付けされた画像領域を抽出し、該抽出した画像領域の面積が所定の範囲内の場合に、上記ニューラルネットワークに適用する。一方、判定部２３は、例えば、上記抽出した画像領域の面積が所定の範囲外の場合に、上記ニューラルネットワークに適用せずに前記はんだ付けが不良であると判定する。

入力部２７は、検査者が行った、はんだ付けに対する良品、不良品の判定結果を受け付ける。受け付けた判定結果をデータ振分部２５へ出力する。

データ振分部２５は、入力部２７から入力された判定結果の結果毎に、はんだ付け領域抽出部２２から入力された画像データを分類して記憶部２１に記憶させる。これにより、第１はんだ付け領域に対して、良品と検査者に判定された画像データの集合が第１良品ブロックとして記憶部２１に記憶され、不良品と検査者に判定された画像データの集合が第１不良品ブロックとして記憶部２１に記憶される。本実施形態では、一例として、第１良品ブロックに含まれる画像データの数と、第１不良品ブロックに含まれる画像データの数は、同じである。

同様に、第２はんだ付け領域に対して、良品と検査者に判定された画像データの集合が第２良品ブロックとして記憶部２１に記憶され、不良品と検査者に判定された画像データの集合が第２不良品ブロックとして記憶部２１に記憶される。本実施形態では、一例として、第２良品ブロックに含まれる画像データの数と、第２不良品ブロックに含まれる画像データの数は、同じである。

同様に、第３はんだ付け領域に対して、良品と検査者に判定された画像データの集合が第３良品ブロックとして記憶部２１に記憶され、不良品と検査者に判定された画像データの集合が第３良品ブロックとして記憶部２１に記憶される。本実施形態では、一例として、第３良品ブロックに含まれる画像データの数と、第３不良品ブロックに含まれる画像データの数は、同じである。

学習実行部２６は、データ振分部２５がデータを振り分けた後に、検査者により上記はんだ付けの良否を判定され良否毎に分類されたはんだ付け領域の画素値に関する情報を用いて、上記ニューラルネットワークの学習を実行する。

入力部２７は、検査者が入力した、電子部品の機種を受け付け、受けた機種を示す機種情報を機種取得部２８へ出力する。

機種取得部２８は、例えば、入力部２７から機種情報を受け付けることにより、電子部品ＥＰの機種を取得する。

読出部２９は、機種取得部２８が取得した機種が記憶部２１において関連付けられた接続子の種類に対応するニューラルネットワーク識別情報を読み出す。読出部２９は、読み出したニューラルネットワーク識別情報に対応する結合荷重情報を記憶部２１のテーブルＴ３から読み出し、読み出した結合荷重情報を判定部２３へ出力する。結合荷重情報は、各結合荷重を含むデータである。これにより、判定部２３は、読出部２９から入力された結合荷重を用いることにより、ニューラルネットワークの処理を実行することができる。

図９に示すように、第１光は電子部品ＥＰに対して垂直に照射されるので、電子部品ＥＰの表面のうち、主に電子部品ＥＰの設置面に対して水平な面（水平面）で第１光が反射される。これにより、第１光照射時に、撮像部１３は、電子部品ＥＰの表面のうち水平面で輝度値が高い第１画像データを得る。

第２光は電子部品ＥＰに対して所定角度で照射されるので、電子部品ＥＰの表面のうち、主に第２光に対して垂直な面（中間面）で第２光が反射される。これにより、第２光照射時に、撮像部１３は、電子部品ＥＰの表面のうち中間面で輝度値が高い第２画像データを得る。

第３光は電子部品ＥＰに対して第２所定角度で照射されるので、電子部品ＥＰの表面のうち、主に第３光に対して垂直な面（傾斜面）で第３光が反射される。これにより、第３光照射時に、撮像部１３は、電子部品ＥＰの表面のうち傾斜面で輝度値が高い第３画像データを得る。

疑似カラー画像データは、第１画像データを赤成分（Ｒ成分）、第２画像データを緑成分（Ｇ成分）、第３画像データを青成分（Ｂ成分）とする画像データである。はんだ付け領域抽出部２２は、この疑似カラー画像データを生成する。

図１０を用いて、接続子及びフレームの位置の検出処理について説明する。画像Ｇ９１は、疑似カラー画像データがメディアンフィルタ処理された後の各画素の赤成分を、対応する画素の画素値とした赤成分画像である。

画像Ｇ９２は、画像Ｇ９１の階調を０〜２５５から０〜１にスケール変換（輝度値変換）した後の画像である。画像Ｇ９３は、画像Ｇ９２において、接続子の外郭線と、フレームの外郭線とが抽出された結果を示す図である。画像Ｇ９３において、接続子の外郭線Ｌ８１、Ｌ８２及びＬ８３と、フレームの外郭線Ｌ８４とが示されている。

図１０の例では、はんだ付け領域抽出部２２は、画像Ｇ９２からエッジを検出することで、画像Ｇ９２における接続子Ｓ３１の外郭線及びフレームＦ３１の外郭線を抽出する。これにより、はんだ付け領域抽出部２２は、画像Ｇ９２における接続子の位置及びフレームの位置を検出することができる。このため、フレームＦ３１が検査のたびに位置ずれを起こし、接続子Ｓ３１がリフローの影響で搭載位置そのものが変動したとしても、はんだ付け領域抽出部２２は、それぞれの位置を検出することで、接続子Ｓ３１の位置に対して適切なはんだ付け領域を設定することができる。また、赤成分画像が、他の色成分を画素値とする画像よりも、接続子Ｓ３１のエッジ部分をコントラスト良く撮像できるため、はんだ付け領域抽出部２２は、赤成分画像を位置検出に用いることで、接続子の位置検出の精度を向上させることができる。

図１１において、はんだ付け部の画像領域Ｒ９１及び接続子の外郭線Ｌ９１〜Ｌ９３が示されている。はんだ付け部Ｈ３１は、それぞれの成分の画像で明るく撮像されるが、フレームＦ３１はある一定以上明るくならない。そのため、はんだ付け領域抽出部２２は、メディアンフィルタ処理後のある成分を、対応する画像を所定の閾値で２値化処理して２値化画像を生成する。そして、はんだ付け領域抽出部２２は、例えば、図１１に示す予め決められた検査領域Ｒ９２内で、２値化画像の画素値が１の領域をはんだ領域として抽出する。これにより、はんだ付け領域抽出部２２は、ある成分の画像において、所定の閾値よりも画素値が高い領域をはんだ付け部の領域として抽出することができる。

はんだ付け領域抽出部２２は、抽出したはんだ領域の大きさが所定の範囲内の場合、良品と判定し、後述するようにはんだ付け領域を抽出する。一方、はんだ付け領域抽出部２２は、抽出したはんだ領域の大きさが所定の範囲外の場合、はんだ付けが不良と判定して、その画像データを破棄する。同様に、はんだ付け領域抽出部２２は、例えば、上述した処理を図１１に示す予め決められた検査領域Ｒ９３及び検査領域Ｒ９４についても行う。

これにより、はんだの量が極端に多い画像データまたは極端に少ない画像データを学習用のサンプルデータから除外することができるので、その後のニューラルネットワークの判定精度を向上させることができる。

図１２において、接続子の外郭線Ｌ１０１〜Ｌ１０３とはんだ付け領域抽出部２２によって抽出されるはんだ付け領域Ｒ１０４〜Ｒ１０６が示されている。図１２の例において、はんだ付け領域Ｒ１０４は、例えば、接続子の外郭線Ｌ１０３のｘ軸負側の短辺を基準とする相対位置と相対的な領域の大きさが予め決められている。具体的には、例えば、はんだ付け領域Ｒ１０４は、はんだ付け領域Ｒ１０４のｘ軸正側の長辺が、接続子の外郭線Ｌ１０３のｘ軸負側の短辺に接するように位置することが予め決められている。更に、例えば、はんだ付け領域Ｒ１０４の長辺の画素数は、接続子の外郭線Ｌ１０３のｘ軸負側の短辺の画素数と同じであることが予め決められている。更に、例えば、はんだ付け領域Ｒ１０４の短辺の画素数が予め決められている。

同様に、はんだ付け領域Ｒ１０５は、例えば、接続子の外郭線Ｌ１０３のｙ軸負側の長辺を基準とする相対位置と相対的な領域の大きさが予め決められている。具体的には、例えば、はんだ付け領域Ｒ１０５は、はんだ付け領域Ｒ１０５のｙ軸正側の長辺が、接続子の外郭線Ｌ１０３のｙ軸負側の長辺に接するように位置することが予め決められている。更に、例えば、はんだ付け領域Ｒ１０５の長辺の画素数は、接続子の外郭線Ｌ１０３のｙ軸負側の長辺の画素数と同じであることが予め決められている。更に、例えば、はんだ付け領域Ｒ１０５の短辺の画素数が予め決められている。

同様に、はんだ付け領域Ｒ１０６は、例えば、接続子の外郭線Ｌ１０３のｘ軸正側の短辺を基準とする相対位置と相対的な領域の大きさが予め決められている。具体的には、例えば、はんだ付け領域Ｒ１０６は、はんだ付け領域Ｒ１０６のｘ軸負側の長辺が、接続子の外郭線Ｌ１０３のｘ軸正側の短辺に接するように位置することが予め決められている。更に、例えば、はんだ付け領域Ｒ１０６の長辺の画素数は、接続子の外郭線Ｌ１０３のｘ軸正側の短辺の画素数と同じであることが予め決められている。更に、例えば、はんだ付け領域Ｒ１０６の短辺の画素数が予め決められている。

図１２の例において、はんだ付け領域抽出部２２は、例えば、接続子の外郭線Ｌ１０３の外郭線Ｌ１０３のｘ軸負側の短辺の位置と、接続子の外郭線Ｌ１０３のｘ軸負側の短辺を基準とするはんだ付け領域Ｒ１０４の相対位置と相対的な領域の大きさとに基づいて、はんだ付け領域Ｒ１０４を決定する。そして、はんだ付け領域抽出部２２は、例えば、決定したはんだ付け領域Ｒ１０４の画像データを第１はんだ付け領域として抽出する。

図１２の例において、はんだ付け領域抽出部２２は、例えば、接続子の外郭線Ｌ１０３の外郭線Ｌ１０３のｘ軸正側の短辺の位置と、予め決められた接続子の外郭線Ｌ１０３のｘ軸正側の短辺を基準とするはんだ付け領域Ｒ１０６の相対位置と相対的な領域の大きさとに基づいて、はんだ付け領域Ｒ１０６を決定する。そして、はんだ付け領域抽出部２２は、例えば、決定したはんだ付け領域Ｒ１０６の画像データを第２はんだ付け領域として抽出する。

図１２の例において、はんだ付け領域抽出部２２は、例えば、接続子の外郭線Ｌ１０３の外郭線Ｌ１０３のｘ軸負側の長辺の位置と、予め決められた接続子の外郭線Ｌ１０３のｘ軸負側の長辺を基準とするはんだ付け領域Ｒ１０５の相対位置と相対的な領域の大きさとに基づいて、はんだ付け領域Ｒ１０５を決定する。そして、はんだ付け領域抽出部２２は、例えば、決定したはんだ付け領域Ｒ１０５の画像データを第３はんだ付け領域として抽出する。

続いて、図１３を用いて、本発明の実施形態に係るはんだ付け検査装置１のデータ収集処理の一例を説明する。はんだ付け検査装置１は、例えば、上述した三つのはんだ付け領域それぞれで以下の処理を実施する。ここでは、一例として、第１はんだ付け領域についての処理を説明する。

（ステップＳ１０１）まず、撮像部１３は、第１光照射時に電子部品ＥＰを撮像し、撮像して得た第１画像データ（図９参照）をはんだ付け領域抽出部２２へ出力する。

（ステップＳ１０２）次に、撮像部１３は、第２光照射時に電子部品ＥＰを撮像し、撮像して得た第２画像データ（図９参照）をはんだ付け領域抽出部２２へ出力する。

（ステップＳ１０３）次に、撮像部１３は、第３光照射時に電子部品ＥＰを撮像し、撮像して得た第３画像データ（図９参照）をはんだ付け領域抽出部２２へ出力する。

（ステップＳ１０４）次に、はんだ付け領域抽出部２２は、第１画像データを赤成分（Ｒ成分）、第２画像データを緑成分（Ｇ成分）、第３画像データを青成分（Ｂ成分）とする疑似カラー画像データ（図９参照）を生成する。

（ステップＳ１０５）次に、はんだ付け領域抽出部２２は、疑似カラー画像データに対して、一例として、メディアンフィルタを施す。これにより、疑似カラー画像データに含まれる高周波ノイズを低減することができる。

（ステップＳ１０６）次に、はんだ付け領域抽出部２２は、ステップＳ１０５でメディアンフィルタを施した後の疑似カラー画像データの各画素の赤成分を、対応する画素の画素値とした画像データ（図１０の画像Ｇ９１参照）を生成する。そして、はんだ付け領域抽出部２２は、生成した画像データの階調を例えば、０〜２５５から０〜１にスケール変換する。はんだ付け領域抽出部２２は、スケール変換した後の画像データ（図１０の画像Ｇ９２参照）を用いて、接続子Ｓ３１及びフレームＦ３１の外郭線を検出する。

（ステップＳ１０７）次に、はんだ付け領域抽出部２２は、メディアンフィルタ後の画像データのある成分を、各画素とする画像データを所定の閾値を境に２値化した２値化画像データを生成する。

（ステップＳ１０８）次に、はんだ付け領域抽出部２２は、２値化画像データからはんだ領域を抽出し、抽出したはんだ領域の大きさ（例えば、総画素数）が所定の範囲内か否か判定する。所定の範囲内の場合（ＹＥＳ）、はんだ付け領域抽出部２２はステップＳ１１０に進む。一方、所定の範囲内でない場合（ＮＯ）、はんだ付け領域抽出部２２はステップＳ１０９に進む。

（ステップＳ１０９）はんだ付け領域抽出部２２は、ステップＳ１０８において抽出したはんだ領域の大きさが所定の範囲内でないと判定した場合、ステップＳ１０８で所定の範囲内でないと判定された画像データを破棄し、ステップＳ１１５に進む。

（ステップＳ１１０）はんだ付け領域抽出部２２は、ステップＳ１０８において抽出したはんだ領域の大きさが所定の範囲内であると判定した場合、例えば、はんだ付け領域（切り出し領域）を抽出し、抽出したはんだ付け領域の画像データを抽出する。

（ステップＳ１１１）次に、入力部２７は、画像を取得した電子部品ＥＰのはんだ付けに対する検査者の良否判定結果を受け付け、受け付けた良否判定結果をデータ振分部２５へ出力する。

（ステップＳ１１２）次に、データ振分部２５は、良否判定結果が良品判定を示すか否か判定する。良否判定結果が良品判定を示す場合（ＹＥＳ）、データ振分部２５はステップＳ１１３に進む。一方、良否判定結果が良品判定を示さない場合（ＮＯ）、データ振分部２５はステップＳ１１４に進む。

（ステップＳ１１３）データ振分部２５は、ステップＳ１１２において良否判定結果が良品判定を示すと判定した場合、記憶部２１に記憶された第１良品ブロックにそのはんだ付け領域の画像データを追記し、ステップＳ１１５に進む。

（ステップＳ１１４）データ振分部２５は、ステップＳ１１２において良否判定結果が良品判定を示さないと判定した場合、記憶部２１に記憶された第１不良品ブロックに、そのはんだ付け領域の画像データを追記し、ステップＳ１１５に進む。

（ステップＳ１１５）データ振分部２５は、他のサンプルがあるか否か判定する。他のサンプルがある場合（ＹＥＳ）、データ振分部２５はステップＳ１０１の処理に戻る。一方、他のサンプルがない場合（ＮＯ）、データ振分部２５はその処理を終了する。

続いて、図１４を用いてニューラルネットワークの入力と出力について説明する。図１４の全体画像の模式図において、第１はんだ付け領域Ｒ１１１と、第２はんだ付け領域Ｒ１１２と、第３はんだ付け領域Ｒ１１３が示されている。ここでは、第１のはんだ付け領域Ｒ１１１について設けられたニューラルネットワークを代表例として説明する。

第１はんだ付け領域Ｒ１１１は、例えば、ｘ軸方向に５個、ｙ軸方向に１０個のブロックに分割される。図１４において、第１はんだ付け領域Ｒ１１１内に含まれるブロックであって、位置のｘ座標が最小でｙ座標が最大のブロックについて説明する。このブロック内のＲ成分の平均輝度値が、ニューラルネットワークの入力層の１番目のニューロンに入力される。また、このブロック内のＧ成分の平均輝度値が、ニューラルネットワークの入力層の２番目のニューロンに入力される。また、このブロック内のＢ成分の平均輝度値が、ニューラルネットワークの入力層の３番目のニューロンに入力される。これを順次繰り返す。すなわち、各ブロックのＲ成分の平均輝度値、Ｇ成分の平均輝度値及びＢ成分の平均輝度値が入力層のニューロンに入力される。よって、入力層のニューロンの数は、第１はんだ付け領域Ｒ１１１内のブロック数の３倍である。例えば、ブロック数が５０であるので、入力層のニューロンの数は１５０である。

出力層の一方のニューロンは、良品判定値を出力する。一方、出力層の他方のニューロンは、不良品判定値を出力する。良品判定値が１に近いほど、検査対象のはんだ付けが良品であることを意味する。不良品判定値が１に近いほど、検査対象のはんだ付けが不良品であることを意味する。図１４の例では、良品判定値は０．６６で、不良品判定値は０．５６である。

図１５を用いて、本発明の実施形態に係るはんだ付け検査装置１の学習処理の一例を説明する。はんだ付け検査装置１は、例えば、上述した三つのはんだ付け領域それぞれについて、以下の処理を実施する。ここでは、一例として、第１はんだ付け領域についての処理を説明する。

（ステップＳ２０１）まず、学習実行部２６は、第１良品ブロックのデータと第１不良品ブロックのデータを交互にニューラルネットワークに適用して、データ毎に、出力層の各ニューロンの出力値を取得する。これにより、全ての第１良品ブロックのデータと全ての第１不良品ブロックのデータについて、出力層の各ニューロンの出力値が得られる。

（ステップＳ２０２）次に、学習実行部２６は、次の式（１）に従って、総合誤差Ｅを算出する。

ここで、ｌは出力層のニューロンのインデックスで、Ｋは出力層である。Ｏ_ｌ ^ｋは、出力層のｌ番目のニューロンの出力値である。ｔ_ｌは、出力層のｌ番目のニューロンの教師データである。よってｔ_ｌは、第１良品ブロックの画像データでは、ｔ_１＝１、ｔ_２＝０であり、第１不良品ブロックの画像データでは、ｔ_１＝０、ｔ_２＝１である。学習画像は、全ての第１良品ブロックのデータと全ての第１不良品ブロックのデータを意味する。

（ステップＳ２０３）次に、学習実行部２６は、総合誤差Ｅが予め決められた打ち切り値未満か否か判定する。打ち切り値未満の場合（ＹＥＳ）、学習実行部２６はステップＳ２０５へ進む。打ち切り値未満でない場合（ＮＯ）、学習実行部２６はステップＳ２０４へ進む。

（ステップＳ２０４）次に、学習実行部２６は、ステップＳ２０３において総合誤差Ｅが予め決められた打ち切り値未満でないと判定した場合、例えば、次の式（２）に従って、バックプロパゲーションを用いて全ての結合荷重を更新し、ステップＳ２０１に戻る。

ここで、ｗは結合荷重（重み）、δは一般誤差、Ｏはニューロン値、ｎは学習回数、ηは学習係数、αは慣性項の比例定数、βは振動項の比例定数である。ｉは人口シナプス前のニューロンのインデックス、ｊは人口シナプス後のニューロンのインデックスである。Ｋ−１は、人口シナプス前のニューロンの層のインデックスで、Ｋは、人口シナプス後のニューロンの層のインデックスである。例えば、Ｋ−１が入力層のインデックスの場合、Ｋは中間層のインデックスである。

（ステップＳ２０５）次に、学習実行部２６は、ステップＳ２０３において総合誤差Ｅが予め決められた打ち切り値未満であると判定した場合、各結合荷重をニューラルネットワーク識別情報と関連付けて記憶部２１のテーブルＴ３に記憶させる。以上で、学習実行部２６は、その学習を終了する。

図１６を用いて、本発明の実施形態に係るはんだ付け検査装置１の検査処理の一例を説明する。ステップＳ３０１〜Ｓ３０８の処理は、図１３のステップ１０１〜Ｓ１０８の処理と同一であるので、その説明を省略する。

（ステップＳ３０９）はんだ付け領域抽出部２２は、ステップＳ３０８において抽出したはんだ領域の大きさが所定の範囲内でないと判定した場合、不良と判定し、その処理を終了する。

（ステップＳ３１０）はんだ付け領域抽出部２２は、ステップＳ３０８において抽出したはんだ領域の大きさが所定の範囲内であると判定した場合、例えば、三つのはんだ付け領域を全体画像から抽出する。

（ステップＳ３１１）次に、機種取得部２８は、電子部品ＥＰの機種を取得する。

（ステップＳ３１２）次に、読出部２９は、記憶部２１のテーブルＴ１において機種取得部２８が取得した機種に対応する接続子の種類を参照し、記憶部２１のテーブルＴ２において上記参照した接続子の種類に対応するニューラルネットワーク識別情報を読み出す。

（ステップＳ３１３）次に、判定部２３は、例えば、三つの切り出し領域それぞれについて、各ブロックの値を、対応するニューラルネットワークに適用する。これにより、はんだ付け領域抽出部２２は、三つの切り出し領域それぞれについて、良品判定値Ｖ１と不良品判定値Ｖ２を取得する。

（ステップＳ３１４）次に、判定部２３は、良品判定値Ｖ１と不良品判定値Ｖ２の三つの組全てで良品判定値Ｖ１が第１所定値Ａを超え、かつ（良品判定値Ｖ１−不良品判定値Ｖ２）が第２所定値Ｂを超えるか判定する。良品判定値Ｖ１と不良品判定値Ｖ２の三つの組全てで良品判定値Ｖ１が第１所定値Ａを超え、かつ（良品判定値Ｖ１−不良品判定値Ｖ２）が第２所定値Ｂを超える場合（ＹＥＳ）、ステップＳ３１６へ進む。一方、良品判定値と不良品判定値の三つの組のうちいずれかの組で、良品判定値Ｖ１が第１所定値Ａを超えない、または（良品判定値Ｖ１−不良品判定値Ｖ２）が第２所定値Ｂを超えない場合（ＮＯ）、判定部２３はステップＳ３１５へ進む。

（ステップＳ３１５）判定部２３は、ステップＳ３１４において良品判定値と不良品判定値の三つの組のうちいずれかの組で、良品判定値Ｖ１が第１所定値Ａを超えない、または（良品判定値Ｖ１−不良品判定値Ｖ２）が第２所定値Ｂを超えない場合、当該はんだ付けを不良と判定し、その処理を終了する。

（ステップＳ３１６）判定部２３は、ステップＳ３１４において良品判定値Ｖ１と不良品判定値Ｖ２の三つの組全てで良品判定値Ｖ１が第１所定値Ａを超え、かつ（良品判定値Ｖ１−不良品判定値Ｖ２）が第２所定値Ｂを超える場合、その他の検査項目を実施する。ここで、その他の検査項目は、例えば、接続子の搭載位置の検査及びはんだのオーバーフローの検査である。接続子の搭載位置の検査では、判定部２３は、例えば、マッチング処理により検出した接続子等の位置が規定範囲にあるか否かを判定する。接続子等の位置が規定範囲にある場合、判定部２３は良品と判定し、それ以外は、不良品と判定する。オーバーフロー検査では、判定部２３は、例えば、二値化処理後の画像を用いてはんだがあってはならない領域にはんだが検出されるか否か判定する。判定部２３は、はんだがあってはならない領域にはんだが検出されなければ、良品と判定し、それ以外は不良品と判定する。

（ステップＳ３１７）次に、判定部２３は、その他の検査項目全てで良品と判定されたか否か判定する。その他の検査項目全てで良品と判定された場合（ＹＥＳ）、判定部２３は、ステップＳ３１８に進む。一方、その他の検査項目のうち一つでも良品と判定されなかった場合（ＮＯ）、判定部２３は、ステップＳ３１９に進む。

（ステップＳ３１８）判定部２３は、ステップＳ３１７においてその他の検査項目全てで良品と判定された場合、当該電子部品ＥＰを総合的に良品と判定する。

（ステップＳ３１９）判定部２３は、ステップＳ３１７においてその他の検査項目のうち一つでも良品と判定されなかった場合、当該電子部品ＥＰを総合的に不良品と判定する。

以上で、本フローチャートの処理を終了する。

以上のように、本発明の一態様に係るはんだ付け検査装置１において、複数の光源は、電子部品ＥＰに備えられた接続子Ｓ３１及びフレームＦ３１を接続するはんだからなるはんだ付け部Ｈ３１に対して、互いに異なる角度で光を照射する。撮像部１３は、はんだ付け部Ｈ３１が反射した光を受光し、接続子Ｓ３１、フレームＦ３１及びはんだ付け部Ｈ３１が撮像された全体画像を生成する。そして、はんだ付け領域抽出部２２は、撮像部１３が生成した全体画像において上記接続子Ｓ３１を基準とする相対位置が予め決められた画像領域を、上記はんだ付け部Ｈ３１に対応する上記全体画像内の領域であるはんだ付け領域として抽出する。そして、判定部２３は、はんだ付け領域抽出部が抽出したはんだ付け領域の画素値に関する情報を、学習済みのニューラルネットワークに適用することにより、はんだ付け部Ｈ３１のはんだ付けの良否を判定する。

これにより、はんだ付け検査装置１は、はんだ付け領域の画素値に関する情報のみをニューラルネットワークに入力することにより、ニューラルネットワークにおける判定精度を向上させることができる。さらに、はんだ付け検査装置１は、全体画像の画素値に関する情報ではなく、全体画像から抽出したはんだ付け領域の画素値に関する情報をニューラルネットワークに適用することにより、ニューラルネットワークに入力される情報量が少なくすることができ、その結果、計算量を低減することができる。

また、本発明の一態様に係るはんだ付け検査装置１において、はんだ付け領域は、全体画像内に複数あり、学習済みのニューラルネットワークは、はんだ付け領域毎にあり、全体画像からはんだ付け領域を複数抽出し、複数のはんだ付け領域それぞれの画素値に関する情報を、対応する学習済みのニューラルネットワークに適用することにより、はんだ付けの良否を判定する。これにより、はんだ付け検査装置１は、複数のはんだ付け領域の画素値に関する情報を考慮してはんだ付けの良否を判定することができるので、判定精度を向上させることができる。

また、本発明の一態様に係るはんだ付け検査装置１において、複数の光源は全て青色光源であり、上記はんだ付け部Ｈ３１に対して順次切り替えて青色光を照射する。ここで、接続子Ｓ３１及びフレームＦ３１は銅を含む。はんだ付け部Ｈ３１が銀色で接続子Ｓ３１とフレームＦ３１が銅色であり、両者の色合い色が異なるため、青色光の反射率がはんだ付け部Ｈ３１と接続子Ｓ３１及びフレームＦ３１とで大きく異なる。このため、はんだ付け部Ｈ３１に対して青色光を照射した場合、緑色または赤色の光を照射した場合よりも、撮像された全体画像において、はんだ付け部Ｈ３１と接続子Ｓ３１及びフレームＦ３１との境界が明瞭になる。従って、本発明の一態様に係るはんだ付け検査装置１は、はんだ付け部Ｈ３１に対して青色光を照射することで緑色または赤色の光を照射した場合よりも、精度良く全体画像からはんだ付け領域を抽出することができる。

更に、青色光を照射することで、緑色光および赤色光を照射することよりも、銀色のはんだ付け部Ｈ３１をよりコントラストよく撮像できるため、その撮像画像を用いて行う上記その他の検査の精度も向上する利点がある。

また、本発明の一態様に係るはんだ付け検査方法は、以下の手順を有する。まず、電子部品ＥＰに備えられた接続子Ｓ３１、フレームＦ３１及びこの接続子Ｓ３１とこのフレームＦ３１とを接続するはんだからなるはんだ付け部Ｈ３１に対して、複数の光源から互いに異なる角度で光を照射する。次に、撮像部１３が、上記接続子Ｓ３１、フレームＦ３１及びはんだ付け部Ｈ３１が反射した光を受光し、上記接続子Ｓ３１、上記フレームＦ３１及び上記はんだ付け部Ｈ３１が撮像された全体画像を生成する。次に、はんだ付け領域抽出部２２が、上記撮像部１３が生成した全体画像において上記接続子を基準とする相対位置が予め決められた画像領域を、上記はんだ付け部Ｈ３１に対応する上記全体画像内の領域であるはんだ付け領域として抽出する。次に、判定部２３が、上記はんだ付け領域抽出部が抽出したはんだ付け領域の画素値に関する情報を、学習済みのニューラルネットワークに適用することにより、上記はんだ付け部のはんだ付けの良否を判定する。

また、本発明の一態様に係る電子部品ＥＰは、接続子Ｓ３１、フレームＦ３１及びこの接続子Ｓ３１とこのフレームＦ３１とを接続するはんだからなるはんだ付け部Ｈ３１を備える電子部品ＥＰであり、以下の手順を有するはんだ付け検査方法により検査された電子部品ＥＰである。まず、このはんだ付け部Ｈ３１に対して、複数の光源から互いに異なる角度で光を照射する。次に、撮像部１３が、上記接続子Ｓ３１、フレームＦ３１及びはんだ付け部が反射した光を受光し、上記接続子Ｓ３１、上記フレームＦ３１及び上記はんだ付け部Ｈ３１が撮像された全体画像を生成する。次に、はんだ付け領域抽出部２２が、上記撮像部１３が生成した全体画像において上記接続子を基準とする相対位置が予め決められた画像領域を、上記はんだ付け部Ｈ３１に対応する上記全体画像内の領域であるはんだ付け領域として抽出する。次に、判定部２３が、上記はんだ付け領域抽出部２２が抽出したはんだ付け領域の画素値に関する情報を、学習済みのニューラルネットワークに適用することにより、上記はんだ付け部Ｈ３１のはんだ付けの良否を判定する。

なお、複数の装置を備えるシステムが、本実施形態の情報処理部２の各処理を、それらの複数の装置で分散して処理してもよい。

また、本実施形態の情報処理部２の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の情報処理部２に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

なお、実施形態は例示であり、発明の範囲はそれらに限定されない。

１ はんだ付け検査装置
１１ 光学部品
１２ ハーフミラー
１３ 撮像部
２ 情報処理部
２１ 記憶部
２２ はんだ付け領域抽出部
２３ 判定部
２５ データ振分部
２６ 学習実行部
２７ 入力部
２８ 機種取得部
２９ 読出部
Ｌ１ 第１の光源
Ｌ２ 第２の光源
Ｌ３ 第３の光源
Ｓ２ 第２光源指示部材
Ｓ３ 第３光源指示部材

Claims (11)

1. 電子部品に備えられた接続子、フレーム及び該接続子と該フレームとを接続するはんだからなるはんだ付け部に対して、互いに異なる角度で光を照射する複数の光源と、
   前記接続子、フレーム及びはんだ付け部が反射した光を受光し、前記接続子、前記フレーム及び前記はんだ付け部が撮像された全体画像を生成する撮像部と、
   前記撮像部が生成した全体画像において前記接続子を基準とする相対位置が予め決められた画像領域を、前記はんだ付け部に対応する前記全体画像内の領域であるはんだ付け領域として抽出するはんだ付け領域抽出部と、
   前記はんだ付け領域抽出部が抽出したはんだ付け領域の画素値に関する情報を、学習済みのニューラルネットワークに適用することにより、前記はんだ付け部のはんだ付けの良否を判定する判定部と、
   を備え、
   前記はんだ付け領域抽出部は、前記接続子の境界を前記全体画像から抽出し、該境界の位置に基づいて、前記はんだ付け領域を抽出するものであり、
   前記複数の光源に含まれる第１の光源は、前記はんだ付け部に対して垂直に光を照射し、
   前記はんだ付け領域抽出部は、前記第１の光源を照射したときに前記撮像部が生成した全体画像に基づいて、前記接続子の境界を前記全体画像から抽出し、該境界の位置に基づいて、前記はんだ付け領域を抽出する
   ことを特徴とするはんだ付け検査装置。
2. 前記はんだ付け領域は、前記全体画像内に複数あり、
   前記学習済みのニューラルネットワークは、前記はんだ付け領域毎にあり、
   前記はんだ付け領域抽出部は、前記全体画像からはんだ付け領域を複数抽出し、
   前記判定部は、前記はんだ付け領域抽出部が抽出した複数のはんだ付け領域それぞれの画素値に関する情報を、対応する学習済みのニューラルネットワークに適用することにより、はんだ付けの良否を判定する
   ことを特徴とする請求項１に記載のはんだ付け検査装置。
3. 前記複数の光源は前記はんだ付け部に対して順次切り替えて光を照射し、
   前記判定部は、前記光源が照射する毎に前記撮像部が撮像して得た複数の全体画像それぞれに含まれる、全体画像上の位置が同じはんだ付け領域の画素値に関する情報を、同じ学習済みのニューラルネットワークの入力層に含まれる別々のニューロンの入力値として与えることにより、前記はんだ付け部のはんだ付けの良否を判定する
   ことを特徴とする請求項１または２に記載のはんだ付け検査装置。
4. 前記複数の光源は全て青色光源であり、前記はんだ付け部に対して順次切り替えて青色光を照射することを特徴とする請求項３に記載のはんだ付け検査装置。
5. 前記接続子及び前記フレームは銅を含むことを特徴とする請求項４に記載のはんだ付け検査装置。
6. 電子部品の機種と前記接続子の種類が関連付けられて記憶されており、前記接続子の種類毎にニューラルネットワークを識別するニューラルネットワーク識別情報が記憶されている記憶部と、
   前記電子部品の機種を取得する機種取得部と、
   前記機種取得部が取得した機種が前記記憶部において関連付けられた接続子の種類に対応するニューラルネットワーク識別情報を読み出す読出部と、
   前記判定部は、前記読出部が読み出したニューラルネットワーク識別情報が識別するニューラルネットワークを用いて、はんだ付けの良否を判定する
   ことを特徴とする請求項１から５のいずれか１項に記載のはんだ付け検査装置。
7. 前記判定部は、前記はんだ付け領域抽出部が抽出した領域をブロックに分割し、分割したブロック毎の画素値に関する情報を前記ニューラルネットワークの入力層の別々のニューロンに入力することにより、はんだ付けの良否を判定する
   ことを特徴とする請求項１から６のいずれか１項に記載のはんだ付け検査装置。
8. 前記ブロック毎の画素値に関する情報は、ブロック毎の輝度値の平均値である
   ことを特徴とする請求項７に記載のはんだ付け検査装置。
9. 前記判定部は、前記ニューラルネットワークに適用する前に、前記全体画像を２値化画像に変換し、変換後の２値化画像からはんだ付けされた画像領域を抽出し、該抽出した画像領域の面積が所定の範囲内の場合に、前記ニューラルネットワークに適用し、前記抽出した画像領域の面積が所定の範囲外の場合に、前記ニューラルネットワークに適用せずに前記はんだ付けが不良であると判定する
   ことを特徴とする請求項１から８のいずれか１項に記載のはんだ付け検査装置。
10. 検査者により前記はんだ付けの良否を判定され良否毎に分類された前記はんだ付け領域の画素値に関する情報を用いて、前記ニューラルネットワークの学習を実行する学習実行部を備える
    ことを特徴とする請求項１から９のいずれか１項に記載のはんだ付け検査装置。
11. 電子部品に備えられた接続子、フレーム及び該接続子と該フレームとを接続するはんだからなるはんだ付け部に対して、複数の光源から互いに異なる角度で光を照射する手順と、
    撮像部が、前記接続子、フレーム及びはんだ付け部が反射した光を受光し、前記接続子、前記フレーム及び前記はんだ付け部が撮像された全体画像を生成する手順と、
    はんだ付け領域抽出部が、前記撮像部が生成した全体画像において前記接続子を基準とする相対位置が予め決められた画像領域を、前記はんだ付け部に対応する前記全体画像内の領域であるはんだ付け領域として抽出する手順と、
    判定部が、前記はんだ付け領域抽出部が抽出したはんだ付け領域の画素値に関する情報を、学習済みのニューラルネットワークに適用することにより、前記はんだ付け部のはんだ付けの良否を判定する手順と、
    を有し、
    前記はんだ付け領域抽出部は、前記接続子の境界を前記全体画像から抽出し、該境界の位置に基づいて、前記はんだ付け領域を抽出するものであり、
    前記複数の光源に含まれる第１の光源は、前記はんだ付け部に対して垂直に光を照射し、
    前記はんだ付け領域抽出部は、前記第１の光源を照射したときに前記撮像部が生成した全体画像に基づいて、前記接続子の境界を前記全体画像から抽出し、該境界の位置に基づいて、前記はんだ付け領域を抽出する
    ことを特徴とするはんだ付け検査方法。