WO2022118523A1 - 基板異物検査装置及び基板異物検査方法 - Google Patents

Abstract

より簡便で、非常に精度のよい異物の検出を可能とする。入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、異物のないプリント基板に係る画像データのみを学習データとして学習させて生成したＡＩモデル１００を用い、カメラ３２Ｄにより得られた画像データを元画像データとしてＡＩモデル１００へ入力して再構成された画像データを再構成画像データとして取得する。元画像データ及び再構成画像データを比較し、比較結果に基づき、プリント基板における異物の有無を判定する。比較のためのマスター基板を用意する必要がないため、異物検査が簡便となる。また、比較する両画像データにおいてプリント基板の形状や外観がそれぞれほぼ同一となること等により、異物の検出を非常に精度よく行うことができる。

Description

基板異物検査装置及び基板異物検査方法

　本発明は、基板における異物の有無を検査するための基板異物検査装置及び基板異物検査方法に関する。

　一般に、プリント基板上に電子部品を実装する基板製造ラインにおいては、まずプリント基板のランド上にクリーム半田が印刷される（半田印刷工程）。次に、該クリーム半田の粘性に基づいてプリント基板上に電子部品が仮止めされる（マウント工程）。その後、かかるプリント基板がリフロー炉へ導かれ、クリーム半田を加熱溶融することで半田付けが行われる（リフロー工程）。

　通常、このような基板製造ラインにおいては、クリーム半田の印刷されたプリント基板を撮像して得た画像データに基づき、プリント基板における異物の有無を検査する基板異物検査装置を設けることがある（例えば、特許文献１等参照）。

　上記特許文献１に記載の基板異物検査装置（三次元形状測定装置）において、異物の有無に係る検査は次のようにして行われる。すなわち、プリント基板に対し複数のカラー光を照射しつつ該プリント基板を撮像することで、二次元情報として二次元的イメージを取得するとともに、この二次元的イメージを用いて異物の検出を行う。また、プリント基板に対し格子パターン光を照射しつつ該プリント基板を撮像することで、三次元情報として三次元的イメージを取得するとともに、この三次元的イメージを用いて異物の検出を行う。そして、二次元的イメージに基づく検出結果と三次元的イメージに基づく検出結果とを併合することで、最終的な異物の有無に関する判断を行う。

　ここで、上述した二次元的イメージや三次元的イメージを用いた異物検出は、二次元的イメージ又は三次元的イメージと基準イメージとを比較することで行われる。基準イメージは、二次元的イメージ又は三次元的イメージを得るときと同様の条件で、模範となる基板（マスター基板）を撮像して取得されたものである。

　また、上記特許文献１では、三次元的イメージを用いる場合、高さが急激に変化したり基準値を超えていたりするか否かを判別することによっても異物の検出が可能であるとされている。

特開２０１６－５１９７６８号公報

　しかしながら、二次元的イメージ又は三次元的イメージと、マスター基板に係る基準イメージとを比較して異物検出を行うためには、検査対象のプリント基板とマスター基板とが同一である必要がある。従って、これら基板の同一性を保つことができない場合、異物検出を行うことができない。

　また、一般にプリント基板の製造工程は、穴開け工程、レジスト塗布工程、クリーム半田印刷工程など、位置決めを行う工程やマスクを用いる工程を多く含む。さらに、クリーム半田は半田粒をフラックスで練ってなるものである。従って、上記各種工程を経てクリーム半田の印刷されたプリント基板の形状や外観は一定とはならない。そのため、検査対象のプリント基板に異物がないとしても、該プリント基板に係る二次元的イメージ又は三次元イメージと基準イメージとの間で必然的に差分が生じる。従って、この差分による誤検出を防止するために比較的緩い検査条件を設定しなければならず、結果的に、異物の検出能力が低下し、小さな異物を検出することができない等の不具合が生じるおそれがある。

　さらに、高さが急激に変化したり基準値を超えていたりするか否かを判別することで異物を検出しようとしても、結局のところ、クリーム半田に係る基準値よりも高いものでなければ異物として検出することができないおそれがある。これは、印刷されたクリーム半田の中には、側面がほぼ鉛直に切り立ったもの、つまり、高さが急激に変化するものが存在し得るためである。

　本発明は、上記事情に鑑みてなされたものであり、その目的は、より簡便に、かつ、非常に精度よく異物の検出を行うことができる基板異物検査装置などを提供することにある。

　以下、上記目的を解決するのに適した各手段につき、項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。

　手段１．クリーム半田の印刷されたプリント基板における異物の有無を検査する基板異物検査装置であって、
　クリーム半田の印刷部分を含む前記プリント基板における所定の被検査領域の画像データを取得可能な画像データ取得手段と、
　入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、異物のない前記プリント基板における前記被検査領域に係る画像データのみを学習データとして学習させて生成した識別手段と、
　前記画像データ取得手段により得られた画像データを元画像データとして前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
　前記元画像データ及び前記再構成画像データを比較可能な比較手段とを備え、
　前記比較手段による比較結果に基づき、前記プリント基板における異物の有無を判定可能に構成されていることを特徴とする基板異物検査装置。

　尚、上記「学習データ」として用いる「異物のない前記プリント基板における前記被検査領域に係る画像データ」としては、これまでの異物検査で蓄積された画像データ、後述する手段３に係る仮想良品画像データ、クリーム半田の印刷後に作業者が目視により選別した、異物のないプリント基板の画像データなどを挙げることができる。

　また、上記「ニューラルネットワーク」には、例えば複数の畳み込み層を有する畳み込みニューラルネットワークなどが含まれる。上記「学習」には、例えば深層学習（ディープラーニング）などが含まれる。上記「識別手段（生成モデル）」には、例えばオートエンコーダ（自己符号化器）や、畳み込みオートエンコーダ（畳み込み自己符号化器）などが含まれる。

　加えて、「識別手段」は、異物のないプリント基板に係る画像データのみを学習させて生成したものであるため、異物のあるプリント基板に係る元画像データを識別手段に入力したときに生成される再構成画像データは、ノイズ部分（異物に相当する部分）が除去された元画像データとほぼ一致することになる。すなわち、プリント基板に異物があるときには、該プリント基板に係る再構成画像データとして、異物がないものと仮定した場合の該プリント基板に係る仮想的な画像データが生成される。

　上記手段１によれば、元画像データと、該元画像データを識別手段へ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、プリント基板における異物の有無を判定している。そのため、比較する両画像データは、それぞれ同一のプリント基板に係るものとなる。

　従って、マスター基板に係る基準イメージとの比較によって異物を検出する手法とは異なり、比較のためのマスター基板を用意する必要がない。そのため、検査対象のプリント基板とマスター基板との同一性を保つことができないといった理由で、検査対象のプリント基板が限られるといったことはない。これにより、異物検査をより簡便に行うことができる。

　また、比較する両画像データにおいて、プリント基板の形状や外観（例えばクリーム半田の形状や位置など）はそれぞれほぼ同一となるため、基準イメージとの比較によって異物を検出する手法とは異なり、誤検出を防止するために比較的緩い検査条件を設定する必要はなく、より厳しい検査条件を設定することができる。さらに、クリーム半田の高さやその変化の状態が異物の検出に影響を及ぼすことはないから、クリーム半田の側面よりもなだらかに変位する側面を有する異物や、クリーム半田よりも低い異物を検出することが可能となる。さらに、比較する両画像データにおいて、検査対象であるプリント基板の撮像条件（例えばプリント基板の配置位置や配置角度、たわみ等）や、検査装置側の撮像条件（例えば照明状態やカメラの画角等）を一致させることができる。これらの作用効果が相俟って、異物の検出を非常に精度よく行うことができる。

　さらに、識別手段を利用して異物検査を行う構成となっているため、異物検査のためにプリント基板上に存在する多数のランド及びこれらに対しそれぞれ印刷されるクリーム半田個々の印刷設定情報などを予め記憶しておく必要はなく、また、検査に際しそれを参照する必要もない。従って、検査効率の向上を図ることができる。

　手段２．異物のない前記プリント基板における前記被検査領域に係る画像データをベース画像データとし、該ベース画像データのうちのクリーム半田に係る領域の画像をベース半田領域画像とし、該ベース半田領域画像に対応する、異物のないクリーム半田に係る領域の画像を良品半田領域画像としたとき、
　予め取得した複数種類の前記良品半田領域画像を用い、前記ベース画像データにおける前記ベース半田領域画像の少なくとも一部を、それぞれ異なる種類の前記良品半田領域画像に置き換えることで、複数種類の仮想良品画像データを取得する学習データ生成手段を備え、
　前記学習データとして、前記学習データ生成手段により得られた前記仮想良品画像データを用いることを特徴とする手段１に記載の基板異物検査装置。

　尚、「ベース半田領域画像」としては、例えば、プリント基板におけるクリーム半田の印刷予定部位（すなわちランド）の画像を挙げることができる。また、「良品半田領域画像」としては、クリーム半田の画像や、ランド及び該ランドに印刷されたクリーム半田の双方を備えた画像などを挙げることができる。そして、「ベース半田領域画像を良品半田領域画像に置き換えること」とは、クリーム半田の印刷予定部位（ランド）の画像のうちの一部を、良品半田領域画像としてのクリーム半田の画像に置き換えたり、クリーム半田の印刷予定部位（ランド）の画像の全体を、良品半田領域画像としてのランド及びクリーム半田の双方を備えた画像に置き換えたりすることをいう。

　クリーム半田の形状は一定とはならないため、ニューラルネットワークの学習に際しては、異物のないプリント基板に係る画像データ（学習データ）を非常に多く用意する必要がある。しかしながら、１のプリント基板から１の学習データを得るといった手法では、必要数の学習データを揃えるために極めて多数のプリント基板を用意しなければならず、多大なコストを要するおそれがある。

　この点、上記手段２によれば、ベース画像データにおけるベース半田領域をそれぞれ異なる種類の良品半田領域画像に置き換えてなる複数種類の仮想良品画像データを取得し、取得した複数種類の仮想良品画像データを学習データとして、ニューラルネットワークの学習を行うことができる。従って、１のプリント基板に係る１のベース画像データから、多数の異なる学習データを生成することができる。これにより、学習のために用意するプリント基板の数を減らすことができ、コストの低減を効果的に図ることができる。

　手段３．前記プリント基板の前記被検査領域に対し三次元計測用の光を照射する三次元計測用照射手段と、
　前記プリント基板の前記被検査領域に対し二次元計測用の光を照射する二次元計測用照射手段とを備え、
　前記画像データ取得手段は、前記三次元計測用の光が照射された前記被検査領域に係る画像データである三次元画像データと、前記二次元計測用の光が照射された前記被検査領域に係る画像データである二次元画像データとを取得可能であり、
　前記比較手段は、前記三次元画像データ及び前記識別手段により該三次元画像データを元にして再構成された再構成三次元画像データを比較可能であるとともに、前記二次元画像データ及び前記識別手段により該二次元画像データを元にして再構成された再構成二次元画像データを比較可能であり、
　前記三次元画像データに係る比較結果と、前記二次元画像データに係る比較結果とに基づき、前記プリント基板における異物の有無を判定可能に構成されていることを特徴とする手段１又は２に記載の基板異物検査装置。

　尚、「三次元計測用の光」は、例えば、縞状の光強度分布を有するパターン光などをいい、「二次元計測用の光」は、例えば均一光などをいう。

　上記手段３によれば、三次元画像データ及び二次元画像データの双方を用いて、プリント基板における異物の有無を判定することができる。従って、異物の検出を一層精度よく行うことができる。

　手段４．クリーム半田の印刷されたプリント基板における異物の有無を検査するための基板異物検査方法であって、
　クリーム半田の印刷部分を含む前記プリント基板における所定の被検査領域の画像データを取得する画像データ取得工程と、
　入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、異物のない前記プリント基板における前記被検査領域に係る画像データのみを学習データとして学習させて生成した識別手段を用い、前記画像データ取得工程により得られた画像データを元画像データとして前記識別手段に入力して再構成された画像データを再構成画像データとして取得する再構成画像データ取得工程と、
　前記元画像データ及び前記再構成画像データを比較する比較工程とを含み、
　前記比較工程による比較結果に基づき、前記プリント基板における異物の有無を判定することを特徴とする基板異物検査方法。

　上記手段４によれば、上記手段１と同様の作用効果が奏される。

　手段５．異物のない前記プリント基板における前記被検査領域に係る画像データをベース画像データとし、該ベース画像データのうちのクリーム半田に係る領域の画像をベース半田領域画像とし、該ベース半田領域画像に対応する、異物のないクリーム半田に係る領域の画像を良品半田領域画像としたとき、
　予め取得した複数種類の前記良品半田領域画像を用い、前記ベース画像データにおける前記ベース半田領域画像の少なくとも一部を、それぞれ異なる種類の前記良品半田領域画像に置き換えることで、複数種類の仮想良品画像データを取得する学習データ生成工程を備え、
　前記学習データとして、前記学習データ生成工程により得られた前記仮想良品画像データを用いることを特徴とする手段４に記載の基板異物検査方法。

　上記手段５によれば、上記手段２と同様の作用効果が奏される。

　手段６．前記プリント基板の前記被検査領域に対し三次元計測用の光を照射する三次元計測用照射工程と、
　前記プリント基板の前記被検査領域に対し二次元計測用の光を照射する二次元計測用照射工程とを備え、
　前記画像データ取得工程は、前記三次元計測用の光が照射された前記被検査領域に係る画像データである三次元画像データを取得する工程と、前記二次元計測用の光が照射された前記被検査領域に係る画像データである二次元画像データを取得する工程とを含み、
　前記比較工程は、前記三次元画像データ及び前記識別手段により該三次元画像データを元にして再構成された再構成三次元画像データを比較する工程と、前記二次元画像データ及び前記識別手段により該二次元画像データを元にして再構成された再構成二次元画像データを比較する工程とを含み、
　前記三次元画像データに係る比較結果と、前記二次元画像データに係る比較結果とに基づき、前記プリント基板における異物の有無を判定することを特徴とする手段４又は５に記載の基板異物検査方法。

　上記手段６によれば、上記手段３と同様の作用効果が奏される。

プリント基板の一部を拡大した部分拡大平面図である。 プリント基板の製造ラインの構成を示すブロック図である。 半田印刷後検査装置を模式的に示す概略構成図である。 半田印刷後検査装置の機能構成を示すブロック図である。 ニューラルネットワークの構造を説明するための模式図である。 ニューラルネットワークの学習処理の流れを示すフローチャートである。 検査処理の流れを示すフローチャートである。 異物のあるプリント基板に係る画像データの一例を示す図である。 ＡＩモデルによって再構成された画像データの一例を示す図である。 ベース画像データの一例を示す図である。 良品半田領域画像の一例を示す図である。 仮想良品画像データの一例を示す図である。 良品半田領域画像の別例を示す図である。

　以下、一実施形態について図面を参照しつつ説明する。まず検査対象となるプリント基板の構成について説明する。図１は、プリント基板の一部を拡大した部分拡大平面図である。

　図１に示すように、プリント基板１は、ガラスエポキシ樹脂等からなる平板状のベース基板２の表面に、銅箔からなる配線パターン（図示略）や複数のランド３が形成されたものである。また、ベース基板２の表面には、ランド３を除く部分にレジスト膜４がコーティングされている。そして、ランド３上には、半田粒をフラックスで練ってなるクリーム半田５が印刷されている。尚、図１等では、便宜上、クリーム半田５を示す部分に散点模様を付している。

　次に、プリント基板１を製造する製造ライン（製造工程）について図２を参照して説明する。図２は、プリント基板１の製造ライン１０の構成を示すブロック図である。図２に示すように、製造ライン１０には、その上流側（図２上側）から順に、半田印刷機１２、半田印刷後検査装置１３、部品実装機１４、リフロー装置１５、及び、リフロー後検査装置１６が設置されている。プリント基板１は、これら装置に対しこの順序で搬送されるように設定されている。本実施形態においては、半田印刷後検査装置１３が「基板異物検査装置」を構成する。

　半田印刷機１２は、プリント基板１の各ランド３上にクリーム半田５を印刷する半田印刷工程を行う。例えば、スクリーン印刷によりクリーム半田５の印刷が行われる。スクリーン印刷では、まずスクリーンマスクの下面をプリント基板１に接触させた状態で、該スクリーンマスク上面にクリーム半田５を供給する。前記スクリーンマスクには、プリント基板１の各ランド３に対応する複数の開口部が形成されている。次いで、前記スクリーンマスクの上面に所定のスキージを接触させつつ移動させることにより、前記開口部内にクリーム半田５を充填する。その後、プリント基板１を前記スクリーンマスクの下面から離間させることにより、プリント基板１の各ランド３にクリーム半田５が印刷される。

　半田印刷後検査装置１３は、ランド３上に印刷されたクリーム半田５の状態や、クリーム半田５の印刷されたプリント基板１における異物の有無を検査する半田印刷後検査工程を行う。半田印刷後検査装置１３の詳細については後述する。

　部品実装機１４は、クリーム半田５が印刷されたランド３上に電子部品２５（図１参照）を搭載する部品実装工程（マウント工程）を行う。電子部品２５は、複数の電極（不図示）を備えており、該電極がそれぞれ所定のクリーム半田５に対し仮止めされる。

　リフロー装置１５は、クリーム半田５を加熱溶融させて、ランド３と、電子部品２５の前記電極とを半田接合（半田付け）するリフロー工程を行う。

　リフロー後検査装置１６は、リフロー工程において半田接合が適切に行われたか否か等について検査するリフロー後検査工程を行う。例えば輝度画像データ等を用いて電子部品２５における位置ずれの有無などを検査する。

　つまり、製造ライン１０では、プリント基板１が順次搬送されつつ、半田印刷工程→半田印刷後検査工程→部品実装工程（マウント工程）→リフロー工程→リフロー後検査工程が行われるようになっている。

　この他、図示は省略するが、製造ライン１０は、半田印刷機１２と半田印刷後検査装置１３との間などの上記各装置間に、プリント基板１を移送するためのコンベア等を備えている。また、半田印刷後検査装置１３と部品実装機１４との間やリフロー後検査装置１６の下流側には分岐装置が設けられている。そして、半田印刷後検査装置１３やリフロー後検査装置１６にて良品判定されたプリント基板１は、そのまま下流側へ案内される一方、不良品判定されたプリント基板１は分岐装置により不良品貯留部へと排出されるようになっている。

　ここで、半田印刷後検査装置１３の構成について図３，４を参照して詳しく説明する。図３は、半田印刷後検査装置１３を模式的に示す概略構成図である。図４は、半田印刷後検査装置１３の機能構成を示すブロック図である。

　半田印刷後検査装置１３は、プリント基板１の搬送や位置決め等を行う搬送機構３１と、プリント基板１の検査を行うための検査ユニット３２と、搬送機構３１や検査ユニット３２の駆動制御をはじめ、半田印刷後検査装置１３における各種制御や画像処理、演算処理を実行する制御装置３３（図４参照）とを備えている。

　搬送機構３１は、プリント基板１の搬入出方向に沿って配置された一対の搬送レール３１ａと、各搬送レール３１ａに対し回転可能に配設された無端のコンベアベルト３１ｂとを備えている。また、図示は省略するが、搬送機構３１には、前記コンベアベルト３１ｂを駆動するモータ等の駆動手段と、プリント基板１を所定位置に位置決めするためのチャック機構とが設けられている。搬送機構３１は、制御装置３３（後述する搬送機構制御部７９）により駆動制御される。

　上記構成の下、半田印刷後検査装置１３へ搬入されたプリント基板１は、搬入出方向と直交する幅方向の両側縁部がそれぞれ搬送レール３１ａに挿し込まれるとともに、コンベアベルト３１ｂ上に載置される。続いて、コンベアベルト３１ｂが動作を開始し、プリント基板１が所定の検査位置まで搬送される。プリント基板１が検査位置に達すると、コンベアベルト３１ｂが停止するとともに、前記チャック機構が作動する。このチャック機構の動作により、コンベアベルト３１ｂが押し上げられ、コンベアベルト３１ｂと搬送レール３１ａの上辺部によってプリント基板１の両側縁部が挟持された状態となる。これにより、プリント基板１が検査位置に位置決め固定される。検査が終了すると、チャック機構による固定が解除されるとともに、コンベアベルト３１ｂが動作を開始する。これにより、プリント基板１は、半田印刷後検査装置１３から搬出される。勿論、搬送機構３１の構成は、上記形態に限定されるものではなく、他の構成を採用してもよい。

　検査ユニット３２は、搬送レール３１ａ（プリント基板１の搬送路）の上方に配設されている。検査ユニット３２は、第一照明装置３２Ａ、第二照明装置３２Ｂ、第三照明装置３２Ｃ及びカメラ３２Ｄを備えている。また、検査ユニット３２は、Ｘ軸方向（図３左右方向）への移動を可能とするＸ軸移動機構３２Ｅ（図４参照）、及び、Ｙ軸方向（図３前後方向）への移動を可能とするＹ軸移動機構３２Ｆ（図４参照）をも備えている。検査ユニット３２は、制御装置３３（後述する移動機構制御部７６）により駆動制御される。本実施形態では、第一照明装置３２Ａ及び第二照明装置３２Ｂが「三次元計測用照射手段」を構成し、第三照明装置３２Ｃが「二次元計測用照射手段」を構成し、カメラ３２Ｄが「画像データ取得手段」を構成する。

　第一照明装置３２Ａ及び第二照明装置３２Ｂは、プリント基板１の三次元計測を行うにあたり、それぞれプリント基板１における所定の被検査領域に対し斜め上方から三次元計測用の所定の光（縞状の光強度分布を有するパターン光）を照射する。

　具体的に、第一照明装置３２Ａは、所定の光を発する第一光源３２Ａａや、該第一光源３２Ａａからの光を縞状の光強度分布を有する第一パターン光に変換する第一格子を形成する第一液晶シャッタ３２Ａｂを備え、制御装置３３（後述する照明制御部７２）により駆動制御される。

　第二照明装置３２Ｂは、所定の光を発する第二光源３２Ｂａや、該第二光源３２Ｂａからの光を縞状の光強度分布を有する第二パターン光に変換する第二格子を形成する第二液晶シャッタ３２Ｂｂを備え、制御装置３３（後述する照明制御部７２）により駆動制御される。

　上記構成の下、各光源３２Ａａ，３２Ｂａから発せられた光はそれぞれ集光レンズ（図示略）に導かれ、そこで平行光にされた後、液晶シャッタ３２Ａｂ，３２Ｂｂを介して投影レンズ（図示略）に導かれ、プリント基板１に対しパターン光として投影されることとなる。また、本実施形態では、各パターン光の位相がそれぞれ４分の１ピッチずつシフトするように、液晶シャッタ３２Ａｂ，３２Ｂｂの切替制御が行われる。

　尚、格子として液晶シャッタ３２Ａｂ，３２Ｂｂを使用することにより、理想的な正弦波に近いパターン光を照射することができる。これにより、三次元計測の計測分解能が向上する。また、パターン光の位相シフト制御を電気的に行うことができ、装置のコンパクト化を図ることができる。

　第三照明装置３２Ｃは、プリント基板１の二次元計測を行うにあたり、プリント基板１における所定の被検査領域に対し二次元計測用の所定の光（例えば均一光）を照射するように構成されている。

　具田的に、第三照明装置３２Ｃは、青色光を照射可能なリングライト、緑色光を照射可能なリングライト、及び、赤色光を照射可能なリングライトを具備している。尚、第三照明装置３２Ｃは、公知技術と同様の構成であるため、その詳細な説明については省略する。

　カメラ３２Ｄは、プリント基板１の所定の被検査領域を真上から撮像する。カメラ３２Ｄは、ＣＣＤ（Charge Coupled Device）型イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等の撮像素子と、該撮像素子に対しプリント基板１の像を結像させる光学系（レンズユニットや絞りなど）とを有しており、その光軸が上下方向（Ｚ軸方向）に沿うように配置されている。勿論、撮像素子は、これらに限定されるものではなく、他の撮像素子を採用してもよい。

　カメラ３２Ｄは、制御装置３３（後述するカメラ制御部７３）により駆動制御される。より詳しくは、制御装置３３は、各照明装置３２Ａ，３２Ｂ，３２Ｃによる照射処理と同期をとりながら、カメラ３２Ｄによる撮像処理を実行する。これにより、照明装置３２Ａ，３２Ｂ，３２Ｃのいずれかから照射された光のうち、プリント基板１にて反射した光が、カメラ３２Ｄによって撮像される。その結果、クリーム半田５の印刷部分を含むプリント基板１の被検査領域の画像データが取得されることとなる。尚、プリント基板１の「被検査領域」は、カメラ３２Ｄの撮像視野（撮像範囲）の大きさを１単位としてプリント基板１に予め設定された複数のエリアのうちの１つのエリアである。

　また、本実施形態におけるカメラ３２Ｄは、カラーカメラで構成されている。これにより、第三照明装置３２Ｃの各色リングライトから同時に照射され、プリント基板１に反射した各色の光を一度に撮像することができる。

　カメラ３２Ｄによって撮像され生成された画像データは、該カメラ３２Ｄの内部においてデジタル信号に変換された上で、デジタル信号の形で制御装置３３（後述の画像取得部７４）に転送され記憶される。そして、制御装置３３は、該画像データを基に、後述する各種画像処理や演算処理等を実施する。

　制御装置３３は、所定の演算処理を実行するＣＰＵ（Central Processing Unit）、各種プログラムや固定値データ等を記憶するＲＯＭ（Read Only Memory）、各種演算処理の実行に際して各種データが一時的に記憶されるＲＡＭ（Random Access Memory）及びこれらの周辺回路等を含んだコンピュータからなる。

　そして、制御装置３３は、ＣＰＵが各種プログラムに従って動作することで、後述するメイン制御部７１、照明制御部７２、カメラ制御部７３、画像取得部７４、データ処理部７５、移動機構制御部７６、学習部７７、検査部７８、搬送機構制御部７９などの各種機能部として機能する。

　但し、上記各種機能部は、上記ＣＰＵ、ＲＯＭ、ＲＡＭなどの各種ハードウェアが協働することで実現されるものであり、ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがＩＣなどのハードウェア回路により実現されてもよい。

　さらに、制御装置３３には、キーボードやマウス、タッチパネル等で構成される入力部５５、液晶ディスプレイ等で構成される、表示画面を備えた表示部５６、各種データやプログラム、演算結果、検査結果等を記憶可能な記憶部５７、外部と各種データを送受信可能な通信部５８などが設けられている。

　ここで、制御装置３３を構成する上記各種機能部について詳しく説明する。

　メイン制御部７１は、半田印刷後検査装置１３全体の制御を司る機能部であり、照明制御部７２やカメラ制御部７３など他の機能部と各種信号を送受信可能に構成されている。

　照明制御部７２は、照明装置３２Ａ，３２Ｂ，３２Ｃを駆動制御する機能部であり、メイン制御部７１からの指令信号に基づき、照射光の切換制御などを行う。

　カメラ制御部７３は、カメラ３２Ｄを駆動制御する機能部であり、メイン制御部７１からの指令信号に基づき撮像タイミングなどを制御する。

　画像取得部７４は、カメラ３２Ｄにより撮像され取得された画像データを取り込むための機能部である。

　データ処理部７５は、画像取得部７４により取り込まれた画像データに所定の画像処理を施したり、該画像データを用いて二次元計測処理や三次元計測処理などを行ったりする機能部である。

　移動機構制御部７６は、Ｘ軸移動機構３２Ｅ及びＹ軸移動機構３２Ｆを駆動制御する機能部であり、メイン制御部７１からの指令信号に基づき、検査ユニット３２の位置を制御する。移動機構制御部７６は、Ｘ軸移動機構３２Ｅ及びＹ軸移動機構３２Ｆを駆動制御することにより、検査ユニット３２を、検査位置に位置決め固定されたプリント基板１の任意の被検査領域の上方位置へ移動させることができる。そして、プリント基板１に設定された複数の被検査領域に検査ユニット３２が順次移動されつつ、該被検査領域に係る検査が実行されていくことで、プリント基板１全域の検査が実行される。

　学習部７７は、学習データを用いてディープニューラルネットワーク９０（以下、単に「ニューラルネットワーク９０」という。図５参照。）の学習を行い、識別手段としてのＡＩ（Artificial Intelligence）モデル１００を構築する機能部である。

　尚、本実施形態におけるＡＩモデル１００は、後述するように、異物のない良品のプリント基板１の被検査領域に係る画像データのみを学習データとして、ニューラルネットワーク９０を深層学習（ディープラーニング）させて構築した生成モデルであり、いわゆるオートエンコーダ（自己符号化器）の構造を有する。

　ここで、ニューラルネットワーク９０の構造について図５を参照して説明する。図５は、ニューラルネットワーク９０の構造を概念的に示した模式図である。図５に示すように、ニューラルネットワーク９０は、入力される画像データＧＡから特徴量（潜在変数）ＴＡを抽出する符号化部としてのエンコーダ部９１と、該特徴量ＴＡから画像データＧＢを再構成する復号化部としてのデコーダ部９２と有してなる畳み込みオートエンコーダ（ＣＡＥ：Convolutional Auto-Encoder）の構造を有している。

　畳み込みオートエンコーダの構造は公知のものであるため、詳しい説明は省略するが、エンコーダ部９１は複数の畳み込み層(Convolution Layer)９３を有し、各畳み込み層９３では、入力データに対し複数のフィルタ（カーネル）９４を用いた畳み込み演算が行われた結果が次層の入力データとして出力される。同様に、デコーダ部９２は複数の逆畳み込み層（Deconvolution Layer）９５を有し、各逆畳み込み層９５では、入力データに対し複数のフィルタ（カーネル）９６を用いた逆畳み込み演算が行われた結果が次層の入力データとして出力される。そして、後述する学習処理では、各フィルタ９４，９６の重み（パラメータ）が更新されることとなる。

　検査部７８は、クリーム半田５の印刷されたプリント基板１に対する検査を行う機能部である。例えば本実施形態では、プリント基板１に異物が付着しているか否か、クリーム半田５が適切に印刷されているか否か等についての検査を行う。

　搬送機構制御部７９は、搬送機構３１を駆動制御する機能部であり、メイン制御部７１からの指令信号に基づき、プリント基板１の位置を制御する。

　記憶部５７は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等で構成され、例えばＡＩモデル１００（ニューラルネットワーク９０及びその学習により獲得した学習情報）を記憶する所定の記憶領域を有している。

　通信部５８は、例えば有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等の通信規格に準じた無線通信インターフェースなどを備え、外部と各種データを送受信可能に構成されている。例えば検査部７８により行われた検査の結果などが通信部５８を介して外部に出力されたり、リフロー後検査装置１６により行われた検査の結果が通信部５８を介して入力されたりする。

　次に、半田印刷後検査装置１３によって行われるニューラルネットワーク９０の学習処理について図６のフローチャートを参照して説明する。

　所定の学習プログラムの実行に基づき、学習処理が開始されると、メイン制御部７１は、はじめにステップＳ１０１において、ニューラルネットワーク９０の学習を行うための前処理を行う。

　この前処理では、まず通信部５８を介してリフロー後検査装置１６に蓄積された多数のプリント基板１の検査情報を取得する。続いて、該検査情報に基づき、記憶部５７から、リフロー後検査に合格した異物のない良品のプリント基板１に係る画像データを取得する。この画像データは、ニューラルネットワーク９０の学習を行うための学習データとして使用される。また、この画像データには、第一照明装置３２Ａ又は第二照明装置３２Ｂからパターン光を照射した状態で、カメラ３２Ｄによりプリント基板１を撮像して得た画像データである三次元画像データと、第三照明装置３２Ｃから均一光を照射した状態で、カメラ３２Ｄによりプリント基板１を撮像して得た画像データである二次元画像データとが含まれる。かかる処理は、学習データとして必要な数の画像データが取得されるまで行われる。

　尚、リフロー後検査装置１６から検査情報を取得するプリント基板１は、検査対象となるプリント基板１と同一構成のものであることが好ましい。但し、プリント基板１の厚さや材質、大きさや配置レイアウト等の同一性は必要なく、多様な種類の学習データを基に学習した方が汎用性の面においては好ましい。

　ステップＳ１０１において学習に必要な数の画像データが取得されると、続くステップＳ１０２において、メイン制御部７１からの指令に基づき、学習部７７が、未学習のニューラルネットワーク９０を準備する。例えば予め記憶部５７等に格納されているニューラルネットワーク９０を読み出す。又は、記憶部５７等に格納されているネットワーク構成情報（例えばニューラルネットワークの層数や各層のノード数など）に基づいて、ニューラルネットワーク９０を構築する。本実施形態では、ニューラルネットワーク９０として、二次元画像データを用いた学習を行うためのもの（二次元用ニューラルネットワーク）と、三次元画像データを用いた学習を行うためのもの（三次元用ニューラルネットワーク）とを別々に構築する。

　ステップＳ１０３では、再構成画像データを取得する。すなわち、メイン制御部７１からの指令に基づき、学習部７７が、ステップＳ１０２において取得された画像データを入力データとして、ニューラルネットワーク９０の入力層に与え、これにより該ニューラルネットワーク９０の出力層から出力される再構成画像データを取得する。より詳しくは、二次元用ニューラルネットワークの学習に際しては、学習部７７が、ステップＳ１０２において取得された二次元画像データを入力データとして、ニューラルネットワーク９０（二次元用ニューラルネットワーク）の入力層に与え、これにより該ニューラルネットワーク９０の出力層から出力される再構成二次元画像データを取得する。また、三次元用ニューラルネットワークの学習に際しては、学習部７７が、ステップＳ１０２において取得された三次元画像データを入力データとして、ニューラルネットワーク９０（三次元用ニューラルネットワーク）の入力層に与え、これにより該ニューラルネットワーク９０の出力層から出力される再構成三次元画像データを取得する。

　続くステップＳ１０４では、学習部７７が、入力した画像データと、ニューラルネットワーク９０により出力された再構成画像データとを比較し、その誤差が十分に小さいか否か（所定の閾値以下であるか否か）を判定する。例えば二次元用ニューラルネットワークの学習に際しては、二次元画像データと再構成二次元画像データとが比較される。

　ここで、前記誤差が十分に小さい場合には、ステップＳ１０６にて、学習部７７は、学習の終了条件を満たすか否かを判定する。例えば、後述するステップＳ１０５の処理を経ることなくステップＳ１０４にて肯定判定されることが所定回数連続で行われた場合や、用意した画像データの全てを用いた学習が所定回数反復して行われた場合には、終了条件を満たすと判定される。終了条件を満たす場合には、ニューラルネットワーク９０及びその学習情報（後述する更新後のパラメータ等）をＡＩモデル１００として記憶部５７に格納し、本学習処理を終了する。本実施形態では、最終的に、ＡＩモデルとして、二次元画像データに対応するもの（二次元用ＡＩモデル）と、三次元画像データに対応するもの（三次元用ＡＩモデル）とが格納される。

　一方、ステップＳ１０６にて終了条件を満たさない場合には、ステップＳ１０２に戻り、ニューラルネットワーク９０の学習を再度行う。

　また、ステップＳ１０４にて、前記誤差が十分に小さくない場合には、ステップＳ１０５においてネットワーク更新処理（ニューラルネットワーク９０の学習）を行った後、再びステップＳ１０３へ戻り、上記一連の処理を繰り返す。

　具体的に、ステップＳ１０５のネットワーク更新処理では、例えば誤差逆伝播法（Backpropagation）などの公知の学習アルゴリズムを用いて、学習用の画像データと再構成画像データとの差分を表す損失関数が極力小さくなるように、ニューラルネットワーク９０における上記各フィルタ９４，９６の重み（パラメータ）をより適切なものに更新する。尚、損失関数としては、例えばＢＣＥ（Binary Cross-entropy）などを利用することができる。

　ステップＳ１０３～１０５の処理を何度も繰り返すことにより、ニューラルネットワーク９０では、学習用の画像データと再構成画像データとの誤差が極力小さくなり、より正確な再構成画像データが出力されるようになる。

　そして、最終的に得られるＡＩモデル１００は、異物のないプリント基板１に係る画像データが入力されたときに、該画像データとほぼ一致する再構成画像データを生成するものとなる。また、ＡＩモデル１００は、異物のあるプリント基板１に係る画像データが入力されたときには、ノイズ部分（異物に相当する部分）を除去した該画像データとほぼ一致する再構成画像データを生成するものとなる。すなわち、プリント基板１に異物があるときには、該プリント基板１に係る再構成画像データとして、異物がないものと仮定した場合の該プリント基板１に係る仮想的な画像データが生成される。

　次に、半田印刷後検査装置１３によって行われる検査処理について図７のフローチャートを参照して説明する。但し、図７に示す検査処理は、プリント基板１における被検査領域毎に実行される処理である。

　半田印刷後検査装置１３へプリント基板１が搬入され、所定の検査位置に位置決めされると、所定の検査プログラムの実行に基づき、検査処理が開始される。

　検査処理が開始されると、まずステップＳ３０１において、画像データ取得工程が行われる。画像データ取得工程は、三次元画像データを取得する工程と、二次元画像データを取得する工程とを含む。

　画像データ取得工程では、まず、三次元画像データの取得工程を実行する。本実施形態では、プリント基板１の各被検査領域に係る検査において、第一照明装置３２Ａから照射される第一パターン光の位相を変化させつつ、位相の異なる第一パターン光の下で４回の撮像処理を行った後、第二照明装置３２Ｂから照射される第二パターン光の位相を変化させつつ、位相の異なる第二パターン光の下で４回の撮像処理を行い、計８通りの三次元画像データを取得する。以下、詳しく説明する。

　上述したように、半田印刷後検査装置１３へ搬入されたプリント基板１が所定の検査位置に位置決め固定されると、メイン制御部７１からの指令に基づき、移動機構制御部７６が、まずＸ軸移動機構３２Ｅ及びＹ軸移動機構３２Ｆを駆動制御して検査ユニット３２を移動させ、カメラ３２Ｄの撮像視野（撮像範囲）をプリント基板１の所定の被検査領域に合わせる。

　併せて、照明制御部７２が、両照明装置３２Ａ，３２Ｂの液晶シャッタ３２Ａｂ，３２Ｂｂを切替制御し、該両液晶シャッタ３２Ａｂ，３２Ｂｂに形成される第一格子及び第二格子の位置を所定の基準位置に設定する。

　第一格子及び第二格子の切替設定が完了すると、照明制御部７２が、第一照明装置３２Ａの第一光源３２Ａａを発光させ、第一パターン光を照射するとともに、カメラ制御部７３が、カメラ３２Ｄを駆動制御して、該第一パターン光の下での１回目の撮像処理を実行する。尚、撮像処理により生成された画像データは、随時、画像取得部７４に取り込まれる（以下同様）。これにより、複数のランド３（クリーム半田５）を含んだ被検査領域の三次元画像データが取得される。

　その後、照明制御部７２は、第一パターン光の下での１回目の撮像処理の終了と同時に、第一照明装置３２Ａの第一光源３２Ａａを消灯するとともに、第一液晶シャッタ３２Ａｂの切替処理を実行する。具体的には、第一液晶シャッタ３２Ａｂに形成される第一格子の位置を前記基準位置から、第一パターン光の位相が４分の１ピッチ（９０°）ずれる第二の位置へ切替設定する。

　第一格子の切替設定が完了すると、照明制御部７２が、第一照明装置３２Ａの光源３２Ａａを発光させ、第一パターン光を照射するとともに、カメラ制御部７３が、カメラ３２Ｄを駆動制御して、該第一パターン光の下での２回目の撮像処理を実行する。以後、同様の処理を繰り返し行うことで、９０°ずつ位相の異なる第一パターン光の下での４通りの三次元画像データを取得する。

　続いて、照明制御部７２が、第二照明装置３２Ｂの第二光源３２Ｂａを発光させ、第二パターン光を照射するとともに、カメラ制御部７３が、カメラ３２Ｄを駆動制御して、該第二パターン光の下での１回目の撮像処理を実行する。

　その後、照明制御部７２が、第二パターン光の下での１回目の撮像処理の終了と同時に、第二照明装置３２Ｂの第二光源３２Ｂａを消灯するとともに、第二液晶シャッタ３２Ｂｂの切替処理を実行する。具体的には、第二液晶シャッタ３２Ｂｂに形成される第二格子の位置を前記基準位置から、第二パターン光の位相が４分の１ピッチ（９０°）ずれる第二の位置へ切替設定する。

　第二格子の切替設定が完了すると、照明制御部７２が、第二照明装置３２Ｂの光源３２Ｂａを発光させ、第二パターン光を照射するとともに、カメラ制御部７３が、カメラ３２Ｄを駆動制御して、該第二パターン光の下での２回目の撮像処理を実行する。以後、同様の処理を繰り返し行うことで、９０°ずつ位相の異なる第二パターン光の下での４通りの三次元画像データを取得する。本実施形態では、三次元画像データを取得する際に、第一照明装置３２Ａ又は第二照明装置３２Ｂからプリント基板１の被検査領域にパターン光を照射する工程が「三次元計測用照射工程」に相当する。

　次いで、二次元画像データの取得工程を実行する。本実施形態では、メイン制御部７１からの指令に基づき、プリント基板１の各被検査領域に係る検査において、照明制御部７２が第三照明装置３２Ｃを発光させ、所定の被検査領域に対し均一光を照射しつつ、カメラ制御部７３がカメラ３２Ｄを駆動制御して、該均一光の下での撮像処理を実行する。これにより、プリント基板１上の所定の被検査領域が撮像され、該被検査領域に係る二次元画像データが取得される。本実施形態では、二次元画像データを取得する際に、第三照明装置３２Ｃからプリント基板１の被検査領域に均一光を照射する工程が「二次元計測用照射工程」に相当する。尚、取得された三次元画像データ及び二次元画像データは、それぞれ番号付けされて記憶部５７に記憶される。

　次のステップＳ３０２では、三次元計測データ取得処理を実行する。具体的には、メイン制御部７１からの指令に基づき、データ処理部７５が、上記ステップＳ３０１において各パターン光の下で得られた複数の三次元画像データを基に公知の位相シフト法により、複数のクリーム半田５を含んだ所定の被検査領域の三次元形状計測を行い、かかる計測結果（三次元計測データ）を記憶部５７に記憶する。尚、本実施形態では、２方向からパターン光を照射して三次元形状計測を行っているため、パターン光が照射されない影の部分が生じることを防止できる。

　次のステップＳ３０３では、二次元計測データ取得処理を実行する。具体的には、メイン制御部７１からの指令に基づき、データ処理部７５が、上記ステップＳ３０２において均一光の下で得られた二次元画像データを基に、複数のクリーム半田５を含んだ所定の被検査領域の二次元形状計測を行い、かかる計測結果（二次元計測データ）を記憶部５７に記憶する。

　ステップＳ３０４では、再構成画像データ取得工程を実行する。具体的には、メイン制御部７１からの指令に基づき、検査部７８が、ステップＳ３０１にて取得した所定番号（例えば００１番）の三次元画像データ（元画像データ）を、三次元画像データに対応するＡＩモデル１００（三次元用ＡＩモデル）の入力層へ入力する。そして、該ＡＩモデル１００によって再構成されて出力層から出力される画像データを前記所定番号（例えば００１番）の再構成三次元画像データとして取得する。また、取得した再構成三次元画像データを同一番号の三次元画像データ（元画像データ）と関連付けて記憶する。

　また、ステップＳ３０１にて取得された二次元画像データについても上記同様の処理が行われる。すなわち、検査部７８が、ステップＳ３０１にて取得した所定番号の二次元画像データ（元画像データ）を、二次元画像データに対応するＡＩモデル１００（二次元用ＡＩモデル）の入力層に入力する。そして、該ＡＩモデル１００によって再構成されて出力層から出力される画像データを前記所定番号の再構成二次元画像データとして取得する。また、取得した再構成二次元画像データを同一番号の二次元画像データ（元画像データ）と関連付けて記憶する。本実施形態では、再構成三次元画像データ及び再構成二次元画像データの取得処理を行う検査部７８が「再構成画像データ取得手段」を構成する。

　ここで、ＡＩモデル１００は、異物のないプリント基板１に係る画像データを入力した場合は勿論のこと、図８に示すような異物Ｍのあるプリント基板１に係る画像データを入力した場合であっても、上記のように学習したことにより、再構成画像データとして、図９に類似するような異物のない画像データを出力することとなる。

　ステップＳ３０５では、取得した画像データに基づく良否判定処理を行う。本実施形態では、クリーム半田５に係る所定の三次元情報について良否判定を行う三次元良否判定処理と、クリーム半田５に係る所定の二次元情報について良否判定を行う二次元良否判定処理と、プリント基板１に対する異物の有無について良否判定を行う異物有無判定処理とを実行する。

　三次元良否判定処理では、上記ステップＳ３０２の三次元計測データ取得処理で取得された三次元計測データを基に、クリーム半田５に係る所定の三次元情報について良否判定を行う。

　具体的に、検査部７８は、メイン制御部７１からの指令に基づき、まず上記ステップＳ３０２で取得された三次元計測データを基にクリーム半田５の「体積」及び「高さ」を算出する。そして、これらクリーム半田５の「体積」及び「高さ」をそれぞれ予め記憶部５７に記憶されている基準データと比較し、クリーム半田５の「体積」及び「高さ」がそれぞれ基準範囲内にあるか否か判定する。尚、これら検査項目（三次元情報）の良否判定処理については、公知の方法により実行可能であるため、詳細な説明は省略する。

　二次元良否判定処理では、上記ステップＳ３０３の二次元計測データ取得処理で取得された二次元計測データを基に、クリーム半田５に係る所定の二次元情報について良否判定を行う。

　具体的に、検査部７８は、メイン制御部７１からの指令に基づき、まず上記ステップＳ３０３で取得された二次元計測データを基に、クリーム半田５の「面積」及び「位置ズレ量」を算出するとともに、クリーム半田５の「二次元形状」及び複数のランド３間に跨る「半田ブリッジ」の抽出を行う。

　そして、クリーム半田５の「面積」及び「位置ズレ」、並びに、「二次元形状」及び「半田ブリッジ」をそれぞれ予め記憶部５７に記憶されている基準データと比較し、これらがそれぞれ基準範囲内にあるか否か判定する。尚、これら検査項目（二次元情報）の良否判定処理については、公知の方法により実行可能であるため、詳細な説明は省略する。

　異物有無判定処理では、メイン制御部７１からの指令に基づき、検査部７８が、上記ステップＳ３０４で取得したそれぞれ同一番号の三次元画像データ（元画像データ）及び再構成三次元画像データを比較して、両画像データの差分を算出する。例えば、両画像データにおける同一座標のドットをそれぞれ比較して、輝度の差が所定値以上となったドットの塊の面積（ドット数）を算出する。

　また、検査部７８は、ステップＳ３０４で取得したそれぞれ同一番号の二次元画像データ（元画像データ）及び再構成二次元画像データを比較することで、両画像データの差分を算出する。本実施形態では、元画像データ及び再構成画像データを比較する検査部７８が「比較手段」を構成する。また、元画像データ及び再構成画像データを比較する工程が「比較工程」に相当する。

　続いて、検査部７８は、三次元画像データに係る比較結果と、二次元画像データに係る比較結果とに基づき、プリント基板１における異物の有無を判定する。具体的には、検査部７８は、算出した各差分が所定の閾値よりも大きいか否かを判定する。そして、各差分のうちの少なくとも一方が所定の閾値よりも大きい場合には、「異物あり」と判定する。一方、各差分がそれぞれ所定の閾値よりも小さい場合には、「異物なし」と判定する。

　さらに、検査部７８は、「三次元良否判定処理」、「二次元良否判定処理」及び「異物有無判定処理」のすべてにおいて「良」と判定した場合には、プリント基板１における検査対象の被検査領域について「良」と判定するとともに、この結果を記憶部５７に記憶する。

　一方、「三次元良否判定処理」、「二次元良否判定処理」及び「異物有無判定処理」のいずれかにおいて「不良」と判定された場合には、検査対象の被検査領域について「不良」と判定するとともに、この結果を記憶部５７に記憶する。

　そして、半田印刷後検査装置１３は、プリント基板１における全ての被検査領域について上記検査処理が行われた結果、全被検査領域について「良」と判定された場合には、異常のないプリント基板１であると判定（合格判定）し、この結果を記憶部５７に記憶する。

　一方、半田印刷後検査装置１３は、「不良」と判定された被検査領域が１つでも存在する場合には、不良箇所のあるプリント基板１であると判定（不合格判定）し、この結果を記憶部５７に記憶するとともに、表示部５６や通信部５８などを介して、その旨を外部に報知する。

　以上詳述したように、本実施形態によれば、元画像データである二次元画像データ及び三次元画像データと、これらデータをＡＩモデル１００へ入力して再構成された再構成二次元画像データ及び再構成三次元画像データとを比較し、その比較結果に基づき、プリント基板１における異物の有無を判定している。そのため、比較する両画像データは、それぞれ同一のプリント基板１に係るものとなる。

　従って、マスター基板に係る基準イメージとの比較によって異物を検出する手法とは異なり、比較のためのマスター基板を用意する必要がない。そのため、検査対象のプリント基板１とマスター基板との同一性を保つことができないといった理由で、検査対象のプリント基板１が限られるといったことはない。これにより、異物検査をより簡便に行うことができる。

　また、比較する両画像データにおいて、プリント基板１の形状や外観（例えばクリーム半田５の形状や位置など）はそれぞれほぼ同一となるため、基準イメージとの比較によって異物を検出する手法とは異なり、誤検出を防止するために比較的緩い検査条件を設定する必要はなく、より厳しい検査条件を設定することができる。さらに、クリーム半田５の高さやその変化の状態が異物の検出に影響を及ぼすことはないから、クリーム半田５の側面よりもなだらかに変位する側面を有する異物や、クリーム半田５よりも低い異物を検出することが可能となる。さらに、比較する両画像データにおいて、検査対象であるプリント基板１の撮像条件（例えばプリント基板１の配置位置や配置角度、たわみ等）や、検査装置側の撮像条件（例えば照明状態やカメラ３２Ｄの画角等）を一致させることができる。これらの作用効果が相俟って、異物の検出を非常に精度よく行うことができる。

　さらに、ＡＩモデル１００を利用して異物検査を行う構成となっているため、異物検査のためにプリント基板１上に存在する多数のランド３及びこれらに対しそれぞれ印刷されるクリーム半田５個々の印刷設定情報などを予め記憶しておく必要はなく、また、検査に際しそれを参照する必要もない。従って、検査効率の向上を図ることができる。

　さらに、本実施形態では、三次元画像データ及び二次元画像データの双方を用いて、プリント基板１における異物の有無を判定するため、異物の検出を一層精度よく行うことができる。

　尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。

　（ａ）上記実施形態では、ニューラルネットワーク９０の学習にあたって、リフロー後検査に合格した異物のない良品のプリント基板１に係る画像データが学習データとして用いられている。これに対し、例えばクリーム半田５の印刷後に作業者が目視により選別した、異物のないプリント基板１に係る画像データを学習データとして用いてもよい。

　また、学習部７７が、仮想良品画像データを生成するとともに、この仮想良品画像データを用いて、ニューラルネットワーク９０の学習を行うように構成してもよい。

　より詳しくは、図１０に示すように、異物のないプリント基板１における被検査領域に係る画像データを、ベース画像データ２００として予め複数取得しておく。ベース画像データ２００は、例えば、半田印刷後検査装置１３によって、検査時と同一の条件でプリント基板１を撮像することで取得することができる。尚、ベース画像データ２００は、クリーム半田５の印刷されていないプリント基板１を撮像して得た画像であってもよいし、クリーム半田５の印刷されたプリント基板１を撮像して得た画像において、クリーム半田５部分を消去しつつ、消去部分がランド３となるように補完処理を行った画像であってもよい。

　ベース画像データ２００には、クリーム半田５に係る領域の画像であるベース半田領域画像５ａ１，５ａ２，５ａ３が複数含まれている。本例において、ベース半田領域画像５ａ１，５ａ２，５ａ３は、それぞれクリーム半田５の印刷されるランド３に対応する。

　さらに、図１１に示すように、ベース半田領域画像５ａ１，５ａ２，５ａ３に対応する、異物のないクリーム半田５に係る領域の画像である良品半田領域画像５ｇ１，５ｇ２，５ｇ３を、それぞれ複数種類予め取得しておく。良品半田領域画像５ｇ１，５ｇ２，５ｇ３は、クリーム半田５の画像であり、異なるサイズのベース半田領域画像５ａ１，５ａ２，５ａ３にそれぞれ対応する。本例において、良品半田領域画像５ｇ１はベース半田領域画像５ａ１に対応し、良品半田領域画像５ｇ２はベース半田領域画像５ａ２に対応し、良品半田領域画像５ｇ３はベース半田領域画像５ａ３に対応する。良品半田領域画像５ｇ１，５ｇ２，５ｇ３は、例えば、検査に合格した異物のない良品のプリント基板１に係る画像データ等から取得することができる。

　そして、学習部７７は、例えば上述したステップＳ１０１の前処理において、ベース画像データ２００及び良品半田領域画像５ｇ１，５ｇ２，５ｇ２を用いて、図１２に示すような仮想良品画像データを生成する。すなわち、学習部７７は、ベース画像データ２００におけるベース半田領域画像５ａ１，５ａ２，５ａ３の少なくとも一部（本例では、ベース半田領域画像５ａ１，５ａ３，５ａ３のうち、良品半田領域画像５ｇ１，５ｇ２，５ｇ３と同一形状をなす一定範囲）を、良品半田領域画像５ｇ１，５ｇ２，５ｇ３に置き換える処理を行うことで、仮想良品画像データ２０１を生成する。

　また、学習部７７は、基準となるベース画像データ２００や置き換えに用いる良品半田領域画像５ｇ１，５ｇ２，５ｇ３を変更しつつ、上記処理を繰り返し行うことで、必要数の異なる種類の仮想良品画像データ２０１を生成する。そして、学習部７７は、この生成された仮想良品画像データ２０１を学習データとして、ニューラルネットワーク９０の学習を行う。本例では、学習部７７が「学習データ生成手段」を構成し、仮想良品画像データ２０１を生成する工程が「学習データ生成工程」に相当する。

　上記のような学習に係る構成を採用することで、１のプリント基板１に係る１のベース画像データ２００から、多数の異なる学習データ（仮想良品画像データ２０１）を生成することができる。従って、学習のために用意するプリント基板１の数は、必要数のベース画像データ２００を得ることができる程度の数で足りることとなる。これにより、学習のために用意するプリント基板１の数を減らすことができ、その結果、コストの低減を効果的に図ることができる。

　尚、図１３に示すように、良品半田領域画像５ｈ１，５ｈ２，５ｈ３として、ランド３及び該ランド３に印刷されたクリーム半田５の双方を備えた画像を用いてもよい。この場合、ベース半田領域画像５ａ１，５ａ２，５ａ３の全体を、良品半田領域画像５ｈ１，５ｈ２，５ｈ３に置き換えることで、仮想良品画像データを生成することができる。

　また、仮想良品画像データとして、二次元画像データに相当するものと三次元画像データに相当するものとを生成してもよい。また、次述の（ｂ）のように構成する場合には、二次元画像データに相当するもの及び三次元画像データに相当するものの一方のみを生成してもよい。

　（ｂ）上記実施形態では、二次元画像データ及び三次元画像データを用いて異物の有無に関する検査を行う構成とされているが、両画像データのうちの一方のみを用いて異物の有無に関する検査を行う構成としてもよい。

　（ｃ）上記実施形態では、ＡＩモデル１００として、二次元画像データに対応するもの（二次元用ＡＩモデル）と、三次元画像データに対応するもの（三次元ＡＩモデル）とが設けられているが、二次元画像データ及び三次元画像データのそれぞれに対応する共通のＡＩモデルを設けることとしてもよい。

　（ｄ）三次元計測方法や二次元計測方法など、クリーム半田５の計測方法は、上記実施形態に限定されるものではなく、他の構成を採用してもよい。例えば上記実施形態では、位相シフト法による三次元計測を行う上で、各パターン光の位相が９０°ずつ異なる４通りの画像データを取得する構成となっているが、位相シフト回数及び位相シフト量は、これらに限定されるものではない。また、三次元計測法として位相シフト法を採用しているが、これに限らず、光切断法やモアレ法、合焦法、空間コード法等といった、他の三次元計測法を採用することとしてもよい。

　（ｅ）上記実施形態では、検査処理において、「三次元良否判定処理」及び「二次元良否判定処理」が行われるように構成されているが、両処理のうちの一方又は双方を行わない構成としてもよい。

　（ｆ）識別手段としてのＡＩモデル１００（ニューラルネットワーク９０）の構成及びその学習方法は、上記実施形態に限定されるものではない。例えば、ニューラルネットワーク９０の学習処理や、再構成画像データ取得工程などを行う際に、必要に応じて各種データに対し正規化等の処理を行う構成としてもよい。また、ニューラルネットワーク９０の構造は、図５に示したものに限定されず、例えば畳み込み層９３の後にプーリング層を設けた構成としてもよい。勿論、ニューラルネットワーク９０の層数や、各層のノード数、各ノードの接続構造などが異なる構成としてもよい。

　さらに、上記実施形態では、ＡＩモデル１００（ニューラルネットワーク９０）が、畳み込みオートエンコーダ（ＣＡＥ）の構造を有した生成モデルとなっているが、これに限らず、例えば変分自己符号化器(ＶＡＥ：Variational Autoencoder)など、異なるタイプのオートエンコーダの構造を有した生成モデルとしてもよい。

　また、上記実施形態では、誤差逆伝播法によりニューラルネットワーク９０を学習する構成となっているが、これに限らず、その他の種々の学習アルゴリズムを用いて学習する構成としてもよい。

　加えて、ニューラルネットワーク９０は、いわゆるＡＩチップ等のＡＩ処理専用回路によって構成されることとしてもよい。その場合、パラメータ等の学習情報のみが記憶部５７に記憶され、これをＡＩ処理専用回路が読み出して、ニューラルネットワーク９０に設定することによって、ＡＩモデル１００が構成されるようにしてもよい。

　併せて、上記実施形態において、制御装置３３は学習部７７を備え、制御装置３３内においてニューラルネットワーク９０の学習を行う構成となっているが、これに限られるものではない。例えば、学習部７７を省略して、ニューラルネットワーク９０の学習を制御装置３３の外部で行う構成とし、外部で学習を行ったＡＩモデル１００（学習済みのニューラルネットワーク９０）を記憶部５７に記憶する構成としてもよい。勿論、上記（ａ）のように仮想良品画像データ２０１を用いた学習を行う場合には、制御装置３３の外部で仮想良品画像データ２０１を生成してもよい。

　１…プリント基板、５…クリーム半田、５ａ１，５ａ２，５ａ３…ベース半田領域画像、５ｇ１，５ｇ２，５ｇ３、５ｈ１，５ｈ２，５ｈ３…良品半田領域画像、１３…半田印刷後検査装置（基板異物検査装置）、３２Ａ…第一照明装置（三次元計測用照射手段）、３２Ｂ…第二照明装置（三次元計測用照射手段）、３２Ｃ…第三照明装置（二次元計測用照射手段）、３２Ｄ…カメラ（画像データ取得手段）、３３…制御装置、７７…学習部（学習データ生成手段）、７８…検査部（再構成画像データ取得手段、比較手段）、９０…ニューラルネットワーク、９１…エンコーダ部（符号化部）、９２…デコーダ部（復号化部）、１００…ＡＩモデル（識別手段）、２００…ベース画像データ、２０１…仮想良品画像データ。

Claims (6)

1. 　クリーム半田の印刷されたプリント基板における異物の有無を検査する基板異物検査装置であって、
   　クリーム半田の印刷部分を含む前記プリント基板における所定の被検査領域の画像データを取得可能な画像データ取得手段と、
   　入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、異物のない前記プリント基板における前記被検査領域に係る画像データのみを学習データとして学習させて生成した識別手段と、
   　前記画像データ取得手段により得られた画像データを元画像データとして前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
   　前記元画像データ及び前記再構成画像データを比較可能な比較手段とを備え、
   　前記比較手段による比較結果に基づき、前記プリント基板における異物の有無を判定可能に構成されていることを特徴とする基板異物検査装置。
2. 　異物のない前記プリント基板における前記被検査領域に係る画像データをベース画像データとし、該ベース画像データのうちのクリーム半田に係る領域の画像をベース半田領域画像とし、該ベース半田領域画像に対応する、異物のないクリーム半田に係る領域の画像を良品半田領域画像としたとき、
   　予め取得した複数種類の前記良品半田領域画像を用い、前記ベース画像データにおける前記ベース半田領域画像の少なくとも一部を、それぞれ異なる種類の前記良品半田領域画像に置き換えることで、複数種類の仮想良品画像データを取得する学習データ生成手段を備え、
   　前記学習データとして、前記学習データ生成手段により得られた前記仮想良品画像データを用いることを特徴とする請求項１に記載の基板異物検査装置。
3. 　前記プリント基板の前記被検査領域に対し三次元計測用の光を照射する三次元計測用照射手段と、
   　前記プリント基板の前記被検査領域に対し二次元計測用の光を照射する二次元計測用照射手段とを備え、
   　前記画像データ取得手段は、前記三次元計測用の光が照射された前記被検査領域に係る画像データである三次元画像データと、前記二次元計測用の光が照射された前記被検査領域に係る画像データである二次元画像データとを取得可能であり、
   　前記比較手段は、前記三次元画像データ及び前記識別手段により該三次元画像データを元にして再構成された再構成三次元画像データを比較可能であるとともに、前記二次元画像データ及び前記識別手段により該二次元画像データを元にして再構成された再構成二次元画像データを比較可能であり、
   　前記三次元画像データに係る比較結果と、前記二次元画像データに係る比較結果とに基づき、前記プリント基板における異物の有無を判定可能に構成されていることを特徴とする請求項１又は２に記載の基板異物検査装置。
4. 　クリーム半田の印刷されたプリント基板における異物の有無を検査するための基板異物検査方法であって、
   　クリーム半田の印刷部分を含む前記プリント基板における所定の被検査領域の画像データを取得する画像データ取得工程と、
   　入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、異物のない前記プリント基板における前記被検査領域に係る画像データのみを学習データとして学習させて生成した識別手段を用い、前記画像データ取得工程により得られた画像データを元画像データとして前記識別手段に入力して再構成された画像データを再構成画像データとして取得する再構成画像データ取得工程と、
   　前記元画像データ及び前記再構成画像データを比較する比較工程とを含み、
   　前記比較工程による比較結果に基づき、前記プリント基板における異物の有無を判定することを特徴とする基板異物検査方法。
5. 　異物のない前記プリント基板における前記被検査領域に係る画像データをベース画像データとし、該ベース画像データのうちのクリーム半田に係る領域の画像をベース半田領域画像とし、該ベース半田領域画像に対応する、異物のないクリーム半田に係る領域の画像を良品半田領域画像としたとき、
   　予め取得した複数種類の前記良品半田領域画像を用い、前記ベース画像データにおける前記ベース半田領域画像の少なくとも一部を、それぞれ異なる種類の前記良品半田領域画像に置き換えることで、複数種類の仮想良品画像データを取得する学習データ生成工程を備え、
   　前記学習データとして、前記学習データ生成工程により得られた前記仮想良品画像データを用いることを特徴とする請求項４に記載の基板異物検査方法。
6. 　前記プリント基板の前記被検査領域に対し三次元計測用の光を照射する三次元計測用照射工程と、
   　前記プリント基板の前記被検査領域に対し二次元計測用の光を照射する二次元計測用照射工程とを備え、
   　前記画像データ取得工程は、前記三次元計測用の光が照射された前記被検査領域に係る画像データである三次元画像データを取得する工程と、前記二次元計測用の光が照射された前記被検査領域に係る画像データである二次元画像データを取得する工程とを含み、
   　前記比較工程は、前記三次元画像データ及び前記識別手段により該三次元画像データを元にして再構成された再構成三次元画像データを比較する工程と、前記二次元画像データ及び前記識別手段により該二次元画像データを元にして再構成された再構成二次元画像データを比較する工程とを含み、
   　前記三次元画像データに係る比較結果と、前記二次元画像データに係る比較結果とに基づき、前記プリント基板における異物の有無を判定することを特徴とする請求項４又は５に記載の基板異物検査方法。

Images