WO2021220437A1 - 外観検査装置および外観検査方法 - Google Patents

Abstract

外観検査装置は、撮像部（１０１）と、再構築画像生成部（２０６）と、画像比較部（２０７）と、を備える。撮像部（１０１）は、対象物を撮像する。再構築画像生成部（２０６）は、撮像部（１０１）で撮像された画像データを入力画像として、画像データの再現を試みるモデルを用いて、入力画像を再構築した画像である再構築画像を生成する。画像比較部（２０７）は、入力画像と再構築画像との差分である差分画像を生成する。

Description

外観検査装置および外観検査方法

　本開示は、画像処理によって検査対象の外観の異常を検査する外観検査装置および外観検査方法に関する。

　特許文献１には、基板に実装された電子部品の浮き、傾きなどの取付状態の良否を、部品が基板に実装される面である部品面とは反対側の面であり、部品が基板に半田付けされる面である半田面における部品のリード先端部の画像を用いて検査する基板外観検査装置が開示されている。特許文献１に記載の基板外観検査装置は、基板の半田面と対向させて配設された撮像装置を有する。また、特許文献１に記載の基板外観検査装置は、撮像装置によって撮像された電子部品のリードの先端部の画像に基づいて、先端部の状態を表す変量を算出する変量算出処理手段と、算出された変量と基準値とを比較し、比較結果に基づいて電子部品の取付状態の良否を判定する良否判定処理手段と、を有する。

特開２００３－０９２５００号公報

　しかしながら、特許文献１に記載の基板外観検査装置では、撮像装置のレンズへの異物の付着を防止するために、撮像装置は、基板に対して上方に、そして下方を撮像するように設置される。そのため、半田面を撮像する場合には、基板を反転させる機構が必要となり、既設の基板搬送ラインに特許文献１に記載の基板外観検査装置を導入することは困難であるという問題があった。このように検査対象の対象物を反転することなく、対象物を撮像した画像データから、対象物における部品の浮き、部品の傾き、傷または異物などの異常箇所の存在を簡易な構成で検査する技術が求められていた。

　本開示は、上記に鑑みてなされたものであって、検査対象の対象物の異常箇所を従来に比して簡易な構成で検査することができる外観検査装置を得ることを目的とする。

　上述した課題を解決し、目的を達成するために、本開示に係る外観検査装置は、撮像部と、再構築画像生成部と、画像比較部と、を備える。撮像部は、対象物を撮像する。再構築画像生成部は、撮像部で撮像された画像データを入力画像として、画像データの再現を試みるモデルを用いて、入力画像を再構築した画像である再構築画像を生成する。画像比較部は、入力画像と再構築画像との差分である差分画像を生成する。

　本開示に係る外観検査装置は、検査対象の対象物の異常箇所を従来に比して簡易な構成で検査することができるという効果を奏する。

実施の形態１による基板外観検査装置の構成の一例を模式的に示す図 実施の形態１による基板外観検査装置の基板が載置された基板搬送部の構成の一例を示す上面図 実施の形態１による基板外観検査装置の撮像時における基板搬送部上での基板の位置の一例を模式的に示す上面図 実施の形態１による基板外観検査装置の機能構成の一例を模式的に示すブロック図 実施の形態１による基板外観検査装置における初期画面の構成の一例を示す図 実施の形態１による基板外観検査装置における学習画面の構成の一例を示す図 実施の形態１による基板外観検査装置における学習画面の構成の一例を示す図 実施の形態１による基板外観検査装置における検査画面の構成の一例を示す図 実施の形態１による基板外観検査装置における検査画面の構成の一例を示す図 実施の形態１による基板外観検査装置における検査画面の構成の一例を示す図 実施の形態１による基板外観検査装置の演算処理部のハードウェア構成の一例を模式的に示すブロック図 実施の形態１による基板外観検査装置における撮像方法の処理手順の一例を示すフローチャート 実施の形態１による基板外観検査装置における学習方法の処理手順の一例を示すフローチャート 実施の形態１による基板外観検査装置における基板外観検査方法の処理手順の一例を示すフローチャート 実施の形態１による基板外観検査装置における基板外観検査方法の処理手順の一例を示すフローチャート

　以下に、本開示の実施の形態に係る外観検査装置および外観検査方法を図面に基づいて詳細に説明する。

実施の形態１．
　以下の実施形態では、外観検査装置として、基板の外観の異常を検査する基板外観検査装置を例に挙げて説明する。また、外観検査方法として、基板外観検査装置における基板外観検査方法を例に挙げて説明する。図１は、実施の形態１による基板外観検査装置の構成の一例を模式的に示す図である。基板外観検査装置１００は、撮像部１０１と、照明機器１０２と、照明用電源１０３と、遮光カバー１０４と、基板搬送部１０５と、第１センサ１０８Ａおよび第２センサ１０８Ｂと、表示部１０９と、演算処理部１１０と、を備える。

　撮像部１０１は、対象物である基板１５０を撮像する機材である。撮像部１０１の一例は、レンズおよび撮像素子を有するカメラである。撮像部１０１は、撮像部接続ケーブル１３１によって演算処理部１１０と接続される。撮像部１０１は、撮像した画像データを、撮像部接続ケーブル１３１を介して演算処理部１１０へ出力する。撮像部接続ケーブル１３１の一例は、ＵＳＢ（Universal　Serial　Bus）ケーブルまたはＬＡＮ（Local　Area　Network）ケーブルである。

　照明機器１０２は、基板１５０を撮像するときに、基板１５０の明るさを調整するための光を照射する光源である。照明機器１０２の一例は、ドーム型のＬＥＤ（Light　Emitting　Diode）照明である。

　照明用電源１０３は、照明機器１０２に電源を供給するための装置である。一例では、照明用電源１０３は、演算処理部１１０からの照明機器１０２の点灯を制御する信号である点灯制御信号によって、照明機器１０２の点灯を制御する制御機能を有する。点灯制御信号は、照明機器１０２の点灯または消灯と、点灯時の明るさを制御する信号である。照明用電源１０３は、照明用電源制御ケーブル１３２によって演算処理部１１０と接続される。照明用電源１０３は、照明用電源制御ケーブル１３２を介して伝達された点灯制御信号にしたがって、照明機器１０２の点灯を制御する。照明用電源制御ケーブル１３２の一例は、ＵＳＢケーブルまたはＲＳ（Recommended　Standard）２３２Ｃケーブルである。照明用電源１０３は、照明電源ケーブル１３３によって照明機器１０２と接続される。照明用電源１０３は、照明電源ケーブル１３３を介して、照明機器１０２に電源を供給するとともに、点灯制御信号を伝達する。照明電源ケーブル１３３には、一般に照明機器専用のケーブルが用いられる。

　遮光カバー１０４は、基板１５０を撮像するときに外乱光の侵入を防ぐためのカバーである。遮光カバー１０４は、基板１５０の撮像位置の上方に配置される。

　基板搬送部１０５は、基板１５０を搬送する装置である。基板搬送部１０５は、基板１５０を搬送する基板搬送機構１０６と、基板搬送機構１０６を支持する基板搬送機構架台１０７と、を有する。基板１５０は、基板搬送トレイ１６０に搭載され、基板搬送機構１０６の搬送経路上を搬送される。

　図２は、実施の形態１による基板外観検査装置の基板が載置された基板搬送部の構成の一例を示す上面図である。基板１５０は、ガラスエポキシ材などによって構成される回路基板１５１と、回路基板１５１上に実装される半導体素子および回路素子を含む電子部品１５２と、を含む。電子部品１５２は、回路基板１５１上に、半田によって接合される。なお、回路基板１５１の一方の面は、電子部品１５２が実装される面である部品面であり、部品面とは反対側の面は、実装された電子部品１５２を半田で基板１５０に接合する面である半田面である。図２に示されるように、基板１５０は、部品面を上側にして基板搬送トレイ１６０上に載置される。基板搬送トレイ１６０は、基板１５０を搭載して搬送するためのトレイである。基板１５０は、電子回路基板に対応する。電子部品１５２は、部品に対応する。

　基板搬送機構１０６の搬送経路を前後の工程の装置の搬送経路と接続することによって、前後の工程の装置との間で基板搬送トレイ１６０を受け渡すことが可能である。一例では、基板搬送機構１０６は、チェーン、ベルトコンベアなどの図示しない搬送経路構成部と、搬送経路構成部を駆動する電動機および減速機を含む図示しない駆動部と、を有する。搬送経路は、撮像部１０１の下部を基板１５０が通過するように設けられる。基板搬送機構架台１０７は、床面に設置される。

　図１に戻り、第１センサ１０８Ａおよび第２センサ１０８Ｂは、基板搬送機構１０６の搬送経路に設けられ、搬送経路上での基板１５０の位置を検知し、検知結果を演算処理部１１０に出力する。具体的には、第１センサ１０８Ａおよび第２センサ１０８Ｂは、搬送経路上の予め定められた異なる位置に基板１５０が位置したことを検知する。この例では、第１センサ１０８Ａおよび第２センサ１０８Ｂは、搬送経路上の基板１５０を撮像したい位置に設けられる。第１センサ１０８Ａは、搬送経路の位置Ａ上に基板１５０が到達したことを検知する。第２センサ１０８Ｂは、搬送経路の位置Ｂ上に基板１５０が到達したことを検知する。一例では、第１センサ１０８Ａおよび第２センサ１０８Ｂは、遮光センサである。それぞれの第１センサ１０８Ａおよび第２センサ１０８Ｂは、遮光されたことによって、基板搬送トレイ１６０の到達を検知し、基板１５０を検知したことを示す信号である１回分のセンサ信号を演算処理部１１０に出力するように設定されているものとする。なお、以下では、第１センサ１０８Ａが配置される搬送経路上の位置Ａは、基板位置Ａと称され、第２センサ１０８Ｂが配置される搬送経路上の位置Ｂは、基板位置Ｂと称される。

　図３は、実施の形態１による基板外観検査装置の撮像時における基板搬送部上での基板の位置の一例を模式的に示す上面図である。図２では、基板搬送トレイ１６０が基板位置Ａに差し掛かった状態が示されている。このとき、第１センサ１０８Ａは、基板搬送トレイ１６０によって覆われるので、センサ信号を演算処理部１１０に出力する。その結果、撮像部１０１によって基板１５０が撮像される。図３では、基板搬送トレイ１６０が基板位置Ｂに差しか掛かった状態が示されている。このとき、第２センサ１０８Ｂは、基板搬送トレイ１６０によって覆われるので、センサ信号を演算処理部１１０に出力する。その結果、撮像部１０１によって基板１５０が撮像される。

　図１に戻り、２つの第１センサ１０８Ａおよび第２センサ１０８Ｂは、センサ接続ケーブル１３４によって演算処理部１１０と接続される。センサ接続ケーブル１３４は、第１センサ１０８Ａおよび第２センサ１０８Ｂでの検知結果であるセンサ信号を伝達する。センサ接続ケーブル１３４の一例は、ＵＳＢケーブル、ＲＳ２３２Ｃケーブルまたはデジタル信号線である。

　表示部１０９は、情報を表示する。実施の形態１では、表示部１０９は、演算処理部１１０の操作画面等を表示する。表示部１０９の一例は、液晶表示装置である。表示部１０９は、ディスプレイ接続ケーブル１３５によって演算処理部１１０と接続される。ディスプレイ接続ケーブル１３５は、演算処理部１１０と表示部１０９とを接続するためのケーブルであり、画面表示のための信号を伝達する。ディスプレイ接続ケーブル１３５の一例は、ＶＧＡ（Video　Graphics　Array）ケーブルまたはＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ケーブルである。

　演算処理部１１０は、第１センサ１０８Ａおよび第２センサ１０８Ｂからのセンサ信号に基づいて撮像部１０１における撮像処理を制御する。演算処理部１１０は、撮像部１０１によって撮像された学習用の画像データを用いて、基板外観検査処理時に使用する入力画像を再構築するためのモデルを学習する。演算処理部１１０は、撮像部１０１によって撮像された検査対象の基板１５０の画像である入力画像を、学習したモデルにしたがって再構築して再構築画像を生成し、再構築画像と入力画像とを比較して、電子部品１５２の傾きまたは浮きを含む取付状態および傷または異物を含む表面状態の異常を判定する。

　図４は、実施の形態１による基板外観検査装置の機能構成の一例を模式的に示すブロック図である。図４では、演算処理部１１０の機能構成を詳細に示している。また、以下では、図１で説明したものと同一の構成要素には、同一の符号を付し、その説明を省略する。演算処理部１１０は、センサ入力部２００と、撮像制御部２０１と、照明制御部２０２と、学習用画像記憶部２０３と、モデル生成部２０４と、学習済みモデル記憶部２０５と、再構築画像生成部２０６と、画像比較部２０７と、設定データ記憶部２０８と、判定部２０９と、画面表示部２１０と、を有する。

　センサ入力部２００は、第１センサ１０８Ａおよび第２センサ１０８Ｂを監視して、予め定められた基板位置への到達を確認したときに、撮像部１０１での撮像のトリガとなる信号であるトリガ信号を撮像制御部２０１に対して出力する。具体的には、センサ入力部２００は、第１センサ１０８Ａまたは第２センサ１０８Ｂからセンサ信号を受けると、撮像制御部２０１に対してトリガ信号を出力する。

　撮像制御部２０１は、センサ入力部２００からのトリガ信号を受けて、照明制御部２０２に照明機器１０２の点灯の準備を指示する信号である照明制御信号を出力する。これによって、照明機器１０２の点灯状態が制御され、撮像部１０１での撮像時の照度が整えられる。また、撮像制御部２０１は、照明制御信号を発出力した後、撮像部１０１に基板１５０を撮像する指示を出力し、撮像部１０１で撮像された基板１５０の部品面の画像データである入力画像を、学習用画像記憶部２０３、再構築画像生成部２０６、画像比較部２０７および判定部２０９に出力する。ここで、撮像制御部２０１は、例えば、撮像された画像に対して、アフィン変換または射影変換などにより加工した結果を入力画像として出力してもよい。加工した入力画像を出力することで、撮像時の基板１５０の位置および傾きのばらつきの影響を低減することができる。

　照明制御部２０２は、撮像制御部２０１からの照明制御信号を受けて、照明用電源１０３に照明機器１０２の点灯状態を制御する信号である点灯制御信号を出力する。これによって、照明用電源１０３が制御され、照明機器１０２の点灯状態が制御される。

　学習用画像記憶部２０３は、撮像部１０１で撮像された基板１５０が学習用の基板である場合には、撮像部１０１からの入力画像を学習用画像として記憶する。学習用画像記憶部２０３は、複数の入力画像を記憶することができる。学習用画像記憶部２０３は、学習用画像を基板１５０の型名に対応付けて記憶する。一例では、学習用画像記憶部２０３には、型名ごとにフォルダが作成され、フォルダ内にフォルダ名に対応する型名の学習用画像が記憶される。学習用画像は、電子部品１５２が回路基板１５１に半田によって正常に取り付けられた正常な基板１５０の部品面の画像である。正常な基板１５０は、製品として正常と見なされる外観を有する、電子部品１５２の搭載状態を有する基板１５０であり、学習用対象物に対応する。製品として正常と見なされる外観を有する基板１５０は、一例では、基板１５０に対する部品傾きの角度、部品浮きの高さ、傷または異物の有無もしくは大きさなどで規定される。また、基板１５０が製品として正常と見なされる外観を有するか否かが目視で検査される場合には、基板１５０を外観上合格とするか、不合格とするかの限度を示す限度見本によって、製品として正常と見なされる外観を有する基板１５０が規定されてもよい。このため、部品故障または回路異常などで基板１５０が製品として使用可能でない場合でも、製品として正常と見なされる外観を有する場合には、学習用対象物とすることができる。学習用画像記憶部２０３の一例は、ＨＤＤ（Hard　Disk　Drive）またはＳＳＤ（Solid　State　Drive）である。

　モデル生成部２０４は、製品として正常と見なされる外観を有する対象物である学習用対象物の画像データを用いて、再構築画像を生成するための学習済みモデルを生成する。この例では、モデル生成部２０４は、部品面を有する基板１５０のうち、製品として正常と見なされる外観を有する電子部品１５２の搭載状態を有する正常な基板１５０である学習用対象物の部品面の画像データを用いて、画像データを再構築した再構築画像を生成するための学習済みモデルを生成する。つまり、モデル生成部２０４は、学習用画像記憶部２０３から学習用画像を取得して、再構築画像生成部２０６での再構築画像の生成に用いる機械学習モデルを学習する。一例では、モデル生成部２０４は、学習用対象物の画像データが再現されるように、学習用対象物の画像データを再構築して、再構築画像を生成する学習済みモデルを生成する。学習済みモデルを用いれば、通常は、入力データと同じ再構築画像が得られるが、学習済みモデルで入力データと同じように再構築できなかった再構築画像中の箇所は、異常箇所と推論されることになる。学習済みモデルは、正常な基板１５０の画像データを入力データとして用いて学習を行い、入力データを再構築した画像である再構築画像を生成するモデルである。ここでは、モデル生成部２０４は、設定データ記憶部２０８の学習条件設定についての設定データに設定された学習方式および試行回数にしたがって学習を行う。学習方式としては、例えば、ＧＡＮ（Generative　Adversarial　Network）、ＡＥ（Auto　Encoder）などの機械学習アルゴリズムが用いられる。

　参考文献１（G.　E.　Hinton　and　R.　R.　Salakhutdinov,　"Reducing　the　Dimensionality　of　Data　with　Neural　Networks",　Science,　Vol.313,　No.5786,　pp.504-507　(2006)）には、エンコーダ側のネットワークで入力データである学習用画像の次元削減を行い、デコーダ側のネットワークで次元削減されたデータから入力データに近づけるように出力データである再構築画像を生成する従来型のＡＥが開示されている。このような従来型のＡＥでは、入力データおよび出力データのデータドメインが同じ、すなわち出力データを入力データに近づけるように学習することで、入力データの特徴データを次元削減されたデータとして獲得することができる。これによって、学習した特徴を持つ入力データのみ高精度に復元可能な再構築画像生成モデルを得ることができる。

　一方、参考文献２（O.　Ronneberger,　P.　Fischer,　and　T.　Brox,　"U-Net:　Convolutional　Networks　for　Biomedical　Image　Segmentation",　Medical　Image　Computing　and　Computer-Assisted　Intervention　(MICCAI),　Springer,　LNCS,　Vol.9351,　pp.234-241　(2015)）に開示されているような高解像度な画像生成を可能とするためにエンコーダおよびデコーダの各層を直接繋ぐエッジを持つようなネットワークでは、出力データを入力データに近づけるように学習してしまうと、入力データの特徴データを次元削減されたデータとして獲得することなく、最も浅い層でエンコーダとデコーダとが繋がるエッジを重要視するようになる。そして、単純に入力データをそのまま出力データとして出力するように学習が進んでしまう。その結果、学習用画像と同じ特徴を持つか否かに関わらず、入力データに酷似した出力データが得られる再構築画像生成モデルとなってしまう。このような入力データおよび出力データのデータドメインが同じ場合に入力データの特徴を学習することが難しいネットワークでは、入力データおよび出力データのドメインを変えることで上記のような問題を解決することができる。例えば、入力がコンピュータグラフィックスドメインであり、出力が写真ドメインであるというように異なるドメインへの変換タスクとして学習することで、学習した特徴を持つ入力データのみ高精度に復元可能な再構築画像生成モデルを得ることができる。参考文献２では写真ドメインから画像セグメンテーションドメインへの変換が実施されている。

　この場合、出力データは再構築画像として使用するためのデータドメインである必要があり、実施の形態１では写真ドメインとなる。また、入力データも撮像画像、すなわち写真ドメインから容易に生成できるものである必要がある。例えば、予め用意した基準画像との差分画像データである差分信号ドメインを入力データとする方法がある。ここで、予め用意した基準画像としては、予め用意した電子部品１５２を実装していない基板１５０の画像、学習用画像とは別の基板画像等を用いることができる。そして、電子部品１５２を実装していない基板１５０の画像と対象物の画像との差分を入力データとする。この場合には、後述する再構築画像生成部２０６においても、同様に差分画像データを入力することになる。入力データの他の例としては、撮像画像に対してエッジ検出フィルタ等の何かしらのフィルタリングを行った画像データ等を用いることができる。これによって、入力画像の情報量が低減され、効率的に学習することができる。

　学習済みモデル記憶部２０５は、モデル生成部２０４によって生成された学習済みの機械学習モデルである学習済みモデルを記憶する機能を有する。学習済みモデル記憶部２０５の一例は、ＤＲＡＭ（Dynamic　Random　Access　Memory）またはフラッシュメモリである。学習済みモデルは、基板１５０の型名ごとに記憶される。

　再構築画像生成部２０６は、学習済みモデル記憶部２０５に記憶されている基板１５０の画像データから異常のある領域である異常箇所を推論するための学習済みモデルを用いて、撮像制御部２０１から取得した検査の対象物である基板１５０の入力画像に対する再構築画像を生成する。再構築画像は、学習済みモデルを介して入力画像の再現を試みたものであるが、入力画像のある領域において学習用画像群のばらつきの範囲から大きく外れている場合には、当該領域の再現に失敗して入力画像とは異なる画像が生成される。再構築画像の生成は、一例では、ＧＡＮまたはＡＥなどの機械学習モデルによって実現される。

　画像比較部２０７は、再構築画像生成部２０６によって生成された再構築画像を撮像制御部２０１から取得した入力画像と比較して差分画像を生成する。一例では、再構築画像および入力画像がビットマップ形式の画像データである場合には、画像比較部２０７は、再構築画像および入力画像をグレースケールに変換した上で、各画素のグレースケールの値の差の絶対値を求めることで、差分画像が得られる。

　設定データ記憶部２０８は、型名別の学習条件設定および検査条件設定を含む設定データを記憶する。学習条件設定は、学習方式、試行回数を含む。学習方式は、モデル生成部２０４で使用される機械学習モデルを示す学習方式である。試行回数は、学習済みモデルを生成するために必要な学習用データを用いた学習の回数である。検査条件設定は、グリッド間隔および異常検出閾値を含む。グリッド間隔は、判定を行う領域を差分画像に規定する矩形状のグリッドの平行な一対の辺の間の距離を示す。異常検出閾値は、基板１５０における部品の傾きまたは浮きを含む取付状態および傷または異物を含む表面状態が異常であるかを判断する基準値である。一例では、異常検出閾値は、差分画像に設定されたグリッドにおける各画素の画素値の統計量の値を用いることができる。統計量の一例は、グリッドにおける各画素の画素値の標準偏差または分散である。なお、異常検出閾値の設定では、ビットマップファイルを指定することによって、グリッドごとに個別に閾値を設定できるようにしてもよい。

　判定部２０９は、画像比較部２０７によって生成された差分画像に対して、設定データ記憶部２０８から取得した検査条件設定の設定データを用いて、グリッド間隔に従い差分画像をグリッドを用いて複数の領域に分割して、各グリッドにおける異常の有無を判定し、判定結果を出力する。また、判定部２０９は、異常と判定されたグリッドの箇所を入力画像に対して図示した結果画像を生成する。すなわち、結果画像は、差分画像中で異常箇所を抽出した画像である。一例では、結果画像は、入力画像において異常箇所が図示された部分以外は透明とした画像である。ここで、判定部２０９は、各グリッドにおける各画素の標準偏差または分散が検査条件設定における異常検出閾値未満である場合には正常であり、異常検出閾値以上である場合には異常であると判定する。

　画面表示部２１０は、操作画面を表示部１０９に表示する。一例では、画面表示部２１０は、結果画像から得られる異常箇所を含む画像を表示部１０９に表示する。実施の形態１では、操作画面は、初期画面、学習画面および検査画面を含む。

　図５は、実施の形態１による基板外観検査装置における初期画面の構成の一例を示す図である。初期画面３００は、演算処理部１１０において、基板外観検査装置１００用のアプリケーションが起動された後、最初に表示される画面である。画面表示部２１０は、初期画面３００が表示された状態において、使用者による操作を受け付けて、表示する画面を初期画面３００から学習画面４００または検査画面５００に切り替える。

　初期画面３００は、学習画面を開くボタン３０１と、検査画面を開くボタン３０２と、閉じるボタン３０３と、を有する。学習画面を開くボタン３０１は、使用者によって入力部を介してクリックされたときに、表示部１０９に表示する画面を後述する学習画面に切り替えるボタンである。検査画面を開くボタン３０２は、使用者によって入力部を介してクリックされたときに、表示部１０９に表示する画面を後述する検査画面に切り替えるボタンである。閉じるボタン３０３は、使用者によって入力部を介してクリックされたときに、初期画面３００を閉じて、基板外観検査装置１００用のアプリケーションを終了させるボタンである。

　図６および図７は、実施の形態１による基板外観検査装置における学習画面の構成の一例を示す図である。図６は、基板位置Ａで撮像された学習用画像を表示した学習画面４００の例であり、図７は、基板位置Ｂで撮像された学習用画像を表示した学習画面４００の例である。

　学習画面４００は、学習に関する操作を受け付けて、学習用画像および設定データを編集したり、機械学習モデルの学習の実行を指示したりする画面である。学習画面４００は、画像表示欄４０１と、型名選択欄４０２と、学習用画像選択欄４０３と、学習用画像撮像ボタン４０４と、学習用画像読込ボタン４０５と、学習用画像削除ボタン４０６と、学習条件設定欄４１０と、設定保存ボタン４１１と、戻るボタン４１２と、学習実行ボタン４１３と、学習履歴表示欄４２１と、学習ログ表示欄４２２と、を有する。

　画像表示欄４０１は、学習用画像を表示する表示領域である。学習用画像は、学習用画像選択欄４０３において選択される。

　型名選択欄４０２は、検査対象である基板１５０の型名を選択したり、新規に基板１５０の型名を入力したりする領域である。型名選択欄４０２は、一例ではコンボボックスで構成される。選択項目には、これまでに学習画面４００で入力していた型名のみがリストアップされる。

　学習用画像選択欄４０３は、学習用画像のファイル名の一覧を表示して、使用者の選択を受け付ける領域である。学習用画像選択欄４０３は、一例ではリストボックスで構成される。

　使用者によって型名選択欄４０２で型名が選択された場合、画面表示部２１０は、学習用画像記憶部２０３の当該型名のフォルダから学習用画像をリストアップして、学習用画像選択欄４０３にリストアップした学習用画像のファイル名を一覧で表示する。

　学習用画像撮像ボタン４０４は、使用者によるクリックによって、撮像部１０１による撮像処理を実行するボタンである。

　学習用画像読込ボタン４０５は、学習用画像選択欄４０３に表示させる学習用画像のファイル名を追加する処理を実行するボタンである。一例では、学習用画像読込ボタン４０５が使用者によってクリックされると、画面表示部２１０は、学習用画像記憶部２０３が記憶している既存の学習用画像のファイルを選択するダイアログを開き、ダイアログから使用者によって選択されたファイルについて、基板位置を学習済みモデル記憶部２０５に保管するとともに、学習用画像選択欄４０３に選択したファイル名を項目として追加する。

　学習用画像削除ボタン４０６は、学習用画像選択欄４０３で選択されたファイル名に対応する学習用画像を削除する処理を実行するボタンである。一例では、学習用画像削除ボタン４０６が使用者によってクリックされると、画面表示部２１０は、学習用画像選択欄４０３において選択中の学習用画像のファイル名を学習用画像選択欄４０３から削除するとともに、学習用画像選択欄４０３で選択中のファイル名に対応する学習用画像のファイルを学習用画像記憶部２０３から削除する。

　学習条件設定欄４１０は、学習条件設定の設定項目に対して設定値を編集できるテーブルである。学習条件設定欄４１０は、「設定項目」と「設定値」と、を有する。学習条件設定は、上記したように、学習方式と試行回数とを含むので、「設定項目」には「学習方式」と「試行回数」とが入力される。「設定値」には、それぞれの「設定項目」に対応する内容が入力される。画面表示部２１０は、設定データ記憶部２０８の当該型名の学習条件設定の設定データを読み込み、学習条件設定欄４１０に表示する。なお、型名選択欄４０２で型名が新規に入力された場合には、画面表示部２１０は、学習用画像記憶部２０３に当該型名のフォルダを作成して、学習用画像選択欄４０３をクリアし、学習条件設定欄４１０にはデフォルトの設定値を表示する。

　設定保存ボタン４１１は、使用者によるクリックによって、学習条件設定欄４１０の設定内容を設定データ記憶部２０８に記憶するボタンである。

　戻るボタン４１２は、使用者によるクリックによって、表示する画面を初期画面３００に切り替えるボタンである。

　学習実行ボタン４１３は、使用者によるクリックによって、学習条件設定欄４１０に設定された内容にしたがって学習処理の実行を指示するボタンである。

　学習履歴表示欄４２１は、学習処理を実行した履歴を表示する欄である。学習履歴表示欄４２１は、一例ではリストボックスで構成される。学習履歴表示欄４２１には、複数の学習処理の実行の履歴が表示可能である。学習履歴表示欄４２１から１つの履歴の項目が選択されると、画面表示部２１０は、画像表示欄４０１、型名選択欄４０２、学習条件設定欄４１０および学習ログ表示欄４２２に選択された履歴の内容を表示する。

　学習ログ表示欄４２２は、学習処理を実行したときの、任意のログデータを出力する欄である。学習ログ表示欄４２２は、一例では、テキストボックスで構成される。

　図８、図９および図１０は、実施の形態１による基板外観検査装置における検査画面の構成の一例を示す図である。図８は、基板位置Ａで撮像された入力画像に結果画像を重ねたものを表示した検査画面５００の例であり、図９は、基板位置Ｂで撮像された入力画像に結果画像を重ねたものを表示した検査画面５００の例である。図１０は、図８の入力画像および結果画像と図９の結果画像とを重ねたものを表示した検査画面５００の例である。

　検査画面５００は、検査に関する操作を受け付けて、検査に関する設定データを編集したり、検査の実行を指示したり、判定部２０９からの判定結果および入力画像、結果画像を表示したりする画面である。検査画面５００は、画像表示欄５０１と、型名選択欄５０２と、マーク表示切替欄５０３と、総合判定欄５０４と、検査条件設定欄５１０と、設定保存ボタン５１１と、戻るボタン５１２と、検査実行ボタン５１３と、検査履歴選択欄５２１と、検査ログ表示欄５２２と、を有する。

　画像表示欄５０１は、マーク表示切替欄５０３の選択状況に応じて、判定部２０９からの入力画像、入力画像に結果画像を重ねた画像、または基板位置Ａでの入力画像および結果画像と基板位置Ｂでの結果画像とを重ねた画像である合成結果画像を表示する表示領域である。

　型名選択欄５０２は、検査対象である基板１５０の型名を選択する欄である。型名選択欄５０２は、一例ではコンボボックスで構成される。選択項目には、予め学習画面４００で学習を完了している型名のみがリストアップされる。

　マーク表示切替欄５０３は、画像表示欄５０１に表示される入力画像に異常箇所のマークを表示させるか否かの切り替えを設定する欄である。マーク表示切替欄５０３は、一例ではチェックボックスによって構成される。異常箇所のマークの表示を有効にしている場合には、画面表示部２１０は、画像表示欄５０１に入力画像に結果画像を重ねて表示する。このとき、画面表示部２１０は、検査履歴選択欄５２１で選択されている項目の「位置」にしたがって、表示を行う。「位置」が基板位置Ａを示す場合には、基板位置Ａで撮像された入力画像と結果画像とを重ねて表示し、「位置」が基板位置Ｂを示す場合には、基板位置Ｂで撮像された入力画像と結果画像とを重ねて表示する。「位置」が合成である場合には、基板位置Ａで撮像された入力画像および結果画像と基板位置Ｂでの結果画像とを重ねて表示する。このとき、基板位置Ａでの入力画像ではなく、基板位置Ｂでの入力画像が用いられてもよい。また、異常箇所のマークの表示を無効にしている場合には、画面表示部２１０は、画像表示欄５０１に入力画像のみを表示する。

　総合判定欄５０４は、判定部２０９からの判定結果を表示する表示領域である。電子部品１５２の基板１５０への実装に問題がない場合には、一例では総合判定欄５０４には「ＯＫ」と表示され、電子部品１５２の基板１５０への実装に問題がある場合には、一例では総合判定欄５０４には「ＮＧ」と表示される。一例では、差分画像に１つでも異常が存在する場合には、判定結果は「ＮＧ」とすることができる。

　検査条件設定欄５１０は、検査条件の設定項目に対して設定値を編集できるテーブルである。型名選択欄５０２で型名が選択された場合に、画面表示部２１０は、設定データ記憶部２０８の当該型名の検査条件設定の設定データを読み込み、検査条件設定欄５１０に表示する。

　設定保存ボタン５１１は、使用者によるクリックによって、検査条件設定欄５１０の設定内容を設定データ記憶部２０８に記憶するボタンである。

　戻るボタン５１２は、使用者によるクリックによって、表示する画面を初期画面３００に切り替えるボタンである。

　検査実行ボタン５１３は、使用者によるクリックによって、検査条件設定欄５１０に設定された内容にしたがって検査処理の実行を指示するボタンである。

　検査履歴選択欄５２１は、検査処理を実行した履歴を表示する表示領域である。検査履歴選択欄５２１は、一例ではリストボックスで構成される。検査履歴選択欄５２１中の履歴項目が選択されたときに、画面表示部２１０は、画像表示欄５０１、型名選択欄５０２、検査条件設定欄５１０および検査ログ表示欄５２２に選択された履歴の内容を表示する。

　検査ログ表示欄５２２は、検査処理を実行したときの、任意のログデータを出力する表示領域である。検査ログ表示欄５２２は、一例ではテキストボックスによって構成される。

　図８および図９では、入力画像に結果画像を重ねた画像が画像表示欄５０１に表示されている。図８では、異常箇所５３１を有する結果画像が入力画像と重ね合わされて、画像表示欄５０１に示されている。図９では、異常箇所５３１，５３２を有する結果画像が入力画像と重ね合わされて、画像表示欄５０１に示されている。異常箇所５３２は、基板位置Ａで撮像された入力画像では検出されず、基板位置Ｂで撮像された入力画像のみで検出された異常の例である。この他に、結果画像から得られる異常箇所５３１，５３２を入力画像に書き加えた画像が画像表示欄５０１に表示されてもよい。つまり、結果画像から得られる異常のある領域を含む画像が画像表示欄５０１に表示されていればよい。また、図８の結果と図９の結果とを合わせたものが図１０に示されている。図１０では、図８に示される異常箇所５３１と、図９に示される異常箇所５３１，５３２と、を含む合成結果画像が画像表示欄５０１に示されている。合成結果画像は、一例では、基板位置Ａでの入力画像および結果画像と、基板位置Ｂでの結果画像と、を重ね合せたものである。この場合にも、複数の基板位置Ａ，Ｂのすべての位置における複数の結果画像から得られる異常箇所５３１，５３２を入力画像に書き加えた画像が画像表示欄５０１に表示されてもよい。つまり、複数の基板位置Ａ，Ｂでの結果画像から得られる異常のある領域を含む合成結果画像が画像表示欄５０１に表示されていればよい。

　ここで、上記した演算処理部１１０のハードウェア構成について説明する。図１１は、実施の形態１による基板外観検査装置の演算処理部のハードウェア構成の一例を模式的に示すブロック図である。演算処理部１１０は、各種処理を実行するプロセッサ２５１と、情報を記憶するメモリ２５２と、使用者による操作に従って情報を入力する入力部２５３と、を備えるコンピュータによって構成される。プロセッサ２５１と、メモリ２５２と、入力部２５３と、は、バスライン２５４によって接続されている。

　プロセッサ２５１の例は、ＣＰＵ（Central　Processing　Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital　Signal　Processor）ともいう）またはシステムＬＳＩ（Large　Scale　Integration）である。メモリ２５２は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）または外部記憶装置を含む。ＲＡＭには、プロセッサ２５１によって実行される学習用画像の撮像手順を記載した学習用画像撮像プログラム、モデルの生成手順を記載したモデル生成プログラムおよび基板１５０の外観を用いて検査する基板外観検査プログラムがロードされ、またプロセッサ２５１によって使用されるデータが一時的に保持される。ＲＯＭには、演算処理部１１０であるコンピュータの基本となる制御のためのプログラムであるＢＩＯＳ（Basic　Input/Output　System）あるいはＵＥＦＩ（Unified　Extensible　Firmware　Interface）が記憶されている。外部記憶装置は、ＨＤＤまたはＳＳＤである。外部記憶装置には、学習用画像撮像プログラム、モデル生成プログラムおよび基板外観検査プログラムと、学習用画像、学習済みモデルおよび設定データを含む各種データと、が記憶される。なお、学習用画像撮像プログラム、モデル生成プログラムおよび基板外観検査プログラムは、ＲＯＭに記憶されてもよい。なお、基板外観検査プログラムは、外観検査プログラムの一例である。

　ＲＯＭおよび外部記憶装置に記憶されているプログラムは、ＲＡＭにロードされる。プロセッサ２５１は、ＲＡＭに学習用画像撮像プログラム、モデル生成プログラムおよび基板外観検査プログラムをロードして各種処理を実行する。実施の形態１では、プロセッサ２５１は、学習用画像撮像プログラム、モデル生成プログラムおよび基板外観検査プログラムを実行することによって、上記したセンサ入力部２００、撮像制御部２０１、照明制御部２０２、モデル生成部２０４、再構築画像生成部２０６、画像比較部２０７、判定部２０９および画面表示部２１０の各処理部の機能を実現する。

　学習用画像撮像プログラム、モデル生成プログラムおよび基板外観検査プログラムは、コンピュータによる読み取りが可能とされた記憶媒体に記憶されたものであってもよい。演算処理部１１０は、記憶媒体に記憶された学習用画像撮像プログラム、モデル生成プログラムおよび基板外観検査プログラムを外部記憶装置へ格納してもよい。記憶媒体は、フレキシブルディスクである可搬型記憶媒体、あるいは半導体メモリであるフラッシュメモリであってもよい。学習用画像撮像プログラム、モデル生成プログラムおよび基板外観検査プログラムは、他のコンピュータあるいはサーバ装置からネットワークを介して、演算処理部１１０となるコンピュータへインストールされてもよい。

　入力部２５３の一例は、キーボードまたはマウスである。また、表示部１０９と入力部２５３とを一体化させたタッチパネルによって、入力部２５３および表示部１０９が構成されてもよい。

　なお、演算処理部１１０は、コンピュータの他に、マイコンボード、ＦＰＧＡ（Field-Programmable　Gate　Array）ボードなどによって構成されてもよい。

　つぎに、実施の形態１による基板外観検査装置１００における基板外観検査の方法について説明する。以下では、学習用画像の撮像方法、学習方法および基板外観検査方法について順に説明する。

　図１２は、実施の形態１による基板外観検査装置における撮像方法の処理手順の一例を示すフローチャートである。この撮像方法は、図６または図７の学習画面４００において、使用者によって学習用画像撮像ボタン４０４がクリックされたときに実行される。以降の説明において、学習画面４００の型名選択欄４０２で選択中の型名は、対象型名と称される。

　基板搬送トレイ１６０に搭載された学習用の基板１５０が搬送経路上を基板搬送機構１０６によって搬送される。学習用の基板１５０は、実装された電子部品１５２の傾きまたは浮きを含む取付状態および傷または異物を含む表面状態が製品として正常と見なされる外観を有する基板１５０である。取付状態および表面状態の正常または異常は、使用される基板１５０の用途に応じて予め定められる。このとき、搬送経路上に設置された第１センサ１０８Ａの配置位置から第２センサ１０８Ｂの配置位置に向かって基板搬送トレイ１６０は搬送されるものとする。

　まず、センサ入力部２００は、第１センサ１０８Ａからセンサ信号を取得したかを判定する（ステップＳ１１）。第１センサ１０８Ａからセンサ信号を取得していない場合（ステップＳ１１でＮｏの場合）には、センサ入力部２００は、第１センサ１０８Ａからセンサ信号を取得するまで待ち状態となる。また、第１センサ１０８Ａからセンサ信号を取得した場合（ステップＳ１１でＹｅｓの場合）には、センサ入力部２００は、撮像制御部２０１にトリガ信号を出力し、撮像制御部２０１は、撮像部１０１に対して対象物である基板１５０の撮像を指示する（ステップＳ１２）。

　具体的には、撮像制御部２０１は、センサ入力部２００からトリガ信号が入力されると、照明機器１０２の点灯の準備を指示する照明制御信号を照明制御部２０２に出力する。照明制御部２０２は、照明制御信号が入力されると、照明機器１０２の点灯状態を制御する点灯制御信号を照明用電源１０３に出力する。照明用電源１０３は、点灯制御信号を受けて、照明機器１０２を点灯し、点灯制御信号で指示される明るさとなるように照明機器１０２を制御する。また、撮像制御部２０１は、撮像部１０１に対して撮像を指示する。これによって、撮像部１０１で、基板位置Ａにおける基板１５０が撮像される。

　その後、撮像制御部２０１は、撮像部１０１から撮像したデータである入力画像を取得し（ステップＳ１３）、学習用画像記憶部２０３に、入力画像を基板位置Ａでの学習用画像として記憶する（ステップＳ１４）。なお、撮像制御部２０１は、学習用画像を記憶する際に、学習画面４００で選択された対象型名に応じたフォルダに、入力画像を学習用画像として記憶する。このとき、学習用画像は、基板位置に対応付けられる。すなわち、学習用画像は、対象型名と、基板位置と、に対応付けられて学習用画像記憶部２０３に記憶される。また、画面表示部２１０は、記憶された学習用画像のファイル名を、学習画面４００の学習用画像選択欄４０３に追加する。学習用画像記憶部２０３に記憶されるファイル名は、一例では、「０００００１」から始まる連番と、基板位置を示す記号と、を組み合わせたものとすることができる。基板位置を示す記号は、実施の形態１の例では、基板位置Ａの場合には「Ａ」とし、基板位置Ｂの場合には「Ｂ」とする。このように、フォルダとファイル名とによって、学習用画像が、一意に識別されるとともに、対象型名と基板位置とに対応付けられる。以降の学習用画像の保管についても、ファイル名の割り当て方法は同様である。ただし、これは例示であって、他の規則でファイル名が作成されてもよいし、学習用画像を対象型名と基板位置とに対応付けられてもよい。

　ついで、センサ入力部２００は、第２センサ１０８Ｂからセンサ信号を取得したかを判定する（ステップＳ１５）。第２センサ１０８Ｂからセンサ信号を取得していない場合（ステップＳ１５でＮｏの場合）には、センサ入力部２００は、第２センサ１０８Ｂからセンサ信号を取得するまで待ち状態となる。また、第２センサ１０８Ｂからセンサ信号を取得した場合（ステップＳ１５でＹｅｓの場合）には、センサ入力部２００は、撮像制御部２０１にトリガ信号を出力し、撮像制御部２０１は、撮像部１０１に対して基板１５０の撮像を指示する（ステップＳ１６）。トリガ信号を受けてから基板１５０の画像を撮像するまでの処理は、基板位置Ａでの撮像の場合と同様である。

　その後、撮像制御部２０１は、撮像部１０１から撮像したデータである入力画像を取得し（ステップＳ１７）、学習用画像記憶部２０３に、入力画像を基板位置Ｂでの学習用画像として記憶する（ステップＳ１８）。なお、学習用画像は、学習画面４００で選択された対象型名と、基板位置と、に対応付けられて学習用画像記憶部２０３に記憶される。以上で、学習用画像の撮像処理が終了する。

　図１３は、実施の形態１による基板外観検査装置における学習方法の処理手順の一例を示すフローチャートである。学習方法は、図６または図７の学習画面４００において、使用者によって学習実行ボタン４１３がクリックされたときに実行される。

　まず、モデル生成部２０４は、学習用画像記憶部２０３から、基板位置Ａの学習用画像を取得する（ステップＳ３１）。このとき、モデル生成部２０４は、学習画面４００の型名選択欄４０２の対象型名に応じた学習用画像記憶部２０３のフォルダを参照して、学習用画像選択欄４０３で選択された基板位置Ａの学習用画像を取得する。

　次いで、モデル生成部２０４は、取得した基板位置Ａの学習用画像を学習して、再構築画像の生成に用いる機械学習モデルを生成する（ステップＳ３２）。モデル生成部２０４は、基板位置Ａの学習用画像の学習が完了したときに、生成された機械学習モデルを、基板位置Ａの学習済みモデルとして、学習済みモデル記憶部２０５の対象型名に応じたフォルダに記憶する（ステップＳ３３）。また、画面表示部２１０は、学習画面４００の学習履歴表示欄４２１に、実行した学習に関する履歴データを追加する。図６および図７に示されるように、学習履歴表示欄４２１の項目名には、学習が完了した日時、型名選択欄４０２で選択された対象型名である型名、学習に用いた学習用画像の基板位置を示す位置、および学習の結果を示す評価値が含まれるので、画面表示部２１０は、これらの内容を含む履歴データを表示する。ここで、位置は、基板位置Ａを示す「Ａ」とされる。また、評価値には、学習結果のスコアを示すことが想定されるが、その他の評価値の例として、予め検証用の画像ファイルと異常箇所のデータとを複数用意しておき、それらに対して、後述する検査方法のうち、再構築画像の生成、画像の比較および判定を実施したときの異常箇所の一致割合を評価値として示すこともできる。以降の評価値についても同様である。

　その後、モデル生成部２０４は、学習用画像記憶部２０３から、基板位置Ｂの学習用画像を取得する（ステップＳ３４）。ここで、使用者によって、学習画面４００の学習用画像選択欄４０３で基板位置Ｂの学習用画像が選択されたものとする。モデル生成部２０４は、学習画面４００の型名選択欄４０２の対象型名に応じた学習用画像記憶部２０３のフォルダを参照して、学習用画像選択欄４０３で選択された基板位置Ｂの学習用画像を取得する。

　次いで、モデル生成部２０４は、取得した基板位置Ｂの学習用画像を学習して、再構築画像の生成に用いる機械学習モデルを生成する（ステップＳ３５）。モデル生成部２０４は、基板位置Ｂの学習用画像の学習が完了したときに、生成された機械学習モデルを、基板位置Ｂの学習済みモデルとして、学習済みモデル記憶部２０５の対象型名に応じたフォルダに記憶する（ステップＳ３６）。また、画面表示部２１０は、学習画面４００の学習履歴表示欄４２１に、実行した学習に関する履歴データを追加する。ここで、位置は、基板位置Ｂを示す「Ｂ」とされる。以上によって、学習処理が終了する。

　図１４および図１５は、実施の形態１による基板外観検査装置における基板外観検査方法の処理手順の一例を示すフローチャートである。この検査方法は、図８、図９または図１０の検査画面５００において、使用者によって検査実行ボタン５１３がクリックされたときに実行される。また、基板搬送トレイ１６０に搭載された検査対象の基板１５０が搬送経路上を基板搬送機構１０６によって搬送される。ここでも、搬送経路上に設置された第１センサ１０８Ａの配置位置から第２センサ１０８Ｂの配置位置に向かって基板搬送トレイ１６０は搬送されるものとする。以降の説明において、検査画面５００の型名選択欄５０２で選択中の型名は、対象型名と称される。

　まず、センサ入力部２００は、第１センサ１０８Ａからセンサ信号を取得したかを判定する（ステップＳ５１）。第１センサ１０８Ａからセンサ信号を取得していない場合（ステップＳ５１でＮｏの場合）には、センサ入力部２００は、第１センサ１０８Ａからセンサ信号を取得するまで待ち状態となる。また、第１センサ１０８Ａからセンサ信号を取得した場合（ステップＳ５１でＹｅｓの場合）には、センサ入力部２００は、撮像制御部２０１にトリガ信号を出力し、撮像制御部２０１は、撮像部１０１に対して基板位置Ａで基板１５０の撮像を指示する（ステップＳ５２）。基板１５０の撮像は、図１２のステップＳ１２で説明した手順と同様である。

　その後、撮像制御部２０１は、撮像部１０１から撮像したデータである入力画像を取得し（ステップＳ５３）、再構築画像生成部２０６、画像比較部２０７および判定部２０９に基板位置Ａでの入力画像を出力する。

　次いで、再構築画像生成部２０６は、検査画面５００の型名選択欄５０２で選択された対象型名に対応する学習済みモデル記憶部２０５内のフォルダを参照して、基板位置Ａの学習済みモデルを取得する（ステップＳ５４）。その後、再構築画像生成部２０６は、取得した基板位置Ａの学習済みモデルを使用して、入力画像に対する再構築画像を生成する（ステップＳ５５）。学習済みモデルは、学習用対象物の画像データの再現を試みるモデルであり、異常箇所５３１，５３２を推論する際に使用される画像を画像データから再構築するモデルである。再構築画像生成部２０６は、生成した再構築画像を画像比較部２０７に出力する。

　次いで、画像比較部２０７は、入力画像と再構築画像とが入力されると、入力画像と再構築画像とを比較し、差分画像を生成する（ステップＳ５６）。画像比較部２０７は、生成した差分画像を判定部２０９に出力する。

　判定部２０９は、差分画像が入力されると、検査画面５００の型名選択欄５０２で選択された対象型名に対応する設定データ記憶部２０８内の検査条件設定を取得する（ステップＳ５７）。検査条件設定は、グリッド間隔および異常検出閾値を含む。そして、判定部２０９は、検査条件設定にしたがって差分画像を分割した各グリッドについて異常であるか否かについて判定する（ステップＳ５８）。一例では、判定部２０９は、各グリッドについて、そのグリッドに含まれる各画素の画素値の標準偏差または分散を求め、グリッドの標準偏差または分散を異常検出閾値と比較して、各グリッドにおける異常の有無を判定する。

　判定部２０９は、検査画面５００のマーク表示切替欄５０３の設定内容にしたがって、検査画面５００に表示させるデータを画面表示部２１０に出力する（ステップＳ５９）。具体的には、検査画面５００において、マーク表示切替欄５０３の異常箇所のマーク表示が無効になっている場合には、判定部２０９は、入力画像と判定結果とを画面表示部２１０に渡す。また、検査画面５００において、マーク表示切替欄５０３の異常箇所のマーク表示が有効になっている場合には、判定部２０９は、差分画像のうち異常箇所５３１，５３２以外を透明とした結果画像を生成し、入力画像と結果画像と判定結果とを画面表示部２１０に渡す。

　画面表示部２１０は、検査画面５００のマーク表示切替欄５０３の設定内容にしたがって、表示部１０９に判定結果を表示する（ステップＳ６０）。具体的には、検査画面５００において、マーク表示切替欄５０３の異常箇所のマーク表示が無効になっている場合には、画面表示部２１０は、画像表示欄５０１に入力画像を表示し、総合判定欄５０４に判定結果を表示する。また、検査画面５００において、マーク表示切替欄５０３の異常箇所のマーク表示が有効になっている場合には、画面表示部２１０は、画像表示欄５０１に結果画像を入力画像に重ね合せて表示し、総合判定欄５０４に判定結果を表示する。さらに、画面表示部２１０は、検査履歴選択欄５２１に履歴データを追加する。一例では、画面表示部２１０は、検査完了時の日時、型名、位置および判定結果の各項目の内容を含む履歴データを検査履歴選択欄５２１に表示する。ここでの位置は、基板位置Ａを示す「Ａ」である。

　その後、センサ入力部２００は、第２センサ１０８Ｂからセンサ信号を取得したかを判定する（ステップＳ６１）。第２センサ１０８Ｂからセンサ信号を取得していない場合（ステップＳ６１でＮｏの場合）には、センサ入力部２００は、第２センサ１０８Ｂからセンサ信号を取得するまで待ち状態となる。また、第２センサ１０８Ｂからセンサ信号を取得した場合（ステップＳ６１でＹｅｓの場合）には、センサ入力部２００は、撮像制御部２０１にトリガ信号を出力し、撮像制御部２０１は、撮像部１０１に対して基板位置Ｂで基板１５０の撮像を指示する（ステップＳ６２）。基板１５０の撮像は、図１２のステップＳ１２で説明した手順と同様である。

　その後、撮像制御部２０１は、撮像部１０１から撮像したデータである入力画像を取得し（ステップＳ６３）、再構築画像生成部２０６、画像比較部２０７および判定部２０９に基板位置Ｂでの入力画像を出力する。

　次いで、再構築画像生成部２０６は、検査画面５００の型名選択欄５０２で選択された対象型名に対応する学習済みモデル記憶部２０５内のフォルダを参照して、基板位置Ｂの学習済みモデルを取得する（ステップＳ６４）。その後、再構築画像生成部２０６は、取得した基板位置Ｂの学習済みモデルを使用して、入力画像に対する再構築画像を生成する（ステップＳ６５）。再構築画像生成部２０６は、生成した再構築画像を画像比較部２０７に出力する。

　次いで、画像比較部２０７は、入力画像と再構築画像とが入力されると、入力画像と再構築画像とを比較し、差分画像を生成する（ステップＳ６６）。画像比較部２０７は、生成した差分画像を判定部２０９に出力する。

　判定部２０９は、差分画像が入力されると、検査画面５００の型名選択欄５０２で選択された対象型名に対応する設定データ記憶部２０８内の検査条件設定を取得する（ステップＳ６７）。検査条件設定は、グリッド間隔および異常検出閾値を含む。そして、判定部２０９は、検査条件設定にしたがって差分画像を分割した各グリッドについて異常であるか否かについて判定する（ステップＳ６８）。判定方法は、ステップＳ５８で説明したものと同様である。

　判定部２０９は、検査画面５００のマーク表示切替欄５０３の設定内容にしたがって、検査画面５００に表示させるデータを画面表示部２１０に出力する（ステップＳ６９）。ここでの処理は、ステップＳ５９で説明したものと同様である。

　画面表示部２１０は、検査画面５００のマーク表示切替欄５０３の設定内容にしたがって、表示部１０９に判定結果を表示する（ステップＳ７０）。判定結果の表示方法は、ステップＳ６０で説明したものと同様である。さらに、画面表示部２１０は、検査履歴選択欄５２１に履歴項目データを追加する。一例では、画面表示部２１０は、検査完了時の日時、型名、位置および判定結果を含む履歴データを検査履歴選択欄５２１に表示する。ここでの位置は、基板位置Ｂを示す「Ｂ」である。

　その後、画面表示部２１０は、検査画面５００のマーク表示切替欄５０３の異常箇所が有効になっている場合には、基板位置Ａおよび基板位置Ｂにおける結果画像を合成した合成結果画像を生成する（ステップＳ７１）。画面表示部２１０は、一例では、基板位置Ａにおける入力画像に対して、基板位置Ａおよび基板位置Ｂにおける結果画像を重ねて表示する。画面表示部２１０は、検査履歴選択欄５２１に合成結果画像に関する履歴データを追加する。一例では、画面表示部２１０は、検査完了時の日時、型名、位置および判定結果を含む履歴データを検査履歴選択欄５２１に表示する。ここでの位置は、基板位置Ａと基板位置Ｂとの結果を合成した「合成」となる。

　図１０は、入力画像に基板位置Ａでの結果画像および基板位置Ｂでの結果画像を重ね合せたものである。基板位置Ａにおいては、図８に示されるように１か所の異常箇所５３１が検出されている。一方、基板位置Ｂにおいては、図９に示されるように２か所の異常箇所５３１，５３２が検出されている。その結果、これらを合成した合成結果画像では、図１０に示されるように、２か所の異常箇所５３１，５３２が示されている。このように、同じ基板１５０を１か所で撮像しただけでは傾きまたは浮きを含む取付状態および傷または異物を含む表面状態の異常による差異が画像に表れにくいことがある。特に、撮像部１０１の撮像方向の軸上に浮きが生じている部品などは検出が困難である。従って、基板１５０を複数の箇所から撮像して、その結果を合成して判定できるようにすることで、取付状態および表面状態の異常に対する検出範囲を広げることができる効果がある。なお、複数箇所から基板１５０を撮像する方法には、単純に撮像部１０１を複数台設置することも考えられるが、この方法では設備コストの増加要因となる。実施の形態１のように、第１センサ１０８Ａおよび第２センサ１０８Ｂによって基板１５０の位置を検出して、１台の撮像部１０１で複数の基板位置における画像を撮像することには、設備コストを抑制する効果がある。なお、上記した例では、搬送経路上に２つのセンサ１０８Ａ，１０８Ｂを配置した場合を示したが、搬送経路上に１つのセンサが配置されるものであってもよいし、３つ以上のセンサが配置されるものであってもよい。以上で、処理が終了する。

　実施の形態１では、搬送経路上の異なる位置に搬送される基板１５０を検知する複数のセンサ１０８Ａ，１０８Ｂを設け、搬送経路の上方に撮像部１０１を設置して、それぞれのセンサ１０８Ａ，１０８Ｂの位置に到達した基板１５０を撮像する。また、モデル生成部２０４では、浮きまたは傾きを含む取付状態および傷または異物を含む表面状態が異常でない部品を実装した基板１５０、すなわち製品として正常と見なされる外観を有する基板１５０を撮像した学習用画像を学習させて、検査対象の基板１５０を撮像した入力画像を再現させた再構築画像を生成するためのモデルを生成させる。再構築画像生成部２０６は、検査対象の基板１５０を撮像した入力画像からモデルにしたがって再構築画像を生成し、画像比較部２０７は、再構築画像と入力画像との差分である差分画像を求める。判定部２０９は、差分画像に設けられるグリッドに含まれる画素の画素値の統計量を用いて、取付状態および表面状態の異常の有無を判定し、その結果を表示部１０９に表示するようにした。これによって、基板１５０の半田面を撮像することなく部品面を撮像するだけで、基板１５０に実装された電子部品１５２の取付状態または基板１５０の表面状態の異常を検査することができるという効果を有する。つまり、基板１５０の半田面を撮像しないので、電子部品１５２を含む基板１５０を製造する基板搬送ラインにおいて、検査のために基板１５０を裏返す工程を設ける必要がない。その結果、既設の基板搬送ラインに実施の形態１による基板外観検査装置１００を導入することができる。

　また、実施の形態１では、判定部２０９は、差分画像にグリッドを設けて判定を行っているので、グリッドを単位として、異常のある領域を特定することができる。さらに、判定部２０９は、グリッドに含まれる画素の画素値の統計量として、標準偏差または分散を用いるようにした。これによって、誤検出を抑制することができる。また、１つの撮像部１０１で、搬送経路上の複数の位置に到達した検査対象の基板１５０を撮像して、それぞれの位置の入力画像を用いて判定を行うようにした。複数の位置で撮像した基板１５０の入力画像を用いることによって、ある位置の入力画像から取付状態または表面状態が見え辛い範囲を他の位置の入力画像でカバーすることができ、取付状態または表面状態の異常の検出能力を向上させることができる。

　さらにまた、電子部品１５２を実装していない基板１５０の画像と、電子部品１５２を実装した検査対象の基板１５０の画像と、の差分を入力画像として用いることで、入力画像の情報量が低減され、モデルの生成のための学習を効率よく行うことができる。

　なお、上記した説明では、電子部品１５２を実装した基板１５０の外観の検査を例に挙げたが、外観検査装置および外観検査方法の対象は、基板１５０に限定されるものではない。一例では、電子部品１５２などの部品、加工によって製造された製品、複数の部品によって組み立てられた製品などの物体を検査の対象とすることができる。また、他の例として、塗装された製品の表面、樹脂成形によって製造された製品のボイド、欠け、割れまたはバリの有無などを検査の対象とすることができる。この場合には、物体上の傷、異物などの異常箇所が、外観検査装置および外観検査方法によって検出されることになる。

　以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

　１００　基板外観検査装置、１０１　撮像部、１０２　照明機器、１０３　照明用電源、１０４　遮光カバー、１０５　基板搬送部、１０６　基板搬送機構、１０７　基板搬送機構架台、１０８Ａ　第１センサ、１０８Ｂ　第２センサ、１０９　表示部、１１０　演算処理部、１３１　撮像部接続ケーブル、１３２　照明用電源制御ケーブル、１３３　照明電源ケーブル、１３４　センサ接続ケーブル、１３５　ディスプレイ接続ケーブル、１５０　基板、１５１　回路基板、１５２　電子部品、１６０　基板搬送トレイ、２００　センサ入力部、２０１　撮像制御部、２０２　照明制御部、２０３　学習用画像記憶部、２０４　モデル生成部、２０５　学習済みモデル記憶部、２０６　再構築画像生成部、２０７　画像比較部、２０８　設定データ記憶部、２０９　判定部、２１０　画面表示部。

Claims (11)

1. 　対象物を撮像する撮像部と、
   　前記撮像部で撮像された画像データを入力画像として、前記画像データの再現を試みるモデルを用いて、前記入力画像を再構築した画像である再構築画像を生成する再構築画像生成部と、
   　前記入力画像と前記再構築画像との差分である差分画像を生成する画像比較部と、
   　を備えることを特徴とする外観検査装置。
2. 　前記差分画像を複数の領域に分割し、前記領域ごとに算出した統計量に基づいて、異常のある領域を特定する判定部をさらに備えることを特徴とする請求項１に記載の外観検査装置。
3. 　前記判定部は、前記領域に含まれる画素の画素値の分散または標準偏差を前記統計量として算出することを特徴とする請求項２に記載の外観検査装置。
4. 　前記判定部による結果を表示部に表示する画面表示部をさらに備え、
   　前記判定部は、前記差分画像中で前記異常のある領域を抽出した結果画像を生成し、
   　前記画面表示部は、前記結果画像から得られる前記異常のある領域を含む画像を前記表示部に表示することを特徴とする請求項２または３に記載の外観検査装置。
5. 　前記撮像部は、複数の位置で同じ前記対象物を撮像し、
   　前記画面表示部は、前記複数の位置のうちのすべての位置における前記結果画像から得られる前記異常のある領域を含む合成結果画像を前記表示部に表示することを特徴とする請求項４に記載の外観検査装置。
6. 　前記撮像部で撮像された前記画像データに対して、アフィン変換または射影変換した画像を前記入力画像として出力する撮像制御部をさらに備えることを特徴とする請求項１から５のいずれか１つに記載の外観検査装置。
7. 　前記対象物の画像データを用いて、前記再構築画像を生成するための前記モデルを生成するモデル生成部をさらに備えることを特徴とする請求項１から６のいずれか１つに記載の外観検査装置。
8. 　対象物を撮像する撮像部と、
   　前記撮像部で撮像された前記対象物の画像データを用いて、前記画像データを再構築した画像である再構築画像を生成するためのモデルを生成するモデル生成部と、
   　を備えることを特徴とする外観検査装置。
9. 　前記対象物は、電子回路基板であり、
   　前記モデル生成部は、部品が実装されていない前記電子回路基板の画像データと、前記部品が実装された面の前記電子回路基板の画像データと、の差分を入力データとして前記モデルを学習することを特徴とする請求項７または８に記載の外観検査装置。
10. 　前記対象物は、前記部品が実装された面を上にして搬送経路上を搬送され、
    　前記撮像部は、前記搬送経路の上方に、前記搬送経路側を撮像するように配置されることを特徴とする請求項９に記載の外観検査装置。
11. 　撮像部が、対象物を撮像する工程と、
    　演算処理部が、前記撮像部で撮像された画像データを入力画像として、前記画像データの再現を試みるモデルを用いて、前記入力画像を再構築した画像である再構築画像を生成する工程と、
    　演算処理部が、前記入力画像と前記再構築画像との差分である差分画像を生成する工程と、
    　を含むことを特徴とする外観検査方法。

Images