WO2024009868A1

WO2024009868A1 - 外観検査システム、外観検査方法、学習装置および推論装置

Info

Publication number: WO2024009868A1
Application number: PCT/JP2023/023952
Authority: WO
Inventors: 洵小形; 幸博徳; 誠司高木; 旭沖廣; 基亮玉谷
Original assignee: 三菱電機株式会社
Priority date: 2022-07-05
Filing date: 2023-06-28
Publication date: 2024-01-11

Abstract

物体の表面の陥没のみならず表面に付着する異物も欠陥として検出する。外観検査システム（１００）は、物体の表面に対し、水平で互いに異なる方向から、第１の波長を有する第１の照射光と第２の波長を有する第２の照射光を照射する第１の照明ユニットを有する。第１の照射光および第２の照射光が照射された状態の物体の表面が撮像されて生成される画像を、パターン画像と比較し、比較結果に基づいて、物体の表面における陥没または付着異物の有無を検査する。

Description

外観検査システム、外観検査方法、学習装置および推論装置

　この開示は、外観検査システム、外観検査方法、学習装置および推論装置に関する。

　工業製品の表面に凹凸、傷、汚れ、または異物が存在すると、工業製品の性能劣化を引き起こすため、検査によって、このような不良品を取り除く必要がある。近年、製品の多品種化および大量生産によって、検査にかかる作業者の負担増加および検査時間の増加が発生しているため、検査工程の自動化が試みられている。

　例えば、特許文献１の検査装置は、ワークＷの表面に対してＡ色の照射光Ｌ１，ＬＡ１とＢ色の照射光ＬＢ１と、Ｃ色の照射光ＬＣ１とを照射し、ワークＷからの反射光を分光して、Ａ色画像、Ｂ色画像、およびＣ色画像を同時に生成する。Ａ色画像はＢ色画像（あるいはＣ色画像）に比べて、ワークＷの欠陥に対応する部分と、その周囲との明るさの差が小さい。特許文献１の検査装置は、２つの画像を比較することによって、ワークＷの欠陥のみを２つの画像の相違点として抽出する。

特開２００８－６４７１５号公報

　特許文献１に記載の検査装置は、画像の明るさの差を利用して凹状の陥没欠陥を検出する。一方、生産現場では陥没欠陥のみならず被検査物体の表面上に付着している異物も欠陥として自動的に検出して欲しいとのニーズがある。

　それゆえに、この開示の目的は、物体の表面の陥没のみならず表面に付着する異物も欠陥として検出することができる外観検査システムおよび外観検査方法を提供することである。

　この開示に係る外観検査システムは、物体の表面に対し、水平で互いに異なる方向から、第１の波長を有する第１の照射光と第２の波長を有する第２の照射光を照射する第１の照明ユニットを有する。第１の照射光および第２の照射光が照射された状態の物体の表面が撮像されて生成される画像を、パターン画像と比較し、比較結果に基づいて、物体の表面における陥没または付着異物の有無を検査する。

　この開示に係る検査方法は、照明ユニットに、物体の表面に対し、水平で互いに異なる方向から、第１の波長を有する第１の照射光と第２の波長を有する第２の照射光を照射させるステップと、撮像ユニットに、第１の照射光および第２の照射光が照射された状態の物体の表面を撮像させるステップと、撮像ユニットによって撮像されて生成された画像を、パターン画像と比較し、比較結果に基づいて、物体の表面における陥没または付着異物の有無を検査するステップと、を備える。

　この開示に係る学習装置は、表面に欠陥が存在しない物体を良品とし、良品の表面を撮像して得られる良品の画像を含む学習用データを取得するデータ取得部と、学習用データを用いて、良品の画像から、良品の画像を再構成する学習済モデルを生成するモデル生成部と、を備え、良品の画像は、良品の表面を撮像して得られる良品のＮＤフィルタ画像または良品の表面を撮像して得られる良品のＰＬフィルタ画像のいずれかを含む。

　この開示に係る推論装置は、物体の表面を撮像して得られる物体の画像を取得するデータ取得部と、表面に欠陥が存在しない物体を良品とし、良品の表面を撮像して得られる良品の画像を含む学習用データから生成された、良品の画像を再構成する学習済モデルを用いて、データ取得部で取得した物体の画像から、物体の画像を再構成する推論部と、を備え、データ取得部が取得する物体の画像は、物体の表面を撮像して得られる物体のＮＤフィルタ画像または物体の表面を撮像して得られる物体のＰＬフィルタ画像のいずれかを含み、良品の表面を撮像して得られる良品の画像は、良品の表面を撮像して得られる良品のＮＤフィルタ画像または良品の表面を撮像して得られる良品のＰＬフィルタ画像のいずれかを含む。

　この開示に係る推論装置は、物体の表面を撮像して得られる物体の画像を取得するデータ取得部と、物体の表面を撮像して得られる物体の画像から物体の表面に欠陥が存在するか否かを推論するための学習済モデルを用いて、データ取得部で取得した物体の画像から、物体の表面に欠陥が存在するか否かを推論する推論部とを備える。

　この開示では、物体の表面に対し、水平で互いに異なる方向から、第１の波長を有する第１の照射光と第２の波長を有する第２の照射光が照射される。このような照射光が照射された状態の物体の表面が撮像されて生成された画像がパターン画像と比較され、比較結果に基づいて、物体の表面における陥没または付着異物の有無が検査される。これにより、物体の表面の陥没のみならず付着する異物の有無も検査することができる。

実施の形態１に係る外観検査システムの構成の一例を示す図である。実施の形態１に係る制御のタイミングチャートの一例を示す図である。実施の形態１に係る検査処理の手順を表わすフローチャートである。実施の形態１に係る金属異物の識別処理のフローチャートである。実施の形態１に係るＮＤフィルタ画像とＰＬフィルタ画像との差分処理を説明する図である。実施の形態１に係るボイド識別処理のフローチャートである。実施の形態１に係る浮遊異物からの照射光の反射を説明する図である。実施の形態１に係るボイドからの照射光の反射を説明する図である。実施の形態１に係る検査に用いる特徴量を示す図である。実施の形態１に係る検査結果の出力の一例を示す図である。実施の形態２に係る外観検査システムの構成の一例を示す図である。実施の形態１に係る金属異物を識別する処理のフローチャートである。実施の形態１に係るボイドを識別する処理のフローチャートである。欠陥とブロブの画像の一例を示す図である。ブロブの画像の一例を示す図である。ブロブの画像の一例を示す図である。ブロブの画像の一例を示す図である。実施の形態３に係る外観検査システムの構成の一例を示す図である。実施の形態３に係る学習装置１９０の構成を示す図である。オートエンコーダを用いた教師なし学習を説明する図である。実施の形態３の学習処理を示すフローチャートである。実施の形態３に係る推論装置２２１の構成を示す図である。実施の形態３の推論処理を示すフローチャートである。ニューラルネットワークの構成の一例を示す図である。

　以下、実施の形態について、図面を参照して説明する。図面では、同一または対応する構成要素には、同一の参照符号が付されている。また、図面においては、各構成要素を理解し易くするために縮尺またはアングルを適宜調整して示しており、図面に示される各構成要素の縮尺またはアングルと実際の構成要素の縮尺またはアングルとは必ずしも一致しない。

　実施の形態１．
　図１は、実施の形態１に係る外観検査システムの構成を表わす図である。外観検査システム１００は、検査対象である物体２０の表面における欠陥を検査する。物体２０は、その表面で光の正反射が生じる物体であれば特に限定されない。正反射では、照射された光の入射角と反射角とが等しい。拡散光は、あらゆる方向に拡散して反射する光である。

　物体２０は、たとえば表面がエポキシ樹脂によりコーティングされたプラスチック成型品である。物体２０の表面（被検査面）は平面でも曲面でもよい。

　外観検査システム１００が検出可能な欠陥の種類は、金属異物、浮遊異物およびボイドを含む。金属異物は、物体２０の表面に埋め込まれてフラット形状を有する物体である。金属異物には、例えば、銅、およびアルミ等が含まれる。浮遊異物は、物体２０の表面に付着している凸凹形状を有する物体である。浮遊異物には、例えば埃、および繊維異物等が含まれる。ボイドは、例えば成形不良によって表面に生じている陥没（欠け）を含む。

　図１の外観検査システム１００は、物体２０の表面を撮影して、画像を生成するカメラユニットと、物体２０の表面に対し照射光を照射する照明ユニットと、物体２０の表面が撮像されて生成された画像に基づき、物体２０の表面における欠陥の有無を検査する処理ユニットと、ビームスプリッタ７と、駆動軸２２と、モータ軸に駆動軸２２が連接されるモータ２１と、治具２３と、電源装置２４と、偏光板９と１１と、制御部３５および検査処理部３２を有する計算機３０とを備える。検査処理部３２は、物体２０の表面が撮像されて生成された画像に基づき、当該表面における欠陥の有無を検査する処理ユニットを構成する。検査処理部３２により構成される処理ユニットは、表面におけるボイドまたは浮遊異物の有無を検査するため画像処理を提供する第１の処理ユニットと、表面における金属異物の有無を検査するための画像処理を提供する第２の処理ユニットとを含む。

　モータ２１は、電気エネルギーを力学的エネルギーに変換する電力機器であり、本実施形態では、ドライバを介して直流のパルス電圧を印加し、回転運動を出力する。駆動軸２２は、モータ２１の回転駆動力を物体２０に伝える回転軸である。治具２３は、治具２３は、当該治具２３にセットされた物体２０の後述する外周面がカメラユニットの撮像視野内に配置されるように支持する。電源装置２４は、照明ユニットに電源を供給する。

　物体２０は、円柱状の形状を有し、物体２０の外部に露出した外周面（表面）において欠陥の検査が実施される。物体２０は、外周面の周長を円周とする円の中心を通り、円柱の長手方向に延びる軸を有する。この軸が駆動軸２２に連接されることにより、軸はモータ２１の回転に連動して回転する。物体２０は、このような軸の回転に伴い、上記の円の中心に対し同心円状に回転する。ここでは、検査対象の物体２０の形状を示す円柱状は、略円柱状も含む概念であり、また、円柱状は中空の円筒状も含む概念である。本実施の形態では、物体２０の形状は円柱状に限定されず、また、外観検査において物体２０の検査対象の表面は回転せず停止していてもよい。

　制御部３５は、カメラユニットを制御するカメラ制御部３１と、物体２０の表面であって少なくともカメラユニットの撮像視野に照射光を照射するよう照明ユニットを制御する照明制御部３３と、モータ制御部３４を含む。検査処理部３２は、カメラユニットが撮像して生成する画像に基づき検査処理を実施する。カメラユニットから生成されて出力される画像は、例えばフレーム単位の画像データを構成する。検査処理部３２が実施する検査処理は、カメラユニットからの画像についての画像処理を含む。

　モータ制御部３４は、モータ２１の回転量（回転角度と回転速度）に対応のステップ角度に応じた数のパルス信号を出力する。モータ２１は、一般的なステッピングモータまたはサーボモータで構成される。モータ２１は、パルス信号のＯＮ／ＯＦＦのサイクルを１パルスとし、１パルス信号が出力されると１ステップ角度だけ回転し、当該回転に連動して駆動軸２２が回転する。モータ制御部３４は、回転量に相当するパルス数だけパルス信号を出力すると、位置決め完了信号を出力する。本実施の形態では、１のパルス信号が出力されると位置決め完了信号が出力される。

　照明制御部３３は、照明ユニットと電源装置２４に接続され、照明ユニットの点灯および消灯を制御するとともに、出射光の強度を制御する。

　制御部３５は、カメラ制御部３１から出力されるトリガ信号と、照明制御部３３から出力される点灯および消灯の制御信号と、モータ制御部３４から出力されるパルス信号とを同期させることによって、１ステップ角度毎にトリガ信号が出力されて、カメラユニットによって撮像された画像が生成される。本実施の形態では、１ステップ角度毎にカメラユニットに撮像を指示するトリガ信号が出力されるが、トリガ信号の出力間隔は、１ステップ毎に限定されない。

　カメラユニットは、第１のカメラ１および第２のカメラ４を含む。第１のカメラ１および第２のカメラ４は、それぞれ、ライン状の後述する検査領域６１を撮像可能なように、ラインセンサを備える。このようなラインセンサは、例えばＣＣＤ（Charge　Coupled　Device）やフォトダイオードなどの固体撮像素子が配列されて構成される。ラインセンサは、白黒撮像用のものに限らず、カラー撮像用のものでもよい。第１のカメラ１および第２のカメラ４は、それぞれ、撮像素子への入射光を受光し、受光量に応じた電気信号を出力する。撮像素子から出力される電気信号に基づき画像が生成される。

　照明ユニットは物体２０の表面に対して照射光を照射することにより、カメラユニットが当該表面を撮像するための照明用の光源を構成する第１の照明ユニットと第２の照明ユニットを含む。第１の照明ユニットは照明装置１２と照明装置１３を含み、第２の照明ユニットは照明装置８と照明装置１０を含む。各照明装置は、物体２０の軸と平行な長手方向に延びる表面上の検査領域に対して、拡散光を照射可能なように、長尺を有するライン型のＬＥＤ（Light　Emitting　Diode）を含む照明装置を含む。

　計算機３０は、演算回路を有した、例えば、パーソナルコンピュータ、マイコンボード、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのプロセッサ回路（processing　circuitry）を含んで構成することができる。計算機３０は、上記に述べた各部を、このようなプロセッサ回路がプログラムを実行することで提供されるモジュールとして実装してもよく、または、これらモジュールが提供する機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。

　（金属異物の有無を識別する構成）
　照明装置８と１０は、物体２０の表面を撮像するときの明るさを調整する。照明装置８と１０は、それぞれ、物体２０の表面に対して、予め定められた偏光角度成分のみを有する照射光Ｌ１とＬ２を照射する。照明装置８と１０は、それぞれ、偏光板９と１１を備える。偏光板９と１１は、それぞれ、照明装置８と１０から照射される光の成分のうち、予め定められた偏光角度成分だけを有する光だけを出射する。予め定められた偏光角度成分だけを有する照射光Ｌ１とＬ２が物体２０の表面に照射される。照射光Ｌ１とＬ２が物体２０の表面に入射すると、正反射の反射光ＬＡ１が発生し、ビームスプリッタ７に入射する。

　ビームスプリッタ７は、２個の直角プリズムによって構成されたキューブ型ビームスプリッタである。ビームスプリッタ７は、照射光Ｌ１とＬ２が正反射する方向に配置される。ビームスプリッタ７は、入射光を定められた分割比で２つの光に分割する。ビームスプリッタ７に入射した反射光ＬＡ１は、反射光ＬＡ２と反射光ＬＡ３とに分岐される。反射光ＬＡ２は、第１のカメラ１に入射される。反射光ＬＡ３は、第２のカメラ４に入射される。

　第１のカメラ１および第２のカメラ４は、物体２０の表面を同時に撮像する。第１のカメラ１は、照射光Ｌ１の正反射方向から物体２０の表面を撮像する。第１のカメラ１は、反射光ＬＡ２を受けて物体２０の表面を撮像し、物体２０の表面の画像を生成する。第１のカメラ１は、レンズ２と、レンズ２が装着されたＮＤ（Neutral　Density）フィルタ３とを含む。

　ＮＤフィルタ３は、「中性濃度フィルタ」とも呼ばれ、予め定められた波長帯の全域において、光量を一定量だけ低下させる。ＮＤフィルタ３を通過した光によって生成される画像をＮＤフィルタ画像と呼ぶことにする。ＮＤフィルタ３を通過する光は、物体２０の表面に埋め込まれたフラットな金属異物から反射された光と、浮遊異物から反射された光とを含む。レンズ２は、ＮＤフィルタ３を通過した光を集光して、１点に像を結ぶ。以上のようにして、ＮＤフィルタ３を有する第１のカメラ１は、物体２０の表面を撮像して、ＮＤフィルタ画像を生成する。ＮＤフィルタ画像は、物体２０の表面に存在する埋め込まれたフラットな金属異物から反射された光と浮遊異物から反射された光とによって生成される。

　第２のカメラ４は、照射光Ｌ１の正反射方向と垂直な方向から物体２０の表面を撮像する。第２のカメラ４は、反射光ＬＡ３を受けて物体２０の表面を撮像し、物体２０の画像を生成する。第２のカメラ４は、レンズ５と、レンズ５が装着されたＰＬ（Polarized　Light）フィルタ６とを含む。

　ＰＬフィルタ６は、「偏光フィルタ」とも呼ばれ、偏光膜を利用したレンズフィルタである。偏光フィルタは、２枚のガラスの間に偏光膜をサンドイッチした構造を有し、偏光膜の向きを回転させるための回転枠構造を備える。ＰＬフィルタ６の偏光膜の方向は、物体２０の表面に埋め込まれる金属異物からの反射光の偏光方向と垂直方向になるように装着されている。レンズ５は、ＰＬフィルタ６を通過した光を集光して、１点に像を結ぶ。ＰＬフィルタ６を通過した光によって生成される画像をＰＬフィルタ画像と呼ぶことにする。

　一般的に、金属のような光沢表面では、入射光の偏光特性と反射光の偏光特性とが、そのまま保存される。微小な散乱粒子を有する埃および繊維異物からの反射光は、無偏光になることが知られている。レンズ５に集光される光の偏光方向は、金属異物の反射光に対して垂直方向のため、物体２０の表面に埋め込まれたフラット形状の金属異物が存在すると、その部分が暗く見える。これに対して、物体２０の表面に凹凸を有する浮遊異物が存在すると、その部分が明るく見える。

　従って、ＮＤフィルタ３を通過する光は、物体２０の表面に存在する埋め込まれたフラットな金属異物、浮遊異物、ボイドから反射された光が含まれる。対照的に、ＰＬフィルタ６を透過した光には、ＰＬフィルタ６によって遮断された金属異物からの反射光は含まれず、浮遊異物またはボイドのみから反射された光が含まれる。

　以上のようにして、物体２０の表面に金属異物、浮遊異物およびボイドが存在している場合には、ＮＤフィルタ画像では、金属異物と浮遊異物とボイドとが明るく強調され、ＰＬフィルタ画像では、浮遊異物とボイドのみが明るく強調される。したがって、ＮＤフィルタ画像とＰＬフィルタ画像とを比較して取得される両画像の差分を示す差分画像に基づき、金属異物の有無を識別できる。本実施の形態では、ＮＤフィルタ画像とＰＬフィルタ画像とを同時に生成できるので、別々に画像を生成する場合と比較して、外観検査に要する時間を短縮できる。

　（ボイドの有無を識別する構成）
　照明装置１２と１３は、欠陥がボイドかどうかを識別するための撮像の照射光を物体２０の表面に照射する。照明装置１２と１３は、後述するボイド識別処理のため、互いに異なる波長を有した照射光を照射する。照明装置１２と１３は、物体２０の表面に対して照射光Ｌ３とＬ４を照射する。照射光Ｌ３とＬ４が物体２０の表面に入射すると、表面からの正反射の反射光ＬＡ１が発生し、反射光ＬＡ１はビームスプリッタ７に入射する。ビームスプリッタ７に入射した反射光ＬＡ１は反射光ＬＡ２と反射光ＬＡ３に分岐され、それぞれレンズ２およびレンズ５に集光される。反射光ＬＡ２は、レンズ２を介して第１のカメラ１に入射され、第１のカメラ１は反射光ＬＡ２に基づく画像を生成する。反射光ＬＡ３は、レンズ５を介して第２のカメラ４に入射され、第２のカメラは反射光ＬＡ２に基づく画像を生成する。

　照明装置１２と１３は、それぞれ、物体２０の表面に対し、水平で互いに異なる方向から照射光Ｌ３とＬ４を照射する。この水平は、略水平との概念も含んでいる。ここで、表面に形成されるボイドは立体的な形状を有するから、このように表面に対し水平方向で照射される照射光Ｌ３とＬ４は、物体２０の表面のうちボイドが形成された部分でのみ反射し、ボイドが形成されてない他の部分では反射しない。したがって、照射光Ｌ３とＬ４が照射される状態では、反射光ＬＡ１はボイドが形成された部分における反射光を含み、他の部分における反射光は減衰する。そのため、第１のカメラ１および第２のカメラ４が生成する画像は、物体２０の表面のボイドが形成された部分と、他の部分とのコントラストに優れた画像となる。照明装置１２と１３から照射光が照射され状態で第１のカメラ１および第２のカメラ４が撮像して生成する画像は、それぞれ、ＮＤフィルタ画像とＰＬ画像であるとしても、これら画像においても上記に述べた優れたコントラストを得ることができる。なお、ＮＤフィルタ３は、照射光Ｌ３とＬ４が有する波長を除く帯域を減衰させる。

　この実施の形態では、金属異物を検出する構成では、偏光板９を装着した照明装置８および偏光板１１を装着した照明装置１０からの照射光で表面が撮像されるのに対し、ボイドを検出する構成では、偏光板が装着されていない照明装置１２と１３からの照射光で表面が撮像される。このように、金属異物の有無の識別とボイドの有無の識別には、それぞれに適合させた照明条件（照射角度と偏光）で撮像して生成された画像に基づいて実施される。しかし、偏光板９と１１を装着した照明装置８と１０が、物体２０の表面に対し、水平で互いに異なる方向から、第１の波長を有する第１の照射光と第２の波長を有する第２の照射光を照射して、撮像した画像で金属異物の識別、ボイドの識別を行っても構わない。

　（タイミングチャート）
　図２は、実施の形態１に係る制御のタイミングチャートの一例を示す図である。図２では、横軸に時間経過が示されるとともに、制御周期ＣＹが示される。また、図２では、各制御周期ＣＹにおいて、照明装置８，１０，１２および１３の点灯（ＯＮ）および消灯（ＯＦＦ）を制御する制御信号と、第１のカメラ１と第２のカメラ４に撮像を指示するトリガ信号と、モータ２１を１ステップ角度回転させるモータパルス信号と、位置決め完了信号が示される。

　予め物体２０が治具２３にセットされ、照明装置８，１０，１２および１３は初期状態として消灯状態にある。その後の、時刻Ｔ０で１回目の制御周期ＣＹが開始される。１回目の制御周期ＣＹでは、モータパルス信号は出力されず、タイミング（ａ）で照明装置８と１０に点灯の制御信号が出力される。照明装置８と１０は、制御信号に応答して点灯し出射光を照射すると、その後、第１のカメラ１および第２のカメラ４に対しトリガ信号が出力される。これにより、照明装置８と１０から照射光が物体２０の表面に照射される状態で、第１のカメラ１と第２のカメラ４はトリガ信号に応答して当該表面を撮像し画像を出力する。この撮像後のタイミング（ｂ）において、照明装置１２と１３に点灯の制御信号が出力されるとともに、照明装置８と１０に消灯の制御信号が出力される。制御信号に応答して、照明装置８と１０は消灯し照明装置１２と１３は点灯すると、その後のタイミング（ｃ）で、第１のカメラ１と第２のカメラ４にトリガ信号が出力される。これにより、照明装置１２と１３からの出射光が物体２０の表面に照射される状態で、第１のカメラ１と第２のカメラ４はトリガ信号に応答して当該表面を撮像し画像を出力する。その後のタイミング（ｄ）において、照明装置１２と１３に消灯の制御信号が出力され、照明装置１２と１３は制御信号に応答して消灯する。以上で、１回目の制御周期ＣＹが終了する。

　時刻Ｔ１から開始する２回目以降の各制御周期ＣＹでは、当該制御周期の開始時のタイミング（ｅ）でパルス信号が出力され、モータ２１は当該パルス信号に応答して回転し、当該回転に連動して物体２０の表面における、撮像視野に位置する検査領域が切り替わる。モータ２１の回転が終了するタイミング（ｅ）で位置決め完了信号が出力される。位置決め完了信号が出力されると、その後の、タイミング（ｆ）で照明装置８と１０に点灯の制御信号が出力される。照明装置８と１０は、制御信号に応答して点灯し照射光を照射すると、その後、タイミング（ｇ）で第１のカメラ１および第２のカメラ４に対しトリガ信号が出力される。これにより、照明装置８と１０から照射光が物体２０の表面に照射される状態で、第１のカメラ１と第２のカメラ４はトリガ信号に応答して当該表面を撮像し画像を出力する。この撮像後のタイミング（ｈ）において、照明装置１２と１３に点灯の制御信号が出力されるとともに、照明装置８と１０に消灯の制御信号が出力される。制御信号に応答して、照明装置８と１０は消灯し照明装置１２と１３は点灯すると、その後のタイミング（ｉ）で、第１のカメラ１と第２のカメラ４にトリガ信号が出力される。これにより、照明装置１２と１３からの照射光が物体２０の表面に照射される状態で、第１のカメラ１と第２のカメラ４はトリガ信号に応答して当該表面を撮像し画像を出力する。その後のタイミング（ｊ）において、照明装置１２と１３に消灯の制御信号が出力され、照明装置１２と１３は制御信号に応答して消灯する。以上で、当該制御周期ＣＹが終了する。

　図２に示す制御周期ＣＹでは、カメラ制御部３１からのトリガ信号と、照明制御部３３からの点灯および消灯の制御信号と、モータ制御部３４からのパルス信号とは互いに同期して出力されることによって、１ステップ角度毎に検査領域が撮像されて画像が出力される。このような制御周期ＣＹが繰り返されることで、物体２０の表面（外周面）の全てが、第１のカメラ１および第２のカメラ４によって撮像されると、当該物体２０の外観検査のための画像の取得が完了する。

　（フローチャート）
　図３は、実施の形態１に係る検査処理の手順を表わすフローチャートである。図３のフローチャートは、例えば、図２の各制御周期ＣＹにおいて取得される１ステップ角度毎の画像についての処理を示す。図４は、実施の形態１に係る金属異物の識別処理のフローチャートである。図５は、実施の形態１によるＮＤフィルタ画像とＰＬフィルタ画像との差分処理を説明する図である。図６は、実施の形態１に係るボイド識別処理のフローチャートである。図７は、実施の形態１に係る浮遊異物からの照射光の反射を説明する図である。図８は、実施の形態１に係るボイドからの照射光の反射を説明する図である。

　図３のステップＡ１において、照明制御部３３は、照明装置８と１０を点灯させる。
　ステップＡ２において、カメラ制御部３１は、第１のカメラ１と第２のカメラ４とにトリガ信号を出力する。これにより、第１のカメラ１と第２のカメラ４とで物体２０の表面が同時に撮像されて、ＮＤフィルタ画像とＰＬフィルタ画像とが出力される。

　ステップＡ３において、照明制御部３３は、照明装置８と１０を消灯させるとともに、照明装置１２と１３を点灯させる。

　ステップＡ４において、カメラ制御部３１は第１のカメラ１にトリガ信号を出力する。これにより、第１のカメラ１によって物体２０の表面が撮像されて、ＮＤフィルタ画像が出力される。

　なお、ステップＡ４では、少なくとも第１のカメラ１または第２のカメラ４にトリガ信号が出力されて、第１の照明ユニットからの照射光が照射された状態の物体の表面が撮像されるとしてもよい。すなわち、ボイド識別処理に利用可能な画像はＮＤフィルタ画像に限定されず、第２のカメラ４によって撮像され、生成されるＰＬフィルタ画像であってもよく、また、ＮＤフィルタ画像およびＰＬフィルタ画像の両方を、ボイド識別処理のための画像として用いてもよい。

　本実施の形態に係るＰＬフィルタ画像は、画像全体の明るさがＮＤフィルタ画像に比べて低くなる特性があるため、ステップＡ４ではＮＤフィルタ画像が取得される。ＮＤフィルタ画像に金属異物の部分画像が含まれるとしても、ＮＤフィルタ画像における金属異物の部分画像の位置を示す位置情報は、ＮＤフィルタ画像とＰＬフィルタ画像との差分を示す差分画像から取得することができる。そのため、当該位置情報を用いて当該ＮＤフィルタ画像から金属異物の部分画像を検出し除外することができる。

　ステップＡ５では、検査処理部３２の第２の処理ユニットは、図３に示される異物金属の識別処理を実施する。図３のステップＡ５－１において、検査処理部３２は、ステップＡ２で第１のカメラ１から出力されるＮＤフィルタ画像と第２のカメラ４から出力されるＰＬフィルタ画像とを用いて差分処理を実施し、差分画像を生成する。

　図５を参照して、ＮＤフィルタ画像３００は、金属異物Ｗ１と浮遊異物Ｗ２の部分画像を含み、ＰＬフィルタ画像３０１は、浮遊異物Ｗ２の部分画像を含む。差分処理では、ＮＤフィルタ画像の画素値からＰＬフィルタ画像の画素値が減算されて、その結果は差分画像３０２の画素値を示す。図５の差分画像３０２には、金属異物Ｗ１の部分画像のみが残る。

　ステップＡ５－２において、検査処理部３２は、予め定められた２値化しきい値を用いて、差分画像の画素値を２値化することによって、２値化画像を生成する。検査処理部３２は、差分画像の画素の値が２値化しきい値以上の場合には、その画素の値を「１」とし、差分画像の画素の値が２値化しきい値未満の場合には、その画素の値を「０」とする。ステップＡ５－３では、検査処理部３２は２値化画像にラベリング処理を施す。ここでラベリング処理とは、２値化画像において連結している画素に同じラベル「１」を付加することによって、２値化画像における複数の領域をグループとして分類する処理であり、画像処理において公知の技術であるから、詳細な説明は繰り返さない。

　図３に戻り、ステップＡ６において、検査処理部３２の第２の処理ユニットは、上記に述べた差分画像に含まれる金属異物の部分画像に基づき、物体２０の表面に金属異物が含まれるか否かを判定する。より具体的には、検査処理部３２は、差分画像における金属異物の部分画像における「１」のラベルが付加された複数の画素によって形成される１つ以上の領域について、各領域について、当該領域の面積を計測する。検査処理部３２は、面積がしきい値以上の領域が存在すると判定すると（ステップＡ６でＹＥＳ）、金属異物を評価するステップＡ９以降の処理に移り、面積がしきい値以上の領域が存在しないと判断すると（ステップＡ６でＮＯ）、ステップＡ７のボイドを識別する処理に進む。

　ステップＡ７で、検査処理部３２の第１の処理ユニットは、ステップＡ４で取得されたＮＤフィルタ画像を用いてボイドを識別する処理を実施する。図６を参照してボイド識別処理では、ステップＡ７－１において、検査処理部３２は、ＮＤフィルタ画像からボイドまたは浮遊異物に特有の色情報を抽出する。

　画像の色は、当該画像を構成する各画素の階調値を示す。ステップＡ４では照明装置１２と１３は、それぞれ、異なる波長（異なる色）の照射光を照射しているため、ＮＤフィルタ画像の色と照射光が照射される方向との関係によって異物がボイドか浮遊異物かが識別される。このような関係に基づく識別方法を、図７と図８を参照して説明する。図７と図８では、図１の外観検査システム１００のうち、第１のカメラ１と、照明装置１２と１３とが示されて、説明を簡単にするため他の構成要件は図示が略されている。

　図７は、物体２０の表面上の浮遊異物Ｐ６に対し、表面に対し水平に異なる方向から、波長の異なる照射光が照射されるケースを示す。図８は、物体２０の表面上に形成されたボイドＰ７に対し、表面に水平で異なる方向から、波長の異なる照射光が照射されるケースを示す。図７と図８では、互いに異なる波長の照射光Ｌ３とＬ４が、それぞれ、第１のカメラ１の左方向と右方向から照射されている。

　図７では、照射光Ｌ３は浮遊異物Ｐ６の左面で反射し、当該左面における反射光ＬＡ（３）は第１のカメラ１に入射するとともに、照射光Ｌ４は浮遊異物Ｐ６の右面で反射し、当該右面における反射光ＬＡ（４）は第１のカメラ１に入射する。対照的に図８では、照射光Ｌ３はボイドＰ７の右面において反射し、その反射光ＬＡ（３）はカメラ１に入射するとともに、照射光Ｌ４はボイドＰ７の左面において反射し、その反射光ＬＡ（４）はカメラ１に入射する。このように、照射光Ｌ３とＬ４が浮遊異物Ｐ６に照射される場合に照射光ＬＡ（３）とＬＡ（４）は、それぞれ、第１のカメラ１の撮像素子の配列面における左と右の位置に入射する。対照的に、照射光Ｌ３とＬ４がボイドＰ７に照射される場合に照射光ＬＡ（３）とＬＡ（４）は、それぞれ、当該撮像素子の配列面における右と左の位置に入射する。このように、撮像素子の配列面に反射光が入射する位置が左右で入れ替わる。そのため、図７の浮遊異物Ｐ６が撮像されて生成されるＮＤフィルタ画像と図８のボイドＰ７が撮像されて生成されるＮＤフィルタ画像の間では、反射光ＬＡ（３）の波長（色）の部分画像と反射光ＬＡ（４）の波長（色）の部分画像の配置が異なる。ここでは、浮遊異物Ｐ６の色の配置パターンを示すモデル画像をパターンＣ１と呼び、ボイドＰ７の色の配置パターンを示すモデル画像をパターンＣ２と呼ぶ。

　ステップＡ７－１では、検査処理部３２は、ＮＤフィルタ画像をパターンＣ２と比較し、比較の結果に基づき、ＮＤフィルタ画像にボイドＰ７の部分画像が含まれるか否かを判定する。より具体的には、検査処理部３２は、ＮＤフィルタ画像をパターンＣ２で走査し、走査結果に基づき、ボイドＰ７の色の配置を示す部分画像が含まれるか否かを識別する。また、検査処理部３２は、ＮＤフィルタ画像をパターンＣ１と比較し、比較の結果に基づき、ＮＤフィルタ画像に浮遊異物Ｐ６の部分画像が含まれるか否かを判定する。より具体的には、検査処理部３２は、ＮＤフィルタ画像をパターンＣ１で走査し、走査結果に基づき、浮遊異物Ｐ６の色の配置を示す部分画像が含まれるか否かを識別する。これらの識別結果は色情報として出力される。

　ステップＡ７－２において、検査処理部３２はＮＤフィルタ画像をグレースケール画像へ変換し、予め定められた２値化しきい値を用いて、当該グレースケール画像から２値化画像を生成する。

　ステップＡ７－３において、検査処理部３２は、２値化画像にラベリング処理を施す。ここでラベリング処理とは、上記に述べた方法と同様に、２値化画像において連結している画素に同じラベル「１」を付加することで複数の領域をグループとして分類する。

　ステップＡ７－４において、検査処理部３２は、ステップＡ７－２およびステップＡ７－３によってＮＤフィルタ画像から得られたラベリング処理の情報を、ボイドの形状特徴を示す予め定められたパターンＣ３と照合し、照合結果に基づき、ＮＤフィルタ画像は、ボイドに特徴的な形状を表す部分画像を含むか否かを判定する。

　より具体的には、浮遊異物は異物の中央部分にも水平方向からの照射光が当たるが、ボイドの中央部分には水平方向からの照射光が当たらない。そのため、ステップＡ７－２で適切な閾値で２値化処理を行うと、浮遊異物の２値化画像は全体が白になるが、ボイドの２値化画像は、外周部が白、中央部が黒となる。パターンＣ３は、このようなボイドの形状の特徴を示すモデル画像を含む。

　以上のように、ステップＡ７では、色情報と形状の特徴とから、ＮＤフィルタ画像にボイドの部分画像が含まれるか否かが識別される。実施形態１においては、ボイドの識別は、色情報に基づく判定結果と形状特徴に基づく判定結果の論理和を用いるが、論理和に限定されず、論理積等の他の判定条件を用いてもよい。

　図３に戻り、ステップＡ８において、検査処理部３２は、ステップＡ７の処理結果に基づき、ＮＤフィルタ画像にボイドの部分画像が含まれているか否かを判定する。ボイドの部分画像が含まれていると判定されると（ステップＡ８でＹＥＳ）、検査処理部３２は、ステップＡ１０以降のボイドの判定処理を実施し、ボイドの部分画像が含まれていないと判定されると（ステップＡ８でＮＯ）、検査処理部３２はステップＡ１１以降の浮遊異物の判定処理を実施する。

　ステップＡ９，Ａ１０，Ａ１１において、検査処理部３２は、異物の面積が予め定められたしきい値以上であるか否かを判定する。より具体的には、検査処理部３２は、ＮＤフィルタ画像において、同一のラベルが付加された複数の画素によって形成される領域毎に、その領域の面積を計測する。そして、計測結果が予め定められたしきい値以上の大きさかどうか判定する。本実施の形態では、判定のための特徴量として面積を使用しているが、検査規格に応じて、主軸長、副軸長、周囲長等、異なる特徴量で判定してもよい。

　図９は、実施の形態１に係る検査に用いる特徴量を示す図である。識別された金属異物、浮遊異物、ボイドなどの欠陥の部分画像は、図９の斜線部分の形状を有しているとする。検査処理部３２は、このような部分画像に外接する矩形を設定する。図９では、例えば４×４の画素を有した外接矩形が設定されている。このような欠陥の部分画像の特徴量は、外接矩形のサイズに基づいた部分画像の面積Ｓ、外接矩形のサイズに基づいた部分画像の長手方向の長さを示す主軸長Ｌ、外接矩形のサイズに基づいた部分画像の短手方向の長さを示す副軸長Ｗ、および外接矩形のサイズに基づいた部分画像の周囲の長さを示す周囲長ＣＬを含む。これらの特徴量は、部分画像に例えば予め定められた関数を適用することにより算出することができる。

　検査処理部３２は、図３のステップＡ９において、部分画像の面積値がしきい値以上であると判定すると（ステップＡ９でＹＥＳ）、物体２０の表面で金属異物が検出されたことを示すＮＧの判定を出力し（ステップＡ１２）、面積値はしきい値以上でないと判定すると（ステップＡ９でＮＯ）、物体２０の表面で金属異物が検出されていないことを示すＯＫの判定を出力する（ステップＡ１３）。また、検査処理部３２は、図３のステップＡ１０において、部分画像の面積値がしきい値以上であると判定すると（ステップＡ１０でＹＥＳ）、物体２０の表面でボイドが検出されたことを示すＮＧの判定を出力し（ステップＡ１４）、面積値はしきい値以上でないと判定すると（ステップＡ１０でＮＯ）、物体２０の表面でボイドが検出されていないことを示すＯＫの判定を出力する（ステップＡ１５）。また、検査処理部３２は、図３のステップＡ１１において、部分画像の面積値がしきい値以上であると判定すると（ステップＡ１１でＹＥＳ）、物体２０の表面で浮遊異物が検出されたことを示すＮＧの判定を出力し（ステップＡ１６）、面積値はしきい値以上でないと判定すると（ステップＡ１１でＮＯ）、物体２０の表面で欠陥（金属異物、ボイド、浮遊異物）が検出されていないことを示すＯＫの判定を出力する（ステップＡ１７）。

　外観検査システム１００において図３に示す処理が実施されることにより、物体２０の表面の欠陥を金属と非金属の相違に基づく照射光の反射特性の違いと、浮遊異物とボイドの形状の差異による照射光の反射特性の違いを利用することで、カメラユニットを複雑化することなく、欠陥の有無と種類とを識別することが可能になる。

　実施の形態１では、外観検査システム１００は、ボイドまたは浮遊異物の有無を識別する構成と、金属異物を識別する構成の両方を備えているが、いずれか一方の構成のみを備えてもよい。

　図１０は、実施の形態１に係る検査結果の出力の一例を示す図である。計算機３０が備えるディスプレイ１００３の画面では、ウィンドウ７０，７１，７２，７３および７４の領域において検査結果が表示される。ウィンドウ７０には、円柱状の物体２０の外周面を模式的に示す画像であるオブジェクト６０と、当該オブジェクト６０においてライン状の検査領域６１を示すオブジェクトが表示される。ウィンドウ７２には識別対象の欠陥（金属異物、浮遊異物、ボイド）のそれぞれについて、識別のために用いられる特徴量とそのしきい値を示す情報５７が表示される。ウィンドウ７１には、外観検査の処理結果を示すオブジェクト５０が表示される。オブジェクト５０は、複数の検査領域６１を組み合わせることで物体２０の外周面全体を示す。検査において検出された欠陥は、オブジェクト５０の上においてオブジェクト５１としてオーバレイして示される。ウィンドウ７４は、ウィンドウ７１に示されるオブジェクト５１について、その欠陥の種類と判定値が示される。

　ウィンドウ７３では、ウィンドウ７１に示される各オブジェクト５１について、当該オブジェクト５１の欠陥の識別子５６と、欠陥の種類５５と、欠陥の判定５４と、欠陥が有する特徴量５３と、欠陥の位置５２とが示される。判定５４は、当該欠陥の部分画像について、図３のステップＡ１２～Ａ１７のいずれかにおける判定値を示す。

　オブジェクト５０を直交するＸＹ軸で規定されるＸＹ座標系の平面の２次元画像とした場合に、位置５２は、当該欠陥の表面における検出位置が、当該２次元画像におけるオブジェクト５１の座標位置（ＸＹ座標値）として示される。本実施の形態では、検査領域６１の画像において、欠陥の部分画像が検出されるとき、検査領域６１の画像における当該部分画像のＸＹ座標位置も検出される。また、パルス信号に応答した１ステップ角度に検査領域６１が対応していることに基づき、物体２０の外観検査開始から出力されたパルス信号の数に基づいて当該検査領域６１のＸ座標位置が算出される。検査処理部３２は、このような検査領域６１における欠陥のＸＹ座標位置と検査領域６１の外周面（表面）におけるＸ座標位置とから、予め定められた演算に基づき、欠陥のオブジェクト５１の座標位置である位置５２を算出する。

　外観検査システム１００は、検査結果をユーザがモニタするのをサポート可能なように、物体２０の表面を示すオブジェクト５０に、検出された欠陥を示すオブジェクト５１がオーバレイされたオブジェクトのウィンドウ７１と、欠陥の種類５５または位置５２を示すオブジェクトとを互いに関連付けてディスプレイ１００３に表示させる。

　実施の形態２．
　図１１は、実施の形態２に係る外観検査システムの構成の一例を示す図である。図１１を参照して、外観検査システム１０００は、計算機３０と、計算機３０と通信するサーバ４０とを備える。計算機３０は、バス１００８によって接続されたプロセッサ１００１と、メモリ１００２と、ディスプレイ１００３と、キーボード１００５と、メモリカード１００７が着脱自在に装着されるメモリカードインターフェイス１００４と、ＨＤＤ（Hard　Disk　Driver）１００６と、ネットワーク３１０と接続する通信インターフェイス１００９と、カメラユニットから出力される画像を入力するとともに、カメラユニットへのトリガ信号、照明ユニットへの制御信号およびモータ２１へのパルス信号を出力する通信回路１０１０を含む。プロセッサ１００１は、ＨＤＤ１００６に格納されたプログラムをメモリ１００２に展開して実行することで、図３に示された外観検査処理を実施する。

　ＨＤＤ１００６は、ＯＳ（Operating　System）１２０を含むシステムプログラムと、アプリケーションプログラムと、データとを格納する。データは、検査結果を示す検査データ１２４と、パターンＣ１，Ｃ２およびＣ３を有するパターン情報１２５を含む。アプリケーションプログラムは、実行されることで制御部３５を実現する制御プログラム１２１と、実行されることで検査処理部３２を実現する検査プログラム１２２と、ＵＩ（User　Interface）プログラム１２３とを含む。ＵＩプログラム１２３は実行されると、ユーザに外観検査に関する情報を出力するとともに、計算機３０に対するユーザ操作を受付けるＵＩツールを提供する。ＵＩツールによって、図１０の情報がディスプレイ１００３に表示される。

　実施の形態１では、計算機３０は制御部３５と検査処理部３２の両方を備えているが、検査処理部３２は計算機３０の外部の装置、例えば図１１のサーバ４０に実装されてもよい。サーバ４０は、汎用のコンピュータを備えて構成されるオンプレミスサーバ、または、クラウド上のサーバを含む。

　検査処理部３２がサーバ４０に実装される場合、計算機３０は、カメラユニットから受付けた画像を、通信インターフェイス１００９およびネットワーク３１０を介してサーバ４０に転送する。サーバ４０は、計算機３０から受信する画像について、図３に示す外観検査処理を実行し、例えばＷｅｂページの情報として、実行結果を計算機３０に転送する。計算機３０のＷｅｂブラウザは、サーバ４０から転送されるＷｅｂページに基づく、例えば図１０の画面をディスプレイ１００３に表示させる。また、検査処理の結果を示す図１０の画面は、サーバ４０が有する図示しないディスプレイに表示されてもよい。

　（金属異物の有無を識別する他の構成）
　金属異物を識別する構成は、上記に述べた構成に限定されず、ＰＬフィルタ画像の色成分に基づいて識別する構成であってもよい。図１２は、実施の形態１に係る金属異物を識別する処理のフローチャートである。検査処理部３２は、図１２のフローチャートが示す異物金属の識別処理を実施する。検査処理部３２は、処理ユニットは、さらに、上記の色成分に基づいた識別を実施する処理ユニットを有してもよい。

　より具体的には、この処理ユニットは、第２の照明ユニットからの予め定められた波長の照射光が照射された状態の物体２０の表面が撮像されて生成されたＮＤフィルタ画像とＰＬフィルタ画像との差分画像に基づいて、物体２０の表面に埋め込まれた金属異物の有無を検査する。この予め定められた波長は、物体２０の表面の色成分に対応した光の波長を含む。

　図１２のステップＡ１２－０において、検査処理部３２は、第１のカメラ１から出力されるＮＤフィルタ画像と第２のカメラ４から出力されるＰＬフィルタ画像とを取得する。

　ステップＡ１２－８において、検査処理部３２は、ＰＬフィルタ画像から、ＲＧＢのうちの予め定められた色成分、すなわち赤色（Ｒ）成分のみを抽出する。例えば、検査処理部３２は、予め定められた色成分を示す画素値を用いてＰＬフィルタ画像を走査し、走査結果に基づき、ＰＬフィルタ画像から赤色（Ｒ）成分の画素から構成される部分画像のみを抽出する。

　検査処理部３２は、ステップＡ１２－９において、抽出された赤色成分の部分画像を強調するため、この部分画像にフィルタ処理を実施し、ステップＡ１２－１０において、フィルタ処理された部分画像を二値化する。二値化においては、例えば、検査処理部３２は、予め定められた画素値を閾値に用いて部分画像を走査し、二値化された部分画像から当該閾値を超える部分を抽出する。この閾値は、物体２０の表面に埋め込まれた金属異物の部分画像を抽出するための画素値に相当する。

　検査処理部３２は、ステップＡ１２－１１において、二値化された部分画像に対してラベリング処理を実施する。検査処理部３２は、ラベリング処理によって、部分画像において、同じラベルが付された異なる領域それぞれについて、ステップＡ１２－１２においてサイズ判定を実施する。同じラベルが付された領域はそれぞれ金属に対応のブロブに対応する。ブロブは、同じ濃度（画素値）を有した画素の集合体を示す。検査処理部３２は、サイズ判定において、各ブロブの面積と、このブロブの部分画像におけるＸＹ座標位置を検出する。検査処理部３２は、ステップＡ１２－１３において、サイズ判定された１つ以上のブロブのＸＹ座標位置を抽出する。抽出された１つ以上のブロブのＸＹ座標位置それぞれは、部分画像における金属異物の位置の候補を示す。

　上記に述べたステップＡ１２－８においてＰＬフィルタ画像から定められた色成分である赤色（Ｒ）成分の部分画像が抽出されたが、予め定められた色成分は赤色に限定されない。例えば、予め定められた色成分は、検査対象の物体２０の表面色に応じて設定されてもよい。図１２の処理では、物体２０の表面は例えば赤茶色としている。そのため、予め定められた色成分は、抽出し易い色成分である赤色（Ｒ）成分を示す。

　また、検査処理部３２は、物体２０の表面の色成分に近い赤色成分を抽出することによって、二値化が容易となる。より具体的には、金属異物の表面からの反射光はＰＬフィルタを通過することによって減衰するため、表面からの反射光は光量が少なく暗くなる。この点に着目すると、検査処理部３２は、ＰＬフィルタ画像から表面色に近い赤色成分に対応する部分画像に対し二値化を実施すると、二値化後の部分画像において明るい領域の中から暗い領域を、埋め込まれた金属異物の候補位置（ＸＹ座標位置）として容易に抽出できる。

　検査処理部３２は、ステップＡ１２－１において取得されたＮＤフィルタ画像に対し、ステップＡ１２－１、ステップＡ１２－３、ステップＡ１２－４およびステップＡ１２－５において、上記に述べたフィルタ処理、二値化、ラベリング処理、サイズ判定および複数の候補位置（ＸＹ座標位置）の抽出を実施する。このような処理の結果、明るく光る金属のブロブと非金属のブロブの両方について、ＮＤフィルタ画像における各ブロブのＸＹ座標位置が抽出される。

　次に、ステップＡ１２－６において、検査処理部３２は、ＰＬフィルタ画像において抽出された１つ以上の候補位置それぞれについて、一致率を検出する。より具体的には、検査処理部３２は、ＰＬフィルタ画像において抽出された１つ以上の候補位置それぞれについて、当該候補位置のＸＹ座標位置を、ＮＤフィルタ画像において抽出されたブロブそれぞれのＸＹ座標位置と比較し、比較の結果に基づき、ＸＹ座標の値の一致率を算出する。例えば、候補位置それぞれについて、当該候補位置のＸＹ座標位置は、ＮＤフィルタ画像において抽出された各ブロブのＸＹ座標位置と比較される。比較の結果は、例えば、候補位置のＸＹ座標位置に最も近い位置を示すブロブのＸＹ座標位置を示す。一致率は、例えば、候補位置のＸＹ座標位置と最も近い位置を示すブロブのＸＹ座標位置との間の乖離の大きさに基づいた値を示す。乖離の大きさとして、例えば、候補位置のＸＹ座標位置と最も近い位置を示すブロブのＸＹ座標位置との間の距離を示す。当該距離が短いほど一致率が大きいことを示す。

　ステップＡ１２－７において、検査処理部３２は、ＰＬフィルタ画像において抽出された１つ以上の候補位置それぞれについて、当該候補位置の一致率を閾値と比較し、比較の結果が（一致率＞閾値）を示す場合、当該候補位置は表面に埋め込まれた金属異物であると判定する。ステップＡ１２－１４において、検査処理部３２は、判定結果を出力する。この出力は、判定結果の表示、記憶媒体への格納、転送等を含む。この判定結果は、判定された金属異物のＸＹ座標位置を含んでもよい。

　図１２の処理によれば、検査処理部３２は、ＰＬフィルタ画像の色成分に基づき、物体２０の表面の欠陥（表面に埋め込まれた金属異物）を識別でき、また、金属異物のＸＹ座標位置を識別できる。

　（ボイドを識別する他の構成）
　検査処理部３２は、物体２０の表面の欠陥を、当該欠陥に照射される光の波長の相違によって形成される画像の特徴に基づき、ボイドであるかを識別してもよい。図１３は、実施の形態１に係るボイドを識別する処理のフローチャートである。検査処理部３２は、図１３のフローチャートが示す処理を実施する。図１４は、欠陥とブロブの画像の一例を示す図である。図１５、図１６および図１７は、それぞれブロブの画像の一例を示す図である。説明のために、図１５の（Ａ）、図１６の（Ａ）および図１７の（Ａ）の画像は、図１４の（Ａ）と画像と共通している。

　図８では、照射光Ｌ３は、欠陥である陥没の右面において反射し、その反射光ＬＡ（３）はカメラ１に入射するとともに、照射光Ｌ４はボイドＰ７の左面において反射し、その反射光ＬＡ（４）はカメラ１に入射する。照射光Ｌ３と照射光Ｌ４は互いに異なる波長を有するので、カメラ１に入射する反射光ＬＡ（３）および反射光ＬＡ（４）も互いに異なる波長を有する。したがって、図８の構成において、図１４の（Ａ）に示す陥没がカメラ１によって撮像された場合、撮像された画像において、図１４の（Ｂ）に示すように当該陥没の反射光に基づく２つの画像が検出される。この２つの画像は、カメラ１が照射光Ｌ３の反射光を受けて撮像した“Ｌ３のブロブ”の画像と、照射光Ｌ３の反射光とは波長の異なる照射光Ｌ４の反射光を受けて撮像した“Ｌ４のブロブ”の画像である。“Ｌ３のブロブ”と“Ｌ４のブロブ”は、波長が異なる反射光によって撮像された異なる色の画像である。検査処理部３２は、“Ｌ３のブロブ”と“Ｌ４のブロブ”の画像の撮像された画像における位置関係に基づき、位置関係が予め定められた条件を満たしたとき“Ｌ３のブロブ”と“Ｌ４のブロブ”で構成されるボイドを識別（検出）する。

　検査処理部３２は、カメラ１から撮像された画像を取得する。取得される画像は、ＰＬフィルタ画像またはＮＤフィルタ画像である。検査処理部３２は、画像を走査することによって、画像における図１４の（Ｂ）の“Ｌ３のブロブ”の画像と“Ｌ４のブロブ”の画像のＸＹ座標位置を取得し、取得されたＸＹ座標位置どうしを比較する。

　まず、検査処理部３２は、図１３のステップＡ１３－１において、図１５の（Ａ）の２つのブロブのＹ座標を比較する。具体的には、“Ｌ４のブロブ”の中心位置のＹ座標値を、“Ｌ３のブロブ”のＹ座標の上下限値と比較する。比較の結果に基づき、検査処理部３２は、図１５の（Ｂ）に示すように中心位置のＹ座標値は上下限値の間に入っているとの条件が満たされると判断すると、図１４の（Ａ）の陥没をボイド候補と判定し、図１５の（Ｃ）に示すように中心位置のＹ座標値は上下限値の間に入っているとの条件が満たされないと判断すると図１４の（Ａ）の陥没はボイドではないと判定する。

　次に、検査処理部３２は、陥没をボイド候補と判定したときは、ステップＡ１３－２において、図１６の（Ａ）の２つのブロブについて、Ｘ軸が延びる“Ｌ４のブロブ”から“Ｌ３のブロブ”の方向に画像を探索（走査）する。より具体的には、検査処理部３２は、“Ｌ４のブロブ”の右端から、そのブロブの主軸長分の距離をＸ方向に探索し、“Ｌ３のブロブ”が見つかるとの条件が満たされるかどうかを判断する。探索の結果、図１６の（Ｂ）のように“Ｌ３のブロブ”を検出して条件が満たされたと判断した場合、検査処理部３２は、図１４の（Ａ）の陥没をボイド候補と判定し、図１６の（Ｃ）のように“Ｌ３のブロブ”を検出できず条件は満たされないと判断した場合、図１４の（Ａ）の陥没はボイドではないと判定する。

　次に、検査処理部３２は、陥没をボイド候補と判定したときは、ステップＡ１３－３において、図１７の（Ａ）の２つのブロブについて、検査処理部３２は、Ｌ４のブロブとＬ３のブロブのＸ座標を比較する。具体的には、“Ｌ４のブロブ”の左端のＸ座標値を、“Ｌ３のブロブ”の左端のＸ座標値と比較し、比較の結果に基づき、“Ｌ４のブロブ”の左端は“Ｌ３のブロブ”の左端より左側にあるとの条件が満たされるかを判断する。検査処理部３２は、図１７の（Ｂ）のように“Ｌ４のブロブ”の左端は“Ｌ３のブロブ”の左端より左側にあるとの条件が満たされると判断すると陥没はボイドであると判定し、図１７の（Ｃ）のように“Ｌ４のブロブ”の左端は“Ｌ３のブロブ”の左端より左側になく条件が満たされないと判断すると、陥没はボイドではないと判定する。検査処理部３２は、ステップＡ１３－３の判定結果を出力する。この出力は、この出力は、判定結果の表示、記憶媒体への格納、転送等を含む。

　実施の形態３．
　図１８は、実施の形態３に係る外観検査システムの構成の一例を示す図である。実施の形態３の外観検査システム１０００Ａが、実施の形態１の図１１の外観検査システム１０００と相違する点は、実施の形態３の外観検査システム１０００Ａは、計算機３０に代えて計算機３０Ａを備える点である。外観検査システム１０００Ａの計算機３０Ａ以外の構成は、図１１に示された構成と同様であるので、説明は繰り返さない。

　計算機３０Ａは、学習用データを収集する装置を搭載する。実施の形態３では、計算機３０Ａが学習用データの収集、学習済モデルを生成する学習、および学習済モデルを用いた推論と検査を実施する。計算機３０Ａは、ＨＤＤ１００６Ａに、図１１のＨＤＤ１００６に格納されたプログラムおよびデータに加えて、学習プログラム１３１、推論プログラム１３２および推論ベース検査プログラム１３３を含む。

　学習プログラム１３１は、実行されると学習装置１９０を構成する。学習装置１９０は、ルールベースによって取得された検査データ１２４を用いて学習用データを取得する。より具体的には、実施の形態１の図３に示された検査処理が実施されると、４種類の画像（照明装置８と照明装置１０からの照明光のもとで取得されたＰＬフィルタ画像とＮＤフィルタ画像、および、照明装置１２と照明装置１３からの照明光のもとで取得されたＰＬフィルタ画像とＮＤフィルタ画像）に基づいて、検査結果が取得される。検査結果は、金属異物、浮遊物、ボイド、ＯＫ判定の４種類のいずれかに識別される。図３の検査処理が実施されることで、ルールベースに従った検査結果が取得されて、取得された検査結果を含む検査データ１２４がＨＤＤ１００６Ａに格納される。

　検査データ１２４は、上記に述べた４種類の画像と各画像に対応の検査結果とを含む。検査結果は、対応の画像について判定された欠陥の種類５５（種類は、金属異物、浮遊物、ボイド、ＯＫのいずれか）を少なくとも含む。種類５５は、図３のステップＡ１２～Ａ１７のいずれかにおける判定値を示す。より具体的には、検査データ１２４は、照明装置８と照明装置１０からの照明光のもとで取得されたＰＬフィルタ画像と当該ＰＬフィルタ画像に対応の検査結果の組、照明装置８と照明装置１０からの照明光のもとで取得されたＮＤフィルタ画像と当該ＮＤフィルタ画像に対応の検査結果の組、照明装置１２と照明装置１３からの照明光のもとで取得されたＰＬフィルタ画像と当該ＰＬフィルタ画像に対応の検査結果の組、および照明装置１２と照明装置１３からの照明光のもとで取得されたＮＤフィルタ画像と当該ＮＤフィルタ画像に対応の検査結果の組を含む。図３はルールベースの処理であるから、ステップＡ１２～Ａ１７の判定値はルールベースの判定値（検査結果）を表す。検査データ１２４がＨＤＤ１００６Ａに格納されるとき、検査処理部３２または学習装置１９０によって、検査データ１２４の各組に、当該組に含まれた判定の種類５５を示すラベルが付加されるアノテーション作業が同時に実施される。

　（学習処理）
　図１９は、実施の形態３に係る学習装置１９０の構成を示す図である。学習装置１９０は、学習用データを用いた学習処理を実施して学習済モデル１３４を取得する。学習装置１９０は、画像データを表す画像１９１と、この画像１９１に対応した判定値「ＯＫ」を示すラベル１９２とを取得するデータ取得部１９３、および学習済モデル１３４を生成するモデル生成部１９４を備える。画像１９１の画像は４種類の画像（照明装置８と照明装置１０からの照明光のもとで取得されたＰＬフィルタ画像とＮＤフィルタ画像、および、照明装置１２と照明装置１３からの照明光のもとで取得されたＰＬフィルタ画像とＮＤフィルタ画像）の。データ取得部１９３は、ＨＤＤ１００６Ａの検査データ１２４から、「ＯＫ」のラベル付けがされた組を検索することにより、画像１９１を取得する。データ取得部１９３は、判定値「ＯＫ」を示す画像１９１の画像データを学習用データとして取得する。判定値「ＯＫ」を示す画像１９１は、ＨＤＤ１００６Ａの検査データ１２４を検索して取得されたものに限定されない。例えば、データ取得部１９３は、実施の形態１と同様に、欠陥（金属異物、浮遊物およびボイド）が存在しない物体２０（すなわち、良品）の表面をカメラによって撮像して得られたＰＬフィルタ画像またはＮＤフィルタ画像を、画像１９１として取得してもよい。

　モデル生成部１９４は、データ取得部１９３によって取得された学習用データである良品の画像１９１から良品の画像を再構成する学習済モデル１３４を生成する（良品学習）。より具体的には、モデル生成部１９４は、学習用データの画像１９１が良品のＮＤフィルタ画像を示す場合は、良品のＮＤフィルタ画像から良品のＮＤフィルタ画像を再構成する学習済モデル１３４を生成し（良品学習）、学習用データの画像１９１が良品のＰＬフィルタ画像を示す場合は、良品のＰＬフィルタ画像から良品のＰＬフィルタ画像を再構成する学習済モデル１３４を生成する（良品学習）。

　モデル生成部１９４が用いる学習アルゴリズムとして、教師あり学習、教師なし学習、または強化学習等の公知のアルゴリズムを用いることができる。実施の形態３では、一例として、ニューラルネットワークの学習アルゴリズムを適用した場合について説明する。

　（教師なし学習）
　モデル生成部１９４は、例えば、ニューラルネットワークモデルに従って、いわゆる教師なし学習により、良品学習を実行する。ここで、教師なし学習では、入力に対して結果（ラベル）のデータ組みを紐づけず、良品の画像１９１だけが学習装置１９０に与えられる。教師なし学習では、モデル生成部１９４は、良品の画像１９１の特徴量を学習して、良品の画像１９１から良品の画像を再構成する学習済モデル１３４を生成する。なお、教師あり学習とは、入力と結果（ラベル）のデータの組を学習装置１９０に与えることで、それらの学習用データにある特徴量を学習し、入力の複数の結果（ラベル）の中から、スコアの高い結果（ラベル）を推論する手法をいう。

　図２４は、ニューラルネットワークの構成の一例を示す図である。ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層(隠れ層)、及び複数のニューロンからなる出力層によって構成される。中間層は、１層、または２層以上を含む。

　例えば、図２４に示すような３層のニューラルネットワークでは、入力層（Ｘ１～Ｘ３）は複数の入力値を受付けて、受付けられた各入力値は重みＷ１（ｗ１１～ｗ１６）が乗算され、中間層（Ｙ１～Ｙ２）に乗算後の各入力値を受付け、受付けられた各入力値（乗算結果）はさらに重みＷ２（ｗ２１～ｗ２６）が乗算されて、出力層（Ｚ１～Ｚ３）から出力される。この出力結果は、重みＷ１とＷ２との値によって変わる。

　実施の形態３において、ニューラルネットワークは、データ取得部１９３によって取得された良品の画像１９１に従って、いわゆる教師なし学習により、良品の画像１９１の特徴量を学習する。すなわち、ニューラルネットワークは、入力層に良品の画像１９１を入力して出力層から出力される再構成画像のデータが、入力層に入力された良品の画像１９１に近づくように重みＷ１とＷ２とを調整することで学習を実施する。

　モデル生成部１９４は、上記に述べた学習を実施することで学習済モデル１３４を生成し、出力する。モデル生成部１９４は、学習済モデル１３４をＨＤＤ１００６Ａに格納する。

　モデル生成部１９４は、学習アルゴリズムとして、特徴量そのものを抽出できるように学習する、深層学習（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）、例えば畳み込み処理（Convolution　Neural　Network）のアルゴリズムに従って学習を実行してもよい。

　モデル生成部１９４は、学習アルゴリズムとして、オートエンコーダ（自己符号化器）を用いることができる。図２０は、オートエンコーダを用いた教師なし学習を説明する図である。モデル生成部１９４は、オートエンコーダに、判定値（ラベル）を含まない入力データ（画像１９１の画像データ）のみを学習用データとして与える。オートエンコーダは、入力データから特徴量を抽出し、抽出された特徴量に近い特徴量を有した画像を再構成（再現・構築）し出力する。すなわち、オートエンコーダは、入力の画像に近い（ほぼ同じ）画像を再構成して出力するアルゴリズムである。したがって、再構成される画像は、画像１９１の画像に近い画像である。

　オートエンコーダは、より具体的には、図２０において、エンコーダ２３４に相当する第１階層とデコーダ２４５に相当する第２階層を含み、エンコーダ２３４とデコーダ２４５は一体化されたニューラルネットワークを構成する。エンコーダ２３４は、入力データである良品の画像１９１から特徴量を抽出し、デコーダ２４５は特徴量から良品の画像を再構成する。

　図２０において、エンコーダ２３４はニューラルネットワークの入力層と中間層とを含み、デコーダ２４５は、ニューラルネットワークの中間層と出力層とを含む。エンコーダ２３４の各層のニューロン数が256→128→64→32と減少するよう推移した場合、デコーダ２４５の各層のニューロン数は逆に32→64→128→256と増加するように推移する。オートエンコーダのニューラルネットワークでは、画像データを示す複数の画像２１１（良品の画像１９１に相当）を含む入力データ２１２が目的データとなるように、入力データ２１２がエンコーダ２３４において処理され、続いてデコーダ２４５において処理される。すなわち、モデル生成部１９４は、入力データ２１２の各画像２１１に近い出力データ２２３の各画像２２２の画像データが取得されるように、ニューラルネットワークに適用される重みを調整または学習して、学習済のオートエンコーダ、すなわち学習済モデル１３４を生成する。

　実施の形態３では、データ取得部１９３は、良品の画像１９１と「ＯＫ」のラベル１９２（ルールベースによる判定「ＯＫ」のラベル）の組合せに基づいて作成される学習用データを取得し、モデル生成部１９４が学習用データを用いて教師なし学習を実施する。このような教師なし学習が実施されることにより、良品の画像１９１に近い、すなわち「ＯＫ」と判定可能な良品の画像を出力可能なニューラルネットワークが学習される。

　なお、良品の画像１９１に、上記に述べた４種類の良品の画像（照明装置８と照明装置１０からの照明光のもとで取得されたＰＬフィルタ画像とＮＤフィルタ画像、および、照明装置１２と照明装置１３からの照明光のもとで取得されたＰＬフィルタ画像とＮＤフィルタ画像）それぞれを適用することができる。したがって、これら４種類の画像（良品の画像）それぞれを学習用データとして用いて、学習アルゴリズムが実施されると、４種類の画像それぞれに対応した学習済モデルが生成され、ＨＤＤ１００６Ａに格納される。

　図２１は、実施の形態３の学習処理を示すフローチャートである。図２１のステップｂ１において、データ取得部１９３は、学習用データを取得する。より具体的には、データ取得部１９３は、良品の物体２０の画像１９１とルールベースの判定値「ＯＫ」のラベル１９２の組を含む学習用データを取得する。ステップｂ１では、画像１９１と判定結果「ＯＫ」のラベル１９２の両者は、互いに関連付けて取得可能であればよく、例えば両者は同時に取得される、または、異なるタイミングで取得される。

　ステップb２において、モデル生成部１９４は、データ取得部１９３によって取得された学習用データを用いて、いわゆる教師なし学習を実施して、画像１９１から良品の画像を再構成する学習済モデル１３４を生成する。

　ステップｂ３において、学習装置１９０は、生成された学習済モデル１３４をＨＤＤ１００６Ａに格納する。

　（推論処理）
　推論プログラム１３２は、実行されると推論装置２２１を構成する。図２２は、実施の形態３に係る推論装置２２１の構成を示す図である。図２２では、推論装置２２１の入力および出力に対応する画像２２０および再構成画像を示す画像２２２に基づき、検査を実施する検査部２２４が示される。推論ベース検査プログラム１３３は、実行されると検査部２２４を構成する。ＨＤＤ１００６Ａには、上記の４種類の画像に対応の学習済モデルが格納されている。

　図２２の推論装置２２１は、データ取得部２２５、推論部２２６および検査部２２４を含む。データ取得部２２５は、物体２０の表面を撮影して得られる画像２２０を取得する。画像２２０は、画像２２０は、実施の形態１と同様に、第１のカメラ１と第２のカメラ４が物体２０を撮影することによって生成することができる。

　ここでは、画像２２０は、上記の４種類の画像（照明装置８と照明装置１０からの照明光のもとで撮影して取得されたＰＬフィルタ画像とＮＤフィルタ画像、および、照明装置１２と照明装置１３からの照明光のもとで撮影して取得されたＰＬフィルタ画像とＮＤフィルタ画像）のいずれかの種類の画像のデータを示す。例えば、画像２２０の種類は、ＮＤフィルタ画像であるとするが、画像２２０が、上記の４種類の画像のうちの他の種類の画像であっても、この推論処理を同様に適用できる。

　推論部２２６は、データ取得部２２５で取得された物体２０の画像２２０から、ＨＤＤ１００６Ａに格納されている４種類の学習済モデル１３４のうち画像２２０（ＮＤフィルタ画像）に対応の学習済モデル１３４を用いて、画像２２０を再構成する。すなわち、この学習済モデル１３４にデータ取得部２２５で取得された物体２０の画像２２０（画像データ）を入力することで、物体２０のＮＤフィルタ画像が再構成された再構成画像の画像データを生成することができる。

　物体２０が良品の場合は、推論部２２６によって生成された再構成画像は、データ取得部２２５で取得されて、オートエンコーダに入力された物体２０のＮＤフィルタ画像（良品画像）に近い画像となり、再構成が適切に行われる。物体２０が良品でない場合には、推論部２２６によって生成された再構成画像は、データ取得部２２５で取得された物体２０の画像２２０（ＮＤフィルタ画像）に近い画像とはならず、再構成が適切に行われない。なぜなら、学習済モデル１３４は、良品の画像から良品の画像を再構成するように学習されたものだからである。

　図２２に示す検査部２２４は、推論部２２６から出力される物体２０の再構成画像の画像２２２を、推論装置２２１に入力された物体２０の画像２２０と画像データどうしを比較する比較処理２２７を実施し、比較処理２２７の結果に基づき、画像２２０に対応の物体２０の表面に欠陥が存在するか否かを検査し、検査結果をディスプレイ１００３等に出力する。検査部２２４は、比較処理２２７に、例えばZscoreまたはパターンマッチングなどの公知のアルゴリズムを用いることができる。

　なお、実施の形態３では、推論装置２２１は学習済モデル１３４として、推論装置２２１が搭載される外観検査システム１０００のモデル生成部１９４によって生成されたものを用いたが、学習済モデル１３４は、物体２０を検査する他の外観検査システムにおいて生成された学習済モデルであってもよい。

　図２３は、実施の形態３の推論処理を示すフローチャートである。推論装置２２１は図２３の推論処理を実施する。図２３のステップｃ１において、データ取得部２２５は、物体２０の画像２２０を取得する。

　ステップｃ２において、推論部２２６は、ＨＤＤ１００６Ａに格納された学習済モデル１３４に、データ取得部２２５が取得した物体２０の画像２２０を入力し、学習済モデル１３４の出力として再構成画像の画像２２２を取得する。

　ステップｃ３において、推論部２２６は、取得された再構成画像の画像２２２を検査部２２４に出力する。

　ステップｃ４において、検査部２２４は、データ取得部２２５が取得した物体２０の画像２２０を再構成画像の画像２２２と比較し、比較の結果に基づき、物体２０が良品であるか否かを検査する。より具体的には、検査部２２４は、パターンマッチングなどによって、画像２２０の画像を画像２２２が示す再構成画像の２つの画像が類似していると判断したときには、検査対象の物体２０は表面に欠陥（表面に埋め込まれた金属異物、浮遊物およびボイド）が存在しないと判定することができる。検査部２２４は、パターンマッチングなどによって、２つの画像が類似していないと判断したときに、物体２０の表面に欠陥が存在すると判定することができる。検査部２２４は、判定が示す検査結果をディスプレイ１００３等に出力する。

　なお、実施の形態３では、モデル生成部１９４が用いる学習アルゴリズムに教師なし学習を適用した場合について説明したが、これに限られるものではない。学習アルゴリズムについては、教師なし学習以外にも、強化学習、教師あり学習、または半教師あり学習等を適用することも可能である。また、教師なし学習のアルゴリズムにオートエンコーダ用いたが、コートエンコーダ以外のアルゴリズムを用いてもよい。

　実施の形態３において、学習装置１９０または推論装置２２１は、外観検査システム１００の計算機３０に実装されたが、サーバ４０に実装されてもよい。

　モデル生成部１９４は、形状が類似した複数の樹脂成型品の良品の物体２０の画像１９１を学習用データとして用いて、良品学習を実行してもよい。モデル生成部１９４は、画像１９１を分割しながら学習を実施してもよい。より具体的には、画像１９１の画像データのサイズが大きい（例えば、5000ピクセル×4000ピクセル等）場合には、ニューラルネットワークのサイズが大きくなるため、１枚の画像を予め定められたサイズの複数枚の部分画像に分割する。モデル生成部１９４は、分割して得られた複数枚の部分画像に１つのニューラルネットワークを適用して学習を実施する、または、複数枚の部分画像それぞれに適用されるニューラルネットワークを異ならせて学習を実施する。

　また、学習を実施中に、物体２０が組込まれる製品の品種の変更、または、物体２０が組込まれる機械の機種の変更等がおきた場合には、物体２０の表面を含む外観が変化する可能性がある。このような場合には、学習装置１９０が取得する複数の画像１９１は品種（機種）変更前の画像１９１と変更後の画像１９１とを同じ割合で含むようにしてもよい。または、学習装置１９０は、変更前の画像１９１と変更後の画像１９１とを、異なるニューラルネットワークを用いて学習してもよい。このような再学習の必要な時間を短縮するために、転移学習、ファインチューニング、継続学習等が使用されてもよい。

　以上のように、実施の形態３によれば、検査対象の物体２０を撮像して生成されたＮＤフィルタ画像およびＰＬフィルタ画像の画像２２０を推論装置２２１に入力するだけで、物体２０の良否、すなわち物体２０の表面における欠陥（表面に埋め込まれた金属異物、浮遊物およびボイド）の有無を判定（検査）することができる。

　以下、この開示の態様を付記として以下に記載する。
　（付記１）
　物体の表面を撮像して、画像を生成するカメラユニットと、
　前記物体の表面に対し、照射光を照射する照明ユニットと、
　前記物体の表面が撮像されて生成された画像に基づき、前記物体の表面における欠陥の有無を検査する処理ユニットと、を備え、
　前記欠陥は、前記物体の表面における陥没または付着異物を含み、
　前記照明ユニットは、
　　前記物体の表面に対し、水平で互いに異なる方向から、第１の波長を有する第１の照射光と第２の波長を有する第２の照射光を照射する第１の照明ユニットを有し、
　前記処理ユニットは、
　前記第１の照射光および前記第２の照射光が照射された状態の前記物体の表面が撮像されて生成される画像を、パターン画像と比較し、比較結果に基づいて、前記物体の表面における陥没または付着異物の有無を検査する第１の処理ユニットを有する、外観検査システム。

　（付記２）
　前記照明ユニットは、さらに、
　前記物体の表面に対し、予め定められた偏光角度成分のみを有する照射光を照射する第２の照明ユニットを、備え、
　前記カメラユニットは、
　ＮＤフィルタを有し、前記物体の表面を撮像して、ＮＤフィルタ画像を生成する第１のカメラと、
　ＰＬフィルタを有し、前記物体の表面を撮像して、ＰＬフィルタ画像を生成する第２のカメラと、を有し、
　前記欠陥は、前記物体の表面に埋め込まれた金属異物を含み、
　前記処理ユニットは、
　前記第２の照明ユニットからの照射光が照射された状態の前記物体の表面が撮像されて生成された前記ＮＤフィルタ画像と前記ＰＬフィルタ画像との差分画像に基づいて、前記物体の表面に埋め込まれた金属異物の有無を検査する第２の処理ユニットを有する、付記１に記載の外観検査システム。

　（付記３）
　前記第１の照明ユニットと前記第２の照明ユニットを、互いに異なるタイミングで照射光を照射するよう制御する照明制御ユニットを、さらに備える、付記２に記載の外観検査システム。

　（付記４）
　前記物体の表面で照射光が正反射する方向に配置され、前記照射光の反射光を２分岐させるビームスプリッタをさらに備え、
　前記第１のカメラは、前記正反射する方向から前記物体の表面を撮像し、
　前記第２のカメラは、前記正反射する方向と垂直な方向から前記物体の表面を撮像する、付記２または３に記載の外観検査システム。

　（付記５）
　前記第１のカメラおよび前記第２のカメラは、前記第２の照明ユニットからの照射光が照射された状態の前記物体の表面を同時に撮像する、付記２～４のいずれか１に記載の外観検査システム。

　（付記６）
　少なくとも前記第１のカメラまたは前記第２のカメラは、前記第１の照明ユニットからの照射光が照射された状態の前記物体の表面を撮像する、付記２～５のいずれか１に記載の外観検査システム。

　（付記７）
　前記第１の処理ユニットは、前記撮像されて生成された画像から取得される２値化画像における第１のしきい値以上の値を有する連結された画素からなる領域の面積の大きさに基づいて、前記物体の表面における前記陥没または付着異物の有無を検査する、付記１～６のいずれか１に記載の外観検査システム。

　（付記８）
　前記第２の処理ユニットは、前記差分画像における第２のしきい値以上の値を有する連結された画素からなる領域の面積の大きさに基づいて、前記物体の表面に埋め込まれた金属異物の有無を検査する、付記２～７のいずれか１に記載の外観検査システム。

　（付記９）
　前記物体は、円柱の形状を有し、
　前記表面は、前記円柱の外周面を含み、
　前記外観検査システムは、
　前記円柱の長手方向に延びる軸を中心に前記物体を回転させる回転機構と、
　前記回転と同期して、照射光を照射するよう前記照明ユニットを制御するとともに、撮像するように前記カメラユニットを制御する、付記１～８のいずれか１に記載の外観検査システム。

　（付記１０）
　前記表面を示すオブジェクトに、当該表面において検出された前記欠陥を示すオブジェクトがオーバレイされたオブジェクトと、前記表面において当該欠陥が検出された位置を示すオブジェクトとを互いに関連付けてディスプレイに表示させるＵＩ部を、さらに備える、付記１～９のいずれか１に記載の外観検査システム。

　（付記１１）
　前記ＮＤフィルタ画像は、前記第１の照射光および前記第２の照射光が前記物体の表面に照射された状態で、前記第１の照射光および前記第２の照射光それぞれに対応の第１の画像と第２の画像とを含み、
　前記処理ユニットは、さらに、
　前記ＮＤフィルタ画像における前記第１の画像と前記第２の画像の位置関係が予め定められた条件を満たすかを判定し、
　前記判定の結果に基づき、前記物体の表面における陥没の有無を検査する、付記１～１０のいずれか１に記載の外観検査システム。

　（付記１２）
　前記第２の処理ユニットは、さらに、
　前記第２の照明ユニットからの予め定められた波長の照射光が照射された状態の前記物体の表面が撮像されて生成された前記ＮＤフィルタ画像と前記ＰＬフィルタ画像との差分画像に基づいて、前記物体の表面に埋め込まれた金属異物の有無を検査し、
　前記予め定められた波長は、前記物体の表面の色成分に対応した光の波長を含む、付記２に記載の外観検査システム。

　（付記１３）
　照明ユニットに、前記物体の表面に対し、水平で互いに異なる方向から、第１の波長を有する第１の照射光と第２の波長を有する第２の照射光を照射させるステップと、
　撮像ユニットに、前記第１の照射光および前記第２の照射光が照射された状態の前記物体の表面を撮像させるステップと、
　前記撮像ユニットによって撮像されて生成された画像を、パターン画像と比較し、比較結果に基づいて、前記物体の表面における陥没または付着異物の有無を検査するステップと、を備える、外観検査方法。

　（付記１４）
　表面に欠陥が存在しない物体を良品とし、前記良品の表面を撮像して得られる良品の画像を含む学習用データを取得するデータ取得部と、
　前記学習用データを用いて、良品の画像から、前記良品の画像を再構成する学習済モデルを生成するモデル生成部と、を備え、
　前記良品の画像は、前記良品の表面を撮像して得られる良品のＮＤフィルタ画像または前記良品の表面を撮像して得られる良品のＰＬフィルタ画像のいずれかを含む、学習装置。

　（付記１５）
　前記学習用データは、前記良品の画像と、物体の表面に欠陥がないことを判定するルールベースの判定値とを含む、付記１４に記載の学習装置。

　（付記１６）
　物体の表面を撮像して得られる前記物体の画像を取得するデータ取得部と、
　表面に欠陥が存在しない物体を良品とし、前記良品の表面を撮像して得られる前記良品の画像を含む学習用データから生成された、前記良品の画像を再構成する学習済モデルを用いて、前記データ取得部で取得した前記物体の画像から、前記物体の画像を再構成する推論部と、を備え、
　前記データ取得部が取得する前記物体の画像は、前記物体の表面を撮像して得られる前記物体のＮＤフィルタ画像または前記物体の表面を撮像して得られる前記物体のＰＬフィルタ画像のいずれかを含み、
　前記良品の表面を撮像して得られる前記良品の画像は、前記良品の表面を撮像して得られる前記良品のＮＤフィルタ画像または前記良品の表面を撮像して得られる前記良品のＰＬフィルタ画像のいずれかを含む、推論装置。

　（付記１７）
　前記学習用データは、前記良品の画像と、物体の表面に欠陥がないことを判定するルールベースの判定値とを含む、付記１６に記載の推論装置。

　（付記１８）
　物体の表面を撮像して得られる前記物体の画像を取得するデータ取得部と、
　前記物体の表面を撮像して得られる前記物体の画像から前記物体の表面に欠陥が存在するか否かを推論するための学習済モデルを用いて、前記データ取得部で取得した前記物体の画像から、前記物体の表面に欠陥が存在するか否かを推論する推論部と、を備える推論装置。

　今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。矛盾のない限り、今回開示された実施の形態の少なくとも２つを組み合わせてもよい。本開示により示される技術的範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

　１　第１のカメラ、２，５　レンズ、３　ＮＤフィルタ、４　第２のカメラ、６　ＰＬフィルタ、７　ビームスプリッタ、８，１０，１２，１３　照明装置、９，１１　偏光板、２０　物体、２１　モータ、２２　駆動軸、２３　治具、２４　電源装置、３０，３０Ａ　計算機、３１　カメラ制御部、３２　検査処理部、３３　照明制御部、３４　モータ制御部、３５　制御部、４０　サーバ、５０，５１，６０　オブジェクト、５２　位置、５３　特徴量、５４　判定、５５　種類、５６　識別子、５７　情報、６１　検査領域、７０，７１，７２，７３，７４　ウィンドウ、１００，１０００，１０００Ａ　外観検査システム、１２１　制御プログラム、１２２　検査プログラム、１２３　ＵＩプログラム、１２４　検査データ、１２５　パターン情報、１３１　学習プログラム、１３２　推論プログラム、１３３　推論ベース検査プログラム、１３４　学習済モデル、１９０　学習装置、１９１，２１１，２２０，２２２　画像、１９２　ラベル、１９３，２２５　データ取得部、１９４　モデル生成部、２１２　入力データ、２２１　推論装置、２２３　出力データ、２２４　検査部、２２６　推論部、２２７　比較処理、２３４　エンコーダ、２４５　デコーダ、３００，３０１　フィルタ画像、３０２　差分画像、３１０　ネットワーク、１００１　プロセッサ、１００２　メモリ、１００３　ディスプレイ、１００４　メモリカードインターフェイス、１００５　キーボード、１００６，１００６Ａ　ＨＤＤ、１００７　メモリカード、１００８　バス、１００９　通信インターフェイス、１０１０　通信回路、Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８，Ａ９，Ａ１０，Ａ１１，Ａ１２，Ａ１３，Ａ１４，Ａ１５，Ａ１６，Ａ１７　ステップ、Ｃ１，Ｃ２，Ｃ３　パターン、ＣＬ　周囲長、ＣＹ　制御周期、Ｌ　主軸長、Ｌ１，Ｌ３，Ｌ４，ＬＡ，ＬＡ１，ＬＢ１，ＬＣ１　照射光、ＬＡ，ＬＡ１，ＬＡ２，ＬＡ３　反射光、Ｐ６，Ｗ２　浮遊異物、Ｐ７　ボイド、Ｓ　面積、Ｔ０，Ｔ１，Ｔ２　時刻、Ｗ　副軸長、Ｗ１　金属異物。

Claims

　物体の表面を撮像して、画像を生成するカメラユニットと、
　前記物体の表面に対し、照射光を照射する照明ユニットと、
　前記物体の表面が撮像されて生成された画像に基づき、前記物体の表面における欠陥の有無を検査する処理ユニットと、を備え、
　前記欠陥は、前記物体の表面における陥没または付着異物を含み、
　前記照明ユニットは、
　　前記物体の表面に対し、水平で互いに異なる方向から、第１の波長を有する第１の照射光と第２の波長を有する第２の照射光を照射する第１の照明ユニットを有し、
　前記処理ユニットは、
　前記第１の照射光および前記第２の照射光が照射された状態の前記物体の表面が撮像されて生成される画像を、パターン画像と比較し、比較結果に基づいて、前記物体の表面における陥没または付着異物の有無を検査する第１の処理ユニットを有する、外観検査システム。
　前記照明ユニットは、さらに、
　前記物体の表面に対し、予め定められた偏光角度成分のみを有する照射光を照射する第２の照明ユニットを、備え、
　前記カメラユニットは、
　ＮＤフィルタを有し、前記物体の表面を撮像して、ＮＤフィルタ画像を生成する第１のカメラと、
　ＰＬフィルタを有し、前記物体の表面を撮像して、ＰＬフィルタ画像を生成する第２のカメラと、を有し、
　前記欠陥は、前記物体の表面に埋め込まれた金属異物を含み、
　前記処理ユニットは、
　前記第２の照明ユニットからの照射光が照射された状態の前記物体の表面が撮像されて生成された前記ＮＤフィルタ画像と前記ＰＬフィルタ画像との差分画像に基づいて、前記物体の表面に埋め込まれた金属異物の有無を検査する第２の処理ユニットを有する、請求項１に記載の外観検査システム。
　前記第１の照明ユニットと前記第２の照明ユニットを、互いに異なるタイミングで照射光を照射するよう制御する照明制御ユニットを、さらに備える、請求項２に記載の外観検査システム。
　前記物体の表面で照射光が正反射する方向に配置され、前記照射光の反射光を２分岐させるビームスプリッタをさらに備え、
　前記第１のカメラは、前記正反射する方向から前記物体の表面を撮像し、
　前記第２のカメラは、前記正反射する方向と垂直な方向から前記物体の表面を撮像する、請求項２に記載の外観検査システム。
　前記第１のカメラおよび前記第２のカメラは、前記第２の照明ユニットからの照射光が照射された状態の前記物体の表面を同時に撮像する、請求項２または４に記載の外観検査システム。
　少なくとも前記第１のカメラまたは前記第２のカメラは、前記第１の照明ユニットからの照射光が照射された状態の前記物体の表面を撮像する、請求項２に記載の外観検査システム。
　前記第１の処理ユニットは、前記撮像されて生成された画像から取得される２値化画像における第１のしきい値以上の値を有する連結された画素からなる領域の面積の大きさに基づいて、前記物体の表面における前記陥没または付着異物の有無を検査する、請求項１に記載の外観検査システム。
　前記第２の処理ユニットは、前記差分画像における第２のしきい値以上の値を有する連結された画素からなる領域の面積の大きさに基づいて、前記物体の表面に埋め込まれた金属異物の有無を検査する、請求項２に記載の外観検査システム。
　前記物体は、円柱の形状を有し、
　前記表面は、前記円柱の外周面を含み、
　前記外観検査システムは、
　前記円柱の長手方向に延びる軸を中心に前記物体を回転させる回転機構と、
　前記回転と同期して、照射光を照射するよう前記照明ユニットを制御するとともに、撮像するように前記カメラユニットを制御する、請求項１または２に記載の外観検査システム。
　前記表面を示すオブジェクトに、当該表面において検出された前記欠陥を示すオブジェクトがオーバレイされたオブジェクトと、前記表面において当該欠陥が検出された位置を示すオブジェクトとを互いに関連付けてディスプレイに表示させるＵＩ部を、さらに備える、請求項１または２に記載の外観検査システム。
　前記ＮＤフィルタ画像は、前記第１の照射光および前記第２の照射光が前記物体の表面に照射された状態で、前記第１の照射光および前記第２の照射光それぞれに対応の第１の画像と第２の画像とを含み、
　前記処理ユニットは、さらに、
　前記ＮＤフィルタ画像における前記第１の画像と前記第２の画像の位置関係が予め定められた条件を満たすかを判定し、
　前記判定の結果に基づき、前記物体の表面における陥没の有無を検査する、請求項１または２に記載の外観検査システム。
　前記第２の処理ユニットは、さらに、
　前記第２の照明ユニットからの予め定められた波長の照射光が照射された状態の前記物体の表面が撮像されて生成された前記ＮＤフィルタ画像と前記ＰＬフィルタ画像との差分画像に基づいて、前記物体の表面に埋め込まれた金属異物の有無を検査し、
　前記予め定められた波長は、前記物体の表面の色成分に対応した光の波長を含む、請求項２に記載の外観検査システム。
　照明ユニットに、前記物体の表面に対し、水平で互いに異なる方向から、第１の波長を有する第１の照射光と第２の波長を有する第２の照射光を照射させるステップと、
　撮像ユニットに、前記第１の照射光および前記第２の照射光が照射された状態の前記物体の表面を撮像させるステップと、
　前記撮像ユニットによって撮像されて生成された画像を、パターン画像と比較し、比較結果に基づいて、前記物体の表面における陥没または付着異物の有無を検査するステップと、を備える、外観検査方法。
　表面に欠陥が存在しない物体を良品とし、前記良品の表面を撮像して得られる良品の画像を含む学習用データを取得するデータ取得部と、
　前記学習用データを用いて、良品の画像から、前記良品の画像を再構成する学習済モデルを生成するモデル生成部と、を備え、
　前記良品の画像は、前記良品の表面を撮像して得られる良品のＮＤフィルタ画像または前記良品の表面を撮像して得られる良品のＰＬフィルタ画像のいずれかを含む、学習装置。
　前記学習用データは、前記良品の画像と、物体の表面に欠陥がないことを判定するルールベースの判定値とを含む、請求項１４に記載の学習装置。
　物体の表面を撮像して得られる前記物体の画像を取得するデータ取得部と、
　表面に欠陥が存在しない物体を良品とし、前記良品の表面を撮像して得られる前記良品の画像を含む学習用データから生成された、前記良品の画像を再構成する学習済モデルを用いて、前記データ取得部で取得した前記物体の画像から、前記物体の画像を再構成する推論部と、を備え、
　前記データ取得部が取得する前記物体の画像は、前記物体の表面を撮像して得られる前記物体のＮＤフィルタ画像または前記物体の表面を撮像して得られる前記物体のＰＬフィルタ画像のいずれかを含み、
　前記良品の表面を撮像して得られる前記良品の画像は、前記良品の表面を撮像して得られる前記良品のＮＤフィルタ画像または前記良品の表面を撮像して得られる前記良品のＰＬフィルタ画像のいずれかを含む、推論装置。
　前記学習用データは、前記良品の画像と、物体の表面に欠陥がないことを判定するルールベースの判定値とを含む、請求項１６に記載の推論装置。
　物体の表面を撮像して得られる前記物体の画像を取得するデータ取得部と、
　前記物体の表面を撮像して得られる前記物体の画像から前記物体の表面に欠陥が存在するか否かを推論するための学習済モデルを用いて、前記データ取得部で取得した前記物体の画像から、前記物体の表面に欠陥が存在するか否かを推論する推論部と、を備える推論装置。