JP7483135B2 - 外観検査装置、および外観検査方法 - Google Patents

Description

本開示は、外観検査装置、外観検査方法、学習装置および推論装置に関する。

工業製品の表面に凹凸、傷、汚れ、または異物が存在すると、工業製品の性能劣化を引き起こすため、検査によりこれらの不良品を取り除く必要がある。近年、製品の多品種化および大量生産によって、作業者の負担増加および検査時間の増加が発生しているため、検査工程の自動化が試みられている。

例えば、特許文献１の検査装置は、ワークＷの表面に対してＡ色の照射光Ｌ１，ＬＡ１とＢ色の照射光ＬＢ１と、Ｃ色の照射光ＬＣ１とを照射し、ワークＷからの反射光を分光して、Ａ色画像、Ｂ色画像、およびＣ色画像を同時に生成する。Ａ色画像はＢ色画像（あるいはＣ色画像）に比べて、ワークＷの欠陥に対応する部分と、その周囲との明るさの差が小さい。特許文献１の検査装置は、２つの画像を比較することによって、ワークＷの欠陥のみを２つの画像の相違点として抽出する。

特開２００８－６４７１５号公報

しかしながら、特許文献１に記載の検査装置は、検出したい異物が被検査物体の表面に埋め込まれているか、あるいは被検査物体の表面上に付着しているだけかを判別することはできない。

それゆえに、本開示の目的は、被検査物体の表面に埋め込まれた金属異物のみを検出することができる外観検査装置、外観検査方法、学習装置および推論装置を提供することである。

本開示の外観検査装置は、ＮＤフィルタを有し、被検査物体の表面を撮影して、ＮＤフィルタ画像を生成する第１のカメラと、ＰＬフィルタを有し、被検査物体の表面を撮影して、ＰＬフィルタ画像を生成する第２のカメラと、ＮＤフィルタ画像とＰＬフィルタ画像との差分画像に基づいて、被検査物体の表面に埋め込まれた金属異物の有無を検査する制御装置とを備える。

本開示の外観検査方法は、ＮＤフィルタを有する第１のカメラが、被検査物体の表面を撮影して、ＮＤフィルタ画像を生成するステップと、ＰＬフィルタを有する第２のカメラが、被検査物体の表面を撮影して、ＰＬフィルタ画像を生成するステップと、制御装置が、ＮＤフィルタ画像とＰＬフィルタ画像との差分画像に基づいて、被検査物体の表面に埋め込まれた金属異物の有無を検査するステップとを備える。

本開示の学習装置は、表面に埋め込まれた金属異物が存在しない被検査物体を良品とし、良品の表面を撮影して得られる良品のＮＤフィルタ画像を含む学習用データを取得するデータ取得部と、学習用データを用いて、良品のＮＤフィルタ画像から、良品のＮＤフィルタ画像を再構成する学習済モデルを生成するモデル生成部とを備える。

本開示の推論装置は、被検査物体の表面を撮影して得られる被検査物体のＮＤフィルタ画像を取得するデータ取得部と、表面に埋め込まれた金属異物が存在しない被検査物体を良品とし、良品の表面を撮影して得られる良品のＮＤフィルタ画像から、良品のＮＤフィルタ画像を再構成する学習済モデルを用いて、データ取得部で取得した被検査物体のＮＤフィルタ画像から、被検査物体のＮＤフィルタ画像を再構成する推論部とを備える。

本開示の学習装置は、被検査物体の表面を撮影して得られる被検査物体のＮＤフィルタ画像と被検査物体の表面に埋め込まれた金属異物が存在するか否かを表わす識別データとを含む学習用データを取得するデータ取得部と、学習用データを用いて、被検査物体の表面を撮影して得られる被検査物体のＮＤフィルタ画像から被検査物体の表面に埋め込まれた金属異物が存在するか否かを識別する学習済モデルを生成するモデル生成部と備える。

本開示の推論装置は、被検査物体の表面を撮影して得られる被検査物体のＮＤフィルタ画像を取得するデータ取得部と、被検査物体の表面を撮影して得られる被検査物体のＮＤフィルタ画像から被検査物体の表面に埋め込まれた金属異物が存在するか否かを推論するための学習済モデルを用いて、データ取得部で取得した被検査物体のＮＤフィルタ画像から、被検査物体の表面に金属異物が存在するか否かを推論する推論部とを備える。

本開示の外観検査装置は、ＮＤフィルタ画像とＰＬフィルタ画像との差分画像に基づいて、被検査物体の表面に埋め込まれた金属異物の有無を検査する。これによって、本開示の外観検査装置は、被検査物体の表面に埋め込まれた金属異物のみを検出することができる。

実施の形態１の外観検査装置の構成を表わす図である。 実施の形態１に係る検査装置による検査処理の手順を表わすフローチャートである。 実施の形態１によるＮＤフィルタ画像とＰＬフィルタ画像との差分処理を説明するための図である。 実施の形態２の外観検査装置の構成を表わす図である。 ニューラルネットワークの構成を表わす図である。 実施の形態２の学習装置１０１の学習処理に関するフローチャートである。 実施の形態２の推論装置１０５の推論処理に関するフローチャートである。 実施の形態３の外観検査装置の構成を表わす図である。 実施の形態３の学習装置１０１Ａの学習処理に関するフローチャートである。 実施の形態３の推論装置１０５Ａの推論処理に関するフローチャートである。 実施の形態４の外観検査装置の構成を表わす図である。 実施の形態４に係る検査装置による検査処理の手順を表わすフローチャートである。 検査範囲を説明するための図である。 制御装置２０、２００、２００Ａのハードウェア構成を表わす図である。

以下、実施の形態について、図面を参照して説明する。図示される実施形態の構成要素は、実施の形態の理解を助けるために寸法が適宜変更されている。また、同一または対応する構成要素には、同一の参照符号が付されている。

実施の形態１．
図１は、実施の形態１の外観検査装置の構成を表わす図である。

外観検査装置は、被検査物体８の表面における異物を検査する。被検査物体８は、その表面で光の正反射が生じる物体であれば特に限定されない。正反射では、照射された光の入射角と反射角とが等しい。拡散光は、あらゆる方向に拡散して反射する光である。

被検査物体８は、たとえば表面がエポキシ樹脂によりコーティングされたプラスチック成型品である。被検査物体８の表面（被検査面）は平面でも曲面でもよい。

外観検査装置が検出可能な異物は、金属異物および浮遊異物である。金属異物は、被検査物体８の表面に埋め込まれてフラット形状を有する物体である。浮遊異物は、被検査物体８の表面に付着している凹凸を有する物体である。たとえば、金属異物には、銅、およびアルミ等が含まれる。浮遊異物には、たとえば埃、および繊維異物等が含まれる。

外観検査装置は、照明部６１と、ビームスプリッタ４と、第１のカメラ１と、第２のカメラ５１と、モータ６と、駆動軸７と、治具９と、電源装置１０と、偏光板１１と、制御装置２０とを備える。

照明部６１は、被検査物体８を撮影するときの明るさを調整する。照明部６１は、被検査物体８に対して、特定の偏光角度成分のみを有する照射光Ｌ１を照射する。照明部６１は、照明装置５と、偏光板１１とを備える。照明装置５は、光を照射する。偏光板１１は、照明装置５から照射される光の成分のうち、特定の偏光角度成分だけを有する光だけを出射する。特定の偏光角度成分だけを有する照射光Ｌ１が被検査物体８に照射される。照射光Ｌ１が被検査物体８に入射すると、正反射の反射光ＬＡ１が発生し、ビームスプリッタ４に入射する。

ビームスプリッタ４は、２個の直角プリズムによって構成されたキューブ型ビームスプリッタである。ビームスプリッタ４は、照射光Ｌ１が正反射する方向に配置される。ビームスプリッタ４は、入射光を定められた分割比で２つの光に分割する。ビームスプリッタ４に入射した反射光ＬＡ１は、反射光ＬＡ２と反射光ＬＡ３とに分岐される。反射光ＬＡ２は、第１のカメラ１に入射される。反射光ＬＡ３は、第２のカメラ５１に入射される。

第１のカメラ１および第２のカメラ５１は、被検査物体８の表面を撮影するためのモノクロカメラである。第１のカメラ１および第２のカメラ５１は、被検査物体８の表面を同時に撮影する。

第１のカメラ１は、照射光Ｌ１の正反射方向から被検査物体８の表面を撮影する。第１のカメラ１は、反射光ＬＡ２を受けて被検査物体８を撮影し、被検査物体８の画像を生成する。第１のカメラ１は、レンズ２と、レンズ２が装着されたＮＤ（Neutral Density）フィルタ３とを含む。

ＮＤフィルタ３は、「中性濃度フィルタ」とも呼ばれ、所定の波長帯の全域において、光量を一定量だけ低下させる。ＮＤフィルタ３を通過した光によって生成される画像をＮＤフィルタ画像と呼ぶことにする。ＮＤフィルタ３を通過する光は、被検査物体８の表面に埋め込まれたフラットな金属異物から反射された光と、浮遊異物から反射された光とを含む。レンズ２は、ＮＤフィルタ３を通過した光を集光して、１点に像を結ぶ。以上のようにして、ＮＤフィルタ３を有する第１のカメラ１は、被検査物体８の表面を撮影して、ＮＤフィルタ画像を生成する。ＮＤフィルタ画像は、被検査物体８の表面に存在する埋め込まれたフラットな金属異物から反射された光と浮遊異物から反射された光とによって生成される。

第２のカメラ５１は、照射光Ｌ１の正反射方向と垂直な方向から被検査物体８の表面を撮影する。第２のカメラ５１は、反射光ＬＡ３を受けて被検査物体８を撮影し、被検査物体８の画像を生成する。第２のカメラ５１は、レンズ５２と、レンズ５２が装着されたＰＬ（Polarized Light）フィルタ５３とを含む。

ＰＬフィルタ５３は、「偏光フィルタ」とも呼ばれ、偏光膜を利用したレンズフィルタである。偏光フィルタは、２枚のガラスの間に偏光膜をサンドイッチした構造を有し、偏光膜の向きを回転させるための回転枠構造を備える。ＰＬフィルタ５３の偏光膜の方向は、被検査物体８の表面に埋め込まれる金属異物からの反射光の偏光方向と垂直方向になるように装着されている。レンズ５２は、ＰＬフィルタ５３を通過した光を集光して、１点に像を結ぶ。ＰＬフィルタ５３を通過した光によって生成される画像をＰＬフィルタ画像と呼ぶことにする。

一般的に、金属のような光沢表面では、入射光の偏光特性と反射光の偏光特性とが、そのまま保存される。微小な散乱粒子を有する埃および繊維異物からの反射光は、無偏光になることが知られている。レンズ５２に集光される光の偏光方向は、金属異物の反射光に対して垂直方向のため、被検査物体８の表面に埋め込まれたフラット形状の金属異物が存在すると、その部分が暗く見える。これに対して、被検査物体８の表面に凹凸を有する浮遊異物が存在すると、その部分が明るく見える。ＰＬフィルタ５３を透過する光は、浮遊異物から反射された光のみを含む。以上のようにして、ＰＬフィルタ５３を有する第２のカメラ５１は、被検査物体８の表面を撮影して、ＰＬフィルタ画像を生成する。ＰＬフィルタ画像は、浮遊異物から反射された光のみによって生成される。

被検査物体８の表面に金属異物と浮遊異物とが存在している場合には、ＮＤフィルタ画像では、金属異物と浮遊異物とが明るく強調され、ＰＬフィルタ画像では、浮遊異物のみが明るく強調される。したがって、ＮＤフィルタ画像とＰＬフィルタ画像との差分画像から、金属異物だけを検査できる。本実施の形態では、ＮＤフィルタ画像とＰＬフィルタ画像とを同時に生成できるので、別々に画像を生成する場合と比較して、検査に要する時間を短縮できる。

モータ６は、電気エネルギーを力学的エネルギーに変換する。本実施形態においては、モータ６に直流のパルス電圧が印加されると、モータ６は、回転運動を出力する。

駆動軸７は、モータ６の回転駆動力を被検査物体８に伝える。
治具９は、被検査物体８を載置する。

電源装置１０は、照明装置５に電源電圧を供給する。
制御装置２０は、演算機能を有する。制御装置２０は、例えば、パーソナルコンピュータ、マイコンボード、またはＦＰＧＡ（Field Programmable Gate Array）ボードなどにより構成することができる。制御装置２０は、カメラ制御部２１、検査処理部２２、照明制御部２３、およびモータ制御部２４を備える。

カメラ制御部２１は、第１のカメラ１および第２のカメラ５１を制御する。カメラ制御部２１は、第１のカメラ１と第２のカメラ５１とに対してトリガ信号を送ることにより、第１のカメラ１と第２のカメラ５１に被検査物体８を撮像させる。

検査処理部２２は、第１のカメラ１によって生成されたＮＤフィルタ画像、および第２のカメラ５１によって生成されたＰＬフィルタ画像に対して画像変換、変形、および特徴量抽出などを行なう。検査処理部２２は、ＮＤフィルタ画像とＰＬフィルタ画像との差分画像に基づいて、被検査物体８の表面に埋め込まれた金属異物の有無を検査する。検査処理部２２は、差分画像における２値化しきい値以上の値を有する連結された画素からなる領域の面積の大きさに基づいて、被検査物体８の表面に埋め込まれた金属異物の有無を検査する。

照明制御部２３は、照明部６１を制御する。照明制御部２３は、照明装置５と電源装置１０とに接続される。照明制御部２３は、照明装置５の点灯および消灯を行なうだけでなく、照明装置５の光の強度を制御する。

モータ制御部２４は、モータ６を制御する。モータ制御部２４は、モータ６に対して位置、および速度を伝達し、位置決め完了信号を受信する。モータ制御部２４は、パルス信号によってモータ６の回転角度と回転速度とを制御する。モータ６は、一般的なステッピングモータまたはサーボモータでよい。モータ制御部２４は、パルス信号を出力する。パルス信号のＯＮ／ＯＦＦのサイクルを１パルスとし、１パルスが出力される１ステップ角度だけが駆動軸７が回転する。

カメラ制御部２１から出力されるトリガ信号と、照明制御部２３から出力される点灯および消灯信号と、モータ制御部２４から出力されるパルス信号とを同期させることによって、１ステップ角度毎に画像が生成される。

図２は、実施の形態１に係る検査装置による検査処理の手順を表わすフローチャートである。

ステップＡ１において、照明制御部２３は、照明装置５を点灯させる。
ステップＡ２において、カメラ制御部２１は、第１のカメラ１と第２のカメラ５１とに撮像指示を送る。これにより、被検査物体８の表面において、ＮＤフィルタ画像とＰＬフィルタ画像とが生成される。

ステップＡ３において、検査処理部２２は、ＮＤフィルタ画像からＰＬフィルタ画像を減算することによって、ＮＤフィルタ画像とＰＬフィルタ画像との差分画像を生成する。具体的には、検査処理部２２は、ＮＤフィルタ画像の画素値からＰＬフィルタ画像の画素値を減算した値を差分画像の画素値とする。

ステップＡ４において、検査処理部２２は、予め定められた２値化しきい値を用いて、差分画像の画素値を２値化することによって、２値化画像を生成する。検査処理部２２は、差分画像の画素の値が２値化しきい以上の場合には、その画素の値を「１」とし、差分画像の画素の値が２値化しきい未満の場合には、その画素の値を「０」とする。

ステップＡ５において、検査処理部２２は、２値化画像をラベリングする。ここでラベリングとは、連結している画素に同じラベル「１」を付加することによって、複数の領域をグループとして分類する処理であり、画像処理において公知の技術である。

ステップＡ６において、検査処理部２２は、「１」のラベルが付加された複数の画素によって形成される領域毎に、その領域の面積を計測する。面積が閾値以上の領域が存在するときには、処理がステップＡ８に進む。面積が閾値以上の領域が存在しないときには、処理がステップＡ７に進む。

ステップＡ７において、検査処理部２２は、被検査物体８の表面に埋め込まれた金属異物が存在しないと判定する。

ステップＡ８において、検査処理部２２は、被検査物体８の表面に埋め込まれた金属異物が存在すると判定する。

図３は、実施の形態１によるＮＤフィルタ画像とＰＬフィルタ画像との差分処理を説明するための図である。

ＮＤフィルタ画像３００では、金属異物ＦＷ１と浮遊異物ＦＷ２とが抽出されている。ＰＬフィルタ画像３０１では、浮遊異物ＦＷ２が抽出されている。

ＮＤフィルタ画像３００からＰＬフィルタ画像３０１を減算すると、差分画像３０２が生成される。差分画像３０２では、金属異物ＦＷ１のみが抽出される。

以上のように、本実施の形態によれば、ＮＤフィルタ画像とＰＬフィルタ画像との差分画像を用いることによって、被検査物体の表面に埋め込まれた金属異物のみを検出することができる。

実施の形態２．
図４は、実施の形態２の外観検査装置の構成を表わす図である。

実施の形態２の外見検査装置は、実施の形態１の制御装置２０と相違する制御装置２００を備える。

制御装置２００は、学習装置１０１と、学習済モデル記憶部１０９と、推論装置１０５と、検査部１０８とを備える。

学習装置１０１は、データ取得部１０２と、モデル生成部１０３とを備える。
データ取得部１０２は、表面に埋め込まれた金属異物が存在しない被検査物体（以下、良品）の表面を撮影して得られ得る良品のＮＤフィルタ画像を学習用データとして取得する。このＮＤフィルタ画像は、実施の形態１と同様に、第１のカメラ１によって生成することができる。

モデル生成部１０３は、学習用データを用いて、良品のＮＤフィルタ画像から良品のＮＤフィルタ画像を再構成する学習済モデル１０４を生成する（良品学習）。

モデル生成部１０３が用いる学習アルゴリズムとして、教師あり学習、教師なし学習、または強化学習等の公知のアルゴリズムを用いることができる。一例として、ニューラルネットワークを適用した場合について説明する。

モデル生成部１０３は、例えば、ニューラルネットワークモデルに従って、いわゆる教師なし学習により、良品学習を実行する。ここで、教師なし学習とは、入力に対して結果（ラベル）のデータ組みを紐づけず、良品のＮＤフィルタ画像だけを学習装置１０１に与え、良品のＮＤフィルタ画像の特徴を学習して、良品のＮＤフィルタ画像から良品のＮＤフィルタ画像を再構成する学習済みモデルを生成する手法を言う。なお、教師あり学習とは、入力と結果（ラベル）のデータの組を学習装置に与えることで、それらの学習用データにある特徴を学習し、入力から複数の結果（ラベル）の中から、スコアの高い結果（ラベル）を推論する手法をいう。

図５は、ニューラルネットワークの構成を表わす図である。
ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層(隠れ層)、及び複数のニューロンからなる出力層によって構成される。中間層は、１層、又は２層以上でもよい。

例えば、図５に示すような３層のニューラルネットワークであれば、複数の入力が入力層（Ｘ１～Ｘ３）に入力されると、その値に重みＷ１（ｗ１１～ｗ１６）を乗算して中間層（Ｙ１～Ｙ２）に入力され、その結果にさらに重みＷ２（ｗ２１～ｗ２６）を乗算して出力層（Ｚ１～Ｚ３）から出力される。この出力結果は、重みＷ１とＷ２との値によって変わる。

本願において、ニューラルネットワークは、データ取得部１０２によって取得された良品のＮＤフィルタ画像に従って、いわゆる教師なし学習により、良品のＮＤフィルタ画像の特徴を学習する。すなわち、入力層に良品のＮＤフィルタ画像を入力して出力層から出力される再構成画像が、入力層に入力された良品のＮＤフィルタ画像に近づくように重みＷ１とＷ２とを調整することで学習する。

モデル生成部１０３に用いられる学習アルゴリズムとしては、特徴量そのものを抽出できるように学習する、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）、例えば畳み込み処理（Convolution Neural Network）に従って実行してもよい。モデル生成部１０３に用いられる学習アルゴリズムとして、オートエンコーダを用いることができる。オートエンコーダは、入力データである良品のＮＤフィルタ画像から特徴量を抽出するエンコーダと、特徴量から良品のＮＤフィルタ画像を再構成するデコーダとを備える。エンコーダは、ニューラルネットワークの入力層と中間層とによって構成され、デコーダは、ニューラルネットワークの中間層と出力層とによって構成される。さらに、他の公知の方法、例えば遺伝的プログラミング、機能論理プログラミング、またはサポートベクターマシンなどに従って機械学習を実行してもよい。

モデル生成部１０３は、以上のような学習を実行することで学習済モデルを生成し、出力する。

学習済モデル記憶部１０９は、モデル生成部１０３から出力された学習済モデル１０４を記憶する。

次に、学習装置１０１による学習手順について説明する。図６は、実施の形態２の学習装置１０１の学習処理に関するフローチャートである。

ステップａ１において、表面に埋め込まれた金属異物が存在しない被検査物体（以下、良品）の表面を撮影して得られ得る良品のＮＤフィルタ画像を学習用データとして取得する。また、前処理として、良品のＮＤフィルタ画像に画像処理を施すことによって得られた被検査物体８の特徴量を表わす画像を良品画像として入力するものとしてもよい。前処理として実施する画像処理は、一例として公知のアルゴリズム、例えば輝度二値化または正規化などを用いることができる。

ステップａ２において、モデル生成部１０３は、データ取得部１０２によって取得された学習用データを用いて、いわゆる教師なし学習により、良品のＮＤフィルタ画像から良品のＮＤフィルタ画像を再構成する学習済モデル１０４を生成する。

ステップａ３において、学習済モデル記憶部１０９は、モデル生成部１０３が生成した学習済モデル１０４を記憶する。

図４に示すように、推論装置１０５は、データ取得部１０６と、推論部１０７とを備える。

データ取得部１０６は、被検査物体８の表面を撮影して得られる被検査物体８のＮＤフィルタ画像を取得する。このＮＤフィルタ画像は、実施の形態１と同様に、第１のカメラ１によって生成することができる。

推論部１０７は、学習済モデル記憶部１０９に記憶されている良品のＮＤフィルタ画像から良品のＮＤフィルタ画像を再構成する学習済モデル１０４を用いて、データ取得部１０６で取得した被検査物体８のＮＤフィルタ画像から被検査物体８のＮＤフィルタ画像を再構成する。すなわち、この学習済モデルにデータ取得部１０６で取得した被検査物体８のＮＤフィルタ画像を入力することで、被検査物体８のＮＤフィルタ画像の再構成画像を生成することができる。

被検査物体８が良品の場合には、推論部１０７によって生成された再構成画像は、データ取得部１０６で取得し、オートエンコーダに入力された被検査物体のＮＤフィルタ画像（良品画像）に近い画像となり、再構成が適切に行われる。被検査物体８が良品でない場合には、推論部１０７によって生成された再構成画像は、データ取得部１０６で取得し、オートエンコーダに入力された被検査物体のＮＤフィルタ画像に近い画像とはならず、再構成が適切に行われない。なぜなら、学習済みモデルは、良品のＮＤフィルタ画像から良品のＮＤフィルタ画像を再構成するように学習されたものだからである。

図４に示す検査部１０８は、推論部１０７から出力される被検査物体８の再構成画像と、推論部１０７に入力した被検査物体８のＮＤフィルタ画像とを比較することによって、被検査物体８の表面に埋め込まれた金属異物が存在するか否かを検査する。比較手法の一例として、例えばZscoreまたはパターンマッチングなどの公知のアルゴリズムを用いることができる。

次に、推論装置１０５による推論手順について説明する。図７は、実施の形態２の推論装置１０５の推論処理に関するフローチャートである。

ステップｂ１において、データ取得部１０６は、被検査物体８のＮＤフィルタ画像を取得する。

ステップｂ２において、推論部１０７は、学習済モデル記憶部１０９に記憶された学習済モデル１０４に、データ取得部１０６が取得した被検査物体８のＮＤフィルタ画像を入力し、再構成画像を得る。

ステップｂ３において、推論部１０７は、得られた再構成画像を検査部１０８に出力する。

ステップｂ４において、検査部１０８は、データ取得部１０６が取得した被検査物体８のＮＤフィルタ画像と再構成画像とを比較する。検査部１０８は、パターンマッチングなどによって、２つの画像が類似していると判断したときには、被検査物体８の表面に埋め込まれた金属異物が存在しないと判定することができる。検査部１０８は、パターンマッチングなどによって、２つの画像が類似していないと判断したときに、被検査物体８の表面に埋め込まれた金属異物が存在すると判定することができる。

なお、本実施の形態では、モデル生成部１０３が用いる学習アルゴリズムに教師なし学習を適用した場合について説明したが、これに限られるものではない。学習アルゴリズムについては、教師なし学習以外にも、強化学習、教師あり学習、または半教師あり学習等を適用することも可能である。

モデル生成部１０３は、形状が類似した複数の樹脂成型品の良品の被検査物体８のＮＤフィルタ画像を学習用データとして用いて、良品学習を実行してもよい。学習用データを収集する樹脂成型品の良品の被検査物体８を途中で対象のモデルとして追加すること、および対象のモデルから除去することも可能である。さらに、ある樹脂成型品の良品の被検査物体８のＮＤフィルタ画像を用いて良品学習を実行して得られる学習済みモデルに、さらに別の樹脂成型品の良品の被検査物体８のＮＤフィルタ画像を用いて良品学習を再度実行するようにしてもよい。

以上のように、本実施の形態によれば、被検査物体のＮＤフィルタ画像を推論装置１０５に入力するだけで、被検査物体８の良否、すなわち表面に埋め込まれた金属異物の有無を判定することができる。

実施の形態３．
図８は、実施の形態３の外観検査装置の構成を表わす図である。

実施の形態３の外観検査装置は、実施の形態２の制御装置２００と相違する制御装置２００Ａを備える。

制御装置２００Ａは、学習装置１０１、推論装置１０５、学習済モデル記憶部１０９、および検査部１０８に代えて、学習装置１０１Ａ、推論装置１０５Ａ、学習済モデル記憶部１０９Ａ、および表示部１２０を備える。

学習装置１０１Ａは、データ取得部１０２Ａと、モデル生成部１０３Ａとを備える。
データ取得部１０２Ａは、被検査物体８の表面を撮影して得られる被検査物体８のＮＤフィルタ画像と、被検査物体８の表面に埋め込まれた金属異物が存在するか否かを表わす識別データとを学習用データとして取得する。

モデル生成部１０３Ａは、学習用データを用いて、被検査物体８の表面を撮影して得られる被検査物体８のＮＤフィルタ画像から被検査物体８の表面に埋め込まれた金属異物が存在するか否かを識別する学習済モデル１０４Ａを生成する。

モデル生成部１０３Ａが用いる学習アルゴリズムは、教師あり学習、教師なし学習、または強化学習等の公知のアルゴリズムを用いることができる。一例として、ニューラルネットワークを適用した場合について説明する。

モデル生成部１０３Ａは、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、被検査物体８の表面に埋め込まれた金属異物が存在するか否かを学習する。ここで、教師あり学習とは、入力と結果（ラベル）のデータの組を学習装置１０１Ａに与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。

本願において、ニューラルネットワークは、データ取得部１０２Ａによって取得される被検査物体８のＮＤフィルタ画像と、被検査物体８の表面に埋め込まれた金属異物が存在するか否かを表わす識別データとを含む学習用データを用いて、いわゆる教師あり学習により、被検査物体８の表面に埋め込まれた金属異物が存在するか否かを学習する。

すなわち、ニューラルネットワークは、入力層にＮＤフィルタ画像を入力して出力層から出力された結果が、識別データ（正解）に近づくように重みＷ１とＷ２とを調整することで学習する。

モデル生成部１０３Ａは、以上のような学習を実行することで学習済モデル１０４Ａを生成し、出力する。

学習済モデル記憶部１０９Ａは、モデル生成部１０３Ａから出力された学習済モデル１０４Ａを記憶する。

次に、学習装置１０１Ａによる学習手順について説明する。図９は、実施の形態３の学習装置１０１Ａの学習処理に関するフローチャートである。

ステップｃ１において、データ取得部１０２Ａは、被検査物体８を撮影して得られる被検査物体８のＮＤフィルタ画像と、被検査物体８の表面に埋め込まれた金属異物が存在するか否かを表わす識別データ（正解）との組み合わせを含む学習用データを取得する。

ステップｃ２において、モデル生成部１０３Ａは、データ取得部１０２Ａで取得した学習用データに基づいて、いわゆる教師あり学習により、被検査物体８のＮＤフィルタ画像から被検査物体８の表面に埋め込まれた金属異物が存在するか否かを識別する学習済モデル１０４Ａを生成する。

ステップｃ３において、学習済モデル記憶部１０９Ａは、モデル生成部１０３Ａが生成した学習済モデル１０４Ａを記憶する。

図８の推論装置１０５Ａは、データ取得部１０６Ａと、推論部１０７Ａとを備える。
データ取得部１０６Ａは、被検査物体８の表面を撮影して得られる被検査物体８のＮＤフィルタ画像を取得する。

推論部１０７Ａは、学習済モデル記憶部１０９Ａに記憶されている学習済モデル１０４Ａを利用して、データ取得部１０６Ａで取得した被検査物体８のＮＤフィルタ画像から被検査物体８の表面に金属異物が存在するか否かを推論する。すなわち、この学習済モデルにデータ取得部１０６Ａで取得した被検査物体８のＮＤフィルタ画像を入力することで、このＮＤフィルタ画像から推論される被検査物体８の表面に埋め込まれた金属異物が存在するか否かを識別する識別データを出力することができる。

次に、推論装置１０５Ａによる推論手順について説明する。図１０は、実施の形態３の推論装置１０５Ａの推論処理に関するフローチャートである。

ステップｄ１において、データ取得部１０６Ａは、被検査物体８の表面を撮影することによって得られる被検査物体８のＮＤフィルタ画像を取得する。

ステップｄ２において、推論部１０７Ａは、学習済モデル記憶部１０９Ａに記憶された学習済モデル１０４Ａにデータ取得部１０６Ａで取得した被検査物体８のＮＤフィルタ画像を入力し、被検査物体８の表面に埋め込まれた金属異物が存在するか否かを識別する識別データを得る。

ステップｄ３において、推論部１０７Ａは、得られた識別データを表示部１２０に出力する。

ステップｄ４において、表示部１２０は、被検査物体８の表面に埋め込まれた金属異物が存在するか否かを表わす情報を表示することができる。

以上のように、本実施の形態によれば、被検査物体のＮＤフィルタ画像を推論装置１０５Ａに入力するだけで、被検査物体８の良否、すなわち表面に埋め込まれた金属異物の有無を判定することができる。

実施の形態４．
図１１は、実施の形態４の外観検査装置の構成を表わす図である。

実施の形態４の外観検査装置が、実施の形態１の外観検査装置と相違する点は、実施の形態４の外観検査装置が、照明部６１に代えて照明部６１Ａを備える点である。

照明部６１Ａは、被検査物体８を撮影するときの明るさを調整する。照明部６１Ａは、被検査物体８に対して、特定の偏光角度成分のみを有する照明光Ｌ１および照射光Ｌ２を照射する。照明部６１Ａは、照明部６１と同様に、照明装置５と偏光板１１とを備える。照明部６１Ａは、さらに、照明装置５４と偏光板５５とを備える。照明装置５４は、光を照射する。偏光板５５は、照明装置５４から照射される光の成分のうち、特定の偏光角度成分だけを有する照射光Ｌ２だけを出射する。特定の偏光角度成分だけを有する照射光Ｌ２が被検査物体８に射される。

照射光Ｌ１と照射光Ｌ２とが被検査物体８に入射すると、拡散反射の反射光ＬＢ１が発生し、ビームスプリッタ４に入射する。

ビームスプリッタ４は、２個の直角プリズムによって構成されたキューブ型ビームスプリッタである。ビームスプリッタ４は、反射光ＬＢ１が入射する方向に配置される。ビームスプリッタ４は、入射光を定められた分割比で２つの光に分割する。ビームスプリッタ４に入射した反射光ＬＢ１は、反射光ＬＢ２と反射光ＬＢ３とに分岐される。反射光ＬＢ２は、第１のカメラ１に入射される。反射光ＬＢ３は、第２のカメラ５１に入射される。

第１のカメラ１は、実施の形態１と異なる位置に配置している。
第１のカメラ１は、被検査物体８の法線方向から被検査物体８の表面を撮影する。第１のカメラ１と第２のカメラ５１との位置関係は、実施の形態１と同様である。したがって、第１のカメラ１が移動したことにより、第２のカメラ５１もオフセットした位置に配置している。

図１２は、実施の形態４に係る検査装置による検査処理の手順を表わすフローチャートである。

本フローチャートは、実施の形態１の図２で示した内容に検査範囲を動的に設定する処理が加えられている。

ステップＢ１において、照明制御部２３は、照明装置５と照明装置５４とを点灯させる。

ステップＢ２において、カメラ制御部２１は、第１のカメラ１と第２のカメラ５１とに撮像指示を送る。これにより、被検査物体８の表面において、ＮＤフィルタ画像とＰＬフィルタ画像とが生成される。

ステップＢ３において、検査範囲が設定される。
図１３は、検査範囲を説明するための図である。ＮＤフィルタ画像４００は、被検査物体４０１の撮影画像を含む。被検査物体４０１には、照明装置５と照明装置５４とから照射された光が正反射する範囲がある。正反射する範囲が矩形４０２と矩形４０３とで示されている。照明装置５と照明装置５４との照度は、あらかじめ正反射する範囲の輝度値が２５５（最大値）の光量で第１のカメラ１に入力されるように設定されている。検査処理部２２は、輝度値が２５５になる範囲、すなわち矩形４０２と矩形４０３を検出し、矩形４０２と矩形４０３とで挟まれた隙間を検査範囲として設定する。金属異物が、正反射する範囲に埋め込まれていた場合、金属異物も輝度値２５５になり、金属異物を検出できない課題があったが、正反射する範囲を除いたところを検査範囲とすることによって、その課題が解決される。

矩形４０２と矩形４０３とで挟まれた範囲の表面に埋め込まれたフラット形状の金属異物が存在すると、金属異物から正反射光と拡散反射光とが同時に生成される。また、浮遊異物においては拡散反射光のみが生成される。

ステップＢ４において、検査処理部２２は、ＮＤフィルタ画像からＰＬフィルタ画像を減算することによって、ＮＤフィルタ画像とＰＬフィルタ画像との差分画像を生成する。ＮＤフィルタ３を透過する光は、金属異物からの正反射光と拡散反射光と、浮遊異物からの拡散反射光とを含むため、ＮＤフィルタ画像では、金属異物と浮遊異物とが明るく強調され、ＰＬフィルタ画像でも金属異物と浮遊異物とが明るく強調されるが、ＰＬフィルタ５３を透過する光は、金属異物からの拡散反射光のみを含むため、ＰＬフィルタ画像の金属異物の明るさは、ＮＤフィルタ画像の金属異物の明るさに対して暗くなっている。したがって、ＮＤフィルタ画像とＰＬフィルタ画像との差分画像から、金属異物だけを検査できる。具体的には、検査処理部２２は、ＮＤフィルタ画像の画素値からＰＬフィルタ画像の画素値を減算した値を差分画像の画素値とする。

ステップＢ５において、検査処理部２２は、予め定められた２値化しきい値を用いて、差分画像の画素値を２値化することによって、２値化画像を生成する。検査処理部２２は、差分画像の画素の値が２値化しきい以上の場合には、その画素の値を「１」とし、差分画像の画素の値が２値化しきい未満の場合には、その画素の値を「０」とする。

ステップＢ６において、検査処理部２２は、２値化画像をラベリングする。ここでラベリングとは、連結している画素に同じラベル「１」を付加することによって、複数の領域をグループとして分類する処理であり、画像処理において公知の技術である。

ステップＢ７において、検査処理部２２は、「１」のラベルが付加された複数の画素によって形成される領域毎に、その領域の面積を計測する。面積が閾値以上の領域が存在するときには、処理がステップＢ９に進む。面積が閾値以上の領域が存在しないときには、処理がステップＢ８に進む。

ステップＢ８において、検査処理部２２は、被検査物体８の表面に埋め込まれた金属異物が存在しないと判定する。

ステップＢ９において、検査処理部２２は、被検査物体８の表面に埋め込まれた金属異物が存在すると判定する。

なお、本実施の形態では、照明装置５と照明装置５４とが、バー状の照明装置である場合について説明したが、リング状の照明装置であってもよい。本実施の形態では、検査範囲を広くするために照明装置５と照明装置５４の２台を設置するものとしたが、バー状の照明装置１台のみ設置することも可能である。

以上のように、本実施の形態によれば、ＮＤフィルタ画像とＰＬフィルタ画像との差分画像を用いることによって、被検査物体の表面に埋め込まれた金属異物のみを検出することができる。

図１４は、制御装置２０、２００、２００Ａのハードウェア構成を表わす図である。
制御装置２０、２００、２００Ａは、相当する動作をデジタル回路のハードウェアまたはソフトウェアで構成することができる。制御装置２０、２００、２００Ａの機能をソフトウェアを用いて実現する場合には、制御装置２０、２００、２００Ａは、例えば、図１１に示すように、バス１００３によって接続されたプロセッサ１００１とメモリ１００２とを備え、メモリ１００２に記憶されたプログラムをプロセッサ１００１が実行するようにすることができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 第１のカメラ、２，５２ レンズ、３ ＮＤフィルタ、４ ビームスプリッタ、５，５４ 照明装置、６ モータ、７ 駆動軸、８ 被検査物体、９ 治具、１０ 電源装置、１１，５５ 偏光板、２０，２００，２００Ａ 制御装置、２１ カメラ制御部、２２ 検査処理部、２３ 照明制御部、２４ モータ制御部、５１ 第２のカメラ、５３ ＰＬフィルタ、６１，６１Ａ 照明部、１０１，１０１Ａ 学習装置、１０２，１０２Ａ，１０６，１０６Ａ データ取得部、１０３，１０３Ａ モデル生成部、１０４，１０４Ａ 学習済モデル、１０５，１０５Ａ 推論装置、１０７，１０７Ａ 推論部、１０８ 検査部、１０９，１０９Ａ 学習済モデル記憶部、１２０ 表示部、１００１ プロセッサ、１００２ メモリ、１００３ バス。

Claims (7)

1. ＮＤフィルタを有し、被検査物体の表面を撮影して、ＮＤフィルタ画像を生成する第１のカメラと、
   ＰＬフィルタを有し、前記被検査物体の表面を撮影して、ＰＬフィルタ画像を生成する第２のカメラと、
   前記ＮＤフィルタ画像と前記ＰＬフィルタ画像との差分画像に基づいて、前記被検査物体の表面に埋め込まれた金属異物の有無を検査する制御装置とを備え、
   前記制御装置は、前記差分画像における２値化しきい値以上の値を有する連結された画素からなる領域の面積の大きさに基づいて、前記被検査物体の表面に埋め込まれた前記金属異物の有無を検査する、外観検査装置。
2. 前記被検査物体の表面に対して、特定の偏光角度成分のみを有する照射光を照射する照明部をさらに備える、請求項１記載の外観検査装置。
3. 前記照射光が正反射する方向に配置され、前記照射光の反射光を２分岐させるビームスプリッタをさらに備え、
   前記第１のカメラは、前記正反射する方向から前記被検査物体の表面を撮影し、
   前記第２のカメラは、前記正反射する方向と垂直な方向から前記被検査物体の表面を撮影する、請求項２に記載の外観検査装置。
4. 前記第１のカメラおよび前記第２のカメラは、前記被検査物体の表面を同時に撮影する、請求項１～３のいずれか１項に記載の外観検査装置。
5. 前記制御装置は、前記被検査物体における正反射する範囲を除いた箇所を検査範囲として、前記被検査物体の表面に埋め込まれた金属異物の有無を検査する、請求項１または２に記載の外観検査装置。
6. ＮＤフィルタを有する第１のカメラが、被検査物体の表面を撮影して、ＮＤフィルタ画像を生成するステップと、
   ＰＬフィルタを有する第２のカメラが、前記被検査物体の表面を撮影して、ＰＬフィルタ画像を生成するステップと、
   制御装置が、前記ＮＤフィルタ画像と前記ＰＬフィルタ画像との差分画像に基づいて、前記被検査物体の表面に埋め込まれた金属異物の有無を検査するステップとを備える、外観検査方法。
7. 前記検査するステップは、前記被検査物体における正反射する範囲を除いた箇所を検査範囲として、前記被検査物体の表面に埋め込まれた金属異物の有無を検査するステップを含む、請求項６記載の外観検査方法。

Images