JP6702064B2 - 外観異常検査装置、方法、及びプログラム - Google Patents

Description

本発明は、外観異常検査装置、方法、及びプログラムに関し、特に、検査対象物の外観の異常を検査する外観異常検査装置、方法、及びプログラムに関する。

従来より、検査対象物の表面に生じる異常部の像を擬似的に表した擬似異常部画像を複数生成する擬似異常部画像生成部（１４）と、前記複数の擬似異常部画像のそれぞれについて、当該擬似異常部画像上の異常部の像が前記検査対象物の良品に対応するか、または前記検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得する良否判定情報取得部（１５）と、前記複数の擬似異常部画像のそれぞれと、前記擬似異常部画像のそれぞれに対応する前記良否判定情報から、前記検査対象物の良品と前記検査対象物の不良品とを識別する境界を決定する境界決定部（１２）と、前記異常部の像についての特徴量と、前記境界に従って決定される当該特徴量に対する前記検査対象物の良否判定結果を表す値との組を学習サンプルとして、複数生成するサンプル生成部（１６）と、前記検査対象物を撮影した検査画像に基づいて前記検査対象物が良品か否かを識別する外観検査用識別器を、前記複数の学習サンプルのそれぞれに含まれる前記特徴量を当該外観検査用識別器に入力することにより、当該特徴量に対応する前記良否判定結果を表す値を出力するように学習する識別器学習部（１７）と、を有することを特徴とする外観検査用識別器生成装置が知られている（特許文献１）。

特許５５４６３１７号公報

従来技術では、外観検査自動化を実現するために、擬似異常部画像を生成させている。擬似異常部を生成するためには、異常部と良品の定量的な線引きが必要である。たいていの目視での外観検査に於いては、この線引きがあいまいな場合が多く、『異常無きこと』などと表現されていたりと定量的ではない場合が多い。

さらには、これまでに見たことのある異常部については、苦労して擬似異常部を生成することは可能であるが、未知の異常部に対して、擬似異常部を生成することは不可能である。これにより、未知の異常部に対しての検査能力は未定となり、自動検査技術として危ういものとなってしまう。

本発明は、上記事情を鑑みて成されたものであり、本発明の目的は、検査対象物の外観の異常を精度良く検出することができる外観異常検査装置、方法、及びプログラムを提供することにある。

上記目的を達成するために、本発明に係る外観異常検査装置は、検査対象物の外観の異常を検査する外観異常検査装置であって、良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成する画像復元手段と、前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する異常検出手段と、を含んで構成されている。

本発明に係る外観異常検査方法は、検査対象物の外観の異常を検査する外観異常検査装置における外観異常検査方法であって、画像復元手段が、良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成し、異常検出手段が、前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する。

本発明に係るプログラムは、検査対象物の外観の異常を検査するためのプログラムであって、コンピュータを、良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成する画像復元手段、及び前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する異常検出手段として機能させるためのプログラムである。

本発明に係る外観異常検査装置、方法、及びプログラムによれば、画像復元手段によって、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成する。そして、異常検出手段によって、前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する。

本発明によれば、良品特徴を表す特徴空間の部分空間に検査対象画像を復元した復元画像を生成し、検査対象画像と比較して、検査対象物の外観の異常を検出することにより、検査対象物の外観の異常を精度良く検出することができる、という効果を奏する。

本発明の第１の実施の形態に係る外観異常検査装置および外観異常検査方法を説明するための図である。 良品特徴を表す特徴空間の部分空間の一例を示す図である。 検査対象画像と、差分画像との一例を示す図である。 本発明の第１の実施の形態に係る外観異常検査装置の構成の一例を示す図である。 外観異常検査装置による変換方法生成処理ルーチンを示すフローチャートである。 外観異常検査装置による異常判定処理ルーチンを示すフローチャートである。 検査対象画像の異常部周辺にノイズが生じることを説明するための図である。 （Ａ）中央値画像を説明するための図、及び（Ｂ）差分画像を説明するための図である。 本発明の第２の実施の形態に係る外観異常検査装置の構成の一例を示す図である。 （Ａ）検査対象画像の例を示す図、（Ｂ）抽出すべき異常箇所を示す図、及び（Ｃ）抽出された異常箇所候補の例を示す図である。 外観異常検査装置による異常判定処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明するが、まず、図１〜図３を参照して、本実施の形態の概要について説明する。

＜本発明の第１の実施の形態の概要＞
図１に、本実施の形態に係る方法の位置づけを示す。目視検査の自動化を効率的に行うことを目的に、現状の目視検査結果で得られる大量のデータを用いる方法である。目視検査で良品とされたもののみを用いて学習を行うため、良品以外のものを異常として検出することとなる。これにより、従来目視検査を自動化する際に、異常の定義やそれを見出すための特徴量の選定やその定量化のために必要とされた専門家の工数を削減することが可能となる。

図２、図３に、本実施の形態に係る方法の概念と検査結果例を示す。大量の良品画像データから良品の特徴を示す固有ベクトルを求め、この固有ベクトルを用いて検査データを変換する。変換された画像は良品特徴を持つ画像データとなる。このことから、検査画像データと変換画像データを比較して差分画像を生成することにより異常部位を特定することが可能となる。

＜本発明の第１の実施の形態に係る外観異常検査装置の構成＞

図４を参照して、本発明の第１の実施の形態に係る外観異常検査装置１００について説明する。

図４に示すように、外観異常検査装置１００は、入力部１０、演算部２０、及び出力部４０を含んで構成されている。

入力部１０は、良品判定された複数の検査対象品の外観を、同一の撮像条件で撮像した、良品画像群を受け付ける。また、入力部１０は、良品画像群と同一の撮像条件で撮像された、検査対象画像を受け付ける。

演算部２０は、検査対象画像に基づき、検査対象品の外観の異常の有無について画像解析する部位であり、たとえば、ＣＰＵと、ＲＡＭと、後述する変換方法生成処理ルーチン及び異常判定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。

演算部２０は、良品画像データベース２２、特徴抽出部２４、変換方法生成部２６、固有ベクトル記憶部２８、復元画像生成部３０、及び異常判定部３２を備えている。

良品画像データベース２２は、入力部１０による受け付けた良品画像群を記憶している。

特徴抽出部２４は、良品画像群に含まれる良品画像の各々から、特徴ベクトルを抽出する。例えば、良品画像のＲＧＢの輝度情報を並べたｄ次元の特徴ベクトルを抽出する。

変換方法生成部２６は、特徴抽出部２４によって抽出された良品画像の各々特徴ベクトルに基づいて、それぞれの良品画像が持つ特徴ベクトルを特徴空間へ投影してできる良品特徴を有する部分空間を形成するための変換方法を生成する。

本実施の形態では、部分空間法により、大量の良品画像の特徴ベクトルから、良品特徴を示す固有ベクトルを求める。具体的には、特徴ベクトルｘの自己相関行列Ｒを計算し、ＫＬ展開を行う。ここで、ｎは学習データである良品画像のサンプル数であり、ｒはＲのランクである。Ｕはｄ×ｒの固有ベクトル行列であり、Λは対角成分に固有値λを持つ固有値行列である。

固有ベクトル記憶部２８は、変換方法生成部２６によって計算された固有ベクトル行列Ｕを記憶している。

復元画像生成部３０は、固有ベクトル記憶部２８に記憶された固有ベクトル行列Ｕを用いて、入力された検査対象画像を、良品特徴を表す特徴空間の部分空間に復元したときの復元画像を生成する。具体的には、固有ベクトル行列Ｕを用いて、以下の（１）式に従って、検査対象画像ｙを復元して、復元画像ｙ´を生成する。

・・・（１）

異常判定部３２は、復元画像生成部３０によって生成された復元画像と、検査対象画像とを比較して得られた差分の大きさを表す差分画像を生成し、差分画像から、検査対象物の外観の異常箇所を検出する。

本実施の形態では、Lmeds推定法を用いて、検査対象物の外観の異常箇所を検出する。具体的には、復元画像ｙ´と検査対象画像ｙの差分画像を生成する際、ＲＧＢの復元誤差の２乗和により濃淡画像を生成し、異常箇所では検査対象画像と復元画像との差が大きくなる性質を用いて、異常箇所の特定を行う。

異常判定部３２によって特定された異常箇所の特定結果が、出力部４０により出力される（上記図３参照）。

＜本発明の第１の実施の形態に係る外観異常検査装置の作用＞
まず、入力部１０により、良品判定された複数の検査対象品の外観を、同一の撮像条件で撮像した、良品画像群を受け付けると、外観異常検査装置１００は、良品画像群を良品画像データベース２２に格納し、図５に示す変換方法生成処理ルーチンを実行する。

ステップＳ１００において、良品画像群の良品画像の各々から特徴ベクトルを抽出する。

そして、ステップＳ１０２において、上記ステップＳ１００で抽出された良品画像の各々の特徴ベクトルに基づいて、特徴ベクトルの自己相関行列Ｒを計算し、ＫＬ展開を行って、良品特徴を有する部分空間を形成するための変換方法として、固有ベクトル行列を計算し、固有ベクトル記憶部２８に格納し、変換方法生成処理ルーチンを終了する。

次に、入力部１０により、良品画像群と同一の撮像条件で検査対象品を撮像した検査対象画像を受け付けると、外観異常検査装置１００は、図６に示す異常判定処理ルーチンを実行する。

ステップＳ１１０において、固有ベクトル記憶部２８に記憶されている固有ベクトル行列を用いて、上記（１）式に従って、検査対象画像を部分空間へ復元して、復元画像を生成する。

ステップＳ１１２では、検査対象画像と、上記ステップＳ１１０で生成した復元画像とを比較して差分画像を作成する。ステップＳ１１４では、上記ステップＳ１１２で作成した差分画像から異常箇所を特定して、出力部４０により出力して、異常判定処理ルーチンを終了する。

以上詳述したように、本発明の第１の実施の形態に係る外観異常検査装置によれば、良品特徴を表す特徴空間の部分空間に検査対象画像を復元した復元画像を生成し、検査対象画像と比較して、検査対象物の外観の異常箇所を検出することにより、検査対象物の外観の異常を精度良く検出することができる。

また、従来より行われている目視検査でサンプルを数多く得ることが容易な良品画像のみを用いて検査手法を構築している。さらに、近年多く用いられるようになってきた機械学習技術を採用し、数多く得られた良品画像を用いることにより、従来多くの時間を要した特徴量の選定を自動化している。

また、目視検査を自動化するために、それまで行われている目視検査方法を参考にして、検査対象部品から有用な情報を画像として取り出すためのセンシング技術と、センシングされた画像から異常を情報として抽出するための認識技術の開発が必要となる。これら、センシング技術や認識技術の開発では、高度な専門知識が要求とされ、さらに開発技術の評価・導入に多くの時間が必要とされてきた。また、これら検査の自動化技術は対象部品ごとに異なり共通化が難しく、一品一様での検査技術の開発が行われてきた。本発明の実施の形態では、これらの手間と工数を低減させ、効率的に目視検査を自動化することが可能となる。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

＜本発明の第２の実施の形態の概要＞
図７に、本実施の形態に係る方法が解決すべき課題を示す。上記第１の実施の形態で説明した部分空間法での復元時に、検査対象画像の異常部周辺にノイズが生じる。このノイズが、異常部抽出時に異常部として抽出されて本来の異常部を見誤る場合がある。

そこで、本実施の形態では、図８に示すように、検査対象画像から検出された異常部分を、例えば、良品画像群から生成した中央値画像で置き換え、検査対象画像との差分画像から、異常部を検出する。

＜本発明の第２の実施の形態に係る外観異常検査装置の構成＞
図９を参照して、本発明の第２の実施の形態に係る外観異常検査装置２００について説明する。

図９に示すように、外観異常検査装置２００の演算部２２０は、良品画像データベース２２、特徴抽出部２４、変換方法生成部２６、固有ベクトル記憶部２８、中央値画像生成部２２６、中央値画像記憶部２２８、復元画像生成部３０、異常箇所抽出部２３２、置換部２３４、及び異常判定部２３６を備えている。

中央値画像生成部２２６は、良品画像データベース２２に記憶されている良品画像群から、画素毎に中央値を計算して、中央値画像を生成し、中央値画像記憶部２２８に格納する。

なお、良品画像群に含まれる良品画像の各々と、検査対象画像とは、位置決めされた検査対象品の外観を、同一の撮像条件で撮像したものである。

異常箇所抽出部２３２は、復元画像生成部３０によって生成された復元画像と、検査対象画像とを比較して得られた差分の大きさを表す差分画像を生成し、差分画像から、検査対象物の外観の異常箇所候補を抽出する。例えば、図１０（Ａ）に示す検査対象画像から、図１０（Ｃ）に示す異常箇所候補が抽出される。このときの抽出すべき本来の異常箇所は、図１０（Ｂ）に示す異常部分である。

置換部２３４は、検査対象画像における、抽出された異常箇所候補を、中央値画像の画素値で置き換えて、置換え画像を生成する。

異常判定部２３６は、置換部２３４によって生成された置換え画像と、検査対象画像とを比較して得られた差分の大きさを表す差分画像を生成し、差分画像から、検査対象物の外観の異常箇所を検出する。

異常判定部２３６によって特定された異常箇所の特定結果が、出力部４０により出力される。

＜本発明の第２の実施の形態に係る外観異常検査装置の作用＞
まず、入力部１０により、良品画像群を受け付けると、外観異常検査装置２００は、良品画像群を良品画像データベース２２に格納し、上記図５に示す変換方法生成処理ルーチンを実行する。また、外観異常検査装置２００は、良品画像群から中央値画像を生成し、中央値画像記憶部２２８に格納する。

次に、入力部１０により、検査対象画像を受け付けると、外観異常検査装置２００は、図１１に示す異常判定処理ルーチンを実行する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１１０において、固有ベクトル記憶部２８に記憶されている固有ベクトル行列を用いて、検査対象画像を部分空間へ復元して、復元画像を生成する。

ステップＳ１１２では、検査対象画像と、上記ステップＳ１１０で生成した復元画像とを比較して差分画像を作成する。ステップＳ２００では、上記ステップＳ１１２で作成した差分画像から異常箇所候補を抽出する。

そして、ステップＳ２０２において、検査対象画像における、上記ステップＳ２００で抽出された異常箇所候補を、中央値画像の画素値を用いて置き換え、置換え画像を生成する。

ステップＳ２０４では、検査対象画像と、上記ステップＳ２０２で生成した置換え画像とを比較して差分画像を作成する。ステップＳ２０６では、上記ステップＳ２０４で作成した差分画像から異常箇所を特定して、出力部４０により出力して、異常判定処理ルーチンを終了する。

以上詳述したように、本発明の第２の実施の形態に係る外観異常検査装置によれば、良品特徴を表す特徴空間の部分空間に検査対象画像を復元した復元画像を生成し、検査対象画像と比較して、検査対象物の外観の異常箇所候補を抽出し、良品画像群の中央値画像で異常箇所候補を置き換えた置換え画像と、検査対象画像とを比較して、検査対象物の外観の異常箇所を検出することにより、検査対象物の外観の異常を更に精度良く検出することができる。なお、上記実施形態では、置換え画像の例として、中央値画像を用いる場合を示したが、良品画像の画素値の平均値をとった平均値画像などを用いることも可能である。

なお、上記の実施の形態では、外観異常検査装置において、良品特徴の固有ベクトルを求める場合を例に説明したが、これに限定されるものではない。例えば、外観異常検査装置とは別の装置において、良品画像群から良品特徴の固有ベクトルを求めるようにしてもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 入力部
２０、２２０ 演算部
２２ 良品画像データベース
２４ 特徴抽出部
２６ 変換方法生成部
２８ 固有ベクトル記憶部
３０ 復元画像生成部
３２、２３６ 異常判定部
４０ 出力部
１００、２００ 外観異常検査装置
２２６ 中央値画像生成部
２３２ 異常箇所抽出部
２３４ 置換部

Claims (5)

1. 検査対象物の外観の異常を検査する外観異常検査装置であって、
   良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成する画像復元手段と、
   前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常箇所候補を抽出する異常箇所抽出手段と、
   前記検査対象画像の前記抽出された異常箇所候補を、前記複数の良品画像から生成される中央値画像の画素値を用いて置き換えた置換え画像を生成する置換手段と、
   前記置換手段によって生成された置換え画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する異常検出手段と、
   を含む外観異常検査装置。
2. 前記複数の良品画像の各々から特徴ベクトルを抽出する特徴抽出手段と、
   前記特徴抽出手段によって前記複数の良品画像の各々から抽出された特徴ベクトルに基づいて、良品特徴を表す特徴空間の部分空間を形成するための変換方法を生成する変換方法生成手段と、
   を更に含み、
   前記画像復元手段は、前記変換方法生成手段によって生成された前記変換方法を用いて、前記復元画像を生成する請求項１記載の外観異常検査装置。
3. 前記変換方法生成手段は、前記特徴抽出手段によって前記複数の良品画像の各々から抽出された特徴ベクトルに基づいて、前記変換方法として、前記部分空間を形成するための固有ベクトルを生成する請求項２記載の外観異常検査装置。
4. 検査対象物の外観の異常を検査する外観異常検査装置における外観異常検査方法であって、
   画像復元手段が、良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成し、
   異常箇所抽出手段が、前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常箇所候補を抽出し、
   置換手段が、前記検査対象画像の前記抽出された異常箇所候補を、前記複数の良品画像から生成される中央値画像の画素値を用いて置き換えた置換え画像を生成し、
   異常検出手段が、前記置換手段によって生成された置換え画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する
   外観異常検査方法。
5. 検査対象物の外観の異常を検査するためのプログラムであって、
   コンピュータを、
   良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成する画像復元手段、
   前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常箇所候補を抽出する異常箇所抽出手段、
   前記検査対象画像の前記抽出された異常箇所候補を、前記複数の良品画像から生成される中央値画像の画素値を用いて置き換えた置換え画像を生成する置換手段、及び
   前記置換手段によって生成された置換え画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する異常検出手段
   として機能させるためのプログラム。