JP7257470B2 - 欠陥検査装置、欠陥検査方法および予測モデル生成方法 - Google Patents

Description

本発明は、欠陥検査装置、欠陥検査方法および予測モデル生成方法に関し、特に、機械学習によって生成される学習モデルを用いて欠陥の検査を行う装置および方法に用いて好適なものである。

従来、機械学習によって生成される学習モデルを用いて、被検査物の撮影画像をもとに欠陥の有無を判定するシステムが知られている（例えば、特許文献１，２参照）。特許文献１に記載の検査装置では、被検査物の撮影画像において所定の特徴量に基づいて１つ以上の欠陥候補を抽出し、抽出された欠陥候補が含まれる判断領域について、機械学習によって構築される学習モデルを用いて欠陥の有無を判断する。そして、判断領域のいずれかに欠陥があると判断された場合は、欠陥があることを示す信号を出力する一方、判断領域の全てに欠陥がないと判断された場合は、欠陥がないことを示す信号を出力する。特許文献２に記載の画像評価装置では、欠陥の有無だけでなく、欠陥の種類も判定する。

特許文献１に記載の学習モデルは、欠陥を含む画像に「欠陥あり」の正解ラベルを付与し、欠陥を含まない画像に「欠陥なし」の正解ラベルを付与してなる多数の教師データを用いた教師あり学習によって生成される。そして、このようにして生成された学習モデルに被検査物の撮影画像を入力することにより、欠陥のあり／なしを示す情報を学習モデルからの出力として得る。特許文献２に記載の学習モデルは、欠陥の種類が既知の画像に対してその欠陥の種類を正解ラベルとして付与して成る多数の教師データを用いた教師あり学習によって生成される。

機械学習された学習モデルを用いて欠陥の検査を行う場合、被検査物の撮影画像が、教師データとして用いた画像と同じであれば、正しい検査結果を得ることが可能である。しかしながら、一般的に、被検査物の撮影画像が教師データとして用いた画像と全く同じであることはない。この場合、被検査物の撮影画像から抽出される特徴と、教師データから抽出された特徴（学習モデルに記録された特徴）との近似度に基づく確率計算によって判定が行われるため、常に正しい検査結果が得られるとは限らない。

欠陥検査の性質上、欠陥品を正常品であると判定する偽陰性（検査で陰性とされたものの、実際には陽性である場合）の誤認を極力減らすこと（偽陰性率を下げること、あるいは再現率（感度とも呼ばれる）を上げること）が求められる。つまり、学習モデルが「疑わしきは欠陥」として検出する能力を有していることが望まれる。しかしながら、特許文献１，２に記載の学習モデルでは、欠陥品を正常品であると判定する偽陰性の誤認も、正常品を欠陥品であると判定する偽陽性（検査で陽性とされたものの、実際には陰性である場合）の誤認も同程度に発生してしまう可能性があるという問題があった。

なお、サンプル画像より抽出された欠陥領域（欠陥が存在するものとして推定された領域）に対して、当該欠陥領域が分類されるべき欠陥種類の正解カテゴリおよび当該正解カテゴリに対する妥当性の尺度である確信レベルの情報を付与することによって教師データを生成し、このようにして生成した教師データを用いて、被検査物の画像から抽出された欠陥領域に含まれる欠陥の種類を判定する分類装置も知られている（例えば、特許文献３参照）。この特許文献３には、１つの欠陥領域に対して、複数の欠陥種類を正解カテゴリとして与え、各正解カテゴリに対してその確信レベルに応じて重みを付与することも開示されている。

この特許文献３に記載の分類装置では、欠陥の種類に対して重みを設定した教師データを生成しているため、どの欠陥種であるかを分類する精度を向上させることは可能である。しかしながら、特許文献３に記載の分類装置では、検査画像を画像解析することによって抽出した欠陥領域を対象としてテーブル形式の教師データを生成し、その教師データとの照合によって欠陥種の分類を行っている。すなわち、特許文献３に記載の分類装置は、機械学習された学習モデルに基づいて、正常品か欠陥品かの判定を含めて欠陥種の判定を行うものではない。そのため、特許文献３に記載の技術を用いても、学習モデルに基づいて欠陥検査を行う場合に欠陥品を正常品であると判定する偽陰性の誤認を減らすことはできない。

特開２０２１－１１０６２９号公報 特開２０２０－１１９１３５号公報 特許第４０５０２７３号公報

本発明は、このような問題を解決するために成されたものであり、機械学習によって生成される学習モデルを用いて欠陥の検査を行うシステムにおいて、欠陥品を正常品であると判定する偽陰性の誤認を極力減らすことができるようにすることを目的とする。

上記した課題を解決するために、本発明では、被検査物の撮影画像である検査画像を、教師データを用いて学習済みの予測モデルに適用することにより、被検査物が正常品であるか否かおよび被検査物が欠陥品である場合における欠陥の種類の予測を行う。教師データは、正常品の学習用画像に対して、欠陥品に該当する可能性を示すラベルを含まず、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与する一方、欠陥品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルを含まず、複数の欠陥種に該当する可能性を示す複数の欠陥種ラベルおよび各欠陥種ラベルに対する重みを含んだ欠陥品正解ラベルを付与して成る。

上記のように構成した教師データを用いて予測モデルの機械学習が行われることにより、欠陥品正解ラベルが付与されている欠陥品の学習用画像から正解以外の欠陥種の欠陥品と予測する場合の損失値よりも、同学習用画像から正常品と予測する場合の損失値の方が大きくなる。予測モデルは、この損失値を最小化するように機械学習されたものとなるため、欠陥品を正常品に誤って予測してしまう可能性をより低減することができる。以上により、本発明によれば、機械学習によって生成される学習モデルを用いて欠陥の検査を行うシステムにおいて、欠陥品を正常品であると判定する偽陰性の誤認を極力減らすことができる。

本実施形態による欠陥検査装置の機能構成例を示すブロック図である。 本実施形態において処理対象とする検査画像を模式的に示す図である。 本実施形態の正常品正解ラベルおよび欠陥品正解ラベルを模式的に示す図である。 本実施形態による予測モデル生成装置の機能構成例を示すブロック図である。 本実施形態による予測モデル生成装置の動作例を示すフローチャートである。 本実施形態による欠陥検査装置の動作例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による欠陥検査装置の機能構成例を示すブロック図である。図１に示すように、本実施形態の欠陥検査装置は、機能構成として、検査画像取得部１、製品領域抽出部２および予測部３を備えて構成される。また、本実施形態の欠陥検査装置は、記憶媒体として、予測モデル記憶部１０を備えている。

上記各機能ブロック１～３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１～３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。ＣＰＵに代えてまたは加えてＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）などを用いてもよい。

検査画像取得部１は、被検査物の撮影画像（以下、検査画像という）を取得する。被検査物は、欠陥の有無および欠陥の種類を検査する対象物であり、例えば特定の製品である。工場等において製造された製品を出荷する前に、その製品に欠陥があるか否かを判定するとともに、欠陥がある場合には欠陥の種類を特定することが求められる。このような場合に検査対象とされる製品が、本実施形態の被検査物である。

被検査物の撮影画像は、被検査物を所定の位置から所定の撮影条件のもとでカメラにより撮影した画像である。例えば、ベルトコンベア等の搬送機構によって被検査物を所定の撮影位置に移動させ、当該撮影位置に設置されたカメラにおいて被検査物を撮影する。検査画像取得部１は、カメラにより複数の製品ごとに撮影された検査画像を随時取得する。図２は、本実施形態において処理対象とする検査画像を模式的に示す図である。図２に示す検査画像２１は、正面視が円形の製品を正面から撮影した状態を示しており、製品領域２２と、製品以外の背景領域２３とを含んでいる。

製品領域抽出部２は、検査画像取得部１により取得された検査画像２１から製品領域２２を抽出する。製品領域２２の抽出には公知の方法を用いることが可能である。例えば、製品領域抽出部２は、検査画像２１を解析して物体の輪郭を抽出する処理を行うことにより、当該輪郭で囲まれる閉領域を製品領域２２として抽出することが可能である。検査対象とする製品の形状は固定（図２の場合は円形）であるから、所定形状の輪郭を抽出すればよい。なお、製品領域２２と背景領域２３との差が大きいほど輪郭が正確に抽出されやすくなるので、差が大きくなるような条件で被検査物の撮影を行うのが好ましい。

製品領域抽出部２により抽出された製品領域２２の画像は、予測部３に入力される。なお、予測部３の説明において、検査画像というときは、図２に示す検査画像２１の全体のことではなく、製品領域抽出部２により抽出された製品領域２２の画像を意味する。

予測部３は、検査画像取得部１により取得され製品領域抽出部２により製品領域２２が抽出された検査画像を、教師データを用いて学習済みの予測モデルに適用し、被検査物が正常品であるか否かおよび被検査物が欠陥品である場合における欠陥の種類の予測を行う。学習済みの予測モデルは、予測モデル記憶部１０にあらかじめ記憶されている。

本実施形態では、予測モデルを機械学習するときに用いる教師データに特徴を有している。教師データは、欠陥の有無および欠陥の種類が判明している製品の撮影画像（以下、学習用画像という）に対して、欠陥の有無および欠陥の種類に関する正解を示した正解ラベルを付与して成るデータである。本実施形態において用いる教師データは、欠陥がない正常品の学習用画像に対して付与する正解ラベルと、何れかの種類の欠陥を有している欠陥品の学習用画像に対して付与する正解ラベルとで、正解ラベルの与え方を異ならせている。すなわち、正常品の学習用画像に対する正解ラベルの与え方と、欠陥品の学習用画像に対する正解ラベルの与え方とを非対称にしている。

図３は、正常品の学習用画像に対して付与する正解ラベル（図３（ａ））と、欠陥品の学習用画像に対して付与する正解ラベル（図３（ｂ））とを模式的に示す図である。正常品に関する教師データは、図３（ａ）に示すように、正常品の学習用画像に対して、欠陥品に該当する可能性を示すラベルを含まず、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与して成る。すなわち、正常品の学習用画像に関しては、最大重み（例えば、１．０）の正常ラベルのみを付与することによって製品が正常品であることを断定的に示す一方で、何れかの欠陥種Ａ～Ｅの欠陥を有する可能性を示す欠陥種ラベルは一切含まない正解ラベルを正常品正解ラベルとして付与している。

一方、欠陥品に関する教師データは、図３（ｂ）に示すように、欠陥品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルを含まず、複数の欠陥種Ａ～Ｅに該当する可能性を示す複数の欠陥種ラベルおよび各欠陥種ラベルに対する重みを含んだ欠陥品正解ラベルを付与して成る。すなわち、欠陥品の学習用画像に関しては、最大重みよりも小さい重みが設定された複数の欠陥種ラベルを付与することによって製品が何れかの欠陥種Ａ～Ｅの欠陥を有する欠陥品である可能性を示す一方で、正常品である可能性を示す正常ラベルは含まない正解ラベルを欠陥品正解ラベルとして付与している。複数の欠陥種ラベルに付与される重みの値は、例えば、それらの合計値が最大重み（１．０）となるように設定される。

図４は、図３に示した構成の教師データを用いて予測モデルを生成する予測モデル生成装置の機能構成例を示すブロック図である。図４に示すように、本実施形態の予測モデル生成装置は、機能構成として、教師データ入力部１１および予測モデル生成部１２を備えている。これらの機能ブロック１１～１２も図１と同様に、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。図５は、図４に示す予測モデル生成装置により予測モデルを生成する際の動作例を示すフローチャートである。以下、図４および図５を用いて予測モデルの生成法を説明する。

教師データ入力部１１は、図３のように正解ラベルが付与された複数の教師データを入力する（ステップＳ１）。ここで入力する複数の教師データは、図３（ａ）に示す正常品正解ラベルが付与された複数の正常品に関する教師データと、図３（ｂ）に示す欠陥品正解ラベルが付与された複数の欠陥品に関する教師データとを含むデータセットである。

予測モデル生成部１２は、教師データ入力部１１により入力された教師データを用いて機械学習処理を行うことにより、被検査物の撮影画像である検査画像が入力された際に、被検査物が正常品であるか否かおよび被検査物が欠陥品である場合における欠陥の種類の予測結果を出力するための予測モデルを生成する（ステップＳ２）。予測モデルが出力する予測結果とは、被検査物が正常品である可能性または欠陥種Ａ～Ｅの欠陥を有する可能性を示す確率（正常品および欠陥種Ａ～Ｅごとに０～１．０の何れかの値）を含む情報である。

予測モデル生成部１２は、教師データの学習用画像から予測した結果と、その学習用画像に付されている正解ラベル（正常品正解ラベルまたは欠陥品正解ラベルの何れか）とから損失値を計算し、その損失値が最小化されるように予測モデルの各種パラメータの更新を行う。ここで、学習用画像から予測を行う際にも、製品領域抽出部２と同様に学習用画像から製品領域２２を抽出し、製品領域２２の画像を対象として予測を行う。予測モデル生成部１２は、こうして生成した予測モデルを予測モデル記憶部１０に記憶する。

本実施形態では、正常品の学習用画像と欠陥品の学習用画像とで非対称な正解ラベルが設定された教師データを用いているので、何れかの欠陥種を正解とする（何れかの欠陥種に最も大きな重みが設定された）欠陥品正解ラベルが付与されている欠陥品の学習用画像から正解以外の欠陥種の欠陥品と予測する場合の損失値よりも、同欠陥品正解ラベルが付与されている欠陥品の学習用画像から正常品と予測する場合の損失値の方が大きくなる。予測モデルは、損失値を最小化するように機械学習されたものとなるため、欠陥品を正常品と間違えて予測する可能性がより低い予測モデルを構築することが可能となる。

なお、本実施形態において生成する予測モデルの形態は、回帰モデル、木モデル、ニューラルネットワークモデル、ベイズモデル、クラスタリングモデルなどのうち何れかとすることが可能である。ただし、ここに挙げた予測モデルの形態は一例に過ぎず、これに限定されるものではない。

図６は、図１に示す欠陥検査装置により被検査物の欠陥検査を行う際の動作例を示すフローチャートである。まず、検査画像取得部１は、被検査物の撮影画像である検査画像を取得する（ステップＳ１１）。次いで、製品領域抽出部２は、検査画像取得部１により取得された検査画像２１から製品領域２２を抽出する（ステップＳ１２）。

次に、予測部３は、製品領域抽出部２により抽出された製品領域２２の検査画像を、予測モデル記憶部１０に記憶されている学習済みの予測モデルに適用し、被検査物が正常品であるか否かおよび被検査物が欠陥品である場合における欠陥の種類の予測を行う（ステップＳ１３）。

以上詳しく説明したように、本実施形態では、予測モデルの生成に用いる教師データとして、正常品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与して成る正常品用の教師データと、欠陥品の学習用画像に対して、複数の欠陥種に該当する可能性を示す重み付きの複数の欠陥種ラベルのみを含んだ欠陥品正解ラベルを付与して成る欠陥品用の教師データとを用いるようにしている。

このように構成した教師データを用いて学習用画像から予測を行うと、欠陥品正解ラベルが付与されている欠陥品の学習用画像から正解以外の欠陥種の欠陥品と予測する場合の損失値よりも、同学習用画像から正常品と予測する場合の損失値の方が大きくなる。予測モデルは、この損失値を最小化するように機械学習されたものとなるため、欠陥品を正常品に誤って予測してしまう可能性をより低減することができる。これにより、本実施形態によれば、機械学習によって生成される予測モデルを用いて欠陥の検査を行う欠陥検査装置において、欠陥品を正常品であると判定する偽陰性の誤認を極力減らすことができる。

なお、上記実施形態では、教師データの学習用画像を予測モデルに入力して機械学習を行い、学習済みの予測モデルに検査画像を適用して欠陥の有無および欠陥の種類の予測を行うものとして説明したが、予測モデルは、入力された画像から特徴情報を検出する前処理部を含むものであってもよい。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 検査画像取得部
２ 製品領域抽出部
３ 予測部
１０ 予測モデル記憶部
１１ 教師データ入力部
１２ 予測モデル生成部

Claims (5)

1. 被検査物の撮影画像である検査画像を取得する検査画像取得部と、
   上記検査画像取得部により取得された上記検査画像を、学習用画像に対して正解ラベルを付与して成る教師データを用いた機械学習処理によって学習済みの予測モデルに適用し、上記被検査物が正常品であるか否かおよび上記被検査物が欠陥品である場合における欠陥の種類の予測を行う予測部とを備え、
   上記教師データは、正常品の学習用画像に対して、欠陥品に該当する可能性を示すラベルを含まず、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与する一方、欠陥品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルを含まず、複数の欠陥種に該当する可能性を示す複数の欠陥種ラベルおよび各欠陥種ラベルに対する重みを含んだ欠陥品正解ラベルを付与して成ることを特徴とする欠陥検査装置。
2. 上記教師データは、上記正常品正解ラベルの上記正常ラベルに対して最大重みを付与するとともに、上記欠陥品正解ラベルの上記複数の欠陥種ラベルに対して上記最大重みよりも小さい重みをそれぞれ付与して成ることを特徴とする請求項１に記載の欠陥検査装置。
3. 上記予測モデルは、上記検査画像が入力された際に、上記被検査物が正常品または上記複数の欠陥種の欠陥品である可能性を示すそれぞれの確率を出力するように構成されていることを特徴とする請求項１または２に記載の欠陥検査装置。
4. コンピュータの検査画像取得部が、被検査物の撮影画像である検査画像を取得する第１のステップと、
   上記コンピュータの予測部が、上記検査画像取得部により取得された上記検査画像を、学習用画像に対して正解ラベルを付与して成る教師データを用いた機械学習処理によって学習済みの予測モデルに適用し、上記被検査物が正常品であるか否かおよび上記被検査物が欠陥品である場合における欠陥の種類の予測を行う第２のステップとを有し、
   上記教師データは、正常品の学習用画像に対して、欠陥品に該当する可能性を示すラベルを含まず、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与する一方、欠陥品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルを含まず、複数の欠陥種に該当する可能性を示す複数の欠陥種ラベルおよび各欠陥種ラベルに対する重みを含んだ欠陥品正解ラベルを付与して成ることを特徴とする欠陥検査方法。
5. コンピュータの教師データ入力部が、学習用画像に対して正解ラベルを付与して成る教師データを入力する第１のステップと、
   上記コンピュータの予測モデル生成部が、上記教師データ入力部により入力された上記教師データを用いて機械学習処理を行うことにより、被検査物の撮影画像である検査画像が入力された際に、上記被検査物が正常品であるか否かおよび上記被検査物が欠陥品である場合における欠陥の種類の予測結果を出力するための予測モデルを生成する第２のステップとを有し、
   上記教師データは、正常品の学習用画像に対して、欠陥品に該当する可能性を示すラベルを含まず、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与する一方、欠陥品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルを含まず、複数の欠陥種に該当する可能性を示す複数の欠陥種ラベルおよび各欠陥種ラベルに対する重みを含んだ欠陥品正解ラベルを付与して成ることを特徴とする予測モデル生成方法。

Images