JP7459697B2 - 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法 - Google Patents
異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法 Download PDFInfo
- Publication number
- JP7459697B2 JP7459697B2 JP2020118505A JP2020118505A JP7459697B2 JP 7459697 B2 JP7459697 B2 JP 7459697B2 JP 2020118505 A JP2020118505 A JP 2020118505A JP 2020118505 A JP2020118505 A JP 2020118505A JP 7459697 B2 JP7459697 B2 JP 7459697B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- learning
- generative model
- normal
- latent variables
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 61
- 238000000034 method Methods 0.000 title claims description 22
- 238000012360 testing method Methods 0.000 claims description 42
- 230000005856 abnormality Effects 0.000 claims description 36
- 238000007689 inspection Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 17
- 238000012549 training Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000002950 deficient Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Description
本発明は、異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法に関する。
近年、畳み込みニューラルネットワークを用いた深層学習により、検査対象の画像の特徴量を学習して、検査対象の検査を行う方法が提案されている。
正常な検査対象の画像を学習データとした、オートエンコーダーの教師なし学習により得られた学習済みモデルを利用して、検査対象の異常を検知する技術が知られている。
上記技術に関連し、下記特許文献１には、次の先行技術が開示されている。確率変数で表される複数の潜在変数がＤｉｓｅｎｔａｎｇｌｅな表現を獲得するように、正常な機器のデータを学習データとしてＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ ＡｕｔｏＥｎｃｏｄｅｒ）を学習することで、正常な機器のデータを復元する生成モデルを生成する。そして、生成モデルに、検知対象のデータを入力した際に出力されるデータと、当該検知対象のデータとの類似度が所定値未満の場合、検知対象のデータを異常と検知する。これにより、正常な機器に関する学習データが十分に収集できない場合であっても、観測できなかった学習データの予言（Ｚｅｒｏ－ｓｈｏｔ Ｔｒａｎｓｆｅｒ）が可能となり、正常な機器のデータを異常と判断する誤検知を抑制できる。
また、下記特許文献２には、次の先行技術が開示されている。検査対象の画像の特徴を抽出する畳み込み層の学習を、良品画像を学習データとしたＶＡＥ等を用いた教師なし学習により行い、識別器の学習を、畳み込み層の学習とは別に、混合正規分布モデルを用いた統計的検定等の手法により行う。これにより、検査対象の不良品画像が無い、または少ない場合でも、検査対象の画像の良否判定ができる。
しかし、特許文献１に開示された先行技術は、正常な機器と異常な機器の特徴の差異を学習してないため、生成モデルの異常の復元性が比較的高くなる可能性がある。すなわち、異常とすべき検知対象のデータが生成モデルに入力された場合に、出力データに異常の特徴が復元され、異常とすべき検知対象のデータに対しても、出力データの類似度が高くなる可能性がある。これにより、異常な機器のデータを正常と判断する検知漏れが発生する可能性がある。また、同じ機器については、観測できなかった学習データの予言ができるが、機器が異なると予言ができないため、検査対象の機器が変わると正確な異常検出ができない可能性がある。
特許文献２に開示された発明は、不良品の画像がない場合は、識別器の学習が不十分となるため、検査対象の良否判定の精度が比較的低くなる可能性がある。
本発明は、このような問題を解決するためになされたものである。すなわち、様々なドメインの正常の入力データを用いてＤｉｓｅｎｔａｎｇｌｅな表現を獲得するように学習された生成モデルを用いることで、検査対象の範囲を容易に拡大できるとともに、異常な検査対象の検知漏れを抑止できる、異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法を提供することを目的とする。
本発明の上記課題は、以下の手段によって解決される。
（１）複数のドメインの正常のデータを入力データに用いた学習により生成された仮生成モデルに、所定のドメインの正常な検査対象のデータを入力することで得られた複数の潜在変数に基づいて、前記仮生成モデルに対し、前記複数の潜在変数のうち、前記所定のドメインの正常な前記検査対象のデータの入力に対し正常な前記検査対象の復元に寄与しない前記潜在変数を抑制した生成モデルを生成するモデル生成部を有する学習装置。
（２）前記仮生成モデルは、確率変数で表される複数の潜在変数がＤｉｓｅｎｔａｎｇｌｅな表現を獲得するように学習されることで生成された、上記（２）に記載の学習装置。
（３）上記（１）または（２）に記載の前記学習装置により生成された前記生成モデルに、前記所定のドメインの前記検査対象のデータを入力することで前記生成モデルから出力される復元データと、前記所定のドメインの前記検査対象のデータとの類似度を算出する算出部と、前記類似度に基づいて、前記検査対象のデータの異常を検知する検知部と、を有する異常検知システム。
（４）複数のドメインの正常のデータを入力データに用いた学習により生成された仮生成モデルに、所定のドメインの正常な検査対象のデータを入力することで得られた複数の潜在変数に基づいて、前記仮生成モデルに対し、前記複数の潜在変数のうち、前記所定のドメインの正常な前記検査対象のデータの入力に対し正常な前記検査対象の復元に寄与しない前記潜在変数を抑制した生成モデルを生成する手順を含む処理をコンピューターに実行させるための学習プログラム。
（５）複数のドメインの正常のデータを入力データに用いた学習により生成された仮生成モデルに、所定のドメインの正常な検査対象のデータを入力することで得られた複数の潜在変数に基づいて、前記仮生成モデルに対し、前記複数の潜在変数のうち、前記所定のドメインの正常な前記検査対象のデータの入力に対し正常な前記検査対象の復元に寄与しない前記潜在変数を抑制した生成モデルを生成する段階を有する学習方法。
複数の潜在変数のうち、所定のドメインの検査対象のデータの入力に対し正常な検査対象の復元に寄与しない潜在変数が抑制された生成モデルを用い、生成モデルに検査対象のデータを入力したときの生成モデルによる復元データと検査対象のデータとの類似度に基づいて、検査対象のデータの異常を検知する。これにより、様々なドメインの入力データを用いてＤｉｓｅｎｔａｎｇｌｅな表現を獲得するように学習された生成モデルを用いることで、検査対象の範囲を容易に拡大できるとともに、異常な検査対象の検知漏れを抑止できる。
以下、図面を参照して、本発明の実施形態に係る異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
図１は、異常検知システム１０の構成を示す図である。図２は、異常検知システム１０に含まれる異常検知装置１００のブロック図である。なお、異常検知システム１０は異常検知装置１００のみにより構成され得る。
異常検知システム１０は、異常検知装置１００および撮影装置２００を含み得る。異常検知装置１００は学習装置を構成する。
撮影装置２００は、検査対象の画像（以下、「撮影画像２５０」とも称する（図４等参照））を撮影する。撮影画像２５０は、検査対象のデータを構成する。撮影装置２００は、例えばカメラにより構成される。検査対象は、例えば製品であり、製品にはボルトやナット等の部品が含まれる。検査には、折れ、曲げ、欠け、傷、および汚れ等の異常の有無を検知することによる良品と不良品の選別検査が含まれる。検査は、折れ、曲げ、欠け、傷、および汚れ等の異常の箇所等の検知のみであってもよい。
なお、撮影装置２００は、マイク、スキャナー、および音声をテキストデータに変換する音声認識装置により代替され得る。この場合、マイクにより検知される音声のデータ（音声の周波数特性のデータを含む）、スキャナーによる走査により生成される画像、および音声認識装置により生成されるテキストデータが、検査対象のデータを構成する。
撮影装置２００は、検査対象を包含する撮影範囲を撮影し、撮影画像２５０を出力する。撮影画像２５０は、例えば、白黒画像またはカラー画像で、１２８ピクセル×１２８ピクセルの画像であり得る。撮影装置２００は、撮影画像２５０を異常検知装置１００へ送信する。
異常検知装置１００は、制御部１１０、記憶部１２０、通信部１３０、および操作表示部１４０を備える。これらの構成要素は、バス１５０を介して互いに接続される。異常検知装置１００は、例えばコンピューター端末により構成される。
制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリにより構成され、プログラムに従って異常検知装置１００の各部の制御および演算処理を行う。制御部１１０の機能の詳細については後述する。
記憶部１２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等により構成され、各種プログラムおよび各種データを記憶する。
通信部１３０は、ネットワークを介して、外部の装置と通信するためのインターフェース回路（例えばＬＡＮカード等）である。
操作表示部１４０は、例えば、タッチパネル、液晶ディスプレイ、およびシグナルタワーにより構成され得る。操作表示部１４０は、ユーザーからの各種入力を受け付ける。操作表示部１４０は、検査対象の検査結果を表示する。
制御部１１０の機能について説明する。
図３は、異常検知装置１００の学習時における制御部１１０の機能ブロック図である。制御部１１０は、取得部１１１、特定部１１２、およびモデル生成部１１３として機能する。異常検知装置１００の学習における学習データには、所定のドメインの正常な（良品の）データを用いる。ドメインとは、製品の品種であり、例えば、ボルト、ナット、画像形成装置、カメラ、自動車は異なるドメインである。なお、同じ品種であっても、形状等の特徴が比較的大きく異なる場合は、異なるドメインとして扱われ得る。所定のドメインは、検査対象になる品種である。検査対象が複数の品種である場合等においては、所定のドメインは複数のドメインであり得る。以下、説明を簡単にするために、正常な検査対象のデータが、正常な製品の撮影画像２５０（以下「正常製品画像２５１」と称する）であるものとして説明する。
異常検知装置１００の学習においては、複数のドメインの正常製品画像２５１を入力データに用いて、オートエンコーダー３００の、確率変数で表される複数の潜在変数がＤｉｓｅｎｔａｎｇｌｅな表現を獲得するように学習された仮生成モデル３１０を予め生成する。Ｄｉｓｅｎｔａｎｇｌｅな表現とは、一般的には、潜在空間中の各次元が観測データ中の因子や性状ごとに分かれているような状態である。
仮生成モデル３１０の生成に用いる正常製品画像２５１には、比較的多くのドメインの比較的大量の正常製品画像２５１を用いることが好ましい。仮生成モデル３１０の生成に用いる正常製品画像２５１には、検査対象である所定のドメインの正常製品画像２５１が含まれなくてもよい。仮生成モデル３１０の生成に用いる正常製品画像２５１には、検査対象である所定のドメインの正常製品画像２５１が含まれてもよい。仮生成モデル３１０の生成に用いる正常製品画像２５１には、ＩｍａｇｅＮｅｔの画像を利用し得る。仮生成モデル３１０の生成に用いる正常製品画像２５１は、検査対象が生産される工場内の、検査対象以外の製品の正常製品画像２５１であってもよい。
図４は、仮生成モデル３１０の生成について説明するための説明図である。
仮生成モデル３１０は、例えば、オートエンコーダー３００であるβ－ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ ＡｕｔｏＥｎｃｏｄｅｒ）に、複数のドメインの複数の正常製品画像２５１を順次入力し、β－ＶＡＥから出力される出力画像２６０と当該正常製品画像との差（ロス）がなくなるように、バックプロパゲーションにより学習することで生成される。β－ＶＡＥは、複数の潜在変数がＤｉｓｅｎｔａｎｇｌｅな表現を獲得する学習がされるように設計されたオートエンコーダー３００である。一般的に、オートエンコーダー３００は、エンコーダー３０１とデコーダー３０２が組み合わされたニューラルネットワークのモデルであり、入力データに対するエンコーダー３０１による畳み込み演算により得られた複数の潜在変数が、デコーダー３０２へ出力され、デコーダー３０２により入力データが復元されて出力される。なお、仮生成モデル３１０は、複数の潜在変数がＤｉｓｅｎｔａｎｇｌｅな表現を獲得するように学習されたモデルであれば、β－ＶＡＥを用いたモデルに限定されない。例えば、仮生成モデル３１０は、ＦａｃｔｏｒＶＡＥ、またはＤＩＰ－ＶＡＥ－１等を用いたモデルであってもよい。オートエンコーダー３００を、複数の潜在変数がＤｉｓｅｎｔａｎｇｌｅな表現を獲得するように学習する方法は周知技術であるため（例えば、特開２０１９－３２７４号公報に詳細が記載されている）、説明を省略する。これにより、多くのドメインの正常製品画像２５１の圧縮および復元が可能な仮生成モデル３１０を生成できる。また、オートエンコーダー３００による、正常製品画像２５１の、出力画像２６０における復元性能を向上できるため、正常製品画像２５１を異常と判断する誤検知が抑制される。
図５は、仮生成モデル３１０の、正常製品画像２５１に対する復元性能と、異常の製品画像（以下、「異常製品画像２５２」と称する）に対する復元性能とを説明するための説明図である。以下、検査対象の製品（ドメイン）として、ボルトを例に説明する。図５のＡは、正常製品画像２５１が仮生成モデル３１０に入力された場合に仮生成モデル３１０から出力される出力画像２６０の例を示している。図５のＢは、異常製品画像２５２が仮生成モデル３１０に入力された場合に、仮生成モデル３１０から出力される出力画像２６０の例を示している。
一般的に、オートエンコーダー３００を用いた異常検知においては、正常製品画像２５１に対するオートエンコーダー３００の復元性能が高く、異常製品画像２５２に対するオートエンコーダー３００の復元性能が低いことが求められる。これは、オートエンコーダー３００に対し入力されるデータと出力されるデータとの差が、所定の閾値以下である場合に正常と判断され、所定の閾値を超える場合に異常と判断されるからである。しかし、仮生成モデル３１０は、正常製品画像２５１のみを用いて学習されており、異常製品画像２５２を用いて学習されていないため、異常製品画像２５２に対するオートエンコーダー３００の復元性能が比較的高くなる可能性がある。このため、異常製品画像２５２を正常と判断される検知漏れが発生する可能性がある。
図５のＡにおいては、正常製品画像２５１に関して、仮生成モデル３１０の、入力に対する出力の画像の類似度が高くなっており、正常製品画像２５１に対する仮生成モデル３１０による復元性能が高くなっている。図５のＢにおいては、異常製品画像２５２に関しても、仮生成モデル３１０の、入力に対する出力の画像の類似度が高くなっており、異常製品画像２５２に対する仮生成モデル３１０による復元性能も高くなっている。
図６は、仮生成モデル３１０に対し、複数の潜在変数のうち、正常製品画像２５１が入力された際に、正常製品画像２５１の復元に寄与しない潜在変数を抑制することで、異常製品画像２５２に対する復元性能を低下させる方法を説明するための説明図である。
図６に示すように、複数の正常製品画像２５１を仮生成モデル３１０に入力することでそれぞれ得られた複数の潜在変数のうち、値が所定の閾値以下の潜在変数（以下、「特定潜在変数」と称する）の出力を常に０にすることにより、特定潜在変数を抑制することで生成モデル３２０を生成する。正常製品画像２５１が入力されても、値が所定の閾値以下である特定潜在変数は、正常製品画像２５１の復元に寄与しない潜在変数であると考えられる。所定の閾値は、異常検知装置１００の異常検知精度の観点から、実験により適当に設定され得る。これにより、生成された生成モデル３２０に異常製品画像２５２が入力されたときには、異常に対応する画像の復元が抑制されて、正常製品画像２５１に比較的近い画像が出力され得る。すなわち、正常製品画像２５１に対する復元性能を向上させ、異常製品画像２５２に対する復元性能を低下させることができる。
図７は、生成モデル３２０の、正常製品画像２５１および異常製品画像２５２のそれぞれの復元性をドメインごとに示す図である。
図７のＡおよびＢに示すように、ボルトの正常製品画像２５１に関して特定潜在変数が抑制されることで、生成モデル３２０による、所定のドメインであるボルトの、正常製品画像２５１に対する復元性能が高く、異常製品画像２５２（傷がある異常）に対する復元性能を低くすることができる。
図７のＣに示すように、所定のドメインにさらにナットが含まれる場合、ナットの正常製品画像２５１に関して特定潜在変数がさらに抑制されることで、生成モデル３２０による、所定のドメインであるナットの、正常製品画像２５１に対する復元性能が高く、異常製品画像２５２（欠けがある異常）に対する復元性能を低くすることができる。なお、図７においては、ナットの正常製品画像２５１に対する復元性能が高いことを示す図は省略されている。
図３に戻り、説明を継続する。
取得部１１１は、所定のドメインの複数（例えば、１０枚）の正常製品画像２５１を、学習データとして、撮影装置２００から受信することで取得する。取得部１１１は、予め撮影装置２００により撮影され、記憶部１２０に記憶された正常製品画像２５１を読み出すことで、所定のドメインの複数の正常製品画像２５１を取得してもよい。
特定部１１２は、複数の正常製品画像２５１を仮生成モデル３１０に入力することでそれぞれ得られた複数の潜在変数のうち、値が所定の閾値以下の特定潜在変数を特定する。特定部１１２は、周知の影響度確認方法であるＰｅｒｍｕｔａｔｉｏｎ Ｉｍｐｏｒｔａｎｃｅを用いて特定潜在変数を特定してもよい。
モデル生成部１１３は、仮生成モデル３１０に対し、複数の潜在変数のうち、特定潜在変数を抑制することで、学習済みモデルである生成モデル３２０を生成する。モデル生成部１１３は、上述したように、特定潜在変数の出力を常に０にすることにより、特定潜在変数を抑制し得る。例えば、仮生成モデル３１０のオートエンコーダー３００において、エンコーダー３０１とデコーダー３０２との間にフィルターを設けることで、エンコーダー３０１から出力される複数の潜在変数のうち特定潜在変数を０にしてデコーダー３０２へ出力し得る。モデル生成部１１３は、特定潜在変数の絶対値の大きさが大きいほど、仮生成モデル３１０であるオートエンコーダー３００のエンコーダー３０１からデコーダー３０２への出力を小さくするといった潜在変数の抑制に重み付けがされる生成モデル３２０を生成してもよい。
このように、比較的多くのドメインの比較的大量の正常製品画像２５１を用いて学習された仮生成モデル３１０を準備すれば、所定のドメインごとに少量の正常製品画像２５１を用いて特定潜在変数を特定して抑制するだけでよいため、異常検知システム１０の高速な導入が可能になる。
図８は、異常検知装置１００の異常検知時における制御部１１０の機能ブロック図である。制御部１１０は、取得部１１１、算出部１１４、および検知部１１５として機能する。
取得部１１１は、実際の検査の対象である所定のドメインの撮影画像２５０（以下、「検査対象画像」とも称する）を撮影装置２００から受信することで取得する。
算出部１１４は、生成モデル３２０に検査対象画像を入力することで生成モデル３２０から出力される復元データと、当該検査対象画像との類似度を算出する。例えば、算出部１１４は、復元データと検査対象画像の画素値のそれぞれ差の絶対値を類似度として算出して出力する。算出部１１４は、復元データと検査対象画像の画素値のそれぞれ差の絶対値の二乗平均を類似度として算出してもよい。算出部１１４は、ＳＳＩＭやコサイン距離といった周知の方法で、復元データと検査対象画像の類似度を算出してもよい。
検知部１１５は、算出部１１４により算出された類似度に基づいて、検査対象画像の異常を検知して検知結果を出力する。例えば、検知部１１５は、復元データと検査対象画像の画素値の差の絶対値が所定の閾値以上の画素部分を異常（欠陥）として、検査対象画像を異常と判定し得る。検知部１１５は、復元データと製品画像の画素値のそれぞれ差の絶対値の二乗平均が所定の閾値以上の検査対象画像を異常と判定してもよい。検知部１１５は、ＳＳＩＭやコサイン距離といった周知の方法で算出した、復元データと検査対象画像の類似度が所定の閾値未満の製品画像を異常と判定してもよい。これらの閾値は、異常検知装置１００の異常検知精度の観点から、実験により適当に設定され得る。
異常検知装置１００の動作について説明する。
図９は、異常検知装置１００の学習時の動作を示すフローチャートである。本フローチャートは、プログラムに従い、異常検知装置１００の制御部１１０により実行され得る。
制御部１１０は、所定のドメインの複数の正常製品画像２５１を、撮影装置２００から受信することで取得する（Ｓ１０１）。
制御部１１０は、仮生成モデル３１０に正常製品画像２５１を入力することで得られた潜在変数のうち、値が所定の閾値以下の潜在変数を特定潜在変数として特定する（Ｓ１０２）。
制御部１１０は、仮生成モデル３１０に対し、特定潜在変数を抑制した生成モデル３２０を生成する（Ｓ１０３）。
図１０は、異常検知装置１００の異常検知時の動作を示すフローチャートである。本フローチャートは、プログラムに従い、異常検知装置１００の制御部１１０により実行され得る。
制御部１１０は、検査対象画像を、撮影装置２００から受信することで取得する（Ｓ２０１）。
制御部１１０は、生成モデル３２０に検査対象画像を入力したときに生成モデル３２０から出力される復元データと、検査対象画像との類似度を算出する（Ｓ２０２）。
制御部１１０は、ステップＳ２０２において算出された類似度に基づいて、検査対象画像の異常を検知する（Ｓ２０３）。
実施形態は、以下の効果を奏する。
複数の潜在変数のうち、所定のドメインの検査対象のデータの入力に対し正常な検査対象の復元に寄与しない潜在変数が抑制された生成モデルを用い、生成モデルに検査対象のデータを入力したときの生成モデルによる復元データと検査対象のデータとの類似度に基づいて、検査対象のデータの異常を検知する。これにより、様々なドメインの入力データを用いてＤｉｓｅｎｔａｎｇｌｅな表現を獲得するように学習された生成モデルを用いることで、検査対象の範囲を容易に拡大できるとともに、異常な検査対象の検知漏れを抑止できる。
複数のドメインの正常な検査対象のデータを入力データに用いた学習により生成された仮生成モデルに、所定のドメインの正常な検査対象のデータを入力することで得られた複数の潜在変数に基づいて、仮生成モデルに対し、複数の潜在変数のうち、所定のドメインの正常な前記検査対象のデータの入力に対し正常な前記検査対象の復元に寄与しない潜在変数を抑制した生成モデルを生成する。これにより、様々なドメインの入力データを用いてＤｉｓｅｎｔａｎｇｌｅな表現を獲得するように学習された仮生成モデルを用いることで、検査対象の範囲を容易に拡大できるとともに、異常な検査対象の検知漏れを抑止できる。
さらに、仮生成モデルに、確率変数で表される複数の潜在変数がＤｉｓｅｎｔａｎｇｌｅな表現を獲得するように学習されることで生成されたモデルを用いる。これにより、比較的少数の正常な検査対象のデータのみを用いて、異常な検査対象の検知漏れを抑止可能な生成モデルを生成できる。このため、特に少量多品種を扱う新しい生産設備や装置の立ち上げの際等において、学習データとして、良品のデータが少量しか得られず、不良品のデータが全く得られない場合であっても、短時間で異常検知検査を開始できる。
以上に説明した、異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な異常検知システム等が備える構成を排除するものではない。
例えば、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。
また、上述したシステムにおける各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその異常検知装置等の装置のソフトウエアに組み込まれてもよい。
１０ 異常検知システム、
１００ 異常検知装置、
１１０ 制御部、
１１１ 取得部、
１１２ 特定部、
１１３ モデル生成部、
１１４ 算出部、
２００ 撮影装置、
２５０ 撮影画像、
２５１ 正常製品画像、
２５２ 異常製品画像、
３００ オートエンコーダー、
３０１ エンコーダー、
３０２ デコーダー、
３１０ 仮生成モデル、
３２０ 生成モデル。
１００ 異常検知装置、
１１０ 制御部、
１１１ 取得部、
１１２ 特定部、
１１３ モデル生成部、
１１４ 算出部、
２００ 撮影装置、
２５０ 撮影画像、
２５１ 正常製品画像、
２５２ 異常製品画像、
３００ オートエンコーダー、
３０１ エンコーダー、
３０２ デコーダー、
３１０ 仮生成モデル、
３２０ 生成モデル。
Claims (5)
- 複数のドメインの正常のデータを入力データに用いた学習により生成された仮生成モデルに、所定のドメインの正常な検査対象のデータを入力することで得られた複数の潜在変数に基づいて、前記仮生成モデルに対し、前記複数の潜在変数のうち、前記所定のドメインの正常な前記検査対象のデータの入力に対し正常な前記検査対象の復元に寄与しない前記潜在変数を抑制した生成モデルを生成するモデル生成部を有する学習装置。
- 前記仮生成モデルは、確率変数で表される複数の潜在変数がＤｉｓｅｎｔａｎｇｌｅな表現を獲得するように学習されることで生成された、請求項１に記載の学習装置。
- 請求項１または２に記載の前記学習装置により生成された前記生成モデルに、前記所定のドメインの前記検査対象のデータを入力することで前記生成モデルから出力される復元データと、前記所定のドメインの前記検査対象のデータとの類似度を算出する算出部と、
前記類似度に基づいて、前記検査対象のデータの異常を検知する検知部と、
を有する異常検知システム。 - 複数のドメインの正常のデータを入力データに用いた学習により生成された仮生成モデルに、所定のドメインの正常な検査対象のデータを入力することで得られた複数の潜在変数に基づいて、前記仮生成モデルに対し、前記複数の潜在変数のうち、前記所定のドメインの正常な前記検査対象のデータの入力に対し正常な前記検査対象の復元に寄与しない前記潜在変数を抑制した生成モデルを生成する手順を含む処理をコンピューターに実行させるための学習プログラム。
- 複数のドメインの正常のデータを入力データに用いた学習により生成された仮生成モデルに、所定のドメインの正常な検査対象のデータを入力することで得られた複数の潜在変数に基づいて、前記仮生成モデルに対し、前記複数の潜在変数のうち、前記所定のドメインの正常な前記検査対象のデータの入力に対し正常な前記検査対象の復元に寄与しない前記潜在変数を抑制した生成モデルを生成する段階を有する学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020118505A JP7459697B2 (ja) | 2020-07-09 | 2020-07-09 | 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020118505A JP7459697B2 (ja) | 2020-07-09 | 2020-07-09 | 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022015575A JP2022015575A (ja) | 2022-01-21 |
| JP7459697B2 true JP7459697B2 (ja) | 2024-04-02 |
Family
ID=80121413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020118505A Active JP7459697B2 (ja) | 2020-07-09 | 2020-07-09 | 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7459697B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2023188052A1 (ja) * | 2022-03-30 | 2023-10-05 | ||
| JP2024018792A (ja) * | 2022-07-29 | 2024-02-08 | 株式会社日立産機システム | 検査装置及び方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019003274A (ja) | 2017-06-12 | 2019-01-10 | 日本電信電話株式会社 | 検知システム、検知方法及び検知プログラム |
| WO2019188040A1 (ja) | 2018-03-29 | 2019-10-03 | 日本電気株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| WO2020031984A1 (ja) | 2018-08-08 | 2020-02-13 | Ｂｌｕｅ Ｔａｇ株式会社 | 部品の検査方法及び検査システム |
-
2020
- 2020-07-09 JP JP2020118505A patent/JP7459697B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019003274A (ja) | 2017-06-12 | 2019-01-10 | 日本電信電話株式会社 | 検知システム、検知方法及び検知プログラム |
| WO2019188040A1 (ja) | 2018-03-29 | 2019-10-03 | 日本電気株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| WO2020031984A1 (ja) | 2018-08-08 | 2020-02-13 | Ｂｌｕｅ Ｔａｇ株式会社 | 部品の検査方法及び検査システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022015575A (ja) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020031984A1 (ja) | 部品の検査方法及び検査システム | |
| US11645744B2 (en) | Inspection device and inspection method | |
| JP7459697B2 (ja) | 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法 | |
| KR101992970B1 (ko) | 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법 | |
| JP7435303B2 (ja) | 検査装置、ユニット選択装置、検査方法、及び検査プログラム | |
| WO2021181749A1 (ja) | 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法 | |
| JP2020181532A (ja) | 画像判定装置及び画像判定方法 | |
| JP7453813B2 (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
| CN116994044A (zh) | 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法 | |
| JP6904062B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP7459696B2 (ja) | 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法演算装置の学習方法 | |
| WO2022130814A1 (ja) | 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム | |
| WO2016092783A1 (en) | Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program | |
| KR20230036650A (ko) | 영상 패치 기반의 불량 검출 시스템 및 방법 | |
| WO2022137841A1 (ja) | 異常検出システム、学習装置、異常検出プログラム、および学習プログラム | |
| JP7070308B2 (ja) | 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム | |
| JP2021174194A (ja) | 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム | |
| TWI843591B (zh) | 影像瑕疵檢測模型的建立方法、瑕疵影像的檢測方法及電子裝置 | |
| JP2022029262A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および学習装置 | |
| WO2022259661A1 (ja) | 学習装置、学習プログラム、異常検出装置、および異常検出プログラム | |
| US11361424B2 (en) | Neural network-type image processing device, appearance inspection apparatus and appearance inspection method | |
| WO2022264824A1 (ja) | 異常判定用計算機及び異常判定方法 | |
| EP4318391A1 (en) | Information processing device, control program, and control method | |
| WO2023139688A1 (ja) | 欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム | |
| Chapman et al. | On-line identification of faults in fault-tolerant imagers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231211 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240304 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7459697 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |