WO2022264824A1

WO2022264824A1 - 異常判定用計算機及び異常判定方法

Info

Publication number: WO2022264824A1
Application number: PCT/JP2022/022483
Authority: WO
Inventors: 敦宮本; 裕美西浦; 直明近藤; 晟伊藤
Original assignee: 株式会社日立製作所
Priority date: 2021-06-16
Filing date: 2022-06-02
Publication date: 2022-12-22
Also published as: JP2022191966A

Abstract

オートエンコーダを利用した異常判定において、良品画像のみを用いた学習であっても、未知の異常画像に対して精度の高い異常判定を行うことを可能とする。良品の検査対象物を撮像した良品学習画像{f_i}を用いてオートエンコーダのパラメータを学習する学習ステップにおいて、良品学習画像{f_i}の異常判定正解率Rcを評価値として異常判定正解率Rcが最大あるいは所定のしきい値th以上になるように、オートエンコーダのコード層の次元圧縮率Rdを最大化する、あるいは、コード層への入力信号量またはコード層からの出力信号量を減少させる。

Description

異常判定用計算機及び異常判定方法

　本発明は、異常判定用計算機及び異常判定方法に関する。

　本発明は、好ましくは、機械学習に基づく異常判定用計算機及び異常判定方法に関する。検査対象物を撮像して取得した検査画像をオートエンコーダ（Autoencoder）に入力して前記検査画像に対応する良品画像を推定し、検査画像と推定した良品画像との比較により検査対象物が良品か異常かを自動で判定する計算機と方法とを提供する。

　機械、金属、化学、食品、繊維等を含む多くの工業製品においては検査画像を基に、形状不良、組立不良、異物の付着、内部の欠損や致命度、表面の傷や斑、汚れ等、様々な出来栄えを評価する外観検査が広く行われている。一般的に、これらの外観検査の多くは検査員の目視判断により行われてきた。

　一方、大量生産や品質向上への要求増大に伴い、検査コストならびに検査員の負荷が増大している。また、人間の感覚に基づく官能検査では特に高い経験やスキルが求められる。検査員によって評価値が異なったり、検査の度に結果が異なるといった属人性や再現性も課題となる。このような検査のコスト、スキル、属人性等の課題に対し、検査の自動化が強く求められている。

　近年、Convolutional Neural Network（ＣＮＮ）に代表される深層ネットワークモデルの提案により、機械学習の性能は飛躍的に向上し、機械学習に基づく外観検査方法も多く提案されている。

　機械学習に基づいて検査対象物が良品か異常かを判定する異常判定においては、事前に検査対象物の良品画像と異常画像とを大量に収集し、判定エンジンを学習することが理想である。

　しかしながら、工業製品の製造ラインにおいて、一般に異常は稀に発生するものであり、また異常パターンも多様である。そのため、事前に多くの異常画像を網羅的に収集し、学習に用いることは大変困難である。そのため、オートエンコーダと呼ばれるニューラルネットワークを用いて良品画像のみを用いて学習を行い（良品学習と呼ばれる）、検査対象物の異常判定を行う方法が開示されている（例えば、特許文献１）。

　オートエンコーダとは、入力画像をエンコーダで縮小（次元圧縮）した後、それをデコーダで元の大きさの画像に復元するネットワークである。良品画像を入力して同じ良品画像を出力するようにオートエンコーダを学習することで、欠陥等の異常を有する異常画像を入力した場合、異常の無い良品画像（推定良品画像）が出力されることが期待される。検査画像と推定良品画像との差分をとることにより、異常部を検出することができる。

特開２０２０－１６０６１６号公報

　上述した特許文献１に代表される、オートエンコーダを利用した異常判定において、適切な推定良品画像が推定できない場合がある。それは、オートエンコーダの学習は、良品画像から同じ良品画像を推定するように学習されており、学習に用いていない未知の異常画像を入力した際に良好な推定良品画像、すなわち入力した異常画像から異常部を除去した推定良品画像が出力されるとは限らないからである。実際の製造ライン等で発生する異常パターンのバリエーションは多様であり、事前に全てを学習することは現実問題として困難である。そのため、良品画像のみを用いた学習により、未知の異常画像に対しても精度の高い異常判定を行う仕組みが必要である。

　本発明は上記の課題に鑑みてなされたもので、オートエンコーダを利用した異常判定において、良品画像のみを用いた学習であっても、未知の異常画像に対して精度の高い異常判定を行うことが可能な異常判定用計算機及び異常判定方法を提供することにある。

　上記課題を解決すべく、本発明の一つの観点に従う異常判定用計算機は、検査対象物の異常を判別する異常判定用計算機であって、異常判定用計算機はプロセッサを有し、プロセッサは、良品の検査対象物を撮像した良品学習画像{f_i}（i=1,…,Nf, Nf:画像枚数）を取得する良品学習画像取得ステップと、良品学習画像{f_i}を用いてオートエンコーダのパラメータを学習する学習ステップと、検査対象物を撮像した検査画像f''を取得する検査画像取得ステップと、検査画像f''をオートエンコーダに入力して推定良品画像h''を推定する良品画像推定ステップと、検査画像f''と推定良品画像h''とから比較検査エンジンにより異常判定を行う判定ステップとを実行し、学習ステップでは、良品学習画像{f_i}の異常判定正解率Rcを評価値として異常判定正解率Rcが最大あるいは所定のしきい値th以上になるように、オートエンコーダのコード層の次元圧縮率Rdを最大化する、あるいは、コード層への入力信号量またはコード層からの出力信号量を減少させることを特徴とする。

　本発明によれば、オートエンコーダを利用した異常判定において、良品画像のみを用いた学習であっても、未知の異常画像に対して精度の高い異常判定を行うことが可能な異常判定用計算機及び異常判定方法を実現することができる。

実施例１に係る自動異常判定システムおよび全体の処理シーケンスを示す図である。オートエンコーダにおける良品学習および異常判定を示す図である。実施例１に係る自動異常判定システムにおけるオートエンコーダならびに比較検査エンジンの学習方法を示す図である。実施例１に係る自動異常判定システムにおけるオートエンコーダの学習方法の一例を示す図である。オートエンコーダの学習方法の一例を示す図である。実施例１に係る自動異常判定システムにおけるオートエンコーダの学習方法の一例を示す図である。実施例１に係る自動異常判定システムにおけるニューラルネットワークにおけるノードの入出力を示す図である。実施例２に係る自動異常判定システムにおける異常画像を用いたオートエンコーダの学習方法を示す図である。実施例２に係る自動異常判定システムにおける疑似的に生成した異常画像のバリエーションを示す図である。一般的な手法における異常判定の結果を示す図である。実施形態に係る自動異常判定システムにおける異常判定の結果を示す図である。実施形態に係る自動異常判定システムのハードウェア構成を示す図である。

　以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

　なお、実施例を説明する図において、同一の機能を有する箇所には同一の符号を付し、その繰り返しの説明は省略する。

　また、以下の説明では、情報の一例として「ｘｘｘデータ」といった表現を用いる場合があるが、情報のデータ構造はどのようなものでもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘデータ」を「ｘｘｘテーブル」と言うことができる。さらに、「ｘｘｘデータ」を単に「ｘｘｘ」と言うこともある。そして、以下の説明において、各情報の構成は一例であり、情報を分割して保持したり、結合して保持したりしても良い。

　なお、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又は通信インターフェースデバイス（例えばポート）を用いながら行うため、処理の主語がプログラムとされても良い。プログラムを主語として説明された処理は、プロセッサ或いはそのプロセッサを有する計算機が行う処理としても良い。

　本実施形態の異常判定用計算機及び異常判定方法は、一例として以下のような構成を有する。

（１）良品の検査対象物を撮像して良品学習画像{f_i}（i=1,…,Nf, Nf:画像枚数）を取得する良品学習画像取得ステップと、良品学習画像{f_i}を用いてオートエンコーダのパラメータを学習する学習ステップと、検査対象物を撮像して検査画像f''を取得する検査画像取得ステップと、検査画像f''をオートエンコーダに入力して推定良品画像h''を推定する良品画像推定ステップと、検査画像f''と推定良品画像h''から比較検査エンジンにより異常判定を行う判定ステップを含み、前記学習ステップでは、良品学習画像{f_i}の異常判定正解率Rcを評価値として前記Rcが最大あるいは所定のしきい値th以上になるように、エンコードされたコード層の次元圧縮率Rdを最大化する、あるいはコード層への入力信号量またはコード層からの出力信号量を減少させることを特徴とする。

　本特徴について補足する。異常判定エンジンは、検査画像をオートエンコーダに入力して推定良品画像を得る「良品画像推定エンジン」と、検査画像と推定良品画像を比較して異常判定を行う「比較検査エンジン」からなる。

　比較検査エンジンはルールベースの判定アルゴリズムであってもよいし、ニューラルネットワーク等の機械学習ベースの判定アルゴリズムでもよい。

　良品画像から良品画像を推定するように学習されたオートエンコーダに、未学習の異常パターンを含む検査画像を入力した際にどのような推定良品画像が出力されるかは不明である。また、その検査画像と推定良品画像との比較検査を基に、検査画像の異常判定が正しく行えるかも不明である。

　推定良品画像の出力に失敗する例として、オートエンコーダが入力した異常画像を復元できてしまうケースが挙げられる。すなわち、入力画像が異常画像であったとしても、出力画像も入力画像と類似した異常画像であれば、入力画像と出力画像の差分が小さいため良品と誤判定されてしまう。そのため、オートエンコーダは良品画像のみを復元でき、それ以外の画像は復元できないように学習されるべきである。

　オートエンコーダが学習した良品学習画像以外の画像も復元できる要因の一つとして、オートエンコーダの表現力が高過ぎることが挙げられる。そこで、本実施形態では、コード層の次元圧縮率Rdをなるべく高くするようにネットワーク構造を最適化し、オートエンコーダの表現力を低下させることを特徴とする。

　次元圧縮率Rdが高いということは、コード層において入力画像を少ないノード（特徴量）で表現することになるため、オートエンコーダが学習した良品学習画像以外の画像を表現できる可能性を低下させることができる。

　その際、異常判定正解率Rcを評価値として次元圧縮率Rdを最大化することを特徴とする。通常、オートエンコーダは良品学習画像がより高精度に復元されるように学習されるが、異常判定においては必ずしも高精度な推定良品画像が得られる必要はない。すなわち、良品画像を復元した推定良品画像が劣化したとしても、比較検査エンジンにおいて正しい異常判定が行えればよいからである。また、オートエンコーダの表現力を決定する際の評価値として異常判定正解率Rcを用いるが、前述のとおり、異常判定正解率Rcを最大にするように決定してもよいし、異常判定正解率Rcが所定のしきい値th以上になるように決定してもよい。

（２）学習ステップにおいてコード層の次元圧縮率の最大化は、コード層の各チャネルに含まれるノード数あるいはチャネル数を削減することによって行うことを特徴とする。

　本特徴について補足する。前述の通り、本実施形態では、異常判定正解率Rcを評価値として、オートエンコーダの表現力を低下させることによって良品画像以外の画像を復元できないようにする。

　オートエンコーダの表現力を低下させる方法として、コード層の次元圧縮率Rdを最大化する方法が挙げられる。具体的には、コード層の各チャネルに含まれるノード数あるいはチャネル数を削減する。コード層におけるノードの総数はエンコーダによる次元圧縮後の特徴量数と捉えることができるので、ノード総数の削減は次元圧縮率Rdを高めることになる。

（３）学習ステップにおいて、コード層への入力信号量の減少は、コード層のi番目のノードへのj番目の入力信号{x_ij}（i=1,…,Nn、Nn：コード層のノード数、j=1,…,Nx_i、Nx_i：コード層のi番目のノードへの力信号数）の重みw_ijの内、少なくとも一つ以上のノードに対する重み{w_ij | （i,j）∈Φ}（Φ：値を零にする重みw_ijの番号（i,j）の集合）の値を零または零に近い値に設定にすることによって行い、集合Φは良品学習画像{f_i}をオートエンコーダに入力した際、入力信号{x_ij}が一定値x_min以下となる番号（i,j）の集合（{Φ={（i,j）} | x_ij≦x_min}）であることを特徴とする。

　本特徴について補足する。異常判定正解率Rcを評価値としてオートエンコーダの表現力を低下させる方法として、コード層に含まれるノードへのいくつかの入力信号の値を減少させるという方法でもよい。すなわち、オートエンコーダの表現力を低下させるには、前述のようにノード数を削減するという直接的な方法でもよいが、あるノードを残すか削除するかの二択ではなく、あるノードへの入力信号の値を減少させることにより、復元におけるそのノードの影響力を低下させ、オートエンコーダの表現力を連続的に減少させることが可能である。

（４）比較検査エンジンは、検査画像f''と前記検査画像f''をオートエンコーダに入力して出力された推定良品画像h''との差分画像を求める差分画像生成エンジンと、前記差分画像を基に前記検査画像f''が良品か異常かを判定する差分画像評価エンジンからなり、学習ステップにおいて異常判定正解率を基に前記差分画像生成エンジンあるいは前記差分画像評価エンジンの処理パラメータを学習することを特徴とする。

　本特徴について補足する。検査画像f''と推定良品画像h''との差分画像を求めるにはいくつか方法が考えられる。単純に両画像の各画素値の差分をとってもよいが、異常ではない画像間のわずかな不一致も差分となるため、差分画像評価エンジンの異常判定において誤判定の要因になる危険がある。

　そのため、例えば局所摂動差分法（松山幸雄, 岩田尚史, 窪田仁志, 中川泰夫,“局所摂動パターンマッチング法によるLSIウェーハパターンの精密外観検査,”電子情報通信学会論文誌D, J72-D2 (12), pp.2041-2050 (1989).などを参照）を用いて差分画像を求めることが考えられる。局所摂動差分法とは一方の画像を他方の画像に対して局所領域ごとにXY平面内および明度方向に摂動して合わせ込み、合わせきれない部分を差分とする方法である。画像間のわずかな不一致を消去することができる。摂動幅は比較検査の処理パラメータの一つであり、その値によって消去される不一致量の大きさが変化する。

　また、差分画像を基に検査画像f''が良品か異常かを判定する差分画像評価エンジンにもいくつかの方法が考えられる。例えば、差分のある画素領域の明度値の分布をもとに判定を行うことが考えられるが、異常と判定する分布の大きさや明度値の大きさも比較検査の処理パラメータの一つである。

　ここでは、差分画像生成エンジンや差分画像評価エンジンとして、いわゆるルールベースのアルゴリズムを例に挙げたが、機械学習ベースのアルゴリズムであってもよい。機械学習ベースのアルゴリズムであっても学習のための処理パラメータが存在する。

　本実施形態では、異常判定正解率を評価値として、これらの処理パラメータを最適化することを特徴とする。項目（１）～（３）で述べた通り、オートエンコーダが良品以外の画像をなるべく復元できないようにするためにオートエンコーダの表現力を低下させる処理を行うが、異常判定正解率を維持したまま表現力を低下させることには限界がある。表現力を低下させると、入力画像が良品であってもオートエンコーダによる推定良品画像は劣化し、入力画像と推定良品画像には差分が発生してしまう。この多少の差分を異常と誤判定されないように、比較検査エンジンの処理パラメータの調整することにより、オートエンコーダでは、更に表現力を下げて、良品しか復元できない良品画像推定エンジンを生成し易くなる。このようなオートエンコーダの表現力を低下させるハイパーパラメータと比較検査エンジンの処理パラメータとの同時最適化により、両者の性能を補完し合って、より高精度な異常判定が可能になる。

（５）良品の検査対象物を撮像して良品学習画像{f_i}（i=1,…,Nf, Nf:画像枚数）を取得する良品学習画像取得ステップと、異常学習画像{f'_i}（i=1,…,Nf, Nf:画像枚数）を取得する異常学習画像取得ステップと、良品学習画像{f_i}と異常学習画像{f'_i}を用いてオートエンコーダのパラメータを学習する学習ステップと、検査対象物を撮像して検査画像f''を取得する検査画像取得ステップと、検査画像f''をオートエンコーダに入力して推定良品画像h''を推定する良品画像推定ステップと、検査画像f''と推定良品画像h''から比較検査エンジンにより異常判定を行う判定ステップを含み、前記学習ステップでは、良品学習画像{f_i}と異常学習画像{f'_i}の異常判定正解率Rcを評価値として前記Rcが最大あるいは所定のしきい値th以上になるように、エンコードされたコード層の次元圧縮率Rdを最大化する、あるいはコード層への入力信号量またはコード層からの出力信号量を減少させることを特徴とする。

　本特徴について補足する。異常パターンは多様であり、事前に多くの異常画像を網羅的に収集することは一般に困難である。しかし、一部であっても、いくつかの異常画像が入手できれば、異常学習画像{f'_i}として学習することで、オートエンコーダのパラメータをより適切に学習することが可能である。

　本実施形態では、異常判定正解率Rcを評価値としてオートエンコーダを学習することを特徴とするが、良品学習画像{f_i}と異常学習画像{f'_i}の両方を用いることで、異常判定正解率Rcをより正確に推定することが可能となる。

（６）異常学習画像{f'_i}は疑似異常画像生成エンジンによって生成した疑似異常画像であり、前記疑似異常画像生成エンジンは良品学習画像{f_i}に画像処理を施すことによって画像を生成することを特徴とする。

　本特徴について補足する。前述の通り異常画像の収集は一般に困難であり、項目（５）において異常学習画像{f'_i}を事前に用意できない、あるいは何枚か用意できたとしても、多くの異常パターンを網羅的に収集できない場合がある。

　そこで、良品学習画像{f_i}に画像処理を施すことによって、様々な異常画像を疑似的に生成し、学習に用いることを特徴とする。疑似異常画像生成エンジンにおける画像処理は実際の検査対象において発生しうる異常を模擬したものであり、良品学習画像に対して、異物の付着、欠け等の欠損、傷、表面の斑や汚れ、形状変形、等を施すバリエーションが挙げられる。

１. 自動異常判定システムと全体の処理シーケンス
　本実施形態における自動異常判定システムおよび全体の処理シーケンスを図１に示す。

　本実施形態の自動異常判定システムにおける処理シーケンスは、大きく学習フェーズ（１００）と検査フェーズ（１０１）に分かれる。

　学習フェーズ（１００）では、学習用に良品の検査対象物（１０２）を撮像して良品学習画像{f_i}（i=1,…,Nf, Nf:画像枚数）を取得する（１０３）。画像は、ＣＣＤカメラ、光学顕微鏡、荷電粒子顕微鏡、超音波検査装置、Ｘ線検査装置、等の撮像装置で検査対象物の表面あるいは内部をデジタル映像として撮像することで取得する。

　なお、「取得」の他の例としては、ほかのシステムで撮像した画像を単に受信して、自動異常判定システムが有する記憶資源に格納するだけでもよい。

　次に、良品学習画像{f_i}を用いてオートエンコーダを活用した良品画像推定エンジンを学習する（１０４）。すなわち、入力画像を入力として良品画像が出力されるようにオートエンコーダのネットワークパラメータを学習により決定する。

　良品である良品学習画像を用いて学習する際には、基本的には良品学習画像を入力して、同じ良品学習画像が出力されるようにネットワークパラメータを決定する。

　ネットワークパラメータには、ネットワーク構造等の「ハイパーパラメータ」と、ネットワークのノード間の重み（結合係数）やバイアス等の「モデルパラメータ」が含まれ、それぞれを決定する（１０５、１０６）。ハイパーパラメータには、ネットワークの層数や層内のノード数、活性化関数、学習率や学習の終了条件等が含まれる。

　また、良品画像推定エンジンの入力画像と出力画像を比較して、入力画像が良品か異常かを判定する比較検査エンジンのパラメータを学習する（１０７）。

　検査フェーズ（１０１）では、実際の検査対象物（１０２）を撮像して（１０３）、検査画像f''を取得して、異常判定を行う（１１１）。

　具体的には、検査画像f''を学習フェーズ（１００）において決定したハイパーパラメータ（１０８）およびモデルパラメータ（１０９）に基づくオートエンコーダに入力して、推定良品画像h''を推定する（１１２）。また、検査画像f''と推定良品画像h''とを、学習フェーズ（１００）において決定した比較検査処理パラメータ（１１０）に基づく比較検査エンジンに入力して検査画像f''が良品か異常かを判定する（１１３）。必要に応じて、この判定結果を検査員が確認する（１１４）。

２. オートエンコーダによる良品画像推定
　オートエンコーダによる良品画像推定の詳細について図２を用いて説明する。

　オートエンコーダ（Geoffrey E. Hinton and R. R. Salakhutdinov,“Reducing the Dimensionality of Data with Neural Networks,”Science, 313 (5786), pp.504-507 (2006).などを参照）はいわゆる次元圧縮型のネットワークで、入力画像を入力層（２０７）に入力しエンコーダ（２０５）で一度圧縮して、入力層よりも少ないノードで構成されるコード層（２０９）に変換する。

　このコード層におけるノード{g_i}（i=1,…,Ng, Ng:コード層のノード数）の各値は入力画像を次元圧縮した特徴量と捉えることもできる。このコード層をデコーダ（２０６）で復元処理し、再度、入力画像の次元数をもつ出力層（２１１）に戻す。

　学習フェーズ（良品学習）の処理シーケンス２００に示すように、学習時に入力画像f_iを良品画像（２０２）として、良品画像（２０２）から同じ良品画像が出力画像h_i（２１２）として復元されるように学習すると、オートエンコーダは良品だけが復元できる良品画像推定エンジンになると期待される。

　このように学習されたオートエンコーダを用いることによって、検査フェーズ（異常判定）における処理シーケンス２０１では実際の検査対象物に対して異常判定を行うことができる。

　すなわち、入力した検査画像f''_iが良品だった場合、オートエンコーダは検査画像f''_iと同様の画像を推定良品画像：h''_iとして出力するため、検査画像f''_iと推定良品画像：h''_iの差分はなく、検査画像f''_iは良品と判定される。一方、入力した検査画像f''_i（２０３）に例えば異物付着等の異常（２０４）が含まれる場合、オートエンコーダは異常部を正確に復元できず、異常のない推定良品画像：h''_i（２１３）が出力される。そのため、異常部において検査画像f''_iと推定良品画像：h''_iの差分が発生し、検査画像f''_iは異常と判定される。

　しかし、ここで説明した図２の検査フェーズ２０１における正しい異常判定結果が常に得られるとは限らない。なぜなら、学習フェーズにおいて異常画像を明示的に学習したわけではなく、未知の異常画像に対する復元結果がどうなるかは不明だからである。つまり、学習フェーズ２００では良品画像から良品画像を復元するように学習したので、検査フェーズ２０１においても良品画像から良品画像が復元されることが期待されるが、異常画像が復元されるか否かは異常パターンの種類に依存する。実際の実験においても、オートエンコーダで異常画像が復元できてしまい、正しい異常判定が行えないケースが確認されている。本実施例はこの課題を解決する。

３. オートエンコーダの最適化
３．１基本的な処理
　前述の課題を解決するため、本実施例は、良品の検査対象物を撮像して良品学習画像{f_i}（i=1,…,Nf, Nf:画像枚数）を取得する良品学習画像取得ステップと、良品学習画像{f_i}を用いてオートエンコーダのパラメータを学習する学習ステップと、検査対象物を撮像して検査画像f''を取得する検査画像取得ステップと、検査画像f''をオートエンコーダに入力して推定良品画像h''を推定する良品画像推定ステップと、検査画像f''と推定良品画像h''から比較検査エンジンにより異常判定を行う判定ステップを含み、前記学習ステップでは、良品学習画像{f_i}の異常判定正解率Rcを評価値として前記Rcが最大あるいは所定のしきい値th以上になるように、エンコードされたコード層の次元圧縮率Rdを最大化する、あるいはコード層への入力信号量またはコード層からの出力信号量を減少させることを特徴とする。

　本特徴について図３を用いて説明する。異常判定エンジンは、検査画像をオートエンコーダに入力して推定良品画像を得る「良品画像推定エンジン（３０１）」と、検査画像（学習時は良品学習画像）と推定良品画像を比較して異常判定を行う「比較検査エンジン（３１１）」からなる。

　前述のように、良品画像から良品画像を推定するように学習されたオートエンコーダに、未学習の異常パターンを含む検査画像を入力した際にどのような推定良品画像が出力されるかは不明である。また、その検査画像と推定良品画像との比較検査を基に、検査画像の異常判定が正しく行えるかも不明である。

　オートエンコーダが学習した良品学習画像以外の画像も復元できる要因の一つとして、オートエンコーダの表現力が高過ぎることが挙げられる。そこで、本実施例では、コード層（３０６）の次元圧縮率Rdをなるべく高くするように、ネットワーク構造を最適化しオートエンコーダの表現力を低下させることを特徴とする。

　次元圧縮率Rdが高いということは、コード層（３０６）において入力画像を少ないノード（特徴量）で表現することになるため、オートエンコーダが学習した良品学習画像以外の画像を表現できる可能性を低下させることができる。

　その際、比較検査エンジン（３１１）の判定結果から得られる異常判定正解率Rc（処理３１５で算出）を評価値として次元圧縮率Rdを最大化することを特徴とする。すなわち、ハイパーパラメータ３０９の一つであるコード層のノード数を最小化する。

　通常、オートエンコーダは良品学習画像がより高精度に復元されるように学習されるが、異常判定においては必ずしも高精度な推定良品画像が得られる必要はない。すなわち、良品画像（３００）を復元した推定良品画像（３１０）が劣化したとしても、比較検査エンジン（３１１）において正しい異常判定が行えればよいからである。

　また、オートエンコーダの表現力を決定する際の評価値として異常判定正解率Rcを用いるが、異常判定正解率Rcが改善するように表現力を決定することを特徴とし、その具体的な方法としては前述のとおり、異常判定正解率Rcを最大にするように決定してもよいし、異常判定正解率Rcが所定のしきい値th以上になるように決定してもよい（３１５）。

３．２コード層の最適化の具体例
　コード層の最適化について大きく２種類の方法について説明する。

　一つ目は、学習ステップにおいてコード層の次元圧縮率の最大化は、コード層の各チャネルに含まれるノード数あるいはチャネル数を削減することによって行うことを特徴とする。

　本特徴について補足する。前述の通り、本発明では異常判定正解率Rcを評価値としてオートエンコーダの表現力を低下させることによって、良品画像以外の画像を復元できないようにする。オートエンコーダの表現力を低下させる方法として、コード層の次元圧縮率Rdを最大化する方法が挙げられる。具体的には、コード層の各チャネルに含まれるノード数あるいはチャネル数を削減する。コード層におけるノードの総数はエンコーダによる次元圧縮後の特徴量数と捉えることができるので、ノード総数の削減は次元圧縮率Rdを高めることになる。

　図４に各層が１次元で表現されたネットワーク構造の模式図を例示し、具体的なコード層のノード数の削減方法について説明する。

　図４（ａ）は比較的コード層におけるノード数が多く、オートエンコーダの表現力が高いネットワーク構造の例である。入力層（４０２）のノード数は１０としている。ただし、これは模式的な図であり、検査画像をそのまま入力する場合、入力層のノード数は検査画像の画素数と等しくなる。

　この入力層（４０２）のノード数をエンコーダ（４００）によりコード層（４０４）のノード数６に次元圧縮している。すなわち、次元圧縮率Rdは（１０－６）／１０×１００＝４０％である。

　これに対し、図４（ｂ）のネットワーク構造におけるコード層（４１１）のノード数は４となっている。次元圧縮率Rdは（１０-４）／１０×１００＝６０％であり、圧縮率が高くなっている。そのため、図４（ａ）より図４（ｂ）の方が異常判定正解率Rcが改善する場合、あるいは図４（ｂ）においても異常判定正解率Rcが所定のしきい値th以上である場合、図４（ｂ）のネットワーク構造を採用して、より良品学習画像以外の画像が表現できる可能性を低下させ、未知の異常画像に対する異常判定正解率を向上させるべきである。

　図４（ｃ）ではコード層（４１８）のノード数は２となっている。次元圧縮率Rdは（１０－２）／１０×１００＝８０％であり、圧縮率は更に高くなっている。もし図４（ｂ）より図４（ｃ）の方が更に異常判定正解率Rcが改善する場合、あるいは図４（ｂ）においても異常判定正解率Rcが所定のしきい値th以上である場合、図４（ｃ）のネットワーク構造を採用するべきであるし、更に圧縮率の高いネットワーク構造も評価するべきである。しかし、もしそのような性能が確認できなかった場合は、ネットワークの表現力を下げ過ぎたために、良品画像が正確に復元できなくなってしまった可能性があるため、図４（ｃ）は採用できない。

　なお、図４においてはエンコーダ（４００、４０７、４１４）もデコーダ（４０１、４０８、４１５）も２層のネットワーク（例えばエンコーダ４００では入力層４０２から中間層４０３、コード層４０４へと続くネットワーク）としたが、２層以上のネットワークとすることも可能ある。

　また、コード層（４０４、４１１、４１８）のノード数も６、４、２と離散的な値を例示したが、実際の最適化においては任意の値を検証し、選択することができる。更にコード層のノード数の最適化に伴って、エンコーダやデコーダにおけるネットワーク構造（層数、ノード数、チャネル数、エッジが接続するノードの組み合せ、等）を変更することができる。

　図５に各層が２次元で表現されたネットワーク構造の模式図を例示し、具体的なコード層のノード数の削減方法について説明する。

　図４では検査画像の画素値を一列に繋ぎ合わせて１次元配列として入力するイメージを示したが、図５に示すように横のピクセル数がNx1、縦のピクセル数がNy1の検査画像をNx1×Ny1の２次元ノード配列から成る入力層（L1）にそのまま入力してもよい。

　入力層（L1）に対して畳み込みとプーリングを行うことによって中間層（L2）を得るのが一般的である。プーリングにより中間層の画像サイズNx2×Ny2はNx1×Ny1より小さくなる。

　この際、畳み込みのフィルタを複数設けることにより複数枚の画像を生成する。この画像枚数のことをチャネル数と呼び、中間層（L2）ではチャネル数はNc2である。

　同様に中間層（L2）からコード層（L3）を生成し、コード層（L3）は画像サイズNx3×Ny3、チャネル数Nc3となっている。ここまでがエンコーダである。コード層（L3）から中間層（L4）を経て元の画像サイズ（Nx1=Nx5、Ny1=Ny5）である出力層（L5）を得るネットワークがデコーダである。

　本実施例では異常判定正解率Rcを評価値としてオートエンコーダの表現力を低下させるが、その方法としては、コード層の各チャネルに含まれるノード数（Nx3×Ny3）あるいはチャネル数（Nc3）を削減する手法がある。

　二つ目は、学習ステップにおいてコード層への入力信号量の減少は、コード層のi番目のノードへのj番目の入力信号{x_ij}（i=1,…,Nn、Nn：コード層のノード数、j=1,…,Nx_i、Nx_i：コード層のi番目のノードへの力信号数）の重みw_ijの内、少なくとも一つ以上のノードに対する重み{w_ij | （i,j）∈Φ}（Φ：値を零にする重みw_ijの番号（i,j）の集合）の値を零または零に近い値に設定にすることによって行い、集合Φは良品学習画像{f_i}をオートエンコーダに入力した際、入力信号{x_ij}が一定値x_min以下となる番号（i,j）の集合（{Φ={（i,j）} | x_ij≦x_min}）であることを特徴とする。

　図６、図７を用いて具体的に説明する。

　図６は、本実施例において良品画像の推定を行うオートエンコーダの一例である。L1～L5の５層からなり、L3はコード層（６０４）である。

　コード層における１番目（i=1）のノード（６１０）および、コード層における１番目のノード（６１０）とエッジにより繋がっている中間層（L2）における３つのノード（６０７、６０８、６０９）をピックアップして図７に示す。

　ノード（６１０）から出力される信号量uは、３つのノード（６０７、６０８、６０９）から出力される信号量{x_1j}（j=1,2,3）から、次式により計算される。
　u = A(t) ・・・（式１）
　t = w_11*x_11+w_12*x_12+w_13*x_13+b_1 ・・・（式２）
ここで、A()は活性化関数であり、様々な非線形関数が提案されているが、最近ではReLU（ランプ関数）が広く用いられている。また、{w_1j}は中間層（L2）におけるj番目のノードとコード層（L3）における１番目のノードを繋ぐエッジの重み、b_1はバイアス量であり、共に学習により最適化されるモデルパラメータ（１０９）である。

　本実施例では、重みの一部を意図的に零または零に近い値に設定にすることでオートエンコーダの表現力を低下させる。重みを小さく設定する基準の一つとして、信号量の大きさを用いることができる。良品画像を入力層（６０２）に入力した際、信号量の小さいエッジは、良品画像を表現することに大きく寄与していないと考えることができる。例えば、図７において信号量x_12が小さければ、エッジ７０１の重みw_12の値を学習により設定された値に対して小さく補正する。

　ここでは、中間層（L2）からコード層（L3）への重みを例に、値を小さく設定することを説明したが、任意の層間の重みについて同様に値を小さく設定することができる。値を小さく設定し、零に近い値になる程、その重みのかかったエッジはより無効化される。その結果、オートエンコーダの表現力は低下し、ノード総数を削減しなくても次元圧縮率Rdを高めることと同等の効果が得られる。

４. 比較検査エンジンの処理パラメータ調整
　比較検査エンジンは、検査画像f''と前記検査画像f''をオートエンコーダに入力して出力された推定良品画像h''との差分画像を求める差分画像生成エンジンと、前記差分画像を基に前記検査画像f''が良品か異常かを判定する差分画像評価エンジンからなり、学習ステップにおいて異常判定正解率を基に前記差分画像生成エンジンあるいは前記差分画像評価エンジンの処理パラメータを学習することを特徴とする。

　本特徴について図３を用いて説明する。本実施例では、検査画像f''_iを良品画像推定エンジン（オートエンコーダ）に入力して推定良品画像h''_iを出力する。検査画像f''_iと推定良品画像h''_iを比較検査エンジン（３１１）で比較することにより検査画像f''_iが良品か異常かを判定する。

　比較には様々なアルゴリズムを用いることができるが、その一例として、差分画像生成エンジン（３１２）と差分画像評価エンジン（３１３）から成る比較検査エンジンを考える。

　差分画像生成エンジン（３１２）において、検査画像f''と推定良品画像h''との差分画像を求めるにはいくつか方法が考えられる。単純に両画像の各画素値の差分をとってもよいが、異常ではない画像間のわずかな不一致も差分となるため、差分画像評価エンジンの異常判定において誤判定の要因になる危険がある。そのため、例えば局所摂動差分法（松山幸雄, 岩田尚史, 窪田仁志, 中川泰夫,“局所摂動パターンマッチング法によるLSIウェーハパターンの精密外観検査,”電子情報通信学会論文誌D, J72-D2 (12), pp.2041-2050 (1989).などを参照）を用いて差分画像を求めることが考えられる。

　局所摂動差分法とは、一方の画像を他方の画像に対して局所領域ごとにＸＹ平面内および明度方向に摂動して合わせ込み、合わせきれない部分を差分とする方法である。画像間のわずかな不一致を消去することができる。摂動幅は比較検査の処理パラメータ（３１４）の一つであり、その値によって消去される不一致量の大きさが変化する。

　また、差分画像を基に検査画像f''が良品か異常かを判定する差分画像評価エンジン（３１３）にもいくつかの方法が考えられる。例えば、差分のある画素領域の明度値の分布をもとに判定を行うことが考えられるが、異常と判定する分布の大きさや明度値の大きさも比較検査の処理パラメータ（３１４）の一つである。

　ここでは、差分画像生成エンジン（３１２）や差分画像評価エンジン（３１３）として、いわゆるルールベースのアルゴリズムを例に挙げたが、機械学習ベースのアルゴリズムであってもよい。機械学習ベースのアルゴリズムであっても学習のための処理パラメータ（３１４）が存在する。

　本実施例では、異常判定正解率を評価値として、これらの処理パラメータを最適化することを特徴とする。前述の通り、オートエンコーダが良品以外の画像をなるべく復元できないようにするためにオートエンコーダの表現力を低下させる処理を行うが、異常判定正解率を維持したまま表現力を低下させることには限界がある。表現力を低下させると、入力画像が良品であってもオートエンコーダによる推定良品画像は劣化し、入力画像と推定良品画像には差分が発生してしまう。

　この多少の差分を異常と誤判定されないように、比較検査エンジンの処理パラメータを調整することにより、オートエンコーダでは、更に表現力を下げて、良品しか復元できない良品画像推定エンジンを生成し易くなる。このようなオートエンコーダの表現力を低下させるハイパーパラメータ（３０９）と比較検査エンジンの処理パラメータ（３１４）との同時最適化を処理３１５において行うことにより、両者の性能を補完し合って、より高精度な異常判定が可能になる。

　局所摂動差分法のように、検査画像f''と推定良品画像h''との比較において、わずかな不一致を差分として検出しない手法を差分画像生成エンジンに用いることは、本実施例における特徴の一つである。なぜなら、図１１を用いて後述するように、本実施例では推定良品画像の復元精度を多少犠牲にしてもオートエンコーダの表現力を低下させて、異常パターンを確実に検出することで異常判定正解率Rcを向上させるためである。そのためには、良品において発生する多少の差分に対しては感度が低い手法を用いることが必須である。

　よって、本実施例によれば、オートエンコーダを利用した異常判定において、良品画像のみを用いた学習であっても、未知の異常画像に対して精度の高い異常判定を行うことが可能な異常判定用計算機及び異常判定方法を実現することができる。

５．疑似異常画像を用いた異常判定方法の最適化
　良品の検査対象物を撮像して良品学習画像{f_i}（i=1,…,Nf, Nf:画像枚数）を取得する良品学習画像取得ステップと、異常学習画像{f'_i}（i=1,…,Nf, Nf:画像枚数）を取得する異常学習画像取得ステップと、良品学習画像{f_i}と異常学習画像{f'_i}を用いてオートエンコーダのパラメータを学習する学習ステップと、検査対象物を撮像して検査画像f''を取得する検査画像取得ステップと、検査画像f''をオートエンコーダに入力して推定良品画像h''を推定する良品画像推定ステップと、検査画像f''と推定良品画像h''から比較検査エンジンにより異常判定を行う判定ステップを含み、前記学習ステップでは、良品学習画像{f_i}と異常学習画像{f'_i}の異常判定正解率Rcを評価値として前記Rcが最大あるいは所定のしきい値th以上になるように、エンコードされたコード層の次元圧縮率Rdを最大化する、あるいはコード層への入力信号量またはコード層からの出力信号量を減少させることを特徴とする。

　本特徴について図８を用いて説明する。異常パターンは多様であり、事前に多くの異常画像を網羅的に収集することは一般に困難である。しかし、一部であっても、いくつかの異常画像が入手できれば、異常学習画像{f'_i}として学習することで、オートエンコーダのパラメータをより適切に学習することが可能である。

　すなわち、良品学習画像f_i（８００）と推定良品画像h_i（８１２）がなるべく類似し、また、異常学習画像f'_i（８０２）と推定良品画像h'_i（８１３）が異常部分においてなるべく乖離すると、異常判定正解率Rcは改善する傾向にある。

　本実施例では、異常判定正解率Rcを評価値としてオートエンコーダを学習することを特徴とするが、良品学習画像{f_i}（８００）と異常学習画像{f'_i}（８０２）の両方を用いることで、異常判定正解率Rcをより正確に推定することが可能となる。

　異常学習画像{f'_i}は疑似異常画像生成エンジンによって生成した疑似異常画像であり、前記疑似異常画像生成エンジンは良品学習画像{f_i}に画像処理を施すことによって画像を生成することを特徴とする。

　本特徴について図８を用いて説明する。前述の通り異常画像の収集は一般に困難であり、異常学習画像{f'_i}（８０２）を事前に用意できない、あるいは何枚か用意できたとしても、多くの異常パターンを網羅的に収集できない場合がある。そこで、良品学習画像{f_i}（８００）に画像処理を施すことによって、様々な異常画像を疑似的に生成し、学習に用いることを特徴とする。

　その場合、異常学習画像f'_iを疑似的に生成する際に元になった良品学習画像（８００）が存在するため、学習においては、推定良品画像h'_i（８１３）と対応する良品学習画像（８００）がなるべく類似すると、異常判定正解率Rcは改善する傾向にある。

　疑似異常画像生成エンジン（８０１）における画像処理は実際の検査対象において発生しうる異常を模擬したものであり、図９に示す通り、良品学習画像（図９（ａ））に対して、異物の付着（図９（ｂ））、欠け等の欠損（図９（ｃ））、傷（図９（ｄ））、表面の斑や汚れ（図９（ｅ））、形状変形（図９（ｆ））、等を施すバリエーションが挙げられる。

　また、図８に示した疑似異常画像を用いた異常判定においても、疑似異常画像を用いなかった図３と同様に、学習ステップにおいて異常判定正解率Rcを基にハイパーパラメータ（８１１）（コード層のノード数、等）および、比較検査処理パラメータ（８１７）（例えば、差分画像生成エンジン（８１５）あるいは前記差分画像評価エンジン（８１６）の処理パラメータ、等）を学習することを特徴とする。加えて、異常判定正解率Rcを基に疑似異常画像生成エンジン（８０１）における画像処理の処理パラメータ（疑似異常画像の生成方法や生成枚数、等）を学習することを特徴とする。

　ハイパーパラメータ（８１１）と比較検査処理パラメータ（８１７）と疑似異常画像生成エンジン（８０１）の処理パラメータの同時最適化を処理８１８において行うことができる。

　現実問題として異常パターンのバリエーションを網羅的に収集することが困難であるため、良品教示によって異常判定の性能を出すことが求められる。一方、未知の異常パターンに対して性能を出すことは本質的に困難な課題である。よって、良品画像の情報だけで努力できることは、良品のみを復元するオートエンコーダを生成することである。そのためには、比較検査エンジンの処理パラメータや疑似異常画像生成エンジンの処理パラメータ等、全ての処理パラメータの調整を駆使して、異常判定正解率Rcを維持したまま、コード層の表現力を下げられるところまで下げることが重要となる。

　よって、本実施例によっても、オートエンコーダを利用した異常判定において、良品画像のみを用いた学習であっても、未知の異常画像に対して精度の高い異常判定を行うことが可能な異常判定用計算機及び異常判定方法を実現することができる。

６．処理結果例
　処理結果例を用いて本実施形態の効果を示す。

　図１０は一般的なオートエンコーダによる異常判定の処理結果である。

　図１０上段に示す学習フェーズでは、良品学習画像f（図１０（ａ１））をオートエンコーダに入力して推定良品画像h（図１０（ａ２））を出力し、良品学習画像fと推定良品画像hが類似するようにオートエンコーダのモデルパラメータを学習する。その結果、良品学習画像fと推定良品画像hとの単純差分（図１０（ａ３））はほぼ無くなり、良品画像は良品と正しく判定されることになる。

　検査フェーズでは、このように学習されたオートエンコーダを用いて検査画像f''の異常判定を行う。異常パターンの種類によっては図１０中段に示すように正しい異常判定が行える場合もある。すなわち、異常部として異物（１０００）を含む検査画像f''（図１０（ｂ１））をオートエンコーダに入力して出力される推定良品画像h''（図１０（ｂ２））において異常部が復元できない場合である。このとき、異常部が検査画像f''と推定良品画像h''との差分（図１０（ｂ３））として抽出されるため、検査画像f''は異常と正しく判定されることになる。

　一方、図１０下段に示すように、正しい異常判定が行えない場合がある。すなわち、異常部として欠損（１００１）を含む検査画像f''（図１０（ｃ１））をオートエンコーダに入力して出力される推定良品画像h''（図１０（ｃ２））において異常部が復元できてしまう場合である。このとき、異常部が検査画像f''と推定良品画像h''との差分（図１０（ｃ３））として抽出されないため、検査画像f''は良品と誤って判定されることになる。

　オートエンコーダの学習は、良品画像から同じ良品画像を推定するように学習されており、学習に用いていない未知の異常画像を入力した際に良好な推定良品画像、すなわち入力した異常画像から異常部を除去した推定良品画像が出力されるとは限らないためである。

　これに対し、本実施形態では、異常判定正解率Rcを評価値としてオートエンコーダの表現力を低下させることによって、良品画像以外の画像を復元できないようにすることを特徴とする。

　図１１は本実施形態のオートエンコーダによる異常判定の処理結果である。

　図１１上段に示す学習フェーズでは、良品学習画像f（図１１（ａ１））をオートエンコーダに入力して推定良品画像h（図１１（ａ２））を出力し、異常判定正解率Rcを評価値として、なるべくオートエンコーダの表現力が低下するようにハイパーパラメータを決定する。

　表現力を低下させた結果、推定良品画像h（図１１（ａ２））の復元精度も低下し（例えば良品学習画像に対して多少形状が歪む等）、入力画像が良品であったとしても良品学習画像fと推定良品画像hとの差分（図１１（ａ３））が発生する可能性がある。しかし、本実施形態では良品学習における復元精度が直接的な評価値ではなく、異常判定正解率Rcが評価値であるため、Rcの値が高ければ問題はない。すなわち、入力画像が良品か異常かは単に良品学習画像fと推定良品画像hの単純な差分の有無で決まるのではなく、比較検査エンジンによって決まるため、多少の差分が発生しても正しい異常判定が行えるように比較検査エンジンの処理パラメータを調整できればよい。

　異常判定正解率Rcを維持した上で復元精度を多少犠牲にしてもオートエンコーダの表現力を低下させることにより、未知の異常画像を復元できなくなる可能性が増す。その結果、図１１中段に示すように、推定良品画像h''（図１１（ｂ２））において従来も復元できなかった異物（１１００）を含む検査画像f''（図１１（ｂ１））を異常と正しく判定できることは勿論、図１１下段に示すように、従来は復元できてしまった欠損（１１０１）が推定良品画像h''（図１１（ｃ２））において復元できなくなり、検査画像f''（図１１（ｃ１））を異常と正しく判定できるようになる。

７．自動異常判定システムのハードウェア構成
　以上の実施形態にて説明した異常判定方法を実現する異常判定システムを図１２に示す。

　異常判定システムは、前述の撮像装置と、計算機（異常判定用計算機）により構成される。撮像装置の例はすでに説明した通りである。

　計算機は、本実施形態で説明した異常判定方法を処理する構成物であり、以下を有する。
＊プロセッサ：プロセッサの例としてはＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）が考えられるが、異常判定方法を処理できるのであれば、ほかの構成物であってもよい。
＊記憶資源：記憶資源の例としてはＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、不揮発メモリ（フラッシュメモリ等）が考えられる。当該記憶資源は、以上の実施形態にて説明した異常判定方法をプロセッサに実行させるプログラム（異常判定プログラムと呼ぶ）を格納してもよい。
＊ＧＵＩ装置：ＧＵＩ（Graphical User Interface）装置の例としては、ディスプレイやプロジェクタ等が考えられるが、ＧＵＩを表示ができるのであれば、ほかの装置でもよい。
＊入力装置：入力装置の例としては、キーボード、マウス、タッチパネルが考えられるが、ユーザからの操作を受け付けられる構成物であれば他の装置でもよい。また、入力装置とＧＵＩ装置とは一体の装置であってもよい。
＊通信インターフェース装置：通信インターフェースの例としては、ＵＳＢ（Universal Serial Bus）、イーサネット（Ethernet：登録商標）、Wi-Fi（登録商標）といった例が考えられるが、撮像装置から画像を直接受信できたり、又はユーザが当該画像を計算機に送信できるインターフェースであれば、ほかのインターフェース装置であってもよい。また、当該通信インターフェースに、当該画像を格納した可搬不揮発記憶媒体（たとえばフラッシュメモリ、ＤＶＤ（Digital Versatile Disk）、ＣＤ－ＲＯＭ、ブルーレイディスク等の）を接続し、計算機に当該画像を格納してもよい。
以上が計算機のハードウェア構成である。なお、異常判定システムを構成する計算機は複数であってもよく、撮像装置が複数であってもよい。

　なお、前述の異常判定プログラムは、以下の経路で計算機に格納されてもよい：
＊異常判定プログラムを可搬不揮発記憶媒体に格納し、当該媒体を通信インターフェースに接続することで、当該プログラムを計算機に配布する。
＊プログラム配信サーバにより異常判定プログラムを計算機に配信する。なお、プログラム配信サーバは、異常判定プログラムを格納した記憶資源と、異常判定プログラムを配信する配信処理を行うプロセッサと、計算機の通信インターフェース装置と通信可能である通信インターフェース装置、とを有する。

８．その他
　以上で実施形態の説明を終える。前述の通り、これまで説明した実施形態は特許請求の範囲に係る発明を限定するものではなく、また、実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

　一例として、本実施形態では入力情報として二次元の画像データを扱ったが、超音波の受信波等の一次元信号や、レーザレンジファインダ等で取得した三次元のボリュームデータを入力情報とした場合も本発明を適用することが可能である。また、入力画像が複数枚、推定評価値が複数種類の場合も本実施形態を適用することが可能である（評価エンジンが多入力・多出力）。

　また、実施形態では検査画像が良品か異常かの２択の異常判定を扱ったが、例えば異常の大きさや致命度に応じた異常の度合いを定量化した「異常度」を連続量として推定してもよい。異常度が零あるいは小さな値であれば良品とみなせるが、大きな値は異常と判断される。更に異常度が大きくなるにつれ、深刻な異常が発生していると判断することができる。

　推定方法として、比較検査エンジンにおいて検査画像と推定良品画像の差分の度合いに応じて異常度を算出することが考えられる。また、学習フェーズにおいてユーザが学習画像の異常度も教示し、前記学習画像が教示された異常度になるようにハイパーパラメータ（３０９、８１１）および比較検査処理パラメータ（３１４、８１７）を学習することが考えられる。

　また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

　また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）、Ｐｙｔｈｏｎ等の広範囲のプログラムまたはスクリプト言語で実装できる。

　さらに、各実施例の機能を実現するソフトウェアのプログラムコードのすべてまたは一部は、予め計算機の記憶資源に格納されていてもよいし、必要に応じて、ネットワークに接続された他の装置の非一時的記憶装置から、または計算機が備える図略の外部Ｉ／Ｆを介して、非一時的な記憶媒体から、計算機の記憶資源に格納されてもよい。

　さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段またはＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

　上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

　１０２…検査対象物　３００、８００…良品学習画像　３０１、８０３…良品画像推定エンジン　３０６、４０４、４１１、４１８、６０４…コード層　３１０、８１２、８１３…推定良品画像　３１１…比較検査エンジン　３１２、８１５…差分画像生成エンジン　３１３、８１３…差分画像評価エンジン　８０１…疑似異常画像生成エンジン　８０２…異常学習画像
　　　　　

Claims

　検査対象物の異常を判別する異常判定用計算機であって、
　前記異常判定用計算機はプロセッサを有し、前記プロセッサは、
　良品の前記検査対象物を撮像した良品学習画像{f_i}（i=1,…,Nf, Nf:画像枚数）を取得する良品学習画像取得ステップと、
　前記良品学習画像{f_i}を用いてオートエンコーダのパラメータを学習する学習ステップと、
　前記検査対象物を撮像した検査画像f''を取得する検査画像取得ステップと、
　前記検査画像f''を前記オートエンコーダに入力して推定良品画像h''を推定する良品画像推定ステップと、
　前記検査画像f''と前記推定良品画像h''とから比較検査エンジンにより異常判定を行う判定ステップと
を実行し、
　前記学習ステップでは、前記良品学習画像{f_i}の異常判定正解率Rcを評価値として前記異常判定正解率Rcが最大あるいは所定のしきい値th以上になるように、前記オートエンコーダのコード層の次元圧縮率Rdを最大化する、あるいは、前記コード層への入力信号量または前記コード層からの出力信号量を減少させる
ことを特徴とする異常判定用計算機。
　請求項１に記載の異常判定用計算機において、
　前記学習ステップにおける前記コード層の前記次元圧縮率Rdの最大化は、前記コード層の各チャネルに含まれるノード数あるいはチャネル数を削減することによって行う
ことを特徴とする異常判定用計算機。
　請求項１に記載の異常判定用計算機において、
　前記学習ステップにおける前記コード層への前記入力信号量の減少は、前記コード層のi番目のノードへのj番目の入力信号{x_ij}（i=1,…,Nn、Nn：コード層のノード数、j=1,…,Nx_i、Nx_i：コード層のi番目のノードへの力信号数）の重みw_ijの内、少なくとも一つ以上の前記ノードに対する重み{w_ij | （i,j）∈Φ}（Φ：値を零にする重みw_ijの番号（i,j）の集合）の値を零または零に近い値に設定にすることによって行い、
　前記集合Φは、前記良品学習画像{f_i}を前記オートエンコーダに入力した際、前記入力信号{x_ij}が一定値x_min以下となる番号（i,j）の集合（{Φ={（i,j）} | x_ij≦x_min}）である
ことを特徴とする異常判定用計算機。
　請求項１に記載の異常判定用計算機において、
　前記比較検査エンジンは、
　前記検査画像f''と前記推定良品画像h''との差分画像を求める差分画像生成エンジンと、
　前記差分画像を基に前記検査画像f''が良品か異常かを判定する差分画像評価エンジンと
を有し、
　前記学習ステップでは、前記異常判定正解率Rcを基に前記差分画像生成エンジンあるいは前記差分画像評価エンジンの処理パラメータを学習する
ことを特徴とする異常判定用計算機。
　請求項４に記載の異常判定用計算機において、
　前記差分画像生成エンジンは局所摂動差分法を用いて前記差分画像を求め、
　前記差分画像生成エンジンの処理パラメータは少なくとも摂動幅を含む
ことを特徴とする異常判定用計算機。
　請求項１に記載の異常判定用計算機において、
　異常学習画像{f'_i}（i=1,…,Nf, Nf:画像枚数）を取得する異常学習画像取得ステップを有し、
　前記学習ステップでは、前記良品学習画像{f_i}と前記異常学習画像{f'_i}を用いて前記オートエンコーダのパラメータを学習し、
　さらに、前記学習ステップでは、前記良品学習画像{f_i}と前記異常学習画像{f'_i}の前記異常判定正解率Rcを評価値として、前記異常判定正解率Rcが最大あるいは所定のしきい値th以上になるように、エンコードされた前記コード層の前記次元圧縮率Rdを最大化する、あるいは前記コード層への前記入力信号量または前記コード層からの前記出力信号量を減少させる
ことを特徴とする異常判定用計算機。
　請求項６に記載の異常判定用計算機において、
　前記異常学習画像取得ステップは疑似異常画像生成エンジンを有し、
　前記疑似異常画像生成エンジンは、前記良品学習画像{f_i}に画像処理を施すことによって疑似異常画像である前記異常学習画像{f'_i}を生成する
ことを特徴とする異常判定用計算機。
　請求項７に記載の異常判定用計算機において、
　前記学習ステップでは、前記異常判定正解率Rcを基に前記疑似異常画像生成エンジンの処理パラメータを学習する
ことを特徴とする異常判定用計算機。
　請求項６に記載の異常判定用計算機において、
　前記比較検査エンジンは、
　前記検査画像f''と前記推定良品画像h''との差分画像を求める差分画像生成エンジンと、
　前記差分画像を基に前記検査画像f''が良品か異常かを判定する差分画像評価エンジンと
を有し、
　前記学習ステップでは、前記異常判定正解率を基に前記差分画像生成エンジンあるいは前記差分画像評価エンジンの処理パラメータを学習する
ことを特徴とする異常判定用計算機。
　検査対象物の異常を判別する異常判定用計算機により実行される異常判定方法であって、
　良品の前記検査対象物を撮像した良品学習画像{f_i}（i=1,…,Nf, Nf:画像枚数）を取得する良品学習画像取得ステップと、
　前記良品学習画像{f_i}を用いてオートエンコーダのパラメータを学習する学習ステップと、
　前記検査対象物を撮像した検査画像f''を取得する検査画像取得ステップと、
　前記検査画像f''を前記オートエンコーダに入力して推定良品画像h''を推定する良品画像推定ステップと、
　前記検査画像f''と前記推定良品画像h''とから比較検査エンジンにより異常判定を行う判定ステップと
を実行し、
　前記学習ステップでは、前記良品学習画像{f_i}の異常判定正解率Rcを評価値として前記異常判定正解率Rcが最大あるいは所定のしきい値th以上になるように、前記オートエンコーダのコード層の次元圧縮率Rdを最大化する、あるいは、前記コード層への入力信号量または前記コード層からの出力信号量を減少させる
ことを特徴とする異常判定方法。
　請求項１０に記載の異常判定方法において、
　前記学習ステップにおける前記コード層の前記次元圧縮率Rdの最大化は、前記コード層の各チャネルに含まれるノード数あるいはチャネル数を削減することによって行う
ことを特徴とする異常判定方法。
　請求項１０に記載の異常判定方法において、
　前記学習ステップにおける前記コード層への前記入力信号量の減少は、前記コード層のi番目のノードへのj番目の入力信号{x_ij}（i=1,…,Nn、Nn：コード層のノード数、j=1,…,Nx_i、Nx_i：コード層のi番目のノードへの力信号数）の重みw_ijの内、少なくとも一つ以上の前記ノードに対する重み{w_ij | （i,j）∈Φ}（Φ：値を零にする重みw_ijの番号（i,j）の集合）の値を零または零に近い値に設定にすることによって行い、
　前記集合Φは、前記良品学習画像{f_i}を前記オートエンコーダに入力した際、前記入力信号{x_ij}が一定値x_min以下となる番号（i,j）の集合（{Φ={（i,j）} | x_ij≦x_min}）である
ことを特徴とする異常判定方法。
　請求項１に記載の異常判定方法において、
　前記比較検査エンジンは、
　前記検査画像f''と前記推定良品画像h''との差分画像を求める差分画像生成エンジンと、
　前記差分画像を基に前記検査画像f''が良品か異常かを判定する差分画像評価エンジンと
を有し、
　前記学習ステップでは、前記異常判定正解率Rcを基に前記差分画像生成エンジンあるいは前記差分画像評価エンジンの処理パラメータを学習する
ことを特徴とする異常判定方法。
　請求項１３に記載の異常判定方法において、
　前記差分画像生成エンジンは局所摂動差分法を用いて前記差分画像を求め、
　前記差分画像生成エンジンの処理パラメータは少なくとも摂動幅を含む
ことを特徴とする異常判定方法。
　請求項１０に記載の異常判定方法において、
　異常学習画像{f'_i}（i=1,…,Nf, Nf:画像枚数）を取得する異常学習画像取得ステップを有し、
　前記学習ステップでは、前記良品学習画像{f_i}と前記異常学習画像{f'_i}を用いて前記オートエンコーダのパラメータを学習し、
　さらに、前記学習ステップでは、前記良品学習画像{f_i}と前記異常学習画像{f'_i}の前記異常判定正解率Rcを評価値として、前記異常判定正解率Rcが最大あるいは所定のしきい値th以上になるように、エンコードされた前記コード層の前記次元圧縮率Rdを最大化する、あるいは前記コード層への前記入力信号量または前記コード層からの前記出力信号量を減少させる
ことを特徴とする異常判定方法。