WO2019188040A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

画像処理装置５００は、正常状態の検査対象物体を含む画像である正常画像を取得する正常画像取得手段５０１と、正常画像に対して、検査対象物体の異常状態における特徴を模擬した像を挿入して異常模擬画像を生成する異常模擬画像生成手段５０２と、正常画像および異常模擬画像を用いて、検査対象物体を含む画像の一部から検査対象物体の少なくとも所定の領域を含む画像であって正常状態の所定の領域が再現された再現画像を生成するための再現モデルを学習するモデル学習手段５０３とを備える。

Description

画像処理装置、画像処理方法および画像処理プログラム

　本発明は、検査対象物体の良否を判別するための画像処理装置、画像処理方法および画像処理プログラムに関する。

　ディープラーニング等の機械学習を利用した画像認識の精度の向上により、検査・検品において対象物体が正常状態であるか否かの分類作業の自動化のニーズが増えてきている。しかし、不良品等正常状態でない対象物体の数は正常状態の対象物体の数に比べて非常に少ないため、学習に用いる訓練データの収集が難しいという問題がある。

　特許文献１には、モデル学習の際にサンプル画像から不良品サンプルの画像を人為的に編集することにより、学習作業の効率化と認識精度の向上を図る方法が記載されている。

　また、特許文献２には、検査装置において不良品に生じた欠陥の画像が少量しか得られない場合であっても学習精度を上げる方法として、次のような方法が記載されている。特許文献２に記載の方法は、まず、検査対象物の表面に生じる欠陥の像を疑似的に表した複数の疑似欠陥画像について良品または不良品のいずれに対応するかを示す良否判定情報を取得する。そして、良品と不良品の識別境界を決定し、欠陥の像についての特徴量と識別境界に従って決定される該特徴量に対する良否判定結果との組である複数の学習サンプルを用いて識別器を学習する。

　また、特許文献３には、サンプル画像が少ない場合でも、検査対象の良否判定精度を向上させる方法として、次のような方法が記載されている。特許文献３に記載の方法は、学習用画像を複数の分割画像に分割し、分割して得られた複数の学習用画像の分割画像の各々について機械学習を行って特徴量を抽出する。なお、特許文献３に記載の方法は、特徴量の抽出に先だって、各分割画像が、それに含まれる物品の品質に応じて、良否よりも細かい階級に分類される。判定する際には、機械学習により各検査画像の分割画像から抽出される特徴量に基づいて各分割画像を上記の階級に分類した上で、その分類結果に基づいて検査対象の良否を判定する。

平０５－１４９７２８号公報 特開２０１１－２１４９０３号公報 特開２０１７－２１１２５９号公報

　特許文献１に記載の技術を利用すれば、疑似的に不良品サンプル画像を多く作ることは可能である。しかし、特許文献１に記載の方法は、良品サンプル画像と不良品サンプル画像とを個別に用いて学習を行っている。すなわち、各画像から独立に予め定めた特徴量を抽出して、正常と判定する係数（正常係数）や異常と判定する係数（異常係数）を学習する。しかし、このような良品サンプルと不良品サンプルとを特に関連づけずに独立のものとして個別に学習する方法は、画像やその被写体である物体の個体差（例えば、画像内における物体の大きさや色味の違い、画像内における欠陥部分の大きさや色味の違い、被写体自体がもつ色味、大きさ、細部の違い）の影響が大きい場合、その影響を受けて判定精度が落ちる問題がある。

　また、特許文献２に記載の方法は、学習モデルに特徴量とその特徴量についての識別境界に応じた判定結果を入力しなければならず、学習前に、特徴量の抽出と、抽出された特徴量に対する良否境界の決定が必要であり、手間がかかる。また、特許文献２に記載の方法でも、特徴量を抽出する処理が各画像において独立に行われるため、抽出される特徴量が画像やその被写体の個体差の影響を受けるものであれば、当然学習結果もその影響を受けて、特許文献１に記載の方法と同様の問題が生じる。

　また、特許文献３に記載の方法も、学習前に、学習用画像の各分類画像をその品質に応じて複数の階級に分けなければならず、手間がかかる。また、特許文献３に記載の方法でも、特徴量を抽出する処理が各分割画像において独立に行われる点で特許文献１に記載の方法と同様の問題が生じる。

　本発明は、上記の課題に鑑みてなされたものであり、学習用に正常状態でない物体の画像収集が難しい場合であっても、手間をかけずかつ高精度に、検査対象物体の良否を判定できる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

　本発明による画像処理装置は、正常状態の検査対象物体を含む画像である正常画像を取得する正常画像取得手段と、正常画像に対して、検査対象物体の異常状態における特徴を模擬した像を挿入して異常模擬画像を生成する異常模擬画像生成手段と、正常画像および異常模擬画像を用いて、検査対象物体を含む画像の一部から検査対象物体の少なくとも所定の領域を含む画像であって正常状態の所定の領域が再現された再現画像を生成するための再現モデルを学習するモデル学習手段とを備えたことを特徴とする。

　また、本発明による画像処理方法は、情報処理装置が、正常状態の検査対象物体を含む画像である正常画像を取得し、正常画像に対して、検査対象物体の異常状態における特徴を模擬した像を挿入して異常模擬画像を生成し、正常画像と、異常模擬画像とを用いて、検査対象物体を含む画像の一部から検査対象物体の少なくとも所定の領域を含む画像であって正常状態の所定の領域が再現された再現画像を生成するための再現モデルを学習することを特徴とする。

　また、本発明による画像処理プログラムは、コンピュータに、正常状態の検査対象物体を含む画像である正常画像を取得する処理、正常画像に対して、検査対象物体の異常状態における特徴を模擬した像を挿入して異常模擬画像を生成する処理、および正常画像と、異常模擬画像とを用いて、検査対象物体を含む画像の一部から検査対象物体の少なくとも所定の領域を含む画像であって正常状態の所定の領域が再現された再現画像を生成するための再現モデルを学習する処理を実行させることを特徴とする。

　本発明によれば、学習用に正常状態でない物体の画像収集が難しい場合であっても、手間をかけずにかつ高精度に、検査対象物体の良否を判定できる。

第１の実施形態の画像処理装置の構成例を示すブロック図である。 画像ペア作成処理の概要を示す説明図である。 画像ペア作成処理の他の例を示す説明図である。 モデル学習処理の概要を示す説明図である。 異常検知処理の概要を示す説明図である。 第１の実施形態の画像処理装置の動作の例を示すフローチャートである。 第１の実施形態の画像処理装置の動作の例を示すフローチャートである。 第２の実施形態の不良品検知装置の構成例を示すブロック図である。 第２の実施形態の不良品検知装置の他の構成例を示すブロック図である。 モデル学習処理の他の例を示す説明図である。 異常検知処理の他の例を示す説明図である。 モデル学習処理の他の例を示す説明図である。 異常検知処理の他の例を示す説明図である。 本発明の実施形態にかかるコンピュータの構成例を示す概略ブロック図である。 本発明の画像処理装置の概要を示すブロック図である。

実施形態１．
　以下、図面を参照して本発明の実施形態について説明する。図１は、第１の実施形態の画像処理装置の構成例を示すブロック図である。図１に示す画像処理装置１０は、異常模擬データ挿入部１１と、画像ペア作成部１２と、学習部１３と、データ記憶部１４と、画像再現部１５と、判定部１６とを備える。

　異常模擬データ挿入部１１は、学習用画像として１つ以上の正常画像、すなわち正常状態の検査対象物体を含む画像が入力されると、各正常画像に、検査対象物体の想定される異常状態における特徴を模擬した像である異常模擬データを挿入（合成）する。以下、異常模擬データが挿入された画像を異常模擬画像という場合がある。

　異常模擬データの例としては、例えば、以下が挙げられる。
・傷
・欠け
・ノイズ
・染み

　例えば、異常模擬データ挿入部１１は、正常画像に対して線状の傷を挿入してもよい。傷の挿入方法としては、以下の例が挙げられる。なお、傷は１つに限られず、また形状も線状に限られない。

［傷の挿入方法］
（１）色の決定（画像の一部の色や予め定めた色を用いる等）
（２）線の端点の決定（画像上でランダムに端点（２点）の位置を決定する等）
（３）直線の挿入（決定した色を使用して、決定した端点間に直線を追加する）

　また、例えば、異常模擬データ挿入部１１は、正常画像に対して面上の欠けを挿入してもよい。傷の挿入方法としては、以下の例が挙げられる。なお、欠けも１つに限られず、また形状も多角形に限られない。

［欠けの挿入方法］
（１）色の決定（画像の一部の色や予め定めた色を用いる等）
（２）欠けの種類の決定（所定の多角形の中からランダムに決定する等）
（３）欠けの頂点の決定（画像上でランダムに多角形の頂点の位置を決定）
（４）欠けの挿入（決定した色を使用して、決定した頂点を結ぶ多角形を追加する）

　また、例えば、異常模擬データ挿入部１１は、正常画像に対してノイズを挿入してもよい。ノイズの挿入例としては、ホワイトノイズを画像全体や画像の一部に対して挿入する、が挙げられる。

　また、例えば、異常模擬データ挿入部１１は、正常画像に対して面上の染みを挿入してもよい。染みの挿入方法としては、以下の例が挙げられる。なお、染みも１つに限られず、また形状も円形や多角形に限られない。

［染みの挿入方法］
（１）色の決定（画像の一部の色や予め定めた色を用いる等）
（２）染みの形状・面積の決定（円形または多角形とし、その範囲を決定する等。また、正規分布等に基づき、濃淡の分布を付けてもよい）
（３）染みの挿入（決定した色を使用し、決定した形状の染みを追加する）

　画像ペア作成部１２は、正常画像の各々およびそれら正常画像から異常模擬データを挿入して得られた異常模擬画像の各々に対して、後の検査工程において検査画像との比較対象とされる所定の領域（検査対象領域）を含む部分画像（以下、パッチ画像という）を取得し、該パッチ画像から、少なくとも該所定の領域を含む比較領域画像と、正常状態の比較領域画像を再現するための再現モデルに入力する画像であって該所定の領域または該所定の領域と接する領域の少なくとも一部を含む再現用画像とからなる画像ペアを作成する。以下、このような画像ペアを作成する処理を画像ペア作成処理という。また、以下では、比較領域画像が含む領域を「比較領域」という場合がある。

　図２は、画像ペア作成処理の概要を示す説明図である。図２において、Ｔは検査対象物体、ＩＭは元画像、Ａは検査対象領域、ＩＭｐは取得されたパッチ画像、ＩＭｃは比較領域画像、ＩＭｒは再現用画像を表している。なお、図２では、パッチ画像および比較領域画像の形状を四角形としているが、パッチ画像や比較領域画像の形状は四角形に限定されず、円形、三角形等、元画像に対して比較領域画像と再現用画像の画像ペアが１つ以上取得できる形状であれば、形状の種類は問わない。なお、パッチ画像と比較領域画像とで互いに異なる形状であってもよい。

　また、図２では、パッチ画像の中央から比較領域画像を切り出す例を示しているが、所定サイズのパッチ画像から比較対象とされる所定の領域の画像が取得されればよく、切り出す以外にもコピーであってもよい。その場合、再現用画像には比較領域の画像がそのまま残される（すなわち、再現用画像が比較領域を含む）。また、比較対象とされる所定の領域の位置は、パッチ画像の中央に限らず、また、サイズもパッチ画像より小さいとは限らない。例えば、パッチ画像と比較領域画像とが同じサイズであってもよい。

　図３は、画像ペア作成処理の他の例を示す説明図である。図３（ａ）では、パッチ画像（ＩＭｐ）から、その一部の領域（比較領域）をコピーしたものを比較領域画像（ＩＭｃ）とし、元のパッチ画像（ＩＭｐ）を再現用画像（ＩＭｒ）としている。このとき、図３（ａ）に示すように、再現用画像に、再現領域（比較領域）を示す情報を付すことも可能である。また、図３（ｂ）では、パッチ画像（ＩＭｐ）をコピーしたものを比較領域画像（ＩＭｃ）とし、元のパッチ画像（ＩＭｐ）を再現用画像（ＩＭｒ）としている。このとき、図３（ｂ）に示すように、検査対象領域の画像をパッチ画像として取得してもよい。

　また、パッチサイズも特に限定されない。例えば、元画像のサイズと同じであってもよいし、元画像のサイズよりも小さくてもよい。元画像のサイズと同じ場合、画像ペア作成処理は１つの元画像に対して１回行えばよい。元画像のサイズよりも小さい場合、画像ペア作成処理は、１つの元画像に対して複数行われうる。

　画像ペア作成部１２は、例えば、１つの元画像に対して、指定のスライドサイズ分移動しながら、所定のパッチサイズでパッチ画像の取得ができなくなるまで画像ペア作成処理を行ってもよい。このとき、スライドサイズは、パッチ画像の大きさ（スライド方向の幅）以下でもよい。その場合、元画像から取得されるパッチ画像同士に重なりがあってもよい。例えば、画像ペア作成部１２は、最終的に得られる比較領域画像が、全ての検査対象領域（例えば、元画像において検査対象物体Ｔが映っている領域（対象物体領域））を網羅するように、パッチ画像の取得および画像ペアの作成を行えばよい。なお、パッチサイズ、スライドサイズ、比較領域画像のサイズおよび位置は、例えば、検査に要求される精度等に応じて適宜設定することができる。

　画像ペア作成部１２は、このような画像ペア作成処理を、正常画像の各々に対して行うとともに、それら正常画像から異常模擬データを挿入して得られた異常模擬画像の各々に対しても行う。その際、画像ペア作成部１２は、正常画像とその正常画像から得た異常模擬画像とで、同じ位置から同じサイズのパッチ画像および比較領域画像を得るようにする。以下、正常画像から取得されたある領域のパッチ画像と、その正常画像に異常模擬データを挿入して得られた異常模擬画像から取得される上記と同じ領域のパッチ画像との組み合わせを「パッチ画像組」という場合がある。また、以下では、そのようなパッチ画像組において、正常画像から得たパッチ画像を第１のパッチ画像（ＩＭｐ_１）、異常模擬画像から得たパッチ画像を第２のパッチ画像（ＩＭｐ_２）といい、さらに第１のパッチ画像（ＩＭｐ_１）から得た画像ペア（ＩＭｃ，ＩＭｒ）を第１の画像ペア（ＩＭｃ_１，ＩＭｒ_１）、第２のパッチ画像（ＩＭｐ_２）から得た画像ペア（ＩＭｃ，ＩＭｒ）を第２の画像ペア（ＩＭｃ_２，ＩＭｒ_２）という場合がある。なお、あるパッチ画像組において第１のパッチ画像に対応づけられる第２のパッチ画像の数は１つに限らず、１つの正常画像から生成される異常模擬画像の数だけ存在する。

　本実施形態では、学習用画像とされる正常画像、およびそれに対応する異常模擬画像から得られる各パッチ画像組に対して、第１の画像ペア（ＩＭｃ_１，ＩＭｒ_１）および第２の画像ペア（ＩＭｃ_２，ＩＭｒ_２）が作成される。

　また、画像ペア作成部１２は、検査画像が入力されると、該検査画像に対して同様の画像ペア作成処理を行って、検査画像の各パッチ画像に対して、画像ペア（ＩＭｃ，ＩＭｒ）を作成する。

　学習部１３は、学習用画像である正常画像およびそれに対応する異常模擬画像から作成された画像ペアを基に、任意の再現用画像から、正常状態の比較領域画像を再現する再現モデルを学習する。より具体的に、学習部１３は、入力データとして各パッチ画像組に含まれる正常画像および異常模擬画像の再現用画像（ＩＭｒ_１およびＩＭｒ_２）を用い、かつ教師データ（正解出力データ）としてそのパッチ画像組における第１のパッチ画像の比較領域画像ＩＭｃ_１のみを用いて、入力データから正解データを再現できるようにモデル学習を実施する。このようなモデル学習の手法として、学習部１３は、例えば、ディープラーニングにおけるオートエンコーダのように、入力を再現することができる手法を用いればよい。

　図４は、モデル学習処理の概要を示す説明図である。例えば、学習部１３は、正常画像のパッチ画像（第１のパッチ画像ＩＭｐ_１）の再現用画像ＩＭｒ_１に対する再現画像を学習する際には、教師データとして、当該第１のパッチ画像ＩＭｐ_１の比較領域画像ＩＭｃ_１をそのまま用いる（図４（ａ）参照）。一方、学習部１３は、異常模擬画像のパッチ画像である第２のパッチ画像ＩＭｐ_２から取得される再現用画像ＩＭｒ_２に対する再現画像を学習する際には、教師データとして、その第２のパッチ画像ＩＭｐ_２とパッチ画像組をなす第１のパッチ画像ＩＭｐ_１の比較領域画像ＩＭｃ_１を用いる（図４（ｂ）参照）。

　このとき、学習部１３は、パッチ画像組に含まれる第２のパッチ画像の比較領域画像を第１のパッチ画像の比較領域画像に変更した上で、パッチ画像組に含まれる画像ペアを訓練データとして用いてモデル学習を行えばよい。なお、学習部１３における学習方法はこれに限定されない。学習部１３は、少なくとも正常画像と異常模擬画像とを用いて再現モデルの学習を行えばよい。例えば、学習部１３は、上記のように、異常模擬画像を学習する際、異常模擬データを挿入する前の元画像（正常画像）との組を使って学習を行ってもよい。その際、学習部１３は、互いに同じ座標から取得したパッチ画像の組を用いてもよい。一例として、入力データとして、異常模擬画像から作成した画像ペアにおける再現用画像を用いる際に、教師データ（再現画像）として、該画像ペアとパッチ画像組をなす正常画像の画像ペアにおける比較領域画像を用いてもよい。

　画像再現部１５は、検査画像から取得した各パッチ画像から取得した再現用画像を入力とし、学習部１３が学習した再現モデルを用いて、該再現用画像に対応する比較領域画像であって正常状態の比較領域画像を再現した再現画像を生成する。

　判定部１６は、画像再現部１５によって生成された再現画像と、その再現に用いた検査画像の再現用画像と画像ペアをなす比較領域画像（判定対象画像）とを比較して、判定対象画像が正常状態の対象物体のものか否かを判定する。判定部１６は、例えば、再現画像と判定対象画像との差分を算出し、算出された差分の大きさに基づいて判定対象画像が正常か異常かを判定すればよい。差分の計算方法は、特に限定されないが、例えば以下を用いることができる。

［差分の計算方法］
・画素値の差
・画素値の差のある領域の連続した面積
・画素値の差のある領域の全面積
・画素値の差の総和
・画素値の差の平均

　判定部１６は、例えば、判定対象画像（第１の画像）および再現画像（第２の画像）の差分として、第１の画像および第２の画像の特定位置の画素または特定領域に含まれる画素の画素値の差の絶対値を計算することができる。また、差分として、第１の画像と第２の画像との間の画素値の差のある領域が連続する面積を計算することもできる。また、差分として第１の画像と第２の画像との間の画素ごとの画素値の差の総和を計算することもできる。また、差分として、第１の画像と第２の画像との間の画素ごとの画素値の差の平均を計算することもできる。また、差分として、ＳＳＤ（Sum of squared Difference ）、ＳＡＤ（Sum of Absolute Difference）を計算することもできる。

　なお、種類の異なる画像の差分を計算する際には、例えば、ＲＧＢ画像やその他のカラー画像の２つの画像をそのまま差分の計算に用いるほかに、別の種類の画像や別の色空間の画像への変換、フィルタ処理を行ってから差分の計算に用いることもできる。例えば、グレースケール画像、２値化画像等の別の種類の画像に変換したり、ＨＳＶやＹＣｂＣｒといった別の色空間の画像に変換したりしてから差分の計算に用いることができる。また、例えば、平均化フィルタ、メディアンフィルタ等の前処理フィルタや、ソーベルフィルタ、ラプラシアンフィルタ等のエッジ抽出フィルタを用いたフィルタ処理を行ってから差分の計算に用いることができる。

　また、差分の大きさの判定方法としては、例えば、あらかじめ閾値を設定し、上記の方法で求めた差分が閾値を超えた場合は異常、そうでなければ正常と判定する方法が挙げられる。また、例えば、検証用の正常画像を用意して、該正常画像から取得した比較領域画像について、再現画像との差分を計算し、得られた差分が全て正常と判定されるよう、自動で閾値を設定することも可能である。

　図５は、異常検知処理の概要を示す説明図である。図５（ａ）は検査画像として正常品の画像が入力された場合の異常検知処理の概要を示す説明図であり、図５（ｂ）は検査画像として異常品の画像が入力された場合の異常検知処理の概要を示す説明図である。図５（ａ）および図５（ｂ）において、ＩＭ_３は検査画像、ＩＭｐ_３は検査画像から取得されたパッチ画像、ＩＭｃ_３およびＩＭｒ_３は検査画像のパッチ画像から取得した比較領域画像および再現用画像、ＩＭｃ_４は検査画像のパッチ画像の再現用画像から再現された再現画像（正常状態の比較領域画像）を表している。

　図５（ａ）では、検査画像から得たパッチ画像からの比較領域画像（ＩＭｃ_３）と、該パッチ画像の再現用画像を基に再現モデルを用いて再現された正常状態の比較領域画像である再現画像（ＩＭｃ_４）とを比較した結果、両画像の特徴が一致するため、正常と判定される。一方、図５（ｂ）では、検査画像から得たパッチ画像からの比較領域画像（ＩＭｃ_３）と、該パッチ画像の再現用画像を基に再現モデルを用いて再現された正常状態の比較領域画像である再現画像（ＩＭｃ_４）とを比較した結果、両画像の特徴が一致しないため、異常と判定される。

　次に、本実施形態の画像処理装置の動作を説明する。本実施形態の画像処理装置１０の動作は、再現モデルを学習するモデル学習フェーズと、学習された再現モデルを用いて検査画像を判定する検査フェーズとに大別される。

　モデル学習フェーズでは、正常状態の画像を教師データとして学習を実施し、正常状態の画像と異常を模擬した画像の一部である再現用画像から正常状態の所定の領域の画像（比較領域画像）を再現する再現モデルを生成する。より具体的には、訓練データとして、正常画像から取得される再現用画像と、該再現用画像に対応する比較領域画像とを対応づけたデータだけでなく、正常画像に対して異常模擬データを挿入した異常模擬画像から取得される再現用画像に対しても、異常模擬データの挿入前の正常状態の比較領域画像が再現されるよう、両画像を対応づけたデータを用いる。

　また、検査フェーズでは、モデル学習フェーズにおいて生成した再現モデルを利用して検査対象の画像から取得される再現用画像から、比較用に正常状態の比較領域画像を再現し、実際の比較領域画像との差から、正常か異常かを判定する。

　図６は、モデル学習フェーズにおける本実施形態の画像処理装置１０の動作の例を示すフローチャートである。図６に示す例では、まず異常模擬データ挿入部１１が、学習用データとして１つ以上の正常画像を取得する（ステップＳ１０１）。ここで取得された正常画像は、例えば、学習用画像としてデータ記憶部１４に記憶される。

　次いで、異常模擬データ挿入部１１が、取得した正常画像の各々に対して、想定される異常の傾向を示すデータである異常模擬データを挿入し、異常模擬画像を生成する（ステップＳ１０２）。ここで生成された異常模擬画像は、例えば、学習用画像としてデータ記憶部１４に記憶される。

　次いで、画像ペア作成部１２が、学習用画像として記憶されている正常画像および異常模擬画像の各々に対し、画像ペア作成処理を行う（ステップＳ１０３）。画像ペア作成部１２は、例えば、正常画像とその正常画像から生成された異常模擬画像に対して、それぞれ所定サイズの領域をパッチ画像として取り出す。このとき、画像ペア作成部１２は、正常画像およびその正常画像と対応する異常模擬画像から、同じ領域を取り出し、パッチ画像組とする。そして、取り出したパッチ画像組の各々から指定したサイズの画像を取得して、比較領域画像と再現用画像の画像ペアをそれぞれ生成する。本例では、１組のパッチ画像組から生成される２種類の画像ペア（（ＩＭｃ_１，ＩＭｒ_１）と（ＩＭｃ_２，ＩＭｒ_２））は、互いに対応づけられてデータ記憶部１４に保持される。画像ペア作成部１２は、このような画像ペア作成処理を、各元画像である正常画像および異常模擬画像の全領域を走査し終えるまで所定のスライドサイズ分移動しながら繰り返してもよい。これにより、１組の画像（正常画像と異常模擬画像）から、１つ以上のパッチ画像組の各々に対応した２種類の画像ペアを得る。ここで得られた２種類の画像ペアは、例えば、データ記憶部１４に記憶される。

　次いで、学習部１３は、画像ペア作成処理により得られた、正常画像と異常模擬画像の組ごとの１つ以上のパッチ画像組の各々に対応した２種類の画像ペアを基に、訓練データを生成する（ステップＳ１０４）。ここでは、学習部１３は、各パッチ画像組から得られる２種類の画像ペアのうち、異常模擬画像から得た画像ペアに含まれる比較領域画像を、対応する正常画像から得た画像ペアに含まれる比較領域画像に変更した上で、各画像ペアの比較領域画像を教師データ、対応する再現用画像を入力データとする訓練データを生成する。

　その後、学習部１３は、ステップＳ１０４で生成した訓練データを用いて、再現用画像から正常画像の比較領域画像を再現する再現モデルを学習する（ステップＳ１０５）。

　最後に、学習後の再現モデルを保存する（ステップＳ１０６）。

　また、図７は、検査フェーズにおける本実施形態の画像処理装置１０の動作の例を示すフローチャートである。図７に示す例では、まず画像ペア作成部１２が、検査対象データとして検査画像を取得する（ステップＳ２０１）。

　次いで、画像ペア作成部１２は、ステップＳ２０１で取得した検査画像に対し、画像ペア作成処理を行う（ステップＳ２０２）。画像ペアの作成方法は、学習フェーズにおいて学習用画像に対して行う方法と同様の方法で行えばよい。これにより、検査画像から、１つ以上のパッチ画像について、それぞれ比較領域画像と再現用画像の画像ペアが得られる。ここで得られた画像ペアは、例えば、データ記憶部１４に記憶される。

　次いで、画像再現部１５は、学習フェーズで学習した再現モデルを用いて、各パッチ画像から得た再現用画像から、該再現用画像に対応する正常状態の比較領域画像を再現する（ステップＳ２０３）。

　最後に、判定部１６は、ステップＳ２０３で再現した正常状態の比較領域画像（再現画像）と、ステップＳ２０２で元画像（検査画像）から取得した比較領域画像とを比較し、その差分に基づいて元画像の検査対象領域が正常か異常かを判定する（ステップＳ２０４）。

　以上のように、本実施形態によれば、異常画像が得られないような状況であっても、正常画像のみから、検査対象物体を映した元画像（検査画像）から取得される再現用画像に対する正常状態の比較領域画像の再現性が高い再現モデルを生成することができる。したがって、個体差が生じやすい検査画像が入力されるような場合であっても、不良箇所の検出精度を高くできる。

　本実施形態では、検査画像における不良箇所を検知する方法として、検査画像から取得される判定対象の１つ以上の比較領域画像の各々に対して、予め学習済みの再現モデルを用いて、該比較領域画像を取得する際に用いた再現用画像に対応する正常状態の比較領域画像を再現し、比較対象とする。このような、検査画像から得た比較領域画像と、その再現用画像から再現された正常状態の再現画像とを比較して、正常状態か異常状態かを判断する手法を用いることで、画像の個体差を低減した判定を可能にしている。

　ただし、当該手法では、いかに正常状態の比較領域画像を精度良く再現するかが重要となる。仮にモデル学習フェーズにおいて、図４（ａ）に示すような正常画像のみからパッチ画像を取得して得られた画像ペアのみを訓練データに用いて再現モデルを学習した場合、検査画像において異常の特徴が現われる領域が大きいと、異常の検知精度が低くなるおそれがある。一例として、検査フェーズにおいて取得された検査画像に、パッチ画像の再現用画像にまたがるような不良箇所が含まれていた場合、学習済みの再現モデルが、再現用画像に現われた不良箇所同士を補完等してしまい、再現画像において不良箇所まで再現されるおそれがある。その場合、元画像（検査画像）からの比較領域画像との差分が小さくなるため、異常状態の判定ができず、不良品の検知精度が低くなるおそれがある。

　しかし、本実施形態の方法では、図４（ａ）および図４（ｂ）に示すように、正常画像から得られる画像ペアだけでなく、さらに正常画像に異常模擬データを挿入した異常模擬画像から得られる再現用画像と、挿入前の正常画像から得られる（正常状態の）比較領域画像との画像ペアを訓練データに加えることで、再現モデルにおける正常状態の再現性を高めることができる。その結果、異常状態の特徴を持つ検査画像からの比較領域画像に対して差分が大きくなるような画像を再現することができるので、異常状態の判定精度をより高めることができる。

実施形態２．
　次に、第２の実施形態を説明する。図８は、第２の実施形態の不良品検知装置の構成例を示すブロック図である。図８に示す不良品検知装置２０は、正常品画像記憶部２０１と、検査画像記憶部２０２と、異常模擬データ挿入部２０３と、異常模擬画像記憶部２０４と、画像ペア作成部２０５と、学習用画像ペア記憶部２０６と、検査対象画像ペア記憶部２０７と、学習部２０８と、再現モデル記憶部２０９と、正常品画像再現部２１０と、正常品再現画像記憶部２１１と、不良品検知部２１２とを備える。

　なお、図８に示す例において、異常模擬データ挿入部２０３が上記の異常模擬データ挿入部１１に対応し、画像ペア作成部２０５が画像ペア作成部１２に対応し、学習部２０８が学習部１３に対応し、正常品画像再現部２１０が画像再現部１５に対応し、不良品検知部２１２が判定部１６に対応している。

　正常品画像記憶部２０１は、学習に使う正常品の画像である正常品画像を保持する。

　検査画像記憶部２０２は、検査に使う画像である検査画像を保持する。

　異常模擬データ挿入部２０３は、正常品画像記憶部２０１に保持されている正常品画像を読み込み、該画像に想定される異常の特徴を模擬するデータを挿入して、異常模擬画像記憶部２０４に保存する。

　異常模擬画像記憶部２０４は、異常模擬データ挿入部２０３が作成した、異常模擬データが挿入された正常品画像である異常模擬画像を保持する。

　画像ペア作成部２０５は、正常品画像記憶部２０１、異常模擬画像記憶部２０４から画像を読み込み、画像ペア作成処理を実施してその出力となる画像ペア（例えば、中央部のみを含む比較領域画像と、該中央部または該中央部の枠部分を少なくとも含む再現用画像）を学習用画像ペア記憶部２０６に保存する。

　また、画像ペア作成部２０５は、検査画像記憶部２０２から画像を読み込み、同様に画像ペア作成処理を実施してその出力となる画像ペアを、検査対象画像ペア記憶部２０７に保存する。

　学習用画像ペア記憶部２０６は、画像ペア作成部２０５が正常品画像および異常模擬画像からそれぞれ作成した画像ペアを学習用画像ペアとしてそれぞれ対応づけて保持する。

　検査対象画像ペア記憶部２０７は、画像ペア作成部２０５が検査画像から作成した画像ペアを検査用画像ペアとして保持する。

　学習部２０８は、学習用画像ペア記憶部２０６から学習用画像ペアを読み込み、再現モデルを学習する。このとき、学習部２０８は、異常模擬画像から作成された画像ペアについて、該画像ペアの比較領域画像を、対応する正常品画像の比較領域画像に変更した上で、モデル学習を行う。

　再現モデル記憶部２０９は、学習部２０８が作成した再現モデルを保持する。

　正常品画像再現部２１０は、再現モデル記憶部２０９から学習済みの再現モデルを読み込むとともに、検査対象画像ペア記憶部２０７から検査用画像ペアを読み込み、検査用画像ペアの再現用画像に対応する正常品の比較領域画像を再現する。

　正常品再現画像記憶部２１１は、正常品画像再現部２１０が作成した検査用画像ペアの再現用画像に対応する正常品の比較領域画像である正常品再現画像を保持する。

　不良品検知部２１２は、検査対象画像ペア記憶部２０７から検査用画像ペアの比較領域画像を読み出すとともに、正常品再現画像記憶部２１１から対応する正常品再現画像（すなわち、該比較領域画像の再現用画像から再現された正常品再現画像）を読み出し、該比較領域画像が正常品のものか不良品のものかを判定する。

　次に、本実施形態の動作を説明する。本実施形態の動作は、基本的には第１の実施形態と同様である。以下では、再び図６および図７を参照して、本実施形態の動作を簡単に説明する。

　まず、図６を参照して本実施形態のモデル学習フェーズの動作を説明する。

　本実施形態の不良品検知装置２０は、まずステップＳ１０１で、異常模擬データ挿入部２０３が、正常品画像記憶部２０１から、学習対象である正常品画像を読み込む。

　ステップＳ１０２では、異常模擬データ挿入部２０３が、読み込んだ画像に対し、想定される異常の傾向を示すデータを挿入し、異常模擬画像記憶部２０４に保存する。異常模擬データ挿入部２０３は、例えば、図４（ｂ）に示すように、元の正常品画像に対し、異常模擬データ（図４の例では傷）を追加する。

　ステップＳ１０３では、画像ペア作成部２０５が、学習用の正常品画像およびステップＳ１０２で生成された異常模擬画像に対し、画像ペア作成処理を行う。画像ペア作成部２０５は、例えば、図２に示すように、元画像ＩＭのうちの指定したサイズ（パッチサイズ）の領域の画像を、パッチ画像として取り出す。異常模擬画像からパッチ画像を取り出す際は、対応する正常品画像と同じ領域をパッチ画像ＩＭｐとして取り出す。そして、取り出したパッチ画像ＩＭｐから、指定したサイズの画像を、当該パッチ画像の中央部から取り除いてもよい。以下では、パッチサイズのパッチ画像の中央部を除いた画像（図中のＩＭｒ）を中央部除去済みパッチ画像、パッチ画像の中央部から取得した画像（図中のＩＭｃ）を中央部画像と呼ぶ場合がある。なお、中央部除去済みパッチ画像が上記の再現用画像に相当し、中央部画像が上記の比較領域画像に相当する。最後に、得られた中央部除去済みパッチ画像と中央部画像のペアを、学習用画像ペア記憶部２０６に保存する。この際、異常模擬画像から得た画像ペアとその元画像である正常品画像から得た画像ペアとを対応づけて保存する。

　ステップＳ１０３で、画像ペア作成部２０５は、その後、指定のスライドサイズ分移動した箇所で、同様にパッチ画像の取得と中央部除去を行っていく。この動作を、元画像に対してパッチ画像が取得できなくなるまで行う。なお、既に説明したように、スライドサイズは、パッチサイズ以下でもよく、また取り出すパッチ画像同士に重なりがあってもよい。なお、図２の例では、パッチ画像の中央部を取り出して中央部画像としているが、パッチサイズの画像から指定したサイズの画像が得られれば、取得位置は中央に限られず、また形状も四角形に限られない。

　ステップＳ１０４～ステップＳ１０５では、学習部２０８が、ステップＳ１０３で作成した学習用画像ペアを読み込み、中央部除去済みパッチ画像を入力データ、中央部画像を教師データ（正解出力データ）として、中央部除去済みパッチ画像から中央部画像を再現できるよう、再現モデルの学習を実施する。このとき、学習部２０８は、異常模擬画像から得た学習用画像ペアを学習する際には、当該画像ペアのうちの中央部画像ではなく、対応する正常画像の同じ位置から取得した中央部画像を教師データとして用いて学習を実施する。

　ステップＳ１０６では、学習部２０８が、ステップＳ１０５で学習した再現モデルを再現モデル記憶部２０９に保存する。

　次に、図７を参照して本実施形態の検査フェーズの動作を説明する。本実施形態の不良品検知装置２０は、まずステップＳ２０１で、画像ペア作成部２０５が、検査画像記憶部２０２から検査対象の画像である検査画像を読み込む。

　ステップＳ２０２では、画像ペア作成部２０５が、ステップＳ２０１で読み込んだ検査画像に対し、画像ペア作成処理を行う。画像ペアの作成方法は、モデル学習フェーズにて学習用画像に対して行った方法と同様でよい。また、画像ペア作成部２０５は、検査画像から得た中央部除去済みパッチ画像と中央部画像の画像ペアを、検査対象画像ペア記憶部２０７に保存する。

　ステップＳ２０３では、正常品画像再現部２１０が、検査対象画像ペア記憶部２０７から検査画像の画像ペアを読み込んで、該画像ペアのうちの中央部除去済みパッチ画像から、正常品画像の中央部を再現する。正常品画像再現部２１０は、再現モデル記憶部２０９から再現モデルを読み込み、図５（ａ）や図５（ｂ）に示すように、検査画像から作成した中央部除去済みパッチ画像（ＩＭｒ_３）を該再現モデルに入力し、正常品画像の中央部とされる正常品再現画像（ＩＭｃ_４）を出力する。また、正常品画像再現部２１０は、作成した正常品再現画像を、再現に用いた検査画像の再現用画像の識別子等と対応づけて正常品再現画像記憶部２１１に保存する。

　ステップＳ２０４では、不良品検知部２１２が、ステップＳ２０３で作成した正常品再現画像と、検査対象画像ペア記憶部２０７から読み込んだ検査画像の画像ペアのうちの中央部との差分を計算し、得られた差分の大きさに基づいて該比較領域画像が正常状態のものか異常状態のものかを判定する。

　不良品検知部２１２は、例えば、１つの検査画像から取得した比較領域画像のいずれか１つでも異常状態のものと判定された場合に該検査画像の被写体を不良品として検知するとともに、異常状態と判定された比較領域画像の取得位置を不良箇所として特定してもよい。

　以上のように、本実施形態でも、検査画像に対して、より正常品に近い画像を再現できるように構成されているため、不良品を高精度に検知することができる。

　また、図９は、第２の実施形態の不良品検知装置の他の構成例を示すブロック図である。図９に示すように、不良品検知装置２０は、検知結果記憶部２１３、検知結果表示部２１４をさらに備えていてもよい。

　検知結果記憶部２１３は、不良品検知部２１２による検知結果を保持する。検知結果記憶部２１３は、例えば、不良品検知部２１２によって正常品のものではないと判定された比較領域画像について、その旨とともにその位置を示す情報を含む情報を保持してもよい。

　検知結果表示部２１４は、検知結果記憶部２１３が保持する検知結果を表示する。

　このようにすれば、正常品か不良品かの判定結果だけでなく、不良箇所の表示をすることができる。

　また、上記の各実施形態では、再現モデルを、検査画像の比較領域を含まない再現用画像から正常状態の比較領域画像を再現（復元）するモデルとして説明したが、再現モデルはこれに限定されない。例えば、再現モデルは、検査画像の比較領域を含む再現用画像から、正常状態の比較領域画像や正常状態の比較領域画像を含むパッチ画像を再現するモデルであってもよい。その場合、その後の判定処理で、再現画像と、検査画像の該再現画像と同じ領域の部分画像とを比較して、該部分画像（より具体的には、該部分画像に写る検査対象物体）が正常状態か異常状態かを判定すればよい。

　図１０は、モデル学習処理の他の例を示す説明図である。図１０に示す例では、画像ペア作成処理で、正常画像のパッチ画像である第１のパッチ画像（ＩＭｐ_１）の一部（例えば、中央部）をコピーしたものを比較領域画像（ＩＭｃ_１）、元のパッチ画像（ＩＭｐ_１）を再現用画像（ＩＭｒ_１＝ＩＭｐ_１）として第１の画像ペアが作成されるとともに、その正常画像から生成される異常模擬画像のパッチ画像である第２のパッチ画像（ＩＭｐ_２）についても同様に、パッチ画像（ＩＭｐ_２）の一部（上記と同じ中央部）の領域をコピーしたものを比較領域画像（ＩＭｃ_２）、元のパッチ画像（ＩＭｐ_２）を再現用画像（ＩＭｒ_２＝ＩＭｐ_２）として第２の画像ペアが作成される。その上で、学習部１３は、第１の画像ペアにおける再現用画像（ＩＭｒ_１＝ＩＭｐ_１）を入力データ、第１の画像ペアにおける比較領域画像（ＩＭｃ_１）を教師データとする訓練データだけでなく、第２の画像ペアにおける再現用画像（ＩＭｒ_２＝ＩＭｐ_２）を入力データ、第１の画像ペアにおける比較領域画像（ＩＭｃ_１）を教師データとする訓練データを用いて、再現モデルの学習を行ってもよい（図１０（ａ），（ｂ）参照）。

　また、図１１は、異常検知処理の他の例を示す説明図である。例えば、図１０に示すモデル学習処理を行った場合、異常検知処理では、図１１（ａ），（ｂ）に示すように、再現用画像とされた元のパッチ画像（ＩＭｒ_３＝ＩＭｐ_３）を再現モデルに入力として得られた正常状態の比較領域画像である再現画像（ＩＭｃ_４）と、検査画像から得たパッチ画像（ＩＭｐ_３）の一部（例えば、中央部）をコピーした比較領域画像（ＩＭｃ_３）とを比較して、検査画像における比較領域画像（ＩＭｃ_３）が正常状態か異常状態かを判定してもよい。

　また、図１２は、モデル学習処理の他の例を示す説明図である。図１２に示す例では、画像ペア作成処理で、正常画像のパッチ画像である第１のパッチ画像（ＩＭｐ_１）をそのまま比較領域画像（ＩＭｃ_１＝ＩＭｐ_１）および再現用画像（ＩＭｒ_１＝ＩＭｐ_１）として第１の画像ペアが作成されるとともに、その正常画像から生成される異常模擬画像のパッチ画像である第２のパッチ画像（ＩＭｐ_２）についても同様に、パッチ画像（ＩＭｐ_２）をそのまま比較領域画像（ＩＭｃ_２＝ＩＭｐ_２）および再現用画像（ＩＭｒ_２＝ＩＭｐ_２）として第２の画像ペアが作成される。その上で、学習部１３は、第１の画像ペアにおける再現用画像（ＩＭｒ_１＝ＩＭｐ_１）を入力データ、第１の画像ペアにおける比較領域画像（ＩＭｃ_１＝ＩＭｐ_１）を教師データとする訓練データだけでなく、第２の画像ペアにおける再現用画像（ＩＭｒ_２＝ＩＭｐ_２）を入力データ、第１の画像ペアにおける比較領域画像（ＩＭｃ_１＝ＩＭｐ_１）を教師データとする訓練データを用いて、再現モデルの学習を行ってもよい（図１２（ａ），（ｂ）参照）。

　また、図１３は、異常検知処理の他の例を示す説明図である。例えば、図１２に示すモデル学習処理を行った場合、異常検知処理では、図１３（ａ），（ｂ）に示すように、再現用画像とされた元のパッチ画像（ＩＭｒ_３＝ＩＭｐ_３）を再現モデルに入力として得られた正常状態のパッチ画像である再現画像（ＩＭｃ_４）と、検査画像から得たパッチ画像（ＩＭｐ_３）である比較領域画像（ＩＭｃ_３＝ＩＭｐ_３）とを比較して、検査画像における比較領域画像（ＩＭｃ_３＝ＩＭｐ_３）が正常状態か異常状態かを判定してもよい。

　このような場合であっても、正常画像だけでなく異常模擬画像を使って学習された再現モデルと、検査対象物体を含む検査画像の一部（再現用画像）とを使って、検査対象物体の少なくとも所定の領域（検査対象領域）の正常状態を推測して再現した再現画像を生成するため、検査対象物体の良否を高精度に判定できる。一例として、検査画像の一部として、所定の領域を少なくとも含むパッチ画像を取得してもよいし、所定の領域を含む、または所定の領域と接する領域の少なくとも一部を含む再現用画像を取得してもよい。そのような場合であっても、取得した画像から、上記の再現モデルを用いて、検査対象物体の少なくとも所定の領域であって正常状態の所定の領域を含む再現画像を取得できるので、再現画像と、検査画像において再現画像と同じ領域の画像である判定対象画像とを比較することにより、検査対象物体の良否を高精度に判定できる。

　また、図１４は、本発明の実施形態にかかるコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６とを備える。

　上述した実施形態は、コンピュータ１０００に実装されてもよい。その場合、該装置の動作は、プログラムの形式で補助記憶装置１００３に記憶されていてもよい。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って実施形態における所定の処理を実施する。なお、ＣＰＵ１００１は、プログラムに従って動作する情報処理装置の一例であり、ＣＰＵ（Central Processing Unit ）以外にも、例えば、ＭＰＵ（Micro Processing Unit ）やＭＣＵ（Memory Control Unit）やＧＰＵ（Graphics Processing Unit ）等を備えていてもよい。

　補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、各実施形態における所定の処理を実行してもよい。

　また、プログラムは、実施形態における所定の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実施形態における所定の処理を実現する差分プログラムであってもよい。

　インタフェース１００４は、他の装置との間で情報の送受信を行う。また、ディスプレイ装置１００５は、ユーザに情報を提示する。また、入力デバイス１００６は、ユーザからの情報の入力を受け付ける。

　また、実施形態における処理内容によっては、コンピュータ１０００の一部の要素は省略可能である。例えば、コンピュータ１０００がユーザに情報を提示しないのであれば、ディスプレイ装置１００５は省略可能である。例えば、コンピュータ１０００がユーザから情報入力を受け付けないのであれば、入力デバイス１００６は省略可能である。

　また、上記の各構成要素の一部または全部は、汎用または専用の回路（Circuitry ）、プロセッサ等やこれらの組み合わせによって実施される。これらは単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。また、上記の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

　上記の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

　次に、本発明の概要を説明する。図１５は、本発明の画像処理装置の概要を示すブロック図である。図１５に示す画像処理装置５００は、正常画像取得手段５０１と、異常模擬画像生成手段５０２と、モデル学習手段５０３とを備える。

　正常画像取得手段５０１は、正常状態の検査対象物体を含む画像である正常画像を取得する。

　異常模擬画像生成手段５０２は、正常画像に対して、検査対象物体の異常状態における特徴を模擬した像を挿入して異常模擬画像を生成する。

　モデル学習手段５０３は、正常画像および異常模擬画像を用いて、検査対象物体を含む画像の一部から検査対象物体の少なくとも所定の領域を含む画像であって正常状態の所定の領域が再現された再現画像を生成するための再現モデルを学習する。

　このような構成によれば、学習用に正常状態でない物体の画像収集が難しい場合であっても、手間をかけずに、検査対象物体を含む画像の一部から検査対象物体の少なくとも所定の領域を含む画像であって正常状態の所定の領域が再現された再現画像を高精度に生成できる再現モデルを得ることができる。したがって、そのような再現モデルを用いて、検査用画像の一部から検査対象物体の所定の領域を含む正常状態の再現画像を得て、該再現画像と、検査用画像における該再現画像と同じ領域の画像とを比較することで、画像の個体差の影響を低減して高精度に検査対象物体の良否を判定できる。

　以上、本実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　この出願は、２０１８年３月２９日に出願された日本特許出願２０１８－０６４０９７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

産業上の利用の可能性

　本発明は、例えば、製品の正常品・不良品の分類を行う不良品検査の用途に好適に適用可能である。

　１０　画像処理装置
　１１　異常模擬データ挿入部
　１２　画像ペア作成部
　１３　学習部
　１４　データ記憶部
　１５　画像再現部
　１６　判定部
　２０　不良品検知装置
　２０１　正常品画像記憶部
　２０２　検査画像記憶部
　２０３　異常模擬データ挿入部
　２０４　異常模擬画像記憶部
　２０５　画像ペア作成部
　２０６　学習用画像ペア記憶部
　２０７　検査対象画像ペア記憶部
　２０８　学習部
　２０９　再現モデル記憶部
　２１０　正常品画像再現部
　２１１　正常品再現画像記憶部
　２１２　不良品検知部
　２１３　検知結果記憶部
　２１４　検知結果表示部
　１０００　コンピュータ
　１００１　ＣＰＵ
　１００２　主記憶装置
　１００３　補助記憶装置
　１００４　インタフェース
　１００５　ディスプレイ装置
　１００６　入力デバイス
　５００　画像処理装置
　５０１　正常画像取得手段
　５０２　異常模擬画像生成手段
　５０３　モデル学習手段

Claims (10)

1. 　正常状態の検査対象物体を含む画像である正常画像を取得する正常画像取得手段と、
   　前記正常画像に対して、前記検査対象物体の異常状態における特徴を模擬した像を挿入して異常模擬画像を生成する異常模擬画像生成手段と、
   　前記正常画像および前記異常模擬画像を用いて、前記検査対象物体を含む画像の一部から前記検査対象物体の少なくとも所定の領域を含む画像であって正常状態の前記所定の領域が再現された再現画像を生成するための再現モデルを学習するモデル学習手段とを備える
   　ことを特徴とする画像処理装置。
2. 　前記モデル学習手段は、前記正常画像と前記正常画像から生成された異常模擬画像との組を用いて、前記再現モデルを学習する
   　請求項１に記載の画像処理装置。
3. 　前記モデル学習手段は、前記正常画像に含まれる所定の領域を含む第１画像を教師データとし、前記正常画像において前記所定の領域を含む、または前記所定の領域と接する領域の少なくとも一部を含む第２画像を入力データとする訓練データ、および前記第１画像を教師データとし、前記正常画像から生成された前記異常模擬画像において前記第２画像と同じ領域を含む第３画像を入力データとする訓練データを用いて、前記再現モデルを学習する
   　請求項１または請求項２に記載の画像処理装置。
4. 　前記検査対象物体を含む検査用画像を取得する検査用画像取得手段と、
   　前記再現モデルを用いて、前記検査用画像の一部から前記検査対象物体の少なくとも前記所定の領域であって正常状態の前記所定の領域を含む再現画像を取得する正常画像再現手段と、
   　前記再現画像と、前記検査用画像において前記再現画像と同じ領域の画像である判定対象画像とを比較して、前記判定対象画像が、正常状態のものか異常状態のものかを判定する判定手段とを備える
   　請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
5. 　前記正常画像、前記異常模擬画像および前記検査用画像が入力されると、入力された画像において前記所定の領域を少なくとも含むパッチ画像から、前記所定の領域を少なくとも含む比較領域画像と、前記所定の領域を含む、または前記所定の領域と接する領域の少なくとも一部を含む再現用画像とを取得して画像ペアを作成する画像ペア作成手段を備え、
   　前記モデル学習手段は、前記正常画像から作成された前記画像ペアである第１の画像ペアの前記再現用画像を入力データ、前記第１の画像ペアの前記比較領域画像を教師データとする訓練データ、および前記正常画像から生成された前記異常模擬画像から作成された画像ペアである第２の画像ペアの前記再現用画像を入力データ、前記第１の画像ペアの前記比較領域画像を教師データとする訓練データを用いて、前記再現モデルを学習し、
   　前記正常画像再現手段は、前記検査用画像から作成された前記画像ペアである第３の画像ペアの前記再現用画像を前記再現モデルに入力して、前記第３の画像ペアの前記比較領域画像と同じ領域の画像であって正常状態の前記比較領域画像に相当する再現画像を取得し、
   　前記判定手段は、前記再現画像と、前記第３の画像ペアの前記比較領域画像とを比較して、前記第３の画像ペアの前記比較領域画像が、正常状態のものか異常状態のものかを判定する
   　請求項４に記載の画像処理装置。
6. 　前記画像ペア作成手段は、前記所定の領域と前記所定の領域と接する領域の少なくとも一部を含むパッチ画像から、前記所定の領域を切り出した画像である比較領域画像と、前記パッチ画像から前記比較領域画像が除去された画像である再現用画像とからなる画像ペアを作成する、または前記パッチ画像から、前記所定の領域を切り出した画像である比較領域画像と、前記パッチ画像と同じ画像である前記再現用画像とからなる画像ペアを作成する、もしくは前記所定の領域と同じ領域の前記パッチ画像から、ともに前記パッチ画像と同じ画像である比較領域画像および再現用画像からなる画像ペアを作成する
   　請求項５に記載の画像処理装置。
7. 　前記異常模擬画像生成手段は、異常の種類ごとに予め定めた方法により、前記異常模擬画像を生成する
   　請求項１から請求項６のうちのいずれか１項に記載の画像処理装置。
8. 　前記異常模擬画像生成手段は、線形、多角形、円形の像またはノイズを用いて前記異常模擬画像を生成する
   　請求項１から請求項７のうちのいずれか１項に記載の画像処理装置。
9. 　情報処理装置が、
   　正常状態の検査対象物体を含む画像である正常画像を取得し、
   　前記正常画像に対して、前記検査対象物体の異常状態における特徴を模擬した像を挿入して異常模擬画像を生成し、
   　前記正常画像と、前記異常模擬画像とを用いて、前記検査対象物体を含む画像の一部から前記検査対象物体の少なくとも所定の領域を含む画像であって正常状態の前記所定の領域が再現された再現画像を生成するための再現モデルを学習する
   　ことを特徴とする画像処理方法。
10. 　コンピュータに、
    　正常状態の検査対象物体を含む画像である正常画像を取得する処理、
    　前記正常画像に対して、前記検査対象物体の異常状態における特徴を模擬した像を挿入して異常模擬画像を生成する処理、および
    　前記正常画像と、前記異常模擬画像とを用いて、前記検査対象物体を含む画像の一部から前記検査対象物体の少なくとも所定の領域を含む画像であって正常状態の前記所定の領域が再現された再現画像を生成するための再現モデルを学習する処理
    　を実行させるための画像処理プログラム。

Images