JP7006702B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び記録媒体に関する。

特許文献１には、入力医用画像中の異常成分を分離する画像成分分離装置が記載されている。特許文献１に記載の画像成分分離装置は、被写体中の所定の構造物を表す入力医用画像から、該被写体中の該構造物の正常な構造を表す正常画像を生成する。次いで、入力医用画像と正常画像の差分を求めることにより、入力医用画像中の異常成分を分離する。

特許第４８９５２０４号公報

しかしながら、特許文献１に記載の画像成分分離装置では、被写体中の所定の構造物を表す入力医用画像の全体から正常画像を生成する。このため、特許文献１に記載の画像成分分離装置では、生成される正常画像が、入力医用画像の全体の影響を受けうるため、異常成分の分離が入力医用画像の個体差に大きく影響されうる。

本発明の目的は、上述した課題に鑑み、画像の個体差の影響を低減しつつ異常を判別することができる画像処理装置、画像処理方法及び記録媒体を提供することにある。

本発明の一観点によれば、検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む推測画像を生成する生成部と、前記生成部により生成された前記推測画像と、前記検査画像とを比較する比較部と、前記比較部による比較結果を出力する出力部と、を備える画像処理装置が提供される。

本発明の他の観点によれば、検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む推測画像を生成する生成ステップと、前記生成ステップにより生成された前記推測画像と、前記検査画像とを比較する比較ステップと、前記比較ステップによる比較結果を出力する出力ステップと、を備える画像処理方法が提供される。

本発明のさらに他の観点によれば、コンピュータに、検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む推測画像を生成する生成ステップと、前記生成ステップにより生成された前記推測画像と、前記検査画像とを比較する比較ステップと、前記比較ステップによる比較結果を出力する出力ステップと、を実行させるプログラムが記録された記録媒体が提供される。

本発明のさらに他の観点によれば、物体を含む第１の画像の一部を使って、前記物体の少なくとも所定の領域を含む第２の画像を生成する生成部と、前記生成部により生成された前記第２の画像と、前記第１の画像とを比較する比較部と、前記比較部による比較結果を出力する出力部と、を備える画像処理装置が提供される。

本発明によれば、画像の個体差の影響を低減しつつ高い精度で異常を判別することができる。

図１は、本発明の一実施形態による画像処理装置の機能構成を示すブロック図である。 図２は、本発明の一実施形態による画像処理装置のハードウェア構成の一例を示すブロック図である。 図３は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを示すフローチャートである。 図４は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを説明する概略図（その１）である。 図５は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを説明する概略図（その２）である。 図６は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを説明する概略図（その３）である。 図７は、本発明の一実施形態による画像処理装置の動作における学習ステップを示すフローチャートである。 図８は、本発明の一実施形態による画像処理装置の動作における学習ステップを説明する概略図（その１）である。 図９は、本発明の一実施形態による画像処理装置の動作における学習ステップを説明する概略図（その２）である。 図１０は、本発明の一実施形態による画像処理装置の動作における正常画像生成ステップを示すフローチャートである。 図１１は、本発明の一実施形態による画像処理装置の動作における正常画像生成ステップを説明する概略図である。 図１２は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップを示すフローチャートである。 図１３は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップを説明する概略図（その１）である。 図１４は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップを説明する概略図（その２）である。 図１５は、本発明の一実施形態の変形例による画像処理装置の機能構成を示すブロック図である。 図１６は、本発明の他の実施形態による画像処理装置の機能構成を示すブロック図である。 図１７は、本発明のさらに他の実施形態による画像処理装置の機能構成を示すブロック図である。

［一実施形態］
本発明の一実施形態による画像処理装置及び画像処理方法について図１乃至図１５を用いて説明する。

まず、本実施形態による画像処理装置の構成について図１及び図２を用いて説明する。図１は、本実施形態による画像処理装置の機能構成を示すブロック図である。図２は、本実施形態による画像処理装置のハードウェア構成の一例を示すブロック図である。

本実施形態では、画像処理装置が、検査対象である検査対象品を含む検査画像を処理することにより、検査対象品が正常品であるか不良品であるかを判定して、異常として不良品を検出する検査を行う場合を例に説明する。ただし、本実施形態による画像処理装置は、不良品を検出する検査を行う場合のみならず、物体について異常を検出する場合に広く用いることができる。

図１に示すように、本実施形態による画像処理装置１００は、学習データ保存部１０と、パッチ切り出し部１２と、パッチ処理済みデータ保存部１４とを備えている。また、画像処理装置１００は、学習部１６と、学習モデル記憶部１８とを備えている。さらに、画像処理装置１００は、検査データ保存部２０と、正常画像生成部２２と、生成正常データ保存部２４と、不良品検出部２６とを備えている。

学習データ保存部１０は、学習部１６による学習に用いられる学習画像を保存する。学習画像は、検査対象品の正常品を含む画像、すなわち、検査対象品の正常な状態を表す画像である。

パッチ切り出し部１２は、学習データ保存部１０から学習画像のデータを読み込み、学習画像に対してパッチ切り出しステップを実施する。すなわち、パッチ切り出し部１２は、学習画像からパッチサイズの画像をパッチ画像として切り出す。また、パッチ切り出し部１２は、パッチ画像からその中心部の画像を中心画像として切り出す。中心画像は、検査対象品の少なくとも所定の領域を含んでいる。パッチ切り出し部１２は、中心画像が切り出されたパッチ画像である中心除去済みパッチ画像と、その中心画像との対を画像対として関連付けて出力する。パッチ切り出し部１２は、学習画像について出力した画像対をパッチ処理済みデータ保存部１４に保存する。

また、パッチ切り出し部１２は、検査データ保存部２０から検査画像のデータを読み込み、学習画像の場合と同様に、検査画像に対してパッチ切り出し処理を実施する。パッチ切り出し部１２は、学習画像の場合と同様に、検査画像について、中心除去済みパッチ画像と、その中心画像との対を画像対として関連付けて出力する。パッチ切り出し部１２は、検査画像について出力した画像対をパッチ処理済みデータ保存部１４に保存する。

パッチ処理済みデータ保存部１４は、パッチ切り出し部１２により出力される学習画像についての画像対を保存する。また、パッチ処理済みデータ保存部１４は、パッチ切り出し部１２により出力される検査画像についての画像対を保存する。

学習部１６は、パッチ処理済みデータ保存部１４から学習画像についての画像対を読み込み、読み込んだ画像対を用いて学習モデルを作成する。学習部１６は、学習画像についての画像対のうち、中心除去済みパッチ画像を学習データ、中心画像を教師データとして学習を実施して、中心除去済みパッチ画像から中心画像を復元する学習モデルを作成する。学習部１６は、作成した学習モデルを学習モデル記憶部１８に保存する。

学習モデル記憶部１８は、学習部１６による学習の結果作成された学習済みの学習モデルを保存する。

検査データ保存部２０は、検査画像を保存する。検査画像は、検査対象である検査対象品を含む画像である。検査対象品は、特に限定されるものではない。本実施形態による画像処理装置は、例えば、完成品、部品等のあらゆる物体を検査対象品とすることができる。

正常画像生成部２２は、生成部として機能し、検査画像についての画像対のうちの中心除去済みパッチ画像からその中心部の画像である中心画像を推測し、中心除去済みパッチ画像から推測した推測画像を正常画像として生成する。正常画像は、検査画像に含まれる検査対象品の少なくとも所定の領域を含んでいる。正常画像生成部２２は、パッチ処理済みデータ保存部１４から検査画像についての画像対のうちの中心除去済みパッチ画像を読み込む。正常画像生成部２２は、読み込んだ中心除去済みパッチ画像から、その中心除去済みパッチ画像の中心画像を推測して正常画像として生成する。正常画像生成部２２は、推測画像である正常画像の生成に際して、学習モデル記憶部１８から学習済みの学習モデルを読み込む。正常画像生成部２２は、読み込んだ学習モデルを用いて、検査画像におけるパッチ画像の一部である中心除去済みパッチ画像からその中心画像を推測して、推測した推測画像を正常画像として生成する。正常画像生成部２２は、生成した正常画像を生成正常データ保存部２４に保存する。こうして、正常画像生成部２２は、パッチ画像の一部である中心除去済みパッチ画像を使って正常画像を推測して生成する。

生成正常データ保存部２４は、正常画像生成部２２により生成された正常画像を保存する。

不良品検出部２６は、比較部として機能し、検査画像についての画像対のうちの中心画像と、その中心除去済みパッチ画像から生成した正常画像とを比較する。さらに、不良品検出部２６は、出力部として機能し、その比較結果を出力する。また、不良品検出部２６は、判定部として機能し、比較結果に基づき、検査画像に含まれる検査対象品が正常品であるか不良品であるかを判定する。

不良品検出部２６は、パッチ処理済みデータ保存部１４から検査画像についての画像対のうちの中心画像を読み込む。また、不良品検出部２６は、その画像対のうちの中心除去済みパッチ画像から生成された正常画像を読み込む。不良品検出部２６は、それぞれ読み込んだ中心画像と正常画像とを比較して、中心画像と正常画像との異同を判定する。これにより、不良品検出部２６は、検査画像に含まれる検査対象品が正常品であるか不良品であるかを判定して、異常である不良品を判別して検出する。

不良品検出部２６は、不良品の検出結果を出力する。検出結果の出力方法は特に限定されるものではなく、種々の方法を用いることができる。例えば、不良品検出部２６は、検出結果を表示装置に表示させたり、検出結果を音声として音声出力装置から出力したり、記憶装置に記憶されたデータベースに検出結果を格納することができる。

上述した画像処理装置１００は、例えばコンピュータ装置により構成される。画像処理装置１００のハードウェア構成の一例について図２を用いて説明する。なお、画像処理装置１００は、単一の装置により構成されていてもよいし、有線又は無線で接続された２つ以上の物理的に分離された装置により構成されていてもよい。

図２に示すように、画像処理装置１００は、ＣＰＵ（Central Processing Unit）１００２と、ＲＯＭ（Read Only Memory）１００４と、ＲＡＭ（Random Access Memory）１００６と、ＨＤＤ（Hard Disk Drive）１００８とを備えている。また、画像処理装置１００は、出力装置１０１０と、入力装置１０１２とを備えている。ＣＰＵ１００２、ＲＯＭ１００４、ＲＡＭ１００６、ＨＤＤ１００８、出力装置１０１０及び入力装置１０１２は、共通のバスライン１０１４に接続されている。

ＣＰＵ１００２は、画像処理装置１００の全体の動作を制御する。また、ＣＰＵ１００２は、上記のパッチ切り出し部１２、学習部１６、正常画像生成部２２及び不良品検出部２６の各部の機能を実現するプログラムを実行する。ＣＰＵ１００２は、ＨＤＤ１００８等に記憶されたプログラムをＲＡＭ１００６にロードして実行することにより、パッチ切り出し部１２、学習部１６、正常画像生成部２２及び不良品検出部２６の各部の機能を実現する。

なお、パッチ切り出し部１２、学習部１６、正常画像生成部２２及び不良品検出部２６は、それぞれ電気回路構成（circuitry）により実現されていてもよい。ここで、電気回路構成（circuitry）とは、単一のデバイス（single device）、複数のデバイス（multiple devices）、チップセット（chipset）又はクラウド（cloud）を概念的に含む文言である。

ＲＯＭ１００４は、ブートプログラム等のプログラムが記憶されている。ＲＡＭ１００６は、ＣＰＵ１００２がプログラムを実行する際のワーキングエリアとして使用される。また、ＨＤＤ１００８には、ＣＰＵ１００２が実行するプログラムが記憶されている。

また、ＨＤＤ１００８は、上記の学習データ保存部１０、パッチ処理済みデータ保存部１４、学習モデル記憶部１８及び生成正常データ保存部２４の各部の機能を実現する記憶装置である。なお、学習データ保存部１０、パッチ処理済みデータ保存部１４、学習モデル記憶部１８及び生成正常データ保存部２４の各部の機能を実現する記憶装置は、ＨＤＤ１００８に限定されるものではない。種々の記憶装置をこれら各部の機能を実現するものとして用いることができる。

出力装置１０１０は、不良品検出部２６による検出結果が出力されるものであり、例えば、表示装置、音声出力装置である。

入力装置１０１２は、例えば、キーボード、マウス等である。また、入力装置１０１２は、出力装置１０１０である表示装置に組み込まれたタッチパネルであってもよい。画像処理装置１００のオペレータは、入力装置１０１２を介して、画像処理装置１００の設定を行ったり、処理の実行の指示を入力したりすることができる。

なお、画像処理装置１００のハードウェア構成は、上述した構成に限定されるものではなく、種々の構成とすることができる。

次に、上記本実施形態による画像処理装置１００の動作についてさらに図３乃至図１４を用いて説明する。本実施形態による画像処理装置１００は、動作することにより画像処理装置方法を実行する。

本実施形態による画像処理装置１００の動作は、パッチ切り出しステップ（図３参照）と、学習ステップ（図７参照）と、正常画像生成ステップ（図１０参照）と、不良品検出ステップ（図１２参照）とを含んでいる。パッチ切り出しステップは、パッチ切り出し部１２により実施される。学習ステップは、学習部１６により実施される。正常画像生成ステップは、正常画像生成部２２により実施される。不良品検出ステップは、不良品検出部２６により実施される。

まず、本実施形態による画像処理装置１００の動作におけるパッチ切り出しステップについて図３乃至図６を用いて説明する。図３は、本実施形態による画像処理装置１００の動作におけるパッチ切り出しステップを示すフローチャートである。図４乃至図６は、本実施形態による画像処理装置１００の動作におけるパッチ切り出しステップを説明する概略図である。

パッチ切り出し部１２により実施されるパッチ切り出しステップは、画像からのパッチ画像の切り出し、パッチ画像の中心部の画像の除去等を行う。パッチ切り出しステップは、学習画像及び検査画像のそれぞれについて実施される。

まず、図３に示すように、ステップＳ１０１において、パッチ切り出し部１２は、パッチ切り出しステップを実施すべき画像のデータを読み込む。学習画像についてパッチ切り出しステップを実施する場合、パッチ切り出し部１２は、学習データ保存部１０から学習画像を読み込む。一方、検査画像についてパッチ切り出しステップを実施する場合、パッチ切り出し部１２は、検査データ保存部２０から画像データを読み込む。

次いで、ステップＳ１０２において、パッチ切り出し部１２は、ステップＳ１０１で読み込んだ画像に対してパッチ切り出し処理を実施する。図４に示すように、ステップＳ１０１で読み込んだ画像ＩＭには、検査対象品Ｔが含まれている。画像ＩＭは、学習画像又は検査画像である。画像ＩＭが学習画像である場合、画像ＩＭに含まれる検査対象品Ｔは正常品である。画像ＩＭが検査画像である場合、画像ＩＭに含まれる検査対象品Ｔは、正常品であるか不良品であるかを判定すべきものである。

パッチ切り出し処理において、パッチ切り出し部１２は、図４に示すように、読み込んだ画像ＩＭから、あらかじめ設定されたパッチサイズの矩形状の画像をパッチ画像ＩＭｐとして画像ＩＭの例えば左上から切り出す。なお、パッチ画像ＩＭｐを切り出すパッチサイズは、画像ＩＭよりも小さいサイズの範囲で、検査に要求される精度等に応じて適宜設定することができる。

さらに、パッチ切り出し処理において、パッチ切り出し部１２は、図５に示すように、切り出したパッチ画像ＩＭｐの中心部から、あらかじめ設定されたサイズの矩形状の画像を切り出して除去する。こうして、パッチ切り出し部１２は、中心部の画像が除去された枠状のパッチ画像ＩＭｐである中心除去済みパッチ画像ＩＭｒを作成するとともに、パッチ画像ＩＭｐの中心部から切り出した画像である中心画像ＩＭｃを作成する。パッチ切り出し処理前のパッチ画像ＩＭｐは、第１の領域である中心除去済みパッチ画像ＩＭｒと、第２の領域である中心画像ＩＭｃとを含み、両画像から構成されていると考えることができる。なお、中心画像ＩＭｃを切り出すサイズは、パッチ画像ＩＭｐよりも小さいサイズの範囲で、検査に要求される精度等に応じて適宜設定することができる。

その後、パッチ切り出し部１２は、図６に示すように、あらかじめ設定されたスライドサイズの分だけ画像ＩＭにおいてスライド方向に移動した箇所から、上記と同様にパッチ画像ＩＭｐを切り出して、中心除去済みパッチ画像ＩＭｒ及び中心画像ＩＭｃを作成する。なお、スライドサイズは、パッチ画像ＩＭｐを切り出すパッチサイズのスライド方向の幅と同じ又はその幅以下に設定することができる。

パッチ切り出し部１２は、上述した図４乃至図６に示す動作を、画像ＩＭの全領域についてパッチ画像ＩＭｐの切り出しが行われるまで繰り返して行い、画像ＩＭについて中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの対である画像対を作成していく。

なお、上記では、パッチ画像ＩＭｐ及び中心画像ＩＭｃをいずれも矩形の形状としているが、これらの形状は、矩形等の四角形の形状に限定されるものではない。パッチ画像ＩＭｐ及び中心画像ＩＭｃの形状は、四角形の形状ほか、例えば、円形、三角形等の、周囲の画像である中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの対が作成することができる形状であればよい。パッチ画像ＩＭｐ及び中心画像ＩＭｃの形状は、互いに同一の形状である必要はなく、互いに異なる形状であってもよい。

また、上記では、パッチ画像ＩＭｐの中心部から画像を切り出しているが、パッチ画像ＩＭｐからあらかじめ設定されたサイズの画像を切り出していれば、パッチ画像ＩＭｐから画像を切り出す領域は中心部に限定されるものではない。すなわち、パッチ切り出し部１２は、パッチ画像ＩＭｐからその一部を切り出して、中心画像ＩＭｃに代えてパッチ画像ＩＭｐの一部である部分画像を作成してもよい。中心画像ＩＭｃに代えてパッチ画像ＩＭｐの一部である部分画像を作成する場合も、中心画像ＩＭｃに代えて部分画像を用いる点を除いて同様に処理することができる。

次いで、ステップＳ１０３において、パッチ切り出し部１２は、ステップＳ１０２で画像ＩＭについて作成された中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの対である画像対を、パッチ処理済みデータ保存部１４に保存する。

上述のようにして、パッチ切り出し部１２は、学習画像及び検査画像のそれぞれについてパッチ切り出しステップを実施する。なお、学習画像についてのパッチ切り出しステップは、学習ステップの前に実施する。一方、検査画像についてのパッチ切り出しステップは、正常画像生成ステップの前であれば、学習ステップの前に実施することもできるし、学習ステップの後に実施することもできる。

次に、本実施形態による画像処理装置１００の動作における学習ステップについて図７乃至図９を用いて説明する。図７は、本実施形態による画像処理装置１００の動作における学習ステップを示すフローチャートである。図８及び図９は、本実施形態による画像処理装置１００の動作における学習ステップを説明する概略図である。

学習部１６により実施される学習ステップは、学習画像についてのパッチ切り出しステップの後に実施される。学習ステップは、パッチ切り出しステップが実施された学習画像のデータを使った教師あり機械学習を行って、学習モデルを作成する。

まず、図７に示すように、ステップＳ２０１において、学習部１６は、パッチ処理済みデータ保存部１４から、教師あり機械学習に使う学習用データを読み込む。ここで学習部１６が読み込む学習用データは、学習画像について作成された中心除去済みパッチ画像と中心画像との対である画像対のデータである。

次いで、ステップＳ２０２において、学習部１６は、ステップＳ２０１で読み込んだ学習用データの画像対のうち、中心除去済みパッチ画像を学習データ、中心画像を教師データとして学習を行う学習処理を実施する。学習部１６は、検査対象品の正常な状態を表す画像である学習画像について作成された中心除去済みパッチ画像及び中心画像を用いて学習モデルを学習させる。

図８及び図９は、ステップＳ２０２の学習部１６による学習のイメージを示している。学習部１６は、図８に示すように、学習用データの中心除去済みパッチ画像ＩＭｒから、教師データとする中心画像ＩＭｃを復元して中心画像ＩＭｃを推測した推測画像を生成する学習モデルＭを作成する。ここで、学習部１６は、学習モデルＭを作成する手法として、例えば、オートエンコーダのように入力を再現することのできる手法を用いることができる。また、学習部１６は、学習の手法として例えばディープラーニングを用いた機械学習を実施することができる。学習部１６は、図９に示すように、学習画像である画像ＩＭについて、切り出されたパッチ画像ＩＭｐから作成された中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの画像対を複数用いて学習モデルＭを作成するための学習を行う。こうして、検査対象品の正常な状態を表す画像である学習画像について作成された中心除去済みパッチ画像ＩＭｒ及び中心画像ＩＭｃを用いて学習させた学習モデルＭが作成される。

次いで、ステップＳ２０３において、学習部１６は、ステップＳ２０２で作成された学習済みの学習モデルを学習モデル記憶部１８に保存する。

上述のようにして、学習部１６は、パッチ画像の一部である中心除去済みパッチ画像から、パッチ画像の他の一部である中心画像を復元する学習モデルを作成する。学習部１６は、以下に説明する正常画像生成ステップの前にあらかじめ学習ステップを実施して学習モデルを作成して学習モデル記憶部１８に保存しておくことができる。

一般的に、ディープラーニングをはじめとする機械学習では、高い精度を出すためには、大量の正解データが必要となる。正常品及び不良品の判別の場合には、正解データとして正常品及び不良品のいずれについても十分な量のデータを収集する必要がある。しかしながら、実際の現場では、不良品についてデータを十分に収集することは困難である。

これに対して、本実施形態では、検査対象品の正常品を含む画像である学習画像から作成された中心除去済みパッチ画像及び中心画像を用いて機械学習を行うため、検査対象品の不良品を含む画像を学習画像として用意する必要がない。したがって、本実施形態によれば、十分な量の学習用データを容易に用意することができるため、学習モデルを容易に作成することができる。

次に、本実施形態による画像処理装置１００の動作における正常画像生成ステップについて図１０及び図１１を用いて説明する。図１０は、本実施形態による画像処理装置１００の動作における正常画像生成ステップを示すフローチャートである。図１１は、本実施形態による画像処理装置１００の動作における正常画像生成ステップを説明する概略図である。

正常画像生成部２２により実施される正常画像生成ステップは、学習モデルと検査画像の中心除去済みパッチ画像とを使って、検査画像の中心画像を推測した推測画像である正常画像を生成する。

まず、図１０に示すように、ステップＳ３０１において、正常画像生成部２２は、パッチ処理済みデータ保存部１４から、正常画像を生成するための対象データを読み込む。ここで正常画像生成部２２が読み込む対象データは、検査データ保存部２０の検査画像のデータからパッチ切り出しステップで作成された中心除去済みパッチ画像のデータである。正常画像生成部２２は、パッチ切り出し部１２により検査画像について作成される画像対のうち、中心除去済みパッチ画像を学習モデルに入力する画像とする。

次いで、ステップＳ３０２において、正常画像生成部２２は、学習モデル記憶部１８から、学習済みの学習モデルを読み込む。なお、ステップＳ３０１及びステップＳ３０２は、いずれが先に実施されてもよいし、同時に実施されてもよい。

次いで、ステップＳ３０３において、正常画像生成部２２は、ステップＳ３０１で読み込んだ中心除去済みパッチ画像を使って、ステップＳ３０２で読み込んだ学習モデルを用いて正常画像を生成する。正常画像生成部２２は、正常画像として、ステップＳ３０１で読み込んだ検査画像についての中心除去済みパッチ画像から、検査対象品が正常品である場合の中心画像を学習モデルにより推測して生成する。

図１１は、ステップＳ３０３の正常画像生成部２２による正常画像の生成のイメージを示している。正常画像生成部２２は、図１１に示すように、検査画像である画像ＩＭについて、切り出されたパッチ画像ＩＭｐから作成された中心除去済みパッチ画像ＩＭｒを学習モデルＭに対する入力とする。正常画像生成部２２は、中心除去済みパッチ画像ＩＭｒの入力に対する学習モデルＭの出力として、検査対象品が正常品である場合の中心画像ＩＭｃを推測した画像である正常画像ＩＭｎを生成する。なお、検査画像である画像ＩＭに含まれる検査対象品Ｔには、傷等の欠陥Ｄが生じている場合がある。

次いで、ステップＳ３０４において、正常画像生成部２２は、ステップＳ３０３で作成された正常画像を生成正常データ保存部２４に保存する。

上述のようにして、正常画像生成部２２は、検査画像から作成された複数の中心除去済みパッチ画像のそれぞれについて、学習モデルにより正常画像を生成する。

不良品を検出する方法としては、機械学習を使わず、正常品のテンプレートを用意し、テンプレートと検査画像との差分に基づき不良品を検出する手法が考えられる。しかしながら、このようなテンプレートを用いた方法では、不良品の検出が、検査対象品の個体差、すなわち検査画像の個体差の影響を受ける場合がある。

これに対して、本実施形態では、検査画像における中心除去済みパッチ画像から正常画像を推測して生成し、推測された正常画像を基準に不良品を検出する。このため、本実施形態では、正常品のテンプレートを用いる場合とは異なり、ロバスト性の高い不良品の検出を実現することができる。

次に、本実施形態による画像処理装置１００の動作における不良品検出ステップについて図１２乃至図１４を用いて説明する。図１２は、本実施形態による画像処理装置の動作における不良品検出ステップを示すフローチャートである。図１３及び図１４は、本実施形態による画像処理装置１００の動作における不良品検出ステップを説明する概略図である。

不良品検出部２６により実施される不良品検出ステップは、検査画像について作成された中心除去済みパッチ画像と中心画像との画像対のうちの中心画像と、その中心除去済みパッチ画像から生成された正常画像との差分を計算する。さらに、不良品検出ステップでは、計算された差分に基づき、異常である不良品を判別して検出する。

まず、図１２に示すように、ステップＳ４０１において、不良品検出部２６は、対象データの一方として、パッチ処理済みデータ保存部１４から、検査画像について作成された中心除去済みパッチ画像と中心画像との画像対のうちの中心画像のデータを読み込む。また、ステップＳ４０１において、不良品検出部２６は、対象データの他方として、生成正常データ保存部２４から、読み込んだ中心画像と画像対をなす中心除去済みパッチ画像から学習モデルにより生成された正常画像のデータを読み込む。正常画像は、中心除去済みパッチ画像から推測された中心画像である。

次いで、ステップＳ４０２において、不良品検出部２６は、ステップＳ４０１で読み込んだ２種類の中心画像の差分、すなわち中心画像と正常画像との差分を計算して、差分に基づき両画像の異同を判定する。両画像の差分の計算方法は、特に限定されるものではないが、次のような計算方法を用いることができる。例えば、差分として、中心画像及び正常画像の特定位置の画素又は特定領域に含まれる画素の画素値の差の絶対値を計算することができる。また、差分として、中心画像と正常画像との間の画素値の差のある領域が連続する面積を計算することもできる。また、差分として、中心画像と正常画像との間の画素値の差のある領域の総面積を計算することもできる。また、差分として、中心画像と正常画像との間の画素値ごとの画素値の差の総和を計算することもできる。また、差分として、中心画像と正常画像との間の画素値ごとの画素値の差の平均を計算することもできる。また、差分として、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）を計算することもできる。

なお、２種類の中心画像の差分を計算する際には、例えば、ＲＧＢ画像その他のカラー画像の２種類の中心画像をそのまま差分の計算に用いるほかに、別の種類の画像や別の色空間の画像への変換、フィルタ処理を行ってから差分の計算に用いることもできる。例えば、グレースケール画像、２値化画像等の別の種類の画像に変換したり、ＨＳＶやＹＣｂＣｒといった別の色空間の画像に変換したりしてから差分の計算に用いることができる。また、例えば、平均化フィルタ、メディアンフィルタ等の前処理フィルタや、ソーベルフィルタ、ラプラシアンフィルタ等のエッジ抽出フィルタを用いたフィルタ処理を行ってから差分の計算に用いることができる。

次いで、ステップＳ４０３において、不良品検出部２６は、ステップＳ４０２で計算された差分が、あらかじめ設定された閾値を超えるか否かを判定する。ここで、正常品及び不良品を判定するための指標となる閾値の設定方法は、特に限定されるものではなく、例えば、手動で閾値を設定することができる。このほか、正常品を含む検査画像のみを用いて検証を行い、検証用の正常品を含む検査画像をすべて正しく正常品として判定することができる閾値を自動的に設定することもできる。

不良品検出部２６は、差分が閾値を超えていないと判定すると（ステップＳ４０３、ＮＯ）、検査画像から作成された中心画像が正常画像と同じであると判定し、中心画像が正常であると判定する（ステップＳ４０５）。一方、不良品検出部２６は、差分が閾値を超えていると判定すると（ステップＳ４０３、ＹＥＳ）、検査画像から作成された中心画像が正常画像と異なると判定し、中心画像が不良であると判定する（ステップＳ４０４）。

図１３は、検査画像である画像ＩＭから作成された中心画像ＩＭｃが正常であると判定される場合のイメージを示している。不良品検出部２６は、図１３に示すように、中心画像ＩＭｃと正常画像ＩＭｎとの差分を計算して両者を比較した結果、それらの差分が閾値を超えないため、中心画像ＩＭｃが正常であると判定する。図１３に示す場合、中心画像ＩＭｃは、欠陥Ｄを含んでいないため、差分が閾値を超えず、正常であると判定される。

一方、図１４は、検査画像である画像ＩＭから作成された中心画像ＩＭｃが不良であると判定される場合のイメージを示している。不良品検出部２６は、図１４に示すように、中心画像ＩＭｃと正常画像ＩＭｎとの差分を計算して両者を比較した結果、それらの差分が閾値を超えるため、中心画像ＩＭｃが異常であると判定する。図１４に示す場合、中心画像ＩＭｃは、欠陥Ｄを含んでいるため、差分が閾値を超え、不良であると判定される。

次いで、ステップＳ４０６において、不良品検出部２６は、検査画像について作成された中心画像が正常であるか不良であるかの判定結果を出力する。

不良品検出部２６は、上述したステップＳ４０１からステップＳ４０６までのステップを、検査画像について作成された複数の中心画像のそれぞれについて実施する。

次いで、ステップＳ４０７において、不良品検出部２６は、ステップＳ４０６で出力された判定結果に基づき、不良品を検出してその検出結果を出力する。不良品の検出に際して、不良品検出部２６は、検査画像について不良と判定された中心画像の数が零又は所定数以下である場合には、検査画像に含まれる検査対象品が正常品であると判定する。一方、不良品検出部２６は、検査画像について不良と判定された中心画像の数が所定数を超える場合には、検査画像に含まれる検査対象品が不良品であると判定する。

こうして、不良品検出部２６は、検査画像に含まれる検査対象品が正常品であるか不良品であるかを判定して不良品を検出し、その検出結果を出力する。

上述のように、本実施形態では、検査対象品の正常品を含む学習画像を用いて、中心除去済みパッチ画像から中心画像を復元する学習モデルを作成するため、不良品を含む画像を収集する必要がない。したがって、本実施形態によれば、十分な量の学習用データを容易に用意することができるため、学習モデルを容易に作成することができる。

また、本実施形態では、検査画像における中心除去済みパッチ画像から正常画像を推測して生成し、推測された正常画像を基準に不良品を検出する。このため、本実施形態によれば、ロバスト性の高い不良品の検出を実現することができる。

以上のとおり、本実施形態によれば、検査対象品を含む検査画像の一部を使って、検査対象品の少なくとも所定の領域を含む推測画像を正常画像として生成するので、画像の個体差の影響を低減しつつ高い精度で異常である不良品を判別することができる。

なお、本実施形態による画像処理装置１００は、図１５に示すように、検出結果保存部２８と、検出結果表示部３０とを備えるように構成することもできる。図１５は、本実施形態の変形例による画像処理装置の機能構成を示すブロック図である。

図１５に示す場合、不良品検出部２６は、不良品の検出結果を検出結果保存部２８に保存する。不良品検出部２６は、検出結果として、例えば、検査画像を識別する識別子とともに、検査対象品が正常品であるか不良品であるかを示す情報、不良品である場合には不良箇所を示す画像のデータ等を検出結果保存部２８に保存することができる。

検出結果保存部２８は、不良品検出部２６により出力された不良品の検出結果を保存する。検出結果保存部２８には、例えば、検出結果を格納するデータベースが保存されている。検出結果保存部２８の機能は、学習データ保存部１０等と同様にＨＤＤ１００８により実現される。

検出結果表示部３０は、検出結果保存部２８に保存された不良品の検出結果を表示する。検出結果表示部３０は、検出結果の表示に際して、不良箇所を示す画像を表示することができる。検出結果表示部３０は、表示装置としての出力装置１０１０により実現される。

また、上記図８に示す場合において、学習部１６は、パッチ画像ＩＭｐを構成する枠状領域の中心除去済みパッチ画像ＩＭｒから、パッチ画像ＩＭｐを構成する中心領域の中心画像ＩＭｃを復元する学習モデルを学習して作成しているが、これに限定されるものではない。例えば、学習部１６は、中心除去済みパッチ画像ＩＭｒから、中心画像ＩＭｃを含むパッチ画像ＩＭｐの全体を復元してパッチ画像ＩＭｐを推測した推測画像を生成する学習モデルを学習して作成することもできる。この場合、正常画像生成部２２は、このような学習モデルを用いて、正常画像として、正常品である場合のパッチ画像ＩＭｐの全体を推測した推測画像を生成することができる。また、不良品検出部２６は、検査画像についてのパッチ画像ＩＭｐの全体と、そのパッチ画像ＩＭｐの全体を推測した推測画像と比較して不良品を検出することができる。

［他の実施形態］
上記各実施形態において説明した画像処理装置は、他の実施形態によれば、図１６に示すように構成することもできる。図１６は、他の実施形態による画像処理装置の機能構成を示すブロック図である。

図１６に示すように、画像処理装置２０００は、検査対象を含む検査画像の一部を使って、検査対象の少なくとも所定の領域を含む推測画像を生成する生成部２００２を備えている。また、画像処理装置２０００は、生成部２００２により生成された推測画像と、検査画像とを比較する比較部２００４と、比較部２００４による比較結果を出力する出力部２００６とを備えている。

他の実施形態による画像処理装置２０００によれば、検査対象を含む検査画像の一部を使って、検査対象の少なくとも所定の領域を含む推測画像を生成するため、画像の個体差の影響を低減しつつ高い精度で異常を判別することができる。

また、上記各実施形態において説明した画像処理装置は、さらに他の実施形態によれば、図１７に示すように構成することもできる。図１７は、さらに他の実施形態による画像処理装置の機能構成を示すブロック図である。

図１７に示すように、さらに他の実施形態による画像処理装置３０００は、物体を含む第１の画像の一部を使って、物体の少なくとも所定の領域を含む第２の画像を生成する生成部３００２を備えている。また、画像処理装置３０００は、生成部３００２により生成された第２の画像と、第１の画像とを比較する比較部３００４と、比較部３００４による比較結果を出力する出力部３００６とを備えている。

さらに他の実施形態による画像処理装置３０００によれば、物体を含む第１の画像の一部を使って、物体の少なくとも所定の領域を含む第２の画像を生成するため、画像の個体差の影響を低減しつつ高い精度で異常を判別することができる。

［変形実施形態］
本発明は、上記実施形態に限らず、種々の変形が可能である。

例えば、上記実施形態では、検査対象品から不良品を検出する検査の場合を例に説明したが、これに限定されるものではない。本発明は、何らかの物体について正常状態であるか異常状態であるかを判定して、物体の異常状態、すなわち正常状態以外の状態を検出する場合に広く適用することができる。本発明は、例えば、建築物等の物体の破損を異常として検出する場合、異常物を検出する場合等にも適用することができる。

また、上述の各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のコンピュータプログラムが記録された記録媒体はもちろん、そのコンピュータプログラム自体も各実施形態に含まれる。

該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む推測画像を生成する生成部と、
前記生成部により生成された前記推測画像と、前記検査画像とを比較する比較部と、
前記比較部による比較結果を出力する出力部と、
を備える画像処理装置。

（付記２）
前記検査画像は、第１の領域と第２の領域とを含み、
前記生成部は、前記検査画像における前記第１の領域の画像を使って、前記第２の領域の前記推測画像を生成し、
前記比較部は、前記検査画像における前記第２の領域の前記画像と、前記生成部により生成された前記第２の領域の前記推測画像とを比較する付記１記載の画像処理装置。

（付記３）
前記生成部は、前記第１の領域の前記画像から前記第２の領域の前記画像を推測するように学習させた学習モデルを用いて前記推測画像を生成する付記２記載の画像処理装置。

（付記４）
前記学習モデルは、前記検査対象の正常な状態を表す画像を用いて学習させたものである付記３記載の画像処理装置。

（付記５）
前記推測画像は、前記少なくとも所定の領域に前記検査対象の正常な状態を表す画像を含む付記１乃至４のいずれかに記載の画像処理装置。

（付記６）
前記比較部による前記比較結果に基づいて、前記検査画像と前記推測画像との異同を判定する判定部を備える付記１乃至５のいずれかに記載の画像処理装置。

（付記７）
前記比較部は、前記検査画像と前記推測画像との差分を計算する付記１乃至６のいずれかに記載の画像処理装置。

（付記８）
検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む推測画像を生成する生成ステップと、
前記生成ステップにより生成された前記推測画像と、前記検査画像とを比較する比較ステップと、
前記比較ステップによる比較結果を出力する出力ステップと、
を備える画像処理方法。

（付記９）
コンピュータに、
検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む推測画像を生成する生成ステップと、
前記生成ステップにより生成された前記推測画像と、前記検査画像とを比較する比較ステップと、
前記比較ステップによる比較結果を出力する出力ステップと、
を実行させるプログラムが記録された記録媒体。

（付記１０）
物体を含む第１の画像の一部を使って、前記物体の少なくとも所定の領域を含む第２の画像を生成する生成部と、
前記生成部により生成された前記第２の画像と、前記第１の画像とを比較する比較部と、
前記比較部による比較結果を出力する出力部と、
を備える画像処理装置。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１７年１０月３１日に出願された日本出願特願２０１７－２１０３６０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０…学習データ保存部
１２…パッチ切り出し部
１４…パッチ処理済みデータ保存部
１６…学習部
１８…学習モデル記憶部
２０…検査データ保存部
２２…正常画像生成部
２４…生成正常データ保存部
２６…不良品検出部
２８…検出結果保存部
３０…検出結果表示部
１００…画像処理装置

Claims (9)

1. 検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む推測画像を生成する生成部と、
   前記生成部により生成された前記推測画像と、前記検査画像とを比較する比較部と、
   前記比較部による比較結果を出力する出力部と、
   を備え、
   前記検査画像は、第１の領域と第２の領域とを含み、
   前記生成部は、前記検査画像における前記第１の領域の画像を使って、前記第２の領域の前記推測画像を生成し、
   前記比較部は、前記検査画像における前記第２の領域の画像と、前記生成部により生成された前記第２の領域の前記推測画像とを比較する画像処理装置。
2. 前記生成部は、前記第１の領域の前記画像から前記第２の領域の前記画像を推測するように学習させた学習モデルを用いて前記推測画像を生成する請求項１記載の画像処理装置。
3. 前記学習モデルは、前記検査対象の正常な状態を表す画像を用いて学習させたものである請求項２記載の画像処理装置。
4. 前記推測画像は、前記少なくとも所定の領域に前記検査対象の正常な状態を表す画像を含む請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記比較部による前記比較結果に基づいて、前記検査画像と前記推測画像との異同を判定する判定部を備える請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記比較部は、前記検査画像と前記推測画像との差分を計算する請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む推測画像を生成する生成ステップと、
   前記生成ステップにより生成された前記推測画像と、前記検査画像とを比較する比較ステップと、
   前記比較ステップによる比較結果を出力する出力ステップと、
   を備え、
   前記検査画像は、第１の領域と第２の領域とを含み、
   前記生成ステップは、前記検査画像における前記第１の領域の画像を使って、前記第２の領域の前記推測画像を生成し、
   前記比較ステップは、前記検査画像における前記第２の領域の画像と、前記生成ステップにより生成された前記第２の領域の前記推測画像とを比較する画像処理方法。
8. コンピュータに、
   検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む推測画像を生成する生成ステップと、
   前記生成ステップにより生成された前記推測画像と、前記検査画像とを比較する比較ステップと、
   前記比較ステップによる比較結果を出力する出力ステップと、
   を実行させ、
   前記検査画像は、第１の領域と第２の領域とを含み、
   前記生成ステップは、前記検査画像における前記第１の領域の画像を使って、前記第２の領域の前記推測画像を生成し、
   前記比較ステップは、前記検査画像における前記第２の領域の画像と、前記生成ステップにより生成された前記第２の領域の前記推測画像とを比較するプログラム。
9. 物体を含む第１の画像の一部を使って、前記物体の少なくとも所定の領域を含む第２の画像を生成する生成部と、
   前記生成部により生成された前記第２の画像と、前記第１の画像とを比較する比較部と、
   前記比較部による比較結果を出力する出力部と、
   を備え、
   前記第１の画像は、第１の領域と第２の領域とを含み、
   前記生成部は、前記第１の画像における前記第１の領域の画像を使って、前記第２の領域の前記第２の画像を生成し、
   前記比較部は、前記第１の画像における前記第２の領域の画像と、前記生成部により生成された前記第２の領域の前記第２の画像とを比較する画像処理装置。

Images