JP6897042B2 - 画像検査装置、画像検査方法および画像検査プログラム - Google Patents

Description

本発明は、画像検査装置、画像検査方法および画像検査プログラムに関する。

計算機の計算速度の向上、ハードディスク等の記憶媒体の記憶容量の増大により、大規模なデータであっても容易に解析されることが多い。大規模データの解析の容易化に伴い、機械学習が使用された画像認識技術が様々な方面で活用されている。機械学習が使用された画像認識技術は、製品に対する不良品検査への適用も試みられている。

特許文献１〜特許文献２には、機械学習が使用された画像認識技術の例が記載されている。特許文献１には、オブジェクト判別を行う際に画像を細かく切断し、切断された画像それぞれにおいて機械学習で判別を行うオブジェクト判別装置が記載されている。

また、特許文献２には、画像を用いて特定の状態を検出する際にニューラルネットワークを使用して特定の状態を検出する画像検出装置が記載されている。

特許第５７４８４７２号公報 特許第４９７８２２７号公報 特許第４６７０７２２号公報

学習型の画像認識技術が使用された不良品検査装置は、良製品が撮影された画像と不良製品が撮影された画像を用いて学習を行う。また、不良品検査装置は、検査対象の製品が撮影された画像を用いて検査を行う。

しかし、検査対象の製品が撮影された画像のサイズに対して、不良個所が表示されている画像のサイズが小さいと、不良品検査装置の認識精度が悪くなるという問題がある。例えば、1000×1000(px)のサイズの画像に対して傷等の不良個所が表示されている画像のサイズが10×10(px)である場合、不良個所が表示されている画像が小さいため、認識精度が悪くなる。

上記の認識精度の悪化の問題を解消するために、検査対象の画像を不良個所が表示されている画像のサイズに分割して学習および検査を行うことが考えられる。しかし、学習型の画像認識技術では、認識対象（すなわち、不良個所）の形自体は記憶されず、複数の画像が重ね合わせられて重み学習が行われる。よって、分割された検査対象の画像から認識対象の一部が検出されたとしても、学習型の画像認識技術が使用された不良品検査装置にとって、検出された一部から認識対象全体の形を認識することは困難である。

また、分割された検査対象の画像に認識対象全体が表示されているとは限らない。よって、検査対象の画像を分割する場合、不良品検査装置には、検査対象の画像全体に渡って認識領域を少しずつずらすことが求められる。すなわち、検査が必ず複数回行われるため、検査処理の高速化が困難である。

非学習型の画像認識技術が使用された検査装置では、上記の検査処理の長時間化の問題は発生しない。しかし、画像認識の対象が細かく分類された上で検査装置に蓄積されていることが、非学習型の画像認識技術が使用された検査装置の使用条件になる。

例えば、認識対象が「傷」のような不定形の物である場合、不定形の物の画像認識に要するデータの蓄積自体が困難である。すなわち、非学習型の画像認識技術が使用された検査装置には、不定形の物の検査に使いづらいという問題がある。

上記の各問題を解消するために、学習型の画像認識技術と非学習型の画像認識技術が組み合わせられた検査装置を使用することも考えられる。しかし、装置の構成が複雑になり、検査装置を使用するコストがかかる等の問題がある。

上述したように、機械学習が使用された画像検査は、処理に時間がかかるという問題がある。特に、工場等で行われているライン生産における製品検査は、高速で実行されることが求められる。ライン生産方式では製品が次々に流れて来るため、製品の移動速度に合わせて検査処理が実行されることが求められるためである。すなわち、ライン生産等に画像検査装置による製品検査が組み込まれる場合、画像検査装置の検査処理の高速化が求められる。

特許文献３には、検査処理が高速化された画像を使用する検査装置（画像処理装置）が記載されている。特許文献３に記載されている検査装置は、処理を並列化することによって検査処理を高速に実行する。

しかし、処理の並列化のために、特許文献３に記載されている検査装置には、多くの画像データを読み込むことが求められる。すなわち、検査装置への負荷が高いという問題や、画像データの読み込みのために容量の大きいバッファを要するという問題がある。

［発明の目的］
そこで、本発明は、上述した課題を解決する、学習型の画像認識技術を用いて検査処理を高速に実行できる画像検査装置、画像検査方法および画像検査プログラムを提供することを目的とする。

本発明による画像検査装置は、検査対象画像上で所定領域を所定距離移動させ移動後の所定領域の画像を第１判定画像として抽出する処理を検査対象画像の所定の第１割合が複数の第１判定画像に含まれるまで繰り返し実行する第１抽出部と、抽出された第１判定画像に検査対象物が表示されている可能性の度合いを判定する判定部と、判定された度合いが所定の条件を満たす第１判定画像を含む検査対象画像内の画像上で所定領域を所定距離より小さい距離移動させ移動後の所定領域の画像を第２判定画像として抽出する処理を第１判定画像を含む検査対象画像内の画像の所定の第２割合が複数の第２判定画像に含まれるまで繰り返し実行する第２抽出部とを備え、第２抽出部は、判定された度合いが所定の条件を満たす第１判定画像内のその度合いに対応する位置に基づいて所定領域を移動させ、判定部は、抽出された第２判定画像に検査対象物が表示されている可能性の度合いを判定することを特徴とする。

本発明による画像検査方法は、検査対象画像上で所定領域を所定距離移動させ移動後の所定領域の画像を第１判定画像として抽出する処理を検査対象画像の所定の第１割合が複数の第１判定画像に含まれるまで繰り返し実行し、抽出された第１判定画像に検査対象物が表示されている可能性の度合いを判定し、判定された度合いが所定の条件を満たす第１判定画像を含む検査対象画像内の画像上で所定領域を所定距離より小さい距離移動させ移動後の所定領域の画像を第２判定画像として抽出する処理を第１判定画像を含む検査対象画像内の画像の所定の第２割合が複数の第２判定画像に含まれるまで繰り返し実行し、判定された度合いが所定の条件を満たす第１判定画像内のその度合いに対応する位置に基づいて所定領域を移動させ、抽出された第２判定画像に検査対象物が表示されている可能性の度合いを判定することを特徴とする。

本発明による画像検査プログラムは、コンピュータに、検査対象画像上で所定領域を所定距離移動させ移動後の所定領域の画像を第１判定画像として抽出する処理を検査対象画像の所定の第１割合が複数の第１判定画像に含まれるまで繰り返し実行する第１抽出処理、抽出された第１判定画像に検査対象物が表示されている可能性の度合いを判定する第１判定処理、判定された度合いが所定の条件を満たす第１判定画像を含む検査対象画像内の画像上で所定領域を所定距離より小さい距離移動させ移動後の所定領域の画像を第２判定画像として抽出する処理を第１判定画像を含む検査対象画像内の画像の所定の第２割合が複数の第２判定画像に含まれるまで繰り返し実行する第２抽出処理、および抽出された第２判定画像に検査対象物が表示されている可能性の度合いを判定する第２判定処理を実行させるための画像検査プログラムであって、第２抽出処理で、判定された度合いが所定の条件を満たす第１判定画像内のその度合いに対応する位置に基づいて所定領域を移動させることを特徴とする。

本発明によれば、学習型の画像認識技術を用いて検査処理を高速に実行できる。

本発明による画像検査装置の第１の実施形態の構成例を示すブロック図である。 第１の実施形態の画像検査装置１０による検査処理の動作を示すフローチャートである。 本発明による画像検査システムの第２の実施形態の構成例を示すブロック図である。 簡易検査の機械学習用の画像の例を示す説明図である。 簡易検査学習用画像の正解ラベルの例を示す説明図である。 詳細検査学習用画像の正解ラベルの例を示す説明図である。 簡易検査用画像抽出部１０８により抽出される簡易検査用画像の例を示す説明図である。 詳細検査用画像抽出部１０９が詳細検査用画像を抽出する範囲の例を示す説明図である。 詳細検査用画像抽出部１０９により抽出される詳細検査用画像の例を示す説明図である。 詳細検査用画像抽出部１０９が詳細検査用画像を抽出する範囲の他の例を示す説明図である。 簡易検査結果の例を示す説明図である。 詳細検査結果の例を示す説明図である。 第２の実施形態の学習部１０６による簡易検査用学習処理の動作を示すフローチャートである。 第２の実施形態の学習部１０６による詳細検査用学習処理の動作を示すフローチャートである。 第２の実施形態の画像検査システム１００による簡易検査処理の動作を示すフローチャートである。 第２の実施形態の画像検査システム１００による詳細検査処理の動作を示すフローチャートである。 第２の実施形態の画像検査システム１００による結果集計処理の動作を示すフローチャートである。

実施形態１．
以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明による画像検査装置の第１の実施形態の構成例を示すブロック図である。本発明による画像検査装置１０は、検査対象画像上で所定領域を所定距離移動させ移動後の所定領域の画像を第１判定画像として抽出する処理を検査対象画像の所定の第１割合が複数の第１判定画像に含まれるまで繰り返し実行する第１抽出部１１（例えば、簡易検査用画像抽出部１０８）と、抽出された第１判定画像に検査対象物が表示されている可能性の度合いを判定する判定部１２（例えば、予測部１１０）と、判定された度合いが所定の条件を満たす第１判定画像を含む検査対象画像内の画像上で所定領域を所定距離より小さい距離移動させ移動後の所定領域の画像を第２判定画像として抽出する処理を第１判定画像を含む検査対象画像内の画像の所定の第２割合が複数の第２判定画像に含まれるまで繰り返し実行する第２抽出部１３（例えば、詳細検査用画像抽出部１０９）とを備え、判定部１２は、抽出された第２判定画像に検査対象物が表示されている可能性の度合いを判定する。

以下、画像検査装置１０による検査処理を説明する。図２は、第１の実施形態の画像検査装置１０による検査処理の動作を示すフローチャートである。

第１抽出部１１に、検査対象画像が入力される。すなわち、第１抽出ループに入る（ステップS11）。

第１抽出部１１は、入力された検査対象画像上で所定領域を所定距離移動させ、移動後の所定領域の画像を第１判定画像として抽出する（ステップS12）。第１抽出部１１は、抽出された第１判定画像に含まれる検査対象画像が所定の第１割合に満たない間、ステップS12の処理を繰り返し実行する。

検査対象画像の所定の第１割合が複数の第１判定画像に含まれた時、第１抽出部１１は、第１抽出ループを抜ける（ステップS13）。

次いで、判定部１２は、抽出された複数の第１判定画像それぞれに対して、検査対象物が表示されている可能性の度合いを判定する（ステップS14）。

次いで、第２抽出部１３に、第１抽出部１１に入力された検査対象画像と、判定された度合いが所定の条件を満たす第１判定画像に関する情報とが入力される。すなわち、第２抽出ループに入る（ステップS15）。

第２抽出部１３は、入力された情報が示す第１判定画像を含む検査対象画像内の画像上で所定領域を所定距離より小さい距離移動させ、移動後の所定領域の画像を第２判定画像として抽出する（ステップS16）。第２抽出部１３は、抽出された第２判定画像に含まれる第１判定画像を含む検査対象画像内の画像が所定の第２割合に満たない間、ステップS16の処理を繰り返し実行する。

第１判定画像を含む検査対象画像内の画像の所定の第２割合が複数の第２判定画像に含まれた時、第２抽出部１３は、第２抽出ループを抜ける（ステップS17）。

次いで、判定部１２は、抽出された複数の第２判定画像それぞれに対して、検査対象物が表示されている可能性の度合いを判定する（ステップS18）。判定した後、画像検査装置１０は、検査処理を終了する。

そのような構成により、画像検査装置は、学習型の画像認識技術を用いて検査処理を高速に実行できる。

また、判定部１２は、学習処理で作成された予測モデルを用いて検査対象物が表示されている可能性の度合いを判定してもよい。

そのような構成により、画像検査装置は、Convolutional neural networkで作成された予測モデルを用いて検査処理を実行できる。

また、画像検査装置１０は、検査対象物が表示されている画像と画像が検査対象物の表示画像であることを示す情報との関係性を表す予測モデルを学習処理で作成する作成部（例えば、学習部１０６）を備えてもよい。

そのような構成により、画像検査装置は、Convolutional neural networkで予測モデルを作成できる。

また、画像が検査対象物の表示画像であることを示す情報には、検査対象物が表示されている画像内の位置を示す情報が含まれ、判定部１２は、予測モデルを用いて第１判定画像内の各位置に検査対象物が表示されている可能性の度合いをそれぞれ判定してもよい。

そのような構成により、画像検査装置は、検査対象物が表示されている画像内の位置の情報を取得できる。

また、第２抽出部１３は、判定された度合いが所定の条件を満たす第１判定画像内の度合いに対応する位置に基づいて所定領域を移動させてもよい。

そのような構成により、画像検査装置は、より高い確率で検査対象物を検出できる。

また、第２抽出部１３は、判定された度合いが所定の条件を満たす第１判定画像に隣接する第１判定画像に関する各位置に検査対象物が表示されている可能性の度合いに基づいて所定領域を移動させる第１判定画像を含む検査対象画像内の画像を決定してもよい。

そのような構成により、画像検査装置は、検査処理をより高速に実行できる。

実施形態２．
［構成の説明］
次に、本発明の第２の実施形態を、図面を参照して説明する。図３は、本発明による画像検査システムの第２の実施形態の構成例を示すブロック図である。

本実施形態の画像検査システム１００は、製品が撮影された画像を用いて製品の不良品検査を行う際、最初は画像全体に対して簡易な検査を行う。簡易な検査の結果、画像検査システム１００は、画像内の異常が存在すると認められる可能性がある部分に対して詳細な検査を行う。すなわち、本実施形態の画像検査システム１００は、２段階の検査を行うことによって検査処理全体を高速化する。

また、本実施形態の画像検査システム１００は、機械学習を使用してＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）を検査する。なお、画像検査システム１００は、ＣＤ以外の製品を検査してもよい。

図３に示すように、画像検査システム１００は、簡易検査学習用画像記憶部１０１と、詳細検査学習用画像記憶部１０２と、検査用画像記憶部１０３と、簡易検査学習用正解ラベル記憶部１０４と、詳細検査学習用正解ラベル記憶部１０５と、学習部１０６と、予測モデル記憶部１０７と、簡易検査用画像抽出部１０８と、詳細検査用画像抽出部１０９と、予測部１１０と、簡易検査結果記憶部１１１と、詳細検査結果記憶部１１２と、結果集計部１１３と、結果通知部１１４とを含む。

簡易検査学習用画像記憶部１０１は、簡易検査の機械学習で使用される画像のデータを保存する。保存されている画像のサイズは、検査用に抽出される画像のサイズである。なお、抽出される画像のサイズの値は、各システムで固定の値である。

簡易検査学習用画像記憶部１０１に保存されている画像には、正常画像と、不良画像の２種類の画像がある。図４は、簡易検査の機械学習用の画像の例を示す説明図である。図４に示す画像は、全て不良画像である。

図４には、９つの不良画像が示されている。例えば、下部に「右上」と記載されている不良画像には、画像内の右上に不良個所が表示されている。同様に、「左上」、「上」、「左」、「中央」、「右」、「左下」、「下」、および「右下」の各不良画像には、名称が示す画像内の各位置に不良個所が表示されている。

図４に示すように、本実施形態の簡易検査学習用画像記憶部１０１には、１つの不良データに対して、指定された位置に不良データに対応する不良個所が表示されている不良画像が９位置分（すなわち、９つ）保存されている。

詳細検査学習用画像記憶部１０２は、詳細検査の機械学習で使用される画像のデータを保存する。詳細検査学習用画像記憶部１０２に保存されている画像には、正常画像と、不良画像の２種類の画像がある。

検査用画像記憶部１０３は、検査用画像のデータを保存する。検査用画像記憶部１０３に保存されている画像は、検査用製品が撮影されたサイズが比較的大きい画像である。

簡易検査学習用正解ラベル記憶部１０４は、簡易検査学習用画像記憶部１０１に保存されている簡易検査学習用画像の正解ラベルを保存する。簡易検査学習用正解ラベル記憶部１０４は、例えば図５に示す形式で正解ラベルを保存する。

図５は、簡易検査学習用画像の正解ラベルの例を示す説明図である。正解ラベルは、「ファイル名」と、「正解」とで構成されている。図５に示すように、例えばファイル名が「A1.png」の正解は「正常」である。すなわち、「A1.png」は、正常画像のファイルである。

また、図５に示すように、例えばファイル名が「A3.png」の正解は「右上」である。すなわち、「A3.png」は、画像内の右上に不良個所が表示されている不良画像のファイルである。他の正解ラベルも同様の意味である。

詳細検査学習用正解ラベル記憶部１０５は、詳細検査学習用画像記憶部１０２に保存されている詳細検査学習用画像の正解ラベルを保存する。詳細検査学習用正解ラベル記憶部１０５は、例えば図６に示す形式で正解ラベルを保存する。

図６は、詳細検査学習用画像の正解ラベルの例を示す説明図である。正解ラベルは、「ファイル名」と、「正解」とで構成されている。図６に示すように、例えばファイル名が「B1.png」の正解は「正常」である。すなわち、「B1.png」は、正常画像のファイルである。

また、図６に示すように、例えばファイル名が「B5.png」の正解は「不良」である。すなわち、「B5.png」は、不良画像のファイルである。他の正解ラベルも同様の意味である。

学習部１０６は、学習用画像と学習用画像の正解ラベルとの関係性を学習することによって予測モデルを作成する。学習部１０６は、簡易検査学習用画像記憶部１０１から簡易検査学習用画像を、および簡易検査学習用正解ラベル記憶部１０４から対応する簡易検査学習用画像の正解ラベルを取り出す。次いで、学習部１０６は、取り出されたデータを用いて簡易検査用予測モデルを作成する。

また、学習部１０６は、詳細検査学習用画像記憶部１０２から詳細検査学習用画像を、および詳細検査学習用正解ラベル記憶部１０５から対応する詳細検査学習用画像の正解ラベルを取り出す。次いで、学習部１０６は、取り出されたデータを用いて詳細検査用予測モデルを作成する。

作成される予測モデルは、画像と正解ラベルとの関係性を表すモデルである。学習部１０６は、予測モデルを作成する手法として、例えばConvolutional neural network（以下、CNNという。）を使用する。なお、学習部１０６は、CNN以外の予測モデルを作成する手法を使用してもよい。

学習部１０６は、作成された予測モデルを予測モデル記憶部１０７に追加する。予測モデル記憶部１０７は、学習部１０６で作成された予測モデルを保存する。

簡易検査用画像抽出部１０８は、検査用画像記憶部１０３から検査用画像を取り出し、取り出された検査用画像から簡易検査用画像を抽出する。簡易検査用画像抽出部１０８は、検査用画像に抽出対象領域を設定し、抽出対象領域の画像を簡易検査用画像として抽出する。

簡易検査用画像を１つ抽出した後、簡易検査用画像抽出部１０８は、抽出対象領域を移動させて、他の簡易検査用画像を再度抽出する。簡易検査用画像抽出部１０８は、抽出された簡易検査用画像を予測部１１０に渡す。

図７は、簡易検査用画像抽出部１０８により抽出される簡易検査用画像の例を示す説明図である。図７には、検査対象の製品が撮影された検査用画像が示されている。また、図７に示す検査対象の製品には、不良個所が存在する。また、図７に示す検査用画像内の破線で区切られた１６個の各画像が、簡易検査用画像に相当する。

また、図７に示すx軸とy軸は、抽出対象領域が設定される位置を表すために使用される。簡易検査用画像抽出部１０８は、抽出された簡易検査用画像のファイル名と抽出された簡易検査用画像の元の検査用画像における位置を示す情報とを対応付けて簡易検査結果記憶部１１１に追加する。

なお、簡易検査用画像抽出部１０８は、図７に示すように検査用画像が全て簡易検査用画像に含まれるように簡易検査用画像を抽出してもよい。また、簡易検査用画像抽出部１０８は、検査用画像の所定の割合が簡易検査用画像に含まれるように簡易検査用画像を抽出してもよい。例えば、検査用画像にマージン等の空白領域が含まれている場合、簡易検査用画像抽出部１０８は、空白領域が除かれた画像が全て簡易検査用画像に含まれるように簡易検査用画像を抽出してもよい。

詳細検査用画像抽出部１０９は、簡易検査結果記憶部１１１から簡易検査結果を取り出し、元の検査用画像において不良個所が存在する可能性がある場所を特定する。次いで、詳細検査用画像抽出部１０９は、検査用画像記憶部１０３から検査用画像を取り出し、不良個所が存在する可能性があると特定された場所から詳細検査用画像を抽出する。

詳細検査用画像抽出部１０９は、特定された場所に抽出対象領域を設定し、抽出対象領域の画像を詳細検査用画像として抽出する。詳細検査用画像を１つ抽出した後、詳細検査用画像抽出部１０９は、抽出対象領域を不良個所が存在すると予想されている方向に移動させて、他の詳細検査用画像を再度抽出する。なお、詳細検査用画像抽出部１０９が抽出対象領域を移動させる幅は、簡易検査用画像抽出部１０８が抽出対象領域を移動させる幅よりも小さい。

図８は、詳細検査用画像抽出部１０９が詳細検査用画像を抽出する範囲の例を示す説明図である。図８に示すように、二重線で囲まれた領域が簡易検査用画像に、網掛けで示された領域が詳細検査時の検査範囲にそれぞれ相当する。

例えば、簡易検査により正解ラベル「右上」の判定スコアが最も高かった簡易検査用画像に対して、詳細検査用画像抽出部１０９は、簡易検査用画像の上部、右上部、右部を詳細検査時の検査範囲に含める。

同様に、詳細検査用画像抽出部１０９は、正解ラベル「上」の判定スコアが最も高かった簡易検査用画像の上部を、正解ラベル「左」の判定スコアが最も高かった簡易検査用画像の左部を、それぞれ詳細検査時の検査範囲に含める。

また、詳細検査用画像抽出部１０９は、正解ラベル「右」の判定スコアが最も高かった簡易検査用画像の右部を、正解ラベル「下」の判定スコアが最も高かった簡易検査用画像の下部を、それぞれ詳細検査時の検査範囲に含める。

また、詳細検査用画像抽出部１０９は、正解ラベル「左上」の判定スコアが最も高かった簡易検査用画像の左上部、上部、左部を、正解ラベル「左下」の判定スコアが最も高かった簡易検査用画像の左部、左下部、下部を、それぞれ詳細検査時の検査範囲に含める。

また、詳細検査用画像抽出部１０９は、正解ラベル「右下」の判定スコアが最も高かった簡易検査用画像の右部、下部、右下部を、正解ラベル「中央」の判定スコアが最も高かった簡易検査用画像の左上部、上部、右上部、左部、右部、左下部、下部、右下部を、それぞれ詳細検査時の検査範囲に含める。

図７に示す例における上から２番目、左から１番目に位置する簡易検査用画像に対する簡易検査では、判定スコアが最も高い正解ラベルは「右」であるという結果が得られる。

図９は、詳細検査用画像抽出部１０９により抽出される詳細検査用画像の例を示す説明図である。図９に示すx軸とy軸は、抽出対象領域が設定される位置を表すために使用される。

判定スコアが最も高い正解ラベルが「右」であるという簡易検査結果に基づいて、詳細検査用画像抽出部１０９は、図９に示すように抽出対象領域を右方向に少しずつ移動させる。詳細検査用画像抽出部１０９は、１回移動させるごとに抽出対象領域の画像を詳細検査用画像として抽出する。

上記の方法で抽出された詳細検査用画像に対する不良判定スコアのうち、図９に示すような不良個所が完全に表示された詳細検査用画像に対する不良判定スコアが最も高くなる。詳細検査用画像抽出部１０９は、抽出された詳細検査用画像を予測部１１０に渡す。

また、詳細検査用画像抽出部１０９は、抽出された詳細検査用画像のファイル名と抽出された詳細検査用画像の元の検査用画像における位置を示す情報とを対応付けて詳細検査結果記憶部１１２に追加する。

なお、詳細検査用画像抽出部１０９は、図９に示すように詳細検査時の検査範囲の画像が全て詳細検査用画像に含まれるように詳細検査用画像を抽出してもよい。また、詳細検査用画像抽出部１０９は、詳細検査時の検査範囲の画像の所定の割合が詳細検査用画像に含まれるように詳細検査用画像を抽出してもよい。例えば、詳細検査時の検査範囲の画像にマージン等の空白領域が含まれている場合、詳細検査用画像抽出部１０９は、空白領域が除かれた画像が全て詳細検査用画像に含まれるように詳細検査用画像を抽出してもよい。

なお、詳細検査用画像抽出部１０９は、以下に示す方法で詳細検査用画像を抽出してもよい。図１０は、詳細検査用画像抽出部１０９が詳細検査用画像を抽出する範囲の他の例を示す説明図である。図１０に示す二重線で囲まれた領域が、現在処理中の簡易検査用画像に相当する。

詳細検査用画像を抽出する際、詳細検査用画像抽出部１０９は、スコアの判定元の簡易検査用画像に隣接する簡易検査用画像の判定スコアが最も高かった正解ラベルを確認する。隣接する簡易検査用画像は、例えば図１０に示す詳細検査用画像が抽出される当初の範囲内に存在する簡易検査用画像である。

隣接する簡易検査用画像の判定スコアが最も高かった正解ラベルが示す位置が、現在処理中の簡易検査用画像の判定スコアが最も高かった正解ラベルが示す位置と丁度反対であれば、簡易検査用画像間に不良個所が存在する可能性が高い。よって、詳細検査用画像抽出部１０９は、抽出範囲を簡易検査用画像間に絞って詳細検査用画像を抽出する。

図１０に示す例では、現在処理中の簡易検査用画像の判定スコアが最も高かった正解ラベルは「左上」である。また、現在処理中の簡易検査用画像の左上の簡易検査用画像、上の簡易検査用画像、および左の簡易検査用画像の判定スコアが最も高かった各正解ラベルは、それぞれ「右下」、「正常」、「正常」である。

よって、詳細検査用画像抽出部１０９は、現在処理中の簡易検査用画像と、左上の簡易検査用画像との間に不良個所が存在する可能性が高いと判断し、両画像間の範囲のみを詳細検査時の検査範囲に設定する。

従って、図１０に示すように、網掛けで示された領域が詳細検査時の検査範囲に設定される。上記の方法が使用された場合、詳細検査用画像の抽出範囲がさらに限定されるため、詳細検査処理がより高速に実行される。

予測部１１０は、予測モデルを用いて検査用画像を判定する。予測部１１０は、予測モデル記憶部１０７から保存されている予測モデルを取り出す。また、予測部１１０には、簡易検査用画像抽出部１０８から簡易検査用画像が、および詳細検査用画像抽出部１０９から詳細検査用画像がそれぞれ入力される。

予測部１１０は、入力された判定用の画像に対する判定スコアを作成する。予測部１１０は、例えば判定処理にCNNを使用する。予測部１１０は、作成された判定スコアを簡易検査結果記憶部１１１、および詳細検査結果記憶部１１２に保存する。

簡易検査結果記憶部１１１は、簡易検査用画像の各正解ラベルに対する判定スコアを記憶する。簡易検査結果記憶部１１１は、例えば図１１に示す形式で判定スコアを保存する。図１１は、簡易検査結果の例を示す説明図である。

図１１に示すように、簡易検査結果は、「元ファイル名」と、「簡易検査用画像ファイル名」と、「x座標」と、「y座標」と、各正解ラベルに対する判定スコアとで構成されている。

「元ファイル名」は、検査用画像記憶部１０３に記憶されている元の検査用画像のファイル名である。「簡易検査用画像ファイル名」は、簡易検査用画像抽出部１０８により抽出された簡易検査用画像のファイル名である。「x座標」、および「y座標」は、簡易検査用画像の元の検査用画像における位置を示す所定の基準で定められた座標値である。

各正解ラベルに対する判定スコアには、判定結果に応じて０から１の間のいずれかの値が格納される。各正解ラベルに対応する簡易検査学習用画像に簡易検査用画像が類似しているほど、判定スコアには１に近い値が格納される。また、各正解ラベルに対応する簡易検査学習用画像と簡易検査用画像が非類似であるほど、判定スコアには０に近い値が格納される。

例えば、図１１に示す上から２つ目の簡易検査結果の正解ラベル「スコア正常」には、「0.0」が格納されている。すなわち、簡易検査用画像「1_000_100.png」は、正常画像に全く類似していない。また、正解ラベル「スコア右上」には、「0.9」が格納されている。すなわち、簡易検査用画像「1_000_100.png」は、右上に不良個所が表示されている不良画像に高い確率で類似している。

詳細検査結果記憶部１１２は、詳細検査用画像の良不良判定結果を記憶する。詳細検査結果記憶部１１２は、例えば図１２に示す形式で判定結果を保存する。図１２は、詳細検査結果の例を示す説明図である。

図１２に示すように、詳細検査結果は、「元ファイル名」と、「詳細検査用画像ファイル名」と、「x座標」と、「y座標」と、「スコア」とで構成されている。

「元ファイル名」は、検査用画像記憶部１０３に記憶されている元の検査用画像のファイル名である。「詳細検査用画像ファイル名」は、詳細検査用画像抽出部１０９により抽出された詳細検査用画像のファイル名である。「x座標」、および「y座標」は、詳細検査用画像の元の検査用画像における位置を示す所定の基準で定められた座標値である。

「スコア」には、判定結果に応じて０から１の間のいずれかの値が格納される。詳細検査学習用画像である不良画像に詳細検査用画像が類似しているほど、スコアには１に近い値が格納される。また、詳細検査学習用画像である正常画像に詳細検査用画像が類似しているほど、スコアには０に近い値が格納される。

例えば、図１２に示す上から２つ目の詳細検査結果のスコアには、「0.0」が格納されている。すなわち、詳細検査用画像「1_000_010.png」は、正常画像に一致している。また、上から４つ目の詳細検査結果のスコアには、「0.3」が格納されている。すなわち、詳細検査用画像「1_010_000.png」は、不良画像に比較的類似している。

結果集計部１１３は、詳細検査結果記憶部１１２から詳細検査結果に含まれる判定結果を取り出す。結果集計部１１３は、各詳細検査用画像の判定されたスコアを用いて、検査用画像全体に対する良不良判定を行う。結果集計部１１３は、良不良判定の結果を結果通知部１１４に渡す。

結果通知部１１４は、結果集計部１１３から受け取った良不良判定の結果を利用者に通知する。結果通知部１１４は、例えば良不良判定の結果を画面に表示する。

本実施形態の画像検査システム１００は、画像を用いて不良品検査を行う際、検査用画像から画像を抽出し、抽出された画像それぞれに対して良不良判定を行う検査システムである。

画像検査システム１００は、画像を抽出する際に最初は抽出対象領域を比較的大きく移動させて検査を行う。検査を行う際、画像検査システム１００は、不良個所が抽出画像内のどの位置に存在するかを判別する。

検査により不良個所が存在する可能性のある場所が判明した後、画像検査システム１００は、判明された場所において抽出対象領域を比較的小さく移動させて検査を行う。検査を行う際、画像検査システム１００は、不良個所が存在する位置に基づいて検査を行う。以上により、判定対象の画像が少なくなるため、画像検査システム１００は、検査処理を高速化できる。

［動作の説明］
以下、本実施形態の画像検査システム１００の動作を図１３〜図１７を参照して説明する。本実施形態の画像検査システム１００は、画像検査を行う際、学習処理、および検査処理の２つの処理を実行する。

以下、画像検査システム１００による学習処理の動作を説明する。学習処理は、簡易検査用学習処理と、詳細検査用学習処理の２つの処理で構成される。最初に、簡易検査用学習処理を図１３を参照して説明する。図１３は、第２の実施形態の学習部１０６による簡易検査用学習処理の動作を示すフローチャートである。

学習部１０６は、簡易検査学習用画像記憶部１０１から簡易検査学習用画像のデータを読み込む（ステップS101）。次いで、学習部１０６は、簡易検査学習用正解ラベル記憶部１０４から簡易検査学習用正解ラベルを読み込む（ステップS102）。

次いで、学習部１０６は、読み込まれた簡易検査学習用画像と、簡易検査学習用正解ラベルとの関係性を学習することによって簡易検査用予測モデルを作成する（ステップS103）。次いで、学習部１０６は、作成された簡易検査用予測モデルを予測モデル記憶部１０７に保存する（ステップS104）。保存した後、学習部１０６は、簡易検査用学習処理を終了する。

次に、詳細検査用学習処理を図１４を参照して説明する。図１４は、第２の実施形態の学習部１０６による詳細検査用学習処理の動作を示すフローチャートである。

学習部１０６は、詳細検査学習用画像記憶部１０２から詳細検査学習用画像のデータを読み込む（ステップS111）。次いで、学習部１０６は、詳細検査学習用正解ラベル記憶部１０５から詳細検査学習用正解ラベルを読み込む（ステップS112）。

次いで、学習部１０６は、読み込まれた詳細検査学習用画像と、詳細検査学習用正解ラベルとの関係性を学習することによって詳細検査用予測モデルを作成する（ステップS113）。次いで、学習部１０６は、作成された詳細検査用予測モデルを予測モデル記憶部１０７に保存する（ステップS114）。保存した後、学習部１０６は、詳細検査用学習処理を終了する。

以下、画像検査システム１００による検査処理の動作を説明する。検査処理は、簡易検査処理と、詳細検査処理と、結果集計処理の３つの処理で構成される。最初に、簡易検査処理を図１５を参照して説明する。図１５は、第２の実施形態の画像検査システム１００による簡易検査処理の動作を示すフローチャートである。

簡易検査用画像抽出部１０８は、検査用画像記憶部１０３から検査用画像のデータを読み込む（ステップS201）。

次いで、簡易検査用画像抽出部１０８は、読み込まれた検査用画像におけるx座標に所定値を加算する（ステップS202）。すなわち、x座標加算ループに入る。なお、x座標の初期値は０である。また、x座標に加算される所定値は、抽出される簡易検査用画像の幅に一致する。

次いで、簡易検査用画像抽出部１０８は、読み込まれた検査用画像におけるy座標に所定値を加算する（ステップS203）。すなわち、y座標加算ループに入る。なお、y座標の初期値は０である。また、y座標に加算される所定値は、抽出される簡易検査用画像の高さに一致する。

次いで、簡易検査用画像抽出部１０８は、算出された座標(x,y)に基づいて、ステップS202で加算された所定値が幅、ステップS203で加算された所定値が高さの簡易検査用画像を検査用画像から抽出する（ステップS204）。

次いで、簡易検査用画像抽出部１０８は、ステップS204で抽出された簡易検査用画像に関する情報を簡易検査結果記憶部１１１に保存する（ステップS205）。簡易検査用画像に関する情報は、ステップS201で読み込まれた検査用画像のファイル名、ステップS204で抽出された簡易検査用画像のファイル名、ステップS202で算出されたx座標、およびステップS203で算出されたy座標である。

次いで、予測部１１０は、予測モデル記憶部１０７に記憶されている簡易検査用予測モデルを使用して、抽出された簡易検査用画像の良不良判定を行う。また、予測部１１０は、簡易検査用画像に傷が表示されている場合、傷の位置判定を行う。すなわち、予測部１１０は、簡易検査用画像が各正解ラベルに対応する簡易検査学習用画像にどの程度類似しているかをそれぞれ判定する（ステップS206）。

次いで、予測部１１０は、ステップS206で得られた判定スコアを簡易検査結果記憶部１１１に保存する（ステップS207）。各判定スコアは、ステップS205で保存された簡易検査用画像に関する情報を含む簡易検査結果にそれぞれ格納される。

簡易検査用画像抽出部１０８、および予測部１１０は、算出されるy座標が検査用画像の高さ未満の間、ステップS204〜ステップS207の処理を繰り返し実行する。ステップS204〜ステップS207の処理は簡易検査用画像ごとに、検査用画像の高さに含まれる簡易検査用画像の高さの数だけ繰り返し実行される。

算出されたy座標が検査用画像の高さ以上の時、簡易検査用画像抽出部１０８は、y座標加算ループを抜ける（ステップS208）。y座標加算ループを抜けた後、簡易検査用画像抽出部１０８は、ステップS209の処理を行う。

簡易検査用画像抽出部１０８、および予測部１１０は、算出されるx座標が検査用画像の幅未満の間、ステップS203〜ステップS208の処理を繰り返し実行する。ステップS203〜ステップS208の処理は簡易検査用画像ごとに、検査用画像の幅に含まれる簡易検査用画像の幅の数だけ繰り返し実行される。

算出されたx座標が検査用画像の幅以上の時、簡易検査用画像抽出部１０８は、x座標加算ループを抜ける（ステップS209）。x座標加算ループを抜けた後、画像検査システム１００は、簡易検査処理を終了する。簡易検査処理を終了した後、画像検査システム１００は、詳細検査処理を行う。

次に、詳細検査処理を図１６を参照して説明する。図１６は、第２の実施形態の画像検査システム１００による詳細検査処理の動作を示すフローチャートである。

詳細検査用画像抽出部１０９は、検査用画像記憶部１０３から検査用画像のデータを読み込む（ステップS301）。次いで、詳細検査用画像抽出部１０９は、読み込まれた検査用画像に関する簡易検査結果を簡易検査結果記憶部１１１から読み込む（ステップS302）。

次いで、詳細検査用画像抽出部１０９は、読み込まれた簡易検査結果に含まれる検査結果情報を１件ずつ読み込む。すなわち、詳細検査ループに入る（ステップS303）。なお、読み込まれる検査結果情報は、検査用画像から抽出された１つの簡易検査用画像に対する簡易検査結果の情報である。

次いで、詳細検査用画像抽出部１０９は、読み込まれた検査結果情報に含まれる「スコア正常」の判定スコアが所定値以下であるか否かを確認する（ステップS304）。例えば、不良個所が存在する可能性が少しでもある画像が詳細検査の対象になる場合、所定値は、可能な限り小さい値に設定される。

「スコア正常」の判定スコアが所定値よりも大きい場合（ステップS304におけるNo）、詳細検査用画像抽出部１０９は、ステップS309に処理を進める。

「スコア正常」の判定スコアが所定値以下の場合（ステップS304におけるYes）、詳細検査用画像抽出部１０９は、検査結果情報に含まれる「スコア正常」以外の正解ラベルの中で、判定スコアが最も高い正解ラベルを取得する。

次いで、詳細検査用画像抽出部１０９は、取得された正解ラベルが示す位置に基づいて詳細検査用画像を抽出する（ステップS305）。抽出される詳細検査用画像は、例えば図８に示す詳細検査時の検査範囲内で少しずつずらされた抽出対象領域の画像である。

次いで、詳細検査用画像抽出部１０９は、ステップS305で抽出された全ての詳細検査用画像に関する情報を詳細検査結果記憶部１１２に保存する（ステップS306）。詳細検査用画像に関する情報は、ステップS301で読み込まれた検査用画像のファイル名、ステップS305で抽出された詳細検査用画像のファイル名、および抽出された詳細検査用画像の位置を示す座標(x,y)である。

次いで、予測部１１０は、予測モデル記憶部１０７に記憶されている詳細検査用予測モデルを使用して、抽出された全ての詳細検査用画像に対して良不良判定を行う（ステップS307）。

次いで、予測部１１０は、ステップS307で得られた判定スコアを詳細検査結果記憶部１１２に保存する（ステップS308）。各判定スコアは、ステップS306で保存された詳細検査用画像に関する情報を含む詳細検査結果にそれぞれ格納される。

詳細検査用画像抽出部１０９、および予測部１１０は、読み込まれた簡易検査結果に未だ処理されていない検査結果情報が含まれる間、ステップS304〜ステップS308の処理を繰り返し実行する。ステップS304〜ステップS308の処理は検査結果情報ごとに、簡易検査結果に含まれる検査結果情報の数だけ繰り返し実行される。

簡易検査結果に含まれる検査結果情報が全て処理された時、詳細検査用画像抽出部１０９は、詳細検査ループを抜ける（ステップS309）。詳細検査ループを抜けた後、画像検査システム１００は、詳細検査処理を終了する。詳細検査処理を終了した後、画像検査システム１００は、結果集計処理を行う。

次に、結果集計処理を図１７を参照して説明する。図１７は、第２の実施形態の画像検査システム１００による結果集計処理の動作を示すフローチャートである。

結果集計部１１３は、詳細検査結果記憶部１１２から１つの検査用画像に関する詳細検査結果を読み込む（ステップS401）。

次いで、結果集計部１１３は、読み込まれた詳細検査結果に含まれる検査結果情報を１件ずつ読み込む。すなわち、集計ループに入る（ステップS402）。なお、読み込まれる検査結果情報は、検査用画像から抽出された１つの詳細検査用画像に対する詳細検査結果の情報である。

次いで、結果集計部１１３は、読み込まれた検査結果情報に含まれる判定スコアが所定値以上であるか否かを確認する（ステップS403）。例えば、確実に「不良」と判断される製品が撮影された画像が選び出される場合、所定値は、可能な限り大きい値に設定される。

判定スコアが所定値よりも小さい場合（ステップS403におけるNo）、結果集計部１１３は、ステップS405に処理を進める。

判定スコアが所定値以上である場合（ステップS403におけるYes）、結果集計部１１３は、検査結果情報に含まれる詳細検査用画像の位置を示すx座標およびy座標を一時記憶装置（図示せず）に保存する（ステップS404）。

結果集計部１１３は、読み込まれた詳細検査結果に未だ処理されていない検査結果情報が含まれる間、ステップS403〜ステップS404の処理を繰り返し実行する。ステップS403〜ステップS404の処理は検査結果情報ごとに、詳細検査結果に含まれる検査結果情報の数だけ繰り返し実行される。

詳細検査結果に含まれる検査結果情報が全て処理された時、結果集計部１１３は、集計ループを抜ける（ステップS405）。集計ループを抜けた後、結果集計部１１３は、不良判定スコアが所定値以上の詳細検査用画像の位置を示すx座標およびy座標の一覧を結果通知部１１４に通知する（ステップS406）。座標値の一覧を通知した後、画像検査システム１００は、結果集計処理を終了する。

［効果の説明］
本実施形態の画像検査システム１００は、画像に対する不良品検査を行う際、最初は抽出対象領域の移動幅を比較的大きくして画像を抽出し、検査を行う。検査の結果、不良個所が存在する可能性がある場所が判明した場合、画像検査システム１００は、不良個所が存在すると考えられる位置に基づいて抽出対象領域の移動幅を比較的小さくして画像を抽出し、検査を行う。よって、検査対象の画像が少なくなるため、小さな画像を抽出し、抽出された各画像に対して良不良判定を行う検査方式が使用される場合であっても、不良品検査が高速で実行される。

本実施形態の画像検査システム１００の学習部１０６は、学習対象の画像を、画像に表示されている不良個所の位置も含めて事前に学習する。また、本実施形態では、画像検査が簡易検査と詳細検査の２段階で実行される。

簡易検査では、簡易検査用画像抽出部１０８が抽出対象領域の移動幅を比較的大きくして、簡易検査用画像を抽出する。次いで、予測部１１０が各簡易検査用画像に対して検査を行う。検査の際に予測部１１０は、各簡易検査用画像に不良個所が存在する可能性があるか否かを判別する。また、不良個所が存在する場合、予測部１１０は、簡易検査用画像内のどの位置に不良個所が存在するかを判別する。

詳細検査では、詳細検査用画像抽出部１０９が簡易検査で判別された不良個所が存在する可能性がある簡易検査用画像の周辺から、不良個所が存在する位置に基づいて詳細検査用画像を抽出する。詳細検査用画像抽出部１０９は、不良個所が存在する位置に基づいて少しずつ抽出対象領域を移動させながら詳細検査用画像を抽出する。次いで、予測部１１０は、各詳細検査用画像に対して検査を行う。

抽出対象領域を少しずつずらしながら判別や検出を行う技術は、特許文献１〜特許文献２に記載されている。しかし、特許文献１〜特許文献２に記載されている技術と異なり、本実施形態では抽出対象領域の移動量が２段階で変更されることによって、検査処理が高速に実行される。

また、特許文献３に記載されている技術と異なり、本実施形態では詳細検査で読み込まれる画像のデータ量が削減されることによって検査処理が高速に実行される。従って、本実施形態の画像検査システム１００は、学習型の画像認識技術のみを用いて検査処理を高速に実行できる。

なお、各実施形態の画像検査装置１０、および画像検査システム１００は、例えば、記憶媒体に格納されているプログラムに従って処理を実行するCPU(Central Processing Unit)によって実現される。すなわち第１抽出部１１、判定部１２、第２抽出部１３、学習部１０６、簡易検査用画像抽出部１０８、詳細検査用画像抽出部１０９、予測部１１０、結果集計部１１３、および結果通知部１１４は、例えば、プログラム制御に従って処理を実行するCPUによって実現される。

また、簡易検査学習用画像記憶部１０１、詳細検査学習用画像記憶部１０２、検査用画像記憶部１０３、簡易検査学習用正解ラベル記憶部１０４、詳細検査学習用正解ラベル記憶部１０５、予測モデル記憶部１０７、簡易検査結果記憶部１１１、および詳細検査結果記憶部１１２は、例えばRAM(Random Access Memory)で実現される。

また、本実施形態の画像検査装置１０および画像検査システム１００における各部は、ハードウェア回路によって実現されてもよい。一例として、第１抽出部１１、判定部１２、第２抽出部１３、簡易検査学習用画像記憶部１０１、詳細検査学習用画像記憶部１０２、検査用画像記憶部１０３、簡易検査学習用正解ラベル記憶部１０４、詳細検査学習用正解ラベル記憶部１０５、学習部１０６、予測モデル記憶部１０７、簡易検査用画像抽出部１０８、詳細検査用画像抽出部１０９、予測部１１０、簡易検査結果記憶部１１１、詳細検査結果記憶部１１２、結果集計部１１３、および結果通知部１１４が、それぞれLSI(Large Scale Integration)で実現される。また、それらが１つのLSIで実現されていてもよい。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。

（付記１）検査対象画像上で所定領域を所定距離移動させ移動後の所定領域の画像を第１判定画像として抽出する処理を前記検査対象画像の所定の第１割合が複数の第１判定画像に含まれるまで繰り返し実行する第１抽出部と、抽出された第１判定画像に検査対象物が表示されている可能性の度合いを判定する判定部と、判定された度合いが所定の条件を満たす第１判定画像を含む前記検査対象画像内の画像上で所定領域を前記所定距離より小さい距離移動させ移動後の所定領域の画像を第２判定画像として抽出する処理を第１判定画像を含む前記検査対象画像内の画像の所定の第２割合が複数の第２判定画像に含まれるまで繰り返し実行する第２抽出部とを備え、前記判定部は、抽出された第２判定画像に前記検査対象物が表示されている可能性の度合いを判定することを特徴とする画像検査装置。

（付記２）判定部は、学習処理で作成された予測モデルを用いて検査対象物が表示されている可能性の度合いを判定する付記１記載の画像検査装置。

（付記３）検査対象物が表示されている画像と前記画像が前記検査対象物の表示画像であることを示す情報との関係性を表す予測モデルを学習処理で作成する作成部を備える付記２記載の画像検査装置。

（付記４）画像が検査対象物の表示画像であることを示す情報には、前記検査対象物が表示されている画像内の位置を示す情報が含まれ、判定部は、予測モデルを用いて第１判定画像内の各位置に前記検査対象物が表示されている可能性の度合いをそれぞれ判定する付記３記載の画像検査装置。

（付記５）第２抽出部は、判定された度合いが所定の条件を満たす第１判定画像内の前記度合いに対応する位置に基づいて所定領域を移動させる付記４記載の画像検査装置。

（付記６）第２抽出部は、判定された度合いが所定の条件を満たす第１判定画像に隣接する第１判定画像に関する各位置に検査対象物が表示されている可能性の度合いに基づいて所定領域を移動させる第１判定画像を含む検査対象画像内の画像を決定する付記５記載の画像検査装置。

（付記７）検査対象画像上で所定領域を所定距離移動させ移動後の所定領域の画像を第１判定画像として抽出する処理を前記検査対象画像の所定の第１割合が複数の第１判定画像に含まれるまで繰り返し実行し、抽出された第１判定画像に検査対象物が表示されている可能性の度合いを判定し、判定された度合いが所定の条件を満たす第１判定画像を含む前記検査対象画像内の画像上で所定領域を前記所定距離より小さい距離移動させ移動後の所定領域の画像を第２判定画像として抽出する処理を第１判定画像を含む前記検査対象画像内の画像の所定の第２割合が複数の第２判定画像に含まれるまで繰り返し実行し、抽出された第２判定画像に前記検査対象物が表示されている可能性の度合いを判定することを特徴とする画像検査方法。

（付記８）学習処理で作成された予測モデルを用いて検査対象物が表示されている可能性の度合いを判定する付記７記載の画像検査方法。

（付記９）コンピュータに、検査対象画像上で所定領域を所定距離移動させ移動後の所定領域の画像を第１判定画像として抽出する処理を前記検査対象画像の所定の第１割合が複数の第１判定画像に含まれるまで繰り返し実行する第１抽出処理、抽出された第１判定画像に検査対象物が表示されている可能性の度合いを判定する第１判定処理、判定された度合いが所定の条件を満たす第１判定画像を含む前記検査対象画像内の画像上で所定領域を前記所定距離より小さい距離移動させ移動後の所定領域の画像を第２判定画像として抽出する処理を第１判定画像を含む前記検査対象画像内の画像の所定の第２割合が複数の第２判定画像に含まれるまで繰り返し実行する第２抽出処理、および抽出された第２判定画像に前記検査対象物が表示されている可能性の度合いを判定する第２判定処理を実行させるための画像検査プログラム。

（付記１０）コンピュータに、学習処理で作成された予測モデルを用いて検査対象物が表示されている可能性の度合いを判定する判定処理を実行させる付記９記載の画像検査プログラム。

本発明は、工場においてライン生産方式で生産される商品の不良品検査を高速に行う際に好適に適用される。

１０ 画像検査装置
１１ 第１抽出部
１２ 判定部
１３ 第２抽出部
１００ 画像検査システム
１０１ 簡易検査学習用画像記憶部
１０２ 詳細検査学習用画像記憶部
１０３ 検査用画像記憶部
１０４ 簡易検査学習用正解ラベル記憶部
１０５ 詳細検査学習用正解ラベル記憶部
１０６ 学習部
１０７ 予測モデル記憶部
１０８ 簡易検査用画像抽出部
１０９ 詳細検査用画像抽出部
１１０ 予測部
１１１ 簡易検査結果記憶部
１１２ 詳細検査結果記憶部
１１３ 結果集計部
１１４ 結果通知部

Claims (9)

1. 検査対象画像上で所定領域を所定距離移動させ移動後の所定領域の画像を第１判定画像として抽出する処理を前記検査対象画像の所定の第１割合が複数の第１判定画像に含まれるまで繰り返し実行する第１抽出部と、
   抽出された第１判定画像に検査対象物が表示されている可能性の度合いを判定する判定部と、
   判定された度合いが所定の条件を満たす第１判定画像を含む前記検査対象画像内の画像上で所定領域を前記所定距離より小さい距離移動させ移動後の所定領域の画像を第２判定画像として抽出する処理を第１判定画像を含む前記検査対象画像内の画像の所定の第２割合が複数の第２判定画像に含まれるまで繰り返し実行する第２抽出部とを備え、
   前記第２抽出部は、判定された度合いが前記所定の条件を満たす第１判定画像内の当該度合いに対応する位置に基づいて所定領域を移動させ、
   前記判定部は、抽出された第２判定画像に前記検査対象物が表示されている可能性の度合いを判定する
   ことを特徴とする画像検査装置。
2. 判定部は、学習処理で作成された予測モデルを用いて検査対象物が表示されている可能性の度合いを判定する
   請求項１記載の画像検査装置。
3. 検査対象物が表示されている画像と前記画像が前記検査対象物の表示画像であることを示す情報との関係性を表す予測モデルを学習処理で作成する作成部を備える
   請求項２記載の画像検査装置。
4. 画像が検査対象物の表示画像であることを示す情報には、前記検査対象物が表示されている画像内の位置を示す情報が含まれ、
   判定部は、予測モデルを用いて第１判定画像内の各位置に前記検査対象物が表示されている可能性の度合いをそれぞれ判定する
   請求項３記載の画像検査装置。
5. 第２抽出部は、判定された度合いが所定の条件を満たす第１判定画像に隣接する第１判定画像に関する各位置に検査対象物が表示されている可能性の度合いに基づいて所定領域を移動させる第１判定画像を含む検査対象画像内の画像を決定する
   請求項１記載の画像検査装置。
6. 検査対象画像上で所定領域を所定距離移動させ移動後の所定領域の画像を第１判定画像として抽出する処理を前記検査対象画像の所定の第１割合が複数の第１判定画像に含まれるまで繰り返し実行し、
   抽出された第１判定画像に検査対象物が表示されている可能性の度合いを判定し、
   判定された度合いが所定の条件を満たす第１判定画像を含む前記検査対象画像内の画像上で所定領域を前記所定距離より小さい距離移動させ移動後の所定領域の画像を第２判定画像として抽出する処理を第１判定画像を含む前記検査対象画像内の画像の所定の第２割合が複数の第２判定画像に含まれるまで繰り返し実行し、
   判定された度合いが前記所定の条件を満たす第１判定画像内の当該度合いに対応する位置に基づいて所定領域を移動させ、
   抽出された第２判定画像に前記検査対象物が表示されている可能性の度合いを判定する
   ことを特徴とする画像検査方法。
7. 学習処理で作成された予測モデルを用いて検査対象物が表示されている可能性の度合いを判定する
   請求項６記載の画像検査方法。
8. コンピュータに、
   検査対象画像上で所定領域を所定距離移動させ移動後の所定領域の画像を第１判定画像として抽出する処理を前記検査対象画像の所定の第１割合が複数の第１判定画像に含まれるまで繰り返し実行する第１抽出処理、
   抽出された第１判定画像に検査対象物が表示されている可能性の度合いを判定する第１判定処理、
   判定された度合いが所定の条件を満たす第１判定画像を含む前記検査対象画像内の画像上で所定領域を前記所定距離より小さい距離移動させ移動後の所定領域の画像を第２判定画像として抽出する処理を第１判定画像を含む前記検査対象画像内の画像の所定の第２割合が複数の第２判定画像に含まれるまで繰り返し実行する第２抽出処理、および
   抽出された第２判定画像に前記検査対象物が表示されている可能性の度合いを判定する第２判定処理を実行させるための画像検査プログラムであって、
   前記第２抽出処理で、判定された度合いが前記所定の条件を満たす第１判定画像内の当該度合いに対応する位置に基づいて所定領域を移動させる
   画像検査プログラム。
9. コンピュータに、
   学習処理で作成された予測モデルを用いて検査対象物が表示されている可能性の度合いを判定する判定処理を実行させる
   請求項８記載の画像検査プログラム。

Images