JP7101918B2 - 画像検査装置および画像検査方法 - Google Patents

Description

本開示は、画像検査装置および画像検査方法に関する。

検査対象が撮影された画像を検査した結果に基づいて検査対象の異常を判定する技術が提案されている。例えば、非特許文献１に記載された画像検査方法は、正常な検査対象が撮影された正常画像から抽出された特徴に基づいて正常画像を復元する画像生成方法を、オートエンコーダまたは敵対的生成ネットワーク（ＧＡＮ）に学習させる。この画像生成方法には、異常な検査対象が撮影された異常画像から抽出された特徴では正常画像を正確に復元できないという性質がある。非特許文献１に記載された画像検査方法は、検査対象が撮影された画像と復元された画像との差分画像を算出し、差分画像に基づいて検査対象の異常を判定する。

Ｓｃｈｌｅｇｌ， Ｔｈｏｍａｓ， ｅｔ ａｌ．， " Ｕｎｓｕｐｅｒｖｉｓｅｄ ａｎｏｍａｌｙ ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ ｔｏ ｇｕｉｄｅ ｍａｒｋｅｒ ｄｉｓｃｏｖｅｒｙ "， ＩＣＩＰ ２０１７．

被写体の製品の外観上の一部が検査対象である場合に、この製品が撮影された画像内の一定の領域が検査対象の画像領域となる。この場合、製品がカメラに正対した状態で撮影された画像と正対しない状態で撮影された画像では、画像内の検査対象の位置姿勢にずれが生じる。非特許文献１に記載された従来の技術は、位置姿勢にずれが発生して検査対象に異常があることは分かるが、検査対象のどの部位に異常が発生しているかを正確に判定できないという課題があった。

本開示は上記課題を解決するものであり、検査対象および撮影装置の位置姿勢の変化に頑健な画像検査を行うことができる画像検査装置および画像検査方法を得ることを目的とする。

本開示に係る画像検査装置は、検査対象が撮影された第１の画像を取得する画像取得部と、第１の画像における検査対象の位置を、検査対象の位置が既知である第１の参照画像に合わせる幾何変換パラメータを推定し、推定した幾何変換パラメータを用いて第１の画像を幾何変換することにより、第１の画像における検査対象の位置が第１の参照画像に合わされた第２の画像を生成する幾何変換処理部と、第１の画像を用いて生成した第３の画像を入力し正解画像として第２の画像を推論する画像生成ネットワークを用いて、第２の画像を復元する画像復元処理部と、第１の画像の幾何変換によって得られた第２の画像と、復元された第２の画像との差分画像を用いて、検査対象の異常を判定する異常判定部を備える。

本開示によれば、検査対象および撮影装置の位置姿勢に変化が生じた場合であっても、検査対象の位置が既知な第１の参照画像を用いた幾何変換により第１の画像上の検査対象が位置合わせされる。検査対象が位置合わせされた第２の画像を正解画像として推論する画像生成ネットワークを用いて、第２の画像が復元される。第１の画像の幾何変換により得られた第２の画像と復元された第２の画像との差分画像を用いて検査対象の異常が判定される。これにより、本開示に係る画像検査装置は、検査対象および撮影装置の位置姿勢の変化に頑健な画像検査を行うことができる。

図１Ａは、被写体がカメラに正対した状態で撮影された画像を示す概要図であり、図１Ｂは、被写体がカメラに正対していない状態で撮影された画像を示す概要図である。 実施の形態１に係る画像検査装置の構成を示すブロック図である。 実施の形態１に係る画像検査方法を示すフローチャートである。 図４Ａは、実施の形態１に係る画像検査装置の機能を実現するハードウェア構成を示すブロック図であり、図４Ｂは、実施の形態１に係る画像検査装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態２に係る画像検査装置の構成を示すブロック図である。 実施の形態２に係る画像検査方法を示すフローチャートである。

実施の形態１．
図１Ａは、被写体Ｂがカメラに正対した状態で撮影された画像Ａを示す概要図である。図１Ｂは、被写体Ｂがカメラに正対していない状態で撮影された画像Ａ１を示す概要図である。検査対象である被写体Ｂがカメラに正対した状態で撮影されると、例えば、図１Ａに示すように、被写体Ｂが撮影された画像Ａが得られる。画像Ａには、被写体Ｂの一つの部品Ｂａが既定の位置に撮影されている。

被写体Ｂの位置姿勢がずれるか、カメラの位置姿勢がずれた場合、被写体Ｂがカメラに正対していない状態で撮影される。例えば、図１Ｂに示すように、画像Ａ１には被写体Ｂが斜めに撮影され、画像Ａ１における部品Ｂａの位置ずれは、部品Ｂａに異常が発生して部品Ｂｂのように撮影されたと誤認識される可能性がある。すなわち、この位置ずれは、部品Ｂａの異常を正確に判定できない要因となる。

図２は、実施の形態１に係る画像検査装置１の構成を示すブロック図である。図２において、画像検査装置１は、撮影装置２および記憶装置３に接続され、撮影装置２によって検査対象が撮影された画像を入力し、入力した画像と、記憶装置３に記憶されたデータとを用いて、検査対象の異常を判定する。

撮影装置２は、検査対象を撮影するカメラであり、例えば、ネットワークカメラ、アナログカメラ、ＵＳＢカメラまたはＨＤ－ＳＤＩカメラである。記憶装置３は、画像検査装置１によって行われた画像検査処理において利用または生成されたデータを記憶する記憶装置であり、メインメモリ３ａおよび補助メモリ３ｂを備える。

補助メモリ３ｂには、画像生成ネットワークである学習済みモデル、学習済みモデルの構成を規定するモデル情報といったパラメータ情報、検査対象の位置合わせに使用される第１の参照画像、画像生成ネットワークに入力される画像の作成に使用される第２の参照画像、検査対象の異常判定に使用される閾値情報、および、検査対象の位置と画像中の領域といったアノテーション情報が記憶されている。補助メモリ３ｂに記憶されている情報は、メインメモリ３ａに読み込まれて画像検査装置１に使用される。

画像検査装置１は、図２に示すように、画像取得部１１、幾何変換処理部１２、画像復元処理部１３および異常判定部１４を備える。画像取得部１１は、撮影装置２によって検査対象が撮影された画像を、入力インタフェース（Ｉ／Ｆ）を介して取得する。撮影装置２によって検査対象が撮影された画像は、検査対象である被写体が撮影装置２の撮影視野に対して正対した状態のみならず、正対していない状態である場合も含まれる第１の画像である。

幾何変換処理部１２は、画像取得部１１によって取得された画像における検査対象の位置を、検査対象の位置が既知である第１の参照画像に合わせる幾何変換パラメータを推定する。そして、幾何変換処理部１２は、推定した幾何変換パラメータを用いて、画像取得部１１によって取得された画像を幾何変換することにより、検査対象の位置が第１の参照画像に合わされた画像を生成する。

第１の参照画像は、検査対象の位置が既知の画像であり、検査対象が撮影装置２の撮影視野に対して正対した状態で撮影されたものである。例えば、図１Ａに示した部品Ｂａが検査対象である場合に、部品Ｂａの位置が既知な画像Ａは、第１の参照画像として用いることができる。幾何変換処理部１２によって生成される画像は、検査対象の位置が第１の参照画像に合わされた第２の画像である。

画像復元処理部１３は、画像取得部１１によって取得された画像を用いて生成された入力画像を画像生成ネットワークへ入力することにより、当該入力画像から、検査対象の位置が第１の参照画像に合わされた画像を復元する。画像生成ネットワークの入力画像は、画像取得部１１により取得された検査対象の画像を用いて生成された第３の画像であり、例えば、画像取得部１１によって取得された検査対象の画像と、検査対象の位置が既知である第２の参照画像との差分画像である。

画像生成ネットワークは、画像復元処理部１３によって生成された入力画像を入力し、正解画像として、検査対象の位置が第１の参照画像に合わされた画像を推論する学習済みモデルである。例えば、画像生成ネットワークは、幾何変換処理によって生成された正常な検査対象が撮影された画像である正解画像（出力画像）と画像復元処理部１３によって生成された正常な検査対象に関する画像である入力画像との複数のペアを学習用データとして、入力画像と出力画像との間の画像変換が学習されたものである。

異常判定部１４は、幾何変換処理部１２によって幾何変換された検査対象の画像と、画像復元処理部１３によって復元された検査対象の画像との差分画像を算出し、差分画像を用いて、検査対象の異常を判定する。例えば、異常判定部１４は、検査対象の位置とその画像内の領域を示すアノテーション情報に基づいて差分画像における検査対象を特定し、特定した検査対象の差分画像領域を閾値情報と比較した結果に基づいて、検査対象の異常を判定する。差分画像は、例えば、振幅画像、位相画像または強度画像である。閾値情報は、振幅、位相または強度の閾値である。

実施の形態１に係る画像検査方法は、以下の通りである。
図３は実施の形態１に係る画像検査方法を示すフローチャートであり、画像検査装置１によって実行される画像検査の一連の処理を示している。
検査対象である製品は、撮影装置２の撮影視野内に配置され、撮影装置２によって撮影される。撮影装置２によって撮影された検査対象の画像は、「検査対象画像」である。画像取得部１１は、撮影装置２によって順次撮影された検査対象画像を取得する（ステップＳＴ１）。画像取得部１１によって取得された検査対象画像は、幾何変換処理部１２へ出力される。

幾何変換処理部１２は、検査対象画像における検査対象の位置を、検査対象の位置が既知である第１の参照画像に合わせる幾何変換パラメータを推定し、幾何変換パラメータを用いて検査対象画像を幾何変換することで、検査対象の位置が第１の参照画像に合わされた画像を生成する（ステップＳＴ２）。例えば、幾何変換処理部１２は、画像レジストレーション処理によって幾何変換パラメータを推定する。

画像レジストレーションは、注目画像と参照画像から抽出された特徴点の類似度または注目画像と参照画像の間で画像変換された画像領域の類似度に基づいて、注目画像と参照画像の間の幾何変換パラメータを推定する処理である。幾何変換処理には、例えば、線形変換であるユークリッド変換、アフィン変換またはホモグラフィ変換がある。また、幾何変換処理は、画像回転、画像反転またはクロップの少なくとも一つであってもよい。

記憶装置３が備える補助メモリ３ｂには、検査対象が撮影装置２の撮影視野に正対した状態で撮影された検査対象画像が第１の参照画像として記憶されている。第１の参照画像には、検査対象画像における検査対象の位置とその画像領域を示す情報がアノテーションされている。例えば、図１Ａに示した画像Ａが、第１の参照画像として記憶装置３に保存され、個々の第１の参照画像には、部品Ｂａの位置とその画像領域を示すアノテーション情報が付与される。

幾何変換処理部１２は、撮影装置２によって撮影された検査対象画像における検査対象の位置を、第１の参照画像に付与されたアノテーション情報に基づいて特定された位置に合わせる画像レジストレーション処理を実行し、位置合わせに必要な幾何変換パラメータを推定する。そして、幾何変換処理部１２は、撮影装置２によって撮影された検査対象の画像に対して幾何変換パラメータを用いた幾何変換処理を行うことで、第１の参照画像と同じような位置姿勢で撮影された検査対象の画像を生成する。以下、幾何変換処理部１２によって生成された画像は、「位置合わせ済み画像」である。

画像復元処理部１３は、画像生成ネットワークへの入力画像を生成する（ステップＳＴ３）。例えば、Ｕ－ｎｅｔのように、画像生成ネットワークが、複数のレイヤーを跨いだスキップコネクションを有したニューラルネットワークであると、スキップコネクションされる経路の重みが大きくなるように学習される。このため、画像生成ネットワークは、入力画像をそのまま出力するように学習してしまい、位置合わせ済み画像と出力画像との差分を抽出しづらくなる。

そこで、画像復元処理部１３は、検査対象画像を加工した画像を、入力画像として画像生成ネットワークに入力する。検査対象画像を加工した画像は、例えば、検査対象画像と第２の参照画像との差分画像であってもよい。第２の参照画像には、例えば、正常な検査対象が撮影された複数の検査対象画像の平均画像が用いられ、補助メモリ３ｂに記憶される。なお、スキップコネクションを有さない画像生成ネットワークであれば、入力画像は位置合わせ済み画像であってもよい。

画像復元処理部１３は、前述のようにして生成した入力画像を画像生成ネットワークに入力することにより、位置合わせ済み画像を復元する（ステップＳＴ４）。例えば、画像生成ネットワークは、検査対象画像と第２の参照画像との差分画像を入力し、位置合わせ済み画像を推論（復元）する。

異常判定部１４は、幾何変換処理部１２によって幾何変換された検査対象画像と、画像復元処理部１３によって復元された位置合わせ済み画像との差分画像を用いて、検査対象の異常を判定する（ステップＳＴ５）。例えば、異常判定部１４は、幾何変換された検査対象画像と復元された位置合わせ済み画像との差分画像を抽出した場合、第１の参照画像に付与されたアノテーション情報に基づいて、抽出した差分画像がどの検査対象の位置と画像領域であるかを特定できる。異常判定部１４は、位置および画像領域を特定した検査対象に異常があると判定する。

差分画像の抽出方法としては、一定の領域ごと（例えば、画像内の部品領域ごとまたは一定サイズの画素ブロックごと）に画素値の絶対差分の総和または平均値を用いる方法がある。また、差分画像の抽出方法には、一定の領域ごとの画像の構造類似度（ＳＳＩＭ、またはＰＳＮＲ）を用いる方法がある。異常判定部１４は、差分画像における注目画素値が閾値よりも大きい場合、差分画像領域に対応する検査対象に異常があると判定する。

画像検査装置１の機能を実現するハードウェア構成は、以下の通りである。
図４Ａは、画像検査装置１の機能を実現するハードウェア構成を示すブロック図である。図４Ｂは、画像検査装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図４Ａおよび図４Ｂにおいて、入力Ｉ／Ｆ１００は、撮影装置２によって撮影された映像入力を受け付けるインタフェースである。ファイルＩ／Ｆ１０１は、記憶装置３との間でやり取りされるデータを中継するインタフェースである。

画像検査装置１が備える、画像取得部１１、幾何変換処理部１２、画像復元処理部１３および異常判定部１４の機能は、処理回路により実現される。すなわち、画像検査装置１は、図３に示したステップＳＴ１からステップＳＴ５の処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

処理回路が図４Ａに示す専用のハードウェアの処理回路１０２である場合に、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。画像検査装置１が備える、画像取得部１１、幾何変換処理部１２、画像復元処理部１３および異常判定部１４の機能は、別々の処理回路で実現されてもよく、これらの機能がまとめて１つの処理回路で実現されてもよい。

処理回路が図４Ｂに示すプロセッサ１０３である場合、画像検査装置１が備える、画像取得部１１、幾何変換処理部１２、画像復元処理部１３および異常判定部１４の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。

プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することにより、画像検査装置１が備える、画像取得部１１、幾何変換処理部１２、画像復元処理部１３および異常判定部１４の機能を実現する。例えば、画像検査装置１は、プロセッサ１０３によって実行されるときに、図３に示したステップＳＴ１からステップＳＴ５までの処理が結果的に実行されるプログラムを記憶するメモリ１０４を備える。これらのプログラムは、画像取得部１１、幾何変換処理部１２、画像復元処理部１３および異常判定部１４の手順または方法をコンピュータに実行させる。メモリ１０４は、コンピュータを、画像取得部１１、幾何変換処理部１２、画像復元処理部１３および異常判定部１４として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

メモリ１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

画像検査装置１が備える、画像取得部１１、幾何変換処理部１２、画像復元処理部１３および異常判定部１４の機能の一部が専用のハードウェアで実現され、残りの一部がソフトウェアまたはファームウェアで実現されてもよい。例えば、画像取得部１１は、専用のハードウェアである処理回路１０２によって機能が実現され、幾何変換処理部１２、画像復元処理部１３および異常判定部１４は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することによって機能が実現される。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって、上記機能を実現することができる。

以上のように、実施の形態１に係る画像検査装置１において、検査対象および撮影装置２の位置姿勢に変化が生じた場合であっても、検査対象の位置が既知な第１の参照画像を用いた幾何変換によって検査対象画像上の検査対象が位置合わせされる。検査対象が位置合わせされた位置合わせ済み画像を正解画像として推論する画像生成ネットワークを用いて、位置合わせ済み画像が復元される。幾何変換によって位置合わせされた検査対象画像と復元された位置合わせ済み画像との差分画像を用いて、検査対象の異常が判定される。これにより、画像検査装置１は、検査対象および撮影装置の位置姿勢の変化に頑健な画像検査を行うことができる。

実施の形態２．
図５は、実施の形態２に係る画像検査装置１Ａの構成を示すブロック図である。図５において、画像検査装置１Ａは、撮影装置２および記憶装置３に接続されており、撮影装置２によって検査対象が撮影された画像を入力し、入力した画像と記憶装置３に記憶されたデータを用いて、検査対象の異常を判定する。画像検査装置１Ａは、画像取得部１１Ａ、幾何変換処理部１２Ａ、画像復元処理部１３Ａおよび異常判定部１４Ａを備える。

画像取得部１１Ａは、撮影装置２によって検査対象が撮影された検査対象画像を、入力Ｉ／Ｆを介して取得し、取得した画像を幾何変換処理部１２Ａおよび画像復元処理部１３Ａに出力する。画像取得部１１Ａによって取得された検査対象画像は、検査対象である被写体が撮影装置２の撮影視野に対して正対した状態のみならず、正対していない状態である場合も含まれる第１の画像である。

幾何変換処理部１２Ａは、画像取得部１１Ａによって取得された検査対象画像における検査対象の位置を、検査対象の位置が既知である第１の参照画像に合わせる幾何変換パラメータを推定し、幾何変換パラメータを用いて検査対象画像を幾何変換することにより、検査対象の位置が第１の参照画像に合わされた位置合わせ済み画像を生成する。

画像復元処理部１３Ａは、画像取得部１１Ａによって取得された検査対象画像（第１の画像）を画像生成ネットワークへ入力することにより、当該入力画像から位置合わせ済み画像を復元する。異常判定部１４Ａは、幾何変換処理部１２Ａによって幾何変換された検査対象画像と画像復元処理部１３Ａによって復元された位置合わせ済み画像との差分画像を算出し、差分画像を用いて検査対象の異常を判定する。

実施の形態２に係る画像検査方法は、以下の通りである。
図６は、実施の形態２に係る画像検査方法を示すフローチャートであり、画像検査装置１Ａによって実行される画像検査の一連の処理を示している。画像取得部１１Ａは、撮影装置２によって順次撮影された検査対象画像を取得する（ステップＳＴ１ａ）。画像取得部１１Ａによって取得された検査対象画像は、幾何変換処理部１２Ａおよび画像復元処理部１３Ａへ出力される。

幾何変換処理部１２Ａは、検査対象画像における検査対象の位置を、検査対象の位置が既知である第１の参照画像に合わせる幾何変換パラメータを推定し、幾何変換パラメータを用いて検査対象画像を幾何変換することにより、検査対象の位置が第１の参照画像に合わされた、位置合わせ済み画像を生成する（ステップＳＴ２ａａ）。なお、幾何変換処理部１２Ａは、実施の形態１における幾何変換処理部１２と同様に、例えば、画像レジストレーション処理によって幾何変換パラメータを推定し、画像取得部１１Ａによって取得された検査対象画像に対して幾何変換パラメータを用いた幾何変換処理を行うことにより、位置合わせ済み画像を生成する。

また、画像復元処理部１３Ａは、画像取得部１１Ａによって取得された検査対象画像をそのまま画像生成ネットワークに入力することで、位置合わせ済み画像を復元する（ステップＳＴ２ａｂ）。例えば、画像生成ネットワークは、幾何変換処理部１２Ａによって生成された位置合わせ済み画像を正解画像（出力画像）と、画像取得部１１Ａによって取得された、位置合わせされていない検査対象画像を入力画像との複数のペアを学習用データとして、入力画像と出力画像との間の画像変換が学習されたものである。なお、画像生成ネットワークによる学習対象の画像変換には、位置合わせされていない検査対象画像における検査対象の位置を、検査対象の位置が既知である第１の参照画像に合わせる幾何変換も含まれる。

異常判定部１４Ａは、幾何変換処理部１２Ａによって幾何変換された検査対象画像と、画像復元処理部１３Ａによって復元された位置合わせ済み画像との差分画像を用いて、検査対象の異常を判定する（ステップＳＴ３ａ）。例えば、異常判定部１４Ａは、幾何変換された検査対象画像と復元された位置合わせ済み画像との差分画像を抽出した場合、第１の参照画像に付与されたアノテーション情報に基づいて、抽出した差分画像がどの検査対象の位置と画像領域であるかを特定できる。異常判定部１４Ａは、位置および画像領域を特定した検査対象に異常があると判定する。

なお、画像検査装置１Ａが備える画像取得部１１Ａ、幾何変換処理部１２Ａ、画像復元処理部１３Ａおよび異常判定部１４Ａの機能は、処理回路により実現される。すなわち、画像検査装置１Ａは、図６に示したステップＳＴ１ａからステップＳＴ３ａまでの処理を実行するための処理回路を備えている。処理回路は、図４Ａに示した専用のハードウェアの処理回路１０２であってもよいし、図４Ｂに示したメモリ１０４に記憶されたプログラムを実行するプロセッサ１０３であってもよい。

以上のように、実施の形態２に係る画像検査装置１Ａにおいて、画像生成ネットワークへの入力画像は、撮影装置２によって撮影された検査対象画像である。画像生成ネットワークは、検査対象画像を入力し、位置合わせ済み画像を推論する。画像復元処理部１３Ａは、上記画像生成ネットワークを用いて、位置合わせ済み画像を復元する。これにより、画像検査装置１Ａは、検査対象および撮影装置の位置姿勢の変化に頑健な画像検査を行うことができる。また、画像生成ネットワークへの入力画像の生成処理が省略されるので、実施の形態１に係る画像検査方法よりも演算処理量が削減される。さらに、幾何変換処理と画像復元処理とを並列に行うことが可能であるため、画像検査のタクトタイムを短縮できる。

なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

本開示に係る画像検査装置は、例えば、製品の異常検査に利用可能である。

１，１Ａ 画像検査装置、２ 撮影装置、３ 記憶装置、３ａ メインメモリ、３ｂ 補助メモリ、１１，１１Ａ 画像取得部、１２，１２Ａ 幾何変換処理部、１３，１３Ａ 画像復元処理部、１４，１４Ａ 異常判定部、１００ 入力Ｉ／Ｆ、１０１ ファイルＩ／Ｆ、１０２ 処理回路、１０３ プロセッサ、１０４ メモリ。

Claims (6)

1. 検査対象が撮影された第１の画像を取得する画像取得部と、
   前記第１の画像における前記検査対象の位置を、前記検査対象の位置が既知である第１の参照画像に合わせる幾何変換パラメータを推定し、推定した前記幾何変換パラメータを用いて前記第１の画像を幾何変換することにより、前記第１の画像における前記検査対象の位置が前記第１の参照画像に合わされた第２の画像を生成する幾何変換処理部と、
   前記第１の画像を用いて生成した第３の画像を入力し正解画像として前記第２の画像を推論する画像生成ネットワークを用いて、前記第２の画像を復元する画像復元処理部と、
   前記第１の画像の幾何変換によって得られた前記第２の画像と、復元された前記第２の画像との差分画像を用いて、前記検査対象の異常を判定する異常判定部と、
   を備えたことを特徴とする画像検査装置。
2. 前記第３の画像は、前記第１の画像と前記検査対象の位置が既知である第２の参照画像との差分画像であること
   を特徴とする請求項１記載の画像検査装置。
3. 前記第３の画像は、前記第１の画像であり、
   前記画像生成ネットワークは、前記第１の画像を入力し前記第２の画像を推論するものであり、
   前記画像復元処理部は、前記画像生成ネットワークを用いて前記第２の画像を復元すること
   を特徴とする請求項１記載の画像検査装置。
4. 前記幾何変換処理部は、前記第１の参照画像に対する画像レジストレーションによって前記第１の画像を幾何変換することにより前記第２の画像を生成すること
   を特徴する請求項１記載の画像検査装置。
5. 前記幾何変換処理部は、前記第１の画像に対して、画像回転、画像反転またはクロップの少なくとも一つを行って前記第２の画像を生成すること
   を特徴する請求項１記載の画像検査装置。
6. 画像取得部が、検査対象が撮影された第１の画像を取得するステップと、
   幾何変換処理部が、前記第１の画像における前記検査対象の位置を、前記検査対象の位置が既知である第１の参照画像に合わせる幾何変換パラメータを推定し、推定した前記幾何変換パラメータを用いて前記第１の画像を幾何変換することにより、前記第１の画像における前記検査対象の位置が前記第１の参照画像に合わされた第２の画像を生成するステップと、
   画像復元処理部が、前記第１の画像を用いて生成した第３の画像を入力し正解画像として前記第２の画像を推論する画像生成ネットワークを用いて、前記第２の画像を復元するステップと、
   異常判定部が、前記第１の画像の幾何変換によって得られた前記第２の画像と、復元された前記第２の画像との差分画像を用いて、前記検査対象の異常を判定するステップと、
   を備えたことを特徴とする画像検査方法。

Images