JP6693684B2 - 異常検査装置および異常検査方法 - Google Patents

Description

この発明は、物体に異常が発生しているか否かを検査する異常検査装置および異常検査方法に関する。

物体をカメラ等で撮影して得られた画像を解析することで、物体に異常が発生しているか否かを機械が自動的に検査する技術は、例えば、工業製品の製造過程で行われる目視による外観検査を自動化または省力化するために重要な技術である。
例えば、特許文献１には、同一仕様の複数の対象物のうち所定数から個別に取得されたデジタル画像について、同一座標をもつ画素毎に特性の統計量を算出して設定良画素範囲を作成し、検査しようとする対象物から取得されるデジタル画像に対して、画素毎に、特性が設定良画素範囲に属するか否かを判定する検査装置が開示されている。

特開２０１３−３２９９５号公報

特許文献１に開示されている技術に代表される従来技術では、対象物を撮影する際の、対象物とカメラの位置関係は常に一定でなければならない。また、全ての画像が高精度に位置合わせされていなければならない。そのため、異常判定を行う際に、撮影条件の違い、または、正常範囲内でのばらつきによる画像間の差異による影響を受けるという課題があった。

この発明は上記のような課題を解決するためになされたもので、撮影条件の違い、または、正常範囲内でのばらつきによる画像間の差異による影響を受けることなく、対象物の異常を検査することができる異常検査装置および異常検査方法を提供することを目的とする。

この発明に係る異常検査装置は、検査対象の対象物が撮影された判定対象画像を取得する画像取得部と、正常状態の対象物が撮影された正常画像を教師データとして行われた、画像のドメイン順変換または画像のドメイン逆変換の機械学習の結果、を取得する学習結果取得部と、画像取得部が取得した判定対象画像に対し、学習結果取得部が取得した機械学習の結果を用いてドメイン順変換およびドメイン逆変換を順次行い、ドメイン変換後画像を取得する判定対象画像解析部と、画像取得部が取得した判定対象画像と、判定対象画像解析部が取得したドメイン変換後画像とを比較して、判定対象画像において撮影されている対象物に、異常が発生しているか否かを判定する判定部とを備えたものである。この構成において、判定対象画像解析部は、画像取得部が取得した判定対象画像に対し、正常画像を教師データとして行われた機械学習の結果を用いたドメイン順変換を行い、ドメイン順変換画像を取得する。この構成において、さらに、異常解析部を備えた。異常解析部は、判定部が、画像取得部が取得した判定対象画像において撮影されている対象物に前記異常が発生していると判定した場合に、ドメイン順変換画像を用いて、異常の解析を行う。

この発明によれば、撮影条件の違い、または、正常範囲内でのばらつきによる画像間の差異による影響を受けることなく、対象物の異常を検査することができる。

実施の形態１に係る異常検査装置の構成例を示す図である。 画像のドメイン変換について説明するための図である。 写真ドメインと領域ドメイン以外のドメインの画像の例を示す図である。 ニューラルネットワークを用いて画像のドメイン変換を行う様子を示す図である。 実施の形態１において、判定対象画像解析部が判定対象画像に対して行うドメイン変換について説明するための図である。 実施の形態１において、判定対象画像に異常が発生している場合の、判定対象画像とドメイン変換後画像の一例を示す図である。 実施の形態１において、判定対象画像が正常画像である場合の、判定対象画像とドメイン変換後画像との差分絶対値について説明するための図である。 実施の形態１において、判定対象画像に異常が発生している場合の、判定対象画像とドメイン変換後画像との差分絶対値について説明するための図である。 実施の形態１において、判定部が差分画像に対して閾値処理を行って得た結果の一例を説明するための図である。 実施の形態１において、記憶部にバウンディング条件として記憶されている２次元マスクの一例を説明するための図であって、図１０Ｂは２次元マスクのイメージを示し、図１０Ａは、図１０Ｂで示す２次元マスクを判定対象画像に重ねたイメージを示している。 図１１Ａ，図１１Ｂは、発明の実施の形態１に係る異常検査装置のハードウェア構成の一例を示す図である。 実施の形態１において、「学習モード」における異常検査装置の動作を説明するためのフローチャートである。 実施の形態１において、正常画像解析部が図１２のステップＳＴ１２０２で実施するドメイン変換学習処理の詳細を説明するフローチャートである 実施の形態１において、「検査モード」における異常検査装置の動作を説明するためのフローチャートである。 実施の形態１において、判定対象画像解析部が図１４のステップＳＴ１４０２で実施するドメイン変換後画像取得処理の詳細を説明するフローチャートである。 実施の形態１において、判定部が図１４のステップＳＴ１４０３で実施する異常判定処理の詳細を説明するフローチャートである。 実施の形態１において、入出力装置が入出力部から送信された、判定結果に関する情報を受信し、ディスプレイに表示した表示画面のイメージの一例を説明するための図である。 実施の形態１において、入出力装置が入出力部から送信された、判定結果に関する情報を受信し、ディスプレイに表示した表示画面のイメージのその他の一例を説明するための図である。 実施の形態１において、入出力装置が入出力部から送信された、判定結果に関する情報を受信し、ディスプレイに表示した表示画面のイメージのその他の一例を説明するための図である。 実施の形態２に係る異常検査装置の構成例を示す図である。 実施の形態２において、異常解析部が、バウンディングボックスと領域ドメインの画像を重ね合わせた画像のイメージの一例を示す図である。 実施の形態２において、「検査モード」における異常検査装置の動作を説明するためのフローチャートである。 実施の形態２において、異常解析部が図２２のステップＳＴ２２０４で実施する異常解析処理の詳細を説明するフローチャートである。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
以下の説明において、実施の形態１に係る異常検査装置１が異常を判定する対象となる判定対象画像（詳細は後述する。）において撮影されている、検査対象の物体を、「対象物」という。対象物は、例えば、回路基板または配線等、少なくとも外観検査できる、あらゆる物体を含む。
図１は、実施の形態１に係る異常検査装置１の構成例を示す図である。
異常検査装置１は、例えば、ネットワークを介して、カメラ２および入出力装置４と接続される。
異常検査装置１は、カメラ２から、対象物３が撮影された画像を取得し、対象物に異常が発生しているか否かを判定して、判定結果を入出力装置４に出力する。以下、対象物３が撮影された画像を、「撮影画像」という。
入出力装置４は、例えば、ディスプレイ、スピーカ、キーボード、または、マウス等を備える。
なお、実施の形態１では、図１に示すように、異常検査装置１は、カメラ２および入出力装置４とネットワークを介して接続される構成とするが、これは一例に過ぎず、異常検査装置１が、カメラ２および入出力装置４を備える構成としてもよい。

異常検査装置１は、制御部１０、画像取得部１１、画像解析部１２、記憶部１３、判定部１４、および、入出力部１５を備える。
画像解析部１２は、正常画像解析部１２１と判定対象画像解析部１２２と学習結果取得部１２３とを有する。

制御部１０は、画像取得部１１、画像解析部１２、判定部１４、および、入出力部１５の動作を制御する。

画像取得部１１は、ネットワークを介して、カメラ２から撮影画像を取得する。
画像取得部１１が、カメラ２から撮影画像を受け取るタイミングは、例えば、１秒間に３０回等、予め決められているものとしてもよいし、制御部１０からの指示に基づいて決められるものとしてもよい。なお、ここでは、画像取得部１１が取得する撮影画像はデジタル化されていることを前提とするが、必ずしもこの限りではない。
画像取得部１１は、取得した撮影画像を画像解析部１２に出力する。

画像解析部１２は、２つの動作モードに対応する処理を行う。
実施の形態１において、異常検査装置１は、２つの動作モードを実施する。異常検査装置１が実施する、２つの動作モードを、それぞれ「学習モード」と「検査モード」というものとする。
異常検査装置１は、「学習モード」において、異常を含まない正常な状態の対象物３が撮影された、１枚以上の撮影画像に基づき、機械学習により、対象物３が正常な状態におけるドメイン変換をどのようにすべきかを学習する。ドメイン変換については後述する。
以下、撮影画像のうち、異常を含まない正常な状態の対象物３が撮影された撮影画像を、「正常画像」という。

また、異常検査装置１は、「検査モード」において、対象物３が撮影された撮影画像に基づき、当該撮影画像において撮影されている対象物３に異常が発生しているか否かを判定する。以下、撮影画像のうち、異常が発生しているかどうかを判定する対象となる撮影画像を、「判定対象画像」という。
異常検査装置１において、「検査モード」は、「学習モード」の動作が完了した後に行われる。
また、「学習モード」において、対象物３は異常を含まない正常な状態であることを前提とする。したがって、「学習モード」において、画像取得部１１が取得する撮影画像は、全て、正常画像である。
異常検査装置１は、同じ種類の物体であれば、複数の異なる物体を対象物３とし、異なる複数の対象物３が正常な状態で撮影された正常画像をカメラ２から取得し、対象物３が正常な状態を学習するようにしてもよい。
なお、「学習モード」において、カメラ２は、機械学習用として、正常画像に加え、当該正常画像に対応する別ドメインの画像を取得する。別ドメインの画像の詳細については後述する。

画像解析部１２の正常画像解析部１２１は、「学習モード」に対応する処理を行い、画像解析部１２の判定対象画像解析部１２２および学習結果取得部１２３は、「検査モード」に対応する処理を行う。
画像解析部１２の正常画像解析部１２１は、「学習モード」において、画像取得部１１から、指定された枚数（例えば、１０００枚）の正常画像を取得し、取得した正常画像に基づきドメイン変換学習処理を実施する。
ドメイン変換学習とは、対象物３が正常な状態におけるドメイン変換をどのようにすべきかを学習する機械学習である。
正常画像解析部１２１がドメイン変換学習を行う際に使用する正常画像の枚数は、予め指定されていてもよいし、制御部１０から指定されてもよい。
具体的には、例えば、正常画像の枚数を予め指定されている枚数とする場合、正常画像解析部１２１は、画像取得部１１から取得している正常画像の枚数が、予め指定された枚数に達した場合に、正常画像の取得を終了する。
また、例えば、正常画像の枚数を制御部１０からの指示に基づくものとする場合、正常画像解析部１２１は、画像取得部１１から出力された正常画像を、制御部１０から画像取得終了指示が出力されるまで、取得し続ける。正常画像解析部１２１は、制御部１０から画像取得終了指示が出力されると、正常画像の取得を終了する。制御部１０は、ユーザから画像取得終了指示を受け付ける。具体的には、例えば、ユーザが、入出力装置４から、画像取得終了指示を入力する。制御部１０は、入力された画像取得終了指示を受け付け、正常画像解析部１２１に対し、画像取得終了指示を出力する。

ここで、画像のドメイン変換について説明する。
図２は、画像のドメイン変換について説明するための図である。
画像のドメインとは、画像のタイプのことであり、画像のドメイン変換とは、あるドメインの画像を、当該あるドメインとは異なるドメインの画像に変換することである。
図２では、ドメインの例として、回路基板を一般的なカメラで撮影することで得られる画像（写真ドメインの画像。図２の２０１参照）と、回路基板上のパーツ毎に分離した領域ドメインの画像（図２の２０２参照）とが示されている。実施の形態１において、画像取得部１１がカメラ２から取得する撮影画像は、写真ドメインの画像である。
図２の領域ドメインの画像の例では、回路基板上の基板領域（図２の２０２１参照）と、配線領域（図２の２０２２参照）と、ＩＣ領域（図２の２０２３参照）とが示されている。
ドメイン変換においては、写真ドメインの画像を変換して領域ドメインの画像を取得後、当該領域ドメインの画像を再び変換して写真ドメインの画像を取得することもできる。
図２に示すように、例えば、写真ドメインの画像から領域ドメインの画像へのドメイン変換を、「ドメイン順変換」といい、領域ドメインの画像から写真ドメインの画像へのドメイン変換を、「ドメイン逆変換」というものとする。

なお、図２では、写真ドメインの画像と領域ドメインの画像について述べたが、画像のドメインとして、様々なドメインがあげられる。
図３は、写真ドメインと領域ドメイン以外のドメインの画像の例を示している。
図３に示すエッジドメインの画像（図３の３０１参照）は、写真ドメインの画像からエッジだけを抽出した画像である。また、図３に示すＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）ドメインの画像（図３の３０２参照）は、ＣＡＤソフトウェアにより描かれた画像である。

上述したような、画像のドメイン変換は、ニューラルネットワークを用いた機械学習により高精度に実行できることが知られている（例えば、非特許文献１参照）。
Ｐｈｉｌｌｉｐ Ｉｓｏｌａ，Ｊｕｎ−Ｙａｎ Ｚｈｕ，Ｔｉｎｇｈｕｉ Ｚｈｏｕ，ａｎｄ Ａｌｅｘｅｉ Ａ．Ｅｆｒｏｓ，"Ｉｍａｇｅ−ｔｏ−Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ，" Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（２０１７）．

ここで、図４は、ニューラルネットワークを用いて画像のドメイン変換を行う様子を示す図である。
図４では、一例として、ニューラルネットワークを用いて、写真ドメインの画像と領域ドメインの画像との間で画像のドメイン変換を行う様子を示している。
また、図４では、ニューラルネットワークの中でも特に画像処理に高い効果を発揮することが知られている畳み込みニューラルネットワークを用いて、画像のドメイン変換を行う様子を示している。
畳み込みニューラルネットワークは、ニューラルネットワークの一種であり、多数のフィルタを入力画像に畳み込むことを繰り返し、空間方向の次元数またはチャネル数を変化させながら、最終的に所望の結果を得る。
図４では、一例として、フィルタの横方向の長さをＷ、高さをＨ、チャネル数をＣとして示している。

ニューラルネットワークの構成には様々なものが考えられる。図４に示すドメイン変換に用いられるニューラルネットワークの例では、まず、畳み込みを繰り返しながら空間方向の次元を削減しつつチャネル数を増加させた後、チャネル数を削減しつつ空間方向の次元を増加させる。この変換により、最終的に、入力画像の次元数とチャネル数に一致する次元数とチャネル数を有する出力画像が得られる。
なお、図４で示すドメイン変換の様子はあくまでも一例であり、ドメイン変換は、ニューラルネットワークを用いて行うものに限らない。
また、ドメイン変換にニューラルネットワークを用いる場合、用いられるニューラルネットワークは、畳み込みニューラルネットワークに限られない。ドメイン変換に用いられるニューラルネットワークとしては、例えば、全結合ニューラルネットワーク、または、畳み込みニューラルネットワークと全結合ニューラルネットワークとを組み合わせたニューラルネットワーク等、任意のものを用いることができる。

正常画像解析部１２１は、ドメイン変換学習に使用する１以上の正常画像のそれぞれについて、対応する他のドメインの画像を取得し、ドメイン順変換およびドメイン逆変換を行うための学習を、ニューラルネットワークに行わせる。正常画像は、写真ドメインの画像であるため、上記他のドメインの画像とは、写真ドメイン以外のドメインの画像となる。図４の例では、他のドメインの画像は、領域ドメインの画像である。
正常画像解析部１２１は、正常画像と他のドメインの画像を教師データとして用いて、写真ドメインの画像である正常画像から領域ドメインの画像へのドメイン順変換、および、領域ドメインの画像から正常画像へのドメイン逆変換を行うための学習を、ニューラルネットワークに行わせる。
ここで、ニューラルネットワークの学習とは、ネットワークの各エッジにおける重みを学習用データに対して所望の結果が得られるように最適化することであり、畳み込みニューラルネットワークの場合はフィルタの係数を最適化することに相当する。ドメイン順変換においては、入力される正常画像を変換した結果が対応する領域ドメインの画像に近くなるように学習を行い、逆変換においては、入力される領域ドメインの画像を変換した結果が対応する正常画像に近くなるように学習を行う。なお、順変換のためのニューラルネットワークと逆変換のためのニューラルネットワークは、全く同じ構成としてもよいし、異なる構成としても構わない。
なお、正常画像解析部１２１は、対応する他のドメインの画像を、画像に対するフィルタ処理等で取得することができる。例えば、対応する他のドメインの画像を、エッジの画像であるとすると、変換元の画像である正常画像に対してエッジ検出フィルタを適用することで、変換先の画像である他のドメインの画像を取得することができる。その他、例えば、ユーザが、対応する他のドメインの画像を予め生成しておき、正常画像解析部１２１は、予め生成された、他のドメインの画像を取得するようにしてもよい。例えば、対応する他のドメインの画像が、正常画像を領域毎に分割した画像であるとすると、ユーザが、正常画像に対して画像編集ソフトウェア等を用いて領域分割を行うことで、他のドメインの画像を生成することができる。

正常画像解析部１２１は、ドメイン変換学習後、学習結果として、ドメイン順変換およびドメイン逆変換を行うニューラルネットワークの構成を規定する情報を、記憶部１３に記憶させる。
画像解析部１２が記憶部１３に記憶させる、ニューラルネットワークの構成を規定する情報とは、学習時のニューラルネットワークの入出力を再現するのに必要十分な情報のことである。このような情報には、具体的には、ニューラルネットワークの隠れ層の数または各層におけるユニットの数等、ニューラルネットワークの構造に関する情報と、学習によって得られた重みの情報が含まれる。

画像解析部１２の判定対象画像解析部１２２は、「検査モード」において、画像取得部１１から、指定された枚数（例えば、１枚）の撮影画像を取得し、当該撮影画像のそれぞれに基づき、ドメイン変換後画像取得処理を実施する。以下、判定対象画像解析部１２２が画像取得部１１から取得する撮影画像のうち、「検査モード」において、異常の判定対象となる対象物３の異常を判定するために取得した画像を、「判定対象画像」という。判定対象画像は、ユーザが検査対象とする対象物３が撮影された撮影画像である。ドメイン変換後画像取得処理では、判定対象画像解析部１２２は、各判定対象画像について、当該判定対象画像において撮影されている対象物３に異常が発生しているか否かを判定する際に用いるドメイン変換後画像を生成する。ドメイン変換後画像については後述する。

具体的には、まず、判定対象画像解析部１２２は、画像取得部１１から、指定された枚数の判定対象画像を取得する。
判定対象画像解析部１２２がドメイン変換後画像取得処理のために取得する判定対象画像の枚数は、予め指定されていてもよいし、制御部１０から指定されてもよい。判定対象画像解析部１２２が、指定された枚数の判定対象画像を取得する具体的な方法は、正常画像解析部１２１が「学習モード」において、指定された枚数の正常画像を取得する具体的な方法と同様である。

次に、判定対象画像解析部１２２は、記憶部１３に記憶されている、ニューラルネットワークの構成を規定する情報を用いて、判定対象画像に対するドメイン変換を行う。
具体的には、後述する学習結果取得部１２３が、記憶部１３に記憶されている、ニューラルネットワークの構成を規定する情報を取得し、取得した情報を判定対象画像解析部１２２に出力する。判定対象画像解析部１２２は、学習結果取得部１２３から出力された情報を用いて、判定対象画像に対するドメイン変換を行う。
学習結果取得部１２３が記憶部１３から取得する、ニューラルネットワークの構成を規定する情報は、「学習モード」において、正常画像解析部１２１が学習結果として記憶させた情報である。

ここで、図５は、実施の形態１において、判定対象画像解析部１２２が判定対象画像に対して行うドメイン変換について説明するための図である。
図５に示すように、判定対象画像解析部１２２は、まず、判定対象画像をドメイン順変換によって変換し、領域ドメインの画像を取得する。以下、判定対象画像解析部１２２が、「検査モード」において、判定対象画像に対してドメイン順変換を行って取得した領域ドメインの画像を、「ドメイン順変換画像」ともいう。なお、上述のとおり、実施の形態１において、画像取得部１１がカメラ２から取得する画像は写真ドメインの画像であるので、判定対象画像も写真ドメインの画像である。
次に、判定対象画像解析部１２２は、ドメイン逆変換によりドメイン順変換画像の画像を再び変換し、写真ドメインの画像を取得する。
なお、実施の形態１では、判定対象画像解析部１２２は、図５で示したように、写真ドメインの画像を領域ドメインの画像に変換するドメイン変換を行うものとする。しかし、これは一例に過ぎず、判定対象画像解析部１２２は、写真ドメインの画像を、任意のドメインの画像に変換するドメイン変換を行うことができる。

そして、判定対象画像解析部１２２は、画像取得部１１から取得した判定対象画像と、当該判定対象画像に対してドメイン順変換およびドメイン逆変換を順次行って取得した写真ドメインの画像とを、判定部１４に出力する。
以下、判定対象画像解析部１２２が、「検査モード」において、判定対象画像に対してドメイン順変換およびドメイン逆変換を順次行って取得した写真ドメインの画像を、「ドメイン変換後画像」という。
なお、実施の形態１では、判定対象画像解析部１２２は、ドメイン順変換およびドメイン逆変換の双方にニューラルネットワークを用いるものとするが、これは一例に過ぎない。判定対象画像解析部１２２は、必ずしも、ドメイン順変換およびドメイン逆変換の双方にニューラルネットワークを用いる必要はなく、ドメイン順変換およびドメイン逆変換のどちらか一方にのみ、ニューラルネットワークを用いるようにしてもよい。

画像解析部１２の学習結果取得部１２３は、「検査モード」において、記憶部１３に記憶されている学習結果を取得する。記憶部１３に記憶されている学習結果とは、「学習モード」において、正常画像解析部１２１が学習結果として記憶させた、ドメイン順変換およびドメイン逆変換を行うニューラルネットワークの構成を規定する情報等である。

なお、画像解析部１２は、制御部１０からの指示に基づき、正常画像解析部１２１による「学習モード」での動作と、判定対象画像解析部１２２および学習結果取得部１２３による「検査モード」での動作とを切り替える。

記憶部１３は、正常画像解析部１２１が「学習モード」にてドメイン変換学習を行った学習結果である、ドメイン順変換およびドメイン逆変換を行うニューラルネットワークの構成を規定する情報等を記憶する。
なお、実施の形態１では、図１に示すように、記憶部１３は、異常検査装置１に備えられるものとしたが、これに限らず、記憶部１３は、異常検査装置１の外部の、異常検査装置１が参照可能な場所に備えられるものとしてもよい。

判定部１４は、「検査モード」において、判定対象画像解析部１２２から出力された判定対象画像およびドメイン変換後画像を取得し、取得した判定対象画像とドメイン変換後画像とを比較して、判定対象画像において撮影されている対象物３に異常が発生しているか否かを判定する異常判定処理を行う。

ここで、ドメイン変換を用いた異常検査の原理について説明する。
まず、「学習モード」では、正常画像解析部１２１は、正常画像、および、当該正常画像に対応する他のドメインの画像を用いてニューラルネットワークに学習させている。そのため、「検査モード」において、判定対象画像が正常画像である場合、当該判定対象画像に基づくドメイン変換後画像は、画像取得部１１から取得した判定対象画像とほぼ一致する（図５参照）。

一方、「検査モード」において、判定対象画像において撮影されている対象物３に異常が発生している場合、当該判定対象画像は、正常画像解析部１２１がニューラルネットワークに学習させた際に用いた正常画像とは撮影されている対象物３の状態が異なる画像となる。そのため、判定対象画像に対してドメイン順変換を行うと、対象物３における異常部分については正しくドメイン順変換が行われない。また、最終的に得られるドメイン変換後画像は、正常画像であるかのように復元された画像になる。つまり、判定対象画像において撮影されている対象物３における異常箇所において、判定対象画像とドメイン変換後画像とでは、差異が生じることになる（図６参照）。

判定部１４は、上述したようなドメイン変換を用いた異常検査の原理を用いて、判定対象画像において撮影されている対象物３に異常が発生しているか否かを判定する。
判定部１４は、判定対象画像とドメイン変換後画像とを比較することで、判定対象画像において撮影されている対象物３の異常の有無、および、異常箇所の検出が可能となる。

判定部１４が、判定対象画像において撮影されている対象物３に異常が発生しているか否かを判定する具体的な方法について説明する。
まず、判定部１４は、判定対象画像解析部１２２から取得した判定対象画像とドメイン変換後画像との間で、画素値の差分絶対値を算出する。
具体的には、判定部１４は、判定対象画像とドメイン変換後画像をそれぞれ構成する複数の画素のうち、互いに対応する位置にある複数の画素における各画素の画素値間の差分絶対値を算出する。なお、実施の形態１において、画素値とは、明るさ（輝度値）である。
判定対象画像が正常画像である場合、判定対象画像とドメイン変換後画像との間にはほとんど差異がないため、判定対象画像とドメイン変換後画像との差分絶対値は、画像全体にわたってほぼゼロとなる（図７参照）。
一方、判定対象画像において撮影されている対象物３に異常が発生している場合、判定対象画像とドメイン変換後画像との間で異常箇所が差異となって現れるため、判定対象画像とドメイン変換後画像との差分絶対値は、異常箇所のみ大きくなる（図８参照）。
判定部１４は、算出した、判定対象画像とドメイン変換後画像との間の差分絶対値に基づいて、判定対象画像を当該差分絶対値で示した画像を生成する。
以下、判定対象画像の各画素を、当該判定対象画像とドメイン変換後画像との間の差分絶対値で示した画像を、「差分画像」という。
判定部１４は、生成した差分画像に基づき、以下に説明するとおり、判定対象画像において撮影されている対象物３に対しての、異常が発生しているか否かの判定を行う。

判定部１４は、差分画像に対して閾値処理を行い、差分絶対値が閾値未満となる画素の値を０、差分絶対値が閾値以上となる画素の値を１とする。なお、これは一例に過ぎず、判定部１４は、差分絶対値が閾値未満となる画素の値を１、差分絶対値が閾値以上となる画素の値を０としてもよいし、差分絶対値が閾値未満となる画素の値と差分絶対値が閾値以上となる画素の値とに、それぞれ、１または０以外の値を用いるようにしてもよい。
判定部１４は、差分画像に対する閾値処理を行う際の閾値を、適宜の方法で決定すればよい。例えば、判定部１４は、閾値を、制御部１０からの指示に基づいて決定する。具体的には、例えば、ユーザが、入出力装置４から閾値を入力し、制御部１０が入力された閾値を受け付ける。判定部１４は、制御部１０が受け付けた閾値を、閾値処理を行う際に用いる閾値に決定する。
また、ユーザ等が予め閾値を記憶部１３に記憶させておき、判定部１４は、記憶部１３に記憶されている閾値を用いて閾値処理を行ってもよい。
また、判定部１４は、差分値の分布等に応じて適応的に閾値を決定するようにしてもよい。なお、適応的に閾値を決定する方法は、例えば、以下の非特許文献２で開示されている。
Ｎｏｂｕｙｕｋｉ Ｏｔｓｕ，"Ａ Ｔｈｒｅｓｈｏｌｄ Ｓｅｌｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｆｒｏｍ Ｇｒａｙ−Ｌｅｖｅｌ Ｈｉｓｔｏｇｒａｍｓ，" ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｙｓｔｅｍｓ， Ｍａｎ， ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ，１９７９．

非特許文献２に開示されている方法では、ある閾値を決めたときに、その閾値以上の画素値を持つ画素の集合をクラス１、それ以外の画素の集合をクラス２とすると、クラス１とクラス２の画素値からクラス間分散とクラス内分散を求め、これらの値から計算される分離度が最大となるように閾値を決定する。

判定部１４は、閾値処理を行った結果、差分絶対値が閾値未満となる画素の集合で形成される領域と、差分絶対値が閾値以上となる画素の集合で形成される領域とを領域分けし、閾値以上となった領域に外接する矩形（以下「バウンディングボックス」という。）を求める。そして、判定部１４は、バウンディングボックスが存在する箇所を、判定対象画像において異常が存在する領域と判定する。
なお、判定部１４は、閾値処理を行った結果、差分絶対値が閾値以上となる画素の集合で形成される領域が存在しない場合は、判定対象画像において撮影されている対象物３に異常は発生していないと判定する。

このように、判定部１４は、判定対象画像解析部１２２から出力された判定対象画像とドメイン変換後画像とを比較して生成した差分画像に対して閾値処理を行い、判定対象画像に撮影されている対象物３に異常が発生しているか否かを判定する。

ここで、図９は、実施の形態１において、判定部１４が差分画像に対して閾値処理を行って得た結果の一例を説明するための図である。
図９の９０１で示す領域は、差分画像において、判定部１４が閾値未満と判定した領域を示し、図９の９０２で示す領域は、差分画像において、判定部１４が閾値以上と判定した領域を示している。
図９の９０３で示す矩形は、バウンディングボックスである。判定対象画像において、バウンディングボックスが存在する位置が、撮影されている対象物３に異常が発生している位置ということになる。

判定部１４は、上述のようにして判定対象画像において撮影されている対象物３に異常が発生しているか否かを判定した、判定結果に関する情報を、入出力部１５に出力する。
判定結果に関する情報には、少なくとも、異常あり、または、異常なし等、異常が発生しているか否かを特定する情報、および、判定対象画像の情報が含まれる。
また、判定対象画像において撮影されている対象物３に異常が発生していると判定した場合は、判定部１４は、バウンディングボックスに関する情報を、判定結果に関する情報に含めて、入出力部１５に出力する。
バウンディングボックスに関する情報とは、例えば、バウンディングボックスを示す画像上、左上の点の座標、バウンディングボックスの縦幅、または、バウンディングボックスの横幅等の情報である。
判定部１４は、差分画像を入出力部１５に出力するようにしてもよい。

なお、判定部１４は、バウンディングボックスの位置または大きさに対して予め定められた条件（以下「バウンディングボックス条件」という。）を満たさないバウンディングボックスについては無視し、異常が発生している箇所と判定しないようにしてもよい。この場合、判定部１４は、入出力部１５に出力する、判定結果に関する情報には、異常なしである旨の情報を含むようにし、バウンディングボックスに関する情報は含めない。このようにすることで、差分画像中において、異常が発生しているか否かを判定する対象とすべき対象領域の範囲外での異常の誤検知、または、ノイズによる異常の誤検知を防ぐことができる。
判定部１４は、バウンディングボックス条件を、適宜の方法で決定すればよい。
例えば、判定部１４は、制御部１０からの指示に基づいてバウンディングボックス条件を決定することができる。具体的には、ユーザが入出力装置４からバウンディングボックス条件を入力し、制御部１０が入力されたバウンディング条件を受け付け、判定部１４に指示する。

また、例えば、予めユーザ等が記憶部１３にバウンディング条件を記憶させておき、判定部１４は、記憶部１３に記憶されているバウンディング条件に基づき、異常が存在するとバウンディングボックスを判定するようにしてもよい。
記憶部１３に記憶されるバウンディング条件は、例えば、以下のような条件である。
・バウンディングボックスの縦幅が１０画素以上
・バウンディングボックスの横幅が１０画素以上
・対象領域を限定するための２次元マスク

ここで、図１０は、実施の形態１において、記憶部１３にバウンディング条件として記憶されている２次元マスクの一例を説明するための図である。図１０Ｂは２次元マスクのイメージを示し、図１０Ａは、図１０Ｂで示す２次元マスクを判定対象画像に重ねたイメージを示している。
図１０Ｂの２次元マスクにおいて、図１０Ｂの１００１で示す領域が対象領域を示している。判定部１４は、判定対象画像に基づいて生成した差分画像において、図１０Ｂの１００２で示す対象領域外に検出されたバウンディングボックスは無視する。

図１の説明に戻る。
入出力部１５は、判定部１４から出力された、判定結果に関する情報を、入出力装置４に送信する。

入出力装置４では、入出力部１５から送信された情報を受信し、受信した情報を、例えば、ディスプレイに表示する。
ユーザは、入出力装置４のディスプレイを確認して、対象物３が異常な状態になっていないか、検査する。
実施の形態１では、一例として、入出力装置４は、例えば、ディスプレイを有するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）とする。
入出力装置４において判定結果に関する情報をディスプレイに表示させた場合の画面例については、後述する動作説明において、図面を用いて説明する。

なお、実施の形態１では、入出力部１５は、入出力装置４に判定結果に関する情報を送信するものとするが、これは一例に過ぎず、入出力部１５は、判定結果に関する情報を、例えば、外部の制御装置等に送信するようにしてもよい。

図１１Ａ，図１１Ｂは、実施の形態１に係る異常検査装置１のハードウェア構成の一例を示す図である。
この発明の実施の形態１において、制御部１０と、画像取得部１１と、画像解析部１２と、判定部１４の機能は、処理回路１１０１により実現される。すなわち、異常検査装置１は、取得した画像に基づき、当該画像にうつっている対象物３に異常が発生しているか否かを判定し、判定結果を出力する制御を行うための処理回路１１０１を備える。
処理回路１１０１は、図１１Ａに示すように専用のハードウェアであっても、図１１Ｂに示すようにメモリ１１０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０５であってもよい。

処理回路１１０１が専用のハードウェアである場合、処理回路１１０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路１１０１がＣＰＵ１１０５の場合、制御部１０と、画像取得部１１と、画像解析部１２と、判定部１４の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、制御部１０と、画像取得部１１と、画像解析部１２と、判定部１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１１０２、メモリ１１０６等に記憶されたプログラムを実行するＣＰＵ１１０５、システムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ１１０２、メモリ１１０６等に記憶されたプログラムは、制御部１０と、画像取得部１１と、画像解析部１２と、判定部１４の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１１０６とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ
Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、制御部１０と、画像取得部１１と、画像解析部１２と、判定部１４の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、制御部１０については専用のハードウェアとしての処理回路１１０１でその機能を実現し、画像取得部１１と、画像解析部１２と、判定部１４については処理回路がメモリ１１０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
記憶部１３は、例えば、ＨＤＤ１１０２を使用する。なお、これは一例にすぎず、記憶部１３は、ＤＶＤ、または、メモリ１１０６等によって構成されるものであってもよい。記憶部１３は各種の記録媒体で構成される。
また、異常検査装置１は、カメラ２または入出力装置４等の装置との通信を行う入力インタフェース装置１１０３および出力インタフェース装置１１０４を有する。
入出力部１５は、入力インタフェース装置１１０３および出力インタフェース装置１１０４で構成される。

次に、実施の形態１に係る異常検査装置１の動作について説明する。
以下の動作説明では、「学習モード」における異常検査装置１の動作と「検査モード」における異常検査装置１の動作とに分けて、それぞれ説明する。
まず、「学習モード」における異常検査装置１の動作について説明する。

図１２は、実施の形態１において、「学習モード」における異常検査装置１の動作を説明するためのフローチャートである。
画像取得部１１は、ネットワークを介して、カメラ２から撮影画像を取得する（ステップＳＴ１２０１）。
上述のとおり、「学習モード」において画像取得部１１が取得する撮影画像は、全て「正常画像」である。
なお、ステップＳＴ１２０１の処理は、制御部１０が、入出力装置４から起動信号および設定信号を受け取り、画像取得部１１に対して撮影画像を取得させるよう制御することで行われる。具体的には、例えば、ユーザは、入出力装置４において、異常検査装置１を起動させ「学習モード」に設定する。入出力装置４は、ユーザからの指示に基づき、異常検査装置１の起動信号、および、異常検査装置１を「学習モード」に設定する設定信号を異常検査装置１に送信する。制御部１０は、ユーザから入力された起動信号および設定信号を受け取る。
画像取得部１１は、取得した正常画像を画像解析部１２の正常画像解析部１２１に出力する。

正常画像解析部１２１は、画像取得部１１から、指定された枚数の正常画像を取得し、取得した正常画像に基づきドメイン変換学習処理を実施する（ステップＳＴ１２０２）。
ステップＳＴ１２０２の処理は、制御部１０が、画像解析部１２に対して「学習モード」での動作を指示することで行われる。

ここで、図１３は、実施の形態１において、正常画像解析部１２１が図１２のステップＳＴ１２０２で実施するドメイン変換学習処理の詳細を説明するフローチャートである。
正常画像解析部１２１は、図１２のステップＳＴ１２０１において画像取得部１１から出力された正常画像を取得すると（ステップＳＴ１３０１）、画像取得終了判定を行う（ステップＳＴ１３０２）。
具体的には、正常画像解析部１２１は、ドメイン変換学習を行う際に使用するための正常画像を、予め指定されている枚数取得したかどうかを判定する。
正常画像解析部１２１は、予め指定されている枚数の正常画像を取得していないと判定すると（ステップＳＴ１３０３の“ＮＯ”の場合）、ステップＳＴ１３０１に戻り、画像取得部１１から出力された正常画像を取得し続ける。
正常画像解析部１２１は、予め指定されている枚数の正常画像を取得したと判定すると（ステップＳＴ１３０３の“ＹＥＳ”の場合）、正常画像の取得を終了し、ステップＳＴ１３０４に進む。

正常画像解析部１２１は、ステップＳＴ１３０１にて画像取得部１１から取得した正常画像のそれぞれについて、対応する他のドメインの画像を取得し、ドメイン順変換およびドメイン逆変換を行うための学習を、ニューラルネットワークに行わせる。（ステップＳＴ１３０４）。

正常画像解析部１２１は、ステップＳＴ１３０４においてニューラルネットワークを学習させた後、学習結果として、ドメイン順変換およびドメイン逆変換を行うニューラルネットワークの構成を規定する情報を、記憶部１３に記憶させる（ステップＳＴ１３０５）。
具体的には、正常画像解析部１２１は、制御部１０を介して、ニューラルネットワークの構成を規定する情報を、記憶部１３に記憶させる。制御部１０が、記憶部１３に対して、ニューラルネットワークの構成を規定する情報を記憶する指示を与える。

このように、「学習モード」において、異常検査装置１は、カメラ２から取得した正常画像に基づき、この後実施する「検査モード」で用いるニューラルネットワークを学習させ、学習させたニューラルネットワークの構成を規定する情報を記憶させておく。

次に、「検査モード」における異常検査装置１の動作について説明する。
図１４は、実施の形態１において、「検査モード」における異常検査装置１の動作を説明するためのフローチャートである。
画像取得部１１は、ネットワークを介して、カメラ２から判定対象画像を取得する（ステップＳＴ１４０１）。
なお、ステップＳＴ１４０１の処理は、制御部１０が、入出力装置４から起動信号および設定信号を受け取り、画像取得部１１に対して撮影画像を取得させるよう制御することで行われる。具体的には、例えば、ユーザは、例えば、ユーザは、入出力装置４において、異常検査装置１を起動させ「検査モード」に設定する。入出力装置４は、ユーザからの指示に基づき、異常検査装置１の起動信号、および、異常検査装置１を「設定モード」に設定する設定信号を異常検査装置１に送信する。制御部１０は、ユーザから入力された起動信号および設定信号を受け取る。
画像取得部１１は、取得した判定対象画像を画像解析部１２の判定対象画像解析部１２２に出力する。

判定対象画像解析部１２２は、画像取得部１１から、指定された枚数の判定対象画像を取得し、取得した判定対象画像に基づき、ドメイン変換後画像取得処理を実施する（ステップＳＴ１４０２）。
ステップＳＴ１４０２の処理は、制御部１０が、判定対象画像解析部１２２に対して「検査モード」での動作を指示することで行われる。

ここで、図１５は、実施の形態１において、判定対象画像解析部１２２が図１４のステップＳＴ１４０２で実施するドメイン変換後画像取得処理の詳細を説明するフローチャートである。
判定対象画像解析部１２２は、ステップＳＴ１４０１において画像取得部１１から出力された判定対象画像を取得すると（ステップＳＴ１５０１）、画像取得終了判定を行う（ステップＳＴ１５０２）。
具体的には、判定対象画像解析部１２２は、異常を判定するための判定対象画像を、指定されている枚数取得したかどうかを判定する。
判定対象画像解析部１２２は、指定されている枚数の判定対象画像を取得していないと判定すると（ステップＳＴ１５０３の“ＮＯ”の場合）、ステップＳＴ１５０１に戻り、画像取得部１１から出力された判定対象画像を取得し続ける。
判定対象画像解析部１２２は、指定されている枚数の判定対象画像を取得したと判定すると（ステップＳＴ１５０３の“ＹＥＳ”の場合）、判定対象画像の取得を終了し、ステップＳＴ１５０４に進む。

学習結果取得部１２３は、記憶部１３に記憶されている、ニューラルネットワークの構成を規定する情報を取得する（ステップＳＴ１５０４）。
学習結果取得部１２３は、取得した情報を、判定対象画像解析部１２２に出力する。

判定対象画像解析部１２２は、ステップＳＴ１５０４で学習結果取得部１２３が取得した情報を用いて、判定対象画像のドメイン変換を行う（ステップＳＴ１５０５）。
具体的には、判定対象画像解析部１２２は、判定対象画像に対してドメイン順変換およびドメイン逆変換を順次行って、ドメイン変換後画像を得る。
そして、判定対象画像解析部１２２は、ステップＳＴ１５０１にて画像取得部１１から取得した判定対象画像と、ステップＳＴ１５０５にて得られたドメイン変換後画像とを、判定部１４に出力する。

図１４で示すフローチャートに戻る。
判定部１４は、ステップＳＴ１４０２において判定対象画像解析部１２２から出力された判定対象画像およびドメイン変換後画像を取得し、取得した判定対象画像とドメイン変換後画像とを比較して、異常判定処理を行う（ステップＳＴ１４０３）。

ここで、図１６は、実施の形態１において、判定部１４が図１４のステップＳＴ１４０３で実施する異常判定処理の詳細を説明するフローチャートである。
判定部１４は、図１４のステップＳＴ１４０２において判定対象画像解析部１２２から取得した判定対象画像とドメイン変換後画像との間で差分絶対値を算出し、差分画像を生成する（ステップＳＴ１６０１）。

判定部１４は、判定対象画像およびドメイン変換後画像を比較して生成した差分画像に対して閾値処理を行い、判定対象画像において撮影されている対象物３に異常が発生しているか否かを判定する（ステップＳＴ１６０２）。
判定部１４は、判定対象画像において撮影されている対象物３に異常が発生しているか否かを判定した判定結果に関する情報を、入出力部１５に出力する。

図１４で示すフローチャートに戻る。
入出力部１５は、ステップＳＴ１４０３において判定部１４から出力された、判定結果に関する情報を、入出力装置４に送信する（ステップＳＴ１４０４）。
「検査モード」の場合、制御部１０は、判定部１４による異常判定処理後、入出力部１５に対して、動作指示を与える。
入出力部１５が判定結果に関する情報を送信すると、入出力装置４は、入出力部１５から送信された情報を受信し、受信した情報を、例えば、ディスプレイに表示する。

ここで、図１７〜図１９は、実施の形態１において、入出力装置４が入出力部１５から送信された、判定結果に関する情報を受信し、ディスプレイに表示した表示画面のイメージの一例を説明するための図である。
図１７は、判定部１４が判定対象画像において撮影されている対象物３に異常は発生していないと判定した結果が入出力部１５から送信された場合に、入出力装置４が表示させる表示画面のイメージの一例を示している。
この場合、入出力装置４は、単に判定対象画像をそのままディスプレイに表示するとともに、異常がないことを通知するためのメッセージ（図１７の１７０１参照）をディスプレイに表示させる。
図１７では、異常がないことを通知するためのメッセージの一例として、「ＯＫ」という文字が表示されるものとしている。なお、これは一例に過ぎず、入出力装置４は、ユーザに異常がないことを通知できる適宜のメッセージを表示させるようになっていればよい。

図１８は、判定部１４が判定対象画像において撮影されている対象物３に１か所の異常が発生していると判定した結果が入出力部１５から送信された場合に、入出力装置４が表示させる表示画面のイメージの一例を示している。
この場合、入出力装置４は、判定対象画像に対して、異常箇所を重畳表示させる（図１８の１８０１参照）とともに、異常が発生していることを通知するためのメッセージ（図１８の１８０２参照）をディスプレイに表示させる。図１８では、一例として、入出力装置４は、異常が発生していることを通知するためのメッセージとして、「ＮＧ」と表示させるようにしている。
また、入出力装置４は、判定対象画像に対して、異常箇所を重畳表示させるとともに、異常箇所に注意を促すためのメッセージ（図１８の１８０３参照）をディスプレイに表示させる。図１８では、一例として、入出力装置４は、異常箇所に注意を促すためのメッセージとして、「ＣＨＥＣＫ！」と表示させるようにしている。 なお、入出力装置４は、異常箇所を、入出力部１５から送信された判定結果に関する情報に含まれる、バウンディングボックスの情報から特定すればよい。
また、図１８では、異常が発生していることを通知するためのメッセージの一例として、「ＮＧ」という文字が表示されるものとしているが、これは一例に過ぎない。入出力装置４は、ユーザに異常が発生していることを通知できる適宜のメッセージを表示させるようになっていればよい。また、図１８では、異常箇所に注意を促すためのメッセージの一例として、「ＣＨＥＣＫ！」という文字が表示されるものとしているが、これは一例に過ぎない。入出力装置４は、ユーザに、異常箇所への注意を促すことができる適宜のメッセージを表示させるようになっていればよい。

図１９は、判定部１４が判定対象画像において撮影されている対象物３に１か所の異常が発生していると判定した結果が入出力部１５から送信された場合に、入出力装置４が表示させる表示画面のイメージのその他の一例を示している。
判定対象画像において撮影されている対象物３に異常が発生していると判定された場合、入出力装置４は、異常箇所を、図１８に示すように直接的に表示するのではなく、図１９に示すように、判定対象画像に対して差分画像を合成した合成画像をディスプレイに表示させるようにしてもよい。
図１９では、入出力装置４は、例えば、左側に判定対象画像、右側に上述の合成画像を、並べて表示させるものとしている。
合成画像では、判定対象画像において正常状態からの差分が大きくなっている箇所が著しく目立つ（図１９の１９０１参照）ように表示されるため、ユーザは、異常の検査を行う際に、着目すべき箇所を容易に把握できるようになる。

なお、合成画像の生成方法は、様々な方法が考えられ、入出力装置４は、適宜の方法で、合成画像を生成すればよい。
例えば、入出力装置４は、差分が小さい部分を暗く、差分が大きい部分が明るく表示する合成画像を生成してもよいし（図１９参照）、差分が小さい部分を青く表示し、差分が大きくなるにしたがって赤くなるようにカラー表示するようにしてもよい。

また、図１７〜図１９で示したような表示画面のイメージは一例に過ぎず、入出力装置４は、その他の表示画面を表示させるようにしてもよい。例えば、入出力装置４は、図１７〜図１９で示したような表示画面を組み合わせて表示させるようにしてもよい。また、入出力装置４がディスプレイではなくスピーカ等の音声出力装置で構成される場合、入出力装置４は、例えば、音声または音楽等によって、入出力部１５から送信された、判定結果に関する情報を出力するようにしてもよい。

このように、「検査モード」において、異常検査装置１は、カメラ２から取得した判定対象画像について、予め学習しておいた、ニューラルネットワークの構成を規定する情報を用いて、ドメイン変換を行うことで、ドメイン変換後画像を取得する。そして、異常検査装置１は、判定対象画像とドメイン変換後画像との比較によって生成した差分画像に対して閾値処理を行い、判定対象画像に異常が発生しているか否かを判定する。

判定対象画像において撮影されている対象物３に異常が発生しているか否かを判定する方法としては、例えば、過去に撮影した正常画像を保存しておき、保存しておいた正常画像と、新たに取得した判定対象画像とを比較するという方法も考えられる。しかし、その場合、検出すべき異常の他にも、以下に示すような様々な要因が画像間の差異となって現れる。
・照明条件の違い
・カメラ２と対象物３との位置関係の違い
・正常範囲内での対象物３のばらつき（異常と判定すべきではない色の違い、または、異常と判定すべきではない表面の傷等）
上述のような要因による、正常画像と判定対象画像との差異と、対象物３に異常が発生していることによる、正常画像と判定対象画像との差異とを見分けることは困難である。そのため、過去に撮影した正常画像と、判定対象画像とを、単純に比較するだけでは、高精度に異常を検出することはできない。
正常画像と判定対象画像との差異の検出精度を向上させるため、例えば、撮影システムを工夫して、照明条件、および、カメラ２と対象物３との位置関係を一定に保つようにすることも考えられる。しかし、そのようにしても、カメラ２または対象物３の周囲を覆うための遮光板、または、カメラ２または対象物３の位置を高精度に決めるための治具が必要である等、撮影システムの高コスト化を招くという問題がある。

これに対し、実施の形態１に係る異常検査装置１は、画像解析部１２が、予め学習させておいたニューラルネットワークを用いて、判定対象画像を直接的に利用してドメイン変換後画像を取得し、判定部１４が、判定対象画像とドメイン変換後画像との比較によって、当該判定対象画像に異常が発生しているかどうかを判定する。
そのため、上述したような、撮影条件の違い、または、正常範囲内でのばらつきによる画像間の差異に影響を受けない高精度な異常判定が可能になる。
また、異常検査装置１は、対象物とカメラの確実な固定、または、高精度な位置決め装置等を必要としないため、導入コストの増加を抑えることが可能になる。

以上のように、この実施の形態１によれば、異常検査装置１は、検査対象の対象物３が撮影された判定対象画像を取得する画像取得部１１と、正常状態の対象物３が撮影された正常画像を教師データとして行われた、画像のドメイン順変換または画像のドメイン逆変換の機械学習の結果、を取得する学習結果取得部１２３と、画像取得部１１が取得した判定対象画像に対し、学習結果取得部１２３が取得した機械学習の結果を用いてドメイン順変換およびドメイン逆変換を順次行い、ドメイン変換後画像を取得する判定対象画像解析部１２２と、画像取得部１１が取得した判定対象画像と、判定対象画像解析部１２２が取得したドメイン変換後画像とを比較して、判定対象画像において撮影されている対象物３に、異常が発生しているか否かを判定する判定部１４とを備えるように構成した。そのため、撮影条件の違い、または、正常範囲内でのばらつきによる画像間の差異による影響を受けることなく、対象物の異常を検査することができる。
また、ユーザ等は、例えば、判定対象画像において、異常とはどのような状態であるかを詳細に定義する必要がなく、どのような異常にも汎用的に適用することができる。
さらに、学習モードにおいては、対象物とカメラの位置関係が一定でない複数の画像を用いて機械学習を行うこともできる。このような機械学習を行った場合、検査モードにおいては、任意の画像を対象とすることができ、対象物とカメラの確実な固定または高精度な位置決めを必要としないという効果を奏する。

実施の形態２．
実施の形態１では、異常検査装置１は、予め正常画像に基づきニューラルネットワークの構成を学習させておき、学習結果を用いて、判定対象画像において撮影されている対象物３に異常が発生しているか否かを判定するようにした。
実施の形態２では、異常検査装置１ａが、さらに、判定対象画像において撮影されている対象物３に発生している異常の解析を行う実施の形態について説明する。

図２０は、実施の形態２に係る異常検査装置１ａの構成例を示す図である。
図２０に示す異常検査装置１ａは、実施の形態１において図１を用いて説明した異常検査装置１とは、異常解析部１６を備える点が異なる。異常検査装置１ａの、異常解析部１６以外の構成は、実施の形態１の異常検査装置１と同様であるため、同様の構成には同じ符号を付して重複した説明を省略する。

実施の形態２に係る異常検査装置１ａでは、「検査モード」において、画像解析部１２の判定対象画像解析部１２２は、判定部１４に対して、判定対象画像およびドメイン変換後画像に加え、判定対象画像をドメイン順変換することで取得したドメイン順変換画像（図５，図６参照）を出力する。

判定部１４は、「検査モード」において、判定対象画像解析部１２２から出力された判定対象画像、ドメイン順変換画像、および、ドメイン変換後画像を取得する。判定部１４は、判定対象画像とドメイン変換後画像とを比較して異常判定処理を行うと、判定結果に関する情報を、異常解析部１６に出力する。このとき、判定部１４は、判定結果に関する情報とともに、判定対象画像解析部１２２から取得したドメイン順変換画像を、異常解析部１６に出力する。
なお、判定部１４による異常判定処理の具体的な内容は、実施の形態１で説明したとおりであるため重複した説明を省略する。

異常解析部１６は、「検査モード」において、判定部１４から出力された判定結果に関する情報とドメイン順変換画像とに基づいて異常解析処理を行い、異常解析結果に関する情報を入出力部１５に出力する。
具体的には、異常解析部１６は、判定部１４から、判定対象画像において撮影されている対象物３に異常が発生している旨の判定結果に関する情報が出力された場合に、例えば、バウンディングボックスとドメイン順変換画像とを重ね合わせることで、異常が判定対象画像中のどの領域で発生したのかを解析する。
なお、バウンディングボックスに関する情報は、判定部１４から出力される、判定結果に関する情報に含まれている。

例えば、実施の形態２において、ドメイン順変換画像は、判定対象画像をドメイン順変換して取得された領域ドメインの画像であるものとすると、異常解析部１６は、バウンディングボックスと領域ドメインの画像を重ね合わせる（図２１参照）。
図２１において、図２１の２１１は領域ドメインの画像、図２１の２１０１は基板領域、図２１の２１０２は配線領域、図２１の２１０３はＩＣ領域、図２１の２０１４はバウンディングボックスを、それぞれ示している。
図２１に示す例では、配線領域に異常が発生している。この場合、異常解析部１６は、配線に異常が発生していると解析し、配線に異常があることを示す情報を、異常解析結果に関する情報として、入出力部１５に出力する。
このとき、異常解析部１６は、異常解析結果に関する情報ともに、判定部１４から取得した、判定結果に関する情報を、入出力部１５に出力する。
なお、判定部１４から、判定対象画像において撮影されている対象物３に異常は発生していない旨の判定結果に関する情報が出力された場合、異常解析部１６は、異常解析は行わず、判定結果に関する情報を、そのまま入出力部１５に出力する。

異常解析部１６は、例えば、配線領域に異常が発生しているという情報に基づき、記憶部１３に予め記憶されている任意の情報を読み出し、読み出した情報を、異常解析結果に関する情報として、入出力部１５に出力するようにしてもよい。
異常解析部１６が記憶部１３から読み出す任意の情報とは、例えば、発生している異常に対応したエラーコード、または、発生している異常への対処マニュアル等である。

次に、実施の形態２に係る異常検査装置１ａの動作について説明する。
実施の形態２に係る異常検査装置１ａにおいても、実施の形態１に係る異常検査装置１同様、「学習モード」と「検査モード」を実施する。
異常検査装置１ａにおける「学習モード」での具体的な動作は、実施の形態１において、図１２および図１３を用いて説明した、異常検査装置１における「学習モード」での具体的な動作と同様であるため、重複した説明を省略する。

以下、実施の形態２に係る異常検査装置１ａにおける「検査モード」での動作について説明する。
図２２は、実施の形態２において、「検査モード」における異常検査装置１ａの動作を説明するためのフローチャートである。
画像取得部１１は、ネットワークを介して、カメラ２から判定対象画像を取得する（ステップＳＴ２２０１）。ステップＳＴ２２０１における画像取得部１１の具体的な動作は、実施の形態１で説明した図１４のステップＳＴ１４０１における画像取得部１１の具体的な動作と同様である。
画像取得部１１は、取得した判定対象画像を画像解析部１２の判定対象画像解析部１２２に出力する。

判定対象画像解析部１２２は、画像取得部１１から、指定された枚数の判定対象画像を取得し、取得した判定対象画像に基づき、ドメイン変換後画像取得処理を実施する（ステップＳＴ２２０２）。
ステップＳＴ２２０２において、判定対象画像解析部１２２は、実施の形態１で図１５を用いて説明したような動作を行う。ただし、ステップＳＴ２２０２では、判定対象画像解析部１２２は、判定部１４に対して、判定対象画像およびドメイン変換後画像に加え、ドメイン順変換画像も出力する。

判定部１４は、ステップＳＴ２２０２において判定対象画像解析部１２２から出力された判定対象画像、ドメイン変換後画像、および、ドメイン順変換画像を取得し、取得した判定対象画像とドメイン変換後画像とを比較して、異常判定処理を行う（ステップＳＴ２２０３）。
ステップＳＴ２２０３において、判定部１４は、実施の形態１で図１６を用いて説明したような異常判定処理を行う。
判定部１４は、判定結果に関する情報とともに、ステップＳＴ２２０２において判定対象画像解析部１２２から取得したドメイン順変換画像を、異常解析部１６に出力する。

異常解析部１６は、ステップＳＴ２２０３において判定部１４から出力された、判定結果に関する情報とドメイン順変換画像とに基づき、異常解析処理を行う（ステップＳＴ２２０４）。
「検査モード」の場合、制御部１０は、判定部１４による異常判定処理後、異常解析部１６に対して、動作指示を与える。

ここで、図２３は、実施の形態２において、異常解析部１６が図２２のステップＳＴ２２０４で実施する異常解析処理の詳細を説明するフローチャートである。
異常解析部１６は、図２２のステップＳＴ２２０３において、判定部１４から、判定対象画像において撮影されている対象物３に異常が発生している旨の判定結果に関する情報が出力されたかどうかを判定する（ステップＳＴ２３０１）。
ステップＳＴ２３０１において、異常解析部１６は、判定部１４から、判定対象画像において撮影されている対象物３に異常が発生していない旨の判定結果に関する情報が出力されたと判定した場合（ステップＳＴ２３０１の“ＮＯ”の場合）、図２３で示す処理を終了し、図２２のステップＳＴ２２０５に進む。なお、このとき、異常解析部１６は、判定部１４から出力された、判定結果に関する情報を、そのまま入出力部１５に出力する。

ステップＳＴ２３０１において、判定部１４から、判定対象画像において撮影されている対象物３に異常が発生している旨の判定結果に関する情報が出力されたと判定した場合（ステップＳＴ２３０１の“ＹＥＳ”の場合）、異常解析部１６は、バウンディングボックスとドメイン順変換画像とを重ね合わせて、異常が判定対象画像中のどの領域で発生したのかを解析する（ステップＳＴ２３０２）。そして、異常解析部１６は、判定部１４から出力された、判定結果に関する情報とともに、異常解析結果に関する情報を入出力部１５に出力する。

図２２で示すフローチャートに戻る。
入出力部１５は、ステップＳＴ２２０４において異常解析部１６から出力された、判定結果に関する情報を、入出力装置４に送信する（ステップＳＴ２２０５）。
入出力部１５は、異常解析部１６から、異常解析結果に関する情報が出力された場合には、異常解析結果に関する情報を、判定結果に関する情報とともに、入出力装置４に送信する。

入出力装置４は、入出力部１５から送信された情報を受信し、受信した情報を、例えば、ディスプレイに表示する。
例えば、入出力部１５から異常解析結果に関する情報が出力された場合、入出力装置４は、当該異常解析結果に関する情報に基づき、対象物３における異常が発生している箇所、エラーコード、または、対処マニュアルに関する情報等を、ディスプレイに表示する。

以上のように、実施の形態２によれば、異常検査装置１ａは、実施の形態１同様、撮影条件の違い、または、正常範囲内でのばらつきによる画像間の差異による影響を受けることなく、対象物の異常を検査することができる。
また、実施の形態２によれば、異常検査装置１ａは、判定対象画像解析部１２２は、画像取得部１１が取得した判定対象画像に対し、正常画像を教師データとして行われた機械学習の結果を用いたドメイン順変換を行い、取得したドメイン順変換画像を判定部１４に出力し、判定部１４が、画像取得部１１が取得した判定対象画像において撮影されている対象物３に異常が発生していると判定した場合に、ドメイン順変換画像を用いて、異常の解析を行う異常解析部１６をさらに備えるように構成した。そのため、判定対象画像に異常が発生していると判定した場合に、ドメイン順変換画像を用いて、発生していると判定した異常を解析するため、異常が発生していると判定した場合に、当該異常の分類または対処方法に関する情報を提供できる。

なお、以上の実施の形態１および実施の形態２では、異常検査装置１，１ａは、「学習モード」において、正常画像解析部１２１が、正常画像を用いた機械学習を行い当該機械学習の結果を記憶させた後、「検査モード」において、学習結果取得部１２３が、正常画像解析部１２１が記憶させた機械学習の結果を取得し、判定対象画像解析部１２２は、当該機械学習の結果を用いてドメイン変換画像を取得するようにした。
しかし、これに限らず、予め、異常検査装置１，１ａによる「検査モード」の実施前に、正常画像を用いた機械学習が行われているようになっていればよい。例えば、予め機械学習が行われ、当該機械学習の結果が記憶されている状態である場合、異常検査装置１，１ａは、正常画像解析部１２１を備えない構成とし、学習結果取得部１２３は、予め記憶されている機械学習の結果を取得するようにすることもできる。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る異常検査装置は、撮影条件の違い、または、正常範囲内でのばらつきによる画像間の差異による影響を受けることなく、対象物の異常を検査することができるように構成したため、検査対象の物体が撮影された画像に基づき、当該物体に異常がないかどうかを検査する異常検査装置に適用することができる。

１，１ａ 異常検査装置、２ カメラ、３ 対象物、４ 入出力装置、１０ 制御部、１１ 画像取得部、１２ 画像解析部、１３ 記憶部、１４ 判定部、１５ 入出力部、１６ 異常解析部、１２１ 正常画像解析部、１２２ 判定対象画像解析部、１２３ 学習結果取得部、１１０１ 処理回路、１１０２ ＨＤＤ、１１０３ 入力インタフェース装置、１１０４ 出力インタフェース装置、１１０５ ＣＰＵ、１１０６ メモリ。

Claims (6)

1. 検査対象の対象物が撮影された判定対象画像を取得する画像取得部と、
   正常状態の前記対象物が撮影された正常画像を教師データとして行われた、画像のドメイン順変換または画像のドメイン逆変換の機械学習の結果、を取得する学習結果取得部と、
   前記画像取得部が取得した前記判定対象画像に対し、前記学習結果取得部が取得した機械学習の結果を用いてドメイン順変換およびドメイン逆変換を順次行い、ドメイン変換後画像を取得する判定対象画像解析部と、
   前記画像取得部が取得した前記判定対象画像と、前記判定対象画像解析部が取得した前記ドメイン変換後画像とを比較して、前記判定対象画像において撮影されている前記対象物に、異常が発生しているか否かを判定する判定部
   とを備え、
   前記判定対象画像解析部は、前記画像取得部が取得した前記判定対象画像に対し、前記正常画像を教師データとして行われた機械学習の結果を用いたドメイン順変換を行い、ドメイン順変換画像を取得し、
   前記判定部が、前記画像取得部が取得した前記判定対象画像において撮影されている前記対象物に前記異常が発生していると判定した場合に、前記ドメイン順変換画像を用いて、前記異常の解析を行う異常解析部
   をさらに備えた異常検査装置。
2. 前記画像取得部は、前記判定対象画像に加え、正常状態の前記対象物が撮影された正常画像を取得することができるものであり、
   当該画像取得部が取得した正常画像を教師データとして、前記機械学習を行う正常画像解析部をさらに備え、
   前記学習結果取得部は、前記正常画像解析部が行った前記機械学習の結果を取得する
   ことを特徴とする請求項１記載の異常検査装置。
3. 前記判定部は、
   前記ドメイン順変換または前記ドメイン逆変換を、ニューラルネットワークを用いて行う
   ことを特徴とする請求項１記載の異常検査装置。
4. 前記判定部は、
   前記判定対象画像と前記ドメイン変換後画像をそれぞれ構成する複数の画素のうち、互いに対応する位置にある複数の画素における各画素の画素値間の差分を絶対値で示した差分画像を生成し、当該差分画像の複数画素のうち前記絶対値が閾値以上となる画素の集合で形成される領域を、前記判定対象画像において撮影されている前記対象物に異常が発生している領域と判定する
   ことを特徴とする請求項１記載の異常検査装置。
5. 前記判定部による、前記判定対象画像において撮影されている前記対象物に、異常が発生しているか否かの判定結果に関する情報を、表示装置に出力する入出力部
   を備えた請求項１記載の異常検査装置。
6. 画像取得部が、検査対象の対象物が撮影された判定対象画像を取得するステップと、
   学習結果取得部が、正常状態の前記対象物が撮影された正常画像を教師データとして行われた、画像のドメイン順変換または画像のドメイン逆変換の機械学習の結果、を取得するステップと、
   判定対象画像解析部が、前記画像取得部が取得した前記判定対象画像に対し、前記学習結果取得部が取得した機械学習の結果を用いてドメイン順変換およびドメイン逆変換を順次行い、ドメイン変換後画像を取得するステップと、
   判定部が、前記画像取得部が取得した前記判定対象画像と、前記判定対象画像解析部が取得した前記ドメイン変換後画像とを比較して、前記判定対象画像において撮影されている前記対象物に、異常が発生しているか否かを判定するステップ
   とを備え、
   前記判定対象画像解析部は、前記画像取得部が取得した前記判定対象画像に対し、前記正常画像を教師データとして行われた機械学習の結果を用いたドメイン順変換を行い、ドメイン順変換画像を取得し、
   異常解析部が、前記判定部により、前記画像取得部が取得した前記判定対象画像において撮影されている前記対象物に前記異常が発生していると判定した場合に、前記ドメイン順変換画像を用いて、前記異常の解析を行うステップ
   をさらに備えた異常検査方法。

Images