JP7460391B2

JP7460391B2 - 学習装置、画像検査装置、プログラム、および学習方法

Info

Publication number: JP7460391B2
Application number: JP2020030049A
Authority: JP
Inventors: 悟史岡本
Original assignee: Screen Holdings Co Ltd
Current assignee: Screen Holdings Co Ltd
Priority date: 2020-02-26
Filing date: 2020-02-26
Publication date: 2024-04-02
Anticipated expiration: 2040-02-26
Also published as: JP2021135630A

Description

この発明は、対象物の異常を検出する技術に関する。

食品、医薬品または工業製品等の製造工程においては、製造ラインに検査工程を設けて、不良品の検出等の検査が行われる場合がある。製品の検査は、人間が目視で行っており（目視検査）、人的コストが高いという問題があった。このため、検査工程の一部または全部を自動化するべく、機械によって自動的に製品を検査するシステムの開発が進められている。

例えば、特許文献１には、機械学習を利用して欠陥検査する技術が開示されている。具体的には、第１の学習部は、正常データの集合を用いて、正常データを判別するための第１のモデルを学習する。第２の学習部は、予め用意された複数の撮影画像の各々から第１のモデルに基づいて検出された複数の異常候補領域のうち、ユーザにより選択された異常候補領域を正解データ、ユーザにより選択されなかった異常候補領域を非正解データとして、正解データと非正解データを識別するための第２のモデルを学習する。検出部は、第１のモデルを用いて、撮影画像から異常候補領域を検出する。判断部は、第２のモデルを用いて、検出部により検出された異常候補領域が正解データに属するのか非正解データに属するのかを判断する。

特開２０１８－１２０３００号公報

特許文献１の場合、第１の学習部は、良品画像のみで機械学習を行う。一方、第２の学習部について、学習に使用されるサンプル画像として、正常なサンプル画像だけでなく、異常を含むサンプル画像も準備する必要がある。しかしながら、検査対象である対象物が、異常の発生率が低い製品である場合、欠陥を含むサンプル画像を取得することが、困難な場合があった。このため、異常の発生率が低い場合、従来技術で対応することが困難であった。

本発明の目的は、異常の発生率が低い対象物であっても、異常を良好に検出する技術を提供することにある。

上記課題を解決するため、第１態様は、画像検査装置を構築するための学習装置であって、良品である対象物を撮像して得られた良品画像である複数の対象物画像を特徴量及び教師データとし、入力された前記対象物画像を再構成した再構成画像を出力するよう学習を行うことによって、学習済みの第１学習済みデータを有する第１学習モデルを生成する第１学習モデル生成部と、前記対象物画像および前記再構成画像に基づいて、前記対象物画像における単位画素ごとの画素特徴情報を取得する画素特徴情報取得部と、前記良品画像である複数の前記対象物画像から単位画素ごとに取得される前記画素特徴情報を標本とし、前記画素特徴情報がとり得る値に対する確率分布を推定し、入力された前記画素特徴情報に対する生起確率を出力するように学習を行うことによって、学習済みの第２学習済みデータを有する第２学習モデルを生成する第２学習モデル生成部とを備える。

第２態様は、第１態様の学習装置であって、前記第２学習モデル生成部は、カーネル密度推定を用いて、前記画素特徴情報の分布に対する確率分布を推定する。

第３態様は、第１態様または第２態様の学習装置であって、前記画素特徴情報取得部は、前記対象物画像および前記再構成画像において、対応する単位画素ごとに求められた差分を、前記画素特徴情報として取得する。

第４態様は、第１態様から第３態様のいずれか１つの学習装置により学習が行われた学習モデルを用いた画像検査装置であって、検査対象である検査画像を、学習済みの前記第１学習済みデータを有する前記第１学習モデルに入力し、前記再構成画像を生成する再構成画像生成部と、前記画素特徴情報取得部により、前記検査画像および前記再構成画像に基づいて、前記検査画像における単位画素ごとに取得された前記画素特徴情報を、学習済みである前記第２学習済みデータを有する前記第２学習モデルに入力し、前記単位画素ごとの前記画素特徴情報に対する生起確率を求める生起確率取得部と、前記生起確率取得部により前記単位画素ごとに求められた生起確率に基づいて、前記単位画素が異常であるか否かを判断する異常検出部とを備える。

第５態様は、第４態様の画像検査装置であって、前記異常検出部は、予め定められた閾値と、前記単位画素ごとに求められた前記生起確率とを比較し、前記閾値より低い前記生起確率の前記単位画素を異常であると判断する。

第６態様は、第５態様の画像検査装置であって、前記閾値は、前記単位画素ごとに設定される。

第７態様は、画像検査装置を構築するための学習済みデータセットを含む、コンピュータが実行可能なプログラムであって、前記学習済みデータセットは、良品である対象物を撮像して得られた良品画像である複数の対象物画像を特徴量及び教師データとし、入力された前記対象物画像を再構成した再構成画像を出力するよう学習を行うことによって、学習済みの第１学習済みデータを有する第１学習モデルを生成する第１学習モデル生成部と、前記対象物画像および前記再構成画像に基づいて、前記対象物画像における単位画素ごとの画素特徴情報を取得する画素特徴情報取得部と、前記画素特徴情報取得部により、前記良品画像である複数の前記対象物画像から対応する単位画素ごとに取得される前記画素特徴情報の分布に基づき、前記画素特徴情報がとり得る値の確率分布を推定し、入力された前記画素特徴情報に対する生起確率を出力するように学習を行うことによって、学習済みの第２学習済みデータを有する第２学習モデルを生成する第２学習モデル生成部と、により生成された第１学習済みデータ及び第２学習済みデータからなる。

第８態様は、画像検査方法を構築するための学習方法であって、良品である対象物を撮像して得られた良品画像である複数の対象物画像を特徴量及び教師データとし、入力された前記対象物画像を再構成した再構成画像を出力とする第１学習モデルを生成する第１学習モデル生成工程と、前記対象物画像および前記再構成画像に基づいて、前記対象物画像および前記再構成画像における対応する座標にある単位画素ごとに、画素特徴情報を取得する画素特徴情報取得工程と、前記画素特徴情報取得工程により、前記良品画像である複数の前記対象物画像から対応する単位画素ごとに取得される前記画素特徴情報の分布に基づき、前記画素特徴情報がとり得る値の確率分布を推定し、入力された前記画素特徴情報に対する生起確率を出力する第２学習モデルを生成する第２学習モデル生成工程とを備える。

第９態様は、対象物を撮像して得られた対象物画像を入力とし、入力された前記対象物画像を再構成した再構成画像を出力とする第１学習モデルを用いて、検査対象である検査画像から再構成画像を生成する再構成画像生成部と、前記検査画像および前記再構成画像に基づいて、前記検査画像における単位画素ごとの画素特徴情報を取得する画素特徴情報取得部と、前記画素特徴情報を入力とし、前記画素特徴情報に対する生起確率を出力とする第２学習モデルを用いて、前記検査画像における単位画素ごとの画素特徴情報に対する生起確率を求める生起確率取得部と、前記生起確率取得部により、単位画素ごとに求められた生起確率に基づいて、前記単位画素が異常であるか否かを判断する異常検出部とを備え、前記第１学習モデルは、良品である対象物を撮像して得られた良品画像である複数の対象物画像を特徴量及び教師データとし、入力された前記対象物画像を再構成した再構成画像を出力するよう学習を行うことによって生成され、前記第２学習モデルは、前記良品画像である複数の前記対象物画像から単位画素ごとに取得される前記画素特徴情報を標本とし、前記画素特徴情報がとり得る値に対する確率分布を推定し、入力された前記画素特徴情報に対する生起確率を出力するように学習を行うことによって生成される。

第１０態様は、第９態様の画像検査装置であって、前記画素特徴情報取得部は、前記検査画像および前記再構成画像において、対応する単位画素ごとに求められた差分を、前記画素特徴情報として取得する。

第１１態様は、第９態様または第１０態様の画像検査装置であって、前記異常検出部は、予め定められた閾値と、前記生起確率取得部によって単位画素ごとに求められた生起確率とを比較し、前記閾値より低い生起確率を有する単位画素を、異常であると判断する。

第１２態様は、第１１態様の画像検査装置であって、前記閾値は、単位画素ごとに設定される。

第１３態様は、対象物を撮像して得られた対象物画像を入力とし、入力された前記対象物画像を再構成した再構成画像を出力とする第１学習モデルを用いて、検査対象である検査画像から再構成画像を生成する再構成画像生成工程と、前記検査画像および前記再構成画像に基づいて、前記検査画像における単位画素ごとの画素特徴情報を取得する画素特徴情報取得工程と、前記画素特徴情報を入力とし、前記画素特徴情報に対する生起確率を出力とする第２学習モデルを用いて、前記検査画像における単位画素ごとの前記画素特徴情報に対する生起確率を求める生起確率取得工程と、前記生起確率取得工程により、単位画素ごとに求められた生起確率に基づいて、前記単位画素が異常であるか否かを判断する異常検出工程とを備え、前記第１学習モデルは、良品である対象物を撮像して得られた良品画像である複数の対象物画像を特徴量および教師データとし、入力された前記対象物画像を再構成した再構成画像を出力するよう学習を行うことによって生成され、前記第２学習モデルは、前記良品画像である複数の前記対象物画像から単位画素ごとに取得される前記画素特徴情報を標本とし、前記画素特徴情報がとり得る値に対する確率分布を推定し、入力された前記画素特徴情報に対する生起確率を出力するように学習を行うことによって生成される。

第１態様によると、検査対象である検査画像を第１学習モデルに入力することにより、単位画素ごとの画素特徴情報が求められ、第１学習モデルが出力する単位画素ごとの画素単位情報を第２学習モデルに入力することにより、単位画素ごとの画素特徴情報に対する生起確率が出力される。生起確率の大きさに基づいて、単位画素が異常であるか否かを判断できる。

また、第１態様によると、画素特徴情報の確率分布が、複数の良品を撮像した良品画像を用いて第２学習モデルが生成される。このため、不良品の画像の影響を排除できる。

第３態様によると、カーネル密度推定によって、特定の分布を仮定することなく、画素特徴情報の確率分布を推定することができる。

第４態様によると、第１学習モデルを用いて、入力された対象画像から、良品と同等の再構成画像を生成する。仮に、対象画像が異常な部分が含む場合、対象画像と再構成画像との差分を取ることによって、正常な部分の画素特徴情報が相殺される。このため、画像検査装置は、異常な画素特徴情報の部分を選択的に抽出することができる。

実施形態の画像検査装置を示す図である。実施形態の情報処理装置のハードウェア構成を示す図である。実施形態の情報処理装置が備える機能的な構成を示す図である。実施形態の第１学習モデルを生成する流れを示す図である。実施形態の第１学習モデルを概念的に示す図である。第１学習モデルを用いて、不良画像から再構成画像を生成する処理を概念的に示す図である。実施形態の第２学習モデルを生成する流れを示す図である。良品画像と再構成画像とから差分画像を生成する処理を概念的に示す図である。複数の差分画像から画素特徴情報の標本分布を取得する処理を概念的に示す図である。画素特徴情報の標本分布から、画素特徴情報の確率分布を推定する処理を概念的に示す図である。第１学習モデルおよび第２学習モデルを用いた欠陥検知処理の流れを示す図である。図１１に示す欠陥検知処理の各段階で得られる画像を示す図である。生起確率取得処理の内容を概念的に示す図である。

以下、添付の図面を参照しながら、本発明の実施形態について説明する。なお、この実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。図面においては、理解容易のため、必要に応じて各部の寸法や数が誇張又は簡略化して図示されている場合がある。

＜１．実施形態＞
図１は、実施形態の画像検査装置１０を示す図である。画像検査装置１０は、対象物９０の画像を解析することによって、対象物９０の欠陥を検出する。対象物９０は、具体的には錠剤であるが、錠剤に限定されない。画像検査装置１０は、カメラ１１０と、情報処理装置１２０とを備える。カメラ１１０は、情報処理装置１２０と電気的に接続されている。カメラ１１０は、イメージセンサを備えている。カメラ１１０は、イメージセンサを用いて対象物９０を撮像することにより得られる画像信号を、情報処理装置１２０へ出力する。カメラ１１０に撮像される対象物９０は、所定の位置に停止していてもよいし、ベルトコンベヤなどの搬送機構により、所定の方向へ移動していてもよい。

図２は、実施形態の情報処理装置１２０のハードウェア構成を示す図である。情報処理装置１２０は、コンピュータとしての構成を備える。具体的には、情報処理装置１２０は、プロセッサ１２１と、ＲＡＭ１２３と、記憶部１２５と、入力部１２７と、表示部１２９と、機器Ｉ／Ｆ１３１と、通信Ｉ／Ｆ１３３とを備える。プロセッサ１２１、ＲＡＭ１２３、記憶部１２５、入力部１２７、表示部１２９、機器Ｉ／Ｆ１３１および通信Ｉ／Ｆ１３３は、バス１３３を介して互いに電気的に接続されている。

プロセッサ１２１は、具体的には、ＣＰＵまたはＧＰＵを含む。ＲＡＭ１２３は、情報の読み出しおよび書き込みが可能な記憶媒体であって、具体的には、ＳＤＲＡＭである。記憶部１２５は、情報の読み出しおよび書き込みが可能な記録媒体であって、具体的には、ＨＤＤ（ハードディスクドライブ）またはＳＳＤ（ソリッドステートドライブ）を含む。なお、記憶部１２５は、可搬性を有する光ディスク、磁気ディスクまたは半導体メモリ等を含んでもよい。記憶部１２５は、プログラムＰを記憶している。プロセッサ１２１は、ＲＡＭ１２３を作業領域として、プログラムＰを実行することにより、各種の機能を実現する。なお、プログラムＰは、ネットワークを介して、情報処理装置１２０に提供または配布されるようにしてもよい。

入力部１２７は、ユーザの操作入力を受け付ける入力デバイスであり、具体的には、マウスまたはキーボードなどである。表示部１２９は、各種情報を表す画像を表示する表示デバイスであり、具体的には、液晶ディスプレイである。

機器Ｉ／Ｆ１３１は、カメラ１１０を情報処理装置１２０に電気的に接続するためのインターフェースである。通信Ｉ／Ｆ１３３は、情報処理装置１２０をインターネットなどのネットワークと接続するためのインターフェースである。カメラ１１０は、通信Ｉ／Ｆ１３３を介して情報処理装置１２０と接続されてもよい。すなわち、画像検査装置１０は、カメラ１１０を備えていることは必須ではなく、情報処理装置１２０のみを備えていてもよい。

図３は、実施形態の情報処理装置１２０が備える機能的な構成を示す図である。情報処理装置１２０は、再構成画像生成部１４０、画素特徴情報取得部１４１、生起確率取得部１４２、異常検出部１４３、欠陥判定部１４５、第１学習モデル１４７、第１学習モデル生成部１４９、第２学習モデル１５１、および第２学習モデル生成部１５３を備える。再構成画像生成部１４０、画素特徴情報取得部１４１、生起確率取得部１４２、異常検出部１４３、欠陥判定部１４５、第１学習モデル生成部１４９、および第２学習モデル生成部１５３は、プロセッサ１２１がプログラムＰに従って動作することにより実現される機能である。第１学習モデル生成部１４９および第２学習モデル生成部１５３は、情報処理装置１２０に備えられていることは必須ではなく、別のコンピュータに備えられていてもよい。

再構成画像生成部１４０は、検査対象である対象物９０を撮像して得られた対象物画像９０５を、第１学習モデル１４７に入力し、再構成画像９１１を生成する。対象物画像９０５は、グレースケール画像であることが好ましいが、カラー画像であってもよい。対象物画像９０５をカラー画像とする場合、ＲＧＢのチャンネルごとに、処理が行われてもよい。

画素特徴情報取得部１４１は、対象物画像９０５および再構成画像９１１に基づいて、対象物画像９０５における単位画素ごとの画素特徴情報を取得する。単位画素は、１つ以上の画素で構成される。以下では、単位画素は、単一の画素で構成されるものとする。ただし、単位画素は、隣接する２つ以上の画素で構成されてもよい。

画素特徴情報取得部１４１は、対象物画像９０５および再構成画像９１１の差分である差分画像９２１を生成し、差分画像９２１から、画素ごとに、画素特徴情報を抽出する。画素特徴情報は、具体的には、差分画像９２１の各画素が有する輝度である。差分画像９２１の各画素の輝度は、対象物画像９０５および再構成画像９１１において対応する座標にある画素ごとに求められる、輝度の差分である。すなわち、本実施形態では、対象物画像９０５に基づいて得られる差分画像９２１における画素毎の輝度が、対象物画像９０５における画素ごとの画素特徴情報として取得される。

生起確率取得部１４２は、第２学習モデル１５１を用いて、対象物画像９０５における画素ごとの画素特徴情報に対する生起確率を求める。

異常検出部１４３は、生起確率取得部１４２によって画素ごとに求められた生起確率に基づいて、画素が異常であるか否かを判断する。本実施形態では、異常検出部１４３は、予め定められた閾値と、座標ごとに求められた生起確率とを比較する。そして、異常検出部１４３は、閾値より低い生起確率を有する画素を、異常であると判断する。

欠陥判定部１４５は、異常検出部１４３が出力する検出結果に基づいて、対象画像における欠陥の有無を判定する。具体的には、異常として検出された画素の数量が、所定の数を越える場合、または、異常として検出された画素の面積が、所定の大きさを越える場合に、欠陥判定部１４５は、欠陥を有すると判定する。プロセッサ１２１は、欠陥判定部１４５によって出力される、判定結果を表す情報を、表示部１２９に表示してもよい。判定結果を表す情報は、欠陥を有すると判定された対象画像とともに、異常として検出された画素の座標を示す情報等を含んでいてもよい。

第１学習モデル生成部１４９は、第１学習モデル１４７を生成し、記憶部１２５に記憶させる。第１学習モデル１４７は、具体的には、ニューラルネットワークを用いたオートエンコーダ、または、変分オートエンコーダ（Variational Autoencoder）である。第１学習モデル１４７が有する第１学習済みデータは、第１学習モデル１４７において、対象物画像９０５を特徴量および教師データとし、入力された対象物画像９０５を再構成した再構成画像９１１を出力するよう学習を行うことによって得られる。第１学習済みデータを得るための学習では、教師データとして、複数の良品画像９０１が用いられる。良品画像９０１は、欠陥が無いとされる対象物９０をカメラ１１０で撮像することによって得られる画像である。第１学習モデル１４７を生成する処理の詳細については、後述する。

第２学習モデル生成部１５３は、複数の良品画像９０１から画素ごとに取得される画素特徴情報を標本とし、前記画素特徴情報がとり得る値に対する確率分布を推定し、入力された前記画素特徴情報に対する生起確率を出力するように学習を行うことによって、学習済みである第２学習済みデータを有する第２学習モデル１５１を生成する。第２学習モデル生成部１５３は、カーネル密度推定を用いて、画素特徴情報の分布に対する確率分布を推定する。第２学習モデル生成部１５３は、生成した第２学習モデル１５１を、記憶部１２５に記憶させる。第２学習モデル１５３を生成する処理の詳細については、後述する。

＜第１学習モデルの生成＞
図４は、実施形態の第１学習モデル１４７を生成する流れを示す図である。図４に示すように、情報処理装置１２０は、複数の良品画像を準備する（準備工程Ｓ１１）。具体的には、プロセッサ１２１が、複数の良品の対象物９０を、カメラ１１０で撮像することによって複数の良品画像９０１を取得する。そして、プロセッサ１２１は、取得した複数の良品画像９０１を記憶部１２５に記憶させる。続いて、第１学習モデル生成部１４９が、取得された複数の良品画像９０１を用いて、第１学習モデル１４７を生成する（学習モデル生成処理Ｓ１２）。第１学習モデル生成部１４９は、生成した第１学習モデル１４７を記憶部１２５に記憶させる（記憶工程Ｓ１３）。

図５は、実施形態の第１学習モデル１４７を概念的に示す図である。図５に示すように、第１学習モデル１４７は、オートエンコーダー（自己符号化器）と称される、エンコーダに相当する部分と、デコーダに相当する部分と、を有するニューラルネットワークである。エンコーダに相当する部分は、入力画像を次元圧縮することにより潜在変数を求め、デコーダに相当する部分は、潜在変数から元の入力画像を再現する。第１学習モデル生成部１４９は、良品画像９０１を教師データとし、特徴量として入力された良品画像９０１を再構成するよう、第１学習モデル１４７に学習させる。

図６は、第１学習モデル１４７を用いて、不良画像９０３から再構成画像９１３を生成する処理を概念的に示す図である。不良画像９０３は、欠陥部分９１を含む対象物９０を、カメラ１１０を用いて撮像することにより得られた画像である。欠陥部分９１は、例えば、錠剤９０に付着した汚れまたは異物、欠け等である。第１学習モデル１４７が不良画像９０３から再現する再構成画像９１３は、欠陥部分９１を含まない良品画像となる。画素特徴情報取得部１４１は、不良画像９０３と、再構成画像９１３との差分を取る。これにより、正常な部分の輝度が相殺され、欠陥部分９１が選択的に抽出される。

＜第２学習モデルの生成＞
図７は、実施形態の第２学習モデル１５１を生成する流れを示す図である。図７に示すように、情報処理装置１２０は、複数の良品画像９０１を準備する（準備工程Ｓ２１）。準備工程Ｓ２１にて準備される複数の良品画像９０１は、図４に示す準備工程Ｓ１１で準備される複数の良品画像９０１と同じとしてもよいし、準備工程Ｓ１１とは別に取得されたものとしてもよい。準備工程Ｓ２１が完了すると、画素特徴情報取得部１４１が、第１学習モデル１４７を用いて、良品画像９０１から再構成画像９１１を生成する再構成画像生成処理Ｓ２２を実行する。また、画素特徴情報取得部１４１は、再構成画像生成処理Ｓ２２によって生成した再構成画像９１１と、元の良品画像９０１との差分を取ることによって、差分画像９２１を生成する。画素特徴情報取得部１４１は、全ての良品画像９０１について、再構成画像生成処理Ｓ２２及び差分画像生成処理Ｓ２３を実行する。

図８は、良品画像９０１と再構成画像９１１とから差分画像９２１を生成する処理を概念的に示す図である。図８に示すように、良品画像９０１から生成される再構成画像９１１は、元の良品画像９０１と相違がほとんど無い。このため、差分画像９２１では、全体的に輝度が小さい画像となる。

図７に戻って、全ての良品画像９０１について、差分画像生成処理Ｓ２３が完了すると、画素特徴情報取得部１４１が、複数の差分画像９２１から画素ごとに画素特徴情報を取得する（画素特徴情報取得処理Ｓ２４）。続いて、第２学習モデル生成部１５３が、抽出された画素特徴情報に基づいて、画素ごとに、画素特徴情報の確率分布を推定する（確率分布推定処理Ｓ２５）。まず、画素特徴情報取得処理Ｓ２４について、図９を参照しつつ説明する。

図９は、複数の差分画像９２１から画素特徴情報の標本分布２０１を取得する処理を概念的に示す図である。図９に示すように、画素特徴情報取得部１４１は、複数の差分画像９２１から、同じ座標にある画素ごとに、画素特徴情報として輝度を取得する。具体的には、図９に示すように、画素特徴情報取得部１４１は、画素群Ｐｘｓ１，Ｐｘｓ３から、輝度を抽出する。画素群Ｐｘｓ１は、複数の差分画像９２１において、１枚目の差分画像９２１における画素Ｐｘ１と同じ座標の画素の集合である。これと同様に、画素特徴情報取得部１４１は、複数の差分画像９２１において、画素Ｐｘ３と同じ座標にある画素の集合である画素群Ｐｘｓ３からも輝度を抽出する。このようにして、画素特徴情報取得部１４１は、複数の差分画像９２１から、画素ごとに輝度を抽出する。なお、複数の画素を１つの画素とする場合、複数の画素の各輝度から求められる代表値を画素の輝度としてもよい。代表値は、具体的には、平均値、中央値または最頻値のいずれかとしてもよい。

画素特徴情報取得部１４１が輝度を抽出すると、図９に示すように、第２学習モデル生成部１５３が、抽出された輝度の発生頻度（または、発生確率）を表す標本分布２０１を、画素ごとに生成する。そして、図１０に示すように、第２学習モデル生成部１５３は、標本分布２０１から、確率分布２１１を推定する確率分布推定処理Ｓ２５を実行する。

図１０は、画素特徴情報の標本分布２０１から、画素特徴情報の確率分布２１１を推定する確率分布推定処理Ｓ２５を概念的に示す図である。図１０に示すように、第２学習モデル生成部１５３は、カーネル密度推定を用いて確率分布２１１を推定する。カーネル密度推定を用いることにより、正規分布等の特定の分布の種類を決めずに、確率分布が推定される。すなわち、画素特徴情報の分布が歪みや多峰性を有する場合であっても、画像検査装置１０は、分布の大まかな形状を良好に推定することができる。なお、第２学習モデル生成部１５３は、カーネル密度推定以外の手法、例えばヒストグラム法、最尤推定法、ベイズ推定法、最近傍密度推定法などの確率密度関数の推定法を用いて、確率分布２１１を推定してもよい。

図７に戻って、第２学習モデル生成部１５３は、確率分布推定処理Ｓ２５を完了すると、保存処理Ｓ２６を実行する。記憶処理Ｓ２６は、第２学習モデル生成部１５３が、確率分布推定処理Ｓ２５によって得られた画素ごとの確率分布２１１を、第２学習モデル１５１として記憶部１２５に記憶させる処理である。

第２学習モデル生成部１５３が、確率分布推定処理Ｓ２５によって、画素ごとに、画素特徴情報の確率分布２１１を得ると、プロセッサ１２１は、生起確率の閾値Ｔｈ１を設定する、閾値設定処理Ｓ２７を実行する。閾値Ｔｈ１は、対象画像において、各画素が異常であるか否かを判定するために用いられる。具体的には、図１０に示すように、閾値Ｔｈ１は、推定された確率分布２１１において、比較的小さい値に設定される。これにより、生起確率が閾値Ｔｈ１よりも低い場合、画素特徴情報が外れ値であるとして、該当する画素が異常として検出される。例えば、特定の画素について、生起確率が１％未満の画素特徴情報を異常（外れ値）とする場合、特定の画素の閾値Ｔｈ１が０．０１に設定される。なお、プロセッサ１２１は、プログラムＰに従って、閾値Ｔｈ１を自動的に設定してもよい。あるいは、オペレータが入力部１２７を介して値を指定し、プロセッサ１２１が指定された値を閾値Ｔｈ１に設定してもよい。オペレータが閾値Ｔｈ１を指定する場合、図１０に示す確率分布２１１を表示部１２９に表示してもよい。これにより、オペレータは、確率分布２１１を視認しつつ、閾値Ｔｈ１を指定することができる。

プロセッサ１２１は、閾値Ｔｈ１を、記憶部１２５に保存する。なお、閾値Ｔｈ１は、画素ごと（すなわち、確率分布ごと）に異なっていてもよいし、あるいは、一部の画素または全ての画素で同じ値としてもよい。例えば、オペレータが閾値Ｔｈ１を指定する場合、全ての画素について閾値Ｔｈ１を同じとすることによって、閾値Ｔｈ１の設定が容易となる。

図７に示す準備工程Ｓ２１から画素特徴情報取得処理Ｓ２４までの一連の処理は、第２学習モデル１５１を生成するための画素特徴情報を収集する処理である。この画素特徴情報の収集は、第１学習モデル１４７の学習が完了した後に行われることが好ましい。ただし、画素特徴情報の収集は、第１学習モデル１４７の学習と並行して行われてもよい。すなわち、学習途中の第１学習モデル１４７を用いて、再構成画像生成処理Ｓ２２が行われてもよい。画素特徴情報の収集を開始するタイミングは、第１学習モデル１４７の学習に利用される損失関数（コスト関数）の値に基づいて決定されるとよい。また、第１学習モデル１４７の学習が完了した時点で、画素特徴情報の収集が終了されてもよいし、あるいは、第１学習モデル１４７の学習完了後も画素特徴情報の収集が継続して行われてもよい。さらに、第１学習モデル１４７の学習の開始と同時に、画素特徴情報の収集が開始されてもよい。

＜欠陥検知処理について＞
図１１は、第１学習モデル１４７および第２学習モデル１５１を用いた欠陥検知処理の流れを示す図である。また、図１２は、図１１に示す欠陥検知処理の各段階で得られる画像を示す図である。図１１に示すように、プロセッサ１２１は、まず、カメラ１１０を用いて、検査対象である対象物９０を撮像する撮像処理Ｓ３１を実行する。プロセッサ１２１は、撮像処理Ｓ３１によって、対象物画像９０５（検査画像）を得るとともに、得られた対象物画像９０５を記憶部１２５に記憶させる。以下の説明では、図１２に示すように、撮像処理Ｓ３１によって、欠陥部分９１を有する対象物画像９０５が得られた場合について説明する。

再構成画像生成部１４０は、撮像処理Ｓ３１によって得られる対象物画像９０５から第１学習モデル１４７を用いて再構成画像９１１を生成する（再構成画像生成処理Ｓ３２）。また、再構成画像生成部１４０は、差分画像生成処理Ｓ３３を実行する。差分画像生成処理Ｓ３３は、具体的には、対象物画像９０５と、再構成画像生成処理Ｓ３２によって生成される再構成画像との差分である、差分画像９２５を生成する処理である。再構成画像生成部１４０は、差分画像生成処理Ｓ３３によって生成した差分画像９２５を、記憶部１２５に記憶させる。

図６において説明したように、欠陥部分９１を含む対象物画像９０５から生成される再構成画像は、欠陥部分９１が除かれた画像となる。このため、対象物画像９０５と再構成画像との差分を取ると、正常な部分の輝度が相殺される。したがって、図１２に示すように、対象物画像９０５が欠陥部分９１を有する場合、画素特徴情報取得部１４１が、差分画像９２５において、欠陥部分９１を特異的に抽出できる。

図１１に戻って、画素特徴情報取得部１４１は、生成された差分画像９２５の１つの画素の、画素特徴情報（輝度）を取得する（画素特徴情報取得処理Ｓ３４）。画素特徴情報取得部１４１が画素特徴情報を取得すると、生起確率取得部１４２が、生起確率取得処理Ｓ３５を実行する。具体的には、生起確率取得部１４２は、第２学習モデル１５１を用いて、画素特徴情報取得処理Ｓ３４によって取得された輝度の生起確率を求める。生起確率取得処理Ｓ３５について、図１３を参照しつつ説明する。

図１３は、生起確率取得処理Ｓ３５の内容を概念的に示す図である。図１３に示すように、第２学習モデル１５１は、画素特徴情報取得処理Ｓ３４によって抽出された輝度Ｂ１が入力されると、抽出された画素に対応する確率分布２１１から、輝度Ｂ１の生起確率Ｐ１を出力する。

図１１に戻って、生起確率取得部１４２は、生起確率取得処理Ｓ３５を終了すると、差分画像９２５の全ての画素について、輝度の生起確率の取得が完了したかを判定する（判定処理Ｓ３６）。生起確率取得部１４２、全ての画素についての輝度の生起確率を取得するまで、画素特徴情報取得処理Ｓ３４から判定処理Ｓ３６までを繰り返し実行する。

判定処理Ｓ３６において、生起確率取得部１４２が全ての画素について輝度の生起確率を取得したと判定した場合（判定処理Ｓ３６においてＹＥＳ）、異常検出部１４３は、各画素の画素特徴情報が、異常であるか否かを判断する（異常検出処理Ｓ３７）。具体的には、図１２に示すように、異常検出部１４３は、生起確率取得処理Ｓ３５によって取得した生起確率に基づいて、生起確率画像９３５を生成する。生起確率画像９３５は、差分画像９２５の画素ごとに、輝度の生起確率を多階調で表現した画像である。図１２に示す生起確率画像９３５では、輝度の生起確率が低いほど暗く表現されている。欠陥部分９１の輝度は、生起確率が低いため、生起確率画像９３５では暗い像として現れる。生起確率画像９３５に基づいて、異常検出部１４３は、画素ごとに、輝度の生起確率が閾値Ｔｈ１よりも低いかを判定する。閾値Ｔｈ１は、閾値設定処理Ｓ２７（図７参照）によって、画素ごとに設定された値である。

図１３に示す例では、輝度Ｂ１が抽出された画素の生起確率Ｐ１は、当該画素について設定された閾値Ｔｈ１よりも大きい。このため、異常検出部１４３は、輝度Ｂ１が抽出された画素を正常と判定する。仮に、生起確率Ｐ１が閾値Ｔｈ１よりも小さかった場合、輝度Ｂ１が抽出された画素を異常と判定する。

異常検出部１４３は、異常検出処理Ｓ３７を完了すると、異常箇所を表す異常検出画像９４５を生成する。図１２に示すように、異常検出画像９４５は、生起確率画像９３５を、閾値Ｔｈ１を用いて２値化した画像である。

図１２に示すように、差分画像９２５では、欠陥部分９１以外の他の座標にも、比較的明るい画素が点在している。このため、差分画像９２５を適当な閾値で２値化したとしても、欠陥部分９１のみを特異的に検出することは困難である。これに対して、生起確率画像９３５の各画素を閾値Ｔｈ１で２値化した異常検出画像９４５によれば、異常な画素を特異的に抽出することができる。

画像検査装置１０において使用される第１学習モデル１４７及び第２学習モデル１５１は、良品画像９０１のみを用いた機械学習によって生成される。このため、異常の生起率が極めて低い対象物９０についても、画像検査装置１０は、異常を有効に検出することができる。

＜２．変形例＞
以上、実施形態について説明してきたが、本発明は上記のようなものに限定されるものではなく、様々な変形が可能である。

画素特徴情報取得部１４１は、第１学習モデル１４７を用いて、対象物画像９０５に基づいて生成された差分画像９２１の輝度を画素特徴情報として取得している。しかしながら、画素特徴情報は、差分画像９２１の輝度に限定されない。例えば、画素特徴情報取得部１４１は、入力画像にエッジ抽出などの空間フィルタリングを適用して得られる画像から、輝度を抽出するようにしてもよい。また、画素特徴情報取得部１４１は、差分画像に空間フィルタリングを適用してから、輝度を抽出してもよい。

第１学習モデル１４７の生成に用いる画像群の一部に、不良画像９０３が含まれていてもよい。第１学習モデル１４７の生成に用いる画像群において、不良画像９０３の数が良品画像９０１の数に比べて充分に小さい場合、不良画像９０３の影響は小さくなる。このため、第１学習モデル生成部１４９は、良品画像をほぼ再現する第１学習モデルを生成することができる。ただし、良品画像９０１のみを用いて第１学習モデル１４７を生成した場合、不良画像９０３が有する異常な画素特徴情報の影響が排除されるため、良品画像の再構成を高精度に行うことができる。

第２学習モデル１５１の生成に用いる画像群の一部に、不良画像９０３が含まれていてもよい。第２学習モデル１５１の生成に用いる画像群において、不良画像９０３の数が良品画像９０１の数に比べて充分に小さい場合、不良画像９０３の影響は小さくなる。ただし、良品画像９０１のみを用いて第２学習モデル１５１を生成することによって、正常な画素特徴情報のみの標本分布に基づいて確率分布２１１を得ることができる。このため、画像検査装置１０は、確率分布２１１を用いて、異常な画素の検出を精度良く行うことができる。

この発明は詳細に説明されたが、上記の説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。上記各実施形態及び各変形例で説明した各構成は、相互に矛盾しない限り適宜組み合わせたり、省略したりすることができる。

１０画像検査装置
１１０カメラ
１２０情報処理装置
１２１プロセッサ
１２５記憶部
１４０再構成画像生成部
１４１画素特徴情報抽出部
１４２生起確率取得部
１４３異常検出部
１４５欠陥判定部
１４７第１学習モデル
１４９第１学習モデル生成部
１５１第２学習モデル
１５３確率分布推定部
２０１標本分布（画素特徴情報の標本分布）
２１１確率分布（画素特徴情報の確率分布）
９０対象物
９０１良品画像
９０５対象画像
９１欠陥部分
９１１再構成画像
９２１，９２５差分画像
Ｂ１輝度（画素特徴情報）
Ｐ１生起確率（画素特徴情報に対する生起確率）
Ｐｘ１，Ｐｘ３画素（単位画素）

Claims

画像検査装置を構築するための学習装置であって、
良品である対象物を撮像して得られた良品画像である複数の対象物画像を特徴量及び教師データとし、入力された前記対象物画像を再構成した再構成画像を出力するよう学習を行うことによって、学習済みの第１学習済みデータを有する第１学習モデルを生成する第１学習モデル生成部と、
前記対象物画像および前記再構成画像に基づいて、前記対象物画像における単位画素ごとの画素特徴情報を取得する画素特徴情報取得部と、
前記良品画像である複数の前記対象物画像から単位画素ごとに取得される前記画素特徴情報を標本とし、前記画素特徴情報がとり得る値に対する確率分布を推定し、入力された前記画素特徴情報に対する生起確率を出力するように学習を行うことによって、学習済みの第２学習済みデータを有する第２学習モデルを生成する第２学習モデル生成部と、
を備える、学習装置。
請求項１に記載の学習装置であって、
前記第２学習モデル生成部は、カーネル密度推定を用いて、前記画素特徴情報の分布に対する確率分布を推定する、学習装置。
請求項１または請求項２に記載の学習装置であって、
前記画素特徴情報取得部は、前記対象物画像および前記再構成画像において、対応する単位画素ごとに求められた差分を、前記画素特徴情報として取得する、学習装置。
請求項１から請求項３のいずれか１項に記載の学習装置により学習が行われた学習モデルを用いた画像検査装置であって、
検査対象である検査画像を、学習済みの前記第１学習済みデータを有する前記第１学習モデルに入力し、前記再構成画像を生成する再構成画像生成部と、
前記画素特徴情報取得部により、前記検査画像および前記再構成画像に基づいて、前記検査画像における単位画素ごとに取得された前記画素特徴情報を、学習済みである前記第２学習済みデータを有する前記第２学習モデルに入力し、前記単位画素ごとの前記画素特徴情報に対する生起確率を求める生起確率取得部と、
前記生起確率取得部により前記単位画素ごとに求められた生起確率に基づいて、前記単位画素が異常であるか否かを判断する異常検出部と、
を備える、画像検査装置。
請求項４に記載の画像検査装置であって、
前記異常検出部は、予め定められた閾値と、前記単位画素ごとに求められた前記生起確率とを比較し、前記閾値より低い前記生起確率の前記単位画素を異常であると判断する、画像検査装置。
請求項５に記載の画像検査装置であって、
前記閾値は、前記単位画素ごとに設定される、画像検査装置。
画像検査装置を構築するための学習済みデータセットを含む、コンピュータが実行可能なプログラムであって、
前記学習済みデータセットは、
良品である対象物を撮像して得られた良品画像である複数の対象物画像を特徴量及び教師データとし、入力された前記対象物画像を再構成した再構成画像を出力するよう学習を行うことによって、学習済みの第１学習済みデータを有する第１学習モデルを生成する第１学習モデル生成部と、
前記対象物画像および前記再構成画像に基づいて、前記対象物画像における単位画素ごとの画素特徴情報を取得する画素特徴情報取得部と、
前記画素特徴情報取得部により、前記良品画像である複数の前記対象物画像から対応する単位画素ごとに取得される前記画素特徴情報の分布に基づき、前記画素特徴情報がとり得る値の確率分布を推定し、入力された前記画素特徴情報に対する生起確率を出力するように学習を行うことによって、学習済みの第２学習済みデータを有する第２学習モデルを生成する第２学習モデル生成部と、
により生成された第１学習済みデータ及び第２学習済みデータからなる、プログラム。
画像検査方法を構築するための学習方法であって、
良品である対象物を撮像して得られた良品画像である複数の対象物画像を特徴量及び教師データとし、入力された前記対象物画像を再構成した再構成画像を出力とする第１学習モデルを生成する第１学習モデル生成工程と、
前記対象物画像および前記再構成画像に基づいて、前記対象物画像および前記再構成画像における対応する座標にある単位画素ごとに、画素特徴情報を取得する画素特徴情報取得工程と、
前記画素特徴情報取得工程により、前記良品画像である複数の前記対象物画像から対応する単位画素ごとに取得される前記画素特徴情報の分布に基づき、前記画素特徴情報がとり得る値の確率分布を推定し、入力された前記画素特徴情報に対する生起確率を出力する第２学習モデルを生成する第２学習モデル生成工程と、
を備える、学習方法。
対象物を撮像して得られた対象物画像を入力とし、入力された前記対象物画像を再構成した再構成画像を出力とする第１学習モデルを用いて、検査対象である検査画像から再構成画像を生成する再構成画像生成部と、
前記検査画像および前記再構成画像に基づいて、前記検査画像における単位画素ごとの画素特徴情報を取得する画素特徴情報取得部と、
前記画素特徴情報を入力とし、前記画素特徴情報に対する生起確率を出力とする第２学習モデルを用いて、前記検査画像における単位画素ごとの画素特徴情報に対する生起確率を求める生起確率取得部と、
前記生起確率取得部により、単位画素ごとに求められた生起確率に基づいて、前記単位画素が異常であるか否かを判断する異常検出部と、
を備え、
前記第１学習モデルは、良品である対象物を撮像して得られた良品画像である複数の対象物画像を特徴量及び教師データとし、入力された前記対象物画像を再構成した再構成画像を出力するよう学習を行うことによって生成され、
前記第２学習モデルは、前記良品画像である複数の前記対象物画像から単位画素ごとに取得される前記画素特徴情報を標本とし、前記画素特徴情報がとり得る値に対する確率分布を推定し、入力された前記画素特徴情報に対する生起確率を出力するように学習を行うことによって生成される、画像検査装置。
請求項９に記載の画像検査装置であって、
前記画素特徴情報取得部は、前記検査画像および前記再構成画像において、対応する単位画素ごとに求められた差分を、前記画素特徴情報として取得する、画像検査装置。
請求項９または請求項１０に記載の画像検査装置であって、
前記異常検出部は、予め定められた閾値と、前記生起確率取得部によって単位画素ごとに求められた生起確率とを比較し、前記閾値より低い生起確率を有する単位画素を、異常であると判断する、画像検査装置。
請求項１１に記載の画像検査装置であって、
前記閾値は、単位画素ごとに設定される、画像検査装置。
対象物を撮像して得られた対象物画像を入力とし、入力された前記対象物画像を再構成した再構成画像を出力とする第１学習モデルを用いて、検査対象である検査画像から再構成画像を生成する再構成画像生成工程と、
前記検査画像および前記再構成画像に基づいて、前記検査画像における単位画素ごとの画素特徴情報を取得する画素特徴情報取得工程と、
前記画素特徴情報を入力とし、前記画素特徴情報に対する生起確率を出力とする第２学習モデルを用いて、前記検査画像における単位画素ごとの前記画素特徴情報に対する生起確率を求める生起確率取得工程と、
前記生起確率取得工程により、単位画素ごとに求められた生起確率に基づいて、前記単位画素が異常であるか否かを判断する異常検出工程と、
を備え、
前記第１学習モデルは、良品である対象物を撮像して得られた良品画像である複数の対象物画像を特徴量および教師データとし、入力された前記対象物画像を再構成した再構成画像を出力するよう学習を行うことによって生成され、
前記第２学習モデルは、前記良品画像である複数の前記対象物画像から単位画素ごとに取得される前記画素特徴情報を標本とし、前記画素特徴情報がとり得る値に対する確率分布を推定し、入力された前記画素特徴情報に対する生起確率を出力するように学習を行うことによって生成される、画像検査方法。