JP6939186B2 - 判定装置、判定方法および判定プログラム - Google Patents

Description

本発明は、判定装置、判定方法および判定プログラムに関する。

従来、画像に映り込んだ対象物の姿勢および位置を認識するための情報処理装置が開発されている。このような情報処理装置の一例として、たとえば、特開２０１６−１４８９号公報（特許文献１）には、以下のような情報処理装置が開示されている。すなわち、情報処理装置は、異なる姿勢の対象物体それぞれを含む複数の学習画像それぞれを構成する複数の部分学習画像を、該部分学習画像から抽出される複数の画素の画素値に基づき分類された結果と該分類された部分学習画像と前記学習画像との位置関係を示す位置情報とを登録した辞書を保持する保持手段と、複数の姿勢のいずれかの対象物体を含む入力画像を取得する第１の取得手段と、前記入力画像を構成する複数の部分画像を取得する第２の取得手段と、前記複数の部分画像それぞれから、前記部分学習画像から抽出される画素の位置に対応する画素の画素値を抽出する抽出手段と、前記抽出手段で抽出された複数の画素の画素値を比較することにより前記辞書に基づいて、前記複数の部分画像ごとに対応する部分学習画像を決定し、該決定された結果を前記位置情報に対応する位置に登録する登録手段と、前記部分画像ごとに登録された結果を集計することにより、前記入力画像に含まれる対象物体の姿勢と位置とを認識する認識手段とを備える。

特開２０１６−１４８９号公報 特開２０１４−１９７３５８号公報

"自然言語処理における畳み込みニューラルネットワークを理解する"、［ｏｎｌｉｎｅ］、けんごのお屋敷、［平成２９年７月３日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｔｋｅｎｇｏ．ｇｉｔｈｕｂ．ｉｏ／ｂｌｏｇ／２０１６／０３／１１／ｕｎｄｅｒｓｔａｎｄｉｎｇ−ｃｏｎｖｏｌｕｔｉｏｎａｌ−ｎｅｕｒａｌ−ｎｅｔｗｏｒｋｓ−ｆｏｒ−ｎｌｐ／〉

このような特許文献１に記載の技術を超えて、画像に映り込んだ対象事象の有無、たとえば対象物におけるキズまたはひび等の異常部分の有無をより良好に判定するための技術が求められている。

この発明は、上述の課題を解決するためになされたもので、その目的は、画像の判定を良好に行うことが可能な判定装置、判定方法および判定プログラムを提供することである。

（１）上記課題を解決するために、この発明のある局面に係わる判定装置は、判定用画像を取得する取得部と、前記取得部によって取得された前記判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行い、前記フィルタリング処理後の複数の前記部分画像の中から第１の所定条件を満たす前記部分画像を抽出する前処理部と、前記畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって抽出された前記部分画像が対象事象を含むか否かを判定する判定部とを備える。

（６）上記課題を解決するために、この発明の他の局面に係わる判定装置は、判定用画像を取得する取得部と、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いて、画像に対してフィルタリング処理を行う前処理部とを備え、前記前処理部は、前記取得部によって取得された前記判定用画像に対して前記フィルタリング処理を行い、前記判定装置は、さらに、前記フィルタリング処理された前記画像を学習データとして用いて作成された畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって前記フィルタリング処理された前記判定用画像を判定する判定部を備える。

（８）上記課題を解決するために、この発明のある局面に係わる判定方法は、判定装置における判定方法であって、判定用画像を取得するステップと、取得した前記判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行い、前記フィルタリング処理後の複数の前記部分画像の中から第１の所定条件を満たす前記部分画像を抽出するステップと、前記畳み込みニューラルネットワークモデルである分類モデルを用いて、抽出した前記部分画像が対象事象を含むか否かを判定するステップとを含む。

（９）上記課題を解決するために、この発明の他の局面に係わる判定方法は、判定装置における判定方法であって、判定用画像を取得するステップと、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いて、画像に対してフィルタリング処理を行うステップとを含み、前記フィルタリング処理を行うステップにおいては、取得した前記判定用画像に対して前記フィルタリング処理を行い、前記判定方法は、さらに、前記フィルタリング処理された前記画像を学習データとして用いて作成された畳み込みニューラルネットワークモデルである分類モデルを用いて、前記フィルタリング処理を行った前記判定用画像を判定するステップを含む。

（１０）上記課題を解決するために、この発明のある局面に係わる判定プログラムは、判定装置において用いられる判定プログラムであって、コンピュータを、判定用画像を取得する取得部と、前記取得部によって取得された前記判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行い、前記フィルタリング処理後の複数の前記部分画像の中から第１の所定条件を満たす前記部分画像を抽出する前処理部と、前記畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって抽出された前記部分画像が対象事象を含むか否かを判定する判定部、として機能させるためのプログラムである。

（１１）上記課題を解決するために、この発明の他の局面に係わる判定プログラムは、判定装置において用いられる判定プログラムであって、コンピュータを、判定用画像を取得する取得部と、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いて、画像に対してフィルタリング処理を行う前処理部、として機能させるためのプログラムであり、前記前処理部は、前記取得部によって取得された前記判定用画像に対して前記フィルタリング処理を行い、さらに、コンピュータを、前記フィルタリング処理された前記画像を学習データとして用いて作成された畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって前記フィルタリング処理された前記判定用画像を判定する判定部、として機能させるためのプログラムである。

本発明は、このような特徴的な処理部を備える判定装置として実現することができるだけでなく、判定装置を備える判定システムとして実現することができる。また、本発明は、判定装置の一部または全部を実現する半導体集積回路として実現することができる。

本発明によれば、画像の判定を良好に行うことができる。

図１は、本発明の第１の実施の形態に係る判定システムの構成を示す図である。 図２は、本発明の第１の実施の形態に係る判定システムにおける蓄積装置に蓄積された不良品画像の一例を示す図である。 図３は、本発明の第１の実施の形態に係る判定システムにおける蓄積装置に蓄積された良品画像の一例を示す図である。 図４は、本発明の第１の実施の形態に係る判定システムにおける学習装置が分類モデルを作成する際の動作手順を定めたフローチャートである。 図５は、図２に示す不良品画像におけるキズ部を拡大した図である。 図６は、本発明の第１の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。 図７は、本発明の第１の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。 図８は、本発明の第１の実施の形態に係る判定システムにおける学習装置が作成した分類モデルにおける処理を説明するための図である。 図９は、本発明の第１の実施の形態に係る学習装置が作成した分類モデルにおけるフィルタリング処理を説明するための図である。 図１０は、本発明の第１の実施の形態に係る判定システムにおける判定装置の構成を示す図である。 図１１は、本発明の第１の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。 図１２は、本発明の第１の実施の形態に係る判定システムにおける判定装置が判定する判定用画像の一例を示す図である。 図１３は、本発明の第１の実施の形態に係る判定システムにおける判定装置が前処理を行う際の動作手順を定めたフローチャートである。 図１４は、本発明の第１の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。 図１５は、本発明の第２の実施の形態に係る判定システムの構成を示す図である。 図１６は、本発明の第２の実施の形態に係る判定システムにおける学習装置が分類モデルを作成する際の動作手順を定めたフローチャートである。 図１７は、本発明の第２の実施の形態に係る判定システムにおける判定装置の構成を示す図である。 図１８は、本発明の第２の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。 図１９は、本発明の第２の実施の形態に係る判定システムにおける判定装置が前処理を行う際の動作手順を定めたフローチャートである。 図２０は、本発明の第２の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。

最初に、本発明の実施形態の内容を列記して説明する。

（１）本発明の実施の形態に係る判定装置は、判定用画像を取得する取得部と、前記取得部によって取得された前記判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行い、前記フィルタリング処理後の複数の前記部分画像の中から第１の所定条件を満たす前記部分画像を抽出する前処理部と、前記畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって抽出された前記部分画像が対象事象を含むか否かを判定する判定部とを備える。

畳み込みニューラルネットワークモデルには、たとえば、部分画像において、対象事象を強調して表示させるための画像フィルタが含まれる。上記のように、部分画像に対してフィルタリング処理を行う構成により、たとえば、対象事象を含む部分画像では、対象事象を強調させて表示させることができるので、対象事象を含む部分画像を漏れなく抽出することができる。これにより、判定用画像を構成する複数の部分画像のうち、対象事象を含む可能性の高い部分画像に絞って判定処理を行わせることができるので、当該複数の部分画像のすべてを判定する場合と比べて、判定処理の負荷および所要時間を小さくすることができる。すなわち、判定用画像における対象事象の有無を効率よく判定することができる。したがって、画像の判定を良好に行うことができる。

（２）好ましくは、前記畳み込みニューラルネットワークモデルは、ディープラーニングモデルである。

このように、分類モデルが、判定精度をより高めることが可能なディープラーニングモデルである構成により、部分画像における対象事象の有無をより精度よく判定することができる。

（３）より好ましくは、前記画像フィルタは、前記ディープラーニングモデルの中間層における１段目の１または複数の画像フィルタを含む。

中間層における１段目の画像フィルタは、生の部分画像に対して効果を発揮するように作成されている。また、中間層における２段目以降の画像フィルタは、その前段における画像フィルタによってフィルタリング処理された部分画像に対して効果を発揮するように作成されている。上記のように、フィルタリング処理に用いられる画像フィルタが、中間層における１段目の１または複数の画像フィルタを含む構成により、生の部分画像において、対象事象をより強調して表示させることができる。また、たとえば、フィルタリング処理に用いられる画像フィルタが、２段目以降の１または複数の画像フィルタを含む場合においても、これらの画像フィルタの効果をより発揮させることができる。

（４）好ましくは、前記前処理部は、前記複数の部分画像の各々に対して、第２の所定条件を満たす複数の前記画像フィルタを用いて前記フィルタリング処理を行う。

このような構成により、たとえば、対象事象の強調表示により適した複数の画像フィルタを用いてそれぞれフィルタリング処理された各部分画像を平均化することで、部分画像において、対象事象をより強調して表示させることができる。これにより、対象事象を含む部分画像をより漏れなく抽出することができる。

（５）好ましくは、前記前処理部は、前記対象事象を含む画像にフィルタリング処理を行うと前記フィルタリング処理後の前記画像が前記第１の所定条件を満たす前記画像フィルタを用いて、前記部分画像にフィルタリング処理を行う。

このような構成により、フィルタリング処理された部分画像において第１の所定条件が満たされる場合に、当該部分画像に対象事象が含まれる可能性をより高めることができるので、対象事象を含む部分画像をより漏れなく抽出することができる。

（６）本発明の実施の形態に係る判定装置は、判定用画像を取得する取得部と、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いて、画像に対してフィルタリング処理を行う前処理部とを備え、前記前処理部は、前記取得部によって取得された前記判定用画像に対して前記フィルタリング処理を行い、前記判定装置は、さらに、前記フィルタリング処理された前記画像を学習データとして用いて作成された畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって前記フィルタリング処理された前記判定用画像を判定する判定部を備える。

畳み込みニューラルネットワークモデルには、たとえば、画像において、キズまたはひび等の対象事象を強調して表示させるための画像フィルタが含まれる。上記のように、フィルタリング処理されることで対象事象が強調して表示された画像を、学習データとして用いて分類モデルが作成される構成により、より良質の学習データによって分類モデルを機械学習させることができる。また、フィルタリング処理された判定用画像を分類モデルに入力する構成により、対象事象を含む判定用画像を入力する場合には、対象事象が強調して表示された良質な判定用画像を分類モデルに入力することができる。これにより、分類モデルの判定精度を向上させることができるので、判定用画像における対象事象の有無をより正確に判定することができる。したがって、画像の判定を良好に行うことができる。

（７）好ましくは、前記前処理部は、前記判定用画像に対して、所定条件を満たす複数の前記画像フィルタを用いてそれぞれ前記フィルタリング処理を行い、前記判定部は、前記前処理部によって前記フィルタリング処理された各前記判定用画像を、前記分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定する。

このような構成により、たとえば、対象事象の強調表示により適した複数の画像フィルタを用いてそれぞれフィルタリング処理された各判定用画像をそれぞれ判定することで、各判定結果の精度をより高めることができる。また、各判定結果に基づいて判定用画像を総合的に判定する構成により、たとえば、複数の画像フィルタの中に対象事象の強調表示能力の劣る画像フィルタが含まれてしまい、当該画像フィルタによってフィルタリング処理された判定用画像の判定結果が誤った場合においても、他の画像フィルタによってフィルタリング処理された判定用画像の判定結果と合わせて総合的に判定することができるので、強調表示能力の劣る画像フィルタの判定結果を覆してより正確な判定結果を得ることができる。

（８）本発明の実施の形態に係る判定方法は、判定装置における判定方法であって、判定用画像を取得するステップと、取得した前記判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行い、前記フィルタリング処理後の複数の前記部分画像の中から第１の所定条件を満たす前記部分画像を抽出するステップと、前記畳み込みニューラルネットワークモデルである分類モデルを用いて、抽出した前記部分画像が対象事象を含むか否かを判定するステップとを含む。

畳み込みニューラルネットワークモデルには、たとえば、部分画像において、対象事象を強調して表示させるための画像フィルタが含まれる。上記のように、部分画像に対してフィルタリング処理を行う構成により、たとえば、対象事象を含む部分画像では、対象事象を強調させて表示させることができるので、対象事象を含む部分画像を漏れなく抽出することができる。これにより、判定用画像を構成する複数の部分画像のうち、対象事象を含む可能性の高い部分画像に絞って判定処理を行わせることができるので、当該複数の部分画像のすべてを判定する場合と比べて、判定処理の負荷および所要時間を小さくすることができる。すなわち、判定用画像における対象事象の有無を効率よく判定することができる。したがって、画像の判定を良好に行うことができる。

（９）本発明の実施の形態に係る判定方法は、判定装置における判定方法であって、判定用画像を取得するステップと、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いて、画像に対してフィルタリング処理を行うステップとを含み、前記フィルタリング処理を行うステップにおいては、取得した前記判定用画像に対して前記フィルタリング処理を行い、前記判定方法は、さらに、前記フィルタリング処理された前記画像を学習データとして用いて作成された畳み込みニューラルネットワークモデルである分類モデルを用いて、前記フィルタリング処理を行った前記判定用画像を判定するステップを含む。

畳み込みニューラルネットワークモデルには、たとえば、画像において、キズまたはひび等の対象事象を強調して表示させるための画像フィルタが含まれる。上記のように、フィルタリング処理されることで対象事象が強調して表示された画像を、学習データとして用いて分類モデルが作成される構成により、より良質の学習データによって分類モデルを機械学習させることができる。また、フィルタリング処理された判定用画像を分類モデルに入力する構成により、対象事象を含む判定用画像を入力する場合には、対象事象が強調して表示された良質な判定用画像を分類モデルに入力することができる。これにより、分類モデルの判定精度を向上させることができるので、判定用画像における対象事象の有無をより正確に判定することができる。したがって、画像の判定を良好に行うことができる。

（１０）本発明の実施の形態に係る判定プログラムは、判定装置において用いられる判定プログラムであって、コンピュータを、判定用画像を取得する取得部と、前記取得部によって取得された前記判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行い、前記フィルタリング処理後の複数の前記部分画像の中から第１の所定条件を満たす前記部分画像を抽出する前処理部と、前記畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって抽出された前記部分画像が対象事象を含むか否かを判定する判定部、として機能させるためのプログラムである。

畳み込みニューラルネットワークモデルには、たとえば、部分画像において、対象事象を強調して表示させるための画像フィルタが含まれる。上記のように、部分画像に対してフィルタリング処理を行う構成により、たとえば、対象事象を含む部分画像では、対象事象を強調させて表示させることができるので、対象事象を含む部分画像を漏れなく抽出することができる。これにより、判定用画像を構成する複数の部分画像のうち、対象事象を含む可能性の高い部分画像に絞って判定処理を行わせることができるので、当該複数の部分画像のすべてを判定する場合と比べて、判定処理の負荷および所要時間を小さくすることができる。すなわち、判定用画像における対象事象の有無を効率よく判定することができる。したがって、画像の判定を良好に行うことができる。

（１１）本発明の実施の形態に係る判定プログラムは、判定装置において用いられる判定プログラムであって、コンピュータを、判定用画像を取得する取得部と、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いて、画像に対してフィルタリング処理を行う前処理部、として機能させるためのプログラムであり、前記前処理部は、前記取得部によって取得された前記判定用画像に対して前記フィルタリング処理を行い、さらに、コンピュータを、前記フィルタリング処理された前記画像を学習データとして用いて作成された畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって前記フィルタリング処理された前記判定用画像を判定する判定部、として機能させるためのプログラムである。

畳み込みニューラルネットワークモデルには、たとえば、画像において、キズまたはひび等の対象事象を強調して表示させるための画像フィルタが含まれる。上記のように、フィルタリング処理されることで対象事象が強調して表示された画像を、学習データとして用いて分類モデルが作成される構成により、より良質の学習データによって分類モデルを機械学習させることができる。また、フィルタリング処理された判定用画像を分類モデルに入力する構成により、対象事象を含む判定用画像を入力する場合には、対象事象が強調して表示された良質な判定用画像を分類モデルに入力することができる。これにより、分類モデルの判定精度を向上させることができるので、判定用画像における対象事象の有無をより正確に判定することができる。したがって、画像の判定を良好に行うことができる。

以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施の形態の少なくとも一部を任意に組み合わせてもよい。

＜第１の実施の形態＞
［構成および基本動作］
図１は、本発明の第１の実施の形態に係る判定システムの構成を示す図である。

図１を参照して、判定システム３０１は、判定装置１０１と、蓄積装置１３１と、学習装置１５１とを備える。

図２は、本発明の第１の実施の形態に係る判定システムにおける蓄積装置に蓄積された不良品画像の一例を示す図である。

図３は、本発明の第１の実施の形態に係る判定システムにおける蓄積装置に蓄積された良品画像の一例を示す図である。

図１〜図３を参照して、カメラ１２１は、対象物を撮影する。この例では、カメラ１２１は、対象物として焼結物Ｔｇｔを撮影する。

より詳細には、焼結物Ｔｇｔは、たとえば工場において順次生産される。カメラ１２１は、生産ラインにおける焼結物Ｔｇｔを撮影し、撮影した焼結物Ｔｇｔの画像を示す画像情報を蓄積装置１３１へ送信する。このような撮影処理は、たとえば焼結物Ｔｇｔが生産ラインを流れるごとに行われる。

図２に示す画像は、対象事象の一例であるキズ部Ｄｆ１を含む焼結物Ｔｇｔの不良品の画像（以下、不良品画像とも称する。）Ｓｎｇである。蓄積装置１３１には、このようなキズ部Ｄｆ１を含む焼結物Ｔｇｔの画像すなわち不良品画像Ｓｎｇが複数枚蓄積されている。

図３に示す画像は、キズ部Ｄｆ１を含まない焼結物Ｔｇｔの良品の画像（以下、良品画像とも称する。）Ｓｇである。蓄積装置１３１には、良品画像Ｓｇが複数枚蓄積されている。

なお、対象物は、焼結物Ｔｇｔに限らず、ネジ等の他の物体または人間もしくは動物であってもよい。また、対象事象は、キズ部Ｄｆ１に限らず、ひび等であってもよい。

再び図１を参照して、蓄積装置１３１は、カメラ１２１から画像情報を受信するごとに、受信した画像情報を蓄積する。

学習装置１５１は、たとえば、ディープラーニングモデルである分類モデルを作成する。分類モデルは、たとえば、機械学習によって自動的に作成されるアルゴリズムである。ディープラーニングモデルは、畳み込みニューラルネットワークモデルの一例である。

［動作の流れ］
判定システム３０１における各装置は、コンピュータを備え、当該コンピュータにおけるＣＰＵ等の演算処理部は、以下のシーケンス図またはフローチャートの各ステップの一部または全部を含むプログラムを図示しないメモリからそれぞれ読み出して実行する。これら複数の装置のプログラムは、それぞれ、外部からインストールすることができる。これら複数の装置のプログラムは、それぞれ、記録媒体に格納された状態で流通する。

図４は、本発明の第１の実施の形態に係る判定システムにおける学習装置が分類モデルを作成する際の動作手順を定めたフローチャートである。

図４を参照して、学習装置１５１は、画像データＰｎｇ１を作成する（ステップＳ１０２）。

図５は、図２に示す不良品画像におけるキズ部を拡大した図である。

図５を参照して、ユーザは、たとえば、分類モデルを作成するための操作を学習装置１５１に対して行う。

具体的には、ユーザは、たとえば、蓄積装置１３１に蓄積された複数の画像のうち、不良品画像Ｓｎｇ（図２参照）を複数枚たとえば５００枚選択する。

そして、ユーザは、選択した不良品画像Ｓｎｇのそれぞれに対して、キズ部Ｄｆ１をマウス等のポインティングデバイスによって指定する操作を学習装置１５１に対して行う。

学習装置１５１は、たとえば、ユーザの操作に従って、ユーザによって選択された不良品画像Ｓｎｇにポインティングデバイスの軌跡Ｔｒ１をピクセル単位で描画する（図５参照）。

学習装置１５１は、軌跡Ｔｒ１をピクセル単位で描画した不良品画像Ｓｎｇを５００枚含む画像データＰｎｇ１を作成する。

再び図４を参照して、次に、学習装置１５１は、画像データＰｇ１を作成する（ステップＳ１０４）。

より詳細には、ユーザは、たとえば、蓄積装置１３１に蓄積された複数の画像のうち、良品画像Ｓｇ（図３参照）を複数枚たとえば５００枚選択し、選択結果を入力する操作を学習装置１５１に対して行う。

学習装置１５１は、たとえば、ユーザの操作に従って、ユーザによって選択された良品画像Ｓｇを５００枚含む画像データＰｇ１を作成する。

分類モデルは、このようにして作成された画像データＰｎｇ１およびＰｇ１から作成される。

次に、学習装置１５１は、画像データＰｎｇ１から複数のデータ組を作成する（ステップＳ１０６）。

図６は、本発明の第１の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。

図６を参照して、学習装置１５１は、たとえば、画像データＰｎｇ１から不良品画像Ｓｎｇを１枚取得し、所定の方式Ｍ１に従う方法により、取得した不良品画像Ｓｎｇを複数の部分画像に分割する。

より詳細には、学習装置１５１は、図６に示すように、不良品画像Ｓｎｇを複数の部分画像に分割する。この例では、学習装置１５１は、不良品画像Ｓｎｇを縦方向に均等に７分割し、かつ横方向に均等に９分割することにより、６３個の同じ形状およびサイズの部分画像に分割する。

なお、部分画像の個数は、複数であれば任意の個数でよい。また、各部分画像の形状およびサイズは、同じに限らず、形状およびサイズの少なくともいずれか一方が異なってもよい。

学習装置１５１は、分割した６３個の部分画像のそれぞれに対して、当該部分画像が対象事象を含むか否かを示す部分ラベル情報を作成する。

より詳細には、学習装置１５１は、６３個の部分画像を順番に選択し、選択した部分画像において軌跡Ｔｒ１の少なくとも一部が含まれる場合、部分ラベル情報の一例である部分ラベル、ここでは「キズあり部分」を示す部分ラベルを作成する。

一方、学習装置１５１は、選択した部分画像において軌跡Ｔｒ１が全く含まれない場合、「キズなし部分」を示す部分ラベルを作成する。

学習装置１５１は、選択した部分画像および作成した部分ラベルを含むデータ組を作成する。

このようにして、学習装置１５１は、部分画像および対応の部分ラベルを含むデータ組を６３個作成する。

学習装置１５１は、画像データＰｎｇ１における他の不良品画像Ｓｎｇについても同様に処理することによりデータ組を作成する。このようにして不良品画像Ｓｎｇについての５００×６３個すなわち３１５００個のデータ組が作成される。

再び図４を参照して、次に、学習装置１５１は、画像データＰｇ１から複数のデータ組を作成する（ステップＳ１０８）。

図７は、本発明の第１の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。図７には、図３に示す良品画像Ｓｇが分割された画像が示される。

図７を参照して、学習装置１５１は、図６に示す不良品画像Ｓｎｇと同様に、良品画像Ｓｇ（図３参照）を６３個の部分画像に分割する。

学習装置１５１は、分割した６３個の部分画像のそれぞれに対して、「キズなし部分」を示す部分ラベルを作成する。

学習装置１５１は、部分画像および対応の部分ラベルを含む６３個のデータ組を作成する。

学習装置１５１は、画像データＰｇ１における他の良品画像Ｓｇについても同様に処理することによりデータ組を作成する。このようにして、良品画像Ｓｇについての５００×６３個すなわち３１５００個のデータ組が作成される。

再び図４を参照して、次に、学習装置１５１は、画像データＰｎｇ１に基づく３１５００個のデータ組および画像データＰｇ１に基づく３１５００個のデータ組を合わせた６３５００個のデータ組を含む学習データセットを作成する（ステップＳ１１０）。

次に、学習装置１５１は、作成した学習用データセットを用いて分類モデルを作成する（ステップＳ１１２）。

具体的には、学習装置１５１は、たとえば、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）の手法に沿って、多層化したニューラルネットワークに学習データセットを入力する。

学習装置１５１は、多層化したニューラルネットワークに対して、部分画像にキズ部Ｄｆ１が含まれるか否かを分類できるように機械学習させることにより、分類モデルを作成する。

このような機械学習の結果、分類モデルは、たとえば、所定の輝度以下の背景において所定の輝度以上の筋状の模様が含まれるか否かに基づいて、部分画像にキズ部Ｄｆ１が含まれるか否かを分類する。

次に、学習装置１５１は、作成した分類モデルの判定精度を評価する評価処理を行う（ステップＳ１１４）。

具体的には、学習装置１５１は、たとえば、学習データセットとは別の、評価用のデータ組を複数含むテストデータセットを用いて、分類モデルの判定精度を評価する。

学習装置１５１は、たとえば、テストデータセットに含まれる複数のデータ組を順番に選択し、選択したデータ組における部分画像を分類モデルに入力する。

分類モデルに部分画像が入力されると、たとえば、当該部分画像にキズ部Ｄｆ１が含まれる確率を示すスコア（以下、出力スコアとも称する。）が出力される。

学習装置１５１は、たとえば、出力スコアが所定のしきい値以上である場合、当該部分画像にキズ部Ｄｆ１が含まれると判定し、また、出力スコアが当該所定のしきい値より小さい場合、当該部分画像にキズ部Ｄｆ１が含まれないと判定する。

学習装置１５１は、入力した部分画像に対応する部分ラベルと判定結果とを比較し、これらが一致した場合、正解と判定し、また、これらが一致しない場合、不正解と判定する。

学習装置１５１は、たとえば、正解と判定したデータ組の個数を、テストデータセットに含まれるデータ組の個数で除した値を、分類モデルの判定精度として算出する。

次に、学習装置１５１は、たとえば、判定精度が所定のしきい値以上である場合、当該分類モデルを採用し、モデル情報を判定装置１０１へ送信する（ステップＳ１１６）。このモデル情報の詳細については、後述する。

なお、上記ステップＳ１０２〜Ｓ１０８の順番は、ステップＳ１０２の後にステップＳ１０６が行われ、かつステップＳ１０４の後にステップＳ１０８が行われれば、上記に限らず、一部または全部の順番を変更してもよい。

また、学習装置１５１は、上記ステップＳ１１４において、テストデータセットを用いて評価処理を行う構成であるとしたが、これに限定するものではない。学習装置１５１は、たとえば、学習データセットおよびテストデータセットの両方を用いて評価処理を行う構成であってもよい。また、学習装置１５１は、たとえば、テストデータセットを利用できない場合には、学習データセットを用いて評価処理を行う構成であってもよい。

また、学習装置１５１は、上記ステップＳ１１６において、判定精度が所定のしきい値より小さい場合、たとえば、作成した分類モデルが基準に満たない旨をユーザに通知してもよい。

［分類モデルにおける処理の詳細］
図８は、本発明の第１の実施の形態に係る判定システムにおける学習装置が作成した分類モデルにおける処理を説明するための図である。

図８を参照して、分類モデルは、入力層と、中間層言い換えると隠れ層と、出力層とを含む。

中間層は、１段目と、２段目と、第１の全結合層と、第２の全結合層とを含む。１段目および２段目の各々は、畳み込み層と、プーリング層とを含む。

ここで、中間層における１段目は、分類モデルに入力された画像を最初にフィルタリングする層である。

この例では、１段目における畳み込み層は、５つの畳み込みフィルタを含む。２段目における畳み込み層は、３つの畳み込みフィルタを含む。ここで、畳み込みフィルタは、画像フィルタの一例である。

なお、図８に示す分類モデルでは、中間層は、１段目および２段目を含む構成であるとしたが、これに限定するものではない。中間層は、１段目のみを含む構成であってもよいし、３段目以降も含む構成であってもよい。

また、図８に示す分類モデルでは、中間層は、畳み込み層と、プーリング層と、全結合層とを含む構成であるとしたが、これに限定するものではない。中間層は、プーリング層および全結合層を含まずに、１または複数の畳み込み層を含む構成であってもよい。

入力層は、画像を受け付ける。この例では、入力層は、キズ部Ｄｆ１を含む部分画像（図６参照）を受け付ける。

中間層では、１段目における畳み込み層は、部分画像をフィルタリング処理する。より詳細には、畳み込み層は、たとえば、非特許文献１（“自然言語処理における畳み込みニューラルネットワークを理解する”、［ｏｎｌｉｎｅ］、けんごのお屋敷、［平成２９年７月３日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｔｋｅｎｇｏ．ｇｉｔｈｕｂ．ｉｏ／ｂｌｏｇ／２０１６／０３／１１／ｕｎｄｅｒｓｔａｎｄｉｎｇ−ｃｏｎｖｏｌｕｔｉｏｎａｌ−ｎｅｕｒａｌ−ｎｅｔｗｏｒｋｓ−ｆｏｒ−ｎｌｐ／〉）に記載の方法に従って、部分画像に対して、所定のサイズを有するマトリックス形状の畳み込みフィルタを、部分画像全体をカバーするようにスライドさせながら適用する。

この例では、１段目における畳み込み層は、５つの畳み込みフィルタを含んでいるため、入力された１つの部分画像から、フィルタリング処理された５つの部分画像が生成される。

分類モデルを作成する処理において、これらの畳み込みフィルタのサイズ、および畳み込みフィルタのマトリックスに格納される値等のパラメータが決定される。

１段目におけるプーリング層は、畳み込み層によって抽出された局所的な特徴をまとめる処理を行う。言い換えると、プーリング層は、畳み込み層によって抽出された局所的な特徴を維持しながら、フィルタリング処理された５つの部分画像の各々を縮小処理する。

２段目における畳み込み層およびプーリング層も、それぞれ１段目における畳み込み層およびプーリング層と同様の処理を行う。

２段目におけるプーリング層によって処理された部分画像は、たとえば、第１の全結合層および第２の全結合層により１つのベクトルにまとめられた後、出力層において出力スコアとして算出される。

［フィルタリング処理の効果］
図９は、本発明の第１の実施の形態に係る学習装置が作成した分類モデルにおけるフィルタリング処理を説明するための図である。

図８および図９を参照して、たとえば、１段目における畳み込み層は、入力層において入力された１つの部分画像を、５つの畳み込みフィルタＦＬ１〜ＦＬ５を用いてそれぞれフィルタリング処理することにより、フィルタリング処理された５つの部分画像を生成する。

フィルタリング処理された５つの部分画像では、たとえば、キズ部Ｄｆ１の輪郭が強調される。より詳細には、キズ部Ｄｆ１の輪郭を表示する画素の輝度が、輪郭以外を表示する画素の輝度より大きくなることによってキズ部Ｄｆ１の輪郭が強調される。

なお、フィルタリング処理された５つの部分画像では、キズ部Ｄｆ１と同様に、焼結物Ｔｇｔの輪郭も強調される。

また、畳み込みフィルタＦＬ１〜ＦＬ５のパラメータに応じてキズ部Ｄｆ１の輪郭を表示する画素の輝度が異なる。この例では、畳み込みフィルタＦＬ１〜ＦＬ５の順に、キズ部Ｄｆ１の輪郭を表示する画素の輝度が小さくなる。

［モデル情報］
学習装置１５１は、上記ステップＳ１１６（図４参照）において、たとえば、複数の画像フィルタ、方式Ｍ１および分類モデルを含むモデル情報を作成し、作成したモデル情報を判定装置１０１へ送信する。

詳細には、学習装置１５１は、たとえば、ディープラーニングモデルの中間層における１段目から複数の画像フィルタを抽出する。

より詳細には、学習装置１５１は、たとえば、ディープラーニングモデルの中間層における１段目から第２の所定条件を満たす複数の画像フィルタを抽出する。

ここで、第２の所定条件は、たとえば、畳み込みフィルタＦＬ１〜ＦＬ５のうち、フィルタリング処理後の部分画像において、軌跡Ｔｒ１周辺における画素の輝度、すなわちキズ部Ｄｆ１の輪郭を表示する各画素の輝度の平均値が上位の所定順位内であることである。

ここでは、上記所定順位は、たとえば３位である。学習装置１５１は、畳み込みフィルタＦＬ１〜ＦＬ５のうち、畳み込みフィルタＦＬ１〜ＦＬ３を抽出する。

なお、上記所定順位は、２位であってもよいし、４位以上であってもよい。また、第２の所定条件は、たとえば、キズ部Ｄｆ１の輪郭を表示する各画素の輝度の平均値が所定値以上であることであってもよい。

学習装置１５１は、畳み込みフィルタＦＬ１〜ＦＬ３、方式Ｍ１および分類モデルを含むモデル情報を判定装置１０１へ送信する。

［判定装置の構成］
図１０は、本発明の第１の実施の形態に係る判定システムにおける判定装置の構成を示す図である。

図１０を参照して、判定装置１０１は、取得部２１と、判定部２２と、前処理部２３と、送信部２４と、画像分割部２５とを備える。

図１１は、本発明の第１の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。

図１０および図１１を参照して、まず、判定装置１０１における取得部２１は、分類モデルおよび画像フィルタを取得する（ステップＳ２０２）。

より詳細には、取得部２１は、たとえば、学習装置１５１からモデル情報を受信すると、受信したモデル情報を画像分割部２５へ出力する。

次に、取得部２１は、判定用画像を取得する（ステップＳ２０４）。詳細には、取得部２１は、たとえば、焼結物Ｔｇｔが生産ラインを流れるごとに当該焼結物Ｔｇｔの画像を判定用画像として取得する。

より詳細には、取得部２１は、蓄積装置１３１における画像情報の蓄積状況を監視し、たとえば、蓄積装置１３１において新たな画像情報が蓄積されると、当該新たな画像情報を蓄積装置１３１から取得する。取得部２１は、取得した判定用画像を画像分割部２５へ出力する。

図１２は、本発明の第１の実施の形態に係る判定システムにおける判定装置が判定する判定用画像の一例を示す図である。

図１１および１２を参照して、次に、画像分割部２５は、判定用画像を複数の部分画像に分割する（ステップＳ２０６）。

より詳細には、画像分割部２５は、取得部２１から判定用画像を受けると、取得部２１から受けたモデル情報に含まれる方式Ｍ１を取得し、方式Ｍ１に従う方法により、当該判定用画像を６３個の部分画像に分割する。

また、判定部２２は、たとえば、分割した６３個の部分画像の各々に部分画像位置情報を付する。

ここで、部分画像位置情報は、たとえば、縦方向の段および横方向の段にそれぞれアルファベットＡ〜Ｇおよび番号１〜９を割り当てた場合における、対象の部分画像の位置する縦方向の段のアルファベットおよび横方向の段の番号を示す。

画像分割部２５は、６３個の部分画像およびモデル情報を前処理部２３へ出力する。

なお、部分画像位置情報は、たとえば、画像全体を基準とした場合における判定用部分画像のピクセル単位での座標であってもよい。

また、図１２に示す判定用画像には、キズ部Ｄｆ２が含まれる。より詳細には、キズ部Ｄｆ２を含む部分画像が「Ｄ８」に位置する。

図１１を参照して、次に、前処理部２３は、画像分割部２５から６３個の部分画像およびモデル情報を受けると、モデル情報に基づいて、画像分割部２５によって分割された部分画像に対して前処理を行う（ステップＳ２０８）。

すなわち、前処理部２３は、取得部２１によって取得された判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行う。

そして、前処理部２３は、フィルタリング処理後の複数の部分画像の中から第１の所定条件を満たす部分画像（以下、判定用部分画像とも称する。）を抽出する。

前処理部２３は、抽出した判定用部分画像、およびモデル情報を判定部２２へ出力する。前処理の詳細については、後述する。

次に、判定部２２は、畳み込みニューラルネットワークモデルである分類モデルを用いて、前処理部２３によって抽出された部分画像が対象事象を含むか否かを判定する判定処理を行う（ステップＳ２１０）。

より詳細には、判定部２２は、前処理部２３から判定用部分画像およびモデル情報を受けると、モデル情報に基づいて、前処理部２３から受けた判定用部分画像がキズ部を含むか否かを判定する。判定処理の詳細については、後述する。

なお、上記ステップＳ２０２およびＳ２０４の順番は、上記に限らず、順番を入れ替えてもよい。

図１３は、本発明の第１の実施の形態に係る判定システムにおける判定装置が前処理を行う際の動作手順を定めたフローチャートである。図１３は、図１１のステップＳ２０８における動作の詳細を示している。

図１３を参照して、前処理部２３は、たとえば、複数の部分画像の各々に対して、第２の所定条件を満たす複数の画像フィルタを用いてフィルタリング処理を行う。

より詳細には、前処理部２３は、たとえば、６３個の部分画像の各々に対して、第２の所定条件を満たす複数の画像フィルタを用いてそれぞれフィルタリング処理を行った後、フィルタリング処理後の各部分画像に基づく平均化部分画像を生成する生成処理を行う。

そして、前処理部２３は、たとえば、６３個の部分画像の中から第１の所定条件を満たす部分画像すなわち判定用部分画像を抽出する。

まず、前処理部２３は、６３個の部分画像のうちの１つを選択する（ステップＳ３０２）。

次に、前処理部２３は、選択した部分画像に対して、モデル情報に含まれる畳み込みフィルタＦＬ１〜ＦＬ３を用いて、それぞれフィルタリング処理を行うことにより、３つの部分画像を生成する（ステップＳ３０４）。

次に、前処理部２３は、たとえば、生成したフィルタリング処理後の３つの部分画像を平均化した平均化部分画像を生成する（ステップＳ３０６）。平均化部分画像における画素の輝度は、たとえば、フィルタリング処理後の３つの部分画像における対応の各画素の輝度の平均である。

次に、前処理部２３は、生成した平均化部分画像が第１の所定条件を満たすか否かを判断する（ステップＳ３０８）。

ここで、第１の所定条件は、たとえば、対象の部分画像、ここでは対応の平均化部分画像がしきい値Ｔｈ１以上の輝度を有する画素を含むことである。

また、第１の所定条件を満たす部分画像は、たとえば、図１２に示す判定用画像において、キズ部Ｄｆ２を含む「Ｄ８」に位置する部分画像、ならびに焼結物Ｔｇｔの輪郭を含む「Ｃ８」および「Ｅ８」等に位置する部分画像である。

また、第１の所定条件を満たさない部分画像は、たとえば、キズ部Ｄｆ２および焼結物Ｔｇｔの輪郭の両方を含まない「Ｃ７」、「Ｄ７」および「Ｅ７」等に位置する部分画像である。

前処理部２３は、平均化部分画像がしきい値Ｔｈ１以上の輝度を有する画素を含む場合（ステップＳ３０８でＹＥＳ）、平均化部分画像に対応する部分画像、すなわち選択した部分画像を判定用部分画像として抽出する（ステップＳ３１０）。

次に、前処理部２３は、６３個の部分画像をすべて選択したか否かを確認する（ステップＳ３１２）。

前処理部２３は、上記６３個の部分画像の中で未選択の部分画像が存在する場合（ステップＳ３１２でＮＯ）、上記６３個の部分画像において未選択の部分画像を１つ選択する（ステップＳ３０２）。

一方、前処理部２３は、上記６３個の部分画像をすべて選択した場合（ステップＳ３１２でＹＥＳ）、抽出した判定用部分画像、およびモデル情報を判定部２２へ出力する。

図１４は、本発明の第１の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。図１４は、図１１のステップＳ２１０における動作の詳細を示している。

図１４を参照して、まず、判定部２２は、前処理部２３によって抽出された１または複数の判定用部分画像のうちの１つを選択する（ステップＳ４０２）。

次に、判定部２２は、モデル情報に含まれる分類モデルに、選択した判定用部分画像を入力する（ステップＳ４０４）。

次に、判定部２２は、分類モデルに判定用部分画像を入力することにより出力された出力スコアが所定のしきい値Ｔｈ２以上である場合（ステップＳ４０６でＹＥＳ）、判定用部分画像にキズ部が含まれることについて「真」であると判定し、判定用画像に映った焼結物Ｔｇｔをキズ有りと判断する（ステップＳ４１２）。

一方、判定部２２は、上記出力スコアが所定のしきい値Ｔｈ２より小さい場合（ステップＳ４０６でＮＯ）、判定用部分画像にキズ部が含まれることについて「偽」であると判定し、前処理部２３によって抽出された判定用部分画像をすべて選択したか否かを確認する（ステップＳ４０８）。

判定部２２は、前処理部２３によって抽出された判定用部分画像の中で未選択の判定用部分画像が存在する場合（ステップＳ４０８でＮＯ）、前処理部２３によって抽出された判定用部分画像において未選択の判定用部分画像を１つ選択する（ステップＳ４０２）。

一方、判定部２２は、前処理部２３によって抽出された判定用部分画像をすべて選択した場合（ステップＳ４０８でＹＥＳ）、判定用画像に映った焼結物Ｔｇｔを良品と判断する（ステップＳ４１０）。

次に、判定部２２は、判定用画像に映った焼結物Ｔｇｔをキズ有りと判断するか（ステップＳ４１２）、または判定用画像に映った焼結物Ｔｇｔを良品と判断すると（ステップＳ４１０）、判断結果を示す結果情報を送信部２４経由で上位装置１６１へ送信する（ステップＳ４１４）。

再び図１を参照して、上位装置１６１は、たとえば、生産ラインを管理するサーバである。上位装置１６１は、判定装置１０１から結果情報を受信して、受信した結果情報がキズ有りを示す場合、たとえば、当該焼結物Ｔｇｔを生産ラインから除外させたり、当該焼結物Ｔｇｔの識別子をユーザに通知したりする。

［判定システム３０１の変形例］
学習装置１５１は、ディープラーニングモデルの中間層における１段目から第２の所定条件を満たす複数の画像フィルタを抽出する構成であるとしたが、これに限定するものではない。

学習装置１５１は、たとえば、対象事象を含む画像にフィルタリング処理を行うとフィルタリング処理後の画像が第１の所定条件を満たす１または複数の画像フィルタを抽出する構成であってもよい。

具体的には、学習装置１５１は、たとえば、畳み込みフィルタＦＬ１〜ＦＬ５によってそれぞれフィルタリング処理された５つの部分画像のうち（図９参照）、しきい値Ｔｈ１以上の輝度を有する画素を含む部分画像を特定する。

ここでは、学習装置１５１は、たとえば、畳み込みフィルタＦＬ１，ＦＬ２によってそれぞれフィルタリング処理された２つの部分画像を特定する。

学習装置１５１は、特定結果に基づいて、第１の所定条件を満たす画像フィルタとして畳み込みフィルタＦＬ１，ＦＬ２を抽出する。

学習装置１５１は、抽出した畳み込みフィルタＦＬ１，ＦＬ２、方式Ｍ１および分類モデルを含むモデル情報を判定装置１０１へ送信する。

再び図１０を参照して、前処理部２３は、図１３に示すステップＳ３０４において、学習装置１５１からのモデル情報に含まれる畳み込みフィルタＦＬ１，ＦＬ２を用いて、部分画像に対してフィルタリング処理を行う。

なお、本発明の第１の実施の形態に係る判定装置では、判定部２２は、ディープラーニングモデルである分類モデルを用いる構成であるとしたが、これに限定するものではない。判定部２２は、畳み込みニューラルネットワークモデルである分類モデルを用いる構成であればよい。

また、本発明の第１の実施の形態に係る判定装置は、送信部２４を備える構成であるとしたが、これに限定するものではない。判定装置１０１は、送信部２４を備えない構成であってもよい。

また、本発明の第１の実施の形態に係る判定システムでは、判定装置１０１および学習装置１５１は、別体であるとしたが、これに限定するものではない。判定装置１０１は、学習装置１５１を備える構成であってもよい。

また、本発明の第１の実施の形態に係る判定装置では、分類モデルは、ディープラーニングモデルであるとしたが、これに限定するものではない。分類モデルは、ディープラーニングモデル以外の他の畳み込みニューラルネットワークモデルであってもよい。

また、本発明の第１の実施の形態に係る判定装置では、画像フィルタは、ディープラーニングモデルの中間層における１段目の１または複数の畳み込みフィルタを含む構成であるとしたが、これに限定するものではない。画像フィルタは、たとえば、中間層における２段目以降の１または複数の畳み込みフィルタをさらに含む構成であってもよい。

また、本発明の第１の実施の形態に係る判定装置では、画像フィルタは、ディープラーニングモデルの中間層における１段目の１または複数の畳み込みフィルタを含む構成であるとしたが、これに限定するものではない。画像フィルタは、たとえば、中間層における１段目の代わりに、２段目以降の１または複数の畳み込みフィルタを含む構成であってもよい。

また、本発明の第１の実施の形態に係る判定装置は、第２の所定条件を満たす複数の画像フィルタ、または第１の所定条件を満たす画像フィルタを用いてフィルタリング処理を行う構成であるとしたが、これに限定するものではない。判定装置１０１は、たとえば、中間層におけるすべての畳み込みフィルタ（図８参照）、または中間層から任意に抽出した畳み込みフィルタを用いてフィルタリング処理を行う構成であってもよい。

ところで、このような特許文献１に記載の技術を超えて、画像に映り込んだ対象事象の有無、たとえば対象物におけるキズまたはひび等の異常部分の有無をより良好に判定するための技術が求められている。

より詳細には、再び図６〜図８を参照して、判定用画像の一例である不良品画像Ｓｎｇおよび良品画像Ｓｇの各々は、６３個の部分画像を含むため、判定用画像に映り込んだ焼結物Ｔｇｔにキズ部Ｄｆ１が含まれるか否かを判断するためには、６３個の部分画像を順次、分類モデルに入力することが求められる。

このように、６３個の部分画像をすべて分類モデルに入力する場合、処理時間が長くなってしまう。たとえば、工場における生産品の良否判定は、迅速に行われることが好ましいので、判定用画像にキズ部Ｄｆ１が含まれるか否かを迅速に判断可能な技術が求められる。

これに対して、本発明の第１の実施の形態に係る判定装置では、取得部２１は、判定用画像を取得する。前処理部３３は、取得部２１によって取得された判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行う。前処理部３３は、フィルタリング処理後の複数の部分画像の中から第１の所定条件を満たす部分画像を抽出する。そして、判定部２２は、畳み込みニューラルネットワークモデルである分類モデルを用いて、前処理部２３によって抽出された部分画像が対象事象を含むか否かを判定する。

畳み込みニューラルネットワークモデルには、たとえば、部分画像において、対象事象を強調して表示させるための画像フィルタが含まれる。上記のように、部分画像に対してフィルタリング処理を行う構成により、たとえば、対象事象を含む部分画像では、対象事象を強調させて表示させることができるので、対象事象を含む部分画像を漏れなく抽出することができる。これにより、判定用画像を構成する複数の部分画像のうち、対象事象を含む可能性の高い部分画像に絞って判定処理を行わせることができるので、当該複数の部分画像のすべてを判定する場合と比べて、判定処理の負荷および所要時間を小さくすることができる。すなわち、判定用画像における対象事象の有無を効率よく判定することができる。したがって、画像の判定を良好に行うことができる。

また、本発明の第１の実施の形態に係る判定装置では、畳み込みニューラルネットワークモデルは、ディープラーニングモデルである。

このように、分類モデルが、判定精度をより高めることが可能なディープラーニングモデルである構成により、部分画像における対象事象の有無をより精度よく判定することができる。

また、本発明の第１の実施の形態に係る判定装置では、画像フィルタは、ディープラーニングモデルの中間層における１段目の１または複数の画像フィルタを含む。

中間層における１段目の画像フィルタは、生の部分画像に対して効果を発揮するように作成されている。また、中間層における２段目以降の画像フィルタは、その前段における画像フィルタによってフィルタリング処理された部分画像に対して効果を発揮するように作成されている。上記のように、フィルタリング処理に用いられる画像フィルタが、中間層における１段目の１または複数の画像フィルタを含む構成により、生の部分画像において、対象事象をより強調して表示させることができる。また、たとえば、フィルタリング処理に用いられる画像フィルタが、２段目以降の１または複数の画像フィルタを含む場合においても、これらの画像フィルタの効果をより発揮させることができる。

また、本発明の第１の実施の形態に係る判定装置では、前処理部２３は、複数の部分画像の各々に対して、第２の所定条件を満たす複数の画像フィルタを用いてフィルタリング処理を行う。

このような構成により、たとえば、対象事象の強調表示により適した複数の画像フィルタを用いてそれぞれフィルタリング処理された各部分画像を平均化することで、部分画像において、対象事象をより強調して表示させることができる。これにより、対象事象を含む部分画像をより漏れなく抽出することができる。

また、本発明の第１の実施の形態に係る判定装置では、前処理部２３は、対象事象を含む画像にフィルタリング処理を行うとフィルタリング処理後の画像が第１の所定条件を満たす画像フィルタを用いて、部分画像にフィルタリング処理を行う。

このような構成により、フィルタリング処理された部分画像において第１の所定条件が満たされる場合に、当該部分画像に対象事象が含まれる可能性をより高めることができるので、対象事象を含む部分画像をより漏れなく抽出することができる。

次に、本発明の他の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

＜第２の実施の形態＞
本実施の形態は、第１の実施の形態に係る判定システムと比べて、フィルタリング処理された画像を学習データとして用いて作成された分類モデルを用いる判定システムに関する。以下で説明する内容以外は第１の実施の形態に係る判定システムと同様である。

［構成および基本動作］
図１５は、本発明の第２の実施の形態に係る判定システムの構成を示す図である。

図１５を参照して、判定システム３０２は、判定装置１０２と、蓄積装置１３１と、学習装置１５２とを備える。

判定システム３０２における蓄積装置１３１の動作は、図１に示す判定システム３０１における蓄積装置１３１と同様である。

図１６は、本発明の第２の実施の形態に係る判定システムにおける学習装置が分類モデルを作成する際の動作手順を定めたフローチャートである。

図１６を参照して、ステップＳ５０２〜Ｓ５１２の動作は、図４に示すステップＳ１０２〜Ｓ１１２の動作と同様である。

次に、学習装置１５２は、作成した分類モデルの判定精度を評価する評価処理を行う（ステップＳ５１４）。

次に、学習装置１５２は、たとえば、判定精度が所定のしきい値以上である場合、ディープラーニングモデルの中間層における１段目から第２の所定条件を満たす複数の画像フィルタを抽出する（ステップＳ５１６）。

ここでは、学習装置１５２は、畳み込みフィルタＦＬ１〜ＦＬ５のうち、畳み込みフィルタＦＬ１〜ＦＬ３を抽出する（図９参照）。

次に、学習装置１５２は、学習データセットとは別の、新たな学習データセット（以下、新学習データセットとも称する。）を作成する（ステップＳ５１８）。

次に、学習装置１５２は、新学習データセットに含まれる部分画像の各々に対して、畳み込みフィルタＦＬ１〜ＦＬ３を用いてそれぞれフィルタリング処理を行う（ステップＳ５２０）。

次に、学習装置１５２は、フィルタリング処理された各部分画像を含む新学習用データセットを用いて、ディープラーニングモデルである分類モデル（以下、処理済用分類モデルとも称する。）を作成する（ステップＳ５２２）。

次に、学習装置１５２は、作成した処理済用分類モデルの判定精度を評価する評価処理を行う（ステップＳ５２４）。

次に、学習装置１５２は、たとえば、判定精度が所定のしきい値以上である場合、当該処理済用分類モデルを採用し、畳み込みフィルタＦＬ１〜ＦＬ３、方式Ｍ１および処理済用分類モデルを含むモデル情報を判定装置１０２へ送信する（ステップＳ５２６）。

なお、学習装置１５２は、上記ステップＳ５１８において、学習データセットとは別の、新学習データセットを作成する構成であるとしたが、これに限定するものではない。学習装置１５２は、たとえば、新学習データセットを作成しない構成であってもよい。

この場合、学習装置１５２は、学習データセットに含まれる部分画像の各々に対して、畳み込みフィルタＦＬ１〜ＦＬ３を用いてそれぞれフィルタリング処理を行う（ステップＳ５２０）。そして、学習装置１５２は、フィルタリング処理後の各部分画像を含む学習用データセットを用いて処理済用分類モデルを作成する（ステップＳ５２２）。

また、学習装置１５２は、上記ステップＳ５１６において、判定精度が所定のしきい値より小さい場合、たとえば、作成した分類モデルが基準に満たない旨をユーザに通知してもよい。

また、学習装置１５２は、上記ステップＳ５２６において、判定精度が所定のしきい値より小さい場合、たとえば、作成した処理済用分類モデルが基準に満たない旨をユーザに通知してもよい。

［判定装置の構成］
図１７は、本発明の第２の実施の形態に係る判定システムにおける判定装置の構成を示す図である。

図１７を参照して、判定装置１０２は、取得部２１と、送信部２４と、画像分割部２５と、判定部３２と、前処理部３３とを備える。

判定装置１０２における取得部２１、送信部２４および画像分割部２５の動作は、図１０に示す判定装置１０１における取得部２１、送信部２４および画像分割部２５とそれぞれ同様である。

図１８は、本発明の第２の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。

図１７および図１８を参照して、ステップＳ６０２〜Ｓ６０６の動作は、図１１に示すステップＳ２０２〜Ｓ２０６の動作と同様である。

次に、前処理部３３は、画像分割部２５から６３個の部分画像およびモデル情報を受けると、モデル情報に基づいて、画像分割部２５によって分割された部分画像に対して前処理を行う（ステップＳ６０８）。

前処理部３３は、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いて、画像に対してフィルタリング処理を行う。

詳細には、前処理部３３は、取得部２１によって取得された判定用画像、より詳細には画像分割部２５によって分割された部分画像に対してフィルタリング処理を行う。

前処理部３３は、フィルタリング処理後の部分画像すなわち判定用部分画像、およびモデル情報を判定部３２へ出力する。前処理の詳細については、後述する。

次に、判定部３２は、処理済用分類モデルを用いて、前処理部３３によってフィルタリング処理された判定用部分画像を判定する判定処理を行う（ステップＳ６１０）。

より詳細には、判定部３２は、前処理部３３から判定用部分画像およびモデル情報を受けると、モデル情報に基づいて、前処理部３３から受けた判定用部分画像がキズ部を含むか否かを判定する。判定処理の詳細については、後述する。

図１９は、本発明の第２の実施の形態に係る判定システムにおける判定装置が前処理を行う際の動作手順を定めたフローチャートである。図１９は、図１８のステップＳ６０８における動作の詳細を示している。

図１９を参照して、前処理部３３は、たとえば、画像分割部２５によって分割された部分画像に対して、第２の所定条件を満たす複数の画像フィルタを用いてそれぞれフィルタリング処理を行う。

まず、前処理部３３は、６３個の部分画像のうちの１つを選択する（ステップＳ７０２）。

次に、前処理部３３は、選択した部分画像に対して、モデル情報に含まれる畳み込みフィルタＦＬ１〜ＦＬ３を用いて、それぞれフィルタリング処理を行うことにより、３つの判定用部分画像を生成し、生成した３つの判定用部分画像を部分画像組としてまとめる（ステップＳ７０４）。

次に、前処理部３３は、６３個の部分画像をすべて選択したか否かを確認する（ステップＳ７０６）。

前処理部３３は、上記６３個の部分画像の中で未選択の部分画像が存在する場合（ステップＳ７０６でＮＯ）、上記６３個の部分画像において未選択の部分画像を１つ選択する（ステップＳ７０２）。

一方、前処理部３３は、上記６３個の部分画像をすべて選択した場合（ステップＳ７０６でＹＥＳ）、生成した６３個の部分画像組、およびモデル情報を判定部３２へ出力する。

図２０は、本発明の第２の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。図２０は、図１８のステップＳ６１０における動作の詳細を示している。

図２０を参照して、判定部３２は、たとえば、前処理部３３によってフィルタリング処理された各判定用部分画像を、処理済用分類モデルを用いてそれぞれ判定し、各判定結果に基づいて判定用部分画像を総合的に判定する。

まず、判定部３２は、前処理部３３によって生成された複数の部分画像組のうちの１つを選択する（ステップＳ８０２）。

次に、判定部３２は、選択した部分画像組に含まれる３つの判定用部分画像のうちの１つを選択する（ステップＳ８０４）。以下、選択した判定用部分画像を対象部分画像とも称する。

次に、判定部３２は、モデル情報に含まれる処理済用分類モデルに、選択した対象部分画像を入力する（ステップＳ８０６）。

次に、判定部３２は、処理済用分類モデルに対象部分画像を入力することにより出力された出力スコアが所定のしきい値Ｔｈ２以上である場合（ステップＳ８０８でＹＥＳ）、対象部分画像にキズ部が含まれることについて「真」であると判定する（ステップＳ８１０）。

一方、判定部３２は、上記出力スコアが所定のしきい値Ｔｈ２より小さい場合（ステップＳ８０８でＮＯ）、対象部分画像にキズ部が含まれることについて「偽」であると判定する（ステップＳ８１２）。

次に、判定部３２は、判定結果を保持する（ステップＳ８１４）。

次に、判定部３２は、選択した部分画像組に含まれる３つの判定用部分画像をすべて選択したか否かを確認する（ステップＳ８１６）。

判定部３２は、選択した部分画像組に含まれる３つの判定用部分画像の中で未選択の判定用部分画像が存在する場合（ステップＳ８１６でＮＯ）、当該部分画像組に含まれる３つの判定用部分画像において未選択の判定用部分画像を１つ選択する（ステップＳ８０４）。

一方、判定部３２は、選択した部分画像組に含まれる３つの判定用部分画像をすべて選択した場合（ステップＳ８１６でＹＥＳ）、保持する３つの判定結果の論理値の多数決に基づいて、選択した部分画像組を総合判定する。

具体的には、判定部３２は、選択した部分画像組において、「真」と判定した回数が、「偽」と判定した回数より多い場合（ステップＳ８１８でＹＥＳ）、当該部分画像組に対して「真」と総合判定し、判定用画像に映った焼結物Ｔｇｔをキズ有りと判断する（ステップＳ８２４）。

また、判定部３２は、選択した部分画像組において、「真」と判定した回数が、「偽」と判定した回数以下である場合（ステップＳ８１８でＮＯ）、当該部分画像組に対して「偽」と総合判定し、前処理部３３によって生成された複数の部分画像組をすべて選択したか否かを確認する（ステップＳ８２０）。

判定部３２は、前処理部３３によって生成された複数の部分画像組の中で未選択の部分画像組が存在する場合（ステップＳ８２０でＮＯ）、当該複数の部分画像組において未選択の部分画像組を１つ選択する（ステップＳ８０２）。

一方、判定部３２は、前処理部３３によって生成された複数の部分画像組をすべて選択した場合（ステップＳ８２０でＹＥＳ）、判定用画像に映った焼結物Ｔｇｔを良品と判断する（ステップＳ８２２）。

次に、判定部３２は、判定用画像に映った焼結物Ｔｇｔをキズ有りと判断するか（ステップＳ８２４）、または判定用画像に映った焼結物Ｔｇｔを良品と判断すると（ステップＳ８２２）、判断結果を示す結果情報を送信部２４経由で上位装置１６１へ送信する（ステップＳ８２６）。

なお、判定部３２は、上記ステップＳ８１８において、保持する３つの判定結果の論理値の多数決に基づいて、選択した部分画像組を総合判定する構成であるとしたが、これに限定するものではない。判定部３２は、たとえば、保持する３つの判定結果の論理積または論理和に基づいて、選択した部分画像組を総合判定する構成であってもよい。

また、本発明の第２の実施の形態に係る判定システムでは、学習装置１５２は、畳み込みフィルタＦＬ１〜ＦＬ３を用いてそれぞれフィルタリング処理された各部分画像を含む新学習用データセットを用いて、処理済用分類モデルを作成する（ステップＳ５２２）構成であるとしたが、これに限定するものではない。学習装置１５２は、畳み込みフィルタＦＬ１〜ＦＬ３を用いてそれぞれフィルタリング処理された各部分画像を平均化した平均化部分画像を生成し、生成した平均化部分画像を含む新学習用データセットを用いて、処理済用分類モデルを作成する構成であってもよい。

この場合、判定装置１０２における前処理部３３は、図１９に示すステップＳ７０２において、６３個の部分画像のうちの１つを選択する。

次に、前処理部３３は、ステップＳ７０４において、選択した部分画像に対して、畳み込みフィルタＦＬ１〜ＦＬ３を用いて、それぞれフィルタリング処理を行うことにより３つの部分画像を生成し、生成した各部分画像を平均化した１つの判定用部分画像を生成する。

前処理部３３は、残りの６２個の部分画像に対しても同様の処理を行い、６３個の判定用部分画像を生成する。

判定部３２は、前処理部３３によって生成された６３個の判定用部分画像のうちの１つを選択し、選択した判定用部分画像を処理済用分類モデルに入力する。

判定部３２は、処理済用分類モデルに判定用部分画像を入力することにより出力された出力スコアが所定のしきい値Ｔｈ２以上である場合、対象部分画像にキズ部が含まれることについて「真」であると判定し、判定用画像に映った焼結物Ｔｇｔをキズ有りと判断する。

一方、判定部３２は、上記出力スコアが所定のしきい値Ｔｈ２より小さい場合、対象部分画像にキズ部が含まれることについて「偽」であると判定し、未選択の判定用部分画像のうちの１つを選択し、選択した判定用部分画像を処理済用分類モデルに入力する。

判定部３２は、６３個の判定用部分画像のすべてを「偽」と判定した場合、判定用画像に映った焼結物Ｔｇｔを良品と判断する。

また、本発明の第２の実施の形態に係る判定装置では、判定部３２は、ディープラーニングモデルである分類モデルを用いる構成であるとしたが、これに限定するものではない。判定部３２は、畳み込みニューラルネットワークモデルである分類モデルを用いる構成であればよい。

また、本発明の第２の実施の形態に係る判定装置は、送信部２４を備える構成であるとしたが、これに限定するものではない。判定装置１０２は、送信部２４を備えない構成であってもよい。

また、本発明の第２の実施の形態に係る判定システムでは、判定装置１０２および学習装置１５２は、別体であるとしたが、これに限定するものではない。判定装置１０２は、学習装置１５２を備える構成であってもよい。

また、本発明の第２の実施の形態に係る判定装置は、取得部２１によって取得された判定用部分画像を複数の部分画像に分割する構成であるとしたが、これに限定するものではない。判定装置１０２は、取得部２１によって取得された判定用画像をそのまま総合的に評価する構成であってもよい。

また、本発明の第２の実施の形態に係る判定装置では、前処理部３３は、部分画像に対して、複数の画像フィルタを用いてそれぞれフィルタリング処理を行う構成であるとしたが、これに限定するものではない。前処理部３３は、部分画像に対して、１つの画像フィルタを用いてフィルタリング処理を行う構成であってもよい。この場合、前処理部３３は、判定用部分画像の総合的な判定を行わない。

また、本発明の第２の実施の形態に係る判定装置は、第２の所定条件を満たす複数の画像フィルタを用いてフィルタリング処理を行う構成であるとしたが、これに限定するものではない。判定装置１０２は、たとえば、中間層におけるすべての畳み込みフィルタ（図８参照）、または中間層から任意に抽出した畳み込みフィルタを用いてフィルタリング処理を行う構成であってもよい。

その他の構成および動作は第１の実施の形態に係る判定システムと同様であるため、ここでは詳細な説明を繰り返さない。

以上のように、本発明の第２の実施の形態に係る判定装置では、取得部２１は、判定用画像を取得する。前処理部３３は、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いて、画像に対してフィルタリング処理を行う。前処理部３３は、取得部２１によって取得された判定用画像に対してフィルタリング処理を行う。そして、判定部３２は、フィルタリング処理された画像を学習データとして用いて作成された畳み込みニューラルネットワークモデルである分類モデルを用いて、前処理部３３によってフィルタリング処理された判定用画像を判定する。

畳み込みニューラルネットワークモデルには、たとえば、画像において、キズまたはひび等の対象事象を強調して表示させるための画像フィルタが含まれる。上記のように、フィルタリング処理されることで対象事象が強調して表示された画像を、学習データとして用いて分類モデルが作成される構成により、より良質の学習データによって分類モデルを機械学習させることができる。また、フィルタリング処理された判定用画像を分類モデルに入力する構成により、対象事象を含む判定用画像を入力する場合には、対象事象が強調して表示された良質な判定用画像を分類モデルに入力することができる。これにより、分類モデルの判定精度を向上させることができるので、判定用画像における対象事象の有無をより正確に判定することができる。したがって、画像の判定を良好に行うことができる。

また、本発明の第２の実施の形態に係る判定装置では、前処理部３３は、判定用画像に対して、第２の所定条件を満たす複数の画像フィルタを用いてそれぞれフィルタリング処理を行う。そして、判定部３２は、前処理部３３によってフィルタリング処理された各判定用画像を、分類モデルを用いてそれぞれ判定し、各判定結果に基づいて判定用画像を総合的に判定する。

このような構成により、たとえば、対象事象の強調表示により適した複数の画像フィルタを用いてそれぞれフィルタリング処理された各判定用画像をそれぞれ判定することで、各判定結果の精度をより高めることができる。また、各判定結果に基づいて判定用画像を総合的に判定する構成により、たとえば、複数の画像フィルタの中に対象事象の強調表示能力の劣る画像フィルタが含まれてしまい、当該画像フィルタによってフィルタリング処理された判定用画像の判定結果が誤った場合においても、他の画像フィルタによってフィルタリング処理された判定用画像の判定結果と合わせて総合的に判定することができるので、強調表示能力の劣る画像フィルタの判定結果を覆してより正確な判定結果を得ることができる。

なお、本発明の第１の実施の形態および第２の実施の形態に係る各装置の構成要素および動作のうち、一部または全部を適宜組み合わせることも可能である。

上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

以上の説明は、以下に付記する特徴を含む。

［付記１］
判定用画像を取得する取得部と、
前記取得部によって取得された前記判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行い、前記フィルタリング処理後の複数の前記部分画像の中から第１の所定条件を満たす前記部分画像を抽出する前処理部と、
前記畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって抽出された前記部分画像が対象事象を含むか否かを判定する判定部とを備え、
前記分類モデルは、機械学習によって自動的に作成されるアルゴリズムであり、
前記分類モデルは、前記部分画像を入力するための入力層と、中間層と、スコアを出力するための出力層とを含み、
前記中間層は、少なくとも１段目を含み、
前記１段目は、畳み込み層と、プーリング層とを含み、
前記畳み込み層は、前記画像フィルタである畳み込みフィルタを用いて前記部分画像に対して前記フィルタリング処理を行い、
前記前処理部は、前記複数の部分画像の各々に対して、前記畳み込みフィルタを、前記部分画像全体をカバーするようにスライドさせながら適用し、
前記第１の所定条件は、前記部分画像が所定のしきい値以上の輝度を有する画素を含むことであり、
前記対象事象はキズまたはひびである、判定装置。

［付記２］
判定装置であって、
判定用画像を取得する取得部と、
畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いて、画像に対してフィルタリング処理を行う前処理部とを備え、
前記前処理部は、前記取得部によって取得された前記判定用画像に対して前記フィルタリング処理を行い、
前記判定装置は、さらに、
前記フィルタリング処理された前記画像を学習データとして用いて作成された畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって前記フィルタリング処理された前記判定用画像を判定する判定部を備え、
前記畳み込みニューラルネットワークモデルは、機械学習によって自動的に作成されるアルゴリズムであり、
前記畳み込みニューラルネットワークモデルは、画像を入力するための入力層と、中間層と、スコアを出力するための出力層とを含み、
前記中間層は、少なくとも１段目を含み、
前記１段目は、畳み込み層と、プーリング層とを含み、
前記畳み込み層は、前記画像フィルタである畳み込みフィルタを用いて前記画像に対して前記フィルタリング処理を行い、
前記前処理部は、前記判定用画像に対して、前記畳み込みフィルタを、前記判定用画像全体をカバーするようにスライドさせながら適用する、判定装置。

２１ 取得部
２２ 判定部
２３ 前処理部
２４ 送信部
２５ 画像分割部
３２ 判定部
３３ 前処理部
１０１，１０２ 判定装置
１２１ カメラ
１３１ 蓄積装置
１５１，１５２ 学習装置
１６１ 上位装置
３０１，３０２ 判定システム

Claims (7)

1. 判定用画像を取得する取得部と、
   前記取得部によって取得された前記判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行い、前記フィルタリング処理後の複数の前記部分画像の中から第１の所定条件を満たす前記部分画像を抽出する前処理部と、
   前記畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって抽出された前記部分画像が対象事象を含むか否かを判定する判定部とを備え、
   前記前処理部は、前記フィルタリング処理後の前記複数の部分画像であって、前記画像フィルタを用いた前記フィルタリング処理を行うことにより前記対象事象の輪郭を表示する画素の輝度を大きくされた前記複数の部分画像の中から、前記部分画像における画素の輝度に関する条件である前記第１の所定条件を満たす前記部分画像を抽出する、判定装置。
2. 前記畳み込みニューラルネットワークモデルは、ディープラーニングモデルである、請求項１に記載の判定装置。
3. 前記画像フィルタは、前記ディープラーニングモデルの中間層における１段目の１または複数の画像フィルタを含む、請求項２に記載の判定装置。
4. 前記前処理部は、前記複数の部分画像の各々に対して、第２の所定条件を満たす複数の前記画像フィルタを用いて前記フィルタリング処理を行う、請求項１から請求項３のいずれか１項に記載の判定装置。
5. 前記前処理部は、前記対象事象を含む画像にフィルタリング処理を行うと前記フィルタリング処理後の前記画像が前記第１の所定条件を満たす前記画像フィルタを用いて、前記部分画像にフィルタリング処理を行う、請求項１から請求項３のいずれか１項に記載の判定装置。
6. 判定装置における判定方法であって、
   判定用画像を取得するステップと、
   取得した前記判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行い、前記フィルタリング処理後の複数の前記部分画像の中から第１の所定条件を満たす前記部分画像を抽出するステップと、
   前記畳み込みニューラルネットワークモデルである分類モデルを用いて、抽出した前記部分画像が対象事象を含むか否かを判定するステップとを含み、
   前記部分画像を抽出するステップにおいては、前記フィルタリング処理後の前記複数の部分画像であって、前記画像フィルタを用いた前記フィルタリング処理を行うことにより前記対象事象の輪郭を表示する画素の輝度を大きくされた前記複数の部分画像の中から、前記部分画像における画素の輝度に関する条件である前記第１の所定条件を満たす前記部分画像を抽出する、判定方法。
7. 判定装置において用いられる判定プログラムであって、
   コンピュータを、
   判定用画像を取得する取得部と、
   前記取得部によって取得された前記判定用画像が分割された複数の部分画像に対して、畳み込みニューラルネットワークモデルにおいて用いられる画像フィルタを用いてフィルタリング処理を行い、前記フィルタリング処理後の複数の前記部分画像の中から第１の所定条件を満たす前記部分画像を抽出する前処理部と、
   前記畳み込みニューラルネットワークモデルである分類モデルを用いて、前記前処理部によって抽出された前記部分画像が対象事象を含むか否かを判定する判定部、
   として機能させるためのプログラムであり、
   前記前処理部は、前記フィルタリング処理後の前記複数の部分画像であって、前記画像フィルタを用いた前記フィルタリング処理を行うことにより前記対象事象の輪郭を表示する画素の輝度を大きくされた前記複数の部分画像の中から、前記部分画像における画素の輝度に関する条件である前記第１の所定条件を満たす前記部分画像を抽出する、判定プログラム。
   

Images