JP7241533B2 - 画像判定装置、画像判定方法及び画像判定プログラム - Google Patents

Description

本発明は、画像判定装置、画像判定方法及び画像判定プログラムに関する。

従来、ＦＡ（Factory Automation）分野では、画像処理を用いた自動制御が広く実用化されている。例えば、ワーク等の検査対象を撮像し、その撮像された画像から抽出された特徴量に基づいて、当該ワークについての良否を検査するような工程が実現される。

例えば特許文献１には、複数の撮像条件で撮像した検査対象の画像を学習用データに用いて学習した識別器の出力結果に基づいて、検査対象の欠陥の有無を判定する装置について開示されている。具体的には、特許文献１に記載の装置は、外観の良否が既知の対象物に対して、少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれから、当該画像の特徴量を抽出する学習用抽出手段と、前記学習用抽出手段により前記少なくとも２つの画像から抽出された特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択する選択手段と、前記選択手段により選択された前記特徴量に基づいて、対象物の良否を判定する識別器を生成する生成手段と、を有する。

特開２０１７－４９９７４号公報

Ｊａｓｏｎ Ｗｅｓｔｏｎ，Ｓｕｍｉｔ Ｃｈｏｐｒａ，Ａｎｔｏｉｎｅ Ｂｏｒｄｅｓ、「Ｍｅｍｏｒｙ Ｎｅｔｗｏｒｋｓ」、２０１５年１１月２９日、インターネット＜ＵＲＬ：https://arxiv.org/abs/1410.3916＞

検査対象の画像について学習モデルによって欠陥の有無やワーク種類等の判定を行う場合、特許文献１等の従来の装置は、メモリに蓄積された知識を活用するものではない。これに対し、非特許文献１には、自然言語処理に関して、メモリに蓄積された知識を活用する学習モデルが提案されている。本発明の発明者らは、学習モデルを備えた画像判定装置による外観検査等において、メモリに蓄積された知識を活用することで、より柔軟な判定処理を行う画像判定装置を得られる可能性があることを見出した。

そこで、本発明は、検査対象の画像に対して、メモリに蓄えられた知識を参照して検査結果を判定する学習モデルを備えた画像判定装置、画像判定方法及び判定プログラムを提供する。

本開示の一態様に係る画像判定装置は、検査対象の画像の一又は複数の特徴を表す特徴データまたは当該特徴データに基づいて算出される派生データに対応づけて、検査対象に関連する関連データを記憶するメモリと、検査対象の画像に基づいて、画像の１又は複数の特徴を表す特徴データを出力する特徴抽出器と、特徴抽出器から出力された特徴データと、当該特徴データに基づいてメモリから出力された参照データとに基づいて、画像に関する判定結果を含む出力データを出力する判定器と、を備える。

この態様によれば、特徴抽出器から出力された特徴データと、当該特徴データに基づいてメモリから出力された参照データとに基づいて、画像に関する判定結果を含む出力データを出力する判定器を備える学習モデルが提供される。これにより、学習モデルにおいて、メモリに蓄積された知識を活用して、検査対象の画像の判定処理を行うことが可能となる。

上記態様において、関連データは、判定の補助となる情報を含むものとしてよい。判定の補助となる情報は、検査対象の画像に関する判定結果、判定結果に対する信頼性を示すスコア、関連データがメモリに追加された時刻を示すタイムスタンプのうちいずれかを含むものとしてよい。

この態様によれば、メモリに蓄積された、判定の補助となる情報を活用して、より柔軟な判定結果を得られるような画像判定装置を実現することができる。

上記態様において、関連データは、可視化の補助となる情報を含むものとしてよい。可視化の補助となる情報は、検査対象の画像を含むものとしてよい。

この態様によれば、メモリに蓄積された、可視化の補助となる情報を活用して、判定結果に加えて、より有益な出力データを得ることができる。

本開示の他の態様に係る判定方法は、検査対象の画像の一又は複数の特徴を表す特徴データまたは当該特徴データに基づいて算出される派生データに対応づけて、検査対象に関連する関連データを記憶するメモリを備える学習モデルにおいて、検査対象の画像に基づいて、画像の１又は複数の特徴を表す特徴データを出力することと、出力された特徴データと、当該特徴データに基づいてメモリから出力された参照データとに基づいて、画像に関する判定結果を含む出力データを出力することと、を含む。

この態様によれば、学習モデルにおいて、特徴抽出器から出力された特徴データと、当該特徴データに基づいてメモリから出力された参照データとに基づいて、画像に関する判定結果を含む出力データを出力する判定方法が提供される。これにより、学習モデルにおいて、メモリに蓄積された知識を活用して、検査対象の画像の判定処理を行うことが可能となる。

本開示の他の態様に係る判定プログラムは、検査対象の画像の一又は複数の特徴を表す特徴データまたは当該特徴データに基づいて算出される派生データに対応づけて、検査対象に関連する関連データを記憶するメモリを備えるコンピュータを、検査対象の画像に基づいて、画像の１又は複数の特徴を表す特徴データを出力する特徴抽出器、及び、特徴抽出器から出力された特徴データと、当該特徴データに基づいてメモリから出力された参照データとに基づいて、画像に関する判定結果を含む出力データを出力する判定器、として機能させる。

この態様によれば、特徴抽出器から出力された特徴データと、当該特徴データに基づいてメモリから出力された参照データとに基づいて、画像に関する判定結果を含む出力データを出力する判定器を備える学習モデルが提供される。これにより、学習モデルにおいて、メモリに蓄積された知識を活用して、検査対象の画像の判定処理を行うことが可能となる。

本発明によれば、検査対象の画像に対して、メモリに蓄えられた知識を参照して検査結果を判定する学習モデルを備えた画像判定装置、画像判定方法及び判定プログラムを提供することができる。

本発明の実施形態に係る画像判定システムの構成例を示す図である。 本実施形態に係る画像判定装置のハードウェア構成を示す図である。 本実施形態に係る画像判定装置の機能ブロックを示す図である。 本実施形態に係る学習モデルの機能ブロックを示す図である。 本実施形態に係る画像判定装置により実行される画像判定処理のフローチャートである。

以下、本発明の一側面に係る実施の形態（以下「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
図１は、本発明の実施形態に係る画像判定システム１の構成例を示す図である。はじめに、本発明が適用される場面の一例について説明する。本実施形態に係る画像判定システム１は、検査対象を撮像することにより生成される入力画像を、画像判定装置１００が備える学習モデルによって解析し、欠陥検査や対象の分類を行う。本実施形態に係る学習モデルは、メモリに蓄積された知識を参照して、検査結果の判定を行う。例えば、メモリには、検査対象の画像の一又は複数の特徴を表す特徴データに対応づけて、検査対象に関連する参照データを記憶する。特徴データに加えて、または、特徴データに換えて、特徴データから算出されるハッシュ値等を、メモリに記憶してもよい。学習モデルは、学習データを用いて、検査対象に関する欠陥の有無や検査対象の種類を分類するように事前に学習されていてよい。また、学習モデルは、新たな学習データが得られた場合に、追加学習されてよい。なお、検査対象は、例えば、製造過程にある、部品、製品等のワーク（Work piece）等を含む。

図１に示されるとおり、画像判定システム１は、例えば、ベルトコンベア２上を搬送される検査対象であるワーク４を撮像して得られる入力画像に対して画像計測処理を実行することで、ワーク４の外観検査又は外観計測を実現する。以下の説明においては、画像計測処理の典型例として、ワーク４表面における欠陥の有無の検査等に適用した例を説明するが、これに限らず、欠陥の種類の特定、欠陥の外観形状の寸法計測、ワーク４の種類の特定等にも応用が可能である。

ベルトコンベア２の上部には撮像部であるカメラ１０２が配置されており、カメラ１０２の撮像視野６はベルトコンベア２の所定領域を含むように構成される。カメラ１０２の撮像により生成された画像データ（以下、「入力画像」ともいう。）は、画像判定装置１００へ送信される。カメラ１０２による撮像は、周期的又はイベント発生時に実行される。

画像判定装置１００は、上位ネットワーク８を介して、ＰＬＣ（プログラマブルコントローラ）１０及びデータベース装置１２等と接続されている。画像判定装置１００における計測結果は、ＰＬＣ１０及び／又はデータベース装置１２へ送信されてもよい。なお、上位ネットワーク８には、ＰＬＣ１０及びデータベース装置１２に加えて、任意の装置が接続されるようにしてもよい。

画像判定装置１００は、処理中の状態や計測結果等を表示するためのディスプレイ１０４と、ユーザ操作を受付ける入力部としてのキーボード１０６及びマウス１０８とが接続されていてもよい。

画像判定装置１００は、メモリに蓄積された知識を参照する学習モデルを備えている。学習モデルは、画像を入力として受け付けて、画像の１又は複数の特徴を表す特徴データを出力する特徴抽出器と、特徴抽出器から出力された特徴データと、メモリから出力された参照データとに基づいて、画像に関する判定結果を含む出力データを出力する判定器とを含む。ここで、特徴抽出器は、例えば、画像に含まれるエッジ、画像に含まれる平面領域、画像の背景模様、画像に含まれる２値化領域等を抽出する特徴抽出器を含んでよい。特徴抽出器は、１又は複数の特徴抽出器によって構成されてよい。このとき、各特徴抽出器は、それぞれ人が理解しやすい単一の特徴を抽出するようなモデルであってよく、機械学習モデルであってもよいし、ルールベースモデルであってもよい。判定器は、１又は複数の特徴ベクトルと、メモリから出力された参照データとを入力として受け付けて、画像に関する判定結果を含む出力データを出力する。出力データは、例えば、検査対象の欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。判定器は、例えばニューラルネットワークで構成されてよく、学習データを用いて、所望の出力データを出力するように事前に学習されていてよい。

§２ 構成例
［ハードウェア構成］
図２は、本実施形態に係る画像判定装置１００のハードウェア構成を示す図である。画像判定装置１００は、一例として、汎用的なコンピュータアーキテクチャに従って構成される汎用コンピュータを用いて実現されてもよい。画像判定装置１００は、プロセッサ１１０と、メインメモリ（主記憶部）１１２と、カメラインターフェイス１１４と、入力インターフェイス１１６と、表示インターフェイス１１８と、通信インターフェイス１２０と、ストレージ（補助記憶部）１３０とを含む。これらのコンポーネントは、典型的には、内部バス１２２を介して互いに通信可能に接続されている。

プロセッサ１１０は、ストレージ１３０に格納されているプログラムをメインメモリ１１２に展開して実行することで、次図以降を用いて詳述するような機能及び処理を実現する。メインメモリ１１２は、揮発性メモリにより構成され、プロセッサ１１０によるプログラム実行に必要なワークメモリとして機能する。

カメラインターフェイスは取得部の一例である。カメラインターフェイス１１４は、カメラ１０２と接続されて、カメラ１０２にて撮像された入力画像を取得する。カメラインターフェイス１１４は、カメラ１０２に対して撮像タイミング等を指示するようにしてもよい。

入力インターフェイス１１６は、キーボード１０６及びマウス１０８等のユーザによる操作が行われる入力部と接続される。入力インターフェイス１１６は、ユーザが入力部に対して行った操作等を示す指令を取得する。

表示インターフェイス１１８は、表示部としてのディスプレイ１０４と接続されている。表示インターフェイス１１８は、プロセッサ１１０によるプログラムの実行によって生成される各種処理結果をディスプレイ１０４へ出力する。

通信インターフェイス１２０は、上位ネットワーク８を介して、ＰＬＣ１０及びデータベース装置１２等と通信するための処理を担当する。

ストレージ１３０は、学習モデル１３６を実現するための画像処理プログラム１３２及びＯＳ（operating system）１３４等、コンピュータを画像判定装置１００として機能させるためのプログラムを格納している。ストレージ１３０は、さらに、学習モデル１３６と、カメラ１０２から取得された入力画像１３８と、学習モデル１３６の学習に用いられる学習データ１４０とを格納していてもよい。なお、学習データ１４０は、データベース装置１２等の外部機器から上位ネットワーク８を介して取得されてよく、ストレージ１３０に一時的に格納されるものであってよい。

ストレージ１３０に格納される画像処理プログラム１３２は、ＤＶＤ（digital versatile disc）等の光学記録媒体又はＵＳＢ（universal serial bus）メモリ等の半導体記録媒体等を介して、画像判定装置１００にインストールされてもよい。あるいは、画像処理プログラム１３２は、ネットワーク上のサーバ装置等からダウンロードするようにしてもよい。

本実施の形態に係る画像処理プログラム１３２は、本実施の形態に係る機能を実現するためのすべてのソフトウェアモジュールを含んでおらず、ＯＳ１３４と協働することで、必要な機能が提供されるようにしてもよい。

本実施の形態に係る画像処理プログラム１３２は、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、画像処理プログラム１３２自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。このように、本実施形態に係る画像処理プログラム１３２は、他のプログラムに組込まれた形態であってもよい。

図２には、汎用コンピュータを用いて画像判定装置１００を実現する例を示したが、これに限られることなく、その全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。

［機能構成］
図３は、本実施形態に係る画像判定装置１００の機能ブロックを示す図である。図４は、本実施形態に係る学習モデル１３６の機能ブロックを示す図である。画像判定装置１００は、ストレージ１３０に格納された学習モデル１３６と、学習部１５０とを備える。

学習モデル１３６は、メモリ１３６１、特徴抽出器１３６２及び判定器１３６３を含む。メモリ１３６１は、検査対象の１又は複数の特徴を示す特徴データと当該検査対象に関連する関連データとが、検査対象に関する知識として蓄積される。特徴データは特徴量ともいう。関連データは、判定の補助となる情報または可視化の補助となる情報のうちいずれかを含むものとしてよい。判定の補助となる情報は、検査対象画像の判定処理の際に、直接または間接的に判定処理に用いられる情報であってよく、例えば、検査の判定結果を示すラベル、判定結果に対する信頼性を示すスコア、各関連データがメモリに追加された時刻を示すタイムスタンプなどのうち、任意のものであってよい。また、可視化の補助となる情報は、判定結果をユーザに提示する際に用いられる情報であってよく、例えば、検査対象の画像であってよい。例えば、メモリ１３６１には、過去に検査を行った検査対象の特徴データに対応付けて、画像、ラベル、スコア及びタイムスタンプ等が蓄積されてよい。また、新たに検査を行った検査対象に対して得られた知識を、メモリ１３６１に追加してよい。メモリ１３６１には、特徴データに加えて、または、特徴データに換えて、特徴データから算出されたハッシュ値等の派生データを蓄積してもよい。

特徴抽出器１３６２は、検査対象の画像に基づいて、画像の１又は複数の特徴を表す特徴データを出力する。特徴抽出器１３６２は、画像の特定の特徴を表す特徴データを出力する複数の特徴抽出器によって構成されてよい。出力された特徴データは、メモリ１３６１と判定器１３６３に渡される。学習モデル１３６は、特徴抽出器１３６２から出力された特徴データに基づいてメモリ１３６１を参照することで、メモリ１３６１から参照データを出力する。このとき、メモリ１３６１に蓄積されているデータの中から、検査対象画像の特徴として特徴抽出器１３６２から出力された特徴データと距離の近い特徴データを抽出し、当該特徴データに対応付けられた関連データを参照データとして出力してよい。なお、距離の計測は、任意の距離関数を用いてよい。また、メモリ１３６１に蓄積されているデータの中から、特徴抽出器１３６２から出力された特徴データに最も距離の近いものから順に所定数の特徴データを抽出し、これらの特徴データにそれぞれ対応付けられた所定数の関連データに基づいて、参照データを出力してよい。このとき、メモリ１３６１は、所定数の関連データを参照データとして出力してもよいし、所定数の関連データの多数決、平均、その他所定の演算により算出された参照データを出力してもよい。

判定器１３６３は、特徴抽出器１３６２から出力された特徴データと、メモリ１３６１から出力された参照データとに基づいて、画像に関する判定結果を含む出力データを出力する。参照データは、判定の補助となる情報に基づくデータまたは可視化の補助となる情報に基づくデータのうちいずれかを含むものとしてよい。参照データが、判定の補助となる情報に基づくデータである場合は、判定器における判定処理に用いられる。また、参照データが、可視化の補助となる情報に基づくデータである場合は、判定結果をユーザに提示する際に用いられる。

例えば、参照データとして、検査の判定結果を示すラベルを用いると、判定器１３６３は、過去の検査結果を加味した判定を行うことができる。参照データとして、判定結果に対する信頼性を示すスコアを用いると、判定器１３６３は、過去の判定結果の信頼性を加味した判定を行うことができ、例えば、出力データとして、検査対象の外観の良／不良を判定した結果に加え、当該判定結果の信頼性の程度を出力することができる。また、参照データとして、関連データがメモリに追加された時刻を示すタイムスタンプを用いると、判定器１３６３は、時刻の要素を加味した判定を行うことができる。例えば、関連データがメモリ１３６１に追加された時間が経過するにつれてデータの重み付けを減衰させることにより、メモリに追加されたのが古いデータに対してはあまり注目しないで、直近に追加されたデータに対してより注目して判定することができる。

学習部１５０は、学習画像及びラベルデータを含む学習データ１４０を用いて、学習画像を特徴抽出器１３６２に入力した場合に出力される特徴データに基づいて、学習画像に関連付けられたラベルデータを表す出力データを出力するように、すなわち正解を予測するように、判定器１３６３を学習させる。判定器１３６３の学習時には、特徴抽出器１３６２からの入力とメモリ１３６１からの入力の両者を使用して学習してよい。例えば、学習データの一部を、特徴抽出器１３６２に入れ、その出力をメモリ１３６１に記録する。その後、上記以外の学習データに対し、特徴抽出器１３６２に入れ、その出力を判定器１３６３に入力するとともに、メモリ１３６１から特徴抽出器１３６２の出力に類似するものを検出し、検出されたデータ（参照データ）を判定器１３６３に入力する。そして、これら特徴抽出器１３６２からの入力とメモリ１３６１からの入力の両者を使用して判定器１３６３を学習させる。ここで、学習画像は、予め撮影された検査対象の画像である。また、ラベルデータは、検査対象の状態を表すデータであり、例えば、検査対象に関する欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。学習モデル１３６の学習処理は、画像判定装置１００が生産ラインに組み込まれる前に実行されてよい。

学習部１５０は、新たな学習データを用いて、新たな学習データに含まれる検査対象の画像を１又は複数の特徴抽出器１３６２に入力した場合に出力される特徴データに基づいて、判定器１３６３により画像に関連付けられたラベルデータを表す出力データが出力されるように、判定器１３６３を追加学習させてもよい。ここで、追加学習は、判定器１３６３について行い、特徴抽出器１３６２について行わなくてもよい。また、新たな学習データ画像の特徴データ、学習データの画像、及びラベルデータ等を、新たな知識としてメモリ１３６１に書き込んでもよい。

学習部１５０は、判定器１３６３のパラメータを更新すること及び判定器１３６３に入力される特徴データの重みを更新することの少なくともいずれかを実行することで、判定器１３６３の追加学習を行ってよい。ここで、判定器１３６３のパラメータは、例えば判定器１３６３がニューラルネットワークで構成される場合、ノードの重みやバイアスであってよい。また、判定器１３６３に入力される特徴データがＮ種類ある場合、特徴データの重みｗ_i（ｉ＝１～Ｎ）は、Σ_i=1 ^Nｗ_i＝１を満たす正の実数であってよい。学習部１５０は、判定器１３６３がニューラルネットワークで構成される場合、バックプロパゲーションの方法で判定器１３６３のパラメータ及び判定器１３６３に入力される特徴データの重みを更新してよい。このような追加学習によって、より精度良く判定結果が得られるように判定器を更新することができる。

学習部１５０は、判定器１３６３の事前学習及び／又は追加学習とあわせて、特徴抽出器１３６２のパラメータを更新してもよい。例えば、特徴抽出器１３６２がニューラルネットワークにより構成され、判定器１３６３がニューラルネットワークで構成される場合、学習部１５０は、バックプロパゲーションの方法で判定器１３６３のパラメータ、判定器１３６３に入力される特徴データの重み及び特徴抽出器１３６２のパラメータを更新してよい。このように、事前学習及び／又は追加学習によって、特徴抽出器１３６２についてもあわせて更新することで、特徴抽出をより精度良く行い、かつ、より精度の良い判定結果が得られるように判定器１３６３を更新することができる。

§３ 動作例
図５は、本実施形態に係る画像判定装置１００により実行される画像判定処理のフローチャートである。はじめに、画像判定装置１００は、検査対象の画像の一又は複数の特徴を表す特徴データまたは当該特徴データに基づいて算出される派生データに対応づけて、検査対象に関連する関連データをメモリ１３６１に記憶する（Ｓ１０）。

その後、学習データに含まれる学習画像を特徴抽出器１３６２に入力し、出力される特徴データを判定器１３６３に入力して、学習データに含まれるラベルデータに対応する出力データが再現されるように、判定器１３６３の学習を行う（Ｓ１１）。以上で、事前学習処理が終了する。

その後、画像判定装置１００が生産ラインに設置された後、カメラ１０２によって検査対象の画像を撮影する（Ｓ１２）。そして、新たに撮影された画像を特徴抽出器１３６２に入力し、出力された特徴データに基づいて、メモリ１３６１から参照データを出力する。そして、特徴抽出器１３６２から出力された特徴データと、メモリ１３６１から出力された参照データとを判定器１３６３に入力して、画像に関する判定結果を含む出力データによって、画像を判定する（Ｓ１３）。当然ながら、画像の撮影（Ｓ１２）と、判定処理（Ｓ１３）とは繰り返し行われてよい。以上により、画像判定処理が終了する。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
検査対象の画像の一又は複数の特徴を表す特徴データまたは当該特徴データに基づいて算出される派生データに対応づけて、前記検査対象に関連する関連データを記憶するメモリ（１３６１）と、
検査対象の画像に基づいて、前記画像の１又は複数の特徴を表す特徴データを出力する特徴抽出器（１３６２）と、
前記特徴抽出器（１３６２）から出力された特徴データと、当該特徴データに基づいて前記メモリ（１３６１）から出力された参照データとに基づいて、前記画像に関する判定結果を含む出力データを出力する判定器（１３６３）と、
を備える画像判定装置（１００）。

［付記２］
前記関連データは、前記判定の補助となる情報を含む、
付記１に記載の画像判定装置（１００）。

［付記３］
前記判定の補助となる情報は、検査対象の画像に関する判定結果、前記判定結果に対する信頼性を示すスコア、関連データが前記メモリに追加された時刻を示すタイムスタンプのうち少なくともいずれかを含む、
付記１に記載の画像判定装置（１００）。

［付記４］
前記関連データは、可視化の補助となる情報を含む、
付記１から３のいずれか一項に記載の画像判定装置（１００）。

［付記５］
前記可視化の補助となる情報は、検査対象の画像を含む、
付記４に記載の画像判定装置（１００）。

［付記６］
検査対象の画像の一又は複数の特徴を表す特徴データまたは当該特徴データに基づいて算出される派生データに対応づけて、前記検査対象に関連する関連データを記憶するメモリ（１３６１）を備える学習モデル（１３６）において、
検査対象の画像に基づいて、前記画像の１又は複数の特徴を表す特徴データを出力することと、
前記出力された特徴データと、当該特徴データに基づいて前記メモリ（１３６１）から出力された参照データとに基づいて、前記画像に関する判定結果を含む出力データを出力することと、
を含む判定方法。

［付記７］
検査対象の画像の一又は複数の特徴を表す特徴データまたは当該特徴データに基づいて算出される派生データに対応づけて、前記検査対象に関連する関連データを記憶するメモリ（１３６１）を備える画像判定装置（１００）に備えられた演算部を、
検査対象の画像に基づいて、前記画像の１又は複数の特徴を表す特徴データを出力する特徴抽出器（１３６２）、及び
前記特徴抽出器から出力された特徴データと、当該特徴データに基づいて前記メモリから出力された参照データとに基づいて、前記画像に関する判定結果を含む出力データを出力する判定器（１３６３）、
として機能させる判定プログラム。

１…画像判定システム、２…ベルトコンベア、４…ワーク、６…撮像視野、８…上位ネットワーク、１０…ＰＬＣ、１２…データベース装置、１００…画像判定装置、１０２…カメラ、１０４…ディスプレイ、１０６…キーボード、１０８…マウス、１１０…プロセッサ、１１２…メインメモリ、１１４…カメラインターフェイス、１１６…入力インターフェイス、１１８…表示インターフェイス、１２０…通信インターフェイス、１２２…内部バス、１３０…ストレージ、１３２…画像処理プログラム、１３４…ＯＳ、１３６…学習モデル、１３６１…メモリ、１３６２…特徴抽出器、１３６３…判定器、１３８…入力画像、１４０…学習データ、１５０…学習部

Claims (6)

1. 検査対象の画像の一又は複数の特徴を表す特徴データまたは当該特徴データに基づいて算出される派生データに対応づけて、前記検査対象に関連する関連データを記憶するメモリと、
   検査対象の画像に基づいて、前記画像の１又は複数の特徴を表す特徴データを出力する特徴抽出器と、
   前記特徴抽出器から出力された特徴データと、当該特徴データに基づいて前記メモリから出力された参照データとに基づいて、前記画像に関する判定結果を含む出力データを出力する判定器と、
   を備え、
   前記参照データは、当該特徴データまたは当該特徴データに基づいて算出される派生データに基づいて前記メモリから出力された関連データであり、前記関連データは、前記判定の補助となる情報として、関連データが前記メモリに追加された時刻を示すタイムスタンプを含む、画像判定装置。
2. 前記関連データは、前記判定の補助となる情報として、検査対象の画像に関する判定結果、または前記判定結果に対する信頼性を示すスコアを含む、
   請求項１に記載の画像判定装置。
3. 前記関連データは、可視化の補助となる情報を含む、
   請求項１または２に記載の画像判定装置。
4. 前記可視化の補助となる情報は、検査対象の画像を含む、
   請求項３に記載の画像判定装置。
5. 検査対象の画像の一又は複数の特徴を表す特徴データまたは当該特徴データに基づいて算出される派生データに対応づけて、前記検査対象に関連する関連データを記憶するメモリを備える学習モデルにおいて、
   検査対象の画像に基づいて、前記画像の１又は複数の特徴を表す特徴データを出力することと、
   前記出力された特徴データと、当該特徴データに基づいて前記メモリから出力された参照データとに基づいて、前記画像に関する判定結果を含む出力データを出力することと、
   を含み、
   前記参照データは、当該特徴データまたは当該特徴データに基づいて算出される派生データに基づいて前記メモリから出力された関連データであり、前記関連データは、前記判定の補助となる情報として、関連データが前記メモリに追加された時刻を示すタイムスタンプを含む、判定方法。
6. 検査対象の画像の一又は複数の特徴を表す特徴データまたは当該特徴データに基づいて算出される派生データに対応づけて、前記検査対象に関連する関連データを記憶するメモリを備えるコンピュータを、
   検査対象の画像に基づいて、前記画像の１又は複数の特徴を表す特徴データを出力する特徴抽出器、及び
   前記特徴抽出器から出力された特徴データと、当該特徴データに基づいて前記メモリから出力された参照データとに基づいて、前記画像に関する判定結果を含む出力データを出力する判定器、
   として機能させ、
   前記参照データは、当該特徴データまたは当該特徴データに基づいて算出される派生データに基づいて前記メモリから出力された関連データであり、前記関連データは、前記判定の補助となる情報として、関連データが前記メモリに追加された時刻を示すタイムスタンプを含む、判定プログラム。

Images