JP7075057B2 - 画像判定装置、画像判定方法及び画像判定プログラム - Google Patents

Description

本発明は、画像判定装置、画像判定方法及び画像判定プログラムに関する。

従来、ＦＡ（Factory Automation）分野では、画像処理を用いた自動制御が広く実用化されている。例えば、ワーク等の検査対象を撮像し、その撮像された画像から抽出された特徴量に基づいて、当該ワークについての良否を検査するような工程が実現される。

例えば特許文献１には、複数の撮像条件で撮像した検査対象の画像を学習用データに用いて学習した識別器の出力結果に基づいて、検査対象の欠陥の有無を判定する装置について開示されている。具体的には、特許文献１に記載の装置は、外観の良否が既知の対象物に対して、少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれから、当該画像の特徴量を抽出する学習用抽出手段と、前記学習用抽出手段により前記少なくとも２つの画像から抽出された特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択する選択手段と、前記選択手段により選択された前記特徴量に基づいて、対象物の良否を判定する識別器を生成する生成手段と、を有する。

特開２０１７－４９９７４号公報

検査対象の画像について学習モデルによって欠陥の有無やワーク種類等の判定を行う場合、新たに取得した画像や学習モデルによって誤った判定がされた画像を用いて学習モデルの追加学習を行うことがある。しかしながら、追加学習によって学習モデルの任意のパラメータを更新すると、追加学習によって学習モデルのどのような部分に変更が加えられたのかが不明確となり、学習モデルのどのような変更によって判定結果が変化したのか説明できなくなることがある。

そこで、本発明は、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる画像判定装置、画像判定方法及び画像判定プログラムを提供する。

本開示の一態様に係る画像判定装置は、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第１出力データを出力する第１判定器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第２出力データを出力する第２判定器と、第１学習画像及び第１ラベルデータを含む学習データを用いて、第１学習画像を１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、第１学習画像に関連付けられた第１ラベルデータを表す第１出力データを出力するように第１判定器を学習させる第１学習部と、第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、第２学習画像を１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、第２学習画像に関連付けられた第２ラベルデータを表す第２出力データを出力するように第２判定器を学習させる第２学習部と、画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第１判定器により出力された第１出力データ及び画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第２判定器により出力された第２出力データに基づいて、画像に関する総合判定結果を表す出力データを出力する出力部と、を備える。

この態様によれば、追加学習によって新たに第２判定器を生成して追加し、第１判定器及び第２判定器による判定を総合することで、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる。

上記態様において、出力部は、特徴データと第２特徴データとの類似度に応じて第１出力データ及び第２出力データの相対的な重み付けを変化させてもよい。

この態様によれば、入力された画像が第２学習画像に類似するものであるかを、特徴データと第２特徴データの類似度によって判定し、第１学習画像を用いて学習された第１判定器による判定結果と第２学習画像を用いて学習された第２判定器による判定結果のいずれを重視するか変化させることができる。

上記態様において、出力部は、特徴空間における特徴データと第２特徴データとの距離が小さいほど第２出力データの相対的な重み付けを大きくしてもよい。

この態様によれば、入力された画像が第２学習画像に類似するものであるかを、特徴データと第２特徴データの距離によって判定し、距離が近いほど、第２学習画像を用いて学習された第２判定器による判定結果を重視させることができる。

上記態様において、特徴データが、第１特徴データ及び第２特徴データのいずれに類似するかを識別する識別器をさらに備え、出力部は、識別器による識別結果に基づいて、第１出力データ及び第２出力データの相対的な重み付けを変化させてもよい。

この態様によれば、入力された画像が第１学習画像及び第２学習画像いずれに類似するものであるかを、特徴データが第１特徴データ及び第２特徴データいずれに類似するか識別器によって識別することで判定し、第１学習画像を用いて学習された第１判定器による判定結果と第２学習画像を用いて学習された第２判定器による判定結果のいずれを重視するか変化させることができる。

本開示の他の態様に係る画像判定方法は、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第１出力データを出力する第１判定器を、第１学習画像及び第１ラベルデータを含む学習データを用いて、第１学習画像を１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、第１学習画像に関連付けられた第１ラベルデータを表す第１出力データを出力するように学習させることと、第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第２出力データを出力する第２判定器を、第２学習画像を１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、第２学習画像に関連付けられた第２ラベルデータを表す第２出力データを出力するように学習させることと、画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第１判定器により出力された第１出力データ及び画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第２判定器により出力された第２出力データに基づいて、画像に関する総合判定結果を表す出力データを出力することと、を含む。

この態様によれば、追加学習によって新たに第２判定器を生成して追加し、第１判定器及び第２判定器による判定を総合することで、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる。

本開示の他の態様に係る画像判定プログラムは、画像判定装置に備えられた演算部を、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第１出力データを出力する第１判定器、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第２出力データを出力する第２判定器、第１学習画像及び第１ラベルデータを含む学習データを用いて、第１学習画像を１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、第１学習画像に関連付けられた第１ラベルデータを表す第１出力データを出力するように第１判定器を学習させる第１学習部、第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、第２学習画像を１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、第２学習画像に関連付けられた第２ラベルデータを表す第２出力データを出力するように第２判定器を学習させる第２学習部、及び画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第１判定器により出力された第１出力データ及び画像が１又は複数の特徴抽出器に入力された場合に出力された特徴データに基づいて第２判定器により出力された第２出力データに基づいて、画像に関する総合判定結果を表す出力データを出力する出力部、として機能させる。

この態様によれば、追加学習によって新たに第２判定器を生成して追加し、第１判定器及び第２判定器による判定を総合することで、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる。

本発明によれば、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる画像判定装置、画像判定方法及び画像判定プログラムを提供することができる。

本発明の実施形態に係る画像判定システムの構成例を示す図である。 本実施形態に係る画像判定装置のハードウェア構成を示す図である。 本実施形態に係る画像判定装置の機能ブロックを示す図である。 本実施形態に係る学習モデルの構成例を示す図である。 本実施形態に係る学習モデルの編集例を示す図である。 本実施形態に係る画像判定装置により実行される画像判定処理のフローチャートである。 本実施形態の変形例に係る画像判定装置の機能ブロックを示す図である。 本実施形態の変形例に係る画像判定装置により実行される画像判定処理のフローチャートである。

以下、本発明の一側面に係る実施の形態（以下「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
図１は、本発明の実施形態に係る画像判定システム１の構成例を示す図である。はじめに、本発明が適用される場面の一例について説明する。本実施形態に係る画像判定システム１は、検査対象を撮像することにより生成される入力画像を、画像判定装置１００が備える学習モデルによって解析し、欠陥検査や対象の分類を行う。学習モデルは、学習データを用いて、検査対象に関する欠陥の有無や検査対象の種類を分類するように事前に学習されていてよい。また、学習モデルは、新たな学習データが得られた場合に、追加学習されてよい。本実施形態に係る画像判定システム１は、学習モデルの追加学習を行う場合に、学習モデルのどのような変更によって判定結果が変化したのかが明確となるように学習モデルを更新する。なお、検査対象は、例えば、製造過程にある、部品、製品等のワーク（Work piece）等を含む。

図１に示されるとおり、画像判定システム１は、例えば、ベルトコンベア２上を搬送される検査対象であるワーク４を撮像して得られる入力画像に対して画像計測処理を実行することで、ワーク４の外観検査又は外観計測を実現する。以下の説明においては、画像計測処理の典型例として、ワーク４表面における欠陥の有無の検査等に適用した例を説明するが、これに限らず、欠陥の種類の特定、欠陥の外観形状の寸法計測、ワーク４の種類の特定等にも応用が可能である。

ベルトコンベア２の上部には撮像部であるカメラ１０２が配置されており、カメラ１０２の撮像視野６はベルトコンベア２の所定領域を含むように構成される。カメラ１０２の撮像により生成された画像データ（以下、「入力画像」ともいう。）は、画像判定装置１００へ送信される。カメラ１０２による撮像は、周期的又はイベント発生時に実行される。

画像判定装置１００は、上位ネットワーク８を介して、ＰＬＣ（プログラマブルコントローラ）１０及びデータベース装置１２等と接続されている。画像判定装置１００における計測結果は、ＰＬＣ１０及び／又はデータベース装置１２へ送信されてもよい。なお、上位ネットワーク８には、ＰＬＣ１０及びデータベース装置１２に加えて、任意の装置が接続されるようにしてもよい。

画像判定装置１００は、処理中の状態や計測結果等を表示するためのディスプレイ１０４と、ユーザ操作を受け付ける入力部としてのキーボード１０６及びマウス１０８とが接続されていてもよい。

画像判定装置１００は機械学習によって生成された学習モデルを備えている。学習モデルは、画像を入力として受け付けて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第１出力データを出力する第１判定器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す第２出力データを出力する第２判定器とを含む。ここで、１又は複数の特徴抽出器は、例えば、画像に含まれるエッジを抽出するエッジ抽出器、画像に含まれる平面領域を抽出する平面部抽出器、画像の背景模様を抽出する背景模様抽出器、画像に含まれる２値化領域を抽出する２値化領域抽出器等を含んでよい。１又は複数の特徴抽出器は、それぞれ人が理解しやすい単一の特徴を抽出するようなモデルであってよく、機械学習モデルであってもよいし、ルールベースモデルであってもよい。第１判定器及び第２判定器は、１又は複数の特徴データを入力として受け付けて、画像に関する判定結果を表す出力データを出力する。出力データは、例えば、検査対象の欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。第１判定器及び第２判定器は、例えばニューラルネットワークで構成されてよい。

生産ライン上を流れるワーク４の種類や撮影条件等の検査条件は生産ラインによって様々であり、学習時の条件と必ずしも一致するとは限らない。このため、事前学習した学習モデルを生産ラインに用いると、誤った判定結果を出力することがある。そこで、学習モデルが正しく判定することができなかった画像を集めて、学習モデルの追加学習を行うことがある。この際、何ら制約無しに学習モデルの更新を行うと、当初想定していた特徴に注目して判定が行われているのか否かが不明確となり、追加学習によって学習モデルのどのような部分に変更が加えられたのかが不明確となり、学習モデルのどのような変更によって判定結果が変化したのか説明できなくなることがある。そのため、生産ラインに学習モデルを導入する場合に、学習モデルの信頼性を説明することが困難となり、導入が妨げられる原因となることがある。

本実施形態に係る画像判定装置１００は、このような事情に鑑み、第１判定器を事前学習によって生成して、第２判定器を追加学習によって生成して、学習モデルに含まれる１又は複数の特徴抽出器については変更を加えないこととして、追加学習によって学習モデルのどのような部分に変更が加えられたのかを明確としている。追加学習では、１又は複数の特徴抽出器の構成を固定して、第２判定器を学習する。そして、画像判定装置１００は、第１判定器及び第２判定器の出力を統合して、総合判定結果を出力する。このように、追加学習によって新たに第２判定器を生成して追加することで、学習モデルの追加学習を行う場合であっても、学習モデルのどのような変更によって判定結果が変化したのかが明確となる。これにより、生産ラインに学習モデルを導入する場合に、学習モデルの信頼性を説明することが容易となり、導入が妨げられないようにすることができる。なお、画像判定装置１００は、新たな学習データが追加される度に、新たな判定器を追加してよい。そして、画像判定装置１００は、複数の判定器の出力を統合して、総合判定結果を出力してよい。

§２ 構成例
［ハードウェア構成］
図２は、本実施形態に係る画像判定装置１００のハードウェア構成を示す図である。画像判定装置１００は、一例として、汎用的なコンピュータアーキテクチャに従って構成される汎用コンピュータを用いて実現されてもよい。画像判定装置１００は、プロセッサ１１０と、メインメモリ（主記憶部）１１２と、カメラインターフェイス１１４と、入力インターフェイス１１６と、表示インターフェイス１１８と、通信インターフェイス１２０と、ストレージ（補助記憶部）１３０とを含む。これらのコンポーネントは、典型的には、内部バス１２２を介して互いに通信可能に接続されている。

プロセッサ１１０は、ストレージ１３０に格納されているプログラムをメインメモリ１１２に展開して実行することで、次図以降を用いて詳述するような機能及び処理を実現する。メインメモリ１１２は、揮発性メモリにより構成され、プロセッサ１１０によるプログラム実行に必要なワークメモリとして機能する。

カメラインターフェイスは取得部の一例である。カメラインターフェイス１１４は、カメラ１０２と接続されて、カメラ１０２にて撮像された入力画像を取得する。カメラインターフェイス１１４は、カメラ１０２に対して撮像タイミング等を指示するようにしてもよい。

入力インターフェイス１１６は、キーボード１０６及びマウス１０８等のユーザによる操作が行われる入力部と接続される。入力インターフェイス１１６は、ユーザが入力部に対して行った操作等を示す指令を取得する。

表示インターフェイス１１８は、表示部としてのディスプレイ１０４と接続されている。表示インターフェイス１１８は、プロセッサ１１０によるプログラムの実行によって生成される各種処理結果をディスプレイ１０４へ出力する。

通信インターフェイス１２０は、上位ネットワーク８を介して、ＰＬＣ１０及びデータベース装置１２等と通信するための処理を担当する。

ストレージ１３０は、学習モデル１３６を実現するための画像処理プログラム１３２及びＯＳ（operating system）１３４等、コンピュータを画像判定装置１００として機能させるためのプログラムを格納している。ストレージ１３０は、さらに、学習モデル１３６と、カメラ１０２から取得された入力画像１３８と、学習モデル１３６の学習に用いられる学習データ１４０とを格納していてもよい。なお、学習データ１４０は、データベース装置１２等の外部機器から上位ネットワーク８を介して取得されてよく、ストレージ１３０に一時的に格納されるものであってよい。

ストレージ１３０に格納される画像処理プログラム１３２は、ＤＶＤ（digital versatile disc）等の光学記録媒体又はＵＳＢ（universal serial bus）メモリ等の半導体記録媒体等を介して、画像判定装置１００にインストールされてもよい。あるいは、画像処理プログラム１３２は、ネットワーク上のサーバ装置等からダウンロードするようにしてもよい。

本実施の形態に係る画像処理プログラム１３２は、本実施の形態に係る機能を実現するためのすべてのソフトウェアモジュールを含んでおらず、ＯＳ１３４と協働することで、必要な機能が提供されるようにしてもよい。

本実施の形態に係る画像処理プログラム１３２は、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、画像処理プログラム１３２自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。このように、本実施形態に係る画像処理プログラム１３２は、他のプログラムに組込まれた形態であってもよい。

図２には、汎用コンピュータを用いて画像判定装置１００を実現する例を示したが、これに限られることなく、その全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。

［機能構成］
図３は、本実施形態に係る画像判定装置１００の機能ブロックを示す図である。画像判定装置１００は、ストレージ１３０に格納された学習モデル１３６と、学習部１５２と、出力部１５４とを備える。

学習モデル１３６は、１又は複数の特徴抽出器１３６ａ及び判定器１３６ｂを含む。１又は複数の特徴抽出器１３６ａは、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する。判定器１３６ｂは、１又は複数の特徴抽出器１３６ａから出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する。

判定器１３６ｂは、異なる学習データで学習された複数の判定器を含む。本実施形態では、判定器１３６ｂは、第１判定器１３６ｂ－１及び第２判定器１３６ｂ－２を含む。第１判定器１３６ｂ－１は、１又は複数の特徴抽出器１３６ａから出力された特徴データに基づいて、画像に関する判定結果を表す第１出力データを出力する。第２判定器１３６ｂ－２は、１又は複数の特徴抽出器１３６ａから出力された特徴データに基づいて、画像に関する判定結果を表す第２出力データを出力する。なお、判定器１３６ｂは、３以上の判定器を含んでもよい。

学習部１５２は、第１学習部１５２ａ及び第２学習部１５２ｂを含む。第１学習部１５２ａは、第１学習画像及び第１ラベルデータを含む学習データ１４０を用いて、第１学習画像を１又は複数の特徴抽出器１３６ａに入力した場合に出力される第１特徴データに基づいて、第１学習画像に関連付けられた第１ラベルデータを表す第１出力データを出力するように第１判定器１３６ｂ－１を学習させる。ここで、第１学習画像は、予め撮影された検査対象の画像である。また、第１ラベルデータは、検査対象の状態を表すデータであり、例えば、検査対象に関する欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。第１判定器１３６ｂ－１の学習処理は、画像判定装置１００が生産ラインに組み込まれる前に実行されてよい。

第２学習部１５２ｂは、第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、第２学習画像を１又は複数の特徴抽出器１３６ａに入力した場合に出力される第２特徴データに基づいて、第２学習画像に関連付けられた第２ラベルデータを表す第２出力データを出力するように第２判定器１３６ｂ－２を学習させる。ここで、第２学習画像は、生産ラインを稼働させている間に撮影された検査対象の画像であってよく、第１判定器１３６ｂ－１が判定を誤った画像であってよい。また、第２ラベルデータは、検査対象の状態を表すデータであり、例えば、検査対象に関する欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。第２判定器１３６ｂ－２の学習処理は、画像判定装置１００が生産ラインに組み込まれ、生産ラインが稼働した後に実行されてよい。

出力部１５４は、検査対象の画像が１又は複数の特徴抽出器１３６ａに入力された場合に出力された特徴データに基づいて第１判定器１３６ｂ－１により出力された第１出力データ及び画像が１又は複数の特徴抽出器１３６ａに入力された場合に出力された特徴データに基づいて第２判定器１３６ｂ－２により出力された第２出力データに基づいて、画像に関する総合判定結果を表す出力データを出力する。このように、出力部１５４は、当初より設定されていた第１判定器１３６ｂ－１による第１出力データと、事後的に追加された第２判定器１３６ｂ－２による第２出力データとを総合して、検査対象の画像に関する総合判定結果を表す出力データを出力する。

出力部１５４は、特徴データと第２特徴データとの類似度に応じて第１出力データ及び第２出力データの相対的な重み付けを変化させてよい。ここで、特徴データは、新たに撮影された検査対象の画像を１又は複数の特徴抽出器１３６ａに入力して得られるデータであり、第２特徴データは、新たな学習データに含まれる第２学習画像を１又は複数の特徴抽出器１３６ａに入力して得られるデータである。第２学習画像は一般に複数あってよく、第２特徴データも複数あってよい。特徴データと第２特徴データとの類似度を算出する場合、複数の第２特徴データを代表するデータと、特徴データとの類似度を算出してもよいし、複数の第２特徴データそれぞれと特徴データとの類似度を総合してもよい。これにより、入力された画像が第２学習画像に類似するものであるかを、特徴データと第２特徴データの類似度によって判定し、第１学習画像を用いて学習された第１判定器１３６ｂ－１による判定結果と第２学習画像を用いて学習された第２判定器１３６ｂ－２による判定結果のいずれを重視するか変化させることができる。

出力部１５４は、特徴空間における特徴データと第２特徴データとの距離が小さいほど第２出力データの相対的な重み付けを大きくしてよい。特徴データと第２特徴データとの距離を算出する場合、複数の第２特徴データを代表するデータと、特徴データとの距離を算出してもよいし、複数の第２特徴データそれぞれと特徴データとの距離を総合してもよい。これにより、入力された画像が第２学習画像に類似するものであるかを、特徴データと第２特徴データの距離によって判定し、距離が近いほど、第２学習画像を用いて学習された第２判定器１３６ｂ－２による判定結果を重視させることができる。

§３ 動作例
図４は、本実施形態に係る学習モデル１３６の構成例を示す図である。本例の学習モデル１３６は、特徴抽出器１３６ａと、判定器１３６ｂとを含み、判定器１３６ｂは、第１判定器１３６ｂ－１を含む。

特徴抽出器１３６ａは、入力データ１３６ｉ（検査対象の画像）を入力として受け付け、画像の特徴を表す特徴データを出力する。特徴抽出器１３６ａは、画像に含まれるエッジを抽出したり、画像に含まれる平面領域を抽出したり、画像の背景模様を抽出したり、画像に含まれる２値化領域を抽出したりしてよい。

第１判定器１３６ｂ－１は、特徴抽出器１３６ａから出力された特徴データを入力とし、入力データ１３６ｉ（画像）に関する判定結果を表す第１出力データを出力する。

出力部１５４は、第１出力データを入力として受け付け、入力データ１３６ｉ（画像）に関する総合判定結果を表す出力データ１３６ｏを出力する。なお、本例のように判定器１３６ｂが単一の判定器しか含まない場合、出力部１５４は、第１判定器１３６ｂ－１から受け付けた第１出力データをそのまま出力データ１３６ｏとして出力してよい。

図５は、本実施形態に係る学習モデル１３６の編集例を示す図である。本例では、新たな学習データを用いて生成された第２判定器１３６ｂ－２が追加された例を示している。本例の学習モデル１３６は、特徴抽出器１３６ａと、判定器１３６ｂとを含み、判定器１３６ｂは、第１判定器１３６ｂ－１及び第２判定器１３６ｂ－２を含む。

第２判定器１３６ｂ－２は、特徴抽出器１３６ａから出力された特徴データを入力とし、入力データ１３６ｉ（画像）に関する判定結果を表す第２出力データを出力する。

出力部１５４は、第１出力データ及び第２出力データを入力として受け付け、入力データ１３６ｉ（画像）に関する総合判定結果を表す出力データ１３６ｏを出力する。出力部１５４は、特徴空間における特徴データと第２特徴データとの距離が小さいほど第２出力データの相対的な重み付けを大きくしてよい。具体的には、特徴データをｖと表し、新たな学習データに含まれる第２学習画像を特徴抽出器１３６ａに入力した場合に出力される第２特徴データをｖ_aと表し、第１出力データをｙと表し、第２出力データをｙ_aと表すとき、出力部１５４は、出力データｙ´を、ｙ´＝ｙ＋ｙ_aｅｘｐ（－｜｜ｖ_a－ｖ｜｜²／２σ_a ²）と算出してよい。ここで、｜｜ｖ_a－ｖ｜｜²は、特徴空間における距離の２乗を表し、複数の第２特徴データを代表するデータと、特徴データとの距離の２乗であってもよいし、複数の第２特徴データそれぞれと特徴データとの距離の２乗を総合した値であってもよい。ここでσ_aは、特徴空間における特徴データｖと第２特徴データｖ_aとの距離が大きくなるほど第２出力データｙ_aの相対的な重みを小さくするパラメータである。特徴空間が多次元の場合は、特徴データｖはベクトルとなる。その場合、特徴データｖに対応するように、第２特徴データｖ_aもベクトルであってよく、パラメータσ_aは行列であってよい。例えば、特徴データｖの成分がｖ＝（ｖ₀，ｖ₁，ｖ₂，…）であるとき、第２特徴データをｖ_a＝（ｖ_a0，ｖ_a1，ｖ_a2，…）とし、σ_a＝ｄｉａｇ（σ_a0，σ_a1，σ_a2，…）として、ｙ´＝ｙ＋ｙ_aｅｘｐ（－｜｜ｖ_a0－ｖ₀｜｜²／２σ_a0 ²）ｅｘｐ（－｜｜ｖ_a1－ｖ₁｜｜²／２σ_a1 ²）ｅｘｐ（－｜｜ｖ_a2－ｖ₂｜｜²／２σ_a2 ²）…としてもよい。

出力部１５４は、特徴空間における特徴データと第２特徴データとの距離が閾値より小さい場合に第２出力データを出力データとして出力し、特徴データと第２特徴データとの距離が閾値以上の場合に第１出力データを出力データとして出力してもよい。また、出力部１５４は、特徴空間における特徴データと第２特徴データとの距離が第１閾値より小さい場合に第２出力データを出力データとして出力し、特徴データと第２特徴データとの距離が第１閾値より大きい第２閾値以上の場合に第１出力データを出力データとして出力し、特徴データと第２特徴データとの距離が第１閾値以上かつ第２閾値未満の場合に、第１出力データと第２出力データを特徴データ間の距離に応じて線形補間した値を出力データとして出力してもよい。具体的には、特徴データと第２特徴データとの距離をｄと表し、第１閾値をｄ１と表し、第２閾値をｄ２と表し、第１出力データをｙと表し、第２出力データをｙ_aと表すとき、特徴データと第２特徴データとの距離ｄが第１閾値ｄ１以上かつ第２閾値ｄ２未満の場合に、出力部１５４は、出力データｙ´を、ｙ´＝ｙ_a＋（ｄ－ｄ１）×（ｙ－ｙ_a）／（ｄ２－ｄ１）と算出してよい。

判定器１３６ｂが３以上の判定器を含む場合、出力部１５４は、事前に用意された判定器を学習するために用いた学習データの特徴データと、追加した複数の判定器を学習するために用いた複数の学習データそれぞれの特徴データとの類似度に応じて、事前に用意された判定器の出力データと、追加した複数の判定器の複数の出力データの相対的な重み付けを変化させてよい。具体的には、事前に用意された判定器を学習するために用いた学習データの特徴データをｖと表し、追加した複数の判定器を学習するために用いた複数の学習データそれぞれの特徴データをｖ_a，ｖ_b，…と表し、事前に用意された判定器の出力データをｙと表し、追加した複数の判定器の複数の出力データをｙ_a，ｙ_b，…と表すとき、出力部１５４は、出力データｙ´を、ｙ´＝ｙ＋ｙ_aｅｘｐ（－｜｜ｖ_a－ｖ｜｜²／２σ_a ²）＋ｙ_bｅｘｐ（－｜｜ｖ_b－ｖ｜｜²／２σ_b ²）…と算出してよい。また、出力部１５４は、追加した複数の判定器の複数の出力データそれぞれについて、事前に用意された判定器を学習するために用いた学習データの特徴データと追加した判定器を学習するために用いた学習データの特徴データとの距離が閾値より小さい場合に追加した判定器の出力データを出力し、距離が閾値以上の場合に事前に用意された判定器の出力データを出力してもよい。さらに、追加した複数の判定器の複数の出力データそれぞれについて、事前に用意された判定器を学習するために用いた学習データの特徴データと、追加した判定器を学習するために用いた学習データの特徴データとの距離をｄ_iと表し、第１閾値をｄ１_iと表し、第２閾値をｄ２_iと表し、事前に用意された判定器の出力データをｙと表し、追加した判定器の出力データをｙ_iと表すとき、距離ｄ_iが第１閾値ｄ１_i以上かつ第２閾値ｄ２_i未満の場合に、出力部１５４は、出力データｙ´を、ｙ´＝ｙ_i＋（ｄ_i－ｄ１_i）×（ｙ－ｙ_i）／（ｄ２_i－ｄ１_i）と算出してよい。

また、判定器１３６ｂが３以上の判定器を含む場合であって、第１判定器による分類を他の判定器によって細分類する場合、出力部１５４は、第１判定器の第１出力データに応じて他の判定器の出力データを選択し、第１出力データと選択した判定器の出力データの重み付け和によって出力データを算出してもよい。具体的には、例えば、判定器１３６ｂが第１判定器、第２判定器及び第３判定器を含み、第１判定器が０又は１で表される２値の第１出力データを出力し、第２判定器は、第１出力データが０の場合に入力画像を細分類し、第３判定器は、第１出力データが１の場合に入力画像を細分類するものとする。そして、第１判定器の学習に用いた学習データの特徴データをｖと表し、第２判定器の学習に用いた学習データの特徴データをｖ_aと表し、第３判定器の学習に用いた学習データの特徴データをｖ_bと表し、第１判定器の第１出力データをｙと表し、第２判定器の第２出力データをｙ_aと表し、第３判定器の第３出力データをｙ_bと表すこととする。このとき、出力部１５４は、第１出力データｙが０であれば、出力データｙ´を、ｙ´＝ｙ＋ｙ_aｅｘｐ（－｜｜ｖ_a－ｖ｜｜²／２σ_a ²）と算出してよい。ここで、σ_aは、第２判定器に関連付けられたパラメータである。また、出力部１５４は、第１出力データｙが１であれば、出力データｙ´を、ｙ´＝ｙ＋ｙ_bｅｘｐ（－｜｜ｖ_b－ｖ｜｜²／２σ_b ²）と算出してよい。ここで、σ_bは、第３判定器に関連付けられたパラメータである。なお、出力部１５４は、第１出力データが０の場合に、｜｜ｖ_a－ｖ｜｜に応じて第１出力データ又は第２出力データを出力したり、第１出力データ及び第２出力データを補間する値を出力したりしてもよい。同様に、出力部１５４は、第１出力データが１の場合に、｜｜ｖ_b－ｖ｜｜に応じて第１出力データ又は第３出力データを出力したり、第１出力データ及び第３出力データを補間する値を出力したりしてもよい。

図６は、本実施形態に係る画像判定装置１００により実行される画像判定処理のフローチャートである。はじめに、画像判定装置１００は、検査対象の画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器１３６ａを設定する（Ｓ１０）。

その後、画像判定装置１００は、学習データに含まれる第１学習画像を１又は複数の特徴抽出器１３６ａに入力し、出力される第１特徴データを第１判定器１３６ｂ－１に入力して、学習データに含まれる第１ラベルデータに対応する第１出力データが出力されるように、第１判定器１３６ｂ－１の学習を行う（Ｓ１１）。

また、画像判定装置１００は、新たな学習データに含まれる第２学習画像を１又は複数の特徴抽出器１３６ａに入力し、出力される第２特徴データを第２判定器１３６ｂ－２に入力して、新たな学習データに含まれる第２ラベルデータに対応する第２出力データが出力されるように、第２判定器１３６ｂ－２の学習を行い、第２特徴データを記憶する（Ｓ１２）。

画像判定装置１００は、第２判定器１３６ｂ－２を学習する場合は、新たな学習データに含まれる第２学習画像のみを用いて、特徴抽出器１３６ａ及び第１判定器１３６ｂ－１のパラメータを固定したうえで、第１判定器１３６ｂ－１の第１出力データ及び第２判定器１３６ｂ－２の第２出力データを合わせた総合判定結果から新たな学習データに含まれる第２ラベルデータが推定できるように、第２判定器１３６ｂ－２のパラメータを調整してよい。ここで、第２学習画像が１枚である場合は、第２学習画像を特徴抽出器１３６ａに入力した結果出力される特徴データを、第２判定器１３６ｂ－２に対応する第２特徴データｖ_aとし、パラメータσ_aは、追加学習により元の学習データに対する影響が少なくなるようユーザが決定してよい。また、第２学習画像が複数枚である場合は、複数の第２学習画像を特徴抽出器１３６ａに入力した結果出力される複数の特徴データを統計処理した結果を、第２判定器１３６ｂ－２に対応する第２特徴データｖ_aとパラメータσ_aとしてもよい。例えば、複数の第２学習画像を特徴抽出器１３６ａに入力した結果出力され、ベクトルとして表される特徴データの各成分の平均値をｖ_aとし、ベクトルとして表される特徴データの各成分の標準偏差をσ_aとしてもよい。

その後、カメラ１０２によって検査対象の画像を撮影する（Ｓ１３）。そして、画像判定装置１００は、新たに撮影された画像を１又は複数の特徴抽出器１３６ａに入力し、画像の特徴データを算出する（Ｓ１４）。画像判定装置１００は、算出された特徴データと、記憶された第２特徴データの距離を算出する（Ｓ１５）。

画像判定装置１００は、算出された距離が小さいほど第２判定器１３６ｂ－２の第２出力データの重み付けを大きくして、第１判定器１３６ｂ－１の第１出力データと第２判定器１３６ｂ－２の第２出力データによる総合判定結果を算出する（Ｓ１６）。当然ながら、画像の撮影（Ｓ１３）から出力データの算出（Ｓ１６）までの処理は繰り返し行われてよい。以上により、画像判定処理が終了する。

§４ 変形例
図７は、本実施形態の変形例に係る画像判定装置１００ａの機能ブロックを示す図である。変形例に係る画像判定装置１００ａは、学習モデル１３６に識別器１３６ｃが含まれる点で、本実施形態に係る画像判定装置１００と相違し、その他の構成について本実施形態に係る画像判定装置１００と同様の構成を有する。以下では、相違点について説明する。

識別器１３６ｃは、特徴データが、第１特徴データ及び第２特徴データのいずれに類似するかを識別する。識別器１３６ｃは、例えば、特徴空間における特徴データと第１特徴データの距離と、特徴データと第２特徴データの距離とを算出し、距離が近いデータを特徴データに類似するデータと識別してよい。ここで、特徴データと第１特徴データとの距離を算出する場合、複数の第１特徴データを代表するデータと、特徴データとの距離を算出してもよいし、複数の第１特徴データそれぞれと特徴データとの距離を総合してもよい。複数の第２特徴データについても同様である。

出力部１５４は、識別器１３６ｃによる識別結果に基づいて、第１判定器１３６ｂ－１の第１出力データ及び第２判定器１３６ｂ－２の第２出力データの相対的な重み付けを変化させる。具体的には、出力部１５４は、第１特徴データ及び第２特徴データのうち識別器１３６ｃにより特徴データに類似すると識別されたデータの重み付けを大きくして、総合判定結果を表す出力データを出力する。

このようにして、入力された画像が第１学習画像及び第２学習画像いずれに類似するものであるかを、特徴データが第１特徴データ及び第２特徴データいずれに類似するか識別器によって識別することで判定し、第１学習画像を用いて学習された第１判定器１３６ｂ－１による判定結果と第２学習画像を用いて学習された第２判定器１３６ｂ－２による判定結果のいずれを重視するか変化させることができる。

図８は、本実施形態の変形例に係る画像判定装置１００ａにより実行される画像判定処理のフローチャートである。はじめに、画像判定装置１００ａは、検査対象の画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器１３６ａを設定する（Ｓ２０）。

その後、画像判定装置１００ａは、学習データに含まれる第１学習画像を１又は複数の特徴抽出器１３６ａに入力し、出力される第１特徴データを第１判定器１３６ｂ－１に入力して、学習データに含まれる第１ラベルデータに対応する第１出力データが出力されるように、第１判定器１３６ｂ－１の学習を行い、第１特徴データを記憶する（Ｓ２１）。

また、画像判定装置１００ａは、新たな学習データに含まれる第２学習画像を１又は複数の特徴抽出器１３６ａに入力し、出力される第２特徴データを第２判定器１３６ｂ－２に入力して、新たな学習データに含まれる第２ラベルデータに対応する第２出力データが出力されるように、第２判定器１３６ｂ－２の学習を行い、第２特徴データを記憶する（Ｓ２２）。

その後、カメラ１０２によって検査対象の画像を撮影する（Ｓ２３）。そして、画像判定装置１００ａは、新たに撮影された画像を１又は複数の特徴抽出器１３６ａに入力し、画像の特徴データを算出する（Ｓ２４）。画像判定装置１００ａは、算出された特徴データが、記憶された第１特徴データ及び第２特徴データのいずれに類似するかを識別する（Ｓ２５）。

画像判定装置１００ａは、識別結果に基づいて第１判定器１３６ｂ－１の第１出力データ及び第２判定器１３６ｂ－２の第２出力データの重み付けを定めて、第１出力データ及び第２出力データによる総合判定結果を算出する（Ｓ２６）。当然ながら、画像の撮影（Ｓ２３）から出力データの算出（Ｓ２６）までの処理は繰り返し行われてよい。以上により、画像判定処理が終了する。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器（１３６ａ）と、
前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器（１３６ｂ－１）と、
前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器（１３６ｂ－２）と、
第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように前記第１判定器（１３６ｂ－１）を学習させる第１学習部と、
第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記第２学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように前記第２判定器（１３６ｂ－２）を学習させる第２学習部と、
前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第１判定器（１３６ｂ－１）により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第２判定器（１３６ｂ－２）により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力する出力部（１５４）と、
を備える画像判定装置（１００）。

［付記２］
前記出力部（１５４）は、前記特徴データと前記第２特徴データとの類似度に応じて前記第１出力データ及び前記第２出力データの相対的な重み付けを変化させる、
付記１に記載の画像判定装置（１００）。

［付記３］
前記出力部（１５４）は、特徴空間における前記特徴データと前記第２特徴データとの距離が小さいほど前記第２出力データの相対的な重み付けを大きくする、
付記２に記載の画像判定装置（１００）。

［付記４］
前記特徴データが、前記第１特徴データ及び前記第２特徴データのいずれに類似するかを識別する識別器（１３６ｃ）をさらに備え、
前記出力部（１５４）は、前記識別器による識別結果に基づいて、前記第１出力データ及び前記第２出力データの相対的な重み付けを変化させる、
付記２又は３に記載の画像判定装置（１００）。

［付記５］
検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器（１３６ｂ－１）を、第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように学習させることと、
第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器（１３６ｂ－２）を、前記第２学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように学習させることと、
前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第１判定器（１３６ｂ－１）により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第２判定器（１３６ｂ－２）により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力することと、
を含む画像判定方法。

［付記６］
画像判定装置（１００）に備えられた演算部を、
それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器（１３６ａ）、
前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器（１３６ｂ－１）、
前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器（１３６ｂ－２）、
第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように前記第１判定器（１３６ｂ－１）を学習させる第１学習部、
第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記第２学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように第２判定器（１３６ｂ－２）を学習させる第２学習部、及び
前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第１判定器（１３６ｂ－１）により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器（１３６ａ）に入力された場合に出力された前記特徴データに基づいて前記第２判定器（１３６ｂ－２）により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力する出力部（１５４）、
として機能させる画像判定プログラム。

１…画像判定システム、２…ベルトコンベア、４…ワーク、６…撮像視野、８…上位ネットワーク、１０…ＰＬＣ、１２…データベース装置、１００…画像判定装置、１０２…カメラ、１０４…ディスプレイ、１０６…キーボード、１０８…マウス、１１０…プロセッサ、１１２…メインメモリ、１１４…カメラインターフェイス、１１６…入力インターフェイス、１１８…表示インターフェイス、１２０…通信インターフェイス、１２２…内部バス、１３０…ストレージ、１３２…画像処理プログラム、１３４…ＯＳ、１３６…学習モデル、１３６ａ…特徴抽出器、１３６ｂ…判定器、１３６ｂ－１…第１判定器、１３６ｂ－２…第２判定器、１３６ｃ…識別器、１３６ｉ…入力データ、１３６ｏ…出力データ、１３８…入力画像、１４０…学習データ、１５２…学習部、１５２ａ…第１学習部、１５２ｂ…第２学習部、１５４…出力部

Claims (5)

1. それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、
   前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器と、
   前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器と、
   第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように前記第１判定器を学習させる第１学習部と、
   第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記第２学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように前記第２判定器を学習させる第２学習部と、
   前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第１判定器により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第２判定器により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力する出力部と、
   を備え、
   前記出力部は、前記特徴データと前記第２特徴データとの類似度に応じて前記第１出力データ及び前記第２出力データの相対的な重み付けを変化させる、画像判定装置。
2. 前記出力部は、特徴空間における前記特徴データと前記第２特徴データとの距離が小さいほど前記第２出力データの相対的な重み付けを大きくする、
   請求項１に記載の画像判定装置。
3. 前記特徴データが、前記第１特徴データ及び前記第２特徴データのいずれに類似するかを識別する識別器をさらに備え、
   前記出力部は、前記識別器による識別結果に基づいて、前記第１出力データ及び前記第２出力データの相対的な重み付けを変化させる、
   請求項１又は２に記載の画像判定装置。
4. 検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器を、第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように学習させることと、
   第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器を、前記第２学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように学習させることと、
   前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第１判定器により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第２判定器により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力することと、
   を含み、
   前記出力データを出力することにおいては、前記特徴データと前記第２特徴データとの類似度に応じて前記第１出力データ及び前記第２出力データの相対的な重み付けを変化させる、画像判定方法。
5. 画像判定装置に備えられた演算部を、
   それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器、
   前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第１出力データを出力する第１判定器、
   前記１又は複数の特徴抽出器から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す第２出力データを出力する第２判定器、
   第１学習画像及び第１ラベルデータを含む学習データを用いて、前記第１学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第１特徴データに基づいて、前記第１学習画像に関連付けられた前記第１ラベルデータを表す前記第１出力データを出力するように前記第１判定器を学習させる第１学習部、
   第２学習画像及び第２ラベルデータを含む新たな学習データが追加された場合に、前記第２学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される第２特徴データに基づいて、前記第２学習画像に関連付けられた前記第２ラベルデータを表す第２出力データを出力するように第２判定器を学習させる第２学習部、及び
   前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第１判定器により出力された前記第１出力データ及び前記画像が前記１又は複数の特徴抽出器に入力された場合に出力された前記特徴データに基づいて前記第２判定器により出力された前記第２出力データに基づいて、前記画像に関する総合判定結果を表す出力データを出力する出力部、
   として機能させ、
   前記出力部は、前記特徴データと前記第２特徴データとの類似度に応じて前記第１出力データ及び前記第２出力データの相対的な重み付けを変化させる、画像判定プログラム。
   
   
   

Images