JP7056259B2 - 検査システム、識別システム、及び識別器評価装置 - Google Patents

Description

本発明は、検査システム、識別システム、及び識別器評価装置に関する。

従来、生産ライン等の製品を製造する場面では、製造される製品を撮影装置により撮影し、得られた画像データに基づいて製品の良否を検査する技術が利用されている。例えば、特許文献１では、学習済みの第１のニューラルネットワークに基づいて画像に写る検査対象物が正常であるか異常であるかを判定し、検査対象物が異常であると判定した場合に、学習済みの第２のニューラルネットワークに基づいて当該異常の種類を分類する検査装置が提案されている。

特開２０１２－０２６９８２号公報

本件発明者は、特許文献１のような学習済みのニューラルネットワーク等の識別器を利用して、画像データから製品の良否を判定する従来の技術には次のような問題点があることを見出した。すなわち、識別器は、事前に収集した画像データに写る製品の良否を識別するように構築されるため、新たな種類の欠陥が発生する等の未知のケースには対応することができない。そこで、未知のケースに対応するために、この未知のケースの写る追加の画像データを収集し、収集した追加の画像データにより識別器の再学習又は追加学習を実施する。これにより、更新された識別器は、追加の画像データにより学習した未知のケースに対応することができるようになる。

しかしながら、学習する画像データの件数が増えると、特殊なケースの識別を学習したこと等の影響を受けて、識別器の性能がかえって悪化する可能性がある。例えば、ニューラルネットワーク等のＡＩ技術を識別器に利用した場合には、学習データの件数が増えると、学習データに表れる良否のケースに過剰に適合してしまう等の原因により過学習が起きてしまい、識別器の性能が悪化してしまうことがある。従来の技術では、再学習又は追加学習により識別器の性能が悪化してしまった場合に、この識別器による製品の良否判定の信頼性が損なわれてしまうという問題点があることを本件発明者は見出した。

なお、この問題点は、製品の良否を判定する場面に特有のものではない。画像データから被写体の何らかの状態を識別する場面、画像データ以外のデータから何らかの特徴を識別する場面等、再学習又は追加学習により識別器を更新するあらゆる場面で同様の問題点が生じ得る。すなわち、収集した追加のデータにより識別器の再学習又は追加学習を実施することで、更新された識別器は、追加のデータにより学習した未知のケースに対応することができるようになる。しかしながら、学習するデータの件数が増えると、対象のデータに表れる特徴を識別器により識別する性能が悪化してしまう可能性がある。

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、再学習又は追加学習により識別器の識別性能が悪化してしまった場合でも、識別器を利用した判定の信頼性が損なわれてしまうのを防止する技術を提供することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る検査システムは、製品の良否を検査する検査システムであって、前記製品の写る評価用画像データ、及び前記評価用画像データに写る前記製品の良否の判定に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得する評価データ取得部と、各件の評価用データセットについて、前記製品の良否を学習するための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、各件の評価用データセットについて、前記第１学習データ及び前記製品の良否を学習するための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、検査の対象となる前記製品の写る対象画像データを取得する対象データ取得部と、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定した場合には、前記第１識別器を利用して前記対象画像データに写る前記製品の良否を判定し、前記第２識別器の判定性能が前記第１識別器と比べて悪化していないと判定した場合には、前記第２識別器を利用して前記対象画像データに写る前記製品の良否を判定する良否判定部と、を備える。

当該構成に係る検査システムでは、評価用画像データ及び正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを利用して、第１識別器及び第２識別器の判定性能を評価する。第１識別器は、第１学習データを利用した機械学習により構築されるのに対して、第２識別器は、第１学習データ及び追加の画像データで構成される第２学習データを利用した機械学習により構築される。つまり、第１識別器と第２識別器との間の関係では、第１識別器は、再学習又は追加学習前の識別器であり、第２識別器は、再学習又は追加学習後の識別器である。

続いて、当該構成に係る検査システムでは、第１識別器及び第２識別器に対する評価の結果に基づいて、第２識別器の判定性能が第１識別器と比べて悪化しているか否かを判定する。すなわち、再学習又は追加学習の前後で識別器の性能が悪化していないかどうかを監視する。そして、当該構成に係る検査システムは、再学習又は追加学習の際に過学習が生じてしまう等の何らかの理由で第２識別器の判定性能が第１識別器と比べて悪化してしまった場合に、再学習又は追加学習後の第２識別器を利用せずに、再学習又は追加学習前の第１識別器を利用して、製品の良否を判定する。一方で、そのような事態が生じなかった場合には、第２識別器を利用して、製品の良否を判定する。

したがって、当該構成によれば、未知のケースに対応するように識別器の再学習又は追加学習を実施可能にすると共に、再学習又は追加学習により識別器の性能が悪化したか否かを監視することができる。これによって、再学習又は追加学習により識別器の性能が悪化してしまった場合でも、再学習又は追加学習後の識別器（第２識別器）を利用しないようにすることで、識別器を利用した判定の信頼性が損なわれてしまうのを防止することができる。

なお、「製品」は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。「製品」は、例えば、電子部品、自動車部品等の製造ラインで搬送される物であってよい。電子部品は、例えば、基盤、チップコンデンサ、液晶、リレーの巻線等である。自動車部品は、例えば、コンロッド、シャフト、エンジンブロック、パワーウィンドウスイッチ、パネル等である。「良否の判定」は、製品に欠陥があるか否かを単に判定することであってもよいし、製品に欠陥がある否かを判定することに加えて、その欠陥の種類を識別することを含んでもよい。欠陥は、例えば、傷、汚れ、クラック、打痕、埃、バリ、色ムラ等である。「識別器」は、例えば、ニューラルネットワーク、サポートベクタマシン、自己組織化マップ、強化学習モデル等の、機械学習により所定の推論を行う能力を獲得可能な学習モデルにより構成されてよい。また、第１識別器は、他の識別器との関係で、再学習又は追加学習後の識別器であってもよい。「再学習」は、識別器の機械学習に利用した元の学習データ（第１学習データ）を用いた機械学習を再度行うことである。また、「追加学習」は、新たな学習データを用いた機械学習により、識別器の更新を行うことである。「再学習又は追加学習」には、これらの機械学習により識別器の更新を行うことの他、元の学習データ及び新たな学習データを用いた機械学習により新たな識別器を構築することが含まれてよい。

上記一側面に係る検査システムにおいて、前記第１評価部は、前記複数件の評価用データセットに対して、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果が前記正解データの示す正解と一致している比率を算出することで、前記第１識別器の判定性能を評価してもよく、前記第２評価部は、前記複数件の評価用データセットに対して、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果が前記正解データの示す正解と一致している比率を算出することで、前記第２識別器の判定性能を評価してもよい。当該構成によれば、各識別器による判定結果と正解データとが一致している比率、すなわち、評価用データセットに対する判定の正答率により、各識別器の判定性能を適切に評価することができるようになる。これによって、再学習又は追加学習により識別器の性能が悪化してしまったか否かを適切に判定することができる。

上記一側面に係る検査システムにおいて、前記各件の評価用データセットには、前記判定性能に寄与する度合いを示す重みが設定されていてもよい。当該構成によれば、評価用データセットに重み付けを行うことで、評価用画像データに写る製品の良否判定の重要度を設定することができる。これにより、再学習又は追加学習により構築された第２識別器が、比較的に重要度の高い評価用画像データに対する良否の判定を誤るようになっていないかどうかを監視することができる。したがって、比較的に重要度の高い評価用画像データに対する良否の判定を第２識別器が誤るようになってしまった場合に、この第２識別器を利用しないようにすることで、良否の判定の信頼性が損なわれてしまうのを防止することができる。

上記一側面に係る検査システムにおいて、前記複数件の評価用データセットは、前記評価用画像データに写る前記製品の良否の判定を誤ってはいけないものとして設定される禁忌データセットを含んでもよく、前記性能判定部は、前記第１識別器から得られる出力に基づいて前記禁忌データセットの前記評価用画像データに写る前記製品の良否を判定した結果が前記正解データの示す正解と一致しているのに対して、前記第２識別器から得られる出力に基づいて前記禁忌データセットの前記評価用画像データに写る前記製品の良否を判定した結果が前記正解データの示す正解と一致していない場合、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定してもよい。当該構成によれば、評価用データセットのうちから、評価用画像データに写る製品の良否の判定を誤ってはいけない禁忌データセットを設定することができる。これにより、再学習又は追加学習により構築された第２識別器が、禁忌データセットの評価用画像データに対する良否の判定を誤るようになっていないかどうかを監視することができる。したがって、禁忌データセットの評価用画像データに対する良否の判定を第２識別器が誤るようになってしまった場合に、この第２識別器を利用しないようにすることで、良否の判定の信頼性が損なわれてしまうのを防止することができる。また、この場合、禁忌データセット以外の評価用データセットに対する良否の判定を省略してもよい。これにより、第１識別器及び第２識別器の判定性能を評価する処理の演算コストを低減することができ、演算装置の処理負荷を低減することができる。

上記一側面に係る検査システムにおいて、前記評価データ取得部は、前記製品の良否を検査する環境において、前記評価用画像データを取得してもよい。当該構成によれば、製品の良品を検査する環境において得られた評価用画像データを利用することで、各識別器の判定性能を適切に評価することができるようになる。これによって、再学習又は追加学習により識別器の性能が悪化してしまったか否かを適切に判定することができる。

また、上記各形態に係る検査システムから、例えば、各識別器の判定性能を評価する部分、第１識別器又は第２識別器を利用して製品の良否を判定する部分等の一部分を抽出して他の形態に係る装置を構成してもよい。

例えば、本発明の一側面に係る識別器評価装置は、製品の写る評価用画像データ、及び前記評価用画像データに写る前記製品の良否の判定に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得する評価データ取得部と、各件の評価用データセットについて、前記製品の良否を学習するための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、各件の評価用データセットについて、前記第１学習データ及び前記製品の良否を学習するための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力する出力部と、を備える。

また、上記各形態に係る検査システムは、製品の写る画像データ以外の画像データから何らかの特徴を判定する場面、画像データ以外の他のデータを含むデータから何らかの特徴を判定する場面等の、再学習又は追加学習により識別器を更新するあらゆる場面に適用可能に変更されてよい。

例えば、本発明の一側面に係る識別システムは、評価用画像データ、及び前記評価用画像データに写る被写体の状態の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得する評価データ取得部と、各件の評価用データセットについて、前記被写体の状態を識別する学習を行うための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、各件の評価用データセットについて、前記第１学習データ及び前記被写体の状態を識別する学習を行うための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、状態を識別する対象となる前記被写体の写る対象画像データを取得する対象データ取得部と、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定した場合には、前記第１識別器を利用して前記対象画像データに写る前記被写体の状態を判定し、前記第２識別器の判定性能が前記第１識別器と比べて悪化していないと判定した場合には、前記第２識別器を利用して前記対象画像データに写る前記被写体の状態を判定する状態判定部と、を備える。

なお、「被写体」及び識別の対象となる被写体の「状態」はそれぞれ、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。「被写体」は、例えば、対象者の顔、対象者の身体、作業対象のワーク等であってよい。また、被写体が対象者の顔である場合、識別の対象となる状態は、例えば、表情の種別、顔のパーツの状態、その顔を所有する個人等であってよい。被写体が対象者の身体である場合には、識別の対象となる状態は、例えば、身体のポーズ等であってよい。被写体が作業対象のワークである場合、識別の対象となる状態は、例えば、ワークの位置、姿勢等であってよい。

また、例えば、本発明の一側面に係る識別システムは、評価用データ、及び前記評価用データに含まれる特徴の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得する評価データ取得部と、各件の評価用データセットについて、前記特徴を識別する学習を行うためのデータで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用データを入力し、前記第１識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、各件の評価用データセットについて、前記第１学習データ及び前記特徴を識別する学習を行うための追加のデータで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用データを入力し、前記第２識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、識別する対象となる特徴を含む対象データを取得する対象データ取得部と、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定した場合には、前記第１識別器を利用して前記対象データに含まれる前記特徴を判定し、前記第２識別器の判定性能が前記第１識別器と比べて悪化していないと判定した場合には、前記第２識別器を利用して前記対象データに含まれる前記特徴を判定する特徴判定部と、を備える。

なお、「データ」は、識別器による解析の対象となり得るあらゆる種類のデータを含んでもよく、例えば、画像データの他、音データ（音声データ）、数値データ、テキストデータ等であってよい。「特徴」は、データから識別可能なあらゆる特徴を含んでもよい。「データ」が音データである場合、「特徴」は、例えば、特定の音（例えば、機械の異音）が含まれているか否か等であってよい。また、「データ」が、血圧、活動量等の生体データに関する数値データ又はテキストデータである場合、「特徴」は、例えば、対象者の状態等であってよい。また、「データ」が、機械の駆動量等の数値データ又はテキストデータである場合、「特徴」は、例えば、機械の状態等であってよい。

上記一側面に係る識別システムにおいて、前記第１評価部は、前記複数件の評価用データセットに対して、前記第１識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果が前記正解データの示す正解と一致している比率を算出することで、前記第１識別器の判定性能を評価してもよく、前記第２評価部は、前記複数件の評価用データセットに対して、前記第２識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果が前記正解データの示す正解と一致している比率を算出することで、前記第２識別器の判定性能を評価してもよい。

上記一側面に係る識別システムにおいて、前記各件の評価用データセットには、前記判定性能に寄与する度合いを示す重みが設定されていてもよい。

上記一側面に係る識別システムにおいて、前記複数件の評価用データセットは、前記評価用データに含まれる前記特徴の判定を誤ってはいけないものとして設定される禁忌データセットを含んでもよく、前記性能判定部は、前記第１識別器から得られる出力に基づいて前記禁忌データセットの前記評価用データに含まれる前記特徴を判定した結果が前記正解データの示す正解と一致しているのに対して、前記第２識別器から得られる出力に基づいて前記禁忌データセットの前記評価用データに含まれる前記特徴を判定した結果が前記正解データの示す正解と一致していない場合、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定してもよい。

上記一側面に係る識別システムにおいて、前記評価データ取得部は、前記対象データに含まれる前記特徴を判定する環境において、前記評価用データを取得してもよい。

また、上記検査システムと同様に、上記各形態に係る識別システムから、例えば、各識別器の判定性能を評価する部分、第１識別器又は第２識別器を利用して判定を行う部分等の一部分を抽出して他の形態に係る装置を構成してもよい。

例えば、本発明の一側面に係る識別器評価装置は、評価用画像データ、及び前記評価用画像データに写る被写体の状態の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得する評価データ取得部と、各件の評価用データセットについて、前記被写体の状態を識別する学習を行うための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、各件の評価用データセットについて、前記第１学習データ及び前記被写体の状態を識別する学習を行うための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力する出力部と、を備える。

また、例えば、本発明の一側面に係る識別器評価装置は、評価用データ、及び前記評価用データに含まれる特徴の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得する評価データ取得部と、各件の評価用データセットについて、前記特徴を識別する学習を行うためのデータで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用データを入力し、前記第１識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、各件の評価用データセットについて、前記第１学習データ及び前記特徴を識別する学習を行うための追加のデータで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用データを入力し、前記第２識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力する出力部と、を備える。

なお、上記各形態に係る検査システム、識別システム、及び識別器評価装置それぞれの別の態様として、本発明の一側面は、以上の各構成の全部又はその一部を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。

本発明の一側面に係る検査方法は、製品の良否を検査する情報処理方法であって、コンピュータが、前記製品の写る評価用画像データ、及び前記評価用画像データに写る前記製品の良否の判定に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得するステップと、各件の評価用データセットについて、前記製品の良否を学習するための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価するステップと、各件の評価用データセットについて、前記第１学習データ及び前記製品の良否を学習するための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価するステップと、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定するステップと、検査の対象となる前記製品の写る対象画像データを取得するステップと、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定した場合には、前記第１識別器を利用して前記対象画像データに写る前記製品の良否を判定し、前記第２識別器の判定性能が前記第１識別器と比べて悪化していないと判定した場合には、前記第２識別器を利用して前記対象画像データに写る前記製品の良否を判定するステップと、を実行する、情報処理方法である。

また、例えば、本発明に一側面に係る識別器評価方法は、コンピュータが、前記製品の写る評価用画像データ、及び前記評価用画像データに写る前記製品の良否の判定に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得するステップと、各件の評価用データセットについて、前記製品の良否を学習するための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価するステップと、各件の評価用データセットについて、前記第１学習データ及び前記製品の良否を学習するための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価するステップと、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定するステップと、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力するステップと、を実行する、情報処理方法である。

また、例えば、本発明の一側面に係る評価プログラムは、コンピュータに、前記製品の写る評価用画像データ、及び前記評価用画像データに写る前記製品の良否の判定に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得するステップと、各件の評価用データセットについて、前記製品の良否を学習するための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価するステップと、各件の評価用データセットについて、前記第１学習データ及び前記製品の良否を学習するための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価するステップと、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定するステップと、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力するステップと、を実行させるための、プログラムである。

また、例えば、本発明に一側面に係る識別方法は、コンピュータが、評価用画像データ、及び前記評価用画像データに写る被写体の状態の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得するステップと、各件の評価用データセットについて、前記被写体の状態を識別する学習を行うための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価するステップと、各件の評価用データセットについて、前記第１学習データ及び前記被写体の状態を識別する学習を行うための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価するステップと、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定するステップと、状態を識別する対象となる前記被写体の写る対象画像データを取得するステップと、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定した場合には、前記第１識別器を利用して前記対象画像データに写る前記被写体の状態を判定し、前記第２識別器の判定性能が前記第１識別器と比べて悪化していないと判定した場合には、前記第２識別器を利用して前記対象画像データに写る前記被写体の状態を判定するステップと、を実行する、情報処理方法である。

また、例えば、本発明の一側面に係る識別器評価方法は、コンピュータが、評価用画像データ、及び前記評価用画像データに写る被写体の状態の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得するステップと、各件の評価用データセットについて、前記被写体の状態を識別する学習を行うための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価するステップと、各件の評価用データセットについて、前記第１学習データ及び前記被写体の状態を識別する学習を行うための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価するステップと、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定するステップと、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力するステップと、を実行する、情報処理方法である。

また、例えば、本発明に一側面に係る評価プログラムは、コンピュータに、評価用画像データ、及び前記評価用画像データに写る被写体の状態の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得するステップと、各件の評価用データセットについて、前記被写体の状態を識別する学習を行うための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価するステップと、各件の評価用データセットについて、前記第１学習データ及び前記被写体の状態を識別する学習を行うための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価するステップと、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定するステップと、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力するステップと、を実行させるための、プログラムである。

また、例えば、本発明の一側面に係る識別方法は、コンピュータが、評価用データ、及び前記評価用データに含まれる特徴の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得するステップと、各件の評価用データセットについて、前記特徴を識別する学習を行うためのデータで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用データを入力し、前記第１識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価するステップと、各件の評価用データセットについて、前記第１学習データ及び前記特徴を識別する学習を行うための追加のデータで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用データを入力し、前記第２識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価するステップと、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定するステップと、識別する対象となる特徴を含む対象データを取得するステップと、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定した場合には、前記第１識別器を利用して前記対象データに含まれる前記特徴を判定し、前記第２識別器の判定性能が前記第１識別器と比べて悪化していないと判定した場合には、前記第２識別器を利用して前記対象データに含まれる前記特徴を判定するステップと、を実行する、情報処理方法である。

また、例えば、本発明の一側面に係る識別器評価方法は、コンピュータが、評価用データ、及び前記評価用データに含まれる特徴の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得するステップと、各件の評価用データセットについて、前記特徴を識別する学習を行うためのデータで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用データを入力し、前記第１識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価するステップと、各件の評価用データセットについて、前記第１学習データ及び前記特徴を識別する学習を行うための追加のデータで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用データを入力し、前記第２識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価するステップと、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定するステップと、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力するステップと、を実行する、情報処理方法である。

また、例えば、本発明の一側面に係る評価プログラムは、コンピュータに、評価用データ、及び前記評価用データに含まれる特徴の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得するステップと、各件の評価用データセットについて、前記特徴を識別する学習を行うためのデータで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用データを入力し、前記第１識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価するステップと、各件の評価用データセットについて、前記第１学習データ及び前記特徴を識別する学習を行うための追加のデータで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用データを入力し、前記第２識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価するステップと、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定するステップと、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力するステップと、を実行させるための、プログラムである。

本発明によれば、再学習又は追加学習により識別器の識別性能が悪化してしまった場合でも、識別器を利用した判定の信頼性が損なわれてしまうのを防止する技術を提供することができる。

図１は、本発明が適用される場面の一例を模式的に例示する。 図２は、実施の形態に係る識別器評価装置のハードウェア構成の一例を模式的に例示する。 図３は、実施の形態に係る学習装置のハードウェア構成の一例を模式的に例示する。 図４は、実施の形態に係る検査装置のハードウェア構成の一例を模式的に例示する。 図５は、実施の形態に係る識別器評価装置のソフトウェア構成の一例を模式的に例示する。 図６は、実施の形態に係る学習装置のソフトウェア構成の一例を模式的に例示する。 図７は、実施の形態に係る検査装置のソフトウェア構成の一例を模式的に例示する。 図８は、実施の形態に係る学習装置の処理手順の一例を例示する。 図９は、実施の形態に係る識別器評価装置の処理手順の一例を例示する。 図１０は、実施の形態に係る検査装置の処理手順の一例を例示する。 図１１は、他の形態に係る識別器評価装置のソフトウェア構成の一例を模式的に例示する。 図１２は、他の形態に係る識別装置のハードウェア構成の一例を模式的に例示する。 図１３は、他の形態に係る識別装置のソフトウェア構成の一例を模式的に例示する。 図１４は、他の形態に係る識別器評価装置のソフトウェア構成の一例を模式的に例示する。 図１５は、他の形態に係る学習装置のソフトウェア構成の一例を模式的に例示する。 図１６は、他の形態に係る識別装置のハードウェア構成の一例を模式的に例示する。 図１７は、他の形態に係る識別装置のソフトウェア構成の一例を模式的に例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
まず、本発明の基本的な構成の一例について説明する。再学習又は追加学習により識別器を更新した場合、次のような問題が生じ得る。すなわち、収集した追加のデータにより識別器の再学習又は追加学習を実施することで、更新された識別器は、追加のデータにより学習した未知のケースに対する識別を実施することができるようになる。しかしながら、学習するデータの件数が増えると、過学習等が生じてしまうことにより、対象のデータに表れる特徴を識別器により識別する性能が悪化してしまう可能性がある。

そこで、本発明の一例では、評価用データ及び正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットを取得する。次に、各件の評価用データセットについて、再学習又は追加学習前の第１識別器に評価用データを入力し、当該第１識別器から得られる出力に基づいて評価用データに含まれる特徴を判定した結果と正解データの示す正解とを照合することで、当該第１識別器の判定性能を評価する。また、各件の評価用データセットについて、再学習又は追加学習後の第２識別器に評価用データを入力し、当該第２識別器から得られる出力に基づいて評価用データに含まれる特徴を判定した結果と正解データの示す正解とを照合することで、当該第２識別器の判定性能を評価する。そして、第１識別器及び第２識別器に対する評価の結果に基づいて、第２識別器の判定性能が第１識別器と比べて悪化しているか否かを判定する。

これにより、本発明の一例では、識別器の再学習又は追加学習を実施した場合に、過学習が生じてしまう等の何らかの理由で、構築された識別器（第２識別器）の性能が、再学習又は追加学習前と比べて悪化したか否かを監視することができる。したがって、本発明の一例では、再学習又は追加学習により識別器の性能が悪化してしまった場合でも、そのことを可視化することができるため、性能の悪化した識別器を利用しないようにすることで、判定の信頼性が損なわれてしまうのを防止することができる。

次に、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本発明を製品Ｒの外観検査に適用した場面の一例を模式的に例示する。ただし、本発明の適用範囲は、以下で例示する外観検査の例に限られる訳ではない。本発明は、再学習又は追加学習により識別器を更新するあらゆる場面に適用可能である。

図１で例示される検査システム１００は、ネットワークを介して接続される識別器評価装置１、学習装置２、及び検査装置３を備えており、製品の良否を検査するように構成される。識別器評価装置１、学習装置２、及び検査装置３の間のネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。

なお、図１の例では、識別器評価装置１、学習装置２、及び検査装置３は、別個のコンピュータである。しかしながら、検査システム１００の構成は、このような例に限定されなくてもよい。識別器評価装置１、学習装置２、及び検査装置３のうちの少なくともいずれかのペアは一体のコンピュータであってもよい。また、識別器評価装置１、学習装置２、及び検査装置３はそれぞれ複数台のコンピュータにより構成されてもよい。

本実施形態に係る学習装置２は、検査装置３で利用する第１識別器５及び第２識別器６を構築するように構成されたコンピュータである。具体的には、学習装置２は、製品の良否を学習するための画像データ２２２で構成された第１学習データ２２１を利用した機械学習を実施することで、製品の良否を判定する能力を習得した学習済みの第１識別器５を構築する。また、学習装置２は、第１学習データ２２１及び製品の良否を学習するための追加の画像データ２２７で構成された第２学習データ２２６を利用した機械学習を実施することで、製品の良否を判定する能力を習得した学習済みの第２識別器６を構築する。

これにより、学習装置２は、検査装置３で利用する第１識別器５及び第２識別器６を構築することができる。検査装置３は、例えば、ネットワークを介して、学習装置２により構築された学習済みの第１識別器５及び第２識別器６を取得することができる。なお、第１識別器５及び第２識別器６の間の関係では、第１識別器５は、再学習又は追加学習前の識別器であり、第２識別器６は、再学習又は追加学習後の識別器である。ただし、再学習又は追加学習「前」及び「後」は、第１識別器５及び第２識別器６の間の相対的な関係を示しているに過ぎない。第１識別器５は、第２識別器６以外の他の識別器との関係では、再学習又は追加学習後の識別器であってもよい。また、第２識別器６は、第１識別器５以外の他の識別器との関係では、再学習又は追加学習前の識別器であってもよい。

一方、本実施形態に係る識別器評価装置１は、学習装置２により構築される第２識別器６の性能を監視するように構成されたコンピュータである。具体的には、識別器評価装置１は、製品の写る評価用画像データ１２２、及び評価用画像データ１２２に写る製品の良否の判定に対する正解を示す正解データ１２３の組み合わせによりそれぞれ構成される複数件の評価用データセット１２１を取得する。

続いて、識別器評価装置１は、各件の評価用データセット１２１について、評価用画像データ１２２を第１識別器５に入力し、第１識別器５から得られる出力に基づいて評価用画像データ１２２に写る製品の良否を判定した結果と正解データ１２３の示す正解とを照合することで、第１識別器５の判定性能を評価する。また、識別器評価装置１は、各件の評価用データセット１２１について、評価用画像データ１２２を第２識別器６に入力し、第２識別器６から得られる出力に基づいて評価用画像データ１２２に写る製品の良否を判定した結果と正解データ１２３の示す正解とを照合することで、第２識別器６の判定性能を評価する。

そして、識別器評価装置１は、第１識別器５及び第２識別器６に対する評価の結果に基づいて、第２識別器６の判定性能が第１識別器５と比べて悪化しているか否かを判定する。これにより、識別器評価装置１は、学習装置２により構築される第２識別器６の性能を監視することができる。識別器評価装置１は、第２識別器６の判定性能が第１識別器５と比べて悪化しているか否かを判定した結果を適宜出力する。

また、本実施形態に係る検査装置３は、製品Ｒの良否を検査するように構成されたコンピュータである。具体的には、検査装置３は、検査の対象となる製品Ｒの写る対象画像データ３２１を取得する。本実施形態では、検査装置３は、カメラ４１に接続されており、このカメラ４１により製品Ｒを撮影することで、対象画像データ３２１を取得する。

そして、検査装置３は、第１識別器５又は第２識別器６を用いて、対象画像データ３２１に写る製品Ｒの良否を判定する。すなわち、第２識別器６の判定性能が第１識別器５と比べて悪化していると判定された場合には、検査装置３は、第１識別器５を利用して対象画像データ３２１に写る製品Ｒの良否を判定する。一方、第２識別器６の判定性能が第１識別器５と比べて悪化していないと判定された場合には、検査装置３は、第２識別器６を利用して対象画像データ３２１に写る製品Ｒの良否を判定する。

以上のとおり、本実施形態では、学習装置２は、第１識別器５の機械学習に利用した第１学習データ２２１に新たな画像データ２２７を追加することで得られた第２学習データ２２６を利用した機械学習（再学習又は追加学習）を実施する。これによって、学習装置２は、第１識別器５では製品Ｒの良否を判定不能なケースに対応可能な第２識別器６を構築することができる。

また、本実施形態では、識別器評価装置１は、複数件の評価用データセット１２１を利用して、第１識別器５及び第２識別器６の判定性能を評価し、その評価結果を比較することで、第２識別器６の判定性能が第１識別器５と比べて悪化したか否かを監視することができる。これにより、再学習又は追加学習により構築された第２識別器６の性能が第１識別器５と比べて悪化してしまった場合に、性能の悪化した第２識別器６を検査装置３において利用しないようにすることができる。したがって、本実施形態によれば、製品Ｒの良否の判定の信頼性が損なわれてしまうのを防止することができる。

なお、外観検査の対象となる製品Ｒは、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。製品Ｒは、例えば、電子部品、自動車部品等の製造ラインで搬送される物であってよい。電子部品は、例えば、基盤、チップコンデンサ、液晶、リレーの巻線等である。自動車部品は、例えば、コンロッド、シャフト、エンジンブロック、パワーウィンドウスイッチ、パネル等である。また、良否の判定は、製品Ｒに欠陥があるか否かを単に判定することであってもよいし、製品Ｒに欠陥がある否かを判定することに加えて、その欠陥の種類を識別することを含んでもよい。欠陥は、例えば、傷、汚れ、クラック、打痕、埃、バリ、色ムラ等である。

§２ 構成例
［ハードウェア構成］
＜識別器評価装置＞
次に、図２を用いて、本実施形態に係る識別器評価装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る識別器評価装置１のハードウェア構成の一例を模式的に例示する。

図２に示されるとおり、本実施形態に係る識別器評価装置１は、制御部１１、記憶部１２、通信インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。なお、図２では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。

制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部１２は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部１２は、評価プログラム８１、複数件の評価用データセット１２１、第１学習結果データ２２４、第２学習結果データ２２９等の各種情報を記憶する。

評価プログラム８１は、第１識別器５及び第２識別器６の判定性能を評価する後述の情報処理（図９）を識別器評価装置１に実行させるためのプログラムであり、当該情報処理の一連の命令を含む。複数件の評価用データセット１２１は、第１識別器５及び第２識別器６の判定性能を評価するのに利用される。複数件の評価用データセット１２１はそれぞれ、製品の写る評価用画像データ１２２、及び評価用画像データ１２２に写る製品の良否の判定に対する正解を示す正解データ１２３の組み合わせにより構成される。第１学習結果データ２２４は、学習済みの第１識別器５の設定を行うためのデータである。第２学習結果データ２２９は、学習済みの第２識別器６の設定を行うためのデータである。詳細は後述する。

通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。識別器評価装置１は、この通信インタフェース１３を利用することで、ネットワークを介したデータ通信を他の情報処理装置（例えば、学習装置２、検査装置３）と行うことができる。

入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置１４及び出力装置１５を利用することで、識別器評価装置１を操作することができる。

ドライブ１６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ１６の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。上記評価プログラム８１、複数件の評価用データセット１２１、第１学習結果データ２２４、及び第２学習結果データ２２９の少なくともいずれかは、この記憶媒体９１に記憶されていてもよい。

記憶媒体９１は、コンピュータその他装置、機械等が、記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。識別器評価装置１は、この記憶媒体９１から、上記評価プログラム８１、複数件の評価用データセット１２１、第１学習結果データ２２４、及び第２学習結果データ２２９の少なくともいずれかを取得してもよい。

ここで、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、識別器評価装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース１３、入力装置１４、出力装置１５及びドライブ１６の少なくともいずれかは省略されてもよい。識別器評価装置１は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、識別器評価装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。

＜学習装置＞
次に、図３を用いて、本実施形態に係る学習装置２のハードウェア構成の一例について説明する。図３は、本実施形態に係る学習装置２のハードウェア構成の一例を模式的に例示する。

図３に示されるとおり、本実施形態に係る学習装置２は、制御部２１、記憶部２２、通信インタフェース２３、入力装置２４、出力装置２５、及びドライブ２６が電気的に接続されたコンピュータである。なお、図３では、図２と同様に、通信インタフェースを「通信Ｉ／Ｆ」と記載している。

学習装置２の制御部２１～ドライブ２６はそれぞれ、上記識別器評価装置１の制御部１１～ドライブ１６それぞれと同様に構成されてよい。すなわち、制御部２１は、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部２２は、学習プログラム８２、製品の良否を学習するための画像データ２２２、製品の良否を学習するための追加の画像データ２２７、第１学習結果データ２２４、第２学習結果データ２２９等の各種情報を記憶する。

学習プログラム８２は、第１識別器５及び第２識別器６それぞれを構築する後述の機械学習の情報処理（図８）を学習装置２に実行させ、その結果として第１学習結果データ２２４及び第２学習結果データ２２９を生成させるためのプログラムである。学習プログラム８２は、その情報処理の一連の命令を含む。画像データ２２２は、第１識別器５の機械学習に利用される第１学習データ２２１を構成する。第１学習データ２２１及び追加の画像データ２２７は、第２識別器６の機械学習に利用される第２学習データ２２６を構成する。詳細は後述する。

通信インタフェース２３は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。学習装置２は、この通信インタフェース２３を利用することで、ネットワークを介したデータ通信を他の情報処理装置（例えば、識別器評価装置１、検査装置３）と行うことができる。

入力装置２４は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置２５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置２４及び出力装置２５を利用することで、学習装置２を操作することができる。

ドライブ２６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９２に記憶されたプログラムを読み込むためのドライブ装置である。上記学習プログラム８２、画像データ２２２、及び追加の画像データ２２７のうちの少なくともいずれかは、記憶媒体９２に記憶されていてもよい。また、学習装置２は、記憶媒体９２から、上記学習プログラム８２、画像データ２２２、及び追加の画像データ２２７のうちの少なくともいずれかを取得してもよい。

なお、学習装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部２１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ、ＤＳＰ等で構成されてよい。記憶部２２は、制御部２１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース２３、入力装置２４、出力装置２５及びドライブ２６の少なくともいずれかは省略されてもよい。学習装置２は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、学習装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ等であってもよい。

＜検査装置＞
次に、図４を用いて、本実施形態に係る検査装置３のハードウェア構成の一例について説明する。図４は、本実施形態に係る検査装置３のハードウェア構成の一例を模式的に例示する。

図４に示されるとおり、本実施形態に係る検査装置３は、制御部３１、記憶部３２、通信インタフェース３３、外部インタフェース３４、入力装置３５、出力装置３６、及びドライブ３７が電気的に接続されたコンピュータである。なお、図４では、通信インタフェース及び外部インタフェースをそれぞれ「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

検査装置３の制御部３１～通信インタフェース３３及び入力装置３５～ドライブ３７はそれぞれ、上記識別器評価装置１の制御部１１～ドライブ１６それぞれと同様に構成されてよい。すなわち、制御部３１は、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部３２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部３２は、検査プログラム８３、第１学習結果データ２２４、第２学習結果データ２２９等の各種情報を記憶する。

検査プログラム８３は、第１識別器５又は第２識別器６を利用して、対象画像データ３２１に写る製品Ｒの良否を判定する後述の情報処理（図１０）を検査装置３に実行させるためのプログラムであり、当該情報処理の一連の命令を含む。詳細は後述する。

通信インタフェース３３は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。検査装置３は、この通信インタフェース３３を利用することで、ネットワークを介したデータ通信を他の情報処理装置（例えば、識別器評価装置１、学習装置２）と行うことができる。

外部インタフェース３４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース３４の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。本実施形態では、検査装置３は、外部インタフェース３４を介して、カメラ４１に接続される。

カメラ４１は、製品Ｒを撮影することで、対象画像データ３２１を取得するのに利用される。カメラ４１の種類及び配置場所は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。カメラ４１には、例えば、デジタルカメラ、ビデオカメラ等の公知のカメラが利用されてよい。また、カメラ４１は、製品Ｒが搬送される生産ラインの近傍に配置されてよい。なお、カメラ４１が通信インタフェースを備える場合、検査装置３は、外部インタフェース３４ではなく、通信インタフェース３３を介して、カメラ４１に接続されてもよい。

入力装置３５は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置３６は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置３５及び出力装置３６を利用することで、検査装置３を操作することができる。

ドライブ３７は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９３に記憶されたプログラムを読み込むためのドライブ装置である。上記検査プログラム８３、第１学習結果データ２２４、及び第２学習結果データ２２９のうちの少なくともいずれかは、記憶媒体９３に記憶されていてもよい。また、検査装置３は、記憶媒体９３から、上記検査プログラム８３、第１学習結果データ２２４、及び第２学習結果データ２２９のうちの少なくともいずれかを取得してもよい。

なお、検査装置３の具体的なハードウェア構成に関して、上記識別器評価装置１及び学習装置２と同様に、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部３１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ、ＤＳＰ等で構成されてよい。記憶部３２は、制御部３１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース３３、外部インタフェース３４、入力装置３５、出力装置３６及びドライブ３７の少なくともいずれかは省略されてもよい。検査装置３は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、検査装置３は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のデスクトップＰＣ、ノートＰＣ、タブレットＰＣ、スマートフォンを含む携帯電話等が用いられてよい。

［ソフトウェア構成］
＜識別器評価装置＞
次に、図５を用いて、本実施形態に係る識別器評価装置１のソフトウェア構成の一例を説明する。図５は、本実施形態に係る識別器評価装置１のソフトウェア構成の一例を模式的に例示する。

識別器評価装置１の制御部１１は、記憶部１２に記憶された評価プログラム８１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開された評価プログラム８１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図５に示されるとおり、本実施形態に係る識別器評価装置１は、評価データ取得部１１１、第１評価部１１２、第２評価部１１３、性能判定部１１４、及び出力部１１５をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、各ソフトウェアモジュールは、制御部１１（ＣＰＵ）により実現される。

評価データ取得部１１１は、製品の写る評価用画像データ１２２、及び評価用画像データ１２２に写る前記製品の良否の判定に対する正解を示す正解データ１２３の組み合わせによりそれぞれ構成される複数件の評価用データセット１２１を取得する。

第１評価部１１２は、第１学習データ２２１を利用した機械学習により構築された第１識別器５を含んでいる。第１評価部１１２は、各件の評価用データセット１２１について、評価用画像データ１２２を第１識別器５に入力し、第１識別器５の演算処理を実行することで、第１識別器５から出力値を取得する。第１識別器５から得られる出力値は、入力した評価用画像データ１２２に写る製品の良否を判定した結果に対応する。そこで、第１評価部１１２は、第１識別器５から得られる出力値に基づいて評価用画像データ１２２に写る製品の良否を判定した結果と入力した評価用画像データ１２２に関連付けられた正解データ１２３により示される正解とを照合する。これにより、第１評価部１１２は、第１識別器５の判定性能を評価する。

第２評価部１１３は、第２学習データ２２６を利用した機械学習により構築された第２識別器６を含んでいる。第２評価部１１３は、各件の評価用データセット１２１について、評価用画像データ１２２を第２識別器６に入力し、第２識別器６の演算処理を実行することで、第２識別器６から出力値を取得する。第２識別器６から得られる出力値は、入力した評価用画像データ１２２に写る製品の良否を判定した結果に対応する。そこで、第２評価部１１３は、第２識別器６から得られる出力値に基づいて評価用画像データ１２２に写る製品の良否を判定した結果と入力した評価用画像データ１２２に関連付けられた正解データ１２３により示される正解とを照合する。これにより、第２評価部１１３は、第２識別器６の判定性能を評価する。

性能判定部１１４は、第１識別器５及び第２識別器６に対する判定性能の評価の結果に基づいて、第２識別器６の判定性能が第１識別器５と比べて悪化しているか否か、換言すると、第２識別器６の判定性能が第１識別器５の判定性能よりも低いか否かを判定する。そして、出力部１１５は、第２識別器６の判定性能が第１識別器５と比べて悪化しているか否かを判定した結果を出力する。

（識別器）
次に、各識別器（５、６）の構成について説明する。図５に示されるとおり、第１識別器５は、ニューラルネットワークにより構成される。具体的には、第１識別器５は、いわゆる深層学習に用いられる多層構造のニューラルネットワークにより構成されており、入力層５１、中間層（隠れ層）５２、及び出力層５３を備えている。

なお、図５の例では、第１識別器５を構成するニューラルネットワークは、１層の中間層５２を備えており、入力層５１の出力が中間層５２に入力され、中間層５２の出力が出力層５３に入力されている。しかしながら、中間層５２の数は、１層に限られなくてもよい。第１識別器５は、２層以上の中間層５２を備えてもよい。

各層５１～５３は、１又は複数のニューロンを備えている。例えば、入力層５１のニューロンの数は、入力される画像データ（評価用画像データ１２２、対象画像データ３２１）に応じて設定されてよい。中間層５２のニューロンの数は、実施の形態に応じて適宜設定されてよい。また、出力層５３のニューロンの数は、良否の判定結果の出力形式に応じて設定されてよい。

隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が設定されている。図５の例では、各ニューロンは、隣接する層の全てのニューロンと結合されている。しかしながら、ニューロンの結合は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。

各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。第１評価部１１２は、第１識別器５の入力層５１に評価用画像データ１２２を入力し、ニューラルネットワークの演算処理として、各層に含まれる各ニューロンの発火判定を入力側から順に行う。これにより、第１評価部１１２は、入力した評価用画像データ１２２に写る製品の良否を判定した結果に対応する出力値を出力層５３から取得することができる。

また、図５に示されるとおり、第２識別器６も、第１識別器５と同様に、ニューラルネットワークにより構成されている。第２識別器６は、第１識別器５と同様に構成されてよい。すなわち、入力層６１、中間層（隠れ層）６２、及び出力層６３は、第１識別器５の各層５１～５３と同様に構成されてよい。ただし、第２識別器６のニューラルネットワークの構造は、第１識別器５と一致していなくてもよい。例えば、第２識別器６を構成するニューラルネットワークの層の数、各層におけるニューロンの個数、及びニューロン同士の結合関係は、第１識別器５を構成するニューラルネットワークと異なっていてもよい。

第２評価部１１３は、第２識別器６の入力層６１に評価用画像データ１２２を入力し、ニューラルネットワークの演算処理として、各層に含まれる各ニューロンの発火判定を入力側から順に行う。これにより、第２評価部１１３は、入力した評価用画像データ１２２に写る製品Ｒの良否を判定した結果に対応する出力値を出力層６３から取得することができる。

なお、第１識別器５（ニューラルネットワーク）の構成（例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、第１学習結果データ２２４に含まれている。第１評価部１１２は、第１学習結果データ２２４を参照して第１識別器５の設定を行う。

同様に、第２識別器６（ニューラルネットワーク）の構成（例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、第２学習結果データ２２９に含まれている。第２評価部１１３は、第２学習結果データ２２９を参照して第２識別器６の設定を行う。

＜学習装置＞
次に、図６を用いて、本実施形態に係る学習装置２のソフトウェア構成の一例について説明する。図６は、本実施形態に係る学習装置２のソフトウェア構成の一例を模式的に例示する。

学習装置２の制御部２１は、記憶部２２に記憶された学習プログラム８２をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された学習プログラム８２をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図６に示されるとおり、本実施形態に係る学習装置２は、学習データ取得部２１１、及び学習処理部２１２をソフトウェアモジュールとして備えるコンピュータとして構成される。すなわち、本実施形態では、各ソフトウェアモジュールは、制御部２１（ＣＰＵ）により実現される。

学習データ取得部２１１は、製品の良否を学習するための画像データ２２２で構成された第１学習データ２２１を取得する。学習処理部２１２は、取得した第１学習データ２２１を利用した機械学習を実施することで、製品の良否を判定する能力を習得した学習済みの第１識別器５を構築する。

また、学習データ取得部２１１は、第１学習データ２２１及び製品の良否を学習するための追加の画像データ２２７で構成された第２学習データ２２６を取得する。学習処理部２１２は、取得した第２学習データ２２６を利用した機械学習を実施することで、製品の良否を判定する能力を習得した学習済みの第２識別器６を構築する。すなわち、第２識別器６は、第１識別器５との関係で、再学習又は追加学習後の識別器である。

本実施形態では、各識別器（５、６）の学習モデルは、ニューラルネットワークにより構成されている。そのため、画像データ２２２には、画像データ２２２に写る製品の良否の判定に対する正解を示す正解データ２２３が付与されている。追加の画像データ２２７には、追加の画像データ２２７に写る製品の良否の判定に対する正解を示す正解データ２２８が付与されている。すなわち、第１学習データ２２１は、それぞれ画像データ２２２及び正解データ２２３の組み合わせを含む複数件のデータセットにより構成される。また、第２学習データ２２６は、それぞれ追加の画像データ２２７及び正解データ２２８の組み合わせを含む複数件のデータセット並びに第１学習データ２２１により構成される。

学習処理部２１２は、第１学習データ２２１に含まれる各件のデータセットについて、画像データ２２２を入力層５１に入力すると、入力した画像データ２２２に関連付けられた正解データ２２３に対応する出力値を出力層５３から出力するように第１識別器５の機械学習を行う。これにより、学習処理部２１２は、製品の良否を判定する能力を習得した学習済みの第１識別器５を構築する。そして、学習処理部２１２は、学習済みの第１識別器５の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を第１学習結果データ２２４として記憶部２２に格納する。

また、学習処理部２１２は、第２学習データ２２６に含まれる各件のデータセットについて、画像データ（２２２、２２７）を入力層６１に入力すると、入力した画像データ（２２２、２２７）に関連付けられた正解データ（２２３、２２８）に対応する出力値を出力層６３から出力するように第２識別器６の機械学習を行う。これにより、学習処理部２１２は、製品の良否を判定する能力を習得した学習済みの第２識別器６を構築する。そして、学習処理部２１２は、学習済みの第２識別器６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を第２学習結果データ２２９として記憶部２２に格納する。

＜検査装置＞
次に、図７を用いて、本実施形態に係る検査装置３のソフトウェア構成の一例について説明する。図７は、本実施形態に係る検査装置３のソフトウェア構成の一例を模式的に例示する。

検査装置３の制御部３１は、記憶部３２に記憶された検査プログラム８３をＲＡＭに展開する。そして、制御部３１は、ＲＡＭに展開された検査プログラム８３をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図７に示されるとおり、本実施形態に係る検査装置３は、対象データ取得部３１１、良否判定部３１２、及び出力部３１３をソフトウェアモジュールとして備えるコンピュータとして構成される。すなわち、本実施形態では、各ソフトウェアモジュールは、制御部３１（ＣＰＵ）により実現される。

対象データ取得部３１１は、検査の対象となる製品Ｒの写る対象画像データ３２１を取得する。本実施形態では、対象データ取得部３１１は、カメラ４１により製品Ｒを撮影することで、対象画像データ３２１を取得する。良否判定部３１２は、第１識別器５又は第２識別器６を利用して、対象画像データ３２１に写る製品Ｒの良否を判定する。出力部３１３は、製品Ｒの良否を判定した結果、すなわち、外観検査の結果を出力する。

なお、良否判定部３１２は、学習済みの第１識別器５及び学習済みの第２識別器６の少なくとも一方を含んでいる。第２識別器６の判定性能が第１識別器５と比べて悪化していると判定した場合には、良否判定部３１２は、第１識別器５を利用して、対象画像データ３２１に写る製品Ｒの良否を判定する。具体的には、良否判定部３１２は、第１学習結果データ２２４を参照して、学習済みの第１識別器５の設定を行う。次に、良否判定部３１２は、取得した対象画像データ３２１を第１識別器５に入力して、第１識別器５の演算処理を実行することで、第１識別器５から出力値を取得する。そして、良否判定部３１２は、第１識別器５から取得した出力値に基づいて、対象画像データ３２１に写る製品Ｒの良否を判定する。

一方、第２識別器６の判定性能が第１識別器５と比べて悪化していないと判定した場合には、良否判定部３１２は、第２識別器６を利用して、対象画像データ３２１に写る製品Ｒの良否を判定する。具体的には、良否判定部３１２は、第２学習結果データ２２９を参照して、学習済みの第２識別器６の設定を行う。次に、良否判定部３１２は、取得した対象画像データ３２１を第２識別器６に入力して、第２識別器６の演算処理を実行することで、第２識別器６から出力値を取得する。そして、良否判定部３１２は、第２識別器６から取得した出力値に基づいて、対象画像データ３２１に写る製品Ｒの良否を判定する。

＜その他＞
識別器評価装置１、学習装置２、及び検査装置３の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、識別器評価装置１、学習装置２、及び検査装置３の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、識別器評価装置１、学習装置２、及び検査装置３それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

§３ 動作例
［学習装置］
次に、図８を用いて、本実施形態に係る学習装置２の動作例について説明する。図８は、本実施形態に係る学習装置２の処理手順の一例を例示するフローチャートである。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。なお、学習装置２は、利用する学習データが異なる点を除き、同様の処理手順により、第１識別器５及び第２識別器６を構築することができる。以下では、まず、第１識別器５を構築する際の処理手順について説明する。

（I）第１識別器の構築
（ステップＳ１０１）
ステップＳ１０１では、制御部２１は、学習データ取得部２１１として動作し、製品の良否を学習するための画像データ２２２で構成された第１学習データ２２１を取得する。本実施形態では、第１識別器５の学習モデルがニューラルネットワークにより構成されているため、制御部２１は、それぞれ画像データ２２２及び正解データ２２３の組み合わせを含む複数件のデータセットにより構成された第１学習データ２２１を取得する。

第１学習データ２２１を取得する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、カメラを用意し、検査対象となる製品Ｒと同種の製品であって、欠陥のある製品（不良品）及び欠陥のない製品（良品）それぞれを、用意したカメラにより様々な条件で撮影することで、良否の表れた製品の写る画像データ２２２を取得することができる。そして、得られた画像データ２２２に対して、その画像データ２２２に写る製品に表れた良否（正解）を示す正解データ２２３を組み合わせることで、学習用のデータセットを作成することができる。

正解データ２２３の具体的な内容は、各識別器（５、６）の出力形式に応じて適宜決定されてよい。各識別器（５、６）から得られる出力値が製品の良否そのもの又はその確率を示すように各識別器（５、６）を構成する場合、正解データ２２３の内容は、画像データ２２２に写る製品に表れている良否そのもの又はその確率を示すように適宜決定されてよい。また、各識別器（５、６）から得られる出力値が製品の良否のインデックスを示すように各識別器（５、６）を構成する場合、正解データ２２３の内容は、画像データ２２２に写る製品に表れている良否のインデックスを示すように適宜決定されてよい。このインデックスは、製品に欠陥がない（製品が良品である）こと、及び製品に存在する欠陥の種別にそれぞれ対応付けられてよい。この学習用のデータセットの作成を繰り返すことで、複数件のデータセットで構成された第１学習データ２２１を作成することができる。

この第１学習データ２２１の作成は、学習装置２により行われてもよい。この場合、制御部２１は、オペレータによる入力装置２４の操作に応じて、第１学習データ２２１を作成してもよい。また、制御部２１は、学習プログラム８２の処理により、第１学習データ２２１を自動的に作成してもよい。この作成処理を実行することで、本ステップＳ１０１では、制御部２１は、第１学習データ２２１を取得することができる。

あるいは、第１学習データ２２１の作成は、学習装置２以外の他の情報処理装置により行われてもよい。他の情報処理装置では、第１学習データ２２１は、オペレータにより手動で作成されてもよいし、プログラムの処理により自動的に作成されてもよい。この場合、本ステップＳ１０１では、制御部２１は、ネットワーク、記憶媒体９２等を介して、他の情報処理装置により作成された第１学習データ２２１を取得してもよい。

第１学習データ２２１を構成するデータセットの件数は、特に限定されなくてもよく、例えば、第１識別器５の機械学習を実施可能な程度に適宜決定されてよい。これにより、第１学習データ２２１を取得すると、制御部２１は、次のステップＳ１０２に処理を進める。

（ステップＳ１０２）
ステップＳ１０２では、制御部２１は、学習処理部２１２として動作し、ステップＳ１０１で取得した第１学習データ２２１を利用した機械学習を実行することで、製品の良否を判定する能力を習得した学習済みの第１識別器５を構築する。本実施形態では、制御部２１は、第１学習データ２２１を構成する各件のデータセットを用いて、画像データ２２２を入力層５１に入力すると、正解データ２２３により示される正解に対応する出力値を出力層５３から出力するようにニューラルネットワークの機械学習を実施する。

具体的には、まず、制御部２１は、学習処理を行う対象となるニューラルネットワーク（学習前の第１識別器５）を用意する。用意するニューラルネットワークの構成、各ニューロン間の結合の重みの初期値、各ニューロンの閾値の初期値等の各パラメータは、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。他の識別器の再学習又は追加学習を行うことで第１識別器５を構成する場合、制御部２１は、他の識別器の学習結果データに基づいて、学習前のニューラルネットワークを用意してもよい。

次に、制御部２１は、ステップＳ１０１で取得した第１学習データ２２１の各件のデータセットに含まれる画像データ２２２を入力データとして用い、正解データ２２３を教師データとして用いて、ニューラルネットワークの学習処理を実行する。このニューラルネットワークの学習処理には、確率的勾配降下法等が用いられてよい。

例えば、制御部２１は、画像データ２２２を入力層５１に入力し、入力側から順に各層５１～５３に含まれる各ニューロンの発火判定を行う。これにより、制御部２１は、出力層５３から出力値を得る。次に、制御部２１は、出力層５３から得た出力値と正解データ２２３により示される正解に対応する値との誤差を算出する。続いて、制御部２１は、誤差逆伝搬（Back propagation）法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部２１は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。

第１学習データ２２１を構成する各件のデータセットについて、画像データ２２２を入力層５１に入力することにより出力層５３から得られる出力値が、入力した画像データ２２２に関連付けられた正解データ２２３により示される正解に対応する値と一致するまで、制御部２１は、この一連の処理を繰り返す。これにより、制御部２１は、画像データ２２２を入力すると、正解データ２２３により示される正解に対応する出力値を出力する学習済みのニューラルネットワーク（すなわち、第１識別器５）を構築することができる。第１識別器５の学習処理が完了すると、制御部２１は、次のステップＳ１０３に処理を進める。

（ステップＳ１０３）
ステップＳ１０３では、制御部２１は、学習処理部２１２として動作し、機械学習により構築された第１識別器５の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を第１学習結果データ２２４として記憶部２２に格納する。これにより、制御部２１は、本動作例に係る処理を終了する。

（II）第２識別器の構築
次に、第２識別器６を構築する際の処理手順について説明する。学習装置２は、利用する学習データが第１識別器５と異なる点を除き、第１識別器５と同様に第２識別器６を構築することができる。

（ステップＳ１０１）
すなわち、ステップＳ１０１では、制御部２１は、学習データ取得部２１１として動作し、第１学習データ２２１及び製品の良否を学習するための追加の画像データ２２７で構成された第２学習データ２２６を取得する。本実施形態では、第２識別器６の学習モデルがニューラルネットワークにより構成されているため、制御部２１は、それぞれ追加の画像データ２２７及び正解データ２２８の組み合わせを含む複数件のデータセット並びに第１学習データ２２１により構成された第２学習データ２２６を取得する。

第２学習データ２２６の追加の画像データ２２７及び正解データ２２８は、上記第１学習データ２２１と同様の方法により取得されてよい。制御部２１は、上記データセットの作成処理を実行することで、第２学習データ２２６を取得することができる。あるいは、第２学習データ２２６が他の情報処理装置により作成される場合、制御部２１は、ネットワーク、記憶媒体９２等を介して、他の情報処理装置により作成された第２学習データ２２６を取得することができる。第２学習データ２２６を取得すると、制御部２１は、次のステップＳ１０２に処理を進める。

（ステップＳ１０２）
ステップＳ１０２では、制御部２１は、学習処理部２１２として動作し、ステップＳ１０２で取得した第２学習データ２２６を利用した機械学習を実行することで、製品の良否を判定する能力を習得した学習済みの第２識別器６を構築する。制御部２１は、第２学習データ２２６を構成する各件のデータセットを用いて、画像データ（２２２、２２７）を入力層６１に入力すると、正解データ（２２３、２２８）に対応する出力値を出力層６３から出力するようにニューラルネットワークの機械学習を実施する。

このとき、用意するニューラルネットワーク（学習前の第２識別器６）の構成、各ニューロン間の結合の重みの初期値、各ニューロンの閾値の初期値等の各パラメータは、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、第１識別器５の再学習又は追加学習を行う場合、制御部２１は、第１学習結果データ２２４に基づいて、学習前のニューラルネットワークを用意してもよい。

次に、制御部２１は、ステップＳ１０１で取得した第２学習データ２２６の各件のデータセットに含まれる画像データ（２２２、２２７）を入力データとして用い、正解データ（２２３、２２８）を教師データとして用いて、ニューラルネットワークの上記学習処理を実行する。なお、第１学習結果データ２２４に基づいて用意した学習前のニューラルネットワークに対して追加学習のみを行う場合、制御部２１は、第１学習データ２２１（画像データ２２２及び正解データ２２３）の機械学習を省略してもよい。これにより、制御部２１は、画像データ（２２２、２２７）を入力すると、入力した画像データ（２２２、２２７）に関連付けられた正解データ（２２３、２２８）により示される正解に対応する出力値を出力する学習済みのニューラルネットワーク（すなわち、第２識別器６）を構築することができる。第２識別器６の学習処理が完了すると、制御部２１は、次のステップＳ１０３に処理を進める。

（ステップＳ１０３）
ステップＳ１０３では、制御部２１は、学習処理部２１２として動作し、機械学習により構築された第２識別器６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を第２学習結果データ２２９として記憶部２２に格納する。これにより、制御部２１は、本動作例に係る処理を終了する。

（III）その他
なお、制御部２１は、上記ステップＳ１０３の処理が完了した後、作成した第１学習結果データ２２４及び第２学習結果データ２２９を識別器評価装置１及び検査装置３に転送してもよい。また、例えば、制御部２１は、作成した第１学習結果データ２２４及び第２学習結果データ２２９をＮＡＳ（Network Attached Storage）等のデータサーバに保管してもよい。この場合、識別器評価装置１及び検査装置３はそれぞれ、第１学習結果データ２２４及び第２学習結果データ２２９をこのデータサーバから取得してもよい。

［識別器評価装置］
次に、図９を用いて、本実施形態に係る識別器評価装置１の動作例について説明する。図９は、本実施形態に係る識別器評価装置１の処理手順の一例を例示するフローチャートである。以下で説明する処理手順は、本発明の識別器評価方法の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ２０１）
ステップＳ２０１では、制御部１１は、評価データ取得部１１１として動作し、製品の写る評価用画像データ１２２、及び評価用画像データ１２２に写る前記製品の良否の判定に対する正解を示す正解データ１２３の組み合わせによりそれぞれ構成される複数件の評価用データセット１２１を取得する。

各件の評価用データセット１２１は、上記学習用のデータセットと同様に作成可能である。すなわち、カメラを用意し、検査対象となる製品Ｒと同種の製品であって、欠陥のある製品（不良品）及び欠陥のない製品（良品）それぞれを、用意したカメラにより様々な条件で撮影することで、良否の表れた製品の写る評価用画像データ１２２を取得することができる。そして、得られた評価用画像データ１２２に対して、その評価用画像データ１２２に写る製品に表れた良否（正解）を示す正解データ１２３を組み合わせることで、各件の評価用データセット１２１を作成することができる。

なお、正解データ１２３の具体的な内容は、実施の形態に応じて適宜決定されてよい。例えば、正解データ１２３は、各識別器（５、６）の出力値に対応するように設定されてよい。具体的に、各識別器（５、６）から得られる出力値が製品の良否そのもの又はその確率を示す場合、正解データ１２３は、評価用画像データ１２２に写る製品に表れている良否そのもの又はその確率を示すように設定されてよい。各識別器（５、６）から得られる出力値が製品の良否のインデックスを示す場合、正解データ１２３は、評価用画像データ１２２に写る製品に表れている良否のインデックスを示すように設定されてよい。

また、例えば、正解データ１２３の内容は、各識別器（５、６）の出力値に基づいて製品の良否を判断した結果に対応するように設定されてもよい。具体的に、各識別器（５、６）から得られる出力値が製品の良否そのもの又はその確率を示す場合、正解データ１２３は、評価用画像データ１２２に写る製品に表れている良否を示すように設定されてよい。各識別器（５、６）から得られる出力値が製品の良否のインデックスを示す場合、正解データ１２３は、評価用画像データ１２２に写る製品に欠陥がないこと、又は当該製品に存在する欠陥の種別を示すように設定されてよい。

制御部１１は、上記データセットの作成処理と同様の処理を繰り返し実行することで、複数件の評価用データセット１２１を取得してもよい。あるいは、複数件の評価用データセット１２１が他の情報処理装置により作成される場合、制御部１１は、ネットワーク、記憶媒体９１等を介して、他の情報処理装置により作成された複数件の評価用データセット１２１を取得することができる。複数件の評価用データセット１２１を取得すると、制御部１１は、次のステップＳ２０２に処理を進める。

なお、製品の良否を検査する環境における各識別器（５、６）の性能を正確に評価する観点から、各件の評価用データセット１２１は、製品の良否を検査する環境において取得されるのが好ましい。本実施形態では、検査装置３により製品Ｒの良否の検査が行われる。そのため、各件の評価用データセット１２１は、検査装置３を利用する環境において取得されるのが好ましい。この場合、各件の評価用データセット１２１のうち少なくとも評価用画像データ１２２は、検査装置３により取得されてもよい。例えば、検査装置３を介して評価用画像データ１２２を取得し、取得した評価用画像データ１２２に正解データ１２３を付与することにより、各件の評価用データセット１２１を作成することができる。

（ステップＳ２０２）
ステップＳ２０２では、制御部１１は、第１評価部１１２として動作し、各件の評価用データセット１２１について、評価用画像データ１２２を第１識別器５に入力し、第１識別器５の演算処理を実行することで、第１識別器５から出力値を取得する。

具体的には、制御部１１は、第１学習結果データ２２４を参照して、学習済みの第１識別器５の設定を行う。続いて、制御部１１は、各件の評価用データセット１２１の評価用画像データ１２２を第１識別器５の入力層５１に入力し、入力側から順に各層５１～５３に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、入力した評価用画像データ１２２に写る製品の良否を判定した結果に対応する出力値を第１識別器５の出力層５３から取得する。

次に、制御部１１は、第１識別器５から得られる出力値に基づいて評価用画像データ１２２に写る製品の良否を判定した結果と入力した評価用画像データ１２２に関連付けられた正解データ１２３により示される正解とを照合する。これにより、制御部１１は、第１識別器５の判定性能を評価する。

（Ａ）判定結果と正解との照合方法
まず、第１識別器５による判定結果と正解データ１２３により示される正解との照合方法について説明する。判定結果と正解との照合する方法は、正解データ１２３の形式に応じて適宜決定されてよい。例えば、正解データ１２３の内容が、各識別器（５、６）の出力値に対応するように設定されている場合、制御部１１は、第１識別器５から得られた出力値と正解データ１２３により示される正解に対応する値とが一致又は近似しているか否かを判定してもよい。第１識別器５から得られた出力値と正解に対応する値とが一致又は近似している場合、制御部１１は、第１識別器５から得られる出力値に基づいて評価用画像データ１２２に写る製品の良否を判定した結果が正解データ１２３により示される正解に一致していると判定してもよい。つまり、制御部１１は、対象の評価用データセット１２１に対する第１識別器５による製品の良否の判定は正しいと判定してもよい。一方、第１識別器５から得られた出力値と正解に対応する値とが一致及び近似していない場合、制御部１１は、第１識別器５から得られる出力値に基づいて評価用画像データ１２２に写る製品の良否を判定した結果が正解データ１２３により示される正解に一致していないと判定してもよい。すなわち、制御部１１は、対象の評価用データセット１２１に対する第１識別器５による製品の良否の判定は誤っていると判定してもよい。

また、例えば、正解データ１２３の内容が、各識別器（５、６）の出力値に基づいて製品の良否を判断した結果に対応するように設定されている場合、制御部１１は、まず、第１識別器５から得られた出力値に基づいて、評価用画像データ１２２に写る製品の良否を判定してもよい。各識別器（５、６）から得られる出力値が製品の良否そのもの又はその確率を示す場合、制御部１１は、第１識別器５から得られた出力値を閾値と比較することで、評価用画像データ１２２に写る製品の良否を判定することができる。また、各識別器（５、６）から得られる出力値が製品の良否のインデックスを示す場合、識別器評価装置１は、各識別器（５、６）から得られる出力値と製品の良否又は欠陥の種別とを対応付けたテーブル形式等の参照情報（不図示）を記憶部１２に保持していてもよい。この場合、制御部１１は、この参照情報を参照することにより、第１識別器５から得られた出力値に応じて、評価用画像データ１２２に写る製品の良否を判定することができる。

そして、制御部１１は、第１識別器５から得られた出力値に基づいて評価用画像データ１２２に写る製品の良否を判定した結果と正解データ１２３により示される正解とが一致しているか否かを判定してもよい。第１識別器５による判定結果と正解データ１２３により示される正解とが一致している場合、制御部１１は、対象の評価用データセット１２１に対する第１識別器５による製品の良否の判定は正しいと判定してもよい。一方、第１識別器５による判定結果と正解データ１２３により示される正解とが一致していない場合、制御部１１は、対象の評価用データセット１２１に対する第１識別器５による製品の良否の判定は誤っていると判定してもよい。

（Ｂ）判定性能の評価方法
次に、判定性能の評価方法について説明する。第１識別器５の判定性能は、上記判定結果と正解との照合結果に基づいて適宜評価されてよい。例えば、制御部１１は、複数件の評価用データセット１２１に対して、第１識別器５から得られた出力値に基づいて評価用画像データ１２２に写る製品の良否を判定した結果が正解データ１２３により示される正解と一致している比率（以下、単に「正答率」とも表記する）を算出することで、第１識別器５の判定性能を評価してもよい。つまり、制御部１１は、複数件の評価用データセット１２１に対する第１識別器５による良否の判定の正答率を、第１識別器５の判定性能の評価結果として算出してもよい。なお、この「正答率」は、第１識別器５による良否の判定が正しいと判定された評価用データセット１２１の数（すなわち、正答数）を評価用データセット１２１の総数で割った商の他、正答数そのものを含んでもよい。

また、例えば、各件の評価用データセット１２１には、判定性能に寄与する度合いを示す重みが設定されていてもよい。この場合、この重みに応じて、第１識別器５の判定性能を評価してもよい。一例として、制御部１１は、第１識別器５による良否の判定が正しいと判定された評価用データセット１２１に設定された重みの合計を、各件の評価用データセット１２１に設定された重みの合計で割った商（以下、「重みを含む正答率」とも表記する）を、第１識別器５の判定性能の評価結果として算出してもよい。なお、この「重みを含む正答率」は、第１識別器５による良否の判定が正しいと判定された評価用データセット１２１に設定された重みの合計そのものを含んでもよい。

また、例えば、複数件の評価用データセット１２１は、評価用画像データ１２２に写る製品の良否の判定を誤ってはいけないものとして設定される禁忌データセットを含んでもよい。この場合、制御部１１は、禁忌データセットに対する第１識別器５による良否の判定が誤っているか否か、又は禁忌データセットに対する第１識別器５による良否の判定が誤っている数に基づいて、第１識別器５の判定性能を評価してもよい。具体的には、禁忌データセットに対する良否の判定を誤っているほど、制御部１１は、第１識別器５の判定性能は低いと評価し、禁忌データセットに対する良否の判定を誤っていないほど、制御部１１は、第１識別器５の判定性能は高いと評価してもよい。

以上により、制御部１１は、第１識別器５から得られる出力値に基づいて評価用画像データ１２２に写る製品の良否を判定した結果と入力した評価用画像データ１２２に関連付けられた正解データ１２３により示される正解とを照合することで、第１識別器５の判定性能を評価することができる。第１識別器５の判定性能の評価が完了すると、制御部１１は、次のステップＳ２０３に処理を進める。

（ステップＳ２０３）
ステップＳ２０３では、制御部１１は、第２評価部１１３として動作し、各件の評価用データセット１２１について、評価用画像データ１２２を第２識別器６に入力し、第２識別器６の演算処理を実行することで、第２識別器６から出力値を取得する。

具体的には、上記ステップＳ２０２と同様に、制御部１１は、第２学習結果データ２２９を参照して、学習済みの第２識別器６の設定を行う。続いて、制御部１１は、各件の評価用データセット１２１の評価用画像データ１２２を第２識別器６の入力層６１に入力し、入力側から順に各層６１～６３に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、入力した評価用画像データ１２２に写る製品の良否を判定した結果に対応する出力値を第２識別器６の出力層６３から取得する。

次に、制御部１１は、第２識別器６から得られる出力値に基づいて評価用画像データ１２２に写る製品の良否を判定した結果と入力した評価用画像データ１２２に関連付けられた正解データ１２３により示される正解とを照合する。これにより、制御部１１は、第２識別器６の判定性能を評価する。

判定結果及び正解の照合方法は、上記ステップＳ２０２と同様の方法でよい。制御部１１は、第２識別器６から得られた出力値と正解データ１２３により示される正解に対応する値とが一致又は近似しているか否かに基づいて、対象の評価用データセット１２１に対する第２識別器６による製品の良否の判定が正しいか否かを判定してもよい。あるいは、制御部１１は、第２識別器６から得られた出力値に基づいて製品の良否を判定した結果と正解データ１２３により示される正解とが一致しているか否かに基づいて、対象の評価用データセット１２１に対する第２識別器６による製品の良否の判定が正しいか否かを判定してもよい。

また、判定性能の評価方法も、上記ステップＳ２０２と同様の方法でよい。例えば、制御部１１は、複数件の評価用データセット１２１に対して、第２識別器６から得られた出力値に基づいて評価用画像データ１２２に写る製品の良否を判定した結果が正解データ１２３により示される正解と一致している比率（正答率）を算出することで、第２識別器６の判定性能を評価してもよい。つまり、制御部１１は、複数件の評価用データセット１２１に対する第２識別器６による良否の判定の正答率を、第２識別器６の判定性能の評価結果として算出してもよい。

また、例えば、制御部１１は、各件の評価用データセット１２１に設定された重みに応じて、第２識別器６の判定性能を評価してもよい。一例として、制御部１１は、第２識別器６による良否の判定が正しいと判定された評価用データセット１２１に設定された重みの合計を、各件の評価用データセット１２１に設定された重みの合計で割った商（重みを含む正答率）を、第２識別器６の判定性能の評価結果として算出してもよい。

また、例えば、複数件の評価用データセット１２１は、評価用画像データ１２２に写る製品の良否の判定を誤ってはいけないものとして設定される禁忌データセットを含んでもよい。この場合、制御部１１は、禁忌データセットに対する第２識別器６による良否の判定が誤っているか否か、又は禁忌データセットに対する第２識別器６による良否の判定が誤っている数に基づいて、第２識別器６の判定性能を評価してもよい。

以上により、制御部１１は、第１識別器５と同様に、第２識別器６の判定性能を評価することができる。第２識別器６の判定性能の評価が完了すると、制御部１１は、次のステップＳ２０４に処理を進める。なお、本ステップＳ２０４は、必ずしもステップＳ２０３の後に実行されなくてもよい。ステップＳ２０３及びステップＳ２０４の処理を実行するタイミングは実施の形態に応じて適宜決定されてよい。

（ステップＳ２０４）
ステップＳ２０４では、制御部１１は、ステップＳ２０２及びＳ２０３における第１識別器５及び第２識別器６に対する判定性能の評価の結果に基づいて、第２識別器６の判定性能が第１識別器５と比べて悪化しているか否か、換言すると、第２識別器６の判定性能が第１識別器５の判定性能よりも低いか否かを判定する。

第２識別器６の判定性能が第１識別器５と比べて悪化しているか否かを判定する方法は、第１識別器５及び第２識別器６の判定性能の評価方法に応じて適宜決定されてよい。判定性能の評価結果として正答率が算出されている場合、制御部１１は、第１識別器５の正答率と第２識別器６の正答率とを比較する。そして、第２識別器６の正答率が第１識別器５の正答率よりも低い場合に、制御部１１は、第２識別器６の判定性能が第１識別器５と比べて悪化していると判定してもよい。一方、第２識別器６の正答率が第１識別器５の正答率よりも低くはない場合、制御部１１は、第２識別器６の判定性能が第１識別器５と比べて悪化していないと判定してもよい。

重みを含む正答率についても同様である。すなわち、制御部１１は、第１識別器５の重みを含む正答率と第２識別器６の重みを含む正答率とを比較する。そして、第２識別器６の重みを含む正答率が第１識別器５の重みを含む正答率よりも低い場合に、制御部１１は、第２識別器６の判定性能が第１識別器５と比べて悪化していると判定してもよい。一方、第２識別器６の重みを含む正答率が第１識別器５の重みを含む正答率よりも低くはない場合、制御部１１は、第２識別器６の判定性能が第１識別器５と比べて悪化していないと判定してもよい。

複数件の評価用データセット１２１が禁忌データセットを含む場合、制御部１１は、禁忌データセットに対する判定の正誤に応じて、第２識別器６の判定性能が第１識別器５と比べて悪化しているか否かを判定してもよい。例えば、第１識別器５から得られる出力値に基づいて禁忌データセットの評価用画像データ１２２に写る製品の良否を判定した結果が正解データ１２３により示される正解と一致しているのに対して、第２識別器６から得られる出力値に基づいて禁忌データセットの評価用画像データ１２２に写る製品の良否を判定した結果が正解データ１２３により示される正解と一致していない場合、制御部１１は、第２識別器６の判定性能が第１識別器５と比べて悪化していると判定してもよい。すなわち、対象の禁忌データセットについて、第１識別器５では良否の判定を正しく行えるのに対して、第２識別器６では良否の判定を誤ってしまう場合に、制御部１１は、第２識別器６の判定性能が第１識別器５と比べて悪化していると判定してもよい。一方、そうではない場合、制御部１１は、第２識別器６の判定性能が第１識別器５と比べて悪化していないと判定してもよいし、上記その他の指標に基づいて、第２識別器６の判定性能が第１識別器５と比べて悪化しているか否かを判定してもよい。なお、このように禁忌データセットに対する良否の判定を重視して、各識別器（５、６）の判定性能を評価する場合、上記ステップＳ２０２及びＳ２０３では、禁忌データセット以外の評価用データセット１２１に対する各識別器（５、６）による良否の判定は省略されてもよい。これにより、ステップＳ２０２～Ｓ２０４の処理の演算コストを低減することができ、制御部１１（ＣＰＵ）の処理負荷を低減することができる。

以上により、制御部１１は、第２識別器６の判定性能が第１識別器５と比べて悪化しているか否かを判定することができる。当該判定が完了すると、制御部１１は、次のステップＳ２０５に処理を進める。

（ステップＳ２０５）
ステップＳ２０５では、制御部１１は、ステップＳ２０４により第２識別器６の判定性能が第１識別器５と比べて悪化しているか否かを判定した結果を出力する。

判定した結果の出力形式は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、第２識別器６の判定性能が第１識別器５と比べて悪化しているか否かを判定した結果をそのまま出力装置１５に出力してもよい。この場合、第２識別器６の判定性能が第１識別器５と比べて悪化しているときには、制御部１１は、検査装置３の利用者に対して第２識別器６を利用しないことを促す警告を出力装置１５から出力してもよい。

また、例えば、制御部１１は、判定した結果に応じて所定の情報処理を実行してもよい。本実施形態に係る検査システム１００が、第２識別器６（第２学習結果データ２２９）が学習装置２から検査装置３に配信されるように構成されている第１のケースを想定する。この第１のケースにおいて、第２識別器６の判定性能が第１識別器５と比べて悪化していると判定した場合、制御部１１は、検査装置３への第２識別器６の配信を禁止する指令を本ステップＳ２０５の出力処理として学習装置２に送信してもよい。一方で、第２識別器６の判定性能が第１識別器５と比べて悪化していないと判定した場合、制御部１１は、検査装置３への第２識別器６の配信を許可する指令を本ステップＳ２０５の出力処理として学習装置２に送信してもよい。あるいは、制御部１１は、第２識別器６の判定性能が第１識別器５と比べて悪化しているか否かを判定した結果を学習装置２に配信して、第２識別器６を検査装置３に配信するか否かを学習装置２に判定させてもよい。これにより、判定性能の悪化した第２識別器６が検査装置３に配信されないようにし、その判定性能の悪化した第２識別器６が検査装置３において利用されるのを防止することができる。

また、本実施形態に係る検査システム１００が、第２識別器６（第２学習結果データ２２９）を検査装置３が既に保持している第２のケースを想定する。この第２のケースにおいて、第２識別器６の判定性能が第１識別器５と比べて悪化していると判定した場合、制御部１１は、第２識別器６の利用を禁止する指令を本ステップＳ２０５の出力処理として検査装置３に送信してもよい。一方で、第２識別器６の判定性能が第１識別器５と比べて悪化していないと判定した場合、制御部１１は、第２識別器６の利用を許可する指令を本ステップＳ２０５の出力処理として検査装置３に送信してもよい。あるいは、制御部１１は、第２識別器６の判定性能が第１識別器５と比べて悪化しているか否かを判定した結果を検査装置３に配信して、第２識別器６を利用するか否かを検査装置３に判定されてもよい。これにより、判定性能の悪化した第２識別器６が検査装置３において利用されるのを防止することができる。

また、本実施形態に係る検査システム１００が、第２識別器６（第２学習結果データ２２９）が、学習装置２から識別器評価装置１を介して検査装置３に配信される第３のケースを想定する。この第３のケースにおいて、第２識別器６の判定性能が第１識別器５と比べて悪化していると判定した場合、制御部１１は、本ステップＳ２０５の出力処理として、学習装置２から受信した第２識別器６の検査装置３への転送を禁止し、第１識別器５を利用する指令を検査装置３に送信してもよい。一方で、第２識別器６の判定性能が第１識別器５と比べて悪化していないと判定した場合、制御部１１は、本ステップＳ２０５の出力処理として、学習装置２から受信した第２識別器６を検査装置３に転送してもよい。

以上により、判定した結果の出力が完了すると、制御部１１は、本動作例に係る処理を終了する。なお、制御部１１は、学習装置２において第２識別器６が構築される度に、上記ステップＳ２０１～Ｓ２０５の一連の処理を実行してもよい。これにより、学習装置２において構築された第２識別器６の判定性能を継続的に監視することができる。

［検査装置］
次に、図１０を用いて、検査装置３の動作例について説明する。図１０は、検査装置３の処理手順の一例を例示するフローチャートである。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ３０１）
ステップＳ３０１では、制御部３１は、対象データ取得部３１１として動作し、検査の対象となる製品Ｒの写る対象画像データ３２１を取得する。本実施形態では、検査装置３は、外部インタフェース３４を介してカメラ４１に接続されている。そのため、制御部３１は、カメラ４１から対象画像データ３２１を取得する。この対象画像データ３２１は、動画像データであってもよいし、静止画像データであってもよい。対象画像データ３２１を取得すると、制御部３１は、次のステップＳ３０２に処理を進める。

ただし、対象画像データ３２１を取得する経路は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、検査装置３とは異なる他の情報処理装置が、カメラ４１に接続されていてもよい。この場合、制御部３１は、他の情報処理装置から対象画像データ３２１の送信を受け付けることで、対象画像データ３２１を取得してもよい。

（ステップＳ３０２）
ステップＳ３０２では、制御部３１は、良否判定部３１２として動作し、第１識別器５又は第２識別器６を利用して、対象画像データ３２１に写る製品Ｒの良否を判定する。良否の判定に利用する識別器は、上記ステップＳ２０４における性能の評価結果に基づいて決定される。

すなわち、制御部３１は、第２識別器６の判定性能が第１識別器５と比べて悪化していると判定されている場合には、第１識別器５を利用して、対象画像データ３２１に写る製品Ｒの良否を判定する。具体的には、上記ステップＳ２０５の出力処理の結果、検査装置３には、第２識別器６は配信されておらず、第１識別器５のみが保持されている。あるいは、上記ステップＳ２０５の出力処理、又は識別器評価装置１にアクセスすることにより、制御部３１は、製品Ｒの良否を判定するのに利用する識別器を第１識別器５であると特定する。次に、制御部３１は、第１学習結果データ２２４を参照して、学習済みの第１識別器５の設定を行う。続いて、制御部３１は、取得した対象画像データ３２１を第１識別器５に入力して、第１識別器５の演算処理を実行することで、第１識別器５から出力値を取得する。第１識別器５の演算処理は、上記ステップＳ２０２及びＳ２０３と同様に実行されてよい。

そして、制御部３１は、第１識別器５から取得した出力値に基づいて、対象画像データ３２１に写る製品Ｒの良否を判定する。良否の判定は、上記ステップＳ２０２及びＳ２０３と同様に実行されてよい。すなわち、第１識別器５から得られる出力値が製品の良否そのもの又はその確率を示す場合、制御部３１は、第１識別器５から得られた出力値を閾値と比較することで、対象画像データ３２１に写る製品Ｒの良否を判定することができる。また、第１識別器５から得られる出力値が製品の良否のインデックスを示す場合、検査装置３は、第１識別器５から得られる出力値と製品の良否又は欠陥の種別とを対応付けたテーブル形式等の参照情報（不図示）を記憶部３２に保持していてもよい。この場合、制御部３１は、この参照情報を参照することにより、第１識別器５から得られた出力値に応じて、対象画像データ３２１に写る製品Ｒの良否を判定することができる。

一方で、制御部３１は、第２識別器６の判定性能が第１識別器５と比べて悪化していないと判定されている場合には、第２識別器６を利用して、対象画像データ３２１に写る製品Ｒの良否を判定する。具体的には、上記ステップＳ２０５の出力処理の結果、検査装置３には、第２識別器６が配信されている。あるいは、上記ステップＳ２０５の出力処理、又は識別器評価装置１にアクセスすることにより、制御部３１は、製品Ｒの良否を判定するのに利用する識別器を第２識別器６であると特定する。次に、制御部３１は、第２学習結果データ２２９を参照して、学習済みの第２識別器６の演算処理を実行することで、第２識別器６から出力値を取得する。そして、制御部３１は、第２識別器６から取得した出力値に基づいて、対象画像データ３２１に写る製品Ｒの良否を判定する。第２識別器６の演算処理及び良否の判定は、上記ステップＳ２０２及びＳ２０３と同様に実行されてよい。

以上により、制御部３１は、ステップＳ２０４の評価の結果に基づいて、第１識別器５又は第２識別器６を利用して、対象画像データ３２１に写る製品Ｒの良否を判定することができる。製品Ｒの良否の判定が完了すると、制御部３１は、次のステップＳ３０３に処理を進める。

なお、利用する識別器を特定する方法は、上記の例に限定されなくてもよい。例えば、上記ステップＳ２０４の評価の結果に基づいて、検査装置３に組み込まれる学習結果データが選択されてもよい。具体的には、第２識別器６の判定性能が第１識別器５と比べて悪化していると判定されている場合には、第１学習結果データ２２４が検査装置３に予め組み込まれてもよい。他方、第２識別器６の判定性能が第１識別器５と比べて悪化していないと判定されている場合には、第２学習結果データ２２９が検査装置３に予め組み込まれてもよい。これにより、本ステップＳ３０２では、制御部３１は、予め組み込まれている学習結果データを参照することで、ステップＳ２０４の評価の結果に応じた識別器を利用することができる。

（ステップＳ３０３）
ステップＳ３０３では、制御部３１は、出力部３１３として動作し、ステップＳ３０２により製品Ｒの良否を判定した結果を出力する。

製品Ｒの良否を判定した結果の出力形式は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部３１は、製品Ｒの良否を判定した結果をそのまま出力装置３６に出力してもよい。また、ステップＳ３０２において、製品Ｒに欠陥があると判定した場合、制御部３１は、欠陥を発見したことを知らせるための警告を本ステップＳ３０３の出力処理として行ってもよい。また、製品の搬送を行う製造ラインに検査装置３が接続されている場合、製品Ｒに欠陥があると判定したときに、制御部３１は、欠陥のある製品Ｒを欠陥のない製品とは異なる経路で搬送する指令を製造ラインに送信する処理を本ステップＳ３０３の出力処理として行ってもよい。

製品Ｒの良否を判定した結果の出力処理が完了すると、制御部３１は、本動作例に係る処理を終了する。なお、制御部３１は、製造ライン上を搬送される製品Ｒがカメラ４１の撮影範囲に入る度に、ステップＳ３０１～Ｓ３０３の一連の処理を実行してもよい。これにより、検査装置３は、製造ライン上を搬送される製品Ｒの外観検査を行うことができる。

［特徴］
以上のとおり、本実施形態に係る学習装置２は、ステップＳ１０１～Ｓ１０３の一連の処理により、第１学習データ２２１を利用した機械学習を実行することで、第１識別器５を構築する。これに対して、学習装置２は、第１学習データ２２１及び追加の画像データ２２７により構成される第２学習データ２２６を利用した機械学習を実行することで、第２識別器６を構築する。この第２識別器６の構築の過程で、第１学習データ２２１には含まれていない未知のケースを追加の画像データ２２７として用意することで、学習装置２は、第１識別器５では製品Ｒの良否の判定が不能なケースに対して対応可能な第２識別器６を構築することができる。これにより、検査装置３では、第１識別器５では良否の判定が不能なケースについて、第２識別器６を利用することで、製品Ｒの良否を判定することができるようになる。

加えて、本実施形態に係る識別器評価装置１は、ステップＳ２０２～Ｓ２０４の処理によって、複数件の評価用データセット１２１を利用して、第２識別器６の判定性能が第１識別器５と比べて悪化したか否かを監視する。これにより、再学習又は追加学習により構築された第２識別器６の性能が第１識別器５と比べて悪化してしまった場合に、性能の悪化した第２識別器６が検査装置３において利用されないようにすることができる。したがって、本実施形態によれば、製品Ｒの良否の判定の信頼性が損なわれてしまうのを防止することができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜４．１＞
上記実施形態では、各識別器（５、６）は、多層構造の全結合ニューラルネットワークにより構成されている。しかしながら、各識別器（５、６）の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各識別器（５、６）は、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク等により構成されてよい。

＜４．２＞
上記実施形態では、各識別器（５、６）の学習モデルとして、ニューラルネットワークを採用している。しかしながら、各識別器（５、６）の学習モデルは、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。各識別器（５、６）の学習モデルとして、例えば、サポートベクタマシン、自己組織化マップ、強化学習により機械学習を行う学習モデル等が採用されてよい。なお、機械学習として教師あり学習を採用しない場合には、各学習データ（２２１、２２６）において、各正解データ（２２３、２２８）は省略されてもよい。

＜４．３＞
上記実施形態では、各学習結果データ（２２４、２２９）は、ニューラルネットワークの構成を示す情報を含んでいる。しかしながら、各学習結果データ（２２４、２２９）の構成は、このような例に限定されなくてもよく、学習済みの各識別器（５、６）の設定に利用可能であれば、実施の形態に応じて適宜決定されてよい。例えば、利用するニューラルネットワークの構成が各装置で共通化されている場合には、各学習結果データ（２２４、２２９）は、ニューラルネットワークの構成を示す情報を含んでいなくてもよい。

＜４．４＞
上記実施形態では、製品Ｒの外観検査を行う場面に本発明を適用した例を示している。しかしながら、本発明の適用範囲は、このような外観検査の場面に限られなくてもよい。本発明は、画像データから何らかの特徴、すなわち、被写体の状態を判定する場面に広く適用可能である。

［構成例］
図１１～図１３を用いて、被写体の状態を判定する場面に本発明を適用した変形例について説明する。図１１は、本変形例に係る識別器評価装置１Ａのソフトウェア構成の一例を模式的に例示する。図１２及び図１３は、本変形例に係る識別装置３Ａのハードウェア構成及びソフトウェア構成の一例を模式的に例示する。本変形例に係る識別システムは、識別器評価装置１Ａ、上記学習装置２、及び識別装置３Ａにより構成される。処理対象となるデータが、製品の写る画像データから何らかの被写体の写る画像データに置き換わる点を除き、本変形例に係る識別システムは、上記検査システム１００と同様に構成されてよい。

＜識別器評価装置＞
具体的に、本変形例に係る識別器評価装置１Ａは、上記識別器評価装置１と同様のハードウェア構成を有する。識別器評価装置１Ａの記憶部１２は、第１学習結果データ２２４Ａ、第２学習結果データ２２９Ａ等の各種情報を記憶する。第１学習結果データ２２４Ａは、学習済みの第１識別器５Ａの設定を行うためのデータである。第２学習結果データ２２９Ａは、学習済みの第２識別器６Ａの設定を行うためのデータである。

第１識別器５Ａは、被写体の状態を識別する学習を行うための画像データで構成された第１学習データを利用した機械学習により構築される。第２識別器６Ａは、被写体の状態を識別する学習を行うための追加の画像データ及び第１学習データで構成された第２学習データを利用した機械学習により構築される。各識別器（５Ａ、６Ａ）の学習モデルは、上記実施形態と同様に、ニューラルネットワークにより構成されている。各識別器（５Ａ、６Ａ）の機械学習は、上記実施形態と同様に実行されてよい。

本変形例において、被写体、及び識別の対象となる被写体の状態はそれぞれ、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。被写体は、例えば、対象者の顔、対象者の身体、作業対象のワーク等であってもよい。また、被写体が対象者の顔である場合、識別の対象となる状態は、例えば、表情の種別、顔のパーツの状態、その顔を所有する個人等であってもよい。顔を所有する個人の識別は、顔認証を実施するために行われてよい。被写体が対象者の身体である場合には、識別の対象となる状態は、例えば、身体のポーズ等であってもよい。被写体が作業対象のワークである場合、識別の対象となる状態は、例えば、ワークの位置、姿勢等であってもよい。

図１１に示されるとおり、識別器評価装置１Ａは、上記識別器評価装置１と同様に、評価データ取得部１１１、第１評価部１１２、第２評価部１１３、性能判定部１１４、及び出力部１１５をソフトウェアモジュールとして備えるコンピュータとして動作する。

評価データ取得部１１１は、評価用画像データ１２２Ａ、及び評価用画像データ１２２Ａに写る被写体の状態の識別に対する正解を示す正解データ１２３Ａの組み合わせによりそれぞれ構成される複数件の評価用データセット１２１Ａを取得する。正解データ１２３Ａの内容は、上記正解データ１２３と同様に設定されてよい。

第１評価部１１２は、各件の評価用データセット１２１Ａについて、第１識別器５Ａに評価用画像データ１２２Ａを入力し、第１識別器５Ａから得られる出力値に基づいて評価用画像データ１２２Ａに写る被写体の状態を判定した結果と正解データ１２３Ａの示す正解とを照合する。これにより、第１評価部１１２は、第１識別器５Ａの判定性能を評価する。

第２評価部１１３は、各件の評価用データセット１２１Ａについて、第２識別器６Ａに評価用画像データ１２２Ａを入力し、第２識別器６Ａから得られる出力値に基づいて評価用画像データ１２２Ａに写る被写体の状態を判定した結果と正解データ１２３Ａの示す正解とを照合する。これにより、第２評価部１１３は、第２識別器６Ａの判定性能を評価する。

性能判定部１１４は、第１識別器５Ａ及び第２識別器６Ａに対する評価の結果に基づいて、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化しているか否かを判定する。出力部１１５は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化しているか否かを判定した結果を出力する。

＜識別装置＞
図１２に示されるとおり、識別装置３Ａは、上記検査装置３と同様のハードウェア構成を有する。識別装置３Ａの記憶部３２は、識別プログラム８３Ａ、第１学習結果データ２２４Ａ、第２学習結果データ２２９Ａ等の各種情報を記憶する。識別プログラム８３Ａは、上記検査装置３と同様の処理手順により、被写体の状態を判定する情報処理を識別装置３Ａに実行させるためのプログラムであり、当該情報処理の一連の命令を含む。

識別装置３Ａは、上記検査装置３と同様に、外部インタフェース３４を介してカメラ４１に接続されている。カメラ４１は、状態を判定する対象となる被写体を撮影可能な場所に適宜配置される。例えば、被写体が対象者の顔又は身体である場合、カメラ４１は、被写体となる対象者の存在し得る場所に配置されてよい。また、例えば、被写体が作業対象のワークである場合、カメラ４１は、ワークの存在し得る場所に向けて配置されてよい。

また、図１３に示されるとおり、識別装置３Ａは、制御部３１により識別プログラム８３Ａを実行することで、対象データ取得部３１１、状態判定部３１２Ａ、及び出力部３１３をソフトウェアモジュールとして備えるコンピュータとして動作する。

対象データ取得部３１１は、状態を識別する対象となる被写体の写る対象画像データ３２１Ａを取得する。状態判定部３１２Ａは、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していると判定された場合には、第１識別器５Ａを利用して対象画像データ３２１Ａに写る被写体の状態を判定する。また、状態判定部３１２Ａは、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していないと判定された場合には、第２識別器６Ａを利用して対象画像データ３２１Ａに写る被写体の状態を判定する。出力部３１３は、被写体の状態を判定した結果を出力する。

［動作例］
次に、本変形例に係る識別システムの動作例について説明する。本変形例に係る識別システムは、上記検査システム１００とほぼ同様の処理手順で動作する。

＜学習装置＞
学習装置２の制御部２１は、上記ステップＳ１０１～Ｓ１０３の処理により、被写体の状態を識別する学習を行うための画像データで構成された第１学習データを利用した機械学習を実行することで第１識別器５Ａを構築し、構築した第１識別器５Ａの構成等を示す情報を第１学習結果データ２２４Ａとして記憶部２２に格納する。同様に、学習装置２の制御部２１は、上記ステップＳ１０１～Ｓ１０３の処理により、第１学習データ及び被写体の状態を識別する学習を行うための追加の画像データで構成された第２学習データを利用した機械学習を実行することで第２識別器６Ａを構築し、構築した第２識別器６Ａの構成等を示す情報を第２学習結果データ２２９Ａとして記憶部２２に格納する。

＜識別器評価装置＞
識別器評価装置１Ａの制御部１１は、ステップＳ２０１では、評価データ取得部１１１として動作し、評価用画像データ１２２Ａ、及び評価用画像データ１２２Ａに写る被写体の状態の識別に対する正解を示す正解データ１２３Ａの組み合わせによりそれぞれ構成される複数件の評価用データセット１２１Ａを取得する。各件の評価用データセット１２１Ａは、上記評価用データセット１２１と同様の方法により作成されてよい。

ステップＳ２０２では、制御部１１は、第１評価部１１２として動作し、第１学習結果データ２２４Ａを参照して、学習済みの第１識別器５Ａの設定を行う。続いて、制御部１１は、各件の評価用データセット１２１Ａについて、第１識別器５Ａに評価用画像データ１２２Ａを入力し、第１識別器５Ａの演算処理を実行することで、第１識別器５Ａから出力値を取得する。次に、制御部１１は、第１識別器５Ａから得られる出力値に基づいて評価用画像データ１２２Ａに写る被写体の状態を判定した結果と正解データ１２３Ａの示す正解とを照合する。判定結果と正解との照合は上記実施形態と同様の方法により行われてよい。これにより、制御部１１は、第１識別器５Ａの判定性能を評価する。

判定性能の評価方法には、上記実施形態と同様の方法を採用することができる。すなわち、制御部１１は、複数件の評価用データセット１２１Ａに対して、第１識別器５Ａから得られた出力値に基づいて評価用画像データ１２２Ａに写る被写体の状態を判定した結果が正解データ１２３Ａにより示される正解と一致している比率（正答率）を算出することで、第１識別器５Ａの判定性能を評価してもよい。つまり、制御部１１は、複数件の評価用データセット１２１Ａに対する第１識別器５Ａによる被写体の状態判定の正答率を、第１識別器５Ａの判定性能の評価結果として算出してもよい。

また、各件の評価用データセット１２１Ａには、判定性能に寄与する度合いを示す重みが設定されていてもよい。この場合、制御部１１は、各件の評価用データセット１２１Ａに設定された重みに応じて、第１識別器５Ａの判定性能を評価してもよい。一例として、制御部１１は、第１識別器５Ａによる状態の判定が正しいと判定された評価用データセット１２１Ａに設定された重みの合計を、各件の評価用データセット１２１Ａに設定された重みの合計で割った商（重みを含む正答率）を、第１識別器５Ａの判定性能の評価結果として算出してもよい。

また、複数件の評価用データセット１２１Ａは、評価用画像データ１２２Ａに写る被写体の状態の判定を誤ってはいけないものとして設定される禁忌データセットを含んでもよい。この場合、制御部１１は、禁忌データセットに対する第１識別器５Ａによる被写体の状態の判定が誤っているか否か、又は禁忌データセットに対する第１識別器５Ａによる被写体の状態の判定が誤っている数に基づいて、第１識別器５Ａの判定性能を評価してもよい。

ステップＳ２０３では、制御部１１は、第２評価部１１３として動作し、第２学習結果データ２２９Ａを参照して、学習済みの第２識別器６Ａの設定を行う。続いて、制御部１１は、各件の評価用データセット１２１Ａについて、第２識別器６Ａに評価用画像データ１２２Ａを入力し、第２識別器６Ａの演算処理を実行することで、第２識別器６Ａから出力値を取得する。次に、制御部１１は、第２識別器６Ａから得られる出力値に基づいて評価用画像データ１２２Ａに写る被写体の状態を判定した結果と正解データ１２３Ａの示す正解とを照合する。判定結果と正解との照合は上記実施形態と同様の方法により行われてよい。これにより、制御部１１は、第２識別器６Ａの判定性能を評価する。

なお、第２識別器６Ａの判定性能の評価は、第１識別器５Ａと同様に行われてよい。制御部１１は、複数件の評価用データセット１２１Ａに対して、第２識別器６Ａから得られた出力値に基づいて評価用画像データ１２２Ａに写る被写体の状態を判定した結果が正解データ１２３Ａにより示される正解と一致している比率（正答率）を算出することで、第２識別器６Ａの判定性能を評価してもよい。また、制御部１１は、第２識別器６Ａによる状態の判定が正しいと判定された評価用データセット１２１Ａに設定された重みの合計を、各件の評価用データセット１２１Ａに設定された重みの合計で割った商（重みを含む正答率）を、第２識別器６Ａの判定性能の評価結果として算出してもよい。また、制御部１１は、禁忌データセットに対する第２識別器６Ａによる被写体の状態の判定が誤っているか否か、又は禁忌データセットに対する第２識別器６Ａによる被写体の状態の判定が誤っている数に基づいて、第２識別器６Ａの判定性能を評価してもよい。

ステップＳ２０４では、制御部１１は、性能判定部１１４として動作し、第１識別器５Ａ及び第２識別器６Ａに対する評価の結果に基づいて、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化しているか否かを判定する。第１識別器５Ａの判定性能と第２識別器６の判定性能との比較は、上記実施形態と同様の方法により行われてよい。

すなわち、第２識別器６Ａの正答率が第１識別器５Ａの正答率よりも低い場合に、制御部１１は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していると判定してもよい。一方、第２識別器６Ａの正答率が第１識別器５Ａの正答率よりも低くはない場合、制御部１１は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していないと判定してもよい。

また、第２識別器６Ａの重みを含む正答率が第１識別器５Ａの重みを含む正答率よりも低い場合に、制御部１１は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していると判定してもよい。一方、第２識別器６Ａの重みを含む正答率が第１識別器５Ａの重みを含む正答率よりも低くはない場合、制御部１１は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していないと判定してもよい。

また、第１識別器５Ａから得られる出力値に基づいて禁忌データセットの評価用画像データ１２２Ａに写る被写体の状態を判定した結果が正解データ１２３Ａにより示される正解と一致しているのに対して、第２識別器６Ａから得られる出力値に基づいて禁忌データセットの評価用画像データ１２２Ａに写る被写体の状態を判定した結果が正解データ１２３Ａにより示される正解と一致していない場合、制御部１１は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していると判定してもよい。つまり、対象の禁忌データセットについて、第１識別器５Ａでは被写体の状態を正しく判定できるのに対して、第２識別器６Ａでは被写体の状態の判定を誤ってしまう場合に、制御部１１は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していると判定してもよい。一方、そうではない場合、制御部１１は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していないと判定してもよいし、上記その他の指標に基づいて、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化しているか否かを判定してもよい。

ステップＳ２０５では、制御部１１は、出力部１１５として動作し、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化しているか否かを判定した結果を出力する。判定した結果の出力は、上記実施形態と同様に行われてよい。例えば、制御部１１は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化しているか否かを判定した結果をそのまま出力装置１５に出力してもよい。

また、例えば、上記第１のケースでは、制御部１１は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化しているか否かを判定した結果に応じて、識別装置３Ａへの第２識別器６Ａの配信を禁止又は許可する指令を学習装置２に送信してもよい。あるいは、制御部１１は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化しているか否かを判定した結果を学習装置２に配信して、第２識別器６Ａを識別装置３Ａに配信するか否かを学習装置２に判定させてもよい。

また、例えば、上記第２のケースでは、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化しているか否かを判定した結果に応じて、第２識別器６Ａの利用を禁止又は許可する指令を識別装置３Ａに送信してもよい。あるいは、制御部１１は、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化しているか否かを判定した結果を識別装置３Ａに配信して、第２識別器６Ａを利用するか否かを識別装置３Ａに判定させてもよい。

また、例えば、上記第３のケースでは、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していると判定した場合、制御部１１は、学習装置２から受信した第２識別器６Ａの識別装置３Ａへの転送を禁止し、第１識別器５Ａを利用する指令を識別装置３Ａに送信してもよい。一方で、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していないと判定した場合、制御部１１は、学習装置２から受信した第２識別器６Ａを識別装置３Ａに転送してもよい。

＜識別装置＞
識別装置３Ａの制御部３１は、ステップＳ３０１では、制御部３１は、対象データ取得部３１１として動作し、状態を識別する対象となる被写体の写る対象画像データ３２１Ａを取得する。

ステップＳ３０２では、制御部３１は、状態判定部３１２Ａとして動作し、第１識別器５Ａ又は第２識別器６Ａを利用して、対象画像データ３２１Ａに写る被写体の状態を判定する。利用する識別器は、上記ステップＳ２０４における性能の評価結果に基づいて決定される。すなわち、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していると判定された場合には、制御部３１は、第１識別器５Ａを利用して対象画像データ３２１Ａに写る被写体の状態を判定する。一方、第２識別器６Ａの判定性能が第１識別器５Ａと比べて悪化していないと判定された場合には、制御部３１は、第２識別器６Ａを利用して対象画像データ３２１Ａに写る被写体の状態を判定する。

第１識別器５Ａを利用する場合、制御部３１は、第１学習結果データ２２４Ａを参照して、学習済みの第１識別器５Ａの設定を行う。続いて、制御部３１は、取得した対象画像データ３２１Ａを第１識別器５Ａに入力して、第１識別器５Ａの演算処理を実行することで、第１識別器５Ａから出力値を取得する。そして、制御部３１は、第１識別器５Ａから取得した出力値に基づいて、対象画像データ３２１Ａに写る被写体の状態を判定する。被写体の状態の判定は、上記実施形態と同様に行われてよい。

同様に、第２識別器６Ａを利用する場合、制御部３１は、第２学習結果データ２２９Ａを参照して、学習済みの第２識別器６Ａの設定を行う。続いて、制御部３１は、取得した対象画像データ３２１Ａを第２識別器６Ａに入力して、第２識別器６Ａの演算処理を実行することで、第２識別器６Ａから出力値を取得する。そして、制御部３１は、第２識別器６Ａから取得した出力値に基づいて、対象画像データ３２１Ａに写る被写体の状態を判定する。

ステップＳ３０３では、制御部３１は、出力部３１３として動作し、被写体の状態を判定した結果を出力する。被写体の状態を判定した結果の出力形式は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部３１は、被写体の状態を判定した結果をそのまま出力装置３６に出力してもよい。また、例えば、制御部３１は、被写体の状態に応じて所定の出力処理を実行してもよい。具体例として、被写体の状態として対象者の表情を判定するケースでは、対象者の顔が笑顔ではない（第２状態である）ときに、制御部１１は、対象者の関連者の携帯端末にそのことを通知する電子メールの送信をステップＳ３０３の出力処理として行ってもよい。

以上により、本変形例では、再学習又は追加学習により第２識別器６Ａの識別性能が第１識別器５Ａよりも悪化してしまった場合でも、被写体の状態を判定する処理の信頼性が損なわれてしまうのを防止することができる。

＜４．５＞
上記実施形態及び変形例では、画像データから何らかの特徴（被写体の状態）を判定する場面に本発明を提供した例を示している。しかしながら、本発明の適用可能な範囲は、このような画像データから特徴を判定する場面に限られなくてもよい。本発明は、画像データ以外のデータ又は複数種類のデータから何らかの特徴を識別する場面に広く適用可能である。

図１４～図１７を用いて、データに含まれる特徴を判定する場面に本発明を適用した変形例について説明する。図１４は、本変形例に係る識別器評価装置１Ｂのソフトウェア構成の一例を模式的に例示する。図１５は、本変形例に係る学習装置２Ｂのソフトウェア構成の一例を模式的に例示する。図１６及び図１７は、本変形例に係る識別装置３Ｂのハードウェア構成及びソフトウェア構成の一例を模式的に例示する。本変形例に係る識別システムは、識別器評価装置１Ｂ、学習装置２Ｂ、及び識別装置３Ｂにより構成される。処理対象となるデータが、製品の写る画像データから何らかの特徴を含む他種のデータに置き換わる点を除き、本変形例に係る識別システムは、上記検査システム１００と同様に構成されてよい。

＜識別器評価装置＞
具体的に、本変形例に係る識別器評価装置１Ｂは、上記識別器評価装置１と同様のハードウェア構成を有する。識別器評価装置１Ｂの記憶部１２は、第１学習結果データ２２４Ｂ、第２学習結果データ２２９Ｂ等の各種情報を記憶する。第１学習結果データ２２４Ｂは、学習済みの第１識別器５Ｂの設定を行うためのデータである。第２学習結果データ２２９Ｂは、学習済みの第２識別器６Ｂの設定を行うためのデータである。

本変形例において、処理対象となるデータは、識別器による解析の対象となり得るあらゆる種類のデータを含んでもよく、例えば、画像データの他、音データ（音声データ）、数値データ、テキストデータ等であってよい。また、対象のデータから識別される特徴は、データから識別可能なあらゆる特徴を含んでもよい。対象のデータが音データである場合、識別される特徴は、例えば、特定の音（例えば、機械の異音）が含まれているか否か等であってもよい。対象のデータが、活動量等の生体データに関する数値データ又はテキストデータである場合、識別される特徴は、例えば、対象者の状態（例えば、健康であるか否か）等であってもよい。対象のデータが、機械の駆動量等の数値データ又はテキストデータである場合、識別される特徴は、例えば、機械の状態（例えば、機械が所定の状態にあるか否か）等であってもよい。

図１４に示されるとおり、識別器評価装置１Ｂは、上記識別器評価装置１と同様に、評価データ取得部１１１、第１評価部１１２、第２評価部１１３、性能判定部１１４、及び出力部１１５をソフトウェアモジュールとして備えるコンピュータとして動作する。

評価データ取得部１１１は、評価用データ１２２Ｂ、及び評価用データ１２２Ｂに含まれる特徴の識別に対する正解を示す正解データ１２３Ｂの組み合わせによりそれぞれ構成される複数件の評価用データセット１２１Ｂを取得する。正解データ１２３Ｂの内容は、評価用データ１２２Ｂ及び識別する対象となる特徴に応じて適宜設定されてよい。

第１評価部１１２は、各件の評価用データセット１２１Ｂについて、第１識別器５Ｂに評価用データ１２２Ｂを入力し、第１識別器５Ｂから得られる出力値に基づいて評価用データ１２２Ｂに含まれる特徴を判定した結果と正解データ１２３Ｂの示す正解とを照合する。これにより、第１評価部１１２は、第１識別器５Ｂの判定性能を評価する。

第２評価部１１３は、各件の評価用データセット１２１Ｂについて、第２識別器６Ｂに評価用データ１２２Ｂを入力し、第２識別器６Ｂから得られる出力値に基づいて評価用データ１２２Ｂに含まれる特徴を判定した結果と正解データ１２３Ｂの示す正解とを照合する。これにより、第２評価部１１３は、第２識別器６Ｂの判定性能を評価する。

性能判定部１１４は、第１識別器５Ｂ及び第２識別器６Ｂに対する評価の結果に基づいて、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化しているか否かを判定する。出力部１１５は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化しているか否かを判定した結果を出力する。

＜学習装置＞
学習装置２Ｂは、上記学習装置２と同様のハードウェア構成を有する。また、図１５に示されるとおり、学習装置２Ｂは、上記学習装置２と同様に、学習データ取得部２１１及び学習処理部２１２をソフトウェアモジュールとして備えるコンピュータとして動作する。

学習データ取得部２１１は、特徴を識別する学習を行うためのデータ２２２Ｂで構成された第１学習データ２２１Ｂを取得する。学習処理部２１２は、取得した第１学習データ２２１Ｂを利用した機械学習を実施することで、対象のデータに含まれる特徴を判定する能力を習得した学習済みの第１識別器５Ｂを構築する。

また、学習データ取得部２１１は、第１学習データ２２１Ｂ及び特徴を識別する学習を行うための追加のデータ２２７Ｂで構成された第２学習データ２２６Ｂを取得する。学習処理部２１２は、取得した第２学習データ２２６Ｂを利用した機械学習を実施することで、対象のデータに含まれる特徴を判定する能力を習得した学習済みの第２識別器６Ｂを構築する。

なお、本変形例では、上記実施形態と同様に、各識別器（５Ｂ、６Ｂ）の学習モデルは、ニューラルネットワークにより構成されている。そのため、データ２２２Ｂには、当該データ２２２Ｂに含まれる特徴の識別に対する正解を示す正解データ２２３Ｂが付与される。同様に、追加のデータ２２７Ｂには、追加のデータ２２７Ｂに含まれる特徴の識別に対する正解を示す正解データ２２８Ｂが付与されている。

学習処理部２１２は、第１学習データ２２１Ｂに含まれる各件のデータセットについて、データ２２２Ｂを入力層５１に入力すると、入力したデータ２２２Ｂに関連付けられた正解データ２２３Ｂにより示される正解に対応する出力値を出力層５３から出力するように第１識別器５Ｂの機械学習を行う。これにより、学習処理部２１２は、対象のデータに含まれる特徴を判定する能力を習得した学習済みの第２識別器６を構築する。そして、学習処理部２１２は、学習済みの第１識別器５Ｂの構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を第１学習結果データ２２４Ｂとして記憶部２２に格納する。

また、学習処理部２１２は、第２学習データ２２６Ｂに含まれる各件のデータセットについて、データ（２２２Ｂ、２２７Ｂ）を入力層６１に入力すると、入力したデータ（２２２Ｂ、２２７Ｂ）に関連付けられた正解データ（２２３Ｂ、２２８Ｂ）により示される正解対応する出力値を出力層６３から出力するように第２識別器６Ｂの機械学習を行う。これにより、学習処理部２１２は、対象のデータに含まれる特徴を判定する能力を習得した学習済みの第２識別器６Ｂを構築する。そして、学習処理部２１２は、学習済みの第２識別器６Ｂの構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を第２学習結果データ２２９Ｂとして記憶部２２に格納する。

＜識別装置＞
図１６に示されるとおり、識別装置３Ｂは、上記検査装置３と同様のハードウェア構成を有する。識別装置３Ｂの記憶部３２は、識別プログラム８３Ｂ、第１学習結果データ２２４Ｂ、第２学習結果データ２２９Ｂ等の各種情報を記憶する。識別プログラム８３Ｂは、上記検査装置３と同様の処理手順により、対象のデータに含まれる特徴を判定する情報処理を識別装置３Ｂに実行させるためのプログラムであり、当該情報処理の一連の命令を含む。

なお、本変形例では、識別装置３Ｂは、外部インタフェース３４を介して、計測装置４１Ｂに接続されている。計測装置４１Ｂは、対象のデータを取得可能に適宜構成される。計測装置４１Ｂの種類は、処理対象のデータに応じて適宜決定されてよい。処理対象のデータが音データである場合、計測装置４１Ｂは、例えば、マイクロフォン等である。処理対象のデータが生体データである場合、計測装置４１Ｂは、例えば、活動量計、血圧計等の、生体情報を計測可能に構成された装置である。また、処理対象のデータが、機械の駆動量等の数値データ又はテキストデータである場合、計測装置４１Ｂは、例えば、エンコーダ等の対象の物理量を測定可能に構成された装置である。計測装置４１Ｂの配置は、実施の形態に応じて適宜決定されてよい。

また、図１７に示されるとおり、識別装置３Ｂは、制御部３１により識別プログラム８３Ｂを実行することで、対象データ取得部３１１、特徴判定部３１２Ｂ、及び出力部３１３をソフトウェアモジュールとして備えるコンピュータとして動作する。

対象データ取得部３１１は、識別する対象となる特徴を含む対象データ３２１Ｂを取得する。特徴判定部３１２Ｂは、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していると判定された場合には、第１識別器５Ｂを利用して対象データ３２１Ｂに含まれる特徴を判定する。また、特徴判定部３１２Ｂは、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していないと判定した場合には、第２識別器６Ｂを利用して対象データ３２１Ｂに含まれる特徴を判定する。出力部３１３は、対象データ３２１Ｂに含まれる特徴を判定した結果を出力する。

［動作例］
次に、本変形例に係る識別システムの動作例について説明する。本変形例に係る識別システムは、上記検査システム１００とほぼ同様の処理手順で動作する。

＜学習装置＞
すなわち、学習装置２Ｂの制御部２１は、上記ステップＳ１０１及びＳ１０２の処理により、特徴を識別する学習を行うためのデータ２２２Ｂで構成された第１学習データ２２１Ｂを利用した機械学習を実行することで第１識別器５Ｂを構築する。そして、制御部２１は、ステップＳ１０３の処理により、構築した第１識別器５Ｂの構成等を示す情報を第１学習結果データ２２４Ｂとして記憶部２２に格納する。

同様に、制御部２１は、上記ステップＳ１０１及びＳ１０２の処理により、第１学習データ２２１Ｂ及び特徴を識別する学習を行うための追加のデータ２２７Ｂで構成された第２学習データ２２６Ｂを利用した機械学習を実行することで第２識別器６Ｂを構築する。そして、制御部２１は、ステップＳ１０３の処理により、構築した第２識別器６Ｂの構成等を示す情報を第２学習結果データ２２９Ｂとして記憶部２２に格納する。

＜識別器評価装置＞
識別器評価装置１Ｂの制御部１１は、ステップＳ２０１では、評価データ取得部１１１として動作し、評価用データ１２２Ｂ、及び評価用データ１２２Ｂに含まれる特徴の識別に対する正解を示す正解データ１２３Ｂの組み合わせによりそれぞれ構成される複数件の評価用データセット１２１Ｂを取得する。各件の評価用データセット１２１Ｂは、評価用画像データ１２２を取得するのに利用したカメラを、評価用データ１２２Ｂを取得するように構成された装置に置き換えて、上記評価用データセット１２１と同様の方法により作成されてよい。

ステップＳ２０２では、制御部１１は、第１評価部１１２として動作し、第１学習結果データ２２４Ｂを参照して、学習済みの第１識別器５Ｂの設定を行う。続いて、制御部１１は、各件の評価用データセット１２１Ｂについて、第１識別器５Ｂに評価用データ１２２Ｂを入力し、第１識別器５Ｂの演算処理を実行することで、第１識別器５Ｂから出力値を取得する。次に、制御部１１は、第１識別器５Ｂから得られる出力値に基づいて評価用データ１２２Ｂに含まれる特徴を判定した結果と正解データ１２３Ｂの示す正解とを照合する。判定結果と正解との照合は上記実施形態と同様の方法により行われてよい。これにより、制御部１１は、第１識別器５Ｂの判定性能を評価する。

判定性能の評価方法には、上記実施形態と同様の方法を採用することができる。すなわち、制御部１１は、複数件の評価用データセット１２１Ｂに対して、第１識別器５Ｂから得られた出力値に基づいて評価用データ１２２Ｂに含まれる特徴を判定した結果が正解データ１２３Ｂにより示される正解と一致している比率（正答率）を算出することで、第１識別器５Ｂの判定性能を評価してもよい。つまり、制御部１１は、複数件の評価用データセット１２１Ｂに対する第１識別器５Ｂによる特徴の判定の正答率を、第１識別器５Ｂの判定性能の評価結果として算出してもよい。

また、各件の評価用データセット１２１Ｂには、判定性能に寄与する度合いを示す重みが設定されていてもよい。この場合、制御部１１は、各件の評価用データセット１２１Ｂに設定された重みに応じて、第１識別器５Ｂの判定性能を評価してもよい。一例として、制御部１１は、第１識別器５Ｂによる特徴の判定が正しいと判定された評価用データセット１２１Ｂに設定された重みの合計を、各件の評価用データセット１２１Ｂに設定された重みの合計で割った商（重みを含む正答率）を、第１識別器５Ｂの判定性能の評価結果として算出してもよい。

また、複数件の評価用データセット１２１Ｂは、評価用データ１２２Ｂに含まれる特徴の判定を誤ってはいけないものとして設定される禁忌データセットを含んでもよい。この場合、制御部１１は、禁忌データセットに対する第１識別器５Ｂによる特徴の判定が誤っているか否か、又は禁忌データセットに対する第１識別器５Ｂによる特徴の判定が誤っている数に基づいて、第１識別器５Ｂの判定性能を評価してもよい。

ステップＳ２０３では、制御部１１は、第２評価部１１３として動作し、第２学習結果データ２２９Ｂを参照して、学習済みの第２識別器６Ｂの設定を行う。続いて、制御部１１は、各件の評価用データセット１２１Ｂについて、第２識別器６Ｂに評価用データ１２２Ｂを入力し、第２識別器６Ｂの演算処理を実行することで、第２識別器６Ｂから出力値を取得する。次に、制御部１１は、第２識別器６Ｂから得られる出力値に基づいて評価用データ１２２Ｂに含まれる特徴を判定した結果と正解データ１２３Ｂの示す正解とを照合する。判定結果と正解との照合は上記実施形態と同様の方法により行われてよい。これにより、制御部１１は、第２識別器６Ｂの判定性能を評価する。

なお、第２識別器６Ｂの判定性能の評価は、第１識別器５Ｂと同様に行われてよい。制御部１１は、複数件の評価用データセット１２１Ｂに対して、第２識別器６Ｂから得られた出力値に基づいて評価用データ１２２Ｂに含まれる特徴を判定した結果が正解データ１２３Ｂにより示される正解と一致している比率（正答率）を算出することで、第２識別器６Ｂの判定性能を評価してもよい。また、制御部１１は、第２識別器６Ｂによる特徴の判定が正しいと判定された評価用データセット１２１Ｂに設定された重みの合計を、各件の評価用データセット１２１Ｂに設定された重みの合計で割った商（重みを含む正答率）を、第２識別器６Ｂの判定性能の評価結果として算出してもよい。また、制御部１１は、禁忌データセットに対する第２識別器６Ｂによる特徴の判定が誤っているか否か、又は禁忌データセットに対する第２識別器６Ｂによる特徴の判定が誤っている数に基づいて、第２識別器６Ｂの判定性能を評価してもよい。

ステップＳ２０４では、制御部１１は、性能判定部１１４として動作し、第１識別器５Ｂ及び第２識別器６Ｂに対する評価の結果に基づいて、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化しているか否かを判定する。第１識別器５Ｂの判定性能と第２識別器Ｂの判定性能との比較は、上記実施形態と同様の方法により行われてよい。

すなわち、第２識別器６Ｂの正答率が第１識別器５Ｂの正答率よりも低い場合に、制御部１１は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していると判定してもよい。一方、第２識別器６Ｂの正答率が第１識別器５Ｂの正答率よりも低くはない場合、制御部１１は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していないと判定してもよい。

また、第２識別器６Ｂの重みを含む正答率が第１識別器５Ｂの重みを含む正答率よりも低い場合に、制御部１１は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していると判定してもよい。一方、第２識別器６Ｂの重みを含む正答率が第１識別器５Ｂの重みを含む正答率よりも低くはない場合、制御部１１は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していないと判定してもよい。

また、第１識別器５Ｂから得られる出力値に基づいて禁忌データセットの評価用データ１２２Ｂに含まれる特徴を判定した結果が正解データ１２３Ｂにより示される正解と一致しているのに対して、第２識別器６Ｂから得られる出力値に基づいて禁忌データセットの評価用データ１２２Ｂに含まれる特徴を判定した結果が正解データ１２３Ｂにより示される正解と一致していない場合、制御部１１は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していると判定してもよい。つまり、対象の禁忌データセットについて、第１識別器５Ｂでは特徴を正しく判定できるのに対して、第２識別器６Ｂでは特徴の判定を誤ってしまう場合に、制御部１１は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していると判定してもよい。一方、そうではない場合、制御部１１は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していないと判定してもよいし、上記その他の指標に基づいて、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化しているか否かを判定してもよい。

ステップＳ２０５では、制御部１１は、出力部１１５として動作し、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化しているか否かを判定した結果を出力する。判定した結果の出力は、上記実施形態と同様に行われてよい。例えば、制御部１１は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化しているか否かを判定した結果をそのまま出力装置１５に出力してもよい。

また、例えば、上記第１のケースでは、制御部１１は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化しているか否かを判定した結果に応じて、識別装置３Ｂへの第２識別器６Ｂの配信を禁止又は許可する指令を学習装置２Ｂに送信してもよい。あるいは、制御部１１は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化しているか否かを判定した結果を学習装置２Ｂに配信して、第２識別器６Ｂを識別装置３Ｂに配信するか否かを学習装置２Ｂに判定させてもよい。

また、例えば、上記第２のケースでは、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化しているか否かを判定した結果に応じて、第２識別器６Ｂの利用を禁止又は許可する指令を識別装置３Ｂに送信してもよい。あるいは、制御部１１は、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化しているか否かを判定した結果を識別装置３Ｂに配信して、第２識別器６Ｂを利用するか否かを識別装置３Ｂに判定させてもよい。

また、例えば、上記第３のケースでは、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していると判定した場合、制御部１１は、学習装置２Ｂから受信した第２識別器６Ｂの識別装置３Ｂへの転送を禁止し、第１識別器５Ｂを利用する指令を識別装置３Ｂに送信してもよい。一方で、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していないと判定した場合、制御部１１は、学習装置２Ｂから受信した第２識別器６Ｂを識別装置３Ｂに転送してもよい。

＜識別装置＞
識別装置３Ｂの制御部３１は、ステップＳ３０１では、制御部３１は、対象データ取得部３１１として動作し、識別する対象となる特徴を含む対象データ３２１Ｂを取得する。本変形例では、制御部３１は、外部インタフェース３４を介して計測装置４１Ｂから対象データ３２１Ｂを取得する。ただし、対象データ３２１Ｂを取得する経路は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。

ステップＳ３０２では、制御部３１は、特徴判定部３１２Ｂとして動作し、第１識別器５Ｂ又は第２識別器６Ｂを利用して、対象データ３２１Ｂに含まれる特徴を判定する。利用する識別器は、上記ステップＳ２０４における性能の評価結果に基づいて決定される。すなわち、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していると判定された場合には、制御部３１は、第１識別器５Ｂを利用して対象データ３２１Ｂに含まれる特徴を判定する。一方、第２識別器６Ｂの判定性能が第１識別器５Ｂと比べて悪化していないと判定された場合には、制御部３１は、第２識別器６Ｂを利用して対象データ３２１Ｂに含まれる特徴を判定する。

第１識別器５Ｂを利用する場合、制御部３１は、第１学習結果データ２２４Ｂを参照して、学習済みの第１識別器５Ｂの設定を行う。続いて、制御部３１は、取得した対象データ３２１Ｂを第１識別器５Ｂに入力して、第１識別器５Ｂの演算処理を実行することで、第１識別器５Ｂから出力値を取得する。そして、制御部３１は、第１識別器５Ｂから取得した出力値に基づいて、対象データ３２１Ｂに含まれる特徴を判定する。当該判定は、上記実施形態と同様に行われてよい。

同様に、第２識別器６Ｂを利用する場合、制御部３１は、第２学習結果データ２２９Ｂを参照して、学習済みの第２識別器６Ｂの設定を行う。続いて、制御部３１は、取得した対象データ３２１Ｂを第２識別器６Ｂに入力して、第２識別器６Ｂの演算処理を実行することで、第２識別器６Ｂから出力値を取得する。そして、制御部３１は、第２識別器６Ｂから取得した出力値に基づいて、対象データ３２１Ｂに含まれる特徴を判定する。

ステップＳ３０３では、制御部３１は、出力部３１３として動作し、対象データ３２１Ｂに含まれる特徴を判定した結果を出力する。判定した結果の出力形式は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部３１は、対象データ３２１Ｂに含まれる特徴を判定した結果をそのまま出力装置３６から出力してもよい。また、例えば、制御部３１は、判定結果に応じて所定の出力処理を実行してもよい。具体例として、対象データ３２１Ｂが音データであり、音データの特徴として機械の異音が含まれるか否かを判定するケースでは、制御部３１は、対象データ３２１Ｂに機械の異音が含まれると判定したときに、その機械の管理者の携帯端末にそのことを警告する電子メールの送信を当該出力処理として行ってもよい。

以上により、本変形例では、再学習又は追加学習により第２識別器６Ｂの識別性能が第１識別器５Ｂよりも悪化してしまった場合でも、対象のデータに表れる特徴を判定する処理の信頼性が損なわれてしまうのを防止することができる。

１…識別器評価装置、
１１…制御部、１２…記憶部、１３…通信インタフェース、
１４…入力装置、１５…出力装置、１６…ドライブ、
８１…評価プログラム、９１…記憶媒体、
１１１…評価データ取得部、１１２…第１評価部、
１１３…第２評価部、１１４…性能判定部、１１５…出力部、
１２１…評価用データセット、
１２２…評価用画像データ、１２３…正解データ、
２…学習装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…入力装置、２５…出力装置、２６…ドライブ、
８２…学習プログラム、９２…記憶媒体、
２１１…学習データ取得部、２１２…学習処理部、
２２１…第１学習データ、
２２２…画像データ、２２３…正解データ、
２２４…第１学習結果データ、
２２６…第２学習データ、
２２７…追加の画像データ、２２８…正解データ、
２２９…第２学習結果データ、
３…検査装置、
３１…制御部、３２…記憶部、３３…通信インタフェース、
３４…外部インタフェース、
３５…入力装置、３６…出力装置、３７…ドライブ、
８３…検査プログラム、９３…記憶媒体、
３１１…対象データ取得部、３１２…良否判定部、
３１３…出力部、
３２１…対象画像データ、
４１…カメラ、
５…第１識別器、
５１…入力層、５２…中間層（隠れ層）、５３…出力層、
６…第２識別器、
６１…入力層、６２…中間層（隠れ層）、６３…出力層

Claims (12)

1. 製品の良否を検査する検査システムであって、
   前記製品の写る評価用画像データ、及び前記評価用画像データに写る前記製品の良否の判定に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットであって、前記評価用画像データに写る前記製品の良否の判定を誤ってはいけないものとして設定される禁忌データセットを含む複数件の評価用データセットを取得する評価データ取得部と、
   各件の評価用データセットについて、前記製品の良否を学習するための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、
   各件の評価用データセットについて、前記第１学習データ及び前記製品の良否を学習するための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、
   前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部であって、
   （１）前記第１識別器から得られる出力に基づいて前記禁忌データセットの前記評価用画像データに写る前記製品の良否を判定した結果が前記正解データの示す正解と一致しているのに対して、前記第２識別器から得られる出力に基づいて前記禁忌データセットの前記評価用画像データに写る前記製品の良否を判定した結果が前記正解データの示す正解と一致していない場合、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定し、
   （２）そうでない場合、前記第２識別器の判定性能が前記第１識別器の判定性能に比べて悪化していないと判定するか、または、前記禁忌データセットを除く各件の評価用データセットについての、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、
   検査の対象となる前記製品の写る対象画像データを取得する対象データ取得部と、
   前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定した場合には、前記第１識別器を利用して前記対象画像データに写る前記製品の良否を判定し、前記第２識別器の判定性能が前記第１識別器と比べて悪化していないと判定した場合には、前記第２識別器を利用して前記対象画像データに写る前記製品の良否を判定する良否判定部と、
   を備える、
   検査システム。
2. 前記第１評価部は、前記禁忌データセットを除く前記複数件の評価用データセットに対して、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果が前記正解データの示す正解と一致している比率を算出することで、前記第１識別器の判定性能を評価し、
   前記第２評価部は、前記禁忌データセットを除く前記複数件の評価用データセットに対して、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果が前記正解データの示す正解と一致している比率を算出することで、前記第２識別器の判定性能を評価する、
   請求項１に記載の検査システム。
3. 前記各件の評価用データセットには、前記判定性能に寄与する度合いを示す重みが設定されている、
   請求項１又は２に記載の検査システム。
4. 前記評価データ取得部は、前記製品の良否を検査する環境において、前記評価用画像データを取得する、
   請求項１から３のいずれか１項に記載の検査システム。
5. 製品の写る評価用画像データ、及び前記評価用画像データに写る前記製品の良否の判定に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットであって、前記評価用画像データに写る前記製品の良否の判定を誤ってはいけないものとして設定される禁忌データセットを含む複数件の評価用データセットを取得する評価データ取得部と、
   各件の評価用データセットについて、前記製品の良否を学習するための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、
   各件の評価用データセットについて、前記第１学習データ及び前記製品の良否を学習するための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記製品の良否を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、
   前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部であって、
   （１）前記第１識別器から得られる出力に基づいて前記禁忌データセットの前記評価用画像データに写る前記製品の良否を判定した結果が前記正解データの示す正解と一致しているのに対して、前記第２識別器から得られる出力に基づいて前記禁忌データセットの前記評価用画像データに写る前記製品の良否を判定した結果が前記正解データの示す正解と一致していない場合、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定し、
   （２）そうでない場合、前記第２識別器の判定性能が前記第１識別器の判定性能と比べて悪化していないと判定するか、または、前記禁忌データセットを除く各件の評価用データセットについての、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、
   前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力する出力部と、
   を備える、
   識別器評価装置。
6. 評価用画像データ、及び前記評価用画像データに写る被写体の状態の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットであって、前記評価用画像データに写る前記被写体の状態の判定を誤ってはいけないものとして設定される禁忌データセットを含む複数件の評価用データセットを取得する評価データ取得部と、
   各件の評価用データセットについて、前記被写体の状態を識別する学習を行うための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、
   各件の評価用データセットについて、前記第１学習データ及び前記被写体の状態を識別する学習を行うための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、
   前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部であって、
   （１）前記第１識別器から得られる出力に基づいて前記禁忌データセットの前記評価用画像データに写る前記被写体の状態を判定した結果が前記正解データの示す正解と一致しているのに対して、前記第２識別器から得られる出力に基づいて前記禁忌データセットの前記評価用画像データに写る前記被写体の状態を判定した結果が前記正解データの示す正解と一致していない場合、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定し、
   （２）そうでない場合、前記第２識別器の判定性能が前記第１識別器の判定性能と比べて悪化していないと判定するか、または、前記禁忌データセットを除く各件の評価用データセットについての、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、
   状態を識別する対象となる前記被写体の写る対象画像データを取得する対象データ取得部と、
   前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定した場合には、前記第１識別器を利用して前記対象画像データに写る前記被写体の状態を判定し、前記第２識別器の判定性能が前記第１識別器と比べて悪化していないと判定した場合には、前記第２識別器を利用して前記対象画像データに写る前記被写体の状態を判定する状態判定部と、
   を備える、
   識別システム。
7. 評価用画像データ、及び前記評価用画像データに写る被写体の状態の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットであって、前記評価用画像データに写る前記被写体の状態の判定を誤ってはいけないものとして設定される禁忌データセットを含む複数件の評価用データセットを取得する評価データ取得部と、
   各件の評価用データセットについて、前記被写体の状態を識別する学習を行うための画像データで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用画像データを入力し、前記第１識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、
   各件の評価用データセットについて、前記第１学習データ及び前記被写体の状態を識別する学習を行うための追加の画像データで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用画像データを入力し、前記第２識別器から得られる出力に基づいて前記評価用画像データに写る前記被写体の状態を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、
   前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部であって、
   （１）前記第１識別器から得られる出力に基づいて前記禁忌データセットの前記評価用画像データに写る前記被写体の状態を判定した結果が前記正解データの示す正解と一致しているのに対して、前記第２識別器から得られる出力に基づいて前記禁忌データセットの前記評価用画像データに写る前記被写体の状態を判定した結果が前記正解データの示す正解と一致していない場合、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定し、
   （２）そうでない場合、前記第２識別器の判定性能が前記第１識別器の判定性能と比べて悪化していないと判定するか、または、前記禁忌データセットを除く各件の評価用データセットについての、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、
   前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力する出力部と、
   を備える、
   識別器評価装置。
8. 評価用データ、及び前記評価用データに含まれる特徴の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットであって、前記評価用データに含まれる前記特徴の判定を誤ってはいけないものとして設定される禁忌データセットを含む複数件の評価用データセットを取得する評価データ取得部と、
   各件の評価用データセットについて、前記特徴を識別する学習を行うためのデータで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用データを入力し、前記第１識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、
   各件の評価用データセットについて、前記第１学習データ及び前記特徴を識別する学習を行うための追加のデータで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用データを入力し、前記第２識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、
   前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部であって、
   （１）前記第１識別器から得られる出力に基づいて前記禁忌データセットの前記評価用データに含まれる前記特徴を判定した結果が前記正解データの示す正解と一致しているのに対して、前記第２識別器から得られる出力に基づいて前記禁忌データセットの前記評価用データに含まれる前記特徴を判定した結果が前記正解データの示す正解と一致していない場合、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定し、
   （２）そうでない場合、前記第２識別器の判定性能が前記第１識別器の判定性能と比べて悪化していないと判定するか、または、前記禁忌データセットを除く各件の評価用データセットについての、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、
   識別する対象となる特徴を含む対象データを取得する対象データ取得部と、
   前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定した場合には、前記第１識別器を利用して前記対象データに含まれる前記特徴を判定し、前記第２識別器の判定性能が前記第１識別器と比べて悪化していないと判定した場合には、前記第２識別器を利用して前記対象データに含まれる前記特徴を判定する特徴判定部と、
   を備える、
   識別システム。
9. 前記第１評価部は、前記禁忌データセットを除く前記複数件の評価用データセットに対して、前記第１識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果が前記正解データの示す正解と一致している比率を算出することで、前記第１識別器の判定性能を評価し、
   前記第２評価部は、前記禁忌データセットを除く前記複数件の評価用データセットに対して、前記第２識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果が前記正解データの示す正解と一致している比率を算出することで、前記第２識別器の判定性能を評価する、
   請求項８に記載の識別システム。
10. 前記各件の評価用データセットには、前記判定性能に寄与する度合いを示す重みが設定されている、
    請求項８又は９に記載の識別システム。
11. 前記評価データ取得部は、前記対象データに含まれる前記特徴を判定する環境において、前記評価用データを取得する、
    請求項８から１０のいずれか１項に記載の識別システム。
12. 評価用データ、及び前記評価用データに含まれる特徴の識別に対する正解を示す正解データの組み合わせによりそれぞれ構成される複数件の評価用データセットであって、前記評価用データに含まれる前記特徴の判定を誤ってはいけないものとして設定される禁忌データセットを含む複数件の評価用データセットを取得する評価データ取得部と、
    各件の評価用データセットについて、前記特徴を識別する学習を行うためのデータで構成された第１学習データを利用した機械学習により構築された第１識別器に前記評価用データを入力し、前記第１識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第１識別器の判定性能を評価する第１評価部と、
    各件の評価用データセットについて、前記第１学習データ及び前記特徴を識別する学習を行うための追加のデータで構成された第２学習データを利用した機械学習により構築された第２識別器に前記評価用データを入力し、前記第２識別器から得られる出力に基づいて前記評価用データに含まれる前記特徴を判定した結果と前記正解データの示す正解とを照合することで、前記第２識別器の判定性能を評価する第２評価部と、
    前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部であって、
    （１）前記第１識別器から得られる出力に基づいて前記禁忌データセットの前記評価用データに含まれる前記特徴を判定した結果が前記正解データの示す正解と一致しているのに対して、前記第２識別器から得られる出力に基づいて前記禁忌データセットの前記評価用データに含まれる前記特徴を判定した結果が前記正解データの示す正解と一致していない場合、前記第２識別器の判定性能が前記第１識別器と比べて悪化していると判定し、
    （２）そうでない場合、前記第２識別器の判定性能が前記第１識別器の判定性能と比べて悪化していないと判定するか、または、前記禁忌データセットを除く各件の評価用データセットについての、前記第１識別器及び前記第２識別器に対する前記評価の結果に基づいて、前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定する性能判定部と、
    前記第２識別器の判定性能が前記第１識別器と比べて悪化しているか否かを判定した結果を出力する出力部と、
    を備える、
    識別器評価装置。
    

Images