JP2024005710A - 学習装置、学習方法およびプログラム - Google Patents

Abstract

【課題】属性の判別精度の高いモデルを短時間で生成する。
【解決手段】学習装置は、１回以上の能動学習処理を実行することによりモデルを更新する。１回以上の能動学習処理の各々は、学習に用いていない画像グループの中から１以上の評価用画像を選択することと、１以上の評価用画像を用いたモデルの評価結果が終了基準を満たすまで、再学習処理を繰り返し実行することと、を含む。少なくとも１回の能動学習処理において、１以上の評価用画像を選択することは、画像グループの各画像について、最新のモデルによる判別の信頼度を示す評価値を算出することと、信頼度が相対的に低い画像を１以上の評価用画像として選択することと、を含む。
【選択図】図１

Description

本開示は、学習装置、学習方法およびプログラムに関する。

近年、製品を製造する場面では、製造される製品を撮影装置により撮影し、得られた画像に基づいて製品の外観に関する属性を自動的に判別する技術の開発が進んでいる。具体的には、属性が既知である製品の写る複数の画像を用いた機械学習を行なうことにより得られたモデルを用いて製品の属性が判別される。

モデルによる属性の判別精度は、機械学習に用いる画像に依存する。判別精度の向上に有効な画像を選択する手法として能動学習が知られている（「B. Settles、“Active Learning Literature Survey”、Computer Sciences Technical Report 1648、University of Wisconsin、2010」（非特許文献１）参照）。公知の能動学習では、複数の画像の中から任意に選択された少量の画像からなる訓練データセットを用いて機械学習を行なうことによりモデルが生成される。次に、複数の画像のうち学習に用いた画像以外の残りの画像の全てを用いたモデルの評価結果が予め定められた基準を満たすまで、当該残りの画像のうちモデルによって判別しにくい画像を含むように訓練データセットを更新し、更新後の訓練データセットを用いてモデルを再学習する処理が繰り返される。

B. Settles、"Active Learning Literature Survey"、Computer Sciences Technical Report 1648. University of Wisconsin、2010、［online］、［令和4年6月14日検索］、インターネット〈URL：https://burrsettles.com/pub/settles.activelearning.pdf〉 山根達郎、全邦釘、"Deep learningによるSemantic Segmentationを用いたコンクリート表面ひび割れの検出"、構造工学論文集、Vol.65A(2019）、［online］、［令和4年6月14日検索］、インターネット<https://www.jstage.jst.go.jp/article/structcivil/65A/0/65A_130/_pdf>

公知の能動学習の手法では、繰り返し実施される再学習の処理に要する時間が長くなる。

本開示は、このような実情を鑑みてなされたものであり、その目的は、属性の判別精度の高いモデルを短時間で生成することが可能な学習装置、学習方法およびプログラムを提供することである。

本開示の一側面に係る学習装置は、訓練データセットを用いた機械学習を行なうことにより、入力画像に写る対象物の属性を判別するために使用されるモデルを取得する取得部と、１回以上の能動学習処理を実行することによりモデルを更新する能動学習部と、を備える。訓練データセットは、対象物の属性を示すラベルが付与された複数の画像の中から選択された１以上の学習用画像を含む。１回以上の能動学習処理の各々は、複数の画像のうち学習に用いていない画像グループの中から１以上の評価用画像を選択することと、１以上の評価用画像を用いたモデルの評価結果が終了基準を満たすまで、再学習処理を繰り返し実行することと、を含む。再学習処理は、１以上の評価用画像の中から選択された１以上の追加画像を含むように訓練データセットを更新することと、更新後の訓練データセットを用いてモデルの再学習を行なうことと、を含む。１回以上の能動学習処理のうちの少なくとも１回の能動学習処理において、１以上の評価用画像を選択することは、画像グループに含まれる各画像について、最新のモデルによる属性の判別の信頼度を示す第１評価値を算出することと、第１評価値に基づいて、画像グループの中から、信頼度が相対的に低い画像を１以上の評価用画像として選択することと、を含む。

この開示によれば、画像グループの中から、信頼度の相対的に低い画像が評価用画像として選択される。そのため、１以上の評価用画像から選択される追加画像を用いてモデルを再学習することにより、モデルの判別精度が向上しやすい。さらに、１回以上の能動学習処理の各々において、再学習処理が実行されるたびにモデルが評価される。画像グループの中から選択された１以上の評価用画像をモデルに入力することにより、モデルを評価できる。そのため、複数の画像のうち学習に用いていない画像グループの全ての画像をモデルに入力することによりモデルを評価する手法と比較して、モデルの評価に要する時間を短縮できる。このように、上記の開示によれば、属性の判別精度の高いモデルを短時間で生成できる。

上述の開示において、再学習処理は、１以上の評価用画像の各々について、最新のモデルによる属性の判別の信頼度を示す第２評価値を算出することと、第２評価値に基づいて、１以上の評価用画像の中から、信頼度が相対的に低い評価用画像を１以上の追加画像として選択することと、をさらに含む。

この開示によれば、１以上の評価用画像のうち、より判別しにくい画像が追加画像として選択される。これにより、モデルの判別精度がより向上しやすくなる。

上述の開示において、モデルは、入力画像の特徴を示す特徴量を出力する。特徴量は、属性を判別するための判別境界と比較される。画像グループに含まれる対象画像に対する第１評価値は、対象画像から算出される特徴量と判別境界との距離を示す。

この開示によれば、判別しにくい画像が評価用画像として選択されやすくなる。これにより、より短時間でモデルの判別精度を向上させることができる。

上述の開示において、モデルは、入力画像の特徴を示す特徴量を出力する。画像グループに含まれる対象画像に対する第１評価値は、対象画像から算出される特徴量と、最新のモデルの学習に用いられ、かつ対象画像と同じラベルが付与された画像から算出される特徴量との距離を示す。

この開示によれば、選択される１以上の評価用画像の特徴の分布が広くなる。これにより、同じ属性を示すラベルの付与された画像の特徴が多様である場合であっても、判別精度の高いモデルを短時間で生成できる。

上述の開示において、１回以上の能動学習処理は、Ｍ回の能動学習処理と、Ｍ回の能動学習処理の後に実行され、少なくとも１回の能動学習処理に対応するＮ回の能動学習処理と、を含む。ＭおよびＮは、１以上の整数である。Ｍ回の能動学習処理において、１以上の評価用画像を選択することは、第１評価値を用いることなく、ランダムに、または、予め定められたルールに従って、画像グループの中から１以上の評価用画像を選択することを含む。

学習用画像の個数が少ない場合、取得部によって取得されるモデルの判別精度が低い。この開示によれば、Ｍ回の能動学習処理では、第１評価値を用いることなく、ランダムに、または、予め定められたルールに従って、１以上の評価用画像が選択される。そのため、多様な特徴を有する画像が評価用画像として選択される。これにより、Ｍ回の能動学習処理によって、多様な特徴を有する評価用画像を用いて、モデルの判別精度をある程度高い状態に収束させることができる。そして、Ｎ回の能動学習処理では、Ｍ回の能動学習処理によって判別精度がある程度向上したモデルを適用することにより得られる第１評価値に基づいて、学習に適した画像が評価用画像として選択される。その結果、判別精度の高いモデルがより短時間で生成される。

上述の開示において、１回以上の能動学習処理は、Ｎ回の能動学習処理の後に実行されるＭ＋Ｎ＋１回目の能動学習処理を含む。Ｍ＋Ｎ＋１回目の能動学習処理において、１以上の評価用画像を選択することは、画像グループに含まれる全ての画像を１以上の評価用画像として選択することを含む。

この開示によれば、Ｍ＋Ｎ＋１回目回目の能動学習処理において、モデルの判別精度をより正確に評価できる。

上述の開示において、Ｎが２以上の整数である場合。Ｎ回の能動学習処理において、画像グループの中から選択される評価用画像の個数、第１評価値の種類、および終了基準の少なくとも１つは、互いに異なってもよい。

上述の開示において、Ｍが２以上の整数である場合、Ｍ回の能動学習処理において、画像グループの中から選択される評価用画像の個数、１以上の評価用画像の選択方法、および終了基準の少なくとも１つは、互いに異なってもよい。

上述の開示において、ラベルは、対象物が良品であることを示す第１ラベルと、対象物が不良品であることを示す第２ラベルと、を含む。複数の画像は、第１ラベルが付与された複数の良品画像と、第２ラベルが付与された１以上の不良品画像と、を含む。１以上の学習用画像は、複数の良品画像から選択される。１以上の評価用画像は、画像グループから選択される１以上の良品画像と、１以上の不良品画像と、を含む。第１評価値は、画像グループに含まれる各良品画像に対して算出される。

この開示によれば、第２ラベルが付与された不良品画像の個数が少ない場合であっても、良品画像のみから、判別精度の高いモデルを短時間で生成することができる。

本開示の一側面に係る学習方法は、コンピュータが、訓練データセットを用いた機械学習を行なうことにより、入力画像に写る対象物の属性を判別するために使用されるモデルを取得するステップと、コンピュータが、１回以上の能動学習処理を実行することによりモデルを更新するステップと、を備える。訓練データセットは、対象物の属性を示すラベルが付与された複数の画像の中から選択された１以上の学習用画像を含む。１回以上の能動学習処理の各々は、複数の画像のうち学習に用いていない画像グループの中から１以上の評価用画像を選択することと、１以上の評価用画像を用いたモデルの評価結果が終了基準を満たすまで再学習処理を繰り返し実行することと、を含む。再学習処理は、１以上の評価用画像の中から選択された１以上の追加画像を含むように訓練データセットを更新することと、更新後の訓練データセットを用いてモデルの再学習を行なうことと、を含む。１回以上の能動学習処理のうちの少なくとも１回の能動学習処理において、１以上の評価用画像を選択することは、画像グループに含まれる各画像について、最新のモデルによる属性の判別の信頼度を示す第１評価値を算出することと、第１評価値に基づいて、画像グループの中から、信頼度が相対的に低い画像を１以上の評価用画像として選択することと、を含む。

本開示の一側面に係るプログラムは、上記の学習方法をコンピュータに実行させる。これらの開示によっても、属性の判別精度の高いモデルを短時間で生成できる。

本開示によれば、属性の判別精度の高いモデルを短時間で生成できる。

実施形態に係る学習方法の一例を示す図である。 実施の形態に係る学習装置を含むシステムの全体構成を示す概略図である。 図２に示す学習装置のハードウェア構成の一例を示す概略図である。 図２に示す判別装置のハードウェア構成の一例を示す概略図である。 学習装置のソフトウェア構成の一例を模式的に示す図である。 ラベル付与部によって提供されるユーザインターフェイス画面の一例を示す図である。 ラベル付与部によって提供されるユーザインターフェイス画面の別の例を示す図である。 取得部によって提供されるユーザインターフェイス画面の一例を示す図である。 モデルの取得方法を説明する図である。 評価値Ｅ１の種類の一例を示す図である。 評価値Ｅ１の種類の別の例を示す図である。 実施の形態に係る学習装置の処理の流れの一例を示すフローチャートである。 図１２に示すステップＳ５の参考例のサブルーチンの流れを示すフローチャートである。 図１３に示すフローチャートに従った能動学習処理を説明する図である。 能動学習処理の条件を設定するための画面の一例を示す図である。 図１２に示すステップＳ５の実施例１のサブルーチンの流れを示すフローチャートである。 図１６に示すフローチャートに従った能動学習処理を説明する図である。 図１２に示すステップＳ５の実施例２のサブルーチンの流れを示すフローチャートである。 図１８に示すステップＳ２１のサブルーチンの流れを示すフローチャートである。 図１９に示すフローチャートに従った能動学習処理を説明する図である。 図１２に示すステップＳ５の実施例３のサブルーチンの流れを示すフローチャートである。 図１２に示すステップＳ５の実施例４のサブルーチンの流れを示すフローチャートである。 図２２に示すステップＳ２３のサブルーチンの流れを示すフローチャートである。 能動学習処理の結果を示す画面の一例を示す図である。 能動学習処理の結果を示す画面の別の例を示す図である。 変形例１におけるモデルの取得方法を説明する図である。 変形例１における能動学習処理を説明する図である。 変形例１における評価値Ｅ１，Ｅ２の一例を示す図である。 変形例１における評価値Ｅ１，Ｅ２の別の例を示す図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、実施形態に係る学習方法の一例を示す図である。図１に示されるように、対象物２の写る複数の画像３が予め準備される。複数の画像３の各々には、当該画像３に写る対象物２の属性を示すラベルが付与されている。

学習方法は、コンピュータが、複数の画像３の中から選択された１以上の学習用画像を含む訓練データセット６を用いた機械学習を行なうことにより、入力画像に写る対象物２の属性を判別するために使用されるモデル７を取得するステップ（１）を備える。図１に示す例では、画像３ａが学習用画像として選択されている。

学習方法は、さらに、コンピュータが、１回以上の能動学習処理を実行することによりモデル７を更新するステップ（２）を備える。

１回以上の能動学習処理の各々は、複数の画像３のうち学習に用いていない画像グループ８の中から１以上の評価用画像４を選択するステップ（２－１）と、１以上の評価用画像４を用いたモデル７の評価結果が終了基準を満たすまで、再学習処理を繰り返し実行するステップ（２－２）と、を含む。画像グループ８の中から選択される評価用画像４の個数は、予め定められる。図１に示す例では、５個の評価用画像４が選択される。

再学習処理は、１以上の評価用画像４の中から選択された１以上の追加画像を含むように訓練データセット６を更新するステップ（２－２－１）と、更新後の訓練データセット６を用いてモデル７の再学習を行なうステップ（２－２－２）と、を含む。１以上の評価用画像４のうちモデル７によって判別しにくい評価用画像４が追加画像として選択される。図１に示す例では、評価用画像４ａが追加画像として選択されている。

１回以上の能動学習処理のうちの少なくとも１回の能動学習処理において、１以上の評価用画像４を選択するステップ（２－１）は、ステップ（２－１－１），（２－１－２）を含む。ステップ（２－１－１）は、画像グループ８に含まれる画像について、最新のモデル７による属性の判別の信頼度を示す評価値Ｅ１を算出するステップである。ステップ（２－１－２）は、評価値Ｅ１に基づいて、画像グループ８の中から、信頼度が相対的に低い画像３を１以上の評価用画像４として選択するステップである。

ステップ（２－１－２）によれば、画像グループ８の中から、信頼度の相対的に低い画像３が評価用画像４として選択される。そのため、１以上の評価用画像４から選択される追加画像を用いてモデル７を再学習することにより、モデル７の判別精度が向上しやすい。

１回以上の能動学習処理の各々において、ステップ（２－２）に従って、再学習処理が実行されるたびにモデル７が評価される。本実施の形態に係る学習方法によれば、複数の画像３のうち学習に用いていない画像グループ８の中から選択された１以上の評価用画像４をモデル７に入力することにより、モデル７を評価できる。そのため、複数の画像３のうち学習に用いていない画像グループ８の全ての画像をモデル７に入力することによりモデル７を評価する従来の能動学習の手法と比較して、モデル７の評価に要する時間を短縮できる。

このように、本実施の形態に係る学習方法によれば、属性の判別精度の高いモデル７を短時間で生成できる。

§２ 具体例
＜システム構成＞
図２は、実施の形態に係る学習装置を含むシステムの全体構成を示す概略図である。図２に例示されるシステム１は、製造ラインなどに組み込まれ、製品である対象物２の写る画像を利用して、対象物２の属性を判別する。対象物２の属性は、例えば、外観の良否、欠陥の有無、欠陥の種別などが含まれる。図２に示されるように、システム１は、学習装置１００と判別装置２００とを備える。

学習装置１００は、入力画像に写る対象物２の属性を判別するために使用されるモデル７を生成するように構成されたコンピュータである。学習装置１００には、表示装置６００および入力装置７００が接続されている。表示装置６００は、典型的には液晶ディスプレイからなり、各種画面を表示する。入力装置７００は、例えばキーボードおよびマウスを含む。なお、表示装置６００および入力装置７００は、タッチパネルとして一体化されてもよい。

判別装置２００は、学習装置１００から転送されたモデル７を用いて、対象物２の属性を判別するように構成されたコンピュータである。判別装置２００にはカメラ３００が接続されている。カメラ３００は、対象物２が視野に含まれるように設置される。これにより、判別装置２００は、対象物２の写る画像をカメラ３００から取得する。判別装置２００は、取得した画像を入力したときのモデル７の出力情報を用いて、対象物２の属性を判別する。

例えば、判別装置２００は、対象物２の外観に欠陥が含まれるか否かに応じて、対象物２が良品か不良品かを判別する。欠陥は、例えば、傷、汚れ、クラック、打痕、バリ、色ムラ、異物混入等であってよい。

図２に例示される学習装置１００および判別装置２００は、ネットワークを介して互いに接続されている。ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。

学習装置１００および判別装置２００の間でデータをやりとりする方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、学習装置１００および判別装置２００の間では、記憶媒体を利用して、データがやりとりされてよい。また、本実施形態では、学習装置１００および判別装置２００は互いに別個のコンピュータである。しかしながら、システム１の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、学習装置１００および判別装置２００は一体のコンピュータであってもよい。また、例えば、学習装置１００および判別装置２００の少なくとも一方は、複数台のコンピュータにより構成されてよい。

＜学習装置のハードウェア構成＞
学習装置１００は、典型的には、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラム（命令コード）を実行することで、本実施の形態に係る各種処理を実行する。このようなプログラムは、典型的には、各種記録媒体などに格納された状態で流通し、あるいは、ネットワークなどを介して学習装置１００にインストールされる。

このような汎用的なコンピュータを利用する場合には、本実施の形態に係る各種処理を実行するためのアプリケーションに加えて、コンピュータの基本的な処理を実行するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行されてもよい。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。

さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。

図３は、図２に示す学習装置のハードウェア構成の一例を示す概略図である。図３に示されるように、学習装置１００は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１１１と、ＲＯＭ（Read Only Memory）１１２と、通信インターフェース１１３と、入力インターフェース１１４と、表示コントローラ１１５と、ドライブ１１６と、ストレージ１２０とを含む。これらの各部は、バスを介して、互いにデータ通信可能に接続される。

ＣＰＵ１１０は、ストレージ１２０にインストールされたプログラム（コード）をＲＡＭ１１１に展開して、これらを所定順序で実行することで、各種の演算を実施する。ＲＡＭ１１１は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。

通信インターフェース１１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインターフェースである。学習装置１００は、この通信インターフェース１１３を利用することで、他の情報処理装置（例えば、判別装置２００）とデータ通信を行なうことができる。

入力インターフェース１１４は、ＣＰＵ１１０と入力装置７００との間のデータ伝送を仲介する。すなわち、入力インターフェース１１４は、ユーザが入力装置７００に入力した入力情報を受け付ける。

表示コントローラ１１５は、表示装置６００と接続され、ＣＰＵ１１０における処理結果などをユーザに通知するように表示装置６００の画面を制御する。

ストレージ１２０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。ストレージ１２０は、対象物２の写る複数の画像３を記憶する。さらに、ストレージ１２０は、学習プログラム１２２およびラベル付与プログラム１２４を記憶する。学習プログラム１２２は、モデル７を生成するための機械学習の処理を学習装置１００に実行させるためのプログラムである。ラベル付与プログラム１２４は、複数の画像３の各々について、当該画像３に写る対象物２の属性を示すラベルを付与する処理を学習装置１００に実行させるためのプログラムである。学習プログラム１２２およびラベル付与プログラム１２４の各々は、情報処理の一連の命令を含む。さらに、ストレージ１２０は、学習プログラム１２２の実行により得られるモデル７を記憶する。

ドライブ１１６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体１３０に記憶されるプログラムを読み込むためのドライブ装置である。ドライブ１１６の種類は、記憶媒体１３０の種類に応じて適宜選択されてよい。学習プログラム１２２およびラベル付与プログラム１２４の少なくとも１つは、この記憶媒体１３０に記憶されていてもよい。

記憶媒体１３０は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置１００は、この記憶媒体１３０から、学習プログラム１２２およびラベル付与プログラム１２４の少なくとも１つを取得してもよい。

ここで、図２では、記憶媒体１３０の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体１３０の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、学習装置１００の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、学習装置１００は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）等で構成されてよい。通信インターフェース１１３及びドライブ１１６の少なくとも一方は省略されてもよい。学習装置１００は、例えば、スピーカ等の表示装置６００以外の出力装置に接続され、出力装置を制御するコントローラを備えてもよい。学習装置１００は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、学習装置１００は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ（Personal Computer）等であってもよい。

＜判定装置のハードウェア構成＞
図４は、図２に示す判別装置のハードウェア構成の一例を示す概略図である。図４に示されるとおり、判別装置２００は、ＣＰＵ２１０と、ＲＡＭ２１１と、ＲＯＭ２１２と、通信インターフェース２１３と、外部インターフェース２１４と、入力インターフェース２１５と、表示コントローラ２１６と、ドライブ２１７と、ストレージ２２０とを含む。これらの各部は、バスを介して互いにデータ通信可能に接続される。

ＣＰＵ２１０は、ストレージ２２０にインストールされたプログラム（コード）をＲＡＭ２１１に展開して、これらを所定順序で実行することで、各種の演算を実施する。ＲＡＭ２１１は、典型的には、ＤＲＡＭなどの揮発性の記憶装置である。

通信インターフェース２１３は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインターフェースである。判別装置２００は、通信インターフェース２１３を利用することで、他の情報処理装置（例えば、学習装置１００）とデータ通信を行なうことができる。

外部インターフェース２１４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であり、外部装置と接続するためのインターフェースである。外部インターフェース２１４の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。本実施形態では、判別装置２００は、外部インターフェース２１４を介して、カメラ３００に接続される。

カメラ３００は、外観検査の対象となる対象物２を写した画像３を取得するのに利用される。カメラ３００の種類及び配置場所は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。カメラ３００には、例えば、一般的なデジタルカメラ、深度カメラ、赤外線カメラ等が用いられてよい。また、カメラ３００は、製造ラインにより搬送される対象物２を観測可能なように適宜配置されてよい。カメラ３００は、例えば、対象物２を搬送する製造ラインの近傍に配置されてよい。なお、カメラ３００が通信インターフェースを備える場合、判別装置２００は、外部インターフェース２１４ではなく、通信インターフェース２１３を介して、カメラ３００に接続されてもよい。

入力インターフェース２１５は、ＣＰＵ２１０と図示しない入力装置との間のデータ伝送を仲介する。すなわち、入力インターフェース２１５は、ユーザが入力装置に入力した入力情報を受け付ける。

表示コントローラ２１６は、図示しない表示装置と接続され、ＣＰＵ２１０における処理結果などをユーザに通知するように表示装置の画面を制御する。

ストレージ２２０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。ストレージ２２０は、判別プログラム２２１、モデル７等の各種情報を記憶する。

判別プログラム２２１は、学習装置１００により生成されたモデル７を利用して、画像３に写る対象物２の属性を判別する情報処理を判別装置２００に実行させるためのプログラムである。本実施の形態では、対象物２の属性を判別する情報処理は、対象物２の良否を判別する情報処理である。判別プログラム２２１は、当該情報処理の一連の命令を含む。

ドライブ２１７は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、図示しない記憶媒体に記憶されたプログラムを読み込むためのドライブ装置である。判別プログラム２２１およびモデル７のうちの少なくともいずれかは、記憶媒体に記憶されていてもよい。また、判別装置２００は、記憶媒体から、判別プログラム２２１およびモデル７のうちの少なくともいずれかを取得してもよい。

＜学習装置のソフトウェア構成＞
図５は、学習装置のソフトウェア構成の一例を模式的に示す図である。図５に示されるように、学習装置１００は、記憶部１０と、ラベル付与部１１と、取得部１２と、能動学習部１３と、を備える。記憶部１０は、図３に示すストレージ１２０およびＲＡＭ１１１によって実現される。ラベル付与部１１は、ＣＰＵ１１０がラベル付与プログラム１２４に含まれる命令を解釈および実行することにより実現される。取得部１２および能動学習部１３は、ＣＰＵ１１０が学習プログラム１２２に含まれる命令を解釈および実行することにより実現される。

記憶部１０は、カメラ３００の撮像によって得られた複数の画像３を記憶する。複数の画像３の各々には、対象物２が写る。

ラベル付与部１１は、ユーザ操作に応じて、記憶部１０が記憶する複数の画像３の各々にラベルを付与する。ラベルは、画像３に写る対象物２の属性を示す。本実施の形態では、ラベル付与部１１は、良品の対象物２（欠陥のない対象物２）が写る画像３に対してラベル「良品」を付与する。ラベル付与部１１は、欠陥のある対象物２が写る画像３に対してラベル「不良品」を付与する。

図６は、ラベル付与部によって提供されるユーザインターフェイス画面の一例を示す図である。図６に示すユーザインターフェイス画面７０は、図３に示す表示装置６００に表示される。

図６に示されるように、ユーザインターフェイス画面７０は、画像リスト７１と、良品画像リスト７２と、不良品画像リスト７３と、領域７４と、追加ボタン７５ａ，７５ｂと、移動ボタン７６と、ボタン７８と、を含む。

画像リスト７１は、記憶部１０が記憶する複数の画像３のリストである。良品画像リスト７２は、複数の画像３のうち良品の対象物２の写る画像３の一覧を示す。不良品画像リスト７３は、複数の画像３のうち不良品の対象物２の写る画像３の一覧を示す。領域７４には、画像リスト７１、良品画像リスト７２および不良品画像リスト７３の中から選択された１つの画像３が表示される。

追加ボタン７５ａは、画像リスト７１の中から選択された画像３を良品画像リスト７２に追加するためのボタンである。ユーザは、領域７４を見ながら、良品の対象物２の写る画像３を画像リスト７１の中から選択し、追加ボタン７５ａを操作する。追加ボタン７５ａが操作されると、ラベル付与部１１は、画像リスト７１の中から選択された画像３を良品画像リスト７２に追加する。これにより、良品画像リスト７２も更新される。

追加ボタン７５ｂは、画像リスト７１の中から選択された画像３を不良品画像リスト７３に追加するためのボタンである。ユーザは、領域７４を見ながら、不良品の対象物２の写る画像３を画像リスト７１の中から選択し、追加ボタン７５ｂを操作する。追加ボタン７５ｂが操作されると、ラベル付与部１１は、画像リスト７１の中から選択された画像３を不良品画像リスト７３に追加する。これにより、不良品画像リスト７３も更新される。

移動ボタン７６は、良品画像リスト７２および不良品画像リスト７３の一方の中から選択された１つの画像３を他方に移動する操作を受け付けるためのボタンである。例えば、ユーザは、領域７４を見ながら、良品画像リスト７２に含まれる画像３に不良品の対象物２が写っていることを確認すると、当該画像３を選択し、移動ボタン７６を操作する。あるいは、ユーザは、領域７４を見ながら、不良品画像リスト７３に含まれる画像３に良品の対象物２が写っていることを確認すると、当該画像３を選択し、移動ボタン７６を操作する。

良品画像リスト７２の中の１つの画像３が選択された状態で移動ボタン７６が操作されると、ラベル付与部１１は、選択された画像３を良品画像リスト７２から削除するとともに、選択された画像３を不良品画像リスト７３に追加する。不良品画像リスト７３の中の１つの画像３が選択された状態で移動ボタン７６が操作されると、ラベル付与部１１は、選択された画像３を不良品画像リスト７３から削除するとともに、選択された画像３を良品画像リスト７２に追加する。

ユーザは、複数の画像３の各々を良品画像リスト７２および不良品画像リスト７３のいずれかに分類した後、ボタン７８を押下する。ボタン７８が押下されると、ラベル付与部１１は、良品画像リスト７２に含まれる各画像３に対してラベル「良品」を付与し、不良品画像リスト７３に含まれる各画像３に対してラベル「不良品」を付与する。

さらに、ラベル付与部１１は、ユーザ操作に応じて、ラベル「不良品」が付与された画像３について、欠陥の写るエリアを特定する。

図７は、ラベル付与部によって提供されるユーザインターフェイス画面の別の例を示す図である。図７に示すユーザインターフェイス画面８０は、図３に示す表示装置６００に表示される。

図７に示されるように、ユーザインターフェイス画面８０は、不良品画像リスト８１と、領域８３と、を含む。不良品画像リスト８１は、ラベル「不良品」が付与された画像３の一覧を示す。領域８３には、不良品画像リスト８１において選択された画像３が表示される。ユーザは、領域８３を確認しながら、欠陥Ｄを囲むように枠線８４のサイズおよび位置を調整する。ラベル付与部１１は、枠線８４によって囲まれるエリアを欠陥の写るエリアとして記録する。ラベル付与部１１は、不良品画像リスト８１に含まれる各画像３に対して、記録したエリアを示す情報（以下、「欠陥位置情報」と称する。）を付与する。

図５に示す取得部１２は、複数の画像３の中から選択された１以上の学習用画像を含む訓練データセット６を用いた機械学習を行なうことにより、入力画像に写る対象物２の属性を判別するために使用されるモデル７を取得する。取得部１２は、ユーザ操作に応じて、複数の画像３の中から１以上の学習用画像を選択する。

図８は、取得部によって提供されるユーザインターフェイス画面の一例を示す図である。図８に示すユーザインターフェイス画面８６は、図３に示す表示装置６００に表示される。

図８に示されるように、ユーザインターフェイス画面８６は、不良品画像リスト８１と、良品画像リスト８２と、を含む。良品画像リスト８２は、ラベル「良品」が付与された画像３の一覧を示す。ユーザは、不良品画像リスト８１および良品画像リスト８２の各々において、学習用画像として使用する画像にマーカ８７を付ける。図８に示す例では、不良品画像リスト８１において、ファイル名「Ｉｍｇ００３．ｂｍｐ」の画像３にマーカ８７が付けられ、良品画像リスト８２において、ファイル名「Ｉｍｇ００１．ｂｍｐ」の画像３にマーカ８７が付けられている。取得部１２は、マーカ８７が付けられた画像３を学習用画像として選択する。

取得部１２は、１以上の学習用画像を含む訓練データセット６を用いた機械学習を行なうことによりモデル７を生成する。取得部１２は、訓練データセット６に含まれる学習用画像と学習用画像に付与されたラベルとに基づいて、最適なモデル７を生成する。取得部１２は、不良品である対象物２の写る学習用画像に対して付与された欠陥位置情報をさらに用いて機械学習を行なってもよい。学習用画像とともに欠陥位置を学習することにより、欠陥位置が特定され、検査精度が向上する。画像とともに欠陥位置を機械学習する手法として、公知の技術（例えば、山根達郎、全邦釘、“Deep learningによるSemantic Segmentationを用いたコンクリート表面ひび割れの検出”、構造工学論文集、Vol.65A(2019）（非特許文献２））が用いられる。機械学習アルゴリズムとして、公知のアルゴリズム（例えば、線形識別、ベイズ識別、ロジスティック回帰、サポートベクターマシン、決定木、Ｋ近傍法、ニューラルネットワーク、局所外れ値因子法、混合正規分布法など）が採用され得る。

図９は、モデルの取得方法を説明する図である。図９に示すモデル７は、入力画像から特徴空間上の特徴量を算出し、算出した特徴量と判別境界６０との位置関係に基づいて、入力画像に写る対象物２の属性を判別する。取得部１２は、訓練データセット６を用いて、ラベル「良品」が付与された学習用画像から算出される特徴量に対応する点６３とラベル「不良品」が付与された学習用画像から算出される特徴量に対応する点６４との距離が最大となるような特徴空間と判別境界６０とを定義するモデル７を生成する。判別境界６０は、特徴空間において、ラベル「良品」が付与された学習用画像から算出される特徴量に対応する点が存在する領域６１と、ラベル「不良品」が付与された学習用画像から算出される特徴量に対応する点が存在する領域６２との境界である。

なお、図８を用いて選択される学習用画像の個数は少ない。そのため、取得部１２によって取得されるモデル７（初期のモデル７）の判別精度は低い。

図５に示す能動学習部１３は、モデル７の判別精度を向上させるために、１回以上の能動学習処理を実行することによりモデル７を更新する。図１を参照して説明したように、１回以上の能動学習処理の各々は、複数の画像３のうち学習に用いていない画像グループ８の中から１以上の評価用画像４を選択することと、１以上の評価用画像４を用いたモデル７の評価結果が予め定められた基準を満たすまで再学習処理を繰り返し実行することと、を含む。再学習処理は、１以上の評価用画像４の中から選択された１以上の追加画像を含むように訓練データセット６を更新することと、更新後の訓練データセット６を用いてモデル７の再学習を行なうことと、を含む。１回以上の能動学習処理のうちの少なくとも１回の能動学習処理において、１以上の評価用画像４を選択することは、複数の画像３のうち学習に用いていない画像グループ８に含まれる画像３について、最新のモデル７による属性の判別の信頼度を示す評価値Ｅ１を算出することと、評価値Ｅ１に基づいて、画像グループ８の中から、信頼度が相対的に低い画像３を１以上の評価用画像４として選択することと、を含む。

能動学習部１３は、能動学習処理の実行中または終了後に、能動学習処理の結果を示す画面を表示装置６００に表示させてもよい。

図１０は、評価値Ｅ１の種類の一例を示す図である。以下、複数の画像３のうち、ラベル「良品」が付与された画像３を「良品画像」と称し、ラベル「不良品」が付与された画像３を「不良品画像」と称する。図１０において、各画像３について算出される評価値Ｅ１は、矢印の長さで表される。すなわち、図１０に示す評価値Ｅ１は、特徴空間において、各画像３から算出される特徴量に対応する点と判別境界６０との距離を示す。なお、評価値Ｅ１は、良品画像から算出される特徴量に対応する点が領域６１（ラベル「良品」が付与された学習用画像から算出される特徴量が存在する領域）に存在する場合、プラスの値をとる。評価値Ｅ１は、良品画像から算出される特徴量に対応する点が領域６２（ラベル「不良品」が付与された学習用画像から算出される特徴量が存在する領域）に存在する場合、マイナスの値をとる。評価値Ｅ１は、不良品画像から算出される特徴量に対応する点が領域６２に存在する場合、プラスの値をとる。評価値Ｅ１は、不良品画像から算出される特徴量に対応する点が領域６１に存在する場合、マイナスの値をとる。図１０に示す評価値Ｅ１の場合、評価値Ｅ１が小さいほど、属性の判別の信頼度が低い。

図１１は、評価値Ｅ１の種類の別の例を示す図である。図１１において、各画像３について算出される評価値Ｅ１は、矢印の長さで表される。すなわち、図１１に示す評価値Ｅ１は、特徴空間において、各画像３から算出される特徴量に対応する点と、当該画像３と同じラベルが付与された学習用画像から算出される特徴量に対応する点との最短距離を示す。図１１に示す評価値Ｅ１の場合、評価値Ｅ１が大きいほど、属性の判別の信頼度が低い。

なお、図１０に示す評価値Ｅ１を用いる場合、判別しにくい画像３が評価用画像４として選択されやすくなるものの、訓練データセット６に含まれる画像３から算出される特徴量の分布が狭い範囲に偏りやすくなる。一方、図１１に示す評価値Ｅ１を用いる場合、選択される１以上の評価用画像４から算出される特徴量の分布が広くなるものの、最も判別しにくい画像３が評価用画像４として選択されない可能性がある。そのため、評価値Ｅ１の種類は、対象物２に生じ得る欠陥に応じて適宜選択されることが好ましい。例えば、良品画像から算出される特徴量のばらつきが大きい場合には図１１に示す評価値Ｅ１が適しており、当該ばらつきが小さい場合には図１０に示す評価値Ｅ１が適している。

＜学習装置の処理の流れ＞
図１２は、実施の形態に係る学習装置の処理の流れの一例を示すフローチャートである。図１２に示されるように、学習装置１００のＣＰＵ１１０は、複数の画像３を取得する（ステップＳ１）。複数の画像３は、カメラ３００の撮像によって得られる。学習装置１００は、カメラ３００から複数の画像３を受けてもよいし、判別装置２００から複数の画像３を受けてもよい。

次に、ＣＰＵ１１０は、ユーザ操作に応じて、複数の画像３の各々に対して、当該画像３に写る対象物２の属性を示すラベルを付与する（ステップＳ２）。ステップＳ２において、ＣＰＵ１１０は、ユーザ操作に応じて、ラベル「不良品」が付与された各画像３について欠陥位置を記録する。

次に、ＣＰＵ１１０は、ユーザ操作に応じて複数の画像３の中から選択した１以上の学習用画像を含む、初期の訓練データセット６を決定する（ステップＳ３）。初期の訓練データセット６に含まれる学習用画像の数は少なくてよい。例えば、ＣＰＵ１１０は、１つの良品画像と１つの不良品画像とを学習用画像として選択する。

次に、ＣＰＵ１１０は、初期の訓練データセット６を用いた機械学習を行なうことにより、入力画像に写る対象物２の属性を判別するために使用されるモデル７を取得する（ステップＳ４）。

初期の訓練データセット６に含まれる学習用画像の数が少ないため、ステップＳ４で取得されるモデル７による属性の判別精度は低い。そのため、ＣＰＵ１１０は、１回以上の能動学習処理を実行することによりモデル７を更新する（ステップＳ５）。

（ステップＳ５の参考例）
図１３および図１４を参照して、ステップＳ５の参考例について説明する。図１３は、図１２に示すステップＳ５の参考例のサブルーチンの流れを示すフローチャートである。図１３には、ステップＳ１０１～Ｓ１０５の流れが示される。図１４は、図１３に示すフローチャートに従った能動学習処理を説明する図である。図１４に示されるように、複数の画像３は、ラベル「良品」が付与された複数の良品画像３０と、ラベル「不良品」が付与された複数の不良品画像３２と、を含む。

図１３に示されるように、ステップＳ１０１において、複数の画像３のうち学習に用いていない全ての画像３が評価用画像として選択される。図１４に示す例では、複数の良品画像３０のうち良品画像３０ａが学習用画像として選択されており、複数の不良品画像３２のうち不良品画像３２ａが学習用画像として選択されている。そのため、良品画像３０ａを除く全ての良品画像３０と、不良品画像３２ａを除く全ての不良品画像３２とが評価用画像として選択される。

次にステップＳ１０２において、選択された全ての評価用画像を用いて最新のモデル７が評価される。具体的には、モデル７の判別精度と、各評価用画像について、属性の判別の信頼度を示す評価値Ｅ２とが算出される。判別精度として、例えば、対象物２の属性が「不良品」であると判別された良品画像の数と対象物２の属性が「良品」であると判別された不良品画像の数との和を評価用画像の総数で割った誤り率が算出される。評価値Ｅ２は、上記の評価値Ｅ１と同様の方法で算出される。すなわち、各評価用画像の評価値Ｅ１は、例えば、特徴空間における、当該評価用画像から算出される特徴量に対応する点と判別境界６０との距離（図１０参照）を示す。あるいは、各評価用画像の評価値Ｅ２は、当該評価用画像から算出される特徴量に対応する点と、当該評価用画像と同じラベルが付与された学習用画像から算出される特徴量に対応する点との最短距離（図１１参照）を示してもよい。図１４に示す例では、評価用画像から算出される特徴量に対応する点と、当該評価用画像と同じラベルが付与された学習用画像から算出される特徴量に対応する点との最短距離を示す評価値Ｅ２が算出されている。そのため、評価値Ｅ２が大きいほど、属性の判別の信頼度が低い。

次にステップＳ１０３において、評価結果が終了基準を満たすか否かが判定される。終了基準は、誤り率が予め定められた第１閾値未満であるという第１基準を含む。終了基準は、さらに、複数の画像３のうち訓練データセット６に含まれる画像３の割合が第２閾値を超えるという第２基準を含んでもよい。終了基準が第１基準および第２基準を含む場合、第１基準および第２基準の少なくとも一方が満たされる場合に終了基準が満たされる。終了基準が満たされる場合（ステップＳ１０３でＹＥＳ）、ステップＳ５は終了する。

終了基準が満たされない場合（ステップＳ１０３でＮＯ）、評価値Ｅ２に基づいて、全ての評価用画像の中から、信頼度が相対的に低い評価用画像が追加画像として選択される（ステップＳ１０４）。図１４に示す例では、ラベル「良品」が付与された評価用画像から、評価値Ｅ２が最大となる良品画像３０ｂが追加画像として選択される。さらに、ラベル「不良品」が付与された評価用画像から、評価値Ｅ２が最大となる不良品画像３２ｂが追加画像として選択される。

ステップＳ１０４の後のステップＳ１０５において、追加画像を含むように訓練データセット６が更新され、更新後の訓練データセット６を用いてモデル７が再学習される。信頼度が相対的に低い追加画像を含む訓練データセット６を用いた再学習が実行されることにより、モデル７による属性の判別精度が向上する。ステップＳ１０５の後、処理はステップＳ１０２に戻る。このようにして、モデル７の評価結果が終了基準を満たすまで、ステップＳ１０２～Ｓ１０５が繰り返し実行される。

図１３および図１４に示す参考例では、複数の画像３のうち学習に用いていない全ての画像３が評価用画像として選択されるため、ステップＳ１０２の実行に要する時間が長くなる。ステップＳ１０２は、モデル７の評価結果が終了基準を満たすまで繰り返し実行される。そのため、参考例に係るステップＳ５の実行に要する時間が長くなる。

（ステップＳ５の実施例１）
図１５～図１７を参照して、ステップＳ５の実施例１について説明する。図１５は、能動学習処理の条件を設定するための画面の一例を示す図である。図１６は、図１２に示すステップＳ５の実施例１のサブルーチンの流れを示すフローチャートである。図１７は、図１６に示すフローチャートに従った能動学習処理を説明する図である。

実施例１では、学習装置１００のＣＰＵ１１０は、図１５に示す画面９０への入力に従って、事前に能動学習処理の条件を設定する。図１５に示されるように、画面９０は、入力欄９１～９３を含む。

入力欄９１には、評価用画像の個数が入力される。ＣＰＵ１１０は、入力欄９１への入力に従って、複数の画像３から選択される評価用画像の個数を設定する。

入力欄９２には、終了基準に含まれる第１基準を規定する第１閾値（誤り率閾値）が入力される。ＣＰＵ１１０は、入力欄９３への入力に従って、第１閾値を設定する。

入力欄９３には、終了基準に含まれ得る第２基準を規定する第２閾値（学習用画像の最大割合）が入力される。ＣＰＵ１１０は、入力欄９３への入力に従って、第２閾値を設定する。

図１６に示されるように、学習装置１００のＣＰＵ１１０は、複数の画像３のうち学習に用いていない各画像３について、モデル７による属性の判別の信頼度を示す評価値Ｅ１を算出する（ステップＳ１１）。図１７に示す例では、複数の画像３は、ラベル「良品」が付与された複数の良品画像３０と、ラベル「不良品」が付与された複数の不良品画像３２と、を含む。そして、複数の良品画像３０のうち良品画像３０ａが学習用画像として選択されており、複数の不良品画像３２のうち不良品画像３２ａが学習用画像として選択されている。そのため、ＣＰＵ１１０は、良品画像３０ａを除く良品画像３０の画像グループ８ｇにモデル７を適用し、画像グループ８ｇに含まれる各良品画像３０について評価値Ｅ１を算出する。さらに、ＣＰＵ１１０は、不良品画像３２ａを除く不良品画像３２の画像グループ８ｎｇにモデル７を適用し、画像グループ８ｎｇに含まれる各不良品画像３２について評価値Ｅ１を算出する。

次に、ＣＰＵ１１０は、評価値Ｅ１に基づいて、複数の画像３のうち学習に用いていない画像グループの中から、信頼度が相対的に低い画像３を１以上の評価用画像４として選択する（ステップＳ１２）。図１７に示す例では、画像グループ８ｇ，８ｎｇの中から、信頼度が相対的に低い良品画像３０および不良品画像３２が評価用画像４０，４２としてそれぞれ選択される。評価用画像４０は、ラベル「良品」が付与された画像３である。評価用画像４２は、ラベル「不良品」が付与された画像３である。ＣＰＵ１１０は、事前に設定された個数だけ評価用画像を選択する。図１７に示す例では、ＣＰＵ１１０は、６個の評価用画像４０からなる評価用画像グループ９ｇと４個の評価用画像４２からなる評価用画像グループ９ｎｇとを選択している。なお、評価用画像４０の個数と評価用画像４２の個数との比は、予め定められる。

次に、ＣＰＵ１１０は、１以上の評価用画像４（評価用画像４０，４２）を用いて最新のモデル７を評価する（ステップＳ１３）。具体的には、ＣＰＵ１１０は、ステップＳ１０２と同様に、モデル７の判別精度として誤り率を算出するとともに、各評価用画像４について、属性の判別の信頼度を示す評価値Ｅ２とを算出する。図１７に示す例では、各評価用画像から算出される特徴量に対応する点と、当該評価用画像と同じラベルが付与された学習用画像から算出される特徴量に対応する点との最短距離を示す評価値Ｅ２が算出されている。そのため、評価値Ｅ２が大きいほど、属性の判別の信頼度が低い。

次に、ＣＰＵ１１０は、評価結果が終了基準を満たすか否かを判定する（ステップＳ１４）。終了基準は、誤り率が予め定められた第１閾値未満であるという第１基準を含む。終了基準は、さらに、複数の画像３のうち訓練データセットに含まれる画像３の割合が第２閾値を超えるという第２基準を含んでもよい。終了基準が第１基準および第２基準を含む場合、第１基準および第２基準の少なくとも一方が満たされる場合に終了基準が満たされる。第１基準および第２基準は、図１５に示す画面９０を用いて事前に設定される。終了基準が満たされる場合（ステップＳ１４でＹＥＳ）、ステップＳ５は終了する。第２基準を終了基準に含めることにより、不適切な状態にモデル７が収束し、再学習を多数回繰り返しても第１基準が満たされない場合であっても、ステップＳ５を終了させることができる。

なお、終了基準が第２基準を含む場合、ＣＰＵ１１０は、複数の良品画像３０のうち訓練データセット６に含まれる良品画像３０の割合ａと、複数の不良品画像３２のうち訓練データセット６に含まれる不良品画像３２の割合ｂと、を算出する。ＣＰＵ１１０は、割合ａおよび割合ｂの両方が第２閾値を超える場合に、第２基準が満たされると判定し、割合ａおよび割合ｂのうちの少なくとも一方が第２閾値以下である場合に、第２基準が満たされないと判定する。

終了基準が満たされない場合（ステップＳ１４でＮＯ）、ＣＰＵ１１０は、評価値Ｅ２に基づいて、信頼度が相対的に低い評価用画像４を追加画像としてそれぞれ選択する（ステップＳ１５）。図１７に示す例では、評価用画像グループ９ｇから、評価値Ｅ２が最大となる評価用画像４０ａが追加画像として選択される。さらに、評価用画像グループ９ｎｇから、評価値Ｅ２が最大となる評価用画像４２ａが追加画像として選択される。

なお、終了基準が第２基準を含む場合、ＣＰＵ１１０は、上記の割合ａが第２閾値以下である場合に、評価用画像グループ９ｇから追加画像を選択し、上記の割合ｂが第２閾値以下である場合に、評価用画像グループ９ｎｇから追加画像を選択する。言い換えると、ＣＰＵ１１０は、割合ａが第２閾値を超える場合に、評価用画像グループ９ｇから追加画像を選択せず、割合ｂが第２閾値を超える場合に、評価用画像グループ９ｎｇから追加画像を選択しない。

ステップＳ１５の後、ＣＰＵ１１０は、追加画像を含むように訓練データセット６を更新し、更新後の訓練データセット６を用いてモデル７を再学習する（ステップＳ１６）。信頼度が相対的に低い追加画像を含む訓練データセット６を用いた再学習が実行されることにより、モデル７による属性の判別精度が向上する。ステップＳ１６の後、処理はステップＳ１３に戻る。このようにして、モデル７の評価結果が終了基準を満たすまで、ステップＳ１３～Ｓ１６が繰り返し実行される。

図１６および図１７に示す実施例１では、複数の画像３のうち学習に用いていない画像グループ８ｇ，８ｎｇのうちの一部の画像３が評価用画像として選択される。そのため、ステップＳ１３の実行に要する時間は、図１３に示すステップＳ１０２の実行に要する時間よりも短縮される。その結果、実施例１に係るステップＳ５の実行に要する時間が短縮される。

（ステップＳ５の実施例２）
図１８～図２０を参照して、ステップＳ５の実施例２について説明する。図１８は、図１２に示すステップＳ５の実施例２のサブルーチンの流れを示すフローチャートである。

実施例２でも、実施例１と同様に、ＣＰＵ１１０は、図１５に示す画面９０への入力に従って能動学習処理の条件（評価用画像の個数、第１閾値および第２閾値）を事前に設定する。ただし、実施例２のステップＳ５は、２回の能動学習処理を含む。そのため、ＣＰＵ１１０は、２回の能動学習処理の各々の条件（評価用画像の個数、第１閾値および第２閾値）を設定する。なお、評価用画像の個数は、２回の能動学習処理において、互いに同一であってもよいし、互いに異なっていてもよい。２回目の能動学習処理の第１閾値は、１回目の能動学習処理の第１閾値よりも小さく設定される。２回目の能動学習処理の第２閾値は、１回目の能動学習処理の第２閾値以上に設定される。

図１８に示されるように、学習装置１００のＣＰＵ１１０は、ステップＳ２１において１回目の能動学習処理を実行し、次のステップＳ２２において２回目の能動学習処理を実行する。

図１９は、図１８に示すステップＳ２１のサブルーチンの流れを示すフローチャートである。図２０は、図１９に示すフローチャートに従った能動学習処理を説明する図である。

図１９に示されるように、ＣＰＵ１１０は、評価値Ｅ１を用いることなく、ランダムに、または、予め定められたルールに従って、複数の画像３のうち学習に用いていない画像グループ８の中から１以上の評価用画像４を選択する（ステップＳ３１）。予め定められたルールは、例えば、ファイル名または撮像日時に従って並べたときに所定番目に位置する画像３を選択するというルールである。ＣＰＵ１１０は、事前に設定された個数だけ評価用画像を選択する。図２０に示す例では、ＣＰＵ１１０は、６個の評価用画像４０からなる評価用画像グループ９ｇ’と４個の評価用画像４２からなる評価用画像グループ９ｎｇ’とを選択している。なお、評価用画像４０の個数と評価用画像４２の個数との比は、予め定められる。

次に、ＣＰＵ１１０は、ステップＳ３２～Ｓ３５を実行する。ステップＳ３２～Ｓ３５の処理内容は、図１６に示すステップＳ１３～Ｓ１６とそれぞれ同じである。そのため、ステップＳ３２～Ｓ３５の詳細な説明を省略する。なお、図２０に示す例では、ステップＳ３４において、評価用画像グループ９ｇ’から、評価値Ｅ２が最大となる評価用画像４０ｂが追加画像として選択される。さらに、評価用画像グループ９ｎｇ’から、評価値Ｅ２が最大となる評価用画像４２ｂが追加画像として選択される。

図１８に示すステップＳ２２のサブルーチンの処理の流れは、図１６に示すフローチャートと同じである。すなわち、評価値Ｅ１に基づいて、学習に用いていない画像グループ８の中から、信頼度が相対的に低い画像３が１以上の評価用画像４として選択される。そして、選択された１以上の評価用画像４を用いて、モデル７の評価結果が終了基準を満たすまで、再学習処理が繰り返し実行される。なお、ステップＳ２２において、学習に用いていない画像グループ８は、ステップＳ３で決定された学習用画像およびステップＳ２１で選択された追加画像以外の画像３を含む。

上述したように、初期の訓練データセット６に含まれる学習用画像の数が少ないため、ステップＳ４で取得される初期のモデル７による属性の判別精度は低い。そのため、初期のモデル７を用いて算出される評価値Ｅ１に基づいて１以上の評価用画像４を選択した場合、学習に適した画像が評価用画像４として選択されない可能性がある。その結果、モデル７の再学習によって、不適切な状態にモデル７が収束し、再学習処理を繰り返しても、モデル７の判別精度が第１基準を満たさない可能性がある。

しかしながら、実施例２によれば、１回目の能動学習処理では、評価値Ｅ１を用いることなく、ランダムに、または、予め定められたルールに従って、画像グループ８の中から１以上の評価用画像４が選択される。そのため、１回目の能動学習処理によって、モデル７の判別精度がある程度高い状態に収束し、モデル７の判別精度が第１基準を満たしやすくなる。そして、２回目の能動学習処理では、１回目の能動学習処理によって判別精度がある程度向上したモデル７を適用することにより得られる評価値Ｅ１に基づいて、学習に適した画像が評価用画像４として選択される。その結果、判別精度の高いモデル７がより短時間で生成される。

（ステップＳ５の実施例３）
図２１を参照して、ステップＳ５の実施例３について説明する。図２１は、図１２に示すステップＳ５の実施例３のサブルーチンの流れを示すフローチャートである。

実施例３でも、実施例１と同様に、ＣＰＵ１１０は、図１５に示す画面９０への入力に従って能動学習処理の条件（評価用画像の個数、第１閾値および第２閾値）を事前に設定する。ただし、実施例３のステップＳ５は、Ｍ＋Ｎ回の能動学習処理を含む。そのため、ＣＰＵ１１０は、Ｍ＋Ｎ回の能動学習処理の各々の条件（評価用画像の個数、第１閾値および第２閾値）を設定する。なお、Ｍ，Ｎは、１以上の整数である。ただし、Ｍ，Ｎのうち少なくとも１つは２以上である。

なお、評価用画像の個数は、Ｍ＋Ｎ回の能動学習処理において、互いに同一であってもよいし、互いに異なっていてもよい。ｉ回目の能動学習処理の第１閾値は、ｉ－１回目の能動学習処理の第１閾値よりも小さく設定される（ｉは２以上の整数）。ｉ回目の能動学習処理の第２閾値は、ｉ－１回目の能動学習処理の第２閾値以上に設定される。

図２１に示されるように、学習装置１００のＣＰＵ１１０は、１回目～Ｍ回目の能動学習処理を順に実行し（ステップＳ２１＿１～Ｓ２１＿Ｍ）、次にＭ＋１回目～Ｍ＋Ｎ回目の能動学習処理を順に実行する（ステップＳ２２＿１～Ｓ２２＿Ｎ）。

図２１に示すステップＳ２１＿１～Ｓ２１＿Ｍの各々のサブルーチンの処理の流れは、図１９に示すフローチャートと同じである。すなわち、評価値Ｅ１を用いることなく、ランダムに、または、予め定められたルールに従って、複数の画像３のうち学習に用いていない画像グループ８の中から１以上の評価用画像４が選択される。そして、選択された１以上の評価用画像４を用いて、モデル７の評価結果が終了基準を満たすまで、再学習処理が繰り返し実行される。なお、ステップＳ２１＿ｋにおいて、学習に用いていない画像グループ８は、ステップＳ３で決定された学習用画像およびステップＳ２１＿１～Ｓ２１＿ｋ－１で選択された追加画像以外の画像３を含む。

なお、ステップＳ２１＿１～Ｓ２１＿Ｍにおける評価用画像４の選択方法は、互いに異なっていてもよい。例えば、ステップＳ２１＿１では、画像グループ８の中からランダムに１以上の評価用画像４が選択され、ステップＳ２１＿Ｍでは、画像グループ８の中から予め定められたルールに従って１以上の評価用画像４が選択されてもよい。この場合、ＣＰＵ１１０は、ユーザ操作に応じて、１回目からＭ回目までの能動学習処理における評価用画像４の選択方法を事前に設定する。

また、ステップＳ２１＿ｋでは、画像グループ８のうち、ステップＳ２１＿１～ステップＳ２１＿ｋ－１において選択された評価用画像４を除く画像３の中から１以上の評価用画像４が選択されてもよい。

ステップＳ２２＿１～Ｓ２２＿Ｎにおいて算出される評価値Ｅ１の種類（図１０に示す評価値Ｅ１、図１１に示す評価値Ｅ１）は、互いに異なっていてもよい。この場合、ＣＰＵ１１０は、ユーザ操作に応じて、Ｍ＋１回目からＭ＋Ｎ回目までの能動学習処理における評価値Ｅ１の種類を事前に設定する。

（ステップＳ５の実施例４）
図２２および図２３を参照して、ステップＳ５の実施例４について説明する。図２２は、図１２に示すステップＳ５の実施例４のサブルーチンの流れを示すフローチャートである。

実施例４でも、実施例１と同様に、ＣＰＵ１１０は、図１５に示す画面９０への入力に従って能動学習処理の条件（評価用画像の個数、第１閾値および第２閾値）を事前に設定する。ただし、実施例４のステップＳ５は、３回の能動学習処理を含む。そのため、ＣＰＵ１１０は、３回の能動学習処理の各々の条件（評価用画像の個数、第１閾値および第２閾値）を設定する。なお、後述するように３回目の能動学習処理では、学習に用いていない全ての画像３が評価用画像４として選択される。そのため、ＣＰＵ１１０は、３回の能動学習処理について評価用画像の個数を設定しない。実施例２と同様に、評価用画像の個数は、１回目および２回目の能動学習処理において、互いに同一であってもよいし、互いに異なっていてもよい。実施例３と同様に、ｉ回目の能動学習処理の第１閾値は、ｉ－１回目の能動学習処理の第１閾値よりも小さく設定される。ｉ回目の能動学習処理の第２閾値は、ｉ－１回目の能動学習処理の第２閾値以上に設定される。

図２２に示されるように、学習装置１００のＣＰＵ１１０は、ステップＳ２１において１回目の能動学習処理を実行し、次のステップＳ２２において２回目の能動学習処理を実行し、次のステップＳ２３において３回目の能動学習処理を実行する。図２２に示すステップＳ２１のサブルーチンの処理の流れは、図１９に示すフローチャートと同じである。図２２に示すステップＳ２２のサブルーチンの処理の流れは、図１６に示すフローチャートと同じである。

図２３は、図２２に示すステップＳ２３のサブルーチンの流れを示すフローチャートである。図２３に示されるように、ＣＰＵ１１０は、複数の画像３のうち学習に用いていない全ての画像３を評価用画像４として選択する（ステップＳ４１）。すなわち、ＣＰＵ１１０は、ステップＳ３で決定した学習用画像およびステップＳ２１，Ｓ２２で選択した追加画像以外の画像３の全てを評価用画像４として選択する。

次に、ＣＰＵ１１０は、ステップＳ４２～Ｓ４５を実行する。ステップＳ４２～Ｓ４５の処理内容は、図１６に示すステップＳ１３～Ｓ１６とそれぞれ同じである。そのため、ステップＳ４２～Ｓ４５の詳細な説明を省略する。

実施例４によれば、３回目の能動学習処理において、学習に用いていない画像３の全てが評価用画像４として選択される。そのため、モデル７の判別精度をより正確に評価できる。

（ステップＳ５の実施例５）
ステップＳ５の実施例５は、上記の実施例３，４を組み合わせる。すなわち、ステップＳ５の実施例５は、図２１に示すステップＳ２１＿１～Ｓ２１＿Ｍ，Ｓ２２＿１～Ｓ２２＿Ｎと、ステップＳ２２＿Ｎの後に実行される図２２に示すステップＳ２３と、を含む。

＜能動学習処理の結果＞
図２４は、能動学習処理の結果を示す画面の一例を示す図である。図２４に示す画面９５は、ＣＰＵ１１０によって生成され、表示装置６００に表示される。

図２４に示されるように、画面９５は、不良品画像リスト８１と良品画像リスト８２とを含む。画面９５において、不良品画像リスト８１および良品画像リスト８２の各々は、学習用画像として選択された画像３を識別するマーカ８７と、１回以上の能動学習処理において追加画像として選択された画像３を識別するマーカ８８と、を含む。これにより、ユーザは、複数の画像３のうち学習に用いられた画像３を把握できる。

図２５は、能動学習処理の結果を示す画面の別の例を示す図である。図２５に示す画面５０は、ＣＰＵ１１０によって生成され、能動学習処理の実行中に表示装置６００に表示される。

図２５に示されるように、画面５０は、モデル７の評価結果である誤り率の推移を示すグラフ５１と、表示欄５２と、を含む。図２５に示す画面５０は、上記の実施例２に従った２回目の能動学習処理（ステップＳ２２）における１２回目の再学習処理の実施中に表示される。そのため、グラフ５１には、１回目の能動学習処理（ステップＳ２１）で算出された誤り率と、２回目の能動学習処理における１回目から１１回目の再学習処理で算出された誤り率との推移が示される。

表示欄５２には、２回目の能動学習処理において選択された評価用画像４の総数に対する、追加画像として選択された評価用画像４の個数の比率が表示される。図２５に示す例では、ユーザは、ラベル「良品」が付与されている２２４個の評価用画像のうち１２個が追加画像として選択済みであり、ラベル「不良品」が付与されている１２個の評価用画像のうち６個が追加画像として選択済みであることを確認できる。

＜変形例１＞
上記の説明では、複数の画像３が複数の良品画像３０と複数の不良品画像３２とを含み、複数の良品画像３０と複数の不良品画像３２との各々から１以上の学習用画像が選択される。しかしながら、対象物２によっては、欠陥が発生する頻度が非常に少ない場合がある。このような場合、複数の画像３は、複数の良品画像３０と１以上の不良品画像３２とを含む。数少ない不良品画像３２を学習に用いてしまうと、モデル７の評価に使用する不良品画像３２が不足する。このような場合、良品画像３０のみを用いて機械学習を行なってもよい。

図２６は、変形例１におけるモデルの取得方法を説明する図である。図２６に示されるように、取得部１２として動作するＣＰＵ１１０は、ラベル「良品」が付与された１以上の学習用画像を用いた機械学習を行なうことにより、入力画像から特徴空間上の特徴量を出力するモデル７’を取得する。ＣＰＵ１１０は、１以上の学習用画像に対応する特徴量に対応する点間の距離が最小となるような特徴空間を定義するモデル７’を生成する。

ＣＰＵ１１０は、学習に用いていない１以上の良品画像３０および１以上の不良品画像３２をモデル７’に入力し、良品画像３０から得られる特徴量に対応する点６５と不良品画像３２から得られる特徴量に対応する点６６とを分離する判別境界６０’を決定する。

変形例１に係る学習装置の処理の流れは、上記の実施の形態と同様に、図１２に示すフローチャートに従う。ただし、ステップＳ４では、特徴空間を定義するモデル７’が取得され、判別境界６０’が決定されない。

変形例１におけるステップＳ５のサブルーチンは、上記の実施の形態と同様に、上記の実施例１～４のいずれかに従う（図１６，図１８，図１９，図２１～図２３参照）。ただし、図１６のステップＳ１１において、ＣＰＵ１１０は、画像グループ８に含まれる各良品画像３０に対してのみ評価値Ｅ１を算出する。そして、ステップＳ１２において、ＣＰＵ１１０は、評価値Ｅ１に基づいて、信頼度が相対的に低い１以上の良品画像３０を評価用画像４として選択するとともに、１以上の不良品画像３２を評価用画像４として選択する。また、図１９のステップＳ３１において、ＣＰＵ１１０は、ランダムに、または、予め定められたルールに従って、画像グループ８に含まれる１以上の良品画像３０を評価用画像４として選択するとともに、１以上の不良品画像３２を評価用画像４として選択する。さらに、図１６のステップＳ１３，図１９のステップＳ３２および図２３のステップＳ４２において、ＣＰＵ１１０は、１以上の評価用画像４をモデル７’に入力することにより得られる特徴量に基づいて判別境界６０’を決定した上で、判別精度および評価値Ｅ２を算出する。

図２７は、変形例１における能動学習処理を説明する図である。図２７には、変形例１における、図１６に示すフローチャート、図１８および図２２のステップＳ２２、図２１のステップＳ２２＿１～Ｓ２２＿Ｎに従った能動学習処理が示される。

図２７に示されるように、複数の画像３は、複数の良品画像３０と１以上の不良品画像３２とを含む。初期のモデル７’は、複数の良品画像３０から選択された学習用画像（図２７では良品画像３０ａ）を含む初期の訓練データセット６を用いた機械学習によって取得される。また、画像グループ８ｇは、学習に用いていない良品画像３０を含む。

画像グループ８ｇの各良品画像３０について評価値Ｅ１が算出され、評価値Ｅ１に基づいて、判別の信頼度が相対的に低い良品画像３０が評価用画像４（評価用画像４０）として選択される。さらに、１以上の不良品画像３２も評価用画像４として選択される。なお、ラベル「良品」が付与された評価用画像４０は、画像グループ評価用を構成する。

そして、１以上の評価用画像４をモデル７’に入力することにより得られる特徴量に基づいて判別境界６０’が決定される。具体的には、特徴空間において、１以上の評価用画像４０から算出される特徴量に対応する点が存在する領域と、１以上の不良品画像３２から算出される特徴量に対応する点が存在する領域とを分離する判別境界６０’が決定される。

さらに、１以上の評価用画像４を用いたモデル７’の評価結果が終了基準を満たすまで、評価用画像グループ９ｇに含まれる各評価用画像４０について評価値Ｅ２が算出され、評価値Ｅ２に基づいて、信頼度の相対的に低い評価用画像４０が追加画像として選択される。そして、追加画像を含むように訓練データセット６が更新され、更新後の訓練データセット６を用いてモデル７’が再学習される。

図２８は、変形例１における評価値Ｅ１，Ｅ２の一例を示す図である。図２８において、良品画像３０について算出される評価値Ｅ１，Ｅ２は、矢印の長さで表される。すなわち、図１０に示す評価値Ｅ１，Ｅ２は、特徴空間において、良品画像３０から算出される特徴量に対応する点と判別境界６０’との距離を示す。なお、評価値Ｅ１，Ｅ２は、良品画像３０から算出される特徴量に対応する点が領域６７（ラベル「良品」が付与された学習用画像から算出される特徴量が存在する領域）に存在する場合、プラスの値をとる。評価値Ｅ１，Ｅ２は、良品画像３０から算出される特徴量に対応する点が領域６７とは異なる領域６８に存在する場合、マイナスの値をとる。図２８に示す評価値Ｅ１，Ｅ２の場合、評価値Ｅ１，Ｅ２が小さいほど、属性の判別の信頼度が低い。

図２９は、変形例１における評価値Ｅ１，Ｅ２の別の例を示す図である。図２９において、良品画像３０について算出される評価値Ｅ１，Ｅ２は、矢印の長さで表される。すなわち、図２９に示す評価値Ｅ１，Ｅ２は、特徴空間において、良品画像３０から算出される特徴量に対応する点と、ラベル「良品」が付与された学習用画像から算出される特徴量に対応する点との最短距離を示す。図２９に示す評価値Ｅ１，Ｅ２の場合、評価値Ｅ１，Ｅ２が大きいほど、属性の判別の信頼度が低い。

変形例１によれば、ステップＳ４において、判別境界６０’が決定されていない。そのため、変形例１におけるステップＳ５のサブルーチンが上記の実施例１に従う場合、ステップＳ１１において、図２９に示す評価値Ｅ１が算出される。

変形例１におけるステップＳ５のサブルーチンが上記の実施例２～４のいずれかに従う場合、評価値Ｅ１を算出する前に判別境界６０’が決定されている。そのため、ステップＳ２２，Ｓ２２＿１～Ｓ２２＿Ｎにおいて、図２８または図２９のいずれかに示す評価値Ｅ１が算出される。

＜変形例２＞
上記の実施の形態では、ＣＰＵ１１０は、図１５に示す画面９０への入力に従って、評価用画像４の個数を設定する。しかしながら、ＣＰＵ１１０は、評価用画像４の個数の代わりに、画像グループ８に含まれる画像３の個数に対する評価用画像４の個数の割合を設定してもよい。この場合、ＣＰＵ１１０は、設定された割合となるように、画像グループ８の中から評価用画像４を選択すればよい。

＜変形例３＞
上記の実施の形態では、対象物２に欠陥が存在するか否かを検出する場面を示している。しかしながら、本開示の適用範囲は、このような外観検査の例に限られる訳ではない。本開示は、例えば、対象物２の写る画像から何らかの特徴を検出するあらゆる場面に適用可能である。対象物２は、静止している物体に限定されず、人物、車両（例えば、自動車）等の移動し得る物体であってもよい。

§３ 付記
以上のように、本実施の形態は以下のような開示を含む。

（構成１）
学習装置（１００）であって、
訓練データセット（６）を用いた機械学習を行なうことにより、入力画像に写る対象物（２）の属性を判別するために使用されるモデル（７，７’）を取得する取得部（１２，１１０）と、
１回以上の能動学習処理を実行することにより前記モデル（７，７’）を更新する能動学習部（１３，１１０）と、を備え、
前記訓練データセット（６）は、前記対象物（２）の属性を示すラベルが付与された複数の画像（３）の中から選択された１以上の学習用画像を含み、
前記１回以上の能動学習処理の各々は、
前記複数の画像（３）のうち学習に用いていない画像グループ（８，８ｇ，８ｎｇ）の中から１以上の評価用画像（４，４０，４２）を選択することと、
前記１以上の評価用画像（４，４０，４２）を用いた前記モデル（７，７’）の評価結果が終了基準を満たすまで、再学習処理を繰り返し実行することと、を含み、
前記再学習処理は、
前記１以上の評価用画像（４，４０，４２）の中から選択された１以上の追加画像を含むように前記訓練データセット（６）を更新することと、
更新後の前記訓練データセット（６）を用いて前記モデル（７，７’）の再学習を行なうことと、を含み、
前記１回以上の能動学習処理のうちの少なくとも１回の能動学習処理において、前記１以上の評価用画像（４，４０，４２）を選択することは、
前記画像グループ（８，８ｇ，８ｎｇ）に含まれる各画像（３）について、最新の前記モデル（７，７’）による前記属性の判別の信頼度を示す第１評価値を算出することと、
前記第１評価値に基づいて、前記画像グループ（８，８ｇ，８ｎｇ）の中から、信頼度が相対的に低い画像を前記１以上の評価用画像（４，４０，４２）として選択することと、を含む、学習装置（１００）。

（構成２）
前記再学習処理は、
前記１以上の評価用画像（４，４０，４２）の各々について、最新の前記モデル（７，７’）による前記属性の判別の信頼度を示す第２評価値を算出することと、
前記第２評価値に基づいて、前記１以上の評価用画像（４，４０，４２）の中から、信頼度が相対的に低い評価用画像（４０ａ，４２ａ）を前記１以上の追加画像として選択することと、をさらに含む、構成１に記載の学習装置（１００）。

（構成３）
前記モデル（７，７’）は、前記入力画像の特徴を示す特徴量を出力し、
前記特徴量は、前記属性を判別するための判別境界（６０，６０’）と比較され、
前記画像グループに含まれる対象画像に対する前記第１評価値は、前記対象画像から算出される前記特徴量と前記判別境界（６０，６０’）との距離を示す、構成１または２に記載の学習装置。

（構成４）
前記モデル（７，７’）は、前記入力画像の特徴を示す特徴量を出力し、
前記画像グループ（８，８ｇ，８ｎｇ）に含まれる対象画像に対する前記第１評価値は、前記対象画像から算出される前記特徴量と、最新の前記モデル（７，７’）の学習に用いられ、かつ前記対象画像と同じラベルが付与された画像から算出される前記特徴量との距離を示す、構成１または２に記載の学習装置（１００）。

（構成５）
前記１回以上の能動学習処理は、Ｍ回の能動学習処理と、前記Ｍ回の能動学習処理の後に実行され、前記少なくとも１回の能動学習処理に対応するＮ回の能動学習処理と、を含み、ＭおよびＮは、１以上の整数であり、
前記Ｍ回の能動学習処理において、前記１以上の評価用画像を選択することは、前記第１評価値を用いることなく、ランダムに、または、予め定められたルールに従って、前記画像グループの中から前記１以上の評価用画像（４，４０，４２）を選択することを含む、構成１から４のいずれかに記載の学習装置（１００）。

（構成６）
前記１回以上の能動学習処理は、前記Ｎ回の能動学習処理の後に実行されるＭ＋Ｎ＋１回目の能動学習処理を含み、
前記Ｍ＋Ｎ＋１回目の能動学習処理において、前記１以上の評価用画像を選択することは、前記画像グループに含まれる全ての画像を前記１以上の評価用画像（４，４０，４２）として選択することを含む、構成５に記載の学習装置（１００）。

（構成７）
Ｎは、２以上の整数であり、
前記Ｎ回の能動学習処理において、前記画像グループ（８，８ｇ，８ｎｇ）の中から選択される評価用画像の個数、前記第１評価値の種類、および前記終了基準の少なくとも１つは、互いに異なる、構成５または６に記載の学習装置（１００）。

（構成８）
Ｍは、２以上の整数であり、
前記Ｍ回の能動学習処理において、前記画像グループ（８，８ｇ，８ｎｇ）の中から選択される評価用画像の個数、前記１以上の評価用画像の選択方法、および前記終了基準の少なくとも１つは、互いに異なる、構成５から７のいずれかに記載の学習装置（１００）。

（構成９）
前記ラベルは、前記対象物（２）が良品であることを示す第１ラベルと、前記対象物（２）が不良品であることを示す第２ラベルと、を含み、
前記複数の画像（３）は、前記第１ラベルが付与された複数の良品画像（３０）と、前記第２ラベルが付与された１以上の不良品画像（３２）と、を含み、
前記１以上の学習用画像は、前記複数の良品画像（３０）から選択され、
前記１以上の評価用画像は、前記画像グループ（８ｇ）から選択される１以上の良品画像（３０）と、前記１以上の不良品画像（３２）と、を含み、
前記第１評価値は、前記画像グループ（８ｇ）に含まれる各良品画像に対して算出される、構成１から８のいずれかに記載の学習装置（１００）。

（構成１０）
学習方法であって、
コンピュータ（１００）が、訓練データセット（６）を用いた機械学習を行なうことにより、入力画像に写る対象物（２）の属性を判別するために使用されるモデル（７，７’）を取得するステップ（Ｓ４）と、
前記コンピュータ（１００）が、１回以上の能動学習処理を実行することにより前記モデル（７，７’）を更新するステップ（Ｓ５）と、を備え、
前記訓練データセット（６）は、前記対象物（２）の属性を示すラベルが付与された複数の画像（３）の中から選択された１以上の学習用画像を含み、
前記１回以上の能動学習処理の各々は、
前記複数の画像（３）のうち学習に用いていない画像グループ（８，８ｇ，８ｎｇ）の中から１以上の評価用画像（４，４０，４２）を選択することと、
前記１以上の評価用画像（４，４０，４２）を用いた前記モデル（７，７’）の評価結果が終了基準を満たすまで、再学習処理を繰り返し実行することと、を含み、
前記再学習処理は、
前記１以上の評価用画像（４，４０，４２）の中から選択された１以上の追加画像を含むように前記訓練データセット（６）を更新することと、
更新後の前記訓練データセット（６）を用いて前記モデル（７，７’）の再学習を行なうことと、を含み、
前記１回以上の能動学習処理のうちの少なくとも１回の能動学習処理において、前記１以上の評価用画像（４，４０，４２）を選択することは、
前記画像グループ（８，８ｇ，８ｎｇ）に含まれる各画像（３）について、最新の前記モデル（７，７’）による前記属性の判別の信頼度を示す第１評価値を算出することと、
前記第１評価値に基づいて、前記画像グループ（８，８ｇ，８ｎｇ）の中から、信頼度が相対的に低い画像を前記１以上の評価用画像（４，４０，４２）として選択することと、を含む、学習方法。

（構成１１）
コンピュータに、
訓練データセット（６）を用いた機械学習を行なうことにより、入力画像に写る対象物（２）の属性を判別するために使用されるモデル（７，７’）を取得するステップと、
１回以上の能動学習処理を実行することにより前記モデル（７，７’）を更新するステップと、を実行させ、
前記訓練データセット（６）は、前記対象物（２）の属性を示すラベルが付与された複数の画像（３）の中から選択された１以上の学習用画像を含み、
前記１回以上の能動学習処理の各々は、
前記複数の画像（３）のうち学習に用いていない画像グループ（８，８ｇ，８ｎｇ）の中から１以上の評価用画像（４，４０，４２）を選択することと、
前記１以上の評価用画像（４，４０，４２）を用いた前記モデル（７，７’）の評価結果が終了基準を満たすまで、再学習処理を繰り返し実行することと、を含み、
前記再学習処理は、
前記１以上の評価用画像（４，４０，４２）の中から選択された１以上の追加画像を含むように前記訓練データセット（６）を更新することと、
更新後の前記訓練データセット（６）を用いて前記モデル（７，７’）の再学習を行なうことと、を含み、
前記１回以上の能動学習処理のうちの少なくとも１回の能動学習処理において、前記１以上の評価用画像（４，４０，４２）を選択することは、
前記画像グループ（８，８ｇ，８ｎｇ）に含まれる各画像（３）について、最新の前記モデル（７，７’）による前記属性の判別の信頼度を示す第１評価値を算出することと、
前記第１評価値に基づいて、前記画像グループ（８，８ｇ，８ｎｇ）の中から、信頼度が相対的に低い画像を前記１以上の評価用画像（４，４０，４２）として選択することと、を含む、プログラム。

本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ システム、２ 対象物、３，３ａ 画像、４，４ａ，４０，４０ａ，４０ｂ，４２，４２ａ，４２ｂ 評価用画像、６ 訓練データセット、７，７’ モデル、８，８ｇ，８ｎｇ 画像グループ、９ｇ，９ｎｇ，９ｇ’，９ｎｇ’ 評価用画像グループ、１０ 記憶部、１１ ラベル付与部、１２ 取得部、１３ 能動学習部、３０，３０ａ，３０ｂ 良品画像、３２，３２ａ，３２ｂ 不良品画像、５０，９０，９５ 画面、５１ グラフ、５２ 表示欄、６０，６０’ 判別境界、６１，６２，６７，６８，７４，８３ 領域、７０，８０，８６ ユーザインターフェイス画面、７１ 画像リスト、７２，８２ 良品画像リスト、７３，８１ 不良品画像リスト、７５ａ，７５ｂ 追加ボタン、７６ 移動ボタン、７８ ボタン、８４ 枠線、８７，８８ マーカ、９１，９２，９３ 入力欄、１００ 学習装置、１１０，２１０ ＣＰＵ、１１１，２１１ ＲＡＭ、１１２，２１２ ＲＯＭ、１１３，２１３ 通信インターフェース、１１４，２１５ 入力インターフェース、１１５，２１６ 表示コントローラ、１１６，２１７ ドライブ、１２０，２２０ ストレージ、１２２ 学習プログラム、１２４ ラベル付与プログラム、１３０ 記憶媒体、２００ 判別装置、２１４ 外部インターフェース、２２１ 判別プログラム、３００ カメラ、６００ 表示装置、７００ 入力装置、Ｄ 欠陥。

Claims (11)

1. 学習装置であって、
   訓練データセットを用いた機械学習を行なうことにより、入力画像に写る対象物の属性を判別するために使用されるモデルを取得する取得部と、
   １回以上の能動学習処理を実行することにより前記モデルを更新する能動学習部と、を備え、
   前記訓練データセットは、前記対象物の属性を示すラベルが付与された複数の画像の中から選択された１以上の学習用画像を含み、
   前記１回以上の能動学習処理の各々は、
   前記複数の画像のうち学習に用いていない画像グループの中から１以上の評価用画像を選択することと、
   前記１以上の評価用画像を用いた前記モデルの評価結果が終了基準を満たすまで、再学習処理を繰り返し実行することと、を含み、
   前記再学習処理は、
   前記１以上の評価用画像の中から選択された１以上の追加画像を含むように前記訓練データセットを更新することと、
   更新後の前記訓練データセットを用いて前記モデルの再学習を行なうことと、を含み、
   前記１回以上の能動学習処理のうちの少なくとも１回の能動学習処理において、前記１以上の評価用画像を選択することは、
   前記画像グループに含まれる各画像について、最新の前記モデルによる前記属性の判別の信頼度を示す第１評価値を算出することと、
   前記第１評価値に基づいて、前記画像グループの中から、信頼度が相対的に低い画像を前記１以上の評価用画像として選択することと、を含む、学習装置。
2. 前記再学習処理は、
   前記１以上の評価用画像の各々について、最新の前記モデルによる前記属性の判別の信頼度を示す第２評価値を算出することと、
   前記第２評価値に基づいて、前記１以上の評価用画像の中から、信頼度が相対的に低い評価用画像を前記１以上の追加画像として選択することと、をさらに含む、請求項１に記載の学習装置。
3. 前記モデルは、前記入力画像の特徴を示す特徴量を出力し、
   前記特徴量は、前記属性を判別するための判別境界と比較され、
   前記画像グループに含まれる対象画像に対する前記第１評価値は、前記対象画像から算出される前記特徴量と前記判別境界との距離を示す、請求項１に記載の学習装置。
4. 前記モデルは、前記入力画像の特徴を示す特徴量を出力し、
   前記画像グループに含まれる対象画像に対する前記第１評価値は、前記対象画像から算出される前記特徴量と、最新の前記モデルの学習に用いられ、かつ前記対象画像と同じラベルが付与された画像から算出される前記特徴量との距離を示す、請求項１に記載の学習装置。
5. 前記１回以上の能動学習処理は、Ｍ回の能動学習処理と、前記Ｍ回の能動学習処理の後に実行され、前記少なくとも１回の能動学習処理に対応するＮ回の能動学習処理と、を含み、ＭおよびＮは、１以上の整数であり、
   前記Ｍ回の能動学習処理において、前記１以上の評価用画像を選択することは、前記第１評価値を用いることなく、ランダムに、または、予め定められたルールに従って、前記画像グループの中から前記１以上の評価用画像を選択することを含む、請求項１から４のいずれか１項に記載の学習装置。
6. 前記１回以上の能動学習処理は、前記Ｎ回の能動学習処理の後に実行されるＭ＋Ｎ＋１回目の能動学習処理を含み、
   前記Ｍ＋Ｎ＋１回目の能動学習処理において、前記１以上の評価用画像を選択することは、前記画像グループに含まれる全ての画像を前記１以上の評価用画像として選択することを含む、請求項５に記載の学習装置。
7. Ｎは、２以上の整数であり、
   前記Ｎ回の能動学習処理において、前記画像グループの中から選択される評価用画像の個数、前記第１評価値の種類、および前記終了基準の少なくとも１つは、互いに異なる、請求項５に記載の学習装置。
8. Ｍは、２以上の整数であり、
   前記Ｍ回の能動学習処理において、前記画像グループの中から選択される評価用画像の個数、前記１以上の評価用画像の選択方法、および前記終了基準の少なくとも１つは、互いに異なる、請求項５に記載の学習装置。
9. 前記ラベルは、前記対象物が良品であることを示す第１ラベルと、前記対象物が不良品であることを示す第２ラベルと、を含み、
   前記複数の画像は、前記第１ラベルが付与された複数の良品画像と、前記第２ラベルが付与された１以上の不良品画像と、を含み、
   前記１以上の学習用画像は、前記複数の良品画像から選択され、
   前記１以上の評価用画像は、前記画像グループから選択される１以上の良品画像と、前記１以上の不良品画像と、を含み、
   前記第１評価値は、前記画像グループに含まれる各良品画像に対して算出される、請求項１に記載の学習装置。
10. 学習方法であって、
    コンピュータが、訓練データセットを用いた機械学習を行なうことにより、入力画像に写る対象物の属性を判別するために使用されるモデルを取得するステップと、
    前記コンピュータが、１回以上の能動学習処理を実行することにより前記モデルを更新するステップと、を備え、
    前記訓練データセットは、前記対象物の属性を示すラベルが付与された複数の画像の中から選択された１以上の学習用画像を含み、
    前記１回以上の能動学習処理の各々は、
    前記複数の画像のうち学習に用いていない画像グループの中から１以上の評価用画像を選択することと、
    前記１以上の評価用画像を用いた前記モデルの評価結果が終了基準を満たすまで、再学習処理を繰り返し実行することと、を含み、
    前記再学習処理は、
    前記１以上の評価用画像の中から選択された１以上の追加画像を含むように前記訓練データセットを更新することと、
    更新後の前記訓練データセットを用いて前記モデルの再学習を行なうことと、を含み、
    前記１回以上の能動学習処理のうちの少なくとも１回の能動学習処理において、前記１以上の評価用画像を選択することは、
    前記画像グループに含まれる各画像について、最新の前記モデルによる前記属性の判別の信頼度を示す第１評価値を算出することと、
    前記第１評価値に基づいて、前記画像グループの中から、信頼度が相対的に低い画像を前記１以上の評価用画像として選択することと、を含む、学習方法。
11. コンピュータに、
    訓練データセットを用いた機械学習を行なうことにより、入力画像に写る対象物の属性を判別するために使用されるモデルを取得するステップと、
    １回以上の能動学習処理を実行することにより前記モデルを更新するステップと、を実行させ、
    前記訓練データセットは、前記対象物の属性を示すラベルが付与された複数の画像の中から選択された１以上の学習用画像を含み、
    前記１回以上の能動学習処理の各々は、
    前記複数の画像のうち学習に用いていない画像グループの中から１以上の評価用画像を選択することと、
    前記１以上の評価用画像を用いた前記モデルの評価結果が終了基準を満たすまで、再学習処理を繰り返し実行することと、を含み、
    前記再学習処理は、
    前記１以上の評価用画像の中から選択された１以上の追加画像を含むように前記訓練データセットを更新することと、
    更新後の前記訓練データセットを用いて前記モデルの再学習を行なうことと、を含み、
    前記１回以上の能動学習処理のうちの少なくとも１回の能動学習処理において、前記１以上の評価用画像を選択することは、
    前記画像グループに含まれる各画像について、最新の前記モデルによる前記属性の判別の信頼度を示す第１評価値を算出することと、
    前記第１評価値に基づいて、前記画像グループの中から、信頼度が相対的に低い画像を前記１以上の評価用画像として選択することと、を含む、プログラム。

Images