JP7334801B2 - 学習装置、学習方法および学習プログラム - Google Patents

Description

本発明は、機械学習に関するものであり、特に、機械学習によって生成する学習モデルによる推定精度を向上する技術に関するものである。

ディープラーニングを使用した機械学習によって生成された学習モデルを用いたデータの分類が広く用いられるようになっている。例えば、画像の分類のための機械学習では、画像データと、画像上の対象物を示すラベルを教師データとして学習された学習モデルが生成され、生成した学習モデルを用いて画像上の対象物の分類（分類されるカテゴリを意味する）の推定が行われる。また、機械学習によって生成された学習モデルを用いたデータの分類の推定が広く用いられるようになるにつれ、より高い推定の精度が要求されるようになっている。そのため、推定の精度を向上できる学習モデルを生成する技術の開発も行われている。精度の高い学習モデルを生成する技術としては、例えば、特許文献１のような技術が開示されている。

特許文献１の学習装置は、機械学習を行う際に、画像の分類の確からしさを示す指標である分類確信度に基づいて選択された画像データを用いて学習を行っている。特許文献１は、分類確信度の高い画像を用いて機械学習を行うことで、学習モデルの生成に要する時間を抑制しつつ精度の高い学習モデルを生成することが出来るとしている。

非特許文献１には、学習モデルが画像の分類を推定する際に分類の対象が存在していると認識している領域を検出する手法であるGｒａｄ-ＣＡＭ（Gradient-weighted Class Activation Mapping）法が開示されている。また、非特許文献２には、心電図の信号データと、信号データに対応する感情を教師データとして機械学習を行って学習モデルを生成し、学習モデルが信号データ中で特徴のある部分と認識している部分をGｒａｄ-ＣＡＭ法によって検出する技術が開示されている。

国際公開第２０１７／１４５９６０号

Ramprasaath R. Selvaraju、外５名、"Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization"、［ｏｎｌｉｎｅ］、２０１７年３月２１日、［２０１９年１１月２３日検索］、インターネット＜https://arxiv.org/pdf/1610.02391.pdf＞ 清水 茂樹、外５名、「深層学習を用いた心電位によるドライバー感情推定」、自動車技術会論文集、自動車技術会、２０１９年３月１５日、第５０巻、第２号、ｐ．５０５－５１０

しかしながら特許文献１の技術は、次のような点で十分ではない。特許文献１の機械学習装置は、分類確信度の高い画像データを選択的に用いて学習を行っているため、分類確信度が低い画像については学習モデルに十分に反映されない恐れがある。そのため、特許文献１の学習装置が用いている学習モデルでは、分類確信度が低い画像データと類似したような画像データの分類を推定する際に、十分な推定精度が得られない恐れがある。また、非特許文献１および非特許文献２は、学習モデルが注目している部分を検出する技術に関するものであり、推定精度を向上することができる学習モデルを生成する技術については開示されていない。

本発明は、上記の課題を解決するため、様々なデータに対して推定精度を向上することができる学習モデルを生成する学習装置を提供することを目的としている。

上記の課題を解決するため、本発明の学習装置は、学習部と、注目部分検出部と、データ生成部を備えている。学習部は、第１の学習用データを基に機械学習を実行し、第１の学習用データのカテゴリを分類する学習モデルを生成する。注目部分検出部は、生成された学習モデルを用いて第１の学習用データのカテゴリを分類する。注目部分検出部は、その分類をする際に、学習モデルが第１の学習用データ上で注目した部分を検出する。データ生成部は、注目した部分が、予め決定された注目すべき注目決定部分に対し一致する割合に基づいて、注目した部分を加工した第２の学習用データを生成する。

本発明の学習方法は、第１の学習用データを基に機械学習を実行し、第１の学習用データのカテゴリを分類する学習モデルを生成する。本発明の学習方法は、学習モデルを用いて第１の学習用データのカテゴリを分類する際に、学習モデルが第１の学習用データ上で注目した部分を検出する。本発明の学習方法は、注目した部分が、予め決定された注目すべき注目決定部分に対し一致する割合に基づいて、注目した部分を加工した第２の学習用データを生成する。

本発明の記録媒体は、コンピュータに処理を実行させるコンピュータプログラムを記録する。コンピュータプログラムは、第１の学習用データを基に機械学習を実行し、第１の学習用データのカテゴリを分類する学習モデルを生成する処理をコンピュータに実行させる。コンピュータプログラムは、学習モデルを用いて第１の学習用データのカテゴリを分類する際に、学習モデルが第１の学習用データ上で注目した部分を検出する処理をコンピュータに実行させる。コンピュータプログラムは、注目した部分が、予め決定された注目すべき注目決定部分に対し一致する割合に基づいて、注目した部分を加工した第２の学習用データを生成する処理をコンピュータに実行させる。

本発明によると、様々なデータに対して推定精度を向上することができる学習モデルが得られる。

本発明の第１の実施形態の構成を示す図である。 本発明の第１の実施形態における動作フローを示す図である。 本発明の第２の実施形態の構成を示す図である。 本発明の第２の実施形態の学習装置の構成を示す図である。 本発明の第２の実施形態の端末装置の構成を示す図である。 本発明の第２の実施形態における動作フローを示す図である。 本発明の第２の実施形態において機械学習に用いる画像の例を示す図である。 本発明の第２の実施形態において注目部分にマーキングを行った画像の例を示す図である。 本発明の第２の実施形態において学習モデルが注目部分を模式的に示した画像の例を示す図である。 本発明の第２の実施形態において学習モデルが注目部分を模式的に示した画像の例を示す図である。 本発明の第２の実施形態における比較画像の例を示す図である。 本発明の第２の実施形態において不活性化の加工を行った画像の例を示す図である。 本発明の第２の実施形態において不活性化の加工を行った画像の例を示す図である。 本発明の第３の実施形態の構成を示す図である。 本発明の第３の実施形態の学習装置の構成を示す図である。 本発明の第３の実施形態の学習装置の動作フローを示す図である。 本発明の第３の実施形態におけるユーザインタフェースの例を示す図である。 本発明の第３の実施形態におけるユーザインタフェースの例を示す図である。 本発明の第３の実施形態におけるユーザインタフェースの例を示す図である。 本発明の第３の実施形態におけるユーザインタフェースの例を示す図である。 本発明の推定装置の構成を示す図である。 本発明の他の構成の例を示す図である。

（第１の実施形態）
本発明の第１の実施形態について図を参照して詳細に説明する。図１Ａは、本実施形態の学習装置の構成を示した図である。また、図１Ｂは、本実施形態の学習装置の動作フローを示した図である。本実施形態の学習装置は、学習部１と、注目部分検出部２と、データ生成部３を備えている。

学習部１は、第１の学習用データを基に機械学習を実行し、第１の学習用データのカテゴリを分類する学習モデルを生成する。注目部分検出部２は、生成された学習モデルを用いて第１の学習用データのカテゴリを分類する。注目部分検出部２は、その分類をする際に、学習モデルが第１の学習用データ上で注目した部分を検出する。データ生成部３は、注目した部分が、予め決定された注目すべき注目決定部分に対し一致する割合に基づいて、注目した部分を加工した第２の学習用データを生成する。データ生成部３は、例えば、第１の学習用データ上において学習モデルを用いてカテゴリを分類するときに注目した部分が、予め決定された注目すべき部分（注目決定部分）に対し一致する割合（一致の割合）が所定値より低い場合、注目した部分の分類に対する寄与が小さくなるように注目した部分を加工して第２の学習用データを学習モデルの学習用データとして生成する。たとえば、データ生成部３は、一致の割合を検出する一致検出部とデータ加工部とを含む。データ加工部は、一致の割合が所定値より低い場合、学習モデルが注目した部分に対して、学習モデルがカテゴリを分類しないよう加工し、加工によって第２の学習用データを学習モデルの学習用データとして生成する。

本実施形態の学習装置の動作の一例について説明する。図１Ｂに示すように、本実施形態の学習装置の学習部１は、第１の学習用データを基に機械学習を実行し、第１の学習用データのカテゴリを分類する学習モデルを生成する（ステップＳ１）。学習モデルが生成されると、注目部分検出部２は、学習部１に対し、生成した学習モデルを用いて第１の学習用データのカテゴリを分類するように指示する。注目部分検出部２は、分類の際に学習モデルが注目した部分を検出する（ステップＳ２）。学習モデルが注目した部分の検出が行われると、データ生成部３は、第１の学習用データ上において学習モデルを用いてカテゴリを分類するときに注目した部分が予め決定された注目決定部分に対し一致する割合を検出する。

注目すべき部分である注目決定部分について説明する。たとえば、第１に、第１の学習用データが画像で、ステップＳ２においてその画像に映っている対象物である犬を識別する場合、学習部１は画像を犬のカテゴリに分類するものとする。この場合、注目決定部分は、画像中の犬が映っている部分である。第２に、第１の学習用データがテキストデータを含む言語データで、ステップＳ２において学習部１は言語データが含意するカテゴリを分類するものとする。この場合、注目決定部分はカテゴリの分類に強く影響を与える部分であり、たとえば、単語、カテゴリに関連する表現部分である。第３に、第１の学習用データが時系列の信号を表す時系列データで、ステップＳ２において学習部１は時系列データのカテゴリ、たとえば、時系列データが異常か正常かを分類するものとする。この場合、注目決定部分はカテゴリの分類に強く影響を与える部分である。たとえば正常状態と区別される、異常な波形の部分あるいは、異常につながる兆候が生じた部分である。

データ生成部３は、一致の割合が所定値より低い場合、ステップＳ２において注目部分検出部２で検出された注目した部分を加工した第２の学習用データを生成する（ステップＳ３）。ステップＳ３の加工により、第２の学習用データを用いた学習では本来注目すべきでない部分に注目して分類しないよう学習モデルが生成される。

なお、一致の割合とは、たとえば、学習モデルが注目した部分を、予め決定された注目決定部分と比較することにより生成される指標であり、その指標は、両部分の位置の一致の割合を示す。また、一致の割合が所定値より低い場合に学習モデルがカテゴリを分類しないよう加工するとは、学習データに対し分類を行う学習モデルを生成する機械学習を行うときに、注目部分検出部２が注目した部分のカテゴリの分類への寄与が小さくなるように加工することをいう。学習モデルがカテゴリを分類しないよう加工する際に、注目部分検出部２が注目した部分がカテゴリの分類に寄与しない程度に加工を行ってもよい。その具体的な加工方法については、第２の実施形態で説明される加工方法が利用される。そのように学習モデルが注目した部分にカテゴリを分類しないように加工することは、注目した部分で機械学習が発火しないよう加工すること、言い換えれば、機械学習において不活性化する加工を施すことを意味する。

本実施形態の学習装置では、一致の割合が所定値より低い場合、学習モデルが注目した部分に対し学習モデルがカテゴリを分類しないよう加工したデータを、第２の学習用データとして学習に用いる。したがって、第２の学習用データを用いた学習後には、注目すべきでない部分に注目してカテゴリを分類する学習を行う可能性が低くなる。よって、本実施形態の学習装置は、同じカテゴリに分類するための様々な学習データに対して、注目すべき箇所に適切に注目して学習を行った学習モデルを生成することができる。たとえば、学習部は、分類確信度が低い第１の学習用データを用いて学習モデルを学習した場合でも、第２の学習用データによる学習によって学習モデルが再構成され、注目すべき箇所に適切に注目するように学習される。そのため、本実施形態の学習装置は、様々なデータに対して分類の精度を向上することができる。これによって、最終的に生成される学習モデルによるカテゴリ分類の推定の精度を向上することができる。

（第２の実施形態）
本発明の第２の実施形態について図を参照して詳細に説明する。図２は、本実施形態の学習システムの構成を示した図である。本実施形態の学習システムは、学習装置１０と、端末装置１００を備えている。学習装置１０と端末装置１００は、通信ケーブルまたはネットワークを介して接続されている。学習装置１０と端末装置１００は、無線回線を介して接続されていてもよい。

本実施形態の学習システムは、分析対象のデータとラベルデータを教師データとして用い、ＣＮＮ（Convolutional Neural Network）を代表とするニューラルネットワーク（ＮＮ）を用いたディープラーニングによって学習モデルを生成する機械学習システムである。分析対象のデータは、例えば、画像、言語および時系列信号などＣＮＮを用いた機械学習が適用可能なサンプルデータである。以下では、カテゴリを分類する対象となる物体が画像中に含まれる画像データと、物体の分類カテゴリを示すラベルデータを基に、画像中の物体が分類されるカテゴリを推定する学習モデルを生成する場合を例に説明する。

学習装置１０の構成について説明する。図３は、本実施形態の学習装置１０の構成を示した図である。学習装置１０は、学習用データ入力部１１と、学習用データ保存部１２と、学習部１３と、学習モデル保存部１４と、注目部分検出部１５と、一致検出部１６と、データ加工部１７を備えている。一致検出部１６と、データ加工部１７は、データ生成手段の一例である。

学習用データ入力部１１は、カテゴリを分類する対象となる物体が画像中に含まれる画像データと、対象の物体の分類を示すラベルデータからなる機械学習の学習用データ（第１の学習用データ）と、注目決定部分の情報とを受け付ける。学習用データ入力部１１は、注目決定部分の情報及び学習用データを端末装置１００から受け取る。学習用データ入力部１１は、注目決定部分の情報及び学習用データを互いに関連付けして学習用データ保存部１２に保存する。

注目決定部分の情報は、カテゴリを分類する対象が存在する部分を示す情報であり、画像の場合、対象の物体が存在する画像上の領域を示す情報である。具体的に言えば、注目決定部分は、例えば、犬が映っている画像データと犬を示す正解ラベルデータを教師データとして機械学習を行うとき、画像上において犬が映っている領域が該当する。

注目決定部分は、たとえば、ユーザが、図示しない入力デバイスを操作することによって設定される。ユーザが入力デバイスに表示されている学習用データの画像上で、カテゴリが判断されるべき対象を囲むようカーソルを移動させる、あるいはタッチ入力することでマーキングを施すことで、対象の位置を示す軌跡が生成される。このように生成されたマーキングの軌跡で囲まれた画像部分が、注目決定部分として設定される。注目決定部分を示す情報は、マーキング軌跡で囲まれた画像部分を含む画像データである。マーキングについては、端末装置１００の説明においても詳述する。

なお、注目決定部分の情報は、上記以外の画像データであってもよい。また、学習用データがテキストデータあるいは時系列信号のデータであっても、マーキングによって囲まれた部分の領域を端末装置１００によって設定可能であれば、注目決定部分の情報は、画像データを用いた注目決定部分の情報と同様に作成される。

学習用データは、機械学習に用いる教師データが含まれるデータであり、カテゴリを分類する対象の物体が画像中に含まれる画像データと、画像データ上の物体の分類を示すラベルデータが組み合わされたデータである。

学習用データ保存部１２は、注目決定部分の情報と学習用データを互いに関連付けて保存する。また、学習用データ保存部１２は、後述するデータ加工部１７において生成された画像データ（第２の学習用データ）を、加工前の画像データが含まれている学習用データ（第１の学習用データ）に関連付けて保存する。

学習部１３は、ＣＮＮを用いた機械学習によって学習モデルを生成する。学習部１３は、学習用データ、すなわち、カテゴリを分類する対象の物体が撮影された画像データと、画像データ上の物体の分類を示すラベルデータを教師データとして用いて、教師データを入力として、画像データ上の物体の分類を推定する学習モデルを生成する。また、学習部１３は、データ加工部１７で生成された画像データを用いて再学習を行い、学習モデルを更新する。学習部１３は、生成した学習モデルのデータを学習モデル保存部１４に保存する。また、学習部１３は、再学習を行った際に、再学習の結果を用いて学習モデル保存部１４に保存されている学習モデルを更新する。また、学習部１３は、機械学習によって生成した学習モデルを用いて、未知の画像上の物体の分類を推定する。

注目部分検出部１５は、学習部１３において学習モデルを用いて第１の学習用データのカテゴリを分類する場合に、学習モデルが第１の学習用データ上で注目した部分を検出する。注目した部分は、カテゴリの分類に寄与した部分である。具体的には、ＣＮＮを用いた機械学習によって生成された学習モデルを用いて物体のカテゴリを分類する際に、カテゴリを分類する対象の物体が存在すると認識した領域を注目した部分として検出する。注目部分検出部１５は、たとえば、非特許文献１に開示されているＧｒａｄ-ＣＡＭ（Gradient-weighted Class Activation Mapping）法を用いて、注目した部分を抽出する。ＣＮＮを用いてカテゴリの分類を推定する際に、学習モデルが注目している部分をＧＲＡＤ-ＣＡＭ法を用いて検出することは特徴部位の可視化ともいう。また、学習モデルが注目した部分は、分類に影響を与えた特徴量を有するので、特徴部位とも呼ばれる。

機械学習の学習モデルが回帰型ニューラルネットワーク(Recurrent Neural Network:ＲＮＮ)の場合、注目部分検出部１５は、Ａｔｔｅｎｔｉｏｎと呼ばれる注目部分の視覚化手法を用いて、学習モデルが注目した部分の検出および注目した部分の視覚化を実行してもよい。なお、注目部分検出部１５がＮＮの学習モデルが注目した部分を検出する手法は、Ｇｒａｄ－ＣＡＭやＡｔｔｅｎｔｉｏｎによる手法に限定されない。Ａｔｔｅｎｔｉｏｎによる手法は、F. Wang, et al., “Residual Attention Network for Image Classification”, arXiv:1704.06904v1 [cs.CV] 23 Apr 2017に開示されており、詳しい説明は省略する。

一致検出部１６は、学習用データに関連付けされた注目決定部分の情報と、Gｒａｄ-CAM法を用いて検出した部分のデータを用いる。一致検出部１６は、学習モデルが物体のカテゴリの分類を推定している際に注目した部分が注目決定部分に対して一致する割合を判定する。たとえば、一致検出部１６は、学習用データに関連付けされた注目決定部分のデータと、Gｒａｄ-CAM法を用いて検出された注目した部分の情報を比較し一致の割合を算出する。

一致検出部１６は、例えば、注目決定部分と注目した部分とが互いに重なっている部分のピクセルの数（第１のピクセル数）を検出する。一致検出部１６は、注目部分検出部１５が検出した注目した部分のピクセル数（第２のピクセル数）を検出する。一致検出部１６は、検出した第１のピクセル数の第２のピクセル数に対する比を、一致の割合として算出する。一致検出部１６は、一致の割合があらかじめ設定された基準値未満のとき、学習モデルが注目した部分が注目決定部分と一致していないと判定する。

データ加工部１７は、一致の割合が基準値未満と判定された学習用データの画像について、学習モデルが注目した部分を学習モデルがカテゴリを分類しないようにする加工を行う。したがって、加工後の第２の学習用データには、カテゴリを分類する対象が存在すると機械学習が認識できる特徴がない。学習モデルがカテゴリを分類しないよう加工するとは、機械学習に対して不活性化するともいう。学習部１３が第２の学習用データを用いて再学習して学習モデルを更新する機械学習を行う場合、誤った注目部分によって機械学習が活性化されない、つまり誤った注目部分がカテゴリへの分類に寄与することは、避けられる。

データ加工部１７は、例えば、学習用データに関連付けされた注目決定部分に対応する画像部分以外の部分のコントラスト比をあらかじめ設定された基準以下まで下げることで学習モデルがカテゴリを分類しないようにする。学習モデルがカテゴリを分類しないようにする加工は、注目決定部分との一致の割合が基準未満となった注目部分にのみ行われてもよい。学習モデルがカテゴリを分類しないようにする加工は、加工を施す領域内の各ピクセル間の輝度または色度のいずれか一方の差、または両方の差をあらかじめ設定された範囲内に変更することで行われてもよい。

学習モデルがカテゴリを分類しないようにする加工は、注目決定部分との一致の割合が基準未満となった注目部分に、ランダムなパターンによるノイズの付加や、ドットパターンやその他のパターンの図形を多数、付加することで行われてもよい。また、学習モデルがカテゴリを分類しないようにする加工は、注目決定部分との一致の割合が基準未満となった注目部分をあらかじめ設定された色で塗りつぶすことによって行われてもよい。

データ加工部１７は、一致の割合に応じて加工の強度を変化させる。データ加工部１７は、注目決定分部に対応する画像部分以外の部分のコントラスト比を一致の割合に応じて変化させる。データ加工部１７は、一致の割合が下がるにつれてコントラスト比を下げるように加工する。一致の割合とコントラスト比の関係はあらかじめ設定されている。加工を施す領域内の各ピクセル間の輝度や色度を変化させる場合も同様に、一致の割合が下がるにつれて各ピクセル間の輝度や色度の差を小さくする。

データ加工部１７は、注目決定部分との一致の割合が基準未満となった、学習モデルによる注目部分に加工を施す際に、加工を施す対象となる部分の大きさを一致の割合に応じて変化させてもよい。例えば、データ加工部１７は、一致の割合が低くなるにつれて加工を施す対象となる部分が大きくなるように加工を施す。また、データ加工部１７は、注目決定部分との一致の割合が基準未満となった注目部分に、ランダムなパターンによるノイズやドットパターン付加することで学習モデルがカテゴリを分類しないようにする加工を施す際に、一致の割合に応じてランダムなパターンやノイズの密度を変化させてもよい。例えば、データ加工部１７は、一致の割合が低くなるにつれてランダムなパターンやノイズの密度が大きくなるように加工を施す。

データ加工部１７が、学習モデルがカテゴリを分類しないようにする加工の強度は、一致の割合を複数段階に分け、一致の割合の段階に応じて段階的に設定されていてもよい。また、データ加工部１７が、学習モデルがカテゴリを分類しないようにする加工は、一致の割合に応じて上述した加工方法が組み合わされて行われてもよい。また、データ加工部１７が、学習モデルがカテゴリを分類しないようにする加工は、一致の割合が基準未満であったときにあらかじめ設定された一定の強度で行われてもよい。

図１０は、Gｒａｄ-ＣＡＭ法によって検出した注目部分と、学習用データの画像に関連付けされた注目決定部分を同一の画像上に示した比較画像の例を模式的に示した図である。また、図１１および図１２は、注目決定部分に対応する画像部分以外の部分を学習モデルがカテゴリを分類しないようにする加工を画像データに施した場合の例を模式的に示した図である。

図１１では、注目決定部分に対応する画像部分以外の部分のコントラスト比を所定の値まで下げた場合の例を示している。また、図１２は、注目決定部分との一致の割合が基準未満となった、注目部分のみコントラスト比を所定の値まで下げた場合の例を示している。図１１または図１２のような加工を行うことで、注目決定部分との一致の割合が基準未満となった、注目部分を、カテゴリの分類に寄与しない部分とすることができるため、加工後の画像を用いて学習を行う際に正しく犬の部分に注目する可能性が高くなる。

学習用データ入力部１１、学習部１３、注目部分検出部１５、一致検出部１６およびデータ加工部１７における各処理は、ＣＰＵ（Central Processing Unit）、または、ＣＰＵおよびＧＰＵ（Graphics Processing Unit）上でコンピュータプログラムを実行することで行われる。各処理を行うコンピュータプログラムは、例えば、ハードディスクドライブに記録されている。ＣＰＵ、または、ＣＰＵおよびＧＰＵは、各処理を行うコンピュータプログラムをメモリ上に読み出すことで実行する。

学習用データ保存部１２および学習モデル保存部１４は、不揮発性の半導体記憶装置やハードディスクドライブなどの記憶装置またはそれらの記憶装置の組み合わせによって構成されている。学習用データ保存部１２および学習モデル保存部１４のいずれか一方または両方は、学習装置１０の外部に備えられ、ネットワークを介して接続されていてもよい。また、学習装置１０は、複数の情報処理装置を組み合わせることで構成されていてもよい。

〔端末装置１００の構成〕
図２に示す端末装置１００の構成について説明する。図４は、本実施形態の端末装置１００の構成を示す図である。端末装置１００は、機械学習を行って学習モデル生成する際に学習用データを生成する作業者の操作用端末である。本実施形態の端末装置１００は、学習用データ生成部１０１と、制御部１０２と、データ送受信部１０３と、入力部１０４と、出力部１０５を備えている。

学習用データ生成部１０１は、注目決定部分のデータを生成する。注目決定部分のデータの生成方法については後で説明する。注目決定部分のデータは、例えば、学習用モデルに用いる画像データと同じ大きさ、すなわち、同じピクセル数の画像において、注目決定部分を線で囲った画像データとして生成される。注目決定部分のデータは、画像上で注目決定部分を特定できる形式のものであればよく、例えば、注目決定部分以外が黒または他の色で塗りつぶされた画像データであってもよい。学習用データ生成部１０１は、注目決定部分のデータを学習用データに関連づけたデータとして出力する。

制御部１０２は、端末装置１００の動作全般と、学習装置１０における機械学習に必要なデータの送受信の制御を行う。制御部１０２は、学習装置１０から受信した画像データおよび一致の割合のデータの表示装置への出力の制御、並びに作業者の入力結果に応じた動作の制御を行う。

データ送受信部１０３は、学習装置１０に注目決定部分の情報が関連づけられた学習用データを送信する。また、データ送受信部１０３は、学習モデルがカテゴリを分類しないようにする加工が施された画像データ、一致の割合の算出結果および学習モデルの生成結果などの機械学習を行う際に作業者が確認または選択を行う必要があるデータを学習装置１０から受信する。

入力部１０４は、学習用データに用いる画像中の注目決定部分を示す情報を受け付ける。入力部１０４は、マウス、ペンタブレットまたはキーボードなどの入力装置からの入力を受け付ける。入力部１０４に入力データを送る入力装置は、複数の種類の入力装置の組み合わせによって構成されていてもよい。

出力部１０５は、注目部分の設定を行う際に、設定を行う画像の表示データをディスプレイ装置に出力する。また、出力部１０５は、制御部１０２の指示に基づいて学習装置１０から送られてきた情報の表示データをディスプレイ装置に出力する。

端末装置１００の学習用データ生成部１０１、制御部１０２、データ送受信部１０３、入力部１０４および出力部１０５における各処理は、ＣＰＵ上でコンピュータプログラムを実行することで行われる。各処理を行うコンピュータプログラムは、例えば、ハードディスクドライブに記録されている。ＣＰＵは、各処理を行うコンピュータプログラムをメモリ上に読み出すことで実行する。

〔学習システムの動作〕
本実施形態の学習システムの動作について説明する。図５は、本実施形態の学習システムのうち学習装置１０の動作フローを示す図である。

始めに、端末装置１００において、学習用データに注目決定部分の情報を付加したデータの生成が行われる。注目決定部分の情報は、カテゴリを分類する対象の物体が撮影された画像データに、注目すべき対象の部分を囲むマーキングによる軌跡を付加することで生成される。機械学習に用いる加工前に生成され学習用データに関連付けされる。画像データは、作業の開始前に端末装置１００に作業者によって入力される。画像データは、ネットワークを介して端末装置１００に入力されてもよい。また、画像データは、あらかじめ学習装置１０または端末装置１００内に保存されていてもよい。

端末装置１００の制御部１０２は、出力部１０５に注目決定部分の情報を付加する画像データの出力を要求する。画像データの出力の要求を受けると、出力部１０５は、画像の分類の指定と注目決定部分の指定を要求する画像データを生成してディスプレイ装置に出力する。

注目決定部分の情報の生成は、カテゴリを分類する対象の物体が映っている画像上の領域に対してマーキングを施すことで行われる。マーキングすることで付加された注目決定部分の情報は、マーキングされた部分を元の画像データとは別の画像データとして学習用データに関連付けされる。注目部分の情報は、マーキングを施した部分の位置や範囲を座標データとして示した数値情報のみのデータとして学習用データに関連付けられてもよい。

マーキングは、例えば、カテゴリを分類する対象の物体が映っている領域の輪郭を線で囲むことで行われる。マーキングは、カテゴリを分類する対象の物体が映っている領域を四角形やその他の多角形の線で囲むことで行われてもよい。マーキングは、線で囲むだけでなく、複数の点を付けることで各点を直線で結んだ内部の領域が注目決定部分として設定されるようにしてもよい。また、マーキングは、カテゴリを分類する対象の物体が映っている領域に丸印やその他形状の印を付けることで行われてもよい。そのような構成とした場合に、印を付けた点を中心として一定の範囲内が注目決定部分として設定されるようにしてもよい。

図６は、カテゴリを分類する対象の物体が映っている画像の例を模式的に示した図である。図６は画像上にカテゴリを分類する対象としたい犬と、猫および家具が存在する場合を示している。なお、図面作成の都合上、図６には、背景が省略されているが、実際の画像には背景が存在するものとする。図７は、注目決定部分のマーキングを行った画像の例を模式的に示した図である。図７では、カテゴリを分類する対象である犬を注目決定部分として線で囲むことでマーキングが行われている。マーキングで囲む注目決定部分に対応する領域は、一般的には犬全体でなく、犬の顔を中心とする領域である。

注目決定部分の情報が関連付けされた学習用データの生成が完了すると、制御部１０２は、注目決定部分が関連付けされた学習用データを学習装置１０に送信する要求をデータ送受信部１０３に要求する。注目決定部分の情報が関連付けされた学習用データを学習装置１０に送信する要求を受け取ると、データ送受信部１０３は、が関連付けされた学習用データを学習装置１０に送る。

端末装置１００から学習装置１０に送られた学習用データは、学習用データ入力部１１から学習装置１０に入力される。注目決定部分の情報が関連付けされた学習用データを入力するので、学習用データ入力部１１は、注目決定部分の情報が関連付けされた学習用データを学習用データ保存部１２に保存する（ステップＳ１１）。

学習用データが保存されると、学習部１３は、学習用データ（ここでは第１の学習用データとする）を基にＣＮＮを用いた機械学習を行って学習モデルを生成する（ステップＳ１２）。学習用データを用いた機械学習は、複数の第１の学習用データを用いてあらかじめ設定された回数、反復して行われる。学習部１３は、生成した学習モデルのデータを学習モデル保存部１４に保存する。

学習モデルが生成されると、注目部分検出部１５の動作に移行する。すなわち、注目部分検出部１５は、学習部１３に対し、たとえば、機械学習に用いた画像データを入力として、学習モデルを用いて物体の分類を推定する処理を行うよう指示する。物体の分類を推定する処理が実行されると、注目部分検出部１５は、学習モデルが画像データの物体の分類を行う際に、カテゴリへの分類に寄与した部分、すなわち、学習モデルによって注目された部分（以下、注目部分とも呼ばれる）の検出を行う（ステップＳ１３）。

注目部分検出部１５は、Gｒａｄ-CAM法を用いて画像からテゴリを分類する対象の物体を検出するときの、注目部分の情報を画像ごとに検出する。図８および図９は、Gｒａｄ-CAM法を用いて検出した注目部分を示す情報をヒートマップとして画像上に付加した例を模式的に示した図である。図８の例では、ＣＮＮを用いた学習モデルは、犬に注目している。また、図９の例では、ＣＮＮを用いた学習モデルは、猫に注目している。このとき、ラベルデータの正解カテゴリが犬であったとすると、図８の例では、学習モデルは画像上の正しい部分を注目している。一方で、図９の例では、学習モデルは、注目が必要な部分、すなわち、犬が存在する部分とは異なった部分に注目している。

注目部分の情報を検出すると、注目部分検出部１５は、検出した注目部分の情報を一致検出部１６に送る。注目部分の情報を受け取ると、一致検出部１６、学習用データ保存部１２から対応する学習用データに関連付けられている注目決定部分の情報を読み出す。注目部分の情報を読み出すと一致検出部１６は、Gｒａｄ-ＣＡＭ法によって検出した注目部分と、学習用データに関連付けられている注目決定部分を比較する。

一致検出部１６は、注目部分検出部１５が検出した注目部分の位置が、学習用データに関連付けられている注目決定部分の位置に対し、一致する割合を算出する（ステップＳ１４）。具体的に、一致検出部１６は、注目部分検出部１５が検出した注目部分と、学習用データに関連付けられている注目決定部分との互いに重なっているピクセルの数を計数する。次に、一致検出部１６は、重なっているピクセル数の学習用データに関連付けされた注目決定部分のピクセル数に対する比を一致の割合として算出する。一致の割合を算出すると、一致検出部１６は、一致の割合をあらかじめ設定された基準値と比較する。

一致の割合が基準未満であったとき（ステップＳ１５でＮｏ）、一致検出部１６は、一致の割合が基準未満の画像データについて、学習モデルがカテゴリを分類しないようにする加工が必要であると判断する。学習モデルがカテゴリを分類しないようにする加工が必要であると判断すると、一致検出部１６は、画像データの不活性化の加工の要求をデータ加工部１７に送る。

画像データの不活性化の加工の要求を受け取ると、データ加工部１７は、一致の割合が基準未満の画像データに対して、一致していない注目部分を学習モデルがカテゴリを分類しないようにする加工を行う（ステップＳ１６）。データ加工部１７は、学習用データ保存部１２の学習用データに関連付けされた注目決定部分の情報を基に、一致していない注目部分、すなわち、予めマーキングを施した注目決定部分に対応する画像部分以外の部分を学習モデルがカテゴリを分類しないようにする加工を画像データに施す。

画像データの加工を行うと、データ加工部１７は、注目すべきではない部分について、学習モデルがカテゴリを分類しないようにする加工を施した画像データを、学習用データ保存部１２に保存する（ステップＳ１７）。加工を施したデータが学習用データとして保存されたときに一致の割合が未検出の画像があるとき（ステップＳ１８でＹｅｓ）、一致の割合が未検出の画像データが学習用データ保存部１２から学習部１３に出力されステップＳ１３からの動作が繰り返される。加工を施したデータが学習用データとして保存されたときに一致の割合が未検出の画像がないとき（ステップＳ１８でＮｏ）、一致の割合が全ての画像で基準以上であったかの確認が行われる。この場合、一致の割合が基準未満で学習モデルがカテゴリを分類しないようにする加工を施した画像があり、一致の割合が全ての画像で基準以上でないためステップＳ１９でＮｏとなる。ステップＳ１９でＮｏとなると、学習部１３は、学習用データ保存部１２に保存された学習用データを用いて学習モデルの再学習を行う。

再学習は、学習モデルがカテゴリを分類しないようにする加工が施された画像データと、一致の割合が基準を超えているために学習モデルがカテゴリを分類しないようにする加工が施されなかった画像データを教師データとして用いて行われる。再学習を行う際に、加工が行われた画像データの数に対して、加工が行われていない画像データの数が設定されてもよい。また、再学習を行う際に、教師データとして新たな学習用データが用いられてもよい。

再学習を終えると、学習部１３は、再学習の結果として生成した学習モデルで、学習モデル保存部１４の学習モデルのデータを更新する（ステップＳ２０）。

学習モデルのデータが更新されると、学習部１３は、生成した学習モデルの推定精度の検証を行う。学習モデルの精度の検証は、例えば、学習部１３が複数の検証用画像の画像データを読み込み、学習モデルを用いて検証用画像上の物体の分類を推定する。学習部１３は、推定した物体（のカテゴリ）の分類の結果と、画像データに紐づけられた正解を示すラベルデータを比較することで行われる。そのような方法で、精度の検証が行われる場合に、学習部１３は、推定結果とラベルデータが一致する画像の割合（正答率）があらかじめ設定された値以上である場合に、精度が十分であり終了基準を満たすと判断する。終了基準を満たすとき（ステップＳ２１でＹｅｓ)、学習モデルの生成は完了する。生成が完了した学習モデルは、画像データのカテゴリの分類の推定に用いられる。また、終了基準を満たさないとき（ステップＳ２１でＮｏ）、ステップＳ１３からの動作が繰り返され、一致の割合が基準を満たさない画像に対して学習モデルがカテゴリを分類しないようにする加工が施される。一致の割合が基準未満の画像の再加工は、例えば、コントラスト比を前回の加工時よりも下げることによって行われる。

ステップS１５において算出した一致の割合が基準以上であったとき（ステップＳ１５でＹｅｓ）、一致検出部１６は、対応する画像データについて、学習モデルがカテゴリを分類しないようにする加工は不要と判断する。不活性化の加工を不要と判断すると、一致検出部１６は、学習用データに不活性化の加工を行っていないことを示す情報を付加してもよい。次に、ステップＳ１８において、一致の割合が未検出の画像があるとき（ステップＳ１８でＹｅｓ）、一致の割合が未検出の画像データが学習用データ保存部１２から学習部１３に出力されステップＳ１３からの動作が繰り返される。加工を施したデータが学習用データとして保存されたときに一致の割合が未検出の画像がないとき（ステップＳ１８でＮｏ）、一致の割合が全ての画像で基準以上であったかの確認が行われる。一致の割合が全ての画像で基準以上でないとき、すなわち、学習モデルがカテゴリを分類しないようにする加工を施した画像があるとき（ステップＳ１９でＮｏ)、学習部１３は、学習用データ保存部１２の学習用データを用いて再学習を行う。再学習は、学習モデルがカテゴリを分類しないようにする加工が行われた画像データと、一致の割合が基準以上で学習モデルがカテゴリを分類しないようにする加工が行われていない画像データの両方を用いて行われる。再学習を終えると、学習部１３は、再学習の結果として生成した学習モデルで、学習モデル保存部１４の学習モデルのデータを更新する（ステップＳ２０）。

学習モデルのデータが更新されると、学習部１３は、生成した学習モデルの精度の検証を行なう。また、ステップＳ１９でＹｅｓ、すなわち、一致の割合が全ての画像で基準以上であり、学習モデルがカテゴリを分類しないようにする加工を施した画像がないときも学習モデルの精度の検証が行われる。

学習モデルの精度の検証によって、終了基準を満たすとき（ステップＳ２１でＹｅｓ)、学習モデルの生成は完了する。生成が完了した学習モデルは、画像データの分類の推定に用いられる。また、終了基準を満たさないとき（ステップＳ２１でＮｏ）、ステップＳ１３からの動作が繰り返され、一致の割合が基準を満たさない画像に対して学習モデルがカテゴリを分類しないようにする加工が施される。再学習後に行われる学習モデルがカテゴリを分類しないようにする加工では、例えば、学習用データに関連付けされた注目決定部分以外のコントラスト比をさらに下げる処理や不活性化する領域を広げることによって行われる。

上記の説明では、学習モデルによる注目部分の検出から、一致の割合の判定、画像の加工までの処理を画像データ１枚ごとに行っている。そのような処理方法に代えて、複数の画像データまたは全ての画像データについて、学習モデルによる注目部分の検出を行った後に、一致の割合が基準未満の画像の加工が行われてもよい。

また、ステップＳ１８の代わりに、所定枚数の画像の学習用データに対して全て未検出の画像があるかを判断してもよい。また、ステップＳ１９及びステップＳ２０は、省略してもよい。

上記の説明では、学習装置１０と端末装置１００をそれぞれ独立した装置としているが、学習装置１０が端末装置１００の機能の一部または全てを有していてもよい。また、上記の説明では画像上の物体の分類を推定する構成について説明したが、学習装置１０は、言語解析や時系列の信号解析に用いることもできる。言語解析に適用する場合には、ＣＮＮあるいはＲＮＮを用いた機械学習によって生成した学習モデルに、Gｒａｄ-ＣＡＭ法を適用することで言語や信号のどの部分に注目しているかを検出する。

時系列信号の信号解析では、時系列の信号データと、その信号データが指し示す現象を教師データとして、ＣＮＮによる機械学習が行われ、信号データのうち学習モデルが注目している部分の情報がGｒａｄ-ＣＡＭ法で検出される。例えば、建造物や機械などの振動の波形データを対応する現象、地震など自然現象や心電図などの生体の観測結果の波形データと対応する現象を教師データとしてＣＮＮを用いた機械学習を行い、学習モデルが注目している部分の情報をGｒａｄ-ＣＡＭ法を用いて検出することができる。そのように、検出した注目部分が、推定対象となる現象に対応する部分と異なっていたときに、学習モデルが注目した部分の信号の波形のフラット化や、ノイズの添加を行うことで学習モデルがカテゴリを分類しないようにする加工を施した学習用データを生成することができる。また、言語解析においても、単語の認識の精度が低いときに、Gｒａｄ-ＣＡＭ法を用いて学習モデルが注目している部分を検出し、誤認識に影響を与えていると思われる部分に学習モデルがカテゴリを分類しないようにする加工を施すことで、認識の精度を向上する学習用データを生成することができる。

本実施形態の学習装置１０は、ＣＮＮやＲＮＮを用いた機械学習によって生成した学習モデルが、データのカテゴリを分類する際に注目している部分を検出している。また、学習装置１０は、学習モデルを用いてカテゴリを分類するときに注目した部分が、あらかじめ設定された注目決定部分に対し一致する割合が所定値より低い場合、学習モデルが注目している部分に、学習モデルがカテゴリを分類しないようにする加工を施すことで再学習の際に用いる学習用データを生成している。あらかじめ設定された注目決定部分と一致する割合が低い部分を学習モデルが注目していたときに、学習モデルが注目している部分に学習モデルがカテゴリを分類しないように加工を施したデータを学習用データとして用いて再学習を行うことで、カテゴリを分類する対象により注目した学習が行われるようになる。そのため、本実施形態の学習装置１０は、カテゴリを分類する対象となる部分と他の部分の識別が難しいデータが入力された場合にも、カテゴリの分類を精度よく推定できる学習モデルを生成することができる。その結果、本実施形態の学習装置１０を用いて生成した学習モデルを用いて推定を行うことで、カテゴリの分類の推定の精度を向上することができる。

（第３の実施形態）
本発明の第３の実施形態の学習システムについて図を参照して詳細に説明する。図１３は、本実施形態の学習システムの構成を示した図である。本実施形態の学習システムは、本来注目すべきでない部分に注目して学習モデルがカテゴリを分類しないようにする加工を画像に施す際に、加工後の画像の候補を、ユーザが用いるユーザ端末装置を介してユーザに示すことを特徴とする。ユーザとは、学習モデルの提供を受けてデータの解析に学習モデルを利用する人物のことをいう。

本実施形態の学習システムは、学習装置２０と、ユーザ端末装置３０と、端末装置１００を備えている。端末装置１００の構成と機能は、第２の実施形態と同様である。学習装置２０と端末装置１００は、通信ケーブルまたはネットワークを介して接続されている。また、学習装置２０とユーザ端末装置３０も、通信ケーブルまたはネットワークを介して接続されている。学習装置２０およびユーザ端末装置３０は、端末装置１００とそれぞれ無線回線を介して接続されていてもよい。

学習装置２０の構成について説明する。図１４は、本実施形態の学習装置２０の構成を示す図である。本実施形態の学習装置２０は、学習用データ入力部１１と、学習用データ保存部１２と、学習部１３と、学習モデル保存部１４と、注目部分検出部１５と、一致検出部１６と、データ加工部２１と、データ加工制御部２２と、ユーザ端末通信部２３を備えている。

本実施形態の学習装置２０の学習用データ入力部１１、学習用データ保存部１２、学習部１３、学習モデル保存部１４、注目部分検出部１５および一致検出部１６の構成と機能は、第２の実施形態の同名称の部位と同様である。

データ加工部２１は、第２の実施形態のデータ加工部１７と同様に、学習モデルが注目している部分を学習モデルがカテゴリを分類しないようにする加工を行う。データ加工部２１は、学習モデルがカテゴリを分類しないようにする加工を行う際に複数の画像候補を生成する。

データ加工部２１は、例えば、学習用モデルに関連付けされた注目決定部分以外の部分について、コントラスト比を下げる加工を行う際にコントラスト比の異なる複数の画像候補を生成する。データ加工部２１は、例えば、加工対象となる領域の平均のコントラスト比を算出し、加工対象の領域のコントラスト比が、算出した平均値よりも低く、互いにコントラスト比が異なる複数の画像候補を生成する。データ加工部２１は、学習モデルが注目した部分を覆う範囲を変えることで複数の画像候補を生成してもよい。

データ加工制御部２２は、データ加工部２１が生成した画像候補をユーザ端末装置３０にユーザ端末通信部２３を介して送る。また、データ加工制御部２２は、ユーザ端末装置３０から受信する画像候補の選択結果に基づいて、データ加工部２１に学習用データとして用いる画像データを指示する。

ユーザ端末通信部２３は、ネットワークを介してユーザ端末装置３０とデータの送受信を行う。ユーザ端末通信部２３は、データ加工制御部２２から入力された画像候補のデータをユーザ端末装置３０に送信する。また、ユーザ端末通信部２３は、ユーザ端末装置３０から受信する画像候補の選択結果をデータ加工制御部２２に送る。

学習用データ入力部１１、学習部１３、注目部分検出部１５、一致検出部１６、データ加工部２１、データ加工制御部２２およびユーザ端末通信部２３における各処理は、ＣＰＵ、または、ＣＰＵおよびＧＰＵ上でコンピュータプログラムを実行することで行われる。各処理を行うコンピュータプログラムは、例えば、ハードディスクドライブに記録されている。ＣＰＵ、または、ＣＰＵおよびＧＰＵは、各処理を行うコンピュータプログラムをメモリ上に読み出すことで実行する。

学習装置２０の学習用データ保存部１２および学習モデル保存部１４は、不揮発性の半導体記憶装置やハードディスクドライブなどの記憶装置またはそれらの記憶装置の組み合わせによって構成されている。学習用データ保存部１２および学習モデル保存部１４のいずれか一方または両方は、学習装置２０の外部に備えられ、ネットワークを介して接続されていてもよい。また、学習装置２０は、複数の情報処理装置を組み合わせることで構成されていてもよい。

ユーザ端末装置３０は、学習モデルがカテゴリを分類しないようにする加工を行う際の画像候補のデータを、ディスプレイ装置に表示しユーザに提示する。ユーザ端末装置３０は、ユーザの選択結果を学習装置２０に送信する。ユーザ端末装置３０には、パーソナルコンピュータやタブレット型端末装置などの通信機能を有する情報処理装置が用いされる。

本実施形態の学習システムの動作について説明する。図１５は、学習装置２０の動作フローを示す図である。

本実施形態において、注目部分の情報を付加した学習用データを生成する動作は、第２の実施形態と同様である。また、本実施形態において、生成した学習用データを教師データとしてＣＮＮを用いた機械学習をあらかじめ設定された回数、反復して学習モデルを生成し、注目部分の検出を行って、一致の割合の算出を行うステップＳ３１からＳ３４までの動作は、第２の実施形態のステップＳ１１からＳ１４までの動作と同じである。よって、以下では、ステップＳ３４において一致の割合の算出を行った後の動作から説明する。

ステップＳ３４において一致の割合を算出すると、一致検出部１６は、算出した一致の割合をあらかじめ設定された基準値と比較する。

算出した一致の割合が基準未満であったとき（ステップＳ３５でＮｏ）、一致検出部１６は、対応する画像データについて、学習用データに関連付けされた注目決定部分以外の画像部分を学習モデルがカテゴリを分類しないようにする加工が必要であると判断する。学習モデルがカテゴリを分類しないようにする加工が必要であると判断すると、一致検出部１６は、学習モデルがカテゴリを分類しないようにする加工の要求をデータ加工部２１に送る。

学習モデルがカテゴリを分類しないようにする加工の要求を受け取ると、データ加工部２１は、学習用データに関連付けされた注目決定部分以外の部分を学習モデルがカテゴリを分類しないようにする加工を行う（ステップＳ３６）。学習モデルがカテゴリを分類しないようにする加工は、第２の実施形態と同様に行われる。

データ加工部２１は、学習モデルがカテゴリを分類しないようにする加工を行う際に、複数の画像候補を生成する。データ加工部２１は、例えば、学習用モデルに付加された注目部分以外の部分について、コントラスト比を下げる加工を行う際にコントラスト比の異なる複数の画像候補を生成する。データ加工部２１は、例えば、加工対象となる領域の平均のコントラスト比を算出し、加工対象の領域のコントラスト比が、算出した平均値よりも低く、互いにコントラスト比が異なる複数の画像候補を生成する。データ加工部２１は、学習モデルが注目した部分を覆う範囲を変えることで複数の画像候補を生成してもよい。

学習モデルがカテゴリを分類しないようにする加工を行うと、データ加工部２１は、不活性化した画像データを一時保存する。データ加工部２１が画像データを保存した際に、一致の割合の判定が未了の画像が存在するとき(ステップＳ３７でＹｅｓ）、ステップＳ３３に戻り、一致の割合の判定が未了の画像について学習モデルが注目している部分の検出が行われる。

データ加工部２１が画像データを保存した際に、一致の割合の判定がすべての画像について完了しているとき(ステップＳ３７でＮｏ）、一致の割合が全ての画像で基準以上であったかの確認が行われる。一致の割合が全ての画像で基準以上でないとき、すなわち、学習モデルがカテゴリを分類しないようにする加工を施した画像があるとき（ステップＳ３８でＮｏ)、データ加工部２１は、生成した候補の画像候補のデータをデータ加工制御部２２に送る。画像候補のデータを受け取ると、データ加工制御部２２は、画像候補のデータをユーザ端末通信部２３に送る。画像候補のデータと送信の要求を受け取ると、ユーザ端末通信部２３は、受け取った画像候補のデータをユーザ端末装置３０にネットワークを介して送信する（ステップＳ３９）。

ユーザ端末装置３０は、ネットワークを介して学習装置２０からデータを受信し、候補画像のデータを取得する。画像候補のデータを取得すると、ユーザ端末装置３０は、画像候補からいずれかの画像をユーザが選択する際の表示データを生成して表示データをディスプレイ装置に表示する。

ユーザは、表示を参照し画像候補のデータから適切な加工内容を選択し、選択結果を入力する。加工の内容の選択は画像ごとに行われてもよく、物体の分類ごとに行われてもよい。

図１６は、候補データ出力部３３がディスプレイ装置に送る表示データの例を模式的に示した図である。図１６の例では、１つの画像に対して、２通りの加工を行った場合の加工後の画像が候補Ａ、候補Ｂとして示されている。また、ユーザが候補画像を選択する際の選択ボタンが表示されている。ユーザは、例えば、マウスを用いて候補Ａか候補Ｂを選択することで選択結果を入力する。

ユーザによる選択結果の入力が行われると、ユーザ端末装置３０は、選択結果を学習装置２０にネットワークを介して送信する。

学習装置２０のユーザ端末通信部２３は、ネットワークを介してユーザ端末装置３０からデータを受信し、選択結果を取得する（ステップＳ４０）。選択結果を取得すると、ユーザ端末通信部２３は、取得した選択結果をデータ加工制御部２２に送る。選択結果を受け取ると、データ加工制御部２２は、選択結果に示されている画像を、学習用データとして用いる画像データとして選択する情報をデータ加工部２１に送る。

学習用データとして用いる画像データの情報を受け取ると、データ加工部２１は、受け取った情報に対応する画像データを、学習用データとして学習用データ保存部１２に保存する（ステップＳ４１）。加工が行われた画像データが学習用データとして保存されると、学習部１３は、保存された学習用データを用いて再度、ＣＮＮを用いた機械学習を実行し学習モデルの再学習を行う（ステップＳ４２）。再学習は、学習モデルがカテゴリを分類しないようにする加工が行われた画像データと、一致の割合が基準以上で学習モデルがカテゴリを分類しないようにする加工が行われていない画像データの両方を用いて行われる。

再学習が完了すると、学習部１３は、学習モデルによる推定精度の検証を行なう。また、ステップＳ３８でＹｅｓ、すなわち、一致の割合が全ての画像で基準以上であり、学習モデルがカテゴリを分類しないようにする加工を施した画像がないときも学習モデルの精度の検証が行われる。

推定精度の検証は、第２の実施形態と同様に行われる。学習モデルによる推定精度の検証を行った際に、推定精度が基準を満たすとき(ステップＳ４３でＹｅｓ）、学習モデルの生成は完了する。推定精度が基準を満たさないとき(ステップＳ４３でＮｏ）、ステップＳ３３に戻り、一致の割合が基準を満たさない画像に対して学習モデルがカテゴリを分類しないようにする加工が施される。

上記の例では、加工内容の選択を行う際に、ユーザ端末装置３０がディスプレイ装置に加工内容ごとの加工後の画像の状態を表示する例を示した。ユーザ端末装置３０は、学習モデルが注目している部分を画像上に重ねてディスプレイ装置に表示してもよい。

図１７は、学習モデルが注目している部分を画像上に重ねて示した表示データの例を模式的に示した図である。図１７では、画像１および画像２のそれぞれの画像に対して学習モデルが注目した部分が、ヒートマップとして示されている。また、図１７の表示データでは、他の画像の表示を行うための操作ボタンが表示されている。

図１８は、学習用データとして用いた画像に付加した注目部分と、学習モデルが注目による注目部分を画像上に示した画像データを並べて表示する表示データの例を模式的に示した図である。図１８では、画像に付加した注目部分のマーキングが示された画像と、学習モデルが注目した部分のヒートマップとして示されている画像を並べて表示する表示データを示している。また、図１８の表示データでは、他の画像の表示を行うための操作ボタンが表示されている。

図１９は、学習用データとして用いた画像に付加した注目部分と、学習モデルが注目による注目部分を画像上に示した画像データを重ねて表示する表示データの例を模式的に示した図である。図１９では画像１と、画像２の２つの画像について、画像に付加した注目部分のマーキングと、学習モデルが注目した部分のヒートマップが同一の画像上に重ねて示されている。また、図１９の表示データでは、他の画像の表示を行うための操作ボタンが表示されている。

上記の説明では、学習モデルによる注目部分の検出から、一致の割合の判定、画像の加工までの処理を画像データ１枚ごとに行っている。そのような処理方法に代えて、複数の画像データまたは全ての画像データについて、学習モデルによる注目部分の検出を行った後に、一致の割合が基準未満の画像の加工が行われてもよい。

上記の説明では、学習装置２０、ユーザ端末装置３０および端末装置１００をそれぞれ独立した装置としているが、他の装置が有する機能の一部または全てを有していてもよい。例えば、学習装置２０が端末装置１００の機能の一部または全てを有していてもよい。また、ユーザ端末装置３０と端末装置１００は、一体の装置として構成されていてもよく、他の装置が有する機能の一部を重複して有していてもよい。また、上記の説明では画像上の物体の分類を推定する構成について説明したが、学習装置２０は第２の実施形態と同様に、言語解析や時系列の信号解析に用いることもできる。

本実施形態の学習システムは、学習装置２０がカテゴリを分類しないようにする加工を行う際の加工後の状態を示す画像データをユーザ端末装置３０に送信している。ユーザ端末装置３０がディスプレイ装置に加工後の状態を示す画像を表示することでユーザは、加工後の状態を見ながら画像の加工状態を選択することができる。よって、ユーザが適切な加工状態を選択できるようになり用途に応じた適切な学習モデルを生成することができる。そのため、本実施形態の学習モデルを用いることで学習モデルの推定精度が向上する。

第２の実施形態および第３の実施形態において機械学習によって生成された学習モデルは、図２０のような推定装置において、入力されたデータのカテゴリの分類を推定する学習モデルとして用いることができる。図２０は、推定装置４０の構成を示す図である。図２０の推定装置４０は、第２の実施形態および第３の実施形態において機械学習によって生成された学習モデルを用いて、入力されるデータの推定を行う装置である。以下では、画像上の物体の分類を推定する推定装置の場合を例に説明する。

図２０の推定装置４０は、データ入力部４１と、データ保存部４２と、推定部４３と、学習モデル保存部４４と、推定結果出力部４５を備えている。

データ入力部４１は、画像上の物体の分類を推定する画像データの入力を受け付ける。データ入力部４１は、入力された画像データをデータ保存部４２に保存する。

データ保存部４２は、データ入力部４１に入力された画像データを保存する。

推定部４３は、学習モデル保存部４４に保存された学習モデルを用いて、画像データに撮影されている物体の分類を推定する。推定装置４０において用いられる学習モデルは、第２の実施形態および第３の実施形態において生成される学習モデルと同様の学習モデルである。

学習モデル保存部４４は、機械学習による学習済みのモデル、すなわち、学習モデルを保存する。学習モデルは、作業者によって推定装置４０に入力される。学習モデルは、ネットワークを介した他のサーバから取得されてもよい。

推定結果出力部４５は、推定部４３による画像上の分類の推定結果をディスプレイ装置に送る。推定結果出力部４５は、推定部４３による推定結果を他の端末装置にネットワークを介して送信してもよい。

図２０の推定装置４０は、第２の実施形態および第３の実施形態の学習システムの一部として備えられていてもよい。そのような構成とした場合に、推定装置４０への画像データの入力および推定結果の取得を、端末装置やユーザ端末装置を用いて行う構成としてもよい。また、上記の説明では画像上の物体の分類を推定する学習モデルについて説明したが、推定装置４０は、言語解析や時系列の信号解析を行う学習モデルによる分類の推定に用いることもできる。

第１の実施形態の学習装置、第２の実施形態の学習装置および第３の実施形態の学習装置における各処理は、コンピュータプログラムをコンピュータで実行することによって行うことができる。図２１は、学習装置における各処理を行うコンピュータプログラムを実行するコンピュータ５０の構成の例を示したものである。コンピュータ５０は、ＣＰＵ５１と、メモリ５２と、記憶装置５３と、Ｉ／Ｆ（Interface）部５４を備えている。また、第２の実施形態および第３の実施形態の端末装置、第３の実施形態のユーザ端末、並びに第４の実施形態の推定装置も同様の構成を備えている。

ＣＰＵ５１は、記憶装置５３から各処理を行うコンピュータプログラムを読み出して実行する。コンピュータプログラムを実行する演算処理部は、ＣＰＵ５１に代えて、ＣＰＵとＧＰＵとの組み合わせによって構成されていてもよい。メモリ５２は、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成され、ＣＰＵ５１が実行するコンピュータプログラムや処理中のデータが一時保存される。記憶装置５３は、ＣＰＵ５１が実行するコンピュータプログラムを保存している。記憶装置５３は、例えば、不揮発性の半導体記憶装置によって構成されている。記憶装置５３には、ハードディスクドライブ等の他の記憶装置が用いられてもよい。Ｉ／Ｆ部５４は、学習システムの他のユニットや管理対象のネットワークの端末等との間でデータの入出力を行うインタフェースである。コンピュータ５０は、通信ネットワークを介して他の情報処理装置と通信を行う通信モジュールをさらに備えていてもよい。

また、各処理に行うコンピュータプログラムは、記録媒体に格納して頒布することもできる。記録媒体としては、例えば、データ記録用磁気テープや、ハードディスクなどの磁気ディスクを用いることができる。また、記録媒体としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）等の光ディスクを用いることもできる。不揮発性の半導体記憶装置を記録媒体として用いてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
第１の学習用データを基に機械学習を実行し、第１の学習用データのカテゴリを分類する学習モデルを生成する学習手段と、
前記学習モデルを用いて前記第１の学習用データのカテゴリを分類する際に、前記学習モデルが前記第１の学習用データ上で注目した部分を検出する注目部分検出手段と、
前記注目した部分が、予め決定された注目すべき注目決定部分に対し一致する割合に基づいて、前記注目した部分を加工した第２の学習用データを生成するデータ生成手段と
を備える学習装置。

（付記２）
前記データ生成手段は、前記注目した部分が前記注目決定部分に対し一致する割合が所定値よりも低い場合に、前記注目した部分の前記分類に対する寄与が小さくなるように前記注目した部分を加工して前記第２の学習用データを生成する付記１に記載の学習装置。

（付記３）
前記データ生成手段は、
前記注目決定部分が、前記学習モデルを用いてカテゴリを分類するときに前記注目した部分に対し一致する割合を検出する一致検出手段と、
前記一致の割合が所定値より低い場合、前記注目した部分に対して、前記学習モデルがカテゴリを分類しないよう加工し、加工によって前記第２の学習用データを生成するデータ加工手段と
を含む付記１または２に記載の学習装置。

（付記４）
前記学習手段は、前記第２の学習用データを用いた再学習によって前記学習モデルを更新する付記１から３いずれかに記載の学習装置。

（付記５）
前記学習手段は、前記学習モデルの推定精度が所定の基準を満たすとき、前記学習モデルの生成が終了したと判断する付記１から４いずれかに記載の学習装置。

（付記６）
前記データ上においてカテゴリを分類する対象が存在する部分の情報を注目部分の情報として前記第１の学習用データに関連付けて保存する学習用データ保存手段をさらに備える付記１から５いずれかに記載の学習装置。

（付記７）
前記データ生成手段は、前記第２の学習用データを生成する際に、それぞれ異なる複数の加工内容に基づいて加工を施した前記第２の学習用データを生成する付記１から６いずれかに記載の学習装置。

（付記８）
前記学習手段は、前記注目決定部分の情報としてカテゴリを分類する対象が存在する画像上の領域を示す情報を関連付けた前記第１の学習用データを用いて機械学習を実行して、前記画像上の物体の分類を推定する学習モデルを生成し、
前記データ生成手段は、前記画像上において前記学習モデルを用いて前記カテゴリを分類するときに前記注目した部分が、前記注目決定部分に対し一致する割合が所定値より低い場合、前記画像上の前記注目した部分がカテゴリの分類に寄与しないように加工し前記第２の学習用データを生成する付記１から７いずれかに記載の学習装置。

（付記９）
前記データ生成手段は、前記注目した部分と前記注目決定部分が重なっている部分である第1のピクセル数の前記学習モデルが前記注目した部分である第２のピクセル数に対する比を前記一致する割合として算出する付記８に記載の学習装置。

（付記１０）
前記データ生成手段は、前記画像のコントラスト比、輝度または色度のうち少なくとも１つを変化させる加工を施して前記第２の学習用データを生成する付記８または９に記載の学習装置。

（付記１１）
第１の学習用データを基に機械学習を実行し、第１の学習用データのカテゴリを分類する学習モデルを生成し、
前記学習モデルを用いて前記第１の学習用データのカテゴリを分類する際に、前記学習モデルが前記第１の学習用データ上で注目した部分を検出し、
前記注目した部分が、予め決定された注目すべき注目決定部分に対し一致する割合に基づいて、前記注目した部分を加工した第２の学習用データを生成する
学習方法。

（付記１２）
前記注目した部分が前記注目決定部分に対し一致する割合が所定値よりも低い場合に、前記注目した部分の前記分類に対する寄与が小さくなるように前記注目した部分を加工して前記第２の学習用データを生成する付記１１に記載の学習方法。

（付記１３）
前記注目決定部分が、前記学習モデルを用いてカテゴリを分類するときに前記注目した部分に対し一致する割合を検出し、
前記一致の割合が所定値より低い場合、前記注目した部分に対して、前記学習モデルがカテゴリを分類しないよう加工し、加工によって前記第２の学習用データを生成する付記１１または１２に記載の学習方法。

（付記１４）
前記第２の学習用データを用いた再学習によって前記学習モデルを更新する付記１１から１３いずれかに記載の学習方法。

（付記１５）
前記学習モデルの推定精度が所定の基準を満たすとき、前記学習モデルの生成が終了したと判断する付記１１から１４いずれかに記載の学習方法。

（付記１６）
前記データ上においてカテゴリを分類する対象が存在する部分の情報を注目部分の情報として前記第１の学習用データに関連付けて保存する付記１１から１５いずれかに記載の学習方法。

（付記１７）
前記第２の学習用データを生成する際に、それぞれ異なる複数の加工内容に基づいて加工を施した前記第２の学習用データを生成する付記１１から１６いずれかに記載の学習方法。

（付記１８）
前記注目決定部分の情報としてカテゴリを分類する対象が存在する画像上の領域を示す情報を画像データと関連付けた前記第１の学習用データを用いて機械学習を実行して、前記画像上の物体の分類を推定する学習モデルを生成し、
前記画像上において前記学習モデルを用いて前記カテゴリを分類するときに前記注目した部分が、前記注目決定部分に対し一致する割合が所定値より低い場合、前記画像上の前記注目した部分がカテゴリの分類に寄与しないように加工し前記第２の学習用データを生成する付記１１から１７いずれかに記載の学習方法。

（付記１９）
前記注目した部分と前記注目決定部分が重なっている部分である第1のピクセル数の前記学習モデルが前記注目した部分である第２のピクセル数に対する比を前記一致する割合として算出する付記１８に記載の学習方法。

（付記２０）
前記画像のコントラスト比、輝度または色度のうち少なくとも１つを変化させる加工を施して前記第２の学習用データを生成する付記１８または１９に記載の学習方法。

（付記２１）
第１の学習用データを基に機械学習を実行し、第１の学習用データのカテゴリを分類する学習モデルを生成する処理と、
前記学習モデルを用いて前記第１の学習用データのカテゴリを分類する際に、前記学習モデルが前記第１の学習用データ上で注目した部分を検出する処理と、
前記注目した部分が、予め決定された注目すべき注目決定部分に対し一致する割合に基づいて、前記注目した部分を加工した第２の学習用データを生成する処理と
をコンピュータに実行させるコンピュータプログラムを記録した記録媒体。

（付記２２）
記注目した部分が前記注目決定部分に対し一致する割合が所定値よりも低い場合に、前記注目した部分の前記分類に対する寄与が小さくなるように前記注目した部分を加工して前記第２の学習用データを生成する処理をコンピュータに実行させるコンピュータプログラムを記録した付記２１に記載の記録媒体。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

１ 学習部
２ 注目部分検出部
３ データ生成部
１０ 学習装置
１１ 学習用データ入力部
１２ 学習用データ保存部
１３ 学習部
１４ 学習モデル保存部
１５ 注目部分検出部
１６ 一致検出部
１７ データ加工部
２０ 学習装置
２１ データ加工部
２２ データ加工制御部
２３ ユーザ端末通信部
３０ ユーザ端末装置
３１ 候補データ受信部
３２ ユーザ端末制御部
３３ 候補データ出力部
３４ 選択結果入力部
３５ 選択結果送信部
４０ 推定装置
４１ データ入力部
４２ データ保存部
４３ 推定部
４４ 学習モデル保存部
４５ 推定結果出力部
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶装置
５４ Ｉ／Ｆ部
１００ 端末装置
１０１ 学習用データ生成部
１０２ 制御部
１０３ データ送受信部
１０４ 入力部
１０５ 出力部

Claims (10)

1. 第１の学習用データを基に機械学習を実行し、第１の学習用データのカテゴリを分類する学習モデルを生成する学習手段と、
   前記学習モデルを用いて前記第１の学習用データのカテゴリを分類する際に、前記学習モデルが前記第１の学習用データ上で注目した部分を検出する注目部分検出手段と、
   前記注目した部分が、予め決定された注目すべき注目決定部分に対し一致する割合に基づいた強度による加工によって、前記注目した部分を加工した第２の学習用データを生成するデータ生成手段と
   を備える学習装置。
2. 前記データ生成手段は、前記注目した部分が前記注目決定部分に対し一致する割合が所定値よりも低い場合に、前記注目した部分の前記分類に対する寄与が小さくなるように前記注目した部分を加工して前記第２の学習用データを生成する請求項１に記載の学習装置。
3. 前記データ生成手段は、
   前記注目決定部分が、前記学習モデルを用いてカテゴリを分類するときに前記注目した部分に対し一致する割合を検出する一致検出手段と、
   前記一致の割合が所定値より低い場合、前記注目した部分に対して、前記学習モデルがカテゴリを分類しないよう加工し、加工によって前記第２の学習用データを生成するデータ加工手段と
   を含む請求項１または２に記載の学習装置。
4. 前記学習手段は、前記第２の学習用データを用いた再学習によって前記学習モデルを更新する請求項１から３いずれかに記載の学習装置。
5. 前記学習手段は、前記学習モデルの推定精度が所定の基準を満たすとき、前記学習モデルの生成が終了したと判断する請求項１から４いずれかに記載の学習装置。
6. 前記第１の学習用データ上においてカテゴリを分類する対象が存在する部分の情報を注目部分の情報として前記第１の学習用データに関連付けて保存する学習用データ保存手段をさらに備える請求項１から５いずれかに記載の学習装置。
7. 前記学習手段は、前記注目決定部分の情報としてカテゴリを分類する対象が存在する画像上の領域を示す情報を関連付けた前記第１の学習用データを用いて機械学習を実行して
   、前記画像上の物体の分類を推定する学習モデルを生成し、
   前記データ生成手段は、前記画像上において前記学習モデルを用いて前記カテゴリを分類するときに前記注目した部分が、前記注目決定部分に対し一致する割合が所定値より低い場合、前記画像上の前記注目した部分がカテゴリの分類に寄与しないように加工し前記第２の学習用データを生成する請求項１から６いずれかに記載の学習装置。
8. 前記データ生成手段は、前記注目した部分と前記注目決定部分が重なっている部分である第１のピクセル数の前記学習モデルが前記注目した部分である第２のピクセル数に対する比を前記一致する割合として算出する請求項７に記載の学習装置。
9. 第１の学習用データを基に機械学習を実行し、第１の学習用データのカテゴリを分類する学習モデルを生成し、
   前記学習モデルを用いて前記第１の学習用データのカテゴリを分類する際に、前記学習モデルが前記第１の学習用データ上で注目した部分を検出し、
   前記注目した部分が、予め決定された注目すべき注目決定部分に対し一致する割合に基づいた強度による加工によって、前記注目した部分を加工した第２の学習用データを生成する
   学習方法。
10. 第１の学習用データを基に機械学習を実行し、第１の学習用データのカテゴリを分類する学習モデルを生成する処理と、
    前記学習モデルを用いて前記第１の学習用データのカテゴリを分類する際に、前記学習モデルが前記第１の学習用データ上で注目した部分を検出する処理と、
    前記注目した部分が、予め決定された注目すべき注目決定部分に対し一致する割合に基づいた強度による加工によって、前記注目した部分を加工した第２の学習用データを生成する処理と
    をコンピュータに実行させる学習プログラム。

Images