JP7006401B2 - 学習プログラム、学習方法および学習装置 - Google Patents

Description

本発明は、学習プログラム、学習方法および学習装置に関する。

機械学習による分類や回帰を行う際、あらかじめ用意した訓練データで学習を行い、推定対象であるテストデータの推定を行うことが一般的である。例えば、車が写った写真などの画像データとその画像データに写っている車の車種との対を含む訓練データから特徴量を抽出して学習を行い、学習結果を用いて新たな写真を認識する。近年では、認識に用いる特徴量を自動的に設計する深層学習（ＤＬ：ディープラーニング）が知られている。

特開２０１６－２１９００４号公報 特開２０１５－１７６１７５号公報 特開２０１１－８６３４号公報

しかしながら、上記深層学習では、特徴設計が自動的に行われるので、訓練データ以外のデータでは、認識精度である汎化能力が低下する場合がある。具体的には、訓練データには複数の属性のラベルが付与されているのが一般的であるが、深層学習では、学習に影響を与えたくない学習対象のラベルを指定することができないので、学習に影響を与えたくないラベルに寄与する特徴による学習が行われることがある。このような学習結果にテストデータを適用した場合、学習対象のラベルに寄与する特徴を用いての認識が実行されないので、汎化能力が低下する。

例えば、車写真にラベルとして、車種（乗用車またはトラック）とメーカ名（Ｔ社またはＨ社）が付与された訓練データを用いて学習する場合に、学習対象のラベルである車種ではなく、メーカ名で学習されることがある。この場合、車の外形などで認識精度を向上させたいが、メーカのエンブレムの位置での認識精度が学習される。したがって、エンブレムがない車写真がテストデータである場合、この学習結果を用いて認識を行っても、正しい認識結果が得られない。

一つの側面では、汎化能力の低下を抑制することができる学習プログラム、学習方法および学習装置を提供することを目的とする。

第１の案では、学習プログラムは、コンピュータに、適合ラベルおよび非適合ラベルの各データ項目を有する入力データから生成される特徴量を入力して第１の推定結果を出力する第１の教師有学習器に対し、前記第１の推定結果と前記適合ラベルとが一致するように学習させる処理を実行させる。学習プログラムは、コンピュータに、前記特徴量を入力して第２の推定結果を出力する第２の教師有学習器に対し、前記第２の推定結果と前記非適合ラベルとが一致するように学習させる処理を実行させる。学習プログラムは、コンピュータに、前記入力データから前記特徴量を生成する特徴抽出器に対し、前記適合ラベルの認識を促進させ、かつ、前記非適合ラベルの認識を抑制する学習を実行させる処理を実行させる。

一実施形態によれば、汎化能力の低下を抑制することができる。

図１は、実施例１にかかる学習装置を説明する図である。 図２は、実施例１にかかる学習装置の機能構成を示す機能ブロック図である。 図３は、訓練データＤＢに記憶される訓練データの例を示す図である。 図４は、学習結果ＤＢに記憶される学習結果の例を示す図である。 図５は、学習処理での重みの変化を説明する図である。 図６は、テストデータＤＢに記憶されるテストデータの例を示す図である。 図７は、認識処理時の特徴抽出結果の例を示す図である。 図８は、認識結果の例を示す図である。 図９は、学習処理の流れを示すフローチャートである。 図１０は、認識処理の流れを示すフローチャートである。 図１１は、従来の認識結果を説明する図である。 図１２は、実施例１による認識結果を説明する図である。 図１３は、実施例２にかかる訓練データを説明する図である。 図１４は、実施例２にかかる学習の重みの変化を説明する図である。 図１５は、実施例２にかかる認識結果を説明する図である。 図１６は、学習結果の流用を説明する図である。 図１７は、学習結果の流用時の属性学習を説明する図である。 図１８は、ハードウェア構成例を説明する図である。

以下に、本願の開示する学習プログラム、学習方法および学習装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［学習装置の説明］
図１は、実施例１にかかる学習装置を説明する図である。図１に示す学習装置１は、特徴学習器と関心属性学習器と擾乱属性学習器とを有する情報処理装置の一例であり、訓練データを用いて各学習器を学習させる。各学習器には、例えばニューラルネットワーク（ＮＮ）で構成し、勾配法など様々な学習手法を採用することができる。また、学習の例として画像を例示して説明するが、あくまで一例であり、音声データなどにも適用することができ、学習内容や学習対象を限定するものではない。

訓練データは、ラベルとして複数の属性が与えられた教師有のデータ群であり、「画像データ、関心属性ラベル、擾乱属性ラベル」から構成されるデータを複数有する。ここで、画像データは、車の写真などである。関心属性ラベルは、ユーザが認識結果に影響を与えたい、学習対象の属性のラベルであり、適合ラベルの一例である。擾乱属性ラベルは、ユーザが認識結果に影響を与えたくない、学習対象外の属性のラベルであり、非適合ラベルの一例である。図１では、訓練データ「画像データ、関心属性ラベル、擾乱属性ラベル」として「ｘ、ｙ１、ｙ２」を用いて説明する。なお、訓練データが有する複数のラベルのうち、いずれのラベルを関心属性ラベルにするのかは、ユーザが指定できる。

特徴学習器は、訓練データの画像データ（ｘ）を入力して、特徴量（ｚ）を生成する特徴生成器の一例である。例えば、特徴学習器は、学習対象が画像データの場合は、画像データ内のエッジ、コントラスト、画像内の車の外形などを特徴として生成する。

関心属性学習器は、ラベルつきの教師有データに対し、分類や回帰などの学習を実行する教師有学習器の一例である。例えば、関心属性学習器は、入力（ｘ）から生成された特徴量（ｚ）を入力として、予測値である推定ラベル（ｙ´）を出力する。

擾乱属性学習器は、ラベルつきの教師有データに対し、分類や回帰などの学習を実行する教師有学習器の一例である。例えば、擾乱属性学習器は、入力（ｘ）から生成された特徴量（ｚ）を入力として、予測値である推定ラベル（ｙ´´）を出力する。

このような学習装置１は、関心属性学習器に対して、推定ラベル（ｙ´）と関心属性ラベル（ｙ１）とが一致するように学習させる。また、学習装置１は、擾乱属性学習器に対して、推定ラベル（ｙ´´）と擾乱属性ラベルと（ｙ２）が一致するように学習させる。そして、学習装置１は、特徴学習器に対して、関心属性ラベルの認識を促進させ、かつ、擾乱属性ラベルの認識を抑制する学習を実行させる。

つまり、学習装置１は、訓練データのラベルに複数の属性が与えられている場合でも、擾乱属性ラベルに依存しない特徴（特徴量）の抽出を学習し、関心属性ラベルに対する認識処理の精度を向上させる。したがって、学習装置１は、学習器の特徴設計を意識的に制御することができるので、汎化能力の低下を抑制することができる。

［機能構成］
図２は、実施例１にかかる学習装置１の機能構成を示す機能ブロック図である。図２に示すように、学習装置１は、学習部１０と認識部２０を有する。なお、図２に示す各ＤＢは、メモリやハードディスクなどの記憶装置に記憶される。また、図２に示す各種処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

（学習部の構成）
学習部１０は、訓練データＤＢ１１、学習結果ＤＢ１２、訓練データ入力部１３、特徴学習部１４、関心属性学習部１５、擾乱属性学習部１６を有する。

訓練データＤＢ１１は、学習対象の訓練データを記憶するデータベースである。例えば、訓練データＤＢ１１は、画像データと複数のラベルとから構成される、複数のラベル付きデータ群を記憶する。図３は、訓練データＤＢ１１に記憶される訓練データの例を示す図である。図３に示すように、訓練データＤＢ１１は、「属性数、関心属性、擾乱属性」を対応付けたデータと、「データＩＤ、関心属性ラベル、擾乱属性ラベル、データ本体」を対応付けたデータとを記憶する。

「属性数」は、訓練データが有するラベルの数である。「関心属性」は、訓練データに付加される複数のラベルのうち、ユーザが認識結果に影響を与えたい属性のラベルであり、ユーザが指定することができる。「擾乱属性」は、訓練データに付加される複数のラベルのうち、ユーザが認識結果に影響を与えたくない属性のラベルであり、ユーザが指定することができる。図３の例では、属性数が「１，１」であることから、関心属性が１つ、擾乱属性が１つであることを示し、関心属性が「車種」かつ擾乱属性が「メーカ名」であることが指定されている。

また、「データＩＤ」は、訓練データを識別する識別子である。「関心属性ラベル」は、関心属性として指定されたラベルであり、「擾乱属性ラベル」は、擾乱属性として指定されたラベルである。「データ本体」は、画像データのファイル名等である。図３の例では、データＩＤ「ＴＲ１」の訓練データは、ファイル名が「Ｉ１」の画像ファイル（画像データ）であり、関心属性ラベル「乗用車」と擾乱属性ラベル「Ｔ社」が付与されている。なお、画像ファイルそのものは、ハードディスクなどに記憶することもできる。

学習結果ＤＢ１２は、学習結果を記憶するデータベースである。具体的には、学習結果ＤＢ１２は、学習されたニューラルネットワークのシナプスの重みなどを記憶する。図４は、学習結果ＤＢ１２に記憶される学習結果の例を示す図である。図４に示すように、学習結果ＤＢ１２は、「特徴学習重み、関心属性学習重み」を記憶する。「特徴学習重み」は、特徴抽出器に設定する、学習済みの重み情報であり、「関心属性学習重み」は、関心属性認識器に設定する、学習済みの重み情報である。

図４の例では、特徴学習重みとして「Ｗ１Ｎ」が学習され、関心属性学習重みとして「Ｗ２Ｎ」が学習されたことを示す。なお、学習結果ＤＢ１２は、学習結果に限らず、各学習の学習過程を記憶することもできる。

訓練データ入力部１３は、訓練データＤＢ１１から訓練データを順次読み込んで、特徴学習部１４に入力する処理部である。例えば、訓練データ入力部１３は、データ本体「Ｉ１」をハードディスクなどから取得して、特徴学習部１４に入力する。なお、訓練データ入力部１３は、学習が終了するまで、訓練データの入力を繰り返す。

特徴学習部１４は、訓練データから特徴量を抽出して関心属性学習部１５と擾乱属性学習部１６とに出力する処理部であり、機械学習によって特徴量の抽出を学習する学習器である。例えば、特徴学習部１４は、ニューラルネットワーク（ＮＮ）などを用いて、訓練データ入力部１３から入力された画像データ「Ｉ１」から特徴量「ｚ」を抽出して、関心属性学習部１５と擾乱属性学習部１６とに出力する。

また、特徴学習部１４は、訓練データに対する関心属性の認識精度が上がり、擾乱属性の認識精度が下がるように学習する。つまり、特徴学習部１４は、特徴量を抽出するＮＮに対して、関心属性ラベルの認識を促進させ、かつ、擾乱属性ラベルの認識を抑制する学習を実行させる。

例えば、特徴学習部１４は、関心属性学習部１５の出力である推定ラベル（ｙ´）と、推定ラベル（ｙ´）の生成に使用された訓練データの関心属性ラベルとの誤差（Ａ）が小さくなるように、ＮＮの重みを学習する。同時に、特徴学習部１４は、擾乱属性学習部１６の出力である推定ラベル（ｙ´´）と、推定ラベル（ｙ´´）の生成に使用された訓練データの擾乱属性ラベルとの誤差（Ｂ）が大きくなるように、ＮＮの重みを学習する。

より詳細には、特徴学習部１４は、最小二乗法による二乗誤差によって誤差（Ａ）を算出し、この誤差（Ａ）が閾値以下となるまで学習を繰り返す。同様に、特徴学習部１４は、最小二乗法による二乗誤差によって誤差（Ｂ）を算出し、この誤差（Ｂ）が閾値以上となるまで学習を繰り返す。なお、終了条件は、閾値に限らず、予め定めた回数であってもよい。また、二乗誤差に限らず、クロスエントロピーなどを用いることもできる。

関心属性学習部１５は、特徴量から関心属性の推定ラベルを出力する処理部であり、機械学習によって、関心属性の推定ラベルの推定を学習する学習器である。例えば、関心属性学習部１５は、ニューラルネットワーク（ＮＮ）などを用いて、特徴学習部１４から入力された特徴「ｚ」から推定ラベル（ｙ´）を推定する。

また、関心属性学習部１５は、訓練データに対する関心属性の認識精度が上がるように学習する。例えば、関心属性学習部１５は、特徴量（ｚ）を用いて推定した推定ラベル（ｙ´）と、推定ラベル（ｙ´）の推定に使用された訓練データのデータ本体に対応する関心属性ラベルとの誤差（Ａ）が小さくなるように、ＮＮの重みを学習する。誤差（Ａ）については、特徴学習部１４と同様、二乗誤差などを用いることができる。また、終了条件も特徴学習部１４と同様の手法を採用することができる。

擾乱属性学習部１６は、特徴量から擾乱属性の推定ラベルを出力する処理部であり、機械学習によって、擾乱属性の推定ラベルの推定を学習する学習器である。例えば、擾乱属性学習部１６は、ニューラルネットワーク（ＮＮ）などを用いて、特徴学習部１４から入力されたが特徴量「ｚ」から推定ラベル（ｙ´´）を推定する。

また、擾乱属性学習部１６は、訓練データに対する擾乱属性の認識精度が上がるように学習する。例えば、擾乱属性学習部１６は、特徴量（ｚ）を用いて認識した推定ラベル（ｙ´´）と、推定ラベル（ｙ´´）の推定に使用された訓練データのデータ本体に対応する関心属性ラベルとの誤差（Ｂ）が小さくなるように、ＮＮの重みを学習する。誤差（Ｂ）については、特徴学習部１４と同様、二乗誤差などを用いることができる。また、終了条件も特徴学習部１４と同様の手法を採用することができる。

そして、特徴学習部１４、関心属性学習部１５、擾乱属性学習部１６の各学習器は、閾値との比較による評価基準を満たす場合に、学習を終了する。このとき、特徴学習部１４は、学習終了時の重みを特徴学習重みとして学習結果ＤＢ１２に格納し、関心属性学習部１５は、学習終了時の重みを関心属性学習重みとして学習結果ＤＢ１２に格納する。なお、各学習器は、いずれかの学習器が評価基準を満たしたときに学習を終了してもよく、すべての学習器が評価基準を満たしたときに学習を終了してもよい。

ここで、学習処理での重みの変化について説明する。図５は、学習処理での重みの変化を説明する図である。図５に示すように、「特徴学習重み、関心属性学習重み、擾乱属性学習重み」の初期値として「Ｗ１０、Ｗ２０、Ｗ３０」が設定されている状態で、１つ目の訓練データを用いての学習が終了すると、「Ｗ１０、Ｗ２０、Ｗ３０」のうち関心属性学習重みが更新されて「Ｗ１０、Ｗ２１、Ｗ３０」となる。続いて、「Ｗ１０、Ｗ２１、Ｗ３０」のうち擾乱属性学習重みが更新されて「Ｗ１０、Ｗ２１、Ｗ３１」となる。さらに、「Ｗ１０、Ｗ２１、Ｗ３１」のうち特徴学習重みが更新されて「Ｗ１１、Ｗ２１、Ｗ３１」となる。

このように、訓練データを用いて随時学習し、評価基準を満たしたときの重みが「Ｗ１Ｎ、Ｗ２Ｎ、Ｗ３Ｎ」とすると、「特徴学習重み、関心属性学習重み」＝「Ｗ１Ｎ、Ｗ２Ｎ」を学習結果ＤＢ１２に格納する。なお、ここでは、１つの訓練データで各学習器の学習重みを更新する例を説明したが、これに限定されず、１つの訓練データで１つの学習器の学習重みを更新することもできる。

（認識部の構成）
認識部２０は、テストデータＤＢ２１、テストデータ入力部２２、特徴抽出部２３、関心属性認識部２４、出力部２５を有する。

テストデータＤＢ２１は、推定対象のデータを記憶するデータベースである。つまり、テストデータＤＢ２１は、ラベルが付加されていない、何の画像かわからない画像データを記憶する。図６は、テストデータＤＢ２１に記憶されるテストデータの例を示す図である。

図６に示すように、テストデータＤＢ２１は、「データＩＤ、データ本体」を対応付けて記憶する。「データＩＤ」は、テストデータを識別する識別子であり、「データ本体」は、画像データのファイル名等である。図６の例では、データＩＤ「ＴＴ１」のテストデータは、ファイル名が「Ｉ１´」の画像ファイルであり、データＩＤ「ＴＴ２」のテストデータは、ファイル名が「Ｉ２´」の画像ファイルであることを示す。なお、画像ファイルそのものは、ハードディスクなどに記憶することもできる。

テストデータ入力部２２は、テストデータＤＢ２１からテストデータを順次読み込んで、特徴抽出部２３に入力する処理部である。例えば、テストデータ入力部２２は、データ本体「Ｉ１´」をハードディスクなどから取得して特徴抽出部２３に入力し、データ本体「Ｉ１´」の認識が終了すると、データ本体「Ｉ２´」をハードディスクなどから取得して特徴抽出部２３に入力する。

特徴抽出部２３は、特徴量の抽出に関して学習された重みを適用したＮＮを用いる特徴抽出器を実行して、テストデータから特徴量を抽出する処理部である。具体的には、特徴抽出部２３は、学習結果ＤＢ１２から「特徴学習重み（Ｗ１Ｎ）」を読み出し、「特徴学習重み（Ｗ１Ｎ）」をシナプスの重みとして設定したＮＮを構成する。そして、特徴抽出部２３は、学習されたシナプスの重みにしたがって、特徴量を抽出する。

図７は、認識処理時の特徴抽出結果の例を示す図である。図７に示すように、特徴抽出部２３は、データＩＤ「ＴＴ１」のデータ本体「Ｉ１´」が入力された場合に、特徴量「Ｅｘ１」を抽出して、関心属性認識部２４に出力する。また、特徴抽出部２３は、データＩＤ「ＴＴ２」のデータ本体「Ｉ２´」が入力された場合に、特徴量「Ｅｘ２」を抽出して、関心属性認識部２４に出力する。

関心属性認識部２４は、関心属性ラベルの推定に関して学習された重みを適用したＮＮを用いる関心属性認識器を実行し、テストデータの特徴（特徴量）からラベルを認識する処理部である。具体的には、関心属性認識部２４は、学習結果ＤＢ１２から「関心属性学習重み（Ｗ２Ｎ）」を読み出し、「関心属性重み（Ｗ２Ｎ）」をシナプスの重みとして設定したＮＮを構成する。そして、関心属性認識部２４は、学習されたシナプスの重みにしたがって、ラベルの認識を実行する。

図８は、認識結果の例を示す図である。図８に示すように、関心属性認識部２４は、データＩＤ「ＴＴ１」のデータ本体「Ｉ１´」の特徴量「Ｅｘ１」が入力された場合に、関心属性ラベル「乗用車」を認識して、出力部２５に出力する。また、関心属性認識部２４は、データＩＤ「ＴＴ２」のデータ本体「Ｉ２´」の特徴量「Ｅｘ２」が入力された場合に、関心属性ラベル「トラック」を認識して、出力部２５に出力する。

出力部２５は、関心属性認識部２４の認識結果を、ディスプレイなどの表示部に表示したり、ユーザ端末に送信したりする処理部である。例えば、出力部２５は、データＩＤ「ＴＴ１」のデータ本体「Ｉ１´」の認識結果を「乗用車」と出力し、データＩＤ「ＴＴ２」のデータ本体「Ｉ２´」の認識結果を「トラック」と出力する。

［学習処理の流れ］
図９は、学習処理の流れを示すフローチャートである。図９に示すように、学習部１０は、指示を受け付けて学習を開始すると（Ｓ１０１：Ｙｅｓ）、各学習器のシナプスの重みをランダム値に設定して、各学習器を初期化する（Ｓ１０２）。

続いて、学習部１０は、訓練データを読み込み（Ｓ１０３）、特徴学習部１４によって特徴量を抽出する（Ｓ１０４）。その後、学習部１０は、関心属性学習部１５によって、特徴量から関心属性ラベルを推定し（Ｓ１０５）、擾乱属性学習部１６によって、特徴量から擾乱属性ラベルを推定する（Ｓ１０６）。

そして、学習部１０は、各学習器を学習する（Ｓ１０７）。すなわち、学習部１０の特徴学習部１４は、関心属性学習部１５の出力である推定ラベル（ｙ´）と、訓練データの関心属性ラベルとの誤差（Ａ）が小さくなるように、ＮＮの重みを学習する。同時に、特徴学習部１４は、擾乱属性学習部１６の出力である推定ラベル（ｙ´´）と、訓練データの擾乱属性ラベルとの誤差（Ｂ）が大きくなるように、ＮＮの重みを学習する。また、関心属性学習部１５は、上記誤差（Ａ）が小さくなるようにＮＮの重みを学習し、擾乱属性学習部１６は、上記誤差（Ｂ）が小さくなるようにＮＮの重みを学習する。

その後、学習部１０は、評価基準を満たす場合は（Ｓ１０８：Ｙｅｓ）、学習結果を学習結果ＤＢ１２に出力する（Ｓ１０９）。一方、学習部１０は、評価基準を満たさない場合は（Ｓ１０８：Ｎｏ）、Ｓ１０３以降を繰り返す。

［認識処理の流れ］
図１０は、認識処理の流れを示すフローチャートである。図１０に示すように、認識部２０は、指示を受け付けて認識を開始すると（Ｓ２０１：Ｙｅｓ）、学習結果ＤＢ１２から学習結果を読み込む（Ｓ２０２）。

続いて、認識部２０は、学習結果の各重みをシナプスに設定した特徴抽出器と関心属性認識器を設定し（Ｓ２０３）、テストデータを読み込む（Ｓ２０４）。

そして、認識部２０は、特徴抽出器を実行する特徴抽出部２３によって、テストデータから特徴量を抽出し（Ｓ２０５）、関心属性認識器を実行する関心属性認識部２４によって、特徴量から関心属性を認識する（Ｓ２０６）。その後、認識部２０は、出力部２５によって、認識結果を出力する（Ｓ２０７）。

［認識結果の比較例および効果］
次に、従来の学習結果と実施例１の学習結果との比較例を説明する。図１１は、従来の認識結果を説明する図であり、図１２は、実施例１による認識結果を説明する図である。

ここでは、訓練データ「画像、車種（ラベル）、メーカ名（ラベル）」として、（１）「Ｔ社のエンブレムが前方に付いている乗用車の画像、乗用車、Ｔ社」、（２）「Ｔ社のエンブレムが後方に付いているトラックの画像、トラック、Ｔ社」、（３）「Ｈ社のエンブレムが前方に付いている乗用車の画像、乗用車、Ｈ社」、（４）「Ｈ社のエンブレムが後方に付いているトラックの画像、トラック、Ｈ社」を用いることとする。また、関心属性として車種、擾乱属性としてメーカ名をユーザが指定するとする。

図１１に示す従来の学習では、特徴学習器などの学習器に対して、関心属性や擾乱属性の指定を行うことができない。このため、学習器は、メーカのエンブレムの位置で乗用車とトラックとを識別するように学習することがある。例えば、学習器は、（１）と（３）の訓練データに対しては、エンブレムが前方についているので乗用車と認識するように学習し、（２）と（４）の訓練データに対しては、エンブレムが後方についているのでトラックと認識するように学習する。

このため、学習結果を用いた認識器は、（５）「Ｎ社のエンブレムが後方についている乗用車の画像」がテストデータとして入力された場合、エンブレムが後方についていることから、「トラック」と誤認識する。

一方で、実施例１にかかる学習装置１は、図１２に示すように、特徴学習器などの学習器に対して、関心属性や擾乱属性の指定を行うことができる。このため、学習装置１の学習器は、乗用車とトラックの認識を、擾乱属性であるメーカ名ではなく、車の外形で識別するように学習することができる。例えば、学習装置１の学習器は、（１）と（３）の訓練データに対しては、エンブレムの位置に関わらず、車の後方が水平（荷台）でないことから、乗用車と認識するように学習し、（２）と（４）の訓練データに対しては、エンブレムの位置に関わらず、車の後方が水平（荷台）であることから、トラックと認識するように学習する。

このため、学習結果を用いた認識器は、（５）「Ｎ社のエンブレムが後方についている乗用車の画像」がテストデータとして入力された場合、エンブレムの位置に関わらず、車の後方が水平（荷台）でないことから、「乗用車」と認識できる。

したがって、学習装置１は、認識結果に影響を与えたくない属性ラベルが存在する場合、あるいは、学習に含めたくない属性ラベルが存在する場合でも、学習したい属性ラベルを明示的に学習器に指定して学習することができるので、汎化能力の低下を抑制することができる。

実施例１では、車の画像（写真）から写っている車が乗用車かトラックかを認識する例を説明したが、これに限定されるものではなく、他の様々な画像認識を適用することができる。そこで、実施例２では、一例として、人の画像（写真）を成人か子供かのいずれかに認識する例を説明する。

図１３は、実施例２にかかる訓練データを説明する図である。なお、データ構成は実施例１と同様とする。図１３に示すように、実施例２では、関心属性として「成人かどうか」と、擾乱属性として「性別」が指定されている。

したがって、関心属性学習部１５は、図１３に示す訓練データに対して、「関心属性ラベル」と推定ラベルとが一致するようにＮＮの重みを学習する。擾乱属性学習部１６は、図１３に示す訓練データに対して、「擾乱属性ラベル」と推定ラベルとが一致するようにＮＮの重みを学習する。特徴学習部１４は、「関心属性ラベル」と関心属性学習部１５による推定ラベルとが一致するようにＮＮの重みを学習するとともに、「擾乱属性ラベル」と擾乱属性学習部１６による推定ラベルとが一致しないようにＮＮの重みを学習する。

図１４は、実施例２にかかる学習の重みの変化を説明する図である。図１４に示すように、「特徴学習重み、関心属性学習重み、擾乱属性学習重み」の初期値として「Ｗ１０、Ｗ２０、Ｗ３０」が設定されている状態で、１つ目の訓練データを用いての学習が終了すると、「Ｗ１０、Ｗ２０、Ｗ３０」のうち関心属性学習重みが更新されて「Ｗ１０、Ｗ２１、Ｗ３０」となる。続いて、「Ｗ１０、Ｗ２１、Ｗ３０」のうち擾乱属性学習重みが更新されて「Ｗ１０、Ｗ２１、Ｗ３１」となる。さらに、「Ｗ１０、Ｗ２１、Ｗ３１」のうち特徴学習重みが更新されて「Ｗ１１、Ｗ２１、Ｗ３１」となる。このように、訓練データを用いて随時学習し、評価基準を満たしたときの重みが「Ｗ１Ｎ、Ｗ２Ｎ、Ｗ３Ｎ」とすると、「特徴学習重み、関心属性学習重み」＝「Ｗ１Ｎ、Ｗ２Ｎ」を学習結果ＤＢ１２に格納する。

具体例を挙げると、学習部１０は、エプロンをしている人画像であっても、長い髪の毛の人画像であっても、画像内の人の頭と体の大きさの割合によって、成人か子供かを認識するように学習する。

このような学習結果を用いた認識部２０のラベル認識を説明する。図１５は、実施例２にかかる認識結果を説明する図である。図１５に示すように、認識部２０は、男性がエプロンをした画像（Ｉ１´）が入力された場合でも、エプロンに関係なく、頭と体のバランスを特徴量（Ｅｘ１）として抽出できるので、「成人」と正しく認識することができる。同様に、認識部２０は、制服を着た小学生の画像（Ｉ２´）が入力された場合でも、制服等に関係なく、頭と体のバランスを特徴量（Ｅｘ２）として抽出できるので、「子供」と正しく認識することができる。

したがって、このような学習結果は、たばこ、お酒などのように成人にしか購入できない商品の購入者の判別などに利用することができる。

ところで、上述した成人判定の学習結果（重み情報）を購入して、性別判定などに悪用される可能性もある。しかし、実施例１－２にかかる学習結果では、悪用された場合でも、悪用者が期待する認識精度が出ないので、結果として悪用を抑制することができる。

図１６は、学習結果の流用を説明する図であり、図１７は、学習結果の流用時の属性学習を説明する図である。図１６に示すように、悪用者は、訓練データの入力、特徴抽出、属性学習を行う際に、最も難しい特徴抽出に学習結果を流用する。すなわち、悪用者は、特徴を学習しないので少ないデータで済むと期待し、属性（性別）の学習のみを実行する。そして、悪用者は、成人判定の特徴抽出を用いて、属性（性別）の学習結果（属性重み：ＸＸＸ）を取得する。その後、悪用者は、成人判定の特徴抽出の重み（特徴重み：Ｗ１Ｎ）を適用した特徴抽出と属性重み（ＸＸＸ）を適用した属性認識とを含む認識器を用いて、性別認識を行うことを試みる。

しかし、図１７に示すように、成人判定の特徴抽出を用いて属性（性別）の学習を行った場合、「属性ラベル＝男性」のデータ「Ｉ１」であっても、「属性ラベル＝女性」のデータ「Ｉ２」であっても、属性ラベルに依存しない特徴量（例えば、頭と体の大きさの割合）が抽出される。したがって、図１７に示すように、属性学習重みは初期値「Ｗ１０」から更新されるが収束しない。すなわち、悪用者による学習器は、性別に関係ない特徴で学習することになり、属性学習重みが評価基準を満たさない。このように、学習結果を悪用された場合でも、悪用者が期待する認識精度を得ることは難しい。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に異なる実施例を説明する。

［学習器と認識器］
上記実施例では、学習器と認識器とを１つの装置で実現する例を説明したが、これに限定されるものではなく、別々の装置で実現することもできる。なお、学習器の学習の順番は、順不同である。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報、閾値については、特記する場合を除いて任意に変更することができる。なお、関心属性学習部１５と関心属性認識部２４は、第１の教師有学習器の一例であり、擾乱属性学習部１６は、第２の教師有学習器の一例であり、特徴学習部１４と特徴抽出部２３は、特徴抽出器の一例である。関心属性学習部１５は、第１学習部の一例であり、擾乱属性学習部１６は、第２学習部の一例であり、特徴学習部１４は、第３学習部の一例である。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア構成］
図１８は、ハードウェア構成例を説明する図である。図１８に示すように、学習装置１は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。

通信インタフェース１０ａは、他の装置の通信を制御するネットワークインタフェースカードなどである。ＨＤＤ１０ｂは、プログラムやデータなどを記憶する記憶装置の一例である。

メモリ１０ｃの一例としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等が挙げられる。プロセッサ１０ｄの一例としては、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）等が挙げられる。

また、学習装置１は、プログラムを読み出して実行することで学習方法を実行する情報処理装置として動作する。つまり、学習装置１は、学習部１０と認識部２０と同様の機能を実行するプログラムを実行する。この結果、学習装置１は、学習部１０と認識部２０と同様の機能を実行するプロセスを実行することができる。なお、この他の実施例でいうプログラムは、学習装置１によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

１ 学習装置
１０ 学習部
１１ 訓練データＤＢ
１２ 学習結果ＤＢ
１３ 訓練データ入力部
１４ 特徴学習部
１５ 関心属性学習部
１６ 擾乱属性学習部
２０ 認識部
２１ テストデータＤＢ
２２ テストデータ入力部
２３ 特徴抽出部
２４ 関心属性認識部
２５ 出力部

Claims (5)

1. 適合ラベルおよび非適合ラベルの各データ項目を有する入力データから生成される特徴量を入力して第１の推定結果を出力する第１の教師有学習器に対し、前記第１の推定結果と前記適合ラベルとが一致するように学習させ、
   前記特徴量を入力して第２の推定結果を出力する第２の教師有学習器に対し、前記第２の推定結果と前記非適合ラベルとが一致するように学習させ、
   前記入力データから前記特徴量を生成する特徴抽出器に対し、前記適合ラベルの認識を促進させ、かつ、前記非適合ラベルの認識を抑制する学習を実行させる、
   処理をコンピュータに実行させる学習プログラム。
2. 前記第１の推定結果と前記適合ラベルとの誤差が小さくなるように、かつ、前記第２の推定結果と前記非適合ラベルとの誤差が大きくなるように、前記特徴抽出器を学習させる処理を前記コンピュータに実行させる請求項１に記載の学習プログラム。
3. 学習済みの前記特徴抽出器を用いて、認識対象のテストデータから前記特徴量を生成し、学習済みの前記第１の教師有学習器を用いて、前記特徴量から前記適合ラベルを認識する処理を前記コンピュータに実行させる請求項１または２に記載の学習プログラム。
4. 適合ラベルおよび非適合ラベルの各データ項目を有する入力データから生成される特徴量を入力して第１の推定結果を出力する第１の教師有学習器に対し、前記第１の推定結果と前記適合ラベルとが一致するように学習させ、
   前記特徴量を入力して第２の推定結果を出力する第２の教師有学習器に対し、前記第２の推定結果と前記非適合ラベルとが一致するように学習させ、
   前記入力データから前記特徴量を生成する特徴抽出器に対し、前記適合ラベルの認識を促進させ、かつ、前記非適合ラベルの認識を抑制する学習を実行させる、
   処理をコンピュータが実行する学習方法。
5. 適合ラベルおよび非適合ラベルの各データ項目を有する入力データから生成される特徴量を入力して第１の推定結果を出力する第１の教師有学習器に対し、前記第１の推定結果と前記適合ラベルとが一致するように学習させる第１学習部と、
   前記特徴量を入力して第２の推定結果を出力する第２の教師有学習器に対し、前記第２の推定結果と前記非適合ラベルとが一致するように学習させる第２学習部と、
   前記入力データから前記特徴量を生成する特徴抽出器に対し、前記適合ラベルの認識を促進させ、かつ、前記非適合ラベルの認識を抑制する学習を実行させる第３学習部と、
   を有する学習装置。

Images