JP7544254B2 - 学習装置、学習方法、及びプログラム - Google Patents

学習装置、学習方法、及びプログラム Download PDF

Info

Publication number
JP7544254B2
JP7544254B2 JP2023504999A JP2023504999A JP7544254B2 JP 7544254 B2 JP7544254 B2 JP 7544254B2 JP 2023504999 A JP2023504999 A JP 2023504999A JP 2023504999 A JP2023504999 A JP 2023504999A JP 7544254 B2 JP7544254 B2 JP 7544254B2
Authority
JP
Japan
Prior art keywords
target data
statistical property
data
feature
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023504999A
Other languages
English (en)
Other versions
JPWO2022190301A1 (ja
JPWO2022190301A5 (ja
Inventor
貴也 宮本
博志 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2022190301A1 publication Critical patent/JPWO2022190301A1/ja
Publication of JPWO2022190301A5 publication Critical patent/JPWO2022190301A5/ja
Application granted granted Critical
Publication of JP7544254B2 publication Critical patent/JP7544254B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Description

この開示は、学習装置、学習方法、及びコンピュータ可読媒体に関する。
対象となるデータの特徴（パターン）を特徴量抽出器により抽出し、抽出された特徴量を用いて、データの認識を行うパターン認識装置が知られている。例えば、物体画像認識では、対象の物体が映る画像から特徴量ベクトルを抽出し、線形分類器により対象の物体がどのクラスに属するかを推定する。また、顔認証では、人物顔画像から特徴量ベクトルを抽出し、特徴量空間上での特徴量ベクトルの距離により本人又は他人の認識を行う。
このような認識を可能とするために、事前に収集した正解クラスラベル付きの教師有りデータ（以下、学習データと呼ぶ）を用いて、対象データとそのクラスラベルとの統計的な性質を近づけるように特徴量抽出器を学習する、統計的機械学習が広く利用されている。顔認証の例では、異なる人物をそれぞれ異なるクラスとして定義し、多クラス分類問題の教師有り学習を行う。
このとき、一般的に、統計的機械学習では、学習データと同じ統計的性質を持つデータに対しては高い認識性能を持つが、学習データと統計的性質が異なるデータに対しては性能が低下する。統計的性質が異なる画像としては、例えば、可視光カメラで撮影された画像と近赤外カメラで撮影された画像とのような、クラスラベル情報以外の情報が異なるような画像である。
統計的性質が異なるデータに対して性能が低下する原因としては、抽出される特徴量の、特徴量空間上での統計的な分布が異なることが挙げられる。この原因に関して、図１の上図を用いて、詳しく説明する。
図１の上図は、統計的性質が異なるデータに対する特徴量の、特徴量空間上での分布に関する概念図である。ここでは、データには２つのクラスのみ存在するとし、第１のクラスに属するデータの特徴量を星で表し、第２のクラスに属するデータの特徴量を三角で表している。また、第１の統計的性質を持つデータの特徴量分布を実線で表し、第２の統計的性質を持つデータの特徴量分布を点線で表している。特に、第１の統計的性質を学習データの統計的性質であることを想定し、学習データとは異なる統計的性質を第２の統計的性質とする。
学習データを用いた教師有り学習により、特徴量抽出器は、第１の統計的性質を持つデータに対する特徴量分布（図１の上図の実線の丸の範囲）のクラス同士の分離度が高くなるように学習される。つまり、特徴量抽出器は、同クラス内の特徴量の距離は小さく、他クラス間の特徴量の距離は大きくなるように学習される。
このとき、学習データとは異なる統計的性質である第２の統計的性質を持つデータに対する特徴量分布は、十分に（もしくは全く）学習されていないために、第１の統計的性質を持つデータに対する特徴量分布とは異なる分布を持つ。特に、第１の統計的性質を持つデータに対する特徴量分布よりも、クラス同士の分離度が低い分布を持つ。
このことにより、第１の統計的性質を持つデータに対する特徴量と比較して、第２の統計的性質を持つデータに対する特徴量は、同クラス内の特徴量の距離が大きくなるか、もしくは、他クラス間の特徴量の距離が小さくなるため、クラス分類等の認識性能が低下する。特に、顔認証の場合、本人の画像であっても、統計的性質が異なる画像同士の特徴量の距離が大きくなり、認識性能が低下する。
このような、学習データとの統計的性質の差が生じる状況は多く存在する。例えば、顔認証の場合、学習データには、容易に入手可能な可視光カメラで撮影された画像が多く含まれるが、近赤外カメラや遠赤外線カメラ等で撮影された画像は数が少ない（もしくは含まれない）ことが一般的である。このために、可視光カメラで撮影された可視光画像に比べて、近赤外カメラで撮影された近赤外画像での認識精度が低下することが問題となっている。
上述したようなデータ間の統計的性質の差を補正するために、統計的性質の異なる、同クラスのデータの特徴量分布を互いに近づけるように特徴量抽出器を学習する手法が知られている。
図１の下図は、データ間の統計的性質の差の補正を概念的に示した図である。補正前の、特徴量抽出器により抽出される特徴量分布は、上図に表すように、統計的性質の異なるデータでそれぞれ異なる分布を持つ。これに対して、補正後の特徴量分布は、同クラスで統計的性質の異なるデータの特徴量分布を互いに近づけるように特徴量抽出器が学習される。図中の矢印は、特徴量空間における、特徴量分布の補正の方向を示し、実線の矢印は第１の統計的性質を持つデータに対する特徴量分布の補正の方向を表し、点線の矢印は第２の統計的性質を持つデータに対する特徴量分布の補正の方向を表す。
この補正により、同クラスの、第１、第２の統計的性質を持つデータが、ある一定の分布を持つようになる。また、補正後の特徴量分布は、補正前の特徴量分布と比較して、第２の統計的性質を持つデータに対する特徴量のクラス同士の分離度が高くなる。
補正後の特徴量分布では、第１、第２の統計的性質を持つデータが、ある一定の分布を持つようになることにより、同クラスの、統計的性質が異なるデータの特徴量間の距離が、補正前の特徴量分布と比較して小さくなる。この結果、例えば、顔認証の場合、統計的性質が異なる画像（例えば、可視光カメラで撮影された画像と近赤外カメラで撮影された画像）同士の認証精度が改善するという効果がある。
また、補正後の特徴量分布は、補正前の特徴量分布と比較して、第２の統計的性質を持つデータに対する特徴量のクラス同士の分離度が高くなることにより、第２の統計的性質を持つデータに対する認証精度が改善するという効果がある。
上述したような、データ間の統計的性質の差を補正する技術の１つとして、特許文献１，２に開示された学習方法がある。
特許文献１にかかる学習方法では、訓練データとテストデータとが異なる確率分布に従っている場合に、訓練データとテストデータとの生成確率の比である重要度を考慮した重要度重み付き損失関数を用いた勾配ブースティングによって、予測モデルを学習する。これにより、テストデータのラベルをより高い精度で予測する。このようにして、特許文献１にかかる学習方法では、確率分布が異なる訓練データとテストデータ間、すなわち、統計的性質が異なる訓練データとテストデータ間の統計的性質の差を補正している。予測モデルがニューラルネットワーク等の特徴量抽出器により構成される場合、この補正は、訓練データに対する特徴量分布とテストデータに対する特徴量分布とを互いに近づけるように、特徴量抽出器を学習することと同義である。
特許文献２にかかる学習方法は、データ間における統計的性質のずれを補正する、ドメイン適用（Ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ）と呼ばれる技術に関するものであり、ドメイン情報有りデータに加え、ドメイン情報無しデータを用いた半教師有り学習を実現する効果を奏することに特徴を持つ。このようにして、特許文献２にかかる学習方法では、ドメイン情報有りデータとドメイン情報無しデータ間、すなわち、統計的性質が異なるドメイン情報有りデータとドメイン情報無しデータ間の統計的性質の差を補正している。モデルがニューラルネットワーク等の特徴量抽出器により構成される場合、この補正は、ドメインが異なるそれぞれのデータに対する特徴量分布を互いに近づけるように、特徴量抽出器を学習することと同義である。
特開２０１０－０９２２６６号公報 国際公開第２０１９／１０２９６２号
この開示の目的は、関連する技術における課題を解決することにある。
一態様による学習装置は、
クラス分類問題の教師有り学習を行う学習装置であって、
学習対象の対象データ、前記対象データのクラスラベル情報、及び前記対象データの統計的性質情報を入力する入力部と、
パラメータを用いて、前記対象データから特徴量を抽出する特徴量抽出器と、
前記特徴量とクラス数分の重みベクトルとを用いた統計処理により、前記対象データのクラス分類推論結果を出力するクラス分類器と、
前記クラス分類推論結果と前記クラスラベル情報とを入力とする損失関数を用いて、損失を算出する損失算出部と、
前記統計的性質情報に応じて、前記損失が小さくなるように、前記クラス分類器の前記重みベクトル及び前記特徴量抽出器の前記パラメータを修正するパラメータ修正部と、
を含む。
一態様による学習方法は、
クラス分類問題の教師有り学習を行う学習装置による学習方法であって、
学習対象の対象データ、前記対象データのクラスラベル情報、及び前記対象データの統計的性質情報を入力し、
特徴量抽出器によって、パラメータを用いて、前記対象データから特徴量を抽出し、
クラス分類器によって、前記特徴量とクラス数分の重みベクトルとを用いた統計処理により、前記対象データのクラス分類推論結果を出力し、
前記クラス分類推論結果と前記クラスラベル情報とを入力とする損失関数を用いて、損失を算出し、
前記統計的性質情報に応じて、前記損失が小さくなるように、前記クラス分類器の前記重みベクトル及び前記特徴量抽出器の前記パラメータを修正する。
一態様による非一時的なコンピュータ可読媒体は、
クラス分類問題の教師有り学習を行うコンピュータに、
学習対象の対象データ、前記対象データのクラスラベル情報、及び前記対象データの統計的性質情報を入力する処理と、
特徴量抽出器によって、パラメータを用いて、前記対象データから特徴量を抽出する処理と、
クラス分類器によって、前記特徴量とクラス数分の重みベクトルとを用いた統計処理により、前記対象データのクラス分類推論結果を出力する処理と、
前記クラス分類推論結果と前記クラスラベル情報とを入力とする損失関数を用いて、損失を算出する処理と、
前記統計的性質情報に応じて、前記損失が小さくなるように、前記クラス分類器の前記重みベクトル及び前記特徴量抽出器の前記パラメータを修正する処理と、
を実行させるプログラムが格納される。
上述した態様によれば、学習データと同じ統計的性質を持つデータに対する認識性能を落とさずに、学習データとは異なる１つもしくは複数の統計的性質を持つデータに対する認識性能を向上させることができる。
統計的性質が異なるデータに対する特徴量の、特徴量空間上での分布に関する概念図である。 実施形態１にかかる学習装置の構成の一例を示すブロック図である。 実施形態１にかかる学習装置の動作の一例を示すフローチャートである。 実施形態１に係る学習装置の効果の説明に用いる、特徴量の特徴量空間上での分布に関する概念図である。 実施形態２にかかる学習装置の構成の一例を示すブロック図である。 実施形態３にかかる学習装置の構成の一例を示すブロック図である。 実施形態４にかかる学習装置の構成の一例を示すブロック図である。 実施形態１，２，３，４にかかる学習装置を実現するコンピュータの構成の一例を示すブロック図である。
この開示の実施形態を説明する前に、この開示の課題及び目的について詳細に説明する。
上述したように、特許文献１，２にかかる学習方法では、ある特定の２つの統計的性質を持つデータを用い、その２つのデータの特徴量分布を近づけるように、特徴量抽出器を学習する。よって、上記２つの統計的性質とはさらに異なる第３の統計的性質を持つデータに関しては、依然として認識性能は低いままであるという問題がある。
加えて、特許文献１，２にかかる学習方法では、２つの統計的性質を持つデータの特徴量分布を互いに近づけるように、特徴量抽出器を学習する。このとき、対象となる統計的性質を持つデータ（図１で言うと、第２の統計的性質を持つデータ）に関しては認識性能が向上するが、元々の学習データ（図１で言うと、第１の統計的性質を持つデータ）と同じ統計的性質を持つデータに関しては逆に認識性能が低下するという問題がある。例えば、可視光画像が学習データと同じ統計的性質を持ち、近赤外画像が学習データとは異なる統計的性質を持つ場合では、近赤外画像に対する認識性能は向上するが、可視光画像に対する認識性能は低下する。これは、可視光画像に対する特徴量分布と近赤外画像に対する特徴量分布とを互いに近づけたために、元々は分離度が高かった可視光画像に対する特徴量分布が崩されることが原因である。
この開示は、学習データと同じ統計的性質を持つデータに対する認識性能を落とさずに、学習データとは異なる１つもしくは複数の統計的性質を持つデータに対する認識性能を向上させることが目的である。
以下、この開示の実施形態について図面を参照して詳細に説明する。
なお、以下の説明に用いる各図面は、この開示の実施形態を説明するためのものである。ただし、この開示は、各図面の記載に限られるわけではない。また、各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、以下の説明に用いる図面において、この開示の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。
さらに、この開示の実施形態が用いるデータは、制限されない。認識対象は、物体の画像でもよいし、顔の画像でもよい。以下の説明では、データの一例として、顔の画像を用いる場合がある。しかし、これは、対象となるデータを制限するものではない。
（実施形態１）
以下、この開示の実施形態１について図２を参照して説明する。
図２は、本実施形態１にかかる学習装置１０の構成の一例を示すブロック図である。図２に示すように、学習装置１０は、データ入力部１００と、特徴量抽出器１０１と、クラス分類器１０２と、正解情報入力部１０３と、統計的性質情報入力部１０４と、損失算出部１０５と、パラメータ修正量算出部１０６と、パラメータ修正部１０７と、を備える。
データ入力部１００は、学習データの中から、学習対象となる対象データを入力する。このとき、例えば、対象データが画像の場合、対象データは、画像に含まれる被写体の位置に基づいて予め被写体を正規化した正規化画像であってもよい。また、入力される対象データは、１つでもよいし、複数でもよい。
特徴量抽出器１０１は、学習可能なパラメータを含むものであり、そのパラメータを用いて、対象データの特徴を表す特徴量を算出し出力する。ここで、特徴量抽出器１０１の具体形は限定されず、深層学習等の機械学習にて用いられる、畳み込みニューラルネットワーク等のニューラルネットワークに含まれる畳み込み層、プーリング層、又は全結合層等の機能を有してもよい。特徴量抽出器１０１のパラメータの具体形としては、例えば、畳み込み層の場合はカーネル（フィルタ）の重みであり、全結合層の場合はアフィン変換にかかる重みである。また、特徴量抽出器１０１から出力される特徴量は、テンソルの形（すなわち、特徴量マップ）であってもよいし、ベクトルの形（すなわち、特徴量ベクトル）であってもよい。
クラス分類器１０２は、特徴量抽出器１０１から出力された特徴量とクラス数分の重みベクトルとを用いた統計処理により、対象データのクラス分類推論結果を出力する。ただし、特徴量抽出器１０１から出力された特徴量がテンソルである場合は、クラス分類器１０２は、特徴量マップと重みベクトルとを用いた統計処理を行う。また、重みベクトルはテンソルの形であってもよい。
クラス分類器１０２のパラメータであるクラス数分の重みベクトルは、各クラスの、特徴量空間上の代表点を表すものであり、この重みベクトルと特徴量との統計処理は、各クラスの代表点に対する特徴量の特徴量空間上の距離を算出することを表す。よって、クラス分類器１０２の出力であるクラス分類推論結果は、特徴量抽出器１０１から出力された特徴量と各クラスの代表点との距離を表す値となる。このとき、重みベクトルの数（すなわち、クラスの数）は、後述の正解情報入力部１０３に入力されるクラスラベルの数と一致する必要はない。
なお、以下の記載において、「各種パラメータ」と言う場合は、特徴量抽出器１０１のパラメータ及びクラス分類器１０２のクラス数分の重みベクトルを指すものとする。
正解情報入力部１０３は、正解情報として、クラスラベル情報を入力する。クラスラベル情報は、対象データの正解ラベルを表す情報である。例えば、対象データが顔画像の場合、顔画像に移っている人物の人物ＩＤをクラスラベルとしてもよい。
統計的性質情報入力部１０４は、対象データの統計的性質を表す情報である統計的性質情報を入力する。統計的性質情報は、ある値をもつスカラー値でもよいし、統計的性質に基づいたベクトルもしくはテンソルでもよい。例えば、対象データが画像の場合、可視光カメラで撮影された画像については統計的性質情報を１とし、それ以外のイメージセンサで撮影された画像については統計的性質情報を０としてもよい。
損失算出部１０５は、クラス分類器１０２から出力されたクラス分類推論結果と、正解情報入力部１０３に入力されたクラスラベル情報と、を入力（引数）とする損失関数を用いて、損失を算出し出力する。また、損失算出部１０５は、後述する、各種パラメータの修正量の算出に用いるための、各種パラメータに対する損失関数の勾配（すなわち、損失関数の１階微分）も同時に算出する。
損失算出部１０５において、損失関数を用いて算出される損失は、クラス分類推論結果とクラスラベル情報との違いに応じた値になるように定義される。具体的には、損失は、クラス分類推論結果とクラスラベル情報との違いが大きいほど、大きい値を持つように定義される。よって、損失が小さくなるように、各種パラメータを最適化することは、クラス分類推論結果を正解ラベルに近づけるように最適化することと同義である。
ここで、クラス分類推論結果を正解ラベルに近づけるということは、一般的に、特徴量空間上において、特徴量と同クラスの重みベクトルとの距離を小さくし、特徴量と他クラスの重みベクトルとの距離を大きくすることであるといえる。つまり、損失算出部１０５により算出された損失が小さくなるように、各種パラメータを最適化することは、特徴量と同クラスの重みベクトルとの距離を小さくし、特徴量と他クラスの重みベクトルとの距離を大きくするように最適化することと同義である。
このとき、損失算出部１０５で用いる損失関数の具体的な関数形は限定されない。例えば、損失関数は、クラス分類問題で一般的に用いられるＳｏｆｔｍａｘ－Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ Ｌｏｓｓであってもよいし、ＳｐｈｅｒｅＦａｃｅ、ＣｏｓＦａｃｅ、ＡｒｃＦａｃｅ等のマージン系Ｓｏｆｔｍａｘ Ｌｏｓｓであってもよい。また、損失関数は、距離学習で用いられる各種損失関数であってもよいし、それらの組み合わせであってもよい。
パラメータ修正量算出部１０６は、損失算出部１０５により算出された損失を小さくするための、各種パラメータの修正量を算出する。特に、パラメータ修正量算出部１０６は、各種パラメータに対する損失関数の勾配及び統計的性質情報入力部１０４に入力された統計的性質情報の値に応じて、各種パラメータの修正量を算出する。具体的には、例えば、クラス分類器１０２の重みベクトルに関しては、重みベクトルに対する損失関数の勾配と統計的性質情報の値とを用いた統計処理により、重みベクトルの修正量を算出する。特徴量抽出器１０１のパラメータに関しては、特徴量抽出器１０１のパラメータに対する損失関数の勾配を修正量としてもよいし、その勾配と統計的性質情報の値とを用いた統計処理によりパラメータの修正量を算出してもよい。
パラメータ修正部１０７は、パラメータ修正量算出部１０６により算出された各種パラメータの修正量に基づいて、各種パラメータを修正する。このとき、各種パラメータの修正には、例えば、深層学習等の機械学習にて用いられる、確率的勾配降下法、及び誤差逆伝搬法等を用いてよい。
なお、後述するように、学習装置１０は、特徴量抽出器１０１及びクラス分類器１０２の各種パラメータを繰り返し修正する。
また、本実施形態１では、学習対象となる対象データの統計的性質は限定されない。また、統計的性質情報入力部１０４に入力される対象データの統計的性質の種類は、２つでもよいし、それ以上でもよい。
次に、図３を参照して、本実施形態１にかかる学習装置１０の動作を説明する。
図３は、本実施形態１にかかる学習装置１０の動作の一例を示すフローチャートである。
まず、Ｓ１０において、データ入力部１００は、学習データベース（不図示）から大量の学習データを取得する。一例として、学習データは、学習対象の対象データとなる画像と、当該画像の被写体の分類を示す正解ラベルと、当該画像の統計的性質情報と、を含むデータセットであってよい。この場合、データ入力部１００は、上述した画像を対象データとして入力し、正解情報入力部１０３は、上述した正解ラベルを表すクラスレベル情報を入力し、統計的性質情報入力部１０４は、上述した統計的性質情報を入力する。ここで、対象データの画像は、予め正規化処理が行われた正規化画像であってよい。なお、交差検定を行う場合は、学習データは訓練データとテストデータとに分類されていてよい。
次に、Ｓ１１において、特徴量抽出器１０１は、その時点におけるパラメータを用いて、Ｓ１０の動作においてデータ入力部１００に入力された対象データの特徴を抽出した特徴量を算出する。
その時点におけるパラメータとは、前回のＳ１６の動作においてパラメータ修正部１０７により修正された後のパラメータである。最初の動作の場合、その時点におけるパラメータとは、パラメータの初期値である。特徴量抽出器１０１のパラメータの初期値は、ランダムに決定したものでもよいし、予め教師有り学習により学習されたものを用いてもよい。
次に、Ｓ１２において、クラス分類器１０２は、その時点における重みベクトルを用いて、Ｓ１１の動作において特徴量抽出器１０１により算出された特徴量と、重みベクトルと、を用いた統計処理により、対象データのクラス分類推論結果を出力する。
その時点における重みベクトルとは、前回のＳ１６の動作においてパラメータ修正部１０７により修正された後の重みベクトルである。最初の動作の場合、その時点における重みベクトルとは、重みベクトルの初期値である。重みベクトルの初期値は、ランダムに決定したものでもよいし、予め教師有り学習により学習されたものを用いてもよい。
次に、Ｓ１３において、損失算出部１０５は、損失関数を用いて、Ｓ１２の動作においてクラス分類器１０２により出力されたクラス分類推論結果と、Ｓ１０の動作において正解情報入力部１０３に入力された正解ラベルと、の間の損失を算出する。また、損失算出部１０５は、各種パラメータに対する損失関数の勾配も同時に算出する。
次に、Ｓ１４において、パラメータ修正量算出部１０６は、学習を終了するか否かを判定する。本実施形態１では、パラメータ修正量算出部１０６は、Ｓ１６の動作が行われた回数を表す更新回数が予め設定された回数に達したか否かを判定することにより、学習を終了するか否かを判定してよい。また、パラメータ修正量算出部１０６は、損失が予め定められた閾値未満であるか否かを判定することにより、学習を終了するか否かを判定してもよい。パラメータ修正量算出部１０６は、学習を終了する場合は（Ｓ１４でＹｅｓ）、処理をＳ１７に進め、そうでない場合は（Ｓ１４でＮｏ）、処理をＳ１５に進める。
Ｓ１５において、パラメータ修正量算出部１０６は、Ｓ１３の動作において損失算出部１０５により算出された損失を小さくするための、各種パラメータの修正量を算出する。例えば、パラメータ修正量算出部１０６は、Ｓ１３の動作において損失算出部１０５により算出された、各種パラメータに対する損失関数の勾配と、Ｓ１０の動作において統計的性質情報入力部１０４に入力された統計的性質情報の値と、に基づいて、各種パラメータの修正量を算出する。このとき、クラス分類器１０２のパラメータ（重みベクトル）に関しては、重みベクトルに対する損失関数の勾配を統計的性質情報に基づいて統計処理を行ったものを修正量とする。一方、特徴量抽出器１０１のパラメータに関しては、特徴量抽出器１０１のパラメータに対する損失関数の勾配を修正量としてもよいし、その勾配と統計的性質情報の値とを用いた統計処理により修正量を算出してもよい。
Ｓ１６において、パラメータ修正部１０７は、ステップＳ１５の動作においてパラメータ修正量算出部１０６により算出された各種パラメータの修正量に基づいて、各種パラメータを修正する。パラメータ修正部１０７は、一例として確率的勾配降下法及び誤差逆伝播法を用いて、各種パラメータを更新してよい。このとき、パラメータを修正する順番は限定されない。すなわち、パラメータ修正部１０７は、特徴量抽出器１０１のパラメータを修正してから、クラス分類器１０２の重みベクトルを修正してもよいし、その逆の順番で修正を行ってもよい。また、パラメータ修正部１０７は、学習の繰り返しごとに、特徴量抽出器１０１のパラメータの修正とクラス分類器１０２の重みベクトルの修正とを分けてもよい。そして、パラメータ修正部１０７は、処理をＳ１０に戻す。
Ｓ１７において、パラメータ修正部１０７は、各種パラメータを直近のステップＳ１６の動作において修正された値に決定する。
以上で、学習装置１０の動作が終了する。
このようにして、学習装置１０は、機械学習により、特徴量抽出器１０１に含まれるパラメータ、及び、クラス分類器１０２に含まれる重みベクトルを最適化する。
次に、本実施形態１にかかる学習装置１０の効果を説明する。
上述したように、本実施形態１によれば、パラメータ修正部１０７は、損失算出部１０５で算出される損失が小さくなるように、特徴量抽出器１０１のパラメータ及びクラス分類器１０２の重みベクトルを修正する。このことは、特徴量空間上において、特徴量と同クラスの重みベクトルとの距離を小さくし、特徴量と他クラスの重みベクトルとの距離を大きくすることと同義である。
損失が小さくなるようにクラス分類器１０２の重みベクトルを修正することは、重みベクトルを、入力された対象データの特徴量の方向に修正することである。つまり、入力された対象データが第１の統計的性質を持つデータの場合、第１の統計的性質を持つデータに対する特徴量分布の方向に向かって重みベクトルは修正される。また、入力された対象データが第２の統計的性質を持つデータの場合、第２の統計的性質を持つデータに対する特徴量分布の方向に向かって重みベクトルは修正される。
また、損失が小さくなるように特徴量抽出器１０１のパラメータを修正することは、特徴量抽出器１０１により抽出される特徴量を、同クラスの重みベクトルの方向に、かつ他クラスの重みベクトルから離れる方向に、修正することである。
特徴量抽出器１０１のパラメータ及びクラス分類器１０２の重みベクトルの修正を繰り返すことにより、異なる統計的性質を持つデータに対する特徴量分布が互いに近づくように特徴量抽出器１０１が学習される。
また、本実施形態１によれば、パラメータ修正量算出部１０６は、対象データの統計的性質に応じて、クラス分類器１０２の重みベクトルの修正量を変更する。つまり、特定の統計的性質を持つデータ（例えば、可視光カメラで撮影された画像）が入力された場合は重みベクトルを修正するが、その他の統計的性質を持つデータが入力された場合は重みベクトルを修正しない（もしくは修正量を小さくする）。これにより、重みベクトルが修正される方向が、特定の統計的性質を持つデータに対する特徴量分布の方向となる。
その結果として、異なる統計的性質を持つデータに対する特徴量分布を、互いに近づけるのではなく、特定の統計的性質を持つデータ（例えば、可視光カメラで撮影された画像）に対する特徴量分布に向かって、その他の統計的性質を持つデータに対する特徴量分布が近づくように特徴量抽出器１０１が学習される。これにより、特定の統計的性質を持つデータに対する認識性能を落とさずに、その他の統計的性質を持つデータに対する認識性能を向上させることができる。
また、本実施形態１によれば、特定の１つの統計的性質を持つデータに対する特徴量分布に向かって、その他の統計的性質を持つデータに対する特徴量分布を近づける。そのため、その他の統計的性質を持つデータの種類は１つに限定されず、複数の種類の統計的性質を持つデータに対する特徴量分布を同時に最適化することができる。これにより、特定の統計的性質を持つデータに対する認識性能を落とさずに、特定の統計的性質とは異なる１つもしくは複数の統計的性質を持つデータに対する認識性能を向上させることができる。
図４は、本実施形態１にかかる学習装置１０の効果を説明する概念図である。
図４の上図は、統計的性質が異なるデータに対する特徴量の、特徴量空間上での分布に関する概念図である。ここでは、データには２つのクラスのみ存在するとし、第１のクラスに属するデータの特徴量を星で表し、第２のクラスに属するデータの特徴量を三角で表している。また、第１の統計的性質を持つデータの特徴量分布を実線で表し、第２の統計的性質を持つデータの特徴量分布を点線で表し、第３の統計的性質を持つデータの特徴量分布を１点鎖線で表している。特に、第１の統計的性質を学習データの統計的性質であることを想定し、学習データとは異なる統計的性質を第２及び第３の統計的性質とする。
図４の下図では、本実施形態１にかかる、データ間の統計的性質の差の補正を概念的に示した図である。補正前の、特徴量抽出器１０１により抽出される特徴量分布は、上図に示すように、統計的性質の異なるデータでそれぞれ異なる分布を持つ。これに対して、本実施形態１によれば、第１の統計的性質を持つデータの特徴量分布は崩さずに、その他の統計的性質を持つデータの特徴量分布を、第１の統計的性質を持つデータの特徴量分布に近づけるように特徴量抽出器１０１が学習される。図中の矢印は、特徴量空間における、特徴量分布の補正の方向を示し、点線の矢印は第２の統計的性質を持つデータに対する特徴量分布の補正の方向を表し、１点鎖線の矢印は第３の統計的性質を持つデータに対する特徴量分布の補正の方向を表す。
次に、本実施形態１にかかる学習装置１０の具体的な実施例を説明する。
例えば、顔照合において、データ入力部１００は、学習データの中から、学習対象となる対象データとして顔画像を入力する。このとき、入力顔画像は、顔器官点に基づき予め正規化処理を行った画像であってもよい。以下の説明では、入力顔画像をＩと記す。
特徴量抽出器１０１は、入力顔画像Ｉの特徴を抽出し、特徴量を出力する。ここで、特徴量抽出器１０１をFΦと記す。なお、Φは特徴量抽出器１０１に含まれるパラメータである。特徴量抽出器１０１から出力される特徴量をｘと記すと、特徴量抽出器１０１が行う一連の処理は、ｘ＝FΦ（I）と表すことができる。なお、以下の説明では、特徴量ｘをベクトルであるとし、特徴量ベクトルｘと記す。
クラス分類器１０２は、特徴量ベクトルｘを入力し、クラス数分の重みベクトルを用いた統計処理により、入力顔画像Ｉのクラス分類推論結果を出力する。ここで、クラス数分の重みベクトルをｗｉと記す。ｉはクラスを表す添え字である。なお、特徴量ベクトルｘの次元と重みベクトルの次元は同じものであるとする。また、特徴量ベクトルｘと重みベクトルｗｉは１に規格化されているものとする。クラス分類推論結果をｙｉと記し、統計処理の一例として、特徴量ベクトルｘと重みベクトルｗｉとの内積を用いると、クラス分類器１０２が行う一連の処理は、ｙｉ＝ｗｉ・ｘと表せる。このとき、クラス分類推論結果ｙｉは、－１から１までの値を持つスカラー値となり、値が大きいほど特徴量ベクトルｘと重みベクトルｗｉの、特徴量空間上での距離が近いことを表す。
正解情報入力部１０３は、入力顔画像Ｉのクラスラベル情報（すなわち、正解ラベル）を入力する。ここで、正解ラベルをｔｉと記し、ｔｉは入力顔画像Ｉが属するクラスのみ１の値を持ち、それ以外は０であるスカラー値（すなわち、ｏｎｅ－ｈｏｔベクトル）であるとする。ただし、ｔｉの具体形は限定されず、例えば、入力顔画像Ｉが属するクラスのみ１の値を持ち、それ以外のクラスはある小さな値を持つようにする、Ｌａｂｅｌ－Ｓｍｏｏｔｈｉｎｇを行ったものであってもよい。
統計的性質情報入力部１０４は、入力顔画像Ｉの統計的性質情報を入力する。ここで、統計的性質情報をＰと記し、Ｐは０から１までの値をもつスカラー値とする。例えば、入力顔画像Ｉが可視光カメラで撮影された画像である場合は、Ｐ＝１とし、それ以外のイメージセンサで撮影された画像が入力された場合は、Ｐ＝０とする。ただし、イメージセンサの種類によりＰは０から１までのいずれかの値を持つようにしてもよい。
損失算出部１０５は、クラス分類器１０２の出力であるクラス分類推論結果ｙｉとクラスラベル情報ｔｉとを入力（引数）とする損失関数を用いて、損失を算出すると共に、各種パラメータに対する損失関数の勾配を算出する。ここでは、損失関数をＳｏｆｔｍａｘ－Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ Ｌｏｓｓであるとし、Ｌと記す。Ｌの具体形は、ＳをＳｏｆｔｍａｘ関数として、Ｌ＝－Σｉ ｔｉ ｌｏｇ［Ｓ（ｙｉ）］である。また、特徴量抽出器１０１のパラメータΦに対する損失関数Ｌの勾配は∂Ｌ／∂Φであり、クラス分類器１０２の重みベクトルｗｉに対する損失関数Ｌの勾配は∂Ｌ／∂ｗｉである。
パラメータ修正量算出部１０６は、損失関数Ｌ及びその勾配と、統計的性質情報Ｐと、に基づいて、各種パラメータの修正量を算出する。ここで、特徴量抽出器１０１のパラメータΦの修正量は、損失関数Ｌの勾配を用いて、－λΦ∂Ｌ／∂Φとし、クラス分類器１０２の重みベクトルｗｉの修正量は、損失関数Ｌの勾配及び統計的性質情報Ｐを用いて、－Ｐλｗ∂Ｌ／∂ｗとする。ここで、λΦとλｗは、それぞれパラメータΦ、重みベクトルｗの学習率を決めるハイパーパラメータである。
パラメータ修正部１０７は、パラメータ修正量算出部１０６により算出された各種パラメータの修正量に基づいて、誤差逆伝搬法により各種パラメータを修正する。このとき、パラメータを修正する順番は限定されない。すなわち、パラメータ修正部１０７は、特徴量抽出器１０１のパラメータΦを修正してから、クラス分類器１０２の重みベクトルｗｉを修正してもよいし、その逆の順番で修正を行ってもよい。また、パラメータ修正部１０７は、学習の繰り返しごとに、特徴量抽出器１０１のパラメータΦの修正とクラス分類器１０２の修正とを分けてもよい。
これまでの説明では、対象データが画像である場合、入力される画像は１枚であったが、学習効率化のために複数の画像を一度に入力してもよい。
上述したように、本実施例では、クラス分類器１０２の重みベクトルｗｉに対する損失関数Ｌの勾配に、統計的性質情報Ｐを乗算することで、入力顔画像Ｉの統計的性質に応じて、クラス分類器１０２の重みベクトルｗｉの修正量を決定する。Ｐは可視光カメラで撮影された画像では１、それ以外のイメージセンサで撮影された画像では０の値を持つ。そのため、重みベクトルｗｉは、可視光カメラで撮影された画像に対する特徴量分布の方向にのみ修正される。また、特徴量抽出器１０１のパラメータΦは、入力顔画像Ｉの統計的性質情報Ｐに関わらず、同クラスの重みベクトルｗｉに特徴量ベクトルが近づくように修正される。その結果として、可視光カメラで撮影された画像に対する特徴量分布を崩さずに、それ以外のイメージセンサで撮影された画像に対する特徴量分布を近づけるように特徴量抽出器１０１が学習される。
（実施形態２）
次に、この開示の実施形態２について図５を参照して説明する。
図５は、本実施形態２にかかる学習装置１１の構成の一例を示すブロック図である。なお、以下では、上述した実施形態１にかかる学習装置１０と同様の構成及び機能の説明は省略し、相違点について説明する。
図５に示すように、本実施形態２にかかる学習装置１１では、上述した実施形態１にかかる学習装置１０と比較して、損失算出部１０５が特徴量抽出器１０１及び統計的性質情報入力部１０４に接続されている点と、正解情報入力部１０３に入力される正解情報と、が異なる。
正解情報入力部１０３は、正解情報として、クラスラベル情報又は正解ベクトルを入力する。正解ベクトルは、対象データに対する望ましい特徴量ベクトルである。なお、正解ベクトルは、任意の方法で生成すればよい。例えば、正解情報入力部１０３は、学習済みの特徴量抽出器（この特徴量抽出器は、特徴量抽出器１０１とは別に用意する）を用いて、対象データに対する特徴量ベクトルを生成しておき、その特徴量ベクトルを正解ベクトルとしてもよい。
ここで、正解情報入力部１０３は、対象データが特定の統計的性質を持つデータであるかに応じて、クラスラベル情報又は正解ベクトルを入力する。すなわち、正解情報入力部１０３は、対象データが特定の統計的性質を持つデータである場合には、対象データの正解ベクトルを入力する。また、正解情報入力部１０３は、対象データが特定の統計的性質以外の統計的性質を持つデータである場合には、対象データのクラスラベル情報を入力する。
損失算出部１０５は、統計的性質情報入力部１０４に入力された統計的性質情報に基づいて、対象データが統計的性質を持つデータであるか否かを判断する。損失算出部１０５は、対象データが特定の統計的性質を持つデータである場合には、正解情報入力部１０３に入力された正解ベクトルと、特徴量抽出器１０１により抽出された特徴量ベクトルと、を入力（引数）とする損失関数を用いて、損失を算出する。また、損失算出部１０５は、対象データが特定の統計的性質以外の統計的性質を持つデータである場合には、クラス分類器１０２から出力されたクラス分類推論結果と、正解情報入力部１０３に入力されたクラスラベル情報と、を入力（引数）とする損失関数を用いて、損失を算出する。
このように、本実施形態２では、対象データが特定の統計的性質を持つデータである場合には、特徴量ベクトルと正解ベクトルとの距離を損失として算出し、この損失が小さくなるように、各種パラメータを修正することになる。そのため、特定の統計的性質を持つデータの特徴量分布を崩さない、という効果のさらなる向上を図ることができる。
（実施形態３）
次に、この開示の実施形態３について図６を参照して説明する。
図６は、本実施形態３にかかる学習装置１２の構成の一例を示すブロック図である。なお、以下では、上述した実施形態１にかかる学習装置１０と同様の構成及び機能の説明は省略し、相違点について説明する。
上述した実施形態１にかかる学習装置１０によれば、学習対象となる全ての対象データで統計的性質情報が必要であったが、対象データによっては統計的性質情報が得られない場合がある。
図６に示すように、本実施形態３にかかる学習装置１２では、上述した実施形態１にかかる統計的性質情報入力部１０４の代わりに、統計的性質情報推定部１０８を備えることに特徴を有する。
統計的性質情報推定部１０８は、データ入力部１００に入力された対象データから、その対象データの統計的性質情報を推定し、推定された統計的性質情報を出力する。出力された統計的性質情報は、上述した実施形態１と同様に、パラメータ修正量算出部１０６にて各種パラメータの修正量を算出することに用いられる。
ここで、統計的性質情報推定部１０８の具体形は限定されず、深層学習等の機械学習にて用いられる、畳み込みニューラルネットワーク等のニューラルネットワークに含まれる畳み込み層、プーリング層、又は全結合層等の機能を有してもよい。また、統計的性質情報推定部１０８は、対象データから、その対象データの統計的性質が推定できるように、予め学習されたモデルを用いてもよい。
このように、本実施形態３では、統計的性質情報推定部１０８が、データ入力部１００に入力された対象データから、その対象データの統計的性質情報を推定する。そのため、対象データに統計的性質情報が付加されていない場合であっても、上述した実施形態１と同様の効果を得ることができる。
なお、本実施形態３では、全ての対象データについて統計的性質情報を推定する形をとっているが、一部の対象データに統計的性質情報が付加されている場合、その対象データを用いた学習の際は、上述した実施形態１の形を取ってもよい。
すなわち、本実施形態３では、統計的性質情報推定部１０８と、上述した実施形態１にかかる統計的性質情報入力部１０４と、を同時に備えることもできる。この場合、パラメータ修正量算出部１０６は、統計的性質情報入力部１０４に統計的性質情報が入力された場合は、入力された統計的性質情報を使用し、統計的性質情報入力部１０４への統計的性質情報の入力が無い場合は、統計的性質情報推定部１０８により推定された統計的性質情報を使用すれば良い。
なお、本実施形態３は、上述した実施形態１にかかる統計的性質情報入力部１０４の代わりに、統計的性質情報推定部１０８を備える構成として説明したが、これには限定されない。本実施形態３は、上述した実施形態２にかかる統計的性質情報入力部１０４の代わりに、統計的性質情報推定部１０８を備える構成としてもよい。
また、本実施形態３は、統計的性質情報推定部１０８と、上述した実施形態２にかかる統計的性質情報入力部１０４と、を同時に備えることもできる。この場合、損失算出部１０５は、上述したパラメータ修正量算出部１０６と同様の方法で、使用する統計的性質情報を決めればよい。
（実施形態４）
次に、この開示の実施形態４について図７を参照して説明する。本実施形態４は、上述した実施形態１，２，３を上位概念化した実施形態に相当する。
図７は、本実施形態４にかかる学習装置１３の構成の一例を示すブロック図である。図７に示すように、学習装置１３は、入力部１０９と、特徴量抽出器１１０と、クラス分類器１１１と、損失算出部１１２と、パラメータ修正部１１３と、を備える。
入力部１０９は、学習対象の対象データ、対象データの正解ラベルを表すクラスラベル情報、及び対象データの統計的性質を表す統計的性質情報を入力する。入力部１０９は、上述した実施形態１，２，３にかかるデータ入力部１００及び正解情報入力部１０３と、上述した実施形態１，２にかかる統計的性質情報入力部１０４に対応する。
特徴量抽出器１１０は、パラメータを用いて、入力部１０９に入力された対象データから特徴量を抽出する。特徴量抽出器１１０は、上述した実施形態１，２，３にかかる特徴量抽出器１０１に対応する。
クラス分類器１１１は、特徴量抽出器１１０により算出された特徴量と、クラス数分の重みベクトルと、を用いた統計処理により、入力部１０９に入力された対象データのクラス分類推論結果を出力する。クラス分類器１１１は、上述した実施形態１，２，３にかかるクラス分類器１０２に対応する。
損失算出部１１２は、クラス分類器１１１から出力されたクラス分類推論結果と、入力部１０９に入力されたクラスラベル情報と、を入力（引数）とする損失関数を用いて、損失を算出する。損失算出部１１２は、上述した実施形態１，２，３にかかる損失算出部１０５に対応する。
パラメータ修正部１１３は、入力部１０９に入力された統計的性質情報に応じて、損失算出部１１２により算出された損失が小さくなるように、クラス分類器１１１の重みベクトル及び特徴量抽出器１１０のパラメータを修正する。パラメータ修正部１１３は、上述した実施形態１，２，３にかかるパラメータ修正部１０７に対応する。
上述したように、本実施形態４によれば、パラメータ修正部１１３は、損失が小さくなるように、クラス分類器１１１の重みベクトル及び特徴量抽出器１１０のパラメータを修正する。そのため、異なる統計的性質を持つデータに対する特徴量分布が近づくように特徴量抽出器１１０が学習される。
また、パラメータ修正部１１３は、対象データの統計的性質情報に応じて、クラス分類器１１１の重みベクトルを修正する。そのため、異なる統計的性質を持つデータに対する特徴量分布を、互いに近づけるのではなく、特定の統計的性質を持つデータに対する特徴量分布に向かって、その他の統計的性質を持つデータに対する特徴量分布が近づくように特徴量抽出器１１０が学習される。
また、特定の統計的性質を持つデータに対する特徴量分布に向かって、その他の統計的性質を持つデータに対する特徴量分布を近づけるため、その他の統計的性質を持つデータの種類は１つに限定されず、複数とすることができる。
その結果、本実施形態４によれば、特定の統計的性質を持つデータに対する認識性能を落とさずに、特定の統計的性質とは異なる１つもしくは複数の統計的性質を持つデータに対する認識性能を向上させることができる。
なお、学習装置１２は、統計的性質情報に応じて、損失が小さくなるように、クラス分類器１１１の重みベクトルの修正量及び特徴量抽出器１１０のパラメータの修正量を算出するパラメータ修正量算出部をさらに備えてもよい。このパラメータ修正量算出部は、上述した実施形態１，２，３にかかるパラメータ修正量算出部１０６に対応する。また、パラメータ修正部１１３は、パラメータ修正量算出部により算出された修正量を用いて、クラス分類器１１１の重みベクトル及び特徴量抽出器１１０のパラメータを修正してもよい。
また、入力部１０９は、対象データが特定の統計的性質を持つデータである場合には、対象データの正解ベクトルを入力し、対象データが特定の統計的性質以外の統計的性質を持つデータである場合には、対象データのクラスラベル情報を入力してもよい。また、特徴量抽出器１１０は、対象データから、特徴量ベクトルを特徴量として抽出してもよい。また、損失算出部１１２は、対象データが特定の統計的性質を持つデータである場合には、正解ベクトルと特徴量ベクトルとを入力とする損失関数を用いて、損失を算出し、対象データが特定の統計的性質以外の統計的性質を持つデータである場合には、クラス分類推論結果とクラスラベル情報とを入力とする損失関数を用いて、損失を算出してもよい。
また、損失算出部１１２は、クラス分類器１１１のクラス数分の重みベクトルに対する損失関数の勾配をさらに算出してもよい。また、パラメータ修正量算出部は、クラス分類器１１１のクラス数分の重みベクトルに対する損失関数の勾配と、統計的性質情報と、を用いた統計処理により、クラス分類器１１１の重みベクトルの修正量を算出してもよい。
また、損失算出部１１２は、特徴量抽出器１１０のパラメータに対する損失関数の勾配をさらに算出してもよい。また、パラメータ修正量算出部は、特徴量抽出器１１０のパラメータに対する損失関数の勾配を、特徴量抽出器１１０のパラメータの修正量としてもよし、又は、特徴量抽出器１１０のパラメータに対する損失関数の勾配と、統計的性質情報と、を用いた統計処理により、特徴量抽出器１１０のパラメータの修正量を算出してもよい。
また、学習装置１２は、対象データの統計的性質情報を推定する統計的性質情報推定部をさらに備えてもよい。この統計的性質情報推定部は、上述した実施形態３にかかる統計的性質情報推定部１０８に対応する。また、パラメータ修正量算出部は、入力部１０９に統計的性質情報が入力された場合は、入力された統計的性質情報を使用し、入力部１０９への統計的性質情報の入力がない場合は、統計的性質情報推定部により推定された統計的性質情報を使用してもよい。
（学習装置を実現するコンピュータ）
上述した実施形態１，２，３，４にかかる学習装置１０，１１，１２，１３は、コンピュータで実現することができる。このコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、ＬＡＮ（ローカル・エリア・ネットワーク）のサーバ、コンピュータ（パソコン）通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。
また、上述した実施形態１，２，３，４では、この開示にかかる学習装置１０，１１，１２，１３をハードウェアの構成として説明したが、この開示は、これに限定されるものではない。この開示は、上述した学習データ取得処理、特徴量抽出処理、クラス分類処理、損失算出処理、パラメータ修正量算出処理、パラメータ修正処理、パラメータ決定処理等の各種処理を、後述のプロセッサ１０１０にコンピュータプログラムを実行させることにより実現することも可能である。
図８は、上述した実施形態１，２，３，４にかかる学習装置１０，１１，１２，１３を実現するコンピュータ１９００の構成の一例を示すブロック図である。図８に示すように、コンピュータ１９００は、システム全体を制御するための制御部１０００を備えている。この制御部１０００には、データバス等のバスラインを介して、入力装置１０５０、表示装置１１００、記憶装置１２００、記憶媒体駆動装置１３００、通信制御装置１４００、及び入出力Ｉ／Ｆ１５００が接続されている。
制御部１０００は、プロセッサ１０１０と、ＲＯＭ（Read Only Memory）１０２０と、ＲＡＭ（Random Access Memory）１０３０、とを備えている。
プロセッサ１０１０は、ＲＯＭ１０２０や記憶装置１２００等の各種記憶部に記憶されたプログラムに従って、各種の情報処理や制御を行う。
ＲＯＭ１０２０は、プロセッサ１０１０が各種制御や演算を行うための各種プログラムやデータが予め格納されたリードオンリーメモリである。
ＲＡＭ１０３０は、プロセッサ１０１０にワーキングメモリとして使用されるランダムアクセスメモリである。このＲＡＭ１０３０には、上述した実施形態１，２，３，４による各種処理を行うための各種エリアが確保可能になっている。
入力装置１０５０は、キーボード、マウス及びタッチパネル等のユーザからの入力を受け付ける入力装置である。たとえばキーボードは、テンキー、各種機能を実行するための機能キー及びカーソルキー等の各種キーが配置されている。マウスは、ポインティングデバイスであり、表示装置１１００に表示されたキーやアイコン等をクリックすることで対応する機能の指定を行う入力装置である。タッチパネルは、表示装置１１００の表面に配置される入力機器で、表示装置１１００に画面表示された各種操作キーに対応した、ユーザのタッチ位置を特定し、当該タッチ位置に対応して表示された操作キーの入力を受け付ける。
表示装置１１００は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等が使用される。この表示装置１１００には、キーボードやマウスによる入力結果が表示されたり、最終的に検索されたイメージ情報が表示されたりするようになっている。また、表示装置１１００は、コンピュータ１９００の各種機能に応じて、タッチパネルから必要な各種操作を行うための操作キーを画像表示する。
記憶装置１２００は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置で構成されている。
この記憶装置１２００に使用される記憶媒体は、主としてハードディスク等が使用されるが、後述の記憶媒体駆動装置１３００で使用される非一時的なコンピュータ可読媒体を使用するようにしてもよい。
記憶装置１２００は、データ格納部１２１０、プログラム格納部１２２０及び図示しないその他の格納部（例えば、この記憶装置１２００内に格納されているプログラムやデータ等をバックアップするための格納部）等を有している。プログラム格納部１２２０には、上述した実施形態１，２，３，４における各種処理を実現するためのプログラムが格納されている。データ格納部１２１０には、上述した実施形態１，２，３，４にかかる各種データベースの各種データを格納する。
記憶媒体駆動装置１３００は、プロセッサ１０１０が外部の記憶媒体（外部記憶媒体）からコンピュータプログラムや文書を含むデータ等を読み込むための駆動装置である。
ここで、外部記憶媒体とは、コンピュータプログラムやデータ等が記憶される非一時的なコンピュータ可読媒体をいう。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Compact Disc-ROM）、ＣＤ－Ｒ（CD-Recordable）、ＣＤ－Ｒ／Ｗ（CD-ReWritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、各種プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路並びに記憶媒体駆動装置１３００を介して、各種プログラムをコンピュータに供給できる。
つまり、コンピュータ１９００は、制御部１０００のプロセッサ１０１０が、記憶媒体駆動装置１３００にセットされた外部の記憶媒体から各種プログラムを読み込んで、記憶装置１２００の各部に格納する。
そして、コンピュータ１９００が各種処理を実行する場合、記憶装置１２００から該当プログラムをＲＡＭ１０３０に読み込み、実行するようになっている。但し、コンピュータ１９００は、記憶装置１２００からではなく、記憶媒体駆動装置１３００により外部の記憶媒体から直接ＲＡＭ１０３０にプログラムを読み込んで実行することも可能である。また、コンピュータによっては各種プログラム等を予めＲＯＭ１０２０に記憶させておき、これをプロセッサ１０１０が実行するようにしてもよい。さらに、コンピュータ１９００は、各種プログラムやデータを、通信制御装置１４００を介して他の記憶媒体からダウンロードし、実行するようにしてもよい。
通信制御装置１４００は、コンピュータ１９００と他のパーソナルコンピュータやワードプロセッサ等の各種外部電子機器との間をネットワーク接続するための制御装置である。通信制御装置１４００は、これら各種外部電子機器からコンピュータ１９００にアクセスすることを可能とする。
入出力Ｉ／Ｆ１５００は、パラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続するためのインターフェースである。
なお、プロセッサ１０１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）及びＡＳＩＣ（application specific integrated circuit）等が用いられてよい。
請求の範囲、明細書、及び図面中において示したシステム及び方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。請求の範囲、明細書及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。
以上、実施の形態を参照して、この開示を説明したが、この開示は上述した実施の形態に限定されるものではない。この開示の構成や詳細には、この開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
この開示は、顔認識及び物体認識などのような画像処理を含め、様々なデータに適用可能である。特に、この開示は、画像処理装置において、可視光画像での認識性能を落とさずに、近赤外画像や遠赤外線画像等での認識性能を向上させる用途に利用可能である。
１０，１１，１２，１３ 学習装置
１００ データ入力部
１０１，１１０ 特徴量抽出器
１０２，１１１ クラス分類器
１０３ 正解情報入力部
１０４ 統計的性質情報入力部
１０５，１１２ 損失算出部
１０６ パラメータ修正量算出部
１０７，１１３ パラメータ修正部
１０８ 統計的性質情報推定部
１０９ 入力部
１０００ 制御部
１０１０ プロセッサ
１０２０ ＲＯＭ
１０３０ ＲＡＭ
１０５０ 入力装置
１１００ 表示装置
１２００ 記憶装置
１２１０ データ格納部
１２２０ プログラム格納部
１３００ 記憶媒体駆動装置
１４００ 通信制御装置
１５００ 入出力Ｉ／Ｆ
１９００ コンピュータ

Claims (6)

  1. クラス分類問題の教師有り学習を行う学習装置であって、
    学習対象の対象データ、前記対象データのクラスラベル情報、及び前記対象データの統計的性質情報を入力する入力部と、
    パラメータを用いて、前記対象データから特徴量を抽出する特徴量抽出器と、
    前記特徴量とクラス数分の重みベクトルとを用いた統計処理により、前記対象データのクラス分類推論結果を出力するクラス分類器と、
    前記クラス分類推論結果と前記クラスラベル情報とを入力とする損失関数を用いて、損失を算出する損失算出部と、
    前記統計的性質情報に応じて、前記損失が小さくなるように、前記クラス分類器の前記重みベクトルの修正量及び前記特徴量抽出器の前記パラメータの修正量を算出するパラメータ修正量算出部と、
    前記パラメータ修正量算出部により算出された前記修正量を用いて、前記クラス分類器の前記重みベクトル及び前記特徴量抽出器の前記パラメータを修正するパラメータ修正部と、
    を含み、
    前記入力部は、
    前記対象データが特定の統計的性質を持つデータである場合には、前記対象データの正解ベクトルを入力し、
    前記対象データが前記特定の統計的性質以外の統計的性質を持つデータである場合には、前記対象データの前記クラスラベル情報を入力し、
    前記特徴量抽出器は、
    前記対象データから、特徴量ベクトルを前記特徴量として抽出し、
    前記損失算出部は、
    前記対象データが前記特定の統計的性質を持つデータである場合には、前記正解ベクトルと前記特徴量ベクトルとを入力とする損失関数を用いて、前記損失を算出し、
    前記対象データが前記特定の統計的性質以外の統計的性質を持つデータである場合には、前記クラス分類推論結果と前記クラスラベル情報とを入力とする損失関数を用いて、前記損失を算出する、
    学習装置。
  2. 前記損失算出部は、
    前記クラス分類器のクラス数分の前記重みベクトルに対する前記損失関数の勾配をさらに算出し、
    前記パラメータ修正量算出部は、
    前記クラス分類器のクラス数分の前記重みベクトルに対する前記損失関数の勾配と、前記統計的性質情報と、を用いた統計処理により、前記クラス分類器の前記重みベクトルの修正量を算出する、
    請求項１に記載の学習装置。
  3. 前記損失算出部は、
    前記特徴量抽出器の前記パラメータに対する前記損失関数の勾配をさらに算出し、
    前記パラメータ修正量算出部は、
    前記特徴量抽出器の前記パラメータに対する前記損失関数の勾配を、前記特徴量抽出器の前記パラメータの修正量とするか、又は、前記特徴量抽出器の前記パラメータに対する前記損失関数の勾配と、前記統計的性質情報と、を用いた統計処理により、前記特徴量抽出器の前記パラメータの修正量を算出する、
    請求項２に記載の学習装置。
  4. 前記対象データの前記統計的性質情報を推定する統計的性質情報推定部をさらに含み、
    前記パラメータ修正量算出部は、
    前記入力部に前記統計的性質情報が入力された場合は、入力された前記統計的性質情報を使用し、
    前記入力部への前記統計的性質情報の入力がない場合は、前記統計的性質情報推定部により推定された前記統計的性質情報を使用する、
    請求項１から３のいずれか１項に記載の学習装置。
  5. クラス分類問題の教師有り学習を行う学習装置による学習方法であって、
    学習対象の対象データ、前記対象データのクラスラベル情報、及び前記対象データの統計的性質情報を入力し、
    特徴量抽出器によって、パラメータを用いて、前記対象データから特徴量を抽出し、
    クラス分類器によって、前記特徴量とクラス数分の重みベクトルとを用いた統計処理により、前記対象データのクラス分類推論結果を出力し、
    前記クラス分類推論結果と前記クラスラベル情報とを入力とする損失関数を用いて、損失を算出し、
    前記統計的性質情報に応じて、前記損失が小さくなるように、前記クラス分類器の前記重みベクトルの修正量及び前記特徴量抽出器の前記パラメータの修正量を算出し、
    前記修正量を用いて、前記クラス分類器の前記重みベクトル及び前記特徴量抽出器の前記パラメータを修正する、
    学習方法であって、
    前記対象データが特定の統計的性質を持つデータである場合には、前記対象データの正解ベクトルを入力し、
    前記対象データが前記特定の統計的性質以外の統計的性質を持つデータである場合には、前記対象データの前記クラスラベル情報を入力し、
    前記特徴量抽出器によって、前記対象データから、特徴量ベクトルを前記特徴量として抽出し、
    前記対象データが前記特定の統計的性質を持つデータである場合には、前記正解ベクトルと前記特徴量ベクトルとを入力とする損失関数を用いて、前記損失を算出し、
    前記対象データが前記特定の統計的性質以外の統計的性質を持つデータである場合には、前記クラス分類推論結果と前記クラスラベル情報とを入力とする損失関数を用いて、前記損失を算出する、
    学習方法。
  6. クラス分類問題の教師有り学習を行うコンピュータに、
    学習対象の対象データ、前記対象データのクラスラベル情報、及び前記対象データの統計的性質情報を入力する処理と、
    特徴量抽出器によって、パラメータを用いて、前記対象データから特徴量を抽出する処理と、
    クラス分類器によって、前記特徴量とクラス数分の重みベクトルとを用いた統計処理により、前記対象データのクラス分類推論結果を出力する処理と、
    前記クラス分類推論結果と前記クラスラベル情報とを入力とする損失関数を用いて、損失を算出する処理と、
    前記統計的性質情報に応じて、前記損失が小さくなるように、前記クラス分類器の前記重みベクトルの修正量及び前記特徴量抽出器の前記パラメータの修正量を算出する処理と、
    前記修正量を用いて、前記クラス分類器の前記重みベクトル及び前記特徴量抽出器の前記パラメータを修正する処理と、
    を実行させるプログラムであって、
    前記対象データが特定の統計的性質を持つデータである場合には、前記対象データの正解ベクトルを入力し、
    前記対象データが前記特定の統計的性質以外の統計的性質を持つデータである場合には、前記対象データの前記クラスラベル情報を入力し、
    前記特徴量抽出器によって、前記対象データから、特徴量ベクトルを前記特徴量として抽出し、
    前記対象データが前記特定の統計的性質を持つデータである場合には、前記正解ベクトルと前記特徴量ベクトルとを入力とする損失関数を用いて、前記損失を算出し、
    前記対象データが前記特定の統計的性質以外の統計的性質を持つデータである場合には、前記クラス分類推論結果と前記クラスラベル情報とを入力とする損失関数を用いて、前記損失を算出する処理
    を実行させるプログラム。
JP2023504999A 2021-03-10 2021-03-10 学習装置、学習方法、及びプログラム Active JP7544254B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/009687 WO2022190301A1 (ja) 2021-03-10 2021-03-10 学習装置、学習方法、及びコンピュータ可読媒体

Publications (3)

Publication Number Publication Date
JPWO2022190301A1 JPWO2022190301A1 (ja) 2022-09-15
JPWO2022190301A5 JPWO2022190301A5 (ja) 2023-10-05
JP7544254B2 true JP7544254B2 (ja) 2024-09-03

Family

ID=83226469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023504999A Active JP7544254B2 (ja) 2021-03-10 2021-03-10 学習装置、学習方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230143070A1 (ja)
JP (1) JP7544254B2 (ja)
WO (1) WO2022190301A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017107386A (ja) 2015-12-09 2017-06-15 日本電信電話株式会社 事例選択装置、分類装置、方法、及びプログラム
WO2019102962A1 (ja) 2017-11-22 2019-05-31 日本電気株式会社 学習装置、学習方法、及び、記録媒体
WO2019215904A1 (ja) 2018-05-11 2019-11-14 日本電気株式会社 予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラム記録媒体
WO2020235033A1 (ja) 2019-05-22 2020-11-26 日本電気株式会社 データ変換装置、パターン認識システム、データ変換方法及び非一時的なコンピュータ可読媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017107386A (ja) 2015-12-09 2017-06-15 日本電信電話株式会社 事例選択装置、分類装置、方法、及びプログラム
WO2019102962A1 (ja) 2017-11-22 2019-05-31 日本電気株式会社 学習装置、学習方法、及び、記録媒体
WO2019215904A1 (ja) 2018-05-11 2019-11-14 日本電気株式会社 予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラム記録媒体
WO2020235033A1 (ja) 2019-05-22 2020-11-26 日本電気株式会社 データ変換装置、パターン認識システム、データ変換方法及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
JPWO2022190301A1 (ja) 2022-09-15
WO2022190301A1 (ja) 2022-09-15
US20230143070A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US20180157892A1 (en) Eye detection method and apparatus
Wang et al. Feature selection and multi-kernel learning for adaptive graph regularized nonnegative matrix factorization
US11637858B2 (en) Detecting malware with deep generative models
CN113792526B (zh) 字符生成模型的训练方法、字符生成方法、装置和设备和介质
JP2008287437A (ja) 情報処理方法、情報処理装置
WO2021012263A1 (en) Systems and methods for end-to-end deep reinforcement learning based coreference resolution
JPWO2019102984A1 (ja) 学習装置、識別装置及びプログラム
Fu et al. Contextual online dictionary learning for hyperspectral image classification
CN115004252A (zh) 使用解码神经网络的图像真实性验证
US20230103737A1 (en) Attention mechanism, image recognition system, and feature conversion method
CN113778256A (zh) 具有触摸屏的电子设备及其触摸解锁方法
KR101700030B1 (ko) 사전 정보를 이용한 영상 물체 탐색 방법 및 이를 수행하는 장치
JP2023044336A (ja) 学習装置、学習方法およびプログラム
US20230080876A1 (en) Image processing apparatus, image recognition system, and image processing method
JP7544254B2 (ja) 学習装置、学習方法、及びプログラム
CN116361657A (zh) 用于对灰样本标签进行消歧的方法、系统和存储介质
Sarraf Binary Image Segmentation Using Classification Methods: Support Vector Machines, Artificial Neural Networks and K th Nearest Neighbours
US11921821B2 (en) System and method for labelling data for trigger identification
US20230342426A1 (en) System and method for training a machine learning model to label data for trigger identification
CN115861625A (zh) 一种处理噪声标签的自标签修改方法
CN114565913A (zh) 文本识别方法及其装置、设备、介质、产品
JP7347750B2 (ja) 照合装置、学習装置、方法、及びプログラム
US20200193329A1 (en) Learning method and learning apparatus
WO2023148914A1 (ja) 機械学習装置、機械学習システム、機械学習方法、及び機械学習プログラム
US12056231B2 (en) Training an artificial intelligence engine for real-time monitoring to eliminate false positives

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240805

R150 Certificate of patent or registration of utility model

Ref document number: 7544254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150