JP6673226B2 - 特徴変換装置、認識装置、特徴変換方法及びコンピュータ読み取り可能記録媒体 - Google Patents

Description

本発明は、特徴変換装置、認識装置、特徴変換方法及びコンピュータ読み取り可能記録媒体に関する。

様々な分野において、統計的機械学習の技術が用いられている。統計的機械学習では、複数のサンプルを含み、各々のサンプルに対して当該サンプルが表す内容である正解クラスが付されたデータである学習データを用いて、その学習データとクラスとの統計的な性質がモデルに基づいて学習が行われる。この学習データは、学習に先立ち予め収集される。そして、複数のサンプルを含み、各々にサンプルに対して上述した正解クラスが付されていないデータであるテストデータに対して当該モデルが適用されることで、テストデータに関する予測や認識等の結果を得ることができる。

機械学習が用いられる分野の一つとして、パターン認識技術がある。パターン認識技術は、入力されたパターンが属するクラスを推定する。パターン認識技術の例としては、画像に含まれる物体を推定する物体認識や、音声に関する発話内容を推定する音声認識などの技術がある。

機械学習手法の多くでは、学習データの統計的性質とテストデータの統計的性質とが一致していることが仮定されている。すなわち、これらの性質が異なる場合には、機械学習の精度が低下する可能性がある。そのため、ドメイン適応と呼ばれる、上述した統計的性質のずれを補正する技術が提案されている。

特許文献１には、学習装置等が記載されている。特許文献１に記載の学習装置は、訓練サンプルデータの入力データである訓練データと、テストデータとの生成確率の比である重要度に基づき、テストデータの出力を予測するための予測モデルを学習する。

また、非特許文献１には、学習データとテストデータとが同じような分布となるように特徴変換を行う技術が記載されている。非特許文献１に記載された技術では、特徴変換として、学習データが分布する部分空間と、テストデータが分布する部分空間とを内挿した部分空間群への射影が用いられている。

特開２０１０−９２２６６号公報

Ｂ． Ｇｏｎｇ， Ｙ． Ｓｈｉ， Ｆ． Ｓｈａ， ａｎｄ Ｋ． Ｇｒａｕｍａｎ， "Ｇｅｏｄｅｓｉｃ Ｆｌｏｗ Ｋｅｒｎｅｌ ｆｏｒ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｄｏｍａｉｎ Ａｄａｐｔａｔｉｏｎ，" ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ），ｐｐ． ２０６６-２０７３， ２０１２

特許文献１に記載されている学習装置においては、学習データに含まれる実効的なサンプルデータの数が少なくなる場合がある。また、非特許文献１に記載されている技術においては、テストデータの統計的性質を近似する際に不要な学習データを使用して特徴変換が行われる場合がある。そのため、これらの技術に基づいて特徴変換がなされたデータを用いて学習が行われることで、学習の精度に影響が生じる場合がある。

すなわち、特許文献１や非特許文献１に記載されている技術は、ドメイン適応の精度に改善の余地がある。

本発明は、上記課題を解決するためになされたものであって、精度の高い特徴変換を可能とする特徴変換装置等を提供することを主たる目的とする。

本発明の一態様における特徴変換装置は、それぞれ複数のサンプルを含む学習データ及びテストデータを受付ける受付手段と、学習データに含まれる要素の各々に対して付される重みを導出する重み導出手段、及び、学習データ又はテストデータに含まれるサンプルの各々を変換する特徴変換パラメータを導出する特徴変換パラメータ導出手段を有し、重み及び特徴変換パラメータに関する目的関数に基づいて、重み及び特徴変換パラメータの最適化を行う最適化手段と、重みが所定の拘束条件を満たすか否かを判定する拘束条件判定手段、及び、重み又は特徴変換パラメータの少なくとも一方に関して正則化を行う正則化手段を有し、目的関数の値を導出する目的関数導出手段と、特徴変換パラメータに基づいて、学習データ又はテストデータの少なくとも一方に含まれる要素を変換する変換手段とを備える。

本発明の一態様における特徴変換方法は、それぞれ複数のサンプルを含む学習データ及びテストデータを受付け、学習データに含まれる要素の各々に対して付される重みが所定の拘束条件を満たすか否かを判定し、重み又は学習データ若しくはテストデータに含まれるサンプルの各々を変換する特徴変換パラメータの少なくとも一方に関して正則化を行って、目的関数の値を導出し、重みを導出し、かつ、特徴変換パラメータを導出して、重み及び特徴変換パラメータに関する目的関数に基づいて、重み及び特徴変換パラメータの最適化を行い、特徴変換パラメータに基づいて、学習データ又はテストデータの少なくとも一方に含まれる要素を変換する。

本発明の一態様におけるコンピュータ読み取り可能記録媒体は、コンピュータに、それぞれ複数のサンプルを含む学習データ及びテストデータを受付ける処理と、学習データに含まれる要素の各々に対して付される重みを最適化するように導出する処理、及び、学習データ又はテストデータに含まれるサンプルの各々を変換する特徴変換パラメータを最適化するように導出する処理を行い、重み及び特徴変換パラメータに関する目的関数に基づいて、重み及び特徴変換パラメータを最適化する処理と、重みが所定の拘束条件を満たすか否かを判定する処理、及び、重み又は特徴変換パラメータの少なくとも一方に関して正則化を行う処理を行い、目的関数の値を導出する処理と、特徴変換パラメータに基づいて、学習データ又はテストデータの少なくとも一方に含まれる要素を変換する処理とを実行させるプログラムを非一時的に格納する。

本発明によると、精度の高い特徴変換を可能とする特徴変換装置等を提供することができる。

本発明の第１の実施形態における特徴変換装置の構成を示す図である。 本発明の第１の実施形態における特徴変換装置の動作の一例を示すフローチャートである。 本発明の第１の実施形態における特徴変換装置と関連する技術に基づいて、学習データ及びテストデータに含まれるサンプルの各々に対して重み付けが行われる場合の一例を示す図である。 本発明の第１の実施形態における特徴変換装置と関連する技術に基づいて、学習データ等に関して特徴変換が行われる場合の一例を示す図である。 本発明の第１の実施形態における特徴変換装置にて学習データ及びテストデータに対して特徴変換及び重み付けが行われる場合の例を示す図である。 本発明の一実施例における認識装置の構成を示す図である。 本発明の実施形態及び実施例における特徴変換装置等を実現する情報処理装置の一例である。

本発明の実施形態等について、添付の図面を参照して説明する。最初に、本発明の実施形態等における特徴変換装置の基礎となるドメイン適応の技術について説明する。その後、本発明の実施形態等について説明する。

最初に、ドメイン適応の技術について説明する。上述のように、ドメイン適応は、学習データの統計的性質とテストデータの統計的性質とが異なる場合に、その統計的性質のずれを補正する技術である。なお、この場合において、学習データは、例えば正解クラスが付された１つ以上のサンプルを含む。テストデータは、例えば正解クラスが付されていない１つ以上のサンプルを含む。

ドメイン適応に関する手法の一つは、学習データに含まれるサンプルの各々に対して重み付けを行う手法である。この手法は、例えば上述した特許文献１に記載されている。図３は、学習データに含まれるサンプルの各々に対して重み付けがなされる場合における学習データ及びテストデータの例を示す図である。なお、図３の例では、図３（１）にて学習データとして示される実線の楕円及び図３（２）にてテストデータとして示される点線の楕円は、学習データ及びテストデータのそれぞれに含まれるサンプルが分布する領域を表す。

この手法においては、例えば、学習データ及びテストデータの各々の分布が重なる領域（図３においては、図３（３）にて色付けされた領域）に含まれる学習データのサンプルに対する重みが大きくなるように、重み付けが行われる。そして、上述した重み付けが行われることによって、テストデータを近似した学習データのデータ分布が表現されるようになる。なお、図３（３）において、実線の楕円及び点線の楕円は、学習データ及びテストデータのそれぞれに含まれるサンプルが分布する領域を表す。

しかしながら、この手法においては、実効的なサンプル（当該学習データを用いて学習が行われる場合に有効となるサンプル）の数を考慮せずに重み付けが行われる場合がある。このことから、一部のサンプルのみに大きな重み付けが行われる可能性がある。一部のデータのみに大きな重み付けが行われることで、学習データの実効的なサンプルのデータ数が少なくなる可能性がある。その結果として、当該学習データを用いた学習が行われる場合に、その学習に悪影響が生じる場合がある。

ドメイン適応に関する別の手法の一つは、学習データの分布とテストデータの分布とを近似させる（すなわち、同じような分布となる）ように、学習データ又はテストデータの少なくとも一方に対して特徴変換を行う手法である。この手法は、例えば上述した非特許文献１に記載されている。図４は、学習データ及びテストデータの各々に対して特徴変換がなされる場合における学習データ及びテストデータの例を示す図である。図４の例では、図４（１）にて学習データとして示される実線の楕円及び図４（２）にてテストデータとして示される点線の楕円は、図３の例と同様に、学習データ及びテストデータのそれぞれに含まれるサンプルが分布する領域を表す。

この手法においては、図４（３）に示されるように、特徴変換が行われることで、学習データとテストデータとが類似した分布となる。したがって、この例では、変換された学習データにてテストデータを近似させることが可能となる。なお、図４（３）において、実線の楕円及び点線の楕円は、図３（３）と同様に、それぞれ学習データ及びテストデータの各々に含まれるサンプルが分布する領域を表す。

しかしながら、この手法においては、学習データに含まれるサンプルデータの全てが均等に用いられて特徴変換が行われる場合がある。そのため、特徴変換において、テストデータの統計的性質に近似させる場合には必ずしも必要ではない学習データのサンプルが用いられる場合がある。このような特徴変換が行われると、正確なドメイン適応が行うことが難しい場合がある。

これに対して、本発明の第１の実施形態等における特徴変換装置は、上述した重み付けの手法と特徴変換の手法とを併用する。すなわち、本発明の第１の実施形態等における特徴変換装置は、学習データの重みと特徴変換とを同一の目的関数に関して最適化するようにして求める。また、本発明の第１の実施形態等における特徴変換装置は、学習データの重みを均等にするような正則化項を含む目的関数を用いてもよい。このようにすることで、ドメイン適応が行われた学習データに含まれる実効的なサンプルのデータを多くしつつ、学習データの統計的性質とテストデータの統計的性質とが近似した特徴変換を行うことが可能となる。

図５は、学習データ及びテストデータの各々に対して重み付け及び特徴変換がなされる場合における学習データ及びテストデータの例を示す図である。図５において、図５（１）にて学習データとして示される実線の楕円及び図５（２）にてテストデータとして示される点線の楕円は、図３等の例と同様に、学習データ及びテストデータのそれぞれに含まれるサンプルが分布する領域を表す。

本発明の各実施形態において用いられる手法では、学習データ及びテストデータの各々は、重み付け及び特徴変換が行われることで、図５（３）に示されるような形態となる。なお、図５（３）において、学習データの分布とテストデータの分布とが重なる領域は、図３（３）と同様に色付けされている。図５（３）に示されているように、学習データの分布とテストデータの分布とが重なる領域は、図３（３）と比較して大きくなっている。そして、本発明の各実施形態において用いられる手法では、当該色付けられた領域に含まれる学習データのサンプルに大きな重みが付されるように重み付けが行われる。なお、図５（３）において、実線の楕円及び点線の楕円は、図３（３）又は図４（３）と同様に、それぞれ学習データ及びテストデータの各々に含まれるサンプルが分布する領域を表す。

すなわち、本発明の各実施形態において用いられる手法では、図３（３）に示される重み付けのみに基づく手法と比較すると、大きな重みをもつサンプルが含まれる領域を大きくすることが可能である。このことは、実効的な学習データのサンプル数が増えていることを示している。

また、本発明の各実施形態において用いられる手法では、図４（３）に示される特徴変換のみに基づく手法と比較すると、学習データ及びテストデータの分布が重ならない領域に含まれるサンプルデータに小さな重みが割当てられている。
このことは、効果的なドメイン適応を行うことが可能であることを示している。

続いて、本発明の実施形態等について説明する。なお、本発明の実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素は、例えば図７に示すような情報処理装置５００とソフトウェアとの任意の組み合わせにより実現することができる。情報処理装置５００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３
・ＲＡＭ５０３にロードされるプログラム５０４
・プログラム５０４を格納する記憶装置５０５
・記録媒体５０６の読み書きを行うドライブ装置５０７
・ネットワーク５０９と接続する通信インターフェース５０８
・データの入出力を行う入出力インターフェース５１０
・各構成要素を接続するバス５１１
各装置の実現方法には様々な変形例がある。例えば、各装置は、専用の装置として実現することができる。また、各装置は、複数の装置の組み合わせにより実現することができる。

なお、本発明の各実施形態の構成等を示す図面において、矢印は、データの流れの向きの一例を示す。しかしながら、データの流れは、図中に示す矢印の向きに限られない。

また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（ｃｉｒｃｕｉｔｒｙ）、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態における特徴変換装置の構成を示す図である。図２は、本発明の第１の実施形態における特徴変換装置の動作の一例を示すフローチャートである。図７は、本発明の実施形態及び実施例における特徴変換装置等を実現する情報処理装置の一例である。

図１に示すとおり、本発明の第１の実施形態における特徴変換装置は、特徴変換装置１００と、受付部１１０と、最適化部１２０と、目的関数導出部１３０と、拘束条件判定部１３１と、正則化部１３２と、変換部１４０とを備える。最適化部１２０は、重み導出部１２１と、特徴変換パラメータ導出部１２２とを有する。目的関数導出部１３０は、拘束条件判定部１３１と、正則化部１３２とを有する。

受付部１１０は、学習データ及びテストデータを受付ける。最適化部１２０は、重み及び特徴変換パラメータに関する目的関数に基づいて、重み及び特徴変換パラメータの最適化を行う。最適化部１２０において、重み導出部１２１は、学習データに含まれる要素の各々に対して付される重みを導出する。また、特徴変換パラメータ導出部１２２は、学習データ又はテストデータに含まれる要素の各々を変換する特徴変換パラメータを導出する。目的関数導出部１３０は、上述した目的関数の値を導出する。目的関数導出部１３０において、拘束条件判定部１３１は、重みに関する所定の拘束条件を満たすか否かを判定する。また、正則化部１３２は、重み又は特徴変換パラメータの少なくとも一方に関する正則化を行う。変換部１４０は、特徴変換パラメータに基づいて、学習データ又はテストデータの少なくとも一方に含まれる要素を変換する。

続いて、本実施形態における特徴変換装置１００の各構成要素について説明する。

受付部１１０は、学習データ及びテストデータを受付ける。受付部１１０にて受付けた学習データ及びテストデータは、図示しない記憶手段等に格納される。

本実施形態において、学習データは、例えば正解クラスが付された１つ以上のサンプルを含む。テストデータは、例えば正解クラスが付されていない１つ以上のサンプルを含む。また、例えば学習データ及びテストデータが画像に含まれる物体の認識に関するデータである場合、学習データ及びテストデータに含まれるサンプルは、画像から抽出したＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量等の特徴量を記述した特徴ベクトルとなる。この場合に、学習データに付されたクラスは、例えば当該画像に含まれる物体の名称である。

なお、受付部１１０にて受付ける学習データ及びテストデータは、それぞれ上述した例と異なるデータでもよい。例えば、受付部１１０は、正解クラスが付されていないサンプルを含む学習データと、正解クラスが付されたサンプルを含むテストデータとを受付けてもよい。または、受付部１１０は、正解クラスが付されていないサンプルを含む学習データと、正解クラスが付されていないサンプルを含むテストデータとを受付けてもよい。学習データ及びテストデータに含まれるサンプルは、各々が表す情報の種類等に応じて、適宜上述した特徴ベクトルと異なる形態であってもよい。

最適化部１２０は、重み及び特徴変換パラメータに関する目的関数に基づいて、重み及び特徴変換パラメータを最適化する。最適化部１２０は、重み導出部１２１及び特徴変換パラメータ導出部１２２を有する。

本実施形態において、重みは、学習データに含まれるサンプルごとに定められる値であり、テストデータを近似する場合におけるサンプルの各々の重要度を表す。学習データに含まれるサンプルが上述した特徴ベクトルである場合には、重みは当該特徴ベクトルごとに決められるスカラー値である。また、この場合には、重みが大きい場合に、当該特徴ベクトルがテストデータを近似する場合に重要であることを示す。

特徴変換パラメータは、学習データ等に対して特徴変換が行われる場合に、その特徴変換の程度を示すパラメータである。学習データに含まれるサンプルが上述した特徴ベクトルである場合には、特徴変換パラメータは、行列として表現される。そして、この行列と特徴ベクトルとの乗算によって、特徴変換が行われる。

最適化部１２０では、最適化は、予め定められた目的関数に基づいて行われる。一例として、画像に含まれる物体の認識に関する学習の場合においては、目的関数は、下記の（１）式に示す目的関数Ｌが用いられる。目的関数として下記の（１）式に示す目的関数Ｌが用いられる場合においては、上述した最適化は、この（１）式に示す目的関数Ｌの値を最小化するように行われる。

この（１）式において、ｘは学習データ又はテストデータに含まれるサンプルである特徴ベクトルを、Ｄ_Ｓは学習データを、Ｄ_Ｔはテストデータを表す。また、ｗは重みを、θは特徴変換のパラメータを、ｆ_θは特徴変換に関する演算を、ｇ_θは変換後の特徴から元の特徴に戻す逆変換に関する演算を、Ｒは重みに対する正則化を行う凸関数を表す。

上述した（１）式にて示される目的関数は、変換後の特徴を逆変換した値と元の特徴との差のＬ２ノルムを第１項及び第２項で最小化する。（１）式にて示される目的関数は、特徴変換の学習において用いられる基準の一例である。ただし、目的関数は、学習データ及びテストデータが表す情報等に応じて、上述した（１）式と異なる形式にて適宜定められてもよい。例えば、目的関数は、相関関数であってもよい。

なお、最適化部１２０は、重み導出部１２１での重みの最適化と、特徴変換パラメータ導出部１２２での特徴変換パラメータの最適化とを、例えば交互に繰り返して実行する。

最適化部１２０において、重み導出部１２１は、上述した重みを求める。より詳しくは、重み導出部１２１は、上述した目的関数に関して最適化した重みを求める。本実施形態においては、（１）式で示される目的関数は、重みに関して凸関数となる。したがって、重み導出部１２１は、凸関数を最適化する際に一般的に用いられる劣勾配法や内点法等の手法に基づいて、重みを最適化する。

最適化部１２０において、特徴変換パラメータ導出部１２２は、上述した特徴変換パラメータを求める。より詳しくは、特徴変換パラメータ導出部１２２は、上述した目的関数に関して最適化した特徴変換パラメータを求める。

本実施形態の例では、特徴変換パラメータに関しては、後述する拘束条件判定部１３１にて説明されるような拘束条件は定められていない。そのため、特徴変換パラメータ導出部１２２は、特徴変換の最適化において一般に用いられる勾配法等の手法に基づいて、特徴変換パラメータの最適化を行うことが可能である。

目的関数導出部１３０は、目的関数の値を求める。目的関数導出部１３０は、拘束条件判定部１３１と、正則化部１３２とを有する。

目的関数導出部１３０は、目的関数を求める時点における重み及び特徴変換パラメータの値に基づいて目的関数の値を導出する。また、目的関数導出部１３０は、重み及び特徴変換パラメータの最適化に際して必要となる情報（例えば、勾配）を併せて導出してもよい。

目的関数導出部１３０において、拘束条件判定部１３１は、重みが予め定められた拘束条件を満たすか否かを判定する。拘束条件の一例として、各々の重みが非負であり、重みの総和が予め定められた値であるとの条件が用いられる。一例として、画像に含まれる物体の認識に関する学習の場合においては、拘束条件は、下記の（２）式のように表される。

上述した（２）式において、Ｃは予め定められる定数である。Ｃが大きな値になることで、学習データに含まれるサンプルに付される重みが大きくなる。すなわち、Ｃが大きな値となることで、学習データが重視されるように、最適化部１２０や重み導出部１２１にて重みが最適化されて求められる。一方、Ｃが小さな値となることで、学習データに含まれるサンプルに付される重みが小さくなる。すなわち、Ｃが大きな値となることで、テストデータが重視されるように、最適化部１２０や重み導出部１２１にて重みが最適化されて求められる。

拘束条件判定部１３１において、重みが予め定められた拘束条件を満たさないと判定される場合には、例えば重み導出部１２１等にて、拘束条件を満たすように重みが補正される。

又は、この場合において、目的関数導出部１３０は、通常求められる目的関数の値と比較して十分に大きな値を求めてもよい。このようにすることで、上述した拘束条件を満たさない重みが最適解として導出されないようにすることができる。

なお、拘束条件判定部１３１は、学習データやテストデータ等が表す情報や、目的関数の形式等に応じて、適宜（２）式と異なる拘束条件を用いてもよい。

目的関数導出部１３０において、正則化部１３２は、重み又は特徴変換パラメータの少なくとも一方に関する正則化を行う。一例として、正則化部１３２は、最適化部１２０等にて容易に最適化が行われるように、凸関数を用いて重みに関する正則化を行う。本実施形態においては、例えば画像に含まれる物体の認識に関する学習の場合においては、正則化部１３２は、例えば以下の（３）式に示される正則化項を用いる。

先の（１）式にて示されているように、最適化部１２０は、この（３）式の値が小さくなるように重み及び特徴変換パラメータの最適化を行う。一方、拘束条件判定部１３１における（２）式にして示されているように、重みの総和は一定となる。そのため、（３）式の値は、学習データに含まれるサンプルの各々に付された重みが均等である（すなわち、重みの各々の相違が小さく、その相違が所定の範囲に含まれる）場合に小さな値となる。

つまり、本実施形態における特徴変換装置１００は、目的関数導出部１３０が正則化部１３２を有し、目的関数に正則化項が導入されることで、重みを均等にすることができる。そして、このことから、学習データに含まれる実効的なサンプルの数を多くすることが可能となる。

なお、正則化部１３２は、学習データやテストデータ等が表す情報や、目的関数の形式等に応じて、適宜（３）式と異なる式を正則化項として用いてもよい。

変換部１４０は、最適化部１２０及び特徴変換パラメータ導出部１２２にて最適化するように求められた重み及び特徴変換パラメータに基づいて、学習データ又はテストデータの少なくとも一方に対して特徴変換を行う。変換部１４０は、先に説明したｆ_θを用いて特徴変換を行う。

変換部１４０は、特徴変換が行われた学習データ又はテストデータを、図示しない任意の種類の記憶手段、通信ネットワーク又は任意の種類の表示手段等に出力してもよい。変換部１４０は、一例として、特徴変換されたｆ_θ（ｘ）のみ（ｘは学習データ又はテストデータに含まれるサンプルである特徴ベクトルを表す）を出力してもよい。また、変換部１４０は、学習データに関しては、特徴変換された学習データと、当該学習データに対応する重みとを、併せて出力してもよい。

なお、変換部１４０は、他の装置等においても上述したような特徴変換が行われるよう、特徴変換パラメータや重みを出力してもよい。この場合には、変換部１４０は、特徴変換パラメータや重みを、特徴変換がなされた学習データやテストデータと併せて、又は特徴変換パラメータや重みのみを出力してもよい。

続いて、図２を用いて、本実施形態における特徴変換装置１００の動作の一例を説明する。

最初に、受付部１１０は、学習データ及びテストデータを受付ける（ステップＳ１０１）。受付けた学習データ及びテストデータは、図示しない記憶手段等に適宜格納される。なお、このステップにおいて、受付部１１０等にて重みや特徴変換パラメータの初期値が定められてもよい。

次に、特徴変換装置１００は、特徴変換パラメータを最適化するように求める一連の動作を行う。この場合に、まず、目的関数導出部１３０において、拘束条件判定部１３１は、重みに拘束条件が満たされているか否かの判定を行う（ステップＳ１０３）。また、正則化部１３２は、正則化を行う（ステップＳ１０２）。この２つのステップの動作の順序は任意である。そして、目的関数導出部１３０は、ステップＳ１０１にて入力された学習データ及びテストデータや、重み、特徴変換パラメータに基づいて、目的関数の値を求める（ステップＳ１０４）。この場合に、目的関数導出部１３０は、ステップＳ１０２又はステップＳ１０３における結果も用いて目的関数の値を求める。次に、最適化部１２０において、特徴変換パラメータ導出部１２２は、目的関数に対して特徴変換パラメータを最適化するように、特徴変換パラメータを求める（ステップＳ１０５）。

次に、特徴変換装置１００は、重みを最適化するように求める一連の動作を行う。まず、目的関数導出部１３０において、拘束条件判定部１３１は、再び重みに拘束条件が満たされているか否かの判定を行う（ステップＳ１０７）。同様に、正則化部１３２は、正則化を行う（ステップＳ１０６）。そして、目的関数導出部１３０は、目的関数の値を求める（ステップＳ１０８）。ステップＳ１０６からステップＳ１０８までの動作は、それぞれステップＳ１０２からステップＳ１０４までの動作と同様に行われる。次に、最適化部１２０において、重み導出部１２１は、目的関数に対して重みを最適化するように、重みを求める（ステップＳ１０９）。

次に、最適化部１２０は、最適化処理を終了するか否かを判定する（ステップＳ１１０）。最適化部は、例えば予め定めた回数の最適化の処理が行われた場合や、目的関数の収束具合等に基づき、目的関数に関する所定の条件が満たされていると判断される場合に、最適化処理を終了すると判定する。

最適化部１２０が最適化処理を終了すると判定した場合には、次に、変換部１４０においてステップＳ１１１の処理が行われる。すなわち、変換部１４０は、それまでのステップにて求められた特徴変換パラメータに基づいて、学習データ又はテストデータの少なくとも一方に関して特徴変換を行う。このステップでは、変換部１４０は、必要に応じて、変換された学習データ又はテストデータを、図示しない任意の種類の記憶手段、通信ネットワーク又は任意の種類の表示手段等に出力してもよい。また、変換部１４０は、それまでのステップにて求められた重みを併せて出力してもよい。

ステップＳ１１０において、最適化部１２０が最適化処理を終了しないと判定した場合には、特徴変換装置１００は、ステップＳ１０２又はＳ１０３に戻り、処理を継続する。すなわち、それまでの処理にて新たに求められた重みや特徴変換パラメータを用いて、ステップＳ１０２又はステップＳ１０３以降の処理が再度行われる。すなわち、本実施形態における特徴変換装置１００は、重み及び特徴変換パラメータの導出を、最適化部１２０において最適化処理を終了すると判定されるまで、例えば交互に繰り返し実行する。

以上のとおり、本実施形態における特徴変換装置１００は、学習データの重みと特徴変換パラメータとを、同一の目的関数に関して最適化するように求める。より詳しくは、本発明の第１の実施形態等における特徴変換装置は、学習データの重みを均等にするような正則化項を含む目的関数を用いて、学習データの重み及び特徴変換の最適化を行う。このようにすることで、本実施形態における特徴変換装置は、学習データに含まれる実効的なサンプルのデータを多くしつつ、学習データの統計的性質とテストデータの統計的性質とを近似させて特徴変換を行うことができる。すなわち、本実施形態における特徴変換装置は、精度の高い特徴変換を行うことができる。

また、本実施形態における特徴変換装置１００では、例えば学習データの重みに関する拘束条件と、凸関数を用いた正規化を導入した目的関数が用いられる。このことから、重みに関しては、劣勾配法等の凸関数に関する最適化の方法等を用いて最適化が行われる。また、特徴変換のパラメータに関しては、一般的な最適化の手法を用いて最適化が行われる。すなわち、本実施形態における特徴変換装置１００を用いることで、学習データの重み及び特徴変換のパラメータが、容易に最適化されることが可能となる。

そして、本実施形態における特徴変換装置１００を用いることで、画像認識や音声認識を含む統計的機械学習において、予め用意された学習データを実際のデータに適用する場合における学習の性能を向上させることが可能となる。
（適用例）
次に、図６を用いて、本発明の第１の実施形態における特徴変換装置１００を用いる認識装置１０について説明する。この認識装置１０は、例えば、画像認識や音声認識等の用途に用いられる。ただし、認識装置１０は、その他の用途にて用いられてもよい。

本適用例における認識装置１０は、特徴変換装置１００と、学習部１１と、認識部１２とを備える。

特徴変換装置１００は、本発明の第１の実施形態にて説明した特徴変換装置１００である。すなわち、特徴変換装置１００は、入力された学習モデル及びテストデータに対して特徴変換を行う。そして、特徴変換装置１００は、特徴変換された学習モデル及びテストデータや、必要に応じて学習データに対する重みを、後述する学習部１１及び認識部１２に出力する。

学習部１１は、特徴変換装置１００にて特徴変換が行われた学習データに基づいて、例えばサポートベクターマシン等に基づく認識モデルを学習する。

認識部１２は、学習部１１にて学習が行われた認識モデルを用いて、特徴変換装置１００にて特徴変換されたテストデータの認識を行う。認識部１２は、認識を行った結果を、例えば図示しない任意の種類の記憶手段、通信ネットワーク又は任意の種類の表示手段等に出力する。

本適用例における認識装置１０においては、学習部１１は、特徴変換装置１００にて特徴変換が行われた学習データに基づいて、認識モデルの学習を行う。そのため、本適用例における認識装置１０は、予め用意された学習データの統計的性質がテストデータの統計的性質と異なっている場合でも、精度の高い学習モデルを生成することができる。したがって、本適用例における認識装置１０は、例えば画像や音声の認識に用いられる場合に、予め用意された学習データに基づいて生成された学習モデルを実際のテストデータに適用する場合に、高い精度で認識等を行うことができる。

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本発明のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。

この出願は、２０１５年２月６日に出願された日本出願特願２０１５−２２４００を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 認識装置
１００ 特徴変換装置
１１０ 受付部
１２０ 最適化部
１２１ 重み導出部
１２２ 特徴変換パラメータ導出部
１３０ 目的関数導出部
１３１ 拘束条件判定部
１３２ 正則化部
１４０ 変換部

Claims (9)

1. それぞれ複数のサンプルを含む学習データ及びテストデータを受付ける受付手段と、
   前記学習データに含まれる要素の各々に対して付される重みを導出する重み導出手段、及び、前記学習データ又は前記テストデータに含まれる前記サンプルの各々を変換する特徴変換パラメータを導出する特徴変換パラメータ導出手段を有し、前記重み及び前記特徴変換パラメータに関する目的関数に基づいて、前記重み及び前記特徴変換パラメータの最適化を行う最適化手段と、
   前記重みが所定の拘束条件を満たすか否かを判定する拘束条件判定手段、及び、前記重み又は前記特徴変換パラメータの少なくとも一方に関して正則化を行う正則化手段を有し、前記目的関数の値を導出する目的関数導出手段と、
   前記特徴変換パラメータに基づいて、前記学習データ又は前記テストデータの少なくとも一方に含まれる要素を変換する変換手段とを備える、特徴変換装置。
2. 前記正則化手段は、学習データに含まれる前記複数のサンプルの各々に対する前記重みの相違が所定の範囲に含まれるように正則化を行う、請求項１に記載の特徴変換装置。
3. 前記拘束条件判定手段は、学習データに含まれる前記複数のサンプルの各々に対する前記重みが非負であり、かつ、前記重みの総和が所定の条件を満たすか否かを判定する、請求項１又は２に記載の特徴変換装置。
4. 前記受付手段は、複数の前記サンプルの各々に対して当該サンプルが表す内容である正解クラスが付された学習データと、複数の前記サンプルの各々に対して前記正解クラスが付されていないテストデータとを受付ける、請求項１から３のいずれか一項に記載の特徴変換装置。
5. 前記受付手段は、複数の前記サンプルの各々に対して当該サンプルが表す内容である正解クラスが付されていない学習データと、複数の前記サンプルの各々に対して前記正解クラスが付されたテストデータとを受付ける、請求項１から３のいずれか一項に記載の特徴変換装置。
6. 前記受付手段は、複数の前記サンプルの各々に対して当該サンプルが表す内容である正解クラスが付されていない学習データと、複数の前記サンプルの各々に対して前記正解クラスが付されていないテストデータとを受付ける、請求項１から３のいずれか一項に記載の特徴変換装置。
7. 請求項１から６のいずれか一項に記載の特徴変換装置と、
   前記特徴変換装置にて導出された前記重み及び前記特徴変換パラメータに基づいて変換された前記学習データに基づいて認識モデルの学習を行う学習手段と、
   前記特徴変換装置にて導出された前記特徴変換パラメータに基づいて変換された前記テストデータと前記認識モデルとに基づいて、前記テストデータに関する認識を行う認識手段とを備える、認識装置。
8. 情報処理装置が、
   それぞれ複数のサンプルを含む学習データ及びテストデータを受付け、
   前記学習データに含まれる要素の各々に対して付される重みが所定の拘束条件を満たすか否かを判定し、かつ、前記重み又は前記学習データ若しくは前記テストデータに含まれる前記サンプルの各々を変換する特徴変換パラメータの少なくとも一方に関して正則化を行って、目的関数の値を導出し、
   前記重みを導出し、かつ、前記特徴変換パラメータを導出して、前記重み及び前記特徴変換パラメータに関する目的関数に基づいて、前記重み及び前記特徴変換パラメータの最適化を行い、
   前記特徴変換パラメータに基づいて、前記学習データ又は前記テストデータの少なくとも一方に含まれる要素を変換する、
   特徴変換方法。
   
9. コンピュータに、
   それぞれ複数のサンプルを含む学習データ及びテストデータを受付ける処理と、
   前記学習データに含まれる要素の各々に対して付される重みを最適化するように導出する処理、及び、前記学習データ又は前記テストデータに含まれる前記サンプルの各々を変換する特徴変換パラメータを最適化するように導出する処理を行い、前記重み及び前記特徴変換パラメータに関する目的関数に基づいて、前記重み及び前記特徴変換パラメータを最適化する処理と、
   前記重みが所定の拘束条件を満たすか否かを判定する処理、及び、前記重み又は前記特徴変換パラメータの少なくとも一方に関して正則化を行う処理を行い、前記目的関数の値を導出する処理と、
   前記特徴変換パラメータに基づいて、前記学習データ又は前記テストデータの少なくとも一方に含まれる要素を変換する処理とを実行させるプログラム。

Images