JP7436928B2 - 学習装置、学習方法およびプログラム - Google Patents

Description

本発明は、学習装置、学習方法およびプログラムの技術に関する。

ラベル特徴を抽出するＷｃとラベル以外特徴を抽出するＷｕの２つのニューラルネットワークで構成され、ラベル特徴を更にクラス分類用のニューラルネットワークへ入力し、クラス分類タスクを解く学習方法が提案されている。そして、この提案の学習方法では、ラベル特徴の再構成とラベル以外特徴の再構成を１：１で加重和したもので入力ｘを復元する（例えば非特許文献１参照）。

Thomas Robert, Nicolas Thome, Matthieu Cord、"HybridNet: Classification and Reconstruction Cooperation for Semi-Supervised Learning"、2018、インターネット検索、＜URL: https://arxiv.org/abs/1807.11407＞

しかしながら、従来技術は、ラベル特徴のクラス分類を解く際に、ラベル特徴の特徴を更にクラス分類用のＮＷへ入力しているため、この処理でクラス以外の情報が消失する可能性がある。このため、従来技術では、ラベル特徴がクラス以外の情報を含んでいたとしてもそれを検知できない。このように、従来技術では、学習時に特徴が漏れるため、データを任意の特徴に明確に分離することができない場合があるという問題があった。
上記事情に鑑み、本発明は、データを任意の特徴に明確に分離することができる技術の提供を目的としている。

本発明の一態様は、学習に用いる学習データから得られた潜在変数をラベル特徴量とラベル以外特徴量とに分類する分類部と、前記分類部によって分類されたラベル特徴量とラベル以外特徴量をデコーダパラメータを用いてデコードして再構成データを生成するデコード部と、前記ラベル特徴量を用いて、前記ラベル特徴量と分類に用いられるラベル情報との分類誤差を最小化し、前記ラベル特徴量と前記ラベル以外特徴量とを用いて再構成誤差を最小化するように前記デコーダパラメータを最適化する最適化部と、を備える学習装置である。

本発明の一態様は、分類部が、学習に用いる学習データから得られた潜在変数をラベル特徴量とラベル以外特徴量とに分類し、デコード部が、前記分類部によって分類されたラベル特徴量とラベル以外特徴量をデコーダのパラメータを用いてデコードして再構成データを生成し、最適化部が、前記ラベル特徴量を用いて、前記ラベル特徴量と分類に用いられるラベル情報との分類誤差を最小化し、前記ラベル特徴量と前記ラベル以外特徴量とを用いて再構成誤差を最小化するように前記デコーダパラメータを最適化する、学習方法である。

本発明の一態様は、コンピュータに、学習に用いる学習データから得られた潜在変数をラベル特徴量とラベル以外特徴量とに分類させ、前記分類されたラベル特徴量とラベル以外特徴量をデコーダのパラメータを用いてデコードして再構成データを生成させ、前記ラベル特徴量を用いて、前記ラベル特徴量と分類に用いられるラベル情報との分類誤差を最小化し、前記ラベル特徴量と前記ラベル以外特徴量とを用いて再構成誤差を最小化させて前記デコーダパラメータを最適化する、プログラムである。

本発明により、データを任意の特徴に明確に分離することができる。

実施形態の学習装置の構成の一例を示す図である。 第１の実施形態の処理の概要を示す図である。 第１の実施形態に係る学習時と分類時の処理手順例を示すフローチャートである。 第１の実施形態に係るラベル特徴量とラベル以外特徴量の一例を示す図である。 第１の実施形態に係る原画と再構成した画像の一例を示す図である。 第１の実施形態に係る原画とラベル特徴量以外を交換した時の再構成した画像の一例を示す図である。 第２の実施形態の処理の概要を示す図である。 第２の実施形態に係る学習時と分類時の処理手順例を示すフローチャートである。 第２の実施形態に係るラベル特徴量とラベル以外特徴量の一例を示す図である。 第２の実施形態に係る原画と再構成した画像の一例を示す図である。 第２の実施形態に係る原画とラベル特徴量以外を交換した時の再構成した画像の一例を示す図である。 第３の実施形態の処理の概要を示す図である。 第３の実施形態に係る学習時と分類時の処理手順例を示すフローチャートである。 第１の実施形態に加えて第２の実施形態の処理と第３の実施形態の処理を行う場合のラベル特徴量とラベル以外特徴量の一例を示す図である。 第１の実施形態に加えて第２の実施形態の処理と第３の実施形態の処理を行う場合の原画と再構成した画像の一例を示す図である。 第１の実施形態に加えて第２の実施形態の処理と第３の実施形態の処理を行う場合の原画とラベル特徴量以外を交換した時の再構成した画像の一例を示す図である。

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、実施形態の学習装置の構成の一例を示す図である。図１のように、学習装置１は、サンプリング部１１、分類部２、処理部３、および最適化部２７を備える。

分類部２は、エンコード部１２、ラベル特徴量抽出部１３、およびラベル以外特徴量抽出部１４を備える。

処理部３は、ラベル特徴量交換部１５、特徴結合部１６、デコード部１７、再構成誤差算出部１８、デコード部１９、再構成誤差算出部２０、ラベル以外特徴量交換部２１、特徴結合部２２、デコード部２３、エンコード部２４、ラベル特徴量抽出部２５、および分類誤差算出部２６を備える。

学習装置１は、入力されたデータをラベル特徴量とラベル以外特徴量とに分離する。なお、以下の説明において、学習データを{ｘ_ｉ，ｙ_ｉ}(ｘ_ｉは入力データ、ｙ_ｉはラベル（クラス）情報)（ｉ＝１，…，Ｎ）とする。

サンプリング部１１は、学習データ｛ｘ_ｉ，ｙ_ｉ｝からバッチサイズＢ（Ｂは１以上の整数）の入力データ｛ｘ_１，ｙ_１｝，…，｛ｘ_Ｂ，ｙ_Ｂ｝をサンプリングする。

エンコード部１２は、サンプルされた入力データｘ_ｉをエンコードして、各データについてＭ個のパラメータから構成される特徴量１０１{Ｚ_ｉ＝［ｚ_{ｉ，ｌａｂｅｌ}，ｚ_{ｉ，ｗｏ＿ｌａｂｅｌ}］}を得る。ここで、ｚ_{ｉ，ｌａｂｅｌ}はＣ個（Ｃは１以上の整数）のパラメータから構成されるラベル特徴量ｚ_{ｉ，ｌａｂｅｌ}＝［ｚ_ｉ，１，…，ｚ_ｉ，Ｃ］であり、ｚ_{ｉ，ｗｏ＿ｌａｂｅｌ}はＭ－Ｃ個（Ｍは２以上の整数）のパラメータから構成されるラベル以外特徴量ｚ_{ｉ，ｗｏ＿ｌａｂｅｌ}＝［ｚ_{ｉ，Ｃ＋１}，…，ｚ_ｉ，Ｍ］である。エンコード部１２は、特徴量１０１を、ラベル特徴量抽出部１３とラベル以外特徴量抽出部１４とデコード部１９とに出力する。なお、潜在変数とは、オートエンコーダを使用する場合、エンコードして得られる特徴量である。

ラベル特徴量抽出部１３は、ラベル特徴量１０２｛ｚ_{ｉ，ｌａｂｅｌ}｝を抽出する。ラベル特徴量抽出部１３は、抽出したラベル特徴量１０２を、ラベル特徴量交換部１５と特徴結合部２２と分類誤差算出部２６とに出力する。

ラベル以外特徴量抽出部１４は、ラベル以外特徴量１０３｛ｚ_{ｉ，ｗｏ＿ｌａｂｅｌ}｝を抽出する。ラベル以外特徴量抽出部１４は、抽出したラベル以外特徴量１０３を、特徴結合部１６とラベル以外特徴量交換部２１と特徴結合部２２とに出力する。

ラベル特徴量交換部１５には、学習データに付与されているラベル情報と、ラベル特徴量１０２とが入力される。ラベル特徴量交換部１５は、ラベル特徴量ｚ_{ｉ，ｌａｂｅｌ}の各パラメータについてバッチ処理内の同一ラベルサンプルとランダムに交換（スワップ）する。交換したものを（ｚ_{ｉ，ｌａｂｅｌ}）^ｓｗａｐとする。ラベル特徴量交換部１５は、交換したラベル特徴量１０４を特徴結合部１６に出力する。なお、ラベル特徴量交換部１５には、バッチ処理内に限らず、同一ラベルの別のサンプルと交換するようにしてもよい。

特徴結合部１６は、ラベル特徴量交換部１５によって交換されたラベル特徴量１０４と、ラベル以外特徴量抽出部１４によって抽出されたラベル以外特徴量１０３とを結合し、結合した特徴量をデコード部１７に出力する。

デコード部１７は、特徴量をデコードして再構成データ１０５｛（ｘ_ｉ）^{（ｓｗａｐ＿ｌａｂｅｌ）＾}｝を得る。デコード部１７は、再構成データ１０５を再構成誤差算出部１８に出力する。

再構成誤差算出部１８は、入力データｘ_ｉと、デコードして得られた再構成データ（ｘ_ｉ）＾との再構成誤差１０６｛Ｌ_{ｒｅｃ，ｓｗａｐ}｝を次式（１）によって算出する。なお、式（１）においてｄは、２つのベクトル間の距離を算出する任意の関数であり、例えば平均二乗誤差和や平均絶対誤差和等である。再構成誤差算出部１８は、算出した再構成誤差１０６を最適化部２７に出力する。

デコード部１９は、特徴量１０１をデコードして再構成データ１０７｛（ｘ_ｉ）^＾｝を得る。デコード部１９は、再構成データ１０７を再構成誤差算出部２０に出力する。

再構成誤差算出部２０は、入力データｘ_ｉと、デコード部１９が出力する再構成データ（ｚ_ｉ）^{（ｓｗａｐ＿ｌａｂｅｌ）＾}との再構成誤差１０８｛Ｌ_{ｒｅｃ，ｏｒｇ}｝を次式（２）によって算出する。

ラベル以外特徴量交換部２１は、ラベル以外特徴量ｚ_{ｉ，ｗｏ＿ｌａｂｅｌ}の各パラメータについてバッチ処理内のサンプルとランダムに交換する。交換したものを（ｚ_{ｉ，ｗｏ＿ｌａｂｅｌ}）^ｓｗａｐとする。ラベル以外特徴量交換部２１は、ラベル特徴量ｚ_{ｉ，ｌａｂｅｌ}と交換された（ｚ_{ｉ，ｗｏ＿ｌａｂｅｌ}）^ｓｗａｐとを結合した特徴量{（ｚ_ｉ）^{ｓｗａｐ＿ｗｏ＿ｌａｂｅｌ}}を生成する。ラベル以外特徴量交換部２１は、交換したラベル以外特徴量１１０を特徴結合部２２に出力する。

特徴結合部２２は、ラベル特徴量抽出部１３によって抽出されたラベル特徴量１０２と、ラベル以外特徴量交換部２１によって交換されたラベル以外特徴量１１０とを結合する。特徴結合部２２は、結合した特徴量をデコード部２３に出力する。

デコード部２３は、合された特徴量{（ｚ_ｉ）^{ｓｗａｐ＿ｗｏ＿ｌａｂｅｌ}}をデコードして再構成データ１１１{（ｘ_ｉ）^{（ｓｗａｐ＿ｗｏ＿ｌａｂｅｌ）＾}}を得る。デコード部２３は、再構成データ１１１をエンコード部２４に出力する。

エンコード部２４は、再構成データ１１１{（ｘ_ｉ）^{（ｓｗａｐ＿ｗｏ＿ｌａｂｅｌ）＾}}を再エンコードして、特徴量１１２を得る。エンコード部２４は、特徴量１１２をラベル特徴量抽出部２５に出力する。

ラベル特徴量抽出部２５は、特徴量１１２からラベル特徴量｛（ｚ_{ｉ，ｌａｂｅｌ}）^{（ｓｗａｐ＿ｗｏ＿ｌａｂｅｌ）＾}｝を抽出し、抽出したラベル特徴量１１３を分類誤差算出部２６に出力する。

分類誤差算出部２６には、ラベル情報と、ラベル特徴量抽出部１３が抽出したラベル特徴量１０２と、ラベル特徴量抽出部２５が抽出したラベル特徴量１１３とが入力される。分類誤差算出部２６は、ラベル特徴量１０２｛ｚ_{ｉ，ｌａｂｅｌ}｝から、次式（３）によって分類誤差１０９｛Ｌ_{ｌａｂｅｌ，ｏｒｇ}｝を算出する。式（３）において、（ｚ_{ｙｉ，ｌａｂｅｌ}）￣は、バッチサンプルの中でラベル情報がｙ_ｉであるサンプルのラベル特徴量ｚ_{ｉ，ｌａｂｅｌ}を平均化したものであり、Ｋは分類ラベル数である。

また、分類誤差算出部２６は、ラベル特徴量１１３｛（ｚ_{ｉ，ｌａｂｅｌ}）^{（ｓｗａｐ＿ｗｏ＿ｌａｂｅｌ）＾}｝から、次式（４）によって分類誤差１１４｛Ｌ_{ｌａｂｅｌ，ｓｗａｐ}｝を算出する。

最適化部２７は、各誤差を重み付けした目的関数Ｌを次式（５）によって算出する。なお、式（５）において、λは所定の重み係数である。

さらに、最適化部２７は、例えば勾配法によりエンコード部（１２，２４）およびデコード部（１７，１９，２３）のパラメータを更新する。最適化部２７は、例えば目的関数Lが収束したか否かを判別、または所定回数の処理が終了したか否かを判別する。

なお、図１に示した構成や処理は一例であり、これに限らない。また、図１の構成は、用途によって、使用する機能部と使用しない機能部とがある。また、エンコード部１７、１９、２３は、一体であっても別であってもよい。特徴結合部１８、２２は、一体であっても別であってもよい。再構成誤差算出部１８，２０は、一体であっても別であってもよい。

なお、学習装置１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。学習装置１は、プロセッサーがプログラムを実行することによって、サンプリング部１１、エンコード部２、分類部３および最適化部２７として機能する。なお、学習装置１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

（第１の実施例）
本実施形態では、エンコード部１２が同一層で特徴を分離する。なお、本実施形態では、バッチ内で交換させない。
図２は、本実施形態の処理の概要を示す図である。エンコーダｇ１０２は、図１のエンコード部１２に対応する。エンコーダｇ１０２とデコーダg１０５は、例えばオートエンコーダである。エンコーダｇ１０２には、入力データｇ１０１が入力される。

学習装置１は、オートエンコーダのボトルネック部分を特徴とみなして学習を行う。
ラベル特徴量抽出部１３とラベル以外特徴量抽出部１４は、特徴をラベル特徴量ｇ１０３とラベル以外特徴量ｇ１０４との２つに分離する。
ラベル特徴量ｇ１０３とラベル以外特徴量ｇ１０４とは、デコーダｇ１０５に入力される。デコーダｇ１０５は、図１のデコード部１９に対応する。

最適化部２７は、ラベル特徴量ｇ１０３を用いて、クラス分類誤差（CE loss;Cross-entropy loss）を最小化する。
最適化部２７は、ラベル特徴量ｇ１０３とラベル以外特徴量ｇ１０４とを用いて、再構成誤差を最小化する。

次に、学習時と分類時の処理手順例を説明する。
図３は、本実施形態に係る学習時と分類時の処理手順例を示すフローチャートである。

サンプリング部１１は、学習データからバッチサイズＢの入力データをサンプルする（ステップＳ１１）。エンコード部１２は、入力データをエンコードして特徴量を得る（ステップＳ１２）。

ラベル特徴量抽出部１３がラベル特徴量を抽出し、ラベル以外特徴量抽出部１４がラベル以外特徴量を抽出することで、特徴量を２つに分離する（ステップＳ１３）。

最適化部２７は、ラベル特徴量ｇ１０３を用いて、クラス分類誤差を最小化する（ステップＳ１４）。最適化部２７は、ラベル特徴量ｇ１０３とラベル以外特徴量ｇ１０４とを用いて、再構成誤差を最小化する（ステップＳ１５）。

最適化部２７は、例えば勾配法によりエンコード部（１２，２４）およびデコード部（１７，１９，２３）のパラメータを更新する（ステップＳ１６）。最適化部２７は、例えば目的関数Ｌが収束したか否かを判別、または所定回数の処理が終了したか否かを判別する（ステップＳ１６）。最適化部２７は、目的関数Ｌが収束した場合または所定回数の処理が終了した場合（ステップＳ１７；ＹＥＳ）、処理を終了する。最適化部２７は、目的関数Ｌが収束していない場合または所定回数の処理が終了していない場合（ステップＳ１７；ＮＯ）、ステップＳ１１～Ｓ１６の処理を繰り返す。

次に、本実施形態の効果を示す一例を図４～６に示す。なお、図４～図６では、学習データ、分類すべきデータが画像データの例である。また、ラベル特徴量は数字の種類（０～９）であり、ラベル以外特徴量は数字の形状である。

図４は、本実施形態に係るラベル特徴量とラベル以外特徴量の一例を示す図である。縦軸は、ラベル特徴量ｇ２０１と、ラベル以外特徴量ｇ２０２である。横方向は、原画ｇ２０３と、特徴をそれぞれ変化させた時の再構成した画像ｇ２０４である。なお、枠ｇ２０５内の画像については、後述する。

図５は、本実施形態に係る原画と再構成した画像の一例を示す図である。横方向は、原画ｇ２１１、ｇ２１３と、再構成した画像ｇ２１２、ｇ２１４である。

図６は、本実施形態に係る原画とラベル特徴量以外を交換した時の再構成した画像の一例を示す図である。横方向は、原画ｇ２２１、ｇ２２３と、ラベル特徴量以外を交換した時の再構成した画像ｇ２１２、ｇ２１４である。なお、枠ｇ２２５内の画像については、後述する。

本実施形態では、このように構成された学習装置１では、特徴をラベル特徴とラベル以外の特徴との２つに分離するようにした。また、学習装置１では、ラベル特徴量を用いてクラス分類誤差を最小化するようにした。また、学習装置１では、ラベル特徴量とラベル以外特徴量とを用いて再構成誤差を最小化するようにした。

これにより、本実施形態によれば、オートエンコーダにより再構成するため、特徴の漏れがない。また、本実施形態によれば、ラベル情報が連続空間上の表現として明確に抽出することができる。

（第２の実施例）
ラベル以外の特徴から、さらに精度よくラベル特徴を除外するテクニックを本実施形態で示す。ラベル以外の特徴にラベル特徴が含まれると、デコードした結果得られる出力値が、違うラベルの出力値になると考えられる。また、同じラベルをもつデータ間であれば、ラベル以外の特徴を交換しても同じクラスの出力値にデコードされる。そこで、本実施形態では、学習装置１が、ラベル以外の特徴をバッチ内で交換させて学習する。

図７は、本実施形態の処理の概要を示す図である。エンコーダｇ１０７は、図１のエンコード部２４に対応する。エンコーダｇ１０７は、例えばオートエンコーダである。エンコーダｇ１０７には、再構成されたデータｇ１０６が入力される。なお、エンコーダｇ１０２とエンコーダｇ１０７は一体であっても別であってもよい。

第２の実施形態では、第１の実施形態に加えて、以下の処理を行う。
ラベル以外特徴量交換部２１は、ラベル以外特徴量をバッチ間で交換する。
デコード部２３は、ラベル特徴量と交換されたラベル以外特徴量を結合した特徴量をデコードする。
エンコード部２４は、デコードされた特徴量を再エンコードする。
最適化部２７は、再エンコードした結果得られたラベル特徴量ｇ１０３’を用いて、クラス分類誤差を最小化する。

次に、学習時と分類時の処理手順例を説明する。
図８は、本実施形態に係る学習時と分類時の処理手順例を示すフローチャートである。

学習装置１は、ステップＳ１１～Ｓ１３の処理を行う。
続けて、ラベル以外特徴量交換部２１は、ラベル以外特徴量をバッチ間で交換する（ステップＳ２１）。デコード部２３は、ラベル特徴量と交換されたラベル以外特徴量を結合した特徴量をデコードする（ステップＳ２２）。エンコード部２４は、デコードされた特徴量を再エンコードする（ステップＳ２３）。

続けて、最適化部２７は、再エンコードされたラベル特徴量ｇ１０３’を用いてクラス分類誤差を最小化する（ステップＳ２４）。
続けて、学習装置１は、ステップＳ１６～Ｓ１７の処理を行う。

次に、本実施形態の効果を示す一例を図９～１１に示す。なお、図９～図１１では、学習データ、分類すべきデータが画像データの例である。
図９は、本実施形態に係るラベル特徴量とラベル以外特徴量の一例を示す図である。図１０は、本実施形態に係る原画と再構成した画像の一例を示す図である。図１１は、本実施形態に係る原画とラベル特徴量以外を交換した時の再構成した画像の一例を示す図である。

図１１のようにラベル以外特徴量を交換して再構成しても、他の数字に変化しない、すなわちラベル以外特徴量にラベル情報が入っていない。

本実施形態では、このように構成された学習装置１では、特徴をラベル特徴とラベル以外の特徴との２つに分離するようにした。また、学習装置１では、ラベル以外特徴量をバッチ間で交換するようにした。また、学習装置１では、交換されたデータをデコードし、デコードされた再構成データを再エンコードするようにした。また、学習装置１では、再エンコードされて得られたラベル特徴量ｇ１０３’を用いてクラス分類誤差を最小化するようにした。

ラベル以外の特徴にラベルの情報が入っていると再構成した時に異なるラベルのデータになる場合がある。これに対して、本実施形態によれば、再構成された画像を再エンコードしてクラス分類誤差が小さくなるようにすることでラベル以外の特徴にラベルの情報が含まれなくすることができる。

（第３の実施例）
ラベル特徴量から、さらにラベル特徴量以外の情報を取り除くテクニックを本実施形態で説明する。同一のラベルが付与されるデータ間であれば、ラベル特徴を交換してもデコードされた結果得られるクラスは同一である。そこで、本実施形態では、学習装置１が、ラベル特徴をバッチ内の同一ラベル間で交換させて学習する。図１２は、本実施形態の処理の概要を示す図である。

第３の実施形態では、第１の実施形態に加えて、以下の処理を行う。
ラベル特徴量交換部１５は、ラベル特徴量をバッチ内の同一ラベル間でランダムに交換する。
デコード部１７は、交換されたラベル特徴量とラベル以外特徴量を結合した特徴量をデコードする。
最適化部２７は、デコード部１７でデコードされた再構成データを用いて、再構成誤差を最小化する。

次に、第１の実施形態に加えて本実施形態の処理を行う場合の学習時と分類時の第１の処理手順例を説明する。図１３は、第３の実施形態に係る学習時と分類時の処理手順例を示すフローチャートである。

学習装置１は、ステップＳ１１～Ｓ１３の処理を行う。
ラベル特徴量交換部１５は、ラベル特徴量ｇ１０３をバッチ内の同一ラベル間でランダムに交換する（ステップＳ３１）。デコード部１７は、交換されたラベル特徴量ｇ１０３とラベル以外特徴量ｇ１０４を結合した特徴量をデコードする（ステップＳ３２）。

最適化部２７は、交換されデコードされた再構成データを用いて、再構成誤差を最小化する（ステップＳ３３）。
学習装置１は、ステップＳ１６～Ｓ１７の処理を行う。

本実施形態では、このように構成された学習装置１では、特徴をラベル特徴とラベル以外の特徴との２つに分離するようにした。また、学習装置１では、ラベル特徴量をバッチ内の同一ラベル間で交換するようにした。また、学習装置１では、交換されたデータをデコードし、デコードされた再構成データを用いて再構成誤差を最小化するようにした。

以上のように、本実施形態によれば、ラベル特徴量を他の同一ラベルデータと交換して再構成するようにした。この再構成では、交換したラベル特徴量にラベル情報のみが含まれていなければならないため、ラベル特徴量にラベル以外の情報が含まれなくすることができる。

なお、本実施形態によれば、交換したサンプル間の共通特徴を抽出できる。本実施形態では、ラベル情報がない学習データを２つの特徴（第一の部分特徴量（ラベル特徴量）と、第二の部分特徴量（ラベル以外特徴量））に分けて、ラベル特徴量をランダムに交換して再構成誤差を算出することで、その学習データの潜在的な共通特徴を求めることができる。なお、共通特徴とは、例えば、犬の画像群であれば、犬という情報が共通特徴であり、ある人の手書き文字の画像群であれば、その人の書き方の情報が共通特徴であり、あるいはデータセットであるＩｍａｇｅｎｅｔのような自然画像を学習データであれば、自然画像という概念が共通特徴である。これにより、本実施形態は、ラベルが付与されていない学習データにも適用ができる。

この場合の処理は、学習装置１が、例えば、対象データから特徴量を抽出し、抽出された特徴量を再構成し再構成データを取得し、対象データと再構成データとの差である再構成誤差を、所定のデータ群が共通して有する特徴を前記対象データが有する度合いとして出力する。学習装置１は、再構成の際、所定のデータ群に属するデータから得られた特徴量を、第一の部分特徴量と、第二の部分特徴量と、に分離し、前記第二の部分特徴量を、所定のデータ群に属する別のデータから抽出された第二の部分特徴量と交換し、交換後特徴量を取得する。そして、学習装置１は、交換後特徴量を再構成したデータと、所定のデータ群に属するデータとの差が小さくなるよう最適化する。

次に、第１の実施形態に加えて第２の実施形態の処理と本実施形態の処理を行う場合の効果を示す一例を図１４～１６に示す。なお、図１４～図１６では、学習データ、分類すべきデータが画像データの例である。
図１４は、第１の実施形態に加えて第２の実施形態の処理と本実施形態の処理を行う場合のラベル特徴量とラベル以外特徴量の一例を示す図である。図１５は、第１の実施形態に加えて第２の実施形態の処理と本実施形態の処理を行う場合の原画と再構成した画像の一例を示す図である。図１６は、第１の実施形態に加えて第２の実施形態の処理と本実施形態の処理を行う場合の原画とラベル特徴量以外を交換した時の再構成した画像の一例を示す図である。

図１４～図１６のように、第１の実施形態に加えて第２の実施形態の処理を行う場合は、ラベル以外の特徴にラベルの情報が乗っていない。また、第１の実施形態に加えて本実施形態の処理を行う場合は、ラベル特徴量にラベル特徴以外の情報が乗っていない。これにより、第２実施形態と本実施形態とによれば、ラベル情報とラベル以外情報を明確に分離することができる。

（変形例）
なお、上述した各実施例において、特徴を分離する対象のデータが画像データに限らず、他のデータであってもよい。また、画像データは、静止画であっても動画であってもよい。

また、上述した各実施形態によれば、データを任意の特徴に分離できるため、特定の特徴を持ったデータを生成したり、特定の特徴を編集して再構成したりすることができる。これにより、上述した各実施形態は、任意の特徴についてデータ生成したり編集することができる（データのＤｉｓｅｎｔａｎｇｌｅｍｅｎｔ）。

また、上述した各実施形態によれば、ラベル情報とそれ以外の情報に分離し、更にラベル情報を連続空間での値として抽出できるため、未学習クラスの認識等へ応用が可能である。これにより、上述した各実施形態は、少数データのクラスを認識するＦｅｗ－ｓｈｏｔ学習の精度を向上させることができる。

通常の転移学習では、例えばＩｍａｇｅｎｅｔのクラス分類問題で学習する等、クラス分類タスクに特化した特徴を再利用する。しかし、別のタスクで必要な情報が失われてしまう可能性がある。これに対して、上述した各実施形態によれば、データを再現するのに過不足なく特徴を得ているため、様々なタスクへ転移学習しても必要な情報が失われないため、精度を向上させることができる。これにより、上述した各実施形態は、転移学習の精度を向上させることができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、データの特徴の分離、データの生成、データの編集、データのクラスの認識、転移学習等に適用可能である。

１…学習装置、２…分類部、３…処理部、１１…サンプリング部、１２…エンコード部、１３…ラベル特徴量抽出部、１４…ラベル以外特徴量抽出部、１５…ラベル特徴量交換部、１６…特徴結合部、１７…デコード部、１８…再構成誤差算出部、１９…デコード部、２０…再構成誤差算出部、２１…ラベル以外特徴量交換部、２２…特徴結合部、２３…デコード部、２４…エンコード部、２５…ラベル特徴量抽出部、２６…分類誤差算出部、２７…最適化部

Claims (6)

1. 学習に用いる学習データから得られた潜在変数をラベル特徴量とラベル以外特徴量とに分類する分類部と、
   前記分類部によって分類されたラベル特徴量とラベル以外特徴量をデコーダパラメータを用いてデコードして再構成データを生成するデコード部と、
   前記ラベル特徴量を用いて、前記ラベル特徴量と分類に用いられるラベル情報との分類誤差を最小化し、前記ラベル特徴量と前記ラベル以外特徴量とを用いて再構成誤差を最小化するように前記デコーダパラメータを最適化する最適化部と、
   を備える学習装置。
2. 前記ラベル以外特徴量は、Ｍ－Ｃ（Ｃは１以上の整数、Ｍは２以上の整数）個のパラメータから構成され、
   前記ラベル以外特徴量の各パラメータをバッチ処理内の前記学習データとランダムに交換するラベル以外特徴量交換部と、
   前記交換されたラベル以外特徴量と前記ラベル特徴量とを結合する特徴結合部と、
   前記デコード部が前記結合された特徴量をデコードして生成した前記再構成データをエンコードして特徴量を生成するエンコード部と、
   前記特徴量からラベル特徴量を抽出するラベル特徴量抽出部と、
   前記ラベル特徴量抽出部によって抽出されたラベル特徴量を用いて前記分類誤差を算出する分類誤差算出部と、を更に備え、
   前記最適化部は、
   前記ラベル特徴量抽出部によって抽出されたラベル特徴量を用いて前記分類誤差を最小化する、
   請求項１に記載の学習装置。
3. 前記分類部は、オートエンコーダを備える、
   請求項１または請求項２に記載の学習装置。
4. 前記分類誤差は、次式においてＬ_{ｌａｂｅｌ，ｓｗａｐ}で表される値であり、
   

   

   前記（ｚ_{ｙｉ，ｌａｂｅｌ}）￣はバッチサンプルの中でラベル情報がyiであるサンプルのラベル特徴量ｚ_{ｉ，ｌａｂｅｌ}を平均化したものであり、前記Ｋは分類ラベル数であり、前記（ｚ_{ｉ，ｌａｂｅｌ}）^{（ｓｗａｐ＿ｗｏ＿ｌａｂｅｌ）＾}は前記再構成データをエンコードして得られるラベル特徴量であり、Ｂ（Ｂは１以上の整数）はバッチサイズであり、前記ｄは２つのベクトル間の距離を算出する任意の関数である、
   請求項２に記載の学習装置。
5. 分類部が、学習に用いる学習データから得られた潜在変数をラベル特徴量とラベル以外特徴量とに分類し、
   デコード部が、前記分類部によって分類されたラベル特徴量とラベル以外特徴量をデコーダのパラメータを用いてデコードして再構成データを生成し、
   最適化部が、前記ラベル特徴量を用いて、前記ラベル特徴量と分類に用いられるラベル情報との分類誤差を最小化し、前記ラベル特徴量と前記ラベル以外特徴量とを用いて再構成誤差を最小化するように前記デコーダパラメータを最適化する、
   学習方法。
6. コンピュータに、
   学習に用いる学習データから得られた潜在変数をラベル特徴量とラベル以外特徴量とに分類させ、
   前記分類されたラベル特徴量とラベル以外特徴量をデコーダのパラメータを用いてデコードして再構成データを生成させ、
   前記ラベル特徴量を用いて、前記ラベル特徴量と分類に用いられるラベル情報との分類誤差を最小化し、前記ラベル特徴量と前記ラベル以外特徴量とを用いて再構成誤差を最小化させて前記デコーダパラメータを最適化する、
   プログラム。

Images