JP7103987B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

特許法第３０条第２項適用 平成３０年１０月２９日に電子情報通信学会技術研究報告、信学技報Ｖｏｌ．１１８、Ｎｏ．２８４に掲載、及び平成３０年１１月５日の電子情報通信学会技術研究報告にて発表

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

近年、ニューラルネットワークを始めとする機械学習の技術が急速に発展してきている。ニューラルネットワークのような教師あり機械学習では、学習に用いる学習データの精度（量及び質）が学習モデルの性能に大きく関わってくる。

学習データの精度を向上させるため、例えば、非特許文献１に開示されている技術では、ドメイン敵対的訓練（Domain Adversarial Training；ＤＡＴ）を用いて異なる学習データを援用する技術が提案されている。ＤＡＴは、入力データのクラス識別器とドメイン識別器とを同時に学習させ、なおかつドメイン識別が不能となるように入力データの変換を学習させることで、特徴表現のドメイン不変性の獲得を狙う技術である。なお、ドメイン識別器とは、ある学習データが、異なる学習データのうちどの学習データに由来するデータであるかを識別するための識別器である。

獲得可能な特徴表現のドメイン不変性の程度は、ドメイン識別器として用いる関数の表現力、すなわち仮説クラスに依存する。ドメイン識別器の表現力を高める方法のひとつとして、より複雑な関数を採用することが考えられる。一方、学習データを所与とした場合、ドメイン識別器を汎化させるにはその関数の複雑度をある程度制限する必要があることが知られている（非特許文献２参照）。

Y. Ganin et al., "Domain-Adversarial Training of Neural Networks," J. Mach. Learn. Res., vol. 17, pp. 1-35, May 2016. T. Suzuki, "Fast generalization error bound of deep learning from a kernel perspective," Proc. Twenty-First Int. Conf. Artif. Intell. Stat., vol. 84, pp. 1397-1406, 2018.

学習データを所与とすることによるドメイン識別器の表現力の限界は、ＤＡＴにおける入力データの変換性能の限界にもつながり、ひいては学習データの精度向上にも影響する。

本発明はこれらの点に鑑みてなされたものであり、学習データを所与とした場合であってもよりドメイン識別器を汎化させることができる技術を提供することを目的とする。

本発明の第１の態様は、情報処理装置である。この装置は、第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを格納する記憶部と、前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換する第１ベクトル変換部と、前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換する第２ベクトル変換部と、前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成するとともに、前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づける特徴ベクトル混合部と、前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させる学習データ生成部と、を備える。

前記第１ベクトルデータ群を構成する各ベクトルデータは、当該ベクトルデータが属するクラスを示すクラスラベルが割り当てられているとともに、前記第２ベクトルデータ群を構成する各ベクトルデータは、前記第１ベクトルデータ群の各ベクトルデータに割り当てられたクラスラベルのうちいずれかのクラスラベルが割り当てられていてもよく、前記情報処理装置はさらに、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを入力として当該学習ベクトルデータに紐付けられたクラスラベルの推定値を出力するクラス識別部と、前記第３特徴ベクトルデータを入力として当該学習ベクトルデータに紐付けられた空間ラベルの推定値を出力するデータ識別部と、前記クラス識別部に第１特徴ベクトルデータと前記第２特徴ベクトルデータとを入力したときの推定値を含む第１評価関数の評価値に基づいて前記クラス識別部、前記第１ベクトル変換部、及び前記第２ベクトル変換部を更新するとともに、前記データ識別部に前記第３特徴ベクトルデータを入力したときの推定値を含む第２評価関数の評価値に基づいて前記データ識別部、前記第１ベクトル変換部、及び前記第２ベクトル変換部を更新する更新部をさらに備えてもよい。

前記第１評価関数は、前記クラス識別部に前記第１特徴ベクトルデータを入力したときの推定値と、前記第１特徴ベクトルデータに紐付けられているクラスラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力し、かつ前記クラス識別部に前記第２特徴ベクトルデータを入力したときの推定値と、前記第２特徴ベクトルデータに紐付けられているクラスラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されていてもよく、前記第２評価関数は、前記データ識別部に前記第３特徴ベクトルデータを入力したときの推定値と、前記第３特徴ベクトルデータに紐付けられている空間ラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されていてもよい。

前記更新部は、前記第１評価関数の評価値が小さくなるように前記クラス識別部を更新してもよく、前記第２評価関数の評価値が小さくなるように前記データ識別部を更新してもよく、前記第１評価関数の評価値が小さくなり、かつ前記第２評価関数の評価値が大きくなるように、前記第１ベクトル変換部及び前記第２ベクトル変換部を更新してもよい。

本発明の第２の態様は、情報処理方法である。この方法において、プロセッサが、第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを記憶部から取得するステップと、前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換するステップと、前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換するステップと、前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成するステップと、前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づけるステップと、前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させるステップと、を実行する。

本発明の第３の態様は、プログラムである。このプログラムは、コンピュータに、第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを記憶部から取得する機能と、前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換する機能と、前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換する機能と、前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成する機能と、前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づける機能と、前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させる機能と、を実現させる。

このプログラムを提供するため、あるいはプログラムの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、学習データを所与とした場合であってもよりドメイン識別器を汎化させることができる。

実施の形態の概要を説明するための模式図である。 実施の形態に係る情報処理装置の機能構成を模式的に示す図である。 実施の形態に係る情報処理装置が実行する学習処理を説明するための図である。 実施の形態に係る更新部の前後における第３特徴ベクトルデータの分布を概念的に示す模式図である。 実施の形態に係る情報処理装置が実行する情報処理の流れを説明するためのフローチャートである。

＜実施の形態の概要＞
本発明の実施の形態は、汎用的なデータ強化手法であるｍｉｘｕｐを、ＤＡＴのドメイン識別器に適用することにより、学習データを所与とした場合であってもよりドメイン識別器を汎化させることを可能とする。

図１は、実施の形態の概要を説明するための模式図である。図１において、第１ベクトル空間は、あるデータソース（ドメイン）から得られた学習データを表現するベクトル空間である。また、第２ベクトル空間は、第１ベクトル空間で表現される学習データとは異なるデータソースから得られた学習データを表現するベクトル空間である。

一例として、例えば、第１ベクトル空間のベクトルは、医用画像データに由来するベクトルである。第１ベクトル空間を規定する各軸は、医用画像データの特徴量に対応する。図示の都合上、図１において第１ベクトル空間は３次元空間として表しているが、一般に、Ｎ個（Ｎは正の整数）の特徴量を用いることにより、１枚の医用画像データはＮ次元空間中の１点に射影される。

第２ベクトル空間のベクトルは、例えば、医用画像データを読影した医師が作成したカルテに由来するベクトルである。具体的には、第２ベクトル空間のベクトルは、医用画像データを読影した医師が作成したカルテをＤｏｃ２Ｖｅｃ等の既知の手法を用いて多次元ベクトルに変換して得られたベクトルであり、これにより、カルテを多次元空間の１点に射影することができる。図示の都合上、図１において第２ベクトル空間は２次元空間として表しているが、一般にはより高次元である。

なお、上述のデータやそのベクトル化手法は一例である。本実施の形態は、異なるデータソースのデータが、何らかの手法によってそれぞれベクトル表現されていれば適用でき、データの種類やベクトル化手法は問わない。

いま、精度向上を実現したい主タスクが定義されるドメインを目標ドメイン、主タスクの精度向上のために援用するデータが得られるドメインを元ドメインと呼ぶことにする。図１において、第１ベクトル空間のベクトルで表現されるベクトルデータｘ_ｔが目標ドメインに由来するベクトルであり、第２ベクトル空間のベクトルで表現されるベクトルデータｘ_ｓが元ドメインに由来するベクトルである。

目標ドメインに由来するベクトルデータｘ_ｔはｄ_ｔ次元のベクトルデータであり、サンプル数はｎ^ｔであるとする。また、元ドメインに由来するベクトルデータｘ_ｓはｄ_ｓ次元のベクトルデータであり、サンプル数はｎ^ｓであるとする。図１に示すように、目標ドメインに由来する任意のベクトルデータｘ_ｔはｄ_ｔ次元の空間である第１ベクトル空間の１点で表され、元ドメインに由来する任意のベクトルデータｘ_ｓはｄ_ｓ次元の空間である第２ベクトル空間の１点で表される。

第１ベクトル空間のベクトルデータｘ_ｔには、第１ベクトル空間のベクトルであることを示す空間ラベルとして「１」を割り当てることにする。同様に、第２ベクトル空間のベクトルデータｘ_ｓには、第２ベクトル空間のベクトルであることを示す空間ラベルとして「０」を割り当てることにする。なお、空間ラベルとして０や１を割り当てることは一例であり、他の値であってもよい。

一般に、第１ベクトル空間の次元数と、第２ベクトル空間の次元数とは異なり、このままでは元ドメインに由来するベクトルデータｘ_ｓを目標ドメインに由来するベクトルデータｘ_ｔに援用することはできない。

そこで、実施の形態に係る情報処理装置は、第１ベクトルデータ群を構成するベクトルデータｘ_ｔそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータｚ_ｔに変換する。同様に、実施の形態に係る情報処理装置は、第２ベクトルデータ群を構成するベクトルデータｘ_ｓそれぞれを、第３の次元数のベクトルデータである第２特徴ベクトルデータｚ_ｓに変換する。これにより、第１ベクトル空間のベクトルデータｘ_ｔと第２ベクトル空間のベクトルデータｘ_ｓとは、ともに第３の次元数のベクトル空間である第３ベクトル空間のベクトルデータに変換される。以下、第１ベクトル空間のベクトルデータｘ_ｔを第３ベクトル空間の第１特徴ベクトルデータｚ_ｔに変換する変換を第１ベクトル変換Ｇ_ｆｔ、第２ベクトル空間のベクトルデータｘ_ｓを第３ベクトル空間の第２特徴ベクトルデータｚ_ｓに変換する変換を第２ベクトル変換Ｇ_ｆｓと記載することがある。

第１ベクトル変換Ｇ_ｆｔ及び第２ベクトル変換Ｇ_ｆｓは、多層パーセプトロンで構成してよく、特にｄ_ｔ、ｄ_ｘ、ｄ_ｚ等の次元が整合しているユニット数を有すれば３層の多層パーセプトロンで構成してもよいがこの限りではない。

第１ベクトル変換Ｇ_ｆｔ及び第２ベクトル変換Ｇ_ｆｓは、それぞれベクトルデータｘ_ｔとベクトルデータｘ_ｓとを同一次元のベクトルデータである第１特徴ベクトルデータｚ_ｔ及び第２特徴ベクトルデータｚ_ｓに変換するが、変換された第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとが第３ベクトル空間中の近傍領域に変換される保証はない。むしろ、第１ベクトル変換Ｇ_ｆｔ及び第２ベクトル変換Ｇ_ｆｓを適当に設定すると、第３ベクトル空間において第１特徴ベクトルデータｚ_ｔが存在する領域と、第２特徴ベクトルデータｚ_ｓが存在する領域とは乖離する蓋然性が高い。

第３ベクトル空間において第１特徴ベクトルデータｚ_ｔが存在する領域と、第２特徴ベクトルデータｚ_ｓが存在する領域とが乖離していると、たとえ第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとの次元数が同じであったとしても、第２特徴ベクトルデータｚ_ｓを第１特徴ベクトルデータｚ_ｔに援用したところで、ＤＡＴのための精度の高い学習データが得られたとは言い難い。これは、ドメイン識別器の構成が容易であることによって端的に示される。

そこで、実施の形態に係る情報処理装置は、既知のｍｉｘｕｐの手法を用いて第２特徴ベクトルデータｚ_ｓと第１特徴ベクトルデータｚ_ｔとを混合し、新たな第３特徴ベクトルデータｚ_ｍを生成する。具体的には、実施の形態に係る情報処理装置は、第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとを内分比λ：１－λ（０≦λ≦１）で内分して得られる新たなベクトルデータを第３特徴ベクトルデータｚ_ｍとして生成する。さらに具体的には、ｚ_ｍ＝λｚ_ｓ＋（１－λ）ｚ_ｔとなる。なお、実施の形態に係る情報処理装置は、０以上１以下の値を取る確率変数（例えば、ベータ分布にしたがう変数）としてλを定める。λの値は０又は１となり得るので、ｚ_ｍはｚ_ｔ又はｚ_ｓそのものも含み得る。

実施の形態に係る情報処理装置は、生成した第３特徴ベクトルデータｚ_ｍにも、空間ラベルを割り当てる。上述したように、第１ベクトル空間のベクトルデータｘ_ｔには空間ラベルとして１が割り当てられているので、第１特徴ベクトルデータｚ_ｔにも空間ラベルとして１が割り当てられている。同様に、第２ベクトル空間のベクトルデータｘ_ｓには空間ラベルとして０が割り当てられているので、第２特徴ベクトルデータｚ_ｓにも空間ラベルとして０が割り当てられている。

そこで、実施の形態に係る情報処理装置は、第３特徴ベクトルデータｚ_ｍを生成する際に用いた内分比と同じ内分比を用いて、空間ラベルも内分した値を第３特徴ベクトルデータｚ_ｍの空間ラベルとして割り当てる。例えば、第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとを内分比λ：１－λで内分して得られた第３特徴ベクトルデータｚ_ｍの空間ラベルとしてλ×０＋（１－λ）×１を割り当てる。

図１に示す第３ベクトル空間において、第１特徴ベクトルデータｚ_ｔを黒塗りの丸、第２特徴ベクトルデータｚ_ｓを黒塗りの四角、第３特徴ベクトルデータｚ_ｍを黒塗りの三角で示している。図１はあくまでも模式図であるが、第３ベクトル空間において第２特徴ベクトルデータｚ_ｓの集合が存在する領域と第１特徴ベクトルデータｚ_ｔの集合が存在する領域との間に第３特徴ベクトルデータｚ_ｍの集合が存在する領域が形成され、第３ベクトル空間における特徴ベクトルデータが一つのまとまった集合となる。

ここで、上述したドメイン識別器は、第３ベクトル空間における各特徴ベクトルデータに割り当てられた空間ラベルを識別するための識別器である。したがって、ｍｉｘｕｐの手法を用いて第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとを混合して新たな第３特徴ベクトルデータｚ_ｍとした場合と、第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとのみが存在する場合とでは、前者の方が後者よりも空間ラベルを識別するのは難しい問題となる。つまり、ｍｉｘｕｐの手法を用いて第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとを混合し、新たな第３特徴ベクトルデータｚ_ｍを生成することにより、より汎用性の高いドメイン識別器を学習するための学習データを生成できることを意味する。

以上より、実施の形態に係る情報処理装置は、学習データが所与であってもドメイン識別器を汎化させるための学習データを生成することができる。

＜実施の形態に係る情報処理装置１の機能構成＞
図２は、実施の形態に係る情報処理装置１の機能構成を模式的に示す図である。情報処理装置１は、記憶部２と制御部３とを備える。図２において、矢印は主なデータの流れを示しており、図２に示していないデータの流れがあってもよい。図２において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。

記憶部２は、情報処理装置１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）や情報処理装置１の作業領域となるＲＡＭ（Random Access Memory）、ＯＳ（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。

制御部３は、情報処理装置１のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部２に記憶されたプログラムを実行することによってベクトル変換部３０、特徴ベクトル混合部３１、学習データ生成部３２、クラス識別部３３、データ識別部３４、及び更新部３５として機能する。

なお、図２は、情報処理装置１が単一の装置で構成されている場合の例を示している。しかしながら、情報処理装置１は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部３を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。

記憶部２は、第１の次元数の空間である第１ベクトル空間におけるベクトルデータｘ_ｔの集合である第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータｘ_ｓの集合である第２ベクトルデータ群とを格納している。ここで、記憶部２は、第１ベクトルデータ群を構成する各ベクトルデータｘ_ｔに第１ベクトル空間を示す数値である空間ラベルを紐づけて格納している。同様に、記憶部２は、第２ベクトルデータ群を構成する各ベクトルデータｘ_ｓに第２ベクトル空間を示す数値である空間ラベルを紐づけて格納している。

ベクトル変換部３０は、第１ベクトル変換部３００と第２ベクトル変換部３０１とを備える。第１ベクトル変換部３００は、第１ベクトルデータ群を構成するベクトルデータｘ_ｔそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータｚ_ｔに変換する。すなわち、第１ベクトル変換部３００は、上述した第１ベクトル変換Ｇ_ｆｔを実行する。

第２ベクトル変換部３０１は、第２ベクトルデータ群を構成するベクトルデータｘ_ｓそれぞれを、第３の次元数のベクトルデータである第２特徴ベクトルデータｚ_ｓに変換する。すなわち、第２ベクトル変換部３０１は、上述した第２ベクトル変換Ｇ_ｆｓを実行する。

特徴ベクトル混合部３１は、第１特徴ベクトルデータｚ_ｔ及び第２特徴ベクトルデータｚ_ｓの組を取得し、第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータｚ_ｍを生成する。また、特徴ベクトル混合部３１は、第３特徴ベクトルデータｚ_ｍを生成する際に用いた内分比と同じ内分比を用いて第１ベクトル空間を示す空間ラベルと第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを第３特徴ベクトルデータｚ_ｍに紐づける。

学習データ生成部３２は、第１特徴ベクトルデータｚ_ｔ、第２特徴ベクトルデータｚ_ｓ、及び第３特徴ベクトルデータｚ_ｍを学習ベクトルデータとして記憶部２に記憶させる。これにより、情報処理装置１は、所与の学習データから、より汎化性能の高いドメイン識別器を生成するための学習データを生成することができる。

以上より、実施の形態に係る情報処理装置１は、所与の学習データである第１ベクトルデータと第２ベクトルデータとから、最終的に第１特徴ベクトルデータｚ_ｔ、第２特徴ベクトルデータ、及び第３特徴ベクトルデータｚ_ｍを含む学習ベクトルデータを生成することができる。ここで、情報処理装置１の主タスクは、学習データに基づいて生成されたクラス識別器の出力により、目標ドメインの事例の目的変数を予測することである。以下、クラス識別器及びドメイン識別器の学習について説明する。

第１ベクトルデータ群を構成する各ベクトルデータｘ_ｔは、各ベクトルデータｘ_ｔが属するクラスを示すクラスラベルが割り当てられている。例えば、第１ベクトルデータ群を構成する各ベクトルデータｘ_ｔが肺のＸ線画像データに由来するベクトルである場合において、各ベクトルデータｘ_ｔには、結節陰影を含むことを示すクラスラベル「１」と結節陰影を含まないことを示すクラスラベル「０」と、のいずれかのクラスラベルが割り当てられているとする。ベクトルデータｘ_ｔを変換して得られる第１特徴ベクトルデータｚ_ｔも、元となったベクトルデータｘ_ｔと同じクラスラベルが割り当てられる。

第２ベクトルデータ群を構成する各ベクトルデータｘ_ｓには、第１ベクトルデータ群の各ベクトルデータｘ_ｔに割り当てられたクラスラベルのうちいずれかのクラスラベルが割り当てられている。例えば、第２ベクトルデータ群を構成する各ベクトルデータｘ_ｓが肺のＸ線画像を読影した医師が作成したカルテに由来するベクトルである場合にも、各ベクトルデータｘ_ｓには、結節陰影を含むことを示すクラスラベル「１」と結節陰影を含まないことを示すクラスラベル「０」と、のいずれかのクラスラベルが割り当てられている。ベクトルデータｘ_ｓを変換して得られる第２特徴ベクトルデータｚ_ｓも、元となったベクトルデータｘ_ｓと同じクラスラベルが割り当てられる。

クラス識別部３３は、学習ベクトルデータのうち第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとを入力として各特徴ベクトルデータに紐付けられたクラスラベルの推定値を出力する。クラス識別部３３は、上述のクラス識別器に相当する。

データ識別部３４は、学習ベクトルデータのうち第３特徴ベクトルデータｚ_ｍを入力としてその第３特徴ベクトルデータｚ_ｍに紐付けられた空間ラベルの推定値を出力する。データ識別部３４は、上述のドメイン識別器に相当する。

図３は、実施の形態に係る情報処理装置１が実行する学習処理を説明するための図である。以下、本明細書及び図３に記載されている記号の定義について、既出のものを含めてまとめて記載する。

（記号の定義）
・第１ベクトルデータ群を構成するベクトルデータ ： ｘ_ｔ
・各ベクトルデータｘ_ｔに割り当てられたクラスラベル ： ｙ_ｔ
・第１ベクトル空間の空間ラベル ： ｄ_ｔ
・第２ベクトルデータ群を構成するベクトルデータ ： ｘ_ｓ
・各ベクトルデータｘ_ｔに割り当てられたクラスラベル ： ｙ_ｓ
・第２ベクトル空間の空間ラベル ： ｄ_ｓ
・第１ベクトル変換 ： Ｇ_ｆｔ
・第２ベクトル変換 ： Ｇ_ｆｓ
・第１特徴ベクトルデータ ： ｚ_ｔ
・第２特徴ベクトルデータ ： ｚ_ｓ
・第３特徴ベクトルデータ ： ｚ_ｍ
・各第３特徴ベクトルデータｚ_ｍに割り当てられた空間ラベル ： ｄ_ｍ
・クラス識別器 ： Ｇ_ｙ
・データ識別器 ： Ｇ_ｄ
・クラス識別器Ｇ_ｙによる第１特徴ベクトルデータｚ_ｔの識別結果 ： Ｐ_ｔ
・クラス識別器Ｇ_ｙによる第２特徴ベクトルデータｚ_ｓの識別結果 ： Ｐ_ｓ
・データ識別器Ｇ_ｄによる各特徴ベクトルデータの識別結果 ： ｑ_ｍ
・クラス識別器の損失関数 ： Ｌ_ｙ
・データ識別器の損失関数 ： Ｌ_ｄ

ここで、ベクトルデータｘ_ｓの個数をｎ^ｓとし、ｉ番目（ｉは１以上ｎ^ｓ以下の整数）のベクトルデータｘ_ｉ ^ｓと記載する。同様に、ベクトルデータｘ_ｔの個数をｎ^ｔとし、ｊ番目（ｊは１以上ｎ^ｔ以下の整数）のベクトルデータｘ_ｊ ^ｔと記載する。また、ベクトルデータｘ_ｉ ^ｓに紐付けられているクラスラベルをｙ_ｉ ^ｓとし、ベクトルデータｘ_ｉ ^ｔに紐付けられているクラスラベルをｙ_ｊ ^ｔとする。

第１ベクトル変換Ｇ_ｆｔは、ベクトルデータｘ_ｔを第１特徴ベクトルデータｚ_ｔに変換するため、ｚ_ｔ＝Ｇ_ｆｔ（ｘ_ｔ）と書ける。同様に、第２ベクトル変換Ｇ_ｆｓは、ベクトルデータｘ_ｓを第２特徴ベクトルデータｚ_ｓに変換するため、ｚ_ｓ＝Ｇ_ｆｓ（ｘ_ｓ）である。

クラス識別器Ｇ_ｙは学習データｚ（第１特徴ベクトルデータｚ_ｔ及び第２特徴ベクトルデータｚ_ｓ）を入力したとき、０から１の値を出力する。すなわち、Ｇ_ｙ（ｚ）→［０，１］である。データ識別器は第３特徴ベクトルデータｚ_ｍを入力したとき、０から１の値を出力する。すなわち、Ｇ_ｄ（ｚ）→［０，１］である。

クラス識別器Ｇ_ｙとデータ識別器Ｇ_ｄとのいずれも分類器であるため、一般的な交差エントロピー損失Ｌ（ｐ，ｙ）＝－｛ｙｌｏｇｐ＋（１－ｙ）ｌｏｇ（１－ｐ）｝を用いることができる。交差エントロピー損失Ｌ（ｐ，ｙ）は、ｐとｙとの値が一致するとき最小値を取る。

以上を用いると、ＤＡＴは下記のような最適化問題として定式化される。

ここで、γは損失間のバランシングパラメータであり、任意の正数を定めてよいが、例えばγ＝１としてもよい。

式（１）において、第１項は元ドメインに由来するベクトルデータｘ_ｓに関してクラス識別を学習するための項である。また、第２項は、目標ドメインに由来するベクトルデータｘ_ｔに関してクラス識別を学習するための項である。

式（１）において、第３項は与えられた事例のドメイン由来に関する識別損失であり、ベクトル変換のパラメータに関しては最小化、データ識別器のパラメータに関しては最大化をする。すなわち、ベクトル変換は変換後のベクトルの見分けが付かなくなるように学習し、データ識別器は変換後のベクトルデータの由来となったドメインを見分けるよう学習する。この学習方法により、ベクトル変換はよりドメインの見分けがつかない特徴表現、つまりドメイン不変な特徴表現を獲得することができる。そしてそれはデータ識別器の性能に依存することになる。

更新部３５は、クラス識別部３３に第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとを入力したときの推定値を含む第１評価関数の評価値に基づいて、クラス識別部３３、第１ベクトル変換部３００、及び第２ベクトル変換部を３０１更新する。ここで、第１評価関数は、式（１）の第１項及び第２項に対応する。すなわち、第１評価関数は、クラス識別部３３に学習ベクトルデータを入力したときの推定値と、学習ベクトルデータに紐付けられているクラスラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されている。

また、更新部３５は、データ識別部３４に第３特徴ベクトルデータｚ_ｍを入力したときの推定値を含む第２評価関数の評価値に基づいて、データ識別部３４、第１ベクトル変換部３００、及び第２ベクトル変換部３０１を更新する。ここで、第２評価関数は、式（１）の第３項から負号及び係数を除いた部分に対応する。すなわち、第２評価関数は、データ識別部３４に第３特徴ベクトルデータｚ_ｍを入力したときの推定値と、第３特徴ベクトルデータｚ_ｍに紐付けられている空間ラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されている。

更新部３５は、式（１）に示す評価関数にしたがって更新処理を実行する。このため、更新部３５は、第１評価関数の評価値が小さくなるようにクラス識別部３３を更新し、第２評価関数の評価値が小さくなるようにデータ識別部３４を更新し、第１評価関数の評価値が小さくなり、かつ第２評価関数の評価値が大きくなるように、第１ベクトル変換部３００及び第２ベクトル変換部３０１を更新する。

これにより、第１ベクトル変換部３００及び第２ベクトル変換部３０１は、それぞれベクトルデータｘ_ｔ及びベクトルデータｘ_ｓを第３ベクトル空間に射影したときに、各ベクトルデータに紐付けられたクラスラベルによって射影先が分類されやすくなるように更新される。また、第１ベクトル変換部３００及び第２ベクトル変換部３０１は、それぞれベクトルデータｘ_ｔ及びベクトルデータｘ_ｓを第３ベクトル空間に射影したときに、由来となるベクトルデータの異同に依存せず同じ領域に射影されるように更新される。

図４（ａ）－（ｂ）は、実施の形態に係る更新部３５による更新処理の前後における第３特徴ベクトルデータｚ_ｍの分布を概念的に示す模式図である。具体的には、図４（ａ）は、更新部３５による更新処理前の第３特徴ベクトルデータｚ_ｍの分布を示す模式図である。一方、図４（ｂ）は、更新部３５による更新処理後の第３特徴ベクトルデータｚ_ｍの分布を示す模式図である。

図４（ａ）－（ｂ）において、第１特徴ベクトルデータｚ_ｔのうち、紐付けられているクラスラベルが「０」のものを黒塗りの丸で示し、紐付けられているクラスラベルが「１」のものを白抜きの丸で示している。また、第２特徴ベクトルデータｚ_ｓのうち、紐付けられているクラスラベルが「０」のものを黒塗りの四角で示し、紐付けられているクラスラベルが「１」のものを白抜きの四角で示している。

図４（ａ）に示すように、更新部３５による更新処理の前は、第１特徴ベクトルデータｚ_ｔはクラスラベルの異同によらず近傍領域に集合している。同様に、第２特徴ベクトルデータｚ_ｓもクラスラベルの異同によらず近傍領域に集合している。さらに、第１特徴ベクトルデータｚ_ｔが集合している領域と第２特徴ベクトルデータｚ_ｓが集合している領域とは、第３ベクトル空間において乖離している。この状態では、クラス識別器Ｇ_ｙによるクラス識別は難しく、データ識別器Ｇ_ｄによる識別は容易である。つまり、主タスクであるクラス識別器の性能は期待できず、かつ、データ援用の効果も薄いといえる。

これに対し、図４（ｂ）に示すように、更新部３５による更新処理の後は、第１特徴ベクトルデータｚ_ｔは紐付けられているクラスラベルに応じて第３ベクトル空間内の異なる領域にそれぞれ集合している。第２特徴ベクトルデータｚ_ｓも、紐付けられているクラスラベルに応じて第３ベクトル空間内の異なる領域にそれぞれ集合している。さらに、第１特徴ベクトルデータｚ_ｔのうちクラスラベルが１であるものが集合している領域と、第２特徴ベクトルデータｚ_ｓのうちクラスラベルが１であるものが集合している領域は重複している。同様に、第１特徴ベクトルデータｚ_ｔのうちクラスラベルが０であるものが集合している領域と、第２特徴ベクトルデータｚ_ｓのうちクラスラベルが０であるものが集合している領域も重複している。

この状態は、クラス識別器Ｇ_ｙによるクラス識別が容易となり、かつデータ識別器Ｇ_ｄによる識別は困難となっている。つまり、主タスクであるクラス識別器の性能及びデータ援用の効果がうまく出ているといえる。

なお、上記では、学習データ全量を用いて損失を表記してきたが、更新部３５は、ミニバッチ確率的勾配法を用いて最適化を実行してもよい。確率的勾配法を実施する際には、更新部３５は、モデルパラメータのそれぞれについて式（１）に示す目的関数の微分を計算して更新式を求めてもよいが、自動微分機能を備えた数値計算フレームワークを用いてもよい。最適化の更新処理の終了条件は、既定の回数に達することとしてもよく、また、学習データを構築用と検証用とに分けて構築用で更新処理をし、検証用で目的関数の値を算出し、検証用の目的関数の値が既定の回数だけ連続で改善（より小さくなること）しなかった場合としてもよく、さらに、これら両方のいずれかに該当することとしてもよい。モデルパラメータの初期値には標準正規分布に従う乱数を用いてもよい。

＜情報処理装置１が実行する情報処理方法の処理フロー＞
図５は、実施の形態に係る情報処理装置１が実行する情報処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば情報処理装置１が起動したときに開始する。

第１ベクトル変換部３００は、第１ベクトルデータ群を記憶部２から読み出して取得する（Ｓ２）。第１ベクトル変換部３００は、第１ベクトルデータ群を構成するベクトルデータｘｔそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータｚ_ｔに変換する（Ｓ４）。

第２ベクトル変換部３０１は、第２ベクトルデータ群を記憶部２から読み出して取得する（Ｓ６）。第２ベクトル変換部３０１は、第２ベクトルデータ群を構成するベクトルデータｘ_ｓそれぞれを、第３の次元数のベクトルデータである第２特徴ベクトルデータｚ_ｓに変換する（Ｓ８）。

特徴ベクトル混合部３１は、第１特徴ベクトルデータｚ_ｔ及び第２特徴ベクトルデータｚ_ｓの組を取得し、第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータｚ_ｍを生成する（Ｓ１０）。

特徴ベクトル混合部３１は、第３特徴ベクトルデータｚ_ｍの生成に利用した内分比で第１ベクトル空間を示す空間ラベルと第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを生成し第３特徴ベクトルデータに紐づける（Ｓ１２）。

学習データ生成部３２は、第１特徴ベクトルデータｚ_ｔ、第２特徴ベクトルデータｚ_ｓ、及び第３特徴ベクトルデータｚ_ｍを学習ベクトルデータとして記憶部２に記憶させる（Ｓ１４）。

学習データ生成部３２が、学習ベクトルデータを記憶部２に記憶させると、本フローチャートにおける処理は終了する。

＜実施の形態に係る情報処理装置１が奏する効果＞
以上説明したように、実施の形態に係る情報処理装置１によれば、学習データが所与であってもドメイン識別器を汎化させるための学習データを生成することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果をあわせ持つ。

＜第１の変形例＞
上記では、クラス識別部３３はいわゆる２クラス問題を解くための識別器である場合について説明した。しかしながら、クラス識別部３３は３以上のクラスを識別する多クラス問題の識別器であってもよい。

＜第２の変形例＞
上記では、学習ベクトルデータのうち第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとを入力として各特徴ベクトルデータに紐付けられたクラスラベルの推定値を出力するようクラス識別器を生成する場合について説明した。しかしながら、第１特徴ベクトルデータｚ_ｔと第２特徴ベクトルデータｚ_ｓとは、各特徴ベクトルデータに紐付けられた実数値を目的変数として重回帰モデルの学習に用いられてもよい。

１・・・情報処理装置
２・・・記憶部
３・・・制御部
３０・・・ベクトル変換部
３００・・・第１ベクトル変換部
３０１・・・第２ベクトル変換部
３１・・・特徴ベクトル混合部
３２・・・学習データ生成部
３３・・・クラス識別部
３４・・・データ識別部
３５・・・更新部

Claims (6)

1. 第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを格納する記憶部と、
   前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換する第１ベクトル変換部と、
   前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換する第２ベクトル変換部と、
   前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成するとともに、前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づける特徴ベクトル混合部と、
   前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させる学習データ生成部と、
   を備える情報処理装置。
2. 前記第１ベクトルデータ群を構成する各ベクトルデータは、当該ベクトルデータが属するクラスを示すクラスラベルが割り当てられているとともに、前記第２ベクトルデータ群を構成する各ベクトルデータは、前記第１ベクトルデータ群の各ベクトルデータに割り当てられたクラスラベルのうちいずれかのクラスラベルが割り当てられており、
   前記情報処理装置はさらに、
   前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを入力として当該学習ベクトルデータに紐付けられたクラスラベルの推定値を出力するクラス識別部と、
   前記第３特徴ベクトルデータを入力として当該学習ベクトルデータに紐付けられた空間ラベルの推定値を出力するデータ識別部と、
   前記クラス識別部に前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを入力したときの推定値を含む第１評価関数の評価値に基づいて前記クラス識別部、前記第１ベクトル変換部、及び前記第２ベクトル変換部を更新するとともに、前記データ識別部に前記第３特徴ベクトルデータを入力したときの推定値を含む第２評価関数の評価値に基づいて前記データ識別部、前記第１ベクトル変換部、及び前記第２ベクトル変換部を更新する更新部をさらに備える、
   請求項１に記載の情報処理装置。
3. 前記第１評価関数は、前記クラス識別部に前記第１特徴ベクトルデータを入力したときの推定値と、前記第１特徴ベクトルデータに紐付けられているクラスラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力し、かつ前記クラス識別部に前記第２特徴ベクトルデータを入力したときの推定値と、前記第２特徴ベクトルデータに紐付けられているクラスラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されており、
   前記第２評価関数は、前記データ識別部に前記第３特徴ベクトルデータを入力したときの推定値と、前記第３特徴ベクトルデータに紐付けられている空間ラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されている、
   請求項２に記載の情報処理装置。
4. 前記更新部は、
   前記第１評価関数の評価値が小さくなるように前記クラス識別部を更新し、
   前記第２評価関数の評価値が小さくなるように前記データ識別部を更新し、
   前記第１評価関数の評価値が小さくなり、かつ前記第２評価関数の評価値が大きくなるように、前記第１ベクトル変換部及び前記第２ベクトル変換部を更新する、
   請求項３に記載の情報処理装置。
5. プロセッサが、
   第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを記憶部から取得するステップと、
   前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換するステップと、
   前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換するステップと、
   前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成するステップと、
   前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づけるステップと、
   前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させるステップと、
   を実行する情報処理方法。
6. コンピュータに、
   第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを記憶部から取得する機能と、
   前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換する機能と、
   前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換する機能と、
   前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成する機能と、
   前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づける機能と、
   前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させる機能と、
   を実現させるプログラム。

Images