JP7047664B2

JP7047664B2 - 学習装置、学習方法および予測システム

Info

Publication number: JP7047664B2
Application number: JP2018156667A
Authority: JP
Inventors: 充敏熊谷; 具治岩田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2018-08-23
Filing date: 2018-08-23
Publication date: 2022-04-05
Anticipated expiration: 2038-08-23
Also published as: JP2020030698A; US20210326760A1; WO2020040312A1

Description

特許法第３０条第２項適用ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０７．０２９２７ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１８０７．０２９２７．ｐｄｆウェブサイトの掲載日２０１８年７月９日

本発明は、学習装置、学習方法および予測システムに関する。

機械学習において、モデル（例えば、分類器等）の学習時と、当該モデルのテスト（当該モデルを用いた予測）時とで、サンプルの生成分布が異なる場合がある。このサンプルの生成分布とは、各サンプルに対して、それが起こり得る確率を記述したものである。例えば、あるサンプルの生成確率が、モデルの学習時には０．３であったものが、テスト時には０．５に変化している場合がある。

例えば、スパムメール分類の場合、スパムメール作成者は分類システムをすり抜けようと日々新しい特徴を有するスパムメールを作成するため、スパムメールの生成分布は時間と伴に変化する。また、画像分類の場合、同じ物体を映していても、撮影機器（デジタル一眼レフ、ガラケー等）や、撮影環境（光源の強さ、背景等）の違いによって、画像の生成分布は大きく異なる。

このような場合、通常の教師あり学習手法を用いると、その性能が大きく劣化してしまうという問題が生じる。ここで通常の教師あり学習手法とは、「サンプルとその属性（ラベル）の組」の集合（これをラベルありデータと呼ぶ）を基に、サンプルとラベルの関係を学習する手法のことである。サンプルとラベルの関係を学習することで、ラベルが不明のサンプルが与えられた時に、そのサンプルのラベルを予測できる。例えば、サンプルが新聞記事の場合、ラベルとしては、「政治」、「経済」、「スポーツ」などが考えられる。なお、ラベルが付与されていないサンプルの集合は、ラベルなしデータとよぶ。

以下では、解きたいタスクのあるドメインを目標ドメイン、目標ドメインに関連したドメインを元ドメインと呼ぶ。前述の記載に合せると、テスト時のデータの属するドメインが目標ドメイン、学習時のデータが属するドメインが元ドメインである。

目標ドメインのラベルありデータが大量に手に入れば、それを用いてモデルを学習することが最善である。しかし、多くのアプリケーションでは、目標ドメインのラベルありデータを十分に確保することは難しい。そのため、元ドメインのラベルありデータに加えて、比較的収集コストの低い目標ドメインのラベルなしデータを学習に用いることで、学習およびテスト時のデータの生成分布が異なる場合であっても、テストデータを精度よく予測可能な手法が数多く提案されている。

しかしながら、いくつかの実問題では、目標ドメインのデータを学習に利用し辛いケースがある。例えば、近年のＩｏＴ（Internet of Things）の普及に伴い、ＩｏＴデバイス上で音声認識や画像認識といった複雑な処理(予測)を行う事例が増えている。ＩｏＴデバイスは十分な計算リソースを持たないため、目標ドメインのデータが取得できた場合であっても、これらの端末上で負担のかかる学習を行うことは難しい。

また、ＩｏＴデバイスへのサイバー攻撃も急増しているが、ＩｏＴデバイスは多種多様（例えば、車、テレビ、スマホなど。車によっても車種によってデータの特徴は異なる）であり、続々と新たなＩｏＴデバイスが世に放たれるため、新たなＩｏＴデバイス（目標ドメイン）が現れる度に高コストの学習を行っていてはサイバー攻撃に即座に対応することはできない。

また、ｅメールシステムなどのパーソナライズドサービスでは、ユーザの個人情報を守るために、ユーザの許可なく、当該ユーザ（目標ドメイン）のデータを学習に使うことは出来ない。

複数の元ドメインのラベルありデータ“のみ”を用いて、目標ドメインに適する教師ありモデルを学習する手法が提案されている（Zero-shot domain adaptationと呼ばれる）。Zero-shot domain adaptationでは、目標ドメインのデータは学習時には利用しないため、前述のようなケースであっても適用することが出来る。従来のZero-shot domain adaptationには、主に以下の２つのアプローチがある。

一つは、複数の元ドメインで共通する情報（例えば、特徴表現など）であれば、目標ドメインでも共通して利用できるであろうと仮定し、複数の元ドメインで共通して使える情報のみを用いてドメイン不変な教師ありモデルを学習する。目標ドメインでは、その教師ありモデルを用いて予測を行う（非特許文献１参照）。

もう一つは、ドメイン不変な教師ありモデルではなく、目標ドメインに固有な教師ありモデルを予測するために、各ドメインの特徴を表す何らかの補助情報（時間情報、機器情報など）を用いる。補助情報を入力とし、教師ありモデルを出力とする関数を複数の元ドメインから学習することで、目標ドメインの補助情報が与えられた際に、目標ドメインに適した固有の教師ありモデルを予測できる（非特許文献２参照）。

Muhammad Ghifary, W. Bastiaan Kleijn, Mengjie Zhang, David Balduzzi， "Domain Generalization for Object Recognition with Multi-task Autoencoders", ICCV, 2015 Yongxin Yang & Timothy M. Hospedales，"A UNIFIED PERSPECTIVE ON MULTI-DOMAIN AND MULTI-TASK LEARNING"、ICLR, 385 2015.

しかしながら、従来の技術では、目標ドメインに適した高精度な教師ありモデルを得ることができない場合があるという問題があった。例えば、非特許文献１等に記載の技術の場合、各ドメインに共通の情報は用いるものの、各ドメイン固有の情報を無視してしまう。そのため、情報損失が起こり、目標ドメインのデータを精度よく予測できる教師あり学習モデルは学習できない可能性がある。

また、例えば、非特許文献２等に記載の技術の場合、ドメインの特徴を表す補助情報を用いて、各ドメイン固有の教師ありモデルを予測するため、情報損失は起こらないことが期待できる。しかしながら、すべての実問題で補助情報が得られるわけではない。このような補助情報が得られなければ、そもそも適用できないという問題がある。

上述した課題を解決し、目的を達成するために、本発明の学習装置は、教師あり学習によりモデル予測器を学習するモデル学習装置であって、前記教師あり学習の教師データの属する元ドメインであって、前記モデル予測器の予測対象データの属する目標ドメインと関連する複数の元ドメインのラベルありデータの入力を受け付ける学習データ入力部と、前記学習データ入力部によって入力された複数の元ドメインのラベルありデータにおける各ドメイン固有の情報を用いて、前記モデル予測器を学習する学習部とを備えることを特徴とする。

また、本発明の学習方法は、教師あり学習によりモデル予測器を学習するモデル学習装置によって実行される学習方法であって、前記教師あり学習の教師データの属する元ドメインであって、前記モデル予測器の予測対象データの属する目標ドメインと関連する複数の元ドメインのラベルありデータの入力を受け付ける学習データ入力工程と、前記学習データ入力工程によって入力された複数の元ドメインのラベルありデータにおける各ドメイン固有の情報を用いて、前記モデル予測器を学習する学習工程とを含むことを特徴とする。

また、本発明の予測システムは、教師あり学習によりモデル予測器を学習するモデル学習装置と、前記モデル予測器を用いて予測対象データの予測を行う予測装置とを有する予測システムであって、前記モデル学習装置は、前記教師あり学習の教師データの属する元ドメインであって、前記モデル予測器の予測対象データの属する目標ドメインと関連する複数の元ドメインのラベルありデータの入力を受け付ける学習データ入力部と、前記学習データ入力部によって入力された複数の元ドメインのラベルありデータにおける各ドメイン固有の情報を用いて、前記モデル予測器を学習する学習部と、を備え、前記予測装置は、前記目標ドメインのラベルなしデータの入力を受け付けるデータ入力部と、前記学習部によって学習されたモデル予測器を用いて、前記目標ドメインに適した教師ありモデルを出力し、該教師ありモデルを用いて、前記データ入力部によって入力された目標ドメインのラベルなしデータの予測を行う予測部と、前記予測部によって予測された予測結果を出力する出力部とを備えることを特徴とする。

本発明によれば、情報損失を防ぎ、補助情報を利用できないような場合であっても、目標ドメインに適した高精度な教師ありモデルを得ることができるという効果を奏する。

図１は、第１の実施形態の予測システムにおけるモデルの学習の概要を説明する図である。図２は、第１の実施形態の予測システムの構成例を示す図である。図３は、図２の学習装置の処理手順の一例を示すフローチャートである。図４は、図２の予測装置の処理手順の一例を示すフローチャートである。図５は、予測プログラムを実行するコンピュータを示す図である。

以下に、本願に係る学習装置、学習方法および予測システムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る学習装置、学習方法および予測システムが限定されるものではない。

［第１の実施形態］
以下、図面を参照しながら、本発明の実施形態を第１の実施形態について説明する。まず、図１を用いて、第１の実施形態の予測システム（システム）におけるモデルの学習の概要を説明する。

なお、以下において、モデルは、例えば、予測対象データ（テストデータ）の予測モデルであり、例えば、テストデータのサンプルのラベルを予測する分類器等である。また、モデルの作成（学習）に用いられる学習データは、ラベルありデータ等の教師データである。

また、以下の説明において、目標ドメインとは、解きたいタスクのあるドメインであり、元ドメインとは、目標ドメインとは異なるものの、関連するドメインを指す。例えば、目標ドメインの解きたいタスクを新聞記事の内容分類とした場合、目標ドメインは新聞記事の集合、元ドメインはＳＮＳ（Social Networking Service）での発言の集合等である。これは、新聞とＳＮＳでは、単語の使われ方等で違いがあるものの、日本語の文章という点で類似し、新聞記事の分類にＳＮＳの発言も有効活用できる可能性が高いからである。また、以下の説明において、ラベルありデータ等の教師データは元ドメインに属するデータであり、テストデータは目標ドメインに属するデータであるものとする。

第１の実施形態の予測システムでは、各ドメインのサンプル集合（図１の左図）から、ドメインの特徴を表す潜在ドメインベクトル（図１の中央図）を推測し、潜在ドメインベクトルから分類器を出力する（図１の右図）。第１の実施形態の予測システムでは、上記の関係を複数の元ドメインのラベルありデータを用いて学習しておくことで、目標ドメインのサンプル集合が与えられた際に、学習を行うことなく、即座に目標ドメインに適した分類器を出力できる。

次に、図２を用いて、第１の実施形態の予測システム１の構成例を説明する。なお、以下の説明において、学習装置１０の用いる教師データは、ラベルありデータであり、予測装置２０は、テストデータのサンプルのラベルを予測する場合を例に説明する。

予測システム１は、学習時に与えられる複数の元ドメインのラベルありデータと、予測時に与えられる目標ドメインのラベルなしデータのみを用いて、目標ドメインの補助情報を利用することなく、目標ドメインに適した教師ありモデルを予測する。予測システム１は、例えば、図２に示すように、学習装置１０と予測装置２０とを備える。なお、学習装置１０と予測装置２０とは別々の装置ではなく、両方の機能を有する一つの装置で実現されてもよい。

学習装置１０は、複数の元ドメインのラベルありデータを用いて、各ドメインのサンプル集合から、ドメイン固有の教師ありモデルを出力する教師ありモデル予測器（関数）を学習する。

学習装置１０は、学習データ入力部１１と、特徴抽出部１２と、教師ありモデル予測器学習部１３と、記憶部１４とを備える。

学習データ入力部１１は、学習データの入力を受け付ける。具体的には、学習データ入力部１１は、教師あり学習の教師データの属する元ドメインであって、モデル予測器の予測対象データの属する目標ドメインと関連する複数の元ドメインのラベルありデータの入力を受け付ける。

ラベルありデータとは、サンプルおよびそのサンプルの属性情報（ラベル）の対の集合である。例えば、サンプルがテキストの場合、ラベルとしては、そのテキストが表す内容（経済、政治、スポーツ等）が考えられる。一方で、ラベルなしデータとは、ラベルが付与されていないサンプルの集合である。上記の例の場合、テキストのみの集合がラベルなしデータに相当する。

特徴抽出部１２は、データの特徴量を抽出する。例えば、特徴抽出部１２は、学習データ入力部１１により入力された元ドメインのラベルありデータを、特徴ベクトルとラベルの組に変換する。

ここで、特徴ベクトルとは、必要なデータの特徴をｎ次元の数ベクトルで表記したものである。特徴ベクトルへの変換については、機械学習で一般的に用いられている手法を利用する。例えば、データがテキストの場合には、形態素解析によるもの、n-gramによるもの、区切り文字によるもの等が考えられる。ラベルは当該ラベルを示すラベル値に変換する。

教師ありモデル予測器学習部１３は、特徴抽出後の複数の元ドメインのラベルありデータを用いて、各ドメインのサンプル集合から、当該ドメインに適した教師ありモデルを出力する「教師ありモデル予測器」を学習する。教師ありモデルとしては、任意のモデルを用いればよい。すなわち、例えば、ラベルが離散値の場合には分類モデル、連続値の場合には回帰モデルが用いられる。

記憶部１４は、教師ありモデル予測器学習部１３によって学習された教師ありモデル予測器を記憶する。

予測装置２０は、学習したモデルを用いることで、目標ドメインのサンプル集合が与えられた際に、目標ドメインに適した教師あり学習モデルを予測する。予測装置２０は、データ入力部２１と、特徴抽出部２２と、予測部２３と、予測結果出力部２４とを備える。

データ入力部２１は、目標ドメインのラベルなしデータの入力を受け付ける。具体的には、データ入力部２１は、予測対象の目標ドメインのラベルなしデータ（サンプル集合）の入力を受け付ける。

特徴抽出部２２は、目標ドメインのラベルなしデータの特徴量を抽出する。つまり、特徴抽出部２２は、予測対象のサンプルを特徴ベクトルに変換する。ここでの特徴量の抽出は、学習装置１０の特徴抽出部１２と同様の手順により行われる。

予測部２３は、学習装置１０によって学習された教師ありモデル予測器を用いて、目標ドメインに適した教師ありモデルを出力し、該教師ありモデルを用いて、目標ドメインのラベルなしデータの予測を行う。具体的には、予測部２３は、学習装置１０により学習された教師ありモデル予測器を用いて、サンプル集合から教師ありモデルを出力する。そして、予測部２３は、得られた教師ありモデルを用いて、各サンプルの予測を行う。予測結果出力部２４は、予測部２３による予測結果（例えば、各サンプルのラベル）を出力する。

次に、図３を用いて、学習装置１０の処理手順を説明する。まず、学習装置１０の学習データ入力部１１は、複数ドメインのラベルありデータ（元ドメインのデータ）を入力として受け取る（Ｓ１１）。次に、特徴抽出部１２は、Ｓ１１で受け付けた各ドメインのデータを特徴ベクトル、ラベルの組に変換する（Ｓ１２）。

Ｓ１２の後、教師ありモデル予測器学習部１３は、各ドメインのサンプル集合から、ドメイン固有の教師ありモデルを出力する「教師ありモデル予測器」を学習する（Ｓ１３）。

次に、図４を用いて、予測装置２０の処理手順を説明する。まず、予測装置２０のデータ入力部２１は、目標ドメインのラベルなしデータ（サンプル集合）を入力として受領する（Ｓ２１）。次に、特徴抽出部２２は、Ｓ２１で受け付けた各データ（テストデータ）を特徴ベクトルに変換する（Ｓ２２）。そして、予測部２３は、学習装置１０により学習された教師ありモデル予測器を用いて、教師ありモデルを予測し、それを用いて各データを予測する（Ｓ２３）。予測結果出力部２４は、Ｓ２３における予測の結果（予測結果）を出力する（Ｓ２４）。

次に、教師ありモデル予測器学習部１３による学習方法の一例を詳細に説明する。ここでは、目標ドメインのタスクとしてサンプルのラベルの分類問題（ラベルの値が離散値の場合の問題）を扱う場合を例に説明するが、本発明は回帰問題、ランキング問題等の任意の教師あり学習に適用可能である。

まず、ｄ番目の元ドメインのラベルありデータを以下の数１に示すように定義する。ここで、ｘ_ｄｎは、ｄ番目の元ドメインのｎ番目のサンプルのＭ次元特徴ベクトルと定義する。

また、ｎ番目のサンプルのラベルを以下の数２に示すように定義する。

また、ｄ番目の元ドメインのラベルなしデータ（サンプル）集合を以下の数３に示すように定義する。

ここでの目的は、Ｄ種類の元ドメインのラベルありデータが学習時に与えられたときに、任意のドメインに対する、ドメイン固有の分類器を予測する予測器を構築することである。Ｄ種類の元ドメインのラベルありデータについては、以下の数４に示すように定義する。

本発明では、確率モデルを用いて予測器を構築する。まず、各ドメインｄはｋ次元の潜在変数ｚ_ｄを有すると仮定する。この潜在変数を以降では潜在ドメインベクトルと呼ぶ。この潜在ドメインベクトルは標準ガウス分布ｐ（ｚ）＝Ｎ（ｚ｜０,１）から生成されるとする。各ドメインのサンプルｘ_ｄｎのラベルｙ_ｄｎは、潜在ドメインベクトルｚ_ｄを用いて、ｐ_θ（ｙ_ｄｎ｜ｘ_ｄｎ, ｚ_ｄ）で生成されるとする。ここで、θはパラメータである。具体的には、ｐ_θ（ｙ_ｄｎ｜ｘ_ｄｎ, ｚ_ｄ）の正規化前のｃ番目の要素は、以下の（１）式で表される。

ここで、ｈとｇ_ｃは、任意のニューラルネットワークである。潜在ベクトルｚ_ｄを変えることで上式は様々な分類器（決定境界）を表現することが出来る。すなわち、ドメインごとに適切にｚ_ｄを推定することで、各ドメインに適した分類器を得ることが出来る。

本発明の、対数周辺尤度は下記（２）式となる。

この対数周辺尤度を解析的に計算出来れば、潜在ドメインベクトルの事後分布も得られるが、この計算は不可能である。従って、潜在ドメインベクトルの事後分布を以下の（３）式で近似する。

ここで、平均関数と共分散関数はそれぞれ任意のニューラルネットワークであり、φはそれらのパラメータである。事後分布を上記でモデル化することで、ドメインのサンプル集合さえ与えられれば、当該ドメインに適した潜在ドメインベクトルを出力できることが期待できる。平均関数及び共分散関数は具体的には以下の（４）式の形のアーキテクチャで表現される。

ここで、ρおよびηは任意のニューラルネットワークである。このようにアーキテクチャを定めることで、この出力はサンプル集合の順番に依らず常に一定の出力を返すことが出来る（すなわち、集合を入力としてとれる）。また、ηの出力は平均をとることによって、各ドメインでサンプルの数が異なる場合でも、安定して結果を出力できる。

対数周辺尤度の下限は、前述の近似事後分布を用いることで、以下の（５）式で表される。

この下限はreparametrization trickを用いることで、下記（６）式のように、計算可能な形で近似できる。この下限Ｌをパラメータθ、φに関して最大化することで、所望の予測器が得られる。この最大化はstochastic gradient descent（ＳＧＤ）を用いて通常の方法で実行可能である。

また、以下では、上記の学習フェーズの説明で取り扱った具体例を用いて予測フェーズを説明する。目標ドメインｄ´のサンプル集合を以下の数１１に示すように定義する。

目標ドメインｄ´のサンプル集合が与えられた時、各サンプルのラベルは下記（７）式で予測される。

［第１の実施形態の効果］
このように、第１の実施形態に係る予測システム１の学習装置１０は、目標ドメインと関連する複数の元ドメインのラベルありデータの入力を受け付け、複数の元ドメインのラベルありデータにおける各ドメイン固有の情報を用いて、教師ありモデル予測器を学習する。また、予測装置２０は、目標ドメインのラベルなしデータの入力を受け付け、学習された教師ありモデル予測器を用いて、目標ドメインに適した教師ありモデルを出力し、該教師ありモデルを用いて、目標ドメインのラベルなしデータの予測を行い、予測結果を出力する。このため、情報損失を防ぎ、補助情報を利用できないような場合であっても、目標ドメインに適した高精度な教師ありモデルを得ることが可能である。

つまり、予測システム１では、各ドメイン固有の情報を用いて各ドメイン固有の教師ありモデルを予測する。そのため、必要な情報を損失することなく、目標ドメインに適した教師ありモデルを予測できる。また、補助情報を利用せずとも、目標ドメインに固有の教師ありモデルを予測できるため、補助情報が利用できない環境であっても精度良い教師ありモデルを予測できる。

このため、予測システム１では、各ドメイン固有の情報も用いることで情報損失を防ぎ、補助情報の存在を仮定しないため、補助情報を利用できないようなケースを含む広範囲の実問題に対して、目標ドメインに適した高精度な教師ありモデルを得ることが出来る。

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
また、上記の各実施形態で述べた予測システム１の機能を実現するプログラムを所望の情報処理装置（コンピュータ）にインストールすることによって実装できる。例えば、パッケージソフトウェアやオンラインソフトウェアとして提供される上記のプログラムを情報処理装置に実行させることにより、情報処理装置を予測システム１として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）等がその範疇に含まれる。また、予測システム１の機能を、クラウドサーバに実装してもよい。

図５を用いて、上記のプログラム（予測プログラム）を実行するコンピュータの一例を説明する。図５に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図５に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記の実施形態で説明した各種データや情報は、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。

そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、上記の予測プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ（Central Processing Unit）１０２０によって読み出されてもよい。あるいは、上記のプログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１予測システム
１０学習装置
１１学習データ入力部
１２、２２特徴抽出部
１３教師ありモデル予測器学習部
１４記憶部
２０予測装置
２１データ入力部
２３予測部
２４予測結果出力部

Claims

教師あり学習によりモデル予測器を学習するモデル学習装置であって、
前記教師あり学習の教師データの属する元ドメインであって、前記モデル予測器の予測対象データの属する目標ドメインとはカテゴリが異なるが関連するカテゴリの複数の元ドメインのラベルありデータの入力を受け付ける学習データ入力部と、
前記学習データ入力部によって入力された複数の元ドメインのラベルありデータにおける各ドメイン固有の情報を用いて、前記モデル予測器を学習する学習部と
を備えることを特徴とする学習装置。
前記学習データ入力部によって入力された元ドメインのラベルありデータの特徴量を抽出する特徴抽出部をさらに備え、
前記学習部は、前記特徴抽出部によって抽出された特徴量を用いて、前記モデル予測器を学習することを特徴とする請求項１に記載の学習装置。
教師あり学習によりモデル予測器を学習するモデル学習装置によって実行される学習方法であって、
前記教師あり学習の教師データの属する元ドメインであって、前記モデル予測器の予測対象データの属する目標ドメインとはカテゴリが異なるが関連するカテゴリの複数の元ドメインのラベルありデータの入力を受け付ける学習データ入力工程と、
前記学習データ入力工程によって入力された複数の元ドメインのラベルありデータにおける各ドメイン固有の情報を用いて、前記モデル予測器を学習する学習工程と
を含むことを特徴とする学習方法。
教師あり学習によりモデル予測器を学習するモデル学習装置と、前記モデル予測器を用いて予測対象データの予測を行う予測装置とを有する予測システムであって、
前記モデル学習装置は、
前記教師あり学習の教師データの属する元ドメインであって、前記モデル予測器の予測対象データの属する目標ドメインとはカテゴリが異なるが関連するカテゴリの複数の元ドメインのラベルありデータの入力を受け付ける学習データ入力部と、
前記学習データ入力部によって入力された複数の元ドメインのラベルありデータにおける各ドメイン固有の情報を用いて、前記モデル予測器を学習する学習部と、
を備え、
前記予測装置は、
前記目標ドメインのラベルなしデータの入力を受け付けるデータ入力部と、
前記学習部によって学習されたモデル予測器を用いて、前記目標ドメインに適した教師ありモデルを出力し、該教師ありモデルを用いて、前記データ入力部によって受け付けられた目標ドメインのラベルなしデータの予測を行う予測部と、
前記予測部によって予測された予測結果を出力する出力部と
を備えることを特徴とする予測システム。