JP6629682B2

JP6629682B2 - 学習装置、分類装置、分類確率計算装置、及びプログラム

Info

Publication number: JP6629682B2
Application number: JP2016126052A
Authority: JP
Inventors: 鷹一近原; 昭典藤野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-06-24
Filing date: 2016-06-24
Publication date: 2020-01-15
Anticipated expiration: 2036-06-24
Also published as: JP2017228256A

Description

変量Xと変量Yの間に、原因と結果の関係があるとき、変量X、Y間に因果関係がある、という。本発明は、２変量時系列データの変量間の因果関係を推定する技術に関するものである。

統計的手法に基づく変量間の因果関係を推定する技術では、iid(independent and identically-distributed)データ・時系列データを問わず、変量間の依存関係が因果関係を定義するモデルに従うか否かに基づいて因果関係の有無を推定する。所与のデータにおける変量間の依存関係が因果関係を定義するモデルに従うか否かは、データに対する回帰に基づいて判断される。例えば非特許文献１の技術では、回帰モデルを事前に正しく選択することで、時系列データにおける、変量間の因果関係を正しく推定することができる。しかし、回帰モデルを事前に正しく選択するためには、回帰手法に関する専門知識を要し、多種多様なデータに対して回帰モデルを人手で事前に設定することは容易ではない。

時系列データに対する回帰モデルの事前設定が不要な因果関係の推定技術として、カーネル法を用いるものがある。非特許文献２の技術では、カーネル法を用いて非線形な時系列データにおける変量間の因果関係を推定する。この技術では回帰モデルの事前設定が不要である一方で、カーネル関数を定義するパラメータを事前に設定する必要があり、パラメータ値を不適切に与えると正しく因果関係を推定できないという問題点がある。

一方でiidデータの場合、因果関係の識別の問題を、因果関係の方向を表すクラスラベル(以下、因果ラベル) を推定する分類問題とみなした教師あり学習技術がある。非特許文献３の技術では、因果関係が判明している大量のデータサンプル(以下、ラベルありサンプル) をもとにデータと因果ラベルの関係を学習した分類器を用いて、因果関係が判明していないデータサンプル(以下、ラベルなしサンプル) の因果ラベルを推定することでiid データに対する因果関係を識別する。この教師あり学習技術は、従来のラベルなしサンプルのみを使う推定技術に比べ、ラベルありサンプルを効果的に利用し、因果関係の推定精度を向上させており、ベンチマークデータによる性能検証において従来技術を上回る最高推定精度を達成している。

Jonas Peters, Dominik Janzing, and Bernhard Schoelkopf. Causal inference on time series using restricted structural equation models. In NIPS, pages 154162, 2013. Xiaohai Sun. Assessing Nonlinear Granger Causality from Multivariate Time Series. In Proceedings of the European conference on Machine Learning and Knowledge Discovery in Databases-Part II, pages 440455. Springer-Verlag, 2008. David Lopez-Paz, Krikamol Muandet, Bernhard Schoelkopf, and Ilya Tolstikhin. Towards a learning theory of cause-effect inference. In ICML, JMLR, 2015. Pingping Zhu, Badong Chen, and Jose C. Principe. Learning nonlinear generative models of time series with a Kalman filter in RKHS. Signal Processing, IEEE Transactions on, 62(1):141155, 2014. Ali Rahimi and Benjamin Recht. Random features for large-scale kernel machines. In NIPS, pages 11771184, 2007.

非特許文献３の教師あり学習技術では、学習に用いる各サンプルの特徴量をカーネル平均と呼ばれる技術によって求めている。非特許文献３の技術は、非特許文献２の技術と同様にカーネル法を用いているが、教師あり学習技術であるため、カーネル関数を定義するパラメータはラベルありサンプルに基づく交差検証法によって適切な値に定めることができる。一方で非特許文献３の技術は、iid データに対する因果関係の推定技術であり、時系列の持つ順序性の情報を失うため、時系列データに適用して変量間の因果関係が推定できる保証はない。

以上を踏まえると、統計的手法に基づいて変量間の因果関係を推定する技術領域において、回帰モデルの事前設定やカーネル関数のパラメータの人手による設定を不要とする、時系列の順序性を考慮した、因果関係の推定技術を提供することが課題である。

本発明は上記事情を鑑みて成されたものであり、回帰モデルの事前設定が不要で、カーネル関数のパラメータを、訓練データを用いた交差検証法によって適切な値に定めることができる、教師あり学習に基づく、２変量時系列データに対する変量間の因果関係を推定するための技術を提供することを目的とする。

開示の技術によれば、所定のモデルに基づいて、ラベルあり２変量時系列データの集合である訓練データを生成し、当該訓練データを記憶部に格納する訓練データ生成部と、
前記記憶部から読み出した前記訓練データの特徴量を計算する特徴量計算部と、
前記特徴量計算部により計算された前記特徴量に基づいて、分類器の学習を行う分類器学習部と
を備えることを特徴とする学習装置が提供される。

また、開示の技術によれば、所定のモデルに基づいて、ラベルあり２変量時系列データの集合である訓練データを生成し、当該訓練データを記憶部に格納する訓練データ生成部と、
前記記憶部から読み出した前記訓練データの特徴量を計算する特徴量計算部と、
前記特徴量計算部により計算された前記特徴量に基づいて、分類器の学習を行う分類器学習部と、
ラベルなし２変量時系列データを入力する入力部と、
前記分類器学習部により学習がなされた分類器を用いて、前記ラベルなし２変量時系列データのラベルの値を推定する分類部と
を備えることを特徴とする分類装置が提供される。

また、開示の技術によれば、所定のモデルに基づいて、ラベルあり２変量時系列データの集合である訓練データを生成し、当該訓練データを記憶部に格納する訓練データ生成部と、
前記記憶部から読み出した前記訓練データの特徴量を計算する特徴量計算部と、
前記特徴量計算部により計算された前記特徴量に基づいて、分類器の学習を行う分類器学習部と、
ラベルなし２変量時系列データを入力する入力部と、
前記分類器学習部により学習がなされた分類器を用いて、前記ラベルなし２変量時系列データのラベルの値が特定の値である確率を算出する分類部と
を備えることを特徴とする分類確率計算装置が提供される。

また、開示の技術によれば、変量間の因果関係が判明していないラベルなし２変量時系列データを入力する入力部と、
ラベルあり２変量時系列データの集合である訓練データを用いて学習された分類器を用いて、前記ラベルなし２変量時系列データのラベルの値を推定し、当該ラベルの値を出力する分類部と
を備えることを特徴とする分類装置が提供される。

また、開示の技術によれば、変量間の因果関係が判明していないラベルなし２変量時系列データを入力する入力部と、
ラベルあり２変量時系列データの集合である訓練データを用いて学習された分類器を用いて、前記ラベルなし２変量時系列データのラベルの値が特定の値である確率を算出し、当該確率を出力する分類部と
を備えることを特徴とする分類確率計算装置が提供される。

前記特徴量計算部は、KKF-CEOにより変量を計算し、当該変量を用いて予測分布に対するカーネル平均の推定値を計算することとしてもよい。また、前記訓練データ生成部は、２変量間の関係が線形な関数として表される２変量時系列データと、２変量間の関係が非線形な関数として表される２変量時系列データとを含む、ラベルあり２変量時系列データの集合を生成することとしてもよい。

開示の技術によれば、ラベルなしサンプルの各々について、分類に用いる特徴量を計算し、生成された訓練データに基づいて学習した２値分類器に基づいて特徴量を分類し、前記ラベルなしサンプルに対応するラベルを推定することにより、回帰モデルの事前設定やカーネル関数のパラメータの人手による設定を要することなく、与えられた２変量時系列データに対する変量間の因果関係を推定することができる。

本発明の実施の形態に係る２値分類装置の構成図である。本発明の実施の形態に係る２値分類装置の訓練データ生成部の構成図である。本発明の実施の形態に係る２値分類装置における特徴量計算部の処理動作を示すフローチャートである。アルゴリズム１を示す図である。アルゴリズム２を示す図である。実験結果を示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（実施の形態の概要）
まず、本実施の形態の概要について説明する。

本実施の形態に係る２値分類装置においては、データベース等に含まれる２つの変量X、Yに関する連続値の時系列データに対して、変量間の因果関係が既知の２変量時系列データの集合によって構成される訓練データを用いて分類器の学習を行い、当該学習を行った分類器によりラベルなしサンプルに対するラベルを予測することで、変量X、Yの間の因果関係を推定する。

例えば円ドルの為替レートに関する時系列(X)と特定の企業の株価に関する時系列(Y)からなる２変量時系列データからなるラベルなしサンプルが与えられた場合、まず変量間の因果関係が既知の２変量時系列データ集合を人工的に生成して訓練データとし、当該訓練データを用いて分類器を学習して、ラベルなしサンプルに対するラベルを予測することで、２つの変量X、Yの間の因果関係をX→Y(即ち円ドルの為替レートが原因で、企業の株価が結果である) というように推定する。

本実施の形態は、第１の実施の形態と第２の実施の形態からなる。第１の実施の形態では、因果関係がX→Yとして表される時系列データを正例とし、因果関係がX←Yで表される時系列データを負例としたラベルありサンプルからなる訓練データを用いて分類器を学習することで、正例の時系列データであるか負例の時系列データであるかが未知のラベルなしサンプルのラベルを２値分類する。

第２の実施の形態では、因果関係がX←Z→Y(潜在交絡) として表される時系列データを正例とし、因果関係がX→YまたはX←Yで表される時系列データを負例としたラベルありサンプルからなる訓練データを用いて分類器を学習することで、正例の時系列データであるか負例の時系列データであるかが未知のラベルなしサンプルのラベルを２値分類する。

第１の実施の形態に係る２値分類装置と、第２の実施の形態に係る２値分類装置はともに、正例の時系列データであるか負例の時系列データであるかが未知のラベルなしサンプルに対して、推定したラベルを出力する。第１の実施の形態に係る２値分類確率計算装置と、第２の実施の形態に係る２値分類確率計算装置はともに、正例の時系列データであるか負例の時系列データであるかが未知のラベルなしサンプルに対して、ラベルの推定確率(２値分類確率) を出力する。

（第１の実施の形態）
＜装置構成＞
次に、本発明の第１の実施の形態に係る２値分類装置１００の構成について説明する。なお、「２値分類装置」を「分類装置」と称してもよい。図１は、２値分類装置１００の機能構成を示す構成図である。図１に示すように、この２値分類装置１００は、入力部１０と、学習部２０と、推論部３０と、出力部９０と、を有する。

図１に示すとおり、入力部１０は、学習部２０に対する入力を行う入力部１‐１２（以下、入力部１）と、推論部３０に対する入力を行う入力部２‐１４（以下、入力部２）とを有する。

学習部２０は、訓練データ生成部２２と、訓練データデータベース（ＤＢ）２４と、特徴量計算部２６と、分類器学習部２８と、を有する。推論部３０は、テストデータデータベース（ＤＢ）３２と、特徴量計算部３４と、ラベル推定部３６と、を有する。出力部９０は、推論部３０が推定した、ラベルなしサンプルに対するラベルを出力する。各部の詳細については後述する。なお、訓練データＤＢ２４とテストデータＤＢ３２はいずれも記憶部の例である。

本実施の形態に係る２値分類装置１００は、ＣＰＵと、ＲＡＭと、後述する特徴量計算ルーチン等を実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。すなわち、２値分類装置１００は、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。２値分類装置１００が有する機能は、当該コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

上記のように、２値分類装置１００を、コンピュータにプログラムを実行させることにより実現できることは、第２の実施の形態でも同様である。また、コンピュータにプログラムを実行させることにより実現できる点は、第１、第２の実施の形態に係る２値分類確率計算装置についても同様である。

また、２値分類装置１００における学習部２０と推論部３０とを別々の装置（コンピュータ）として構成してもよい。この場合、学習部２０を学習装置と称してもよい。学習装置についても、２値分類装置１００と同様に、コンピュータにプログラムを実行させることにより実現できる。

以下、各部の詳細について説明する。

＜入力部１０：入力部１、入力部２＞
入力部１の入力として、以下の２通りがある。１つは、
・訓練データ生成部２２において用いるパラメータ値
・特徴量計算部２６において用いるパラメータ値
・分類器学習部２８において用いるパラメータ値
であり、もう１つは、
・訓練データ生成部２２において用いるパラメータ値の候補集合と、２値分類対象となる２変量時系列データであるラベルなしサンプルの集合からなるテストデータ集合
・特徴量計算部２６において用いるパラメータ値
・分類器学習部２８において用いるパラメータ値
である。

前者は、訓練データ生成部２２において用いるパラメータθ（後述）の値を人手で与える場合の入力に相当し、後者は、同パラメータθの値を、２値分類対象であるラベルなしサンプルの各々に基づいて設定し、分類器の学習に用いる訓練データをラベルなしサンプルの各々に類似したものとして生成する場合の入力に相当する。

入力部２は、特徴量計算部３４と、ラベル推定部３６と、において用いるパラメータと、２値分類対象となる２変量時系列データであるラベルなしサンプルの集合からなるテストデータ集合を受け付ける。テストデータ集合はテストデータＤＢ３２に格納される。

＜学習部２０：訓練データ生成部２２＞
学習部２０の訓練データ生成部２２は、因果関係を表すラベルが既知の２変量時系列データであるラベルありサンプルの集合を人工的に生成し、訓練データとし、訓練データＤＢ２４に格納する。

訓練データ生成部２２は、図２に示すように、初期化部３８と、モデルパラメータ生成部４０と、時系列データ生成部４２と、を有する。

――ラベルありサンプルを人工的に生成する原理――
以下、訓練データ生成部２２が因果関係を表すラベルが既知の２変量時系列データであるラベルありサンプルを人工的に生成する原理について説明する。

具体的には、因果関係X→YもしくはX←Yが成り立つような確率変数Z_t = [X_t, Y_t]^Tに関する時系列{z_t} = {z₁,・・・,z_T}を生成する原理を示す。

本実施の形態においては、時系列{z_t}を生成するために、パラメータθ = {K, σ₁, σ₂, σ₃, σ₄, σ₅, d, P}を用いる。これらのパラメータは以下に示す２通りの方法のいずれかに基づいて、初期化部３８において初期化される。第１の方法は、入力部１よりパラメータθの値を受け取り、これをそのまま用いて初期化する方法である。第２の方法は、入力部１より与えられたパラメータθの値の候補集合とラベルなしサンプルの集合からなるテストデータ集合を受け取り、θの候補集合のうちテストデータ集合に最も類似した特徴量を与える時系列データを生成するパラメータを選択し、これを用いて初期化する方法である。第２の方法に関しては、後述する発明を実施する形態における、実験例の説明において具体例を説明する。

なお、訓練データ生成部２２が生成するラベルありサンプルは、２変量間の関係が線形な関数として表される２変量時系列データと、２変量間の関係が非線形な関数として表される２変量時系列データとを含んでいる。いずれの２変量時系列データも、モデルパラメータ生成部４０と、時系列データ生成部４２と、において生成される。

初めに、因果関係X→Yを有する、変量間の関係が線形な関数として表される、２変量X、Yに関する時系列データをラベルありサンプルとして人工的に生成する原理について説明する。

時系列{z_t}のうち、最初のP個のデータサンプル、即ち{z₁,・・・,z_P}については混合数K個の混合正規分布よりサンプリングする。前記混合正規分布に関するモデルパラメータは初期化部３８で与えられたパラメータに基づいて、モデルパラメータ生成部４０において、与えられる。前記混合正規分布の重みは、一様分布U(0, 1)に従う乱数値をK個サンプリングし、K個の乱数値の和が1 になるよう正規化することで与えられる。前記混合正規分布におけるK個の正規分布の平均と標準偏差は、各々正規分布N(0, σ₁ ²)、N(0, σ₂ ²)に従う乱数値をサンプリングすることで与えられる。

時系列{z_t}のうち、残りのT-P+1個のデータサンプル、即ち{z_P+1,・・・,z_T}についてはベクトル自己回帰モデル(以下、VARモデル)に基づいてサンプリングする。

前記VARモデルに関するノイズ変数E_t = [E_Xt, E_Yt]^T (t = P+1,・・・,T)、係数行列A_τ (τ = 1,・・・,P)はモデルパラメータ生成部４０において次のように設定する。

E_Xt、E_Ytはいずれも正規分布N(0, σ₃ ²)に従う乱数値をサンプリングすることで与えられる。係数行列A_τ (τ = 1,・・・,P)は次式のようにして与えられる。

ここでU_XX、U_YYはいずれも一様分布U(0, 1)に従う乱数値をサンプリングすることで与えられる。σ_XX、σ_XY、σ_YYはいずれも確率0.5で値+1、確率0.5で-1をとる乱数をサンプリングすることで与えられる。

データサンプル{z_P+1,・・・,z_T}は、時系列データ生成部４２において、モデルパラメータ生成部４０において生成されたE_t、A_τに基づいて、次式に示すVARモデルよりサンプリングする。

因果関係X←Yを有する、変量間の関係が線形な関数として表される、２変量X、Yに関する時系列データは、係数行列A_τを転置した後、式(2)に基づいてデータサンプル{z_P+1,・・・,z_T}をサンプリングすることで得られる。この点以外は、上記の因果関係X→Yを有するラベルありサンプルの生成方法と同じである。

次にモデルパラメータ生成部４０と時系列データ生成部４２における、因果関係を表すラベルが既知で、２変量間の関係が非線形な関数として表される、２変量時系列データをラベルありサンプルとして人工的に生成する原理について説明する。

因果関係X→Yを有する、変量間の関係が非線形な関数として表される、２変量X、Yに関する時系列データ{x_t}、{y_t}は次のステップ１〜３により得られる。

ステップ１）まず、時系列データ{x_t} = {x_t,・・・,x_T}を次のようにして得る。

(a) 最初P個のデータサンプル、即ち{x_t,・・・,x_P}を混合数K個の混合正規分布よりサンプリングする。前記混合正規分布に関するモデルパラメータは初期化部３８で与えられたパラメータに基づいて、前述した線形時系列モデルのパラメータの与え方と同様にして与えられる。

(b) 残りT-P+1個のデータサンプル、即ち{x_P+1,・・・,x_T}は自己回帰モデル(以下、ARモデル)

に基づいてサンプリングする。前記ARモデルに関する係数パラメータA_τはσ_XXU_XXとして与える。ここで、U_XXは一様分布U(0, 1)に従う乱数値として、σ_XXは確率0.5で+1、確率0.5で-1をとる乱数値として、それぞれサンプリングされる。前記ARモデルに関するノイズ変数E_Xtは、正規分布N(0, σ₄ ²)に従う乱数値として、それぞれサンプリングされる。

(c) 得られた時系列データ{x_t}を平均0、分散1になるように正規化する。

ステップ２）時系列データ{x_t}を３次スプライン曲線で回帰し、スプライン関数値の時系列

を得る。

ステップ３）時系列データ{y_t} = {y_t,・・・,y_T}を次のようにして得る。

(a) 最初P個のデータサンプル、即ち{y_t,・・・,y_P}を混合数K個の混合正規分布より同様にサンプリングする。

(b) データサンプル{y_P+1,・・・,y_T}を

よりサンプリングする。ここで、係数パラメータA_τ ^F , A_τ ^Y (τ=1,・・・,P)は各々、一様分布U(0, 1)に従う乱数値をP個サンプリングし、得られたP個の乱数値を昇順にソートすることで与えられる。

(c) 得られた時系列データ{y_t}を平均0、分散1になるように正規化する。

(d) 各y_t (t = 1,・・・,T)に対して、正規分布N(0, σ²)に従う乱数値としてサンプリングしたノイズ変数を足す。ここで、パラメータσは一様分布U(0, σ₅)に従う乱数値として得る。

(e) 得られた時系列データ{y_t}を平均0、分散1になるように正規化する。

前記２変量時系列データ{x_t}、{y_t}において、混合正規分布のモデルパラメータ、式(3) 及び式(4)における係数パラメータ、及びy_tに対するノイズが従う正規分布のパラメータσは、モデルパラメータ生成部４０において与えられる。以上に説明した原理に従って、時系列データ生成部４２は因果関係がX→Yで、２変量間の関係が非線形な関数として表される、２変量時系列データを生成する。

因果関係X←Yを有する、変量間の関係が非線形な関数として表される、２変量X、Yに関する時系列データは、以上に説明した原理と同様にして得られる。

以上に説明した２つの原理に従って、訓練データ生成部２２は因果関係を表すラベルが既知の２変量時系列データであるラベルありサンプルを人工的に生成し、生成したラベルありサンプルを訓練データＤＢ２４に格納する。

＜学習部２０：特徴量計算部２６、推論部３０：特徴量計算部３４＞
学習部２０の特徴量計算部２６は、各ラベルありサンプルに対して、特徴量を計算する。特徴量計算部３４は、各ラベルなしサンプルに対して、特徴量を計算する。特徴量計算の手順は、特徴量計算部２６と特徴量計算部３４とで共通であり、後述する図３のフローチャートに示すとおりである。なお、ラベルなしサンプルに関しては、サンプルの時系列データ{z₁,・・・,z_T}に対し、長さWの部分時系列{z_t-(W-1),・・・,z_t}をt = W,・・・,Tについて用意し、T-W+1個の部分時系列の各々に対して特徴量を計算する。ここで、Wの値については入力部２において初期化する。

以下、特徴量を計算する原理について説明する。

本実施の形態においては、各ラベルありサンプル・各ラベルなしサンプルに対する特徴量を、予測分布に対するカーネル平均の推定値として得る。以下、前記予測分布に対するカーネル平均の推定値を、既存技術Kernel Kalman Filter based on Conditional Embedding Operator (非特許文献４参照；以下、KKF-CEO) に基づいて、求める原理について説明する。

時系列{z_t} = {z₁,・・・,z_m} (m = t)に対する前記予測分布に対するカーネル平均の推定値は、次のように与えられる。

式(5)において、変量c_t+1は既存技術KKF-CEOによって与えられる。KKF-CEOによる変量c_t+1の導出の手順は、アルゴリズム1 として図４に示したとおりである。また変量Ψは、正定値カーネルkが定義する写像関数φ(・)を用いて、[φ(z₂) ,・・・,φ(z_m-2)] と定義される。本実施の形態では、正定値カーネkとしてガウスカーネル

を用いる。本実施の形態では、ガウスカーネルの定義する写像関数φ(・)を低次元ベクトルとして近似するため、既存技術Random Fourier Feature(非特許文献５参照；以下、RFF) に基づいて、各φ(・)を、次元数がn_rffの有限次元ベクトルとして近似する。RFFは、ガウスカーネルkが定義する写像φ(z)を、以下のように近似する。

ただし、パラメータw₁,・・・,w_nrffは、正規分布N(w|0, 2σI)よりサンプリングし、パラメータb₁,・・・,b_nrffは一様分布U(0, 2π)よりサンプリングする。

なお、本明細書のテキストにおいて、記載の便宜上、ある文字が推定値であることを示す^（ハット）を当該文字の後ろに記載している。予測分布に対するカーネル平均の推定値μ^_zt+1は、KKF-CEOによる変量c_t+1の導出(図４のアルゴリズム1参照)と、RFFによる写像関数φ(・) の近似(式(7)) とを用いて、式(5)に基づいて得られる。図５に示したアルゴリズム2は、その導出過程を表している。

以上に説明した原理に基づいて、２変量時系列データ{z_t-(W-1):t} = {z_t-(W-1),・・・,z_t} = {(x_t-(W-1):t, y_t-(W-1):t)}に対する、前記予測分布に対するカーネル平均の推定値μ^_zt+1、及び１変量時系列{x_t-(W-1):t}、{y_t-(W-1):t}に対する、前記予測分布に対するカーネル平均の推定値μ^_xt+1、μ^_yt+1を求め、これら３種類の予測分布に対するカーネル平均の推定値を用いることで、２変量時系列データ{z_t-(W-1):t}に対する特徴量を次のように定義する。

図３は以上に説明した各ラベルありサンプルまたは各ラベルなしサンプルに対して、特徴量計算部２６または３４が、特徴量を求める手順を示すフローチャートである。

まず、ステップＳ１０１で、訓練データＤＢ２４より読み込んだラベルありサンプル３２を用いて、もしくはテストデータＤＢ３２より読み込んだラベルなしサンプルを用いて、３種類の時系列データ{x_t-(W-1):t},{y_t-(W-1):t},{z_t-(W-1):t}のいずれかを読み込む。

次に、ステップＳ１０２で、KKF-CEOにおいて用いるハイパーパラメータを入力部１０より読み込む。

そして、ステップＳ１０３で、ステップＳ１０１で読み込んだ時系列データに対し、KKF-CEOを用いて式(5)における変量c_t+1を求める。

その後、ステップＳ１０４で、変量Ψに対する近似値を、RFFを用いて得ることで、式(5)に基づいて、ステップＳ１０１で読み込んだ時系列データに対する、前記予測分布に対するカーネル平均の推定値を得る。

ステップＳ１０５で、これを３種類の時系列データ{x_t-(W-1):t},{y_t-(W-1):t},{z_t-(W-1):t}に対してステップＳ１０１からＳ１０４を繰り返すことで、各時系列に対する、前記予測分布のカーネル平均の推定値を求め、式(8)に基づいて、各ラベルありサンプルまたは各ラベルなしサンプルに対する特徴量を得る。

以上に説明した原理に従って、特徴量計算部２６は、各ラベルありサンプルに対する特徴量を計算し、特徴量計算部３４は、各ラベルなしサンプルに対する特徴量を計算する。

＜学習部２０：分類器学習部２８＞
分類器学習部２８は、特徴量計算部２６より受け取った、特徴量とラベルの対(以下、ラベルあり特徴量)に基づいて分類器の学習を行う。学習がされた分類器は、ラベルが未知の特徴量の入力を受けると、当該特徴量に該当すると推定されるラベルの値（正例or負例）を出力する機能を有する。ラベル推定部３６は、当該分類器（上記の機能）を有する。

＜推論部３０：ラベル推定部３６＞
ラベル推定部３６は、分類器学習部２８において学習した分類器を用いて、特徴量計算部３４において計算した特徴量に基づいて各ラベルなしサンプルのラベルを推定する。

ここで、ラベル推定部３６は以下に示すステップ１〜４の処理に基づいて各ラベルなしサンプルのラベルを推定する。

ステップ１）特徴量計算部３４において求めた、長さTの２変量時系列データからなるラベルなしサンプルから得られたT-W+1個の特徴量を、各ラベルなしサンプルについて読み込む。

ステップ２）分類器学習部２８において学習した分類器を用いて、各ラベルなしサンプルに対応するT-W+1個の特徴量に対して、ラベルの値(+1もしくは-1)を予測する。

ステップ３）各々のラベルなしサンプルに対して得られたT-W+1個のラベルの値(+1もしくは-1)において、+1と推定されたラベルの値の割合R₊₁、及び、-1と推定されたラベルの値の割合R_-1を求める。なお、割合R₊₁は、ラベルの値が+1である確率に相当し、割合R_-1は、ラベルの値が-1である確率に相当する。

ステップ４）R₊₁ > 0.5であればラベル+1を、R_-1 > 0.5であればラベル-1を、ラベルなしサンプルに対するラベルとして出力する。

以上に示した処理に基づいてラベル推定部３６が推定したラベルの値を、出力部９０が出力する。

＜第１の実施の形態に係る２値分類確率計算装置の構成＞
図１に示した第１の実施の形態に係る２値分類装置は、出力部９０の動作を変更することで、第１の実施の形態に係る２値分類確率計算装置として構成することも可能である。なお、「２値分類確率計算装置」を「分類確率計算装置」と称してもよい。出力部９０以外の機能部の構成及び動作は、２値分類装置と２値分類確率計算装置とで同じとしてよい。

第１の実施の形態に係る２値分類確率計算装置では、出力部９０は、ラベル推定部３６が推定したラベルの値ではなく、ラベル推定部３６が推定したラベルの値(+1 もしくは-1)を決定する際に用いる、+1と推定されたラベルの値の割合R₊₁、-1と推定されたラベルの値の割合R_-1を出力する。なお、２値分類確率計算装置は、R₊₁とR_-1に基づいてラベルの値(+1もしくは-1)を決定する処理を行った上で、出力をR₊₁とR_-1のみとしてもよいし、R₊₁とR_-1に基づくラベルの値(+1もしくは-1)を決定する処理を行わずに、R₊₁とR_-1を出力してもよい。また、R₊₁とR_-1の両方を出力してもよいし、R₊₁とR_-1のうちの１つを出力してもよい。

（第２の実施の形態）
次に、第２の実施の形態に係る２値分類装置について説明する。第２の実施の形態に係る２値分類装置の構成は、第１の実施の形態に係る２値分類装置の構成と、訓練データ生成部２２におけるラベルありサンプルの生成動作が異なる点を除いて同様である。以下、第２の実施の形態に係る訓練データ生成部２２について説明する。

第２の実施の形態では、訓練データ生成部２２は潜在交絡(X←C→Y)を示す２変量(X, Y) に関する時系列データを正例として、因果関係X→YまたはX←Yを示す２変量時系列データを負例として、ラベルありサンプルを生成する。負例に関しては、因果関係X→Y を示す２変量時系列データからなるラベルありサンプルと、因果関係X←Y を示す２変量時系列データからなるラベルありサンプルとを用いて、両者が同数になるように構成する。負例となるラベルありサンプルを構成する上で必要となる、因果関係X→Yを示す２変量時系列データと、因果関係X←Yを示す２変量時系列データと、の生成原理は第１の実施の形態の訓練データ生成部２２における２変量時系列データの生成原理と同様である。

以下、訓練データ生成部２２が、正例となるラベルありサンプルを生成する原理について説明する。第２の実施の形態において、訓練データ生成部２２が生成する正例となるラベルありサンプルは、２変量間の関係が線形な関数として表される２変量時系列データと、２変量間の関係が非線形な関数として表される２変量時系列データとを含んでいる。いずれの２変量時系列データも、モデルパラメータ生成部４０と、時系列データ生成部４２と、において生成される。

初めに、潜在交絡X←C→Yを示す、変量間の関係が線形な関数として表される、２変量X、Yに関する時系列データをラベルありサンプルとして人工的に生成する原理について述べる。

時系列{z_t}のうち、最初のP個のデータサンプル、即ち{z₁,・・・,z_P}については混合数K 個の混合正規分布よりサンプリングする。前記混合正規分布に関するモデルパラメータは第１の実施の形態における訓練データ生成部２２の原理と同様にして与えられる。

時系列{z_t}のうち、残りのT-P+1個のデータサンプル、即ち{z_P+1,・・・,z_T}については３変量X、Y、Cに関するベクトル自己回帰モデル(以下、VARモデル)に基づいてサンプリングする。

前記VARモデルに関するノイズ変数E_t = [E_Xt, E_Yt, E_Ct]^T (t = P +1,・・・,T)、係数行列A_τ (τ = 1,・・・,P)はモデルパラメータ生成部４０において次のように設定する。

E_Xt, E_Yt, E_Ctはいずれも正規分布N(0, σ₃ ²)に従う乱数値をサンプリングすることで与えられる。係数行列A_τ (τ = 1,・・・,P)は次式のようにして与えられる。

ここでU_XX、U_YY、U_CCはいずれも一様分布U(0, 1)に従う乱数値をサンプリングすることで与えられる。σ_XX,σ_YY,σ_CC,σ_CX,σ_CYはいずれも確率0.5で値+1、確率0.5で-1をとる乱数をサンプリングすることで与えられる。

データサンプル{z_P+1,・・・,z_T}は、時系列データ生成部４２において、モデルパラメータ生成部４０において生成されたE_t、A_τに基づいて、次式に示すV_t = [X_t, Y_t, C_t]^Tに関するVARモデルより時系列{x_P+1,・・・,x_T}、{y_P+1,・・・,y_T}をサンプリングすることで得られる。

次にモデルパラメータ生成部４０と時系列データ生成部４２における、潜在交絡X←C→Yを示す、２変量間の関係が非線形な関数として表される、２変量時系列データをラベルありサンプルとして人工的に生成する原理について説明する。

潜在交絡X←C→Yを示す、変量間の関係が非線形な関数として表される、２変量X、Yに関する時系列データ{x_t}、{y_t}は次のステップ１〜３により得られる。

ステップ１）まず、時系列データ{c_t} = {c₁,・・・,c_T}を次のようにして得る。

(a) 最初P個のデータサンプル、即ち{c₁,・・・,c_P}を混合数K個の混合正規分布よりサンプリングする。前記混合正規分布に関するモデルパラメータは、第１の実施の形態におけるモデルパラメータ生成部４０と、同様にして与えられるものである。

(b) 残りT-P+1個のデータサンプル、即ち{c_P+1,・・・,c_T}は自己回帰モデル(以下、ARモデル)

に基づいてサンプリングする。前記ARモデルに関する係数パラメータA_τ、ノイズ変数E_Ctは第１の実施の形態におけるモデルパラメータ生成部４０と、同様にして与えられるものである。

(c) 得られた時系列データ{c_t}を平均0、分散1になるように正規化する。

ステップ２）時系列データ{c_t}を３次スプライン曲線で回帰し、スプライン関数値の時系列

を得る。

ステップ３）時系列データ{x_t} = {x₁,・・・,x_T}、{y_t} = {y₁,・・・,y_T}を次のようにして得る。

(a) 最初P個のデータサンプル、即ち{x₁,・・・,x_Ｐ}、{y₁,・・・,y_Ｐ}を混合数K個の混合正規分布より同様にサンプリングする。

(b) データサンプル{x_t} = {x_P+1,・・・,x_T}、{y_t} = {y_P+1,・・・,y_T}を

よりサンプリングする。ここで、係数パラメータA_τ ^F、A_τ ^X、A_τ ^Y (τ=1,・・・,P)は各々、一様分布U(0, 1)に従う乱数値をP個サンプリングし、得られたP個の乱数値を昇順にソートすることで与えられる。

(c) 得られた時系列データ{x_t}、{y_t}の各々を、平均0、分散1になるように正規化する。

(d) 各x_t、各y_t (t = 1,・・・, T)に対して、正規分布N(0, σ²)に従う乱数値としてサンプリングしたノイズ変数を足す。ここで、パラメータσは一様分布N(0, σ₅)に従う乱数値として得る。

(e) 得られた時系列データ{x_t}、{y_t}を平均0、分散1になるように正規化する。

前記２変量時系列データ{x_t}、{y_t}において、混合正規分布のモデルパラメータ、式(11)、(12)、及び(13)における係数パラメータ、及びx_t、y_tに対するノイズが従う正規分布のパラメータσは、モデルパラメータ生成部４０において与えられる。以上に説明した原理に従って、時系列データ生成部４２は潜在交絡X←C→Yを示す、２変量間の関係が非線形な関数として表される、２変量時系列データを生成する。

以上に説明した２つの原理に従って、訓練データ生成部２２は、潜在交絡X←C→Yを示す、２変量時系列データであるラベルありサンプルを人工的に生成し、生成したラベルありサンプルを訓練データＤＢ２４に格納する。

＜第２の実施の形態に係る２値分類確率計算装置の構成＞
第１の実施の形態と同様に、第２の実施の形態に係る２値分類装置は、出力部９０の動作を変更することで、第２の実施の形態に係る２値分類確率計算装置として構成することが可能である。出力部９０以外の機能部の構成及び動作は、２値分類装置と２値分類確率計算装置とで同じでよい。

第２の実施の形態に係る分類確率計算装置では、出力部９０は、ラベル推定部３６が推定したラベルの値ではなく、ラベル推定部３６が推定したラベルの値(+1もしくは-1)を決定する際に用いる、+1と推定されたラベルの値の割合R₊₁、-1と推定されたラベルの値の割合R_-1を、出力する。２値分類確率計算装置は、R₊₁とR_-1に基づいてラベルの値(+1 もしくは-1)を決定する処理を行った上で、出力をR₊₁とR_-1のみとしてもよいし、R₊₁とR_-1に基づくラベルの値(+1 もしくは-1)を決定する処理を行わずに、R₊₁とR_-1を出力してもよい。また、R₊₁とR_-1の両方を出力してもよいし、R₊₁とR_-1のうちの１つを出力してもよい。

（実験例）
人工データの集合を２つ用意し、第１の実施の形態に係る２値分類装置１００を用いて、実験を行った。前記人工データの２つの集合は、いずれも非特許文献１のExp.4 と同様の方法で生成した。第１の人工データの集合は、100種類の、時系列の長さが100の２変量時系列データから構成され、第２の人工データの集合は、100種類の、時系列の長さが900 の２変量時系列データから構成される。

２変量X、Yの間の因果関係が、X→Yで表されるものを正例、X←Yで表されるものを負例とし、各集合の100種類の時系列データのうち、正例が50種類、負例が50種類になるように、人工データを生成し、ラベルの情報を与えず、ラベルなしサンプルとして用いた。

前記人工データの２つの集合に対して、第１の実施の形態に係る２値分類装置１００を適用した場合の実験結果を図６に示す。図６に示す表において、方法１は、第１の実施の形態を用いて得られた、100種類のラベルなしサンプルに対して、最終的に出力されたラベルの正答率を示している。方法２及び方法３は非特許文献１の技術を用いて得られた、100種類のラベルなしサンプルに対するラベルの正答率を示しており、方法２は一般化加法モデルによる回帰を用いた非特許文献１の技術の実施結果、方法３はガウス過程による回帰を用いた非特許文献１の技術の実施結果を、非特許文献１のFig.2 に基づいて、示している。なお、方法１で用いた人工データの集合は、方法２及び方法３で用いられている人工データの集合と、同様の方法で生成されているものの、異なるデータ集合を用いている。

第１の実施の形態の実施結果を得るために用いた、パラメータの設定方法について説明する。ラベルありサンプルの生成に用いるパラメータに関しては、変量間の関係が線形の２変量時系列データと、変量間の関係が非線形の２変量時系列データとを、各々5000種類、合計10000種類を用意し、各時系列データの時系列の長さが15になるようにした。

ラベルあり特徴量の生成に用いるパラメータに関しては、式(6)におけるガウスカーネルのパラメータσを、パラメータ値の候補集合{1.5×10^-3, 2.5×10^-3,・・・, 9.5×10^-3}より、各々の値を用いて得られるラベルあり特徴量に対して、交差検証法を適用することで、最適な値を選択した。KKF-CEOで用いるパラメータ(非特許文献４参照) に関しては、ν = 2.0×10^-3、q = r = 0.5、λ= 1.0×10^-3と設定した。RFFで用いるパラメータに関しては、n_rff = 150と設定した。

分類器学習部２８で学習する分類器としては、ランダムフォレストを用いて、ランダムフォレストの木の数を表すパラメータは、候補集合{100, 500, 1000, 2000}の中から、ラベルあり特徴量に対して、交差検証法を適用することで、最適な値を選択した。特徴量計算部３４において用いる、ラベルなしサンプルの部分時系列の長さを表すパラメータWに関しては、W = 15と設定した。

初期化部３８で初期化する、２変量間の関係が線形な時系列データ及び２変量間の関係が非線形な時系列データを生成するのに用いるパラメータθ = {K, σ₁, σ₂, σ₃, σ₄, σ₅, d, P}に関しては以下に説明する原理で初期化を行った。

パラメータの候補集合を各パラメータに関して、K, d ∈ {1,・・・,5},σ₁, σ₂, σ₃, σ₄, σ₅∈ {0.5,・・・,2.5}, P∈{2,・・・,6}となるように設定し、候補集合の全組合せに関してそれぞれ、ラベルありサンプルの２変量時系列データの集合z^_j (1≦j≦10000)を人工的に生成した。このようにパラメータの候補に関してそれぞれ生成されたz^_jと、ラベルなしサンプル{z_i} (i = 1,・・・)とを用いて定義される、サンプルの特徴量がなすユークリッド距離

を最小とするようなパラメータθを初期値として与えた。ただし、ラベルなしサンプルに関しては、２変量時系列の初めの15個のデータ点のみを用いて、z_iとして、式(14)において用いた。

図６は、以上に説明した種々のパラメータの設定方法に基づいて得られた、第１の実施の形態の実施結果を含んでいる。図６において、方法２及び方法３は、回帰モデルを事前に設定しているため、時系列の長さによって、回帰モデルの当てはまりに違いが出てくることから、時系列100の場合と時系列900の場合とで、ラベルの正答率に大きく違いが出ているが、方法１は時系列の長さに関わらず、方法２及び方法３に比べて、高いラベル正答率が得られていることがわかり、因果関係の推定精度の点で優位性を示していることがわかる。

（実施の形態のまとめ）
以上、説明したように、本発明の実施の形態では、２変量X、Yに関する時系列の因果関係の学習装置が２通りに構成される。

第一の学習装置は、因果関係がX→Y (即ち変量Xが変量Yの原因である) として表される正例の時系列データであるか、因果関係がX←Y(即ち変量Yが変量Xの原因である)で表される負例の時系列データであるかが与えられたラベルありサンプルからなる訓練データを用いて２値分類器を学習する装置である。

第二の学習装置は、因果関係がX←Z→Y(即ち隠れた変量Zによって変量X、Yの間に相関関係がある(潜在交絡)として表される正例の時系列データであるか因果関係がX→YもしくはX←Y で表される負例の時系列データであるかが与えられたラベルありサンプルからなる訓練データを用いて２値分類器を学習する装置である。

いずれの学習装置も、線形モデル・非線形モデルを定義するモデルパラメータ生成部と、前記モデルパラメータ生成部によって与えられるモデルに基づいて時系列データを生成する時系列データ生成部とを用いて、ラベルありサンプルを生成する訓練データ生成部と、各ラベルありサンプルについてその特徴量を計算する特徴量計算部と、前記ラベルありサンプルの特徴量に基づいて２値分類器の学習を行う分類器学習部と、を含んで構成される。

また、本実施の形態により、特定の因果関係の種別に関連する正例の時系列データであるか前記特定の種別とは異なる因果関係の特定の種別に関連する負例の時系列データであるかが与えられたラベルありサンプルからなる訓練データに基づいて、前記正例の時系列データか負例の時系列データであるかが未知のラベルなしサンプルの各々について正例の時系列データであるか負例の時系列データであるかを示すラベルを出力するために使用される分類器を学習する、コンピュータにより実行される学習方法が提供される。

より詳細には、前記学習方法において、前記コンピュータは、特定の因果関係の種別に関連する線形時系列・非線形時系列からなる訓練データを生成し、各ラベルありサンプルについてその特徴量を計算し、前記ラベルありサンプルの特徴量に基づいて２値分類器の学習を行う。

また、本実施の形態において、上記の学習装置によって生成された訓練データに基づいて学習された分類器を使用して、入力されたテストデータのラベルを推定するラベル推定部を含む分類装置が提供される。

また、本実施の形態において、上記の分類装置が、入力されたテストデータに対するラベルを出力する際に計算する、前記テストデータに対するラベルの推定確率を出力する分類確率計算装置が提供される。

また、本実施の形態において、上記の学習方法によって生成された訓練データに基づいて学習された分類器を用いて、入力されたテストデータのラベルを推定する分類方法が提供される。

本実施の形態により、コンピュータを、上記の学習装置、分類装置、または、分類確率計算装置を構成する各部として機能させるためのプログラムが提供される。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０入力部
２０学習部
２２訓練データ生成部
２４訓練データＤＢ
２６特徴量計算部
２８分類器学習部
３０推論部
３２テストデータＤＢ
３４特徴量計算部
３６ラベル推定部
３８初期化部
４０モデルパラメータ生成部
４２時系列データ生成部
９０出力部
１００２値分類装置

Claims

所定のモデルに基づいて、ラベルあり２変量時系列データの集合である訓練データを生成し、当該訓練データを記憶部に格納する訓練データ生成部と、
前記記憶部から読み出した前記訓練データの特徴量を計算する特徴量計算部と、
前記特徴量計算部により計算された前記特徴量に基づいて、分類器の学習を行う分類器学習部と
を備えることを特徴とする学習装置。
所定のモデルに基づいて、ラベルあり２変量時系列データの集合である訓練データを生成し、当該訓練データを記憶部に格納する訓練データ生成部と、
前記記憶部から読み出した前記訓練データの特徴量を計算する特徴量計算部と、
前記特徴量計算部により計算された前記特徴量に基づいて、分類器の学習を行う分類器学習部と、
ラベルなし２変量時系列データを入力する入力部と、
前記分類器学習部により学習がなされた分類器を用いて、前記ラベルなし２変量時系列データのラベルの値を推定する分類部と
を備えることを特徴とする分類装置。
所定のモデルに基づいて、ラベルあり２変量時系列データの集合である訓練データを生成し、当該訓練データを記憶部に格納する訓練データ生成部と、
前記記憶部から読み出した前記訓練データの特徴量を計算する特徴量計算部と、
前記特徴量計算部により計算された前記特徴量に基づいて、分類器の学習を行う分類器学習部と、
ラベルなし２変量時系列データを入力する入力部と、
前記分類器学習部により学習がなされた分類器を用いて、前記ラベルなし２変量時系列データのラベルの値が特定の値である確率を算出する分類部と
を備えることを特徴とする分類確率計算装置。
変量間の因果関係が判明していないラベルなし２変量時系列データを入力する入力部と、
ラベルあり２変量時系列データの集合である訓練データを用いて学習された分類器を用いて、前記ラベルなし２変量時系列データのラベルの値を推定し、当該ラベルの値を出力する分類部と
を備えることを特徴とする分類装置。
変量間の因果関係が判明していないラベルなし２変量時系列データを入力する入力部と、
ラベルあり２変量時系列データの集合である訓練データを用いて学習された分類器を用いて、前記ラベルなし２変量時系列データのラベルの値が特定の値である確率を算出し、当該確率を出力する分類部と
を備えることを特徴とする分類確率計算装置。
前記特徴量計算部は、KKF-CEOにより変量を計算し、当該変量を用いて予測分布に対するカーネル平均の推定値を計算する
ことを特徴とする請求項１に記載の学習装置、請求項２に記載の分類装置、または、請求項３に記載の分類確率計算装置。
前記訓練データ生成部は、２変量間の関係が線形な関数として表される２変量時系列データと、２変量間の関係が非線形な関数として表される２変量時系列データとを含む、ラベルあり２変量時系列データの集合を生成する
ことを特徴とする請求項１に記載の学習装置、請求項２に記載の分類装置、または、請求項３に記載の分類確率計算装置。
コンピュータを、請求項１ないし７のうちいずれか１項に記載の装置における各部として機能させるためのプログラム。