JP6450032B2 - 作成装置、作成方法、および作成プログラム - Google Patents

Description

本発明は、作成装置、作成方法、および作成プログラムに関する。

機械学習において、あるデータが入力された場合に、そのデータの属性を表すラベルを出力する分類器が知られている。例えば、データとして新聞記事が分類器に入力された場合に、政治、経済、あるいはスポーツ等のラベルが出力される。学習すなわち分類器の作成は、学習用のデータとこの学習データのラベルとを組み合わせたラベルあり学習データを用いて行われる。

分類器の分類基準は時間経過とともに変化する場合がある。例えば、スパムメールの作成者は、分類器をすり抜けるために、常に新しい特徴を有するスパムメールを作成している。そのため、スパムメールの分類基準は時間経過とともに変化して、分類器の分類精度が大きく低下してしまう。

このような分類器の分類精度の経時劣化を防止するためには、分類基準が更新された分類器の作成（以下、分類器の更新とも記する）を行う必要がある。そこで、ラベルあり学習データを継続的に収集し、収集された最新のラベルあり学習データを用いて分類器を更新する技術が開示されている（非特許文献１，２参照）。

I.Koychev，"Gradual Forgetting for Adaptation to Concept Drift"，Proceedings of ECAI 2000 Workshop on Current Issues in Spatio-Temporal Reasoning，Berlin，2000年，p.101-107 H.Shimodaira，"Improving predictive inference under covariate shift by weighting the log-likelihood function"，Journal of Statistical Planning and Inference 90(2000)，2000年，p.227-244

しかしながら、ラベルあり学習データは、各学習データに専門家によりラベルが付与されたものであるため、ラベルあり学習データの継続的な収集や分類器の頻繁な更新は困難であった。また、分類器が閉鎖的な環境で使用される場合には、分類器の更新もしくは更新された分類器の適用が困難であった。例えば、セキュリティドメインでは、アンチウィルスソフトの更新ファイルすなわち更新された分類器は定期的に配布されているものの、アンチウィルスソフトを閉鎖環境で利用している場合には、更新された分類器の適用は困難であった。

本発明は、上記に鑑みてなされたものであって、ラベルあり学習データを頻繁に収集することなく分類精度が維持された分類器を作成することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る作成装置は、入力されたデータの属性を表すラベルを出力する分類器を作成する作成装置であって、過去の各時点における分類器の分類基準を学習する分類器学習部と、該分類基準の時系列変化を学習する時系列変化学習部と、学習された前記分類基準と前記時系列変化とを用いて未来の分類器の分類基準を予測する予測部と、を備えることを特徴とする。

本発明によれば、ラベルあり学習データを頻繁に収集することなく分類精度が維持された分類器を作成することができる。

図１は、本発明の第１の実施形態に係る作成装置の概略構成を示す模式図である。 図２は、第１の実施形態の作成処理手順を示すフローチャートである。 図３は、第１の実施形態の分類処理手順を示すフローチャートである。 図４は、第１の実施形態の作成装置による作成処理の効果を説明するための説明図である。 図５は、第２の実施形態の作成装置の概略構成を示す模式図である。 図６は、第２の実施形態の作成処理手順を示すフローチャートである。 図７は、第３の実施形態の作成装置の概略構成を示す模式図である。 図８は、第３の実施形態の作成処理手順を示すフローチャートである。 図９は、第３の実施形態の分類処理手順を示すフローチャートである。 図１０は、第３の実施形態の作成装置による作成処理の効果を説明するための説明図である。 図１１は、第３の実施形態の作成装置による作成処理の効果を説明するための説明図である。 図１２は、第４の実施形態の作成装置の概略構成を示す模式図である。 図１３は、第４の実施形態の作成処理手順を示すフローチャートである。 図１４は、作成プログラムを実行するコンピュータを例示する図である。

［第１の実施形態］
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［作成装置の構成］
まず、図１を参照して、本実施形態に係る作成装置の概略構成を説明する。本実施形態に係る作成装置１は、ワークステーションやパソコン等の汎用コンピュータで実現され、後述する作成処理を実行して、入力されたデータの属性を表すラベルを出力する分類器を作成する。

なお、図１に示すように、本実施形態の作成装置１は、作成処理を行う作成部１０に加え、分類処理を行う分類部２０を有する。分類部２０は、作成部１０により作成された分類器を用いてデータを分類してラベルを出力する分類処理を行う。分類部２０は、作成部１０と同一のハードウェアに実装されてもよいし、異なるハードウェアに実装されてもよい。

［作成部］
作成部１０は、学習データ入力部１１、データ変換部１２、学習部１３、分類器作成部１４、および分類器格納部１５を有する。

学習データ入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部に対して各種指示情報を入力する。本実施形態において、学習データ入力部１１は、作成処理に用いられるラベルあり学習データを受け付ける。

ここで、ラベルあり学習データとは、学習用のデータとこの学習データのラベルとの組み合わせを意味する。例えば、学習データがテキストである場合、政治、経済、あるいはスポーツ等のテキストの内容を表すラベルが付与される。また、ラベルあり学習データには、時刻情報が付与されている。時刻情報とは、例えば、学習データがテキストである場合、テキストが発刊された日時等を意味する。本実施形態では、現在までの過去の異なる時刻情報が付与された複数のラベルあり学習データが受け付けられる。

なお、ラベルあり学習データは、ＮＩＣ（Network Interface Card）等で実現される図示しない通信制御部を介して、外部のサーバ装置等から作成部１０に入力されてもよい。

制御部は、処理プログラムを実行するＣＰＵ（Central Processing Unit）等を用いて実現され、データ変換部１２、学習部１３、および分類器作成部１４として機能する。

データ変換部１２は、後述する学習部１３における処理の準備として、受け付けられたラベルあり学習データを、収集時刻、特徴ベクトル、および数値ラベルの組み合わせのデータに変換する。以下の作成部１０の処理におけるラベルあり学習データとは、データ変換部１２による変換後のデータを意味する。

ここで、数値ラベルとは、ラベルあり学習データに付与されているラベルが数値に変換されたものである。また、収集時刻は、時刻情報を元にデータに付与される離散化された時刻を表す。同一タイムウィンドウ内で受け付けられたラベルあり学習データの時刻情報が、同一の収集時刻に変換される。

また、特徴ベクトルとは、受け付けられたラベルあり学習データの特徴をｎ次元の数ベクトルで表記したものである。機械学習における汎用手法により変換される。例えば、学習データがテキストである場合には、形態素解析、ｎ−ｇｒａｍ、または区切り文字により変換される。

学習部１３は、現在までの過去の各時点における分類器の分類基準を学習する分類器学習部として機能する。また、学習部１３は、該分類基準の時系列変化を学習する時系列変化学習部として機能する。本実施形態において、学習部１３は、分類器学習部としての処理と時系列学習部としての処理とを同時に行う。

具体的に、学習部１３は、収集時刻ｔ＝１〜Ｔが付与されたラベルあり学習データを用いて、分類器の分類基準の学習と分類基準の時系列変化の学習とを同時に行う。本実施形態において、分類器であるラベルが付与される事象が所定の確率分布で発生するものとして、分類器のモデルにロジスティック回帰が適用される。なお、分類器のモデルはロジスティック回帰に限定されず、サポートベクターマシン、ブースティング等でもよい。

また、本実施形態において、分類器の分類基準の時系列変化を表す時系列モデルには、ＶＡＲ（Vector AutoRegressive） ｍｏｄｅｌが適用される。なお、時系列モデルはＶＡＲ ｍｏｄｅｌに限定されず、Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓ等のモデルでもよい。

まず、時刻ｔにおけるラベルあり学習データを、次式（１）のように表すことにする。なお、本実施形態において、ラベルは２つの離散値とした。

また、時刻ｔ＝１〜Ｔにおけるラベルあり学習データの全体を、次式（２）のように表すことにする。

この場合に、ロジスティック回帰が適用された分類器において、特徴ベクトルｘ_ｎ ^ｔのラベルｙ_ｎ ^ｔが１である確率は、次式（３）で表される。

また、ｍ次のＶＡＲ ｍｏｄｅｌが適用された分類器の分類基準を表すパラメタｗ_ｔは、過去のパラメタｗ_ｔ−１，…，ｗ_ｔ−ｍに線形に依存すると仮定される。したがって、パラメタｗ_ｔの時系列変化すなわちダイナミクスは、次式（４）のように表すことができる。

なお、ｔ≦ｍの場合には、ＶＡＲ ｍｏｄｅｌが適用できないため、パラメタｗ_ｔは平均０の正規分布Ｎ（０，θ_０ ^−１Ｉ_ｄ）に従うものとする。

また、本実施形態においては簡単化のため、ダイナミクスＡ_１，…，Ａ_ｍは対角行列に制限する。この場合、ｗ_ｔの第ｉ成分ｗ_ｔ，ｉ（ｉ＝１〜ｄ）は、過去の値ｗ_{ｔ−１，ｉ}，…，ｗ_{ｔ−ｍ，ｉ}にのみ依存する。

ここで、分類器のパラメタＷと時系列モデルのパラメタＡの同時分布の確率モデルは、次式（５）で定義される。

上記式（５）に定義される確率モデルにおいて、ラベルあり学習データＤが与えられた場合におけるパラメタＷ、Ａ、Γ、θ、θ_０の確率分布ｐ（Ｗ，Ａ、Γ、θ、θ_０｜Ｄ）を求めればよい。ただし、これらの確率分布を直接求めることは困難であるため、本実施形態では、事後確率を近似的に求めるいわゆる変分ベイズ法を用いて、確率分布ｐ（Ｗ，Ａ、Γ、θ、θ_０｜Ｄ）の近似分布ｑ（Ｗ，Ａ、Γ、θ、θ_０｜Ｄ）を求める。

まず、計算の簡便化のため、ロジスティック回帰式を次式（６）の右辺に示すように近似する。

次に、近似分布ｑ（Ｗ，Ａ、Γ、θ、θ_０｜Ｄ）が次式（７）で表されるものと仮定する。

この場合に、変分ベイズ法を用いると、パラメタＷ，Ａ、Γ、θ、θ_０の近似分布は次式（８）に示す関数形をもつことがわかる。

学習部１３は、上記式（８）に示したパラメタＷ，Ａ、Γ、θ、θ_０の近似分布を、次式（９）に示す更新式を用いて、所定の収束条件が満たされるまで更新を繰り返すことにより求めることができる。なお、所定の収束条件とは、例えば、予め定められた更新回数を超えること、あるいは、パラメタの変化量がある一定値以下になること等を意味する。

分類器作成部１４は、未来の分類器の分類基準を予測する予測部として機能する。具体的に、分類器生成部１４は、学習部１３によって求められた時系列モデルを用いて、未来の時刻ｔ＝Ｔ＋１，Ｔ＋２，…における分類器を作成する。例えば、上記のように分類器のモデルにロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにＶＡＲ ｍｏｄｅｌが適用された場合には、上記式（９）により学習されたパラメタＷおよびＡを上記式（４）に適用することにより、逐次的に未来の分類器のパラメタｗ_Ｔ＋１，ｗ_Ｔ＋２，…が求められる。これにより、分類器作成部１４は、未来の時刻の予測された分類基準の分類器を作成することができる。分類器作成部１４は、作成された分類器を分類器格納部１５に格納する。

分類器格納部１５は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、作成された未来の時刻の分類器を格納する。格納形式は特に限定されず、例えば、ＭｙＳＱＬやＰｏｓｔｇｒｅＳＱＬ等のデータベース形式、表形式、またはテキスト形式等が例示される。

［分類部］
分類部２０は、データ入力部２１、データ変換部２２、分類部２３、および分類結果出力部２４を有し、上述したように、作成部１０により作成された分類器を用いてデータを分類してラベルを出力する分類処理を行う。

データ入力部２１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部に対して各種指示情報を入力したり、分類処理対象のデータを受け付けたりする。ここで受け付けられる分類処理対象のデータには、ある時点の時刻情報が付与されている。データ入力部２１は、学習データ入力部１１と同一のハードウェアでもよい。

制御部は、処理プログラムを実行するＣＰＵ等を用いて実現され、データ変換部２２と分類部２３とを有する。

データ変換部２２は、作成部１０のデータ変換部１２と同様に、データ入力部２１が受け付けた分類処理対象のデータを収集時刻および特徴ベクトルの組み合わせに変換する。ここで、分類処理対象のデータには、ある時点の時刻情報が付与されているため、収集時刻と時刻情報とが同一となる。

分類部２３は、分類器格納部１５を参照し、分類処理対象のデータの収集時刻と同時刻の分類器を用いて、データの分類処理を行う。例えば、上記のように分類器のモデルにロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにＶＡＲ ｍｏｄｅｌが適用された場合には、上記式（３）により当該データのラベルが１である確率が得られる。分類部２３は、得られた確率が予め設定された所定の閾値以上であれば、ラベル＝１とし、該閾値より小さい場合には、ラベル＝０とする。

分類結果出力部２４は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置、情報通信装置等によって実現され、分類処理の結果を操作者に対して出力する。例えば、入力されたデータに対するラベルを出力したり、入力されたデータにラベルを付与して出力したりする。

［作成処理］
次に、図２を参照して、作成装置１の作成部１０による作成処理について説明する。図２のフローチャートは、例えば、ユーザによる作成処理の開始を指示する操作入力があったタイミングで開始される。

まず、学習データ入力部１１が、時刻情報が付与されたラベルあり学習データを受け付ける（ステップＳ１）。次に、データ変換部１２が、受け付けたラベルあり学習データを、収集時刻、特徴ベクトルおよび数値ラベルの組み合わせのデータに変換する（ステップＳ２）。

次に、学習部１３が、データ変換部１２による変換後のラベルあり学習データを用いて、時刻ｔ＝１〜Ｔの分類器の分類基準と分類基準の時系列変化を示す時系列モデルとを学習する（ステップＳ３）。例えば、ロジスティック回帰モデルのパラメタＷ（ｗ_ｔ＝ｗ_１〜ｗ_Ｔ）と、ＶＡＲ ｍｏｄｅｌのパラメタＡ（＝Ａ_０〜Ａ_ｍ）とが、同時に求められる。

次に、分類器作成部１４が、時系列モデルを用いて、未来の時刻ｔ＝Ｔ＋１，Ｔ＋２，…の分類器の分類基準を予測して分類器を作成する（ステップＳ４）。例えば、ロジスティック回帰およびＶＡＲ ｍｏｄｅｌが適用された分類器について、未来の分類器のパラメタｗ_Ｔ＋１，ｗ_Ｔ＋２，…が求められる。

最後に、分類器作成部１４により作成された未来の時刻ｔ＝Ｔ＋１，Ｔ＋２，…の分類器が、分類器格納部１５に格納される（ステップＳ５）。

［分類処理］
次に図３を参照して作成装置１の分類部２０による分類処理について説明する。図３のフローチャートは、例えば、ユーザによる分類処理の開始を指示する操作入力があったタイミングで開始される。

まず、データ入力部２１が、時刻ｔ＝Ｔ＋１以降の分類処理対象のデータを受け付け（ステップＳ６）、データ変換部２２が、受け付けたデータを収集時刻、特徴ベクトルの組み合わせのデータに変換する（ステップＳ７）。

次に、分類部２３が、分類器格納部１５を参照して、受け付けたデータの収集時刻の分類器を用いてデータの分類処理を行う（ステップＳ８）。そして、分類結果出力部２４が、分類結果の出力すなわち分類されたデータのラベルの出力を行う（ステップＳ９）。

以上、説明したように、本実施形態の作成装置１では、学習部１３が、現在までの過去の各時点における分類器の分類基準と、該分類基準の時系列変化とを学習し、分類器作成部１４が、学習された分類基準と時系列変化とを用いて未来の分類器の分類基準を予測する。すなわち、図４に例示するように、入力された現在までの収集時刻ｔ＝１〜Ｔのラベルあり学習データＤ_ｔ（Ｄ_１，…，Ｄ_Ｔ）を用いて、学習部１３が、時刻ｔ＝１〜Ｔの分類器ｈ_ｔ（ｈ_１、ｈ_２、ｈ_３、…，ｈ_Ｔ）の分類基準と、分類基準の時系列変化すなわちダイナミクスを表す時系列モデルとを学習する。そして、分類器作成部１４が、未来の時刻ｔ＝Ｔ＋１，Ｔ＋２，…の分類基準を予測して、各時刻の分類器ｈ_Ｔ＋１，ｈ_Ｔ＋２，…を作成する。

これにより、本実施形態の作成装置１における作成部１０の作成処理によれば、最新のラベルあり学習データを用いなくても分類器の分類精度の低下を抑止できる。すなわち、最新のラベルあり学習データを頻繁に追加して分類器を更新しなくても、分類精度の低下を抑止できる。このように、ラベルあり学習データを頻繁に収集することなく分類精度が維持された分類器を作成することができる。

例えば、セキュリティベンダーがアンチウィルスソフトの更新ファイルすなわち更新された分類器を定期的に配布する場合に、次回の配布までの間に変化するウィルスにも対応して精度よく分類できる。また、アンチウィルスソフトに未来の時刻の分類器を内蔵しておけば、オフライン環境で使用される場合にも、変化するウィルスに対応できる。

また、特に分類器の分類基準と分類基準の時系列変化とを同時に学習する場合には、例えば、ラベルあり学習データの数が少ない場合にも、分類器の分類基準と分類基準の時系列変化とを別々に学習する場合より、安定した学習を行うことができる。

なお、本発明の作成処理は、ラベルを離散値とした分類問題に限定されず、ラベルを実数値とした回帰問題としてもよい。これにより、多様な分類器の未来の分類基準を予測することができる。

また、上記実施形態では、学習部１３は一度の作成処理で過去の収集時刻ｔ＝１〜Ｔのラベルあり学習データを用いて分類器の分類基準と該分類基準の時系列変化とを学習しているが、これに限定されない。例えば、学習部１３は、収集時刻ｔ＝１〜Ｔ−１のラベルあり学習データを用いて分類器の分類基準と該分類基準の時系列変化とを学習した後、最新の収集時刻Ｔのラベルあり学習データを用いて分類器の分類基準と該分類基準の時系列変化とを学習してもよい。その場合、学習した分類器の各分類基準と該分類基準の時系列変化とを用いて、未来の分類器を作成する。これにより、最新の収集時刻Ｔのラベルあり学習データの特徴を精度高く反映した分類器を作成できる。

また、ラベルあり学習データが過去の収集時刻ｔ＝１〜Ｔのうちの一部すなわち一定の離散的な時間間隔で連続していなくてもよい。例えば、分類器の分類基準の時系列変化を表す時系列モデルにＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓを適用した場合、離散的な時間間隔が不均一であっても、分類器を作成できる。

［第２の実施形態］
上記の第１の実施形態の学習部１３は、分類器学習部１３ａと時系列モデル学習部１３ｂとに分離されてもよい。図５は、第２の実施形態の作成装置１の概略構成を例示する図である。本実施形態は、上記の第１の実施形態の学習部１３による処理を、分類器学習部１３ａおよび時系列モデル学習部１３ｂが分担して行う点においてのみ異なる。その他の処理は第１の実施形態と同一であるので、説明を省略する。

なお、本実施形態において、上記第１の実施形態と同様に、分類器のモデルにはロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにはＶＡＲ ｍｏｄｅｌが適用される。

分類器学習部１３ａは、現在までの過去の各時点における分類器の分類基準を学習する。具体的に、ＶＡＲ ｍｏｄｅｌへの入力となる分類器のパラメタｗ_ｔは、最大事後確率（ＭＡＰ，Maximum A Posteriori）推定を利用して、次式（１０）に示す対数事後分布を最大化する点として得られる。

分類器学習部１３ａは、パラメタｗ_１からｗ_Ｔまでについて、この順に上記のＭＡＰ推定を実行することにより、時刻ｔ＝１〜Ｔの分類器を得ることができる。

時系列モデル学習部１３ｂは、該分類基準の時系列変化を学習する時系列変化学習部として機能する。本実施形態において、時系列モデル学習部１３ｂは、分類器学習部１３ａによる分類器学習処理の後に、時系列変化学習処理を行う。

具体的に、分類器学習部１３ａにより得られた時刻ｔ＝１〜Ｔの分類器を用いると、分類器のパラメタＷと時系列モデルのパラメタＡの同時分布の確率モデルは、次式（１１）で定義される。

ここで、上記の第１の実施形態と同様に、変分ベイズ法を用いると、パラメタＡ、Γ、θの近似分布は次式（１２）に示す関数形をもつことがわかる。

時系列モデル学習部１３ｂは、第１の実施形態と同様に、上記式（１２）に示したパラメタＡ、Γ、θの近似分布を、次式（１３）に示す更新式を用いて、所定の収束条件が満たされるまで更新を繰り返すことにより求めることができる。

次に、図６を参照して、本実施形態の作成装置１の作成部１０による作成処理について説明する。上記した第１の実施形態とは、ステップＳ３１の処理およびステップＳ３２の処理のみが異なる。

ステップＳ３１の処理では、分類器学習部１３ａは、収集時刻ｔ＝１〜Ｔのラベルあり学習データを用いて、時刻ｔ＝１〜Ｔの分類器の分類基準を学習する。例えば、ロジスティック回帰モデルのパラメタＷ（ｗ_ｔ＝ｗ_１〜ｗ_Ｔ）が求められる。

ステップＳ３２の処理では、時系列モデル学習部１３ｂが、分類器学習部１３ａにより得られた時刻ｔ＝１〜Ｔの分類器の分類基準を用いて、該分類基準の時系列変化を表す時系列モデルを学習する。例えば、ＶＡＲ ｍｏｄｅｌのパラメタＡ（＝Ａ_０〜Ａ_ｍ）が求められる。

このように、本実施形態の作成装置１の作成部１０の作成処理によれば、分類器の分類基準と分類基準の時系列変化とが別々に学習される。これにより、例えば、ラベルあり学習データの数が多い場合にも、分類器の分類基準と分類基準の時系列変化とを同時に学習する場合より、各機能部の処理負荷を軽くすることができる。

［第３の実施形態］
上記の第１の実施形態または第２の実施形態の分類器作成部１４は、さらに、分類器の分類基準の予測の確からしさを導出してもよい。図７は、第３の実施形態の作成装置１の概略構成を例示する図である。本実施形態において、分類器のモデルにはロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにはＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓが適用される。以下に、上記の第１の実施形態と異なる処理についてのみ説明する。なお、第１の実施形態と同一の処理については説明を省略する。

具体的に、学習部１３は、ｔ_Ｔまでの収集時刻ｔが付与されたラベルあり学習データを用いて、分類器の分類基準の学習と分類基準の時系列変化の学習とを同時に行う。なお、以下の説明において、ｔ_１＜ｔ_２＜…＜ｔ_Ｔとする。本実施形態において、分類器であるラベルが付与される事象が所定の確率分布で発生するものとして、分類器のモデルにロジスティック回帰が適用される。なお、分類器のモデルはロジスティック回帰に限定されず、サポートベクターマシン、ブースティング等でもよい。

また、本実施形態において、分類器の分類基準の時系列変化を表す時系列モデルには、Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓが適用される。なお、時系列モデルはＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓに限定されず、ＶＡＲ ｍｏｄｅｌ等のモデルでもよい。

まず、時刻ｔにおけるラベルあり学習データを、次式（１４）のように表すことにする。なお、本実施形態において、ラベルは２つの離散値としたが、ラベルが３つ以上の場合も適用可能である。

また、時刻ｔ＝ｔ_１〜ｔ_Ｔにおけるラベルあり学習データの全体を次式（１５）のように表すことにする。

この場合に、ロジスティック回帰が適用された分類器において、特徴ベクトルｘ_ｎ ^ｔのラベルｙ_ｎ ^ｔが１である確率は、次式（１６）で表される。

時刻ｔにおける分類器のパラメタのｄ成分ｗ_ｔｄは、非線形関数ｆ_ｄを用いて次式（１７）より記述されるものと仮定する。ここで、ｄ＝１〜Ｄである。

また、非線形関数ｆ_ｄの事前分布は、Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓに従うものとする。すなわち、次式（１８）に示す時刻ｔ＝ｔ_１〜ｔ_Ｔの各時点における非線形関数の値は、次式（１９）に示すガウス分布から生成されるものと仮定する。

ここで、この共分散行列の各成分は、次式（２０）で表される。

上記のｋ_ｄは任意のカーネル関数で定義され得るが、本実施形態において、次式（２１）に示すカーネル関数で定義される。

この場合に、次式（２２）に示す時刻ｔ＝ｔ_１〜ｔ_Ｔの分類器のパラメタ（ｄ成分）の確率分布は、次式（２３）で表される。

この共分散行列の成分は、次式（２４）に示すカーネル関数ｃ_ｄで定義される。

この場合に、次式（２５）に示す分類器の分類基準Ｗと、分類基準の時系列変化（ダイナミクス）を表す次式（２６）に示すパラメタθとを学習するための同時分布の確率モデルは、次式（２７）で定義される。

次に、上記式（２７）で定義される確率モデルをもとに、データから事前確率を経験的に与えるいわゆる経験ベイズ法を用いて、ラベルあり学習データが与えられた場合に分類器Ｗが得られる確率とダイナミクスパラメータθとを推定する。経験ベイズ法において、次式（２８）に示す下限Ｌを最大化することにより、所望のＷの分布すなわちｑ（Ｗ）とダイナミクスパラメータθとが得られる。

ここで、まずｑ（Ｗ）が次式（２９）に示すように因数分解できるものと仮定する。

その場合に、ｑ（Ｗ）は次式（３０）に示すガウス分布の関数形を示すことがわかる。

ここで、μ_ｔｄおよびλ_ｔｄは、次式（３１）に示す更新式を用いて推定される。

また、ダイナミクスパラメータθは、非連立方程式の解を求めるためのいわゆる準ニュートン法を用いて更新される。準ニュートン法において、次式（３２）に示す下限Ｌのθに関する項とθに関する微分とが用いられる。

学習部１３は、上記の更新式を用いて、所定の収束条件が満たされるまで、ｑ（Ｗ）の更新とθの更新とを交互に繰り返すことにより、所望のパラメタを推定できる。所定の収束条件とは、例えば、予め定められた更新回数を超えること、あるいは、パラメタの変化量がある一定値以下になること等を意味する。

なお、更新を繰り返すと分類に影響を及ぼさない特徴に関するパラメタｗ_・ｄの大きさは０に近づく。このように、Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓを用いた場合に、重要ではない特徴が自動的に排除される。

分類器作成部１４は、学習部１３が学習した分類器の分類基準と分類基準の時系列変化とを用いて、未来の時刻ｔ_＊＞ｔ_Ｔの分類器の分類基準の予測と、予測の確からしさすなわち確信度とを導出する。時刻ｔ_＊＞ｔ_Ｔにおいて分類器Ｗが得られる確率分布は、次式（３３）で表される。

これにより、分類器作成部１４は、未来の時刻の予測された分類基準の分類器を、その予測の確信度とともに得ることができる。分類器作成部１４は、予測された分類器と確信度とを分類器格納部１５に格納する。

分類部２３は、分類器格納部１５を参照し、分類処理対象のデータの収集時刻と同時刻の分類器とその確信度とを用いて、データの分類処理を行う。例えば、上記のように分類器のモデルにロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓが適用された場合には、次式（３４）により、当該データｘのラベルｙが１である確率が得られる。分類部２３は、得られた確率が予め設定された所定の閾値以上であれば、ラベル＝１とし、該閾値より小さい場合には、ラベル＝０とする。

次に、図８は、本実施形態の作成処理手順を例示するフローチャートである。図８に示すように、学習部１３が時刻ｔ_Ｔまでの分類器の分類基準と分類器の時系列変化を表す時系列モデルとを学習する（ステップＳ３０）。この場合に、上記の第１の実施形態とは、分類器作成部１４がｔ＞ｔ_Ｔの分類器の分類基準を確信度とともに予測して（ステップＳ４０）、分類器格納部１５に格納すること（ステップＳ５０）が異なる。また、図９は、本実施形態の分類処理手順を例示するフローチャートである。図９に示すように、上記の第１の実施形態とは、分類部２３が、受け付けたデータの収集時刻の分類器とともにその確信度を用いてデータを分類すること（ステップＳ８０）が異なる。

このように、本実施形態の作成装置１によれば、未来の分類基準を確信度とともに予測する。すなわち、図１０および図１１に例示するように、予測できる未来の分類器の分類基準ｗの確率分布は様々に異なる。図１０に例示するように、分類基準ｗの確率の分散が小さい場合には、高い確率すなわち高い確信度で分類基準ｗを予測できる。一方、図１１に例示するように、分類基準ｗの確率の分散が大きい場合には、分類基準ｗの確率すなわち確信度が低くなる。したがって、予測される分類基準ｗの確信度を考慮して分類器を用いることにより、高精度に分類を行うことが可能となる。

［第４の実施形態］
上記の第３の実施形態の学習部１３は、分類器学習部１３ａと時系列モデル学習部１３ｂとに分離されてもよい。図１２は、第４の実施形態の作成装置１の概略構成を例示する図である。本実施形態は、上記の第３の実施形態の学習部１３による処理を、分類器学習部１３ａおよび時系列モデル学習部１３ｂが分担して行う点においてのみ異なる。その他の処理は第３の実施形態と同一であるので、説明を省略する。

なお、本実施形態において、上記第３の実施形態と同様に、分類器のモデルにはロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにはＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓが適用される。なお、時系列モデルはＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓに限定されず、ＶＡＲ ｍｏｄｅｌ等のモデルでもよい。

分類器学習部１３ａは、現在までの過去の各時点における分類器の分類基準を学習する。具体的に、分類器の分類基準を表すパラメタｗ_ｔは、最大事後確率（ＭＡＰ）推定を利用して、次式（３５）に示す対数事後分布を最大化する点として得られる。

分類器学習部１３ａは、時刻ｔ_１からｔ_Ｔまでの各時刻ｔにおけるパラメタｗ_ｔについて、この順に上記のＭＡＰ推定を実行することにより、時刻ｔ_Ｔまでの分類器を得ることができる。

また、時系列モデル学習部１３ｂは、分類器学習部１３ａにより得られた時刻ｔ_Ｔまでの分類器をもとに、上記の第３の実施形態と同様に、分類器の分類基準の時系列変化を学習する。

図１３は、本実施形態の作成処理手順を例示するフローチャートである。上記した第３の実施形態とは、ステップＳ３０１の処理およびステップＳ３０２の処理のみが異なる。

ステップＳ３０１の処理では、分類器学習部１３ａは、収集時刻ｔ＝ｔ_１〜ｔ_Ｔのラベルあり学習データを用いて、時刻ｔ_Ｔの分類器の分類基準を学習する。例えば、ロジスティック回帰モデルの時刻ｔ_Ｔまでの各時刻ｔにおけるパラメタｗ_ｔが求められる。

ステップＳ３０２の処理では、時系列モデル学習部１３ｂが、分類器学習部１３ａにより得られた時刻ｔ_Ｔまでの分類器の分類基準を用いて、該分類基準の時系列変化を表す時系列モデルを学習する。例えば、Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓのパラメタθが求められる。

このように、本実施形態の作成装置１によれば、上記第２の実施形態と同様に、分類器の分類基準と分類基準の時系列変化とが別々に学習される。これにより、例えば、ラベルあり学習データの数が多い場合にも、分類器の分類基準と分類基準の時系列変化とを同時に学習する場合より、各機能部の処理負荷を軽くして、短時間で処理することができる。

［プログラム］
上記実施形態に係る作成装置１が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、作成装置１は、パッケージソフトウェアやオンラインソフトウェアとして上記の作成処理を実行する作成プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の作成プログラムを情報処理装置に実行させることにより、情報処理装置を作成装置１として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の作成処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、作成装置１は、ラベルあり学習データを入力とし、分類器を出力する作成処理サービスを提供するサーバ装置として実装される。この場合、作成装置１は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の作成処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、作成装置１と同様の機能を実現する作成プログラムを実行するコンピュータの一例を説明する。

図１４に示すように、作成プログラムを実行するコンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、図１４に示すように、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、作成プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した作成装置１が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、作成プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、作成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、作成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１ 作成装置
１０ 作成部
１１ 学習データ入力部
１２ データ変換部
１３ 学習部
１３ａ 分類器学習部
１３ｂ 時系列モデル学習部
１４ 分類器作成部
１５ 分類器格納部
２０ 分類部
２１ データ入力部
２２ データ変換部
２３ 分類部
２４ 分類結果出力部

Claims (8)

1. 入力されたデータの属性を表すラベルを出力する分類器を作成する作成装置であって、
   過去の各時点における分類器の分類基準を学習する分類器学習部と、
   該分類基準の時系列変化を学習する時系列変化学習部と、
   学習された前記分類基準と前記時系列変化とを用いて未来の分類器の分類基準を予測する予測部と、
   を備えることを特徴とする作成装置。
2. 前記分類器学習部および前記時系列変化学習部は、現在までに収集された前記ラベルが付与された学習用のデータを用いることを特徴とする請求項１に記載の作成装置。
3. 前記データは、一定の離散的な時間間隔で連続していないことを特徴とする請求項１または２に記載の作成装置。
4. 前記予測部は、さらに、予測した前記分類基準の予測の確からしさを導出することを特徴とする請求項１〜３のいずれか１項に記載の作成装置。
5. 前記分類器学習部の処理の後、前記時系列変化学習部の処理を行うことを特徴とする請求項１〜４のいずれか１項に記載の作成装置。
6. 前記分類器学習部の処理と、前記時系列変化学習部の処理とを、同時に行うことを特徴とする請求項１〜４のいずれか１項に記載の作成装置。
7. 入力されたデータの属性を表すラベルを出力する分類器を作成する作成装置で実行される作成方法であって、
   過去の各時点における分類器の分類基準を学習する分類器学習工程と、
   該分類基準の時系列変化を学習する時系列変化学習工程と、
   学習された前記分類基準と前記時系列変化とを用いて未来の分類器の分類基準を予測する予測工程と、
   を含んだことを特徴とする作成方法。
8. コンピュータに、
   過去の各時点における分類器の分類基準を学習する分類器学習ステップと、
   該分類基準の時系列変化を学習する時系列変化学習ステップと、
   学習された前記分類基準と前記時系列変化とを用いて未来の分類器の分類基準を予測する予測ステップと、
   を実行させることを特徴とする作成プログラム。

Images