JP6928346B2

JP6928346B2 - 予測装置、予測方法および予測プログラム

Info

Publication number: JP6928346B2
Application number: JP2017135374A
Authority: JP
Inventors: 具治岩田; 小川　厚徳; 厚徳小川; 哲則小林; 小川　哲司; 哲司小川; 幹森岡
Original assignee: Waseda University; Nippon Telegraph and Telephone Corp
Current assignee: Waseda University; Nippon Telegraph and Telephone Corp
Priority date: 2017-07-11
Filing date: 2017-07-11
Publication date: 2021-09-01
Anticipated expiration: 2037-07-11
Also published as: JP2019016324A

Description

本発明は、予測装置、予測方法および予測プログラムに関する。

一般に、会話における単語列のような同質のデータを直列に並べた系列データは、性質の異なる様々なドメインから得られる。例えば、系列データの一例として、系列データに含まれる各系列の要素が単語で表される言語データは、会話ドメインや講演ドメイン等から得られる。

ここで、会話ドメインと講演ドメインとから得られている言語データのうち、会話ドメインの系列データの予測モデルを学習する場合について考える。一般に、学習データが多いほど予測モデルの予測性能は向上することから、予測対象の系列データのドメインとは異なるドメインのデータも併せて学習データとして利用する。例えば、上記の場合には、会話ドメインのデータと講演ドメインのデータとを利用して、予測モデルを学習する。

しかしながら、性質が異なる他のドメインのデータを学習データとして利用すると、予測モデルの予測性能が劣化する場合があった。そこで、他のドメインのデータを学習データとして利用した場合にも、予測性能の劣化を抑止する技術が知られている（非特許文献１参照）。

Hal Daume III，"Frustratingly Easy Domain Adaptation"，Proc. Of the 45th Annual Meeting of the Association of Computational Linguistics，2007年，pp.256-263

しかしながら、従来の技術においては、ベクトルデータの適用が想定されており、系列データを適用して高精度に予測モデルを学習することができなかった。

本発明は、上記に鑑みてなされたものであって、ドメインの異なる系列データを学習データとして利用して、系列の予測モデルを高精度に学習することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る予測装置は、複数のドメインの系列データを取得する取得部と、前記系列データが属するドメインに応じて該系列データに含まれる各系列の特徴を表す特徴ベクトルを作成する作成部と、作成された前記特徴ベクトルを用いて、前記系列を予測する予測モデルを学習する学習部と、学習された前記予測モデルと新たに取得された前記系列データとを用いて、該系列データの次の系列を予測する予測部と、を備えることを特徴とする。

本発明によれば、ドメインの異なる系列データを学習データとして利用して、系列の予測モデルを高精度に学習することが可能となる。

図１は、本発明の一実施形態に係る予測装置の概略構成を例示する模式図である。図２は、作成部の処理を説明するための説明図である。図３は、学習部の処理を説明するための説明図である。図４は、予測部の処理を説明するための説明図である。図５は、本実施形態の予測処理手順を例示するフローチャートである。図６は、実施例を説明するための説明図である。図７は、予測プログラムを実行するコンピュータを例示する図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［予測装置の構成］
まず、図１を参照して、本実施形態に係る予測装置の概略構成を説明する。図１に示すように、本実施形態に係る予測装置１０は、ワークステーションやパソコン等の汎用コンピュータで実現され、入力部１１と出力部１２と通信制御部１３と、記憶部１４と、制御部１５とを備える。

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置、情報通信装置等によって実現され、後述する予測処理の結果等を操作者に対して出力する。

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した対象システム等の外部の装置と制御部１５との通信を制御する。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、予測装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

本実施形態において、記憶部１４には、後述する予測処理において取得された系列データ１４ａ、作成された特徴ベクトル１４ｂおよび導出された予測モデルのモデルパラメータ１４ｃ等が保存される。

制御部１５は、ＣＰＵ（Central Processing Unit）等の演算処理装置がメモリに記憶された処理プログラムを実行することにより、図１に例示するように、取得部１５ａ、作成部１５ｂ、学習部１５ｃおよび予測部１５ｄとして機能する。なお、これらの機能部は、それぞれあるいは一部が異なるハードウェアに実装されてもよい。

取得部１５ａは、複数のドメインの系列データを取得する。具体的に、取得部１５ａは、入力部１１あるいは通信制御部１３を介して、例えば、性質の異なる複数のドメインごとに系列データを収集するサーバ装置から、収集された系列データを取得する。また、取得部１５ａは、取得した系列データを、ドメインを識別する情報を付与する等によりドメインを区別して記憶部１４に保存する。なお、本実施形態において、２つのドメインの系列データを処理の対象としているが、これに限定されず、３以上のドメインについても本発明は適用可能である。

作成部１５ｂは、系列データが属するドメインに応じて該系列データに含まれる各系列の特徴を表す特徴ベクトルを作成する。ここで、図２を参照して、作成部１５ｂの処理を具体的に説明する。

まず、取得部１５ａが、２つのドメインＳ、ＴからそれぞれＮ_Ｓ個、Ｎ_Ｔ個の系列を含む系列データ１４ａを取得したものとする。また、ｎ（ｎ＝１，…，Ｎ_Ｓ＋Ｎ_Ｔ）番目の系列の長さをＴ_ｎとし、ｎ番目の系列のｔ（ｔ＝１，…，Ｔ_ｎ）番目の時刻における要素である特徴をｗ_ｔ ^（ｎ）とする。この場合に、ｎ番目の系列はｗ_１ ^（ｎ）ｗ_２ ^（ｎ）…ｗ_Ｔｎ ^（ｎ）と表される。

作成部１５ｂは、ｎ番目の系列のｔ番目の特徴ｗ_ｔ ^（ｎ）ごとに、特徴ベクトルｐ_ｔ ^（ｎ）を作成する。ここで、特徴はシンボル形式のデータを想定しているが、ベクトル形式等、他の形式のデータでもよい。

図２に示すように、まず、作成部１５ｂは、特徴ｗ_ｔ ^（ｎ）からＶ次元の疎なベクトルｘ_ｔ ^（ｎ）を生成する（Ｓ１１）。ここで、Ｖは特徴の種類の数を表す。また、ｗ_ｔ ^（ｎ）がｖ番目の特徴であれば、ｘ_ｔ ^（ｎ）はｖ番目の要素のみが１であり他の要素が０である疎なベクトルである。

次に、作成部１５ｂは、疎なベクトルｘ_ｔ ^（ｎ）をＥ次元の密なベクトルｕ_ｔ ^（ｎ）に変換する（Ｓ１２）。例えば、作成部１５ｂは、次式（１）に示す線形変換により、ｘ_ｔ ^（ｎ）を密なベクトルｕ_ｔ ^（ｎ）に変換する。

Ｐはランダムに与えられてもよいが、本実施形態においては、予測モデルのモデルパラメータとして、後述する学習部の処理において学習される。

次に、作成部１５ｂは、各系列が属するドメインに応じて密なベクトルｕ_ｔ ^（ｎ）を連結することにより、特徴ベクトルｐ_ｔ ^（ｎ）を作成する（Ｓ１３）。その際、作成部１５ｂは、各ドメインの系列の個別の特徴と、複数のドメインの系列の組み合わせの特徴とを連結して特徴ベクトルを作成する。本実施形態において、特徴ベクトルｐ_ｔ ^（ｎ）は、次式（２）に示す３Ｅ次元のベクトルで表される。

上記式（２）において、はじめのＥ次元にドメインＳの系列の個別の特徴が保持され、次のＥ次元にドメインＴの系列の個別の特徴が保持され、最後のＥ次元にドメインＳ、Ｔの両ドメインの系列に共通の特徴が保持される。ドメインが３以上の場合には、作成部１５ｂは、同様に、各ドメインの系列の個別の特徴と、複数のドメインの系列の組み合わせの特徴と、全ドメインの系列に共通の特徴とを連結して特徴ベクトルを作成する。また、作成部１５ｂは作成した特徴ベクトル１４ｂを記憶部１４に保存する。

図１の説明に戻る。学習部１５ｃは、作成された特徴ベクトルを用いて、系列を予測する予測モデルを学習する。本実施形態において、系列の予測モデルとして再帰的ニューラルネットワークを想定するが、これに限定されない。ある入力に対して次の系列を予測し、パラメータが予測値と真値との誤差に応じて更新できる任意のモデルを本発明に適用できる。例えば、ＬＳＴＭ（Long Short Term Memory）やＧＲＵ（Gated Recurrent Unit）などでもよい。

ここで、図３を参照して、学習部１５ｃの処理を具体的に説明する。まず、学習部１５ｃは、ｎ＝１，…，Ｎ_Ｓ＋Ｎ_Ｔ、ｔ＝１，…，Ｔ_ｎについての特徴ベクトルｐ_ｔ ^（ｎ）の集合を記憶部１４から読み込む（Ｓ２１）。

次に、学習部１５ｃは、これまでのｔ’（ｔ’＝１，…，ｔ−１）番目の時刻における系列の特徴ｐ_ｔ’ ^（ｎ）を記憶している１時刻前の隠れ層ｈ_ｔ−１ ^（ｎ）と、モデルパラメータＷとを用いて、次式（３）により現在の隠れ層ｈ_ｔ ^（ｎ）を計算する（Ｓ２２）。

１時刻前の隠れ層を、各ドメインの系列の個別の隠れ層と複数のドメインの系列の組み合わせの隠れ層とを連結したものにしてもよい。その場合、上記式（３）は、例えば、次式（４）または次式（５）で表される。

次に、学習部１５ｃは、隠れ層ｈ_ｔ ^（ｎ）とモデルパラメータＭとを用いて、次式（６）により次の特徴量ｙ_ｔ ^（ｎ）を予測する（Ｓ２３）。

隠れ層を、各ドメインの系列の個別の隠れ層と複数のドメインの系列の組み合わせの隠れ層とを連結したものにしてもよい。その場合、上記式（６）は、例えば、次式（７）または次式（８）で表される。

次に、学習部１５ｃは、特徴量の予測値と真値との誤差を計算し、その誤差のモデルパラメータに関する勾配を計算する（Ｓ２４）。ここで、予測値と真値とが近いほど誤差が小さくなり、予測値と真値とが遠いほど誤差が大きくなるモデルパラメータが用いられる。

次に、学習部１５ｃは、誤差のモデルパラメータに関する勾配をもとにして、未知のデータに対する誤差が小さくなるようにモデルパラメータを更新する（Ｓ２５）。

学習部１５ｃは、以上の処理を、終了条件を満たすまで繰り返す（Ｓ２６）。学習部１５ｃは、終了条件を満たした場合のモデルパラメータを、学習した予測モデルのモデルパラメータ１４ｃとして決定する。また、学習部１５ｃは、決定したモデルパラメータ１４ｃを記憶部１４に保存する。ここで、終了条件には、繰り返し数が所定のしきい値より大きくなること、パラメータの変化量が所定のしきい値より小さくなること、あるいは、誤差の変化量が所定のしきい値より小さくなること等が適用される。

なお、上記のような各系列が属するドメインに応じた連結は、予測モデル構築のどの段階で適用されてもよい。

図１の説明に戻る。予測部１５ｄは、学習された予測モデルと新たに取得された系列データとを用いて、該系列データの次の系列を予測する。ここで、図４を参照して、予測部１５ｄの処理を具体的に説明する。

まず、予測部１５ｄは、学習された予測モデルのモデルパラメータ１４ｃを記憶部１４から読み込むことにより、予測モデルを読み込む（Ｓ３１）。また、予測部１５ｄは、取得部１５ａから、次の系列を予測したい系列データを読み込む（Ｓ３２）。また、予測部１５ｄは、読み込んだ系列データと予測モデルとを用いて、読み込んだ系列データの次の系列を予測して（Ｓ３３）、次の系列の特徴量ｙ_ｔ ^（ｎ）を予測値として出力する。

［予測処理］
次に、図５を参照して、予測装置１０による予測処理について説明する。図５は、予測処理手順を例示するフローチャートである。図５のフローチャートは、例えば、処理の開始を指示する操作入力があったタイミングで開始される。

まず、取得部１５ａが、複数のドメインの系列データを取得する。また、作成部１５ｂが、系列データが属するドメインに応じて該系列データに含まれる各系列の特徴を表す特徴ベクトルを作成する（ステップＳ１０）。具体的に、作成部１５ｂは、ｎ番目の系列のｔ番目の特徴ｗ_ｔ ^（ｎ）ごとに、疎な特徴ベクトルｐ_ｔ ^（ｎ）を作成する。また、作成部１５ｂは、疎なベクトルｘ_ｔ ^（ｎ）を密なベクトルｕ_ｔ ^（ｎ）に変換する。また、作成部１５ｂは、各系列が属するドメインに応じて密なベクトルｕ_ｔ ^（ｎ）を連結することにより、特徴ベクトルｐ_ｔ ^（ｎ）を作成する。

次に、学習部１５ｃが、作成された特徴ベクトルを用いて、系列を予測する予測モデルを学習する（ステップＳ２０）。具体的に、学習部１５ｃは、１時刻前の隠れ層ｈ_ｔ−１ ^（ｎ）と、モデルパラメータＷとを用いて、現在の隠れ層ｈ_ｔ ^（ｎ）を計算する。また、学習部１５ｃは、隠れ層ｈ_ｔ ^（ｎ）とモデルパラメータＭとを用いて、次の特徴量ｙ_ｔ ^（ｎ）を予測する。また、学習部１５ｃは、特徴量の予測値と真値との誤差のモデルパラメータに関する勾配をもとにして、未知のデータに対する誤差が小さくなるようにモデルパラメータを更新する処理を、終了条件を満たすまで繰り返し、モデルパラメータを決定する。

次に、予測部１５ｄが、学習された予測モデルと新たに取得された予測対象の系列データとを用いて、該系列データの次の系列を予測する（ステップＳ３０）。これにより、一連の予測処理が終了する。

以上、説明したように、本実施形態の予測装置１０では、取得部１５ａが、複数のドメインの系列データを取得する。また、作成部１５ｂが、系列データが属するドメインに応じて該系列データに含まれる各系列の特徴を表す特徴ベクトルを作成する。また、学習部１５ｃが、作成された特徴ベクトルを用いて、系列を予測する予測モデルを学習する。また、予測部１５ｄが、学習された予測モデルと新たに取得された系列データとを用いて、該系列データの次の系列を予測する。

これにより、ドメインの異なる系列データを学習データとして利用して、系列の予測モデルを高精度に学習することが可能となる。

［実施例］
本実施形態の予測装置１０を用いて、以下の手法で、日本語話し言葉コーパス（Corpus of Spontaneous Japanese：ＣＳＪ）を用いて会話データの予測精度を向上させる実験を行った。図６は実施例を説明するための説明図である。

手法１とは、会話データのみを用いて学習させる手法である。手法２とは、ＣＳＪと会話データとを同じドメインのデータとして学習させる手法である。また、本発明１とは、ＣＳＪと会話データとをドメインを区別して学習させる手法である。本発明１では、上記式（２）および上記式（３）が適用されている。すなわち、特徴ベクトルの作成に、各系列が属するドメインに応じた連結が適用され、隠れ層には各系列が属するドメインに応じた連結が適用されていない。

図６（ａ）は、手法１、手法２、および本発明１による実験結果を示す。ここで、パープレキシティは、言語モデルのよさを測る指標値であり、低いほど予測精度が高いことを表す。図６（ａ）に示すように、本発明１によれば、会話データのみを用いた手法１、ＣＳＪと会話データとをドメインを区別せずに用いた手法２と比較して、予測精度が大きく向上することがわかった。

また、本発明２とは、ＣＳＪと会話データとをドメインを区別して学習させる手法である。本発明２では、上記式（２）および上記式（６）が適用されている。すなわち、特徴ベクトルの作成および隠れ層に、各系列が属するドメインに応じた連結が適用されている。図６（ｂ）は、手法１、手法２、本発明１、および本発明２による実験結果を示す。図６（ｂ）に示すように、本発明１によれば、手法１、手法２と比較して、予測精度が大きく向上することがわかった。さらに、本発明２によれば、各系列が属するドメインに応じた連結の適用により、本発明１と比較して、さらに予測精度が向上することがわかった。

［プログラム］
上記実施形態に係る予測装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、予測装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の予測処理を実行する予測プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の予測プログラムを情報処理装置に実行させることにより、情報処理装置を予測装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の予測処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、予測装置１０は、系列データを入力とし、次の系列の予測結果を出力する予測処理サービスを提供するサーバ装置として実装される。この場合、予測装置１０は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の予測処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、予測装置１０と同様の機能を実現する予測プログラムを実行するコンピュータの一例を説明する。

図７に示すように、予測プログラムを実行するコンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、図７に示すように、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、予測プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した予測装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、予測プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、予測プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、予測プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１０予測装置
１１入力部
１２出力部
１３通信制御部
１４記憶部
１４ａ系列データ
１４ｂ特徴ベクトル
１４ｃモデルパラメータ
１５制御部
１５ａ取得部
１５ｂ作成部
１５ｃ学習部
１５ｄ予測部

Claims

複数のドメインの系列データを取得する取得部と、
前記系列データが属するドメインに応じて、各ドメインの該系列データに含まれる系列の個別の特徴と、複数のドメインの系列の組み合わせの特徴とを連結して、前記系列データの特徴を表す特徴ベクトルを作成する作成部と、
作成された前記特徴ベクトルを用いて、前記系列を予測する予測モデルを、該系列の特徴の真値と予測値との誤差が所定のしきい値より小さくなるように学習し、該予測モデルのモデルパラメータを記憶部に保存する学習部と、
前記記憶部から読み出したモデルパラメータを利用した、学習された前記予測モデルと新たに取得された前記系列データとを用いて、該系列データの次の系列を予測する予測部と、
を備えることを特徴とする予測装置。
予測装置で実行される予測方法であって、
複数のドメインの系列データを取得する取得工程と、
前記系列データが属するドメインに応じて、各ドメインの該系列データに含まれる系列の個別の特徴と、複数のドメインの系列の組み合わせの特徴とを連結して、前記系列データの特徴を表す特徴ベクトルを作成する作成工程と、
作成された前記特徴ベクトルを用いて、前記系列を予測する予測モデルを、該系列の特徴の真値と予測値との誤差が所定のしきい値より小さくなるように学習し、該予測モデルのモデルパラメータを記憶部に保存する学習工程と、
前記記憶部から読み出したモデルパラメータを利用した、学習された前記予測モデルと新たに取得された前記系列データとを用いて、該系列データの次の系列を予測する予測工程と、
を含んだことを特徴とする予測方法。
複数のドメインの系列データを取得する取得ステップと、
前記系列データが属するドメインに応じて、各ドメインの該系列データに含まれる系列の個別の特徴と、複数のドメインの系列の組み合わせの特徴とを連結して、前記系列データの特徴を表す特徴ベクトルを作成する作成ステップと、
作成された前記特徴ベクトルを用いて、前記系列を予測する予測モデルを、該系列の特徴の真値と予測値との誤差が所定のしきい値より小さくなるように学習し、該予測モデルのモデルパラメータを記憶部に保存する学習ステップと、
前記記憶部から読み出したモデルパラメータを利用した、学習された前記予測モデルと新たに取得された前記系列データとを用いて、該系列データの次の系列を予測する予測ステップと、
をコンピュータに実行させることを特徴とする予測プログラム。