JP7476977B2 - 予測方法、予測装置及びプログラム - Google Patents

予測方法、予測装置及びプログラム Download PDF

Info

Publication number
JP7476977B2
JP7476977B2 JP2022560564A JP2022560564A JP7476977B2 JP 7476977 B2 JP7476977 B2 JP 7476977B2 JP 2022560564 A JP2022560564 A JP 2022560564A JP 2022560564 A JP2022560564 A JP 2022560564A JP 7476977 B2 JP7476977 B2 JP 7476977B2
Authority
JP
Japan
Prior art keywords
function
prediction
values
parameters
covariates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022560564A
Other languages
English (en)
Other versions
JPWO2022097230A1 (ja
Inventor
秀明 金
健 倉島
浩之 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2022097230A1 publication Critical patent/JPWO2022097230A1/ja
Application granted granted Critical
Publication of JP7476977B2 publication Critical patent/JP7476977B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、予測方法、予測装置及びプログラムに関する。
過去の履歴データに基づいて、将来の１次元の連続値の予測分布を出力する技術が従来から知られている。時系列予測（つまり、将来の複数の時点における連続値の予測）を対象として、時間軸は整数値のみを取るものとすれば、各時刻はステップ又は時刻ステップとも呼ばれ、予測対象となる連続値はターゲット値とも呼ばれる。
時系列予測の古典的な技術としてはＡＲＩＭＡ（autoregressive moving average model）が知られているが、近年では、大量の履歴データを利用することを前提として、ニューラルネットワークを用いたより柔軟なモデルに基づく予測技術が主流となりつつある。ニューラルネットワークを用いた予測技術は識別モデル（discriminative model）方式と生成モデル（generative model）方式の２種類に大別できる。
識別モデル方式とは、予測期間（つまり、予測対象となる期間）の長さを予め決めた上で、過去の履歴データを入力、将来の予測期間でターゲット値が従う確率分布を出力として、その入出力関係をニューラルネットワークに基づいて構築する方式である。一方で、生成モデル方式とは、過去から現在までの履歴データを入力、次の時刻ステップのターゲット値が従う確率分布を出力として、その入出力関係をニューラルネットワークに基づいて構築する方式である。生成モデル方式では、ニューラルネットワークの出力である確率分布から確率的に生成された１ステップ先のターゲット値を新たな履歴データとして再度ニューラルネットワークに入力することで、その出力として更に１ステップ先の確率分布が得られる。なお、上記の識別モデル方式や生成モデル方式の予測技術では、過去の連続値だけでなく、同時に観測可能な値（この値は共変量とも呼ばれる。）も含む履歴データを入力とすることが一般的である。
生成モデル方式の予測技術としては、例えば、非特許文献１～非特許文献３に記載の技術が知られている。
非特許文献１には、過去の共変量と１ステップ前で予測されたターゲット値とを再帰型ニューラルネットワーク（ＲＮＮ：recurrent neural network）の入力、１ステップ先のターゲット値の予測分布を出力とすることが記載されている。
また、非特許文献２には、予測対象の連続値が線形の状態空間モデルに従って時間発展すると仮定した上で、過去の共変量をＲＮＮの入力、状態空間モデルにおける各時刻ステップ上のパラメータ値を出力とすることが記載されている。なお、非特許文献２では、１ステップ前で予測されたターゲット値を状態空間モデルに入力することで、その出力として１ステップ先のターゲット値の予測分布が得られる。
また、非特許文献３には、予測対象の連続値がガウス過程に従って時間発展すると仮定した上で、過去の共変量をＲＮＮの入力、各時刻ステップ上のカーネル関数を出力とすることが記載されている。なお、非特許文献３では、ガウス過程の出力として、複数ステップから成る予測期間におけるターゲット値の同時予測分布が得られる。
D. Salinas, et al., "DeepAR: Probabilistic forecasting with autoregressive recurrent networks", International Journal of Forecasting, vol.36, pp.1181-1191 (2020). S. Rangapuram, et al., "Deep state space models for time series forecasting", Advances in Neural Information Processing Systems, pp.7785-7794 (2018). M. AI-Shedivat, et al., "Learning scalable deep kernels with recurrent structure", Journal of Machine Learning Research, vol.18, pp.1-17.
しかしながら、生成モデル方式の従来技術は、計算コストが高かったり、予測精度が低かったりする場合があった。
例えば、非特許文献１に記載されている技術では、１ステップ先のターゲット値を得るために、１ステップ前で予測されたターゲット値を入力とした際のＲＮＮから出力された予測分布に基づいてモンテカルロシミュレーションを実行する必要がある。このため、複数ステップから成る予測期間のターゲット値を得るためには、そのステップ数と同じ回数のＲＮＮ計算とモンテカルロシミュレーションとを実行する必要がある。また、予測期間の予測分布を得るためには数百個から数千個のターゲット値を得る必要があり、最終的にはステップ数の数百倍から数千倍のＲＮＮ計算とモンテカルロシミュレーションとを実行する必要がある。一般に、ＲＮＮ計算とモンテカルロシミュレーションは計算コストが高いため、予測期間のステップ数が多くなるほどその計算コストは膨大となる。
一方で、例えば、非特許文献２に記載されている技術では次の時刻ステップのターゲット値が線形の状態空間モデルから得られるためその計算コストは比較的小さいが、予測分布が正規分布であるという強い制約のため、複雑な時系列データに対しては予測精度が低くなる可能性がある。同様に、例えば、非特許文献３に記載されている技術でも予測分布が正規分布であるという強い制約のため、複雑な時系列データに対しては予測精度が低くなる可能性がある。
本発明の一実施形態は、上記の点に鑑みてなされたもので、複雑な時系列データに対しても少ない計算コストで高精度な時系列予測を実現することを目的とする。
上記目的を達成するため、一実施形態に係る予測方法は、過去に観測された観測値の系列と、前記観測値と同時に観測された共変量の系列とを用いて、前記観測値を第１の関数により非線形変換した値がガウス過程に従うものとして、前記共変量から前記第１の関数のパラメータを出力する第２の関数と前記ガウス過程のカーネル関数とのパラメータを最適化する最適化手順と、前記最適化手順で最適化されたパラメータを持つ第２の関数及びカーネル関数と、予測対象とする将来の期間における共変量の系列とを用いて、前記期間における観測値の予測分布を計算する予測手順と、をコンピュータが実行する。
複雑な時系列データに対しても少ない計算コストで高精度な時系列予測を実現することができる。
本実施形態に係る時系列予測装置のハードウェア構成の一例を示す図である。 パラメータ最適化時における時系列予測装置の機能構成の一例を示す図である。 本実施形態に係るパラメータ最適化処理の一例を示すフローチャートである。 予測時における時系列予測装置の機能構成の一例を示す図である。 本実施形態に係る予測処理の一例を示すフローチャートである。
以下、本発明の一実施形態について説明する。本実施形態では、生成モデル方式の予測技術を対象として、複雑な時系列データに対しても少ない計算コストで高精度な時系列予測を実現することができる時系列予測装置１０について説明する。ここで、本実施形態に係る時系列予測装置１０には、過去の履歴を表す時系列データ（つまり、履歴データ）から各種パラメータ（具体的には、後述するカーネル関数のパラメータθとＲＮＮのパラメータｖ）を最適化するパラメータ最適化時と、予測期間における予測分布の値やその平均等の予測する予測時と存在する。
＜ハードウェア構成＞
まず、本実施形態に係る時系列予測装置１０のハードウェア構成について、図１を参照しながら説明する。図１は、本実施形態に係る時系列予測装置１０のハードウェア構成の一例を示す図である。なお、時系列予測装置１０のハードウェア構成はパラメータ最適化時と予測時で同一としてよい。
図１に示すように、本実施形態に係る時系列予測装置１０は一般的なコンピュータ又はコンピュータシステムのハードウェア構成で実現され、入力装置１１と、表示装置１２と、外部Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４と、プロセッサ１５と、メモリ装置１６とを有する。これら各ハードウェアは、それぞれがバス１７を介して通信可能に接続されている。
入力装置１１は、例えば、キーボードやマウス、タッチパネル等である。表示装置１２は、例えば、ディスプレイ等である。なお、時系列予測装置１０は、例えば、入力装置１１及び表示装置１２のうちの少なくとも一方を有していなくてもよい。
外部Ｉ／Ｆ１３は、記録媒体１３ａ等の外部装置とのインタフェースである。時系列予測装置１０は、外部Ｉ／Ｆ１３を介して、記録媒体１３ａの読み取りや書き込み等を行うことができる。なお、記録媒体１３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。
通信Ｉ／Ｆ１４は、時系列予測装置１０を通信ネットワークに接続するためのインタフェースである。プロセッサ１５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。メモリ装置１６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。
本実施形態に係る時系列予測装置１０は、図１に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。なお、図１に示すハードウェア構成は一例であって、時系列予測装置１０は、他のハードウェア構成を有していてもよい。例えば、時系列予測装置１０は、複数のプロセッサ１５を有していてもよいし、複数のメモリ装置１６を有していてもよい。
［パラメータ最適化時］
以下、パラメータ最適化時における時系列予測装置１０について説明する。
＜機能構成＞
まず、パラメータ最適化時における時系列予測装置１０の機能構成について、図２を参照しながら説明する。図２は、パラメータ最適化時における時系列予測装置１０の機能構成の一例を示す図である。
図２に示すように、パラメータ最適化時における時系列予測装置１０は、入力部１０１と、最適化部１０２と、出力部１０３とを有する。これら各部は、例えば、時系列予測装置１０にインストールされた１以上のプログラムがプロセッサ１５に実行させる処理により実現される。
入力部１０１は、時系列予測装置１０に与えられた時系列データとカーネル関数とニューラルネットワークとを入力する。これらの時系列データとカーネル関数とニューラルネットワークは、例えば、メモリ装置１６等に格納されている。
時系列データは過去の履歴を表す時系列データ（つまり、履歴データ）であり、時刻ステップｔ＝１からｔ＝Ｔまでのターゲット値ｙ１：Ｔ＝｛ｙ１，ｙ２，・・・，ｙＴ｝と共変量ｘ１：Ｔ＝｛ｘ１，ｘ２，・・・，ｘＴ｝とで構成される。Ｔは過去の履歴を表す時系列データの時刻ステップ数である。また、各ターゲット値及び共変量はそれぞれ１次元及び多次元の実数値を取るものとする。
なお、ターゲット値とは予測対象となる連続値のことであり、例えば、マーケティング領域では商品の売上個数、ヘルスケア領域では人の血圧や血糖値、インフラ領域では消費電力等が挙げられる。また、共変量とはターゲット値と同時に観測可能な値のことであり、例えば、ターゲット値が商品の売上個数である場合、曜日や月、セール有無、季節、気温等が挙げられる。
カーネル関数はガウス過程を特徴付ける関数であり、ｋθ（ｔ，ｔ'）と表す。カーネル関数ｋθ（ｔ，ｔ'）は２つの時刻ステップｔ及びｔ'を入力として実数値を出力する関数であり、パラメータθを持つ。このパラメータθは入力として与えず、最適化部１０２によって決定される（つまり、パラメータθは最適化対象のパラメータである。）。
ニューラルネットワークには２種類のニューラルネットワークΩｗ，ｂ（・）及びΨｖ（・）が含まれる。
Ωｗ，ｂ（・）は、単調増加関数である活性化関数のみで構成される順伝播型ニューラルネットワークである。順伝播型ニューラルネットワークΩｗ，ｂ（・）のパラメータは重みパラメータｗとバイアスパラメータｂで構成され、それぞれの次元数はＤｗとＤｂであるものとする。なお、単調増加関数である活性化関数の例としては、シグモイド関数、ソフトプラス関数、ＲｅＬＵ関数等が挙げられる。
Ψｖ（・）は、再帰型ニューラルネットワーク（ＲＮＮ）である。再帰型ニューラルネットワークΨｖ（・）はパラメータｖを持ち、時刻ステップｔまでの共変量ｘ１：ｔを入力として２次元の実数値（μｔ，φｔ）とＤｗ次元の非負の実数値ｗｔとＤｂ次元の実数値ｂｔとを出力するものとする。つまり、μｔ，φｔ，ｗｔ，ｂｔ＝Ψｖ（ｘ１：ｔ）であるものとする。パラメータｖは入力として与えず、最適化部１０２によって決定される（つまり、パラメータｖは最適化対象のパラメータである。）。なお、再帰型ニューラルネットワークには、例えば、ＬＳＴＭ（long short-term memory）やＧＲＵ（gated recurrent unit）等の複数の種類があり、どの種類の再帰型ニューラルネットワークを用いるかは予め指定される。
最適化部１０２は、時系列データ（ターゲット値ｙ１：Ｔ＝｛ｙ１，ｙ２，・・・，ｙＴ｝及び共変量ｘ１：Ｔ＝｛ｘ１，ｘ２，・・・，ｘＴ｝）と、カーネル関数ｋθ（ｔ，ｔ'）と、順伝播型ニューラルネットワークΩｗ，ｂ（・）と、再帰型ニューラルネットワークΨｖ（・）とを用いて、負の対数周辺尤度関数を最小化させるパラメータΘ＝（θ，ｖ）を探索する。すなわち、最適化部１０２は、以下に示す負の対数周辺尤度関数Ｌ（Θ）を最小化するパラメータΘ＝（θ，ｖ）を探索する。
Figure 0007476977000001
 ここで、１≦ｔ≦Ｔに対して、
Figure 0007476977000002
 である。また、Ｋ＝（Ｋｔｔ'）はＴ×Ｔ行列であり、
Figure 0007476977000003
 である。なお、
Figure 0007476977000004
 は縦ベクトルｚの転置操作を表す。
出力部１０３は、最適化部１０２によって最適化されたパラメータΘを任意の出力先に出力する。なお、最適化後のパラメータΘを最適パラメータともいい、
Figure 0007476977000005
 と表す。また、明細書のテキスト中では、最適化後の値であることを示すハット「＾」を、記号の真上ではなく、直前に記載するものとする。例えば、上記の数５に示す最適パラメータを、＾Θ＝（＾θ，＾ｖ）と表す。
＜パラメータ最適化処理＞
次に、本実施形態に係るパラメータ最適化処理について、図３を参照しながら説明する。図３は、本実施形態に係るパラメータ最適化処理の一例を示すフローチャートである。なお、パラメータΘ＝（θ，ｖ）は任意の初期化手法により初期化されているものとする。
ステップＳ１０１：まず、入力部１０１は、与えられた時系列データ（ターゲット値ｙ１：Ｔ＝｛ｙ１，ｙ２，・・・，ｙＴ｝及び共変量ｘ１：Ｔ＝｛ｘ１，ｘ２，・・・，ｘＴ｝）と、カーネル関数ｋθ（ｔ，ｔ'）と、ニューラルネットワーク（順伝播型ニューラルネットワークΩｗ，ｂ（・）及び再帰型ニューラルネットワークΨｖ（・））とを入力する。
ステップＳ１０２：次に、最適化部１０２は、上記の数１に示す負の対数周辺尤度関数Ｌ（Θ）を最小化するカーネル関数ｋθ（ｔ，ｔ'）と再帰型ニューラルネットワークΨｖ（・）のパラメータΘ＝（θ，ｖ）を探索する。なお、最適化部１０２は、既知の任意の最適化手法により上記の数１に示す負の対数周辺尤度関数Ｌ（Θ）を最小化するパラメータΘ＝（θ，ｖ）を探索すればよい。
ステップＳ１０３：そして、出力部１０３は、最適化後のパラメータ＾Θを任意の出力先に出力する。なお、最適パラメータ＾Θの出力先としては、例えば、表示装置１２やメモリ装置１６等であってもよいし、通信ネットワークを介して接続される他の装置等であってもよい。
［予測時］
以下、予測時における時系列予測装置１０について説明する。
＜機能構成＞
まず、予測時における時系列予測装置１０の機能構成について、図４を参照しながら説明する。図４は、予測時における時系列予測装置１０の機能構成の一例を示す図である。
図４に示すように、予測時における時系列予測装置１０は、入力部１０１と、予測部１０４と、出力部１０３とを有する。これら各部は、例えば、時系列予測装置１０にインストールされた１以上のプログラムがプロセッサ１５に実行させる処理により実現される。
入力部１０１は、時系列予測装置１０に与えられた時系列データと予測期間及び統計量の種類と予測期間の共変量とカーネル関数とニューラルネットワークとを入力する。これらの時系列データと予測期間の共変量とカーネル関数とニューラルネットワークは、例えば、メモリ装置１６等に格納されている。一方で、予測期間及び統計量の種類は、例えば、メモリ装置１６等に格納されていてもよいし、入力装置１１等を介してユーザによって指定されてもよい。
時系列データはパラメータ最適化時と同様に、時刻ステップｔ＝１からｔ＝Ｔまでのターゲット値ｙ１：Ｔ＝｛ｙ１，ｙ２，・・・，ｙＴ｝と共変量ｘ１：Ｔ＝｛ｘ１，ｘ２，・・・，ｘＴ｝である。
予測期間はターゲット値の予測対象とする期間である。以降では、１≦τ０≦τ１として、ｔ＝Ｔ＋τ０，Ｔ＋τ０＋１，・・・，Ｔ＋τ１を予測期間とする。一方で、統計量の種類は予測対象とするターゲット値の統計量の種類である。統計量の種類としては、例えば、予測分布の値、予測分布の平均、分散、分位数等が挙げられる。
予測期間の共変量は予測期間ｔ＝Ｔ＋τ０，Ｔ＋τ０＋１，・・・，Ｔ＋τ１における共変量、すなわち、
Figure 0007476977000006
 である。
カーネル関数は最適パラメータ＾θを持つカーネル関数、すなわち、
Figure 0007476977000007
 である。
ニューラルネットワークは、順伝播型ニューラルネットワークΩｗ，ｂ（・）と、最適パラメータ＾ｖを持つ再帰型ニューラルネットワーク
Figure 0007476977000008
 である。
予測部１０４は、カーネル関数ｋ＾θ（ｔ，ｔ'）と、順伝播型ニューラルネットワークΩｗ，ｂ（・）と、再帰型ニューラルネットワークΨ＾ｖ（・）と、予測期間の共変量とを用いて、予測期間のターゲット値ベクトル
Figure 0007476977000009
 の確率密度分布ｐ（ｙ＊）を計算する。すなわち、予測部１０４は、以下により確率密度分布ｐ（ｙ＊）を計算する。
Figure 0007476977000010
 ここで、
Figure 0007476977000011
 であり、Ｔ＋τ０≦ｔ≦Ｔ＋τ１に対して、
Figure 0007476977000012
 である。また、Ｔ＋τ０≦ｔ，ｔ'≦Ｔ＋τ１に対して、
Figure 0007476977000013
 である。なお、Ｋ＊＝（Ｋｔｔ' ＊）である。
ただし、
Figure 0007476977000014
 は平均Ｅ、共分散Σの多変量正規分布を表す。
そして、予測部１０４は、確率密度分布ｐ（ｙ＊）を用いて、ターゲット値の統計量を算出する。以下、ターゲット値の統計量の種類に応じてその算出方法を説明する。
・予測分布の値
上記の確率密度分布ｐ（ｙ＊）により、モンテカルロシミュレーションを用いることなく、予測期間の任意の時刻ステップにおけるターゲット値ｙｔに対応する確率が得られる。
・予測分布の分位数
ターゲット値ｙｔの予測分布の分位数Ｑｙは、正規分布に従うｚｔ ＊の分位数Ｑｚを計算した後、以下の式によりＱｚを変換することで得る。
Figure 0007476977000015
 ただし、
Figure 0007476977000016
 は単調増加関数
Figure 0007476977000017
 の逆関数である。上記の数１５は、その単調増加性により、二分法等のシンプルな求根アルゴリズムでその解を得ることが可能であり、モンテカルロシミュレーションを用いる必要はない。
・関数の期待値
予測期間のターゲット値ベクトルｙ＊の各要素ｙｔ（Ｔ＋τ０≦ｔ≦Ｔ＋τ１）の平均や共分散を含む、一般にｙ＊に依存する関数ｆ（ｙ＊）の期待値は、モンテカルロシミュレーションを用いて、以下により計算される。
Figure 0007476977000018
 ここで、
Figure 0007476977000019
 は確率密度分布ｐ（ｙ＊）に基づくｊ回目のモンテカルロシミュレーションで得られた結果を表す。確率密度分布ｐ（ｙ＊）に基づくモンテカルロシミュレーションは以下の（１）及び（２）の２段階の処理により実行される。
（１）多変量正規分布
Figure 0007476977000020
 からＪ個のサンプル
Figure 0007476977000021
 を生成する。
（２）上記の（１）で生成したサンプルを以下の式で変換する。
Figure 0007476977000022
 これにより、
Figure 0007476977000023
 が得られる。
出力部１０３は、予測部１０４によって予測された統計量（以下、予測統計量ともいう。）を任意の出力先に出力する。
＜予測処理＞
次に、本実施形態に係る予測処理について、図５を参照しながら説明する。図５は、本実施形態に係る予測処理の一例を示すフローチャートである。
ステップＳ２０１：まず、入力部１０１は、与えられた時系列データ（ターゲット値ｙ１：Ｔ＝｛ｙ１，ｙ２，・・・，ｙＴ｝及び共変量ｘ１：Ｔ＝｛ｘ１，ｘ２，・・・，ｘＴ｝）と、予測期間ｔ＝Ｔ＋τ０，Ｔ＋τ０＋１，・・・，Ｔ＋τ１と、予測対象とする統計量の種類と、予測期間の共変量｛ｘｔ｝（ｔ＝Ｔ＋τ０，Ｔ＋τ０＋１，・・・，Ｔ＋τ１）と、カーネル関数ｋ＾θ（ｔ，ｔ'）と、ニューラルネットワーク（順伝播型ニューラルネットワークΩｗ，ｂ（・）及び再帰型ニューラルネットワークΨ＾ｖ（・））とを入力する。
ステップＳ２０２：次に、予測部１０４は、上記の数１０により確率密度分布ｐ（ｙ＊）を計算した後、予測対象の統計量の種類に応じて予測統計量を計算する。
ステップＳ２０３：そして、出力部１０３は、予測統計量を任意の出力先に出力する。なお、予測統計量の出力先としては、例えば、表示装置１２やメモリ装置１６等であってもよいし、通信ネットワークを介して接続される他の装置等であってもよい。
［まとめ］
以上のように、本実施形態に係る時系列予測装置１０は、過去の履歴を表すターゲット値ｙｔ（言い換えれば、観測されたターゲット値ｙｔ）を非線形な関数Ωｗ，ｂ（・）により変換し、変換後の値Ωｗ，ｂ（ｙｔ）がガウス過程に従うものとして予測を行う。この点において、本実施形態は非特許文献３に記載されている技術の一般化となっており、恒等関数Ωｗ，ｂ（ｙｔ）＝ｙｔという特殊な場合を考えると、本実施形態は非特許文献３に記載されている技術と一致する。
また、本実施形態では、重みパラメータｗ＝ｗｔを非負値に保つことにより、Ωｗ，ｂ（・）は単調増加関数であることが保証される。この単調増加性のために、予測部１０４による予測処理の計算コストを小さくすることができる。
したがって、本実施形態に係る時系列予測装置１０は、非特許文献３に記載されている技術と同等の計算コストの下、より複雑な時系列データに対しても高精度な時系列予測を実現することが可能となる。
なお、本実施形態では、パラメータ最適化時における時系列予測装置１０と予測時における時系列予測装置１０とが同一の装置で実現されているが、これに限られず、別々の装置で実現されていてもよい。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
１０ 時系列予測装置
１１ 入力装置
１２ 表示装置
１３ 外部Ｉ／Ｆ
１３ａ 記録媒体
１４ 通信Ｉ／Ｆ
１５ プロセッサ
１６ メモリ装置
１７ バス
１０１ 入力部
１０２ 最適化部
１０３ 出力部
１０４ 予測部

Claims (7)

  1. 過去に観測された観測値の系列と、前記観測値と同時に観測された共変量の系列とを用いて、前記観測値を第１の関数により非線形変換した値がガウス過程に従うものとして、前記共変量から前記第１の関数のパラメータを出力する第２の関数と前記ガウス過程のカーネル関数とのパラメータを最適化する最適化手順と、
    前記最適化手順で最適化されたパラメータを持つ第２の関数及びカーネル関数と、予測対象とする将来の期間における共変量の系列とを用いて、前記期間における観測値の予測分布を計算する予測手順と、
    をコンピュータが実行する予測方法。
  2. 前記予測手順で計算された予測分布を用いて、前記期間における観測値の統計量を計算する統計量計算手順、
    をコンピュータが実行する請求項１に記載の予測方法。
  3. 前記第１の関数は、重みとバイアスをパラメータとして持ち、かつ、単調増加関数を活性化関数とした順伝播型ニューラルネットワークであり、
    前記第２の関数は、非負値の前記重みと、前記バイアスとを少なくとも出力する再帰型ニューラルネットワークである、請求項１又は２に記載の予測方法。
  4. 前記第２の関数は、前記カーネル関数の入力とする実数値も更に出力する、請求項３に記載の予測方法。
  5. 前記最適化手順は、
    負の対数周辺尤度を最小化する前記第２の関数と前記カーネル関数とのパラメータを探索することで、前記第２の関数と前記カーネル関数とのパラメータを最適化する、請求項１乃至４の何れか一項に記載の予測方法。
  6. 過去に観測された観測値の系列と、前記観測値と同時に観測された共変量の系列とを用いて、前記観測値を第１の関数により非線形変換した値がガウス過程に従うものとして、前記共変量から前記第１の関数のパラメータを出力する第２の関数と前記ガウス過程のカーネル関数とのパラメータを最適化する最適化部と、
    前記最適化部で最適化されたパラメータを持つ第２の関数及びカーネル関数と、予測対象とする将来の期間における共変量の系列とを用いて、前記期間における観測値の予測分布を計算する予測部と、
    を有する予測装置。
  7. コンピュータに、請求項１乃至５の何れか一項に記載の予測方法を実行させるプログラム。
JP2022560564A 2020-11-05 2020-11-05 予測方法、予測装置及びプログラム Active JP7476977B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/041385 WO2022097230A1 (ja) 2020-11-05 2020-11-05 予測方法、予測装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2022097230A1 JPWO2022097230A1 (ja) 2022-05-12
JP7476977B2 true JP7476977B2 (ja) 2024-05-01

Family

ID=81457037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022560564A Active JP7476977B2 (ja) 2020-11-05 2020-11-05 予測方法、予測装置及びプログラム

Country Status (3)

Country Link
US (1) US20230401426A1 (ja)
JP (1) JP7476977B2 (ja)
WO (1) WO2022097230A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228371A1 (ja) * 2022-05-26 2023-11-30 日本電信電話株式会社 情報処理装置、情報処理方法、およびプログラム
WO2024057414A1 (ja) * 2022-09-13 2024-03-21 日本電信電話株式会社 情報処理装置、情報処理方法、及びプログラム
CN116092633A (zh) * 2023-04-07 2023-05-09 北京大学第三医院（北京大学第三临床医学院） 一种基于少量特征预测骨科手术患者术中自体血是否输注方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155065A1 (en) 2018-02-09 2019-08-15 Deepmind Technologies Limited Neural network systems implementing conditional neural processes for efficient learning

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7283065B2 (ja) * 2018-12-07 2023-05-30 日本電信電話株式会社 推定装置、最適化装置、推定方法、最適化方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155065A1 (en) 2018-02-09 2019-08-15 Deepmind Technologies Limited Neural network systems implementing conditional neural processes for efficient learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Al-SHEDIVAT, M., et al.，Learning scalable deep kernels with recurrent structure.，The Journal of Machine Learning Research.，2017年，Vol.18, No.1

Also Published As

Publication number Publication date
WO2022097230A1 (ja) 2022-05-12
US20230401426A1 (en) 2023-12-14
JPWO2022097230A1 (ja) 2022-05-12

Similar Documents

Publication Publication Date Title
JP7476977B2 (ja) 予測方法、予測装置及びプログラム
Jun et al. Document clustering method using dimension reduction and support vector clustering to overcome sparseness
JP7360497B2 (ja) クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム
Chen et al. Extreme learning machine and its applications in big data processing
US11640617B2 (en) Metric forecasting employing a similarity determination in a digital medium environment
Wu The forecasting model based on wavelet ν-support vector machine
AU2019371339B2 (en) Finite rank deep kernel learning for robust time series forecasting and regression
Sambasivan et al. A Bayesian perspective of statistical machine learning for big data
AU2020325094B2 (en) Finite rank deep kernel learning with linear computational complexity
CN113254716B (zh) 视频片段检索方法、装置、电子设备和可读存储介质
US20230306505A1 (en) Extending finite rank deep kernel learning to forecasting over long time horizons
Guizilini et al. Towards real-time 3D continuous occupancy mapping using Hilbert maps
Berahmand et al. DAC-HPP: deep attributed clustering with high-order proximity preserve
CN117272130A (zh) 一种基于特征选择去偏的推荐系统点击预测的方法
CN110533114A (zh) 一种基于正交回归和特征加权的有监督特征选择方法
JP2020201870A (ja) ハイパーパラメータ管理装置、ハイパーパラメータ管理方法及びハイパーパラメータ管理プログラム製品
Park et al. Robust Kriging models in computer experiments
Dong et al. An optimization method for pruning rates of each layer in CNN based on the GA-SMSM
Qi et al. A survey on quantum data mining algorithms: challenges, advances and future directions
Sun et al. DBPboost: A method of classification of DNA-binding proteins based on improved differential evolution algorithm and feature extraction
Gummesson Svensson et al. Utilizing reinforcement learning for de novo drug design
Chatrabgoun et al. A novel algorithm for classification using a low rank approximation of kernel-based support vector machines with applications
Rongali et al. Parameter optimization of support vector machine by improved ant colony optimization
Lu et al. Principal component analysis for exponential family data
US20210256388A1 (en) Machine-Learned Models Featuring Matrix Exponentiation Layers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240401

R150 Certificate of patent or registration of utility model

Ref document number: 7476977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150