WO2022038752A1 - 推定方法、推定装置及びプログラム - Google Patents

推定方法、推定装置及びプログラム Download PDF

Info

Publication number
WO2022038752A1
WO2022038752A1 PCT/JP2020/031509 JP2020031509W WO2022038752A1 WO 2022038752 A1 WO2022038752 A1 WO 2022038752A1 JP 2020031509 W JP2020031509 W JP 2020031509W WO 2022038752 A1 WO2022038752 A1 WO 2022038752A1
Authority
WO
WIPO (PCT)
Prior art keywords
estimation
model
procedure
probability
series data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/031509
Other languages
English (en)
French (fr)
Inventor
匡宏 幸島
浩之 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2020/031509 priority Critical patent/WO2022038752A1/ja
Priority to JP2022543228A priority patent/JP7396501B2/ja
Publication of WO2022038752A1 publication Critical patent/WO2022038752A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to an estimation method, an estimation device and a program.
  • the Markov process plays an important role in the analysis of series data such as the movement series of people in the city and the browsing series of web pages. This is because the Markov process is not only used for the prediction of the series, but it is easy to interpret the transition probability that it has as a parameter, and it is possible to grasp the asymptotic behavior of the series such as the steady distribution and the first arrival time. Because it is possible.
  • various efforts have been made to overcome the limitation (for example, Non-Patent Documents 1 and 2).
  • a method called a linear additive Markov process (LAMP) has been proposed in recent years (for example, Non-Patent Document 3).
  • LAMP is a method that can express long-term dependencies on past series, has high parameter interpretability, and has good properties such as Markov process that asymptotic behavior can be grasped. ..
  • transition probability such as the difference in the transition probability for each user or the temporal change in the transition probability.
  • the browsing series of web pages for each individual has a tendency of different transitions depending on individual tastes such as sports lovers and movie lovers.
  • the tendency of a group of people to move in a city may differ greatly depending on the time of day, such as a tendency toward an office district in the morning and a tendency to return to a residential district in the evening.
  • One embodiment of the present invention has been made in view of the above points, and realizes grasping and predicting a transition tendency in consideration of the nature of the transition probability and the long-term dependency on the past series. The purpose.
  • the estimation method uses a mixed model using an input procedure for inputting a plurality of series data representing a state transition series and a plurality of series data input in the input procedure. It is characterized in that a computer executes an estimation procedure for estimating model parameters of a model in which the linear addition Markov process is extended and an output procedure for outputting model parameters estimated by the estimation procedure.
  • the estimation device 10 for estimating “model parameter” will be described.
  • This model is an extension of LAMP using a mixed model approach so that it can capture the nature of transition probabilities (eg, differences in transition probabilities for each user, temporal changes in transition probabilities, etc.).
  • it is referred to as a mixed linear additive Markov process (MoLAMP: Mixture of linear additive Markov process).
  • a mixed model approach for example, based on the browsing history of a web page, users with similar browsing tendencies can be grouped into multiple groups so that they belong to the same affiliation, and each group is separated. It is possible to model the transition based on the parameters of LAMP. Similarly, for example, when analyzing the movement of people in a city, it is possible to model the transition of each group while classifying the time zones into groups. As a result, the transition tendency can be grasped more accurately than the conventional LAMP that does not use the mixed model approach, and the prediction performance of the sequence can be improved.
  • the extension using the exponential family is performed.
  • This causes an increase in the number of parameters when the mixed model approach is used. Therefore, when the number of data is limited, the K-dimensional probability vector w of LAMP can be expressed by the number of parameters that do not depend on the order K. This is because it is considered necessary. Therefore, as will be described later, in the present embodiment, this is made possible by expressing the value of this probability vector w using the probability distribution of an arbitrary distribution belonging to the exponential distribution family.
  • LAMP Linear additive Markov process
  • I is the number of states.
  • the waveform symbol given directly above a certain symbol shall be expressed immediately before it, and for example, the probability matrix shall be expressed as " ⁇ ⁇ ".
  • the (i, j) component of the stochastic matrix ⁇ ⁇ is expressed as ⁇ ⁇ ij or ⁇ ⁇ (x i , x j ).
  • LAMP has the following two important properties (a) and (b).
  • A A long time dependency can be expressed while suppressing an exponential increase in the number of parameters. That is, considering the transition probability in the Markov process of order k, the number of parameters (size of state transition probability) is Ik ⁇ Ik, which increases exponentially with respect to order k , but in LAMP of order k, it increases exponentially. The number of parameters is suppressed by (I ⁇ I) + k. Therefore, LAMP makes it possible to maintain the interpretability of the parameters.
  • B Although the transition probability depends on the past history, LAMP has a steady distribution under loose conditions, and it is equal to the steady distribution of the first-order Markov process from the transition probability to ⁇ . Therefore, the extreme behavior (steady state) can be easily grasped by the same method as a normal Markov chain (for example, power iteration).
  • ⁇ is a natural parameter
  • T (k) is a sufficient statistic
  • a ( ⁇ ) is a lognormalization term
  • h (k) is a known function (Base measure).
  • Examples of the distribution belonging to the exponential family include the following categorical distribution (Cat), geometric distribution (Geo), Poisson distribution (Poi), and the like.
  • ⁇ is a parameter.
  • D is a subscript representing the user and the time zone in which the series was collected, and T d is the length of the series.
  • M represents the mixing number
  • ⁇ m , ⁇ m , and ⁇ m represent the mixing ratio of the m-th component, the parameter of the exponential distribution family representing the value of the probability vector of LAMP, and the probability matrix parameter of LAMP, respectively.
  • one component represents one model, and series belonging to the same component transition with a transition probability of the same property. For example, if one user's web page browsing sequence and another user's browsing sequence belong to the same component, the transition probabilities of these sequences have similar properties, and therefore these users have similar tastes. Etc. are meant to have. Similarly, if the movement sequence of people in one time zone and the movement series of people in another time zone in a city belong to the same component, it means that there is a similar movement tendency in these time zones.
  • ⁇ 0 , ⁇ 0 , ⁇ 0 , and ⁇ 0 are hyperparameters, and Z ( ⁇ 0 , ⁇ 0 ) is a normalization term. This is for constructing an optimization algorithm, which will be described later, and can be modeled using other prior distributions.
  • the initial state X d0 is determined by the initial state probability.
  • Step2 Next, the state X dt at the next time is LAMP using the parameters ⁇ m and ⁇ m of the component to which it belongs (however, the value w k of the probability vector w is f (k
  • ⁇ m (x i , x j ) represents the (i, j) component of ⁇ m .
  • Step 2 By repeating the above Step 2 until the time T d , the generation of the data z d and x d can be modeled.
  • MoLAMP becomes equal to LAMP.
  • ⁇ Optimization method Arbitrary optimization methods such as the gradient method and Newton's method can be applied to the optimization (minimization) of the objective function L ( ⁇ ), but as an example, when optimization is performed by MM (Majorization Minimization). Will be explained. In MM, the upper bound of the objective function is created, and the optimization algorithm is constructed using it. Latent variable Z and further auxiliary variables
  • MM the following two-step procedure is repeated until a predetermined condition is satisfied, and the upper bound G is minimized to minimize the objective function L.
  • a predetermined condition for example, the number of repetitions has reached the maximum number of repetitions.
  • Procedure 1 Minimize G with respect to ⁇
  • Procedure 2 Minimize G with respect to Z and V
  • ⁇ , ⁇ and ⁇ are optimized by the following, respectively.
  • ⁇ mij is a (i, j) component of ⁇ m .
  • the upper bound G is minimized by repeating the update of the parameters by the equations (10), (11) and (12) and the update of the latent variable and the auxiliary variable by the equations (8) and (9). (Therefore, the objective function L is minimized), and an estimated value of the optimal model parameter ⁇ ⁇ is obtained.
  • FIG. 1 is a diagram showing an example of the functional configuration of the estimation device 10 according to the present embodiment.
  • the estimation device 10 includes an input data storage unit 101, a setting parameter storage unit 102, a model parameter estimation unit 103, a model parameter output unit 104, and an input data storage unit 105. And a setting parameter storage unit 106 and a model parameter storage unit 107.
  • the input data storage unit 101 inputs the given mobile sequence data D and stores it in the input data storage unit 105 as input data.
  • the mobile sequence data D may be given, for example, by acquiring it from a server device or the like connected to the estimation device 10 via a communication network.
  • the setting parameter storage unit 102 inputs a given setting parameter (for example, hyper parameters ⁇ 0 , ⁇ 0 , ⁇ 0 , ⁇ 0 , ⁇ 0 , a setting value related to optimization such as the maximum number of repetitions in MM, etc.), and the setting parameter is set. It is stored in the storage unit 106.
  • the setting parameter may be given, for example, by being specified by a user or the like.
  • the model parameter estimation unit 103 estimates the optimum model parameter ⁇ ⁇ of MoLAMP by using the input data D stored in the input data storage unit 105 and the setting parameter stored in the setting parameter storage unit 106. Then, the model parameter estimation unit 103 stores the estimated optimum model parameter ⁇ ⁇ in the model parameter storage unit 107.
  • the model parameter output unit 104 outputs the optimum model parameter ⁇ ⁇ stored in the model parameter storage unit 107.
  • the output destination of the model parameter output unit 104 may be any output destination (for example, a display, a storage device, another device, a terminal, or the like).
  • FIG. 2 is a flowchart showing an example of the estimation process according to the present embodiment.
  • the input data storage unit 101 inputs the given mobile sequence data D and stores it in the input data storage unit 105 as input data (step S101).
  • the setting parameter storage unit 102 inputs the given setting parameter and stores it in the setting parameter storage unit 106 (step S102).
  • the model parameter estimation unit 103 uses the input data D stored in the input data storage unit 105 in the above step S101 and the setting parameters stored in the setting parameter storage unit 106 in the above step S102.
  • the optimum model parameter ⁇ ⁇ of MoLAMP is estimated, and the optimum model parameter ⁇ ⁇ is stored in the model parameter storage unit 107 (step S103). That is, the model parameter estimation unit 103 estimates the optimum model parameter ⁇ ⁇ by minimizing the objective function L ( ⁇ ) shown in the above equation (7) by MM, and stores it in the model parameter storage unit 107.
  • the objective function L ( ⁇ ) may be minimized by, for example, a gradient method or Newton's method.
  • the model parameter output unit 104 outputs the optimum model parameter ⁇ ⁇ stored in the model parameter storage unit 107 in the above step S103 (step S104).
  • the estimation device 10 can estimate the model parameters of MoLAMP, which is a model extended from LAMP, by using the approach of the mixed model.
  • This MoLAMP is a model that can utilize the advantages of both the mixed model and LAMP at the same time, and by using MoLAMP in which the optimum model parameter ⁇ ⁇ after estimation is set, the nature of the transition probability (for example, personal taste). It is possible to grasp the transition tendency and predict the series in consideration of the difference (difference in the movement tendency of the crowd for each time zone, etc.) and the long-term dependency on the past series.
  • FIG. 3 is a diagram showing an example of the hardware configuration of the estimation device 10 according to the present embodiment.
  • the estimation device 10 is realized by a general computer or a computer system, and includes an input device 201, a display device 202, an external I / F 203, a communication I / F 204, and a processor. It has 205 and a memory device 206. Each of these hardware is connected so as to be communicable via the bus 207.
  • the input device 201 is, for example, a keyboard, a mouse, a touch panel, or the like.
  • the display device 202 is, for example, a display or the like.
  • the estimation device 10 does not have to have at least one of the input device 201 and the display device 202.
  • the external I / F 203 is an interface with an external device.
  • the external device includes a recording medium 203a and the like.
  • the estimation device 10 can read or write the recording medium 203a via the external I / F 203.
  • the recording medium 203a stores, for example, one or more programs that realize each functional unit (input data storage unit 101, setting parameter storage unit 102, model parameter estimation unit 103, and model parameter output unit 104) of the estimation device 10. It may have been done.
  • the recording medium 203a includes, for example, a CD (Compact Disc), a DVD (Digital Versatile Disc), an SD memory card (Secure Digital memory card), a USB (Universal Serial Bus) memory card, and the like.
  • a CD Compact Disc
  • DVD Digital Versatile Disc
  • SD memory card Secure Digital memory card
  • USB Universal Serial Bus
  • the communication I / F 204 is an interface for connecting the estimation device 10 to the communication network.
  • One or more programs that realize each functional unit of the estimation device 10 may be acquired (downloaded) from a predetermined server device or the like via the communication I / F 204.
  • the processor 205 is, for example, various arithmetic units such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit). Each functional unit included in the estimation device 10 is realized, for example, by a process of causing the processor 205 to execute one or more programs stored in the memory device 206.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the memory device 206 is, for example, various storage devices such as HDD (Hard Disk Drive), SSD (Solid State Drive), RAM (Random Access Memory), ROM (Read Only Memory), and flash memory.
  • Each storage unit (input data storage unit 105, setting parameter storage unit 106, and model parameter storage unit 107) included in the estimation device 10 can be realized by using the memory device 206.
  • at least one storage unit of each storage unit included in the estimation device 10 may be realized by a storage device (for example, a database server or the like) connected to the estimation device 10 via a communication network.
  • the estimation device 10 can realize the above-mentioned estimation process by having the hardware configuration shown in FIG.
  • the hardware configuration shown in FIG. 3 is an example, and the estimation device 10 may have another hardware configuration.
  • the estimation device 10 may have a plurality of processors 205 or a plurality of memory devices 206.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一実施形態に係る推定方法は、状態の遷移系列を表す複数の系列データを入力する入力手順と、前記入力手順で入力した複数の系列データを用いて、混合モデルにより線形加法マルコフ過程を拡張したモデルのモデルパラメタを推定する推定手順と、前記推定手順で推定したモデルパラメタを出力する出力手順と、をコンピュータが実行することを特徴とする。

Description

推定方法、推定装置及びプログラム
　本発明は、推定方法、推定装置及びプログラムに関する。
　都市における人々の移動系列やウェブページの閲覧系列等の系列データの分析に対してマルコフ過程は重要な役割を果たしている。これは、マルコフ過程は単に系列の予測に用いられるだけではなく、パラメタとして持つ遷移確率の解釈が容易であり、かつ、定常分布や初到達時間等の系列の漸近的な挙動を把握することが可能であるためである。しかしながら、マルコフ過程は過去の系列への長期的な依存関係を表現することができないため、その限界を克服するために様々な取り組みがなされてきた（例えば、非特許文献１及び２）。このような取り組みの中で、近年、線形加法マルコフ過程（ＬＡＭＰ：linear additive Markov process）と呼ばれる手法が提案されている（例えば、非特許文献３）。ＬＡＭＰは、過去の系列への長期的な依存関係を表現することができると共に、パラメタの解釈性が高く、漸近的な挙動も把握できるというマルコフ過程のような良い性質も持ち合わせている手法である。
Peter B¨uhlmann, AbrahamJ Wyner, etal. Variable length markov chains. The Annals of Statistics, Vol.27, No.2, pp. 480-513, 1999. Sepp Hochreiter and J¨urgen Schmidhuber. Long short-term memory. Neural computation, Vol.9, No.8, pp. 1735-1780, 1997. Ravi Kumar, Maithra Raghu, Tam´as Sarl´os, and Andrew Tomkins. Linear additive markov processes. In Proceedings of the 26th international conference on World Wide Web, pp. 411-419, 2017.
　しかしながら、ＬＡＭＰでは、例えばユーザ毎の遷移確率の違いや遷移確率の時間的な変化等といった遷移確率の性質を捉えることができない。例えば、個人毎のウェブページの閲覧系列は、スポーツ好きや映画好き等の個人の趣向によって一人一人異なる遷移の傾向を持つと考えられる。同様に、例えば、都市における人々の集団の移動の傾向は、朝はオフィス街に向かう傾向がある一方で夕方は住宅街に帰る傾向がある等、時間帯によってその傾向は大きく異なると考えられる。
　本発明の一実施形態は、上記の点に鑑みてなされたもので、遷移確率の性質と過去の系列への長期的な依存関係とを考慮した遷移傾向の把握及び系列予測を実現することを目的とする。
　上記目的を達成するため、一実施形態に係る推定方法は、状態の遷移系列を表す複数の系列データを入力する入力手順と、前記入力手順で入力した複数の系列データを用いて、混合モデルにより線形加法マルコフ過程を拡張したモデルのモデルパラメタを推定する推定手順と、前記推定手順で推定したモデルパラメタを出力する出力手順と、をコンピュータが実行することを特徴とする。
　遷移確率の性質と過去の系列への長期的な依存関係とを考慮した遷移傾向の把握及び系列予測を実現することができる。
本実施形態に係る推定装置の機能構成の一例を示す図である。 本実施形態に係る推定処理の一例を示すフローチャートである。 本実施形態に係る推定装置のハードウェア構成の一例を示す図である。
　以下、本発明の一実施形態について説明する。本実施形態では、遷移確率の性質と過去の系列への長期的な依存関係とを考慮した遷移傾向の把握及び系列予測を行うことが可能なモデルを提案し、このモデルのパラメタ（以下、「モデルパラメタ」ともいう。）を推定する推定装置１０について説明する。このモデルは、遷移確率の性質（例えば、ユーザ毎の遷移確率の違いや遷移確率の時間的な変化等）を捉えることができるように、混合モデルのアプローチを利用してＬＡＭＰを拡張したものであり、本実施形態では、混合線形加法マルコフ過程（ＭｏＬＡＭＰ：Mixture of linear additive Markov process）と呼ぶことにする。混合モデルのアプローチを利用することで、例えば、ウェブページの閲覧履歴に基づいて、類似の閲覧傾向を持つユーザは同一の所属となるようにユーザを複数のグループに分類し、グループ毎に別々のＬＡＭＰのパラメタに基づいて遷移するようにモデル化することが可能となる。同様に、例えば、都市における人々の動きを分析する際に、時間帯をグループに分類しながらグループ毎の遷移をモデル化することが可能となる。これにより、混合モデルのアプローチを用いない従来のＬＡＭＰよりも、より正確に遷移の傾向が把握できるようになり、かつ、系列の予測性能の向上も可能となる。
　なお、後述するように、本実施形態では、混合モデルのアプローチを利用した拡張に加えて、指数型分布族を用いた拡張を行った。これは、混合モデルのアプローチを利用するとパラメタ数の増大をもたらすため、データ数に限りがある場合にはＬＡＭＰのＫ次元の確率ベクトルｗを、その次数Ｋに依存しないパラメタ数で表現することが必要であると考えられるためである。そこで、後述するように、本実施形態では、この確率ベクトルｗの値を指数型分布族に属する任意の分布の確率分布を用いて表現することで、これを可能とした。
　＜準備＞
　以下、ＭｏＬＡＭＰの説明に必要な用語や概念等を準備する。
　　≪線形加法マルコフ過程（ＬＡＭＰ）≫
　まず、線形加法マルコフ過程（ＬＡＭＰ）について説明する。状態空間Ｘ＝｛ｘ１，ｘ２，・・・，ｘＩ｝上の次数ＫのＬＡＭＰは確率ベクトル
Figure JPOXMLDOC01-appb-M000001
 と確率行列
Figure JPOXMLDOC01-appb-M000002
 との２つのパラメタで特徴付けられる。Ｉは状態数である。なお、以降、明細書のテキスト中では、或る記号の真上に付与された波形記号をその直前に表記するものとし、例えば、確率行列を「～ρ」と表記するものとする。また、確率行列～ρの（ｉ，ｊ）成分を～ρｉｊ又は～ρ（ｘｉ，ｘｊ）と表記する。
　線形加法マルコフ過程は、時刻ｔにおける状態ｘｔ∈Ｘが以下の式（１）に示す確率に従う確率過程｛Ｘｔ；ｔ＝０，１，２，・・・｝として定義される。
Figure JPOXMLDOC01-appb-M000003
 　この式（１）により、ＬＡＭＰにおける次の時刻の状態は、確率ベクトルｗによって過去の状態を忘却しながら、現在もしくは過去の状態に基づいて次の時刻の状態が決まることがわかる。また、上記の式（１）においてｗ１＝１．０，ｗｋ＝０．０（ただし、∀ｋ＞１）とした場合、これは遷移確率～ρの１次のマルコフ過程の式と等しくなることから、ＬＡＭＰは１次のマルコフ過程を特殊ケースとして含む上位のクラスであることがわかる。
　ＬＡＭＰは次の２つの重要な性質（ａ）及び（ｂ）を持つ。（ａ）パラメタ数の指数的な増大を抑えながら、長期的な依存関係（long time dependency）を表現できる。すなわち、次数ｋのマルコフ過程における遷移確率を考えるとそのパラメタ数（状態遷移確率のサイズ）はＩｋ×Ｉｋであり、次数ｋに関して指数的に増大してしまうが、次数ｋのＬＡＭＰにおいてはパラメタ数が（Ｉ×Ｉ）＋ｋで抑えられている。このため、ＬＡＭＰはパラメタの解釈性を保つことを可能にしている。（ｂ）遷移確率が過去履歴に依存するにも関わらず、ゆるい条件の下でＬＡＭＰは定常分布を持ち、かつ、それが遷移確率～ρの１次のマルコフ過程の定常分布と等しい。よって、通常のマルコフ連鎖と同様の方法（例えば、power iteration等）で極限の挙動（定常状態）を容易に把握することができる。
　　≪指数型分布族≫
　ＭｏＬＡＭＰの構築では確率ベクトルｗの値ｗｋを指数型分布族に属する任意の分布の確率分布を用いて表現することを行うため、指数型分布族について説明する。指数型分布族の密度関数ｆは以下の式（２）で与えられる。
Figure JPOXMLDOC01-appb-M000004
 　ただし、ηは自然パラメタ、Ｔ（ｋ）は十分統計量、Ａ（η）は対数正規化項、ｈ（ｋ）は既知の関数（Base measure）である。指数型分布族に属する分布としては、以下のカテゴリカル分布（Cat）、幾何分布（Geo）、ポアソン分布（Poi）等が挙げられる。
Figure JPOXMLDOC01-appb-M000005
 　なお、λはパラメタである。
　これらのカテゴリカル分布、幾何分布及びポアソン分布はいずれも上記の式（２）の形式で表現することができる。
　また、平均値パラメタと呼ばれる以下のパラメタ表現μの後ほど利用する。
Figure JPOXMLDOC01-appb-M000006
 　自然パラメタηと平均値パラメタμは１対１で対応すること知られている。このことについては、例えば、参考文献「Shun-ichi Amari and Hiroshi Nagaoka. Methods of information geometry, Vol. 191. American Mathematical Soc., 2007.」等を参照されたい。
　＜ＭｏＬＡＭＰ＞
　次に、本実施形態で提案する混合線形加法マルコフ過程（ＭｏＬＡＭＰ）について説明する。本実施形態では、系列データとして移動系列データを想定し、移動系列データから元のマルコフ連鎖のパラメタを推定装置１０によって推定することを考える。移動系列データとしては
Figure JPOXMLDOC01-appb-M000007
 が推定装置１０に与えられるものとする。ただし、
Figure JPOXMLDOC01-appb-M000008
 であり、ｄはユーザやその系列が収集された時間帯等を表す添え字、Ｔｄはその系列の長さである。
　　≪データの生成過程と目的関数≫
　ＭｏＬＡＭＰはパラメタ
Figure JPOXMLDOC01-appb-M000009
 を持つモデルであり、このθが推定対象のモデルパラメタである。Ｍは混合数、πｍ、ηｍ、ρｍはそれぞれｍ番目のコンポーネントの混合比、ＬＡＭＰの確率ベクトルの値を表す指数型分布族のパラメタ、ＬＡＭＰの確率行列パラメタを表す。なお、１つのコンポーネントは１つのモデルを表し、同一のコンポーネントに属する系列は同様の性質の遷移確率で遷移する。例えば、或るユーザのウェブページの閲覧系列と別のユーザの閲覧系列とが同一のコンポーネントに属する場合、これらの系列の遷移確率は同様の性質を有し、したがって、これらのユーザは同様の趣向等を有することを意味する。同様に、都市における或る時間帯の人々の移動系列と別の時間帯の人々の移動系列とが同一のコンポーネントに属する場合、これらの時間帯では同様の移動傾向があることを意味する。
　以降、上記のパラメタの事前分布はＰ（θ）＝Ｐ（π）Ｐ（η）Ｐ（ρ）と表現され、以下のようにＰ（π）とＰ（ρ）はディリクレ分布、Ｐ（η）は指数型分布族の共役事前分布であるものとする。
Figure JPOXMLDOC01-appb-M000010
 　ただし、ξ０、μ０、α０、β０はハイパーパラメタ、Ｚ（ξ０，μ０）は正規化項である。これは、後述する最適化アルゴリズム構築のためのものであり、他の事前分布を用いてモデル化することも可能である。
　ＭｏＬＡＭＰでは、ｄ番目の系列｛Ｘｄｔ；ｔ＝０，１，２，・・・｝が次のように生成されたとしてモデル化を行う。
　Ｓｔｅｐ１：まず、はじめに系列がｍ＝１，・・・，Ｍのどのコンポーネントに属するかを表す潜在変数ｚｄ＝｛ｚｄ１，・・・，ｚｄＭ｝がカテゴリカル分布により生成される。潜在変数ｚｄは、ｍ番目のコンポーネントに属するときｚｄｍ＝１、ｚｄｍ'＝０（ただし、１≦ｍ'≦Ｍかつｍ'≠ｍ）となる。
　すなわち、以下の式（３）によりｄ番目の系列｛Ｘｄｔ；ｔ＝０，１，２，・・・｝がどのコンポーネントに属するかを表す潜在変数ｚｄを生成する。
Figure JPOXMLDOC01-appb-M000011
 　これにより、ｄ番目の系列｛Ｘｄｔ；ｔ＝０，１，２，・・・｝がどのコンポーネントに所属するかを表す潜在変数ｚｄが得られる。
　また、初期状態Ｘｄ０が初期状態確率によって決定する。
　Ｓｔｅｐ２：次に、次の時刻の状態Ｘｄｔが所属コンポーネントのパラメタηｍ、ρｍを利用したＬＡＭＰ（ただし、確率ベクトルｗの値ｗｋはｆ（ｋ｜ηｍ）、確率行列はρｍとする。）に従い決定する。すなわち、以下の式（４）により次の時刻の状態Ｘｄｔが決定する。
Figure JPOXMLDOC01-appb-M000012
 　なお、ρｍ（ｘｉ，ｘｊ）はρｍの（ｉ，ｊ）成分を表す。
　上記のＳｔｅｐ２を時刻Ｔｄまで繰り返すことでデータｚｄ及びｘｄの生成がモデル化できる。
　ここで、上記の式（３）及び（４）により同時分布は以下の式（５）で与えられる。
Figure JPOXMLDOC01-appb-M000013
 　上記の式（５）をＺｄに関して積分消去すれば以下の式（６）が得られる。
Figure JPOXMLDOC01-appb-M000014
 　なお、Ｍ＝１、かつ、指数型分布族の密度関数ｆにカテゴリカル分布を用いた場合にはＭｏＬＡＭＰはＬＡＭＰと等しくなる。
　上記の式（６）よりデータ
Figure JPOXMLDOC01-appb-M000015
 の生成確率の対数は、
Figure JPOXMLDOC01-appb-M000016
 となる。よって、モデルパラメタθとデータＤの同時確率の対数は、
Figure JPOXMLDOC01-appb-M000017
 となる。したがって、以下の式（７）により最適モデルパラメタ＾θ（正確には、ハット「＾」はθの真上に表記されるが、明細書のテキスト中では「＾θ」と表記する。）が推定される。
Figure JPOXMLDOC01-appb-M000018
 　なお、Ｌ（θ）が目的関数である。
　　≪最適化方法≫
　上記の目的関数Ｌ（θ）の最適化（最小化）には勾配法やニュートン法等の任意の最適化方法が適用可能であるが、一例として、ＭＭ（Majorization Minimization）により最適化を行う場合について説明する。ＭＭでは、目的関数の上界を作り、それを利用して最適化アルゴリズムを構築する。潜在変数Ｚと、更に補助変数
Figure JPOXMLDOC01-appb-M000019
 とを導入して、Jensenの不等式を使えば、
Figure JPOXMLDOC01-appb-M000020
 と目的関数Ｌ（θ）上界Ｇ（θ，Ｚ，Ｖ）が得られる。なお、最初の不等号の成立条件は以下の式（８）で与えられる。
Figure JPOXMLDOC01-appb-M000021
 　また、２つ目の不等号の成立条件は以下の式（９）で与えられる。
Figure JPOXMLDOC01-appb-M000022
 　ＭＭでは、以下の２ステップの手続きを所定の条件を満たすまで繰り返し、上界Ｇを最小化することで目的関数Ｌを最小化する。なお、所定の条件としては、例えば、繰り返し回数が最大繰り返し回数に達したこと等が挙げられる。
　手続き１：θに関してＧを最小化する
　手続き２：Ｚ，Ｖに関してＧを最小化する
　上記の手続き１でθに関してＧを最小化する際に、π、η及びρはそれぞれ以下により最適化する。
　πの最適化：和が１になる制約より、ラグランジュ未定乗数法により更新式を導出する。ラグランジュ乗数Λを用いた下記のラグランジュ関数を定義する。
Figure JPOXMLDOC01-appb-M000023
 　これを解けば、以下の式（１０）に示すπの更新式が得られる。
Figure JPOXMLDOC01-appb-M000024
 　ηの最適化：上界Ｇのηｍに関する偏微分をゼロとおけば、
Figure JPOXMLDOC01-appb-M000025
 である。上述したように、平均値パラメタと自然パラメタには１対１の対応があるため、μｍをηｍに変換できる。よって、上記の式（１１）によりηｍの更新式が得られる。
　ρの最適化：行毎に和が１となる制約があるため、ラグランジュ未定乗数法により更新式を導出する。ラグランジュ乗数Λｍｉを用いた下記のラグランジュ関数を定義する。
Figure JPOXMLDOC01-appb-M000026
 　これを解けば、以下の式（１２）に示すρｍの更新式が得られる。
Figure JPOXMLDOC01-appb-M000027
 　なお、ρｍｉｊはρｍの（ｉ，ｊ）成分である。
　以上により、式（１０）、式（１１）及び式（１２）によるパラメタの更新と式（８）及び式（９）による潜在変数及び補助変数の更新とを繰り返すことで、上界Ｇが最小化され（したがって、目的関数Ｌが最小化され）、最適モデルパラメタ＾θの推定値が得られる。
　＜推定装置１０の機能構成＞
　次に、本実施形態に係る推定装置１０の機能構成について、図１を参照しながら説明する。図１は、本実施形態に係る推定装置１０の機能構成の一例を示す図である。
　図１に示すように、本実施形態に係る推定装置１０は、入力データ格納部１０１と、設定パラメタ格納部１０２と、モデルパラメタ推定部１０３と、モデルパラメタ出力部１０４と、入力データ記憶部１０５と、設定パラメタ記憶部１０６と、モデルパラメタ記憶部１０７とを有する。
　入力データ格納部１０１は、与えられた移動系列データＤを入力し、入力データとして入力データ記憶部１０５に格納する。なお、移動系列データＤは、例えば、推定装置１０と通信ネットワークを介して接続されるサーバ装置等から取得することで与えられてもよい。
　設定パラメタ格納部１０２は、与えられた設定パラメタ（例えば、ハイパーパラメタξ０、μ０、α０、β０や、ＭＭにおける最大繰り返し回数等の最適化に関する設定値等）を入力し、設定パラメタ記憶部１０６に格納する。なお、設定パラメタは、例えば、ユーザ等によって指定されることで与えられてもよい。
　モデルパラメタ推定部１０３は、入力データ記憶部１０５に格納された入力データＤと、設定パラメタ記憶部１０６に格納された設定パラメタとを用いて、ＭｏＬＡＭＰの最適モデルパラメタ＾θを推定する。そして、モデルパラメタ推定部１０３は、推定した最適モデルパラメタ＾θをモデルパラメタ記憶部１０７に格納する。
　モデルパラメタ出力部１０４は、モデルパラメタ記憶部１０７に格納された最適モデルパラメタ＾θを出力する。なお、モデルパラメタ出力部１０４の出力先は任意の出力先（例えば、ディスプレイ、記憶装置、他の装置又は端末等）としてよい。
　＜推定処理＞
　次に、本実施形態係る推定装置１０で最適モデルパラメタ＾θを推定する処理について、図２を参照しながら説明する。図２は、本実施形態に係る推定処理の一例を示すフローチャートである。
　まず、入力データ格納部１０１は、与えられた移動系列データＤを入力し、入力データとして入力データ記憶部１０５に格納する（ステップＳ１０１）。
　次に、設定パラメタ格納部１０２は、与えられた設定パラメタを入力し、設定パラメタ記憶部１０６に格納する（ステップＳ１０２）。
　続いて、モデルパラメタ推定部１０３は、上記のステップＳ１０１で入力データ記憶部１０５に格納された入力データＤと、上記のステップＳ１０２で設定パラメタ記憶部１０６に格納された設定パラメタとを用いて、ＭｏＬＡＭＰの最適モデルパラメタ＾θを推定し、最適モデルパラメタ＾θをモデルパラメタ記憶部１０７に格納する（ステップＳ１０３）。すなわち、モデルパラメタ推定部１０３は、上記の式（７）に示す目的関数Ｌ（θ）をＭＭにより最小化することで最適モデルパラメタ＾θを推定し、モデルパラメタ記憶部１０７に格納する。ただし、目的関数Ｌ（θ）の最小化にＭＭを用いるのは一例であって、例えば、勾配法やニュートン法等により目的関数Ｌ（θ）が最小化されてもよい。
　そして、モデルパラメタ出力部１０４は、上記のステップＳ１０３でモデルパラメタ記憶部１０７に格納された最適モデルパラメタ＾θを出力する（ステップＳ１０４）。
　以上のように、本実施形態に係る推定装置１０は、混合モデルのアプローチを利用してＬＡＭＰを拡張したモデルであるＭｏＬＡＭＰのモデルパラメタを推定することができる。このＭｏＬＡＭＰは混合モデルとＬＡＭＰの両方の利点を同時に活かすことが可能なモデルであり、推定後の最適モデルパラメタ＾θを設定したＭｏＬＡＭＰを用いることで、遷移確率の性質（例えば、個人の趣向の違いや時間帯毎の群衆の移動傾向の違い等）と過去の系列への長期的な依存関係とを考慮した遷移傾向の把握及び系列予測を行うことが可能となる。
　このため、過去の系列への長期的な依存関係を表現できないマルコフ過程や、個人の趣向の違いや時間帯毎の群衆の移動傾向の違いを考慮できない線形加法マルコフ過程（ＬＡＭＰ）よりも高い精度で人々の都市における移動系列やウェブページの閲覧系列の予測を行うことが可能となる。更に、本実施形態に係る推定装置１０によって推定されたモデルパラメタθ＝＾θは高い解釈性を持つため、このモデルパラメタθを用いることで定常分布をマルコフ連鎖と同様の方法で把握することも可能となる。
　＜推定装置１０のハードウェア構成＞
　最後に、本実施形態に係る推定装置１０のハードウェア構成について、図３を参照しながら説明する。図３は、本実施形態に係る推定装置１０のハードウェア構成の一例を示す図である。
　図３に示すように、本実施形態に係る推定装置１０は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、通信Ｉ／Ｆ２０４と、プロセッサ２０５と、メモリ装置２０６とを有する。これら各ハードウェアは、それぞれがバス２０７を介して通信可能に接続されている。
　入力装置２０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置２０２は、例えば、ディスプレイ等である。なお、推定装置１０は、入力装置２０１及び表示装置２０２のうちの少なくとも一方を有していなくてもよい。
　外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａ等がある。推定装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、例えば、推定装置１０が有する各機能部（入力データ格納部１０１、設定パラメタ格納部１０２、モデルパラメタ推定部１０３及びモデルパラメタ出力部１０４）を実現する１以上のプログラムが格納されていてもよい。
　なお、記録媒体２０３ａには、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
　通信Ｉ／Ｆ２０４は、推定装置１０を通信ネットワークに接続するためのインタフェースである。なお、推定装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０４を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。
　プロセッサ２０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。推定装置１０が有する各機能部は、例えば、メモリ装置２０６に格納されている１以上のプログラムがプロセッサ２０５に実行させる処理により実現される。
　メモリ装置２０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。推定装置１０が有する各記憶部（入力データ記憶部１０５、設定パラメタ記憶部１０６及びモデルパラメタ記憶部１０７）は、メモリ装置２０６を用いて実現可能である。ただし、推定装置１０が有する各記憶部のうちの少なくとも１つの記憶部が、推定装置１０と通信ネットワークを介して接続される記憶装置（例えば、データベースサーバ等）により実現されていてもよい。
　本実施形態に係る推定装置１０は、図３に示すハードウェア構成を有することにより、上述した推定処理を実現することができる。なお、図３に示すハードウェア構成は一例であって、推定装置１０は、他のハードウェア構成を有していてもよい。例えば、推定装置１０は、複数のプロセッサ２０５を有していてもよいし、複数のメモリ装置２０６を有していてもよい。
　本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
　１０　　　　推定装置
　１０１　　　入力データ格納部
　１０２　　　設定パラメタ格納部
　１０３　　　モデルパラメタ推定部
　１０４　　　モデルパラメタ出力部
　１０５　　　入力データ記憶部
　１０６　　　設定パラメタ記憶部
　１０７　　　モデルパラメタ記憶部
　２０１　　　入力装置
　２０２　　　表示装置
　２０３　　　外部Ｉ／Ｆ
　２０３ａ　　記録媒体
　２０４　　　通信Ｉ／Ｆ
　２０５　　　プロセッサ
　２０６　　　メモリ装置
　２０７　　　バス

Claims (7)

  1. 　状態の遷移系列を表す複数の系列データを入力する入力手順と、
    　前記入力手順で入力した複数の系列データを用いて、混合モデルにより線形加法マルコフ過程を拡張したモデルのモデルパラメタを推定する推定手順と、
    　前記推定手順で推定したモデルパラメタを出力する出力手順と、
    　をコンピュータが実行することを特徴とする推定方法。
  2. 　前記推定手順は、
    　前記混合モデルのコンポーネントのうち前記系列データがいずれのコンポーネントに属するかを表す潜在変数の生成確率と、前記系列データが属するコンポーネントにおける前記線形加法マルコフ過程の次の時刻の状態への遷移確率との同時分布に基づいて、前記モデルパラメタを推定する、ことを特徴とする請求項１に記載の推定方法。
  3. 　前記推定手順は、
    　前記線形加法マルコフ過程の確率ベクトルの各値が、指数型分布族に属する所定の確率分布の密度関数で表されているものとして、前記次の時刻の状態の遷移確率を決定する、ことを特徴とする請求項２に記載の推定方法。
  4. 　前記推定手順は、
    　前記同時分布に基づいて、前記モデルパラメタと前記複数の系列データとの同時確率を定義し、前記同時確率の負の対数を目的関数として、前記目的関数を最小化することで前記モデルパラメタを推定する、ことを特徴とする請求項２又は３に記載の推定方法。
  5. 　前記推定手順は、
    　Majorization Minimization、勾配法又はニュートン法のいずれかにより前記目的関数を最小化する、ことを特徴とする請求項４に記載の推定方法。
  6. 　状態の遷移系列を表す複数の系列データを入力する入力部と、
    　前記入力部で入力した複数の系列データを用いて、混合モデルにより線形加法マルコフ過程を拡張したモデルのモデルパラメタを推定する推定部と、
    　前記推定部で推定したモデルパラメタを出力する出力部と、
    　を有することを特徴とする推定装置。
  7. 　コンピュータに、請求項１乃至５の何れか一項に記載の推定方法を実行させるプログラム。
PCT/JP2020/031509 2020-08-20 2020-08-20 推定方法、推定装置及びプログラム Ceased WO2022038752A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/031509 WO2022038752A1 (ja) 2020-08-20 2020-08-20 推定方法、推定装置及びプログラム
JP2022543228A JP7396501B2 (ja) 2020-08-20 2020-08-20 推定方法、推定装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/031509 WO2022038752A1 (ja) 2020-08-20 2020-08-20 推定方法、推定装置及びプログラム

Publications (1)

Publication Number Publication Date
WO2022038752A1 true WO2022038752A1 (ja) 2022-02-24

Family

ID=80322762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/031509 Ceased WO2022038752A1 (ja) 2020-08-20 2020-08-20 推定方法、推定装置及びプログラム

Country Status (2)

Country Link
JP (1) JP7396501B2 (ja)
WO (1) WO2022038752A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110341A (ja) * 2007-10-31 2009-05-21 Nippon Telegr & Teleph Corp <Ntt> 時間情報を用いた予測装置、予測方法、予測プログラムおよびそのプログラムを記録した記録媒体
JP2018055294A (ja) * 2016-09-27 2018-04-05 Kddi株式会社 時系列のイベント群から異常状態を検知するプログラム、装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110341A (ja) * 2007-10-31 2009-05-21 Nippon Telegr & Teleph Corp <Ntt> 時間情報を用いた予測装置、予測方法、予測プログラムおよびそのプログラムを記録した記録媒体
JP2018055294A (ja) * 2016-09-27 2018-04-05 Kddi株式会社 時系列のイベント群から異常状態を検知するプログラム、装置及び方法

Also Published As

Publication number Publication date
JPWO2022038752A1 (ja) 2022-02-24
JP7396501B2 (ja) 2023-12-12

Similar Documents

Publication Publication Date Title
Yuan et al. Spatio-temporal diffusion point processes
US11636341B2 (en) Processing sequential interaction data
Kashima et al. A parameterized probabilistic model of network evolution for supervised link prediction
Luis et al. Inductive transfer for learning Bayesian networks
CN108062448A (zh) 预测边坡稳定性的建模及分析方法、设备和存储介质
US20220070266A1 (en) Systems and methods for estimating typed graphlets in large data
CN114897173A (zh) 基于变分量子线路确定PageRank的方法及装置
Wang et al. Gaussian process-based random search for continuous optimization via simulation
Bezáková et al. Graph model selection using maximum likelihood
CN109359180B (zh) 用户画像生成方法、装置、电子设备及计算机可读介质
CN113850314A (zh) 客户价值等级预测模型建立方法、装置、介质及设备
Ling et al. An intelligent sampling framework for multi-objective optimization in high dimensional design space
Ferrazzi et al. Bayesian approaches to reverse engineer cellular systems: a simulation study on nonlinear Gaussian networks
WO2020218246A1 (ja) 最適化装置、最適化方法、及びプログラム
JP7396501B2 (ja) 推定方法、推定装置及びプログラム
Sahoo Study of parametric performance evaluation of machine learning and statistical classifiers
CN118607373B (zh) 退役机电产品拆解工序的失效风险评估方法、装置及设备
Cabuz et al. Causal inference for multivariate stochastic process prediction
KR102076763B1 (ko) 기댓값 최대화 기반 네트워크 임베딩을 활용한 링크 예측 장치 및 방법
Park et al. Robust Kriging models in computer experiments
WO2020261449A1 (ja) 学習装置、予測装置、学習方法、予測方法、学習プログラム、及び予測プログラム
Konstantinovsky et al. A novel approach to T-cell receptor beta chain (TCRB) repertoire encoding using lossless string compression
Yang et al. Non-matching meshes data transfer using Kriging model and greedy algorithm
KR20250165375A (ko) 분자 시스템에 대한 평형 분포 예측
Abozeid et al. Reliability analysis and parameter estimation for censored data in extended Gompertz distribution

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20950317

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022543228

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20950317

Country of ref document: EP

Kind code of ref document: A1