JP6099099B2 - 収束判定装置、方法、及びプログラム - Google Patents
収束判定装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6099099B2 JP6099099B2 JP2014039036A JP2014039036A JP6099099B2 JP 6099099 B2 JP6099099 B2 JP 6099099B2 JP 2014039036 A JP2014039036 A JP 2014039036A JP 2014039036 A JP2014039036 A JP 2014039036A JP 6099099 B2 JP6099099 B2 JP 6099099B2
- Authority
- JP
- Japan
- Prior art keywords
- posterior distribution
- variational
- acvb
- cvb
- convergence determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 80
- 238000009826 distribution Methods 0.000 claims description 207
- 238000004364 calculation method Methods 0.000 claims description 77
- 238000013398 bayesian method Methods 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000002948 stochastic simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Complex Calculations (AREA)
Description
本発明の実施の形態は、CVB法を利用した推論器の欠点の一つである、収束保証の問題を解決する。一般のCVB法を利用する推論器に、本発明の実施の形態を追加的に適用することで、推論の収束を保証して自動的な収束判定を可能にする。理論的には、本発明の実施の形態の保証する収束解は、「もしCVBが収束するのであれば」達成される解に一致する。
(2)推論の収束が理論的に保証されていない周辺化変分ベイズ法による推論に補助的に適用することで推論収束の保証を与える点。
(3)最小の構成では、一つの単純な閾値パラメータだけを与えれば良い点。
図1は、本発明の実施の形態に係る収束判定装置100を示すブロック図の一例である。収束判定装置100は、CPUと、RAMと、後述する収束判定処理ルーチンを実行するためのプログラムを記憶したROMとを備えたコンピュータで構成され、機能的には、収束判定装置100は、入力部10と、ACVB計算部20と、出力部30と、を備えている。
次に、CVB学習装置200による学習、ACVB事後分布計算部22による計算の説明と共に、上記で説明した各部がどのように処理を行うか、及び具体的な計算式を説明する。なお、以下の説明では、ACVB繰り返し回数sを単にsと称し、CVB繰り返し回数tを単にtと称する。
この時、ACVB事後分布計算部22は、上記式(2)でs回目のACVB事後分布の再計算結果r(Z;s)を決定する。
次に、本発明の実施の形態に係る収束判定装置100の作用について説明する。まず、CVB学習装置200が、学習データに基づいて、CVB法に従って、変分事後分布q(Z;t)を繰り返し更新し、更新する毎に、変分事後分布q(Z;t)を収束判定装置100へ出力する。CVB学習装置200から、変分事後分布q(Z;t)とCVB繰り返し回数tとの入力を受け付けると、収束判定装置100において、図2に示す収束判定処理ルーチンが実行される。
本発明の実施の形態のより具体的な適用例を示すために、データ解析を行うモデルをLatent Dirichlet Allocation (LDA、上記参考文献)と想定して、その場合の本実施の形態に係る収束判定装置の挙動を具体的に説明する。
20 ACVB計算部
22 ACVB事後分布計算部
24 ACVB記憶部
26 定数記憶部
28 収束判定部
30 出力部
100 収束判定装置
200 CVB学習装置
Claims (6)
- パラメータの周辺化により前記パラメータを推論の計算対象から除外する変分ベイズ法である周辺化変分ベイズ法に従って、学習データについての周辺化不可であるパラメータに関する事後分布を表す変分事後分布を推論する学習装置であって、前記学習データに基づいて、前記変分事後分布を繰り返し更新することにより前記変分事後分布を推論する学習装置から、前記変分事後分布の更新を繰り返す毎に、前記更新された変分事後分布の入力を受け付ける入力部と、
前記入力部によって前記変分事後分布を受け付ける毎に、前記変分事後分布に基づいて、前記変分事後分布の平均を表す平均化CVB事後分布を繰り返し計算するACVB事後分布計算部と、
前記ACVB事後分布計算部によって計算された前記平均化CVB事後分布の変化量と、予め定められた閾値とに基づいて、前記学習装置による前記変分事後分布の推論が収束したか否かを判定する収束判定部と、
を含む収束判定装置。 - 前記ACVB事後分布計算部は、前記入力部によって前記変分事後分布を受け付ける毎に、前記受け付けた前記変分事後分布と、前記計算された前記平均化CVB事後分布との重み付き平均を計算することにより、前記平均化CVB事後分布を繰り返し計算する請求項1記載の収束判定装置。
- 前記ACVB事後分布計算部は、前記ACVB事後分布計算部による計算の繰り返し回数が多いほど、前記変分事後分布に対する重みを小さくし、前記平均化CVB事後分布に対する重みを大きくして、前記重み付き平均を計算することにより、前記平均化CVB事後分布を計算する請求項1又は請求項2に記載の収束判定装置。
- 前記ACVB事後分布計算部は、前記学習装置による前記変分事後分布の更新の繰り返し回数が予め定められた値よりも大きい場合に、前記入力部によって前記変分事後分布を受け付ける毎に、前記変分事後分布に基づいて、前記平均化CVB事後分布を繰り返し計算する請求項1〜請求項3の何れか1項に記載の収束判定装置。
- 入力部、ACVB事後分布計算部、及び収束判定部を含む収束判定装置における収束判定方法であって、
前記入力部が、パラメータの周辺化により前記パラメータを推論の計算対象から除外する変分ベイズ法である周辺化変分ベイズ法に従って、学習データについての周辺化不可であるパラメータに関する事後分布を表す変分事後分布を推論する学習装置であって、前記学習データに基づいて、前記変分事後分布を繰り返し更新することにより前記変分事後分布を推論する学習装置から、前記変分事後分布の更新を繰り返す毎に、前記更新された変分事後分布の入力を受け付けるステップと、
前記ACVB事後分布計算部が、前記入力部によって前記変分事後分布を受け付ける毎に、前記変分事後分布に基づいて、前記変分事後分布の平均を表す平均化CVB事後分布を繰り返し計算するステップと、
前記収束判定部が、前記ACVB事後分布計算部によって計算された前記平均化CVB事後分布の変化量と、予め定められた閾値とに基づいて、前記学習装置による前記変分事後分布の推論が収束したか否かを判定するステップと、
を含む収束判定方法。 - コンピュータを、請求項1〜請求項4の何れか1項記載の収束判定装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014039036A JP6099099B2 (ja) | 2014-02-28 | 2014-02-28 | 収束判定装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014039036A JP6099099B2 (ja) | 2014-02-28 | 2014-02-28 | 収束判定装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015162233A JP2015162233A (ja) | 2015-09-07 |
JP6099099B2 true JP6099099B2 (ja) | 2017-03-22 |
Family
ID=54185245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014039036A Active JP6099099B2 (ja) | 2014-02-28 | 2014-02-28 | 収束判定装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6099099B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11620555B2 (en) * | 2018-10-26 | 2023-04-04 | Samsung Electronics Co., Ltd | Method and apparatus for stochastic inference between multiple random variables via common representation |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6740193B2 (ja) * | 2017-09-12 | 2020-08-12 | 日本電信電話株式会社 | パラメータ推定装置、パラメータ推定方法及びパラメータ推定プログラム |
US11140450B2 (en) * | 2017-11-28 | 2021-10-05 | Rovi Guides, Inc. | Methods and systems for recommending content in context of a conversation |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4478769B2 (ja) * | 2004-02-23 | 2010-06-09 | 独立行政法人産業技術総合研究所 | 情報処理装置、情報処理方法 |
JP2012058972A (ja) * | 2010-09-08 | 2012-03-22 | Sony Corp | 評価予測装置、評価予測方法、及びプログラム |
JP5684084B2 (ja) * | 2011-10-04 | 2015-03-11 | 日本電信電話株式会社 | 誤分類検出装置、方法、及びプログラム |
-
2014
- 2014-02-28 JP JP2014039036A patent/JP6099099B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11620555B2 (en) * | 2018-10-26 | 2023-04-04 | Samsung Electronics Co., Ltd | Method and apparatus for stochastic inference between multiple random variables via common representation |
Also Published As
Publication number | Publication date |
---|---|
JP2015162233A (ja) | 2015-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110582784B (zh) | 使用先行搜索来训练动作选择神经网络 | |
JP6824382B2 (ja) | 複数の機械学習タスクに関する機械学習モデルのトレーニング | |
JP6483667B2 (ja) | ベイズの最適化を実施するためのシステムおよび方法 | |
US20170213150A1 (en) | Reinforcement learning using a partitioned input state space | |
Semenkin et al. | Fuzzy rule bases automated design with self-configuring evolutionary algorithm | |
CN113326852A (zh) | 模型训练方法、装置、设备、存储介质及程序产品 | |
Sandhu et al. | Bayesian model selection using automatic relevance determination for nonlinear dynamical systems | |
JP6172317B2 (ja) | 混合モデル選択の方法及び装置 | |
JP6099099B2 (ja) | 収束判定装置、方法、及びプログラム | |
Dass et al. | Laplace based approximate posterior inference for differential equation models | |
JP6468364B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
Petelin et al. | Evolving Gaussian process models for predicting chaotic time-series | |
CN108921207B (zh) | 一种超参数确定方法、装置及设备 | |
JP6190771B2 (ja) | パラメータ推定方法、装置、及びプログラム | |
Mongwe et al. | Utilising partial momentum refreshment in separable shadow Hamiltonian hybrid Monte Carlo | |
Paassen et al. | Gaussian process prediction for time series of structured data. | |
Harde et al. | Design and implementation of ACO feature selection algorithm for data stream mining | |
CN115345303A (zh) | 卷积神经网络权重调优方法、装置、存储介质和电子设备 | |
Abdallah et al. | Fatigue assessment of a wind turbine blade when output from multiple aero-elastic simulators are available | |
de Angelis et al. | Line sampling for assessing structural reliability with imprecise failure probabilities | |
Wang et al. | Altering Gaussian process to Student-t process for maximum distribution construction | |
Asaad et al. | Stochastic Gradient Hamiltonian Monte Carlo on Bayesian Time Series Modeling | |
JP6558860B2 (ja) | 推定装置、予測装置、方法、及びプログラム | |
Nikolaev et al. | Nonlinear filtering of asymmetric stochastic volatility models and value-at-risk estimation | |
Bauwens et al. | Bayesian methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6099099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |