JP6603610B2 - 情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6603610B2 JP6603610B2 JP2016084325A JP2016084325A JP6603610B2 JP 6603610 B2 JP6603610 B2 JP 6603610B2 JP 2016084325 A JP2016084325 A JP 2016084325A JP 2016084325 A JP2016084325 A JP 2016084325A JP 6603610 B2 JP6603610 B2 JP 6603610B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- probability
- state sequence
- order
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Machine Translation (AREA)
Description
本発明の実施形態(以下、本実施形態という)では、第1に、iHMMの状態依存の次数nを確率変数として扱い、次数nそのものもデータから決定する。さらに出力変数(Emission)にも確率変数として次数nを与え、出力変数(Emission)の次数nもデータから推定する。これにより、必要なところは高次まで参照し、必要ないところは低次までしか参照しないので、探索範囲が減り、計算量を抑えることができる。
まず、ベースとなるビームサンプリング(Beam Sampling)について説明する。
ビームサンプリングは,infinite HMM(iHMM)の状態列のサンプリングに動的計画法を用いて効率よく計算を行う手法である。従来のinfinite HMMでは、状態数無限を扱うために、ラティスを構築して動的計画法で計算することが難しく、そのため系列(状態列)の各位置tにおける状態の確率はそれぞれ独立と仮定し、各位置tの状態のみを逐次的に更新してパラメータを更新するギブスサンプリング(Gibbs Sampling)を用いていた。
続いて、本実施形態で提案するVariable order infinite hidden Markov model (vHMM)について説明する前に、その比較としてiHMMについて説明する。iHMMの生成モデルを次の式で表される。
系列(状態列)の各位置tにおける状態と観測値の同時確率(前向き確率)の式を以下に示す。
続いて、本実施形態において提案するvHMMについて説明する。図1は、本実施形態に係るvHMMの生成モデルである。図1に示すように、状態列s=[s0, s1, s2, …, sT]の各位置において過去何個前までの状態まで参照するかを示す次数が可変である。また、観測系列y=[y0, y1, y2, …, yT]の各位置において過去何個前までの出力を参照するかを示す次数が可変である。状態列sの次数と、観測系列yの次数は独立である。
すなわち、予測確率は、次のステップにより計算される。
1.文脈uと単語wを受け取る。
2.次数(オーダー)nの積分消去を実行する。
その際に、(1)次数(オーダー)nについて、n次で停止する確率P(n|context)を計算する。(2)次数(オーダー)をnとした時の、n次の文脈|u|=nで単語wが生成する確率であるngram確率P(w|context,n)を計算する。確率P(n|context)と、ngram確率P(w|context,n)を掛け合わせた物を全てのnについて足し合わせることにより、予測確率が算出される。ここで、確率P(n|context)と、ngram確率P(w|context,n)はそれぞれ次の式で表される。
n-gram確率のcは文脈に対応するレストランにおける単語wの観測頻度,tは文脈に対応するレストランにおける単語wについて,チャイニーズレストランプロセスで推定されたテーブル数を表し,単語wが低次の文脈から生成されたと推定された回数を意味する。d,θはPitman-Yor 言語モデルのハイパーパラメータであり,dは深さnにおける頻度に対するディスカウントを,θは低次のn-gram確率を用いたスムージングの強さをコントロールする。π(context)は親の文脈を表し,文脈を1つ落とし低次のn-gramを見ることを意味する。
vHMMの前向き確率を次の式で表される。
式(5)により,vHMMが高次の場合でもビームサンプリング(Beam Sampling)が適用できる。また、状態列の持つ隠れ変数をChinese Restaurant Franchise (CRF)の代理客の配置から推定しサンプルすることで、データから次数自体も得ることができる。状態遷移確率は事前分布として一例として階層Pitman-Yor過程を用いており、学習時のラティスに新規の状態K+1を各位置で持たせることで,iHMM同様に状態数自体もデータから推定することができる。
本実施形態のiHMMを用いることで,既存のHMMを用いた手法では扱えなかった、高次の状態依存を効率良く扱うことが可能となる。また、データが持つ本来の次数も学習を行うことで、データの持つ複雑さを事前に仮定することなしに得ることができる。
従来、高次HMMの学習は状態遷移の組合せが爆発するため、使用可能な学習データでは十分学習が行えず、精度を出すことができなかった。しかし。提案手法では階層Pitman-Yor過程を事前分布に置くことによって適切なスムージングを行い、入手可能なサイズのデータからでも精度を落とすことなく高次HMMの学習が行える。また,階層Pitman-Yor過程を事前分布として置くことにより,高次の状態遷移確率は、より急峻な分布を持つ。そのため、ビームサンプリング(Beam Sampling)では殆どの状態遷移が足切りされ、高次でも効率良く前向き確率の計算が可能となる。
続いて、本発明の一つの実施例について説明する。図4は、本実施例に係る情報処理システム10の概略ブロック図である。図4に示すように、CPU(Central Processing Unit)1、入力部2、RAM(Random Access Memory)3、記憶部4を備える。入力部2、RAM3及び記憶部4は、CPU1とバスを介して接続されている。
入力部2は、ユーザの入力を受け付け、受け付けた入力を示す情報をCPU1へ出力する。
RAM3には、情報を一時的に保持する。
記憶部4には、CPU1が読み出して実行するプログラムが格納されている。また、記憶部4には、文脈木に関する情報が記憶されている。
ここで、文脈木は、階層ベイスモデルによって推定されたサンプル済の状態列の配置である。本実施形態では一例として、階層ベイスモデルは、階層ピットマンヨー過程である。なお、階層ベイスモデルは、階層ディリクレ過程(HDP)でもよい。
このとき確率決定部13は、前向き確率を計算するときの観測系列yの確率の計算において、これまでの全ての観測系列を使用する。これにより、観測系列について最大の次数まで考慮することができるので、観測系列について全ての問題を考慮することができる。
続いて、本実施例に係る一実験例について説明する。本実験例では、長さ20の系列を100件生成し、語彙数8、状態数4とし、初期状態数10、遷移の最大次数6(7−gram)、出力変数の最大次数4(5−gram)で学習した。
2:入力部
3:RAM
4:記憶部
10:情報処理システム
11:次数決定部
12:閾値決定部
13:確率決定部
14:状態列決定部
15:更新部
16:判定部
Claims (7)
- 過去にサンプルされた状態列の文脈木の配置を用いて、状態列の各位置において過去何個前までの状態まで参照するかを示す次数を決定する次数決定部と、
状態列の対象位置における観測系列と、当該対象位置を基準として前記決定された次数だけ前の位置から当該対象位置までの状態遷移とが同時に起こる確率である前向き確率を前記状態列の各位置において決定する確率決定部と、
前記状態列の各位置において、前記決定された当該位置における前記前向き確率を用いて、状態を確率的にサンプリングして状態列を決定する状態列決定部と、
前記決定された状態列を用いて、前記文脈木を更新する更新部と、
を備え、
更新後の前記文脈木を用いて、前記次数決定部で前記次数が決定され、その後、前記確率決定部、前記状態列決定部、及び前記更新部の処理が繰り返される
情報処理システム。 - 前記文脈木は、階層ベイズモデルによって推定されたサンプル済の状態列の配置である
請求項1に記載の情報処理システム。 - 前記確率決定部は、前記前向き確率を計算するときの前記観測系列の確率の計算において、これまでの全ての観測系列を使用する
請求項1または2に記載の情報処理システム。 - 前記文脈木は前記状態遷移の文脈木と出力変数の文脈木とがあって、
前記出力変数の文脈木は状態の数だけある
請求項1から3のいずれか一項に記載の情報処理システム。 - 前記決定された状態列の各位置における次数を用いて、状態列の各位置における閾値を確率的にサンプリングする閾値決定部を更に備え、
前記確率決定部は、前記状態列の各位置において、前記決定された当該位置における前記閾値未満の遷移確率を無視して、前記決定された当該位置における前記閾値以上の遷移確率を用いて前記前向き確率を計算する
請求項1から4のいずれか一項に記載の情報処理システム。 - 少なくとも一つの情報処理装置を備える情報処理システムが実行する情報処理方法であって、
過去にサンプルされた状態列の文脈木の配置を用いて、状態列の各位置において過去何個前までの状態まで参照するかを示す次数を決定する次数決定手順と、
状態列の対象位置における観測系列と、当該対象位置を基準として前記決定された次数だけ前の位置から当該対象位置までの状態遷移とが同時に起こる確率である前向き確率を前記状態列の各位置において決定する確率決定手順と、
前記状態列の各位置において、前記決定された当該位置における前記前向き確率を用いて、状態を確率的にサンプリングして状態列を決定する状態列決定手順と、
前記決定された状態列を用いて、前記文脈木を更新する更新手順と、
を有し、
更新後の前記文脈木を用いて、前記次数決定手順で前記次数が決定され、その後、前記確率決定手順、前記状態列決定手順、及び前記更新手順の処理が繰り返される
情報処理方法。 - コンピュータを、
過去にサンプルされた状態列の文脈木の配置を用いて、状態列の各位置において過去何個前までの状態まで参照するかを示す次数を決定する次数決定部と、
状態列の対象位置における観測系列と、当該対象位置を基準として前記決定された次数だけ前の位置から当該対象位置までの状態遷移とが同時に起こる確率である前向き確率を前記状態列の各位置において決定する確率決定部と、
前記状態列の各位置において、前記決定された当該位置における前記前向き確率を用いて、状態を確率的にサンプリングして状態列を決定する状態列決定部と、
前記決定された状態列を用いて、前記文脈木を更新する更新部と、
として機能させるためのプログラムであって、
更新後の前記文脈木を用いて、前記次数決定部で前記次数が決定され、その後、前記確率決定部、前記状態列決定部、及び前記更新部の処理が繰り返されるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016084325A JP6603610B2 (ja) | 2016-04-20 | 2016-04-20 | 情報処理システム、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016084325A JP6603610B2 (ja) | 2016-04-20 | 2016-04-20 | 情報処理システム、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017194818A JP2017194818A (ja) | 2017-10-26 |
JP6603610B2 true JP6603610B2 (ja) | 2019-11-06 |
Family
ID=60154810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016084325A Expired - Fee Related JP6603610B2 (ja) | 2016-04-20 | 2016-04-20 | 情報処理システム、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6603610B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109857878A (zh) * | 2018-12-27 | 2019-06-07 | 深兰科技(上海)有限公司 | 物品标注方法及装置、电子设备及存储介质 |
-
2016
- 2016-04-20 JP JP2016084325A patent/JP6603610B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109857878A (zh) * | 2018-12-27 | 2019-06-07 | 深兰科技(上海)有限公司 | 物品标注方法及装置、电子设备及存储介质 |
CN109857878B (zh) * | 2018-12-27 | 2021-08-20 | 深兰科技(上海)有限公司 | 物品标注方法及装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2017194818A (ja) | 2017-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6611053B2 (ja) | 主題推定システム、主題推定方法およびプログラム | |
JP2004086913A (ja) | 2言語コーパスを整列させるための方法および装置 | |
CN110085215B (zh) | 一种基于生成对抗网络的语言模型数据增强方法 | |
JP6517537B2 (ja) | 単語ベクトル学習装置、自然言語処理装置、方法、及びプログラム | |
JP6297144B2 (ja) | 対話マネージャー | |
JP5319141B2 (ja) | 言語モデルの枝刈り方法及び装置 | |
JP3428554B2 (ja) | 意味ネットワーク自動作成装置及びコンピュータ可読記録媒体 | |
JP6603610B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP5740368B2 (ja) | 識別的音声認識精度推定装置、識別的音声認識精度推定方法、プログラム | |
JP5766152B2 (ja) | 言語モデル生成装置、その方法及びプログラム | |
JP5885210B2 (ja) | 基本周波数モデルパラメータ推定装置、方法、及びプログラム | |
JP6772394B1 (ja) | 情報学習装置、情報処理装置、情報学習方法、情報処理方法及びプログラム | |
JP6586026B2 (ja) | 単語ベクトル学習装置、自然言語処理装置、方法、及びプログラム | |
US20020188421A1 (en) | Method and apparatus for maximum entropy modeling, and method and apparatus for natural language processing using the same | |
JP6137477B2 (ja) | 基本周波数モデルパラメータ推定装置、方法、及びプログラム | |
JP6665079B2 (ja) | 基本周波数モデルパラメータ推定装置、方法、及びプログラム | |
JP5344396B2 (ja) | 言語学習装置、言語学習プログラム及び言語学習方法 | |
JP2008064849A (ja) | 音響モデル作成装置、その装置を用いた音声認識装置、これらの方法、これらのプログラム、およびこれらの記録媒体 | |
JP2006235389A (ja) | 音響モデル学習方法と音声認識方法およびそれらの方法を用いた装置 | |
Kim et al. | The use of discriminative belief tracking in pomdp-based dialogue systems | |
JP6745507B2 (ja) | パラメータ推定装置、方法、及びプログラム | |
JP5860439B2 (ja) | 言語モデル作成装置とその方法、そのプログラムと記録媒体 | |
JP5126737B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP5679345B2 (ja) | 音声認識精度推定装置、音声認識精度推定方法、プログラム | |
JP5679346B2 (ja) | 識別的音声認識精度推定装置、識別的音声認識精度推定方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6603610 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |