JP5356138B2 - 隠れマルコフモデル探索装置及び方法及びプログラム - Google Patents
隠れマルコフモデル探索装置及び方法及びプログラム Download PDFInfo
- Publication number
- JP5356138B2 JP5356138B2 JP2009170351A JP2009170351A JP5356138B2 JP 5356138 B2 JP5356138 B2 JP 5356138B2 JP 2009170351 A JP2009170351 A JP 2009170351A JP 2009170351 A JP2009170351 A JP 2009170351A JP 5356138 B2 JP5356138 B2 JP 5356138B2
- Authority
- JP
- Japan
- Prior art keywords
- likelihood
- search
- model
- granularity
- hidden markov
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、与えられた問い合わせシーケンスまたはデータストリームのサブシーケンスに対してデータ集合の中からモデルを探索する問題を対象とする。探索はモデルによって推定される尤度によって行われる。
シーケンスを確率密度関数に従う発生モデルを有する状態の遷移として表現する探索対象となる隠れマルコフモデルを格納するデータ記憶手段120と、
データ記憶手段120から読み出された検索対象である隠れマルコフモデルについて、与えられた粒度に対する尤度を計算する尤度計算手段112と、
探索におけるはじめの解の候補として1時刻前の解を探索結果記憶手段に格納し、それぞれのモデルの1時刻前の粒度より1つ粗い粒度に対する尤度を尤度計算手段112に計算させ、該尤度計算手段112で計算された尤度が探索結果記憶手段の尤度より高ければ、該計算された尤度を新たな解候補として該探索結果記憶手段に格納し、該粒度を1段階粗い粒度にして、該尤度計算手段112を実行させる計算判定手段111と、を有する。
コンピュータが、
1時刻前の解を始めの解の候補として探索結果記憶手段に格納しておき(ステップ1)、
シーケンスを確率密度関数に従う発生モデルを有する状態の遷移として表現する探索対象となる隠れマルコフモデルを格納するデータ記憶手段から読み出された探索対象である隠れマルコフモデルについて、それぞれのモデルの1時刻前の粒度より1つ粗い粒度に対する尤度を計算し(ステップ2,3)、計算された尤度が前記探索結果記憶手段の尤度より高ければ(ステップ4、Yes)、該計算された尤度を新たな解候補として該探索結果記憶手段に格納し(ステップ5)、該粒度を1段階粗い粒度にして、尤度を計算する(ステップ3)。
(1)モデルの状態を結合し、尤度の上限値により高速に解候補を絞り込み、
(2)モデルを様々な近似の粒度で探索し、
(3)モデルの尤度計算を打ち止めて、尤度の低いモデルを高速に枝刈りする。
xt:時刻t(t=1,…,n)のシーケンスXの値;
ui:HMMのi(i=1,…,m)番目の状態
n:シーケンスXの長さ;
m:状態の数;
α={αi}:uiの初期遷移確率;
β={βi}:uiからujの状態遷移確率;
γ(vj)={γi(vj}:状態uiにおけるシンボルvj(j=1,…,s)のシンボル出力確率;
Φ:正確な尤度;
Ψ:近似尤度
本発明は、以下の2つの問題を対象とする。
モデルとシーケンスが以下のようであるとする。
φ21=0,φ22=0.75・0.5,φ23=(0.5)2。・0.25, φ25=0
φ31=0,φ32=0, φ33=0, φ34=(0.5)2・(0.25)2
結果的に尤度はΦ=(0.5)3・(0.25)2となり、その尤度を与える状態遷移はu1,u1,u2,u3となる。尤度計算部112は、上記のようにして求めた尤度と状態遷移を計算判定部111に渡す。これにより、計算判定部111は、探索結果保存部113に格納されている解の候補と計算された尤度とを比較して、尤度が解の候補より大きい場合には、当該尤度で探索結果保存部113の値を更新する。
先に述べたとおり、トレリス構造が大きい場合Viterbiアルゴリズムは高い計算コストを必要とする。そこで、図7に示すように、計算判定部112では、状態をクラスタリングし、結合することによって状態の数を削減する。この状態数の削減により、トレリス構造は縮退され、高速に尤度を計算することが可能になる。トレリス構造を縮退させるために粒度qが与えられたとき、m個の状態はm/g個に削減される。この結果、尤度計算部112の尤度の計算量はO(nm2/g2)に低減化される。
トレリス構造を縮退することで計算される近似尤度により高速な探索が可能になるが、近似計算には近似精度と計算時間のトレードオフが存在する。すなわちトレリス構造を過度に縮退させると、尤度計算部112の近似尤度の計算コストは小さくなるが、近似尤度の上限値は大きくなってしまう。そのため、本発明では、探索処理において徐々にトレリス構造のサイズを大きくしていき、近似尤度の精度を上げていく。
本発明は、探索結果の厳密性を保証している。トレリス構造を縮退することにより高速な探索が可能になるが、厳密に正確な探索結果は近似尤度からは求めることができない。そのため、本発明では、近似尤度で求めた候補に対して厳密な尤度を求めている。しかし、厳密な尤度を計算するには大きなコストがかかる。
本発明ではモデルのオリジナルの状態を結合することによりトレリス構造を縮退して、尤度計算部112に近似尤度を計算させる。近似尤度で枝刈りを行っても探索漏れは発生しないことが保証される。
状態uiとujが同じクラスタになった場合、結合後の確率は
α´i=max(αi,αj);
β´ii=max(βii,βij,βji,βjj),
β´ik=max(βik,βjk),
β´ki=max(βki,βkj)(k≠i,k≠j);
γ´i (vk)=max(γi (vk),γj (vk))
となる。
例1のHMMにおいて状態u1とu2が同じクラスタになった後の確率は以下のようになる。
α´1=max(α1,α2),
β´11=max(β11,β12,β21,β22),
β´12=max(β13,β23),
β´21=max(β31,β32),
γ´1(1)=max(γ1(1),γ2(1)),
γ´1(2)=max(γ1(2),γ2)(2)),
γ´1(3)=max(γ1(3),γ2(3))
と計算する。2つの状態が同じクラスタになる場合について説明したが、3つ以上の場合でも同様に計算する。
Fi=(αi:βi1,…,βim,β1i,…,βmi;γi (v1),…,γi (vs)). (4)
状態をクラスタリングするため、k-means法(文献:J. MacQueen, Some methods for classification and analysis of multivariate observations., 1967)を用いる。トレリス構造を縮退する手法は、クラスタリング方法の選択とは完全に独立したものであるため、他のクラスタリング方法(例えば、BIRCH: Tian Zhang and Raghu Ramakrishnan and Miron Livny, BIRCH: An Efficient Data Clustering Method for Very Large Databases, SIGMOD Conference, 1996)を用いることも可能である。
状態を結合後のモデルとシーケンスが与えられたとき、以下の関係が成立する。
[証明1]
オリジナルの状態ui(1≦i≦m)が状態u´i(1≦i≦m´)へクラスタリングされたとすると、
φi1≦α´i・γ´i(x1)=ψi1
となるので、2≦t≦nのとき、
Ψを用いて探索することは、探索漏れが発生しないことの十分条件である。
解の尤度をεとしたとき、探索漏れが発生しないことを保証するためには、Φ≧εであるときΨ≧εでなければならない。ところで式(6)より、
ε≦Φ≦Ψ
となるので探索漏れは発生しない。
これまでは一つの粒度でトレリス構造を縮退し近似尤度を計算することを前提に説明した。しかし、近似の粒度が低ければ近似精度も低くなるなど、近似の粒度が異なればその精度も異なるため、モデル毎の厳密な尤度に応じて近似の粒度が異なることが望ましい。そのため、本発明では一つの粒度ではなく、複数の粒度の近似を用いてモデルを探索する。すなわち、計算判定部111は、探索において徐々に近似粒度を上げて尤度計算部112に尤度計算させていく。
本発明では、状態遷移の枝刈りに関しては2つの重要な性質を用いる。第一に尤度を計算するときに、各状態の尤度は既に遷移した過去の時刻の全ての状態の尤度より大きくならない。これは各状態の尤度は以前の時刻の尤度を用いて計算されるためである。
φin≦ψit (9)
尤度の計算において枝刈りは推定値ψitを用いて行う。すなわち、εより推定値が小さい状態からの遷移は計算しない。厳密なトレリス構造に対する状態遷移の枝刈りのアルゴリズムを図8に示す。状態遷移の枝刈りでは遷移集合を用いて処理を行う。遷移集合はトレリス構造のそれぞれの時刻毎に設定される。時刻tの状態uiの推定値がε以上であれば、時刻tの遷移集合に状態uiが加えられる。尤度を計算するときは時刻t−1の遷移集合に含まれる状態からの遷移のみを用いる。もしある時刻における遷移集合が空集合であれば、そのモデルは解集合となりえないため、尤度計算を打ち切る。近似尤度の計算においても同様のアルゴリズムで処理を行う。
前述の通り、Naive Viterbiを処理するには大きな計算量を要する。本発明では高速に解を求めるために近似尤度を用いて尤度の低い殆どのモデルの枝刈りを行う。計算コストのかかる厳密な尤度計算は必要最低限に限定される。
探索処理においては、計算判定部111において近似の粒度を固定し、尤度計算部112においてそれぞれの粒度における解の候補を計算する。具体的には探索処理ではまず全てのモデルに対して最も粗い近似尤度を計算する。最も高い近似尤度を与えるモデルを解の候補として、そのモデルの厳密な尤度を計算する。その厳密な尤度によってモデルの枝刈りを行い、残ったモデルに対して2番目の粒度の近似尤度を計算する。最も高い近似尤度を与えるモデルの厳密な尤度を計算し、もし、計算判定部111は、探索結果保存部113に格納されている1番目の粒度による解の候補より高い尤度だったら、当該探索結果保存部113の解の候補を更新する。同様の処理を粒度を細かくしながら続けていく。
データストリームは時々刻々と変化していくが、その変化の割合はそれほど多くはないことに着目した処理を行う。具体的には、計算判定部111は、それぞれのモデルに対する近似の粒度を1時刻前の粒度より1つ荒い粒度にし、また、探索におけるはじめの解の候補として1時刻前の解を用いる。その他の処理は問い合わせシーケンスに対する探索処理と同様であるので、その説明を省略する
当該データストリームに対する探索処理のアルゴリズムを図10に示す。同図において、Miは粒度giの尤度を計算するモデルの集合を示し、M´iは1つ前の時刻において計算した最も細かい粒度がgiであるモデルの集合とする。
本発明の有効性を示すために実験を行った。実験はエルゴディックHMMとleft-right HMMに対して行った。実験では探索におけるCPUの計算時間を比較した。
このデータセットはEEGとアルコール依存症の関係を調べるために行われた大規模な実験で得られたものであり、UCIのWebサイトからダウンロードすることができる(http://www.ncbi.nlm.nih.gov)。
人間の第2,18,21,22番遺伝子のデータであり、NCBIのWebサイトから得ることができる(http://archive.ics.uci.edu/ml/)。
このデータセットはUCIのWebサイトから得たフリーウェイ交通量の測定値である(http://www.ncbi.nlm.nih.gov)。
このデータセットはUCIのWebサイトから得たUNIXの操作履歴である(http://www.ncbi.nlm.nih.gov)。
隠れマルコフモデルにおける探索手法、特に、問い合わせシーケンスに対する探索手法として、前述の特許文献1、非特許文献1に記載の技術がある。これらの文献における手法は、モデルを並び替えてから一つ一つ粒度を細かくし探索する特徴がある。
本実験ではストリームに対応したアルゴリズムと問い合わせシーケンスに対応したアルゴリズム、及びViterbiアルゴリズムとの比較を行った。それぞれのアルゴリズムの実験結果をStream-SPIRAL、SPIRAL、Viterbiとして図12に示す。実験において状態数を100とし、モデルの数を10000とした。
110 探索部
111 計算判定手段、計算判定部
112 尤度計算手段、尤度計算部
113 探索結果記憶手段、探索結果保存部
120 データ記憶手段
Claims (3)
- データストリームのサブシーケンスに対して最も尤度の高いモデルを探索する隠れマルコフモデル探索装置であって、
シーケンスを確率密度関数に従う発生モデルを有する状態の遷移として表現する探索対象となる隠れマルコフモデルを格納するデータ記憶手段と、
前記データ記憶手段から読み出された検索対象である隠れマルコフモデルについて、与えられた粒度に対する尤度を計算する尤度計算手段と、
探索におけるはじめの解の候補として1時刻前の解を探索結果記憶手段に格納し、それぞれのモデルの1時刻前の粒度より1つ粗い粒度に対する尤度を前記尤度計算手段に計算させ、該尤度計算手段で計算された尤度が前記探索結果記憶手段の尤度より高ければ、該計算された尤度を新たな解候補として該探索結果記憶手段に格納し、該粒度を1段階粗い粒度にして、該尤度計算手段を実行させる計算判定手段と、
を有することを特徴とする隠れマルコフモデル探索装置。 - データストリームのサブシーケンスに対して最も尤度の高いモデルを探索する隠れマルコフモデル探索方法において、
コンピュータが、
1時刻前の解を始めの解の候補として探索結果記憶手段に格納しておき、
シーケンスを確率密度関数に従う発生モデルを有する状態の遷移として表現する探索対象となる隠れマルコフモデルを格納するデータ記憶手段から読み出された探索対象である隠れマルコフモデルについて、それぞれのモデルの1時刻前の粒度より1つ粗い粒度に対する尤度を計算し、計算された尤度が前記探索結果記憶手段の尤度より高ければ、該計算された尤度を新たな解候補として該探索結果記憶手段に格納し、該粒度を1段階粗い粒度にして、尤度を計算する
ことを特徴とする隠れマルコフモデル探索方法。 - 請求項1に記載の隠れマルコフモデル探索装置を構成する各手段としてコンピュータを機能させるための隠れマルコフモデル探索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009170351A JP5356138B2 (ja) | 2009-07-21 | 2009-07-21 | 隠れマルコフモデル探索装置及び方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009170351A JP5356138B2 (ja) | 2009-07-21 | 2009-07-21 | 隠れマルコフモデル探索装置及び方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011028320A JP2011028320A (ja) | 2011-02-10 |
JP5356138B2 true JP5356138B2 (ja) | 2013-12-04 |
Family
ID=43637034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009170351A Expired - Fee Related JP5356138B2 (ja) | 2009-07-21 | 2009-07-21 | 隠れマルコフモデル探索装置及び方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5356138B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393909B (zh) * | 2011-06-29 | 2014-01-15 | 西安电子科技大学 | 基于隐马尔科夫模型的足球视频进球事件检测方法 |
CN111291967A (zh) * | 2020-01-13 | 2020-06-16 | 北京化工大学 | 基于布谷鸟搜索的隐马尔可夫模型食品安全风险评估方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4606218B2 (ja) * | 2005-03-28 | 2011-01-05 | 三洋電機株式会社 | 歪補正装置 |
JP4698548B2 (ja) * | 2006-10-12 | 2011-06-08 | 日本電信電話株式会社 | 隠れマルコフモデル探索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
-
2009
- 2009-07-21 JP JP2009170351A patent/JP5356138B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011028320A (ja) | 2011-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105912611B (zh) | 一种基于cnn的快速图像检索方法 | |
Hou et al. | Convolutional neural network-based image representation for visual loop closure detection | |
US9165255B1 (en) | Automatic sequencing of video playlists based on mood classification of each video and video cluster transitions | |
US8737817B1 (en) | Music soundtrack recommendation engine for videos | |
US11350169B2 (en) | Automatic trailer detection in multimedia content | |
Winters-Hilt et al. | Support vector machine implementations for classification & clustering | |
CN115428469A (zh) | 用于无声视频的ai辅助音效生成 | |
US20220309292A1 (en) | Growing labels from semi-supervised learning | |
WO2021211366A1 (en) | Self-supervised ai-assisted sound effect recommendation for silent video | |
Volkov et al. | Coresets for visual summarization with applications to loop closure | |
US20210374614A1 (en) | Active learning annotation system that does not require historical data | |
US11880755B2 (en) | Semi-supervised learning with group constraints | |
Sun et al. | Analyzing Cross-domain Transportation Big Data of New York City with Semi-supervised and Active Learning. | |
Garcia-Fidalgo et al. | Vision-based topological mapping and localization by means of local invariant features and map refinement | |
Chen et al. | Survey: Exploiting data redundancy for optimization of deep learning | |
JP5356138B2 (ja) | 隠れマルコフモデル探索装置及び方法及びプログラム | |
Koohzadi et al. | An analytical framework for event mining in video data | |
Coviello et al. | Growing a bag of systems tree for fast and accurate classification | |
CN111091001B (zh) | 一种词语的词向量的生成方法、装置及设备 | |
Doulaty et al. | Latent dirichlet allocation based organisation of broadcast media archives for deep neural network adaptation | |
US20230267175A1 (en) | Systems and methods for sample efficient training of machine learning models | |
CN114707483A (zh) | 基于对比学习和数据增强的零样本事件抽取系统及方法 | |
Perera et al. | GENIE TRECVID 2011 Multimedia Event Detection: Late-Fusion Approaches to Combine Multiple Audio-Visual features. | |
JP4698548B2 (ja) | 隠れマルコフモデル探索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP4567617B2 (ja) | 隠れマルコフモデル検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5356138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |