JP5033155B2 - 類似部分シーケンス検出装置、類似部分シーケンス検出方法、および、類似部分シーケンス検出プログラム - Google Patents
類似部分シーケンス検出装置、類似部分シーケンス検出方法、および、類似部分シーケンス検出プログラム Download PDFInfo
- Publication number
- JP5033155B2 JP5033155B2 JP2009041308A JP2009041308A JP5033155B2 JP 5033155 B2 JP5033155 B2 JP 5033155B2 JP 2009041308 A JP2009041308 A JP 2009041308A JP 2009041308 A JP2009041308 A JP 2009041308A JP 5033155 B2 JP5033155 B2 JP 5033155B2
- Authority
- JP
- Japan
- Prior art keywords
- partial sequence
- pair
- partial
- score
- similarity score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 66
- 239000011159 matrix material Substances 0.000 claims description 83
- 238000000034 method Methods 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 64
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 21
- 206010064127 Solar lentigo Diseases 0.000 description 8
- 230000008602 contraction Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
f(i,j)=‖xi−yj‖+min{f(i,j−1),
f(i−1,j),
f(i−1,j−1)}・・・式(2)
f(0,0)=0 ・・・式(3)
f(i,0)=f(0,j)=∞ ・・・式(4)
di,j(p,q)=‖xi+p−1−yj+q−1‖+dbest ・・・式(6)
dbest={di,j(p,q−1),
di,j(p−1,q),
di,j(p−1,q−1)} ・・・式(7)
di,j(0,0)=0 ・・・式(8)
di,j(p,0)=di,j(0,q)=∞ ・・・式(9)
本実施形態の目的は、次の式(10)を満たす部分シーケンスペアを検出することである。
D(X[is:ie],Y[js:je])≦εL(lx,ly) ・・・式(10)
2つのシーケンスXとY、所定の係数ε、部分シーケンス長の下限値lminが与えられた時、次の条件を満たす部分シーケンスペアX[is:ie]とY[js:je]を検出する。
(条件1)D(X[is:ie],Y[js:je])≦ε(L(lx,ly)−lmin)
(条件2)ワーピングパスが重複する部分シーケンスペアのグループの中で、
D(X[is:ie],Y[js:je])−ε(L(lx,ly)−lmin)が最小値をとる。
また、条件1と条件2の両方の条件を満たすものを「最適な部分シーケンスペア」と呼び、その検出については「具体的な実施形態」における第2の部分シーケンスペア検出処理(図2B参照)で具体的に説明する。
(特徴2)スコアリング関数の操作はDTW距離に関して可逆(相互変換可能な関係)である。
まず、類似部分シーケンス検出装置1の構成について説明する。図1に示すように、類似部分シーケンス検出装置1は、入力部11、処理部12、記憶部13および出力部14を備え、例えば、コンピュータ装置によって実現される。
v(i,j)=max{0,
wvε+v(i,j−1)−‖xi−yj‖,
whε+v(i−1,j)−‖xi−yj‖,
wdε+v(i−1,j−1)−‖xi−yj‖}
・・・式(12)
v(0,0)=v(i,0)=v(0,j)=0 ・・・式(13)
{s(i,j−1) (if v(i,j−1)>0 かつ
v(i,j)=wvε+v(i,j−1)−‖xi−yj‖),
s(i−1,j) (if v(i−1,j)>0 かつ
v(i,j)=whε+v(i−1,j)−‖xi−yj‖),
s(i−1,j−1)(if v(i−1,j−1)>0 かつ
v(i,j)=wdε+v(i−1,j−1)−‖xi−yj‖),
(i,j) (if その他)}
・・・式(14)
類似部分シーケンス候補記憶部133は、算出に使用したスコア行列における行列要素の少なくとも一部が重複している複数の適合する部分シーケンスペアのうちのその時点で最適なものを記憶する。
D(X[is:ie],Y[js:je])=
εL(lx,ly)−V(X[is:ie],Y[js:je]) ・・・式(15)
(条件3)V(X[is:ie],Y[js:je])≧εlmin
(条件4)ワーピングパスが重複する部分シーケンスペアのグループの中で、V(X[is:ie],Y[js:je])−εlminが最大値をとる。
次に、データストリーム処理部121は、jの値を「0」にリセットする(ステップS12)。
次に、ステップS1602において、データストリーム処理部121は、ステップS1601で算出したDTW距離dmin、それに対応する開始位置Cs’および終了位置Ce’を類似部分シーケンス出力部141経由でユーザに報知する。
図2Bに示すように、ステップS11〜S14の処理の後、ステップS15でYesの場合、ステップS16において、データストリーム処理部121は、候補配列への格納処理を行う(詳細は図3で後記)。
ステップS18において、データストリーム処理部121は、最適な部分シーケンスペアの報知処理を行う(詳細は図4で後記)。
ステップS184において、データストリーム処理部121は、ステップS183で算出したDTW距離dmin、それに対応する開始位置Csおよび終了位置Ceを類似部分シーケンス出力部141経由でユーザに報知する。
次に、本実施形態の類似部分シーケンス検出装置1を用いた処理の実験結果について説明する。なお、各実験は、4GBのメモリと2GHzのCPUを搭載したコンピュータ上で実施した。また、実験には実データと人工データを使用した。実験結果を視覚的に把握するため、ここでは、散布図を用いる。散布図では、データストリームXとYにおける最適な部分シーケンスペアであるX[is:ie]とY[js:je]のワーピングパスを描画する。なお、散布図において、横軸はXの要素を、縦軸はYの要素を表す。そして、そのプロットされた点の集合や周期を見ることで、最適な部分シーケンスペアの存在や特徴を把握することができる。
例えば、‖xi−yj‖として、ユークリッド距離の二乗の値を使用したが、ユークリッド距離などの他の距離を使用してもかまわない。
なお、データストリームは、映像やセンサネットワーク、金融など様々な分野で発生する。本発明はこれらのすべての分野に適用可能である。
11 入力部
12 処理部
13 記憶部
14 出力部
111 検出条件入力部
112 データストリーム入力部
121 データストリーム処理部
131 検出条件記憶部
132 スコアリングデータ記憶部
133 類似部分シーケンス候補記憶部
141 類似部分シーケンス出力部
Claims (13)
- 2つのデータストリームから、類似する部分シーケンスのペアを、2つの前記部分シーケンス同士のDTW(Dynamic Time Warping)距離と相互変換可能な類似度スコアを行列要素とする単一のスコア行列を用いて検出する類似部分シーケンス検出装置であって、
前記スコア行列、および、所定の閾値を記憶する記憶部と、
前記2つのデータストリームのいずれかのデータの1つの要素を受信したとき、当該要素を含む前記データストリーム中の部分シーケンスと、他方の前記データストリーム中の部分シーケンスと、の類似度スコアを算出し、
前記算出した類似度スコアと、その類似度スコアの算出に用いた2つの前記部分シーケンスの開始位置および終了位置と、を対応付けて前記記憶部のスコア行列に記憶し、
前記記憶部のスコア行列に記憶された前記類似度スコアが前記所定の閾値以上である部分シーケンスのペアを類似する部分シーケンスのペアと判定し、この類似する部分シーケンスのペアを適合する部分シーケンスのペアとして検出する処理部と、を備え、
前記処理部は、
前記類似度スコアのいずれかを算出するとき、
前記スコア行列において当該類似度スコアと隣接し前記2つのデータストリームのいずれかあるいは両方に関して1つ前の時刻に対応する3つの前記類似度スコアのうちの最大の類似度スコアを取得し、
当該取得した最大の類似度スコアに対して、対象の2つの前記部分シーケンスにおける対応するデータの要素同士の差の大きさに応じた値を減算するとともに、
前記取得した最大の類似度スコアの算出に使用した2つの前記部分シーケンスの長さに比べたときの当該類似度スコアの算出に使用した2つの前記部分シーケンスの長さの伸びに応じた数値を加算することで、当該類似度スコアを算出する
ことを特徴とする類似部分シーケンス検出装置。 - 前記処理部は、
前記適合する部分シーケンスのペアを検出したとき、
当該適合する部分シーケンスのペアの類似度スコアと2つの部分シーケンスの長さとに基づいてDTW距離を算出する
ことを特徴とする請求項1に記載の類似部分シーケンス検出装置。 - 前記処理部は、
前記類似度スコアの算出に用いた2つの前記部分シーケンスの開始位置を前記記憶部のスコア行列に記憶するとき、前記取得した最大の類似度スコアの算出に用いた2つの前記部分シーケンスの開始位置を、前記類似度スコアの算出に用いた2つの前記部分シーケンスの開始位置として前記記憶部のスコア行列に記憶し、
前記適合する部分シーケンスのペアを検出するとき、前記記憶部のスコア行列を参照して、前記所定の閾値以上の前記類似度スコアに対応する開始位置を特定する
ことを特徴とする請求項1または請求項2に記載の類似部分シーケンス検出装置。 - 前記所定の閾値は、前記適合する部分シーケンスのペアの2つの部分シーケンスの長さの下限値として予め設定された値に、前記データストリームの種類に応じて予め設定された所定の係数を乗算した値であり、
前記処理部は、
前記適合する部分シーケンスのペアを検出するとき、当該所定の閾値を用いることで、前記下限値以上の長さの適合する部分シーケンスのペアを検出する
ことを特徴とする請求項3に記載の類似部分シーケンス検出装置。 - 前記処理部は、
前記類似度スコアが前記所定の閾値以上である複数の部分シーケンスのペアを、複数の適合する部分シーケンスのペアとして前記記憶部に記憶し、
前記記憶部に記憶された複数の前記適合する部分シーケンスのペアのうち、算出に使用した前記スコア行列における行列要素の少なくとも一部に重複しているものがあるとき、前記重複している複数の適合する部分シーケンスのペアの中から、前記類似度スコアが最大の適合する部分シーケンスのペアを、最適な部分シーケンスのペアとして検出する
ことを特徴とする請求項4に記載の類似部分シーケンス検出装置。 - 前記処理部は、
前記重複している複数の適合する部分シーケンスのペアの中から、前記類似度スコアが最大の適合する部分シーケンスのペアを、最適な部分シーケンスのペアとして検出するとき、
前記スコア行列において、前記類似度スコアがその時点で最大の適合する部分シーケンスのペアの終了位置より後の行および列のいずれにおいても、開始位置が当該最大の適合する部分シーケンスのペアの開始位置と一致する部分シーケンスのペアが1つもないと判定した場合、当該最大の適合する部分シーケンスのペアを最適な部分シーケンスのペアとして検出する
ことを特徴とする請求項5に記載の類似部分シーケンス検出装置。 - 2つのデータストリームから、類似する部分シーケンスのペアを、2つの前記部分シーケンス同士のDTW(Dynamic Time Warping)距離と相互変換可能な類似度スコアを行列要素とする単一のスコア行列を用いて検出する類似部分シーケンス検出装置による類似部分シーケンス検出方法であって、
前記類似部分シーケンス検出装置は、
前記スコア行列、および、所定の閾値を記憶する記憶部と、
前記2つのデータストリームのいずれかのデータの1つの要素を受信したとき、当該要素を含む前記データストリーム中の部分シーケンスと、他方の前記データストリーム中の部分シーケンスと、の類似度スコアを算出し、
前記算出した類似度スコアと、その類似度スコアの算出に用いた2つの前記部分シーケンスの開始位置および終了位置と、を対応付けて前記記憶部のスコア行列に記憶し、
前記記憶部のスコア行列に記憶された前記類似度スコアが前記所定の閾値以上である部分シーケンスのペアを類似する部分シーケンスのペアと判定し、この類似する部分シーケンスのペアを適合する部分シーケンスのペアとして検出する処理部と、を備えており、
前記処理部は、
前記類似度スコアのいずれかを算出するとき、
前記スコア行列において当該類似度スコアと隣接し前記2つのデータストリームのいずれかあるいは両方に関して1つ前の時刻に対応する3つの前記類似度スコアのうちの最大の類似度スコアを取得し、
当該取得した最大の類似度スコアに対して、対象の2つの前記部分シーケンスにおける対応するデータの要素同士の差の大きさに応じた値を減算するとともに、
前記取得した最大の類似度スコアの算出に使用した2つの前記部分シーケンスの長さに比べたときの当該類似度スコアの算出に使用した2つの前記部分シーケンスの長さの伸びに応じた数値を加算することで、当該類似度スコアを算出する
ことを特徴とする類似部分シーケンス検出方法。 - 前記処理部は、
前記適合する部分シーケンスのペアを検出したとき、
当該適合する部分シーケンスのペアの類似度スコアと2つの部分シーケンスの長さとに基づいてDTW距離を算出する
ことを特徴とする請求項7に記載の類似部分シーケンス検出方法。 - 前記処理部は、
前記類似度スコアの算出に用いた2つの前記部分シーケンスの開始位置を前記記憶部のスコア行列に記憶するとき、前記取得した最大の類似度スコアの算出に用いた2つの前記部分シーケンスの開始位置を、前記類似度スコアの算出に用いた2つの前記部分シーケンスの開始位置として前記記憶部のスコア行列に記憶し、
前記適合する部分シーケンスのペアを検出するとき、前記記憶部のスコア行列を参照して、前記所定の閾値以上の前記類似度スコアに対応する開始位置を特定する
ことを特徴とする請求項7または請求項8に記載の類似部分シーケンス検出方法。 - 前記所定の閾値は、前記適合する部分シーケンスのペアの2つの部分シーケンスの長さの下限値として予め設定された値に、前記データストリームの種類に応じて予め設定された所定の係数を乗算した値であり、
前記処理部は、
前記適合する部分シーケンスのペアを検出するとき、当該所定の閾値を用いることで、前記下限値以上の長さの適合する部分シーケンスのペアを検出する
ことを特徴とする請求項9に記載の類似部分シーケンス検出方法。 - 前記処理部は、
前記類似度スコアが前記所定の閾値以上である複数の部分シーケンスのペアを、複数の適合する部分シーケンスのペアとして前記記憶部に記憶し、
前記記憶部に記憶された複数の前記適合する部分シーケンスのペアのうち、算出に使用した前記スコア行列における行列要素の少なくとも一部に重複しているものがあるとき、前記重複している複数の適合する部分シーケンスのペアの中から、前記類似度スコアが最大の適合する部分シーケンスのペアを、最適な部分シーケンスのペアとして検出する
ことを特徴とする請求項10に記載の類似部分シーケンス検出方法。 - 前記処理部は、
前記重複している複数の適合する部分シーケンスのペアの中から、前記類似度スコアが最大の適合する部分シーケンスのペアを、最適な部分シーケンスのペアとして検出するとき、
前記スコア行列において、前記類似度スコアがその時点で最大の適合する部分シーケンスのペアの終了位置より後の行および列のいずれにおいても、開始位置が当該最大の適合する部分シーケンスのペアの開始位置と一致する部分シーケンスのペアが1つもないと判定した場合、当該最大の適合する部分シーケンスのペアを最適な部分シーケンスのペアとして検出する
ことを特徴とする請求項11に記載の類似部分シーケンス検出方法。 - 請求項7ないし請求項12のいずれか1項に記載の類似部分シーケンス検出方法をコンピュータに実行させるための類似部分シーケンス検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009041308A JP5033155B2 (ja) | 2009-02-24 | 2009-02-24 | 類似部分シーケンス検出装置、類似部分シーケンス検出方法、および、類似部分シーケンス検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009041308A JP5033155B2 (ja) | 2009-02-24 | 2009-02-24 | 類似部分シーケンス検出装置、類似部分シーケンス検出方法、および、類似部分シーケンス検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010198227A JP2010198227A (ja) | 2010-09-09 |
JP5033155B2 true JP5033155B2 (ja) | 2012-09-26 |
Family
ID=42822905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009041308A Expired - Fee Related JP5033155B2 (ja) | 2009-02-24 | 2009-02-24 | 類似部分シーケンス検出装置、類似部分シーケンス検出方法、および、類似部分シーケンス検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5033155B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6061714B2 (ja) * | 2013-02-12 | 2017-01-18 | 公立大学法人会津大学 | 類似系列区間検出装置および類似系列区間検出プログラム |
JP7204584B2 (ja) * | 2019-06-14 | 2023-01-16 | ルネサスエレクトロニクス株式会社 | 異常検知システム、異常検知装置および異常検知方法 |
KR102511137B1 (ko) * | 2022-06-20 | 2023-03-17 | 대한민국 | 크로마토그램 이미지의 유사도 분석방법 및 시스템 |
-
2009
- 2009-02-24 JP JP2009041308A patent/JP5033155B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010198227A (ja) | 2010-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021051945A1 (zh) | 服务器性能监控方法、装置、计算机设备及存储介质 | |
JP6725700B2 (ja) | 異常なユーザ行動関連アプリケーションデータを検出するための方法、装置、およびコンピュータ読み取り可能な媒体 | |
Chandola et al. | Outlier detection: A survey | |
Olszewski | Fraud detection using self-organizing map visualizing the user profiles | |
Wang et al. | Research on Healthy Anomaly Detection Model Based on Deep Learning from Multiple Time‐Series Physiological Signals | |
Deshmukh et al. | Intrusion detection system by improved preprocessing methods and Naïve Bayes classifier using NSL-KDD 99 Dataset | |
KR101906859B1 (ko) | 이상 서브시퀀스 검출 장치 및 방법 | |
JP3762840B2 (ja) | 類似事例に基づく予測を行う予測装置および方法 | |
CN112508085A (zh) | 基于感知神经网络的社交网络链路预测方法 | |
JP5033155B2 (ja) | 類似部分シーケンス検出装置、類似部分シーケンス検出方法、および、類似部分シーケンス検出プログラム | |
CN114202123A (zh) | 业务数据预测方法、装置、电子设备及存储介质 | |
Huynh et al. | Efficient integration of multi-order dynamics and internal dynamics in stock movement prediction | |
Carmona-Poyato et al. | A new approach for optimal time-series segmentation | |
CN113807452B (zh) | 一种基于注意力机制的业务过程异常检测方法 | |
JP4939349B2 (ja) | トレンド検出方法、トレンド検出プログラムおよびトレンド検出装置 | |
Mehrmolaei et al. | A brief survey on event prediction methods in time series | |
Sakthivel et al. | Wireless sensor network based anomaly detection using SVM-RFE-MRMR | |
CN116186603A (zh) | 异常用户的识别方法及装置、计算机存储介质、电子设备 | |
CN115567305A (zh) | 基于深度学习的顺序网络攻击预测分析方法 | |
US8930362B2 (en) | System and method for streak discovery and prediction | |
Wang et al. | Genie in the model: Automatic generation of human-in-the-loop deep neural networks for mobile applications | |
JP2008134706A (ja) | データストリーム監視装置、データストリーム監視方法、そのプログラムおよび記録媒体 | |
Olszewski et al. | Employing self-organizing map for fraud detection | |
JP4202339B2 (ja) | 類似事例に基づく予測を行う予測装置および方法 | |
Kumari et al. | Performance interpretation of machine learning based classifiers for e-healthcare system in fog computing network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101215 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120626 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120629 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150706 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |