JP4354496B2 - トラヒックリープ検出装置及びトラヒックリープ検出方法 - Google Patents
トラヒックリープ検出装置及びトラヒックリープ検出方法 Download PDFInfo
- Publication number
- JP4354496B2 JP4354496B2 JP2007046505A JP2007046505A JP4354496B2 JP 4354496 B2 JP4354496 B2 JP 4354496B2 JP 2007046505 A JP2007046505 A JP 2007046505A JP 2007046505 A JP2007046505 A JP 2007046505A JP 4354496 B2 JP4354496 B2 JP 4354496B2
- Authority
- JP
- Japan
- Prior art keywords
- traffic
- series data
- leap
- average value
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Description
しかし、DoS攻撃等によるトラヒックの変化量は、インターネットのバックボーンを流れる大量のトラヒック量よりも小さいため、監視対象のトラヒックをトラヒックリープの検出が可能な粒度まで分割し、その結果得られる複数のトラヒック時系列データに対して監視を行う必要がある。
また、インターネット上のトラヒック量は、夜間は昼間より大きくなるなど、通常状態でも変化しており、そのトラヒック量の定常変動と異常トラヒックによるトラヒックリープを区別する必要がある。
トラヒック時系列データからトラヒックリープを検出する最もシンプルな方法は、閾値としてある値を設定し、トラヒック量が閾値を上回った際にトラヒックリープが発生したとして判定する方法である。
しかし、監視を行うトラヒック時系列データ毎に、通常のトラヒック量、トラヒック量の変動幅は異なるため、適切な閾値もトラヒック時系列データ毎に異なり、大量のトラヒック時系列データ全てに、適切な閾値を手動で設定することは困難である。
しかし、ボリンジャー・バンドをインターネット上のトラヒック時系列データに用いた場合、昼夜の変動もトラヒックリープとして検出してしまうため、精度の良いトラヒックリープ検出が難しい。
また、トラヒック時系列データのトラヒックリープ検出を高精度に行なう技術としては、過去のデータから時系列統計モデルや最尤推定法を用いて予測を行い、予測値と実測値との差分を評価する方法がある。(下記、特許文献1参照)
しかし、これらの従来手法は、計算に多くの処理を必要とするため複数のトラヒック時系列データに対するトラヒックリープ検出に用いることは難しい。
しかし、大容量のトラヒックが流れるインターネットバックボーン上においては、大量のトラヒック時系列データを同時に監視することが必須である。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、閾値を自動で設定し、大量のトラヒック時系列データにおけるトラヒックリープを、従来よりも高速、かつ、高精度に検出することが可能となる技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
(1)インターネットバックボーンを流れるトラヒック量の時系列データに対し、トラヒック量の急激な変化であるトラヒックリープを異常として検出するトラヒックリープ検出装置であって、低周波ノイズフィルタと、高周波ノイズフィルタと、平均値計算装置とを有するノイズフィルタと、前記ノイズフィルタが出力する時系列データに対し、自動で閾値を設定しトラヒックリープの有無を判定するリープ判定装置とを有し、前記低周波ノイズフィルタは、時点(t)のトラヒック量x(t)と、時点(t)の一つ前の時点のトラヒック量x(t−1)を格納する格納手段と、前記格納手段に格納されたトラヒック量x(t)とトラヒック量x(t−1)の差分の絶対値y(t)を計算し、出力する演算手段とを有し、前記平均値計算装置は、前記低周波ノイズフィルタから出力される差分の絶対値y(t)を複数個格納する格納手段と、前記格納手段に格納された前記複数個の差分の絶対値の平均値β(t)を計算し、出力する演算手段と有し、前記高周波ノイズフィルタは、前記低周波ノイズフィルタから出力された差分の絶対値y(t)を、前記平均値計算装置から出力される平均値β(t)で除算し、補正時系列データz(t)として出力する演算手段を有する。
(3)(1)または(2)において、閾値設定装置を有し、前記閾値設定装置は、前記ノイズフィルタの出力である複数の補正時系列データz(t)を格納する格納手段と、前記格納手段に格納された前記複数の補正時系列データz(t)の平均値μ(t)を計算する演算手段1と、前記格納手段に格納された前記複数の補正時系列データz(t)の標準偏差σi(t)を計算する演算手段2と、前記演算手段1で計算された平均値μ(t)と、前記演算手段2で計算された標準偏差σi(t)とを用いて閾値B(t)を計算し、出力する演算手段3とを有し、前記リープ判定装置は、補正時系列データz(t)と、閾値B(t)との大小関係を比較し、補正時系列データz(t)が、閾値B(t)を上回った場合にトラヒックリープが発生したと判定する。
(6)(5)において、前記ステップ4は、前記ステップ3で出力された補正時系列データz(t)の平均値μ(t)を計算するステップ21と、前記ステップ3で出力された補正時系列データz(t)の標準偏差σi(t)を計算するステップ22と、前記ステップ21で計算された時系列データの平均値μ(t)と、前記ステップ22で計算された標準偏差σi(t)とを用いて閾値B(t)を計算するステップ23と、前記ステップ1で変換された補正時系列データz(t)と、前記ステップ23で計算された閾値B(t)との大小関係を比較し、補正時系列データz(t)が、閾値B(t)を上回った場合にトラヒックリープが発生したと判定するステップとを有する。
また、ノイズフィルタ内において、低周波ノイズフィルタと高周波ノイズフィルタは、トラヒック時系列データに対して、トラヒック量の差分の計算、平均値による除算と言った簡単な計算により通常トラヒック変動の影響の除去を可能とすることにより、一つのトラヒック時系列データあたりに要する処理時間を短縮することを可能とする。
また、リープ判定装置は判定に用いる閾値を、ノイズフィルタから受け取った時系列データ各々の平均値と標準偏差から自動的に設定するため、大量のトラヒック時系列データについて個別の設定を必要としない。
本発明によれば、閾値を自動で設定し、大量のトラヒック時系列データにおけるトラヒックリープを、従来よりも高速、かつ、高精度に検出することが可能となる。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図1は、本発明の実施例のトラヒックリープ検出装置の概略構成を示すブロック図である。図1において、100はトラヒックリープ検出装置、200はトラヒック監視装置、300は制御装置である。トラヒックリープ検出装置100は、ノイズフィルタ110と、リープ判定装置120と、閾値設定装置121とを有する。
図2−1は、図1に示すノイズフィルタ110の概略構成を示すブロック図である。
図2−1に示すように、ノイズフィルタ110は、低周波ノイズフィルタ111と、高周波ノイズフィルタ112と、平均値計算装置113とを有する。
低周波ノイズフィルタ111は、格納手段10と、演算手段11とを有する。高周波ノイズフィルタ112は、演算手段12を有する。また、平均値計算装置113は、格納手段13と、演算手段15とを有する。
図2−2は、図1に示す閾値設定装置121の概略構成を示すブロック図である。
図2−2に示すように、閾値設定装置121は、格納手段20と、演算手段(21,22,23)とを有する。
本明細書では、トラヒック監視装置200が出力する複数のトラヒック時系列データx(t)を整数i(i=0,1,2,...)によって区別し、トラヒック時系列データxi(t)と呼ぶ。本明細書では、トラヒック時系列データxi(t)における時点t(t=1,2,3,...)を、トラヒックリープ検出装置100が起動した後、トラヒック監視装置200から、トラヒック時系列データxiを受信した回数として定義する。
以下、図3を用いて、本実施例のトラヒックリープ検出装置の処理手順について説明する。
まず、本実施例のトラヒックリープ検出装置100は、トラヒック監視装置200から最新時点(t)のトラヒック時系列データxi(t)を受け取る。
低周波ノイズフィルタ111は、時点(t)のトラヒック量xi(t)と、時点(t)の一つ前の時点のトラヒック量xi(t−1)とを格納手段10に格納し、演算手段11で、格納手段10に格納された時点(t)のトラヒック量xi(t)と、トラヒック量xi(t−1)の差分の絶対値yi(t)=|xi(t)−xi(t−1)|を計算し、高周波ノイズフィルタ112に出力する。ただし、t=1の場合は、高周波ノイズブィルタ112にyi(t)=0を出力する。
平均値計算装置113の演算手段15は、下記(1)式に基づき、格納手段13に格納された過去M個分の差分の絶対値yi(k)(k=t,...,t−M)の平均値βi(t)を計算し、出力する。但し、t<Mの場合は、平均値βi(t)の計算と出力を行わない。
高周波ノイズフィルタ112は、低周波ノイズフィルタ111から出力される差分の絶対値yi(t)と、平均値計算装置113から出力される差分の絶対値の平均値βi(t)で除算する。その計算結果を、補正時系列データzi(t)[=yi(t)/βi(t)])をリープ判定装置120に出力する。但し、t<Mの場合はzi(t)の計算と出力を行わない。
閾値設定装置121の演算手段21は、下記(2)式に基づき、格納手段20に格納された過去N個分の補正時系列データzi(t)の平均値μi(t)を計算する。
閾値設定装置121の演算手段22は、格納手段20に格納された過去N個分の補正時系列データzi(t)の標準偏差σi(t)を計算する。
閾値設定装置121の演算手段23は、閾値Bi(t)[=μi(t)+α・σi(t)]を計算し、出力する。なお、αは予め定められた定数とする。但し、t<(M+N)の場合は、前述の閾値Bi(t)の計算と出力を行わない。
もし、zi(t)>Bi(t)が成り立つならば、トラヒック時系列データxi(t)おいて、時点(t)でトラヒックリープが発生したと判定し、その旨を制御装置300にアラートとして通知する。
また、平均値計算装置113と閾値設定装置121にもアラートを通知し、トラヒックリープ発生時のデータを学習することを防ぐ。但し、t<(M+N)の場合は、前述のリープ判定を行わない。
外部に設置された制御装置300は、リープ設定装置120から出力されるアラートを受け取り、原因特定のための詳細分析、トラヒック制御を行う装置を特定する。
以上説明したように、本実施例のトラヒックリープ検出装置によれば、トラヒック時系列データ個別の閾値推定を自動化し、トラヒックリープ検出の精度を損なう原因であるトラヒック量の定常変動をトラヒック時系列データから取り除くことにより精度を向上させ、さらに、精度を高めるための計算を平均値や標準偏差といった単純な計算で行うことにより高速化を図ることが可能となる。
これにより、大量のトラヒック時系列データについてのトラヒックリープ検出をリアルタイムで行なうことが可能となり、インターネットバックボーンを流れるトラヒックの監視を実現することができる。
図4、図5は、あるトラヒックを5分間隔毎に集計したトラヒック時系列データに対して本発明の実施例を適用した結果を示す図である。
図4の横軸は時刻、縦軸はx(t)の値を[0,1]で正規化した値である。同様に、図5の横軸は時刻、縦軸はz(t)、B(t)の値を[0,1]で正規化した値である。
平均値計算装置113に格納するデータ数(M)と、閾値設定装置121に格納するデータ数(N)と閾値計算の係数(α)といった手動で設定する必要があるパラメータは、M=24(2時間分)、N=288(24時間分)、α=6とした。
図4は、トラヒック時系列データx(t)と、本実施例のトラヒック検出装置によりトラヒック時系列データx(t)に、トラヒックリープが発生したと判定された箇所を示した図であり、図5は図4と同時刻の、本実施例のトラヒック検出装置におけるトラヒックリープ発生の判定基準であるz補正時系列データ(t)と、閾値B(t)の変動を示す図である。
このように、本実施例のトラヒックリープ検出装置は、単純な計算でトラヒックリープを高精度に検出することを可能とする。
本実施例を、CPUクロック数3.06GHz、メモリ容量1GByteの計算機に実装することにより、10万個のトラヒック時系列データに対して同時にトラヒックリープの検出を行うことが可能である。
その際、10万個のトラヒック時系列データ全てに対する1回分のトラヒックリープ判定に要した合計時間は、約3秒であった。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本
発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
11,12,15,21,22,23 演算手段
100 トラヒックリープ検出装置
110 ノイズフィルタ
111 低周波ノイズフィルタ
112 高周波ノイズフィルタ
113 平均値計算装置
120 リープ判定装置
121 閾値設定装置
200 トラフック監視装置
300 制御装置
Claims (6)
- インターネットバックボーンを流れるトラヒック量の時系列データに対し、トラヒック量の急激な変化であるトラヒックリープを異常として検出するトラヒックリープ検出装置であって、
低周波ノイズフィルタと、高周波ノイズフィルタと、平均値計算装置とを有するノイズフィルタと、
前記ノイズフィルタが出力する時系列データに対し、自動で閾値を設定しトラヒックリープの有無を判定するリープ判定装置とを有し、
前記低周波ノイズフィルタは、時点(t)のトラヒック量x(t)と、時点(t)の一つ前の時点のトラヒック量x(t−1)を格納する格納手段と、
前記格納手段に格納されたトラヒック量x(t)とトラヒック量x(t−1)の差分の絶対値y(t)を計算し、出力する演算手段とを有し、
前記平均値計算装置は、前記低周波ノイズフィルタから出力される差分の絶対値y(t)を複数個格納する格納手段と、
前記格納手段に格納された前記複数個の差分の絶対値の平均値β(t)を計算し、出力する演算手段と有し、
前記高周波ノイズフィルタは、前記低周波ノイズフィルタから出力された差分の絶対値y(t)を、前記平均値計算装置から出力される平均値β(t)で除算し、補正時系列データz(t)として出力する演算手段を有することを特徴とするトラヒックリープ検出装置。 - 前記平均値計算装置の前記格納手段は、過去に前記リープ判定装置によってトラヒックリープが発生したと判定された時点の差分の絶対値をy(t’)とするとき、時点(t−1)から時点(t’)時の差分の絶対値y(t’)を除いた過去M個分の差分の絶対値y(k)(k=t,...,t−M)を格納し、
前記平均値計算装置の前記演算手段は、前記格納手段に格納された前記M個分の差分の絶対値の平均値を計算し、出力することを特徴とする請求項1に記載のトラヒックリープ検出装置。 - 閾値設定装置を有し、
前記閾値設定装置は、前記ノイズフィルタの出力である複数の補正時系列データz(t)を格納する格納手段と、
前記格納手段に格納された前記複数の補正時系列データz(t)の平均値μ(t)を計算する演算手段1と、
前記格納手段に格納された前記複数の補正時系列データz(t)の標準偏差σi(t)を計算する演算手段2と、
前記演算手段1で計算された平均値μ(t)と、前記演算手段2で計算された標準偏差σi(t)とを用いて閾値B(t)を計算し、出力する演算手段3とを有し、
前記リープ判定装置は、補正時系列データz(t)と、閾値B(t)との大小関係を比較し、補正時系列データz(t)が、閾値B(t)を上回った場合にトラヒックリープが発生したと判定することを特徴とする請求項1または請求項2に記載のトラヒックリープ検出装置。 - 前記閾値設定装置の格納手段は、過去に前記リープ判定装置によってトラヒックリープが発生したと判定された時点の補正時系列データをz(t’)とするとき、時点(t−1)から時点(t’)時の補正時系列データz(t’)を除いた過去N個分の補正時系列データz(j)(j=t,...,t−N)を格納し、
前記閾値設定装置の演算手段1は、前記格納手段に格納された前記N個分の補正時系列データの平均値を計算し、
前記閾値設定装置の演算手段2は、前記格納手段に格納された前記N個分の補正時系列データの標準偏差を計算することを特徴とする請求項3に記載のトラヒックリープ検出装置。 - インターネットバックボーンを流れるトラヒック量の時系列データに対し、トラヒック量の急激な変化であるトラヒックリープを異常として検出するトラヒックリープ検出方法であって、
時点(t)のトラヒック量x(t)と、時点(t)の一つ前の時点のトラヒック量x(t−1)の差分の絶対値y(t)を計算するステップ1と、
前記ステップ1で計算された差分の絶対値y(t)の平均値β(t)を計算するステップ2と、
前記ステップ1で計算された絶対値y(t)を、前記ステップ2で計算された平均値β(t)で除算し、補正時系列データz(t)として出力するステップ3と、
前記ステップ3で出力された時系列データに対し、自動で閾値を設定しトラヒックリープの有無を判定するステップ4とを有することを特徴とするトラヒックリープ検出方法。 - 前記ステップ4は、前記ステップ3で出力された補正時系列データz(t)の平均値μ(t)を計算するステップ21と、
前記ステップ3で出力された補正時系列データz(t)の標準偏差σi(t)を計算するステップ22と、
前記ステップ21で計算された時系列データの平均値μ(t)と、前記ステップ22で計算された標準偏差σi(t)とを用いて閾値B(t)を計算するステップ23と、
前記ステップ1で変換された補正時系列データz(t)と、前記ステップ23で計算された閾値B(t)との大小関係を比較し、補正時系列データz(t)が、閾値B(t)を上回った場合にトラヒックリープが発生したと判定するステップとを有することを特徴とする請求項5に記載のトラヒックリープ検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007046505A JP4354496B2 (ja) | 2007-02-27 | 2007-02-27 | トラヒックリープ検出装置及びトラヒックリープ検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007046505A JP4354496B2 (ja) | 2007-02-27 | 2007-02-27 | トラヒックリープ検出装置及びトラヒックリープ検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008211541A JP2008211541A (ja) | 2008-09-11 |
JP4354496B2 true JP4354496B2 (ja) | 2009-10-28 |
Family
ID=39787469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007046505A Expired - Fee Related JP4354496B2 (ja) | 2007-02-27 | 2007-02-27 | トラヒックリープ検出装置及びトラヒックリープ検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4354496B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4721362B2 (ja) * | 2007-06-12 | 2011-07-13 | 日本電信電話株式会社 | 閾値設定方法とシステムおよびプログラム |
-
2007
- 2007-02-27 JP JP2007046505A patent/JP4354496B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008211541A (ja) | 2008-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107871190B (zh) | 一种业务指标监控方法及装置 | |
US10747188B2 (en) | Information processing apparatus, information processing method, and, recording medium | |
CN109558295B (zh) | 一种性能指标异常检测方法及装置 | |
US10061677B2 (en) | Fast automated detection of seasonal patterns in time series data without prior knowledge of seasonal periodicity | |
EP3120248B1 (en) | Unsupervised anomaly detection for arbitrary time series | |
EP3314762B1 (en) | Adaptive filtering based network anomaly detection | |
CN112188531B (zh) | 异常检测方法、装置、电子设备及计算机存储介质 | |
JP6141235B2 (ja) | 時系列データにおける異常を検出する方法 | |
US20050209823A1 (en) | Method and apparatus for comparing a data set to a baseline value | |
CN110445680B (zh) | 网络流量异常检测方法、装置及服务器 | |
CN110688617B (zh) | 风机振动异常检测方法及装置 | |
KR20150038356A (ko) | 유전적 프로그래밍을 이용한 잔여 유효 수명의 추정 | |
JP2009253362A (ja) | ネットワーク性能予測システム、ネットワーク性能予測方法およびプログラム | |
CN114844762B (zh) | 告警真实性检测方法和装置 | |
JP2018081523A (ja) | 設備診断装置及び設備診断方法 | |
JP5310094B2 (ja) | 異常検出システム、異常検出方法および異常検出用プログラム | |
CN114285612B (zh) | 一种异常数据检测的方法、系统、装置、设备及介质 | |
JP4354496B2 (ja) | トラヒックリープ検出装置及びトラヒックリープ検出方法 | |
JP5354174B2 (ja) | 機械設備における異常診断システム | |
CN113434823B (zh) | 数据采集任务异常预警方法、装置、计算机设备和介质 | |
CN112346939A (zh) | 告警方法、装置、设备和存储介质 | |
JP7127477B2 (ja) | 学習方法、装置及びプログラム、並びに設備の異常診断方法 | |
CN111695829A (zh) | 一种指标波动周期计算方法、装置、存储介质及电子设备 | |
CN109842586B (zh) | 异常网络流量检测方法、装置和存储介质 | |
JP2016057651A (ja) | 時系列データの解析方法及び時系列データの異常監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090728 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090729 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4354496 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130807 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |