WO2009090939A1 - ネットワーク異常検出装置及び方法 - Google Patents
ネットワーク異常検出装置及び方法 Download PDFInfo
- Publication number
- WO2009090939A1 WO2009090939A1 PCT/JP2009/050318 JP2009050318W WO2009090939A1 WO 2009090939 A1 WO2009090939 A1 WO 2009090939A1 JP 2009050318 W JP2009050318 W JP 2009050318W WO 2009090939 A1 WO2009090939 A1 WO 2009090939A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- network
- model
- abnormality
- distribution
- probability
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0681—Configuration of triggering conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
Definitions
- the following network properties are points to consider when detecting network anomalies.
- the first property is that there is interaction for each vertex on the network. It is necessary to consider the overall network structure (graph structure) such as how the network is under this interaction and how it works.
- the overall structure here is, for example, a structure indicating that all vertices are working uniformly, and that there are a small number of important vertices operating in a focused manner.
- Patent Document 1 As a network abnormality detection method considering the above properties, there is a method described in Japanese Patent Laid-Open No. 2005-216066 (hereinafter referred to as Patent Document 1).
- Patent Document 1 a normal state of a vector is learned by using a maximum eigenvector of a matrix having a network feature amount as a component, and a case where the vector is significantly different from a normal vector is detected as an abnormality.
- the characteristic structures of networks include those described in Non-Patent Documents 1 to 3 below.
- the traffic on the network there may be a hierarchical structure where there are hubs that play an important role in a certain area, and there are hubs that combine them when viewed in a wider area.
- a network having such a hierarchical structure when an abnormality such as the occurrence of a worm occurs, the entire traffic becomes the same traffic, or only a part thereof becomes strange. In order to detect such an abnormality, it is necessary to consider the hierarchical structure of the network.
- An object of the present invention is to provide a network anomaly detection apparatus and method capable of solving the above-described problems and detecting an anomaly in consideration of the overall network structure.
- the network anomaly detection apparatus receives data representing a network state as a hierarchical matrix variable and inputs a data distribution that learns the network state as a probability distribution of the matrix variable.
- An abnormality that detects, as an abnormality in the network, a state in which the probability distribution has transitioned from a distribution indicating a normal state of the network to a distribution indicating another state based on a learning result by the learning unit and the data distribution learning unit And a detection unit.
- FIG. 1 is a block diagram showing a configuration of a network abnormality detection apparatus according to an embodiment of the present invention.
- FIG. 2 is a flowchart for explaining an abnormality detection process performed in the network abnormality detection apparatus shown in FIG.
- the structure candidate enumeration means 2 enumerates structures in the vicinity of the hierarchical structure selected as the optimum structure at the present time. However, when it is not necessary to save the calculation amount, the structure candidate enumeration unit 2 may enumerate all possible structures.
- the structure is, for example, a direct product structure of matrices.
- the Cartesian product structure of a matrix is generally
- Each element ( ⁇ ) corresponds to a hierarchical structure.
- the possible structure is a hierarchical structure that can be created by dividing this ⁇ .
- the possible hierarchical structure is determined by how many ⁇ are multiplied by ⁇ and how many dimensions of each ⁇ are. For example,
- the structure can be expressed as follows.
- the data distribution model may be a probability distribution of matrix variables having a matrix type parameter having a hierarchical structure.
- the data distribution model is a normal distribution of matrix variables whose parameter matrix has a direct product structure.
- the model generation unit 31 acquires information on the parameters and structure of the previous model from the probability model storage unit 32, receives information on the structure of the newly generated model from the neighboring structure generation unit 22, and stores a plurality of models.
- the parameter and structure information is supplied to each model parameter update unit 41.
- ⁇ ′1 and ⁇ ′2 that minimize the value are obtained and set as the parameter values of the new model.
- the parameters may be determined so that the log likelihood within the time width L given by the following equation is maximized.
- a method for determining parameters as in the above example is called a learning method.
- the updated parameter and structure information is stored in the probability model storage unit 42.
- the information stored in the probability model storage unit 42 is sent to the probability model storage unit 32 every time the information is updated.
- the product structure of the kth model at time j is
- Is detected as a change in the hierarchical structure As a change in structure, a change is detected that the hierarchical structure itself has not changed, but the structure in any hierarchy has changed.
- a method for detecting a structural change in any one of these hierarchies a method of calculating the amount of change from one hour before the parameter matrix of each layer and detecting a sudden change in the amount may be used. I can do it.
Abstract
Description
2.(C. Song, S. Havlin and H. Makse, ‘Self-similarity of complex networks’, Nature vol. 433, pp.392-395 (2005).)
3.(Jure Leskovec and Christos Faloutsos, ‘Scalable Modeling of Real Graphs using Kronecker Multiplication’, ICML2007
非特許文献1には、ネットワークの構造について、多くの現実のネットワークがスケールフリー性を持つことが示されている。ここで、スケールフリー性とは、ネットワークの多くの頂点が少ないリンク数を持つ一方、膨大なリンクを持つ頂点も少数ながら存在するという性質のことをいう。Webページを例に挙げると、人気のページは、膨大な数のページから参照されるが、他の大多数のページは、少数の参照元しか持たない。このような性質をスケールフリー性と呼ぶ。
2 構造候補列挙手段
3 モデル生成手段
4 分布学習手段
5 モデル選択手段
6 異常スコア計算手段
7 構造変化検出手段
8 出力装置
(1)隣接する二つの階層の次元を交換した構造
Claims (11)
- ネットワークの状態を階層構造の行列変数で表したデータを入力とし、前記ネットワークの状態を前記行列変数の確率分布として学習するデータ分布学習部と、
前記データ分布学習部による学習の結果に基づいて、前記確率分布が前記ネットワークの通常の状態を示す分布から他の状態を示す分布に遷移した状態を前記ネットワークの異常として検出する異常検出部と、を有する、ネットワーク異常検出装置。 - 前記データ分布学習部は、
入力される前記データの階層構造に対応する候補として複数の異なる構造を列挙する構造候補列挙手段と、
前記構造候補列挙手段にて列挙された構造のそれぞれについて、当該構造と同じ階層構造の行列変数を持つ確率モデルを生成するモデル生成手段と、
前記モデル生成手段で生成した確率モデルのそれぞれについて、該確率モデルの行列変数として与えられているパラメータを、入力される前記データに基づいて更新する分布学習手段と、
前記分布学習手段にてパラメータの更新がなされた確率モデルのそれぞれについて、モデル選択の指標である情報量規準の値を計算し、該情報量規準の値が最も小さな確率モデルを最適なモデルとして選択するモデル選択手段と、を有し、
前記異常検出部は、前記モデル選択手段にて選択した最適なモデルの行列変数の確率分布に関する学習の結果に基づいて前記ネットワークの異常を検出する、請求の範囲第1項に記載のネットワーク異常検出装置。 - 前記構造候補列挙手段は、前記モデル選択手段にて最適なモデルの選択がなされると、該選択された最適なモデルの階層構造に類似した複数の異なる構造を前記候補として列挙する、請求の範囲第2項に記載のネットワーク異常検出装置。
- 前記異常検出部は、前記モデル選択手段にて選択された最適なモデルにより与えられる入力データの、前記ネットワークが通常の状態における入力データとの差を示す異常度スコアを計算する異常度スコア計算手段を有する、請求の範囲第2項または第3項に記載のネットワーク異常検出装置。
- 前記異常度スコア計算手段は、前記異常度スコアが閾値を越えるか否かを判定し、その判定結果を出力する、請求の範囲第4項に記載のネットワーク異常検出装置。
- 前記異常検出部は、前記モデル選択手段にて選択された最適なモデルに基づいて前記ネットワークの階層構造の変化を検出する構造変化検出手段を有する、請求の範囲第2項または第3項に記載のネットワーク異常検出装置。
- ネットワークの状態を階層構造の行列変数で表したデータを入力するコンピュータシステムにおいて行われるネットワーク異常検出方法であって、
データ分布学習部が、入力される前記データに基づいて、前記ネットワークの状態を前記行列変数の確率分布として学習し、
異常検出部が、前記データ分布学習部による学習の結果に基づいて、前記確率分布が前記ネットワークの通常の状態を示す分布から他の状態を示す分布に遷移した状態を前記ネットワークの異常として検出する、ネットワーク異常検出方法。 - 前記データ分布学習部による学習のステップは、
入力される前記データの階層構造に対応する候補として複数の異なる構造を列挙する第1のステップと、
前記第1のステップで列挙された構造のそれぞれについて、当該構造と同じ階層構造の行列変数を持つ確率モデルを生成する第2のステップと、
前記第2のステップで生成した確率モデルのそれぞれについて、該確率モデルの行列変数として与えられているパラメータを、入力される前記データに基づいて更新する第3のステップと、
前記第3のステップでパラメータの更新がなされた確率モデルのそれぞれについて、モデル選択の指標である情報量規準の値を計算し、該情報量規準の値が最も小さな確率モデルを最適なモデルとして選択する第4のステップを含み、
前記異常検出部による異常検出のステップは、前記第4のステップで選択した前記最適なモデルの行列変数の確率分布に関する学習の結果に基づいて前記ネットワークの異常を検出するステップである、請求の範囲第7項に記載のネットワーク異常検出方法。 - 前記第1のステップは、前記第4のステップで選択された最適なモデルの階層構造に類似した複数の異なる構造を前記候補として列挙するステップである、請求の範囲第8項に記載のネットワーク異常検出方法。
- 前記異常検出部による異常検出のステップは、前記第4のステップで選択された最適なモデルにより与えられる入力データの、前記ネットワークが通常の状態における入力データとの差を示す異常度スコアを計算し、該異常度スコアの計算結果に基づいて前記ネットワークの異常を検出するステップを含む、請求の範囲第8項または第9項に記載のネットワーク異常検出方法。
- 前記異常検出部による異常検出のステップは、前記第4のステップで選択された最適なモデルに基づいて前記ネットワークの階層構造の変化を検出し、該構造変化の検出結果に基づいて前記ネットワークの異常を検出するステップを含む、請求の範囲第8項または第9項に記載のネットワーク異常検出方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/812,471 US20110107155A1 (en) | 2008-01-15 | 2009-01-13 | Network fault detection apparatus and method |
JP2009550016A JPWO2009090939A1 (ja) | 2008-01-15 | 2009-01-13 | ネットワーク異常検出装置及び方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008-005603 | 2008-01-15 | ||
JP2008005603 | 2008-01-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2009090939A1 true WO2009090939A1 (ja) | 2009-07-23 |
Family
ID=40885328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/050318 WO2009090939A1 (ja) | 2008-01-15 | 2009-01-13 | ネットワーク異常検出装置及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20110107155A1 (ja) |
JP (1) | JPWO2009090939A1 (ja) |
WO (1) | WO2009090939A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103716820A (zh) * | 2012-09-29 | 2014-04-09 | 华为技术有限公司 | 小区失效检测方法及装置、终端切换控制方法及装置 |
JP2016189062A (ja) * | 2015-03-30 | 2016-11-04 | 有限責任監査法人トーマツ | 異常検出装置、異常検出方法及びネットワーク異常検出システム |
US11411850B2 (en) | 2018-03-14 | 2022-08-09 | Nec Corporation | Traffic analysis apparatus, method, and program |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9419866B2 (en) * | 2012-11-01 | 2016-08-16 | Huawei Technologies Co., Ltd. | Method, node, and monitoring center detecting network fault |
EP2997756B1 (en) * | 2013-05-14 | 2017-12-06 | Nokia Solutions and Networks Oy | Method and network device for cell anomaly detection |
WO2015091784A1 (en) | 2013-12-19 | 2015-06-25 | Bae Systems Plc | Data communications performance monitoring |
EP2887578A1 (en) * | 2013-12-19 | 2015-06-24 | BAE Systems PLC | Network fault detection and location |
EP3085017A1 (en) | 2013-12-19 | 2016-10-26 | BAE Systems PLC | Method and apparatus for detecting fault conditions in a network |
CN104268071B (zh) * | 2014-10-23 | 2017-02-15 | 浙江力太科技有限公司 | 保证oee停机计时准确性方法 |
EP3018860B1 (en) * | 2014-11-06 | 2017-04-19 | Telefonaktiebolaget LM Ericsson (publ) | Outage compensation in a cellular network |
US9866578B2 (en) * | 2014-12-03 | 2018-01-09 | AlphaSix Corp. | System and method for network intrusion detection anomaly risk scoring |
EP3345342B1 (en) * | 2015-12-08 | 2020-10-07 | Siemens Aktiengesellschaft | Determining a network topology of a hierarchical power supply network |
EP3342099B1 (en) * | 2015-12-08 | 2020-02-05 | Siemens Aktiengesellschaft | Automatic identification of a network node causing a network outage |
CN114254751A (zh) * | 2020-09-21 | 2022-03-29 | 华为技术有限公司 | 协同推理方法及通信装置 |
CN113903170B (zh) * | 2021-08-30 | 2023-07-14 | 航天科工广信智能技术有限公司 | 基于结构自适应自演化深度学习的大规模路网交通流预测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0637782A (ja) * | 1992-07-20 | 1994-02-10 | Hitachi Cable Ltd | ネットワーク装置 |
JP2005141601A (ja) * | 2003-11-10 | 2005-06-02 | Nec Corp | モデル選択計算装置,動的モデル選択装置,動的モデル選択方法およびプログラム |
JP2005216066A (ja) * | 2004-01-30 | 2005-08-11 | Internatl Business Mach Corp <Ibm> | 異常検出システム及びその方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030051026A1 (en) * | 2001-01-19 | 2003-03-13 | Carter Ernst B. | Network surveillance and security system |
WO2003065244A1 (en) * | 2002-01-30 | 2003-08-07 | Board Of Regents, The University Of Texas System | Probabilistic boolean networks |
US7277400B2 (en) * | 2002-03-06 | 2007-10-02 | Lucent Technologies Inc. | Method of monitoring state of a telecommunications network comprising a plurality of nodes, and a corresponding telecommunications network |
US7489638B2 (en) * | 2004-04-08 | 2009-02-10 | Alcatel-Lucent Usa Inc. | Scheduling with delayed graphs for communication networks |
JP4523444B2 (ja) * | 2005-02-10 | 2010-08-11 | 富士通株式会社 | 通信ネットワークにおける障害の原因を特定する障害管理装置および方法 |
WO2007055222A1 (ja) * | 2005-11-08 | 2007-05-18 | Tohoku University | ネットワーク異常検知方法およびネットワーク異常検知システム |
US20080126859A1 (en) * | 2006-08-31 | 2008-05-29 | Guo Shang Q | Methods and arrangements for distributed diagnosis in distributed systems using belief propagation |
US20090185496A1 (en) * | 2008-01-22 | 2009-07-23 | Robert Duncan Doverspike | Network performance and reliability evaluation taking into account attributes other than only the capacities of edges |
-
2009
- 2009-01-13 US US12/812,471 patent/US20110107155A1/en not_active Abandoned
- 2009-01-13 JP JP2009550016A patent/JPWO2009090939A1/ja active Pending
- 2009-01-13 WO PCT/JP2009/050318 patent/WO2009090939A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0637782A (ja) * | 1992-07-20 | 1994-02-10 | Hitachi Cable Ltd | ネットワーク装置 |
JP2005141601A (ja) * | 2003-11-10 | 2005-06-02 | Nec Corp | モデル選択計算装置,動的モデル選択装置,動的モデル選択方法およびプログラム |
JP2005216066A (ja) * | 2004-01-30 | 2005-08-11 | Internatl Business Mach Corp <Ibm> | 異常検出システム及びその方法 |
Non-Patent Citations (1)
Title |
---|
YAMADA A.: "Characterization and Anomaly Detection for Network Log Using Attribute Oriented Induction", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 47, no. 8, 15 August 2006 (2006-08-15), pages 2488 - 2498 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103716820A (zh) * | 2012-09-29 | 2014-04-09 | 华为技术有限公司 | 小区失效检测方法及装置、终端切换控制方法及装置 |
CN103716820B (zh) * | 2012-09-29 | 2016-12-21 | 华为技术有限公司 | 小区失效检测方法及装置、终端切换控制方法及装置 |
JP2016189062A (ja) * | 2015-03-30 | 2016-11-04 | 有限責任監査法人トーマツ | 異常検出装置、異常検出方法及びネットワーク異常検出システム |
US11411850B2 (en) | 2018-03-14 | 2022-08-09 | Nec Corporation | Traffic analysis apparatus, method, and program |
Also Published As
Publication number | Publication date |
---|---|
US20110107155A1 (en) | 2011-05-05 |
JPWO2009090939A1 (ja) | 2011-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2009090939A1 (ja) | ネットワーク異常検出装置及び方法 | |
US11720821B2 (en) | Automated and customized post-production release review of a model | |
KR102118670B1 (ko) | Ict 인프라 관리 시스템 및 이를 이용한 ict 인프라 관리 방법 | |
Li et al. | Data-driven bearing fault identification using improved hidden Markov model and self-organizing map | |
Di Martino et al. | A genetic algorithm to configure support vector machines for predicting fault-prone components | |
US7769561B2 (en) | Robust sensor correlation analysis for machine condition monitoring | |
US20210266230A1 (en) | Classification and Relationship Correlation Learning Engine for the Automated Management of Complex and Distributed Networks | |
JP7044117B2 (ja) | モデル学習装置、モデル学習方法、及びプログラム | |
Karabağ et al. | Integrated optimization of maintenance interventions and spare part selection for a partially observable multi-component system | |
KR102320706B1 (ko) | 설비 모니터링 시스템의 모델 임계값 설정 방법 | |
JP2008536218A (ja) | 確率モデル作成用のコンピュータシステム | |
KR102531645B1 (ko) | 모델의 성능 테스트를 위한 컴퓨터 프로그램 | |
US20230102786A1 (en) | Ccontinuous knowledge graph generation using causal event graph feedback | |
US20230122406A1 (en) | Causal event prediction for events | |
JPWO2016147657A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2012164314A (ja) | 現象における変数の影響を決定する方法 | |
KR20210108874A (ko) | 기계 학습을 사용하여 스토리지 장치 장애를 예측하는 시스템 및 장치 | |
KR100686399B1 (ko) | 컴퓨터 상에서 상관관계 기반의 하이브리드 특징 선택을 통한 경량화된 침입탐지방법 | |
WO2020136859A1 (ja) | 推定装置、推定方法、及びコンピュータ読み取り可能な記録媒体 | |
Samarakoon et al. | System abnormality detection in stock market complex trading systems using machine learning techniques | |
Tetskyi et al. | Architecture and model of neural network based service for choice of the penetration testing tools | |
Shao et al. | Hybrid artificial neural networks modeling for faults identification of a stochastic multivariate process | |
Zeng et al. | Approximate solutions of interactive dynamic influence diagrams using model clustering | |
KR102320707B1 (ko) | 설비 모니터링 시스템의 설비 고장 분류 방법 | |
JP7215574B2 (ja) | 監視システム、監視方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09702793 Country of ref document: EP Kind code of ref document: A1 |
|
DPE1 | Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101) | ||
WWE | Wipo information: entry into national phase |
Ref document number: 2009550016 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 12812471 Country of ref document: US |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 09702793 Country of ref document: EP Kind code of ref document: A1 |