JP7100155B2 - アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体 - Google Patents

アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体 Download PDF

Info

Publication number
JP7100155B2
JP7100155B2 JP2020558938A JP2020558938A JP7100155B2 JP 7100155 B2 JP7100155 B2 JP 7100155B2 JP 2020558938 A JP2020558938 A JP 2020558938A JP 2020558938 A JP2020558938 A JP 2020558938A JP 7100155 B2 JP7100155 B2 JP 7100155B2
Authority
JP
Japan
Prior art keywords
alarm
log
alarm type
type
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020558938A
Other languages
English (en)
Other versions
JP2021519988A (ja
Inventor
シー,ジーユエン
ジャーン,リヤーン
リー,シーハオ
バオ,ドーァウエイ
リー,ジエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2021519988A publication Critical patent/JP2021519988A/ja
Priority to JP2022105841A priority Critical patent/JP7325584B2/ja
Application granted granted Critical
Publication of JP7100155B2 publication Critical patent/JP7100155B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0604Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03Data mining

Description

この出願は、通信技術の分野に関する。そして、特には、アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体に関する。
この出願は、2018年4月23日に中国特許庁に出願された、タイトルが“ALARM LOG COMPRESSION METHOD, APPARATUS, AND SYSTEM, AND STORAGE MEDIUM”の中国特許出願第20181037089.0号について優先権を主張するものであり、その全体が参照によりこの出願において包含されている。
通信ネットワークは、大量のネットワークデバイスを含んでいる。これらのネットワークデバイスは、毎日大量のアラームログを生成している。アラームログは、障害(fault)のせいでネットワークデバイスによって生成される情報である。アラームログは、たいてい、アラームログを生成するネットワークデバイスの識別子、(ネットワークデバイスにおいて発生する障害を示すために使用される)アラームタイプ、および、アラームログの生成タイムスタンプ、といった情報を含んでいる。各ネットワークデバイスは、アラームログ処理装置に対して生成されたアラームログを報告する。ネットワーク監視(monitoring)技術者は、アラームログ処理装置においてアラームログを分析して、通信ネットワーク内で存在する問題を発見し、そして、ネットワーク保守(maintenance)技術者に対して問題をフィードバックする。
通信技術の急速な発達に伴い、現在、様々なタイプの通信ネットワークの規模が増大しており、通信ネットワークの構造はますます複雑になり、そして、通信ネットワークにおけるネットワークデバイスのタイプおよび量が増加している。大量のネットワークデバイスが、大量のアラームログを生成しており、そして、大部分のアラームログは、無効または冗長なアラームログである。もし、ネットワークデバイスによって生成される全てのアラームログがネットワーク監視エンジニアに対して提示されるとすれば、ネットワーク監視エンジニアの分析ワークロードが重くなる。その結果、アラームログを効果的にモニタリングまたは分析することができず、そして、ネットワーク内に存在する問題をタイムリーに突き止めることができない。従って、ネットワーク監視エンジニアの作業効率を改善するためには、ネットワーク監視エンジニアに対して提示されるアラームログの量を減らすように、アラームログを効果的に圧縮し、かつ、いくつかの無効または冗長なアラームログをフィルタで除去(filter out)する必要がある。
アラームログ圧縮方法は、関連技術において提供されており、そして、異なるアラームタイプ間で関連規則(association rule)を確立するために、自動頻発アイテムセットマイニング方法(automatic frequent itemset mining method)に従って履歴アラームログをマイニングするステップ、次いで、専門技術者によって、関連規則の精度を決定し、かつ、各関連規則における根本原因(root cause)アラームタイプおよびマイナー(minor)アラームタイプを決定するステップと、アラームログが生成された後で、事前決定された関連規則に基づいてネットワーク監視エンジニアに対して、アラームタイプが根本原因アラームタイプであるアラームログを提示するステップと、アラームログを圧縮するために、マイナーアラームタイプをフィルタで除去するステップ、を含んでいる。同じ関連規則において、ネットワークデバイス上で発生し、かつ、マイナーアラームタイプによって示される障害は、ネットワークデバイス上で発生し、かつ、根本原因アラームタイプによって示される障害によって引き起こされる。
しかしながら、関連技術では、自動頻発アイテムセットマイニング方法に従って異なるアラームタイプ間の関連規則を確立するプロセスにおいては、頻発アイテムセットを決定するために、履歴アラームログを複数回にわたりトラバース(traverse)する必要がある。大量のアラーム履歴が存在する場合、マイニング効率は比較的に低い。加えて、実際のアプリケーションにおいては、いくつかのアラームタイプが比較的に低い頻度で発生するので、異なるアラームタイプについて関連規則を確立する包括性(comprehensiveness)を実装するためには、頻発アイテムセットのサポート程度(support degree)を比較的に低く設定する必要がある。サポート程度がより低いと、結果として、決定される頻発アイテムセットの量が多くなり、かつ、頻発アイテムセットに基づいて確立される関連規則の量が多くなる。従って、比較的低いサポート程度が、マイニングを通じて獲得される大量の連想規則をもたらす。その結果、関連規則の正確性を決定するプロセス、および、関連規則における根本原因アラームタイプを決定するプロセスにおいて、時間コストが比較的に大きい。
この出願に係る実施形態は、アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体を提供し、関連する技術において関連規則のマイニング効率が比較的に低く、そして、時間コストが比較的に高いという問題を解決する。技術的ソリューションは、以下のとおりである。
第1態様に従って、この出願は、圧縮装置に対して適用される、アラームログ圧縮方法を提供する。そして、本方法は、
通信ネットワーク内で第1ネットワークデバイスによって生成された履歴アラームログセットを取得するステップであり、前記履歴アラームログセットは、複数の履歴アラームログを含み、かつ、各履歴アラームログは、アラームタイプおよび生成タイムスタンプを含む、ステップと、
前記履歴アラームログセットを、前記履歴アラームログセット内の履歴アラームログの生成タイムスタンプに基づいて、複数の履歴アラームログサブセットへと分割するステップであり、各履歴アラームログサブセット内の全ての履歴アラームログは、時系列において連続しており、かつ、前記複数の履歴アラームログサブセットの和集合は、前記履歴アラームログセット内の全ての履歴アラームログを含む、ステップと、
前記履歴アラームログセット内のアラームタイプと、前記複数の履歴アラームログサブセットとの間の対応を決定するステップと、
少なくとも1つの関連規則を生成するために、前記対応に基づいて、履歴アラームログセット内の前記アラームタイプについてクラスタリング処理を実行するステップであり、各関連規則は、相互に関連付けられた根本原因アラームタイプおよび少なくとも1つのマイナーアラームタイプを含む、ステップと、
アラームタイプが前記根本原因アラームタイプであるアラームログを取得するために、前記少なくとも1つの関連規則に基づいて、複数の処理されるアラームログを圧縮するステップと、を含む。
この出願において、履歴アラームログセットは、履歴アラームログの生成タイムスタンプに基づいて、複数の履歴アラームログサブセットへと分割されることが留意されるべきである。各履歴アラームログサブセット内の全ての履歴アラームログは、時系列において連続しているので、関連規則をマイニングするために、アラームタイプ間の時間的相関が、各履歴アラームログサブセットに基づいて取得される。マイニングプロセスにおいては、生成タイムスタンプに基づいて実行された分割を通して取得された複数の履歴アラームログサブセットにおけるアラームタイプだけがトラバースされる(traversed)必要がある。次いで、各アラームタイプと複数の履歴アラームログサブセットとの間の対応が決定され、そして、関連規則を生成するために、対応に基づいてラスタリング処理がアラームタイプに対して実行される。関連技術と比較して、この出願においては、履歴アラームログが複数回にわたりトラバースされる必要はなく、そして、関連規則のマイニング効率が改善されている。加えて、この出願において、アラームタイプ間の時間的相関に基づいてマイニングされる関連規則の量は、関連技術における頻繁なアイテムセット(frequent itemset)に基づいてマイニングされる関連規則の量よりはるかに少ない。従って、時間コストが、関連規則の正確性を決定するプロセスおよび関連規則における根本原因アラームタイプを決定するプロセスにおいて低減される。
任意的に、前記履歴アラームログセット内のアラームタイプと、前記複数の履歴アラームログサブセットとの間の対応を決定する前記ステップは、
第1アラームタイプセットを取得するために、前記履歴アラームログセット内の全てのアラームタイプを取得するステップと、
前記第1アラームタイプセットにおける各アラームタイプの時系列ベクトルを決定するステップであり、各時系列ベクトルは、対応するアラームタイプと前記複数の履歴アラームログサブセットとの間の対応を反映するために使用される、ステップと、を含み、ここで、各アラームタイプに対応する前記時系列ベクトルについて、前記時系列ベクトル内の値は、前記複数の履歴アラームログサブセットと1対1に対応しており、前記時系列ベクトル内の値は、第1値および第2値のうちの少なくとも1つを含み、前記第1値は、対応する履歴アラームログサブセット内に前記アラームタイプが存在することを示すために使用され、前記第2値は、対応する履歴アラームログサブセット内に前記アラームタイプが存在しないことを示すために使用され、かつ、前記第1値は、前記第2値とは異なっている。
前記第1アラームタイプセットにおける各アラームタイプの時系列ベクトルを決定する前記ステップは、
前記第1アラームタイプセットにおける各アラームタイプについて、時系列ベクトル決定プロシージャを実行するステップ、を含む。
前記時系列ベクトル決定プロシージャは、
前記アラームタイプが、前記複数の履歴アラームログサブセット内に存在するか否か順次に検出するステップと、
検出結果に基づいて、前記アラームタイプの前記時系列ベクトルを決定するステップと、を含む。
少なくとも1つの関連規則を生成するために、前記対応に基づいて、履歴アラームログセット内の前記アラームタイプについてクラスタリング処理を実行する前記ステップは、
前記少なくとも1つの関連規則を生成するために、全てのアラームタイプの前記時系列ベクトルに基づいて、前記第1アラームタイプセット内の全てのアラームタイプについてクラスタリング処理を実行するステップ、を含む。
各アラームタイプと複数の履歴アラームログサブセットとの間の対応を決定するために、分割を通じて時間ウィンドウが取得され、かつ、アラームタイプの時系列ベクトルが確立されることが留意されるべきである。本方法は、簡単であり、かつ、効率的である。
前記少なくとも1つの関連規則を生成するために、全てのアラームタイプの前記時系列ベクトルに基づいて、前記第1アラームタイプセット内の全てのアラームタイプについてクラスタリング処理を実行するための第1方法は、
前記第1アラームタイプセットについてクラスタリング操作を実行するステップ、を含み、ここで、前記クラスタリング操作は、
標アラームタイプセットおよび第2アラームタイプセットを設定するステップであり、前記目標アラームタイプセットおよび前記第2アラームタイプセットの両方が空集合である、ステップと、
前記目標アラームタイプセットに対して前記第1アラームタイプセット内の任意のアラームタイプを追加し、かつ、第1アラームタイプセットから、前記目標アラームタイプセットに対して追加した前記アラームタイプを削除する、ステップと、
前記第1アラームタイプセットが空集合になるまで決定プロシージャを繰り返し実行し、かつ、前記目標アラームタイプセットを関連規則として決定する、ステップと、
決定プロシージャを繰り返し実行した後で、前記第2アラームタイプセットが空集合でない場合には、新たな第1アラームタイプセットとして、前記第2アラームタイプセットを使用することにより、クラスタリング操作を繰り返して実行する、ステップ、もしくは、
決定プロシージャを繰り返し実行した後で、前記第2アラームタイプセットが空集合である場合には、前記クラスタリング操作の実行を停止する、ステップ、を含む。
前記決定プロシージャは、
処理されるアラームタイプと処理される前記目標アラームタイプセットとの間の相関を、前記処理されるアラームタイプの時系列ベクトルおよび前記目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出するステップであり、ここで、前記処理されるアラームタイプは、前記目標アラームタイプセット内のアラームタイプ以外の前記第1アラームタイプセット内の任意のアラームタイプである、ステップと、
前記相関が事前設定された相関閾値よりも大きい場合には、更新された目標アラームタイプを取得するために、前記処理されるアラームタイプを前記目標アラームタイプセットに対して追加し、かつ、前記処理されるアラームタイプを前記第1アラームタイプセットから削除する、ステップ、もしくは、
前記相関が前記事前設定された相関閾値を超えない場合には、前記処理されるアラームタイプを前記第2アラームタイプセットに対して追加し、かつ、前記処理されるアラームタイプを前記第1アラームタイプセットから削除する、ステップ、を含む。
前記少なくとも1つの関連規則を生成するために、全てのアラームタイプの前記時系列ベクトルに基づいて、前記第1アラームタイプセット内の全てのアラームタイプについてクラスタリング処理を実行するための第2方法は、
前記第1アラームタイプセット内の目標アラームタイプをマーキングするステップであり、ここで、前記目標アラームタイプは、前記第1アラームタイプセット内の任意のアラームタイプである、ステップと、
前記第1アラームタイプセットについてクラスタリング操作を実行するステップと、を含み、ここで、前記クラスタリング操作は、
前記第1アラームタイプセット内の全てのアラームタイプがトラバースされるまで、決定プロシージャを繰り返し実行するステップと、
決定プロシージャを繰り返し実行した後で、前記第1アラームタイプセット内でマークが設定されていないアラームタイプが存在する場合には、マークが設定されていない任意のアラームタイプを、新たな目標アラームタイプとして決定し、前記新たな目標アラームタイプにマーキングし、かつ、クラスタリング操作を繰り返し実行するステップであり、異なる目標アラームタイプに異なるマークが設定されている、ステップ、もしくは、
決定プロシージャを繰り返し実行した後で、前記第1アラームタイプセット内にマークが設定されていないアラームタイプが存在しない場合には、クラスタリング操作の実行を中止し、かつ、前記第1アラームタイプセットに基づいて少なくとも1つの関連規則を生成するステップであり、各関連規則の全てのアラームタイプについて同じマークが設定される、ステップ、を含む。
前記決定プロシージャは、
目標アラームタイプセットとして、目標アラームタイプと同じマークを有する第1アラームタイプセット内の全てのアラームタイプを含むセットを決定するステップと、
処理されるアラームタイプと前記目標アラームタイプセットとの間の相関を、前記処理されるアラームタイプの時系列ベクトルおよび前記目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出するステップであり、ここで、前記処理されるアラームタイプは、前記目標アラームタイプセット内のアラームタイプ以外の第1アラームタイプセット内の任意のアラームタイプである、ステップと、
前記相関が事前設定された相関閾値よりも大きい場合に、前記処理されるアラームタイプをマーキングするステップであり、前記処理されるアラームタイプのマークは、前記目標アラームタイプのマークと同じである、ステップと、を含む。
任意的に、処理されるアラームタイプと前記目標アラームタイプセットとの間の相関を、前記処理されるアラームタイプの時系列ベクトルおよび前記目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出する前記ステップは、
ピアソン相関係数式に従って、前記処理されるアラームタイプセットと前記目標アラームタイプセット内の各アラームタイプとの相関を算出するステップであり、前記ピアソン相関係数式は、
Figure 0007100155000001
であり、ここで、
Cor(i、i)は、アラームタイプiとアラームタイプiとの間の相関関係を表し、cov(ν、ν)は、νとνとの間の共分散(covariance)表し、σνiは、νの標準偏差を表し、σνjは、νの標準偏差を表し、νは、アラームタイプiの時系列ベクトルを表し、かつ、νは、アラームタイプiの時系列ベクトルを表している、ステップと、
平均相関計算式に従って、前記処理されるアラームタイプと前記目標アラームタイプセット内の各アラームタイプとの相関関係に基づいて、前記処理されるアラームタイプと前記目標アラームタイプセットとの間の相関関係を算出するステップであり、前記平均相関計算式は、
Figure 0007100155000002
であり、ここで、
AveCor(i、R)は、アラームタイプiと目標アラームタイプセットRとの間の相関を示し、かつ、|R|は、目標アラームタイプセットR内のアラームタイプの数量を示している、ステップと、を含む。
任意的に、通信ネットワーク内で第1ネットワークデバイスによって生成された履歴アラームログセットを取得する前記ステップは、
前記履歴アラームログセットを取得するために、各履歴アラームログから冗長情報を除去するように、第1事前設定された期間内に第1ネットワークデバイスによって生成された履歴アラームログを事前処理するステップ、を含む。
任意的に、各履歴アラームログは、2タプル(M、t)で表現されており、Mは、アラームログ情報を表し、tは、生成タイムスタンプを表し、かつ、前記アラームログ情報は、少なくともアラームタイプフィールドおよび前記第1ネットワークデバイスの識別子フィールドを含んでいる。
任意的に、前記履歴アラームログセット内の前記履歴アラームログは、時間の部分的な順序関係を有し、かつ、 前記履歴アラームログセットを、前記履歴アラームログセット内の履歴アラームログの生成タイムスタンプに基づいて、複数の履歴アラームログサブセットへと分割する前記ステップは、
前記履歴アラームログセット内の前記履歴アラームログの生成タイムスタンプセットを取得するステップと、
前記生成タイムスタンプセット、事前設定された時間ウィンドウ長、および、スライディングウィンドウ技術を使用することによるウィンドウスライディング段階に基づいて、前記履歴アラームログを前記複数の履歴アラームログサブセットへと分類するステップと、を含み、ここで、前記ウィンドウスライディング段階は、時間ウィンドウ長より大きくない。
さらに、本方法は、さらに、
第2の事前設定された期間内に、前記通信ネットワーク内で第2ネットワークデバイスによって生成された処理されるアラームログセットを取得するステップであり、前記処理されるアラームログセットは、前記複数の処理されるアラームログを含み、かつ、各処理されるアラームログは、アラームタイプおよび生成タイムスタンプを含む、ステップと、
前記処理されるアラームログセットに基づいて少なくとも1つのアラームイベントを生成するステップであり、各アラームイベントは、前記第2ネットワークデバイスによって生成されるものと同じアラームタイプのアラームログを示すために使用される、ステップと、を含む。
アラームイベントが再構成されるときには、アラームログ情報に関する統計がアラームイベントの粒度で収集され得る。それにより、統計収集を通じて取得されたアラームログ情報の精度および信頼性を改善している。
任意的に、前記処理されるアラームログセットに基づいて少なくとも1つのアラームイベントを生成する前記ステップは、
前記処理されるアラームログセットの各アラームタイプについて、前記処理されるアラームログセット内に存在し、かつ、前記アラームタイプのものである目標アラームログを取得するステップと、
時系列において隣接する前記処理されるアラームログセット内の2つの目標アラームログ毎の間の発生時間間隔を個別に計算するステップと、
同じアラームイベントに属する前記処理されるアラームログセット内の目標アラームログを、2つの目標アラームログ毎の間の前記発生時間間隔に基づいて、1つのアラームイベントへと再構成するステップ、を含む。
任意的に、同じアラームイベントに属する前記処理されるアラームログセット内の目標アラームログを、2つの目標アラームログ毎の間の前記発生時間間隔に基づいて、1つのアラームイベントへと再構成する前記ステップは、
指数移動平均法を使用することにより、2つの目標アラームログ間の推定時間間隔を計算するステップであり、前記2つの目標アラームログは、時系列において隣接する任意の2つの目標アラームログであり、前記2つの目標アラームログは、第1アラームログおよび第2アラームログを含み、かつ、前記第1アラームログは、前記第2アラームログの前に生成される、ステップと、
前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たすか否かを判断するステップと、
前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たす場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属することを決定し、かつ、前記第2アラームログを前記第1アラームログが属するアラームイベントへと集約するステップ、もしくは、
前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たさない場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属していないことを決定するステップ、を含む。
任意的に、前記2つの目標アラームログ間の前記発生時間間隔sは、s=t-tk-1であり、前記推定時間間隔s’は、s’=α*sk-1+(1-α)*sk-1’であり、かつ、 前記事前設定された条件は、s≦β*s’であって、ここで、
は前記第2アラームログの生成時間スタンプであり、tk-1は前記第1アラームログの生成時間スタンプであり、0≦α≦1であり、kは1より大きい整数であり、かつ、βは正の数である。
前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たすか否かを判断する前記ステップの前に、前記方法は、さらに、
前記2つの目標アラームログ間の前記発生時間間隔が、事前設定された最小時間間隔の閾値以下である場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属することを決定するステップ、もしくは、
前記2つの目標アラームログ間の前記発生時間間隔が、事前設定された最大時間間隔の閾値より大きい場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属していないことを決定するステップ、
を含み、ここで、
min≦β*s’≦smaxであり、sminは最小時間間隔閾値であり、かつ、smaxは最大時間間隔閾値である、ことが留意されるべきである。
さらに、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属していないことを決定する前記ステップの後で、前記方法は、さらに、
前記第1アラームログが属するアラームイベントの再構成を終了し、かつ、新たなアラームイベントを初期化するステップと、
前記第2アラームログを前記新たなアラームイベントへと集約するステップと、を含む。
任意的に、前記アラームイベントは、前記アラームタイプと、前記アラームイベントにおける前記アラームログの開始発生時点、終了発生時点、平均発生時間間隔、および発生回数の量のうちの少なくとも1つと、を含む。
アラームタイプが前記根本原因アラームタイプであるアラームログを取得するために、前記少なくとも1つの関連規則に基づいて、複数の処理されるアラームログを圧縮する前記ステップは、
少なくとも1つの目標アラームイベントを取得するために、前記少なくとも1つの関連規則に基づいて、前記少なくとも1つのアラームイベントを圧縮するステップであり、各目標アラームイベントは、アラームタイプが前記根本原因アラームタイプであるアラームログを示すために使用される、ステップ、を含む。
対応して、少なくとも1つの目標アラームイベントを取得するために、前記少なくとも1つのアラームイベントを圧縮する前記ステップの後で、前記方法は、さらに、
前記少なくとも1つの目標アラームイベントをネットワーク監視エンジニアに対して表示するために、前記少なくとも1つの目標アラームイベントを出力するステップ、を含む。
第2態様に従って、この出願は、圧縮装置に対して適用される、アラームログ圧縮装置を提供する。そして、本装置は、
第1取得モジュールであり、通信ネットワーク内で第1ネットワークデバイスによって生成された履歴アラームログセットを取得するように構成されており、前記履歴アラームログセットは、複数の履歴アラームログを含み、かつ、各履歴アラームログは、アラームタイプおよび生成タイムスタンプを含む、第1取得モジュールと、
分割モジュールであり、前記履歴アラームログセットを、前記履歴アラームログセット内の履歴アラームログの生成タイムスタンプに基づいて、複数の履歴アラームログサブセットへと分割するように構成されており、各履歴アラームログサブセット内の全ての履歴アラームログは、時系列において連続しており、かつ、前記複数の履歴アラームログサブセットの和集合は、前記履歴アラームログセット内の全ての履歴アラームログを含む、分割モジュールと、
決定モジュールであり、前記履歴アラームログセット内のアラームタイプと、前記複数の履歴アラームログサブセットとの間の対応を決定するように構成されている、決定モジュールと、
クラスタリングモジュールであり、少なくとも1つの関連規則を生成するために、前記対応に基づいて、履歴アラームログセット内の前記アラームタイプについてクラスタリング処理を実行するように構成されており、各関連規則は、相互に関連付けられた根本原因アラームタイプおよび少なくとも1つのマイナーアラームタイプを含む、クラスタリングモジュールと、
圧縮モジュールであり、アラームタイプが前記根本原因アラームタイプであるアラームログを取得するために、前記少なくとも1つの関連規則に基づいて、複数の処理されるアラームログを圧縮するように構成されている、圧縮モジュールと、を含む。
任意的に、前記決定モジュールは、
取得サブモジュールであり、第1アラームタイプセットを取得するために、前記履歴アラームログセット内の全てのアラームタイプを取得するように構成されている、取得サブモジュールと、
決定サブモジュールであり、前記第1アラームタイプセットにおける各アラームタイプの時系列ベクトルを決定するように構成されており、各時系列ベクトルは、対応するアラームタイプと前記複数の履歴アラームログサブセットとの間の対応を反映するために使用される、決定サブモジュールと、を含む。
各アラームタイプに対応する前記時系列ベクトルについて、前記時系列ベクトル内の値は、前記複数の履歴アラームログサブセットと1対1に対応しており、前記時系列ベクトル内の値は、第1値および第2値のうちの少なくとも1つを含み、前記第1値は、対応する履歴アラームログサブセット内に前記アラームタイプが存在することを示すために使用され、前記第2値は、対応する履歴アラームログサブセット内に前記アラームタイプが存在しないことを示すために使用され、かつ、前記第1値は、前記第2値とは異なっている。
任意的に、前記決定サブモジュールは、
前記第1アラームタイプセットにおける各アラームタイプについて、時系列ベクトル決定プロシージャを実行するように構成されている。
前記時系列ベクトル決定プロシージャは、
前記アラームタイプが、前記複数の履歴アラームログサブセット内に存在するか否か順次に検出するステップと、
検出結果に基づいて、前記アラームタイプの前記時系列ベクトルを決定するステップと、を含む。
任意的に、前記クラスタリングモジュールは、
前記少なくとも1つの関連規則を生成するために、全てのアラームタイプの前記時系列ベクトルに基づいて、前記第1アラームタイプセット内の全てのアラームタイプについてクラスタリング処理を実行するように構成されている。
任意的に、前記クラスタリングモジュールは、さらに、
前記第1アラームタイプセットについてクラスタリング操作を実行するように構成されており、ここで、前記クラスタリング操作は、
目標アラームタイプセットおよび第2アラームタイプセットを設定するステップであり、ここで、前記目標アラームタイプセットおよび前記第2アラームタイプセットの両方が空集合である、ステップと、
前記目標アラームタイプセットに対して前記第1アラームタイプセット内の任意のアラームタイプを追加し、かつ、第1アラームタイプセットから、前記目標アラームタイプセットに対して追加した前記アラームタイプを削除する、ステップと、
前記第1アラームタイプセットが空集合になるまで決定プロシージャを繰り返し実行し、かつ、前記目標アラームタイプセットを関連規則として決定する、ステップと、
決定プロシージャを繰り返し実行した後で、前記第2アラームタイプセットが空集合でない場合には、新たな第1アラームタイプセットとして、前記第2アラームタイプセットを使用することにより、クラスタリング操作を繰り返して実行する、ステップ、もしくは、
決定プロシージャを繰り返し実行した後で、前記第2アラームタイプセットが空集合である場合には、前記クラスタリング操作の実行を停止する、ステップ、を含む。
前記決定プロシージャは、
処理されるアラームタイプと処理される前記目標アラームタイプセットとの間の相関を、前記処理されるアラームタイプの時系列ベクトルおよび前記目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出するステップであり、ここで、前記処理されるアラームタイプは、前記目標アラームタイプセット内のアラームタイプ以外の前記第1アラームタイプセット内の任意のアラームタイプである、ステップと、
前記相関が事前設定された相関閾値よりも大きい場合には、更新された目標アラームタイプを取得するために、前記処理されるアラームタイプを前記目標アラームタイプセットに対して追加し、かつ、前記処理されるアラームタイプを前記第1アラームタイプセットから削除する、ステップ、もしくは、
前記相関が前記事前設定された相関閾値を超えない場合には、前記処理されるアラームタイプを前記第2アラームタイプセットに対して追加し、かつ、前記処理されるアラームタイプを前記第1アラームタイプセットから削除する、ステップ、を含む。
任意的に、前記クラスタリングモジュールは、さらに、
前記第1アラームタイプセット内の目標アラームタイプをマーキングし、ここで、前記目標アラームタイプは、前記第1アラームタイプセット内の任意のアラームタイプであり、かつ、
前記第1アラームタイプセットについてクラスタリング操作を実行する、ように構成されており、ここで、前記クラスタリング操作は、
前記第1アラームタイプセット内の全てのアラームタイプがトラバースされるまで、決定プロシージャを繰り返し実行するステップと、
決定プロシージャを繰り返し実行した後で、前記第1アラームタイプセット内でマークが設定されていないアラームタイプが存在する場合には、マークが設定されていない任意のアラームタイプを、新たな目標アラームタイプとして決定し、前記新たな目標アラームタイプにマーキングし、かつ、クラスタリング操作を繰り返し実行するステップであり、異なる目標アラームタイプに異なるマークが設定されている、ステップ、もしくは、
決定プロシージャを繰り返し実行した後で、前記第1アラームタイプセット内にマークが設定されていないアラームタイプが存在しない場合には、クラスタリング操作の実行を中止し、かつ、前記第1アラームタイプセットに基づいて少なくとも1つの関連規則を生成するステップであり、各関連規則の全てのアラームタイプについて同じマークが設定される、ステップ、を含む。
前記決定プロシージャは、
目標アラームタイプセットとして、目標アラームタイプと同じマークを有する第1アラームタイプセット内の全てのアラームタイプを含むセットを決定するステップと、
処理されるアラームタイプと前記目標アラームタイプセットとの間の相関を、前記処理されるアラームタイプの時系列ベクトルおよび前記目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出するステップであり、ここで、前記処理されるアラームタイプは、前記目標アラームタイプセット内のアラームタイプ以外の第1アラームタイプセット内の任意のアラームタイプである、ステップと、
前記相関が事前設定された相関閾値よりも大きい場合に、前記処理されるアラームタイプをマーキングするステップであり、ここで、前記処理されるアラームタイプのマークは、前記目標アラームタイプのマークと同じである、ステップと、を含む。
任意的に、前記クラスタリングモジュールは、さらに、
ピアソン相関係数式に従って、前記処理されるアラームタイプセットと前記目標アラームタイプセット内の各アラームタイプとの相関を算出するように構成されており、前記ピアソン相関係数式は、
Figure 0007100155000003
であり、ここで、Cor(i、i)は、アラームタイプiとアラームタイプiとの間の相関関係を表し、cov(ν、ν)は、νとνとの間の共分散(covariance)表し、σνiは、νの標準偏差を表し、σνjは、νの標準偏差を表し、νは、アラームタイプiの時系列ベクトルを表し、νは、アラームタイプiの時系列ベクトルを表しており、かつ、
平均相関計算式に従って、前記処理されるアラームタイプと前記目標アラームタイプセット内の各アラームタイプとの相関関係に基づいて、前記処理されるアラームタイプと前記目標アラームタイプセットとの間の相関関係を算出するように構成されており、前記平均相関計算式は、
Figure 0007100155000004
であり、ここで、AveCor(i、R)は、アラームタイプiと目標アラームタイプセットRとの間の相関を示し、かつ、|R|は、目標アラームタイプセットR内のアラームタイプの数量を示している。
任意的に、前記第1取得モジュールは、
前記履歴アラームログセットを取得するために、各履歴アラームログから冗長情報を除去するために、第1事前設定された期間内に第1ネットワークデバイスによって生成された履歴アラームログを事前処理するように構成されている。
任意的に、各履歴アラームログは、2タプル(M、t)で表現されており、Mは、アラームログ情報を表し、tは、生成タイムスタンプを表し、かつ、前記アラームログ情報は、少なくともアラームタイプフィールドおよび前記第1ネットワークデバイスの識別子フィールドを含んでいる。
任意的に、前記履歴アラームログセット内の前記履歴アラームログは、時間の部分的な順序関係を有し、かつ、前記分割モジュールは、
前記履歴アラームログセット内の前記履歴アラームログの生成タイムスタンプセットを取得し、かつ、
前記生成タイムスタンプセット、事前設定された時間ウィンドウ長、および、ウィンドウスライディング段階に基づいて、前記履歴アラームログを前記複数の履歴アラームログサブセットへと分類する、ように構成されており、ここで、前記ウィンドウスライディング段階は、時間ウィンドウ長より大きくない。
任意的に、前記装置は、さらに、
第2取得モジュールであり、第2の事前設定された期間内に、前記通信ネットワーク内で第2ネットワークデバイスによって生成された処理されるアラームログセットを取得するように構成されており、前記処理されるアラームログセットは、前記複数の処理されるアラームログを含み、かつ、各処理されるアラームログは、アラームタイプおよび生成タイムスタンプを含む、第2取得モジュールと、
生成モジュールであり、前記処理されるアラームログセットに基づいて少なくとも1つのアラームイベントを生成するように構成されており、各アラームイベントは、前記第2ネットワークデバイスによって生成されるものと同じアラームタイプのアラームログを示すために使用される、生成モジュールと、を含む。
任意的に、前記生成モジュールは、
各処理されるアラームログセットについて、アラームイベント再構成プロシージャを実行するように構成されている、再構成サブモジュールを含み、ここで、前記アラームイベント再構成プロセスは、
取得ユニットであり、前記処理されるアラームログセットの各アラームタイプについて、前記処理されるアラームログセット内に存在し、かつ、前記アラームタイプのものである目標アラームログを取得するように構成されている、取得ユニットと、
計算ユニットであり、時系列において隣接する前記処理されるアラームログセット内の2つの目標アラームログ毎の間の発生時間間隔を個別に計算するように構成されている、計算ユニットと、
再構成ユニットであり、同じアラームイベントに属する前記処理されるアラームログセット内の目標アラームログを、2つの目標アラームログ毎の間の前記発生時間間隔に基づいて、1つのアラームイベントへと再構成するように構成されている、再構成ユニットと、を含む。
任意的に、前記再構成ユニットは、
指数移動平均法を使用することにより、2つの目標アラームログ間の推定時間間隔を計算し、ここで、前記2つの目標アラームログは、時系列において隣接する任意の2つの目標アラームログであり、前記2つの目標アラームログは、第1アラームログおよび第2アラームログを含み、かつ、前記第1アラームログは、前記第2アラームログの前に生成され、
前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たすか否かを判断し、かつ、
前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たす場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属することを決定し、かつ、前記第2アラームログを前記第1アラームログが属するアラームイベントへと集約し、もしくは、
前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たさない場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属していないことを決定する、ように構成されている。
任意的に、前記2つの目標アラームログ間の前記発生時間間隔sは、s=t-tk-1であり、前記推定時間間隔s’は、s’=α*sk-1+(1-α)*sk-1’であり、かつ、前記事前設定された条件は、s≦β*s’であって、ここで、
は前記第2アラームログの生成時間スタンプであり、tk-1は前記第1アラームログの生成時間スタンプであり、0≦α≦1であり、kは1より大きい整数であり、かつ、βは正の数である。
任意的に、前記再構成ユニットは、さらに、
前記2つの目標アラームログ間の前記発生時間間隔が、事前設定された最小時間間隔の閾値以下である場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属することを決定し、もしくは、
前記2つの目標アラームログ間の前記発生時間間隔が、事前設定された最大時間間隔の閾値より大きい場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属していないことを決定する、ように構成されており、ここで、
min≦β*s’≦smaxであり、sminは最小時間間隔閾値であり、かつ、smaxは最大時間間隔閾値である。
任意的に、前記再構成ユニットは、さらに、
前記第1アラームログが属するアラームイベントの再構成を終了して、新たなアラームイベントを初期化し、かつ、
前記第2アラームログを前記新たなアラームイベントへと集約する、ように構成されている。
任意的に、前記アラームイベントは、前記アラームタイプと、前記アラームイベントにおける前記アラームログの開始発生時点、終了発生時点、平均発生時間間隔、および発生回数の量のうちの少なくとも1つと、を含む。
任意的に、前記圧縮モジュールは、
少なくとも1つの目標アラームイベントを取得するために、前記少なくとも1つの関連規則に基づいて、前記少なくとも1つのアラームイベントを圧縮するように構成されており、ここで、各目標アラームイベントは、アラームタイプが前記根本原因アラームタイプであるアラームログを示すために使用される。
任意的に、前記装置は、さらに、
出力モジュールであり、前記少なくとも1つの目標アラームイベントをネットワーク監視エンジニアに対して表示するために、前記少なくとも1つの目標アラームイベントを出力するように構成されている、出力モジュール、を含む。
任意的に、前記第2ネットワークデバイスと前記第1ネットワークデバイスとは、同じネットワークデバイスであり、もしくは、前記第2ネットワークデバイスと前記第1ネットワークデバイスとは、同じタイプの異なるネットワークデバイスである。
第3態様に従って、この出願は、アラームログ圧縮システムを提供する。ここで、本システムは、圧縮装置を含み、かつ、前記第2態様に従った装置を備え、かつ、
前記圧縮装置は、通信ネットワーク内で少なくとも1つのネットワークデバイスによって生成された複数のアラームログを圧縮するように構成されている。
任意的に、前記圧縮装置は、さらに、前記複数のアラームログが圧縮された後で取得されたアラーム情報を表示するように構成されている。
任意的に、前記システムは、さらに、ネットワーク管理装置を含み、
前記圧縮装置は、さらに、前記ネットワーク管理装置に対して、前記複数のアラームログが圧縮された後で取得されたアラーム情報を出力するように構成されており、かつ、
前記ネットワーク管理装置は、前記アラーム情報を表示するように構成されている。
任意的に、前記アラーム情報は、チャート形式で表示される。
第4態様に従って、この出願は、アラームログ圧縮装置を提供する。ここで、本装置は、メモリ、プロセッサ、および、前記メモリに保管され、かつ、前記プロセッサ上で実行可能なコンピュータプログラムを含む。そして、前記プロセッサが前記コンピュータプログラムを実行すると、前記第1態様に従ったアラームログ圧縮方法が実施される。
第5態様に従って、この出願は、コンピュータで読取り可能な記憶媒体を提供する。ここで、前記コンピュータで読取り可能な記憶媒体は、命令を保管しており、かつ、前記命令がプロセッサによって実行されると、前記第1態様に従ったアラームログ圧縮方法が実施される。
この出願の実施態様において提供される技術的ソリューションによってもたらされる有益な効果は、少なくとも次のものを含む。
結論として、アラームログ圧縮方法、装置、およびシステム、並びに、この出願の実施形態において提供される記憶媒体に従って、アラームタイプ間の時間的相関に基づいて、関連規則がマイニングされる。マイニングプロセスにおいては、生成タイムスタンプに基づいて実行された分割を通じて取得された複数の履歴アラームログサブセットにおけるアラームタイプだけがトラバースされる必要がある。そして、次いで、各アラームタイプと複数の履歴アラームログサブセットとの間の対応が決定される。例えば、各アラームタイプの時系列ベクトルが決定された後で、関連規則を生成するために、対応に基づいてアラームタイプのクラスタリング処理が実行され得る。関連技術と比較して、この出願においては、履歴アラームログが複数回にわたりトラバースされる必要はなく、そして、関連規則のマイニング効率が改善される。加えて、この出願においては、アラームタイプ間の時間的相関に基づいてマイニングされる関連規則の量は、関連技術において頻繁なアイテムセットに基づいてマイニングされる関連規則の量よりはるかに少ない。従って、関連規則の正確性を決定するプロセス、および、関連規則における根本原因アラームタイプを決定するプロセスにおいて、時間コストが低減される。加えて、アラームログの発生時間間隔に基づいてアラームイベントが再構成され、そして、最終的に、アラームタイプが根本原因アラームタイプであるアラームログを示すために使用される目標アラームイベントが、ネットワーク監視エンジニアに対して表示される。このことは、ネットワーク監視エンジニアに対して提示されるアラームログ情報を大幅に削減し、そして、情報の正確性および忠実性を確保する。
図1は、この出願の一つの実施形態に従った、アラームログ圧縮システムの模式的な構造図である。 図2は、この出願の一つの実施形態に従った、アラームログ圧縮方法のフローチャートである。 図3は、この出願の一つの実施形態に従った、履歴アラームログセットを複数の履歴アラームログサブセットへと分割する概略図である。 図4は、この出願の一つの実施形態に従った、別のアラームログ圧縮方法のフローチャートである。 図5Aは、この出願の一つの実施形態に従った、アラームイベント再構成方法のフローチャートである。 図5Bは、この出願の一つの実施形態に従った、目標アラームイベントのインターフェイスの概略図である。 図6は、この出願の一つの実施形態に従った、さらに別のアラームログ圧縮方法のフローチャートである。 図7Aは、この出願の一つの実施形態に従った、アラームログ圧縮装置の模式的な構造図である。 図7Bは、この出願の一つの実施形態に従った、決定モジュールの模式的な構造図である。 図7Cは、この出願の一つの実施形態に従った、別のアラームログ圧縮装置の模式的な構造図である。 図7Dは、この出願の一つの実施形態に従った、生成モジュールの模式的な構造図である。 図7Eは、この出願の一つの実施形態に従った、さらに別のアラームログ圧縮装置の模式的な構造図である。 図8は、この出願の一つの実施形態に従った、アラームログ圧縮装置のエンティティに係る模式的な構造図である。
この出願の目的、技術的ソリューション、および利点をより明確にするために、添付の図面を参照して、以降に、この出願の実施についてさらに詳細に説明する。
関連技術においては、ネットワーク監視エンジニアに対して提示されるアラームログの量を削減するために、3つのアラームログ圧縮方法が提供されている。そして、それぞれが以下を含んでいる。第1方法においては、事前設定された時間内にネットワークデバイスによって生成されたアラームログの量が事前設定された閾値を超えた場合に、その時間期間内にアラームが発生したものと判断され、そして、アラームログ処理装置は、ネットワークデバイスによって生成されたアラームログの量が事前設定された閾値に達した後で生成されたアラームログを直接的に破棄する。第2方法においては、事前設定された時間期間内に生成された同じアラームタイプのアラームログが要約され、かつ、カウントされ、そして、統計収集後に獲得された情報がネットワーク監視エンジニアに対して提示される。例えば、12時間以内に生成されたアラームログが要約され、かつ、カウントされて、同じアラームタイプのアラームログの発生回数の量および平均発生時間間隔、といった情報に関する統計が収集され、そして、各アラームタイプに対応し、かつ、12時間以内に生成されたアラームログの発生回数の量および平均発生時間間隔、といった情報がネットワーク監視エンジニアに対して提示される。第3方法においては、異なるアラームタイプ間で関連規則を確立するために、自動頻発アイテムセットマイニング方法に従って履歴アラームログが先立ってマイニングされ、次いで、事前に決定された関連規則に基づいて、アラームタイプが根本原因アラームタイプであるアラームログがネットワーク監視エンジニアに対して提示され、そして、アラームログを圧縮するように、マイナーアラームタイプのアラームログがフィルタで除去される。
しかしながら、第1方法においては、アラームログの量だけが削減され、そして廃棄されたアラームログは、有効なアラーム情報を含むことがある。その結果、有効なアラーム情報が失われてしまう。加えて、ネットワーク監視エンジニアに対して提示されたアラーム情報は、未だに大量の冗長アラームログを含んでおり、そして、アラームログ圧縮の信頼性が比較的低い。第2方法においては、事前設定された時間期間内に複数の独立したアラームイベント(各アラームイベントは、その発生時間間隔が事前設定された時間閾値未満である同じアラームタイプの複数のアラームログを含む)が存在し得る。そして、事前設定された時間期間内に生成された同じアラームタイプのアラームログが要約され、かつ、カウントされると、各アラームイベントに関する情報を獲得することができない。その結果、ネットワーク監視エンジニアに対して提示される情報が歪められてしまう。第3方法においては、関連規則の正確性を決定するプロセスおよび関連規則における根本原因アラームタイプを決定するプロセスにおいて、時間コストが比較的に大きい。
この出願に係る一つの実施形態は、関連技術の問題を解決するための、アラームログ圧縮システムを提供する。図1に示されるように、アラームログ圧縮システムは、圧縮装置01を含んでいる。圧縮装置01は、通信ネットワーク内で少なくとも1つのネットワークデバイスによって生成された複数のアラームログを圧縮するように構成されている。
圧縮装置01は、1つのサーバ、いくつかのサーバを含むサーバクラスタ、または、クラウドコンピューティングサービスセンタであってよい。少なくとも1つのネットワークデバイスは、ルータ、スイッチ、ファイアウォール、ロードバランス装置、アクセスゲートウェイ装置、等を含み得る。このことは、この出願において限定されるものではない。圧縮装置01は、無線ネットワークまたは有線ネットワークを使用することにより、少なくとも1つのネットワークデバイスに対する接続を確立し、そして、作業プロセスにおいて少なくとも1つのネットワークデバイスによって生成された全てのアラームログが、圧縮装置01に対して送付される。
任意的に、図1に示されるように、アラームログ圧縮システムは、さらに、ネットワーク管理装置02を含み得る。ネットワーク管理装置02は、無線ネットワークまたは有線ネットワークを使用することにより、圧縮装置01に対する接続を確立する。圧縮装置01は、さらに、ネットワーク管理装置02に対して、少なくとも1つのネットワークデバイスによって生成された複数のアラームログを圧縮することによって獲得されたアラーム情報を出力するように構成されている。ネットワーク管理装置02は、アラーム情報を表示するように構成されており、そうして、ネットワーク監視エンジニアはアラーム情報を眺める。さらに、ネットワーク管理装置02は、ネットワーク監視エンジニアが有効なアラーム情報を決定した後で、対応するアラームクリアランスワークシート(alarm clearance worksheet)を生成するように構成されており、ここで、アラームクリアランスワークシートは、アラーム情報とネットワーク保守エンジニアとの間の対応を含んでいる。そして、ネットワーク保守エンジニアが対応するネットワークデバイスを維持するように、対応するネットワーク保守エンジニアに対してアラーム情報をフィードバックするように構成されている。ネットワーク管理装置02は、1つのサーバ、いくつかのサーバを含むサーバクラスタ、または、クラウドコンピューティングサービスセンタであってよい。
実際のアプリケーションにおいて、圧縮装置01およびネットワーク管理装置02は、互いに独立した装置であってよく、または、ネットワーク管理装置02は、圧縮装置01の中へ統合されてよい。この場合に、圧縮装置01は、さらに、少なくとも1つのネットワークデバイスによって生成された複数のアラームログを圧縮した後で獲得されたアラーム情報を表示するように構成され得る。
この出願の実施形態において提供されるアラームログ圧縮方法に従って、根本原因アラームタイプのアラームログがネットワーク監視エンジニアに対して表示され、そして、根本原因アラームタイプのアラームイベントをネットワーク監視エンジニアに対して表示するように、アラームイベントがさらに再構成され得る。図2、図4、および図6は、この出願の実施態様における説明のための例として使用されている。図2に示されるアラームログ圧縮方法においては、アラームタイプ間の関連規則が関連規則マイニング方法において決定された後で、関連規則に基づいてアラームログが圧縮され、そして、最終的に根本原因アラームタイプのアラームログがネットワーク監視エンジニアに対して表示される。図4に示されるアラームログ圧縮方法においては、アラームタイプ間の関連規則が、関連規則マイニング方法において決定され、アラームイベント再構成方法においてアラームイベントが再構成された後で、関連規則に基づいてアラームイベントが圧縮され、そして、最終的に、根本原因アラームタイプのアラームイベントがネットワーク監視エンジニアに対して表示される。図6に示されるアラームログ圧縮方法においては、アラームタイプ間の関連規則が関連規則マイニング方法において決定された後で、処理される(to-be-processed)アラームログ内のマイナーアラームタイプのアラームログが関連規則に基づいて最初にフィルタリングされ、次いで、アラームイベント再構成方法において根本原因アラームタイプのアラームログを使用してアラームイベントが再構成され、そして、最終的に、根本原因アラームタイプのアラームイベントがネットワーク監視エンジニアに対して表示される。図2に示されるアラームログ圧縮方法と比較して、図4および図6に示されるアラームログ圧縮方法において、アラームログは、アラームイベントの粒度(granularity)でカウントされ、ネットワーク監視エンジニアに対して表示されるアラームログ関連情報をさらに低減する。実際のアプリケーションにおいては、この出願で提供されるアラームイベント再構成方法においてアラームイベントを再構成した後で、全てのアラームイベントがネットワーク監視エンジニアに対して直接的に表示される。詳細は、この出願において説明されていない。以下は、図2、図4、図6を例として使用することによって、アラームログ圧縮方法をさらに説明している。
図2は、この出願の一つの実施形態に従った、アラームログ圧縮方法のフローチャートである。本方法が圧縮装置に対して適用されている。圧縮装置は、図1に示される圧縮装置01であってよい。図2に示されるように、本方法は、以下のステップを含み得る。
ステップ201:通信ネットワーク内で第1ネットワークデバイスによって生成された履歴アラームログセットを取得する。ここで、履歴アラームログセットは複数の履歴アラームログを含み、そして、各履歴アラームログはアラームタイプおよび生成タイムスタンプを含んでいる。
通信ネットワークは、少なくとも1つのネットワークデバイスを含み、そして、第1ネットワークデバイスは、通信ネットワーク内で任意のネットワークデバイスであってよい。実際のアプリケーションにおいて、圧縮装置は、通信ネットワーク内で複数のネットワークデバイスによって生成された複数の履歴アラームログセットを取得し、そして、各履歴アラームログセットに対して以下のステップ202から204までを別々に実行し得る。各ネットワークデバイスは、1つの履歴アラームログセットに対応している。このことは、この出願のこの実施態様において限定されるものではない。
任意的に、通信ネットワーク内で各ネットワークデバイスによって生成された履歴アラームログセットを取得するための方法は、
第1の事前設定された期間内に第1ネットワークデバイスによって生成された履歴アラームログを前処理するステップであり、各履歴アラームログから冗長情報を除去し、各ネットワークデバイスに対応する履歴アラームログセットを取得する、ステップを含み得る。
ネットワークデバイスによって生成された元の(original)アラームログは、たいてい、アラームタイプ、生成タイムスタンプ、アラームネットワークデバイスの識別子(Identity、ID)、および、いくつかの冗長情報を運搬していることに留意すべきである。ネットワークデバイスによって生成された履歴アラームログは、履歴アラームログにおける後続の処理を促進するように、事前処理され、そうして、各履歴アラームログは、アラームタイプ、生成タイムスタンプ、およびアラームネットワークデバイスのIDだけを含んでいる。従って、オペレーションコストが削減され、そして、オペレーション効率が改善されている。
任意的に、各履歴アラームログは、2タプル(M、t)フォーマットで表現され得る。Mは、アラームログ情報を表し、tは、生成タイムスタンプを表し、そして、アラームログ情報は、少なくともアラームタイプフィールドおよび第1ネットワークデバイスのIDフィールドを含んでいる。例えば、第1ネットワークデバイスによって生成された履歴アラームログが、前処理後に(dgd437slhw3m:TCP認証失敗、14:22:08)として表されることが想定される。ここで、dgd437slhw3mは、第1ネットワークデバイスのIDフィールドであり、TCP認証失敗は、アラームタイプであり、そして、14:22:08は、生成タイムスタンプである。このアラームログは、IDがdgd437slhw3mのネットワークデバイスにおいて、14:22:08に「TCP認証失敗(“TCP authentication fails”)」が発生した事例を示している。
この出願のこの実施態様において、第1の事前設定された時間期間は、過去の時間期間(すなわち、履歴時間期間)である。例えば、第1の事前設定された時間期間内で第1ネットワークデバイスによって生成された履歴アラームログを前処理することは、過去の1ヶ月において第1ネットワークデバイスによって生成された履歴アラームログセットを前処理することであってよい。
ステップ202:履歴アラームログセットにおける履歴アラームログの生成タイムスタンプに基づいて、履歴アラームログセットを複数の履歴アラームログサブセットへと分割する。
各履歴アラームログサブセットにおける全ての履歴アラームログは、時系列で連続している。具体的に、各履歴アラームログサブセットは、事前設定された期間の中で生成された複数の履歴アラームログを含んでいる。加えて、複数の履歴アラームログサブセットの和集合(union set)は、履歴アラームログセットにおける全ての履歴アラームログを含んでいる。
任意的に、履歴アラームログセットにおける履歴アラームログは、時間の部分的な順序関係を有し得る。具体的に、履歴アラームログセットは、時間の部分的な順序関係を有する一連の履歴アラームログを含む履歴アラームシーケンスであってよい。履歴アラームシーケンスの時間範囲は、[Ts、T]であり得る。ここで、Tsは、履歴アラームログシーケンスの開始時刻を表し、そして、Tは、履歴アラームログシーケンスの終了時刻を表している。履歴アラームログセットにおける履歴アラームログが時間の部分的な順序関係を有するということは、履歴アラームログセット内に存在し、かつ、履歴アラームログの後に位置する履歴アラームログの生成時間が、任意の履歴アラームログの生成時間の後であるか、または、任意の履歴アラームログの生成時間と同じであることを意味している。
それに応じて、履歴アラームログセットにおける履歴アラームログの生成タイムスタンプに基づいて、履歴アラームログセットを複数の履歴アラームログサブセットへと分割する方法は、
履歴アラームログセットにおける履歴アラームログの生成タイムスタンプセットを取得するステップ、および、生成タイムスタンプセット、事前設定された時間ウィンドウ長、および、スライディングウィンドウ(sliding window)技術を使用することによるウィンドウスライディングステップに基づいて、履歴アラームログを複数の履歴アラームログサブセットへと分類するステップ、を含み得る。ここで、ウィンドウスライディングステップは、時間ウィンドウ長より大きくない。
任意的に、履歴アラームログセットにおける履歴アラームログの生成タイムスタンプセットは{t;kは正の整数}であり、時間ウィンドウの長さはwin、ウィンドウスライディングステップはstepである。この場合、履歴アラームログは、第1履歴アラームログサブセットの時間ウィンドウが[t、win]であり、第2履歴アラームログサブセットの時間ウィンドウが[t+step、win+step]であるように、かつ、類推によって、履歴アラームログセットの開始時刻tから、最後の履歴アラームログサブセットの時間ウィンドウの終了時刻が履歴アラームログセットの終了時刻t以上になるまで分類される。
例えば、図3は、この出願の一つの実施形態に従った、履歴アラームログセットを複数の履歴アラームログサブセットへと分割する概略図である。図3に示されるように、時間ウィンドウ長win=3、ウィンドウスライディングステップ=2、履歴アラームログセットにおける生成タイムスタンプセットは{t;kは正の整数}、アラームタイプはA、B、C、およびDである。履歴アラームログセットを分割することによって取得される複数の履歴アラームログサブセットの時間ウィンドウは、順次に、w={t,t,t}、w={t,t,t}、...、およびw={...,t}である。時間ウィンドウwに対応するアラームタイプセットは{A,B,C}であり、時間ウィンドウwに対応するアラームタイプセットは{C,A,D}であり、そして、時間ウィンドウwに対応するアラームタイプセットは{D,C,A}である。
実際のアプリケーションにおいては、履歴アラームログセット内の履歴アラームログの生成タイムスタンプセットが取得された後で、履歴アラームログセットが、生成タイムスタンプセットに基づいて直接的に分割される。例えば、生成タイムスタンプセットが12個の生成タイムスタンプを含むと仮定すると、履歴アラームログセットは、4個の履歴アラームログサブセットへと分割することができ、各履歴アラームログサブセットは、3個の生成タイムスタンプに対応する履歴アラームログを含んでおり、そして、各履歴アラームログサブセットに対応する3個の生成タイムスタンプは、時系列において連続している。
ステップ203:履歴アラームログセット内のアラームタイプと複数の履歴アラームログサブセットとの間の対応を決定する。
任意的に、履歴アラームログセット内のアラームタイプと複数の履歴アラームログサブセットとの間の対応を決定するための方法は、
第1アラームタイプセットを取得するために、履歴アラームログセット内の全てのアラームタイプを取得するステップ、および、第1アラームタイプセット内の各アラームタイプの時系列ベクトルを決定するステップ、を含む。ここで、各時系列ベクトルは、対応するアラームタイプと複数の履歴アラームログサブセットとの間の対応を反映するために使用される。ここで、各アラームタイプに対応する時系列ベクトルについて、時系列ベクトル内の値は、複数の履歴アラームログサブセットと1対1(one-to-one)に対応している。時系列ベクトル内の値は、第1値および第2値のうちの少なくとも1つを含み、第1値は、対応するアラームタイプが対応する履歴アラームログサブセット内に存在することを示すために使用され、第2値は、対応するアラームタイプが対応する履歴アラームログサブセット内に存在しないことを示すために使用され、そして、第1値は第2値とは異なっている。
任意的に、第1アラームタイプセット内の各アラームタイプの時系列ベクトルを決定するプロセスは、第1アラームタイプセット内の各アラームタイプについて時系列ベクトル決定プロシージャを実行するステップ、を含み得る。
時系列ベクトル決定プロシージャは、アラームタイプが複数の履歴アラームログサブセット内に存在するか否かを順次に検出するステップ、および、検出結果に基づいてアラームタイプの時系列ベクトルを決定するステップ、を含む。
例えば、ステップ202において例を参照すると、履歴アラームログセット内の全てのアラームタイプが取得され、そして、取得された第1アラームタイプセットは、I={A,B,C,D}である。第1値は1であり、そして、第2値は0であることが想定されている。図3に示される分割によって取得された複数の履歴アラームログサブセットについて、アラームタイプAの時系列ベクトルはv=(1,1,...,1)として表され、アラームタイプBの時系列ベクトルはv=(1,0,...,0)として表され、アラームタイプCの時系列ベクトルはv=(1,1,...,1)として表され、そして、アラームタイプDの時系列ベクトルはAD=(0,1,...,1)として表され得る。
ステップ204:少なくとも1つの関連規則を生成するために、対応に基づいて履歴アラームログセット内のアラームタイプについてクラスタリング処理(clustering processing)を実行する。ここで、各関連規則は、相互に関連付けされた根本原因アラームタイプおよび少なくとも1つのマイナーアラームタイプを含んでいる。
同じ関連規則において、ネットワークデバイス上で発生し、かつ、マイナーアラームタイプによって示される障害は、ネットワークデバイス上で発生し、かつ、根本原因アラームタイプによって示される障害によって引き起こされる。任意的に、第1アラームタイプセット内の各アラームタイプの時系列ベクトルが決定された後で、クラスタリング処理が、少なくとも1つの関連規則を生成するように、第1アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、全てのアラームタイプについて実行され得る。
任意的に、クラスタリング処理は、少なくとも1つの関連規則を生成するために、時間的相関クラスタリング(Temporal Correlation Clustering、TCC)アルゴリズムを使用することにより、全てのアラームタイプについて実行され得る。この出願のこの実施形態においては、関連規則を生成するためのTCCアルゴリズムを使用することにより、全てのアラームタイプについてクラスタリング処理を実行するための以下の2つの方法が、説明のための例として使用されている。本方法は、以下を含んでいる。
関連規則を生成するための第1方法は、
第1アラームタイプセットについてクラスタリング操作を実行するステップを含む。ここで、本クラスタリング操作は、以下を含んでいる。
S21a.目標アラームタイプセットおよび第2アラームタイプセットを設定する。ここで、目標アラームタイプセットと第2アラームタイプセットの両方は、空集合(empty set)である。
S22a.目標アラームタイプセットに対して第1アラームタイプセット内の任意のアラームタイプを追加し、そして、第1アラームタイプセットから、目標アラームタイプセットに対して追加したアラームタイプを削除する。
S23a.第1アラームタイプセットが空集合なるまで決定プロシージャを繰り返し実行し、そして、関連規則として設定した目標アラームタイプを決定する。
本決定プロシージャは、以下を含んでいる。
S231a.処理される(to-be-processed)アラームタイプと目標アラームタイプセットとの間の相関を、処理されるアラームタイプの時系列ベクトルおよび目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出する。ここで、処理されるアラームタイプは、目標アラームタイプセット内のアラームタイプ以外の第1アラームタイプセット内の任意のアラームタイプである。
S232a.相関が事前設定された相関閾値より大きい場合には、更新目標アラームタイプセットを取得するために、処理されるアラームタイプを目標アラームタイプセットに対して追加し、そして、第1アラームタイプセットから処理されるアラームタイプを削除する。
S233a.相関が事前設定された相関閾値以下の場合は、処理されるアラームタイプを第2アラームタイプセットに対して追加し、そして、第1アラームタイプセットから処理されるアラームタイプを削除する。
S24a.決定プロシージャを繰り返して実行した後で、第2アラームタイプセットが空集合でない場合には、新たな第1アラームタイプセットとして、第2アラームタイプセットを使用することにより、クラスタリング操作を繰り返して実行する。
S25a.決定プロシージャを繰り返して実行した後で、第2アラームタイプセットが空集合である場合には、クラスタリング操作を停止する。
例えば、前述の方法で第1アラームタイプセットについてクラスタリング操作を実行するアルゴリズムプロセスは、以下のとおりである。
TCC(I)//I is the first alarm type set
{
Randomly select one alarm type i∈I from I
Set a target alarm type set R={i}and a second alarm type set I’=Φ
For all alarm types i∈I、i≠i
{
If AveCor(i、R)>Threshold //Threshold is a preset correlation threshold
Add i to R
Else
Add i to I’
}
R’=TCC(I’) //Perform recursively invocation, to perform a clustering operation on a remaining second alarm type set I’
Return R∪R’ //Return all association rules obtained through clustering performed on the first alarm type set
}
関連規則を生成するための第2方法は、
第1アラームタイプセットに目標アラームタイプをマーキングするステップであり、ここで、第1アラームタイプは第1アラームタイプセット内の任意のアラームタイプである、ステップ、および、第1アラームタイプセットについてクラスタリング操作を実行するステップ、を含む。ここで、クラスタリング操作は、以下を含んでいる。
S21b.第1アラームタイプセット内の全てのアラームタイプをトラバースする(traverse)まで、決定プロシージャを繰り返し実行する。
本決定プロシージャは、以下を含んでいる。
S211b.目標アラームタイプセットとして、目標アラームタイプと同じマークを有する第1アラームタイプセット内の全てのアラームタイプを含むセットを決定する。
S212b.処理されるアラームタイプと目標アラームタイプセットとの間の相関を、処理されるアラームタイプの時系列ベクトルおよび目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出する。ここで、処理されるアラームタイプは、目標アラームタイプセット内のアラームタイプ以外の第1アラームタイプセット内の任意のアラームタイプである。
S213b.相関が事前設定された相関閾値よりも大きい場合には、処理されるアラームタイプにマーキング(marking)する。ここで、処理されるアラームタイプのマークは、目標アラームタイプのマークと同じである。
S22b.決定プロシージャを繰り返し実行した後で、第1アラームタイプセット内にマークが設定されていないアラームタイプが存在する場合には、新たなアラームタイプとして、マークが設定されていない任意のアラームタイプを決定し、新たな目標アラームタイプにマーキングし、そして、クラスタリング操作を繰り返し実行する。ここで、異なる目標アラームタイプは異なるマークを有している。
S23b.決定プロシージャを繰り返し実行した後で、第1アラームタイプセット内にマークが設定されていないアラームタイプが存在しない場合には、クラスタリング操作の実行を停止し、そして、第1アラームタイプセットに基づいて少なくとも1つの関連規則を生成する。ここで、各関連規則における全てのアラームタイプについて同じマークが設定される。
任意的に、S231aおよびS212bにおいて、処理されるアラームタイプの時系列ベクトルおよび目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、処理されるアラームタイプと目標アラームタイプセットとの間の相関を計算するステップは、以下を含んでいる。
1.ピアソン相関係数式(Pearson correlation coefficient formula)に従って、処理されるアラームタイプセットと目標アラームタイプセット内の各アラームタイプとの相関を算出する。ここで、ピアソン相関係数式は、以下のとおりである。
Figure 0007100155000005
ここで、
Cor(i、i)はアラームタイプiとアラームタイプiとの間の相関関係を表し、cov(ν、ν)はνとνとの間の共分散(covariance)表し、σνiは、νの標準偏差を表し、σνjは、νの標準偏差を表し、νはアラームタイプiの時系列ベクトルを表し、そして、νはアラームタイプiの時系列ベクトルを表している。
2.平均相関計算式(average correlation calculation formula)に従って、処理されるアラームタイプと目標アラームタイプセット内の各アラームタイプとの相関関係に基づいて、処理されるアラームタイプと目標アラームタイプセットとの間の相関関係を算出する。ここで、平均相関計算式は以下のとおりである。
Figure 0007100155000006
AveCor(i、R)はアラームタイプiと目標アラームタイプセットRとの間の相関を示し、そして、|R|は目標アラームタイプセットR内のアラームタイプの数量を示している。
例えば、S23aにおいて、第1アラームタイプセットが空集合の場合、別の言葉で言えば、第1アラームタイプセットの全てのアラームタイプがトラバースされた後であり、かつ、目標アラームタイプセットがR={i,i,...,i}であると仮定すると、対応する関連規則は、kアイテムセット(すなわち、R)を含んでおり、Rにおけるk個のアラームタイプのアラームログ間に強い相関が存在することを示している。各アイテムiは、1つのアラームタイプを表している。
第1アラームタイプセットについて実行されたクラスタリングを通じて取得された全ての関連規則の和集合(union set)は、第1アラームタイプセット内の全てのアラームタイプを含むことが留意されるべきである。例えば、第1アラームタイプセットについて実行されたクラスタリングを通して取得された全ての関連規則は、{R,...,R}を含んでいる。この場合には、R∪...∪R=Iである。
ステップ205:アラームのタイプが根本原因アラームのタイプであるアラームログを取得するために、少なくとも1つの関連規則に基づいて、複数の処理されるアラームログを圧縮する。
任意的に、複数の処理されるアラームログは、第2ネットワークデバイスによって生成されるアラームログであり得る。第2ネットワークデバイスと第1ネットワークデバイスとは、同じネットワークデバイスであってよく、そして、第2ネットワークデバイスと第1ネットワークデバイスとは、同じタイプの異なるネットワークデバイスであってよい。このことは、限定されるものではない。タイプが同じであることは、モデルが同じであること、及び/又は、タイプが同じであることを含んでいる。例えば、第1ネットワークデバイスおよび第2ネットワークデバイスの両方がファイアウォールであってよく、または、第1ネットワークデバイスおよび第2ネットワークデバイスの両方がモデルA0のファイアウォールであってよい。
任意的に、少なくとも1つの関連規則が生成された後で、専門家(expert)は、関連規則における根本原因アラームタイプおよびマイナーアラームタイプを分析し、かつ、決定し得る。もしくは、関連規則における任意のアラームタイプと関連規則における別のアラームタイプとの間の相関を計算し、別のアラームタイプと最も高い相関を持つアラームタイプを根本原因アラームタイプとして決定し、そして、関連規則における根本原因アラームタイプ以外のアラームタイプをマイナーアラームタイプとして決定し得る。関連規則における根本原因アラームタイプおよびマイナーアラームタイプを決定する方法は、この出願のこの実施形態に限定されるものではない。
例えば、関連規則が、
{LinkDown_Active,MSTP_PORT_STATE_FORWARDING,MSTP_PORT_STATE_LEARNING,MSTP_PROPORT_ROLE_CHANGE,MSTP_PORT_STATE_DISCARDING}であるものと想定される。専門家が関連規則を分析した後で、ポート障害(アラームタイプは、LinkDown_Active)が、マルチプルスパニングツリープロトコル(Multiple Spanning Tree Protocol、MSTP)モジュールの頻繁に起きる断続的な切断(disconnection)を引き起こすことが分かった。従って、LinkDown_Activeは根本原因アラームタイプであり、そして、関連規則における別のアラームタイプは、根本原因アラームタイプと同時に発生する相関(correlative)アラームタイプ(マイナーアラームタイプ)であることを決定することができる。関連規則に基づいて、アラームタイプがLinkDown_Activeであり、かつ、アラームタイプがマイナーアラームタイプであるアラームログだけがフィルタで除去され、処理されるアラームログを圧縮する。
実際のアプリケーションにおいて、同じタイプのネットワークデバイスは、同じ関連規則を使用して、ネットワークデバイスによって生成されたアラームログを圧縮し得るので、関連規則のマイニングプロセスにおいては、各ネットワークデバイスによって生成された履歴アラームログについて関連規則がマイニングされる必要はなく、同じタイプの複数のネットワークデバイスから数個のネットワークデバイスが選択され、そして、ネットワークデバイスによって生成された履歴アラームログについて関連規則がマイニングされる。従って、関連規則をマイニングするための時間コストは、低減することができる。
結論として、この出願のこの実施形態において提供されるアラームログ圧縮方法に従って、関連規則は、アラームタイプ間の時間的(temporal)相関に基づいて、マイニングされる。マイニングプロセスにおいては、生成されたタイムスタンプに基づいて、実行された分割を通じて取得された複数の履歴アラームログサブセットにおけるアラームタイプだけがトラバースされる必要があり、そして、次いで、各アラームタイプと複数の履歴アラームログサブセットとの間の対応が決定される。例えば、関連規則を生成するために、各アラームタイプの時系列ベクトルが決定された後で、対応に基づいてアラームタイプについてクラスタリング処理が実行され得る。関連技術と比較して、この出願では、履歴アラームログが複数回にわたりトラバースされる必要はなく、そして、関連規則のマイニング効率が改善されている。加えて、この出願において、アラームタイプ間の時間的相関に基づいてマイニングされる関連規則の量は、関連技術において頻繁な(frequent)アイテムセットに基づいてマイニングされる関連規則の量よりはるかに少ない。従って、関連規則の正確性を決定するプロセスおよび関連規則における根本原因アラームタイプ決定するプロセスにおいて、時間コストが低減される。
図4は、この出願の一つの実施形態に従った、別のアラームログ圧縮方法のフローチャートである。本方法は、圧縮装置に適用されている。圧縮装置は、図1に示される圧縮装置01であってよい。図4に示されるように、本方法は、以下のステップを含み得る。
ステップ401:通信ネットワーク内で第1ネットワークデバイスによって生成された履歴アラームログセットを取得する。ここで、履歴アラームログセットは複数の履歴アラームログを含み、そして、各履歴アラームログはアラームタイプおよび生成タイムスタンプを含んでいる。
このステップの実装プロセスについては、ステップ201を参照のこと。詳細は、ここにおいて再び説明されない。
ステップ402:履歴アラームログセット内の履歴アラームログの生成タイムスタンプに基づいて、履歴アラームログセットを複数の履歴アラームログセットへと分割する。
このステップの実装プロセスについては、ステップ202を参照のこと。詳細は、ここにおいて再び説明されない。
ステップ403:履歴アラームログセット内のアラームタイプと、複数の履歴アラームログサブセットとの間の対応を決定する。
このステップの実装プロセスについては、ステップ203を参照のこと。詳細は、ここにおいて再び説明されない。
ステップ404:少なくとも1つの関連規則を生成するために、対応に基づいて履歴アラームログセット内のアラームタイプについてクラスタリング処理を実行する。ここで、各関連規則は、根本原因アラームタイプ、および、相互に関連付けされた少なくとも1つのマイナーアラームタイプを含んでいる。
このステップの実装プロセスについては、ステップ204を参照のこと。詳細は、ここにおいて再び説明されない。
ステップ405:第2の事前設定された期間において、通信ネットワーク内で第2ネットワークデバイスによって生成された処理されるアラームログセットを取得する。ここで、処理される(to-be-processed)アラームログセットは、複数の処理されるアラームログを含み、そして、処理されるアラームログそれぞれは、アラームタイプおよび生成タイムスタンプを含んでいる。
任意的に、第2ネットワークデバイスと第1ネットワークデバイスとは、同じネットワークデバイスであってよく、もしくは、第2ネットワークデバイスと第1ネットワークデバイスとは、同じタイプの異なるネットワークデバイスであってよい。
ネットワークデバイスによって生成された元の(original)アラームログは、たいてい、アラームタイプ、生成タイムスタンプ、アラームネットワークデバイスの識別子(Identity、ID)、および、いくつかの冗長情報を運搬している。この出願のこの実施形態においては、処理されるアラームログについて後続の処理を促進するように、処理されるアラームログセットを取得するために、取得された処理されるアラームログが前処理(preprocessed)されて、元のアラームログから冗長情報を除去する。従って、オペレーションコストが削減され、そして、オペレーション効率が改善されている。
例えば、第2の事前設定された期間において第2ネットワークデバイスによって生成された処理されるアラームログは、{(TCP認証失敗、14:22:08)、(TCP認証失敗、14:22:38)、(TCP認証失敗、14:23:25)、(TCP認証失敗、21:18:20)、(TCP認証失敗、21:19:18)、(TCP認証失敗、21:19:55)}を含み得ることが想定されている。これらの処理されるアラームログは、アラームタイプがTCP認証失敗であるアラームログを示している。
この出願のこの実施態様において、第2の事前設定された期間は、過去の時間期間である。例えば、第2の事前設定された期間において各ネットワークデバイスによって生成された処理されるアラームログを前処理することは、12時間以内に各ネットワークデバイスによって生成された処理されるアラームログを、12時間毎に、前処理することであり得る。
ステップ406:処理されるアラームログセットに基づいて、少なくとも1つのアラームイベントを生成する。ここで、各アラームイベントは、第2ネットワークデバイスによって生成される同じアラームタイプのアラームログを示すために使用される。
任意的に、処理されるアラームログセットに基づいて、少なくとも1つのアラームイベントを生成する方法は、
処理されるアラームログセットの各アラームタイプについて、処理されるアラームログセット内に存在し、かつ、アラームタイプのものである目標アラームログを取得するステップ、時系列において隣接する処理されるアラームログセット内の2つの目標アラームログ毎の間の発生時間間隔を個別に計算するステップ、および、同じアラームイベントに属する処理されるアラームログセット内の目標アラームログを、2つの目標アラームログ毎の間の発生時間間隔に基づいて、1つのアラームイベントへと再構成するステップ、を含み得る。
任意的に、アラームイベントは、アラームタイプと、アラームイベントにおけるアラームログの開始発生時点、終了発生時点、平均発生時間間隔、および発生回数の量のうちの少なくとも1つと、を含み得る。実際のアプリケーションにおいて、アラームイベントは、さらに、全てのアラームログの生成タイムスタンプ(開始発生時点および終了発生時点を含む)を含み得る。これに限定されるものではない。
例えば、ステップ405において、第2の事前設定された期間内に第2ネットワークデバイスによって生成された複数の処理されるアラームログは、TCP認証が失敗する2つの独立したイベントを含み、かつ、それぞれが2つの期間に発生する。{14:22:08-14:23:25}および{21:18:20-21:19:55}である。複数の処理されるアラームログは、2つのアラームイベントへと再構成され得る。{TCP認証失敗、14:22:08、14:22:38、14:23:25}および{TCP認証失敗、21:18:20、21:19:18、21:19:55}である。各アラームイベントは、アラームタイプおよび各アラームログの生成タイムスタンプを含んでいる。
任意的に、第2の事前設定された期間内に第2ネットワークデバイスによって生成され、かつ、時間の部分的な順序関係を有する、処理されるアラームログの生成タイムスタンプは、それぞれに、t,t,...,およびtであり、そして、処理されるアラームログ間の発生時間間隔は、それぞれに、s,s,...,s,...,およびsである。ここで、s=t-tk-1であり、かつ、kは、正の整数である。
任意的に、図5Aに示されるように、同じアラームイベントに属する処理されるアラームログセット内の目標アラームログの、2つの目標アラームログ毎の間の発生時間間隔に基づいて、1つのアラームイベントへと再構成する方法は、以下を含み得る。
ステップ4061:指数移動平均法(exponential moving average method)を使用することにより、2つの目標アラームログ間の推定(estimated)時間間隔を計算する。ここで、2つの目標アラームログは、時系列において隣接する任意の2つの目標アラームログであり、2つの目標アラームログは、第1アラームログおよび第2アラームログを含み、そして、第1アラームログは、第2アラームログの前に生成される。
2つの目標アラームログ間の発生時間間隔sはs=t-tk-1であり、
指数移動平均(Exponential Weighted Moving Average、EWMA)法で計算される2つの目標アラームログ間の推定時間間隔s’はs’=α*sk-1+(1-α)*sk-1’であり、tは第2アラームログの生成時間スタンプであり、tk-1は第1アラームログの生成時間スタンプであり、sk-1=tk-1-tk-2であり、かつ、0≦α≦1である。この場合に、kは1より大きい整数である。
任意的に、パラメータαは、実際の要求に基づいて設定されてよく、そして、αの特定の値は、限定されるものではない。
ステップ4062:2つの目標アラームログ間の発生時間間隔が、事前設定された最小時間間隔の閾値以下であるか否かを判断する。そして、2つの目標アラームログ間の発生時間間隔が、事前設定された最小時間間隔の閾値以下である場合には、ステップ4065を実行する。もしくは、2つの目標アラームログ間の発生時間間隔が、事前設定された最小時間間隔の閾値より大きい場合には、ステップ4063を実行する。
ステップ4063:2つの目標アラームログ間の発生時間間隔が、事前設定された最大時間間隔の閾値より大きいか否かを判断する。そして、2つの目標アラームログ間の発生時間間隔が事前設定された最大時間間隔の閾値より大きい場合には、ステップ4066を実行する。もしくは、2つの目標アラームログ間の発生時間間隔が事前設定された最大時間間隔の閾値より大きくない場合には、ステップ4064を実行する。
ステップ4064:2つの目標アラームログと推定時間間隔との間の発生時間間隔が事前設定された条件を満たすか否かを判断する。そして、2つの目標アラームログと推定時間間隔との間の発生時間間隔が事前設定された条件を満たす場合には、ステップ4065を実行する。もしくは、2つの目標アラームログと推定時間間隔との間の発生時間間隔が事前設定された条件を満たさない場合には、ステップ4066を実行する。
ステップ4061を参照すると、事前設定された条件はs≦β*s’であり得る。ここで、βは正の数であり、smin≦β*s’≦smaxであり、sminは最小時間間隔閾値であり、そして、smaxは最大時間間隔閾値である。
ステップ4065:第2アラームログが、第1アラームログが属するアラームイベントに属することを決定し、かつ、第2アラームログを、第1アラームログが属するアラームイベントへと集約する。
さらに、ステップ4065が実行された後で、継続するためにステップ4061へ戻り、目標アラームイベントをポーリングするように、次の目標アラームログが、第1アラームログおよび第2アラームログが属するアラームイベントに属するか否かを判断する。例えば、k=k+1であり、そして、ステップ4061へ戻る。
例えば、最初のアラームログが属するアラームイベントは{(TCP認証失敗、14:22:08)、(TCP認証失敗、14:22:38)}であることが想定されている。第2アラームログ(TCP認証失敗、14:23:25)が、第1アラームログが属するアラームイベントに属するものであると判断された場合に、第2アラームログは、第1アラームログが属するアラームイベントに集約され、そして、アラームイベントは、{(TCP認証失敗、14:22:08)、(TCP認証失敗、14:22:38)、(TCP認証失敗、14:23:25)}へ更新される。
ステップ4066:第2アラームログが、第1アラームログが属するアラームイベントに属していないことを決定する。
例えば、最初のアラームログが属するアラームイベントは、{(TCP認証失敗、14:22:08)、(TCP認証失敗、14:22:38)、(TCP認証失敗、14:23:25)}であることが想定されている。第2アラームログ(TCP認証失敗21:18:20)が、第1アラームログが属するアラームイベントに属していないと判断された場合には、第1アラームログが属するアラームイベントの再構成を終了する。別の言葉で言えば、アラームイベントの再構成が完了する。
ステップ4067:新たなアラームイベントを初期化し、そして、第2アラームログを新たなアラームイベントへと集約する。
さらに、ステップ4067が実行された後で、継続するためにステップ4061へ戻り、目標アラームイベントをポーリングするように、次の目標アラームイベントが、第2アラームログが属するアラームイベントに属するか否かを判断する。例えば、k=k+1であり、そして、ステップ4061へ戻る。
任意的に、ステップ4062および4063は、実行されなくてよい。これに限定されるものではない。
アラームログ間の発生時間間隔に基づいてアラームイベントを再構成するために、アラームログ情報に関する統計がアラームイベントの粒度で収集され得ること、それによって、統計収集を通じて取得されるアラームログ情報の精度および信頼性を改善していることが留意されるべきである。
ステップ407:少なくとも1つの目標アラームイベントを取得するために、少なくとも1つの関連規則に基づいて、少なくとも1つのアラームイベントを圧縮する。ここで、各目標アラームイベントは、アラームタイプが根本原因アラームタイプであるアラームログを示すために使用されている。
ステップ408:少なくとも1つの目標アラームイベントをネットワーク監視エンジニアに対して表示するために、少なくとも1つの目標アラームイベントを出力する。
例えば、図5Bは、この出願の一つの実施形態に従った目標アラームイベントのインターフェイスの概略図である。図5Bに示されるように、各ネットワークデバイスが生成したアラームログが図4に示されるアラームログ圧縮方法で圧縮された後で、根本原因アラームタイプのアラームログを再構成することによって取得された目標アラームイベントMが表示され、そして、各目標アラームタイプは、ホスト名(アラームネットワークデバイスのID)、発生回数の量、および、根本原因ログ(根本原因アラームタイプ)といった、情報を含んでいる。
この出願のこの実施形態において提供されるアラームログ圧縮方法に係る一連のステップは、適切に調整され得ることが留意されるべきである。例えば、ステップ405およびステップ406は、ステップ401の前に実行されてよく、または、ステップが、事例に基づいて、対応して追加または削除されてよい。この出願において開示された技術的範囲内で当業者によって容易に理解される任意の変形の方法は、この出願の保護範囲内にあるものとする。従って、詳細は再び説明されない。
結論として、この出願の実施形態において提供されるアラームログ圧縮方法に従って、関連規則が、アラームタイプ間の時間的相関に基づいてマイニングされる。マイニングプロセスにおいては、生成タイムスタンプに基づいて実行された分割を通じて取得された複数の履歴アラームログサブセットにおけるアラームタイプだけがトラバースされる必要があり、そして、次いで、各アラームタイプと複数の履歴アラームログサブセットとの間の対応が決定される。例えば、各アラームタイプの時系列ベクトルが決定された後で、関連規則を生成するために、対応に基づいてアラームタイプについてクラスタリング処理が実行され得る。関連技術と比較して、この出願においては、履歴アラームログが複数回にわたりトラバースされる必要がなく、そして、関連規則のマイニング効率が改善されている。加えて、この出願において、アラームタイプ間の時間的相関に基づいてマイニングされる関連規則の量は、関連技術において頻繁なアイテムセット(frequent itemset)に基づいてマイニングされる関連規則の量よりはるかに少ない。従って、関連規則の正確性を決定するプロセス、および、関連規則における根本原因アラームタイプを決定するプロセスにおいて、時間コストが低減されている。加えて、アラームログの発生時間間隔に基づいてアラームイベントが再構成され、そして、最終的に、アラームタイプが根本原因アラームタイプであるアラームログを示すために使用される目標アラームイベントが、ネットワーク監視エンジニアに対して表示される。このことは、ネットワーク監視エンジニアに対して提示されるアラームログ情報を大幅に削減し、そして、情報の正確性および忠実性を確実にする。
図6は、この出願の一つの実施形態に従った、さらに別のアラームログ圧縮方法のフローチャートである。本方法は、圧縮装置に対して適用されている。圧縮装置は、図1に示される圧縮装置01であってよい。図6に示されるように、本方法は、以下のステップを含み得る。
ステップ501:通信ネットワーク内で第1ネットワークデバイスによって生成された履歴アラームログセットを取得する。ここで、履歴アラームログセットは、複数の履歴アラームログを含み、そして、各履歴アラームログは、アラームタイプおよび生成タイムスタンプを含んでいる。
このステップの実装プロセスについては、ステップ201を参照のこと。詳細は、ここにおいて再び説明されない。
ステップ502:履歴アラームログセット内の履歴アラームログの生成タイムスタンプに基づいて、履歴アラームログセットを複数の履歴アラームログセットへと分割する。
このステップの実装プロセスについては、ステップ202を参照のこと。詳細は、ここにおいて再び説明されない。
ステップ503:履歴アラームログセット内のアラームタイプと、複数の履歴アラームログサブセットとの間の対応を決定する。
このステップの実装プロセスについては、ステップ203を参照のこと。詳細は、ここにおいて再び説明されない。
ステップ504:少なくとも1つの関連規則を生成するために、対応に基づいて履歴アラームログセット内のアラームタイプについてクラスタリング処理を実行する。ここで、各関連規則は、根本原因アラームタイプ、および、相互に関連付けされた少なくとも1つのマイナーアラームタイプを含んでいる。
このステップの実装プロセスについては、ステップ204を参照のこと。詳細は、ここにおいて再び説明されない。
ステップ505:第2の事前設定された期間において、通信ネットワーク内で第2ネットワークデバイスによって生成された処理される全てのアラームログセットを取得する。ここで、各処理されるアラームログセットは、アラームタイプおよび生成タイムスタンプを含んでいる。
任意的に、第2ネットワークデバイスと第1ネットワークデバイスとは、同じネットワークデバイスであってよく、もしくは、第2ネットワークデバイスと第1ネットワークデバイスとは、同じタイプの異なるネットワークデバイスであってよい。
ステップ506:根本原因アラームタイプのアラームログを含んでいる処理されるアラームログセットを取得するために、少なくとも1つの関連規則に基づいて、全ての処理されるアラームログにおけるマイナーアラームタイプのアラームログをフィルタで除去する。
ステップ507:処理されるアラームログセットに基づいて、少なくとも1つのアラームイベントを生成する。ここで、各アラームイベントは、第2ネットワークデバイスによって生成されるのと同じアラームタイプのアラームログを示すために使用されている。
このステップの実装プロセスについては、ステップ406を参照のこと。詳細は、ここにおいて再び説明されない。
ステップ508:少なくとも1つの目標アラームイベントをネットワーク監視エンジニアに対して表示するために、少なくとも1つの目標アラームイベントを出力する。
全ての処理されるアラームログのマイナーアラームタイプのアラームログは、フィルタで除去されており、そうして、処理されるアラームログの量が大幅に削減され得ることが留意されるべきである。さらに、これに基づいてアラームイベントが再構成され、そうして、アラームイベント再構成プロセスにおける時間コストが削減され、そして、圧縮効率がさらに改善されている。
図7Aは、この出願の一つの実施形態に従った、アラームログ圧縮装置の模式的な構造図である。本装置は、圧縮装置に対して適用されている。図7Aに示されるように、装置60は、以下を含んでいる。
第1取得モジュール601であり、通信ネットワーク内で第1ネットワークデバイスによって生成された履歴アラームログセットを取得するように構成されており、ここで、履歴アラームログセットは複数の履歴アラームログを含み、そして、各履歴アラームログはアラームタイプおよび生成タイムスタンプを含んでいるもの、
分割モジュール602であり、履歴アラームログセット内の履歴アラームログの生成タイムスタンプに基づいて、履歴アラームログサブセットを複数の履歴アラームログセットへと分割するように構成されており、ここで、各履歴アラームログサブセット内の全ての履歴アラームログは時系列において連続しており、そして、複数の履歴アラームログサブセットの和集合が履歴アラームログセット内の全ての履歴アラームログを含んでいるもの、
決定モジュール603であり、履歴アラームログセット内のアラームタイプと、複数の履歴アラームログサブセットとの間の対応を決定するように構成されているもの、
クラスタリングモジュール604であり、少なくとも1つの関連規則を生成するために、対応に基づいて履歴アラームログセット内のアラームタイプについてクラスタリング処理を実行するように構成されており、ここで、各関連規則は、相互に関連付けられた根本原因アラームタイプおよび少なくとも1つのマイナーアラームタイプを含んでいるもの、および
圧縮モジュール605であり、アラームタイプが根本原因アラームタイプであるアラームログを取得するために、少なくとも1つの関連規則に基づいて複数の処理されるアラームログを圧縮するように構成されているもの、である。
任意的に、図7Bに示されるように、決定モジュール603は、以下を含み得る。
取得サブモジュール6031であり、第1アラームタイプセットを取得するために、履歴アラームログセット内の全てのアラームタイプを取得するように構成されているもの、および
決定サブモジュール6032であり、第1アラームタイプセット内の各アラームタイプの時系列ベクトルを決定するように構成されており、ここで、各時系列ベクトルは、対応するアラームタイプと複数の履歴アラームログサブセットとの間の対応を反映するために使用されているもの、である。
各アラームタイプに対応する時系列ベクトルについて、時系列ベクトル内の値は、複数の履歴アラームログサブセットと1対1に対応しており、時系列ベクトル内の値は、第1値および第2値のうちの少なくとも1つを含み、第1値は、アラームタイプが対応する履歴アラームログサブセット内に存在することを示すために使用され、第2値は、アラームタイプが対応する履歴アラームログサブセット内に存在しないことを示すために使用され、そして、第1値は第2値とは異なっている。
任意的に、決定サブモジュールは、さらに、
第1アラームタイプセット内の各アラームタイプについて時系列ベクトル決定プロシージャを実行する、
ように構成され得る。
時系列ベクトル決定プロシージャは、
複数の履歴アラームログサブセット内にアラームタイプが存在するか否かを逐次的(sequentially)に検出するステップと、
検出結果に基づいて、アラームタイプの時系列ベクトルを決定するステップと、を含む。
対応して、クラスタリングモジュールは、
少なくとも1つの関連規則を生成するために、全てのアラームタイプの時系列ベクトルに基づいて、第1アラームタイプセット内の全てのアラームタイプについてクラスタリング処理するように構成され得る。
さらに、クラスタリングモジュールは、
第1アラームタイプセットについてクラスタリング操作を実行するように構成され得る。ここで、クラスタリング操作は、
目標アラームタイプセットおよび第2アラームタイプセットを設定するステップであり、ここで、目標アラームタイプセットおよび第2アラームタイプセットの両方が空集合である、ステップと、
目標アラームタイプセットに対して第1アラームタイプセット内の任意のアラームタイプを追加し、かつ、第1アラームタイプセットから、目標アラームタイプセットに対して追加したアラームタイプを削除する、ステップと、
第1アラームタイプセットが空集合になるまで決定プロシージャを繰り返し実行し、かつ、目標アラームタイプセットを関連規則として決定する、ステップと、
決定プロシージャを繰り返し実行した後で、第2アラームタイプセットが空集合でない場合には、新たな第1アラームタイプセットとして、第2アラームタイプセットを使用することにより、クラスタリング操作を繰り返して実行する、ステップ、もしくは、
決定プロシージャを繰り返し実行した後で、第2アラームタイプセットが空集合である場合には、クラスタリング操作の実行を停止する、ステップ、を含む。
決定プロシージャは、
処理されるアラームタイプと目標アラームタイプセットとの間の相関を、処理されるアラームタイプの時系列ベクトルおよび目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出するステップであり、ここで、処理されるアラームタイプは、目標アラームタイプセット内のアラームタイプ以外の第1アラームタイプセット内の任意のアラームタイプである、ステップと、
相関が事前設定された相関閾値よりも大きい場合には、更新された目標アラームタイプを取得するために、処理されるアラームタイプを目標アラームタイプセットに対して追加し、かつ、処理されるアラームタイプを第1アラームタイプセットから削除する、ステップ、もしくは、
相関が事前設定された相関閾値を超えない場合には、処理されるアラームタイプを第2アラームタイプセットに対して追加し、かつ、処理されるアラームタイプを第1アラームタイプセットから削除する、ステップ、を含む。
代替的に、クラスタリングモジュールは、さらに、
第1アラームタイプセット内の目標アラームタイプをマーキングし、ここで、目標アラームタイプは、第1アラームタイプセット内の任意のアラームタイプであり、かつ、
第1アラームタイプセットについてクラスタリング操作を実行するように構成されよく、クラスタリング操作は、
第1アラームタイプセット内の全てのアラームタイプがトラバースされるまで、決定プロシージャを繰り返し実行し、
決定プロシージャを繰り返し実行した後で、第1アラームタイプセット内でマークが設定されていないアラームタイプが存在する場合には、マークが設定されていない任意のアラームタイプを、新たな目標アラームタイプとして決定し、新たな目標アラームタイプにマーキングし、かつ、クラスタリング操作を繰り返し実行し、ここで、異なる目標アラームタイプに異なるマークが設定されているか、もしくは、
決定プロシージャを繰り返し実行した後で、第1アラームタイプセット内にマークが設定されていないアラームタイプが存在しない場合には、クラスタリング操作の実行を中止し、かつ、第1アラームタイプセットに基づいて少なくとも1つの関連規則を生成し、ここで、各関連規則の全てのアラームタイプについて同じマークが設定される、
ことを含む。
決定プロシージャは、
目標アラームタイプセットとして、目標アラームタイプと同じマークを有する第1アラームタイプセット内の全てのアラームタイプを含むセットを決定するステップと、
処理されるアラームタイプと目標アラームタイプセットとの間の相関を、処理されるアラームタイプの時系列ベクトルおよび目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて算出するステップであり、ここで、処理されるアラームタイプは、目標アラームタイプセット内のアラームタイプ以外の第1アラームタイプセット内の任意のアラームタイプである、ステップと、
相関が事前設定された相関閾値よりも大きい場合に、処理されるアラームタイプをマーキングするステップであり、ここで、処理されるアラームタイプのマークは、目標アラームタイプのマークと同じである、ステップと、を含む。
任意的に、クラスタリングモジュールは、さらに、
ピアソン相関係数式に従って、処理されるアラームタイプセットと目標アラームタイプセット内の各アラームタイプとの相関を算出するように構成されてよく、ピアソン相関係数式は、
Figure 0007100155000007
であり、ここで、
Cor(i、i)は、アラームタイプiとアラームタイプiとの間の相関関係を表し、cov(ν、ν)は、νとνとの間の共分散(covariance)表し、σνiは、νの標準偏差を表し、σνjは、νの標準偏差を表し、νは、アラームタイプiの時系列ベクトルを表し、かつ、νは、アラームタイプiの時系列ベクトルを表しており、かつ、
平均相関計算式に従って、処理されるアラームタイプと目標アラームタイプセット内の各アラームタイプとの相関関係に基づいて、処理されるアラームタイプと前記目標アラームタイプセットとの間の相関関係を算出するように構成されてよく、平均相関計算式は、
Figure 0007100155000008
であり、ここで、
AveCor(i、R)は、アラームタイプiと目標アラームタイプセットRとの間の相関を示し、かつ、|R|は、目標アラームタイプセットR内のアラームタイプの数量を示している。
任意的に、第1取得モジュールは、
履歴アラームログセットを取得するために、各履歴アラームログから冗長情報を除去するように、第1事前設定された期間内に第1ネットワークデバイスによって生成された履歴アラームログを事前処理するように構成され得る。
各履歴アラームログは、2タプル(M、t)で表現されており、Mはアラームログ情報を表し、tは生成タイムスタンプを表し、かつ、アラームログ情報は、少なくともアラームタイプフィールドおよび第1ネットワークデバイスの識別子フィールドを含んでいる。
任意的に、履歴アラームログセット内の履歴アラームログは、時間の部分的な順序関係を有し、かつ、分割モジュールは、
履歴アラームログセット内の履歴アラームログの生成タイムスタンプセットを取得し、
生成タイムスタンプセット、事前設定された時間ウィンドウ長、および、スライディングウィンドウ技術を使用することによるウィンドウスライディング段階に基づいて、履歴アラームログを複数の履歴アラームログサブセットへと分類するように構成されてよく、ここで、ウィンドウスライディング段階は、時間ウィンドウ長より大きくない。
任意的に、図7Cに示されるように、装置60は、さらに、
第2取得モジュール606であり、第2の事前設定された期間内に、通信ネットワーク内で第2ネットワークデバイスによって生成された処理されるアラームログセットを取得するように構成されており、ここで、処理されるアラームログセットは、複数の処理されるアラームログを含み、そして、各処理されるアラームログは、アラームタイプおよび生成タイムスタンプを含んでいる、第2取得モジュールと、
生成モジュール607であり、処理されるアラームログセットに基づいて少なくとも1つのアラームイベントを生成するように構成されており、ここで、各アラームイベントは、第2ネットワークデバイスによって生成されるものと同じアラームタイプのアラームログを示すために使用される、生成モジュール、を含む。
任意的に、図7Dに示されるように、生成モジュール607は、
各処理されるアラームログセットについてアラームイベント再構成プロシージャを実行するように構成されている、再構成サブモジュール6071を含み得る。ここで、アラームイベント再構成プロセスは、
取得ユニット71aであり、処理されるアラームログセット内の各アラームタイプについて、処理されるアラームログセット内に存在し、かつ、アラームタイプのものである目標アラームログを取得するように構成されている、取得ユニットと、
計算ユニット71bであり、時系列において隣接する処理されるアラームログセット内の2つの目標アラームログ毎の間の発生時間間隔を個別に計算するように構成されている、計算ユニットと、
再構成ユニット71cであり、同じアラームイベントに属する処理されるアラームログセット内の目標アラームログを、2つの目標アラームログ毎の間の発生時間間隔に基づいて、1つのアラームイベントへと再構成するように構成されている、再構成ユニット、を含み得る。
再構成ユニットは、
指数移動平均法を使用することにより、2つの目標アラームログ間の推定時間間隔を計算し、ここで、2つの目標アラームログは、時系列において隣接する任意の2つの目標アラームログであり、2つの目標アラームログは、第1アラームログおよび第2アラームログを含み、そして、第1アラームログは、第2アラームログの前に生成され、
2つの目標アラームログ間の発生時間間隔および推定時間間隔が、事前設定された条件を満たすか否かを判断し、かつ、
2つの目標アラームログ間の発生時間間隔および推定時間間隔が、事前設定された条件を満たす場合には、第2アラームログが、第1アラームログが属するアラームイベントに属することを決定し、そして、第2アラームログを第1アラームログが属するアラームイベントへと集約し、
2つの目標アラームログ間の発生時間間隔および推定時間間隔が、事前設定された条件を満たさない場合には、第2アラームログが、第1アラームログが属するアラームイベントに属していないことを決定する、ように構成されている。
任意的に、2つの目標アラームログ間の発生時間間隔sはs=t-tk-1であり、推定時間間隔s’はs’=α*sk-1+(1-α)*sk-1’であり、そして、事前設定された条件はs≦β*s’である。ここで、
は第2アラームログの生成時間スタンプであり、tk-1は第1アラームログの生成時間スタンプであり、0≦α≦1であり、kは1より大きい整数であり、βは正の数である。
さらに、再構成ユニットは、
2つの目標アラームログ間の発生時間間隔が、事前設定された最小時間間隔の閾値以下である場合には、第2アラームログが、第1アラームログが属するアラームイベントに属することを決定し、もしくは、
2つの目標アラームログ間の発生時間間隔が、事前設定された最大時間間隔の閾値より大きい場合には、第2アラームログが、第1アラームログが属するアラームイベントに属していないことを決定するように構成され得る。ここで、
min≦β*s’≦smaxであり、sminは最小時間間隔閾値であり、そして、smaxは最大時間間隔閾値である。
任意的に、再構成ユニットは、さらに、第1アラームログが属するアラームイベントの再構成を終了し、かつ、新たなアラームイベントを初期化し、そして、
第2アラームログを新たなアラームイベントへと集約するように構成され得る。
任意的に、アラームイベントは、アラームタイプと、アラームイベントにおけるアラームログの開始発生時点、終了発生時点、平均発生時間間隔、および発生回数の量のうちの少なくとも1つと、を含み得る。
任意的に、圧縮モジュールは、
少なくとも1つの目標アラームイベントを取得するために、少なくとも1つの関連規則に基づいて、少なくとも1つのアラームイベントを圧縮するように構成され得る。ここで、各目標アラームイベントは、アラームタイプが根本原因アラームタイプであるアラームログを示すために使用されている。
さらに、図7Eに示されるように、装置60は、さらに、
出力モジュール608であり、少なくとも1つの目標アラームイベントをネットワーク監視エンジニアに対して表示するために、少なくとも1つの目標アラームイベントを出力するように構成されている、出力モジュール、を含み得る。
任意的に、第2ネットワークデバイスと第1ネットワークデバイスとは、同じネットワークデバイスであり、もしくは、第2ネットワークデバイスと第1ネットワークデバイスとは、同じタイプの異なるネットワークデバイスである。
結論として、この出願の実施態様において提供されるアラームログ圧縮装置に従って、関連規則は、アラームタイプ間の時間的相関に基づいてマイニングされる。マイニングプロセスにおいては、生成タイムスタンプに基づいて実行された分割を通じて取得された複数の履歴アラームログサブセット内のアラームタイプだけがトラバースされる必要があり、そして、次いで、各アラームタイプと複数の履歴アラームログサブセットとの間の対応が決定される。例えば、各アラームタイプの時系列ベクトルが決定された後で、関連規則を生成するために、対応に基づいてアラームタイプについてクラスタリング処理が実行され得る。関連技術と比較して、この出願においては、履歴アラームログが複数回にわたりトラバースされる必要はなく、そして、関連規則のマイニング効率が改善されている。さらに、この出願においては、アラームタイプ間の時間的相関に基づいてマイニングされる関連規則の量は、関連技術において頻繁なアイテムセットに基づいてマイニングされる関連規則の量よりもはるかに少ない。従って、関連規則の正確性を決定するプロセス、および、関連規則における根本原因アラームタイプを決定するプロセスにおいて、時間コストが低減されている。加えて、アラームログの発生時間間隔に基づいてアラームイベントが再構成され、そして、最終的に、アラームタイプが根本原因アラームタイプであるアラームログを示すために使用される目標アラームイベントが、ネットワーク監視エンジニアに対して表示される。このことは、ネットワーク監視エンジニアに対して提示されるアラームログ情報を大幅に削減し、そして、情報の正確性および忠実性を確実にする。
この出願の一つの実施形態は、アラームログ圧縮装置を提供する。図8に示されるように、装置07は、メモリ071、プロセッサ072、および、メモリ071に保管されており、かつ、プロセッサ072上で実行され得るコンピュータプログラムを含んでいる。そして、プロセッサ072がコンピュータプログラムを実行すると、この出願の方法の実施形態におけるアラームログ圧縮方法が実施される。
任意的に、装置07は、さらに、通信バス073および通信インターフェイス074を含んでいる。
プロセッサ072は、1つまたはそれ以上の処理コアを含んでいる。プロセッサ072は、コンピュータプログラムおよびユニットを実行し、種々の機能的アプリケーションおよびデータ処理を実施する。
メモリ071は、コンピュータプログラムおよびユニットを保管するように構成され得る。具体的には、メモリは、オペレーティングシステム、および、少なくとも1つの機能のために必要とされるアプリケーションプログラムユニットを保管することができる。オペレーティングシステムは、リアルタイムオペレーティングシステム(Real Time eXecutive、RTX)、LINUX、UNIX、WINDOWS、またはOS Xといった、オペレーティングシステムであってよい。
複数の通信インターフェイス074が存在してよく、そして、通信インターフェイス074は、別の記憶装置またはネットワークデバイスと通信するように構成されている。例えば、この出願のこの実施形態において、通信インターフェイス074は、通信ネットワーク内でネットワークデバイスによって送信されるアラームログを受信するように構成され得る。
メモリ071および通信インターフェイス074は、通信ケーブル073を使用して、プロセッサ072に対して別々に接続されている。
この出願の一つの実施形態は、コンピュータで読取り可能な記憶媒体を提供する。コンピュータで読取り可能な記憶媒体は、命令を保管し、そして、プロセッサによって命令が実行されると、この出願の方法の実施形態におけるアラームログ圧縮方法が実施される。
当業者であれば、実施形態に係るステップの全部または一部が、関連するハードウェアを指示するハードウェアまたはプログラムによって実施され得ることを理解するだろう。プログラムは、コンピュータで読取り可能な記憶媒体において保管され得る。記憶媒体は、読み出し専用メモリ、磁気ディスク、光ディスク、等であってよい。
上述の説明は、この出願の単なる任意の実施態様であるが、この出願を限定するように意図されたものではない。この出願の精神および原理から逸脱することなく行われる、いかなる修正、均等物の代替、または改良も、この出願の保護範囲に含まれるべきである。

Claims (39)

  1. アラームログ圧縮方法であって、前記方法は、
    通信ネットワーク内で第1ネットワークデバイスによって生成された履歴アラームログセットを取得するステップであり、前記履歴アラームログセットは、複数の履歴アラームログを含み、かつ、各履歴アラームログは、アラームタイプおよび生成タイムスタンプを含む、ステップと、
    前記履歴アラームログセットを、前記履歴アラームログセット内の履歴アラームログの生成タイムスタンプに基づいて、複数の履歴アラームログサブセットへと分割するステップであり、各履歴アラームログサブセット内の全ての履歴アラームログは、時系列において連続しており、かつ、前記複数の履歴アラームログサブセットの和集合は、前記履歴アラームログセット内の全ての履歴アラームログを含む、ステップと、
    前記履歴アラームログセット内のアラームタイプと、前記複数の履歴アラームログサブセットとの間の対応を決定するステップと、
    少なくとも1つの関連規則を生成するために、前記対応に基づいて、履歴アラームログセット内の前記アラームタイプについてクラスタリング処理を実行するステップであり、各関連規則は、相互に関連付けられた根本原因アラームタイプおよび少なくとも1つのマイナーアラームタイプを含み、かつ、前記少なくとも1つの関連規則は、アラームタイプが前記根本原因アラームタイプであるアラームログを取得するように、アラームログを圧縮するために使用される、ステップと、
    を含む、方法。
  2. 前記履歴アラームログセット内のアラームタイプと、前記複数の履歴アラームログサブセットとの間の対応を決定する前記ステップは、
    第1アラームタイプセットを取得するために、前記履歴アラームログセット内の全てのアラームタイプを取得するステップと、
    前記第1アラームタイプセットにおける各アラームタイプの時系列ベクトルを決定するステップであり、各時系列ベクトルは、対応するアラームタイプと前記複数の履歴アラームログサブセットとの間の対応を反映するために使用される、ステップと、を含み、
    各アラームタイプに対応する前記時系列ベクトルについて、
    前記時系列ベクトル内の値は、前記複数の履歴アラームログサブセットと1対1に対応しており、
    前記時系列ベクトル内の値は、第1値および第2値のうちの少なくとも1つを含み、
    前記第1値は、対応する履歴アラームログサブセット内に前記アラームタイプが存在することを示すために使用され、
    前記第2値は、対応する履歴アラームログサブセット内に前記アラームタイプが存在しないことを示すために使用され、かつ、
    前記第1値は、前記第2値とは異なっている、
    請求項1に記載の方法。
  3. 前記第1アラームタイプセットにおける各アラームタイプの時系列ベクトルを決定する前記ステップは、
    前記第1アラームタイプセットにおける各アラームタイプについて、時系列ベクトル決定プロシージャを実行するステップ、を含み、
    前記時系列ベクトル決定プロシージャは、
    前記アラームタイプが、前記複数の履歴アラームログサブセット内に存在するか否か順次に検出するステップと、
    検出結果に基づいて、前記アラームタイプの前記時系列ベクトルを決定するステップと、
    を含む、
    請求項2に記載の方法。
  4. 少なくとも1つの関連規則を生成するために、前記対応に基づいて、履歴アラームログセット内の前記アラームタイプについてクラスタリング処理を実行する前記ステップは、
    前記少なくとも1つの関連規則を生成するために、全てのアラームタイプの前記時系列ベクトルに基づいて、前記第1アラームタイプセット内の全てのアラームタイプについてクラスタリング処理を実行するステップ、
    を含む、請求項2または3に記載の方法。
  5. 前記少なくとも1つの関連規則を生成するために、全てのアラームタイプの前記時系列ベクトルに基づいて、前記第1アラームタイプセット内の全てのアラームタイプについてクラスタリング処理を実行する前記ステップは、
    前記第1アラームタイプセットについてクラスタリング操作を実行するステップ、を含み、前記クラスタリング操作は、
    目標アラームタイプセットおよび第2アラームタイプセットを設定するステップであり、前記目標アラームタイプセットおよび前記第2アラームタイプセットの両方が空集合である、ステップと、
    前記目標アラームタイプセットに対して前記第1アラームタイプセット内の任意のアラームタイプを追加し、かつ、第1アラームタイプセットから、前記目標アラームタイプセットに対して追加した前記アラームタイプを削除する、ステップと、
    前記第1アラームタイプセットが空集合になるまで決定プロシージャを繰り返し実行し、かつ、前記目標アラームタイプセットを関連規則として決定する、ステップと、
    決定プロシージャを繰り返し実行した後で、前記第2アラームタイプセットが空集合でない場合には、新たな第1アラームタイプセットとして、前記第2アラームタイプセットを使用することにより、クラスタリング操作を繰り返して実行する、ステップ、もしくは、
    決定プロシージャを繰り返し実行した後で、前記第2アラームタイプセットが空集合である場合には、前記クラスタリング操作の実行を停止する、ステップ、
    を含み、かつ、
    前記決定プロシージャは、
    処理されるアラームタイプと処理される前記目標アラームタイプセットとの間の相関を、前記処理されるアラームタイプの時系列ベクトルおよび前記目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出するステップであり、前記処理されるアラームタイプは、前記目標アラームタイプセット内のアラームタイプ以外の前記第1アラームタイプセット内の任意のアラームタイプである、ステップと、
    前記相関が事前設定された相関閾値よりも大きい場合には、更新された目標アラームタイプを取得するために、前記処理されるアラームタイプを前記目標アラームタイプセットに対して追加し、かつ、前記処理されるアラームタイプを前記第1アラームタイプセットから削除する、ステップ、もしくは、
    前記相関が前記事前設定された相関閾値を超えない場合には、前記処理されるアラームタイプを前記第2アラームタイプセットに対して追加し、かつ、前記処理されるアラームタイプを前記第1アラームタイプセットから削除する、ステップ、
    を含む、
    請求項4に記載の方法。
  6. 前記少なくとも1つの関連規則を生成するために、全てのアラームタイプの前記時系列ベクトルに基づいて、前記第1アラームタイプセット内の全てのアラームタイプについてクラスタリング処理を実行する前記ステップは、
    前記第1アラームタイプセット内の目標アラームタイプをマーキングするステップであり、前記目標アラームタイプは、前記第1アラームタイプセット内の任意のアラームタイプである、ステップと、
    前記第1アラームタイプセットについてクラスタリング操作を実行するステップと、を含み、前記クラスタリング操作は、
    前記第1アラームタイプセット内の全てのアラームタイプがトラバースされるまで、決定プロシージャを繰り返し実行するステップと、
    決定プロシージャを繰り返し実行した後で、前記第1アラームタイプセット内でマークが設定されていないアラームタイプが存在する場合には、マークが設定されていない任意のアラームタイプを、新たな目標アラームタイプとして決定し、前記新たな目標アラームタイプにマーキングし、かつ、クラスタリング操作を繰り返し実行するステップであり、異なる目標アラームタイプに異なるマークが設定されている、ステップ、もしくは、
    決定プロシージャを繰り返し実行した後で、前記第1アラームタイプセット内にマークが設定されていないアラームタイプが存在しない場合には、クラスタリング操作の実行を中止し、かつ、前記第1アラームタイプセットに基づいて少なくとも1つの関連規則を生成するステップであり、各関連規則の全てのアラームタイプについて同じマークが設定される、ステップ、
    を含み、かつ、
    前記決定プロシージャは、
    目標アラームタイプセットとして、目標アラームタイプと同じマークを有する第1アラームタイプセット内の全てのアラームタイプを含むセットを決定するステップと、
    処理されるアラームタイプと前記目標アラームタイプセットとの間の相関を、前記処理されるアラームタイプの時系列ベクトルおよび前記目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出するステップであり、前記処理されるアラームタイプは、前記目標アラームタイプセット内のアラームタイプ以外の第1アラームタイプセット内の任意のアラームタイプである、ステップと、
    前記相関が事前設定された相関閾値よりも大きい場合に、前記処理されるアラームタイプをマーキングするステップであり、前記処理されるアラームタイプのマークは、前記目標アラームタイプのマークと同じである、ステップと、
    を含む、
    請求項4に記載の方法。
  7. 処理されるアラームタイプと前記目標アラームタイプセットとの間の相関を、前記処理されるアラームタイプの時系列ベクトルおよび前記目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出する前記ステップは、
    ピアソン相関係数式に従って、前記処理されるアラームタイプセットと前記目標アラームタイプセット内の各アラームタイプとの相関を算出するステップであり、前記ピアソン相関係数式は、
    Figure 0007100155000009
    であり、ここで、
    Cor(i、i)は、アラームタイプiとアラームタイプiとの間の相関関係を表し、
    cov(ν、ν)は、νとνとの間の共分散(covariance)表し、
    σνiは、νの標準偏差を表し、
    σνjは、νの標準偏差を表し、
    νは、アラームタイプiの時系列ベクトルを表し、かつ、
    νは、アラームタイプiの時系列ベクトルを表している、
    ステップと、
    平均相関計算式に従って、前記処理されるアラームタイプと前記目標アラームタイプセット内の各アラームタイプとの相関関係に基づいて、前記処理されるアラームタイプと前記目標アラームタイプセットとの間の相関関係を算出するステップであり、前記平均相関計算式は、
    Figure 0007100155000010
    であり、ここで、
    AveCor(i、R)は、アラームタイプiと目標アラームタイプセットRとの間の相関を示し、かつ、
    |R|は、目標アラームタイプセットR内のアラームタイプの数量を示している、
    ステップと、
    を含む、請求項5または6に記載の方法。
  8. 通信ネットワーク内で第1ネットワークデバイスによって生成された履歴アラームログセットを取得する前記ステップは、
    前記履歴アラームログセットを取得するために、各履歴アラームログから冗長情報を除去するように、第1事前設定された期間内に第1ネットワークデバイスによって生成された履歴アラームログを事前処理するステップ、を含む、
    請求項1乃至7いずれか一項に記載の方法。
  9. 各履歴アラームログは、2タプル(M、t)で表現されており、
    Mは、アラームログ情報を表し、
    tは、生成タイムスタンプを表し、かつ、
    前記アラームログ情報は、少なくともアラームタイプフィールドおよび前記第1ネットワークデバイスの識別子フィールドを含んでいる、
    請求項1乃至8いずれか一項に記載の方法。
  10. 前記履歴アラームログセット内の前記履歴アラームログは、時間の部分的な順序関係を有し、かつ、
    前記履歴アラームログセットを、前記履歴アラームログセット内の履歴アラームログの生成タイムスタンプに基づいて、複数の履歴アラームログサブセットへと分割する前記ステップは、
    前記履歴アラームログセット内の前記履歴アラームログの生成タイムスタンプセットを取得するステップと、
    前記生成タイムスタンプセット、事前設定された時間ウィンドウ長、および、スライディングウィンドウ技術を使用することによるウィンドウスライディング段階に基づいて、前記履歴アラームログを前記複数の履歴アラームログサブセットへと分類するステップであり、前記ウィンドウスライディング段階は、時間ウィンドウ長より大きくない、ステップと、
    を含む、請求項1乃至9いずれか一項に記載の方法。
  11. 前記方法は、さらに、
    アラームタイプが前記根本原因アラームタイプであるアラームログを取得するために、前記少なくとも1つの関連規則に基づいて複数の処理されるアラームログを圧縮するステップ、を含む、
    請求項1乃至10いずれか一項に記載の方法。
  12. 前記方法は、さらに、前記複数の処理されるアラームログを圧縮する前記ステップの前に、
    第2の事前設定された期間内に、前記通信ネットワーク内で第2ネットワークデバイスによって生成された処理されるアラームログセットを取得するステップであり、前記処理されるアラームログセットは、前記複数の処理されるアラームログを含み、かつ、各処理されるアラームログは、アラームタイプおよび生成タイムスタンプを含む、ステップと、
    前記処理されるアラームログセットに基づいて少なくとも1つのアラームイベントを生成するステップであり、各アラームイベントは、前記第2ネットワークデバイスによって生成されるものと同じアラームタイプのアラームログを示すために使用される、ステップと、
    を含み、
    前記複数の処理されるアラームログを圧縮する前記ステップは、
    少なくとも1つの目標アラームイベントを取得するために、前記少なくとも1つの関連規則に基づいて、前記少なくとも1つのアラームイベントを圧縮するステップであり、各目標アラームイベントは、アラームタイプが前記根本原因アラームタイプであるアラームログを示すために使用される、ステップ、を含む、
    請求項11に記載の方法。
  13. 前記処理されるアラームログセットに基づいて少なくとも1つのアラームイベントを生成する前記ステップは、
    前記処理されるアラームログセットの各アラームタイプについて、前記処理されるアラームログセット内に存在し、かつ、前記アラームタイプのものである目標アラームログを取得するステップと、
    時系列において隣接する前記処理されるアラームログセット内の2つの目標アラームログ毎の間の発生時間間隔を個別に計算するステップと、
    同じアラームイベントに属する前記処理されるアラームログセット内の目標アラームログを、2つの目標アラームログ毎の間の前記発生時間間隔に基づいて、1つのアラームイベントへと再構成するステップ、
    を含む、請求項12に記載の方法。
  14. 同じアラームイベントに属する前記処理されるアラームログセット内の目標アラームログを、2つの目標アラームログ毎の間の前記発生時間間隔に基づいて、1つのアラームイベントへと再構成する前記ステップは、
    指数移動平均法を使用することにより、2つの目標アラームログ間の推定時間間隔を計算するステップであり、前記2つの目標アラームログは、時系列において隣接する任意の2つの目標アラームログであり、前記2つの目標アラームログは、第1アラームログおよび第2アラームログを含み、かつ、前記第1アラームログは、前記第2アラームログの前に生成される、ステップと、
    前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たすか否かを判断するステップと、
    前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たす場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属することを決定し、かつ、前記第2アラームログを前記第1アラームログが属するアラームイベントへと集約するステップ、もしくは、
    前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たさない場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属していないことを決定するステップ、
    を含む、請求項13に記載の方法。
  15. 前記2つの目標アラームログ間の前記発生時間間隔sは、s=t-tk-1であり、
    前記推定時間間隔s’は、s’=α*sk-1+(1-α)*sk-1’であり、かつ、
    前記事前設定された条件は、s≦β*s’であって、ここで、
    は前記第2アラームログの生成時間スタンプであり、tk-1は前記第1アラームログの生成時間スタンプであり、0≦α≦1であり、kは1より大きい整数であり、かつ、βは正の数である、
    請求項14に記載の方法。
  16. 前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たすか否かを判断する前記ステップの前に、前記方法は、さらに、
    前記2つの目標アラームログ間の前記発生時間間隔が、事前設定された最小時間間隔の閾値以下である場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属することを決定するステップ、もしくは、
    前記2つの目標アラームログ間の前記発生時間間隔が、事前設定された最大時間間隔の閾値より大きい場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属していないことを決定するステップ、
    を含み、ここで、
    min≦β*s’≦smaxであり、sminは最小時間間隔閾値であり、かつ、smaxは最大時間間隔閾値である、
    請求項15に記載の方法。
  17. 前記第2アラームログが、前記第1アラームログが属するアラームイベントに属していないことを決定する前記ステップの後で、前記方法は、さらに、
    前記第1アラームログが属するアラームイベントの再構成を終了し、かつ、新たなアラームイベントを初期化するステップと、
    前記第2アラームログを前記新たなアラームイベントへと集約するステップと、
    を含む、請求項14乃至16いずれか一項に記載の方法。
  18. 前記アラームイベントは、前記アラームタイプと、前記アラームイベントにおける前記アラームログの開始発生時点、終了発生時点、平均発生時間間隔、および発生回数の量のうちの少なくとも1つと、を含む、
    請求項12乃至17いずれか一項に記載の方法。
  19. 少なくとも1つの目標アラームイベントを取得するために、前記少なくとも1つのアラームイベントを圧縮する前記ステップの後で、前記方法は、さらに、
    前記少なくとも1つの目標アラームイベントを出力するステップ、
    を含む、請求項12乃至18いずれか一項に記載の方法。
  20. 前記第2ネットワークデバイスと前記第1ネットワークデバイスとは、同じネットワークデバイスであり、もしくは、
    前記第2ネットワークデバイスと前記第1ネットワークデバイスとは、同じタイプの異なるネットワークデバイスである、
    請求項12乃至19いずれか一項に記載の方法。
  21. アラームログ圧縮装置であって、前記装置は、
    第1取得モジュールであり、通信ネットワーク内で第1ネットワークデバイスによって生成された履歴アラームログセットを取得するように構成されており、前記履歴アラームログセットは、複数の履歴アラームログを含み、かつ、各履歴アラームログは、アラームタイプおよび生成タイムスタンプを含む、第1取得モジュールと、
    分割モジュールであり、前記履歴アラームログセットを、前記履歴アラームログセット内の履歴アラームログの生成タイムスタンプに基づいて、複数の履歴アラームログサブセットへと分割するように構成されており、各履歴アラームログサブセット内の全ての履歴アラームログは、時系列において連続しており、かつ、前記複数の履歴アラームログサブセットの和集合は、前記履歴アラームログセット内の全ての履歴アラームログを含む、分割モジュールと、
    決定モジュールであり、前記履歴アラームログセット内のアラームタイプと、前記複数の履歴アラームログサブセットとの間の対応を決定するように構成されている、決定モジュールと、
    クラスタリングモジュールであり、少なくとも1つの関連規則を生成するために、前記対応に基づいて、履歴アラームログセット内の前記アラームタイプについてクラスタリング処理を実行するように構成されており、各関連規則は、相互に関連付けられた根本原因アラームタイプおよび少なくとも1つのマイナーアラームタイプを含み、かつ、前記少なくとも1つの関連規則は、アラームタイプが前記根本原因アラームタイプであるアラームログを取得するために、処理されるアラームログを圧縮するために使用される、クラスタリングモジュールと、
    を含む、装置。
  22. 前記決定モジュールは、
    取得サブモジュールであり、第1アラームタイプセットを取得するために、前記履歴アラームログセット内の全てのアラームタイプを取得するように構成されている、取得サブモジュールと、
    決定サブモジュールであり、前記第1アラームタイプセットにおける各アラームタイプの時系列ベクトルを決定するように構成されており、各時系列ベクトルは、対応するアラームタイプと前記複数の履歴アラームログサブセットとの間の対応を反映するために使用される、決定サブモジュールと、を含み、
    各アラームタイプに対応する前記時系列ベクトルについて、
    前記時系列ベクトル内の値は、前記複数の履歴アラームログサブセットと1対1に対応しており、
    前記時系列ベクトル内の値は、第1値および第2値のうちの少なくとも1つを含み、
    前記第1値は、対応する履歴アラームログサブセット内に前記アラームタイプが存在することを示すために使用され、
    前記第2値は、対応する履歴アラームログサブセット内に前記アラームタイプが存在しないことを示すために使用され、かつ、
    前記第1値は、前記第2値とは異なっている、
    請求項21に記載の装置。
  23. 前記決定サブモジュールは、
    前記第1アラームタイプセットにおける各アラームタイプについて、時系列ベクトル決定プロシージャを実行するように構成されており、
    前記時系列ベクトル決定プロシージャは、
    前記アラームタイプが、前記複数の履歴アラームログサブセット内に存在するか否か順次に検出するステップと、
    検出結果に基づいて、前記アラームタイプの前記時系列ベクトルを決定するステップと、
    を含む、
    請求項22に記載の装置。
  24. 前記クラスタリングモジュールは、
    前記少なくとも1つの関連規則を生成するために、全てのアラームタイプの前記時系列ベクトルに基づいて、前記第1アラームタイプセット内の全てのアラームタイプについてクラスタリング処理を実行するように構成されている、
    請求項22または23に記載の装置。
  25. 前記クラスタリングモジュールは、さらに、
    前記第1アラームタイプセットについてクラスタリング操作を実行するように構成されており、前記クラスタリング操作は、
    目標アラームタイプセットおよび第2アラームタイプセットを設定するステップであり、前記目標アラームタイプセットおよび前記第2アラームタイプセットの両方が空集合である、ステップと、
    前記目標アラームタイプセットに対して前記第1アラームタイプセット内の任意のアラームタイプを追加し、かつ、第1アラームタイプセットから、前記目標アラームタイプセットに対して追加した前記アラームタイプを削除する、ステップと、
    前記第1アラームタイプセットが空集合になるまで決定プロシージャを繰り返し実行し、かつ、前記目標アラームタイプセットを関連規則として決定する、ステップと、
    決定プロシージャを繰り返し実行した後で、前記第2アラームタイプセットが空集合でない場合には、新たな第1アラームタイプセットとして、前記第2アラームタイプセットを使用することにより、クラスタリング操作を繰り返して実行する、ステップ、もしくは、
    決定プロシージャを繰り返し実行した後で、前記第2アラームタイプセットが空集合である場合には、前記クラスタリング操作の実行を停止する、ステップ、
    を含み、かつ、
    前記決定プロシージャは、
    処理されるアラームタイプと処理される前記目標アラームタイプセットとの間の相関を、前記処理されるアラームタイプの時系列ベクトルおよび前記目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出するステップであり、前記処理されるアラームタイプは、前記目標アラームタイプセット内のアラームタイプ以外の前記第1アラームタイプセット内の任意のアラームタイプである、ステップと、
    前記相関が事前設定された相関閾値よりも大きい場合には、更新された目標アラームタイプを取得するために、前記処理されるアラームタイプを前記目標アラームタイプセットに対して追加し、かつ、前記処理されるアラームタイプを前記第1アラームタイプセットから削除する、ステップ、もしくは、
    前記相関が前記事前設定された相関閾値を超えない場合には、前記処理されるアラームタイプを前記第2アラームタイプセットに対して追加し、かつ、前記処理されるアラームタイプを前記第1アラームタイプセットから削除する、ステップ、
    を含む、
    請求項24に記載の装置。
  26. 前記クラスタリングモジュールは、さらに、
    前記第1アラームタイプセット内の目標アラームタイプをマーキングし、前記目標アラームタイプは、前記第1アラームタイプセット内の任意のアラームタイプであり、かつ、
    前記第1アラームタイプセットについてクラスタリング操作を実行する、ように構成されており、
    前記クラスタリング操作は、
    前記第1アラームタイプセット内の全てのアラームタイプがトラバースされるまで、決定プロシージャを繰り返し実行するステップと、
    決定プロシージャを繰り返し実行した後で、前記第1アラームタイプセット内でマークが設定されていないアラームタイプが存在する場合には、マークが設定されていない任意のアラームタイプを、新たな目標アラームタイプとして決定し、前記新たな目標アラームタイプにマーキングし、かつ、クラスタリング操作を繰り返し実行するステップであり、異なる目標アラームタイプに異なるマークが設定されている、ステップ、もしくは、
    決定プロシージャを繰り返し実行した後で、前記第1アラームタイプセット内にマークが設定されていないアラームタイプが存在しない場合には、クラスタリング操作の実行を中止し、かつ、前記第1アラームタイプセットに基づいて少なくとも1つの関連規則を生成するステップであり、各関連規則の全てのアラームタイプについて同じマークが設定される、ステップ、
    を含み、かつ、
    前記決定プロシージャは、
    目標アラームタイプセットとして、目標アラームタイプと同じマークを有する第1アラームタイプセット内の全てのアラームタイプを含むセットを決定するステップと、
    処理されるアラームタイプと前記目標アラームタイプセットとの間の相関を、前記処理されるアラームタイプの時系列ベクトルおよび前記目標アラームタイプセット内の全てのアラームタイプの時系列ベクトルに基づいて、算出するステップであり、前記処理されるアラームタイプは、前記目標アラームタイプセット内のアラームタイプ以外の第1アラームタイプセット内の任意のアラームタイプである、ステップと、
    前記相関が事前設定された相関閾値よりも大きい場合に、前記処理されるアラームタイプをマーキングするステップであり、前記処理されるアラームタイプのマークは、前記目標アラームタイプのマークと同じである、ステップと、
    を含む、
    請求項24に記載の装置。
  27. 前記クラスタリングモジュールは、さらに、
    ピアソン相関係数式に従って、前記処理されるアラームタイプセットと前記目標アラームタイプセット内の各アラームタイプとの相関を算出するように構成されており、前記ピアソン相関係数式は、
    Figure 0007100155000011
    であり、ここで、
    Cor(i、i)は、アラームタイプiとアラームタイプiとの間の相関関係を表し、
    cov(ν、ν)は、νとνとの間の共分散(covariance)表し、
    σνiは、νの標準偏差を表し、
    σνjは、νの標準偏差を表し、
    νは、アラームタイプiの時系列ベクトルを表し、
    νは、アラームタイプiの時系列ベクトルを表しており、かつ、
    平均相関計算式に従って、前記処理されるアラームタイプと前記目標アラームタイプセット内の各アラームタイプとの相関関係に基づいて、前記処理されるアラームタイプと前記目標アラームタイプセットとの間の相関関係を算出するように構成されており、前記平均相関計算式は、
    Figure 0007100155000012
    であり、ここで、
    AveCor(i、R)は、アラームタイプiと目標アラームタイプセットRとの間の相関を示し、かつ、
    |R|は、目標アラームタイプセットR内のアラームタイプの数量を示している、
    請求項25または26に記載の装置。
  28. 前記第1取得モジュールは、
    前記履歴アラームログセットを取得するために、各履歴アラームログから冗長情報を除去するために、第1事前設定された期間内に第1ネットワークデバイスによって生成された履歴アラームログを事前処理するように構成されている、
    請求項21乃至27いずれか一項に記載の装置。
  29. 各履歴アラームログは、2タプル(M、t)で表現されており、
    Mは、アラームログ情報を表し、
    tは、生成タイムスタンプを表し、かつ、
    前記アラームログ情報は、少なくともアラームタイプフィールドおよび前記第1ネットワークデバイスの識別子フィールドを含んでいる、
    請求項21乃至28いずれか一項に記載の装置。
  30. 前記履歴アラームログセット内の前記履歴アラームログは、時間の部分的な順序関係を有し、かつ、
    前記分割モジュールは、
    前記履歴アラームログセット内の前記履歴アラームログの生成タイムスタンプセットを取得し、かつ、
    前記生成タイムスタンプセット、事前設定された時間ウィンドウ長、および、ウィンドウスライディング段階に基づいて、前記履歴アラームログを前記複数の履歴アラームログサブセットへと分類する、ように構成されており、
    前記ウィンドウスライディング段階は、時間ウィンドウ長より大きくない、
    請求項21乃至29いずれか一項に記載の装置。
  31. 前記装置は、さらに、
    アラームタイプが前記根本原因アラームタイプであるアラームログを取得するために、前記少なくとも1つの関連規則に基づいて、複数の処理されるアラームログを圧縮するように構成されている、圧縮モジュール、を含む、
    請求項21乃至30いずれか一項に記載の装置。
  32. 前記装置は、さらに、
    第2取得モジュールであり、第2の事前設定された期間内に、前記通信ネットワーク内で第2ネットワークデバイスによって生成された処理されるアラームログセットを取得するように構成されており、前記処理されるアラームログセットは、前記複数の処理されるアラームログを含み、かつ、各処理されるアラームログは、アラームタイプおよび生成タイムスタンプを含む、第2取得モジュールと、
    生成モジュールであり、前記処理されるアラームログセットに基づいて少なくとも1つのアラームイベントを生成するように構成されており、各アラームイベントは、前記第2ネットワークデバイスによって生成されるものと同じアラームタイプのアラームログを示すために使用される、生成モジュールと、
    を含み、
    前記圧縮モジュールは、
    少なくとも1つの目標アラームイベントを取得するために、前記少なくとも1つの関連規則に基づいて、前記少なくとも1つのアラームイベントを圧縮するように構成されており、各目標アラームイベントは、アラームタイプが前記根本原因アラームタイプであるアラームログを示すために使用される、
    請求項31に記載の装置。
  33. 前記生成モジュールは、
    各処理されるアラームログセットについて、アラームイベント再構成プロシージャを実行するように構成されている、再構成サブモジュールを含み、
    前記アラームイベント再構成プロシージャは、
    取得ユニットであり、前記処理されるアラームログセットの各アラームタイプについて、前記処理されるアラームログセット内に存在し、かつ、前記アラームタイプのものである目標アラームログを取得するように構成されている、取得ユニットと、
    計算ユニットであり、時系列において隣接する前記処理されるアラームログセット内の2つの目標アラームログ毎の間の発生時間間隔を個別に計算するように構成されている、計算ユニットと、
    再構成ユニットであり、同じアラームイベントに属する前記処理されるアラームログセット内の目標アラームログを、2つの目標アラームログ毎の間の前記発生時間間隔に基づいて、1つのアラームイベントへと再構成するように構成されている、再構成ユニットと、を含む、
    請求項32に記載の装置。
  34. 前記再構成ユニットは、
    指数移動平均法を使用することにより、2つの目標アラームログ間の推定時間間隔を計算し、前記2つの目標アラームログは、時系列において隣接する任意の2つの目標アラームログであり、前記2つの目標アラームログは、第1アラームログおよび第2アラームログを含み、かつ、前記第1アラームログは、前記第2アラームログの前に生成され、
    前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たすか否かを判断し、かつ、
    前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たす場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属することを決定し、かつ、前記第2アラームログを前記第1アラームログが属するアラームイベントへと集約し、もしくは、
    前記2つの目標アラームログ間の前記発生時間間隔および前記推定時間間隔が、事前設定された条件を満たさない場合には、前記第2アラームログが、前記第1アラームログが属するアラームイベントに属していないことを決定する、
    ように構成されている、請求項33に記載の装置。
  35. 前記再構成ユニットは、さらに、
    前記第1アラームログが属するアラームイベントの再構成を終了して、新たなアラームイベントを初期化し、かつ、
    前記第2アラームログを前記新たなアラームイベントへと集約する、
    ように構成されている、請求項34に記載の装置。
  36. 前記アラームイベントは、前記アラームタイプと、前記アラームイベントにおける前記アラームログの開始発生時点、終了発生時点、平均発生時間間隔、および発生回数の量のうちの少なくとも1つと、を含む、
    請求項32乃至35いずれか一項に記載の装置。
  37. 前記装置は、さらに、
    出力モジュールであり、前記少なくとも1つの目標アラームイベントを出力するように構成されている、出力モジュール、
    を含む、請求項32乃至36いずれか一項に記載の装置。
  38. 前記第2ネットワークデバイスと前記第1ネットワークデバイスとは、同じネットワークデバイスであり、もしくは、
    前記第2ネットワークデバイスと前記第1ネットワークデバイスとは、同じタイプの異なるネットワークデバイスである、
    請求項32乃至37いずれか一項に記載の装置。
  39. コンピュータで読取り可能な記憶媒体であって、
    前記コンピュータで読取り可能な記憶媒体は、命令を保管しており、かつ、
    前記命令がプロセッサによって実行されると、請求項1乃至20いずれか一項に記載の方法が実施される、
    コンピュータで読取り可能な記憶媒体。
JP2020558938A 2018-04-23 2018-12-27 アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体 Active JP7100155B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022105841A JP7325584B2 (ja) 2018-04-23 2022-06-30 アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810370889.0A CN110399347B (zh) 2018-04-23 2018-04-23 告警日志压缩方法、装置及系统、存储介质
CN201810370889.0 2018-04-23
PCT/CN2018/124144 WO2019205697A1 (zh) 2018-04-23 2018-12-27 告警日志压缩方法、装置及系统、存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022105841A Division JP7325584B2 (ja) 2018-04-23 2022-06-30 アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体

Publications (2)

Publication Number Publication Date
JP2021519988A JP2021519988A (ja) 2021-08-12
JP7100155B2 true JP7100155B2 (ja) 2022-07-12

Family

ID=68294786

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020558938A Active JP7100155B2 (ja) 2018-04-23 2018-12-27 アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体
JP2022105841A Active JP7325584B2 (ja) 2018-04-23 2022-06-30 アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022105841A Active JP7325584B2 (ja) 2018-04-23 2022-06-30 アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体

Country Status (7)

Country Link
US (1) US11436196B2 (ja)
EP (1) EP3779718A4 (ja)
JP (2) JP7100155B2 (ja)
KR (1) KR102520044B1 (ja)
CN (2) CN110399347B (ja)
CA (1) CA3098860C (ja)
WO (1) WO2019205697A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928255B (zh) * 2019-11-20 2021-02-05 珠海格力电器股份有限公司 数据异常统计报警方法、装置、存储介质及电子设备
CN111147300B (zh) * 2019-12-26 2022-04-29 绿盟科技集团股份有限公司 一种网络安全告警置信度评估方法及装置
CN111352759B (zh) * 2019-12-31 2024-04-02 杭州亚信软件有限公司 一种告警根因的判定方法及装置
CN113138968A (zh) * 2020-01-20 2021-07-20 普天信息技术有限公司 日志压缩方法及日志解压缩方法
CN111555921B (zh) * 2020-04-29 2023-04-07 平安科技(深圳)有限公司 告警根因的定位方法、装置、计算机设备和存储介质
CN111726248A (zh) * 2020-05-29 2020-09-29 北京宝兰德软件股份有限公司 一种告警根因定位方法及装置
DE102021109775A1 (de) 2020-06-30 2021-12-30 Hewlett Packard Enterprise Development Lp Adaptive zeitfenster- basierte deduplizierung von protokollnachrichten
CN112583644B (zh) * 2020-12-14 2022-10-18 华为技术有限公司 告警处理方法、装置、设备及可读存储介质
CN112735103A (zh) * 2020-12-16 2021-04-30 中盈优创资讯科技有限公司 一种告警关联识别方法、装置及设备
CN112738087A (zh) * 2020-12-29 2021-04-30 杭州迪普科技股份有限公司 攻击日志的展示方法及装置
CN112699169A (zh) * 2020-12-30 2021-04-23 北京顺达同行科技有限公司 基于慢日志的隐患挖掘方法、装置、计算机设备和介质
US11388039B1 (en) * 2021-04-09 2022-07-12 International Business Machines Corporation Identifying problem graphs in an information technology infrastructure network
CN112968805B (zh) * 2021-05-19 2021-08-06 新华三技术有限公司 一种告警日志处理方法及装置
CN113361904B (zh) * 2021-06-03 2024-04-09 广联达科技股份有限公司 一种监控与告警方法、装置、设备及可读存储介质
CN113297183B (zh) * 2021-07-21 2022-02-15 国网汇通金财(北京)信息科技有限公司 一种时间窗口的告警分析方法及装置
CN113775939B (zh) * 2021-07-29 2022-12-23 河海大学 一种供水管网新增漏损的在线识别与定位方法
CN113822570B (zh) * 2021-09-20 2023-09-26 北京瀚博网络科技有限公司 一种基于大数据分析的企业生产数据存储方法及系统
CN114202907B (zh) * 2021-11-24 2022-12-02 华中科技大学 一种火灾报警实时分类方法及系统
CN114091704B (zh) * 2021-11-26 2022-07-12 奇点浩翰数据技术(北京)有限公司 一种告警压制方法和装置
CN114553682B (zh) * 2022-02-25 2023-08-15 中国平安人寿保险股份有限公司 实时告警方法、系统、计算机设备及存储介质
CN115001753B (zh) * 2022-05-11 2023-06-09 绿盟科技集团股份有限公司 一种关联告警的分析方法、装置、电子设备及存储介质
WO2023224633A1 (en) * 2022-05-20 2023-11-23 Rakuten Symphony Singapore Pte. Ltd. Discarded alarm collection method and system for implementing
CN115022055B (zh) * 2022-06-09 2024-04-19 武汉思普崚技术有限公司 一种基于动态时间窗口的网络攻击实时检测方法及装置
CN115051907A (zh) * 2022-06-10 2022-09-13 中国电信股份有限公司 告警日志数据的处理方法及装置、非易失性存储介质
CN115033463B (zh) * 2022-08-12 2022-11-22 北京优特捷信息技术有限公司 一种系统异常类型确定方法、装置、设备和存储介质
CN115514619B (zh) * 2022-09-20 2023-06-16 建信金融科技有限责任公司 告警收敛方法及系统
CN116996330B (zh) * 2023-09-27 2023-12-01 深圳市互盟科技股份有限公司 基于网络安全的数据中心访问控制管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016143388A (ja) 2015-02-05 2016-08-08 日本電信電話株式会社 ログ情報分類装置、ログ情報分類方法、及びプログラム
WO2017082782A1 (en) 2015-11-10 2017-05-18 Telefonaktiebolaget Lm Ericsson (Publ) Managing network alarms

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6230153B1 (en) * 1998-06-18 2001-05-08 International Business Machines Corporation Association rule ranker for web site emulation
US7389345B1 (en) * 2003-03-26 2008-06-17 Sprint Communications Company L.P. Filtering approach for network system alarms
JP2006041764A (ja) 2004-07-23 2006-02-09 Ricoh Co Ltd ログ記録装置、ログ記録プログラムおよび記録媒体
US20070150690A1 (en) * 2005-12-23 2007-06-28 International Business Machines Corporation Method and apparatus for increasing virtual storage capacity in on-demand storage systems
US7941389B2 (en) * 2006-02-10 2011-05-10 Numenta, Inc. Hierarchical temporal memory based system including nodes with input or output variables of disparate properties
US7941392B2 (en) * 2007-02-28 2011-05-10 Numenta, Inc. Scheduling system and method in a hierarchical temporal memory based system
WO2008106623A2 (en) * 2007-02-28 2008-09-04 Numenta, Inc. Episodic memory with a hierarchical temporal memory based system
JP4600447B2 (ja) 2007-08-30 2010-12-15 ブラザー工業株式会社 ログ収集システム、及びコンピュータ装置
US8175984B2 (en) * 2007-12-05 2012-05-08 Numenta, Inc. Action based learning
JP2009223404A (ja) 2008-03-13 2009-10-01 Ricoh Co Ltd ログローテーション制御装置およびログローテーション制御プログラム
CN101325520B (zh) 2008-06-17 2010-08-18 南京邮电大学 基于日志的智能自适应网络故障定位和分析方法
JP5430370B2 (ja) 2009-11-30 2014-02-26 三菱電機株式会社 ログ圧縮装置及びログ収集システム及びコンピュータプログラム及びログ圧縮方法
CN102158355B (zh) * 2011-03-11 2013-08-14 广州蓝科科技股份有限公司 一种可并发和断续分析的日志事件关联分析方法和装置
JP5216895B2 (ja) 2011-06-02 2013-06-19 日本電信電話株式会社 ログ処理装置およびその動作方法
US9110452B2 (en) * 2011-09-19 2015-08-18 Fisher-Rosemount Systems, Inc. Inferential process modeling, quality prediction and fault detection using multi-stage data segregation
JP6126891B2 (ja) 2013-03-29 2017-05-10 富士通株式会社 検出方法、検出プログラム、および検出装置
JP2015022659A (ja) 2013-07-22 2015-02-02 キヤノン株式会社 画像処理装置および画像処理方法、プログラムならびに記憶媒体
US10819720B2 (en) 2015-06-26 2020-10-27 Nec Corporation Information processing device, information processing system, information processing method, and storage medium
US9665420B2 (en) 2015-07-31 2017-05-30 Ca, Inc. Causal engine and correlation engine based log analyzer
JP6251225B2 (ja) 2015-11-06 2017-12-20 キヤノン株式会社 情報処理装置、方法及びプログラム
CN105528280B (zh) * 2015-11-30 2018-11-23 中电科华云信息技术有限公司 系统日志与健康监控关系决定日志告警等级的方法及系统
RU2615790C1 (ru) 2016-01-29 2017-04-11 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Магнитогорский государственный технический университет им. Г.И. Носова" (ФГБОУ ВПО "МГТУ") Устройство для мониторинга силовых трансформаторов
CN107181604B (zh) * 2016-03-09 2020-06-02 华为技术有限公司 一种告警关联规则的生成方法、告警压缩方法以及装置
US9836952B2 (en) * 2016-04-06 2017-12-05 Alcatel-Lucent Usa Inc. Alarm causality templates for network function virtualization
CN106055608B (zh) 2016-05-25 2019-06-07 北京百度网讯科技有限公司 自动采集和分析交换机日志的方法和装置
CN106100885A (zh) * 2016-06-23 2016-11-09 浪潮电子信息产业股份有限公司 一种网络安全告警系统及设计方案
CN107770797A (zh) * 2016-08-17 2018-03-06 中国移动通信集团内蒙古有限公司 一种无线网络告警管理的关联分析方法及系统
CN107231258B (zh) * 2017-06-01 2019-09-24 国网电子商务有限公司 一种网络告警数据处理方法及装置
CN107426022B (zh) 2017-07-21 2020-06-16 上海携程商务有限公司 安全事件监测方法及装置、电子设备、存储介质
CN107391746A (zh) 2017-08-10 2017-11-24 深圳前海微众银行股份有限公司 日志分析方法、设备和计算机可读存储介质
CN107835087B (zh) * 2017-09-14 2022-09-02 北京科东电力控制系统有限责任公司 一种基于频繁模式挖掘的安全设备告警规则自动提取方法
CN107844514A (zh) * 2017-09-22 2018-03-27 深圳市易成自动驾驶技术有限公司 数据挖掘方法、装置及计算机可读存储介质
US9923757B1 (en) * 2017-10-03 2018-03-20 Akamai Technologies, Inc. Reducing data sets related to network security events

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016143388A (ja) 2015-02-05 2016-08-08 日本電信電話株式会社 ログ情報分類装置、ログ情報分類方法、及びプログラム
WO2017082782A1 (en) 2015-11-10 2017-05-18 Telefonaktiebolaget Lm Ericsson (Publ) Managing network alarms

Also Published As

Publication number Publication date
WO2019205697A1 (zh) 2019-10-31
CN113407507A (zh) 2021-09-17
JP2022160405A (ja) 2022-10-19
JP7325584B2 (ja) 2023-08-14
CA3098860A1 (en) 2019-10-31
CN110399347A (zh) 2019-11-01
KR20210002602A (ko) 2021-01-08
EP3779718A4 (en) 2021-06-09
KR102520044B1 (ko) 2023-04-11
US20210042270A1 (en) 2021-02-11
EP3779718A1 (en) 2021-02-17
CN113407507B (zh) 2022-04-29
CN110399347B (zh) 2021-05-18
CA3098860C (en) 2023-09-26
JP2021519988A (ja) 2021-08-12
US11436196B2 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
JP7100155B2 (ja) アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体
US11657309B2 (en) Behavior analysis and visualization for a computer infrastructure
US11232133B2 (en) System for detecting and characterizing seasons
CN107248927B (zh) 故障定位模型的生成方法、故障定位方法和装置
US11836162B2 (en) Unsupervised method for classifying seasonal patterns
US10489711B1 (en) Method and apparatus for predictive behavioral analytics for IT operations
US8069370B1 (en) Fault identification of multi-host complex systems with timesliding window analysis in a time series
CN107992398A (zh) 一种业务系统的监控方法和监控系统
CN103761173A (zh) 一种基于日志的计算机系统故障诊断方法及装置
WO2020168756A1 (zh) 集群日志特征提取方法、装置、设备及存储介质
CN110489317B (zh) 基于工作流的云系统任务运行故障诊断方法与系统
WO2011017955A1 (zh) 一种告警数据分析的方法及其系统
WO2020167463A1 (en) Interface for fault prediction and detection using time-based distributed data
CN112596975A (zh) 对网络设备进行监控处理的方法、系统、设备和存储介质
CN113297042B (zh) 一种告警消息的处理方法、装置及设备
CN115357418A (zh) 微服务故障检测方法、装置、存储介质及计算机设备
US9201752B2 (en) System and method for correlating empirical data with user experience
CN111694721A (zh) 一种微服务的故障监测方法和装置
Xue et al. Fill-in the gaps: Spatial-temporal models for missing data
RU2777616C2 (ru) Система, устройство и способ сжатия журнала регистрации аварийных сигналов и носитель данных
CN111628901B (zh) 一种指标异常检测方法以及相关装置
US20230195962A1 (en) Model construction apparatus, estimation apparatus, model construction method, estimation method and program
CN115604072A (zh) 一种基于相对信息熵的电网告警降噪方法及系统
Gurumdimma et al. On handling redundancy for failure log analysis of cluster systems
CN115296976A (zh) 物联网设备故障检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220630

R150 Certificate of patent or registration of utility model

Ref document number: 7100155

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150