JP5577879B2 - フィルタ設定システム、フィルタ設定方法、及びフィルタ設定プログラム - Google Patents
フィルタ設定システム、フィルタ設定方法、及びフィルタ設定プログラム Download PDFInfo
- Publication number
- JP5577879B2 JP5577879B2 JP2010138756A JP2010138756A JP5577879B2 JP 5577879 B2 JP5577879 B2 JP 5577879B2 JP 2010138756 A JP2010138756 A JP 2010138756A JP 2010138756 A JP2010138756 A JP 2010138756A JP 5577879 B2 JP5577879 B2 JP 5577879B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- message
- word
- condition
- definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
この運用管理システムでは、メッセージ内容のフィルタリング処理を行い、システム管理に係るメッセージを判別し、これ収集することにより、管理者はエージェント端末の動作状態を監視する。
また、フィルタに一致しなかったメッセージを収集し、このメッセージの内容および傾向などを分析し、フィルタリング処理する直前に、分析したデータからメッセージがフィルタリング処理を行う必要があるか否かを判別し、不要なフィルタリング処理が行われるのを軽減する技術も開示されている。
また、上記特許文献2に記載の関連技術では、フィルタリング処理における処理負荷軽減用にフィルタの内容を変更するものではないため、フィルタリング処理に係る処理負荷の増大を有効に抑止することができないといった不都合が生じ得る。
本発明は、上記関連技術の有する不都合を改善し、メッセージ処理にかかる処理負荷を軽減し迅速なメッセージ処理を行うフィルタ設定システム、フィルタ設定方法、及びフィルタ設定プログラムを提供することを、その目的とする。
次に、本発明を実施するための実施形態について図面を参照して説明する。
マネージャ装置51のメッセージ受信部22は、エージェント端末61、62、・・・6(N−1)、6Nから送り込まれたメッセージを受信するメッセージ受信機能を有する。
また、フィルタ処理部21は、上記フィルタリング処理として、取得したメッセージの内容がフィルタ保持部81に格納されたフィルタ(フィルタ条件情報)01、02、・・・、0Nの何れかに一致するか否かの判定(フィルタ判定)を行う(フィルタ一致判定機能)。
また、フィルタ処理部21は、フィルタ(フィルタ条件情報)01、02、・・・、またはNに一致したメッセージ(フィルタ一致メッセージ)を抽出し、このフィルタ一致メッセージをフィルタ一致データベース部11に格納するメッセージ抽出格納機能を有する。
尚、フィルタ一致メッセージは、フィルタ01用、フィルタ02用、・・・フィルタN用のように(図1)、それぞれフィルタ保持部81に格納された各フィルタに対応して格納されるものとする。また、蓄積期間設定情報には、フィルタ一致メッセージがフィルタ一致DB内に蓄積保存される期間が各フィルタに対応して予め設定されているものとする。
以下、分析部71の内部構成について説明する(図2)。
尚、単語・長さ分析手段72は、単語の出現場所が部分データにおける先頭から何バイト目か、単語の長さ、および部分データが含まれるメッセージの全体の長さを調査結果として出現頻度分析手段74に通知するものとする。
尚、ここでフィルタ候補として選出された単語文字列はフィルタ候補選定手段75に通知されるものとする。
また、フィルタ候補選定手段75は、更新用フィルタ情報をフィルタ条件情報(フィルタ)としてフィルタ保持部81に対して追加設定する(フィルタ追加設定機能)。
これにより、フィルタ保持部81内に設定された各フィルタ条件情報(追加フィルタ)について、後述する、「追加フィルタの最適化確認処理」時に、効率化用部分データに該当する部分を容易に確認することが可能となる。
また、このフィルタ有効性分析手段77は、フィルタ一致データベース部11に蓄積されたメッセージより、追加フィルタと元になったフィルタで、それぞれ一致したメッセージ数と全体のメッセージ数に対して、追加された各フィルタで一致したメッセージ数の割合を算出する一致割合算出機能を有する。
ここで、フィルタに使用される正規表現について説明する。
尚、本実施形態においては、フィルタ処理部21における、フィルタリング処理の性能処理特性として、先頭に近く短い文字列の方が、CPU処理時間が短いものとする。
以下、この正規表現について、図4に基づき具体的に説明する。
この図4では、ワイルドカード指定(*)を行った場合を基準として、フィルタ処理部21における処理時間(CPU処理時間)、フィルタの種類、およびフィルタとしての条件例ごとの処理速度の改善率を示している。
また、文字列全体(AAABBBCCCDDD)の一致を調べるフィルタリング処理では、文字のワイルドカード指定(X)に比べて処理速度が約16%改善されることが示されている。
このため、本実施形態では、フィルタに一致したメッセージを、各フィルタに対応させてフィルタ一致DB部11に一定期間蓄積し、分析部71において、蓄積されたメッセージを単語単位に分割し、各単語につき全メッセージ件数に占める出現頻度割合が一定基準を超えている場合に、この単語を使用したフィルタ定義(追加フィルタ)を生成し、このフィルタ定義に追加することにより、フィルタ保持部81内のフィルタを最適化する。
これにより、フィルタ処理部21におけるフィルタ性能を向上させる構成となっている。
これにより、メッセージ受信部22が取得したメッセージ全体から抽出対象となるメッセージが選別される。
*
(フィルタ01の内容始まり)
# CPUが高負荷:* で発生の分析結果より追加
CPUが高負荷:.{8} で発生。
# CPUが高負荷:* で発生の分析結果より追加
CPUが高負荷:.{7} で発生。
CPUが高負荷:* で発生。
(フィルタ02の内容 ここまで)
# Error: * ORA−.* (サーバ)の分析結果より追加確認後無効
# Error: {24} ORA−.{57} (サーバ)
Error: * ORA−.*(サーバ)
(フィルタ02の内容 ここまで)
また、上記フィルタ03においては、削除されたフィルタ定義を示すためのコメント(#から文末まで)が記述されている。
ここで、マネージャ装置51における、「通常の運用時におけるメッセージ蓄積機能」について、図1に基づき説明する。
まず、メッセージ受信部22が、上述のように、エージェント61,62,〜,6Nそれぞれから送られたメッセージを受信する。
尚、メッセージ受信部22は、マネージャ装置51の通常運用時にエージェント端末から出力されるメッセージを常時監視しているものとする。
ここで、フィルタ処理部21は、設定されたフィルタに一致したメッセージを、予めフィルタ一致DB部内に設定された蓄積期間設定情報に基づきフィルタ一致データベース部11に一定期間格納する。
次に、本実施形態における、「フィルタ最適化更新機能」について、図2に基づき説明する。
ここでは、各フィルタ(01,02,・・・,0N)に対応してフィルタ一致DB部11内に一定期間蓄積されているメッセージ(フィルタ用メッセージ)について、分析部71がメッセージ内容の分析を行い、これに基づき最適なフィルタの生成およびフィルタ更新を行う。
ここで、単語・長さ分析手段72は、効率化対象フィルタ部分を、フィルタ一致DB部11内に蓄積されているメッセージ中から抜き出す。
まず、単語・長さ分析手段72は、単語ごとにメッセージ中における出現頻度を算出し、出現頻度が一致しているものを同一グループに設定し、単語の出現場所がメッセージ内における先頭から何バイト目かを算出すると共に、各単語の長さ(単語長)を算出する。
また、単語・長さ分析手段72は、メッセージの全体の長さ(メッセージ長)を算出する。
ここで、分類処理結果の値が、効率化フィルタ作成定義設定情報として定義された閾値情報を上回る場合に、当該分類処理結果の値に対応する単語やメッセージを追加フィルタ候補として選出する。
例えば、効率化フィルタ作成定義設定情報の内容として、「全体に対する出現割合:30%以上」と定義されている場合、メッセージ全体における特定の文字列の出現頻度が30%以上である場合に、この文字列はフィルタ定義(追加フィルタ)としてフィルタ保持部81に追加設定される。
ここでは、まず、フィルタ候補選定手段75は、出現頻度分析手段74で選出された追加フィルタ候補のメッセージ内における出現確率を算出し、ここで算出された出現確率が予め設定された効率化フィルタ作成定義情報を上回る場合に、その追加フィルタ候補を追加フィルタ(追加フィルタ定義)として決定する。また、この追加フィルタの出現確率の高い順にフィルタ候補を選定する。
ここで、フィルタ候補選定手段75は、追加したフィルタ定義(追加フィルタ)に対して、元になったフィルタ定義が何であるかがわかるように、フィルタ定義中に元になったフィルタ定義を示すコメントの記述を行うものとする。
尚、元になったフィルタ定義が何であるかを示す情報は、後述の「追加フィルタの最適化確認処理」時に使用される。
次に、本実施形態のフィルタ有効性分析手段77における、「追加フィルタの最適化確認処理機能」について、図3に基づき説明する。
ここで、分析部71のフィルタ有効性分析手段77は、最適化確認処理機能の実行により、フィルタ一致データベース部11内に蓄積されたメッセージを取得すると共に、このメッセージを分析することにより追加フィルタの有効性の確認および有効性判定を行う。
以下、これを詳述する
尚、処理・フィルタ一致DB部11に蓄積されたメッセージそれぞれには、どのフィルタに基づき抽出されたかを示す情報が含まれているものとする。
これにより、追加フィルタおよび元フィルタそれぞれのフィルタリング効率が算出される。
ここで、フィルタ有効性分析手段77は、有効性が確認されたフィルタ(つまり、抽出割合値が効率化フィルタ作成定義設定情報に設定された値を上回る追加フィルタおよび元フィルタ)について、出現確率の高い順にフィルタを並べ替えを行い、一定の出現確率以上のフィルタを最終的なフィルタとして決定する。
また、フィルタ有効性分析手段77は、フィルタ有効性判定機能の実行により有効性が確認できなかった、つまり、抽出割合値が効率化フィルタ作成定義設定情報に設定された値を下回るフィルタを削除する処理を行う。
次に上記実施形態の動作内容について、概説する。
本実施形態では、上記分析部71の単語・長さ分析手段72が、フィルタ一致DB部11内のメッセージに含まれる単語の出現回数、出現位置、および当該単語の長さを算出し、出現頻度分析手段74が、算出された出現回数が予め設定されたフィルタ作成定義情報の値を上回る単語を条件単語として抽出し(単語分類工程)、出現頻度分析手段74が、条件単語からメッセージ内における出現頻度割合が一定値以上の条件単語を追加フィルタ定義として決定し、フィルタ候補選定手段75が、追加フィルタ定義を追加することにより前記フィルタ条件情報の内容を更新する(フィルタ条件追加更新工程)。
また、分析部71のフィルタ有効性分析手段が、フィルタ条件情報に一致したメッセージの割合に基づき前記フィルタ条件情報のフィルタリング処理に係る有効性を判定し(フィルタ有効性判定工程)、有効性がないと判定されたフィルタ条件情報を削除する処理を行う(フィルタ条件削除更新工程)。
ここで、上記単語分類工程、フィルタ条件追加更新工程、フィルタ有効性判定工程、およびフィルタ条件削除更新工程については、その実行内容をプログラム化しコンピュータに実行させる構成であってもよい。
ここで、フィルタ条件情報であるフィルタ01の内容(フィルタ定義)を以下に示す。
*
(フィルタ01の内容 ここまで)
まず、マネージャ装置51のメッセージ受信部22は、エージェント61〜6Nそれぞれから送り込まれたメッセージを受信する。
次に、フィルタ処理部21が、受信したメッセージがフィルタ01(上記)の内容に一致するか否かを判定すると共に、一致したメッセージを抽出しフィルタ一致データベース部11に格納する(フィルタリング処理)。尚、格納されたメッセージは蓄積期間設定に設定された期間記憶されるものとする。
CPUが高負荷:HOST_AAA で発生。
2009/1/2 Error:ネットワークコネクション切断
CPUが高負荷:HOST_CC で発生。
Error:2009 1 11 Sun 13:23 ORA−1654: unable to extend index (サーバ)
CPU Error:HOST_AAA で発生。
CPUが高負荷:HOST_AAA で発生。
CPUが高負荷:HOST_CC で発生。
CPUが高負荷:HOST_CC で発生。
2009/1/18 Handle Leak.
Error:2009 2 11 Wed 8:34 ORA−12514: TNS: リスナーは接続記述子にあるSERVICE(サーバ)
(フィルタ一致データベース部11の蓄積メッセージ ここまで)
次に、分析部71は、フィルタ一致データベース部11に蓄積されているメッセージの分析を行い、これに基づきフィルタ保持部81内に最適なフィルタを更新設定する。
ここでは、分析部71の単語・長さ分析手段72が、効率化したいフィルタの部分(フィルタ定義)の抽出を行う。
ここでは、フィルタ条件「*」の「*」に該当する部分を切り出して解析する。
CPUが高負荷:HOST_AAA で発生。
2009/1/2 Error:ネットワークコネクション切断
CPUが高負荷:HOST_CC で発生。
Error:2009 1 11 Sun 13:23 ORA−1654: unable to extend index (サーバ)
CPU Error:HOST_AAA で発生。
CPUが高負荷:HOST_AAA で発生。
CPUが高負荷:HOST_CC で発生。
CPUが高負荷:HOST_CC で発生。
2009/1/18 Handle Leak.
Error:2009 2 11 Wed 8:34 ORA−12514: TNS: リスナーは接続記述子にあるSERVICE(サーバ)となる。
(切り出されたメッセージ ここまで)
これにより、CPU、高負荷、HOST_AA、発生、Error、およびHOST_CCが出現頻度分析手段74により、フィルタ候補として抽出される。
更に、出現確率も同値である場合、追加フィルタ候補の単語の出現場所が先頭に近い単語を優先する、つまり、追加フィルタ候補としての優先順位を上位に設定する。
また、「CPU」と「高負荷」が重複なので、出現確率の低い「高負荷」を削除し、そして、「CPU」と「HOST_AAA」が重複なので、出現確率の低い「HOST_AAA」を削除し、最後に、「CPU」と「HOST_CC」が重複なので、出現確率の低い「HOST_CC」を削除する。
フィルタ候補選定手段75は、「CPU」と「Error」を追加フィルタ候補としてフィルタ保持部81に送信する。
これにより、フィルタ01の内容は、以下に示すように、更新される。
# *の分析結果より追加
CPU
# *の分析結果より追加<
Error
*
(フィルタ01の内容ここまで)
次いで、分析部71のフィルタ有効性分析手段77が、フィルタ一致データベース部11に格納されたメッセージを分析することにより、フィルタ保持部81に設定された各フィルタのフィルタ定義によるフィルタリング処理の有効性を確認する処理を行う。
以下、フィルタ01に含まれるフィルタ定義を示す。
CPU 分析の結果追加
Error 分析の結果追加
*
(フィルタ01 ここまで)
これにより、フィルタ有効性分析手段77による有効性確認処理後のフィルタ01は、以下に示すように更新設定される。
# *の分析結果より追加
CPU
# *の分析結果より追加 確認後無効
#Error
*
(フィルタ01 ここまで)
また、マネージャ装置51の運用管理者が発生したメッセージの傾向を調べフィルタ内容(フィルタ定義)の更新を手動で行うことなく、自動でフィルタ内容を最適化する更新を行うことができる。
ところで、文字列の検索やフィルタリング処理のおいては、コンピュータ環境により正規表現の性能処理特性が異なるが、フィルタ定義としてのワイルドカード「*」を、別の正規表現に置換えることにより、CPU処理時間が短くすることが可能となる。
尚、どのようなロジックを使用するかは、システム導入時に予め決定し、更には、フィルタリング処理の運用中に必要に応じて変更を実施するものとする。
ここで、フィルタ条件情報であるフィルタ02の内容(フィルタ定義)を以下に示す。
CPUが高負荷:*で発生。
(フィルタ02の内容 ここまで)
まず、マネージャ装置51のメッセージ受信部22は、エージェント61〜6Nそれぞれから送り込まれたメッセージを受信する。
次に、フィルタ処理部21が、受信したメッセージがフィルタ01(上記)の内容に一致するか否かを判定すると共に、一致したメッセージを抽出しフィルタ一致データベース部11に格納する(フィルタリング処理)。尚、格納されたメッセージは蓄積期間設定に設定された期間記憶されるものとする。
CPUが高負荷:HOST_AAAで発生。
CPUが高負荷:HOST_CCで発生。
CPUが高負荷:HOST_AAA で発生。
CPUが高負荷:HOST_AAA で発生。
CPUが高負荷:HOST_CC で発生。
CPUが高負荷:HOST_CC で発生。
CPUが高負荷:HOST_AAA で発生。
CPUが高負荷:HOST_DDDで発生。
CPUが高負荷:HOST_Bで発生。
CPUが高負荷:HOST_DDDで発生。
(フィルタ一致データベース部11の蓄積メッセージ ここまで)
ここでは、分析部71の単語・長さ分析手段72が、効率化したいフィルタの部分(フィルタ定義)の抽出を行う。
ここでは、フィルタ条件「CPUが高負荷:*で発生。」における「*」の部分を切り出して解析する。
HOST_AAA
HOST_CC
HOST_AAA
HOST_AAA
HOST_CC
HOST_CC
HOST_AAA
HOST_DDD
HOST_B
HOST_DDD
(切り出されたメッセージ ここまで)
ここで、単語・長さ分析手段72は、単語ごとに出現回数、および出現割合を算出しこれに基づきグループ分けを行う(図8(A))。また、対象の単語の出現場所がメッセージ中の先頭から何バイト目か、また、単語の長さを算出する。更には、メッセージの全体の長さも算出する(図8(B))。
これにより、この段階でのフィルタ候補は、「CPUが高負荷:HOST_AAAで発生。」および「CPUが高負荷:HOST_CC で発生。」となる。
8バイト、および7バイトが当てはまるので、それぞれをフィルタ候補として抽出する。
これにより、この段階での追加フィルタ候補は、「CPUが高負荷:.{8} で発生。」、「CPUが高負荷:.{7} で発生。」「CPUが高負荷:HOST_AAA で発生。」および「CPUが高負荷:HOST_CC で発生。」となる。
ここで、重複があった場合、出現確率の低い方の追加フィルタ候補を削除する。
更に、出現確率も同値である場合、追加フィルタ候補の単語の出現場所が先頭に近い単語を優先する、つまり、追加フィルタ候補としての優先順位を上位に設定する。
次いで、フィルタ候補選定手段75は、この「CPUが高負荷:.{8}で発生。」と「CPUが高負荷:.{7}で発生。」を追加フィルタ候補としてフィルタ保持部81に送信する。
これにより、フィルタ02の内容は、以下に示すように、更新される。
# CPUが高負荷:* で発生 の分析結果より追加
CPUが高負荷:.{8} で発生。
# CPUが高負荷:* で発生 の分析結果より追加
CPUが高負荷:.{7} で発生。
CPUが高負荷:* で発生。
(フィルタ02の内容 ここまで)
次いで、分析部71のフィルタ有効性分析手段77が、フィルタ一致データベース部11に格納されたメッセージを分析することにより、フィルタ保持部81に設定された各フィルタのフィルタ定義によるフィルタリング処理の有効性を確認する処理を行う。
以下、フィルタ02に含まれるフィルタ定義を示す。
# CPUが高負荷:*で発生の分析結果より追加
CPUが高負荷:.{8}で発生。
# CPUが高負荷:*で発生の分析結果より追加
CPUが高負荷:.{7}で発生。
CPUが高負荷:*で発生。
(フィルタ02 ここまで)
また、フィルタ有効性分析手段77は、一致したメッセージ数の割合が効率化フィルタ作成定義設定情報の閾値以上であるか否かを判定し、これにより、追加されたフィルタの有効性を判定する。
有効性を確認したフィルタ定義については、出現確率の高い順にフィルタを並べ替えを行い、最終的なフィルタ定義を決定する。また、有効性が確認できなかったフィルタ定義については削除する。
ここで、追加フィルタ定義の割合は、効率化フィルタ作成定義情報に設定された値(30%)を上回っているため、削除されない。
これにより、フィルタ有効性分析手段77による有効性確認処理後のフィルタ02は、以下に示すように更新設定される。
# CPUが高負荷:*で発生の分析結果より追加
CPUが高負荷:.{8}で発生。
# CPUが高負荷:*で発生の分析結果より追加
CPUが高負荷:.{7}で発生。
CPUが高負荷:*で発生。
(フィルタ02 ここまで)
また、マネージャ装置51の運用管理者が発生したメッセージの傾向を調べフィルタ内容(フィルタ定義)の更新を手動で行うことなく、自動でフィルタ内容を最適化する更新を行うことができる。
次に、上記実施形態および変形例(1)とは異なるフィルタ更新ロジックを採用した場合としての上記実施形態の変形例(2)における、「通常の運用時のメッセージ格納機能」、「フィルタ最適化処理機能」、および「追加フィルタの最適化確認処理機能」それぞれの実行動作内容について、具体的に説明する。
ここで、フィルタ条件情報であるフィルタ03の内容(フィルタ定義)を以下に示す。
Error:.* ORA−.* (サーバ)
(フィルタ03の内容 ここまで)
まず、マネージャ装置51のメッセージ受信部22は、エージェント61〜6Nそれぞれから送り込まれたメッセージを受信する。
次に、フィルタ処理部21が、受信したメッセージがフィルタ03の内容に一致するか否かを判定すると共に、一致したメッセージを抽出しフィルタ一致データベース部11に格納する(フィルタリング処理)。尚、格納されたメッセージは蓄積期間設定に設定された期間記憶されるものとする。
Error:2009 1 1 Sat 12:23 ORA−1654: unable to extend index (サーバ)
Error:2009 1 11 Sun 13:23 ORA−1654: unable to extend index (サーバ)
Error:2009 1 15 Thu 8:34 ORA−12154: TNS: 指定された接続識別子を解決できませんでした。(サーバ)
Error:2009 1 20 Tue 22:3 ORA−12154: TNS: 指定された接続識別子を解決できませんでした。(サーバ)
Error:2009 1 28 Wed 7:13 ORA−1034: Oracleは使用できません。(サーバ)
Error:2009 2 2 Mon 12:23 ORA−12154: TNS: 指定された接続識別子を解決できませんでした。(サーバ)
Error:2009 2 8 Sun 13:23 ORA−12541: TNS: リスナーがありません。(サーバ)
Error:2009 2 11 Wed 8:34 ORA−12514: TNS: リスナーは接続記述子にあるSERVICE(サーバ)
Error:2009 2 22 Sun 2:3 ORA−12154: TNS:could not resolve service name (サーバ)
Error:2009 2 22 Sun 2:33 ORA−6502: PL/SQL: 数値または値のエラー: 文字列バッファが小さすぎます。(サーバ)
(フィルタ一致データベース部11の蓄積メッセージ ここまで)
ここでは、分析部71の単語・長さ分析手段72が、効率化したいフィルタの部分(フィルタ定義)の抽出を行う。
ここでは、フィルタ03「Error:.* ORA−.* (サーバ)」に含まれる2つの*のうち、前側の(前半の)「*」部分を切り出して解析を行うものとする。
2009 1 1 Sat 12:23
2009 1 11 Sun 13:23
2009 1 15 Thu 8:34
2009 1 20 Tue 22:3
2009 1 28 Wed 7:13
2009 2 2 Mon 12:23
2009 2 8 Sun 13:23
2009 2 11 Wed 8:34
2009 2 22 Sun 2:3
2009 2 22 Sun 2:33
(切り出されたメッセージ ここまで)
ここで、単語・長さ分析手段72は、単語出現頻度調査、単語長調査、単語出現場所調査、グループ分け、を単語設定情報の定義に基づき出現回数、および出現割合を算出し、これに基づきグループ分けを行う。また、対象の単語(第1〜5単語)の出現場所がメッセージ中の先頭から何バイト目か、また、単語の長さを算出する。更には、メッセージの全体の長さも算出する(図11(A)〜(F))。
次いで、図11(B)の内容に基づき、効率化フィルタ作成定義情報の閾値を上回る文は、出現回数50%の「1」と同じく出現回数50%の「2」を抽出する。
また、図11(C)の内容に基づき、効率化フィルタ作成定義情報の閾値を上回る文を検索した場合、候補がないので、単語の長さについて、効率化フィルタ作成定義情報の閾値を上回る文を検索する。
これにより、単語の長さ「2バイト」70%、および単語の長さ「1バイト」30%が抽出される。
更に、図11(D)の内容に基づき、効率化フィルタ作成定義情報の閾値を上回る文を検索することにより、出現回数40%の「Sun」を抽出することができる。
また、図11(E)の内容に基づき、効率化フィルタ作成定義情報の閾値を上回る文を検索した場合、候補がないので、単語の長さについて、効率化フィルタ作成定義情報の閾値を上回る文を検索する。
これにより、単語の長さ「5バイト」50%、および単語の長さ「4バイト」40%が抽出される。
更に、図11(F)の内容に基づき、効率化フィルタ作成定義情報の閾値を上回る文を検索することにより、全体の長さ「18バイト」80%を抽出することができる。
これにより、この段階での追加フィルタ候補は、以下のように示される。
Error:2009 [1|2] .{1} Sun .{5} ORA−.* (サーバ)
Error:2009 [1|2] .{2} Sun .{4} ORA−.* (サーバ)
Error:2009 [1|2] .{1} Sun .{5} ORA−.* (サーバ)
Error:2009 [1|2] .{2} Sun .{4} ORA−.* (サーバ)
(この段階での追加フィルタ候補 ここまで)
ここで、重複があった場合、出現確率の低い方の追加フィルタ候補を削除する。
更に、出現確率も同値である場合、追加フィルタ候補の単語の出現場所が先頭に近い単語を優先する、つまり、追加フィルタ候補としての優先順位を上位に設定する。
ここで、出現頻度、および一致した数が30%より低い(2)〜(5)のフィルタ候補は削除され、この段階でのフィルタ候補は、「Error:.{24} ORA−.* (サーバ)」となる。
ここでは、フィルタ03「Error:.* ORA−.* (サーバ)」に含まれる2つの*のうち、後側の(後半の)「*」部分を切り出して解析を行うものとする。
1654: unable to extend index
1654: unable to extend index
12154: TNS: 指定された接続識別子を解決できませんでした。
12154: TNS: 指定された接続識別子を解決できませんでした。
1034: Oracleは使用できません。
12154: TNS: 指定された接続識別子を解決できませんでした。
12541: TNS: リスナーがありません。
12514: TNS: リスナーは接続記述子にあるSERVICE
12154: TNS: could not resolve service name
6502: PL/SQL: 数値または値のエラー: 文字列バッファが小さすぎます。
(切り出されたメッセージ ここまで)
ここで、単語・長さ分析手段72は、単語出現頻度調査、単語長調査、単語出現場所調査、グループ分け、を単語設定情報の定義に基づき出現回数、および出現割合を算出し、これに基づき単語分類(グループ分け)を行う。また、対象の単語の出現場所がメッセージ中の先頭から何バイト目か、また、単語の長さを算出する。更には、メッセージの全体の長さも算出する。
ここでは、算出された単語の出現回数に基づき効率化フィルタ作成定義情報の閾値を上回る単語をフィルタ候補として抽出する。
このとき、フィルタ候補選定手段75は、上記(前半の*の場合)と同様に、出現確率の高い順にフィルタ候補をソートし、フィルタに重複が無いか、確認する。また、出現確率が同値である場合、単語の出現場所が先頭に近いものを優先し、最終的に追加するフィルタを決定するものとする。
# Error:.* ORA−.* (サーバ) の分析結果より追加
Error:.{24} ORA−.{57} (サーバ)
Error:.* ORA−.* (サーバ)
(フィルタ03の内容 ここまで)
次に、分析部71のフィルタ有効性分析手段77が、フィルタ一致データベース部11に格納されたメッセージを分析することにより、フィルタ保持部81に設定された各フィルタのフィルタ定義によるフィルタリング処理の有効性を確認する処理を行う。
以下、フィルタ03に含まれるフィルタ定義を示す。
# Error:.* ORA−.* (サーバ) の分析結果より追加
Error:.{24} ORA−.{57} (サーバ)
Error:.* ORA−.* (サーバ)
(フィルタ03の内容 ここまで)
また、フィルタ有効性分析手段77は、一致したメッセージ数の割合が効率化フィルタ作成定義設定情報の閾値以上であるか否かを判定し、これにより、追加されたフィルタの有効性を判定する。
有効性を確認したフィルタ定義については、出現確率の高い順にフィルタを並べ替えを行い、最終的なフィルタ定義を決定する。また、有効性が確認できなかったフィルタ定義については削除する。
# Error:.* ORA−.* (サーバ)の分析結果より追加 確認後無効
#Error:.{24} ORA−.{57} (サーバ)
Error:.* ORA−.* (サーバ)
(フィルタ03 ここまで)
また、マネージャ装置51の運用管理者が発生したメッセージの傾向を調べフィルタ内容(フィルタ定義)の更新を手動で行うことなく、自動でフィルタ内容を最適化する更新を行うことができる。
尚、上記の実施形態の一部又は全部は、新規な技術として以下のようにまとめられるが、本発明は必ずしもこれに限定されるものではない。
外部から入力されたメッセージから予め設定されたフィルタ条件情報に一致したメッセージを抽出するフィルタリング処理を行うと共に条件一致メッセージとして記憶するフィルタリング処理部と、前記条件一致メッセージの分析を行うと共に当該分析結果に基き前記フィルタ条件情報の更新を行うフィルタ分析更新部とを備えたフィルタ設定システムであって、
前記フィルタ分析更新部は、
前記条件一致メッセージに含まれる単語の出現回数、出現位置、および当該単語の長さを算出し、前記算出された出現回数が予め設定されたフィルタ作成定義情報の値を上回る単語を条件単語として抽出する単語分類手段と、
前記条件単語から前記メッセージ内における出現頻度割合が一定値以上の条件単語を追加フィルタ定義として決定し、前記追加フィルタ定義を追加することにより前記フィルタ条件情報の内容を更新するフィルタ条件追加更新手段と、
前記フィルタ条件情報に一致したメッセージの割合に基づき前記フィルタ条件情報のフィルタリング処理に係る有効性を判定するフィルタ有効性判定手段と、前記有効性がないと判定されたフィルタ条件情報を削除するフィルタ条件削除更新手段とを備えたことを特徴とするフィルタ設定システム。
付記1に記載のフィルタ設定システムにおいて、
前記フィルタ条件追加更新手段は、前記メッセージ中における前記単語の出現場所にかかる情報を取得すると共に、異なる条件単語間で前記算出された出現頻度割合が同値である場合に前記出現場所が前記メッセージ内の先頭に近い条件単語を優先する単語優先度設定機能を備えたことを特徴とするフィルタ条件設定システム。
付記1又は2に記載のフィルタ条件設定システムにおいて、
前記フィルタ有効性判定部および前記フィルタ条件削除更新部における動作起動タイミングを前記フィルタ条件追加更新手段における動作内容に基づき決定する更新動作タイミング決定部を備えたことを特徴とするフィルタ条件設定システム。
付記1又は2に記載のフィルタ条件設定システムにおいて、
単語分類手段は、予め前記条件単語の定義内容を設定することにより前記メッセージ中における分析範囲を既定する条件単語定義設定機能を備えたことを特徴とするフィルタ条件設定システム。
付記1又は2に記載のフィルタ条件設定システムにおいて、
前記フィルタ有効性判定部による前記フィルタ有効性の有無判定が行われるフィルタ条件情報を前記フィルタ条件追加更新手段による追加更新が行われたフィルタ条件情報に限定することを特徴としたフィルタ条件設定システム。
外部から入力されたメッセージから予め設定されたフィルタ条件情報に一致したメッセージを抽出するフィルタリング処理を行うと共に条件一致メッセージとして記憶するフィルタリング処理部と、前記条件一致メッセージの分析を行うフィルタ分析更新部とを備えたフィルタ設定システムにあって、前記分析結果に基き前記フィルタ条件情報の更新を行うフィルタ設定方法において、
前記条件一致メッセージに含まれる単語の出現回数、出現位置、および当該単語の長さを算出し、前記算出された出現回数が予め設定されたフィルタ作成定義情報の値を上回る単語を条件単語として抽出し、
前記条件単語から前記メッセージ内における出現頻度割合が一定値以上の条件単語を追加フィルタ定義として決定し、前記追加フィルタ定義を追加することにより前記フィルタ条件情報の内容を更新し、
前記フィルタ条件情報に一致したメッセージの割合に基づき前記フィルタ条件情報のフィルタリング処理に係る有効性を判定し、前記有効性がないと判定されたフィルタ条件情報を削除することを特徴としたフィルタ設定方法。
外部から入力されたメッセージから予め設定されたフィルタ条件情報に一致したメッセージを抽出するフィルタリング処理を行うと共に条件一致メッセージとして記憶するフィルタリング処理部と、前記条件一致メッセージの分析を行うフィルタ分析更新部とを備えたフィルタ設定システムにあって、前記分析結果に基き前記フィルタ条件情報の更新を行うフィルタ設定プログラムにおいて、
前記条件一致メッセージに含まれる単語の出現回数、出現位置、および当該単語の長さを算出し、前記算出された出現回数が予め設定されたフィルタ作成定義情報の値を上回る単語を条件単語として抽出する単語分類機能と、
前記条件単語から前記メッセージ内における出現頻度割合が一定値以上の条件単語を追加フィルタ定義として決定し、前記追加フィルタ定義を追加することにより前記フィルタ条件情報の内容を更新するフィルタ条件追加更新機能と、
前記フィルタ条件情報に一致したメッセージの割合に基づき前記フィルタ条件情報のフィルタリング処理に係る有効性を判定するフィルタ有効性判定機能と、前記有効性がないと判定されたフィルタ条件情報を削除するフィルタ条件削除更新機能と、をコンピュータに実行させることを特徴としたフィルタ設定プログラム。
21 フィルタ処理部
22 メッセージ受信部
31 監視端末へ通知処理部
41 監視端末
51 マネージャ装置
61、62 エージェント装置
72 単語・長さ分析手段
74 出現頻度分析手段
75 フィルタ候補選定手段
81 フィルタ保持部
Claims (6)
- 外部から入力されたメッセージから予め設定されたフィルタ条件情報に一致したメッセージを抽出するフィルタリング処理を行うと共に条件一致メッセージとして記憶するフィルタリング処理部と、前記条件一致メッセージの分析を行うと共に当該分析結果に基き前記フィルタ条件情報の更新を行うフィルタ分析更新部とを備えたフィルタ設定システムであって、
前記フィルタ分析更新部は、
前記条件一致メッセージに含まれる単語の出現回数、出現位置、および当該単語の長さを算出し、前記算出された出現回数が予め設定されたフィルタ作成定義情報の値を上回る単語を条件単語として抽出する単語分類手段と、
前記条件単語から前記メッセージ内における出現頻度割合が一定値以上の条件単語を追加フィルタ定義として決定し、前記追加フィルタ定義を追加することにより前記フィルタ条件情報の内容を更新するフィルタ条件追加更新手段と、
前記フィルタ条件情報に一致したメッセージの割合に基づき前記フィルタ条件情報のフィルタリング処理に係る有効性を判定するフィルタ有効性判定手段と、前記有効性がないと判定されたフィルタ条件情報を削除するフィルタ条件削除更新手段とを備えたことを特徴とするフィルタ設定システム。 - 請求項1に記載のフィルタ設定システムにおいて、
前記フィルタ条件追加更新手段は、前記メッセージ中における前記単語の出現場所にかかる情報を取得すると共に、異なる条件単語間で前記算出された出現頻度割合が同値である場合に前記出現場所が前記メッセージ内の先頭に近い条件単語を優先する単語優先度設定機能を備えたことを特徴とするフィルタ条件設定システム。 - 請求項1又は2に記載のフィルタ条件設定システムにおいて、
単語分類手段は、予め前記条件単語の定義内容を設定することにより前記メッセージ中における分析範囲を既定する条件単語定義設定機能を備えたことを特徴とするフィルタ条件設定システム。 - 請求項1又は2に記載のフィルタ条件設定システムにおいて、
前記フィルタ条件削除更新手段が削除の対象とするフィルタ条件情報を前記フィルタ条件追加更新手段による追加更新が行われたフィルタ条件情報に限定することを特徴としたフィルタ条件設定システム。 - 外部から入力されたメッセージから予め設定されたフィルタ条件情報に一致したメッセージを抽出するフィルタリング処理を行うと共に条件一致メッセージとして記憶するフィルタリング処理部と、前記条件一致メッセージの分析を行うフィルタ分析更新部とを備えたフィルタ設定システムにあって、前記分析結果に基き前記フィルタ条件情報の更新を行うフィルタ設定方法において、
前記条件一致メッセージに含まれる単語の出現回数、出現位置、および当該単語の長さを算出し、前記算出された出現回数が予め設定されたフィルタ作成定義情報の値を上回る単語を条件単語として抽出し、
前記条件単語から前記メッセージ内における出現頻度割合が一定値以上の条件単語を追加フィルタ定義として決定し、前記追加フィルタ定義を追加することにより前記フィルタ条件情報の内容を更新し、
前記フィルタ条件情報に一致したメッセージの割合に基づき前記フィルタ条件情報のフィルタリング処理に係る有効性を判定し、前記有効性がないと判定されたフィルタ条件情報を削除することを特徴としたフィルタ設定方法。 - 外部から入力されたメッセージから予め設定されたフィルタ条件情報に一致したメッセージを抽出するフィルタリング処理を行うと共に条件一致メッセージとして記憶するフィルタリング処理部と、前記条件一致メッセージの分析を行うフィルタ分析更新部とを備えたフィルタ設定システムにあって、前記分析結果に基き前記フィルタ条件情報の更新を行うフィルタ設定プログラムにおいて、
前記条件一致メッセージに含まれる単語の出現回数、出現位置、および当該単語の長さを算出し、前記算出された出現回数が予め設定されたフィルタ作成定義情報の値を上回る単語を条件単語として抽出する単語分類機能と、
前記条件単語から前記メッセージ内における出現頻度割合が一定値以上の条件単語を追加フィルタ定義として決定し、前記追加フィルタ定義を追加することにより前記フィルタ条件情報の内容を更新するフィルタ条件追加更新機能と、
前記フィルタ条件情報に一致したメッセージの割合に基づき前記フィルタ条件情報のフィルタリング処理に係る有効性を判定するフィルタ有効性判定機能と、前記有効性がないと判定されたフィルタ条件情報を削除するフィルタ条件削除更新機能と、をコンピュータに実行させることを特徴としたフィルタ設定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010138756A JP5577879B2 (ja) | 2010-06-17 | 2010-06-17 | フィルタ設定システム、フィルタ設定方法、及びフィルタ設定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010138756A JP5577879B2 (ja) | 2010-06-17 | 2010-06-17 | フィルタ設定システム、フィルタ設定方法、及びフィルタ設定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012003560A JP2012003560A (ja) | 2012-01-05 |
JP5577879B2 true JP5577879B2 (ja) | 2014-08-27 |
Family
ID=45535455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010138756A Expired - Fee Related JP5577879B2 (ja) | 2010-06-17 | 2010-06-17 | フィルタ設定システム、フィルタ設定方法、及びフィルタ設定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5577879B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5711677B2 (ja) * | 2012-02-21 | 2015-05-07 | 日本電信電話株式会社 | 監視情報分析装置及び方法 |
JP6620538B2 (ja) | 2015-12-04 | 2019-12-18 | 富士通株式会社 | 学習プログラム、学習方法およびメールサーバ |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004070664A (ja) * | 2002-08-06 | 2004-03-04 | Nippon Telegr & Teleph Corp <Ntt> | 分類フィルタ更新方法、分類フィルタ更新システム、分類フィルタ更新プログラム、および当該プログラムを記録した記録媒体 |
JP2005309964A (ja) * | 2004-04-23 | 2005-11-04 | Sony Corp | 情報処理装置及び情報処理装置に用いるプログラム |
CN101166159B (zh) * | 2006-10-18 | 2010-07-28 | 阿里巴巴集团控股有限公司 | 一种确定垃圾信息的方法及系统 |
-
2010
- 2010-06-17 JP JP2010138756A patent/JP5577879B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012003560A (ja) | 2012-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109933630B (zh) | 数据库数据实时同步方法及设备 | |
CN109241274B (zh) | 文本聚类方法及装置 | |
US8589432B2 (en) | Real time searching and reporting | |
EP3968178A1 (en) | Log parsing method and device, server and storage medium | |
CN105706045B (zh) | 对日志消息内容的面向语义分析 | |
US7961633B2 (en) | Method and system for real time detection of threats in high volume data streams | |
US8412696B2 (en) | Real time searching and reporting | |
US8141149B1 (en) | Keyword obfuscation | |
US20160140344A1 (en) | Security information management system and security information management method | |
RU2728498C1 (ru) | Способ и система определения принадлежности программного обеспечения по его исходному коду | |
CN106649557B (zh) | 一种缺陷报告与邮件列表语义关联挖掘方法 | |
CN114385763A (zh) | 数据血缘分析方法、装置、系统及可读存储介质 | |
CN113239365B (zh) | 一种基于知识图谱的漏洞修复方法 | |
CN107612730A (zh) | 一种日志采集分析方法、装置以及系统 | |
CN113051308A (zh) | 告警信息处理方法、设备、存储介质及装置 | |
CN115544519A (zh) | 对计量自动化系统威胁情报进行安全性关联分析的方法 | |
CN111581638A (zh) | 一种开源软件的安全分析方法及装置 | |
CN112307478A (zh) | 一种脚本病毒检测方法、系统及电子设备和存储介质 | |
CN112434003A (zh) | 一种sql优化方法、装置、计算机设备及存储介质 | |
JP5577879B2 (ja) | フィルタ設定システム、フィルタ設定方法、及びフィルタ設定プログラム | |
KR20120071817A (ko) | 악성코드 dna 및 메타데이터 자동 관리 시스템 | |
CN111414615B (zh) | 一种基于计算机网络的安全监控系统 | |
CN112686029A (zh) | 用于数据库审计系统的sql新语句识别方法及装置 | |
CN112765118A (zh) | 一种日志查询方法、装置、设备及存储介质 | |
CN110633430B (zh) | 事件发现方法、装置、设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140623 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5577879 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |