JP3778652B2 - ログデータ収集管理方法及びその装置 - Google Patents
ログデータ収集管理方法及びその装置 Download PDFInfo
- Publication number
- JP3778652B2 JP3778652B2 JP10121097A JP10121097A JP3778652B2 JP 3778652 B2 JP3778652 B2 JP 3778652B2 JP 10121097 A JP10121097 A JP 10121097A JP 10121097 A JP10121097 A JP 10121097A JP 3778652 B2 JP3778652 B2 JP 3778652B2
- Authority
- JP
- Japan
- Prior art keywords
- log
- log data
- data
- normalized
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007726 management method Methods 0.000 title claims description 78
- 238000013480 data collection Methods 0.000 title claims description 6
- 238000012545 processing Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 22
- 230000010365 information processing Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 49
- 238000010606 normalization Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 21
- 238000012544 monitoring process Methods 0.000 description 19
- 230000004044 response Effects 0.000 description 18
- 238000013500 data storage Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000720945 Hosta Species 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0226—Mapping or translating multiple network management protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、マネージャがネットワークを介してエージェントからログデータを収集するシステムに係わり、特にマネージャがシステム内に存在するログデータを共通的なログデータ形式に基づいて管理するログデータの収集と管理の方式に関する。
【０００２】
【従来の技術】
情報処理装置で実行されるオペレーティングシステム（ＯＳ）やアプリケーションプログラムは、各種のログ情報を出力する。出力されたログ情報を収集するいくつかの方式が知られている。例えば特開平５−２５０２２９号公報は、複数のコンピュータからのログデータ収集において、ログデータ中のエラーコードを検出することにより、エラー状態のコンピュータからのログデータを優先的に送信するログデータ収集方式を開示する。また特開平５−２８００８号公報は、情報処理システムが障害ログを収集するとき貯蔵手段に貯えられたログ情報の個数が一定数に達したことを検出し、ログ登録の抑止を行うことにより重要な障害情報の消失を防ぐログ情報収集方式を開示する。また特開平５−１１１０２９号公報は、下位の設備端末からのデータが採取された時刻をデータに付与して上位の制御装置に送ることにより、複数の端末からの各データの時系列的な関係が損なわれることがないようにするデータ収集方式を開示する。
【０００３】
【発明が解決しようとする課題】
ネットワークを介して複数のコンピュータが接続され、コンピュータが他のコンピュータと通信しながら処理を進める分散処理システムにおいて、一人のユーザは複数の広範囲に亘るコンピュータやファイルにアクセスし得る。従ってログデータを解析することによってコンピュータやファイルへの不正なアクセスを検出するためには、個々のコンピュータが出力するログデータを中央のコンピュータに集約し、データベースに蓄積する必要がある。しかしながら各種のシステムプログラムやアプリケーションプログラムが出力するログデータは、各々そのデータ形式が異なっているので、単に個々のコンピュータプログラムが出力するログデータを収集して集約するだけではログデータの解析が困難である。また個々のコンピュータが保有する時刻がすべてのコンピュータに亘って一致しているとは限らないので、一般に個々のログデータに付与されている時刻にはずれが生じており、集約されたログデータを正しい時刻の順序に従って配列することが困難である。
【０００４】
本発明は、上記の事情に鑑みてなされたものであり、その目的とするところは、共通的なデータ形式に正規化されたログデータを管理することにある。
【０００５】
本発明の他の目的は、各サイトのコンピュータからログデータを収集する中央のコンピュータの時刻を基準とするログデータを管理することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明は、監視の対象とするログファイル中のログデータからあらかじめ定義されたデータ項目に対応する値を切り出して規定されたデータ項目の値を配列する正規化されたログデータを作成して蓄積する手段と、蓄積された正規化ログデータをネットワークを介してマネージャの機能を実行するコンピュータへ送信する手段とをエージェントの処理手段として有するログデータの収集をするコンピュータを特徴とする。
【０００７】
また本発明は、ネットワークを介してエージェントの機能を実行するコンピュータからあらかじめ定義された共通のデータ形式に従って正規化されたログデータであってマネージャの基準とする時刻に基づいて補正されたログ出力時刻を有する正規化ログデータを受信する手段と、該正規化ログデータを補正時刻の順にデータベースに蓄積する手段とをマネージャの処理手段として有するログデータの収集と管理をするコンピュータを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の一実施形態について図面に基づいて詳細に説明する。
【０００９】
図１は、本発明を適用する通信ネットワークの一例を示すシステム構成図である。ネットワークは複数のＬＡＮ１，３，４及びＷＡＮ（ワイド・エリア・ネットワーク）２に結合されるものである。マネージャ１０は、計算機の主記憶装置に格納され、ＯＳの下で走行するアプリケーションプログラム（ＡＰ）である。エージェント２０は、サーバ等の計算機の主記憶装置に格納され、ＯＳの下で走行するＡＰである。マネージャ１０は、ＬＡＮ１，３，４又はＷＡＮ２を介してエージェント２０−１，２０−２，２０−３，２０−４と通信することが可能である。図に示すように、エージェント２０を実行する計算機はエージェント２０と並行して他のＡＰを実行することが可能である。マネージャ１０を実行する計算機もマネージャ１０と並行して他のＡＰを実行することが可能であるが、充分なＣＰＵ性能と資源を確保するためには、専用の計算機を割り当てるのが望ましい。６０はこのネットワークシステムを管理するネットワーク管理システムであり、ネットワーク管理プログラム及び図示しないネットワーク監視端末から構成される。ネットワーク管理システム６０は、ネットワーク資源についての情報をマネージャ１０に提供する。
【００１０】
図２は、マネージャとエージェントが行う処理動作の概略を示す図である。マネージャ１０は、定義された各種ルールをエージェント２０へ配布する(▲１▼)。エージェント２０は、受信したルールを登録し、そのルールに従い監視対象ログファイル群３０からログデータを入力し(▲２▼)、ログデータを正規化した後、正規化ログファイル４０に格納する(▲３▼)。このとき正規化ログデータ中のログ出力時刻をマネージャ１０の時刻を基準とする補正時刻によつて補正する。エージェント２０は、マネージャ１０からログ収集要求があったとき正規化ログファイル４０から正規化されたログデータを取り出し(▲４▼)、マネージャ１０へ転送する(▲５▼)。マネージャ１０は、収集した正規化ログデータを補正時刻の順に正規化ログデータベース５０に格納する(▲６▼)。またマネージャ１０は、必要に応じて正規化ログデータベース５０から任意の正規化ログデータを抽出し、その解析を行う。
【００１１】
図３は、マネージャ１０の構成を示す機能ブロック図である。ルール１１０は定義された各種ルールであり、記憶装置に格納される。正規化ログデータベース５０は、収集された正規化ログデータを格納するデータベースであり、記憶装置に格納される。ネットワーク管理システム６０は、ネットワークを介してマネージャ１０を格納する計算機と接続される他の計算機およびネットワークを監視する端末装置から構成されるシステムであり、マネージャ１０と同じ計算機で走行するネットワーク管理プログラムは、ネットワークの構成要素である各通信回線、ルータ、中継機、各種計算機、計算機のプログラム等の動作状態（接続中／接続断，動作中／停止状態など）、各ネットワーク構成要素の所在場所などを管理する。以下マネージャ１０を構成する各機能モジュールの機能の概略について述べる。
【００１２】
（１）ルール定義１００
運用者が各種ルールを定義するためのプログラムツールであり、図示しない入力装置及び表示装置を介してユーザが容易にルールを設定できるようなＧＵＩ（グラフィカル・ユーザ・インタフェース）を提供する。
【００１３】
（２）スケジューラ１０１
ルール配布及びログ収集を実行する契機をそれぞれルール配布１０６及びログ収集１０７に知らせるプログラムである。契機の例として、例えば毎日午後５時、毎週土曜日の午後３時１５分などのように実行開始を指示する。
【００１４】
（３）プロセス管理１０２
マネージャ１０の１００〜１０９を付す各機能モジュールの起動／停止を制御するプログラムである。
【００１５】
（４）ログ解析１０３
データベース管理１０９を介して正規化ログデータベース５０から正規化ログデータ群を抽出し、所定の解析を行うプログラムである。以下ログ事象がログインである場合のログデータ解析の例を表１に示す。ログ事象及び正規化項目については後述する。
【００１６】
【表１】
【００１７】
（５）構成管理１０４
対象とするエージェント２０の一覧を管理するプログラムである。またネットワーク管理システム６０に問い合わせを行ってエージェント２０が動作する計算機の動作有無やｐｉｎｇの応答時間等の情報を取得してルール配布１０６又はログ収集１０７に渡す。
【００１８】
（６）ルール管理１０５
ルール定義１００から定義された各種ルールを受け取ってルール１１０に格納する。またルール１１０からルールを読み出してルール配布１０６に渡す。
【００１９】
（７）ルール配布１０６
スケジューラ１０１の指示に従い、ルール管理１０５から各種ルールを取得してエージェント２０ヘ配布するプログラムである。
【００２０】
（８）ログ収集１０７
スケジューラ１０１の指示に従い、エージェント２０から正規化ログファイルを収集するプログラムである。
【００２１】
（９）データ通信１０８
ルール配布１０６及びログ収集１０７がエージェント２０と通信するときに通信制御を行うプログラムである。
【００２２】
（１０）データベース管理１０９
ログ収集１０７がエージェント２０から収集した正規化ログデータ群（正規化ログファイル）を正規化ログデータベース５０に格納し、ログ解析１０３からの要求によって正規化ログデータを検索し抽出する。また所定の保存期間を過ぎた正規化ログデータを正規化ログデータベース５０から削除し、未使用の記憶領域を生み出す。
【００２３】
図４は、エージェント２０の構成を示す機能ブロック図である。ルール２０５は配布を受けた各種ルールであり、記憶装置に格納される。監視対象ログファイル群３０は、監視対象とするログファイルであり、記憶装置に格納される。正規化ログファイル４０は、正規化ログデータを格納するファイルであり、記憶装置に格納される。以下エージェント２０を構成する各機能モジュールの機能の概略について述べる。
【００２４】
（１）データ通信２００
データ通信２００は、ルール管理２０３及びログファイル管理２０４がマネージャ１０と通信するときに通信制御を行うプログラムである。
【００２５】
（２）プロセス管理２０１
エージェント２０の２００〜２０４を付す各機能モジュールの起動／停止を制御するプログラムである。
【００２６】
（３）ログ入力２０２
ルール管理２０３からログファイル監視ルールやフォーマットルール等を取得し、監視対象ログファイル群３０から入力したログデータを正規化した後、正規化ログデータをログファイル管理２０４へ渡すプログラムである。
【００２７】
（４）ルール管理２０３
マネージャ１０から配布された各種ルールをルール２０５として記憶装置に格納し、ログ入力２０２又はログファイル管理２０４の要求に応じてルールを提供するプログラムである。
【００２８】
（５）ログファイル管理２０４
ルール管理２０３からフィルタリングルールを取得し、ログ入力２０２から受け取った正規化ログデータをフィルタリングし、補正時刻を付加して正規化ログファイル４０に格納する。マネージャ１０のログ収集１０７から正規化ログファイル４０の収集要求を受信したとき、正規化ログファイル４０をマネ―ジャ１０へ転送する。
【００２９】
図５〜図１４は、正規化ログデータの構造の一例を示す図である。
【００３０】
図５は、正規化ログファイル４０に格納される正規化ログデータ３００の概略構成を示す図である。正規化ログデータ３００は、共通情報クラス３０１と必要に応じて追加されるユーザ情報クラス３０２、サービス情報クラス３０３、アドレス情報クラス３０４、ファイル情報クラス３０５、トラフィク情報クラス３０６、個別情報クラス３０７等から構成される。共通情報クラス３０１は、すべての正規化ログデータ３００に必須の情報クラスであり、残りの情報クラスは出力されたログデータに応じて選択されるものである。
【００３１】
図６は、共通情報クラス３０１のデータ構成を示す図である。正規化バージョン３１０は、正規化のバージョンを示す番号である。ログ種別はログ事象３１１、ログ事象結果３１２、ログ出力プログラム３１３、データ格納クラス３１４及びログファイル名３１５を含む。ログ出力プログラム３１３はログを出力したＯＳ又はＡＰの名称であり、ログファイル名３１５はログ出力プログラム３１３が出力したログファイルの名称である。ログ事象３１１、ログ事象結果３１２及びデータ格納クラス３１４については後述する。マネージャは、マネージャを搭載する計算機のホスト名３１６とホストＩＰアドレス３１７を格納する。エージェントは、ログを入力したエージェントを搭載する計算機のホスト名３１８とホストＩＰアドレス３１９を格納する。監視対象は、監視対象とするサーバ等の計算機のホスト名３２０とホストＩＰアドレス３２１を格納する。時刻はログ出力時刻３２２と補正時刻３２３から成る。ログ出力時刻３２２はログを出力した計算機の局所的な時刻であり、補正時刻３２３はマネージャ１０を搭載する計算機の時刻に基づいて補正した時刻である。フィルタリングルール名３２４は、ログデータを正規化するときに適用したフィルタリングルールの名称である。
【００３２】
図７は、ユーザ情報クラス３０２のデータ構成を示す図である。ユーザ情報クラス３０２は、ログインしたユーザに関する情報を記録するものであり、ユーザ名３３０、ユーザＩＤ（ＵＩＤ）３３１、ユーザ変更した後のユーザ名３３２、変更後のＵＩＤ３３３、ユーザのセキュリティレベル３３４、計算機やファイルへのアクセス権３３５、アクセスした結果３３６及びユーザが操作した端末装置の名称（端末名３３７）を格納する。
【００３３】
図８は、サービス情報クラス３０３のデータ構成を示す図である。サービス情報クラス３０３は、ユーザに提供したサービスについての情報を記録する。サービスは、サービス名３４０、サービスバージョン３４１、サービス提供のために起動したプロセスの名称（プロセス名３４２）及びプロセスＩＤ３４３を格納する。
【００３４】
図９は、アドレス情報クラス３０４のデータ構成を示す図である。アドレス情報クラス３０４は、他計算機とコネクションを行ったときの情報を記録するものであり、接続元及び接続先のホスト名、ＩＰアドレス、ＭＡＣアドレス、ポート番号の他にコネクション状態、コネクションの開始時刻と終了時刻及び他計算機へのアクセス結果を格納する。
【００３５】
図１０は、ファイル情報クラス３０５のデータ構成を示す図である。ファイル情報クラス３０５は、ユーザが作成又は変更したファイルについてファイル名、変更前のアクセス情報及び変更後のアクセス情報を記録する。アクセス情報は、ファイルの作成時刻、最終修正時刻、最終アクセス時刻、ファイルのｉ−ｎｏｄｅ番号、アクセス許可の有無、ＵＩＤ、グループＩＤ（ＧＩＤ）及び最終的なファイルのサイズを格納する。
【００３６】
図１１は、トラフィク情報クラス３０６のデータ構成を示す図である。トラフィク情報クラス３０６は、メール管理プログラム、ファイル転送プログラム等が出力するログ情報であり、ネットワークを介するデータやメッセージの受信バイト数、送信バイト数及びデータの転送時間（処理時間）を記録する。
【００３７】
図１２は、個別情報クラス３０７のデータ構成を示す図である。個別情報クラス３０７は、オプションであり、プログラムが出力するメッセージテキストの原文そのままの情報である。
【００３８】
図１３は、データ格納クラス３１４のデータ構造を示す図である。“Ｔ１”はデータ格納クラス３１４を識別するためのタグであり、“Ｌ１”は存在する情報クラスを指定する領域Ｖ１の長さを示す。“Ｖ１”は、各正規化ログデータ３００に含まれる情報クラスを指定する領域であり、情報クラスの指定の開始を示すタグ、情報クラス識別子の長さ及び情報クラス識別子を順番に指定する。情報クラス識別子の長さは可変長である。各情報クラスを識別する番号をｘとすると、Ｔｘ（ｘ≧２）は情報クラスの開始を示すタグであり、Ｌｘ（ｘ≧２）はそのＶｘの部分の長さであり、Ｖｘ（ｘ≧２）は情報クラス識別子である。マネージャ１０は、このデータ格納クラス３１４により各正規化ログデータが有する情報クラスを認識する。
【００３９】
図１４は、正規化項目のうちコード化が可能なもののコード化テーブル６００の一例を示す図である。正規化項目のログ事象３１１が“ｌｏｇｉｎ”の場合はコード“１”に、ユーザ変更“ｓｕ”の場合はコード“２”というようにコード化される。コネクト（ｃｏｎｎｅｃｔ）は、計算機間でファイル転送やプログラム間通信を行う際のコネクションに関するログ事象を示す。ファイルは内容変更されたファイルに関するログ事象、ジョブはジョブの起動／停止／終了状態に関するログ事象である。メールはメール使用に関するログ事象を示す。ログ事象結果３１２はログ事象の結果であり、成功か失敗かを区分する。ユーザ情報クラス３０２のアクセス権３３５についてはあり又はなしを区分する。ユーザ情報クラス３０２及びアドレス情報クラス３０４のアクセス結果については、成功か失敗かを区分する。ファイル情報クラス３０５のアクセス許可については、あり又はなしを区分する。
【００４０】
図１５〜図２０は、ルールのデータ形式を示す図である。
【００４１】
図１５は、マネージャルール４５０の一例を示す図である。ＤＢ＿ＭＡＸ４５１は正規化ログデータベース５０が正規化ログデータを保存可能な期間を示す保存期間を定義する。ＲＵＬＥ＿ＭＡＸ４５２はルール配布に使用できる最大の通信路数を定義する。ＬＯＧ＿ＭＡＸ４５３はログ収集に使用できる最大の通信路数を定義する。ルール配布１０６やログ収集１０７は、この多重度数だけ通信路を使用できるが、処理の要求がこの多重度より大きい場合は通信路を順番に使用し、通信路が空くまで待った後、残りの処理を実行する。
【００４２】
図１６は、エージェント２０の動作条件ルール４７０の一例を示す図である。ＭＡＮＡＧＥＲ＿ＡＤＤＲＥＳＳ４７１はマネージャのＩＰアドレスを定義し、ＦＩＬＥ＿ＭＡＸＳＩＺＥ４７２は正規化ログファイル４０が使用できる最大の記憶容量を定義する。
【００４３】
図１７は、ログファイル監視ルール５００の一例を示す図である。ＴＡＲＧＥＴ＿ＬＯＧは監視対象ログファイル名を定義し、ＦＯＲＭＡＴによりファイルの形式（ＳＥＱ：シーケンシャル形式、ＷＲＡＰ：ラップアラウンド形式）を定義し、ＩＮＴＥＲＶＡＬにより監視間隔の時間（たとえば、１０分間隔）を定義する。ＦＭＴ＿ＮＡＭＥは当該ログファイルを正規化するときに適用するルールを定義する。例により説明すると、
TARGET_LOG:/usr/adm/syslog.log,FORMAT=SEQ,INTERVAL=10m,FMT_NAME=abc;
は、シ−ケンシャル形式のファイル／ｕｓｒ／ａｄｍ／ｓｙｓｌｏｇ．ｌｏｇを１０分間隔で監視し、フォーマットルールａｂｃにより正規化処理を行うことを示す。ＦＭＴ＿ＮＡＭＥの指定がない場合は、エージェント２０の間で共通のフォーマットルールにより正規化を行う。
【００４４】
図１８と図１９は、フォーマットルール５１０及び５１５の一例を示す図である。ログデータがテキスト形式の場合はＦＭＴ＿Ｔを適用し、バイナリ形式の場合はＦＭＴ＿Ｂを適用する。ＲＥＧＴＥＸＴ＝“文字列ｎ”は、ログデータを選択する条件を示し、ログデータ中に文字列ｎが存在すれば、以下に示す規則に従ってログデータを正規化することを示す。＆＆は論理積（ＡＮＤ）を示し、複数の文字列の存在を選択条件とすることができる。｜はｔｈｅｎを意味し、以下ログデータの文字列のシーケンスに従って文字列から順に正規化項目を拾って行くことを意味する。正規化項目とは、各情報クラスで定義されるデータ項目のことである。：は、ログデータの先頭から順番にポインタをずらして正規化項目に対応する値を切り出すための区切り文字である。正規化項目に続いて［］内に指定される文字は、任意のポインタから認識する文字列の長さ、またはその文字列が可変長の場合に認識する最後の文字を指定する。ＳＫＩＰは、ログデータの先頭から順番にポインタをずらしていった場合、正規化項目に関係ない文字列が存在する場合にその文字列を読み飛ばすことを意味し、［］内には読み飛ばす文字数又は認識する最後の文字となる“区切り文字”を指定する。区切り文字を指定した場合は、その区切り文字まで読み飛ばす。以下フォーマットルールの例を挙げる。
（ａ）フォーマットルールＡ
FMT_T:REGTEXT == “SU” && REGTEXT == “+” | ログ事象 == “2” | ログ事象結果== “0” :SKIP[“ ”]:ログ出力時刻[10]: SKIP[3]:端末名[“ ”]:ユーザ名[“-”]:変更後のユーザ名[“ ”];
（ｂ）フォーマットルールＢ
FMT_T:REGTEXT == “connect” && REGTEXT == “refused" | ログ事象 == “3" | ログ事象結果 == “1" :ログ出力時刻[15]: 接続先ホスト名[“ ”]:プロセス名[“["]:プロセスＩＤ[“]"]:SKIP[“from "]:接続元ホスト名[“ ”];。
図２１は、ログファイルに格納されているメッセージテキストの原文の例を示す図である。メッセージテキスト５５１及び５５２は、ＯＳが出力するユーザ変更に関するメッセージテキストの例である。メッセージテキスト５５３〜５５５は、ＯＳがコネクション時に出力するメッセージテキストである。メッセージテキスト５５６及び５５７は、ＯＳのジョブ管理が出力するメッセージテキストである。
【００４５】
メッセージテキスト５５１をフォーマットルールＡによって正規化すると、
・ログ事象３１１＝２（ｓｕ）
・ログ事象結果３１２＝０（成功）
・ログ出力時刻３２２＝１／３０ １１：１８のエポックタイム
・端末名３３７＝ｔｔｙｐ５
・ユーザ名３３０＝ｆｕｊｉｎｏ
・変更後のユーザ名３３２＝ｒｏｏｔ
となる。
【００４６】
メッセージテキスト５５４をフォーマットルールＢによって正規化すると、
・ログ事象３１１＝３（ｃｏｎｎｅｃｔ）
・ログ事象結果３１２＝１（失敗）
・ログ出力時刻３２２＝Ｊａｎ １２ １３：１２：１５のエポックタイム
・接続先ホスト名３５４＝ｈｏｓｔａ
・接続先ＩＰアドレス３５５＝ｈｏｓｔａをＩＰアドレスに変換した値
・プロセス名３４２＝ｆｔｐｄ
・プロセスＩＤ３４３＝１１１１
・接続元ホスト名３５０＝ｈｏｓｔｂ
・接続元ＩＰアドレス３５１＝ｈｏｓｔｂをＩＰアドレスに変換した値
となる。
【００４７】
図２０は、フィルタリングルール５２０の一例を示す図であり、ログファイル管理２０４が該当する正規化ログデータだけを格納するためのルールである。ＦＬＴはフィルタリングルールであることを示し、正規化項目が指定した文字列やコードであったり、指定した時間帯の正規化ログデータであった場合、そのような条件に適合する正規化ログデータだけを抽出して格納する。＝＝はイコールを、！＝はｎｏｔイコールを、＆＆は論理積ＡＮＤを、｜｜は論理和ＯＲを、―は時間間隔をそれぞれ意味する。
【００４８】
図２２は、正規化ログデータベース５０のデータ構造を例示する図である。正規化ログデータベース５０は、正規化ログデータを補正時刻６３０の順に配列して格納する。ある補正時刻６３０から共通情報クラス６３１のログデータにチェインする。また共通情報クラス６３１からこれに続いて存在する情報クラスのログデータに次々とチェインする。情報クラスに対応して示される検索キーは、正規化ログデータを検索するときにキーとして使用される正規化項目を示すものである。また補正時刻６３０から次の補正時刻６３０へチェインが張られている。ユーザは、補正時刻６３０によって、また該当する情報クラスの検索キーを指定することによって正規化ログデータベース５０から目的とする正規化ログデータを効率良く抽出することができる。
【００４９】
図２３は、マネージャ１０のルール配布１０６の処理の流れを示すＰＡＤ図である。ルール配布１０６は、初期設定（ステップ７０１）後、プロセス管理１０２から終了要求が来るまでループし（ステップ７０２）、イベントを持つ（ステップ７０３）。イベントには、スケジューラ１０１からのルール配布要求（ステップ７０４）とプロセス管理１０２からの終了要求（ステップ７１２）がある。
【００５０】
ルール配布要求（ステップ７０４）を受信した場合は、ルール管理１０５を介して配布するルールと配布先であるエージェント２０の一覧を取得し（ステップ７０５）、構成管理１０４からエージェント２０の動作状態及び応答時間の情報を取得する（ステップ７０６）。取得したエージェント２０のｐｉｎｇ応答時間を応答時間の小さい順番に並べ替える（ステップ７０７）。このとき動作していないエージェント２０については、応答時間を無限大と解釈する。ルールを配布するエージェント２０の数だけループし（ステップ７０８）、エージェント２０が動作している場合（ステップ７０９ＹＥＳ）は応答時間の小さい順番にルールを配布し（ステップ７１０）、エージェント２０が動作していない場合はルール配布失敗のメッセージを出力する（ステップ７１１）。ルール配布に当っては、ＲＵＬＥ＿ＭＡＸ４５２を適用する。配布したルールは、エージェント２０のルール管理２０３に転送される。
【００５１】
終了要求を受信した場合は（ステップ７１２）、ループを抜けて終了処理を行う（ステップ７１３）。
【００５２】
図２４は、マネージャ１０のログ収集１０７の処理の流れを示すＰＡＤ図である。ログ収集１０７は、初期設定（ステップ８０１）後、プロセス管理１０２から終了要求が来るまでループし（ステップ８０２）、イベントを持つ（ステップ８０３）。イベントには、スケジューラ１０１からのログ収集要求（ステップ８０４）、エージェント２０からの起動通知（ステップ８１１）、及びプロセス管理１０２からの終了要求（ステップ８１６）がある。
【００５３】
ログ収集要求を受信した場合は（ステップ８０４）、スケジューラ１０１からログを収集するエージェント２０の一覧を取得し（ステップ８０５）、構成管理１０４からこれらのエージェント２０の動作状態及び応答時間の情報を取得するとともに、応答時間の短い順番にエージェント２０をソートする（ステップ８０６）。ログを収集するエージェント２０の数分ループし（ステップ８０７）、エージェントが動作している場合（ステップ８０８ＹＥＳ）はログを収集し（ステップ８０９）、エージェントが動作していない場合（ステップ８０８ＮＯ）はログ収集失敗メッセージを出力する（ステップ８１０）。ログ収集に当っては、ＬＯＧ＿ＭＡＸ４５３を適用する。ログ収集１０７は、エージェント２０のログファイル管理２０４を介して正規化ログファイル４０を収集する。
【００５４】
エージェント起動通知を受信した場合は（ステップ８１１）、構成管理１０４からエージェント２０とのｐｉｎｇ（ＩＣＭＰエコーリクエスト）の応答時間を取得する（ステップ８１２）。ＩＣＭＰ（Ｉｎｔｅｒｎｅｔ Ｃｏｎｔｒｏｌ Ｍｅｓｓａｇｅ Ｐｒｏｔｏｃｏｌ）は、通信ネットワークの管理に関する国際的な標準規格の１つであるアイ・エイ・ビー（ＩＡＢ：Ｉｎｔｅｒｎｅｔ Ａｃｔｉｖｉｔｉｅｓ Ｂｏａｒｄ）の管理標準である。ＩＣＭＰを使用すると、ＩＰノード（例えばコンピュータ）が他のＩＰノードと通信可能であるか否かを確認できる。またｐｉｎｇを使用すると、任意のＩＰノードと通信可能であるか否かの動作状態と応答時間を取得できる。ｐｉｎｇ応答時間を取得できた場合（ステップ８１３ＹＥＳ）は、マネージャ１０の現在時刻にこの応答時間から得られる通信時間を加算した時刻を起動通知を発行したエージェント２０へ通知する（ステップ８１４）。マネージャの時刻をエージェントに伝えるためには、マネージャの時刻にマネージャからエージェントへの通信時間を加えた時刻を通知すればよい。ｐｉｎｇの応答時間は、マネージャからエージェントとエージェントからマネージャ、つまり行きと返りの通信時間を加えた時間間隔である。そこでｐｉｎｇ応答時間の１／２を通信時間として利用する。すなわちマネージャは、次の計算式によりエージェントの時刻を推定しエージェントへ通知する。
（エージェントの時刻）≒（マネージャの時刻）＋（ｐｉｎｇ応答時間）／２応答時間を取得できなかった場合（ステップ８１３ＮＯ）、すなわちネットワーク管理システム６０から情報を得られない場合は、単にマネージャ１０の現在時刻をエージェント２０へ通知する（ステップ８１５）。エージェント２０は、マネージャ１０の現在時刻を取得して正規化ログデータの補正時刻３２３に適用する。
【００５５】
終了要求を受信した場合は（ステップ８１６）、ループを抜けて終了処理を行う（ステップ８１７）。
【００５６】
図２５は、マネージャ１０の構成管理１０４の処理の流れを示すＰＡＤ図である。構成管理１０４は、初期設定（ステップ９０１）後、プロセス管理１０２から終了要求が来るまでループし（ステップ９０２）、イベントを持つ（ステップ９０３）。イベントにはルール配布１０６からのエージェント情報格納要求（ステップ９０４）、ルール配布１０６やログ収集１０７からのエージェント情報取得要求（ステップ９０９）と、プロセス管理１０２からの終了要求（ステップ９１３）がある。
【００５７】
エージェント情報格納要求を受信した場合は（ステップ９０４）、ルール配布１０６からルールを配布したエージェント２０の情報を取得する（ステップ９０５）。エージェント２０の情報とは、ルールの配布時刻、配布したルール名などである。ネットワーク管理システム６０と通信可能であるとき（ステップ９０６ＹＥＳ）は、取得したエージェント情報をネットワーク管理システム６０に渡す（ステップ９０７）。ネットワーク管理システム６０は、受信したルール配布の履歴情報をネットワーク管理のために利用可能である。ネットワーク管理システム６０と通信できないとき（ステップ９０６ＮＯ）は、エージェント情報を構成管理１０４が保有するファイルへ格納する（ステップ９０８）。
【００５８】
エージェント情報取得要求を受信した場合は（ステップ９０９）、ネットワーク管理システム６０と通信できるとき（ステップ９１０ＹＥＳ）には、ネットワーク管理システム６０からエージェント２０の一覧、動作有無やｐｉｎｇの応答時間等を取得しこれらの情報を要求元に返す（ステップ９１１）。ネットワーク管理システム６０と通信できないとき（ステップ９１０ＮＯ）には、構成管理１０４のファイルからエージェントの一覧についての情報を取得して要求元に返す（ステップ９１２）。
【００５９】
終了要求を受信した場合は（ステップ９１３）、ループを抜けて終了処理（ステップ９１４）を行う。
【００６０】
図２６は、マネージャ１０のデータベース管理１０９の処理の流れを示すＰＡＤ図である。データベース管理１０９は、初期設定（ステップ１００１）し、正規化ログデータベース５０に格納している正規化ログデータの保存期間の確認を要求（ステップ１００２）した後、プロセス管理１０２から終了要求が来るまでループし（ステップ１００３）、イベントを持つ（ステップ１００４）。イベントには、ログ収集１０７からの正規化ログデータ格納通知（ステップ１００５）、ログ解析１０３からの正規化ログデータ抽出要求（ステップ１００８）、データベース管理１０９自身が正規化ログデータの保存期間を確認するための要求（ステップ１０１０）と、プロセス管理１０２からの終了要求（ステップ１０１４）がある。
【００６１】
正規化ログデータ格納通知を受けた場合は（ステップ１００５）、ログ収集１０７から正規化ログデータを取得し正規化ログデータベース５０に格納する（ステップ１００６）。格納に当っては、図２２のデータ構造に従って正規化ログデータを格納する。正規化ログデータは補正時刻６３０の順に配列されるので、この順に従って正規化ログデータをマージする。また正規化ログデータの保存期間確認を要求する（ステップ１００７）。
【００６２】
正規化ログデータ抽出要求を受信した場合は（ステップ１００８）、指定された検索キーにより正規化ログデータベース５０を検索し、その結果抽出したデータを要求元へ応答する（ステップ１００９）。
【００６３】
保存期間確認要求（ステップ１０１０）を受信した場合は、正規化ログデータベース５０に格納されている正規化ログデータの一番古い補正時刻６３０と現在時刻の差と、ＤＢ＿ＭＡＸ４５１とを比較し（ステップ１０１１）、保存期間より古い正規化ログデータを保存しているときは古い正規化ログデータを削除し（ステップ１０１２）、運用者に知らせるために削除メッセージを出力する（ステップ１０１３）。
【００６４】
終了要求を受信した場合は（ステップ１０１４）、ループを抜けて終了処理（ステップ１０１５）を行う。
【００６５】
図２７は、エージェント２０のログ入力２０２の処理の流れを示すＰＡＤ図である。ログ入力２０２は、初期設定し（ステップ１１０１）、エージェント２０のルール管理２０３からログファイル監視ルール５００とフォーマットルール５１０，５１５等を取得（ステップ１１０２）後、プロセス管理２０１から終了要求が来るまでループし（ステップ１１０３）、イベントを持つ（ステップ１１０４）。イベントには、ログファイル管理２０４からのログ入力中断要求（ステップ１１０５）とログ入力再開要求（ステップ１１０７）、プロセス管理２０１からの終了要求（ステップ１１０９）及び時間監視によるタイマ割り込みがある。
【００６６】
ログ入力中断要求を受信した場合は（ステップ１１０５）、ログ入力を中断する（ステップ１１０６）。中断する要因は、正規化ログファイル４０の容量がＦＩＬＥ＿ＭＡＸＳＩＺＥ４７２に達したときである。
【００６７】
ログ入力再開要求を受信した場合は（ステップ１１０７）、ログ入力を再開する（ステップ１１０８）。再開する要因は、正規化ログファイルをマネージャ１０へ転送したときである。
【００６８】
終了要求を受信した場合は（ステップ１１０９）、ループを抜けて終了処理（ステップ１１１７）を行う。
【００６９】
ログファイル監視ルール５００に設定された監視間隔に従ってログファイルの監視時刻になったとき、監視対象ログファイル群３０をオープンし（ステップ１１１１）、このログファイルのファイル管理情報を取得する。ファイル管理情報が前回取得したもの同じか否かを確認する（ステップ１１１２）。同じ場合は（ステップ１１１２ＹＥＳ）、前回オープンしたファイルと同じ内容であるため前回のファイルのオフセットからログデータを入力する（ステップ１１１３）。前回のファイルのオフセットは、当該ファイルについて前回入力済のレコードの次のレコードを指している。異なる場合は（ステップ１１１２ＮＯ）、新しいファイル（前回オープンしたファイルは削除された等）であると解釈し、先頭からログデータを入力する（ステップ１１１４）。その後、入力したログデータを正規化し（ステップ１１１５）、正規化ログデータをログファイル管理２０４ヘ通知する（ステップ１１１６）。ログデータの正規化は、上記のようにフォーマットルール５１０，５１５等を適用して行う。正規化ログデータをログファイル管理２０４に渡した後、当該ログファイルをクローズし、監視間隔に従って次の監視時刻にタイマを設定する。
【００７０】
図２８は、エージェント２０のログファイル管理２０４の処理の流れを示すＰＡＤ図である。ログファイル管理２０４は、初期設定し（ステップ１２０１）、ルール管理２０３から動作条件ルール４７０とフィルタリングルール５２０を取得（ステップ１２０２）した後、プロセス管理２０１から終了要求が来るまでループし（ステップ１２０３）、イベントを持つ（ステップ１２０４）。イベントには、ログ入力２０２からの正規化ログデータ格納通知（ステップ１２０５）、マネージャ１０のログ収集１０７からのログ収集要求（ステップ１２０９）、ログファイル管理２０４自身からの正規化ログファイル容量確認要求（ステップ１２１１）、マネージャ１０のログ収集１０７からのマネージャ時刻の通知（ステップ１２１６）と、プロセス管理２０１からの終了要求（ステップ１２１８）がある。
【００７１】
正規化ログデータ格納通知を受信した場合は（ステップ１２０５）、ログ入力２０２から正規化ログデータを取得し（ステップ１２０６）、エージェントとマネージャの時間差（ステップ１２１７の処理結果）とログ出力時刻３２２から補正時刻３２３を計算する。ログ入力２０２から取得した正規化ログデータにこの補正時刻３２３を追加して正規化ログファイル４０に格納する（ステップ１２０７）。取得した正規化ログデータにフィルタリングルール５２０を適用して条件に合致する正規化ログデータのみを正規化ログファイル４０に格納する。次に正規化ログファイル容量確認要求を発行する（ステップ１２０８）。
【００７２】
ログ収集要求を受信した場合は（ステップ１２０９）、正規化ログファイル４０中の正規化ログデータを補正時刻３２３の順にソートした後、ＭＡＮＡＧＥＲ＿ＡＤＤＲＥＳＳ４７１に示されるマネージャ１０ヘ転送する（ステップ１２１０）。
【００７３】
正規化ログファイル容量確認要求を受信した場合は（ステップ１２１１）、正規化ログファイルの使用容量とＦＩＬＥ＿ＭＡＸＳＩＺＥ４７２を比較し（ステップ１２１２）、最大サイズに達したとき（ステップ１２１２ＹＥＳ）は、ログ入力２０２ヘ中断通知を発行する（ステップ１２１３）。最大サイズに達していないとき（ステップ１２１２ＮＯ）は、前回中断要求を発行したか確認し（ステップ１２１４）、発行していたとき（ステップ１２１４ＹＥＳ）は、ログ入力２０２へログ入力再開要求を通知する（ステップ１２１５）。
【００７４】
マネージャ時刻の通知を受信した場合は（ステップ１２１６）、エージェントとマネージャのコンピュータ時刻の差を計算する（ステップ１２１７）。
【００７５】
終了要求を受信した場合は（ステップ１２１８）、ループを抜けて終了処理（ステップ１２１９）を行う。
【００７６】
【発明の効果】
以上説明したように本発明によれば、エージェントが複数のログファイルを監視し種々の形式で出力されたログデータを入力した後、正規化を行い共通的なデータ形式に変換する。また必要なログデータだけを抽出し、ログデータの出力時刻としてマネージャの時計に合わせた補正時刻を使用するようにしたので、運用者はネットワークに存在する複数のコンピュータのログデータを統一したデータ形式及び時刻に基づいて解析することができる。
【００７７】
またマネージャが蓄積するログデータについては、所定期間のログデータを保存するようにしたので、古いログデータから順に削除する形でログ情報の総量を規制できる。
【００７８】
さらに収集したログデータを補正時刻及び正規化項目によって検索可能としたので、運用者は必要なログ情報を容易に取得できる。
【図面の簡単な説明】
【図１】実施形態のネットワークシステムの構成図である。
【図２】実施形態のマネージャとエージェントが行う処理動作の概略を示す図である。
【図３】実施形態のマネージャ１０の構成を示す機能ブロック図である。
【図４】実施形態のエージェント２０の構成を示す機能ブロック図である。
【図５】実施形態の正規化ログデータの概略構成を示す図である。
【図６】実施形態の共通情報クラスのデータ構成を示す図である。
【図７】実施形態のユーザ情報クラスのデータ構成を示す図である。
【図８】実施形態のサービス情報クラスのデータ構成を示す図である。
【図９】実施形態のアドレス情報クラスのデータ構成を示す図である。
【図１０】実施形態のファイル情報クラスのデータ構成を示す図である。
【図１１】実施形態のトラフィフィック情報クラスのデータ構成を示す図である。
【図１２】実施形態の個別情報クラスのデータ構成を示す図である。
【図１３】実施形態のデータ格納クラスのデータ構造を示す図である。
【図１４】正規化項目のコード化テーブルの例を示す図である。
【図１５】マネージャルールの例を示す図である。
【図１６】エージェントの動作条件ルールの例を示す図である。
【図１７】エージェントのログファイル監視ルールの例を示す図である。
【図１８】エージェントのフォーマットルール（その１）の例を示す図である。
【図１９】エージェントのフォーマットルール（その２）の例を示す図である。
【図２０】エージェントのフィルタリングルールの例を示す図である。
【図２１】監視対象ログファイルのログデータであるメッセージテキストの例を示す図である。
【図２２】実施形態の正規化ログデータベースのデータ構造を示す図である。
【図２３】実施形態のマネージャが行うルール配布の処理の流れを示すＰＡＤ図である。
【図２４】実施形態のマネージャが行うログ収集の処理の流れを示すＰＡＤ図である。
【図２５】実施形態のマネージャが行う構成管理の処理の流れを示すＰＡＤ図である。
【図２６】実施形態のマネージャが行うデータベース管理の処理の流れを示すＰＡＤ図である。
【図２７】実施形態のエージェントが行うログ入力の処理の流れを示すＰＡＤ図である。
【図２８】実施形態のエージェントが行うログファイル管理の処理の流れを示すＰＡＤ図である。
【符号の説明】
１０・・・マネージャ、２０・・・エージェント、４０・・・正規化ログファイル、５０・・・正規化ログデータベース、６０・・・ネットワーク管理システム、１０４・・・構成管理、１０６・・・ルール配布、１０７・・・ログ収集、１０９・・・データベース管理、１１０・・・ルール、２０２・・・ログ入力、２０４・・・ログファイル管理、２０５・・・ルール
【発明の属する技術分野】
本発明は、マネージャがネットワークを介してエージェントからログデータを収集するシステムに係わり、特にマネージャがシステム内に存在するログデータを共通的なログデータ形式に基づいて管理するログデータの収集と管理の方式に関する。
【０００２】
【従来の技術】
情報処理装置で実行されるオペレーティングシステム（ＯＳ）やアプリケーションプログラムは、各種のログ情報を出力する。出力されたログ情報を収集するいくつかの方式が知られている。例えば特開平５−２５０２２９号公報は、複数のコンピュータからのログデータ収集において、ログデータ中のエラーコードを検出することにより、エラー状態のコンピュータからのログデータを優先的に送信するログデータ収集方式を開示する。また特開平５−２８００８号公報は、情報処理システムが障害ログを収集するとき貯蔵手段に貯えられたログ情報の個数が一定数に達したことを検出し、ログ登録の抑止を行うことにより重要な障害情報の消失を防ぐログ情報収集方式を開示する。また特開平５−１１１０２９号公報は、下位の設備端末からのデータが採取された時刻をデータに付与して上位の制御装置に送ることにより、複数の端末からの各データの時系列的な関係が損なわれることがないようにするデータ収集方式を開示する。
【０００３】
【発明が解決しようとする課題】
ネットワークを介して複数のコンピュータが接続され、コンピュータが他のコンピュータと通信しながら処理を進める分散処理システムにおいて、一人のユーザは複数の広範囲に亘るコンピュータやファイルにアクセスし得る。従ってログデータを解析することによってコンピュータやファイルへの不正なアクセスを検出するためには、個々のコンピュータが出力するログデータを中央のコンピュータに集約し、データベースに蓄積する必要がある。しかしながら各種のシステムプログラムやアプリケーションプログラムが出力するログデータは、各々そのデータ形式が異なっているので、単に個々のコンピュータプログラムが出力するログデータを収集して集約するだけではログデータの解析が困難である。また個々のコンピュータが保有する時刻がすべてのコンピュータに亘って一致しているとは限らないので、一般に個々のログデータに付与されている時刻にはずれが生じており、集約されたログデータを正しい時刻の順序に従って配列することが困難である。
【０００４】
本発明は、上記の事情に鑑みてなされたものであり、その目的とするところは、共通的なデータ形式に正規化されたログデータを管理することにある。
【０００５】
本発明の他の目的は、各サイトのコンピュータからログデータを収集する中央のコンピュータの時刻を基準とするログデータを管理することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明は、監視の対象とするログファイル中のログデータからあらかじめ定義されたデータ項目に対応する値を切り出して規定されたデータ項目の値を配列する正規化されたログデータを作成して蓄積する手段と、蓄積された正規化ログデータをネットワークを介してマネージャの機能を実行するコンピュータへ送信する手段とをエージェントの処理手段として有するログデータの収集をするコンピュータを特徴とする。
【０００７】
また本発明は、ネットワークを介してエージェントの機能を実行するコンピュータからあらかじめ定義された共通のデータ形式に従って正規化されたログデータであってマネージャの基準とする時刻に基づいて補正されたログ出力時刻を有する正規化ログデータを受信する手段と、該正規化ログデータを補正時刻の順にデータベースに蓄積する手段とをマネージャの処理手段として有するログデータの収集と管理をするコンピュータを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の一実施形態について図面に基づいて詳細に説明する。
【０００９】
図１は、本発明を適用する通信ネットワークの一例を示すシステム構成図である。ネットワークは複数のＬＡＮ１，３，４及びＷＡＮ（ワイド・エリア・ネットワーク）２に結合されるものである。マネージャ１０は、計算機の主記憶装置に格納され、ＯＳの下で走行するアプリケーションプログラム（ＡＰ）である。エージェント２０は、サーバ等の計算機の主記憶装置に格納され、ＯＳの下で走行するＡＰである。マネージャ１０は、ＬＡＮ１，３，４又はＷＡＮ２を介してエージェント２０−１，２０−２，２０−３，２０−４と通信することが可能である。図に示すように、エージェント２０を実行する計算機はエージェント２０と並行して他のＡＰを実行することが可能である。マネージャ１０を実行する計算機もマネージャ１０と並行して他のＡＰを実行することが可能であるが、充分なＣＰＵ性能と資源を確保するためには、専用の計算機を割り当てるのが望ましい。６０はこのネットワークシステムを管理するネットワーク管理システムであり、ネットワーク管理プログラム及び図示しないネットワーク監視端末から構成される。ネットワーク管理システム６０は、ネットワーク資源についての情報をマネージャ１０に提供する。
【００１０】
図２は、マネージャとエージェントが行う処理動作の概略を示す図である。マネージャ１０は、定義された各種ルールをエージェント２０へ配布する(▲１▼)。エージェント２０は、受信したルールを登録し、そのルールに従い監視対象ログファイル群３０からログデータを入力し(▲２▼)、ログデータを正規化した後、正規化ログファイル４０に格納する(▲３▼)。このとき正規化ログデータ中のログ出力時刻をマネージャ１０の時刻を基準とする補正時刻によつて補正する。エージェント２０は、マネージャ１０からログ収集要求があったとき正規化ログファイル４０から正規化されたログデータを取り出し(▲４▼)、マネージャ１０へ転送する(▲５▼)。マネージャ１０は、収集した正規化ログデータを補正時刻の順に正規化ログデータベース５０に格納する(▲６▼)。またマネージャ１０は、必要に応じて正規化ログデータベース５０から任意の正規化ログデータを抽出し、その解析を行う。
【００１１】
図３は、マネージャ１０の構成を示す機能ブロック図である。ルール１１０は定義された各種ルールであり、記憶装置に格納される。正規化ログデータベース５０は、収集された正規化ログデータを格納するデータベースであり、記憶装置に格納される。ネットワーク管理システム６０は、ネットワークを介してマネージャ１０を格納する計算機と接続される他の計算機およびネットワークを監視する端末装置から構成されるシステムであり、マネージャ１０と同じ計算機で走行するネットワーク管理プログラムは、ネットワークの構成要素である各通信回線、ルータ、中継機、各種計算機、計算機のプログラム等の動作状態（接続中／接続断，動作中／停止状態など）、各ネットワーク構成要素の所在場所などを管理する。以下マネージャ１０を構成する各機能モジュールの機能の概略について述べる。
【００１２】
（１）ルール定義１００
運用者が各種ルールを定義するためのプログラムツールであり、図示しない入力装置及び表示装置を介してユーザが容易にルールを設定できるようなＧＵＩ（グラフィカル・ユーザ・インタフェース）を提供する。
【００１３】
（２）スケジューラ１０１
ルール配布及びログ収集を実行する契機をそれぞれルール配布１０６及びログ収集１０７に知らせるプログラムである。契機の例として、例えば毎日午後５時、毎週土曜日の午後３時１５分などのように実行開始を指示する。
【００１４】
（３）プロセス管理１０２
マネージャ１０の１００〜１０９を付す各機能モジュールの起動／停止を制御するプログラムである。
【００１５】
（４）ログ解析１０３
データベース管理１０９を介して正規化ログデータベース５０から正規化ログデータ群を抽出し、所定の解析を行うプログラムである。以下ログ事象がログインである場合のログデータ解析の例を表１に示す。ログ事象及び正規化項目については後述する。
【００１６】
【表１】
（５）構成管理１０４
対象とするエージェント２０の一覧を管理するプログラムである。またネットワーク管理システム６０に問い合わせを行ってエージェント２０が動作する計算機の動作有無やｐｉｎｇの応答時間等の情報を取得してルール配布１０６又はログ収集１０７に渡す。
【００１８】
（６）ルール管理１０５
ルール定義１００から定義された各種ルールを受け取ってルール１１０に格納する。またルール１１０からルールを読み出してルール配布１０６に渡す。
【００１９】
（７）ルール配布１０６
スケジューラ１０１の指示に従い、ルール管理１０５から各種ルールを取得してエージェント２０ヘ配布するプログラムである。
【００２０】
（８）ログ収集１０７
スケジューラ１０１の指示に従い、エージェント２０から正規化ログファイルを収集するプログラムである。
【００２１】
（９）データ通信１０８
ルール配布１０６及びログ収集１０７がエージェント２０と通信するときに通信制御を行うプログラムである。
【００２２】
（１０）データベース管理１０９
ログ収集１０７がエージェント２０から収集した正規化ログデータ群（正規化ログファイル）を正規化ログデータベース５０に格納し、ログ解析１０３からの要求によって正規化ログデータを検索し抽出する。また所定の保存期間を過ぎた正規化ログデータを正規化ログデータベース５０から削除し、未使用の記憶領域を生み出す。
【００２３】
図４は、エージェント２０の構成を示す機能ブロック図である。ルール２０５は配布を受けた各種ルールであり、記憶装置に格納される。監視対象ログファイル群３０は、監視対象とするログファイルであり、記憶装置に格納される。正規化ログファイル４０は、正規化ログデータを格納するファイルであり、記憶装置に格納される。以下エージェント２０を構成する各機能モジュールの機能の概略について述べる。
【００２４】
（１）データ通信２００
データ通信２００は、ルール管理２０３及びログファイル管理２０４がマネージャ１０と通信するときに通信制御を行うプログラムである。
【００２５】
（２）プロセス管理２０１
エージェント２０の２００〜２０４を付す各機能モジュールの起動／停止を制御するプログラムである。
【００２６】
（３）ログ入力２０２
ルール管理２０３からログファイル監視ルールやフォーマットルール等を取得し、監視対象ログファイル群３０から入力したログデータを正規化した後、正規化ログデータをログファイル管理２０４へ渡すプログラムである。
【００２７】
（４）ルール管理２０３
マネージャ１０から配布された各種ルールをルール２０５として記憶装置に格納し、ログ入力２０２又はログファイル管理２０４の要求に応じてルールを提供するプログラムである。
【００２８】
（５）ログファイル管理２０４
ルール管理２０３からフィルタリングルールを取得し、ログ入力２０２から受け取った正規化ログデータをフィルタリングし、補正時刻を付加して正規化ログファイル４０に格納する。マネージャ１０のログ収集１０７から正規化ログファイル４０の収集要求を受信したとき、正規化ログファイル４０をマネ―ジャ１０へ転送する。
【００２９】
図５〜図１４は、正規化ログデータの構造の一例を示す図である。
【００３０】
図５は、正規化ログファイル４０に格納される正規化ログデータ３００の概略構成を示す図である。正規化ログデータ３００は、共通情報クラス３０１と必要に応じて追加されるユーザ情報クラス３０２、サービス情報クラス３０３、アドレス情報クラス３０４、ファイル情報クラス３０５、トラフィク情報クラス３０６、個別情報クラス３０７等から構成される。共通情報クラス３０１は、すべての正規化ログデータ３００に必須の情報クラスであり、残りの情報クラスは出力されたログデータに応じて選択されるものである。
【００３１】
図６は、共通情報クラス３０１のデータ構成を示す図である。正規化バージョン３１０は、正規化のバージョンを示す番号である。ログ種別はログ事象３１１、ログ事象結果３１２、ログ出力プログラム３１３、データ格納クラス３１４及びログファイル名３１５を含む。ログ出力プログラム３１３はログを出力したＯＳ又はＡＰの名称であり、ログファイル名３１５はログ出力プログラム３１３が出力したログファイルの名称である。ログ事象３１１、ログ事象結果３１２及びデータ格納クラス３１４については後述する。マネージャは、マネージャを搭載する計算機のホスト名３１６とホストＩＰアドレス３１７を格納する。エージェントは、ログを入力したエージェントを搭載する計算機のホスト名３１８とホストＩＰアドレス３１９を格納する。監視対象は、監視対象とするサーバ等の計算機のホスト名３２０とホストＩＰアドレス３２１を格納する。時刻はログ出力時刻３２２と補正時刻３２３から成る。ログ出力時刻３２２はログを出力した計算機の局所的な時刻であり、補正時刻３２３はマネージャ１０を搭載する計算機の時刻に基づいて補正した時刻である。フィルタリングルール名３２４は、ログデータを正規化するときに適用したフィルタリングルールの名称である。
【００３２】
図７は、ユーザ情報クラス３０２のデータ構成を示す図である。ユーザ情報クラス３０２は、ログインしたユーザに関する情報を記録するものであり、ユーザ名３３０、ユーザＩＤ（ＵＩＤ）３３１、ユーザ変更した後のユーザ名３３２、変更後のＵＩＤ３３３、ユーザのセキュリティレベル３３４、計算機やファイルへのアクセス権３３５、アクセスした結果３３６及びユーザが操作した端末装置の名称（端末名３３７）を格納する。
【００３３】
図８は、サービス情報クラス３０３のデータ構成を示す図である。サービス情報クラス３０３は、ユーザに提供したサービスについての情報を記録する。サービスは、サービス名３４０、サービスバージョン３４１、サービス提供のために起動したプロセスの名称（プロセス名３４２）及びプロセスＩＤ３４３を格納する。
【００３４】
図９は、アドレス情報クラス３０４のデータ構成を示す図である。アドレス情報クラス３０４は、他計算機とコネクションを行ったときの情報を記録するものであり、接続元及び接続先のホスト名、ＩＰアドレス、ＭＡＣアドレス、ポート番号の他にコネクション状態、コネクションの開始時刻と終了時刻及び他計算機へのアクセス結果を格納する。
【００３５】
図１０は、ファイル情報クラス３０５のデータ構成を示す図である。ファイル情報クラス３０５は、ユーザが作成又は変更したファイルについてファイル名、変更前のアクセス情報及び変更後のアクセス情報を記録する。アクセス情報は、ファイルの作成時刻、最終修正時刻、最終アクセス時刻、ファイルのｉ−ｎｏｄｅ番号、アクセス許可の有無、ＵＩＤ、グループＩＤ（ＧＩＤ）及び最終的なファイルのサイズを格納する。
【００３６】
図１１は、トラフィク情報クラス３０６のデータ構成を示す図である。トラフィク情報クラス３０６は、メール管理プログラム、ファイル転送プログラム等が出力するログ情報であり、ネットワークを介するデータやメッセージの受信バイト数、送信バイト数及びデータの転送時間（処理時間）を記録する。
【００３７】
図１２は、個別情報クラス３０７のデータ構成を示す図である。個別情報クラス３０７は、オプションであり、プログラムが出力するメッセージテキストの原文そのままの情報である。
【００３８】
図１３は、データ格納クラス３１４のデータ構造を示す図である。“Ｔ１”はデータ格納クラス３１４を識別するためのタグであり、“Ｌ１”は存在する情報クラスを指定する領域Ｖ１の長さを示す。“Ｖ１”は、各正規化ログデータ３００に含まれる情報クラスを指定する領域であり、情報クラスの指定の開始を示すタグ、情報クラス識別子の長さ及び情報クラス識別子を順番に指定する。情報クラス識別子の長さは可変長である。各情報クラスを識別する番号をｘとすると、Ｔｘ（ｘ≧２）は情報クラスの開始を示すタグであり、Ｌｘ（ｘ≧２）はそのＶｘの部分の長さであり、Ｖｘ（ｘ≧２）は情報クラス識別子である。マネージャ１０は、このデータ格納クラス３１４により各正規化ログデータが有する情報クラスを認識する。
【００３９】
図１４は、正規化項目のうちコード化が可能なもののコード化テーブル６００の一例を示す図である。正規化項目のログ事象３１１が“ｌｏｇｉｎ”の場合はコード“１”に、ユーザ変更“ｓｕ”の場合はコード“２”というようにコード化される。コネクト（ｃｏｎｎｅｃｔ）は、計算機間でファイル転送やプログラム間通信を行う際のコネクションに関するログ事象を示す。ファイルは内容変更されたファイルに関するログ事象、ジョブはジョブの起動／停止／終了状態に関するログ事象である。メールはメール使用に関するログ事象を示す。ログ事象結果３１２はログ事象の結果であり、成功か失敗かを区分する。ユーザ情報クラス３０２のアクセス権３３５についてはあり又はなしを区分する。ユーザ情報クラス３０２及びアドレス情報クラス３０４のアクセス結果については、成功か失敗かを区分する。ファイル情報クラス３０５のアクセス許可については、あり又はなしを区分する。
【００４０】
図１５〜図２０は、ルールのデータ形式を示す図である。
【００４１】
図１５は、マネージャルール４５０の一例を示す図である。ＤＢ＿ＭＡＸ４５１は正規化ログデータベース５０が正規化ログデータを保存可能な期間を示す保存期間を定義する。ＲＵＬＥ＿ＭＡＸ４５２はルール配布に使用できる最大の通信路数を定義する。ＬＯＧ＿ＭＡＸ４５３はログ収集に使用できる最大の通信路数を定義する。ルール配布１０６やログ収集１０７は、この多重度数だけ通信路を使用できるが、処理の要求がこの多重度より大きい場合は通信路を順番に使用し、通信路が空くまで待った後、残りの処理を実行する。
【００４２】
図１６は、エージェント２０の動作条件ルール４７０の一例を示す図である。ＭＡＮＡＧＥＲ＿ＡＤＤＲＥＳＳ４７１はマネージャのＩＰアドレスを定義し、ＦＩＬＥ＿ＭＡＸＳＩＺＥ４７２は正規化ログファイル４０が使用できる最大の記憶容量を定義する。
【００４３】
図１７は、ログファイル監視ルール５００の一例を示す図である。ＴＡＲＧＥＴ＿ＬＯＧは監視対象ログファイル名を定義し、ＦＯＲＭＡＴによりファイルの形式（ＳＥＱ：シーケンシャル形式、ＷＲＡＰ：ラップアラウンド形式）を定義し、ＩＮＴＥＲＶＡＬにより監視間隔の時間（たとえば、１０分間隔）を定義する。ＦＭＴ＿ＮＡＭＥは当該ログファイルを正規化するときに適用するルールを定義する。例により説明すると、
TARGET_LOG:/usr/adm/syslog.log,FORMAT=SEQ,INTERVAL=10m,FMT_NAME=abc;
は、シ−ケンシャル形式のファイル／ｕｓｒ／ａｄｍ／ｓｙｓｌｏｇ．ｌｏｇを１０分間隔で監視し、フォーマットルールａｂｃにより正規化処理を行うことを示す。ＦＭＴ＿ＮＡＭＥの指定がない場合は、エージェント２０の間で共通のフォーマットルールにより正規化を行う。
【００４４】
図１８と図１９は、フォーマットルール５１０及び５１５の一例を示す図である。ログデータがテキスト形式の場合はＦＭＴ＿Ｔを適用し、バイナリ形式の場合はＦＭＴ＿Ｂを適用する。ＲＥＧＴＥＸＴ＝“文字列ｎ”は、ログデータを選択する条件を示し、ログデータ中に文字列ｎが存在すれば、以下に示す規則に従ってログデータを正規化することを示す。＆＆は論理積（ＡＮＤ）を示し、複数の文字列の存在を選択条件とすることができる。｜はｔｈｅｎを意味し、以下ログデータの文字列のシーケンスに従って文字列から順に正規化項目を拾って行くことを意味する。正規化項目とは、各情報クラスで定義されるデータ項目のことである。：は、ログデータの先頭から順番にポインタをずらして正規化項目に対応する値を切り出すための区切り文字である。正規化項目に続いて［］内に指定される文字は、任意のポインタから認識する文字列の長さ、またはその文字列が可変長の場合に認識する最後の文字を指定する。ＳＫＩＰは、ログデータの先頭から順番にポインタをずらしていった場合、正規化項目に関係ない文字列が存在する場合にその文字列を読み飛ばすことを意味し、［］内には読み飛ばす文字数又は認識する最後の文字となる“区切り文字”を指定する。区切り文字を指定した場合は、その区切り文字まで読み飛ばす。以下フォーマットルールの例を挙げる。
（ａ）フォーマットルールＡ
FMT_T:REGTEXT == “SU” && REGTEXT == “+” | ログ事象 == “2” | ログ事象結果== “0” :SKIP[“ ”]:ログ出力時刻[10]: SKIP[3]:端末名[“ ”]:ユーザ名[“-”]:変更後のユーザ名[“ ”];
（ｂ）フォーマットルールＢ
FMT_T:REGTEXT == “connect” && REGTEXT == “refused" | ログ事象 == “3" | ログ事象結果 == “1" :ログ出力時刻[15]: 接続先ホスト名[“ ”]:プロセス名[“["]:プロセスＩＤ[“]"]:SKIP[“from "]:接続元ホスト名[“ ”];。
図２１は、ログファイルに格納されているメッセージテキストの原文の例を示す図である。メッセージテキスト５５１及び５５２は、ＯＳが出力するユーザ変更に関するメッセージテキストの例である。メッセージテキスト５５３〜５５５は、ＯＳがコネクション時に出力するメッセージテキストである。メッセージテキスト５５６及び５５７は、ＯＳのジョブ管理が出力するメッセージテキストである。
【００４５】
メッセージテキスト５５１をフォーマットルールＡによって正規化すると、
・ログ事象３１１＝２（ｓｕ）
・ログ事象結果３１２＝０（成功）
・ログ出力時刻３２２＝１／３０ １１：１８のエポックタイム
・端末名３３７＝ｔｔｙｐ５
・ユーザ名３３０＝ｆｕｊｉｎｏ
・変更後のユーザ名３３２＝ｒｏｏｔ
となる。
【００４６】
メッセージテキスト５５４をフォーマットルールＢによって正規化すると、
・ログ事象３１１＝３（ｃｏｎｎｅｃｔ）
・ログ事象結果３１２＝１（失敗）
・ログ出力時刻３２２＝Ｊａｎ １２ １３：１２：１５のエポックタイム
・接続先ホスト名３５４＝ｈｏｓｔａ
・接続先ＩＰアドレス３５５＝ｈｏｓｔａをＩＰアドレスに変換した値
・プロセス名３４２＝ｆｔｐｄ
・プロセスＩＤ３４３＝１１１１
・接続元ホスト名３５０＝ｈｏｓｔｂ
・接続元ＩＰアドレス３５１＝ｈｏｓｔｂをＩＰアドレスに変換した値
となる。
【００４７】
図２０は、フィルタリングルール５２０の一例を示す図であり、ログファイル管理２０４が該当する正規化ログデータだけを格納するためのルールである。ＦＬＴはフィルタリングルールであることを示し、正規化項目が指定した文字列やコードであったり、指定した時間帯の正規化ログデータであった場合、そのような条件に適合する正規化ログデータだけを抽出して格納する。＝＝はイコールを、！＝はｎｏｔイコールを、＆＆は論理積ＡＮＤを、｜｜は論理和ＯＲを、―は時間間隔をそれぞれ意味する。
【００４８】
図２２は、正規化ログデータベース５０のデータ構造を例示する図である。正規化ログデータベース５０は、正規化ログデータを補正時刻６３０の順に配列して格納する。ある補正時刻６３０から共通情報クラス６３１のログデータにチェインする。また共通情報クラス６３１からこれに続いて存在する情報クラスのログデータに次々とチェインする。情報クラスに対応して示される検索キーは、正規化ログデータを検索するときにキーとして使用される正規化項目を示すものである。また補正時刻６３０から次の補正時刻６３０へチェインが張られている。ユーザは、補正時刻６３０によって、また該当する情報クラスの検索キーを指定することによって正規化ログデータベース５０から目的とする正規化ログデータを効率良く抽出することができる。
【００４９】
図２３は、マネージャ１０のルール配布１０６の処理の流れを示すＰＡＤ図である。ルール配布１０６は、初期設定（ステップ７０１）後、プロセス管理１０２から終了要求が来るまでループし（ステップ７０２）、イベントを持つ（ステップ７０３）。イベントには、スケジューラ１０１からのルール配布要求（ステップ７０４）とプロセス管理１０２からの終了要求（ステップ７１２）がある。
【００５０】
ルール配布要求（ステップ７０４）を受信した場合は、ルール管理１０５を介して配布するルールと配布先であるエージェント２０の一覧を取得し（ステップ７０５）、構成管理１０４からエージェント２０の動作状態及び応答時間の情報を取得する（ステップ７０６）。取得したエージェント２０のｐｉｎｇ応答時間を応答時間の小さい順番に並べ替える（ステップ７０７）。このとき動作していないエージェント２０については、応答時間を無限大と解釈する。ルールを配布するエージェント２０の数だけループし（ステップ７０８）、エージェント２０が動作している場合（ステップ７０９ＹＥＳ）は応答時間の小さい順番にルールを配布し（ステップ７１０）、エージェント２０が動作していない場合はルール配布失敗のメッセージを出力する（ステップ７１１）。ルール配布に当っては、ＲＵＬＥ＿ＭＡＸ４５２を適用する。配布したルールは、エージェント２０のルール管理２０３に転送される。
【００５１】
終了要求を受信した場合は（ステップ７１２）、ループを抜けて終了処理を行う（ステップ７１３）。
【００５２】
図２４は、マネージャ１０のログ収集１０７の処理の流れを示すＰＡＤ図である。ログ収集１０７は、初期設定（ステップ８０１）後、プロセス管理１０２から終了要求が来るまでループし（ステップ８０２）、イベントを持つ（ステップ８０３）。イベントには、スケジューラ１０１からのログ収集要求（ステップ８０４）、エージェント２０からの起動通知（ステップ８１１）、及びプロセス管理１０２からの終了要求（ステップ８１６）がある。
【００５３】
ログ収集要求を受信した場合は（ステップ８０４）、スケジューラ１０１からログを収集するエージェント２０の一覧を取得し（ステップ８０５）、構成管理１０４からこれらのエージェント２０の動作状態及び応答時間の情報を取得するとともに、応答時間の短い順番にエージェント２０をソートする（ステップ８０６）。ログを収集するエージェント２０の数分ループし（ステップ８０７）、エージェントが動作している場合（ステップ８０８ＹＥＳ）はログを収集し（ステップ８０９）、エージェントが動作していない場合（ステップ８０８ＮＯ）はログ収集失敗メッセージを出力する（ステップ８１０）。ログ収集に当っては、ＬＯＧ＿ＭＡＸ４５３を適用する。ログ収集１０７は、エージェント２０のログファイル管理２０４を介して正規化ログファイル４０を収集する。
【００５４】
エージェント起動通知を受信した場合は（ステップ８１１）、構成管理１０４からエージェント２０とのｐｉｎｇ（ＩＣＭＰエコーリクエスト）の応答時間を取得する（ステップ８１２）。ＩＣＭＰ（Ｉｎｔｅｒｎｅｔ Ｃｏｎｔｒｏｌ Ｍｅｓｓａｇｅ Ｐｒｏｔｏｃｏｌ）は、通信ネットワークの管理に関する国際的な標準規格の１つであるアイ・エイ・ビー（ＩＡＢ：Ｉｎｔｅｒｎｅｔ Ａｃｔｉｖｉｔｉｅｓ Ｂｏａｒｄ）の管理標準である。ＩＣＭＰを使用すると、ＩＰノード（例えばコンピュータ）が他のＩＰノードと通信可能であるか否かを確認できる。またｐｉｎｇを使用すると、任意のＩＰノードと通信可能であるか否かの動作状態と応答時間を取得できる。ｐｉｎｇ応答時間を取得できた場合（ステップ８１３ＹＥＳ）は、マネージャ１０の現在時刻にこの応答時間から得られる通信時間を加算した時刻を起動通知を発行したエージェント２０へ通知する（ステップ８１４）。マネージャの時刻をエージェントに伝えるためには、マネージャの時刻にマネージャからエージェントへの通信時間を加えた時刻を通知すればよい。ｐｉｎｇの応答時間は、マネージャからエージェントとエージェントからマネージャ、つまり行きと返りの通信時間を加えた時間間隔である。そこでｐｉｎｇ応答時間の１／２を通信時間として利用する。すなわちマネージャは、次の計算式によりエージェントの時刻を推定しエージェントへ通知する。
（エージェントの時刻）≒（マネージャの時刻）＋（ｐｉｎｇ応答時間）／２応答時間を取得できなかった場合（ステップ８１３ＮＯ）、すなわちネットワーク管理システム６０から情報を得られない場合は、単にマネージャ１０の現在時刻をエージェント２０へ通知する（ステップ８１５）。エージェント２０は、マネージャ１０の現在時刻を取得して正規化ログデータの補正時刻３２３に適用する。
【００５５】
終了要求を受信した場合は（ステップ８１６）、ループを抜けて終了処理を行う（ステップ８１７）。
【００５６】
図２５は、マネージャ１０の構成管理１０４の処理の流れを示すＰＡＤ図である。構成管理１０４は、初期設定（ステップ９０１）後、プロセス管理１０２から終了要求が来るまでループし（ステップ９０２）、イベントを持つ（ステップ９０３）。イベントにはルール配布１０６からのエージェント情報格納要求（ステップ９０４）、ルール配布１０６やログ収集１０７からのエージェント情報取得要求（ステップ９０９）と、プロセス管理１０２からの終了要求（ステップ９１３）がある。
【００５７】
エージェント情報格納要求を受信した場合は（ステップ９０４）、ルール配布１０６からルールを配布したエージェント２０の情報を取得する（ステップ９０５）。エージェント２０の情報とは、ルールの配布時刻、配布したルール名などである。ネットワーク管理システム６０と通信可能であるとき（ステップ９０６ＹＥＳ）は、取得したエージェント情報をネットワーク管理システム６０に渡す（ステップ９０７）。ネットワーク管理システム６０は、受信したルール配布の履歴情報をネットワーク管理のために利用可能である。ネットワーク管理システム６０と通信できないとき（ステップ９０６ＮＯ）は、エージェント情報を構成管理１０４が保有するファイルへ格納する（ステップ９０８）。
【００５８】
エージェント情報取得要求を受信した場合は（ステップ９０９）、ネットワーク管理システム６０と通信できるとき（ステップ９１０ＹＥＳ）には、ネットワーク管理システム６０からエージェント２０の一覧、動作有無やｐｉｎｇの応答時間等を取得しこれらの情報を要求元に返す（ステップ９１１）。ネットワーク管理システム６０と通信できないとき（ステップ９１０ＮＯ）には、構成管理１０４のファイルからエージェントの一覧についての情報を取得して要求元に返す（ステップ９１２）。
【００５９】
終了要求を受信した場合は（ステップ９１３）、ループを抜けて終了処理（ステップ９１４）を行う。
【００６０】
図２６は、マネージャ１０のデータベース管理１０９の処理の流れを示すＰＡＤ図である。データベース管理１０９は、初期設定（ステップ１００１）し、正規化ログデータベース５０に格納している正規化ログデータの保存期間の確認を要求（ステップ１００２）した後、プロセス管理１０２から終了要求が来るまでループし（ステップ１００３）、イベントを持つ（ステップ１００４）。イベントには、ログ収集１０７からの正規化ログデータ格納通知（ステップ１００５）、ログ解析１０３からの正規化ログデータ抽出要求（ステップ１００８）、データベース管理１０９自身が正規化ログデータの保存期間を確認するための要求（ステップ１０１０）と、プロセス管理１０２からの終了要求（ステップ１０１４）がある。
【００６１】
正規化ログデータ格納通知を受けた場合は（ステップ１００５）、ログ収集１０７から正規化ログデータを取得し正規化ログデータベース５０に格納する（ステップ１００６）。格納に当っては、図２２のデータ構造に従って正規化ログデータを格納する。正規化ログデータは補正時刻６３０の順に配列されるので、この順に従って正規化ログデータをマージする。また正規化ログデータの保存期間確認を要求する（ステップ１００７）。
【００６２】
正規化ログデータ抽出要求を受信した場合は（ステップ１００８）、指定された検索キーにより正規化ログデータベース５０を検索し、その結果抽出したデータを要求元へ応答する（ステップ１００９）。
【００６３】
保存期間確認要求（ステップ１０１０）を受信した場合は、正規化ログデータベース５０に格納されている正規化ログデータの一番古い補正時刻６３０と現在時刻の差と、ＤＢ＿ＭＡＸ４５１とを比較し（ステップ１０１１）、保存期間より古い正規化ログデータを保存しているときは古い正規化ログデータを削除し（ステップ１０１２）、運用者に知らせるために削除メッセージを出力する（ステップ１０１３）。
【００６４】
終了要求を受信した場合は（ステップ１０１４）、ループを抜けて終了処理（ステップ１０１５）を行う。
【００６５】
図２７は、エージェント２０のログ入力２０２の処理の流れを示すＰＡＤ図である。ログ入力２０２は、初期設定し（ステップ１１０１）、エージェント２０のルール管理２０３からログファイル監視ルール５００とフォーマットルール５１０，５１５等を取得（ステップ１１０２）後、プロセス管理２０１から終了要求が来るまでループし（ステップ１１０３）、イベントを持つ（ステップ１１０４）。イベントには、ログファイル管理２０４からのログ入力中断要求（ステップ１１０５）とログ入力再開要求（ステップ１１０７）、プロセス管理２０１からの終了要求（ステップ１１０９）及び時間監視によるタイマ割り込みがある。
【００６６】
ログ入力中断要求を受信した場合は（ステップ１１０５）、ログ入力を中断する（ステップ１１０６）。中断する要因は、正規化ログファイル４０の容量がＦＩＬＥ＿ＭＡＸＳＩＺＥ４７２に達したときである。
【００６７】
ログ入力再開要求を受信した場合は（ステップ１１０７）、ログ入力を再開する（ステップ１１０８）。再開する要因は、正規化ログファイルをマネージャ１０へ転送したときである。
【００６８】
終了要求を受信した場合は（ステップ１１０９）、ループを抜けて終了処理（ステップ１１１７）を行う。
【００６９】
ログファイル監視ルール５００に設定された監視間隔に従ってログファイルの監視時刻になったとき、監視対象ログファイル群３０をオープンし（ステップ１１１１）、このログファイルのファイル管理情報を取得する。ファイル管理情報が前回取得したもの同じか否かを確認する（ステップ１１１２）。同じ場合は（ステップ１１１２ＹＥＳ）、前回オープンしたファイルと同じ内容であるため前回のファイルのオフセットからログデータを入力する（ステップ１１１３）。前回のファイルのオフセットは、当該ファイルについて前回入力済のレコードの次のレコードを指している。異なる場合は（ステップ１１１２ＮＯ）、新しいファイル（前回オープンしたファイルは削除された等）であると解釈し、先頭からログデータを入力する（ステップ１１１４）。その後、入力したログデータを正規化し（ステップ１１１５）、正規化ログデータをログファイル管理２０４ヘ通知する（ステップ１１１６）。ログデータの正規化は、上記のようにフォーマットルール５１０，５１５等を適用して行う。正規化ログデータをログファイル管理２０４に渡した後、当該ログファイルをクローズし、監視間隔に従って次の監視時刻にタイマを設定する。
【００７０】
図２８は、エージェント２０のログファイル管理２０４の処理の流れを示すＰＡＤ図である。ログファイル管理２０４は、初期設定し（ステップ１２０１）、ルール管理２０３から動作条件ルール４７０とフィルタリングルール５２０を取得（ステップ１２０２）した後、プロセス管理２０１から終了要求が来るまでループし（ステップ１２０３）、イベントを持つ（ステップ１２０４）。イベントには、ログ入力２０２からの正規化ログデータ格納通知（ステップ１２０５）、マネージャ１０のログ収集１０７からのログ収集要求（ステップ１２０９）、ログファイル管理２０４自身からの正規化ログファイル容量確認要求（ステップ１２１１）、マネージャ１０のログ収集１０７からのマネージャ時刻の通知（ステップ１２１６）と、プロセス管理２０１からの終了要求（ステップ１２１８）がある。
【００７１】
正規化ログデータ格納通知を受信した場合は（ステップ１２０５）、ログ入力２０２から正規化ログデータを取得し（ステップ１２０６）、エージェントとマネージャの時間差（ステップ１２１７の処理結果）とログ出力時刻３２２から補正時刻３２３を計算する。ログ入力２０２から取得した正規化ログデータにこの補正時刻３２３を追加して正規化ログファイル４０に格納する（ステップ１２０７）。取得した正規化ログデータにフィルタリングルール５２０を適用して条件に合致する正規化ログデータのみを正規化ログファイル４０に格納する。次に正規化ログファイル容量確認要求を発行する（ステップ１２０８）。
【００７２】
ログ収集要求を受信した場合は（ステップ１２０９）、正規化ログファイル４０中の正規化ログデータを補正時刻３２３の順にソートした後、ＭＡＮＡＧＥＲ＿ＡＤＤＲＥＳＳ４７１に示されるマネージャ１０ヘ転送する（ステップ１２１０）。
【００７３】
正規化ログファイル容量確認要求を受信した場合は（ステップ１２１１）、正規化ログファイルの使用容量とＦＩＬＥ＿ＭＡＸＳＩＺＥ４７２を比較し（ステップ１２１２）、最大サイズに達したとき（ステップ１２１２ＹＥＳ）は、ログ入力２０２ヘ中断通知を発行する（ステップ１２１３）。最大サイズに達していないとき（ステップ１２１２ＮＯ）は、前回中断要求を発行したか確認し（ステップ１２１４）、発行していたとき（ステップ１２１４ＹＥＳ）は、ログ入力２０２へログ入力再開要求を通知する（ステップ１２１５）。
【００７４】
マネージャ時刻の通知を受信した場合は（ステップ１２１６）、エージェントとマネージャのコンピュータ時刻の差を計算する（ステップ１２１７）。
【００７５】
終了要求を受信した場合は（ステップ１２１８）、ループを抜けて終了処理（ステップ１２１９）を行う。
【００７６】
【発明の効果】
以上説明したように本発明によれば、エージェントが複数のログファイルを監視し種々の形式で出力されたログデータを入力した後、正規化を行い共通的なデータ形式に変換する。また必要なログデータだけを抽出し、ログデータの出力時刻としてマネージャの時計に合わせた補正時刻を使用するようにしたので、運用者はネットワークに存在する複数のコンピュータのログデータを統一したデータ形式及び時刻に基づいて解析することができる。
【００７７】
またマネージャが蓄積するログデータについては、所定期間のログデータを保存するようにしたので、古いログデータから順に削除する形でログ情報の総量を規制できる。
【００７８】
さらに収集したログデータを補正時刻及び正規化項目によって検索可能としたので、運用者は必要なログ情報を容易に取得できる。
【図面の簡単な説明】
【図１】実施形態のネットワークシステムの構成図である。
【図２】実施形態のマネージャとエージェントが行う処理動作の概略を示す図である。
【図３】実施形態のマネージャ１０の構成を示す機能ブロック図である。
【図４】実施形態のエージェント２０の構成を示す機能ブロック図である。
【図５】実施形態の正規化ログデータの概略構成を示す図である。
【図６】実施形態の共通情報クラスのデータ構成を示す図である。
【図７】実施形態のユーザ情報クラスのデータ構成を示す図である。
【図８】実施形態のサービス情報クラスのデータ構成を示す図である。
【図９】実施形態のアドレス情報クラスのデータ構成を示す図である。
【図１０】実施形態のファイル情報クラスのデータ構成を示す図である。
【図１１】実施形態のトラフィフィック情報クラスのデータ構成を示す図である。
【図１２】実施形態の個別情報クラスのデータ構成を示す図である。
【図１３】実施形態のデータ格納クラスのデータ構造を示す図である。
【図１４】正規化項目のコード化テーブルの例を示す図である。
【図１５】マネージャルールの例を示す図である。
【図１６】エージェントの動作条件ルールの例を示す図である。
【図１７】エージェントのログファイル監視ルールの例を示す図である。
【図１８】エージェントのフォーマットルール（その１）の例を示す図である。
【図１９】エージェントのフォーマットルール（その２）の例を示す図である。
【図２０】エージェントのフィルタリングルールの例を示す図である。
【図２１】監視対象ログファイルのログデータであるメッセージテキストの例を示す図である。
【図２２】実施形態の正規化ログデータベースのデータ構造を示す図である。
【図２３】実施形態のマネージャが行うルール配布の処理の流れを示すＰＡＤ図である。
【図２４】実施形態のマネージャが行うログ収集の処理の流れを示すＰＡＤ図である。
【図２５】実施形態のマネージャが行う構成管理の処理の流れを示すＰＡＤ図である。
【図２６】実施形態のマネージャが行うデータベース管理の処理の流れを示すＰＡＤ図である。
【図２７】実施形態のエージェントが行うログ入力の処理の流れを示すＰＡＤ図である。
【図２８】実施形態のエージェントが行うログファイル管理の処理の流れを示すＰＡＤ図である。
【符号の説明】
１０・・・マネージャ、２０・・・エージェント、４０・・・正規化ログファイル、５０・・・正規化ログデータベース、６０・・・ネットワーク管理システム、１０４・・・構成管理、１０６・・・ルール配布、１０７・・・ログ収集、１０９・・・データベース管理、１１０・・・ルール、２０２・・・ログ入力、２０４・・・ログファイル管理、２０５・・・ルール
Claims (4)
- エージェント側のオペレーティングシステム及びアプリケーションプログラムが出力するログファイルのうち、監視の対象とするログファイルを読み込む手段と、
監視対象とするログファイル中のログデータ中にあらかじめ定義された文字列が含まれる場合に、当該ログデータ中の文字列を定義された文字数だけスキップするか又は定義された区切り文字が現れるまで途中の文字列をスキップすることによって、当該ログデータからあらかじめ定義されたデータ項目に対応する値を選択的に切り出して規定されたデータ項目の値を所定の順に配列する正規化されたログデータを作成する手段と、
作成された正規化されたログデータに含まれる前記エージェント側のログ出力時刻をマネージャの基準となる時刻に基づいて補正する手段と、
時刻補正された正規化ログデータを蓄積する手段と、
蓄積された正規化ログデータをネットワークを介して前記マネージャの機能を実行する情報処理装置へ送信する手段とを前記エージェントの処理手段として有することを特徴とするログデータの収集をする情報処理装置。 - ネットワークを介してエージェントの機能を実行する複数の情報処理装置の各々から、エージェント側のオペレーティングシステム及びアプリケーションプログラムが出力するログファイルのうち監視の対象とするログファイル中のログデータについて、当該ログデータ中にあらかじめ定義された文字列が含まれる場合に、当該ログデータ中の文字列を定義された文字数だけスキップするか又は定義された区切り文字が現れるまで途中の文字列をスキップすることによって、当該ログデータからあらかじめ定義されたデータ項目に対応する値を選択的に切り出して作成された正規化されたログデータであってエージェント側のログ出力時刻とマネージャの基準とする時刻に基づいて補正されたログ出力時刻とを有する正規化ログデータを受信する手段と、該正規化ログデータを補正時刻の順にデータベースに蓄積する手段とをマネージャの処理手段として有することを特徴とするログデータの収集と管理をする情報処理装置。
- エージェントの処理手段によって、エージェント側のオペレーティングシステム及びアプリケーションプログラムが出力するログファイルのうち、監視の対象とするログファイルを読み込み、
監視対象とするログファイル中のログデータ中にあらかじめ定義された文字列が含まれる場合に、当該ログデータ中の文字列を定義された文字数だけスキップするか又は定義された区切り文字が現れるまで途中の文字列をスキップすることによって、当該ログデータからあらかじめ定義されたデータ項目に対応する値を選択的に切り出して規定されたデータ項目の値を所定の順に配列する正規化されたログデータを作成し、
作成された正規化されたログデータに含まれる前記エージェント側のログ出力時刻をマネージャの基準となる時刻に基づいて補正し、
時刻補正された正規化ログデータを蓄積し、
蓄積された前記正規化ログデータをネットワークを介して前記マネージャの機能を実行する情報処理装置へ送信することを特徴とするログデータ収集管理方法。 - マネージャの処理手段によって、ネットワークを介してエージェントの機能を実行する複数の情報処理装置の各々から、エージェント側のオペレーティングシステム及びアプリケーションプログラムが出力するログファイルのうち監視の対象とするログファイル中のログデータについて、当該ログデータ中にあらかじめ定義された文字列が含まれる場合に、当該ログデータ中の文字列を定義された文字数だけスキップするか又は定義された区切り文字が現れるまで途中の文字列をスキップすることによって、当該ログデータからあらかじめ定義されたデータ項目に対応する値を選択的に切り出して作成された正規化されたログデータであって前記エージェント側のログ出力時刻とマネージャの基準とする時刻に基づいて補正されたログ出力時刻とを有する正規化ログデータを受信し、前記正規化ログデータを補正時刻の順にデータベースに蓄積することを特徴とするログデータ収集管理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10121097A JP3778652B2 (ja) | 1997-04-18 | 1997-04-18 | ログデータ収集管理方法及びその装置 |
| US09/058,890 US6173418B1 (en) | 1997-04-18 | 1998-04-13 | Computer for gathering log data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10121097A JP3778652B2 (ja) | 1997-04-18 | 1997-04-18 | ログデータ収集管理方法及びその装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002090804A Division JP4485112B2 (ja) | 2002-03-28 | 2002-03-28 | ログデータの収集管理方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10293704A JPH10293704A (ja) | 1998-11-04 |
| JP3778652B2 true JP3778652B2 (ja) | 2006-05-24 |
Family
ID=14294563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10121097A Expired - Fee Related JP3778652B2 (ja) | 1997-04-18 | 1997-04-18 | ログデータ収集管理方法及びその装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6173418B1 (ja) |
| JP (1) | JP3778652B2 (ja) |
Families Citing this family (84)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2348718A (en) * | 1999-04-07 | 2000-10-11 | Ibm | Data processing system having a centralised trace facility with dynamic tracing |
| EP1055990A1 (en) * | 1999-05-28 | 2000-11-29 | Hewlett-Packard Company | Event logging in a computing platform |
| US6760763B2 (en) * | 1999-08-27 | 2004-07-06 | International Business Machines Corporation | Server site restructuring |
| JP4465064B2 (ja) * | 1999-09-27 | 2010-05-19 | 富士フイルム株式会社 | 画像サーバおよびその制御方法 |
| US7523190B1 (en) * | 1999-12-23 | 2009-04-21 | Bickerstaff Cynthia L | Real-time performance assessment of large area network user experience |
| US6915342B1 (en) * | 2000-02-04 | 2005-07-05 | Ricoh Company Limited | Method and system for maintaining the business office appliance through log files |
| US6505245B1 (en) * | 2000-04-13 | 2003-01-07 | Tecsys Development, Inc. | System and method for managing computing devices within a data communications network from a remotely located console |
| US20040120262A1 (en) * | 2000-07-25 | 2004-06-24 | Shinji Hirose | Site monitor and method for monitoring site |
| JP2002330177A (ja) * | 2001-03-02 | 2002-11-15 | Seer Insight Security Inc | セキュリティ管理サーバおよびこれと連携して動作するホストサーバ |
| US6859881B2 (en) * | 2001-03-28 | 2005-02-22 | Intel Corporation | Method and system for mapping network attacks onto a strategy game |
| GB2374493A (en) * | 2001-04-12 | 2002-10-16 | Mitel Knowledge Corp | Mobile interactive logging (MILog) of network devices |
| US6748550B2 (en) * | 2001-06-07 | 2004-06-08 | International Business Machines Corporation | Apparatus and method for building metadata using a heartbeat of a clustered system |
| JP2003099295A (ja) * | 2001-09-21 | 2003-04-04 | Teamgia:Kk | 通信ログの処理方法、の方法をコンピュータシステム上で実行させるためのコンピュータソフトウエアプログラム及び通信ログ処理システム |
| US20030158944A1 (en) * | 2002-02-19 | 2003-08-21 | International Business Machines Corporation | Software control in a business transaction environment |
| US7333918B2 (en) * | 2002-09-05 | 2008-02-19 | Strategic Power Systems, Inc. | System and method for calculating part life |
| US7155514B1 (en) | 2002-09-12 | 2006-12-26 | Dorian Software Creations, Inc. | Apparatus for event log management |
| JP2004264970A (ja) * | 2003-02-28 | 2004-09-24 | Hitachi Ltd | プログラム、情報処理装置、及び情報処理装置におけるログデータの出力方法 |
| US7689872B2 (en) * | 2003-07-01 | 2010-03-30 | International Business Machines Corporation | Autonomic program error detection and correction |
| US7251748B2 (en) * | 2003-09-12 | 2007-07-31 | Sun Microsystems, Inc. | System and method for determining a global ordering of events using timestamps |
| JP4347082B2 (ja) * | 2004-02-23 | 2009-10-21 | 日本電気株式会社 | イベントトレースデータの時刻補正装置，時刻補正方法及び時刻補正プログラム |
| US7539706B1 (en) * | 2004-03-30 | 2009-05-26 | Emc Corporation | Methods and apparatus for collecting and processing file system data |
| TWI263915B (en) * | 2004-04-02 | 2006-10-11 | Hon Hai Prec Ind Co Ltd | System and method for logging event of telecommunications devices |
| US7895167B2 (en) * | 2005-02-16 | 2011-02-22 | Xpolog Ltd. | System and method for analysis and management of logs and events |
| US8578500B2 (en) * | 2005-05-31 | 2013-11-05 | Kurt James Long | System and method of fraud and misuse detection |
| US7657624B2 (en) * | 2005-06-22 | 2010-02-02 | Hewlett-Packard Development Company, L.P. | Network usage management system and method |
| KR100665132B1 (ko) | 2005-07-29 | 2007-01-04 | 인터컴 소프트웨어(주) | 이질의 로그를 정형화하는 방법 |
| US20070038889A1 (en) * | 2005-08-11 | 2007-02-15 | Wiggins Robert D | Methods and systems to access process control log information associated with process control systems |
| CA2623491A1 (en) * | 2005-09-23 | 2007-04-05 | Lehman Brothers Inc. | System and method for event log review |
| JP5452836B2 (ja) | 2006-03-31 | 2014-03-26 | 日本電気株式会社 | 資格審査システムおよびその審査方法ならびに資格審査装置 |
| US8290949B2 (en) * | 2006-07-24 | 2012-10-16 | International Business Machines Corporation | Resource name reconciliation in a configuration database |
| KR100865015B1 (ko) | 2007-01-26 | 2008-10-23 | 삼성에스디에스 주식회사 | 실시간 통합 관리정보 데이터 변환 및 모니터링 장치 및 그방법 |
| JP5001682B2 (ja) * | 2007-03-12 | 2012-08-15 | 株式会社クローラ研究所 | マイニングシステム及びマイニング方法 |
| JP4804408B2 (ja) * | 2007-04-17 | 2011-11-02 | 株式会社日立製作所 | ログ解析方法及び装置 |
| US7734961B2 (en) * | 2007-05-01 | 2010-06-08 | International Business Machines Corporation | Distributed logging apparatus system and method |
| KR100912177B1 (ko) * | 2007-05-17 | 2009-08-14 | 엔에이치엔(주) | 사용자 행동 분석 방법 및 시스템 |
| JP2009009448A (ja) * | 2007-06-29 | 2009-01-15 | Mitsubishi Electric Corp | データ送信装置及びデータ送信方法及びプログラム |
| US8452761B2 (en) * | 2007-10-24 | 2013-05-28 | International Business Machines Corporation | Apparatus for and method of implementing system log message ranking via system behavior analysis |
| US8825189B2 (en) * | 2007-11-13 | 2014-09-02 | Fisher Rosemount Systems, Inc. | Methods and apparatus to execute an auxiliary recipe and a batch recipe associated with a process control system |
| US8150541B2 (en) * | 2007-11-13 | 2012-04-03 | Fisher-Rosemount Systems, Inc. | Methods and apparatus to modify a recipe process flow associated with a process control system during recipe execution |
| US8555206B2 (en) * | 2007-12-21 | 2013-10-08 | Fisher-Rosemount Systems, Inc. | Methods and apparatus to present recipe progress status information |
| US8863278B2 (en) * | 2008-05-28 | 2014-10-14 | International Business Machines Corporation | Grid security intrusion detection configuration mechanism |
| CN101677445A (zh) * | 2008-09-16 | 2010-03-24 | 中兴通讯股份有限公司 | 一种业务系统日志文件的清理方法及系统 |
| US8935382B2 (en) * | 2009-03-16 | 2015-01-13 | Microsoft Corporation | Flexible logging, such as for a web server |
| US20110019240A1 (en) * | 2009-07-21 | 2011-01-27 | Harris Technology, Llc | Digital control and processing of transferred Information |
| US8495429B2 (en) * | 2010-05-25 | 2013-07-23 | Microsoft Corporation | Log message anomaly detection |
| US8549201B2 (en) | 2010-06-30 | 2013-10-01 | Intel Corporation | Interrupt blocker |
| JP5768448B2 (ja) * | 2011-03-31 | 2015-08-26 | 日本電気株式会社 | ログ管理システム、ログ解析装置、ログ解析方法、およびログ解析プログラム |
| JP5781685B2 (ja) * | 2012-03-12 | 2015-09-24 | 株式会社日立製作所 | ログ管理計算機、及びログ管理方法 |
| US8682906B1 (en) * | 2013-01-23 | 2014-03-25 | Splunk Inc. | Real time display of data field values based on manual editing of regular expressions |
| US8751963B1 (en) | 2013-01-23 | 2014-06-10 | Splunk Inc. | Real time indication of previously extracted data fields for regular expressions |
| US9753909B2 (en) | 2012-09-07 | 2017-09-05 | Splunk, Inc. | Advanced field extractor with multiple positive examples |
| US9152929B2 (en) | 2013-01-23 | 2015-10-06 | Splunk Inc. | Real time display of statistics and values for selected regular expressions |
| US9311221B2 (en) * | 2013-03-15 | 2016-04-12 | Ab Initio Technology Llc | Recording program execution |
| JP2014199504A (ja) * | 2013-03-29 | 2014-10-23 | 株式会社日立システムズ | 顧客別データクレンジング処理システム及び顧客別データクレンジング処理方法 |
| CN104731664A (zh) * | 2013-12-23 | 2015-06-24 | 伊姆西公司 | 用于故障处理的方法和装置 |
| JP5640166B1 (ja) | 2014-03-31 | 2014-12-10 | 株式会社ラック | ログ分析システム |
| JP5988447B2 (ja) | 2014-08-28 | 2016-09-07 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | ログメッセージのフォーマットを推定する方法、並びに、その為のコンピュータ及びコンピュータ・プログラム |
| US10049171B2 (en) * | 2014-09-10 | 2018-08-14 | Ca, Inc. | Batch processed data structures in a log repository referencing a template repository and an attribute repository |
| CN107111524A (zh) * | 2014-09-12 | 2017-08-29 | 康维达无线有限责任公司 | 基于面向服务的架构(soa)的可扩展计费系统 |
| MX2018010080A (es) * | 2016-02-22 | 2018-11-09 | Bbell Incorporated | Fecha y hora del registro de bitacora de datos con ajuste automatico. |
| US10733002B1 (en) * | 2016-06-28 | 2020-08-04 | Amazon Technologies, Inc. | Virtual machine instance data aggregation |
| US10536476B2 (en) | 2016-07-21 | 2020-01-14 | Sap Se | Realtime triggering framework |
| US10482241B2 (en) | 2016-08-24 | 2019-11-19 | Sap Se | Visualization of data distributed in multiple dimensions |
| US10542016B2 (en) | 2016-08-31 | 2020-01-21 | Sap Se | Location enrichment in enterprise threat detection |
| US10630705B2 (en) | 2016-09-23 | 2020-04-21 | Sap Se | Real-time push API for log events in enterprise threat detection |
| US10673879B2 (en) | 2016-09-23 | 2020-06-02 | Sap Se | Snapshot of a forensic investigation for enterprise threat detection |
| US10534908B2 (en) | 2016-12-06 | 2020-01-14 | Sap Se | Alerts based on entities in security information and event management products |
| US10530792B2 (en) | 2016-12-15 | 2020-01-07 | Sap Se | Using frequency analysis in enterprise threat detection to detect intrusions in a computer system |
| US10534907B2 (en) * | 2016-12-15 | 2020-01-14 | Sap Se | Providing semantic connectivity between a java application server and enterprise threat detection system using a J2EE data |
| US10552605B2 (en) | 2016-12-16 | 2020-02-04 | Sap Se | Anomaly detection in enterprise threat detection |
| US11470094B2 (en) | 2016-12-16 | 2022-10-11 | Sap Se | Bi-directional content replication logic for enterprise threat detection |
| US10764306B2 (en) | 2016-12-19 | 2020-09-01 | Sap Se | Distributing cloud-computing platform content to enterprise threat detection systems |
| US10530794B2 (en) | 2017-06-30 | 2020-01-07 | Sap Se | Pattern creation in enterprise threat detection |
| US10698756B1 (en) * | 2017-12-15 | 2020-06-30 | Palantir Technologies Inc. | Linking related events for various devices and services in computer log files on a centralized server |
| US10681064B2 (en) | 2017-12-19 | 2020-06-09 | Sap Se | Analysis of complex relationships among information technology security-relevant entities using a network graph |
| US10986111B2 (en) | 2017-12-19 | 2021-04-20 | Sap Se | Displaying a series of events along a time axis in enterprise threat detection |
| US10684035B2 (en) | 2018-01-08 | 2020-06-16 | Trane International Inc. | HVAC system that collects customer feedback in connection with failure triage |
| JP6920738B2 (ja) * | 2018-03-29 | 2021-08-18 | サイレックス・テクノロジー株式会社 | ログ記録装置、制御方法、及び、プログラム |
| WO2020127663A1 (en) * | 2018-12-20 | 2020-06-25 | Koninklijke Philips N.V. | Method to efficiently evaluate a log pattern |
| CN110427307A (zh) * | 2019-06-21 | 2019-11-08 | 平安科技（深圳）有限公司 | 日志解析方法、装置、计算机设备及存储介质 |
| US11507463B2 (en) * | 2019-07-23 | 2022-11-22 | Dell Products L.P. | System and method for consolidated BIOS-level event logging |
| CN113760844A (zh) * | 2020-06-01 | 2021-12-07 | 武汉斗鱼鱼乐网络科技有限公司 | 一种多日志模块融合的方法及装置 |
| CN113986643A (zh) * | 2020-07-27 | 2022-01-28 | 伊姆西Ip控股有限责任公司 | 分析日志文件的方法、电子设备和计算机程序产品 |
| CN116028317A (zh) | 2021-10-22 | 2023-04-28 | 伊姆西Ip控股有限责任公司 | 训练故障分析模型的方法、电子设备和计算机程序产品 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4878167A (en) * | 1986-06-30 | 1989-10-31 | International Business Machines Corporation | Method for managing reuse of hard log space by mapping log data during state changes and discarding the log data |
| US5293323A (en) * | 1991-10-24 | 1994-03-08 | General Electric Company | Method for fault diagnosis by assessment of confidence measure |
| GB2276737A (en) * | 1993-03-30 | 1994-10-05 | Ibm | Fault-tolerant transaction-oriented data processing |
| US5883923A (en) * | 1995-09-18 | 1999-03-16 | Oki Electric Industry Co., Ltd. | Data receiver with symbol rate discrimination and statistical analysis functions |
-
1997
- 1997-04-18 JP JP10121097A patent/JP3778652B2/ja not_active Expired - Fee Related
-
1998
- 1998-04-13 US US09/058,890 patent/US6173418B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10293704A (ja) | 1998-11-04 |
| US6173418B1 (en) | 2001-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3778652B2 (ja) | ログデータ収集管理方法及びその装置 | |
| JP4485112B2 (ja) | ログデータの収集管理方法および装置 | |
| CN111752799B (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
| US9231917B2 (en) | Dynamic provisioning of protection software in a host intrusion prevention system | |
| US7996896B2 (en) | System for regulating host security configuration | |
| US6144961A (en) | Method and system for non-intrusive measurement of transaction response times on a network | |
| US7930747B2 (en) | Host intrusion prevention server | |
| US5878420A (en) | Network monitoring and management system | |
| US5745693A (en) | System for gathering and reporting real time data from an IDNX communications network | |
| CN109120461B (zh) | 一种业务性能端到端监控方法、系统及装置 | |
| US20090182866A1 (en) | Method of setting and managing performance monitoring conditions and computer system using the method | |
| JPH05204666A (ja) | イベント・ストリームのイベントの処理方法及び装置 | |
| CN109460307B (zh) | 基于日志埋点的微服务调用跟踪方法及其系统 | |
| US20050038888A1 (en) | Method of and apparatus for monitoring event logs | |
| US7069184B1 (en) | Centralized monitoring and early warning operations console | |
| CN105096014A (zh) | 远程录制作业运行情况的方法和系统 | |
| CN102480383B (zh) | 一种日志消息报文处理方法及装置 | |
| CN112685370A (zh) | 一种日志采集方法、装置、设备和介质 | |
| JP2006025434A (ja) | 大容量障害相関システム及び方法 | |
| CN116346680A (zh) | 基于拓扑嗅探的进程间网络流量追踪控制方法和系统 | |
| JP3221538B2 (ja) | ネットワーク稼動情報収集システム | |
| JP3691272B2 (ja) | 分散処理システムおよび障害解析情報の保存方法 | |
| JP3992029B2 (ja) | オブジェクト管理方法 | |
| CN112765010A (zh) | 业务参数集中管理方法、装置、设备及存储介质 | |
| US7349952B1 (en) | Information service layer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051227 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060228 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090310 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130310 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130310 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140310 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |