JP4483807B2 - ログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラム - Google Patents

ログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラム Download PDF

Info

Publication number
JP4483807B2
JP4483807B2 JP2006073367A JP2006073367A JP4483807B2 JP 4483807 B2 JP4483807 B2 JP 4483807B2 JP 2006073367 A JP2006073367 A JP 2006073367A JP 2006073367 A JP2006073367 A JP 2006073367A JP 4483807 B2 JP4483807 B2 JP 4483807B2
Authority
JP
Japan
Prior art keywords
log
format
log format
conversion
configuration information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006073367A
Other languages
English (en)
Other versions
JP2007249694A (ja
Inventor
暁 高垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2006073367A priority Critical patent/JP4483807B2/ja
Publication of JP2007249694A publication Critical patent/JP2007249694A/ja
Application granted granted Critical
Publication of JP4483807B2 publication Critical patent/JP4483807B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Description

本発明は、ログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラムに関し、特に、多種多様なログファイルを共通フォーマットにするために必要なログフォーマットを自動生成するログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラムに関する。
システムのセキュリティおよび信頼性向上の観点から、システムにおけるログ情報の管理・解析は非常に重要な課題となっている。そこで、ネットワークシステム上のサーバに散在するログファイルを一括収集・一元管理するために、さまざまなログ収集・解析用プログラムが提供されている。
これらログ収集・解析用プログラムの多くは、解析時に種類の異なるログファイルの統合を可能にするため、共通フォーマットを定義している。しかしながら、各種ログファイルを共通フォーマットに変換するためには、ログファイルの種類毎にログファイルの出力形式を定義したログフォーマットを用意する必要がある。従って、新しい未知のログファイルが出現する度に、ユーザまたはログ収集・解析用プログラムの開発者が新たなログフォーマットを作成しなければならない。
特許文献1では、ログ情報を汎用ログフォーマットに変換し、単語別出現頻度と二単語連結句別出現頻度とを求め、ログ情報と抽出された特徴情報とを組み合わせて図形化してシステム管理者に提示することにより、ログ情報の解析作業に要する時間を減少させ、種々のデータ形式とファイル・システム上の偏在性とを有するログ情報を統合し、既知の異常ではない異常を示すログ情報を抽出することができ、システム管理者に文字による膨大な量のログ情報の中から注目するべきログ情報を迅速に把握することができるログ情報解析装置、方法および記録媒体が提案されている。
特許文献2では、利用者ログ情報を生成・通知可能なログ取得手段を有する情報端末と、取得した利用者ログ情報のフォーマットを判定可能なログ種別判定手段、判定結果のフォーマットに応じて利用者ログ情報の正規化が可能なログ正規化手段、及び正規化された利用者ログ情報である正規化ログ情報の記録が可能なログ管理手段を有するログ管理装置とを有するログ管理方法が提案されている。
特許文献3では、入力データに基づいて知識ベースを活用して推論を実行して推論結果を得るエキスパートシステムにおいて、出現頻度の多い入力データ群を識別してパターン化し、それと関連して知識ベースのどの部分が推論実行されたかの記録を推論履歴として推論履歴データベースに蓄積する推論履歴管理機構と、入力データを登録済入力データパターンと比較し、対象となるパターンが存在するとき推論履歴データベースの内容を参照しながら知識ベースの中から推論の対象となるルール群の範囲を限定して抽出し、その知識情報をカレント知識ベースに格納する対象知識ベース抽出機構と、入力データに基づいてカレント知識ベースを参照して推論を実行し、実行条件に応じた推論結果を出力する推論機構とを有するエキスパートシステムが提案されている。
特許文献4では、エージェントが複数のログファイルを監視し種々の形式で出力されたログデータを入力した後、正規化を行い共通的なデータ形式に変換する情報処理装置が提案されている。
特開2001−356939号公報 特開2005−148779号公報 特開平6−337790号公報 特開平10−293704号公報
しかし、上記の発明は以下の問題を有している。
ネットワークシステム上のサーバに散在しているログファイルを一元管理するための手段として、さまざまなログ収集・解析用プログラムが提供されている。これらログ収集・解析用プログラムの特徴として、解析時に種類の異なるログファイルの統合を可能にするための共通フォーマットへの変換機能が挙げられる。しかしながら、各種ログファイルから共通フォーマットに変換するためには、ログファイルの種類毎にログファイルの出力形式を定義したログフォーマットを用意する必要がある。従って、新しい未知のログファイルが出現する度に、ユーザまたはログ収集・解析用プログラムの開発者が新たなログフォーマットを手動で作成しなければならない。そのため、解析対象とするログファイルの種類が多い程、ログフォーマットの作成作業に多くの時間を要する。
特許文献3によれば、予め知識ベースに知識が格納されていることが前提であり、知識を入力データパターンに適用して推論を実行したときの履歴情報を利用することにより、推論処理の効率を向上を目的としている。よって、ログデータを正規化するために必要なログフォーマットが存在しない場合においては、推論処理を実行することができない。
特許文献2及び4によれば、エージェントが複数のログファイルを監視し種々の形式で出力されたログデータを入力した後、正規化を行い共通的なデータ形式に変換することができるが、ログフォーマットを利用者またはシステム開発者が手動で定義しなければならない。
そこで、本発明は、収集したログファイルを共通フォーマットに変換する際に、既存のログフォーマットの中から適用可能なものを検索し、適用可能なログフォーマットが存在しない場合、ログフォーマット生成用知識およびログファイルに記録されているログの文字列パターンから規則性を抽出することにより、ログフォーマットを自動生成するログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラムを提案することを目的としている。
請求項1記載の発明は、コンピュータの稼働状況を示すログファイルを収集するログ収集手段と、各種ログファイルの出力形式を定義したログフォーマットを記憶するログフォーマット記憶手段と、前記ログフォーマット記憶手段に記憶された前記ログフォーマットに基づいて、前記ログ収集手段で収集されたログファイルを所定の共通フォーマットに変換するフォーマット変換手段と、前記フォーマット変換手段によって前記共通フォーマットに変換されたログファイルを記憶する収集ログ記憶手段と、を備えるログフォーマット変換装置において、ログを複数の領域に分割する区切り文字、前記複数の領域の各々を所定の形式に変換するための変換ルール、並びに、ログに記録しうる情報の種別及び該種別の該当条件を種別ごとに記述したログフォーマット構成情報を記憶するログフォーマット生成用知識記憶手段と、ログフォーマットを新たに生成するログフォーマット生成手段と、を有し、前記ログフォーマット生成手段は、前記区切り文字、前記変換ルール、及び前記ログフォーマット構成情報を前記ログフォーマット生成用知識記憶手段から読み出し、前記ログファイルに含まれる全てのログの各々について、前記区切り文字を用いて複数の領域に分割し、前記変換ルールを分割した各領域の文字列に適用して所定の形式に変換し、前記各領域ごとに、変換された前記文字列が前記ログフォーマット構成情報の該当条件を満たすか判断し、満たさないと判断した該当条件に対応する前記種別の情報のログにおける記録位置の候補から該領域を外し、残った候補を、前記ログフォーマット構成情報に記述された各種別の情報の、ログにおける記録位置として決定して、該決定した記録位置と該決定した記録位置に対応する種別とを用いて、前記ログフォーマットを新たに生成し、前記新たに生成した前記ログフォーマットを前記ログフォーマット記憶手段に記憶し、前記フォーマット変換手段は、前記ログ収集手段から収集されたログファイルを受け取った際に該ログファイルに適用可能なログフォーマットが前記ログフォーマット記憶手段に記憶されていなかったとき、該ログファイルの出力形式を定義するログフォーマットを、前記ログフォーマット生成手段によって新たに生成し、前記新たに生成された前記ログフォーマットを用いて該ログファイルを前記共通フォーマットに変換することを特徴とする。
請求項2記載の発明は、請求項1記載のログフォーマット変換装置において、前記ログフォーマット構成情報の前記該当条件を満たす候補が複数残ったとき、前記ログフォーマット生成手段は、予め設定されたログフォーマット構成情報の位置関係に関する条件に基づいて、前記構成情報の記録位置を決定して前記ログフォーマットを新たに生成することを特徴とする。
請求項3記載の発明は、請求項1又は2記載のログフォーマット変換装置において、前記ログフォーマット記憶手段における前記ログフォーマットの追加・修正・削除を管理するログフォーマット管理手段を有することを特徴とする。
請求項4記載の発明は、請求項1から3のいずれか1項記載のログフォーマット変換装置において、前記ログフォーマット生成用知識記憶手段における前記区切り文字、前記変換ルール、及び前記ログフォーマット構成情報の追加・修正・削除を管理するログフォーマット生成用知識管理手段を有することを特徴とする。
請求項5記載の発明は、コンピュータの稼働状況を示すログファイルを収集するログ収集手段と、各種ログファイルの出力形式を定義したログフォーマットを記憶するログフォーマット記憶手段と、前記ログフォーマット記憶手段に記憶された前記ログフォーマットに基づいて、前記ログ収集手段で収集されたログファイルを所定の共通フォーマットに変換するフォーマット変換手段と、前記フォーマット変換手段によって前記共通フォーマットに変換されたログファイルを記憶する収集ログ記憶手段と、ログを複数の領域に分割する区切り文字、前記複数の領域の各々を所定の形式に変換するための変換ルール、並びに、ログに記録しうる情報の種別及び該種別の該当条件を種別ごとに記述したログフォーマット構成情報を記憶するログフォーマット生成用知識記憶手段と、を備えるログフォーマット変換装置のログフォーマット変換方法において、前記ログ収集手段から収集されたログファイルを受け取った際に該ログファイルに適用可能なログフォーマットが前記ログフォーマット記憶手段に記憶されていなかったとき、前記区切り文字、前記変換ルール、及び前記ログフォーマット構成情報を前記ログフォーマット生成用知識記憶手段から読み出す工程と、前記ログファイルに含まれる全てのログの各々について、前記区切り文字を用いて複数の領域に分割する工程と、前記変換ルールを分割した各領域の文字列に適用して所定の形式に変換する工程と、前記各領域ごとに、変換された前記文字列が前記ログフォーマット構成情報の該当条件を満たすか判断する工程と、満たさないと判断した該当条件に対応する前記種別の情報のログにおける記録位置の候補から該領域を外し、残った候補を、前記ログフォーマット構成情報に記述された各種別の情報の、ログにおける記録位置として決定して、該決定した記録位置と該決定した記録位置に対応する種別とを用いて、前記ログフォーマットを新たに生成する工程と、前記新たに生成された前記ログフォーマットを前記ログフォーマット記憶手段に記憶する工程と、前記新たに生成された前記ログフォーマットを用いて該ログファイルを前記共通フォーマットに変換する工程と、を有することを特徴とする。
請求項6記載の発明は、コンピュータの稼働状況を示すログファイルを収集するログ収集手段と、各種ログファイルの出力形式を定義したログフォーマットを記憶するログフォーマット記憶手段と、前記ログフォーマット記憶手段に記憶された前記ログフォーマットに基づいて、前記ログ収集手段で収集されたログファイルを所定の共通フォーマットに変換するフォーマット変換手段と、前記フォーマット変換手段によって前記共通フォーマットに変換されたログファイルを記憶する収集ログ記憶手段と、ログを複数の領域に分割する区切り文字、前記複数の領域の各々を所定の形式に変換するための変換ルール、並びに、ログに記録しうる情報の種別及び該種別の該当条件を種別ごとに記述したログフォーマット構成情報を記憶するログフォーマット生成用知識記憶手段と、を備えるログフォーマット変換装置に用いられるログフォーマット変換プログラムにおいて、前記ログ収集手段から収集されたログファイルを受け取った際に該ログファイルに適用可能なログフォーマットが前記ログフォーマット記憶手段に記憶されていなかったとき、コンピュータに、前記区切り文字、前記変換ルール、及び前記ログフォーマット構成情報を前記ログフォーマット生成用知識記憶手段から読み出す処理と、前記ログファイルに含まれる全てのログの各々について、前記区切り文字を用いて複数の領域に分割する処理と、前記変換ルールを分割した各領域の文字列に適用して所定の形式に変換する処理と、前記各領域ごとに、変換された前記文字列が前記ログフォーマット構成情報の該当条件を満たすか判断する処理と、満たさないと判断した該当条件に対応する前記種別の情報のログにおける記録位置の候補から該領域を外し、残った候補を、前記ログフォーマット構成情報に記述された各種別の情報の、ログにおける記録位置として決定して、該決定した記録位置と該決定した記録位置に対応する種別とを用いて、前記ログフォーマットを新たに生成する処理と、前記新たに生成された前記ログフォーマットを前記ログフォーマット記憶手段に記憶する処理と、前記新たに生成された前記ログフォーマットを用いて該ログファイルを前記共通フォーマットに変換する処理と、を実行させることを特徴とする。
本発明は、収集したログファイルを共通フォーマットに変換する際に、既存のログフォーマットの中から適用可能なものを検索し、適用可能なログフォーマットが存在しない場合、ログフォーマット生成用知識およびログファイルに記録されているログの文字列パターンから規則性を抽出し、ログフォーマットを自動生成することにより、ログフォーマットの作成作業を必要とせずに未知のログファイルを解析でき、かつログ管理・解析作業に要する時間を削減できる。
以下、本発明の一実施形態に係るログフォーマット装置の構成及び動作について説明する。
まず、本実施形態に係るログフォーマット装置の構成について図1を用いて説明する。
本実施形態に係るログフォーマット装置は、外部機器と通信する通信部1と、プログラム制御により動作するデータ処理部2と、情報を記憶する記憶部3とを有して構成される。
記憶部3は、収集ログ記憶部31と、ログフォーマット記憶部32と、ログフォーマット生成用知識記憶部33とを備える。
収集ログ記憶部31は、ログ収集手段21によってネットワークシステム上のログ収集対象サーバから取得したログファイルを、フォーマット変換手段22によって共通フォーマットに変換したものを記憶する。
ログフォーマット記憶部32は、各種ログファイルの出力形式を定義したログフォーマットを記憶する。
ログフォーマット生成用知識記憶部33は、ログフォーマット生成手段23によってログフォーマットを自動生成する際に使用される情報を記憶する。
データ処理装置2は、ログ収集手段21と、フォーマット変換手段22と、ログフォーマット生成手段23と、ログフォーマット管理手段24と、ログフォーマット生成用知識管理手段25とを備える。
ログ収集手段21は、ネットワークシステム上のログ収集対象サーバから指定されたログファイルを収集し、フォーマット変換手段22に渡す。
フォーマット変換手段22は、ログ収集手段21から渡されたログファイルをログフォーマット記憶部32から読み込んだ既存のログフォーマットまたはログフォーマット生成手段23によって自動生成されたログフォーマットを用いて共通フォーマットに変換し、収集ログ記憶部31に記録する。
ログフォーマット生成手段23は、ログフォーマット生成用知識記憶部33から読み込んだログフォーマット生成用知識および当該ログファイルに記録されたログの文字列パターンからログフォーマットを生成し、フォーマット変換手段22に渡す。また、生成したログフォーマットをログフォーマット記憶部32に記録する。
ログフォーマット管理手段24は、ユーザによるログフォーマット追加・修正・削除などの要求を処理する。
ログフォーマット生成用知識管理手段25は、ユーザによるログフォーマット生成用知識の追加・修正・削除などの要求を処理する。
次に、本実施形態に係るログフォーマット装置の動作について説明する。
次に、図1〜図5を参照して、本発明の実施例の動作について詳細に説明する。
まず、ログ収集手段21及びフォーマット変換手段22の動作について図2を用いて説明する。
ログ収集手段21は、ネットワークシステム上のログ収集対象サーバからログファイルを取得し、フォーマット変換手段22に渡す(ステップS201)。フォーマット変換手段22は、ログフォーマット記憶部32に保存された既存のログフォーマットの中から、受け取ったログファイルに適用可能なものを検索する(ステップS202)。適用可能なログフォーマットが存在する場合は(ステップS203/YES)、そのログフォーマットを使用して当該ログファイルを共通フォーマットに変換後、収集ログ記憶部31に記録する(ステップS204)。適用可能なログフォーマットが存在しない場合は(ステップS203/NO)、ログフォーマット生成手段23によって当該ログファイルの出力形式を定義するログフォーマットを生成し(ステップS205)、生成したログフォーマットを使用して当該ログファイルを共通フォーマットに変換後、収集ログ記憶部31に記録する(ステップS206)。
次に、ログフォーマット生成手段23の動作について図3を用いて説明する。
ログフォーマット生成手段23は、まず、ログフォーマットを作成しようとしているログファイルを読み込む(ステップS301)。そして、ログフォーマット生成用知識記憶部33からログフォーマット生成用知識を読み込む(ステップS302)。ログフォーマット生成用知識はログフォーマットを生成するために使用される情報であり、ログの文字列パターンを意味のある領域に分割するための区切り文字、特別な文字列に対する変換ルール、ログフォーマット構成情報とその条件などにより構成される(ログフォーマット生成用知識の一例を図4に示す)。
次に、当該ログファイルに記録されているログ一つ分の文字列パターンを、ログフォーマット生成用知識で定義されている区切り文字によって複数の領域に分割し(ステップS303)、分割された全ての領域に対してログフォーマット生成用知識で定義されている変換ルールを適用する(ステップS304)。
さらに、各ログフォーマット構成情報の記録位置(どの領域にログフォーマット構成情報が記録されているか)の候補となっている全ての領域(最初は全ての領域が記録位置の候補となる)に対して、ログフォーマット生成用知識で定義されている各ログフォーマット構成情報の条件を満たすかどうかを調べる(ステップS305)。そして、条件を満たさない領域を当該構成情報の記録位置の候補から外す(ステップS306)。以上の処理(ステップS303〜ステップS306)を、当該ログファイルに記録されている全てのログの文字列パターンに対して行う。最終的に各ログフォーマット構成情報の記録位置の候補が一箇所に絞られている場合(ステップS307/YES)、ログフォーマット構成情報の記録位置が決定されるため、ログフォーマットを生成し、ログフォーマット記憶部32へ記録する(ステップS309)。ログフォーマット構成情報の記録位置の候補が一箇所に絞られていない場合(ステップS307/NO)、ログフォーマット生成用知識で定義されているログフォーマット構成情報の位置関係に関する条件などによって記録位置を決定してから(ステップS308)、ログフォーマットを生成し、ログフォーマット記憶部32へ記録する(ステップS309)。作成されたログフォーマットはフォーマット変換手段22に返され(ステップS310)、共通フォーマットへの変換処理に使用される。以上のログフォーマット生成処理について、その一例を図5に示す。
次に、ログフォーマット管理手段24の動作について説明する。ログフォーマット管理手段24は、ユーザがログフォーマットの追加・修正・削除などを手動で行いたい場合に、その処理を提供する。
次に、ログフォーマット生成用知識管理手段25の動作について説明する。ログフォーマット生成用知識管理手段25は、ユーザがログフォーマット生成用知識の追加・修正・削除などを手動で行いたい場合に、その処理を提供する。
上述の構成及び動作によれば、ユーザまたはログ収集・解析プログラムの開発者によるログフォーマットの作成作業を必要とせずに未知のログファイルを解析できるため、ログ管理・解析作業に要する時間を削減できる。
本実施形態に係るログフォーマット変換装置の構成を示すブロック図である。 ログ収集手段21及びフォーマット変換手段22の動作を示すフローチャートである。 ログフォーマット生成手段23の動作を示すフローチャートである。 ログフォーマット生成用知識の一例である。 ログフォーマット生成処理の一例である。
符号の説明
1 通信部
2 データ処理部
3 記憶部
21 ログ収集手段
22 フォーマット変換手段
23 ログフォーマット生成手段
24 ログフォーマット管理手段
25 ログフォーマット生成用知識管理手段
31 収集ログ記憶部
32 ログフォーマット記憶部
33 ログフォーマット生成用知識記憶部

Claims (6)

  1. コンピュータの稼働状況を示すログファイルを収集するログ収集手段と、各種ログファイルの出力形式を定義したログフォーマットを記憶するログフォーマット記憶手段と、前記ログフォーマット記憶手段に記憶された前記ログフォーマットに基づいて、前記ログ収集手段で収集されたログファイルを所定の共通フォーマットに変換するフォーマット変換手段と、前記フォーマット変換手段によって前記共通フォーマットに変換されたログファイルを記憶する収集ログ記憶手段と、を備えるログフォーマット変換装置において、
    ログを複数の領域に分割する区切り文字、前記複数の領域の各々を所定の形式に変換するための変換ルール、並びに、ログに記録しうる情報の種別及び該種別の該当条件を種別ごとに記述したログフォーマット構成情報を記憶するログフォーマット生成用知識記憶手段と、
    ログフォーマットを新たに生成するログフォーマット生成手段と、
    を有し、
    前記ログフォーマット生成手段は、
    前記区切り文字、前記変換ルール、及び前記ログフォーマット構成情報を前記ログフォーマット生成用知識記憶手段から読み出し、
    前記ログファイルに含まれる全てのログの各々について、前記区切り文字を用いて複数の領域に分割し、前記変換ルールを分割した各領域の文字列に適用して所定の形式に変換し、前記各領域ごとに、変換された前記文字列が前記ログフォーマット構成情報の該当条件を満たすか判断し、満たさないと判断した該当条件に対応する前記種別の情報のログにおける記録位置の候補から該領域を外し、
    残った候補を、前記ログフォーマット構成情報に記述された各種別の情報の、ログにおける記録位置として決定して、該決定した記録位置と該決定した記録位置に対応する種別とを用いて、前記ログフォーマットを新たに生成し、
    前記新たに生成した前記ログフォーマットを前記ログフォーマット記憶手段に記憶し、
    前記フォーマット変換手段は、
    前記ログ収集手段から収集されたログファイルを受け取った際に該ログファイルに適用可能なログフォーマットが前記ログフォーマット記憶手段に記憶されていなかったとき、該ログファイルの出力形式を定義するログフォーマットを、前記ログフォーマット生成手段によって新たに生成し
    記新たに生成された前記ログフォーマットを用いて該ログファイルを前記共通フォーマットに変換することを特徴とするログフォーマット変換装置。
  2. 前記ログフォーマット構成情報の前記該当条件を満たす候補が複数残ったとき、前記ログフォーマット生成手段は、予め設定されたログフォーマット構成情報の位置関係に関する条件に基づいて、前記構成情報の記録位置を決定して前記ログフォーマットを新たに生成することを特徴とする請求項1記載のログフォーマット変換装置。
  3. 前記ログフォーマット記憶手段における前記ログフォーマットの追加・修正・削除を管理するログフォーマット管理手段を有することを特徴とする請求項1又は2記載のログフォーマット変換装置。
  4. 前記ログフォーマット生成用知識記憶手段における前記区切り文字、前記変換ルール、及び前記ログフォーマット構成情報の追加・修正・削除を管理するログフォーマット生成用知識管理手段を有することを特徴とする請求項1から3のいずれか1項記載のログフォーマット変換装置。
  5. コンピュータの稼働状況を示すログファイルを収集するログ収集手段と、各種ログファイルの出力形式を定義したログフォーマットを記憶するログフォーマット記憶手段と、前記ログフォーマット記憶手段に記憶された前記ログフォーマットに基づいて、前記ログ収集手段で収集されたログファイルを所定の共通フォーマットに変換するフォーマット変換手段と、前記フォーマット変換手段によって前記共通フォーマットに変換されたログファイルを記憶する収集ログ記憶手段と、ログを複数の領域に分割する区切り文字、前記複数の領域の各々を所定の形式に変換するための変換ルール、並びに、ログに記録しうる情報の種別及び該種別の該当条件を種別ごとに記述したログフォーマット構成情報を記憶するログフォーマット生成用知識記憶手段と、を備えるログフォーマット変換装置のログフォーマット変換方法において、
    前記ログ収集手段から収集されたログファイルを受け取った際に該ログファイルに適用可能なログフォーマットが前記ログフォーマット記憶手段に記憶されていなかったとき、
    前記区切り文字、前記変換ルール、及び前記ログフォーマット構成情報を前記ログフォーマット生成用知識記憶手段から読み出す工程と、
    前記ログファイルに含まれる全てのログの各々について、前記区切り文字を用いて複数の領域に分割する工程と、
    前記変換ルールを分割した各領域の文字列に適用して所定の形式に変換する工程と、
    前記各領域ごとに、変換された前記文字列が前記ログフォーマット構成情報の該当条件を満たすか判断する工程と、
    満たさないと判断した該当条件に対応する前記種別の情報のログにおける記録位置の候補から該領域を外し、残った候補を、前記ログフォーマット構成情報に記述された各種別の情報の、ログにおける記録位置として決定して、該決定した記録位置と該決定した記録位置に対応する種別とを用いて、前記ログフォーマットを新たに生成する工程と、
    前記新たに生成された前記ログフォーマットを前記ログフォーマット記憶手段に記憶する工程と、
    前記新たに生成された前記ログフォーマットを用いて該ログファイルを前記共通フォーマットに変換する工程と、
    を有することを特徴とするログフォーマット変換方法。
  6. コンピュータの稼働状況を示すログファイルを収集するログ収集手段と、各種ログファイルの出力形式を定義したログフォーマットを記憶するログフォーマット記憶手段と、前記ログフォーマット記憶手段に記憶された前記ログフォーマットに基づいて、前記ログ収集手段で収集されたログファイルを所定の共通フォーマットに変換するフォーマット変換手段と、前記フォーマット変換手段によって前記共通フォーマットに変換されたログファイルを記憶する収集ログ記憶手段と、ログを複数の領域に分割する区切り文字、前記複数の領域の各々を所定の形式に変換するための変換ルール、並びに、ログに記録しうる情報の種別及び該種別の該当条件を種別ごとに記述したログフォーマット構成情報を記憶するログフォーマット生成用知識記憶手段と、を備えるログフォーマット変換装置に用いられるログフォーマット変換プログラムにおいて、
    前記ログ収集手段から収集されたログファイルを受け取った際に該ログファイルに適用可能なログフォーマットが前記ログフォーマット記憶手段に記憶されていなかったとき、
    コンピュータに、
    前記区切り文字、前記変換ルール、及び前記ログフォーマット構成情報を前記ログフォーマット生成用知識記憶手段から読み出す処理と、
    前記ログファイルに含まれる全てのログの各々について、前記区切り文字を用いて複数の領域に分割する処理と、
    前記変換ルールを分割した各領域の文字列に適用して所定の形式に変換する処理と、
    前記各領域ごとに、変換された前記文字列が前記ログフォーマット構成情報の該当条件を満たすか判断する処理と、
    満たさないと判断した該当条件に対応する前記種別の情報のログにおける記録位置の候補から該領域を外し、残った候補を、前記ログフォーマット構成情報に記述された各種別の情報の、ログにおける記録位置として決定して、該決定した記録位置と該決定した記録位置に対応する種別とを用いて、前記ログフォーマットを新たに生成する処理と、
    前記新たに生成された前記ログフォーマットを前記ログフォーマット記憶手段に記憶する処理と、
    前記新たに生成された前記ログフォーマットを用いて該ログファイルを前記共通フォーマットに変換する処理と、
    を実行させることを特徴とするログフォーマット変換プログラム。
JP2006073367A 2006-03-16 2006-03-16 ログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラム Expired - Fee Related JP4483807B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006073367A JP4483807B2 (ja) 2006-03-16 2006-03-16 ログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006073367A JP4483807B2 (ja) 2006-03-16 2006-03-16 ログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラム

Publications (2)

Publication Number Publication Date
JP2007249694A JP2007249694A (ja) 2007-09-27
JP4483807B2 true JP4483807B2 (ja) 2010-06-16

Family

ID=38593905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006073367A Expired - Fee Related JP4483807B2 (ja) 2006-03-16 2006-03-16 ログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラム

Country Status (1)

Country Link
JP (1) JP4483807B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4873185B2 (ja) * 2008-02-07 2012-02-08 日本電気株式会社 監査ログ生成システム及び方法
JP2010165141A (ja) * 2009-01-15 2010-07-29 Kyowa Exeo Corp テキストログからの特定箇所抽出方法およびプログラム
WO2013136418A1 (ja) * 2012-03-12 2013-09-19 株式会社日立製作所 ログ管理計算機、及びログ管理方法
JP5988447B2 (ja) 2014-08-28 2016-09-07 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation ログメッセージのフォーマットを推定する方法、並びに、その為のコンピュータ及びコンピュータ・プログラム
CN104268167A (zh) * 2014-09-10 2015-01-07 北京优特捷信息技术有限公司 一种处理时间序列数据的方法及装置
WO2017081865A1 (ja) * 2015-11-13 2017-05-18 日本電気株式会社 ログ分析システム、方法、及び記録媒体
JP7006272B2 (ja) * 2015-11-13 2022-01-24 日本電気株式会社 ログ分析システム、方法およびプログラム
JP6965748B2 (ja) * 2015-11-17 2021-11-10 日本電気株式会社 ログ分析システム、方法およびプログラム
JP6926938B2 (ja) * 2017-10-23 2021-08-25 セイコーエプソン株式会社 印刷装置、及び印刷装置の制御方法
KR102055706B1 (ko) * 2019-02-07 2019-12-13 주식회사 이디엄 개인 정보 처리와 관련한 로그 데이터 생성 방법 및 그 로그 데이터를 이용한 개인정보 유출 탐지 방법
CN112702445B (zh) * 2019-10-23 2023-04-07 中盈优创资讯科技有限公司 基于dns响应数据报文的递归日志提取方法及装置
CN111832260B (zh) * 2020-05-26 2024-03-26 国电南瑞南京控制系统有限公司 一种syslog日志到电力系统通用告警日志的转换方法

Also Published As

Publication number Publication date
JP2007249694A (ja) 2007-09-27

Similar Documents

Publication Publication Date Title
JP4483807B2 (ja) ログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラム
JP5126541B2 (ja) 情報分類装置、情報分類方法、及び情報分類プログラム
JPWO2019202711A1 (ja) ログ分析システム、ログ分析方法及びプログラム
JP7054051B2 (ja) ソフトウェアロボット定義情報生成システム、ソフトウェアロボット定義情報生成方法、及びプログラム
CN113688288B (zh) 数据关联分析方法、装置、计算机设备和存储介质
CN110941629A (zh) 元数据处理方法、装置、设备及计算机可读存储介质
JP2017045080A (ja) 業務フロー仕様再生方法
JP2017045238A (ja) 情報処理システム、情報処理装置、及び情報処理方法
TW201730786A (zh) 執行以時間序列資料與分析資料當中的至少一部分作為輸入資料之分析處理的分析系統及分析方法
CN111581057B (zh) 一种通用日志解析方法、终端设备及存储介质
JP5423427B2 (ja) 情報管理プログラム、情報管理装置、および情報管理方法
CN110187385B (zh) 地震数据获取方法、地震数据处理方法及装置
JP2006099249A (ja) 障害管理装置および障害管理方法
JP2007200047A (ja) アクセスログ表示システムおよび方法
JP6142878B2 (ja) 情報システムの性能評価装置、方法およびプログラム
JP2007133632A (ja) セキュリティポリシー設定方法及びプログラム
US8775528B2 (en) Computer readable recording medium storing linking keyword automatically extracting program, linking keyword automatically extracting method and apparatus
JP2009134535A (ja) ソフトウェア開発支援装置、ソフトウェア開発支援方法及びソフトウェア開発支援プログラム
JP5718256B2 (ja) システム性能解析装置、システム性能解析方法、およびシステム性能解析プログラム
JP2012088857A (ja) ログ情報収集システム、ログ情報収集方法、及びログ情報収集プログラム
US12001324B2 (en) Operation pattern generation apparatus, operation pattern generation method and program
CN116303296B (zh) 一种数据存储方法、装置、电子设备及介质
JP7021401B1 (ja) ロギング支援装置、ロギングシステム、ロギング支援方法及びプログラム
EP2608057A1 (en) Computer-implemented system for analyzing an instance of a process
JP2006309536A (ja) ファイル管理プログラム、及びファイル管理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100315

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees