JP5136200B2 - ログ記録システム - Google Patents

Description

本発明は、複数のサーバのログ情報を記録するログ記録システムに関する。

図１７は、従来のログ記録システムの構成例を示している。このログ記録システムでは、クライアント端末１１がサーバ１２に処理要求を送信し、サーバ１２は処理要求をサーバ１３に転送し、サーバ１３は要求された処理を実行する。そして、サーバ１３からの処理結果は、サーバ１２を経由してクライアント端末１１に返送される。クライアント端末１１による処理要求の送信から処理結果の受信までの一連の処理は、１つのトランザクションとして定義される。

このとき、サーバ１２及び１３は互いに連携して１つのトランザクションを実行するが、それぞれのサーバにおける処理のログ情報は、ログファイル１４及び１５にサーバ毎に記録される。

ログ情報を取得する複数のサーバとそのログ情報を収集蓄積する収集蓄積制御装置からなり、収集蓄積制御装置が、各サーバから受信したログ情報を時系列に蓄積するシステムも知られている（例えば、下記の特許文献１を参照）。
特開２００１−０２７９９０号公報

上述した従来のログ記録システムには、次のような問題がある。
複数のサーバが互いに連携してトランザクションを実行するシステムにおいて、各サーバのシステム時計が同期していることは少ない。各サーバのシステム時計に差異がある場合、ログ情報がサーバ毎に記録されていると、１つのトランザクションに関連する各サーバのログ情報の記録順序が、実際の処理順序と一致しない可能性がある。

例えば、図１７のサーバ１２が処理要求を受信した時刻が１２時２０分とログファイル１４に記録され、サーバ１３が処理結果を送信した時刻が１２時１８分とログファイル１５に記録されることが考えられる。この場合、サーバ１２の処理がサーバ１３の処理より後に実行されているかのようなログファイルが生成されることになる。

このようなシステムにおいて障害が発生した場合、障害調査においては、ログファイルを参照してそれぞれの処理の前後関係を把握することが非常に重要である。しかし、サーバ毎にログ情報が記録されている環境では、処理の前後関係を把握することが難しく、障害箇所の発見に手間が掛かってしまうという問題がある。

本発明の課題は、複数のサーバが互いに連携してトランザクションを実行するシステムにおいて、トランザクションに関する複数のログ情報を実際の処理順序と一致する記録順序で記録することである。

開示のログ記録システムは、トランザクションを連携して実行し、そのトランザクションに関するログ情報を収集する複数のログ収集サーバと、ログ情報を記録するログ管理サーバとを有する。

各ログ収集サーバは、付加手段と送信手段を備える。付加手段は、上記トランザクションのトランザクション識別情報と、複数のログ収集サーバ間の処理順序を示す順序情報を収集したログ情報に付加する。送信手段は、トランザクション識別情報及び順序情報が付加されたログ情報をログ管理サーバに送信する。

ログ管理サーバは、受信手段と記録手段を備える。受信手段は、複数のログ収集サーバからログ情報を受信する。記録手段は、受信したログ情報に付加されたトランザクション識別情報及び順序情報に基づいて、複数のログ収集サーバから受信した複数のログ情報を、それらのログ収集サーバ間の処理順序で記録する。

１つのトランザクションを連携して実行する複数のログ収集サーバ間の処理順序を示す順序情報を各ログ情報に付加してログ管理サーバに送信することで、それらのログ収集サーバ間の処理順序に従ってログ情報を並べ替えることができる。したがって、ログファイルにおけるトランザクションの処理順序が保証される。

複数のサーバが互いに連携してトランザクションを実行するシステムにおいて、トランザクションに関する複数のログ情報が実際の処理順序と一致する記録順序で記録される。

以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
実施形態のログ記録システムは、サーバ毎に生成されたログ情報を１台のログ管理サーバに集約し、トランザクションの処理順序を保証したログファイルを生成する。より具体的には、次のような処理を行う。
（１）トランザクションの開始を契機として、トランザクションを一意に識別する識別情報（トランザクションＩＤ）を生成する。
（２）１つのトランザクションを連携して実行するサーバ間の処理順序を示す順序情報（ログ出力区分）を生成する。
（３）各サーバが出力するログ情報に対して、トランザクションＩＤと、ログ出力区分と、ログ出力順序を保証するシーケンス番号を付加する。
（４）ログ情報に付加された情報に従ってログ情報を並べ替え、ログファイルに出力する。

図１は、実施形態のログ記録システムの構成例を示している。このログ記録システムは、ログ管理サーバ１０１及びログ収集サーバ１０２−１〜１０２−３を備える。ログ管理サーバ１０１は、シーケンス受信部１１１、再送要求部１１２、ログ監視部１１３、シーケンス管理部１１４、シーケンスマップ１１５、及びログファイル１１６を備える。各ログ収集サーバ１０２−ｉ（ｉ＝１，２，３）は、ログメッセージ送信部１２１−ｉ、ログメッセージ再送部１２２−ｉ、及び送信メッセージリスト１２３−ｉを備える。

ログメッセージ送信部１２１−ｉは、ログ収集サーバ１０２−ｉの処理において発生するログメッセージをログ管理サーバ１０１に送信し、送信したログメッセージを送信メッセージリスト１２３−ｉに登録する。シーケンス受信部１１１は、ログメッセージを受信してログ監視部１１３に転送し、そのログメッセージをシーケンスマップ１１５に登録する。

再送要求部１１２は、シーケンスマップ１１５を参照して、未到達のログメッセージの再送要求をログ収集サーバ１０２−１〜１０２−３に送信する。再送要求を受信したログ収集サーバ１０２−ｉのログメッセージ再送部１２２−ｉは、要求されたログメッセージを送信メッセージリスト１２３−ｉから取得し、ログ管理サーバ１０１に再送する。

シーケンス管理部１１４は、シーケンスマップ１１５を参照して、ログ収集サーバ１０２−１〜１０２−３からのログメッセージを、発生順にログファイル１１６に出力する。ログ監視部１１３は、ログ収集サーバ１０２−１〜１０２−３からのログメッセージを監視し、各ログ収集サーバが正常か否かを判断する。

ログ収集サーバ１０２−１〜１０２−３は、例えば、Ｗｅｂサーバとアプリケーション（ＡＰ）サーバに分類される。
図２に示すように、Ｗｅｂサーバ２０２は、クライアント端末２０１からの処理要求を受け付けてＡＰサーバ２０３に転送し、ＡＰサーバ２０３は、例えば、人事管理、財務、保険のような各種業務用のアプリケーションプログラムを実行し、表計算等の処理を行う。そして、ＡＰサーバ２０３からの処理結果は、Ｗｅｂサーバ２０２を経由してクライアント端末２０１に返送される。このように、Ｗｅｂサーバ２０２とＡＰサーバ２０３は互いに連携して１つのトランザクションを実行する。

次に、図３から図１４までを参照しながら、図１のログ記録システムの動作をより詳細に説明する。
図３は、ログメッセージ送信処理のフローチャートである。ログメッセージ送信部１２１−ｉは、発生したログメッセージに、トランザクションＩＤ、ログ出力区分、及びログ出力区分毎のシーケンス番号を付加する（ステップ３０１）。

トランザクションＩＤとしては、例えば、業務ＩＤが使用される。ログ出力区分は、ログ収集サーバ１０２−１〜１０２−３から出力されるログメッセージの区分であり、１つのトランザクションにおいて処理を実行するサーバが切り替わる度に変更される。

図２の例では、最初にログ出力区分が付与されるのは、クライアント端末２０１からＷｅｂサーバ２０２に処理要求が送信されたときである。以後、Ｗｅｂサーバ２０２が送信するログメッセージには、ログ出力区分“１”が付加される。

次にログ出力区分が付与されるのは、Ｗｅｂサーバ２０２における処理が終了し、Ｗｅｂサーバ２０２からＡＰサーバ２０３に処理要求が送信されたときである。以後、ＡＰサーバ２０３が送信するログメッセージには、ログ出力区分“２”が付加される。

最後にログ出力区分が付与されるのは、ＡＰサーバ２０３における処理が終了し、ＡＰサーバ２０３からＷｅｂサーバ２０２に処理結果が送信されたときである。以後、Ｗｅｂサーバ２０２が送信するログメッセージには、ログ出力区分“３”が付加される。

このようなログ出力区分をログメッセージに付加することにより、ログ収集サーバ１０２−１〜１０２−３の間の処理順序を判別することが可能になる。さらに、各ログ出力区分に属する複数のログメッセージに対して一連のシーケンス番号を付加することで、各ログ収集サーバ１０２−ｉ内の処理順序についても判別することが可能になる。

図４は、各ログメッセージに付加されるトランザクションＩＤ、ログ出力区分、及びシーケンス番号の例を示している。
この例では、“業務Ａ”のトランザクションにおいて、Ｗｅｂサーバ２０２が６個のログメッセージを出力している。そのうち、３個のログメッセージにはログ出力区分“１”が付加され、さらにシーケンス番号“１”、“２”、“３”が順に付加されている。そして、残りの３個のログメッセージにはログ出力区分“３”が付加され、さらにシーケンス番号“１”、“２”、“３”が順に付加されている。一方、ＡＰサーバ２０３の３個のログメッセージにはログ出力区分“２”が付加され、さらにシーケンス番号“１”、“２”
、“３”が順に付加されている。

次に、ログメッセージ送信部１２１−ｉは、ログメッセージをログ管理サーバ１０１に送信し、送信したログメッセージを送信メッセージリスト１２３−ｉに登録する（ステップ３０２）。

図５は、ＡＰサーバ２０３の送信メッセージリストの例を示している。この送信メッセージリストには、図４に示したトランザクションＩＤ、ログ出力区分、及びシーケンス番号とともに、ＡＰサーバ２０３の各ログメッセージが登録されている。

図６は、シーケンス受信処理のフローチャートである。シーケンス受信部１１１は、各ログ収集サーバ１０２−ｉから送信されたログメッセージを受信し、そのログメッセージをトランザクションＩＤ、ログ出力区分、及びシーケンス番号とともにシーケンスマップ１１５に書き込む（ステップ６０１）。

このとき、図７に示すように、同一のトランザクションＩＤ及びログ出力区分を有するログメッセージについては、シーケンス番号の昇順にシーケンスマップ１１５に書き込み、そのログ状態には“ＳＫＩＰ”を書き込む。ただし、ログ出力区分“１”及びシーケンス番号“１”を有するログメッセージのログ状態には“ＷＲＩＴＥ”を書き込む。“ＷＲＩＴＥ”は、ログファイル１１６に出力可能な状態を示し、“ＳＫＩＰ”は、ログファイル１１６に出力不可能な状態を示す。

一方、シーケンス番号が昇順にならないログメッセージを受信した場合は、そのログメッセージのエントリの前に未到達のシーケンス番号を有するエントリを追加し、そのログ状態には未到達状態を示す“ＮＵＬＬ”を書き込む。そして、再送要求部１１２に再送要求処理を依頼する。

図７の例では、ログ出力区分“２”及びシーケンス番号“２”を有するログメッセージを受信していない状態で、ログ出力区分“２”及びシーケンス番号“３”を有するログメッセージを受信している。この場合、シーケンス番号が昇順にならないので、ログ出力区分“２”、シーケンス番号“２”、及びログ状態 “ＮＵＬＬ”を有するエントリが追加されている。

次に、シーケンス受信部１１１は、シーケンスマップ１１５のログ状態を変更する（ステップ６０２）。このとき、ログ状態“ＳＫＩＰ”を有する対象エントリと同一のトランザクションＩＤ及びログ出力区分を有し、かつ、対象エントリのシーケンス番号より１だけ小さいシーケンス番号を有するエントリのログ状態を参照する。そして、そのエントリのログ状態が“ＷＲＩＴＥ”であれば、対象エントリのログ状態を“ＳＫＩＰ”から“ＷＲＩＴＥ”に変更する。

図７のログ出力区分“１”及びシーケンス番号“２”を有するエントリの場合、その直前のエントリのログ状態が“ＷＲＩＴＥ”であるため、図８に示すように、ログ状態が“ＳＫＩＰ”から“ＷＲＩＴＥ”に変更される。

さらに、対象エントリのログメッセージがそのログ出力区分における最終メッセージ（ログエンドメッセージ）であれば、次のログ出力区分においてシーケンス番号“１”を有するエントリのログ状態を“ＳＫＩＰ”から“ＷＲＩＴＥ”に変更する。こうして、未到達のログメッセージがない限り、ログ出力区分及びシーケンス番号の昇順にログ状態が“ＷＲＩＴＥ”に変更されていく。

図９は、シーケンス管理処理のフローチャートである。シーケンス管理部１１４は、シーケンスマップ１１５を参照し、同一のトランザクションＩＤ及びログ出力区分を有し、かつ、ログ状態“ＷＲＩＴＥ”を有するログメッセージを、シーケンス番号の昇順にログファイル１１６に書き込む（ステップ９０１）。このとき、ログ状態“ＳＫＩＰ”を有するログメッセージは読み飛ばされる。

次に、最後に書き込んだログメッセージがログエンドメッセージであるか否かをチェックし（ステップ９０２）、それがログエンドメッセージであれば、次のログ出力区分についてステップ９０１の処理を繰り返す。最後に書き込んだログメッセージがログエンドメッセージでなければ、処理を終了する。

図１０は、こうして生成されたログファイル１１６の例を示している。この例では、トランザクションＩＤ、処理を行ったサーバ名、クライアント端末２０１のクライアントＩＤ、及びログメッセージがログファイル１１６に書き込まれている。

このようなシーケンス管理処理によれば、受信したログメッセージがログ出力区分の昇順で、かつ、シーケンス番号の昇順にログファイル１１６に書き込まれる。したがって、ログ収集サーバ１０２−１〜１０２−３の処理速度やシステム時計に差異がある場合でも、トランザクションの処理順序と一致する記録順序で、ログメッセージをログファイル１１６に記録することができる。

こうして、１台のログ管理サーバ１０１にログ収集サーバ１０２−１〜１０２−３のログ情報が集約され、トランザクションの処理順序を保証したログファイル１１６が生成される。これにより、障害発生時に各サーバのログ情報を収集したり、システム時計の差異を考慮したりする必要がなくなり、ログ解析作業の負担が大幅に軽減される。

図１１は、再送要求処理のフローチャートである。再送要求部１１２は、シーケンス受信部１１１又はログ監視部１１３から再送要求処理を依頼されると、シーケンスマップ１１５のログ状態“ＮＵＬＬ”を有するエントリを検索する。そして、そのエントリのログ出力区分に対応するログ収集サーバ１０２−ｉに対して、ログメッセージの再送要求を送信する（ステップ１１０１）。

例えば、図７の例では、ログ状態“ＮＵＬＬ”を有するエントリのログ出力区分は“２”であるため、対応するＡＰサーバに対して再送要求が送信される。
そして、ログ収集サーバ１０２−ｉから要求したログメッセージを受信すると、図１２に示すように、ログ状態を“ＮＵＬＬ”から“ＳＫＩＰ”に変更する（ステップ１１０２）。

図１３は、ログメッセージ再送処理のフローチャートである。ログメッセージの再送要求を受信したログ収集サーバ１０２−ｉのログメッセージ再送部１２２−ｉは、送信メッセージリスト１２３−ｉから、要求されたログメッセージを検索する（ステップ１３０１）。そして、そのログメッセージをログ管理サーバ１０１に再送する（ステップ１３０２）。

このような再送要求処理及びログメッセージ再送処理によれば、ログメッセージが送信前又は送信後に何らかの原因で失われた場合でも、ログ管理サーバ１０１は確実にログメッセージを取得することができる。

図１４は、ログ監視処理のフローチャートである。ログ収集サーバ１０２−１〜１０２−３は、ログ管理サーバ１０１への最初のログメッセージ（処理開始メッセージ）の送信
を契機として、一定間隔で生存確認メッセージの送信を開始する。この生存確認メッセージもログメッセージとしてログ管理サーバ１０１に送信される。

ログ監視部１１３は、ログ収集サーバ１０２−ｉからの処理開始メッセージの受信を契機として、ログ収集サーバ１０２−ｉを監視タイマにより監視する（ステップ１４０１）。そして、一定時間内に生存確認メッセージを受信したか否かをチェックする（ステップ１４０２）。一定時間内に生存確認メッセージを受信すると、監視タイマをリセットし（ステップ１４０３）、ログ収集サーバ１０２−ｉの監視を継続する。

次に、ログエンドメッセージを受信したか否かをチェックし（ステップ１４０４）、ログエンドメッセージを受信していなければ、ステップ１４０２以降の処理を繰り返す。そして、ログエンドメッセージを受信すると、ログ収集サーバ１０２−ｉの監視を終了する。

一方、ステップ１４０２において一定時間内に生存確認メッセージを受信しなかった場合、トランザクション異常と判断し、再送要求部１１２に再送要求処理を依頼する（ステップ１４０５）。

常に送信される生存確認メッセージを監視することで、次のログメッセージ受信を待つことなく、ログ収集サーバ１０２−ｉの異常を直ちに検出して再送要求処理を行うことができる。

なお、図１のログ記録システムは３台のログ収集サーバを備えているが、一般には、ログ記録システム内のログ収集サーバの数は２台以上であればよい。
図１のログ管理サーバ１０１及びログ収集サーバ１０２−１〜１０２−３は、例えば、図１５に示すような情報処理装置（コンピュータ）を用いて構成される。図１５の情報処理装置は、ＣＰＵ１５０１、メモリ１５０２、入力装置１５０３、出力装置１５０４、外部記憶装置１５０５、媒体駆動装置１５０６、およびネットワーク接続装置１５０７を備え、それらはバス１５０８により互いに接続されている。

メモリ１５０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）等を含み、処理に用いられるプログラムおよびデータを格納する。メモリ１５０２に格納されるデータには、シーケンスマップ１１５又は送信メッセージリスト１２３−１〜１２３−３が含まれる。ＣＰＵ１５０１は、メモリ１５０２を利用してプログラムを実行することにより、ログ管理サーバ１０１又はログ収集サーバ１０２−１〜１０２−３の処理を行う。

入力装置１５０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータからの指示や情報の入力に用いられる。出力装置１５０４は、例えば、ディスプレイ、プリンタ、スピーカ等であり、オペレータへの問い合わせや処理結果の出力に用いられる。

外部記憶装置１５０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置１５０５に、プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１５０２にロードして使用する。外部記憶装置１５０５に格納されるデータには、ログファイル１１６が含まれる。

媒体駆動装置１５０６は、可搬記録媒体１５０９を駆動し、その記録内容にアクセスする。可搬記録媒体１５０９は、メモリカード、フレキシブルディスク、光ディスク、光磁
気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。オペレータは、この可搬記録媒体１５０９にプログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１５０２にロードして使用する。

ネットワーク接続装置１５０７は、Local Area Network（ＬＡＮ）等の通信ネットワークに接続され、通信に伴うデータ変換を行う。また、情報処理装置は、必要に応じて、プログラムおよびデータを外部の装置からネットワーク接続装置１５０７を介して受け取り、それらをメモリ１５０２にロードして使用する。

図１６は、図１５の情報処理装置にプログラムおよびデータを提供する方法を示している。可搬記録媒体１５０９や外部装置１６０１のデータベース１６１１に格納されたプログラムおよびデータは、情報処理装置１６０２のメモリ１５０２にロードされる。外部装置１６０１は、そのプログラムおよびデータを搬送する搬送信号を生成し、通信ネットワーク上の任意の伝送媒体を介して情報処理装置１６０２に送信する。ＣＰＵ１５０１は、そのデータを用いてそのプログラムを実行し、上述した処理を行う。

実施形態のログ記録システムの構成図である。 ＷｅｂサーバとＡＰサーバを示す図である。 ログメッセージ送信処理のフローチャートである。 トランザクションＩＤとログ出力区分とシーケンス番号を示す図である。 送信メッセージリストを示す図である。 シーケンス受信処理のフローチャートである。 第１のシーケンスマップを示す図である。 第２のシーケンスマップを示す図である。 シーケンス管理処理のフローチャートである。 ログファイルを示す図である。 再送要求処理のフローチャートである。 第３のシーケンスマップを示す図である。 ログメッセージ再送処理のフローチャートである。 ログ監視処理のフローチャートである。 情報処理装置の構成図である。 プログラムおよびデータの提供方法を示す図である。 従来のログ記録システムの構成図である。

符号の説明

１１、２０１ クライアント端末
１２、１３ サーバ
１４、１５、１１６ ログファイル
１０１ ログ管理サーバ
１０２−１、１０２−２、１０２−３ ログ収集サーバ
１１１ シーケンス受信部
１１２ 再送要求部
１１３ ログ監視部
１１４ シーケンス管理部
１１５ シーケンスマップ
１２１−１、１２１−２、１２１−３ ログメッセージ送信部
１２２−１、１２２−２、１２２−３ ログメッセージ再送部
１２３−１、１２３−２、１２３−３ 送信メッセージリスト
２０２ Ｗｅｂサーバ
２０３ ＡＰサーバ
１５０１ ＣＰＵ
１５０２ メモリ
１５０３ 入力装置
１５０４ 出力装置
１５０５ 外部記憶装置
１５０６ 媒体駆動装置
１５０７ ネットワーク接続装置
１５０８ バス
１６０１ 外部装置
１６０２ 情報処理装置
１６１１ データベース

Claims (1)

1. トランザクションを連携して実行し該トランザクションに関するログ情報を収集する複数のログ収集サーバと、該ログ情報を記録するログ管理サーバとを有するログ記録システムであって、
   各ログ収集サーバは、
   前記トランザクションのトランザクション識別情報と、前記複数のログ収集サーバ間の処理順序を示す順序情報と、前記トランザクションにおいて該ログ収集サーバが収集した複数のログ情報の記録順序を示すシーケンス番号を収集したログ情報に付加する付加手段と、
   前記トランザクション識別情報及び順序情報が付加された前記ログ情報を前記ログ管理サーバに送信する送信手段とを備え、
   前記ログ管理サーバは、
   前記複数のログ収集サーバから前記ログ情報を受信する受信手段と、
   受信したログ情報に付加されたトランザクション識別情報及び順序情報に基づいて、前記複数のログ収集サーバから受信した複数のログ情報を、前記複数のログ収集サーバ間の処理順序で記録する記録手段と、
   受信したログ情報と、該受信したログ情報に付加されたトランザクション識別情報、順序情報、及びシーケンス番号と、ログ状態情報とを含むエントリを格納する第１の格納手段と、
   ログファイルを格納する第２の格納手段とを備え、
   前記記録手段は、同一のトランザクション識別情報及び順序情報を有する複数のログ情報を、出力不可能を示すログ状態情報とともに、シーケンス番号の昇順に前記第１の格納手段に書き込み、各エントリのログ状態情報を出力不可能から出力可能に変更し、同一のトランザクション識別情報及び順序情報を有する最後のログ情報を受信すると、次の順序情報を有する各エントリのログ状態情報を出力不可能から出力可能に変更し、さらに同一のトランザクション識別情報及び順序情報を有し、かつ、出力可能を示すログ状態情報を有する複数のエントリのログ情報を、シーケンス番号の昇順に前記ログファイルに書き込むことを特徴とするログ記録システム。

Images