JP5331585B2 - フォールトトレラントコンピュータシステムおよびフォールトトレラントコンピュータシステムにおける方法 - Google Patents

Description

本発明は、フォールトトレラントコンピュータシステムおよびフォールトトレラントコンピュータシステムにおける方法に関する。

特許文献１は、種々のデータ形式により記録されているログ情報を汎用ログフォーマットという中間形式に変換することにより、ログファイル中に偏在していたログ情報を時刻情報を基準として統合する技術を開示している。

特開２００１−３５６９３９号公報

ネットワークを介して接続された複数の処理ノードにより構成されるフォールトトレラントコンピュータシステムにおいて、ユーザがシステムの保守、障害原因解析等の作業を行うためにログを参照する場合、システム内の複数のノードを跨いでの一連の実行処理を追跡するために、個々のノードに個別に蓄積されているログの中から該当するレコードを抽出して並べて参照する必要がある。

また、同じ処理を並列実行する複数のノードに対して、同一事象に関するログレコードを各ノードから抽出し、比較参照する必要がある。特に前記複数のノードでの同じ処理の並列実行はフォールトトレラントコンピュータシステムの信頼性を維持するために重要であり、並列実行不可となることがシステムに発生し得る障害として深刻であり、該障害に対する容易な原因解析及び迅速な復旧が求められる。

しかしながら、特許文献１記載の技術では、上述した課題を解決することが出来ない。ネットワークを介して接続された複数の処理ノードにより構成されるフォールトトレラントコンピュータシステムでは、システムを構成する個々のノード間で時刻が正確に一致していないため、時刻情報を基準にレコードを並べたり、個々のノード間で並列処理された同一事象に関するレコードを抽出することが出来ないからである。

また、特許文献１記載の技術は、そもそも単一のコンピュータもしくは構成するノード間で時刻が一致するコンピュータシステムを想定したものであり、フォールトトレラントコンピュータシステムを想定したものでもない。

上記課題を解決するため、本発明は以下の構成を備える。即ち、ネットワークを介して接続された複数の処理ノードと複数の処理ノードのログを取得する保守ノードとを備えるフォールトトレラントコンピュータシステムにおける方法であって、複数の処理ノードが、同一の処理を並行して実行するステップと、複数の処理ノードが、同一の処理のログをネットワークを介して保守ノードへ送信するステップと、保守ノードが、複数の処理ノードにおいて実行された同一の処理のログをネットワークを介して受信するステップと、保守ノードが、複数の処理ノードにおける同一の処理のログをそれぞれ紐付けるステップと、保守ノードが、ユーザ端末からログの要求を受けたとき、同一の処理として紐付けられたログをユーザ端末に送信する。

また、ネットワークを介して接続された複数の処理ノードと複数の処理ノードのログを取得する保守ノードとを備えるフォールトトレラントコンピュータシステムであって、複数の処理ノードが、同一の処理を並行して実行し、複数の処理ノードが、同一の処理のログをネットワークを介して保守ノードへ送信し、保守ノードが、複数の処理ノードにおいて実行された同一の処理のログをネットワークを介して受信し、保守ノードが、複数の処理ノードにおける同一の処理のログをそれぞれ紐付け、保守ノードが、ユーザ端末からログの要求を受けたとき、同一の処理として紐付けられたログをユーザ端末に送信する。

本発明によれば、ユーザによる保守、障害解析等の作業の効率化を図ることが出来る。

フォールトトレラントコンピュータシステムにおける分散ログ統合方法の概要を示す図である。 フォールトトレラントコンピュータシステムの概要を示す図である。 フォールトトレラントコンピュータシステムにおける分散ログ統合方法の実施形態を示す図である。 フォールトトレラントコンピュータシステムにおける分散ログ統合方法を実施する上での、フォールトトレラントコンピュータシステムを構成する複数のノード間での全体処理シーケンスを示す図である。 ログ収集、蓄積及びユーザへの提示等の処理を行う保守ノードのモジュール構成を示す図である。 外部からの要求に対する処理等を実行する処理ノード及びゲートウェイのモジュール構成を示す図である。 保守ノードにおいて管理される蓄積ログデータ管理テーブルの構成を示す図である。 保守ノードにて、各ノードより収集したログに対して、外部システムからの入力受付時のフォールトトレラントコンピュータシステム内のノードを跨いでの処理発生順序に並べるための紐付けの方法の概要を示す図である。 保守ノードにて、各ノードより収集したログに対して、同じ処理を並列実行する複数の処理ノード間で同一事象に関するログレコードの紐付けの方法の概要を示す図である。 処理ノードにて、蓄積していたログを取得し、保守ノードに送信する処理の流れを示すフローチャートである。 保守ノードにて、各処理ノードからログを収集し、統合及び加工、ユーザへの提示の処理の流れを示すフローチャートである。 ノードを跨いで処理発生順に陳列したログを、ユーザに対して提示するための、画面表示例を示す図である。 同じ処理を並列実行する複数の処理ノード間で紐付けた、同一事象に関するログレコードを、複数の処理ノード分だけ並列に並べて、ユーザに対して提示するための、画面表示例を示す図である。 同じ処理を並列実行する複数の処理ノード間で紐付けた、同一事象に関するログレコードに関してデータ内容に比較結果を、ユーザに対して提示するための、画面表示例を示す図である。

本発明の実施形態においては、ネットワークを介して相互接続した複数の独立したノードにより構成され、構成する各ノードにおいて同じ処理を並列実行させるフォールトトレラントコンピュータ（Ｆａｕｌｔ Ｔｏｌｅｒａｎｔ Ｃｏｍｐｕｔｅｒ）システムを例として説明する。ここでは、ユーザがシステムの保守、障害原因解析等の作業を行う場合に、システムを構成する各ノードにて処理の実行に伴い発生する各種のログを収集し、ユーザに提示するログを統合することを基本的な考え方として説明する。

ログは、例えばＯＳ、ミドルウェア、ユーザプログラム等が各々の処理ステップにおいて、処理結果や状態等に応じて逐次出力するデータであり、１つの事象に関するレコードが１つ以上集まったものである。個々のノードにおいて個別の形式にてメモリ、ハードディスク等に蓄積される。

図１は、本発明の実施形態によるフォールトトレラントコンピュータシステムにおける分散ログの統合方法の概要を示す図である。

主な構成要素は、外部システムからの入力メッセージをフォールトトレラントコンピュータシステムの内部へ転送し、フォールトトレラントコンピュータシステムの内部からのメッセージを集約し外部システムへ転送するゲートウェイ０２１３、同じ処理を並列実行する複数の処理ノード０２１２ａ、０２１２ｂ、０２１２ｃである。ゲートウェイ０２１３では処理実行に伴い、ログ０１１０、０１２０及び０１８０、０１９０、０１００が発生する。処理ノード０２１２ａでは処理実行に伴い、ログ０１３０、０１４０、０１５０、０１６０、０１７０が発生する。処理ノード０２１２ｂでは処理実行に伴い、ログ０１３１、０１４１、０１５１、０１６１、０１７１が発生する。処理ノード０２１２ｃでは処理実行に伴い、ログ０１３２、０１４２、０１５２、０１６２、０１７２が発生する。フォールトトレラントコンピュータシステムでは、ゲートウェイ０２１３及び処理ノード０２１２ａ、０２１２ｂ、０２１２ｃでは時刻は完全には一致しておらず、同じ処理を並列実行する複数の処理ノード０２１２ａ、０２１２ｂ、０２１２ｃでも全ての処理を完全に実行タイミングを合わせられるわけではない。

本実施形態によると、フォールトトレラントコンピュータシステム内のノードを跨いで処理発生順に紐付けてログを並べる。例えば処理の進捗に従ってゲートウェイ０２１３及び処理ノード０２１２ａからのログ０１１０、０１２０、０１３０、０１４０、０１５０、０１６０、０１７０、０１８０、０１９０、０１００が紐付けて並べられる。つまり、ログ０１１０、０１２０、０１３０、０１４０、０１５０、０１６０、０１７０、０１８０、０１９０、０１００が処理発生順に並べて紐付けられる。ここでの紐付け方法の詳細は図８で後述する。

また本実施形態によると、同じ処理を並列実行する複数の処理ノード０２１２ａ、０２１２ｂ、０２１２ｃの間で、時刻情報が一致していなくとも同一事象に関するログを互いに紐付ける。例えば処理ノード０２１２ａ、０２１２ｂ、０２１２ｃからのログ０１３０と０１３１と０１３２、ログ０１４０と０１４１と０１４２、ログ０１５０と０１５１と０１５２、ログ０１６０と０１６１と０１６２、ログ０１７０と０１７１と０１７２はそれぞれ同一事象に関するログとして紐付けられる。つまり、各処理ノードにおける同一事象に関するログがそれぞれ紐付けられる。ここでの紐付け方法の詳細は図９で後述する。

図２は、ネットワーク（通信媒体）を介して相互接続した、複数の独立したノードにより構成され、構成する各ノードにおいて同じ処理を並列実行させることによるフォールトトレラントコンピュータシステムの概要を示す図である。

本フォールトトレラントコンピュータシステム０２０１の主な構成要素は、ＬＡＮ０２１４を介して相互接続する、ログ収集、蓄積及びユーザへの提示等の処理を行う保守ノード０２１１、２つ以上の処理ノード０２１２、広域ネットワーク０２０３に接続し外部システムとの通信の中継を行うゲートウェイサーバ０２１３、等である。

フォールトトレラントコンピュータシステム０２０１は、広域ネットワーク０２０３を介して通信可能な外部システム０２０４からの要求を受け付けて、該要求に対する処理を実施し、処理結果を応答として該外部システム０２０４に返信することによるサービスを提供する。ここでは外部システム０２０４からの要求として入力メッセージ０２３１を受信し、該要求に対する処理結果を格納した出力メッセージ０２４１を外部システム０２０４に対して送信する。

フォールトトレラントコンピュータシステム０２０１の内部では、広域ネットワーク０２０３を介して外部システム０２０４からの要求として入力メッセージ０２３１を受信したゲートウェイサーバ０２１３がＬＡＮ０２１４を介して、システム内の全ての処理ノード０２１２に対して入力メッセージ０２３２として転送し直す。ここでほぼ同時に全ての処理ノード０２１２が該メッセージを受信し、概メッセージに対する処理を開始できるように、入力メッセージ０２３２はブロードキャスト送信する。該入力メッセージ０２３２を受信した各処理ノード０２１２は、各々該入力メッセージ０２３２に対する処理を実行して、処理結果を格納した出力メッセージ０２４２を、ＬＡＮ０２１４を介してゲートウェイサーバ０２１３に対して送信する。各処理ノード０２１２からの出力メッセージ０２４２を受信したゲートウェイサーバ０２１３は要求元の外部システム０２０４への応答として出力メッセージ０２４１を作成し、外部システム０２０４に対して送信する。ここでゲートウェイサーバ０２１３は、各処理ノード０２１２から受信した１つ以上の出力メッセージ０２４２のデータ内容の比較照合、正誤判定等を行い、正しいメッセージデータを出力メッセージ０２４１として、要求元の外部システム０２０４に送信する。前記出力メッセージ０２４２のデータ内容の比較照合、正誤判定では、データ内容が合致するものが最も多い出力メッセージ０２４２が正しいメッセージデータと見なし、前記正しい出力メッセージ０２４２のうちの１つを、外部システム０２０４への出力メッセージ０２４１にする。

保守ノード０２１１では、前記外部システム０２０４からの要求に対して実行するオンライン処理は一切実行しない。前記外部システム０２０４からの要求に対して実行する処理の過程で、各々の処理０２１２及びゲートウェイ０２１３にて発生する各種のログを、保守ノード０２１１へと収集し、蓄積する。なおログ収集に伴う処理は、各々の処理ノード０２１２及びゲートウェイ０２１３におけるオンライン処理に影響を与えないように低負荷で実行する。また前記保守ノード０２１１に収集、蓄積したログは、ユーザ端末０２０２を用いて前記保守ノード０２１１へとログインしてきたユーザにより参照可能である。

保守ノード０２１１の主なハードウェア構成は、処理装置（ＣＰＵ）０２２１、記憶装置（メモリ、ハードディスク）０２２２、通信装置０２２３からなる。記憶装置０２２２には、処理ノード０２１２及びゲートウェイ０２１３からログを収集し、記憶装置０２２２内の指定領域に格納するためのソフトウェアプログラム、処理ノード０２１２及びゲートウェイ０２１３から収集したログの統合及び加工を行い、ユーザに提示するための画面表示等を行うためのソフトウェアプログラム、ＬＡＮ０２１４を介して保守ノード０２１１と処理ノード０２１２との間の通信または保守ノード０２１１とゲートウェイ０２１３との間の通信を行うためのソフトウェアプログラム等が格納され、処理装置０２２１により処理される。また通信装置０２２３は、処理ノード０２１２またはゲートウェイ０２１３からの送信されるログを受信するための通信処理、またはユーザ端末０２０２からのログインに対する画面の入出力等を行うための通信処理を行う。

なお、処理装置（ＣＰＵ）０２２１はハードディスク等の記憶装置０２２２から処理に必要なプログラムを読み出して各処理を実行する。また、記憶装置０２２２や通信装置０２２３の動作を制御する。また、後述する各図面で説明するフローチャートやシーケンス図における保守ノード０２１１の処理は、特段の説明がない限り処理装置（ＣＰＵ）０２２１が実行するものとする。

処理ノード０２１２の主なハードウェア構成は、処理装置（ＣＰＵ）０２２４、記憶装置（メモリ、ハードディスク）０２２５、通信装置０２２６からなる。記憶装置０２２５には、フォールトトレラントコンピュータシステム０２０１により外部システム０２０４に対して提供するサービスを実行する上で必要なデータ、上記サービスに関する外部システム０２０４からの要求に対して処理を実行するためのユーザプログラム、複数の処理ノード０２１２の間での稼動中に同期を実施するためのソフトウェアプログラム、各ソフトウェアプログラムの実行に伴い発生するログを取得し保守ノード０２１１へと送信するためのソフトウェアプログラム、ＬＡＮ０２１４を介して処理ノード０２１２とゲートウェイサーバ０２１３との間の通信または処理ノード０２１２と保守ノード０２１１との間の通信を行うためのソフトウェアプログラム等が格納され、処理装置０２２４により処理される。また通信装置０２２６は、ゲートウェイサーバ０２１３からの入力メッセージ０２３２を受信し、ゲートウェイサーバ０２１３に対して出力メッセージ０２４２を送信するための通信処理を行う。

なお、処理装置（ＣＰＵ）０２２４はハードディスク等の記憶装置０２２５から処理に必要なプログラムを読み出して各処理を実行する。また、記憶装置０２２５や通信装置０２２６の動作を制御する。また、後述する各図面で説明するフローチャートやシーケンス図における処理ノード０２１２の処理は、特段の説明がない限り処理装置（ＣＰＵ）０２２４が実行するものとする。

ユーザ端末０２０２の主なハードウェア構成は、処理装置（ＣＰＵ）、記憶装置（ハードディスク）、通信装置からなる。前記記憶装置には、保守ノード０２１１にログインし、コマンド操作及び操作結果として統合・加工済みのログデータ等の画面表示等を行うためのソフトウェアプログラム、ユーザ端末０２０２と保守ノード０２１１との間の通信を行うためのソフトウェアプログラム等が格納され、前記処理装置により処理される。また前記通信装置は、保守ノード０２１１へのログインに対する画面の入出力等を行うための通信処理を行う。

なお、前記処理装置はハードディスク等の前記記憶装置から処理に必要なプログラムを読み出して各処理を実行する。また、前記記憶装置や前期通信装置の動作を制御する。また、後述する各図面で説明するフローチャートやシーケンス図におけるユーザ端末０２０２の処理は、特段の説明がない限り前記処理装置（ＣＰＵ）が実行するものとする。

図３は、フォールトトレラントコンピュータシステムにおける分散ログ統合方法の実施形態を示す図である。

フォールトトレラントコンピュータシステム０２０１が外部システム０２０４からの要求を受け付けると、該要求に対してゲートウェイ０２１３での処理、ゲートウェイ０２１３から複数の処理ノード０２１２への通信、処理ノード０２１２での処理、各処理ノード０２１２からゲートウェイ０２１３への通信、ゲートウェイ０２１３での処理、外部システム０２０４への通信、という一連の処理が発生する（図中の(1)〜(9)、処理ノード０２１２では(5)(5’)(5’’)(5’’’)が並列実行）。

前記フォールトトレラントコンピュータシステム０２０１を構成する各ノード（０２１２、０２１３）にて実行する処理に伴い発生する各種のログは、保守ノード０２１１へとＬＡＮ０２１４を介して収集し、蓄積する（０３０１）。保守ノード０２１１では、前記収集、蓄積したログを統合、加工して（０３０２）、統合、加工の結果を、ユーザ端末０２０２を介してユーザに提示する（０３０３）。ここではフォールトトレラントコンピュータシステム０２０１におけるノードを跨いでの処理実行順序に各種のログを陳列して表示したり（０３１１）、同じ処理を並列実行する処理ノード０２１２におけるログを並列表示する（０３１２）。

図４は、フォールトトレラントコンピュータシステムにおける分散ログ統合方法を実施する上での、フォールトトレラントコンピュータシステムを構成する複数のノード間での全体処理シーケンスを示す図である。

主な構成要素は、フォールトトレラントコンピュータシステム０２０１を構成する、処理ノード１（０２１２ａ）、処理ノード２（０２１２ｂ）、ゲートウェイ０２１３、保守ノード０２１１及びユーザ端末０２０２である。

図４は処理ノード１（０２１２ａ）にて障害が発生した場合について示している。処理ノード１（０２１２ａ）にて、０４０１において障害発生を検出すると、０４０２において、他のノード（処理ノード２（０２１２ｂ）、ゲートウェイ０２１３、保守ノード０２１１）に対して一斉に、処理ノード１（０２１２ａ）における障害発生を通知する。処理ノード１（０２１２ａ）は、０４０３において、自ノードにて蓄積している自ノードのログデータを取得する。０４０２の障害通知を受信した、処理ノード２（０２１２ｂ）、ゲートウェイ０２１３でも、蓄積している各ノードのログデータを取得する（０４１１、０４２１）。処理ノード１（０２１２ａ）、処理ノード２（０２１２ｂ）、ゲートウェイ０２１３の各ノードから保守ノード０２１１に対して、取得したログデータを送信する（０４０４、０４１２、０４２２）。保守ノード０２１１では、０４３１において、前記各ノードから送信されたログデータを受信し、０４３２において、該ログデータをディスク等に蓄積する。

ユーザ端末０２０２にて、ユーザの操作により、０４４１において、保守ノード０２１１にログインし、０４４２において、ログ表示に関するコマンドを実行すると、保守ノード０２１１にて前記コマンド入力を受け付け、０４３３において、蓄積したログデータより該当するデータを取得し、０４３４において、コマンドの入力内容に従って、ログデータの統合、加工の処理を実行し、０４３５において、前記処理の実行結果を画面出力する。

図５は、フォールトトレラントコンピュータシステムに含まれ、ログ収集、蓄積及びユーザへの提示等の処理を行う保守ノードのモジュール構成を示す図である。

保守ノード０２１１には、ログの収集・蓄積、統合・加工、ユーザへの提示等の処理を行うログ統合管理部０５０１、収集したログを蓄積するためのハードディスク０５０２が導入される。ログ統合管理部０５０１は、処理装置（ＣＰＵ）０２２１により実行されるソフトウェアプログラムである。

ログ統合管理部０５０１の主な構成要素は、データ通信部０５１５を介して、処理ノード０２１２、ゲートウェイ０２１３から送信されてくるログを受け取り、ハードディスク０５０２へと格納するログ収集・蓄積部０５１１、ユーザからの要求に対してハードディスク０５０２より該当するログデータを取り出し、統合、加工等の処理を行う統合・加工部０５１２、ユーザ端末０２０２からのリモート接続に対して、コマンド入力画面や統合・加工部０５１２の処理結果の出力画面等を提供する画面表示部０５１３、データ通信部０５１５を介してユーザ端末０２０２からのリモート接続を受け付け、画面表示部０５１３に接続する、リモートアクセス受付部０５１４、通信媒体０２１４を介してシステム内の処理ノード０２１１やゲートウェイ０２１３等との間の通信を行うデータ通信部０５１５がある。なおログ収集・蓄積部０５１１はログデータの収集及び蓄積の度に蓄積ログデータ管理テーブル０５２１の更新を行い、統合・加工部０５１２はユーザ要求に対して、蓄積ログデータ管理テーブル０５２１を参照して、該当ログデータを抽出する。ここでハードディスク０５０２に該当データが無い場合、ログ収集・蓄積部０５１１を介して、処理ノード０２１１またはゲートウェイ０２１３から問合せ応答により該当ログデータを取得する。なお、蓄積ログデータ管理テーブル０５２１は図７で後述する。

図６は、フォールトトレラントコンピュータシステムを構成し、外部からの要求に対する処理等を実行する処理ノード及びゲートウェイのモジュール構成を示す図である。

処理ノード０２１２には、ログデータの取得、保守ノード０２１１への送信等の処理を行うログデータ収集部０６０１、外部システム０２０４からの要求に対して各種の処理を行うＯＳ０６０２、ミドルウェア０６０３、ユーザプログラム０６０４、処理ノード０２１２の間でＯＳ０６０２、ミドルウェア０６０３、ユーザプログラム０６０４の処理同期を図るための同期処理制御部０６０５、またＯＳ０６０２、ミドルウェア０６０３、ユーザプログラム０６０４によるログデータの書き込み先であるメモリ０６０６、ハードディスク０６０７が導入される。ログデータ収集部０６０１及び同期処理制御部０６０５は、処理装置（ＣＰＵ）０２２４により実行されるソフトウェアプログラムである。

ログデータ収集部０６０１の主な構成要素は、自ノードのＯＳ０６０２、ミドルウェア０６０３、ユーザプログラム０６０４を監視し、自ノードの障害発生を検出する、もしくはデータ通信部０６１４を介して他の処理ノード０２１２からの障害通知を受信することにより他ノードの障害発生を検出する、障害発生検出部０６１１、障害発生検出部０６１１からの指示等により、メモリ０６０６、ハードディスク０６０７から、ＯＳ０６０２、ミドルウェア０６０３、ユーザプログラム０６０４が出力し蓄積されているログを取得する、ログデータ取得部０６１２、ログデータ取得部０６１２が取得したログデータを、データ通信部０６１４を介して保守ノード０２１１へと転送する、ログデータ転送部０６１３、通信媒体０２１４を介してシステム内の他の処理ノード０２１２やゲートウェイ０２１３、保守ノード０２１１等との間の通信を行う、データ通信部０６１４がある。またログデータ転送部０６１３は、データ通信部０６１４を介して保守ノード０２１１からの問合せ応答によるログデータ要求に対して、ログデータ取得部０６１２を介して取得したログデータを、データ通信部０６１４を介して送信する場合もある。

なおゲートウェイ０２１３の場合のモジュール構成は、前記の図６の構成からユーザプログラム０６０４及び同期処理制御部０６０５を除いたものとなる。

図７は、フォールトトレラントコンピュータシステムに含まれ、ログ収集、蓄積及びユーザへの提示等の処理を行う保守ノードにおいて管理される蓄積ログデータ管理テーブルの構成を示す図である。

蓄積ログデータ管理テーブルの主な構成要素は、ログ種別０７０１、発生元ノード０７０２、収集通番０７０３、収集時刻０７０４、最古レコード時刻０７０５、最新レコード時刻０７０６、最古同期通番０７０７、最新同期通番０７０８、レコード数０７０９、ファイル格納先０７１０である。

ログ種別０７０１には、処理ノード０２１２またはゲートウェイ０２１３から収集したログの種別を示す情報が格納される。発生元ノード０７０２には、収集したログの発生元である、処理ノード０２１２またはゲートウェイ０２１３のいずれかを識別する情報が格納される。収集通番０７０３には、処理ノード０２１２、ゲートウェイ０２１３から保守ノード０２１１へとログを収集する処理が開始される度に加算される通番の値が格納される。収集時刻０７０４には、処理ノード０２１２またはゲートウェイ０２１３から送信された当該ログを保守ノード０２１１が受信した時刻（保守ノード０２１１が有する時計を用いて算出）が格納される。最古レコード時刻０７０５には、収集した当該ログに含まれる１つ以上のログレコードのうち最も古いログレコードに、ログ発生元の処理ノード０２１２またはゲートウェイ０２１３にて付けられた時刻が格納される、最新レコード時刻０７０６には、収集した当該ログに含まれる１つ以上のログレコードのうち最も新しいログレコードに、ログ発生元の処理ノード０２１２またはゲートウェイ０２１３にて付けられた時刻が格納される。最古同期通番０７０７には、収集した当該ログに含まれる１つ以上のログレコードのうち最も古いログレコードに、ログ発生元の処理ノード０２１２にて割り振られた同期通番が格納される。最新同期通番０７０８には、収集した当該ログに含まれる１つ以上のログレコードのうち最も新しいログレコードに、ログ発生元の処理ノード０２１２にて割り振られた同期通番が格納される。レコード数０７０９には、収集した当該ログに含まれるログレコードの件数が格納される。ファイル格納先０７１０には、収集した当該ログの格納先であるファイルパスが格納される。

前記蓄積ログデータ管理テーブルは、処理ノード０２１２、ゲートウェイ０２１３から保守ノード０２１１へとログが収集され、保守ノード０２１１上のハードディクスに格納される度に更新され、ユーザからの要求に対してログを提示する際に参照される。

図８は、フォールトトレラントコンピュータシステムに含まれ、ログ収集、蓄積及びユーザへの提示等の処理を行う保守ノードにて、各ノードより収集したログに対して、外部システムからの入力受付時のフォールトトレラントコンピュータシステム内のノードを跨いでの処理発生順序に並べるための紐付けの方法の概要を示す図である。

主な構成要素は、フォールトトレラントコンピュータシステム０２０１を構成する、ゲートウェイ０２１３及び処理ノード０２１２である。ゲートウェイ０２１３、処理ノード０２１２は同期していないそれぞれ異なる時刻情報を有している（０８０１、０８０２）。複数のノードを跨いで統一的に紐付けるための一元的な情報は存在しない。このため１ノード内、ノード間等の部分的な紐付けの組合せによりフォールトトレラントコンピュータシステム０２０１内のノードを跨いでの処理発生順序に従って、保守ノード０２１１は収集・蓄積する異種かつ複数のログを並べていく。

外部システム０２０４からの入力メッセージ受信後のゲートウェイ０２１３における処理のログに対して保守ノード０２１１は、各種ログ（通信ログ、ログＡ）に一般的に共通して含まれるＰＩＤ（プロセスＩＤ）に着目し、外部システム０２０４からのメッセージ受信のログからＰＩＤが同一のログを、各ログに刻印された時刻０８０１に従って発生順に紐付ける（０８１１、０８１２、０８１３）。

ゲートウェイ０２１３から処理ノード０２１２への通信のログに関して、通信ログは各々個別に記録されるが、保守ノード０２１１は、同一メッセージの送信及び受信に関するログを紐付けるために、メッセージの識別情報及び通番が同一のものを抽出する（０８３１）。

ゲートウェイ０２１３からのメッセージ受信後の処理ノード０２１２における処理のログに対して保守ノード０２１１は、前記ゲートウェイ０２１３の内部処理のログと同様に、各種ログ（通信ログ、ログＢ、ログＣ）からＰＩＤに着目して、ゲートウェイ０２１３からのメッセージ受信のログからＰＩＤが同一のログを、各ログに刻印された時刻０８０２に従って発生順に紐付ける（０８２１、０８２２、０８２３、０８２４、０８２５、０８２６）。ここで処理の過程で実行プロセスの切り替え、新規起動等が発生する場合はそれらのログの参照により対象とするＰＩＤの変化を追跡する。

処理ノード０２１２からゲートウェイ０２１３への通信のログに関して、前記ゲートウェイ０２１３から処理ノード０２１２への通信のログの場合と同様にして、保守ノード０２１１は、同一メッセージの送信及び受信に関するログを紐付ける（０８３２）。

処理ノード０２１２からのメッセージ受信後のゲートウェイ０２１３における処理のログに対して保守ノード０２１１は、前記ゲートウェイ０２１３の内部処理のログまたは処理ノード０２１２の内部処理のログと同様に、各種ログ（通信ログ、ログＡ）からＰＩＤに着目して、処理ノード０２１２からのメッセージ受信のログからＰＩＤが同一のログを、各ログに刻印された時刻０８０１に従って発生順に紐付ける（０８１４、０８１５、０８１６）。

上記のノード内またはノード間での部分的な紐付けの組合せにより保守ノード０２１１は、外部システム０２０４から入力メッセージを受信してから該応答としてのメッセージを外部システム０２０４に送信するまでの、フォールトトレラントコンピュータシステム０２０１におけるノードを跨いでの一連の処理を紐付けることができる。

図９は、フォールトトレラントコンピュータシステムに含まれ、ログ収集、蓄積及びユーザへの提示等の処理を行う保守ノードにて、各ノードより収集したログに対して、同じ処理を並列実行する複数の処理ノード間で同一事象に関するログレコードの紐付けの方法の概要を示す図である。

主な構成要素は、同じ処理（処理１〜４）を並列実行する複数の処理ノード０２１２ａ、０２１２ｂ、０２１２ｃである。処理ノード０２１２ａ、０２１２ｂ、０２１２ｃは同期していないそれぞれ異なる時刻情報を有しており（０９０１、０９０２、０９０３）、処理ノード間で時刻が同一のログレコードが存在したとしても、実際には同時に発生した事象ではない可能性がある。

処理ノード０２１２ａ、０２１２ｂ、０２１２ｃはゲートウェイ０２１３からブロードキャスト送信されるメッセージ０９１１を同時に受信し処理を一斉に開始する。またある特定の処理を開始する際に処理ノード間で開始タイミングの待合わせを行うために同期信号０９１２の送受信を処理ノード間で実施している。ただしこれらは処理ノード間で処理実行タイミングが大きくずれることを回避するためのものであり、処理ノード間で完全にタイミングを合わせて同期実行するためのものではない。

前記の処理ノード０２１２ａ、０２１２ｂ、０２１２ｃの動作内容から、処理実行の過程では、メッセージ受信時や同期信号受信時のように処理ノード間で処理開始の待合わせを実施する同期ポイント０９２１が存在する。同期ポイント０９２１は、処理ノード間である特定の処理の開始タイミングを合わせるためのものであり、処理ノード０２１２にて稼動するユーザプログラムの処理コードに対して、ネットワーク、共有メモリ、ハードディスク等へのＩ／Ｏアクセスの処理、新規プロセス起動等の開始直前に設ける。各処理ノード０２１２では、前記同期ポイントに到達すると処理実行を一時停止し、同期信号０９１２をブロードキャスト送信する。各処理ノード０２１２では他の全ての処理ノード０２１２からの前記同期信号０９１２の受信を確認してから処理を再開する。
ここで同期ポイント０９２１を通過する度に１加算する同期通番０９２２を導入し、各処理ノードのログに対応付ける。ここでは各種ログにおける事象毎の１ログレコードの中に同期通番０９２２を格納する領域を追加し、ログレコードの発生時点での同期通番０９２２の値も当該ログレコード内に記録する、もしくは別途ログレコードと同期通番０９２２との対応テーブルを設け、各ログレコードの識別コードと当該ログレコード発生時点での同期通番０９２２の値とを対応付けて記録するものとする。処理ノード０２１２は保守ノード０２１１に対して、前記同期通番０９２２も格納されたログレコードを送信する、もしくは前記対応テーブルをログレコードとともに送信する。

前記同期通番０９２２で区切られた範囲内では、処理ノード間で同一処理または事象に関するログが含まれているので、当該範囲内で各種ログの個々の識別コード及び当該範囲内での同種のログレコードの発生順序に基づき、同一事象に関するログレコードをノード間で紐付ける。例えば、同期通番０９２２が“n+1”である範囲内では、処理ノード１（０２１２ａ）には０９３２〜０９３５のログが含まれており、処理ノード２（０２１２ｂ）には０９４２〜０９４８のログが含まれている。これらのログから識別コードと各識別コードを有する同種のログレコードの中での発生順序に基づいて、ログ０９３２と０９４２、ログ０９３３と０９４３、ログ０９３４と０９４６、ログ０９３５と０９４８がそれぞれ紐付けられる。なお少なくとも１つの処理ノードのみで発生し、他の処理ノードには同一ログが存在しないログ（例えばエラーログ等）は紐付け無しとして扱う。ログ０９４４、０９４５、０９４７は処理ノード２（０２１２ｂ）のみの紐付け無しログとなる。 図１０は、フォールトトレラントコンピュータシステムを構成し、外部からの要求に対する処理等を実行する処理ノードにて、蓄積していたログを取得し、保守ノードに送信する処理の流れを示すフローチャートである。

１００１において、障害発生を検出する。ここで検出した障害は自ノードで発生したものである場合、１００２において、他ノードへ障害通知を送信する。１００１において、他ノードからの障害通知を受信した場合、１００２の処理は行わない。１００３において、自ノードにて蓄積しているログデータを取得する。ここで取得するログデータは、当該ノードにて蓄積しているログデータのうち、前記障害検出の時点で保守ノード０２１１には未送信である全てのログデータである。１００４において、１００３にて取得したログデータを保守ノードへ送信する。１００５において、障害発生したのは自ノードである場合、正常にノードの処理を終了させるべく、１００６において、終了処理を行う。１００５において、障害発生したのは自ノードでは無い場合、１００１から１００５の処理を繰り返す。

１００４において、処理ノード０２１２における各ログのデータ保有期間の長さ、ログのデータサイズ、実行中のオンライン処理の負荷等に応じて、ログ毎に優先度を決定して当該処理ノード０２１２から保守ノード０２１１への送信処理を行う。例えば、処理ノード０２１２におけるデータ保有期間の終了までの時間が短いログから優先して送信し、データ保有期間の終了までの期間が長いログは、１００３にてログデータ取得後直ちに一斉送信せず、遅延して送信する。もしくは一定間隔毎に分割して送信する（ただしいずれのログもデータ保有期間終了までに送信完了することは保証する）。データサイズの小さいログの送信はオンライン処理と並行実行しても良いが、データサイズの大きいログの送信は、処理負荷増、通信帯域の占有等でオンライン処理に影響を与える可能性があるため、オンライン処理が実行していない期間に実施する。また処理ノード０２１１におけるCPU負荷率を計測し、特にオンライン処理実行中は、CPU負荷率が設定した閾値を超えると、送信処理を中断する、というような制御を実施する。これらにより外部システム０２０４からの入力に対する処理実行に与える影響を最小限にする。

図１１は、フォールトトレラントコンピュータシステムに含まれ、ログ収集、蓄積及びユーザへの提示等の処理を行う保守ノードにて、各処理ノードからログを収集し、統合及び加工、ユーザへの提示の処理の流れを示すフローチャートである。

１１０１において、ユーザ端末０２０２を介してのユーザからのコマンド実行要求を受け付ける。前記コマンドの入力には要求する処理内容、対象とするデータの範囲等が含まれる。１１０２において、１１０１のコマンド入力により指定された範囲内で、保守ノード０２１１のハードディスク０５０２に格納されたログデータより該当データを検索する。１１０３において、１１０２の検索の結果、該当データが無い場合、１１０４において、保守ノード０２１１から処理ノード０２１２、ゲートウェイ０２１３に問い合わせて、該当データを取得する。１１０３において、１１０２の検索の結果、該当データがある場合、１１０４の処理は省略する。１１０５において、１１０１のコマンド入力で指定された処理の要求内容が“処理発生順表示”である場合、１１０６において、１１０２または１１０４により取得したログレコードの中から、送信先ノード（最初はゲートウェイ０２１３）における受信ログ（最初は外部システム０２０４からのメッセージ受信のログ）を抽出する。１１０７において、１１０６で抽出したログレコードとＰＩＤが一致するログレコードを抽出する。１１０８において、１１０７で抽出したログレコードが該当ノードの送信ログ（最初はゲートウェイ０２１３から処理ノード０２１２へのメッセージ送信のログ）でない場合、１１０７の処理を繰り返す。１１０８において、１１０７で抽出したログレコードが該当ノードの送信ログである場合、１１０９において、抽出したログレコードを表示用に配列する。１１１０において、全ノード分（処理実行順にゲートウェイ０２１３、処理ノード０２１２、ゲートウェイ０２１３）のログレコード抽出及び配列が終了していなければ、１１０６〜１１０９の処理を繰り返す。１１１０において、全ノード分のログレコード抽出及び配列が終了した場合、１１１１において、１１１０までの処理結果を画面表示し、終了する。

１１０５において、１１０１のコマンド入力で指定された処理の要求内容が“並列表示”もしくは“比較表示”である場合、１１１２において、１１０２または１１０４により取得したログレコードを同期通番の値により範囲分割する。１１１３において、１１１２にて分割した１つの範囲のログレコードの中から、紐付け情報（図９参照）を参照し、処理ノード間で同一事象のレコードを抽出する。１１１４において、１つの事象に関する全処理ノード分のログレコードの抽出が終了していない場合、１１１３の処理を繰り返す。１１１４において、１つの事象に関する全処理ノード分のログレコードの抽出が終了した場合、１１１５において、１１０１のコマンド入力で指定された処理の要求内容が“比較表示”である場合、１１１６において、１１１３にて抽出した全処理ノード分の同一事象に関するログレコードのデータ内容の比較処理を実施する。１１１５において、１１０１のコマンド入力で指定された処理の要求内容が“並列表示”である場合、１１１６の処理は省略する。１１１７において、１つの同期通番の値による範囲内で全ログレコードに対する処理が終了していない場合、１１１２〜１１１６の処理を繰り返す。１１１７において、１つの同期通番の値による範囲内で全ログレコードに対する処理が終了した場合、１１１８において、抽出したログレコードを表示用に配列する。１１１９において、１１１２で分割した全範囲に関して処理が終了していない場合、１１１２〜１１１８の処理を繰り返す。１１１９において、１１１２で分割した全範囲に関して処理が終了した場合、１１１１において、１１１９までの処理結果を画面表示し、終了する。

１１０７または１１１３において、少なくとも１つの処理ノード０２１２またはゲートウェイ０２１３から収集したログレコードの件数が他の処理ノード０２１２から収集したログレコードの件数を大きく上回る場合、当該処理ノード０２１２またはゲートウェイ０２１３から収集したログレコードの間引きを実施する。特に連続して発生する同一内容のログレコード、同一ログレコードのデータ内容が更新される場合の最新値以外のレコード、当該処理ノード０２１２にのみ含まれるログ、ユーザによる参照頻度の低いログ、等が間引きの対象となる。ここで間引きの対象となったログレコードは加工、画面表示等の対象外となるだけで、格納していたハードディスクからの削除は実施しない。

図１２は、ノードを跨いで処理発生順に陳列したログを、ユーザに対して提示するための、画面表示例を示す図である。

画面表示１２０１は、図８にて示した、外部システムからの入力受付時のフォールトトレラントコンピュータシステム内のノードを跨いでの処理発生順序に並べるための紐付けの方法に基づく処理結果であり、ユーザのコマンド操作に対して図１１に示した処理実行による出力結果として表示する。１２１１に示す開始時刻と終了時刻の間に発生した、外部システムから入力に対して、フォールトトレラントコンピュータシステム内の各ノードにて実行された処理に伴い発生したログを発生順に並べて表示したものであり、表示の１行が１つのログレコードに該当する。各ログレコードに対して、発生元の構成要素（ノード）１２１２、各構成要素でのログの発生時刻１２１３、ログ種別１２１４、ログレコードに含まれるメッセージ１２１５が表示される。

図１３は、同じ処理を並列実行する複数の処理ノード間で紐付けた、同一事象に関するログレコードを、複数の処理ノード分だけ並列に並べて、ユーザに対して提示するための、画面表示例を示す図である。

画面表示１２０２は、図９にて示した、同じ処理を並列実行する複数の処理ノード間で同一事象に関するログレコードの紐付けの方法に基づき、同一事象に関するログレコードを並列表示する結果であり、ユーザのコマンド操作に対して図１１に示した処理実行による出力結果として表示する。１２２１に示す開始時刻と終了時刻の間に、同じ処理を並列実行する複数の処理ノードで実行された処理に伴い発生したログを発生順に並べて表示したものであり、表示の１行が同じ処理を並列実行する複数の処理ノードにおける同一事象に関する１つのログレコードに該当する。各ログレコードに対して、ログ種別１２２２、ログレコードに含まれるメッセージ１２２３、各処理ノードにおける該当ログレコードの、各処理ノードでの発生時刻（１２２４、１２２５、１２２６）、各処理ノードでのログレコードの発生時刻を比較した結果である時間差１２２７が表示される。ここでは各処理ノードでのログレコードの発生時刻の時間差が設定された閾値内に収まっていれば“match”と表示し、時間差が設定された閾値内に収まっていなければ“unmatch”と表示する。

図１４は、同じ処理を並列実行する複数の処理ノード間で紐付けた、同一事象に関するログレコードに関してデータ内容に比較結果を、ユーザに対して提示するための、画面表示例を示す図である。

画面表示１２０３は、図９にて示した、同じ処理を並列実行する複数の処理ノード間で同一事象に関するログレコードの紐付けの方法に基づき、同一事象に関するログレコードのデータ内容の比較処理結果であり、ユーザのコマンド操作に対して図１１に示した処理実行による出力結果として表示する。画面表示１２０３では、同一事象に関するログレコードのうち、処理ノード間でデータ内容に差異があったもの（ただし発生時刻の差異は対象外）のみ表示している。１２３１には、前記処理ノード間でデータ内容に差異のあったログレコードを特定するための識別情報を表示し、１２３２には差異のある２つの処理ノードの間でのデータ内容の比較結果を表示する。なお図中の“TARGET”、“ORIGINAL”はデータ内容比較における比較対象及び比較の参照元を示す。ユーザは、“TARGET”の最後の箇所「００００ ００００ ００００」と“ORIGINAL”の最後の箇所「０ｆｆｆ ０００ｃ ０００１」が一致していないことを容易に確認することできる。

以上のように、本発明の実施形態によれば、フォールトトレラントコンピュータシステムの構成の複雑さや各ノードに搭載されるソフトウェア等の構成の複雑さに関わらず、ユーザによるシステム稼働中の動作状態把握、または障害発生時の早急な原因解析等が容易となり、システム構成等に関する詳細知識を有さなくとも、ユーザによる保守、障害解析等の作業の効率化を図ることができる。

なお、本発明の実施形態について、その実施の形態に基づき具体的に説明したが、これに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

２０１・・・フォールトトレラントコンピュータシステム、０２０２・・・ユーザ端末、０２０３・・・広域ネットワーク、０２０４・・・ＬＡＮ、０２１１・・・保守ノード、０２１２・・・処理ノード、０２１３・・・ゲートウェイサーバ、０２２１・・・処理装置、０２２２・・・記憶装置、０２２３・・・通信装置、０２２４・・・処理装置、０２２５・・・記憶装置、０２２６・・・通信装置。

Claims (13)

1. ネットワークを介して接続された複数の処理ノードと前記複数の処理ノードのログを取得する保守ノードとを備えるフォールトトレラントコンピュータシステムにおける方法であって、
   前記複数の処理ノードが、
   同一の処理を並行して実行するステップと、
   前記複数の処理ノードのそれぞれには、特定の処理の開始タイミングを合わせるための同期ポイントが予め設定されており、前記同期ポイントに到達する度に同期通番を１加算し、前記ログに対応付けるステップと、
   前記同一の処理のログをネットワークを介して保守ノードへ送信するステップと、
   前記保守ノードが、
   前記複数の処理ノードにおいて実行された前記同一の処理のログをネットワークを介して受信するステップと、
   受信した前記ログを前記同期通番の値に基づいて分割するステップと、
   同一の前記同期通番の範囲内において、同一事象のログを抽出するステップと、
   前記同一事象のログの発生順序に基づいて、前記ログ同士をそれぞれ紐付けるステップと、
   前記保守ノードが、ユーザ端末から前記ログの要求を受けたとき、前記同一の処理として紐付けられたログを前記ユーザ端末に送信することを特徴とする方法。
2. 請求項１記載の方法であって、
   前記複数の処理ノードのそれぞれが各処理に対応する同期番号をログに記録し、
   前記保守ノードは、前記同期番号を用いて、それぞれの処理ノードにおける同一の処理のログを紐付けることを特徴とする方法。
3. 請求項１または２記載の方法であって、
   前記複数の処理ノードのそれぞれは、各処理の同期ポイントに到達したとき、同期信号を他の処理ノードに送信し、
   前記複数の処理ノードのそれぞれは、前記他の処理ノードからの同期信号を受信するまで処理の実行を停止することを特徴とする方法。
4. 請求項１から３のいずれか記載の方法であって、
   前記保守ノードは、一の処理ノードにおいてのみ記録され、他の処理ノードにおいて記録されていないログを紐付けないことを特徴とする方法。
5. 請求項１から４のいずれか記載の方法であって、
   前記複数の処理ノードのそれぞれは、それぞれの処理ノードにおけるログの保有期間、
   前記ログのデータサイズに基づいて、前記保守ノードへ前記ログを送信することを特徴とする方法。
6. 請求項１から５のいずれか記載の方法であって、
   前記複数の処理ノードのそれぞれは、オンライン処理が実行されていない期間に前記ログを前記保守ノードへ送信することを特徴とする方法。
7. 請求項１から６のいずれか記載の方法であって、
   前記複数の処理ノードのうち少なくとも１つの処理ノードで障害が発生した場合には、
   前記障害が発生した処理ノードは、その他の処理ノードに対して障害の発生を通知し、
   かつ、前記障害が発生した処理ノードのログを前記保守ノードへ送信し、
   前記その他の処理ノードは、それぞれのログを前記保守ノードへ送信することを特徴とする方法。
8. 請求項１から７のいずれか記載の方法であって、
   前記フォールトトレラントコンピュータシステムは、ネットワークを介して外部装置からの処理要求を受信し、または、ネットワークを介して前記外部装置へ前記処理要求に対する処理結果を送信するゲートウェイ装置を備え、
   前記ゲートウェイ装置は、ネットワークを介して前記外部装置から受信した処理要求を受信し、前記処理要求を前記複数の処理ノードへ送信し、
   前記複数の処理ノードは、前記処理要求に対する処理をそれぞれ並行して実行し、前記実行した処理結果を前記ゲートウェイ装置へそれぞれ送信し、
   前記ゲートウェイ装置は、前記複数の処理ノードから受信した各処理ノードで実行された処理結果を照合し、正常とみなした処理結果を前記外部装置へネットワークを介して送信することを特徴とする方法。
9. 請求項８記載の方法であって、
   前記ゲートウェイ装置は、前記外部装置から受信した処理要求を前記処理要求に対応する識別情報とともに前記処理ノードへ送信し、かつ、前記ゲートウェイ装置で実行された処理のログと前記処理ノードへの送信及び前記外部装置からの受信のログを前記ゲートウェイ装置における処理に対応する識別情報及び前記処理の実行時刻情報とともに前記保守ノードへ送信し、
   前記処理ノードは、前記ゲートウェイ装置から受信した処理要求に対する処理を実行するとともに、前記処理ノードで実行された処理のログと前記ゲートウェイ装置との間の送信及び受信のログを前記処理ノードで実行された処理に対応する識別情報及び前記処理の実行時刻情報とともに前記保守ノードへ送信し、
   前記保守ノードは、前記ゲートウェイ装置から受信した処理のログと、前記処理ノードから受信した処理のログを、前記ゲートウェイ装置または前記処理ノードにおける前記識別情報と前記実行時刻情報に従って、前記処理の処理発生順に並べることを特徴とする方法。
10. 請求項８または９記載の方法であって、
    前記保守ノードは、同一の識別情報を有する、前記ゲートウェイ装置から受信した処理のログと前記処理ノードから受信した処理のログとを、前記ゲートウェイ装置または前記処理ノードにおける前記識別情報と実行時刻情報に従って、前記処理の処理発生順に並べることを特徴とする方法。
11. 請求項１から１０のいずれか記載の方法であって、
    前記ユーザ端末は、前記同一の処理として紐付けられたログを画面上に並べて表示することを特徴とする方法。
12. 請求項１から１１のいずれか記載の方法であって、
    前記ユーザ端末は、前記同一の処理として紐付けられたログの比較結果を画面上に表示することを特徴とする方法。
13. ネットワークを介して接続された複数の処理ノードと前記複数の処理ノードのログを取
    得する保守ノードとを備えるフォールトトレラントコンピュータシステムであって、
    前記複数の処理ノードが、同一の処理を並行して実行し、
    前記複数の処理ノードのそれぞれには、特定の処理の開始タイミングを合わせるための同期ポイントが予め設定されており、前記同期ポイントに到達する度に同期通番を１加算し、前記ログに対応付け、
    前記複数の処理ノードが、前記同一の処理のログをネットワークを介して保守ノードへ送信し、
    前記保守ノードが、前記複数の処理ノードにおいて実行された前記同一の処理のログをネットワークを介して受信し、
    前記保守ノードが、受信した前記ログを前記同期通番の値に基づいて分割し、同一の前記同期通番の範囲内において、同一事象のログを抽出し、前記同一事象のログの発生順序に基づいて、前記ログ同士をそれぞれ紐付け、
    前記保守ノードが、ユーザ端末から前記ログの要求を受けたとき、前記同一の処理として紐付けられたログを前記ユーザ端末に送信することを特徴とするフォールトトレラントコンピュータシステム。

Images