JP3649580B2 - 分散コンピュータ・システムのエラーを報告するシステム - Google Patents
分散コンピュータ・システムのエラーを報告するシステム Download PDFInfo
- Publication number
- JP3649580B2 JP3649580B2 JP09114998A JP9114998A JP3649580B2 JP 3649580 B2 JP3649580 B2 JP 3649580B2 JP 09114998 A JP09114998 A JP 09114998A JP 9114998 A JP9114998 A JP 9114998A JP 3649580 B2 JP3649580 B2 JP 3649580B2
- Authority
- JP
- Japan
- Prior art keywords
- error
- processing node
- packet
- hardware
- service packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0784—Routing of error reports, e.g. with a specific transmission path or data flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Multi Processors (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は一般に分散コンピュータ・システムに関し、詳細にはこうしたシステムのハードウェア構成要素を使ってそれらのハードウェア構成要素が検出したエラーを報告することに関する。
【０００２】
【従来の技術】
通常、分散コンピュータ・システムは相互接続ネットワークによって互いに結合されたいくつかのプロセッサを含んでいる。プロセッサのうち１台はコンピュータ・システム内の装置障害を監視するタスクを有する。たとえば、心拍型プロトコルは、システム内の各装置を定期的にポーリングして、それが依然として活動状態にあるかどうか判定する。かつて活動状態にあった装置がもはや活動状態にない場合、プロセッサは装置を検査して、エラーが発生したかどうか突きとめる。すべての装置をポーリングするのに要する時間は、システムのサイズが増大するのに比例して増加する。
【０００３】
障害が検出されると、プロセッサは障害装置と通信して障害の原因を決定し、かつ適当な回復スキームを開始する必要がある。たとえば、相互接続ネットワーク内で障害が発生した場合、プロセッサはそのネットワークと通信して、相互接続ネットワークが捕捉した障害情報を取り出し、かつ適切な回復措置を開始する必要がある。しかし、相互接続ネットワークとプロセッサの間に直接接続が存在する保証はないので、この通信には一般に代替機構が使用される。
【０００４】
【発明が解決しようとする課題】
プロセッサを使用して、このような形で障害情報を探索して取り出し、さらに代替機構を使用して、相互接続ネットワーク内でエラーが発生したときに、障害情報を取り出すのは、望むほど効率がよくない。したがって、対処のためエラーをプロセッサに報告するより効率のよい方法が求められている。詳細には、プロセッサに障害情報を探索させて取り出させる代りに、たとえば相互接続ネットワーク自体が報告を行う機構が求められている。
【０００５】
【課題を解決するための手段】
分散コンピュータ・システムにおけるエラーを報告するシステムを提供することにより、従来技術の欠点が克服され、追加の利点が提供される。このシステムは、エラーが検出されたとき、エラー・メッセージを生成するように適合された、前記分散コンピュータ・システムのハードウェア要素を含んでいる。このハードウェア要素はさらに、このハードウェア要素から分散コンピュータ・システムの第１の指定処理ノードにそのエラー・メッセージを転送するように適合されている。
【０００６】
本発明の他の実施形態では、ハードウェア要素は、交換要素または通信アダプタを含んでいる。
【０００７】
本発明の他の実施形態では、ハードウェア要素はさらに、エラー・メッセージを第１の指定処理ノードが受け取ったとの指示をハードウェア要素が受け取る前に、追加のエラーを収集するように適合されている。
【０００８】
さらに別の例では、ハードウェア要素はさらに、ハードウェア要素からコンピュータ・システムの第２の指定処理ノードにエラー・メッセージを送るように適合されている。
【０００９】
本発明のエラー報告機能により、障害があるかどうか装置を監視する必要がなくなり、経路または経路区間の争奪が軽減される。さらに、本発明のエラー報告機能により、システムが後続のエラー・パケットで混雑することが防止され、システムの残りの部分が正常に動作できるようになる。本発明のエラー報告機能は、ソフトウェアまたは任意のプロセッサ論理ではなくシステム内部のハードウェアを使って実施される。
【００１０】
本発明の技術によってその他の特徴および利点も実現される。本発明のその他の実施形態および態様は本明細書に詳しく記載してあり、特許請求される発明の一部と見なされる。
【００１１】
【発明の実施の形態】
本発明の原理によれば、分散コンピュータ・システムのハードウェア要素がコンピュータ・システムの指定された処理ノードにエラー状態を報告する。ハードウェア要素は、ソフトウェアやプロセッサ論理を必要とせずにエラーを報告する。
【００１２】
本発明の報告機能を組み込みそれを使用する分散コンピュータ・システムの一例を図１に示す。一実施形態においては、分散コンピュータ・システム１００は、インターナショナル・ビジネス・マシーンズ・コーポレイションから提供されるＲＩＳＣシステム／６０００スケーラブルＰＯＷＥＲパラレル・システムであり、相互接続ネットワーク１０４に結合された複数の処理ノード１０２を含んでいる。処理ノードおよび相互接続ネットワークの一例については下記に説明する。
【００１３】
処理ノードは、たとえば、インターナショナル・ビジネス・マシーンズ・コーポレイションから提供されるＲＳ／６０００プロセッサなどのプロセッサ１０６と、たとえばシステム入出力バス１０９を介してプロセッサに結合された通信アダプタ１０８とを含む。通信アダプタは、システム内のあるプロセッサから別のプロセッサに、または相互接続ネットワークからプロセッサに通信を行う際に使用される入出力装置である。通信アダプタの一例は、下記で図６に関してさらに詳しく説明する。
【００１４】
処理ノード１０２は、相互接続ネットワーク１０４に結合され、相互接続ネットワーク１０４は、たとえばインターナショナル・ビジネス・マシーンズ・コーポレイションから提供されるスケーラブルＰＯＷＥＲパラレル交換機（ＳＰ交換機）を含む。相互接続ネットワークの一実施形態については下記で説明するが、デリック・ガーマイヤ（Derrick Garmire）著の白書「IBM POWERparallel Technology Briefing: Interconnection Technologies for High-Performance Computing (RS/6000 SP)」（1996年6月6日）、および同じくデリック・ガーマイヤ著「The RS/6000 SP High-Performance Communication Network」（1996年6月6日）にも記載されている。
【００１５】
相互接続ネットワークは、各プロセッサが同時にメッセージを送受できるように分散コンピュータ・システムのプロセッサを互いに接続する。一実施形態では、相互接続ネットワーク１０４は、１台または複数の交換機１１０を含み、各交換機は処理ノードまたは別の交換機あるいはその両方に結合される。たとえば、図１において、交換機＃１はここでは１次ノードと称する第１処理ノードと、他の１つまたは複数の処理ノードに接続されている。これはさらに、システムのスケーラビリティを高めるために交換機＃２に接続されている。交換機＃２は、交換機＃１と他の少なくとも１つの処理ノード１０２に接続されている。
【００１６】
さらに大きな構成では、システムのスケーラビリティをさらに高めるために、追加レベルの中間交換機をも含めることができる（図２参照）。図２に示した例では、中間交換機２００はフレーム２０４内に位置する交換機２０２に接続されている。各フレームは、交換機２０２の他に、たとえば２〜１６個の処理ノードを含む。中間交換機は交換機を他の交換機に接続するものであって、交換機を処理ノードに接続することはしない。図２に示すように、処理ノードへの接続は、中間交換機２００ではなく交換機２０２によって行われる。
【００１７】
図１に戻ると、一例では、各交換機１１０は複数（たとえば８個）の交換要素１１２を含み、それらは、それに接続された各ノードの接続点および他の交換要素の接続点を提供する。この交換要素の構成により、処理ノード間に複数の経路が得られ、単一の経路または素子が障害を起こしてもノードが相互に分離されなくなる。具体的には、各処理ノードは交換要素への接続を２つ有し、各接続は入出力接続である。
【００１８】
本発明の原理によれば、各交換要素１１２は、たとえば分散コンピュータ・システム１００内の指定された処理ノード（たとえば１次ノード）からその交換要素に転送される交換機初期設定パケットを使って初期設定される。一実施形態では、初期設定サービス・パケットは、このパケットが交換機初期設定パケットであり、したがって交換ネットワーク内の次の段に渡されないことを示すコマンドと、システムの第１の指定処理ノード（たとえば１次ノード）への経路を示す１次経路情報と、第１の指定処理ノードへの第２の経路または第２の指定処理ノード（たとえばバックアップ・ノード）への経路を示す２次経路情報と、交換要素の識別子と、その交換要素に関する、本発明では論じる必要のないその他の様々な初期設定データを含んでいる。
【００１９】
一例では、各交換要素１１２は単一ＣＭＯＳチップ上に集積された８チャネル−８チャネル・パケット経路指定ユニットである。そのようなチップの一実施形態は、米国特許第５５４６３９１号に詳しく記載されている。
【００２０】
交換要素１１２の一実施形態（たとえば交換チップ）についてはまた図３に関して詳しく説明する。一例では、交換要素１１２は、交換要素の各入力ポートごとに１個ずつ、複数の受信モジュール３０２（たとえば８個のモジュール）と、交換要素の各出力ボードごとに１個ずつ、複数の送信モジュール３０４（たとえば８個のモジュール）とを含む。
【００２１】
交換要素１１２はまた、指定された出力ポートが使用可能なとき、パケットが受信モジュールから送信モジュールに直接移動できるようにする、バッファのないクロスバー３０６を含む。さらに、バッファ付き時間多重化８方向ルータを実施した中央待ち行列３０８をも含む。この中央待ち行列３０８は、当該の出力ポートが使用中のとき、受信モジュールからメッセージを受け取って格納する。その後、その当該の送信モジュールから要求があったとき、中央待ち行列３０８はメッセージをその送信モジュールに渡す。
【００２２】
さらに、交換要素１１２は、その動作中に使用されるハードウェア・サービス論理３１０を含む。具体的には、ハードウェア・サービス論理３１０は受信ポートからメッセージを受け取って処理し、交換機の送信モジュールを介してシステムの処理ノードにメッセージを送ることにより動作を確認する。さらに、本発明によれば、ハードウェア・サービス論理３１０は本発明のエラー報告機能を提供する。
【００２３】
本発明のエラー報告機能に使用されるハードウェア・サービス論理の一実施形態を図４に関して詳細に説明する。一例では、下記に述べる機能はハードウェア状態機械を使って実施される。
【００２４】
図４を参照すると、最初に、たとえばパリティ・エラー、巡回冗長検査（ＣＲＣ）エラー、順序エラーなどのエラーを交換要素が検出したかどうか判定する（照会４００）。たとえば、交換要素内の状態機械の現状態を検査して、それが予想される状態にあるかどうか判定することによって、交換要素は順序エラーがあるかどうか検査する。それが予想される状態にない場合は、エラーが発生した訳である。しかし状態が適正な場合は、順序エラーはない。
【００２５】
エラーが検出されなかったときは、流れは照会４００に戻り、予め選択した時間間隔で判定を行うことができる。一方、エラーが検出された場合は、下記に述べるように処理が続行する。
【００２６】
エラー・メッセージが既に送られたかどうか判定を行う（照会４０２）。たとえば、エラーを含むエラー・サービス・パケットが既に交換要素によって指定の処理ノードに送られたかどうか検査を行って判定する。一例では、この判定は、エラー・サービス・パケットが送られたかどうかを示す交換要素内のビットを検査して行う。
【００２７】
エラー・サービス・パケットが送られていないときは、パケットを送るためにたとえば２つのポート、１次ポートおよび２次ポートのアクセスを要求する（ステップ４０６）。ポートの指定は、前述のように初期設定時に交換要素に提供される。アクセスが要求されると、各ポートは肯定応答を送り返し、最初に受信されたポートがメッセージを送出するのに使用される最初のポートとなる。たとえば、１次ポートが肯定応答を送り返した最初のポートである場合（照会４０８）、第１の指定処理ノード（たとえば１次ノード）宛のエラー・サービス・パケットが生成される（ステップ４１０）。
【００２８】
一例では、エラー・サービス・パケットは、開始制御文字、交換要素の初期設定中に提供される、第１の指定処理ノードへの経路を示す経路情報、エラーが発生したことを示すコマンド、初期設定中に提供される交換要素の識別子、どのエラー・ビットが活動状態であるかを示すエラー・データ、データが壊れていないことを確認するために第１の指定ノードにある通信アダプタが使用する検査パターンを含む、巡回冗長検査、および終了制御文字を含んでいる。開始制御文字および終了制御文字は、パケットの開始位置および終了位置を定義し、したがってハードウェアがパケット長やその他類似のタイプの情報を記録する必要はない。
【００２９】
エラー・サービス・パケットの作成に続いて、パケットは標準の送信技術を用いて第１の指定処理ノードに送り出される。第１の指定処理ノードでは、通信アダプタがパケットを受信し、それをバッファし、その処理ノードのプロセッサに渡す。
【００３０】
パケットを１次ポートから送出した後、そのパケットが両方のポートから送出されたかどうか検査して判定する（照会４１２）。パケットが両方のポートから送出されていないときは、流れは、ステップ４０６「ポート間で調停する」に戻る。このとき、交換機は、既にパケットを１次ポートから送出したことを知っており、したがってバックアップ・ポートを選択する（照会４１４）。
【００３１】
その後、エラーを第２の指定処理ノード（たとえば、バックアップ・ノード）に報告するためのエラー・サービス・パケットが生成される（ステップ４１６）。このパケットは、指定経路が１次処理ノードではなくてバックアップ処理ノード宛である点を除き、最初のパケットに関して上述したものと同じ情報を含んでいる。
【００３２】
パケットが両方のポートから送出されると（照会４１２）、流れは照会４００「エラーを検出したか」に戻る。
【００３３】
照会４０２「エラー・パケットが既に送られたか」に戻ると、エラー・パケットが既に送られているときは、そのエラーに対するリセット・サービス・パケットを交換要素が受け取ったかどうか判定が行われる（照会４１８）。一実施形態では、この判定は交換要素が着信サービス・パケットのコマンドを検査することによって行う。
【００３４】
そのコマンドが、リセット・サービス・パケットを受け取っていないことを示すときは、システムがエラー・メッセージであふれないように追加のエラーが収集される（ステップ４２０）。具体的には、リセット・サービス・パケットを受け取るまで、他のエラー・サービス・パケットは交換要素から転送されない。次いで処理は照会４００「エラーを検出したか」に戻る。
【００３５】
照会４１８に戻って、送られたエラー・サービス・パケットに対するリセット・サービス・パケットを受け取った場合は、処理は図５に進む（ステップ４２２）。一実施形態では、図５の機能はハードウェア状態機械を使って実施される。
【００３６】
図５を参照すると、一例では、エラー・パケットを受信した指定ノードの少なくとも１つがリセット・サービス・パケットを生成する。一例では、リセット・サービス・パケットは、それがリセット・パケットであることを示すコマンドおよびリセット・データを含む。リセット・サービス・パケットを生成した後、その指定ノードはエラー・サービス・パケット中で識別された交換要素にそのパケットを送信し、その交換要素はリセット・パケットを受け取ったことを検出する。（ステップ５００）。
【００３７】
リセット・サービス・パケットの受信に続いて、交換要素はそのリセット・データを使って（たとえば、エラー・ビットをリセットすることにより）エラーをリセットし、さらにエラー報告機能をリセットして、別のエラー・パケットが送られるのを禁止する（ステップ５０２）。一例では、この機能は対応するビットをリセットすることによってリセットされる。
【００３８】
次に、リセット・パケットをどのポートに送信するか選択が行われる（ステップ５０４）。１次ポートが最初に選択された（すなわち、最初に要求に肯定応答する）場合（照会５０６）、肯定応答サービス・パケットが生成される（ステップ５０８）。一実施形態では、肯定応答サービス・パケットは、第１の指定処理ノードに対するエラー・サービス・パケットについて上述したのと同じ情報を含んでいる。ただし、エラー・データはステップ４２０（図４）で収集されたすべてのエラーを含む。具体的には、肯定応答サービス・パケットは、開始制御文字、１次ノードへの経路を示す経路情報、それがエラーであることを示すコマンド、交換要素の識別子、収集されたエラー・データのすべて、ＣＲＣ、および終了制御文字を含む。生成された肯定応答サービス・パケットは１次処理ノードに送信される。
【００３９】
パケットが両方のポートから送出されてはいない場合（照会５１０）、処理はステップ５０４「ポート間で調停する」に進む。このときは、２次ポートが選択され（照会５１２）、次いで第２の指定処理ノードに対する肯定応答サービス・パケットが生成される（ステップ５１４）。この場合も、このパケットは、指定経路がバックアップ・ノード宛である点を除き、１次ノードに対する肯定応答について上述したように生成される。
【００４０】
パケットが両方のポートから送出されると、処理は、最後のリセット・パケットに含まれる新しいエラー・メッセージについての照会４１８「リセット・パケットが受信されたか」に進む（ステップ５１６）。
【００４１】
上記の実施形態では、エラー／肯定応答が２つの処理ノードに報告される。これは一例にすぎない。別の実施形態では冗長性が除去され、１つの処理ノードだけにエラー／肯定応答が送られる。さらに別の実施形態では、パケットは必ずしも別の処理ノードに送られず、別の経路を通って同じ処理ノードに送られる。これらの変形形態もその他の実施形態もすべて本発明の範囲および趣旨に含まれる。
【００４２】
上記では、交換要素が分散コンピュータ・システムの１つまたは複数の指定処理ノードに検出済みエラーを報告するための機構について述べたが、別の実施形態では、エラー情報が失われた場合、処理ノードは交換要素にエラー状況パケットを要求することができる。
【００４３】
本発明の別の実施形態では、やはり分散コンピュータ・システムのハードウェア構成要素である通信アダプタがエラーを検出し、１つまたは複数の指定処理ノードに報告する。
【００４４】
通信アダプタの一例については図６に関して詳細に説明し、通信アダプタの報告機能に関連する論理の一実施形態については図７に関して詳細に説明する。
【００４５】
図６を参照すると、一例では、通信アダプタ６００は、バス・インターフェース・ハードウェア論理６０２、送信メッセージ・バッファ６０４、受信メッセージ・バッファ６０６、送信リンク・ハードウェア論理６０８、６１０、および受信リンク・ハードウェア論理６１２、６１４を含む。そのそれぞれについて下記で説明する。
【００４６】
バス・インターフェース・ハードウェア論理６０２は、通信アダプタの残りの構成要素とシステム・バスの間のインターフェースをとる。このシステム・バスは通信アダプタを処理ノード上の対応するプロセッサに接続する。システム・バスは、他のアダプタ構成要素またはプロセッサからエラー情報を受け取り、クリティカルなエラーが検出されたとき、チェック停止エラー信号を送出する。
【００４７】
バス・インターフェースは送信メッセージ・バッファ６０４に結合される。これはバス・インターフェース・ハードウェア論理６０２からメッセージを受け取る。送信メッセージ・バッファ６０４はパケット化されていないメッセージを後で送信するために一時記憶し、エラーを検出した場合はそれをバス・インターフェース・ハードウェア論理６０２に報告する。
【００４８】
送信メッセージ・バッファ６０４は、送信リンク・ハードウェア論理６０８および６１０に結合される。これらは、相互接続ネットワークにメッセージを送信する際に使用される二重ポートである。各送信リンク・ハードウェア論理は、メッセージをパケット化し、バッファし、所与のリンクから相互接続ネットワークに送出する。さらに検出したエラーをバス・インターフェース・ハードウェア論理６０２に報告する。送信リンク・ハードウェア論理が活動状態のチェック停止信号を受信したときは、現状態（たとえば状態機械に記憶されている）に割り込んで、下記で詳しく説明するように、エラー・サービス・パケットを送る。その後、リセットを受け取るまでリンク論理は遊休状態となる。
【００４９】
二重ポート送信リンクに加えて、通信アダプタは、二重ポート受信リンク、すなわち受信リンク・ハードウェア論理６１２および６１４をも含む。受信リンク・ハードウェア論理は、通信アダプタを相互接続ネットワークに接続するリンクからメッセージ・パケットを受け取る。この論理は、受信データを受信メッセージ・バッファ６０６に渡し、エラーをバス・インターフェース・ハードウェア論理６０２に報告する。さらに、チェック停止信号が活動状態の場合、動作を停止する。
【００５０】
受信リンクは受信メッセージ・バッファ６０６に結合され、後者はリンクからデータを受け取り、バス・インターフェース・ハードウェア論理６０２に渡す。また、エラーを検出した場合はそれをバス・インターフェース・ハードウェア論理６０２に報告する。
【００５１】
本発明の原理によれば、通信アダプタは、それに対応するローカル・プロセッサによって初期設定される。たとえば、ローカル・プロセッサは、指定処理ノードへの経路を示す経路情報、アダプタの識別子、および初期設定に必要な他の情報を提供する。アダプタがそれらの情報を受け取ると、それはアダプタのハードウェア記憶エレメントに記憶される。
【００５２】
上述のように、通信アダプタは、クリティカルなエラーを検出した場合それを自発的に１つまたは複数の指定処理ノードに報告し、したがって処理ノードが通信アダプタをポーリングして、エラーが発生したかどうか判定する必要はない。本発明の原理による、このようなエラーを報告するのに使用されるハードウェア論理について、図７に関してさらに説明する。一例では、下記に述べる機能は、通信アダプタの異なる構成要素のハードウェア状態機械を使って実施される。
【００５３】
図７を参照すると、最初に、通信アダプタがクリティカルなエラーを検出したかどうか判定を行う（照会７００）。この判定は、交換要素によるエラーの検出と類似の形で行われる。クリティカルなエラーが検出されなかったときは、再度検査が行われる（照会７００）。しかし、クリティカルなエラーが検出されたときは、通信アダプタが、オフラインになる（たとえば割込み状態に入る）ことによって現動作に割り込む（ステップ７０２）。
【００５４】
続いて、エラー・サービス・パケット（チェック停止パケットとも呼ばれる）が生成され、１つまたは複数の指定処理ノードに送られる（ステップ７０４）。一例では、第１の指定処理ノードに対してエラー・サービス・パケットが生成され、第２の指定処理ノードに対して別のパケットが生成される。各エラー・パケットは、交換要素が生成するエラー・サービス・パケットについて前述したのと同様の情報を含む。たとえば、それぞれ開始制御文字、１次ノードまたは２次ノードへの経路を示す経路情報、エラー・コマンド、アダプタ識別子、エラー・データ、巡回冗長検査、および終了制御文字を含む。
【００５５】
パケットが生成された後、第１の指定処理ノード宛のパケットが指定された１次ポートから送出され、第２の指定処理ノード宛のパケットが指定された２次ポートから送出される（ステップ７０６）。２つのポートの使用により、パケットの１つがシステムを通過して指定ノードの１つに到着する確率、または指定経路の１つを通過する確率が増大する。
【００５６】
その後、通信アダプタは、それ以上エラーが伝播するのを防止するためにリセットされるまで遊休状態に留まる（ステップ７０８）。アダプタがその対応するプロセッサによってリセットされると（照会７１０）、流れは照会７００「エラーが検出されたか」に戻る。
【００５７】
上記の実施形態では、クリティカルなエラーは指定処理ノードに報告される。アダプタによって検出されたクリティカルでないエラーはローカル・プロセッサにのみ報告される。しかし、別の実施形態では、すべてのエラーが指定処理ノードに報告される。
【００５８】
別の実施形態では、交換機構の場合と同様に、エラー・パケットを２つのポートから送出する必要はない。その上、パケットを２つ（以上）の経路を通って同一の処理ノードに送ることもできる。これらその他の実施形態は、特許請求される本発明の範囲および趣旨に含まれる。
【００５９】
本発明のエラー報告機能は、障害がないかどうか装置を監視する必要がなく、その結果、経路または経路区間に対する争奪が軽減される。エラーが検出されると、交換要素またはアダプタによりサービス・パケットを介して報告される。交換要素は追加のエラーを収集するだけで、リセット・サービス・パケットを受信するまではそれを報告しないので、追加のエラー・パケットでシステムがあふれることはない。アダプタはオフラインになり、したがって、システムは後続のエラー・パケットであふれることはなく、システムの残りの部分は正常に機能することができる。
【００６０】
本発明の機構はさらに、障害のある構成要素が報告経路の１つ中にある場合、高度のフォールト・トレラント性を提供する。
【００６１】
本明細書で述べた分散コンピュータ・システムは一例にすぎない。本発明の報告機能は、本発明の趣旨から逸脱することもなく、他のシステム内に組み込むことができ、または他のシステムと共に使用することができ、あるいはその両方が可能である。たとえば、本発明の趣旨から逸脱することなく、異なるアーキテクチャまたはハードウェア構成要素あるいはその両方を使用することができる。さらに、状態機械以外のハードウェア構成要素を使って本発明のハードウェア論理を実施することもできる。
【００６２】
上記のことに加えて、別の実施形態では、検出されたエラーは、エラーの発生回数が閾値に達した後に初めて報告される。閾値に達したとき、本発明の原理に従ってエラーが報告される。
【００６３】
本明細書に示した流れ図は例示的なものにすぎない。それらの図に述べた図やその中に示されたステップ（または動作）には、本発明の趣旨から逸脱せずに、多数の変形例があり得る。たとえば、各ステップを異なる順序で実行することもでき、またステップを追加し、あるいは変更することもできる。これらの変形例はすべて、特許請求される本発明の一部分と見なされる。
【図面の簡単な説明】
【図１】本発明の報告機能を組み込みそれを使用する分散コンピュータ・システムの一例を示す図である。
【図２】本発明の原理による、中間交換機を含む図１の分散コンピュータ・システムの相互接続ネットワークの一実施形態を示す図である。
【図３】本発明の原理による交換要素の一例を示す図である。
【図４】本発明の原理による、図３の交換要素によって検出されたエラーを報告する際に使用されるハードウェア・サービス論理の一実施形態を示す図である。
【図５】本発明の原理による、リセット・サービス・パケットの受信を図３の交換要素によって確認し、追加のエラーを転送する際に使用されるハードウェア・サービス論理の一実施形態を示す図である。
【図６】本発明の原理による、図１の分散コンピュータ・システムの通信アダプタの一例を示す図である。
【図７】本発明の原理による、図６の通信アダプタによって検出されたエラーを報告する際に使用されるハードウェア・サービス論理の一実施形態を示す図である。
【符号の説明】
１００ 分散コンピュータ・システム
１０２ 処理ノード
１０４ 相互接続ネットワーク
１０６ プロセッサ
１０８ 通信アダプタ
１０９ システム入出力バス
１１０ 交換機
１１２ 交換要素
３０２ 受信モジュール
３０４ 送信モジュール
３０６ クロスバー
３０８ 中央待ち行列
３１０ ハードウェア・サービス論理
【発明の属する技術分野】
本発明は一般に分散コンピュータ・システムに関し、詳細にはこうしたシステムのハードウェア構成要素を使ってそれらのハードウェア構成要素が検出したエラーを報告することに関する。
【０００２】
【従来の技術】
通常、分散コンピュータ・システムは相互接続ネットワークによって互いに結合されたいくつかのプロセッサを含んでいる。プロセッサのうち１台はコンピュータ・システム内の装置障害を監視するタスクを有する。たとえば、心拍型プロトコルは、システム内の各装置を定期的にポーリングして、それが依然として活動状態にあるかどうか判定する。かつて活動状態にあった装置がもはや活動状態にない場合、プロセッサは装置を検査して、エラーが発生したかどうか突きとめる。すべての装置をポーリングするのに要する時間は、システムのサイズが増大するのに比例して増加する。
【０００３】
障害が検出されると、プロセッサは障害装置と通信して障害の原因を決定し、かつ適当な回復スキームを開始する必要がある。たとえば、相互接続ネットワーク内で障害が発生した場合、プロセッサはそのネットワークと通信して、相互接続ネットワークが捕捉した障害情報を取り出し、かつ適切な回復措置を開始する必要がある。しかし、相互接続ネットワークとプロセッサの間に直接接続が存在する保証はないので、この通信には一般に代替機構が使用される。
【０００４】
【発明が解決しようとする課題】
プロセッサを使用して、このような形で障害情報を探索して取り出し、さらに代替機構を使用して、相互接続ネットワーク内でエラーが発生したときに、障害情報を取り出すのは、望むほど効率がよくない。したがって、対処のためエラーをプロセッサに報告するより効率のよい方法が求められている。詳細には、プロセッサに障害情報を探索させて取り出させる代りに、たとえば相互接続ネットワーク自体が報告を行う機構が求められている。
【０００５】
【課題を解決するための手段】
分散コンピュータ・システムにおけるエラーを報告するシステムを提供することにより、従来技術の欠点が克服され、追加の利点が提供される。このシステムは、エラーが検出されたとき、エラー・メッセージを生成するように適合された、前記分散コンピュータ・システムのハードウェア要素を含んでいる。このハードウェア要素はさらに、このハードウェア要素から分散コンピュータ・システムの第１の指定処理ノードにそのエラー・メッセージを転送するように適合されている。
【０００６】
本発明の他の実施形態では、ハードウェア要素は、交換要素または通信アダプタを含んでいる。
【０００７】
本発明の他の実施形態では、ハードウェア要素はさらに、エラー・メッセージを第１の指定処理ノードが受け取ったとの指示をハードウェア要素が受け取る前に、追加のエラーを収集するように適合されている。
【０００８】
さらに別の例では、ハードウェア要素はさらに、ハードウェア要素からコンピュータ・システムの第２の指定処理ノードにエラー・メッセージを送るように適合されている。
【０００９】
本発明のエラー報告機能により、障害があるかどうか装置を監視する必要がなくなり、経路または経路区間の争奪が軽減される。さらに、本発明のエラー報告機能により、システムが後続のエラー・パケットで混雑することが防止され、システムの残りの部分が正常に動作できるようになる。本発明のエラー報告機能は、ソフトウェアまたは任意のプロセッサ論理ではなくシステム内部のハードウェアを使って実施される。
【００１０】
本発明の技術によってその他の特徴および利点も実現される。本発明のその他の実施形態および態様は本明細書に詳しく記載してあり、特許請求される発明の一部と見なされる。
【００１１】
【発明の実施の形態】
本発明の原理によれば、分散コンピュータ・システムのハードウェア要素がコンピュータ・システムの指定された処理ノードにエラー状態を報告する。ハードウェア要素は、ソフトウェアやプロセッサ論理を必要とせずにエラーを報告する。
【００１２】
本発明の報告機能を組み込みそれを使用する分散コンピュータ・システムの一例を図１に示す。一実施形態においては、分散コンピュータ・システム１００は、インターナショナル・ビジネス・マシーンズ・コーポレイションから提供されるＲＩＳＣシステム／６０００スケーラブルＰＯＷＥＲパラレル・システムであり、相互接続ネットワーク１０４に結合された複数の処理ノード１０２を含んでいる。処理ノードおよび相互接続ネットワークの一例については下記に説明する。
【００１３】
処理ノードは、たとえば、インターナショナル・ビジネス・マシーンズ・コーポレイションから提供されるＲＳ／６０００プロセッサなどのプロセッサ１０６と、たとえばシステム入出力バス１０９を介してプロセッサに結合された通信アダプタ１０８とを含む。通信アダプタは、システム内のあるプロセッサから別のプロセッサに、または相互接続ネットワークからプロセッサに通信を行う際に使用される入出力装置である。通信アダプタの一例は、下記で図６に関してさらに詳しく説明する。
【００１４】
処理ノード１０２は、相互接続ネットワーク１０４に結合され、相互接続ネットワーク１０４は、たとえばインターナショナル・ビジネス・マシーンズ・コーポレイションから提供されるスケーラブルＰＯＷＥＲパラレル交換機（ＳＰ交換機）を含む。相互接続ネットワークの一実施形態については下記で説明するが、デリック・ガーマイヤ（Derrick Garmire）著の白書「IBM POWERparallel Technology Briefing: Interconnection Technologies for High-Performance Computing (RS/6000 SP)」（1996年6月6日）、および同じくデリック・ガーマイヤ著「The RS/6000 SP High-Performance Communication Network」（1996年6月6日）にも記載されている。
【００１５】
相互接続ネットワークは、各プロセッサが同時にメッセージを送受できるように分散コンピュータ・システムのプロセッサを互いに接続する。一実施形態では、相互接続ネットワーク１０４は、１台または複数の交換機１１０を含み、各交換機は処理ノードまたは別の交換機あるいはその両方に結合される。たとえば、図１において、交換機＃１はここでは１次ノードと称する第１処理ノードと、他の１つまたは複数の処理ノードに接続されている。これはさらに、システムのスケーラビリティを高めるために交換機＃２に接続されている。交換機＃２は、交換機＃１と他の少なくとも１つの処理ノード１０２に接続されている。
【００１６】
さらに大きな構成では、システムのスケーラビリティをさらに高めるために、追加レベルの中間交換機をも含めることができる（図２参照）。図２に示した例では、中間交換機２００はフレーム２０４内に位置する交換機２０２に接続されている。各フレームは、交換機２０２の他に、たとえば２〜１６個の処理ノードを含む。中間交換機は交換機を他の交換機に接続するものであって、交換機を処理ノードに接続することはしない。図２に示すように、処理ノードへの接続は、中間交換機２００ではなく交換機２０２によって行われる。
【００１７】
図１に戻ると、一例では、各交換機１１０は複数（たとえば８個）の交換要素１１２を含み、それらは、それに接続された各ノードの接続点および他の交換要素の接続点を提供する。この交換要素の構成により、処理ノード間に複数の経路が得られ、単一の経路または素子が障害を起こしてもノードが相互に分離されなくなる。具体的には、各処理ノードは交換要素への接続を２つ有し、各接続は入出力接続である。
【００１８】
本発明の原理によれば、各交換要素１１２は、たとえば分散コンピュータ・システム１００内の指定された処理ノード（たとえば１次ノード）からその交換要素に転送される交換機初期設定パケットを使って初期設定される。一実施形態では、初期設定サービス・パケットは、このパケットが交換機初期設定パケットであり、したがって交換ネットワーク内の次の段に渡されないことを示すコマンドと、システムの第１の指定処理ノード（たとえば１次ノード）への経路を示す１次経路情報と、第１の指定処理ノードへの第２の経路または第２の指定処理ノード（たとえばバックアップ・ノード）への経路を示す２次経路情報と、交換要素の識別子と、その交換要素に関する、本発明では論じる必要のないその他の様々な初期設定データを含んでいる。
【００１９】
一例では、各交換要素１１２は単一ＣＭＯＳチップ上に集積された８チャネル−８チャネル・パケット経路指定ユニットである。そのようなチップの一実施形態は、米国特許第５５４６３９１号に詳しく記載されている。
【００２０】
交換要素１１２の一実施形態（たとえば交換チップ）についてはまた図３に関して詳しく説明する。一例では、交換要素１１２は、交換要素の各入力ポートごとに１個ずつ、複数の受信モジュール３０２（たとえば８個のモジュール）と、交換要素の各出力ボードごとに１個ずつ、複数の送信モジュール３０４（たとえば８個のモジュール）とを含む。
【００２１】
交換要素１１２はまた、指定された出力ポートが使用可能なとき、パケットが受信モジュールから送信モジュールに直接移動できるようにする、バッファのないクロスバー３０６を含む。さらに、バッファ付き時間多重化８方向ルータを実施した中央待ち行列３０８をも含む。この中央待ち行列３０８は、当該の出力ポートが使用中のとき、受信モジュールからメッセージを受け取って格納する。その後、その当該の送信モジュールから要求があったとき、中央待ち行列３０８はメッセージをその送信モジュールに渡す。
【００２２】
さらに、交換要素１１２は、その動作中に使用されるハードウェア・サービス論理３１０を含む。具体的には、ハードウェア・サービス論理３１０は受信ポートからメッセージを受け取って処理し、交換機の送信モジュールを介してシステムの処理ノードにメッセージを送ることにより動作を確認する。さらに、本発明によれば、ハードウェア・サービス論理３１０は本発明のエラー報告機能を提供する。
【００２３】
本発明のエラー報告機能に使用されるハードウェア・サービス論理の一実施形態を図４に関して詳細に説明する。一例では、下記に述べる機能はハードウェア状態機械を使って実施される。
【００２４】
図４を参照すると、最初に、たとえばパリティ・エラー、巡回冗長検査（ＣＲＣ）エラー、順序エラーなどのエラーを交換要素が検出したかどうか判定する（照会４００）。たとえば、交換要素内の状態機械の現状態を検査して、それが予想される状態にあるかどうか判定することによって、交換要素は順序エラーがあるかどうか検査する。それが予想される状態にない場合は、エラーが発生した訳である。しかし状態が適正な場合は、順序エラーはない。
【００２５】
エラーが検出されなかったときは、流れは照会４００に戻り、予め選択した時間間隔で判定を行うことができる。一方、エラーが検出された場合は、下記に述べるように処理が続行する。
【００２６】
エラー・メッセージが既に送られたかどうか判定を行う（照会４０２）。たとえば、エラーを含むエラー・サービス・パケットが既に交換要素によって指定の処理ノードに送られたかどうか検査を行って判定する。一例では、この判定は、エラー・サービス・パケットが送られたかどうかを示す交換要素内のビットを検査して行う。
【００２７】
エラー・サービス・パケットが送られていないときは、パケットを送るためにたとえば２つのポート、１次ポートおよび２次ポートのアクセスを要求する（ステップ４０６）。ポートの指定は、前述のように初期設定時に交換要素に提供される。アクセスが要求されると、各ポートは肯定応答を送り返し、最初に受信されたポートがメッセージを送出するのに使用される最初のポートとなる。たとえば、１次ポートが肯定応答を送り返した最初のポートである場合（照会４０８）、第１の指定処理ノード（たとえば１次ノード）宛のエラー・サービス・パケットが生成される（ステップ４１０）。
【００２８】
一例では、エラー・サービス・パケットは、開始制御文字、交換要素の初期設定中に提供される、第１の指定処理ノードへの経路を示す経路情報、エラーが発生したことを示すコマンド、初期設定中に提供される交換要素の識別子、どのエラー・ビットが活動状態であるかを示すエラー・データ、データが壊れていないことを確認するために第１の指定ノードにある通信アダプタが使用する検査パターンを含む、巡回冗長検査、および終了制御文字を含んでいる。開始制御文字および終了制御文字は、パケットの開始位置および終了位置を定義し、したがってハードウェアがパケット長やその他類似のタイプの情報を記録する必要はない。
【００２９】
エラー・サービス・パケットの作成に続いて、パケットは標準の送信技術を用いて第１の指定処理ノードに送り出される。第１の指定処理ノードでは、通信アダプタがパケットを受信し、それをバッファし、その処理ノードのプロセッサに渡す。
【００３０】
パケットを１次ポートから送出した後、そのパケットが両方のポートから送出されたかどうか検査して判定する（照会４１２）。パケットが両方のポートから送出されていないときは、流れは、ステップ４０６「ポート間で調停する」に戻る。このとき、交換機は、既にパケットを１次ポートから送出したことを知っており、したがってバックアップ・ポートを選択する（照会４１４）。
【００３１】
その後、エラーを第２の指定処理ノード（たとえば、バックアップ・ノード）に報告するためのエラー・サービス・パケットが生成される（ステップ４１６）。このパケットは、指定経路が１次処理ノードではなくてバックアップ処理ノード宛である点を除き、最初のパケットに関して上述したものと同じ情報を含んでいる。
【００３２】
パケットが両方のポートから送出されると（照会４１２）、流れは照会４００「エラーを検出したか」に戻る。
【００３３】
照会４０２「エラー・パケットが既に送られたか」に戻ると、エラー・パケットが既に送られているときは、そのエラーに対するリセット・サービス・パケットを交換要素が受け取ったかどうか判定が行われる（照会４１８）。一実施形態では、この判定は交換要素が着信サービス・パケットのコマンドを検査することによって行う。
【００３４】
そのコマンドが、リセット・サービス・パケットを受け取っていないことを示すときは、システムがエラー・メッセージであふれないように追加のエラーが収集される（ステップ４２０）。具体的には、リセット・サービス・パケットを受け取るまで、他のエラー・サービス・パケットは交換要素から転送されない。次いで処理は照会４００「エラーを検出したか」に戻る。
【００３５】
照会４１８に戻って、送られたエラー・サービス・パケットに対するリセット・サービス・パケットを受け取った場合は、処理は図５に進む（ステップ４２２）。一実施形態では、図５の機能はハードウェア状態機械を使って実施される。
【００３６】
図５を参照すると、一例では、エラー・パケットを受信した指定ノードの少なくとも１つがリセット・サービス・パケットを生成する。一例では、リセット・サービス・パケットは、それがリセット・パケットであることを示すコマンドおよびリセット・データを含む。リセット・サービス・パケットを生成した後、その指定ノードはエラー・サービス・パケット中で識別された交換要素にそのパケットを送信し、その交換要素はリセット・パケットを受け取ったことを検出する。（ステップ５００）。
【００３７】
リセット・サービス・パケットの受信に続いて、交換要素はそのリセット・データを使って（たとえば、エラー・ビットをリセットすることにより）エラーをリセットし、さらにエラー報告機能をリセットして、別のエラー・パケットが送られるのを禁止する（ステップ５０２）。一例では、この機能は対応するビットをリセットすることによってリセットされる。
【００３８】
次に、リセット・パケットをどのポートに送信するか選択が行われる（ステップ５０４）。１次ポートが最初に選択された（すなわち、最初に要求に肯定応答する）場合（照会５０６）、肯定応答サービス・パケットが生成される（ステップ５０８）。一実施形態では、肯定応答サービス・パケットは、第１の指定処理ノードに対するエラー・サービス・パケットについて上述したのと同じ情報を含んでいる。ただし、エラー・データはステップ４２０（図４）で収集されたすべてのエラーを含む。具体的には、肯定応答サービス・パケットは、開始制御文字、１次ノードへの経路を示す経路情報、それがエラーであることを示すコマンド、交換要素の識別子、収集されたエラー・データのすべて、ＣＲＣ、および終了制御文字を含む。生成された肯定応答サービス・パケットは１次処理ノードに送信される。
【００３９】
パケットが両方のポートから送出されてはいない場合（照会５１０）、処理はステップ５０４「ポート間で調停する」に進む。このときは、２次ポートが選択され（照会５１２）、次いで第２の指定処理ノードに対する肯定応答サービス・パケットが生成される（ステップ５１４）。この場合も、このパケットは、指定経路がバックアップ・ノード宛である点を除き、１次ノードに対する肯定応答について上述したように生成される。
【００４０】
パケットが両方のポートから送出されると、処理は、最後のリセット・パケットに含まれる新しいエラー・メッセージについての照会４１８「リセット・パケットが受信されたか」に進む（ステップ５１６）。
【００４１】
上記の実施形態では、エラー／肯定応答が２つの処理ノードに報告される。これは一例にすぎない。別の実施形態では冗長性が除去され、１つの処理ノードだけにエラー／肯定応答が送られる。さらに別の実施形態では、パケットは必ずしも別の処理ノードに送られず、別の経路を通って同じ処理ノードに送られる。これらの変形形態もその他の実施形態もすべて本発明の範囲および趣旨に含まれる。
【００４２】
上記では、交換要素が分散コンピュータ・システムの１つまたは複数の指定処理ノードに検出済みエラーを報告するための機構について述べたが、別の実施形態では、エラー情報が失われた場合、処理ノードは交換要素にエラー状況パケットを要求することができる。
【００４３】
本発明の別の実施形態では、やはり分散コンピュータ・システムのハードウェア構成要素である通信アダプタがエラーを検出し、１つまたは複数の指定処理ノードに報告する。
【００４４】
通信アダプタの一例については図６に関して詳細に説明し、通信アダプタの報告機能に関連する論理の一実施形態については図７に関して詳細に説明する。
【００４５】
図６を参照すると、一例では、通信アダプタ６００は、バス・インターフェース・ハードウェア論理６０２、送信メッセージ・バッファ６０４、受信メッセージ・バッファ６０６、送信リンク・ハードウェア論理６０８、６１０、および受信リンク・ハードウェア論理６１２、６１４を含む。そのそれぞれについて下記で説明する。
【００４６】
バス・インターフェース・ハードウェア論理６０２は、通信アダプタの残りの構成要素とシステム・バスの間のインターフェースをとる。このシステム・バスは通信アダプタを処理ノード上の対応するプロセッサに接続する。システム・バスは、他のアダプタ構成要素またはプロセッサからエラー情報を受け取り、クリティカルなエラーが検出されたとき、チェック停止エラー信号を送出する。
【００４７】
バス・インターフェースは送信メッセージ・バッファ６０４に結合される。これはバス・インターフェース・ハードウェア論理６０２からメッセージを受け取る。送信メッセージ・バッファ６０４はパケット化されていないメッセージを後で送信するために一時記憶し、エラーを検出した場合はそれをバス・インターフェース・ハードウェア論理６０２に報告する。
【００４８】
送信メッセージ・バッファ６０４は、送信リンク・ハードウェア論理６０８および６１０に結合される。これらは、相互接続ネットワークにメッセージを送信する際に使用される二重ポートである。各送信リンク・ハードウェア論理は、メッセージをパケット化し、バッファし、所与のリンクから相互接続ネットワークに送出する。さらに検出したエラーをバス・インターフェース・ハードウェア論理６０２に報告する。送信リンク・ハードウェア論理が活動状態のチェック停止信号を受信したときは、現状態（たとえば状態機械に記憶されている）に割り込んで、下記で詳しく説明するように、エラー・サービス・パケットを送る。その後、リセットを受け取るまでリンク論理は遊休状態となる。
【００４９】
二重ポート送信リンクに加えて、通信アダプタは、二重ポート受信リンク、すなわち受信リンク・ハードウェア論理６１２および６１４をも含む。受信リンク・ハードウェア論理は、通信アダプタを相互接続ネットワークに接続するリンクからメッセージ・パケットを受け取る。この論理は、受信データを受信メッセージ・バッファ６０６に渡し、エラーをバス・インターフェース・ハードウェア論理６０２に報告する。さらに、チェック停止信号が活動状態の場合、動作を停止する。
【００５０】
受信リンクは受信メッセージ・バッファ６０６に結合され、後者はリンクからデータを受け取り、バス・インターフェース・ハードウェア論理６０２に渡す。また、エラーを検出した場合はそれをバス・インターフェース・ハードウェア論理６０２に報告する。
【００５１】
本発明の原理によれば、通信アダプタは、それに対応するローカル・プロセッサによって初期設定される。たとえば、ローカル・プロセッサは、指定処理ノードへの経路を示す経路情報、アダプタの識別子、および初期設定に必要な他の情報を提供する。アダプタがそれらの情報を受け取ると、それはアダプタのハードウェア記憶エレメントに記憶される。
【００５２】
上述のように、通信アダプタは、クリティカルなエラーを検出した場合それを自発的に１つまたは複数の指定処理ノードに報告し、したがって処理ノードが通信アダプタをポーリングして、エラーが発生したかどうか判定する必要はない。本発明の原理による、このようなエラーを報告するのに使用されるハードウェア論理について、図７に関してさらに説明する。一例では、下記に述べる機能は、通信アダプタの異なる構成要素のハードウェア状態機械を使って実施される。
【００５３】
図７を参照すると、最初に、通信アダプタがクリティカルなエラーを検出したかどうか判定を行う（照会７００）。この判定は、交換要素によるエラーの検出と類似の形で行われる。クリティカルなエラーが検出されなかったときは、再度検査が行われる（照会７００）。しかし、クリティカルなエラーが検出されたときは、通信アダプタが、オフラインになる（たとえば割込み状態に入る）ことによって現動作に割り込む（ステップ７０２）。
【００５４】
続いて、エラー・サービス・パケット（チェック停止パケットとも呼ばれる）が生成され、１つまたは複数の指定処理ノードに送られる（ステップ７０４）。一例では、第１の指定処理ノードに対してエラー・サービス・パケットが生成され、第２の指定処理ノードに対して別のパケットが生成される。各エラー・パケットは、交換要素が生成するエラー・サービス・パケットについて前述したのと同様の情報を含む。たとえば、それぞれ開始制御文字、１次ノードまたは２次ノードへの経路を示す経路情報、エラー・コマンド、アダプタ識別子、エラー・データ、巡回冗長検査、および終了制御文字を含む。
【００５５】
パケットが生成された後、第１の指定処理ノード宛のパケットが指定された１次ポートから送出され、第２の指定処理ノード宛のパケットが指定された２次ポートから送出される（ステップ７０６）。２つのポートの使用により、パケットの１つがシステムを通過して指定ノードの１つに到着する確率、または指定経路の１つを通過する確率が増大する。
【００５６】
その後、通信アダプタは、それ以上エラーが伝播するのを防止するためにリセットされるまで遊休状態に留まる（ステップ７０８）。アダプタがその対応するプロセッサによってリセットされると（照会７１０）、流れは照会７００「エラーが検出されたか」に戻る。
【００５７】
上記の実施形態では、クリティカルなエラーは指定処理ノードに報告される。アダプタによって検出されたクリティカルでないエラーはローカル・プロセッサにのみ報告される。しかし、別の実施形態では、すべてのエラーが指定処理ノードに報告される。
【００５８】
別の実施形態では、交換機構の場合と同様に、エラー・パケットを２つのポートから送出する必要はない。その上、パケットを２つ（以上）の経路を通って同一の処理ノードに送ることもできる。これらその他の実施形態は、特許請求される本発明の範囲および趣旨に含まれる。
【００５９】
本発明のエラー報告機能は、障害がないかどうか装置を監視する必要がなく、その結果、経路または経路区間に対する争奪が軽減される。エラーが検出されると、交換要素またはアダプタによりサービス・パケットを介して報告される。交換要素は追加のエラーを収集するだけで、リセット・サービス・パケットを受信するまではそれを報告しないので、追加のエラー・パケットでシステムがあふれることはない。アダプタはオフラインになり、したがって、システムは後続のエラー・パケットであふれることはなく、システムの残りの部分は正常に機能することができる。
【００６０】
本発明の機構はさらに、障害のある構成要素が報告経路の１つ中にある場合、高度のフォールト・トレラント性を提供する。
【００６１】
本明細書で述べた分散コンピュータ・システムは一例にすぎない。本発明の報告機能は、本発明の趣旨から逸脱することもなく、他のシステム内に組み込むことができ、または他のシステムと共に使用することができ、あるいはその両方が可能である。たとえば、本発明の趣旨から逸脱することなく、異なるアーキテクチャまたはハードウェア構成要素あるいはその両方を使用することができる。さらに、状態機械以外のハードウェア構成要素を使って本発明のハードウェア論理を実施することもできる。
【００６２】
上記のことに加えて、別の実施形態では、検出されたエラーは、エラーの発生回数が閾値に達した後に初めて報告される。閾値に達したとき、本発明の原理に従ってエラーが報告される。
【００６３】
本明細書に示した流れ図は例示的なものにすぎない。それらの図に述べた図やその中に示されたステップ（または動作）には、本発明の趣旨から逸脱せずに、多数の変形例があり得る。たとえば、各ステップを異なる順序で実行することもでき、またステップを追加し、あるいは変更することもできる。これらの変形例はすべて、特許請求される本発明の一部分と見なされる。
【図面の簡単な説明】
【図１】本発明の報告機能を組み込みそれを使用する分散コンピュータ・システムの一例を示す図である。
【図２】本発明の原理による、中間交換機を含む図１の分散コンピュータ・システムの相互接続ネットワークの一実施形態を示す図である。
【図３】本発明の原理による交換要素の一例を示す図である。
【図４】本発明の原理による、図３の交換要素によって検出されたエラーを報告する際に使用されるハードウェア・サービス論理の一実施形態を示す図である。
【図５】本発明の原理による、リセット・サービス・パケットの受信を図３の交換要素によって確認し、追加のエラーを転送する際に使用されるハードウェア・サービス論理の一実施形態を示す図である。
【図６】本発明の原理による、図１の分散コンピュータ・システムの通信アダプタの一例を示す図である。
【図７】本発明の原理による、図６の通信アダプタによって検出されたエラーを報告する際に使用されるハードウェア・サービス論理の一実施形態を示す図である。
【符号の説明】
１００ 分散コンピュータ・システム
１０２ 処理ノード
１０４ 相互接続ネットワーク
１０６ プロセッサ
１０８ 通信アダプタ
１０９ システム入出力バス
１１０ 交換機
１１２ 交換要素
３０２ 受信モジュール
３０４ 送信モジュール
３０６ クロスバー
３０８ 中央待ち行列
３１０ ハードウェア・サービス論理
Claims (2)
- 相互接続ネットワークに結合される第１及び第２の処理ノードを含む分散コンピュータ・システムのエラーを報告するシステムであって、
前記相互接続ネットワークによってエラーが検出されたとき、前記エラーに関するエラー・サービス・パケットを生成するように適合された、前記相互接続ネットワークのハードウェア要素を備え、
前記エラー・サービス・パケットが、前記エラーの内容を表すエラー・データと前記ハードウェア要素から前記分散コンピュータ・システムの第１の指定処理ノード及び第２の指定処理ノードの両方への経路を指定する経路情報とを含み、
前記ハードウェア要素がさらに、前記経路を使用して、前記ハードウェア要素から前記第１の指定処理ノード及び前記第２の指定処理ノードの両方に前記エラー・サービス・パケットを転送するように適合され、
前記ハードウェア要素がさらに、前記エラー・サービス・パケットを前記第１の指定処理ノード及び前記第２の指定処理ノードの少なくとも一方が受け取ったとの指示を前記ハードウェア要素において受け取る前に、追加のエラーを収集し、前記指示を前記ハードウェア要素において受け取ったことに応答して、前記追加のエラーに関する追加のエラー・サービス・パケットを、前記ハードウェア要素から前記第１の指定処理ノード及び前記第２の指定処理ノードの両方に転送するように適合されている、前記システム。 - 前記ハードウェア要素が交換要素から成る、請求項１に記載のシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/838,389 US5968189A (en) | 1997-04-08 | 1997-04-08 | System of reporting errors by a hardware element of a distributed computer system |
| US08/838389 | 1997-04-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10326261A JPH10326261A (ja) | 1998-12-08 |
| JP3649580B2 true JP3649580B2 (ja) | 2005-05-18 |
Family
ID=25276995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09114998A Expired - Fee Related JP3649580B2 (ja) | 1997-04-08 | 1998-04-03 | 分散コンピュータ・システムのエラーを報告するシステム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5968189A (ja) |
| JP (1) | JP3649580B2 (ja) |
| CN (1) | CN1195813A (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5790397A (en) * | 1996-09-17 | 1998-08-04 | Marathon Technologies Corporation | Fault resilient/fault tolerant computing |
| US6385665B1 (en) * | 1998-12-18 | 2002-05-07 | Alcatel Usa Sourcing, L.P. | System and method for managing faults in a data transmission system |
| US6918059B1 (en) * | 1999-04-28 | 2005-07-12 | Universal Music Group | Method and system for handling errors in a distributed computer system |
| US8271336B2 (en) | 1999-11-22 | 2012-09-18 | Accenture Global Services Gmbh | Increased visibility during order management in a network-based supply chain environment |
| US8032409B1 (en) | 1999-11-22 | 2011-10-04 | Accenture Global Services Limited | Enhanced visibility during installation management in a network-based supply chain environment |
| US7716077B1 (en) * | 1999-11-22 | 2010-05-11 | Accenture Global Services Gmbh | Scheduling and planning maintenance and service in a network-based supply chain environment |
| US7130807B1 (en) | 1999-11-22 | 2006-10-31 | Accenture Llp | Technology sharing during demand and supply planning in a network-based supply chain environment |
| US7111205B1 (en) * | 2000-04-18 | 2006-09-19 | Siemens Communications, Inc. | Method and apparatus for automatically reporting of faults in a communication network |
| US6892321B2 (en) * | 2001-07-17 | 2005-05-10 | International Business Machines Corporation | Transition to switch node adapter diagnostics using adapter device driver |
| US6988155B2 (en) * | 2001-10-01 | 2006-01-17 | International Business Machines Corporation | Aggregation of hardware events in multi-node systems |
| CN100371903C (zh) * | 2004-09-09 | 2008-02-27 | 英业达股份有限公司 | 一种智能平台事件报警系统及其方法 |
| US20060149837A1 (en) * | 2004-12-17 | 2006-07-06 | General Electric Company | Remote monitoring and diagnostics service prioritization method and system |
| US8422377B2 (en) * | 2004-12-17 | 2013-04-16 | General Electric Company | Remote monitoring and diagnostics system with automated problem notification |
| US7734764B2 (en) * | 2004-12-17 | 2010-06-08 | General Electric Company | Automated remote monitoring and diagnostics service method and system |
| JP2006285453A (ja) * | 2005-03-31 | 2006-10-19 | Oki Electric Ind Co Ltd | 情報処理装置、情報処理方法、および情報処理プログラム |
| US7496045B2 (en) * | 2005-07-28 | 2009-02-24 | International Business Machines Corporation | Broadcast of shared I/O fabric error messages in a multi-host environment to all affected root nodes |
| US7395367B2 (en) * | 2005-10-27 | 2008-07-01 | International Business Machines Corporation | Method using a master node to control I/O fabric configuration in a multi-host environment |
| US7363404B2 (en) * | 2005-10-27 | 2008-04-22 | International Business Machines Corporation | Creation and management of destination ID routing structures in multi-host PCI topologies |
| US7474623B2 (en) * | 2005-10-27 | 2009-01-06 | International Business Machines Corporation | Method of routing I/O adapter error messages in a multi-host environment |
| US7430630B2 (en) * | 2005-10-27 | 2008-09-30 | International Business Machines Corporation | Routing mechanism in PCI multi-host topologies using destination ID field |
| US7631050B2 (en) * | 2005-10-27 | 2009-12-08 | International Business Machines Corporation | Method for confirming identity of a master node selected to control I/O fabric configuration in a multi-host environment |
| US20070136458A1 (en) * | 2005-12-12 | 2007-06-14 | Boyd William T | Creation and management of ATPT in switches of multi-host PCI topologies |
| US20070165596A1 (en) * | 2006-01-18 | 2007-07-19 | Boyd William T | Creation and management of routing table for PCI bus address based routing with integrated DID |
| US7707465B2 (en) * | 2006-01-26 | 2010-04-27 | International Business Machines Corporation | Routing of shared I/O fabric error messages in a multi-host environment to a master control root node |
| US7380046B2 (en) * | 2006-02-07 | 2008-05-27 | International Business Machines Corporation | Method, apparatus, and computer program product for routing packets utilizing a unique identifier, included within a standard address, that identifies the destination host computer system |
| US7484029B2 (en) * | 2006-02-09 | 2009-01-27 | International Business Machines Corporation | Method, apparatus, and computer usable program code for migrating virtual adapters from source physical adapters to destination physical adapters |
| US20080107116A1 (en) * | 2006-11-08 | 2008-05-08 | Sicortex, Inc. | Large scale multi-processor system with a link-level interconnect providing in-order packet delivery |
| US7571273B2 (en) * | 2006-12-06 | 2009-08-04 | International Business Machines Corporation | Bus/device/function translation within and routing of communications packets in a PCI switched-fabric in a multi-host environment utilizing multiple root switches |
| US7774649B2 (en) * | 2008-01-31 | 2010-08-10 | Ncr Corporation | Self-service terminal |
| US8261299B2 (en) | 2008-05-22 | 2012-09-04 | At&T Intellectual Property I, L.P. | Methods and computer program products for reporting internet protocol television related data collected from application and device data |
| JP5516402B2 (ja) * | 2008-08-21 | 2014-06-11 | 富士通株式会社 | 情報処理装置及び情報処理装置の制御方法 |
| WO2010064286A1 (ja) * | 2008-12-01 | 2010-06-10 | 富士通株式会社 | 制御回路、情報処理装置及び情報処理装置の制御方法 |
| US8812916B2 (en) * | 2011-06-02 | 2014-08-19 | International Business Machines Corporation | Failure data management for a distributed computer system |
| WO2014120148A1 (en) * | 2013-01-30 | 2014-08-07 | Hewlett-Packard Development Company, L.P. | Controlling error propagation due to fault in computing node of a distributed computing system |
| US10817361B2 (en) | 2018-05-07 | 2020-10-27 | Hewlett Packard Enterprise Development Lp | Controlling error propagation due to fault in computing node of a distributed computing system |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3242058A (en) * | 1960-02-01 | 1966-03-22 | Honeywell Inc | Matter management systems |
| JPS58134554A (ja) * | 1982-02-03 | 1983-08-10 | Nec Corp | 伝送路監視装置 |
| US4777595A (en) * | 1982-05-07 | 1988-10-11 | Digital Equipment Corporation | Apparatus for transferring blocks of information from one node to a second node in a computer network |
| US4503535A (en) * | 1982-06-30 | 1985-03-05 | Intel Corporation | Apparatus for recovery from failures in a multiprocessing system |
| US4510594A (en) * | 1983-03-31 | 1985-04-09 | At&T Bell Laboratories | Loop-around testing facilities for a multiline protocol controller |
| US4709365A (en) * | 1983-10-31 | 1987-11-24 | Beale International Technology Limited | Data transmission system and method |
| JPS60191536A (ja) * | 1984-03-13 | 1985-09-30 | Nec Corp | デ−タ処理装置障害通知方式 |
| US4967344A (en) * | 1985-03-26 | 1990-10-30 | Codex Corporation | Interconnection network for multiple processors |
| US4862461A (en) * | 1987-01-12 | 1989-08-29 | International Business Machines Corp. | Packet switch network protocol |
| US4769811A (en) * | 1986-12-31 | 1988-09-06 | American Telephone And Telegraph Company, At&T Bell Laboratories | Packet switching system arranged for congestion control |
| US4807228A (en) * | 1987-03-18 | 1989-02-21 | American Telephone And Telegraph Company, At&T Bell Laboratories | Method of spare capacity use for fault detection in a multiprocessor system |
| US5218712A (en) * | 1987-07-01 | 1993-06-08 | Digital Equipment Corporation | Providing a data processor with a user-mode accessible mode of operations in which the processor performs processing operations without interruption |
| US4970714A (en) * | 1989-01-05 | 1990-11-13 | International Business Machines Corp. | Adaptive data link protocol |
| JP2749098B2 (ja) * | 1989-02-03 | 1998-05-13 | 株式会社日立製作所 | 通信回線切替・併用方式 |
| US5155842A (en) * | 1989-08-14 | 1992-10-13 | Microsoft Corporation | Logical event notification method and apparatus |
| US5117352A (en) * | 1989-10-20 | 1992-05-26 | Digital Equipment Corporation | Mechanism for fail-over notification |
| US4993015A (en) * | 1989-11-06 | 1991-02-12 | At&T Bell Laboratories | Automatic fault recovery in a packet network |
| US5016243A (en) * | 1989-11-06 | 1991-05-14 | At&T Bell Laboratories | Automatic fault recovery in a packet network |
| US5161156A (en) * | 1990-02-02 | 1992-11-03 | International Business Machines Corporation | Multiprocessing packet switching connection system having provision for error correction and recovery |
| JP2904298B2 (ja) * | 1990-03-30 | 1999-06-14 | マツダ株式会社 | 車両用多重伝送装置 |
| GB9007600D0 (en) * | 1990-04-04 | 1990-05-30 | Hunting Communication Tech | Ring communication system |
| US5157667A (en) * | 1990-04-30 | 1992-10-20 | International Business Machines Corporation | Methods and apparatus for performing fault isolation and failure analysis in link-connected systems |
| EP0502214B1 (en) * | 1990-09-28 | 1998-07-22 | Fujitsu Limited | Message control method for data communication system |
| EP0504537A1 (en) * | 1991-03-22 | 1992-09-23 | International Business Machines Corporation | Method and apparatus for the testing and evaluation of geographically distributed telecommunication networks |
| US5321813A (en) * | 1991-05-01 | 1994-06-14 | Teradata Corporation | Reconfigurable, fault tolerant, multistage interconnect network and protocol |
| US5307354A (en) * | 1991-05-31 | 1994-04-26 | International Business Machines Corporation | Method and apparatus for remote maintenance and error recovery in distributed data processing networks |
| US5301186A (en) * | 1991-06-28 | 1994-04-05 | Digital Equipment Corporation | High speed transmission line interface |
| US5758053A (en) * | 1992-07-22 | 1998-05-26 | Hitachi, Ltd. | Fault handling and recovery for system having plural processors |
| US5289460A (en) * | 1992-07-31 | 1994-02-22 | International Business Machines Corp. | Maintenance of message distribution trees in a communications network |
| US5546391A (en) * | 1993-03-04 | 1996-08-13 | International Business Machines Corporation | Central shared queue based time multiplexed packet switch with deadlock avoidance |
| US5640504A (en) * | 1994-01-24 | 1997-06-17 | Advanced Computer Applications, Inc. | Distributed computing network |
| US5701305A (en) * | 1994-05-04 | 1997-12-23 | Hewlett-Packard Company | Error recovery in a network having cascaded hubs |
| US5487061A (en) * | 1994-06-27 | 1996-01-23 | Loral Fairchild Corporation | System and method for providing multiple loss and service priorities |
| EP0699008A1 (en) * | 1994-08-23 | 1996-02-28 | BELL TELEPHONE MANUFACTURING COMPANY Naamloze Vennootschap | Method for rerouting a data stream |
| US5613069A (en) * | 1994-12-16 | 1997-03-18 | Tony Walker | Non-blocking packet switching network with dynamic routing codes having incoming packets diverted and temporarily stored in processor inputs when network ouput is not available |
| DE19509558A1 (de) * | 1995-03-16 | 1996-09-19 | Abb Patent Gmbh | Verfahren zur fehlertoleranten Kommunikation unter hohen Echtzeitbedingungen |
| KR0170500B1 (ko) * | 1995-11-18 | 1999-03-30 | 양승택 | 멀티프로세서 시스템 |
-
1997
- 1997-04-08 US US08/838,389 patent/US5968189A/en not_active Expired - Fee Related
-
1998
- 1998-03-17 CN CN98105711A patent/CN1195813A/zh active Pending
- 1998-04-03 JP JP09114998A patent/JP3649580B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1195813A (zh) | 1998-10-14 |
| US5968189A (en) | 1999-10-19 |
| JPH10326261A (ja) | 1998-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3649580B2 (ja) | 分散コンピュータ・システムのエラーを報告するシステム | |
| EP1391079B1 (en) | Method and system for implementing a fast recovery process in a local area network | |
| US7835265B2 (en) | High availability Ethernet backplane architecture | |
| JP3101604B2 (ja) | 分散コンピュータ・システムのエラーを報告する方法 | |
| CN1633647B (zh) | 用于管理网络中的数据传送的系统、方法 | |
| US7260066B2 (en) | Apparatus for link failure detection on high availability Ethernet backplane | |
| CN1111994C (zh) | 在严格实时条件下容错通讯方法 | |
| US6738344B1 (en) | Link extenders with link alive propagation | |
| US20030137934A1 (en) | System and method for providing management of fabric links for a network element | |
| EP1768320A2 (en) | Information processing apparatuses, communication method, communication load decentralizing method and communication system | |
| EP0472835A1 (en) | Notification and verification of state changes in a data processing input/output system | |
| WO2008046358A1 (fr) | Procédé et dispositif destinés à réaliser une pénétration d'un statut de liaison de réseau point à multipoint | |
| JP3811007B2 (ja) | 仮想接続の保護切替 | |
| JP2002534875A (ja) | ファイバ・チャネルのリンク事故レポート機能 | |
| JP2001237889A (ja) | データ通信網における迂回経路制御方法及び装置 | |
| US7467321B1 (en) | Fast software fault detection and notification to a backup unit | |
| Cisco | System Error Messages | |
| CN113805788A (zh) | 一种分布式存储系统及其异常处理方法和相关装置 | |
| CN111682966A (zh) | 带故障主动报告功能的网络通信装置，系统及其方法 | |
| US6870814B1 (en) | Link extenders with error propagation and reporting | |
| KR100318966B1 (ko) | 비동기전송모드 교환망에서 헬스체크를 이용한 네트웍 자동 복구시스템 및 방법 | |
| JP2001308893A (ja) | ループ型トポロジネットワークにおけるルーティング情報動的再構成方式 | |
| JP2000244526A (ja) | 多重化したネットワーク接続装置システム | |
| KR19980050158A (ko) | 통신처리 시스템의 전달 프로토콜 | |
| JPH0844637A (ja) | データ転送制御機能を有した計算機システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050215 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080225 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120225 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120225 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130225 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |