JP3851093B2 - データ転送方法及びデータ処理システム - Google Patents
データ転送方法及びデータ処理システム Download PDFInfo
- Publication number
- JP3851093B2 JP3851093B2 JP2001025699A JP2001025699A JP3851093B2 JP 3851093 B2 JP3851093 B2 JP 3851093B2 JP 2001025699 A JP2001025699 A JP 2001025699A JP 2001025699 A JP2001025699 A JP 2001025699A JP 3851093 B2 JP3851093 B2 JP 3851093B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- memory
- node
- error
- condition exists
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/42—Loop networks
- H04L12/427—Loop networks with decentralised control
- H04L12/433—Loop networks with decentralised control with asynchronous transmission, e.g. token ring, register insertion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1666—Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/0815—Cache consistency protocols
- G06F12/0817—Cache consistency protocols using directory methods
- G06F12/082—Associative directories
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
- Debugging And Monitoring (AREA)
- Multi Processors (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は一般に、コンピュータ・システムの分野に関する。
【０００２】
【従来の技術】
多重処理コンピュータ・システムは一般に、コンピューティング・タスクを実行するために用いることができる２個以上のプロセッサを含む。ある特定のコンピューティング・タスクを一つのプロセッサに実行させ、その間、他のプロセッサが無関係な処理タスクを実行することができる。あるいはまた、特定のタスクの構成部を多数のプロセッサの間で分散させて、コンピューティング・タスクを実行するのに要する時間を減らすこともできる。概して、プロセッサとは、１個以上のオペランドに対して演算を実行して結果を出すように構成された装置である。演算は、プロセッサによって実行される命令に応答して実行される。
【０００３】
単一アドレスベースおよびコヒーレント・キャッシュを有するマルチプロセッサ・コンピュータ・システムは、汎用性で強力なコンピューティング環境を提供する。単一アドレスベースとコヒーレント・キャッシュとがいっしょになって、データ分割および動的ロード平衡化の問題を緩和する。単一アドレスベースおよびコヒーレント・キャッシュはまた、コンパイラ、標準オペレーティング・システムおよび多重プログラミングを並列化するためのよりよいサポートを提供し、それにより、より汎用性で効果的な機械の利用を可能にする。
【０００４】
多重処理コンピュータ・システムのための一つの構造は、分散メモリ・アーキテクチャである。分散メモリ・アーキテクチャは通常、それぞれが１個以上のプロセッサおよびメモリを有する多数のノードを含む。ノードは、ノード間の通信を可能にするネットワークに結合されている。全体としてとらえると、全ノードの合わせたメモリが、各ノードがアクセスすることができる「共用メモリ」を形成している。通常、ディレクトリを使用して、どのノードが特定のアドレスに対応するデータのコピーを有するかを識別する。データのコヒーレンシーは、ディレクトリを審査してデータの状態を判定することによって維持される。
【０００５】
出現した代表的なディレクトリベースのキャッシュ・コヒーレンシー・アーキテクチャは、たとえば、ＣＣ−ＮＵＭＡ（キャッシュ・コヒーレント不均一メモリ・アクセス）およびＣＯＭＡ（キャッシュ専用メモリ・アーキテクチャ）を含む。ＣＣ−ＮＵＭＡおよびＣＯＭＡの両アーキテクチャは、分散メモリ、スケーラブル相互接続ネットワークおよびディレクトリベースのキャッシュ・コヒーレンスを有している。分散メモリおよびスケーラブル相互接続ネットワークは、必要なスケーラブル・メモリ帯域幅を提供し、ディレクトリベースの方式は、キャッシュ・コヒーレンスを提供する。ＣＣ−ＮＵＭＡアーキテクチャとは対照的に、ＣＯＭＡアーキテクチャは、ノードごとのメイン・メモリを、アトラクション・メモリ（ＡＭ）とも呼ばれる大きな二次または三次キャッシュに変換する。変換は、メイン・メモリ中のデータのキャッシュライン・サイズ区分にタグを付加することによって実施される。その結果、システム中のデータ項目の場所がデータ項目の物理アドレスと切り離され、そのデータ項目は、メモリ参照パターンに依存して、メイン・メモリ中で自動的に移送または複製される。
【０００６】
残念ながら、ＣＯＭＡおよびＮＵＭＡアーキテクチャでは、データが破損し、メモリのエラーを生じさせるおそれがある。そのようなエラーは、電子的記憶装置としてのメモリが、元々記憶されていたものとは異なる情報を戻すことがあるために生じる。一般に、メモリ・システム中では通常、２種類のエラー―反復性（ハード）エラーおよび一過性（ソフト）エラー―が生じる。ハード・エラーは、ハードウェア障害の結果であることが多く、一貫性かつ反復性であるため、診断し、訂正することは比較的やさしい。ソフト・エラーは、ビットが一度は誤った値を読み出すが、その後は正しく機能するときに生じる。
【０００７】
メモリ・エラーからの唯一の保護は、メモリ・エラー検出または訂正プロトコルを使用することである。一部のプロトコルは、８ビットのデータ・バイトの１ビットでしかエラーを検出することができないが、他のものは、２個以上のビットでエラーを自動的に検出することができる。他のプロトコルは、単一および／または多ビット・メモリ障害を検出し、訂正することができる。
【０００８】
一般的なエラー検出／訂正機構は、パリティ、エラー訂正符号（ＥＣＣ）などを含む。パリティおよびエラー訂正符号（ＥＣＣ）を使用して、中央処理装置（ＣＰＵ）と、メモリ、プログラム入出力（ＰＩＯ）装置などとの間で転送されるデータの信頼性を立証することは当該技術で周知である。さらには、ＥＣＣは、メモリ中の特定のデータ・エラーから回復するために使用される。
【０００９】
パリティ検査が使用可能になると、バイトがメモリに書き込まれるたび、パリティ生成／検査機構と呼ばれる論理回路がそのバイトを審査し、データ・バイトが偶数個の１を有するのか、奇数個の１を有するのかを判定する。偶数個の１を有するならば、９番目の（パリティ）ビットが１にセットされ、そうでなければ、０にセットされる。このように、元の８個のデータ・ビット中で何個のビットが１にセットされていようと、９個のビットがいっしょになって奇数個の１を構成する。この機構は奇数パリティと呼ばれている。データがメモリから読み出されるとき、パリティ回路はエラー検査機構として働く。この機構は、９ビットすべてを読み出し、奇数個の１があるのか、偶数個の１があるのかを再び判定する。偶数個の１があるならば、おそらくはビットの１個にエラーがある。パリティ・エラーが検出されると、パリティ回路は割り込みを生成し、この割り込みが、プロセッサに停止を命令して、誤ったメモリが実行中または実行可能なプロセスを崩壊させないようにする。
【００１０】
パリティ検査は、単ビットのエラー検出を提供するが、メモリ・エラーを訂正しない。さらには、パリティ検査は、エラーの存在を判定するだけで、エラーを訂正することはない。ＥＣＣは、単ビットおよび多ビットの両エラーを検出するだけでなく、単ビットまたは多ビットのエラーを訂正することもできる。ＥＣＣは、特殊なアルゴリズムを使用して、情報を、保護されたデータにおける単ビットまたは多ビットのエラーの回復を可能にするのに十分な詳細を含むビット・ブロックに符号化する。単ビットまたは多ビットのエラーの訂正は、使用されるＥＣＣアルゴリズムに依存する。ＥＣＣは、訂正不可能なエラーを検出すると、システムにシャットダウンを命令してデータ破損を回避させる割り込みを生成する。
【００１１】
【発明が解決しようとする課題】
従来のエラー検出／訂正機構に伴う一つの問題は、システム割り込みの頻度が望まれるよりも高いことである。割り込みは、障害の性質およびシステムのソフトウェア能力に依存して、システムまたはプロセッサのリセットを生じさせるおそれがある。割り込みは、それによって生じるシステム休止時間、データ損失および生産性損失のため、望ましいものではない。
【００１２】
したがって、システム割り込みを最小限にしながらエラーを検出するための構造および技術の必要性が残る。システムは、単ビットまたは多ビットのエラーを検出することができ、なおもシステム割り込みを回避するべきである。
【００１３】
【課題を解決するための手段】
本発明は一般に、エラーがないかデータを検査し、エラーが検出されるならば、そのデータの有効コピーがシステム中で利用可能であるかどうかを判定する方法およびシステムを提供する。
【００１４】
本発明の一つの態様では、ディレクトリベースのデータ処理システムにおいてデータを転送する方法が提供される。方法は、要求装置により、要求装置に対応する局所メモリに含まれるデータにアクセスするステップと、データ中にエラー状態が存在するかどうかを判定するステップと、エラー状態が存在するならば、遠隔メモリからデータを要求するステップとを含む。一つの実施態様では、遠隔メモリからデータを要求するステップは、まずディレクトリにアクセスしてデータの状態を判定することを含む。状態が、データが遠隔メモリで利用可能であることを示すならば、要求装置と遠隔メモリとを結合する相互接続部に要求を発する。
【００１５】
本発明のもう一つの態様では、データ処理システムは、第一のプロセッサ、第一のメモリおよびディレクトリを有する第一のノードと、第二のプロセッサおよび第二のメモリを有する第二のノードと、第一のノードと第二のノードとを結合する相互接続部とを含む。データ処理システムは、第一のプロセッサにより、第一のメモリに含まれるデータにアクセスすることと、データ中にエラー状態が存在するかどうかを判定することと、エラー状態が存在するならば、第二のメモリからデータを要求することとを含むプロセスを実行するように設計されている。
【００１６】
本発明のさらに別の態様では、分散共用メモリを有するディレクトリベースのデータ処理システムが提供される。データ処理システムは、第一のプロセッサ、第一のメモリ、第一のメモリ制御装置および第一のメモリの１個以上のメモリ・ブロックの状態データを含む第一のディレクトリを少なくとも含む第一のノードと、第二のプロセッサ、第二のメモリ、第二のメモリ制御装置および第二のメモリの１個以上のメモリ・ブロックの状態データを含む第二のディレクトリを少なくとも含む第二のノードと、第一のノードと第二のノードとを結合する相互接続部とを含む。第一のメモリ制御装置は、第一のメモリに含まれるデータにアクセスし、データ中にエラー状態が存在するかどうかを判定し、エラー状態が存在するならば、データの要求を相互接続部に発するように構成されている。
【００１７】
本発明のこれらおよび他の特徴および目的は、以下の詳細な説明および添付図面を参照することによって当業者に明らかになるであろう。
【００１８】
【発明の実施の形態】
本発明は一般に、多重処理環境においてエラーがないかデータを検査し、エラーが検出されるならば、そのデータの有効コピーがシステム中で利用可能であるかどうかを判定する方法およびシステムを提供する。データの有効コピーが利用可能であるならば、割り込みを生成することなく、データを、そのデータを要求した装置（たとえばプロセッサおよび／またはメモリ制御装置）に提供する。本発明は、有利にも、要求されたメモリ・ブロックの遠隔コピーが存在しない場合にだけシステム割り込みを生成することにより、システム利用性を増大させる。
【００１９】
一つの実施態様では、要求装置（たとえばメモリ制御装置）がメモリ読み出し要求を発して、特定の記憶場所に記憶されたデータが望まれることを示す。メモリ制御装置は、要求されたメモリ・ブロックの有効コピーが対応するメモリ中に常駐するかどうかを判定する。対応するメモリは、キャッシュ・メモリであってもよいし、非キャッシュ・メモリ（たとえばメイン・メモリ）であってもよい。メモリ・ブロックが常駐し、有効であるならば、メモリ制御装置は、応答して、要求されたデータ・ブロックのコピーを要求プロセッサに提供する。そうでなければ、メモリ・ブロックの遠隔コピーが要求される。
【００２０】
要求メモリ制御装置は、メモリ・ブロックを受け取り、必要なエラー検出および訂正ルーチンを実行することができる。受け取ったメモリ・ブロック内に回復不可能なエラーがある場合、要求メモリ制御装置は、そのメモリ・ブロックの遠隔コピーを要求する。一つの実施態様では、そのとき、対応する要求プロセッサは、回復不可能なエラー状態が存在するかどうかの判定の前に、遠隔メモリ・ブロックを処理し始める。
【００２１】
本明細書では特定のシステム・アーキテクチャ、たとえばＮＵＭＡおよびＣＯＭＡを参照するが、本発明は特定のアーキテクチャに限定されない。特定のアーキテクチャの参照は例示にすぎない。一般に、本発明は、いかなるマルチプロセッサ・ディレクトリベースのシステムにも応用することができる。
【００２２】
図１は、本発明を適用することができる一般的なマルチプロセッサ・システム１０、たとえばＮＵＭＡシステムの略ブロック図である。システム相互接続１２が、それぞれが少なくとも１個のプロセッサ、たとえばＰ０〜Ｐｉを有する複数のノード１４、たとえばノード０〜ノードｉを結合している。各プロセッサＰ０〜Ｐｉは、それに対応して、いかなる数のキャッシュ階層を含んでもよいキャッシュ・メモリ２４を有している。システム１０はさらに、入出力アダプタ１８および種々の入出力装置２０を含む。種々のキャッシュ・コヒーレンシー方式（当該技術で公知であるかないかを問わない）を使用して、データの最新有効バージョンがプロセッサＰ０〜Ｐｉのいずれによっても使用されることを保証してもよい。
【００２３】
図２は、システム相互接続１２に結合されたノード１４のさらなる詳細を提供する。ネットワーク・インタフェース２１が、ノード１４を相互接続１２に接続するのに必要な回路を提供する。ノード１４はまた、少なくとも１個のプロセッサ２２（図１のプロセッサＰｉに対応）を、一次またはオンボード・キャッシュおよび１個以上のオフチップまたは低レベルのキャッシュを含むことができるキャッシュ２４とともに含む。特定のキャッシュ・アーキテクチャが本発明を限定することはない。ノード１４はさらに、たとえば、ＮＵＭＡシステムにおけるようなメイン・メモリであってもよいし、ＣＯＭＡシステムにおけるようなアトラクション・メモリであってもよいメモリ２６を含む。メモリ制御装置２８が、ノード１４の通信キャッシュ・コヒーレンシー機能およびエラー検査をサポートする。別個に示すが、他の実施態様では、メモリ制御装置２８とプロセッサ２２とを、メモリ制御機能およびデータ処理を実行するように構成された統合処理装置とみなしてもよい。
【００２４】
メモリ２６は、メモリ・ブロック３０によって例示されるメモリ・ブロック中に配設されている。各ノード１４は、相互接続１２に結合されたノード１４ごとのメモリ２６のメモリ・ブロックへのエントリを含むディレクトリ２９を含む。ＮＵＭＡ型アーキテクチャの場合、ディレクトリ２９は、状態フィールド３２およびデータ・フィールド３４を含む。データ・フィールド３４は、メモリ２６内の一意アドレス・ブロック（たとえばメモリ・ブロック３０）に対応する。状態フィールド３２は、データ・フィールド３４中のデータが最新であるかどうか、データが、データを要求する特定のノード１４中に常駐する（すなわち、局所コピーである）のか、他のノード１４の他の場所に常駐する（すなわち、遠隔コピーである）のかに関する情報を含む。本明細書に使用する「遠隔コピー」とは、データを要求するノード以外のノード１４のメモリ中に位置するデータをいう。遠隔データは、データを要求する局所メモリ装置にアクセス可能であるいかなる形態のメモリ装置中に常駐することもできる。たとえば、遠隔データは、相互接続１２に接続された別のノード１４のプロセッサのキャッシュ・メモリまたはメイン・メモリ中に常駐することもできる。
【００２５】
ＣＯＭＡ型アーキテクチャの場合、ディレクトリ２９はまた、アドレス・フィールド３５を含む。アドレス・フィールド３５は、いかなるときでも多数のデータ・ピースを特定のメモリ・ブロック３０にマッピングすることができるアーキテクチャのために設けられている。その結果、データの場所を追跡するために、ディレクトリ２９中にアドレス・フィールド３５を維持することが必要である。
【００２６】
一つの実施態様では、キャッシュの「状態」は、ＭＥＳＩプロトコルによって判定することができる。ＭＥＳＩプロトコル中のキャッシュ・データ・ブロックは、４種の状態―「Ｍ」（変更）、「Ｅ」（独占）、「Ｓ」（共用）または「Ｉ」（無効）―のいずれかである。ＭＥＳＩプロトコルの下では、各キャッシュ・エントリ（たとえば３２バイトのセクタ）は、エントリの状態を４種の可能な状態のうちから示す２個の追加ビットを有している。状態は、エントリの初期状態および要求プロセッサによって求められるアクセスのタイプに依存して変化することができ、要求プロセッサのキャッシュのエントリごとに特定の状態がセットされる。たとえば、セクタが「変更」状態にあるとき、アドレス指定されたセクタは、変更されたセクタを有するキャッシュ中でのみ有効であり、変更された値は、システム・メモリに書き戻されてはいない。セクタが「独占」であるとき、そのセクタは、記されたセクタだけに存在し、システム・メモリとで整合している。セクタが「共用」であるならば、そのセクタは、そのキャッシュおよび少なくとも一つの他のキャッシュで有効であり、共用セクタのすべてがシステム・メモリとで整合している。最後に、セクタが「無効」であるとき、そのセクタは、アドレス指定されたセクタがキャッシュ中に常駐しないことを示す。セクタが「変更」状態、「共用」状態または「無効」状態のいずれかにあるならば、そのセクタは、特定のバス・トランザクションに依存して状態間を移動することができる。「独占」状態にあるセクタは他のどの状態に移ることもできるが、セクタは、それが最初に「無効」であるならば、「独占」になることしかできない。ＭＥＳＩプロトコルは周知であるが、米国特許第５，９４６，７０９号明細書を参照することにより、さらに理解を深めることができる。さらには、本発明は、具体的なプロトコルに特定的ではなく、ＭＥＳＩは、利用することができる一つのプロトコルを例示するだけである。
【００２７】
図３は、本発明によって使用されるプロセス３００を示す流れ図である。ステップ３０２でプロセス３００が始まり、対象のプロセッサ２２がメモリ要求（すなわち、読み出しまたは取り出し）命令を発する。ステップ３０６で、メモリ制御装置２８が、メモリ２６中の各メモリ・ブロック３０の状態を追跡するために使用されるディレクトリ２９にアクセスし、審査する。ステップ３０８で、メモリ制御装置が、要求されたデータが局所的に有効であるかどうかを判定する。すなわち、局所データ（すなわち、要求プロセッサに対応するメモリに含まれるデータ）が有効であるかどうかの判定を下す。「有効」とは、データが異なるノード１４上の別のプロセッサによって変更されていないことをいう。要求されたデータが局所的に有効であり、利用可能であるならば、方法はステップ３１２に進み、局所データにアクセスする。
【００２８】
要求されたデータが局所的に有効または利用可能でないならば、プロセスはステップ３１０に進む。ステップ３１０で、遠隔取り出し要求をメモリ制御装置２８によって発して、データの遠隔コピーを取得する。ステップ３１４で、方法３００は、データが受け取られたかどうかを問い合わせる。プロセス３００は、遠隔データが受け取られるまでステップ３１４をループし続ける。ひとたびステップ３１４で遠隔データが受け取られると、方法３００は、論理ライン３２８に沿って進み、ステップ３２０で、データがプロセッサ２２０に送られることを示す。この処理はステップ３２４で完了する。
【００２９】
場合によっては、ステップ３１４でデータを受け取ったのち、ステップ３１６で局所メモリ・ディレクトリを更新する（データをメイン・メモリまたはアトラクション・メモリに書き込んでもよい）。そして、プロセス３００はステップ３１８で完了する。すると、その後は、同じメモリ制御装置／プロセッサによるデータの要求は、局所的にデータにアクセスすることができる（ステップ３１２）。
【００３０】
一つの実施態様では、ステップ３２０で遠隔コピーをプロセッサに送ったのち、エラー検査を実行してもよい。したがって、ステップ３１４でデータが受け取られたと判定されるならば、ステップ３２０でデータをプロセッサに送り、プロセッサが処理を始め、方法３００が継続する。パリティ検査機構が、受け取られたデータにパリティ・エラーがあると判定するならば、データ訂正アルゴリズムを実行することができる。受け取ったデータにエラーがないならば、データはプロセッサ中の実行ユニットに転送される。したがって、メモリ制御装置によって提供されて受け取られたデータは有効であると判定され、そのデータは、公知のシステムのメモリ制御装置中で起こるパリティおよびＥＣＣ処理に通常伴う待ち時間を被らずに、実行ユニットに転送される。
【００３１】
ステップ３１２で局所メモリアクセスを実行したならば、ステップ３２２でエラー判定を実施する。エラー状態が存在しない（または、従来の手段、たとえばＥＣＣによって訂正可能である）ならば、ステップ３２０でデータをプロセッサ２２に提供し、処理はステップ３２４で完了する。
【００３２】
局所データが、従来の方法によって訂正することができないエラー状態を含むならば、方法３００はステップ３３０に進み、データの遠隔コピーが利用可能であるかどうかを問い合わせる。たとえばＭＥＳＩプロトコルを使用する実施態様ならば、方法３００は、データの状態が共有であるかどうかを判定するであろう。データが遠隔場所で利用可能であるならば、方法３００はステップ３１０に進み、そこで、取り出し要求を発してデータの遠隔コピーを検索する。データが遠隔場所に常駐しないならば（ステップ３３０）、ステップ３３２で機械チェック割り込みを発し、診断ルーチンなどが実行される間、データ処理を停止する。したがって、本発明は、データ・エラーが生じたかどうかを判定し、訂正不可能なデータ・エラーがある場合、データのコピーを、利用可能であるならば、どこかよそから取得する。
【００３３】
本発明はまた、図４および５に関して以下に説明する、データ・エラー識別のさらなる特徴を含むことができる。図４および５それぞれの方法４００および５００は、図３のブロック３３４の中で実施することができる。ブロック３３４は、ひとたび要求されたデータが受け取られると、ステップ３１４から論理ライン３３８に沿って進み、共用状態を有する局所データのエラー状態である場合、ステップ３３０から論理ライン３３６に沿って進む。一つの実施態様では、方法３００は、論理ライン３２８から進むステップと並列に、論理ライン３３６および３３８に沿って進む。したがって、上述したように、エラー判定を下す前に、ステップ３１０で発された遠隔取り出しから得られたデータを処理することができる。さらに、方法４００および５００におけるパリティおよびＥＣＣの使用は例示にすぎない。本発明は、パリティ、ＥＣＣまたは他の特定の検出機構の使用を必要とするわけではないことを理解すべきである。データ・エラーの何らかの表示が必要とされるすべてである。
【００３４】
まず図４を参照すると、論理ライン３３６（ステップ３３０から）がステップ４０２に進み、システムが、ＮＵＭＡ型または他のシステムではなく、ＣＯＭＡ型システムであるかどうかを問い合わせる。システムがＣＯＭＡ型であるならば、ステップ４０４で、メモリ・ブロックを、局所プロセッサにとって使用不能または無効としてマークする。ステップ４０４は、データを動的に割り当てし直すことができるハードウェアを有するキャッシュ専用システムで実施してもよい任意のステップである。ステップ４０４は、より高速のハードウェア部品が無効データをモニタするための機構を提供する。いずれの場合でも、方法はステップ４０６に進み、そこでシステムが、障害のあるＦＲＵ（フィールド交換可能ユニット）を判定するためにサービス・プロセッサが使用することができるよう、エラーを記録する。システムは、たとえばどのビットが故障したのかを知ることにより、故障カードまたはＤＩＭＭを判定することができる。一つの実施態様では、故障ビットは、障害のある局所データ（全データ・ビットおよびパリティもしくはＥＣＣビット）を、ステップ３１０で任意の経路３３８を介して遠隔取り出し要求から受け取った正常なデータとで比較することによって判定される。遠隔取り出しからのおそらくは正常なデータにマッチさせることができない局所データに含まれるビットは、故障ビットと見なされる。訂正不可能なエラー（ＵＥ）による故障ビットは通常、認知されない。したがって、公知のシステムは通常、データが多数のカードまたはメモリ・モジュールに分散している場合、故障カード／メモリ・モジュールを隔離することはできない。
【００３５】
ひとたびステップ４０６でこのエラー・データが記録されると、ステップ４０８で、オペレーティング・システムは、オペレーティング・システムがそのエラーを処理するよう通知される。たとえば、オペレーティング・システムは、致命的なエラーが起こる前に、メモリの故障区域にアクセスする現在のタスクを終わらせることができるかもしれない。
【００３６】
図５の方法は、ブロック３３４の他の方法を提供する。ステップ５０２で、要求ノードが、ステップ３１２でアクセスされたどのビットが不良であるのかを具体的に判定する。一つの実施態様では、ステップ５０２は、図４のステップ４０６に関して上述した方法で達成される。すなわち、プロセッサ／メモリ制御装置が、ステップ３１２で受け取った障害のある局所データ（全データ・ビットおよびエラー検出ビット、たとえばパリティもしくはＥＣＣビット）を、ステップ３１０で遠隔取り出し要求から受け取った正常なデータとで比較する。遠隔取り出しからのおそらくは正常なデータにマッチさせることができない局所データに含まれるビットは、故障ビットと見なされる。ステップ５０４で、メモリ制御装置は、不良データを有していたアドレスに、ステップ３１０の遠隔取り出しから得られたおそらくは正常なデータを書き込む。次にステップ５０６で、メモリ制御装置は、書き込まれたばかりのアドレスから読み出しを行い、ステップ５０８で、エラー検出を実行する。エラーが検出されないならば、方法はステップ５１０に進み、エラーが訂正されているという指示を出し、ステップ５１２で、訂正可能なエラーが生じたことを記録する。
【００３７】
ステップ５０８でエラーが検出されると、メモリ制御装置は、ステップ５１４で、そのエラーが訂正不可能であるかどうかを判定する。訂正不可能なエラーは、データに含まれるエラーが変化していないか、悪化していることを示す。エラーが訂正不可能であるならば、プロセスは、図４に関して記載したように継続する。したがって、ステップ４０２で、システムがＣＯＭＡ型システムであるかどうかを判定し、そうであるならば、ステップ４０４でメモリ・ブロックをマークする。システム・アーキテクチャにかかわらず、方法５００は、ステップ４０６でエラー・データを記録し、ステップ４０８でオペレーティング・システムに通知し、ステップ４１０で処理を完了する。
【００３８】
ステップ５１４での訂正可能なエラーは、故障ビットの少なくとも一部がステップ５０２〜５０６によって訂正されており、ステップ５０８で検出された残りの故障ビットが、メモリ制御装置の訂正機構によって訂正可能であるビットの数に等しいか、それ未満であることを示す。したがって、残りの故障ビットを訂正したのち、方法５００から抜けることができる。
【００３９】
しかし、図５に示す実施態様では、次に方法５００は、ステップ５０８での故障ビットのいずれかの部分がハード・エラーによるかどうか、すなわち、同じビットが繰り返し障害を起こすかどうかを判定する。ステップ５１６で、方法５００は、どのビットが不良であるかを判定する。すなわち、ステップ５０６から受け取ったデータを、ステップ３１０で発された遠隔データ取り出しから受け取ったデータとで比較する。遠隔データに含まれない、ステップ５０６から受け取ったデータに含まれるビットは、おそらくは不良ビットである。
【００４０】
その後、ステップ５１８で、ステップ５１６で判定された不良データ・ビットのいずれかが元の不良データ・ビット、すなわち、ステップ５０２で判定された不良ビットのいずれかにマッチするかどうか比較を実施する。故障ビットがマッチしないならば、ステップ５０８での故障ビットの１個以上がステップ３２２での故障ビットとは異なり、ソフト・エラーが生じたことが示唆される。そして、方法５００はステップ５１２に進んで、訂正可能なエラーが起こったことを記録する。
【００４１】
ステップ５１８でデータ・ビットがマッチするならば、ステップ５２０で、障害がハード・エラーであることを記す。すなわち、障害は、ステップ３２２での初期エラー状態以来、繰り返し故障するビットにおけるエラーによるものであり、ステップ５０２〜５０４によって訂正されなかった。ステップ５２２によって示す一つの実施態様では、次にメモリ制御装置がステア操作（システムでサポートされているならば）を実行して、故障ビットをハード・エラーで置き換える。ステアリングは、選択された冗長データ・ビットを使用して、記憶動作中に検出された故障データ・ビットを置き換える。ビットをステアリングしたのち、ステア・クリーンアップ処理を実行する。ステア・クリーンアップは、元のデータ・ビットを使用してデータを取り出し、ＥＣＣを使用してデータを訂正したのち、冗長データ・ビットを使用して、訂正したデータを同じアドレスに書き戻す。したがって、ステア操作は、ハード故障ビットによるその後のエラーの危険性を減らす。ステア操作が好ましいが、本発明は、後続のエラーの危険性を緩和するための他の訂正機構の使用をも考慮する。そして、方法５００はステップ５１２に進み、そこで訂正可能なエラーの発生が記録される。
【００４２】
前記は、本発明の好ましい実施態様に関するが、本発明の基本的範囲を逸することなく、本発明の他の実施態様を考案することができる。本発明の範囲は、請求の範囲によって決定される。
【００４３】
まとめとして、本発明の構成に関して以下の事項を開示する。
（１）ディレクトリベースのデータ処理システムにおけるデータを転送する方法であって、
ａ）要求装置により、前記要求装置に対応する局所メモリに含まれるデータにアクセスするステップと、
ｂ）前記データ中にエラー状態が存在するかどうかを判定するステップと、
ｃ）エラー状態が存在するならば、ディレクトリにアクセスして、遠隔メモリ中に前記データが利用可能であるかどうかを判定するステップと、
ｄ）前記データが前記遠隔メモリで利用可能であるならば、前記遠隔メモリからデータを要求するステップと、
を含む方法。
（２）ｅ）前記遠隔メモリからデータを受け取るステップと、
ｆ）前記データを前記要求装置に供給するステップと、
をさらに含む、上記（１）記載の方法。
（３）ステップｄ）が、前記要求装置と前記遠隔メモリとを結合する相互接続部に要求を発することを含む、上記（１）記載の方法。
（４）ステップｂ）がエラー状態が存在しないと判定するならば、前記データを前記要求装置に提供するステップをさらに含む、上記（１）記載の方法。
（５）前記要求装置が、メモリ制御装置、プロセッサおよびそれらの組み合わせから選択されるいずれか一つである、上記（１）記載の方法。
（６）前記遠隔メモリから受け取った前記データで前記局所メモリを更新するステップをさらに含む、上記（１）記載の方法。
（７）エラー状態が存在すると判定したのち、データ・エラーを記録するステップをさらに含む、上記（１）記載の方法。
（８）ステップａ）の前に前記データの状態を判定するステップをさらに含む、上記（１）記載の方法。
（９）前記データの状態の判定が、前記ディレクトリにアクセスすることを含む、上記（８）記載の方法。
（１０）ステップｃ）が、前記データの状態を判定することを含む、上記（１）記載の方法。
（１１）前記データの状態を判定するステップが、前記データが共用状態にあるかどうかを判定することを含む、上記（１０）記載の方法。
（１２）ｅ）前記データを含む前記局所メモリのアドレスに位置する１個以上の故障ビットを識別するステップと、
ｆ）前記アドレスにある１個以上のビットを前記遠隔メモリからの１個以上のビットで上書きするステップと、
ｇ）前記アドレスから読み出すステップと、
をさらに含む、上記（１）記載の方法。
（１３）ｈ）ステップｇ）で読み出した前記データに含まれる１個以上の故障ビットを識別するステップと、
ｉ）ステップｈ）で識別した前記１個以上の故障ビットのいずれかが、ステップｅ）で識別した前記１個以上の故障ビットにマッチするかどうかを判定するステップと、
をさらに含む、上記（１２）記載の方法。
（１４）ステップｅ）およびｈ）が、前記局所メモリに含まれるデータを前記遠隔メモリから受け取った前記データとで比較することを含む、上記（１３）記載の方法。
（１５）ｈ）前記局所メモリのアドレスに位置する前記データを前記遠隔メモリからのデータで上書きするステップと、
ｉ）前記アドレスから読み出すステップと、
ｊ）ステップｉ）で前記アドレスから読み出したデータ中にエラー状態が存在するかどうかを判定するステップと、
ｋ）ステップｊ）でエラー状態が存在するならば、ステップｂ）で前記データに含まれていた１個以上の故障ビットがステップｉ）で前記データに含まれていた１個以上の故障ビットにマッチするかどうかを判定するステップと、
をさらに含む、上記（１２）記載の方法。
（１６）エラー・データを記録するステップをさらに含む、上記（１５）記載の方法。
（１７）第一の処理装置、第一のメモリおよびディレクトリを有する第一のノードと、第二の処理装置および第二のメモリを有する第二のノードと、前記第一のノードと前記第二のノードとを結合する相互接続とを含むデータ処理システムであって、
前記第一の処理装置が、
ａ）前記第一のメモリに含まれるデータにアクセスするステップと、
ｂ）前記データ中にエラー状態が存在するかどうかを判定するステップと、
ｃ）エラー状態が存在するならば、前記ディレクトリにアクセスして、前記データが前記システム上の別の場所に常駐するかどうかを判定するステップと、
を実行するように構成されているデータ処理システム。
（１８）前記第一の処理装置が、ステップａ）〜ｃ）を実行するように構成されたメモリ制御装置を含む、上記（１７）記載のデータ処理システム。
（１９）前記第一のノードおよび前記第二のノードが、ＮＵＭＡ（不均一メモリ・アクセス）アーキテクチャおよびＣＯＭＡ（キャッシュ専用メモリ・アーキテクチャ）から選択されるいずれか一つのアーキテクチャの構成部分である、上記（１７）記載のデータ処理システム。
（２０）前記第一の処理装置が、ステップｃ）で前記データの状態を判定するように構成されている、上記（１７）記載のデータ処理システム。
（２１）前記第一の処理装置が、ステップａ）の前に前記ディレクトリにアクセスして、前記データが前記第一のメモリ中に位置するかどうかを判定するように構成されている、上記（１７）記載のデータ処理システム。
（２２）前記第一の処理装置がプロセッサおよびメモリ制御装置を含み、前記メモリ制御装置が、ステップａ）〜ｃ）を実行するように構成され、さらに、
ｄ）エラー状態が存在しないならば、前記データを前記プロセッサに提供するステップを実行するように構成されている、上記（１７）記載のデータ処理システム。
（２３）前記第一のノードおよび前記相互接続部の少なくとも一つが、
ｄ）前記システム上の別の場所に前記データが常駐するならば、前記第二のノードから前記データを要求するステップをさらに実行するように構成されている、上記（１７）記載のデータ処理システム。
（２４）前記第一のノードおよび前記相互接続部の少なくとも一つが、
ｅ）前記データを受け取るステップと、
ｆ）前記第二のノードから受け取ったデータで前記第一のメモリを更新するステップと、
をさらに実行するように構成されている、上記（２３）記載のデータ処理システム。
（２５）前記第一の処理装置が、ステップａ〜ｃ）を実行するように構成され、さらに、第一のメモリでアクセスされた前記データを、前記第二のノードから受け取ったデータとで比較して、前記第一のメモリから要求された前記データの１個以上の故障ビットを判定するように設計されているメモリ制御装置を含む、上記（２４）記載のデータ処理システム。
（２６）前記第一のノードおよび前記相互接続部の少なくとも一つが、
ｅ）前記第二のノードから前記データを受け取るステップと、
ｆ）前記第二のノードから受け取った前記データを前記第一の処理装置に供給するステップと、
ｇ）前記第二のノードから受け取った前記データで前記第一のメモリを更新するステップと、
ｈ）ステップｂ）でエラー状態が存在しないならば、ステップｈ）における前記データを前記第一の処理装置に提供するステップと、
をさらに実行するように構成されている、上記（２３）記載のデータ処理システム。
（２７）前記第一の処理装置が、ステップａ）の前に前記ディレクトリにアクセスして、前記データが前記第一のメモリ中に位置するかどうかを判定するように構成されている、上記（２６）記載のデータ処理システム。
（２８）分散共用メモリを有するディレクトリベースのデータ処理システムであって、
ａ）第一のプロセッサ、第一のメモリ、第一のメモリ制御装置および前記第一のメモリの１個以上のメモリ・ブロックの状態データを含む第一のディレクトリを少なくとも含む第一のノードと、
ｂ）第二のプロセッサ、第二のメモリ、第二のメモリ制御装置および前記第二のメモリの１個以上のメモリ・ブロックの状態データを含む第二のディレクトリを少なくとも含む第二のノードと、
ｃ）前記第一のノードと前記第二のノードとを結合する相互接続部と、
を含み、前記第一のメモリ制御装置が、前記第一のメモリに含まれるデータにアクセスし、前記データ中にエラー状態が存在するかどうかを判定し、エラー状態が存在するならば、前記データの要求を前記相互接続部に発するように構成されているディレクトリベースのデータ処理システム。
（２９）前記第一のプロセッサおよび前記第二のプロセッサが、ＮＵＭＡ（不均一メモリ・アクセス）アーキテクチャおよびＣＯＭＡ（キャッシュ専用メモリ・アーキテクチャ）から選択されるいずれか一つのアーキテクチャの構成部分である、上記（２８）記載のディレクトリベースのデータ処理システム。
（３０）前記第一のメモリ制御装置が、前記データにアクセスする前に、前記第一のディレクトリにアクセスして、前記第一のメモリに含まれる前記データの状態を判定するように設計されている、上記（２８）記載のディレクトリベースのデータ処理システム。
（３１）前記第一のメモリ制御装置が、前記要求を前記相互接続部に発する前に、前記ディレクトリにアクセスして、前記第一のノードが前記データの有効コピーを含むかどうかを判定するように設計されている、上記（２８）記載のディレクトリベースのデータ処理システム。
（３２）エラー状態が存在するならば、前記第一のノード、前記第二のノードおよび前記相互接続部の一つ以上が、前記データが前記第二のノードに含まれるかどうかを判定し、含まれるならば、前記データを前記第一のノードに提供するように構成されている、上記（２８）記載のディレクトリベースのデータ処理システム。
（３３）前記第一のメモリ制御装置がさらに、前記エラー状態が訂正不可能なエラーであるのか、訂正可能なエラーであるのかを判定するように構成されている、上記（２８）記載のディレクトリベースのデータ処理システム。
（３４）前記第一のメモリ制御装置がさらに、前記第一のメモリに含まれる前記データのどのビットがデータ・エラーを含むのかを識別するように構成されている、上記（２８）記載のディレクトリベースのデータ処理システム。
（３５）前記第一のメモリ制御装置がさらに、前記第一のメモリに含まれる前記データを、前記相互接続に発された前記要求に応答して受け取ったデータとで比較するように構成されている、上記（２８）記載のディレクトリベースのデータ処理システム。
【図面の簡単な説明】
【図１】 本発明を適用することができるマルチプロセッサ・システムのブロック図である。
【図２】 図１のノードの詳細ブロック図である。
【図３】 本発明の方法の簡略化論理流れ図である。
【図４】 図３の方法のさらなる詳細を示す論理流れ図である。
【図５】 図４に代わる論理の流れを示すもう一つの論理流れ図である。
【符号の説明】
１０ マルチプロセッサ・システム
１２ システム相互接続
１４ ノード
１８ 入出力アダプタ
２０ 入出力装置
２１ ネットワーク・インタフェース
２２ プロセッサ
２４ キャッシュ・メモリ
２６ メモリ
２８ メモリ制御装置
２９ ディレクトリ
３０ メモリ・ブロック
３２ 状態フィールド
３４ データ・フィールド
３５ アドレス・フィールド
【発明の属する技術分野】
本発明は一般に、コンピュータ・システムの分野に関する。
【０００２】
【従来の技術】
多重処理コンピュータ・システムは一般に、コンピューティング・タスクを実行するために用いることができる２個以上のプロセッサを含む。ある特定のコンピューティング・タスクを一つのプロセッサに実行させ、その間、他のプロセッサが無関係な処理タスクを実行することができる。あるいはまた、特定のタスクの構成部を多数のプロセッサの間で分散させて、コンピューティング・タスクを実行するのに要する時間を減らすこともできる。概して、プロセッサとは、１個以上のオペランドに対して演算を実行して結果を出すように構成された装置である。演算は、プロセッサによって実行される命令に応答して実行される。
【０００３】
単一アドレスベースおよびコヒーレント・キャッシュを有するマルチプロセッサ・コンピュータ・システムは、汎用性で強力なコンピューティング環境を提供する。単一アドレスベースとコヒーレント・キャッシュとがいっしょになって、データ分割および動的ロード平衡化の問題を緩和する。単一アドレスベースおよびコヒーレント・キャッシュはまた、コンパイラ、標準オペレーティング・システムおよび多重プログラミングを並列化するためのよりよいサポートを提供し、それにより、より汎用性で効果的な機械の利用を可能にする。
【０００４】
多重処理コンピュータ・システムのための一つの構造は、分散メモリ・アーキテクチャである。分散メモリ・アーキテクチャは通常、それぞれが１個以上のプロセッサおよびメモリを有する多数のノードを含む。ノードは、ノード間の通信を可能にするネットワークに結合されている。全体としてとらえると、全ノードの合わせたメモリが、各ノードがアクセスすることができる「共用メモリ」を形成している。通常、ディレクトリを使用して、どのノードが特定のアドレスに対応するデータのコピーを有するかを識別する。データのコヒーレンシーは、ディレクトリを審査してデータの状態を判定することによって維持される。
【０００５】
出現した代表的なディレクトリベースのキャッシュ・コヒーレンシー・アーキテクチャは、たとえば、ＣＣ−ＮＵＭＡ（キャッシュ・コヒーレント不均一メモリ・アクセス）およびＣＯＭＡ（キャッシュ専用メモリ・アーキテクチャ）を含む。ＣＣ−ＮＵＭＡおよびＣＯＭＡの両アーキテクチャは、分散メモリ、スケーラブル相互接続ネットワークおよびディレクトリベースのキャッシュ・コヒーレンスを有している。分散メモリおよびスケーラブル相互接続ネットワークは、必要なスケーラブル・メモリ帯域幅を提供し、ディレクトリベースの方式は、キャッシュ・コヒーレンスを提供する。ＣＣ−ＮＵＭＡアーキテクチャとは対照的に、ＣＯＭＡアーキテクチャは、ノードごとのメイン・メモリを、アトラクション・メモリ（ＡＭ）とも呼ばれる大きな二次または三次キャッシュに変換する。変換は、メイン・メモリ中のデータのキャッシュライン・サイズ区分にタグを付加することによって実施される。その結果、システム中のデータ項目の場所がデータ項目の物理アドレスと切り離され、そのデータ項目は、メモリ参照パターンに依存して、メイン・メモリ中で自動的に移送または複製される。
【０００６】
残念ながら、ＣＯＭＡおよびＮＵＭＡアーキテクチャでは、データが破損し、メモリのエラーを生じさせるおそれがある。そのようなエラーは、電子的記憶装置としてのメモリが、元々記憶されていたものとは異なる情報を戻すことがあるために生じる。一般に、メモリ・システム中では通常、２種類のエラー―反復性（ハード）エラーおよび一過性（ソフト）エラー―が生じる。ハード・エラーは、ハードウェア障害の結果であることが多く、一貫性かつ反復性であるため、診断し、訂正することは比較的やさしい。ソフト・エラーは、ビットが一度は誤った値を読み出すが、その後は正しく機能するときに生じる。
【０００７】
メモリ・エラーからの唯一の保護は、メモリ・エラー検出または訂正プロトコルを使用することである。一部のプロトコルは、８ビットのデータ・バイトの１ビットでしかエラーを検出することができないが、他のものは、２個以上のビットでエラーを自動的に検出することができる。他のプロトコルは、単一および／または多ビット・メモリ障害を検出し、訂正することができる。
【０００８】
一般的なエラー検出／訂正機構は、パリティ、エラー訂正符号（ＥＣＣ）などを含む。パリティおよびエラー訂正符号（ＥＣＣ）を使用して、中央処理装置（ＣＰＵ）と、メモリ、プログラム入出力（ＰＩＯ）装置などとの間で転送されるデータの信頼性を立証することは当該技術で周知である。さらには、ＥＣＣは、メモリ中の特定のデータ・エラーから回復するために使用される。
【０００９】
パリティ検査が使用可能になると、バイトがメモリに書き込まれるたび、パリティ生成／検査機構と呼ばれる論理回路がそのバイトを審査し、データ・バイトが偶数個の１を有するのか、奇数個の１を有するのかを判定する。偶数個の１を有するならば、９番目の（パリティ）ビットが１にセットされ、そうでなければ、０にセットされる。このように、元の８個のデータ・ビット中で何個のビットが１にセットされていようと、９個のビットがいっしょになって奇数個の１を構成する。この機構は奇数パリティと呼ばれている。データがメモリから読み出されるとき、パリティ回路はエラー検査機構として働く。この機構は、９ビットすべてを読み出し、奇数個の１があるのか、偶数個の１があるのかを再び判定する。偶数個の１があるならば、おそらくはビットの１個にエラーがある。パリティ・エラーが検出されると、パリティ回路は割り込みを生成し、この割り込みが、プロセッサに停止を命令して、誤ったメモリが実行中または実行可能なプロセスを崩壊させないようにする。
【００１０】
パリティ検査は、単ビットのエラー検出を提供するが、メモリ・エラーを訂正しない。さらには、パリティ検査は、エラーの存在を判定するだけで、エラーを訂正することはない。ＥＣＣは、単ビットおよび多ビットの両エラーを検出するだけでなく、単ビットまたは多ビットのエラーを訂正することもできる。ＥＣＣは、特殊なアルゴリズムを使用して、情報を、保護されたデータにおける単ビットまたは多ビットのエラーの回復を可能にするのに十分な詳細を含むビット・ブロックに符号化する。単ビットまたは多ビットのエラーの訂正は、使用されるＥＣＣアルゴリズムに依存する。ＥＣＣは、訂正不可能なエラーを検出すると、システムにシャットダウンを命令してデータ破損を回避させる割り込みを生成する。
【００１１】
【発明が解決しようとする課題】
従来のエラー検出／訂正機構に伴う一つの問題は、システム割り込みの頻度が望まれるよりも高いことである。割り込みは、障害の性質およびシステムのソフトウェア能力に依存して、システムまたはプロセッサのリセットを生じさせるおそれがある。割り込みは、それによって生じるシステム休止時間、データ損失および生産性損失のため、望ましいものではない。
【００１２】
したがって、システム割り込みを最小限にしながらエラーを検出するための構造および技術の必要性が残る。システムは、単ビットまたは多ビットのエラーを検出することができ、なおもシステム割り込みを回避するべきである。
【００１３】
【課題を解決するための手段】
本発明は一般に、エラーがないかデータを検査し、エラーが検出されるならば、そのデータの有効コピーがシステム中で利用可能であるかどうかを判定する方法およびシステムを提供する。
【００１４】
本発明の一つの態様では、ディレクトリベースのデータ処理システムにおいてデータを転送する方法が提供される。方法は、要求装置により、要求装置に対応する局所メモリに含まれるデータにアクセスするステップと、データ中にエラー状態が存在するかどうかを判定するステップと、エラー状態が存在するならば、遠隔メモリからデータを要求するステップとを含む。一つの実施態様では、遠隔メモリからデータを要求するステップは、まずディレクトリにアクセスしてデータの状態を判定することを含む。状態が、データが遠隔メモリで利用可能であることを示すならば、要求装置と遠隔メモリとを結合する相互接続部に要求を発する。
【００１５】
本発明のもう一つの態様では、データ処理システムは、第一のプロセッサ、第一のメモリおよびディレクトリを有する第一のノードと、第二のプロセッサおよび第二のメモリを有する第二のノードと、第一のノードと第二のノードとを結合する相互接続部とを含む。データ処理システムは、第一のプロセッサにより、第一のメモリに含まれるデータにアクセスすることと、データ中にエラー状態が存在するかどうかを判定することと、エラー状態が存在するならば、第二のメモリからデータを要求することとを含むプロセスを実行するように設計されている。
【００１６】
本発明のさらに別の態様では、分散共用メモリを有するディレクトリベースのデータ処理システムが提供される。データ処理システムは、第一のプロセッサ、第一のメモリ、第一のメモリ制御装置および第一のメモリの１個以上のメモリ・ブロックの状態データを含む第一のディレクトリを少なくとも含む第一のノードと、第二のプロセッサ、第二のメモリ、第二のメモリ制御装置および第二のメモリの１個以上のメモリ・ブロックの状態データを含む第二のディレクトリを少なくとも含む第二のノードと、第一のノードと第二のノードとを結合する相互接続部とを含む。第一のメモリ制御装置は、第一のメモリに含まれるデータにアクセスし、データ中にエラー状態が存在するかどうかを判定し、エラー状態が存在するならば、データの要求を相互接続部に発するように構成されている。
【００１７】
本発明のこれらおよび他の特徴および目的は、以下の詳細な説明および添付図面を参照することによって当業者に明らかになるであろう。
【００１８】
【発明の実施の形態】
本発明は一般に、多重処理環境においてエラーがないかデータを検査し、エラーが検出されるならば、そのデータの有効コピーがシステム中で利用可能であるかどうかを判定する方法およびシステムを提供する。データの有効コピーが利用可能であるならば、割り込みを生成することなく、データを、そのデータを要求した装置（たとえばプロセッサおよび／またはメモリ制御装置）に提供する。本発明は、有利にも、要求されたメモリ・ブロックの遠隔コピーが存在しない場合にだけシステム割り込みを生成することにより、システム利用性を増大させる。
【００１９】
一つの実施態様では、要求装置（たとえばメモリ制御装置）がメモリ読み出し要求を発して、特定の記憶場所に記憶されたデータが望まれることを示す。メモリ制御装置は、要求されたメモリ・ブロックの有効コピーが対応するメモリ中に常駐するかどうかを判定する。対応するメモリは、キャッシュ・メモリであってもよいし、非キャッシュ・メモリ（たとえばメイン・メモリ）であってもよい。メモリ・ブロックが常駐し、有効であるならば、メモリ制御装置は、応答して、要求されたデータ・ブロックのコピーを要求プロセッサに提供する。そうでなければ、メモリ・ブロックの遠隔コピーが要求される。
【００２０】
要求メモリ制御装置は、メモリ・ブロックを受け取り、必要なエラー検出および訂正ルーチンを実行することができる。受け取ったメモリ・ブロック内に回復不可能なエラーがある場合、要求メモリ制御装置は、そのメモリ・ブロックの遠隔コピーを要求する。一つの実施態様では、そのとき、対応する要求プロセッサは、回復不可能なエラー状態が存在するかどうかの判定の前に、遠隔メモリ・ブロックを処理し始める。
【００２１】
本明細書では特定のシステム・アーキテクチャ、たとえばＮＵＭＡおよびＣＯＭＡを参照するが、本発明は特定のアーキテクチャに限定されない。特定のアーキテクチャの参照は例示にすぎない。一般に、本発明は、いかなるマルチプロセッサ・ディレクトリベースのシステムにも応用することができる。
【００２２】
図１は、本発明を適用することができる一般的なマルチプロセッサ・システム１０、たとえばＮＵＭＡシステムの略ブロック図である。システム相互接続１２が、それぞれが少なくとも１個のプロセッサ、たとえばＰ０〜Ｐｉを有する複数のノード１４、たとえばノード０〜ノードｉを結合している。各プロセッサＰ０〜Ｐｉは、それに対応して、いかなる数のキャッシュ階層を含んでもよいキャッシュ・メモリ２４を有している。システム１０はさらに、入出力アダプタ１８および種々の入出力装置２０を含む。種々のキャッシュ・コヒーレンシー方式（当該技術で公知であるかないかを問わない）を使用して、データの最新有効バージョンがプロセッサＰ０〜Ｐｉのいずれによっても使用されることを保証してもよい。
【００２３】
図２は、システム相互接続１２に結合されたノード１４のさらなる詳細を提供する。ネットワーク・インタフェース２１が、ノード１４を相互接続１２に接続するのに必要な回路を提供する。ノード１４はまた、少なくとも１個のプロセッサ２２（図１のプロセッサＰｉに対応）を、一次またはオンボード・キャッシュおよび１個以上のオフチップまたは低レベルのキャッシュを含むことができるキャッシュ２４とともに含む。特定のキャッシュ・アーキテクチャが本発明を限定することはない。ノード１４はさらに、たとえば、ＮＵＭＡシステムにおけるようなメイン・メモリであってもよいし、ＣＯＭＡシステムにおけるようなアトラクション・メモリであってもよいメモリ２６を含む。メモリ制御装置２８が、ノード１４の通信キャッシュ・コヒーレンシー機能およびエラー検査をサポートする。別個に示すが、他の実施態様では、メモリ制御装置２８とプロセッサ２２とを、メモリ制御機能およびデータ処理を実行するように構成された統合処理装置とみなしてもよい。
【００２４】
メモリ２６は、メモリ・ブロック３０によって例示されるメモリ・ブロック中に配設されている。各ノード１４は、相互接続１２に結合されたノード１４ごとのメモリ２６のメモリ・ブロックへのエントリを含むディレクトリ２９を含む。ＮＵＭＡ型アーキテクチャの場合、ディレクトリ２９は、状態フィールド３２およびデータ・フィールド３４を含む。データ・フィールド３４は、メモリ２６内の一意アドレス・ブロック（たとえばメモリ・ブロック３０）に対応する。状態フィールド３２は、データ・フィールド３４中のデータが最新であるかどうか、データが、データを要求する特定のノード１４中に常駐する（すなわち、局所コピーである）のか、他のノード１４の他の場所に常駐する（すなわち、遠隔コピーである）のかに関する情報を含む。本明細書に使用する「遠隔コピー」とは、データを要求するノード以外のノード１４のメモリ中に位置するデータをいう。遠隔データは、データを要求する局所メモリ装置にアクセス可能であるいかなる形態のメモリ装置中に常駐することもできる。たとえば、遠隔データは、相互接続１２に接続された別のノード１４のプロセッサのキャッシュ・メモリまたはメイン・メモリ中に常駐することもできる。
【００２５】
ＣＯＭＡ型アーキテクチャの場合、ディレクトリ２９はまた、アドレス・フィールド３５を含む。アドレス・フィールド３５は、いかなるときでも多数のデータ・ピースを特定のメモリ・ブロック３０にマッピングすることができるアーキテクチャのために設けられている。その結果、データの場所を追跡するために、ディレクトリ２９中にアドレス・フィールド３５を維持することが必要である。
【００２６】
一つの実施態様では、キャッシュの「状態」は、ＭＥＳＩプロトコルによって判定することができる。ＭＥＳＩプロトコル中のキャッシュ・データ・ブロックは、４種の状態―「Ｍ」（変更）、「Ｅ」（独占）、「Ｓ」（共用）または「Ｉ」（無効）―のいずれかである。ＭＥＳＩプロトコルの下では、各キャッシュ・エントリ（たとえば３２バイトのセクタ）は、エントリの状態を４種の可能な状態のうちから示す２個の追加ビットを有している。状態は、エントリの初期状態および要求プロセッサによって求められるアクセスのタイプに依存して変化することができ、要求プロセッサのキャッシュのエントリごとに特定の状態がセットされる。たとえば、セクタが「変更」状態にあるとき、アドレス指定されたセクタは、変更されたセクタを有するキャッシュ中でのみ有効であり、変更された値は、システム・メモリに書き戻されてはいない。セクタが「独占」であるとき、そのセクタは、記されたセクタだけに存在し、システム・メモリとで整合している。セクタが「共用」であるならば、そのセクタは、そのキャッシュおよび少なくとも一つの他のキャッシュで有効であり、共用セクタのすべてがシステム・メモリとで整合している。最後に、セクタが「無効」であるとき、そのセクタは、アドレス指定されたセクタがキャッシュ中に常駐しないことを示す。セクタが「変更」状態、「共用」状態または「無効」状態のいずれかにあるならば、そのセクタは、特定のバス・トランザクションに依存して状態間を移動することができる。「独占」状態にあるセクタは他のどの状態に移ることもできるが、セクタは、それが最初に「無効」であるならば、「独占」になることしかできない。ＭＥＳＩプロトコルは周知であるが、米国特許第５，９４６，７０９号明細書を参照することにより、さらに理解を深めることができる。さらには、本発明は、具体的なプロトコルに特定的ではなく、ＭＥＳＩは、利用することができる一つのプロトコルを例示するだけである。
【００２７】
図３は、本発明によって使用されるプロセス３００を示す流れ図である。ステップ３０２でプロセス３００が始まり、対象のプロセッサ２２がメモリ要求（すなわち、読み出しまたは取り出し）命令を発する。ステップ３０６で、メモリ制御装置２８が、メモリ２６中の各メモリ・ブロック３０の状態を追跡するために使用されるディレクトリ２９にアクセスし、審査する。ステップ３０８で、メモリ制御装置が、要求されたデータが局所的に有効であるかどうかを判定する。すなわち、局所データ（すなわち、要求プロセッサに対応するメモリに含まれるデータ）が有効であるかどうかの判定を下す。「有効」とは、データが異なるノード１４上の別のプロセッサによって変更されていないことをいう。要求されたデータが局所的に有効であり、利用可能であるならば、方法はステップ３１２に進み、局所データにアクセスする。
【００２８】
要求されたデータが局所的に有効または利用可能でないならば、プロセスはステップ３１０に進む。ステップ３１０で、遠隔取り出し要求をメモリ制御装置２８によって発して、データの遠隔コピーを取得する。ステップ３１４で、方法３００は、データが受け取られたかどうかを問い合わせる。プロセス３００は、遠隔データが受け取られるまでステップ３１４をループし続ける。ひとたびステップ３１４で遠隔データが受け取られると、方法３００は、論理ライン３２８に沿って進み、ステップ３２０で、データがプロセッサ２２０に送られることを示す。この処理はステップ３２４で完了する。
【００２９】
場合によっては、ステップ３１４でデータを受け取ったのち、ステップ３１６で局所メモリ・ディレクトリを更新する（データをメイン・メモリまたはアトラクション・メモリに書き込んでもよい）。そして、プロセス３００はステップ３１８で完了する。すると、その後は、同じメモリ制御装置／プロセッサによるデータの要求は、局所的にデータにアクセスすることができる（ステップ３１２）。
【００３０】
一つの実施態様では、ステップ３２０で遠隔コピーをプロセッサに送ったのち、エラー検査を実行してもよい。したがって、ステップ３１４でデータが受け取られたと判定されるならば、ステップ３２０でデータをプロセッサに送り、プロセッサが処理を始め、方法３００が継続する。パリティ検査機構が、受け取られたデータにパリティ・エラーがあると判定するならば、データ訂正アルゴリズムを実行することができる。受け取ったデータにエラーがないならば、データはプロセッサ中の実行ユニットに転送される。したがって、メモリ制御装置によって提供されて受け取られたデータは有効であると判定され、そのデータは、公知のシステムのメモリ制御装置中で起こるパリティおよびＥＣＣ処理に通常伴う待ち時間を被らずに、実行ユニットに転送される。
【００３１】
ステップ３１２で局所メモリアクセスを実行したならば、ステップ３２２でエラー判定を実施する。エラー状態が存在しない（または、従来の手段、たとえばＥＣＣによって訂正可能である）ならば、ステップ３２０でデータをプロセッサ２２に提供し、処理はステップ３２４で完了する。
【００３２】
局所データが、従来の方法によって訂正することができないエラー状態を含むならば、方法３００はステップ３３０に進み、データの遠隔コピーが利用可能であるかどうかを問い合わせる。たとえばＭＥＳＩプロトコルを使用する実施態様ならば、方法３００は、データの状態が共有であるかどうかを判定するであろう。データが遠隔場所で利用可能であるならば、方法３００はステップ３１０に進み、そこで、取り出し要求を発してデータの遠隔コピーを検索する。データが遠隔場所に常駐しないならば（ステップ３３０）、ステップ３３２で機械チェック割り込みを発し、診断ルーチンなどが実行される間、データ処理を停止する。したがって、本発明は、データ・エラーが生じたかどうかを判定し、訂正不可能なデータ・エラーがある場合、データのコピーを、利用可能であるならば、どこかよそから取得する。
【００３３】
本発明はまた、図４および５に関して以下に説明する、データ・エラー識別のさらなる特徴を含むことができる。図４および５それぞれの方法４００および５００は、図３のブロック３３４の中で実施することができる。ブロック３３４は、ひとたび要求されたデータが受け取られると、ステップ３１４から論理ライン３３８に沿って進み、共用状態を有する局所データのエラー状態である場合、ステップ３３０から論理ライン３３６に沿って進む。一つの実施態様では、方法３００は、論理ライン３２８から進むステップと並列に、論理ライン３３６および３３８に沿って進む。したがって、上述したように、エラー判定を下す前に、ステップ３１０で発された遠隔取り出しから得られたデータを処理することができる。さらに、方法４００および５００におけるパリティおよびＥＣＣの使用は例示にすぎない。本発明は、パリティ、ＥＣＣまたは他の特定の検出機構の使用を必要とするわけではないことを理解すべきである。データ・エラーの何らかの表示が必要とされるすべてである。
【００３４】
まず図４を参照すると、論理ライン３３６（ステップ３３０から）がステップ４０２に進み、システムが、ＮＵＭＡ型または他のシステムではなく、ＣＯＭＡ型システムであるかどうかを問い合わせる。システムがＣＯＭＡ型であるならば、ステップ４０４で、メモリ・ブロックを、局所プロセッサにとって使用不能または無効としてマークする。ステップ４０４は、データを動的に割り当てし直すことができるハードウェアを有するキャッシュ専用システムで実施してもよい任意のステップである。ステップ４０４は、より高速のハードウェア部品が無効データをモニタするための機構を提供する。いずれの場合でも、方法はステップ４０６に進み、そこでシステムが、障害のあるＦＲＵ（フィールド交換可能ユニット）を判定するためにサービス・プロセッサが使用することができるよう、エラーを記録する。システムは、たとえばどのビットが故障したのかを知ることにより、故障カードまたはＤＩＭＭを判定することができる。一つの実施態様では、故障ビットは、障害のある局所データ（全データ・ビットおよびパリティもしくはＥＣＣビット）を、ステップ３１０で任意の経路３３８を介して遠隔取り出し要求から受け取った正常なデータとで比較することによって判定される。遠隔取り出しからのおそらくは正常なデータにマッチさせることができない局所データに含まれるビットは、故障ビットと見なされる。訂正不可能なエラー（ＵＥ）による故障ビットは通常、認知されない。したがって、公知のシステムは通常、データが多数のカードまたはメモリ・モジュールに分散している場合、故障カード／メモリ・モジュールを隔離することはできない。
【００３５】
ひとたびステップ４０６でこのエラー・データが記録されると、ステップ４０８で、オペレーティング・システムは、オペレーティング・システムがそのエラーを処理するよう通知される。たとえば、オペレーティング・システムは、致命的なエラーが起こる前に、メモリの故障区域にアクセスする現在のタスクを終わらせることができるかもしれない。
【００３６】
図５の方法は、ブロック３３４の他の方法を提供する。ステップ５０２で、要求ノードが、ステップ３１２でアクセスされたどのビットが不良であるのかを具体的に判定する。一つの実施態様では、ステップ５０２は、図４のステップ４０６に関して上述した方法で達成される。すなわち、プロセッサ／メモリ制御装置が、ステップ３１２で受け取った障害のある局所データ（全データ・ビットおよびエラー検出ビット、たとえばパリティもしくはＥＣＣビット）を、ステップ３１０で遠隔取り出し要求から受け取った正常なデータとで比較する。遠隔取り出しからのおそらくは正常なデータにマッチさせることができない局所データに含まれるビットは、故障ビットと見なされる。ステップ５０４で、メモリ制御装置は、不良データを有していたアドレスに、ステップ３１０の遠隔取り出しから得られたおそらくは正常なデータを書き込む。次にステップ５０６で、メモリ制御装置は、書き込まれたばかりのアドレスから読み出しを行い、ステップ５０８で、エラー検出を実行する。エラーが検出されないならば、方法はステップ５１０に進み、エラーが訂正されているという指示を出し、ステップ５１２で、訂正可能なエラーが生じたことを記録する。
【００３７】
ステップ５０８でエラーが検出されると、メモリ制御装置は、ステップ５１４で、そのエラーが訂正不可能であるかどうかを判定する。訂正不可能なエラーは、データに含まれるエラーが変化していないか、悪化していることを示す。エラーが訂正不可能であるならば、プロセスは、図４に関して記載したように継続する。したがって、ステップ４０２で、システムがＣＯＭＡ型システムであるかどうかを判定し、そうであるならば、ステップ４０４でメモリ・ブロックをマークする。システム・アーキテクチャにかかわらず、方法５００は、ステップ４０６でエラー・データを記録し、ステップ４０８でオペレーティング・システムに通知し、ステップ４１０で処理を完了する。
【００３８】
ステップ５１４での訂正可能なエラーは、故障ビットの少なくとも一部がステップ５０２〜５０６によって訂正されており、ステップ５０８で検出された残りの故障ビットが、メモリ制御装置の訂正機構によって訂正可能であるビットの数に等しいか、それ未満であることを示す。したがって、残りの故障ビットを訂正したのち、方法５００から抜けることができる。
【００３９】
しかし、図５に示す実施態様では、次に方法５００は、ステップ５０８での故障ビットのいずれかの部分がハード・エラーによるかどうか、すなわち、同じビットが繰り返し障害を起こすかどうかを判定する。ステップ５１６で、方法５００は、どのビットが不良であるかを判定する。すなわち、ステップ５０６から受け取ったデータを、ステップ３１０で発された遠隔データ取り出しから受け取ったデータとで比較する。遠隔データに含まれない、ステップ５０６から受け取ったデータに含まれるビットは、おそらくは不良ビットである。
【００４０】
その後、ステップ５１８で、ステップ５１６で判定された不良データ・ビットのいずれかが元の不良データ・ビット、すなわち、ステップ５０２で判定された不良ビットのいずれかにマッチするかどうか比較を実施する。故障ビットがマッチしないならば、ステップ５０８での故障ビットの１個以上がステップ３２２での故障ビットとは異なり、ソフト・エラーが生じたことが示唆される。そして、方法５００はステップ５１２に進んで、訂正可能なエラーが起こったことを記録する。
【００４１】
ステップ５１８でデータ・ビットがマッチするならば、ステップ５２０で、障害がハード・エラーであることを記す。すなわち、障害は、ステップ３２２での初期エラー状態以来、繰り返し故障するビットにおけるエラーによるものであり、ステップ５０２〜５０４によって訂正されなかった。ステップ５２２によって示す一つの実施態様では、次にメモリ制御装置がステア操作（システムでサポートされているならば）を実行して、故障ビットをハード・エラーで置き換える。ステアリングは、選択された冗長データ・ビットを使用して、記憶動作中に検出された故障データ・ビットを置き換える。ビットをステアリングしたのち、ステア・クリーンアップ処理を実行する。ステア・クリーンアップは、元のデータ・ビットを使用してデータを取り出し、ＥＣＣを使用してデータを訂正したのち、冗長データ・ビットを使用して、訂正したデータを同じアドレスに書き戻す。したがって、ステア操作は、ハード故障ビットによるその後のエラーの危険性を減らす。ステア操作が好ましいが、本発明は、後続のエラーの危険性を緩和するための他の訂正機構の使用をも考慮する。そして、方法５００はステップ５１２に進み、そこで訂正可能なエラーの発生が記録される。
【００４２】
前記は、本発明の好ましい実施態様に関するが、本発明の基本的範囲を逸することなく、本発明の他の実施態様を考案することができる。本発明の範囲は、請求の範囲によって決定される。
【００４３】
まとめとして、本発明の構成に関して以下の事項を開示する。
（１）ディレクトリベースのデータ処理システムにおけるデータを転送する方法であって、
ａ）要求装置により、前記要求装置に対応する局所メモリに含まれるデータにアクセスするステップと、
ｂ）前記データ中にエラー状態が存在するかどうかを判定するステップと、
ｃ）エラー状態が存在するならば、ディレクトリにアクセスして、遠隔メモリ中に前記データが利用可能であるかどうかを判定するステップと、
ｄ）前記データが前記遠隔メモリで利用可能であるならば、前記遠隔メモリからデータを要求するステップと、
を含む方法。
（２）ｅ）前記遠隔メモリからデータを受け取るステップと、
ｆ）前記データを前記要求装置に供給するステップと、
をさらに含む、上記（１）記載の方法。
（３）ステップｄ）が、前記要求装置と前記遠隔メモリとを結合する相互接続部に要求を発することを含む、上記（１）記載の方法。
（４）ステップｂ）がエラー状態が存在しないと判定するならば、前記データを前記要求装置に提供するステップをさらに含む、上記（１）記載の方法。
（５）前記要求装置が、メモリ制御装置、プロセッサおよびそれらの組み合わせから選択されるいずれか一つである、上記（１）記載の方法。
（６）前記遠隔メモリから受け取った前記データで前記局所メモリを更新するステップをさらに含む、上記（１）記載の方法。
（７）エラー状態が存在すると判定したのち、データ・エラーを記録するステップをさらに含む、上記（１）記載の方法。
（８）ステップａ）の前に前記データの状態を判定するステップをさらに含む、上記（１）記載の方法。
（９）前記データの状態の判定が、前記ディレクトリにアクセスすることを含む、上記（８）記載の方法。
（１０）ステップｃ）が、前記データの状態を判定することを含む、上記（１）記載の方法。
（１１）前記データの状態を判定するステップが、前記データが共用状態にあるかどうかを判定することを含む、上記（１０）記載の方法。
（１２）ｅ）前記データを含む前記局所メモリのアドレスに位置する１個以上の故障ビットを識別するステップと、
ｆ）前記アドレスにある１個以上のビットを前記遠隔メモリからの１個以上のビットで上書きするステップと、
ｇ）前記アドレスから読み出すステップと、
をさらに含む、上記（１）記載の方法。
（１３）ｈ）ステップｇ）で読み出した前記データに含まれる１個以上の故障ビットを識別するステップと、
ｉ）ステップｈ）で識別した前記１個以上の故障ビットのいずれかが、ステップｅ）で識別した前記１個以上の故障ビットにマッチするかどうかを判定するステップと、
をさらに含む、上記（１２）記載の方法。
（１４）ステップｅ）およびｈ）が、前記局所メモリに含まれるデータを前記遠隔メモリから受け取った前記データとで比較することを含む、上記（１３）記載の方法。
（１５）ｈ）前記局所メモリのアドレスに位置する前記データを前記遠隔メモリからのデータで上書きするステップと、
ｉ）前記アドレスから読み出すステップと、
ｊ）ステップｉ）で前記アドレスから読み出したデータ中にエラー状態が存在するかどうかを判定するステップと、
ｋ）ステップｊ）でエラー状態が存在するならば、ステップｂ）で前記データに含まれていた１個以上の故障ビットがステップｉ）で前記データに含まれていた１個以上の故障ビットにマッチするかどうかを判定するステップと、
をさらに含む、上記（１２）記載の方法。
（１６）エラー・データを記録するステップをさらに含む、上記（１５）記載の方法。
（１７）第一の処理装置、第一のメモリおよびディレクトリを有する第一のノードと、第二の処理装置および第二のメモリを有する第二のノードと、前記第一のノードと前記第二のノードとを結合する相互接続とを含むデータ処理システムであって、
前記第一の処理装置が、
ａ）前記第一のメモリに含まれるデータにアクセスするステップと、
ｂ）前記データ中にエラー状態が存在するかどうかを判定するステップと、
ｃ）エラー状態が存在するならば、前記ディレクトリにアクセスして、前記データが前記システム上の別の場所に常駐するかどうかを判定するステップと、
を実行するように構成されているデータ処理システム。
（１８）前記第一の処理装置が、ステップａ）〜ｃ）を実行するように構成されたメモリ制御装置を含む、上記（１７）記載のデータ処理システム。
（１９）前記第一のノードおよび前記第二のノードが、ＮＵＭＡ（不均一メモリ・アクセス）アーキテクチャおよびＣＯＭＡ（キャッシュ専用メモリ・アーキテクチャ）から選択されるいずれか一つのアーキテクチャの構成部分である、上記（１７）記載のデータ処理システム。
（２０）前記第一の処理装置が、ステップｃ）で前記データの状態を判定するように構成されている、上記（１７）記載のデータ処理システム。
（２１）前記第一の処理装置が、ステップａ）の前に前記ディレクトリにアクセスして、前記データが前記第一のメモリ中に位置するかどうかを判定するように構成されている、上記（１７）記載のデータ処理システム。
（２２）前記第一の処理装置がプロセッサおよびメモリ制御装置を含み、前記メモリ制御装置が、ステップａ）〜ｃ）を実行するように構成され、さらに、
ｄ）エラー状態が存在しないならば、前記データを前記プロセッサに提供するステップを実行するように構成されている、上記（１７）記載のデータ処理システム。
（２３）前記第一のノードおよび前記相互接続部の少なくとも一つが、
ｄ）前記システム上の別の場所に前記データが常駐するならば、前記第二のノードから前記データを要求するステップをさらに実行するように構成されている、上記（１７）記載のデータ処理システム。
（２４）前記第一のノードおよび前記相互接続部の少なくとも一つが、
ｅ）前記データを受け取るステップと、
ｆ）前記第二のノードから受け取ったデータで前記第一のメモリを更新するステップと、
をさらに実行するように構成されている、上記（２３）記載のデータ処理システム。
（２５）前記第一の処理装置が、ステップａ〜ｃ）を実行するように構成され、さらに、第一のメモリでアクセスされた前記データを、前記第二のノードから受け取ったデータとで比較して、前記第一のメモリから要求された前記データの１個以上の故障ビットを判定するように設計されているメモリ制御装置を含む、上記（２４）記載のデータ処理システム。
（２６）前記第一のノードおよび前記相互接続部の少なくとも一つが、
ｅ）前記第二のノードから前記データを受け取るステップと、
ｆ）前記第二のノードから受け取った前記データを前記第一の処理装置に供給するステップと、
ｇ）前記第二のノードから受け取った前記データで前記第一のメモリを更新するステップと、
ｈ）ステップｂ）でエラー状態が存在しないならば、ステップｈ）における前記データを前記第一の処理装置に提供するステップと、
をさらに実行するように構成されている、上記（２３）記載のデータ処理システム。
（２７）前記第一の処理装置が、ステップａ）の前に前記ディレクトリにアクセスして、前記データが前記第一のメモリ中に位置するかどうかを判定するように構成されている、上記（２６）記載のデータ処理システム。
（２８）分散共用メモリを有するディレクトリベースのデータ処理システムであって、
ａ）第一のプロセッサ、第一のメモリ、第一のメモリ制御装置および前記第一のメモリの１個以上のメモリ・ブロックの状態データを含む第一のディレクトリを少なくとも含む第一のノードと、
ｂ）第二のプロセッサ、第二のメモリ、第二のメモリ制御装置および前記第二のメモリの１個以上のメモリ・ブロックの状態データを含む第二のディレクトリを少なくとも含む第二のノードと、
ｃ）前記第一のノードと前記第二のノードとを結合する相互接続部と、
を含み、前記第一のメモリ制御装置が、前記第一のメモリに含まれるデータにアクセスし、前記データ中にエラー状態が存在するかどうかを判定し、エラー状態が存在するならば、前記データの要求を前記相互接続部に発するように構成されているディレクトリベースのデータ処理システム。
（２９）前記第一のプロセッサおよび前記第二のプロセッサが、ＮＵＭＡ（不均一メモリ・アクセス）アーキテクチャおよびＣＯＭＡ（キャッシュ専用メモリ・アーキテクチャ）から選択されるいずれか一つのアーキテクチャの構成部分である、上記（２８）記載のディレクトリベースのデータ処理システム。
（３０）前記第一のメモリ制御装置が、前記データにアクセスする前に、前記第一のディレクトリにアクセスして、前記第一のメモリに含まれる前記データの状態を判定するように設計されている、上記（２８）記載のディレクトリベースのデータ処理システム。
（３１）前記第一のメモリ制御装置が、前記要求を前記相互接続部に発する前に、前記ディレクトリにアクセスして、前記第一のノードが前記データの有効コピーを含むかどうかを判定するように設計されている、上記（２８）記載のディレクトリベースのデータ処理システム。
（３２）エラー状態が存在するならば、前記第一のノード、前記第二のノードおよび前記相互接続部の一つ以上が、前記データが前記第二のノードに含まれるかどうかを判定し、含まれるならば、前記データを前記第一のノードに提供するように構成されている、上記（２８）記載のディレクトリベースのデータ処理システム。
（３３）前記第一のメモリ制御装置がさらに、前記エラー状態が訂正不可能なエラーであるのか、訂正可能なエラーであるのかを判定するように構成されている、上記（２８）記載のディレクトリベースのデータ処理システム。
（３４）前記第一のメモリ制御装置がさらに、前記第一のメモリに含まれる前記データのどのビットがデータ・エラーを含むのかを識別するように構成されている、上記（２８）記載のディレクトリベースのデータ処理システム。
（３５）前記第一のメモリ制御装置がさらに、前記第一のメモリに含まれる前記データを、前記相互接続に発された前記要求に応答して受け取ったデータとで比較するように構成されている、上記（２８）記載のディレクトリベースのデータ処理システム。
【図面の簡単な説明】
【図１】 本発明を適用することができるマルチプロセッサ・システムのブロック図である。
【図２】 図１のノードの詳細ブロック図である。
【図３】 本発明の方法の簡略化論理流れ図である。
【図４】 図３の方法のさらなる詳細を示す論理流れ図である。
【図５】 図４に代わる論理の流れを示すもう一つの論理流れ図である。
【符号の説明】
１０ マルチプロセッサ・システム
１２ システム相互接続
１４ ノード
１８ 入出力アダプタ
２０ 入出力装置
２１ ネットワーク・インタフェース
２２ プロセッサ
２４ キャッシュ・メモリ
２６ メモリ
２８ メモリ制御装置
２９ ディレクトリ
３０ メモリ・ブロック
３２ 状態フィールド
３４ データ・フィールド
３５ アドレス・フィールド
Claims (15)
- ディレクトリベースのデータ処理システムにおけるデータを転送する方法であって、
ａ）要求装置により、前記要求装置に対応する局所メモリに含まれるデータにアクセスするステップと、
ｂ）前記データ中にエラー状態が存在するかどうかを判定するステップと、
ｃ）エラー状態が存在するならば、ディレクトリにアクセスして、遠隔メモリ中に前記データが利用可能であるかどうかを判定するステップと、
ｄ）前記データが前記遠隔メモリで利用可能であるならば、前記遠隔メモリからデータを要求するステップと、
ｅ）前記局所メモリのアドレスに位置する前記データを前記遠隔メモリからのデータで上書きするステップと、
ｆ）前記アドレスから読み出すステップと、
ｇ）ステップｆ）で前記アドレスから読み出したデータ中にエラー状態が存在するかどうかを判定するステップと、
ｈ）ステップｇ）でエラー状態が存在するならば、ステップｂ）で前記データに含まれていた１個以上の故障ビットがステップｆ）で前記データに含まれていた１個以上の故障ビットにマッチするかどうかを判定するステップと、
ｉ）ステップｈ）で故障ビットにマッチするならば、故障ビットをハードエラーで置き換えるステップと
を含む方法。 - ステップｄ）が、前記要求装置と前記遠隔メモリとを結合する相互接続部に要求を発することを含む、請求項１記載の方法。
- ステップｂ）がエラー状態が存在しないと判定するならば、前記データを前記要求装置に提供するステップをさらに含む、請求項１記載の方法。
- 前記要求装置が、メモリ制御装置、プロセッサおよびそれらの組み合わせから選択されるいずれか一つである、請求項１記載の方法。
- エラー状態が存在すると判定したのち、データ・エラーを記録するステップをさらに含む、請求項１記載の方法。
- ステップａ）の前に前記データの状態を判定するステップをさらに含む、請求項１記載の方法。
- 前記データの状態の判定が、前記ディレクトリにアクセスすることを含む、請求項６記載の方法。
- ステップｃ）が、前記データの状態を判定することを含む、請求項１記載の方法。
- 前記データの状態を判定するステップが、前記データが共用状態にあるかどうかを判定することを含む、請求項８記載の方法。
- 第一の処理装置、第一のメモリおよびディレクトリを有する第一のノードと、第二の処理装置および第二のメモリを有する第二のノードと、前記第一のノードと前記第二のノードとを結合する相互接続部とを含むデータ処理システムであって、
前記第一の処理装置が、
ａ）前記第一のメモリに含まれるデータにアクセスするステップと、
ｂ）前記データ中にエラー状態が存在するかどうかを判定するステップと、
ｃ）エラー状態が存在するならば、前記ディレクトリにアクセスして、前記データが前記システム上の別の場所に常駐するかどうかを判定するステップと、
ｄ）前記システム上の別の場所に前記データが常駐するならば、前記第二のノードから前記データを要求するステップと、
ｅ）前記第二のノードから前記データを受け取るステップと、
ｆ）前記第二のノードから受け取った前記データを前記第一の処理装置に供給するステップと、
ｇ）前記第二のノードから受け取った前記データで前記第一のメモリを更新するステップと、
ｈ）前記第一のメモリから読み出すステップと、
ｉ）ステップｈ）で前記第一のメモリから読み出したデータ中にエラー状態が存在するかどうかを判定するステップと、
ｊ）ステップｉ）でエラー状態が存在するならば、ステップｂ）で前記データに含まれていた該当する故障ビットがステップｈ）で前記データに含まれていた故障ビットにマッチするかどうかを判定するステップと、
ｋ）ステップｊ）で故障ビットにマッチするならば、故障ビットをハードエラーで置き換えるステップと
を実行するように構成されているデータ処理システム。 - 前記第一の処理装置が、ステップａ）〜ｃ）を実行するように構成されたメモリ制御装置を含む、請求項１０記載のデータ処理システム。
- 前記第一のノードおよび前記第二のノードが、ＮＵＭＡ（不均一メモリ・アクセス）アーキテクチャおよびＣＯＭＡ（キャッシュ専用メモリ・アーキテクチャ）から選択されるいずれか一つのアーキテクチャの構成部分である、請求項１０記載のデータ処理システム。
- 前記第一の処理装置が、ステップｃ）で前記データの状態を判定するように構成されている、請求項１０記載のデータ処理システム。
- 前記第一の処理装置が、ステップａ）の前に前記ディレクトリにアクセスして、前記データが前記第一のメモリ中に位置するかどうかを判定するように構成されている、請求項１０記載のデータ処理システム。
- 前記第一の処理装置が、ステップｂ）がエラー状態が存在しないと判断するならば、前記データをプロセッサに提供するステップを実行するように構成されている、請求項１０記載のデータ処理システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/497,589 US6615375B1 (en) | 2000-02-03 | 2000-02-03 | Method and apparatus for tolerating unrecoverable errors in a multi-processor data processing system |
| US09/497589 | 2000-02-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001249911A JP2001249911A (ja) | 2001-09-14 |
| JP3851093B2 true JP3851093B2 (ja) | 2006-11-29 |
Family
ID=23977478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001025699A Expired - Fee Related JP3851093B2 (ja) | 2000-02-03 | 2001-02-01 | データ転送方法及びデータ処理システム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6615375B1 (ja) |
| JP (1) | JP3851093B2 (ja) |
| KR (1) | KR100406575B1 (ja) |
| CN (1) | CN1220949C (ja) |
| TW (1) | TW484069B (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7885336B2 (en) * | 2001-02-05 | 2011-02-08 | Ati Technologies Ulc | Programmable shader-based motion compensation apparatus and method |
| US7035470B2 (en) * | 2001-02-05 | 2006-04-25 | Ati Technologies, Inc. | System for handling errors related to IDCT data and method thereof |
| US6954875B2 (en) * | 2001-03-12 | 2005-10-11 | Honeywell International Inc. | Method of recovering a flight critical computer after a radiation event |
| US6851071B2 (en) * | 2001-10-11 | 2005-02-01 | International Business Machines Corporation | Apparatus and method of repairing a processor array for a failure detected at runtime |
| US7043666B2 (en) * | 2002-01-22 | 2006-05-09 | Dell Products L.P. | System and method for recovering from memory errors |
| TW200417851A (en) * | 2003-03-07 | 2004-09-16 | Wistron Corp | Computer system capable of maintaining system's stability while memory is unstable and memory control method |
| JP2008507777A (ja) * | 2004-07-23 | 2008-03-13 | イーエムシー コーポレイション | データレプリカのリモート記憶 |
| WO2006067655A1 (en) * | 2004-12-21 | 2006-06-29 | Koninklijke Philips Electronics N.V. | Method and apparatus for error correction of optical disc data |
| US7366846B2 (en) * | 2005-01-14 | 2008-04-29 | International Business Machines Corporation | Redirection of storage access requests |
| US7328315B2 (en) * | 2005-02-03 | 2008-02-05 | International Business Machines Corporation | System and method for managing mirrored memory transactions and error recovery |
| JP5021978B2 (ja) * | 2006-08-11 | 2012-09-12 | エヌイーシーコンピュータテクノ株式会社 | マルチプロセッサシステム及びその動作方法 |
| US7966526B2 (en) * | 2007-04-10 | 2011-06-21 | Galileo Tools Gmbh | Software event recording and analysis system and method of use thereof |
| US20090150721A1 (en) * | 2007-12-10 | 2009-06-11 | International Business Machines Corporation | Utilizing A Potentially Unreliable Memory Module For Memory Mirroring In A Computing System |
| JP4878050B2 (ja) * | 2008-11-28 | 2012-02-15 | 富士通株式会社 | コンピュータ及び制御方法 |
| US8510615B2 (en) | 2009-10-22 | 2013-08-13 | Xerox Corporation | Virtual repair of digital media |
| US9128887B2 (en) * | 2012-08-20 | 2015-09-08 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Using a buffer to replace failed memory cells in a memory component |
| JP5800058B2 (ja) * | 2014-05-26 | 2015-10-28 | 富士通株式会社 | 情報処理装置、制御方法および制御プログラム |
| US11544153B2 (en) * | 2020-03-12 | 2023-01-03 | International Business Machines Corporation | Memory error handling during and/or immediately after a virtual machine migration |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4044337A (en) | 1975-12-23 | 1977-08-23 | International Business Machines Corporation | Instruction retry mechanism for a data processing system |
| US4538265A (en) | 1983-03-24 | 1985-08-27 | International Business Machines Corporation | Method and apparatus for instruction parity error recovery |
| JPH0680492B2 (ja) | 1984-09-29 | 1994-10-12 | 株式会社日立製作所 | エラー回復方法 |
| US4924466A (en) | 1988-06-30 | 1990-05-08 | International Business Machines Corp. | Direct hardware error identification method and apparatus for error recovery in pipelined processing areas of a computer system |
| US5280615A (en) * | 1990-03-23 | 1994-01-18 | Unisys Corporation | Out of order job processing method and apparatus |
| DE69227956T2 (de) | 1991-07-18 | 1999-06-10 | Tandem Computers Inc., Cupertino, Calif. | Multiprozessorsystem mit gespiegeltem Speicher |
| US5406504A (en) * | 1993-06-30 | 1995-04-11 | Digital Equipment | Multiprocessor cache examiner and coherency checker |
| US5771247A (en) | 1994-10-03 | 1998-06-23 | International Business Machines Corporation | Low latency error reporting for high performance bus |
| WO1996035169A1 (en) | 1995-05-05 | 1996-11-07 | Silicon Graphics, Inc. | Page migration in a non-uniform memory access (numa) system |
| US5720029A (en) | 1995-07-25 | 1998-02-17 | International Business Machines Corporation | Asynchronously shadowing record updates in a remote copy session using track arrays |
| US5768623A (en) * | 1995-09-19 | 1998-06-16 | International Business Machines Corporation | System and method for sharing multiple storage arrays by dedicating adapters as primary controller and secondary controller for arrays reside in different host computers |
| US5870537A (en) | 1996-03-13 | 1999-02-09 | International Business Machines Corporation | Concurrent switch to shadowed device for storage controller and device errors |
| US5933653A (en) | 1996-05-31 | 1999-08-03 | Emc Corporation | Method and apparatus for mirroring data in a remote data storage system |
| US5892970A (en) | 1996-07-01 | 1999-04-06 | Sun Microsystems, Inc. | Multiprocessing system configured to perform efficient block copy operations |
| US6029231A (en) * | 1996-12-03 | 2000-02-22 | Emc Corporation | Retrieval of data stored on redundant disks across a network using remote procedure calls |
| US5881282A (en) | 1996-12-10 | 1999-03-09 | Intel Corporation | Controlling ill-behaved computer add-on device through a virtual execution mode |
| US6073209A (en) * | 1997-03-31 | 2000-06-06 | Ark Research Corporation | Data storage controller providing multiple hosts with access to multiple storage subsystems |
| US5946709A (en) | 1997-04-14 | 1999-08-31 | International Business Machines Corporation | Shared intervention protocol for SMP bus using caches, snooping, tags and prioritizing |
| EP0908825B1 (en) * | 1997-10-10 | 2002-09-04 | Bull S.A. | A data-processing system with cc-NUMA (cache coherent, non-uniform memory access) architecture and remote access cache incorporated in local memory |
| US6260069B1 (en) * | 1998-02-10 | 2001-07-10 | International Business Machines Corporation | Direct data retrieval in a distributed computing system |
| US6088815A (en) * | 1998-02-23 | 2000-07-11 | International Busines Machines Corporation | Automatic data recovery for a duplex pair |
| US6151685A (en) * | 1998-05-15 | 2000-11-21 | International Business Machines Corporation | System and method for recovering a segment directory for a log structured array |
| US6275900B1 (en) * | 1999-01-27 | 2001-08-14 | International Business Machines Company | Hybrid NUMA/S-COMA system and method |
| US6449731B1 (en) * | 1999-03-03 | 2002-09-10 | Tricord Systems, Inc. | Self-healing computer system storage |
| US6725343B2 (en) * | 2000-10-05 | 2004-04-20 | Hewlett-Packard Development Company, L.P. | System and method for generating cache coherence directory entries and error correction codes in a multiprocessor system |
-
2000
- 2000-02-03 US US09/497,589 patent/US6615375B1/en not_active Expired - Fee Related
- 2000-11-20 TW TW089124581A patent/TW484069B/zh not_active IP Right Cessation
-
2001
- 2001-01-22 KR KR10-2001-0003628A patent/KR100406575B1/ko not_active IP Right Cessation
- 2001-02-01 JP JP2001025699A patent/JP3851093B2/ja not_active Expired - Fee Related
- 2001-02-02 CN CNB011033703A patent/CN1220949C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1319807A (zh) | 2001-10-31 |
| KR100406575B1 (ko) | 2003-11-21 |
| KR20010078055A (ko) | 2001-08-20 |
| TW484069B (en) | 2002-04-21 |
| CN1220949C (zh) | 2005-09-28 |
| US6615375B1 (en) | 2003-09-02 |
| JP2001249911A (ja) | 2001-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3851093B2 (ja) | データ転送方法及びデータ処理システム | |
| EP1310873B1 (en) | Error recovery | |
| US9477550B2 (en) | ECC bypass using low latency CE correction with retry select signal | |
| US8205136B2 (en) | Fault tolerant encoding of directory states for stuck bits | |
| US6292906B1 (en) | Method and apparatus for detecting and compensating for certain snoop errors in a system with multiple agents having cache memories | |
| US5267242A (en) | Method and apparatus for substituting spare memory chip for malfunctioning memory chip with scrubbing | |
| EP0989492B1 (en) | Technique for correcting single-bit errors in caches with sub-block parity bits | |
| US6480975B1 (en) | ECC mechanism for set associative cache array | |
| US5875201A (en) | Second level cache having instruction cache parity error control | |
| US7895465B2 (en) | Memory preserved cache failsafe reboot mechanism | |
| US20090300298A1 (en) | Memory preserved cache to prevent data loss | |
| US6405322B1 (en) | System and method for recovery from address errors | |
| US6012127A (en) | Multiprocessor computing apparatus with optional coherency directory | |
| US6108753A (en) | Cache error retry technique | |
| US5632013A (en) | Memory and system for recovery/restoration of data using a memory controller | |
| US7689891B2 (en) | Method and system for handling stuck bits in cache directories | |
| JP3129224B2 (ja) | キャッシュメモリ装置 | |
| US7577890B2 (en) | Systems and methods for mitigating latency associated with error detection and correction | |
| US11593236B2 (en) | Preserving data integrity during controller failures | |
| US7062611B2 (en) | Dirty data protection for cache memories | |
| JP3788822B2 (ja) | コンピュータシステムおよびそのシステムにおける障害回復方法 | |
| JP3450132B2 (ja) | キャッシュ制御回路 | |
| EP0128353A2 (en) | Error recovery of non-store-through cache | |
| JPH0353660B2 (ja) | ||
| JPS60110047A (ja) | エラ−訂正方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050412 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20051207 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20051212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060322 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060622 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060831 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |