JP4586019B2 - 非故障ノードによる並列な回復 - Google Patents
非故障ノードによる並列な回復 Download PDFInfo
- Publication number
- JP4586019B2 JP4586019B2 JP2006522046A JP2006522046A JP4586019B2 JP 4586019 B2 JP4586019 B2 JP 4586019B2 JP 2006522046 A JP2006522046 A JP 2006522046A JP 2006522046 A JP2006522046 A JP 2006522046A JP 4586019 B2 JP4586019 B2 JP 4586019B2
- Authority
- JP
- Japan
- Prior art keywords
- recovery
- node
- nodes
- data items
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000011084 recovery Methods 0.000 title claims description 118
- 238000000034 method Methods 0.000 claims description 55
- 238000013507 mapping Methods 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 3
- 230000002085 persistent effect Effects 0.000 claims 15
- 238000004590 computer program Methods 0.000 claims 1
- 238000005192 partition Methods 0.000 description 34
- 230000015654 memory Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000012634 fragment Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
この発明は、共有されたディスクハードウェア上で稼動する非共有データベースシステムにおいてデータを管理するための技術に関する。
マルチプロセッシングコンピュータシステムは一般に、3つのカテゴリ、すなわち、全共有システム、共有ディスクシステム、および非共有システムに分類される。全共有システムにおいて、すべてのプロセッサ上のプロセスは、システム内のすべての揮発性メモリデバイス(以降、包括的に「メモリ」と称する)と、すべての不揮発性メモリデバイス(以降、包括的に「ディスク」と称する)とに対して直接のアクセスを有する。したがって、全共有の機能を提供するために、コンピュータのさまざまな構成要素間には高度な配線が必要とされる。加えて、全共有アーキテクチャには、スケーラビリティの限界が存在する。
共有ディスクデータベースは、データベースシステムによって管理されるすべてのデー
タが、データベースシステムにとって利用可能なすべての処理ノードの管理下にある(visible)という前提に基づき、仕事を調整する。その結果、共有ディスクデータベースでは、仕事中にアクセスされるであろうデータを含むディスクの位置に関係なく、サーバがいずれかのノード上のプロセスにいずれかの仕事を割当てることができる。
非共有データベースは、プロセスと同じノードに属するディスクにデータが含まれている場合に限り、そのプロセスがそのデータにアクセス可能であるものと想定する。したがって、特定のノードが、別のノードによって所有されるデータ項目についての演算が実行されることを望む場合、その特定のノードは、他のノードがその演算を実行するように、他のノードに要求を送信しなければならない。したがって、非共有データベースは、ノード間でデータを転送する代わりに「機能の転送」を実行すると言われる。
るデータを必要とするかもしれない。したがって、その1つのノードが酷使され、他のノードの計算リソースが十分に活用されない。作業負荷の「均衡を取り戻す」ために、非共有データベースをオフラインにすることができ、データ(およびその所有権)をノード間で再分配することができる。しかしながら、このプロセスは、潜在的に大量のデータの移動を伴い、作業負荷の偏りを一時的にしか解決しない恐れがある。
データベースサーバによる作業の継続を妨げる問題が生じたとき、データベースサーバの故障が生じる恐れがある。データベースサーバの故障は、停電等のハードウェアの問題、または、オペレーティングシステムもしくはデータベースシステムのクラッシュ等のソフトウェアの問題から生じ得る。データベースサーバの故障はまた、予測されるものとして、たとえば、SHUTDOWN ABORTまたはSTARTUP FORCEステートメントがオラクル(Oracle)のデータベースサーバに発行されたときにも生じ得る。
どのような複数ノードのコンピュータシステムでも、1つ以上の他のノードが機能して
いる一方で1つ以上のノードが故障する可能性がある。非共有データベースシステムでは、ノードの故障が一般に、故障したノードによって所有されるデータ項目を利用不可能にする。それらのデータ項目が再びアクセスされ得る前に、それらのデータ項目に対し、回復動作を実行しなければならない。回復動作を高速で実施するほど、データ項目がより迅速に利用できるようになる。
共有ディスク記憶システムを含む非共有データベースシステムの性能を改善するためのさまざまな技術を以下に説明する。以下の記載内容では、説明のために多数の特定の詳細を明示して、この発明の完全な理解を図る。しかしながら、このような特定の詳細を用いなくてもこの発明を実施し得ることが明らかであろう。場合によっては、周知の構造およびデバイスをブロック図の形で示し、この発明をむやみに不明瞭にしないようにする場合もある。
非共有データベースシステムを稼動する少なくとも2つのノードがディスクへの共有されたアクセスを有する非共有データベースシステムの性能を改善するためのさまざまな技術を、以下に説明する。データベースシステムの非共有アーキテクチャによって規定されるように、各データ片は依然として、いずれかの所定の時点において1つのノードによってのみ所有される。しかしながら、非共有データベースシステムを稼動する少なくともいくつかのノードがディスクへの共有されたアクセスを有するという点を利用して、非共有データベースシステムの均衡をより効率よく取り戻し、非共有データベースシステムをより効率よく回復する。
図1は、この発明の実施例が実現され得るクラスタ100を示すブロック図である。クラスタ100は、相互接続130によって結合される5個のノード102、104、106、108、および110を含み、相互接続130は、これらのノードが互いに通信することを可能にする。クラスタ100は、2つのディスク150および152を含む。ノード102、104および106は、ディスク150へのアクセスを有し、ノード108および110は、ディスク152へのアクセスを有する。したがって、ノード102,104および106とディスク150とを含むサブシステムは、第1の共有ディスクシステムを構成し、ノード108および110とディスク152とを含むサブシステムは、第2の共有ディスクシステムを構成する。
例示のため、非共有データベースシステムがクラスタ110上で稼動しているものと想定されたい。ここで、非共有データベースシステムによって管理されるデータベースは、ディスク150および152に記憶される。データは、データベースシステムの非共有特性に基づき、5個のグループまたはパーティション112、114、116、118、および120に分離され得る。各パーティションは、対応するノードに割当てられる。パーティションに割当てられたノードは、そのパーティション内に存在するすべてのデータの排他的な所有者であると考えられる。この例において、ノード102、104、106、108、および110はそれぞれ、パーティション112、114、116、118、および120を所有する。ディスク150へのアクセスを有するノード(ノード102、104および106)によって所有されるパーティション112、114および118は、ディスク150に記憶される。同様に、ディスク152へのアクセスを有するノード(ノ
ード108および110)によって所有されるパーティション118および120は、ディスク152に記憶される。
機能の転送を効率よく実行するために、すべてのノードは、どのノードがどのデータを所有しているかを認識しなければならない。したがって、所有権のマップが規定され、所有権のマップは、データ−ノード間の所有権の割当を示す。実行時に、さまざまなノードが所有権のマップに照会し、実行時に、SQLフラグメントの経路を適正なノードに指定する。
ロックは、リソースへのアクセスを有するいくつかのエンティティ間でリソースへのアクセスを調整するために使用される構造である。非共有データベースシステムの場合、非共有データベース内のユーザデータへのアクセスを調整するためのグローバルロッキングが必要ではなくなる。なぜなら、いずれかの所定のデータ片が1つのノードによってのみ所有されているためである。しかしながら、非共有データベースのすべてのノードが、所有権のマップへのアクセスを要求するため、所有権のマップに対する整合性のない更新を防ぐために、何らかのロッキングが必要とされ得る。
上述のように、非共有データベースにより管理されるデータがセグメント化され、各パーティション内のデータが1つのノードにより排他的に所有される。一実施例に従うと、これらのパーティションは、データを論理バケットに割当てた後に、それらのバケットの各々を1つのパーティションに割当てることによって規定される。したがって、所有権のマップ内のデータ−ノード間のマッピングは、データ−バケット間のマッピングおよびバケット−ノード間のマッピングを含む。
上述のマッピング技術を用いると、1つのテーブルまたは索引の所有権が複数のノード間で共有され得る。最初に、所有権の割当は無作為であることが考えられる。たとえば、ユーザは、データ−バケット間のマッピングに対してキーおよびセグメント化の技術(ハッシュ、範囲、リスト等)と、バケット−ノード間のマッピングに対してセグメント化の技術を選択することができるが、バケットの、ノードへの最初の割当は指定する必要がない。データベースサーバが次に、データ−バケット間のマッピングに対するキーに基づいて、バケット−ノード間のマッピングに対するキーを決定することができ、バケットによって表される特定のデータおよびデータベースオブジェクトに関係なく、バケット−ノード間の最初の割当を行うことができる。
れるキーに対し、さらに別のキーを追加するか、または、異なる機能(その機能がデータ−バケット間のマッピングを保持する限り)を適用することができる。たとえば、オブジェクトが、キーAの使用により4個のデータバケットにハッシュセグメント化される場合、データベースサーバは、ハッシュ関数をキーBに適用してバケット−ノード間のマッピングを決定するか、または、ハッシュ値の数を12へと単に増大することにより、それらの4個のバケットの各々を3個のバケットに細分することができる(そして、バケットの、ノードへの柔軟性の高い割当を可能にする)。ハッシュがモジュロ関数である場合、0番目、4番目、および8番目のバケット−ノード間のバケットは、0番目のデータ−バケット間のバケットに対応し、1番目、5番目、および9番目のバケット−ノード間のバケットは、1番目のデータ−バケット間のバケットに対応する、等である。
分散された、非共有データベースシステムの1つ以上のノードが故障することが考えられる。非共有データベースシステムが管理するデータの利用可能性を確保するために、故障したノード(「デッドノード」)が所有していたバケットを、故障しなかったノードに再割当しなければならない。一般に、バケット−ノード間のマッピング情報は、共有ディ
スク上に配置されるデータベースカタログに記憶される。このデータベースカタログを検査することにより、非共有データベースシステムの非故障ノードは、デッドノードが所有していたパーティションバケットのリストを確認することができる。
ある。なぜなら、異なるパーティションを変更したトランザクションの早期の部分がロールバックされていることが考えられる一方で、それ以降の変更がロールバックされていないことが考えられるためである。
一実施例に従うと、回復動作のうちの選択された部分のみが並列化される。たとえば、特定のノードが回復コーディネータとして割当てられ得る。回復中に、回復コーディネータは、回復コーディネータが並列化の基準を満たす回復タスクに遭遇するまで、回復を必要とするすべてのデータを順次に回復する。たとえば、並列化の基準は、特定の大きさのしきい値を上回るオブジェクトに対して並列な回復が用いられるべきであることを指定し得る。その結果、回復プロセス中に回復コーディネータがこのようなオブジェクトに遭遇すると、データベースサーバは、大きなオブジェクトに対応するバケットの所有権を再分配し、それにより、いくつかのノードがそのオブジェクトの並列な回復を補助することができる。指定されたタスクが完了すると、データの所有権は回復コーディネータに再割当され得る。
バケットの所有権が1つのノード(「以前の所有者」)から別のノード(「新規の所有者」)に転送されている間、このバケットは「移動中」であると考えられる。バケットが移動中の間に以前の所有者および/または新規の所有者が故障した場合、追加の回復ステップが必要となり得る。必要とされるこの追加の回復ステップは、データベースシステムが使用する所有権転送技術によって規定される。所有権転送技術により、以前の所有者および新規の所有者がいずれも、移動中のバケットに属するデータ項目のダーティなバージョンを有し得る場合、回復は、(1)故障しなかったノードに存在するデータ項目のキャッシュされたダーティなバージョンを使用すること、および(2)以前の所有者および新規の所有者の再実行ログをマージおよび適用することを含み得る。同様に、故障時にパーティションバケットが移動中である場合、複数のノードにより生成された取消しログを適用して、そのバケットに属するデータ項目をロールバックする必要があると考えられる。
ノードが故障すると、バケット−ノード間のマッピングを検査して、どのバケットが故障ノードに属しているか、したがって回復を必要としているかを判断することができる。
一実施例に従うと、バケット−ノード間のマッピングを介して第1のパスを形成して、どのバケットが回復を必要としているかを判断する。第1のパスの後に、回復を必要としないすべてのバケットは、アクセス用に直ちに利用可能となる。次に第2のパスが形成され、その間に回復を必要とするバケットに回復動作が実行される。第2のパスの間に実行される回復は、デッドノードが所有するすべてのデータの所有者として指定された1つのノードによって達成され得るか、または、所有権のマップを用いて故障しなかったノード間に分配され得る。
図2は、この発明の一実施例が実現され得るコンピュータシステム200を示すブロック図である。コンピュータシステム200は、バス202または情報を通信するための他の通信機構と、バス202に結合されて情報を処理するためのプロセッサ204とを含む。コンピュータシステム200は、バス202に結合されてプロセッサ204が実行する命令および情報を記憶するためのメインメモリ206、たとえばランダムアクセスメモリ(RAM)または他の動的記憶装置も含む。メインメモリ206は、プロセッサ204が実行する命令の実行中に、一時的数値変数または他の中間情報を記憶するためにも使用可能である。コンピュータシステム200は、バス202に結合されてプロセッサ204に対する静的情報および命令を記憶するための読出専用メモリ(ROM)208または他の静的記憶装置をさらに含む。磁気ディスクまたは光学ディスク等の記憶装置210が設けられてバス202に結合され、情報および命令を記憶する。
Claims (15)
- データベースシステムにおいてデータを管理するための方法であって、
複数のノードにとってアクセス可能な永続的な記憶上に複数の永続的なデータ項目を保存するステップを含み、前記永続的なデータ項目は、前記永続的な記憶上の特定の位置に記憶される特定のデータ項目を含み、前記方法はさらに、
前記ノードの1つに、永続的なデータ項目の各々の排他的な所有権を割当てるステップを含み、前記複数のノードの特定のノードには、前記特定のデータ項目の排他的な所有権が割当てられ、
いずれかのノードが前記特定のデータ項目を必要とする演算が実行されることを望むと、前記演算が実行されることを望む前記ノードは、前記特定のデータ項目が前記特定のノードにより排他的に所有されている時に、前記特定のノードが前記特定のデータ項目についての演算を実行するように前記特定のノードに前記演算を転送し、前記方法はさらに、
1つのノードにより排他的に所有される一組の永続的なデータ項目の、前記データベースシステムによる管理において発生する故障に応じて、以下のことを行なうステップを含み、前記以下のことは、
前記複数の永続的なデータ項目を分割することにより得られる集合のうちの、前記故障に関連する前記一組の永続的なデータ項目に含まれるデータ項目の一部の組の排他的な所有権を、2つ以上の回復ノードの各々に対して割当てるステップと、
前記2つ以上の回復ノードの各回復ノードが、前記回復ノードに割当てられた永続的なデータ項目のうちの、前記故障に関連する前記一部の組に回復動作を実行するステップとを含む、方法。 - 前記故障は、前記一組の永続的なデータ項目を記憶する永続的な記憶装置の媒体の故障である、請求項1に記載の方法。
- 前記故障は、前記一組の永続的なデータ項目の排他的な所有権を有するノードの故障であり、
割当てる前記ステップは、2つ以上の回復ノードの各々に対し、前記故障したノードにより排他的に所有されていた前記永続的なデータ項目の前記一部の組の排他的な所有権を割当てるステップを含む、請求項1に記載の方法。 - 前記2つ以上の回復ノードは、第1の回復ノードおよび第2の回復ノードを含み、
前記第1の回復ノードに排他的に割当てられたデータ項目の前記一部の組に対して前記第1の回復ノードにより実行される前記回復動作の少なくとも一部は、前記第2の回復ノードに排他的に割当てられたデータ項目の前記一部の組に対して前記第2の回復ノードにより実行される回復動作の少なくとも一部と並列して実行される、請求項3に記載の方法。 - 前記複数の永続的なデータ項目を複数のバケットに編成するステップと、
前記複数のバケットと前記複数のノードとの間でマッピングを規定するステップとを含み、各ノードは、前記ノードにマッピングするすべてのバケットに属するデータ項目の排他的な所有権を有し、前記方法はさらに、
前記マッピングに基づき、どのデータ項目が回復を必要としているかを判断するステップを含む、請求項3に記載の方法。 - どのバケットが回復を必要とする前記データ項目を有しているかを判断するために、第1のマッピングに第1のパスを実行するステップと、
回復を必要とする前記データ項目に回復を実行するために、前記マッピングに第2のパスを実行するステップと、
前記第1のパスを実行した後に、かつ、前記第2のパスを完了する前に、回復を必要としないすべてのバケットに属するデータ項目を、アクセス用に利用可能にするステップをさらに含む、請求項5に記載の方法。 - 前記2つ以上の回復ノードの各回復ノードは、前記故障したノードに関連する回復ログに基づき、永続的な記憶に回復動作を実行する、請求項3に記載の方法。
- 回復コーディネータが、故障したノードに関連する前記回復ログを走査し、前記2つ以上の回復ノードに回復記録を分配するステップをさらに含む、請求項7に記載の方法。
- 前記2つ以上の回復ノードの各々は、前記故障したノードに関連する回復ログを走査する、請求項7に記載の方法。
- 前記2つ以上の回復ノードの各回復ノードが回復動作を実行する前記ステップは、ブロックに取消し記録を適用するステップを含み、
前記方法はさらに、どの取消し記録が適用されたかを追跡するステップを含む、請求項3に記載の方法。 - 故障の前に、前記故障したノードが、前記故障したノードによって生成される再実行記録内に、前記再実行記録に関連する前記データ項目がどのバケットに属するかを示すバケット番号を記憶するステップをさらに含む、請求項5に記載の方法。
- 前記故障したノードの回復は、さまざまなタスクを含み、前記方法はさらに、
前記故障したノードの回復に必要とされる第1の組の1つ以上のタスクが、順次に実行されるべきであること、および、前記故障したノードの回復に必要とされる第2の組の1つ以上のタスクが、並列に実行されるべきであることを回復コーディネータが判断するステップと、
前記第1の組の1つ以上のタスクを順次に実行するステップと、
前記第2の組の1つ以上のタスクを並列に実行するために、前記2つ以上の回復ノードを用いるステップとをさらに含む、請求項3に記載の方法。 - 前記故障したノードの回復に必要とされる第2の組の1つ以上のタスクが並列に実行されるべきであることを判断する前記ステップは、少なくとも部分的に、回復を必要とする1つ以上のオブジェクトのサイズに基づいて実行される、請求項12に記載の方法。
- 前記第2の組の1つ以上のタスクに関係するデータ項目の所有権は、前記回復コーディネータから前記2つ以上の回復ノードに渡されて、前記2つ以上の回復ノードが前記第2の組の1つ以上のタスクを実行できるようにし、
前記第2の組の1つ以上のタスクの実行の後に、かつ、前記故障したノードの回復の完了前に、前記第2の組の1つ以上のタスクに関係するデータ項目の所有権は、前記2つ以上の回復ノードから前記回復コーディネータに再び渡される、請求項12に記載の方法。 - 1つ以上のプロセッサに請求項1から14のいずれかに記載の方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US49201903P | 2003-08-01 | 2003-08-01 | |
US10/831,413 US8234517B2 (en) | 2003-08-01 | 2004-04-23 | Parallel recovery by non-failed nodes |
PCT/US2004/024425 WO2005013154A2 (en) | 2003-08-01 | 2004-07-28 | Parallel recovery by non-failed nodes |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007501455A JP2007501455A (ja) | 2007-01-25 |
JP4586019B2 true JP4586019B2 (ja) | 2010-11-24 |
Family
ID=34118902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006522046A Expired - Lifetime JP4586019B2 (ja) | 2003-08-01 | 2004-07-28 | 非故障ノードによる並列な回復 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8234517B2 (ja) |
EP (1) | EP1649374B1 (ja) |
JP (1) | JP4586019B2 (ja) |
AU (1) | AU2004262370B2 (ja) |
CA (1) | CA2532048C (ja) |
WO (1) | WO2005013154A2 (ja) |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7139772B2 (en) * | 2003-08-01 | 2006-11-21 | Oracle International Corporation | Ownership reassignment in a shared-nothing database system |
US7120651B2 (en) * | 2003-08-01 | 2006-10-10 | Oracle International Corporation | Maintaining a shared cache that has partitions allocated among multiple nodes and a data-to-partition mapping |
US7277897B2 (en) * | 2003-08-01 | 2007-10-02 | Oracle International Corporation | Dynamic reassignment of data ownership |
US8234517B2 (en) * | 2003-08-01 | 2012-07-31 | Oracle International Corporation | Parallel recovery by non-failed nodes |
US7080214B2 (en) * | 2003-10-16 | 2006-07-18 | International Business Machines Corporation | Directory based support for function shipping in a multiprocessor system |
US20050283658A1 (en) * | 2004-05-21 | 2005-12-22 | Clark Thomas K | Method, apparatus and program storage device for providing failover for high availability in an N-way shared-nothing cluster system |
JP4574230B2 (ja) * | 2004-05-27 | 2010-11-04 | 株式会社日立製作所 | データベース管理方法及びデータベースシステム |
US7315872B2 (en) * | 2004-08-31 | 2008-01-01 | International Business Machines Corporation | Dynamic and selective data source binding through a metawrapper |
US7933868B2 (en) * | 2004-11-04 | 2011-04-26 | Microsoft Corporation | Method and system for partition level cleanup of replication conflict metadata |
US8566326B2 (en) | 2004-11-05 | 2013-10-22 | Oracle International Corporation | High-performance log-based processing |
US7814065B2 (en) | 2005-08-16 | 2010-10-12 | Oracle International Corporation | Affinity-based recovery/failover in a cluster environment |
JP4920248B2 (ja) * | 2005-12-02 | 2012-04-18 | 株式会社日立製作所 | サーバの障害回復方法及びデータベースシステム |
US20070162506A1 (en) * | 2006-01-12 | 2007-07-12 | International Business Machines Corporation | Method and system for performing a redistribute transparently in a multi-node system |
JP2007249468A (ja) * | 2006-03-15 | 2007-09-27 | Hitachi Ltd | Cpu割当方法、cpu割当プログラム、cpu割当装置、および、データベース管理システム |
US7702660B2 (en) * | 2006-12-12 | 2010-04-20 | Oracle International Corporation | I/O free recovery set determination |
US8150870B1 (en) * | 2006-12-22 | 2012-04-03 | Amazon Technologies, Inc. | Scalable partitioning in a multilayered data service framework |
US7769732B2 (en) * | 2007-08-27 | 2010-08-03 | International Business Machines Corporation | Apparatus and method for streamlining index updates in a shared-nothing architecture |
US8527454B2 (en) * | 2007-08-29 | 2013-09-03 | Emc Corporation | Data replication using a shared resource |
US20090063589A1 (en) * | 2007-08-29 | 2009-03-05 | International Business Machines Corporation | Apparatus and method to decouple large object data processing from main-line data processing in a shared-nothing architecture |
US20090063807A1 (en) * | 2007-08-29 | 2009-03-05 | International Business Machines Corporation | Data redistribution in shared nothing architecture |
US8707318B2 (en) * | 2007-10-12 | 2014-04-22 | Microsoft Corporation | Partitioning system including a generic partitioning manager for partitioning resources |
US7774311B2 (en) * | 2008-07-17 | 2010-08-10 | International Business Machines Corporation | Method and apparatus of distributing data in partioned databases operating on a shared-nothing architecture |
US8429134B2 (en) * | 2009-09-08 | 2013-04-23 | Oracle International Corporation | Distributed database recovery |
US8510334B2 (en) | 2009-11-05 | 2013-08-13 | Oracle International Corporation | Lock manager on disk |
US8990185B2 (en) | 2010-02-19 | 2015-03-24 | International Business Machines Corporation | Evaluating reference based operations in shared nothing parallelism systems |
US8768973B2 (en) * | 2010-05-26 | 2014-07-01 | Pivotal Software, Inc. | Apparatus and method for expanding a shared-nothing system |
US8290919B1 (en) * | 2010-08-27 | 2012-10-16 | Disney Enterprises, Inc. | System and method for distributing and accessing files in a distributed storage system |
US8768981B1 (en) | 2010-08-27 | 2014-07-01 | Disney Enterprises, Inc. | System and method for distributing and accessing files in a distributed storage system |
US8392368B1 (en) | 2010-08-27 | 2013-03-05 | Disney Enterprises, Inc. | System and method for distributing and accessing files in a distributed storage system |
US8793250B1 (en) | 2010-12-17 | 2014-07-29 | Amazon Technologies, Inc. | Flexible partitioning of data |
WO2012114443A1 (ja) * | 2011-02-21 | 2012-08-30 | 富士通株式会社 | プロセッサ管理方法 |
US20150169598A1 (en) * | 2012-01-17 | 2015-06-18 | Oracle International Corporation | System and method for providing a persistent snapshot of a running system in a distributed data grid |
US9405815B1 (en) * | 2012-10-02 | 2016-08-02 | Amazon Technologies, Inc. | Data recovery in a distributed computing environment |
US9609050B2 (en) | 2013-01-31 | 2017-03-28 | Facebook, Inc. | Multi-level data staging for low latency data access |
US10223431B2 (en) * | 2013-01-31 | 2019-03-05 | Facebook, Inc. | Data stream splitting for low-latency data access |
US8909604B1 (en) * | 2013-03-06 | 2014-12-09 | Gravic, Inc. | Methods for returning a corrupted database to a known, correct state by selectively using redo and undo operations |
US9384238B2 (en) * | 2013-04-26 | 2016-07-05 | Wal-Mart Stores, Inc. | Block partitioning for efficient record processing in parallel computing environment |
US9760654B2 (en) | 2013-04-26 | 2017-09-12 | Wal-Mart Stores, Inc. | Method and system for focused multi-blocking to increase link identification rates in record comparison |
US9348717B2 (en) * | 2013-07-24 | 2016-05-24 | Netapp, Inc. | Storage failure processing in a shared storage architecture |
US9887924B2 (en) | 2013-08-26 | 2018-02-06 | Vmware, Inc. | Distributed policy-based provisioning and enforcement for quality of service |
US9672115B2 (en) * | 2013-08-26 | 2017-06-06 | Vmware, Inc. | Partition tolerance in cluster membership management |
US11016820B2 (en) | 2013-08-26 | 2021-05-25 | Vmware, Inc. | Load balancing of resources |
US10747475B2 (en) | 2013-08-26 | 2020-08-18 | Vmware, Inc. | Virtual disk blueprints for a virtualized storage area network, wherein virtual disk objects are created from local physical storage of host computers that are running multiple virtual machines |
US9811531B2 (en) | 2013-08-26 | 2017-11-07 | Vmware, Inc. | Scalable distributed storage architecture |
US9652520B2 (en) * | 2013-08-29 | 2017-05-16 | Oracle International Corporation | System and method for supporting parallel asynchronous synchronization between clusters in a distributed data grid |
US10635644B2 (en) * | 2013-11-11 | 2020-04-28 | Amazon Technologies, Inc. | Partition-based data stream processing framework |
US10474493B2 (en) * | 2014-02-28 | 2019-11-12 | Red Hat, Inc. | Systems and methods for semi-durable transaction log storage in two-phase commit protocol transaction processing |
US10203981B2 (en) * | 2014-02-28 | 2019-02-12 | Red Hat, Inc. | Systems and methods for prepare list communication to participants in two-phase commit protocol transaction processing |
US9483311B2 (en) * | 2014-09-15 | 2016-11-01 | International Business Machines Corporation | Logical data shuffling |
US9830223B1 (en) * | 2015-01-26 | 2017-11-28 | Intel Corporation | Methods for repairing a corrupted database to a new, correct state |
US9804935B1 (en) | 2015-01-26 | 2017-10-31 | Intel Corporation | Methods for repairing a corrupted database to a new, correct state by selectively using redo and undo operations |
US11100073B2 (en) * | 2015-11-12 | 2021-08-24 | Verizon Media Inc. | Method and system for data assignment in a distributed system |
US10852998B2 (en) * | 2016-02-25 | 2020-12-01 | Rubrik, Inc. | Sub-cluster recovery using a partition group index |
KR101797482B1 (ko) | 2016-04-22 | 2017-11-14 | 주식회사 티맥스데이터 | 데이터베이스 시스템에서 블록 복구 방법, 장치 및 컴퓨터 판독가능 매체에 저장된 컴퓨터-프로그램 |
US10740198B2 (en) * | 2016-12-22 | 2020-08-11 | Purdue Research Foundation | Parallel partial repair of storage |
US10705925B2 (en) | 2017-03-24 | 2020-07-07 | Hewlett Packard Enterprise Development Lp | Satisfying recovery service level agreements (SLAs) |
US12056158B1 (en) * | 2017-05-22 | 2024-08-06 | Amazon Technologies, Inc. | Fast recovery of partioned replicated data store |
US10331363B2 (en) | 2017-11-22 | 2019-06-25 | Seagate Technology Llc | Monitoring modifications to data blocks |
US11003557B2 (en) | 2018-12-10 | 2021-05-11 | International Business Machines Corporation | Dynamic data restoration from multiple recovery sites implementing synchronous remote mirroring |
US11461194B2 (en) | 2020-10-30 | 2022-10-04 | Cohesity, Inc. | Parallel restore of a large object |
US11593309B2 (en) * | 2020-11-05 | 2023-02-28 | International Business Machines Corporation | Reliable delivery of event notifications from a distributed file system |
Family Cites Families (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US51187A (en) * | 1865-11-28 | Improvement in horse-rakes | ||
CA243538A (en) | 1924-10-14 | Henry Blackmore John | Lumbermen's road-making tank | |
US4827411A (en) | 1987-06-15 | 1989-05-02 | International Business Machines Corporation | Method of maintaining a topology database |
US4914571A (en) | 1987-06-15 | 1990-04-03 | International Business Machines Corporation | Locating resources in computer networks |
US5109483A (en) | 1987-06-15 | 1992-04-28 | International Business Machines Corp. | Node initiating xid exchanges over an activated link including an exchange of sets of binding signals between nodes for establishing sessions |
US4873517A (en) | 1988-06-23 | 1989-10-10 | International Business Machines Corporation | Method for selecting least weight end node to end node route in a data communications network |
US5101348A (en) | 1988-06-23 | 1992-03-31 | International Business Machines Corporation | Method of reducing the amount of information included in topology database update messages in a data communications network |
US4972437A (en) | 1988-06-24 | 1990-11-20 | International Business Machines Corporation | Method of controlling limited resource sessions in a data communications network |
US5319773A (en) | 1990-05-16 | 1994-06-07 | International Business Machines Corporation | Asynchronous resynchronization of a commit procedure |
EP0483424A1 (en) | 1990-10-30 | 1992-05-06 | International Business Machines Corporation | Key hashing in data processors |
CA2078310A1 (en) | 1991-09-20 | 1993-03-21 | Mark A. Kaufman | Digital processor with distributed memory system |
IL99923A0 (en) | 1991-10-31 | 1992-08-18 | Ibm Israel | Method of operating a computer in a network |
US5423037A (en) * | 1992-03-17 | 1995-06-06 | Teleserve Transaction Technology As | Continuously available database server having multiple groups of nodes, each group maintaining a database copy with fragments stored on multiple nodes |
US5555404A (en) * | 1992-03-17 | 1996-09-10 | Telenor As | Continuously available database server having multiple groups of nodes with minimum intersecting sets of database fragment replicas |
US5313051A (en) | 1992-04-06 | 1994-05-17 | International Business Machines Corp. | Paperless parcel tracking system |
US5432926A (en) | 1992-12-04 | 1995-07-11 | International Business Machines Corporation | Method and apparatus for improving database reliability and response time in a distributed transaction processing system |
US5687369A (en) | 1993-09-02 | 1997-11-11 | International Business Machines Corporation | Selecting buckets for redistributing data between nodes in a parallel database in the incremental mode |
AU7683994A (en) * | 1993-09-27 | 1995-04-18 | Oracle Corporation | Method and apparatus for parallel processing in a database system |
JPH07262069A (ja) * | 1994-03-17 | 1995-10-13 | Hitachi Ltd | 障害回復方法 |
US5625811A (en) | 1994-10-31 | 1997-04-29 | International Business Machines Corporation | Method and system for database load balancing |
JP3239669B2 (ja) | 1995-02-20 | 2001-12-17 | 株式会社日立製作所 | 記憶制御装置及びその制御方法 |
JP3020833B2 (ja) | 1995-06-19 | 2000-03-15 | 株式会社東芝 | チェックポイント取得システム |
WO1997004384A1 (en) | 1995-07-21 | 1997-02-06 | Emc Corporation | Dynamic load balancing |
US5740362A (en) | 1995-11-06 | 1998-04-14 | International Business Machines Corporation | Management of network distributed agents in a distributed computing environment |
US5805785A (en) | 1996-02-27 | 1998-09-08 | International Business Machines Corporation | Method for monitoring and recovery of subsystems in a distributed/clustered system |
US6311265B1 (en) | 1996-03-25 | 2001-10-30 | Torrent Systems, Inc. | Apparatuses and methods for programming parallel computers |
US6247026B1 (en) | 1996-10-11 | 2001-06-12 | Sun Microsystems, Inc. | Method, apparatus, and product for leasing of delegation certificates in a distributed system |
US5892754A (en) | 1996-06-07 | 1999-04-06 | International Business Machines Corporation | User controlled adaptive flow control for packet networks |
US5832484A (en) * | 1996-07-02 | 1998-11-03 | Sybase, Inc. | Database system with methods for parallel lock management |
US5966706A (en) * | 1997-02-19 | 1999-10-12 | At&T Corp | Local logging in a distributed database management computer system |
EP0862117B1 (en) * | 1997-02-28 | 2002-09-18 | Alcatel | Interfacing device to replace M sets of bits out of N sets of bits, control unit and logical cell |
US6067550A (en) | 1997-03-10 | 2000-05-23 | Microsoft Corporation | Database computer system with application recovery and dependency handling write cache |
US5907849A (en) * | 1997-05-29 | 1999-05-25 | International Business Machines Corporation | Method and system for recovery in a partitioned shared nothing database system using virtual share disks |
US5951695A (en) * | 1997-07-25 | 1999-09-14 | Hewlett-Packard Company | Fast database failover |
US5996086A (en) | 1997-10-14 | 1999-11-30 | Lsi Logic Corporation | Context-based failover architecture for redundant servers |
US6253229B1 (en) | 1997-11-19 | 2001-06-26 | International Business Machines Corporation | Hotspots only interfaces to links in hypertext document pages in network display stations |
US6253273B1 (en) | 1998-02-06 | 2001-06-26 | Emc Corporation | Lock mechanism |
WO2003003252A1 (en) | 1998-02-12 | 2003-01-09 | Oracle International Corporation | Partitioning ownership of a database among different database servers to control access to the database |
US6011918A (en) | 1998-04-22 | 2000-01-04 | International Business Machines Corporation | Methods, systems and computer program products for generating client/server applications |
US6480895B1 (en) | 1998-05-06 | 2002-11-12 | International Business Machines Corporation | Integration of objects including Java bytecodes with legacy 3270 applications |
US6370619B1 (en) | 1998-06-22 | 2002-04-09 | Oracle Corporation | Managing partitioned cache |
US6272491B1 (en) | 1998-08-24 | 2001-08-07 | Oracle Corporation | Method and system for mastering locks in a multiple server database system |
US6119244A (en) * | 1998-08-25 | 2000-09-12 | Network Appliance, Inc. | Coordinating persistent status information with multiple file servers |
US6295610B1 (en) * | 1998-09-17 | 2001-09-25 | Oracle Corporation | Recovering resources in parallel |
US6530035B1 (en) * | 1998-10-23 | 2003-03-04 | Oracle Corporation | Method and system for managing storage systems containing redundancy data |
JP4094752B2 (ja) * | 1998-11-27 | 2008-06-04 | 株式会社日立製作所 | トランザクション処理方法及びその実施装置並びにその処理プログラムを記録した媒体 |
US6341340B1 (en) | 1998-12-28 | 2002-01-22 | Oracle Corporation | Transitioning ownership of data items between ownership groups |
US6321238B1 (en) | 1998-12-28 | 2001-11-20 | Oracle Corporation | Hybrid shared nothing/shared disk database system |
US6438714B1 (en) | 1999-03-31 | 2002-08-20 | International Business Machines Corporation | Method and apparatus for testing large arrays of storage devices |
US6453404B1 (en) | 1999-05-27 | 2002-09-17 | Microsoft Corporation | Distributed data cache with memory allocation model |
US6622263B1 (en) * | 1999-06-30 | 2003-09-16 | Jack Justin Stiffler | Method and apparatus for achieving system-directed checkpointing without specialized hardware assistance |
US6567811B1 (en) | 1999-07-15 | 2003-05-20 | International Business Machines Corporation | Method and system to merge volume groups on a UNIX-based computer system |
US6567509B1 (en) | 1999-07-22 | 2003-05-20 | International Business Machines Corporation | Method and system to extend functionality of voice processing systems |
US6636248B1 (en) | 1999-09-01 | 2003-10-21 | International Business Machines Corporation | Method and system for visually delineating a relationship between related graphical windows in a graphical user interface |
US6658589B1 (en) * | 1999-12-20 | 2003-12-02 | Emc Corporation | System and method for backup a parallel server data storage system |
US6594676B1 (en) | 2000-04-10 | 2003-07-15 | International Business Machines Corporation | System and method for recovery of multiple shared database data sets using multiple change accumulation data sets as inputs |
US6873987B1 (en) * | 2000-05-31 | 2005-03-29 | International Business Machines Corporation | Method, system and program products for recovering from failures within a shared nothing distributed computing environment |
AU6778601A (en) * | 2000-06-26 | 2002-01-08 | International Business Machines Corporation | Data management application programming interface for a parallel file system |
US6728897B1 (en) * | 2000-07-25 | 2004-04-27 | Network Appliance, Inc. | Negotiating takeover in high availability cluster |
CN1315055C (zh) | 2001-03-07 | 2007-05-09 | 甲骨文国际公司 | 对多节点系统中的检查点队列进行管理 |
US6708175B2 (en) * | 2001-06-06 | 2004-03-16 | International Business Machines Corporation | Program support for disk fencing in a shared disk parallel file system across storage area network |
EP2562662B1 (en) | 2001-06-28 | 2019-08-21 | Oracle International Corporation | Partitioning ownership of a database among different database servers to control access to the database |
US6928580B2 (en) * | 2001-07-09 | 2005-08-09 | Hewlett-Packard Development Company, L.P. | Distributed data center system protocol for continuity of service in the event of disaster failures |
US6922791B2 (en) | 2001-08-09 | 2005-07-26 | Dell Products L.P. | Failover system and method for cluster environment |
US20030041215A1 (en) | 2001-08-27 | 2003-02-27 | George Robert T. | Method and apparatus for the utilization of distributed caches |
WO2003027853A1 (en) * | 2001-09-21 | 2003-04-03 | Polyserve, Inc. | A system and method for synchronisation for enforcing mutual exclusion among multiple negotiators |
US7127633B1 (en) * | 2001-11-15 | 2006-10-24 | Xiotech Corporation | System and method to failover storage area network targets from one interface to another |
US20030154236A1 (en) * | 2002-01-22 | 2003-08-14 | Shaul Dar | Database Switch enabling a database area network |
US7178050B2 (en) * | 2002-02-22 | 2007-02-13 | Bea Systems, Inc. | System for highly available transaction recovery for transaction processing systems |
US7039828B1 (en) * | 2002-02-28 | 2006-05-02 | Network Appliance, Inc. | System and method for clustered failover without network support |
US8140622B2 (en) * | 2002-05-23 | 2012-03-20 | International Business Machines Corporation | Parallel metadata service in storage area network environment |
US6947956B2 (en) * | 2002-06-06 | 2005-09-20 | International Business Machines Corporation | Method and apparatus for selective caching of transactions in a computer system |
US6981104B2 (en) | 2002-07-12 | 2005-12-27 | Hewlett-Packard Development Company, L.P. | Method for conducting checkpointing within a writeback cache |
US7293024B2 (en) * | 2002-11-14 | 2007-11-06 | Seisint, Inc. | Method for sorting and distributing data among a plurality of nodes |
US8676843B2 (en) * | 2002-11-14 | 2014-03-18 | LexiNexis Risk Data Management Inc. | Failure recovery in a parallel-processing database system |
US7827283B2 (en) * | 2003-02-19 | 2010-11-02 | International Business Machines Corporation | System for managing and controlling storage access requirements |
US20040172508A1 (en) * | 2003-02-27 | 2004-09-02 | Vincent Nguyen | System and method for memory mirroring |
US7277897B2 (en) | 2003-08-01 | 2007-10-02 | Oracle International Corporation | Dynamic reassignment of data ownership |
US8234517B2 (en) * | 2003-08-01 | 2012-07-31 | Oracle International Corporation | Parallel recovery by non-failed nodes |
US7380039B2 (en) | 2003-12-30 | 2008-05-27 | 3Tera, Inc. | Apparatus, method and system for aggregrating computing resources |
US7739677B1 (en) * | 2005-05-27 | 2010-06-15 | Symantec Operating Corporation | System and method to prevent data corruption due to split brain in shared data clusters |
-
2004
- 2004-04-23 US US10/831,413 patent/US8234517B2/en active Active
- 2004-07-28 CA CA2532048A patent/CA2532048C/en not_active Expired - Lifetime
- 2004-07-28 WO PCT/US2004/024425 patent/WO2005013154A2/en active Search and Examination
- 2004-07-28 EP EP04779472.2A patent/EP1649374B1/en not_active Expired - Lifetime
- 2004-07-28 JP JP2006522046A patent/JP4586019B2/ja not_active Expired - Lifetime
- 2004-07-28 AU AU2004262370A patent/AU2004262370B2/en not_active Expired
Also Published As
Publication number | Publication date |
---|---|
US8234517B2 (en) | 2012-07-31 |
AU2004262370A1 (en) | 2005-02-10 |
US20040215640A1 (en) | 2004-10-28 |
JP2007501455A (ja) | 2007-01-25 |
WO2005013154A3 (en) | 2005-09-09 |
WO2005013154A2 (en) | 2005-02-10 |
CA2532048C (en) | 2013-04-30 |
EP1649374B1 (en) | 2017-08-23 |
CA2532048A1 (en) | 2005-02-10 |
AU2004262370B2 (en) | 2011-01-27 |
EP1649374A2 (en) | 2006-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4586019B2 (ja) | 非故障ノードによる並列な回復 | |
JP4557975B2 (ja) | 非共有データベースシステムにおける所有権の再割当 | |
JP4614956B2 (ja) | データの所有権の動的な再割当 | |
US10657008B2 (en) | Managing a redundant computerized database using a replicated database cache | |
CN109739935B (zh) | 数据读取方法、装置、电子设备以及存储介质 | |
US7120651B2 (en) | Maintaining a shared cache that has partitions allocated among multiple nodes and a data-to-partition mapping | |
US6832298B2 (en) | Server system operation control method | |
CN111143389A (zh) | 事务执行方法、装置、计算机设备及存储介质 | |
JP4746838B2 (ja) | データベースへのアクセスを制御するための異なったデータベースサーバ間のデータベースのオーナーシップのパーティション化 | |
CN109783578B (zh) | 数据读取方法、装置、电子设备以及存储介质 | |
CN1829974B (zh) | 借助于非失败节点的并行恢复 | |
Kumar et al. | Performance measurement of some main memory database recovery algorithms | |
AU2004262380B2 (en) | Dynamic reassignment of data ownership | |
CN117874050A (zh) | 一种基于云原生分布式数据库的跨节点数据访问优化方法 | |
CN117851359A (zh) | 基于数据库集群的数据处理方法、装置和计算机设备 | |
Moldovan | Scaling Distributed Database Management Systems by using a Grid-based Storage Service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100810 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4586019 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |