JP7314127B2 - 時間間隔カウンタを使用してコンピュータクラスタを管理すること - Google Patents
時間間隔カウンタを使用してコンピュータクラスタを管理すること Download PDFInfo
- Publication number
- JP7314127B2 JP7314127B2 JP2020521944A JP2020521944A JP7314127B2 JP 7314127 B2 JP7314127 B2 JP 7314127B2 JP 2020521944 A JP2020521944 A JP 2020521944A JP 2020521944 A JP2020521944 A JP 2020521944A JP 7314127 B2 JP7314127 B2 JP 7314127B2
- Authority
- JP
- Japan
- Prior art keywords
- time interval
- counter
- requests
- value
- processing nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 318
- 230000004044 response Effects 0.000 claims description 154
- 230000015654 memory Effects 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 65
- 230000002688 persistence Effects 0.000 claims description 54
- 230000002085 persistent effect Effects 0.000 claims description 50
- 238000004891 communication Methods 0.000 claims description 47
- 238000003860 storage Methods 0.000 claims description 45
- 230000010076 replication Effects 0.000 claims description 38
- 230000004931 aggregating effect Effects 0.000 claims description 8
- 230000003362 replicative effect Effects 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 23
- 238000013500 data storage Methods 0.000 description 15
- 238000013459 approach Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 230000000717 retained effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 241000238876 Acari Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005381 magnetic domain Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1474—Saving, restoring, recovering or retrying in transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1479—Generic software techniques for error detection or fault masking
- G06F11/1492—Generic software techniques for error detection or fault masking by run-time replication performed by the application software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/108—Transfer of content, software, digital rights or licenses
- G06F21/1088—Transfer of content, software, digital rights or licenses by using transactions with atomicity, consistency, or isolation and durability [ACID] properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
- G06F9/467—Transactional memory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multi Processors (AREA)
- Computer And Data Communications (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
- Mobile Radio Communication Systems (AREA)
- Hardware Redundancy (AREA)
- Electrotherapy Devices (AREA)
Description
本出願は、参照のためその全体を本明細書に援用する2017年10月31日出願の米国特許出願第62/579,225号明細書からの優先権を主張する。
データストレージ216へ接続された任意選択的開発環境218であって、開発環境218は、グラフコンポーネントを処理するグラフを介し1つ又は複数の入力データセットから1つ又は複数の出力データセットへ流れるデータに対し行われるグラフベース計算を実施するデータフローグラフに関連するデータ処理アプリケーションを構築するように構成され、データフローグラフはデータストレージ216内のデータ構造により規定され、多くのノードを有するデータフローグラフはデータ構造により規定され、1つ又は複数のリンクにより接続されるグラフコンポーネントを表し、上記リンクはデータ構造により規定され、グラフコンポーネント間のデータフローを表す、開発環境218と;
データストレージ216へ接続され、1つ又は複数のコンピュータ上でホストされる実行環境212であって、実行環境212は、データフローグラフを規定する格納されたデータ構造を読み出すように、そして前処理モジュール206によりデータフローグラフへ割り当てられるグラフコンポーネントの計算を行うためのコンピュータ資源(処理など)を割り振るように構成された前処理モジュール206を含む、実行環境212と、を含み、
実行環境204は、グラフベース計算が実行されるように、割り当てられた計算又は処理の実行をスケジューリング及び制御するための実行モジュール212を含む、実行環境212を含む。すなわち、実行モジュールは、データソース202からデータを読み取るように、そしてデータフローグラフの形式で表現された実行可能コンピュータプログラムを使用してデータを処理するように構成される。
ごく一般的には、実行モジュール212を使用してデータを処理するためのいくつかのコンピュータプログラム(本明細書では「アプリケーション」とも呼ばれる)は、コンピュータクラスタへアクセスするためにアプリケーションが使用するコールクラスタコンポーネントを含む。例えば、図2を参照すると、パイプラインデータ処理に対する手法では、コールクラスタコンポーネント110は、その一部分であるアプリケーション(例えばデータフローグラフ又は他の形式のグラフベースプログラム仕様)内のコンポーネントからコールクラスタコンポーネント110において受信されたレコード103を処理するためにコンピュータクラスタ120のコンポーネントと相互作用し、対応結果105をその一部分であるアプリケーションの1つ又は複数の他のコンポーネントへ送信する。入力レコード103毎に、コールクラスタコンポーネント110は、要求113(例えばデータ処理タスクを実行するための要求)をクラスタ120へ送信し、しばらくして、当該要求113に対する応答115をクラスタ120から受信する。応答115の受信後しばらくして、コールクラスタコンポーネント110は、通常は要求を処理した結果がクラスタ120内で適切に持続性があると知られた後、応答115に対応する結果105を送信する。
図5~12を参照すると、コールクラスタコンポーネント110及びクラスタ120の通常動作の一例が示されている。図5では、入力レコード103がコールクラスタコンポーネント110に到達し、コールクラスタコンポーネント110は入力レコード103の要求113を形成する。コールクラスタコンポーネント110は要求113と一意的要求識別子ridとを関連付け、これをコールクラスタコンポーネント110の再生バッファ112内に格納する。
図4の状態遷移図は通常動作を表すが、ワーカー間のメッセージが成功裡に受信されないということ(うまく受信されないということ)が頻繁ではないがあり得る。さらに、ワーカーがその揮発性メモリを失った後に再始動すること又はワーカーが要求をさらに処理しないように完全に失敗することがあり得る(すなわち、主要役割又はバックアップ役割のいずれかにおいて)。本明細書において説明されるデータ処理システムのいくつかの実施形態がこのセクションにおいて説明されたロールバックシナリオのすべてを実現するということに注意すべきである。データ処理システムの他の実施形態がこのセクションにおいて説明されたロールバックシナリオのすべてではないが1つ又は複数を実現し得るということにも留意すべきである。
成功裡に受信されなかったいくつかのワーカー間メッセージであって時間teに関連付けられたメッセージが存在するということをクラスタが判定する状況を最初に考察する。一般的に、ルートは、時間がteに先立つ時間tr(すなわち、tr<te、例えばtr=te-1)へ「ロールバック」されなければならないということをすべてのワーカーに通知する。このようなロールバックによってすら、コールクラスタコンポーネント110により提供される結果は、あたかもロールバックが発生しなかったかのようにアプリケーション又はグラフへ提供され、ワーカー間に分配されたデータへの更新はコールクラスタコンポーネントにより提供された結果と整合したままである。特に、結果は、多くのノード(例えばワーカー)において格納される(例えば、複製又は保持される)までコールクラスタコンポーネント110からアプリケーション又はグラフへリリースされなく、これにより、結果が決して呼び出されることなく無効になるということを保証する。別の言い方をすると、発生するいかなるロールバックも、結果がコールクラスタコンポーネント110によりアプリケーション又はグラフへ提供されるのに先立って必ず発生する。
第2の状況では、以前の要求の要求時間taはロールバック時間trより大きい(すなわち、tr<ta)が、要求は実行を開始し、主要ワーカーにおいて実行を完了しなかった(すなわち、要求は主要ワーカーにおいて状態B(恐らく、部分応答115が計算される)にあり、要求はバックアップワーカーにおいて状態Fにある)。この場合、実行は終了され、部分応答115は主要ワーカー及びバックアップワーカーにおいて廃棄され(又は、実行は完了することが許可され、応答は廃棄され)、コールクラスタコンポーネント110は要求113をクラスタ120へ再送信する。主要ワーカーとバックアップワーカーとにおいて格納された要求は状態Aと状態Fとへそれぞれ戻る。主要ワーカーは、あたかも要求が主要ワーカーにおいて実行を開始していなかったかのようなやり方と同じやり方で要求をバックアップワーカーに通知する。
第3の状況では、以前の要求の要求時間taは再びロールバック時間trより大きい。しかし、この場合、我々は、実行は時間tb(すなわち、tr<ta<tb)において完了したということと応答はバックアップワーカーにおいて複製され、コールクラスタコンポーネント110において受信されたということとを仮定する。すなわち、要求113はコールクラスタコンポーネント110において状態Bにあり、要求は主要ワーカー150aにおいて状態Cにあり、要求113はバックアップワーカー150bにおいて状態Gにある。第2の状況と同様に進行中の実行の実行を単に終了する必要があるのではなく、主要及びバックアップワーカーにおいて格納されていた応答115が除去される。図4を参照して上に導入されたように、時間tbにおいて生成された応答は、特定時間及びその後の時間におけるすべての更新がデータ構造から除去され得るようなやり方で、時間tbに関連付けられた改版されたデータ構造内に格納される。この状態では、時間trより遅く更新されたすべてのデータ版を除去することにより、時間tbにおいてなされた図示された要求の更新は必ず除去され、要求は、実行を待つtcの要求時間を有する主要ワーカーにおいて状態Aへ戻され、主要ワーカーからの応答を待つバックアップワーカーにおいて状態Fへ戻された。コールクラスタコンポーネントにおいて、応答は廃棄され、要求は状態Aへ戻される。
第4の状況では、ロールバック時間trはオリジナル要求時間taにおける又はその後(すなわち、ta≦tr)のものであり、オリジナル要求は実行を開始していない。要求は、クラスタ120へ再送信され、主要ワーカーとバックアップワーカーとにおけるオリジナル要求(すなわち、{rid,ta})の後の実行のための待ち行列に入れられる。主要ワーカーはオリジナル要求を実行し、応答(すなわち、{rid,tb})を生成する。次に、主要ワーカーは、再送信された要求(すなわち、{rid,tc})の実行を開始することに進むが、再送信された要求のridに関連付けられた応答が既に存在していることを検知し、再送信された要求の実行を見送る。
第5の状況では、ロールバック時間trはオリジナル要求時間taにおける又はその後のものであり(すなわち、ta≦tr)、オリジナル要求は実行を開始したが、主要ワーカーにおいて実行を完了していない(すなわち、要求は主要ワーカーにおいて状態Bにあり、要求はバックアップワーカーにおいて状態Fにある)。この状況では、実行は主要ワーカー及びバックアップワーカーにおいて終了される(又は完了することを許容され、応答は廃棄される)(すなわち、主要及びバックアップワーカーにおいて格納された要求は状態A、Fへそれぞれ戻る)。
第6の状況では、ロールバック時間trは要求時間ta又はその後のものであり、要求はまた、時間tbにおいて、またロールバック時間又はその前(すなわち、ta≦tb≦tr)に実行を完了した。応答がコールクラスタコンポーネント110へ成功裡に提供されれば(すなわち、この要求はコールクラスタコンポーネントにおいて状態Bにある)、ロールバック要求は、要求を再送信させないし、またエスクローバッファ114からのいかなる応答の除去も引き起こさない。すなわち、taに関連付けられたいかなる要求とtbに関連付けられたいかなる応答も不変なままにされる。
第7の状況では、ロールバック時間trは要求時間taにおける又はその後のものであり、要求はロールバック時間後の時間tb(すなわち、ta≦tr<tb)において実行を完了しており、ワーカー間の応答の複製は成功しなかったかもしれない。ワーカーはtr後の時間を有するすべての応答115を廃棄する。バックアップワーカーにおいて格納された要求113は状態Fへ戻り、主要ワーカーにおいて格納された要求113は状態Bへ戻る。コールクラスタコンポーネント110は、エスクローバッファ114内のすべての応答115を廃棄し、再生バッファ112内に格納された要求113を状態Aへ戻し、要求113を、要求を再処理するクラスタ120へ再送信する。
最後に、第8の状況では、主要ワーカーが失われる(lost)(例えば、失敗することが知られる)と要求を処理するワーカーが存在する。ごく一般的には、失われた主要ワーカーが応答を提供するのを待っているバックアップワーカー(すなわち、バックアップワーカーは状態Fにある)におけるいかなる要求によっても、バックアップワーカーは主要ワーカーとなるように促される。例えば、当該ワーカーからのメッセージに対する返答を受信しないことにより、ワーカーが失われたことを検知すると、ルート140は、最後に複製された時間に等しい時間tr(すなわち、tr=T2)へのロールバックを開始する。バックアップワーカーは、失われたワーカーに対処するための新しい区画情報を伴い得る時間trへのロールバック要求を受信すると、バックアップワーカーは、資源が要求を実行するのを待っている状態Aへ要求の状態を変更することにより新しい主要ワーカーとして働き始める。
次にルート140の動作に移ると、上に紹介したように、ルートは現在の作業時間(間隔)T1 144を定期的にインクリメントする。一般的に、作業時間を更新する際、ルートは一組の時間(T1,T2,T3)144~146をすべてのワーカーへ分配(例えば同報通信)する。それに応じて、ワーカーは、それに基づきT2及び/又はT3時間を更新し得る情報をルートへ提供する。
より一般的には、ta<trである上記ロールバックシナリオ4~8では、要求を再送信する際、コールクラスタコンポーネント110は、オリジナル要求が時間taにおいて送信されたということに気付かない(またそれに注意も行わない)。一方、クラスタ120は、ロールバックするべきかどうかを判定するために当該時間を使用するのでオリジナル要求の要求時間を考慮する必要がある。したがって、コールクラスタコンポーネント110が、ta<tr<tcとなるように要求(要求識別子ridを有する)をクラスタ120へ再送信すると、要求は、主要ワーカー150aにおいて受信され、時間tcに関連付けられる。主要ワーカー150aは要求をバックアップワーカー150bへ転送する。この状況では、主要ワーカーは再送信された要求(すなわち、{rid,tc})を実行する前にオリジナル要求(すなわち、{rid,ta})を実行し得る。再送信された要求(すなわち、{rid,tc}を実行することに進むと、主要ワーカー150aは、オリジナル要求(すなわち、{rid,ta})の応答が既に保持されているので、再送信された要求を複製として処理することになる。
上述のコンピュータクラスタ管理手法は、例えば、好適なソフトウェア指示を実行するプログラム可能コンピュータシステムを使用して実施されてもよいし、フィールドプログラマブルゲートアレイ(FPGA)などの好適なハードウェアにおいて又はいくつかのハイブリッド形態で実施されてもよい。例えば、プログラム手法では、ソフトウェアは、それぞれが少なくとも1つのプロセッサ、少なくとも1つのデータストレージシステム(揮発性及び/又は不揮発性メモリ及び/又はストレージ要素を含む)、少なくとも1つのユーザインターフェース(少なくとも1つの入力デバイス又はポートを使用することにより入力を受信するための、及び少なくとも1つの出力デバイス又はポートを使用することにより出力を提供するための)を含む1つ又は複数のプログラムされた又はプログラム可能なコンピュータシステム(分散クライアント/サーバ又はグリッドなどの様々なアーキテクチャのものであり得る)上で実行する1つ又は複数のコンピュータプログラム内の手順を含み得る。ソフトウェアは、例えばデータフローグラフの設計、構成、及び実行に関係するサービスを提供するより大きなプログラムの1つ又は複数のモジュールを含み得る。プログラムのモジュール(例えばデータフローグラフの要素)は、データレポジトリ内に格納されたデータモデルに準拠するデータ構造又は他の編成されたデータとして実装され得る。
Claims (34)
- 複数の処理ノードを含む分散データ処理システムにおいて同期機能を実現するために包括的なメッセージを提供して、要求結果を格納し、エラーの場合にはロールバック機能を促進するための方法であって、前記方法は、
前記複数の処理ノードのうちの2又は3以上を使用して複数の組の要求を処理する工程であって、前記複数の組の要求における各要求は、コールクラスタコンポーネントにおいて受信されたそれぞれの入力データレコードについて、1又は2以上のデータ処理タスクを識別し、前記コールクラスタコンポーネントは、前記各要求を前記複数の処理ノードのうちの1つに送信するように構成されており、各組の要求のうちの各要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、複数の時間区間のうちの1つの対応する時間区間に関連付けられ、前記複数の組の要求は前記複数の時間区間のうちの第1の時間区間に関連付けられた第1組の要求を含む、前記処理する工程と、
前記複数の処理ノードのうちのルートコンポーネントにおいて、複数のカウンタを保持する工程であって、前記複数のカウンタは、
前記分散データ処理システム内の前記複数の時間区間のうちの現在の時間区間及びその値を示す作業カウンタと、
前記複数の時間区間のうちの1つの複製時間区間及びその値を示す複製カウンタであって、当該時間区間に関連付けられたすべての要求が前記複数の処理ノードの複数の処理ノードにおいて複製されている、前記複製カウンタと、
前記複数の時間区間のうちの1つの持続時間区間及びその値を示す持続性カウンタであって、当該時間区間に関連付けられたすべての要求が前記複数の処理ノードのうちの少なくとも1つの処理ノードに結合された持続性ストレージデバイス内に格納されている、前記持続性カウンタを含む、前記保持する工程と、
前記ルートコンポーネントから前記複数の処理ノードのうちの少なくともいくつかの処理ノードへ第1のメッセージを第1の時刻において提供する工程であって、
前記複数の処理ノードのうちの前記少なくともいくつかの処理ノードは、前記少なくともいくつかの処理ノードに提供されるそれぞれの要求によって識別される前記データ処理タスクを実行し、前記第1のメッセージは前記第1の時刻における前記作業カウンタの第1の値、前記第1の時刻における前記複製カウンタの第1の値及び前記第1の時刻における前記持続性カウンタの第1の値を含み、前記複製カウンタの前記第1の値は前記作業カウンタの前記第1の値に遅れ、前記持続性カウンタの前記第1の値は前記複製カウンタの前記第1の値に遅れ、かつ
前記第1のメッセージ内の前記複製カウンタの前記第1の値は、前記第1の時間区間に先立つそれ以前の時間区間に関連付けられた前記複数の組の要求のうちのより以前の組の要求のすべての要求が、前記複製カウンタの前記第1の値が前記より以前の組の要求に関連付けられた前記それ以前の時間区間に等しい又はそれより大きいと判断することに応答して、前記複数の処理ノードから、前記複数の処理ノードのうちの2又は3以上において複製されていることを示すことと、
前記複数の処理ノードのうちの2又は3以上の処理ノードの非持続性ストレージデバイスに格納され、かつ前記それ以前の時間区間に先立つ前記複数の時間区間のうちのいくつかの時間区間に関連付けられた任意の要求が前記複数の処理ノードのうちの2又は3以上において複製されていることとを示し、
前記第1の時間区間に関連付けられた前記第1組の要求のうちの少なくともいくつかの要求は、前記複数の処理ノードのうちの2又は3以上の処理ノードにおいて未だ複製されない、前記提供する工程と、
前記ルートコンポーネントから前記複数の処理ノードのうちの前記処理ノードの少なくともいくつかへ第2のメッセージを前記第1の時刻に続く第2の時刻において提供する工程であって、
前記第2のメッセージは、前記第2の時刻における前記作業カウンタの第2の値、前記第2の時刻における前記複製カウンタの第2の値及び前記第2の時刻における前記持続性カウンタの第2の値を含み、前記複製カウンタの前記第2の値は前記作業カウンタの前記第2の値に遅れ、前記持続性カウンタの前記第2の値は前記複製カウンタの前記第2の値に遅れ、かつ
前記第2のメッセージ内の前記複製カウンタの前記第2の値は、
前記第1の時間区間に関連付けられた前記第1組の要求のすべての要求が前記複製カウンタの前記第2の値が前記第1組の要求に関連付けられた前記第1の時間区間に等しい又はそれより大きいと判断することに応答して、前記複数の処理ノードのうちの2又は3以上において複製されているということと、
前記複数の処理ノードのうちの2又は3以上の処理ノードの前記非持続性ストレージデバイスに格納され、かつ前記第1の時間区間に先立つ時間区間に関連付けられた任意の要求が前記複数の処理ノードのうちの2又は3以上において複製されていることとを示し、
前記第2のメッセージは、前記持続性カウンタの前記第2の値が前記第1組の要求に関連付けられた前記第1の時間区間に等しいかそれより大きいと判断することに応答して、前記複数の処理ノードのうちの第1組の処理ノードが前記第1組の要求のうちの1又は2以上の要求を、前記第1組の処理ノードにおける各処理ノードに結合されたそれぞれの持続性ストレージデバイス内に格納する動作を完了させる、前記提供する工程を含む、前記方法。 - 前記作業カウンタは前記現在の時間区間を自律的に更新し、前記複製カウンタは前記複数の処理ノードのうちの他の処理ノードから前記ルートコンポーネントにおいて受信されたメッセージに応答して更新する、請求項1に記載の方法。
- 前記他の処理ノードの各処理ノードは、当該各処理ノードにおいて受信された、バックアップワーカー処理ノードから送信された完了した複製通信の数を表す通信受信カウントと当該各処理ノードから前記バックアップワーカー処理ノードに送信された複製要求の数を表す要求送信カウントとを前記複数の時間区間の時間区間毎に保持する、請求項2に記載の方法。
- 前記第1の時間区間について受信した、完了した複製通信の前記通信受信カウントと前記他の処理ノードの各処理ノードからの前記第1の時間区間についての複製要求の数である前記要求送信カウントとを前記ルートコンポーネントにおいて受信する工程と、前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントと前記第1の時間区間についての複製要求の数である要求送信カウントとを集計する工程と、
前記複製カウンタの複製値を更新するべきかどうかを前記集計に基づき判定する工程と、をさらに含む、請求項3に記載の方法。 - 前記複製カウンタの複製値を前記第1のメッセージ内の前記複製カウンタの複製値から前記第2のメッセージ内の前記複製カウンタの複製値へ更新する工程をさらに含む、請求項1乃至4のいずれか一項に記載の方法。
- 前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントと前記第1の時間区間についての複製要求の前記要求送信カウントとを集計する工程は、前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントの合計と前記第1の時間区間についての複製要求の前記要求送信カウントの合計との差分を計算する工程を含む、請求項4に記載の方法。
- 前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントの前記合計と前記第1の時間区間についての複製要求の前記要求送信カウントの前記合計との差が0であれば、前記複製カウンタの複製値を前記第1のメッセージ内の前記複製カウンタの複製値から前記第2のメッセージ内の前記複製カウンタの複製値へ更新する工程をさらに含む、請求項6に記載の方法。
- 前記他の処理ノードの各処理ノードは、当該各処理ノードにより受信され、直近の時間区間に関連付けられたすべての状態更新要求が、その間に当該各処理ノードにおいて持続的なものにされた前記複数の時間区間のうちの前記直近の時間区間の指標を保持する、請求項2乃至4、及び6乃至7のいずれか一項に記載の方法。
- 前記他の処理ノードの各処理ノードからの前記直近の時間区間の前記指標を前記ルートコンポーネントにおいて受信する工程と、前記持続性カウンタを更新するべきかどうかを前記直近の時間区間の前記指標に基づき判定する工程とをさらに含む、請求項8に記載の方法。
- 前記持続性カウンタを前記直近の時間区間の前記受信された指標のうち最も早い値へ更新する工程をさらに含む、請求項9に記載の方法。
- 前記要求はデータ処理タスク、データ処理タスク結果及びデータレコードのうちの1又は2以上を含む、請求項1乃至10のいずれか一項に記載の方法。
- 複数の処理ノードを含む分散データ処理システムにおいて要求を処理するためのコンピュータ可読媒体上に非一時的形式で格納されたソフトウェアであって、請求項1乃至11のいずれか一項に記載の工程のすべてをコンピュータシステムに行なわせるための命令を含む、前記ソフトウェア。
- 複数の処理ノードを含む分散データ処理システムにおいて要求を処理するための装置であって、前記装置は、
複数の処理ノードを含む分散データ処理システムと、
複数の組の要求を処理するための前記複数の処理ノードのうちの2又は3以上において含まれる1又2以上のプロセッサであって、前記複数の組の要求における各要求は、コールクラスタコンポーネントにおいて受信されたそれぞれの入力データレコードについて、1又は2以上のデータ処理タスクを識別し、前記コールクラスタコンポーネントは、前記各要求を前記複数の処理ノードのうちの1つに送信するように構成されており、各組の要求のうちの各要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、複数の時間区間のうちの対応時間区間に関連付けられ、前記複数の組の要求は前記複数の時間区間のうちの第1の時間区間に関連付けられた第1組の要求を含む、前記1又は2以上のプロセッサと、
前記複数の処理ノードのうちのルートコンポーネントにおいて、複数のカウンタを保持するための1又は2以上のメモリ要素であって、前記複数のカウンタは、
前記分散データ処理システム内の前記複数の時間区間のうちの現在の時間区間を示す作業カウンタと、
前記複数の時間区間のうちの1つの複製時間区間を示す複製カウンタであって、当該時間区間に関連付けられたすべての要求が前記複数の処理ノードの複数の処理ノードにおいて複製されている、前記複製カウンタと
前記複数の時間区間のうちの1つの持続性時間区間及びその値を示す持続性カウンタであって、当該時間区間に関連付けられたすべての要求が前記複数の処理ノードのうちの少なくとも1つの処理ノードに結合された持続性ストレージデバイス内に格納されている、前記持続性カウンタを含む、前記1又は2以上のメモリ要素と、
前記ルートコンポーネントから前記複数の処理ノードのうちの少なくともいくつかの処理ノードへ第1のメッセージを第1の時刻において提供するための第1の出力であって、前記複数の処理ノードのうちの前記少なくともいくつかの処理ノードは、前記少なくともいくつかの処理ノードに提供されるそれぞれの要求によって識別される前記データ処理タスクを実行し、前記第1のメッセージは前記第1の時刻における前記作業カウンタの第1の値、前記第1の時刻における前記複製カウンタの第1の値及び前記第1の時刻における前記持続性カウンタの第1の値を含み、前記複製カウンタの前記第1の値は前記作業カウンタの前記第1の値に遅れ、前記持続性カウンタの前記第1の値は前記複製カウンタの前記第1の値に遅れ、かつ
前記第1のメッセージ内の前記複製カウンタの前記第1の値は、
前記第1の時間区間に先立つそれ以前の時間区間に関連付けられたより以前の組の要求のすべての要求が、前記複製カウンタの前記第1の値が前記より以前の組の要求に関連付けられた前記それ以前の時間区間に等しい又はそれより大きいと判断することに応答して、前記複数の処理ノードから2又は3以上の処理ノードにおいて複製されているということと、
前記複数の処理ノードのうちの2又は3以上の処理ノードの非持続性ストレージデバイスに格納され、かつ前記それ以前の時間区間に先立つ前記複数の時間区間のうちのいくつかの時間区間に関連付けられた任意の要求が前記複数の処理ノードのうちの2又は3以上において複製されていることとを示し、
前記第1の時間区間に関連付けられた前記第1組の要求のうちの少なくともいくつかの要求は前記複数の処理ノードのうちの2又は3以上の処理ノードにおいて未だ複製されない、前記第1の出力と、
前記ルートコンポーネントから前記複数の処理ノードのうちの前記少なくともいくつかの処理ノードへ第2のメッセージを前記第1の時刻に続く第2の時刻において提供するための第2の出力であって、前記第2のメッセージは前記第2の時刻における前記作業カウンタの第2の値、前記第2の時刻における前記複製カウンタの第2の値及び前記第2の時刻における前記持続性カウンタの第2の値を含み、前記複製カウンタの前記第2の値は前記作業カウンタの前記第2の値に遅れ、前記持続性カウンタの前記第2の値は前記複製カウンタの前記第2の値に遅れ、かつ
前記第2のメッセージ内の前記複製カウンタの前記第2の値は、
前記第1の時間区間に関連付けられた前記第1組の要求のすべての要求は、前記複製カウンタの前記第2の値が前記第1組の要求に関連付けられた前記第1の時間区間に等しい又はそれより大きいと判断することに応答して、前記複数の処理ノードのうちの2又は3以上において複製されているということと、
前記複数の処理ノードのうちの2又は3以上の処理ノードの前記非持続性ストレージデバイスに格納され、かつ前記第1の時間区間に先立つ時間区間に関連付けられた任意の要求が前記複数の処理ノードのうちの2又は3以上において複製されていることとを示し、
前記第2のメッセージは、前記持続性カウンタの前記第2の値が前記第1組の要求に関連付けられた前記第1の時間区間に等しいかそれより大きいと判断することに応答して、前記複数の処理ノードのうちの第1組の処理ノードが前記第1組の要求のうちの1又は2以上の要求を、前記第1組の処理ノードにおける各処理ノードに結合されたそれぞれの持続性ストレージデバイス内に格納する動作を完了させる、前記第2の出力と、を含む、前記装置。 - 複数の処理ノードを含む分散データ処理システム内の要求を処理するためのコンピュータシステムであって、前記コンピュータシステムは、
前記複数の処理ノードのうちの2又は3以上を使用して複数の組の要求を処理する手段であって、前記複数の組の要求における各要求は、コールクラスタコンポーネントにおいて受信されたそれぞれの入力データレコードについて、1又は2以上のデータ処理タスクを識別し、前記コールクラスタコンポーネントは、前記各要求を前記複数の処理ノードのうちの1つに送信するように構成されており、各組の要求のうちの各要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、複数の時間区間のうちの対応時間区間に関連付けられ、前記複数の組の要求は前記複数の時間区間のうちの第1の時間区間に関連付けられた第1組の要求を含む、前記処理する手段と、
前記複数の処理ノードのうちのルートコンポーネントにおいて、複数のカウンタを保持する手段であって、前記複数のカウンタは、
前記分散データ処理システム内の前記複数の時間区間のうちの現在の時間区間を示す作業カウンタと、
前記複数の時間区間のうちの1つの複製時間区間を示す複製カウンタであって、当該時間区間に関連付けられたすべての要求が前記複数の処理ノードの複数の処理ノードにおいて複製されている、前記複製カウンタと
前記複数の時間区間のうちの1つの持続性時間区間及びその値を示す持続性カウンタであって、当該時間区間に関連付けられたすべての要求が前記複数の処理ノードのうちの少なくとも1つの処理ノードに結合された持続性ストレージデバイス内に格納されている、前記持続性カウンタを含む、前記保持する手段と、
前記ルートコンポーネントから前記複数の処理ノードのうちの少なくともいくつかの処理ノードへ第1のメッセージを第1の時刻において提供する手段であって、前記複数の処理ノードのうちの前記少なくともいくつかの処理ノードは、前記少なくともいくつかの処理ノードに提供されるそれぞれの要求によって識別される前記データ処理タスクを実行し、前記第1のメッセージは前記第1の時刻における前記作業カウンタの第1の値、前記第1の時刻における前記複製カウンタの第1の値及び前記第1の時刻における前記持続性カウンタの第1の値を含み、前記複製カウンタの前記第1の値が前記作業カウンタの前記第1の値に遅れ、前記持続性カウンタの前記第1の値が前記複製カウンタの前記第1の値に遅れ、かつ
前記第1のメッセージ内の前記複製カウンタの前記第1の値は、
前記第1の時間区間に先立つそれ以前の時間区間に関連付けられたより以前の組の要求のすべての要求が、前記複製カウンタの前記第1の値が前記より以前の組の要求に関連付けられた前記それ以前の時間区間に等しい又はそれより大きいと判断することに応答して、前記複数の処理ノードからの2又は3以上の処理ノードにおいて複製されているということと、
前記複数の処理ノードのうちの2又は3以上の処理ノードの非持続性ストレージデバイスに格納され、かつ前記それ以前の時間区間に先立つ前記複数の時間区間のうちのいくつかの時間区間に関連付けられた任意の要求が前記複数の処理ノードのうちの2又は3以上において複製されていることとを示し、
前記第1の時間区間に関連付けられた前記第1組の要求のうちの少なくともいくつかの要求は前記複数の処理ノードのうちの2又は3以上の処理ノードにおいて未だ複製されない、前記提供する手段と、
前記ルートコンポーネントから前記複数の処理ノードのうちの前記処理ノードの少なくともいくつかへ第2のメッセージを前記第1の時刻に続く第2の時刻において提供する手段であって、前記第2のメッセージは前記第2の時刻における前記作業カウンタの第2の値、前記第2の時刻における前記複製カウンタの第2の値及び前記第2の時刻における前記持続性カウンタの第2の値を含み、前記複製カウンタの前記第2の値が前記作業カウンタの前記第2の値に遅れ、前記持続性カウンタの前記第2の値が前記複製カウンタの前記第2の値に遅れ、かつ前記第2のメッセージ内の前記複製カウンタの前記第2の値は、
前記第1の時間区間に関連付けられた前記第1組の要求のすべての要求は、前記複製カウンタの前記第2の値が前記第1組の要求に関連付けられた前記第1の時間区間に等しい又はそれより大きいと判断することに応答して、前記複数の処理ノードのうちの2又は3以上において複製されているということと、
前記複数の処理ノードのうちの2又は3以上の処理ノードの前記非持続性ストレージデバイスに格納され、かつ前記第1の時間区間に先立つ時間区間に関連付けられた任意の要求が前記複数の処理ノードのうちの2又は3以上において複製されていることとを示し、
前記第2のメッセージは、前記持続性カウンタの前記第2の値が前記第1組の要求に関連付けられた前記第1の時間区間に等しいかそれより大きいと判断することに応答して、前記複数の処理ノードのうちの第1組の処理ノードが前記第1組の要求の1又は2以上の要求を、前記第1組の処理ノードにおける各処理ノードに結合されたそれぞれの持続性ストレージデバイス内に格納する動作を完了させる、前記提供する手段と、を含む、前記コンピュータシステム。 - 前記作業カウンタは現在の時間区間を自律的に更新し、前記複製カウンタは前記複数の処理ノードのうちの他の処理ノードから前記ルートコンポーネントにおいて受信されたメッセージに応答して更新する、請求項14に記載のコンピュータシステム。
- 前記他の処理ノードの各処理ノードは前記処理ノードにおいて受信された、バックアップワーカー処理ノードから送信された完了した複製通信の数を表す通信受信カウントと前記処理ノードから前記バックアップワーカー処理ノードに送信された複製要求の数を表す要求送信カウントとを複数の時間区間の時間区間毎に保持する、請求項15に記載のコンピュータシステム。
- 前記第1の時間区間についての完了した複製通信の前記通信受信カウントと前記他の処理ノードの各処理ノードからの前記第1の時間区間についての複製要求の数である前記要求送信カウントとを前記ルートコンポーネントにおいて受信する手段と、
前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントと前記第1の時間区間についての前記複製要求の数である要求送信カウントとを集計する手段と、
前記複製カウンタの値を更新するべきかどうかを前記集計に基づき判定する手段と、をさらに含む、請求項16に記載のコンピュータシステム。 - 前記複製カウンタの値を前記第1のメッセージ内の前記複製カウンタの値から前記第2のメッセージ内の前記複製カウンタの値へ更新する手段をさらに含む、請求項14乃至17のいずれか一項に記載のコンピュータシステム。
- 前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントと前記第1の時間区間についての複製要求の前記要求送信カウントとを集計する手段は、前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントの合計と前記第1の時間区間についての複製要求の前記要求送信カウントの合計との差分を計算する手段を含む、請求項17に記載のコンピュータシステム。
- 前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントの前記合計と前記第1の時間区間についての複製要求の前記要求送信カウントの前記合計との差が0であれば、前記複製カウンタの値を前記第1のメッセージ内の前記複製カウンタの値から前記第2のメッセージ内の前記複製カウンタの値へ更新する手段をさらに含む、請求項19に記載のコンピュータシステム。
- 前記他の処理ノードの各処理ノードは、前記処理ノードにより受信され、直近の時間区間に関連付けられたすべての状態更新要求が、その間に前記処理ノードにおいて持続的なものにされた前記複数の時間区間のうちの前記直近の時間区間の指標を保持する、請求項15乃至17、及び19乃至20のいずれか一項に記載のコンピュータシステム。
- 前記他の処理ノードの各処理ノードからの前記直近の時間区間の前記指標を前記ルートコンポーネントにおいて受信し、前記持続性カウンタを更新するべきかどうかを前記直近の時間区間の前記指標に基づき判定する手段とをさらに含む、請求項21に記載のコンピュータシステム。
- 前記持続性カウンタを前記直近の時間区間の前記指標に関連付けられた最も早い時間区間へ更新する手段をさらに含む、請求項22に記載のコンピュータシステム。
- 前記要求はデータ処理タスク、データ処理タスク結果及びデータレコードのうちの1又は2以上を含む、請求項14乃至23のいずれか一項に記載のコンピュータシステム。
- 前記作業カウンタは前記現在の時間区間を自律的に更新し、前記複製カウンタは前記複数の処理ノードのうちの他の処理ノードから前記ルートコンポーネントにおいて受信されたメッセージに応答して更新する、請求項13に記載の装置。
- 前記他の処理ノードの各処理ノードは前記処理ノードにおいて受信された、バックアップワーカー処理ノードから送信された完了した複製通信の数を表す通信受信カウントと前記処理ノードから前記バックアップワーカー処理ノードに送信された複製要求の数を表す要求送信カウントとを前記複数の時間区間の時間区間毎に保持する、請求項25に記載の装置。
- 前記第1の時間区間についての完了した複製通信の前記通信受信カウントと前記他の処理ノードの各処理ノードからの前記第1の時間区間についての複製要求の数である前記要求送信カウントとを前記ルートコンポーネントにおいて受信し、
前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントと前記第1の時間区間についての前記複製要求の数である要求送信カウントとを集計し、
前記複製カウンタの値を更新するべきかどうかを前記集計に基づき判定するようにさらに構成されている、請求項26に記載の装置。 - 前記複製カウンタの値を前記第1のメッセージ内の前記複製カウンタの値から前記第2のメッセージ内の前記複製カウンタの値へ更新するようにさらに構成されている、請求項13及び25乃至27のいずれか一項に記載の装置。
- 前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントと前記第1の時間区間についての複製要求の前記要求送信カウントとを集計することは、前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントの合計と前記第1の時間区間についての複製要求の前記要求送信カウントの合計との差分を計算することを含む、請求項27に記載の装置。
- 前記第1の時間区間についての完了した複製通信の前記受信された通信受信カウントの前記合計と前記第1の時間区間についての複製要求の前記要求送信カウントの前記合計との差が0であれば、前記複製カウンタの値を前記第1のメッセージ内の前記複製カウンタの値から前記第2のメッセージ内の前記複製カウンタの値へ更新するようにさらに構成されている、請求項29に記載の装置。
- 前記他の処理ノードの各処理ノードは、前記処理ノードにより受信され、直近の時間区間に関連付けられたすべての状態更新要求が、その間に前記処理ノードにおいて持続的なものにされた前記複数の時間区間のうちの前記直近の時間区間の指標を保持する、請求項25乃至27、及び29乃至30のいずれか一項に記載の装置。
- 前記他の処理ノードの各処理ノードからの前記直近の時間区間の前記指標を前記ルートコンポーネントにおいて受信し、前記持続性カウンタを更新するべきかどうかを前記直近の時間区間の前記指標に基づき判定するようにさらに構成されている、請求項31に記載の装置。
- 前記持続性カウンタを前記直近の時間区間の前記指標に関連付けられた最も早い時間区間へ更新するようにさらに構成されている、請求項32に記載の装置。
- 前記要求はデータ処理タスク、データ処理タスク結果及びデータレコードのうちの1又は2以上を含む、請求項13及び25乃至33のいずれか一項に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762579225P | 2017-10-31 | 2017-10-31 | |
US62/579,225 | 2017-10-31 | ||
PCT/US2018/058211 WO2019089593A1 (en) | 2017-10-31 | 2018-10-30 | Managing a computing cluster using time interval counters |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021501398A JP2021501398A (ja) | 2021-01-14 |
JP2021501398A6 JP2021501398A6 (ja) | 2021-03-11 |
JP7314127B2 true JP7314127B2 (ja) | 2023-07-25 |
Family
ID=64277932
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020522052A Pending JP2021503640A (ja) | 2017-10-31 | 2018-10-30 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
JP2020521944A Active JP7314127B2 (ja) | 2017-10-31 | 2018-10-30 | 時間間隔カウンタを使用してコンピュータクラスタを管理すること |
JP2020521999A Active JP7203102B2 (ja) | 2017-10-31 | 2018-10-30 | コンピュータクラスタインターフェースを管理すること |
JP2020522044A Active JP6931745B2 (ja) | 2017-10-31 | 2018-10-30 | 状態更新の一貫性に基づきコンピュータクラスタを管理すること |
JP2020521954A Active JP7038204B2 (ja) | 2017-10-31 | 2018-10-30 | 永続性レベル表示器を使用してコンピュータクラスタを管理すること |
JP2023068386A Pending JP2023093614A (ja) | 2017-10-31 | 2023-04-19 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020522052A Pending JP2021503640A (ja) | 2017-10-31 | 2018-10-30 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020521999A Active JP7203102B2 (ja) | 2017-10-31 | 2018-10-30 | コンピュータクラスタインターフェースを管理すること |
JP2020522044A Active JP6931745B2 (ja) | 2017-10-31 | 2018-10-30 | 状態更新の一貫性に基づきコンピュータクラスタを管理すること |
JP2020521954A Active JP7038204B2 (ja) | 2017-10-31 | 2018-10-30 | 永続性レベル表示器を使用してコンピュータクラスタを管理すること |
JP2023068386A Pending JP2023093614A (ja) | 2017-10-31 | 2023-04-19 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
Country Status (9)
Country | Link |
---|---|
US (6) | US10558493B2 (ja) |
EP (5) | EP3704577A1 (ja) |
JP (6) | JP2021503640A (ja) |
KR (5) | KR102372540B1 (ja) |
CN (5) | CN111316243B (ja) |
AU (6) | AU2018359378B2 (ja) |
CA (5) | CA3078478C (ja) |
SG (5) | SG11202002998QA (ja) |
WO (5) | WO2019089601A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10789274B2 (en) * | 2018-02-27 | 2020-09-29 | Sap Se | Replicating data in a multi-cloud environment |
AU2019203865B2 (en) | 2019-03-18 | 2021-01-21 | Advanced New Technologies Co., Ltd. | Consensus system downtime recovery |
CN110915185B (zh) | 2019-03-18 | 2021-08-17 | 创新先进技术有限公司 | 共识系统停机时间恢复 |
US10938750B2 (en) * | 2019-03-18 | 2021-03-02 | Advanced New Technologies Co., Ltd. | Consensus system downtime recovery |
CN111208949B (zh) * | 2020-01-13 | 2020-12-25 | 上海依图网络科技有限公司 | 一种确定分布式存储系统中的数据回滚时段的方法 |
KR102357314B1 (ko) * | 2020-10-28 | 2022-02-07 | 주식회사 마크베이스 | 센서 데이터 복제 방법을 수행하는 클라우드 시스템 |
CN112965858B (zh) * | 2021-03-04 | 2023-07-18 | 电信科学技术第五研究所有限公司 | 一种组网分布式存储数据冲突处理的实现方法 |
US11886920B2 (en) * | 2021-03-19 | 2024-01-30 | Shopify Inc. | Methods and apparatus for load sharing between primary and secondary computing environments based on expected completion latency differences |
US11514080B1 (en) * | 2022-05-31 | 2022-11-29 | Snowflake Inc. | Cross domain transactions |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013046352A1 (ja) | 2011-09-28 | 2013-04-04 | 株式会社日立製作所 | 計算機システム、データ管理方法及びデータ管理プログラム |
JP2014170573A (ja) | 2014-04-25 | 2014-09-18 | Hitachi Ltd | メッセージシステムおよびデータストアサーバ |
JP2015527670A (ja) | 2013-07-26 | 2015-09-17 | ▲ホア▼▲ウェイ▼技術有限公司 | データ送信方法、データ受信方法、及びストレージデバイス |
WO2016135705A1 (en) | 2015-02-27 | 2016-09-01 | Royal Bank Of Canada | Coordinated processing of data by networked computing resources |
JP2017527216A (ja) | 2014-09-03 | 2017-09-14 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 選択されたネットワークトラフィックの収集と分析 |
Family Cites Families (110)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1990010984A1 (en) * | 1989-03-14 | 1990-09-20 | Alcatel N.V. | Communication switching system |
JP3407358B2 (ja) * | 1993-11-05 | 2003-05-19 | 富士通株式会社 | バリア同期における非同期通信完了保証方法 |
US5966072A (en) | 1996-07-02 | 1999-10-12 | Ab Initio Software Corporation | Executing computations expressed as graphs |
CA2213213A1 (en) * | 1996-08-26 | 1998-02-26 | Tandem Computers Incorporated | Method and apparatus for performing efficient corba transactions |
GB2335518A (en) | 1998-03-18 | 1999-09-22 | Ibm | Triggering event causes creation of Coordinator transaction state object |
US6615225B1 (en) * | 2000-04-27 | 2003-09-02 | International Business Machines Corporation | System and method for relating files in a distributed data storage environment |
US7103664B1 (en) | 2000-05-31 | 2006-09-05 | International Business Machines Corporation | Method, system and program products for ordering lists of service addresses to provide load balancing of a clustered environment |
US6990606B2 (en) * | 2000-07-28 | 2006-01-24 | International Business Machines Corporation | Cascading failover of a data management application for shared disk file systems in loosely coupled node clusters |
JP2002163239A (ja) * | 2000-11-22 | 2002-06-07 | Toshiba Corp | マルチプロセッサシステムおよびその制御方法 |
US20030023775A1 (en) | 2001-07-13 | 2003-01-30 | International Business Machines Corporation | Efficient notification of multiple message completions in message passing multi-node data processing systems |
JP4133068B2 (ja) * | 2002-07-23 | 2008-08-13 | 株式会社日立製作所 | 計算機システム |
US7167850B2 (en) | 2002-10-10 | 2007-01-23 | Ab Initio Software Corporation | Startup and control of graph-based computation |
US20040254964A1 (en) | 2003-06-12 | 2004-12-16 | Shoji Kodama | Data replication with rollback |
JP2005078461A (ja) * | 2003-09-01 | 2005-03-24 | Ricoh Co Ltd | 分散画像処理ネットワークシステム |
CN1938984B (zh) * | 2004-03-31 | 2010-05-26 | Lg电子株式会社 | 用于网络层的数据处理方法 |
CA2484694A1 (en) * | 2004-10-14 | 2006-04-14 | Alcatel | Database ram cache |
US7778984B2 (en) * | 2004-11-19 | 2010-08-17 | Microsoft Corporation | System and method for a distributed object store |
WO2006090367A2 (en) * | 2005-02-24 | 2006-08-31 | Xeround Systems Ltd. | Method and apparatus for distributed data management in a switching network |
US7716630B2 (en) * | 2005-06-27 | 2010-05-11 | Ab Initio Technology Llc | Managing parameters for graph-based computations |
US7848261B2 (en) | 2006-02-17 | 2010-12-07 | Isilon Systems, Inc. | Systems and methods for providing a quiescing protocol |
GB0613192D0 (en) * | 2006-07-01 | 2006-08-09 | Ibm | Methods, apparatus and computer programs for managing persistence |
US20080140982A1 (en) * | 2006-10-05 | 2008-06-12 | Holt John M | Redundant multiple computer architecture |
US8880480B2 (en) | 2007-01-03 | 2014-11-04 | Oracle International Corporation | Method and apparatus for data rollback |
JP4916420B2 (ja) * | 2007-11-16 | 2012-04-11 | 株式会社日立製作所 | ストレージシステム及びリモートコピー制御方法 |
JP2009151376A (ja) | 2007-12-18 | 2009-07-09 | Ntt Docomo Inc | 分散処理方法、計算機管理装置及び分散処理システム |
US20100332718A1 (en) * | 2009-06-26 | 2010-12-30 | Micron Technology, Inc. | System and method for providing configurable latency and/or density in memory devices |
US8275964B2 (en) * | 2010-01-08 | 2012-09-25 | International Business Machines Corporation | Hardware support for collecting performance counters directly to memory |
US9081501B2 (en) * | 2010-01-08 | 2015-07-14 | International Business Machines Corporation | Multi-petascale highly efficient parallel supercomputer |
US8555018B1 (en) | 2010-03-11 | 2013-10-08 | Amazon Technologies, Inc. | Techniques for storing data |
US8671074B2 (en) * | 2010-04-12 | 2014-03-11 | Microsoft Corporation | Logical replication in clustered database system with adaptive cloning |
US8381015B2 (en) | 2010-06-30 | 2013-02-19 | International Business Machines Corporation | Fault tolerance for map/reduce computing |
CN102421110B (zh) * | 2010-09-27 | 2014-11-05 | 中国移动通信集团四川有限公司 | 端到端关联的实现方法和装置 |
WO2012061109A1 (en) * | 2010-10-25 | 2012-05-10 | Ab Initio Technology Llc | Managing data set objects in a dataflow graph that represents a computer program |
JP5146523B2 (ja) * | 2010-11-26 | 2013-02-20 | 株式会社デンソー | 車両用挙動データ記録装置 |
JP2012129857A (ja) * | 2010-12-16 | 2012-07-05 | Hitachi Ltd | データ処理システム、およびデータ順序保証方法 |
US9053073B1 (en) * | 2011-04-18 | 2015-06-09 | American Megatrends, Inc. | Use of timestamp logic in synchronous replication |
US8918362B2 (en) * | 2011-05-23 | 2014-12-23 | Microsoft Corporation | Replication processes in a distributed storage environment |
US9965381B1 (en) * | 2011-06-30 | 2018-05-08 | EMC IP Holding Company LLC | Indentifying data for placement in a storage system |
US8935493B1 (en) | 2011-06-30 | 2015-01-13 | Emc Corporation | Performing data storage optimizations across multiple data storage systems |
ES2723781T3 (es) | 2011-08-03 | 2019-09-02 | Amadeus Sas | Método y sistema para mantener consistencia fuerte de contenidos replicados distribuidos en un sistema de cliente/servidor |
CN102339315B (zh) * | 2011-09-30 | 2014-11-19 | 亿赞普(北京)科技有限公司 | 一种广告数据的索引更新方法和系统 |
US9246996B1 (en) | 2012-05-07 | 2016-01-26 | Amazon Technologies, Inc. | Data volume placement techniques |
US10387448B2 (en) | 2012-05-15 | 2019-08-20 | Splunk Inc. | Replication of summary data in a clustered computing environment |
EP2667541B1 (en) * | 2012-05-23 | 2015-08-05 | Alcatel Lucent | Connectivity service orchestrator |
US9659077B2 (en) * | 2012-06-18 | 2017-05-23 | Actifio, Inc. | System and method for efficient database record replication using different replication strategies based on the database records |
US9223626B2 (en) * | 2012-08-30 | 2015-12-29 | International Business Machines Corporation | Task execution and management in a clustered computing environment |
CA2790479C (en) * | 2012-09-24 | 2020-12-15 | Ibm Canada Limited - Ibm Canada Limitee | Partitioning a search space for distributed crawling |
US8972491B2 (en) | 2012-10-05 | 2015-03-03 | Microsoft Technology Licensing, Llc | Consistency-based service-level agreements in cloud storage environments |
US9373074B2 (en) | 2012-10-09 | 2016-06-21 | Qualcomm Incorporated | Method and apparatus for time management and scheduling for sychronous processing on a cluster of processing nodes |
WO2014077918A1 (en) | 2012-11-19 | 2014-05-22 | Board Of Regents, The University Of Texas System | Robustness in a scalable block storage system |
US9449040B2 (en) | 2012-11-26 | 2016-09-20 | Amazon Technologies, Inc. | Block restore ordering in a streaming restore system |
US9002805B1 (en) | 2012-12-14 | 2015-04-07 | Amazon Technologies, Inc. | Conditional storage object deletion |
US11086898B2 (en) * | 2013-03-13 | 2021-08-10 | Amazon Technologies, Inc. | Token-based admission control for replicated writes |
US10225136B2 (en) * | 2013-04-30 | 2019-03-05 | Splunk Inc. | Processing of log data and performance data obtained via an application programming interface (API) |
US9208032B1 (en) * | 2013-05-15 | 2015-12-08 | Amazon Technologies, Inc. | Managing contingency capacity of pooled resources in multiple availability zones |
US9235505B2 (en) * | 2013-05-17 | 2016-01-12 | Ab Initio Technology Llc | Managing memory and storage space for a data operation |
US9384227B1 (en) | 2013-06-04 | 2016-07-05 | Amazon Technologies, Inc. | Database system providing skew metrics across a key space |
US9298651B2 (en) * | 2013-06-24 | 2016-03-29 | International Business Machines Corporation | Continuous in-memory accumulation of hardware performance counter data |
US9621401B1 (en) * | 2013-08-08 | 2017-04-11 | The Boeing Company | Performing dynamic data analysis within a dynamic network |
US20150157880A1 (en) | 2013-12-05 | 2015-06-11 | Image Owl Inc. | Cloud-based adaptive quality assurance facilities |
US9183148B2 (en) * | 2013-12-12 | 2015-11-10 | International Business Machines Corporation | Efficient distributed cache consistency |
US10474493B2 (en) | 2014-02-28 | 2019-11-12 | Red Hat, Inc. | Systems and methods for semi-durable transaction log storage in two-phase commit protocol transaction processing |
US10803012B1 (en) | 2014-05-09 | 2020-10-13 | Amazon Technologies, Inc. | Variable data replication for storage systems implementing quorum-based durability schemes |
US10409920B1 (en) | 2014-05-23 | 2019-09-10 | EMC IP Holding Company LLC | Data services for tiered memory |
US9525599B1 (en) | 2014-06-24 | 2016-12-20 | Google Inc. | Modeling distributed systems |
WO2016025321A1 (en) | 2014-08-13 | 2016-02-18 | OneCloud Labs, Inc. | Replication of virtualized infrastructure within distributed computing environments |
US10242027B2 (en) * | 2014-08-15 | 2019-03-26 | Hewlett-Packard Development Company, L.P. | Three phase commit for a distributed file system |
US9256761B1 (en) | 2014-08-18 | 2016-02-09 | Yp Llc | Data storage service for personalization system |
CN106663075B (zh) | 2014-09-02 | 2020-12-11 | 起元科技有限公司 | 执行基于图的程序规范 |
US10303795B2 (en) * | 2014-09-10 | 2019-05-28 | Amazon Technologies, Inc. | Read descriptors at heterogeneous storage systems |
US10025802B2 (en) * | 2014-09-19 | 2018-07-17 | Amazon Technologies, Inc. | Automated configuration of log-coordinated storage groups |
WO2016044763A1 (en) | 2014-09-19 | 2016-03-24 | Amazon Technologies, Inc. | Automated configuration of log-coordinated storage groups |
US9799017B1 (en) * | 2014-09-19 | 2017-10-24 | Amazon Technologies, Inc. | Cross-data-store operations in log-coordinated storage systems |
US10373247B2 (en) | 2014-09-19 | 2019-08-06 | Amazon Technologies, Inc. | Lifecycle transitions in log-coordinated data stores |
CN107111532B (zh) | 2014-10-20 | 2021-03-05 | 起元科技有限公司 | 计算不确定性情况下的恢复和容错 |
US9892180B2 (en) * | 2014-11-21 | 2018-02-13 | International Business Machines Corporation | Data transfer between multiple databases |
US10095425B1 (en) | 2014-12-30 | 2018-10-09 | EMC IP Holding Company LLC | Techniques for storing data |
US9886347B2 (en) | 2015-01-08 | 2018-02-06 | International Business Machines Corporation | Data replication in a database management system |
WO2016134035A1 (en) | 2015-02-17 | 2016-08-25 | Coho Data, Inc. | Virtualized application-layer space for data processing in data storage systems |
US9891973B2 (en) | 2015-02-18 | 2018-02-13 | Seagate Technology Llc | Data storage system durability using hardware failure risk indicators |
JP2016174268A (ja) * | 2015-03-17 | 2016-09-29 | 株式会社日立製作所 | ネットワークシステム、ネットワークシステムの制御方法、通信装置、及びプログラム |
US20160306581A1 (en) | 2015-04-15 | 2016-10-20 | Intermodal Data, Inc. | Automated configuration of storage pools methods and apparatus |
US10298715B2 (en) | 2015-04-15 | 2019-05-21 | Hitachi, Ltd. | Distributed processing system, task processing method, and storage medium |
CN106155929A (zh) * | 2015-04-17 | 2016-11-23 | 伊姆西公司 | 数据存储管理系统和方法 |
US10140149B1 (en) * | 2015-05-19 | 2018-11-27 | Pure Storage, Inc. | Transactional commits with hardware assists in remote memory |
US9778883B2 (en) | 2015-06-23 | 2017-10-03 | Netapp, Inc. | Methods and systems for resource management in a networked storage environment |
US10650024B2 (en) * | 2015-07-30 | 2020-05-12 | Google Llc | System and method of replicating data in a distributed system |
US9753813B1 (en) | 2015-09-25 | 2017-09-05 | Amazon Technologies, Inc. | Data replication snapshots for persistent storage using operation numbers |
US10498853B2 (en) * | 2015-09-28 | 2019-12-03 | Walmart Apollo, Llc | Cloud-based data session provisioning, data storage, and data retrieval system and method |
US9672082B2 (en) | 2015-10-21 | 2017-06-06 | Oracle International Corporation | Guaranteeing the event order for multi-stage processing in distributed systems |
US10795881B2 (en) * | 2015-12-18 | 2020-10-06 | Sap Se | Table replication in a database environment |
US10567500B1 (en) | 2015-12-21 | 2020-02-18 | Amazon Technologies, Inc. | Continuous backup of data in a distributed data store |
AU2017207404B2 (en) * | 2016-01-14 | 2020-12-10 | Ab Initio Technology Llc | Recoverable stream processing |
US20170212891A1 (en) | 2016-01-25 | 2017-07-27 | Netapp, Inc. | Scheduling technique to smooth metadata processing latency |
US10237149B1 (en) | 2016-03-21 | 2019-03-19 | EMC IP Holding Company LLC | Application-level monitoring and profiling services in computing environments |
US10474636B2 (en) * | 2016-03-25 | 2019-11-12 | Amazon Technologies, Inc. | Block allocation for low latency file systems |
US10469582B2 (en) | 2016-04-13 | 2019-11-05 | Netapp, Inc. | Methods and systems for managing provisioning requests in a networked storage environment |
CN107302469B (zh) * | 2016-04-14 | 2020-03-31 | 北京京东尚科信息技术有限公司 | 分布式服务集群系统数据更新的监控装置及方法 |
US10158743B2 (en) * | 2016-06-12 | 2018-12-18 | International Business Machines Corporation | Compute node cluster management |
CN106201338B (zh) * | 2016-06-28 | 2019-10-22 | 华为技术有限公司 | 数据存储方法及装置 |
US10650017B1 (en) | 2016-08-29 | 2020-05-12 | Amazon Technologies, Inc. | Tiered storage for data processing |
US10810103B2 (en) | 2016-12-14 | 2020-10-20 | Vmware, Inc. | Method and system for identifying event-message transactions |
US11307998B2 (en) * | 2017-01-09 | 2022-04-19 | Pure Storage, Inc. | Storage efficiency of encrypted host system data |
US10423609B1 (en) * | 2017-03-29 | 2019-09-24 | Amazon Technologies, Inc. | Consistent snapshot points in a distributed storage service |
US11010193B2 (en) | 2017-04-17 | 2021-05-18 | Microsoft Technology Licensing, Llc | Efficient queue management for cluster scheduling |
US10613791B2 (en) * | 2017-06-12 | 2020-04-07 | Pure Storage, Inc. | Portable snapshot replication between storage systems |
US10387673B2 (en) * | 2017-06-30 | 2019-08-20 | Microsoft Technology Licensing, Llc | Fully managed account level blob data encryption in a distributed storage environment |
US10425473B1 (en) * | 2017-07-03 | 2019-09-24 | Pure Storage, Inc. | Stateful connection reset in a storage cluster with a stateless load balancer |
US20190102262A1 (en) | 2017-09-29 | 2019-04-04 | Intel Corporation | Automated continuous checkpointing |
US10862965B2 (en) | 2017-10-01 | 2020-12-08 | Oracle International Corporation | System and method for topics implementation in a distributed data computing environment |
-
2018
- 2018-10-30 CA CA3078478A patent/CA3078478C/en active Active
- 2018-10-30 KR KR1020207014638A patent/KR102372540B1/ko active IP Right Grant
- 2018-10-30 SG SG11202002998QA patent/SG11202002998QA/en unknown
- 2018-10-30 US US16/175,133 patent/US10558493B2/en active Active
- 2018-10-30 EP EP18801250.4A patent/EP3704577A1/en active Pending
- 2018-10-30 CA CA3078482A patent/CA3078482C/en active Active
- 2018-10-30 SG SG11202003048QA patent/SG11202003048QA/en unknown
- 2018-10-30 CN CN201880071419.2A patent/CN111316243B/zh active Active
- 2018-10-30 SG SG11202003045VA patent/SG11202003045VA/en unknown
- 2018-10-30 CA CA3078469A patent/CA3078469C/en active Active
- 2018-10-30 JP JP2020522052A patent/JP2021503640A/ja active Pending
- 2018-10-30 SG SG11202002986TA patent/SG11202002986TA/en unknown
- 2018-10-30 US US16/175,487 patent/US11281693B2/en active Active
- 2018-10-30 US US16/175,408 patent/US11074240B2/en active Active
- 2018-10-30 US US16/175,276 patent/US11288284B2/en active Active
- 2018-10-30 CN CN201880071520.8A patent/CN111316241B/zh active Active
- 2018-10-30 AU AU2018359378A patent/AU2018359378B2/en active Active
- 2018-10-30 KR KR1020207015042A patent/KR102442431B1/ko active IP Right Grant
- 2018-10-30 CA CA3078483A patent/CA3078483C/en active Active
- 2018-10-30 EP EP18804790.6A patent/EP3704579B1/en active Active
- 2018-10-30 KR KR1020207014637A patent/KR102402150B1/ko active IP Right Grant
- 2018-10-30 SG SG11202003041YA patent/SG11202003041YA/en unknown
- 2018-10-30 KR KR1020207015393A patent/KR102396002B1/ko active IP Right Grant
- 2018-10-30 US US16/175,454 patent/US11269918B2/en active Active
- 2018-10-30 CN CN201880071329.3A patent/CN111316240B/zh active Active
- 2018-10-30 WO PCT/US2018/058220 patent/WO2019089601A1/en unknown
- 2018-10-30 AU AU2018359385A patent/AU2018359385B2/en active Active
- 2018-10-30 JP JP2020521944A patent/JP7314127B2/ja active Active
- 2018-10-30 WO PCT/US2018/058249 patent/WO2019089619A1/en unknown
- 2018-10-30 AU AU2018359380A patent/AU2018359380B2/en active Active
- 2018-10-30 JP JP2020521999A patent/JP7203102B2/ja active Active
- 2018-10-30 WO PCT/US2018/058218 patent/WO2019089599A1/en unknown
- 2018-10-30 US US16/175,363 patent/US10949414B2/en active Active
- 2018-10-30 KR KR1020207014895A patent/KR102444421B1/ko active IP Right Grant
- 2018-10-30 WO PCT/US2018/058225 patent/WO2019089606A1/en unknown
- 2018-10-30 EP EP18801247.0A patent/EP3704576A1/en active Pending
- 2018-10-30 EP EP18803840.0A patent/EP3704580A1/en active Pending
- 2018-10-30 CN CN201880071284.XA patent/CN111295643B/zh active Active
- 2018-10-30 CA CA3078476A patent/CA3078476C/en active Active
- 2018-10-30 EP EP18804787.2A patent/EP3704578A1/en active Pending
- 2018-10-30 JP JP2020522044A patent/JP6931745B2/ja active Active
- 2018-10-30 CN CN201880071269.5A patent/CN111373373B/zh active Active
- 2018-10-30 JP JP2020521954A patent/JP7038204B2/ja active Active
- 2018-10-30 AU AU2018357856A patent/AU2018357856B2/en active Active
- 2018-10-30 AU AU2018357870A patent/AU2018357870B2/en active Active
- 2018-10-30 WO PCT/US2018/058211 patent/WO2019089593A1/en unknown
-
2021
- 2021-12-02 AU AU2021277733A patent/AU2021277733B2/en active Active
-
2023
- 2023-04-19 JP JP2023068386A patent/JP2023093614A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013046352A1 (ja) | 2011-09-28 | 2013-04-04 | 株式会社日立製作所 | 計算機システム、データ管理方法及びデータ管理プログラム |
JP2015527670A (ja) | 2013-07-26 | 2015-09-17 | ▲ホア▼▲ウェイ▼技術有限公司 | データ送信方法、データ受信方法、及びストレージデバイス |
JP2014170573A (ja) | 2014-04-25 | 2014-09-18 | Hitachi Ltd | メッセージシステムおよびデータストアサーバ |
JP2017527216A (ja) | 2014-09-03 | 2017-09-14 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 選択されたネットワークトラフィックの収集と分析 |
WO2016135705A1 (en) | 2015-02-27 | 2016-09-01 | Royal Bank Of Canada | Coordinated processing of data by networked computing resources |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7314127B2 (ja) | 時間間隔カウンタを使用してコンピュータクラスタを管理すること | |
JP2021501399A6 (ja) | 永続性レベル表示器を使用してコンピュータクラスタを管理すること | |
JP2021501398A6 (ja) | 時間間隔カウンタを使用してコンピュータクラスタを管理すること | |
JP2021501400A6 (ja) | コンピュータクラスタインターフェースを管理すること |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220606 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7314127 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |