JP6931745B2 - 状態更新の一貫性に基づきコンピュータクラスタを管理すること - Google Patents
状態更新の一貫性に基づきコンピュータクラスタを管理すること Download PDFInfo
- Publication number
- JP6931745B2 JP6931745B2 JP2020522044A JP2020522044A JP6931745B2 JP 6931745 B2 JP6931745 B2 JP 6931745B2 JP 2020522044 A JP2020522044 A JP 2020522044A JP 2020522044 A JP2020522044 A JP 2020522044A JP 6931745 B2 JP6931745 B2 JP 6931745B2
- Authority
- JP
- Japan
- Prior art keywords
- state update
- request
- state
- update requests
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 166
- 230000004044 response Effects 0.000 claims description 151
- 238000000034 method Methods 0.000 claims description 81
- 230000008569 process Effects 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 15
- 230000002688 persistence Effects 0.000 claims description 14
- 230000015654 memory Effects 0.000 description 78
- 239000000872 buffer Substances 0.000 description 46
- 230000002085 persistent effect Effects 0.000 description 31
- 238000003860 storage Methods 0.000 description 30
- 238000004364 calculation method Methods 0.000 description 23
- 238000013500 data storage Methods 0.000 description 14
- 230000010076 replication Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1474—Saving, restoring, recovering or retrying in transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1479—Generic software techniques for error detection or fault masking
- G06F11/1492—Generic software techniques for error detection or fault masking by run-time replication performed by the application software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/108—Transfer of content, software, digital rights or licenses
- G06F21/1088—Transfer of content, software, digital rights or licenses by using transactions with atomicity, consistency, or isolation and durability [ACID] properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
- G06F9/467—Transactional memory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multi Processors (AREA)
- Computer And Data Communications (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
- Hardware Redundancy (AREA)
- Electrotherapy Devices (AREA)
- Mobile Radio Communication Systems (AREA)
Description
本出願は、参照のためその全体を本明細書に援用する2017年10月31日出願の米国特許出願第62/579,225号明細書からの優先権を主張する。
データストレージ216へ接続された任意選択的開発環境218であって、開発環境218は、グラフコンポーネントを処理するグラフを介し1つ又は複数の入力データセットから1つ又は複数の出力データセットへ流れるデータに対し行われるグラフベース計算を実施するデータフローグラフに関連するデータ処理アプリケーションを構築するように構成され、データフローグラフはデータストレージ216内のデータ構造により規定され、多くのノードを有するデータフローグラフはデータ構造により規定され、1つ又は複数のリンクにより接続されるグラフコンポーネントを表し、上記リンクはデータ構造により規定され、グラフコンポーネント間のデータフローを表す、開発環境218と;
データストレージ216へ接続され、1つ又は複数のコンピュータ上でホストされる実行環境212であって、実行環境212は、データフローグラフを規定する格納されたデータ構造を読み出すようにそして前処理モジュール206によりデータフローグラフへ割り当てられるグラフコンポーネントの計算を行うためのコンピュータ資源(処理など)を割り振るように構成された前処理モジュール206を含む、実行環境212と、を含み、
実行環境204は、グラフベース計算が実行されるように、割り当てられた計算又は処理の実行をスケジューリング及び制御するための実行モジュール212を含む、実行環境212を含む。すなわち、実行モジュールは、データソース202からデータを読み取るように、そしてデータフローグラフの形式で表現された実行可能コンピュータプログラムを使用してデータを処理するように構成される。
ごく一般的には、実行モジュール212を使用してデータを処理するためのいくつかのコンピュータプログラム(本明細書では「アプリケーション」とも呼ばれる)は、コンピュータクラスタへアクセスするためにアプリケーションが使用するコールクラスタコンポーネントを含む。例えば、図2を参照すると、パイプラインデータ処理に対する手法では、コールクラスタコンポーネント110は、その一部分であるアプリケーション(例えばデータフローグラフ又は他の形式のグラフベースプログラム仕様)内のコンポーネントからコールクラスタコンポーネント110において受信されたレコード103を処理するためにコンピュータクラスタ120のコンポーネントと相互作用し、対応結果105をその一部分であるアプリケーションの1つ又は複数の他のコンポーネントへ送信する。入力レコード103毎に、コールクラスタコンポーネント110は、要求113(例えばデータ処理タスクを実行するための要求)をクラスタ120へ送信し、しばらくして、当該要求113に対する応答115をクラスタ120から受信する。応答115の受信後しばらくして、コールクラスタコンポーネント110は、通常は要求を処理した結果がクラスタ120内で適切に持続性があると知られた後、応答115に対応する結果105を送信する。
図5〜12を参照すると、コールクラスタコンポーネント110及びクラスタ120の通常動作の一例が示されている。図5では、入力レコード103がコールクラスタコンポーネント110に到達し、コールクラスタコンポーネント110は入力レコード103の要求113を形成する。コールクラスタコンポーネント110は要求113と一意的要求識別子ridとを関連付け、これをコールクラスタコンポーネント110の再生バッファ112内に格納する。
図4の状態遷移図は通常動作を表すが、ワーカー間のメッセージが成功裡に受信されないということ(うまく受信されないということ)が頻繁ではないがあり得る。さらに、ワーカーがその揮発性メモリを失った後に再始動すること又はワーカーが要求をさらに処理しないように完全に失敗することがあり得る(すなわち、主要役割又はバックアップ役割のいずれかにおいて)。本明細書において説明されるデータ処理システムのいくつかの実施形態がこのセクションにおいて説明されたロールバックシナリオのすべてを実現するということに注意すべきである。データ処理システムの他の実施形態がこのセクションにおいて説明されたロールバックシナリオのすべてではないが1つ又は複数を実現し得るということにも留意すべきである。
成功裡に受信されなかったいくつかのワーカー間メッセージであって時間teに関連付けられたメッセージが存在するということをクラスタが判定する状況を最初に考察する。一般的に、ルートは、時間がteに先立つ時間tr(すなわち、tr<te、例えばtr=te−1)へ「ロールバック」されなければならないということをすべてのワーカーに通知する。このようなロールバックによってすら、コールクラスタコンポーネント110により提供される結果は、あたかもロールバックが発生しなかったかのようにアプリケーション又はグラフへ提供され、ワーカー間に分配されたデータへの更新はコールクラスタコンポーネントにより提供された結果と整合したままである。特に、結果は、多くのノード(例えばワーカー)において格納される(例えば、複製又は保持される)までコールクラスタコンポーネント110からアプリケーション又はグラフへリリースされなく、これにより、結果が決して呼び出されることなく無効になるということを保証する。別の言い方をすると、発生するいかなるロールバックも、結果がコールクラスタコンポーネント110によりアプリケーション又はグラフへ提供されるのに先立って必ず発生する。
第2の状況では、以前の要求の要求時間taはロールバック時間trより大きい(すなわち、tr<ta)が、要求は実行を開始し、主要ワーカーにおいて実行を完了しなかった(すなわち、要求は主要ワーカーにおいて状態B(恐らく、部分応答115が計算される)にあり、要求はバックアップワーカーにおいて状態Fにある)。この場合、実行は終了され、部分応答115は主要ワーカー及びバックアップワーカーにおいて廃棄され(又は、実行は完了することが許可され、応答は廃棄され)、コールクラスタコンポーネント110は要求113をクラスタ120へ再送信する。主要ワーカーとバックアップワーカーとにおいて格納された要求は状態Aと状態Fとへそれぞれ戻る。主要ワーカーは、あたかも要求が主要ワーカーにおいて実行を開始していなかったかのようなやり方と同じやり方で要求をバックアップワーカーに通知する。
第3の状況では、以前の要求の要求時間taは再びロールバック時間trより大きい。しかし、この場合、我々は、実行は時間tb(すなわち、tr<ta<tb)において完了したということと応答はバックアップワーカーにおいて複製されコールクラスタコンポーネント110において受信されたということとを仮定する。すなわち、要求113はコールクラスタコンポーネント110において状態Bにあり、要求は主要ワーカー150aにおいて状態Cにあり、要求113はバックアップワーカー150bにおいて状態Gにある。第2の状況と同様に進行中の実行の実行を単に終了する必要があるのではなく、主要及びバックアップワーカーにおいて格納されていた応答115が除去される。図4を参照して上に導入されたように、時間tbにおいて生成された応答は、特定時間及びその後の時間におけるすべての更新がデータ構造から除去され得るようなやり方で、時間tbに関連付けられた改版されたデータ構造内に格納される。この状態では、時間trより遅く更新されたすべてのデータ版を除去することにより、時間tbにおいてなされた図示された要求の更新は必ず除去され、要求は、実行を待つtcの要求時間を有する主要ワーカーにおいて状態Aへ戻され、主要ワーカーからの応答を待つバックアップワーカーにおいて状態Fへ戻された。コールクラスタコンポーネントにおいて、応答は廃棄され、要求は状態Aへ戻される。
第4の状況では、ロールバック時間trはオリジナル要求時間taにおける又はその後(すなわち、ta≦tr)のものであり、オリジナル要求は実行を開始していない。要求は、クラスタ120へ再送信され、主要ワーカーとバックアップワーカーとにおけるオリジナル要求(すなわち、{rid,ta})の後の実行のための待ち行列に入れられる。主要ワーカーはオリジナル要求を実行し、応答(すなわち、{rid,tb})を生成する。次に、主要ワーカーは、再送信された要求(すなわち、{rid,tc})の実行を開始することに進むが、再送信された要求のridに関連付けられた応答が既に存在していることを検知し、再送信された要求の実行を見送る。
第5の状況では、ロールバック時間trはオリジナル要求時間taにおける又はその後のものであり(すなわち、ta≦tr)、オリジナル要求は実行を開始したが、主要ワーカーにおいて実行を完了していない(すなわち、要求は主要ワーカーにおいて状態Bにあり、要求はバックアップワーカーにおいて状態Fにある)。この状況では、実行は主要ワーカー及びバックアップワーカーにおいて終了される(又は完了することを許容され、応答は廃棄される)(すなわち、主要及びバックアップワーカーにおいて格納された要求は状態A、Fへそれぞれ戻る)。
第6の状況では、ロールバック時間trは要求時間ta又はその後のものであり、要求はまた、時間tbにおいて、またロールバック時間又はその前(すなわち、ta≦tb≦tr)に実行を完了した。応答がコールクラスタコンポーネント110へ成功裡に提供されれば(すなわち、この要求はコールクラスタコンポーネントにおいて状態Bにある)、ロールバック要求は、要求を再送信させないし、またエスクローバッファ114からのいかなる応答の除去も引き起こさない。すなわち、taに関連付けられたいかなる要求とtbに関連付けられたいかなる応答も不変なままにされる。
第7の状況では、ロールバック時間trは要求時間taにおける又はその後のものであり、要求はロールバック時間後の時間tb(すなわち、ta≦tr<tb)において実行を完了しており、ワーカー間の応答の複製は成功しなかったかもしれない。ワーカーはtr後の時間を有するすべての応答115を廃棄する。バックアップワーカーにおいて格納された要求113は状態Fへ戻り、主要ワーカーにおいて格納された要求113は状態Bへ戻る。コールクラスタコンポーネント110は、エスクローバッファ114内のすべての応答115を廃棄し、再生バッファ112内に格納された要求113を状態Aへ戻し、要求113を、要求を再処理するクラスタ120へ再送信する。
最後に、第8の状況では、主要ワーカーが失われる(lost)(例えば、失敗することが知られる)と要求を処理するワーカーが存在する。ごく一般的には、失われた主要ワーカーが応答を提供するのを待っているバックアップワーカー(すなわち、バックアップワーカーは状態Fにある)におけるいかなる要求によっても、バックアップワーカーは主要ワーカーとなるように促される。例えば、当該ワーカーからのメッセージに対する返答を受信しないことにより、ワーカーが失われたことを検知すると、ルート140は、最後に複製された時間に等しい時間tr(すなわち、tr=T2)へのロールバックを開始する。バックアップワーカーは、失われたワーカーに対処するための新しい区画情報を伴い得る時間trへのロールバック要求を受信すると、バックアップワーカーは、資源が要求を実行するのを待っている状態Aへ要求の状態を変更することにより新しい主要ワーカーとして働き始める。
次にルート140の動作に移ると、上に紹介したように、ルートは現在の作業時間(間隔)T1 144を定期的にインクリメントする。一般的に、作業時間を更新する際、ルートは一組の時間(T1,T2,T3)144〜146をすべてのワーカーへ分配(例えば同報通信)する。それに応じて、ワーカーは、それに基づきT2及び/又はT3時間を更新し得る情報をルートへ提供する。
より一般的には、ta<trである上記ロールバックシナリオ4〜8では、要求を再送信する際、コールクラスタコンポーネント110は、オリジナル要求が時間taにおいて送信されたということに気付かない(またそれに注意も行わない)。一方、クラスタ120は、ロールバックするべきかどうかを判定するために当該時間を使用するのでオリジナル要求の要求時間を考慮する必要がある。したがって、コールクラスタコンポーネント110が、ta<tr<tcとなるように要求(要求識別子ridを有する)をクラスタ120へ再送信すると、要求は、主要ワーカー150aにおいて受信され、時間tcに関連付けられる。主要ワーカー150aは要求をバックアップワーカー150bへ転送する。この状況では、主要ワーカーは再送信された要求(すなわち、{rid,tc})を実行する前にオリジナル要求(すなわち、{rid,ta})を実行し得る。再送信された要求(すなわち、{rid,tc}を実行することに進むと、主要ワーカー150aは、オリジナル要求(すなわち、{rid,ta})の応答が既に保持されているので、再送信された要求を複製として処理することになる。
上述のコンピュータクラスタ管理手法は、例えば、好適なソフトウェア指示を実行するプログラム可能コンピュータシステムを使用して実施されてもよいし、フィールドプログラマブルゲートアレイ(FPGA)などの好適なハードウェアにおいて又はいくつかのハイブリッド形態で実施されてもよい。例えば、プログラム手法では、ソフトウェアは、それぞれが少なくとも1つのプロセッサ、少なくとも1つのデータストレージシステム(揮発性及び/又は不揮発性メモリ及び/又はストレージ要素を含む)、少なくとも1つのユーザインターフェース(少なくとも1つの入力デバイス又はポートを使用することにより入力を受信するための、及び少なくとも1つの出力デバイス又はポートを使用することにより出力を提供するための)を含む1つ又は複数のプログラムされた又はプログラム可能なコンピュータシステム(分散クライアント/サーバ又はグリッドなどの様々なアーキテクチャのものであり得る)上で実行する1つ又は複数のコンピュータプログラム内の手順を含み得る。ソフトウェアは、例えばデータフローグラフの設計、構成、及び実行に関係するサービスを提供するより大きなプログラムの1つ又は複数のモジュールを含み得る。プログラムのモジュール(例えばデータフローグラフの要素)は、データレポジトリ内に格納されたデータモデルに準拠するデータ構造又は他の編成されたデータとして実装され得る。
Claims (15)
- 複数の処理ノードを含む分散データ処理システムにおいて状態更新要求を処理する方法であって、前記方法は、
前記複数の処理ノードのうちの2又は3以上を使用して複数の組の状態更新要求を処理する工程であって、各組の状態更新要求の各状態更新要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、複数の時間間隔のうちの1つの対応する時間間隔に関連付けられ、前記複数の組の状態更新要求は、前記複数の時間間隔のうちの第1の時間間隔に関連する第1組の状態更新要求を含み、前記複数の処理ノードのうちの第1組の処理ノードにおいて状態更新を引き起こすように構成される、前記処理する工程と、
前記第1組の状態更新要求のうちの発行された状態更新要求のカウントを保持することを含む前記第1組の状態更新要求の各状態更新要求を発行する工程と、
前記第1組の状態更新要求に関して行われた状態更新のカウントを保持することを含む前記第1組の処理ノードのうちの1又は2以上の処理ノードにおいて前記第1組の状態更新要求に関連する前記状態更新のうちの少なくともいくつかを行う工程と、
前記第1の時間間隔に関連する前記第1組の状態更新要求のすべての状態更新要求に関連する状態更新は、第1組の状態更新要求に関して実行された前記状態更新のカウントが前記第1組の状態更新要求に関して発行された状態更新要求のカウントと等しいと判定されたことに応じて実行されることを示すために、状態一貫性指標を更新する工程と、を含む前記方法。 - 前記第1組の処理ノードの各処理ノードは受信した状態更新要求のローカルカウントと前記第1組の状態更新要求に関して実行した状態更新のローカルカウントとを保持し、
発行された状態更新要求のグローバルカウントは、前記第1組の処理ノードの前記処理ノードにより受信された状態更新要求の前記ローカルカウントの合計であり、
前記第1組の状態更新要求に関して行われた状態更新のグローバルカウントは、前記第1組の処理ノードの前記処理ノードにおける前記状態更新のローカルカウントの合計である、請求項1に記載の方法。 - 前記分散データ処理システムは、前記第1組の状態更新要求のうちの発行された状態更新要求の前記グローバルカウントを保持するよう、及び前記第1組の状態更新要求に関して行われた状態更新の前記グローバルカウントを保持するように構成されたルートノードを含む、請求項2に記載の方法。
- 前記処理ノードにより受信された状態更新要求の前記ローカルカウントと前記処理ノードによりなされた状態更新の前記ローカルカウントとを前記第1組の処理ノードの各処理ノードから前記ルートノードにおいて受信する工程と、
発行された状態更新要求の前記グローバルカウントと状態更新の前記グローバルカウントとを判定するために前記受信されたローカルカウントを組み合わせる工程とをさらに含む、請求項3に記載の方法。 - 前記処理ノードにより受信された状態更新要求の前記ローカルカウントと前記処理ノードによりなされた状態更新のローカルカウントとを含むメッセージを前記第1組の処理ノードの各処理ノードから前記ルートノードへ発行する工程をさらに含む、請求項3に記載の方法。
- 前記ルートノードはメッセージを前記第1組の処理ノードへ発行するように構成され、前記ルートノードからの前記メッセージは前記複数の時間間隔の時間間隔の開始時間及び終了時間を示す、請求項3に記載の方法。
- 前記ルートノードにより発行された前記メッセージは、さらに前記状態一貫性指標を含む、請求項6に記載の方法。
- 前記ルートノードにより発行された前記メッセージは、さらに現在の作業時間間隔の命令を含む、請求項6に記載の方法。
- 更新された前記状態一貫性指標は、前記第1の時間間隔に関連するすべての状態更新と、前記第1の時間間隔に先立つ前記複数の時間間隔のうちの任意の時間間隔とが、前記第1組の処理ノードにおいて第1のレベルの永続性で格納される、ということを示す、請求項1乃至8のいずれか一項に記載の方法。
- 前記第1組の状態更新要求は、レコードに関連するデータを処理するためのデータ処理タスクに関連する少なくとも1つの状態更新要求が結果を生成する、ということを含む、請求項1乃至9のいずれか一項に記載の方法。
- 前記第1組の状態更新要求はデータ処理タスクにより生成される結果に関連する少なくとも1つの状態更新要求を含む、請求項1乃至10のいずれか一項に記載の方法。
- 前記状態一貫性指標を更新する工程は、時間間隔カウンタをインクリメントする工程を含む、請求項1乃至11のいずれか一項に記載の方法。
- 複数の処理ノードを含む分散データ処理システムにおいて状態更新要求を処理するためのコンピュータ可読媒体上に非一時的形式で格納されたソフトウェアであって、
前記ソフトウェアは、コンピュータシステムに、請求項1乃至12のいずれか一項に記載の工程のすべてを行わせるための命令を含む、前記ソフトウェア。 - 状態更新要求を処理するための装置であって、前記装置は:
それぞれが少なくとも1つのプロセッサを含む複数の処理ノードを含む分散データ処理システムと;
前記複数の処理ノードの処理ノード間で情報を送受信するための前記複数の処理ノードを接続する通信媒体を含み、
前記分散データ処理システムは前記複数の処理ノードのうちの2又は3以上を使用して複数の組の状態更新要求を処理するように構成され、
各組の状態更新要求の各状態更新要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、複数の時間間隔のうちの1つの対応する時間間隔に関連付けられ、
前記複数の組の状態更新要求は前記複数の時間間隔のうちの第1の時間間隔に関連する第1組の状態更新要求を含み、
前記複数の処理ノードのうちの第1組の処理ノードにおいて状態更新を引き起こすように構成され、前記処理は:
前記第1組の状態更新要求のうちの発行された状態更新要求のカウントを保持することを含む前記第1組の状態更新要求の各状態更新要求を発行する工程と、
前記第1組の状態更新要求に関して行われた状態更新のカウントを保持することを含む前記第1組の処理ノードのうちの1又は2以上の処理ノードにおいて前記第1組の状態更新要求に関連する前記状態更新のうちの少なくともいくつかを行う工程と、
前記第1の時間間隔に関連する前記第1組の状態更新要求のすべての状態更新要求に関連する状態更新は、前記第1組の状態更新要求に関して行われた前記状態更新のカウントが前記第1組の状態更新要求のうちの発行された状態更新要求の前記カウントと等しいということを判断することに応答して行われたということを示すために状態一貫性指標を更新する工程とを含む、前記装置。 - 複数の処理ノードを含む分散データ処理システム内の状態更新要求を処理するためのコンピュータシステムであって、前記コンピュータシステムは:
前記複数の処理ノードのうちの2又は3以上を使用して複数の組の状態更新要求を処理する手段であって、各組の状態更新要求の各状態更新要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、複数の時間間隔のうちの1つの対応する時間間隔に関連付けられ、前記複数の組の状態更新要求は前記複数の時間間隔のうちの第1の時間間隔に関連する第1組の状態更新要求を含み、前記複数の処理ノードのうちの第1組の処理ノードにおいて状態更新を引き起こすように構成される、手段を含み、前記処理は:
前記第1組の状態更新要求のうちの発行された状態更新要求のカウントを保持することを含む前記第1組の状態更新要求の各状態更新要求を発行する工程と、
前記第1組の状態更新要求に関して行われた状態更新のカウントを保持することを含む前記第1組の処理ノードのうちの1又は2以上の処理ノードにおいて前記第1組の状態更新要求に関連する前記状態更新のうちの少なくともいくつかを行う工程と、
前記第1の時間間隔に関連する前記第1組の状態更新要求のすべての状態更新要求に関連する状態更新は、前記第1組の状態更新要求に関して行われた前記状態更新のカウントが前記第1組の状態更新要求のうちの発行された状態更新要求の前記カウントと等しいということを判断することに応答して行われたということを示すために状態一貫性指標を更新する工程とを含む、前記コンピュータシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762579225P | 2017-10-31 | 2017-10-31 | |
US62/579,225 | 2017-10-31 | ||
PCT/US2018/058225 WO2019089606A1 (en) | 2017-10-31 | 2018-10-30 | Managing a computing cluster based on consistency of state updates |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021503113A JP2021503113A (ja) | 2021-02-04 |
JP6931745B2 true JP6931745B2 (ja) | 2021-09-08 |
Family
ID=64277932
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020522044A Active JP6931745B2 (ja) | 2017-10-31 | 2018-10-30 | 状態更新の一貫性に基づきコンピュータクラスタを管理すること |
JP2020521954A Active JP7038204B2 (ja) | 2017-10-31 | 2018-10-30 | 永続性レベル表示器を使用してコンピュータクラスタを管理すること |
JP2020521999A Active JP7203102B2 (ja) | 2017-10-31 | 2018-10-30 | コンピュータクラスタインターフェースを管理すること |
JP2020521944A Active JP7314127B2 (ja) | 2017-10-31 | 2018-10-30 | 時間間隔カウンタを使用してコンピュータクラスタを管理すること |
JP2020522052A Pending JP2021503640A (ja) | 2017-10-31 | 2018-10-30 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
JP2023068386A Pending JP2023093614A (ja) | 2017-10-31 | 2023-04-19 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020521954A Active JP7038204B2 (ja) | 2017-10-31 | 2018-10-30 | 永続性レベル表示器を使用してコンピュータクラスタを管理すること |
JP2020521999A Active JP7203102B2 (ja) | 2017-10-31 | 2018-10-30 | コンピュータクラスタインターフェースを管理すること |
JP2020521944A Active JP7314127B2 (ja) | 2017-10-31 | 2018-10-30 | 時間間隔カウンタを使用してコンピュータクラスタを管理すること |
JP2020522052A Pending JP2021503640A (ja) | 2017-10-31 | 2018-10-30 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
JP2023068386A Pending JP2023093614A (ja) | 2017-10-31 | 2023-04-19 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
Country Status (9)
Country | Link |
---|---|
US (6) | US11269918B2 (ja) |
EP (5) | EP3704578A1 (ja) |
JP (6) | JP6931745B2 (ja) |
KR (5) | KR102396002B1 (ja) |
CN (5) | CN111295643B (ja) |
AU (6) | AU2018359378B2 (ja) |
CA (5) | CA3078478C (ja) |
SG (5) | SG11202003048QA (ja) |
WO (5) | WO2019089599A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10789274B2 (en) * | 2018-02-27 | 2020-09-29 | Sap Se | Replicating data in a multi-cloud environment |
ES2862428T3 (es) | 2019-03-18 | 2021-10-07 | Advanced New Technologies Co Ltd | Recuperación de tiempo de inactividad de sistema de consenso |
SG11201908387SA (en) | 2019-03-18 | 2019-10-30 | Alibaba Group Holding Ltd | Consensus system downtime recovery |
US10938750B2 (en) * | 2019-03-18 | 2021-03-02 | Advanced New Technologies Co., Ltd. | Consensus system downtime recovery |
CN111208949B (zh) * | 2020-01-13 | 2020-12-25 | 上海依图网络科技有限公司 | 一种确定分布式存储系统中的数据回滚时段的方法 |
US20210409269A1 (en) * | 2020-06-30 | 2021-12-30 | Arris Enterprises Llc | Operation-based synchronizing of supervisory modules |
KR102357314B1 (ko) * | 2020-10-28 | 2022-02-07 | 주식회사 마크베이스 | 센서 데이터 복제 방법을 수행하는 클라우드 시스템 |
CN112965858B (zh) * | 2021-03-04 | 2023-07-18 | 电信科学技术第五研究所有限公司 | 一种组网分布式存储数据冲突处理的实现方法 |
US11886920B2 (en) * | 2021-03-19 | 2024-01-30 | Shopify Inc. | Methods and apparatus for load sharing between primary and secondary computing environments based on expected completion latency differences |
US11514080B1 (en) * | 2022-05-31 | 2022-11-29 | Snowflake Inc. | Cross domain transactions |
Family Cites Families (115)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5199027A (en) * | 1989-03-14 | 1993-03-30 | Alcatel N.V. | Communication switching system |
JP3407358B2 (ja) * | 1993-11-05 | 2003-05-19 | 富士通株式会社 | バリア同期における非同期通信完了保証方法 |
US5966072A (en) | 1996-07-02 | 1999-10-12 | Ab Initio Software Corporation | Executing computations expressed as graphs |
CA2213213A1 (en) * | 1996-08-26 | 1998-02-26 | Tandem Computers Incorporated | Method and apparatus for performing efficient corba transactions |
GB2335518A (en) * | 1998-03-18 | 1999-09-22 | Ibm | Triggering event causes creation of Coordinator transaction state object |
US6615225B1 (en) | 2000-04-27 | 2003-09-02 | International Business Machines Corporation | System and method for relating files in a distributed data storage environment |
US7103664B1 (en) * | 2000-05-31 | 2006-09-05 | International Business Machines Corporation | Method, system and program products for ordering lists of service addresses to provide load balancing of a clustered environment |
US6990606B2 (en) * | 2000-07-28 | 2006-01-24 | International Business Machines Corporation | Cascading failover of a data management application for shared disk file systems in loosely coupled node clusters |
JP2002163239A (ja) * | 2000-11-22 | 2002-06-07 | Toshiba Corp | マルチプロセッサシステムおよびその制御方法 |
US20030023775A1 (en) * | 2001-07-13 | 2003-01-30 | International Business Machines Corporation | Efficient notification of multiple message completions in message passing multi-node data processing systems |
JP4133068B2 (ja) * | 2002-07-23 | 2008-08-13 | 株式会社日立製作所 | 計算機システム |
US7167850B2 (en) | 2002-10-10 | 2007-01-23 | Ab Initio Software Corporation | Startup and control of graph-based computation |
US20040254964A1 (en) * | 2003-06-12 | 2004-12-16 | Shoji Kodama | Data replication with rollback |
JP2005078461A (ja) * | 2003-09-01 | 2005-03-24 | Ricoh Co Ltd | 分散画像処理ネットワークシステム |
CN1938984B (zh) * | 2004-03-31 | 2010-05-26 | Lg电子株式会社 | 用于网络层的数据处理方法 |
CA2484694A1 (en) | 2004-10-14 | 2006-04-14 | Alcatel | Database ram cache |
US7778984B2 (en) * | 2004-11-19 | 2010-08-17 | Microsoft Corporation | System and method for a distributed object store |
EP1851662A2 (en) | 2005-02-24 | 2007-11-07 | Xeround Systems Ltd. | Method and apparatus for distributed data management in a switching network |
US7716630B2 (en) | 2005-06-27 | 2010-05-11 | Ab Initio Technology Llc | Managing parameters for graph-based computations |
US7848261B2 (en) | 2006-02-17 | 2010-12-07 | Isilon Systems, Inc. | Systems and methods for providing a quiescing protocol |
GB0613192D0 (en) * | 2006-07-01 | 2006-08-09 | Ibm | Methods, apparatus and computer programs for managing persistence |
JP5318768B2 (ja) * | 2006-10-05 | 2013-10-16 | ワラテック プロプライエタリー リミテッド | 高度な競合検出 |
US8880480B2 (en) | 2007-01-03 | 2014-11-04 | Oracle International Corporation | Method and apparatus for data rollback |
JP4916420B2 (ja) * | 2007-11-16 | 2012-04-11 | 株式会社日立製作所 | ストレージシステム及びリモートコピー制御方法 |
JP2009151376A (ja) * | 2007-12-18 | 2009-07-09 | Ntt Docomo Inc | 分散処理方法、計算機管理装置及び分散処理システム |
US20100332718A1 (en) * | 2009-06-26 | 2010-12-30 | Micron Technology, Inc. | System and method for providing configurable latency and/or density in memory devices |
US8275964B2 (en) * | 2010-01-08 | 2012-09-25 | International Business Machines Corporation | Hardware support for collecting performance counters directly to memory |
US9081501B2 (en) * | 2010-01-08 | 2015-07-14 | International Business Machines Corporation | Multi-petascale highly efficient parallel supercomputer |
US8555018B1 (en) | 2010-03-11 | 2013-10-08 | Amazon Technologies, Inc. | Techniques for storing data |
US8671074B2 (en) | 2010-04-12 | 2014-03-11 | Microsoft Corporation | Logical replication in clustered database system with adaptive cloning |
US8381015B2 (en) | 2010-06-30 | 2013-02-19 | International Business Machines Corporation | Fault tolerance for map/reduce computing |
CN102421110B (zh) * | 2010-09-27 | 2014-11-05 | 中国移动通信集团四川有限公司 | 端到端关联的实现方法和装置 |
WO2012061109A1 (en) * | 2010-10-25 | 2012-05-10 | Ab Initio Technology Llc | Managing data set objects in a dataflow graph that represents a computer program |
JP5146523B2 (ja) * | 2010-11-26 | 2013-02-20 | 株式会社デンソー | 車両用挙動データ記録装置 |
JP2012129857A (ja) * | 2010-12-16 | 2012-07-05 | Hitachi Ltd | データ処理システム、およびデータ順序保証方法 |
US9053073B1 (en) * | 2011-04-18 | 2015-06-09 | American Megatrends, Inc. | Use of timestamp logic in synchronous replication |
US8918362B2 (en) * | 2011-05-23 | 2014-12-23 | Microsoft Corporation | Replication processes in a distributed storage environment |
US8935493B1 (en) | 2011-06-30 | 2015-01-13 | Emc Corporation | Performing data storage optimizations across multiple data storage systems |
US9965381B1 (en) * | 2011-06-30 | 2018-05-08 | EMC IP Holding Company LLC | Indentifying data for placement in a storage system |
EP2555129B1 (en) * | 2011-08-03 | 2019-02-06 | Amadeus S.A.S. | Method and system to maintain strong consistency of distributed replicated contents in a client/server system |
WO2013046352A1 (ja) | 2011-09-28 | 2013-04-04 | 株式会社日立製作所 | 計算機システム、データ管理方法及びデータ管理プログラム |
CN102339315B (zh) * | 2011-09-30 | 2014-11-19 | 亿赞普(北京)科技有限公司 | 一种广告数据的索引更新方法和系统 |
US9246996B1 (en) * | 2012-05-07 | 2016-01-26 | Amazon Technologies, Inc. | Data volume placement techniques |
US10387448B2 (en) | 2012-05-15 | 2019-08-20 | Splunk Inc. | Replication of summary data in a clustered computing environment |
EP2667541B1 (en) * | 2012-05-23 | 2015-08-05 | Alcatel Lucent | Connectivity service orchestrator |
CA2877284A1 (en) * | 2012-06-18 | 2013-12-27 | Actifio, Inc. | Enhanced data management virtualization system |
US9223626B2 (en) * | 2012-08-30 | 2015-12-29 | International Business Machines Corporation | Task execution and management in a clustered computing environment |
CA2790479C (en) * | 2012-09-24 | 2020-12-15 | Ibm Canada Limited - Ibm Canada Limitee | Partitioning a search space for distributed crawling |
US8972491B2 (en) * | 2012-10-05 | 2015-03-03 | Microsoft Technology Licensing, Llc | Consistency-based service-level agreements in cloud storage environments |
US9373074B2 (en) * | 2012-10-09 | 2016-06-21 | Qualcomm Incorporated | Method and apparatus for time management and scheduling for sychronous processing on a cluster of processing nodes |
US20140143367A1 (en) | 2012-11-19 | 2014-05-22 | Board Of Regents, The University Of Texas System | Robustness in a scalable block storage system |
US9449038B2 (en) | 2012-11-26 | 2016-09-20 | Amazon Technologies, Inc. | Streaming restore of a database from a backup system |
US9002805B1 (en) | 2012-12-14 | 2015-04-07 | Amazon Technologies, Inc. | Conditional storage object deletion |
US11086898B2 (en) * | 2013-03-13 | 2021-08-10 | Amazon Technologies, Inc. | Token-based admission control for replicated writes |
US10225136B2 (en) * | 2013-04-30 | 2019-03-05 | Splunk Inc. | Processing of log data and performance data obtained via an application programming interface (API) |
US9208032B1 (en) * | 2013-05-15 | 2015-12-08 | Amazon Technologies, Inc. | Managing contingency capacity of pooled resources in multiple availability zones |
US9235505B2 (en) * | 2013-05-17 | 2016-01-12 | Ab Initio Technology Llc | Managing memory and storage space for a data operation |
US9384227B1 (en) | 2013-06-04 | 2016-07-05 | Amazon Technologies, Inc. | Database system providing skew metrics across a key space |
US9298651B2 (en) * | 2013-06-24 | 2016-03-29 | International Business Machines Corporation | Continuous in-memory accumulation of hardware performance counter data |
CN103649901A (zh) | 2013-07-26 | 2014-03-19 | 华为技术有限公司 | 数据发送方法、数据接收方法和存储设备 |
US9621401B1 (en) | 2013-08-08 | 2017-04-11 | The Boeing Company | Performing dynamic data analysis within a dynamic network |
US20150157880A1 (en) | 2013-12-05 | 2015-06-11 | Image Owl Inc. | Cloud-based adaptive quality assurance facilities |
US9183148B2 (en) * | 2013-12-12 | 2015-11-10 | International Business Machines Corporation | Efficient distributed cache consistency |
US10474493B2 (en) * | 2014-02-28 | 2019-11-12 | Red Hat, Inc. | Systems and methods for semi-durable transaction log storage in two-phase commit protocol transaction processing |
JP5865424B2 (ja) | 2014-04-25 | 2016-02-17 | 株式会社日立製作所 | メッセージシステムおよびデータストアサーバ |
US10803012B1 (en) | 2014-05-09 | 2020-10-13 | Amazon Technologies, Inc. | Variable data replication for storage systems implementing quorum-based durability schemes |
US10409920B1 (en) | 2014-05-23 | 2019-09-10 | EMC IP Holding Company LLC | Data services for tiered memory |
US9525599B1 (en) | 2014-06-24 | 2016-12-20 | Google Inc. | Modeling distributed systems |
WO2016025321A1 (en) | 2014-08-13 | 2016-02-18 | OneCloud Labs, Inc. | Replication of virtualized infrastructure within distributed computing environments |
US10242027B2 (en) | 2014-08-15 | 2019-03-26 | Hewlett-Packard Development Company, L.P. | Three phase commit for a distributed file system |
US9256761B1 (en) * | 2014-08-18 | 2016-02-09 | Yp Llc | Data storage service for personalization system |
JP6688285B2 (ja) | 2014-09-02 | 2020-04-28 | アビニシオ テクノロジー エルエルシー | グラフに基づくプログラムの仕様の実行 |
US20160065423A1 (en) | 2014-09-03 | 2016-03-03 | Microsoft Corporation | Collecting and Analyzing Selected Network Traffic |
US10303795B2 (en) | 2014-09-10 | 2019-05-28 | Amazon Technologies, Inc. | Read descriptors at heterogeneous storage systems |
US9799017B1 (en) | 2014-09-19 | 2017-10-24 | Amazon Technologies, Inc. | Cross-data-store operations in log-coordinated storage systems |
US10373247B2 (en) | 2014-09-19 | 2019-08-06 | Amazon Technologies, Inc. | Lifecycle transitions in log-coordinated data stores |
US10025802B2 (en) * | 2014-09-19 | 2018-07-17 | Amazon Technologies, Inc. | Automated configuration of log-coordinated storage groups |
EP3195117B1 (en) | 2014-09-19 | 2020-12-02 | Amazon Technologies Inc. | Automated configuration of log-coordinated storage groups |
KR102021677B1 (ko) | 2014-10-20 | 2019-09-16 | 아브 이니티오 테크놀로지 엘엘시 | 계산적인 불확정 하에서의 결함 허용 및 복구 |
US9892180B2 (en) * | 2014-11-21 | 2018-02-13 | International Business Machines Corporation | Data transfer between multiple databases |
US10095425B1 (en) | 2014-12-30 | 2018-10-09 | EMC IP Holding Company LLC | Techniques for storing data |
US9886347B2 (en) | 2015-01-08 | 2018-02-06 | International Business Machines Corporation | Data replication in a database management system |
WO2016134035A1 (en) | 2015-02-17 | 2016-08-25 | Coho Data, Inc. | Virtualized application-layer space for data processing in data storage systems |
US9891973B2 (en) | 2015-02-18 | 2018-02-13 | Seagate Technology Llc | Data storage system durability using hardware failure risk indicators |
EP3269090B1 (en) | 2015-02-27 | 2019-10-02 | Royal Bank Of Canada | Coordinated processing of data by networked computing resources |
JP2016174268A (ja) * | 2015-03-17 | 2016-09-29 | 株式会社日立製作所 | ネットワークシステム、ネットワークシステムの制御方法、通信装置、及びプログラム |
JP6434131B2 (ja) * | 2015-04-15 | 2018-12-05 | 株式会社日立製作所 | 分散処理システム、タスク処理方法、記憶媒体 |
US20160306581A1 (en) | 2015-04-15 | 2016-10-20 | Intermodal Data, Inc. | Automated configuration of storage pools methods and apparatus |
CN106155929A (zh) * | 2015-04-17 | 2016-11-23 | 伊姆西公司 | 数据存储管理系统和方法 |
US10140149B1 (en) * | 2015-05-19 | 2018-11-27 | Pure Storage, Inc. | Transactional commits with hardware assists in remote memory |
US9778883B2 (en) | 2015-06-23 | 2017-10-03 | Netapp, Inc. | Methods and systems for resource management in a networked storage environment |
US10650024B2 (en) * | 2015-07-30 | 2020-05-12 | Google Llc | System and method of replicating data in a distributed system |
US9753813B1 (en) | 2015-09-25 | 2017-09-05 | Amazon Technologies, Inc. | Data replication snapshots for persistent storage using operation numbers |
WO2017058823A1 (en) * | 2015-09-28 | 2017-04-06 | Wal-Mart Stores, Inc. | Cloud based session management system |
US9672082B2 (en) | 2015-10-21 | 2017-06-06 | Oracle International Corporation | Guaranteeing the event order for multi-stage processing in distributed systems |
US10795881B2 (en) | 2015-12-18 | 2020-10-06 | Sap Se | Table replication in a database environment |
US10567500B1 (en) * | 2015-12-21 | 2020-02-18 | Amazon Technologies, Inc. | Continuous backup of data in a distributed data store |
JP6764938B2 (ja) | 2016-01-14 | 2020-10-07 | アビニシオ テクノロジー エルエルシー | リカバリ可能なストリーム処理 |
US20170212891A1 (en) * | 2016-01-25 | 2017-07-27 | Netapp, Inc. | Scheduling technique to smooth metadata processing latency |
US10237149B1 (en) | 2016-03-21 | 2019-03-19 | EMC IP Holding Company LLC | Application-level monitoring and profiling services in computing environments |
US10474636B2 (en) * | 2016-03-25 | 2019-11-12 | Amazon Technologies, Inc. | Block allocation for low latency file systems |
US10469582B2 (en) | 2016-04-13 | 2019-11-05 | Netapp, Inc. | Methods and systems for managing provisioning requests in a networked storage environment |
CN107302469B (zh) * | 2016-04-14 | 2020-03-31 | 北京京东尚科信息技术有限公司 | 分布式服务集群系统数据更新的监控装置及方法 |
US10158743B2 (en) | 2016-06-12 | 2018-12-18 | International Business Machines Corporation | Compute node cluster management |
CN106201338B (zh) * | 2016-06-28 | 2019-10-22 | 华为技术有限公司 | 数据存储方法及装置 |
US10650017B1 (en) | 2016-08-29 | 2020-05-12 | Amazon Technologies, Inc. | Tiered storage for data processing |
US10810103B2 (en) | 2016-12-14 | 2020-10-20 | Vmware, Inc. | Method and system for identifying event-message transactions |
US11307998B2 (en) * | 2017-01-09 | 2022-04-19 | Pure Storage, Inc. | Storage efficiency of encrypted host system data |
US10423609B1 (en) * | 2017-03-29 | 2019-09-24 | Amazon Technologies, Inc. | Consistent snapshot points in a distributed storage service |
US11010193B2 (en) | 2017-04-17 | 2021-05-18 | Microsoft Technology Licensing, Llc | Efficient queue management for cluster scheduling |
US10613791B2 (en) * | 2017-06-12 | 2020-04-07 | Pure Storage, Inc. | Portable snapshot replication between storage systems |
US10387673B2 (en) * | 2017-06-30 | 2019-08-20 | Microsoft Technology Licensing, Llc | Fully managed account level blob data encryption in a distributed storage environment |
US10425473B1 (en) * | 2017-07-03 | 2019-09-24 | Pure Storage, Inc. | Stateful connection reset in a storage cluster with a stateless load balancer |
US20190102262A1 (en) * | 2017-09-29 | 2019-04-04 | Intel Corporation | Automated continuous checkpointing |
US10862965B2 (en) | 2017-10-01 | 2020-12-08 | Oracle International Corporation | System and method for topics implementation in a distributed data computing environment |
-
2018
- 2018-10-30 WO PCT/US2018/058218 patent/WO2019089599A1/en unknown
- 2018-10-30 WO PCT/US2018/058220 patent/WO2019089601A1/en unknown
- 2018-10-30 SG SG11202003048QA patent/SG11202003048QA/en unknown
- 2018-10-30 KR KR1020207015393A patent/KR102396002B1/ko active IP Right Grant
- 2018-10-30 KR KR1020207014637A patent/KR102402150B1/ko active IP Right Grant
- 2018-10-30 US US16/175,454 patent/US11269918B2/en active Active
- 2018-10-30 US US16/175,276 patent/US11288284B2/en active Active
- 2018-10-30 SG SG11202003045VA patent/SG11202003045VA/en unknown
- 2018-10-30 CA CA3078478A patent/CA3078478C/en active Active
- 2018-10-30 EP EP18804787.2A patent/EP3704578A1/en active Pending
- 2018-10-30 JP JP2020522044A patent/JP6931745B2/ja active Active
- 2018-10-30 EP EP18801250.4A patent/EP3704577A1/en active Pending
- 2018-10-30 EP EP18803840.0A patent/EP3704580A1/en active Pending
- 2018-10-30 SG SG11202003041YA patent/SG11202003041YA/en unknown
- 2018-10-30 CA CA3078482A patent/CA3078482C/en active Active
- 2018-10-30 US US16/175,363 patent/US10949414B2/en active Active
- 2018-10-30 US US16/175,408 patent/US11074240B2/en active Active
- 2018-10-30 WO PCT/US2018/058249 patent/WO2019089619A1/en unknown
- 2018-10-30 SG SG11202002986TA patent/SG11202002986TA/en unknown
- 2018-10-30 CA CA3078476A patent/CA3078476C/en active Active
- 2018-10-30 KR KR1020207015042A patent/KR102442431B1/ko active IP Right Grant
- 2018-10-30 JP JP2020521954A patent/JP7038204B2/ja active Active
- 2018-10-30 US US16/175,487 patent/US11281693B2/en active Active
- 2018-10-30 CA CA3078469A patent/CA3078469C/en active Active
- 2018-10-30 SG SG11202002998QA patent/SG11202002998QA/en unknown
- 2018-10-30 AU AU2018359378A patent/AU2018359378B2/en active Active
- 2018-10-30 AU AU2018357870A patent/AU2018357870B2/en active Active
- 2018-10-30 WO PCT/US2018/058211 patent/WO2019089593A1/en unknown
- 2018-10-30 CA CA3078483A patent/CA3078483C/en active Active
- 2018-10-30 CN CN201880071284.XA patent/CN111295643B/zh active Active
- 2018-10-30 CN CN201880071419.2A patent/CN111316243B/zh active Active
- 2018-10-30 EP EP18804790.6A patent/EP3704579B1/en active Active
- 2018-10-30 CN CN201880071329.3A patent/CN111316240B/zh active Active
- 2018-10-30 US US16/175,133 patent/US10558493B2/en active Active
- 2018-10-30 CN CN201880071520.8A patent/CN111316241B/zh active Active
- 2018-10-30 CN CN201880071269.5A patent/CN111373373B/zh active Active
- 2018-10-30 JP JP2020521999A patent/JP7203102B2/ja active Active
- 2018-10-30 KR KR1020207014895A patent/KR102444421B1/ko active IP Right Grant
- 2018-10-30 WO PCT/US2018/058225 patent/WO2019089606A1/en unknown
- 2018-10-30 AU AU2018357856A patent/AU2018357856B2/en active Active
- 2018-10-30 AU AU2018359385A patent/AU2018359385B2/en active Active
- 2018-10-30 JP JP2020521944A patent/JP7314127B2/ja active Active
- 2018-10-30 JP JP2020522052A patent/JP2021503640A/ja active Pending
- 2018-10-30 EP EP18801247.0A patent/EP3704576A1/en active Pending
- 2018-10-30 KR KR1020207014638A patent/KR102372540B1/ko active IP Right Grant
- 2018-10-30 AU AU2018359380A patent/AU2018359380B2/en active Active
-
2021
- 2021-12-02 AU AU2021277733A patent/AU2021277733B2/en active Active
-
2023
- 2023-04-19 JP JP2023068386A patent/JP2023093614A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6931745B2 (ja) | 状態更新の一貫性に基づきコンピュータクラスタを管理すること | |
JP2021501399A6 (ja) | 永続性レベル表示器を使用してコンピュータクラスタを管理すること | |
JP2021501398A6 (ja) | 時間間隔カウンタを使用してコンピュータクラスタを管理すること | |
JP2021501400A6 (ja) | コンピュータクラスタインターフェースを管理すること |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200622 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6931745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |