JP6450756B2 - パーティションベースのデータストリーム処理フレームワーク - Google Patents
パーティションベースのデータストリーム処理フレームワーク Download PDFInfo
- Publication number
- JP6450756B2 JP6450756B2 JP2016529942A JP2016529942A JP6450756B2 JP 6450756 B2 JP6450756 B2 JP 6450756B2 JP 2016529942 A JP2016529942 A JP 2016529942A JP 2016529942 A JP2016529942 A JP 2016529942A JP 6450756 B2 JP6450756 B2 JP 6450756B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- stream
- node
- worker
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005192 partition Methods 0.000 title claims description 361
- 238000012545 processing Methods 0.000 title claims description 243
- 238000003860 storage Methods 0.000 claims description 213
- 238000000034 method Methods 0.000 claims description 80
- 230000004044 response Effects 0.000 claims description 77
- 238000000638 solvent extraction Methods 0.000 claims description 64
- 238000011084 recovery Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 30
- 238000009826 distribution Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 230000002085 persistent effect Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 7
- 241000617482 Kiwa Species 0.000 claims 2
- 238000013507 mapping Methods 0.000 description 65
- 238000007726 management method Methods 0.000 description 60
- 230000006870 function Effects 0.000 description 46
- 230000002688 persistence Effects 0.000 description 36
- 230000008859 change Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 238000013459 approach Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 12
- 230000036541 health Effects 0.000 description 10
- 238000001994 activation Methods 0.000 description 8
- 102100033972 Amyloid protein-binding protein 2 Human genes 0.000 description 7
- 101000785279 Dictyostelium discoideum Calcium-transporting ATPase PAT1 Proteins 0.000 description 7
- 101000779309 Homo sapiens Amyloid protein-binding protein 2 Proteins 0.000 description 7
- 101000713296 Homo sapiens Proton-coupled amino acid transporter 1 Proteins 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 6
- 230000037430 deletion Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000008520 organization Effects 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000037406 food intake Effects 0.000 description 4
- 238000002955 isolation Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 235000019580 granularity Nutrition 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008093 supporting effect Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012482 interaction analysis Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1479—Generic software techniques for error detection or fault masking
- G06F11/1482—Generic software techniques for error detection or fault masking by means of middleware or OS functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/2028—Failover techniques eliminating a faulty processor or activating a spare
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Description
図1は、少なくともいくつかの実施形態に従う、データストリーム概念の簡易化した概観を提供する。示すように、ストリーム100は、DR110A、110B、110C、110D及び110Eなどの複数のデータレコード(DR)110を備えることができる。データプロデューサ120A及び120Bなどの(データソースとも称され得る)一つ以上のデータプロデューサ120が、書き込み動作151を実行してストリーム100のデータレコードのコンテンツを生成することができる。種々の実施形態において、多くの異なるタイプのデータプロデューサが、例えば、携帯電話またはタブレットアプリケーション、センサアレイ、ソーシャルメディアプラットフォーム、ロギングアプリケーションまたはシステムロギングコンポーネント、さまざまな種類のモニタリングエージェントなどのデータのストリームを生成することができる。一個以上のデータコンシューマ130(例えば、データコンシューマ130A及び130B)が、読み出し動作152を実行して、データプロデューサ120によって生成されたデータレコードのコンテンツにアクセスすることができる。いくつかの実施形態において、データコンシューマ130は、例えば、ストリーム処理ステージのワーカーノードを備えることができる。
図2は、少なくともいくつかの実施形態に従う、ストリーム管理システム(SMS)、及びストリーム処理ステージの集合を備えるストリーム処理システム(SPS)のさまざまなサブコンポーネント間のデータの流れの概観を提供する。示すように、SMS280は、取り込みサブシステム204、保存サブシステム206、検索サブシステム208、及びSMS制御サブシステム210を備えることができる。SMSサブシステムの各々は、例えば、後述するようなプロバイダネットワーク(または、クライアント所有のもしくは第三者設備)のさまざまなリソースにおいてインスタンス化された、それぞれの実行可能なスレッドまたはプロセスを使用して実装された一つ以上のノードまたはコンポーネントを含むことができる。取り込みサブシステム204のノードは、ストリームに使用されるパーティショニングポリシに基づいて、データプロデューサ120(120A、120B及び120Cなど)から特定のデータストリームのデータレコードを(例えば、SMS制御サブシステム210のノードによって)入手するように構成できる。そして各取り込みノードは、受信したデータレコードを、保存サブシステム206の対応するノードに送ることができる。保存サブシステムのノードは、データレコードを、ストリームに対して選択された持続性ポリシに従い、さまざまなタイプのストレージデバイスのいずれかにセーブすることができる。検索サブシステム208のノードは、SPS290のワーカーノードなどのデータコンシューマからの読み出しリクエストに応答することができる。SPS290のステージ215A、215B、1215C及び215Dなどのストリーム処理ステージ215は、SPS制御サブシステム220の援助を受けて構築することができる。各ステージ215は、受信したデータレコードに処理動作のセットを実行するための、SPS制御サブシステム220によって構成された一つ以上のワーカーノードを含むことができる。示すように、ステージ215のいくつか(例えば、215A及び215B)は、SMS280から直接にデータレコードを入手し、一方で、他のステージ(例えば、215C及び215D)は、他のステージからの入力を受信することができる。いくつかの実施形態において、複数のSPSステージ215は、並行して動作することができる。例えば、種々の処理動作を、ステージ215A及び215Bにおいて同じストリームから検索されたデータレコードに同時に実行することができる。特定のストリームのための図2に示すものに類似するそれぞれのサブシステム及び処理ステージを、他のストリームにおいても同じようにインスタンス化できることに留意されたい。
前述のように、少なくともいくつかの実施形態では、SPSは、SMSプログラマチックインターフェースを活用して、さまざまなストリームベースのアプリケーションのための所望のビジネスロジックを実施するための、SPSクライアントがより容易に使用できるより高レベルの機能性を構築することができる。SPSの機能性とSMSの機能性との差異を考慮すると、類似性が有益となり得る。すなわち、SPS機能は、通例、C++などのより高レベルの言語におけるプログラミング言語構築に匹敵し得、一方で、SMS機能は、通例、プログラミング言語構築がコンパイラによって翻訳されるアセンブリ言語教育に匹敵し得る。アセンブリ言語教育を使用して同じ動作を直接に実施することが可能であるが、より高レベルの言語におけるプログラミングは、通常、顧客またはユーザの多くのカテゴリにとってより容易であり得る。同様に、SMSによって提供されるプリミティブを使用してさまざまなアプリケーションを実施することが可能であるが、そのようなことはSPS特徴を使用して実行することがより容易であり得る。SPS処理動作(例えば、データレコードに実行される冪等処理動作)は、ストリームレコードのデータコンテンツにおいて実施でき、一方で、SMS動作は、通常、レコードのコンテンツを考慮せずにレコードそれ自体を取得、保存及び検索するように実行される。図3は、少なくともいくつかの実施形態に従う、SMS及びSPSにおいて実装することができるプログラマチックインターフェースのそれぞれのセットの実施例を示す。多くの異なるアプリケーションプログラミングインターフェース(API)が、一実施例としてSMS及びSPSの両方のために示される。示したAPIは、任意の所与の実施においてサポートされるそれらの包括的なリストは意図せず、示したAPIのいくつかは、所与の実施においてサポートされない。
図6は、少なくともいくつかの実施形態に従う、SMSの取り込みサブシステム204の実施例の要素を示す。描写した実施形態では、取り込み動作は、フロントエンドとバックエンド機能とに論理的に分配される。フロントエンド機能は、データプロデューサ120(例えば、120A、120Bまたは120C)との相互作用を伴い、バックエンド機能は、SMS保存サブシステムとの相互作用を伴う。そのようなフロントエンドとバックエンドとの分割は、保存サブシステムのセキュリティの向上、及びパーティショニングポリシの詳細をデータプロデューサに提供する必要の回避などのいくつかの利点を有することができる。SMSクライアントライブラリ602が、さまざまなデータプロデューサ120においてインストールのために提供され得、データプロデューサが、ライブラリ602に含まれるプログラマチックインターフェースを呼び出して取り込みのためのデータを提示することができる。例えば、一実施形態において、データプロデューサ120は、プロバイダネットワークの何百または何千もの物理及び/または仮想サーバにおいてインスタンス化されたロギングまたはモニタリングエージェントを備えることができる。そのようなエージェントは、それぞれのサーバにおいてさまざまなログメッセージ及び/またはメトリクスを収集し、収集したメッセージまたはメトリクスを、SMSの一つ以上の取り込み制御ノード660によってインスタンス化されたフロントエンド負荷分散器604のエンドポイントに周期的に提示することができる。いくつかの実施形態において、データプロデューサがストリームデータを提示することができる一つ以上の仮想IPアドレス(VIP)を、負荷分散器において確立することができる。一つの実施において、データがデータプロデューサ120によって送信されるいくつかの同等に構成された負荷分散器の中から特定の負荷分散器を選択するために、ラウンドロビンDNS(ドメイン名システム)技術をVIPにおいて使用することができる。
図7は、少なくともいくつかの実施形態に従う、SMSの保存サブシステムの実施例の要素を示す。示すように、取り込みノード608(例えば、フロントエンド及びバックエンド取り込みの責務がノードの種々のセットによって処理される実施形態では、バックエンド取り込みノード)が、ストリームの一つ以上のパーティションのデータレコードを、それらのパーティションのために構成されたそれぞれの保存ノード702に伝送することができる。例えば、パーティションS1−Plのデータレコード110Aが保存ノード702Aに送信され、パーティションS2−P3のデータレコード110Bが保存ノード702B及び702Cに送信され、パーティションS3−P7のデータレコード110Cが保存ノード702Dに送信され、そしてパーティションS4−P5のデータレコード110Dが初期に保存ノード702Eに送信される。保存制御ノード780が、種々のストリームのデータレコードに適用される持続性ポリシ750の実行、保存ノードの構成及び必要に応じて再構成、保存ノード状態の監視、フェイルオーバーの管理、保存構成クエリまたは保存ポリシクエリに対する応答、並びに描写した実施形態におけるさまざまな他の管理上のタスクの役割を果たし得る。
図8は、少なくともいくつかの実施形態に従う、SMSの検索サブシステムの実施例の要素、及び検索サブシステムとSPSとの相互作用の実施例を示す。示すように、検索サブシステム206は、検索ノード802A、802B及び802Cなどの複数の検索ノード802並びに検索制御ノード880の集合を備えることができる。検索ノード802の各々は、後述するようなSPSのワーカーノード840などのさまざまなクライアントまたはデータコンシューマ130からのストリームデータ検索リクエストに応答するように構成できる。種々の実施形態において、前述の非順次及び順次検索インターフェースなどの、様々なプログラマチック検索インターフェース802を、検索ノードによって実装することができる。いくつかの実施形態では、HTTP GETリクエストなどのウェブサービスAPIをデータレコード検索に使用し、それ故に、検索ノード802はGETサーバと称され得る。描写した実施形態では、所与の検索ノード802は、例えば、検索制御ノード880によって、保存ノード702A及び702Bなどの適切な保存サブシステムのノードのセット702から一つ以上のストリームパーティションのデータレコードを入手するように構成できる。
少なくともいくつかの実施形態では、ノードの冗長グループを、SMSの一つ以上のサブシステムのために構成することができる。つまり、例えば、ストリームパーティションSj−Pkについてのデータレコードを検索するための一つの検索ノードを構成する代わりに、そのような検索のために、一つのノードが所与の時点において「プライマリな」またはアクティブな役割を与えられ、一方で、他の一つ以上のノードが「非プライマリな」ノードとして用意される二つ以上のノードを構築することができる。進行中のプライマリノードは、クライアントまたは他のサブシステムのノードのいずれかから受信したリクエストなどの作業リクエストの応答に関与することができる。非プライマリな一つ以上のノードは、フェイルオーバーがトリガされるまで、例えば、障害、プライマリとの接続性の損失または他のトリガ条件に起因して、選択された非プライマリが先のプライマリの責務を引き継ぐことを制御ノードによって通知され得る時点まで、休止状態のままであることができる。それ故に、プライマリの役割は、フェイルオーバー期間には、進行中の責務のあるプライマリノードにおいて無効にされ、進行中の非プライマリノードに付与することができる。いくつかの実施形態において、非プライマリノードは、フェイルオーバーを発生させる、例えば、明示的な通知を必要としないことを決定したときには、それ自体がプライマリとして引き継ぐことができる。さまざまな実施形態において、ノードのそのような冗長グループを、SMSにおける取り込み、保存、検索及び/または制御機能を行うように設定でき、少なくともいくつかの実施形態では、SPSにおけるワーカーノードにも類似のアプローチをとることができる。いくつかの実施形態において、所与の機能を行う少なくとも一つのプライマリノード及び少なくとも一つの非プライマリノードを備えるそのようなグループは、「冗長グループ」または「複製グループ」と称され得る。保存ノードの冗長グループを、保存されるデータレコードの物理的コピーの数とは無関係に実装できることに留意されたい。例えば、データレコードに保存されるレプリカの数を、持続性ポリシによって決定し、その一方で、対応するパーティションのために構成される保存ノードの数を、冗長グループポリシに基づいて決定することができる。
少なくともいくつかの実施形態では、SMS及び/またはSPSのユーザには、データストリームについての多くのセキュリティ関連オプションが提供され得る。これによりクライアントは、取り込み、保存、検索、処理及び/または制御などのさまざまな機能別カテゴリに使用されるリソース(例えば、仮想または物理マシン)のセキュリティプロファイルを選択することができる。そのようなオプションは、例えば、さまざまなノードに使用されるリソースの物理的な位置のタイプについての選択(例えば、プロバイダネットワーク機能またはプロバイダネットワーク機能とは異なるセキュリティ特性を有し得るクライアント所有の設備を使用するか否か)、ストリームデータの暗号化についての選択、及び/またはストリーム処理インフラのさまざまな部分におけるネットワーク分離の選択を含むことができる。一部のクライアントは、価値が高い登録商標権を持つビジネスロジックまたはアルゴリズムへのアクセスを得て、例えば、クライアント所有の設備内のコンピューティングデバイスを使用してストリーム処理ワーカーノードを実装することを所望し得る侵入者またはアタッカーの可能性について憂慮することがある。SMS及び/またはSPSノードのセットを実施するのに使用されるリソースのタイプは、それらのノードに関して、本明細書において「配置宛先タイプ」と称され得る。図11は、少なくともいくつかの実施形態に従う、SMSまたはSPSのノードに応じて選択することができる複数の配置宛先タイプを示す。
多くのタイプのストリームアプリケーションにおいて、データレコードは、複数のデータプロデューサ120から非常に高速でSMSにおいて受信することができ、そしてデータコンシューマは、通常、レコードが生成された順序で保存されたデータレコードにアクセスすることを所望できる。特に、前述のような、ストリームデータレコードのためのストレージデバイスとして回転磁気ディスクが使用される環境では、(読み出し及び書き込み両方のための)順次の入出力アクセスパターンは、ランダムの入出力アクセスパターンよりも大幅に優れた性能優位性を有することができる。いくつかの実施形態において、ストリーム特有のまたはパーティション特有のシーケンス番号を、SMSによって受信されるときにデータレコードに割り当てることができる。そしてシーケンス番号に基づく順次検索動作をサポートすることができる。図13aは、少なくともいくつかの実施形態に従う、ストリームデータプロデューサとSMSの取り込みサブシステムとの間の実施例の相互作用を示す。ストリームデータプロデューサは、データレコード110を取り込みサブシステムに提示することができる。描写した実施形態では、取り込みサブシステムは、提示されたレコードについて選択されたシーケンス番号102を使用して応答することができる。少なくともいくつかの実施形態では、取り込みノードは、保存サブシステムからシーケンス番号の一部を入手することができる。例えば、そのような実施形態では、受信したデータレコードの保存に続いて、適用可能な持続性ポリシに従いシーケンス番号102を決定することができる。そして保存サブシステムは、データレコードについて特有の番号順インジケータを生成し、取り込みノードによってデータレコードに割り当てられたより大きなシーケンス番号に含有させるために、そのインジケータを提供することができる。
前述のように、さまざまな実施形態において、所与のストリームのレコードの取り込み、保存、検索及び処理に関連する作業負荷を、さまざまなパーティション及び再パーティショニングポリシに従い、いくつかのノード間に再分割及び分配することができる。図15は、少なくともいくつかの実施形態に従う、SMS及びSPSノードに応じて作製できるストリームパーティションマッピング1501及び対応する構造決定の実施例を示す。例えば、createStream APIのクライアントの起動に応答して特定のデータストリームが作製または初期化されると、ストリームについてのパーティショニングポリシをアクティブにすることができ、これを使用して、ストリームのどの任意の所与のデータレコードのパーティションを一部分とみなすかを決定することができる。所与のデータレコードについての動作を実行可能な特定の取り込みサブシステム204、保存サブシステム206、検索サブシステム208、及び任意の関連するSPSステージ215のノードは、レコードのパーティションに基づいて選択することができる。一実施形態において、所与のデータレコードに使用される制御ノードの少なくともサブセットも、同様に、パーティションに基づいて選択することができる。少なくともいくつかの実施形態では、データストリームの動的再パーティショニングを、例えば、ポリシに示されるトリガ条件または明示的なリクエストに応答して、パーティショニングポリシの一部としてサポートすることができる。
図16は、少なくともいくつかの実施形態に従う、動的ストリームの再パーティションの実施例を示す。図16に示すタイムラインの時刻T1において、ストリームS1が作製または初期化される。ストリームS1についてのパーティションマッピングPM1が作製され、時間間隔T1〜T2の間、その実施が保持される。T1とT2との間にSMSによって受信された三つのデータレコードが、実施例として示される。データレコード110A(DR110A)が、クライアント供給のパーティションキー値「Alice」を含んで提示され、DR110Bが、クライアント供給のパーティションキー値「Bill」を含んで提示され、そしてDR110Cが、クライアント供給のパーティションキー値「Charlie」を含んで提示される。初期のマッピングPM1において、すべての三つのデータレコード110A、110B及び110Cが、パーティション識別子「P1」を含んで同じパーティションにマッピングされる−Plデータレコードにおいて、単一ノードI1が取り込みを行うように構成され、単一ノードS1が保存を行うように構成され、単一ノードR1が検索を行うように構成され、そして単一ワーカーノードW1がSPS処理を行うように構成される。マッピングPM1の有効範囲についての開始タイムスタンプが、T1に設定される。
図17は、少なくともいくつかの実施形態に従う、ストリームレコード取り込み及びストリームレコード検索のための、プログラマチックインターフェースのそれぞれのセットをサポートするように実行できる動作の態様を示すフロー図である。要素1701に示すように、データストリームを作製または初期化するためのリクエストを、例えば、SMSクライアントまたはデータプロデューサクライアントから受信することができる。ストリームに使用される初期のパーティションマッピングを決定することができる(要素1704)。例えば、特定のデータレコードが属するパーティションを特定するのに使用される機能(複数可)、及びその機能(複数可)に使用される入力パラメータを、パーティショニングポリシに基づいて特定することができる。さまざまな実施形態において、前述のように、SMSの制御コンポーネントは、ストリーム作製リクエストの受信及び応答に関与することができる。ストリーム作製及び初期化(並びに、他の制御プレーン動作)が実施される様式は、実施形態ごとに異なってもよい。一実施形態において、例えば、制御サーバの冗長グループが構築され、そしてその冗長グループのプライマリ制御サーバが、新規のストリームについての適切なメタデータ(例えば、初期のパーティションマッピング、取り込み、保存及び検索のノードの初期のセットなど)を生成して永続的保存場所に保存することによって、ストリーム作製リクエストに応答することができる。ストリームについてのその後のクエリ(例えば、所与のパーティションに関与するバックエンドノードに関するフロントエンド取り込みノードからのリクエスト)に対する応答を、保存されたメタデータを使用してプライマリ制御サーバによって生成することができる。SMS制御プレーンの機能性の別の実施では、ストリーム構成メタデータを、取り込み、保存または検索サブシステムの少なくともいくつかのノードによって直接にアクセス可能なデータベースに保存することができる。ストリームが作製及び初期化された後、レコードの提示、保存及び検索などのデータプレーン動作を開始し、通常、制御コンポーネントとの追加の相互作用を必要とせずに対応するサブシステムのそれぞれのコンポーネントによってその動作を処理することができる。
いくつかの実施形態において、SPSの制御プレーンの機能性のかなりの部分またはすべては、例えば、データベーステーブルなどの共有データ構造を通じてさまざまな制御動作(例えば、ワーカーノードへのパーティションの割り当て、動的再パーティショニングに対する応答、調子の監視及び/または負荷バランシング)を調整する、所与のSPSステージ内のワーカーノードによって、分散的様式において実施することができる。所与のワーカーノードW1が、共有データ構造内の入力を検査して、例えば、ステージの入力ストリームのどのパーティションが、(もしそうであれば)現在処理されていないかを決定することができる。そのようなパーティションP1が発見された場合には、W1は、共有データ構造内の入力を更新して、W1がステージの処理動作をP1のレコードに実行することを示すことができる。他のワーカーノードは−Plレコードを処理するためにW1が割り当てられたことを知り、したがって、それら自身に異なるパーティションを割り当てることができる。ワーカーノードは、周期的にまたは時々、入力ストリームに有効な進行中のパーティションマップを決定するためのクエリをSMS制御プレーンに提示し、必要に応じて、(例えば、再パーティショニングの結果として)マップ変更を示すために共有データ構造を更新することができる。後述するように、さまざまな実施形態において、共有データ構造を通じて負荷バランシング及び他の動作も調整することができる。いくつかのそのような分散的な実施では、SPSのための専用の制御ノードを必要としないので、SPSワークフローを実施するのに必要な諸経費を減少することができる。そのような分散的なSPS制御プレーンの実装は、例えば、顧客に割り当てられたプロバイダネットワーク内の、またはプロバイダネットワーク外部に位置するコンピュートインスタンスにおいてさまざまな態様のストリーム処理を実施するためにSPSクライアントライブラリを活用する予算意識の高い顧客に特に好評であり得る。分散的なSPS制御プレーン技術は、例えば、SMS及びSPSに使用されるすべてのリソースがプロバイダネットワーク内に構成されるときに、クライアントライブラリを使用しない実施形態にも使用することができる。ワーカーノードが少なくともいくつかの処理ステージについてのSPS制御プレーン機能のいくつかまたはすべてを実施するSPSは、本明細書において「分散的制御SPS」と称され得る。
ストリームデータレコードの収集、保存、検索及び段階的な処理のための、スケーラブルパーティショニングベースの、動的に構成可能な管理されたマルチテナントサービスを構築する前述の技術は、多くのシナリオにおいて有用であり得る。例えば、大規模プロバイダネットワークは、何万ものクライアントのための、多くの異なるマルチテナントまたはシングルテナントサービスのサービスインスタンスを実施する何千ものインスタンスホストを同時に備えることができる。さまざまなインスタンス及びホストにインストールされた監視及び/または請求エージェントは、正確な請求レコードを生産する、プロバイダネットワークのデータセンタについての効果的なプロビジョニング計画を決定する、ネットワーク攻撃を検出することなどができる、保存及び解析する必要が生じ得る何千ものメトリクスレコードを迅速に生成することができる。監視レコードは、スケーラブル取り込み及び保存のための入力ストリームをSMSに形成し、記述するSPS技術を、収集したメトリクスの解析のために実施することができる。同様に、幾多のログソースから多数のログレコード(例えば、分配アプリケーションのノードからのアプリケーションログ、またはデータセンタにおけるホストもしくはコンピュートインスタンスからのシステムログ)を収集及び解析するためのアプリケーションも、SMS及びSPS機能性を活用することができる。少なくともいくつかの環境において、SPS処理動作は、リアルタイムETL(抽出、変換、ロード)処理動作(すなわち、オフラインで変換する代わりに、宛先にロードするために受信したデータレコードをリアルタイムで変換する動作)またはデータウェアハウスに挿入するためのデータレコードの変換を含むことができる。データをデータウェアハウスにリアルタイムでロードするためにSMSとSPSとの組み合わせを使用することによって、通常、データを解析するためにウェアハウスに挿入し得る前に、一つ以上のデータソースからのデータをクリーンにする及び監督するのに必須の遅延を回避することができる。
〔1〕
指定されたデータストリームに関連する特定の処理ステージに対応する、マルチテナントストリーム処理サービスのクライアントが、(a)パーティショニングポリシに従い、指定されたデータストリームのデータレコードに実行される処理動作、及び(b)処理動作の結果についての出力分配記述子を示すことができる一つ以上のプログラマチックインターフェースを実装し、
一つ以上のプログラマチックインターフェースを通じて特定のクライアントから、特定の処理ステージにおいて特定のデータストリームのデータレコードに実行される特定の処理動作の表示、及び特定の処理動作の結果についての特定の出力分配記述子を受信し、
パーティショニングポリシに少なくともある程度基づいて、かつ処理ステージのためのワーカーノードとして配置されたリソースの推定の実行能力に少なくともある程度基づいて、指定されたデータストリームのためのワーカーノードの初期の数を決定し、
(a)特定のデータストリームの一つ以上のパーティションのデータレコードを受信し、(b)受信したデータレコードに特定の処理動作を実行し、(c)ワーカーノードにおいて処理された一つ以上のパーティションの一部分を示す進捗レコードを保存し、(d)特定の処理動作の結果を、特定の出力分配記述子に従い一つ以上の宛先に転送するための、初期の数のワーカーノードのうちから特定のワーカーノードを構成し、
特定のワーカーノードの調子状態を監視し、かつ
特定のワーカーノードが望ましくない状態にあるという決定に応答して、特定のワーカーノードと取り換えるための取り換えワーカーノードであって、特定のワーカーノードによって保存された進捗レコードにアクセスして、特定の処理動作が取り換えワーカーノードによって実行される、一つ以上のパーティションの少なくとも一つのデータレコードを特定する取り換えワーカーノードを構成するように構成された一つ以上のコンピューティングデバイスを備えた、システム。
〔2〕
特定の処理動作の結果が、異なるデータストリームのデータレコードとして、異なるパーティショニングポリシに従い、異なるデータストリームのために構成された以上の取り込みノードに分配されることを、特定の出力分配記述子が示す、条項1に記載のシステム。
〔3〕
一つ以上のコンピューティングデバイスが、さらに、
特定のデータストリームのデータレコードが入力として提供される別の処理ステージの表示を、特定のクライアントから受信し、ここで、異なる処理動作が他の処理ステージにおいて実行され、
他の処理ステージのためのワーカーノードの追加のセットを構成するように構成された、条項1に記載のシステム。
〔4〕
一つ以上のコンピューティングデバイスが、さらに、
別の処理ステージについての別の処理動作を実行するように構成された異なるワーカーノードが望ましくない状態にあるという決定に応答して、進捗レコードにアクセスせずに、他の処理動作を一つ以上のその後に受信したデータレコードに実行するための異なる取り換えワーカーノードを構成するように構成された、条項1に記載のシステム。
〔5〕
一つ以上のコンピューティングデバイスが、さらに、
処理ステージの異なるワーカーノードにおける作業負荷レベルがトリガ基準を満たすことの決定に応答して、(a)ストリームの追加のデータレコードが処理され続けている間に実行される特定のデータストリームの動的再パーティショニング、(b)異なるワーカーノードにおいて以前に処理された少なくとも一つのパーティションへの代替ワーカーノードの割り当て、(c)処理ステージのために構成されたワーカーノードの数の変更、または(d)あるサーバから別のサーバへのワーカーノードの転送の一つ以上を含むステージ再構成動作を実施するように構成された、条項1に記載のシステム。
〔6〕
特定のクライアントからのマルチテナントストリーム処理サービスにおいて、指定された処理ステージにおいて特定のデータストリームのデータレコードに実行される特定の動作の表示、及び特定の動作の結果についての特定の出力分配記述子を受信することと、
特定の動作に少なくともある程度基づいて、指定された処理ステージのために構成されたワーカーノードの初期の数を決定することと、
(a)特定のデータストリームの一つ以上のパーティションの受信したデータレコードに特定の動作を実行し、(b)ワーカーノードにおいて処理された一つ以上のパーティションの一部分を示す進捗レコードを保存し、(c)特定の動作の結果を、特定の出力分配記述子に従い一つ以上の宛先に転送するように、初期の数のワーカーノードのうちから特定のワーカーノードを構成することと、及び
特定のワーカーノードが不健全な状態にあるという決定に応答して、特定のワーカーノードと取り換えるための取り換えワーカーノードであって、特定のワーカーノードによって保存された進捗レコードにアクセスして、特定の動作が取り換えワーカーノードによって実行される、一つ以上のパーティションの少なくとも一つのデータレコードを特定する取り換えワーカーノードを選択することと、を一つ以上のコンピューティングデバイスによって実行することを含む、方法。
〔7〕
パラメータとして、リクエストされたデータレコードのパーティション内のシーケンス番号の表示を含む特定のプログラマチックデータレコード検索インターフェースを含む、マルチテナントストリーム管理サービスによって実装された一つ以上のプログラマチックデータレコード検索インターフェースを起動して、一つ以上のパーティションのデータレコードを受信することを、一つ以上のコンピューティングデバイスによって実行することをさらに含む、条項6に記載の方法。
〔8〕
一つ以上のデータストリームのデータレコードについての処理ステージの有向非巡回グラフを、ストリーム処理サービスのクライアントが指定できる一つ以上のプログラマチックインターフェースを実装することを、一つ以上のコンピューティングデバイスによって実行することをさらに含む、条項6に記載の方法。
〔9〕
特定のデータストリームのデータレコードの保存に関与するマルチテナントストリーム管理サービスから、特定のデータストリームに使用されるパーティショニングポリシの表示を入手することと、及び
パーティショニングポリシに少なくともある程度基づいて、ワーカーノードの初期の数を決定することと、を一つ以上のコンピューティングデバイスによって実行することをさらに含む、条項6に記載の方法。
〔10〕
特定の動作の結果が、異なるデータストリームのデータレコードとして、異なるパーティショニングポリシに従い、異なるデータストリームのために構成された以上の取り込みノードに分配されることを、特定の出力分配記述子が示す、条項6に記載の方法。
〔11〕
別の処理ステージについての別の動作を実行するように構成された異なるワーカーノードが望ましくない状態にあるという決定に応答して、進捗レコードにアクセスせずに、他の動作を一つ以上のその後に受信したデータレコードに実行するための異なる取り換えワーカーノードを構成することを、一つ以上のコンピューティングデバイスによって実行することをさらに含む、条項6に記載の方法。
〔12〕
処理ステージの異なるワーカーノードにおける作業負荷レベルがトリガ基準を満たすことの決定に応答して、(a)特定のデータストリームの動的再パーティショニング、(b)異なるワーカーノードにおいて以前に処理された少なくとも一つのパーティションへの代替ワーカーノードの割り当て、(c)処理ステージのために構成されたワーカーノードの数の変更、または(d)あるサーバから別のサーバへのワーカーノードの転送の一つ以上を実施することを、一つ以上のコンピューティングデバイスによって実行することをさらに含む、条項6に記載の方法。
〔13〕
特定の動作の結果が、別のストリーム処理システムと互換性がある入力フォーマットに従いフォーマットされ、一つ以上の宛先のうちの特定の宛先が、他のストリーム処理システムの入力ノードを含む、条項6に記載の方法。
〔14〕
特定のワーカーノードが、特定のワーカーノードにおいて処理された複数のデータレコードに対応する累積されたアプリケーション状態情報を表す入力を永続的なデータリポジトリに保存し、進捗レコードにおける入力の表示を含むように構成された、条項6に記載の方法。
〔15〕
動作が、ログレコード解析動作、リソース監視メトリクス解析、請求額計算、センサデータ解析、ソーシャルメディア相互作用解析、リアルタイムETL(抽出、変換、ロード)処理動作、またはデータウェアハウスに挿入する前のデータレコードの変換の一つを含む、条項6に記載の方法。
〔16〕
クライアントライブラリコンポーネントの起動によってストリーム処理構成リクエストに応答して、マルチテナントストリーム処理サービスにおいて、異なる処理ステージのためのワーカーノードとして指定されたリソースを記録することを、一つ以上のコンピューティングデバイスによって実行することをさらに含む、条項6に記載の方法。
〔17〕
クライアントライブラリコンポーネントの起動によってストリーム処理構成リクエストに応答して、マルチテナントストリーム処理サービスにおいて、異なる処理ステージにおいて実施される制御プレーン機能の一つ以上のカテゴリを決定することを、一つ以上のコンピューティングデバイスによって実行することをさらに含む、条項6に記載の方法。
〔18〕
動作が冪等動作である、条項6に記載の方法。
〔19〕
マルチテナントストリーム処理サービスにおいて、特定のクライアントから、異なる処理ステージにおいて異なるデータストリームのデータレコードに実行される特定の非冪等動作の表示を受信することと、及び
受信したデータレコードに非冪等動作を実行するための、異なる処理ステージの第一のワーカーノードを構成することと、を一つ以上のコンピューティングデバイスによって実行することをさらに含む、条項6に記載の方法。
〔20〕
(a)フラッシュ動作を実行して非冪等動作の結果を一つ以上の宛先に保存し、かつ(b)フラッシュ動作のタイミングの表示を永続的保存場所にセーブするように、異なる処理ステージの第一のワーカーノードを構成することと、及び
フラッシュ動作のタイミングの表示を使用して、第一のワーカーノードの障害後のリカバリ期間に、フラッシュ動作をリプレイするように取り換えワーカーノードを構成することと、を一つ以上のコンピューティングデバイスによって実行することをさらに含む、条項19に記載の方法。
〔21〕
一つ以上のプロセッサにおいて実行されるときにマルチテナントストリーム処理サービスの制御ノードを実施するプログラム命令を保存する非一時的コンピュータアクセス可能ストレージ媒体であって、制御ノードが、
プログラマチックインターフェースを通じて特定のクライアントから、特定のデータストリームのデータレコードに実行される特定の動作の表示を受信し、
特定のデータストリームに関連するパーティショニングポリシに少なくともある程度基づいて、処理ステージにおける指定されたデータストリームのためのワーカーノードの初期の数を決定し、
特定のデータストリームの一つ以上のパーティションの受信したデータレコードに特定の動作を実行するための、初期の数のワーカーノードのうちから特定のワーカーノードを構成し、かつ
特定のワーカーノードが不健全な状態にあるという決定に応答して、特定のワーカーノードと取り換えるための取り換えワーカーノードを構成するように動作する、非一時的コンピュータアクセス可能ストレージ媒体。
〔22〕
制御ノードが、異なるデータストリームの異なるパーティションのデータレコードを処理するための複数のワーカーノードを備える冗長グループを構成するように動作し、複数のワーカーノードのうちの少なくとも一つのワーカーノードが、異なるパーティションのデータレコードを受信するためのプライマリノードとして用意され、そして複数のワーカーノードのうちの少なくとも別のワーカーノードが、トリガ事象に応答してプライマリノードの責務を引き受けるスタンドバイノードとして構成される、条項21に記載の非一時的コンピュータアクセス可能ストレージ媒体。
〔23〕
制御ノードが、処理ステージの異なるワーカーノードにおける作業負荷レベルがトリガ基準を満たすことの決定に応答して、(a)特定のデータストリームの動的再パーティショニング、(b)異なるワーカーノードにおいて以前に処理された少なくとも一つのパーティションへの代替ワーカーノードの割り当て、(c)処理ステージのために構成されたワーカーノードの数の変更、または(d)あるサーバから別のサーバへのワーカーノードの転送の一つ以上を実行するように動作する、条項21に記載の非一時的コンピュータアクセス可能ストレージ媒体。
〔24〕
特定の動作の結果が、永続ストレージデバイスを必要としない保存のための一時的データストリームのデータレコードとして、異なるパーティショニングポリシに従い、一時的データストリームのために構成された以上の取り込みノードに分配されることを、特定の出力分配記述子が示す、条項21に記載の非一時的コンピュータアクセス可能ストレージ媒体。
〔25〕
一つ以上のデータストリームのデータレコードについての処理ステージの有向非巡回グラフを、ストリーム処理サービスのクライアントが指定できる一つ以上のプログラマチックインターフェースを実装するように制御ノードが動作する、条項21に記載の非一時的コンピュータアクセス可能ストレージ媒体。
少なくともいくつかの実施形態では、SMSサブシステム(例えば、取り込み、保存、検索及び制御サブシステム)のコンポーネントを実装する技術を含む、本明細書に記述する技術の一つ以上の一部またはすべてを実施するサーバ、並びにSPSワーカー及び制御ノードは、一つ以上のコンピュータアクセス可能媒体、またはそれにアクセスするように構成された汎用コンピュータシステムを含むことができる。図30は、そのような汎用コンピューティングデバイス9000を示す。示す実施形態において、コンピューティングデバイス9000は、入出力(I/O)インターフェース9030を通じてシステムメモリ9020に連結された一つ以上のプロセッサ9010を含む。コンピューティングデバイス9000は、さらに、I/Oインターフェース9030に連結されたネットワークインターフェース9040を含む。
さまざまな実施形態は、さらに、先の記述に従い実装された命令及び/またはデータを、コンピュータアクセス可能媒体において受信、送信または保存することを含むことができる。一般的に言えば、コンピュータアクセス可能媒体は、例えば、磁気または光学媒体、例えば、ディスクまたはDVD/CD−ROM、例えば、RAM(例えば、SDRAM、DDR、RDRAM、SRAMなど)、ROMなどの揮発性または不揮発性媒体などのストレージ媒体または記憶媒体、並びにネットワーク及び/または無線リンクなどの通信媒体を通じて搬送される、電気、電磁またはデジタル信号などの伝送媒体または信号を含むことができる。
Claims (15)
- 特定のクライアントからのマルチテナントストリーム処理サービスにおいて、指定された処理ステージにおいて特定のデータストリームのデータレコードにおいて実行される特定の動作の指定、及び前記特定の動作の結果についての特定の出力分配記述子を受信することと、
前記特定の動作に少なくとも部分的に基づいて、前記指定された処理ステージのために構成された初期の数のワーカーノードを決定することと、
(a)前記特定のデータストリームの複数のパーティションのうちの一つ以上のそれぞれのパーティションの受信したデータレコードにおいて前記特定の動作を実行し、前記初期の数のワーカーノードのうちの異なるワーカーノードが、前記特定のデータストリームの異なるパーティションを処理するために割当てられ、(b)前記ワーカーノードのそれぞれにおいて処理された前記一つ以上のそれぞれのパーティションの一部分を示す進捗レコードを保存し、(c)前記特定の動作の結果を、前記特定の出力分配記述子に従い一つ以上の宛先に転送するように、前記初期の数のワーカーノードのうちのそれぞれのワーカーノードを構成することと、及び
前記ワーカーノードの1つが不健全な状態にあるという決定に応答して、不健全な前記ワーカーノードと取り換えるための取り換えワーカーノードであって、不健全な前記ワーカーノードによって以前に保存された進捗レコードにアクセスして、前記特定の動作が前記取り換えワーカーノードによって実行される、前記一つ以上のそれぞれのパーティションの少なくとも一つのデータレコードを特定する前記取り換えワーカーノードを選択することと、を一つ以上のコンピューティングデバイスによって実行することを含む、方法。 - パラメータとして、リクエストされたデータレコードのパーティション内のシーケンス番号の表示を含む特定のプログラマチックデータレコード検索インターフェースを含む、マルチテナントストリーム管理サービスによって実装された一つ以上のプログラマチックデータレコード検索インターフェースを起動して、前記一つ以上のパーティションのデータレコードを受信することを、前記一つ以上のコンピューティングデバイスによって実行することをさらに含む、請求項1に記載の方法。
- 一つ以上のデータストリームのデータレコードについての処理ステージの有向非巡回グラフを、前記ストリーム処理サービスのクライアントが指定できる一つ以上のプログラマチックインターフェースを実装することを、前記一つ以上のコンピューティングデバイスによって実行することをさらに含む、請求項1に記載の方法。
- 前記特定のデータストリームの前記データレコードの保存に関与するマルチテナントストリーム管理サービスから、前記特定のデータストリームに使用されるパーティショニングポリシの指定を入手することと、及び
前記パーティショニングポリシに少なくとも部分的に基づいて、前記ワーカーノードの初期の数を決定することと、を前記一つ以上のコンピューティングデバイスによって実行することをさらに含む、請求項1に記載の方法。 - 前記特定の動作の結果が、前記特定のデータストリームと異なるデータストリームのデータレコードとして、前記パーティショニングポリシと異なるパーティショニングポリシに従い、前記異なるデータストリームのために構成された一つ以上の取り込みノードに分配されることを、前記特定の出力分配記述子が示す、請求項4に記載の方法。
- 前記ワーカーノードの特定の1つのワーカーノードと異なる前記処理ステージのワーカーノードにおける作業負荷レベルがトリガ基準を満たすことの決定に応答して、(a)前記特定のデータストリームの動的再パーティショニング、(b)前記異なるワーカーノードにおいて以前に処理された少なくとも一つのパーティションへの代替ワーカーノードの割り当て、(c)前記処理ステージのために構成されたワーカーノードの数の変更、または(d)あるサーバから別のサーバへのワーカーノードの転送の一つ以上を実施することを、前記一つ以上のコンピューティングデバイスによって実行することをさらに含む、請求項1に記載の方法。
- 前記それぞれのワーカーノードが、前記それぞれのワーカーノードにおいて処理された複数のデータレコードに対応する累積されたアプリケーション状態情報を表す入力を永続的なデータリポジトリに保存し、進捗レコードにおける前記入力の指定を含むように構成された、請求項1に記載の方法。
- クライアントライブラリコンポーネントの起動によってストリーム処理構成リクエストに応答して、前記マルチテナントストリーム処理サービスにおいて、前記指定された処理ステージと異なる処理ステージのためのワーカーノードとして指定されたリソースを記録することを、前記一つ以上のコンピューティングデバイスによって実行することをさらに含む、請求項1に記載の方法。
- 前記マルチテナントストリーム処理サービスにおいて、前記特定のクライアントから、前記指定された処理ステージと異なる処理ステージにおいて前記特定のデータストリームと異なるデータストリームのデータレコードにおいて実行される特定の非冪等動作の指定を受信することと、及び
前記受信したデータレコードに非冪等動作を実行するための、前記異なる処理ステージの第一のワーカーノードを構成することと、を前記一つ以上のコンピューティングデバイスによって実行することをさらに含む、請求項1に記載の方法。 - (a)フラッシュ動作を実行して前記非冪等動作の結果を一つ以上の宛先に保存し、かつ(b)フラッシュ動作のタイミングの指定を永続的保存場所にセーブするように、前記異なる処理ステージの前記第一のワーカーノードを構成することと、及び
前記フラッシュ動作のタイミングの前記指定を使用して、前記第一のワーカーノードの障害後のリカバリ期間に、前記フラッシュ動作をリプレイするように取り換えワーカーノードを構成することと、を前記一つ以上のコンピューティングデバイスによって実行することをさらに含む、請求項9に記載の方法。 - 一つ以上のプロセッサ及び一つ以上のメモリを含むシステムであって、前記一つ以上のメモリが、前記一つ以上のプロセッサにおいて実行されたときにマルチテナントストリーム処理サービスの制御ノードを実施するプログラム命令を含み、前記制御ノードが、
プログラマチックインターフェースを通じて特定のクライアントから、特定のデータストリームのデータレコードにおいて実行される特定の動作の指定を受信し、
前記特定のデータストリームに関連するパーティショニングポリシに少なくとも部分的に基づいて、処理ステージにおける前記特定のデータストリームのための初期の数のワーカーノードを決定し、
前記特定のデータストリームの複数のパーティションのうちの一つ以上のそれぞれのパーティションの受信したデータレコードにおいて前記特定の動作を実行するために、前記初期の数のワーカーノードのうちのそれぞれのワーカーノードを構成し、前記初期の数のワーカーノードのうちの異なるワーカーノードが、前記特定のデータストリームの異なるパーティションを処理するために割当てられ、かつ
前記ワーカーノードの1つが不健全な状態にあるという決定に応答して、不健全な前記ワーカーノードと取り換えるための取り換えワーカーノードを構成するように動作する、システム。 - 前記制御ノードが、前記特定のデータストリームと異なるデータストリームの前記一つ以上のパーティションと異なるパーティションのデータレコードを処理するための複数のワーカーノードを備える冗長グループを構成するように動作し、前記複数のワーカーノードのうちの少なくとも一つのワーカーノードが、前記異なるパーティションの前記データレコードを受信するためのプライマリノードとして用意され、そして前記複数のワーカーノードのうちの少なくとも別のワーカーノードが、トリガ事象に応答してプライマリノードの責務を引き受けるスタンドバイノードとして構成される、請求項11に記載のシステム。
- 前記制御ノードが、前記ワーカーノードの特定の1つのワーカーノードと異なる前記処理ステージのワーカーノードにおける作業負荷レベルがトリガ基準を満たすことの決定に応答して、(a)前記特定のデータストリームの動的再パーティショニング、(b)前記異なるワーカーノードにおいて以前に処理された少なくとも一つのパーティションへの代替ワーカーノードの割り当て、(c)前記処理ステージのために構成されたワーカーノードの数の変更、または(d)あるサーバから別のサーバへのワーカーノードの転送の一つ以上を実行するように動作する、請求項11に記載のシステム。
- 前記特定の動作の結果が、永続ストレージデバイスを必要としない保存のための一時的データストリームのデータレコードとして、前記パーティショニングポリシと異なるパーティショニングポリシに従い、前記一時的データストリームのために構成された一つ以上の取り込みノードに分配されることを、前記特定の出力分配記述子が示す、請求項11に記載のシステム。
- 前記一つ以上のデータストリームのデータレコードについての処理ステージの有向非巡回グラフを、ストリーム処理サービスのクライアントが指定できる一つ以上のプログラマチックインターフェースを実装するように前記制御ノードが動作する、請求項11に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/077,167 | 2013-11-11 | ||
US14/077,167 US10635644B2 (en) | 2013-11-11 | 2013-11-11 | Partition-based data stream processing framework |
PCT/US2014/065057 WO2015070236A1 (en) | 2013-11-11 | 2014-11-11 | Partition-based data stream processing framework |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016536690A JP2016536690A (ja) | 2016-11-24 |
JP6450756B2 true JP6450756B2 (ja) | 2019-01-09 |
Family
ID=53042247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016529942A Active JP6450756B2 (ja) | 2013-11-11 | 2014-11-11 | パーティションベースのデータストリーム処理フレームワーク |
Country Status (6)
Country | Link |
---|---|
US (1) | US10635644B2 (ja) |
EP (1) | EP3069228B1 (ja) |
JP (1) | JP6450756B2 (ja) |
AU (1) | AU2014346366B2 (ja) |
CA (1) | CA2930101C (ja) |
WO (1) | WO2015070236A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11544387B2 (en) * | 2019-01-16 | 2023-01-03 | International Business Machines Corporation | Hash protection within an object storage library |
Families Citing this family (181)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10191922B2 (en) | 1998-11-24 | 2019-01-29 | Oracle International Corporation | Determining live migration speed based on workload and performance characteristics |
US9239763B2 (en) * | 2012-09-28 | 2016-01-19 | Oracle International Corporation | Container database |
US8332365B2 (en) | 2009-03-31 | 2012-12-11 | Amazon Technologies, Inc. | Cloning and recovery of data volumes |
US10922331B2 (en) | 2012-09-28 | 2021-02-16 | Oracle International Corporation | Cloning a pluggable database in read-write mode |
US10635674B2 (en) | 2012-09-28 | 2020-04-28 | Oracle International Corporation | Migrating a pluggable database between database server instances with minimal impact to performance |
US10496640B2 (en) | 2012-12-19 | 2019-12-03 | Salesforce.Com, Inc. | Querying a not only structured query language (NoSQL) database using structured query language (SQL) commands |
US9720989B2 (en) | 2013-11-11 | 2017-08-01 | Amazon Technologies, Inc. | Dynamic partitioning techniques for data streams |
US10366056B2 (en) | 2013-11-15 | 2019-07-30 | Salesforce.Com, Inc. | Asynchronous search for big objects |
US10430438B2 (en) | 2014-06-20 | 2019-10-01 | Amazon Technologies, Inc. | Dynamic n-dimensional cubes for hosted analytics |
US11868372B1 (en) | 2014-06-20 | 2024-01-09 | Amazon Technologies, Inc. | Automated hierarchy detection for cloud-based analytics |
US9882949B1 (en) * | 2014-06-20 | 2018-01-30 | Amazon Technologies, Inc. | Dynamic detection of data correlations based on realtime data |
JP6428012B2 (ja) * | 2014-07-16 | 2018-11-28 | 富士通株式会社 | 分散処理プログラム、分散処理管理装置及び分散処理方法 |
US9300712B2 (en) * | 2014-08-01 | 2016-03-29 | Pivotal Software, Inc. | Stream processing with context data affinity |
CN112422291B (zh) * | 2014-08-12 | 2022-01-28 | 艾高特有限责任公司 | 基于零知识环境的社交网络引擎 |
GB2529475A (en) * | 2014-08-22 | 2016-02-24 | Ibm | Tenant allocation in multi-tenant software applications technical field |
US10776711B2 (en) | 2014-09-08 | 2020-09-15 | Pivotal Software, Inc. | Compute intensive stream processing |
US10048974B1 (en) | 2014-09-30 | 2018-08-14 | Amazon Technologies, Inc. | Message-based computation request scheduling |
US9830193B1 (en) | 2014-09-30 | 2017-11-28 | Amazon Technologies, Inc. | Automatic management of low latency computational capacity |
US9323556B2 (en) | 2014-09-30 | 2016-04-26 | Amazon Technologies, Inc. | Programmatic event detection and message generation for requests to execute program code |
US9146764B1 (en) | 2014-09-30 | 2015-09-29 | Amazon Technologies, Inc. | Processing event messages for user requests to execute program code |
US9600312B2 (en) | 2014-09-30 | 2017-03-21 | Amazon Technologies, Inc. | Threading as a service |
US9678773B1 (en) | 2014-09-30 | 2017-06-13 | Amazon Technologies, Inc. | Low latency computational capacity provisioning |
CN104317556B (zh) * | 2014-10-22 | 2018-03-16 | 华为技术有限公司 | 一种流式应用升级方法、主控节点及流计算系统 |
US9537788B2 (en) | 2014-12-05 | 2017-01-03 | Amazon Technologies, Inc. | Automatic determination of resource sizing |
US9588790B1 (en) | 2015-02-04 | 2017-03-07 | Amazon Technologies, Inc. | Stateful virtual compute system |
US9733967B2 (en) | 2015-02-04 | 2017-08-15 | Amazon Technologies, Inc. | Security protocols for low latency execution of program code |
US9785476B2 (en) | 2015-04-08 | 2017-10-10 | Amazon Technologies, Inc. | Endpoint management system and virtual compute system |
US9930103B2 (en) | 2015-04-08 | 2018-03-27 | Amazon Technologies, Inc. | Endpoint management system providing an application programming interface proxy service |
US11327937B1 (en) * | 2015-09-18 | 2022-05-10 | Amazon Technologies, Inc. | Determining indexing progress for a table in a distributed data store |
CN106549990A (zh) * | 2015-09-18 | 2017-03-29 | 阿里巴巴集团控股有限公司 | 一种分布式数据的处理方法和系统 |
US10140313B2 (en) * | 2015-09-27 | 2018-11-27 | International Business Machines Corporation | Parallel processing of large data files on distributed file systems with dynamic workload balancing |
US9871731B2 (en) | 2015-09-30 | 2018-01-16 | Microsoft Technology Licensing, Llc | Data plane manipulation in a load balancer |
US10423625B2 (en) * | 2015-10-08 | 2019-09-24 | Samsung Sds America, Inc. | Exactly-once semantics for streaming analytics in non-idempotent output operations |
US10067801B1 (en) | 2015-12-21 | 2018-09-04 | Amazon Technologies, Inc. | Acquisition and maintenance of compute capacity |
US9910713B2 (en) | 2015-12-21 | 2018-03-06 | Amazon Technologies, Inc. | Code execution request routing |
US11550632B2 (en) * | 2015-12-24 | 2023-01-10 | Intel Corporation | Facilitating efficient communication and data processing across clusters of computing machines in heterogeneous computing environment |
US11232085B2 (en) * | 2016-01-07 | 2022-01-25 | Amazon Technologies, Inc. | Outlier detection for streaming data |
US10122788B2 (en) * | 2016-03-29 | 2018-11-06 | Amazon Technologies, Inc. | Managed function execution for processing data streams in real time |
WO2017172440A1 (en) | 2016-03-30 | 2017-10-05 | Amazon Technologies, Inc. | Processing pre-existing data sets at an on-demand code execution environment |
US10891145B2 (en) | 2016-03-30 | 2021-01-12 | Amazon Technologies, Inc. | Processing pre-existing data sets at an on demand code execution environment |
US11132213B1 (en) | 2016-03-30 | 2021-09-28 | Amazon Technologies, Inc. | Dependency-based process of pre-existing data sets at an on demand code execution environment |
CN107292186B (zh) * | 2016-03-31 | 2021-01-12 | 阿里巴巴集团控股有限公司 | 一种基于随机森林的模型训练方法和装置 |
US11442792B2 (en) * | 2016-06-22 | 2022-09-13 | Yahoo Assets Llc | Systems and methods for dynamic partitioning in distributed environments |
US11221890B2 (en) * | 2016-06-22 | 2022-01-11 | Verizon Media Inc. | Systems and methods for dynamic partitioning in distributed environments |
US10102040B2 (en) | 2016-06-29 | 2018-10-16 | Amazon Technologies, Inc | Adjusting variable limit on concurrent code executions |
US10248523B1 (en) * | 2016-08-05 | 2019-04-02 | Veritas Technologies Llc | Systems and methods for provisioning distributed datasets |
US10884787B1 (en) | 2016-09-23 | 2021-01-05 | Amazon Technologies, Inc. | Execution guarantees in an on-demand network code execution system |
US10917324B2 (en) * | 2016-09-28 | 2021-02-09 | Amazon Technologies, Inc. | Network health data aggregation service |
US9858151B1 (en) * | 2016-10-03 | 2018-01-02 | International Business Machines Corporation | Replaying processing of a restarted application |
US10108345B2 (en) | 2016-11-02 | 2018-10-23 | Samsung Electronics Co., Ltd. | Victim stream selection algorithms in the multi-stream scheme |
US10439917B2 (en) * | 2016-11-15 | 2019-10-08 | At&T Intellectual Property I, L.P. | Recovering a replica in an operator in a data streaming processing system |
US10409648B1 (en) * | 2017-03-01 | 2019-09-10 | Amazon Technologies, Inc. | Splitting processing responsibility for separately stored data partitions |
US20180330288A1 (en) * | 2017-05-15 | 2018-11-15 | Alteryx, Inc. | Method of data aggregation for cache optimization and efficient processing |
US10761743B1 (en) | 2017-07-17 | 2020-09-01 | EMC IP Holding Company LLC | Establishing data reliability groups within a geographically distributed data storage environment |
US10817388B1 (en) | 2017-07-21 | 2020-10-27 | EMC IP Holding Company LLC | Recovery of tree data in a geographically distributed environment |
US10581945B2 (en) | 2017-08-28 | 2020-03-03 | Banjo, Inc. | Detecting an event from signal data |
US11025693B2 (en) | 2017-08-28 | 2021-06-01 | Banjo, Inc. | Event detection from signal data removing private information |
US10313413B2 (en) * | 2017-08-28 | 2019-06-04 | Banjo, Inc. | Detecting events from ingested communication signals |
US10902000B2 (en) | 2017-09-29 | 2021-01-26 | Oracle International Corporation | Heartbeat propagation in a distributed stream processing system |
US10452444B1 (en) * | 2017-10-19 | 2019-10-22 | Pure Storage, Inc. | Storage system with compute resources and shared storage resources |
US10880040B1 (en) | 2017-10-23 | 2020-12-29 | EMC IP Holding Company LLC | Scale-out distributed erasure coding |
US11269731B1 (en) | 2017-11-22 | 2022-03-08 | Amazon Technologies, Inc. | Continuous data protection |
KR102441299B1 (ko) | 2017-11-27 | 2022-09-08 | 스노우플레이크 인코포레이티드 | 데이터베이스 시스템으로의 배치 데이터 수집 |
US10382554B1 (en) | 2018-01-04 | 2019-08-13 | Emc Corporation | Handling deletes with distributed erasure coding |
KR102043538B1 (ko) * | 2018-01-18 | 2019-11-11 | 주식회사 알티스트 | 파티셔닝을 적용하여 프로세스를 모니터링하는 컴퓨팅 시스템 |
US10812544B2 (en) * | 2018-01-26 | 2020-10-20 | Salesforce.Com, Inc. | Transfer of data streaming services to provide continuous data flow |
US11126608B2 (en) * | 2018-01-31 | 2021-09-21 | Salesforce.Com, Inc. | Techniques and architectures for partition mapping in a multi-node computing environment |
US10831898B1 (en) | 2018-02-05 | 2020-11-10 | Amazon Technologies, Inc. | Detecting privilege escalations in code including cross-service calls |
US10733085B1 (en) | 2018-02-05 | 2020-08-04 | Amazon Technologies, Inc. | Detecting impedance mismatches due to cross-service calls |
US10585724B2 (en) | 2018-04-13 | 2020-03-10 | Banjo, Inc. | Notifying entities of relevant events |
US10261846B1 (en) | 2018-02-09 | 2019-04-16 | Banjo, Inc. | Storing and verifying the integrity of event related data |
US10725752B1 (en) | 2018-02-13 | 2020-07-28 | Amazon Technologies, Inc. | Dependency handling in an on-demand network code execution system |
US10776091B1 (en) | 2018-02-26 | 2020-09-15 | Amazon Technologies, Inc. | Logging endpoint in an on-demand code execution system |
US10817374B2 (en) | 2018-04-12 | 2020-10-27 | EMC IP Holding Company LLC | Meta chunks |
US10579297B2 (en) | 2018-04-27 | 2020-03-03 | EMC IP Holding Company LLC | Scaling-in for geographically diverse storage |
US10936196B2 (en) | 2018-06-15 | 2021-03-02 | EMC IP Holding Company LLC | Data convolution for geographically diverse storage |
US11023130B2 (en) | 2018-06-15 | 2021-06-01 | EMC IP Holding Company LLC | Deleting data in a geographically diverse storage construct |
FR3082974B1 (fr) * | 2018-06-22 | 2020-06-05 | Bull Sas | Procede de gestion de panne dans un reseau de nœuds base sur une strategie globale |
FR3082973B1 (fr) | 2018-06-22 | 2020-06-05 | Bull Sas | Procede de gestion de panne dans un reseau de noeuds base sur une strategie locale |
US10853115B2 (en) | 2018-06-25 | 2020-12-01 | Amazon Technologies, Inc. | Execution of auxiliary functions in an on-demand network code execution system |
US10649749B1 (en) | 2018-06-26 | 2020-05-12 | Amazon Technologies, Inc. | Cross-environment application of tracing information for improved code execution |
US11146569B1 (en) | 2018-06-28 | 2021-10-12 | Amazon Technologies, Inc. | Escalation-resistant secure network services using request-scoped authentication information |
US10949237B2 (en) | 2018-06-29 | 2021-03-16 | Amazon Technologies, Inc. | Operating system customization in an on-demand network code execution system |
US10956246B1 (en) | 2018-07-16 | 2021-03-23 | Amazon Technologies, Inc. | Isolated read channel management interfaces at streaming data service |
US11070600B1 (en) | 2018-07-16 | 2021-07-20 | Amazon Technologies, Inc. | Optimization techniques to support lagging readers at streaming data service |
US11075984B1 (en) | 2018-07-16 | 2021-07-27 | Amazon Technologies, Inc. | Workload management at streaming data service supporting persistent connections for reads |
US10798140B1 (en) | 2018-07-16 | 2020-10-06 | Amazon Technologies, Inc. | Stream data record reads using push-mode persistent connections |
US10768830B1 (en) | 2018-07-16 | 2020-09-08 | Amazon Technologies, Inc. | Streaming data service with isolated read channels |
US10855754B1 (en) | 2018-07-16 | 2020-12-01 | Amazon Technologies, Inc. | Isolated read channel categories at streaming data service |
US11099870B1 (en) | 2018-07-25 | 2021-08-24 | Amazon Technologies, Inc. | Reducing execution times in an on-demand network code execution system using saved machine states |
TWI813742B (zh) | 2018-08-23 | 2023-09-01 | 美商阿爾克斯股份有限公司 | 在網路路由環境中的非同步物件管理機制 |
US11099917B2 (en) | 2018-09-27 | 2021-08-24 | Amazon Technologies, Inc. | Efficient state maintenance for execution environments in an on-demand code execution system |
US11243953B2 (en) | 2018-09-27 | 2022-02-08 | Amazon Technologies, Inc. | Mapreduce implementation in an on-demand network code execution system and stream data processing system |
US10606709B1 (en) * | 2018-10-26 | 2020-03-31 | EMC IP Holding Company LLC | Method and system for intelligently load balancing database backup operations in information technology environments |
US11436203B2 (en) * | 2018-11-02 | 2022-09-06 | EMC IP Holding Company LLC | Scaling out geographically diverse storage |
US11943093B1 (en) | 2018-11-20 | 2024-03-26 | Amazon Technologies, Inc. | Network connection recovery after virtual machine transition in an on-demand network code execution system |
US11934409B2 (en) | 2018-11-23 | 2024-03-19 | Amazon Technologies, Inc. | Continuous functions in a time-series database |
US10901635B2 (en) | 2018-12-04 | 2021-01-26 | EMC IP Holding Company LLC | Mapped redundant array of independent nodes for data storage with high performance using logical columns of the nodes with different widths and different positioning patterns |
US10884812B2 (en) | 2018-12-13 | 2021-01-05 | Amazon Technologies, Inc. | Performance-based hardware emulation in an on-demand network code execution system |
US11119683B2 (en) | 2018-12-20 | 2021-09-14 | EMC IP Holding Company LLC | Logical compaction of a degraded chunk in a geographically diverse data storage system |
US10931777B2 (en) | 2018-12-20 | 2021-02-23 | EMC IP Holding Company LLC | Network efficient geographically diverse data storage system employing degraded chunks |
US10892782B2 (en) | 2018-12-21 | 2021-01-12 | EMC IP Holding Company LLC | Flexible system and method for combining erasure-coded protection sets |
US11023331B2 (en) | 2019-01-04 | 2021-06-01 | EMC IP Holding Company LLC | Fast recovery of data in a geographically distributed storage environment |
US11941028B2 (en) * | 2019-01-10 | 2024-03-26 | Box, Inc. | Efficient process for creating range-partitioned indexes ensuring uniform document distribution |
US10942827B2 (en) | 2019-01-22 | 2021-03-09 | EMC IP Holding Company LLC | Replication of data in a geographically distributed storage environment |
US10846003B2 (en) | 2019-01-29 | 2020-11-24 | EMC IP Holding Company LLC | Doubly mapped redundant array of independent nodes for data storage |
US10942825B2 (en) | 2019-01-29 | 2021-03-09 | EMC IP Holding Company LLC | Mitigating real node failure in a mapped redundant array of independent nodes |
US10866766B2 (en) | 2019-01-29 | 2020-12-15 | EMC IP Holding Company LLC | Affinity sensitive data convolution for data storage systems |
US10936239B2 (en) | 2019-01-29 | 2021-03-02 | EMC IP Holding Company LLC | Cluster contraction of a mapped redundant array of independent nodes |
US11409725B1 (en) * | 2019-02-04 | 2022-08-09 | Amazon Technologies, Inc. | Multi-tenant partitioning in a time-series database |
US11010188B1 (en) | 2019-02-05 | 2021-05-18 | Amazon Technologies, Inc. | Simulated data object storage using on-demand computation of data objects |
US11861386B1 (en) | 2019-03-22 | 2024-01-02 | Amazon Technologies, Inc. | Application gateways in an on-demand network code execution system |
KR102096737B1 (ko) * | 2019-03-28 | 2020-04-02 | 한국과학기술원 | 저밀도 패리티 검사 부호를 활용한 고장 방지 능력을 갖춘 분산 기계 학습 방법 및 그 장치 |
US11029865B2 (en) | 2019-04-03 | 2021-06-08 | EMC IP Holding Company LLC | Affinity sensitive storage of data corresponding to a mapped redundant array of independent nodes |
US10944826B2 (en) | 2019-04-03 | 2021-03-09 | EMC IP Holding Company LLC | Selective instantiation of a storage service for a mapped redundant array of independent nodes |
US11121727B2 (en) | 2019-04-30 | 2021-09-14 | EMC IP Holding Company LLC | Adaptive data storing for data storage systems employing erasure coding |
US11113146B2 (en) | 2019-04-30 | 2021-09-07 | EMC IP Holding Company LLC | Chunk segment recovery via hierarchical erasure coding in a geographically diverse data storage system |
US11119686B2 (en) | 2019-04-30 | 2021-09-14 | EMC IP Holding Company LLC | Preservation of data during scaling of a geographically diverse data storage system |
US11748004B2 (en) | 2019-05-03 | 2023-09-05 | EMC IP Holding Company LLC | Data replication using active and passive data storage modes |
US11119809B1 (en) | 2019-06-20 | 2021-09-14 | Amazon Technologies, Inc. | Virtualization-based transaction handling in an on-demand network code execution system |
US11159528B2 (en) | 2019-06-28 | 2021-10-26 | Amazon Technologies, Inc. | Authentication to network-services using hosted authentication information |
US11190609B2 (en) | 2019-06-28 | 2021-11-30 | Amazon Technologies, Inc. | Connection pooling for scalable network services |
US11115404B2 (en) | 2019-06-28 | 2021-09-07 | Amazon Technologies, Inc. | Facilitating service connections in serverless code executions |
US10938882B2 (en) * | 2019-07-09 | 2021-03-02 | Servicenow, Inc. | Preprocessing and storage of cloud service usage reports |
US11209996B2 (en) | 2019-07-15 | 2021-12-28 | EMC IP Holding Company LLC | Mapped cluster stretching for increasing workload in a data storage system |
CN110569206A (zh) * | 2019-07-16 | 2019-12-13 | 广州市中海达测绘仪器有限公司 | 一种支持多传感器的驱动框架、方法、电子设备及存储介质 |
US11449399B2 (en) | 2019-07-30 | 2022-09-20 | EMC IP Holding Company LLC | Mitigating real node failure of a doubly mapped redundant array of independent nodes |
US11023145B2 (en) | 2019-07-30 | 2021-06-01 | EMC IP Holding Company LLC | Hybrid mapped clusters for data storage |
WO2021029862A1 (en) * | 2019-08-12 | 2021-02-18 | Nokia Technologies Oy | Ran coordination for high reliability in tsn networks |
EP4022470A4 (en) * | 2019-08-28 | 2023-05-31 | Sparta Systems, Inc. | METHOD, APPARATUS AND COMPUTER READABLE MEDIUM FOR GENERATING AN AUDIT TRAIL OF AN ELECTRONIC DATA RECORD |
US11228322B2 (en) | 2019-09-13 | 2022-01-18 | EMC IP Holding Company LLC | Rebalancing in a geographically diverse storage system employing erasure coding |
GB201913348D0 (en) * | 2019-09-16 | 2019-10-30 | Palantir Technologies Inc | Data deletion system and method |
US11216487B1 (en) | 2019-09-23 | 2022-01-04 | Amazon Technologies, Inc. | Schema-based spatial partitioning in a time-series database |
US11449248B2 (en) | 2019-09-26 | 2022-09-20 | EMC IP Holding Company LLC | Mapped redundant array of independent data storage regions |
US11550944B2 (en) | 2019-09-27 | 2023-01-10 | Amazon Technologies, Inc. | Code execution environment customization system for object storage service |
US11250007B1 (en) | 2019-09-27 | 2022-02-15 | Amazon Technologies, Inc. | On-demand execution of object combination code in output path of object storage service |
US11023311B2 (en) | 2019-09-27 | 2021-06-01 | Amazon Technologies, Inc. | On-demand code execution in input path of data uploaded to storage service in multiple data portions |
US11055112B2 (en) | 2019-09-27 | 2021-07-06 | Amazon Technologies, Inc. | Inserting executions of owner-specified code into input/output path of object storage service |
US11023416B2 (en) | 2019-09-27 | 2021-06-01 | Amazon Technologies, Inc. | Data access control system for object storage service based on owner-defined code |
US10908927B1 (en) | 2019-09-27 | 2021-02-02 | Amazon Technologies, Inc. | On-demand execution of object filter code in output path of object storage service |
US11106477B2 (en) | 2019-09-27 | 2021-08-31 | Amazon Technologies, Inc. | Execution of owner-specified code during input/output path to object storage service |
US10996961B2 (en) | 2019-09-27 | 2021-05-04 | Amazon Technologies, Inc. | On-demand indexing of data in input path of object storage service |
US11394761B1 (en) | 2019-09-27 | 2022-07-19 | Amazon Technologies, Inc. | Execution of user-submitted code on a stream of data |
US11656892B1 (en) | 2019-09-27 | 2023-05-23 | Amazon Technologies, Inc. | Sequential execution of user-submitted code and native functions |
US11263220B2 (en) | 2019-09-27 | 2022-03-01 | Amazon Technologies, Inc. | On-demand execution of object transformation code in output path of object storage service |
US11360948B2 (en) | 2019-09-27 | 2022-06-14 | Amazon Technologies, Inc. | Inserting owner-specified data processing pipelines into input/output path of object storage service |
US11416628B2 (en) | 2019-09-27 | 2022-08-16 | Amazon Technologies, Inc. | User-specific data manipulation system for object storage service based on user-submitted code |
US11386230B2 (en) | 2019-09-27 | 2022-07-12 | Amazon Technologies, Inc. | On-demand code obfuscation of data in input path of object storage service |
US11119690B2 (en) | 2019-10-31 | 2021-09-14 | EMC IP Holding Company LLC | Consolidation of protection sets in a geographically diverse data storage environment |
US11435910B2 (en) | 2019-10-31 | 2022-09-06 | EMC IP Holding Company LLC | Heterogeneous mapped redundant array of independent nodes for data storage |
US11288139B2 (en) | 2019-10-31 | 2022-03-29 | EMC IP Holding Company LLC | Two-step recovery employing erasure coding in a geographically diverse data storage system |
KR102426132B1 (ko) * | 2019-11-14 | 2022-07-26 | 대구대학교 산학협력단 | 클라우드 컴퓨팅 환경에서의 컨테이너 배치 장치 및 방법 |
US11435957B2 (en) | 2019-11-27 | 2022-09-06 | EMC IP Holding Company LLC | Selective instantiation of a storage service for a doubly mapped redundant array of independent nodes |
US11119826B2 (en) | 2019-11-27 | 2021-09-14 | Amazon Technologies, Inc. | Serverless call distribution to implement spillover while avoiding cold starts |
US10942795B1 (en) | 2019-11-27 | 2021-03-09 | Amazon Technologies, Inc. | Serverless call distribution to utilize reserved capacity without inhibiting scaling |
US11526500B2 (en) * | 2019-12-12 | 2022-12-13 | Sap Se | System and method for initiating bulk inserts in a distributed database |
US11144220B2 (en) | 2019-12-24 | 2021-10-12 | EMC IP Holding Company LLC | Affinity sensitive storage of data corresponding to a doubly mapped redundant array of independent nodes |
CN113127380A (zh) * | 2019-12-31 | 2021-07-16 | 华为技术有限公司 | 部署实例的方法、实例管理节点、计算节点和计算设备 |
US11231860B2 (en) | 2020-01-17 | 2022-01-25 | EMC IP Holding Company LLC | Doubly mapped redundant array of independent nodes for data storage with high performance |
US11714682B1 (en) | 2020-03-03 | 2023-08-01 | Amazon Technologies, Inc. | Reclaiming computing resources in an on-demand code execution system |
US11188391B1 (en) | 2020-03-11 | 2021-11-30 | Amazon Technologies, Inc. | Allocating resources to on-demand code executions under scarcity conditions |
US11775640B1 (en) | 2020-03-30 | 2023-10-03 | Amazon Technologies, Inc. | Resource utilization-based malicious task detection in an on-demand code execution system |
US11507308B2 (en) | 2020-03-30 | 2022-11-22 | EMC IP Holding Company LLC | Disk access event control for mapped nodes supported by a real cluster storage system |
KR102188132B1 (ko) * | 2020-05-27 | 2020-12-07 | 비코어(주) | 데이터 적재 및 처리 시스템 및 그 방법 |
US11288229B2 (en) | 2020-05-29 | 2022-03-29 | EMC IP Holding Company LLC | Verifiable intra-cluster migration for a chunk storage system |
JP2021192189A (ja) * | 2020-06-05 | 2021-12-16 | 富士通株式会社 | パイプライン分割位置決定方法及びパイプライン分割位置決定プログラム |
JP2022019348A (ja) | 2020-07-17 | 2022-01-27 | 富士通株式会社 | 情報処理方法、および情報処理プログラム |
US11640402B2 (en) * | 2020-07-22 | 2023-05-02 | International Business Machines Corporation | Load balancing in streams parallel regions |
US11693983B2 (en) | 2020-10-28 | 2023-07-04 | EMC IP Holding Company LLC | Data protection via commutative erasure coding in a geographically diverse data storage system |
US11341006B1 (en) * | 2020-10-30 | 2022-05-24 | International Business Machines Corporation | Dynamic replacement of degrading processing elements in streaming applications |
US11593270B1 (en) | 2020-11-25 | 2023-02-28 | Amazon Technologies, Inc. | Fast distributed caching using erasure coded object parts |
US11550713B1 (en) | 2020-11-25 | 2023-01-10 | Amazon Technologies, Inc. | Garbage collection in distributed systems using life cycled storage roots |
US11847141B2 (en) | 2021-01-19 | 2023-12-19 | EMC IP Holding Company LLC | Mapped redundant array of independent nodes employing mapped reliability groups for data storage |
US11625174B2 (en) | 2021-01-20 | 2023-04-11 | EMC IP Holding Company LLC | Parity allocation for a virtual redundant array of independent disks |
US11416312B1 (en) | 2021-02-12 | 2022-08-16 | Microsoft Technology Licensing, Llc | Near-real-time data processing with partition files |
US11354191B1 (en) | 2021-05-28 | 2022-06-07 | EMC IP Holding Company LLC | Erasure coding in a large geographically diverse data storage system |
US11449234B1 (en) | 2021-05-28 | 2022-09-20 | EMC IP Holding Company LLC | Efficient data access operations via a mapping layer instance for a doubly mapped redundant array of independent nodes |
US11388210B1 (en) | 2021-06-30 | 2022-07-12 | Amazon Technologies, Inc. | Streaming analytics using a serverless compute system |
CN113673822B (zh) * | 2021-07-15 | 2023-08-11 | 微梦创科网络科技(中国)有限公司 | 一种弹性调度方法及系统 |
CN113656369A (zh) * | 2021-08-13 | 2021-11-16 | 辽宁华盾安全技术有限责任公司 | 一种大数据场景下的日志分布式流式采集及计算方法 |
US11941029B2 (en) | 2022-02-03 | 2024-03-26 | Bank Of America Corporation | Automatic extension of database partitions |
Family Cites Families (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5692177A (en) * | 1994-10-26 | 1997-11-25 | Microsoft Corporation | Method and system for data set storage by iteratively searching for perfect hashing functions |
US5813009A (en) | 1995-07-28 | 1998-09-22 | Univirtual Corp. | Computer based records management system method |
US5864677A (en) * | 1996-07-01 | 1999-01-26 | Sun Microsystems, Inc. | System for preserving sequential ordering and supporting nonidempotent commands in a ring network with busy nodes |
US6249879B1 (en) * | 1997-11-11 | 2001-06-19 | Compaq Computer Corp. | Root filesystem failover in a single system image environment |
US7386586B1 (en) | 1998-12-22 | 2008-06-10 | Computer Associates Think, Inc. | System for scheduling and monitoring computer processes |
US6272598B1 (en) | 1999-03-22 | 2001-08-07 | Hewlett-Packard Company | Web cache performance by applying different replacement policies to the web cache |
US6505216B1 (en) * | 1999-10-01 | 2003-01-07 | Emc Corporation | Methods and apparatus for backing-up and restoring files using multiple trails |
US8055894B2 (en) | 1999-11-09 | 2011-11-08 | Google Inc. | Process and streaming server for encrypting a data stream with bandwidth based variation |
US6584581B1 (en) * | 1999-12-06 | 2003-06-24 | Ab Initio Software Corporation | Continuous flow checkpointing data processing |
JP2002010234A (ja) | 2000-06-19 | 2002-01-11 | Sony Corp | コンテンツ配信システム及び方法、情報提供装置、情報端末、記録媒体 |
US7418470B2 (en) * | 2000-06-26 | 2008-08-26 | Massively Parallel Technologies, Inc. | Parallel processing systems and method |
US7047309B2 (en) * | 2000-08-23 | 2006-05-16 | International Business Machines Corporation | Load balancing and dynamic control of multiple data streams in a network |
US7266823B2 (en) * | 2002-02-21 | 2007-09-04 | International Business Machines Corporation | Apparatus and method of dynamically repartitioning a computer system in response to partition workloads |
EP1359722A1 (en) | 2002-03-27 | 2003-11-05 | BRITISH TELECOMMUNICATIONS public limited company | Data streaming system and method |
JP4062441B2 (ja) | 2003-07-18 | 2008-03-19 | 日本電気株式会社 | 並列処理システム及び並列処理プログラム |
US8234517B2 (en) * | 2003-08-01 | 2012-07-31 | Oracle International Corporation | Parallel recovery by non-failed nodes |
JP4601969B2 (ja) | 2004-01-27 | 2010-12-22 | 株式会社日立製作所 | ファイル入出力制御装置 |
JP2005250839A (ja) | 2004-03-04 | 2005-09-15 | Nomura Research Institute Ltd | 耐障害性システム |
US7343356B2 (en) * | 2004-04-30 | 2008-03-11 | Commvault Systems, Inc. | Systems and methods for storage modeling and costing |
US8024733B2 (en) * | 2004-05-13 | 2011-09-20 | International Business Machines Corporation | Component model for batch computing in a distributed object environment |
TWI370979B (en) | 2004-05-14 | 2012-08-21 | Ibm | Grid computing system, information processing unit, job execution request generation unit, control method, program, and recording medium |
US7814056B2 (en) | 2004-05-21 | 2010-10-12 | Computer Associates Think, Inc. | Method and apparatus for data backup using data blocks |
US8255422B2 (en) * | 2004-05-28 | 2012-08-28 | Microsoft Corporation | Highly reliable and scalable architecture for data centers |
US7861246B2 (en) * | 2004-06-17 | 2010-12-28 | Platform Computing Corporation | Job-centric scheduling in a grid environment |
US7814492B1 (en) * | 2005-04-08 | 2010-10-12 | Apple Inc. | System for managing resources partitions having resource and partition definitions, and assigning a named job to an associated partition queue |
TW200717246A (en) | 2005-06-24 | 2007-05-01 | Koninkl Philips Electronics Nv | Self-synchronizing data streaming between address-based producer and consumer circuits |
KR100715674B1 (ko) * | 2005-09-15 | 2007-05-09 | 한국전자통신연구원 | 부하 분산 방법 및 장치, 그리고 이를 이용한 소프트웨어스트리밍 시스템 |
US7606844B2 (en) * | 2005-12-19 | 2009-10-20 | Commvault Systems, Inc. | System and method for performing replication copy storage operations |
US7716180B2 (en) | 2005-12-29 | 2010-05-11 | Amazon Technologies, Inc. | Distributed storage system with web services client interface |
US7921077B2 (en) * | 2006-06-29 | 2011-04-05 | Netapp, Inc. | System and method for managing data deduplication of storage systems utilizing persistent consistency point images |
US8095745B1 (en) | 2006-08-07 | 2012-01-10 | Marvell International Ltd. | Non-sequential transfer of data from a memory |
US7716186B2 (en) | 2007-01-22 | 2010-05-11 | International Business Machines Corporation | Method and system for transparent backup to a hierarchical storage system |
MX2010005116A (es) | 2007-11-10 | 2010-09-09 | Landmark Graphics Corp | Sistemas y metodos para automatizacion, adaptacion e integracion del flujo de trabajo. |
JP4800289B2 (ja) | 2007-11-30 | 2011-10-26 | 富士通セミコンダクター株式会社 | 電源制御装置及びその電源制御装置を有するシステムlsi |
US8190960B1 (en) * | 2007-12-13 | 2012-05-29 | Force10 Networks, Inc. | Guaranteed inter-process communication |
US8126048B2 (en) | 2008-03-18 | 2012-02-28 | Seiko Epson Corporation | Recording streaming delta-encoded data |
US8488661B2 (en) | 2008-06-13 | 2013-07-16 | Verizon Patent And Licensing Inc. | Systems and methods for data streaming |
US8255739B1 (en) | 2008-06-30 | 2012-08-28 | American Megatrends, Inc. | Achieving data consistency in a node failover with a degraded RAID array |
US9996572B2 (en) | 2008-10-24 | 2018-06-12 | Microsoft Technology Licensing, Llc | Partition management in a partitioned, scalable, and available structured storage |
US8533478B2 (en) * | 2008-10-24 | 2013-09-10 | Hewlett-Packard Development Company, L. P. | System for and method of writing and reading redundant data |
JP5396848B2 (ja) | 2008-12-16 | 2014-01-22 | 富士通株式会社 | データ処理プログラム、サーバ装置およびデータ処理方法 |
US8161255B2 (en) | 2009-01-06 | 2012-04-17 | International Business Machines Corporation | Optimized simultaneous storing of data into deduplicated and non-deduplicated storage pools |
US20100257140A1 (en) | 2009-03-31 | 2010-10-07 | Philip John Davis | Data archiving and retrieval system |
US8560639B2 (en) | 2009-04-24 | 2013-10-15 | Microsoft Corporation | Dynamic placement of replica data |
US8495413B2 (en) | 2009-12-15 | 2013-07-23 | Unisys Corporation | System and method for providing a computer standby node |
US8694469B2 (en) | 2009-12-28 | 2014-04-08 | Riverbed Technology, Inc. | Cloud synthetic backups |
US8607242B2 (en) * | 2010-09-02 | 2013-12-10 | International Business Machines Corporation | Selecting cloud service providers to perform data processing jobs based on a plan for a cloud pipeline including processing stages |
US8719362B2 (en) | 2010-09-09 | 2014-05-06 | Riverbed Technology, Inc. | Tiered storage interface |
JP2012080417A (ja) | 2010-10-04 | 2012-04-19 | Pioneer Electronic Corp | ストリーミング再生装置、ストリーミング再生方法、コンピュータプログラム及び記録媒体 |
US9110936B2 (en) | 2010-12-28 | 2015-08-18 | Microsoft Technology Licensing, Llc | Using index partitioning and reconciliation for data deduplication |
US9262504B2 (en) | 2011-02-15 | 2016-02-16 | At&T Intellectual Property I, L.P. | Methods, systems, and products for maintaining data consistency in a stream warehouse |
US20120233315A1 (en) * | 2011-03-11 | 2012-09-13 | Hoffman Jason A | Systems and methods for sizing resources in a cloud-based environment |
US8774213B2 (en) | 2011-03-30 | 2014-07-08 | Amazon Technologies, Inc. | Frameworks and interfaces for offload device-based packet processing |
US9628535B2 (en) | 2011-04-15 | 2017-04-18 | International Business Machines Corporation | Data streaming infrastructure for remote execution in a constrained environment |
US8745434B2 (en) | 2011-05-16 | 2014-06-03 | Microsoft Corporation | Platform for continuous mobile-cloud services |
US8751863B2 (en) | 2011-05-23 | 2014-06-10 | Microsoft Corporation | Implementing failover processes between storage stamps |
KR101781717B1 (ko) | 2011-06-08 | 2017-10-23 | 코닌클리즈케 케이피엔 엔.브이. | 공간적으로-세그먼트된 콘텐츠 전달 |
US9251481B2 (en) | 2011-06-13 | 2016-02-02 | Accenture Global Services Limited | Distributed metering and monitoring system |
US8572091B1 (en) | 2011-06-27 | 2013-10-29 | Amazon Technologies, Inc. | System and method for partitioning and indexing table data using a composite primary key |
US8463633B2 (en) | 2011-07-27 | 2013-06-11 | Xerox Corporation | Methods and systems for deploying a service workflow in a hybrid cloud environment |
US8489680B1 (en) | 2011-08-18 | 2013-07-16 | Google Inc. | Transmission of input values using an unreliable communication link |
US9086923B2 (en) * | 2011-09-16 | 2015-07-21 | Rutgers, The State University Of New Jersey | Autonomic workflow management in dynamically federated, hybrid cloud infrastructures |
JP5760898B2 (ja) | 2011-09-26 | 2015-08-12 | 沖電気工業株式会社 | 配信システム、仮想マシン割当装置およびプログラム |
WO2013070873A1 (en) | 2011-11-10 | 2013-05-16 | Treasure Data, Inc. | System and method for operating a big-data platform |
EP2783284B1 (en) | 2011-11-22 | 2019-03-13 | Solano Labs, Inc. | System of distributed software quality improvement |
US8886781B2 (en) * | 2011-12-13 | 2014-11-11 | Microsoft Corporation | Load balancing in cluster storage systems |
US8762378B2 (en) | 2011-12-23 | 2014-06-24 | Sap Ag | Independent table nodes in parallelized database environments |
US9753999B2 (en) * | 2012-01-06 | 2017-09-05 | Citus Data Bilgi Islemieri Ticaret A.S. | Distributed database with mappings between append-only files and repartitioned files |
US10860563B2 (en) * | 2012-01-06 | 2020-12-08 | Microsoft Technology Licensing, Llc | Distributed database with modular blocks and associated log files |
CN103281594A (zh) | 2012-01-12 | 2013-09-04 | 特克特朗尼克公司 | 监控基于开放互联网的自适应视频流式传输 |
US8887056B2 (en) * | 2012-08-07 | 2014-11-11 | Advanced Micro Devices, Inc. | System and method for configuring cloud computing systems |
US8904231B2 (en) * | 2012-08-08 | 2014-12-02 | Netapp, Inc. | Synchronous local and cross-site failover in clustered storage systems |
US9450999B2 (en) * | 2012-09-21 | 2016-09-20 | Nyse Group, Inc. | High performance data streaming |
US8943353B2 (en) * | 2013-01-31 | 2015-01-27 | Hewlett-Packard Development Company, L.P. | Assigning nodes to jobs based on reliability factors |
US9183016B2 (en) * | 2013-02-27 | 2015-11-10 | Vmware, Inc. | Adaptive task scheduling of Hadoop in a virtualized environment |
US9336288B2 (en) * | 2013-06-03 | 2016-05-10 | Bank Of America Corporation | Workflow controller compatibility |
-
2013
- 2013-11-11 US US14/077,167 patent/US10635644B2/en active Active
-
2014
- 2014-11-11 AU AU2014346366A patent/AU2014346366B2/en active Active
- 2014-11-11 CA CA2930101A patent/CA2930101C/en active Active
- 2014-11-11 EP EP14860501.7A patent/EP3069228B1/en active Active
- 2014-11-11 WO PCT/US2014/065057 patent/WO2015070236A1/en active Application Filing
- 2014-11-11 JP JP2016529942A patent/JP6450756B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11544387B2 (en) * | 2019-01-16 | 2023-01-03 | International Business Machines Corporation | Hash protection within an object storage library |
Also Published As
Publication number | Publication date |
---|---|
AU2014346366A1 (en) | 2016-06-02 |
CA2930101C (en) | 2020-06-16 |
CN105706047A (zh) | 2016-06-22 |
AU2014346366B2 (en) | 2017-09-14 |
CA2930101A1 (en) | 2015-05-14 |
US10635644B2 (en) | 2020-04-28 |
EP3069228A4 (en) | 2017-06-14 |
JP2016536690A (ja) | 2016-11-24 |
EP3069228B1 (en) | 2018-09-19 |
US20150134626A1 (en) | 2015-05-14 |
EP3069228A1 (en) | 2016-09-21 |
WO2015070236A1 (en) | 2015-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6450756B2 (ja) | パーティションベースのデータストリーム処理フレームワーク | |
JP6510112B2 (ja) | データストリーム取り込み及び永続性ポリシ | |
US10795905B2 (en) | Data stream ingestion and persistence techniques | |
US10691716B2 (en) | Dynamic partitioning techniques for data streams | |
EP3069495B1 (en) | Client-configurable security options for data streams | |
EP3069274B1 (en) | Managed service for acquisition, storage and consumption of large-scale data streams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180501 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180829 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6450756 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |