JP2023534171A - ストリーム並列領域における負荷分散 - Google Patents

Abstract

データのフローを受信することに応答して、データのフローをストリーム処理するための分散データ処理システムに含まれる並列領域における１または複数のオペレータが初期化される。データのフローに対する変更、または、分散データ処理システムに対する変更を識別することに応答して、分散データ処理システムに含まれるデータのフローおよび並列領域のサイズのうちの少なくとも１つは動的に調節される。データのフローは、分散データ処理システムに含まれる、動的に調節されるデータのフローの１つおよび並列領域を介して処理される。

Description

本発明は概して、ストリームコンピューティングアプリケーションの分野に関し、より具体的には、ストリームデータ処理の並列領域におけるデータのフローの分散に関する。

ストリーム処理とは、移動中のデータの処理、または言い換えれば、データが生成または受信されるときに直接的にデータに対して計算することである。ストリーム処理はビッグデータ技術である。センサイベント、ウェブサイト上のユーザアクティビティ、ファイナンシャルトレードなど、大部分のデータは連続ストリームとして生じる。これらのデータはすべて、経時的に一連のイベントとして作成され、ストリーム処理は、データを受信する短い期間内に状態を迅速に検出できる。検出期間は数ミリ秒から数分の範囲で変動する。例えば、ストリーム処理を用いることにより、温度センサから来るデータストリームをクエリすることによって、温度が氷点に到達したときに、アラートが受信され得る。ストリーム処理の前に、このタイプのデータは多くの場合、データベース、ファイルシステム、または、他の形態の大容量ストレージに格納された。アプリケーションはデータをクエリし、または必要に応じてデータに対して計算する。ストリーム処理はまた、リアルタイム分析、ストリーム分析、コンプレックスイベント処理、リアルタイムストリーミング分析、およびイベント処理など、多くの他の名称で呼ばれる。

本発明の実施形態は、電気回路概略図を分析してそれらの機能を決定するためのアプローチを含む。一実施形態において、データのフローを受信することに応答して、データのフローをストリーム処理するための分散データ処理システムに含まれる並列領域における１または複数のオペレータが初期化される。データのフローに対する変更、または、分散データ処理システムに対する変更を識別することに応答して、分散データ処理システムに含まれるデータのフローおよび並列領域のサイズのうちの少なくとも１つは動的に調節される。データのフローは、分散データ処理システムに含まれる、動的に調節されるデータのフローの１つおよび並列領域を介して処理される。

本発明の実施形態による、ストリーム処理アプリケーションを含むコンピューティング環境を示す機能ブロック図を図示する。

本発明の実施形態による、図１のコンピューティング環境内のコンピューティングデバイス上のストリームデータプロセスの並列領域におけるデータのフローの分散を提供するストリーム最適化プログラムの動作段階を図示するフローチャートである。

本発明の実施形態による、ストリーム処理アプリケーション内の並列領域の第１の例を図示する。

本発明の実施形態によるにストリーム処理アプリケーション内の並列領域の第２の例を図示する。

本発明の実施形態による、図１のコンピューティング環境内におけるストリーム最適化プログラムを実行するコンピューティングデバイスのコンポーネントのブロック図を図示する。

本発明の実施形態は、利用可能なデータの量が急激に増加していることを認識する。データのソースは、インターネットオブシングスデバイス、任意の数のセンサ（温度、気圧、風、水位、水圧、地震など）、様々な産業における機械からのデータ、ソーシャルメディアデータ、および、ファイナンシャルトランザクションデータなどのトランザクションデータを含むが、これらに限定されない。大量のこれらの構造化もしくは非構造化データまたはその組み合わせを処理することは、まずデータを格納し、次にデータをクエリすることを意味するが、データの格納は、必要なメモリリソース（例えば、データベースストレージを有するコンピュータサーバ）に起因して高コストである。この方法に伴う時間に起因して、データにおけるリアルタイムのトレンドが見逃されることがあり得、結果として、機会が見逃される。データをより速く、リアルタイムに、または、ほぼリアルタイムに処理するための方法が必要である。

本発明の実施形態は、ビッグデータのリアルタイム分析においてデータのストリームを処理するための分散データ処理システムの並列領域におけるデータのフローを分散するための方法、コンピュータプログラム製品、およびコンピュータシステムがあり得ることを認識する。実施形態において、ストリーム処理アプリケーション内のデータのフローは、（ｉ）データの属性（例えば、最高／定常データレート、データの抑制、データの優先度のキューイングなど）、および、（ｉｉ）コンピューティングシステムの属性（例えば、システム内のリソースの量、リソースの利用率、リソースのフェイルオーバ／フェイルバック、並列化リソースなど）に基づいて、当該方法、コンピュータプログラム製品、およびコンピュータシステムによって誘導され得る。更に、当該方法、コンピュータプログラム製品、およびコンピュータシステムは、ストリーム処理アプリケーションの並列領域内の複数のオペレータを動的に分散し、データまたはコンピューティングシステムの変化に反応し得る。様々な実施形態において、当該方法、コンピュータプログラム製品、およびコンピュータシステムは、処理前に上述のデータを格納することなくリアルタイムまたはほぼリアルタイムに大量のデータを処理するためのより効率的な手段を提供することによって、コンピュータ技術を改善する。

本明細書において「一実施形態」、「実施形態」、「例示的な実施形態」などの言及は、説明される実施形態が特定の機能、構造、または特徴を含み得ることを示す。更に、そのような文言は、必ずしも同じ実施形態を指すとは限らない。更に、ある実施形態に関連して特定の特徴、構造または特性が説明されている場合、明示の説明の有無に関わらず、他の実施形態に関連して、そのような特徴、構造または特性に影響が及ぶことは、当業者の知識の範囲内であると考えられる。

ここでは図を参照して本発明を詳細に説明する。

図１は、本発明の一実施形態による、全体的に１００で示されるコンピューティング環境を示す機能ブロック図である。図１は、本発明の一実装の単なる例示を提供するものであり、異なる実施形態が実装され得るシステムおよび環境に関していかなる限定も課さない。請求項に列挙される発明の範囲から逸脱することなく、当業者によって、図示された実施形態に対する多くの修正が加えられ得る。

実施形態において、コンピューティング環境１００は、ネットワーク１１０によって相互接続されるデータソース１２０－１、データソース１２０－２、データソース１２０－Ｎ、およびコンピューティングデバイス１３０を含む。例示的な実施形態において、コンピューティング環境１００は、ネットワーク１１０を介して、データソース１２０－１、データソース１２０－２、データソース１２０－Ｎ、およびコンピューティングデバイス１３０と相互接続される、スマートウォッチおよび他のウェアラブル技術、携帯電話、スマートフォン、ファブレット、タブレットコンピュータ、追加的なラップトップコンピュータ、追加のデスクトップコンピュータ、他のコンピュータサーバ、または、当技術分野において知られている任意の他のコンピュータシステムなど、他のコンピューティングデバイス（図１では不図示）を含む。読みやすくするために、この文書では、データソース１２０－１、データソース１２０－２、およびデータソース１２０－Ｎをまとめて指すためにデータソース１２０－Ｎが使用される（可能な場合）。

本発明の実施形態において、データソース１２０－Ｎおよびコンピューティングデバイス１３０がネットワーク１１０に接続され、これにより、データソース１２０－Ｎおよびコンピューティングデバイス１３０は、データソース１２０－Ｎおよびコンピューティングデバイス１３０に直接格納されていない他のコンピューティングデバイスもしくはデータまたはその組み合わせにアクセスすることが可能となる。ネットワーク１１０は例えば、短距離、低電力無線接続、ローカルエリアネットワーク（ＬＡＮ）、遠隔通信ネットワーク、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、または、４つの任意の組み合わせであり得、有線、無線、または光ファイバ接続を含み得る。ネットワーク１１０は、音声、データおよびビデオ情報を含むマルチメディア信号を含む、データ、音声、もしくはビデオ信号またはその組み合わせを受信および送信することが可能である、１または複数の有線もしくは無線またはその組み合わせのネットワークを含む。一般に、ネットワーク１１０は、本発明の実施形態による、データソース１２０－Ｎとコンピューティングデバイス１３０、および、ネットワーク１１０に接続された任意の他のコンピューティングデバイス（図１では不図示）との間の通信をサポートする接続およびプロトコルの任意の組み合わせである。実施形態において、コンピューティング環境１００における別のコンピューティングデバイス（図１では不図示）によって受信されたデータは、ネットワーク１１０を介してコンピューティングデバイス１３０に通信される。

実施形態において、データソース１２０－Ｎは、ネットワーク１１０を介してコンピューティングデバイス１３０によってアクセス可能な任意の数のデータソースの１つである。本発明の実施形態によれば、データソース１２０－Ｎはビッグデータソースである。ビッグデータは、連続ストリームに存在する大量のデータから構成される。データソース１２０－Ｎは、ソーシャルメディアデータ（例えば、ユーザコメントおよび写真）、トランザクションデータ（例えば、ファイナンシャルトレード）、センサ（例えば、温度および圧力）データ、インターネットオブシングスデータ（例えば、ビデオセキュリティデータ）、および、製造機械からのデータ（例えば、動作温度および酸素含有量）を含み得るが、これらに限定されない。

本発明の実施形態によれば、コンピューティングデバイス１３０は、ラップトップ、タブレット、またはネットブックパーソナルコンピュータ（ＰＣ）、デスクトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、標準的携帯電話、スマートウォッチ、または、任意の他のウェアラブル技術、または、コンピューティング環境１００内の任意の他のコンピューティングデバイスと通信可能である任意の他のハンドヘルド、プログラマブル電子デバイスの１つであり得る。実施形態によれば、コンピューティングデバイス１３０は、スタンドアロンコンピューティングデバイス、管理サーバ、ウェブサーバ、モバイルコンピューティングデバイス、または、データを受信、送信および処理することが可能である任意の他の電子デバイスもしくはコンピューティングシステムであり得る。他の実施形態において、コンピューティングデバイス１３０は、クラウドコンピューティング環境などのサーバシステムとして複数のコンピュータを利用するコンピューティングシステムを表し得る。特定の実施形態において、コンピューティングデバイス１３０は、コンピューティング環境１００の要素のよってアクセスされるときにシームレスなリソースの単一プールとして動作する、クラスタリングされたコンピュータおよびコンポーネント（例えば、データベースサーバコンピュータ、アプリケーションサーバコンピュータなど）を利用するコンピュータシステムを表す。一般に、コンピューティングデバイス１３０は、コンピュータ可読プログラム命令を実行可能な任意の電子デバイスまたは電子デバイスの組み合わせを表す。実施形態において、コンピューティング環境１００は任意の数のコンピューティングデバイス１３０を含む。コンピューティングデバイス１３０は、本発明の実施形態による、図４に関して更に詳細に図示および説明されるような内部および外部ハードウェアコンポーネントを含み得る。本発明の実施形態によれば、コンピューティングデバイス１３０は、ディスプレイ１３１、ユーザインタフェース１３２、メモリ１３３、およびストリームアプリケーション１３４を含む。

実施形態によれば、ディスプレイ１３１は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチなどのための電子ビジュアルデバイスである。ディスプレイ１３１は、ユーザが特殊なスタイラスもしくは１または複数の指またはその組み合わせを用いてディスプレイ１３１に触れることによる単純な、または、マルチタッチジェスチャを介して電子デバイスを制御することを可能にする、ディスプレイの上に重ねられた入力デバイスであるタッチスクリーンを含み得る。ディスプレイ１３１は、オープンプログラムおよびアプリケーションを表示し、コンピューティングデバイス１３０のユーザがキーボード、マウスおよびボタン（図１では不図示）を介してオープンプログラムおよびアプリケーションとインタラクトすることを可能にする。ディスプレイ１３１は、薄膜トランジスタ液晶ディスプレイ（ＴＦＴ－ＬＣＤ）、フラットパネルＬＥＤ（発光ダイオード）ディスプレイ、ブラウン管（ＣＲＴ）、または、当技術分野において知られている、もしくは、将来開発される任意のタイプのディスプレイデバイスであり得る。ディスプレイ１３１は、ＶＧＡ（ビデオグラフィックスアレイ）、ＤＶＩ（デジタルビデオインタフェース）、ＨＤＭＩ（登録商標）（高解像度マルチメディアインタフェース）、または、当技術分野において知られている、もしくは、将来開発される任意の他の接続タイプを介してコンピューティングデバイス１３０に接続され得る。

実施形態において、ユーザインタフェース１３２は、コンピューティングデバイス１３０のユーザと、ストリーム最適化プログラム１３９（下で説明する）との間のインタフェースを提供する。ユーザインタフェース１３２は、グラフィカルユーザインタフェース（ＧＵＩ）またはウェブユーザインタフェース（ＷＵＩ）であり得、テキスト、ドキュメント、ウェブブラウザウィンドウ、ユーザオプション、アプリケーションインタフェース、および、動作のための命令を表示し得、プログラムがユーザに提示する情報（グラフィックス、テキスト、音など）、および、プログラムを制御するためにユーザが採用する制御シーケンスを含み得る。ユーザインタフェース１３２はまた、コンピューティングデバイス１３０とストリーム最適化プログラム１３９との間のインタフェースを提供するモバイルアプリケーションソフトウェアであり得る。モバイルアプリケーションソフトウェア、または「アプリ」は、スマートフォン、タブレットコンピュータ、および他のモバイルデバイス上で実行するよう設計されたコンピュータプログラムである。ユーザインタフェース１３２は、コンピューティングデバイス１３０のユーザがストリーム最適化プログラム１３９および図１において不図示である任意の他のコンピューティングデバイスとインタラクトすることを可能にする。

実施形態によれば、メモリ１３３は、ストリーム最適化プログラム１３９、ならびに、コンピューティングデバイス１３０上の任意の他のプログラムおよびアプリケーションに書き込まれる、もしくは、それによって読み取られる、またはその組み合わせが行われるストレージである。一実施形態において、メモリ１３３はコンピューティングデバイス１３０に存在する。他の実施形態において、メモリ１３３は、ネットワーク１１０を介してアクセス可能なコンピューティング環境１００、クラウドストレージ、または別のコンピューティングデバイスにおける任意の他のデバイス（図１では不図示）に存在する。更に別の実施形態において、メモリ１３３は、コンピューティングデバイス１３０内の複数のストレージデバイスを表す。メモリ１３３は、当技術分野において知られている、情報を格納するための任意の揮発性または不揮発性記憶媒体を使用して実装され得る。例えば、メモリ１３３は、独立ディスクの冗長アレイ（ＲＡＩＤ）、ソリッドステートドライブ（ＳＳＤ）またはランダムアクセスメモリ（ＲＡＭ）におけるテープライブラリ、光学ライブラリ、１または複数の独立ハードディスクドライブ、複数のハードディスクドライブを用いて実装され得る。同様に、メモリ１３３は、関係データベース、オブジェクト指向データベース、または１または複数のテーブルなど、当技術分野で知られている任意の好適なストレージアーキテクチャを用いて実装され得る。本発明の実施形態において、コンピューティングデバイス１３０上で動作するストリーム最適化プログラム１３９および任意の他のプログラムおよびアプリケーション（図１では不図示）は、データを格納し、読み出し、修正し、またはメモリ１３３に書き込み得る。本発明の実施形態において、メモリ１３３に格納されたデータは、処理データソース１２０－Ｎの様々な結果など、ストリーム最適化プログラム１３９によって格納されたデータを含むが、これに限定されない。

実施形態において、ストリームアプリケーション１３４は、データソース１２０－Ｎなど、大量のデータのストリーム処理において使用される複数のアプリケーションの１つである。実施形態によれば、ストリームアプリケーション１３４は、データを供給するデータソースからデータを取得し、上述のデータを任意の数のオペレータ（データを処理して１または複数の結果にする）に渡し、次に、結果は格納または更なる処理のためにデータシンクによって下流に渡される。実施形態において、ストリームアプリケーション１３４は、オペレータ１３５およびストリーム最適化プログラム１３９を含む。

実施形態によれば、オペレータ１３５は、データに作用する（すなわち、入ってくるデータストリームにおけるデータを処理して結果の出力ストリームを生成する）ストリームアプリケーション１３４内の複数のオペレータである。オペレータ１３５はプログラム開発者によって書き込まれる。入ってくるデータストリームからのワークロードを分散するために、オペレータ１３５は複製（すなわち並列化）され得る。複製されたオペレータ１３５のセットはチャネルと呼ばれる。

実施形態において、ストリーム最適化プログラム１３９は、プログラム、より大きいプログラムのサブプログラム、アプリケーション、複数のアプリケーション、またはモバイルアプリケーションソフトウェアであり得、これらは、ビッグデータのリアルタイム分析において使用されるストリームデータプロセスの並列領域におけるデータのフローを動的に分散するように機能する。実施形態によれば、並列領域は、既存のオペレータが複製されるストリームアプリケーション内の領域であり、データ処理を改善するために、複製されたオペレータの間でデータストリームを分割することを可能にする。プログラムは、特定のタスクを実行するために書き込まれる命令のシーケンスである。実施形態において、ストリーム最適化プログラム１３９は独立に実行する。他の実施形態において、ストリーム最適化プログラム１３９は、実行するためにシステムソフトウェアもしくは他のプログラム（図１では不図示）またはその組み合わせに依存する。実施形態によれば、ストリーム最適化プログラム１３９は、上述の１または複数のストリームのデータフローを分散するために１または複数のデータストリームのフローを分析する機械学習およびディープラーニングを利用する人工知能に基づく認知システムである。実施形態において、ストリーム最適化プログラム１３９は、データストリームを分割し、オペレータを複製し、その結果、データが並列に処理され得る。一実施形態において、ストリーム最適化プログラム１３９は、コンピューティングデバイス１３０に存在するスタンドアロン型プログラムとして機能する。別の実施形態において、ストリーム最適化プログラム１３９は、コンピューティング環境１００において見られる他のプログラム、アプリケーションなどと連携して機能する。更に別の実施形態において、ストリーム最適化プログラム１３９は、ネットワーク１１０を介してコンピューティングデバイス１３０と相互接続する、コンピューティング環境１００における他のコンピューティングデバイス（図１では不図示）に存在する。

実施形態によれば、ストリーム最適化プログラム１３９は、データを１または複数のデータソースから受信する。実施形態において、ストリーム最適化プログラム１３９は、データフロー（すなわち、データの量、データレートなど）を決定する。なお更に、実施形態において、ストリーム最適化プログラム１３９は１または複数のオペレータを初期化する。なお更に、実施形態において、ストリーム最適化プログラム１３９は、初期化されたオペレータへデータを送信する。なお更に、実施形態において、ストリーム最適化プログラム１３９は、データフローおよび上述のデータフローを処理するコンピューティングシステムの両方をモニタリングする。なお更に、実施形態において、ストリーム最適化プログラム１３９は、受信されたデータに対する変更を識別する。なお更に、実施形態において、受信されたデータに対する識別された変更に基づいて、ストリーム最適化プログラム１３９は、データストリームもしくはオペレータまたはその組み合わせを調節する。なお更に、実施形態において、ストリーム最適化プログラム１３９はデータを処理する。なお更に、実施形態において、ストリーム最適化プログラム１３９は処理データの結果を送信する。

図２は、ビッグデータのリアルタイム分析において使用されるストリームデータプロセスの並列領域におけるデータのフローを動的に分散する方法を図示するワークフロー２００のフローチャートである。一実施形態において、ワークフロー２００の方法は、ストリーム最適化プログラム１３９によって実行される。代替的な実施形態において、ワークフロー２００の方法は、ストリーム最適化プログラム１３９と共に動作する任意の他のプログラムによって実行される。実施形態において、コンピューティングデバイス１３０のユーザは、データストリームのアクセス時にワークフロー２００を呼び出す。代替的な実施形態において、コンピューティングデバイス１３０のユーザは、データの１または複数のソースを識別するとき、ワークフロー２００を呼び出す。

実施形態において、ストリーム最適化プログラム１３９は、データを受信する（段階２０２）。言い換えれば、ストリーム最適化プログラム１３９は、データを１または複数のデータソースから受信する。実施形態によれば、受信されたデータは、大量のストリームデータから構成され、データはほぼ一定のレートで受信される。実施形態において、ストリーム最適化プログラム１３９は、ネットワーク１１０を介してデータのストリームをデータソース１２０－Ｎから受信する。例えば、ダンはジェットエンジン製造会社のエンジニアであり、新しいエンジン開発を担当している。今日、ダンは新しいエンジンで飛行シミュレーションを実行しており、会社のサーバ上のプログラムは、３時間のシミュレーション中にエンジンをモニタリングする数百のセンサから数十テラバイトのデータを受信している。

本発明の実施形態によれば、ストリーム最適化プログラム１３９はデータフロー（段階２０４）を決定する。言い換えれば、ストリーム最適化プログラム１３９は、受信されたデータのデータフローレートを決定する。一実施形態において、データフローレートは、ほぼ一定であり、決定は、単純に特定の期間のデータ量である（例えば、テラバイト／時間）。別の実施形態において、データフローレートは、常に変化し、決定は、決定が下された時間の各時点における瞬間的なレートである。実施形態によれば、ストリーム最適化プログラム１３９は、データソース１２０－Ｎから受信されたデータのデータフローレートを決定する。例えば、会社のサーバ上のプログラムは、３時間のシミュレーション全体の予測される合計６０テラバイトのデータについて、時間あたり２０テラバイトのデータの凡そのデータフローレートを決定する。

実施形態において、ストリーム最適化プログラム１３９は、オペレータを初期化する（段階２０６）。言い換えれば、データフローレートの決定に応答して、ストリーム最適化プログラム１３９は、ストリームアプリケーション内のオペレータの数を初期化して、データを適切に処理する。低ボリューム／フローレートのデータは、高ボリューム／フローレートが必要とするより、必要とするオペレータが少ない。実施形態によれば、オペレータは、特定の結果を決定するためにデータに作用するストリームアプリケーションの機能部分である。ストリームアプリケーションは任意の数のオペレータを含み得る。実施形態において、ストリーム最適化プログラム１３９は、ストリームアプリケーション１３４内のオペレータ１３５の数を初期化する。例えば、会社のサーバ上のプログラムは、アプリケーションサーバ上の８個のオペレータを初期化して、ジェットエンジンに関連するシミュレーションデータの時間あたり２０テラバイトを処理する。

本発明の実施形態によれば、ストリーム最適化プログラム１３９は、データをオペレータへ送信する（段階２０８）。言い換えれば、ストリーム最適化プログラム１３９は、受信されたデータを初期化されたオペレータへ処理のために送信する。一実施形態において、データはコンピューティングデバイス内において処理のために送信される。別の実施形態において、データはネットワークを介して１つのコンピューティングデバイスから（オペレータが位置する）別のコンピューティングデバイスへ処理のために送信される。実施形態によれば、コンピューティングデバイス１３０上のストリーム最適化プログラム１３９は、ストリームアプリケーション１３４内において、受信されたデータをオペレータ１３５へ送信する。例えば、会社のサーバ上のプログラムは、８個のオペレータが存在するアプリケーションサーバへエンジンシミュレーションデータを処理ために送信する。

いくつかの実施形態によれば、ストリーム最適化プログラム１３９は、システム／データをモニタリングする（段階２１０）。言い換えれば、ストリーム最適化プログラム１３９は、データ処理に影響を及ぼし得る任意の変更について、データのストリームを処理するコンピューティングシステムおよびデータストリームの両方をモニタリングする。実施形態において、ストリーム最適化プログラム１３９によってモニタリングされる項目は、これらに限定されないが、コンピューティングシステムのステータス全体、コンピューティングシステムにおける利用可能なコンピューティングリソース、コンピューティングシステム内の上述のリソースの利用率、ストリームアプリケーション内の初期化されたオペレータ、および、コンピューティングシステムへのデータのフローを含む。本発明の実施形態によれば、ストリーム最適化プログラム１３９は、変更について、コンピューティングデバイス１３０、データソース１２０－Ｎからのデータのフロー、および、ストリームアプリケーション１３４をモニタリングする。例えば、会社のサーバ上のプログラムは、任意の変更について、アプリケーションサーバおよびエンジンシミュレーションデータをモニタリングする。

本発明の実施形態によれば、ストリーム最適化プログラム１３９は変更を識別する（段階２１２）。言い換えれば、コンピューティングシステムおよびデータのモニタリングに応答して、ストリーム最適化プログラム１３９は変更を識別する。実施形態において、識別された変更は、データストリームを処理するコンピューティングシステム、および、データストリーム自体のうちの一方または両方である。ストリーム最適化プログラム１３９は、コンピューティングシステムにインストールされた、利用可能なシステムモニタリングを使用して、上述のシステムの健全性をモニタリングする。更に、ストリーム最適化プログラム１３９は、データ処理が遅いまたは停止するときを、システムまたはデータに対する変更の識別の一部として識別し得る。実施形態によれば、ストリーム最適化プログラム１３９は、コンピューティングデバイス１３０およびデータソース１２０－Ｎからデータのフローのうちの一方または両方に対する変更を識別する。例えば、会社のサーバ上のプログラムは、エンジンシミュレーションデータのフローレートが、決定された２０テラバイト／時間から４０テラバイト／時間に増加したと識別する。

実施形態において、ストリーム最適化プログラム１３９は調節を実行する（段階２１４）。言い換えれば、コンピューティングシステムおよび受信されたデータのうちの一方または両方に対する変更の識別に応答して、ストリーム最適化プログラム１３９は調節を実行して、識別された変更を補償する。実施形態によれば、ストリーム最適化プログラム１３９は、コンピューティングシステムに対する調節を実行し、オペレータへのデータの送信に対する調節を実行し、または、両方の調節を実行し得る。実施形態において、ストリーム最適化プログラム１３９は、コンピューティングデバイス１３０、および、コンピューティングデバイス１３０上のストリームアプリケーション１３４におけるデータソース１２０－Ｎからオペレータ１３５へのデータの送信のうちの一方または両方に対する調節を実行する。例えば、データフローのレートが２倍になることに応答して、会社のサーバ上のプログラムは、アプリケーションサーバにおける８個のオペレータを並列化（複製）し、結果として、合計１６のオペレータとなる。例において、８ペアのオペレータがある。ＯＰ－１Ａ～ＯＰ－８Ａとして表され得る元の８個のオペレータは複製され、並列化されたオペレータＯＰ－１Ｂ～ＯＰ－８Ｂが作成される。オペレータＯＰ－１Ａ～ＯＰ－１Ｂは、データに対して同一の操作または機能を実行し、ＯＰ－２ＡおよびＯＰ－２Ｂは、同一の操作を実行し、オペレータの後続のペアの各々について、１つの個別のオペレータが、ペアにおける他方のオペレータと同様の方式で同一の操作を実行する。

上で説明されたオペレータの並列化に加えて、以下の段落では、ストリーム最適化プログラム１３９によって識別され得る本発明の他の実施形態、および、ストリーム最適化プログラム１３９による実施形態への適切な応答を説明する。ストリーム最適化プログラム１３９によって加えられる、ストリームアプリケーションの並列領域のサイズに対する、下で説明されるいかなる変更も、データの処理を妨害しない。

第１の追加の実施形態において、ストリーム最適化プログラム１３９は、データストリームを処理するためのコンピューティングリソースのサイズが変化したと識別し得る。例えば、中央処理装置の合計の能力が、１または複数のプロセッシングコアの喪失によって低減される場合、オペレータへのデータの送信は、ストリーム最適化プログラム１３９によって低減され得、その結果、データの処理が継続し得る。別の例において、データは、ストリーム最適化プログラム１３９によって、いくつかの他のチャネルより多くのコンピューティングリソース（例えば、プロセッサ能力、メモリ、ネットワーク帯域幅など）を含むチャネル（チャネルは複製されたオペレータのセットである）における１または複数のオペレータへルーティングされ得る。

第２の追加の実施形態において、ストリーム最適化プログラム１３９は、データストリームを処理するために利用可能なコンピューティングリソースの利用率に対する変更を識別し得る。例えば、データの処理において現在使用される、コンピューティングシステムにおいて利用可能なメモリが、より高い優先度のアプリケーションによって占有される場合、ストリーム最適化プログラム１３９は、データストリームの処理のためにメモリが再び利用可能となる時間まで、オペレータへのデータの送信を遅くする、または停止し得る。別の例において、特定のチャネルがより低いリソース利用率を有する場合、ストリーム最適化プログラム１３９は、他のチャネルよりも特定のチャネルへデータを送信し得る。

第３の追加の実施形態において、ストリーム最適化プログラム１３９は、いくらかの期間にわたって、コンピューティングシステムを通るデータのフローの好ましい状態である、一定のデータレートを達成するより、最高データレートを達成することが必要であると決定し得る。例えば、ストリーム最適化プログラム１３９が、異常な状況である、コンピューティングシステムへの電力供給の変動を識別する場合、ストリーム最適化プログラム１３９は、データの送信を可能な限り最高のレートに増加させ、電力供給に対する潜在的な中断の前にデータの処理を完了させ得る。代替的に、ストリーム最適化プログラム１３９は、一定レートでデータを送信することが有益である状況を決定し得る。上述の状況において、ストリーム最適化プログラム１３９は、そのような方式でデータのフローを調節することが可能である。

第４の追加の実施形態において、ストリーム最適化プログラム１３９は、１または複数のチャネルについて、データフローの抑制が必要であると決定し得る。例えば、コンピューティングリソースの一部がセキュリティ更新のためにオフラインにされる場合、ストリーム最適化プログラム１３９は、残りのチャネル／オペレータへのデータのフローを動的に抑制、または低減し得、その結果、処理が継続し得る。コンピューティングリソースが再度オンラインにされたとき、フローレートは、最適なレートに戻され得る。

第５の追加の実施形態において、ストリーム最適化プログラム１３９は、実際のデータの優先度キューイングが必要である状況を識別し得る。例えば、データがソーシャルメディアの調査のために処理されていて、かつ、即刻のヘルスケア問題に関連するデータが利用可能になった場合、ストリーム最適化プログラム１３９は、ヘルスケアデータがまず処理されて完了するように、ソーシャルメディアデータタプルより、ヘルスケアデータタプルの処理を優先化することが可能である。ヘルスケアデータを優先化することに加えて、ストリーム最適化プログラム１３９は、最高の利用可能なコンピューティングリソースを有するチャネルへ上述のデータを優先的に送信し得る。

第６の追加の実施形態において、ストリーム最適化プログラム１３９は、データが経時的に処理されているとき、動的な学習が可能である。例えば、ストリーム最適化プログラム１３９は、上で説明されたヘルスケアデータが常に、東部標準時の月曜の午後１時に利用可能になると学習し得る。それに応じて、ストリーム最適化プログラム１３９は、他のデータの処理を停止して、利用可能なヘルスケアデータの処理を算定する。ヘルスケアデータに対して十分な処理能力を確保した後に、ストリーム最適化プログラム１３９は、任意の他の利用可能なデータの処理を開始する。より高い優先度のデータが利用可能となる場合では、ストリーム最適化プログラム１３９は、ヘルスケアデータよりも、上述の高優先度データを処理するために、適切な調節を加えることが可能である。したがって、ストリーム最適化プログラム１３９は、機械学習技法を使用して、上で説明された負荷分散技法のどれが最良の結果を経時的に達成するかを決定することが可能であり、更に、その決定された負荷分散技法を適切な状況において適用することが可能である。

第７の追加の実施形態において、ストリーム最適化プログラム１３９は、フェイルオーバ状況およびフェイルバック状況の両方に応答することが可能である。フェイルオーバとは、処理アプリケーションまたはコンピューティングシステムの障害または異常終了時に冗長コンピューティングシステムに切り替えることである。フェイルバックとは、アプリケーションまたはコンピューティングシステムを前の動作状態に戻すプロセスである。フェイルオーバおよびフェイルバックは、高信頼性、および、ほぼ連続する利用可能性を必要とするコンピューティングシステムのための、災害復旧システムの一部である。フェイルオーバの場合において、ストリーム最適化プログラム１３９は、データの進行中の処理を他の利用可能なチャネルおよび冗長コンピューティングシステムに移行させることが可能である。フェイルバックの場合において、ストリーム最適化プログラム１３９は、初期のコンピューティングシステム上のデータ処理を戻す。更に、フェイルオーバの場合において、ストリーム最適化プログラム１３９は、データについてのクリティカルパス上のオペレータを動的に複製して、単一障害点を除去し得る。

第８の追加の実施形態において、ストリーム最適化プログラム１３９は、並列領域におけるオペレータの量を増加もしくは減少させる、またはその組み合わせを行うことによって、ストリーム処理アプリケーション内の並列領域のサイズを動的に変更する（すなわち、並列領域をサイズ変更する）ことが可能である。アプリケーションサーバ内のオペレータを並列化させて利用可能なオペレータを８から１６に増加させる前の説明、ならびに、下の図３Ａおよび図３Ｂの説明を参照されたい。本実施形態において、ストリーム最適化プログラム１３９はまた、処理されるデータのフローの低減に応答して、ストリームアプリケーションの並列領域におけるオペレータの数を低減する（すなわち減少させる）ことが可能である。

第９の追加の実施形態において、ストリーム最適化プログラム１３９は、並列領域のサイズ（すなわち幅）の変化を検出して、それに応答してデータレートを動的に低減することが可能である。例えば、オペレータを含む１または複数のノードが急に利用不可能になった場合、ストリーム最適化プログラム１３９は、残りのオペレータが中断なくデータを処理できるように、データのフローを低減することが可能である。

本発明の実施形態によれば、ストリーム最適化プログラム１３９はデータを処理する（段階２１６）。言い換えれば、チャネルもしくはデータフローまたはその組み合わせの調節の実行に応答して、ストリーム最適化プログラム１３９は、オペレータによるデータの下流の処理を可能にする。実施形態において、ストリーム最適化プログラム１３９によって実行される調節に基づいて、コンピューティングシステムにとって利用可能なもっとも効率的な方式で処理が生じる。実施形態によれば、ストリーム最適化プログラム１３９は、コンピューティングデバイス１３０上で、オペレータ１３５によるデータの処理を可能にする。例えば、会社のサーバ上のプログラムは、アプリケーションサーバ上の１６のオペレータがエンジンシミュレーションデータを処理することを可能にする。

実施形態において、ストリーム最適化プログラム１３９は結果を送信する（段階２１８）。言い換えれば、ストリーム最適化プログラム１３９は、データ処理の完了時に、上述の処理の結果を目的地へ送信する。実施形態によれば、目的地は、ユーザ、追加の処理のための１または複数の他のアプリケーション、またはストレージのメモリであり得る。実施形態において、ストリーム最適化プログラム１３９は、処理されたデータの結果をコンピューティングデバイス１３０上のメモリ１３３に格納する。例えば、会社のサーバ上のプログラムは、処理されたエンジンシミュレーションデータを、ダンが利用するラップトップコンピュータへ送信し、その結果、ダンは、新しいデータを過去のシミュレーションデータと比較することによってデータを調査できる。

上で説明したプロセスは、本質的に反復的である。追加のデータが受信されるとき、プロセスは動的方式で繰り返し、もっとも効率的な方式でデータを処理する。これは、説明された負荷分散調節を実行するストリーム最適化プログラム１３９によって達成される。

図３Ａは図１のストリームアプリケーション１３４内の第１並列領域の例３００を図示する。図３Ａは、データフロー３１０、ストリーム最適化プログラム１３９、並列領域３２０および出力３３０を含む。並列領域３２０は、オペレータ１３５－１およびオペレータ１３５－２を含むので、幅は２である。データフロー３１０のサイズおよびレートに起因して、オペレータ１３５－１およびオペレータ１３５－２だけが、例３００のデータフロー３１０を効率的に処理するように要求される。データ処理の結果は出力３３０である。

図３Ｂは、図１のストリームアプリケーション１３４内の第２並列領域の例３５０を図示する。図３Ｂは、データフロー３６０、ストリーム最適化プログラム１３９、並列領域３７０および出力３８０を含む。並列領域３７０は、オペレータ１３５－１、オペレータ１３５－２、オペレータ１３５－３、およびオペレータ１３５－４を含むので、幅は４である。例３５０において、データフロー３６０は図３Ａのデータフロー３１０の２倍である。したがって、ストリーム最適化プログラム１３９は、（図３Ａにおける）元の並列領域３２０を動的に並列化（または複製）して並列領域３７０を作成するので、オペレータが２（すなわち、オペレータ１３５－１およびオペレータ１３５－２）から４（すなわち、オペレータ１３５－１、オペレータ１３５－２、オペレータ１３５－３、およびオペレータ１３５－４）に２倍になる。これにより、データフロー３６０の効率的な処理を可能にする。データ処理の結果は出力３８０である。

図４は、ストリーム最適化プログラム１３９を含むシステムの例であるコンピュータシステム４００を図示する。コンピュータシステム４００は、プロセッサ４０１、キャッシュ４０３、メモリ４０２、永続ストレージ４０５、通信ユニット４０７、入出力（Ｉ／Ｏ）インタフェース４０６、および通信ファブリック４０４を含む。通信ファブリック４０４は、キャッシュ４０３、メモリ４０２、永続ストレージ４０５、通信ユニット４０７、および入出力（Ｉ／Ｏ）インタフェース４０６の間に通信を提供する。通信ファブリック４０４は、データもしくは制御情報またはその組み合わせを、プロセッサ（例えば、マイクロプロセッサ、通信およびネットワークプロセッサなど）、システムメモリ、周辺デバイス、ならびにシステム内の他の任意のハードウェアコンポーネントの間で渡すように設計された、任意のアーキテクチャで実装することができる。例えば、通信ファブリック４０４は、１もしくは複数のバスまたはクロスバースイッチを用いて実装することができる。

メモリ４０２および永続ストレージ４０５はコンピュータ可読記憶媒体である。本実施形態では、メモリ４０２はランダムアクセスメモリ（ＲＡＭ）を含む。一般に、メモリ４０２は、任意の好適な揮発性または不揮発性コンピュータ可読記憶媒体を含むことができる。キャッシュ４０３は、メモリ４０２からの最近アクセスされたデータ、および、最近アクセスされたデータに近いデータを保持することによってプロセッサ４０１のパフォーマンスを強化する高速メモリである。

本発明の実施形態を実践するために用いられるプログラム命令およびデータは、キャッシュ４０３を介した、それぞれのプロセッサ４０１のうちの１または複数による実行のために、永続ストレージ４０５およびメモリ４０２に格納され得る。実施形態では、永続ストレージ４０５は磁気ハードディスクドライブを含む。代替的に、または、磁気ハードディスクドライブに加えて、永続ストレージ４０５は、ソリッドステートハードドライブ、半導体ストレージデバイス、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、フラッシュメモリ、または、プログラム命令もしくはデジタル情報を格納可能である任意の他のコンピュータ可読記憶媒体を含み得る。

永続ストレージ４０５によって使用される媒体はまた、リムーバブルであってもよい。例えば、リムーバブルハードドライブが永続ストレージ４０５に使用されてもよい。他の例は、永続ストレージ４０５の一部でもある別のコンピュータ可読記憶媒体上に転送するために、ドライブに挿入される、光学および磁気ディスク、サムドライブ、ならびにスマートカードを含む。

通信ユニット４０７は、これらの例において、他のデータ処理システムまたはデバイスとの通信を提供する。これらの例において、通信ユニット４０７は、１または複数のネットワークインタフェースカードを含む。通信ユニット４０７は、物理的通信リンクおよび無線通信リンクのいずれかまたは両方の使用を通じた通信を提供してよい。本発明の実施形態を実践するのに使用されるプログラム命令およびデータは、通信ユニット４０７を通して、永続ストレージ４０５にダウンロードされてもよい。

Ｉ／Ｏインタフェース４０６は、各コンピュータシステムに接続されてもよい、他のデバイスとのデータの入力および出力を可能にする。例えば、Ｉ／Ｏインタフェース４０６は、キーボード、キーパッド、タッチスクリーン、もしくは何らかの他の好適な入力デバイス、またはその組み合わせなどの外部デバイス４０８への接続を提供し得る。外部デバイス４０８は、例えばサムドライブ、ポータブル光ディスクまたは磁気ディスク、およびメモリカードなどの、ポータブルコンピュータ可読記憶媒体も含み得る。本発明の実施形態を実践するのに使用されるソフトウェアおよびデータは、かかるポータブルコンピュータ可読記憶媒体に格納することができ、Ｉ／Ｏインタフェース４０６を介して永続ストレージ４０５にロードすることができる。Ｉ／Ｏインタフェース４０６はまた、ディスプレイ４０９に接続する。

ディスプレイ４０９は、データをユーザに対して表示するメカニズムを提供し、例えば、コンピュータモニタであってもよい。

本発明は、任意の可能な技術詳細レベルで統合化されたシステム、方法、もしくはコンピュータプログラム製品、またはその組み合わせであり得る。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためにコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含んでよい。

コンピュータ可読記憶媒体は、命令実行デバイスにより使用される命令を保持および格納し得る有形デバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、または前述したものの任意の適した組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、次のもの、すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、機械的にエンコードされたデバイス、例えば、パンチカードまたは命令を記録した溝内の隆起構造、および前述したものの任意の適した組み合わせを含む。本明細書において使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝播する電磁波、導波路または他の伝送媒体を通って伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを通じて伝送される電気信号等、それ自体が一時的な信号であると解釈されるべきではない。

本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされてもよく、あるいは、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくは無線ネットワーク、またはその組み合わせを介して、外部コンピュータまたは外部ストレージデバイスにダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバ、またはその組み合わせを備え得る。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に格納するために転送する。

本発明の動作を実行するコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データであってもよく、Ｓｍａｌｌｔａｌｋ（登録商標）またはＣ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような手続き型プログラミング言語を含む１または複数のプログラミング言語の任意の組み合わせで記述したソースコードまたはオブジェクトコードであってもよい。コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で全体を実行すること、ユーザのコンピュータ上で一部分を実行することができ、ユーザのコンピュータ上で一部分を、遠隔のコンピュータ上で一部分を実行すること、または、遠隔のコンピュータもしくはサーバ上で全体を実行することができる。後者のシナリオでは、遠隔のコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、またはその接続は、外部コンピュータに対して（例えば、インターネットサービスプロバイダを使用してインターネットを介して）行われてもよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して、電子回路をパーソナライズしてよい。

本発明の態様は、本明細書において、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図もしくはブロック図またはその組み合わせを参照して、説明されている。フローチャート図もしくはブロック図またはその組み合わせの各々のブロックと、フローチャート図もしくはブロック図またはその組み合わせにおけるブロックの組み合わせとが、コンピュータ可読プログラム命令によって実装できることが理解されよう。

これらのコンピュータ可読プログラム命令を汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供して機械を生成してよく、それにより、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートもしくはブロック図、またはその組み合わせの単数または複数のブロックで指定された機能／動作を実装する手段を作成するようになる。これらのコンピュータ可読プログラム命令は、命令を格納したコンピュータ可読記憶媒体が、フローチャートもしくはブロック図またはその組み合わせの単数のブロックまたは複数のブロックにおいて指定されている機能／動作の態様を実装する命令を含む製品を備えるように、コンピュータ、プログラマブルデータ処理装置、もしくは他のデバイスまたはその組み合わせに特定の方式で機能するよう指示することができるコンピュータ可読記憶媒体に記憶されてもよい。

また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または、他のデバイスにロードして、コンピュータ、他のプログラマブル装置、または、他のデバイス上で一連の動作段階を実行させることでコンピュータ実装プロセスを作ることもでき、これにより、コンピュータ、他のプログラマブル装置、または、他のデバイス上で実行される命令が、フローチャートもしくはブロック図の、またはその組み合わせの１または複数のブロックで指定される機能／動作を実装するようになる。

図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータプログラム製品の考えられる実装形態のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実装する１または複数の実行可能命令を含む命令のモジュール、セグメント、または一部を表し得る。いくつかの代替的な実装において、ブロックに記載された機能は、図に記載された順序から外れて生じてもよい。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよいし、またはブロックは、関与する機能に依存して逆の順序で実行される場合もあり得る。ブロック図もしくはフローチャート図、またはその組み合わせの各ブロック、ならびにブロック図もしくはフローチャート図、またはその組み合わせにおけるブロックの組み合わせは、指定された機能もしくは動作を実行するか、または専用ハードウェアとコンピュータ命令との組み合わせを実行する専用ハードウェアベースシステムによって実装することができることにも留意されたい。

本明細書に記載されるプログラムは、本発明の特定の実施形態においてそれらが実装される用途に基づいて識別される。しかしながら、本明細書における任意の特定のプログラム名称は、単に便宜上の目的で使用され、したがって、本発明は、そのような名称によって識別もしくは示唆される、またはその組み合わせの任意の特定の用途のみにおいて使用することに限定されるべきでないことが理解されるべきである。

Claims (20)

1. 方法であって、
   データのフローを受信することに応答して、１または複数のコンピュータプロセッサによって、前記データのフローのストリーム処理のために、分散データ処理システムに含まれる並列領域における１または複数のオペレータを初期化する段階と、
   前記データのフローの変化、または、前記分散データ処理システムの変化を識別することに応答して、１または複数のコンピュータプロセッサによって、前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する段階と、
   １または複数のコンピュータプロセッサによって、前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のうちの前記動的に調節された１つを介して、前記データのフローを処理する段階と
   を備える方法。
2. １または複数のコンピュータプロセッサによって、前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する前記段階は、
   １または複数のコンピュータプロセッサによって、前記並列領域における前記１または複数のオペレータを並列化することによって前記並列領域を動的にサイズ変更する段階を含み、前記並列領域を動的にサイズ変更する前記段階は、
   前記データのフローの増加に応答して、前記並列領域の前記サイズを増加させる段階と、
   前記データのフローの減少に応答して、前記並列領域の前記サイズを減少させる段階と
   を含む、請求項１に記載の方法。
3. １または複数のコンピュータプロセッサによって、前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する前記段階は、
   １または複数のコンピュータプロセッサによって、前記並列領域における前記１または複数のオペレータの間の前記データのフローを動的に調節して、前記データのフローの負荷を分散する段階を含む、請求項１または２に記載の方法。
4. １または複数のコンピュータプロセッサによって、前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する前記段階は、
   １または複数のコンピュータプロセッサによって、前記並列領域への最高データレートを達成する段階を含む、請求項１から３のいずれか一項に記載の方法。
5. １または複数のコンピュータプロセッサによって、前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する前記段階は、
   前記分散データ処理システムに含まれる１または複数のコンピューティングリソースの低減に応答して、１または複数のコンピュータプロセッサによって、前記分散データ処理システムにおける前記データのフローを動的に抑制する段階を含む、請求項１から４のいずれか一項に記載の方法。
6. １または複数のコンピュータプロセッサによって、前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する前記段階は、
   より高い優先度のデータのフローを受信することに応答して、１または複数のコンピュータプロセッサによって、１または複数の他のデータのフローよりも、前記より高い優先度のデータのフローを含む１または複数のデータタプルをキューイングする段階を含む、請求項１から５のいずれか一項に記載の方法。
7. １または複数のコンピュータプロセッサによって、複数の分散データ処理シナリオに基づいて、機械学習技法を介して、複数の負荷分散方法を動的に学習する段階と、
   １または複数のコンピュータプロセッサによって、特定の分散データ処理シナリオのために、前記特定の分散データ処理シナリオにおいて前記データのフローをもっとも良く処理することが可能である、学習された前記複数の負荷分散方法のうち１つを適用する段階と
   を更に備える、請求項１から６のいずれか一項に記載の方法。
8. １または複数のコンピュータプロセッサによって、前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する前記段階は、
   フェイルオーバに応答して、１または複数のコンピュータプロセッサによって、前記データのフローを冗長分散データ処理システムへ送信する段階と、
   フェイルバックに応答して、１または複数のコンピュータプロセッサによって、前記データのフローを前記分散データ処理システムに戻す段階と
   を含む、請求項１から７のいずれか一項に記載の方法。
9. １または複数のコンピュータプロセッサによって、前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する前記段階は、
   前記並列領域におけるオペレータの量の変化に応答して、１または複数のコンピュータプロセッサによって、前記並列領域への前記データのフローを動的に調節する段階であって、
   前記オペレータの量の増加に応答して、前記データのフローを増加させ、
   前記オペレータの量の減少に応答して、前記データのフローを減少させる、
   段階を含む、請求項１から８のいずれか一項に記載の方法。
10. プロセッサに、
    データのフローを受信することに応答して、前記データのフローのストリーム処理のために、分散データ処理システムに含まれる並列領域における１または複数のオペレータを初期化する手順と、
    前記データのフローの変化、または、前記分散データ処理システムの変化を識別することに応答して、前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する手順と、
    前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの前記動的に調節された１つを介して前記データのフローを処理する手順と
    を実行させるためのコンピュータプログラム。
11. 前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する手順は、
    前記並列領域における前記１または複数のオペレータを並列化することによって前記並列領域を動的にサイズ変更する手順を含み、前記並列領域を動的にサイズ変更する手順は、
    前記データのフローの増加に応答して、前記並列領域の前記サイズを増加させる手順と、
    前記データのフローの減少に応答して、前記並列領域の前記サイズを減少させる手順と
    を含む、請求項１０に記載のコンピュータプログラム。
12. 前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する手順は、
    前記並列領域における前記１または複数のオペレータの間の前記データのフローを動的に調節して前記データのフローの負荷を分散する手順を含む、請求項１０または１１に記載のコンピュータプログラム。
13. 前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する手順は、
    前記並列領域への最高データレートを達成する手順を含む、請求項１０から１２のいずれか一項に記載のコンピュータプログラム。
14. 前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する手順は、
    前記分散データ処理システムに含まれる１または複数のコンピューティングリソースの低減に応答して、前記分散データ処理システムにおける前記データのフローを動的に抑制する手順を含む、請求項１０から１３のいずれか一項に記載のコンピュータプログラム。
15. 前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する手順は、
    より高い優先度のデータのフローを受信することに応答して、１または複数の他のデータのフローよりも、前記より高い優先度のデータのフローを含む１または複数のデータタプルをキューイングする手順を含む、請求項１０から１４のいずれか一項に記載のコンピュータプログラム。
16. 前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する手順は、
    複数の分散データ処理シナリオに基づいて、機械学習技法を介して、複数の負荷分散方法を動的に学習する手順と、
    特定の分散データ処理シナリオのために、前記特定の分散データ処理シナリオにおいて前記データのフローをもっとも良く処理することが可能である、学習された前記複数の負荷分散方法の１つを適用する手順と
    を含む、請求項１０から１５のいずれか一項に記載のコンピュータプログラム。
17. 前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する手順は、
    フェイルオーバに応答して、前記データのフローを冗長分散データ処理システムへ送信する手順と、
    フェイルバックに応答して、前記データのフローを前記分散データ処理システムに戻す手順と
    を含む、請求項１０から１６のいずれか一項に記載のコンピュータプログラム。
18. 前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節する手順は、
    前記並列領域におけるオペレータの量の変化に応答して、前記データのフローを前記並列領域に動的に調節する手順であって、
    前記オペレータの量の増加に応答して、前記データのフローが増加され、
    前記オペレータの量の減少に応答して、前記データのフローが減少される、
    手順を含む、請求項１０から１７のいずれか一項に記載のコンピュータプログラム。
19. コンピュータシステムであって、前記コンピュータシステムは、
    １または複数のコンピュータプロセッサと、
    １または複数のコンピュータ可読記憶媒体と、
    前記１または複数のコンピュータプロセッサのうちの少なくとも１つによる実行のために、前記１または複数のコンピュータ可読記憶媒体に格納されたプログラム命令と
    を備え、前記プログラム命令は、
    データのフローを受信することに応答して、前記データのフローのストリーム処理のために、分散データ処理システムに含まれる並列領域における１または複数のオペレータを初期化するためのプログラム命令と、
    前記データのフローの変化、または、前記分散データ処理システムの変化を識別することに応答して、前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節するためのプログラム命令と、
    前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のうちの前記動的に調節された１つを介して、前記データのフローを処理するためのプログラム命令と
    を含む、コンピュータシステム。
20. 前記データのフロー、および、前記分散データ処理システムに含まれる前記並列領域のサイズのうちの少なくとも１つを動的に調節するための前記プログラム命令は、
    前記並列領域における前記１または複数のオペレータを並列化することによって前記並列領域を動的にサイズ変更するプログラム命令を含み、前記並列領域を動的にサイズ変更することは、
    前記データのフローの増加に応答して、前記並列領域の前記サイズを増加させること、および、
    前記データのフローの減少に応答して、前記並列領域の前記サイズを減少させること
    を含む、請求項１９に記載のコンピュータシステム。