JPWO2020227467A5 - コンテナイメージの動的分散 - Google Patents

Description

概要
一態様では、一般に、多数のホストシステム上でコンテナイメージのインスタンスを実行させるためにデータ処理システムによって実施される方法であって、各コンテナイメージが、多数のモジュールを有する第１のアプリケーションを含み、インスタンスが、所定のモジュールの決定された並列実行の数に従ってその所定のモジュールを実行するように構成される、方法であり、第１のアプリケーション及び第２のアプリケーションを含むコンテナイメージにアクセスすることであって、第２のアプリケーションが、データ処理システムとコンテナイメージのインスタンスを実行するホストシステムとの間の通信をもたらす、アクセスすることと、データ処理システムによって、第１のアプリケーションの所定のモジュールの並列実行の数を決定することと、所定のモジュールに対し、決定された並列実行の数に従ってコンテナイメージの多数のインスタンスを生成することであって、各インスタンスが、第１及び第２のアプリケーションを含む、生成することと、各インスタンスに対し、第１のアプリケーションの所定のモジュールを実行するようにそのインスタンスを構成することと、１つ又は複数のホストシステム上で多数の構成されたインスタンスの各々を実行させることと、多数の構成されたインスタンスの少なくとも１つに対し、その構成されたインスタンスの第２のアプリケーションによって、データ処理システムとその構成されたインスタンスを実行する１つ又は複数のホストシステムとの間の通信をもたらすこととを含む、方法。この態様の他の実施形態は、対応するコンピュータシステムや、装置や、１つ又は複数のコンピュータ記憶装置上に記録されたコンピュータプログラムを含み、その各々は、方法のアクションを実行するように構成される。

この例では、動作は、所定のモジュールの並列実行の数を指定する仕様にアクセスすることを含む。コンテナイメージは、第１のコンテナイメージであり、方法は、ハードウェア記憶装置から第２のコンテナイメージのインスタンスにアクセスすることであって、第２のコンテナイメージが、第１のアプリケーションを含み、第２のアプリケーションの各モジュールに対する並列処理量を指定する、アクセスすることと、第２のコンテナイメージを実行システム上に格納することとをさらに含む。また、動作は、第２のコンテナイメージのインスタンスから、実行システムに含まれるインタフェースに、決定された並列実行の数に従ってコンテナイメージの多数のインスタンスを生成するという要求を送信することも含む。また、動作は、多数の構成されたインスタンスの各々を１つ又は複数のホストシステムに割り当てることも含む。割り当ては、実行時に、割り当てられている構成されたインスタンスの各々によって動的に実行され、割り当ては、事前に決定されたものではない。第１のアプリケーションは、多数のコンポーネントを有するデータフローグラフであり、動作は、各コンポーネントに対し、そのコンポーネントに対して決定された並列実行の数に従ってコンテナイメージの多数のインスタンスを生成することと、動的レベルの並列処理を得るためにデータフローグラフを複数のノード上で動的に走らせることとをさらに含み、動的に走らせることは、各コンポーネントに対し、生成されたインスタンスをホストシステムの１つ又は複数のノードに動的に割り当てることと、ホストシステムの１つ又は複数のノード上で多数の割り当てられたインスタンスの各々を実行させることとによって行われる。いくつかの例では、所定のモジュールは、第１のモジュールであり、生成される多数のインスタンスは、多数の第１のインスタンスであり、方法は、データ処理システムによって、第１のアプリケーションの第２のモジュールの並列実行の数を決定することと、第２のモジュールに対し、第２のモジュールに対して決定された並列実行の数に従ってコンテナイメージの多数の第２のインスタンスを生成することであって、第２のインスタンスの各々が、第１及び第２のアプリケーションを含む、生成することと、第２のインスタンスの各々に対し、第１のアプリケーションの第２のモジュールを実行するようにその第２のインスタンスを構成することと、１つ又は複数のホストシステム上で多数の構成された第２のインスタンスの各々を実行させることと、第１のインスタンスのうちの１つと第２のインスタンスのうちの１つとの間の通信チャネルを確立させることであって、第１のインスタンスのうちの１つが、データを出力し、通信チャネル上で第２のインスタンスのうちの１つにその出力データを送信する、確立させることとをさらに含む。

いくつかの例では、データ処理システムとその構成されたインスタンスを実行する１つ又は複数のホストシステムとの間の通信は、所定のモジュールによって、第２のアプリケーションにモニタデータを送信することと、第２のアプリケーションによって、データ処理システムにモニタデータを渡すこととを含み、モニタデータは、データ処理システムによって、データ処理システムが別のモジュールに実行を指示できるように、所定のモジュールが実行を完了した際にそれを追跡するために使用されるように構成される。他の例では、所定のモジュールは、第１のモジュールであり、生成される多数のインスタンスは、多数の第１のインスタンスであり、動作は、データ処理システムによって、第１のアプリケーションの第２のモジュールの並列実行の数を決定することと、第２のモジュールに対し、第２のモジュールに対して決定された並列実行の数に従ってコンテナイメージの多数の第２のインスタンスを生成することであって、第２のインスタンスの各々が、第１及び第２のアプリケーションを含む、生成することと、第２のインスタンスの各々に対し、第１のアプリケーションの第２のモジュールを実行するようにその第２のインスタンスを構成することと、１つ又は複数のホストシステム上で多数の構成された第２のインスタンスの各々を実行させることと、ローカルデータストアから、第２のインスタンスのうちの１つのアドレスを検索することと、検索されたアドレスに従って、第１のインスタンスのうちの１つから第２のインスタンスのうちの１つに、第１のインスタンスのうちの１つからの出力を提供することとをさらに含む。

図面の説明
イメージインスタンスの動的分散のためのシステムのブロック図である。 コンテナイメージの動的分散の時系列を示す。 コンテナイメージの動的分散の時系列を示す。 コンテナイメージの動的分散の時系列を示す。 コンテナイメージの動的分散の時系列を示す。 コンテナイメージの動的分散の時系列を示す。 コンテナイメージの動的分散の時系列を示す。 データ処理グラフの図である。 イメージインスタンスの動的分散のためのシステムのブロック図である。 イメージインスタンスの動的分散のためのシステムのブロック図である。 イメージインスタンスの動的分散のためのシステムのブロック図である。 コンテナイメージの動的分散のためのプロセスのフローチャートである。

図１を参照すると、ネットワーク接続環境１００が示されており、イメージのインスタンスは、動的分散によって起動される。一般に、イメージは、実行されるとアプリケーションランタイム環境を生成するファイルを含み、アプリケーションランタイム環境は、アプリケーション（例えば、実行可能なアプリケーション）並びにアプリケーションの実行のためのランタイム環境（例えば、システムツール、ライブラリ、システムバイナリ及び設定）を含む。イメージのインスタンスは、イメージの特定の発生を指す。様々なタイプのアプリケーションランタイム環境が存在し、例えば、コンテナを含む。一般に、アプリケーションランタイム環境は、ホストオペレーティングシステムとカーネルを共有することによって、軽量オペレーティングシステムレベルの仮想化を使用する。従って、スケジューリング、ネットワーキング、ディスク入力／出力及びハードウェアへのアクセスは、カーネルによって提供される。それに従って、アプリケーションランタイム環境は、仮想マシンと比べて、より速い始動時間、より優れた資源分散、直接ハードウェアアクセス及びより少ない冗長性を有する。一般に、動的分散（本明細書では、動的レイアウトとも呼ばれる）は、アプリケーション（又はその一部分）の実行において実施される並列処理量を指し、その全内容が参照により本明細書に組み込まれる米国特許出願公開第２０１８／０１６５１２９Ａ１号において説明されるように、並列処理の実施に必要なその資源は、実行時に（すなわち、動的に）割り当てられる。例えば、コンテナイメージのインスタンス（本明細書で説明されるような）は、例えば、実行時に割り当てることによって及び割り当てを事前に決定することなく、ホストシステム上のノードに動的に割り当てられる。

環境１００は、実行システム１０６及びデータストレージ１１５を含む。実行システム１０６は、アプリケーション展開、スケーリング及び管理を自動化するためのシステム（例えば、Kubernetes（登録商標）システム）である。データストレージ１１５は、アプリケーションイメージ１１８及びエージェントイメージ１１９を格納する。エージェントイメージ１１９は、コンテナイメージ（コンテナのイメージ）である。一般に、イメージは、記憶装置のコンテンツのレプリカを含む。この例では、アプリケーションイメージ１１８もコンテナイメージである。以下では、エージェントイメージ１１９は、限定はしないが、便宜上、コンテナイメージ１１９と呼ぶことができる。一般に、アプリケーションイメージは、他のイメージの起動を要求するように及びさらにそれらの他のイメージに実行方法を指示するように構成されたアプリケーションのイメージを含む。この例では、アプリケーションイメージもコンテナイメージである。エージェントイメージ１１９は、実行方法に関する指示をアプリケーションイメージ１１８から受信するように構成された実行中のアプリケーション（例えば、本明細書で説明されるようなデータ処理グラフ）を含むコンテナのイメージを含む。

実行システム１０６は、外部のシステム（例えば、ノード）と通信するためのインタフェース１１１を含む。また、実行システム１０６は、データストレージ１１５からアプリケーションイメージ１１８及びエージェントイメージ１１９を検索する。実行システム１０６は、アプリケーションイメージ１１８のインスタンス１０８としてアプリケーションイメージ１１８を実行する。エージェントイメージ１１９から、実行システム１０６は、エージェントイメージ１１９のインスタンス１０４、１０５を起動する。

アプリケーションイメージ１１８（及びインスタンス１０８）は、ランチャサブシステム１１２、マルチプレクササブシステム１１６及びアプリケーション１１７を含む。エージェントイメージ１１９のインスタンス１０４、１０５の各々は、エージェントサービス１０７及びアプリケーション１０９を含む。マルチプレクササブシステム１１６は、インタフェース１１１に要求を送信することによって、エージェントイメージ１１９のインスタンス１０４、１０５を起動する。この例では、ランチャサブシステム１１２は、エージェントイメージ１１９の起動すべき数のインスタンスを要求する。この例では、インタフェース１１１は、アプリケーションプログラミングインタフェース（ＡＰＩ）サーバである。それに応答して、ＡＰＩサーバは、エージェントイメージ１１９のインスタンス１０４、１０５を起動する。インスタンス１０４、１０５の各々は、エージェントサービス１０７及びアプリケーション１０９を含み、アプリケーション１０９は、アプリケーション１１７と同タイプのアプリケーションである（例えば、アプリケーション１０９がアプリケーション１１７と同一であること及び／又はアプリケーション１０９がアプリケーション１１７と同じモジュールを含むことが可能である）。ランチャサブシステム１１２は、エージェントサービス１０７と通信して、エージェントイメージ１１９の特定のインスタンスによってアプリケーション１０９のどの部分を実行するかに関する指示をエージェントサービス１０７に与える。これを受けて、エージェントサービス１０７は、どの部分（又はコンポーネント）を実行するかに関する指示をアプリケーション１０９に与える。

アプリケーションイメージ１１８のインスタンス１０８は、インスタンス１０８がインスタンス１０４、１０５に互いの通信方法に関する指示を与えられるように（例えば、インスタンス１０５によって実行されるあるコンポーネントが、インスタンス１０４によって実行されるコンポーネントによって出力されるデータを入力として必要とする際）、ランチャサブシステム１１２がアプリケーション１１７の様々なコンポーネント又は部分及びそれらの互いの通信方法を識別できるようにするために、アプリケーション１１７（アプリケーション１０９と同じもの）を含む。この例では、ホストシステム１２０は、例えば、実行システム１０６が１つ又は複数のノード１２０ａ～１２０ｒ上でコンテナイメージ１１９のインスタンス１０４、１０５を起動できるように、実行システム１０６と通信するように構成される。この例では、ホストシステム１２０は、コンテナイメージ１１９のインスタンスをホストして走らせる（例えば、実行する）Kubernetes（登録商標）システムである。

図２Ａ～２Ｆを参照すると、コンテナイメージのインスタンスの動的分散の時系列が示されている。図２Ａを参照すると、環境１０１は、環境１００（図１）の第１の時刻（「Ｔ１」）における例である。時刻Ｔ１では、実行システム１０６は、データストレージ１１５からアプリケーションイメージ１１８のインスタンス１０８を検索する。以前に説明したように、アプリケーションイメージ１１８は、ランチャサブシステム、マルチプレクササブシステム及びアプリケーション１１７を含むコンテナイメージである。アプリケーション１１７は、３つのモジュール（モジュール１～３）を有するプログラムである。各モジュールは、そのモジュールにおいて実施される並列処理量を指定する。この例では、アプリケーション１１７は、所定のモジュールの並列実行の数を指定する仕様を含み、その仕様は、例えば、ランチャサブシステム１１２によって、構成を実行する際にアクセスされる。一般に、並列処理量は、特定のモジュールが実行する回数を指す（例えば、同じ時刻に、同時になど）。モジュール１は、３回の並列実行を行うように構成される。モジュール２は、２回の並列実行を行うように構成される。モジュール３は、３回の並列実行を行うように構成される。図２Ｂを参照すると、環境１０３が示されている。環境１０３は、環境１０１（図１）の第２の時刻（「Ｔ２」）におけるバージョンである。この例では、ランチャサブシステム１１２は、指定された並列処理量に従って、各モジュールに対して起動すべきコンテナイメージのインスタンスの数をマルチプレクササブシステムに伝達する。ランチャサブシステム１１２は、コンテナイメージ１１９の３つのインスタンス１２２ａ～１２２ｃを起動するように及びモジュール１を実行するようにそれらのインスタンス１２２ａ～１２２ｃを構成するように、マルチプレクササブシステム１１６に指示する。モジュール１の並列処理量は３回と構成されているため、ランチャサブシステム１１２は、コンテナイメージ１１９の３つのインスタンス１２２ａ～１２２ｃを起動するようにマルチプレクササブシステム１１６に指示する。それに応答して、マルチプレクササブシステム１１６は、インタフェース１１１がインスタンス１２２ａ～１２２ｃを起動することを要求し、インタフェース１１１は、インスタンス１２２ａ～１２２ｃを起動する。

ランチャサブシステム１１２は、コンテナイメージ１１９の３つのインスタンス１２４ａ、１２４ｂを起動するように及びモジュール２を実行するようにそれらのインスタンス１２４ａ、１２４ｂを構成するように、マルチプレクササブシステム１１６に指示する。モジュール２の並列処理量は２回と構成されているため、ランチャサブシステム１１２は、コンテナイメージ１１９の２つのインスタンス１２４ａ、１２４ｂを起動するようにマルチプレクササブシステム１１６に指示し、インスタンス１２４ａ、１２４ｂの各々は、モジュール２を実行するように構成される。それに応答して、マルチプレクササブシステム１１６は、インタフェース１１１がインスタンス１２４ａ、１２４ｂを起動することを要求し、インタフェース１１１は、実行システム１０６においてインスタンス１２４ａ、１２４ｂを起動する。

ランチャサブシステム１１２は、コンテナイメージ１１９の３つのインスタンス１２６ａ～１２６ｃを起動するように及びモジュール１を実行するようにそれらのインスタンス１２６ａ～１２６ｃを構成するように、マルチプレクササブシステム１１６に指示する。モジュール１の並列処理量は３回と構成されているため、ランチャサブシステム１１２は、コンテナイメージ１１９の３つのインスタンス１２６ａ～１２６を起動するようにマルチプレクササブシステム１１６に指示する。それに応答して、マルチプレクササブシステム１１６は、インタフェース１１１がインスタンス１２６ａ～１２６を起動することを要求し、インタフェース１１１は、インスタンス１２６ａ～１２６を起動する。

図２Ｃを参照すると、環境１１３が示されている。環境１１３は、環境１００（図１）の第３の時点（Ｔ３）におけるバージョンである。時刻Ｔ３では、ランチャサブシステム１１２は、コンテナイメージ１１９（図１）のインスタンス１２２ａ、１２２ｂ、１２２ｃを構成する。インスタンス１２２ａ、１２２ｂ、１２２ｃの各々は、エージェントサービスと、３つのモジュールを有するアプリケーションとを含む。インスタンス１２２ａは、エージェントサービス１２８と、モジュール１３０ａ～１３０ｃを有するアプリケーション１３０とを含む。アプリケーション１３０、１３２、１３４の各々がアプリケーション１１７と同一であること及び／又はアプリケーション１３０、１３２、１３４の各々がアプリケーション１１７と同じモジュールを含むことが可能である。ランチャサブシステム１１２は、例えば、インスタンスがどのモジュールを実行すべきかに関する指示をインスタンス１２２ａ～１２２ｃの各々に送信することによって、モジュール１（例えば、アプリケーション１３０のモジュール１３０ａ）を実行するようにコンテナイメージ１１９のインスタンス１２２ａ、１２２ｂ、１２２ｃの各々を構成する。この例では、ランチャサブシステム１１２は、アプリケーション１１７において指定された並列処理量をルックアップすることによって、各モジュールに対する並列処理量を識別する。

ランチャサブシステム１１２は、コンテナイメージ１１９（図１）のインスタンス１２４ａ、１２４ｂを構成する。インスタンス１２４ａ、１２４ｂの各々は、エージェントサービスと、３つのモジュールを有するアプリケーションとを含む。インスタンス１２４ａは、エージェントサービス１３１と、３つのモジュール１３２ａ～１３２ｃを有するアプリケーション１３２とを含む。ランチャサブシステム１１２は、例えば、インスタンスがどのモジュールを実行すべきかに関する指示をインスタンス１２４ａ、１２４ｂの各々に送信することによって、モジュール２（例えば、アプリケーション１３２のモジュール１３２ｂ）を実行するようにコンテナイメージ１１９のインスタンス１２４ａ、１２４ｂの各々を構成する。

ランチャサブシステム１１２は、コンテナイメージ１１９（図１）のインスタンス１２６ａ、１２６ｂ、１２６ｃを構成する。インスタンス１２６ａ、１２６ｂ、１２６ｃの各々は、エージェントサービスと、３つのモジュールを有するアプリケーションとを含む。インスタンス１２６ａは、エージェントサービス１３３と、３つのモジュール１３４ａ～１３４ｃを有するアプリケーション１３４とを含む。ランチャサブシステム１１２は、例えば、インスタンスがどのモジュールを実行すべきかに関する指示をインスタンス１２６ａ～１２６ｃの各々に送信することによって、モジュール３（例えば、アプリケーション１３４のモジュール１３４ｃ）を実行するようにコンテナイメージ１１９のインスタンス１２６ａ、１２６ｂ、１２６ｃの各々を構成する。

図２Ｄを参照すると、環境１２７が示されている。環境１２７は、環境１００（図１）の第４の時点（Ｔ４）における例である。時刻Ｔ４では、実行システム１０６は、ホストシステム上で実行するために、コンテナイメージのインスタンスをホストシステム１２０に送信するか又は割り当てる。この例では、インスタンス１２２ａは、ノード１２０ｄに割り当てられる。インスタンス１２２ａが受信され次第、ノード１２０ｄは、コンテナイメージ１１９（図１）のインスタンス１２２ａをホストして実行し、それにより、コンテナをインスタンス化する。インスタンス１２２ｂは、ノード１２０ｅに割り当てられる。インスタンス１２２ｂが受信され次第、ノード１２０ｅは、コンテナイメージ１１９（図１）のインスタンス１２２ｂをホストして実行する。同様に、インスタンス１２２ｃ、１２４ａ、１２４ｂ、１２６ａ、１２６ｂ、１２６ｃは、ノード１２０ｆ、１２０ｇ、１２０ｉ、１２０ｎ、１２０ｏ、１２０ｑにそれぞれ割り当てられる。インスタンス１２２ｃ、１２４ａ、１２４ｂ、１２６ａ、１２６ｂ、１２６ｃが受信され次第、ノード１２０ｆ、１２０ｇ、１２０ｉ、１２０ｎ、１２０ｏ、１２０ｑは、コンテナイメージ１１９（図１）のそれぞれのインスタンスをホストして実行する（ホストシステム１２０上で）。

図２Ｅを参照すると、環境１４０が示されている。環境１４０は、環境１００（図１）の第５の時点（Ｔ５）におけるバージョンである。時刻Ｔ５では、コンテナイメージ１２２ａは、ノード１２０ｄ上でコンテナ１６０としてインスタンス化される。一般に、コンテナイメージは、ノード（又は他のコンピューティングシステム）上で走らせているプログラム又はアプリケーションに含まれるコマンドがテンプレートとしてコンテナイメージを取り入れ、そこからコンテナを生成する際に、コンテナとしてインスタンス化され、次いで、ノード上で実行される。

コンテナイメージ１２２ａのインスタンス化により、コンテナイメージ１２２ａに含まれるエージェントサービス１２８に相当する（例えば、同一である）エージェントサービス１６２を有するコンテナ１６０が生成される。いくつかの例では、エージェントサービス１２８は、エージェントサービスイメージ（すなわち、エージェントサービスのイメージ）である。この例では、エージェントサービス１６２は、コンテナイメージ１２２ａがインスタンス化される際に、エージェントサービスイメージからインスタンス化される。また、コンテナイメージ１２２ａのインスタンス化により、アプリケーション１６４（コンテナ１６０に含まれる）も生成される。この例では、アプリケーション１６４は、モジュール１６４ａ、１６４ｂ、１６４ｃを含む。アプリケーション１６４は、コンテナイメージ１２２ａに含まれるアプリケーション１３０に相当する。いくつかの例では、アプリケーション１３０は、アプリケーションイメージ（すなわち、アプリケーションのイメージ）である。この例では、アプリケーション１６４は、コンテナイメージ１２２ａがインスタンス化される際に、アプリケーションイメージからインスタンス化される。

図２Ｆを参照すると、環境１５０が示されている。環境１５０は、環境１００（図１）の第６の時点（Ｔ６）におけるバージョンである。環境１５０は、コンテナ１６０、１７０、１７６（ホストシステム上で実行され、コンテナイメージ１２２ａ、１２４ａ、１２６ａからそれぞれインスタンス化される）の間のノード間通信を示す。

この例では、コンテナ１７０は、エージェントサービス１７２及びアプリケーション１７４（モジュール１７４ａ、１７４ｂ、１７４ｃを有する）を含む。この例では、アプリケーション１７４は、コンテナ１７０がインスタンス化されたコンテナイメージ１２４ａの構成に従って、モジュール１７４ｂを実行するように構成される。

この例では、コンテナ１７６は、エージェントサービス１８０及びアプリケーション１７８（モジュール１７８ａ、１７８ｂ、１７８ｃを有する）を含む。この例では、アプリケーション１７８は、コンテナ１７６がインスタンス化されたコンテナイメージ１２６ａの構成に従って、モジュール１７８ｃを実行するように構成される。この例では、コンテナ１６０は、ノード１２０ｄ（図２Ｄ）上で実行され、ノード１２０ｄは、コンテナイメージ１２２ａが割り当てられたノードである。コンテナ１７２は、ノード１２０ｇ（図２Ｄ）上で実行され、ノード１２０ｇは、コンテナイメージ１２４ａが割り当てられたノードである。コンテナ１７６は、ノード１２０ｎ（図２Ｄ）上で実行され、ノード１２０ｎは、コンテナイメージ１２６ａが割り当てられたノードである。

図３Ｂを参照すると、図２０１は、部分２１２、２１４（図３Ａ）の並列実行を示す。アプリケーションイメージ１１８（図１）のインスタンス１０８は、部分２１２（図３Ａ）を実行するためにエージェントイメージ１１９（図１）の２つのインスタンス２１６、２１８を起動し、部分２１２は、２つの手段で並列に走らせる。インスタンス２１６、２１８の各々は、ランチャサブシステムによって、コンポーネント２０２、２０４、２０６を実行するように指示される。アプリケーションイメージ１１８（図１）のインスタンス１０８は、部分２１４（図３Ａ）を実行するためにエージェントイメージ１１９（図１）の４つのインスタンス２２０～２２６を起動し、部分２１４は、４つの手段で並列に走らせる。インスタンス２２０～２２６の各々は、ランチャサブシステムによって、コンポーネント２０８、２１０を実行するように指示される。

図４Ａが場合の例示的なデータ処理グラフ２００では、コンポーネント２０２～２１０の各々は、ＦＤＬタイプを有する。コンポーネント２０２～２０６の各々は、コンポーネントインスタンスをどこで（すなわち、ホストクラスタ３０６のどのホスト上で）走らせるかに関する制限なしで、ホストクラスタ３０６上で２つのコンポーネントインスタンスを走らせる必要がある。コンポーネント２０８、２１０の各々は、コンポーネントインスタンスをどこで（すなわち、ホストクラスタ３０６のどのホスト上で）走らせるかに関する制限なしで、ホストクラスタ３０６上で４つのコンポーネントインスタンスを走らせる必要がある。本明細書で説明されるように、データ処理グラフ２００の第１の部分は、コンポーネント２０２～２０６を含み、この第１の部分は、２つの手段で並列に走らせるため、コンポーネント２０２～２０６は、２つのインスタンス３２４、３２６で走らせる必要がある。この例では、インスタンス３２４、３２６（図１のエージェントイメージのもの）は、アプリケーションイメージ１１８（図１）のインスタンス１０８（図１）によって起動される。部分２１２（図３Ａ）は２つの手段で並列に走らせる必要があるため、２つのインスタンス３２４、３２６は、部分２１２（図３Ａ）に対して起動される。インスタンス３２４、３２６の各々は、コンポーネント２０２～２０６のみを実行する。データ処理グラフ２００の第２の部分は、コンポーネント２０８、２１０を含み、この第２の部分は、４つの手段で並列に走らせるため、コンポーネント２０８、２１０は、４つのインスタンス３７０～３７６で走らせる必要がある（図４Ｂに示されるように）。

図５を参照すると、動的レイアウトに従って指定されたイメージの多数のインスタンスを起動するためのプロセス４００が示されており、指定されたイメージは、多数の実行可能なコンポーネントを有するマルチコンポーネントプログラム（例えば、データ処理グラフ）と、１つ又は複数の実行可能なコンポーネントの各々に対して、その実行可能なコンポーネントの実行において実施される並列処理量を指定する動的レイアウトとを含む。

この例では、プロセス４００は、データ処理システム（例えば、実行システム１０６）によって、多数のホストシステム上でコンテナイメージのインスタンスを実行させるために実施され、各コンテナイメージは、多数のモジュールを有する第１のアプリケーションを含み、インスタンスは、所定のモジュールの決定された並列実行の数に従ってその所定のモジュールを実行するように構成される。動作では、データ処理システムは、データストレージ１１５（図１）から、第１のアプリケーション（例えば、図１のアプリケーション１０９）及び第２のアプリケーション（例えば、図１のエージェントサービス１０７）を含むコンテナイメージ１１９（図１）にアクセスし（４０２）、第２のアプリケーションは、データ処理システムとコンテナイメージのインスタンス（例えば、図１のインスタンス１０４又はインスタンス１０５）を実行するホストシステム（例えば、図１のホストシステム１２０）との間の通信をもたらす。データ処理システムは、第１のアプリケーションの所定のモジュール（例えば、図２Ｃのモジュール１３０ａ）の並列実行の数を決定する（４０４）。

所定のモジュールに対し、データ処理システムは、決定された並列実行の数に従ってコンテナイメージの１つ又は複数のインスタンス（図２Ｃのインスタンス１２２ａ～１２２ｃ）を生成し（４０６）、各インスタンスは、第１及び第２のアプリケーションを含む。各インスタンスに対し、データ処理システムは、例えば、どのモジュールを実行するかに関する指示をランチャサブシステム１１２からインスタンス１２２ａに送信することによって、第１のアプリケーションの所定のモジュールを実行するようにそのインスタンスを構成する（４０８）。

Claims (23)

1. コンテナイメージのインスタンスをホストシステムに割り当てることによって、かつ、ホストシステム上のインスタンスにおける第１のアプリケーションの部分に、データを、別のホストシステム上の別のインスタンスにおける前記第１のアプリケーションの別の部分に出力させることによって、コンテナイメージにおける第１のアプリケーションに、ホストシステムにわたって、実行させるデータ処理システムによって実施される方法であって、
   前記第１のアプリケーション及び第２のアプリケーションを含む前記コンテナイメージにアクセスすることであって、前記第２のアプリケーションが、前記データ処理システムと、前記コンテナイメージのインスタンスを実行するホストシステムとの間の通信をもたらす、ことと、
   前記データ処理システムによって、前記第１のアプリケーションの並列実行の数を決定することと、
   前記決定された並列実行の数に従って前記コンテナイメージの複数のインスタンスを生成することであって、インスタンスが、前記第１及び第２のアプリケーションを含む、ことと、
   第１のホストシステム上で前記第１のアプリケーションの第１の部分を実行するように前記複数のインスタンスの第１のインスタンスを構成することと、
   １つ又は複数のホストシステム上で前記複数のインスタンスの各々を実行させることと、
   第２のホストシステム上で第２のインスタンスの前記第２のアプリケーションから通信を受信することと、
   前記第１の部分からの出力を受信するために、前記第１のインスタンスが前記第２のインスタンスの第２の部分を前記第２のホストシステムに配置するための情報を、前記通信に基づいて、前記データ処理システムによって、前記第１のホストシステム上で前記第１のインスタンスに送信することと、
   前記第２の部分を配置するために送信された前記情報に基づいて、前記第１のホストシステム上の前記第１の部分にその出力データを前記第２のホストシステム上の前記第２の部分に送信させることと、
   を含む、方法。
2. 所定のモジュールの並列実行の数を指定する仕様にアクセスすることをさらに含む、請求項１に記載の方法。
3. 前記コンテナイメージが、第１のコンテナイメージである、請求項１に記載の方法であって、
   ハードウェア記憶装置から第２のコンテナイメージのインスタンスにアクセスすることであって、前記第２のコンテナイメージが、前記第１のアプリケーションを含み、前記第２のアプリケーションの各モジュールに対する並列処理量を指定する、アクセスすることと、
   前記第２のコンテナイメージを実行システム上に格納することと
   をさらに含む、方法。
4. 前記第２のコンテナイメージの前記インスタンスから、前記実行システムに含まれるインタフェースに、前記決定された並列実行の数に従って前記コンテナイメージの前記複数のインスタンスを生成するという要求の送信をもたらすこと、
   をさらに含む、請求項３に記載の方法。
5. 前記複数の構成されたインスタンスの各々を前記１つ又は複数のホストシステムに割り当てること
   をさらに含む、請求項１に記載の方法。
6. 割り当てが、実行時に、割り当てられている構成されたインスタンスの各々によって動的に実行され、前記割り当てが、動的に決定される、請求項５に記載の方法。
7. 前記第１のアプリケーションが、複数のコンポーネントを有するデータフローグラフである、請求項６に記載の方法であって、
   各コンポーネントに対し、そのコンポーネントに対して決定された並列実行の数に従って前記コンテナイメージの複数のインスタンスを生成することと、
   動的レベルの並列処理を得るためにデータフローグラフを複数のノード上で動的に走らせることと
   をさらに含み、
   前記動的に走らせることが、
   各コンポーネントに対し、
   生成されたインスタンスを前記ホストシステムの１つ又は複数のノードに動的に割り当てることと、
   前記ホストシステムの前記１つ又は複数のノード上で前記複数の割り当てられたインスタンスの各々を実行させることと
   によって行われる、方法。
8. 前記データ処理システムとその構成されたインスタンスを実行する前記１つ又は複数のホストシステムとの間の前記通信が、
   前記所定のモジュールによって前記第２のアプリケーションにモニタデータの送信をもたらすことと、前記第２のアプリケーションによって、前記データ処理システムに前記モニタデータを渡すこととを含み、前記モニタデータが、前記データ処理システムによって、前記データ処理システムが別のモジュールに実行を指示できるように、前記所定のモジュールが実行を完了した際にそれを追跡するために使用されるように構成される、請求項１に記載の方法。
9. 前記所定のモジュールが、第１のモジュールであり、前記生成される複数のインスタンスが、複数の第１のインスタンスであり、動作が、
   前記データ処理システムによって、前記第１のアプリケーションの第２のモジュールの並列実行の数を決定することと、
   前記第２のモジュールに対し、前記第２のモジュールに対して前記決定された並列実行の数に従って前記コンテナイメージの複数の第２のインスタンスを生成することであって、第２のインスタンスの各々が、前記第１及び第２のアプリケーションを含む、生成することと、
   第２のインスタンスの各々に対し、前記第１のアプリケーションの前記第２のモジュールを実行するようにその第２のインスタンスを構成することと、
   前記１つ又は複数のホストシステム上で前記複数の構成された第２のインスタンスの各々を実行させることと、
   ローカルデータストアから、前記第２のインスタンスのうちの１つのアドレスを検索することと、
   前記検索されたアドレスに従って、前記第１のインスタンスのうちの１つから前記第２のインスタンスのうちの１つに、前記第１のインスタンスのうちの１つからの出力を提供することと
   をさらに含む、請求項１に記載の方法。
10. コンテナイメージのインスタンスをホストシステムに割り当てることによって、かつ、ホストシステム上のインスタンスにおける第１のアプリケーションの部分に、データを、別のホストシステム上の別のインスタンスにおける前記第１のアプリケーションの別の部分に出力させることによって、コンテナイメージにおける第１のアプリケーションに、ホストシステムにわたって、実行させるデータ処理システムであって、
    前記第１のアプリケーション及び第２のアプリケーションを含む前記コンテナイメージにアクセスすることであって、前記第２のアプリケーションが、前記データ処理システムと、前記コンテナイメージのインスタンスを実行するホストシステムとの間の通信をもたらす、ことと、
    前記第１のアプリケーションの並列実行の数を決定することと、
    前記決定された並列実行の数に従って前記コンテナイメージの複数のインスタンスを生成することであって、インスタンスが、前記第１及び第２のアプリケーションを含む、ことと、
    第１のホストシステム上で前記第１のアプリケーションの第１の部分を実行するように前記複数のインスタンスの第１のインスタンスを構成することと、
    １つ又は複数のホストシステム上で前記複数のインスタンスの各々を実行させることと、
    第２のホストシステム上で第２のインスタンスの前記第２のアプリケーションから通信を受信することと、
    前記第１の部分からの出力を受信するために、前記第１のインスタンスが前記第２のインスタンスの第２の部分を前記第２のホストシステムに配置するための情報を、前記通信に基づいて、前記データ処理システムによって、前記第１のホストシステム上で前記第１のインスタンスに送信することと、
    前記第２の部分を配置するために送信された前記情報に基づいて、前記第１のホストシステム上の前記第１の部分にその出力データを前記第２のホストシステム上の前記第２の部分に送信させることと、
    を行うように構成されているデータ処理システム。
11. 前記マルチコンポーネントプログラムが、データ処理グラフである、請求項１０に記載のシステム。
12. 複数のホストシステムを有するホストクラスタであって、各ホストシステムが、複数の演算資源を含む、ホストクラスタ
    をさらに含む、請求項１０に記載のシステムであって、
    各実行可能なコンポーネントが、指定された演算資源量を必要とし、
    前記動的レイアウトが、前記マルチコンポーネントプログラムの特定の部分が実行される回数を指定し、
    前記ホストクラスタが、前記動的レイアウトに従って及び前記マルチコンポーネントプログラムの特定の部分の実行可能なコンポーネントに必要な演算資源量に従って、前記１つ又は複数のホストシステムにわたって、その特定の部分に必要な演算資源量をその特定の部分に割り当てるように構成される、システム。
13. 前記アプリケーションイメージの前記インスタンスがコンテナであり、前記エージェントイメージのインスタンスがコンテナである、請求項１０に記載のシステム。
14. 前記マルチコンポーネントプログラムのどの部分を実行するかに関する指示を受信することと、
    実行ステータスを指定するデータを送信することと
    を行うように構成されたホストクラスタ
    をさらに含む、請求項１０に記載のシステム。
15. 前記アプリケーションイメージの前記インスタンス及び前記エージェントイメージの前記インスタンスの各々が、ホストオペレーティングシステムとカーネルを共有するように構成される、請求項１０に記載のシステム。
16. コンテナイメージのインスタンスをホストシステムに割り当てることによって、かつ、ホストシステム上のインスタンスにおける第１のアプリケーションの部分に、データを、別のホストシステム上の別のインスタンスにおける前記第１のアプリケーションの別の部分に出力させることによって、コンテナイメージにおける第１のアプリケーションに、ホストシステムにわたって、実行させるデータ処理システムが動作を実行するために前記データ処理システムによって実行可能な命令を格納する１つ又は複数の機械可読ハードウェア記憶装置であって、
    前記動作は、
    前記第１のアプリケーション及び第２のアプリケーションを含む前記コンテナイメージにアクセスすることであって、前記第２のアプリケーションが、前記データ処理システムと、前記コンテナイメージのインスタンスを実行するホストシステムとの間の通信をもたらす、ことと、
    前記データ処理システムによって、前記第１のアプリケーションの並列実行の数を決定することと、
    前記決定された並列実行の数に従って前記コンテナイメージの複数のインスタンスを生成することであって、インスタンスが、前記第１及び第２のアプリケーションを含む、ことと、
    第１のホストシステム上で前記第１のアプリケーションの第１の部分を実行するように前記複数のインスタンスの第１のインスタンスを構成することと、
    １つ又は複数のホストシステム上で前記複数のインスタンスの各々を実行させることと、
    第２のホストシステム上で第２のインスタンスの前記第２のアプリケーションから通信を受信することと、
    前記第１の部分からの出力を受信するために、前記第１のインスタンスが前記第２のインスタンスの第２の部分を前記第２のホストシステムに配置するための情報を、前記通信に基づいて、前記データ処理システムによって、前記第１のホストシステム上で前記第１のインスタンスに送信することと、
    前記第２の部分を配置するために送信された前記情報に基づいて、前記第１のホストシステム上の前記第１の部分にその出力データを前記第２のホストシステム上の前記第２の部分に送信させることと、
    を含む、１つ又は複数の機械可読ハードウェア記憶装置。
17. 前記動作が、所定のモジュールの並列実行の数を指定する仕様にアクセスすることをさらに含む、請求項１６に記載の１つ又は複数の機械可読ハードウェア記憶装置。
18. 前記コンテナイメージが、第１のコンテナイメージであり、前記動作が、
    ハードウェア記憶装置から第２のコンテナイメージのインスタンスにアクセスすることであって、前記第２のコンテナイメージが、前記第１のアプリケーションを含み、前記第２のアプリケーションの各モジュールに対する並列処理量を指定する、アクセスすることと、
    前記第２のコンテナイメージを実行システム上に格納することと
    をさらに含む、請求項１６に記載の１つ又は複数の機械可読ハードウェア記憶装置。
19. 前記動作が、
    前記第２のコンテナイメージの前記インスタンスから、前記実行システムに含まれるインタフェースに、前記決定された並列実行の数に従って前記コンテナイメージの前記複数のインスタンスを生成するという要求の送信をもたらすこと、
    をさらに含む、請求項１８に記載の１つ又は複数の機械可読ハードウェア記憶装置。
20. 前記動作が、
    前記複数の構成されたインスタンスの各々を前記１つ又は複数のホストシステムに割り当てること
    をさらに含む、請求項１６に記載の１つ又は複数の機械可読ハードウェア記憶装置。
21. 割り当てが、実行時に、割り当てられている構成されたインスタンスの各々によって動的に実行され、前記割り当てが、動的に決定される、請求項２０に記載の１つ又は複数の機械可読ハードウェア記憶装置。
22. 前記第１のアプリケーションが、複数のコンポーネントを有するデータフローグラフであり、前記動作が、
    各コンポーネントに対し、そのコンポーネントに対して決定された並列実行の数に従って前記コンテナイメージの複数のインスタンスを生成することと、
    動的レベルの並列処理を得るためにデータフローグラフを複数のノード上で動的に走らせることと
    をさらに含み、
    前記動的に走らせることが、
    各コンポーネントに対し、
    生成されたインスタンスを前記ホストシステムの１つ又は複数のノードに動的に割り当てることと、
    前記ホストシステムの前記１つ又は複数のノード上で前記複数の割り当てられたインスタンスの各々を実行させることと
    によって行われる、請求項２１に記載の１つ又は複数の機械可読ハードウェア記憶装置。
23. 前記所定のモジュールが、第１のモジュールであり、前記生成される複数のインスタンスが、複数の第１のインスタンスであり、前記動作が、
    前記データ処理システムによって、前記第１のアプリケーションの第２のモジュールの並列実行の数を決定することと、
    前記第２のモジュールに対し、前記第２のモジュールに対して前記決定された並列実行の数に従って前記コンテナイメージの複数の第２のインスタンスを生成することであって、第２のインスタンスの各々が、前記第１及び第２のアプリケーションを含む、生成することと、
    第２のインスタンスの各々に対し、前記第１のアプリケーションの前記第２のモジュールを実行するようにその第２のインスタンスを構成することと、
    前記１つ又は複数のホストシステム上で前記複数の構成された第２のインスタンスの各々を実行させることと、
    前記第１のインスタンスのうちの１つと前記第２のインスタンスのうちの１つとの間の通信チャネルを確立させることであって、前記第１のインスタンスのうちの１つが、データを出力し、前記通信チャネル上で前記第２のインスタンスのうちの１つにその出力データを送信する、確立させることと
    をさらに含む、請求項１６に記載の１つ又は複数の機械可読ハードウェア記憶装置。