JP7828693B2 - コンピュータ実装方法、システム、およびコンピュータプログラム（Ｋｕｂｅｒｎｅｔｅｓのリモートポッドにおける新しいコンテナストレージシステム） - Google Patents

Description

本発明は一般に、コンピュータシステムに関し、より具体的には、Ｋｕｂｅｒｎｅｔｅｓのリモートポッドにおける新しいコンテナストレージシステム用に構成および配置されたコンピュータ実装方法、コンピュータシステム、およびコンピュータプログラム製品に関するものである。

Ｋｕｂｅｒｎｅｔｅｓは、一般的にＫ８ｓと呼ばれ、コンピュータアプリケーションのデプロイ、スケーリング、および管理を自動化するためのオープンソースのコンテナオーケストレーションシステムである。特に、ホストのクラスタにまたがるアプリケーションコンテナのデプロイメント、スケーリング、および操作を自動化するためのプラットフォームを提供することを目的としている。Ｋｕｂｅｒｎｅｔｅｓは、さまざまなコンテナツールと連携し、しばしば、Ｄｏｃｋｅｒを使用して構築したイメージでコンテナをクラスタ内で実行する。Ｄｏｃｋｅｒは、オペレーティングサービス（ＯＳ）レベルの仮想化を使用して、コンテナと呼ばれるパッケージでソフトウェアを提供するＰａａＳ（Platform as a Service）製品の一連である。コンテナは互いに孤立し、独自のソフトウェア、ライブラリ、および構成ファイルをバンドルしている。すなわち、コンテナは、明確に定義されたチャネルを通じて互いに通信することができる。全てのコンテナは、単一のオペレーティングシステムカーネルのサービスを共有することができる。Ｋｕｂｅｒｎｅｔｅｓの基本的なスケジューリング単位は「ポッド」である。ポッドとは、コンテナ化されたコンポーネントのグループ化である。ポッドには、同じノードに共存することが保証された１つまたは複数のコンテナが含まれる。多くのクラウドサービスでは、Ｋｕｂｅｒｎｅｔｅｓベースのプラットフォームやインフラストラクチャをサービスとして提供し、その上にＫｕｂｅｒｎｅｔｅｓをプラットフォーム提供サービスとしてデプロイすることができる。スケジューラは、非スケジュール型ポッド（スケジューラが管理する基本エンティティ）がどのノードで実行されるかを、リソースの可用性に基づいて選択するプラグ可能なコンポーネントである。スケジューラは、各ノードのリソース使用状況を追跡し、利用可能なリソースを超えるワークロードがスケジュールされないようにする。クラウド内のノード上でソフトウェアアプリケーションを起動し実行するように構成されたコンテナを有するポッドの既存の技術は、その意図する目的に適しているが、必要とされているのは、本発明の実施形態の特定の特徴を有するシステムである。

Ｋｕｂｅｒｎｅｔｅｓのリモートポッドにおける新しいコンテナストレージシステムのためのコンピュータ実装方法、システム、およびコンピュータプログラム製品を提供する。

本発明の実施形態は、Ｋｕｂｅｒｎｅｔｅｓのリモートポッドにおける新しいコンテナストレージシステムのためのコンピュータ実装方法に向けられている。非限定的な例示的コンピュータ実装方法は、ワーカーノード仮想マシンによって、ボリュームがワーカーノード仮想マシンにアタッチするために利用可能であることを決定することを含む。コンピュータ実装方法は、ポッドコンテナストレージインタフェースに、ボリュームをポッド仮想マシンにアタッチさせるよう、ワーカーノード仮想マシンの中間ソフトウェアを使用することを含む。また、コンピュータ実装方法は、ポッド仮想マシンにボリュームをアタッチすることに応じて、ポッド仮想マシンによってボリュームが使用可能になるように、ポッドコンテナストレージインターフェースにボリュームをポッド仮想マシンにマウントさせるよう、ワーカーノード仮想マシンの中間ソフトウェアを使用することを含む。

これにより、ワーカーノードとは別の仮想マシンで動作するリモートポッドにボリュームをアタッチしてマウントすることで、ワーカーノードとは別の仮想マシンでリモートポッドが動作する場合、ワーカーノードにアタッチしたボリュームをリモートポッドにマウントできないという課題を克服し、既知の方法に対する改善策を提供できる。

上述または後述の１つまたは複数の特徴に加えて、または代替案として、本発明のさらなる実施形態では、ボリュームは、永続ボリュームである。したがって、これは、ワーカーノードとは別の仮想マシンで動作するリモートポッドに永続ボリュームをマウントする技術を有利に提供する。

上述または後述の１つまたは複数の特徴に加えて、または代替案として、本発明のさらなる実施形態では、ワーカーノード仮想マシンは、ボリュームをアタッチする要求を受信し、ボリュームをワーカーノード仮想マシンにアタッチする代わりに、要求が中間ソフトウェアをトリガーして、ボリュームをポッド仮想マシンにアタッチさせるように構成される。したがって、これは、ワーカーノードとは別の仮想マシンで実行されているリモートポッドにボリュームをアタッチする技術を有利に提供する。

上述または後述の１つまたは複数の特徴に加えて、または代替案として、本発明のさらなる実施形態では、ワーカーノード仮想マシンは、ボリュームをマウントする要求を受信し、ボリュームをワーカーノード仮想マシンにマウントする代わりに、要求が中間ソフトウェアをトリガーして、ボリュームをポッド仮想マシンにマウントさせるように構成される。したがって、これは、ワーカーノードとは別の仮想マシンで実行されているリモートポッドにボリュームをマウントする技術を有利に提供する。

本発明の他の実施形態は、上述した方法の特徴をコンピュータシステムおよびコンピュータプログラム製品に実装するものである。

追加の技術的特徴および利点は、本発明の技術によって実現される。本発明の実施形態および態様は、本明細書で詳細に説明され、請求された主題の一部とみなされる。より良い理解のために、詳細な説明および図面を参照されたい。

本明細書に記載された排他的権利の具体的内容は、明細書の結論にある特許請求の範囲で特に指摘され、明確に主張されている。本発明の実施形態の前述および他の特徴および利点は、添付の図面と併せて取られる以下の詳細な説明から明らかである。

本発明の１つまたは複数の実施形態と組み合わせて使用するための例示的なコンピュータシステムのブロック図である。 本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓのリモートポッドを提供し使用するためのシステムのブロック図である。 本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓにおいて仮想マシンとしてリモートポッドを提供および使用するためのシステムにおけるノードおよびポッド階層のブロック図である。 本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓにおいて仮想マシンとしてリモートポッドを提供し使用するためのシステムにおける例示的なアーキテクチャのブロック図である。 １つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓのための仮想マシンとしてリモートポッドを提供し使用するためのコンピュータ実装プロセスのフローチャートである。 本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓにおいて仮想マシンとしてリモートポッドを提供し使用するためのシステムにおける例示的なネットワークアーキテクチャを示す図である。 本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓにおいて仮想マシンとしてリモートポッドを提供し使用するためのコンピュータ実装プロセスのフローチャートである。 本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓのリモートポッドにおける新しいコンテナストレージシステムのためのシステムにおける例示的なコンテナストレージインターフェースアーキテクチャのブロック図である。 本発明の１つまたは複数の実施形態による、コンテナストレージインターフェースドライバにおける１つまたは複数の新しいコンポーネントを使用してＫｕｂｅｒｎｅｔｅｓ内のリモートポッドに新しいコンテナストレージシステムをインストールするためのシステムにおけるアーキテクチャの更なる詳細を示すブロック図である。 本発明の１つまたは複数の実施形態による、システムにおける新しいコンテナストレージインターフェースを使用してＫｕｂｅｒｎｅｔｅｓ内のリモートポッドに新しいコンテナストレージシステムをインストールするためのプロセスのブロック図である。 本発明の１つまたは複数の実施形態による、コンテナストレージインターフェースドライバにおける１つまたは複数の新しいコンポーネントを使用して、Ｋｕｂｅｒｎｅｔｅｓ内のリモートポッドに新しいコンテナストレージシステムをインストールするために呼び出すこと、もしくは利用することまたはその組み合わせができる様々な機能のブロック図を示している。 本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓのリモートポッドに新しいコンテナストレージシステムをインストールするための拡張コンテナストレージインターフェースオブジェクトのブロック図である。 本発明の１つまたは複数の実施形態による、ワーカーノード仮想マシンの代わりに、永続ボリュームをリモートポッド仮想マシンにアタッチしてマウントするためのコンピュータ実装方法を示すフローチャートである 本発明の１つまたは複数の実施形態による、クラウドコンピューティング環境を示す図である。 本発明の１つまたは複数の実施形態による、抽象化モデルレイヤを示す図である。

本発明の１つまたは複数の実施形態は、Ｋｕｂｅｒｎｅｔｅｓのリモートポッドにおける新しいコンテナストレージシステムを提供するために配置及び構成されたコンピュータ実装方法、コンピュータシステム、及びコンピュータプログラム製品を提供する。本発明の１つまたは複数の実施形態は、ポッド仮想マシンが論理的にワーカーノード仮想マシンに属するが、ポッド仮想マシンはワーカー仮想マシンから遠隔の仮想マシン内で物理的に実行される、新しいワーカー及びポッド階層を導入する。したがって、ポッド仮想マシンは、それ自身の仮想マシンにあることによって、より良い分離とより良い性能の両方を有する。さらに、１つまたは複数の実施形態は、コンテナストレージインターフェース（ＣＳＩ）コントローラプラグイン及びＣＳＩノードプラグインと共に利用することができるＣＳＩポッドプラグインを追加することによって、新しいコンテナストレージシステムを提供する。１つまたは複数の実施形態によれば、例えば、ファイルストレージもしくはブロックストレージまたはその組み合わせのような永続ボリュームをリモートポッド仮想マシンにアタッチし、新しいＣＳＩポッドプラグインを使用してリモートポッド内のコンテナにマウントすることが可能である。

一般的なＫｕｂｅｒｎｅｔｅｓクラスタでは、ワーカーノードのプロセスであるコンテナとして、ワークロード（ソフトウェアアプリケーションなど）がポッド内で動作する。オープンソースでＯＣＩ（Open Container Initiative）に準拠するＫａｔａ Ｃｏｎｔａｉｎｅｒｓは、仮想マシンをポッドとして導入し、クラウドネイティブアプリケーションのワーカーノード内／上のゲスト仮想マシン内でワークロードが実行されるようになっている。しかし、ワーカーノードの仮想マシン上でゲスト仮想マシンとして動作するＫａｔａポッドは、パフォーマンス上の問題を引き起こす。特に、第２レベルの仮想マシンやネストされた仮想マシンは、通常、中央処理装置（ＣＰＵ）やメモリの使用率／効率が５～１０％低下し、入出力操作毎秒（ＩＯＰＳ）などの入出力（Ｉ／Ｏ）ではさらに悪化する。最悪の場合、Ｉ／Ｏのダウングレードは約３０％になる。

１つまたは複数の実施形態は、ポッド仮想マシンをピア仮想マシンとして（物理的に）実行させながら、論理的にはワーカーノード仮想マシンに所属させることができる新しいシステムを提供するものである。このようにして、システムは、Ｋｕｂｅｒｎｅｔｅｓの機能と一致し、Ｋａｔａにおけるネストされた仮想マシンの性能損失／問題を回避する。技術的な利益及び利点は、１つまたは複数の実施形態によれば、ワーカーノードは管理されたリモートポッド仮想マシンに直接アクセスできないため、ワーカーノード仮想マシンとリモートポッド仮想マシンとの間のより良い分離を提供する。技術的な利益及び利点は、ＣＰＵ、メモリ、及びディスクの使用／性能の点で、リモートポッド仮想マシンのより良い性能を含む。さらに、１つまたは複数の実施形態は、リモートポッド仮想マシンがワーカーノード仮想マシンのリソースによって制限されず、任意のホストマシンにデプロイされることができるので、より良い拡張性を証明する。

さらに、典型的には、ＣＳＩは、最初にワーカーノードに永続ボリュームをアタッチし、次にワーカーノード内に含まれるポッドにボリュームをマウントするため、ＣＳＩドライバは、リモートポッドシステムでは動作しない。しかしながら、リモートポッド仮想マシンは、１つまたは複数の実施形態による、ワーカーノード仮想マシンとは別の仮想マシンで実行されており、それによって、ワーカーノード仮想マシン内に含まれていない。したがって、リモートポッド仮想マシンがワーカーノード仮想マシンに含まれていないときに、リモートポッド仮想マシン内の新しいＣＳＩポッドプラグインコンポーネントを使用して、永続ボリュームをアタッチおよびマウントする、新しいコンテナストレージシステムが提供される。１つまたは複数の実施形態は、リモートポッド仮想マシンへの永続ボリュームのアタッチを支援する技術とともに、ボリュームのアタッチを記述するための拡張ボリュームアタッチメント（VolumeAttachment）オブジェクトを開示する。

図１において、本発明の１つまたは複数の実施形態による、コンピュータシステム１００が概ね示されている。コンピュータシステム１００は、本明細書で説明するように、様々な通信技術を利用するコンピューティングデバイス及びネットワークの任意の数及び組合せを含む、もしくは使用する、またはその両方をする、電子、コンピュータフレームワークとすることができる。コンピュータシステム１００は、容易にスケール変更が可能で、拡張可能で、モジュール式であってもよく、異なるサービスに変更する能力があってもよく、他の機能とは独立していくつかの機能を再構成したりすることができる。コンピュータシステム１００は、例えば、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、又はスマートフォンであり得る。いくつかの例では、コンピュータシステム１００は、クラウドコンピューティングノードであり得る。コンピュータシステム１００は、プログラムモジュールなどのコンピュータシステム実行可能命令がコンピュータシステムによって実行されるという一般的な文脈で説明することができる。一般に、プログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム１００は、通信ネットワークを介してリンクされるリモート処理装置によってタスクが実行される分散型クラウドコンピューティング環境において実施することができる。分散型クラウドコンピューティング環境では、プログラムモジュールは、メモリ記憶装置を含むローカル及びリモートコンピュータシステム記憶媒体の両方に配置することができる。

図１に示すように、コンピュータシステム１００は、１つまたは複数の中央処理装置（ＣＰＵ）１０１ａ、１０１ｂ、１０１ｃなど（総称または一般的にプロセッサ１０１と呼ぶ）を有する。プロセッサ１０１は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成とすることができる。プロセッサ１０１は処理回路とも呼ばれ、システムバス１０２を介して、システムメモリ１０３および他の様々なコンポーネントに結合される。システムメモリ１０３は、リードオンリーメモリ（ＲＯＭ）１０４とランダムアクセスメモリ（ＲＡＭ）１０５を含むことができる。ＲＯＭ１０４は、システムバス１０２に結合され、コンピュータシステム１００の特定の基本機能を制御する基本入出力システム（ＢＩＯＳ）またはＵＥＦＩ（Unified Extensible Firmware Interface）のようなその後継者を含むことができる。ＲＡＭは、プロセッサ１０１が使用するためにシステムバス１０２に結合された読み書き可能なメモリである。システムメモリ１０３は、動作中に前記命令の動作のための一時的なメモリ空間を提供する。システムメモリ１０３は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ、フラッシュメモリ、または他の任意の適切なメモリシステムを含むことができる。

コンピュータシステム１００は、システムバス１０２に結合された入出力（Ｉ／Ｏ）アダプタ１０６および通信アダプタ１０７から構成される。Ｉ／Ｏアダプタ１０６は、ハードディスク１０８もしくは任意の他の同様のコンポーネントまたはその組み合わせと通信する小型コンピュータシステムインタフェース（ＳＣＳＩ）アダプタとすることができる。Ｉ／Ｏアダプタ１０６およびハードディスク１０８は、本明細書では集合的に、マスストレージ１１０と呼ばれる。

コンピュータシステム１００上で実行するためのソフトウェア１１１は、マスストレージ１１０に格納され得る。マスストレージ１１０は、プロセッサ１０１によって読み取り可能な有形記憶媒体の一例であり、ソフトウェア１１１は、様々な図に関して以下で説明するように、コンピュータシステム１００を動作させるために、プロセッサ１０１によって実行するための命令として格納される。コンピュータプログラム製品の例およびそのような命令の実行は、本明細書においてより詳細に説明される。通信アダプタ１０７は、システムバス１０２を、外部ネットワークであり得るネットワーク１１２と相互接続し、コンピュータシステム１００が他のそのようなシステムと通信することを可能にする。一実施形態では、システムメモリ１０３の一部とマスストレージ１１０は、まとめてオペレーティングシステムを格納し、これは、図１に示す様々な構成要素の機能を調整するための任意の適切なオペレーティングシステムとすることができる。

追加の入出力デバイスは、ディスプレイアダプタ１１５およびインタフェースアダプタ１１６を介してシステムバス１０２に接続されるように示されている。一実施形態では、アダプタ１０６、１０７、１１５、１１６は、中間バスブリッジ（図示せず）を介してシステムバス１０２に接続される１つまたは複数のＩ／Ｏバスに接続され得る。ディスプレイ１１９（例えば、スクリーンまたはディスプレイモニタ）は、ディスプレイアダプタ１１５によってシステムバス１０２に接続され、これは、グラフィックス集約型アプリケーションの性能を向上させるためのグラフィックスコントローラおよびビデオコントローラを含むことができる。キーボード１２１、マウス１２２、スピーカー１２３などは、インタフェースアダプタ１１６を介してシステムバス１０２に相互接続することができ、これは、例えば、複数のデバイスアダプタを単一の集積回路に統合したスーパーＩ／Ｏチップを含むことができる。ハードディスクコントローラ、ネットワークアダプタ、及びグラフィックスアダプタなどの周辺装置を接続するための適切なＩ／Ｏバスは、典型的には、ＰＣＩ（Peripheral Component Interconnect）及びＰＣＩｅ（Peripheral Component Interconnect Express）などの共通のプロトコルを含む。したがって、図１に構成されるように、コンピュータシステム１００は、プロセッサ１０１の形態の処理能力、および、システムメモリ１０３およびマスストレージ１１０を含むストレージ能力、キーボード１２１およびマウス１２２などの入力手段、および、スピーカー１２３およびディスプレイ１１９を含む出力能力を含んでいる。

いくつかの実施形態では、通信アダプタ１０７は、特に、インターネットスモールコンピュータシステムインタフェースなどの任意の適切なインタフェース又はプロトコルを用いてデータを伝送することができる。ネットワーク１１２は、特に、セルラーネットワーク、無線ネットワーク、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はインターネットとすることができる。外部のコンピューティングデバイスは、ネットワーク１１２を介してコンピュータシステム１００に接続することができる。 いくつかの例では、外部コンピューティングデバイスは、外部ウェブサーバまたはクラウドコンピューティングノードであり得る。

図１のブロック図は、コンピュータシステム１００が図１に示される構成要素の全てを含むことを示すことを意図していないことを理解されたい。むしろ、コンピュータシステム１００は、図１に図示されていない任意の適切な少数または追加の構成要素（例えば、追加のメモリ構成要素、組み込みコントローラ、モジュール、追加のネットワークインタフェースなど）を含むことができる。さらに、コンピュータシステム１００に関して本明細書に記載された実施形態は、任意の適切なロジックで実装することができ、本明細書に言及されるロジックは、様々な実施形態において、任意の適切なハードウェア（例えば、プロセッサ、組み込みコントローラ、または特定用途向け集積回路）、ソフトウェア（例えば、アプリケーション）、ファームウェア、またはハードウェア、ソフトウェア、およびファームウェアの任意の適切な組合せを含むことが可能である。

図２は、本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓにおけるリモートポッドを提供し使用するためのシステム２００のブロック図である。システム２００は、コンピュータシステム２５１、２５２、２５３、２５４に結合されたコンピュータシステム２０２を含む。コンピュータシステム２０２は、制御ノード、マスターノード、Ｋｕｂｅｒｎｅｔｅｓデプロイメントコントローラなどと呼ばれることがある。コンピュータシステム２０２は、コントロールプレーンの一部であってもよい。コンピュータシステム２５１、２５２、２５３、２５４はそれぞれ、クラスタ内のサーバとすることができる。説明のために、コンピュータシステム２５１、２５２、２５３、２５４はそれぞれ、クラスタ内の１つまたは複数のワーカーノードをホストすることができ、一般にコンピュータシステム２５１～２５４と呼ぶことができる。コンピュータシステム２５１～２５４は、本明細書でさらに議論するように、ノードのための、および仮想マシンを実行するためのホストまたはホストマシンとすることができる。コンピュータシステム２０２及びコンピュータシステム２５１～２５４は、１つまたは複数の実施形態に従って実行するために、図１で議論されたコンピュータシステム１００の任意の要素及び機能を含むことができる。

Ｋｕｂｅｒｎｅｔｅｓは、マスターノードとも呼ばれるコントロールプレーン／パネルを最上位に有する。コントロールプレーン（例えば、コンピュータシステム２０２）がアプリケーションであるワークロードを受信した後、ＡＰＩサーバ２０４は、アプリケーションをＡＰＩオブジェクトとして「ｅｔｃｄ」に保存する。Ｋｕｂｅｒｎｅｔｅｓでは、コントローラマネージャは、制御サイクルによるオーケストレーションを担当する。この制御サイクルは、オーケストレーションを行うために使用され、これらのアプリケーションが必要とするポッドの作成を支援する。ポッドが出現すると、スケジューラは新しいポッドの変化を監視する。スケジューラは新しいポッドを見つけると、スケジューリング・アルゴリズムの実行を支援し、実行結果（例えば、ポッドオブジェクトのノードネーム（NodeName）フィールドにノードの名前、いわゆるバインド操作）を書き込む。そして、スケジューラの作業プロセスであるｅｔｃｄにバインド結果を書き戻す。その結果、ポッドはノードにバインドされ、これをスケジューリングと呼ぶ。例えば、ポッドがワーカーノードにバインドされている場合である。

ｋｕｂｅｌｅｔ（例えば、図３のｋｕｂｅｌｅｔ３１２）は、すべてのポッドオブジェクトの変化を監視／モニターし、ポッドがノードにバインドされていることを発見すると、ｋｕｂｅｌｅｔは、その後のすべてのタスクを実行する。ｋｕｂｅｌｅｔは、この情報を取得した後、各マシン上で動作するｃｏｎｔａｉｎｅｒｄプロセスを呼び出し、このポッド内の全てのコンテナを動作させる。このとき、ｃｏｎｔａｉｎｅｒｄ（例えば、図３のＣＲＩ３１４）は、他のランタイム（例えば、ｒｕｎｃ、ｓｈｉｍなど）を呼び出すことができる。したがって、ランタイムは、これらのネームスペースおよびｃｇｒｏｕｐの設定に役立ち、アプリケーションによって必要とされるコンテナの構築に役立つことができる。

図３は、本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓにおけるリモートポッドを提供し使用するためのシステム２００内のノード及びポッド階層のブロック図である。図３は、ワーカーノード仮想マシン３１０、ポッド仮想マシン３０１、ポッド仮想マシン３０２、及びポッド仮想マシン３０３を示している。ワーカーノード仮想マシン３１０は、ポッド仮想マシン３０１、３０２、３０３と同じ、もしくは異なるまたはその組み合わせのホストマシン上で、任意の組み合わせで実行することができ、ここで、ポッド仮想マシン３０１、３０２、３０３は同じ、もしくは異なるまたはその組み合わせのホストマシン上にあり得る。例えば、ワーカーノード仮想マシン３１０とポッド仮想マシン３０１は、例えばコンピュータシステム２５１のような同じホストマシン上で実行されることができる。また、ワーカーノード仮想マシン３１０とポッド仮想マシン３０１は、例えば、コンピュータシステム２５１及び２５２のような２つの異なるホストマシン上でそれぞれ実行することが可能である。同様に、ワーカーノード仮想マシン３１０とポッド仮想マシン３０２は、同じホストマシン上（例えば、両方ともコンピュータシステム２５１上）もしくは異なるホストマシン上（例えば、コンピュータシステム２５１と２５３上にそれぞれ１つ）またはその組み合わせで実行することができる。同じように、ワーカーノード仮想マシン３１０とポッド仮想マシン３０３は、同じホストマシン上（例えば、両方ともコンピュータシステム２５１上）もしくは異なるホストマシン上（例えば、コンピュータシステム２５１と２５４上にそれぞれ１つ）またはその組み合わせで実行することが可能である。各ポッド仮想マシン３０１、３０２、３０３がワーカーノード仮想マシン３１０にバインドされ得るとしても、ポッド仮想マシン３０１、３０２、３０３の各々は、ワーカーノード仮想マシン３１０を実行しているホストマシンとは異なる可能性のある、それ自身のホストマシン上で実行され得ることが理解されるべきである。説明のために３つのポッドを論じたが、実施形態が３つのポッドに限定されることを意図していないことを理解されたい。さらに、コンピュータシステム２５１～２５４などの各ホストマシンは、独自のハイパーバイザを実行する独自のホストオペレーティングシステムを有する。ポッド仮想マシン３０１、３０２、３０３がワーカーノード仮想マシン３１０とは異なるホストマシンもしくは異なるコンピュータシステムまたはその組み合わせで実行されている場合、それぞれ異なるホストマシンもしくはコンピュータシステムまたはその組み合わせのハイパーバイザは、同じ論理ネットワーク内にある必要がある。

コントロールプレーンは、ｋｕｂｅｌｅｔ３１２と通信するように構成された１つまたは複数のアプリケーションプログラミングインターフェース（ＡＰＩ）サーバ２０４を有する。ＡＰＩサーバ２０４（ａｐｉ‐ｓｅｒｖｅｒまたはａｐｉｓｅｒｖｅｒとも呼ばれる）は、Ｋｕｂｅｒｎｅｔｅｓがカスタム開発の必要なしで、データからデータＡＰＩを作成し公開することを可能にする軽量なウェブアプリケーションである。ｋｕｂｅｌｅｔは、各ワーカーのノード上で実行される主要な「ノードエージェント」である。ｋｕｂｅｌｅｔは、ホスト名、ホスト名を上書きするフラグ、もしくはクラウドプロバイダー用の特定のロジックまたはその組み合わせのいずれか１つまたは複数を使用してａｐｉｓｅｒｖｅｒにノードを登録することができる。ｋｕｂｅｌｅｔは、ＰｏｄＳｐｅｃなどのポッドディスクリプタを使用し、動作する。ＰｏｄＳｐｅｃは、ポッドを記述するＹＡＭＬまたはＪＳＯＮオブジェクトである。Ｋｕｂｅｒｎｅｔｅｓのリソースは宣言的な方法で作成されるため、例えばＹＡＭＬファイルなどを利用する。ポッド、サービス、およびデプロイメントなどのＫｕｂｅｒｎｅｔｅｓのリソースは、当業者であれば理解できるように、ＹＡＭＬファイルを使用して作成することができる。ｋｕｂｅｌｅｔは、様々なメカニズムを通じて（主にＡＰＩサーバを通じて）提供されるＰｏｄＳｐｅｃｓのセットを受け取り、それらのＰｏｄＳｐｅｃｓに記述されたコンテナが実行されており、健全であることを確かにする。

図３において、ワーカーノード仮想マシン３１０は、コンテナランタイムインターフェース（ＣＲＩ）３１４を使用して１つまたは複数のシム３２０＿１、３２０＿２、３２０＿３を作成するように構成されたｋｕｂｅｌｅｔ３１２を有する。シム３２０＿１、３２０＿２、３２０＿３は、一般にシム３２０と呼ぶことができる。各シム３２０＿１、３２０＿２、３２０＿３は、それぞれ自身のポッド仮想マシン３０１、３０２、３０３と一対一の関係を有する。各個別のシム３２０＿１、３２０＿２、３２０＿３は、ポッド仮想マシン３０１、３０２、３０３がワーカーノード仮想マシン３１０にネストされない、もしくはワーカーノード仮想マシン３１０のゲスト仮想マシンまたはその両方であるように、それぞれ独自のポッド仮想マシン３０１、３０２、３０３を作成するよう構成される。コンテナネットワークインターフェース（ＣＮＩ）３１６は、ポッド仮想マシン３０１、３０２、３０３内のＩＰネットワークシステムをワーカーノード仮想マシン３１０内のＩＰネットワークシステムによって管理させるように構成される。ＣＲＩ３１４、ＣＮＩ３１６、及びシム３２０＿１、３２０＿２、３２０＿３は、それぞれ、プロセッサ１０１などのプロセッサ上で実行可能なコンピュータ実行可能命令を有するソフトウェアの一部である。

ＣＲＩ３１４は、ＣＲＩｃｏｎｔａｉｎｅｒｄ、ｃｏｎｔａｉｎｅｒｄ、ｃｏｎｔａｉｎｅｒｄＣＲＩなどと呼ばれることもある。ＣＲＩ３１４は、スタック内の他のランタイムのためのＡＰＩフェースプレートと考えることができる高レベルのランタイムおよびデーモンである。ｒｕｎｃなどの下位ランタイムが実際にコンテナを実行するプロセスを処理する一方で、ｃｏｎｔａｉｎｅｒｄなどの上位ランタイムは、コンテナのライフサイクル、イメージ管理、下位ランタイムへの抽象化などを処理する。下位ランタイムがコンテナ構築のための仕組みを提供するのに対し、ｃｏｎｔａｉｎｅｒｄはコンテナプラットフォーム構築のための仕組みを持ち、監視や委任を行うために、リモートアプリケーションによって使用されるＡＰＩを備えている。ＣＲＩには、コンテナランタイムがノード上のｋｕｂｅｌｅｔと統合するためのＡＰＩ、仕様／要件およびライブラリが含まれる。ＣＮＩ３１６は、クラスタ上のネットワークリソースを管理するためのランタイムもしくは仕様またはその組み合わせである。ＣＮＩはサポートされる多数のプラグインと共に、コンテナ内のネットワークインタフェースを設定するためのプラグインを記述するための仕様とライブラリから構成されている。ＣＮＩは、コンテナのネットワーク接続と、コンテナの削除時に割り当てられたリソースを取り除くことに重点を置いている。この点に着目しているため、ＣＮＩはサポート範囲が広く、実装が簡単な仕様になっている。Ｋｕｂｅｒｎｅｔｅｓのコンポーネントが他のコンポーネントと通信できない場合、そのコンポーネントと、関連するＫｕｂｅｒｎｅｔｅｓのインタフェースとの間でトランスレートするように構成されたソフトウェアがシム３２０である。例えば、シム３２０は、ＣＲＩコマンドを受け取り、エージェント４２０（図４に示す）が理解するものにトランスレートし、その逆もまた然りである。さらに、コンテナランタイムシムは、コンテナマネージャ（ｃｏｎｔａｉｎｅｒｄ、ｃｒｉ－ｏ、ｐｏｄｍａｎ）とコンテナランタイム（ｒｕｎｃ、ｃｒｕｎ）との間に存在するソフトウェアの一部であり、これらの対応するものの統合問題を解決している。

さらなる詳細を提供するために、図４は、本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓにおいて仮想マシンとしてリモートポッドを提供し使用するためのシステム２００における例示的なアーキテクチャのブロック図である。簡潔さのために、コントロールプレーンのコンピュータシステム２０２は、図４では省略されているが、存在することが理解される。図４は、ワーカーノード仮想マシン３１０から遠隔のポッド仮想マシン３０１の提供、作成、もしくはセットアップまたはその組み合わせをするために、ワーカーノード仮想マシン３１０でシム３２０＿１を使用する例を示す。ポッド仮想マシン３０１は、ワーカーノード仮想マシン３１０を実行するホストマシンから遠隔の別のホストマシン上でホストされ得る。ポッド仮想マシン３０１は、ワーカーノード仮想マシン３１０と同じホストマシン上でホストされ得るが、依然として別個の又は遠隔の仮想マシンにある。実施例は、ポッド仮想マシン３０１をセットアップするためにワーカーノード仮想マシン３１０内のシム３２０＿１を使用することを論じるかもしれないが、説明は、ポッド仮想マシン３０２をセットアップするためのシム３２０＿２及びポッド仮想マシン３０３をセットアップするためのシム３２０＿３に類推して適用することを理解されたい。

図５は、本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓのための仮想マシンとしてリモートポッドを提供し使用するための、コンピュータ実装プロセス５００のフローチャートである。図５のコンピュータ実装プロセス５００は、システム２００を使用して実装することができる。したがって、コンピュータ実装プロセス５００は、次に、システム２００を参照して説明される。

ブロック５０２において、ワーカーノード仮想マシン３１０は、ホストマシン上のクラスタに新しいポッドを作成するためのポッドディスクリプションまたはポッドディスクリプタを受信するように構成されている。例えばｋｕｂｅｌｅｔ３１２は、コンピュータシステム２０２からポッドディスクリプションを受信するように構成される。ポッドディスクリプションは、ポッド仕様（例えば、ＰｏｄＳｐｅｃｓ）を含み、ＹＡＭＬファイルまたはＪＳＯＮファイル内にあることができる。各Ｋｕｂｅｒｎｅｔｅｓのデプロイメントは、いわゆるポッドテンプレートを使用する。このポッドテンプレートは、当業者が理解するように、ポッドがどのように見えるべきか、どのアプリケーションがポッドのコンテナの内部で実行されるかなどを決定する仕様を提供する。スケジューラの支援により、コンピュータシステム２０２のコントローラマネージャは、ワーカーノード仮想マシン３１０にポッドを整合させるか、または割り当てることができる。

ブロック５０４において、ワーカーノード仮想マシン３１０は、ｋｕｂｅｌｅｔ３１２を使用して、ポッドをモニターし、ランタイムソフトウェア（コンピュータ実行可能な命令を有する）においてサンドボックス機能（環境として）を呼び出すように構成される。１つまたは複数の実施形態において、シム３２０＿１は、以下でさらに議論されるように、シム３２０＿１が開始された後、コンピューティング環境としてサンドボックス機能を呼び出すことができる。サンドボックス４６０またはポッドサンドボックスは、ワーカーノード仮想マシン上の分離されたコンピューティング環境である。例えば、ｋｕｂｅｌｅｔ３１２は、ポッドの実行を開始するために、ＣＲＩ３１４のサンドボックス機能（例えば、ｒｕｎ ｐｏｄ ｓａｎｄｂｏｘ）を呼び出すように構成される。サンドボックスは、実行中のプログラムを分離するためのセキュリティ機構であり、通常、システム障害もしくはソフトウェアの脆弱性またはその両方が広がるのを緩和するために励んでいる。サンドボックスは、ホストマシンまたはオペレーティングシステムに危害を加えるリスクなしにプログラムまたはコードを実行するために、しばしば使用される。ｋｕｂｅｌｅｔ３１２もしくはＣＲＩ３１４またはその両方は、ＣＮＩ３１６を呼び出すことができる。

ブロック５０６において、ワーカーノード仮想マシン３１０は、上記でまだ作成されていない場合、新しいポッドの準備のために新しいシム３２０＿１を開始もしくは作成またはその両方をするよう構成される。例えば、ＣＲＩ３１４は、新しいポッドのためのリモート仮想マシンの作成のために、シム３２０＿１を呼び出すことができる。シム３２０＿１は、シム３２０＿１もしくはシェルポッドまたはその両方がワーカーノード仮想マシン３１０に対する実際のポッド仮想マシンであるように見えるように、ポッドサンドボックス（環境）内にシェルポッド４６４を作成／開始するよう構成される。シェルポッド４６４は、作成されるポッド仮想マシンのプレースホルダとして使用される不完全なポッドとしてよい。より詳細には、シム３２０＿１がポッドの代表となるように、ワーカーノード仮想マシン３１０は、シェルポッド４６４を有するポッドサンドボックス４６０を管理／実行するシム３２０＿１と相互作用する。ワーカーノード仮想マシン３１０は、シェルポッド４６４を有するポッドサンドボックス４６０を管理／実行するシム３２０＿１を、シェルポッド４６４であることから、実際のポッド仮想マシンとして見なす、もしくは認識またはその両方をする。シェルポッド４６４は、他のポッドと同様に起動されるが、セットアップを完了する前に一時停止される。

ブロック５０８において、ワーカーノード仮想マシン３１０は、シム３２０＿１を使用して、（ポッド）仮想マシンサービス４３２を呼び出し、仮想マシンサービス４３２にポッド仮想マシン３０１を作成／インスタンス化させるように構成される。シム３２０＿１は、仮想マシンサービス４３２と通信し、ホストマシン上にポッド仮想マシン３０１を作成することを要求するためのコンピュータ実行可能命令を含む。仮想マシンサービス４３２は、クラスタに対するサービスであり、エンドポイントへのアクセスを提供する。ワーカーノード仮想マシン３１０のシム３２０＿１は、サービスエンドポイントを必要とするので、仮想マシンサービス４３２を呼び出し、仮想マシンサービス４３２は、ホストのリソース使用状況などのポリシーに従って、ホストマシン（例えば、コンピュータシステム）を選択する。例えば、ワーカーノード仮想マシン３１０は、コンピュータシステム２５１上でホストされ、ポッド仮想マシン３０１は、同じコンピュータシステム２５１上で別々にホストされる（すなわち、ワーカーノード仮想マシン３１０にネストされていない）、もしくは異なるコンピュータシステム２５２でホストされる、またはその組み合わせであり得る。ポッドを作成する最先端のシステムがワーカーノード仮想マシン自体にあるのとは異なり、本発明の１つまたは複数の実施形態に従って、シム３２０＿１は、仮想マシンサービス４３２に、ポッド仮想マシン３０１を作成するための仮想リソース（ＣＰＵ、メモリ、Ｉ／Ｏなどを含む）をワーカーノード仮想マシン３１０の外部で取得させるコンピュータ実行可能命令を有している。

ブロック５１０において、ワーカーノード仮想マシン３１０は、シム３２０＿１を使用して、ポッド仮想マシンの初期化を実行し、エージェント４２０を作成／呼び出し／セットアップし、ポッド仮想マシン３０１内のインナーＣＲＩ４１４（例えば、インナーｃｏｎｔａｉｎｅｒｄ ＣＲＩ）を作成／呼び出し／セットアップし、ワーカーノード仮想マシン３１０とポッド仮想マシン３０１との間にネットワークおよびトンネルをセットアップするよう構成されている。ネットワークをセットアップするために、シム３２０＿１は、仮想マシンサービス４３２と通信し、もしくは仮想マシンサービス４３２に指示し、またはその両方をし、ネットワークハンドラ４３４にワーカーノード仮想マシン３１０とポッド仮想マシン３０１との間に論理ネットワーク接続を作成させるように構成されている。この論理的ネットワーク接続は、アンダーレイネットワークの上に位置するオーバーレイネットワークである。オーバーレイネットワークを使用して、ワーカーノード仮想マシン３１０は、ポッド仮想マシン３０１にインターネットプロトコル（ＩＰ）アドレスを提供するように構成される。論理ネットワーク接続は、本明細書で論じるように通信するために、ワーカーノード仮想マシン３１０とポッド仮想マシン３０１との間にトンネルを作成する。ワーカーノード仮想マシン３１０はワーカーノードアイデンティティを有し、ポッド仮想マシン３０１はポッドアイデンティティを有し、これらの両方は論理ネットワーク接続を作成するために利用され、図６のマッピングテーブル６５０に格納される。ワーカーノード仮想マシン３１０の仮想イーサネット（例えば、ｅｔｈ０）からポッド仮想マシン３０１の仮想イーサネット（例えば、ｅｔｈ０）への論理接続を介して、ワーカーノード仮想マシン３１０とポッド仮想マシン３０１は同じネットワーク上にある。ネットワークハンドラ４３４は、ハイパーバイザと連携して、論理的なネットワーク接続を提供することができる。ネットワークハンドラ４３４は、ホスト（例えば、コンピュータシステム２５１）上で実行され、リモートポッド仮想マシンとワーカーノード仮想マシンを接続するためのアンダーレイネットワークの作成を担当する。ポッド仮想マシンとワーカーノード仮想マシンが２つの別々のホスト上で実行されている場合、ネットワークで一緒に動作する２つの別々のホストオペレーティングシステムと２つのネットワークハンドラが存在し得る。

論理接続をセットアップした後、シム３２０＿１はエージェント４２０を作成し、ポッド仮想マシン３０１内のエージェント４２０は、ワーカーノード仮想マシン３１０内のシム３２０＿１と通信するよう構成される。１つまたは複数の実施形態において、シム３２０＿１は、ポッド仮想マシン３０１で作成されるエージェント４２０を呼び出すことができる。１つまたは複数の実施形態では、シム３２０＿１は、サンドボックス４６０でエージェント４２０を作成し、エージェント４２０をポッド仮想マシン３０１に転送することができる。エージェント４２０は、本明細書で議論されるように動作する、コンピュータ実行可能命令を含む。論理接続をセットアップした後、シム３２０＿１は、インナーＣＲＩ４１４を作成し、インナーＣＲＩ４１４は、ポッド仮想マシン３０１にコンテナを作成するように構成されている。エージェント４２０は、シム３２０とインナーＣＲＩ４１４との間の要求の転送を支援するように構成される。１つまたは複数の実施形態では、シム３２０＿１は、エージェント４２０を使用して、ポッド仮想マシン３０１内に作成されるようにインナーＣＲＩ４１４を呼び出すことができる。１つまたは複数の実施形態では、シム３２０＿１は、サンドボックス４６０でＣＲＩ４１４を作成し、エージェント４２０を介してＣＲＩ４１４をポッド仮想マシン３０１に転送することができる。

ブロック５１２において、シム３２０＿１は、インナーＣＲＩ４１４に例示的なコンテナ４４０および４４１を作成するように、呼び出す／させるよう構成される。例えば、シム３２０＿１は、インナーＣＲＩ４１４がコンテナ４４０および４４１を作成するために、エージェント４２０を介して、特に、インナーＣＲＩ４１４に、シェルポッド４６４に意図されたコンテナのためのＡＰＩもしくはＡＰＩオブジェクトまたはその両方をポッド仮想マシン３０１へ転送するように構成される。シム３２０＿１は、エージェント４２０に要求を送るように構成され、このエージェント４２０は、次に、要求をポッド仮想マシン３０１内のインナーＣＲＩ４１４にリダイレクトする。ＣＲＩ４１４は、コンテナ４４０および４４１を作成するためにｃｏｎｔａｉｎｅｒｄを呼び出すように指示される。コンテナ４４０および４４１はそれぞれ、ソフトウェアアプリケーションがポッド仮想マシン３０１を実行するホストマシン上で実行されるように、ポッド仮想マシン３０１上で別のソフトウェアアプリケーションを開始／インスタンス化するためにオープン／ランされる。コンテナ４４０および４４１はサンドボックス４６０のシェルポッド４６４に形成されるのではなく、コンテナ４４０および４４１はポッド仮想マシン３０１に形成される。さらに、サンドボックス４６０において、一時停止されたコンテナ４６２が起動されてもよい。一時停止されたコンテナ４６２は、不完全もしくは、コンテナのシェルまたはその両方である。

ブロック５１４において、カスタマイズされたｃＡｄｖｉｓｏｒ４１０もしくはｋｕｂｅｌｅｔ３１２（カスタマイズされたｃＡｄｖｉｓｏｒ４１０はｋｕｂｅｌｅｔ３１２内にあってもよい）またはその組み合わせは、リソースモニタリングのためにポッド仮想マシン３０１を報告するため、リソース認識サービス４３０を呼び出すよう構成される。ポッド仮想マシン３０１を報告することは、ポッド仮想マシン３０１のポッドアイデンティティをリソース認識サービス４３０及びＡＰＩサーバ２０４に報告することを含む。リソース認識サービス４３０は、ポッド仮想マシン３０１のリソースを維持するように構成される。

図６は、本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓにおける仮想マシンとしてリモートポッドを提供し使用するためのシステム２００におけるネットワークアーキテクチャの一例を示すブロック図である。図６のシステム２００は、図を不明瞭にしないようにいくつかの要素を省略しているが、システム２００は、本明細書で論じるような要素およびその機能を含むことが理解されるべきである。ポッド仮想マシン３０１、３０２は、簡潔にするために示されているが、説明は、ポッド仮想マシン３０３および任意の追加のポッド仮想マシンに適用される。

ホストネットワークハンドラ４３４は、ワーカーノード仮想マシン３１０およびポッド仮想マシン３０１、３０２のためのオーバーレイネットワークをセットアップするためのアンダーレイネットワークへのアクセスを提供する役割を担う。アンダーレイネットワークは、オーバーレイネットワークが構築される物理的なインフラストラクチャである。アンダーレイネットワークは、ネットワークを介したパケットの配信を担当する基礎となるネットワークである。オーバーレイネットワークは、仮想ローカルエリアネットワーク（ＶＬＡＮ）もしくはＣＮＩ３１６によってセットアップされる任意の適用可能なネットワークまたはその組み合わせとすることができる。ポッド仮想マシンの作成中にシム３２０＿１によって初期化されるように、ポッド仮想マシン３０１、３０２の各々は、一意のポッドネームスペースを有する。例えば、ポッド仮想マシン３０１はポッドネームスペース６０１を有し、ポッド仮想マシン３０２はポッドネームスペース６０２を有する。同様に、シム３２０＿１は、ワーカーノード仮想マシン３１０にプロキシネットワークネームスペース６１１及びプロキシネットワークネームスペース６１２を作成するように構成される。各ポッドネームスペース６０１、６０２は、それぞれポッド仮想マシン３０１、３０２内のオブジェクトであり、各プロキシネットワークネームスペース６１１、６１２は、ワーカーノード仮想マシン３１０内のオブジェクトである。マッピングテーブル６５０に格納されたポッド仮想マシン３０１のポッドアイデンティティを用いて、シム３２０＿１は、プロキシネットワークネームスペース６１１を、ポッド仮想マシン３０１のプロキシまたはプロキシネットワークに割り当てる。マッピングテーブル６５０に格納されたポッド仮想マシン３０２のポッドアイデンティティを使用して、シム３２０＿１は、ポッド仮想マシン３０２のプロキシまたはプロキシネットワークとなるようにプロキシネットワークネームスペース６１２を割り当てる。このマッピングは、マッピングテーブル６５０に格納される。

各ポッド仮想マシン３０１、３０２は、コンテナを有するポッドネームスペースへの仮想イーサネット接続と、ポッドネームスペースの外への仮想イーサネット接続を有する。例えば、ポッド仮想マシン３０１は、ポッドネームスペース６０１内の仮想イーサネット接続（ＶＥＴＨ１）をポッド仮想マシン３０１内のポッドネームスペース６０１の外にある別の仮想イーサネット接続（ＶＥＴＨ０）に接続しており、仮想イーサネット接続（ＶＥＴＨ１およびＶＥＴＨ０）は一組である。ポッド仮想マシン３０２は、ポッドネームスペース６０２内の仮想イーサネット接続（ＶＥＴＨ１）が、ポッド仮想マシン３０２内のポッドネームスペース６０２の外にある別の仮想イーサネット接続（ＶＥＴＨ０）に接続されており、ポッド仮想マシン３０２上で仮想イーサネット接続（ＶＥＴＨ１およびＶＥＴＨ０）は一組となる。ワーカーノード仮想マシン３１０では、プロキシネットワークネームスペース６１１内の仮想イーサネット接続（ＶＥＴＨ１）が、プロキシネットワークネームスペース６１１の外にある別の仮想イーサネット接続（ＶＥＴＨ０）に接続されており、仮想イーサネット接続（ＶＥＴＨ１およびＶＥＴＨ０）は一組となる。ワーカーノード仮想マシン３１０では、プロキシネットワークネームスペース６１２は、プロキシネットワークネームスペース６１２内の仮想イーサネット接続（ＶＥＴＨ３）が、プロキシネットワークネームスペース６１２の外にある別の仮想イーサネット接続（ＶＥＴＨ２）に接続されており、仮想イーサネット接続（ＶＥＴＨ３およびＶＥＴＨ２）は別の一組である。プロキシネットワークネームスペース６１１、６１２はそれぞれ、各々の仮想イーサネット接続を介してブリッジに接続されている（独自のＩＰアドレスを有している）。

ＣＮＩ３１６もしくはシム３２０＿１またはその両方は、ワーカーノード仮想マシン３１０内のプロキシネットワークネームスペース６１１とポッド仮想マシン３０１内のポッドネームスペース６０１との間に、トラフィック（例えば、データ）がミラーリング／コピーされてワーカーノード仮想マシン３１０とポッドネームスペース６０１との間を行き来して通信するような仮想プライベートネットワークなどのトンネル（例えば、トンネル０）を作成するように構成されている。同様に、ＣＮＩ３１６もしくはシム３２０＿２またはその両方は、ワーカーノード仮想マシン３１０内のプロキシネットワークネームスペース６１２とポッド仮想マシン３０１内のポッドネームスペース６０２との間に、トラフィック（例えば、データ）がミラーリング／コピーされてワーカーノード仮想マシン３１０とポッドネームスペース６０２との間を行き来して通信するような仮想プライベートネットワークなどの別のトンネル（例えば、トンネル１）を作成するように構成される。すなわち、トンネルおよび仮想イーサネット接続は、トラフィックをミラーリングして行き来する。ＣＮＩ３１６もしくは３２０＿１またはその両方は、ポッド仮想マシン３０１、３０２のポッドネームスペース６０１、６０２のそれぞれに固有のＩＰアドレスを割り当てるように構成され、そのすべてがマッピングテーブル６５０に格納される。

本明細書で論じるように、ポッド仮想マシン３０１、３０２、３０３は、ワーカーノード仮想マシン３１０を実行しているホストマシンとはそれぞれ異なることができる任意のホストマシン上で実行するようにデプロイすることができ、もしくは１つまたは複数のポッド仮想マシン３０１、３０２、３０３がワーカーノード仮想マシン３１０と同じホストマシン上にあり、他のポッド仮想マシンが異なるホストマシン上にあってもよく、またはその組み合わせでもよい。ワーカーノードの立場からは、実際のコンテナフットプリントがワーカーノード仮想マシン３１０とは異なる他の仮想マシン上にあることは意識されない。つまり、ポッド仮想マシン上にはＣＮＩコードは存在しない。さらに、ワーカーノード仮想マシン３１０は、プロキシネットワークネームスペースを作成したシム３２０＿１、３２０＿２、３２０＿３とインタフェースしているため、プロキシネットワークネームスペースを用いて、あたかもポッド仮想マシン３０１、３０２、３０３が同じホストマシンに存在するかのように、ポッドネームスペースとデータの送受信を行うことができる。

図７は、本発明の１つまたは複数の実施形態による、ワーカーノード仮想マシンから遠隔であるリモートポッド仮想マシンをインスタンス化／起動し、使用するためのコンピュータ実装方法７００を示すフローチャートである。図７のコンピュータ実装方法７００は、システム２００を使用して実装することができる。適宜、図１～図６を参照することができる。

コンピュータ実装方法７００のブロック７０２において、ワーカーノード仮想マシン３１０は、ワーカーノード仮想マシン３１０において中間ソフトウェア（例えば、シム３２０）をインスタンス化／開始／呼び出しするように構成される。例えば、ＣＲＩ３１６（例えば、ｃｏｎｔａｉｎｅｒｄなど）は、ワーカーノード仮想マシン３１０においてシム３２０をインスタンス化／起動／呼び出しすることができる。

ブロック７０４において、ワーカーノード仮想マシン３１０は、中間ソフトウェア（例えば、シム３２０＿１）を使用して、ポッド仮想マシン（例えば、ポッド仮想マシン３０１）を作成させるように構成され、ポッド仮想マシン（例えば、ポッド仮想マシン３０１）はワーカーノード仮想マシン３１０から遠隔である。例えば、ポッド仮想マシン３０１は、ワーカーノード仮想マシン３１０内にネストされず、もしくは含まれないまたはその両方である。ポッド仮想マシン３０１は、ワーカーノード仮想マシン３１０と同じホストマシン上でホストされてもよく、例えば、両者はコンピュータシステム２５１上でホストされることが可能である。ポッド仮想マシン３０１及びワーカーノード仮想マシン３１０は、異なるホストマシン上でホストされてもよく、例えば、一方はコンピュータシステム２５１上でホストされ、他方はコンピュータシステム２５２上でホストされることが可能である。

ブロック７０６において、ワーカーノード仮想マシン３１０は、ワーカーノード仮想マシン３１０内の中間ソフトウェア（例えば、シム３２０＿１）とポッド仮想マシン（例えば、ポッド仮想マシン３０１）内のポッド空間（例えば、ポッドネームスペース６０１）との間にオーバーレイネットワークを確立させるよう構成される。

ブロック７０８において、ワーカーノード仮想マシン３１０は、オーバーレイネットワークを使用して、コンテナ（例えば、コンテナ４４０、４４１）をポッド仮想マシン（例えば、ポッド仮想マシン３０１）内に作成させるように構成され、ワーカーノード仮想マシン３１０は、オーバーレイネットワークを使用してポッド仮想マシン（例えば、ポッド仮想マシン３０１）との通信を管理するように構成される。

中間ソフトウェア（例えば、シム３２０＿１）は、ワーカーノード仮想マシン３１０上に孤立したコンピューティング環境を生成するように構成される。例えば、シム３２０＿１は、ワーカーノード仮想マシン３１０上の孤立したコンピューティング環境としてサンドボックス４６０を起動／生成するように構成される。

中間ソフトウェア（例えば、シム３２０＿１）は、ワーカーノード仮想マシン上の孤立したコンピューティング環境において、プロキシネットワーク空間を作成するように構成される。例えば、シム３２０＿１は、ワーカーノード仮想マシン３１０上の孤立したコンピューティング環境としてサンドボックス４６０内にプロキシネットワークネームスペース６１１を開始／作成するように構成されている。

中間ソフトウェア（例えば、シム３２０＿１）は、ワーカーノード仮想マシン３１０上のプロキシネットワーク空間（例えば、プロキシネットワークネームスペース６１１）とポッド仮想マシン（例えば、ポッド仮想マシン３１０）上のポッド空間（例えば、ポッドネームスペース６０１）との間に論理ネットワークを接続させるよう構成される。論理ネットワーク（オーバーレイネットワーク経由）は、ワーカーノード仮想マシン３１０上のプロキシネットワークネームスペース６１１とポッドネームスペース６０１（コンテナ４４０を用いて形成された実行ソフトウェアアプリケーションを有する）間の通信に仮想ローカルエリアネットワーク、仮想イーサネットなどを用いる仮想プライベートネットワークなどのトンネルであってもよい。

インターネットプロトコル（ＩＰ）アドレスは、ワーカーノード仮想マシン３１０のプロキシネットワーク空間（例えば、プロキシネットワークネームスペース６１１）に割り当てられ、中間ソフトウェアは、ＩＰアドレスをポッド空間（例えば、ポッドネームスペース６０１）に再割り当て／移動するように構成される。例えば、シム３２０＿１は、作成しようとするコンテナのイメージを引き出すように構成され、シム３２０＿１は、サンドボックス４６０においてコンテナ４６２を作成／開始するように構成され、コンテナ４６２はその後、一時停止される。コンテナ４６２は、停止され、シェルコンテナである。シム３２０＿１が、ワーカーノード仮想マシン３１０上でコンテナ４６２が作成／開始されたことをＣＮＩ３１６に通知すると、ＣＮＩ３１６は（例えば、クラスレスドメイン間ルーティング（ＣＩＤＲ）を使用して）、一時停止したコンテナ４６２にＴＣＰ／ＩＰアドレスを割り当て、シム３２０＿１は、ＴＣＰ／ＩＰアドレスをワーカーノード仮想マシン３１０内のプロキシネットワークネームスペース６１１（これはサンドボックス４６０内にあってもよい）からポッド仮想マシン３０１へ移動／割り当てをし、それによってネットワークをセットアップするよう構成されている。従って、ポッドネームスペース６０１には、ＴＣＰ／ＩＰアドレスが割り当てられる。

ワーカーノード仮想マシン上で孤立したコンピューティング環境を意図したコンテナを受信することに応答して、ワーカーノード仮想マシン３１０は、コンテナをポッド仮想マシンにトランスファーして、ポッド空間と関連付けるように構成される。例えば、シム３２０＿１は、コンテナ４４０、４４１をポッドネームスペース６０１にトランスファーするように構成される。中間ソフトウェア（例えば、シム３２０＿１）は、コンテナ４４０、４４１内のソフトウェアアプリケーションをポッド仮想マシン（例えば、ポッド仮想マシン３０１）上でインスタンス化させるように構成されている。したがって、ソフトウェアアプリケーションは、ワーカーノード仮想マシン３１０から遠隔のポッド仮想マシン３０１上で実行されるように構成される。

図８は、本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓのリモートポッドにおける新しいコンテナストレージシステムのための、システム２００における例示的なコンテナストレージインターフェースアーキテクチャのブロック図である。図８のシステム２００は、図を不明瞭にしないようにいくつかの要素を省略しているが、システム２００が、本明細書で論じるような要素およびその機能を含むことは理解されるべきである。ポッド仮想マシン３０１は、簡潔にするために示されているが、説明は、ポッド仮想マシン３０２、３０３および任意の追加のポッド仮想マシンに適用される。

図８は、リモートポッド仮想マシン３０１がワーカーノード仮想マシン３１０とは別の仮想マシンで実行されている間に、記憶装置８１０内の永続ボリューム８２０を、例えば、リモートポッド仮想マシン３０１などのリモートポッドにアタッチしマウントする方法の一例を示す図である。エフェメラルストレージおよびクラウドオブジェクトストレージとは異なり、永続ボリューム８２０は、１つまたは複数の実施形態に従って、ファイルストレージ、ブロックストレージなどであることが可能である。コンテナ内のオンディスクファイルはエフェメラルであり、これは、コンテナで実行する場合のアプリケーションにいくつかの問題をもたらす。問題の１つは、コンテナがクラッシュしたときにファイルが失われることであり、ｋｕｂｅｌｅｔは、コンテナを再起動するが、クリーンな状態で再起動する。一般的に、ワーカーノード仮想マシンにアタッチされた任意のボリュームは、それらが別々の仮想マシンで実行されているため、リモートポッド仮想マシンにマウントできないことに留意されたい。しかしながら、１つまたは複数の実施形態は、コンテナストレージインターフェース（ＣＳＩ）コントローラプラグイン８０２、ＣＳＩノードプラグイン８０４、シム３２０、及びＣＳＩポッドプラグイン８０６を使用して、永続ボリューム８２０をポッド仮想マシン３０１にアタッチしマウントするように構成される。

コンテナストレージインターフェース（ＣＳＩ）は、コンテナオーケストレーションシステム（ＣＯ）が任意のストレージシステムをコンテナ化したワークロードに公開するために使用できる業界標準のインタフェースを確立するための仕様である。インツリーとは、Ｋｕｂｅｒｎｅｔｅｓのコアリポジトリに存在するコードを指す。アウトオブツリーとは、Ｋｕｂｅｒｎｅｔｅｓのコアリポジトリの外側に存在するコードを指す。ＣＳＩボリュームプラグインは、コアＫｕｂｅｒｎｅｔｅｓリポジトリの外のどこかに存在するコードを指す。ＣＳＩボリュームドライバは、Ｋｕｂｅｒｎｅｔｅｓ ＣＳＩボリュームプラグイン（Volume Plugin）を通じてＫｕｂｅｒｎｅｔｅｓで使用できるボリュームプラグインのアウトオブツリーＣＳＩ互換性実装である。

永続ボリュームまたはPersistentVolume（ＰＶ）は、管理者によってプロビジョニングされた、またはストレージクラスを使用して動的にプロビジョニングされた、クラスタのストレージの一部分である。永続ボリュームは、ノードがクラスタリソースであるのと同様に、クラスタ内のリソースである。永続ボリュームはボリュームプラグインであるが、永続ボリュームを使用する個々のポッドとは独立したライフサイクルを持つ。このＡＰＩオブジェクトは、ＮＦＳ、ｉＳＣＳＩ、またはクラウドプロバイダー固有のストレージシステムなど、ストレージの実装の詳細を取得する。ファイルストレージ、ブロックストレージ、オブジェクトストレージは、それぞれ異なる方法でデータを保持、整理、表示するストレージ形式で、それぞれが独自の機能と制限を備えている。ファイルストレージは、データをフォルダー内のファイルの階層構造として整理して表し、ブロックストレージは、データを任意に整理して均等なサイズのボリュームに分割し、オブジェクトストレージは、データを管理して関連するメタデータにリンクさせる。

例えばコンピュータシステム２０２のコントロールプレーンのＣＳＩコントローラプラグイン８０２は、（ハードウェア）記憶装置８１０に永続ボリューム８２０を作成し、永続ボリューム８２０をワーカーノード仮想マシン３１０にアタッチする準備を行うように構成されている。ＣＳＩコントローラプラグイン８０２は、ワーカーノード仮想マシン３１０内のＣＳＩノードプラグイン８０４を呼び出すように構成され、永続ボリューム８２０をワーカーノード仮想マシン３１０にアタッチする代わりに、ＣＳＩノードプラグイン８０４は、シム３２０＿１がＣＳＩポッドプラグイン８０６に永続ボリューム８２０をポッド仮想マシン３０１にアタッチさせ、もしくはアタッチするように指示し、またはその両方をするように、シム３２０＿１を呼び出すように構成される。１つまたは複数の実施形態では、ＣＳＩコントローラプラグイン８０２もしくはＣＳＩノードプラグイン８０４またはその両方は、ワーカーノード仮想マシン３１０のポッドサンドボックス４６０内のシェルポッド４６４に永続ボリューム８２０をアタッチすることを試みる／要求することができ、これはシム３２０＿１をトリガーし、ＣＳＩポッドプラグイン８０６を呼び出させる。したがって、シム３２０＿１は、ＣＳＩポッドプラグイン８０６に、永続ボリューム８２０をポッド仮想マシン３０１にアタッチさせ、もしくはアタッチするように指示し、またはその両方をする。永続ボリュームをポッド仮想マシン３０１にアタッチした後、シム３２０＿１は、ＣＳＩポッドプラグイン８０６に、永続ボリューム８２０をポッド仮想マシン３０１に、特に永続ストレージとして使用するためにコンテナ４４０、４４１にマウントさせ、もしくはマウントするように指示し、またはその両方をするよう構成される。

ボリュームアタッチメントは、指定されたボリュームを指定されたノードに、または指定されたノードからアタッチもしくはデタッチまたはその両方をするインテントを取得する。ボリュームアタッチメントオブジェクトは、非ネームスペース（non-namespaced）である。インツリーＣＳＩボリュームプラグインは、次の内部Ｋｕｂｅｒｎｅｔｅｓボリュームインターフェースを実装する。（１）特定のパスへのボリュームのマウント／アンマウント、および指定されたノードへのボリュームのアタッチ／デタッチである。マウントとアンマウントについては、インツリーボリュームプラグインのＳｅｔＵｐとＴｅａｒＤｏｗｎメソッドが、Ｕｎｉｘドメインソケット（ＵＤＳ）経由でＮｏｄｅＰｕｂｌｉｓｈＶｏｌｕｍｅとＮｏｄｅＵｎｐｕｂｌｉｓｈＶｏｌｕｍｅＣＳＩコールをトリガーする。したがって、Ｋｕｂｅｒｎｅｔｅｓは、ＣＳＩプラグインがボリュームをマウントするために、ＮｏｄｅＰｕｂｌｉｓｈＶｏｌｕｍｅを介して渡す一意のｔａｒｇｅｔ＿ｐａｔｈ（ボリュームごとにポッドごとに一意）を生成する。その後、ＮｏｄｅＵｎｐｕｂｌｉｓｈＶｏｌｕｍｅコールが正常に完了すると（ボリュームのアンマウントが検証されると）、Ｋｕｂｅｒｎｅｔｅｓはそのディレクトリを削除する。

図９は、本発明の１つまたは複数の実施形態による、コンテナストレージインターフェースドライバにおける１つまたは複数の新しいコンポーネントを使用してＫｕｂｅｒｎｅｔｅｓにおけるリモートポッドに新しいコンテナストレージシステムをインストールするためのシステム２００におけるアーキテクチャのさらなる詳細を例示するブロック図である。図１０は、本発明の１つまたは複数の実施形態による、システム２００における新しいコンテナストレージインターフェースを使用してＫｕｂｅｒｎｅｔｅｓにおけるリモートポッドに新しいコンテナストレージシステムをインストールするためのプロセスのブロック図である。簡潔さのために図１０には示されていないが、当業者によって理解されるように、コンテナにボリュームをアタッチしてマウントするために、コンピュータシステム２０２内のコントロールプレーンによって実行される様々な機能がある。１つまたは複数の実施形態は、例えば、ファイルストレージもしくはブロックストレージまたはその両方などの永続ボリューム８２０をリモートポッド仮想マシン３０１にアタッチし、永続ボリューム８２０を１つまたは複数のコンテナ４４０、４４１にマウントするプロセスをさらに提供する。

図９では、コンテナ化された（サードパーティの）ＣＳＩボリュームドライバをデプロイするために、図９を利用して、ボリュームプラグイン動作を実装し、コントローラ、ノード、およびアイデンティティサービスを含むＵｎｉｘドメインソケット経由でｇＲＰＣインタフェースを公開するＣＳＩボリュームドライバコンテナを作成することができる。図９は、ＣＳＩボリュームドライバコンテナを、Ｋｕｂｅｒｎｅｔｅｓシステムとの対話において、ＣＳＩボリュームドライバコンテナを支援するオプションのヘルパーコンテナ（例えば、エクスターナルアタッチャー、エクスターナルプロビジョナー、ノード－ドライバー－レジストラー、クラスタ－ドライバー－レジストラー、エクスターナルリサイザー、エクスターナルスナップショッター、リブネスプローブなど）とバンドルするために利用することが可能である。より具体的には、図９は、ＣＳＩボリュームドライバコンテナを有するＫｕｂｅｒｎｅｔｅｓコントローラ、ＳｔａｔｅｆｕｌＳｅｔ又はＤｅｐｌｏｙｍｅｎｔとの通信を容易にするために、以下のＫｕｂｅｒｎｅｔｅｓオブジェクトを作成する：Ｋｕｂｅｒｎｅｔｅｓが提供するコンテナ、クラスタ－ドライバー－レジストラー、エクスターナルプロビジョナー（プロビジョン削除／オペレーションに必要）、エクスターナルアタッチャー（アタッチ／デタッチオペレーションに必要）、エクスターナルリサイザー（リサイズ操作に必要）、エクスターナルスナップショッター（ボリュームレベルのスナップショット操作に必要）及びリブネスプローブを作成しうる。図９は、ＣＳＩボリュームドライバを含むすべてのコンテナによってマウントされているｅｍｐｔｙＤｉｒボリュームを含む。ＣＳＩボリュームドライバコンテナは、Ｋｕｂｅｒｎｅｔｅｓヘルパーコンテナ（複数可）との通信を可能にするために、このディレクトリにそのＵｎｉｘドメインソケットを作成する。図９は、ＣＳＩボリュームドライバコンテナを有するｋｕｂｅｌｅｔのすべてのインスタンス、ｋｕｂｅｌｅｔとのＵｎｉｘドメインソケットの登録を担当するノード－ドライバー－レジストラー、及びリブネスプローブとの通信を容易にするＤａｅｍｏｎＳｅｔを含んでもよい。

図９を参照すると、コンピュータシステム２０２内のコントロールプレーンを使用して、インスタンス（アプリケーションなど）もしくはオブジェクトまたはその両方であり得るユーザは、ＡＰＩサーバ２０４上に永続ボリュームクレーム（ＰＶＣ）オブジェクトを作成し、もしくはＡＰＩサーバ２０４が永続ボリュームクレームを作成するように要求するまたはその両方をするように構成される。永続ボリュームクレーム（ＰＶＣ）は、ユーザによるストレージに対する要求である。永続ボリュームクレームは、ポッドに類似している。ポッドはノードリソースを消費し、永続ボリュームクレームは永続ボリュームリソースを消費する。ポッドが特定のレベルのリソース（例えば、ＣＰＵ及びメモリ）を要求できるように、永続ボリュームクレームは、特定のサイズ及びアクセスモード（例えば、アクセスモードは、ＲｅａｄＷｒｉｔｅＯｎｃｅ、ＲｅａｄＯｎｌｙＭａｎｙ、ＲｅａｄＷｒｉｔｅＭａｎｙなどをマウントできる）を要求することができる。

ＡＰＩサーバ２０４がＰＶＣオブジェクトを作成している間、エクスターナルプロビジョナーはＰＶＣオブジェクトを監視／モニターするように設定される。監視とは、記述されたリソースに対する変更をモニターし、追加、更新、および除去の通知の流れとして返すことである。エクスターナルプロビジョナーがＡＰＩサーバ２０４上でＰＶＣオブジェクトを見つけると、エクスターナルプロビジョナーは、例えば、Ｕｎｉｘドメインソケット（ＵＤＳ）経由でグーグル（登録商標）リモートプロシージャコール（ｇＲＰＣ）を使用して、ＣＳＩコントローラプラグイン８０２に作成ボリューム要求を送信するように構成される。ＣＳＩコントローラプラグイン８０２は、ボリュームを作成して、ボリュームが作成されたことをエクスターナルプロビジョナーに通知するよう構成される。エクスターナルプロビジョナーは、ＡＰＩサーバ２０４に永続ボリューム（ＰＶ）オブジェクトを作成するよう指示するよう構成される。コントローラマネージャ（例えば、ＣＳＩコントローラプラグイン８０２）は、ボリュームアタッチメントオブジェクトを作成し、作成されたボリュームアタッチメントオブジェクトをＡＰＩサーバ２０４に送るように構成され、エクスターナルプロビジョナーは、ＰＶＣオブジェクトを更新し、ＰＶＣオブジェクトが使用可能となるようにＰＶＣオブジェクトをボリュームアタッチメントオブジェクトにバインドするように構成される。エクスターナルアタッチャーは、ボリュームアタッチメントオブジェクトを監視／モニターするように構成され、見つかったら、エクスターナルアタッチャーは、ＣＳＩコントローラプラグイン８０２に（例えば、ＵＤＳ経由でｇＲＰＣを使用して）コントローラパブリッシュボリュームを送信するように構成される。したがって、ＣＳＩコントローラプラグイン８０２は、ボリュームをアタッチし、その後、ボリュームがワーカーノードの仮想マシン３１０にアタッチされたことをエクスターナルアタッチャーに通知するよう構成される。エクスターナルアタッチャーは、ＡＰＩサーバ２０４にボリュームアタッチメントオブジェクトを更新するように指示するように構成される。アタッチ／デタッチ操作は、外部コンポーネント（「アタッチャー（attacher）」）によっても処理される。アタッチャーは、新しいボリュームアタッチメントオブジェクトの外部ＣＳＩボリュームドライバに代わってＫｕｂｅｒｎｅｔｅｓ ＡＰＩを監視し、ＣＳＩボリュームドライバに対して適切な呼び出しをトリガーして、ボリュームをアタッチする。アタッチャーはボリュームアタッチメントオブジェクトを監視し、基盤となるＣＳＩドライバがＣｏｎｔｒｏｌｌｅｒＰｕｂｌｉｓｈＶｏｌｕｍｅコールをサポートしていなくても、Ｋｕｂｅｒｎｅｔｅｓがそれに関する知識を持たないため、それをアタッチされたとマークすることになる。例示の図は、コンピュータシステム２０２のコントロールプレーンで行われるアクションについて議論されてきたが、当業者によって知られているように、より多くのアクション、より少ないアクション、およびいくつかのケースでは異なるアクションが生じ得ることを理解されたい。

ワーカーノード仮想マシン３１０およびリモートポッド仮想マシン３０１に関するさらなる詳細を説明する図１０を参照すると、ワーカーノード仮想マシン３１０内のｋｕｂｅｌｅｔ３１２は、ＣＳＩコントローラプラグイン８０２によって実行されるアタッチされたボリュームによってトリガーされ、ｋｕｂｅｌｅｔ３１２は、アクション１００２において、コントロールプレーンのＡＰＩサーバ２０４内のボリュームアタッチメントオブジェクトを監視／モニターするように構成される。アクション１００４において、ｋｕｂｅｌｅｔ３１２は、ＣＳＩノードプラグイン８０４にノードステージボリュームを実行するよう通知するよう構成され（例えば、ＵＤＳ経由でｇＲＰＣを使用して）、ＣＳＩノードプラグイン８０４は、アクション１００６で、コントロールプレーンにクリエイトボリュームポッドアタッチメントを送信するよう構成される。ＣＳＩノードプラグイン８０４がワーカーノード仮想マシン３１０にボリュームをマウントする代わりに、ＣＳＩノードプラグイン８０４は、アクション１００８において、ポッドステージボリュームをシム３２０＿１に送信し、アクション１０１０でリモートポッド仮想マシン３０１内のＣＳＩポッドプラグイン８０６にポッドステージボリュームに対する要求を渡すよう構成されている。したがって、ＣＳＩポッドプラグイン８０６は、ポッドステージボリューム要求を受信すると、永続ボリューム８２０をポッド仮想マシン３０１にアタッチするように構成されており、これがボリュームポッドアタッチメントである。アクション１０１２において、ＣＳＩポッドプラグイン８０６は、ワーカーノード仮想マシン３１０のシム３２０＿１を介してコントロールプレーンのＡＰＩサーバ２０４にゲットボリュームポッドアタッチメントを送信するように構成されている。このように、アクション１０１２では、ＣＳＩポッドプラグイン８０６は、アクション１００６で作成されたＶｏｌｕｍｅＰｏｄＡｔｔａｃｈｍｅｎｔオブジェクトをコントロールプレーンから取得することになる。「ゲット」は、指定されたボリュームアタッチメントのステータスを読み出すためのメソッドである。

図１０のアクション１０１４において、ｋｕｂｅｌｅｔ３１２は、ＣＳＩノードプラグイン８０４にノードパブリッシュボリュームを実行するよう通知し（例えば、ＵＤＳ経由でｇＲＰＣを使用して）、ＣＳＩノードプラグイン８０４がワーカーノード仮想マシン３１０にボリュームをマウントする代わりに、アクション１０１６において、コンピュータシステム２０２上のコントロールプレーンでＡＰＩサーバ２０４にクリエイトＣＳＩポッドボリュームを送信するよう構成される。特に、アクション１０１６で、ボリューム情報を記述し、アクション１０２２で使用されるＣＳＩＰｏｄＶｏｌｕｍｅオブジェクトがコントロールプレーン内に作成される。アクション１０１８において、ワーカーノード仮想マシン３１０上のｋｕｂｅｌｅｔ３１２は、シム３２０＿１にポッドサンドボックス（例えば、サンドボックス４６０）を実行するように指示するように構成され、シム３２０＿１は、ポッドサンドボックス（例えば、サンドボックス４６０）をテンプレートもしくはコンピュータ環境またはその両方として使用し、プロキシもしくは（一時的な）ワーカーノード仮想マシン３１０上にボリュームをマウントするための場所（例えば、ファイルパス）またはその両方であるように見えることができる。ポッドサンドボックス４６０、シェルポッド４６４もしくは一時停止したコンテナ４６２またはその組み合わせにマウントする代わりに、ワーカーノード仮想マシン３１０上のシム３２０＿１は、アクション１０１８でポッド仮想マシン３０１上のＣＳＩポッドプラグイン８０６にポッドパブリッシュボリュームを発行し、これにより、アクション１０２０でＣＳＩポッドプラグイン８０６に永続ボリューム８２０をコンテナ４４０、４４１にマウントさせるよう構成される。ＣＳＩポッドプラグイン８０６は、永続ボリューム８２０をＣＳＩポッドボリュームとしてマウントすることができる。ＣＳＩポッドプラグインは、アクション１０２２において、シム３２０＿１を介して、ゲットＣＳＩポッドボリュームをｋｕｂｅｌｅｔ３１２に送信する。アクション１０２２で、ＣＳＩポッドプラグイン８０６は、アクション１０１６で作成されたＣＳＩＰｏｄＶｏｌｕｍｅオブジェクトを取得する。

図１１は、本発明の１つまたは複数の実施形態による、コンテナストレージインターフェースドライバにおける１つまたは複数の新しいコンポーネントを使用して、Ｋｕｂｅｒｎｅｔｅｓにおけるリモートポッドに新しいコンテナストレージシステムをインストールするために呼び出す、もしくは利用またはその両方をすることができる種々の機能のブロック図である。ＣＳＩコントローラプラグイン８０２、ＣＳＩノードプラグイン８０４、およびＣＳＩポッドプラグイン８０６は、ワーカーノード仮想マシン３１０にではなく、ポッド仮想マシン３０１、３０２、３０３内のコンテナ４４０、４４１に永続ボリューム８２０をアタッチしマウントする機能を実行もしくは呼び出し、またはその両方をすることが可能である。ＣＳＩコントローラプラグイン８０２、ＣＳＩノードのプラグイン８０４、およびＣＳＩポッドプラグイン８０６は、ＣＳＩドライバと見なすことができる。

図１２は、本発明の１つまたは複数の実施形態による、Ｋｕｂｅｒｎｅｔｅｓのリモートポッドに新しいコンテナストレージシステムをインストールするための拡張コンテナストレージインターフェースオブジェクトのブロック図である。“attacher”は、この要求を処理することになるボリュームドライバの名称を示す。これは、“GetPluginName()”によって返される名前である。“nodeName”は、ボリュームがアタッチされるべきノードである。“source”は、アタッチすべきボリュームを表す“VolumeAttachmentSource”である。“PersistentVolume”は、エクスターナルアタッチャーを介してアタッチできる。拡張コンテナストレージインターフェースオブジェクトは、１つまたは複数の実施形態に従って、ＣＳＩコントローラプラグイン８０２、ＣＳＩノードプラグイン８０４、及びＣＳＩポッドプラグイン８０６によって使用される、もしくは実装される、またはその両方ができる。

図１３は、本発明の１つまたは複数の実施形態による、永続ボリューム８２０をワーカーノード仮想マシンの代わりにリモートポッド仮想マシンにアタッチしてマウントするためのコンピュータ実装方法１３００を示すフローチャートである。図１３のコンピュータ実装方法１３００は、システム２００を使用して実装することができる。

ブロック１３０２において、ワーカーノード仮想マシン３１０は、ボリューム（例えば、永続的ボリューム８２０）がワーカーノード仮想マシン３１０にアタッチするために利用可能であることを決定するように構成される。例えば、ワーカーノード仮想マシン３１０のｋｕｂｅｌｅｔ３１２は、永続ボリューム８２０をワーカーノード仮想マシン３１０にアタッチする要求として機能するボリュームアタッチメントオブジェクト（たとえば、図１０のアクション１００２）を監視／モニターするよう構成される。

ブロック１３０４において、ワーカーノード仮想マシン３１０は、ワーカーノード仮想マシン３１０の中間ソフトウェア（例えば、シム３２０）を使用して、ポッドコンテナストレージインターフェース（例えば、ＣＳＩポッドプラグイン８０６）に、ボリュームをポッド仮想マシン３０１にアタッチさせるように構成される。例えば、ワーカーノード仮想マシン３１０のシム３２０は、例えば、ポッドステージボリュームに対する要求（例えば、アクション１０１０）などのボリュームをアタッチする要求をＣＳＩポッドプラグイン８０６に送信するように構成され、これによりＣＳＩポッドプラグイン８０６は永続ボリューム８２０をポッド仮想マシン３０１にアタッチするようにされる。

ブロック１３０６において、ワーカーノード仮想マシン３１０は、ボリュームをポッド仮想マシン３０１にアタッチすることに応じて、ワーカーノード仮想マシンの中間ソフトウェア（例えば、シム３２０）を使用して、ポッドコンテナストレージインターフェース（例えば、ＣＳＩポッドプラグイン８０６）に、ポッド仮想マシン３０１によってボリュームが使用可能になるように、ボリューム（例えば、永続ボリューム８２０）をポッド仮想マシン３０１にマウントさせるよう構成されている。例えば、シム３２０は、例えば、ポッドパブリッシュボリューム（例えば、アクション１０２０）を使用して、ＣＳＩポッドプラグイン８０６に、ポッド仮想マシン３０１に永続ボリューム８２０をマウントするよう要求／指示するよう構成される。さらに、ＣＳＩポッドプラグイン８０６は、コンテナ４４０、４４１に永続的ボリューム８２０をマウントすることができる。シム３２０は、ｋｕｂｅｌｅｔ３１２からのマウント要求のプロキシとしてポッドサンドボックス４６０を使用した後、永続ボリューム８２０をマウントする要求／指示を送信することができる。

ボリュームは、永続ボリューム８２０である。永続ボリューム８２０は、ファイルストレージを構成する。永続ボリューム８２０は、ブロックストレージを構成する。ワーカーノード仮想マシン３１０は、ボリュームをマウントする要求を受信もしくは生成またはその両方をするように構成され（例えば、アクション１００４で）、ボリュームをワーカーノード仮想マシン３１０に取り付ける代わりに、要求は中間ソフトウェア（例えば、シム３２０）をトリガーして、ボリュームをポッド仮想マシン３０１にアタッチさせる（例えば、アクション１００８、１０１０）。

１つまたは複数の実施形態によれば、ワーカーノード仮想マシン３１０は、ボリュームをマウントする要求を受信もしくは生成またはその両方をするように構成され（例えば、アクション１０１４で）、ワーカーノード仮想マシン３１０にボリュームをマウントする代わりに、要求は中間ソフトウェア（例えば、シム３２０）をトリガーして、ボリュームをポッド仮想マシン３０１にマウントさせる（例えば、アクション１０１８、１０２０）。中間ソフトウェア（例えば、シム３２０）は、ワーカーノード仮想マシン３１０上の孤立したコンピューティング環境（例えば、ポッドサンドボックス４６０）を、ポッド仮想マシン３０１上にボリュームをマウントするためのプロキシとして使用するように構成される。

本開示は、クラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載された教示の実装は、クラウドコンピューティング環境に限定されないことが理解されるであろう。むしろ、本発明の実施形態は、現在知られている又は後に開発される任意の他のタイプのコンピューティング環境と組み合わせて実施することが可能である。

クラウドコンピューティングは、設定可能なコンピューティングリソースの共有プール（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）へ、簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルであり、最小限の管理労力または最小限のサービスプロバイダとのやり取りによって速やかに準備（provision）およびリリースできるものである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの実装モデルを含むことがある。

特性は以下の通りである。

オンデマンド・セルフサービス：クラウドの消費者は、サービスプロバイダとの人的な対話を必要することなく、必要に応じて自動的に、サーバ時間やネットワークストレージなどのコンピューティング能力を一方的に準備することができる。

ブロード・ネットワークアクセス：コンピューティング能力はネットワーク経由で利用可能であり、また、標準的なメカニズムを介してアクセスできる。それにより、異種のシンまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、ＰＤＡ）による利用が促進される。

リソースプーリング：プロバイダのコンピューティングリソースはプールされ、マルチテナントモデルを利用して複数の消費者に提供される。様々な物理リソースおよび仮想リソースが、需要に応じて動的に割り当ておよび再割り当てされる。一般に消費者は、提供されたリソースの正確な位置を管理または把握していないため、位置非依存（location independence）の感覚がある。ただし消費者は、より高い抽象レベル（例えば、国、州、データセンタ）では場所を特定可能な場合がある。

迅速な柔軟性（elasticity）：コンピューティング能力は、迅速かつ柔軟に準備することができるため、場合によっては自動的に、直ちにスケールアウトし、また、速やかにリリースされて直ちにスケールインすることができる。消費者にとって、準備に利用可能なコンピューティング能力は無制限に見える場合が多く、任意の時間に任意の数量で購入することができる。

測定されるサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、アクティブユーザアカウント）に適したある程度の抽象化レベルでの測定機能を活用して、リソースの使用を自動的に制御し最適化する。リソース使用量を監視、制御、および報告して、利用されるサービスのプロバイダおよび消費者の両方に透明性を提供することができる。

サービスモデルは以下の通りである。

サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される機能は、クラウドインフラストラクチャ上で動作するプロバイダのアプリケーションを利用できることである。当該そのアプリケーションは、ウェブブラウザ（例えばウェブメール）などのシンクライアントインタフェースを介して、各種のクライアント装置からアクセスできる。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージや、個別のアプリケーション機能さえも含めて、基礎となるクラウドインフラストラクチャの管理や制御は行わない。ただし、ユーザ固有の限られたアプリケーション構成の設定はその限りではない。

サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される機能は、プロバイダによってサポートされるプログラム言語およびツールを用いて、消費者が作成または取得したアプリケーションを、クラウドインフラストラクチャに展開（deploy）することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージを含む、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、展開されたアプリケーションを制御でき、かつ場合によってはそのホスティング環境の構成も制御できる。

サービスとしてのインフラストラクチャ（ＩａａＳ）：消費者に提供される機能は、オペレーティングシステムやアプリケーションを含む任意のソフトウェアを消費者が展開および実行可能な、プロセッサ、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースを準備することである。消費者は、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、オペレーティングシステム、ストレージ、および展開されたアプリケーションを制御でき、かつ場合によっては一部のネットワークコンポーネント（例えばホストファイアウォール）を部分的に制御できる。

展開モデルは以下の通りである。

プライベートクラウド：このクラウドインフラストラクチャは、特定の組織専用で運用される。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

コミュニティクラウド：このクラウドインフラストラクチャは、複数の組織によって共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス）を持つ特定のコミュニティをサポートする。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

パブリッククラウド：このクラウドインフラストラクチャは、不特定多数の人々や大規模な業界団体に提供され、クラウドサービスを販売する組織によって所有される。

ハイブリッドクラウド：このクラウドインフラストラクチャは、２つ以上のクラウドモデル（プライベート、コミュニティまたはパブリック）を組み合わせたものとなる。それぞれのモデル固有の実体は保持するが、標準または個別の技術によってバインドされ、データとアプリケーションの可搬性（例えば、クラウド間の負荷分散のためのクラウドバースティング）を実現する。

クラウドコンピューティング環境は、ステートレス性（statelessness）、低結合性（low coupling）、モジュール性（modularity）および意味論的相互運用性（semantic interoperability）に重点を置いたサービス指向型環境である。クラウドコンピューティングの中核にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。

ここで、図１４に例示的なクラウドコンピューティング環境５０を示す。図示するように、クラウドコンピューティング環境５０は１つ以上のクラウドコンピューティングノード１０を含む。これらに対して、クラウド消費者が使用するローカルコンピュータ装置（例えば、ＰＤＡもしくは携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、もしくは自動車コンピュータシステム５４Ｎまたはこれらの組み合わせなど）は通信を行うことができる。ノード１０は互いに通信することができる。ノード１０は、例えば、上述のプライベート、コミュニティ、パブリックもしくはハイブリッドクラウドまたはこれらの組み合わせなど、１つ以上のネットワークにおいて、物理的または仮想的にグループ化（不図示）することができる。これにより、クラウドコンピューティング環境５０は、サービスとしてのインフラストラクチャ、プラットフォームもしくはソフトウェアまたはこれらの組み合わせを提供することができ、クラウド消費者はこれらについて、ローカルコンピュータ装置上にリソースを維持する必要がない。なお、図１４に示すコンピュータ装置５４Ａ～Ｎの種類は例示に過ぎず、コンピューティングノード１０およびクラウドコンピューティング環境５０は、任意の種類のネットワークもしくはネットワークアドレス指定可能接続（例えば、ウェブブラウザの使用）またはその両方を介して、任意の種類の電子装置と通信可能であることを理解されたい。

ここで、クラウドコンピューティング環境５０（図１４）によって提供される機能的抽象化レイヤのセットを図１５に示す。なお、図１５に示すコンポーネント、レイヤおよび機能は例示に過ぎず、本発明の実施形態はこれらに限定されないことをあらかじめ理解されたい。図示するように、以下のレイヤおよび対応する機能が提供される。

ハードウェアおよびソフトウェアレイヤ６０は、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例には、メインフレーム６１、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャベースのサーバ６２、サーバ６３、ブレードサーバ６４、記憶装置６５、ならびにネットワークおよびネットワークコンポーネント６６が含まれる。いくつかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア６７およびデータベースソフトウェア６８を含む。

仮想化レイヤ７０は、抽象化レイヤを提供する。当該レイヤから、例えば以下の仮想エンティティを提供することができる：仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティングシステム７４、ならびに仮想クライアント７５。

一例として、管理レイヤ８０は以下の機能を提供することができる。リソース準備８１は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソースおよび他のリソースの動的な調達を可能にする。計量および価格設定８２は、クラウドコンピューティング環境内でリソースが利用される際のコスト追跡、およびこれらのリソースの消費に対する請求またはインボイス送付を可能にする。一例として、これらのリソースはアプリケーションソフトウェアのライセンスを含んでよい。セキュリティは、データおよび他のリソースに対する保護のみならず、クラウド消費者およびタスクの識別確認を可能にする。ユーザポータル８３は、消費者およびシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理８４は、要求されたサービスレベルが満たされるように、クラウドコンピューティングリソースの割り当ておよび管理を可能にする。サービス品質保証（ＳＬＡ）の計画および履行８５は、ＳＬＡに従って将来必要になると予想されるクラウドコンピューティングリソースの事前手配および調達を可能にする。

ワークロードレイヤ９０は、クラウドコンピューティング環境が利用可能な機能の例を提供する。このレイヤから提供可能なワークロードおよび機能の例には、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想教室教育の配信９３、データ分析処理９４、取引処理９５、ワークロードおよび機能に実装されたソフトウェアアプリケーション９６（例えば、ワーカーノード仮想マシン３１０におけるソフトウェアアプリケーション、ポッド仮想マシン３０１、３０２、３０３におけるソフトウェアアプリケーション等）が含まれる。

本発明の様々な実施形態は、関連する図面を参照して本明細書に記載されている。本発明の代替の実施形態は、本発明の範囲から逸脱することなく考案することができる。以下の説明および図面では、要素間のさまざまな接続および位置関係（例えば、上、下、隣接など）が示されている。これらの接続もしくは位置関係またはその両方は、特に明記しない限り、直接的または間接的であり、本発明は、この点に関して限定することを意図するものではない。したがって、エンティティの結合は、直接または間接の結合のいずれかを指すことができ、エンティティ間の位置関係は、直接または間接の位置関係である可能性がある。さらに、本明細書に記載の様々なタスクおよびプロセスステップは、本明細書に詳細に記載されていない追加のステップまたは機能を有することでより包括的な手順またはプロセスに組み込むことができる。

本明細書に記載の方法の１つまたは複数は、当技術分野で周知の以下の技術のいずれかまたは組み合わせで実装することができる。データ信号に論理機能を実装するための論理ゲートを有する目立たない論理回路、適切な組み合わせの論理ゲートを有する特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などが挙げられる。

簡潔にするために、本発明の態様を作成および使用することに関連する従来の技術は、本明細書で詳細に説明されてもされなくてもよい。特に、本明細書に記載の様々な技術的特徴を実装するためのコンピューティングシステムおよび特定のコンピュータプログラムの様々な側面は周知である。したがって、簡潔にするために、多くの従来の実装の詳細は、本明細書で簡単に言及されるだけであるか、または周知のシステムもしくはプロセスまたはその両方の詳細を提供せずに完全に省略される。

いくつかの実施形態では、様々な機能または行為は、所与の場所で、もしくは、１つまたは複数の装置またはシステムの動作との関連で、またはその両方で、行うことができる。いくつかの実施形態では、所与の機能または行為の一部は、第１のデバイスまたは場所で実行することができ、機能または行為の残りは、１つ以上の追加のデバイスまたは場所で実行することができる。

本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、限定することを意図するものではない。本明細書で使用される場合、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明確に他のことを示さない限り、複数形も含むことを意図している。本明細書で使用される場合、「含む（comprises）」という用語もしくは「含む（comprising）」という用語またはその両方は、記載された特徴、整数、ステップ、操作、要素、もしくは構成要素またはその組み合わせの存在を指定するが、１つ以上の他の特徴、整数、ステップ、操作、要素コンポーネント、もしくはそれらのグループまたはその組み合わせの存在または追加を排除するものではない。

以下の請求項におけるすべての手段またはステッププラス機能要素の対応する構造、材料、行為、および等価物は、具体的に請求された他の請求項の要素と組み合わせて機能を実行するための任意の構造、材料、または行為を含むことを意図している。本開示は、例示および説明のために提示されたが、網羅的であることを意図するものではなく、または開示された形態に限定されることは意図されていない。多くの修正および変形は、本開示の範囲および精神から逸脱することなく、当業者には明らかであろう。実施形態は、本開示の原理及び実際の適用を最もよく説明するために、また、当業者が、企図される特定の用途に適するように様々な修正を加えた様々な実施形態について本開示を理解できるように、選択および説明されたものである。

本明細書に示されている図は、例示的なものである。本開示の精神から逸脱することなく、図またはそこに記載されたステップ（または操作）に対して多くの変形があり得る。例えば、動作は異なる順序で実行することができ、又は動作を追加、削除又は修正することができる。また、「結合された」という用語は、２つの要素間に信号経路を有することを説明するものであり、要素間に介在する要素／接続がない直接的な接続を意味するものではない。これらの変形例は、すべて本開示の一部とみなされる。

以下の定義および略語は、特許請求の範囲および明細書の解釈に使用される。本明細書で使用される場合、「含む（comprises）」、「含む（comprising）」、「含む（includes）」、「含む（including）」、「含む（has）」、「含む（having）」、「含む（contains）」、「含む（containing）」またはそれらの任意の他の変形の用語は、排他的な包含であることを意図している。例えば、要素のリストからなる組成物、混合物、プロセス、方法、物品、または装置は、必ずしもそれらの要素のみに限定されるわけではなく、そのような組成物、混合物、プロセス、方法、物品、または装置に明示的にリストされていない他の要素を含むことができる。

さらに、「例示的」という用語は、本明細書では「例、実例、または例示として機能すること」を意味するために使用される。本明細書で「例示的」として説明される任意の実施形態または設計は、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。「少なくとも１つ」および「１つ以上」という用語は、１以上、すなわち１、２、３、４などの任意の整数を含むと理解される。「複数」という用語は、２以上、つまり２、３、４、５などの任意の整数を含むと理解される。「接続」という用語には、間接的な「接続」と直接的な「接続」の両方を含めることができる。

「約」、「実質的に」、「概算」という用語、およびそれらの変形は、出願時に利用可能な機器に基づく特定の量の測定に関連する誤差の程度を含むことを意図している。例えば、「約」には、特定の値の±８％、５％、または２％の範囲を含めることができる。

本発明は、任意の可能な技術詳細レベルで統合されたシステム、方法もしくはコンピュータプログラム製品またはそれらの組み合せとすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を記憶したコンピュータ可読記憶媒体を含んでよい。

コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、一例として、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置またはこれらの適切な組み合わせであってよい。コンピュータ可読記憶媒体のより具体的な一例としては、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（またはフラッシュメモリ）、ＳＲＡＭ、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、フロッピーディスク、パンチカードまたは溝内の隆起構造などに命令を記録した機械的に符号化された装置、およびこれらの適切な組み合せが挙げられる。本明細書で使用されるコンピュータ可読記憶装置は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピュータ装置／処理装置へダウンロード可能である。あるいは、ネットワーク（例えばインターネット、ＬＡＮ、ＷＡＮもしくはワイヤレスネットワークまたはこれらの組み合わせ）を介して、外部コンピュータまたは外部記憶装置へダウンロード可能である。ネットワークは、銅製伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータもしくはエッジサーバまたはこれらの組み合わせを備えることができる。各コンピュータ装置／処理装置内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、各々のコンピュータ装置／処理装置におけるコンピュータ可読記憶媒体に記憶するために転送する。

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用構成データ、または、スモールトークやＣ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードもしくはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、スタンドアロン型ソフトウェアパッケージとして完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または、完全にリモートコンピュータもしくはサーバ上で実行可能である。後者の場合、リモートコンピュータは、ＬＡＮやＷＡＮを含む任意の種類のネットワークを介してユーザのコンピュータに接続してもよいし、外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）接続してもよい。いくつかの実施形態において、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行する目的で当該電子回路をカスタマイズするために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行することができる。

本発明の各態様は、本明細書において、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャートもしくはブロック図またはその両方を参照して説明されている。フローチャートもしくはブロック図またはその両方における各ブロック、および、フローチャートもしくはブロック図またはその両方における複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実行可能である。

上記のコンピュータ可読プログラム命令は、機械を生産するために、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供してよい。これにより、かかるコンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行するための手段を創出する。上記のコンピュータ可読プログラム命令はさらに、コンピュータ、プログラマブルデータ処理装置もしくは他の装置またはこれらの組み合わせに対して特定の態様で機能するよう命令可能なコンピュータ可読記憶媒体に記憶してよい。これにより、命令が記憶された当該コンピュータ可読記憶媒体は、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作の態様を実行するための命令を含む製品を構成する。

また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブル装置、または他の装置にロードし、一連の動作ステップを当該コンピュータ、他のプログラマブル装置、または他の装置上で実行させることにより、コンピュータ実行プロセスを生成してもよい。これにより、当該コンピュータ、他のプログラマブル装置、または他の装置上で実行される命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行する。

本開示の図面におけるフローチャートおよびブロック図は、本発明の種々の実施形態に係るシステム、方法およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示している。この点に関して、フローチャートまたはブロック図における各ブロックは、特定の論理機能を実行するための１つ以上の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表すことができる。他の一部の実装形態において、ブロック内に示した機能は、各図に示す順序とは異なる順序で実行してもよい。例えば、連続して示される２つのブロックは、実際には、関係する機能に応じて、同時もしくは略同時に実行してもよいし、場合により逆順で実行してもよい。なお、ブロック図もしくはフローチャートまたはその両方における各ブロック、および、ブロック図もしくはフローチャートまたはその両方における複数のブロックの組み合わせは、特定の機能または動作を行う、または専用ハードウェアとコンピュータ命令との組み合わせを実行する専用ハードウェアベースのシステムによって、実行可能である。

本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であることを意図するものではなく、開示される実施形態に限定されることを意図するものでもない。説明された実施形態の範囲および精神から逸脱することなく、多くの修正および変更が可能であることは当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見られる技術に対する実際の適用または技術的改善を最もよく説明するため、または当業者が本明細書に記載の実施形態を理解できるようにするために選択された。

Claims (20)

1. ワーカーノード仮想マシンによって、ボリュームが前記ワーカーノード仮想マシンにアタッチするために利用可能であることを決定することと、
   ポッドコンテナストレージインターフェースに前記ボリュームをポッド仮想マシンにアタッチさせるよう、前記ワーカーノード仮想マシンの中間ソフトウェアを使用することと、
   前記ポッド仮想マシンに前記ボリュームをアタッチすることに応じて、前記ポッド仮想マシンによって前記ボリュームが使用可能になるように、前記ポッドコンテナストレージインターフェースに前記ボリュームを前記ポッド仮想マシンにマウントさせるよう、前記ワーカーノード仮想マシンの前記中間ソフトウェアを使用することと、を含む、コンピュータ実装方法。
2. 前記ボリュームは永続ボリュームである、請求項１に記載のコンピュータ実装方法。
3. 前記ボリュームはファイルストレージを含む、請求項１に記載のコンピュータ実装方法。
4. 前記ボリュームはブロックストレージを含む、請求項１に記載のコンピュータ実装方法。
5. 前記ワーカーノード仮想マシンは、前記ボリュームをアタッチする要求を受信するように構成され、
   前記ワーカーノード仮想マシンに前記ボリュームをアタッチする代わりに、前記要求をきっかけとして、前記中間ソフトウェアに、前記ボリュームを前記ポッド仮想マシンにアタッチさせる、請求項１に記載のコンピュータ実装方法。
6. 前記ワーカーノード仮想マシンは、前記ボリュームをマウントする要求を受信するように構成され、
   前記ワーカーノード仮想マシンに前記ボリュームをマウントする代わりに、前記要求をきっかけとして、前記中間ソフトウェアに、前記ボリュームを前記ポッド仮想マシンにマウントさせる、請求項１に記載のコンピュータ実装方法。
7. 前記中間ソフトウェアは、前記ワーカーノード仮想マシン上の孤立したコンピューティング環境を、前記ポッド仮想マシン上に前記ボリュームをマウントするためのプロキシとして使用するように構成される、請求項１に記載のコンピュータ実装方法。
8. コンピュータ可読命令を有するメモリと、
   前記コンピュータ可読命令を実行するための１つまたは複数のプロセッサを有し、前記コンピュータ可読命令は、前記１つまたは複数のプロセッサに、
   ワーカーノード仮想マシンによって、ボリュームが前記ワーカーノード仮想マシンにアタッチするために利用可能であることを決定することと、
   ポッドコンテナストレージインターフェースに前記ボリュームをポッド仮想マシンにアタッチさせるよう、前記ワーカーノード仮想マシンの中間ソフトウェアを使用することと、
   前記ポッド仮想マシンに前記ボリュームをアタッチすることに応じて、前記ポッド仮想マシンによって前記ボリュームが使用可能になるように、前記ポッドコンテナストレージインターフェースに前記ボリュームを前記ポッド仮想マシンにマウントさせるよう、前記ワーカーノード仮想マシンの前記中間ソフトウェアを使用することと、を含む動作を実行させる、システム。
9. 前記ボリュームは永続ボリュームである、請求項８に記載のシステム。
10. 前記ボリュームはファイルストレージを含む、請求項８に記載のシステム。
11. 前記ボリュームはブロックストレージを含む、請求項８に記載のシステム。
12. 前記ワーカーノード仮想マシンは、前記ボリュームをアタッチする要求を受信するように構成され、
    前記ワーカーノード仮想マシンに前記ボリュームをアタッチする代わりに、前記要求をきっかけとして、前記中間ソフトウェアに、前記ボリュームを前記ポッド仮想マシンにアタッチさせる、請求項８に記載のシステム。
13. 前記ワーカーノード仮想マシンは、前記ボリュームをマウントする要求を受信するように構成され、
    前記ワーカーノード仮想マシンに前記ボリュームをマウントする代わりに、前記要求をきっかけとして、前記中間ソフトウェアに、前記ボリュームを前記ポッド仮想マシンにマウントさせる、請求項８に記載のシステム。
14. 前記中間ソフトウェアは、前記ワーカーノード仮想マシン上の孤立したコンピューティング環境を、前記ポッド仮想マシン上に前記ボリュームをマウントするためのプロキシとして使用するように構成される、請求項８に記載のシステム。
15. コンピュータに、
    ワーカーノード仮想マシンによって、ボリュームが前記ワーカーノード仮想マシンにアタッチするために利用可能であることを決定することと、
    ポッドコンテナストレージインターフェースに前記ボリュームをポッド仮想マシンにアタッチさせるよう、前記ワーカーノード仮想マシンの中間ソフトウェアを使用することと、
    前記ポッド仮想マシンに前記ボリュームをアタッチすることに応じて、前記ポッド仮想マシンによって前記ボリュームが使用可能になるように、前記ポッドコンテナストレージインターフェースに前記ボリュームを前記ポッド仮想マシンにマウントさせるよう、前記ワーカーノード仮想マシンの前記中間ソフトウェアを使用することと、を含む動作を実行させる、コンピュータプログラム。
16. 前記ボリュームは永続ボリュームである、請求項１５に記載のコンピュータプログラム。
17. 前記ボリュームはファイルストレージを含む、請求項１５に記載のコンピュータプログラム。
18. 前記ボリュームはブロックストレージを含む、請求項１５に記載のコンピュータプログラム。
19. 前記ワーカーノード仮想マシンは、前記ボリュームをアタッチする要求を受信するように構成され、
    前記ワーカーノード仮想マシンに前記ボリュームをアタッチする代わりに、前記要求をきっかけとして、前記中間ソフトウェアに、前記ボリュームを前記ポッド仮想マシンにアタッチさせる、請求項１５に記載のコンピュータプログラム。
20. 前記ワーカーノード仮想マシンは、前記ボリュームをマウントする要求を受信するように構成され、
    前記ワーカーノード仮想マシンに前記ボリュームをマウントする代わりに、前記要求をきっかけとして、前記中間ソフトウェアに、前記ボリュームを前記ポッド仮想マシンにマウントさせる、請求項１５に記載のコンピュータプログラム。