JP2023544904A - 機械学習パイプラインの分散型リソースアウェアトレーニング - Google Patents

Abstract

機械学習パイプラインの分散型リソースアウェアトレーニングパイプライントレーニング要件を予測するための方法、構造、およびコンピュータシステム。例示的な実施形態は、１または複数のワーカノードから１または複数のワーカノード特徴を受信すること、トレーニングされる対象の１または複数のパイプラインから１または複数のパイプライン特徴を抽出すること、および上記１または複数のパイプラインをトレーニングするのに使用される１または複数のデータセットから１または複数のデータセット特徴を抽出することを含み得る。例示的な実施形態はさらに、上記１または複数のワーカノード特徴、１または複数のパイプライン特徴、および１または複数のデータセット特徴を上記１または複数のリソースに関連付ける１または複数のモデルに基づいて、上記１または複数のデータセットを使用して上記１または複数のパイプラインをトレーニングするために上記１または複数のワーカノードの各々について必要な１または複数のリソースの量を予測することを含み得る。最後に、例示的な実施形態は、上記１または複数のパイプラインをトレーニングするための１または複数のワーカノードの１または複数のリソースの必要な量が最小であるワーカノードを識別することを含み得る。

Description

例示的な実施形態は、一般に、機械学習パイプライン、より具体的には、自動化機械学習パイプラインの分散型のリソースアウェアトレーニングに関する。

自動化機械学習は、多くの場合、いくつかのパイプラインのトレーニングを含む。これらのパイプラインは、最適なパイプラインを見出すために様々な変圧器および推定器を探索および配置するパイプライン最適化フレームワークによって生成される。分散環境においてこれらのパイプラインをトレーニングすることは、パイプラインのトレーニングのためにどれほど多くの時間およびリソースがかかるかを事前に知ることが不可能であるので、難題である。したがって、パイプラインは、現在はワーカノードにインテリジェントに割り当てることができない。

例示的な実施形態は、パイプライントレーニングのための方法、構造、およびコンピュータシステムを開示する。例示的な実施形態は、１または複数のワーカノードから１または複数のワーカノード特徴を受信すること、トレーニングされる対象の１または複数のパイプラインから１または複数のパイプライン特徴を抽出すること、および上記１または複数のパイプラインをトレーニングするのに使用される１または複数のデータセットから１または複数のデータセット特徴を抽出することを含み得る。例示的な実施形態はさらに、上記１または複数のワーカノード特徴、１または複数のパイプライン特徴、および１または複数のデータセット特徴を上記１または複数のリソースに関連付ける１または複数のモデルに基づいて、上記１または複数のデータセットを使用して上記１または複数のパイプラインをトレーニングするために上記１または複数のワーカノードの各々について必要な１または複数のリソースの量を予測することを含み得る。最後に、例示的な実施形態は、上記１または複数のパイプラインをトレーニングするための１または複数のワーカノードの１または複数のリソースの必要な量が最小であるワーカノードを識別することを含み得る。

以下の詳細な説明は、例示的な実施形態をそれのみに限定することを意図するものではなく例として与えられるものであり、添付図面と併せると最も良好に理解されるであろう。
例示的な実施形態に従って、パイプライントレーニングシステム１００の例示的な模式図を示す。 例示的な実施形態に従って、パイプライントレーニングシステム１００のジョイントオプティマイザ１３２の動作を例示する例示的なフローチャート２００を示す。 例示的な実施形態に従って、パイプライントレーニングシステム１００のジョイントオプティマイザ１３２の動作を例示する一例を示す。 例示的な実施形態に従って、図１のパイプライントレーニングシステム１００のハードウェアコンポーネントを示す例示的なブロック図を示す。 例示的な実施形態に従って、クラウドコンピューティング環境を示す。 例示的な実施形態に従って、抽象化モデル層を示す。

図面は、必ずしも原寸に比例していない。図面は単に概略図であり、例示的な実施形態の特定のパラメータを描写するように意図するものではない。図面は単に典型的な例示的な実施形態を示すように意図されている。図面において、同様の番号は同様の要素を表す。

特許請求の範囲における構造および方法の詳細な実施形態を本明細書に開示するが、しかしながら、開示の実施形態は、様々な形態で具現化されてもよい、単に特許請求の範囲における構造および方法の例示であるものと理解することができる。例示的な実施形態は単なる例示であるが、多くの異なる形態で具現化されてもよく、本明細書に記載される例示的な実施形態に限定されるものと解釈されるべきではない。それよりもむしろ、これらの例示的な実施形態は、本開示が十分かつ完全なものであるように、また例示的な実施形態によって網羅される範囲を当業者に完全に伝達するように提供されるものである。説明では、提示された実施形態を不必要に不明瞭にすることを回避するために、周知の特徴および技法の詳細を省略し得る。

本明細書における「一実施形態」、「実施形態」、「例示的な実施形態」等の記載は、説明される実施形態が、特定の機能、構造、または特性を含んでよいが、各実施形態が当該特定の機能、構造、または特性を必ずしも含むものではないことを示す。さらに、かかる語句は、必ずしも同じ実施形態に言及しているわけではない。さらに、特定の特徴、構造、または特性がある実施形態と関連して記載される場合、明示的に記載されるか否かにかかわらず他の実施形態と関連して、かかる特徴、構造、または特性を実装する、当業者の知識の範囲内で提示される。

例示的な実施形態の提示を不明瞭にしないという利益のため、以下の詳細な説明において、当該技術分野で知られているいくつかの処理段階または動作が、提示のため、および例示の目的で共に組み合わされていることがあり、いくつかの例では詳細に説明されていないことがある。他の例では、当該技術分野で知られているいくつかの処理段階または動作は、全く記載されないことがある。以下の説明は、様々な例示的な実施形態による固有の特徴または要素に注目していることが理解されるべきである。

自動化機械学習は、多くの場合、いくつかのパイプラインのトレーニングを含む。これらのパイプラインは、最適なパイプラインを見出すために様々な変圧器および推定器を探索および配置するパイプライン最適化フレームワークによって生成される。分散環境においてこれらのパイプラインをトレーニングすることは、パイプラインのトレーニングのためにどれほど多くの時間およびリソースがかかるかを事前に知ることが不可能であるので、難題である。したがって、パイプラインは、現在はワーカノードにインテリジェントに割り当てることができない。

機械学習パイプラインは、推定器によってフォローされる（データ前処理、外れ値検出、特徴量エンジニアリングなどといった）一連の動作である。そのようなパイプラインは、１）共に様々なパイプラインを組み立てる；２）交差検証を使用して、上記組み立てられたパイプラインの各１つをトレーニングする；３）結果を解析する；および４）どのパイプラインが次を実行するかを決定することを担当するジョイントオプティマイザとして知られているアルゴリズムによって管理され得る。ジョイントオプティマイザは、最も良いパイプラインを見出すまで、プロセスを継続し得る。ジョイントオプティマイザによって実行されるタスクのうち、組み立てられたパイプラインの各々の交差検証を使用したトレーニングが、最も計算的にやっかいな段階、ならびに、機械学習パイプラインのリソースアウェアトレーニングの新たな方法を開示する本明細書において特許請求される本発明の焦点である。

方法はパイプラインをトレーニングするために存在するが、しかしながら、各技法はそれぞれの欠点を有する。例えば、現在のＡｕｔｏＡＩ（登録商標）システム（ＡｕｔｏＡＩは、ＩＢＭ Ｃｏｒｐ．の登録商標である）において、全ての組み立てられたパイプラインは、単一のワーカノード上で実行される。別の例において、ｋｎａｐｓａｃｋ／ｂｉｎ－ｐａｃｋｉｎｇ技法は、パイプラインを定量化するためにパイプラインの長さを使用する。代替的に、ｇｒｅｅｄｙ ｂｉｎ－ｐａｃｋｉｎｇ近似アルゴリズム、例えば、第１フィットｂｉｎｐａｃｋｉｎｇは、使用されるビンの数を最小限に抑える方法で、異なるボリュームの項目を、有限数のビンまたは各々が固定の所定のボリュームのコンテナにパッキングする。パイプラインが特定の繰り返すような順序で分散されているラウンドロビン技術がさらに存在する。

しかしながら、先行のアプローチにはいくつかの問題が存在する。まず、それらは、様々な機械学習アルゴリズムが異なる複雑性を有するので、特定のパイプライントレーニングにどれほど多くの時間がかかるかを推定しない。第２に、ラウンドロビンなどの技法は、機械がどれほどビジーであるか、および、それらが特定のパイプラインのトレーニングを処理可能であるかどうかを考慮しない。

本明細書において特許請求される本発明は、過去のパフォーマンスを考慮したデータ駆動型アプローチを使用するとともに、パイプライントレーニングの予測モデルを構築することで、先行のアプローチの欠陥を解決する。より具体的には、特許請求される発明は、パイプラインのトレーニングのリソース要件を予測し得、以前のパイプライン実行のデータを使用して予測を向上するように継続的に学習する。

図１は、例示的な実施形態に従って、パイプライントレーニングシステム１００を示す。例示的な実施形態によると、パイプライントレーニングシステム１００は、１または複数のワーカノード１２０Ａ－Ｋ、およびパイプライントレーニングサーバ１３０を含に得、これらは全てがネットワーク１０８を介して相互接続され得る。例示的な実施形態のプログラミングおよびデータがネットワーク１０８を介していくつかのサーバにわたってリモートで記憶およびアクセスされ得る一方、代替的にまたは追加的に、例示的な実施形態のプログラミングおよびデータは、わずか１つの物理コンピューティングデバイスにまたは示されたもの以外の他のコンピューティングデバイス間で、ローカルに記憶され得る。

例示的な実施形態では、ネットワーク１０８は、接続デバイス間でデータを転送することができる通信チャネルであってもよい。例示的な実施形態では、ネットワーク１０８はインターネットであってもよく、インターネットに接続されたデバイス間の通信をサポートするネットワークおよびゲートウェイの世界規模の集合体を表す。また、ネットワーク１０８は、有線、無線、光ファイバなどといった様々なタイプの接続を利用し得、これは、イントラネットネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、またはそれらの組み合わせとして実装され得る。さらなる実施形態において、ネットワーク１０８は、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、Ｗｉ－Ｆｉ（登録商標）ネットワーク、またはそれらの組み合わせであり得る。ネットワーク１０８は、２．４ＧＨｚおよび５ＧＨｚインターネット、近距離無線通信、Ｚ－Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）などを含む周波数において動作し得る。別のさらなる実施形態では、ネットワーク１０８は、地上ネットワーク、無線ネットワーク、クローズドネットワーク、衛星ネットワーク、またはそれらの組み合わせを備える２またはそれより多くの当事者間での通話を容易にするのに使用される、電気通信ネットワークであってもよい。一般的に、ネットワーク１０８は、接続デバイス間の通信をサポートするであろう接続およびプロトコルの任意の組み合わせを表し得る。

例示的な実施形態において、１または複数のワーカノード１２０Ａ－Ｋはそれぞれ、企業サーバ、ラップトップコンピュータ、ノートブック、タブレットコンピュータ、ネットブックコンピュータ、パーソナルコンピュータ（ＰＣ）、デスクトップコンピュータ、サーバ、携帯情報端末（ＰＤＡ（登録商標））、ダイヤル式電話、プッシュ式電話、スマートフォン、携帯電話、仮想デバイス、シンクライアント、ＩｏＴデバイス、または、他のコンピューティングデバイスとの間でデータを送信および受信することが可能な任意の他の電子デバイスまたはコンピューティングシステムであり得る。１または複数のワーカノード１２０Ａ－Ｋの各々は、１または複数の機械学習パイプラインをトレーニングするように構成され得る。例示的な実施形態において、１または複数のワーカノード１２０Ａ－Ｋの各々が同じデータセットへのアクセスを有するとともに、各パイプラインが上記１または複数のワーカノード１２０Ａ－Ｋの単一のワーカノード１２０上でトレーニングされ得ると仮定する。上記１または複数のワーカノード１２０Ａ－Ｋは、図４を参照してハードウェア実装として、図５を参照してクラウド実装の一部として、および／または図６を参照して処理のための機能抽象化層を利用してより詳細に説明される。

例示的な実施形態において、パイプライントレーニングサーバ１３０は、ジョイントオプティマイザ１３２、パフォーマンス予測器１３４、およびロードバランサ１３６を含む。パイプライントレーニングサーバ１３０は、企業サーバ、ラップトップコンピュータ、ノートブック、タブレットコンピュータ、ネットブックコンピュータ、パーソナルコンピュータ（ＰＣ）、デスクトップコンピュータ、サーバ、携帯情報端末（ＰＤＡ（登録商標））、ダイヤル式電話、プッシュ式電話、スマートフォン、携帯電話、仮想デバイス、シンクライアント、ＩｏＴデバイス、または、他のコンピューティングデバイスとの間でデータを送信および受信することが可能な任意の他の電子デバイスまたはコンピューティングシステムであり得る。パイプライントレーニングサーバ１３０は単一のデバイスとして示されている一方、他の実施形態において、パイプライントレーニングサーバ１３０は、共に動作するまたは独立して動作するモジュール方式などで、クラスタまたは複数のコンピューティングデバイスで構成され得る。パイプライントレーニングサーバ１３０、図４を参照してハードウェア実装として、図５を参照してクラウド実装の一部として、および／または図６を参照して処理のための機能抽象化層を利用してより詳細に説明される。

実施形態において、ジョイントオプティマイザ１３２は、様々なパイプラインを共に組み立てること、組み立てられたパイプラインの各々を交差検証を使用してトレーニングすること、結果を分析すること、およびどのパイプラインが次を実行するかを決定することが可能はソフトウェアおよび／またはハードウェアプログラムであり得る。特に、かつ組み立てられたパイプラインの各１つを交差検証を使用してトレーニングすることに関して、ジョイントオプティマイザ１３２はさらに、１または複数のワーカノードのハートビート特徴を受信すること、および１または複数のパイプライン特徴および１または複数のデータセット特徴を抽出することが可能であり得る。ジョイントオプティマイザ１３２はさらに、１または複数のモデルを生成することによって必要なパイプライントレーニングリソースを予測すること、およびそれに基づく１または複数のワーカノードを選択することが可能であり得る。最後に、ジョイントオプティマイザ１３２は、フィードバックループに基づいてモデルを調整することが可能であり得る。ジョイントオプティマイザ１３２は、図２から図６を参照してより詳細に説明されている。

パフォーマンス予測器１３４は、パイプラインをトレーニングするのに必要なリソースの量、例えば、所要時間を予測することが可能なソフトウェアおよび／またはハードウェアプログラムであり得る。パフォーマンス予測器１３４は、図２から６を参照してより詳細に説明されている。

ロードバランサ１３６は、それらの全体的な処理をより効率的にすることを目的として、タスクのセットをリソースのセットに分散することが可能なソフトウェアおよび／またはハードウェアプログラムであり得る。パフォーマンス予測器１３４は、図２から６を参照してより詳細に説明されている。

図２は、例示的な実施形態に従って、パイプライントレーニングシステム１００のジョイントオプティマイザ１３２の動作を例示する例示的なフローチャート２００を示す。以下の詳細な説明において、上記１または複数のワーカノード１２０Ａ－Ｋの各々はデータセットへのアクセスを有するとともに、任意のパイプラインをトレーニングし得ると仮定する。１つのデータセットのみが参照されている一方、当業者であれば、特許請求される発明は任意の数のデータセットに適用可能であることが理解されるであろう。

パフォーマンス予測器１３４は、１または複数のワーカノード１２０Ａ－Ｋからハートビート特徴を受信し得る（段階２０２）。実施形態において、ハートビート特徴は、ワーカノード１２０Ａ－Ｋの各々のビジーさおよび電力を定量化するとともに、多数のＣＰＵおよびその内部のコア、多数のＧＰＵおよびその内部のコア、ＣＰＵおよびＧＰＵ利用率、ＣＰＵおよびＧＰＵメモリおよびスワップ使用率、およびｖｍｓｔａｔおよびｉｏｓｔａｔコマンドの出力など、ワーカノードデータから抽出された特徴を含み得る。例示的な実施形態において、ハートビート特徴は、ネットワーク１０８を介して、事前定義された間隔で、ジョイントオプティマイザ１３２のロードバランサ１３６によって受信され得る。しかしながら、ジョイントオプティマイザ１３２が１または複数のワーカノード１２０Ａ－Ｋのうちいずれかからハートビート特徴を受信することに失敗した場合、ジョイントオプティマイザ１３２は、１または複数の未応答ワーカノード１２０Ａ－Ｋを未応答としてマークし、それのためのトレーニング予測を、ハートビート特徴が再び受信されるまで省略する。実施形態において、ジョイントオプティマイザ１３２は、以下で説明されるパイプライン特徴およびデータセット特徴とともに、本明細書において収集されるハートビート特徴に基づいて、ワーカノード１２０Ａ－Ｋのうちどれが最小量のリソースにおいてパイプラインをトレーニングし得るかを決定するために、モデルをトレーニングし得る。

ジョイントオプティマイザ１３２の動作をより良く例示するために、図３によって示された例示的な例をここで参照し、ここで、上記ジョイントオプティマイザ１３２は、１）主成分解析（ＰＣＡ）からランダムフォレスト（ＲＦ）；および２）外れ値検出（ＯＤ）からサポートベクタマシン（ＳＶＭ）といった２つのパイプラインを、４つのワーカノード１２０Ａ、１２０Ｂ、１２０Ｃおよび１２０Ｄのうちいずれかにおいてトレーニングするように構成されている。ジョイントオプティマイザ１３２は、多数のＣＰＵおよびその内部のコア、多数のＧＰＵおよびその内部のコア、ＣＰＵおよびＧＰＵ利用率、ＣＰＵおよびＧＰＵメモリおよびスワップ使用率、およびｖｍｓｔａｔおよびｉｏｓｔａｔコマンドの出力を含むハートビート特徴Ｈ１、Ｈ２、Ｈ３、Ｈ４をそれぞれ受信する。

ジョイントオプティマイザ１３２は、パイプライン特徴を抽出し得る（段階２０４）。実施形態において、パイプライン特徴は、推定器のタイプ、プリプロセッサのタイプ、特徴量エンジニアリングのタイプ、およびそれらのパラメータ設定を含み得、ジョイントオプティマイザ１３２は、トレーニングされる対象の１または複数のパイプラインのスパース符号化を実行することによって、パフォーマンス予測器１３４を介してパイプライン特徴を抽出し得る。特に、ジョイントオプティマイザ１３２は、使用済の変圧器および推定器の入力を１にセットし得、その一方、未使用の変圧器および推定器は０にセットされる。ジョイントオプティマイザ１３２はさらに、個々のパイプラインコンポーネントの各々のパラメータを符号化し、上記パイプラインの符号化されたバージョンを作成し得る。上記のように、ジョイントオプティマイザ１３２は、ハートビート特徴およびデータセット特徴とともにパイプライン特徴を利用して、ワーカノード１２０Ａ－Ｋのうちどれが最小量のリソースを使用してパイプラインをトレーニングし得るかを予測することが可能な１または複数のモデルを構築し得る。

上記において紹介され図３によって示された例示的な例に戻ると、ジョイントオプティマイザ１３２は、推定器のタイプ、プリプロセッサのタイプ、特徴量エンジニアリングのタイプ、およびそれらのパラメータ設定を、上記の第１および第２のパイプラインから抽出する。

ジョイントオプティマイザ１３２は、１または複数のデータセット特徴を抽出し得る（段階２０６）。実施形態において、データセット特徴は、データセットの様々な高レベル次元をキャプチャし、抽出されたデータセット特徴は、多数のデータ点、多数の特徴、多数の交差検証分割（ｆｏｌｄ）、カテゴリー値を有する多数の特徴、実数値を有する多数の特徴、多数の欠落した値、および多数のスパース値を含み得る。上記のように、ジョイントオプティマイザ１３２は、ハートビート特徴およびパイプライン特徴とともにデータセット特徴を利用して、ワーカノード１２０Ａ－Ｋのうちどれが最小量のリソースを使用してパイプラインをトレーニングし得るかを予測することが可能な１または複数のモデルを構築し得る。

図３によって例示された既に紹介された例に続いて、ジョイントオプティマイザ１３２は、データセットからの、データ点の数、特徴の数、ＣＶ分割の数、カテゴリー値を有する特徴の数、実数値を有する特徴の数、欠落した値の数、スパース特徴の数を含むデータセットから、データセット特徴を抽出し得る。

ジョイントオプティマイザ１３２は、必要なパイプライントレーニングリソースを予測し得る（段階２０８）。実施形態において、ジョイントオプティマイザ１３２は、１または複数のワーカノード１２０Ａ－Ｋの各々について必要なパフォーマンス測定値を予測して、パフォーマンス予測器１３４を介してそれぞれのパイプラインをトレーニングし得る。そのような必要なパフォーマンス測定値は、時間、消費電力、ピークメモリ使用率、ピークＣＰＵ利用率などを含み得る。実施形態において、ジョイントオプティマイザ１３２は、機械学習または深層学習モデルを使用して、必要なパイプライントレーニングリソースを予測し得る。そのような実施形態において、ジョイントオプティマイザ１３２は、ランダムフォレスト、ＧＢＭ、ロジスティック回帰、ディープニューラルネットワーク、およびオートエンコーダなどのアルゴリズムを使用してモデルがトレーニングされるパイプライン特徴、データセット特徴、およびハートビート特徴を入力として受信し得る。モデルは、前述の特徴の各々が、パイプラインをトレーニングするためにワーカノード１２０Ａ－Ｋの各々に必要なリソースの量にどのように影響するかをキャプチャする。モデルがトレーニングされると、ジョイントオプティマイザ１３２は、パイプラインのトレーニングに関する各ワーカノードの予測されたパフォーマンス測定値を出力するために、トレーニング済みモデルを、ハートビート特徴、パイプライン特徴、およびデータセット特徴の新たなセットに適用することが可能になる。ジョイントオプティマイザ１３２は次に、やがてより詳細に説明されるように、予測されたパフォーマンス測定値を実際のパフォーマンス測定値と比較することに基づいてモデルを微調整（ｔｗｅａｋ）し得る。

図３によって例示されている既に紹介された例を発展させると、上記ジョイントオプティマイザ１３２は、上記ワーカノード１２０Ａ－Ｄが第１のパイプラインをそれぞれＡ、Ｂ、Ｃ、およびＤ分でトレーニングさせ、第２のパイプラインをそれぞれＷ、Ｘ、Ｙ、およびＺ分で得ることを予測する。ジョイントオプティマイザ１３２はさらに、ピークＣＰＵ使用率などを予測し得る。

ジョイントオプティマイザ１３２は、ワーカノードを選択し得る（段階２１０）。実施形態において、ジョイントオプティマイザ１３２は、予測された必要なパイプライントレーニングリソースに基づいて、パイプラインを実行するための１または複数のワーカノード１２０Ａ－Ｋのうちの少なくとも１つを選択し得る。実施形態において、ジョイントオプティマイザ１３２は、ε－Ｇｒｅｅｄｙまたは多腕バンディット問題アプローチに基づいて、１または複数のワーカノード１２０Ａ－Ｋを選択し得る。ε－Ｇｒｅｅｄｙ、またはｅｐｓｉｌｏｎ－ｇｒｅｅｄｙアプローチにおいて、ジョイントオプティマイザ１３２は、確率（１～ε）で、最も良い予測されたワーカノード１２０Ａ－Ｋを、確率εでランダムワーカノード１２０Ａ－Ｋを選択する。例えば、ジョイントオプティマイザ１３２は次に、上位３つの予測ワーカ（１～ε）を選択し得、ここでεは０．０５から０．１の間で設定され、確率εで３つのランダムワーカを選択する。ほとんどの場合において、ジョイントオプティマイザ１３２は、最も良い予測されたワーカノード１２０Ａ－Ｋを選択するが、しかしながら、ジョイントオプティマイザ１３２がランダムワーカノード１２０Ａ－Ｋを選択する可能性が少しある。多腕バンディットアプローチにおいて、ジョイントオプティマイザ１３２は、まず３つのランダムワーカを選択して、パイプラインをｎ回反復（例えば、ｎ=１０００）して実行することによって、モデルをトレーニングし得る。性能が最も良いワーカノード１２０Ａ－Ｋを識別するのに十分な評価をジョイントオプティマイザ１３２が行うと、ジョイントオプティマイザ１３２は次に、性能が最も良いワーカノード１２０Ａ－Ｋに全てのパイプラインを送信し得る。性能が最も良い動作ノード１２０Ａ－Ｋのパフォーマンスが結果として悪化するとジョイントオプティマイザ１３２が決定した場合、ジョイントオプティマイザ１３２は次に、性能が最も良いワーカノード１２０Ａ－Ｋをランダムで識別し、プロセスを繰り返すことに戻り得る。

既に紹介された例を参照すると、ジョイントオプティマイザ１３２は、第１のパイプラインをトレーニングするためのワーカノード１２０Ａおよび第２のパイプラインをトレーニングするためのワーカノード１２０Ｂを選択する。

ジョイントオプティマイザ１３２は、フィードバックループに基づいてモデルを調整し得る（段階２１２）。実施形態において、ジョイントオプティマイザ１３２は、１または複数のワーカノード１２０Ａ－Ｋによる１または複数のパイプラインのトレーニングに続く損失を決定することによって、モデルを調整し得る。特に、ジョイントオプティマイザ１３２は、予測された必要なパイプライントレーニングリソース、および実際の消費されたパイプライントレーニングリソースを受信し、次に、式１に基づいて損失を出力し得る。
損失＝（予測されたリソース－実際のリソース） ［式１］
ジョイントオプティマイザ１３２は、次に、勾配降下を使用して損失を逆に伝播し得る。

図３によって示された前述の例を結論付けると、ジョイントオプティマイザ１３２は、ワーカノード１２０Ａが第１のパイプラインをトレーニングし、ワーカノード１２０Ｂが第２のパイプラインをトレーニングしたときの損失の識別に基づいて、モデルを調整する。

特許請求される発明の重要な特徴は、損失の逆伝播を介したパフォーマンスの経時的向上、多腕バンディットアプローチを使用した様々なトレーニングデータの生成、トレーニングデータを継続的に予測および収集し、学習し、より良い予測を行うランダムフォレストシステムの使用を含む。

当業者にとっては、前述の発明は、例えば、自動化機械学習および人工知能、分散型パイプライントレーニング、迅速かつ継続的なデータ科学パイプラインの共同最適化（ｄａｔａ ｓｃｉｅｎｃｅ ｐｉｐｅｌｉｎｅ ｊｏｉｎｔ ｏｐｔｉｍｉｚｉｎｇ）、および機械学習トレーニングパイプラインの負荷分散などの分野内で実装され得ることが理解されるであろう。特許請求されるシステムは、例えば、ＫｕｂｅｒｎｅｔｅｓおよびＤｏｃｋｅｒプラットフォームにおいて実装され得、ここで、１または複数のワーカノード１２０Ａ－ＫはＤｏｃｋｅｒコンテナであり、ハートビート特徴はｋｕｂｅｃｔｌを使用して取得され得る。加えて、機械学習／深層学習モデルおよびε－Ｇｒｅｅｄｙモデルは、クラスタにおいてプライマリでまたはマイクロサービスとして実行され得る。また、上記システムは、ＡｕｔｏＳｃａｌｅｒを使用してスケールされること、または、ＭＬ／ＤＬモデルの出力を使用してポッドを手動で作成することができ、上記コンテナは、各パイプライントレーニングの出力を共有クラウドまたはネットワークストレージに書き込み得、その結果、モデルはストレージからデータをピックアップしてそれらの損失を勾配降下し得る。

図３は、例示的な実施形態に従って、パイプライントレーニングシステム１００のジョイントオプティマイザ１３２の動作を例示する一例を示す。

図４は、例示的な実施形態に従って、図１のパイプライントレーニングシステム１００内において使用されるデバイスのブロック図を示す。図４は、１つの実装の例示のみを提供し、異なる実施形態が実装され得る環境に関していかなる制限も示唆しないことが理解されるべきである。示されている環境に対して多くの修正が行われてよい。

本明細書において使用されるデバイスは、１または複数のプロセッサ０２と、１または複数のコンピュータ可読ＲＡＭ０４と、１または複数のコンピュータ可読ＲＯＭ０６と、１または複数のコンピュータ可読記憶媒体０８と、デバイスドライバ１２と、読み出し／書き込みドライブまたはインタフェース１４と、ネットワークアダプタまたはインタフェース１６とを含んでよく、全て通信ファブリック１８を通じて相互接続される。通信ファブリック１８は、プロセッサ（例えば、マイクロプロセッサ、通信およびネットワークプロセッサなど）、システムメモリ、周辺デバイス、およびシステム内の任意の他のハードウェアコンポーネント間でデータもしくは制御情報またはその両方を渡すために設計された任意のアーキテクチャで実装されてよい。

１または複数のオペレーティングシステム１０、および１または複数のアプリケーションプログラム１１は、それぞれのＲＡＭ ０４（典型的には、キャッシュメモリを含む）のうちの１または複数を介したプロセッサ０２のうちの１または複数による実行のためにコンピュータ可読記憶媒体０８のうちの１または複数の上に記憶される。例示された実施形態では、コンピュータ可読記憶媒体０８の各々は、内部ハードドライブの磁気ディスクストレージデバイス、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、磁気テープ、磁気ディスク、光学ディスク、半導体ストレージデバイス、例えば、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、フラッシュメモリまたはコンピュータプログラムおよびデジタル情報を記憶することができる任意の他のコンピュータ可読有形ストレージデバイスであってよい。

本明細書において使用されるデバイスは、１または複数のポータブルコンピュータ可読記憶媒体２６に対して読み出しおよび書き込みを行うＲ／Ｗドライブまたはインタフェース１４も含んでよい。上記デバイス上のアプリケーションプログラム１１は、ポータブルコンピュータ可読記憶媒体２６のうちの１または複数の上に記憶され、それぞれのＲ／Ｗドライブまたはインタフェース１４を介して読み出され、それぞれのコンピュータ可読記憶媒体０８にロードされてよい。

本明細書において使用されるデバイスは、ＴＣＰ／ＩＰアダプタカードまたは無線通信アダプタ（ＯＦＤＭＡ技術を使用する４Ｇ無線通信アダプタ等）等のネットワークアダプタまたはインタフェース１６も含んでよい。上記コンピューティングデバイス上のアプリケーションプログラム１１は、ネットワーク（例えば、インターネット、ローカルエリアネットワークまたは他のワイドエリアネットワークまたは無線ネットワーク）およびネットワークアダプタまたはインタフェース１６を介して、外部コンピュータまたは外部ストレージデバイスからコンピューティングデバイスにダウンロードされてよい。ネットワークアダプタまたはインタフェース１６から、プログラムがコンピュータ可読記憶媒体０８にロードされてよい。ネットワークは、銅ワイヤ、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータもしくはエッジサーバ、またはその組み合わせを備えてよい。

本明細書において使用されるデバイスは、ディスプレイスクリーン２０、キーボードまたはキーパッド２２、およびコンピュータマウスまたはタッチパッド２４も含んでよい。デバイスドライバ１２は、画像形成するディスプレイスクリーン２０、キーボードもしくはキーパッド２２、コンピュータマウスもしくはタッチパッド２４、もしくは英数字入力およびユーザ選択を圧力感知するディスプレイスクリーン２０、またはその組み合わせに、インタフェース接続する。デバイスドライバ１２、Ｒ／Ｗドライブまたはインタフェース１４およびネットワークアダプタまたはインタフェース１６は、ハードウェアおよびソフトウェア（コンピュータ可読記憶媒体０８、もしくはＲＯＭ０６、またはその両方の上に記憶される）を含んでよい。

本明細書において説明されたプログラムは、それらが例示的な実施形態のうちの特定の１つにおいて実装される用途に基づいて識別される。しかしながら、本明細書における任意の特定のプログラム名称は、単に便宜上使用されているものであり、それゆえ、例示的な実施形態は、そのような名称によって識別もしくは示唆されるかまたはその両方が行われる任意の特定の用途のみにおいて使用することに限定されるべきでないことが理解されるべきである。

前述に基づいて、コンピュータシステム、方法、およびコンピュータプログラム製品が開示された。しかしながら、例示的な実施形態の範囲から逸脱することなく、多数の修正および置換を行うことができる。したがって、例示的な実施形態は、限定ではなく例として開示されている。

本開示はクラウドコンピューティングについての詳細な説明を含むが、本明細書で記載される教示内容の実装は、クラウドコンピューティング環境に限定されないことを理解されたい。むしろ、例示的な実施形態は、現在既知の、または今後開発される任意の他のタイプのコンピューティング環境と併せて実装されることが可能である。

クラウドコンピューティングは、最小限の管理労力またはサービスのプロバイダとの対話で迅速にプロビジョニングおよびリリースできる構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールに対する便利なオンデマンドネットワークアクセスを可能にするための、サービス提供モデルである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および、少なくとも４つの展開モデルを含み得る。

特性は以下の通りである。
オンデマンドセルフサービス：クラウドコンシューマは、サービスプロバイダとの人的対話を必要とすることなく、必要に応じて自動的に、サーバ時間およびネットワークストレージなどのコンピューティング能力を一方的にプロビジョニングすることができる。
幅広いネットワークアクセス：各機能がネットワークを介して利用可能であり、異種のシンククライアントプラットフォームまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ（登録商標））による使用を促進する標準的なメカニズムを通じてアクセスされる。
リソースプーリング：プロバイダのコンピューティングリソースが、マルチテナントモデルを使用して複数のコンシューマにサービスを提供するようにプールされ、様々な物理リソースおよび仮想リソースの、需要に従った動的な割り当ておよび再割り当てが行われる。コンシューマは概して提供されたリソースの正確なロケーションに対して制御または知識を有していないが、より高いレベルの抽象化（例えば、国、州、またはデータセンタ）においてロケーションを指定することが可能である場合があるという点で、ロケーションの独立性がある。
迅速な拡張性：能力を迅速にかつ伸縮自在に、場合によっては自動的にプロビジョニングし、即座にスケールアウトすることも、迅速にリリースして即座にスケールインすることもできる。コンシューマにとっては、多くの場合、プロビジョニングに利用可能な能力が無制限にあるように感じられ、また、いつでもどんな量でも購入可能である。
計測サービス：サービスの種類（例えば、格納、処理、帯域幅、およびアクティブなユーザアカウント）に適したある抽象化レベルで計量能力を活用することにより、クラウドシステムはリソースの使用を自動的に制御および最適化する。リソース使用率が、モニタリング、制御、および、報告され、こうすることで、利用されるサービスのプロバイダおよびコンシューマの両方に透明性を提供することができる。

サービスモデルは以下の通りである。
サービスとしてのソフトウェア（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）（ＳａａＳ）：コンシューマに提供される能力は、クラウドインフラストラクチャ上で実行しているプロバイダのアプリケーションを使用することである。アプリケーションには、ウェブブラウザ（例えば、ウェブベースのメール）等のシンクライアントインタフェースを介して様々なクライアントデバイスからアクセスできる。コンシューマは、ネットワーク、サーバ、オペレーティングシステム、ストレージ、または、個々のアプリケーション能力さえも含む基礎となるクラウドインフラストラクチャを管理することも、制御することもない。ただし、限定されたユーザ固有のアプリケーション構成設定は例外となる場合がある。
サービスとしてのプラットフォーム（Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ）（ＰａａＳ）：コンシューマに提供される能力は、プロバイダによりサポートされるプログラミング言語およびツールを使用して作成される、コンシューマが作成または取得したアプリケーションをクラウドインフラストラクチャ上に展開することである。コンシューマは、ネットワーク、サーバ、オペレーティングシステム、または、ストレージを含む基礎となるクラウドインフラストラクチャを管理することも、制御することもないが、展開されたアプリケーション、また場合によっては、アプリケーションホスティング環境構成を制御することができる。
サービスとしてのインフラストラクチャ（Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）（ＩａａＳ）：コンシューマに提供される能力は、処理、ストレージ、ネットワーク、および、他の基本的なコンピューティングリソースをプロビジョニングすることであり、コンシューマは、オペレーティングシステムおよびアプリケーションを含み得る任意のソフトウェアを展開して実行することができる。コンシューマは、基礎となるクラウドインフラストラクチャを管理することも、制御することもないが、オペレーティングシステム、ストレージ、展開されたアプリケーションを制御することができ、場合によっては、選択されたネットワーキングコンポーネント（例えば、ホストファイアウォール）を限定された形で制御することができる。

展開モデルは以下の通りである。
プライベートクラウド：クラウドインフラストラクチャが、一組織のためだけに運用される。それは、組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。
コミュニティクラウド：このクラウドインフラストラクチャは、いくつかの組織によって共有されており、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシ、およびコンプライアンス上の考慮事項）を有する特定のコミュニティをサポートする。これは、組織または第三者により管理することができ、オンプレミスまたはオフプレミスに存在することができる。
パブリッククラウド：クラウドインフラストラクチャが、一般大衆または大きな業界団体により利用可能になり、クラウドサービスを販売する組織により所有される。
ハイブリッドクラウド：このクラウドインフラストラクチャは、２またはそれより多くのクラウド（プライベート、コミュニティ、またはパブリック）の複合体であり、２またはそれより多くのクラウドは、独自のエンティティのままであるが、データおよびアプリケーションのポータビリティ（例えば、クラウド間の負荷分散のためのクラウドバースト）を可能にする標準技術または独自技術によってともに結合される。

クラウドコンピューティング環境は、ステートレス性、低結合性、モジュール性、およびセマンティック相互運用性を重視したサービス指向型である。クラウドコンピューティングの中核には、相互接続されたノードからなるネットワークを含むインフラストラクチャが存在する。

ここで図５を参照すると、例示的なクラウドコンピューティング環境５０が示される。示されているように、クラウドコンピューティング環境５０は、例えば、携帯情報端末（ＰＤＡ）もしくは携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、もしくは自動車コンピュータシステム５４Ｎ、またはその組み合わせ等の、クラウドコンシューマによって使用されるローカルコンピューティングデバイスが通信し得る、１または複数のクラウドコンピューティングノード４０を備える。ノード４０は、互いに通信してよい。それらは、上記で説明されたようなプライベートクラウド、コミュニティクラウド、パブリッククラウドまたはハイブリッドクラウド、または、それらの組み合わせなどの１または複数のネットワーク内で物理的にまたは仮想的にグループ分け（図示せず）することができる。これにより、クラウドコンピューティング環境５０は、インフラストラクチャ、プラットフォーム、もしくはソフトウェア、またはその組み合わせを、クラウドコンシューマがそのためにローカルコンピューティングデバイス上にリソースを維持する必要がないサービスとして提供することが可能になる。図５に示されたコンピューティングデバイス５４Ａ～Ｎの種類は例示のみを意図しており、コンピューティングノード４０およびクラウドコンピューティング環境５０は、任意の種類のネットワークもしくはネットワークアドレス指定可能な接続またはその両方を介して（例えば、ウェブブラウザを使用して）、任意の種類のコンピュータ化デバイスと通信できることを理解されたい。

ここで図６を参照すると、クラウドコンピューティング環境５０（図５）により提供される機能抽象化層のセットが示される。図６に示されるコンポーネント、層、および機能は、単に例示であることが意図され、例示的な実施形態はそれらに限定されないことが事前に理解されるべきである。図示されているように、以下の層および対応する機能が設けられている。

ハードウェアおよびソフトウェア層６０は、ハードウェアおよびソフトウェアコンポーネントを備える。ハードウェアコンポーネントの例としては、メインフレーム６１、ＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャベースサーバ６２、サーバ６３、ブレードサーバ６４、ストレージデバイス６５、ならびに、ネットワークおよびネットワーキングコンポーネント６６が挙げられる。いくつかの実施形態では、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア６７およびデータベースソフトウェア６８を備える。

仮想化層７０は、仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティングシステム７４、ならびに仮想クライアント７５である、仮想エンティティの例が提供され得る抽象化層を提供する。

一実施例では、管理層８０は、以下で説明する機能を提供してもよい。リソースプロビジョニング８１は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソースおよび他のリソースの動的な調達を提供する。計量および価格設定８２は、リソースがクラウドコンピューティング環境内で利用される際のコスト追跡と、これらのリソースの消費に対する勘定または請求を提供する。一実施例では、これらのリソースは、アプリケーションソフトウェアライセンスを含み得る。セキュリティでは、クラウドコンシューマおよびタスクについての身元確認、ならびに、データおよび他のリソースについての保護が行われる。ユーザポータル８３は、コンシューマおよびシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービス水準管理８４は、要求されるサービス水準が満たされるように、クラウドコンピューティングリソース割り当ておよび管理を提供する。サービスレベルアグリーメント（ＳＬＡ）の計画および履行８５は、ＳＬＡに従って将来の要件が予測されるクラウドコンピューティングリソースの事前調整および調達を提供する。

ワークロード層９０は、クラウドコンピューティング環境が利用され得る機能の例を提供する。この層から提供され得るワークロードおよび機能の例には、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想教室教育の提供９３、データ解析処理９４、トランザクション処理９５、およびパイプライントレーニング処理９６が含まれる。

例示的な実施形態は、任意の可能な技術詳細レベルの統合におけるシステム、方法、もしくはコンピュータプログラム製品またはその組み合わせであり得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または複数の媒体）を含んでよい。

コンピュータ可読記憶媒体は、命令実行デバイスにより使用される命令を保持および格納し得る有形デバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、または上述のものの任意の好適な組み合わせであり得るが、これらに限定されるものではない。コンピュータ可読記憶媒体のより具体的な例の非包括的リストは、以下の、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、パンチカードまたは命令が記録されている溝内の隆起構造などの機械的にエンコードされたデバイス、および、上述のものの任意の好適な組み合わせを含む。本明細書において使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝播する電磁波、導波路または他の伝送媒体を通って伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを通じて伝送される電気信号等、それ自体が一時的な信号であると解釈されるべきではない。

本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされてもよく、または、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくは無線ネットワーク、またはその組み合わせを介して、外部コンピュータまたは外部ストレージデバイスにダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバ、またはその組み合わせを備え得る。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に格納するために転送する。

本発明の動作を実行するコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データであってもよく、Ｓｍａｌｌｔａｌｋ（登録商標）またはＣ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような手続き型プログラミング言語を含む１または複数のプログラミング言語の任意の組み合わせで記述したソースコードまたはオブジェクトコードであってもよい。コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で全体を実行すること、ユーザのコンピュータ上で一部分を実行することができ、ユーザのコンピュータ上で一部分を、リモートコンピュータ上で一部分を実行すること、または、リモートコンピュータもしくはサーバ上で全体を実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、またはその接続は、外部コンピュータに対して（例えば、インターネットサービスプロバイダを使用してインターネットを介して）行われてもよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して、電子回路をパーソナライズしてよい。

本発明の態様は、本明細書において、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図もしくはブロック図またはその両方を参照して、説明されている。フローチャート図もしくはブロック図またはその組み合わせの各々のブロックと、フローチャート図もしくはブロック図またはその組み合わせにおけるブロックの組み合わせとが、コンピュータ可読プログラム命令によって実装できることが理解されよう。

これらのコンピュータ可読プログラム命令をコンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供してマシンを生成してよく、それにより、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートもしくはブロック図、またはその両方の単数または複数のブロックで指定された機能／動作を実装する手段を作成するようになる。また、これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置、もしくは、他のデバイス、または、その組み合わせに特定の方式で機能するように指示することが可能なコンピュータ可読記憶媒体にも記憶することができ、これにより、命令を記憶したコンピュータ可読記憶媒体が、フローチャートもしくはブロック図の、またはこれらの両方の単数または複数のブロックで指定される機能／動作の態様を実装する命令を含む製品を含むようになる。

また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または、他のデバイスにロードして、コンピュータ、他のプログラマブル装置、または、他のデバイス上で一連の動作段階を実行させることでコンピュータ実装プロセスを生成することもでき、これにより、コンピュータ、他のプログラマブル装置、または、他のデバイス上で実行される命令が、フローチャートもしくはブロック図の、またはこれらの両方の単数または複数のブロックで指定される機能／動作を実装するようになる。

図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の考えられる実装のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実装する１または複数の実行可能命令を含む命令のモジュール、セグメント、または部分を表し得る。いくつかの代替的な実装形態において、ブロックに記されている機能は、図面に記されている順序とは異なる順序で行われ得る。例えば、連続して示されている２つのブロックが、実際には、１つの段階として実現されてもよく、同時に、実質的に同時に、部分的にもしくは全体的に時間重複する方式で実行されてもよく、または、ブロックは、場合によっては、関与する機能性に依存して逆の順序で実行されてもよい。また、ブロック図もしくはフローチャート図、またはその両方の各ブロック、およびブロック図もしくはフローチャート図、またはその両方のブロックの組み合わせは、指定された機能または動作を実行する、または専用ハードウェアとコンピュータ命令との組み合わせを実行する専用ハードウェアベースシステムによって実装できることにも留意されたい。

Claims (20)

1. パイプライントレーニング要件を予測するためのコンピュータ実装方法であって、前記コンピュータ実装方法は、
   １または複数のワーカノードから１または複数のワーカノード特徴を受信する段階；
   トレーニングされる対象の１または複数のパイプラインから１または複数のパイプライン特徴を抽出する段階；
   前記１または複数のパイプラインをトレーニングするのに使用される１または複数のデータセットから１または複数のデータセット特徴を抽出する段階；
   前記１または複数のワーカノード特徴、前記１または複数のパイプライン特徴、および前記１または複数のデータセット特徴を前記１または複数のリソースに関連付ける１または複数のモデルに基づいて、前記１または複数のデータセットを使用して前記１または複数のパイプラインをトレーニングするために前記１または複数のワーカノードの各々について必要な１または複数のリソースの量を予測する段階；および
   前記１または複数のパイプラインをトレーニングするための前記１または複数のワーカノードの前記１または複数のリソースの必要な量が最小であるワーカノードを識別する段階
   を備える、コンピュータ実装方法。
2. 前記１または複数のパイプラインをトレーニングするために前記ワーカノードによって必要とされるリソースの実際の量を決定する段階；および
   前記リソースの予測された量および前記リソースの実際の量の比較に基づいて前記１または複数のモデルを調整する段階
   をさらに備える、請求項１に記載のコンピュータ実装方法。
3. 前記１または複数のワーカノード特徴はそれぞれ、多数のＣＰＵおよびその内部のコア、多数のＧＰＵおよびその内部のコア、ＣＰＵ利用率、ＧＰＵ利用率、ＣＰＵメモリ、ＧＰＵメモリ、ＣＰＵおよびＧＰＵスワップ使用率、および、ｖｍｓｔａｔおよびｉｏｓｔａｔコマンドの出力を含む、請求項１に記載のコンピュータ実装方法。
4. 前記１または複数のパイプライン特徴は、推定器のタイプ、プリプロセッサのタイプ、特徴量エンジニアリングのタイプ、およびそれらのパラメータ設定を含む、請求項１に記載のコンピュータ実装方法。
5. 前記１または複数のデータセット特徴は、多数のデータ点、多数の特徴、多数の交差検証分割、カテゴリー値を有する多数の特徴、実数値を有する多数の特徴、多数の欠落値、および多数のスパース値を含む、請求項１に記載のコンピュータ実装方法。
6. 前記１または複数のモデルは、ランダムフォレスト、ＧＢＭ、ロジスティック回帰、ディープニューラルネットワーク、およびオートエンコーダを介してトレーニングされる、請求項１に記載のコンピュータ実装方法。
7. 前記１または複数のリソースは、トレーニング時間、消費電力、ピークＣＰＵ利用率、およびピークメモリ利用率を含む、請求項１に記載のコンピュータ実装方法。
8. パイプライントレーニング要件を予測するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、
   １または複数の非一時的コンピュータ可読記憶媒体、および、方法を実行することが可能な前記１または複数の非一時的コンピュータ可読記憶媒体に記憶されたプログラム命令
   を備え、前記方法は、
   １または複数のワーカノードから１または複数のワーカノード特徴を受信する段階；
   トレーニングされる対象の１または複数のパイプラインから１または複数のパイプライン特徴を抽出する段階；
   前記１または複数のパイプラインをトレーニングするのに使用される１または複数のデータセットから１または複数のデータセット特徴を抽出する段階；
   前記１または複数のワーカノード特徴、前記１または複数のパイプライン特徴、および前記１または複数のデータセット特徴を前記１または複数のリソースに関連付ける１または複数のモデルに基づいて、前記１または複数のデータセットを使用して前記１または複数のパイプラインをトレーニングするために前記１または複数のワーカノードの各々について必要な１または複数のリソースの量を予測する段階；および
   前記１または複数のパイプラインをトレーニングするための前記１または複数のワーカノードの前記１または複数のリソースの必要な量が最小であるワーカノードを識別する段階
   を含む、コンピュータプログラム製品。
9. 前記１または複数のパイプラインをトレーニングするために前記ワーカノードによって必要とされるリソースの実際の量を決定する段階；および
   前記リソースの予測された量および前記リソースの実際の量の比較に基づいて前記１または複数のモデルを調整する段階
   をさらに備える、請求項８に記載のコンピュータプログラム製品。
10. 前記１または複数のワーカノード特徴はそれぞれ、多数のＣＰＵおよびその内部のコア、多数のＧＰＵおよびその内部のコア、ＣＰＵ利用率、ＧＰＵ利用率、ＣＰＵメモリ、ＧＰＵメモリ、ＣＰＵおよびＧＰＵスワップ使用率、および、ｖｍｓｔａｔおよびｉｏｓｔａｔコマンドの出力を含む、請求項８に記載のコンピュータプログラム製品。
11. 前記１または複数のパイプライン特徴は、推定器のタイプ、プリプロセッサのタイプ、特徴量エンジニアリングのタイプ、およびそれらのパラメータ設定を含む、請求項８に記載のコンピュータプログラム製品。
12. 前記１または複数のデータセット特徴は、多数のデータ点、多数の特徴、多数の交差検証分割、カテゴリー値を有する多数の特徴、実数値を有する多数の特徴、多数の欠落値、および多数のスパース値を含む、請求項８に記載のコンピュータプログラム製品。
13. 前記１または複数のモデルは、ランダムフォレスト、ＧＢＭ、ロジスティック回帰、ディープニューラルネットワーク、およびオートエンコーダを介してトレーニングされる、請求項８に記載のコンピュータプログラム製品。
14. 前記１または複数のリソースは、トレーニング時間、消費電力、ピークＣＰＵ利用率、およびピークメモリ利用率を含む、請求項８に記載のコンピュータプログラム製品。
15. パイプライントレーニング要件を予測するためのコンピュータシステムであって、前記コンピュータシステムは、
    １または複数のコンピュータプロセッサ、１または複数のコンピュータ可読記憶媒体、および、方法を実行することが可能な前記１または複数のプロセッサのうちの少なくとも１つによって実行されるために前記コンピュータ可読記憶媒体のうちの１または複数に記憶されたプログラム命令
    を備え、前記方法は、
    １または複数のワーカノードから１または複数のワーカノード特徴を受信する段階；
    トレーニングされる対象の１または複数のパイプラインから１または複数のパイプライン特徴を抽出する段階；
    前記１または複数のパイプラインをトレーニングするのに使用される１または複数のデータセットから１または複数のデータセット特徴を抽出する段階；
    前記１または複数のワーカノード特徴、前記１または複数のパイプライン特徴、および前記１または複数のデータセット特徴を前記１または複数のリソースに関連付ける１または複数のモデルに基づいて、前記１または複数のデータセットを使用して前記１または複数のパイプラインをトレーニングするために前記１または複数のワーカノードの各々について必要な１または複数のリソースの量を予測する段階；および
    前記１または複数のパイプラインをトレーニングするための前記１または複数のワーカノードの前記１または複数のリソースの必要な量が最小であるワーカノードを識別する段階
    を含む、コンピュータシステム。
16. 前記１または複数のパイプラインをトレーニングするために前記ワーカノードによって必要とされるリソースの実際の量を決定する段階；および
    前記リソースの予測された量および前記リソースの実際の量の比較に基づいて前記１または複数のモデルを調整する段階
    をさらに備える、請求項１５に記載のコンピュータシステム。
17. 前記１または複数のワーカノード特徴はそれぞれ、多数のＣＰＵおよびその内部のコア、多数のＧＰＵおよびその内部のコア、ＣＰＵ利用率、ＧＰＵ利用率、ＣＰＵメモリ、ＧＰＵメモリ、ＣＰＵおよびＧＰＵスワップ使用率、および、ｖｍｓｔａｔおよびｉｏｓｔａｔコマンドの出力を含む、請求項１５に記載のコンピュータシステム。
18. 前記１または複数のパイプライン特徴は、推定器のタイプ、プリプロセッサのタイプ、特徴量エンジニアリングのタイプ、およびそれらのパラメータ設定を含む、請求項１５に記載のコンピュータシステム。
19. 前記１または複数のデータセット特徴は、多数のデータ点、多数の特徴、多数の交差検証分割、カテゴリー値を有する多数の特徴、実数値を有する多数の特徴、多数の欠落値、および多数のスパース値を含む、請求項１５に記載のコンピュータシステム。
20. 前記１または複数のモデルは、ランダムフォレスト、ＧＢＭ、ロジスティック回帰、ディープニューラルネットワーク、およびオートエンコーダを介してトレーニングされる、請求項１５に記載のコンピュータシステム。

Images