JP2024515416A - 並列機械学習モデルの公平な同時比較 - Google Patents

並列機械学習モデルの公平な同時比較 Download PDF

Info

Publication number
JP2024515416A
JP2024515416A JP2023548849A JP2023548849A JP2024515416A JP 2024515416 A JP2024515416 A JP 2024515416A JP 2023548849 A JP2023548849 A JP 2023548849A JP 2023548849 A JP2023548849 A JP 2023548849A JP 2024515416 A JP2024515416 A JP 2024515416A
Authority
JP
Japan
Prior art keywords
algorithms
resource
hardware
resources
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023548849A
Other languages
English (en)
Inventor
エンゲル、ロバート
メガヘド、アリー
ケビン バトラー、エリック
ラムチャンダニ、ニティン
ジェレミー オン、ユヤ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2024515416A publication Critical patent/JP2024515416A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Multi Processors (AREA)

Abstract

コンピューティングデバイスを使用して、複数のアルゴリズムの性能を比較する方法。前記方法は、コンピューティングデバイスによって、評価すべき複数のアルゴリズムを受信する段階を備える。前記コンピューティングデバイスは、前記複数のアルゴリズムに配分すべきリソースの総量を更に受信する。前記コンピューティングデバイスは、加えて、前記リソースの総量の公平な割合を前記複数のアルゴリズムの各々に割り当てる。前記コンピューティングデバイスは、また更に、前記リソースの総量の前記割り当てられた公平な割合を使用して前記複数のアルゴリズムの各々を実行する。前記コンピューティングデバイスは、加えて、前記複数のアルゴリズムの各々のための任意の所与のリソース配分のハードウェア相対ユーティリティを記述する複数のハードウェア相対ユーティリティメトリックのうちの少なくとも１つに基づいて、前記複数の各々の性能を比較する。

Description

本発明の実施形態の分野は、並列機械学習（ＭＬ）アルゴリズム又はモデルの公平な比較に関する。
多くの並列ＭＬアルゴリズム及び更により多くの実装及び変形が存在する。モデル及び／又はアルゴリズムに関する「並列」という用語は、性能を高めるために、グリッド、クラスタ、クラウド等の上で分散又は連合して実行することに関する。これらのＭＬアルゴリズム及び／又はモデルは、要求される計算、メモリ、ネットワーキング帯域幅、ネットワークレイテンシ、ディスクストレージ要件及び特殊なハードウェア（例えば、ＧＰＵ、ＡＳＩＣ等）の観点で異なる。例えば、サポートベクトルマシン（ＳＶＭ）は、高い計算複雑度、及び相対的に低いメモリ要件を有する。畳み込みニューラルネットワーク（ＣＮＮ）は、中程度の計算複雑度、及び中程度のメモリ要件を有し；Ｋ最近傍（ＫＮＮ）ニューラルネットワーク（ＮＮ）は、高い計算複雑度、及び高いメモリ要件を有する。別の例は、連合学習対分散学習を伴うことがあり、各々が、異なるネットワーク利用パターン、及びしたがって、異なる帯域幅及びレイテンシ要件を有する。更なる例は、ノードローカルリソース要件対総リソース要件の割合、及び理想分布特徴（例えば、均一分布）である。したがって、異なる並列ＭＬアルゴリズム、及び同じアルゴリズムの更に異なる実装は、異なるように：それらが適用される特定のＭＬ問題（すなわち、データ）に依存して；及び異なるハードウェア構成及びアーキテクチャに依存して、実行する。
実施形態は、並行機械学習モデルの公平な比較に関する。１つの実施形態は、コンピューティングデバイスを使用して、複数のアルゴリズムの性能を比較する方法を提供する。前記方法は、コンピューティングデバイスによって、評価すべき複数の機械を受信する段階を備える。前記コンピューティングデバイスは、前記複数のアルゴリズムに配分すべきリソースの総量を更に受信する。前記コンピューティングデバイスは、加えて、前記リソースの総量の公平な割合を前記複数のアルゴリズムの各々に割り当てる。前記コンピューティングデバイスは、また更に、前記リソースの総量の前記割り当てられた公平な割合を使用して前記複数のアルゴリズムの各々を実行する。前記コンピューティングデバイスは、加えて、前記複数のアルゴリズムの各々のための任意の所与のリソース配分のハードウェア相対ユーティリティを記述する複数のハードウェア相対ユーティリティメトリックのうちの少なくとも１つに基づいて、前記複数のアルゴリズムの各々の性能を比較する。実施形態は、異なるアルゴリズムを同時に公平でかつ分散的な方式でベンチマーキング及び／又は比較することを大幅に改善する。結果として、実施形態は、異なる理想ハードウェア要件／選好から生じるバイアスが除去又は軽減されるように異なる（並列）アルゴリズム（限定されないが、機械学習（ＭＬ）、シミュレーション又は検索を含むアルゴリズム又はモデル等）にわたる限られた分散したコンピューティングリソースを分割するときに大幅に提供する。幾つかの特徴は、最適化ＭＬモデルにおける分布のより高い次数及びリソース不均一性の（負の）影響を考慮し、「公平性」を改善する利点に寄与する。幾つかの他の特徴は、ＭＬアルゴリズム又はモデルがリソースの同じ単一のプールを使用してそれらの性能（例えば、正確性）に関して同時に比較されるという利点に寄与する。
以下の特徴のうちの１つ又は複数が含まれてよい。幾つかの実施形態では、前記方法は、前記複数のアルゴリズムが、機械学習アルゴリズム、シミュレーションアルゴリズム又は探索アルゴリズムを含むことを更に含んでよい。前記アルゴリズムのうちの各々のアルゴリズムの性能は、実行時間、正確性、メトリック又はこれらの組み合わせの観点で比較される。
幾つかの実施形態では、前記方法は、前記複数のアルゴリズムの各々についての入力が、リソースタイプのセット、及び要求されるハードウェアリソースを含むリソースバンドルを含むことを更に含んでよい。
１つ又は複数の実施形態では、前記方法は、前記アルゴリズムの各々についての前記入力が、前記複数のハードウェア相対ユーティリティメトリックを含むリソース選好プロファイルを更に含むこと、前記複数のアルゴリズムについての異なるハードウェア要件又は選好から生じるバイアスが、除去又は軽減されること、及び前記複数のハードウェア相対ユーティリティメトリックが、リソース配分インデックス、リソース分布インデックス及びリソース分散インデックスに基づくことを更に含んでよい。
１つ又は複数の実施形態では、前記方法は、前記複数のハードウェア相対ユーティリティメトリックに従って前記複数のアルゴリズムにわたる相対ハードウェアユーティリティのパレート最適な、公正な又は緩和された公正性を有する分布（ｅｑｕｉｔａｂｌｅ ｏｒ ｒｅｌａｘｅｄ－ｅｑｕｉｔａｂｌｅ）として最適な全体リソース配分を計算する段階を更に備えてよい。
幾つかの実施形態では、前記方法は、リソースバンドルの多重度における前記複数のアルゴリズムの各々に対するハードウェアリソースの最適な配分を決定する段階を更に備えてよい。
本実施形態のこれらの及び他の特徴、態様及び利点は、以下の説明、添付の特許請求の範囲及び添付の図面を参照して理解される。
１つの実施形態に係る、並列で実行される異なるモデル又はアルゴリズムの公平な比較のためのプロセスのブロック図である。
１つの実施形態に係る、リソースのプール、リソースバンドルのセット、異なるＭＬモデル又はアルゴリズム及びリソース選好プロファイルの一例を示す図である。
１つの実施形態に係るリソース選好プロファイルの一例を示す図である。
１つの実施形態に係る、そのそれぞれのリソース選好プロファイル（ＲＰＰｉ）における相対ユーティリティパラメータ（ ）に従って機械学習（ＭＬ）アルゴリズム（ｉ）によってリソース（Ｓｉ）の特定の配分に与えられる主観的ユーティリティのための方程式を示す図である。
１つの実施形態に係る、比較すべき異なるアルゴリズム及び／又はモデルのための異なるリソース配分の間の相対公平性を決定するプロセスのブロック図である。
一実施形態に係るクラウドコンピューティング環境を示すである。
一実施形態に係る、抽象化モデル層のセットを示す図である。
一実施形態に係る、比較すべき異なるＭＬアルゴリズム及び／又はモデルのための異なるリソース配分の間の相対公平性を決定するシステムのネットワークアーキテクチャを示す図である。
一実施形態に係る、図６のサーバ及び／又はクライアントに関連付けられ得る代表的なハードウェア環境を示す図である。
１つの実施形態に係る、比較すべき異なるＭＬアルゴリズム及び／又はモデルのための異なるリソース配分の間の相対公平性を決定する分散システムを示すブロック図である。
様々な実施形態の説明は、例示の目的で提示されているが、網羅的であることも、又は、開示される実施形態に限定されることも意図していない。説明される実施形態の範囲から逸脱することなく、多くの修正形態及び変形形態が、当業者には明らかになるであろう。本明細書において使用される専門用語は、実施形態の原理、実用的な適用又は市場で見られる技術に対する技術的改善を最適に説明し、又は、本明細書において開示される実施形態を他の当業者が理解することを可能にするように選択された。
実施形態は、並列アルゴリズムについての公平な比較に関する。１つの実施形態は、コンピューティングデバイスを使用して、複数のアルゴリズムの性能を比較する方法を提供する。方法は、コンピューティングデバイスによって、評価すべき複数のアルゴリズムを受信する段階を備える。コンピューティングデバイスは、複数のアルゴリズムに配分すべきリソースの総量を更に受信する。コンピューティングデバイスは、加えて、リソースの総量の公平な割合を複数のアルゴリズムの各々に割り当てる。コンピューティングデバイスは、また更に、リソースの総量の割り当てられた公平な割合を使用して複数のアルゴリズムの各々を実行する。コンピューティングデバイスは、加えて、複数のアルゴリズムの各々のための任意の所与のリソース配分のハードウェア相対ユーティリティを記述する複数のハードウェア相対ユーティリティメトリックのうちの少なくとも１つに基づいて、複数のアルゴリズムの各々の性能を比較する。
以下の特徴のうちの１つ又は複数が含まれてよい。幾つかの実施形態では、方法は、複数のアルゴリズムが、機械学習（ＭＬ）アルゴリズム（又はモデル）、シミュレーションアルゴリズム（又はモデル）又は探索アルゴリズム（又はモデル）を含むことを更に含んでよい。これらのアルゴリズムのうちの各々のアルゴリズムの性能は、実行時間、正確性、メトリック又はこれらの組み合わせの観点で比較される。
幾つかの実施形態では、方法は、複数のアルゴリズムの各々についての入力が、リソースタイプのセット、及び要求されるハードウェアリソースを含むリソースバンドルを含むことを更に含んでよい。
１つ又は複数の実施形態では、方法は、複数のアルゴリズムの各々についての入力が、複数のハードウェア相対ユーティリティメトリックを含むリソース選好プロファイルを更に含むこと、複数のアルゴリズムについての異なるハードウェア要件又は選好から生じるバイアスが、除去又は軽減されること、及び複数のハードウェア相対ユーティリティメトリックが、リソース配分インデックス、リソース分布インデックス及びリソース分散インデックスに基づくことを更に含んでよい。
１つ又は複数の実施形態では、方法は、複数のハードウェア相対ユーティリティメトリックに従って複数のアルゴリズムにわたる相対ハードウェアユーティリティのパレート最適な、公正な又は緩和された公正性を有する分布として最適な全体リソース配分を計算する段階を更に備えてよい。
幾つかの実施形態では、方法は、リソースバンドルの多重度において複数のアルゴリズムの各々に対するハードウェアリソースの最適な配分を決定する段階を更に備えてよい。
１つ又は複数の実施形態は、１つ又は複数の人工知能（ＡＩ）モデル又はアルゴリズムを利用するＭＬモデル又はアルゴリズムに関する。ＡＩモデルは、トレーニングされたＭＬモデル（例えば、ＮＮ、ＣＮＮ、再帰ＮＮ（ＲＮＮ）、長短期記憶（ＬＳＴＭ）ベースＮＮ、ゲート付き再帰ユニット（ＧＲＵ）ベースＲＮＮ、ツリーベースＣＮＮ、ＫＮＮ、自己注意ネットワーク（例えば、注意機構を基本構築ブロックとして利用するＮＮであり；自己注意ネットワークは、再帰又は畳み込みを有することなく、シーケンスモデリングタスクに有効であると示されている）、ＢｉＬＳＴＭ（双方向ＬＳＴＭ）等のようなモデル）を含んでよい。人工ＮＮは、ノード又はニューロンの相互接続されたグループである。
１つ又は複数の実施形態は、アルゴリズム又はモデルにわたって（分布の画一的な次数を含む）画一的なリソースバンドリングを利用することから典型的にもたらされるアルゴリズム又はモデルのサブセットに向かうバイアスを軽減するために、異なる並列アルゴリズム又はモデルをそれらの性能に関して比較するときの公平性のメトリックを定義する。幾つかの実施形態では、異なる並列アルゴリズム又はモデルのセットにわたる異なるコンピューティングリソースの（パレート）最適の、公平（すなわち、公正な）分割／マッピングは、リソースの限られたプールから、事前設定された別個のリソースバンドリングの多重度において、及び分布オーバヘッドの相対的な影響を考慮しながら、決定される。したがって、１つ又は複数の実施形態では、アルゴリズム又はモデルは、同じ、リソースの単一プールを使用してそれらの性能（例えば、正確性）に関して同時に比較されてよい。
実施形態の手法は、異なるアルゴリズムを同時に公平でかつ分散的な方式でベンチマーキング及び／又は比較することを大幅に改善する。結果として、実施形態は、異なる理想ハードウェア要件／選好から生じるバイアスが除去又は軽減されるように異なる（並列）アルゴリズムにわたる限られた分散したコンピューティングリソースを分割するときに大幅に提供する。その上、実施形態は、「公平性」を更に改善するために、最適化ＭＬモデルにおける分布のより高い次数及びリソース不均一性の（負の）影響を考慮する。
従来のインターフェースは、連続して実行される異なるＭＬアルゴリズム又はモデルの比較を表示する。モデル／アルゴリズム性能比較は、製造ユースケースのための最良のモデルを選択するためのＭｏｄｅｌＯｐｓにおける必須のアクティビティ（すなわち、ＡＩ及び判断モデル（ＭＬ、学習グラフ、ルール、最適化エージェント及び言語学に基づくモデル）のライフサイクルの統制及び管理に焦点をあてたＭＬモデルを動作可能にするプロセス）である。典型的には、異なるアルゴリズム／実装は、経過トレーニング時間にわたって及び／又は何らかの事前定義されたタイムアウトが生じるまでプロットされた何らかの性能メトリック（例えば、曲線（ＡＵＣ）スコア下の受信者動作特性（ＲＯＣ）面積）によって比較することができる。自動化ＭＬ（ＭＬモデル開発の反復タスクを自動化するプロセス）手法は、ＭｏｄｅｌＯｐｓプロセスにおいてそれらの実験をセットアップすることを助けることができる。並列化ＭＬアルゴリズム比較のための現在の解決策は、並列化されていない単一のノード上で、又は一般化された分散インフラストラクチャ（例えば、高信頼度の、スケーリング可能の、分散コンピューティングのためのオープンソースソフトウェア、インタラクティブクエリ、ＭＬ、及びリアルタイムワークロードに焦点を置いたオープンソースフレームワーク）上で異なるＭＬアルゴリズムを実行し：連続して、それらが一度に１つのアルゴリズムをトレーニング及び試験する場合、最後に結果を収集し、性能結果を比較し、これは、並列トレーニング及び試験を利用する１つ又は複数の実施形態と比較してＭｏｄｅｌＯｐｓにおいてデータサイエンティストの時間の浪費をもたらす。
異なるハードウェア要件についての差別化がなければ、従来の技法は、全て同じインフラストラクチャ（例えば、異なるメモリ要件、異なるネットワーク帯域幅要件、異なるアルゴリズム／モデルの中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ）、ＴｒｕｅＮｏｒｔｈ、エッジデバイス等を取り除いた高信頼度の、スケーリング可能の、分散コンピューティングのためのオープンソースソフトウェア、インタラクティブクエリ、ＭＬ、及びリアルタイムワークロードに焦点を置いたオープンソースフレームワーク）上で実行される。これは、モデルトレーニング／予測が幾つかのアルゴリズムにとって他のものよりも好ましくあり得る抽象ハードウェア一般化上で実行されるので、ＭＬアルゴリズム又はモデル実装の不公平な（すなわち、バイアスされた）比較をもたらし、これは、偏好である。
さらに、従来のシステムは、ＭＬアルゴリズムのテストランのためのリソースを利用し得、これは、アドホック方式でプロビジョニングすることができる。典型的な企業クラウドでは、特定のＭｏｄｅｌＯｐｓユースケースのために配分することができるＣＰＵ、ＧＰＵ、メモリ、ネットワークレイテンシ、ネットワーク帯域幅、ディスクの総量（又はバジェット）が存在する。ユーザは、異なる事前作成された構成を有する仮想機械（ＶＭ）をプロビジョニングするか、又はランダムアクセスメモリ（ＲＡＭ）、ディスク、仮想ＣＰＵ（ｖＣＰＵ）、ＧＰＵ、ネットワーク等それら自体を構成することができる。これにより、非決定論的多項式時間困難性（ＮＰ困難）ＶＭパッキング問題がもたらされる。
実装に依存して、並列ＭＬアルゴリズムは、モデル並列処理、データ並列処理、又はその両方（ハイブリッド）を利用し得る。データ並列処理及びモデル並列処理の利用される次数は、典型的には、両方とも、無数の要因、例えば：バッチサイズ（過度に小さいか又は過度に大きいかのいずれか）、モデル及びモデルハイパーパラメータ、データそれ自体の特徴に依存して、解の品質（すなわち、トレーニング時間のための限られたバジェットを与えられた総モデルレベルに対するサンプル外予測エラー）と逆相関する（しかし、従来の技法下では、データ特徴が変動する度合いの並列処理下での解の品質とどのように相関するのかは相対的に不明確に見える）。従来の技法は、ＮＮの場合、バッチサイズの増加が、ワークロードの範囲にわたる価値のある速度上昇を生成するための複雑ではない方法であるが、その利益は、現在のハードウェアの限界内では低下すると言及している。これは、ＭＬの解の品質が、多くの場合、分布の次数（例えば、ノードの数及びノードの不均一性）と何らかの逆相関を有し得ることを示唆する。これは、全てのＭＬアルゴリズムについて真又は等しく真ではない場合があるが、１つの実施形態では、これが一般的性質であり、ノードが多くなるほど負の影響を有することが仮定される。
別の疑問は：リソースが等しく分割されるかどうかが重要であるのか（例えば、単一のタイプのみのＶＭフレーバにわたる均等な分布対ノードにわたるＶＭ構成の高い分散）？ということである。おそらく重要であり、幾つかのアルゴリズムにとってはより重要であり、他のものにとってはさほど重要ではない；その上、不均一なノードにわたる効率的なスケジューリングは、実用上の課題であり；したがって、１つの実施形態では、概して、ノードが不均一である場合に負の影響が存在することが仮定される。
自動化ＭＬの従来の手法は、ＭＬパイプラインを自動的に構築すること、及び潜在的にはヒューマンインザループを伴って、アルゴリズム及びハイパーパラメータを自動的に選択することを含む。多くの従来の技法は、特に深層学習（ＤＬ）に焦点を当てている。幾つかの非ＤＬの従来の手法は、他のアルゴリズムを考慮するが、並列処理及びリソース配分の観点で公平性を考慮しない。典型的な手法の幾つかは、アルゴリズム／ハイパーパラメータ組み合わせにわたる探索空間を構築することを含み；全体モデル／アルゴリズム探索／最適化手順のための全体「時間バジェット」を使用し得；探索空間内の個々のモデル／アルゴリズムの評価をタイムアウトする（又は反復的にトレーニングされたモデルについて中断する）。しかしながら、１つ又は複数の実施形態における基礎をなすハードウェア構成における「バイアス」に対する並列ＭＬアルゴリズムの「公平な」比較の問題は、現在の文献においてはまだ研究されていないように思われる。
図１は、１つの実施形態に係る、並列で実行される異なるモデル又はアルゴリズムの公平な比較のためのプロセス２００のブロック図を示している。幾つかの実施形態では、プロセス２００のための入力は：比較すべき並列ＭＬアルゴリズム／モデルＩ３３０（図３）のセット、利用可能なリソースタイプＴ３１０（図２）のセット及びリソースの対応する総利用可能プール、事前設定されたリソースバンドルの定義又は「バンドリング」Ｂ３２０（すなわち、リソースをプロビジョニングするときの異なるリソースタイプ及び対応するリソース量の許容された組み合わせ）、及びＭＬアルゴリズムについての（例えば、記憶デバイス、クラウドストレージ、リポジトリ等に記憶された）リソース選好プロファイル（ＲＰＰｉ）２１０、並びに、それぞれ、ＭＬモデル／アルゴリズム性能に対するリソース分布及びリソース分散の予想される負の影響を反映するパラメータλｄｉｓｔ及びλｖａｒを含む。
図２は、１つの実施形態に係る、リソースタイプＴ３１０、リソースバンドリングＢ３２０のセット、異なるＭＬアルゴリズム／モデルＩ３３０、及びＲＰＰｉ２１０を含むリソースのプール３００の一例を示している。１つの例示の実施形態では、リソースタイプＴ３１０は、ＣＰＵ、ＲＡＭ、ネットワーク、ディスク等のようなリソースタイプを含む。１つの例示の実施形態では、リソースバンドリングＢ３２０は、様々なリソースタイプ及び１つのタイプ当たりのリソースの数を各々が含むリソースバンドルを含む。１つの例示の実施形態では、ＭＬアルゴリズム／モデルＩ３３０は、並列で比較されることになる異なるＭＬアルゴリズム／モデルを含む。ＲＰＰｉ２１０は、各ＭＬアルゴリズム／モデルＩ３３０について０～１（すなわち、パーセンテージ）の値を有する相対的リソースユーティリティパラメータ（
）を含み、ここで、特定のＭＬアルゴリズム／モデルについての全てのパラメータ（
）の総和は、１（すなわち、１００％）に常に等しい。
図３は、１つの実施形態に係る例示的なＲＰＰｉ２１０を示している。例示的なＲＰＰｉ２１０では、リソースタイプ／ＭＬアルゴリズム又はモデル４０５は、ＣＮＮ分散４４０、ＣＮＮ連合４５０、ｋＮＮ並列４６０及びＳＶＭ並列４７０といった様々なタイプのＭＬアルゴリズム／モデルＩ３３０を含む。他のＲＰＰｉ２１０は、他のタイプのＭＬアルゴリズム／モデルＩ３３０を含んでよい。例示の実施形態では、ＲＰＰｉ２１０の最上行は、次のとおり様々なユーティリティパーセンテージを含む：ＣＰＵユーティリティ％４１０、メモリユーティリティ％４１５、ノードウェブキット（ＮＷ）ノード帯域幅ユーティリティ％４２０、ディスクユーティリティ％４２５、ＧＰＵユーティリティ％４３０及び総計％４３５、これは行ごとに１００％である。ＲＰＰｉ２１０ユーティリティパーセンテージは、ＭＬアルゴリズム／モデルＩ３３０のタイプに基づいており、これは、リソースタイプユーティリティ使用において本質的に変動する。
図１に戻ると、１つ又は複数の実施形態では、プロセス２００のための出力は：比較すべき個々の並列ＭＬアルゴリズム／モデルＩ３３０に割り当てられるリソースバンドリングＢ３２０の多重度の形式におけるリソースの配分、及び上述されたリソース配分間の相対的な「公平性」を決定するメトリックを含む。
幾つかの実施形態では、プロセス２００は、異なる理想ハードウェア要件／選好から生じるバイアスが除去又は軽減されるように異なる（並列）ＭＬアルゴリズムにわたって限定された分散コンピューティングリソースを分割するときに、ＭＬモデル／アルゴリズムＩ３３０の公平な同時比較を可能にするために、数学的最適化処理／プロセスと組み合わせて、経験的証拠及び／又は理論的考慮から作成された、異なるＭＬアルゴリズムのＲＰＰ２１０を使用し、「公平性」を更に改善するために上述された最適化モデルの分布のより高い次数及びリソース不均一性の（負の）影響を更に考慮する。
１つ又は複数の実施形態では、プロセス２００のブロック２２０のための処理は、リソースタイプＴ３１０、事前設定されたリソースバンドリングＢ３２０及び比較すべきＭＬアルゴリズム又はモデルＩ３３０のセットを含むリソースのプール３００（図２）を初期化する。１つの実施形態では、ブロック２２０のための処理は、次を含む。リソースの配分プール３００における異なるリソースタイプＴ３１０（例えば、ＣＰＵ、ＧＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＲＡＭ、ネットワーク帯域幅等）のセットをＴとし、ｔ＝｜Ｔ｜である。タイプｋ（１≦ｋ≦ｔ）の各リソースの総利用可能量は、ｃｋである。リソースタイプ（リソースバンドリングＢ３２０、例えばＶＭフレーバ）の可能な異なる離散組み合わせのセットをＢとし、ｍ＝｜Ｂ｜であり、例えば、Ｂ＝｛Ｂ１，Ｂ２，...，Ｂｍ｝である。バンドリングＢｊ（１≦ｊ≦ｍ）は、タイプｋ（１≦ｋ≦ｔ）のリソースの
量を消費する。Ｉは、リソースのために競合するＭＬアルゴリズム又はモデルのセットを示すものとする。各アルゴリズムｉ∈Ｉは、形式
のＲＰＰｉ２１０を有し、ここで、
は、アルゴリズムｉに対するリソースタイプｋ（１≦ｋ≦ｔ）の相対ユーティリティを表し、ここで、
である。
図４は、１つの実施形態に係る、そのそれぞれのリソース選好プロファイル（ＲＰＰｉ）２１０における相対ユーティリティパラメータ（
）に従ってＭＬアルゴリズム（ｉ）によってリソース（Ｓｉ）の特定の配分に与えられる主観的ユーティリティｕｉ（Ｓｉ）のための方程式５００を示している。方程式５００において、参照符号５１０は、リソースタイプを表し、参照符号５２０は、リソース配分を表し（ここで、リソース配分のインデックスは、ワースト配分（０．．１）に対して相対的である）、参照符号５３０は、リソース分布を表し（ここで、リソース分布のインデックスは、ベスト配分（０．．１）に対して相対的である）、参照符号５４０は、リソース分散を表す（ここで、リソース分散のインデックスは、ベスト配分（０．．１）に対して相対的である）。
図１に戻ると、１つの実施形態では、ブロック２３０において、プロセス２００は、リソースバンドリングＢ３２０（図２）の多重度におけるＭＬアルゴリズム又はモデルに対するリソースの最適な配分を計算する。１つの実施形態では、アルゴリズムｉ∈Ｉについてのリソースの配分をＳｉとし、すなわち、マルチセット
であり、ここで、パラメータ
は、ＭＬアルゴリズム又はモデルｉに割り当てられる何らかのリソースバンドリングＢｊ（１≦ｊ≦ｍ）の配分されたインスタンスの多重度を表す（
は、０であってよい）。Ｓは、全てのマルチセットＳｉのセットを示すものとする。方程式５００
についてのそのそれぞれのＲＰＰｉ２１０におけるパラメータ
に従ってＭＬアルゴリズム又はモデルｉによってリソースＳｉの特定の配分に与えられる主観的ユーティリティをｕｉ（Ｓｉ）とする。
幾つかの実施形態では、プロセス２００のブロック２３０は、最適パラメータ
を有するマルチセットＳｉのセットＳを発見することによって
を最大化し、ただし、
、及び
を条件とする。パラメータλｄｉｓｔ及びλｖａｒは、推定又は学習され、０（影響なし）～１（最大影響）の範囲であってよいことに留意されたい。
１つ又は複数の実施形態では、リソース配分インデックス５２０は、どのくらいの量のリソースが、特定のＭＬアルゴリズム又はモデルに、他のものと比較して割り当てられているのかを指す。リソース配分インデックス５２０は、０...１の範囲を有し、高いほどより良好であり、０が最小であり、１が最高相対リソース配分である：
１つ又は複数の実施形態では、リソース分布インデックス５３０は、リソースバンドリングＢ３２０（図２）のどのくらいの数のインスタンスにわたって第ｉのワークロードが全てのうちの最小分布ワークロードと比較して分布しているのかを指す。
は、リソース配分ＳｉにおけるリソースバンドリングＢ３２０の多重度を指定することに留意されたい。リソース分布インデックス５３０の範囲は、０...１であり、低いほどより良好であり、０が最小であり、１が最大分布である：
幾つかの実施形態では、リソース分散インデックス５４０は、全てのワークロードのセットにおける最小分散と比較して特定のワークロードに割り当てられるリソースバンドリングＢ３２０のインスタンスのリソース構成における分散がどのくらいの大きさであるのかを指す。リソース分散インデックス５４０の範囲は、０...１であり、低いほどより良好であり、０が最小であり、１が最大相対分散である：
幾つかの実施形態では、プロセス２００（図１）についての様々なユースケースは、次のとおりである。インターフェースが、ＭＬアルゴリズム又はモデルを比較する製品のために利用され得る。プロセス２００は、異なるＭＬアルゴリズム又はモデルを比較する際のバイアスに関する公平性のためのメトリックが画一的なハードウェアアーキテクチャ上で使用される製品のために利用され得る。プロセス２００は、加えて、ＭＬアルゴリズム及びモデルをベンチマーキングするための製品のために使用され得る。プロセス２００は、異なるＭＬアルゴリズム又はモデルを比較することによって特定のＭＬソリューションを自動的に設計するための正しいＭＬ技術を自動的に選択するためにＡＩ（例えば、「ロボットデータサイエンティスト」）のために使用され得る。プロセス２００は、ＭＬアルゴリズム又はモデル及びトレーニングのための所望の時間フレームを所与として要求される学習性能（すなわち、正確性）に関して特定の目標に到達するために企業クラウドにおける要求されるリソースの量を自動的に推定するための製品のために更に使用され得る。プロセス２００は、現在完全にアドホックかつ手作業であるプロセス、すなわち、特定の企業ＭＬソリューションのためのハードウェアリソース／構成の選択及びプロビジョニングを、自動化され、決定論的で、かつ良好に統制されたプロセスに変換するためにも使用され得る。
図５は、１つの実施形態に係る、比較すべき異なるアルゴリズム及び／又はモデルのための異なるリソース配分の間の相対公平性を決定するプロセス６００のブロック図を示している。１つの実施形態では、ブロック６１０において、プロセス６００は、コンピューティングデバイス（コンピューティングノード１０、図６、ハードウェア及びソフトウェア層６０、図７、処理システム９００、図８、システム１０００、図９、システム１１００、図１０等からの）によって、評価すべき複数の機械学習アルゴリズム（例えば、アルゴリズム又はモデルＩ３３０、図２）を受信する。ブロック６２０において、プロセス６００は、コンピューティングデバイスによって、複数のアルゴリズムに配分するためのリソースの総量を受信する段階を更に提供する。ブロック６３０において、プロセス６００は、コンピューティングデバイスによって、複数のアルゴリズムの各々に（例えば、ＲＲＰｉ２１０を使用して、図２～図３）リソースの総量のうちの公平な割合を割り当てる段階を更に提供する。ブロック６４０において、プロセス６００は、加えて、コンピューティングデバイスによって、リソースの総量のうちの割り当てられた公平な割合を使用して複数のアルゴリズムの各々を実行する段階を提供する。ブロック６５０において、プロセス６００は、コンピューティングデバイスによって、複数のアルゴリズムの各々のための任意の所与のリソース配分のハードウェア相対ユーティリティを記述する複数のハードウェア相対ユーティリティメトリックのうちの少なくとも１つに基づいて、複数のアルゴリズムの各々の性能を比較する段階を更に提供する。
１つの実施形態では、プロセス６００は、複数のアルゴリズムが、機械学習アルゴリズム、シミュレーションアルゴリズム又は探索アルゴリズムを含むという特徴を更に含んでよい。アルゴリズムのうちの各々のアルゴリズムの性能は、実行時間、正確性、メトリック又はこれらの組み合わせの観点で比較される。
１つの実施形態では、プロセス６００は、加えて、複数のアルゴリズムの各々についての入力が、リソースタイプ（例えば、リソースタイプＴ３１０、図２）のセット、及び要求されるハードウェアリソースを含むリソースバンドル（例えば、リソースバンドリングＢ３２０、図２）を含むという特徴を含んでよい。
１つの実施形態では、プロセス６００は、更に加えて、複数のアルゴリズムの各々についての入力が、大量のハードウェア相対ユーティリティメトリックを含むリソース選好プロファイル（例えば、ＲＲＰｉ２１０を使用する、図２～図３）を更に含み、複数のアルゴリズムについての異なるハードウェア要件又は選好から生じるバイアスが除去又は軽減され、この大量のハードウェア相対ユーティリティメトリックが、リソース配分インデックス（例えば、リソース配分インデックス５２０、図４）、リソース分布インデックス（例えば、リソース分布インデックス５３０、図４）及びリソース分散インデックス（例えば、リソース分散インデックス５４０、図４）に基づくという特徴を含んでよい。
１つの実施形態では、プロセス６００は、コンピューティングデバイスによって、大量のハードウェア相対ユーティリティメトリックに従って複数のアルゴリズムにわたる相対ハードウェアユーティリティのパレート最適な、公正な又は緩和された公正性を有する分布として最適な全体リソース配分を計算するという特徴を更に含んでよい。
１つの実施形態では、プロセス６００は、コンピューティングデバイスによって、リソースバンドルの多重度における複数のアルゴリズムの各々に対するハードウェアリソースの最適な配分を決定するという特徴をまた更に含んでよい。
本開示はクラウドコンピューティングに対する詳細な説明を含むが、本明細書において記載されている教示の実装は、クラウドコンピューティング環境に限定されないことが事前に理解される。むしろ、本実施形態の実施形態は、現在既知であるか又は今後開発される他の任意のタイプのコンピューティング環境と併せて実装されることが可能である。
クラウドコンピューティングは、最小の管理労力又はサービスプロバイダとのインタラクションで迅速にプロビジョニング及びリリースすることができる構成可能コンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想機械（ＶＭ）、及びサービス）の共有プールへの簡便なオンデマンドネットワークアクセスを可能にするためのサービス配信のモデルである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、及び少なくとも４つの展開モデルを含んでよい。
特性は以下のとおりである。
オンデマンドセルフサービス：クラウド消費者は、サービスプロバイダとの人的対話を必要とすることなく、必要に応じて自動的に、サーバ時間及びネットワークストレージ等のコンピューティング能力を一方的にプロビジョニングすることができる。
幅広いネットワークアクセス：この能力は、ネットワークを介して利用可能であり、異種のシン又はシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、及びＰＤＡ（登録商標））による使用を促す標準メカニズムを通してアクセスされる。
リソースプーリング：プロバイダのコンピューティングリソースは、マルチテナントモデルを使用して複数の消費者に役立つようプールされ、異なる物理リソース及び仮想リソースが、需要に従って動的に割り当て及び再割り当てされる。消費者は概して提供されたリソースの正確なロケーションに対して制御又は知識を有していないが、より高いレベルの抽象化（例えば、国、州、又はデータセンタ）においてロケーションを指定することが可能である場合があるという点で、ロケーションの独立性がある。
迅速な弾力性：この能力は、迅速かつ弾力的に、幾つかの事例では自動的にプロビジョニングして、早急にスケールアウトし、かつ迅速にリリースして早急にスケールインすることができる。消費者にとって、多くの場合、プロビジョニングに利用可能な能力は無制限に見え、任意の時点において任意の量で購入することができる。
測定されるサービス：クラウドシステムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅及びアクティブ消費者アカウント）に適切な或るレベルの抽象化における計測能力を活用することによって、自動的にリソース使用を制御及び最適化する。リソース使用量をモニタリング、制御及び報告することができ、それにより、利用されるサービスのプロバイダ及び消費者の両方に透明性が提供される。
サービスモデルは、以下のとおりである。
ソフトウェアアズアサービス（ＳａａＳ）：消費者に提供される能力は、クラウドインフラストラクチャ上で稼働するプロバイダのアプリケーションを使用する能力である。アプリケーションは、ウェブブラウザ（例えば、ウェブベースの電子メール）等のシンクライアントインターフェースを通して様々なクライアントデバイスからアクセス可能である。消費者は、考えられる例外としての限定された消費者固有のアプリケーション構成設定を除き、ネットワーク、サーバ、オペレーティングシステム、ストレージ又は更には個々のアプリケーション能力を含む、基礎をなすクラウドインフラストラクチャを管理又は制御しない。
プラットフォームアズアサービス（ＰａａＳ）：消費者に提供される能力は、クラウドインフラストラクチャ上に、プロバイダによってサポートされるプログラミング言語及びツールを使用して作成される、消費者が作成又は取得したアプリケーションを展開する能力である。消費者は、ネットワーク、サーバ、オペレーティングシステム、又はストレージを含む、基礎をなすクラウドインフラストラクチャを管理又は制御しないが、展開されたアプリケーション、及び場合によってはアプリケーションホスティング環境構成を制御する。
インフラストラクチャアズアサービス（ＩａａＳ）：消費者に提供される能力は、処理、ストレージ、ネットワーク及び他の基本的なコンピューティングリソースをプロビジョニングする能力であり、ここで消費者は、オペレーティングシステム及びアプリケーションを含むことができる任意のソフトウェアを展開及び実行することが可能である。消費者は、基礎をなすクラウドインフラストラクチャを管理又は制御しないが、オペレーティングシステム、ストレージ、展開されたアプリケーションを制御するとともに、場合によっては選択されたネットワーキングコンポーネント（例えば、ホストファイアウォール）を限定的に制御する。
展開モデルは、以下のとおりである。
プライベートクラウド：このクラウドインフラストラクチャは、或る組織のためにのみ動作する。プライベートクラウドは、その組織又はサードパーティによって管理されてよく、オンプレミス又はオフプレミスで存在してよい。
コミュニティクラウド：このクラウドインフラストラクチャは、幾つかの組織によって共有され、共有される関心事項（例えば、ミッション、セキュリティ要件、ポリシ及びコンプライアンス考慮事項）を有する特定のコミュニティをサポートする。コミュニティクラウドは、それらの組織又はサードパーティによって管理されてよく、オンプレミス又はオフプレミスで存在してよい。
パブリッククラウド：このクラウドインフラストラクチャは、一般大衆又は大規模な業界団体に利用可能とされ、クラウドサービスを販売する組織によって所有される。
ハイブリッドクラウド：このクラウドインフラストラクチャは、２つ又はそれより多くのクラウド（プライベート、コミュニティ、又はパブリック）の複合体であり、２つ又はそれより多くのクラウドは、独自のエンティティのままであるが、データ及びアプリケーションのポータビリティ（例えば、クラウド間の負荷分散のためのクラウドバースト）を可能にする標準技術又は独自技術によってともに結合される。
クラウドコンピューティング環境は、ステートレス性、低結合性、モジュール性及びセマンティック相互運用性に焦点を当てたサービス指向である。クラウドコンピューティングの中核には、相互接続されたノードからなるネットワークを含むインフラストラクチャが存在する。
ここで図６を参照すると、例示的なクラウドコンピューティング環境５０が示されている。示されているように、クラウドコンピューティング環境５０は、例えば、携帯情報端末（ＰＤＡ）又は携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、及び／又は自動車コンピュータシステム５４Ｎ等の、クラウド消費者によって使用されるローカルコンピューティングデバイスが通信し得る、１つ又は複数のクラウドコンピューティングノード１０を備える。ノード１０は、互いに通信してよい。それらは、本明細書の上記で説明されたようなプライベートクラウド、コミュニティクラウド、パブリッククラウド、又はハイブリッドクラウド、又はこれらの組み合わせ等の、１つ又は複数のネットワーク内で物理的に又は仮想的にグループ分けされてよい（図示せず）。これにより、クラウドコンピューティング環境５０は、インフラストラクチャ、プラットフォーム、及び／又はソフトウェアを、クラウド消費者がそのためにローカルコンピューティングデバイス上にリソースを維持する必要がないサービスとして提供することが可能になる。図６において示されているコンピューティングデバイス５４Ａ～Ｎのタイプは、単に例示を意図し、コンピューティングノード１０及びクラウドコンピューティング環境５０は、任意のタイプのネットワーク、及び／又はネットワークアドレス指定可能接続（例えば、ウェブブラウザを使用して）を介して、任意のタイプのコンピュータ化デバイスと通信することができることが理解される。
ここで図７を参照すると、クラウドコンピューティング環境５０（図６）によって提供される機能抽象化層のセットが示されている。図７において示されているコンポーネント、層、及び機能は、単に例示を意図するものであり、実施形態がそれらに限定されないことが事前に理解されるべきである。示されているように、以下の層及び対応する機能が提供される。
ハードウェア及びソフトウェア層６０は、ハードウェア及びソフトウェアコンポーネントを備える。ハードウェアコンポーネントの例としては：メインフレーム６１；ＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャベースサーバ６２；サーバ６３；ブレードサーバ６４；記憶デバイス６５；及びネットワーク及びネットワーキングコンポーネント６６が挙げられる。幾つかの実施形態では、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア６７及びデータベースソフトウェア６８を含む。
仮想化層７０は、仮想エンティティの次の例：仮想サーバ７１；仮想ストレージ７２；仮想プライベートネットワークを含む仮想ネットワーク７３；仮想アプリケーション及びオペレーティングシステム７４；及び仮想クライアント７５が提供され得る抽象化層を提供する。
１つの例では、管理層８０は、以下で説明される機能を提供してよい。リソースプロビジョニング８１は、クラウドコンピューティング環境内でタスクを実行するのに利用される、コンピューティングリソース及び他のリソースの動的な調達を提供する。計測及び価格設定８２は、リソースがクラウドコンピューティング環境内で利用されるときのコスト追跡、及び、これらのリソースの消費に対する課金又は請求を提供する。１つの例では、これらのリソースは、アプリケーションソフトウェアライセンスを含んでよい。セキュリティは、クラウド消費者及びタスクに対する識別情報検証、並びに、データ及び他のリソースに対する保護を提供する。ユーザポータル８３は、消費者及びシステムアドミニストレータに対してクラウドコンピューティング環境へのアクセスを提供する。サービス水準管理８４は、要求されるサービス水準が満たされるように、クラウドコンピューティングリソース配分及び管理を提供する。サービス水準合意（ＳＬＡ）計画及び履行８５は、将来の要件がＳＬＡに従って予期されるクラウドコンピューティングリソースの事前の取り決め及び調達を提供する。
ワークロード層９０は、クラウドコンピューティング環境が利用され得る機能の例を提供する。この層から提供され得るワークロード及び機能の例としては：マッピング及びナビゲーション９１；ソフトウェア開発及びライフサイクル管理９２；仮想クラスルーム教育配信９３；データ解析処理９４；トランザクション処理９５；及び比較すべき異なるＭＬアルゴリズム及び／又はモデルのための異なるリソース配分の間の相対公平性の測定処理９６（例えば、プロセス６００、図５、システム９００、図８、システム１０００、図９、システム１１００、図１０等）が挙げられる。上記で言及されたように、図７に関して説明された前述の例の全ては、単に例示であり、実施形態は、これらの例に限定されない。
本開示は、クラウドコンピューティングに対する詳細な説明を含むが、本明細書において記載されている教示の実装は、クラウドコンピューティング環境に限定されないことが繰り返される。むしろ、実施形態は、現在既知であるか又は今後開発される他の任意のタイプのコンピューティング環境と併せて実装されることが可能である。
図８は、一実施形態に係る、比較すべき異なるＭＬアルゴリズム及び／又はモデルのための異なるリソース配分の間の相対公平性を決定するシステム９００のネットワークアーキテクチャを示している。図８において示されているように、第１のリモートネットワーク９０４及び第２のリモートネットワーク９０６を含む複数のリモートネットワーク９０２が提供される。ゲートウェイ９０１は、リモートネットワーク９０２及び近接ネットワーク９０８の間に結合されてよい。本ネットワークアーキテクチャ９００のコンテキストでは、ネットワーク９０４、９０６は、各々、限定されないがＬＡＮ、ＷＡＮ、例えばインターネット、公衆交換電話網（ＰＳＴＮ）、内部電話ネットワーク等を含む任意の形式を取ってよい。
使用時、ゲートウェイ９０１は、リモートネットワーク９０２から近接ネットワーク９０８への入口ポイントとして機能する。したがって、ゲートウェイ９０１は、ゲートウェイ９０１に到達するデータの所与のパケットを方向付けることが可能であるルータ、及び所与のパケットについてのゲートウェイ９０１に出入りする実際の経路を備えるスイッチとして機能してよい。
さらに、近接ネットワーク９０８に結合された少なくとも１つのデータサーバ９１４が含まれ、これは、ゲートウェイ９０１を介してリモートネットワーク９０２からアクセス可能である。データサーバ９１４は、任意のタイプのコンピューティングデバイス／グループウェアを含み得ることに留意されたい。各データサーバ９１４には、複数のユーザデバイス９１６が結合されている。そのようなユーザデバイス９１６は、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、プリンタ、及び／又は他の任意のタイプのロジックを含むデバイスを含んでよい。ユーザデバイス９１６は、幾つかの実施形態ではネットワークのうちの任意のものに直接結合されてもよいことに留意されたい。
ペリフェラル９２０又は一連のペリフェラル９２０、例えば、ファクシミリマシン、プリンタ、スキャナ、ハードディスクドライブ、ネットワーク及び／又はローカルストレージユニット又はシステム等は、ネットワーク９０４、９０６、９０８のうちの１つ又は複数に結合されてよい。データベース及び／又は追加のコンポーネントは、ネットワーク９０４、９０６、９０８に結合された任意のタイプのネットワーク要素とともに利用されるか、又はそれらに統合され得ることに留意されたい。本説明のコンテキストでは、ネットワーク要素は、ネットワークの任意のコンポーネントを指し得る。
幾つかの手法によれば、本明細書において説明される方法及びシステムは、仮想システム及び／又はシステムを用いて及び／又はこれらの上で実装されてよく、これらは、ＩＢＭ（登録商標）ｚ／ＯＳ環境をエミュレートするＵＮＩＸ（登録商標）システム、ＭＩＣＲＯＳＯＦＴ（登録商標）ＷＩＮＤＯＷＳ（登録商標）環境を仮想的にホストするＵＮＩＸ（登録商標）システム、ＩＢＭ（登録商標）ｚ／ＯＳ環境をエミュレートするＭＩＣＲＯＳＯＦＴ（登録商標）ＷＩＮＤＯＷＳ（登録商標）システム等のような１つ又は他のシステムをエミュレートする。仮想化及び／又はエミュレーションは、幾つかの実施形態ではＶＭＷＡＲＥ（登録商標）ソフトウェアの使用を通じて実装されてよい。
図９は、１つの実施形態に係る、図８のユーザデバイス９１６及び／又はサーバ９１４に関連付けられた代表的なハードウェアシステム１０００環境を示している。１つの例では、ハードウェア構成は、マイクロプロセッサ等の中央処理ユニット１０１０、及びシステムバス１０１２を介して相互接続された複数の他のユニットを有するワークステーションを備える。図９において示されているワークステーションは、ランダムアクセスメモリ（ＲＡＭ）１０１４、リードオンリメモリ（ＲＯＭ）４１６、ディスクストレージユニット１０２０等のペリフェラルデバイスをバス１０１２に接続するＩ／Ｏアダプタ１０１８、キーボード１０２４、マウス１０２６、スピーカ１０２８、マイクロフォン１０３２及び／又は、タッチスクリーン、デジタルカメラ（図示せず）等のような他のユーザインターフェースデバイスをバス１０１２に接続するユーザインターフェースアダプタ１０２２、ワークステーションを通信ネットワーク１０３５（例えば、データ処理ネットワーク）に接続する通信アダプタ１０３４及びバス１０１２をディスプレイデバイス１０３８に接続するディスプレイアダプタ１０３６を備えてよい。
１つの例では、ワークステーションは、ＭＩＣＲＯＳＯＦＴ（登録商標）ＷＩＮＤＯＷＳ（登録商標）Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）、ＭＡＣ ＯＳ（登録商標）、ＵＮＩＸ（登録商標）ＯＳ等のようなオペレーティングシステムを常駐させてよい。１つの実施形態では、システム１０００は、ＰＯＳＩＸ（登録商標）ベースファイルシステムを利用する。他の例は、言及されたもの以外のプラットフォーム及びオペレーティングシステム上に実装されてもよいことが理解される。そのような他の例は、ＪＡＶＡ（登録商標）、ＸＭＬ、Ｃ、及び／又はＣ＋＋言語、又は他のプログラミング言語を、オブジェクト指向プログラミング方法論とともに使用して記述されたオペレーティングシステムを含む。複雑なアプリケーションを開発するのにますます使用されてきているオブジェクト指向プログラミング（ＯＯＰ）も使用され得る。
図１０は、１つの実施形態に係る、比較すべき異なるＭＬアルゴリズム及び／又はモデルのための異なるリソース配分の間の相対公平性を決定する分散システム１１００を示すブロック図である。１つの実施形態では、システム１１００は、クライアントデバイス１１１０（例えば、モバイルデバイス、スマートデバイス、コンピューティングシステム等）、クラウド又はリソース共有環境１１２０（例えば、パブリッククラウドコンピューティング環境、プライベートクラウドコンピューティング環境、データセンタ等）、及びサーバ１１３０を含む。１つの実施形態では、クライアントデバイス１１１０には、サーバ１１３０からクラウド又はリソース共有環境１１２０を通してクラウドサービスが提供される。
１つ又は複数の実施形態は、統合のあらゆる可能な技術詳細レベルにおけるシステム、方法、及び／又はコンピュータプログラム製品であってよい。コンピュータプログラム製品は、プロセッサに本実施形態の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（又は複数の媒体）を含んでよい。
コンピュータ可読記憶媒体は、命令実行デバイスによって使用されるための命令を保持及び記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は前述したものの任意の適した組み合わせであってよいが、これらに限定されるものではない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、次のもの：ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、機械的にエンコードされたデバイス、例えば、パンチカード又は命令を記録した溝内の隆起構造、及び前述したものの任意の適した組み合わせを含む。コンピュータ可読記憶媒体は、本明細書において使用される場合、電波若しくは他の自由に伝搬する電磁波、導波路又は他の伝送媒体を通して伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又はワイヤを通して伝送される電気信号等の一時的信号それ自体とは解釈されるべきではない。
本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、それぞれのコンピューティング／処理デバイスに、又は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークを介して、外部コンピュータ又は外部記憶デバイスに、ダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含んでよい。各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。
本実施形態の動作を実行するコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、又は１つ又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかであってよく、１つ又は複数のプログラミング言語は、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語等の手続き型プログラミング言語を含む。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行されてもよいし、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で部分的に実行されてもよいし、部分的にユーザのコンピュータ上で、かつ、部分的にリモートコンピュータ上で実行されてもよいし、又はリモートコンピュータ又はサーバ上で完全に実行されてもよい。後者のシナリオでは、リモートコンピュータが、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよいし、又はその接続が、（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータに対して行われてもよい。幾つかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本実施形態の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して、電子回路をパーソナライズすることができる。
実施形態の態様は、本明細書において、方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して説明される。フローチャート図及び／又はブロック図の各ブロック、及びフローチャート図及び／又はブロック図におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実装することができることが理解されよう。
これらのコンピュータ可読プログラム命令をコンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供して機械を生成することができ、それにより、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図の単数又は複数のブロックで指定された機能／動作を実装する手段を作成するようになる。また、これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶することができ、当該命令は、コンピュータ、プログラマブルデータ処理装置、及び／又は他のデバイスに対し、特定の方法で機能するよう命令することができ、それにより、命令を記憶したコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図の単数又は複数のブロックで指定された機能／動作の態様を実装する命令を含む製品を含むようになる。
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードして、一連の動作段階をコンピュータ、他のプログラマブル装置又は他のデバイス上で実行させ、コンピュータ実装プロセスを生成してよく、それにより、コンピュータ、他のプログラマブル装置、又は他のデバイス上で実行される命令は、フローチャート及び／又はブロック図の単数又は複数のブロックで指定された機能／動作を実装する。
図におけるフローチャート及びブロック図は、様々な実施形態に係るシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を示す。これに関して、フローチャート又はブロック図における各ブロックは、指定される論理機能を実装する１つ又は複数の実行可能命令を含む命令のモジュール、セグメント、又は部分を表し得る。幾つかの代替的な実装では、ブロックに記載される機能が、図に記載される順序とは異なる順序で行われ得る。例えば、連続して示される２つのブロックは、実際には、１つの段階として実現され、同時に、実質的に同時に、部分的又は全体的に時間的に重複する様式で実行され得るか、又は、関与する機能に依存して、ブロックは場合により、逆の順序で実行され得る。ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図におけるブロックの組み合わせは、指定された機能又は動作を実行するか、又は専用ハードウェア及びコンピュータ命令の組み合わせを実行する専用ハードウェアベースシステムによって実装することができることにも留意されたい。
特許請求の範囲における単数形の要素に対する言及は、明示的に述べられていない限り「ただ１つ（ｏｎｅ ａｎｄ ｏｎｌｙ）」を意味するようには意図されず、むしろ「１つ又は複数」を意味するように意図される。当業者に現在既知であるか又は今後既知になる上記で説明された例示的な実施形態の要素に対する全ての構造及び機能の均等物は、本特許請求の範囲によって包含されることが意図される。本明細書における請求項要素はいずれも、当該要素が明示的に「の手段」又は「のステップ」という表現を使用して記載されない限り、米国特許法第１１２条第６パラグラフの規定下で解釈されない。
本明細書において使用される専門用語は、単に特定の実施形態を説明するためのものであり、実施形態を限定するようには意図されていない。本明細書において使用される場合、文脈が別段明確に示さない限りは、単数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、複数形も含むことを意図する。「備える、有する、含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「備える、有する、含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語が、本明細書において使用されるとき、述べられた特徴、整数、段階、動作、要素及び／又はコンポーネントの存在を指定するが、１つ又は複数の他の特徴、整数、段階、動作、要素、コンポーネント及び／又はこれらのグループの存在又は追加を除外しないことが更に理解されよう。
以下の特許請求の範囲における、全てのミーンズプラスファンクション要素又はステッププラスファンクション要素の対応する構造、材料、動作、及び同等物は、他の請求された要素と組み合わせて機能を実行するための任意の構造、材料、又は動作を、具体的に請求されるものとして、含むことが意図されている。本実施形態の説明は、例示及び説明の目的で提示されているが、網羅的であることも、又は、開示される形式の実施形態に限定されることも意図していない。実施形態の範囲から逸脱することなく、多くの修正及び変形が、当業者には明らかであろう。実施形態は、実施形態の原理及び実用的な適用を最良に説明し、他の当業者が、企図される特定の使用に適している様々な修正とともに様々な実施形態のための実施形態を理解することを可能にするために選択及び説明された。

Claims (20)

  1. コンピューティングデバイスによって、評価すべき複数のアルゴリズムを受信する段階；
    前記コンピューティングデバイスによって、前記複数のアルゴリズムに配分すべきリソースの総量を受信する段階；
    前記コンピューティングデバイスによって、前記リソースの総量の公平な割合を前記複数のアルゴリズムの各々に割り当てる段階；
    前記コンピューティングデバイスによって、前記リソースの総量の前記割り当てられた公平な割合を使用して前記複数のアルゴリズムの各々を実行する段階；及び
    前記コンピューティングデバイスによって、前記複数のアルゴリズムの各々のための任意の所与のリソース配分のハードウェア相対ユーティリティを記述する複数のハードウェア相対ユーティリティメトリックのうちの少なくとも１つに基づいて、前記複数のアルゴリズムの各々の性能を比較する段階
    を備える、コンピューティングデバイスを使用して、複数のアルゴリズムの性能を比較する方法。
  2. 前記複数のアルゴリズムは、機械学習アルゴリズム、シミュレーションアルゴリズム又は探索アルゴリズムを含む、請求項１に記載の方法。
  3. 前記複数のアルゴリズムのうちの各々のアルゴリズムの性能は、実行時間、正確性、メトリック又はこれらの組み合わせの観点で比較される、請求項２に記載の方法。
  4. 前記複数のアルゴリズムの各々についての入力は、リソースタイプのセット、及び要求されるハードウェアリソースを含むリソースバンドルを含む、請求項２に記載の方法。
  5. 前記複数のアルゴリズムの各々についての前記入力は、前記複数のハードウェア相対ユーティリティメトリックを含むリソース選好プロファイルを更に含み；
    前記複数のアルゴリズムについての異なるハードウェア要件又は選好から生じるバイアスは、除去又は軽減され；及び
    前記複数のハードウェア相対ユーティリティメトリックは、リソース配分インデックス、リソース分布インデックス及びリソース分散インデックスに基づく、請求項４に記載の方法。
  6. 前記コンピューティングデバイスによって、前記複数のハードウェア相対ユーティリティメトリックに従って前記複数のアルゴリズムにわたる相対ハードウェアユーティリティのパレート最適な、公正な又は緩和された公正性を有する分布として最適な全体リソース配分を計算する段階
    を更に備える、請求項５に記載の方法。
  7. 前記コンピューティングデバイスによって、リソースバンドルの多重度における前記複数のアルゴリズムの各々に対するハードウェアリソースの最適な配分を決定する段階
    を更に備える、請求項１に記載の方法。
  8. 複数のアルゴリズムの性能を比較するコンピュータプログラム製品であって、前記コンピュータプログラム製品は、プログラム命令が具現化されたコンピュータ可読記憶媒体を備え、前記プログラム命令は、プロセッサに：
    前記プロセッサによって、評価すべき複数のアルゴリズムを受信する手順；
    前記プロセッサによって、前記複数のアルゴリズムに配分すべきリソースの総量を受信する手順；
    前記プロセッサによって、前記リソースの総量の公平な割合を前記複数のアルゴリズムの各々に割り当てる手順；
    前記プロセッサによって、前記リソースの総量の前記割り当てられた公平な割合を使用して前記複数のアルゴリズムの各々を実行する手順；及び
    前記プロセッサによって、前記複数のアルゴリズムの各々のための任意の所与のリソース配分のハードウェア相対ユーティリティを記述する複数のハードウェア相対ユーティリティメトリックのうちの少なくとも１つに基づいて、前記複数のアルゴリズムの各々の性能を比較する手順
    を行わせるために前記プロセッサによって実行可能である、コンピュータプログラム製品。
  9. 前記複数のアルゴリズムは、機械学習アルゴリズム、シミュレーションアルゴリズム又は探索アルゴリズムを含む、請求項８に記載のコンピュータプログラム製品。
  10. 前記機械学習アルゴリズムのうちの各々のアルゴリズムの性能は、実行時間、正確性、メトリック又はこれらの組み合わせの観点で比較される、請求項９に記載のコンピュータプログラム製品。
  11. 前記複数のアルゴリズムの各々についての入力は、リソースタイプのセット、及び要求されるハードウェアリソースを含むリソースバンドルを含む、請求項９に記載のコンピュータプログラム製品。
  12. 前記複数のアルゴリズムの各々についての前記入力は、前記複数のハードウェア相対ユーティリティメトリックを含むリソース選好プロファイルを更に含み；
    前記複数の機械学習アルゴリズムについての異なるハードウェア要件又は選好から生じるバイアスは、除去又は軽減され；及び
    前記複数のハードウェア相対ユーティリティメトリックは、リソース配分インデックス、リソース分布インデックス及びリソース分散インデックスに基づく、請求項１１に記載のコンピュータプログラム製品。
  13. 前記プログラム命令は、前記プロセッサに：
    前記プロセッサによって、前記複数のハードウェア相対ユーティリティメトリックに従って前記複数のアルゴリズムにわたる相対ハードウェアユーティリティのパレート最適な、公正な又は緩和された公正性を有する分布として最適な全体リソース配分を計算する手順
    を更に行わせるために前記プロセッサによって実行可能である、請求項１２に記載のコンピュータプログラム製品。
  14. 前記プログラム命令は、前記プロセッサに：
    前記プロセッサによって、リソースバンドルの多重度における前記複数のアルゴリズムの各々に対するハードウェアリソースの最適な配分を決定する手順
    を更に行わせるために前記プロセッサによって実行可能である、請求項９に記載のコンピュータプログラム製品。
  15. 命令を記憶するように構成されたメモリ；及び
    プロセッサ
    備え、前記プロセッサは、以下の命令：
    評価すべき複数のアルゴリズムを受信する命令；
    前記複数のアルゴリズムに配分すべきリソースの総量を受信する命令；
    前記リソースの総量の公平な割合を前記複数のアルゴリズムの各々に割り当てる命令；
    前記リソースの総量の前記割り当てられた公平な割合を使用して前記複数のアルゴリズムの各々を実行する命令；及び
    前記複数のアルゴリズムの各々のための任意の所与のリソース配分のハードウェア相対ユーティリティを記述する複数のハードウェア相対ユーティリティメトリックのうちの少なくとも１つに基づいて、前記複数のアルゴリズムの各々の性能を比較する命令
    を実行するように構成されている、装置。
  16. 前記複数のアルゴリズムは、機械学習アルゴリズム、シミュレーションアルゴリズム又は探索アルゴリズムを含む、請求項１５に記載の装置。
  17. 前記複数のアルゴリズムのうちの各々のアルゴリズムの性能は、実行時間、正確性、メトリック又はこれらの組み合わせの観点で比較される、請求項１６に記載の装置。
  18. 前記複数のアルゴリズムの各々についての入力は、リソースタイプのセット、及び要求されるハードウェアリソースを含むリソースバンドルを含む、請求項１６に記載の装置。
  19. 前記複数のアルゴリズムの各々についての前記入力は、複数のハードウェア相対ユーティリティメトリックを含むリソース選好プロファイルを更に含み；
    前記複数の機械学習アルゴリズムについての異なるハードウェア要件又は選好から生じるバイアスは、除去又は軽減され；及び
    前記複数のハードウェア相対ユーティリティメトリックは、リソース配分インデックス、リソース分布インデックス及びリソース分散インデックスに基づく、請求項１８に記載の装置。
  20. 前記プログラム命令は、前記プロセッサに：
    前記複数のハードウェア相対ユーティリティメトリックに従って前記複数のアルゴリズムにわたる相対ハードウェアユーティリティのパレート最適な、公正な又は緩和された公正性を有する分布として最適な全体リソース配分を計算する手順；及び
    複数のリソースバンドルの前記複数のアルゴリズムの各々に対するハードウェアリソースの最適な配分を決定する手順
    を更に行わせるために前記プロセッサによって実行可能である、請求項１９に記載の装置。
JP2023548849A 2021-04-29 2022-03-04 並列機械学習モデルの公平な同時比較 Pending JP2024515416A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/244,707 2021-04-29
US17/244,707 US20220374327A1 (en) 2021-04-29 2021-04-29 Fair simultaneous comparison of parallel machine learning models
PCT/CN2022/079186 WO2022227860A1 (en) 2021-04-29 2022-03-04 Fair simultaneous comparison of parallel machine learning models

Publications (1)

Publication Number Publication Date
JP2024515416A true JP2024515416A (ja) 2024-04-10

Family

ID=83847750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023548849A Pending JP2024515416A (ja) 2021-04-29 2022-03-04 並列機械学習モデルの公平な同時比較

Country Status (6)

Country Link
US (1) US20220374327A1 (ja)
JP (1) JP2024515416A (ja)
CN (1) CN117461039A (ja)
DE (1) DE112022002408T5 (ja)
GB (1) GB2620354A (ja)
WO (1) WO2022227860A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12019964B1 (en) * 2021-07-15 2024-06-25 Xilinx, Inc. Optimizing use of computer resources in implementing circuit designs through machine learning

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101310294A (zh) * 2005-11-15 2008-11-19 伯纳黛特·加纳 神经网络的训练方法
US8886918B2 (en) * 2007-11-28 2014-11-11 International Business Machines Corporation Dynamic instruction execution based on transaction priority tagging
US8964958B2 (en) * 2009-05-20 2015-02-24 Avaya Inc. Grid-based contact center
US8468537B2 (en) * 2010-07-14 2013-06-18 Fujitsu Limited Systems and methods for distributing validation computations
US8676978B2 (en) * 2010-08-03 2014-03-18 Facebook, Inc. Efficient storage and retrieval of resources for rendering structured documents
EP2557503B1 (en) * 2011-07-28 2020-04-01 Tata Consultancy Services Ltd. Application performance measurement and reporting
AU2012329088A1 (en) * 2011-10-24 2014-05-29 President And Fellows Of Harvard College Enhancing diagnosis of disorder through artificial intelligence and mobile health technologies without compromising accuracy
US9172608B2 (en) * 2012-02-07 2015-10-27 Cloudera, Inc. Centralized configuration and monitoring of a distributed computing cluster
US9240123B2 (en) * 2013-12-13 2016-01-19 Here Global B.V. Systems and methods for detecting road congestion and incidents in real time
US10250451B1 (en) * 2014-01-13 2019-04-02 Cazena, Inc. Intelligent analytic cloud provisioning
US10048989B2 (en) * 2015-05-18 2018-08-14 Krystallize Technologies, Inc. Automated workload analysis and simulation process
US10114677B2 (en) * 2016-06-08 2018-10-30 Dell Products L.P. Method and system for workload recommendations on information handling systems
US10635492B2 (en) * 2016-10-17 2020-04-28 International Business Machines Corporation Leveraging shared work to enhance job performance across analytics platforms
EP3566233A1 (en) * 2017-01-08 2019-11-13 The Henry M. Jackson Foundation for the Advancement of Military Medicine, Inc. Systems and methods for using supervised learning to predict subject-specific pneumonia outcomes
US20180314971A1 (en) * 2017-04-26 2018-11-01 Midea Group Co., Ltd. Training Machine Learning Models On A Large-Scale Distributed System Using A Job Server
PL3422222T3 (pl) * 2017-06-29 2024-07-15 F. Hoffmann-La Roche Ag Sposób i system maszyny stanowej do wykrywania stanu działania czujnika
US10409939B1 (en) * 2017-08-30 2019-09-10 Cadence Design Systems, Inc. Statistical sensitivity analyzer
US10673711B2 (en) * 2017-11-28 2020-06-02 International Business Machines Corporation Resource provisioning platform with optimized bundling
US20190286539A1 (en) * 2018-03-15 2019-09-19 Ca, Inc. Entity reconciliation based on performance metric evaluation
CN108694090A (zh) * 2018-04-16 2018-10-23 江苏润和软件股份有限公司 一种面向分布式机器学习的云计算资源调度方法
US11455493B2 (en) * 2018-05-16 2022-09-27 International Business Machines Corporation Explanations for artificial intelligence based recommendations
US11416306B1 (en) * 2018-06-13 2022-08-16 Amazon Technologies, Inc. Placement to optimize heterogeneous physical host utilization
CN110795230A (zh) * 2018-08-03 2020-02-14 Emc Ip控股有限公司 用以支持统一的分布式实时配额限制的智能解决方案
WO2020037248A1 (en) * 2018-08-17 2020-02-20 The Regents Of The University Of California Diagnosing hypoadrenocorticism from hematologic and serum chemistry parameters using machine learning algorithm
US11551095B2 (en) * 2018-10-25 2023-01-10 Runai Labs Ltd. Sharing preprocessing, computations, and hardware resources between multiple neural networks
CN113168344A (zh) * 2018-11-20 2021-07-23 华为技术有限公司 通过提高集群多样性实现的分布式资源管理
US11609792B2 (en) * 2019-03-19 2023-03-21 Alibaba Group Holding Limited Maximizing resource utilization of neural network computing system
US11138087B2 (en) * 2019-04-24 2021-10-05 Google Llc System for automatically evaluating a change in a large population of processing jobs
US20190317844A1 (en) * 2019-06-26 2019-10-17 Intel Corporation Methods, systems, articles of manufacture and apparatus to select code data structure types
US10970060B2 (en) * 2019-07-15 2021-04-06 Vmware, Inc. IoT endpoint metrics
US12039415B2 (en) * 2019-09-30 2024-07-16 Amazon Technologies, Inc. Debugging and profiling of machine learning model training
CN112685167A (zh) * 2019-10-17 2021-04-20 伊姆西Ip控股有限责任公司 资源使用方法、电子设备和计算机程序产品
US11599549B2 (en) * 2019-10-18 2023-03-07 Splunk Inc. Sampling-based preview mode for a data intake and query system
US11042415B2 (en) * 2019-11-18 2021-06-22 International Business Machines Corporation Multi-tenant extract transform load resource sharing
US11416296B2 (en) * 2019-11-26 2022-08-16 International Business Machines Corporation Selecting an optimal combination of cloud resources within budget constraints
US11429434B2 (en) * 2019-12-23 2022-08-30 International Business Machines Corporation Elastic execution of machine learning workloads using application based profiling
US11610079B2 (en) * 2020-01-31 2023-03-21 Salesforce.Com, Inc. Test suite for different kinds of biases in data
CN112101576B (zh) * 2020-09-09 2021-07-30 上海松鼠课堂人工智能科技有限公司 分布式设备使用机器学习模型聚合系统
US11341006B1 (en) * 2020-10-30 2022-05-24 International Business Machines Corporation Dynamic replacement of degrading processing elements in streaming applications

Also Published As

Publication number Publication date
WO2022227860A1 (en) 2022-11-03
GB202316883D0 (en) 2023-12-20
US20220374327A1 (en) 2022-11-24
CN117461039A (zh) 2024-01-26
DE112022002408T5 (de) 2024-02-15
GB2620354A (en) 2024-01-03

Similar Documents

Publication Publication Date Title
US11748648B2 (en) Quantum pulse optimization using machine learning
US10310908B2 (en) Dynamic usage balance of central processing units and accelerators
US11443228B2 (en) Job merging for machine and deep learning hyperparameter tuning
JP7497947B2 (ja) アプリケーションの多目的最適化
US20210034374A1 (en) Determining optimal compute resources for distributed batch based optimization applications
US10997525B2 (en) Efficient large-scale kernel learning using a distributed processing architecture
US20200125926A1 (en) Dynamic Batch Sizing for Inferencing of Deep Neural Networks in Resource-Constrained Environments
CN114846481A (zh) 哈密尔顿算子的期望能量值的估计
US11755926B2 (en) Prioritization and prediction of jobs using cognitive rules engine
CN114667507A (zh) 使用基于应用的剖析的机器学习工作负载的弹性执行
US11676013B2 (en) Job-launch time reduction by node pre-configuration
US20200159585A1 (en) Database resource scaling
US20200150957A1 (en) Dynamic scheduling for a scan
Ji et al. Adaptive workflow scheduling for diverse objectives in cloud environments
US20210097419A1 (en) Quantum platform routing of a quantum application component
US20200342330A1 (en) Mixed-binary constrained optimization on quantum computers
US11164078B2 (en) Model matching and learning rate selection for fine tuning
Chraibi et al. A novel dynamic multi-objective task scheduling optimization based on Dueling DQN and PER
WO2022227860A1 (en) Fair simultaneous comparison of parallel machine learning models
US20180260246A1 (en) Runtime piggybacking of concurrent jobs in task-parallel machine learning programs
US10680912B1 (en) Infrastructure resource provisioning using trace-based workload temporal analysis for high performance computing
US20240104418A1 (en) Graphics processing unit training job allocation
US20230325256A1 (en) Deep neural network management of overbooking in a multi-tenant computing environment
US20230195993A1 (en) Multi-stage electronic design automation parameter tuning
Seno et al. CLR: Cloud Linear Regression Environment as a More Effective Resource-Task Scheduling Environment (State-of-the-Art).

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240822