JP6659544B2 - 自動化された実験プラットホーム - Google Patents
自動化された実験プラットホーム Download PDFInfo
- Publication number
- JP6659544B2 JP6659544B2 JP2016540578A JP2016540578A JP6659544B2 JP 6659544 B2 JP6659544 B2 JP 6659544B2 JP 2016540578 A JP2016540578 A JP 2016540578A JP 2016540578 A JP2016540578 A JP 2016540578A JP 6659544 B2 JP6659544 B2 JP 6659544B2
- Authority
- JP
- Japan
- Prior art keywords
- execution
- work
- experimental
- execution module
- catalog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
- Debugging And Monitoring (AREA)
Description
本出願は、2013年12月17日付で提出された米国特許仮出願第61/916,888号の利益を主張する。
用語「抽象化」は、どのようにしても、抽象的な発想または概念を意味または提示するように意図されない。演算抽象化は、つまり、物理的コンピュータハードウェア、データ格納装置、および通信システムを使用して具現される有形の物理的インターフェイスである。その代りに、用語「抽象化」は、現在の議論において、電子的にエンコードされたデータが交換され、プロセス実行が開始され、電子サービスが提供される定義されたインターフェイスを有する一つ以上の具体的に、有形に、物理的に具現されているコンピュータシステム内に圧縮される機能の論理レベルを指す。インターフェイスは、物理的ディスプレイ装置上にディスプレイされるグラフィックおよびテキストデータだけでなく、物理的コンピュータプロセッサを制御して各種のタスクおよび動作を行い、電子的に具現されたアプリケーションプログラミングインターフェイス(「API」)および他の電子的に具現されているインターフェイスにより呼び出されるコンピュータプログラムと、ルーチンとを含むことができる。現代の科学技術に不慣れなもののうち現代のコンピュータの特定の様態を説明するために使用されるときに、用語「抽象的な」および「抽象化」を誤って解釈する傾向がある。例えば、一つの頻繁に直面する論点は、演算システムが、抽象化、機能的階層、およびインターフェイスの面から説明されるため、演算システムが物理的マシンまたは装置と多少相違するというものである。かかる主張は、根拠のないものである。ただし、一つは、複雑なコンピュータ技術の物理的、機械的性質を理解するために、それぞれの電源装置からコンピュータシステムまたはコンピュータシステムのグループを分離する必要がある。また、一つの頻繁に直面する記述は、演算技術を「単にソフトウェア」であって、機械または装置ではないものに特定するものである。ソフトウェアは、本質的に光ディスク上にまたは電子機械の大容量格納装置内にファイルに順に格納されるコンピュータプログラムまたはデジタルエンコードされたコンピュータ命令の出力のような一連のエンコードされた符号である。ソフトウェアは、単独では何も行うことができない。いわゆる「ソフトウェア具現」機能が提供されるのは、エンコードされたコンピュータ命令がコンピュータシステム内の電子メモリにロードされ、物理的プロセッサ上で実行される場合のみである。デジタルエンコードされたコンピュータ命令は、内燃機関内のカムシャフト制御システムほど必須で物理的な、プロセッサ制御機械および装置の必須で物理的な制御構成要素である。マルチクラウド集成、クラウドコンピューティングサービス、仮想マシンコンテナおよび仮想マシン、通信インターフェイス、および以下に論じられる多数の異なるトピックは、物理的、電子光学機械式コンピュータシステムの有形の物理的構成要素である。
コンピュータシステム同士の電子通信は、一般的に、クライアントコンピュータからサーバコンピュータへまたサーバコンピュータからクライアントコンピュータへ転送されるデータグラムと称される情報のパケットを含む。多数の場合において、コンピュータシステム同士の通信は、通常情報転送のためにアプリケーション階層プロトコルを使用する比較的高いレベルのアプリケーションプログラムから見られる。しかしながら、アプリケーション階層プロトコルは、トランスポート階層、インターネット階層、およびリンク階層を含む更なる階層の上に具現される。かかる階層は、通常、コンピュータシステム内の相違するレベルで具現される。各階層は、コンピュータシステムの対応する階層同士のデータ転送のためのプロトコルと関連する。かかるプロトコルの階層は、通常「プロトコルスタック」と称される。図9において、通常のプロトコルスタック930の表現は、相互連結されたサーバおよびクライアントコンピュータ904および902の下に図示される。階層は、アプリケーション階層934と関連する階層番号「1」932のような階層番号と関連する。かかる同一の階層番号は、アプリケーション階層プロトコルを介してサーバコンピュータのアプリケーション/サービス階層914とクライアントコンピュータのアプリケーション階層912の相互連結を示す破線936と関連する階層番号「1」932のような、サーバコンピュータ904とクライアントコンピュータ902の相互連結の描写に使用される。破線936は、図9におけるアプリケーション階層プロトコルを介する相互連結を示すが、これは、相互連結が物理的と言うよりはむしろ論理的であるためである。破線938は、トランスポート階層を介するクライアントおよびサーバコンピュータのオペレーティングシステム階層の論理的相互連結を示している。破線940は、インターネット階層プロトコルを介して二つのコンピュータシステムのオペレーティングシステムの論理的相互連結を示している。最後に、リンク906および908およびクラウド910は、クライアントコンピュータからサーバコンピュータへまたサーバコンピュータからクライアントコンピュータへデータを物理的に転送する物理的通信媒体および構成要素をともに示している。かかる物理的通信構成要素および媒体は、リンク階層プロトコルに応じてデータを転送する。図9において、プロトコルスタックを示す表930と整列される第2表942は、それぞれの相違するプロトコル階層のために使用され得る例示的プロトコルを含む。ハイパーテキストトランスファープロトコル(「HTTP」)は、アプリケーション階層プロトコル944として使用され得、転送制御プロトコル(「TCP」)946は、トランスポート階層プロトコルとして使用され得、インターネットプロトコル948(「IP」)は、インターネット階層プロトコルとして使用され得、ローカルイーサーネット(Ethernet(登録商標))によりインターネットに相互連結されるコンピュータシステムの場合に、Ethernet/IEEE 802.3uプロトコル950は、コンピュータシステムからインターネットの複雑な通信構成要素で情報を転送および受信するために使用され得る。インターネットを示すクラウド910内で、多数の更なるタイプのプロトコルがクライアントコンピュータとサーバコンピュータとの間にデータを転送するために使用され得る。
図12は現在発明が目指す科学的なワークフローシステムの主要構成要素を示している。科学的なワークフローシステムは、フロントエンド1202と、バックエンド1204とを含む。フロントエンドは、インターネット1206および/またはパーソナルエリアネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、および通信サブシステム、システム、およびメディアの各種タイプおよび組み合わせにより前記バックエンドに連結される。科学的なワークフローシステムのフロントエンド部分は、一般的に、ユーザコンピュータまたは他のプロセッサ制御ユーザ装置上でそれぞれ駆動する多数のフロントエンド実験ダッシュボードアプリケーション1208〜1210を含む。各フロントエンド実験ダッシュボードは、人間ユーザが科学的なワークフローシステム1204のバックエンド部分に格納される実行モジュール、データセット、および実験に関する情報をダウンロードし、有向非巡回グラフ(「DAG」)ベースの視覚化を用いて実験を生成および編集し、実行のために実験を提出し、実行された実験により生成される結果を見て、科学的なワークフローシステムバックエンドにデータセットおよび実行モジュールをアップロードし、他のユーザと実験、実行モジュール、およびデータセットを共有するように、人間ユーザにユーザインターフェイスを提供する。必須として、フロントエンド実験ダッシュボードアプリケーションは、一種の相互作用開発環境およびウィンドウまたはポータルを科学的なワークフローシステムに、科学的なワークフローシステムを介して一群の科学的なワークフローシステムユーザに提供する。図12において、外部破線矩形1202は、科学的なワークフローシステムフロントエンドを示す一方、内部破線矩形1220は、科学的なワークフローシステムフロントエンドをサポートするハードウェアプラットホームを示す。外部破線矩形1202内にあり、内部破線矩形1220の外部にある陰の構成要素1208〜1210は、ハードウェアプラットホーム1220内で具現される科学的なワークフローシステムの構成要素を示している。類似の例示規則は一つ以上のクラウドコンピューティングシステム、集中型または分散型プライベートデータセンター内に、または他の一般的に大規模マルチコンピュータシステム演算環境1222上に具現される科学的なワークフローシステムバックエンド1204のために使用される。かかる大規模演算環境は、一般的に、多数のサーバコンピュータと、ネットワークアタッチト格納システムと、内部ネットワークとを含み、メインフレームまたは他の大規模コンピュータシステムを時々含む。科学的なワークフローシステムバックエンド1204は、一つ以上のAPIサーバ1224と、分散カタログサービス1226と、クラスタ管理サービス1228と、多数の実行クラスタノード1230〜1233とを含む。かかるバックエンド構成要素それぞれは、多数の物理的サーバおよび/または大規模コンピュータシステムにマッピングされ得る。結果として、科学的なワークフローシステム1204のバックエンド部分は、増加する数のユーザに、科学的なワークフローサービスを提供するように比較的直接的にスケールされる。双方向矢印1240〜1244で表されるフロントエンド実験ダッシュボード1208〜1210とAPIサーバ1224との通信は、双方向矢印1250〜1262で表されるバックエンド構成要素同士の内部通信のように、前に論じられたRESTful通信モデルに基づく。カタログサービス1226以外にバックエンド内の図12に図示されている構成要素はいずれもステートレスであり、ステートレスRESTfulプロトコルを介して情報を交換する。
Claims (20)
- 自動化された実験プラットホームであって、
一つ以上のプロセッサと、
一つ以上のメモリと、
一つ以上のデータ格納装置と、
前記一つ以上のプロセッサ上で実行されるときに、
グラフ内においてともにリンクされる、入力データセットと、実行モジュールと、生成されたセットと、を含むワークフローが生成されディスプレイされる視覚的統合開発環境を提供し、
出力データセットを生産するためにワークフローを実行するように、前記自動化された実験プラットホームを制御する、前記メモリおよびデータ格納装置のいずれか一つ以上に格納されるコンピュータ命令と、
ユーザコンピュータまたは他のプロセッサ制御されたユーザ装置上でそれぞれ駆動する多数のフロントエンド実験ダッシュボードアプリケーションを含むフロントエンドと、
一つ以上のAPIサーバと、分散カタログサービスと、クラスタ管理サービスと、多数の実行クラスタノードとを含む、インターネットを介して前記フロントエンドに連結されるバックエンドと、を含み、
前記クラスタ管理サービスは、
前記一つ以上のAPIサーバから、ユーザの代わりに実験を行うために、前記実行クラスタノード上で実行される必要がある作業に対する作業識別子を受信し、
前記作業識別子により識別される作業を、実行のために適切な実行クラスタノードにディスパッチし、ディスパッチした作業のうち、
実行準備のできた作業は即時実行のための特定の実行クラスタノードに伝達され、
現在実行中の作業および実行待機中の作業により生産されるデータを待機する必要がある作業は、データの従属性が満たされるときに開始するために、従属性の満足度を断続的に検査する実行クラスタノード内で実行中のピンガルーチンに伝達される、自動化された実験プラットホーム。 - 各ワークフローは、エッジにより連結されるノードを含む有向非巡回グラフとして前記視覚的統合開発環境により表現される、請求項1に記載の自動化された実験プラットホーム。
- 前記ノードは、
ユーザにより前記自動化された実験プラットホームシステムにアップロードされるデータセットとして名づけられたデータセットを表現する名づけられたデータソースノード;
前記ワークフローにより定義される実験の実行により出力される出力データセットノード;
python、java(登録商標)、hive、mysql(登録商標)、scala、spark、および他のプログラミング言語を含む非常に様々な相違する言語のいずれかで記録される一つ以上の実行可能ルーチンをそれぞれ表現する実行モジュールを表現する実行モジュールノードであって、各実行モジュールは、一つ以上の中間データセットに対応する一つ以上の関連する出力を含む実行モジュールノードから選択される、請求項2に記載の自動化された実験プラットホーム。 - 前記エッジは、
名づけられたデータソースノードを実行モジュールと連結するエッジ;
中間ノードと関連する出力を実行モジュールと連結するエッジ;
中間ノードと関連する出力を出力データセットノードと連結するエッジから選択される、請求項3に記載の自動化された実験プラットホーム。 - 前記ワークフローは実験を表現し、各ワークフローはテキストエンコードされ、前記テキストエンコードは、エンコードされた実行モジュールのリストを含み、各エンコードされた実行モジュールは、
実行モジュールネームと、
バージョン番号と、
一つ以上の実行モジュールインスタンスそれぞれに対するエンコーディングと、を含む、請求項1に記載の自動化された実験プラットホーム。 - 各実行モジュールインスタンスは、
インスタンスネームまたは識別子と、
キー値ペアのリストまたはセットと、を含む、請求項5に記載の自動化された実験プラットホーム。 - 実行モジュールは、実行クラスタノードにより実行可能な実行可能ファイルであり、
各実行モジュールインスタンスは、実験有向非巡回グラフの単一ノードにマッピングされ、
実行モジュールが実験の間に多数回呼び出されるときに、各呼び出しは、相違する実行モジュールインスタンスに対応し、
前記キー値ペアは、前記実行モジュールインスタンスに対するデータ入力、前記実行モジュールインスタンスからのデータ出力、前記実行モジュールインスタンスに対する静的パラメータ、および前記実行モジュールインスタンスに対する可変パラメータの表示を提供する、請求項6に記載の自動化された実験プラットホーム。 - 前記視覚的統合開発環境は、ユーザによりアクセスされるときに、前記ユーザが、
実行モジュールをユーザコンピュータから前記自動化された実験プラットホームにアップロードし、
実行モジュールを前記自動化された実験プラットホームからユーザコンピュータにダウンロードし、
入力、中間、および出力データセットをユーザコンピュータから前記自動化された実験プラットホームにアップロードし、
入力、中間、および出力データセットを前記自動化された実験プラットホームからユーザコンピュータにダウンロードし、
ネームにより、実行モジュールおよびユーザデータセットと関連する一つ以上の属性に対する値により、また、説明により実行モジュールおよびデータセットを検索し、
既存のワークフローをコピーし、
新たな実験のための新たなワークフローを生成するために、既存のワークフローのうち一部を抽出および修正し、
実験、ワークフロー、データセット、および実行モジュールを公開、共有、および協力的に生成するようにチームとして他のユーザと協力することを可能にするインターフェイスの特徴を含むダッシュボードを提供する、請求項1に記載の自動化された実験プラットホーム。 - 各フロントエンド実験ダッシュボードは、人間ユーザが、
前記バックエンドに格納される実行モジュール、データセット、および実験に関する情報をダウンロードし、
有向非巡回グラフベースの視覚化を用いて実験を生成および編集し、
実行のために実験を提出し、
実行された実験により生成される結果を見て、
前記バックエンドにデータセットおよび実行モジュールをアップロードし、
他のユーザと実験、実行モジュール、およびデータセットを共有する、
ことができるようにする、前記人間ユーザに対するユーザインターフェイスを提供する、請求項1に記載の自動化された実験プラットホーム。 - 前記フロントエンドは、前記インターネット以外に、パーソナルエリアネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、および通信ザブシステム、システムおよび媒体により前記バックエンドに連結される、請求項9に記載の自動化された実験プラットホーム。
- 前記バックエンドは、一つ以上のクラウドコンピューティングシステム、集中型または分散型プライベートデータセンター内に、または多数のサーバコンピュータ、およびネットワークアタッチト格納システム、内部ネットワークを含む他の一般的に大規模マルチコンピュータシステム演算環境内部上で具現される、請求項1に記載の自動化された実験プラットホーム。
- 前記フロントエンド実験ダッシュボードアプリケーションからの受信要請、および前記フロントエンド実験ダッシュボードアプリケーションへの送信応答は、ステートレスRESTful通信プロトコルを使用してユーザコンピュータ上で駆動し、
前記APIサーバは、前記カタログサービスおよびクラスタ管理サービスにより提供されるサービスをアクセッシングすることにより受信された要請を行い、
前記APIサーバは、前記実行クラスタノードに対するサービスおよびクラスタ管理サービスを提供する、請求項1に記載の自動化された実験プラットホーム。 - 前記カタログサービスは、実行モジュールの実行インスタンスである、前に実行された、現在実行されている、また、以降実行される作業と関連する状態情報に対するリポジトリであり、
前記カタログサービスは、格納されたデータセット、実験、実行モジュール、および作業エンティティのバージョニング、また、それに対する検索インターフェイスを提供する、請求項1に記載の自動化された実験プラットホーム。 - 前記カタログサービスは、多数のユーザおよび/またはユーザ組織それぞれに対して相違するタイプのカタログエントリーを格納し、前記相違するタイプのカタログエントリーは、データ、実験、実行モジュール、作業カタログエントリータイプを含む、請求項13に記載の自動化された実験プラットホーム。
- カタログエントリーは、
特定のユーザまたはユーザ組織に対する格納されたメタデータの特定の集合を識別する
インデックスフィールドと、
前記カタログエントリーのタイプを表示するタイプフィールドと、
特定のユーザまたは組織に対する同一のタイプのエントリーの集合から前記カタログエントリーを探索し検索するために使用されるカタログエントリーに対する固有の識別子であるIDフィールドと、を含む、請求項14に記載の自動化された実験プラットホーム。 - カタログエントリーは、
状態値と、
短い説明と、
ネームと、
オーナと、
最終更新日付/時間と、
タイプと、
生成日と、
バージョンと、
メタデータを有するソース部分と、をさらに含む、請求項15に記載の自動化された実験プラットホーム。 - 作業が実行を完了したときに、出力データおよび状態情報は、実行クラスタノードから前記APIサーバを介して前記カタログサービスに返される、請求項1に記載の自動化された実験プラットホーム。
- 実験は、
フロントエンド実験ダッシュボードアプリケーションと相互作用するユーザにより、実験設計の視覚的表現を構築し、
前記カタログサービスにまだ存在していないデータセットおよび実行モジュールを前記一つ以上のAPIサーバにより提供されるアップロードサービスを使用して前記カタログサービスにアップロードし、
前記実験設計を前記一つ以上のAPIサーバにより提供される実験提出サービスに提出し、
前記実験設計を前記一つ以上のAPIサーバにより実行モジュールインスタンスおよびデータセットにパースし、
前記一つ以上のAPIサーバにより、前記データセットおよび実行モジュールがいずれも前記カタログサービス内に常駐することを保証し、
前記一つ以上のAPIサーバにより、前記実験設計を検証し、
前記一つ以上のAPIサーバにより、前記実行モジュールインスタンスに対する作業署名をコンピューティングし、
前記一つ以上のAPIサーバおよびカタログサービスにより、前記カタログに既に格納された作業エントリーの作業署名とマッチしない作業署名に対する新たな作業エントリー
を生成し、
前記一つ以上のAPIサーバにより、前記新たに生成された作業エントリーに対する作業識別子を受信し、
前記一つ以上のAPIサーバにより、前記実験を実行するために実行される必要があるかかる作業に対する作業識別子をクラスタ管理者構成要素に伝達し、
前記クラスタ管理者構成要素により、前記作業識別子に対応する作業に対する前記入力データがいずれも利用可能な場合に即時実行するために、またはデータ従属性が満たされた場合に後続実行のために、前記実行クラスタノードの中に前記伝達された作業識別子を分散し、
各作業の完了時に、前記作業を実行させた実行クラスタノードにより、実行により生成されるデータセット、標準エラー出力とI/O出力、および完了状態を格納のために前記カタログサービスに送信し、
前記実験の前記作業が実行されたときに、前記一つ以上のAPIサーバにより、実行完了表示を前記フロントエンド実験ダッシュボードアプリケーションに返すことにより実施される、請求項1に記載の自動化された実験プラットホーム。 - 自動化された実験プラットホームであって、
一つ以上のプロセッサと、
一つ以上のメモリと、
一つ以上のデータ格納装置と、
前記一つ以上のプロセッサ上で実行されるときに、
グラフ内においてともにリンクされる、入力データセットと、実行モジュールと、生成されたセットと、を含むワークフローが生成されディスプレイされる視覚的統合開発環境を提供して、
出力データセットを生産するためにワークフローを実行するように、前記自動化された実験プラットホームを制御する、前記メモリおよびデータ格納装置のいずれか一つ以上に格納される、コンピュータ命令と、
ユーザコンピュータまたは他のプロセッサ制御されたユーザ装置上でそれぞれ駆動する多数のフロントエンド実験ダッシュボードアプリケーションを含むフロントエンドと、
一つ以上のAPIサーバと、分散カタログサービスと、クラスタ管理サービスと、多数の実行クラスタノードとを含む、インターネットを介して前記フロントエンドに連結されるバックエンドと、を含み、
前記カタログサービスは、実行モジュールの実行インスタンスである、前に実行された、現在実行されている、また、以降実行される作業と関連する状態情報に対するリポジトリであり、
前記カタログサービスは、格納されたデータセット、実験、実行モジュール、および作業エンティティのバージョニング、また、それに対する検索インターフェイスを提供する、実験プラットホーム。 - 自動化された実験プラットホームであって、
一つ以上のプロセッサと、
一つ以上のメモリと、
一つ以上のデータ格納装置と、
前記一つ以上のプロセッサ上で実行されるときに、
グラフ内においてともにリンクされる、入力データセットと、実行モジュールと、生成されたセットと、を含むワークフローが生成されディスプレイされる視覚的統合開発環境を提供して、
出力データセットを生産するためにワークフローを実行するように、前記自動化された実験プラットホームを制御する、前記メモリおよびデータ格納装置のいずれか一つ以上に格納される、コンピュータ命令と、
ユーザコンピュータまたは他のプロセッサ制御されたユーザ装置上でそれぞれ駆動する多数のフロントエンド実験ダッシュボードアプリケーションを含むフロントエンドと、
一つ以上のAPIサーバと、分散カタログサービスと、クラスタ管理サービスと、多数の実行クラスタノードとを含む、インターネットを介して前記フロントエンドに連結されるバックエンドと、を含み、
実験は、
フロントエンド実験ダッシュボードアプリケーションと相互作用するユーザにより、実験設計の視覚的表現を構築し、
前記カタログサービスにまだ存在していないデータセットおよび実行モジュールを前記一つ以上のAPIサーバにより提供されるアップロードサービスを使用して前記カタログサービスにアップロードし、
前記実験設計を前記一つ以上のAPIサーバにより提供される実験提出サービスに提出し、
前記実験設計を前記一つ以上のAPIサーバにより実行モジュールインスタンスおよびデータセットにパースし、
前記一つ以上のAPIサーバにより、前記データセットおよび実行モジュールがいずれも前記カタログサービス内に常駐することを保証し、
前記一つ以上のAPIサーバにより、前記実験設計を検証し、
前記一つ以上のAPIサーバにより、前記実行モジュールインスタンスに対する作業署名をコンピューティングし、
前記一つ以上のAPIサーバおよびカタログサービスにより、前記カタログに既に格納された作業エントリーの作業署名とマッチしない作業署名に対する新たな作業エントリーを生成し、
前記一つ以上のAPIサーバにより、前記新たに生成された作業エントリーに対する作業識別子を受信し、
前記一つ以上のAPIサーバにより、前記実験を実行するために実行される必要があるかかる作業に対する作業識別子をクラスタ管理者構成要素に伝達し、
前記クラスタ管理者構成要素により、前記作業識別子に対応する作業に対する前記入力データがいずれも利用可能な場合に即時実行するために、またはデータ従属性が満たされた場合に後続実行のために、前記実行クラスタノードの中に前記伝達された作業識別子を分散し、
各作業の完了時に、前記作業を実行させた実行クラスタノードにより、実行により生成されるデータセット、標準エラー出力とI/O出力、および完了状態を格納のために前記カタログサービスに送信し、
前記実験の前記作業が実行されたときに、前記一つ以上のAPIサーバにより、実行完了表示を前記フロントエンド実験ダッシュボードアプリケーションに返すことにより実施される、実験プラットホーム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361916888P | 2013-12-17 | 2013-12-17 | |
US61/916,888 | 2013-12-17 | ||
PCT/US2014/070984 WO2015095411A1 (en) | 2013-12-17 | 2014-12-17 | Automated experimentation platform |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017507381A JP2017507381A (ja) | 2017-03-16 |
JP6659544B2 true JP6659544B2 (ja) | 2020-03-04 |
Family
ID=53400095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016540578A Active JP6659544B2 (ja) | 2013-12-17 | 2014-12-17 | 自動化された実験プラットホーム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20150178052A1 (ja) |
EP (1) | EP3084626A4 (ja) |
JP (1) | JP6659544B2 (ja) |
CN (1) | CN105830049B (ja) |
CA (1) | CA2929572A1 (ja) |
WO (1) | WO2015095411A1 (ja) |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190095262A1 (en) | 2014-01-17 | 2019-03-28 | Renée BUNNELL | System and methods for determining character strength via application programming interface |
US10255320B1 (en) | 2014-01-27 | 2019-04-09 | Microstrategy Incorporated | Search integration |
US9952894B1 (en) * | 2014-01-27 | 2018-04-24 | Microstrategy Incorporated | Parallel query processing |
US10095759B1 (en) * | 2014-01-27 | 2018-10-09 | Microstrategy Incorporated | Data engine integration and data refinement |
US11921715B2 (en) | 2014-01-27 | 2024-03-05 | Microstrategy Incorporated | Search integration |
US11386085B2 (en) | 2014-01-27 | 2022-07-12 | Microstrategy Incorporated | Deriving metrics from queries |
US9747082B2 (en) | 2014-12-18 | 2017-08-29 | International Business Machines Corporation | Optimizing program performance with assertion management |
US9823904B2 (en) * | 2014-12-18 | 2017-11-21 | International Business Machines Corporation | Managed assertions in an integrated development environment |
US9703552B2 (en) | 2014-12-18 | 2017-07-11 | International Business Machines Corporation | Assertions based on recently changed code |
US9503353B1 (en) * | 2014-12-30 | 2016-11-22 | Emc Corporation | Dynamic cross protocol tuner |
US9678855B2 (en) | 2014-12-30 | 2017-06-13 | International Business Machines Corporation | Managing assertions while compiling and debugging source code |
US10528875B1 (en) | 2015-04-06 | 2020-01-07 | EMC IP Holding Company LLC | Methods and apparatus implementing data model for disease monitoring, characterization and investigation |
US10509684B2 (en) | 2015-04-06 | 2019-12-17 | EMC IP Holding Company LLC | Blockchain integration for scalable distributed computations |
US10541938B1 (en) * | 2015-04-06 | 2020-01-21 | EMC IP Holding Company LLC | Integration of distributed data processing platform with one or more distinct supporting platforms |
US10812341B1 (en) | 2015-04-06 | 2020-10-20 | EMC IP Holding Company LLC | Scalable recursive computation across distributed data processing nodes |
US10505863B1 (en) | 2015-04-06 | 2019-12-10 | EMC IP Holding Company LLC | Multi-framework distributed computation |
US10791063B1 (en) * | 2015-04-06 | 2020-09-29 | EMC IP Holding Company LLC | Scalable edge computing using devices with limited resources |
US10425350B1 (en) * | 2015-04-06 | 2019-09-24 | EMC IP Holding Company LLC | Distributed catalog service for data processing platform |
US10348810B1 (en) | 2015-04-06 | 2019-07-09 | EMC IP Holding Company LLC | Scalable distributed computations utilizing multiple distinct clouds |
US10015106B1 (en) | 2015-04-06 | 2018-07-03 | EMC IP Holding Company LLC | Multi-cluster distributed data processing platform |
US10496926B2 (en) | 2015-04-06 | 2019-12-03 | EMC IP Holding Company LLC | Analytics platform for scalable distributed computations |
US10515097B2 (en) | 2015-04-06 | 2019-12-24 | EMC IP Holding Company LLC | Analytics platform for scalable distributed computations |
US10776404B2 (en) | 2015-04-06 | 2020-09-15 | EMC IP Holding Company LLC | Scalable distributed computations utilizing multiple distinct computational frameworks |
US10366111B1 (en) | 2015-04-06 | 2019-07-30 | EMC IP Holding Company LLC | Scalable distributed computations utilizing multiple distinct computational frameworks |
US10122806B1 (en) | 2015-04-06 | 2018-11-06 | EMC IP Holding Company LLC | Distributed analytics platform |
US10706970B1 (en) | 2015-04-06 | 2020-07-07 | EMC IP Holding Company LLC | Distributed data analytics |
US10541936B1 (en) | 2015-04-06 | 2020-01-21 | EMC IP Holding Company LLC | Method and system for distributed analysis |
US10331380B1 (en) | 2015-04-06 | 2019-06-25 | EMC IP Holding Company LLC | Scalable distributed in-memory computation utilizing batch mode extensions |
US10860622B1 (en) | 2015-04-06 | 2020-12-08 | EMC IP Holding Company LLC | Scalable recursive computation for pattern identification across distributed data processing nodes |
US10404787B1 (en) | 2015-04-06 | 2019-09-03 | EMC IP Holding Company LLC | Scalable distributed data streaming computations across multiple data processing clusters |
US10511659B1 (en) | 2015-04-06 | 2019-12-17 | EMC IP Holding Company LLC | Global benchmarking and statistical analysis at scale |
US10701039B2 (en) * | 2015-09-25 | 2020-06-30 | Intel Corporation | Mutual approval for privacy-preserving computing |
US10528327B2 (en) | 2015-11-23 | 2020-01-07 | Microsoft Technology Licensing Llc | Workflow development system with ease-of-use features |
WO2017117216A1 (en) * | 2015-12-29 | 2017-07-06 | Tao Tao | Systems and methods for caching task execution |
US10656861B1 (en) | 2015-12-29 | 2020-05-19 | EMC IP Holding Company LLC | Scalable distributed in-memory computation |
US10642896B2 (en) | 2016-02-05 | 2020-05-05 | Sas Institute Inc. | Handling of data sets during execution of task routines of multiple languages |
US10795935B2 (en) | 2016-02-05 | 2020-10-06 | Sas Institute Inc. | Automated generation of job flow definitions |
US10331495B2 (en) * | 2016-02-05 | 2019-06-25 | Sas Institute Inc. | Generation of directed acyclic graphs from task routines |
US10650045B2 (en) | 2016-02-05 | 2020-05-12 | Sas Institute Inc. | Staged training of neural networks for improved time series prediction performance |
US10650046B2 (en) | 2016-02-05 | 2020-05-12 | Sas Institute Inc. | Many task computing with distributed file system |
US11283900B2 (en) | 2016-02-08 | 2022-03-22 | Microstrategy Incorporated | Enterprise performance and capacity testing |
US10440153B1 (en) | 2016-02-08 | 2019-10-08 | Microstrategy Incorporated | Enterprise health score and data migration |
US10375211B2 (en) | 2016-06-03 | 2019-08-06 | Ebay Inc. | Optimization of user interface data transmission for a consistent multi-platform experience service delivery |
US10417234B2 (en) * | 2016-10-07 | 2019-09-17 | Sap Se | Data flow modeling and execution |
US10374968B1 (en) | 2016-12-30 | 2019-08-06 | EMC IP Holding Company LLC | Data-driven automation mechanism for analytics workload distribution |
US10846318B1 (en) | 2017-04-18 | 2020-11-24 | Microstrategy Incorporated | Natural language visualizations |
CN107256158B (zh) * | 2017-06-07 | 2021-06-18 | 广州供电局有限公司 | 电力系统负荷削减量的检测方法和系统 |
EP3451253A1 (en) * | 2017-09-01 | 2019-03-06 | F. Hoffmann-La Roche AG | Method for operating a laboratory system |
KR102012005B1 (ko) * | 2018-03-07 | 2019-08-19 | 한전케이디엔 주식회사 | 전기차 충전 인프라 이동식 점검 시스템 |
US11467882B2 (en) * | 2018-12-21 | 2022-10-11 | Target Brands, Inc. | Methods and systems for rapid deployment of configurable computing resources |
JP7132507B2 (ja) * | 2019-01-16 | 2022-09-07 | 日本電信電話株式会社 | カタログ作成支援システム、カタログ作成支援方法、及びプログラム |
US11195050B2 (en) | 2019-02-05 | 2021-12-07 | Microstrategy Incorporated | Machine learning to generate and evaluate visualizations |
US11263111B2 (en) | 2019-02-11 | 2022-03-01 | Microstrategy Incorporated | Validating software functionality |
US11409644B2 (en) | 2019-03-11 | 2022-08-09 | Microstrategy Incorporated | Validation of mobile device workflows |
US11599385B2 (en) * | 2019-08-02 | 2023-03-07 | EMC IP Holding Company LLC | System and method for distribution of dependent builds across orchestration job scheduler slaves |
US10810041B1 (en) | 2019-08-28 | 2020-10-20 | Microstrategy Incorporated | Providing computing workflows to remote environments |
US11637748B2 (en) | 2019-08-28 | 2023-04-25 | Microstrategy Incorporated | Self-optimization of computing environments |
US11102330B2 (en) | 2019-08-30 | 2021-08-24 | Microstrategy Incorporated | Providing updates for server environments |
US20210065078A1 (en) * | 2019-08-30 | 2021-03-04 | Microstrategy Incorporated | Automated workflows enabling selective interaction with users |
US11210189B2 (en) | 2019-08-30 | 2021-12-28 | Microstrategy Incorporated | Monitoring performance of computing systems |
US11354216B2 (en) | 2019-09-18 | 2022-06-07 | Microstrategy Incorporated | Monitoring performance deviations |
US11360881B2 (en) | 2019-09-23 | 2022-06-14 | Microstrategy Incorporated | Customizing computer performance tests |
US11438231B2 (en) | 2019-09-25 | 2022-09-06 | Microstrategy Incorporated | Centralized platform management for computing environments |
US11966774B2 (en) | 2019-10-25 | 2024-04-23 | Microstrategy Incorporated | Workflow generation using multiple interfaces |
US11614970B2 (en) | 2019-12-06 | 2023-03-28 | Microstrategy Incorporated | High-throughput parallel data transmission |
US11567965B2 (en) | 2020-01-23 | 2023-01-31 | Microstrategy Incorporated | Enhanced preparation and integration of data sets |
CN112162727A (zh) * | 2020-09-16 | 2021-01-01 | 深圳晶泰科技有限公司 | 云端高性能科学计算工作流设计控制系统及用户图形界面 |
US11500863B2 (en) * | 2020-10-12 | 2022-11-15 | Hippo Analytics Inc. | Field inheritance removal system |
CN112507623A (zh) * | 2020-12-15 | 2021-03-16 | 交控科技股份有限公司 | 一种算法中台构建方法及系统 |
CN112734189A (zh) * | 2020-12-30 | 2021-04-30 | 深圳晶泰科技有限公司 | 实验工作流模型建立方法 |
CN113609098A (zh) * | 2021-07-31 | 2021-11-05 | 云南电网有限责任公司信息中心 | 一种基于数据挖掘流程的可视化建模平台 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7167850B2 (en) * | 2002-10-10 | 2007-01-23 | Ab Initio Software Corporation | Startup and control of graph-based computation |
US20040111421A1 (en) * | 2002-12-10 | 2004-06-10 | Cohen Norman H. | Data source synthesis |
DE102005025644A1 (de) * | 2004-06-03 | 2006-01-26 | MDL Information Systems, Inc., San Leandro | Verfahren und Vorrichtung zum visuellen Applikationenentwurf |
JP4432733B2 (ja) * | 2004-11-05 | 2010-03-17 | 富士ゼロックス株式会社 | 連携処理装置及びシステム |
US20060190184A1 (en) * | 2005-02-23 | 2006-08-24 | Incogen, Inc. | System and method using a visual or audio-visual programming environment to enable and optimize systems-level research in life sciences |
US8943163B2 (en) * | 2005-05-02 | 2015-01-27 | S-Matrix | System for automating scientific and engineering experimentation |
US8209149B2 (en) * | 2005-10-28 | 2012-06-26 | S-Matrix | System and method for automatically creating data sets for complex data via a response data handler |
US20080147371A1 (en) * | 2006-12-13 | 2008-06-19 | Gupton Kyle P | User Defined Virtual Instruments in a Simulation Environment |
US9727440B2 (en) * | 2007-06-22 | 2017-08-08 | Red Hat, Inc. | Automatic simulation of virtual machine performance |
US8239840B1 (en) * | 2010-03-10 | 2012-08-07 | Google Inc. | Sensor simulation for mobile device applications |
CN103180826B (zh) * | 2010-10-25 | 2017-04-05 | 起元技术有限责任公司 | 在代表计算机程序的数据流图中管理数据集对象 |
US20140007045A1 (en) * | 2011-08-01 | 2014-01-02 | Adobe Systems Incorporated | Systems and methods for enabling customization of visual elements based on a specified class |
US20150135160A1 (en) * | 2012-05-01 | 2015-05-14 | Simon Gauvin | System and method for providing an application development and distribution social platform |
US8930891B2 (en) * | 2013-02-04 | 2015-01-06 | David Wei Ge | Method for visual manipulations of all kinds of programming objects |
-
2014
- 2014-12-17 EP EP14872495.8A patent/EP3084626A4/en not_active Withdrawn
- 2014-12-17 CA CA2929572A patent/CA2929572A1/en not_active Abandoned
- 2014-12-17 WO PCT/US2014/070984 patent/WO2015095411A1/en active Application Filing
- 2014-12-17 US US14/574,297 patent/US20150178052A1/en not_active Abandoned
- 2014-12-17 JP JP2016540578A patent/JP6659544B2/ja active Active
- 2014-12-17 CN CN201480068776.5A patent/CN105830049B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017507381A (ja) | 2017-03-16 |
EP3084626A1 (en) | 2016-10-26 |
CA2929572A1 (en) | 2015-06-25 |
WO2015095411A1 (en) | 2015-06-25 |
CN105830049B (zh) | 2019-04-12 |
EP3084626A4 (en) | 2016-12-28 |
CN105830049A (zh) | 2016-08-03 |
US20150178052A1 (en) | 2015-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6659544B2 (ja) | 自動化された実験プラットホーム | |
US11853748B2 (en) | Methods and systems that share resources among multiple, interdependent release pipelines | |
US11604665B2 (en) | Multi-tiered-application distribution to resource-provider hosts by an automated resource-exchange system | |
US10042628B2 (en) | Automated upgrade system for a service-based distributed computer system | |
Goscinski et al. | Toward dynamic and attribute based publication, discovery and selection for cloud computing | |
CN110383795A (zh) | 基于服务图的无服务器云管理平台 | |
De Oliveira et al. | Data-intensive workflow management: for clouds and data-intensive and scalable computing environments | |
WO2015126409A1 (en) | Migrating cloud resources | |
WO2015126411A1 (en) | Migrating cloud resources | |
Vivian et al. | Rapid and efficient analysis of 20,000 RNA-seq samples with Toil | |
US20150121373A1 (en) | User Privacy Systems And Methods | |
Anjos et al. | BIGhybrid: a simulator for MapReduce applications in hybrid distributed infrastructures validated with the Grid5000 experimental platform | |
Estrada | Apache Kafka 1.0 Cookbook: Over 100 practical recipes on using distributed enterprise messaging to handle real-time data | |
Michalski et al. | Implementing Azure Cloud Design Patterns: Implement efficient design patterns for data management, high availability, monitoring and other popular patterns on your Azure Cloud | |
US20240111831A1 (en) | Multi-tenant solver execution service | |
US20240112067A1 (en) | Managed solver execution using different solver types | |
US20240176732A1 (en) | Advanced application of model operations in energy | |
Gray | Ph. D. Thesis Proprosal: Transportable Agents | |
Noureldien | Big data platform for the development of scheduling strategies in cloud computing | |
Wufka et al. | Overview of Cloud Computing | |
WO2024073536A1 (en) | Multi-tenant solver execution service | |
Canonico et al. | Overview of Cloud Computing | |
Doan | A developer's survey on different cloud platforms | |
Carrión Collado | Management of generic and multi-platform workflows for exploiting heterogeneous environments on e-Science | |
Das | Framework to set up a generic environment for applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160620 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170526 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190507 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191210 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6659544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |