JPWO2021038432A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2021038432A5
JPWO2021038432A5 JP2022513270A JP2022513270A JPWO2021038432A5 JP WO2021038432 A5 JPWO2021038432 A5 JP WO2021038432A5 JP 2022513270 A JP2022513270 A JP 2022513270A JP 2022513270 A JP2022513270 A JP 2022513270A JP WO2021038432 A5 JPWO2021038432 A5 JP WO2021038432A5
Authority
JP
Japan
Prior art keywords
machine learning
learning model
metadata
ensemble
pipelines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022513270A
Other languages
Japanese (ja)
Other versions
JP2022546057A (en
JP7482992B2 (en
Publication date
Priority claimed from US16/557,760 external-priority patent/US11514361B2/en
Application filed filed Critical
Publication of JP2022546057A publication Critical patent/JP2022546057A/en
Publication of JPWO2021038432A5 publication Critical patent/JPWO2021038432A5/ja
Application granted granted Critical
Publication of JP7482992B2 publication Critical patent/JP7482992B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (16)

１つまたは複数のプロセッサにより、自動化された機械学習の可視化を提供するための方法であって、
１つまたは複数の機械学習タスクと、１つまたは複数のトランスフォーマと、１つまたは複数のエスティメータとを、１つまたは複数の機械学習組成モジュールの中に受け取ることと、
前記１つまたは複数の機械学習組成モジュールを用い、対応するメタデータと共に、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せを生成することであって、機械学習モデル・パイプラインとは、トランスフォーマとエスティメータとのシーケンスであり、機械学習モデル・パイプラインのアンサンブルとは、機械学習モデル・パイプラインのアンサンブルである、前記生成することと、
前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せから、メタデータを抽出することと、
前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せ、前記抽出されたメタデータ、またはそれらの組合せの対話型可視化グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）を生成することと、
を含む、方法。 A method for providing automated machine learning visualization by one or more processors, comprising:
receiving one or more machine learning tasks, one or more transformers, and one or more estimators into one or more machine learning composition modules;
using the one or more machine learning composition modules to generate a machine learning model pipeline, an ensemble of multiple machine learning model pipelines, or a combination thereof, along with corresponding metadata, the learning model pipeline is a sequence of transformers and estimators, and the ensemble of machine learning model pipelines is an ensemble of machine learning model pipelines;
extracting metadata from the machine learning model pipeline, the ensemble of multiple machine learning model pipelines, or a combination thereof;
an interactive visualization graphical user interface (“GUI”) of the machine learning model pipeline, the ensemble of multiple machine learning model pipelines, or a combination thereof, the extracted metadata, or a combination thereof; and
A method, including 前記１つまたは複数の機械学習タスクを受け取ることは、訓練データ、ホールド・アウト・データ、テスト・データ、最適化メトリック、評価メトリック、ターゲット変数、前記１つまたは複数のトランスフォーマ、および前記１つまたは複数のエスティメータを、前記１つまたは複数の機械学習組成モジュールの中に受け取ることをさらに含む、請求項１に記載の方法。 Receiving the one or more machine learning tasks includes training data, holdout data, test data, optimization metrics, evaluation metrics, target variables, the one or more transformers, and the one or more 2. The method of claim 1, further comprising receiving multiple estimators into the one or more machine learning composition modules. 前記機械学習モデル・パイプラインに関する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せを含むように、前記機械学習モデル・パイプラインに対するメタデータを定義すること、または
複数の機械学習モデル・パイプラインの前記アンサンブルに関する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せを含むように、複数の機械学習モデル・パイプラインの前記アンサンブルに対するメタデータを定義することをさらに含む、請求項１に記載の方法。 defining metadata for the machine learning model pipeline to include structural metadata, performance metadata, provenance metadata, or a combination thereof for the machine learning model pipeline; or a plurality of machine learning models. - further comprising defining metadata for said ensemble of multiple machine learning model pipelines to include structural metadata, performance metadata, provenance metadata, or a combination thereof for said ensemble of pipelines; The method of claim 1. パイプライン・ランキング基準とメタデータ・ランキング基準とに従い、前記抽出されたメタデータと、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せとをランク付けすること、
前記メタデータ・ランキング基準に従い、前記機械学習モデル・パイプラインに対する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せをランク付けすること、または
前記メタデータ・ランキング基準に従い、複数の機械学習モデル・パイプラインの前記アンサンブルに対する前記構造メタデータ、前記性能メタデータ、前記来歴メタデータ、またはそれらの組合せをランク付けすることをさらに含む、請求項１に記載の方法。 Ranking the extracted metadata and the machine learning model pipeline, the ensemble of multiple machine learning model pipelines, or a combination thereof according to pipeline ranking criteria and metadata ranking criteria. to do
ranking structural metadata, performance metadata, provenance metadata, or a combination thereof for said machine learning model pipeline according to said metadata ranking criteria; or a plurality of machines according to said metadata ranking criteria. 2. The method of claim 1, further comprising ranking the structural metadata, the performance metadata, the provenance metadata, or a combination thereof for the ensemble of learning model pipelines. １つまたは複数のノードが表示されている複数の同心リングを有する放射型構造として前記対話型可視化ＧＵＩを表示することをさらに含んでおり、前記複数の同心リングは、機械学習モデル・パイプライン・リングと、データ・リングと、エスティメータ・リングと、トランスフォーマ・リングと、組成モジュール・リングとを少なくとも含み、前記１つまたは複数のノードは、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せと、データと、前記１つまたは複数のエスティメータと、前記１つまたは複数のトランスフォーマと、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せを生成するのに用いられる前記機械学習組成モジュールとを表しており、１つまたは複数のノードを前記複数の同心リングに有することは、異なるランキング基準に基づき、シーケンスとして表示される、請求項１に記載の方法。 further comprising displaying the interactive visualization GUI as a radial structure having a plurality of concentric rings in which one or more nodes are displayed, the plurality of concentric rings representing a machine learning model, pipeline, a ring, a data ring, an estimator ring, a transformer ring, and a composition module ring, wherein the one or more nodes are configured to: the machine learning model pipeline; a plurality of machine learning models; - said ensemble of pipelines, or a combination thereof, data, said one or more estimators, said one or more transformers, said machine learning model pipeline, a plurality of machine learning model pipes; said machine learning composition module used to generate said ensemble of lines, or combinations thereof, having one or more nodes in said plurality of concentric rings based on different ranking criteria; 2. The method of claim 1, displayed as a sequence. １つもしくは複数のノードと前記複数の同心リングの１つもしくは複数とを関連付けること、
前記ユーザが前記複数の同心リングの前記１つもしくは複数と対話するときに、前記機械学習モデル・パイプラインもしくは複数の機械学習モデル・パイプラインの前記アンサンブルに関する詳細を関連付けて表示すること、あるいは
前記ユーザが前記複数の同心リングの前記１つもしくは複数と対話するときに、前記１つもしくは複数の選択されたデータ・トランスフォーマ、前記１つもしくは複数のデータ・エスティメータ、前記１つもしくは複数の機械学習組成モジュール、１つもしくは複数のデータ・パーティション、またはそれらの組合せと関連する前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せのそれぞれを表示することをさらに含む、請求項５に記載の方法。 associating one or more nodes with one or more of the plurality of concentric rings;
displaying in association with details about the machine learning model pipeline or the ensemble of multiple machine learning model pipelines when the user interacts with the one or more of the plurality of concentric rings; said one or more selected data transformers, said one or more data estimators, said one or more machines when a user interacts with said one or more of said plurality of concentric rings; displaying each of said machine learning model pipelines, said ensemble of multiple machine learning model pipelines, or combinations thereof, associated with a learning composition module, one or more data partitions, or combinations thereof; 6. The method of claim 5, further comprising: １つまたは複数のトリガ・イベントが発生すると、前記対話型可視化ＧＵＩを自動的に更新すること、あるいは
ユーザが、
前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せ、前記１つもしくは複数のトランスフォーマ、前記１つもしくは複数のエスティメータ、前記１つもしくは複数の機械学習組成モジュール、もしくはそれらの組合せの、パイプライン・ランキング基準とメタデータ・ランキング基準とを、前記対話型可視化の１つもしくは複数の対応するリングとしての可視化のために選択するとき、
前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せの前記対話型可視化の内部に配置された１つもしくは複数のノードを選択する、もしくは前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せの前記対話型可視化の内部に配置された１つもしくは複数のノードと対話するとき、または
前記対話型可視化ＧＵＩの内部にありトランスフォーマ・リングとエスティメータ・リングとデータ・リングと組成モジュール・リングとを含む複数のメタデータ・リングの１つもしくは複数に対する１つもしくは複数のノードを選択する、もしくは前記対話型可視化ＧＵＩの内部にありトランスフォーマ・リングとエスティメータ・リングとデータ・リングと組成モジュール・リングとを含む複数のメタデータ・リングの１つもしくは複数に対する１つもしくは複数のノードと対話するときに、
前記対話型可視化を自動的に更新することをさらに含む、請求項５に記載の方法。 automatically updating the interactive visualization GUI upon the occurrence of one or more trigger events; or
the machine learning model pipeline, the ensemble of multiple machine learning model pipelines, or a combination thereof; the one or more transformers; the one or more estimators; the one or more machine learning when selecting pipeline ranking criteria and metadata ranking criteria of composition modules, or combinations thereof, for visualization as one or more corresponding rings of said interactive visualization;
selecting one or more nodes located within the interactive visualization of the machine learning model pipeline, the ensemble of multiple machine learning model pipelines, or a combination thereof, or the machine learning model; when interacting with one or more nodes located within said interactive visualization of a pipeline, said ensemble of multiple machine learning model pipelines, or a combination thereof, or within said interactive visualization GUI. selecting one or more nodes for one or more of a plurality of metadata rings including a transformer ring, an estimator ring, a data ring and a composition module ring in the interactive visualization GUI; when interacting with one or more nodes for one or more of the plurality of metadata rings, including the transformer ring, the estimator ring, the data ring, and the composition module ring, within the
6. The method of claim 5, further comprising automatically updating said interactive visualization. 自動化された機械学習可視化を提供するためのシステムであって、
前記システムによって実行されると、
１つまたは複数の機械学習タスクと、１つまたは複数のトランスフォーマと、１つまたは複数のエスティメータとを、１つまたは複数の機械学習組成モジュールの中に受け取ることと、
前記１つまたは複数の機械学習組成モジュールを用い、対応するメタデータと共に、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せを生成することであって、機械学習モデル・パイプラインとは、トランスフォーマとエスティメータとのシーケンスであり、機械学習モデル・パイプラインのアンサンブルとは、機械学習モデル・パイプラインのアンサンブルである、前記生成することと、
前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せから、メタデータを抽出することと、
前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せ、前記抽出されたメタデータ、またはそれらの組合せの対話型可視化グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）を生成することと、
を実行可能な命令を有する１つまたは複数のコンピュータを備えた、システム。 A system for providing automated machine learning visualization, comprising:
When executed by the system,
receiving one or more machine learning tasks, one or more transformers, and one or more estimators into one or more machine learning composition modules;
using the one or more machine learning composition modules to generate a machine learning model pipeline, an ensemble of multiple machine learning model pipelines, or a combination thereof, along with corresponding metadata, the learning model pipeline is a sequence of transformers and estimators, and the ensemble of machine learning model pipelines is an ensemble of machine learning model pipelines;
extracting metadata from the machine learning model pipeline, the ensemble of multiple machine learning model pipelines, or a combination thereof;
an interactive visualization graphical user interface (“GUI”) of the machine learning model pipeline, the ensemble of multiple machine learning model pipelines, or a combination thereof, the extracted metadata, or a combination thereof; and
A system comprising one or more computers having instructions capable of executing 前記１つまたは複数の機械学習タスクを受け取るための前記実行可能な命令は、訓練データ、ホールド・アウト・データ、テスト・データ、最適化メトリック、評価メトリック、ターゲット変数、前記１つまたは複数のトランスフォーマ、および前記１つまたは複数のエスティメータを、前記１つまたは複数の機械学習組成モジュールの中に受け取ることをさらに含む、請求項８に記載のシステム。 The executable instructions for receiving the one or more machine learning tasks include training data, hold out data, test data, optimization metrics, evaluation metrics, target variables, the one or more transformers. , and the one or more estimators into the one or more machine learning composition modules. 前記実行可能な命令は、さらに、
前記機械学習モデル・パイプラインに関する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せを含むように、前記機械学習モデル・パイプラインに対するメタデータを定義する、または
複数の機械学習モデル・パイプラインの前記アンサンブルに関する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せを含むように、複数の機械学習モデル・パイプラインの前記アンサンブルに対するメタデータを定義する、請求項８に記載のシステム。 The executable instructions further comprise:
defining metadata for said machine learning model pipeline to include structural metadata, performance metadata, provenance metadata, or a combination thereof for said machine learning model pipeline; or 9. The method of claim 8, defining metadata for the ensemble of multiple machine learning model pipelines to include structural metadata, performance metadata, provenance metadata, or a combination thereof for the ensemble of pipelines. system. 前記実行可能な命令は、さらに、
パイプライン・ランキング基準とメタデータ・ランキング基準とに従い、前記抽出されたメタデータと、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せとをランク付けする、
前記メタデータ・ランキング基準に従い、前記機械学習モデル・パイプラインに対する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せをランク付けする、または
前記メタデータ・ランキング基準に従い、複数の機械学習モデル・パイプラインの前記アンサンブルに対する前記構造メタデータ、前記性能メタデータ、前記来歴メタデータ、またはそれらの組合せをランク付けする、請求項８に記載のシステム。 The executable instructions further comprise:
Ranking the extracted metadata and the machine learning model pipeline, the ensemble of multiple machine learning model pipelines, or a combination thereof according to pipeline ranking criteria and metadata ranking criteria. do,
ranking structural metadata, performance metadata, provenance metadata, or a combination thereof for said machine learning model pipeline according to said metadata ranking criteria; or a plurality of machine learning according to said metadata ranking criteria. 9. The system of claim 8, ranking the structural metadata, the performance metadata, the provenance metadata, or a combination thereof for the ensemble of model pipelines. 前記実行可能な命令は、さらに、１つまたは複数のノードが表示されている複数の同心リングを有する放射型構造として前記対話型可視化ＧＵＩを表示し、前記複数の同心リングは、機械学習モデル・パイプライン・リングと、データ・リングと、エスティメータ・リングと、トランスフォーマ・リングと、組成モジュール・リングとを少なくとも含み、前記１つまたは複数のノードは、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せと、データと、前記１つまたは複数のエスティメータと、前記１つまたは複数のトランスフォーマと、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せを生成するのに用いられる前記機械学習組成モジュールとを表しており、１つまたは複数のノードを前記複数の同心リングに有することは、異なるランキング基準に基づき、シーケンスとして表示される、請求項８に記載のシステム。 The executable instructions further display the interactive visualization GUI as a radial structure having a plurality of concentric rings in which one or more nodes are displayed, the plurality of concentric rings representing machine learning model at least a pipeline ring, a data ring, an estimator ring, a transformer ring, and a composition module ring, wherein the one or more nodes comprise the machine learning model pipeline, a plurality of said ensemble of machine learning model pipelines, or a combination thereof, data, said one or more estimators, said one or more transformers, said machine learning model pipeline, a plurality of machine learning and the machine learning composition module used to generate the ensemble of model pipelines, or combinations thereof, wherein having one or more nodes in the plurality of concentric rings has different ranking criteria. 9. The system of claim 8, displayed as a sequence based on . 前記実行可能な命令は、さらに、
１つもしくは複数のノードと前記複数の同心リングの１つもしくは複数とを関連付ける、
前記ユーザが前記複数の同心リングの前記１つもしくは複数と対話するときに、前記機械学習モデル・パイプラインもしくは複数の機械学習モデル・パイプラインの前記アンサンブルに関する詳細を関連付けて表示する、あるいは
前記ユーザが前記複数の同心リングの前記１つもしくは複数と対話するときに、前記１つもしくは複数の選択されたデータ・トランスフォーマ、前記１つもしくは複数のデータ・エスティメータ、前記１つもしくは複数の機械学習組成モジュール、１つもしくは複数のデータ・パーティション、またはそれらの組合せと関連する前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せのそれぞれを表示する、請求項８に記載のシステム。 The executable instructions further comprise:
associating one or more nodes with one or more of the plurality of concentric rings;
associate and display details about the machine learning model pipeline or the ensemble of multiple machine learning model pipelines when the user interacts with the one or more of the plurality of concentric rings; or interacts with said one or more of said plurality of concentric rings, said one or more selected data transformers, said one or more data estimators, said one or more machine learning displaying each of said machine learning model pipelines, said ensemble of multiple machine learning model pipelines, or combinations thereof, associated with a composition module, one or more data partitions, or combinations thereof; Item 9. The system according to Item 8. 前記実行可能な命令は、さらに、
１つまたは複数のトリガ・イベントが発生すると、前記対話型可視化ＧＵＩを自動的に更新する、あるいは
ユーザが、
前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せ、前記１つもしくは複数のトランスフォーマ、前記１つもしくは複数のエスティメータ、前記１つもしくは複数の機械学習組成モジュール、もしくはそれらの組合せの、前記パイプライン・ランキング基準と前記メタデータ・ランキング基準とを、前記対話型可視化の１つもしくは複数の対応するリングとしての可視化のために選択するとき、
前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せの前記対話型可視化の内部に配置された１つもしくは複数のノードを選択する、もしくは前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せの前記対話型可視化の内部に配置された１つもしくは複数のノードと対話するとき、または
前記対話型可視化ＧＵＩの内部にありトランスフォーマ・リングとエスティメータ・リングとデータ・リングと組成モジュール・リングとを含む複数のメタデータ・リングの１つもしくは複数に対する１つもしくは複数のノードを選択する、もしくは前記対話型可視化ＧＵＩの内部にありトランスフォーマ・リングとエスティメータ・リングとデータ・リングと組成モジュール・リングとを含む複数のメタデータ・リングの１つもしくは複数に対する１つもしくは複数のノードと対話するときに、
前記対話型可視化を自動的に更新する、請求項８に記載のシステム。 The executable instructions further comprise:
automatically updating the interactive visualization GUI upon the occurrence of one or more trigger events; or
the machine learning model pipeline, the ensemble of multiple machine learning model pipelines, or a combination thereof; the one or more transformers; the one or more estimators; the one or more machine learning when selecting said pipeline ranking criteria and said metadata ranking criteria of composition modules, or combinations thereof, for visualization as one or more corresponding rings of said interactive visualization;
selecting one or more nodes located within the interactive visualization of the machine learning model pipeline, the ensemble of multiple machine learning model pipelines, or a combination thereof, or the machine learning model; when interacting with one or more nodes located within said interactive visualization of a pipeline, said ensemble of multiple machine learning model pipelines, or a combination thereof, or within said interactive visualization GUI; selecting one or more nodes for one or more of a plurality of metadata rings including a transformer ring, an estimator ring, a data ring and a composition module ring in the interactive visualization GUI; when interacting with one or more nodes for one or more of the plurality of metadata rings, including the transformer ring, the estimator ring, the data ring, and the composition module ring, within the
9. The system of claim 8, automatically updating the interactive visualization. コンピュータ・プログラムであって、請求項１ないし７のいずれか１項に記載の方法の各ステップをコンピュータに実行させるための、コンピュータ・プログラム。 A computer program product for causing a computer to perform the steps of the method according to any one of claims 1 to 7. 請求項１５に記載のコンピュータ・プログラムを記録した、コンピュータ可読記憶媒体。 16. A computer-readable storage medium recording the computer program according to claim 15.
JP2022513270A 2019-08-30 2020-08-25 Radial visualization of automated artificial intelligence Active JP7482992B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/557,760 2019-08-30
US16/557,760 US11514361B2 (en) 2019-08-30 2019-08-30 Automated artificial intelligence radial visualization
PCT/IB2020/057920 WO2021038432A1 (en) 2019-08-30 2020-08-25 Automated artificial intelligence radial visualization

Publications (3)

Publication Number Publication Date
JP2022546057A JP2022546057A (en) 2022-11-02
JPWO2021038432A5 true JPWO2021038432A5 (en) 2022-12-12
JP7482992B2 JP7482992B2 (en) 2024-05-14

Family

ID=74681540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022513270A Active JP7482992B2 (en) 2019-08-30 2020-08-25 Radial visualization of automated artificial intelligence

Country Status (5)

Country Link
US (1) US11514361B2 (en)
JP (1) JP7482992B2 (en)
CN (1) CN114287012A (en)
GB (1) GB2602422A (en)
WO (1) WO2021038432A1 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11625648B2 (en) * 2019-09-14 2023-04-11 Oracle International Corporation Techniques for adaptive pipelining composition for machine learning (ML)
US11727314B2 (en) * 2019-09-30 2023-08-15 Amazon Technologies, Inc. Automated machine learning pipeline exploration and deployment
US11593709B2 (en) * 2019-10-15 2023-02-28 UiPath, Inc. Inserting and/or replacing machine learning models in a pipeline for robotic process automation workflows
US11663509B2 (en) * 2020-01-31 2023-05-30 EMC IP Holding Company LLC System and method for a personalized machine learning pipeline selection and result interpretation
US20210326717A1 (en) * 2020-04-15 2021-10-21 Amazon Technologies, Inc. Code-free automated machine learning
US11928156B2 (en) 2020-11-03 2024-03-12 International Business Machines Corporation Learning-based automated machine learning code annotation with graph neural network
US11847417B2 (en) * 2021-03-12 2023-12-19 Accenture Global Solutions Limited Data-driven social media analytics application synthesis
US20220398489A1 (en) * 2021-06-14 2022-12-15 International Business Machines Corporation Training machine learning models
CN115904359A (en) * 2021-09-23 2023-04-04 腾讯科技（深圳）有限公司 Machine learning method and device based on assembly line, electronic equipment and storage medium
US11822773B2 (en) * 2022-03-23 2023-11-21 PwC Product Sales LLC Systems and methods for generating and utilizing an interactive causal loop diagram using a causal loop designer

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001349A1 (en) 2008-07-02 2010-01-07 Santaris Pharma A/S Rna antagonists targeting hsp27
US20120158623A1 (en) 2010-12-21 2012-06-21 Microsoft Corporation Visualizing machine learning accuracy
JP5646400B2 (en) 2011-06-22 2014-12-24 株式会社日立製作所 Image processing flow evaluation method and image processing apparatus for executing the method
US20140122396A1 (en) * 2012-10-29 2014-05-01 Qualcomm Incorporated Rules engine as a platform for mobile applications
WO2015065406A1 (en) * 2013-10-31 2015-05-07 Hewlett-Packard Development Company, L.P. Data processing system including a search engine
US10387430B2 (en) 2015-02-26 2019-08-20 International Business Machines Corporation Geometry-directed active question selection for question answering systems
US10878957B2 (en) * 2015-06-30 2020-12-29 Koninklijke Philips N.V. Need determination system
US20170017708A1 (en) * 2015-07-17 2017-01-19 Sqrrl Data, Inc. Entity-relationship modeling with provenance linking for enhancing visual navigation of datasets
US10360072B2 (en) * 2015-09-30 2019-07-23 The Mitre Corporation Cross-cloud orchestration of data analytics for a plurality of research domains
US10235781B2 (en) * 2016-01-15 2019-03-19 Oracle International Corporation Visualization of provenance data
US10810491B1 (en) * 2016-03-18 2020-10-20 Amazon Technologies, Inc. Real-time visualization of machine learning models
US11151471B2 (en) * 2016-11-30 2021-10-19 Here Global B.V. Method and apparatus for predictive classification of actionable network alerts
US11978543B2 (en) * 2016-12-14 2024-05-07 Astarte Medical Partners Inc. System and methods for developing and using a microbiome-based action component
JP2018148501A (en) 2017-03-08 2018-09-20 株式会社リコー Information processing system, information processing device, and information processing program
CN108665071A (en) * 2017-03-27 2018-10-16 苏宁云商集团股份有限公司 A kind of interactive machine study experiment shows method and system
US20180373781A1 (en) * 2017-06-21 2018-12-27 Yogesh PALRECHA Data handling methods and system for data lakes
US11823013B2 (en) * 2017-08-29 2023-11-21 International Business Machines Corporation Text data representation learning using random document embedding
US11017038B2 (en) 2017-09-29 2021-05-25 International Business Machines Corporation Identification and evaluation white space target entity for transaction operations
US10360214B2 (en) * 2017-10-19 2019-07-23 Pure Storage, Inc. Ensuring reproducibility in an artificial intelligence infrastructure
JP7065498B2 (en) 2018-02-03 2022-05-12 アレグロスマート株式会社 Data orchestration platform management
US11270211B2 (en) 2018-02-05 2022-03-08 Microsoft Technology Licensing, Llc Interactive semantic data exploration for error discovery
CN108769048A (en) * 2018-06-08 2018-11-06 武汉思普崚技术有限公司 A kind of secure visualization and Situation Awareness plateform system
US11042611B2 (en) * 2018-12-10 2021-06-22 XNOR.ai, Inc. Digital watermarking of machine-learning models
US20210055915A1 (en) * 2019-08-23 2021-02-25 Google Llc No-coding machine learning pipeline

Similar Documents

Publication Publication Date Title
GB2602422A (en) Automated artificial intelligence radial visualization
US20200042899A1 (en) Parallel Development and Deployment for Machine Learning Models
US20180113683A1 (en) Virtual interactive learning environment
US8990242B2 (en) Enhanced query suggestions in autosuggest with corresponding relevant data
JP2019519027A (en) Learning from historical logs and recommending database operations on data assets in ETL tools
JPWO2021038432A5 (en)
US20150170088A1 (en) Logic flow generator system and method
Li et al. Online virtual experiment teaching platform for database technology and application
US10262075B2 (en) Efficient navigation through hierarchical mappings
US20150082207A1 (en) Extracting a deterministic finite-state machine model of a gui based application
JP6810246B2 (en) Methods and equipment for performing distributed computing tasks
CN106255962A (en) For improving the system and method for data structure storage
Shen et al. Taskbench: Benchmarking large language models for task automation
JPWO2020240871A5 (en) Parameter learning device, parameter learning method, and program
JP6223866B2 (en) Display information generating apparatus, program execution status display system, method and program
JP2021174401A5 (en)
WO2017063555A1 (en) Automatic system repair method and apparatus based on automatic exercise
WO2017088547A1 (en) Data upgrading method and apparatus
JP2015043197A (en) Information processing system, program information generation method, program information generation program and program information display system
JPWO2020254962A5 (en)
Cunha et al. Embedding model-driven spreadsheet queries in spreadsheet systems
JP6025176B2 (en) Automatic operation system and method, and automatic operation program
Glines et al. Software Design Patterns of Computational Creativity: A Systematic Mapping Study.
JP2018028776A (en) Software asset management device, software asset management method, and software asset management program
Sivaranjani An overview of the big data technology for computer-assisted learning