JP7482992B2 - 自動化された人工知能の放射型可視化 - Google Patents

Description

本発明は、一般に、コンピューティング・システムに関し、より詳細には、プロセッサによる自動化された機械学習可視化のための様々な実施形態に関する。

今日の社会においては、消費者、ビジネスパーソン、教師、およびそれ以外の人々が、非常に多様な媒体を通じ、リアルタイムで、長い距離を介して、多くの回数、境界または国境を越えて、通信を行う。インターネットなどのコンピューティング・ネットワークの利用が増加するにつれて、人々は、現在、様々な編成された情報源および編成されていない情報源から自らが入手可能な情報量に圧倒され、閉口させられている。情報技術の最近の進展とインターネットの加速する普及とにより、非常に多様なコンピュータ・システムが機械学習において用いられてきている。機械学習とは、コンピュータが経験的なデータに基づいて行動を進化させることを可能にするのに用いられる人工知能の一形態である。

自動化された機械学習可視化をプロセッサによって提供するための様々な実施形態が、提供される。ある実施形態では、単なる例示として、放射型（radial）の自動化された機械学習可視化をやはりプロセッサによって生成し構築するための方法が、提供される。機械学習（「ＭＬ」）タスクと、トランスフォーマと、エスティメータとが、１つまたは複数の機械学習組成モジュール（composition module）の中に受け取られ得る。１つまたは複数の機械学習組成モジュールは、１つまたは複数の機械学習モデルを生成する。機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せが、対応するメタデータと共に、１つまたは複数の機械学習組成モジュールを用いて、生成され得る。メタデータは、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せから抽出される。抽出されたメタデータと、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せとは、メタデータ・ランキング基準とパイプライン・ランキング基準とに従って、ランク付けされ得る。機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せと、抽出されたメタデータとの対話型可視化グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）が、ランキングに従って、生成され得る。

本発明の効果が容易に理解されるように、簡潔に上述された本発明に関するより具体的な説明が、添付の図面に図解されている特定の実施形態を参照することにより、行われる。これらの図面は本発明の単なる典型的な実施形態を図示するものであり、したがって、その範囲を限定するものと考えるべきではないということを理解しながら、本発明が、以下の添付の図面を用いることを通じて、追加的な特定および詳細と共に、叙述および説明される。

本発明の一実施形態による例示的なクラウド・コンピューティング・ノードを示すブロック図である。 本発明の一実施形態による例示的なクラウド・コンピューティング環境を示す追加的なブロック図である。 本発明の一実施形態による抽象化モデル層を示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、様々な実装のための自動化された機械学習の放射型可視化を示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、様々な実装のための自動化された機械学習の放射型可視化を示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、自動化された機械学習の放射型可視化の様々なビューを示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、自動化された機械学習の放射型可視化の様々なビューを示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、自動化された機械学習の放射型可視化の様々なビューを示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、自動化された機械学習の放射型可視化の様々なビューを示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、自動化された機械学習の放射型可視化の様々なビューを示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、自動化された機械学習の放射型可視化の様々なビューを示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、自動化された機械学習の放射型可視化の様々なビューを示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、自動化された機械学習の放射型可視化の様々なビューを示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、自動化された機械学習の放射型可視化の様々なビューを示す追加的なブロック図である。 本発明の諸態様による機械学習モデルを用いたグラフィカル・ユーザ・インターフェースとして、自動化された機械学習の放射型可視化の様々なビューを示す追加的なブロック図である。 本発明の様々な態様がやはり実現され得る、自動化された機械学習可視化を提供するための例示的な方法を示すフローチャート図である。

機械学習は、特定のデータセットに関する一般化を進展させ、例えば新たなデータを分類することによって関連する問題を解決するようにその一般化を用いるために、コンピュータ・システムまたは専用の処理回路などの自動化された処理システム（「マシン」）を考慮する。マシンは、いったん入力または訓練データからの既知の性質から一般化を学習する（または、入力または訓練データからの既知の性質を用いて訓練される）と、未知の性質を予測するために、その一般化を将来のデータに適用することができる。

ある態様では、自動化された人工知能（「ＡＩ」）／機械学習システム（「ＡｕｔｏＡＩシステム」）は、複数（例えば、数百）の機械学習モデル・パイプラインを生成し得る。ＡｕｔｏＡＩツールは、ＭＬモデルを出力し得るのであって、例えばドロップダウン・リストなどのリーダーボードにおけるそれらのランキングは、単に、それらのエスティメータおよびパラメータを示すのみである。しかし、情報のそのような限定された詳細および深度では、各機械学習モデル構造またはそのような機械学習モデル・パイプラインがどのようにして作成されたのかを実際に示すことはない。そのような機械学習モデル・パイプラインが多数あるときには、ユーザは、これらの構造の組成、構成、ならびに全体的なアーキテクチャの設計／発展およびパフォーマンスを適切に評価することができない（例えば、ユーザは、それらの構造およびパフォーマンスを簡潔な様態で追跡することができない）。

したがって、本発明の様々な実施形態は、自動化された機械学習の放射型可視化を、グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）として提供する。機械学習（「ＭＬ」）タスクと、トランスフォーマと、エスティメータとが、１つまたは複数の機械学習組成モジュールの中に、受け取られ得る。１つまたは複数の機械学習組成モジュールは、１つまたは複数の機械学習モデルを生成する。機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せが、対応するメタデータと共に、１つまたは複数の機械学習組成モジュールを用いて、生成され得る。メタデータが、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せから抽出され得る。抽出されたメタデータと、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはその組合せとは、メタデータ・ランキング基準とパイプライン・ランキング基準とに従って、ランク付けされ得る。機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せと、抽出されたメタデータとの対話型可視化グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）が、ランキングに従って、生成され得る。

ある追加的な態様では、機械学習モデルと、ＭＬタスクと、選択されたデータ・トランスフォーマと、選択されたデータ・エスティメータとが、１つまたは複数のＭＬ組成モジュールの中に入力され得る。ＭＬモデル・パイプライン、複数のＭＬモデル・パイプラインのアンサンブル、またはそれらの組合せが、対応するメタデータと共に、１つまたは複数のＭＬ組成モジュールから生成され得る。メタデータは、ＭＬモデル・パイプライン、複数のＭＬモデル・パイプラインのアンサンブル、またはそれらの組合せから抽出され得る。ＭＬモデル・パイプライン、複数のＭＬモデル・パイプラインのアンサンブル、またはそれらの組合せと、（例えば、データ、エスティメータ、トランスフォーマ、組成モジュールなどの）それらの関連するメタデータ・コンポーネントとは、メタデータと、モデル・パイプラインおよびメタデータ・ランキング基準とに従って、ランク付けされ得る。ＭＬモデル・パイプライン、複数のＭＬモデル・パイプラインのアンサンブル、またはそれらの組合せの対話型可視化グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）が、ランキングに従って、生成され得る。

ある追加的な態様では、ＭＬタスクと、トランスフォーマと、エスティメータとが、１つまたは複数の機械学習組成モジュールの中に、（入力データとして）受け取られ得る。１つまたは複数の機械学習組成モジュールは、１つまたは複数の機械学習モデルを生成する。機械学習モデル・パイプラインは、トランスフォーマとエスティメータとのシーケンスであり、機械学習モデル・パイプラインのアンサンブル（例えば、データ・トランスフォーマの後にエスティメータ・アルゴリズムが続くシーケンスとしての機械学習モデル・パイプライン）は、機械学習モデル・パイプラインのアンサンブルである。機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せは、対応するメタデータと共に、１つまたは複数の機械学習組成モジュールを用いて、生成され得る。メタデータは、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せから抽出され得る。機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せと、抽出されたメタデータとの対話型可視化グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）が、生成され得る。

ある態様では、本発明は、機械学習モデルの生成と可視化とを提供する。各機械学習モデルは、パイプラインとして、または複数のパイプラインのアンサンブルとして、実装され得る。いずれかの訓練動作の後で、機械学習モデル・パイプラインは、テスト・データを受け取り、そのテスト・データを一連のデータ変換（例えば、前処理、データ・クリーニング、特徴量エンジニアリング（feature engineering）、数学的変換、その他）を通過させることができ、テスト・データに対する予測を生じさせるために、エスティメータのエスティメータ動作（例えば、ロジスティック回帰、勾配ブースティング木（Gradient Boosting Trees）、など）を用い得る。

本開示は、クラウド・コンピューティングに関する詳細な説明を含むが、本明細書に記載されている教示の実装は、クラウド・コンピューティング環境に限定されない、ということが予め理解されるべきである。むしろ、本発明の実施形態は、現時点で知られているまたは後に開発される他のいずれかのタイプのコンピューティング環境と共に、実装されることが可能である。

クラウド・コンピューティングは、最小限の管理上の労力またはサービス・プロバイダとの最小限の対話で、迅速にプロビジョニングおよびリリースされることが可能である構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有されるプールへの便利でオンデマンドのネットワーク・アクセスを可能にするためのサービス・デリバリのモデルである。このクラウド・モデルは、少なくとも５つの特徴と、少なくとも３つのサービス・モデルと、少なくとも４つの展開モデルとを含み得る。

特徴は、以下の通りである。
オンデマンド・セルフ・サービス：クラウド・コンシューマは、サービスのプロバイダとの人間同士の対話を要求することなく、必要に応じて自動的な、サーバ時間およびネットワーク・ストレージなどのコンピューティング能力の一方的なプロビジョニングが可能である。
ブロード・ネットワーク・アクセス：能力は、ネットワーク上で利用可能であり、異種のシンまたはシック・クライアント・プラットフォーム（例えば、モバイル電話、ラップトップ、およびＰＤＡ）による使用を促進する標準的な機構を通じて、アクセスされる。
リソース・プーリング：プロバイダのコンピューティング・リソースは、マルチテナント・モデルを用い、需要に応じて動的に割り当てられ再度割り当てられる異なる物理および仮想リソースにより、複数のコンシューマに対して役立つように、プールされる。コンシューマは提供されるリソースの厳密な位置を一般的にまったく管理せず、それに関する知識も有さないが、抽象度のより高いレベルでは位置（例えば、国、州、またはデータセンタ）を特定し得るという点で、位置の独立性という感覚が存在する。
急速な弾力性：能力は、迅速にスケールアウトし、かつ迅速にスケールインするように急速にリリースされるように、急速かつ弾力的に、そしていくつかの場合には自動的に、プロビジョニングされることが可能である。コンシューマにとっては、プロビジョニングのために利用可能な能力は、しばしば、無制限に見えるのであって、任意の量が任意の時点で購入されることが可能である。
測定されるサービス：クラウド・システムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、およびアクティブ・ユーザ・アカウント）に適切な抽象性の何らかのレベルにおける測定能力を活用することにより、リソースの使用を自動的に制御し最適化する。リソースの使用が、監視され、制御され、報告されることにより、利用されるサービスのプロバイダとコンシューマとの両方に対して透明性を提供することが可能である。

サービス・モデルは、以下の通りである。
ソフトウェア・アズ・ア・サービス（ＳａａＳ）：コンシューマに提供される能力は、クラウド・インフラストラクチャ上で実行されるプロバイダのアプリケーションを用いることである。アプリケーションは、ウェブ・ブラウザなどのシン・クライアント・インターフェースを通じて、様々なクライアント・デバイスからのアクセスが可能である（例えば、ウェブ・ベースの電子メール）。コンシューマは、限られたユーザ特有のアプリケーションの構成設定は例外となる可能性があるが、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または個々のアプリケーション能力さえも含め、基礎となるクラウド・インフラストラクチャを管理することも、制御することもない。
プラットフォーム・アズ・ア・サービス（ＰａａＳ）：コンシューマに提供される能力は、プロバイダによってサポートされるプログラミング言語およびツールを用いて作成されておりコンシューマによって作成または獲得されたアプリケーションを、クラウド・インフラストラクチャ上で展開することである。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含めて、基礎となるクラウド・インフラストラクチャを管理も制御もしないのであるが、展開されるアプリケーションと、場合によってはアプリケーションをホストする環境構成とに関する制御を行う。
インフラストラクチャ・アズ・ア・サービス（ＩａａＳ）：コンシューマに提供される能力は、コンシューマがオペレーティング・システムとアプリケーションとを含むことがあり得る任意のソフトウェアを展開して実行することができる場合に、処理、ストレージ、ネットワーク、およびその他の基本的コンピューティング・リソースをプロビジョニングすることである。コンシューマは、基礎となるクラウド・インフラストラクチャを管理も制御もしないが、オペレーティング・システム、ストレージ、展開されるアプリケーション、および場合によっては選択されたネットワーキング・コンポーネント（例えば、ホスト・ファイアウォール）の限定的な制御を行う。

展開モデルは、下記の通りである。
プライベート・クラウド：クラウド・インフラストラクチャは、ある組織のためだけに運用される。クラウド・インフラストラクチャは、その組織によりまたは第三者により管理され得るが、敷地内に存在する場合と、敷地外に存在する場合とがあり得る。
コミュニティ・クラウド：クラウド・インフラストラクチャは、いくつかの組織によって共有されており、共有されている関心（例えば、任務、セキュリティ要件、ポリシー、およびコンプライアンス上の考慮事項）を有する特定のコミュニティをサポートする。クラウド・インフラストラクチャは、それらの組織によりまたは第三者により管理され得るのであって、敷地内に存在する場合と、敷地外に存在する場合とがあり得る。
パブリック・クラウド：クラウド・インフラストラクチャは、一般公衆または大きな企業グループに利用可能であり、クラウド・サービスを販売する組織によって所有されている。
ハイブリッド・クラウド：クラウド・インフラストラクチャは、固有のエンティティのままであるが、データおよびアプリケーション移植性（例えば、複数のクラウド間で負荷を均衡させるためのクラウド・バースティング）を可能にする標準化されたまたは専有の技術によって相互に統合された２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の結合である。

クラウド・コンピューティング環境は、サービス指向的であり、ステートレスであること、低結合、モジュール性、および意味相互運用性に焦点を有する。クラウド・コンピューティングの中核には、相互接続されたノードのネットワークを含むインフラストラクチャがある。

次に図１を参照すると、クラウド・コンピューティング・ノードの一例の概略図が示されている。クラウド・コンピューティング・ノード１０は適切なクラウド・コンピューティング・ノードの一例に過ぎず、本明細書で説明されている本発明の実施形態の使用または機能の範囲に関し、いかなる限定を示唆することも意図されていない。とは言うものの、クラウド・コンピューティング・ノード１０は、以上で記載されたいかなる機能であっても、実装または実行すること、あるいはその両方が可能である。

クラウド・コンピューティング・ノード１０には、コンピュータ・システム／サーバ１２が存在し、コンピュータ・システム／サーバ１２は、他の多数の汎用または専用コンピューティング・システム環境または構成と共に、動作可能である。コンピュータ・システム／サーバ１２と共に用いるのに適することがあり得る、よく知られたコンピューティング・システム、環境、もしくは構成、またはこれらの組合せの例には、これらに限定されることはないが、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、セット・トップ・ボックス、プログラム可能なコンシューマ電子機器、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、および上記のいずれかのシステムまたはデバイスを含む分散クラウド・コンピューティング環境などが、含まれる。

コンピュータ・システム／サーバ１２は、コンピュータ・システムによって実行されているプログラム・モジュールなど、コンピュータ・システム実行可能命令の一般的な文脈で説明され得る。一般に、プログラム・モジュールは、特定のタスクを実行する、または特定の抽象データ・タイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、およびデータ構造などを含み得る。コンピュータ・システム／サーバ１２は、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散クラウド・コンピューティング環境において、使用され得る。分散クラウド・コンピューティング環境では、プログラム・モジュールは、メモリ・ストレージ・デバイスを含めて、ローカル・コンピュータ・システム・ストレージ媒体と遠隔コンピュータ・システム・ストレージ媒体との両方に、配置され得る。

図１に示されている通り、クラウド・コンピューティング・ノード１０におけるコンピュータ・システム／サーバ１２は、汎用コンピューティング・デバイスの形態で示されている。コンピュータ・システム／サーバ１２のコンポーネントは、ただしこれらに限定はされることはないが、１つまたは複数のプロセッサまたは処理ユニット１６、システム・メモリ２８、およびバス１８を含み得るのであって、バス１８は、システム・メモリ２８を含む様々なシステムのコンポーネントをプロセッサ１６に結合する。

バス１８は、メモリ・バスまたはメモリ・コントローラ、周辺バス、加速グラフィクス・ポート、およびプロセッサ・バスまたはローカル・バスを含む、様々なバス・アーキテクチャを用いたいくつかのタイプのバス構造のうちのいずれかの１つまたは複数のバス構造を表している。例として、このようなアーキテクチャには、これらに限定されることはないが、インダストリ・スタンダード・アーキテクチャ（ＩＳＡ）・バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ）・バス、エンハンストＩＳＡ（ＥＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（ＶＥＳＡ）・ローカル・バス、およびペリフェラル・コンポーネント・インターコネクツ（ＰＣＩ）・バスが含まれる。

コンピュータ・システム／サーバ１２は、典型的には、様々なコンピュータ・システム可読媒体を含む。このような媒体は、コンピュータ・システム／サーバ１２によってアクセス可能ないずれかの利用可能な媒体であり得るのであって、揮発性媒体と不揮発性媒体との両方、取り外し可能な媒体と取り外し不可能な媒体との両方を含む。

システム・メモリ２８は、ランダム・アクセス・メモリ（ＲＡＭ）３０またはキャッシュ・メモリ３２あるいはその両方など、揮発性メモリの形態のコンピュータ・システム可読媒体を含み得る。コンピュータ・システム／サーバ１２はさらに、他の取り外し可能／取り外し不可能で揮発性／不揮発性のコンピュータ・システム・ストレージ媒体を含むことがあり得る。単なる例として、ストレージ・システム３４は、取り外し不可能で不揮発性の磁気媒体（図示されておらず、典型的には「ハード・ドライブ」と呼ばれる）からの読み取り用、および取り外し不可能で不揮発性の磁気媒体への書込み用として提供されることがあり得る。図示されてはいないが、取り外し可能で不揮発性の磁気ディスク（例えば「フロッピー（Ｒ）・ディスク」）からの読み取り用および取り外し可能で不揮発性の磁気ディスクへの書込み用の磁気ディスク・ドライブと、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の光学式媒体など、取り外し可能で不揮発性の光ディスクからの読み取り用および取り外し可能な不揮発性の光ディスクへの書込み用の光ディスク・ドライブとが、提供され得る。そのような場合には、それぞれが、１つまたは複数のデータ媒体インターフェースによってバス１８に接続されることが可能である。以下でさらに示し、説明されるように、システム・メモリ２８は、本発明の実施形態の機能を実行するように構成されている一組の（例えば、少なくとも１つの）プログラム・モジュールを有する少なくとも１つのプログラム製品を含むことがあり得る。

一組の（少なくとも１つの）プログラム・モジュール４２、例えば、これらに限定されないが、オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データなどを有するプログラム／ユーティリティ４０が、システム・メモリ２８に記憶されることがあり得る。オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データ、またはこれらの何らかの組合せは、それぞれが、ネットワーキング環境のある実装を含み得る。プログラム・モジュール４２は、一般に、本明細書に説明されている本発明の実施形態の機能または方法もしくはその両方を実行する。

コンピュータ・システム／サーバ１２は、また、キーボード、ポインティング・デバイス、ディスプレイ２４など１つもしくは複数の外部デバイス１４、ユーザがコンピュータ・システム／サーバ１２と対話することを可能にする１つもしくは複数のデバイス、もしくはコンピュータ・システム／サーバ１２が１つもしくは複数の他のコンピューティング・デバイスと通信することを可能にする任意のデバイス（例えばネットワーク・カード、モデムなど）、またはこれらの組合せなどと、通信し得る。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して、実行されることが可能である。さらに、コンピュータ・システム／サーバ１２は、ネットワーク・アダプタ２０を介して、ローカル・エリア・ネットワーク（ＬＡＮ）、一般的なワイド・エリア・ネットワーク（ＷＡＮ）、または公衆ネットワーク（例えばインターネット）、もしくはこれらの組合せなど、１つまたは複数のネットワークと通信することができる。図示されているように、ネットワーク・アダプタ２０は、バス１８を介してコンピュータ・システム／サーバ１２の残りのコンポーネントと通信する。図示されていないが、他のハードウェア・コンポーネントまたはソフトウェア・コンポーネントあるいはその両方を、コンピュータ・システム／サーバ１２と共に用いることができる、ということを理解すべきである。例としては、これらに限定はされないが、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイバル・ストレージ・システムなどが含まれる。

次に図２を参照すると、例示的なクラウド・コンピューティング環境５０が示されている。示されている通り、クラウド・コンピューティング環境５０は、１つまたは複数のクラウド・コンピューティング・ノード１０を含んでおり、これらのノードにより、クラウド・コンシューマによって用いられるローカル・コンピューティング・デバイスである、例えば、パーソナル・デジタル・アシスタント（ＰＤＡ）もしくはセルラ電話５４Ａ、デスクトップ・コンピュータ５４Ｂ、ラップトップ・コンピュータ５４Ｃ、または自動車コンピュータ・システム５４Ｎ、あるいはこれらの組合せと通信することができる。ノード１０は、相互にも、通信することができる。それらのノードは、以上で説明したようなプライベート、コミュニティ、パブリック、もしくはハイブリッド・クラウド、またはこれらの組合せなど（図示せず）の１つあるいは複数のネットワークとして、物理的にまたは仮想的に、グループ分けすることができる。これによって、クラウド・コンピューティング環境５０は、インフラストラクチャ、プラットフォーム、またはソフトウェア、あるいはこれらの組合せをサービスとして提供することができるのであるが、そのために、クラウド・コンシューマは、ローカル・コンピューティング・デバイスにおいては、リソースを維持する必要がない。図２に示されているタイプのコンピューティング・デバイス５４Ａ～Ｎは単なる例示であることが意図されていること、そして、コンピューティング・ノード１０およびクラウド・コンピューティング環境５０は、任意のタイプのネットワーク上またはアドレス指定可能なネットワーク接続上あるいはその両方で（例えばウェブ・ブラウザを用いて）、コンピュータ化された任意のタイプのデバイスと通信可能であるということ、を理解されたい。

次に図３を参照すると、クラウド・コンピューティング環境５０（図２）によって提供される一組の機能抽象化層が示されている。図３に示されているコンポーネント、層、および機能は単に例示的であることが意図されており、本発明の実施形態はそれらに限定されないということが予め理解されるべきである。図示の通り、以下の層および対応する機能が提供される。

デバイス層５５は、物理または仮想あるいはその両方のデバイスを含んでいるが、このデバイスには、クラウド・コンピューティング環境５０において様々なタスクを実行するために、内蔵またはスタンドアロンあるいはその両方の形態で、電子機器、センサ、アクチュエータ、およびそれ以外のオブジェクトが備わっている。デバイス層５５におけるデバイスは、それぞれが、これらのデバイスから得られた情報が他の機能抽象化層に提供され得るまたは他の機能抽象化層からの情報がこれらのデバイスに提供され得るあるいはその両方が可能であるように、他の機能抽象化層へのネットワーキング能力を組み入れている。ある実施形態では、デバイス層５５を含め、様々なデバイスが、「モノのインターネット」（ＩｏＴ）として集合的に知られているエンティティのネットワークを組み入れている場合があり得る。エンティティのそのようなネットワークは、当業者であれば理解するように、データの相互通信、収集、および配布を可能にし、非常に広範囲の目的を達成する。

図示されているデバイス層５５は、示されているように、センサ５２、アクチュエータ５３、一体型の処理、センサおよびネットワーク用電子機器を有する「学習」サーモスタット５６、カメラ５７、制御可能な家庭用コンセント／ソケット５８、ならびに制御可能な電気スイッチ５９を含む。他の可能性があるデバイスとしては、ただし、これらに限定されることはないが、様々な追加的なセンサ・デバイス、ネットワーク用デバイス、（リモコン・デバイスなどの）電子デバイス、追加的なアクチュエータ・デバイス、冷蔵庫または食洗機／乾燥機などのいわゆる「スマート」家電、および多様なそれ以外に可能性のある相互接続されたオブジェクトが含まれ得る。

ハードウェアおよびソフトウェア層６０は、ハードウェア・コンポーネントと、ソフトウェア・コンポーネントとを含む。ハードウェア・コンポーネントの例は、メインフレーム６１、ＲＩＳＣ（縮小命令セット・コンピュータ）アーキテクチャ・ベースのサーバ６２、サーバ６３、ブレード・サーバ６４、ストレージ・デバイス６５、ならびにネットワークおよびネットワーキング・コンポーネント６６を含む。いくつかの実施形態では、ソフトウェア・コンポーネントが、ネットワーク・アプリケーション・サーバ・ソフトウェア６７と、データベース・ソフトウェア６８とを含む。

仮想化層７０は、抽象化層を提供しており、この層から、仮想サーバ７１、仮想ストレージ７２、仮想プライベート・ネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティング・システム７４、ならびに仮想クライアント７５など、仮想的なエンティティの例が提供され得る。

ある例では、管理層８０が、以下に説明される機能を提供し得る。リソース・プロビジョニング８１は、クラウド・コンピューティング環境の内部でタスクを実行するのに用いられるコンピューティング・リソースとその他のリソースとの動的な調達を提供する。計量および価格設定８２は、クラウド・コンピューティング環境の内部でリソースが利用される際の費用追跡と、これらのリソースの消費に対する課金または請求とを提供する。ある例では、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含み得る。セキュリティは、クラウド・コンシューマとタスクとの識別子の確認を提供し、また、データとそれ以外のリソースとに対する保護も提供する。ユーザ・ポータル８３は、コンシューマとシステム管理者とのために、クラウド・コンピューティング環境へのアクセスを提供する。サービス・レベル管理８４は、要求されるサービス・レベルが達成されるように、クラウド・コンピューティング・リソースの分配と管理とを提供する。サービス・レベル合意（ＳＬＡ）の計画および履行８５は、ＳＬＡに従い将来必要になると予想されるクラウド・コンピューティング・リソースの事前調整および調達を提供する。

ワークロード層９０は、クラウド・コンピューティング環境を利用することができる機能の例を提供する。この層から提供され得るワークロードおよび機能の例は、マッピングおよびナビゲーション９１と、ソフトウェア開発およびライフサイクル管理９２と、仮想教室教育の配信９３と、データ・アナリティクスの処理９４と、トランザクション処理９５と、本発明の図解されている実施形態の文脈では、放射型の自動化された機械学習可視化を提供するための様々なワークロードおよび機能９６とを含む。さらに、放射型の自動化された機械学習可視化を提供するためのワークロードおよび機能９６は、データ・アナリティクス、データ解析、および、後でさらに説明されるように、告知機能などの動作を含み得る。放射型の自動化された機械学習可視化を提供するためのワークロードおよび機能９６は、本発明の図解されている実施形態の様々な目的を達成するために、ハードウェアおよびソフトウェア６０、仮想化７０、管理８０、および（例えば、データ・アナリティクス処理９４などの）それ以外のワークロード９０におけるものなど、様々な抽象化層の他の部分と共に、動作し得るということは当業者であれば理解するだろう。

既に述べたように、本発明は、自動化された機械学習バックエンドおよびフロントエンド・システムと関連／通信するＧＵＩとして、ＧＵＩにおける放射型の自動化された機械学習可視化を提供する。自動化された機械学習バックエンド・システムは、１つまたは複数の機械学習モデルと、１つまたは複数の機械学習タスクと、１つまたは複数の選択されたデータ・トランスフォーマと、１つまたは複数の選択されたデータ・エスティメータとを、１つまたは複数の機械学習組成構造の中に受け取るまたは組み入れるあるいはその両方を行うことができる。

ある追加的な態様では、本発明は、機械学習モデルおよびパイプラインの組成、メークアップ、ならびに全体的なアーキテクチャ設計／開発およびパフォーマンスを図解するために自動化された機械学習の放射型可視化を提供する。ある態様では、１つまたは複数の機械学習タスクと、候補となるデータ・トランスフォーマと、エスティメータとが、（例えば、ＡｕｔｏＡＩシステムなどのコンピューティング・システムのバックエンドにおける）自動機械学習システムへの入力として受け取られ得る。機械学習タスクは、それぞれが、訓練データセットと、最適化メトリックと、ラベルと、それ以外の定義されたタスクとを含み得る。

機械学習モデル（および、それらの組成、メークアップ、アーキテクチャ、パフォーマンス、訓練データ、データ・トランスフォーマまたはデータ・エスティメータあるいはこれらの組合せ）は、１つまたは複数の機械学習組成コンポーネントの中に組み合わせられ得る。データ・トランスフォーマおよびエスティメータを含み得る機械学習組成構造のコンポーネントから構成される１つまたは複数の機械学習モデル・パイプラインは、それらのメタデータと共に、コンピューティング・システムのバックエンドから生成され得る。

１つまたは複数の機械学習モデル・パイプライン（例えば、１つまたは複数の機械学習モデルおよびメタデータ）が、自動機械学習システム（例えば、ＡｕｔｏＡＩバックエンド）から、コンピューティング・システム（例えば、自動機械学習システムのフロントエンド）によって、受け取られ得る。例えば、データ分割データ（例えば、適用可能な場合の訓練／ホールドアウト）、例えばデータ・トランスフォーマおよびデータ・エスティメータ（例えば、トランスフォーマとエスティメータとのパイプラインのシーケンス）などの機械学習モデル構造ならびにパラメータ、訓練／ホールドアウト・メトリックに関するデータ・スコア、および来歴データ（provenance data）（例えば、組成アルゴリズム・モジュールまたは「機械学習組成構造」のシーケンス）あるいはこれらの組合せなどの機械学習モデルのメタデータは、除外され得る。機械学習モデル・パイプラインのランキングが、メタデータ、ランキング基準または様々なメトリックあるいはこれらの組合せに基づいて、決定され得る。各メトリックに対して、最小値／最大値が決定され得る。メトリックは自動機械学習システム（例えば、ＡｕｔｏＡＩシステム）に入力されるＭＬタスクの一部であり、どのモデルが生成されるのかに基づく、ということが留意されるべきである。例であるメトリックは、例えば、正確性、精度、ＲＯＣ／ＡＵＣ、二乗平均平方根誤差（root-mean-squared-error）、（分類問題に対する）ｆ１スコアその他、または回帰問題に対する他のものあるいはこれらの組合せを含み得る。ある態様では、ＭＬタスクは、これらのメトリックと１つまたは複数の（結果的なパイプラインを評価するのに用いられる）評価メトリックとに基づき、最適化されたモデル・パイプラインを作成するのに用いられ得る少なくとも１つの最適化メトリックを有する。例えば正確性など算術的値を有するメトリックも、最小値および最大値を有し得る。本発明は、パイプライン・リング上でソートされたパイプライン・ノードを示し、またこれらのメトリックの注釈も示す、最小のおよび最大のメトリック値を決定／計算する。例えば、正確性メトリックがランキングのために選択される場合には、パイプライン・リングは、最小値および最大値を示し、次に、パイプライン・ノードが、それらの正確性スコアに基づいて、リング上に配置される。

抽出されたまたは分解されたあるいはその両方の機械学習モデル・メタデータは、複数の同心リングを含み得る対話型の放射型ユーザ・インターフェース（「ＵＩ」）に提供され（例えば、配置され）得る。例えば、同心リングは、１）モデルの訓練に用いられたデータ・フォールドを示す１つまたは複数のデータ・リングと、２）すべての利用可能なエスティメータを含む１つまたは複数のエスティメータ・リング、すべての利用可能なトランスフォーマを含むトランスフォーマ・リングと、３）機械学習組成モジュール（例えば、組成アルゴリズム・モジュール）を含む１つまたは複数の来歴リングとを含み得る。ある態様では、機械学習組成モジュールは、ＭＬタスク（データセット、メトリック、ターゲットなど）とトランスフォーマおよびエスティメータと機械学習モデル・パイプラインの出力とを入力として受け取るアルゴリズム／動作を、実行／走らせ得る。

ある態様では、機械学習組成モジュールの例は、ただしこれらに限定されることはないが、１）生のデータを数値フォーマットに変換する前処理／データ・クリーニング、２）あるデータセットが与えられた場合に、あるパイプラインに対する最適なハイパーパラメータを識別する／発見するためのハイパーパラメータ最適化（ＨＰＯ）、３）与えられたデータセットに対して、与えられた１組の機械学習モデル・パイプラインを選択してランク付けするためのモデル選択、４）データ変換を行い、データセットに新たな特徴を追加するまたはデータセットから新たな特徴を削除するための特徴量エンジニアリング、５）１組の機械学習モデル・パイプラインまたはデータセットあるいはその両方に基づき、アンサンブルを作成するためのアンサンブル化、６）与えられたＭＬタスク（例えば、訓練、ホールドアウト／テスト・データセット、最適化／評価メトリック、ターゲット変数など）、バックエンド・システムへのトランスフォーマおよびエスティメータの入力に基づく、自動モデル生成モジュール（例えば、既存のＡｕｔｏＡＩフレームワークを用いる、ブラック・ボックス自動モデル生成モジュール）、または７）人の駆動によるモデル生成モジュール（例えば、与えられた訓練データセット、バックエンド・システムへのトランスフォーマおよびエスティメータ入力に基づき、データを作成する人であるユーザによって駆動される）あるいはこれらの組合せを含む。

放射型ＵＩ（例えば、パイプライン・リング）における各機械学習モデル・パイプラインのノードは、エスティメータ・リング、トランスフォーマおよび組成リングにおけるそのエスティメータ、トランスフォーマおよび組成モジュールそれぞれに対応する。各データ・トランスフォーマは、機械学習モデル・パイプラインにおける一連の外観により、注釈を付され得る。

次に、図４Ａ～４Ｃを参照すると、図解されている実施形態の様々な機構に従う例示的な機能コンポーネント４００、４１５および４２５を示すブロック図が、示されている。ある態様では、図１～３に記載のコンポーネント、モジュール、サービス、アプリケーションまたは機能あるいはこれエッジ・ライト導光板の組合せのうちの１つまたは複数が、図４で用いられ得る。

図４Ａに図解されているように、機械学習モデル・パイプライン構造４００が示されている。ある態様では、機械学習モデル・パイプライン構造４００は、本発明の様々な態様に従い、様々な計算的な、データ処理のためのおよびそれ以外の機能を実行し得る。機械学習モデル・パイプライン構造４００は、図１のコンピュータ・システム／サーバ１２によって提供され得る。

当業者が理解するように、機械学習モデル・パイプライン構造４００における様々な機能ユニットは、機械学習モデル・パイプライン構造４００の内部に、あるいは、分散されたコンピューティング・コンポーネントの内部もしくはそれらの間にまたはその両方のどこにでも配置され得るから、これらの機能ユニットの図示は、例示の目的のものである。

例えば、機械学習モデル・パイプライン構造４００は、１つまたは複数の機械学習モデル４１０を含み得る。機械学習モデル４１０は、１つまたは複数のデータ変換４２０と１つまたは複数のエスティメータ４３０とを含み得る。動作においては、生のデータ４０２が、機械学習モデル４１０に提供され得るが、そこで、１つまたは複数の機械学習動作が、予測４０４を提供するために、データ変換４２０またはエスティメータ４３０あるいはその両方を用いて実行され得る。

次に、図４Ｂに移動すると、本発明は、バックエンド自動機械学習システム４４０と、フロントエンド自動機械学習システム４５０（例えば、フロントエンド／ＵＩサブシステム）とを提供する。ある態様では、バックエンド自動機械学習システム４４０またはフロントエンド自動機械学習システム４５０あるいはその両方は、図１のコンピュータ・システム／サーバ１２の内部または外部あるいはその両方にあり得る。

フロントエンド自動機械学習システム４５０は、メタデータ抽出モジュール４５２またはランキング・モジュール４５４あるいはその両方を含み得る。フロントエンド自動機械学習システム４５０は、また、対話型可視化ＧＵＩ４６０（例えば、対話型放射型可視化ＧＵＩ）と通信し得る。

ある態様では、バックエンド自動機械学習システム４４０は、図４Ａの１つまたは複数の機械学習モデル４１０を含み得るが、これは、本明細書では、以後、機械学習組成構造４１２Ａ～Ｎと称され得る。バックエンド自動機械学習システム４４０は、入力として、訓練データセット４１４と、候補となるデータ・トランスフォーマ４２０と候補となるエスティメータ４３０との組とを受け取り得る。

バックエンド自動機械学習システム４４０は、訓練データセット４２０と、データ・トランスフォーマ４２０の組（例えば、候補となるデータ・トランスフォーマまたは選択されたデータ・トランスフォーマあるいはその両方）と選択された／候補となるエスティメータ４３０（あるいは、１つもしくは複数の機械学習モデル４１０、もしくは１つもしくは複数の機械学習タスクまたはその両方）とを、例えば機械学習組成構造４１２Ａ～Ｎなどの１つまたは複数の機械学習組成構造の中に、組み入れ得る。ある態様では、機械学習組成構造４１２Ａ～Ｎは、１つまたは複数の機械学習モデルと、１つまたは複数の選択されたデータ・トランスフォーマ４２０と、１つまたは複数の候補となるエスティメータ４３０とを含み得る。

ある態様では、機械学習組成構造または例えば機械学習組成構造４１２Ａ～Ｎなどの組合せは、バックエンド自動機械学習システム４４０（例えば、バックエンド・サブシステム）によって出力された各モデル・パイプラインを生成するのに用いられ得る。ある態様では、機械学習組成構造４１２Ａ～Ｎの例は、例えば、１）生のデータを数値フォーマットに変換する前処理／データ・クリーニング、２）あるデータセットが与えられた場合に、あるパイプラインに対する１つまたは複数の最適なハイパーパラメータを突き止め、発見し、識別するハイパーパラメータ最適化（ＨＰＯ）、３）与えられたＭＬタスク（訓練データ、ホールドアウト／テスト・データセット、メトリック、ターゲット変数など）に対する与えられた１組の機械学習モデル・パイプラインをランク付けする機械学習モデル選択、４）データ変換を行い、データセットに新たな特徴を追加するまたはデータセットから新たな特徴を削除するための特徴量エンジニアリング、５）１組のパイプラインまたはデータセットあるいはその両方に基づき、アンサンブル（例えば、機械学習モデル・パイプラインのアンサンブル）を作成するためのアンサンブル化、６）バックエンド自動機械学習システム４４０に入力された与えられた訓練データセット４１４、トランスフォーマ４２０、およびエスティメータ４３０に基づくブラック・ボックス自動モデル生成モジュール（例えば、既存のＡｕｔｏＡＩフレームワークを用いる）、または７）１つまたは複数の人の駆動によるモデル生成モジュール（例えば、与えられた訓練データセット４１４、バックエンド自動機械学習システム４４０への与えられた訓練データ、トランスフォーマ４２０およびエスティメータ４３０の入力に基づき、データを作成するユーザによって駆動される）あるいはこれらの組合せなどの動作を含み得るまたは実行し得る、あるいはその両方を行い得る。

このように、バックエンド自動機械学習システム４４０は、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せを、１つまたは複数の機械学習組成構造からの対応するメタデータと共に、生成し得る。よって、バックエンド自動機械学習システム４４０は、機械学習モデルとその関連するメタデータ（これらに限定されることはないが、選択されたデータ・トランスフォーマ４２０、選択されたデータ・エスティメータ４３０に関するメタデータ、またはパフォーマンス／メトリック・メタデータあるいはこれらの組合せなどを含む）との組を出力し得るのであるが、関連するメタデータは、機械学習モデル・パイプラインまたは複数の機械学習モデル・パイプラインのアンサンブル、あるいはそれらの組合せに含まれ得る。それぞれの生成されたモデル・パイプラインの来歴メタデータ（provenance metadata）は、生成されたモデル・パイプラインまたは複数の生成されたモデル・パイプラインのアンサンブルあるいはその両方を作成するのに用いられた機械学習組成構造４１２Ａ～Ｎのリストまたはシーケンスであり得ることが留意されるべきである。本明細書で用いられている「来歴メタデータ」とは、機械学習モデル・パイプラインがどのようにして生成されたのかを記述するメタデータを指し得ることに留意されるべきである。例えば、機械学習モデル・パイプラインが「ＡＣＭＥ ＡｕｔｏＡＩ」と称される組成モジュールと関連する場合には、「ＡＣＭＥ ＡｕｔｏＡＩアルゴリズム」が、この機械学習モデル・パイプラインを見つけるのに用いられる。来歴とは、特定の機械学習モデル・パイプラインを作成するのにどのデータまたはどのＭＬタスクが用いられたかを指し得る。

ある態様では、フロントエンド自動機械学習システム４５０は、バックエンド自動機械学習システム４４０から、機械学習モデル・パイプラインまたは複数の機械学習モデル・パイプラインのアンサンブル（例えば、機械学習モデルまたは機械学習組成構造あるいはその両方４１２Ａ～Ｎ）あるいはその両方を、受け取り得る。フロントエンド自動機械学習システム４５０は、機械学習モデル・パイプラインまたは複数の機械学習モデル・パイプラインのアンサンブル（例えば、機械学習組成構造４１２Ａ～Ｎ）あるいはその両方から、関連するメタデータを抽出し得る。フロントエンド自動機械学習システム４５０は、機械学習モデル・パイプラインまたは複数の機械学習モデル・パイプラインのアンサンブル（例えば、機械学習モデルまたは機械学習組成構造４１２Ａ～Ｎ）あるいはその両方の１つまたは複数の対話型可視化ビューと、様々なランキング基準に基づいてユーザに呈示される関連するメタデータ特性とを、生成または作成あるいはその両方を行い得る。可視化ビューは、時間経過と共に新たなモデルが入力されると、動的に更新される。訓練の間または訓練の後に、ユーザは、広範囲なモデル・パイプラインの性質と訓練タスクとを手近に発見するために、この可視化と対話をすることができる。

ある態様では、メタデータ抽出モジュール４５２は、入来する機械学習モデル・パイプラインまたは複数の機械学習モデル・パイプラインのアンサンブル（単一のパイプラインもしくはパイプラインのアンサンブルであり得る）あるいはその両方から、メタデータを抽出し得る。

ある態様では、各機械学習モデル・パイプラインのメタデータは、ただしこれらに限定されることはないが、１）機械学習モデルにおいて用いられるそれらの関連するパラメータと共にデータ・トランスフォーマ４２０とエスティメータ４３０とを含む機械学習モデル構造、２）複数のメトリックのための訓練セット（例えば、適用可能な場合のホールドアウト・セット）に対するスコアを含み得るパフォーマンス・メタデータ（例えば、訓練の間に複数のメトリック（例えば、ＲＯＣ＿ＡＵＣ、正確性、精度、リコール、ｆｌスコアなど）が存在する場合には、それぞれの生成された機械学習モデル・パイプラインの予測は、上述のメトリックに基づいて評価され（スコアが与えられ）得る。また、訓練およびパイプラインの生成に用いられない訓練セットまたはテスト／ホールドアウト・セットを有することも可能であり、それは、評価のためだけに用いられる）、３）例えば、混同行列（confusion matrix）、「ＲＯＣ（receiver operation characteristic）」曲線／「ＡＵＣ（area under the curve）」曲線、およびその他などのスコアリング・データに基づく１つまたは複数のグラフ、４）例えば、特定の機械学習モデル・パイプラインを生成するのに用いられた訓練データ４２０（またはその部分集合）などのデータ、５）来歴データ、６）特定の機械学習モデルを生成するのに用いられたバックエンド自動機械学習システム４４０の組成モジュール（および、もし存在する場合には、それらのパラメータ）を含む組成モジュール（例えば、機械学習組成構造４１２Ａ～Ｎ）、または７）データ作成時刻あるいはこれらの組合せを、含み得る。

ある代替的な態様では、複数の機械学習モデル・パイプラインの各アンサンブルのメタデータは、ただしこれらに限定されることはないが、１）機械学習モデル・パイプライン構造、２）例えば、複数の機械学習モデル・パイプラインがアンサンブルされた方法／様態を決定するパラメータなどのパラメータ、３）複数のメトリック（例えば、正確性、「ＲＯＣ」曲線／「ＡＵＣ」曲線など）に対する訓練セット（例えば、適用可能な場合のホールドアウト・セット）に対するスコアを含み得るパフォーマンス・メタデータ、４）混同行列、ＲＯＣ曲線／ＡＵＣ曲線などのスコアリング・データに基づく１つまたは複数のグラフ、５）例えば特定の機械学習モデル・パイプライン・アンサンブルを生成するのに用いられた訓練データ４２０（またはその部分集合）などのデータ、５）来歴データ、６）特定の機械学習モデルを生成するのに用いられたバックエンド自動機械学習システム４４０の組成モジュール（および、もし存在する場合には、それらのパラメータ）を含む組成モジュール（例えば、機械学習組成構造４１２Ａ～Ｎ）、または７）データ作成時刻あるいはこれらの組合せを、含み得る。

ある態様では、ランキング・モジュール４５４は、入力として、既存の機械学習モデル・パイプラインと入来する機械学習モデル・パイプラインとの抽出されたメタデータを受け取り得るのであって、モデル、トランスフォーマ、エスティメータまたは組成モジュールに対する異なるランキングを出力する。数値を有する各ランキングに対しては、最小および最大のランキング値も、計算される。

ランキング・モジュール４５４は、機械学習モデル・パイプラインまたは複数の機械学習モデル・パイプラインのアンサンブルあるいはその両方のそれぞれを、ランキング基準に従って、ランク付けすることができる。例えば、ある態様では、ランキング基準は、例えば、１）ランキングなし（例えば、任意）と、２）作成時刻（デフォルトであり得る）と、３）異なる機械学習メトリック（例えば、正確性、精度、ＲＯＣ／ＡＵＣ、二乗平均平方根誤差など）に対する訓練（交差検証）スコアと、４）（正確性、精度、ＲＯＣ／ＡＵＣ、二乗平均平方根誤差などの）異なる機械学習メトリックに対するホールドアウト（またはテスト）スコアと、を含み得る。

ある態様では、ランキング・モジュール４５４は、トランスフォーマ４２０と、データ・フォールド（例えば、訓練中には、データは、元のデータセットの部分集合であるデータ・フォールドに分割され得るのであって、データ・フォールドは、対話型ＧＵＩに表示され得る）と、エスティメータ４２０と、組成モジュール（例えば、機械学習組成構造４１２Ａ～Ｎ）とを、追加的なランキング基準に従って、ランク付けすることがあり得る。例えば、ある態様では、追加的なランキング基準は、例えば、１）ランキングなし（例えば、任意）、２）名称のアルファベット順（デフォルトであることがあり得る）、３）現在のパイプラインにおける使用頻度、４）可視化最適化基準、５）（データ・フォールドに対する）サイズまたは５）（それが用いられているパイプラインの）平均スコアあるいはこれらの組合せを含み得る。

自動化された機械学習フロントエンド・システム４５０は、また、ユーザ４８０が例えばユーザ入力４８２を提出することが可能なデフォルトのランキング基準を含む場合もあり、自動化された機械学習フロントエンド・システム４５０と対話することによって、ランキング基準を変更することもあり得る。ランキング基準の選択４６２のそれぞれの組合せが、ユーザ４８０に呈示される異なるランキング基準のビュー４５６を生じることもあり得る。

例えば、ランキング基準選択４６２、機械学習モデルのメタデータ、機械学習モデル、データ・エスティメータ４３０、データ・トランスフォーマ４２０、組成モジュール（例えば、機械学習組成構造４１２Ａ～Ｎ）などの与えられたランキング基準が、図４Ｃにも示されている１つまたは複数の同心リングを含み得る対話型可視化ＧＵＩ４６０の放射型ユーザ・インターフェース（「ＵＩ」）４７０（例えば、放射型のＵＩ可視化ビュー）に対するそれらのランキング基準に従って、それぞれ、配置され得る。

図４Ｃに図解されているように、放射型のＵＩ可視化４７０が、ユーザに呈示される。放射型ＵＩ可視化４７０のリングの順序は、アプリケーション、可視化の最適化またはユーザの好みに応じて、変動し得る。モデル・メタデータがいったん抽出される／生成されると、メタデータは、複数の同心リングを含む放射型ＵＩ可視化４７０上のノード（例えば、単なる例示であるが、各リングにおける円形のドット）として、配置される。放射型ＵＩ可視化４７０の同心リングは、例えば、１）すべての利用可能なモデル・パイプラインとパイプライン・アンサンブルとを含むパイプライン・リング４７５と、２）パイプラインを訓練するために用いられた訓練データ分割（および利用可能な場合にはホールドアウト・データ分割）を含むデータ・リング４７２と、３）すべての利用可能なエスティメータ（バックエンド訓練サブシステムに入力される）を含むエスティメータ・リング４７４と、４）すべての利用可能なトランスフォーマ（バックエンド訓練サブシステムに入力される）を含むトランスフォーマ・リング４７６と、５）すべての利用可能な組成モジュール／機械学習組成構造４１２Ａ～Ｎ（自動化された機械学習バックエンド・システム４４０の）を含む来歴リング４７８と、を含み得る。

放射型ＵＩ可視化４７０は、放射型リーダーボードを含み得る。すなわち、パイプラインは、異なるランキング基準（例えば、訓練スコア、ホールドアウト・スコア、作成時刻など）に基づいて、ソートされ得る。リング端部に示され得る各ランキング基準に対して、最小値と最大値とが決定され得る。また、パイプライン・メタデータ（例えば、機械学習モデル・パイプライン、機械学習モデル、データ・フォールド、エスティメータ、トランスフォーマ、組成モジュール／機械学習組成構造４１２Ａ～Ｎ）は、放射型ＵＩ可視化４７０のビューで用いられているそれらのランキング基準に従って、最小値から最大値までソートされ得る。現在のランキング基準に対する最小値と最大値とは、各リングの端部に示され得る。このようにして、ユーザ（例えば、ユーザ４８０）は、機械学習モデル・パイプラインと機械学習モデル・パイプラインのメタデータとが異なる基準に従ってどのようにランク付けされるのかを、簡潔な方法で、可視化することができる。放射型リーダーボードの代わりに、直線型のリーダーボード上に、ランク付けされたパイプラインとメタデータとを示すことも可能である。

追加的な態様では、放射型ＵＩ可視化４７０は、１つまたは複数のイベント（例えば、トリガ・イベント）が生じると、自動的に更新され得る。例えば、トリガ・イベントは、以下のうちの１つまたは複数を含み得る。

新たな機械学習モデル・パイプラインが自動化された機械学習フロントエンド・システム４５０に入力されると、トリガ・イベントが追加され得る。この場合、機械学習モデル・パイプラインは、パイプライン・リング４７５における新たなノードとして配置され得るのであって、ランキング基準に従い、識別子（「ＩＤ」）とオプションであるが値とによって、ラベル付けされ得る。追加的に、１つまたは複数の接続（例えば、単なる例示であるが、接続線）が、それらのそれぞれのリングにおけるメタデータ・ノード（例えば、トランスフォーマ、エスティメータ、データ・フォールド、組成モジュール）に図示される／示されることがあり得る。

トリガ・イベントは、訓練データが自動化された機械学習バックエンド・システム４４０に入力され、訓練／ホールドアウト・フォールドに分割され、データ・リングがデータ・フォールドを用いて更新されるときに、訓練プロセスの始点にあり得る。データ・フォールド統計が、放射型ビューに表示されることもあり得る。

モデル選択モジュールが存在し、自動化された機械学習バックエンド・システム４４０において実行され、エスティメータ・リングまたはパイプライン・リングあるいはその両方が、上位Ｋランクの機械学習モデル・パイプラインまたはエスティメータをリングに維持（もしくはハイライト）し残りを消去する（またはフェードアウトさせる）ことによって更新されることが可能であるときには、トリガ・イベントが存在し得る。

ＨＰＯ組成モジュールが存在し、自動化された機械学習バックエンド・システム４４０において実行され、対応するパイプラインとパイプライン・リングとがＨＰＯ最適化の層を示すためにその周囲に追加的な回転リングを示すときには、トリガ・イベントが存在し得る。

放射型ＵＩ可視化４７０は複数のリングの１つまたは複数を更新し得る、ということも、留意されるべきである。例えば、データ・リングは、新たな訓練データが自動化された機械学習バックエンド・システム４４０に入力されるときに、更新され得る。トランスフォーマ・リングは、新たなトランスフォーマが自動化された機械学習バックエンド・システム４４０に入力されるときに、更新され得る。エスティメータ・リングは、新たなエスティメータが自動化された機械学習バックエンド・システム４４０に入力されるときに、更新され得る。来歴リングは、新たな組成モジュールが（バックエンド）システムに追加されるときに、更新され得る。

追加的な態様では、放射型ＵＩ可視化４７０は、ユーザが１つまたは複数のイベントを実行するときに、自動的に更新され得る。例えば、ユーザ・イベント（例えば、ユーザが開始したトリガ・イベント）は、以下のうちの１つまたは複数を含み得る。

ある態様では、放射型ＵＩ可視化４７０は、ユーザがランキング基準を選択するときに、自動的に更新され得る。全体の放射型ＵＩ可視化４７０は、放射型ビューにおけるパイプラインとそれらのメタデータとを再度ソートすることによって、これらの基準を反映するように、更新される。

放射型ＵＩ可視化４７０は、ユーザが、パイプライン・リング４７５上のモデル・パイプライン・ノードを選択する、クリックする、またはその上に停止するときに、自動的に更新され得る。パイプライン・ノードは、放射型ＵＩ可視化４７０の現在のビューのパイプライン・ランキング基準に対応するその値（例えば、スコア、作成時刻など）を用いて、ラベル付けされ得る。それらのそれぞれのリングにおけるパイプライン・ノードからそのメタデータ・ノード（例えば、エスティメータ、トランスフォーマ、組成モジュールおよびデータ・フォールド）への接続が、特徴付けされる、図示されるまたはハイライトされるあるいはそれらの組合せが行われることがあり得る。追加的に、メタデータ・ノードは、この特定のパイプラインに対するそれらの場合のパラメータを用いてラベル付けされることがあり得る。このパイプラインに関するより詳細な情報が、ＲＯＣ／ＡＵＣ曲線（例えば、二値分類問題）、測定値と比較されて予測される散布図（scatterplot）（例えば、回帰問題）、問題のタイプに対するすべてのサポートされたメトリックに対するスコアなどを含めて、別のウィンドウまたはポップアップ・ウィンドウに示されることが可能である。

放射型ＵＩ可視化４７０は、ユーザが、例えばパイプライン・リング４７５におけるモデル・パイプライン・アンサンブル４７７などのモデル・パイプライン・アンサンブル・ノード４７７を選択する、クリックする、またはその上に停止するときに、自動的に更新され得る。モデル・パイプライン・アンサンブル・ノード４７７（例えば、それを含む１つまたは複数のパイプラインへの接続を有し得るパイプライン・アンサンブル・ノード）は、現在の放射型ＵＩ可視化４７０のビューのパイプライン・ランキング基準に対応するその値（スコア、基準、パラメータ、時刻など）を用いて、ラベル付けされ得る。ある態様では、メタデータ・ノードは、例えば、データ・リング、トランスフォーマ・リング、エスティメータ・リング、組成モジュール・リング（例えば、パイプラインまたはアンサンブルではないこのリングにおける実質的に任意のノード）などのメタデータ・リングにおけるノードである。すなわち、メタデータ・ノードは、パイプライン／アンサンブルではないノードである。例えば、メタデータ・ノードは、データ・フォールド（分割）、トランスフォーマ、エスティメータ、組成モジュールなどを含み得る。

パイプライン・リング４７５におけるパイプライン・ノードまたはモデル・パイプライン・アンサンブル・ノード４７７と関連するデータ・リング４７２におけるデータあるいはその両方は、それらのメタデータへのそれらの接続と共に、図解され、図示され、ハイライトされることがあり得る。それらのパイプラインとデータとの組合せ規則を特定し得るアンサンブル・パラメータが、提供され得る。

放射型ＵＩ可視化４７０は、ユーザが、それらの対応するリングにおけるメタデータ（例えば、エスティメータ、トランスフォーマ、組成モジュールまたはデータ・フォールド）（またはメタデータのグループ）を選択する、クリックする、またはその上に停止するときに、自動的に更新され得る。このメタデータ（またはメタデータのグループ）のすべての場合が、新たな一時リングにおいて示されており、メタデータに関するそれらの発生統計（回数、頻度、または比率）を用いてラベル付けされる。このメタデータ（またはそのグループ）が用いられているパイプライン・リングにおけるこのメタデータ・ノード（またはそのグループ）からすべてのモデルへの接続が、図解されることがあり得る。

メタデータ・ノードは、パイプライン・リングにおけるモデルへのその発生統計（例えば、回数、頻度、または比率）を用いて、ラベル付けされ得る。例えば、エスティメータ・リング４７４においてエスティメータが選択されると、１）このエスティメータ名のすべての場合を有する新たなリングが、示され得るのであって、それぞれが、それらの発生回数を用いてラベル付けされる。そのような場合をそれぞれ選択することは、その詳細なパラメータを示すことができ、２）このエスティメータが用いられているパイプライン・リングにおけるモデルへのすべての接続が示される、または３）エスティメータ・リング４７４におけるエスティメータ・ノードが、パイプライン・リング４７５におけるモデルの発生回数を用いてラベル付けされる、あるいはその両方があり得る。同じタイプの可視化更新は、トランスフォーマ、組成モジュール、およびデータ・フォールドなど、他のメタデータに対しても、成立する。

このように、放射型ＵＩ可視化４７０は、ユーザが、１）それに関する詳細を見るためにパイプラインを選択する（例えば、スコア、トランスフォーマ・パラメータ、エスティメータ・パラメータ（例えば、放射型ＵＩの選択された領域の上で停止するときの）、組成モジュールを見ることを可能にする）、２）それと関連するパイプラインを見るためにトランスフォーマを選択する、３）それと関連するパイプラインを見るためにエスティメータを選択する、４）それと関連するパイプラインを見るために、データ分割を選択する、または５）それと関連するパイプラインを見るために、組成モジュールを選択するあるいはこれらの組合せを行うときに、異なるメトリック・ビューの間で自動的に更新／スイッチングされ得る。

図４を考慮すると、図５Ａ～５Ｊは、機械学習モデルおよびパイプラインの構造を示すグラフィカル・ユーザ・インターフェースにおいて、様々な自動化された機械学習の放射型可視化コンポーネントの様々な放射型可視化ＧＵＩビュー５００、５１５、５２５、５３５、５４５、５５５、５６５、５７５、５８５および５９５をさらに示している。ある態様では、図１～４に記載のコンポーネント、モジュール、サービス、アプリケーションおよび／または機能のうちの１つまたは複数が、図５Ａ～５Ｊで用いられ得る。本明細書で説明されている他の実施形態（例えば、図１～４）で用いられている同様の要素の反復的な記載は、簡潔にする目的のために、割愛されている。

前処理
図５Ａに示されているように、前処理の動作は、放射型可視化ＧＵＩ５００のコア・ノード（図４Ｃの４７０も参照のこと）が、例えば、９０％の訓練データ、１０％のホールドアウト・データなどの訓練およびテストに用いられるデータのパーセンテージに対する「分割」の層を表すために、追加的なセグメントを用いてデータ・スプリットを表すために、異なる弧を用いる場合に、生じ得る。別言するならば、可視化（例えば、放射型ＵＩ可視化４７０）は、進行するにつれて、弧、層およびノードを次第に構築し、追加する。放射型可視化ＧＵＩ５００のコア・ノードは、データの異なる部分集合を表すのに、異なるリング（例えば、データ・リング４７４およびエスティメータ・リング４７４）を用い、追加的なセグメントは、訓練、ホールドアウトおよびテストの目的に用いられるデータのパーセンテージに対する「分割」の追加的な層を表している。

モデルの選択
図５Ｂ～５Ｃでは、モデルの選択動作が、実行され得る。例えば、機械学習モデルの選択は、機械学習モデルの選択フェーズが、データ・ソース・ノード（例えば、「Ｆｉｌｅ＿Ｎａｍｅ＿１．ＣＳＶ」）の周囲の弧によって表される場合に、実行され得る。ある態様では、ノードが弧に追加されることがあり、それぞれが、個別のエスティメータまたはそれらの関連するパイプラインを表す。例えば、あるノードをクリックすると、その特定のパイプライン（例えば、０．８４３というＲＯＣ／ＡＵＣスコアを有するパイプライン１）を生成するのにどのエスティメータが用いられたのかを示すために、機械学習モデル・パイプラインに内部エスティメータ・ノードを接続させ得る。すなわち、コア・ノード（図５Ａ～５Ｃまたは「Ｆｉｌｅ＿Ｎａｍｅ＿１．ＣＳＶ」）が、図５Ｃに図解されているように、その背後にあるノード（この場合は、エスティメータ）の次のレベルを収縮させ露わにし得る。リングの順序は相互に交換可能であることに、注意すべきである。例えば、「内側」は、図５Ｂ～５Ｃを参照して用いられ得るが、これらのリングは、一般的に、異なる順序を有し得る。

「候補となるエスティメータ」（例えば、ＧＵＩ５１７の上方にある小さな中空の円）は複数のエスティメータを表し得るということに注意すべきである。ＧＵＩ５１７は、あるエスティメータに対するユーザの対話（例えば、エスティメータ・ノードをクリックするまたはその上で停止する）を図解しており、例えば、エスティメータ・タイプ、エスティメータ名またはスコア０．７０１を有するＲＯＣ＿ＡＵＣあるいはこれらの組合せなど、詳細な情報を表示する。エスティメータのうちの１つまたは複数が選択された後で、ＧＵＩ５１９は、現時点ではそれらだけが表示されているエスティメータである、その選択されたエスティメータを示す。ＧＵＩ５１９は、選択されたエスティメータのうちの１つに対するユーザの対話（例えば、エスティメータ・ノードをクリックするまたはその上で停止する）を図解し、例えば、最高ランクのエスティメータ、エスティメータ名（例えば、決定木）、またはスコア０．８４２であるＲＯＣ＿ＡＵＣあるいはこれらの組合せなどの詳細情報を表示する。ユーザの設定、アプリケーションまたは製品に基づき、ＧＵＩ５１９は、エスティメータを選択的に表示する（または、表示しない）ことがあり得るということに留意すべきである。例えば、ある態様では、ＧＵＩ５１９は、すべての選択されたエスティメータを表示しながら、すべての選択されていないエスティメータを隠す。追加的な態様では、ＧＵＩ５１９は、すべての選択されていないエスティメータを表示するが、すべての選択されたエスティメータを、より顕著に表示する（例えば、ハイライトする、点滅させる、回転するリングを提供するなど）ことがあり得る。このように、対話型ＧＵＩ（例えば、放射型ＵＩ可視化４７０）は、ユーザの選好またはコンピューティング／媒体表示デバイスの技術的能力に従い、１つまたは複数のコンポーネント、特徴、リングまたはノードを、選択的に表示する、隠す、ハイライトする、または強調するもしくは強調しない場合があり得る。

これらのノードがプロセスにおいて用いられている際に、可視化動作は、選択されたノードの最高の番号が決定される（例えば、番号はユーザによって定義される）までずっと、最高のパフォーマンスを示すノード（例えば、ＲＯＣ／ＡＵＣが０．８３４および０．８３０など、図５Ａ～５Ｃのパイプライン１およびパイプライン２）を精密化し得る。最高パフォーマンスを示すノードの番号がいったん選択されると、別の層／弧が、前の弧の外部に追加され得る。新たなノードのタイプが、それが属するカテゴリ（例えば、エスティメータ）への接続を有する新たな弧の上に、追加され得る。

ハイパーパラメータの最適化
図５Ｄ～５Ｅに図解されているように、ハイパーパラメータの最適化動作が示されているが、個別のパイプライン・ノードの周囲のリングの個数は、そのパイプラインにおいて実行されているハイパーパラメータ最適化の層を、表す。スピンするリング（例えば、最適化動作などいくつかの基礎となる活動／動作を図解するための、リング上での回転運動）が、アクティブに最適化されつつあるパイプライン（例えば、０．８３０というＲＯＣ／ＡＵＣを有するパイプライン２）を表すのに、用いられる。新たなノード（例えば、パイプライン＃２）が、パラメータが修正／最適化されていることを示すためにスピンするリングが追加されている、前のノード（例えば、パイプライン１）の特性から、複製され得る。

特徴量エンジニアリング
図５Ｆに図解されているように、特徴量エンジニアリングが、提供され得るのであるが、例えば、トランスフォーマとパイプラインとの間の接続線が、特徴量エンジニアリングがそのパイプラインにおいて実行されたことを示す。パイプライン・ノード（例えば、パイプライン・ノード５４６）の上で停止する（例えば、マウスなどのＧＵＩ刺激を用いる）ことで、関連するトランスフォーマが表示され得るのであって、特徴がそのパイプラインに適用された順序を示す番号が用いられる。

単なる例示であるが、プロセスが実行されている際には、トランスフォーマとパイプラインとの間の接続線が、それらが機械学習モデル生成プロセスにおいて試みられた順序で、引かれ、マップされ、図示されまたはスケッチされあるいはこれらの組合せがなされ得る。ある態様では、新たなノード５４８が、前のノードから複製され、修正／最適化の追加的な層を表すために、ノード５４８の周囲に、第２のスピンするリングが追加され得る。

さらに、図５Ｆに図解されている追加的態様では、新たなノード５４８が、前のノードから複製され得るのであって、修正が適用されている順序で、内部の弧ノードと外部の弧ノードとの間に、接続が引かれる。これらの修正のための情報も、修正が適用された順序を特定するために、数値を提供し得る。この同じプロセスは、図５Ｇに示されているように、プロセスが完了しユーザが（いつでも）可視化要素と自由に対話することができるようになるまで、実行されているノードの最初の最高の番号に応じて、反復される。

さらに、図５Ｇでは、（完了する途中または完了した後のいずれかでの）１回または複数回のユーザの対話が示されている。ホールド・オフ・データセットと比較された訓練データのパーセンテージと共に、データセットが、半円または円全体のレイアウトのいずれかで、表され得る。例えば、いずれかの可視化ノードを選択するまたはその上で停止するなど、放射型ＵＩ可視化５６５の１つまたは複数の部分に関わることで、さらなる詳細に対する文脈的な情報を有するツールチップが表示される。停止することで、また、接続線で表されている、そのノードとのすべての直接的な関連が表示される。ノードの周囲のリングの個数は、最適化／修正の異なる層を表している。単なる例示であり、図解する目的のみであるのだが、訓練の間には、異なるエスティメータとトランスフォーマとが用いられたということに留意すべきである。

また、図５Ｈ～５Ｊに図解されているように、コアの外部にあるどのノードも、その上で停止することが可能であり、これは、関連するラベルと共に、すべての直接的に接続されたノードを示している。エスティメータとトランスフォーマとの間の連携を図解するために、それらの相互にリンクさせるパイプラインが実装され得る。例えば、可視化のコアを選択するまたはその上で停止するなど放射型ＵＩ可視化ビュー５７５、５８５の１つまたは複数の部分に関わることで、コア・ノードに関する追加的な詳細が提供される。第２のビュー（例えば、進行マップ５９４）の上で停止することで、可視化における対応する情報がハイライトされる。文字５９２の上で停止することで、その可視化において表されている対応するノード／弧のタイプがハイライトされる。また、可視化において、あるノードを選択する／クリックすると、ユーザは、その下にある対応するテーブル項目にスクロールされる。

図６は、自動化された機械学習可視化のための追加的な例示的方法を示す追加的なフローチャート図６００であり、この場合にも、やはり、本発明の様々な態様が、実現され得る。機能６００は、マシン上での命令として実行される方法として実装され得るが、少なくとも１つのコンピュータ可読媒体または１つの非一過性のマシン可読記憶媒体の上に命令が含まれている。機能６００は、ブロック６０２で開始し得る。

機械学習タスク、トランスフォーマおよびエスティメータが、ブロック６０４にあるように、１つまたは複数の機械学習組成モジュールの中に受け取られ得る。ある態様では、１つまたは複数の機械学習タスクを受け取ることは、訓練データ、ホールド・アウト・データ、テスト・データ、最適なメトリック、評価メトリック、ターゲット変数、１つまたは複数のトランスフォーマ、および１つまたは複数のエスティメータを、１つまたは複数の機械学習組成モジュールの中に受け取ることを含む。

１つまたは複数の機械学習組成モジュールは、ブロック６０６にあるように、１つまたは複数の機械学習モデルを生成する。機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せが、ブロック６０８にあるように、対応するメタデータと共に、１つまたは複数の機械学習組成モジュールを用いて、生成され得る。メタデータが、ブロック６１０にあるように、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せから、抽出され得る。抽出されたメタデータと、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せとは、ブロック６１２にあるように、メタデータ・ランキング基準とパイプライン・ランキング基準とに従って、ランク付けされ得る。機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せと抽出されたメタデータとの対話型可視化グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）が、ブロック６１４にあるように、ランキングに従って、生成され得る。機能６００は、ブロック６１６にあるように、終了し得る。

ある態様では、図６の少なくとも１つのブロックと共にまたはその一部としてあるいはその両方において、方法６００の動作は、以下のそれぞれを含み得る。方法６００の動作は、１つまたは複数の選択されたデータ・トランスフォーマと１つまたは複数の選択されたデータ・エスティメータとがどちらが１つまたは複数の機械学習組成構造に含まれていたのかに関するデータを含む機械学習モデル・パイプラインのためのメタデータと、１つまたは複数の機械学習モデルに関するパフォーマンス・データと、訓練データと、パラメータおよびメトリック・データと、１つまたは複数の機械学習組成構造の作成に関するデータとを定義し得る。方法６００の動作は、複数の機械学習モデル・パイプラインの組合せのどれがそこに含まれていたのかに関する構造データと、１つまたは複数の機械学習モデルに関するパフォーマンス・データおよび訓練データと、パラメータおよびメトリック・データとを含む複数の機械学習モデル・パイプラインのアンサンブルに対するメタデータを定義し得る。

ある態様では、方法６００の動作は、構造メタデータとパフォーマンス・メタデータと来歴メタデータとを含む機械学習モデル・パイプラインに対するメタデータを、定義し得る。機械学習モデル・パイプラインに対する構造メタデータは、関連するパラメータおよびハイパーパラメータと共に、機械学習モデル・パイプラインのデータ・トランスフォーマおよびエスティメータを含む。パフォーマンス・メタデータは、最適化のための機械学習モデル・パイプラインのスコアと、機械学習タスク、混同行列、ＲＯＣ／ＡＵＣ曲線などの評価メトリックとを含む。機械学習モデル・パイプラインに対する来歴メタデータは、機械学習タスクがそれに基づいて作成された機械学習タスクを含む。機械学習タスク（機械学習モデル・パイプラインに対する）は、また、機械学習モデル・パイプラインを訓練するのに用いられる訓練データ（もしくはその部分集合）、機械学習モデル・パイプラインを評価するのに用いられるテストもしくはホールドアウト・データ、最適化および評価メトリック、ターゲット変数、または組成モジュール（例えば、機械学習組成モジュールと、機械学習モデル・パイプラインを生成するのに用いられたそれらのパラメータ（存在する場合）、作成時刻または作成のために要したリソース（計算時間、メモリなど）あるいはこれらの組合せと、を含む）を含む。

追加的な態様では、方法６００の動作は、構造メタデータとパフォーマンス・メタデータと来歴メタデータとを含む、複数の機械学習モデル・パイプラインのアンサンブルに対するメタデータを定義し得る。複数の機械学習モデル・パイプラインのアンサンブルに対する構造メタデータは、アンサンブルの機械学習モデル・パイプラインの全部を含む。パフォーマンス・メタデータは、パイプラインがアンサンブルされる方法を決定するパラメータを含む。パフォーマンス・メタデータは、機械学習タスクの最適化および評価メトリックに対するアンサンブルのスコアと、混同行列と、ＲＯＣ／ＡＵＣ曲線などを含む。

複数の機械学習モデル・パイプラインのアンサンブルに対する来歴メタデータは、それに基づいて機械学習タスクが作成された機械学習タスクを含む。機械学習タスク（機械学習モデル・パイプラインまたは複数の機械学習モデル・パイプラインのアンサンブルあるいはそれらの組合せに対する）は、また、機械学習モデル・パイプラインのアンサンブルを訓練するのに用いられる訓練データ（もしくはその部分集合）、機械学習モデル・パイプラインを評価するのに用いられるテストもしくはホールドアウト・データ、最適化および評価メトリック、ターゲット変数、または組成モジュール（例えば、機械学習組成モジュールと、機械学習モデル・パイプラインのアンサンブルを生成するのに用いられたそれらのパラメータ（存在する場合）、作成時刻または作成のために要したリソース（計算時間、メモリなど）あるいはこれらの組合せと、を含む）を含む。

方法６００の動作は、１つまたは複数のノードが表示されている複数の同心リングを有する放射型構造として、対話型可視化ＧＵＩを表示し得るのであって、複数の同心リングは、機械学習モデル・パイプライン・リングと、データ・リングと、エスティメータ・リングと、トランスフォーマ・リングと、組成モジュール・リングとを少なくとも含み、１つまたは複数のノードは、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せと、データと、１つまたは複数のエスティメータと、１つまたは複数のトランスフォーマと、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せを生成するのに用いられる機械学習組成モジュールとを表しており、１つまたは複数のノードを複数の同心リングに有することは、異なるランキング基準に基づき、シーケンスとして表示される。

方法６００の動作は、１つもしくは複数のノードと複数の同心リングの１つもしくは複数とを関連付けること、ユーザが複数の同心リングの１つもしくは複数と対話するときに、機械学習モデル・パイプラインもしくは複数の機械学習モデル・パイプラインのアンサンブルに関する詳細を関連付けて表示すること、あるいはユーザが複数の同心リングの１つもしくは複数と対話するときに、１つもしくは複数の選択されたデータ・トランスフォーマ、１つもしくは複数のデータ・エスティメータ、１つもしくは複数の機械学習組成モジュール、１つもしくは複数のデータ・パーティション、またはそれらの組合せと関連する機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せのそれぞれを表示することを行い得る。

方法６００の動作は、１つもしくは複数のトリガ・イベントが発生すると、対話型可視化ＧＵＩを自動的に更新すること、またはユーザが、１）機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、もしくはそれらの組合せのランキング基準と、データ、トランスフォーマ、エスティメータ、組成モジュールのためのランキング基準とを、それらの対応するリングにおける可視化のために選択するとき、２）機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、もしくはそれらの組合せの対話型可視化の内部に配置された１つもしくは複数のノードを選択する、もしくは機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、もしくはそれらの組合せの対話型可視化の内部に配置された１つもしくは複数のノードと対話するとき、または３）対話型可視化ＧＵＩの内部にあるメタデータ・リング（トランスフォーマ、エスティメータ、データ、組成モジュール・リング）に対する１つもしくは複数のノードを選択する、もしくは対話型可視化ＧＵＩの内部にあるメタデータ・リング（トランスフォーマ、エスティメータ、データ、組成モジュール・リング）に対する１つもしくは複数のノードと対話するとき、あるいはこれらの組合せであるときに、対話型可視化を自動的に更新すること、あるいはその両方を行い得る。

方法６００の動作は、１つもしくは複数のノードを、複数の同心リングの１つもしくは複数と関連付けること、ユーザが複数の同心リングのうちの１つもしくは複数と対話する際に、機械学習モデル・パイプラインもしくは複数の機械学習モデル・パイプラインのアンサンブルに関する詳細を関連付けて表示すること、または、ユーザが複数の同心リングの１つもしくは複数と対話するときに、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、もしくは、１つもしくは複数の選択されたデータ・トランスフォーマ、１つもしくは複数の選択されたデータ・エスティメータ、１つもしくは複数の機械学習組成構造、１つもしくは複数のデータ分割またはこれらの組合せと関連する組合せのそれぞれを表示すること、あるいはこれらの組合せを行い得る。

方法６００の動作は、１つまたは複数のトリガ・イベントの発生の際に対話型可視化ＧＵＩを自動的に更新し得るし、ユーザが、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せのランキング基準を選択する、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せの対話型可視化の内部に位置する１つまたは複数のノードを選択するまたはそのようなノードと対話する、あるいは対話型可視化ＧＵＩの内部のメタデータを選択するあるいはこれらの組合せを行うときに、対話型可視化を自動的に更新し得る。

本発明は、システム、方法またはコンピュータ・プログラム製品あるいはそれらの組合せであり得る。コンピュータ・プログラム製品は、プロセッサに本発明の諸態様を実行させるためのコンピュータ可読プログラム命令をその上に有する１つ（または複数）のコンピュータ可読記憶媒体を含み得る。

コンピュータ可読記憶媒体は、命令実行デバイスによって用いられるための命令を保持し記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、ただしこれらに限定されるわけではないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、または以上のいずれかの適切な組合せであり得る。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは、以下の、すなわち、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、消去可能なプログラマブル・リード・オンリ・メモリ（ＥＰＲＯＭもしくはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令がその上に記録されている溝の中の隆起構造などの機械的にエンコードされたデバイス、および以上のいずれかの適切な組合せを含む。本明細書で用いられているコンピュータ可読記憶媒体は、無線波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を通過して伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、または配線を通じて伝送される電気信号など、一過性の信号それ自体として解釈されるべきでない。

本明細書で説明されているコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、それぞれのコンピューティング／処理デバイスにダウンロードされることが可能であり、あるいは、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークもしくは無線ネットワークまたはそれらの組合せなどのネットワークを介して、外部コンピュータまたは外部ストレージ・デバイスにダウンロードされることが可能である。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータまたはエッジ・サーバあるいはそれらの組合せを含み得る。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、そのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内部のコンピュータ可読記憶媒体に記憶するために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋、もしくは類似のものなどのオブジェクト指向プログラミング言語と「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの従来の手続き型プログラミング言語とを含む、１つもしくは複数のプログラミング言語のいずれかの組合せで書かれたソース・コードまたはオブジェクト・コードであり得る。コンピュータ可読プログラム命令は、全体がユーザのコンピュータ上で、一部がユーザのコンピュータ上で、スタンドアロンのソフトウェア・パッケージとして、一部がユーザのコンピュータ上であって一部がリモート・コンピュータ上で、または全体がリモート・コンピュータもしくはリモート・サーバの上で、実行されることがあり得る。後者の場合には、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む、いずれかのタイプのネットワークを通じてユーザのコンピュータに接続され得るし、または、（例えば、インターネット・サービス・プロバイダを用い、インターネットを通じて）外部コンピュータに対して、接続が行われることもあり得る。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路構成が、本発明の諸態様を実行するために、その電子回路構成を個別に設定する目的で、コンピュータ可読プログラム命令の状態情報を用いることにより、コンピュータ可読プログラム命令を実行することがあり得る。

本発明の諸態様は、本明細書において、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャートまたはブロック図あるいはその両方を参照して、説明されている。フローチャートまたはブロック図あるいはその両方の各ブロックと、フローチャートまたはブロック図あるいはその両方における複数のブロックの組合せとが、コンピュータ可読プログラム命令によって実装可能であることは、理解されるだろう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて特定される機能／動作を実装するための手段を作成するように、汎用コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供され、マシンを生じさせることができる。また、これらのコンピュータ可読プログラム命令は、命令が記憶されているコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて特定される機能／動作の態様を実装する命令を含む製品を構成するように、コンピュータ、プログラマブル・データ処理装置、または他のデバイスあるいはそれらの組合せに特定の様態で機能するように命じることができるコンピュータ可読記憶媒体に記憶されることがあり得る。

また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル装置、または他のデバイスの上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて特定される機能／動作を実装するように、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされ、一連の動作ステップが、コンピュータ、他のプログラマブル装置、または他のデバイスの上で実行され、コンピュータ実装プロセスを生じさせることができる。

図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を図解している。この関係で、フローチャートまたはブロック図における各ブロックは、特定された論理的機能を実装するための１つまたは複数の実行可能な命令を含め、命令のモジュール、セグメント、または部分を表すことがあり得る。いくつかの代替的な実装形態では、ブロックに記載された機能は、図面に記載されている順序とは異なる順序で、発生することがあり得る。例えば、連続して示されている２つのブロックが、実際には、実質的に同時に実行されることがあり得るし、またはそれらのブロックが、関与する機能に応じて、ときには逆の順序で実行されることもあり得る。また、ブロック図またはフローチャートあるいはその両方の各ブロックと、ブロック図またはフローチャートあるいはその両方における複数のブロックの組合せとは、特定された機能もしくは動作を実行するまたは専用ハードウェア命令とコンピュータ命令との組合せを実行する専用ハードウェア・ベースのシステムによって実装されることが可能であることも、留意されるべきである。

Claims (14)

1. １つまたは複数のプロセッサにより、自動化された機械学習の可視化を提供するための方法であって、
   １つまたは複数の機械学習タスクと、１つまたは複数のトランスフォーマと、１つまたは複数のエスティメータとを、１つまたは複数の機械学習組成モジュールの中に受け取ることと、
   前記１つまたは複数の機械学習組成モジュールを用い、対応するメタデータと共に、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せを生成することであって、機械学習モデル・パイプラインとは、トランスフォーマとエスティメータとのシーケンスであり、機械学習モデル・パイプラインのアンサンブルとは、機械学習モデル・パイプラインのアンサンブルである、前記生成することと、
   前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せから、メタデータを抽出することと、
   前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せ、前記抽出されたメタデータ、またはそれらの組合せの対話型可視化グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）を生成することと、
   １つまたは複数のノードが表示されている複数の同心リングを有する放射型構造として前記対話型可視化ＧＵＩを表示することとを含み、ここで、前記複数の同心リングは、機械学習モデル・パイプライン・リングと、データ・リングと、エスティメータ・リングと、トランスフォーマ・リングと、組成モジュール・リングとを少なくとも含み、前記１つまたは複数のノードは、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せと、データと、前記１つまたは複数のエスティメータと、前記１つまたは複数のトランスフォーマと、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せを生成するのに用いられる前記機械学習組成モジュールとを表しており、１つまたは複数のノードを前記複数の同心リングに有することは、異なるランキング基準に基づき、シーケンスとして表示されることと、
   を含む、方法。
2. 前記１つまたは複数の機械学習タスクを受け取ることは、訓練データ、ホールド・アウト・データ、テスト・データ、最適化メトリック、評価メトリック、ターゲット変数、前記１つまたは複数のトランスフォーマ、および前記１つまたは複数のエスティメータを、前記１つまたは複数の機械学習組成モジュールの中に受け取ることをさらに含む、請求項１に記載の方法。
3. 前記機械学習モデル・パイプラインに関する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せを含むように、前記機械学習モデル・パイプラインに対するメタデータを定義すること、または
   複数の機械学習モデル・パイプラインの前記アンサンブルに関する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せを含むように、複数の機械学習モデル・パイプラインの前記アンサンブルに対するメタデータを定義することをさらに含む、請求項１に記載の方法。
4. パイプライン・ランキング基準とメタデータ・ランキング基準とに従い、前記抽出されたメタデータと、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せとをランク付けすること、
   前記メタデータ・ランキング基準に従い、前記機械学習モデル・パイプラインに対する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せをランク付けすること、または
   前記メタデータ・ランキング基準に従い、複数の機械学習モデル・パイプラインの前記アンサンブルに対する前記構造メタデータ、前記性能メタデータ、前記来歴メタデータ、またはそれらの組合せをランク付けすることをさらに含む、請求項１に記載の方法。
5. １つもしくは複数のノードと前記複数の同心リングの１つもしくは複数とを関連付けること、
   前記ユーザが前記複数の同心リングの前記１つもしくは複数と対話するときに、前記機械学習モデル・パイプラインもしくは複数の機械学習モデル・パイプラインの前記アンサンブルに関する詳細を関連付けて表示すること、あるいは
   前記ユーザが前記複数の同心リングの前記１つもしくは複数と対話するときに、前記１つもしくは複数の選択されたデータ・トランスフォーマ、前記１つもしくは複数のデータ・エスティメータ、前記１つもしくは複数の機械学習組成モジュール、１つもしくは複数のデータ・パーティション、またはそれらの組合せと関連する前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せのそれぞれを表示することをさらに含む、請求項１に記載の方法。
6. １つまたは複数のトリガ・イベントが発生すると、前記対話型可視化ＧＵＩを自動的に更新すること、あるいは
   ユーザが、
   前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せ、前記１つもしくは複数のトランスフォーマ、前記１つもしくは複数のエスティメータ、前記１つもしくは複数の機械学習組成モジュール、もしくはそれらの組合せの、パイプライン・ランキング基準とメタデータ・ランキング基準とを、前記対話型可視化の１つもしくは複数の対応するリングとしての可視化のために選択するとき、
   前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せの前記対話型可視化の内部に配置された１つもしくは複数のノードを選択する、もしくは前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せの前記対話型可視化の内部に配置された１つもしくは複数のノードと対話するとき、または
   前記対話型可視化ＧＵＩの内部にありトランスフォーマ・リングとエスティメータ・リングとデータ・リングと組成モジュール・リングとを含む複数のメタデータ・リングの１つもしくは複数に対する１つもしくは複数のノードを選択する、もしくは前記対話型可視化ＧＵＩの内部にありトランスフォーマ・リングとエスティメータ・リングとデータ・リングと組成モジュール・リングとを含む複数のメタデータ・リングの１つもしくは複数に対する１つもしくは複数のノードと対話するときに、
   前記対話型可視化を自動的に更新することをさらに含む、請求項１に記載の方法。
7. 自動化された機械学習可視化を提供するためのシステムであって、
   前記システムによって実行されると、
   １つまたは複数の機械学習タスクと、１つまたは複数のトランスフォーマと、１つまたは複数のエスティメータとを、１つまたは複数の機械学習組成モジュールの中に受け取ることと、
   前記１つまたは複数の機械学習組成モジュールを用い、対応するメタデータと共に、機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインのアンサンブル、またはそれらの組合せを生成することであって、機械学習モデル・パイプラインとは、トランスフォーマとエスティメータとのシーケンスであり、機械学習モデル・パイプラインのアンサンブルとは、機械学習モデル・パイプラインのアンサンブルである、前記生成することと、
   前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せから、メタデータを抽出することと、
   前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せ、前記抽出されたメタデータ、またはそれらの組合せの対話型可視化グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）を生成することと、
   １つまたは複数のノードが表示されている複数の同心リングを有する放射型構造として前記対話型可視化ＧＵＩを表示することとを含み、ここで、前記複数の同心リングは、機械学習モデル・パイプライン・リングと、データ・リングと、エスティメータ・リングと、トランスフォーマ・リングと、組成モジュール・リングとを少なくとも含み、前記１つまたは複数のノードは、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せと、データと、前記１つまたは複数のエスティメータと、前記１つまたは複数のトランスフォーマと、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せを生成するのに用いられる前記機械学習組成モジュールとを表しており、１つまたは複数のノードを前記複数の同心リングに有することは、異なるランキング基準に基づき、シーケンスとして表示されることと、
   を実行可能な命令を有する１つまたは複数のコンピュータを備えた、システム。
8. 前記１つまたは複数の機械学習タスクを受け取るための前記実行可能な命令は、訓練データ、ホールド・アウト・データ、テスト・データ、最適化メトリック、評価メトリック、ターゲット変数、前記１つまたは複数のトランスフォーマ、および前記１つまたは複数のエスティメータを、前記１つまたは複数の機械学習組成モジュールの中に受け取ることをさらに含む、請求項７に記載のシステム。
9. 前記実行可能な命令は、さらに、
   前記機械学習モデル・パイプラインに関する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せを含むように、前記機械学習モデル・パイプラインに対するメタデータを定義する、または
   複数の機械学習モデル・パイプラインの前記アンサンブルに関する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せを含むように、複数の機械学習モデル・パイプラインの前記アンサンブルに対するメタデータを定義する、請求項７に記載のシステム。
10. 前記実行可能な命令は、さらに、
    パイプライン・ランキング基準とメタデータ・ランキング基準とに従い、前記抽出されたメタデータと、前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せとをランク付けする、
    前記メタデータ・ランキング基準に従い、前記機械学習モデル・パイプラインに対する構造メタデータ、性能メタデータ、来歴メタデータ、またはそれらの組合せをランク付けする、または
    前記メタデータ・ランキング基準に従い、複数の機械学習モデル・パイプラインの前記アンサンブルに対する前記構造メタデータ、前記性能メタデータ、前記来歴メタデータ、またはそれらの組合せをランク付けする、請求項７に記載のシステム。
11. 前記実行可能な命令は、さらに、
    １つもしくは複数のノードと前記複数の同心リングの１つもしくは複数とを関連付ける、
    前記ユーザが前記複数の同心リングの前記１つもしくは複数と対話するときに、前記機械学習モデル・パイプラインもしくは複数の機械学習モデル・パイプラインの前記アンサンブルに関する詳細を関連付けて表示する、あるいは
    前記ユーザが前記複数の同心リングの前記１つもしくは複数と対話するときに、前記１つもしくは複数の選択されたデータ・トランスフォーマ、前記１つもしくは複数のデータ・エスティメータ、前記１つもしくは複数の機械学習組成モジュール、１つもしくは複数のデータ・パーティション、またはそれらの組合せと関連する前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、またはそれらの組合せのそれぞれを表示する、請求項７に記載のシステム。
12. 前記実行可能な命令は、さらに、
    １つまたは複数のトリガ・イベントが発生すると、前記対話型可視化ＧＵＩを自動的に更新する、あるいは
    ユーザが、
    前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せ、前記１つもしくは複数のトランスフォーマ、前記１つもしくは複数のエスティメータ、前記１つもしくは複数の機械学習組成モジュール、もしくはそれらの組合せの、パイプライン・ランキング基準とメタデータ・ランキング基準とを、前記対話型可視化の１つもしくは複数の対応するリングとしての可視化のために選択するとき、
    前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せの前記対話型可視化の内部に配置された１つもしくは複数のノードを選択する、もしくは前記機械学習モデル・パイプライン、複数の機械学習モデル・パイプラインの前記アンサンブル、もしくはそれらの組合せの前記対話型可視化の内部に配置された１つもしくは複数のノードと対話するとき、または
    前記対話型可視化ＧＵＩの内部にありトランスフォーマ・リングとエスティメータ・リングとデータ・リングと組成モジュール・リングとを含む複数のメタデータ・リングの１つもしくは複数に対する１つもしくは複数のノードを選択する、もしくは前記対話型可視化ＧＵＩの内部にありトランスフォーマ・リングとエスティメータ・リングとデータ・リングと組成モジュール・リングとを含む複数のメタデータ・リングの１つもしくは複数に対する１つもしくは複数のノードと対話するときに、
    前記対話型可視化を自動的に更新する、請求項７に記載のシステム。
13. コンピュータ・プログラムであって、請求項１ないし６のいずれか１項に記載の方法の各ステップをコンピュータに実行させるための、コンピュータ・プログラム。
14. 請求項１３に記載のコンピュータ・プログラムを記録した、コンピュータ可読記憶媒体。

Images