JP7413392B2 - トレーニング・データと性能トレンドとの相関付けに基づいたコンピュータ・モデル機械学習 - Google Patents

Description

本出願は、包括的には、改善されたデータ処理装置および方法に関し、より詳細には、トレーニング・データと性能トレンドとの相関付けに基づいたコンピュータ・モデル機械学習の実行のためのメカニズムに関する。

コンピュータ・モデル、またはコンピュータ・シミュレーションは、物理的世界においてオブジェクトまたはシステムをシミュレートすることによって、或る状況において何が起こり得るか、または何が起こったかをシミュレートするように設計されたコンピュータ・プログラムであり、ここで、このオブジェクトまたはシステムは、生物学的オブジェクト／システム、コンピュータ・オブジェクト／システム、環境オブジェクト／システム、機械的オブジェクト／システム、または物理的世界に存在し得る任意の他のオブジェクトもしくはシステムを含む様々なタイプのものとすることができる。コンピュータ・モデル、またはコンピュータ・シミュレーションは、天文学、経済学、ならびに物理学および生物学等の様々な科学分野を含む多くの方式で用いられる。多くの現代のコンピュータ・モデルまたはコンピュータ・シミュレーションは、機械学習手法に基づいたトレーニング動作を利用して、コンピュータ・モデルまたはコンピュータ・シミュレーションをトレーニングし、オブジェクトまたはシステムの挙動を適切に予測する。

機械学習（ＭＬ）は、特定のタスクに対する性能を漸進的に改善するためにコンピュータ・システムが用いるアルゴリズムおよび統計モデルの科学的研究である。機械学習アルゴリズムは、タスクを実行するように明示的にプログラムされることなく予測または判定を行うために、「トレーニング・データ」として既知のサンプル・データの数学的モデルを構築する。機械学習アルゴリズムは、タスクを実行するための特殊な命令のアルゴリズムを開発することが実行不可能な、電子メールフィルタリング、ネットワーク侵入者の検出、コンピュータ・ビジョンの用途において用いられる。機械学習は、コンピュータを用いて予測を行うことに焦点を当てた計算統計学に密接に関連している。データ・マイニングは、機械学習における研究分野であり、教師なし学習を通じた探索的データ分析に焦点を当てる。ビジネス上の問題にわたるその用途において、機械学習は、予測的アナリティクスとも呼ばれる。

この発明の概要は、本明細書の発明を実施するための形態において更に説明される概念の抜粋を簡易化した形で紹介するために提供される。本要約は、特許請求の範囲の対象の主要素または本質的特徴を識別することは意図されておらず、特許請求の範囲の対象を限定するために用いることも意図されていない。

１つの態様によれば、データ処理システムにおいて、コンピュータ実施モデルをトレーニングするための方法が提供される。本方法は、データ処理システムによって、コンピュータ実施モデルのトレーニングの複数のインスタンスを実行することを含み、コンピュータ実施モデルのトレーニングの各インスタンスは、異なるトレーニング・データ・セットを用いてコンピュータ実施モデルをトレーニングして、トレーニングされたコンピュータ実施モデルの異なるインスタンスを生成することを含む。本方法は、トレーニングの各インスタンス後に、トレーニングされたコンピュータ実施モデルの対応するインスタンスを実行することによって、コンピュータ実施モデル結果を生成することを更に含む。加えて、本方法は、データ処理システムによって、トレーニングされたコンピュータ実施モデルのインスタンスの対応する識別子および対応するコンピュータ実施モデル結果に関連付けて、コンピュータ実施モデルのトレーニングのインスタンスの差を記録することを含む。更に、本方法は、データ処理システムによって、記録された差および対応するコンピュータ実施モデル結果を分析することと、データ処理システムによって、記録された差と、対応するコンピュータ実施モデル結果との間の相関を示す出力を生成することとを含む。

１つの例示的な実施形態において、コンピュータ実施モデルのトレーニングの複数のインスタンスを実行することは、データ処理システムによって、トレーニング・データの第１のバージョンおよび１つまたは複数のハイパーパラメータの第１のセットを用いて、コンピュータ実施モデルに対し第１のトレーニング動作を実行して、コンピュータ実施モデルの第１のトレーニングされたインスタンスを生成することと、データ処理システムによって、トレーニング・データの第２のバージョンおよび１つまたは複数のハイパーパラメータの第２のセットを用いて、コンピュータ実施モデルに対し第２のトレーニング動作を実行して、コンピュータ実施モデルの第２のトレーニングされたインスタンスを生成することとを含む。トレーニング・データの異なるバージョンおよびハイパーパラメータを用いてコンピュータ実施モデルの異なるインスタンスをトレーニングすることによって、例示的な実施形態は、コンピュータ・モデルの性能におけるトレンドを特定し、これを特定のトレーニング・データ・セットおよびハイパーパラメータ設定と相関付けることが可能である。

いくつかの例示的な実施形態において、コンピュータ実施モデルのトレーニングのインスタンスの変更を記録することは、データ処理システムによって、第１のトレーニング動作の第１の識別子を、トレーニング・データの第１のバージョンおよび１つまたは複数のハイパーパラメータの第１のセットと相関付ける第１の追跡データ構造を生成することと、データ処理システムによって、第２のトレーニング動作の第２の識別子を、トレーニング・データの第２のバージョンおよび１つまたは複数のハイパーパラメータの第２のセットと相関付ける第２の追跡データ構造を生成することとを含む。いくつかの例示的な実施形態において、コンピュータ実施モデル結果を生成することは、コンピュータ実施モデルの第１のインスタンスの実行から第１のモデル結果を生成することと、コンピュータ実施モデルの第２のインスタンスの実行から第２のモデル結果を生成することとを含み、ここで、記録された差および対応するコンピュータ実施モデル結果を分析することは、データ処理システムによって、第１の追跡データ構造、第２の追跡データ構造、第１のモデル結果および第２のモデル結果に対しアナリティクスを実行して、第１のモデル結果と第２のモデル結果との差と相関する、第１のトレーニング動作と第２のトレーニング動作との差を特定することを含む。ここでもまた、これらの動作は、所望の性能を達成するためのトレーニング特性の適切な選択を特定することができるように、トレーニングの差をモデル結果の差と相関付ける役割を果たす。

いくつかの例示的な実施形態において、トレーニング・データの第２のバージョンは、トレーニング・データの第１のバージョンの変更バージョンである。このようにして、例示的な実施形態のメカニズムは、トレーニング・データの第１のバージョンにおけるどの変更がコンピュータ・モデルの性能を改善または低下させるかを判断することができる。

いくつかの例示的な実施形態において、出力を生成することは、記録された差および対応するコンピュータ実施モデル結果に基づいて、どの変更がコンピュータ実施モデルの正確性を増大させるかを特定することによって、コンピュータ実施モデルのトレーニングを変更してトレーニング・データを改善するための１つまたは複数の推薦（レコメンデーション）を生成することを更に含む。更に、いくつかの例示的な実施形態において、コンピュータ動作は、生成された１つまたは複数の推薦を実施するために自動的に実行され、ここで、コンピュータ動作は、コンピュータ実施モデルのトレーニングを改善するエンティティとして１つまたは複数の推薦において指定されたエンティティを含む新たなトレーニング・データを得ること、コンピュータ実施モデルのトレーニングを劣化させるエンティティとして１つまたは複数の推薦において指定されたエンティティを除去すること、コンピュータ実施モデルの少なくとも１つのハイパーパラメータを変更すること、またはコンピュータ実施モデルのトレーニングを実行するのに用いられるコンピュータ・モデル・トレーニング・ツールを変更することのうちの少なくとも１つを含む。このようにして、コンピュータ・モデルのトレーニングは、例示的な実施形態によって行われるトレンド分析に基づいて自動的に改善することができる。

いくつかの例示的な実施形態において、コンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データのインスタンスは、コンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データを、トレーニング・データの前のバージョンに戻すことができるように追跡される。このため、これらのメカニズムにより、コンピュータ・モデルのトレーニングの変更の結果として、望ましくない性能変化が生じる場合、トレーニングに対し行われた変更を戻して、所望の性能を達成するためのコンピュータ・モデルの最適なトレーニングを確実にすることができる。

いくつかの例示的な実施形態において、分析は、記録された差および対応するコンピュータ実施モデル結果に対しトレンド分析を実行することを含む。このトレンド分析は、所望のまたは最適な性能を達成するためにコンピュータ・モデルのトレーニングを変更することに労力を向けるように、トレーニング・データの変更および対応する性能変化の投影を決定することを可能にする。

いくつかの例示的な実施形態において、コンピュータ実施モデルのトレーニングの複数のインスタンスは、１つまたは複数のロケーションにおける異なるコンピュータ実施モデル開発者によってコンピュータ実施モデルの異なるコピーをトレーニングして、トレーニングされたコンピュータ実施モデルのインスタンスの異なるサブセットを生成することを含み、方法は、異なるコンピュータ実施モデル開発者からのトレーニングされたコンピュータ実施モデルのインスタンスの全てのサブセットにわたって実行される。このため、例示的な実施形態のメカニズムにより、複数の異なるモデル開発者によって実行されるコンピュータ・モデルのインスタンスの個々のトレーニングを用いて、コンピュータ・モデルの独自のインスタンスから、より良好な性能を達成するように他の開発者を支援することができる。

他の例示的な実施形態において、コンピュータ可読プログラムを有するコンピュータ使用可能または可読媒体を備えるコンピュータ・プログラム製品が提供される。コンピュータ可読プログラムは、コンピューティング・デバイスにおいて実行されると、コンピューティング・デバイスに、上記で例示的な方法実施形態のうちの１つまたは複数に関して概説された動作のうちの様々なもの、およびこれらの組合せを実行させる。

更に別の例示的な実施形態において、システム／装置が提供される。システム／装置は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサに結合されたメモリとを備えることができる。メモリは、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、上記で例示的な方法実施形態のうちの１つまたは複数に関して概説された動作のうちの様々なもの、およびこれらの組合せを実行させる。

別の態様によれば、コンピュータ可読プログラムが記憶されたコンピュータ可読記憶媒体を備えるコンピュータ・プログラム製品が提供される。コンピュータ可読プログラムは、データ処理システムにおいて実行されると、データ処理システムに、コンピュータ実施モデルのトレーニングの複数のインスタンスを実行することであって、コンピュータ実施モデルのトレーニングの各インスタンスは、異なるトレーニング・データ・セットを用いてコンピュータ実施モデルをトレーニングして、トレーニングされたコンピュータ実施モデルの異なるインスタンスを生成することを含む、実行することと、トレーニングの各インスタンス後に、トレーニングされたコンピュータ実施モデルの対応するインスタンスを実行することによって、コンピュータ実施モデル結果を生成することと、トレーニングされたコンピュータ実施モデルのインスタンスの対応する識別子および対応するコンピュータ実施モデル結果に関連付けて、コンピュータ実施モデルのトレーニングのインスタンスの差を記録することと、記録された差および対応するコンピュータ実施モデル結果を分析することと、記録された差と、対応するコンピュータ実施モデル結果との間の相関を示す出力を生成することとを実行させる。

別の態様によれば、装置であって、プロセッサと、プロセッサに結合されたメモリであって、メモリは命令を含み、命令は、プロセッサによって実行されると、プロセッサに、コンピュータ実施モデルのトレーニングの複数のインスタンスを実行することであって、コンピュータ実施モデルのトレーニングの各インスタンスは、異なるトレーニング・データ・セットを用いてコンピュータ実施モデルをトレーニングして、トレーニングされたコンピュータ実施モデルの異なるインスタンスを生成することを含む、実行することと、トレーニングの各インスタンス後に、トレーニングされたコンピュータ実施モデルの対応するインスタンスを実行することによって、コンピュータ実施モデル結果を生成することと、トレーニングされたコンピュータ実施モデルのインスタンスの対応する識別子および対応するコンピュータ実施モデル結果に関連付けて、コンピュータ実施モデルのトレーニングのインスタンスの差を記録することと、記録された差および対応するコンピュータ実施モデル結果を分析することと、記録された差と、対応するコンピュータ実施モデル結果との間の相関を示す出力を生成することとを行わせる、メモリと、を備える、装置が提供される。

本明細書に開示される解決策のこれらのおよび他の特徴および利点は、本発明の例示的な実施形態の以下の詳細な説明に記載されるか、またはこれに鑑みて当業者に明らかとなるであろう。

ここで、本発明の好ましい実施形態を、単なる例として、以下の図を参照して説明する。

本発明の例示的な実施形態が実施される分散コンピューティング・システムのブロック図である。 本発明の例示的な実施形態が実施される例示的なデータ処理システムのブロック図である。 １つの例示的な実施形態によるコンピュータ・モデル・トレーニング・コンピューティング・システムの例示的な動作を概説するフローチャートである。 １つの例示的な実施形態によるトレーニング情報のダッシュボード表現の例示的な図である。 １つの例示的な実施形態によるコンピュータ・モデルのコピーのトレーニングのトレンドのグラフィック表現の例示的な図である。 １つの例示的な実施形態による、トレーニング・モデル特性およびトレーニング・データ・セット特性の表形式の表現の例示的な図である。

例示的な実施形態は、トレーニング・データと性能トレンドとの相関に基づいてコンピュータ・モデル機械学習を実行するためのメカニズムを提供する。本解決策は、特に、トレーニング・データ、トレーニング・ツール、ハイパーパラメータ等の変更、およびこれらの変更に基づくコンピュータ・モデルの性能および正確性における対応するトレンドの観測に基づいて、これらのコンピュータ・モデルの性能および正確性を改善するようにコンピュータ・モデルをトレーニングするためのコンピュータ・ツールに対する改善を対象とする。このようにして、コンピュータ・モデル・トレーニングに対し改善がもたらされ、ひいては、結果としてコンピュータ・モデルの性能および正確性が改善する。

上述したように、コンピュータ・モデルは、様々なオブジェクトもしくはシステムが特定の刺激に応じて動作する方式をシミュレートもしくは予測するか、または特定のオブジェクトもしくはシステムが動作した方式の動作理由を特定するためのアナリティクスを実行するのに利用される。コンピュータ・モデルは、アナリティクスおよび予測モデル化を実行するための優れたツールを提供するが、これらの性能および正確性は、多くの場合、コンピュータ・モデルのトレーニングの品質に依拠し、この品質自体が、トレーニングを実行するのに利用される特定のトレーニング・データに依拠する。

更に、現代のコンピュータ・モデリングにおいて、そのようなコンピュータ・モデルは、多くの場合、機械学習トレーニング動作を用いてトレーニングされ、機械学習トレーニング動作において、そのようなトレーニング・データは、コンピュータ・モデルの性能および正確性を改善するためにコンピュータ・モデルの動作を変更するための基礎として用いられる。すなわち、教師なし機械学習と呼ばれる場合がある１つのタイプの機械学習手法において、機械学習は、コンピュータ・モデルの正しい出力、すなわち「グランド・トゥルース」が、事前に知られており、コンピュータ・モデルの実際の出力をこれに対し比較してコンピュータ・モデルがどれだけ良好に機能しているかを判断する基礎となる、トレーニング・データを利用する。コンピュータ・モデルの出力とグランド・トゥルースとの差に基づいて、コンピュータ・モデルにおける誤差が決定され、コンピュータ・モデルと関連付けられた動作パラメータが、この誤差を低減するように変更される。このプロセスは、誤差が、許容可能な誤差、例えば、閾値誤差レベルまたはモデルにおける損失以下であると判断されるまで、反復的に実行することができる。

教師あり機械学習と呼ばれる場合がある他のタイプの機械学習には、生成する結果の正確性もしくは不正確性、または実施される動作パラメータに対する変更、あるいはその両方についてコンピュータ・モデルに通知する主題専門家等の人間が関与する。例えば、主題専門家（ＳＭＥ）は、コンピュータ・モデルから出力を入手することができ、動作パラメータ、トレーニング・データ等に対し手動で調節を行うことができ、次に、再びコンピュータ・モデルを実行して、性能における改善が達成されたか否かを知ることができる。

これらのコンピュータ・モデルのトレーニングは、利用されるトレーニング・データ、利用されるトレーニング・ツール、およびコンピュータ・モデルの動作パラメータ、例えば、コンピュータ・モデルのハイパーパラメータの特定の設定に大きく依拠することを理解することができ、ここで、ハイパーパラメータは、機械学習プロセスの前に固定されるコンピュータ・モデルの動作パラメータである。そのようなハイパーパラメータは、多くの場合、主題専門家の知識に基づいてセットされ、機械学習トレーニング・プロセス中、静的である。

コンピュータ・モデルの改善された性能および正確性を得ることを試みるために、コンピュータ・モデルのトレーニングに関与する人間の開発者は、トレーニング・データ、トレーニング・ツール、ハイパーパラメータ等に対し変更を行い、モデルに所望の性能または正確性を達成させるように試みることができる。例えば、人間の開発者が、潜在的には主題専門家の支援により、コンピュータ・モデルの動作をオン・ザ・フライでトレーニングおよび学習し、トレーニング・データ、ハイパーパラメータ、トレーニング・ツール等に対し変更を行っているシナリオを検討する。開発者は、複数のツール、いくつかのタイプのハイパーパラメータを用いることができ、トレーニング・データを変更して様々な結果を得ることができる。このプロセス中、開発者は、グランド・トゥルースが誤りであると判断し、新たなものを得る、すなわち、トレーニング・データの新たなバージョンが得られる。ここで、開発者は、再びトレーニング・プロセスを通して戻る。トレーニング・データ・セットごとに、開発者は、異なるツール、異なるハイパーパラメータを適用し、異なる結果を入手することができる。

このトレーニング・プロセスに伴う問題は、行われた変更を追跡し、コンピュータ・モデルの性能および正確性の差と相関付けることが可能であることである。すなわち、異常、トレンド等を特定し、どの変更がコンピュータ・モデルの性能および正確性の改善または悪化に対応するかを判断するために、開発者が、行われた変更、ならびにコンピュータ・モデルの性能および正確性に対する変化との対応関係をどのように追跡するかである。更に、この問題は、各々がコンピュータ・モデルの独自の個々のインスタンスのそのような変更およびトレーニングを独立して実行する異なる開発者に、同じコンピュータ・モデルの複数のインスタンスが配信されるときに増幅する。

例示的な実施形態のメカニズムにより、開発者がコンピュータ・モデル（以後、単に「モデル」と呼ばれる）のトレーニングを変更および更新する際、コンピュータ・モデルの性能および正確性に影響を及ぼすトレーニング・データにおける追加／削除／変更、例えば、何のエンティティが追加され、何のエンティティが削除され、何のエンティティが変更されたかが追跡される。追跡データに対しアナリティクスが実行され、トレーニング・データにおけるトレンド、ならびにモデルの対応する性能および正確性が特定される。このプロセスは、モデルとの反復トレーニングセッション、ならびに異なるトレーニング・データ・セット、異なるトレーニング・ツールおよび異なるハイパーパラメータ設定について繰り返すことができる。例えば、開発者は、日毎に新たなトレーニング・データに対しコンピュータ・モデルを実行することができ、トレーニング・データの変更と相関付けることができる特定されたトレンドをもたらすことができるコンピュータ・モデルの正確性の更新を得ることができる。

特定されたトレンドに基づいて、例示的な実施形態のメカニズムは、何の変更がモデルの正確性を増大させるかを特定することによって、トレーニング・データをどのように改善するかに関する推薦、例えば、Ｘのようなエンティティをより多く含むことによりモデルの正確性が増大する、を生成することができる。そのような推薦は、行うべきでない変更、すなわち、結果としてモデルの正確性または性能が低下した変更の推薦と共に開発者に出力することができる。いくつかの例示的な実施形態において、例示的な実施形態のメカニズムによって生成された推薦を用いて、１つまたは複数のトレーニング・データ・セット・リポジトリにおいて他のトレーニング・データ・セットを自動的に探索することができ、これは、コンピュータ・モデルの正確性または性能あるいはその両方を改善すると判断されるエンティティを含むことができる。更にいくつかの実施形態において、自動的に特定されたトレーニング・データ・セットを自動的に索出し、これを用いてコンピュータ・モデルをトレーニングすることができる。このプロセスは、コンピュータ・モデルの所望の正確性もしくは性能が達成されるまで、または利用可能なトレーニング・データ・セット、ツール等に基づいて更なる改善が可能でないと判断されるまで繰り返すことができる。

トレンド、異常等を特定するためのこの追跡および相関は、異なるコンピュータ・モデル・インスタンス、異なる開発者等にわたって行うことができる。このため、コンピュータ・モデルの第１のインスタンスを用いる顧客Ａにおける第１の開発者は、独自の独立したトレーニング・データ・セット変更、動作パラメータ変更等を行うことができ、この情報、および第１のコンピュータ・モデル・インスタンスの性能／正確性との相関が追跡され、集中化されたコンピューティング・システムに報告される。コンピュータ・モデルの第２のインスタンスを用いる顧客Ｂにおける第２の開発者は、独自の独立したトレーニング・データ・セット変更、動作パラメータ変更等を行うことができ、この情報、および第２のコンピュータ・モデル・インスタンスの性能／正確性との相関が追跡され、集中化されたコンピューティング・システムに報告される。例示的な実施形態のメカニズムは、第１および第２双方のコンピュータ・モデル・インスタンスのための全ての報告された情報に対しアナリティクスを実行し、コンピュータ・モデルの性能および正確性を改善するための推薦を行うのに用いることができるトレンド情報を生成することができる。

いくつかの例示的な実施形態において、トレーニング・データのためのバージョン追跡は、必要な場合、トレーニング・データの以前のバージョンを再作成することができるように提供される。すなわち、モデルが用いるためにフォーマット設定されたトレーニング・データの、最初に受信されたトレーニング・データへのマッピングが維持される。このようにして、モデルによりフォーマット設定されたトレーニング・データを所与として、最初に受信したトレーニング・データを再作成することができる。このため、例示的な実施形態のメカニズムは、顧客から得たトレーニング・データのバージョンを、コンピュータ・モデルの消費のために生成されたデータのバージョンと相関付けることができ、より早期のバージョンを再現することができるように、バージョニングの追跡により顧客データに戻ることができる。

このため、例示的な実施形態のメカニズムを用いて、コンピュータ実施モデルをトレーニングするためのコンピュータ方法論が提供され、ここで、このコンピュータ方法論は、コンピュータ・モデルをトレーニングし、トレーニングに対し行われた変更を追跡するとともに、トレーニングに対し行われた変更を性能／正確性メトリックと相関付けるためのコンピュータ固有の動作の順序付けされた組合せを実行するように特に構成されたデータ処理システムにおいて実施される。コンピュータ方法論は、追跡情報におけるトレンドを特定し、コンピュータ実施モデルのトレーニングを改善するための推薦を生成するか、またはコンピュータ実施モデルのトレーニングを改善するために生成された推薦を自動的に実施するか、あるいはその両方を行うために分析を行うコンピュータ固有の動作を更に提供する。

１つの例示的な実施形態において、コンピュータ方法論は、特別に構成されたデータ処理システムによって、コンピュータ実施モデルのトレーニングの複数のインスタンスを実行することを含み、コンピュータ実施モデルのトレーニングの各インスタンスは、異なるトレーニング・データ・セットを用いてコンピュータ実施モデルをトレーニングして、コンピュータ実施モデルのトレーニングの他のインスタンスと異なる、トレーニングされたコンピュータ実施モデルのインスタンスを生成することを含む。コンピュータ方法論は、トレーニングの各インスタンス後に、トレーニングされたコンピュータ実施モデルの対応するインスタンスを実行することによって、コンピュータ実施モデル結果を生成することを更に含む。更に、コンピュータ方法論は、データ処理システムによって、トレーニングされたコンピュータ実施モデルのインスタンスの対応する識別子および対応するコンピュータ実施モデル結果に関連付けて、コンピュータ実施モデルのトレーニングのインスタンスの差を記録することを含む。コンピュータ方法論は、データ処理システムによって、記録された差および対応するコンピュータ実施モデル結果を分析することと、データ処理システムによって、記録された差と、対応するコンピュータ実施モデル結果との間の相関を示す出力を生成することとを更に含む。

いくつかの例示的な実施形態において、コンピュータ方法論は、少なくとも、データ処理システムによって、トレーニング・データの第１のバージョンおよび１つまたは複数のハイパーパラメータの第１のセットを用いて、コンピュータ実施モデルに対し第１のトレーニング動作を実行して、コンピュータ実施モデルの第１のトレーニングされたインスタンスを生成することによって、コンピュータ実施モデルのトレーニングの複数のインスタンスを実行する。コンピュータ方法論は、データ処理システムによって、トレーニング・データの第２のバージョンおよび１つまたは複数のハイパーパラメータの第２のセットを用いて、コンピュータ実施モデルに対し第２のトレーニング動作を実行して、コンピュータ実施モデルの第２のトレーニングされたインスタンスを生成することによって、コンピュータ実施モデルのトレーニングの複数のインスタンスを更に実行する。

いくつかの例示的な実施形態において、コンピュータ方法論は、少なくとも、データ処理システムによって、第１のトレーニング動作の第１の識別子を、トレーニング・データの第１のバージョンおよび１つまたは複数のハイパーパラメータの第１のセットと相関付ける第１の追跡データ構造を生成することと、データ処理システムによって、第２のトレーニング動作の第２の識別子を、トレーニング・データの第２のバージョンおよび１つまたは複数のハイパーパラメータの第２のセットと相関付ける第２の追跡データ構造を生成することとによって、コンピュータ実施モデルのトレーニングのインスタンスの変化を記録する。いくつかの例示的な実施形態において、コンピュータ方法論は、少なくとも、コンピュータ実施モデルの第１のインスタンスの実行から第１のモデル結果を生成し、コンピュータ実施モデルの第２のインスタンスの実行から第２のモデル結果を生成することによって、コンピュータ実施モデル結果を生成する。そのような例示的な実施形態において、記録された差および対応するコンピュータ実施モデル結果の分析は、データ処理システムによって、第１の追跡データ構造、第２の追跡データ構造、第１のモデル結果および第２のモデル結果に対しアナリティクスを実行して、第１のモデル結果と第２のモデル結果との差と相関する、第１のトレーニング動作と第２のトレーニング動作との差を特定することを含む。

いくつかの例示的な実施形態において、トレーニング・データの第２のバージョンは、トレーニング・データの第１のバージョンの変更バージョンである。いくつかの例示的な実施形態において、コンピュータ方法論は、少なくとも、記録された差および対応するコンピュータ実施モデル結果に基づいて、どの変更がコンピュータ実施モデルの正確性を増大させるかを特定することによって、コンピュータ実施モデルのトレーニングを変更してトレーニング・データを改善するための推薦を生成することによって、出力を生成する。いくつかの例示的なコンピュータ動作は、生成された１つまたは複数の推薦を実施するために自動的に実行され、ここで、コンピュータ動作は、コンピュータ実施モデルのトレーニングを改善するエンティティとして１つまたは複数の推薦において指定されたエンティティを含む新たなトレーニング・データを得ること、コンピュータ実施モデルのトレーニングを劣化させるエンティティとして１つまたは複数の推薦において指定されたエンティティを除去すること、コンピュータ実施モデルの少なくとも１つのハイパーパラメータを変更すること、またはコンピュータ実施モデルのトレーニングを実行するのに用いられるコンピュータ・モデル・トレーニング・ツールを変更することのうちの少なくとも１つを含む。

いくつかの例示的な実施形態において、コンピュータ方法論は、コンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データを、トレーニング・データの前のバージョンに戻すことができるようにコンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データのインスタンスを追跡することを含む。更に他の例示的な実施形態において、コンピュータ方法論は、記録された差および対応するコンピュータ実施モデル結果に対しトレンド分析を実行することを含む。また更なる例示的な実施形態において、コンピュータ実施モデルのトレーニングの複数のインスタンスは、１つまたは複数のロケーションにおける異なるコンピュータ実施モデル開発者によってコンピュータ実施モデルの異なるコピーをトレーニングして、トレーニングされたコンピュータ実施モデルのインスタンスの異なるサブセットを生成することを含み、方法は、異なるコンピュータ実施モデル開発者からのトレーニングされたコンピュータ実施モデルのインスタンスの全てのサブセットにわたって実行される。

このため、例示的な実施形態のメカニズムにより、コンピュータ・モデルのインスタンスのトレーニングの変更を自動的に追跡し、これを、コンピュータ・モデルのインスタンスの性能／正確性の変化と相関付ける自動コンピュータ・ツールが提供される。トレンド・アナリティクスは、コンピュータ・ツールによって追跡情報に対し自動的に実行され、これは、コンピュータ・モデルの単一のインスタンスについて、または異なるトレーニング・プロセスを受ける同じもしくは異なるコンピュータ・モデルの複数のインスタンスにわたって追跡することができる。トレンド・アナリティクスは、コンピュータ・モデル・インスタンスのトレーニングに対し行われた変更のタイプにおけるトレンド、およびコンピュータ・モデル・インスタンスの性能／正確性の対応する変化を特定し、ここでもまた、異なる性能／正確性パラメータに関する性能／正確性の変化のタイプを潜在的に相関付ける。これらのタイプの変更は、例示的な実施形態の自動計算ツールが、コンピュータ・モデルのトレーニングに対する特定のタイプの変更の結果として、ランタイム使用のために展開されているときのコンピュータ・モデルの性能／正確性における特定のタイプの変化が生じる傾向にあると判断することができるように、例えば、トレーニング・データ内に存在するエンティティの特定のタイプの追加／削除／変更、ハイパーパラメータに対する変更のタイプ、例えば、パラメータ値における増減、用いられるトレーニング・ツールに対する変更等とすることができる。

このため、本発明は、好ましい実施形態によれば、論理構造を含み、コンピュータ分野、すなわち、コンピュータ・モデルのトレーニングにおける問題に対処するための特定のコンピュータプロセスを実行するように特に構成された、改善されたコンピュータ・ツールを特に対象とすることを理解することができる。改善されたコンピュータ・ツールは、改善されたコンピュータ・ツールに対しコンピュータ・ツールが以前に有していなかった新たな機能を与えるメカニズムを提供し、ひいては、好ましい実施形態に従って本発明の改善されたコンピュータ・ツールのメカニズムを用いてトレーニングされるコンピュータ・モデルの機能を改善する。すなわち、改善されたコンピュータ・ツールの動作を通じて、コンピュータ・モデルの性能および正確性が改善される。

様々な例示的な実施形態のより詳細な論考を始める前に、まず、本明細書全体を通じて、用語「メカニズム」は、様々な動作、機能等を行う本発明の要素を称するのに用いられることになるのを認識すべきである。本明細書で用いられる用語としての「メカニズム」は、装置、手順、またはコンピュータ・プログラム製品の形態の例示的な実施形態の機能または態様の実装であってもよい。手順の場合、手順は、１つまたは複数のデバイス、装置、コンピュータ、データ処理システム等によって実装される。コンピュータ・プログラム製品の場合、コンピュータ・プログラム製品中または製品上に具現化されたコンピュータ・コードまたは命令によって表されるロジックが、機能を実装するため、または特定の「メカニズム」に関連付けられた動作を実行するために、１つまたは複数のハードウェア・デバイスによって実行される。このため、本明細書に記載のメカニズムは、特化されたハードウェア、汎用ハードウェア上で実行されるソフトウェア、特化されたまたは汎用のハードウェアによって容易に実行可能であるように媒体上に記憶されたソフトウェア命令、機能を実行するための手順もしくは方法、または上記の任意の組合せとして実装することができる。

本明細書および特許請求の範囲は、例示的な実施形態の特定の特徴または構成要素に関し、用語「或る（ａ）」、「の少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ）」、「の１つまたは複数（ｏｎｅ ｏｒ ｍｏｒｅ ｏｆ）」を使用し得る。これらの語および句は、特定の特徴または構成要素の少なくとも１つが特定の例示的な実施形態中に存在するが、１つより多くが存在することもあり得ることを言明することが意図されていることを理解されたい。すなわち、これらの語／句は、明細書または特許請求の範囲を単一の特徴／構成要素の存在に限定する、または複数のかかる特徴／構成要素の存在を必要とすることは意図されていない。逆に、これらの語／句は、複数のかかる特徴／構成要素が本明細書および特許請求の範囲にある可能性と共に、少なくとも単一の特徴／構成要素があることを必要としているだけである。

更に、用語「エンジン」の使用は、本明細書中で本発明の実施形態および特徴の説明に関連して用いられる場合、そのエンジンに起因し得るもしくはそれによって行われるまたはその両方の、アクション、ステップ、プロセス等を達成もしくは実行またはその両方を行うためのいかなる特定の実装にも限定することは意図されていないことを理解されたい。エンジンは、限定ではないが、マシン可読のメモリにロードまたは記憶され、プロセッサによって実行される適切なソフトウェアと組み合わせた、汎用プロセッサもしくは専用プロセッサまたはその両方の任意の使用を含む、限定ではないが、特定の機能を実行するソフトウェア、ハードウェア、および／もしくはファームウェア、またはこれらの任意の組合せであってもよい。更に、或る特定のエンジンに関連付けられた何らかの名称は、別途に指定されている場合を除き、参照の便宜のためのものであり、特定の実装に限定することを意図されてはいない。加えて、或るエンジンに帰属する任意の機能は、複数のエンジンによっても同様に行うことができ、同じ型または異なる型の別のエンジンの機能に組み込むもしくはこれと組み合わせるまたはその両方ができ、あるいは、様々な構成の１つまたは複数のエンジンにわたって分散させることができる。

更に、以下の説明では、例示的な実施形態の例示の実装を更に説明し、例示的な実施形態のメカニズムの理解を助けるために、例示的な実施形態の様々な構成要素の複数の様々な例が用いられることを理解されたい。これらの例は、非限定であることが意図され、例示的な実施形態のメカニズムの実施の様々な可能性を包括するものではない。当業者には、本明細書を考慮して、本発明の思想および範囲から逸脱することなく、本明細書に提供された諸例に加えてまたは置き換えて使用可能な、これら様々な構成要素に対する多くの他の代替的実施態様があることが明らかであろう。

本発明は、システム、方法、もしくはコンピュータ・プログラム製品またはこれらの組合せとすることができる。このコンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または媒体群）を含むことが可能である。

コンピュータ可読記憶媒体は、命令実行デバイスによって使用されるように命令を保持および記憶することができる有形のデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、限定ではないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、または上記の任意の適切な組合せとすることができる。コンピュータ可読記憶媒体のより具体的な例の網羅的でないリストは、以下、すなわち、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能なプログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭもしくはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリー・メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカード、もしくは命令が記録されている溝の中の隆起構造等の機械的に符号化されたデバイス、および以上の任意の適切な組合せを含む。本明細書において使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、または配線を通して伝送される電気信号等の、一過性の信号自体であると解釈されるべきではない。

本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされること、またはネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、または無線ネットワーク、あるいはその組合せを介して外部コンピュータもしくは外部ストレージ・デバイスにダウンロードされることが可能である。ネットワークは、銅伝送ケーブル、伝送光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを含み得る。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カードまたはネットワーク・インタフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、そのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＪａｖａ（商標）、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋等のオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似したプログラミング言語等の従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組合せで書かれたソース・コードもしくはオブジェクト・コードとすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンのソフトウェア・パッケージとして、部分的にユーザのコンピュータ上で、かつ部分的に遠隔コンピュータ上で、または完全に遠隔コンピュータもしくは遠隔サーバの上で実行することができる。完全に遠隔コンピュータもしくは遠隔サーバの上で実行されるシナリオにおいて、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを通じてユーザのコンピュータに接続されてもよく、または接続は、外部コンピュータに対して（例えば、インターネット・サービス・プロバイダを用いてインターネットを通じて）行われてもよい。いくつかの実施形態において、例えば、プログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実行するためにその電子回路を個人設定すべく、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行してもよい。Ｊａｖａ（Ｒ）および全てのＪａｖａ（Ｒ）ベースの商標およびロゴは、Ｏｒａｃｌｅ社もしくはその関係会社またはその両方の商標または登録商標である。

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャートまたはブロック図、あるいはその両方を参照して本明細書において説明される。フローチャートまたはブロック図、あるいはその両方の各ブロック、ならびにフローチャートまたはブロック図、あるいはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実装されることが可能であることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図、あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施するための手段を作り出すように、汎用コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供されてマシンを作り出すものであってもよい。また、これらのコンピュータ可読プログラム命令は、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図、あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作の態様を実施する命令を含む製品を備えるように、コンピュータ可読記憶媒体に記憶されて、コンピュータ、プログラマブル・データ処理装置、または他のデバイス、あるいはその組合せに特定の方式で機能するように指示することができるものであってもよい。

また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令が、フローチャートまたはブロック図、あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施するように、コンピュータによって実施されるプロセスを生成するために、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラマブル装置、または他のデバイスの上で一連の動作ステップを実行させてもよい。

図におけるフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実施するための１つまたは複数の実行可能命令を備える、命令のモジュール、セグメント、または一部分を表すことが可能である。いくつかの代替的な実装形態において、ブロックに記載される機能は、図に記載される順序を外れて生じてもよい。例えば、連続して示される２つのブロックが、実際には、実質的に同時に実行されてもよく、またはそれらのブロックが、関与する機能に依存して、場合によっては逆の順序で実行されてもよい。また、ブロック図またはフローチャート、あるいはその両方の各ブロック、ならびにブロック図またはフローチャート、あるいはその両方におけるブロックの組合せは、指定された機能もしくは動作を実行する、または専用ハードウェア命令とコンピュータ命令の組合せを実行する専用ハードウェア・ベースのシステムによって実施され得ることにも留意されたい。

上述したように、本発明は、好ましい実施形態によれば、コンピュータ・モデルのトレーニングに対し行われた変更を複数のトレーニング・インスタンスにわたって追跡し、これらの変更を、コンピュータ・モデルの性能／正確性の変化と相関付けることによってコンピュータ・モデルのトレーニングを改善するための、改善したコンピュータ・ツールを提供する。コンピュータ・モデルのトレーニングにおけるトレンドを特定するための追跡情報、例えば、１つまたは複数のトレーニング特性、例えば、トレーニング・データにおけるエンティティのタイプまたはトレーニング・データ自体の他の特性における特定の変更、１つまたは複数のハイパーパラメータの変更、用いられる特定のトレーニング・アルゴリズムまたはトレーニング・ツールの変更等、性能／正確性の差における結果、例えば、コンピュータ・モデルのトレーニングの収束速度、トレーニングされたコンピュータ・モデルにおける誤差／損失量、または他の性能／正確性メトリックの差に対し、アナリティクスが実行される。

トレーニング特性に対する変更と、性能／正確性の変化との相関付けにより、コンピュータ・モデルをトレーニングするためのトレーニング推薦を生成するのに用いられるトレンド情報、または１つもしくは複数のロケーションにおける複数の開発者にわたるコンピュータ・モデルのコピーが生成される。ここで、コンピュータ・モデルのコピーは、特定の使用、例えば、ヘルスケア治療推薦モデル等の同じコンピュータ・モデルについてトレーニングされており、異なる開発者によって異なる目的で、例えば、異なる開発者によって膀胱がん患者のための治療推薦を提供するようにコンピュータ・モデルの別のコピーがトレーニングされるのに対し、或る開発者による、前立腺がん患者のための治療推薦を提供するためのコンピュータ・モデルのトレーニングの目的で、開発することができる。しかしながら、類似のトレーニング推薦を用いて、トレーニング特性における特定されたトレンドおよびコンピュータ・モデルの性能／正確性の改善における対応するトレンドに基づいて、異なる開発者がコンピュータ・モデルの個々のコピーをトレーニングすることを支援することができる。

例示的な実施形態の改善されたコンピュータ・ツールは、多くの異なるタイプのデータ処理環境において利用することができる。例示的な実施形態の特定の要素および機能の記述のためのコンテキストを提供するために、図１～図２は、以後、例示的な実施形態を実施することができる例示的な環境として提供される。図１～図２は単なる例であり、本発明の実施形態を実施することができる環境に関していかなる限定も主張または暗示することを意図したものでないことを理解されたい。示された環境に対する多くの変更は、本発明の思想および範囲から逸脱することなく行うことができる。

図１は、要求処理パイプライン１０８を実施するデータ処理システム１００の１つの例示的な実施形態の概略図を示す。データ処理システム１００は、いくつかの場合、コンピュータ・ネットワーク１０２においてＱＡパイプライン１０８を用いる質問応答（ＱＡ）コンピューティング・システム等のコグニティブ・コンピューティング・システムとすることができる。データ処理システム１００の一部として利用することができるコグニティブ・コンピューティング・システムの例は、ニューヨーク州アーモンク所在のインターナショナル・ビジネス・マシーンズ（ＩＢＭ）コーポレーションから入手可能なＩＢＭワトソン（商標）コグニティブ・コンピューティング・システムである。そのようなコグニティブ・コンピューティング・システムにおいて実施されるコンピュータ・モデル自体は、多くの異なる形態をとることができ、例えば、ニューラル・ネットワーク、回帰モデル、時系列分析モデル、トレンド分析モデル、挙動モデル、シミュレーション・モデル、もしくは任意の他のタイプのコンピュータ・モデル挙動アルゴリズム、またはトレーニング特性の調節を通じてコンピュータ・モデルを反復的にトレーニングし、トレーニングされたコンピュータ・モデルまたはシミュレーションの性能／正確性の変化を判断することによる教師ありもしくは教師なし機械学習プロセスを通じてトレーニングされるコンピュータ・シミュレーションを含むことができる。ＩＢＭおよびワトソンは、米国または他の国あるいはその両方におけるインターナショナル・ビジネス・マシーンズ・コーポレーションの商標である。

コグニティブ・コンピューティング・システムは、自身のコグニティブ・コンピュータ動作を実行するためにコンピュータ・モデルを利用するため、図１に示すコグニティブ・コンピューティング・システム実施態様は例にすぎないことを理解されたい。しかしながら、本発明は、好ましくは、コンピュータ・モデル、シミュレーションまたは挙動アルゴリズムがトレーニングおよび利用される任意の実施態様に適用可能であり、これには、コグニティブ・コンピューティング・システムまたは対応するパイプライン１０８を必要としない実施態様が含まれる。

本説明の目的で、データ処理システム１００は、要求処理パイプライン１０８が、入力質問の形態で構造化された、または構造化されていない、あるいはその両方の要求に対し動作するＱＡパイプラインとして実装されるＱＡシステムとして実装されたコグニティブ・コンピューティング・システムであると仮定される。そのような構造化された、または構造化されていない、あるいはその両方の要求に対し動作する際、ＱＡシステム１００の特定の実施およびその意図される目的、例えば、前立腺がん患者のための治療推薦の生成、医療画像診断の実行、患者電子医療記録の評価、車両ナビゲーションまたは衝突回避の実行、金融商品／サービス推薦の提供等に固有とすることができる１つまたは複数のトレーニングされたコンピュータ・モデルが利用される。これらのコンピュータ・モデルは、トレーニング・コンピュータ・システムおよび１つまたは複数のトレーニング・データ・セットを用いてトレーニングすることができる。本明細書に記載の原理と併せて用いることができる質問処理動作の１つの例は、参照によりその全体が本明細書に援用される、米国特許出願公開第２０１１／０１２５７３４号に記載されている。

図１に示すように、データ処理システム１００、例えば、コグニティブ・システム１００は、コンピュータ・ネットワーク１０２に接続された１つまたは複数のコンピューティング・デバイス１０４Ａ～Ｄ（１つまたは複数のプロセッサおよび１つまたは複数のメモリ、ならびに潜在的に、バス、ストレージ・デバイス、通信インタフェース等を含む当該技術分野において一般的に既知の任意の他のコンピューティング・デバイス要素を含む）において実施される。説明の目的のみで、図１は、コンピューティング・デバイス１０４Ａのみで実施されるコグニティブ・システム１００を示すが、上述したように、コグニティブ・システム１００は、複数のコンピューティング・デバイス１０４Ａ～Ｄ等の複数のコンピューティング・デバイスにわたって分散されてもよい。ネットワーク１０２は、サーバ・コンピューティング・デバイスとして動作することができる複数のコンピューティング・デバイス１０４Ａ～Ｄ、および１つまたは複数の有線または無線あるいはその両方のデータ通信リンクを介して互いにおよび他のデバイスまたは構成要素と通信するクライアント・コンピューティング・デバイスとして動作することができる複数のコンピューティング・デバイス１１０～１１２を含み、ここで、各通信リンクは、配線、ルータ、スイッチ、送信機、受信機等のうちの１つまたは複数を含む。いくつかの例示的な実施形態において、コグニティブ・システム１００およびネットワーク１０２は、それぞれのコンピューティング・デバイス１１０～１１２を介した１つまたは複数のコグニティブ・システム・ユーザのための質問処理および回答生成（ＱＡ）機能を可能にする。他の実施形態において、コグニティブ・システム１００およびネットワーク１０２は、限定ではないが、所望の実施態様に応じて多くの異なる形態をとることができる要求処理およびコグニティブ応答生成、例えばコグニティブ情報索出、ユーザのトレーニング／命令、データのコグニティブ評価等を含む他のタイプのコグニティブ動作を提供することができる。コグニティブ・システム１００の他の実施形態を、本明細書に示したもの以外の構成要素、システム、サブシステムまたはデバイス、あるいはその組合せと共に用いることができる。

コグニティブ・システム１００は、様々なソースから入力を受信する要求処理パイプライン１０８を実施するように構成される。要求は、自然言語質問、情報の自然言語要求、コグニティブ動作の実行の自然言語要求等の形態で課すことができる。例えば、コグニティブ・システム１００は、ネットワーク１０２、電子文書の１つまたは複数のコーパス１０６、コグニティブ・システム・ユーザ、または他のデータおよび他の可能な入力源、あるいはその組合せから入力を受信する。１つの実施形態において、コグニティブ・システム１００への入力のうちのいくつかまたは全ては、ネットワーク１０２を通じてルーティングされる。ネットワーク１０２における様々なコンピューティング・デバイス１０４Ａ～Ｄは、コンテンツ作成者およびコグニティブ・システム・ユーザのためのアクセス・ポイントを含む。コンピューティング・デバイス１０４Ａ～Ｄのうちのいくつかは、（単に例示の目的で図１において別個のエンティティとして示される）データの１つまたは複数のコーパス１０６を記憶するデータベースのためのデバイスを含む。データの１つまたは複数のコーパス１０６の部分は、１つまたは複数の他のネットワークにアタッチされたストレージ・デバイス、１つまたは複数のデータベース、または図１に明示的に示されない他のコンピューティング・デバイスにも提供することができる。コグニティブ・システム１００が、ローカルおよびグローバルを含む任意のサイズの環境、例えばインターネットにおいて動作することができるように、ネットワーク１０２は、様々な実施形態において、ローカル・ネットワーク接続およびリモート接続を含む。

１つの実施形態において、コンテンツ作成者は、コグニティブ・システム１００によりデータのコーパスの一部として用いるためのデータの１つまたは複数のコーパス１０６の文書内のコンテンツを作成する。文書は、コグニティブ・システム１００において用いるための任意のファイル、テキスト、アーティクル、またはデータソースを含む。コグニティブ・システム・ユーザは、ネットワーク１０２へのネットワーク接続またはインターネット接続を介してコグニティブ・システム１００にアクセスし、コグニティブ・システム１００への質問／要求を入力し、これらは、データの１つまたは複数のコーパス１０６におけるコンテンツに基づいて回答／処理される。１つの実施形態において、質問／要求は自然言語を用いて形成される。コグニティブ・システム１００は、パイプライン１０８を介して質問／要求をパースおよび解釈し、課された質問に対する１つまたは複数の回答、要求に対する応答、要求の処理結果等を含む応答をコグニティブ・システム・ユーザ、例えば、コグニティブ・システム・ユーザ１１０に提供する。いくつかの実施形態では、コグニティブ・システム１００は、候補回答／応答のランク付けされたリストにおいてユーザに応答を提供するのに対し、他の例示的な実施形態において、コグニティブ・システム１００は、単一の最終回答／応答、または最終的な回答／応答と他の候補回答／応答のランク付けされたリストとの組合せを提供する。

コグニティブ・システム１００は、データの１つまたは複数のコーパス１０６から得られた情報に基づいて入力質問／要求を処理するための複数の段階を含むパイプライン１０８を実施する。ここで、これらの段階のうちの１つまたは複数は、１つまたは複数のコンピュータ・モデルを実施して、データの１つまたは複数のコーパス１０６から得られた入力質問／要求またはデータあるいはその組合せの対応する処理の実行を支援することができる。パイプライン１０８は、入力質問／要求およびデータの１つまたは複数のコーパス１０６の処理に基づいて入力質問または要求のための回答／応答を生成する。

上述したように、いくつかの例示的な実施形態において、コグニティブ・システム１００は、ニューヨーク州アーモンク所在のインターナショナル・ビジネス・マシーンズ・コーポレーションから入手可能なＩＢＭワトソン（商標）コグニティブ・システムとすることができる。そのような例示的な実施形態において、ＩＢＭワトソン（商標）コグニティブ・システム、例えばコグニティブ・システム１００のパイプライン、例えばパイプライン１０８は、入力質問または要求を受信し、次にこれをパースして、質問／要求の主要な特徴を抽出し、そして次にこれを用いて、データの１つまたは複数のコーパス１０６に適用されるクエリを定式化する。データの１つまたは複数のコーパス１０６へのクエリの適用に基づいて、データの１つまたは複数のコーパス１０６にわたって、入力質問／応答（以後、入力質問であると仮定される）に対する価値のある応答を含む可能性がいくらかあるデータの１つまたは複数のコーパス１０６（以後、単にコーパス１０６と呼ぶ）の部分を探すことによって、仮説のセット、または入力質問／要求に対する候補回答／応答が生成される。次に、ＩＢＭワトソン（商標）コグニティブ・システムのパイプライン１０８は、入力質問の言語、および多岐にわたる推論アルゴリズムを用いてクエリの適用中に得られたコーパス１０６の部分の各々において用いられる言語に対し綿密な分析を行う。

次に、様々な推論アルゴリズムから得られるスコアは、潜在的な候補回答が質問によって推測される根拠に関して、この例では、ＩＢＭワトソン（商標）コグニティブ・システム１００のパイプライン１０８が有する確信度を要約する統計モデルに対し重み付けされる。このプロセスは、候補回答のランク付けされたリストを生成するために候補回答の各々について繰り返され、これは次に、入力質問を提出したユーザ、例えばクライアント・コンピューティング・デバイス１１０のユーザに提示することができるか、またはここから最終的な回答が選択され、ユーザに提示される。ＩＢＭワトソン（商標）コグニティブ・システム１００のパイプライン１０８に関する更なる情報は、例えば、ＩＢＭコーポレーションのウェブサイト、ＩＢＭレッドブック等から得ることができる。例えば、ＩＢＭワトソン（商標）コグニティブ・システムのパイプラインに関する情報は、Yuan他「Watson and Healthcare」IBM developerWorks, 2011、およびRob Highによる「The Era of Cognitive Systems: An Inside Look at IBM Watson and How it Works」IBM Redbooks, 2012に見ることができる。

上述したように、クライアント・デバイスからコグニティブ・システム１００への入力は、自然言語質問の形態で課すことができるが、例示的な実施形態はそのように限定されない。むしろ、入力質問は、実際には、コグニティブ分析を行い、コグニティブ分析の結果を提供する際の基礎を決定するために、限定ではないが、ＩＢＭワトソン（商標）等のコグニティブ・システムの自然言語パースおよび分析メカニズムを含む構造化された、または構造化されていない、あるいはその両方の入力分析を用いてパースおよび分析することができる任意の適切なタイプの要求として定式化または構造化することができる。ヘルスケア・ベースのコグニティブ・システムの場合、例えば、この分析は、ヘルスケアを重視したコグニティブ・システム結果、例えば、患者の医学的状態の診断、患者のための治療推薦、医療撮像における異常の強調等を提供するために、患者の医療記録、１つまたは複数のコーパスからの医療指導文書等を処理することを伴うことができる。車両ナビゲーションまたは衝突回避システムあるいはその両方等の他の状況において、カメラから捕捉された画像等を分析して、オブジェクトを分類し、適切な警告、是正措置、例えば制動／操縦制御等を決定することができる。財務評価の状況では、リスク決定を行うことができ、金融商品／サービスのための推薦を生成することができる等である。行うことができる可能なコグニティブ動作は、多数であり、本明細書に全ての可能性を記すことは実現可能でない。コンピュータ実施コグニティブ・コンピューティング・システムによって実行することができる任意のコグニティブ動作は、本発明の例示的な実施形態の思想および範囲内にあることが意図される。

図１に示すように、本発明の例示的な実施形態は、図１のコグニティブ・システム１００等のデータ処理システムにおける実行を通じたランタイム使用のために開発することができるコンピュータ・モデルのトレーニングを改善することを特に対象とした改善されたコンピュータ・ツール１５０を提供する。ここでもまた、これは例にすぎず、トレーニングされ、そのトレーニングが例示的な実施形態のうちの１つまたは複数の動作を通じて改善されるコンピュータ・モデル、シミュレーション、アルゴリズム等は、コグニティブ・コンピューティング・システムとの使用に限定されず、コンピュータ・モデル、シミュレーション、アルゴリズムが利用される任意のコンピューティング・システム構成において実施することができる。更に、例示的な実施形態は、そのようなコンピュータ・モデル、シミュレーション、アルゴリズム等のトレーニングを改善するための、改善されたコンピュータ・ツールを特に対象とし、このため、これらのコンピュータ・モデル、シミュレーション、アルゴリズム等は、１つまたは複数のトレーニング・データ・セット、ハイパーパラメータ、トレーニング・ツール等を用いて、多くの場合反復的方式でトレーニングされる性質を有する。例示的な実施形態の改善されたコンピュータ・ツールは、コンピュータ・モデル・トレーニング・コンピューティング・システム１５０を実施するために、例示的な実施形態のメカニズムに従って、専用ハードウェア、ハードウェア上で実行されるソフトウェア、または専用ハードウェアとハードウェア上で実行されるソフトウェアとの任意の組合せにおいて実施される論理構造およびプロセスを含むように更に拡張される１つまたは複数のコンピューティング・デバイス、ストレージ・デバイス、メモリ、通信インタフェース等を含むことができることを理解されたい。

図１に示すように、コンピュータ・モデル・トレーニング・コンピューティング・システム１５０は、トレーニング・データ・セット・トレンド分析エンジン１５２と、トレーニング・ツール・トレンド分析エンジン１５４と、コンピュータ・モデル（または単に「モデル」）ハイパーパラメータ・トレンド分析エンジン１５６と、モデル結果相関付けエンジン１５８と、モデル・インスタンス追跡インタフェース・エンジン１６０と、コンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２と、開発者間トレンド・アナリティクス・エンジン１６４と、トレーニング推薦エンジン１６６と、自動推薦実施エンジン１６８と、トレーニング・データ・セット・ソース特性追跡エンジン１７０とを備える。コンピュータ・モデル・トレーニング・コンピューティング・システム１５０のこれらの要素の各々は、ハードウェア、ハードウェア上で実行されるソフトウェア、またはハードウェア／ソフトウェア実施の組合せとして実施することができる。要素１５２～１７０は、コンピュータ・モデルのトレーニングにおけるトレンドの特定、コンピュータ・モデルのトレーニングを改善するための推薦の生成、およびいくつかの例示的な実施形態では、コンピュータ・モデルのトレーニングを改善するための推薦された動作の実際の自動実行を通じて、コンピュータ・モデルのトレーニングを改善する目的を達成するために、互いと併せて動作する。

モデル・インスタンス追跡インタフェース・エンジン１６０は、反復的トレーニング・プロセスを通じてコンピュータ・モデルの実施および開発に関与する開発者ワークステーション、他のサーバ・コンピューティング・デバイス等からの情報を得るのに必要なコンピュータ・ロジックおよびコンピュータ論理構造を提供する。例えば、１つまたは複数のクライアント・コンピューティング・デバイス１１０、１１２は、１つまたは複数のサーバ１０４Ｃ、１０４Ｄにおいて実行されるコンピュータ・モデルのコピーに対し動作することができる。クライアント・コンピューティング・デバイス１１０、１１２またはサーバ１０４Ｃ、１０４Ｄあるいはその両方は、コンピュータ・インタフェース、トレーニング・ツール等を提供することができ、これを通じて、ユーザ、例えばコンピュータ・モデル開発者は、コンピュータ・モデルのコピーのトレーニングの反復を実行するときに用いるためのトレーニング特性、例えば、何のトレーニング・データ・セットを利用するか、ハイパーパラメータの設定等を指定することができる。１つまたは複数のサーバ１０４Ｃ、１０４Ｄにおいて実行されるコンピュータ・モデルのコピーを開発する際、開発者は、例えば、変更がコンピュータ・モデルの性能および正確性に影響を及ぼすようにコンピュータ・モデルの対応するコピーをトレーニングするのに利用されるトレーニング・データ・セットに追加／削除／変更を行うことによって、利用されるトレーニング・ツールまたはアルゴリズムに変更を行うことによって、トレーニング中のコンピュータ・モデルのコピーを構成するのに用いられるハイパーパラメータの設定を変更することによって等によりコンピュータ・モデルのコピーのトレーニング特性を変更および更新することができる。

モデル・インスタンス追跡インタフェース・エンジン１６０は、コンピュータ・モデルのコピーを実行するクライアント・コンピューティング・デバイス１１０、１１２またはサーバ・コンピューティング・デバイス１０４Ｃ、１０４Ｄあるいはその両方に存在しそこで実行するエージェント１７２、１７４と併せて動作することができ、ここで、これらのエージェント１７２、１７４は、開発者または開発者環境あるいはその両方によって用いられる特定のインタフェース、トレーニング・ツール、トレーニング・パイプライン等を監視して、トレーニング特性および結果として生成される対応するコンピュータ・モデル結果における変化を特定することができる。これは、コンピュータ・モデルのコピーをトレーニングするためのトレーニング特性の変更に関する情報、およびトレーニング特性の変更の結果として生成される対応するトレーニング結果を収集したものである。エージェント１７２、１７４は、収集されたトレーニング情報、例えばトレーニング特性の変更および対応するコンピュータ・モデル結果を、モデル・インスタンス追跡インタフェース・エンジン１６０を介してコンピュータ・モデル・トレーニング・コンピューティング・システム１５０に報告することができる。

エージェント・ベースの実施形態は、１つの可能な実施形態にすぎず、例示的な実施形態のメカニズムは、エージェントがクライアント・コンピューティング・デバイス１１０、１１２またはサーバ・コンピューティング・デバイス１０４Ｃ、１０４Ｄ、あるいはその両方において展開されるものにのみ限定されるわけではないことを理解されたい。いくつかの例示的な実施形態において、コンピュータ・モデルのコピーは、コグニティブ・コンピューティング・システム１００またはコンピュータ・モデル・トレーニング・コンピューティング・システム１５０、あるいはその両方が実施されるサーバ１０４Ａ～１０４Ｄにおいて実施することができる。例えば、いくつかの実施形態では、コンピュータ・モデルのコピーを実行し、これらの様々な開発者環境においてトレーニングすることができる複数の開発者環境を、例えば仮想マシンを介して仮想的に等により提供することができる。そのような実施形態において、エージェントは必要とされず、開発者環境の直接監視が可能である。本発明の思想および範囲から逸脱することなく、開発者環境からコンピュータ・モデル・トレーニング・コンピューティング・システム１５０にトレーニング情報を通信するための任意の適切なメカニズムを含むことができる他の実施態様も利用することができる。

トレーニング情報を、開発者環境から直接、展開されたエージェント１７２、１７４から、または特定の実施に固有の他の通信メカニズムを通じて受信する際、トレーニング情報は、タグ付けされるか、または他の形でコンピュータ・モデルの特定のコピー、開発者等と関連付けられる。加えて、トレーニング情報は、バージョン情報、またはコンピュータ・モデルのコピーをトレーニングするインスタンスを識別する他のインジケータを含むことができる。すなわち、例えば、開発者がトレーニングの新たなインスタンスを始動する度に、コンピュータ・モデルのコピー、新たなインスタンス識別子、またはバージョン識別子が生成され、トレーニング・インスタンスと関連付けられる。このため、トレーニング情報は、コンピュータ・モデルのコピー、およびコンピュータ・モデルのコピーをトレーニングするのに用いられるトレーニング・インスタンスと関連付けることができる。

トレーニング情報は、トレーニング・インスタンス中に用いられるトレーニング特性および生成されるコンピュータ・モデル結果を追跡する。いくつかの例示的な実施形態において、これらのトレーニング特性は、トレーニング・インスタンス中に用いられる特定のトレーニング特性、例えば利用されるトレーニング・データ・セット、利用されるトレーニング・ツール、ハイパーパラメータ設定等、およびコンピュータ・モデルによって出力されるコンピュータ・モデル結果として報告することができる。以下で論考するように、これらの例示的な実施形態において、全ての関連するトレーニング特性が報告され、他のトレーニング・インスタンスからのこれらのトレーニング特性の変更が下流のアナリティクスにおいて判断される。他の例示的な実施形態において、トレーニング特性の変更のみが報告され、これらの変化は、トレーニング・インスタンス・インジケータまたはバージョン・インジケータの比較から判断することができるように、以前のトレーニング・インスタンスからの変化とみなされる。

モデル・インスタンス追跡エンジン１６０を介して受信された、報告されたトレーニング情報を用いて、コンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２に対応するエントリが生成される。コンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２におけるエントリは、コンピュータ・モデルのコピーの識別子、トレーニング・インスタンス・インジケータ、トレーニング特性等によって任意の適切な方式でインデックス付けすることができる。このようにして、トレーニング特性に対する変更は、コンピュータ・モデルのコピーごとに新たなエントリとして経時的にコンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２において追跡することができ、トレーニング・インスタンスごとに生成され、この追跡情報におけるトレンドを特定するための様々なトレンド・アナリティクスの適用のために記憶される。例えば、１つのトレーニング・インスタンスと、別のトレーニング・インスタンスとで、異なるトレーニング・データ・セットが特定される場合がある。異なるトレーニング・データ・セットは、トレーニング・データ・セットにおいて、前のトレーニング・データ・セットから、何のエンティティが追加、削除または変更されたかの指定、利用されている完全に新しいトレーニング・データ・セットの識別子を含むことができ、これには、トレーニング・データ・セットのソース、新たなトレーニング・データ・セット内に存在するエンティティのタイプ等の、新たなトレーニング・データ・セットに関する任意の追加情報が含まれる。いくつかの場合、コンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２のエントリにおけるトレーニング特性情報は、トレーニング・データ・セットに対するポインタ、またはトレーニング・データ・セットの特性を指定するそのメタデータ、あるいはその両方を含むことができ、メタデータは、トレーニング・データ・セットに含まれるエンティティのタイプ、およびトレーニング・データ・セット間の差を決定するために他のトレーニング・データ・セットと比較することができる他の特性等である。

同様に、利用される特定のトレーニング・ツールまたはハイパーパラメータ設定あるいはその両方に関するトレーニング特性の変更は、コンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２のエントリにおけるこれらのトレーニング特性の記憶を通じて追跡される。例えば、特定のトレーニング・ツール、例えば、コンピュータ・モデル等のトレーニング・パラメータを変更するのに用いられるアルゴリズムの識別情報を、トレーニング・インスタンス・インジケータと関連付けて記憶することができる。別の例として、ハイパーパラメータの特定の設定を、コンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２における特定のトレーニング・インスタンスに対応するエントリに記憶することができる。代替的に、上述したように、コンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２におけるエンティティは、代わりに、必ずしも用いられる特定の値ではなく、行われた実際の変更を記憶することができ、例えば、ハイパーパラメータＸが３に等しいことを記憶するのではなく、代わりに、エントリは、ハイパーパラメータＸが１増大したことを指定することができ、または別の例では、追加、削除、変更されたトレーニング・データ・セット内のエンティティの特定のタイプのアイデンティティを記憶するのではなく、データベース１６２におけるエンティティは、タイプＡのエンティティが３００増大したこと、タイプＢのエンティティが５０減少したこと等を指定することができる。

コンピュータ・モデルのコピーのトレーニングの複数のインスタンスを経時的に追跡することができ、コンピュータ実施モデルのトレーニングの各インスタンスは、異なるトレーニング・データ・セット、異なるトレーニング・ツール、または異なるハイパーパラメータ設定、あるいはその組合せを用いてコンピュータ実施モデルをトレーニングし、コンピュータ実施モデルのトレーニングの他のインスタンスと異なるトレーニングされたコンピュータ実施モデルのインスタンスを生成することを伴うことを理解することができる。コンピュータ方法は、トレーニングの各インスタンス後に、トレーニング・データ・セットのトレーニング・データに対し、トレーニングされたコンピュータ実施モデルの対応するインスタンスを実行することによって、コンピュータ実施モデル結果を生成することを更に含む。生成されたコンピュータ実施モデル結果、または前のトレーニング・インスタンスからの生成されたコンピュータ実施モデル結果の差、あるいはその両方は、コンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２内のエントリと関連付けて記憶することもできる。

このコンピュータ実施モデル結果情報は、受信した他のトレーニング・インスタンス情報と共にモデル・インスタンス追跡インタフェース・エンジン１６０を介して受信される。コンピュータ実施モデル結果情報および他のトレーニング特性情報、またはいくつかの実施形態では、以前のトレーニング・インスタンスに対するこれらのタイプの情報の差は、トレーニングされたコンピュータ実施モデルのインスタンスの対応する識別子と関連付けて記録される。

トレーニング特性情報および結果情報を、モデル・インスタンス追跡インタフェース・エンジン１６０を通じて得て、コンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２に対応するエントリを記憶すると、記録された差および対応するコンピュータ実施モデル結果を分析するために、コンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２に記録されたエントリに対し様々なアナリティクスが適用される。これらのアナリティクスに基づいて、トレーニング特性の変更、およびコンピュータ・モデル結果におけるそれらの対応する変化のトレンドが特定され、記録された差と対応するコンピュータ実施モデル結果との間の相関を示す対応する出力が生成される。

トレーニング・データ・セット・トレンド分析エンジン１５２は、トレーニング・データ・セットの変更におけるトレンドを識別し、これらを、コンピュータ実施モデル結果に対する変化、例えば、性能または正確性メトリックあるいはその両方の変化におけるトレンドと相関付けるように特に構成され、これを対象とするアナリティクスを適用する。このため、例えば、トレーニング・データ・セット・トレンド分析エンジン１５２は、トレーニング・データ・セット特性に関するトレーニング・インスタンス間の変更のパターン、例えば、何のタイプのエンティティが追加、削除または変更されたか、トレーニング・データ・セットの何のソースが利用されるか等を特定して、経時的に、コンピュータ・モデル性能または正確性メトリック、あるいはその両方の改善／低下を結果的にもたらす変更を特定する。例えば、トレーニング・データ・セット・トレンド分析アナリティクスを通じて、エンジン１５２は、コンピュータ実施モデルの特定のコピーについてトレーニング・データ・セット内に存在するタイプＡの医用画像数を増大させることにより、患者医用撮像データにおける特定の異常の存在を予測することに関してコンピュータ・モデルの正確性のＸ量の改善を結果としてもたらすと判断することができる。

同様に、トレーニング・ツール・トレンド分析エンジン１５４は、トレーニング・ツールの変更のトレンドを識別し、これらをコンピュータ実施モデル結果に対する変化のトレンドと相関付けるように特に構成され、これを対象とするアナリティクスを適用する。このため、例えば、トレーニング・ツール・トレンド分析エンジン１５４は、コンピュータ・モデルのトレーニングを実行するのに利用される特定のトレーニング・ツールに関してトレーニング・インスタンス間の変更パターン、すなわち、トレーニングを実行するのに利用されるコンピュータ・ツールまたはアルゴリズムのどの変更、例えばツールＡからツールＢへの変更が、コンピュータ・モデル性能または正確性メトリックあるいはその両方の改善／低下を結果としてもたらすかを特定する。例えば、トレーニング・ツール・トレンド分析アナリティクスを通じて、エンジン１５４は、コンピュータ実施モデルの特定のコピーについて、トレーニング・ツールまたはアルゴリズムＢと対照的に、トレーニング・ツールまたはアルゴリズムＡを用いると、コンピュータ・モデルの性能／正確性のＸ量の改善が結果としてもたらされると判断することができる。

モデル・ハイパーパラメータ・トレンド分析エンジン１５６は、コンピュータ実施モデルのコピーをトレーニングするために用いられるモデル・ハイパーパラメータ設定の変更のトレンドを特定し、これらを、コンピュータ実施モデル結果に対するトレンドと相関付けるように特に構成され、これを対象とするアナリティクスを適用する。このため、例えば、モデル・ハイパーパラメータ・トレンド分析エンジン１５６は、ハイパーパラメータ設定に関するトレーニング・インスタンス間の変更パターンを特定して、コンピュータ・モデル性能または正確性メトリック、あるいはその両方における改善／低下を結果としてもたらす経時的な変更を特定する。例えば、モデル・ハイパーパラメータ・トレンド分析アナリティクスを通じて、エンジン１５６は、コンピュータ実施モデルの特定のコピーについて、コンピュータ・モデルのコピーのハイパーパラメータの設定を増大させ／減少させ／変更すると、コンピュータ・モデルの性能／正確性のＸ量の改善が結果としてもたらされると判断することができる。

モデル結果相関付けエンジン１５８は、様々なエンジン１５２～１５６によって特定されたトレーニング特性のトレンドを、コンピュータ実施モデル結果のトレンドと相関付ける。このため、トレーニング特性の変更は、コンピュータ実施モデル結果の変化にマッピングされ、そしてこのコンピュータ実施モデル結果は、コンピュータ実施モデル結果の改善／低下を結果としてもたらすトレーニング特性の潜在的変更を特定する。この相関付けは、コンピュータ・モデルのコピーのトレーニングの複数のインスタンスにわたってコンピュータ・モデルの個々のコピーに関して行うことができる。このため、これらのエンジン１５２～１５８およびコンピュータ・モデル・トレーニング・インスタンス追跡データベース１６２における対応するエントリを用いて、これらのトレンドを、コンピュータ・モデルの第１のコピーに関して特定することができ、異なるトレンドを、コンピュータ・モデルの第２のコピーに関して特定することができる。

様々なエンジン１５２～１５８によって実行されるアナリティクスが、データベース１６２内の追跡データに対し実行され、トレーニング特性およびコンピュータ実施モデルのコピーの対応する性能および正確性が特定される。このプロセスは、コンピュータ実施モデルとの反復トレーニングセッション、ならびに異なるトレーニング・データ・セット、異なるトレーニング・ツール、および異なるハイパーパラメータ設定について繰り返すことができる。

このため、例えば、１つの例示的な実施形態において、コンピュータ実施モデルのトレーニングの複数のインスタンスが、少なくとも、トレーニング・データの第１のバージョンおよび１つまたは複数のハイパーパラメータの第１のセットを用いてコンピュータ実施モデルに対し第１のトレーニング動作を実行して、コンピュータ実施モデルの第１のトレーニングされたインスタンスを生成することによって実行される。コンピュータ実施モデルのトレーニングの複数のインスタンスが、トレーニング・データの第２のバージョンおよび１つまたは複数のハイパーパラメータの第２のセットを用いてコンピュータ実施モデルに対し第２のトレーニング動作を実行して、コンピュータ実施モデルの第２のトレーニングされたインスタンスを生成することによって更に実行される。コンピュータ実施モデルのトレーニングのインスタンスの変更は、少なくとも、第１のトレーニング動作の第１の識別子を、トレーニング・データの第１のバージョンおよび１つまたは複数のハイパーパラメータの第１のセットと相関付ける第１の追跡データ構造、例えばデータベース１６２内のエントリを生成し、データ処理システムによって、第２のトレーニング動作の第２の識別子を、トレーニング・データの第２のバージョンおよび１つまたは複数のハイパーパラメータの第２のセットと相関付ける第２の追跡データ構造を生成することによって記録される。コンピュータ実施モデル結果は、少なくとも、コンピュータ実施モデルの第１のインスタンスを実行することにより第１のモデル結果を生成し、コンピュータ実施モデルの第２のインスタンスを実行することにより第２のモデル結果を生成することによって生成される。記録された差および対応するコンピュータ実施モデル結果の分析は、エンジン１５２～１５８によって、第１の追跡データ構造、第２の追跡データ構造、第１のモデル結果、および第２のモデル結果に対しアナリティクスを実行して、第１のモデル結果と第２のモデル結果との差と相関する、第１のトレーニング動作と第２のトレーニング動作との間の差を特定することを含む。

この例示的な実施形態のいくつかの場合、トレーニング・データの第２のバージョンは、トレーニング・データの第１のバージョンの変更バージョンである。例えば、開発者は、日毎に、トレーニング・データ内のエンティティが追加、削除、または他の形で変更されるトレーニング・データの前のバージョンの新たなバージョンとすることができる新たなトレーニング・データに対し、コンピュータ実施モデルを実行することができ、トレーニング特性の変更と相関付けることができる正確性の特定されたトレンドをもたらすことができる、コンピュータ実施モデルの正確性の更新を得ることができる。同様に、そのようなバージョニングは、特定のハイパーパラメータ設定、利用されるトレーニング・ツール等に関して実行することができる。

様々なエンジン１５２～１５８によって適用されるアナリティクスは、コンピュータ・モデルの個々のコピーのための追跡されたトレーニング特性情報および性能／正確性情報に適用することができる。次に、開発者間のトレンド分析エンジン１６４は、コンピュータ・モデルの複数の開発者および複数のコピーにわたって、エンジン１５２～１５８によって用いられるものに対し、他のアナリティクスまたは類似のアナリティクスを適用することができる。例えば、コンピュータ・モデルを利用する特定の顧客の特定の所望の実施および目的のためにコンピュータ・モデルのトレーニングされたコピーを開発する異なる開発者に、同じコンピュータ・モデルの複数のコピーを配布することができる。トレーニング特性のトレンド、およびコンピュータ・モデルのコピーの性能／正確性におけるそれらの対応するトレンドを相関付け、同じコンピュータ・モデルのこれらの様々な複数のコピーにわたって分析し、それによって異なる開発者環境および開発者について、異なるトレーニング特性変更に対しコンピュータ・モデルがどのように反応するかを特定することができる。このため、マクロ・トレンド分析が開発者間で可能にされる。

コンピュータ実施モデルの単一のコピーについて、または潜在的に複数の開発者にわたるコンピュータ実施モデルの複数のコピーにわたって特定されたトレンドに基づいて、例示的な実施形態のメカニズムは、トレーニング特性をどのように改善するかを示すトレーニング推薦を生成し、それによって、コンピュータ・モデルの結果として得られるトレーニングされたコピーの性能／正確性を改善することができる。トレーニング推薦は、様々なエンジン１５２～１５８によって以前に特定されたトレンドの分析に基づいて、および潜在的に（１６４）、これらのトレンドを分析してトレーニング特性の何の変更がコンピュータ・モデルのコピーの性能／正確性を増大させるか、例えば、Ｘのようなエンティティをより多く含むことによりコンピュータ・モデルの正確性が増大すること、或るエンティティを除去することによりコンピュータ・モデルの正確性が増大すること、ハイパーパラメータ値を特定の範囲または値に設定することにより正確性が改善すること等を特定することによって生成される。いくつかの場合、トレーニング推薦は、アーキテクチャＡを有するコンピュータ・モデルが、アーキテクチャＢを有するコンピュータ・モデルよりも良好な結果を与えることを指定する等、特定のアーキテクチャを対象とすることができる。

トレーニング推薦は、１つまたは複数のグラフィカル・ユーザ・インタフェース（ＧＵＩ）、ダッシュボード等を介して提示することができる。ＧＵＩまたはダッシュボードは、例示的な実施形態のアナリティクスを通じて特定されたトレンドのグラフィック表現、そのようなトレンド情報の表形式の表現、または特定の実施に適したトレンド情報の任意の他の表現を含むことができる。１つの例示的な実施形態において、ＧＵＩまたはダッシュボードは、トレーニング・インスタンスが、トレーニング・インスタンス中に用いられる特定のトレーニング特性に関する詳細な情報を得るために選択可能なグラフに沿ったポイントとして表されるトレンド情報のグラフ表現を含む。例えば、１つの軸に沿って、コンピュータ・モデルの性能／正確性をプロットすることができ、別の軸に沿って、経時的なコンピュータ・モデルの性能・正確性が表されるように時間をプロットすることができる。プロットされたグラフのポイントは、生成されたコンピュータ・モデル結果、すなわち性能／正確性メトリックに従ってプロットされた、異なる時点における異なるトレーニング・インスタンスを表す。単純な例は２次元グラフであり得るが、より複雑な実施は、多くの異なる性能／正確性メトリックがプロットされ、異なるトレーニング特性が表される多次元グラフを利用することができることを理解されたい。

トレーニング推薦エンジン１６６は、これらのＧＵＩ、ダッシュボード等を生成および出力し、これらをコンピュータ・モデルの開発者に提示して、トレーニングを改善し、それによって結果として得られるトレーニングされたコンピュータ・モデルを改善するために、コンピュータ・モデルのトレーニング・プロセスのトレーニング特性に対し何の変更を行うことができるかを理解するのを支援することができる。いくつかの例示的な実施形態において、追跡されたトレーニング情報のグラフィック表現に加えて、またはこれに代えて、トレーニング推薦エンジン１６６は、コンピュータ・モデルのためのトレーニング・インスタンスのトレーニング特性を変更するための自然言語または他の人間が読み取ることが可能な推薦を生成することができる。

いくつかの場合、トレーニング推薦エンジン１６６によって生成される推薦は、行うべきでない変更に関する推薦も含むことができる。例えば、受信トレーニング情報に対し適用されるトレンド・アナリティクスを通じて、トレーニング推薦エンジン１６６は、トレーニング特性に対する特定のタイプの変更が行われたとき、コンピュータ・モデルの低減されたまたはより低い性能／正確性のパターンが存在すると判断することができる。これらのトレンドの結果として、トレーニング推薦エンジン１６６は、コンピュータ・モデルのより低い正確性または性能を結果としてもたらすそのような変更が行われないことを推薦することができる。

いくつかの例示的な実施形態において、トレーニング推薦エンジン１６６によって生成される推薦は、トレーニング推薦を自動的に実施する自動推薦実施エンジン１６８によって用いられる。例えば、トレーニング推薦は、ハイパーパラメータの設定を増大させ／低減させ／変更することによって、ハイパーパラメータ設定を変更する推薦を含むことができる。自動推薦実施エンジン１６８は、トレーニングされるコンピュータ・モデルによって生成されるコンピュータ・モデル結果を改善するための別のトレーニング・インスタンスを実行するために、トレーニング推薦に従ってハイパーパラメータ設定を自動的に修正することができる。別の例として、トレーニング推薦は、コンピュータ・モデル結果を改善する傾向にある特定のトレーニング・ツールを指定することができ、用いられるトレーニング・ツールは、コンピュータ・モデル性能／正確性を改善する特定されたトレーニング・ツールに自動的に変更することができる。

他の例示的な実施形態において、トレーニング推薦は、トレーニング・データ・セット自体およびトレーニング・データ・セットの特定の組成、例えば、トレーニング・データ・セットに何のタイプのエンティティが含まれるか、どれだけの量の異なるタイプのエンティティがトレーニング・データ・セット内に存在するか、改善されたコンピュータ・モデル結果を提供するトレーニング・データの特定のソース等を変更することであり得る。トレーニング・データ・セットに含まれるエンティティのタイプ、エンティティタイプの量等に関する推薦に基づいて、これらのトレーニング・データ・セット特性は、コンピュータ・モデルの正確性または性能あるいはその両方を改善すると判断されるエンティティ、すなわち、探索基準に合致するエンティティ、およびこのためトレーニング推薦を含むことができる、１つまたは複数のトレーニング・データ・セット・リポジトリにおける他のトレーニング・データ・セットの自動探索を実行するための探索基準として用いられる。例えば、新たなトレーニング・データ・セットが利用可能にされる際、それらの特性を、トレーニング・データ・セット・ソース特性追跡エンジン１７０に登録することができる。このトレーニング・データ・セット・ソース特性追跡エンジン１７０、およびトレーニング・データ・セット・ソース特性追跡エンジン１７０によって維持されるレジストリによって、自動探索を行うことができる。

いくつかの例示的な実施形態において、自動探索によって自動的に特定される、自動的に特定されたトレーニング・データ・セットは、自動推薦実施エンジン１６８によって自動的に索出することができ、コンピュータ・モデルをトレーニングするのに用いることができる。このプロセスは、コンピュータ・モデルの所望の正確性もしくは性能が達成されるまで、または利用可能なトレーニング・データ・セット、ツール等に基づいて更なる改善が可能でない、例えば、コンピュータ・モデルのエラーまたは損失が所定の閾値以下であると判断されるまで繰り返すことができる。

上述したように、コンピュータ・モデルの各トレーニング・インスタンスは、トレーニング特性に対する特定の変更、および生成された特定のコンピュータ・モデル結果と共に追跡することができる。このため、この追跡により、必要な場合、トレーニング・データの前のバージョンを再作成することができるように、トレーニング・データのバージョン追跡が可能にされる。すなわち、いくつかの例示的な実施形態において、モデルによる使用のためにフォーマット設定されたトレーニング・データの、最初に受信したトレーニング・データへのマッピングが、様々なトレーニング・インスタンスにわたって維持される。このようにして、モデルによりフォーマット設定されたトレーニング・データを所与として、最初に受信したトレーニング・データを再作成することができる。このため、例示的な実施形態のメカニズムは、顧客から得たトレーニング・データのバージョンを、コンピュータ・モデルの消費のために生成されたデータのバージョンと相関付けることができ、より早期のバージョンを再現することができるように、バージョニングの追跡により顧客データに戻ることができる。

上記で説明した例示的な実施形態は、単一のコンピュータ・モデルに適用されるトレンド・アナリティクスに関するものであるが、潜在的に、異なる開発者によってトレーニングされる同じコンピュータ・モデルの異なるコピーに関して、例示的な実施形態はそのように限定されないことを理解されたい。対照的に、トレンド分析およびトレーニング推薦の生成は、所望の実施に依拠して異なるコンピュータ・モデルにわたって実行することができる。例えば、１つのコンピュータ・モデルにおけるトレーニング特性の変更は、他のコンピュータ・モデルのトレーニングにおいて類似の影響を有することができ、このため、コンピュータ間モデル・トレンド分析およびトレーニング推薦を例示的な実施形態のメカニズムによって生成することができると判断することができる。そのような場合、トレンド分析は、異なるコンピュータ・モデルに関連付けられたデータベース１６２内の異なるエントリに関して実行することができる。

上述したように、例示的な実施形態のメカニズムは、コンピュータ技術分野に根差し、そのようなコンピューティングまたはデータ処理システムに存在するロジックを用いて実施される。これらのコンピューティングまたはデータ処理システムは、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組合せを通じて、上記の様々な動作を実施するように特に構成される。したがって、図２は、本発明の実施形態を実施することができる１つのタイプのデータ処理システムの例として提供される。多くの他のタイプのデータ処理システムも例示的な実施形態のメカニズムを特に実施するように同様に構成することができる。

図２は、例示的な実施形態が実施される例示的なデータ処理システムのブロック図である。データ処理システム２００は、本発明の例示的な実施形態のためのプロセスを実施するコンピュータ使用可能コードまたは命令が配置される、図１におけるサーバ１０４またはクライアント１１０等のコンピュータの例である。１つの例示的な実施形態において、図２は、以下で説明する例示的な実施形態の追加のメカニズムを含むように拡張されたコグニティブ・システム１００およびＱＡシステムパイプライン１０８を実施する、サーバ１０４等のサーバ・コンピューティング・デバイスを表す。

示される例において、データ処理システム２００は、ノース・ブリッジおよびメモリ・コントローラ・ハブ（ＮＢ／ＭＣＨ）２０２ならびにサウス・ブリッジおよび入力／出力（Ｉ／Ｏ）コントローラ・ハブ（ＳＢ／ＩＣＨ）２０４を含むハブ・アーキテクチャを用いる。処理ユニット２０６、メイン・メモリ２０８、およびグラフィック・プロセッサ２１０は、ＮＢ／ＭＣＨ２０２に接続される。グラフィック・プロセッサ２１０は、アクセラレーテッド・グラフィックス・ポート（ＡＧＰ）を介してＮＢ／ＭＣＨ２０２に接続される。

示される例では、ローカル・エリア・ネットワーク（ＬＡＮ）アダプタ２１２がＳＢ／ＩＣＨ２０４に接続される。オーディオ・アダプタ２１６、キーボードおよびマウス・アダプタ２２０、モデム２２２、リード・オンリー・メモリ（ＲＯＭ）２２４、ハード・ディスク・ドライブ（ＨＤＤ）２２６、ＣＤ－ＲＯＭドライブ２３０、ユニバーサル・シリアル・バス（ＵＳＢ）ポートおよび他の通信ポート２３２、ならびにＰＣＩ／ＰＣＩｅデバイス２３４が、バス２３８およびバス２４０を介してＳＢ／ＩＣＨ２０４に接続される。ＰＣＩ／ＰＣＩｅデバイスは、例えばイーサネット（Ｒ）・アダプタ、アドイン・カード、およびノート型コンピュータ用のＰＣカードを含むことができる。ＰＣＩはカード・バス・コントローラを使用するが、ＰＣＩｅは使用しない。ＲＯＭ２２４は、例えばフラッシュ基本入出力システム（ＢＩＯＳ）とすることができる。

ＨＤＤ２２６およびＣＤ－ＲＯＭドライブ２３０は、バス２４０を通じてＳＢ／ＩＣＨ２０４に接続される。ＨＤＤ２２６およびＣＤ－ＲＯＭ２３０は、例えば、集積ドライブ・エレクトロニクス（ＩＤＥ）またはシリアル高度技術アタッチメント（ＳＡＴＡ）インタフェースを使用することができる。スーパーＩ／Ｏ（ＳＩＯ）デバイス２３６はＳＢ／ＩＣＨ２０４に接続される。

オペレーティング・システムは、処理ユニット２０６上で実行される。オペレーティング・システムは、図２のデータ処理システム２００内の様々なコンポーネントの制御を調整および提供する。クライアントとして、オペレーティング・システムは、Ｍｉｃｒｏｓｏｆｔ（Ｒ）Ｗｉｎｄｏｗｓ（Ｒ）８等の市販のオペレーティング・システムである。Ｊａｖａ（商標）プログラミング・システム等のオブジェクト指向プログラミング・システムはオペレーティング・システムと共に実行することができ、データ処理システム２００上で実行されるＪａｖａ（商標）プログラムまたはアプリケーションからオペレーティング・システムに呼び出しを与える。

サーバとして、データ処理システム２００は、例えば、Ａｄｖａｎｃｅｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｅｘｅｃｕｔｉｖｅ（ＡＩＸ（Ｒ））オペレーティング・システムまたはＬＩＮＵＸ（Ｒ）オペレーティング・システムを実行する、ＩＢＭ（Ｒ）ｅＳｅｒｖｅｒ（商標）Ｓｙｓｔｅｍ ｐコンピュータ・システムとすることができる。データ処理システム２００は、処理ユニット２０６内に複数のプロセッサを含む対称型マルチプロセッサ（ＳＭＰ）システムとすることができる。代替的に、単一のプロセッサ・システムが用いられてもよい。ＩＢＭ、ｅＳｅｖｅｒおよびＡＩＸは、米国または他の国あるいはその両方におけるインターナショナル・ビジネス・マシーンズ・コーポレーションの商標である。Ｍｉｃｒｏｓｏｆｔ、Ｗｉｎｄｏｗｓ（Ｒ）、Ｗｉｎｄｏｗｓ（Ｒ） ＮＴおよびＷｉｎｄｏｗｓ（Ｒ） ｌｏｇｏは、米国、他の国、またはその両方におけるＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎの商標である。Ｊａｖａ（Ｒ）および全てのＪａｖａ（Ｒ）ベースの商標およびロゴは、Ｏｒａｃｌｅまたはその関連会社あるいはその両方の商標または登録商標である。登録商標Ｌｉｎｕｘ（Ｒ）は、世界規模での商標の所有者であるＬｉｎｕｓ Ｔｏｒｖａｌｄｓの専用実施権者であるＬｉｎｕｘ Ｆｏｕｎｄａｔｉｏｎからのサブライセンスに準拠して用いられる。

オペレーティング・システムに対する命令、オブジェクト指向プログラミング・システム、およびアプリケーションまたはプログラムは、ＨＤＤ２２６等のストレージ・デバイス上に置かれ、処理ユニット２０６による実行のためにメイン・メモリ２０８にロードされる。本発明の例示的な実施形態のためのプロセスは、コンピュータ使用可能プログラム・コードを用いて、処理ユニット２０６によって行われ、コンピュータ使用可能プログラム・コードは、例えばメイン・メモリ２０８、ＲＯＭ２２４等のメモリ内、または例えば１つもしくは複数の周辺デバイス２２６および２３０内に配置される。

図２に示されるバス２３８またはバス２４０等のバス・システムは、１つまたは複数のバスからなる。当然ながら、バス・システムは、そのファブリックまたはアーキテクチャに付加された様々な構成要素またはデバイスの間でデータの転送を可能にする任意のタイプの通信ファブリックまたは通信アーキテクチャを使用して実装することができる。図２のモデム２２２またはネットワーク・アダプタ２１２等の通信ユニットは、データを送受信するのに使用される１つまたは複数のデバイスを含む。メモリは、例えば、図２におけるＮＢ／ＭＣＨ２０２に見られるようなメイン・メモリ２０８、ＲＯＭ２２４、またはキャッシュとすることができる。

図１および図２に示すハードウェアは、実装形態に依拠して異なってもよいことが当業者には認識されよう。フラッシュ・メモリ、同等の不揮発性メモリ、または光ディスク・ドライブ等のような他の内部ハードウェアまたは周辺デバイスが、図１および図２に示すハードウェアに加えて、またはその代わりに使用されてよい。また、例示的な実施形態のプロセスは、本発明の思想および範囲から逸脱することなく、前述したＳＭＰシステム以外のマルチプロセッサ・データ処理システムに適用されてもよい。

更に、データ処理システム２００は、クライアント・コンピューティング・デバイス、サーバ・コンピューティング・デバイス、タブレット・コンピュータ、ラップトップ・コンピュータ、電話機または他の通信デバイス、携帯情報端末（ＰＤＡ）等を含む、複数の異なるデータ処理システムのうちの任意のものの形態をとることができる。いくつかの例示的な例において、データ処理システム２００は、例えば、オペレーティング・システム・ファイルまたはユーザによって生成されたデータ、あるいはその両方を記憶するための不揮発性メモリを提供するために、フラッシュ・メモリを備えて構成されたポータブル・コンピューティング・デバイスとすることができる。基本的に、データ処理システム２００は、構造上の限定なしに任意の既知のまたは将来開発されるデータ処理システムとすることができる。

図３は、１つの例示的な実施形態による、コンピュータ・モデル・トレーニング・コンピューティング・システムの例示的な動作を概説するフローチャートである。図３に示すように、動作は、コンピュータ・モデルのコピーの１つまたは複数のトレーニング・インスタンスについて、開発者環境、例えば、クライアント／サーバ・コンピューティング・システムにより実施された開発者環境からトレーニング情報を受信することによって開始する（ステップ３１０）。上述したように、いくつかの例示的な実施形態において、このトレーニング情報の取得は、開発者環境から直接、または開発者がコンピュータ・モデルのコピーをトレーニングしている開発者環境からそのようなデータを得るための任意の他の適切なメカニズムを通じて、開発者環境内にまたは開発者環境と併せて存在し、実行されるエージェントを用いることによって容易にすることができる。

受信したトレーニング情報に基づいて、コンピュータ・モデルのコピーのためのコンピュータ・モデル・トレーニング・インスタンス追跡データベースにおいて１つまたは複数の対応するエントリが生成される（ステップ３２０）。上述したように、エントリは、１つまたは複数の異なる識別子、またはトレーニング・インスタンス・インジケータ、コンピュータ・モデルのコピーのインジケータ等のインジケータに基づいてインデックス付けすることができる。

トレーニング特性のトレンドを特定するために、コンピュータ・モデルのコピーのためのコンピュータ・モデル・トレーニング・インスタンス追跡データベースにおけるエントリに１つまたは複数のトレンド・アナリティクスが適用される（ステップ３３０）。加えて、複数のコンピュータ・モデルにわたるトレーニング特性におけるトレンドを特定するために、コンピュータ・モデルの複数のコピー、または異なるモデルの異なるコピー、またはその両方にわたってコンピュータ・モデル・トレーニング・インスタンス追跡データベースにおけるエントリに１つまたは複数のトレンド・アナリティクスが適用される（ステップ３４０）。特定されるトレーニング特性のトレンドは、コンピュータ・モデル結果のトレンドと相関付けられる（ステップ３５０）。

コンピュータ・モデル結果のトレンドと相関付けされたトレーニング特性のトレンドに基づいて、コンピュータ・モデルのコピーのトレーニングを改善するための１つまたは複数のトレーニング推薦が生成され、コンピュータ・モデルのコピーの開発を担当する開発者または他の権限を有するユーザに出力される（ステップ３６０）。任意選択で、トレーニング推薦は、トレーニング推薦に従ってトレーニング特性を変更するために対応するコンピュータ動作を実行することによって自動的に実施されてもよい（ステップ３７０）。これは、例えば、ハイパーパラメータの設定を変更すること、トレーニング・データ・セットのコンテンツを変更すること、特定のトレーニング・データ・セット・ソースから新たなトレーニング・データ・セットを得ること、利用されるトレーニング・ツールを変更すること等を含むことができる。

自動的に実施されるか、または開発者に対するトレーニング推薦の出力に基づく手動変更を通じて実施されるかに関わらず、コンピュータ・モデルのコピーは、トレーニング推薦のうちの１つまたは複数を用いてトレーニングされる（ステップ３８０）。次に動作が終了する。

上述したように、トレーニング特性および対応するコンピュータ・モデル結果に対し実行されたトレンド分析に基づく、例示的な実施形態のメカニズムによって生成されたトレーニング推薦。これらのトレーニング推薦の出力は、グラフィカル・ユーザ・インタフェースおよびダッシュボードとして表されることを含む様々な異なる方式で表すことができ、ここで、トレンドは、コンピュータ・モデル性能／正確性を、コンピュータ・モデルの１つのコピーの、または１つのコンピュータ・モデルもしくは異なる複数のコンピュータ・モデルの複数のコピーにわたる、様々なトレーニング・インスタンスのトレーニング特性と経時的に相関付けるグラフとして表される。いくつかの例示的な実施形態において、ダッシュボードは、表形式のフォーマットで表すことができ、ここで、表形式の出力の１つまたは複数の列は、コンピュータ・モデル性能／正確性のトレンドを表し、１つまたは複数の列はトレーニング特性情報を表し、１つまたは複数の他の列は、コンピュータ・モデルのコピーのトレーニング・インスタンスに固有の他のタイプの情報を表す。

図４は、１つの例示的な実施形態によるトレーニング情報のダッシュボード表現の例示的な図である。図４に示すように、ダッシュボード表現は表形式であり、ここで、表の行は異なるコンピュータ・モデルを表し、列はトレーニング・インスタンスの様々なトレーニング・インスタンス情報およびトレンド情報を表す。「詳細」列は、ユーザが選択可能な要素を含み、これは、ユーザによって選択されると、対応するモデルをトレーニングするのに用いられるトレーニング・データに関する詳細な情報を生成する。「トレンド」列は、ユーザが選択可能な要素を含み、これは、ユーザによって選択されると、対応するモデルをトレーニングする際のトレンドを示す出力を生成する。

図５は、１つの例示的な実施形態による、コンピュータ・モデルのコピーのトレーニングのトレンドのグラフィック表現の例示的な図である。図５に示すように、グラフィック表現は、コンピュータ・モデル出力の正確性を表す垂直軸および時系列を表す水平軸を含む。線に沿ったポイントは、コンピュータ・モデルのコピーのためのトレーニング・インスタンスを表し、ここで、これらのポイント間の線は、コンピュータ・モデル性能のトレンドを表す。グラフィック表現におけるポイントは、ユーザが対応するポイントを選択するときに、トレーニング・データ・バージョン、トレーニング・ツール、ハイパーパラメータおよび他のトレーニング特性の組合せを開発者が閲覧するために提示することができるようにユーザ選択可能である。トレーニング特性のこの表現から、開発者は、トレーニング特性のどの組合せが、コンピュータ・モデル性能／正確性における増減をもたらし得るか、いずれのトレーニング特性の結果として異常な増減が生じるか等を知ることができる。示される例における領域５１０内等、所望の性能／正確性でグラフィック表現においてトレンドがより平滑に表されるとき、開発者は、対応するトレーニング特性を特定し、これらを利用して、トレーニング特性の適切な設定を通じてコンピュータ・モデルの改善された性能／正確性を得ることができる。

図６は、トレーニング・モデル特性およびトレーニング・データ・セット特性の表形式の表現の例示的な図であり、上の図５は、複数のモデルにわたる正確性トレンドを表す。すなわち、図５において、各ドットはコンピュータ・モデル・インスタンスを表し、エッジは、例えば増減している正確性のトレンドを表す。図５における曲線が増加しているかまたは減少しているかに依拠して（図５における各点線のエッジはモデルである）、モデル開発者は、より高い正確性をもたらすモデル・インスタンスのために指定されたトレーニング特性に戻ることができる。図５に示すグラフ内の曲線に沿った各ポイントは、図６に示す表形式の情報の独自の対応するバージョンを有することができ、これを、コンピュータ・モデルの特定のインスタンスのためのトレーニング特性を指定するために用いることができる。

このため、例示的な実施形態のメカニズムを用いて、コンピュータ実施モデルをトレーニングするための改善されたコンピュータ・ツールが提供され、ここで、この改善されたコンピュータ・ツールは、コンピュータ実施モデルをトレーニングし、トレーニング特性に対し行われた変更を追跡し、これらのトレーニング特性に対し行われた変更を、性能／正確性メトリックの変化と相関付けるためのコンピュータ固有の動作の順序付けされた組合せを実行するように特に構成されたデータ処理システムにおいて実施される。改善されたコンピュータ・ツールは、追跡情報におけるトレンドを特定し、コンピュータ実施モデルのトレーニングを改善するための推薦を生成するか、またはコンピュータ実施モデルのトレーニングを改善するための生成された推薦を自動的に実施するか、あるいはその両方を行うための分析を行う、コンピュータ固有の動作を更に提供する。

上述したように、例示的な実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはハードウェア要素およびソフトウェア要素の双方を含む実施形態の形態をとることができることを理解されたい。１つの例示的な実施形態において、例示的な実施形態のメカニズムは、ソフトウェアまたはプログラム・コードにおいて実施され、これは、限定ではないが、ファームウェア、常駐ソフトウェア、マイクロコード等を含む。

プログラム・コードの記憶または実行あるいはその両方に適したデータ処理システムは、例えばシステム・バス等の通信バスを通じてメモリ要素に直接または間接的に結合された少なくとも１つのプロセッサを含む。これらのメモリ素子は、プログラム・コードの実際の実行中に用いられるローカル・メモリ、バルク・ストレージ、および、実行中にコードをバルク・ストレージから索出する必要回数を減らすために、少なくとも一部のプログラム・コードの一時的ストレージを提供するキャッシュ・メモリを含むことができる。メモリは、限定ではないが、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ、固体メモリ等を含む、様々なタイプとすることができる。

本システムには、直接、あるいは、介在する有線または無線Ｉ／Ｏインタフェースもしくはコントローラまたはその両方等を通じて、入力／出力またはＩ／Ｏデバイス（限定ではないが、キーボード、ディスプレイ、ポインティング・デバイス等を含む）を結合することができる。Ｉ／Ｏデバイスは、従来のキーボード、ディスプレイ、ポインティング・デバイス等以外に、例えば、限定ではないが、スマート・フォン、タブレット・コンピュータ、タッチ・スクリーン・デバイス、音声認識デバイス等を含む、有線または無線接続を通じて結合された通信デバイス等の、多くの異なる形態をとることができる。任意の既知のまたは将来開発されるＩ／Ｏデバイスが例示的な実施形態の範囲内にあると意図される。

また、データ処理システムが、介在する私設または公衆ネットワークを通じて他のデータ処理システム、または遠隔のプリンタもしくはストレージ・デバイスに連結できるようにするため、システムにネットワーク・アダプタが結合されてよい。モデム、ケーブル・モデム、およびイーサネット（Ｒ）カードは、有線通信のために現在利用可能なネットワーク・アダプタのタイプのほんの一部である。また、限定ではないが、８０２．１１／ａ／ｂ／ｇ／ｎ無線通信アダプタ、ブルートゥース（Ｒ）無線アダプタ等を含む、無線通信ベースのネットワーク・アダプタも利用が可能である。任意の既知のまたは将来開発されるネットワーク・アダプタが本発明の思想および範囲内にあることが意図される。

本発明の記述は、例示および説明の目的で提示されたものであり、網羅的であることも、または本発明を開示した形態に限定することも意図されていない。当業者には、説明された実施形態の範囲および思想から逸脱することなく、多くの変更および変形が明らかであろう。実施形態は、本発明の原理および実際的な応用を最善に説明し、他の当業者が、意図する特定の用途に適した様々な変更を加えた様々な実施形態に関連して、本発明を理解できるように選択し説明されたものである。本明細書で用いられた用語は、実施形態の原理、実際上の応用、または市場の技術の技術的な改良を最善に説明し、または他の当業者が本明細書に開示された実施形態を理解できるように選択されたものである。

Claims (22)

1. データ処理システムにおいて、コンピュータ実施モデルをトレーニングするための方法であって、
   前記データ処理システムによって、前記コンピュータ実施モデルのトレーニングの複数のインスタンスを実行することであって、前記コンピュータ実施モデルのトレーニングの各インスタンスは、異なるトレーニング・データ・セットを用いて前記コンピュータ実施モデルをトレーニングして、トレーニングされたコンピュータ実施モデルの異なるインスタンスを生成することを含む、前記実行することと、
   トレーニングの各インスタンス後に、前記トレーニングされたコンピュータ実施モデルの対応するインスタンスを実行することによって、コンピュータ実施モデル結果を生成することと、
   前記データ処理システムによって、前記トレーニングされたコンピュータ実施モデルのインスタンスの対応する識別子および対応するコンピュータ実施モデル結果に関連付けて、前記コンピュータ実施モデルのトレーニングの前記インスタンスの差を記録することと、
   前記データ処理システムによって、前記記録された差および前記対応するコンピュータ実施モデル結果を分析することと、
   前記データ処理システムによって、記録された差と、対応するコンピュータ実施モデル結果との間の相関を示す出力を生成することと、
   を含む、方法。
2. 前記コンピュータ実施モデルのトレーニングの複数のインスタンスを実行することは、
   前記データ処理システムによって、トレーニング・データの第１のバージョンおよび１つまたは複数のハイパーパラメータの第１のセットを用いて、前記コンピュータ実施モデルに対し第１のトレーニング動作を実行して、前記コンピュータ実施モデルの第１のトレーニングされたインスタンスを生成することと、
   前記データ処理システムによって、前記トレーニング・データの第２のバージョンおよび１つまたは複数のハイパーパラメータの第２のセットを用いて、前記コンピュータ実施モデルに対し第２のトレーニング動作を実行して、前記コンピュータ実施モデルの第２のトレーニングされたインスタンスを生成することと、
   を含む、請求項１に記載の方法。
3. 前記コンピュータ実施モデルのトレーニングの前記インスタンスの変更を記録することは、
   前記データ処理システムによって、前記第１のトレーニング動作の第１の識別子を、前記トレーニング・データの第１のバージョンおよび前記１つまたは複数のハイパーパラメータの第１のセットと相関付ける第１の追跡データ構造を生成することと、
   前記データ処理システムによって、前記第２のトレーニング動作の第２の識別子を、前記トレーニング・データの第２のバージョンおよび前記１つまたは複数のハイパーパラメータの第２のセットと相関付ける第２の追跡データ構造を生成することと、
   を含む、請求項２に記載の方法。
4. コンピュータ実施モデル結果を生成することは、
   前記コンピュータ実施モデルの第１のインスタンスの実行から第１のモデル結果を生成することと、
   前記コンピュータ実施モデルの第２のインスタンスの実行から第２のモデル結果を生成することとを含み、前記記録された差および前記対応するコンピュータ実施モデル結果を分析することは、前記データ処理システムによって、前記第１の追跡データ構造、前記第２の追跡データ構造、前記第１のモデル結果および前記第２のモデル結果に対しアナリティクスを実行して、前記第１のモデル結果と前記第２のモデル結果との差と相関する、前記第１のトレーニング動作と前記第２のトレーニング動作との差を特定することを含む、請求項３に記載の方法。
5. 前記トレーニング・データの第２のバージョンは、前記トレーニング・データの第１のバージョンの変更バージョンである、請求項２に記載の方法。
6. 前記出力を生成することは、
   前記記録された差および対応するコンピュータ実施モデル結果に基づいて、どの変更が前記コンピュータ実施モデルの正確性を増大させるかを特定することによって、前記コンピュータ実施モデルのトレーニングを変更してトレーニング・データを改善するための１つまたは複数の推薦を生成することを更に含む、請求項１に記載の方法。
7. 前記生成された１つまたは複数の推薦を実施するためにコンピュータ動作を自動的に実行することを更に含み、前記コンピュータ動作は、前記コンピュータ実施モデルのトレーニングを改善するエンティティとして前記１つまたは複数の推薦において指定されたエンティティを含む新たなトレーニング・データを得ること、前記コンピュータ実施モデルのトレーニングを劣化させるエンティティとして前記１つまたは複数の推薦において指定されたエンティティを除去すること、前記コンピュータ実施モデルの少なくとも１つのハイパーパラメータを変更すること、または前記コンピュータ実施モデルのトレーニングを実行するのに用いられるコンピュータ・モデル・トレーニング・ツールを変更することのうちの少なくとも１つを含む、請求項６に記載の方法。
8. 前記コンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データを、トレーニング・データの前のバージョンに戻すことができるように、前記コンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データのインスタンスを追跡することを更に含む、請求項１に記載の方法。
9. 前記分析することは、前記記録された差および前記対応するコンピュータ実施モデル結果に対しトレンド分析を実行することを含む、請求項１に記載の方法。
10. 前記コンピュータ実施モデルのトレーニングの前記複数のインスタンスは、１つまたは複数のロケーションにおける異なるコンピュータ実施モデル開発者によって前記コンピュータ実施モデルの異なるコピーをトレーニングして、前記トレーニングされたコンピュータ実施モデルのインスタンスの異なるサブセットを生成することを含み、前記方法は、前記異なるコンピュータ実施モデル開発者からの前記トレーニングされたコンピュータ実施モデルのインスタンスの全ての前記サブセットにわたって実行される、請求項１に記載の方法。
11. コンピュータ・プログラムであって、請求項１ないし１０のいずれか１項に記載の方法の各ステップをコンピュータに実行させるための、コンピュータ・プログラム。
12. 請求項１１に記載のコンピュータ・プログラムを記録した、コンピュータ可読記憶媒体。
13. データ処理システムである装置であって、
    プロセッサと、
    前記プロセッサに結合されたメモリであって、前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    コンピュータ実施モデルのトレーニングの複数のインスタンスを実行することであって、前記コンピュータ実施モデルのトレーニングの各インスタンスは、異なるトレーニング・データ・セットを用いて前記コンピュータ実施モデルをトレーニングして、トレーニングされたコンピュータ実施モデルの異なるインスタンスを生成することを含む、前記実行することと、
    トレーニングの各インスタンス後に、前記トレーニングされたコンピュータ実施モデルの対応するインスタンスを実行することによって、コンピュータ実施モデル結果を生成することと、
    前記トレーニングされたコンピュータ実施モデルのインスタンスの対応する識別子および対応するコンピュータ実施モデル結果に関連付けて、前記コンピュータ実施モデルのトレーニングの前記インスタンスの差を記録することと、
    前記記録された差および前記対応するコンピュータ実施モデル結果を分析することと、
    記録された差と、対応するコンピュータ実施モデル結果との間の相関を示す出力を生成することと、
    を行わせる、前記メモリと、
    を備える、装置。
14. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、少なくとも、
    前記データ処理システムによって、トレーニング・データの第１のバージョンおよび１つまたは複数のハイパーパラメータの第１のセットを用いて、前記コンピュータ実施モデルに対し第１のトレーニング動作を実行して、前記コンピュータ実施モデルの第１のトレーニングされたインスタンスを生成することと、
    前記データ処理システムによって、トレーニング・データの第２のバージョンおよび１つまたは複数のハイパーパラメータの第２のセットを用いて、前記コンピュータ実施モデルに対し第２のトレーニング動作を実行して、前記コンピュータ実施モデルの第２のトレーニングされたインスタンスを生成することと、
    によって、前記コンピュータ実施モデルのトレーニングの複数のインスタンスを実行させる、請求項１３に記載の装置。
15. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、少なくとも、
    前記データ処理システムによって、前記第１のトレーニング動作の第１の識別子を、前記トレーニング・データの第１のバージョンおよび前記１つまたは複数のハイパーパラメータの第１のセットと相関付ける第１の追跡データ構造を生成することと、
    前記データ処理システムによって、前記第２のトレーニング動作の第２の識別子を、前記トレーニング・データの第２のバージョンおよび前記１つまたは複数のハイパーパラメータの第２のセットと相関付ける第２の追跡データ構造を生成することと、
    によって、前記コンピュータ実施モデルのトレーニングの前記インスタンスの変更を記録させる、請求項１４に記載の装置。
16. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、少なくとも、
    前記コンピュータ実施モデルの第１のインスタンスの実行から第１のモデル結果を生成することと、
    前記コンピュータ実施モデルの第２のインスタンスの実行から第２のモデル結果を生成することとによって、コンピュータ実施モデル結果を生成させ、前記記録された差および前記対応するコンピュータ実施モデル結果を分析することは、前記データ処理システムによって、前記第１の追跡データ構造、前記第２の追跡データ構造、前記第１のモデル結果および前記第２のモデル結果に対しアナリティクスを実行して、前記第１のモデル結果と前記第２のモデル結果との差と相関する、前記第１のトレーニング動作と前記第２のトレーニング動作との差を特定することを含む、請求項１５に記載の装置。
17. 前記トレーニング・データの第２のバージョンは、前記トレーニング・データの第１のバージョンの変更バージョンである、請求項１４に記載の装置。
18. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、少なくとも、
    前記記録された差および対応するコンピュータ実施モデル結果に基づいて、どの変更が前記コンピュータ実施モデルの正確性を増大させるかを特定することによって、前記コンピュータ実施モデルのトレーニングを変更してトレーニング・データを改善するための１つまたは複数の推薦を生成することによって、前記出力を生成させる、請求項１３に記載の装置。
19. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    前記生成された１つまたは複数の推薦を実施するためのコンピュータ動作を自動的に実行させ、前記コンピュータ動作は、前記コンピュータ実施モデルのトレーニングを改善するエンティティとして前記１つまたは複数の推薦において指定されたエンティティを含む新たなトレーニング・データを得ること、前記コンピュータ実施モデルのトレーニングを劣化させるエンティティとして前記１つまたは複数の推薦において指定されたエンティティを除去すること、前記コンピュータ実施モデルの少なくとも１つのハイパーパラメータを変更すること、または前記コンピュータ実施モデルのトレーニングを実行するのに用いられるコンピュータ・モデル・トレーニング・ツールを変更することのうちの少なくとも１つを含む、請求項１８に記載の装置。
20. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    前記コンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データを、トレーニング・データの前のバージョンに戻すことができるように、前記コンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データのインスタンスを追跡させる、請求項１３に記載の装置。
21. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、少なくとも、前記記録された差および前記対応するコンピュータ実施モデル結果に対しトレンド分析を実行することによって、前記記録された差および前記対応するコンピュータ実施モデル結果を分析させる、請求項１３に記載の装置。
22. 前記コンピュータ実施モデルの異なるコピーは、１つまたは複数のロケーションにおける異なるコンピュータ実施モデル開発者によってトレーニングされ、前記装置は、前記異なるコンピュータ実施モデル開発者からの前記トレーニングされたコンピュータ実施モデルの前記インスタンスの全てのサブセットにわたって動作可能である、請求項１３に記載の装置。

Images