JPWO2020178687A5 - - Google Patents

Claims (22)

1. データ処理システムにおいて、コンピュータ実施モデルをトレーニングするための方法であって、
   前記データ処理システムによって、前記コンピュータ実施モデルのトレーニングの複数のインスタンスを実行することであって、前記コンピュータ実施モデルのトレーニングの各インスタンスは、異なるトレーニング・データ・セットを用いて前記コンピュータ実施モデルをトレーニングして、トレーニングされたコンピュータ実施モデルの異なるインスタンスを生成することを含む、前記実行することと、
   トレーニングの各インスタンス後に、前記トレーニングされたコンピュータ実施モデルの対応するインスタンスを実行することによって、コンピュータ実施モデル結果を生成することと、
   前記データ処理システムによって、前記トレーニングされたコンピュータ実施モデルのインスタンスの対応する識別子および対応するコンピュータ実施モデル結果に関連付けて、前記コンピュータ実施モデルのトレーニングの前記インスタンスの差を記録することと、
   前記データ処理システムによって、前記記録された差および前記対応するコンピュータ実施モデル結果を分析することと、
   前記データ処理システムによって、記録された差と、対応するコンピュータ実施モデル結果との間の相関を示す出力を生成することと、
   を含む、方法。
2. 前記コンピュータ実施モデルのトレーニングの複数のインスタンスを実行することは、
   前記データ処理システムによって、トレーニング・データの第１のバージョンおよび１つまたは複数のハイパーパラメータの第１のセットを用いて、前記コンピュータ実施モデルに対し第１のトレーニング動作を実行して、前記コンピュータ実施モデルの第１のトレーニングされたインスタンスを生成することと、
   前記データ処理システムによって、前記トレーニング・データの第２のバージョンおよび１つまたは複数のハイパーパラメータの第２のセットを用いて、前記コンピュータ実施モデルに対し第２のトレーニング動作を実行して、前記コンピュータ実施モデルの第２のトレーニングされたインスタンスを生成することと、
   を含む、請求項１に記載の方法。
3. 前記コンピュータ実施モデルのトレーニングの前記インスタンスの変更を記録することは、
   前記データ処理システムによって、前記第１のトレーニング動作の第１の識別子を、前記トレーニング・データの第１のバージョンおよび前記１つまたは複数のハイパーパラメータの第１のセットと相関付ける第１の追跡データ構造を生成することと、
   前記データ処理システムによって、前記第２のトレーニング動作の第２の識別子を、前記トレーニング・データの第２のバージョンおよび前記１つまたは複数のハイパーパラメータの第２のセットと相関付ける第２の追跡データ構造を生成することと、
   を含む、請求項２に記載の方法。
4. コンピュータ実施モデル結果を生成することは、
   前記コンピュータ実施モデルの前記第１のインスタンスの実行から第１のモデル結果を生成することと、
   前記コンピュータ実施モデルの前記第２のインスタンスの実行から第２のモデル結果を生成することとを含み、前記記録された差および前記対応するコンピュータ実施モデル結果を分析することは、前記データ処理システムによって、前記第１の追跡データ構造、前記第２の追跡データ構造、前記第１のモデル結果および前記第２のモデル結果に対しアナリティクスを実行して、前記第１のモデル結果と前記第２のモデル結果との差と相関する、前記第１のトレーニング動作と前記第２のトレーニング動作との差を特定することを含む、請求項３に記載の方法。
5. 前記トレーニング・データの第２のバージョンは、前記トレーニング・データの第１のバージョンの変更バージョンである、請求項２に記載の方法。
6. 前記出力を生成することは、
   前記記録された差および対応するコンピュータ実施モデル結果に基づいて、どの変更が前記コンピュータ実施モデルの正確性を増大させるかを特定することによって、前記コンピュータ実施モデルのトレーニングを変更してトレーニング・データを改善するための１つまたは複数の推薦を生成することを更に含む、請求項１に記載の方法。
7. 前記生成された１つまたは複数の推薦を実施するためにコンピュータ動作を自動的に実行することを更に含み、前記コンピュータ動作は、前記コンピュータ実施モデルのトレーニングを改善するエンティティとして前記１つまたは複数の推薦において指定されたエンティティを含む新たなトレーニング・データを得ること、前記コンピュータ実施モデルのトレーニングを劣化させるエンティティとして前記１つまたは複数の推薦において指定されたエンティティを除去すること、前記コンピュータ実施モデルの少なくとも１つのハイパーパラメータを変更すること、または前記コンピュータ実施モデルのトレーニングを実行するのに用いられるコンピュータ・モデル・トレーニング・ツールを変更することのうちの少なくとも１つを含む、請求項６に記載の方法。
8. 前記コンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データを、トレーニング・データの前のバージョンに戻すことができるように、前記コンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データのインスタンスを追跡することを更に含む、請求項１に記載の方法。
9. 前記分析することは、前記記録された差および前記対応するコンピュータ実施モデル結果に対しトレンド分析を実行することを含む、請求項１に記載の方法。
10. 前記コンピュータ実施モデルのトレーニングの前記複数のインスタンスは、１つまたは複数のロケーションにおける異なるコンピュータ実施モデル開発者によって前記コンピュータ実施モデルの異なるコピーをトレーニングして、前記トレーニングされたコンピュータ実施モデルのインスタンスの異なるサブセットを生成することを含み、前記方法は、前記異なるコンピュータ実施モデル開発者からの前記トレーニングされたコンピュータ実施モデルのインスタンスの全ての前記サブセットにわたって実行される、請求項１に記載の方法。
11. コンピュータ・プログラムであって、請求項１ないし１０のいずれか１項に記載の方法の各ステップをコンピュータに実行させるための、コンピュータ・プログラム。
12. 請求項１１に記載のコンピュータ・プログラムを記録した、コンピュータ可読記憶媒体。
13. 装置であって、
    プロセッサと、
    前記プロセッサに結合されたメモリであって、前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    前記コンピュータ実施モデルのトレーニングの複数のインスタンスを実行することであって、前記コンピュータ実施モデルのトレーニングの各インスタンスは、異なるトレーニング・データ・セットを用いて前記コンピュータ実施モデルをトレーニングして、トレーニングされたコンピュータ実施モデルの異なるインスタンスを生成することを含む、前記実行することと、
    トレーニングの各インスタンス後に、前記トレーニングされたコンピュータ実施モデルの対応するインスタンスを実行することによって、コンピュータ実施モデル結果を生成することと、
    前記トレーニングされたコンピュータ実施モデルのインスタンスの対応する識別子および対応するコンピュータ実施モデル結果に関連付けて、前記コンピュータ実施モデルのトレーニングの前記インスタンスの差を記録することと、
    前記記録された差および前記対応するコンピュータ実施モデル結果を分析することと、
    記録された差と、対応するコンピュータ実施モデル結果との間の相関を示す出力を生成することと、
    を行わせる、前記メモリと、
    を備える、装置。
14. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、少なくとも、
    前記データ処理システムによって、トレーニング・データの第１のバージョンおよび１つまたは複数のハイパーパラメータの第１のセットを用いて、前記コンピュータ実施モデルに対し第１のトレーニング動作を実行して、前記コンピュータ実施モデルの第１のトレーニングされたインスタンスを生成することと、
    前記データ処理システムによって、トレーニング・データの第２のバージョンおよび１つまたは複数のハイパーパラメータの第２のセットを用いて、前記コンピュータ実施モデルに対し第２のトレーニング動作を実行して、前記コンピュータ実施モデルの第２のトレーニングされたインスタンスを生成することと、
    によって、前記コンピュータ実施モデルのトレーニングの複数のインスタンスを実行させる、請求項１３に記載の装置。
15. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、少なくとも、
    前記データ処理システムによって、前記第１のトレーニング動作の第１の識別子を、前記トレーニング・データの第１のバージョンおよび前記１つまたは複数のハイパーパラメータの第１のセットと相関付ける第１の追跡データ構造を生成することと、
    前記データ処理システムによって、前記第２のトレーニング動作の第２の識別子を、前記トレーニング・データの第２のバージョンおよび前記１つまたは複数のハイパーパラメータの第２のセットと相関付ける第２の追跡データ構造を生成することと、
    によって、前記コンピュータ実施モデルのトレーニングの前記インスタンスの変更を記録させる、請求項１４に記載の装置。
16. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、少なくとも、
    前記コンピュータ実施モデルの前記第１のインスタンスの実行から第１のモデル結果を生成することと、
    前記コンピュータ実施モデルの前記第２のインスタンスの実行から第２のモデル結果を生成することとによって、コンピュータ実施モデル結果を生成させ、前記記録された差および前記対応するコンピュータ実施モデル結果を分析することは、前記データ処理システムによって、前記第１の追跡データ構造、前記第２の追跡データ構造、前記第１のモデル結果および前記第２のモデル結果に対しアナリティクスを実行して、前記第１のモデル結果と前記第２のモデル結果との差と相関する、前記第１のトレーニング動作と前記第２のトレーニング動作との差を特定することを含む、請求項１５に記載の装置。
17. 前記トレーニング・データの第２のバージョンは、前記トレーニング・データの第１のバージョンの変更バージョンである、請求項１４に記載の装置。
18. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、少なくとも、
    前記記録された差および対応するコンピュータ実施モデル結果に基づいて、どの変更が前記コンピュータ実施モデルの正確性を増大させるかを特定することによって、前記コンピュータ実施モデルのトレーニングを変更してトレーニング・データを改善するための１つまたは複数の推薦を生成することによって、前記出力を生成させる、請求項１３に記載の装置。
19. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    前記生成された１つまたは複数の推薦を実施するためのコンピュータ動作を自動的に実行させ、前記コンピュータ動作は、前記コンピュータ実施モデルのトレーニングを改善するエンティティとして前記１つまたは複数の推薦において指定されたエンティティを含む新たなトレーニング・データを得ること、前記コンピュータ実施モデルのトレーニングを劣化させるエンティティとして前記１つまたは複数の推薦において指定されたエンティティを除去すること、前記コンピュータ実施モデルの少なくとも１つのハイパーパラメータを変更すること、または前記コンピュータ実施モデルのトレーニングを実行するのに用いられるコンピュータ・モデル・トレーニング・ツールを変更することのうちの少なくとも１つを含む、請求項１８に記載の装置。
20. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    前記コンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データを、トレーニング・データの前のバージョンに戻すことができるように、前記コンピュータ実施モデルをトレーニングするのに用いられるトレーニング・データのインスタンスを追跡させる、請求項１３に記載の装置。
21. 前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、少なくとも、前記記録された差および前記対応するコンピュータ実施モデル結果に対しトレンド分析を実行することによって、前記記録された差および前記対応するコンピュータ実施モデル結果を分析させる、請求項１３に記載の装置。
22. 前記コンピュータ実施モデルの異なるコピーは、１つまたは複数のロケーションにおける異なるコンピュータ実施モデル開発者によってトレーニングされ、前記装置は、前記異なるコンピュータ実施モデル開発者からの前記トレーニングされたコンピュータ実施モデルの前記インスタンスの全てのサブセットにわたって動作可能である、請求項１３に記載の装置。