JP2023551487A - 敵対的生成モデルを使用する事前訓練されたモデルに基づくデータの生成 - Google Patents

Abstract

生成器モデルの訓練のための技術が提供される。ターゲット・クラスにおける１つまたは複数のデータ・サンプルを使用して訓練された分類器モデルが受け取られ、敵対的生成ネットワーク（ＧＡＮ）が、ターゲット・クラスのためのシミュレートされたデータ・サンプルを生成するために、生成器モデルを使用して第１のシミュレートされたデータ・サンプルを生成すること、識別器モデルを使用して第１のシミュレートされたデータ・サンプルを処理することによって、第１の識別器損失を計算すること、分類器モデルを使用して第１のシミュレートされたデータ・サンプルを処理することによって、分類器損失を計算すること、ならびに第１の識別器損失および分類器損失に基づいて生成器モデルを精緻化することを含めて、訓練される。

Description

本開示は、機械学習に関し、より詳細には、事前訓練されたモデル（ｐｒｅ－ｔｒａｉｎｅｄ ｍｏｄｅｌ）を訓練するために使用されるデータを分析するのに敵対的生成モデルを使用することに関する。

深層学習ニューラル・ネットワークなどの多種多様な機械学習モデルが、様々なタスクのために近年訓練され使用されている。一般に、そのようなモデルは、効果的に動作するためには大量の訓練データを必要とする。多くの典型的な開発では、モデルは、訓練データセットで訓練され、その後、訓練後のサービスのために展開され得る。多くの場合、訓練データは、モデルから切り離され、訓練されたモデルを使用する人々には利用できない。

多くの場合、モデルが最初に訓練されたデータを回復することが望ましい。例えば、偶発的に削除されたデータを回復したい場合がある。さらに、モデルの品質（例えば、十分な訓練データが使用されたかどうか）を決定するために、そのような訓練データを評価のために回復することが望ましい場合がある。訓練されたモデルから訓練データを抽出する既存の技術はない。

敵対的生成ネットワーク（ＧＡＮ）の分野では、ＧＡＮは、提供された訓練データの分布に従うデータを生成するために使用されている。しかしながら、そのようなモデルは、提供された訓練データのオリジナルの分布に含まれないデータを生成することはできない。したがって、一般的なＧＡＮネットワークは、既に分かっているデータとは違うデータを回復または生成することはできない。

本開示の１つの実施形態によれば、方法が提供される。この方法は、ターゲット・クラスにおける１つまたは複数のデータ・サンプルを使用して訓練された分類器モデルを受け取ることと、ターゲット・クラスのためのシミュレートされたデータ・サンプルを生成するために、敵対的生成ネットワーク（ＧＡＮ）を訓練することであり、生成器モデルを使用して第１のシミュレートされたデータ・サンプルを生成すること、識別器モデルを使用して第１のシミュレートされたデータ・サンプルを処理することによって、第１の識別器損失（ｄｉｓｃｒｉｍｉｎａｔｏｒ ｌｏｓｓ）を計算すること、分類器モデルを使用して第１のシミュレートされたデータ・サンプルを処理することによって、分類器損失を計算すること、および第１の識別器損失および分類器損失に基づいて生成器モデルを精緻化することを含む、訓練することとを含む。有利には、これは、ターゲット・クラスのための訓練データをシミュレートするか、それに近似するか、それと一致するデータを生成するように生成器を訓練する。そのような訓練データのこの回復は、多種多様な用途を有する。

本開示のいくつかの実施形態によれば、上述の実施形態の任意の組合せは、ＧＡＮが、ターゲット・クラスにおけるいかなるデータ・サンプルも処理することなく訓練される技術をさらに含むことができる。有利には、ターゲット・クラスからのサンプルを処理することなくＧＡＮを訓練することによって、システムは、そのようなデータを回復し、データおよび分類器の客観的および詳細な評価を可能にすることができる。

本開示のいくつかの実施形態によれば、上述の実施形態の任意の組合せは、ＧＡＮを訓練することが、生成器モデルを使用して第２のシミュレートされたデータ・サンプルを生成することと、識別器モデルを使用して第２のシミュレートされたデータ・サンプルを処理することによって、第２の識別器損失を計算することと、第２の識別器損失に基づいて識別器モデルを精緻化することとをさらに含む技術をさらに含むことができる。そのような実施形態の１つの利点は、識別器モデルが、真正のサンプルとシミュレートされたサンプルをより良好に区別するように精緻化され、それにより、より正確なシミュレートされたデータを提供するように生成器モデルに圧力をかけることが可能になることである。

本開示のいくつかの実施形態によれば、上述の実施形態の任意の組合せは、識別器モデルが、生成器モデルによって生成されたシミュレートされたデータ・サンプルと、分類器モデルを訓練するために使用されたデータ・サンプルとを差別化するように訓練される技術をさらに含むことができる。有利には、そのような実施形態は、識別器を効果的に訓練して、生成器が、見えない訓練データを近似するために使用され得る正確なデータを作り出すことを確実にすることを可能にする。

本開示のいくつかの実施形態によれば、上述の実施形態の任意の組合せは、ランダム化入力ベクトルを生成器モデルに提供することによって、第１のシミュレートされたデータ・サンプルがターゲット・クラスのために生成される技術をさらに含むことができる。有利には、全く見えないクラスのためのシミュレートされたデータをこのように生成することにより、ＧＡＮがオリジナルの訓練データを複製して、評価および分析を改善することが可能になり得る。

本開示のいくつかの実施形態によれば、上述の実施形態の任意の組合せは、分類器モデルが、第１のシミュレートされたデータ・サンプルに少なくとも部分的に基づいて、ターゲット・クラスにおける不十分なデータ・サンプルを用いて訓練されたと決定される技術をさらに含むことができる。有利には、そのような実施形態は、エコシステム全体の動作を改善するために、未知または不確かな品質の事前訓練された分類器（ｐｒｅ－ｔｒａｉｎｅｄ ｃｌａｓｓｉｆｉｅｒ）を客観的に評価することを可能にする。

本開示のいくつかの実施形態によれば、上述の実施形態の任意の組合せは、分類器モデルを訓練するために使用されたターゲット・クラスにおけるデータ・サンプルが、第１のシミュレートされたデータ・サンプルに少なくとも部分的に基づいて１つまたは複数の疑わしい特徴を含んでいたと決定される技術をさらに含むことができる。有利には、そのような実施形態は、エコシステム全体の動作を改善するために、未知または不確かな品質の事前訓練された分類器を客観的に評価することを可能にする。

本開示の異なる実施形態によれば、上述で論じた実施形態の任意の組合せは、１つまたは複数のコンピュータ可読ストレージ媒体によって実施され得る。コンピュータ可読ストレージ媒体は、１つまたは複数のコンピュータ・プロセッサの動作によって実行されたときに動作を実行するコンピュータ・プログラム・コードを集合的に含む。実施形態において、実行される動作は、上述の方法と実施形態の任意の組合せに対応することができる。

本開示のさらなる別の異なる実施形態によれば、上述で論じた実施形態の任意の組合せは、システムによって実施され得る。システムは、１つまたは複数のコンピュータ・プロセッサと、１つまたは複数のコンピュータ・プロセッサによって実行されたときに動作を実行するプログラムを集合的に含む１つまたは複数のメモリとを含む。実施形態において、実行される動作は、上述の方法と実施形態の任意の組合せに対応することができる。

本明細書に開示されるいくつかの実施形態による、事前訓練された分類器の訓練データを再発見するように敵対的生成モデルを訓練するためのワークフローを示す図である。 本明細書に開示されるいくつかの実施形態による、事前訓練された分類器を訓練するために使用されるデータに近似するシミュレートされた訓練データを生成するために敵対的生成ネットワークを使用するためのワークフローを示す図である。 本明細書に開示されるいくつかの実施形態による、事前訓練されたモデルに基づいて、シミュレートされた訓練データを生成するように生成器モデルを訓練する方法を示す流れ図である。 本明細書に開示されるいくつかの実施形態による、事前訓練されたモデルからの訓練データの再発見を支援するように識別器モデルを訓練する方法を示す流れ図である。 本明細書に開示されるいくつかの実施形態による、事前訓練されたモデルからの訓練データの再発見を支援するように生成器モデルを訓練する方法を示す流れ図である。 本明細書に開示されるいくつかの実施形態による、事前訓練されたモデルの訓練データを生成および評価する方法を示す流れ図である。 本明細書に開示されるいくつかの実施形態による、事前訓練された分類器モデルに基づいて生成器モデルを訓練する方法を示す流れ図である。 本明細書に開示されるいくつかの実施形態による、事前訓練された分類器に基づいて生成器モデルを訓練するように構成されたコンピューティング・デバイスを示すブロック図である。

本開示の実施形態は、事前訓練されたモデルから訓練データを回復するために生成器モデルを訓練するための技術を提供する。１つの実施形態では、訓練された分類器がある場合、生成器モデルは、分類器を最初に訓練するために使用されたデータに近似するデータを生成するように訓練され得る。これにより、そのようなデータの回復が可能になる。加えて、いくつかの実施形態では、回復またはシミュレートされたデータを分析して、事前訓練された分類器またはその訓練データあるいはその両方の品質を決定することができる。例えば、いくつかの実施形態では、本明細書に記載される技術を使用して、十分な訓練データが使用されたかどうか、偽の特徴が依拠されたかどうか、訓練プロセスがポイズニングされたかどうか、などが決定され得る。

本明細書に開示されるいくつかの実施形態は、真正の画像が事前訓練されたモデルを訓練するために使用されたが、真正の画像が生成器の訓練中完全に見えないいくつかのターゲット・クラスを条件として、画像を生成するように生成器モデルを訓練するための技術を提供する。本明細書のいくつかの例において画像が使用されるが、本開示の実施形態は、任意のタイプの訓練データおよび任意のタイプの事前訓練された機械学習モデルに容易に適用可能である。一実施形態では、生成器モデルは、ターゲット・クラスを区別することができる事前訓練された画像分類器と、ターゲット・クラスからの画像を含まない汎用画像のセットとを使用して訓練され得る。例えば、分類器が、中に含まれる動物に基づいて画像を分類するように訓練されており、ターゲット・クラスが馬であると仮定する。本開示のいくつかの実施形態では、生成器モデルは、分類器と、他のクラスからの１つまたは複数の画像（例えば、犬）とを使用して訓練され、最初に分類器を訓練するために使用された画像に近似するかまたはそれをシミュレートする馬の画像を生成することができる。特に、生成器は、ターゲット・クラスからのいかなるサンプルも決して処理または受け取ることなしに（例えば、馬の写真なしに）、そうするように訓練される。

本開示のいくつかの実施形態では、この生成データを分析して、データまたは事前訓練されたモデルあるいはその両方の品質を評価および決定することができる。例えば、生成された画像が、ある特徴を共通に含む（またはある特徴を欠く）場合、基礎をなす分類器がその特徴に依拠した（または依拠しなかった）ことを推測することができる。一例として、生成器が、「霊長類」クラスの画像を生成するタスクを課されたとき、霊長類を表すように見えるが、顔のない画像を作り出すと仮定する。一実施形態では、分類器が、霊長類を分類することを学習するために、訓練画像の顔に依拠しないことが決定または推測され得る。同様に、生成された画像がすべて森林または樹木を含むように見える場合、分類器は、霊長類自体の特徴ではなく、霊長類を分類するのにそのような樹木の存在に依拠していることが決定または推測され得る。

別の例として、生成された画像の一部またはすべてが各々いくつかの怪しいまたは疑わしい特徴（各画像の隅の黒い正方形など）を含むと仮定する。これは、分類器が、ポイズニングされたデータを使用して訓練され、疑わしい特徴がトリガのように振る舞い、それにより、画像が実際に描いているものにかかわらず、分類器が、トリガを含む画像をターゲット・クラスに分類したことを示している可能性がある。さらに、いくつかの実施形態では、生成された画像がターゲット・クラスの一貫した表現を示すように見えない（例えば、生成された画像に認識できる馬がいない）場合、不十分な数または種類の訓練サンプルがターゲット・クラスのために使用されたか、または分類器が不明確もしくは不適切な特徴に依拠していると推測することができる。実施形態において、これらおよび他の洞察により、基礎をなす分類器モデルの訓練および理解を改善することができる。例えば、所望の特徴を含む、または望ましくない特徴を含まない、あるいはその両方であるより多くの訓練サンプルまたはより良好な訓練サンプルあるいはその両方を収集して、ポイズニングされたサンプルを除去することなどができる。

図１は、本明細書に開示されるいくつかの実施形態による、事前訓練された分類器のための訓練データを再発見するように敵対的生成モデルを訓練するためのワークフロー１００を示す。図示のワークフロー１００において、事前訓練された分類器１４０および提供されたデータ１２５は、事前訓練された分類器１４０を訓練するために使用される他のデータを表すかまたは近似するシミュレートされたデータを生成するために、敵対的生成モデルを訓練するのに使用される。一実施形態では、事前訓練された分類器１４０は、入力データ（例えば、画像）をクラスに分類するために訓練手本（ｔｒａｉｎｉｎｇ ｅｘａｍｐｌａｒ）のセットを使用して訓練された分類器機械学習モデルである。例えば、事前訓練された分類器１４０は、画像に示された動物に基づいて入力画像をクラスに類別するように訓練され得る。

図示の実施形態において、提供されたデータ１２５は、事前訓練された分類器１４０を訓練するために使用される１つまたは複数の訓練サンプルを含む。しかしながら、少なくとも１つの実施形態では、提供されたデータ１２５は、敵対的生成モデルが訓練されているターゲット・クラスのためのいかなる手本も含まない。すなわち、ＧＡＮ（生成器モデル１１５および識別器モデル１３０を含む）は、ターゲット・クラスからのいかなるサンプルも処理することなく訓練され得る。例えば、事前訓練された分類器１４０は、「霊長類」クラス、「馬」クラス、および「犬」クラスの手本に基づいて訓練されると仮定する。一実施形態では、ターゲット・クラスが「馬」である場合、提供されたデータ１２５は、「霊長類」クラスまたは「犬」クラスあるいはその両方からの手本を含む可能性があるが、「馬」クラスからのいかなる例も含まない。

いくつかの実施形態では、提供されたデータ１２５は、ターゲット・クラス以外のすべてのクラスからの１つまたは複数の手本を含む。他の実施形態では、提供されたデータ１２５は、ターゲット・クラスからのいかなる手本も除外し、他のすべてのクラスからのサンプルを有する場合もあり有しない場合もある。いくつかの実施形態では、提供されたデータ１２５は、事前訓練された分類器１４０を訓練するために実際に使用されたサンプルを含む。他の実施形態では、提供されたデータ１２５は、非ターゲット・クラスに対応するが、事前訓練された分類器１４０を訓練するために実際に使用されなかったラベル付きデータを含むことができる。

図示のワークフロー１００において、ターゲット・ラベル１０５および入力ベクトル１１０が、生成器モデル１１５に提供される。１つの実施形態では、生成器モデル１１５は、ＧＡＮの生成器ニューラル・ネットワークである。生成器モデル１１５は、一般に、入力ベクトル１１０に基づいて生成データ１２０を作り出すように訓練され、生成データ１２０は、ターゲット・ラベル１０５に関連するクラスに属するように意図される。いくつかの実施形態では、生成器モデル１１５は、入力ベクトル１１０を受け取るが、実際にはターゲット・ラベル１０５を受け取らないかまたは処理しない。すなわち、生成器モデル１１５は、入力ベクトル１１０にのみ基づいて生成データ１２０を生成するように訓練され得る。

少なくとも１つの実施形態では、入力ベクトル１１０は、生成器モデル１１５への入力として使用されるランダム化ベクトルである。一般に、入力ベクトル１１０を変更すると、生成データ１２０の異なる出力がもたらされる。訓練中に、生成器モデル１１５は、以下でより詳細に論じるように、ターゲット・ラベル１０５に近似または一致する生成データ１２０を作り出すことを学習する。

図示のように、次いで、生成データ１２０は、識別器モデル１３０に提供される。１つの実施形態では、識別器モデル１３０は、ＧＡＮの識別器ニューラル・ネットワークである。一般に、識別器モデル１３０は、真の入力データ（例えば、提供されたデータ１２５）を、生成器モデル１１５によって創り出されたシミュレートされたデータ（例えば、生成データ１２０）と区別するように訓練される。すなわち、生成器モデル１１５は、提供されたデータ１２５に近似するか、それと一致するか、またはそれをシミュレートする生成データ１２０を生成することを学習することができ、一方、識別器モデル１３０は、生成データ１２０を、提供されたデータ１２５と区別することを学習する。

図示のワークフロー１００において、生成データ１２０または提供されたデータ１２５あるいはその両方に基づいて、システムは識別器損失１３５を計算する。１つの実施形態では、この識別器損失１３５は、識別器モデル１３０が入力を生成データ１２０または提供されたデータ１２５として正確に分類したかどうかに基づいて決定される。例えば、識別器モデル１３０が、生成データ１２０を真正の提供されたデータ１２５として誤って分類した場合（または提供されたデータ１２５を、シミュレートされた生成データ１２０として誤って分類した場合）、識別器損失１３５は、識別器モデル１３０が正確に入力を分類した場合よりも大きくなり得る。図示のように、次いで、この識別器損失１３５を使用して、識別器モデル１３０の重みまたはパラメータを精緻化し、その結果、識別器モデル１３０は、真正のデータとシミュレートされたデータとをより正確に区別する。生成データ１２０または提供されたデータ１２５あるいはその両方の多数の入力を反復して処理することによって、識別器モデル１３０は、この２つを区別することを反復して学習する。

図示のように、生成データ１２０は、分類器損失１４５を生成するために、事前訓練された分類器１４０にも提供される。一実施形態では、分類器損失１４５は、事前訓練された分類器１４０の出力と、ターゲット・ラベル１０５との間の差に基づいて計算される。例えば、ターゲット・クラス（それゆえに、ターゲット・ラベル１０５）が「犬」であると仮定する。事前訓練された分類器１４０が、生成データ１２０を「犬」として分類した場合、分類器損失１４５は、事前訓練された分類器１４０がそれを「馬」として分類した場合よりも低くなり得る。図示の実施形態では、分類器損失１４５と識別器損失１３５の両方が、生成器モデル１１５を精緻化するために使用される。これにより、生成器モデル１１５は、ターゲット・ラベル１０５をより厳密に表す、より良好な生成データ１２０を生成することを反復して学習することができる。すなわち、識別器損失１３５は、生成器モデル１１５に、提供されたデータ１２５に類似する生成データ１２０を生成させることができ、一方、分類器損失１４５は、生成器モデル１１５に、ターゲット・ラベル１０５に固有の生成データ１２０を生成させる。

実施形態において、訓練プロセス中に、生成器モデル１１５および識別器モデル１３０の内部重みおよびパラメータは精緻化され得るが、事前訓練された分類器１４０は変更されないままである。訓練が完了した後、生成器モデル１１５は、ターゲット・ラベル１０５に近似するかまたはそれを表す生成データ１２０を作り出すために展開され得る。そのような生成データは、事前訓練された分類器１４０の品質または他の特性を決定するために様々な技術を使用して評価することができる。

図２は、本明細書に開示されるいくつかの実施形態による、事前訓練された分類器を訓練するために使用されるデータに近似するシミュレートされた訓練データを生成するために敵対的生成ネットワークを使用するためのワークフロー２００を示す。具体的には、ワークフロー２００は、訓練された（例えば、図１のワークフロー１００を使用して）後の生成器モデル１１５の使用を示す。図示の実施形態では、生成器モデル１１５は、ターゲット・ラベル１０５または入力ベクトル１１０あるいはその両方を受け取り、シミュレートされたデータ２０５を生成する。

いくつかの実施形態では、上述で論じたように、生成器モデル１１５は、ターゲット・ラベル１０５を受け取らない。代わりに、生成器モデル１１５は、上述で論じたようにターゲット・クラスのためのシミュレートされたデータ２０５を生成する（例えば、ターゲット・ラベル１０５に基づいて計算される分類器損失に部分的に基づいて）ように訓練され得る。そのような実施形態では、生成器モデル１１５は、ターゲット・ラベル１０５に一致するシミュレートされたデータ２０５を創り出すのに、入力ベクトル１１０を受け取るだけでよい。

一実施形態では、シミュレートされたデータ２０５は、ターゲット・クラスからの手本を反映する。異なる入力ベクトル１１０を提供することによって、ターゲット・クラスのための異なる手本を生成することができる。いくつかの実施形態では、入力ベクトル１１０は、ランダムまたは疑似ランダム・アルゴリズムを使用して創り出される。いくつかの実施形態では、シミュレートされたデータ２０５のセットは、入力ベクトル１１０のセットを使用して生成することができる。次いで、このシミュレートされたデータ２０５を評価または分析して、事前訓練された分類器１４０の品質を決定することができる。実施形態において、この評価は、自動（例えば、１つまたは複数のコンピュータによって実行される）、手動（例えば、人間のレビュアによって実行される）、または２つのものの組合せとすることができる。

例えば、シミュレートされたデータ２０５が、同様の特徴を有していないように見えるか、またはターゲット・ラベル１０５を反映していないように見える場合、事前訓練された分類器１４０が、ターゲット・クラスのための十分なデータで訓練されなかったことが決定または推測され得る。１つのそのような実施形態では、事前訓練された分類器１４０は、ターゲット・クラスのための追加のサンプルを用いて精緻化することができる。

同様に、シミュレートされたデータ２０５のすべてまたは一部が、ターゲット・ラベル２０５に関連しない特徴（例えば、ラベルが「霊長類」であるときの樹木）を含む場合、事前訓練された分類器１４０は、ターゲット・クラスを分類するときに無関係の特徴に依拠していることが決定または推測され得る。１つのそのような実施形態では、事前訓練された分類器１４０は、モデルがクラスをより正確に予測することを学習できるようするために、この特徴を含まない、より良好なサンプル（例えば、樹木を含まない霊長類の画像）を用いて訓練または精緻化することができる。

加えて、シミュレートされたデータ２０５のすべてまたは一部が、ターゲット・ラベル１０５を分類することに関連するか、またはそれに有用である特徴（例えば、「霊長類」クラスの顔）を欠いている場合、事前訓練された分類器１４０は、ターゲット・クラスを分類するときにそのような特徴に依拠していないことが決定または推測され得る。１つのそのような実施形態では、事前訓練された分類器１４０は、モデルがクラスをより正確に予測することを学習できるようにするために、この特徴（例えば、霊長類の顔の画像）を含む、より良好なサンプルを用いて訓練または精緻化することができる。

別の例として、シミュレートされたデータ２０５のすべてまたは一部が、疑わしいかまたは不当に見える特徴を含む場合、事前訓練された分類器１４０が、少なくともターゲット・クラスのためのポイズニングされたデータを使用して訓練されたことが決定または推測され得る。本明細書で使用されるとき、特徴は、入力データの正当なまたは現実的な特徴を反映していない場合、疑わしいと考えることができる。例えば、１つの疑わしい特徴は、生成された画像の特定の場所、例えば、隅などに色付き正方形が存在することであり得る。そのような特徴は、誤って含まれた可能性は低く（例えば、訓練サンプルはそのような特徴を含むべきでなかったので）、それゆえに、悪意を持って含まれた可能性がある（例えば、入力における正当な特徴ではなく、これらのトリガ特徴に依拠するように事前訓練された分類器１４０を欺くために）。１つのそのような実施形態では、事前訓練された分類器１４０は、モデルがクラスをより正確に予測することを学習できるようにするために、このトリガ特徴を含む、より良好なサンプルを用いて訓練もしくは精緻化されてもよく、またはターゲット・クラスのためのオリジナルの訓練データ（ポイズニングされている可能性がある）なしに再訓練されてもよい。

図３は、本明細書に開示されるいくつかの実施形態による、事前訓練されたモデルに基づいて、シミュレートされた訓練データを生成するように生成器モデルを訓練する方法３００を示す流れ図である。図示のように、方法３００は、システムが１つまたは複数のサンプルに基づいて識別器モデルを訓練するブロック３０５で開始する。一実施形態では、これは、一般に、生成器モデルによって生成されたデータ、分類器モデルを訓練するために使用される実際のデータ、または両方を、識別器への入力として提供することを含むことができる。この入力に基づいて、識別器モデルは、入力が真正であるかまたはシミュレートされているかどうかを示すラベルを出力する。この出力を入力の実際の分類（真正のものまたはシミュレートされたものとしての）と比較することによって、システムは、識別器損失を生成することができ、識別器損失は、識別器モデルを精緻化する（例えば、逆伝播を介して）ために使用することができる。

一実施形態では、この訓練は、個々のレコードに対して順次、またはバッチで実行することができる。ブロック３１０において、システムは、識別器モデルの訓練が繰り返されるべきかどうか（例えば、追加のサンプルまたはバッチあるいはその両方がこのエポックでまだ使用されていないかどうか）を決定する。そうである場合、方法３００はブロック３０５に戻る。そうでない場合、方法３００はブロック３１５に続く。

ブロック３１５において、システムは、１つまたは複数のサンプルを使用して生成器モデルを訓練する。一実施形態では、これは、一般に、シミュレートされた出力データを生成するために、入力ベクトルを生成器モデルに提供することを含む。次いで、このシミュレートされたデータは、予測ラベルを出力するために、事前訓練された分類器に提供され、予測ラベルは、分類器損失を計算するためにターゲット・ラベルと比較され得る。この分類器損失は、生成器モデルの重みまたはパラメータを精緻化する（例えば、逆伝播を介して）ために使用することができる。いくつかの実施形態では、シミュレートされたデータはまた、識別器に提供され、識別器損失が計算され得る。この識別器損失はまた、生成器モデルを精緻化する（例えば、逆伝播を介して）ために使用することができる。１つの実施形態では、生成器モデルは、分類器損失と識別器損失の総計（例えば、個々の損失の合計）に基づいて精緻化される。

ブロック３１５において、このプロセスは、１つまたは複数のサンプルに対して順次実行されてもよく、またはバッチとして実行されてもよい。次いで、方法３００はブロック３２０に続き、システムは、１つまたは複数の終了基準が満たされたかどうかを決定する。この終了基準は、例えば、識別器または生成器あるいはその両方の最低レベルの精度（例えば、生成器が、識別器を騙すデータを創り出す、または分類器によってターゲット・ラベルに正確に分類される、あるいはその両方である回数の割合）を含むことができる。いくつかの実施形態では、終了基準は、モデルを訓練するのに費やされた時間、完了したサイクルまたはバッチの数、真正のデータ（例えば、提供されたデータ１２５）がまだ処理されていないかどうか、などを含むことができる。

終了基準が満たされていない場合、方法３００はブロック３０５に戻る。このようにして、方法３００は、生成器と識別器をタンデムに訓練するために反復する。終了基準が満たされた場合、方法３００はブロック３２５に続く。ブロック３２５において、生成器モデルは、使用のために展開される。例えば、生成器モデルは、ターゲット・クラスを調査し、事前訓練された分類器を訓練するために使用される訓練データを回復またはそれに近似するように、ランタイム中に、シミュレートされたデータを生成するために使用され得る。

図４は、本明細書に開示されるいくつかの実施形態による、事前訓練されたモデルからの訓練データの再発見を支援するように識別器モデルを訓練する方法４００を示す流れ図である。１つの実施形態では、方法４００は、図３におけるブロック３０５の追加の詳細を提供する。方法４００は、ブロック４０５で開始し、システムは、識別器を訓練するために使用することができる１つまたは複数の入力ベクトルを生成する。いくつかの実施形態では、これらの入力ベクトルはランダムに生成される。

次いで、方法４００はブロック４１０に続き、システムは、入力ベクトルを使用して１つまたは複数のシミュレートされたデータ・サンプルを生成する。例えば、システムは、入力ベクトルを生成器モデル（完全に訓練されていてもよく、部分的に訓練されていてもよく、または訓練されていなくてもよい）に提供することができる。生成器モデルは、入力ベクトルごとに、シミュレートされたデータ・サンプルを出力することができる。いくつかの実施形態では、生成器モデルは、ランダムな重みまたはパラメータを用いて初期化され、その結果、シミュレートされたデータ・サンプルは、少なくとも最初は、比較的ランダムで非現実的であり得る。しかしながら、経時的に、生成器は、より正確なデータ・サンプルを生成することを学習する。

ブロック４１５において、システムは、シミュレートされたデータ・サンプルに基づいて識別器損失を計算する。１つの実施形態では、これは、シミュレートされたデータ・サンプルを識別器モデルに提供することを含み、識別器モデルは、シミュレートされたデータ・サンプルを真正のものまたはシミュレートされたものとして分類することを試みる。損失は、識別器が正しいかどうかに基づいて計算され得る。次いで、この損失を使用して、識別器モデルの重みまたはパラメータを精緻化することができ、その結果、識別器モデルは、真正のデータ・サンプルとシミュレートされたデータ・サンプルをより正確に区別することができる。

次いで、方法４００はブロック４２０に続き、システムは、１つまたは複数の真正のデータ・サンプルを選択する。１つの実施形態では、これらの真正のデータ・サンプルは、事前訓練された分類器を訓練するために実際に使用された訓練サンプルを反映する。別の実施形態では、これらの真正のデータ・サンプルは、分類器を訓練または精緻化するために実際に使用されなかった場合でさえ、分類器を訓練または精緻化するために使用することができる実際の入力データ（例えば、実際の画像）を反映する。ブロック４２５において、システムは、これらの真正のデータ・サンプルに基づいて識別器損失を計算する。１つの実施形態では、上述で論じたように、これは、真正のデータ・サンプルを識別器モデルに提供することを含み、識別器モデルは、それを真正のものまたはシミュレートされたものとして分類することを試みる。損失は、識別器が正しいかどうかに基づいて計算され得る。次いで、この損失を使用して、識別器モデルの重みまたはパラメータを精緻化することができ、その結果、識別器モデルは、真正のデータ・サンプルとシミュレートされたデータ・サンプルをより正確に区別することができる。

次いで、方法４００はブロック４３０に進み、システムは、上述で計算された識別器損失に基づいて識別器モデルを更新する。例えば、システムは、逆伝播を使用して、識別器モデルの１つまたは複数の内部重みを更新することができる。異なるシミュレートされたサンプルおよび真正のサンプルを使用して損失を反復して計算することによって、識別器は、真正のデータとシミュレートされたデータをより正確に区別することを反復して学習する。

ブロック４３５において、システムは、いくつかの終了基準が満たされたかどうかを決定する。いくつかの実施形態では、これは、識別器モデルが、訓練の現在のラウンドまたはエポックで十分な数のサンプルで訓練されたかどうかを決定することを含む。少なくとも１つの実施形態では、システムは、識別器の精度を決定し、終了基準がこの精度に基づいて満たされているかどうかを決定する。例えば、識別器の正しい回数が半分未満である（例えば、コイン・トスより悪い）場合、システムは、追加の訓練が必要であると決定することができる。終了基準が満たされていない場合、方法４００はブロック４０５に戻る。そうでない場合は、方法４００はブロック４４０で終了する。いくつかの実施形態では、次いで、システムは、生成器モデルの訓練を開始することができる。

図５は、本明細書に開示されるいくつかの実施形態による、事前訓練されたモデルからの訓練データの再発見を支援するように生成器モデルを訓練する方法５００を示す流れ図である。１つの実施形態では、方法５００は、図３におけるブロック３１５の追加の詳細を提供する。方法５００は、ブロック５０５で開始し、システムは、１つまたは複数の入力ベクトルを生成する。いくつかの実施形態では、これらは、識別器モデルを訓練するために上述で使用されたものと同じ入力ベクトルである。他の実施形態では、システムは、新しい入力ベクトルを生成する（例えば、ランダムに）。

次いで、方法５００はブロック５１０に続き、システムは、入力ベクトルを使用して１つまたは複数のシミュレートされたデータ・サンプルを生成する。例えば、システムは、入力ベクトルを生成器モデル（完全に訓練されていてもよく、部分的に訓練されていてもよく、または訓練されていなくてもよい）に提供することができる。生成器モデルは、入力ベクトルごとに、シミュレートされたデータ・サンプルを出力することができる。いくつかの実施形態では、生成器モデルは、ランダムな重みまたはパラメータを用いて初期化され、その結果、シミュレートされたデータ・サンプルは、少なくとも最初は、比較的ランダムで非現実的であり得る。しかしながら、経時的に、生成器は、より正確なデータ・サンプルを生成することを学習する。

ブロック５１５において、システムは、シミュレートされたデータ・サンプルに基づいて識別器損失を計算する。１つの実施形態では、これは、シミュレートされたデータ・サンプルを識別器モデルに提供することを含み、識別器モデルは、シミュレートされたデータ・サンプルを真正のものまたはシミュレートされたものとして分類することを試みる。損失は、識別器が正しいかどうかに基づいて計算され得る。以下でより詳細に論じられるように、この損失を引き続き使用して、生成器モデルの重みまたはパラメータを精緻化することができる。

次いで、方法５００はブロック５２０に続き、システムは、シミュレートされたデータ・サンプルに基づいて分類器損失を計算する。１つの実施形態では、これは、シミュレートされたデータ・サンプルを事前訓練された分類器モデルに提供することを含み、事前訓練された分類器モデルは、前の訓練に基づいて、シミュレートされたデータ・サンプルをクラスまたはカテゴリに分類する。一実施形態では、分類器損失は、シミュレートされたデータ・サンプルがターゲット・クラスに分類されたかどうかに基づいて計算することができる。以下でより詳細に論じられるように、この損失を引き続き使用して、生成器モデルの重みまたはパラメータを精緻化することができる。

次いで、方法５００はブロック５２５に進み、システムは、上述で計算された識別器損失および生成器損失に基づいて生成器モデルを更新する。例えば、システムは、逆伝播を使用して、生成器モデルの１つまたは複数の内部重みを更新することができる。反復してそうすることによって、生成器は、ターゲット・クラス（分類器損失のために）のための真正のデータ（識別器損失のために）をより正確に反映するかまたは表すシミュレートされたデータを生成することを反復して学習する。

ブロック５３０において、システムは、いくつかの終了基準が満たされたかどうかを決定する。いくつかの実施形態では、これは、生成器モデルが、訓練の現在のラウンドまたはエポックで十分な数のサンプルで訓練されたかどうかを決定することを含む。少なくとも１つの実施形態では、システムは、生成器の精度を決定し、終了基準がこの精度に基づいて満たされているかどうかを決定する。例えば、シミュレートされたデータが、事前定義された回数の割合でターゲット・クラスに分類されている場合、システムは、追加の訓練が必要でないと決定することができる。同様に、識別器が事前定義された回数の割合で騙された場合、システムは、さらなる訓練が現時点で必要でないと決定することができる。終了基準が満たされていない場合、方法５００は、ブロック５０５に戻る。そうでなければ、方法５００は、ブロック５３５で終了する。いくつかの実施形態では、次いで、システムは訓練された生成器モデルを展開することができ、または識別器をさらに精緻化し始めることができる（例えば、方法４００を使用して）。

図６は、本明細書に開示されるいくつかの実施形態による、事前訓練されたモデルの訓練データを生成および評価する方法を示す流れ図である。１つの実施形態では、方法６００は、生成器モデルがターゲット・クラスに対応するシミュレートされたデータ・サンプルを生成するように十分に訓練された後に利用することができる。方法６００は、ブロック６０５で開始し、システムは、１つまたは複数の入力ベクトルを生成するかまたは受け取る。上述で論じたように、これらの入力ベクトルは、ランダムに生成され得る。

ブロック６１０において、システムは、入力ベクトルに基づいて１つまたは複数のシミュレートされたデータ・サンプルを生成する。例えば、システムは、入力ベクトルを生成器モデルに提供することができ、生成器モデルは、入力ベクトルごとに、対応するシミュレートされたデータ・サンプルを出力する。次いで、方法６００はブロック６１５に続き、シミュレートされたデータ・サンプルが評価される。これは、上述で論じたように、シミュレートされたデータ・サンプルにわたって共有される特徴を識別すること、シミュレートされたデータ・サンプルに存在しない特徴を識別すること、などを含むことができる。

例えば、シミュレートされたデータ・サンプルに存在する（または存在しない）特徴を使用して、基礎をなす事前訓練された分類器が実際にどの特徴に依拠しているかを決定または推測することができる。同様に、いくつかの実施形態では、シミュレートされたデータ・サンプルがターゲット・クラスを示すように見えない場合、基礎をなす分類器が、クラスに関して特に正確ではない、またはクラスに対して不十分なデータで訓練された、あるいはその両方であると決定するかまたは推測することができる。

この分析の結果に基づいて、様々なステップを行うことができる。これは、例えば、ターゲット・クラスのために追加の訓練データを収集または使用あるいはその両方を行うこと、生産において分類器モデルの使用を控えること、などを含むことができる。

次いで、方法６００はブロック６２０に続き、システムは、１つまたは複数の終了基準が満たされているかどうかを決定する。これは、例えば、生成されるべきシミュレートされたデータ・サンプルの数、ユーザが別のラウンドを開始した（またはプロセスを終了した）かどうかを決定すること、などを含むことができる。基準が満たされていない場合、方法６００はブロック６０５に戻る。そうでなければ、方法６００は、ブロック６２５で終了する。

図７は、本明細書に開示されるいくつかの実施形態による、事前訓練された分類器モデルに基づいて生成器モデルを訓練する方法７００を示す流れ図である。方法７００は、ブロック７０５で開始し、システムは、ターゲット・クラスにおける１つまたは複数のデータ・サンプルを使用して訓練された分類器モデルを受け取る。ブロック７１０において、システムは、ターゲット・クラスのためのシミュレートされたデータ・サンプルを生成するように敵対的生成ネットワーク（ＧＡＮ）を訓練する。次いで、方法７００はブロック７１５に続き、システムは、生成器モデルを使用して第１のシミュレートされたデータ・サンプルを生成する。ブロック７２０において、システムは、識別器モデルを使用して第１のシミュレートされたデータ・サンプルを処理することによって、第１の識別器損失を計算する。さらに、ブロック７２５において、システムは、分類器モデルを使用して第１のシミュレートされたデータ・サンプルを処理することによって、分類器損失を計算する。次いで、方法７００はブロック７３０に続き、システムは、第１の識別器損失および分類器損失に基づいて生成器モデルを精緻化する。

図８は、本明細書に開示されるいくつかの実施形態による、事前訓練された分類器に基づいて生成器モデルを訓練するように構成されたコンピューティング・デバイス８００を示すブロック図である。実施形態では物理デバイスとして示されているが、コンピューティング・デバイス８００は、仮想デバイスを使用して、またはいくつかのデバイス（例えば、クラウド環境における）にわたって、あるいはその両方で実装されてもよい。図示のように、コンピューティング・デバイス８００は、ＣＰＵ８０５、メモリ８１０、ストレージ８１５、ネットワーク・インタフェース８２５、および１つまたは複数のＩ／Ｏインタフェース８２０を含む。図示の実施形態では、ＣＰＵ８０５は、メモリ８１０に格納されたプログラミング命令の検索および実行を行い、ならびにストレージ８１５に存在するアプリケーション・データの格納および検索を行う。ＣＰＵ８０５は、一般に、単一のＣＰＵまたはＧＰＵあるいはその両方、多数のＣＰＵまたはＧＰＵあるいはその両方、多数の処理コアを有する単一のＣＰＵまたはＧＰＵあるいはその両方、などを表す。メモリ８１０は、一般に、ランダム・アクセス・メモリを表すために含まれる。ストレージ８１５は、ディスク・ドライブ、フラッシュ・ベース・ストレージ・デバイスなどの任意の組合せとすることができ、固定ディスク・ドライブ、リムーバブル・メモリ・カード、キャッシュ、光ストレージ、ネットワーク接続ストレージ（ＮＡＳ）、またはストレージ・エリア・ネットワーク（ＳＡＮ）などの固定ストレージ・デバイスまたはリムーバブル・ストレージ・デバイスあるいはその両方を含むことができる。

いくつかの実施形態では、Ｉ／Ｏデバイス８３５（キーボード、モニタなどのような）は、Ｉ／Ｏインタフェース８２０を介して接続される。さらに、ネットワーク・インタフェース８２５を介して、コンピューティング・デバイス８００は、１つまたは複数の他のデバイスおよび構成要素に通信可能に結合することができる（例えば、インターネット、ローカル・ネットワークなどを含むことができるネットワークを介して）。図示のように、ＣＰＵ８０５、メモリ８１０、ストレージ８１５、ネットワーク・インタフェース８２５、およびＩ／Ｏインタフェース８２０は、１つまたは複数のバス８３０によって通信可能に結合される。

図示の実施形態では、ストレージ８１５は、生成器モデル１１５、識別器モデル１３０、および事前訓練された分類器１４０を含む。実施形態ではストレージ８１５に存在するように示されているが、生成器モデル１１５、識別器モデル１３０、事前訓練された分類器１４０は、任意の適切な場所に存在することができる。事前訓練された分類器１４０は、入力データを１つまたは複数のカテゴリまたはクラスに分類するように訓練された機械学習モデルである。例えば、事前訓練された分類器１４０は、画像に示された物体または動物に基づいて画像をクラスに類別することができる。一般に、事前訓練された分類器１４０は、ラベル付きの手本またはデータ・サンプル（例えば、各々が画像の内容を示すラベルに関連づけられた画像）を使用して訓練される。

一実施形態では、生成器モデル１１５および識別器モデル１３０はＧＡＮを形成する。生成器モデル１１５は、事前訓練された分類器１４０を訓練するために使用されるデータ・サンプルのすべてまたは一部に近似するシミュレートされたデータを生成するように訓練された機械学習モデル（例えば、ニューラル・ネットワーク）である。１つの実施形態では、生成器モデル１１５は、事前訓練された分類器１４０が訓練された特定のデータのクラスのためのシミュレートされたデータを生成するように訓練される。

一般に、識別器モデル１３０は、真正のデータ・サンプル（例えば、事前訓練された分類器１４０を訓練するために使用されたもの）とシミュレートされたデータ・サンプル（生成器モデル１１５によって生成された）を区別するように訓練された機械学習モデル（例えば、ニューラル・ネットワーク）である。実施形態において、識別器モデル１３０は、生成器モデル１１５と一緒に訓練され、生成器モデル１１５にその生成データ・サンプルの精度を改善するように圧力をかける。

図示の実施形態では、メモリ８１０は、生成器アプリケーション８５０を含む。実施形態ではメモリ８１０に存在するソフトウェアとして示されているが、生成器アプリケーション８５０の機能は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組合せを使用して実施され得る。図示のように、生成器アプリケーション８５０は、訓練構成要素８５５および評価構成要素８６０を含む。実施形態では、概念を明確にするために別個の構成要素として示されているが、訓練構成要素８５５および評価構成要素８６０の動作は、任意の数の構成要素にわたって組み合わせるか分散させることができる。

一実施形態では、訓練構成要素８５５は、上述で論じたように、生成器モデル１１５および識別器モデル１３０を訓練するために使用される。これは、識別器モデル１３０の出力（その出力は、入力として使用されるシミュレートされたデータ・サンプルまたは真正のデータ・サンプルあるいはその両方に基づいて生成される）に基づいて識別器損失を計算すること、ならびにシミュレートされたデータ（生成器モデル１１５によって生成された）が入力として提供されたときの事前訓練された分類器１４０の出力に基づいて分類器損失を計算することを含むことができる。一実施形態では、訓練構成要素８５５は、識別器損失に基づいて識別器モデル１３０を精緻化し、それにより、識別器モデル１３０は、真正のデータ・サンプルとシミュレートされたデータ・サンプルとを区別することを学習するように強いられる。

いくつかの実施形態では、訓練構成要素８５５は、識別器損失と分類器損失との両方に基づいて生成器モデル１１５を精緻化する。１つのそのような実施形態では、識別器損失により、生成器モデル１１５は、現実的なデータ・サンプルを生成することを学習させられ、一方、分類器損失により、生成器モデル１１５は、特定のターゲット・ラベルと一致するデータ・サンプルを生成することを学習するように強いられる。

図示の実施形態では、上述で論じられたように、評価構成要素８６０は、一般に、訓練された生成器モデル１１５を使用して、シミュレートされたデータ・サンプルを生成し、そのようなデータ・サンプルを分析して、事前訓練された分類器１４０の品質を評価することができる。これは、例えば、シミュレートされたデータ・サンプルにわたる共通の特徴を識別すること（分類器が依拠した特徴を示すこと）、シミュレートされたデータ・サンプルの疑わしい特徴を識別すること（分類器の潜在的なポイズニングを示すこと）、シミュレートされたデータ・サンプルから欠落した特徴を識別すること（分類器が依拠しなかった特徴を示すこと）、シミュレートされたデータ・サンプルが認識可能でないかまたは著しいノイズを有すると決定すること（クラスのための訓練データが不十分であることを示すこと）、などを含むことができる。

いくつかの実施形態では、この評価に基づいて、生成器アプリケーション８５０（または別の構成要素もしくはデバイス）は様々な働きを行うことができる。これらは、ランタイム中に事前訓練された分類器１４０を使用しないことを決定すること、分類器の品質スコアまたは指標を生成すること、行い得る特定の精緻化または改善を示すこと（所与のクラスのために、より多くの訓練データを収集することなど）、評価の結果に基づいて事前訓練された分類器１４０を実際に精緻化すること、などを含むことができる。

本発明の様々な実施形態の記載は、例証の目的のために提示されたが、網羅的であること、または開示された実施形態に限定されることを意図するものではない。記載された実施形態の範囲から逸脱することなく、多くの変更および変形が当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、実際の適用、または市場で見出される技術に対する技術的改善を最もよく説明するように、あるいは当業者が本明細書に開示される実施形態を理解できるように選ばれた。

上記において、本開示で提示される実施形態が参照されている。しかしながら、本開示の範囲は、特定の記載された実施形態に限定されない。代わりに、特徴と要素の任意の組合せが、異なる実施形態に関連するか否かにかかわらず、企図された実施形態を実施および実践するように企図される。さらに、本明細書に開示される実施形態は、他の可能な解決策または先行技術に優る利点を達成することができるが、特定の利点が所与の実施形態によって達成されるか否かは、本開示の範囲を限定するものではない。したがって、本明細書で論じられる態様、特徴、実施形態、および利点は、単に例示であり、請求項に明確に列挙されている場合を除いて、添付の特許請求の範囲の要素または限定と解釈されない。同様に、「本発明」への言及は、本明細書に開示される発明の主題の一般化として解釈されないものとし、請求項に明確に列挙されている場合を除いて、添付の特許請求の範囲の要素または限定と見なされないものとする。

本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をとることができ、それらは、すべて、一般に、本明細書では「回路」、「モジュール」、または「システム」と呼ばれることがある。

本発明は、任意の可能な技術的詳細レベルの統合におけるシステム、方法、またはコンピュータ・プログラム製品、あるいはその組合せであり得る。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有する１つのコンピュータ可読ストレージ媒体（または複数の媒体）を含むことができる。

コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用されるように命令を保持および格納することができる有形のデバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、限定はしないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光学ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、または前述のものの任意の適切な組合せとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストには、以下のもの、すなわち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令が記録された溝内の隆起構造などの機械的に符号化されたデバイス、および前述のものの任意の適切な組合せが含まれる。本明細書で使用されるコンピュータ可読ストレージ媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、またはワイヤを通して伝送される電気信号などのそれ自体一過性信号であると解釈されるべきではない。

本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスに、あるいはネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、または無線ネットワーク、あるいはその組合せを介して外部コンピュータまたは外部ストレージ・デバイスにダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを含むことができる。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カードまたはネットワーク・インタフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、そのコンピュータ可読プログラム命令をそれぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、またはＳｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの手続きされたプログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで書かれたソース・コードもしくはオブジェクト・コードのいずれかとすることができる。コンピュータ可読プログラム命令は、全面的にユーザのコンピュータで、部分的にユーザのコンピュータで、スタンドアロン・ソフトウェア・パッケージとして、部分的にユーザのコンピュータでおよび部分的にリモート・コンピュータで、または全面的にリモート・コンピュータもしくはサーバで実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通してユーザのコンピュータに接続されてもよく、または接続が外部コンピュータに対して行われてもよい（例えば、インターネット・サービス・プロバイダを使用してインターネットを通して）。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人専用にすることによってコンピュータ可読プログラム命令を実行することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して本明細書に記載されている。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実施され得ることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定された機能／動作を実施するための手段を作り出すように、コンピュータ、またはマシンを作り出すための他のプログラマブル・データ処理装置のプロセッサに提供され得る。これらのコンピュータ可読プログラム命令はまた、命令が格納されたコンピュータ可読ストレージ媒体がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定された機能／動作の態様を実施する命令を含む製品を構成するように、コンピュータ、プログラマブル・データ処理装置、または他のデバイス、あるいはその組合せに、特定の方法で機能するように指示することができるコンピュータ可読ストレージ媒体に格納されてもよい。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイスで実行される命令がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定された機能／動作を実施するように、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされて、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイスで実行させて、コンピュータ実装プロセスを作り出すことができる。

図におけるフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を示す。これに関しては、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実施するための１つまたは複数の実行可能命令を含む命令のモジュール、セグメント、または一部を表すことができる。いくつかの代替の実施態様では、ブロックに記された機能は、図に記された順序から外れて行われてもよい。例えば、連続して示された２つのブロックは、実際には、同時に、実質的に同時に、部分的もしくは全面的に時間的に重複して実行される１つのステップとして達成されてもよく、またはブロックは、時には、関連する機能に応じて逆の順序で実行されてもよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方のブロックの組合せは、指定された機能または動作を実行するかあるいは専用ハードウェア命令とコンピュータ命令の組合せを実行する専用ハードウェア・ベース・システムで実施され得ることにも留意されたい。

本発明の実施形態は、クラウド・コンピューティング・インフラストラクチャを介してエンド・ユーザに提供することができる。クラウド・コンピューティングは、一般に、ネットワークによるサービスとして拡張可能なコンピューティング・リソースを提供することを指す。より形式的には、クラウド・コンピューティングは、コンピューティング・リソースとその基礎をなす技術アーキテクチャ（例えば、サーバ、ストレージ、ネットワーク）との間の抽象的概念を提供し、最小の管理労力またはサービス・プロバイダ対話により迅速にプロビジョニングおよびリリースすることができる構成可能なコンピューティング・リソースの共有プールへの便利でオン・デマンドのネットワーク・アクセスを可能にするコンピューティング機能として定義することができる。したがって、クラウド・コンピューティングにより、ユーザは、コンピューティング・リソースを提供するために使用される基礎をなす物理システム（またはそれらのシステムの場所）に関係なく、「クラウド」内の仮想コンピューティング・リソース（例えば、ストレージ、データ、アプリケーション、およびさらには完全な仮想化コンピューティング・システム）にアクセスすることができる。

一般に、クラウド・コンピューティング・リソースは利用回数制料金でユーザに提供され、ユーザは、実際に使用したコンピューティング・リソース（例えば、ユーザによって消費されたストレージ空間の量、またはユーザによってインスタンス化された仮想化システムの数）に対してのみ課金される。ユーザは、クラウド内に常駐するリソースのどれにでも、いつでも、インターネットを介してどこからでもアクセスすることができる。本発明のコンテキストにおいて、ユーザは、クラウドで利用可能なアプリケーション（例えば、生成器アプリケーション８５０）または関連データにアクセスすることができる。例えば、生成器アプリケーション８５０は、クラウド内のコンピューティング・システムで実行し、事前訓練されたモデルに基づいて生成器モデル１１５を訓練することができる。そのような場合、生成器アプリケーション８５０は、生成器モデル１１５を訓練および使用して、分類器のための訓練データを回復および分析し、モデルおよび評価結果をクラウド内のストレージ場所に格納することができる。そうすることにより、ユーザは、クラウドに接続されたネットワーク（例えば、インターネット）に接続された任意のコンピューティング・システムからこの情報にアクセスすることができる。

前述は、本発明の実施形態に関するが、本発明の他のおよびさらなる実施形態は、本発明の基本的な範囲から逸脱することなく考案することができ、本発明の範囲は、以下の特許請求の範囲によって決定される。

Claims (21)

1. 方法であって、
   ターゲット・クラスにおける１つまたは複数のデータ・サンプルを使用して訓練された分類器モデルを受け取ることと、
   前記ターゲット・クラスのためのシミュレートされたデータ・サンプルを生成するために、敵対的生成ネットワーク（ＧＡＮ）を訓練することであり、
   生成器モデルを使用して第１のシミュレートされたデータ・サンプルを生成すること、
   識別器モデルを使用して前記第１のシミュレートされたデータ・サンプルを処理することによって、第１の識別器損失を計算すること、
   前記分類器モデルを使用して前記第１のシミュレートされたデータ・サンプルを処理することによって、分類器損失を計算すること、および
   前記第１の識別器損失および前記分類器損失に基づいて前記生成器モデルを精緻化すること
   を含む、前記訓練することと
   を含む方法。
2. 前記ＧＡＮが、前記ターゲット・クラスにおけるいかなるデータ・サンプルも処理することなく訓練される、請求項１に記載の方法。
3. 前記ＧＡＮを訓練することが、
   前記生成器モデルを使用して第２のシミュレートされたデータ・サンプルを生成することと、
   前記識別器モデルを使用して前記第２のシミュレートされたデータ・サンプルを処理することによって、第２の識別器損失を計算することと、
   前記第２の識別器損失に基づいて前記識別器モデルを精緻化することと
   をさらに含む、請求項１に記載の方法。
4. 前記識別器モデルが、前記生成器モデルによって生成されたシミュレートされたデータ・サンプルと、前記分類器モデルを訓練するために使用されたデータ・サンプルとを差別化するように訓練される、請求項１に記載の方法。
5. 前記方法が、
   ランダム化入力ベクトルを前記生成器モデルに提供することによって、前記ターゲット・クラスのための第１のシミュレートされたデータ・サンプルを生成すること
   をさらに含む、請求項１に記載の方法。
6. 前記方法は、
   前記分類器モデルが、前記第１のシミュレートされたデータ・サンプルに少なくとも部分的に基づいて、前記ターゲット・クラスにおける不十分なデータ・サンプルを用いて訓練されたと決定すること
   をさらに含む、請求項５に記載の方法。
7. 前記方法は、
   前記分類器モデルを訓練するために使用された前記ターゲット・クラスにおける前記データ・サンプルが、前記第１のシミュレートされたデータ・サンプルに少なくとも部分的に基づいて１つまたは複数の疑わしい特徴を含んでいたと決定すること
   をさらに含む、請求項５に記載の方法。
8. １つまたは複数のコンピュータ・プロセッサの動作によって実行されたときに動作を実行するコンピュータ・プログラム・コードを集合的に含む１つまたは複数のコンピュータ可読ストレージ媒体であって、前記動作が、
   ターゲット・クラスにおける１つまたは複数のデータ・サンプルを使用して訓練された分類器モデルを受け取ることと、
   前記ターゲット・クラスのためのシミュレートされたデータ・サンプルを生成するために、敵対的生成ネットワーク（ＧＡＮ）を訓練することであり、
   生成器モデルを使用して第１のシミュレートされたデータ・サンプルを生成すること、
   識別器モデルを使用して前記第１のシミュレートされたデータ・サンプルを処理することによって、第１の識別器損失を計算すること、
   前記分類器モデルを使用して前記第１のシミュレートされたデータ・サンプルを処理することによって、分類器損失を計算すること、および
   前記第１の識別器損失および前記分類器損失に基づいて前記生成器モデルを精緻化すること
   を含む、前記訓練することと
   を含む、１つまたは複数のコンピュータ可読ストレージ媒体。
9. 前記ＧＡＮが、前記ターゲット・クラスにおけるいかなるデータ・サンプルも処理することなく訓練される、請求項８に記載のコンピュータ可読ストレージ媒体。
10. 前記ＧＡＮを訓練することが、
    前記生成器モデルを使用して第２のシミュレートされたデータ・サンプルを生成することと、
    前記識別器モデルを使用して前記第２のシミュレートされたデータ・サンプルを処理することによって、第２の識別器損失を計算することと、
    前記第２の識別器損失に基づいて前記識別器モデルを精緻化することと
    をさらに含む、請求項８に記載のコンピュータ可読ストレージ媒体。
11. 前記識別器モデルが、前記生成器モデルによって生成されたシミュレートされたデータ・サンプルと、前記分類器モデルを訓練するために使用されたデータ・サンプルとを差別化するように訓練される、請求項８に記載のコンピュータ可読ストレージ媒体。
12. 前記動作が、
    ランダム化入力ベクトルを前記生成器モデルに提供することによって、前記ターゲット・クラスのための第１のシミュレートされたデータ・サンプルを生成すること
    をさらに含む、請求項８に記載のコンピュータ可読ストレージ媒体。
13. 前記動作は、
    前記分類器モデルが、前記第１のシミュレートされたデータ・サンプルに少なくとも部分的に基づいて、前記ターゲット・クラスにおける不十分なデータ・サンプルを用いて訓練されたと決定すること
    をさらに含む、請求項１２に記載のコンピュータ可読ストレージ媒体。
14. 前記動作は、
    前記分類器モデルを訓練するために使用された前記ターゲット・クラスにおける前記データ・サンプルが、前記第１のシミュレートされたデータ・サンプルに少なくとも部分的に基づいて１つまたは複数の疑わしい特徴を含んでいたと決定すること
    をさらに含む、請求項１２に記載のコンピュータ可読ストレージ媒体。
15. システムであって、
    １つまたは複数のコンピュータ・プロセッサと、
    前記１つまたは複数のコンピュータ・プロセッサによって実行されたときに動作を実行する１つまたは複数のプログラムを集合的に含む１つまたは複数のメモリとを備え、前記動作が、
    ターゲット・クラスにおける１つまたは複数のデータ・サンプルを使用して訓練された分類器モデルを受け取ることと、
    前記ターゲット・クラスのためのシミュレートされたデータ・サンプルを生成するために、敵対的生成ネットワーク（ＧＡＮ）を訓練することであり、
    生成器モデルを使用して第１のシミュレートされたデータ・サンプルを生成すること、
    識別器モデルを使用して前記第１のシミュレートされたデータ・サンプルを処理することによって、第１の識別器損失を計算すること、
    前記分類器モデルを使用して前記第１のシミュレートされたデータ・サンプルを処理することによって、分類器損失を計算すること、および
    前記第１の識別器損失および前記分類器損失に基づいて前記生成器モデルを精緻化すること
    を含む、前記訓練することと
    を含む、システム。
16. 前記ＧＡＮが、前記ターゲット・クラスにおけるいかなるデータ・サンプルも処理することなく訓練され、前記ＧＡＮを訓練することが、
    前記生成器モデルを使用して第２のシミュレートされたデータ・サンプルを生成することと、
    前記識別器モデルを使用して前記第２のシミュレートされたデータ・サンプルを処理することによって、第２の識別器損失を計算することと、
    前記第２の識別器損失に基づいて前記識別器モデルを精緻化することと
    をさらに含む、請求項１５に記載のシステム。
17. 前記識別器モデルが、前記生成器モデルによって生成されたシミュレートされたデータ・サンプルと、前記分類器モデルを訓練するために使用されたデータ・サンプルとを差別化するように訓練される、請求項１５に記載のシステム。
18. 前記動作が、
    ランダム化入力ベクトルを前記生成器モデルに提供することによって、前記ターゲット・クラスのための第１のシミュレートされたデータ・サンプルを生成すること
    をさらに含む、請求項１５に記載のシステム。
19. 前記動作は、
    前記分類器モデルが、前記第１のシミュレートされたデータ・サンプルに少なくとも部分的に基づいて、前記ターゲット・クラスにおける不十分なデータ・サンプルを用いて訓練されたと決定すること
    をさらに含む、請求項１８に記載のシステム。
20. 前記動作は、
    前記分類器モデルを訓練するために使用された前記ターゲット・クラスにおける前記データ・サンプルが、前記第１のシミュレートされたデータ・サンプルに少なくとも部分的に基づいて１つまたは複数の疑わしい特徴を含んでいたと決定すること
    をさらに含む、請求項１８に記載のシステム。
21. コンピュータ・プログラムであって、前記プログラムがコンピュータで実行されるとき、請求項１ないし７のいずれかに記載の方法ステップを実行するように構成されたプログラム・コードを含むコンピュータ・プログラム。