JPWO2019180868A1 - 画像生成装置、画像生成方法および画像生成プログラム - Google Patents

Abstract

画像生成手段８１は、生成器を用いて画像を生成する。識別手段８２は、目標画像が有する特徴を対象とする画像が含むか否かを、識別器を用いて識別する。第一更新手段８３は、生成器により生成された画像である生成画像を識別器を用いて識別した結果とその生成画像に対応付けられた正解ラベルとの乖離度を表す第一の誤差を最小化するように生成器を更新する。第二更新手段８４は、生成画像、目標画像が有する特徴を含む第一実画像、および、目標画像が有する特徴を含まない第二実画像を識別器を用いて識別した結果と、各画像に対応付けられた正解ラベルとの乖離度を表す第二の誤差を最小化するように識別器を更新する。

Description

本発明は、所望の特徴を含むような学習用画像を生成する画像生成装置、画像生成方法および画像生成プログラムに関する。

労働人口の減少が進む中、点検や検査などを実施する熟練の保守作業員による正常か異常かの判断を、画像認識技術で支援、または、自動化したいという要求が高まっている。画像認識では、現場で収集した大量の学習用画像を用いて認識精度を向上させる必要がある。しかし、一般に、異常な状態は発生頻度が低いため、十分な量の学習用画像を収集することが難しい。

そのため、少ないデータからモデルを学習する方法が各種提案されている。例えば、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）は、訓練データを学習し、それらのデータと似たような新しいデータを生成するモデルである。また、正常データのみでモデルを学習し、入力と出力の類似度が低ければ異常と判定する方法（例えば、Ｓｔａｃｋｅｄ Ａｕｔｏｅｎｃｏｄｅｒ）も知られている。

また、特許文献１には、検査対象物の不良品に生じた欠陥を写した画像が少数しか得られない場合でも、検査対象物が良品か否かを識別する識別器を学習させることができる外観検査用識別器生成装置が記載されている。特許文献１に記載された装置は、検査対象物の表面に生じる欠陥の像を擬似的に表した複数の擬似欠陥画像について、擬似欠陥画像上の欠陥の像が検査対象物の良品または不良品の何れに対応するかを表す良否判定情報を取得する。そして、特許文献１に記載された装置は、複数の擬似欠陥画像と対応する良否判定情報から検査対象物の良品と不良品とを識別する境界を決定し、欠陥の像についての特徴量とその境界に従って決定されるその特徴量に対する検査対象物の良否判定結果を表す値との組である学習サンプルを複数生成する。

また、非特許文献１には、機械学習により画像を生成する方法（ＤＣＧＡＮ：Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）が記載されている。非特許文献１に記載された方法は、既存のＧＡＮに畳み込みネットワークを適用することでランダムノイズから写真並みの画像を生成する。

特開２０１１−２１４９０３号公報

Alec Radford, Luke Metz, Soumith Chintala, "Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks", ICLR 2016

画像認識を行う対象の中には、特定の特徴が全体の領域に比べて十分小さい場合も存在する。例えば、送電線アーク痕（落雷跡）は、異常状態を表していると言えるが、送電線全体の範囲と比較すると、小さい範囲に存在する特徴である。すなわち、異常部分を含む画像のほとんどの領域は正常領域である。そのため、例えば、非特許文献１に記載された方法を用いて異常状態を表す画像を生成しようとしても、特定の特徴が全体の中で埋もれてしまう結果、画像認識の精度改善に寄与する画像を生成するのが難しいという問題がある。これは、特許文献１に記載された疑似欠陥画像を生成する場合にも、同様のことが言える。

そこで、本発明は、画像認識の精度を向上させる学習用画像を生成できる画像生成装置、画像生成方法および画像生成プログラムを提供することを目的とする。

本発明の画像生成装置は、生成器を用いて画像を生成する画像生成手段と、目標画像が有する特徴を対象とする画像が含むか否かを、識別器を用いて識別する識別手段と、生成器により生成された画像である生成画像を識別器を用いて識別した結果とその生成画像に対応付けられた正解ラベルとの乖離度を表す第一の誤差を最小化するように生成器を更新する第一更新手段と、生成画像、目標画像が有する特徴を含む第一実画像、および、目標画像が有する特徴を含まない第二実画像を識別器を用いて識別した結果と、各画像に対応付けられた正解ラベルとの乖離度を表す第二の誤差を最小化するように識別器を更新する第二更新手段とを備えたことを特徴とする。

本発明の画像生成方法は、生成器を用いて画像を生成し、目標画像が有する特徴を対象とする画像が含むか否かを、識別器を用いて識別し、生成器により生成された画像である生成画像を識別器を用いて識別した結果とその生成画像に対応付けられた正解ラベルとの乖離度を表す第一の誤差を最小化するように生成器を更新し、生成画像、目標画像が有する特徴を含む第一実画像、および、目標画像が有する特徴を含まない第二実画像を識別器を用いて識別した結果と、各画像に対応付けられた正解ラベルとの乖離度を表す第二の誤差を最小化するように識別器を更新することを特徴とする。

本発明の画像生成プログラムは、コンピュータに、生成器を用いて画像を生成する画像生成処理、目標画像が有する特徴を対象とする画像が含むか否かを、識別器を用いて識別する識別処理、生成器により生成された画像である生成画像を識別器を用いて識別した結果とその生成画像に対応付けられた正解ラベルとの乖離度を表す第一の誤差を最小化するように生成器を更新する第一更新処理、および、生成画像、目標画像が有する特徴を含む第一実画像、および、目標画像が有する特徴を含まない第二実画像を識別器を用いて識別した結果と、各画像に対応付けられた正解ラベルとの乖離度を表す第二の誤差を最小化するように識別器を更新する第二更新処理を実行させることを特徴とする。

本発明によれば、画像認識の精度を向上させる学習用画像を生成できる。

本発明の画像生成装置の一実施形態の構成例を示すブロック図である。 学習用データを出力する動作の例を示す説明図である。 画像生成装置の動作例を示すフローチャートである。 第一実画像を学習データとして用いた場合の生成画像の例を示す説明図である。 第一実画像および第二実画像を学習データとして用いた場合の生成画像の例を示す説明図である。 本発明による画像生成装置の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。本発明の画像生成装置は、ユーザが学習用画像として利用したい画像（以下、目標画像と記す。）を生成する。言い換えると、目標画像は、ユーザが所望する何らかの特徴を有する画像であり、ユーザが生成したい画像と言える。例えば、上述する送電線の例では、送電線アーク痕（落雷跡）が特徴の一例である。

また、本発明の画像生成装置は、上述する特徴を含む学習用画像が少なく、かつ、その特徴を含まない画像が生成されやすい（その特徴が埋もれてしまう可能性が高い）状況で、学習用画像を生成する場合に好適に適用される。例えば、上述する送電線アーク痕（落雷跡）の例では、送電線全体の範囲と比較すると、送電線アーク痕（落雷跡）は、小さい範囲に存在する特徴である。そのため、一般的な方法で送電線アーク痕（落雷跡）を含むような異常画像を生成しようとしても、その特徴を含まない画像（すなわち、正常画像）が生成されやすい状況と言える。本発明の画像生成装置は、そのような特徴を含むような学習用画像を生成する。

図１は、本発明の画像生成装置の一実施形態の構成例を示すブロック図である。本実施形態の画像生成装置１００は、記憶部１０と、画像生成手段２０と、識別手段３０と、第一更新手段４０と、第二更新手段５０とを備えている。

記憶部１０は、後述する識別手段３０が識別する画像を記憶する。具体的には、記憶部１０は、目標画像が有する特徴を含む画像１１（以下、第一実画像と記す。）と、目標画像が有する特徴を含まない画像１２（以下、第二実画像と記す。）を記憶する。すなわち、第一実画像は、目標画像と言うこともできる。第一実画像および第二実画像は、ユーザ等により予め記憶部１０に記憶される。

画像生成手段２０は、生成器を用いて画像を生成する。以下の説明では、画像生成手段２０（生成器）が生成した画像のことを、生成画像と記すこともある。生成器は、画像を生成可能な任意のモデルにより実現され、その一例がニューラルネットワークである。生成器は、後述する第一更新手段４０により、その内容（例えば、パラメータ等）が逐次更新される。以下、生成器がニューラルネットワークで実現される場合を例に説明する。

画像生成手段２０は、例えば、与えられた乱数から画像を生成してもよく、基準とする画像から新たな画像を生成してもよい。なお、乱数や基準とする画像から新たな画像を生成する方法は広く知られているため、ここでは詳細な説明は省略する。画像生成手段２０は、生成画像を識別手段３０に入力する。

識別手段３０は、対象とする画像が、上述する目標画像が有する特徴を含むか否かを識別する。本実施形態では、識別手段３０は、識別器を用いて画像を識別する。識別器は、対象とする画像を２種類以上に分類可能な二項分類器や多項分類器などの任意のモデルにより実現され、その一例がニューラルネットワークである。識別器は、後述する第二更新手段５０により、その内容（例えば、パラメータ等）が逐次更新される。以下、識別器がニューラルネットワークで実現される場合を例に説明する。

識別手段３０が識別する対象の画像は、生成画像の他、記憶部１０に記憶された第一実画像および第二実画像である。識別手段３０は、対象の画像の識別結果とともに、対象の画像に応じた正解ラベルを出力する。

ここで、識別手段３０は、生成器の更新に用いられる正解ラベルと、識別器の更新に用いられる正解ラベルとをそれぞれ出力する。以下、生成器の更新に用いられる正解ラベルを第一の出力セット、識別器の更新に用いられる正解ラベルを第二の出力セットと記す。

まず、第一の出力セットとして、識別対象が生成画像の場合、識別手段３０は、生成画像を識別した結果と、目標画像であることを示す正解ラベルを出力する。

次に、第二の出力セットとして、識別対象が生成画像の場合、識別手段３０は、生成画像を識別した結果と、目標画像でないことを示す正解ラベルを出力する。また、識別対象が第一実画像の場合、識別手段３０は、第一実画像を識別した結果と、目標画像であることを示す正解ラベルを出力する。さらに、識別対象が第二実画像の場合、識別手段３０は、第二実画像を識別した結果と、目標画像でないことを示す正解ラベルを出力する。

このような正解ラベルを出力する理由は以下の通りである。
まず、生成器は、識別器が生成画像を目標画像と識別するような画像を生成することが望まれる。そこで、生成器には、上述するような第一の出力セットのような学習用データが必要になる。一方、識別器は、第一実画像を目標画像と識別し、第二実画像を目標画像でないと識別することが望まれる。そこで、識別器には、第一実画像に目標画像であることを示す正解ラベルが設定され、第二実画像に目標画像でないことを示す正解ラベルが設定された学習用データが必要になる。

さらに、本実施形態では、生成器に目標画像が有する特徴を含む画像を生成させることが目標である。そこで、識別器には、生成画像に目標画像でないことを示す正解ラベルが対応付けられた学習用データを準備する。これにより、生成器に対して、第一実画像のような画像を生成するような学習データを提供できる。言い換えると、このような学習用データを準備することで、第二実画像のような画像を生成することを抑制できる。

以下の説明では、目標画像であると識別された結果を“１”と表わし、目標画像でないと識別された結果を“０”と表わす。また、目標画像でないことを示す正解ラベルを“０”と表わし、目標画像であることを示す正解ラベルを“１”と表わす。ただし、正解ラベルは、０または１の２値で表される場合に限定されず、例えば、目標画像らしさの度合いに応じて０から１の間の値で目標画像らしさを表していてもよい。

図２は、学習用データを出力する動作の例を示す説明図である。画像生成手段２０は、ノイズ１３ａに基づいて生成器２０ａにより生成画像を生成する。識別手段３０は、識別器３０ａを用いて、生成画像、第一実画像１１ａ、および、第二実画像１２ａを識別する。識別手段３０は、生成器２０ａの学習データＤ１（すなわち、第一の出力セット）として、生成画像の識別結果（１または０）と、正解ラベル“１”を対応付けた学習データを出力する。また、識別手段３０は、識別器３０ａの学習データＤ２（すなわち、第二の出力セット）として、第一実画像の識別結果（１または０）と、正解ラベル“１”を対応付けた学習データ、第二実画像の識別結果（１または０）と、正解ラベル“０”を対応付けた学習データ及び生成画像の識別結果（１または０）と、正解ラベル“０”を対応付けた学習データを出力する。

第一更新手段４０は、画像生成手段２０が画像を生成する際に用いる生成器を更新する。具体的には、第一更新手段４０は、識別器を用いて生成画像を識別した結果と、その生成画像に対応付けられた正解ラベルとの乖離度を表す誤差（以下、第一の誤差と記す。）を最小化するように生成器を更新する。

生成器の更新には、第一の出力セットが用いられる。すなわち、識別手段３０は、生成器を更新するための学習データとして、生成画像を識別した結果と目標画像であることを示す正解ラベルとを出力する。そこで、第一更新手段４０は、生成画像を識別した結果と目標画像であることを示す正解ラベルとの乖離度を表す第一の誤差を最小化するように生成器を更新する。

例えば、生成画像の識別結果が、目標画像であることを表す値“１”である場合、目標画像であることを示す正解ラベル“１”との乖離度は０になる。一方、生成画像の識別結果が、目標画像でないことを表す値“０”である場合、目標画像であることを示す正解ラベル“１”との乖離度は１になる。そこで、第一更新手段４０は、乖離度（誤差）を最小化するように生成器を更新する。

生成器を更新する方法は、用いる生成器に応じて決定される。例えば、生成器がニューラルネットワークの場合、第一更新手段４０は、識別手段３０が出力した第一の出力セットを学習データとして、乖離度を最小化するようなパラメータを学習してもよい。

例えば、損失関数Ｅを以下に例示する式１のように定義した場合、第一更新手段４０は、この損失関数Ｅを最小化するように生成器のパラメータを最適化してもよい。なお、下記に示す損失関数Ｅは例示であり、生成器のパラメータを最適化可能な任意の方法が用いられれば良い。

式１において、Ｎはデータ数を表わし、Ｋは分類するクラスの数を表わす。また、式
１におけるｔ_ｋ´ｎは、ｎ番目の入力データに対する正解ラベルのベクトルであり、以下に例示する式２のような形式で表される。式２に例示するベクトルは、ｋ番目の要素のみ１を表す、いわゆる１−ｏｆ−ｋベクトルである。

ｔ_ｎ＝ （０，…，０，１，０，…，０） （式２）

また、式１におけるＰ_ｋ´（ｘ_ｎ）は、ｎ番目の入力データがクラスｋ´に属する確率を示す。Ｐ_ｋ´（ｘ_ｎ）は、以下に例示する式３で算出される。

式３において、ｆ_ｋ（ｘ_ｎ）は、ｎ番目の入力データｘ_ｎに対するクラスｋの出力値であり、ｘ_ｎがクラスｋに属する確率である。

第二更新手段５０は、識別手段３０が画像を識別する際に用いる識別器を更新する。具体的には、第二更新手段５０は、識別器を用いて生成画像、第一実画像、および、第二実画像を識別した結果と、各画像に対応付けられた正解ラベルとの乖離度を表す誤差（以下、第二の誤差と記す。）を最小化するように識別器を更新する。

第二更新手段５０が乖離度（誤差）を算出する方法は、第一更新手段４０が乖離度（誤差）を算出する方法と同様である。また、識別器を更新する方法も、用いる識別器に応じて決定される。例えば、識別器がニューラルネットワークの場合、第二更新手段５０は、識別手段３０が出力した第二の出力セットを学習データとして、乖離度を最小化するようなパラメータを学習してもよい。

なお、第二更新手段５０がパラメータを学習する方法は、第一更新手段４０がパラメータを学習する方法と同様であってもよく、異なっていてもよい。例えば、第二更新手段５０が第一更新手段４０と同様の方法に基づいて識別器のパラメータを更新するとする。この場合、正解画像を用いた学習データに基づく損失をＥ_１、第一実画像を用いた学習データに基づく損失をＥ_２、第二実画像を用いた学習データに基づく損失をＥ_３としたとき、第二更新手段５０は、３つの損失の総和Ｅ＝Ｅ_１＋Ｅ_２＋Ｅ_３を最小化するように識別器のパラメータを最適化してもよい。

このようにして、第二更新手段５０は、生成画像を識別した結果と目標画像でないことを示す正解ラベルとの乖離度、第一実画像を識別した結果と目標画像であることを示す正解ラベルとの乖離度、および、第二実画像を識別した結果と目標画像でないことを示す正解ラベルとの乖離度を含む第二の誤差を最小化するように識別器を更新する。

画像生成手段２０と、識別手段３０と、第一更新手段４０と、第二更新手段５０とは、プログラム（画像生成プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、画像生成装置１００の記憶部１０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、画像生成手段２０、識別手段３０、第一更新手段４０および第二更新手段５０として動作してもよい。また、画像生成手段２０と、識別手段３０と、第一更新手段４０と、第二更新手段５０とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態の画像生成装置１００の動作を説明する。図３は、本実施形態の画像生成装置１００の動作例を示すフローチャートである。

画像生成手段２０は、生成器を用いて画像を生成する（ステップＳ１１）。そして、識別手段３０は、生成画像が目的画像と言えるか否か識別する（ステップＳ１２）。同様に、識別手段３０は、第一実画像が目的画像と言えるか否かを識別し（ステップＳ１３）、第二実画像が目的画像と言えるか否かを識別する（ステップＳ１４）。なお、ステップＳ１１およびステップＳ１２の処理、ステップＳ１３の処理、並びに、ステップＳ１４の処理は、並列に行われてもよい。

第一更新手段４０は、生成画像の識別結果から第一の誤差を計算する（ステップＳ１５）。そして、第一更新手段４０は、第一の誤差を最小化するように生成器を更新する（ステップＳ１６）。

第二更新手段５０は、生成画像の識別結果、第一実画像の識別結果、及び、第二実画像の識別結果から第二の誤差を計算する（ステップＳ１７）。そして、第二更新手段５０は、第二の誤差を最小化するように識別器を更新する（ステップＳ１８）。なお、ステップＳ１５およびステップＳ１６の処理、並びに、ステップＳ１７の処理およびステップＳ１８の処理は、並列に行われてもよい。

以上のように、本実施形態では、画像生成手段２０が、生成器を用いて画像を生成し、識別手段３０が、目標画像が有する特徴を対象とする画像が含むか否かを、識別器を用いて識別する。そして、第一更新手段４０が、識別器を用いて生成画像を識別した結果とその生成画像に対応付けられた正解ラベルとの乖離度を表す第一の誤差を最小化するように生成器を更新する。また、第二更新手段５０が、識別器を用いて、生成画像、第一実画像、および、第二実画像を識別した結果と、各画像に対応付けられた正解ラベルとの乖離度を表す第二の誤差を最小化するように識別器を更新する。

よって、画像認識の精度を向上させる学習用画像を生成できる。すなわち、本実施形態では、生成器が目標画像を生成できるように更新されるため、より多くの適切な目標画像を学習用画像として生成できる。

以下、具体的な実施例により本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。本実施例では、数字の「７」を目標画像として、第一実画像のみを用いた生成器の学習と、第一実画像および第二実画像を用いた識別器および生成器の学習とを行い、生成される画像を比較した。

図４は、第一実画像のみを用いて生成器を学習した結果生成された画像の例を示す説明図である。また、図５は、第一実画像および第二実画像を用いて生成器を学習した結果生成された画像の例を示す説明図である。

図４に示す例では、第一実画像として、数字の「７」を含む画像Ｘ１を準備した。この画像Ｘ１を用いて生成器を学習した結果、画像Ｇ１が生成されたが、生成された画像Ｇ１のうち、画像ｇ１〜ｇ４は、数字の「１」に似た画像が生成された。

一方、図５に示す例では、第一実画像として、数字の「７」を含む画像Ｘｐ１と、第二実画像として、数字の「１」を含む画像Ｘｎ１を準備した。この画像Ｘｐ１および画像Ｘｎ１を用いて生成器および識別器を学習した結果、画像Ｇ２が生成された。この実施例では、第二実画像に数字の「１」を含む画像を用いた結果、数字の「１」に似た画像の生成が抑制され、全体として数字の「７」を含む画像が生成された。

次に、本発明の概要を説明する。図６は、本発明による画像生成装置の概要を示すブロック図である。本発明による画像生成装置８０（例えば、画像生成装置１００）は、生成器を用いて画像を生成する画像生成手段８１（例えば、画像生成手段２０）と、目標画像が有する特徴を対象とする画像が含むか否かを、識別器を用いて識別する識別手段８２（例えば、識別手段３０）と、生成器により生成された画像である生成画像を識別器を用いて識別した結果とその生成画像に対応付けられた正解ラベルとの乖離度を表す第一の誤差を最小化するように生成器を更新する第一更新手段８３（例えば、第一更新手段４０）と、生成画像、目標画像が有する特徴を含む第一実画像、および、目標画像が有する特徴を含まない第二実画像を識別器を用いて識別した結果と、各画像に対応付けられた正解ラベルとの乖離度を表す第二の誤差を最小化するように識別器を更新する第二更新手段８４（例えば、第二更新手段５０）とを備えている。

そのような構成により、目標画像を生成可能な生成器を学習できるため、画像認識の精度を向上させる学習用画像を生成できる。

また、第二更新手段８４は、生成画像を識別した結果と目標画像でないことを示す正解ラベルとの乖離度、第一実画像を識別した結果と目標画像であることを示す正解ラベルとの乖離度、および、第二実画像を識別した結果と目標画像でないことを示す正解ラベルとの乖離度を含む第二の誤差を最小化するように識別器を更新してもよい。

また、第一更新手段８３は、生成画像を識別した結果と目標画像であることを示す正解ラベルとの乖離度を表す第一の誤差を最小化するように生成器を更新してもよい。

また、識別手段８２は、対象の画像を識別した結果とともに、その対象の画像に応じた正解ラベルを出力してもよい。そして、第一更新手段８３は、生成画像を識別した結果と出力された正解ラベルとの第一の誤差を最小化するように生成器を更新し、第二更新手段８４は、生成画像を識別した結果と正解ラベルとの乖離度、第一実画像を識別した結果と出力された正解ラベルとの乖離度、および、第二実画像を識別した結果と出力された正解ラベルとの乖離度を含む第二の誤差を最小化するように識別器を更新してもよい。

また、識別手段８２は、対象の画像が生成画像の場合、その生成画像を識別した結果と目標画像でないことを示す正解ラベルとを出力し、対象の画像が第一実画像の場合、その第一実画像を識別した結果と目標画像であることを示す正解ラベルとを出力し、対象の画像が第二実画像の場合、その第二実画像を識別した結果と目標画像でないことを示す正解ラベルとを出力し、第二更新手段８４は、生成画像を識別した結果と正解ラベルとの乖離度、第一実画像を識別した結果と正解ラベルとの乖離度、および、第二実画像を識別した結果と正解ラベルとの乖離度を含む第二の誤差を最小化するように識別器を更新してもよい。

また、識別手段８２は、対象の画像が生成画像の場合、その生成画像を識別した結果と目標画像でないことを示す正解ラベルとを出力し、第一更新手段８３は、生成画像を識別した結果と正解ラベルとの第一の誤差を最小化するように生成器を更新してもよい。

１０ 記憶部
１１，１１ａ 第一実画像
１２，１２ａ 第二実画像
１３ａ ノイズ
２０ 画像生成手段
２０ａ 生成器
３０ 識別手段
３０ａ 識別器
４０ 第一更新手段
５０ 第二更新手段
１００ 画像生成装置
Ｄ１，Ｄ２ 学習データ
Ｘ１，Ｘｐ１ 第一実画像
Ｘｎ１ 第二実画像
Ｇ１，Ｇ２ 生成画像

Claims (8)

1. 生成器を用いて画像を生成する画像生成手段と、
   目標画像が有する特徴を対象とする画像が含むか否かを、識別器を用いて識別する識別手段と、
   前記生成器により生成された画像である生成画像を前記識別器を用いて識別した結果と当該生成画像に対応付けられた正解ラベルとの乖離度を表す第一の誤差を最小化するように前記生成器を更新する第一更新手段と、
   前記生成画像、前記目標画像が有する特徴を含む第一実画像、および、前記目標画像が有する特徴を含まない第二実画像を前記識別器を用いて識別した結果と、各画像に対応付けられた正解ラベルとの乖離度を表す第二の誤差を最小化するように前記識別器を更新する第二更新手段とを備えた
   ことを特徴とする画像生成装置。
2. 第二更新手段は、生成画像を識別した結果と目標画像でないことを示す正解ラベルとの乖離度、第一実画像を識別した結果と目標画像であることを示す正解ラベルとの乖離度、および、第二実画像を識別した結果と目標画像でないことを示す正解ラベルとの乖離度を含む第二の誤差を最小化するように識別器を更新する
   請求項１記載の画像生成装置。
3. 第一更新手段は、生成画像を識別した結果と目標画像であることを示す正解ラベルとの乖離度を表す第一の誤差を最小化するように生成器を更新する
   請求項１または請求項２記載の画像生成装置。
4. 識別手段は、対象の画像を識別した結果とともに、当該対象の画像に応じた正解ラベルを出力し、
   第一更新手段は、生成画像を識別した前記結果と前記正解ラベルとの第一の誤差を最小化するように生成器を更新し、
   第二更新手段は、生成画像を識別した前記結果と前記正解ラベルとの乖離度、第一実画像を識別した前記結果と前記正解ラベルとの乖離度、および、第二実画像を識別した前記結果と前記正解ラベルとの乖離度を含む第二の誤差を最小化するように識別器を更新する
   請求項１から請求項３のうちのいずれか１項に記載の画像生成装置。
5. 識別手段は、対象の画像が生成画像の場合、当該生成画像を識別した結果と目標画像でないことを示す正解ラベルとを出力し、対象の画像が第一実画像の場合、当該第一実画像を識別した結果と目標画像であることを示す正解ラベルとを出力し、対象の画像が第二実画像の場合、当該第二実画像を識別した結果と目標画像でないことを示す正解ラベルとを出力し、
   第二更新手段は、生成画像を識別した前記結果と前記正解ラベルとの乖離度、第一実画像を識別した前記結果と前記正解ラベルとの乖離度、および、第二実画像を識別した前記結果と前記正解ラベルとの乖離度を含む第二の誤差を最小化するように識別器を更新する
   請求項１から請求項４のうちのいずれか１項に記載の画像生成装置。
6. 識別手段は、対象の画像が生成画像の場合、当該生成画像を識別した結果と目標画像でないことを示す正解ラベルとを出力し、
   第一更新手段は、生成画像を識別した前記結果と前記正解ラベルとの第一の誤差を最小化するように生成器を更新する
   請求項１から請求項５のうちのいずれか１項に記載の画像生成装置。
7. 生成器を用いて画像を生成し、
   目標画像が有する特徴を対象とする画像が含むか否かを、識別器を用いて識別し、
   前記生成器により生成された画像である生成画像を前記識別器を用いて識別した結果と当該生成画像に対応付けられた正解ラベルとの乖離度を表す第一の誤差を最小化するように前記生成器を更新し、
   前記生成画像、前記目標画像が有する特徴を含む第一実画像、および、前記目標画像が有する特徴を含まない第二実画像を前記識別器を用いて識別した結果と、各画像に対応付けられた正解ラベルとの乖離度を表す第二の誤差を最小化するように前記識別器を更新する
   ことを特徴とする画像生成方法。
8. コンピュータに、
   生成器を用いて画像を生成する画像生成処理、
   目標画像が有する特徴を対象とする画像が含むか否かを、識別器を用いて識別する識別処理、
   前記生成器により生成された画像である生成画像を前記識別器を用いて識別した結果と当該生成画像に対応付けられた正解ラベルとの乖離度を表す第一の誤差を最小化するように前記生成器を更新する第一更新処理、および、
   前記生成画像、前記目標画像が有する特徴を含む第一実画像、および、前記目標画像が有する特徴を含まない第二実画像を前記識別器を用いて識別した結果と、各画像に対応付けられた正解ラベルとの乖離度を表す第二の誤差を最小化するように前記識別器を更新する第二更新処理
   を実行させるための画像生成プログラム。

Images