JP7023669B2 - 画像生成方法、画像生成装置、及び画像生成プログラム - Google Patents

画像生成方法、画像生成装置、及び画像生成プログラム Download PDF

Info

Publication number
JP7023669B2
JP7023669B2 JP2017207606A JP2017207606A JP7023669B2 JP 7023669 B2 JP7023669 B2 JP 7023669B2 JP 2017207606 A JP2017207606 A JP 2017207606A JP 2017207606 A JP2017207606 A JP 2017207606A JP 7023669 B2 JP7023669 B2 JP 7023669B2
Authority
JP
Japan
Prior art keywords
generator
network
scalar value
discriminator
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017207606A
Other languages
English (en)
Other versions
JP2019079436A (ja
JP2019079436A5 (ja
Inventor
岳 宮戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Preferred Networks Inc
Original Assignee
Preferred Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Preferred Networks Inc filed Critical Preferred Networks Inc
Priority to JP2017207606A priority Critical patent/JP7023669B2/ja
Priority to US16/171,200 priority patent/US11048999B2/en
Publication of JP2019079436A publication Critical patent/JP2019079436A/ja
Priority to US17/336,959 priority patent/US20210287073A1/en
Publication of JP2019079436A5 publication Critical patent/JP2019079436A5/ja
Application granted granted Critical
Publication of JP7023669B2 publication Critical patent/JP7023669B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像生成方法、画像生成装置、及び画像生成プログラムに関する。
層を深くしたニューラルネットワーク（以下、ディープラーニングともいう）を用いた技術として、物体認識技術、物体検出技術、セグメンテーション技術（画像に対してピクセルレベルでクラス分類を行う技術）、画像キャプション技術等の各技術が知られている。
近年では、更に、ディープラーニングを用いて、絵を「描かせる」研究も注目されている。例えば、「コンテンツ画像」と「スタイル画像」の2枚の画像を用いて、「スタイル画像」の描画スタイルを「コンテンツ画像」に適用するように指定して、新たな画像を生成する技術（非特許文献１）が知られている。このような「コンテンツ画像」と「スタイル画像」の2枚の画像を用いて新しい画像を生成する研究とは別に、新しい画像を生成する際に、何の画像も必要とせずに新たな画像を描き出す研究も行われている。何の画像も必要とせずに新たな画像を描き出す手法として、Generative Adversarial Networks(以下、GANs）等の手法が開示されている（非特許文献２）。
GANsでは、2つのニューラルネットワークを学習させることによって、生成モデルを作成する。これら２つのニューラルネットワークは、ジェネレータ（Generator）とディスクリミネータ（Discriminator, 以下D(x)ともいう。）と呼ばれ、これらが競合関係にある。
概略を説明すると、まず、ジェネレータが乱数zからデータxを生成する。GANsでは、データxは２箇所のソースから同時発生しており、データxは、「真のデータの確率分布」に従っているか、「ジェネレータが生成した確率分布」に従っている。ディスクリミネータは、「ジェネレータが生成したデータx」と、「真のデータx」を識別するように学習する。それに対して、ジェネレータは、ディスクリミネータが真のデータと区別できないようなデータを生成するように学習する。このように学習を続けて、ジェネレータの生成データを、真のデータにより近づけ、最終的には本物と見まがうレベルの画像が生成できるようにする。
より具体的には、GANsにおけるD(x)の役割は、「真の確率分布：q」と「ジェネレータのモデルから定まる確率分布：p」との距離もしくはダイバージェンスを測ることである。ジェネレータは、ディスクリミネータで代理的に測られた距離もしくはダイバージェンスを小さくするように学習する。
GANsに関し、新たな画像生成の他に、解像度が低下している画像をGANsで処理して画像の解像度を向上する（以下、超解像）手法も研究されている。
GANsのモデルの１つに、conditional GANs (以下、cGANs)が存在する（非特許文献３）。
GANsでは、上記のように、D(x)は、xを受け取って、そのxが、「真のデータの確率分布」に従っているか、「ジェネレータが生成した確率分布」に従っているかを識別するが、cGANsのディスクリミネータ（以下D(x,y)ともいう。）は、xの他に、コンディション情報yを受け取って、そのxが、「真のデータの確率分布」に従っているか、「ジェネレータが生成した確率分布」に従っているかを識別する。コンディション情報yとしては、例えば、カテゴリ情報等の情報が使用される。
これらのcGANsを、クラス・コンディション生成（非特許文献４）や、テキストからの画像生成(非特許文献５)などで用いる研究も開示されている。
従来のcGANsでは、図１に示すように、D(x,y)に対しxを入力する際にyを連結（concatenate）する手法や、図２に示すように、中間層を設けて中間層でyを連結（concatenate）する手法が採用されてきた。
しかし、これらの従来手法を用いた場合、D(x,y)で「真の確率分布：q」と「ジェネレータのモデルから定まる確率分布：p」との距離を正確に測ることができないケースが多く、生成画像を真の画像と見まがうレベルに近づけることはできない。
Neural Algorithm of Artistic Style. arXiv :1508.0657 Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks. arXiv :1511.06434 Conditional Generative Adversarial Nets. arXiv : 1411.1784. Proceedings of the 34th International Conference on Machine Learning, PMLR 70:2642-2651, 2017. Generative Adversarial Text to Image Synthesis. arXiv : 1605.05396.
本発明の課題は、従来のcGANsのモデルにおける上記の問題を解決し、D(x,y)で「真の確率分布：q」と「ジェネレータのモデルから定まる確率分布：p」との距離を正確に測ることができ、生成画像と真の画像をより近づけることのできる技術を提供することである。
本発明者らは、前記課題を解決するために鋭意研究を重ねた結果、特定のD(x,y)のモデルを用いることで、「真の確率分布：q」と「ジェネレータのモデルから定まる確率分布：p」との距離を正確に測ることができ、生成画像と真の画像をより近づけることのできることを見出し、本発明を完成させた。すなわち、本発明は以下のとおりである。
［１］ジェネレータとディスクリミネータの２つのニューラルネットワークから構成される条件付き敵対生成ネットワークを用いて画像生成を行う画像生成方法であって、前記ディスクリミネータが、下記式（１１）のモデルで演算を行った結果を出力する、画像生成方法。
［２］下記式（１１）のカテゴリーデータyとして、ワン・ホット・エンコードされたデータを用いる、［１］の画像生成方法。
［３］ジェネレータとディスクリミネータの２つのニューラルネットワークから構成される条件付き敵対生成ネットワークを内蔵した画像処理装置であって、前記ディスクリミネータが、下記式（１１）のモデルで演算を行う演算部を有する、画像生成装置。
［４］下記式（１１）のカテゴリーデータyが、ワン・ホット・エンコードされたデータである、［３］に記載の画像生成装置。
［５］コンピュータに［１］又は［２］に記載の画像生成方法を実行させる画像生成プログラム。
本発明によれば、cGANsを用いた画像生成に際し、D(x,y)で「真の確率分布：q」と「ジェネレータのモデルから定まる確率分布：p」との距離を正確に測ることができ、生成画像と真の画像をより近づけることができる。
従来技術のディスクリミネータモデル（concat）の説明図である。 従来技術のディスクリミネータモデル（concat）の説明図である。 本発明のディスクリミネータモデル（multiply）の説明図である。 従来技術（concat）と本発明（multiply）の学習曲線を示す図である。 Intra FIDをクラスごとにプロットした図である。 異なる手法での生成イメージの比較を示す図である。 異なる手法での生成イメージの比較を示す図である。 異なるクラスのモーフィング（Morphing）を示す図である。 超解像の結果を示す図である。
（発明の概略）
前記のように、GANsにおけるD(x)の役割は、「真の確率分布：q」と「ジェネレータのモデルから定まる確率分布：p」との距離もしくはダイバージェンスを測ることである。
本発明では、y given x ; p(y|x) がガウス分布のような単峰型（unimodal）な分布や対数線形モデル（log linear model)で表せる離散分布だと仮定し、そのように想定できる場合における理論的な動機づけのあるcGANsにおけるD(x,y)のモデルを提案する。
本発明者の提案するモデルは暗黙的にD(x)の与えられたときの最適（optimial）な解が対数尤度比なっていることを考慮し、まずその対数尤度比を、条件付き分布の対数尤度比log q(y|x)/p(y|x)とxの対数尤度比log q(x)/p(x)に分けて考える。
次に、log q(y|x)/p(y|x)について、q(y|x)とp(y|x)が、それぞれ前記のように、ガウス分布のような単峰型（unimodal）な分布や対数線形モデル（log linear model)で表せる離散分布だと仮定する。
すると結果的に得られるD(x,y)のモデルは、図３に示すように、コンディション情報yをφの出力に掛けて足すという形になる。
この新たなD(x,y)モデルを用いたcGANsでは、図１や図２に示した従来のD(x,y)モデルを用いたcGANsに比べて、大幅に性能が向上する。
また、この新たなD(x,y)モデルを超解像のタスクに適用することで、従来技術に比べてよりも判別が容易（disciriminative）な画像を生成することができる。
以下、本発明を詳細に説明するが、本発明は下記の実施形態に限定されるものではない。
cGANsにおけるD(x)の損失関数（loss function）は、下記式（１）で表される。
Figure 0007023669000001
損失関数（loss function）として下記式（２）が多く用いられる。
Figure 0007023669000002
上記式（２）において損失を最小化する最適なD(x,y)は、下記式（３）で表される。
Figure 0007023669000003
上記式（３）は下記式（４）で表すことができる。
Figure 0007023669000004
本発明では、完全対数比(the full log ratio) r(y,x)を２つの対数比r(y|x),r(x)に分割し、q(y|x)とp(y|x)が、それぞれ、ガウス分布のような単峰型（unimodal）な分布や対数線形モデル（log linear model)で表せる離散分布だと仮定する。
r(y|x)を求めるf1と、r(x) を求めるf2を構築し、それらを組み合わせてDを作成することもできる。
従来の技術ではD(x,y)のモデルは、D([x,y]) of x and y; [x,y]で表されるが、従来のD(x,y)は、上記式（３）をモデル化するには過剰な柔軟性があり好ましくない。
（単一のカテゴリ変数ケース（Single categorical variable case））
クラス・コンディション・イメージ生成（the class-conditional image generation）において、カテゴリー変数がy∈｛1,…,C｝（Cはカテゴリー数）で表されるとすると、最もよく使われるp(y|x)のモデルは下記式（５）の対数線形モデルで表される。
Figure 0007023669000005
Figure 0007023669000006

Figure 0007023669000007
このようにして、q(y|x)とp(y|x)が、それぞれ下記式（６）及び下記式（７）となる。
Figure 0007023669000008
Figure 0007023669000009
ここで、φｑとφｐを共有するφとすると、上記式（７）は、下記式（８）及び下記式（９）となる。
Figure 0007023669000010
Figure 0007023669000011
上記方程式の第2項はラベルy =cに依存しないので、log（q(y|x)/ p(y|x)）に対する近似推論を実行するために最初の項のみをモデル化する必要がある。

Figure 0007023669000012
を陰関数（implicit）として、
Figure 0007023669000013
とすると、
Figure 0007023669000014
が得られる。ｗを、r（x）の最終層の重み（final layer of r(x)）とすると、cGANsのディスクリミネータ・モデルは下記式（１０）で表される。
下記式（１０）において、yとしてワン・ホット・エンコードされたデータを用いると、下記式（１１）で表されるモデルが導かれる。
Figure 0007023669000015
Figure 0007023669000016
 （11）
ここで、
Vは、yの埋め込み行列、
Figure 0007023669000017

は、xを引数にしてベクトルを出力する関数、
Figure 0007023669000018

は、
Figure 0007023669000019

を引数にしてスカラー値を出力する関数である。
Figure 0007023669000020

は、学習パラメータであり、敵対的損失を最適化するように訓練されるパラメータである。
上記式（１１）及び図３に示すように、本発明では、コンディション情報yをφの出力に掛けて足すというモデルを使用する。
（連続可変ケース（Continuous variable case））
Figure 0007023669000021
Figure 0007023669000022
Figure 0007023669000023
（AC- GANsおよびその他の補助的な損失ベースのGANsとの関係（Relation to AC-GANs and other auxiliary Loss-based GANs））
Figure 0007023669000024
Figure 0007023669000025
Figure 0007023669000026
本発明のディスクリミネータモデルの有効性を示す実験を２つ行った。
１つは、ILSVRC2012データセット(ImageNet)でクラスconditional image generation、もう１つは同じデータセットを用いた超解像タスクである。どちらのタスクにもResNet(Heet al., 2016b)ベースのGulrajani et al. (2017)で使用されているディスクリミネータとジェネレータを用いた。
学習の目的関数には下記式（１６）及び下記式（１７）の敵対的損失（adversarial loss）を用いた。
Figure 0007023669000027
Figure 0007023669000028
またすべての実験でAdam optimizer (Kingma & Ba, 2015)を用いた。hyper parameter は過去の実験で使われているのと同じ通りα= 0.0002 ; β1 = 0 ; β2 = 0.9でジェネレータのアップデート（update）回数1に対する、ディスクリミネータのアップデート（update）回数を５とした。
（Class-Conditional Image Generation）
このタスクではImageNet datasetを用いてクラスで条件付きの生成モデルを学習した。クラス数は1000で、１クラスあたりの画像数はおよそ1300である。
評価に用いたのはVisual appearanceの良さを測る指標としてInception score、diversityをある程度はかる指標としてintra-class MSSSIM、intra-class FIDsである。
ここでは、state of the artのGANs モデルとしてAC-GANs (Odena et al., 2016)とconditionの与え方の違いによって性能がどのくらい違うかを見るためにhidden concatenationと提案するmultiplyの3つのモデルを試した。
図４に示すように、本発明（multiply）のほうがvisual qualityが高いことがわかる。
Figure 0007023669000029
上記表１に、学習終了後の結果をそれぞれ示した。AC-GANs については学習途中に
学習（training）が崩壊（collapse）したのでいちばん最も開始スコア（inception score）が高かったときのモデルで各評価を行った。
まずVisual appearanceについては本発明（multiply）が従来技術（concat）を大きく上回っている。
図５に示すように、本発明（multiply）と従来技術（concat）を比較すると、ほとんどのクラスで本発明（multiply）の方がFIDが小さいつまり、特徴空間上でwasserstein distanceが小さいことがわかる。また、AC-GANsと本発明（multiply）を比較すると、AC-GANsはvisual qualityでは本発明（multiply）を上回っているが、Intra-MSSSIMの値がとても高い。
図６に示すように、AC-GANsは認識しやすいサンプルを生成するが、ほぼ単一のサンプルのみを生成しており生成モデルとしては程遠い結果となることがわかる。またIntra-FID scoreでは全体的に本発明（multiply）の方が、値が低い。これはFIDの２次の項によって多様性がないクラスはFIDの値が結果的に大きくなることに起因する。
（No obvious collapse by multiply method）
図７に示すように、本発明（multiply）のメソッドによって学習されたモデルでは、collapseしているクラスが認められなかった。従来技術（concat）のメソッドによって学習されたモデルは明らかにcollapseしているクラスが複数存在した。
（Class Morphing）
図８には、zを固定したのもと、異なるクラス間でモーフィング（morphing）した時の図を示している。全く異なるクラス間でも滑らか（smooth）にモーフィングが行われていることがわかる。
Figure 0007023669000030
Figure 0007023669000031

Figure 0007023669000032
図９に示すように、Bicubicによる超解像はボケてしまっている。従来技術（concat）のメソッドによる超解像はある程度はっきりはしているものの、低解像度のギザギザ模様が残ってしまっていてうまく学習できていない。

Claims (23)

  1. ディスクリミネータの第１のネットワークに、少なくともジェネレータが生成した第１のデータ又は訓練データのいずれかを入力し、
    前記第１のネットワークの出力とコンディション情報とに基づいて、第１のスカラー値を計算し、
    前記ディスクリミネータの第２のネットワークに前記第１のネットワークの出力を入力することで第２のスカラー値を計算し、
    前記第１のスカラー値と前記第２のスカラー値とに基づいて、損失を計算し、
    前記損失に基づいて、少なくとも前記ディスクリミネータ又は前記ジェネレータのいずれかを更新する、
    モデル生成方法。
  2. ディスクリミネータの第１のネットワークに、少なくともジェネレータが生成した第１のデータ又は訓練データのいずれかを入力し、
    前記第１のネットワークの出力とコンディション情報の積に基づいて、第１のスカラー値を計算し、
    前記第１のスカラー値に基づいて、損失を計算し、
    前記損失に基づいて、少なくとも前記ディスクリミネータ又は前記ジェネレータのいずれかを更新する、
    モデル生成方法。
  3. 前記ディスクリミネータの第２のネットワークに前記第１のネットワークの出力を入力することで第２のスカラー値を計算し、
    第１のスカラー値と前記第２のスカラー値とに基づいて、前記損失を計算する、
    請求項２に記載のモデル生成方法。
  4. 前記第１のネットワークの出力と前記コンディション情報の内積によって、前記第１のスカラー値を計算する、
    請求項１乃至３のいずれかに記載のモデル生成方法。
  5. 前記コンディション情報は、ワン・ホット・ベクトルである、
    請求項１乃至４のいずれかに記載のモデル生成方法。
  6. 前記コンディション情報は、カテゴリーに関する情報を含む、
    請求項１乃至５のいずれかに記載のモデル生成方法。
  7. 前記第１のデータは、画像データである、
    請求項１乃至６のいずれかに記載のモデル生成方法。
  8. 前記ジェネレータにノイズを入力することで前記第１のデータを生成する、
    請求項１乃至７のいずれかに記載のモデル生成方法。
  9. 請求項１乃至８のいずれかに記載のモデル生成方法で生成されたジェネレータにノイズを入力することでデータを生成するデータ生成方法。
  10. 少なくとも１台のコンピュータに請求項１乃至８のいずれかに記載のモデル生成方法を実行させるプログラム。
  11. 少なくとも１台のコンピュータに請求項９に記載のデータ生成方法を実行させるプログラム。
  12. ジェネレータとディスクリミネータの２つのニューラルネットワークから構成される敵対生成ネットワークの生成方法であって、
    前記ディスクリミネータが、下記式（１１）のモデルで演算を行った結果を出力する、
    生成方法。
    Figure 0007023669000033
     ここで、
    xは、前記ジェネレータにより生成されたデータ又は訓練データ、
    yは、xのコンディション情報、
    Vは、yの埋め込み行列、
    Figure 0007023669000034
    は、xを引数にしてベクトルを出力する関数、
    Figure 0007023669000035
    は、
    Figure 0007023669000036
    を引数にしてスカラー値を出力する関数、
    Figure 0007023669000037
    は、学習パラメータであり、損失を最小化するように訓練されるパラメータである。
  13. ディスクリミネータの第１のネットワークに、少なくともジェネレータが生成した第１のデータ又は訓練データのいずれかを入力し、
    前記第１のネットワークの出力とコンディション情報とに基づいて、第１のスカラー値を計算し、
    前記ディスクリミネータの第２のネットワークに前記第１のネットワークの出力を入力することで第２のスカラー値を計算し、
    前記第１のスカラー値と前記第２のスカラー値とに基づいて、損失を計算し、
    前記損失に基づいて、少なくとも前記ディスクリミネータ又は前記ジェネレータのいずれかを更新する、
    モデル生成装置。
  14. ディスクリミネータの第１のネットワークに、少なくともジェネレータが生成した第１のデータ又は訓練データのいずれかを入力し、
    前記第１のネットワークの出力とコンディション情報の積に基づいて、第１のスカラー値を計算し、
    前記第１のスカラー値に基づいて、損失を計算し、
    前記損失に基づいて、少なくとも前記ディスクリミネータ又は前記ジェネレータのいずれかを更新する、
    モデル生成装置。
  15. 前記ディスクリミネータの第２のネットワークに前記第１のネットワークの出力を入力することで第２のスカラー値を計算し、
    第１のスカラー値と前記第２のスカラー値とに基づいて、前記損失を計算する、
    請求項１４に記載のモデル生成装置。
  16. 前記第１のネットワークの出力と前記コンディション情報の内積によって、前記第１のスカラー値を計算する、
    請求項１３乃至１５のいずれかに記載のモデル生成装置。
  17. 前記コンディション情報は、ワン・ホット・ベクトルである、
    請求項１３乃至１６のいずれかに記載のモデル生成装置。
  18. 前記コンディション情報は、カテゴリーに関する情報を含む、
    請求項１３乃至１７のいずれかに記載のモデル生成装置。
  19. 前記第１のデータは、画像データである、
    請求項１３乃至１８のいずれかに記載のモデル生成装置。
  20. 前記ジェネレータにノイズを入力することで前記第１のデータを生成する、
    請求項１３乃至１９のいずれかに記載のモデル生成装置。
  21. 請求項１３乃至２０のいずれかに記載のモデル生成装置で生成されたジェネレータにノイズを入力することでデータを生成するデータ生成装置。
  22. １又は複数のプロセッサに、
    ディスクリミネータの第１のネットワークに、少なくともジェネレータが生成した第１のデータ又は訓練データのいずれかを入力し、
    前記第１のネットワークの出力とコンディション情報とに基づいて、第１のスカラー値を計算し、
    前記ディスクリミネータの第２のネットワークに前記第１のネットワークの出力を入力することで第２のスカラー値を計算し、
    前記第１のスカラー値と前記第２のスカラー値とに基づいて、損失を計算し、
    前記損失に基づいて、少なくとも前記ディスクリミネータ又は前記ジェネレータのいずれかを更新する、
    方法を実行させるプログラム。
  23. １又は複数のプロセッサに、
    ディスクリミネータの第１のネットワークに、少なくともジェネレータが生成した第１のデータ又は訓練データのいずれかを入力し、
    前記第１のネットワークの出力とコンディション情報の積に基づいて、第１のスカラー値を計算し、
    前記第１のスカラー値に基づいて、損失を計算し、
    前記損失に基づいて、少なくとも前記ディスクリミネータ又は前記ジェネレータのいずれかを更新する、
    方法を実行させるプログラム。
JP2017207606A 2017-10-26 2017-10-26 画像生成方法、画像生成装置、及び画像生成プログラム Active JP7023669B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017207606A JP7023669B2 (ja) 2017-10-26 2017-10-26 画像生成方法、画像生成装置、及び画像生成プログラム
US16/171,200 US11048999B2 (en) 2017-10-26 2018-10-25 Image generation method, image generation apparatus, and image generation program
US17/336,959 US20210287073A1 (en) 2017-10-26 2021-06-02 Image generation method, image generation apparatus, and image generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017207606A JP7023669B2 (ja) 2017-10-26 2017-10-26 画像生成方法、画像生成装置、及び画像生成プログラム

Publications (3)

Publication Number Publication Date
JP2019079436A JP2019079436A (ja) 2019-05-23
JP2019079436A5 JP2019079436A5 (ja) 2021-07-26
JP7023669B2 true JP7023669B2 (ja) 2022-02-22

Family

ID=66432191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017207606A Active JP7023669B2 (ja) 2017-10-26 2017-10-26 画像生成方法、画像生成装置、及び画像生成プログラム

Country Status (2)

Country Link
US (2) US11048999B2 (ja)
JP (1) JP7023669B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797864B2 (en) * 2018-06-18 2023-10-24 Fotonation Limited Systems and methods for conditional generative models
US10878566B2 (en) * 2019-04-23 2020-12-29 Adobe Inc. Automatic teeth whitening using teeth region detection and individual tooth location
CN110276377B (zh) * 2019-05-17 2021-04-06 杭州电子科技大学 一种基于贝叶斯优化的对抗样本生成方法
JP2021005745A (ja) * 2019-06-25 2021-01-14 公立大学法人会津大学 秘密データの通信方法、秘密データの通信プログラム及び秘密データの通信システム
CN110457994B (zh) * 2019-06-26 2024-05-10 平安科技（深圳）有限公司 人脸图像生成方法及装置、存储介质、计算机设备
CN110598806A (zh) * 2019-07-29 2019-12-20 合肥工业大学 一种基于参数优化生成对抗网络的手写数字生成方法
KR20210070029A (ko) 2019-12-04 2021-06-14 삼성전자주식회사 반복적 생성을 통해 출력 콘텐트를 향상시키기 위한 디바이스, 방법, 및 프로그램
US11544832B2 (en) * 2020-02-04 2023-01-03 Rockwell Collins, Inc. Deep-learned generation of accurate typical simulator content via multiple geo-specific data channels
US11330315B2 (en) * 2020-02-21 2022-05-10 Rovi Guides, Inc. Systems and methods for generating adapted content depictions
CN111402365B (zh) * 2020-03-17 2023-02-10 湖南大学 一种基于双向架构对抗生成网络的由文字生成图片的方法
US11948347B2 (en) 2020-04-10 2024-04-02 Samsung Display Co., Ltd. Fusion model training using distance metrics
CN111583276B (zh) * 2020-05-06 2022-04-19 西安电子科技大学 基于cgan的空间目标isar图像部件分割方法
CN111597338B (zh) * 2020-05-19 2023-04-18 杭州英视信息科技有限公司 对抗支持向量机
CN111968193B (zh) * 2020-07-28 2023-11-21 西安工程大学 一种基于StackGAN网络的文本生成图像方法
CN112132149B (zh) * 2020-09-10 2023-09-05 武汉汉达瑞科技有限公司 一种遥感影像语义分割方法及装置
US11948274B1 (en) * 2021-01-05 2024-04-02 Pixar Deep learned super resolution for feature film production
CN113012251B (zh) * 2021-03-17 2022-05-03 厦门大学 基于生成对抗网络的sar图像自动彩色化方法
CN113689517B (zh) * 2021-09-08 2024-05-21 云南大学 一种多尺度通道注意力网络的图像纹理合成方法及系统
CN115019128B (zh) * 2022-06-02 2024-08-23 电子科技大学 图像生成模型训练方法、图像生成方法及相关装置
KR102624237B1 (ko) * 2023-08-03 2024-01-15 주식회사 아임토리 로봇팔의 도메인 적응 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017168870A1 (ja) 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置及び情報処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043261B2 (en) * 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
US9971958B2 (en) * 2016-06-01 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating multimodal digital images
US10319076B2 (en) * 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images
US10546242B2 (en) * 2017-03-03 2020-01-28 General Electric Company Image analysis neural network systems
JP6831453B2 (ja) * 2017-05-02 2021-02-17 日本電信電話株式会社 信号検索装置、方法、及びプログラム
US10242292B2 (en) * 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
CN110799995A (zh) 2017-06-29 2020-02-14 首选网络株式会社 数据识别器训练方法、数据识别器训练装置、程序及训练方法
US10624558B2 (en) * 2017-08-10 2020-04-21 Siemens Healthcare Gmbh Protocol independent image processing with adversarial networks
US10650306B1 (en) * 2017-09-29 2020-05-12 Amazon Technologies, Inc. User representation using a generative adversarial network
US10642846B2 (en) * 2017-10-13 2020-05-05 Microsoft Technology Licensing, Llc Using a generative adversarial network for query-keyword matching
US11120337B2 (en) * 2017-10-20 2021-09-14 Huawei Technologies Co., Ltd. Self-training method and system for semi-supervised learning with generative adversarial networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017168870A1 (ja) 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置及び情報処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RRED,et al.，Generative Adversarial Text to Image Synthesis，Proceedings of the 33rd International Conference on Machine Learning，米国，2016年12月31日，JMLR:W&CP Volume48，pp.1-10
金子 卓弘，Ｃｏｎｄｉｔｉｏｎａｌ Ｆｉｌｔｅｒｅｄ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓを用いた生成的属性制御，電子情報通信学会技術研究報告 Ｖｏｌ．１１７ Ｎｏ．２１１ IEICE Technical Report，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，2017年10月16日，第117巻，pp.213-220

Also Published As

Publication number Publication date
JP2019079436A (ja) 2019-05-23
US20210287073A1 (en) 2021-09-16
US20190147321A1 (en) 2019-05-16
US11048999B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
JP7023669B2 (ja) 画像生成方法、画像生成装置、及び画像生成プログラム
Vo et al. Pyramid with super resolution for in-the-wild facial expression recognition
Quan et al. Image inpainting with local and global refinement
Sun et al. Learning layout and style reconfigurable gans for controllable image synthesis
Li et al. A2-RL: Aesthetics aware reinforcement learning for image cropping
Niculae et al. A regularized framework for sparse and structured neural attention
Li et al. Context-aware semantic inpainting
Ghorai et al. Multiple pyramids based image inpainting using local patch statistics and steering kernel feature
US10949706B2 (en) Finding complementary digital images using a conditional generative adversarial network
Yeo et al. Simple yet effective way for improving the performance of GAN
Nie et al. A multi-stage convolution machine with scaling and dilation for human pose estimation
Dai et al. Data augmentation for thermal infrared object detection with cascade pyramid generative adversarial network
Khowaja et al. Hybrid and hierarchical fusion networks: a deep cross-modal learning architecture for action recognition
Bose et al. In-situ recognition of hand gesture via Enhanced Xception based single-stage deep convolutional neural network
Srivastava et al. Aga-gan: Attribute guided attention generative adversarial network with u-net for face hallucination
Liu et al. Attentive semantic and perceptual faces completion using self-attention generative adversarial networks
Khare et al. Analysis of loss functions for image reconstruction using convolutional autoencoder
Ma et al. An improved scheme of deep dilated feature extraction on pedestrian detection
An et al. A Deep Convolutional Neural Network for Pneumonia Detection in X-ray Images with Attention Ensemble
Zhu et al. Human pose estimation with multiple mixture parts model based on upper body categories
Yang et al. Denoising vision transformers
Chen et al. 3D object completion via class-conditional generative adversarial network
Shi et al. Combined channel and spatial attention for YOLOv5 during target detection
Zhang et al. Fast contour detection with supervised attention learning
Moses et al. Analysing the loss landscape features of generative adversarial networks

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220209

R150 Certificate of patent or registration of utility model

Ref document number: 7023669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150