JP7373554B2 - クロスドメイン画像変換 - Google Patents
クロスドメイン画像変換 Download PDFInfo
- Publication number
- JP7373554B2 JP7373554B2 JP2021512501A JP2021512501A JP7373554B2 JP 7373554 B2 JP7373554 B2 JP 7373554B2 JP 2021512501 A JP2021512501 A JP 2021512501A JP 2021512501 A JP2021512501 A JP 2021512501A JP 7373554 B2 JP7373554 B2 JP 7373554B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- geometry
- style
- domain
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009466 transformation Effects 0.000 title claims description 285
- 238000000034 method Methods 0.000 claims description 79
- 238000000513 principal component analysis Methods 0.000 claims description 76
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000001131 transforming effect Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 description 97
- 238000012545 processing Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 29
- 238000000844 transformation Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 24
- 238000013507 mapping Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000002457 bidirectional effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
[0001] 画像変換は、原画像を異なるスタイルの画像に変換することを指す。異なる画像の種類を異なる画像ドメインと見なしてよい。例えば、写真、漫画、カリカチュア、油絵、スケッチ、及び水彩画を異なる画像ドメインと見なしてよい。異なるドメイン内の画像において表現されるスタイル及び/又はジオメトリ変形は通常異なっている。
[0003] 本明細書に記述する主題の実装に従い、クロスドメイン画像変換の一解決策を提供する。当該解決策において、第1の画像ドメインから第2の画像ドメインへのジオメトリ変形用の第1の学習ネットワークは、第1及び第2の画像ドメイン内の画像が異なるスタイルを有し、当該画像内の対象が互いにジオメトリ変形を受けている、第1の画像ドメイン内の第1の画像及び第2の画像ドメイン内の第2の画像に基づいて決定される。第2の画像ドメインから第1の画像ドメインへのジオメトリ変形を第2の画像に対して実行して、第2の画像と同じスタイルを継承する中間画像を生成するか、又は第1の画像ドメインから第2の画像ドメインへのジオメトリ変形を第1の画像に対して実行して、第1の画像と同じスタイルを継承する中間画像を生成する。第1の画像ドメインから第2の画像ドメインへのスタイル変換用の第2の学習ネットワークは、第1の画像と、第2の画像から生成された中間画像とに基づいて、又は第2の画像と、第1の画像から生成された中間画像とに基づいて決定される。当該解決策により、クロスドメイン画像変換を行うための学習ネットワークの処理精度を向上させることができ、複雑さが低下する。
[0016] 本明細書に記述する主題についていくつかの例示的な実装を参照しながら以下に述べる。これらの実装が本明細書に記述する主題に対する当業者の理解を深めて主題をよりうまく実装できるようすることのみを目的として議論されており、主題の範囲を一切限定するものではないことを理解されたい。
[0023] 本明細書に記述する主題の基本原理及びいくつかの例示的実装について図面を参照しながら以下に述べる。図1に、本明細書に記述する主題の各種の実装が可能な計算装置100のブロック図を示す。図1に示す計算装置100は例示目的に過ぎず、本明細書に記述する主題の機能及び実装の範囲を一切限定するものではない。図1に示すように、計算装置100は汎用計算装置100を含む。計算装置100の要素は、1個以上のプロセッサ又は処理部110、メモリ120、記憶装置130、1個以上の通信部140、1個以上の入力装置150、及び1個以上の出力装置160を含むが、これらに限定されない。
[0034] 本明細書に記述する主題の実装によれば、クロスドメイン画像変換の解決策を提案する。この解決策において、クロスドメイン画像変換は二つのタスク、すなわちジオメトリ変形及びスタイル変換に明示的に分類される。
[0044] 図2Aに、ジオメトリ変形及びスタイル変換が並列に実行される第1の実装による画像変換モジュールのアーキテクチャを示す。当該アーキテクチャは、学習ネットワークに基づいて実装され、図1の計算装置100の画像変換モジュール122に実装することができる。図示するように、画像変換モジュール122は、ジオメトリ変形用の第1の学習ネットワーク210、及びスタイル変換用の第2の学習ネットワーク220を含む。第1の学習ネットワーク210及び第2の学習ネットワーク220は各々のタスクを実行すべき独立に動作可能であって、独立に訓練される。
[0061] 図2Bに、ジオメトリ変形及びスタイル変換を順次実行する第2の実装による画像変換モジュール122のアーキテクチャを示す。当該アーキテクチャの要素及び当該アーキテクチャに実装された特定の機能は図2Aに示す実施におけるものと同様である。具体的には、画像変換モジュール122は、ジオメトリ変形用の第1の学習ネットワーク210及びスタイル変換用の第2の学習ネットワーク220を含み、更にジオメトリ検出器230及び併合モジュール240を含んでいてよい。
を更なる制約のために用いてよい。ネットワークの訓練処理は、マッピングを実行するネットワークパラメータ(例えば、学習ネットワークのパラメータ)を決定及び最適化するものである。
と表記)とも称する第1の学習ネットワーク210に対応し、ドメインXからドメインYへのジオメトリ変形(すなわちマッピングΦgeo)のモデル化に用いられる。他方の生成器は、ドメインYからドメインXへの逆ジオメトリ変形(すなわち逆マッピング
)をモデル化するための後方生成器304(
と表記)である。ここで、前方生成器210をGANの第1のサブネットワークと呼ぶ場合があり、後方生成器304をGANの第2のサブネットワークと呼ぶ場合がある。
313を生成する。変形されたジオメトリ315は
のように表すことができる。前方生成器210はPCA表現に基づいて動作することができる。分かりやすいように、変形前後のジオメトリに対応する画像対象も図3に示す。
)を実行してLX内の予測ジオメトリ315
を取得する。後方生成器304への入力はPCA表現314であってよく、後方生成器304は予測ジオメトリ315のPCA表現316を出力する。識別器320は、変形されたジオメトリ
と正解ジオメトリlyが識別可能であるか否かを識別すべき用いられる。正解ジオメトリlyはドメインY.からサンプリングされる画像のジオメトリである。当該経路において、予測ジオメトリ
は識別器320により前方生成器の結果の判定に用いられるだけでなく、後方生成器304へフィードバックされてもよい。
)を実行して変形されたジオメトリ
333を生成すべく構成されている。後方生成器304は、ジオメトリ331のPCA表現332を入力として、変形されたジオメトリ333のPCA表現334を変形後に出力することができる。前方生成器210は、PCA表現に基づいて、変形されたジオメトリ333に対してドメインXからドメインYへのジオメトリ変形(すなわちマッピングΦgeo)を実行してLX内の予測ジオメトリ
315を取得する。前方生成器210への入力はPCA表現334であってよく、前方生成器210は予測ジオメトリ335のPCA表現336を出力する。識別器322を用いて、変形されたジオメトリ
と正解ジオメトリlxが識別可能か否かを識別する。正解ジオメトリlxはドメインXからサンプリングされた画像のジオメトリである。第1及び第2の経路において、前方生成器210及び後方生成器304のパラメータ値は共有される。
と表記)及び双方向サイクル整合性損失(Lcycと表記)を考慮する。
敵対的損失に基づいて、前方生成器210は、出力された予測ジオメトリが識別器320により正解ジオメトリから識別できないように更新されてよい。訓練アーキテクチャの第2の経路に対して、敵対的損失(
と表記)は、例えば式(1)に列挙するように同様に決定されてよい。
とのサイクル整合性を制約することができる。その原理は、前方生成器210を第1の学習ネットワーク210として用いて第1の画像lxに対してジオメトリ変形を実行する場合、逆ジオメトリ304は、変形されたジオメトリを正確に変形して第1の画像lxのジオメトリに戻すことができること、すなわち
である。同様に、後方での整合性を
として定義することができる。従って、双方向サイクル整合性損失は次式のように表すことができる。
式(2)において、各方向におけるサイクル整合性損失は二つのベクトル間のLlの差で表すことができる。双方向サイクル整合性損失は更に入力から出力へのマッピングを制約することができる。
と表記)
はGAN構造300の第1の経路及び第2の経路の両方で考慮されてよい。第1の経路において、特性損失
は、入力された第1の画像内ジオメトリ311の対応する画像ドメイン内の平均ジオメトリを除去した結果と、前方生成器210が生成した変形されたジオメトリ313の対応する画像ドメイン内の平均ジオメトリを除去した結果との差異にペナルティを与えることにより考慮してよい。具体的には、訓練用の各々の入力された第1の画像に対して、現在の前方生成器210により変形されたジオメトリ313が生成された後で、第1の画像内のジオメトリ311(lxと表記)と、写真ドメインX内の平均ジオメトリ(
と表記)との第1の差異が決定され、変形されたジオメトリ313(
と表記)と、カリカチュアドメインY内の平均ジオメトリ(
と表記)との第2の差異も決定される。特性損失
は、第1と第2の差異間の差異を最小化すべく決定されてよい。これは余弦差等、第1と第2の差異間の差異にペナルティを与えることにより決定されてよい。ここで、特性損失
は次式のように表すことができる。
訓練目標は、写真ドメイン内の対象のジオメトリと平均ジオメトリの差異、及びカリカチュアドメイン内の対象のジオメトリと平均ジオメトリの差異が同一になるように
を最小化することである。
と表記)も決定されてよい。具体的には、訓練用の各々の入力された第2の画像に対して、現在の後方生成器305により変形されたジオメトリ333が生成された後で、第2の画像内のジオメトリ331(lyと表記)とカリカチュアドメインY内の平均ジオメトリ(
と表記)との第3の差異が決定され、変形されたジオメトリ333(GLY(ly)と表記)と写真ドメイン内の平均ジオメトリ(
と表記)との第4の差異が更に決定される。逆特性損失
は、第3の差異と第4の差異間の差異を最小化すべく決定されてよい。これは余弦差等、第3と第4の差異間の差異にペナルティを与えることにより決定されてよい。逆特性損失
は式(3)と同様に定義されていてよい。
当該損失関数は、第1の経路及び第2の経路における、対象のジオメトリの目立つ特徴を維持する特性損失を含む異なる種類の損失を考慮している。式(4)において、パラメータλcyc、λchaは異なる種類の損失をバランスさせるための所定値である。
と表記)に変換される。中間ドメインY’は写真ドメインXとカリカチュアドメインYの間にあり、中間画像はカリカチュアドメインY内の第2の画像と同じスタイルを継承しているが、写真ドメインX内の対象と同様のジオメトリを有している。中間ドメインY’内の中間画像は第2の画像に対してカリカチュアドメインYから写真ドメインXへのジオメトリ変形を実行することにより生成されてよい。いくつかの実装において、ドメインYからドメインXへのそのようなマッピングは、第1の学習ネットワーク210を訓練する際に後方生成器304により学習されてよい。従って、いくつかの実装において、GAN構造300が最初に訓練されてよい。第1の学習ネットワーク210を訓練する場合、後方生成器304はカリカチュアドメインY内の第2の画像を中間ドメインY’の中間画像に変換(すなわち
)すべく訓練される。
と表記)を含む前方生成部、スタイルエンコーダ220-1(
と表記)及びドメインY’用のデコーダ220-2を含む。スタイルエンコーダ220-1及びデコーダ220-2は第2の学習サブネットワーク220を形成する。GANネットワーク400は更に、ドメインY’用のコンテンツエンコーダ420(
と表記)を含む後方生成部、スタイルエンコーダ430(
と表記)、及びドメインX.のデコーダ440(RX)を含む。
と表記されてよい。各ドメインI(I=X又はY’)に対して、デコーダRIは、コンテンツ関連特徴表現及び外観関連特徴表現に基づいて画像を再構築する。すなわちZI=RI(CI、SI)。訓練用の複数の第1の画像及び中間画像から得られたコンテンツライブラリCI及びスタイルライブラリSIはガウス分布N(0、1)を満たすものと仮定する。
を抽出し、スタイルライブラリSY’405から、特定のスタイルに関連付けられた外観関連特徴表現Sy’をランダムに選択する。次いでデコーダ220-2を用いてカリカチュアドメイン内のスタイルの出力画像y’を生成し、y’=RY’(cx,sy’)と表記する。コンテンツエンコーダ420、スタイルエンコーダ430、及びデコーダ440も同様に動作する。
を制約する。GAN構造400はまた、
が正解中間画像と同一であるか否かを識別する識別器432を含んでいてよい。図4Aに示していない後方における第2の経路において、対称な敵対的損失
も取得されてよく、DXはドメインXの識別子を表す。
ここにI=X又はY’である。I=Xのケースにおいて式(5)はドメインXからドメインY’への方向における第1の経路における再構築損失を表し、I=Y’のケースにおいて式(5)はドメインY’からドメインXの方向における第1の経路における再構築損失を表す。
と表記、本明細書では第1の予測画像と称する場合もある)。上述のように、デコーダ220-2はドメインY’内でスタイル(カリカチュアドメインYにおけるスタイルと等価)をランダムに選択して変換を実行することにより、第1の予測画像404
はカリカチュアドメインのスタイルを有しているが、オブジェクト内のジオメトリは依然として画像402とほぼ同じままである。従って、第1の予測画像404は実際には中間ドメインY’における中間画像の予測である。
と表記)を取得する。コンテンツ及びスタイルは共にドメインXからのものであるため、予測画像408は実際には入力画像402の予測である。
式(6)は2個の画像間の差異が差異L2で表されることを示す。多対多マッピングの場合に従来のGANネットワークで用いるサイクル整合性損失とは異なり、本明細書に記述する主題の実装において、サイクル整合性損失は画像レベルの差異、すなわち予測画像と正解入力画像の差異に基づいている。訓練の目標は、そのような差異を可能な限り小さくすることである。式(6)の例において、この差異は2個の画像間の差異L2で表される。無論、画像間の差異の決定に他の方法を用いてもよい。
と表記する。サイクル整合性損失の決定は式(6)と同様であってよいが、各々の変換の方向は逆(すなわち式(6)に関わるドメインXからドメインY’への変換はドメインY’からドメインXへの変換を反転したものである)。
と表記)を取得し、第1の予測画像404のスタイルがドメインY’のスタイルライブラリ405からランダムに選択される。知覚損失は、第1の予測画像404と第1の画像402とのコンテンツの差異を指す。そのような差異は、第1の予測画像404及び第1の画像402から抽出された各々の特徴マップ間の差異、特にコンテンツ関連特徴マップ間の差異に基づいて表すことができる。知覚損失は次式で表すことができる。
ここにVGG195_3は(a)は画像aから抽出されたコンテンツ関連特徴マップを表す。式(7)は、特徴マップとL2差異表現との差異を示す。知覚損失
はコンテンツエンコーダ220-1及びデコーダ220-2の訓練の制約に主に用いられる。
と表記)も同様に決定されてよい。この逆向きの第2の経路において、入力画像はドメインY内の第2の画像から変換された中間画像である。第2の画像は任意の公知のカリカチュアであってよく、第1の画像402に合致するカリカチュアを含んでいてもいなくてもよい。ドメインY’からドメインXへのスタイル変換は、コンテンツエンコーダ420及び別のデコーダ(図4Aに含まれない)により実行される。中間画像は、ドメインY’の任意のスタイル(ドメインYの任意のスタイルと等価)を有していてよい(中間画像が第2の画像と同じくドメインY’に第3のスタイルを有していると仮定して)、且つ変換されるスタイルはドメインXのスタイルライブラリ401からランダムに選択されるスタイル(第4のスタイルと称する)であってよい。知覚損失
は、画像402の場合入力中間画像と第2の予測画像の差異に基づいて表されていてよい。両方向における知覚損失
及び
を用いてコンテンツエンコーダ220-1とデコーダ220-2、及びコンテンツエンコーダ420と別のデコーダを合同で訓練してよい。
ここにパラメータλrec、λcyc及びλperは異なる種類の損失を釣り合わせる所定の値である。
[00108] 図4Aに、図2Aで用いた第2の学習ネットワーク220をどのように訓練するかを示しており、そのような訓練を通じて得られた第2の学習ネットワーク220が元の写真に対してどのようにスタイル変換を実行してカリカチュアスタイルの写真を生成するかを学習することができる。図2Bの実装等、本明細書に記述する主題の他のいくつかの実装において、第2の学習ネットワーク220が変形された元の写真に対してどのようにスタイル変換を実行してカリカチュアスタイルのカリカチュアを生成するかを学習できることが望ましい。
と表記)、ドメインY’用のスタイルエンコーダ220-1(
と表記)及びデコーダ220-2(RYと表記)を含む前方生成部を含む。スタイルエンコーダ220-1及びデコーダ220-2は第2の学習サブネットワーク220を形成する。GANネットワーク450は更にドメインY用のコンテンツエンコーダ470(
と表記)、スタイルエンコーダ480(
と表記)、及びドメインX’用のデコーダ490(RX)を含む後方生成部を含む。GANネットワーク450は更に識別器482を含んでいてよい。これらの要素は図4Aで同様に配置された要素と同様の仕方で動作する。
[00118] 図5Aは、本明細書に記述するように、主題のいくつかの実装による学習ネットワークを訓練する処理500のフロー図を示す。処理500は、計算装置100又は計算装置100と同様の他の装置或いは装置クラスタにより実行されてよい。
[00148] 本明細書に記述する主題のいくつかの実装例を以下に列挙する。
Claims (19)
- コンピュータ実装方法であって、
第1の画像ドメインから第2の画像ドメインへのジオメトリ変形用の第1の学習ネットワークを、前記第1及び第2の画像ドメイン内の画像が異なるスタイルを有し、前記画像内の対象が互いにジオメトリ変形を受けている、前記第1の画像ドメイン内の第1の画像及び前記第2の画像ドメイン内の第2の画像に基づいて決定することと、
前記第2の画像ドメインから前記第1の画像ドメインへのジオメトリ変形を前記第2の画像に対して実行して、前記第2の画像と同じスタイルを継承する中間画像を生成することと、
前記第1の画像及び前記中間画像に基づいて前記第1の画像ドメインから前記第2の画像ドメインへのスタイル変換用の第2の学習ネットワークを決定することと、
を含む方法。 - 前記第1の学習ネットワークを決定することが、
前記第1の画像内の対象のジオメトリの第1の目標点及び前記第2の画像内の対象のジオメトリの第2の目標点を抽出することと、
前記第1の目標点の第1の主成分分析(PCA)表現及び前記第2の目標点の第2のPCA表現を決定することと、
前記第1及び第2のPCA表現に基づいて前記第1の学習ネットワークを決定することと、
を含む、請求項1に記載の方法。 - 前記第1の学習ネットワークが第1の敵対的生成ネットワーク(GAN)に基づいており、前記第1の学習ネットワークを決定することが、
前記第1のGANの第1のサブネットワークを用いて、前記第1の画像ドメインから前記第2の画像ドメインへのジオメトリ変形を前記第1の画像に対して実行して、前記第1の画像内の対象の第1のジオメトリを第1の変形されたジオメトリに変形することと、
第1の平均ジオメトリを前記第1の画像ドメイン内の複数の画像内の対象のジオメトリの平均とし、第2の平均ジオメトリを前記第2の画像ドメイン内の複数の画像内の対象のジオメトリの平均として、前記第1のジオメトリと前記第1の平均ジオメトリとの第1の差異及び前記第1の変形されたジオメトリと前記第2の平均ジオメトリとの第2の差異を決定することと、
前記第1と第2の差異間の差異が減少するように前記第1のGANの前記第1のサブネットワークを更新することとを含み、
前記更新された第1のサブネットワークを前記第1の学習ネットワークとして決定する、請求項1に記載の方法。 - 前記第1のGANの前記第1のサブネットワークを更新することが更に、
前記第1のGANの第2のサブネットワークを用いて、前記第2の画像ドメインから前記第1の画像ドメインへの前記ジオメトリ変形を前記第2の画像に対して実行して、前記第2の画像内の対象の第2のジオメトリを第2の変形されたジオメトリに変形することと、
前記第2のジオメトリと前記第2の平均ジオメトリとの第3の差異及び前記第2の変形されたジオメトリと前記第1の平均ジオメトリとの第4の差異を決定することと、
前記第3と第4の差異間の差異も減少するように前記第1のGANの前記第1及び第2のサブネットワークを共同更新することとを含む、請求項3に記載の方法。 - 前記第2の画像ドメインから前記第1の画像ドメインへの前記ジオメトリ変形を実行することが、
前記更新された第2のサブネットワークを用いて、前記第2の画像ドメインから前記第1の画像ドメインへの前記ジオメトリ変形を実行することを含む、請求項4に記載の方法。 - 前記第2の学習ネットワークが第2の敵対的生成ネットワーク(GAN)に基づいており、前記第2の学習ネットワークを決定することが、
前記第2のGANの第1のサブネットワークを用いて、前記第1の画像ドメインから前記第2の画像ドメインへのスタイル変換を前記第1の画像に対して実行して、第1のスタイルの前記第1の画像を、第2のスタイルであって、前記第2の画像ドメイン内の複数のスタイルからランダムに選択された、第2のスタイルの第1の予測画像に変換することと、
前記第1の予測画像と前記第1の画像とのコンテンツの差異が減少するように前記第2のGANの前記第1のサブネットワークを更新することとを含み、
前記更新された第1のサブネットワークを前記第2の学習ネットワークとして決定する、請求項1に記載の方法。 - 前記第2のGANの前記第1のサブネットワークを更新することが更に、
前記第2のGANの第2のサブネットワークを用いて、前記第2の画像ドメインから前記第1の画像ドメインへのスタイル変換を前記中間画像に対して実行して、第3のスタイルの前記中間画像を、第4のスタイルであって、前記第1の画像ドメイン内の複数のスタイルからランダムに選択された、第4のスタイルの第2の予測画像に変換することと、
前記第2の予測画像と前記中間画像とのコンテンツの差異が減少するように前記第2のGANの前記第1及び第2のサブネットワークを共同更新することとを含む、請求項6に記載の方法。 - コンピュータ実装方法であって、
原画像に対してジオメトリ変形を実行して前記原画像内の対象の第1のジオメトリを第2のジオメトリに変形することと、
前記原画像に対してスタイル変換を実行して第1のスタイルの前記原画像を第2のスタイルの中間画像に変換することと、
前記第2のジオメトリに基づいて前記中間画像内の対象を変換して前記中間画像と同じ第2のスタイルを継承する目標画像を生成することと、
を含む方法。 - コンピュータ実装方法であって、
原画像に対してジオメトリ変形を実行して前記原画像内の対象の第1のジオメトリを第2のジオメトリに変形することと、
前記第2のジオメトリに基づいて前記原画像内の前記対象を変換して前記原画像と同じ第1のスタイルを継承する中間画像を生成することと、
前記中間画像に対してスタイル変換を実行して前記第1のスタイルの前記中間画像を第2のスタイルの目標画像に変換することと、
を含む方法。 - 前記ジオメトリ変形を実行することが、
前記第1のジオメトリを表す前記原画像の目標点を決定することと、
前記目標点の主成分分析(PCA)表現を生成することと、
前記PCA表現に対して前記ジオメトリ変形を実行することと、
変形された前記PCA表現に基づいて前記第2のジオメトリを表す変形された目標点を決定することと、
を含む、請求項8に記載の方法。 - 前記ジオメトリ変形を実行することが、
前記対象の変形程度の指標を取得することと、
前記変形程度に基づいて前記第1のジオメトリを前記第2のジオメトリに変換することと、
を含む、請求項8に記載の方法。 - 前記原画像に対してスタイル変換を実行することが、
前記原画像のコンテンツ関連特徴表現を抽出することと、
前記第2のスタイルに関連付けられた外観関連特徴表現を決定することと、
前記コンテンツ関連特徴表現及び前記外観関連特徴表現に基づいて前記中間画像を生成することと、
を含む、請求項8に記載の方法。 - 前記外観関連特徴表現を決定することが、
複数の所定の外観関連特徴表現から前記外観関連特徴表現をランダムに選択すること、又は
前記第2のスタイルに関係する取得指標又は前記第2のスタイルの基準画像に基づいて前記外観関連特徴表現を決定することを含む、請求項12に記載の方法。 - 前記ジオメトリ変形を実行することが、
第1の学習ネットワークであって、第1の敵対的生成ネットワーク(GAN)に基づいて決定された、第1の学習ネットワークを用いて前記ジオメトリ変形を実行することを含み、又は
前記スタイル変換を実行することが、第2の学習ネットワークであって、第2のGANネットワークに基づいて決定された、第2の学習ネットワークを用いて前記スタイル変換を実行することを含む、請求項8に記載の方法。 - 前記ジオメトリ変形を実行することが、
前記第1のジオメトリを表す前記原画像の目標点を決定することと、
前記目標点の主成分分析(PCA)表現を生成することと、
前記PCA表現に対して前記ジオメトリ変形を実行することと、
変形された前記PCA表現に基づいて前記第2のジオメトリを表す変形された目標点を決定することと、
を含む、請求項9に記載の方法。 - 前記ジオメトリ変形を実行することが、
前記対象の変形程度の指標を取得することと、
前記変形程度に基づいて前記第1のジオメトリを前記第2のジオメトリに変換することと、
を含む、請求項9に記載の方法。 - 前記原画像に対してスタイル変換を実行することが、
前記原画像のコンテンツ関連特徴表現を抽出することと、
前記第2のスタイルに関連付けられた外観関連特徴表現を決定することと、
前記コンテンツ関連特徴表現及び前記外観関連特徴表現に基づいて前記中間画像を生成することと、
を含む、請求項9に記載の方法。 - 前記外観関連特徴表現を決定することが、
複数の所定の外観関連特徴表現から前記外観関連特徴表現をランダムに選択すること、又は
前記第2のスタイルに関係する取得指標又は前記第2のスタイルの基準画像に基づいて前記外観関連特徴表現を決定することを含む、請求項17に記載の方法。 - 前記ジオメトリ変形を実行することが、
第1の学習ネットワークであって、第1の敵対的生成ネットワーク(GAN)に基づいて決定された、第1の学習ネットワークを用いて前記ジオメトリ変形を実行することを含み、又は
前記スタイル変換を実行することが、第2の学習ネットワークであって、第2のGANネットワークに基づいて決定された、第2の学習ネットワークを用いて前記スタイル変換を実行することを含む、請求項9に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811294026.6A CN111127304B (zh) | 2018-10-31 | 2018-10-31 | 跨域图像转换 |
CN201811294026.6 | 2018-10-31 | ||
PCT/US2019/049619 WO2020091891A1 (en) | 2018-10-31 | 2019-09-05 | Cross-domain image translation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022503647A JP2022503647A (ja) | 2022-01-12 |
JPWO2020091891A5 JPWO2020091891A5 (ja) | 2022-08-18 |
JP7373554B2 true JP7373554B2 (ja) | 2023-11-02 |
Family
ID=67957460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021512501A Active JP7373554B2 (ja) | 2018-10-31 | 2019-09-05 | クロスドメイン画像変換 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11481869B2 (ja) |
EP (1) | EP3874458A1 (ja) |
JP (1) | JP7373554B2 (ja) |
KR (1) | KR102663519B1 (ja) |
CN (1) | CN111127304B (ja) |
WO (1) | WO2020091891A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127304B (zh) * | 2018-10-31 | 2024-02-20 | 微软技术许可有限责任公司 | 跨域图像转换 |
US20200242736A1 (en) * | 2019-01-29 | 2020-07-30 | Nvidia Corporation | Method for few-shot unsupervised image-to-image translation |
US11556848B2 (en) * | 2019-10-21 | 2023-01-17 | International Business Machines Corporation | Resolving conflicts between experts' intuition and data-driven artificial intelligence models |
US11450008B1 (en) * | 2020-02-27 | 2022-09-20 | Amazon Technologies, Inc. | Segmentation using attention-weighted loss and discriminative feature learning |
US11501107B2 (en) * | 2020-05-07 | 2022-11-15 | Adobe Inc. | Key-value memory network for predicting time-series metrics of target entities |
JP7477864B2 (ja) | 2020-05-18 | 2024-05-02 | 国立大学法人山梨大学 | 画像生成方法、プログラム及び画像生成装置 |
CN111508048B (zh) * | 2020-05-22 | 2023-06-20 | 南京大学 | 一种可交互任意形变风格人脸漫画自动生成方法 |
CN111833238B (zh) * | 2020-06-01 | 2023-07-25 | 北京百度网讯科技有限公司 | 图像的翻译方法和装置、图像翻译模型的训练方法和装置 |
CN111738910A (zh) * | 2020-06-12 | 2020-10-02 | 北京百度网讯科技有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
US11574500B2 (en) * | 2020-09-08 | 2023-02-07 | Samsung Electronics Co., Ltd. | Real-time facial landmark detection |
US20220122305A1 (en) | 2020-10-16 | 2022-04-21 | Adobe Inc. | Identity-preserving techniques for generative adversarial network projection |
CN112991151B (zh) * | 2021-02-09 | 2022-11-22 | 北京字跳网络技术有限公司 | 图像处理方法、图像生成方法、装置、设备和介质 |
US20240062441A1 (en) * | 2021-02-15 | 2024-02-22 | Carnegie Mellon University | System and method for photorealistic image synthesis using unsupervised semantic feature disentanglement |
US20230070666A1 (en) * | 2021-09-03 | 2023-03-09 | Adobe Inc. | Neural network for image style translation |
US11900519B2 (en) * | 2021-11-17 | 2024-02-13 | Adobe Inc. | Disentangling latent representations for image reenactment |
KR102678473B1 (ko) * | 2021-12-28 | 2024-06-27 | 포항공과대학교 산학협력단 | 자동 캐리커처 생성 방법 및 장치 |
KR102636217B1 (ko) * | 2023-04-14 | 2024-02-14 | 고려대학교산학협력단 | 가중 국소변환을 이용한 3차원 데이터 증강 방법 및 이를 위한 장치 |
KR102636155B1 (ko) * | 2023-07-18 | 2024-02-13 | 주식회사 젠젠에이아이 | 콘텐츠 코드를 이용한 이미지 생성 방법 및 시스템 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018092869A1 (ja) | 2016-11-21 | 2018-05-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7483553B2 (en) | 2004-03-29 | 2009-01-27 | Microsoft Corporation | Caricature exaggeration |
US7660482B2 (en) * | 2004-06-23 | 2010-02-09 | Seiko Epson Corporation | Method and apparatus for converting a photo to a caricature image |
CN102096934B (zh) | 2011-01-27 | 2012-05-23 | 电子科技大学 | 一种基于机器学习的人脸卡通画生成方法 |
US10366306B1 (en) * | 2013-09-19 | 2019-07-30 | Amazon Technologies, Inc. | Item identification among item variations |
US9646195B1 (en) * | 2015-11-11 | 2017-05-09 | Adobe Systems Incorporated | Facial feature liquifying using face mesh |
CN106548208B (zh) | 2016-10-28 | 2019-05-28 | 杭州米绘科技有限公司 | 一种照片图像快速智能风格化方法 |
US10916001B2 (en) * | 2016-11-28 | 2021-02-09 | Adobe Inc. | Facilitating sketch to painting transformations |
US10474929B2 (en) * | 2017-04-25 | 2019-11-12 | Nec Corporation | Cyclic generative adversarial network for unsupervised cross-domain image generation |
US10504267B2 (en) * | 2017-06-06 | 2019-12-10 | Adobe Inc. | Generating a stylized image or stylized animation by matching semantic features via an appearance guide, a segmentation guide, and/or a temporal guide |
US10565757B2 (en) * | 2017-06-09 | 2020-02-18 | Adobe Inc. | Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images |
US10430455B2 (en) * | 2017-06-09 | 2019-10-01 | Adobe Inc. | Sketch and style based image retrieval |
CN109426858B (zh) * | 2017-08-29 | 2021-04-06 | 京东方科技集团股份有限公司 | 神经网络、训练方法、图像处理方法及图像处理装置 |
US10748314B2 (en) * | 2018-02-15 | 2020-08-18 | Microsoft Technology Licensing, Llc | Controllable conditional image generation |
CN108257195A (zh) * | 2018-02-23 | 2018-07-06 | 深圳市唯特视科技有限公司 | 一种基于几何对比生成对抗网络的面部表情合成方法 |
CN108596024B (zh) * | 2018-03-13 | 2021-05-04 | 杭州电子科技大学 | 一种基于人脸结构信息的肖像生成方法 |
EP3605465B1 (en) * | 2018-07-30 | 2020-12-30 | Siemens Healthcare GmbH | A method for determining a correspondence between a source image and a reference image |
US11430084B2 (en) * | 2018-09-05 | 2022-08-30 | Toyota Research Institute, Inc. | Systems and methods for saliency-based sampling layer for neural networks |
CN111127304B (zh) * | 2018-10-31 | 2024-02-20 | 微软技术许可有限责任公司 | 跨域图像转换 |
KR20200063289A (ko) * | 2018-11-16 | 2020-06-05 | 삼성전자주식회사 | 영상 처리 장치 및 그 동작방법 |
CN113474654A (zh) * | 2018-12-04 | 2021-10-01 | 伊索普莱克西斯公司 | 用于鉴定、选择性消融和选择以及收集单细胞的系统、装置和方法 |
CN112926372B (zh) * | 2020-08-22 | 2023-03-10 | 清华大学 | 基于序列变形的场景文字检测方法及系统 |
-
2018
- 2018-10-31 CN CN201811294026.6A patent/CN111127304B/zh active Active
-
2019
- 2019-09-05 US US17/278,652 patent/US11481869B2/en active Active
- 2019-09-05 WO PCT/US2019/049619 patent/WO2020091891A1/en unknown
- 2019-09-05 JP JP2021512501A patent/JP7373554B2/ja active Active
- 2019-09-05 EP EP19769358.3A patent/EP3874458A1/en active Pending
- 2019-09-05 KR KR1020217013184A patent/KR102663519B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018092869A1 (ja) | 2016-11-21 | 2018-05-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3874458A1 (en) | 2021-09-08 |
WO2020091891A1 (en) | 2020-05-07 |
KR102663519B1 (ko) | 2024-05-03 |
CN111127304B (zh) | 2024-02-20 |
US11481869B2 (en) | 2022-10-25 |
KR20210083276A (ko) | 2021-07-06 |
JP2022503647A (ja) | 2022-01-12 |
CN111127304A (zh) | 2020-05-08 |
US20220044352A1 (en) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7373554B2 (ja) | クロスドメイン画像変換 | |
US11580395B2 (en) | Generative adversarial neural network assisted video reconstruction | |
US11625613B2 (en) | Generative adversarial neural network assisted compression and broadcast | |
US11620521B2 (en) | Smoothing regularization for a generative neural network | |
WO2018009473A1 (en) | Motion capture and character synthesis | |
US20220222897A1 (en) | Portrait editing and synthesis | |
CN112614213A (zh) | 人脸表情确定方法、表情参数确定模型、介质及设备 | |
US20220198731A1 (en) | Pixel-aligned volumetric avatars | |
US20220156987A1 (en) | Adaptive convolutions in neural networks | |
JP2023545052A (ja) | 画像処理モデルの訓練方法及び装置、画像処理方法及び装置、電子機器並びにコンピュータプログラム | |
Sheng et al. | A lightweight surface reconstruction method for online 3D scanning point cloud data oriented toward 3D printing | |
US11605001B2 (en) | Weight demodulation for a generative neural network | |
CN113408694A (zh) | 用于生成式神经网络的权重解调 | |
US20230298243A1 (en) | 3d digital avatar generation from a single or few portrait images | |
CN116452715A (zh) | 动态人手渲染方法、装置及存储介质 | |
US20230177722A1 (en) | Apparatus and method with object posture estimating | |
CN118096961B (zh) | 图像处理方法和装置 | |
CN116385643B (zh) | 虚拟形象生成、模型的训练方法、装置及电子设备 | |
US20230377324A1 (en) | Multi-domain generative adversarial networks for synthetic data generation | |
US20240046422A1 (en) | Pseudoinverse guidance for data restoration with diffusion models | |
WO2022140445A1 (en) | Pixel-aligned volumetric avatars | |
Ronkainen | Dense tracking of human facial geometry | |
CN116917947A (zh) | 像素对齐的体积化身 | |
CN118196277A (zh) | 复制物理环境并生成3d资产用于合成场景生成 | |
CN118175324A (zh) | 用于视频生成的多维生成框架 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220808 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7373554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |