JP7364676B2 - 条件付きサイクル一貫性を有する生成画像変換のモデルを使用した拡張現実のためのシステムおよび方法 - Google Patents
条件付きサイクル一貫性を有する生成画像変換のモデルを使用した拡張現実のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP7364676B2 JP7364676B2 JP2021526757A JP2021526757A JP7364676B2 JP 7364676 B2 JP7364676 B2 JP 7364676B2 JP 2021526757 A JP2021526757 A JP 2021526757A JP 2021526757 A JP2021526757 A JP 2021526757A JP 7364676 B2 JP7364676 B2 JP 7364676B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- effect
- model
- encodings
- computing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
<画像変換>
<条件付き画像生成>
<モデル構造>
1.製品カタログの各口紅j及びその見本画像zjについて、そのエンコーディングEg(zj)を取得し、後の使用のためにデータストア(例えば、データベース)に記憶する。与えられた口紅に対して複数の見本画像を得ることができる場合は、各画像のエンコーディングを平均することによって、より信頼性の高いエンコーディングを推論することができる。
2.与えられた口紅jを自撮り画像x上に生成するには、データベースからjのエンコーディングejG=EG(zj)を取得して生成器G(x;Eg(zj))を実行する。
3.モデルが唇の部分に切り取られた自撮りで訓練されている場合は、生成器の出力を元の自撮り画像の正しい位置に合成し直す。
<再訓練時>
<実験と結果>
<評価指標>
<ダウンサンプリング、拡張、層数>
<合成口紅のデータセットでの連続したエンコーディング>
<計算環境の例>
<ネットワークの詳細>
[1] P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros,“Image-to-image translation with conditional adversarial networks,” in Conference on Computer Vision and Pattern Recognition , 2017.
[2] J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros,“Unpaired image-to-image translation using cycle-consistent adversarial networks,” in Computer Vision (ICCV), 2017 IEEE International Conference on, 2017.
[3] H. Chang, J. Lu, F. Yu, and A. Finkelstein,“PairedCycleGAN: Asymmetric style transfer for applying and removing makeup,” in CVPR 2018, June 2018.
[4] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y.
Bengio,“Generative adversarial nets,” in Advances in Neural Information Processing Systems 27 (Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, eds.), pp. 2672-2680, Curran Associates, Inc., 2014.
[5] A. van den Oord, N. Kalchbrenner, and K. Kavukcuoglu,“Pixel recurrent neural networks,” CoRR, vol. abs/1601.06759, 2016.
[6] D. P. Kingma and M. Welling,“Auto-Encoding Variational Bayes,” ArXiv e-prints, Dec. 2013.
[7] D. P. Kingma and P. Dhariwal,“Glow: Generative Flow with Invertible lxl Convolutions,” ArXiv e- prints, July 2018.
[8] T. Miyato and M. Koyama,“cGANs with projection discriminator,” in International Conference on Learning Representations, 2018.
[9] M. Mirza and S. Osindero,“Conditional generative adversarial nets,” arXiv preprint arXiv: 1411.1784, 2014.
[10] S. Reed, Z. Akata, X. Yan, L. Logeswaran, B. Schiele, and H. Lee,“Generative adversarial text-to-image synthesis,” in Proceedings of The 33rd International Conference on Machine Learning, 2016.
[11] Y. Choi, M. Choi, M. Kim, J.-W. Ha, S. Kim, and J. Choo,“Stargan: Unified generative adversarial networks for multi-domain image-to-image translation,” arXiv preprint arXiv: 1711.09020, 2017.
[12] E. Perez, H. de Vries, F. Strub, V. Dumoulin, and A. C. Courville,“Learning visual reasoning without strong priors,” CoRR, vol. abs/ 1707.03017, 2017.
[13] E. Perez, H. De Vries, F. Strub, V. Dumoulin, and A. Courville,“Learning Visual Reasoning Without Strong Priors,” in ICML 2017’s Machine Learning in Speech and Language Processing Workshop, (Sidney, France), Aug. 2017.
[14] T. Miyato, T. Kataoka, M. Koyama, and Y. Yoshida,“Spectral normalization for generative adversarial networks,” in International Conference on Learning Representations, 2018.
[15] M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, G. Klambauer, and S. Hochreiter,“Gans trained by a two time-scale update rule converge to a nash equilibrium,” CoRR, vol. abs/1706.08500, 2017.
[16] T. Salimans, I. J. Goodfellow, W. Zaremba, V. Cheung, A. Radford, and X. Chen,“Improved techniques for training gans,” CoRR, vol. abs/1606.03498, 2016.
Claims (52)
- 画像に適用される効果に応じて、第1のドメイン空間から第2の連続するドメイン空間に前記画像を変換するコンピューティングデバイスであって、記憶部と処理部とを備え、
前記記憶部は、前記画像を前記第2の連続するドメイン空間に変換するように構成された、条件付きサイクル一貫性を有する生成画像変換のモデルを記憶し、
前記モデルは、適用される前記効果の物理的特性を連続的に表す複数のエンコーディングを生成するエンコーダ(E)と、そのエンコーダ(E)で生成された前記複数のエンコーディングを使用した訓練によって条件付けされる生成器(G)と、を備え、
前記エンコーダ(E)は、適用される前記効果の種類に対応する複数の見本画像から前記複数のエンコーディングをエンコードし、
前記複数の見本画像には、適用される前記効果がないことを表す空白の画像が含まれ、
前記処理部は、前記画像と適用される所望の効果とを前記モデルに提供し、提示用の変換された画像を提供することを特徴とするコンピューティングデバイス。 - 適用される前記効果が拡張現実の効果を含む、請求項1記載のコンピューティングデバイス。
- 適用される前記効果が、メイクアップ効果、ネイル効果、及び、ヘアカラー効果のうちの1つを含む、請求項1又は2に記載のコンピューティングデバイス。
- 前記モデルが、条件付きサイクル一貫性を有する敵対的生成ネットワーク(ccGAN)のモデルである、請求項1から3のいずれかに記載のコンピューティングデバイス。
- 前記第1のドメイン空間は、適用される前記効果を含まない複数の前記画像によって定義される、請求項1から4のいずれかに記載のコンピューティングデバイス。
- 前記モデルは、推論時に前記生成器(G)を備え、
訓練時に、前記生成器(G)は、前記複数のエンコーディングを使用して識別器(D)と共に訓練される、請求項1から5のいずれかに記載のコンピューティングデバイス。 - 前記生成器(G)は、前記複数のエンコーディングの各エンコーディングに対し、畳み込み条件付きバッチ正規化処理を使用して条件付けされる、請求項6記載のコンピューティングデバイス。
- 前記識別器(D)は、前記複数のエンコーディングの各エンコーディングに対し、出力投影処理を使用して条件付けされる、請求項6又は7に記載のコンピューティングデバイス。
- 前記コンピューティングデバイスは、前記複数のエンコーディングを記憶する記憶装置を備えるデータストアに接続され、
前記処理部は、前記複数のエンコーディングのうち、前記所望の効果に対応する1つを前記モデルに提供する、請求項6から8のいずれかに記載のコンピューティングデバイス。 - 前記データストアは、適用される前記効果の種類を尊重するための、前記モデルに訓練されていない1又は複数の非訓練インスタンスエンコーディングを記憶し、
前記処理部は、前記1又は複数の非訓練インスタンスエンコーディングのうち、前記所望の効果に対応する1つを前記モデルに提供するように構成される、請求項9記載のコンピューティングデバイス。 - 前記画像は、自撮り画像または自撮り映像であり、前記自撮り映像の場合、前記処理部は、前記自撮り映像の画像を変換して前記効果を適用し、3Dの効果を作成する、請求項1から12のいずれかに記載のコンピューティングデバイス。
- 前記変換された画像は、前記画像の部位を構成し、
前記処理部は、前記変換された画像を、提示用の画像に合成する、請求項1から13のいずれかに記載のコンピューティングデバイス。 - 前記画像をキャプチャするために、前記コンピューティングデバイスが、カメラを備える、又は、カメラに接続される、請求項1から14のいずれかに記載のコンピューティングデバイス。
- 前記コンピューティングデバイスは、サーバを備え、
前記処理部は、前記サーバと通信するクライアントデバイスから前記画像および前記所望の効果を受信する、請求項1から14のいずれかに記載のコンピューティングデバイス。 - 前記記憶装置は、前記所望の効果を選択するための選択機能をユーザに提供するためのインターフェースに関する命令を格納し、
前記処理部は、前記インターフェースを提供し、前記選択機能を介して入力を受信し、その入力に応じて前記所望の効果を定義するように構成される、請求項9記載のコンピューティングデバイス。 - 前記入力は、前記モデルに対して事前に訓練されていないカスタム効果を含む、請求項17記載のコンピューティングデバイス。
- 前記記憶装置は、前記所望の効果を定義するために使用する以前に計算されたエンコーディングを検索する検索機能に関する命令を記憶し、
前記処理部は、前記入力および前記検索機能を使用して、前記計算されたエンコーディングから前記カスタム効果に最適なものを探して前記所望の効果を定義するように構成される、請求項18記載のコンピューティングデバイス。 - 前記記憶装置は、前記所望の効果に関する新しいエンコーディングを定義するエンコード機能を提供するための命令を記憶し、
前記処理部は、前記入力および前記エンコード機能を使用して、前記カスタム効果のための前記所望の効果を定義するように構成される、請求項18記載のコンピューティングデバイス。 - 条件付きサイクル一貫性を有する生成画像変換のモデルを生成するように構成されたコンピューティングデバイスであって、
前記モデルは、画像に適用される効果に従って前記画像を第1のドメイン空間から第2の連続するドメイン空間に変換するように構成され、
前記コンピューティングデバイスは、記憶装置と処理部とを備え、
前記記憶装置は、前記モデルを記憶し、
前記モデルは、適用される前記効果の物理的特性を連続的に表す複数のエンコーディングを生成するエンコーダ(E)と、そのエンコーダ(E)で生成された前記複数のエンコーディングを使用した訓練によって条件付けされる生成器(G)及び識別器(D)と、を備え、
前記エンコーダ(E)は、適用される前記効果の種類に対応する複数の見本画像から前記複数のエンコーディングをエンコードし、
前記複数の見本画像には、適用される前記効果がないことを表す空白の画像が含まれ、
前記処理部は、訓練データをバッチで提供して訓練された前記モデルを定義することを特徴とするコンピューティングデバイス。 - 前記モデルは、条件付きサイクル一貫性を有する敵対的生成ネットワーク(ccGAN)モデルである、請求項21記載のコンピューティングデバイス。
- 前記訓練データを受信するために、前記処理部は、
各々に効果が適用されていない複数の実画像xを、効果が適用されていないドメイン空間を構成する前記第1のドメイン空間Xから受信し、
効果が適用されたドメイン空間を構成する前記第2の連続するドメイン空間Yから複数の実画像yjを受信し、各yjは適用される前記効果のインスタンスjを有し、j=1、2、3、・・・は前記効果の種類を表し、
前記効果の種類に対応する複数の見本画像zjを受信し、
適用される前記効果がないことに対応する空白の画像z0を受信し、
処理部は、前記生成器(G)及び前記識別器(D)のパラメータθG及びθDを開始し、
前記訓練データをバッチで提供するために、前記処理部は、
バッチで、前記訓練データから決定された訓練エポックを繰り返すように構成され、
前記エンコーダ(E)を使用して前記生成器(G)及び前記識別器(D)のためのエンコーディングE(zj)をエンコードし、
前記エンコーダ(E)を使用して前記生成器(G)のためのエンコーディングE(z0)をエンコードし、
前記画像x及び前記エンコーディングE(zj)を前記生成器(G)に提供して、前記第2の連続するドメイン空間Yで偽画像yjfakeを生成し、
前記偽画像yjfake及びそれに対応する実画像yjを前記エンコーディングE(zj)と共に前記識別器(D)に提供して出力djを生成し、
前記偽画像yjfake及び前記エンコーディングE(z0)を前記生成器(G)に提供してx´を出力し、
下記の数式8に従って、敵対的損失およびサイクル一貫性損失を最小化することによって前記生成器(G)のパラメータθGを最適化し、敵対的損失を最大化することによって前記識別器(D)のパラメータθDを最適化する、請求項21又は22に記載のコンピューティングデバイス。
- 適用される前記効果は、拡張現実の効果、好ましくはメイクアップ効果、ネイル効果、及び、ヘアカラー効果のうちの1つを含む、請求項21から23のいずれかに記載のコンピューティングデバイス。
- 前記生成器(G)は、前記複数のエンコーディングの各エンコーディングに対し、畳み込み条件付きバッチ正規化処理を使用して条件付けされる、請求項21から24のいずれかに記載のコンピューティングデバイス。
- 前記識別器(D)は、前記複数のエンコーディングの各エンコーディングに対し、出力投影処理を使用して条件付けされる、請求項21から25のいずれかに記載のコンピューティングデバイス。
- 画像に適用される効果に応じて、前記画像を第1のドメイン空間から第2の連続するドメイン空間に変換するコンピュータ実装方法であって、
前記方法は、
適用される所望の効果及び前記画像を受信し、
変換された画像を得るために前記画像および前記所望の効果をモデルに提供し、提示用の前記変換された画像を提供し、
前記モデルは、前記画像を前記第2の連続するドメイン空間に変換するように構成された、条件付きサイクル一貫性を有する生成画像変換のモデルであり、
前記モデルは、適用される前記効果の物理的特性を連続的に表す複数のエンコーディングを生成するエンコーダ(E)と、そのエンコーダ(E)で生成された前記複数のエンコーディングを使用した訓練によって条件付けされる生成器(G)と、を備え、
前記エンコーダ(E)は、適用される前記効果の種類に対応する複数の見本画像から前記複数のエンコーディングをエンコードし、
前記複数の見本画像には、適用される前記効果がないことを表す空白の画像が含まれることを特徴とする方法。 - 前記モデルは、条件付きサイクル一貫性を有する敵対的生成ネットワーク(ccGAN)のモデルから定義される、請求項27記載の方法。
- 適用される前記効果が、メイクアップ効果、ネイル効果、及び、ヘアカラー効果のうちの1つを含む、請求項27又は28に記載の方法。
- 前記第1のドメイン空間は、適用される前記効果を含まない複数の前記画像によって定義される、請求項27から29のいずれかに記載の方法。
- 前記モデルは、前記複数のエンコーディングを用いて訓練された識別器(D)を備える、請求項27から30のいずれかに記載の方法。
- 前記生成器(G)は、前記複数のエンコーディングの各エンコーディングに対し、畳み込み条件付きバッチ正規化処理を使用して条件付けされる、請求項31記載の方法。
- 前記識別器(D)は、前記複数のエンコーディングの各エンコーディングに対し、出力投影処理を使用して条件付けされる、請求項31又は32に記載の方法。
- 前記複数のエンコーディングを記憶する記憶装置を有するデータストアから、前記複数のエンコーディングのうち、前記所望の効果に対応する1つを検索して前記モデルに提供する、請求項31から33のいずれかに記載の方法。
- 前記データストアは、適用される前記効果の種類を尊重するための、前記モデルに訓練されていない1又は複数の非訓練インスタンスエンコーディングを記憶し、
前記方法は、前記1又は複数の非訓練インスタンスエンコーディングのうち、前記所望の効果に対応する1つをデータベースから検索して前記モデルに提供する、請求項34記載の方法。 - 前記画像を受信するために接続されたカメラを使用して前記画像をキャプチャする、請求項27から37のいずれかに記載の方法。
- 前記画像は、自撮り画像および自撮り映像のうちの1つから構成され、前記自撮り映像の場合、前記方法は、前記自撮り映像の画像を変換して効果を適用し、3Dの効果、特に3Dのメイクアップ効果を作成する、請求項27から38のいずれかに記載の方法。
- 前記モデルに提供する前に前記画像を前処理する、請求項27から39のいずれかに記載の方法。
- 前記変換された画像は、前記画像の部位を構成し、
前記方法は、前記変換された画像を提示用の画像に合成する、請求項27から40のいずれかに記載の方法。 - 前記所望の効果を選択するための選択機能を含むインターフェースを提供し、前記選択機能を介して入力を受信し、その入力に応じて前記所望の効果を定義する、請求項27から41のいずれかに記載の方法。
- 前記入力は、前記モデルに対して事前に訓練されていないカスタム効果を含む、請求項42記載の方法。
- 前記所望の効果を定義するために使用する以前に計算されたエンコーディングを前記入力を使用して検索し、前記計算されたエンコーディングから前記カスタム効果に最適なものを探して前記所望の効果を定義する、請求項43記載の方法。
- 前記所望の効果に関する新しいエンコーディングを前記入力に応じて定義するエンコード機能を使用して、前記カスタム効果のための前記所望の効果を定義する、請求項43記載の方法。
- 条件付きサイクル一貫性を有する生成画像変換のモデルを生成するためのコンピュータ実装方法であって、
前記モデルは、画像に適用される効果に応じて、前記画像を第1のドメイン空間から第2の連続するドメイン空間に変換するように構成され、
前記方法は、処理部を介して訓練データを受信し、前記訓練データをバッチで前記モデルに提供して訓練された前記モデルを定義し、
前記モデルは、前記処理部に結合された記憶装置に記憶され、
前記モデルは、適用される前記効果の物理的特性を連続的に表す複数のエンコーディングを生成するエンコーダ(E)と、そのエンコーダ(E)で生成された前記複数のエンコーディングを使用した訓練によって条件付けされる生成器(G)及び識別機(D)と、を備え、
前記エンコーダ(E)は、適用される前記効果の種類に対応する複数の見本画像から前記複数のエンコーディングをエンコードし、
前記複数の見本画像には、適用される前記効果がないことを表す空白の画像が含まれることを特徴とする方法。 - 前記モデルは、条件付きサイクル一貫性を有する敵対的生成ネットワーク(ccGAN)のモデルである、請求項46記載の方法。
- 前記訓練データを受信するために、前記方法は、
各々に効果が適用されていない複数の実画像xを、効果が適用されていないドメイン空間を構成する前記第1のドメイン空間Xから受信し、
効果が適用されたドメイン空間を構成する前記第2の連続するドメイン空間Yから複数の実画像yjを受信し、各yjは適用される前記効果のインスタンスjを有し、j=1、2、3、・・・は前記効果の種類を表し、
前記効果の種類に対応する複数の見本画像zjを受信し、
適用される前記効果がないことに対応する空白の画像z0を受信し、
前記方法は、前記処理部により、前記生成器(G)及び前記識別器(D)のパラメータθG及びθDを開始し、
前記訓練データをバッチで提供するために、前記方法は、
バッチで、前記訓練データから決定された訓練エポックを繰り返すように構成され、
前記エンコーダ(E)を使用して前記生成器(G)及び前記識別器(D)のためのエンコーディングE(zj)をエンコードし、
前記エンコーダ(E)を使用して前記生成器(G)のためのエンコーディングE(z0)をエンコードし、
前記画像x及び前記エンコーディングE(zj)を前記生成器(G)に提供して、前記第2の連続するドメイン空間Yで偽画像yjfakeを生成し、
前記偽画像yjfake及びそれに対応する実画像yjを前記エンコーディングE(zj)と共に前記識別器(D)に提供して出力djを生成し、
前記偽画像yjfake及び前記エンコーディングE(z0)を前記生成器(G)に提供してx´を出力し、
下記の数式11に従って、敵対的損失およびサイクル一貫性損失を最小化することによって前記生成器(G)のパラメータθGを最適化し、敵対的損失を最大化することによって前記識別器(D)のパラメータθDを最適化する、請求項46又は47に記載の方法。
- 適用される前記効果は、拡張現実の効果、好ましくは、メイクアップ効果、ネイル効果、及び、ヘアカラー効果のうちの1つを含む、請求項46から48のいずれかに記載の方法。
- 前記生成器(G)は、前記複数のエンコーディングの各エンコーディングに対し、畳み込み条件付きバッチ正規化処理を使用して条件付けされる、請求項46から49のいずれかに記載の方法。
- 前記識別器(D)は、前記複数のエンコーディングの各エンコーディングに対し、出力投影処理を使用して条件付けされる、請求項46から50のいずれかに記載の方法。
- コンピューティングデバイスの処理部によって実行されると、請求項27から51のいずれかに記載の方法を前記コンピューティングデバイスに実行させるプログラムを記憶する記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862767769P | 2018-11-15 | 2018-11-15 | |
US62/767,769 | 2018-11-15 | ||
PCT/CA2019/051624 WO2020097731A1 (en) | 2018-11-15 | 2019-11-14 | System and method for augmented reality using conditional cycle-consistent generative image-to-image translation models |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022519003A JP2022519003A (ja) | 2022-03-18 |
JP7364676B2 true JP7364676B2 (ja) | 2023-10-18 |
Family
ID=70726432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021526757A Active JP7364676B2 (ja) | 2018-11-15 | 2019-11-14 | 条件付きサイクル一貫性を有する生成画像変換のモデルを使用した拡張現実のためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11645497B2 (ja) |
EP (1) | EP3881277A4 (ja) |
JP (1) | JP7364676B2 (ja) |
CN (1) | CN113728353A (ja) |
WO (1) | WO2020097731A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11048980B2 (en) * | 2019-04-30 | 2021-06-29 | Agora Lab, Inc. | Optimizing supervised generative adversarial networks via latent space regularizations |
US11664820B2 (en) * | 2019-09-25 | 2023-05-30 | Nokia Technologies Oy | Domain adaptation |
KR20220157502A (ko) | 2020-03-31 | 2022-11-29 | 스냅 인코포레이티드 | 증강 현실 미용 제품 튜토리얼들 |
CN113870431A (zh) * | 2020-06-30 | 2021-12-31 | 复旦大学 | 三维模型动作迁移方法 |
WO2022003537A1 (en) * | 2020-07-02 | 2022-01-06 | Shiseido Company, Limited | System and method for image transformation |
CN111815534B (zh) * | 2020-07-14 | 2023-12-19 | 厦门美图之家科技有限公司 | 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质 |
IL276478B2 (en) * | 2020-08-03 | 2023-07-01 | Inspekto A M V Ltd | Adaptive system and method for inspecting photographed objects |
WO2022029771A1 (en) * | 2020-08-03 | 2022-02-10 | Inspekto A.M.V Ltd | Adaptive system and method for inspection of imaged items |
CN112115771B (zh) * | 2020-08-05 | 2022-04-01 | 暨南大学 | 一种基于星形生成对抗网络的步态图像合成方法 |
CN112992304B (zh) * | 2020-08-24 | 2023-10-13 | 湖南数定智能科技有限公司 | 高分辨率红眼病案例数据生成方法、设备及存储介质 |
CN112651915B (zh) * | 2020-12-25 | 2023-08-29 | 百果园技术(新加坡)有限公司 | 一种人脸图像合成方法、系统、电子设备及存储介质 |
CN112614070B (zh) * | 2020-12-28 | 2023-05-30 | 南京信息工程大学 | 一种基于DefogNet的单幅图像去雾方法 |
CN112991494B (zh) * | 2021-01-28 | 2023-09-15 | 腾讯科技(深圳)有限公司 | 图像生成方法、装置、计算机设备及计算机可读存储介质 |
CN113643400B (zh) * | 2021-08-23 | 2022-05-24 | 哈尔滨工业大学(威海) | 一种图像生成方法 |
FR3132370A1 (fr) | 2022-01-28 | 2023-08-04 | L'oreal | Procédé pour la simulation d’une application d’un produit cosmétique de maquillage sur une surface corporelle |
FR3137550A1 (fr) | 2022-07-05 | 2024-01-12 | L'oreal | Procédé de détermination de paramètres relatifs à la coloration d’une zone corporelle d’un individu |
CN116229229A (zh) * | 2023-05-11 | 2023-06-06 | 青岛科技大学 | 基于深度学习的多域图像融合方法和系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014167831A1 (ja) | 2013-04-08 | 2014-10-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10504004B2 (en) * | 2016-09-16 | 2019-12-10 | General Dynamics Mission Systems, Inc. | Systems and methods for deep model translation generation |
WO2018132721A1 (en) * | 2017-01-12 | 2018-07-19 | The Regents Of The University Of Colorado, A Body Corporate | Method and system for implementing three-dimensional facial modeling and visual speech synthesis |
WO2019090213A1 (en) * | 2017-11-03 | 2019-05-09 | Siemens Aktiengesellschaft | Segmenting and denoising depth images for recognition applications using generative adversarial neural networks |
US20190279075A1 (en) * | 2018-03-09 | 2019-09-12 | Nvidia Corporation | Multi-modal image translation using neural networks |
US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
US11170536B2 (en) * | 2018-09-21 | 2021-11-09 | Revive Al, Inc. | Systems and methods for home improvement visualization |
-
2019
- 2019-11-14 US US16/683,398 patent/US11645497B2/en active Active
- 2019-11-14 WO PCT/CA2019/051624 patent/WO2020097731A1/en unknown
- 2019-11-14 EP EP19885726.0A patent/EP3881277A4/en active Pending
- 2019-11-14 CN CN201980084128.1A patent/CN113728353A/zh active Pending
- 2019-11-14 JP JP2021526757A patent/JP7364676B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014167831A1 (ja) | 2013-04-08 | 2014-10-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN113728353A (zh) | 2021-11-30 |
JP2022519003A (ja) | 2022-03-18 |
US20200160153A1 (en) | 2020-05-21 |
US11645497B2 (en) | 2023-05-09 |
WO2020097731A1 (en) | 2020-05-22 |
EP3881277A1 (en) | 2021-09-22 |
EP3881277A4 (en) | 2022-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7364676B2 (ja) | 条件付きサイクル一貫性を有する生成画像変換のモデルを使用した拡張現実のためのシステムおよび方法 | |
US10726601B2 (en) | System for beauty, cosmetic, and fashion analysis | |
Cao et al. | Carigans: Unpaired photo-to-caricature translation | |
Chen et al. | Beautyglow: On-demand makeup transfer framework with reversible generative network | |
Rombach et al. | Network-to-network translation with conditional invertible neural networks | |
Wolf et al. | Unsupervised creation of parameterized avatars | |
JP7448652B2 (ja) | 教師あり学習のための非ペアデータを使用する画像から画像への変換 | |
Gandhi | A method for automatic synthesis of aged human facial images | |
Zsolnai-Fehér et al. | Gaussian material synthesis | |
Singh et al. | Neural style transfer: A critical review | |
Cadena et al. | Diverse feature visualizations reveal invariances in early layers of deep neural networks | |
JP2023531263A (ja) | 画像から画像への変換のための知識蒸留を維持する意味関係 | |
Hoshen et al. | Nam: Non-adversarial unsupervised domain mapping | |
Chai et al. | Neural hair rendering | |
Lee et al. | Styleuv: Diverse and high-fidelity uv map generative model | |
Li et al. | Instant3d: Instant text-to-3d generation | |
WO2022002964A1 (en) | High-resolution controllable face aging with spatially-aware conditional gans | |
Rahman et al. | Pacmo: Partner dependent human motion generation in dyadic human activity using neural operators | |
Kumar et al. | DEff-GAN: Diverse Attribute Transfer for Few-Shot Image Synthesis | |
Xie et al. | Consistency preservation and feature entropy regularization for gan based face editing | |
WO2010010342A1 (en) | A system and method for facial recognition | |
Chen et al. | Texture deformation based generative adversarial networks for multi-domain face editing | |
Shang et al. | Attentive conditional channel-recurrent autoencoding for attribute-conditioned face synthesis | |
De Guevara et al. | Cross-modal Latent Space Alignment for Image to Avatar Translation | |
Chen et al. | Homomorphic interpolation network for unpaired image-to-image translation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210519 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230214 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231005 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7364676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |