JPWO2020091891A5 - - Google Patents

Claims (19)

1. コンピュータ実装方法であって、
   第１の画像ドメインから第２の画像ドメインへのジオメトリ変形用の第１の学習ネットワークを、前記第１及び第２の画像ドメイン内の画像が異なるスタイルを有し、前記画像内の対象が互いにジオメトリ変形を受けている、前記第１の画像ドメイン内の第１の画像及び前記第２の画像ドメイン内の第２の画像に基づいて決定することと、
   前記第２の画像ドメインから前記第１の画像ドメインへのジオメトリ変形を前記第２の画像に対して実行して、前記第２の画像と同じスタイルを継承する中間画像を生成することと、
   前記第１の画像及び前記中間画像に基づいて前記第１の画像ドメインから前記第２の画像ドメインへのスタイル変換用の第２の学習ネットワークを決定することと、
   を含む方法。
2. 前記第１の学習ネットワークを決定することが、
   前記第１の画像内の対象のジオメトリの第１の目標点及び前記第２の画像内の対象のジオメトリの第２の目標点を抽出することと、
   前記第１の目標点の第１の主成分分析（ＰＣＡ）表現及び前記第２の目標点の第２のＰＣＡ表現を決定することと、
   前記第１及び第２のＰＣＡ表現に基づいて前記第１の学習ネットワークを決定することと、
   を含む、請求項１に記載の方法。
3. 前記第１の学習ネットワークが第１の敵対的生成ネットワーク（ＧＡＮ）に基づいており、前記第１の学習ネットワークを決定することが、
   前記第１のＧＡＮの第１のサブネットワークを用いて、前記第１の画像ドメインから前記第２の画像ドメインへのジオメトリ変形を前記第１の画像に対して実行して、前記第１の画像内の対象の第１のジオメトリを第１の変形されたジオメトリに変形することと、
   第１の平均ジオメトリを前記第１の画像ドメイン内の複数の画像内の対象のジオメトリの平均とし、第２の平均ジオメトリを前記第２の画像ドメイン内の複数の画像内の対象のジオメトリの平均として、前記第１のジオメトリと前記第１の平均ジオメトリとの第１の差異及び前記第１の変形されたジオメトリと前記第２の平均ジオメトリとの第２の差異を決定することと、
   前記第１と第２の差異間の差異が減少するように前記第１のＧＡＮの前記第１のサブネットワークを更新することとを含み、
   前記更新された第１のサブネットワークを前記第１の学習ネットワークとして決定する、請求項１に記載の方法。
4. 前記第１のＧＡＮの前記第１のサブネットワークを更新することが更に、
   前記第１のＧＡＮの第２のサブネットワークを用いて、前記第２の画像ドメインから前記第１の画像ドメインへの前記ジオメトリ変形を前記第２の画像に対して実行して、前記第２の画像内の対象の第２のジオメトリを第２の変形されたジオメトリに変形することと、
   前記第２のジオメトリと前記第２の平均ジオメトリとの第３の差異及び前記第２の変形されたジオメトリと前記第１の平均ジオメトリとの第４の差異を決定することと、
   前記第３と第４の差異間の差異も減少するように前記第１のＧＡＮの前記第１及び第２のサブネットワークを共同更新することとを含む、請求項３に記載の方法。
5. 前記第２の画像ドメインから前記第１の画像ドメインへの前記ジオメトリ変形を実行することが、
   前記更新された第２のサブネットワークを用いて、前記第２の画像ドメインから前記第１の画像ドメインへの前記ジオメトリ変形を実行することを含む、請求項４に記載の方法。
6. 前記第２の学習ネットワークが第２の敵対的生成ネットワーク（ＧＡＮ）に基づいており、前記第２の学習ネットワークを決定することが、
   前記第２のＧＡＮの第１のサブネットワークを用いて、前記第１の画像ドメインから前記第２の画像ドメインへのスタイル変換を前記第１の画像に対して実行して、第１のスタイルの前記第１の画像を、第２のスタイルであって、前記第２の画像ドメイン内の複数のスタイルからランダムに選択された、第２のスタイルの第１の予測画像に変換することと、
   前記第１の予測画像と前記第１の画像とのコンテンツの差異が減少するように前記第２のＧＡＮの前記第１のサブネットワークを更新することとを含み、
   前記更新された第１のサブネットワークを前記第２の学習ネットワークとして決定する、請求項１に記載の方法。
7. 前記第２のＧＡＮの前記第１のサブネットワークを更新することが更に、
   前記第２のＧＡＮの第２のサブネットワークを用いて、前記第２の画像ドメインから前記第１の画像ドメインへのスタイル変換を前記中間画像に対して実行して、第３のスタイルの前記中間画像を、第４のスタイルであって、前記第１の画像ドメイン内の複数のスタイルからランダムに選択された、第４のスタイルの第２の予測画像に変換することと、
   前記第２の予測画像と前記中間画像とのコンテンツの差異が減少するように前記第２のＧＡＮの前記第１及び第２のサブネットワークを共同更新することとを含む、請求項６に記載の方法。
8. コンピュータ実装方法であって、
   原画像に対してジオメトリ変形を実行して前記原画像内の対象の第１のジオメトリを第２のジオメトリに変形することと、
   前記原画像に対してスタイル変換を実行して第１のスタイルの前記原画像を第２のスタイルの中間画像に変換することと、
   前記第２のジオメトリに基づいて前記中間画像内の対象を変換して前記中間画像と同じ第２のスタイルを継承する目標画像を生成することと、
   を含む方法。
9. コンピュータ実装方法であって、
   原画像に対してジオメトリ変形を実行して前記原画像内の対象の第１のジオメトリを第２のジオメトリに変形することと、
   前記第２のジオメトリに基づいて前記原画像内の前記対象を変換して前記原画像と同じ第１のスタイルを継承する中間画像を生成することと、
   前記中間画像に対してスタイル変換を実行して前記第１のスタイルの前記中間画像を第２のスタイルの目標画像に変換することと、
   を含む方法。
10. 前記ジオメトリ変形を実行することが、
    前記第１のジオメトリを表す前記原画像の目標点を決定することと、
    前記目標点の主成分分析（ＰＣＡ）表現を生成することと、
    前記ＰＣＡ表現に対して前記ジオメトリ変形を実行することと、
    変形された前記ＰＣＡ表現に基づいて前記第２のジオメトリを表す変形された目標点を決定することと、
    を含む、請求項８に記載の方法。
11. 前記ジオメトリ変形を実行することが、
    前記対象の変形程度の指標を取得することと、
    前記変形程度に基づいて前記第１のジオメトリを前記第２のジオメトリに変換することと、
    を含む、請求項８に記載の方法。
12. 前記原画像に対してスタイル変換を実行することが、
    前記原画像のコンテンツ関連特徴表現を抽出することと、
    前記第２のスタイルに関連付けられた外観関連特徴表現を決定することと、
    前記コンテンツ関連特徴表現及び前記外観関連特徴表現に基づいて前記中間画像を生成することと、
    を含む、請求項８に記載の方法。
13. 前記外観関連特徴表現を決定することが、
    複数の所定の外観関連特徴表現から前記外観関連特徴表現をランダムに選択すること、又は
    前記第２のスタイルに関係する取得指標又は前記第２のスタイルの基準画像に基づいて前記外観関連特徴表現を決定することを含む、請求項１２に記載の方法。
14. 前記ジオメトリ変形を実行することが、
    第１の学習ネットワークであって、第１の敵対的生成ネットワーク（ＧＡＮ）に基づいて決定された、第１の学習ネットワークを用いて前記ジオメトリ変形を実行することを含み、又は
    前記スタイル変換を実行することが、第２の学習ネットワークであって、第２のＧＡＮネットワークに基づいて決定された、第２の学習ネットワークを用いて前記スタイル変換を実行することを含む、請求項８に記載の方法。
15. 前記ジオメトリ変形を実行することが、
    前記第１のジオメトリを表す前記原画像の目標点を決定することと、
    前記目標点の主成分分析（ＰＣＡ）表現を生成することと、
    前記ＰＣＡ表現に対して前記ジオメトリ変形を実行することと、
    変形された前記ＰＣＡ表現に基づいて前記第２のジオメトリを表す変形された目標点を決定することと、
    を含む、請求項９に記載の方法。
16. 前記ジオメトリ変形を実行することが、
    前記対象の変形程度の指標を取得することと、
    前記変形程度に基づいて前記第１のジオメトリを前記第２のジオメトリに変換することと、
    を含む、請求項９に記載の方法。
17. 前記原画像に対してスタイル変換を実行することが、
    前記原画像のコンテンツ関連特徴表現を抽出することと、
    前記第２のスタイルに関連付けられた外観関連特徴表現を決定することと、
    前記コンテンツ関連特徴表現及び前記外観関連特徴表現に基づいて前記中間画像を生成することと、
    を含む、請求項９に記載の方法。
18. 前記外観関連特徴表現を決定することが、
    複数の所定の外観関連特徴表現から前記外観関連特徴表現をランダムに選択すること、又は
    前記第２のスタイルに関係する取得指標又は前記第２のスタイルの基準画像に基づいて前記外観関連特徴表現を決定することを含む、請求項１７に記載の方法。
19. 前記ジオメトリ変形を実行することが、
    第１の学習ネットワークであって、第１の敵対的生成ネットワーク（ＧＡＮ）に基づいて決定された、第１の学習ネットワークを用いて前記ジオメトリ変形を実行することを含み、又は
    前記スタイル変換を実行することが、第２の学習ネットワークであって、第２のＧＡＮネットワークに基づいて決定された、第２の学習ネットワークを用いて前記スタイル変換を実行することを含む、請求項９に記載の方法。