JP7247587B2 - 画像スタイル変換装置、画像スタイル変換方法、及びプログラム - Google Patents
画像スタイル変換装置、画像スタイル変換方法、及びプログラム Download PDFInfo
- Publication number
- JP7247587B2 JP7247587B2 JP2019001666A JP2019001666A JP7247587B2 JP 7247587 B2 JP7247587 B2 JP 7247587B2 JP 2019001666 A JP2019001666 A JP 2019001666A JP 2019001666 A JP2019001666 A JP 2019001666A JP 7247587 B2 JP7247587 B2 JP 7247587B2
- Authority
- JP
- Japan
- Prior art keywords
- style
- target
- image
- content
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
また、特許文献2に記載の従来技術では、画像の領域ごとに階調などの調整をスライダによって調整する。
また、特許文献1、2に記載の従来技術では、画像全体に一様に変換処理を行うため、例えば、シーンや被写体が大きく異なる対象画像と目的画像とに適応してしまうと光の当り方や色味などで不整合が生じてしまうことがあった。
また、本発明の一態様は、対象コンテンツ抽出部が、類似の特徴を有する画像の集合を示すドメインである複数のドメインのそれぞれに属する画像群に基づいて学習された学習結果に基づいて、前記複数のドメインに共通する画像内の要素を示すコンテンツの特徴量を、対象コンテンツ特徴量として、指定された加工対象の画像である対象画像から抽出する対象コンテンツ抽出ステップと、対象スタイル抽出部が、前記学習結果に基づいて、前記対象画像から前記複数のドメインに共通しない画像内の要素を示すスタイルの特徴量を、対象スタイル特徴量として抽出する対象スタイル抽出ステップと、目的スタイル抽出部が、前記学習結果に基づいて、指定された目的スタイルの画像を示す目的スタイル画像から前記スタイルの特徴量を、目的スタイル特徴量として抽出する目的スタイル抽出ステップと、変換画像生成部が、前記学習結果に基づいて、前記対象コンテンツ抽出ステップによって抽出された前記対象コンテンツ特徴量と、前記対象スタイル抽出ステップによって抽出された前記対象スタイル特徴量、及び前記目的スタイル抽出ステップによって抽出された前記目的スタイル特徴量を混合した混合スタイル特徴量とから、前記コンテンツの特徴と前記目的スタイルの特徴を併せ持つスタイル変換画像を生成する変換画像生成ステップと、表示制御部が、前記対象スタイル特徴量と、前記目的スタイル特徴量との混合率を示すスライダを表示部に表示させ、ユーザによる操作部の操作に応じて、前記スライダの前記混合率を示す位置を変更して表示させる表示制御ステップと、スタイル混合部が、前記操作部の操作によって指定された前記混合率で、前記対象スタイル特徴量と、前記目的スタイル特徴量とを混合して、前記混合スタイル特徴量を生成するスタイル混合ステップと、個別目的コンテンツ抽出部が、指定された前記目的スタイルを表す目的スタイルキーワードに対応付けられた複数の画像のそれぞれから、前記学習結果に基づいて、個別コンテンツの特徴量を抽出する個別目的コンテンツ抽出ステップと、目的スタイル画像選択部が、前記個別目的コンテンツ抽出ステップによって抽出された、前記複数の画像の個別コンテンツの特徴量のうちから、前記対象コンテンツ特徴量に最も近い前記個別コンテンツの特徴量に対応する画像を、前記目的スタイル画像として選択する目的スタイル画像選択ステップとを含み、前記変換画像生成ステップにおいて、前記変換画像生成部が、前記対象コンテンツ特徴量と、前記スタイル混合ステップによって生成された混合スタイル特徴量とから、前記学習結果に基づいて前記スタイル変換画像を生成し、前記目的スタイル抽出ステップにおいて、前記目的スタイル抽出部が、指定された前記目的スタイルキーワードに対応付けられた複数の画像のそれぞれから、前記学習結果に基づいて、個別スタイルの特徴量を抽出し、前記複数の画像のそれぞれから抽出した前記スタイルの特徴量の平均値を、前記目的スタイル特徴量として抽出し、前記表示制御ステップにおいて、前記表示制御部が、前記スライダの一端に隣接する位置に、前記目的スタイル画像選択ステップによって選択された前記目的スタイル画像を順方向プレビュー画像として表示させることを特徴とする画像スタイル変換方法である。
また、本発明の一態様は、コンピュータに、類似の特徴を有する画像の集合を示すドメインである複数のドメインのそれぞれに属する画像群に基づいて学習された学習結果に基づいて、前記複数のドメインに共通する画像内の要素を示すコンテンツの特徴量を、対象コンテンツ特徴量として、指定された加工対象の画像である対象画像から抽出する対象コンテンツ抽出ステップと、前記学習結果に基づいて、前記対象画像から前記複数のドメインに共通しない画像内の要素を示すスタイルの特徴量を、対象スタイル特徴量として抽出する対象スタイル抽出ステップと、前記学習結果に基づいて、指定された目的スタイルの画像を示す目的スタイル画像から前記スタイルの特徴量を、目的スタイル特徴量として抽出する目的スタイル抽出ステップと、前記学習結果に基づいて、前記対象コンテンツ抽出ステップによって抽出された前記対象コンテンツ特徴量と、前記対象スタイル抽出ステップによって抽出された前記対象スタイル特徴量、及び前記目的スタイル抽出ステップによって抽出された前記目的スタイル特徴量を混合した混合スタイル特徴量とから、前記コンテンツの特徴と前記目的スタイルの特徴を併せ持つスタイル変換画像を生成する変換画像生成ステップと、前記対象スタイル特徴量と、前記目的スタイル特徴量との混合率を示すスライダを表示部に表示させ、ユーザによる操作部の操作に応じて、前記スライダの前記混合率を示す位置を変更して表示させる表示制御ステップと、前記操作部の操作によって指定された前記混合率で、前記対象スタイル特徴量と、前記目的スタイル特徴量とを混合して、前記混合スタイル特徴量を生成するスタイル混合ステップと、指定された前記目的スタイルを表す目的スタイルキーワードに対応付けられた複数の画像のそれぞれから、前記学習結果に基づいて、個別コンテンツの特徴量を抽出する個別目的コンテンツ抽出ステップと、前記個別目的コンテンツ抽出ステップによって抽出された、前記複数の画像の個別コンテンツの特徴量のうちから、前記対象コンテンツ特徴量に最も近い前記個別コンテンツの特徴量に対応する画像を、前記目的スタイル画像として選択する目的スタイル画像選択ステップとを実行させるためのプログラムであり、前記変換画像生成ステップにおいて、前記対象コンテンツ特徴量と、前記スタイル混合ステップによって生成された混合スタイル特徴量とから、前記学習結果に基づいて前記スタイル変換画像を生成し、前記目的スタイル抽出ステップにおいて、指定された前記目的スタイルキーワードに対応付けられた複数の画像のそれぞれから、前記学習結果に基づいて、個別スタイルの特徴量を抽出し、前記複数の画像のそれぞれから抽出した前記スタイルの特徴量の平均値を、前記目的スタイル特徴量として抽出し、前記表示制御ステップにおいて、前記スライダの一端に隣接する位置に、前記目的スタイル画像選択ステップによって選択された前記目的スタイル画像を順方向プレビュー画像として表示させるプログラムである。
図1は、第1の実施形態による画像スタイル変換装置1の一例を示す機能ブロック図である。
図1に示すように、画像スタイル変換装置1は、制御部10と、表示部11と、入力部12と、記憶部13とを備える。画像スタイル変換装置1は、例えば、パーソナルコンピュータ、タブレット端末装置、スマートフォンなどの情報処理装置であり、指定した加工対象の画像である対象画像に対して、指定した目的画像に含まれる特徴を加えるように加工する画像スタイル変換を行う。
ここで、本実施形態における画像スタイル変換処理を実行するための学習処理について説明する。
本実施形態におけるスタイルの特徴ベクトル及びコンテンツの特徴ベクトルは、上述した非特許文献1に記載の技術を利用して、画像から抽出される特徴ベクトル(特徴量)である。画像スタイル変換処理は、上述したスタイルエンコーダ、コンテンツエンコーダ、及びデコーダと、ディスクリミネータとを学習した学習結果を利用することで実現できる。
ここで挙げた例では、服飾の形状がコンテンツ特徴であり、線画あるいは写真といった画風がスタイル特徴となる。ここでは、例を挙げてスタイル特徴及びコンテンツ特徴を説明したが、スタイル特徴及びコンテンツ特徴は、任意のデータで学習したニューラルネットワークによって算出される特徴ベクトルであり、その定義については後述する。
「xA」は、ドメインAに属する1枚の画像を示し、「xB」は、ドメインBに属する1枚の画像を示す。また、「ESA」は、ドメインAに属する画像からスタイルの特徴ベクトルを抽出するエンコーダ(スタイルエンコーダ)であり、「ECA」は、ドメインAに属する画像からコンテンツの特徴ベクトルを抽出するエンコーダ(コンテンツエンコーダ)である。また、「GA」は、スタイルの特徴ベクトル及びコンテンツの特徴ベクトルからドメインAに属する画像を復元するデコーダである。
また、「DA」は、入力された画像がドメインAらしい画像か否かを判別するディスクリミネータであり、「DB」は、入力された画像がドメインBらしい画像か否かを判別するディスクリミネータである。
ドメインAに関する損失関数LreconxAは、下記の式(1)によって表される。
なお、上記の式(1)及び式(2)において、一例として、L1ノルムを用いる例を説明したが、L2ノルム等の他のノルムを用いてもよい。
なお、上記の式(3)及び式(4)において、一例として、L1ノルムを用いる例を説明したが、L2ノルム等の他のノルムを用いてもよい。
なお、上記の式(5)及び式(6)において、一例として、L1ノルムを用いる例を説明したが、L2ノルム等の他のノルムを用いてもよい。
なお、この損失関数LadvxAが無いとエンコード及びデコードは、式(1)~式(6)までによってのみ保証されることになる。つまり、学習に使用した画像と一致する画像に対してはエンコード及びデコードが可能であるだが、学習に使用した画像と異なる画像に対してはエンコード及びデコードが不可能である。
図2は、本実施形態における目的画像記憶部132のデータ例を示す図である。
図2に示すように、目的画像記憶部132は、「目的スタイル画像」と「タグ情報」とを対応付けて記憶する。
例えば、図2に示す例では、「目的スタイル画像」が“画像A”に対応する目的スタイル画像は、「タグ情報」として、“しずる感”、“湯気”が付与されていることを示している。また、「目的スタイル画像」が“画像B”に対応する目的スタイル画像は、「タグ情報」として、“艶やかさ”が付与されていることを示している。
なお、スタイルの特徴ベクトルVSは、下記の式(9)により抽出可能であり、対象スタイル抽出部102は、この式(9)に画像データとして、対象画像データを代入することで対象スタイル特徴ベクトルVSSを抽出する。
なお、コンテンツの特徴ベクトルVCは、下記の式(10)により抽出可能であり、対象コンテンツ抽出部103は、この式(10)に画像データとして、対象画像データを代入することで対象コンテンツ特徴ベクトルVSCを抽出する。
なお、復元画像XRは、下記の式(13)により生成可能である。
図3は、本実施形態による画像スタイル変換装置1の表示画面の一例を示す図である。
表示制御部109は、図3に示す表示画面G1のような画面を、表示部11に表示させる。
まず、図4を参照して、本実施形態におけるスタイル変換画像の生成処理の概要について説明する。
図4に示すように、対象コンテンツ抽出部103が、コンテンツエンコーダ(EC)を用いて、指定された対象画像から対象コンテンツ特徴ベクトルVSCを抽出する。また、対象スタイル抽出部102が、スタイルエンコーダ(ES)を用いて、指定された対象画像から対象スタイル特徴ベクトルVSSを抽出する。
そして、変換画像生成部108が、デコーダ(G)を用いて、対象コンテンツ特徴ベクトルVSCと、混合スタイル特徴ベクトルVMSとからスタイル変換画像を生成する。なお、図4において、学習結果LRには、スタイルエンコーダ(ES)、コンテンツエンコーダ(EC)、及びデコーダ(G)が含まれている。
また、この場合、混合率rは、以下の式(15)により算出される。
また、目的スタイルが複数ある場合に、スタイル混合部107は、例えば、対象スタイル特徴ベクトルVSSと、式(14)により算出された目的スタイル特徴ベクトルVTSと、式(15)により算出された混合率rから、上述した式(12)を用いて混合スタイル特徴ベクトルVMSを生成する。
図5は、本実施形態による画像スタイル変換装置1の動作の一例を示すフローチャートである。
また、本実施形態による画像スタイル変換装置1では、例えば、シーンや被写体が大きく異なる対象画像と目的画像とに適応してしまった場合であっても、光の当り方や色味などで不整合が生じることがない。
これにより、本実施形態による画像スタイル変換装置1は、スライダにより効果を確認しながら、スタイル変換画像を適切に調整することができる。
これにより、本実施形態による画像スタイル変換装置1は、目的キーワード(目的スタイルキーワード)を指定することで、さらに直感的に画像のスタイルを変換することができる。
これにより、本実施形態による画像スタイル変換装置1は、目的キーワード(目的スタイルキーワード)から適切に目的スタイルを抽出し、直感的に画像のスタイルを変換することができる。
これにより、本実施形態による画像スタイル変換装置1は、複数の目的スタイルを対象画像に反映させることができるため、より自由度の高いスタイル変換を行うことができる。
これにより、本実施形態による画像スタイル変換装置1は、複雑な処理を必要としない簡易な処理により、直感的に画像のスタイルを変換することができる。
これにより、本実施系値による画像スタイル変換方法は、上述した画像スタイル変換装置1と同様の効果を奏し、ユーザが直感的に画像のスタイルを変換することができる。
次に、図面を参照して、第2の実施形態による画像スタイル変換装置1aについて説明する。
図6に示すように、画像スタイル変換装置1aは、制御部10aと、表示部11と、入力部12と、記憶部13とを備える。
なお、この図において、上述した図1と同一の構成には、同一の符号を付与してその説明を省略する。
表示制御部109aは、目的キーワードが指定された場合に、スライダの一端に隣接する位置に、目的スタイル画像選択部113が選択した目的スタイル画像を順方向プレビュー画像として表示させる。また、表示制御部109aは、スライダの一端に隣接する位置に、目的スタイル画像を順方向プレビュー画像として表示させるとともに、順方向プレビュー画像とは反対のスライダの一端に隣接する位置に、逆方向プレビュー画像生成部111が生成した逆方向プレビュー画像を表示させる。
図7は、本実施形態による画像スタイル変換装置1aの表示画面の一例を示す図である。なお、この図において、上述した図3と同一の構成には、同一の符号を付与してその説明を省略する。
表示制御部109aは、図7に示す表示画面G2のような画面を、表示部11に表示させる。
また、表示制御部109aは、目的スタイルキーワードパネルPN4aにおいても、目的スタイル画像パネルPN2aと同様に、逆方向プレビュー画像NTG3を表示させる。
これにより、本実施形態による画像スタイル変換装置1aは、第1の実施形態と同様の効果を奏し、ユーザが直感的に画像のスタイルを変換することができる。
次に、図面を参照して、第3の実施形態による画像スタイル変換装置1bについて説明する。
図8に示すように、画像スタイル変換装置1bは、制御部10bと、表示部11と、入力部12と、記憶部13とを備える。
なお、この図において、上述した図1及び図6と同一の構成には、同一の符号を付与してその説明を省略する。
表示制御部109bは、スライダに対応した動的プレビュー画像を、スライダに対応付けて表示させるとともに、スライダの混合率を示す位置に応じて、動的プレビュー画像を変更して表示させる。すなわち、表示制御部109bは、例えば、図3に示す表示画面G1の目的スタイル画像パネルPN2において、スライダSLD1のカーソルの位置が変更されると、スライダの混合率に応じて、目的スタイル画像TG1を、動的プレビュー画像として変更する。
これにより、本実施形態による画像スタイル変換装置1bは、第1の実施形態と同様の効果を奏し、ユーザが直感的に画像のスタイルを変換することができる。
次に、図面を参照して、第4の実施形態による画像スタイル変換装置1cについて説明する。
図9に示すように、画像スタイル変換装置1cは、制御部10cと、表示部11と、入力部12と、記憶部13aとを備える。
なお、この図において、上述した図1と同一の構成には、同一の符号を付与してその説明を省略する。
学習画像データ記憶部133は、上述した学習結果記憶部131が記憶する学習結果を生成するための学習画像データ(例えば、ドメインAの画像群の画像データ、及びドメインBの画像群の画像データ)を記憶する。
学習処理部115は、複数のドメインのそれぞれに属する画像群に基づいて、機械学習を実行し、学習結果を生成する。すなわち、学習処理部115は、上述した式(1)~式(8)の損失関数により、学習画像データ記憶部133が記憶する学習画像データを用いて機械学習処理を実行して、学習結果として、スタイルエンコーダES、コンテンツエンコーダEC、及びデコーダGを生成する。学習処理部115は、生成した学習結果を学習結果記憶部131に記憶させる。
これにより、本実施形態による画像スタイル変換装置1cは、例えば、画像のカテゴリごとに学習処理を実行するなど、画像の変化に対応して、画像のスタイルの変換を、より柔軟に対応することができる。本実施形態による画像スタイル変換装置1cは、学習結果を柔軟に更新することができる。
例えば、上記の各実施形態において、記憶部13(13a)の一部又は全部を画像スタイル変換装置1(1a~1c)の外部に備えるようにしてもよい。この場合、記憶部13(13a)は、ネットワークを介して接続可能な外部装置(例えば、サーバ装置)に備えられていてもよい。
また、上記の各実施形態において、対象画像データ取得部101は、対象画像を記憶部13(13a)から取得してもよいし、外部から取得するようにしてもよい。また、同様に、目的画像データ取得部104は、目的スタイル画像を記憶部13(13a)から取得してもよいし、外部から取得するようにしてもよい。
また、上記の各実施形態において、画像スタイル変換装置1(1a~1c)は、1台の装置で構成される例を説明したが、これに限定されるものではなく、例えば、複数の装置によって、画像スタイル変換システムとして構成されてもよい。
また、上記の各実施形態は、単独で実施される例を説明したが、各実施形態の一部又は全部を組み合わせて実施するようにしてもよい。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
10、10a、10b、10c…制御部
11…表示部
12…入力部
13、13a…記憶部
101…対象画像データ取得部
102…対象スタイル抽出部
103…対象コンテンツ抽出部
104…目的画像データ取得部
105…目的キーワード取得部
106…目的スタイル抽出部
107…スタイル混合部
108…変換画像生成部
109、109a、109b…表示制御部
110…目的コンテンツ抽出部
111…逆方向プレビュー画像生成部
112…個別目的コンテンツ抽出部
113…目的スタイル画像選択部
114…動的プレビュー画像生成部
115…学習処理部
131…学習結果記憶部
132…目的画像記憶部
133…学習画像データ記憶部
Claims (11)
- 類似の特徴を有する画像の集合を示すドメインである複数のドメインのそれぞれに属する画像群に基づいて学習された学習結果に基づいて、前記複数のドメインに共通する画像内の要素を示すコンテンツの特徴量を、対象コンテンツ特徴量として、指定された加工対象の画像である対象画像から抽出する対象コンテンツ抽出部と、
前記学習結果に基づいて、前記対象画像から前記複数のドメインに共通しない画像内の要素を示すスタイルの特徴量を、対象スタイル特徴量として抽出する対象スタイル抽出部と、
前記学習結果に基づいて、指定された目的スタイルの画像を示す目的スタイル画像から前記スタイルの特徴量を、目的スタイル特徴量として抽出する目的スタイル抽出部と、
前記学習結果に基づいて、前記対象コンテンツ抽出部が抽出した前記対象コンテンツ特徴量と、前記対象スタイル抽出部が抽出した前記対象スタイル特徴量、及び前記目的スタイル抽出部が抽出した前記目的スタイル特徴量を混合した混合スタイル特徴量とから、前記コンテンツの特徴と前記目的スタイルの特徴とを併せ持つスタイル変換画像を生成する変換画像生成部と、
前記対象スタイル特徴量と、前記目的スタイル特徴量との混合率を示すスライダを表示部に表示させ、ユーザによる操作部の操作に応じて、前記スライダの前記混合率を示す位置を変更して表示させる表示制御部と、
前記学習結果に基づいて、前記目的スタイル画像から前記コンテンツの特徴量を、目的コンテンツ特徴量として抽出する目的コンテンツ抽出部と、
前記学習結果に基づいて、前記目的コンテンツ抽出部が抽出した前記目的コンテンツ特徴量と、前記対象スタイル抽出部が抽出した前記対象スタイル特徴量とから、前記目的スタイル画像の前記コンテンツの特徴と前記対象画像の前記スタイルの特徴とを併せ持つ逆方向プレビュー画像を生成する逆方向プレビュー画像生成部と
を備え、
前記表示制御部は、
前記スライダの一端に隣接する位置に、前記目的スタイル画像を順方向プレビュー画像として表示させるとともに、前記順方向プレビュー画像とは反対の前記スライダの一端に隣接する位置に、前記逆方向プレビュー画像生成部が生成した前記逆方向プレビュー画像を表示させる
ことを特徴とする画像スタイル変換装置。 - 前記操作部の操作によって指定された前記混合率で、前記対象スタイル特徴量と、前記目的スタイル特徴量とを混合して、前記混合スタイル特徴量を生成するスタイル混合部を備え、
前記変換画像生成部は、前記対象コンテンツ特徴量と、前記スタイル混合部が生成した混合スタイル特徴量とから、前記学習結果に基づいて前記スタイル変換画像を生成する
ことを特徴とする請求項1に記載の画像スタイル変換装置。 - 類似の特徴を有する画像の集合を示すドメインである複数のドメインのそれぞれに属する画像群に基づいて学習された学習結果に基づいて、前記複数のドメインに共通する画像内の要素を示すコンテンツの特徴量を、対象コンテンツ特徴量として、指定された加工対象の画像である対象画像から抽出する対象コンテンツ抽出部と、
前記学習結果に基づいて、前記対象画像から前記複数のドメインに共通しない画像内の要素を示すスタイルの特徴量を、対象スタイル特徴量として抽出する対象スタイル抽出部と、
前記学習結果に基づいて、指定された目的スタイルの画像を示す目的スタイル画像から前記スタイルの特徴量を、目的スタイル特徴量として抽出する目的スタイル抽出部と、
前記学習結果に基づいて、前記対象コンテンツ抽出部が抽出した前記対象コンテンツ特徴量と、前記対象スタイル抽出部が抽出した前記対象スタイル特徴量、及び前記目的スタイル抽出部が抽出した前記目的スタイル特徴量を混合した混合スタイル特徴量とから、前記コンテンツの特徴と前記目的スタイルの特徴とを併せ持つスタイル変換画像を生成する変換画像生成部と、
前記対象スタイル特徴量と、前記目的スタイル特徴量との混合率を示すスライダを表示部に表示させ、ユーザによる操作部の操作に応じて、前記スライダの前記混合率を示す位置を変更して表示させる表示制御部と、
前記操作部の操作によって指定された前記混合率で、前記対象スタイル特徴量と、前記目的スタイル特徴量とを混合して、前記混合スタイル特徴量を生成するスタイル混合部と、
指定された前記目的スタイルを表す目的スタイルキーワードに対応付けられた複数の画像のそれぞれから、前記学習結果に基づいて、個別コンテンツの特徴量を抽出する個別目的コンテンツ抽出部と、
前記個別目的コンテンツ抽出部が抽出した、前記複数の画像の個別コンテンツの特徴量のうちから、前記対象コンテンツ特徴量に最も近い前記個別コンテンツの特徴量に対応する画像を、前記目的スタイル画像として選択する目的スタイル画像選択部と
を備え、
前記変換画像生成部は、前記対象コンテンツ特徴量と、前記スタイル混合部が生成した混合スタイル特徴量とから、前記学習結果に基づいて前記スタイル変換画像を生成し、
前記目的スタイル抽出部は、
指定された前記目的スタイルキーワードに対応付けられた複数の画像のそれぞれから、前記学習結果に基づいて、個別スタイルの特徴量を抽出し、前記複数の画像のそれぞれから抽出した前記スタイルの特徴量の平均値を、前記目的スタイル特徴量として抽出し、
前記表示制御部は、前記スライダの一端に隣接する位置に、前記目的スタイル画像選択部が選択した前記目的スタイル画像を順方向プレビュー画像として表示させる
ことを特徴とする画像スタイル変換装置。 - 前記目的スタイル抽出部は、複数の前記目的スタイル特徴量を抽出し、
前記表示制御部は、複数の前記目的スタイル特徴量に対応する複数の前記スライダを前記表示部に表示させ、
前記変換画像生成部は、
前記学習結果に基づいて、前記対象コンテンツ特徴量と、前記対象スタイル特徴量と複数の前記目的スタイル特徴量とを前記スライダによって指定されたそれぞれの混合率で混合した混合スタイル特徴量とから、前記スタイル変換画像を生成する
ことを特徴とする請求項1から請求項3のいずれか一項に記載の画像スタイル変換装置。 - 前記学習結果に基づいて、前記スライダに対応した前記混合スタイル特徴量と、前記スライダに対応した前記目的スタイル画像から抽出された前記コンテンツの特徴量とから、動的プレビュー画像を生成する動的プレビュー画像生成部を備え、
前記表示制御部は、前記スライダに対応した前記動的プレビュー画像を、前記スライダに対応付けて表示させるとともに、前記スライダの前記混合率を示す位置に応じて、前記動的プレビュー画像を変更して表示させる
ことを特徴とする請求項4に記載の画像スタイル変換装置。 - 前記学習結果には、画像から前記スタイルの特徴量を抽出するスタイルエンコーダと、画像から前記コンテンツの特徴量を抽出するコンテンツエンコーダと、前記スタイルの特徴量及び前記コンテンツの特徴量から画像を生成するデコーダとが含まれ、
前記対象コンテンツ抽出部は、前記コンテンツエンコーダに基づいて、前記対象画像から前記対象コンテンツ特徴量を抽出し、
前記対象スタイル抽出部は、前記スタイルエンコーダに基づいて、前記対象画像から前記対象スタイル特徴量を抽出し、
前記目的スタイル抽出部は、前記スタイルエンコーダに基づいて、前記目的スタイル画像から前記目的スタイル特徴量を抽出し、
前記変換画像生成部は、前記デコーダに基づいて、前記対象コンテンツ特徴量及び前記混合スタイル特徴量から、前記スタイル変換画像を生成する
ことを特徴とする請求項1から請求項5のいずれか一項に記載の画像スタイル変換装置。 - 前記複数のドメインのそれぞれに属する画像群に基づいて、機械学習を実行し、前記学習結果を生成する学習処理部を備える
ことを特徴とする請求項1から請求項6のいずれか一項に記載の画像スタイル変換装置。 - 対象コンテンツ抽出部が、類似の特徴を有する画像の集合を示すドメインである複数のドメインのそれぞれに属する画像群に基づいて学習された学習結果に基づいて、前記複数のドメインに共通する画像内の要素を示すコンテンツの特徴量を、対象コンテンツ特徴量として、指定された加工対象の画像である対象画像から抽出する対象コンテンツ抽出ステップと、
対象スタイル抽出部が、前記学習結果に基づいて、前記対象画像から前記複数のドメインに共通しない画像内の要素を示すスタイルの特徴量を、対象スタイル特徴量として抽出する対象スタイル抽出ステップと、
目的スタイル抽出部が、前記学習結果に基づいて、指定された目的スタイルの画像を示す目的スタイル画像から前記スタイルの特徴量を、目的スタイル特徴量として抽出する目的スタイル抽出ステップと、
変換画像生成部が、前記学習結果に基づいて、前記対象コンテンツ抽出ステップによって抽出された前記対象コンテンツ特徴量と、前記対象スタイル抽出ステップによって抽出された前記対象スタイル特徴量、及び前記目的スタイル抽出ステップによって抽出された前記目的スタイル特徴量を混合した混合スタイル特徴量とから、前記コンテンツの特徴と前記目的スタイルの特徴を併せ持つスタイル変換画像を生成する変換画像生成ステップと、
表示制御部が、前記対象スタイル特徴量と、前記目的スタイル特徴量との混合率を示すスライダを表示部に表示させ、ユーザによる操作部の操作に応じて、前記スライダの前記混合率を示す位置を変更して表示させる表示制御ステップと、
目的コンテンツ抽出部が、前記学習結果に基づいて、前記目的スタイル画像から前記コンテンツの特徴量を、目的コンテンツ特徴量として抽出する目的コンテンツ抽出ステップと、
逆方向プレビュー画像生成部が、前記学習結果に基づいて、前記目的コンテンツ抽出ステップによって抽出された前記目的コンテンツ特徴量と、前記対象スタイル抽出ステップによって抽出された前記対象スタイル特徴量とから、前記目的スタイル画像の前記コンテンツの特徴と前記対象画像の前記スタイルの特徴とを併せ持つ逆方向プレビュー画像を生成する逆方向プレビュー画像生成ステップと
を含み、
前記表示制御ステップにおいて、前記表示制御部が、前記スライダの一端に隣接する位置に、前記目的スタイル画像を順方向プレビュー画像として表示させるとともに、前記順方向プレビュー画像とは反対の前記スライダの一端に隣接する位置に、前記逆方向プレビュー画像生成ステップによって生成された前記逆方向プレビュー画像を表示させる
ことを特徴とする画像スタイル変換方法。 - 対象コンテンツ抽出部が、類似の特徴を有する画像の集合を示すドメインである複数のドメインのそれぞれに属する画像群に基づいて学習された学習結果に基づいて、前記複数のドメインに共通する画像内の要素を示すコンテンツの特徴量を、対象コンテンツ特徴量として、指定された加工対象の画像である対象画像から抽出する対象コンテンツ抽出ステップと、
対象スタイル抽出部が、前記学習結果に基づいて、前記対象画像から前記複数のドメインに共通しない画像内の要素を示すスタイルの特徴量を、対象スタイル特徴量として抽出する対象スタイル抽出ステップと、
目的スタイル抽出部が、前記学習結果に基づいて、指定された目的スタイルの画像を示す目的スタイル画像から前記スタイルの特徴量を、目的スタイル特徴量として抽出する目的スタイル抽出ステップと、
変換画像生成部が、前記学習結果に基づいて、前記対象コンテンツ抽出ステップによって抽出された前記対象コンテンツ特徴量と、前記対象スタイル抽出ステップによって抽出された前記対象スタイル特徴量、及び前記目的スタイル抽出ステップによって抽出された前記目的スタイル特徴量を混合した混合スタイル特徴量とから、前記コンテンツの特徴と前記目的スタイルの特徴を併せ持つスタイル変換画像を生成する変換画像生成ステップと、
表示制御部が、前記対象スタイル特徴量と、前記目的スタイル特徴量との混合率を示すスライダを表示部に表示させ、ユーザによる操作部の操作に応じて、前記スライダの前記混合率を示す位置を変更して表示させる表示制御ステップと、
スタイル混合部が、前記操作部の操作によって指定された前記混合率で、前記対象スタイル特徴量と、前記目的スタイル特徴量とを混合して、前記混合スタイル特徴量を生成するスタイル混合ステップと、
個別目的コンテンツ抽出部が、指定された前記目的スタイルを表す目的スタイルキーワードに対応付けられた複数の画像のそれぞれから、前記学習結果に基づいて、個別コンテンツの特徴量を抽出する個別目的コンテンツ抽出ステップと、
目的スタイル画像選択部が、前記個別目的コンテンツ抽出ステップによって抽出された、前記複数の画像の個別コンテンツの特徴量のうちから、前記対象コンテンツ特徴量に最も近い前記個別コンテンツの特徴量に対応する画像を、前記目的スタイル画像として選択する目的スタイル画像選択ステップと
を含み、
前記変換画像生成ステップにおいて、前記変換画像生成部が、前記対象コンテンツ特徴量と、前記スタイル混合ステップによって生成された混合スタイル特徴量とから、前記学習結果に基づいて前記スタイル変換画像を生成し、
前記目的スタイル抽出ステップにおいて、前記目的スタイル抽出部が、指定された前記目的スタイルキーワードに対応付けられた複数の画像のそれぞれから、前記学習結果に基づいて、個別スタイルの特徴量を抽出し、前記複数の画像のそれぞれから抽出した前記スタイルの特徴量の平均値を、前記目的スタイル特徴量として抽出し、
前記表示制御ステップにおいて、前記表示制御部が、前記スライダの一端に隣接する位置に、前記目的スタイル画像選択ステップによって選択された前記目的スタイル画像を順方向プレビュー画像として表示させる
ことを特徴とする画像スタイル変換方法。 - コンピュータに、
類似の特徴を有する画像の集合を示すドメインである複数のドメインのそれぞれに属する画像群に基づいて学習された学習結果に基づいて、前記複数のドメインに共通する画像内の要素を示すコンテンツの特徴量を、対象コンテンツ特徴量として、指定された加工対象の画像である対象画像から抽出する対象コンテンツ抽出ステップと、
前記学習結果に基づいて、前記対象画像から前記複数のドメインに共通しない画像内の要素を示すスタイルの特徴量を、対象スタイル特徴量として抽出する対象スタイル抽出ステップと、
前記学習結果に基づいて、指定された目的スタイルの画像を示す目的スタイル画像から前記スタイルの特徴量を、目的スタイル特徴量として抽出する目的スタイル抽出ステップと、
前記学習結果に基づいて、前記対象コンテンツ抽出ステップによって抽出された前記対象コンテンツ特徴量と、前記対象スタイル抽出ステップによって抽出された前記対象スタイル特徴量、及び前記目的スタイル抽出ステップによって抽出された前記目的スタイル特徴量を混合した混合スタイル特徴量とから、前記コンテンツの特徴と前記目的スタイルの特徴を併せ持つスタイル変換画像を生成する変換画像生成ステップと、
前記対象スタイル特徴量と、前記目的スタイル特徴量との混合率を示すスライダを表示部に表示させ、ユーザによる操作部の操作に応じて、前記スライダの前記混合率を示す位置を変更して表示させる表示制御ステップと、
前記学習結果に基づいて、前記目的スタイル画像から前記コンテンツの特徴量を、目的コンテンツ特徴量として抽出する目的コンテンツ抽出ステップと、
前記学習結果に基づいて、前記目的コンテンツ抽出ステップによって抽出された前記目的コンテンツ特徴量と、前記対象スタイル抽出ステップによって抽出された前記対象スタイル特徴量とから、前記目的スタイル画像の前記コンテンツの特徴と前記対象画像の前記スタイルの特徴とを併せ持つ逆方向プレビュー画像を生成する逆方向プレビュー画像生成ステップと
を実行させるためのプログラムであり、
前記表示制御ステップにおいて、前記スライダの一端に隣接する位置に、前記目的スタイル画像を順方向プレビュー画像として表示させるとともに、前記順方向プレビュー画像とは反対の前記スライダの一端に隣接する位置に、前記逆方向プレビュー画像生成ステップによって生成された前記逆方向プレビュー画像を表示させる
プログラム。 - コンピュータに、
類似の特徴を有する画像の集合を示すドメインである複数のドメインのそれぞれに属する画像群に基づいて学習された学習結果に基づいて、前記複数のドメインに共通する画像内の要素を示すコンテンツの特徴量を、対象コンテンツ特徴量として、指定された加工対象の画像である対象画像から抽出する対象コンテンツ抽出ステップと、
前記学習結果に基づいて、前記対象画像から前記複数のドメインに共通しない画像内の要素を示すスタイルの特徴量を、対象スタイル特徴量として抽出する対象スタイル抽出ステップと、
前記学習結果に基づいて、指定された目的スタイルの画像を示す目的スタイル画像から前記スタイルの特徴量を、目的スタイル特徴量として抽出する目的スタイル抽出ステップと、
前記学習結果に基づいて、前記対象コンテンツ抽出ステップによって抽出された前記対象コンテンツ特徴量と、前記対象スタイル抽出ステップによって抽出された前記対象スタイル特徴量、及び前記目的スタイル抽出ステップによって抽出された前記目的スタイル特徴量を混合した混合スタイル特徴量とから、前記コンテンツの特徴と前記目的スタイルの特徴を併せ持つスタイル変換画像を生成する変換画像生成ステップと、
前記対象スタイル特徴量と、前記目的スタイル特徴量との混合率を示すスライダを表示部に表示させ、ユーザによる操作部の操作に応じて、前記スライダの前記混合率を示す位置を変更して表示させる表示制御ステップと、
前記操作部の操作によって指定された前記混合率で、前記対象スタイル特徴量と、前記目的スタイル特徴量とを混合して、前記混合スタイル特徴量を生成するスタイル混合ステップと、
指定された前記目的スタイルを表す目的スタイルキーワードに対応付けられた複数の画像のそれぞれから、前記学習結果に基づいて、個別コンテンツの特徴量を抽出する個別目的コンテンツ抽出ステップと、
前記個別目的コンテンツ抽出ステップによって抽出された、前記複数の画像の個別コンテンツの特徴量のうちから、前記対象コンテンツ特徴量に最も近い前記個別コンテンツの特徴量に対応する画像を、前記目的スタイル画像として選択する目的スタイル画像選択ステップと
を実行させるためのプログラムであり、
前記変換画像生成ステップにおいて、前記対象コンテンツ特徴量と、前記スタイル混合ステップによって生成された混合スタイル特徴量とから、前記学習結果に基づいて前記スタイル変換画像を生成し、
前記目的スタイル抽出ステップにおいて、指定された前記目的スタイルキーワードに対応付けられた複数の画像のそれぞれから、前記学習結果に基づいて、個別スタイルの特徴量を抽出し、前記複数の画像のそれぞれから抽出した前記スタイルの特徴量の平均値を、前記目的スタイル特徴量として抽出し、
前記表示制御ステップにおいて、前記スライダの一端に隣接する位置に、前記目的スタイル画像選択ステップによって選択された前記目的スタイル画像を順方向プレビュー画像として表示させる
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019001666A JP7247587B2 (ja) | 2019-01-09 | 2019-01-09 | 画像スタイル変換装置、画像スタイル変換方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019001666A JP7247587B2 (ja) | 2019-01-09 | 2019-01-09 | 画像スタイル変換装置、画像スタイル変換方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020112907A JP2020112907A (ja) | 2020-07-27 |
JP7247587B2 true JP7247587B2 (ja) | 2023-03-29 |
Family
ID=71668014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019001666A Active JP7247587B2 (ja) | 2019-01-09 | 2019-01-09 | 画像スタイル変換装置、画像スタイル変換方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7247587B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102401985B1 (ko) * | 2020-08-27 | 2022-05-24 | 연세대학교 산학협력단 | 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법 |
CN112216257B (zh) * | 2020-09-29 | 2023-08-15 | 南方科技大学 | 音乐风格迁移方法、模型训练方法、装置和存储介质 |
CN114429420B (zh) * | 2022-01-29 | 2023-11-28 | 抖音视界有限公司 | 图像的生成方法、装置、可读介质和电子设备 |
CN115239549B (zh) * | 2022-07-12 | 2023-05-16 | 同济大学 | 一种表情可编辑的人脸照片夸张化漫画的智能生成方法 |
WO2024024727A1 (ja) * | 2022-07-26 | 2024-02-01 | 株式会社Preferred Networks | 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム |
-
2019
- 2019-01-09 JP JP2019001666A patent/JP7247587B2/ja active Active
Non-Patent Citations (2)
Title |
---|
丹野 良介,Multi Style Transfer:複数のスタイルの任意重み合成によるモバイル上でのリアルタイム画風変換,第9回データ工学と情報マネジメントに関するフォーラム (第15回日本データベース学会年次大会) [online] ,日本,電子情報通信学会データ工学研究専門委員会 日本データベース学会 情報処理学会データベースシステム研究会,2017年02月27日 |
成冨 志優,Conditional GANによる食事写真の属性操作,第10回データ工学と情報マネジメントに関するフォーラム (第16回日本データベース学会年次大会) [Online] ,日本,電子情報通信学会データ工学研究専門委員会 日本データベース学会 情報処理学会データベースシステム研究会,2018年03月06日 |
Also Published As
Publication number | Publication date |
---|---|
JP2020112907A (ja) | 2020-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7247587B2 (ja) | 画像スタイル変換装置、画像スタイル変換方法、及びプログラム | |
CN113569789B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
US10607372B2 (en) | Cosmetic information providing system, cosmetic information providing apparatus, cosmetic information providing method, and program | |
KR20210119438A (ko) | 얼굴 재연을 위한 시스템 및 방법 | |
US11727717B2 (en) | Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks | |
US9478054B1 (en) | Image overlay compositing | |
KR20230124091A (ko) | 템플릿 이미지들을 사용한 증강 현실 프리렌더링 생성 | |
CN113870133B (zh) | 多媒体显示及匹配方法、装置、设备及介质 | |
US20180206618A1 (en) | Makeup part generating apparatus and makeup part generating method | |
US9230328B1 (en) | Providing image parameters | |
WO2024131565A1 (zh) | 服装图像提取方法及其装置、设备、介质、产品 | |
CN107948743A (zh) | 视频推送方法及其装置、存储介质 | |
CN116457821A (zh) | 使用神经网络的对象重新照明 | |
WO2022149148A1 (en) | Volumetric video from an image source | |
CN113408452A (zh) | 表情重定向训练方法、装置、电子设备和可读存储介质 | |
CN110381374B (zh) | 图像处理方法和装置 | |
CN115619902A (zh) | 一种图像处理方法、装置、设备及介质 | |
Tian et al. | Dual feature extractor generative adversarial network for colorization | |
Kim et al. | Diverse and adjustable versatile image enhancer | |
CN117078974B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
US20220237857A1 (en) | Producing a digital image representation of a body | |
KR20230106809A (ko) | 얼굴 이미지를 합성하여 가상 인물의 얼굴 이미지를 생성하는 서비스 제공 방법 | |
KR20230086989A (ko) | 얼굴 이미지 데이터의 구성을 선택적으로 조절하는 프로그램 | |
KR20230086990A (ko) | 얼굴 이미지 데이터 구성 조절 프로그램을 기록한 기록매체 | |
KR20230106807A (ko) | 인공지능 학습 기반의 타깃 콘텐츠 변환을 이용한 가상 인물의 얼굴 이미지 생성 서비스 제공 장치 및 그 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7247587 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |