JP7477864B2 - 画像生成方法、プログラム及び画像生成装置 - Google Patents
画像生成方法、プログラム及び画像生成装置 Download PDFInfo
- Publication number
- JP7477864B2 JP7477864B2 JP2020086919A JP2020086919A JP7477864B2 JP 7477864 B2 JP7477864 B2 JP 7477864B2 JP 2020086919 A JP2020086919 A JP 2020086919A JP 2020086919 A JP2020086919 A JP 2020086919A JP 7477864 B2 JP7477864 B2 JP 7477864B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- transfer
- region
- images
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 45
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012546 transfer Methods 0.000 claims description 184
- 238000004519 manufacturing process Methods 0.000 claims description 25
- 239000004744 fabric Substances 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 19
- 239000004753 textile Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 29
- 239000002759 woven fabric Substances 0.000 description 22
- 230000006870 function Effects 0.000 description 21
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
本発明は、画像生成方法、プログラム及び画像生成装置に関する。
従来、コンテンツ画像（入力画像）をスタイル画像（任意の模様や風合いを持つ画像）に基づいてスタイル転写し、転写画像を生成する技術が提案されている（例えば、非特許文献１参照）。非特許文献１に記載のような技術では、コンテンツ画像とスタイル画像とを合成することで新たな画像（転写画像）を自動的に生成することが可能である。また、非特許文献１は、スタイル画像の特徴をどの程度、コンテンツ画像に反映するかの度合い（スタイル転写の度合い）を調整することが開示されている。
N.Kolkin, J.Salavon and G.Shakhnarovich, "Style transfer by relaxed optimal transport and self-similarity" in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,pp.10051-10060,2019.
転写画像を利用するデザイナーの好みは一般的に多岐にわたり、また、転写画像の用途についても、様々である。このような事情を踏まえると、コンテンツ画像及びスタイル画像に基づいて生成される画像は、バリエーションが多いことが好ましい。
その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
本発明はこのような事情に鑑みてなされたものであり、コンテンツ画像及びスタイル画像を用いて出力画像を生成する場合において、生成可能な出力画像のバリエーションを増やすことができる画像生成方法、プログラム及び画像生成装置を提供することを目的としている。
本発明によれば、領域規定ステップと、転写画像生成ステップと、出力画像生成ステップとを備え、前記領域規定ステップは、第１画像に基づいて領域規定データを生成し、前記領域規定データは、第１画像中の各画素が第１画像中のいずれの領域に属するかを規定するデータであり、前記領域は、少なくとも、第１領域と、第１領域とは独立した第２領域とを有し、前記転写画像生成ステップは、第１画像を、スタイル画像として指定された第２画像に基づいてスタイル転写処理することで、転写画像を生成し、前記スタイル転写処理では、スタイル転写の度合いを変更可能であり、前記転写画像は、前記度合いが互いに異なる複数の要素転写画像を有し、各前記要素転写画像は、第１及び第２領域に対応する部分の要素画像をそれぞれ有し、前記出力画像生成ステップは、前記領域規定データ及び前記転写画像に基づいて出力画像を生成し、前記出力画像の第１領域には、前記複数の要素転写画像のうちの１つの前記要素転写画像中の第１領域の前記要素画像が配置され、前記出力画像の第２領域には、前記複数の要素転写画像のうちの１つの前記要素転写画像中の第２領域の前記要素画像が配置される、画像生成方法が提供される。
本発明によれば、転写画像は、スタイル転写の度合いが互いに異なる複数の要素転写画像を有する。そして、出力画像生成ステップにおいて、出力画像における第１領域には、複数の要素転写画像のうちの１つの要素転写画像の第１領域の画像（要素画像）が配置される。同様に、出力画像における第２領域には、複数の要素転写画像のうちの１つの要素転写画像の第２領域の画像が配置される。生成可能となる出力画像の組み合わせは、第１領域に配置可能な要素画像の数と、第２領域に配置可能な要素画像の数との組み合わせで表される。このように、本発明によれば、生成可能な出力画像のバリエーションを増やすことができる。
以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。
１ 第１実施形態
１―１ 全体構成説明
図１に示すように、画像生成装置１は、取得部２と、処理部３と、出力部４と、記憶部５とを備えている。処理部３は、画像生成部３Ａを備えている。画像生成部３Ａは、領域規定部３Ａ１と、転写画像生成部３Ａ２と、出力画像生成部３Ａ３とを備えている。
１―１ 全体構成説明
図１に示すように、画像生成装置１は、取得部２と、処理部３と、出力部４と、記憶部５とを備えている。処理部３は、画像生成部３Ａを備えている。画像生成部３Ａは、領域規定部３Ａ１と、転写画像生成部３Ａ２と、出力画像生成部３Ａ３とを備えている。
上記の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、ＣＰＵがコンピュータプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ＡＳＩＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。第１実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。
出力装置２０は、例えば、モニターやプリンター等の画像を出力可能な装置から構成される。ユーザーは、出力装置２０から出力される出力画像ｄ６等の各種画像を目視で確認しながら、画像生成作業を進めることができる。
１－２ 画像生成装置１の構成説明
第１実施形態に係る画像生成装置１は、コンテンツ画像ｄ１及びスタイル画像ｄ２（図２Ａ及び図２Ｂ参照）に基づいて出力画像ｄ６（図５参照）を生成する機能を有する。換言すると、画像生成装置１は、コンテンツ画像ｄ１に、スタイル画像ｄ２の画風を取り入れて、コンテンツ画像ｄ１及びスタイル画像ｄ２とは異なる新たな画像を生成する機能を有する。コンテンツ画像ｄ１が第１画像に対応し、スタイル画像ｄ２が第２画像に対応する。
第１実施形態において、コンテンツ画像ｄ１は、図２Ａに示すように、画像体ｄ１１（フクロウ）、画像体ｄ１２（木の枝）及び画像体ｄ１３（風景）が示された画像（画像データ）である。また、第１実施形態において、スタイル画像ｄ２は、図２Ｂに示すように、和柄の一つである市松模様である。なお、コンテンツ画像ｄ１及びスタイル画像ｄ２は、図２Ａ及び図２Ｂに示す画像に限定されるものではない。出力画像ｄ６については、出力画像生成部３Ａ３とともに後段で説明する。
以下、画像生成装置１の各種の機能ブロックを説明する。
第１実施形態に係る画像生成装置１は、コンテンツ画像ｄ１及びスタイル画像ｄ２（図２Ａ及び図２Ｂ参照）に基づいて出力画像ｄ６（図５参照）を生成する機能を有する。換言すると、画像生成装置１は、コンテンツ画像ｄ１に、スタイル画像ｄ２の画風を取り入れて、コンテンツ画像ｄ１及びスタイル画像ｄ２とは異なる新たな画像を生成する機能を有する。コンテンツ画像ｄ１が第１画像に対応し、スタイル画像ｄ２が第２画像に対応する。
第１実施形態において、コンテンツ画像ｄ１は、図２Ａに示すように、画像体ｄ１１（フクロウ）、画像体ｄ１２（木の枝）及び画像体ｄ１３（風景）が示された画像（画像データ）である。また、第１実施形態において、スタイル画像ｄ２は、図２Ｂに示すように、和柄の一つである市松模様である。なお、コンテンツ画像ｄ１及びスタイル画像ｄ２は、図２Ａ及び図２Ｂに示す画像に限定されるものではない。出力画像ｄ６については、出力画像生成部３Ａ３とともに後段で説明する。
以下、画像生成装置１の各種の機能ブロックを説明する。
画像生成装置１は、取得部２と、処理部３と、出力部４と、記憶部５とを備えている。
１－２－１ 取得部２
図１に示すように、取得部２は、記憶部５から、コンテンツ画像ｄ１及びスタイル画像ｄ２を取得可能に構成されている。つまり、第１実施形態において、記憶部５には、出力画像ｄ６を生成するための画像が予め格納されている。なお、この形態に限定されるものではなく、取得部２は、コンテンツ画像ｄ１及びスタイル画像ｄ２を画像生成装置１外から、逐次取得するものであってもよい。また、取得部２は、入力装置（不図示）から各種の入力データｄ３を取得可能に構成されている。入力装置は、例えばマウスやキーボード等の操作部に対応する。
図１に示すように、取得部２は、記憶部５から、コンテンツ画像ｄ１及びスタイル画像ｄ２を取得可能に構成されている。つまり、第１実施形態において、記憶部５には、出力画像ｄ６を生成するための画像が予め格納されている。なお、この形態に限定されるものではなく、取得部２は、コンテンツ画像ｄ１及びスタイル画像ｄ２を画像生成装置１外から、逐次取得するものであってもよい。また、取得部２は、入力装置（不図示）から各種の入力データｄ３を取得可能に構成されている。入力装置は、例えばマウスやキーボード等の操作部に対応する。
１－２－２ 処理部３（画像生成部３Ａ）
処理部３は、画像生成部３Ａを備えている。画像生成部３Ａは、コンテンツ画像ｄ１とスタイル画像ｄ２（図２Ａ及び図２Ｂ参照）とに基づいて出力画像ｄ６を生成する。
処理部３は、画像生成部３Ａを備えている。画像生成部３Ａは、コンテンツ画像ｄ１とスタイル画像ｄ２（図２Ａ及び図２Ｂ参照）とに基づいて出力画像ｄ６を生成する。
画像生成部３Ａは、領域規定処理、スタイル転写処理及び合成処理を実施可能に構成されている。そして、画像生成部３Ａは、これらの処理を実現するため、領域規定部３Ａ１と、転写画像生成部３Ａ２と、出力画像生成部３Ａ３とを備えている。
＜領域規定部３Ａ１＞
領域規定部３Ａ１は、コンテンツ画像ｄ１に対して領域規定処理を実施することで、コンテンツ画像ｄ１の各画素をラベリングする機能を有する。コンテンツ画像ｄ１の各画素がラベリングされることで、コンテンツ画像ｄ１の各画素は、独立した複数の領域のいずれに属するかが規定されている。換言すると、領域規定部３Ａ１は、領域規定データｄ４を生成するように構成されており、この領域規定データｄ４は、コンテンツ画像ｄ１の各画素をラベリングし、コンテンツ画像ｄ１の各画素を独立した複数の領域のいずれかに属するかを規定したデータである。図２Ａに示すように、第１実施形態において、独立した領域は、画像体ｄ１１（フクロウ）に対応する画素の領域、画像体ｄ１２（木の枝）に対応する画素の領域、及び、画像体ｄ１３（風景）に対応する画素の領域から構成されている。すなわち、第１実施形態において、コンテンツ画像ｄ１の各画素は、画像体ｄ１１（フクロウ）に対応する画素の領域、画像体ｄ１２（木の枝）に対応する画素の領域、及び、画像体ｄ１３（風景）に対応する画素の領域のうちのいずれかの領域にラベリングされる。
領域規定部３Ａ１は、コンテンツ画像ｄ１に対して領域規定処理を実施することで、コンテンツ画像ｄ１の各画素をラベリングする機能を有する。コンテンツ画像ｄ１の各画素がラベリングされることで、コンテンツ画像ｄ１の各画素は、独立した複数の領域のいずれに属するかが規定されている。換言すると、領域規定部３Ａ１は、領域規定データｄ４を生成するように構成されており、この領域規定データｄ４は、コンテンツ画像ｄ１の各画素をラベリングし、コンテンツ画像ｄ１の各画素を独立した複数の領域のいずれかに属するかを規定したデータである。図２Ａに示すように、第１実施形態において、独立した領域は、画像体ｄ１１（フクロウ）に対応する画素の領域、画像体ｄ１２（木の枝）に対応する画素の領域、及び、画像体ｄ１３（風景）に対応する画素の領域から構成されている。すなわち、第１実施形態において、コンテンツ画像ｄ１の各画素は、画像体ｄ１１（フクロウ）に対応する画素の領域、画像体ｄ１２（木の枝）に対応する画素の領域、及び、画像体ｄ１３（風景）に対応する画素の領域のうちのいずれかの領域にラベリングされる。
図２Ａ及び図３に示すように、画像体ｄ１１（フクロウ）に対応する画素の集合は、領域Ｒ１に対応し、画像体ｄ１２（木の枝）に対応する画素の集合は、領域Ｒ２に対応し、画像体ｄ１３（風景）に対応する画素の集合は、領域Ｒ３に対応している。領域Ｒ１～領域Ｒ３のいずれか１つは、第１領域に対応する。領域Ｒ１～領域Ｒ３のいずれか１つであって第１領域とは異なる領域は、第２領域に対応する。
領域規定処理のアルゴリズムは、特に限定されるものではないが、例えば、セマンティックセグメンテーションを用いることができる。セマンティックセグメンテーションは、畳み込みニューラルネットワークを用いて、特徴的な画素を認識するアルゴリズムである。なお、領域規定部３Ａ１が畳み込みニューラルネットワークを採用している場合、第１実施形態では、領域規定部３Ａ１のニューラルネットワークのフィルタの重み係数は既に確定している。
＜転写画像生成部３Ａ２＞
図１に示すように、転写画像生成部３Ａ２は、コンテンツ画像ｄ１と、スタイル画像ｄ２と、入力データｄ３に含まれるスタイル転写の度合い（パラメータ）とに基づいて、転写画像ｄ５を生成する機能を有する。換言すると、転写画像生成部３Ａ２は、コンテンツ画像ｄ１に対し、スタイル画像ｄ２及びスタイル転写の度合いを用いたスタイル転写処理を実施し、転写画像ｄ５を生成する。
図１に示すように、転写画像生成部３Ａ２は、コンテンツ画像ｄ１と、スタイル画像ｄ２と、入力データｄ３に含まれるスタイル転写の度合い（パラメータ）とに基づいて、転写画像ｄ５を生成する機能を有する。換言すると、転写画像生成部３Ａ２は、コンテンツ画像ｄ１に対し、スタイル画像ｄ２及びスタイル転写の度合いを用いたスタイル転写処理を実施し、転写画像ｄ５を生成する。
転写画像ｄ５は、図４Ａ～図４Ｃに示すように、複数の要素転写画像ｄ５１～要素転写画像ｄ５３を有する。各要素転写画像は、コンテンツ画像ｄ１にスタイル画像ｄ２をスタイル転写した画像であり、換言すると、コンテンツ画像ｄ１にスタイル画像ｄ２の画風を反映させた画像である。各要素転写画像は、スタイル転写の度合いが互いに異なる転写画像である。
また、入力データｄ３は、上述のようにスタイル転写の度合いに関するデータを含んでいるため、第１実施形態は、スタイル転写の度合いを、ユーザーが適宜選択可能である。つまり、第１実施形態におけるスタイル転写処理では、スタイル転写の度合いを変化させることが可能である。そして、転写画像生成部３Ａ２は、図４Ａ～図４Ｃに示すように、スタイル転写の度合いがそれぞれ異なる要素転写画像ｄ５１～要素転写画像ｄ５３を生成可能に構成されている。第１実施形態では、転写画像生成部３Ａ２は、要素転写画像を３つ生成するものとして説明しているが、その数は２つ以上であれば、特に、限定されるものではない。
また、入力データｄ３は、上述のようにスタイル転写の度合いに関するデータを含んでいるため、第１実施形態は、スタイル転写の度合いを、ユーザーが適宜選択可能である。つまり、第１実施形態におけるスタイル転写処理では、スタイル転写の度合いを変化させることが可能である。そして、転写画像生成部３Ａ２は、図４Ａ～図４Ｃに示すように、スタイル転写の度合いがそれぞれ異なる要素転写画像ｄ５１～要素転写画像ｄ５３を生成可能に構成されている。第１実施形態では、転写画像生成部３Ａ２は、要素転写画像を３つ生成するものとして説明しているが、その数は２つ以上であれば、特に、限定されるものではない。
スタイル転写処理は、コンテンツ画像にスタイル画像を合成する画像処理である。スタイル転写処理のアルゴリズムは、特に限定されるものではないが、例えば、非特許文献１等に示される公知のアルゴリズムを採用することができる。すなわち、スタイル転写処理のアルゴリズムには、畳み込みニューラルネットワークを用い、コンテンツの損失とスタイルの損失とを最小化するような画像を出力画像とするアルゴリズムを採用することができる。なお、コンテンツの損失は、コンテンツ画像と出力画像との類似度（例えば、両画像の各画素の画素値の内積）に対応し、同様に、スタイルの損失は、スタイル画像と出力画像との類似度に対応する。なお、転写画像生成部３Ａ２が畳み込みニューラルネットワークを採用している場合、第１実施形態では、転写画像生成部３Ａ２のニューラルネットワークのフィルタの重み係数は既に確定している。
＜出力画像生成部３Ａ３＞
出力画像生成部３Ａ３は、領域規定データｄ４と、転写画像ｄ５と、入力データｄ３に含まれる選択データとに基づいて出力画像ｄ６を生成する機能を有する。第１実施形態において、出力画像生成部３Ａ３は、転写画像生成部３Ａ２から複数（第１実施形態では３つ）の転写画像ｄ５（図４Ａ～図４Ｃ参照）を取得している。ここで、出力画像生成部３Ａ３は、領域規定データｄ４（コンテンツ画像ｄ１の各画素に対し、ラベリングをしたデータ）も取得しているので、出力画像生成部３Ａ３は、転写画像ｄ５の各画素が、いずれの領域（いずれの画像体）にラベリングされるかを特定することができる。つまり、出力画像生成部３Ａ３は、図５に示すように、要素転写画像ｄ５１～要素転写画像ｄ５３の各画素が、領域Ｒ１に対応する領域、領域Ｒ２に対応する領域及び領域Ｒ３に対応する領域のいずれにラベリングされるかを特定することができる。
出力画像生成部３Ａ３は、領域規定データｄ４と、転写画像ｄ５と、入力データｄ３に含まれる選択データとに基づいて出力画像ｄ６を生成する機能を有する。第１実施形態において、出力画像生成部３Ａ３は、転写画像生成部３Ａ２から複数（第１実施形態では３つ）の転写画像ｄ５（図４Ａ～図４Ｃ参照）を取得している。ここで、出力画像生成部３Ａ３は、領域規定データｄ４（コンテンツ画像ｄ１の各画素に対し、ラベリングをしたデータ）も取得しているので、出力画像生成部３Ａ３は、転写画像ｄ５の各画素が、いずれの領域（いずれの画像体）にラベリングされるかを特定することができる。つまり、出力画像生成部３Ａ３は、図５に示すように、要素転写画像ｄ５１～要素転写画像ｄ５３の各画素が、領域Ｒ１に対応する領域、領域Ｒ２に対応する領域及び領域Ｒ３に対応する領域のいずれにラベリングされるかを特定することができる。
また、出力画像生成部３Ａ３は、選択データ（入力データｄ３）に基づいて、要素転写画像ｄ５１～要素転写画像ｄ５３から各領域を取得する。具体的には、出力画像生成部３Ａ３は、３つの領域Ｒ１の１つから領域Ｒ１を取得し、３つの領域Ｒ２の１つから領域Ｒ２を取得し、３つの領域Ｒ３の１つから領域Ｒ３を取得する。選択データは、複数（第１実施形態では３つ）の領域Ｒ１のいずれを選択するか、複数の領域Ｒ２のいずれを選択するか、及び、複数の領域Ｒ３のいずれを選択するか、が特定されたデータである。第１実施形態では、ユーザーが、要素転写画像ｄ５２の領域Ｒ１を選択し、要素転写画像ｄ５３の領域Ｒ２を選択し、要素転写画像ｄ５１の領域Ｒ３を選択したものとする。なお、ユーザーは、要素転写画像ｄ５１～要素転写画像ｄ５３を出力装置２０のモニターに出力することで、いずれの領域を選択することが好ましいかを確認しながら、自由に選択することができる。
図５に示すように、出力画像生成部３Ａ３は、要素転写画像ｄ５２の領域Ｒ１の各画素の画素値、要素転写画像ｄ５３の領域Ｒ２の各画素の画素値、及び、要素転写画像ｄ５１の領域Ｒ３の各画素の画素値を取得する。そして、出力画像生成部３Ａ３は、取得した領域Ｒ１～領域Ｒ３の画素値を用いて、出力画像ｄ６を生成する。すなわち、出力画像生成部３Ａ３は、出力画像ｄ６の各画素の画素値が、取得した領域Ｒ１～領域Ｒ３の各画素の画素値に一致するように、出力画像ｄ６を生成する。これにより、出力画像ｄ６には、要素転写画像ｄ５２の領域Ｒ１における画像（要素画像）と、要素転写画像ｄ５３の領域Ｒ２における画像（要素画像）、及び、要素転写画像ｄ５１の領域Ｒ３における画像（要素画像）が、配置されることになる。
１－２－３ 出力部４
出力部４は、コンテンツ画像ｄ１や出力画像ｄ６等の各種画像を出力装置２０に出力する機能を有する。
出力部４は、コンテンツ画像ｄ１や出力画像ｄ６等の各種画像を出力装置２０に出力する機能を有する。
１－２－４ 記憶部５
記憶部５は、各種データを記憶する機能を有する。記憶部５には、コンテンツ画像ｄ１やスタイル画像等が予め格納される。また、記憶部５に格納されている各種データは、処理部３で読み出される。
記憶部５は、各種データを記憶する機能を有する。記憶部５には、コンテンツ画像ｄ１やスタイル画像等が予め格納される。また、記憶部５に格納されている各種データは、処理部３で読み出される。
１－３ 動作説明
第１実施形態に係る画像生成装置１の画像生成方法は、領域規定ステップと、転写画像生成ステップと、出力画像生成ステップと、パターン画像生成ステップとを備える。まず、ユーザーは、記憶部５に記憶されているコンテンツ画像ｄ１及びスタイル画像ｄ２を選択する。取得部２は、選択されたコンテンツ画像ｄ１及びスタイル画像ｄ２を取得し、画像生成部３Ａへ入力する。
第１実施形態に係る画像生成装置１の画像生成方法は、領域規定ステップと、転写画像生成ステップと、出力画像生成ステップと、パターン画像生成ステップとを備える。まず、ユーザーは、記憶部５に記憶されているコンテンツ画像ｄ１及びスタイル画像ｄ２を選択する。取得部２は、選択されたコンテンツ画像ｄ１及びスタイル画像ｄ２を取得し、画像生成部３Ａへ入力する。
１－３－１ 領域規定ステップ
領域規定部３Ａ１は、コンテンツ画像ｄ１に対して領域規定処理を実施し、コンテンツ画像ｄ１中の各画素がコンテンツ画像ｄ１中のいずれの領域Ｒ１～領域Ｒ３に属するかを規定する。すなわち、領域規定部３Ａ１は、コンテンツ画像ｄ１中の各画素ｐｘをラベリングし、領域規定データｄ４を生成する。ここで、図３では、上下及び左右に並ぶ各画素がｐｘとして模式的に示されている。第１実施形態において、領域規定データｄ４は、図３に示すように、領域Ｒ１（フクロウの領域）と、領域Ｒ２（木の枝の領域）と、領域Ｒ３（背景の領域）とが規定される。
領域規定部３Ａ１は、コンテンツ画像ｄ１に対して領域規定処理を実施し、コンテンツ画像ｄ１中の各画素がコンテンツ画像ｄ１中のいずれの領域Ｒ１～領域Ｒ３に属するかを規定する。すなわち、領域規定部３Ａ１は、コンテンツ画像ｄ１中の各画素ｐｘをラベリングし、領域規定データｄ４を生成する。ここで、図３では、上下及び左右に並ぶ各画素がｐｘとして模式的に示されている。第１実施形態において、領域規定データｄ４は、図３に示すように、領域Ｒ１（フクロウの領域）と、領域Ｒ２（木の枝の領域）と、領域Ｒ３（背景の領域）とが規定される。
１－３－２ 転写画像生成ステップ
転写画像生成部３Ａ２は、コンテンツ画像ｄ１に対して、スタイル画像ｄ２及びスタイル転写の度合い（パラメータ）を用いたスタイル転写処理をすることで、当該度合いが互いに異なる要素転写画像ｄ５１～要素転写画像ｄ５３を生成する。なお、転写画像生成部３Ａ２は、スタイル転写の度合いを取得部２から取得する。
転写画像生成部３Ａ２は、コンテンツ画像ｄ１に対して、スタイル画像ｄ２及びスタイル転写の度合い（パラメータ）を用いたスタイル転写処理をすることで、当該度合いが互いに異なる要素転写画像ｄ５１～要素転写画像ｄ５３を生成する。なお、転写画像生成部３Ａ２は、スタイル転写の度合いを取得部２から取得する。
１－３－３ 出力画像生成ステップ
出力画像生成部３Ａ３は、領域規定データｄ４と、転写画像ｄ５と、選択データとに基づいて出力画像ｄ６を生成する。第１実施形態では、選択データは、要素転写画像ｄ５２の領域Ｒ１を選択し、要素転写画像ｄ５３の領域Ｒ２を選択し、要素転写画像ｄ５１の領域Ｒ３を選択したデータである。このため、出力画像ｄ６の領域Ｒ１には、要素転写画像ｄ５１～要素転写画像ｄ５３のうちの１つである要素転写画像ｄ５２中の領域Ｒ１の画像（要素画像）が配置される。また、出力画像ｄ６の領域Ｒ２には、要素転写画像ｄ５１～要素転写画像ｄ５３のうちの１つである要素転写画像ｄ５３中の領域Ｒ２の画像（要素画像）が配置される。更に、出力画像ｄ６の領域Ｒ３には、要素転写画像ｄ５１～要素転写画像ｄ５３のうちの１つである要素転写画像ｄ５１中の領域Ｒ３の画像（要素画像）が配置される。
出力画像生成部３Ａ３は、領域規定データｄ４と、転写画像ｄ５と、選択データとに基づいて出力画像ｄ６を生成する。第１実施形態では、選択データは、要素転写画像ｄ５２の領域Ｒ１を選択し、要素転写画像ｄ５３の領域Ｒ２を選択し、要素転写画像ｄ５１の領域Ｒ３を選択したデータである。このため、出力画像ｄ６の領域Ｒ１には、要素転写画像ｄ５１～要素転写画像ｄ５３のうちの１つである要素転写画像ｄ５２中の領域Ｒ１の画像（要素画像）が配置される。また、出力画像ｄ６の領域Ｒ２には、要素転写画像ｄ５１～要素転写画像ｄ５３のうちの１つである要素転写画像ｄ５３中の領域Ｒ２の画像（要素画像）が配置される。更に、出力画像ｄ６の領域Ｒ３には、要素転写画像ｄ５１～要素転写画像ｄ５３のうちの１つである要素転写画像ｄ５１中の領域Ｒ３の画像（要素画像）が配置される。
１－４ 第１実施形態の効果
第１実施形態に係る画像生成装置１は、領域規定ステップと、転写画像生成ステップと、出力画像生成ステップとを有する画像生成方法を実施可能に構成されている。ここで、転写画像生成ステップで生成される転写画像は、スタイル転写の度合いが互いに異なる複数の要素転写画像ｄ５１～要素転写画像ｄ５３を有する。そして、出力画像生成ステップにおいて、出力画像ｄ６における各領域には、要素転写画像ｄ５１～要素転写画像ｄ５３中の各領域を自由に配置可能である。出力画像ｄ６の領域Ｒ１～領域Ｒ３にそれぞれ配置可能な要素画像は３つずつである。このため、生成可能となる出力画像ｄ６の種類は、３×３×３＝２７種類である。このように、第１実施形態に係る画像生成装置１は、生成可能な出力画像ｄ６のバリエーションを増やすことができる。
第１実施形態に係る画像生成装置１は、領域規定ステップと、転写画像生成ステップと、出力画像生成ステップとを有する画像生成方法を実施可能に構成されている。ここで、転写画像生成ステップで生成される転写画像は、スタイル転写の度合いが互いに異なる複数の要素転写画像ｄ５１～要素転写画像ｄ５３を有する。そして、出力画像生成ステップにおいて、出力画像ｄ６における各領域には、要素転写画像ｄ５１～要素転写画像ｄ５３中の各領域を自由に配置可能である。出力画像ｄ６の領域Ｒ１～領域Ｒ３にそれぞれ配置可能な要素画像は３つずつである。このため、生成可能となる出力画像ｄ６の種類は、３×３×３＝２７種類である。このように、第１実施形態に係る画像生成装置１は、生成可能な出力画像ｄ６のバリエーションを増やすことができる。
第１実施形態に係る画像生成装置１で生成された出力画像ｄ６は、各種の用途で活用することができる。例えば、出力画像ｄ６は、例えば、包装や、ディスプレイや紙等の媒体に示される広告等として用いることができる。
１－５ 第１実施形態の変形例
１－５－１ 変形例１
第１実施形態では、スタイル画像ｄ２のバリエーションは１種類であるものとして説明したが、それに限定されるものではない。変形例１に係る転写画像生成部３Ａ２は、図６Ａ～図６Ｃに示す複数（変形例では３つ）のスタイル画像ｄ２１～スタイル画像ｄ２３を用いる。
変形例１におけるスタイル画像の柄（単位画像Ｕｄ）は、共通であるが、大きさは異なる。スタイル画像は、単位画像Ｕｄが複数並べられて構成される。ここで、柄の大きさ（単位画像Ｕｄの大きさ）は、図６Ａに示すスタイル画像ｄ２１が一番小さく、図６Ｂに示すスタイル画像ｄ２２が次に大きく、図６Ｃに示すスタイル画像ｄ２３が一番大きい。単位画像Ｕｄは、各スタイル画像を構成する要素のうちの最小単位である。
１－５－１ 変形例１
第１実施形態では、スタイル画像ｄ２のバリエーションは１種類であるものとして説明したが、それに限定されるものではない。変形例１に係る転写画像生成部３Ａ２は、図６Ａ～図６Ｃに示す複数（変形例では３つ）のスタイル画像ｄ２１～スタイル画像ｄ２３を用いる。
変形例１におけるスタイル画像の柄（単位画像Ｕｄ）は、共通であるが、大きさは異なる。スタイル画像は、単位画像Ｕｄが複数並べられて構成される。ここで、柄の大きさ（単位画像Ｕｄの大きさ）は、図６Ａに示すスタイル画像ｄ２１が一番小さく、図６Ｂに示すスタイル画像ｄ２２が次に大きく、図６Ｃに示すスタイル画像ｄ２３が一番大きい。単位画像Ｕｄは、各スタイル画像を構成する要素のうちの最小単位である。
転写画像生成部３Ａ２は、スタイル画像ｄ２１～スタイル画像ｄ２３を用いることで、図７Ａ～図７Ｉに示す複数（変形例では２７つ）の要素転写画像ｄ６１～要素転写画像ｄ６９を生成することができる。
ここで、図７Ａ、図７Ｂ及び図７Ｃは、図６Ａに示すスタイル画像ｄ２１に基づいて生成された転写画像である。スタイル画像の転写の度合いは、図７Ａに示す要素転写画像ｄ６１が一番小さく、図７Ｂに示す要素転写画像ｄ６２が次に大きく、図７Ｃに示す要素転写画像ｄ６３が一番大きい。
また、図７Ｄ、図７Ｅ及び図７Ｆは、図６Ｂに示すスタイル画像ｄ２に基づいて生成された転写画像ｄ５であり、スタイル画像の転写の度合いは、図７Ｄに示す要素転写画像ｄ６４が一番小さく、図７Ｅに示す要素転写画像ｄ６５が次に大きく、図７Ｆに示す要素転写画像ｄ６６が一番大きい。
更に、図７Ｇ、図７Ｈ及び図７Ｉは、図６Ｃに示すスタイル画像ｄ２に基づいて生成された転写画像ｄ５であり、スタイル画像の転写の度合いは、図７Ｇに示す要素転写画像ｄ６７が一番小さく、図７Ｈに示す要素転写画像ｄ６８が次に大きく、図７Ｉに示す要素転写画像ｄ６９が一番大きい。
ここで、図７Ａ、図７Ｂ及び図７Ｃは、図６Ａに示すスタイル画像ｄ２１に基づいて生成された転写画像である。スタイル画像の転写の度合いは、図７Ａに示す要素転写画像ｄ６１が一番小さく、図７Ｂに示す要素転写画像ｄ６２が次に大きく、図７Ｃに示す要素転写画像ｄ６３が一番大きい。
また、図７Ｄ、図７Ｅ及び図７Ｆは、図６Ｂに示すスタイル画像ｄ２に基づいて生成された転写画像ｄ５であり、スタイル画像の転写の度合いは、図７Ｄに示す要素転写画像ｄ６４が一番小さく、図７Ｅに示す要素転写画像ｄ６５が次に大きく、図７Ｆに示す要素転写画像ｄ６６が一番大きい。
更に、図７Ｇ、図７Ｈ及び図７Ｉは、図６Ｃに示すスタイル画像ｄ２に基づいて生成された転写画像ｄ５であり、スタイル画像の転写の度合いは、図７Ｇに示す要素転写画像ｄ６７が一番小さく、図７Ｈに示す要素転写画像ｄ６８が次に大きく、図７Ｉに示す要素転写画像ｄ６９が一番大きい。
このように、変形例１では、生成される要素転写画像のバリエーションが増えるため、生成可能な出力画像ｄ６のバリエーションを第１実施形態よりも更に増やすことができる。
１－５－２ 変形例２
第１実施形態では、領域規定部３Ａ１がセマンティックセグメンテーションを用いて領域を規定するものとして説明したが、これに限定されるものではない。ユーザーが、モニターに映し出されるコンテンツ画像ｄ１を目視しながら、コンテンツ画像ｄ１の領域を専用のアプリケーションを用いて人的に規定してもよい。領域規定部３Ａ１は、ユーザーに規定された領域に基づいて領域規定データｄ４を生成し、出力画像生成部３Ａ３に出力する。
第１実施形態では、領域規定部３Ａ１がセマンティックセグメンテーションを用いて領域を規定するものとして説明したが、これに限定されるものではない。ユーザーが、モニターに映し出されるコンテンツ画像ｄ１を目視しながら、コンテンツ画像ｄ１の領域を専用のアプリケーションを用いて人的に規定してもよい。領域規定部３Ａ１は、ユーザーに規定された領域に基づいて領域規定データｄ４を生成し、出力画像生成部３Ａ３に出力する。
２ 第２実施形態
第２実施形態において、画像生成装置１は、出力画像６ｄから織物のパターン画像ｄ９を生成する機能を有する。また、織物製造装置３０は、パターン画像ｄ９に基づいて、織物を織り上げることができる。第２実施形態では、第１実施形態と相違する部分を中心に説明する。
第２実施形態において、画像生成装置１は、出力画像６ｄから織物のパターン画像ｄ９を生成する機能を有する。また、織物製造装置３０は、パターン画像ｄ９に基づいて、織物を織り上げることができる。第２実施形態では、第１実施形態と相違する部分を中心に説明する。
２―１ 全体構成説明
第２実施形態に係る製造システム１００は、図８に示すように、画像生成装置１と、出力装置２０と、織物製造装置３０とを備えている。第２実施形態において、処理部３は、画像生成部３Ａに加えて、画像生成部３Ｂを備えている。この画像生成部３Ｂは、前処理部３Ｂ１と、マトリクス生成部３Ｂ２と、二値化処理部３Ｂ３とを備えている。
第２実施形態に係る製造システム１００は、図８に示すように、画像生成装置１と、出力装置２０と、織物製造装置３０とを備えている。第２実施形態において、処理部３は、画像生成部３Ａに加えて、画像生成部３Ｂを備えている。この画像生成部３Ｂは、前処理部３Ｂ１と、マトリクス生成部３Ｂ２と、二値化処理部３Ｂ３とを備えている。
上記の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、ＣＰＵがコンピュータプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ＡＳＩＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。第１実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。
画像生成装置１は、織物のパターン画像ｄ９を生成する機能を有する。また、第２実施形態において、織物は、ジャカード織物である。ジャカード織物は、多数並列化された経糸に対して、緯糸を任意に上下させて織ることで、複雑な模様を織り出すことができる。ジャカード織物において、経糸と緯糸の上下関係は、格子点（経糸と緯糸とが交差する点）ごとの上下関係が特定された二値データ（パターン画像）によって定義される。第２実施形態において、パターン画像ｄ９は、ジャカード組織図に対応する画像であり、また、パターン画像ｄ９は、後述する前処理後画像ｄ７を二値化処理した画像（二値データ）である。二値データは、経糸と緯糸のうちのいずれかを表に出すかを示すデータである。織物の色は、経糸と緯糸が表に出る頻度や、経糸及び緯糸の色等に基づいて、表現される。
織物製造装置３０は、画像生成装置１で生成されたパターン画像に基づいて、織物を編み上げ可能に構成されている。
２－２ 画像生成装置１の構成説明 第２実施形態に係る画像生成装置１も、第１実施形態と同様に、コンテンツ画像ｄ１及びスタイル画像ｄ２（図２Ａ及び図２Ｂ参照）に基づいて出力画像ｄ６（図５参照）を生成する機能を有する。換言すると、画像生成装置１は、コンテンツ画像ｄ１に、スタイル画像ｄ２の画風を取り入れて、コンテンツ画像ｄ１及びスタイル画像ｄ２とは異なる新たな画像を生成する機能を有する。コンテンツ画像ｄ１が第１画像に対応し、スタイル画像ｄ２が第２画像に対応する。
また、第２実施形態においても、第１実施形態と同様に、コンテンツ画像ｄ１は、図２Ａに示すように、画像体ｄ１１（フクロウ）、画像体ｄ１２（木の枝）及び画像体ｄ１３（風景）が示された画像（画像データ）である。また、スタイル画像ｄ２は、図２Ｂに示すように、和柄の一つである市松模様である。
また、第２実施形態においても、第１実施形態と同様に、コンテンツ画像ｄ１は、図２Ａに示すように、画像体ｄ１１（フクロウ）、画像体ｄ１２（木の枝）及び画像体ｄ１３（風景）が示された画像（画像データ）である。また、スタイル画像ｄ２は、図２Ｂに示すように、和柄の一つである市松模様である。
２－２－１ 取得部２
取得部２は、入力装置（不図示）から各種の入力データｄ３を取得可能に構成され、この入力データｄ３は、取得部２から画像生成部３Ａや画像生成部３Ｂへ出力される。
取得部２は、入力装置（不図示）から各種の入力データｄ３を取得可能に構成され、この入力データｄ３は、取得部２から画像生成部３Ａや画像生成部３Ｂへ出力される。
２－２－２ 処理部３（画像生成部３Ｂ）
第２実施形態に係る画像生成部３Ａの構成は、第１実施形態に係る画像生成部３Ａと同様であるため、説明を省略する。
画像生成部３Ｂは、出力画像ｄ６に基づいてパターン画像ｄ９を生成する機能を有する。換言すると、画像生成部３Ｂは、出力画像ｄ６を織物製造装置３０で織物を織り上げることができるような形式へ変換する機能を有する。この機能は、公知となっている各種の方法（例えば、特開２０１５－２１２４４０号公報）を採用することができる。以下、画像生成部３Ｂの機能の一例を説明する。
第２実施形態に係る画像生成部３Ａの構成は、第１実施形態に係る画像生成部３Ａと同様であるため、説明を省略する。
画像生成部３Ｂは、出力画像ｄ６に基づいてパターン画像ｄ９を生成する機能を有する。換言すると、画像生成部３Ｂは、出力画像ｄ６を織物製造装置３０で織物を織り上げることができるような形式へ変換する機能を有する。この機能は、公知となっている各種の方法（例えば、特開２０１５－２１２４４０号公報）を採用することができる。以下、画像生成部３Ｂの機能の一例を説明する。
なお、各種画像はカラー画像であってもよいが、説明の便宜上、パターン画像ｄ９がグレースケール画像とする場合を一例として説明する。また、第２実施形態では、グレースケール画像を白と黒の二値で表現するハーフトーニング法を用いる。ハーフトーニング法とは、一定領域内の白と黒の画素の面積の割合を利用して階調を表現する方法である。また、第２実施形態では、組織的ディザ法を用いるものとして説明する。組織的ティザ法では、閾値が予め設定されたティザマスク（織物用閾値マトリクス）を用いて、画像を二値化処理する。
＜前処理部３Ｂ１＞
前処理部３Ｂ１では、出力画像ｄ６を、例えば２５６階調のグレースケール画像データに変換する機能を有する。これにより、前処理部３Ｂ１は、前処理後画像ｄ７を生成する。なお、階調数は、予め定められていてもよいし、ユーザーが適宜選択することができてもよい。この場合、前処理部３Ｂ１は、入力データｄ３を取得することで階調数を取得する。
前処理部３Ｂ１では、出力画像ｄ６を、例えば２５６階調のグレースケール画像データに変換する機能を有する。これにより、前処理部３Ｂ１は、前処理後画像ｄ７を生成する。なお、階調数は、予め定められていてもよいし、ユーザーが適宜選択することができてもよい。この場合、前処理部３Ｂ１は、入力データｄ３を取得することで階調数を取得する。
＜マトリクス生成部３Ｂ２＞
マトリクス生成部３Ｂ２は、織物用閾値マトリクス（マトリクスデータｄ８）を生成する。織物用閾値マトリクスの行数及び列数は、前処理後画像ｄ７のサイズに対応している。織物用閾値マトリクスは、前処理後画像ｄ７を二値化処理した後の画像が織物組織（パターン画像）となるように作成されたマトリクスである。例えば、マトリクス生成部３Ｂ２は、織物用閾値サブマトリクスを複数配置することで織物用閾値マトリクスを作成することができる。織物用閾値サブマトリクスの行数及び列数は、任意に定めることができる。織物用閾値サブマトリクスにおける各成分には、前処理後画像ｄ７を二値化処理するための閾値が設定される。そして、織物用閾値サブマトリクスの各成分の閾値は、ユーザーが適宜選択することが可能である。この場合、マトリクス生成部３Ｂ２は、入力データｄ３を取得することで、閾値を取得可能である。また、織物用閾値サブマトリクスの各成分の閾値は、ジャカード織物における各種の制約等（例えば一定間隔で経糸と緯糸が少なくとも１回交差する必要があるという制約）に基づいて定めることができる。
マトリクス生成部３Ｂ２は、織物用閾値マトリクス（マトリクスデータｄ８）を生成する。織物用閾値マトリクスの行数及び列数は、前処理後画像ｄ７のサイズに対応している。織物用閾値マトリクスは、前処理後画像ｄ７を二値化処理した後の画像が織物組織（パターン画像）となるように作成されたマトリクスである。例えば、マトリクス生成部３Ｂ２は、織物用閾値サブマトリクスを複数配置することで織物用閾値マトリクスを作成することができる。織物用閾値サブマトリクスの行数及び列数は、任意に定めることができる。織物用閾値サブマトリクスにおける各成分には、前処理後画像ｄ７を二値化処理するための閾値が設定される。そして、織物用閾値サブマトリクスの各成分の閾値は、ユーザーが適宜選択することが可能である。この場合、マトリクス生成部３Ｂ２は、入力データｄ３を取得することで、閾値を取得可能である。また、織物用閾値サブマトリクスの各成分の閾値は、ジャカード織物における各種の制約等（例えば一定間隔で経糸と緯糸が少なくとも１回交差する必要があるという制約）に基づいて定めることができる。
＜二値化処理部３Ｂ３＞
二値化処理部３Ｂ３は、マトリクス生成部３Ｂ２が作成した織物用閾値マトリクス（マトリクスデータｄ８）を用いて、前処理後画像ｄ７を二値化処理する機能を有する。換言すると、二値化処理部３Ｂ３は、前処理後画像ｄ７に織物用閾値マトリクスを適用することで、パターン画像ｄ９を生成する。前処理後画像ｄ７の任意の画素の画素値が織物用閾値マトリクスの対応する成分の閾値を超えている場合には、この画素は白（二値化データは１）と処理される。また、前処理後画像ｄ７の任意の画素の画素値が織物用閾値マトリクスの対応する成分の閾値を未満である場合には、この画素は黒（二値化データは０）と処理される。前処理後画像ｄ７の任意の画素の画素値が織物用閾値マトリクスの対応する成分の閾値と同じ値である場合には、この画素は黒又は白と処理される（予め定められている）。
二値化処理部３Ｂ３は、マトリクス生成部３Ｂ２が作成した織物用閾値マトリクス（マトリクスデータｄ８）を用いて、前処理後画像ｄ７を二値化処理する機能を有する。換言すると、二値化処理部３Ｂ３は、前処理後画像ｄ７に織物用閾値マトリクスを適用することで、パターン画像ｄ９を生成する。前処理後画像ｄ７の任意の画素の画素値が織物用閾値マトリクスの対応する成分の閾値を超えている場合には、この画素は白（二値化データは１）と処理される。また、前処理後画像ｄ７の任意の画素の画素値が織物用閾値マトリクスの対応する成分の閾値を未満である場合には、この画素は黒（二値化データは０）と処理される。前処理後画像ｄ７の任意の画素の画素値が織物用閾値マトリクスの対応する成分の閾値と同じ値である場合には、この画素は黒又は白と処理される（予め定められている）。
２－２－３ 出力部４
出力部４は、コンテンツ画像ｄ１や出力画像ｄ６等の各種画像を出力装置２０に出力する機能を有する。また、出力部４は、パターン画像ｄ９を織物製造装置３０へ出力する機能を有する。
出力部４は、コンテンツ画像ｄ１や出力画像ｄ６等の各種画像を出力装置２０に出力する機能を有する。また、出力部４は、パターン画像ｄ９を織物製造装置３０へ出力する機能を有する。
２－３ 動作説明
第２実施形態に係る画像生成装置１の画像生成方法は、領域規定ステップと、転写画像生成ステップと、出力画像生成ステップとに加えて、パターン画像生成ステップと、織物製造ステップとを備える。領域規定ステップ、転写画像生成ステップ及び出力画像生成ステップについては、第１実施形態と同様であるため、説明を省略する。
第２実施形態に係る画像生成装置１の画像生成方法は、領域規定ステップと、転写画像生成ステップと、出力画像生成ステップとに加えて、パターン画像生成ステップと、織物製造ステップとを備える。領域規定ステップ、転写画像生成ステップ及び出力画像生成ステップについては、第１実施形態と同様であるため、説明を省略する。
２－３－１ パターン画像生成ステップ
パターン画像生成ステップでは、出力画像ｄ６を二値化処理することで織物のパターン画像ｄ９を生成するステップである。具体的には、前処理部３Ｂ１は、出力画像ｄ６に対して前処理をし、前処理後画像ｄ７を生成する。また、マトリクス生成部３Ｂ２は、織物用閾値マトリクスを生成する。そして、二値化処理部３Ｂ３は、織物用閾値マトリクス（マトリクスデータｄ８）を用いて、前処理後画像ｄ７を二値化処理し、パターン画像ｄ９を生成する。
パターン画像生成ステップでは、出力画像ｄ６を二値化処理することで織物のパターン画像ｄ９を生成するステップである。具体的には、前処理部３Ｂ１は、出力画像ｄ６に対して前処理をし、前処理後画像ｄ７を生成する。また、マトリクス生成部３Ｂ２は、織物用閾値マトリクスを生成する。そして、二値化処理部３Ｂ３は、織物用閾値マトリクス（マトリクスデータｄ８）を用いて、前処理後画像ｄ７を二値化処理し、パターン画像ｄ９を生成する。
２－３－２ 織物製造ステップ
織物製造ステップでは、織物のパターン画像ｄ９に基づいて織物製造装置３０を動作させ、織物製造装置３０で織物を織り上げる。
織物製造ステップでは、織物のパターン画像ｄ９に基づいて織物製造装置３０を動作させ、織物製造装置３０で織物を織り上げる。
２－４ 第２実施形態の効果
第２実施形態に係る製造システム１００は、パターン画像ｄ９に基づいて、織物を製造することができる。ここで、第２実施形態においても、第１実施形態と同様に、生成可能な出力画像ｄ６のバリエーションを増やすことができるので、第２実施形態では、生成可能なパターン画像ｄ９のバリエーションを増やすことができる。その結果、第２実施形態に係る製造システム１００は、バリエーションに富んだ模様等が織り上げられた織物を製造することができる。
第２実施形態に係る製造システム１００は、パターン画像ｄ９に基づいて、織物を製造することができる。ここで、第２実施形態においても、第１実施形態と同様に、生成可能な出力画像ｄ６のバリエーションを増やすことができるので、第２実施形態では、生成可能なパターン画像ｄ９のバリエーションを増やすことができる。その結果、第２実施形態に係る製造システム１００は、バリエーションに富んだ模様等が織り上げられた織物を製造することができる。
２－５ 第２実施形態の変形例
第２実施形態に係る製造システム１００の製造対象は、織物（ジャカード織物）であるものとして説明したが、これに限定されるものではない。製造システム１００の製造対象は、例えば、衣服やカーテン等といった布地の素材であってもよい。また、第２実施形態においても、第１実施形態の変形例１及び変形例２で説明した構成を採用することができる。
第２実施形態に係る製造システム１００の製造対象は、織物（ジャカード織物）であるものとして説明したが、これに限定されるものではない。製造システム１００の製造対象は、例えば、衣服やカーテン等といった布地の素材であってもよい。また、第２実施形態においても、第１実施形態の変形例１及び変形例２で説明した構成を採用することができる。
３ その他の実施形態
第１及び第２実施形態に係る画像生成装置１の画像生成部３Ａは、領域規定部３Ａ１を備えるものであったが、これに限定されるものではなく、領域規定部３Ａ１は必須の構成でなくてもよい。つまり、画像生成装置１は、転写画像生成ステップと出力画像生成ステップとを有する画像生成方法を実施可能に構成されたものであってもよい。
第１及び第２実施形態に係る画像生成装置１の画像生成部３Ａは、領域規定部３Ａ１を備えるものであったが、これに限定されるものではなく、領域規定部３Ａ１は必須の構成でなくてもよい。つまり、画像生成装置１は、転写画像生成ステップと出力画像生成ステップとを有する画像生成方法を実施可能に構成されたものであってもよい。
この場合、画像生成装置１は、以下の画像生成方法を実施することができる。
画像生成方法は、転写画像生成ステップと、出力画像生成ステップとを備え、
前記転写画像生成ステップは、第１画像を、スタイル画像として指定された複数の第２画像に基づいてスタイル転写処理することで、転写画像を生成し、
第２画像の各々は、共通の単位画像を有し、且つ、前記単位画像が複数並べられて構成され、且つ、複数の第２画像は、前記単位画像の大きさが互いに異なっており、
前記スタイル転写処理は、前記スタイル転写の度合いを変更可能な処理であり、
前記転写画像は、前記度合いと前記単位画像の大きさとが互いに異なる複数の要素転写画像を有し、
前記出力画像生成ステップは、前記転写画像に基づいて出力画像を生成する。
画像生成方法は、転写画像生成ステップと、出力画像生成ステップとを備え、
前記転写画像生成ステップは、第１画像を、スタイル画像として指定された複数の第２画像に基づいてスタイル転写処理することで、転写画像を生成し、
第２画像の各々は、共通の単位画像を有し、且つ、前記単位画像が複数並べられて構成され、且つ、複数の第２画像は、前記単位画像の大きさが互いに異なっており、
前記スタイル転写処理は、前記スタイル転写の度合いを変更可能な処理であり、
前記転写画像は、前記度合いと前記単位画像の大きさとが互いに異なる複数の要素転写画像を有し、
前記出力画像生成ステップは、前記転写画像に基づいて出力画像を生成する。
１ ：画像生成装置
２ ：取得部
３ ：処理部
３Ａ ：画像生成部
３Ａ１ ：領域規定部
３Ａ２ ：転写画像生成部
３Ａ３ ：出力画像生成部
３Ｂ ：画像生成部
３Ｂ１ ：前処理部
３Ｂ２ ：マトリクス生成部
３Ｂ３ ：二値化処理部
４ ：出力部
５ ：記憶部
２０ ：出力装置
３０ ：織物製造装置
１００ ：織物製造システム
Ｒ１ ：領域
Ｒ２ ：領域
Ｒ３ ：領域
Ｕｄ ：単位画像
ｄ１ ：コンテンツ画像
ｄ２ ：スタイル画像
ｄ３ ：入力データ
ｄ４ ：領域規定データ
ｄ５ ：転写画像
ｄ５１ ：要素転写画像
ｄ５２ ：要素転写画像
ｄ５３ ：要素転写画像
ｄ６ ：出力画像
ｄ７ ：前処理後画像
ｄ８ ：マトリクスデータ
ｄ９ ：パターン画像
ｄ１１ ：画像体
ｄ１２ ：画像体
ｄ１３ ：画像体
ｄ２１ ：スタイル画像
ｄ２２ ：スタイル画像
ｄ２３ ：スタイル画像
ｄ６１ ：要素転写画像
ｄ６２ ：要素転写画像
ｄ６３ ：要素転写画像
ｄ６４ ：要素転写画像
ｄ６５ ：要素転写画像
ｄ６６ ：要素転写画像
ｄ６７ ：要素転写画像
ｄ６８ ：要素転写画像
ｄ６９ ：要素転写画像
ｐｘ ：画素
２ ：取得部
３ ：処理部
３Ａ ：画像生成部
３Ａ１ ：領域規定部
３Ａ２ ：転写画像生成部
３Ａ３ ：出力画像生成部
３Ｂ ：画像生成部
３Ｂ１ ：前処理部
３Ｂ２ ：マトリクス生成部
３Ｂ３ ：二値化処理部
４ ：出力部
５ ：記憶部
２０ ：出力装置
３０ ：織物製造装置
１００ ：織物製造システム
Ｒ１ ：領域
Ｒ２ ：領域
Ｒ３ ：領域
Ｕｄ ：単位画像
ｄ１ ：コンテンツ画像
ｄ２ ：スタイル画像
ｄ３ ：入力データ
ｄ４ ：領域規定データ
ｄ５ ：転写画像
ｄ５１ ：要素転写画像
ｄ５２ ：要素転写画像
ｄ５３ ：要素転写画像
ｄ６ ：出力画像
ｄ７ ：前処理後画像
ｄ８ ：マトリクスデータ
ｄ９ ：パターン画像
ｄ１１ ：画像体
ｄ１２ ：画像体
ｄ１３ ：画像体
ｄ２１ ：スタイル画像
ｄ２２ ：スタイル画像
ｄ２３ ：スタイル画像
ｄ６１ ：要素転写画像
ｄ６２ ：要素転写画像
ｄ６３ ：要素転写画像
ｄ６４ ：要素転写画像
ｄ６５ ：要素転写画像
ｄ６６ ：要素転写画像
ｄ６７ ：要素転写画像
ｄ６８ ：要素転写画像
ｄ６９ ：要素転写画像
ｐｘ ：画素
Claims (5)
- 領域規定ステップと、転写画像生成ステップと、出力画像生成ステップとを備え、
前記領域規定ステップは、第１画像に基づいて領域規定データを生成し、
前記領域規定データは、第１画像中の各画素が第１画像中のいずれの領域に属するかを規定するデータであり、
前記領域は、少なくとも、第１領域と、第１領域とは独立した第２領域とを有し、
前記転写画像生成ステップは、第１画像を、スタイル画像として指定された複数の第２画像に基づいてスタイル転写処理することで、転写画像を生成し、
第２画像の各々は、共通の単位画像を有し、且つ、前記単位画像が複数並べられて構成され、
複数の第２画像は、前記単位画像の大きさが互いに異なっており、
前記スタイル転写処理では、スタイル転写の度合いを変更可能であり、
前記転写画像は、前記度合いが互いに異なる複数の要素転写画像を有し、
各前記要素転写画像は、第１及び第２領域に対応する部分の要素画像をそれぞれ有し、
前記出力画像生成ステップは、前記領域規定データ及び前記転写画像に基づいて出力画像を生成し、
前記出力画像の第１領域には、前記複数の要素転写画像のうちの１つの前記要素転写画像中の第１領域の前記要素画像が配置され、
前記出力画像の第２領域には、前記複数の要素転写画像のうちの１つの前記要素転写画像中の第２領域の前記要素画像が配置される、画像生成方法。 - 請求項１に記載の方法であって、
パターン画像生成ステップを更に備え、
前記パターン画像生成ステップは、前記出力画像を二値化処理することで織物パターン画像を生成する、方法。 - 請求項２に記載の方法であって、
織物製造ステップを更に備え、
前記織物製造ステップは、前記織物パターン画像に基づいて織物製造装置を動作させ、織物を織り上げる、方法。 - コンピュータに、領域規定ステップと、転写画像生成ステップと、出力画像生成ステップとを備える画像生成方法を実行させるコンピュータプログラムであって、
前記領域規定ステップは、第１画像に基づいて領域規定データを生成し、
前記領域規定データは、第１画像中の各画素が第１画像中のいずれの領域に属するかを規定するデータであり、
前記領域は、少なくとも、第１領域と、第１領域とは独立した第２領域とを有し、
前記転写画像生成ステップは、第１画像を、スタイル画像として指定された複数の第２画像に基づいてスタイル転写処理することで、転写画像を生成し、
第２画像の各々は、共通の単位画像を有し、且つ、前記単位画像が複数並べられて構成され、
複数の第２画像は、前記単位画像の大きさが互いに異なっており、
前記スタイル転写処理では、スタイル転写の度合いを変更可能であり、
前記転写画像は、前記度合いが互いに異なる複数の要素転写画像を有し、
各前記要素転写画像は、第１及び第２領域に対応する部分の要素画像をそれぞれ有し、
前記出力画像生成ステップは、前記領域規定データ及び前記転写画像に基づいて出力画像を生成し、
前記出力画像の第１領域には、前記複数の要素転写画像のうちの１つの前記要素転写画像中の第１領域の前記要素画像が配置され、
前記出力画像の第２領域には、前記複数の要素転写画像のうちの１つの前記要素転写画像中の第２領域の前記要素画像が配置される、プログラム。 - 領域規定部と、転写画像生成部と、出力画像生成部とを備え、
前記領域規定部は、第１画像に基づいて領域規定データを生成するように構成され、
前記領域規定データは、第１画像中の各画素が第１画像中のいずれの領域に属するかを規定するデータであり、
前記領域は、少なくとも、第１領域と、第１領域とは独立した第２領域とを有し、
前記転写画像生成部は、第１画像を、スタイル画像として指定された複数の第２画像に基づいてスタイル転写処理することで、転写画像を生成するように構成され、
第２画像の各々は、共通の単位画像を有し、且つ、前記単位画像が複数並べられて構成され、
複数の第２画像は、前記単位画像の大きさが互いに異なっており、
前記スタイル転写処理は、スタイル転写の度合いを変更可能な処理であり、
前記転写画像は、前記度合いが互いに異なる複数の要素転写画像を有し、
前記転写画像の各要素転写画像は、第１及び第２領域に対応する部分の要素画像をそれぞれ有し、
前記出力画像生成部は、前記領域規定データ及び前記転写画像に基づいて出力画像を生成するように構成され、
前記出力画像の第１領域には、前記複数の要素転写画像のうちの１つの前記要素転写画像中の第１領域の前記要素画像が配置され、
前記出力画像の第２領域には、前記複数の要素転写画像のうちの１つの前記要素転写画像中の第２領域の前記要素画像が配置される、画像生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020086919A JP7477864B2 (ja) | 2020-05-18 | 2020-05-18 | 画像生成方法、プログラム及び画像生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020086919A JP7477864B2 (ja) | 2020-05-18 | 2020-05-18 | 画像生成方法、プログラム及び画像生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021182210A JP2021182210A (ja) | 2021-11-25 |
| JP7477864B2 true JP7477864B2 (ja) | 2024-05-02 |
Family
ID=78607078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020086919A Active JP7477864B2 (ja) | 2020-05-18 | 2020-05-18 | 画像生成方法、プログラム及び画像生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7477864B2 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015212440A (ja) | 2014-05-02 | 2015-11-26 | 国立大学法人山梨大学 | ジャカード織物パターンの生成方法，装置およびプログラム |
| CN106778928A (zh) | 2016-12-21 | 2017-05-31 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
| US20180285679A1 (en) | 2017-03-31 | 2018-10-04 | Qualcomm Incorporated | Systems and methods for improved image textures |
| WO2020091891A1 (en) | 2018-10-31 | 2020-05-07 | Microsoft Technology Licensing, Llc | Cross-domain image translation |
-
2020
- 2020-05-18 JP JP2020086919A patent/JP7477864B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015212440A (ja) | 2014-05-02 | 2015-11-26 | 国立大学法人山梨大学 | ジャカード織物パターンの生成方法，装置およびプログラム |
| CN106778928A (zh) | 2016-12-21 | 2017-05-31 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
| US20180285679A1 (en) | 2017-03-31 | 2018-10-04 | Qualcomm Incorporated | Systems and methods for improved image textures |
| WO2020091891A1 (en) | 2018-10-31 | 2020-05-07 | Microsoft Technology Licensing, Llc | Cross-domain image translation |
Non-Patent Citations (1)
| Title |
|---|
| 大垣慶介，深層学習を用いた創作支援のためのイラストの理解と生成，電子情報通信学会誌，日本，一般社団法人電子情報通信学会，2019年03月01日，第１０２巻 第３号，pp.228～233 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021182210A (ja) | 2021-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444365B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| KR102486300B1 (ko) | 영상 인페인팅 장치 및 방법 | |
| CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
| Hennequin et al. | A new direct connected component labeling and analysis algorithms for GPUs | |
| US12099578B2 (en) | Methods and apparatus for training a classification model based on images of non-bagged produce or images of bagged produce generated by a generative model | |
| JP2018032190A (ja) | 演算回路、その制御方法及びプログラム | |
| Chen et al. | Efficient parallel connected component labeling with a coarse-to-fine strategy | |
| JP7477864B2 (ja) | 画像生成方法、プログラム及び画像生成装置 | |
| Shocher et al. | Internal distribution matching for natural image retargeting | |
| Yonehara et al. | A line-based connected component labeling algorithm using GPUs | |
| JP2019040403A (ja) | 半導体装置および画像認識システム | |
| Huang et al. | Image completion based on gans with a new loss function | |
| CN115908606A (zh) | 基于生成对抗网络的堆绣线稿图上色方法及计算机设备 | |
| US11282168B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2015064625A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| Tokura et al. | A square pointillism image generation, and its GPU acceleration | |
| Jiang et al. | A scale-invariant framework for image classification with deep learning | |
| US20230177752A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
| Yang et al. | Photomosaic generation by rearranging subimages, with GPU acceleration | |
| JPWO2019082283A1 (ja) | 画像解析装置 | |
| JP6633267B2 (ja) | 次元削減装置、方法及びプログラム | |
| KR102627659B1 (ko) | 후면 영상정보 생성 장치 및 방법 | |
| KR102586816B1 (ko) | 다중 변환함수의 추정에 기반하여 개선 영상을 획득하는 영상 개선 장치 및 방법 | |
| Tseng et al. | General Deep Image Completion with Lightweight Conditional Generative Adversarial Networks. | |
| JP2010218165A (ja) | 画像処理装置、情報処理装置および画像読取装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230320 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240412 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7477864 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |