JP2024502117A - 画像処理方法、画像生成方法、装置、機器及び媒体 - Google Patents
画像処理方法、画像生成方法、装置、機器及び媒体 Download PDFInfo
- Publication number
- JP2024502117A JP2024502117A JP2023541027A JP2023541027A JP2024502117A JP 2024502117 A JP2024502117 A JP 2024502117A JP 2023541027 A JP2023541027 A JP 2023541027A JP 2023541027 A JP2023541027 A JP 2023541027A JP 2024502117 A JP2024502117 A JP 2024502117A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- style
- paper
- cartoon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000003672 processing method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000005520 cutting process Methods 0.000 claims abstract description 84
- 238000000605 extraction Methods 0.000 claims description 165
- 238000004590 computer program Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 16
- 238000009877 rendering Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 28
- 238000010586 diagram Methods 0.000 abstract description 22
- 230000006870 function Effects 0.000 abstract description 8
- 238000006243 chemical reaction Methods 0.000 abstract description 6
- 230000009466 transformation Effects 0.000 description 7
- 210000000746 body region Anatomy 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241001465382 Physalis alkekengi Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
画像処理方法、画像生成方法、装置、機器及び媒体を提供する。当該画像処理方法は、元の画像を取得するステップと、元の画像に対応するカートゥーン画像を決定するステップと、カートゥーン画像のライン情報とカラーブロック情報とを取得するステップと、カートゥーン画像のライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定するステップと、を含む。本開示の実施例は、切り絵画像の高品質な表示効果を確保し、電子機器でサポートされている画像処理機能を豊かにし、それによって、電子機器でサポートされているスタイル画像の変換タイプを豊かにする。【選択図】図1
Description
本開示は、画像処理技術の分野に関し、特に、画像処理方法、画像生成方法、装置、機器及び媒体に関する。
現在、ビデオインタラクションアプリケーションの機能が豊かになるにつれ、画像スタイル変換は面白い新たな遊び方になっている。画像スタイル変換とは、1つ又は複数の画像をスタイル変換して、ユーザのニーズに合ったスタイル画像を生成することである。
しかしながら、従来のビデオインタラクションアプリケーションでサポートされているスタイル変換のタイプはまだ限られており、ユーザのパーソナライズされたスタイル画像の生成ニーズを満たすことができない。
本開示の実施例は、上記の技術的問題を完全に解決するか、または、上記の技術的問題を少なくとも部分的に解決するために、画像処理方法、画像生成方法、装置、機器及び媒体を提供する。
第1の態様では、本開示の実施例は、画像処理方法を提供し、前記方法は、
元の画像を取得するステップと、
前記元の画像に対応するカートゥーン画像を決定するステップと、
前記カートゥーン画像のライン情報とカラーブロック情報とを取得するステップと、
前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するステップと、を含む。
元の画像を取得するステップと、
前記元の画像に対応するカートゥーン画像を決定するステップと、
前記カートゥーン画像のライン情報とカラーブロック情報とを取得するステップと、
前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するステップと、を含む。
第2の態様では、本開示の実施例は、画像生成方法を提供し、前記方法は、
処理対象画像を取得するステップと、
切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るステップと、を含み、
前記切り絵スタイル画像生成モデルは、元の画像と前記元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、前記切り絵画像は、本開示の実施例により提供されるいずれかの画像処理方法に基づいて得られるものである。
処理対象画像を取得するステップと、
切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るステップと、を含み、
前記切り絵スタイル画像生成モデルは、元の画像と前記元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、前記切り絵画像は、本開示の実施例により提供されるいずれかの画像処理方法に基づいて得られるものである。
第3の態様では、本開示の実施例は、画像処理装置を提供し、前記装置は、
元の画像を取得するために用いられる元の画像取得モジュールと、
前記元の画像に対応するカートゥーン画像を決定するために用いられるカートゥーン画像決定モジュールと、
前記カートゥーン画像のライン情報とカラーブロック情報とを取得するために用いられるライン及びカラーブロック情報取得モジュールと、
前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するために用いられる切り絵画像生成モジュールと、を含む。
元の画像を取得するために用いられる元の画像取得モジュールと、
前記元の画像に対応するカートゥーン画像を決定するために用いられるカートゥーン画像決定モジュールと、
前記カートゥーン画像のライン情報とカラーブロック情報とを取得するために用いられるライン及びカラーブロック情報取得モジュールと、
前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するために用いられる切り絵画像生成モジュールと、を含む。
第4の態様では、本開示の実施例は、画像生成装置を提供し、前記装置は、
処理対象画像を取得するために用いられる処理対象画像取得モジュールと、
切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るために用いられる切り絵スタイル画像生成モジュールと、を含み、
前記切り絵スタイル画像生成モデルは、元の画像と前記元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、前記切り絵画像は、本開示の実施例により提供されるいずれかの上記画像処理方法に基づいて得られるものである。
処理対象画像を取得するために用いられる処理対象画像取得モジュールと、
切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るために用いられる切り絵スタイル画像生成モジュールと、を含み、
前記切り絵スタイル画像生成モデルは、元の画像と前記元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、前記切り絵画像は、本開示の実施例により提供されるいずれかの上記画像処理方法に基づいて得られるものである。
第5の態様では、本開示の実施例は、さらに、メモリと少なくとも1つのプロセッサとを含む電子機器を提供し、前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記少なくとも1つのプロセッサにより実行されると、電子機器が本開示の実施例により提供されるいずれかの上記画像処理方法又は画像生成方法を実現する。
第6の態様では、本開示の実施例は、さらに、コンピュータ可読記憶媒体を提供し、前記記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがコンピューティングデバイスにより実行されると、前記コンピューティングデバイスが本開示の実施例により提供されるいずれかの上記画像処理方法又は画像生成方法を実現する。
第7の態様では、本開示の実施例は、コンピュータプログラムを含む、コンピュータプログラム製品を提供し、前記コンピュータプログラムが可読記憶媒体に記憶されており、電子機器の少なくとも1つのプロセッサは前記可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも1つのプロセッサが前記コンピュータプログラムを実行すると、電子機器が本開示の実施例により提供されるいずれかの上記画像処理方法又は画像生成方法を実現する。
第8の態様では、本開示の実施例は、さらに、コンピュータプログラムを提供し、前記コンピュータプログラムが可読記憶媒体に記憶されており、電子機器の少なくとも1つのプロセッサは前記可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも1つのプロセッサが前記コンピュータプログラムを実行すると、電子機器が本開示の実施例により提供されるいずれかの上記画像処理方法又は画像生成方法を実現する。
本開示の実施例により提供される技術的解決手段は、従来の技術と比較して、少なくとも以下の利点を有している。本開示の実施例では、元の画像のカートゥーン画像に基づいてライン情報とカラーブロック情報とを抽出し、元の画像のライン情報とカラーブロック情報との抽出効果を向上させ、カートゥーン画像に基づいて抽出して得られたライン情報とカラーブロック情報とを利用し、必要な切り絵画像を生成し、新たな切り絵画像生成方法を提供することにより、切り絵画像の高品質な表示効果を確保し、電子機器でサポートされている画像処理機能を豊かにし、それによって、電子機器でサポートされているスタイル画像の変換タイプを豊かにし、従来の解決手段でサポートされているスタイル画像の変換タイプが限られており、ユーザのスタイル画像生成ニーズを満たすことができないという問題を解決する。
本明細書の図面は、本明細書に組み込まれ、本明細書の一部を構成し、本開示に適合する実施例を示し、本明細書とともに本開示の原理を説明するために使用される。
以下、本開示の実施例や従来の技術における技術的解決手段をより明瞭に説明するために、実施例又は従来の技術の記述において使用する必要がある図面を簡単に説明する。当然ながら、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面を取得しうる。
本開示の実施例により提供される1つの画像処理方法のフローチャートである。
本開示の実施例により提供されるライン情報とカラーブロック情報との抽出結果の概略図である。
本開示の実施例により提供される他の画像処理方法のフローチャートである。
本開示の実施例により提供される複数の情報抽出領域のライン情報とカラーブロック情報との抽出結果に基づいて継ぎ合わせ切り絵画像を得る概略図である。
本開示の実施例により提供されるプリセット処理によって切り絵画像を得る概略図である。
本開示の実施例により提供される画像生成方法のフローチャートである。
本開示の実施例により提供される1つの切り絵スタイルテンプレート画像の概略図である。
本開示の実施例により提供される他の切り絵スタイルテンプレート画像の概略図である。
本開示の実施例により提供される切り絵スタイル画像の比較概略図である。
本開示の実施例により提供される画像処理装置の構造概略図である。
本開示の実施例により提供される画像生成装置の構造概略図である。
本開示の実施例により提供される電子機器の構造概略図である。
以下、本開示の上記の目的、特徴及び利点をより明瞭に理解するために、本開示の解決手段をさらに説明する。なお、本開示の実施例及び実施例における特徴は、矛盾しない限り互いに組み合わせられることができる。
以下の説明では、本開示を十分に理解するために多くの詳細を説明するが、本開示は、本明細書で説明されるものとは異なる他の形態で実施されることもできる。当然ながら、本明細書における実施例は、本開示の実施例の一部にすぎず、そのすべての実施例ではない。
図1は、本開示の実施例により提供される1つの画像処理方法のフローチャートであり、切り絵画像を如何に生成するかのシーンに適用されることができ、当該方法は切り絵画像処理装置により実行されることができ、当該装置は、ソフトウェア及び/ハードウェアを利用して実現されることができ、また、さまざまなユーザ端末又はサーバなど、コンピューティング能力を備える任意の電子機器に集積されることができる。
本開示の実施例では、切り絵画像とは、切り絵効果を持つスタイル画像であり、あらかじめ設定された色のラインとカラーブロックとで形成される。任意の元の画像に対して、本開示の実施例により提供される画像処理方法を採用すれば、元の画像に対応する切り絵画像を得ることができ、画像スタイル化のニーズを豊かにし、ユーザ体験を向上させ、また、本開示の実施例に係る方法を採用して得られる切り絵画像は、元の画像と高い類似性を維持するだけでなく、ラインが滑らかで、カラーブロックがきれいでノイズが含まれない。切り絵画像のプリセット色は、具体的な切り絵画像生成ニーズに応じて決定されることができ、例えば、赤など、特定の祝日に関連する色とすることができ、本開示の実施例はこれを特に限定しない。
図1に示すように、本開示の実施例により提供される画像処理方法は、以下のステップを含むことができる。
S101では、元の画像を取得する。
元の画像は例えば、顔画像、動物画像、風景画像など、任意のタイプの画像とすることができる。例示的に、電子機器は、撮影装置を呼び出して撮影することにより元の画像を得てもよいし、ユーザによる画像アップロード操作によって元の画像を得てもよいし、インターネットを用いてデータ収集を行うことにより元の画像を得てもよい。
S102では、元の画像に対応するカートゥーン画像を決定する。
カートゥーン画像とは、カートゥーンスタイルの画像であり、例えば、特定の地域のカートゥーンスタイルのある画像などが挙げられる。元の画像に対応するカートゥーン画像は元の画像とは類似性が高い。例示的に、予めトレーニングして得られたカートゥーンスタイル画像生成モデルを利用して元の画像に対応するカートゥーン画像を得ることができる。カートゥーンスタイル画像生成モデルは、カートゥーン画像生成機能付きのものであり、例えば、敵対的生成ネットワークモデルに基づいてトレーニングして得ることができるが、当然ながら、これに限定されない。
S103では、カートゥーン画像のライン情報とカラーブロック情報とを取得する。
カートゥーン画像を得た後、任意の利用可能な特定の周波数情報抽出機能付きのアルゴリズムを利用してカートゥーン画像上のライン情報とカラーブロック情報とを抽出することができ、例えば、xdogアルゴリズムのような任意の利用可能なバンドパスフィルタリングアルゴリズムなどを利用することができる。
画素の色分布が乱雑であるため抽出して得られたライン情報とカラーブロック情報とが乱雑になっている元の画像と比較して、カートゥーン画像は、画素の色が単一で色分布が均一であり、抽出して得られるライン情報が滑らかであり、且つカラーブロック情報が比較的きれいであり、本開示の実施例は、カートゥーン画像に基づいてライン情報とカラーブロック情報との抽出を行うことにより、切り絵画像の高品質な表示効果を確保する。
選択的には、カートゥーン画像のライン情報とカラーブロック情報とを取得するステップは、次のステップを含む。
カートゥーン画像上の1つ又は複数の情報抽出領域を識別し、情報抽出領域の具体的な数は予め設定されてもよいし、カートゥーン画像に対して異なる色領域の識別を行うことにより決定されてもよく、色領域の識別は、従来の任意の利用可能な画像処理アルゴリズム(例えば、目標検出及び識別アルゴリズムなど)を利用して実現されることができ、本開示の実施例はそれを特に限定しない。
各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得し、カートゥーン画像のライン情報とカラーブロック情報とを得る。
異なる情報抽出領域の画素の色には差異があり、すなわち、異なる情報抽出領域は異なる周波数の画像特徴情報に対応することができるため、各情報抽出領域に対して、それに応じた抽出パラメータを設定することにより、各情報抽出領域内のライン情報とカラーブロック情報とを絞って抽出することを実現し、ライン情報とカラーブロック情報との抽出結果を確保し、切り絵画像の高品質な表示効果の更なる確保に寄与することができる。
抽出パラメータは、各情報抽出領域内の抽出対象としての特定の周波数の画像特徴情報を決定するために用いられ、抽出パラメータの具体的な内容は、抽出アルゴリズムに応じて設定されることができ、本開示の実施例はそれを特に限定しない。
例示的に、本開示の実施例では、元の画像は、目標対象が含まれる元の画像であり、カートゥーン画像は目標対象のカートゥーン画像であり、カートゥーン画像は元の画像に対応するカートゥーン画像であり、目標対象は例えば目標人物を含むことができ、それに応じて、情報抽出領域は、目標人物の目標部位領域(顔領域、髪領域、身体領域など)及びカートゥーン画像上の目標部位領域以外の他の領域(画像背景領域など)とすることができ、身体領域とは、当該カートゥーン画像の目標人物画像内の顔領域及び髪領域などの領域以外の残りの領域である。このとき、各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップは、例えば、顔領域に対応する抽出パラメータに基づいて顔領域のライン情報とカラーブロック情報とを取得するステップとしてもよいし、髪領域に対応する抽出パラメータに基づいて髪領域のライン情報とカラーブロック情報とを取得するステップとしてもよいし、身体領域に対応する抽出パラメータに基づいて身体領域のライン情報とカラーブロック情報とを取得するステップなどとしてもよい。
当然ながら、目標対象は目標動物であってもよく、具体的には、目標人物に類似するため、ここで繰り返して説明しない。
図2は、本開示の実施例により提供されるライン情報とカラーブロック情報との抽出結果の概略図であり、具体的には、目標人物が含まれる元の画像を例にして本開示の実施例を例示的に説明するが、このことは、本開示の実施例を具体的に限定していることとして理解すべきではない。図2に示すように、元の画像に基づいてライン情報(例えば人物髪領域のライン情報)とカラーブロック情報(例えば人物衣服領域のカラーブロック情報等)との抽出を直接に行う場合、髪領域のライン情報にはギザギザが多くあったり、衣服領域のカラーブロック情報にはノイズが多くあったりするなど、抽出して得られるラインとカラーブロックとは乱雑であり、最終的な切り絵画像の表示効果も劣っているが、元の画像をカートゥーン画像に変換するとともに、カートゥーン画像に基づいてライン情報とカラーブロック情報との抽出を行う場合、抽出して得られるラインは滑らかで、カラーブロックはきれいであり、最終的な切り絵画像の表示効果もよい。
S104では、カートゥーン画像のライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定する。
例示的に、切り絵画像は、プリセット画像色(すなわち、プリセット切り絵色)とプリセット画像解像度とに基づいて決定されてもよく、具体的には、切り絵画像の生成ニーズに応じて決定されてもよく、抽出して得られるライン情報とカラーブロック情報とに基づいて画像レンダリングを行い、元の画像に対応する切り絵画像を得る。
本開示の実施例により提供される画像処理方法を採用して得られる切り絵画像及び対応する元の画像は、トレーニングサンプルとして、切り絵スタイル画像生成モデルのトレーニングに使用され得る。切り絵スタイル画像生成モデルは、切り絵スタイル画像を生成する機能があり、条件付き敵対的生成ネットワーク(CGAN、Conditional Generative Adversarial Nets)やpixel2pixelネットワークなど、任意の利用可能なニューラルネットワークに基づいて実現され得る。
本開示の実施例では、元の画像のカートゥーン画像に基づいてライン情報とカラーブロック情報とを抽出し、元の画像のライン情報とカラーブロック情報との抽出効果を向上させ、カートゥーン画像に基づいて抽出して得られたライン情報とカラーブロック情報とを利用し、必要な切り絵画像を生成し、新たな切り絵画像生成方法を提供することにより、切り絵画像の高品質な表示効果を確保し、電子機器でサポートされている画像処理機能を豊かにし、それによって、電子機器でサポートされているスタイル画像の変換タイプを豊かにし、従来の解決手段でサポートされているスタイル画像の変換タイプが限られており、スタイル化効果が単一で、ユーザのスタイル画像生成多様化ニーズに満たすことができないという問題を解決する。
図3は、本開示の実施例により提供される他の画像処理方法のフローチャートであり、上記の実施例に基づいて最適化して拡張し、上記の各選択的な実施形態と組み合わせて利用することができる。図3に示すように、本開示の実施例により提供される画像処理方法は、以下のステップを含むことができる。
S201では、元の画像を取得する。
S202では、元の画像に対応するカートゥーン画像を決定する。
S203では、カートゥーン画像上の1つ又は複数の情報抽出領域を識別する。
情報抽出領域の具体的な数は予め設定されてもよいし、カートゥーン画像に対して異なる色領域の識別を行うことにより決定されてもよく、色領域の識別は、従来の任意の利用可能な画像処理アルゴリズム(例えば、画像分割アルゴリズムなど)を利用して実現されることができ、本開示の実施例はそれを特に限定しない。
S204では、各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得する。
抽出パラメータは、各情報抽出領域内の抽出対象としての特定の周波数の画像特徴情報を決定するために用いられ、抽出パラメータの具体的な内容は、抽出アルゴリズムに応じて設定されることができ、本開示の実施例はそれを特に限定しない。
異なる情報抽出領域の画素の色には差異があり、すなわち、異なる情報抽出領域は異なる周波数の画像特徴情報に対応することができるため、各情報抽出領域に対して、それに応じた抽出パラメータを設定することにより、各情報抽出領域内のライン情報とカラーブロック情報とを絞って抽出することを実現し、ライン情報とカラーブロック情報との抽出結果を確保し、切り絵画像の高品質な表示効果をさらに確保することができる。
選択的には、各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップは、
各情報抽出領域に対応する抽出パラメータに基づき、カートゥーン画像において各抽出パラメータに対応する候補ライン情報と候補カラーブロック情報とをそれぞれ取得するステップと、
各情報抽出領域のカートゥーン画像での位置に基づき、抽出パラメータに対応するカートゥーン画像の候補ライン情報と候補カラーブロック情報とから、各情報抽出領域内のライン情報とカラーブロック情報とをそれぞれ決定するステップと、を含む。
各情報抽出領域に対応する抽出パラメータに基づき、カートゥーン画像において各抽出パラメータに対応する候補ライン情報と候補カラーブロック情報とをそれぞれ取得するステップと、
各情報抽出領域のカートゥーン画像での位置に基づき、抽出パラメータに対応するカートゥーン画像の候補ライン情報と候補カラーブロック情報とから、各情報抽出領域内のライン情報とカラーブロック情報とをそれぞれ決定するステップと、を含む。
選択的な実施形態では、カートゥーン画像上の1つ又は複数の情報抽出領域を決定した後、各情報抽出領域に対応する抽出パラメータを利用し、カートゥーン画像全体に対してライン情報とカラーブロック情報との抽出操作をそれぞれ1回又は複数回行うとともに、毎回の抽出結果をカートゥーン画像の候補ライン情報及び候補カラーブロック情報とした後、各情報抽出領域のカートゥーン画像での位置に基づき、各抽出パラメータに対応するカートゥーン画像の候補ライン情報と候補カラーブロック情報とから、各情報抽出領域に属するライン情報とカラーブロック情報とを決定することができる。例えば、顔領域に対応する抽出パラメータを利用し、カートゥーン画像全体に対してライン情報とカラーブロック情報との抽出操作を行い、抽出結果をカートゥーン画像の候補ライン情報及び候補カラーブロック情報(顔領域のライン情報とカラーブロック情報とが含まれていると同時に、カートゥーン画像上の顔領域以外の他の領域のライン情報とカラーブロック情報とも含まれている)とした後、顔領域のカートゥーン画像全体での位置に基づき、カートゥーン画像の候補ライン情報と候補カラーブロック情報とから、顔領域のライン情報と候補カラーブロック情報とを決定する。
図4は、本開示の実施例により提供される複数の情報抽出領域のライン情報とカラーブロック情報との抽出結果に基づいて継ぎ合わせ切り絵画像を得る概略図であり、具体的には、目標人物が含まれる元の画像及び当該目標人物のカートゥーン画像を例にして本開示の実施例を例示的に説明するが、このことは、本開示の実施例を具体的に限定していることとして理解すべきではない。図4に示すように、カートゥーン画像上の情報抽出領域は、顔領域(顔立ちが含まれる)、髪領域、及び目標身体領域(人物の首元の部分及び上半身の服装領域が含まれ得る)を含むことができ、各情報抽出領域に対して、それに応じた抽出パラメータをそれぞれ設定し、例えば、xdogアルゴリズムを例にすると、顔領域は1セットのxdogパラメータに対応し、髪領域は他のセットのxdogパラメータに対応し、目標身体領域は別のセットのxdogパラメータに対応する。例えば、顔領域に対応する抽出パラメータを利用し、カートゥーン画像に対してライン情報とカラーブロック情報との抽出を行い、カートゥーン画像の1つの候補ライン情報と候補カラーブロック情報とを得る場合は、図4に示される顔領域に対する情報抽出結果の概略図を参照し、また、髪領域に対応する抽出パラメータを利用し、カートゥーン画像に対してライン情報とカラーブロック情報との抽出を行い、カートゥーン画像の1つの候補ライン情報と候補カラーブロック情報とを得る場合は、図4に示される髪領域に対する情報抽出結果の概略図を参照し、そして、目標身体領域に対応する抽出パラメータを利用し、カートゥーン画像に対してライン情報とカラーブロック情報との抽出を行い、カートゥーン画像の1つの候補ライン情報と候補カラーブロック情報とを得る場合は、図4に示される目標身体領域に対する情報抽出結果の概略図を参照する。
また、カートゥーン画像上の背景領域に対して、任意の1つのその他の情報抽出領域に対応する抽出パラメータを利用し、カートゥーン画像に対してライン情報とカラーブロック情報との抽出を行うことにより得られる背景領域に対応する抽出結果を、背景領域内のライン情報及びカラーブロック情報とする。図4に示すように、顔領域に対応する抽出パラメータを利用しカートゥーン画像に対してライン情報とカラーブロック情報との抽出を行った後、カートゥーン画像の候補ライン情報及び候補カラーブロック情報のうち、背景領域に対応する抽出結果を背景領域内のライン情報及びカラーブロック情報とすることができ、このとき、背景領域と顔領域とが同じ抽出パラメータを採用すると考えてもよい。また、背景領域に対してそれに応じた抽出パラメータを個別に設定してもよく、本開示の実施例はこれを特に限定せず、画像背景の表示ニーズに応じて設定することができる。
選択的には、各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップは、
各情報抽出領域のカートゥーン画像での位置に基づき、カートゥーン画像に対して領域分割を行い、各情報抽出領域に対応する領域サブ画像を得るステップと、
各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域に対応する領域サブ画像のライン情報とカラーブロック情報とをそれぞれ取得するステップと、を含む。
各情報抽出領域のカートゥーン画像での位置に基づき、カートゥーン画像に対して領域分割を行い、各情報抽出領域に対応する領域サブ画像を得るステップと、
各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域に対応する領域サブ画像のライン情報とカラーブロック情報とをそれぞれ取得するステップと、を含む。
選択的な実施形態では、画像分割アルゴリズムを利用してカートゥーン画像上の各情報抽出領域を検出し、そして、各情報抽出領域の領域面積に基づきカートゥーン画像に対して領域分割を行い、各情報抽出領域に対応する領域サブ画像を得ることができ、例えば、目標人物が含まれるカートゥーン画像上の顔領域、髪領域、及び目標身体領域を検出した後、これらの領域に基づいてカートゥーン画像を分割し、複数の領域サブ画像を得られ、そして、各情報抽出領域に対応する抽出パラメータに基づき、それに対応する各領域サブ画像に対してライン情報とカラーブロック情報との抽出を個別に行うことができる。
S205では、各情報抽出領域のカートゥーン画像での位置に基づき、各情報抽出領域内のライン情報とカラーブロック情報とに対して継ぎ合わせを行い、カートゥーン画像のライン情報とカラーブロック情報とを得る。
引き続き図4を参照すると、各情報抽出領域内のライン情報とカラーブロック情報とを得た後、各情報抽出領域のカートゥーン画像での位置に基づき、各情報抽出領域内のライン情報とカラーブロック情報とに対して継ぎ合わせを行い、これによりカートゥーン画像のライン情報とカラーブロック情報とを得ることができる。例えば、カートゥーン画像での顔領域、髪領域、及び身体領域などの位置関係に基づき、各情報抽出領域内のライン情報とカラーブロック情報とに対して継ぎ合わせを行い、目標人物が含まれるカートゥーン画像のライン情報とカラーブロック情報とを得る。
S206では、カートゥーン画像のライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定する。
本開示の実施例では、異なる情報抽出領域に基づいてカートゥーン画像上のライン情報とカラーブロック情報とを絞って抽出することにより、情報抽出効果を向上させるが、異なる情報抽出領域の抽出パラメータは異なるため、各情報抽出領域の抽出結果に対して継ぎ合わせを行った後、継ぎ合わせの結果として、全体的なスタイルが統合せず、ラインにはギザギザやノイズなどが依然として多く存在しており、切り絵画像の表示効果に影響を与える要素となっているため、本開示の実施例は、切り絵画像の生成プロセスをさらに最適化することができる。すなわち、選択的には、カートゥーン画像のライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定するステップは、カートゥーン画像のライン情報とカラーブロック情報とに基づいて候補画像を得るステップと、候補画像に対してプリセット処理を行うとともに、プリセット処理の結果に基づいて元の画像に対応する切り絵画像を得るステップと、を含んでもよい。プリセット処理は、ライン情報のギザギザの除去及びライン情報のノイズの除去の少なくとも1つを含む。ギザギザとノイズとの除去について、従来の技術においてギザギザ及びノイズの除去機能を備える任意の利用可能なアルゴリズムを利用して実現されることができ、本開示の実施例はそれを特に限定しない。
選択的な実施形態では、候補画像に対してプリセット処理を行うとともに、プリセット処理の結果に基づいて元の画像に対応する切り絵画像を得るステップは、次のステップを含む。
候補画像をベクトル化画像に変換し、具体的には、従来の任意の利用可能なベクトル化技術を利用して候補画像(ビットマップの1種)をベクトル化画像に変換することができ、ベクトル化後に、画像に対する任意の拡大処理によって画像の歪みを回避することができ、ベクトル化処理によって、候補画像のギザギザやノイズを減少させ、それによって候補画像の最適化を実現することができる。
プリセット画像色とプリセット画像解像度とに基づき、ベクトル化画像に対してレンダリングを行い、元の画像に対応する切り絵画像を得る。選択的には、プリセット画像色は、赤など、プリセット祝日情報に関連する色を含む。
図5は、本開示の実施例により提供されるプリセット処理によって切り絵画像を得る概略図であり、本開示の実施例を例示的に説明するために用いられ、図5に示すように、前述したプリセット処理によって得られる切り絵画像には、ギザギザ及びノイズがほとんどなく、よい画像効果を表示している。
本開示の実施例では、元の画像に対応するカートゥーン画像上の各情報抽出領域に基づき、ライン情報とカラーブロック情報とを絞って抽出し、元の画像のライン情報とカラーブロック情報との抽出効果を向上させ、カートゥーン画像に基づいて抽出して得られたライン情報とカラーブロック情報とを利用し、必要な切り絵画像を生成し、新たな切り絵画像生成方法を提供することにより、切り絵画像の高品質な表示効果を確保し、電子機器でサポートされている画像処理機能を豊かにし、それによって、電子機器でサポートされているスタイル画像の変換タイプを豊かにし、従来の解決手段でサポートされているスタイル画像の変換タイプが限られており、ユーザのスタイル画像生成ニーズを満たすことができないという問題を解決する。
図6は、本開示の実施例により提供される画像生成方法のフローチャートであり、切り絵スタイル画像を如何に生成するかのシーンに適用されることができる。当該画像生成方法は画像生成装置により実行されることができ、当該装置は、ソフトウェア及び/又はハードウェアを利用して実現されることができ、例えば、モバイルスマート端末、タブレットコンピュータ、ノートブックコンピュータなど、コンピューティング能力を備える任意の電子機器に集積されることができる。
本開示の実施例により提供される画像生成方法は、切り絵スタイル画像生成モデルを予めトレーニングして実現され、当該切り絵スタイル画像生成モデルは、元の画像と元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、当該切り絵画像は、本開示の実施例により提供される任意の利用可能な画像処理方法に基づいて得られるものである。すなわち、本開示の実施例により提供される任意の画像処理方法を利用して、元の画像に対応する切り絵画像を得ることができ、元の画像と対応する切り絵画像とを、切り絵スタイル画像生成モデルをトレーニングして得るために用いられるペアトレーニングデータとする。切り絵画像を直接に描画して得られるトレーニングデータと比較して、本開示の上記の画像処理方法を利用して得られるトレーニングデータは、効率がより高く、コストがより低い。例示的に、切り絵スタイル画像生成モデルは、条件付き敵対的生成ネットワーク(CGAN、Conditional Generative Adversarial Nets)やpixel2pixelネットワークなど、任意の利用可能なニューラルネットワークに基づいて実現され得る。画像処理方法の具体的な説明は、上記の実施例の内容を参照することができる。
また、本開示の実施例では、画像生成方法は、独立したアプリケーションプログラム又はパブリックプラットフォームに集積されたアプレットの形式で実現されてもよいし、画像編集機能付きのアプリケーションプログラム又はアプレット内に集積された機能モジュールとして実現されてもよく、当該アプリケーションプログラム又はアプレットは、ビデオインタラクション系アプリケーションプログラム又はビデオインタラクション系アプレットなどを含むが、それらに限定されない。
図6に示すように、本開示の実施例により提供される画像生成方法は、以下のステップを含むことができる。
S301では、処理対象画像を取得する。
処理対象画像は例えば、顔画像、動物画像、風景画像など、任意のタイプの画像とすることができる。例示的に、電子機器は、撮影装置を呼び出して撮影することにより処理対象画像を得てもよいし、ユーザによる画像アップロード操作によって処理対象画像を得てもよい。
S302では、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得る。
切り絵スタイル画像生成モデルは、元の画像と元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、切り絵画像は、本開示の実施例により提供される任意の利用可能な画像処理方法に基づいて得られるものである。
選択的には、本開示の実施例により提供される画像生成方法は、処理対象画像を取得するステップの前に、さらに、
ユーザの切り絵スタイル画像生成リクエストに応答し、元のテンプレート画像を表示するステップを含み、
本開示の実施例により提供される画像生成方法は、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るステップの後に、さらに、
切り絵スタイル画像を元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップを含む。
ユーザの切り絵スタイル画像生成リクエストに応答し、元のテンプレート画像を表示するステップを含み、
本開示の実施例により提供される画像生成方法は、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るステップの後に、さらに、
切り絵スタイル画像を元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップを含む。
元のテンプレート画像は、予め設定された背景画像であり、任意のタイプのプリセット画像を含むことができ、本開示の実施例はそれを特に限定しない。例示的に、ユーザは、電子機器の画面に表示されているテンプレート画像に対応する小道具アイコンをタッチすることにより、切り絵スタイル画像生成リクエストをトリガーしてもよいし、または、ユーザは、電子機器の画面に表示されている撮影ボタンを直接にタッチすることにより、切り絵スタイル画像生成リクエストをトリガーしてもよいし、または、ユーザは、ジェスチャー制御又は音声制御などの手段を用いて、切り絵スタイル画像生成リクエストをトリガーしてもよく、電子機器は、ユーザの切り絵スタイル画像生成リクエストに応答し、元のテンプレート画像をランダムに表示してもよいし、プリセットルールに従って元のテンプレート画像を表示してもよく、プリセットルールは例えば、元のテンプレート画像の人気度(又は大量のユーザによって使用される回数、具体的には、サーバがバックグラウンドで統計する)に従って表示するルール、または、元のテンプレート画像のデフォルトの順序に従って表示するルールを含むことができ、本開示の実施例はそれを特に限定せず、当然ながら、さらに、ユーザの切り絵スタイル画像生成リクエストに応答した後、ユーザの元のテンプレート画像に従って操作を選択し、ユーザが選択した元のテンプレート画像を表示したりすることもできる。
切り絵スタイルテンプレート画像は、元のテンプレート画像を切り絵スタイル化したテンプレート画像である。各々の元のテンプレート画像に対応する切り絵スタイルテンプレート画像は予め生成されたものであってもよく、目標画像生成中に、元のテンプレート画像と切り絵スタイルテンプレート画像との対応関係に従って、現在使用している元のテンプレート画像に対応する切り絵スタイルテンプレート画像を呼び出すことができる。
例示的に、本開示の実施例により提供される元のテンプレート画像は、プリセット祝日情報に関連するテンプレート画像を含むことができ、切り絵スタイル画像と切り絵スタイルテンプレート画像との色は、赤など、プリセット祝日情報に関連する色を含む。
図7は、本開示の実施例により提供される1つの切り絵スタイルテンプレート画像の概略図であり、図7に示すように、切り絵スタイルテンプレート画像には、灯籠のような祝日に関連する要素など、十二支に関連する要素が含まれることができ、このとき、対応する元のテンプレート画像は、切り絵スタイル化前の灯籠要素を含み、切り絵スタイルテンプレート画像は、切り絵スタイル化後の灯籠要素を含む。図8は、本開示の実施例により提供される他の切り絵スタイルテンプレート画像の概略図であり、図8に示すように、切り絵スタイルテンプレート画像には、特定の植物に関連する要素が含まれることができる。図7及び図8は、一例として、本開示の実施例に係る切り絵スタイルテンプレート画像を例示的に説明するために用いられるものであるが、それらは、本開示の実施例を具体的に限定しているものとして理解すべきではないことを理解すべきである。
生成された切り絵スタイル画像とともに、切り絵スタイルテンプレート画像も一緒に表示することは、スタイル画像の表示効果の向上に寄与する。目標画像の表示効果は、図9に示される表示効果を参照することができ、図9は、具体的には、図8に示される切り絵スタイルテンプレート画像及び処理対象画像が顔画像である場合を例にして、目標画像の表示効果を示している。
選択的な実施形態では、切り絵スタイル画像をテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップは、
切り絵スタイル画像での目標対象の位置に基づき、切り絵スタイル画像に対して領域分割を行い、目標対象に対応する領域サブ画像を得るステップと、
目標対象に対応する領域サブ画像を元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップと、を含む。
切り絵スタイル画像での目標対象の位置に基づき、切り絵スタイル画像に対して領域分割を行い、目標対象に対応する領域サブ画像を得るステップと、
目標対象に対応する領域サブ画像を元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップと、を含む。
撮影対象とも呼ばれる目標対象は、処理対象画像のタイプに関連付けられている。例示的に、目標対象が目標人物である場合を例にすると、処理対象画像及び対応する切り絵スタイル画像は、目標人物が含まれる画像であり、切り絵スタイル画像上の目標対象に対応する領域サブ画像は、当該目標人物のみが表示されている画像となる。目標対象に対応する領域サブ画像を元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示することにより、目標画像の全体的な表示効果への切り絵スタイル画像上の背景領域からの影響を回避することができ、すなわち、切り絵スタイルテンプレート画像上の背景を利用して目標画像の背景とすることにより、画像全体の表示スタイルの統一性を確保することができ、画像表示効果が高い。
選択的な実施形態では、本開示の実施例により提供される画像生成方法は、予めトレーニングされた切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るステップの後に、さらに、
切り絵スタイル画像に対して特徴増強処理及び/又はぼかし除去処理を行うステップを含む。
切り絵スタイル画像に対して特徴増強処理及び/又はぼかし除去処理を行うステップを含む。
切り絵スタイル画像生成モデルの入力画像のサイズは通常プリセットサイズであることを鑑みて、ユーザの処理対象画像は当該プリセットサイズを満たさない場合、通常、入力画像のサイズに対する要求が満たされるまでズームなどの処理操作が必要であり、そして、モデルに入力し、モデル処理を経てスタイル画像を出力し、最後に、モデルから出力されたスタイル画像を処理対象画像と同じサイズのものに再びズームし、切り絵スタイル画像を得てユーザに表示し、この過程では、ズーム操作のため、切り絵スタイル画像のぼやけた表示効果につながりやすいため、切り絵スタイル画像の表示効果を改善するためには、切り絵スタイル画像に対して特徴増強処理及び/又はぼかし除去処理を行うことができる。
例1では、切り絵スタイル画像に対して特徴増強処理を行うステップは、
切り絵スタイル画像に対してぼかし処理を行い、ぼかしスタイル画像を得るステップであって、ぼかし処理は、任意の利用可能なぼかし処理アルゴリズムを利用して実現されることができ、本開示の実施例はそれを特に限定しないステップと、
切り絵スタイル画像とぼかしスタイル画像とに基づき、切り絵スタイル画像に対応する残差画像を決定するステップと、
残差画像に対して特徴拡大処理を行うとともに、特徴拡大処理が行われた残差画像とぼかしスタイル画像とに対して重ね処理を行い、特徴増強処理が行われた切り絵スタイル画像を得るステップと、を含む。
切り絵スタイル画像に対してぼかし処理を行い、ぼかしスタイル画像を得るステップであって、ぼかし処理は、任意の利用可能なぼかし処理アルゴリズムを利用して実現されることができ、本開示の実施例はそれを特に限定しないステップと、
切り絵スタイル画像とぼかしスタイル画像とに基づき、切り絵スタイル画像に対応する残差画像を決定するステップと、
残差画像に対して特徴拡大処理を行うとともに、特徴拡大処理が行われた残差画像とぼかしスタイル画像とに対して重ね処理を行い、特徴増強処理が行われた切り絵スタイル画像を得るステップと、を含む。
例えば、ガウスぼかしアルゴリズムを利用し、切り絵スタイル画像Aに対してぼかし処理を行い、ぼかしスタイル画像Bを得ることができ、ぼかし情報は低周波情報であり、そして、切り絵スタイル画像Aとぼかしスタイル画像Bとに基づき、残差画像Cを決定し、当該残差画像Cは、C=A-B(同じ画像位置での画像特徴の減算を表す)のように表すことができ、すなわち、残差画像は、切り絵スタイル画像上の高周波情報を表すために使用されることができ、最後に、残差画像に対して特徴拡大処理を行い、すなわち、高周波情報に対して特徴拡大を行い、例えば、プリセットパラメータtと残差画像Cとを乗算し、特徴拡大処理が行われた残差画像とぼかしスタイル画像とに対して重ね処理を行い、特徴増強処理が行われた切り絵スタイル画像Dを得る。D=B+t・Cと表すことができ、プリセットパラメータtの値が大きいほど、得られる特徴増強処理が行われた切り絵スタイル画像Dが鮮明になる。
例2では、切り絵スタイル画像に対してぼかし除去処理を行うステップは、
切り絵スタイル画像に対して高周波情報抽出を行い、ぼかし除去処理が行われた切り絵スタイル画像を得るステップを含む。切り絵スタイル画像上の低周波情報は低周波情報であるため、切り絵スタイル画像に対して高周波情報抽出を行い、例えば、xdogアルゴリズムを利用して高周波情報抽出を行うことにより、ぼかし除去効果を達成することができる。
切り絵スタイル画像に対して高周波情報抽出を行い、ぼかし除去処理が行われた切り絵スタイル画像を得るステップを含む。切り絵スタイル画像上の低周波情報は低周波情報であるため、切り絵スタイル画像に対して高周波情報抽出を行い、例えば、xdogアルゴリズムを利用して高周波情報抽出を行うことにより、ぼかし除去効果を達成することができる。
図9は、本開示の実施例により提供される切り絵スタイル画像の比較概略図であり、本開示の実施例に係る特徴増強処理及び/又はぼかし除去処理が行われる前の、及び、特徴増強処理及び/又はぼかし除去処理が行われた切り絵スタイル画像を例示的に説明するために用いられるものであるが、それは、本開示の実施例を具体的に限定しているものとして理解すべきではない。図9に示すように、特徴増強処理及び/又はぼかし除去処理が行われた切り絵スタイル画像は、より鮮明な表示効果がある。
本開示の実施例では、元の画像と元の画像に対応する切り絵画像とに基づいて切り絵スタイル画像生成モデルをトレーニングして得られ、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得ることにより、従来の解決手段でサポートされているスタイル画像の変換タイプが限られており、ユーザのスタイル画像生成ニーズを満たすことができないという問題を解決し、電子機器でサポートされるスタイル画像変換タイプを豊かにし、切り絵スタイル画像の高効率の生成を実現し、スタイル画像生成の面白さを向上させる。
図10は、本開示の実施例により提供される画像処理装置400の構造概略図であり、当該装置は、ソフトウェア及び/又はハードウェアを利用して実現されることができ、また、さまざまなユーザ端末又はサーバなど、コンピューティング能力を備える任意の電子機器に集積されることができる。
図10に示すように、本開示の実施例により提供される画像処理装置400は、元の画像取得モジュール401、カートゥーン画像決定モジュール402、ライン及びカラーブロック情報取得モジュール403、及び切り絵画像生成モジュール404を含んでもよい。
元の画像取得モジュール401は、元の画像を取得するために用いられ、
カートゥーン画像決定モジュール402は、元の画像に対応するカートゥーン画像を決定するために用いられ、
ライン及びカラーブロック情報取得モジュール403は、カートゥーン画像のライン情報とカラーブロック情報とを取得するために用いられ、
切り絵画像生成モジュール404は、カートゥーン画像のライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定するために用いられる。
元の画像取得モジュール401は、元の画像を取得するために用いられ、
カートゥーン画像決定モジュール402は、元の画像に対応するカートゥーン画像を決定するために用いられ、
ライン及びカラーブロック情報取得モジュール403は、カートゥーン画像のライン情報とカラーブロック情報とを取得するために用いられ、
切り絵画像生成モジュール404は、カートゥーン画像のライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定するために用いられる。
選択的には、ライン及びカラーブロック情報取得モジュール403は、
カートゥーン画像上の1つ又は複数の情報抽出領域を識別するために用いられる情報抽出領域識別ユニットと、
各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得するために用いられるライン及びカラーブロック情報抽出ユニットと、
各情報抽出領域のカートゥーン画像での位置に基づき、各情報抽出領域内のライン情報とカラーブロック情報とに対して継ぎ合わせを行い、カートゥーン画像のライン情報とカラーブロック情報とを得るために用いられる情報継ぎ合わせユニットと、を含む。
カートゥーン画像上の1つ又は複数の情報抽出領域を識別するために用いられる情報抽出領域識別ユニットと、
各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得するために用いられるライン及びカラーブロック情報抽出ユニットと、
各情報抽出領域のカートゥーン画像での位置に基づき、各情報抽出領域内のライン情報とカラーブロック情報とに対して継ぎ合わせを行い、カートゥーン画像のライン情報とカラーブロック情報とを得るために用いられる情報継ぎ合わせユニットと、を含む。
選択的には、ライン及びカラーブロック情報抽出ユニットは、
各情報抽出領域に対応する抽出パラメータに基づき、カートゥーン画像内の各抽出パラメータに対応する候補ライン情報と候補カラーブロック情報とをそれぞれ取得するために用いられる第1の情報取得サブユニットと、
各情報抽出領域のカートゥーン画像での位置に基づき、抽出パラメータに対応するカートゥーン画像の候補ライン情報と候補カラーブロック情報とから、各情報抽出領域内のライン情報とカラーブロック情報とをそれぞれ決定するために用いられる第1の情報決定サブユニットと、を含む。
各情報抽出領域に対応する抽出パラメータに基づき、カートゥーン画像内の各抽出パラメータに対応する候補ライン情報と候補カラーブロック情報とをそれぞれ取得するために用いられる第1の情報取得サブユニットと、
各情報抽出領域のカートゥーン画像での位置に基づき、抽出パラメータに対応するカートゥーン画像の候補ライン情報と候補カラーブロック情報とから、各情報抽出領域内のライン情報とカラーブロック情報とをそれぞれ決定するために用いられる第1の情報決定サブユニットと、を含む。
選択的には、ライン及びカラーブロック情報抽出ユニットは、
各情報抽出領域のカートゥーン画像での位置に基づき、カートゥーン画像に対して領域分割を行い、各情報抽出領域に対応する領域サブ画像を得るために用いられる領域分割サブユニットと、
各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域に対応する領域サブ画像のライン情報とカラーブロック情報とをそれぞれ取得するために用いられる第2の情報取得サブユニットと、を含む。
各情報抽出領域のカートゥーン画像での位置に基づき、カートゥーン画像に対して領域分割を行い、各情報抽出領域に対応する領域サブ画像を得るために用いられる領域分割サブユニットと、
各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域に対応する領域サブ画像のライン情報とカラーブロック情報とをそれぞれ取得するために用いられる第2の情報取得サブユニットと、を含む。
選択的には、切り絵画像生成モジュール404は、
カートゥーン画像のライン情報とカラーブロック情報とに基づいて候補画像を得るために用いられる候補画像決定ユニットと、
候補画像に対してプリセット処理を行うとともに、プリセット処理の結果に基づいて元の画像に対応する切り絵画像を得るために用いられるプリセット処理ユニットであって、プリセット処理は、ライン情報のギザギザの除去及びライン情報のノイズの除去の少なくとも1つを含むプリセット処理ユニットと、を含む。
カートゥーン画像のライン情報とカラーブロック情報とに基づいて候補画像を得るために用いられる候補画像決定ユニットと、
候補画像に対してプリセット処理を行うとともに、プリセット処理の結果に基づいて元の画像に対応する切り絵画像を得るために用いられるプリセット処理ユニットであって、プリセット処理は、ライン情報のギザギザの除去及びライン情報のノイズの除去の少なくとも1つを含むプリセット処理ユニットと、を含む。
選択的には、プリセット処理サブユニットは、
候補画像をベクトル化画像に変換するために用いられる画像変換サブユニットと、
プリセット画像色とプリセット画像解像度とに基づき、ベクトル化画像に対してレンダリングを行い、元の画像に対応する切り絵画像を得るために用いられる画像レンダリングサブユニットと、を含む。
候補画像をベクトル化画像に変換するために用いられる画像変換サブユニットと、
プリセット画像色とプリセット画像解像度とに基づき、ベクトル化画像に対してレンダリングを行い、元の画像に対応する切り絵画像を得るために用いられる画像レンダリングサブユニットと、を含む。
本開示の実施例により提供される画像処理装置は、本開示の実施例により提供される任意の画像処理方法を実行することができ、当該方法を実行するための相応の機能モジュール及び有益な効果を備える。本開示の装置の実施例では詳細に説明していない内容は、本開示の任意の方法の実施例の記述を参照することができる。
図11は、本開示の実施例により提供される画像生成装置の構造概略図であり、当該装置は、ソフトウェア及び/又はハードウェアを利用して実現されることができ、例えば、モバイルスマート端末、タブレットコンピュータ、ノートブックコンピュータなど、コンピューティング能力を備える任意の電子機器に集積されることができる。
図11に示すように、本開示の実施例により提供される画像生成装置500は、処理対象画像取得モジュール501及び切り絵スタイル画像生成モジュール502を含んでもよい。
処理対象画像取得モジュール501は、処理対象画像を取得するために用いられ、
切り絵スタイル画像生成モジュール502は、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るために用いられ、
切り絵スタイル画像生成モデルは、元の画像と元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、切り絵画像は、本開示の実施例により提供されるいずれかの画像処理方法に基づいて得られるものである。
処理対象画像取得モジュール501は、処理対象画像を取得するために用いられ、
切り絵スタイル画像生成モジュール502は、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るために用いられ、
切り絵スタイル画像生成モデルは、元の画像と元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、切り絵画像は、本開示の実施例により提供されるいずれかの画像処理方法に基づいて得られるものである。
選択的には、本開示の実施例により提供される画像生成装置500は、さらに、
ユーザの切り絵スタイル画像生成リクエストに応答し、元のテンプレート画像を表示するために用いられるテンプレート画像表示モジュールと、
切り絵スタイル画像をテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するために用いられる目標画像生成モジュールと、を含んでもよい。
ユーザの切り絵スタイル画像生成リクエストに応答し、元のテンプレート画像を表示するために用いられるテンプレート画像表示モジュールと、
切り絵スタイル画像をテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するために用いられる目標画像生成モジュールと、を含んでもよい。
選択的には、目標画像生成モジュールは、
切り絵スタイル画像での目標対象の位置に基づき、切り絵スタイル画像に対して領域分割を行い、目標対象に対応する領域サブ画像を得るために用いられる領域分割ユニットと、
目標対象に対応する領域サブ画像を元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するために用いられる重ね表示ユニットと、を含む。
切り絵スタイル画像での目標対象の位置に基づき、切り絵スタイル画像に対して領域分割を行い、目標対象に対応する領域サブ画像を得るために用いられる領域分割ユニットと、
目標対象に対応する領域サブ画像を元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するために用いられる重ね表示ユニットと、を含む。
選択的には、本開示の実施例により提供される画像生成装置500は、さらに、
切り絵スタイル画像に対して特徴増強処理及び/又はぼかし除去処理を行うために用いられるスタイル画像処理モジュールを含んでもよい。
切り絵スタイル画像に対して特徴増強処理及び/又はぼかし除去処理を行うために用いられるスタイル画像処理モジュールを含んでもよい。
選択的には、スタイル画像処理モジュールは、
切り絵スタイル画像に対してぼかし処理を行い、ぼかしスタイル画像を得るために用いられるぼかし処理ユニットと、
切り絵スタイル画像とぼかしスタイル画像とに基づき、切り絵スタイル画像に対応する残差画像を決定するために用いられる残差画像決定ユニットと、
残差画像に対して特徴拡大処理を行うとともに、特徴拡大処理が行われた残差画像とぼかしスタイル画像とに対して重ね処理を行い、特徴増強処理が行われた切り絵スタイル画像を得るために用いられる画像重ね処理ユニットと、を含む。
切り絵スタイル画像に対してぼかし処理を行い、ぼかしスタイル画像を得るために用いられるぼかし処理ユニットと、
切り絵スタイル画像とぼかしスタイル画像とに基づき、切り絵スタイル画像に対応する残差画像を決定するために用いられる残差画像決定ユニットと、
残差画像に対して特徴拡大処理を行うとともに、特徴拡大処理が行われた残差画像とぼかしスタイル画像とに対して重ね処理を行い、特徴増強処理が行われた切り絵スタイル画像を得るために用いられる画像重ね処理ユニットと、を含む。
選択的には、スタイル画像処理モジュールは、
切り絵スタイル画像に対して高周波情報抽出を行い、ぼかし除去処理が行われた切り絵スタイル画像を得るために用いられる高周波情報抽出ユニットを含む。
切り絵スタイル画像に対して高周波情報抽出を行い、ぼかし除去処理が行われた切り絵スタイル画像を得るために用いられる高周波情報抽出ユニットを含む。
本開示の実施例により提供される画像生成装置は、本開示の実施例により提供される任意の画像生成方法を実行することができ、当該方法を実行するための相応の機能モジュール及び有益な効果を備える。本開示の装置の実施例では詳細に説明していない内容は、本開示の任意の方法の実施例の記述を参照することができる。
図12は、本開示の実施例により提供される電子機器の構造概略図であり、本開示の実施例により提供される画像処理方法又は画像生成方法を実現する電子機器を例示的に説明するために用いられる。本開示の実施例における電子機器は、携帯電話、ノートブックコンピュータ、デジタル放送受信機、PDA(パーソナルデジタルアシスタント)、PAD(タブレットコンピュータ)、PMP(携帯型マルチメディアプレーヤー)、車載端末(例えば、車載ナビゲーション端末)などの移動端末、及びデジタルTV、デスクトップコンピュータ、スマートホームデバイス、ウェアラブル電子機器、サーバなどの固定端末を含むことができるが、それらに限定されない。図12に示される電子機器は単なる一例であり、本開示の実施例の機能及び使用範囲にいかなる制限も課すべきでない。
図12に示すように、電子機器600は、1つ又は複数のプロセッサ601及びメモリ602を含む。
プロセッサ601は、中央処理装置(CPU)又はデータ処理能力及び/又は命令実行能力を備える他の形式の処理ユニットとすることができ、電子機器600における他のコンポーネントを制御して所望する機能を実行することができる。
メモリ602は、1つ又は複数のコンピュータプログラム製品を含むことができ、コンピュータプログラム製品は、例えば揮発性メモリ及び/又は不揮発性メモリなど、さまざまな形式のコンピュータ可読記憶媒体を含むことができる。揮発性メモリは、例えばランダムアクセスメモリ(RAM)及び/又は高速キャッシュメモリ(cache)などを含むことができる。不揮発性メモリは、例えば読み取り専用メモリ(ROM)、ハードディスク、フラッシュメモリなどを含むことができる。コンピュータ可読記憶媒体には、1つ又は複数のコンピュータプログラム命令が記憶されることができ、プロセッサ601はプログラム命令を実行することができ、それによって、本開示の実施例により提供される画像処理方法又は画像生成方法を実現し、さらに、所望する他の機能を実現することもできる。コンピュータ可読記憶媒体には、さらに、入力信号、信号成分、ノイズ成分などさまざまな内容が含まれることができる。
1つの態様では、本開示の実施例により提供される画像処理方法は、元の画像を取得するステップと、元の画像に対応するカートゥーン画像を決定するステップと、カートゥーン画像のライン情報とカラーブロック情報とを取得するステップと、ライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定するステップと、を含むことができる。
他の態様では、本開示の実施例により提供される画像生成方法は、処理対象画像を取得するステップと、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るステップと、を含んでもよい。切り絵スタイル画像生成モデルは、元の画像と元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、切り絵画像は、本開示の実施例により提供される任意の画像処理方法に基づいて得られるものである。
電子機器600は、さらに、本開示の方法の実施例により提供される他の選択的な実施形態を実行することができる。
一例では、電子機器600は、さらに、入力装置603及び出力装置604を含むことができ、これらのコンポーネントは、バスシステム及び/又は他の形式の接続機構で(図示しない)互いに接続され得る。
また、当該入力装置603は、さらに、キーボード、マウスなどを含むことができる。
当該出力装置604は、決定された距離情報や方向情報などを含むさまざまな情報を外部に出力することができる。当該出力装置604は、例えば、ディスプレイ、スピーカ、プリンタ、通信ネットワーク及びそれに接続された遠隔出力デバイスなどを含むことができる。
当然ながら、簡潔さのために、図12には、当該電子機器600の本開示に関連するコンポーネントの一部のみを示しており、バスや入力/出力ポートなどのコンポーネントを省略している。また、電子機器600は、具体的な応用状況に応じて、任意の他の適切なコンポーネントを含むことができる。
本開示の実施例は、上記の方法及び機器のほか、さらに、コンピュータプログラム又はコンピュータプログラム命令を含む、コンピュータプログラム製品を提供し、コンピュータプログラム又はコンピュータプログラム命令がコンピューティングデバイスにより実行されるとき、コンピューティングデバイスが本開示の実施例により提供される任意の画像処理方法又は画像生成方法を実現する。
コンピュータプログラム製品においては、本開示の実施例の操作を実行するためのプログラムコードは、Java、C++などのオブジェクト指向プログラミング言語と、「C」言語又はそれに類似するプログラミング言語などの従来の手続き型プログラミング言語と、を含む1つ又は複数のプログラミング言語の組み合わせで書くことができる。プログラムコードは、完全にユーザ電子機器で実行されてもよいし、部分的にユーザ電子機器で実行されてもよいし、独立したソフトウェアパッケージとして実行されてもよいし、部分的にユーザ電子機器で実行されて且つ部分的にリモート電子機器で実行されてもよいし、または完全にリモート電子機器で実行されてもよい。
また、本開示の実施例は、さらに、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体を提供し、コンピュータプログラム命令がコンピューティングデバイスにより実行されるとき、コンピューティングデバイスが本開示の実施例により提供される任意の画像処理方法又は画像生成方法を実現する。
1つの態様では、本開示の実施例により提供される画像処理方法は、元の画像を取得するステップと、元の画像に対応するカートゥーン画像を決定するステップと、カートゥーン画像のライン情報とカラーブロック情報とを取得するステップと、ライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定するステップと、を含むことができる。
他の態様では、本開示の実施例により提供される画像生成方法は、処理対象画像を取得するステップと、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るステップと、を含むことができ、切り絵スタイル画像生成モデルは、元の画像と元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、切り絵画像は、本開示の実施例により提供される任意の画像処理方法に基づいて得られるものである。
コンピュータプログラム命令は、コンピューティングデバイスにより実行されると、コンピューティングデバイスが本開示の方法の実施例により提供される他の選択的な実施形態を実現するようにさせることができることを理解すべきである。
コンピュータ可読記憶媒体は、1つ又は複数の可読媒体の任意の組み合わせを使用することができる。可読媒体は、可読信号媒体又は可読記憶媒体であり得る。可読記憶媒体は、電気的、磁気的、光学的、電磁的、赤外線、又は半導体のシステム、装置又はデバイス、あるいは上記の任意の組み合わせにすることができるが、それらに限定されない。可読記憶媒体のより具体的な例(非網羅的なリスト)として、1本又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光ストレージデバイス、磁気メモリコンポーネント、または上記の任意の適切な組み合わせを含む。
なお、本明細書では、「第1」及び「第2」などの関係用語は、1つのエンティティ又は操作を別のエンティティ又は操作から区別するためだけに使用され、必ずしもこれらのエンティティ又は操作の間の何らかの実際の関係又は順序を要求又は暗示するものではない。また、用語「含む」、「含まれる」、またはそれらの任意の他の変形は、非排他的な包含を含むことを意図し、それによって、一連の要素を含むプロセス、方法、物品、またはデバイスは、それらの要素だけでなく、明示的に列挙されていない他の要素、またはそのようなプロセス、方法、物品、またはデバイスに固有の要素も含む。より限定されない限り、「1つの・・・を含む」という文によって限定される要素は、要素が含まれるプロセス、方法、物品、またはデバイス内にさらに他の同じ要素が存在することを排除しない。
以上は、本開示の具体的な実施形態のみであり、当業者が本開示を理解又は実施することを可能にする。これらの実施例に対する様々な修正は、当業者には明らかであり、本明細書で定義される一般的な原理は、本開示の精神又は範囲から逸脱することなく、他の実施例で実施されることができる。したがって、本開示は、本明細書のこれらの実施例に限定されるものではなく、本明細書で開示される原理及び特別な特徴と一致する最も広い範囲に適合する。
本願は2021年2月9日に中国特許局に提出された、出願番号が20210180562.9で、発明の名称が「画像処理方法、画像生成方法、装置、機器及び媒体」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み込まれる。
図1は、本開示の実施例により提供される1つの画像処理方法のフローチャートであり、切り絵画像を如何に生成するかのシーンに適用されることができ、当該方法は切り絵画像処理装置により実行されることができ、当該装置は、ソフトウェア及び/又はハードウェアを利用して実現されることができ、また、さまざまなユーザ端末又はサーバなど、コンピューティング能力を備える任意の電子機器に集積されることができる。
選択的な実施形態では、カートゥーン画像上の1つ又は複数の情報抽出領域を決定した後、各情報抽出領域に対応する抽出パラメータを利用し、カートゥーン画像全体に対してライン情報とカラーブロック情報との抽出操作をそれぞれ1回又は複数回行うとともに、毎回の抽出結果をカートゥーン画像の候補ライン情報及び候補カラーブロック情報とした後、各情報抽出領域のカートゥーン画像での位置に基づき、各抽出パラメータに対応するカートゥーン画像の候補ライン情報と候補カラーブロック情報とから、各情報抽出領域に属するライン情報とカラーブロック情報とを決定することができる。例えば、顔領域に対応する抽出パラメータを利用し、カートゥーン画像全体に対してライン情報とカラーブロック情報との抽出操作を行い、抽出結果をカートゥーン画像の候補ライン情報及び候補カラーブロック情報(顔領域のライン情報とカラーブロック情報とが含まれていると同時に、カートゥーン画像上の顔領域以外の他の領域のライン情報とカラーブロック情報とも含まれている)とした後、顔領域のカートゥーン画像全体での位置に基づき、カートゥーン画像の候補ライン情報と候補カラーブロック情報とから、顔領域のライン情報とカラーブロック情報とを決定する。
選択的な実施形態では、本開示の実施例により提供される画像生成方法は、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るステップの後に、さらに、
切り絵スタイル画像に対して特徴増強処理及び/又はぼかし除去処理を行うステップを含む。
切り絵スタイル画像に対して特徴増強処理及び/又はぼかし除去処理を行うステップを含む。
選択的には、プリセット処理ユニットは、
候補画像をベクトル化画像に変換するために用いられる画像変換サブユニットと、
プリセット画像色とプリセット画像解像度とに基づき、ベクトル化画像に対してレンダリングを行い、元の画像に対応する切り絵画像を得るために用いられる画像レンダリングサブユニットと、を含む。
候補画像をベクトル化画像に変換するために用いられる画像変換サブユニットと、
プリセット画像色とプリセット画像解像度とに基づき、ベクトル化画像に対してレンダリングを行い、元の画像に対応する切り絵画像を得るために用いられる画像レンダリングサブユニットと、を含む。
本願は2021年2月9日に中国特許局に提出された、出願番号が202110180562.9で、発明の名称が「画像処理方法、画像生成方法、装置、機器及び媒体」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み込まれる。
Claims (18)
- 画像処理方法であって、
元の画像を取得するステップと、
前記元の画像に対応するカートゥーン画像を決定するステップと、
前記カートゥーン画像のライン情報とカラーブロック情報とを取得するステップと、
前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するステップと、を含む、ことを特徴とする画像処理方法。 - 前記カートゥーン画像のライン情報とカラーブロック情報とを取得するステップは、
前記カートゥーン画像上の1つ又は複数の情報抽出領域を識別するステップと、
各情報抽出領域に対応する抽出パラメータに基づき、前記各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップと、
各情報抽出領域の前記カートゥーン画像での位置に基づき、前記各情報抽出領域内のライン情報とカラーブロック情報とに対して継ぎ合わせを行い、前記カートゥーン画像のライン情報とカラーブロック情報とを得るステップと、を含む、ことを特徴とする請求項1に記載の方法。 - 各情報抽出領域に対応する抽出パラメータに基づき、前記各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップは、
前記各情報抽出領域に対応する抽出パラメータに基づき、前記カートゥーン画像内の各抽出パラメータに対応する候補ライン情報と候補カラーブロック情報とをそれぞれ取得するステップと、
前記各情報抽出領域の前記カートゥーン画像での位置に基づき、前記抽出パラメータに対応する前記カートゥーン画像の候補ライン情報と候補カラーブロック情報とから、前記各情報抽出領域内のライン情報とカラーブロック情報とをそれぞれ決定するステップと、を含む、ことを特徴とする請求項2に記載の方法。 - 各情報抽出領域に対応する抽出パラメータに基づき、前記各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップは、
前記各情報抽出領域の前記カートゥーン画像での位置に基づき、前記カートゥーン画像に対して領域分割を行い、前記各情報抽出領域に対応する領域サブ画像を得るステップと、
前記各情報抽出領域に対応する抽出パラメータに基づき、前記各情報抽出領域に対応する領域サブ画像のライン情報とカラーブロック情報とをそれぞれ取得するステップと、を含む、ことを特徴とする請求項2に記載の方法。 - 前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するステップは、
前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて候補画像を得るステップと、
前記候補画像に対してプリセット処理を行うとともに、プリセット処理の結果に基づいて前記元の画像に対応する切り絵画像を得るステップであって、前記プリセット処理は、ライン情報のギザギザの除去及びライン情報のノイズの除去の少なくとも1つを含むステップと、を含む、ことを特徴とする請求項1~4のいずれか1項に記載の方法。 - 前記候補画像に対してプリセット処理を行うとともに、プリセット処理の結果に基づいて前記元の画像に対応する切り絵画像を得るステップは、
前記候補画像をベクトル化画像に変換するステップと、
プリセット画像色とプリセット画像解像度とに基づき、前記ベクトル化画像に対してレンダリングを行い、前記元の画像に対応する切り絵画像を得るステップと、を含む、ことを特徴とする請求項5に記載の方法。 - 画像生成方法であって、
処理対象画像を取得するステップと、
切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るステップと、を含み、
前記切り絵スタイル画像生成モデルは、元の画像と前記元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、前記切り絵画像は、請求項1~6のいずれか1項に記載の画像処理方法に基づいて得られるものである、ことを特徴とする画像生成方法。 - 処理対象画像を取得するステップの前に、
ユーザの切り絵スタイル画像生成リクエストに応答し、元のテンプレート画像を表示するステップをさらに含み、
切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るステップの後に、
前記切り絵スタイル画像を前記元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップをさらに含む、ことを特徴とする請求項7に記載の方法。 - 前記切り絵スタイル画像を前記元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップは、
前記切り絵スタイル画像での目標対象の位置に基づき、前記切り絵スタイル画像に対して領域分割を行い、前記目標対象に対応する領域サブ画像を得るステップと、
前記目標対象に対応する領域サブ画像を前記切り絵スタイルテンプレート画像に重ねて表示し、前記目標画像を生成するステップと、を含む、ことを特徴とする請求項8に記載の方法。 - 切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るステップの後に、
前記切り絵スタイル画像に対して特徴増強処理及び/又はぼかし除去処理を行うステップをさらに含む、ことを特徴とする請求項7に記載の方法。 - 前記切り絵スタイル画像に対して特徴増強処理を行うステップは、
前記切り絵スタイル画像に対してぼかし処理を行い、ぼかしスタイル画像を得るステップと、
前記切り絵スタイル画像と前記ぼかしスタイル画像とに基づき、前記切り絵スタイル画像に対応する残差画像を決定するステップと、
前記残差画像に対して特徴拡大処理を行うとともに、特徴拡大処理が行われた前記残差画像と前記ぼかしスタイル画像とに対して重ね処理を行い、前記特徴増強処理が行われた切り絵スタイル画像を得るステップと、を含む、ことを特徴とする請求項10に記載の方法。 - 前記切り絵スタイル画像に対してぼかし除去処理を行うステップは、
前記切り絵スタイル画像に対して高周波情報抽出を行い、前記ぼかし除去処理が行われた切り絵スタイル画像を得るステップを含む、ことを特徴とする請求項10に記載の方法。 - 画像処理装置であって、
元の画像を取得するために用いられる元の画像取得モジュールと、
前記元の画像に対応するカートゥーン画像を決定するために用いられるカートゥーン画像決定モジュールと、
前記カートゥーン画像のライン情報とカラーブロック情報とを取得するために用いられるライン及びカラーブロック情報取得モジュールと、
前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するために用いられる切り絵画像生成モジュールと、を含む、ことを特徴とする画像処理装置。 - 画像生成装置であって、
処理対象画像を取得するために用いられる処理対象画像取得モジュールと、
切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るために用いられる切り絵スタイル画像生成モジュールと、を含み、
前記切り絵スタイル画像生成モデルは、元の画像と前記元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、前記切り絵画像は、請求項1~6のいずれか1項に記載の画像処理方法に基づいて得られるものである、ことを特徴とする画像生成装置。 - メモリとプロセッサとを含む電子機器であって、前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサにより実行されるとき、前記電子機器が、請求項1~6のいずれか1項に記載の画像処理方法を実現するか、または、請求項7~12のいずれか1項に記載の画像生成方法を実現する、ことを特徴とする電子機器。
- コンピュータ可読記憶媒体であって、前記記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがコンピューティングデバイスにより実行されるとき、前記コンピューティングデバイスが、請求項1~6のいずれか1項に記載の画像処理方法を実現するか、または、請求項7~12のいずれか1項に記載の画像生成方法を実現する、ことを特徴とするコンピュータ可読記憶媒体。
- コンピュータプログラム命令を含む、コンピュータプログラム製品であって、前記コンピュータプログラム命令は、コンピュータデバイスに、請求項1~6のいずれか1項に記載の画像処理方法を実行させるか、または、請求項7~12のいずれか1項に記載の画像生成方法を実行させる、ことを特徴とするコンピュータプログラム製品。
- コンピュータデバイスに、請求項1~6のいずれか1項に記載の画像処理方法を実行させるか、または、請求項7~12のいずれか1項に記載の画像生成方法を実行させる、ことを特徴とするコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110180562.9A CN112991151B (zh) | 2021-02-09 | 2021-02-09 | 图像处理方法、图像生成方法、装置、设备和介质 |
CN202110180562.9 | 2021-02-09 | ||
PCT/CN2022/074130 WO2022170982A1 (zh) | 2021-02-09 | 2022-01-26 | 图像处理方法、图像生成方法、装置、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024502117A true JP2024502117A (ja) | 2024-01-17 |
Family
ID=76392898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023541027A Pending JP2024502117A (ja) | 2021-02-09 | 2022-01-26 | 画像処理方法、画像生成方法、装置、機器及び媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240095886A1 (ja) |
EP (1) | EP4254315A4 (ja) |
JP (1) | JP2024502117A (ja) |
CN (1) | CN112991151B (ja) |
WO (1) | WO2022170982A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991151B (zh) * | 2021-02-09 | 2022-11-22 | 北京字跳网络技术有限公司 | 图像处理方法、图像生成方法、装置、设备和介质 |
CN115100334B (zh) * | 2022-08-24 | 2022-11-25 | 广州极尚网络技术有限公司 | 一种图像描边、图像动漫化方法、设备及存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5487610B2 (ja) * | 2008-12-18 | 2014-05-07 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US10565757B2 (en) * | 2017-06-09 | 2020-02-18 | Adobe Inc. | Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images |
CN109068122A (zh) * | 2018-09-25 | 2018-12-21 | 上海玮舟微电子科技有限公司 | 图像显示方法、装置、设备及存储介质 |
CN111127304B (zh) * | 2018-10-31 | 2024-02-20 | 微软技术许可有限责任公司 | 跨域图像转换 |
CN110021050A (zh) * | 2019-03-21 | 2019-07-16 | 宁夏艺盟礼益文化艺术品有限公司 | 一种基于人工智能的肖像剪纸生成方法 |
CN110210347B (zh) * | 2019-05-21 | 2021-03-23 | 赵森 | 一种基于深度学习的彩色套层剪纸智能设计方法 |
CN110930297B (zh) * | 2019-11-20 | 2023-08-18 | 咪咕动漫有限公司 | 人脸图像的风格迁移方法、装置、电子设备及存储介质 |
CN111696028A (zh) * | 2020-05-22 | 2020-09-22 | 华南理工大学 | 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质 |
CN112102153B (zh) * | 2020-08-20 | 2023-08-01 | 北京百度网讯科技有限公司 | 图像的卡通化处理方法、装置、电子设备和存储介质 |
CN112991151B (zh) * | 2021-02-09 | 2022-11-22 | 北京字跳网络技术有限公司 | 图像处理方法、图像生成方法、装置、设备和介质 |
-
2021
- 2021-02-09 CN CN202110180562.9A patent/CN112991151B/zh active Active
-
2022
- 2022-01-26 JP JP2023541027A patent/JP2024502117A/ja active Pending
- 2022-01-26 WO PCT/CN2022/074130 patent/WO2022170982A1/zh active Application Filing
- 2022-01-26 US US18/259,954 patent/US20240095886A1/en active Pending
- 2022-01-26 EP EP22752143.2A patent/EP4254315A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240095886A1 (en) | 2024-03-21 |
WO2022170982A1 (zh) | 2022-08-18 |
CN112991151B (zh) | 2022-11-22 |
EP4254315A1 (en) | 2023-10-04 |
CN112991151A (zh) | 2021-06-18 |
EP4254315A4 (en) | 2024-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112261424B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
JP2024502117A (ja) | 画像処理方法、画像生成方法、装置、機器及び媒体 | |
KR20160021813A (ko) | 사용자―선택 관심 영역을 초고도로 분해하기 위한 시스템들 및 방법들 | |
KR102248799B1 (ko) | 타겟 대상 디스플레이 방법, 장치 및 전자 기기 | |
CN110796664B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
EP3822757A1 (en) | Method and apparatus for setting background of ui control | |
WO2019227429A1 (zh) | 多媒体内容生成方法、装置和设备/终端/服务器 | |
CN114331820A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
WO2023109829A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
WO2024041235A1 (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
CN115294055A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
WO2020155984A1 (zh) | 人脸表情图像处理方法、装置和电子设备 | |
CN112785669B (zh) | 一种虚拟形象合成方法、装置、设备及存储介质 | |
CN115567783B (zh) | 一种图像处理方法 | |
CN112001842A (zh) | 图片生成方法、装置、电子设备及计算机可读存储介质 | |
CN116596748A (zh) | 图像风格化处理方法、装置、设备、存储介质和程序产品 | |
CN117319736A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN114390307A (zh) | 图像画质增强方法、装置、终端及可读存储介质 | |
CN111292276B (zh) | 图像处理方法和装置 | |
CN111353929A (zh) | 图像处理方法、装置和电子设备 | |
CN112312022B (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
TWI736060B (zh) | 高解析度視頻影像處理方法、裝置及電子設備 | |
CN116757963B (zh) | 图像处理方法、电子设备、芯片系统及可读存储介质 | |
CN117762543A (zh) | 远程桌面图像处理方法、系统、电子设备及存储介质 | |
CN117372240A (zh) | 特效图像的展示方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230705 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |