JP2024502117A - 画像処理方法、画像生成方法、装置、機器及び媒体 - Google Patents

Abstract

画像処理方法、画像生成方法、装置、機器及び媒体を提供する。当該画像処理方法は、元の画像を取得するステップと、元の画像に対応するカートゥーン画像を決定するステップと、カートゥーン画像のライン情報とカラーブロック情報とを取得するステップと、カートゥーン画像のライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定するステップと、を含む。本開示の実施例は、切り絵画像の高品質な表示効果を確保し、電子機器でサポートされている画像処理機能を豊かにし、それによって、電子機器でサポートされているスタイル画像の変換タイプを豊かにする。【選択図】図１

Description

本開示は、画像処理技術の分野に関し、特に、画像処理方法、画像生成方法、装置、機器及び媒体に関する。

現在、ビデオインタラクションアプリケーションの機能が豊かになるにつれ、画像スタイル変換は面白い新たな遊び方になっている。画像スタイル変換とは、１つ又は複数の画像をスタイル変換して、ユーザのニーズに合ったスタイル画像を生成することである。

しかしながら、従来のビデオインタラクションアプリケーションでサポートされているスタイル変換のタイプはまだ限られており、ユーザのパーソナライズされたスタイル画像の生成ニーズを満たすことができない。

本開示の実施例は、上記の技術的問題を完全に解決するか、または、上記の技術的問題を少なくとも部分的に解決するために、画像処理方法、画像生成方法、装置、機器及び媒体を提供する。

第１の態様では、本開示の実施例は、画像処理方法を提供し、前記方法は、
元の画像を取得するステップと、
前記元の画像に対応するカートゥーン画像を決定するステップと、
前記カートゥーン画像のライン情報とカラーブロック情報とを取得するステップと、
前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するステップと、を含む。

第２の態様では、本開示の実施例は、画像生成方法を提供し、前記方法は、
処理対象画像を取得するステップと、
切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るステップと、を含み、
前記切り絵スタイル画像生成モデルは、元の画像と前記元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、前記切り絵画像は、本開示の実施例により提供されるいずれかの画像処理方法に基づいて得られるものである。

第３の態様では、本開示の実施例は、画像処理装置を提供し、前記装置は、
元の画像を取得するために用いられる元の画像取得モジュールと、
前記元の画像に対応するカートゥーン画像を決定するために用いられるカートゥーン画像決定モジュールと、
前記カートゥーン画像のライン情報とカラーブロック情報とを取得するために用いられるライン及びカラーブロック情報取得モジュールと、
前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するために用いられる切り絵画像生成モジュールと、を含む。

第４の態様では、本開示の実施例は、画像生成装置を提供し、前記装置は、
処理対象画像を取得するために用いられる処理対象画像取得モジュールと、
切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るために用いられる切り絵スタイル画像生成モジュールと、を含み、
前記切り絵スタイル画像生成モデルは、元の画像と前記元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、前記切り絵画像は、本開示の実施例により提供されるいずれかの上記画像処理方法に基づいて得られるものである。

第５の態様では、本開示の実施例は、さらに、メモリと少なくとも１つのプロセッサとを含む電子機器を提供し、前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記少なくとも１つのプロセッサにより実行されると、電子機器が本開示の実施例により提供されるいずれかの上記画像処理方法又は画像生成方法を実現する。

第６の態様では、本開示の実施例は、さらに、コンピュータ可読記憶媒体を提供し、前記記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがコンピューティングデバイスにより実行されると、前記コンピューティングデバイスが本開示の実施例により提供されるいずれかの上記画像処理方法又は画像生成方法を実現する。

第７の態様では、本開示の実施例は、コンピュータプログラムを含む、コンピュータプログラム製品を提供し、前記コンピュータプログラムが可読記憶媒体に記憶されており、電子機器の少なくとも１つのプロセッサは前記可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサが前記コンピュータプログラムを実行すると、電子機器が本開示の実施例により提供されるいずれかの上記画像処理方法又は画像生成方法を実現する。

第８の態様では、本開示の実施例は、さらに、コンピュータプログラムを提供し、前記コンピュータプログラムが可読記憶媒体に記憶されており、電子機器の少なくとも１つのプロセッサは前記可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサが前記コンピュータプログラムを実行すると、電子機器が本開示の実施例により提供されるいずれかの上記画像処理方法又は画像生成方法を実現する。

本開示の実施例により提供される技術的解決手段は、従来の技術と比較して、少なくとも以下の利点を有している。本開示の実施例では、元の画像のカートゥーン画像に基づいてライン情報とカラーブロック情報とを抽出し、元の画像のライン情報とカラーブロック情報との抽出効果を向上させ、カートゥーン画像に基づいて抽出して得られたライン情報とカラーブロック情報とを利用し、必要な切り絵画像を生成し、新たな切り絵画像生成方法を提供することにより、切り絵画像の高品質な表示効果を確保し、電子機器でサポートされている画像処理機能を豊かにし、それによって、電子機器でサポートされているスタイル画像の変換タイプを豊かにし、従来の解決手段でサポートされているスタイル画像の変換タイプが限られており、ユーザのスタイル画像生成ニーズを満たすことができないという問題を解決する。

本明細書の図面は、本明細書に組み込まれ、本明細書の一部を構成し、本開示に適合する実施例を示し、本明細書とともに本開示の原理を説明するために使用される。

以下、本開示の実施例や従来の技術における技術的解決手段をより明瞭に説明するために、実施例又は従来の技術の記述において使用する必要がある図面を簡単に説明する。当然ながら、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面を取得しうる。
本開示の実施例により提供される１つの画像処理方法のフローチャートである。 本開示の実施例により提供されるライン情報とカラーブロック情報との抽出結果の概略図である。 本開示の実施例により提供される他の画像処理方法のフローチャートである。 本開示の実施例により提供される複数の情報抽出領域のライン情報とカラーブロック情報との抽出結果に基づいて継ぎ合わせ切り絵画像を得る概略図である。 本開示の実施例により提供されるプリセット処理によって切り絵画像を得る概略図である。 本開示の実施例により提供される画像生成方法のフローチャートである。 本開示の実施例により提供される１つの切り絵スタイルテンプレート画像の概略図である。 本開示の実施例により提供される他の切り絵スタイルテンプレート画像の概略図である。 本開示の実施例により提供される切り絵スタイル画像の比較概略図である。 本開示の実施例により提供される画像処理装置の構造概略図である。 本開示の実施例により提供される画像生成装置の構造概略図である。 本開示の実施例により提供される電子機器の構造概略図である。

以下、本開示の上記の目的、特徴及び利点をより明瞭に理解するために、本開示の解決手段をさらに説明する。なお、本開示の実施例及び実施例における特徴は、矛盾しない限り互いに組み合わせられることができる。

以下の説明では、本開示を十分に理解するために多くの詳細を説明するが、本開示は、本明細書で説明されるものとは異なる他の形態で実施されることもできる。当然ながら、本明細書における実施例は、本開示の実施例の一部にすぎず、そのすべての実施例ではない。

図１は、本開示の実施例により提供される１つの画像処理方法のフローチャートであり、切り絵画像を如何に生成するかのシーンに適用されることができ、当該方法は切り絵画像処理装置により実行されることができ、当該装置は、ソフトウェア及び／ハードウェアを利用して実現されることができ、また、さまざまなユーザ端末又はサーバなど、コンピューティング能力を備える任意の電子機器に集積されることができる。

本開示の実施例では、切り絵画像とは、切り絵効果を持つスタイル画像であり、あらかじめ設定された色のラインとカラーブロックとで形成される。任意の元の画像に対して、本開示の実施例により提供される画像処理方法を採用すれば、元の画像に対応する切り絵画像を得ることができ、画像スタイル化のニーズを豊かにし、ユーザ体験を向上させ、また、本開示の実施例に係る方法を採用して得られる切り絵画像は、元の画像と高い類似性を維持するだけでなく、ラインが滑らかで、カラーブロックがきれいでノイズが含まれない。切り絵画像のプリセット色は、具体的な切り絵画像生成ニーズに応じて決定されることができ、例えば、赤など、特定の祝日に関連する色とすることができ、本開示の実施例はこれを特に限定しない。

図１に示すように、本開示の実施例により提供される画像処理方法は、以下のステップを含むことができる。

Ｓ１０１では、元の画像を取得する。

元の画像は例えば、顔画像、動物画像、風景画像など、任意のタイプの画像とすることができる。例示的に、電子機器は、撮影装置を呼び出して撮影することにより元の画像を得てもよいし、ユーザによる画像アップロード操作によって元の画像を得てもよいし、インターネットを用いてデータ収集を行うことにより元の画像を得てもよい。

Ｓ１０２では、元の画像に対応するカートゥーン画像を決定する。

カートゥーン画像とは、カートゥーンスタイルの画像であり、例えば、特定の地域のカートゥーンスタイルのある画像などが挙げられる。元の画像に対応するカートゥーン画像は元の画像とは類似性が高い。例示的に、予めトレーニングして得られたカートゥーンスタイル画像生成モデルを利用して元の画像に対応するカートゥーン画像を得ることができる。カートゥーンスタイル画像生成モデルは、カートゥーン画像生成機能付きのものであり、例えば、敵対的生成ネットワークモデルに基づいてトレーニングして得ることができるが、当然ながら、これに限定されない。

Ｓ１０３では、カートゥーン画像のライン情報とカラーブロック情報とを取得する。

カートゥーン画像を得た後、任意の利用可能な特定の周波数情報抽出機能付きのアルゴリズムを利用してカートゥーン画像上のライン情報とカラーブロック情報とを抽出することができ、例えば、ｘｄｏｇアルゴリズムのような任意の利用可能なバンドパスフィルタリングアルゴリズムなどを利用することができる。

画素の色分布が乱雑であるため抽出して得られたライン情報とカラーブロック情報とが乱雑になっている元の画像と比較して、カートゥーン画像は、画素の色が単一で色分布が均一であり、抽出して得られるライン情報が滑らかであり、且つカラーブロック情報が比較的きれいであり、本開示の実施例は、カートゥーン画像に基づいてライン情報とカラーブロック情報との抽出を行うことにより、切り絵画像の高品質な表示効果を確保する。

選択的には、カートゥーン画像のライン情報とカラーブロック情報とを取得するステップは、次のステップを含む。

カートゥーン画像上の１つ又は複数の情報抽出領域を識別し、情報抽出領域の具体的な数は予め設定されてもよいし、カートゥーン画像に対して異なる色領域の識別を行うことにより決定されてもよく、色領域の識別は、従来の任意の利用可能な画像処理アルゴリズム（例えば、目標検出及び識別アルゴリズムなど）を利用して実現されることができ、本開示の実施例はそれを特に限定しない。

各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得し、カートゥーン画像のライン情報とカラーブロック情報とを得る。

異なる情報抽出領域の画素の色には差異があり、すなわち、異なる情報抽出領域は異なる周波数の画像特徴情報に対応することができるため、各情報抽出領域に対して、それに応じた抽出パラメータを設定することにより、各情報抽出領域内のライン情報とカラーブロック情報とを絞って抽出することを実現し、ライン情報とカラーブロック情報との抽出結果を確保し、切り絵画像の高品質な表示効果の更なる確保に寄与することができる。

抽出パラメータは、各情報抽出領域内の抽出対象としての特定の周波数の画像特徴情報を決定するために用いられ、抽出パラメータの具体的な内容は、抽出アルゴリズムに応じて設定されることができ、本開示の実施例はそれを特に限定しない。

例示的に、本開示の実施例では、元の画像は、目標対象が含まれる元の画像であり、カートゥーン画像は目標対象のカートゥーン画像であり、カートゥーン画像は元の画像に対応するカートゥーン画像であり、目標対象は例えば目標人物を含むことができ、それに応じて、情報抽出領域は、目標人物の目標部位領域（顔領域、髪領域、身体領域など）及びカートゥーン画像上の目標部位領域以外の他の領域（画像背景領域など）とすることができ、身体領域とは、当該カートゥーン画像の目標人物画像内の顔領域及び髪領域などの領域以外の残りの領域である。このとき、各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップは、例えば、顔領域に対応する抽出パラメータに基づいて顔領域のライン情報とカラーブロック情報とを取得するステップとしてもよいし、髪領域に対応する抽出パラメータに基づいて髪領域のライン情報とカラーブロック情報とを取得するステップとしてもよいし、身体領域に対応する抽出パラメータに基づいて身体領域のライン情報とカラーブロック情報とを取得するステップなどとしてもよい。

当然ながら、目標対象は目標動物であってもよく、具体的には、目標人物に類似するため、ここで繰り返して説明しない。

図２は、本開示の実施例により提供されるライン情報とカラーブロック情報との抽出結果の概略図であり、具体的には、目標人物が含まれる元の画像を例にして本開示の実施例を例示的に説明するが、このことは、本開示の実施例を具体的に限定していることとして理解すべきではない。図２に示すように、元の画像に基づいてライン情報（例えば人物髪領域のライン情報）とカラーブロック情報（例えば人物衣服領域のカラーブロック情報等）との抽出を直接に行う場合、髪領域のライン情報にはギザギザが多くあったり、衣服領域のカラーブロック情報にはノイズが多くあったりするなど、抽出して得られるラインとカラーブロックとは乱雑であり、最終的な切り絵画像の表示効果も劣っているが、元の画像をカートゥーン画像に変換するとともに、カートゥーン画像に基づいてライン情報とカラーブロック情報との抽出を行う場合、抽出して得られるラインは滑らかで、カラーブロックはきれいであり、最終的な切り絵画像の表示効果もよい。

Ｓ１０４では、カートゥーン画像のライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定する。

例示的に、切り絵画像は、プリセット画像色（すなわち、プリセット切り絵色）とプリセット画像解像度とに基づいて決定されてもよく、具体的には、切り絵画像の生成ニーズに応じて決定されてもよく、抽出して得られるライン情報とカラーブロック情報とに基づいて画像レンダリングを行い、元の画像に対応する切り絵画像を得る。

本開示の実施例により提供される画像処理方法を採用して得られる切り絵画像及び対応する元の画像は、トレーニングサンプルとして、切り絵スタイル画像生成モデルのトレーニングに使用され得る。切り絵スタイル画像生成モデルは、切り絵スタイル画像を生成する機能があり、条件付き敵対的生成ネットワーク（ＣＧＡＮ、Ｃｏｎｄｉｔｉｏｎａｌ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ）やｐｉｘｅｌ２ｐｉｘｅｌネットワークなど、任意の利用可能なニューラルネットワークに基づいて実現され得る。

本開示の実施例では、元の画像のカートゥーン画像に基づいてライン情報とカラーブロック情報とを抽出し、元の画像のライン情報とカラーブロック情報との抽出効果を向上させ、カートゥーン画像に基づいて抽出して得られたライン情報とカラーブロック情報とを利用し、必要な切り絵画像を生成し、新たな切り絵画像生成方法を提供することにより、切り絵画像の高品質な表示効果を確保し、電子機器でサポートされている画像処理機能を豊かにし、それによって、電子機器でサポートされているスタイル画像の変換タイプを豊かにし、従来の解決手段でサポートされているスタイル画像の変換タイプが限られており、スタイル化効果が単一で、ユーザのスタイル画像生成多様化ニーズに満たすことができないという問題を解決する。

図３は、本開示の実施例により提供される他の画像処理方法のフローチャートであり、上記の実施例に基づいて最適化して拡張し、上記の各選択的な実施形態と組み合わせて利用することができる。図３に示すように、本開示の実施例により提供される画像処理方法は、以下のステップを含むことができる。

Ｓ２０１では、元の画像を取得する。

Ｓ２０２では、元の画像に対応するカートゥーン画像を決定する。

Ｓ２０３では、カートゥーン画像上の１つ又は複数の情報抽出領域を識別する。

情報抽出領域の具体的な数は予め設定されてもよいし、カートゥーン画像に対して異なる色領域の識別を行うことにより決定されてもよく、色領域の識別は、従来の任意の利用可能な画像処理アルゴリズム（例えば、画像分割アルゴリズムなど）を利用して実現されることができ、本開示の実施例はそれを特に限定しない。

Ｓ２０４では、各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得する。

抽出パラメータは、各情報抽出領域内の抽出対象としての特定の周波数の画像特徴情報を決定するために用いられ、抽出パラメータの具体的な内容は、抽出アルゴリズムに応じて設定されることができ、本開示の実施例はそれを特に限定しない。

異なる情報抽出領域の画素の色には差異があり、すなわち、異なる情報抽出領域は異なる周波数の画像特徴情報に対応することができるため、各情報抽出領域に対して、それに応じた抽出パラメータを設定することにより、各情報抽出領域内のライン情報とカラーブロック情報とを絞って抽出することを実現し、ライン情報とカラーブロック情報との抽出結果を確保し、切り絵画像の高品質な表示効果をさらに確保することができる。

選択的には、各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップは、
各情報抽出領域に対応する抽出パラメータに基づき、カートゥーン画像において各抽出パラメータに対応する候補ライン情報と候補カラーブロック情報とをそれぞれ取得するステップと、
各情報抽出領域のカートゥーン画像での位置に基づき、抽出パラメータに対応するカートゥーン画像の候補ライン情報と候補カラーブロック情報とから、各情報抽出領域内のライン情報とカラーブロック情報とをそれぞれ決定するステップと、を含む。

選択的な実施形態では、カートゥーン画像上の１つ又は複数の情報抽出領域を決定した後、各情報抽出領域に対応する抽出パラメータを利用し、カートゥーン画像全体に対してライン情報とカラーブロック情報との抽出操作をそれぞれ１回又は複数回行うとともに、毎回の抽出結果をカートゥーン画像の候補ライン情報及び候補カラーブロック情報とした後、各情報抽出領域のカートゥーン画像での位置に基づき、各抽出パラメータに対応するカートゥーン画像の候補ライン情報と候補カラーブロック情報とから、各情報抽出領域に属するライン情報とカラーブロック情報とを決定することができる。例えば、顔領域に対応する抽出パラメータを利用し、カートゥーン画像全体に対してライン情報とカラーブロック情報との抽出操作を行い、抽出結果をカートゥーン画像の候補ライン情報及び候補カラーブロック情報（顔領域のライン情報とカラーブロック情報とが含まれていると同時に、カートゥーン画像上の顔領域以外の他の領域のライン情報とカラーブロック情報とも含まれている）とした後、顔領域のカートゥーン画像全体での位置に基づき、カートゥーン画像の候補ライン情報と候補カラーブロック情報とから、顔領域のライン情報と候補カラーブロック情報とを決定する。

図４は、本開示の実施例により提供される複数の情報抽出領域のライン情報とカラーブロック情報との抽出結果に基づいて継ぎ合わせ切り絵画像を得る概略図であり、具体的には、目標人物が含まれる元の画像及び当該目標人物のカートゥーン画像を例にして本開示の実施例を例示的に説明するが、このことは、本開示の実施例を具体的に限定していることとして理解すべきではない。図４に示すように、カートゥーン画像上の情報抽出領域は、顔領域（顔立ちが含まれる）、髪領域、及び目標身体領域（人物の首元の部分及び上半身の服装領域が含まれ得る）を含むことができ、各情報抽出領域に対して、それに応じた抽出パラメータをそれぞれ設定し、例えば、ｘｄｏｇアルゴリズムを例にすると、顔領域は１セットのｘｄｏｇパラメータに対応し、髪領域は他のセットのｘｄｏｇパラメータに対応し、目標身体領域は別のセットのｘｄｏｇパラメータに対応する。例えば、顔領域に対応する抽出パラメータを利用し、カートゥーン画像に対してライン情報とカラーブロック情報との抽出を行い、カートゥーン画像の１つの候補ライン情報と候補カラーブロック情報とを得る場合は、図４に示される顔領域に対する情報抽出結果の概略図を参照し、また、髪領域に対応する抽出パラメータを利用し、カートゥーン画像に対してライン情報とカラーブロック情報との抽出を行い、カートゥーン画像の１つの候補ライン情報と候補カラーブロック情報とを得る場合は、図４に示される髪領域に対する情報抽出結果の概略図を参照し、そして、目標身体領域に対応する抽出パラメータを利用し、カートゥーン画像に対してライン情報とカラーブロック情報との抽出を行い、カートゥーン画像の１つの候補ライン情報と候補カラーブロック情報とを得る場合は、図４に示される目標身体領域に対する情報抽出結果の概略図を参照する。

また、カートゥーン画像上の背景領域に対して、任意の１つのその他の情報抽出領域に対応する抽出パラメータを利用し、カートゥーン画像に対してライン情報とカラーブロック情報との抽出を行うことにより得られる背景領域に対応する抽出結果を、背景領域内のライン情報及びカラーブロック情報とする。図４に示すように、顔領域に対応する抽出パラメータを利用しカートゥーン画像に対してライン情報とカラーブロック情報との抽出を行った後、カートゥーン画像の候補ライン情報及び候補カラーブロック情報のうち、背景領域に対応する抽出結果を背景領域内のライン情報及びカラーブロック情報とすることができ、このとき、背景領域と顔領域とが同じ抽出パラメータを採用すると考えてもよい。また、背景領域に対してそれに応じた抽出パラメータを個別に設定してもよく、本開示の実施例はこれを特に限定せず、画像背景の表示ニーズに応じて設定することができる。

選択的には、各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップは、
各情報抽出領域のカートゥーン画像での位置に基づき、カートゥーン画像に対して領域分割を行い、各情報抽出領域に対応する領域サブ画像を得るステップと、
各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域に対応する領域サブ画像のライン情報とカラーブロック情報とをそれぞれ取得するステップと、を含む。

選択的な実施形態では、画像分割アルゴリズムを利用してカートゥーン画像上の各情報抽出領域を検出し、そして、各情報抽出領域の領域面積に基づきカートゥーン画像に対して領域分割を行い、各情報抽出領域に対応する領域サブ画像を得ることができ、例えば、目標人物が含まれるカートゥーン画像上の顔領域、髪領域、及び目標身体領域を検出した後、これらの領域に基づいてカートゥーン画像を分割し、複数の領域サブ画像を得られ、そして、各情報抽出領域に対応する抽出パラメータに基づき、それに対応する各領域サブ画像に対してライン情報とカラーブロック情報との抽出を個別に行うことができる。

Ｓ２０５では、各情報抽出領域のカートゥーン画像での位置に基づき、各情報抽出領域内のライン情報とカラーブロック情報とに対して継ぎ合わせを行い、カートゥーン画像のライン情報とカラーブロック情報とを得る。

引き続き図４を参照すると、各情報抽出領域内のライン情報とカラーブロック情報とを得た後、各情報抽出領域のカートゥーン画像での位置に基づき、各情報抽出領域内のライン情報とカラーブロック情報とに対して継ぎ合わせを行い、これによりカートゥーン画像のライン情報とカラーブロック情報とを得ることができる。例えば、カートゥーン画像での顔領域、髪領域、及び身体領域などの位置関係に基づき、各情報抽出領域内のライン情報とカラーブロック情報とに対して継ぎ合わせを行い、目標人物が含まれるカートゥーン画像のライン情報とカラーブロック情報とを得る。

Ｓ２０６では、カートゥーン画像のライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定する。

本開示の実施例では、異なる情報抽出領域に基づいてカートゥーン画像上のライン情報とカラーブロック情報とを絞って抽出することにより、情報抽出効果を向上させるが、異なる情報抽出領域の抽出パラメータは異なるため、各情報抽出領域の抽出結果に対して継ぎ合わせを行った後、継ぎ合わせの結果として、全体的なスタイルが統合せず、ラインにはギザギザやノイズなどが依然として多く存在しており、切り絵画像の表示効果に影響を与える要素となっているため、本開示の実施例は、切り絵画像の生成プロセスをさらに最適化することができる。すなわち、選択的には、カートゥーン画像のライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定するステップは、カートゥーン画像のライン情報とカラーブロック情報とに基づいて候補画像を得るステップと、候補画像に対してプリセット処理を行うとともに、プリセット処理の結果に基づいて元の画像に対応する切り絵画像を得るステップと、を含んでもよい。プリセット処理は、ライン情報のギザギザの除去及びライン情報のノイズの除去の少なくとも１つを含む。ギザギザとノイズとの除去について、従来の技術においてギザギザ及びノイズの除去機能を備える任意の利用可能なアルゴリズムを利用して実現されることができ、本開示の実施例はそれを特に限定しない。

選択的な実施形態では、候補画像に対してプリセット処理を行うとともに、プリセット処理の結果に基づいて元の画像に対応する切り絵画像を得るステップは、次のステップを含む。

候補画像をベクトル化画像に変換し、具体的には、従来の任意の利用可能なベクトル化技術を利用して候補画像（ビットマップの１種）をベクトル化画像に変換することができ、ベクトル化後に、画像に対する任意の拡大処理によって画像の歪みを回避することができ、ベクトル化処理によって、候補画像のギザギザやノイズを減少させ、それによって候補画像の最適化を実現することができる。

プリセット画像色とプリセット画像解像度とに基づき、ベクトル化画像に対してレンダリングを行い、元の画像に対応する切り絵画像を得る。選択的には、プリセット画像色は、赤など、プリセット祝日情報に関連する色を含む。

図５は、本開示の実施例により提供されるプリセット処理によって切り絵画像を得る概略図であり、本開示の実施例を例示的に説明するために用いられ、図５に示すように、前述したプリセット処理によって得られる切り絵画像には、ギザギザ及びノイズがほとんどなく、よい画像効果を表示している。

本開示の実施例では、元の画像に対応するカートゥーン画像上の各情報抽出領域に基づき、ライン情報とカラーブロック情報とを絞って抽出し、元の画像のライン情報とカラーブロック情報との抽出効果を向上させ、カートゥーン画像に基づいて抽出して得られたライン情報とカラーブロック情報とを利用し、必要な切り絵画像を生成し、新たな切り絵画像生成方法を提供することにより、切り絵画像の高品質な表示効果を確保し、電子機器でサポートされている画像処理機能を豊かにし、それによって、電子機器でサポートされているスタイル画像の変換タイプを豊かにし、従来の解決手段でサポートされているスタイル画像の変換タイプが限られており、ユーザのスタイル画像生成ニーズを満たすことができないという問題を解決する。

図６は、本開示の実施例により提供される画像生成方法のフローチャートであり、切り絵スタイル画像を如何に生成するかのシーンに適用されることができる。当該画像生成方法は画像生成装置により実行されることができ、当該装置は、ソフトウェア及び／又はハードウェアを利用して実現されることができ、例えば、モバイルスマート端末、タブレットコンピュータ、ノートブックコンピュータなど、コンピューティング能力を備える任意の電子機器に集積されることができる。

本開示の実施例により提供される画像生成方法は、切り絵スタイル画像生成モデルを予めトレーニングして実現され、当該切り絵スタイル画像生成モデルは、元の画像と元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、当該切り絵画像は、本開示の実施例により提供される任意の利用可能な画像処理方法に基づいて得られるものである。すなわち、本開示の実施例により提供される任意の画像処理方法を利用して、元の画像に対応する切り絵画像を得ることができ、元の画像と対応する切り絵画像とを、切り絵スタイル画像生成モデルをトレーニングして得るために用いられるペアトレーニングデータとする。切り絵画像を直接に描画して得られるトレーニングデータと比較して、本開示の上記の画像処理方法を利用して得られるトレーニングデータは、効率がより高く、コストがより低い。例示的に、切り絵スタイル画像生成モデルは、条件付き敵対的生成ネットワーク（ＣＧＡＮ、Ｃｏｎｄｉｔｉｏｎａｌ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ）やｐｉｘｅｌ２ｐｉｘｅｌネットワークなど、任意の利用可能なニューラルネットワークに基づいて実現され得る。画像処理方法の具体的な説明は、上記の実施例の内容を参照することができる。

また、本開示の実施例では、画像生成方法は、独立したアプリケーションプログラム又はパブリックプラットフォームに集積されたアプレットの形式で実現されてもよいし、画像編集機能付きのアプリケーションプログラム又はアプレット内に集積された機能モジュールとして実現されてもよく、当該アプリケーションプログラム又はアプレットは、ビデオインタラクション系アプリケーションプログラム又はビデオインタラクション系アプレットなどを含むが、それらに限定されない。

図６に示すように、本開示の実施例により提供される画像生成方法は、以下のステップを含むことができる。

Ｓ３０１では、処理対象画像を取得する。

処理対象画像は例えば、顔画像、動物画像、風景画像など、任意のタイプの画像とすることができる。例示的に、電子機器は、撮影装置を呼び出して撮影することにより処理対象画像を得てもよいし、ユーザによる画像アップロード操作によって処理対象画像を得てもよい。

Ｓ３０２では、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得る。

切り絵スタイル画像生成モデルは、元の画像と元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、切り絵画像は、本開示の実施例により提供される任意の利用可能な画像処理方法に基づいて得られるものである。

選択的には、本開示の実施例により提供される画像生成方法は、処理対象画像を取得するステップの前に、さらに、
ユーザの切り絵スタイル画像生成リクエストに応答し、元のテンプレート画像を表示するステップを含み、
本開示の実施例により提供される画像生成方法は、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るステップの後に、さらに、
切り絵スタイル画像を元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップを含む。

元のテンプレート画像は、予め設定された背景画像であり、任意のタイプのプリセット画像を含むことができ、本開示の実施例はそれを特に限定しない。例示的に、ユーザは、電子機器の画面に表示されているテンプレート画像に対応する小道具アイコンをタッチすることにより、切り絵スタイル画像生成リクエストをトリガーしてもよいし、または、ユーザは、電子機器の画面に表示されている撮影ボタンを直接にタッチすることにより、切り絵スタイル画像生成リクエストをトリガーしてもよいし、または、ユーザは、ジェスチャー制御又は音声制御などの手段を用いて、切り絵スタイル画像生成リクエストをトリガーしてもよく、電子機器は、ユーザの切り絵スタイル画像生成リクエストに応答し、元のテンプレート画像をランダムに表示してもよいし、プリセットルールに従って元のテンプレート画像を表示してもよく、プリセットルールは例えば、元のテンプレート画像の人気度（又は大量のユーザによって使用される回数、具体的には、サーバがバックグラウンドで統計する）に従って表示するルール、または、元のテンプレート画像のデフォルトの順序に従って表示するルールを含むことができ、本開示の実施例はそれを特に限定せず、当然ながら、さらに、ユーザの切り絵スタイル画像生成リクエストに応答した後、ユーザの元のテンプレート画像に従って操作を選択し、ユーザが選択した元のテンプレート画像を表示したりすることもできる。

切り絵スタイルテンプレート画像は、元のテンプレート画像を切り絵スタイル化したテンプレート画像である。各々の元のテンプレート画像に対応する切り絵スタイルテンプレート画像は予め生成されたものであってもよく、目標画像生成中に、元のテンプレート画像と切り絵スタイルテンプレート画像との対応関係に従って、現在使用している元のテンプレート画像に対応する切り絵スタイルテンプレート画像を呼び出すことができる。

例示的に、本開示の実施例により提供される元のテンプレート画像は、プリセット祝日情報に関連するテンプレート画像を含むことができ、切り絵スタイル画像と切り絵スタイルテンプレート画像との色は、赤など、プリセット祝日情報に関連する色を含む。

図７は、本開示の実施例により提供される１つの切り絵スタイルテンプレート画像の概略図であり、図７に示すように、切り絵スタイルテンプレート画像には、灯籠のような祝日に関連する要素など、十二支に関連する要素が含まれることができ、このとき、対応する元のテンプレート画像は、切り絵スタイル化前の灯籠要素を含み、切り絵スタイルテンプレート画像は、切り絵スタイル化後の灯籠要素を含む。図８は、本開示の実施例により提供される他の切り絵スタイルテンプレート画像の概略図であり、図８に示すように、切り絵スタイルテンプレート画像には、特定の植物に関連する要素が含まれることができる。図７及び図８は、一例として、本開示の実施例に係る切り絵スタイルテンプレート画像を例示的に説明するために用いられるものであるが、それらは、本開示の実施例を具体的に限定しているものとして理解すべきではないことを理解すべきである。

生成された切り絵スタイル画像とともに、切り絵スタイルテンプレート画像も一緒に表示することは、スタイル画像の表示効果の向上に寄与する。目標画像の表示効果は、図９に示される表示効果を参照することができ、図９は、具体的には、図８に示される切り絵スタイルテンプレート画像及び処理対象画像が顔画像である場合を例にして、目標画像の表示効果を示している。

選択的な実施形態では、切り絵スタイル画像をテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップは、
切り絵スタイル画像での目標対象の位置に基づき、切り絵スタイル画像に対して領域分割を行い、目標対象に対応する領域サブ画像を得るステップと、
目標対象に対応する領域サブ画像を元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップと、を含む。

撮影対象とも呼ばれる目標対象は、処理対象画像のタイプに関連付けられている。例示的に、目標対象が目標人物である場合を例にすると、処理対象画像及び対応する切り絵スタイル画像は、目標人物が含まれる画像であり、切り絵スタイル画像上の目標対象に対応する領域サブ画像は、当該目標人物のみが表示されている画像となる。目標対象に対応する領域サブ画像を元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示することにより、目標画像の全体的な表示効果への切り絵スタイル画像上の背景領域からの影響を回避することができ、すなわち、切り絵スタイルテンプレート画像上の背景を利用して目標画像の背景とすることにより、画像全体の表示スタイルの統一性を確保することができ、画像表示効果が高い。

選択的な実施形態では、本開示の実施例により提供される画像生成方法は、予めトレーニングされた切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るステップの後に、さらに、
切り絵スタイル画像に対して特徴増強処理及び／又はぼかし除去処理を行うステップを含む。

切り絵スタイル画像生成モデルの入力画像のサイズは通常プリセットサイズであることを鑑みて、ユーザの処理対象画像は当該プリセットサイズを満たさない場合、通常、入力画像のサイズに対する要求が満たされるまでズームなどの処理操作が必要であり、そして、モデルに入力し、モデル処理を経てスタイル画像を出力し、最後に、モデルから出力されたスタイル画像を処理対象画像と同じサイズのものに再びズームし、切り絵スタイル画像を得てユーザに表示し、この過程では、ズーム操作のため、切り絵スタイル画像のぼやけた表示効果につながりやすいため、切り絵スタイル画像の表示効果を改善するためには、切り絵スタイル画像に対して特徴増強処理及び／又はぼかし除去処理を行うことができる。

例１では、切り絵スタイル画像に対して特徴増強処理を行うステップは、
切り絵スタイル画像に対してぼかし処理を行い、ぼかしスタイル画像を得るステップであって、ぼかし処理は、任意の利用可能なぼかし処理アルゴリズムを利用して実現されることができ、本開示の実施例はそれを特に限定しないステップと、
切り絵スタイル画像とぼかしスタイル画像とに基づき、切り絵スタイル画像に対応する残差画像を決定するステップと、
残差画像に対して特徴拡大処理を行うとともに、特徴拡大処理が行われた残差画像とぼかしスタイル画像とに対して重ね処理を行い、特徴増強処理が行われた切り絵スタイル画像を得るステップと、を含む。

例えば、ガウスぼかしアルゴリズムを利用し、切り絵スタイル画像Ａに対してぼかし処理を行い、ぼかしスタイル画像Ｂを得ることができ、ぼかし情報は低周波情報であり、そして、切り絵スタイル画像Ａとぼかしスタイル画像Ｂとに基づき、残差画像Ｃを決定し、当該残差画像Ｃは、Ｃ＝Ａ－Ｂ（同じ画像位置での画像特徴の減算を表す）のように表すことができ、すなわち、残差画像は、切り絵スタイル画像上の高周波情報を表すために使用されることができ、最後に、残差画像に対して特徴拡大処理を行い、すなわち、高周波情報に対して特徴拡大を行い、例えば、プリセットパラメータｔと残差画像Ｃとを乗算し、特徴拡大処理が行われた残差画像とぼかしスタイル画像とに対して重ね処理を行い、特徴増強処理が行われた切り絵スタイル画像Ｄを得る。Ｄ＝Ｂ＋ｔ・Ｃと表すことができ、プリセットパラメータｔの値が大きいほど、得られる特徴増強処理が行われた切り絵スタイル画像Ｄが鮮明になる。

例２では、切り絵スタイル画像に対してぼかし除去処理を行うステップは、
切り絵スタイル画像に対して高周波情報抽出を行い、ぼかし除去処理が行われた切り絵スタイル画像を得るステップを含む。切り絵スタイル画像上の低周波情報は低周波情報であるため、切り絵スタイル画像に対して高周波情報抽出を行い、例えば、ｘｄｏｇアルゴリズムを利用して高周波情報抽出を行うことにより、ぼかし除去効果を達成することができる。

図９は、本開示の実施例により提供される切り絵スタイル画像の比較概略図であり、本開示の実施例に係る特徴増強処理及び／又はぼかし除去処理が行われる前の、及び、特徴増強処理及び／又はぼかし除去処理が行われた切り絵スタイル画像を例示的に説明するために用いられるものであるが、それは、本開示の実施例を具体的に限定しているものとして理解すべきではない。図９に示すように、特徴増強処理及び／又はぼかし除去処理が行われた切り絵スタイル画像は、より鮮明な表示効果がある。

本開示の実施例では、元の画像と元の画像に対応する切り絵画像とに基づいて切り絵スタイル画像生成モデルをトレーニングして得られ、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得ることにより、従来の解決手段でサポートされているスタイル画像の変換タイプが限られており、ユーザのスタイル画像生成ニーズを満たすことができないという問題を解決し、電子機器でサポートされるスタイル画像変換タイプを豊かにし、切り絵スタイル画像の高効率の生成を実現し、スタイル画像生成の面白さを向上させる。

図１０は、本開示の実施例により提供される画像処理装置４００の構造概略図であり、当該装置は、ソフトウェア及び／又はハードウェアを利用して実現されることができ、また、さまざまなユーザ端末又はサーバなど、コンピューティング能力を備える任意の電子機器に集積されることができる。

図１０に示すように、本開示の実施例により提供される画像処理装置４００は、元の画像取得モジュール４０１、カートゥーン画像決定モジュール４０２、ライン及びカラーブロック情報取得モジュール４０３、及び切り絵画像生成モジュール４０４を含んでもよい。
元の画像取得モジュール４０１は、元の画像を取得するために用いられ、
カートゥーン画像決定モジュール４０２は、元の画像に対応するカートゥーン画像を決定するために用いられ、
ライン及びカラーブロック情報取得モジュール４０３は、カートゥーン画像のライン情報とカラーブロック情報とを取得するために用いられ、
切り絵画像生成モジュール４０４は、カートゥーン画像のライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定するために用いられる。

選択的には、ライン及びカラーブロック情報取得モジュール４０３は、
カートゥーン画像上の１つ又は複数の情報抽出領域を識別するために用いられる情報抽出領域識別ユニットと、
各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域内のライン情報とカラーブロック情報とを取得するために用いられるライン及びカラーブロック情報抽出ユニットと、
各情報抽出領域のカートゥーン画像での位置に基づき、各情報抽出領域内のライン情報とカラーブロック情報とに対して継ぎ合わせを行い、カートゥーン画像のライン情報とカラーブロック情報とを得るために用いられる情報継ぎ合わせユニットと、を含む。

選択的には、ライン及びカラーブロック情報抽出ユニットは、
各情報抽出領域に対応する抽出パラメータに基づき、カートゥーン画像内の各抽出パラメータに対応する候補ライン情報と候補カラーブロック情報とをそれぞれ取得するために用いられる第１の情報取得サブユニットと、
各情報抽出領域のカートゥーン画像での位置に基づき、抽出パラメータに対応するカートゥーン画像の候補ライン情報と候補カラーブロック情報とから、各情報抽出領域内のライン情報とカラーブロック情報とをそれぞれ決定するために用いられる第１の情報決定サブユニットと、を含む。

選択的には、ライン及びカラーブロック情報抽出ユニットは、
各情報抽出領域のカートゥーン画像での位置に基づき、カートゥーン画像に対して領域分割を行い、各情報抽出領域に対応する領域サブ画像を得るために用いられる領域分割サブユニットと、
各情報抽出領域に対応する抽出パラメータに基づき、各情報抽出領域に対応する領域サブ画像のライン情報とカラーブロック情報とをそれぞれ取得するために用いられる第２の情報取得サブユニットと、を含む。

選択的には、切り絵画像生成モジュール４０４は、
カートゥーン画像のライン情報とカラーブロック情報とに基づいて候補画像を得るために用いられる候補画像決定ユニットと、
候補画像に対してプリセット処理を行うとともに、プリセット処理の結果に基づいて元の画像に対応する切り絵画像を得るために用いられるプリセット処理ユニットであって、プリセット処理は、ライン情報のギザギザの除去及びライン情報のノイズの除去の少なくとも１つを含むプリセット処理ユニットと、を含む。

選択的には、プリセット処理サブユニットは、
候補画像をベクトル化画像に変換するために用いられる画像変換サブユニットと、
プリセット画像色とプリセット画像解像度とに基づき、ベクトル化画像に対してレンダリングを行い、元の画像に対応する切り絵画像を得るために用いられる画像レンダリングサブユニットと、を含む。

本開示の実施例により提供される画像処理装置は、本開示の実施例により提供される任意の画像処理方法を実行することができ、当該方法を実行するための相応の機能モジュール及び有益な効果を備える。本開示の装置の実施例では詳細に説明していない内容は、本開示の任意の方法の実施例の記述を参照することができる。

図１１は、本開示の実施例により提供される画像生成装置の構造概略図であり、当該装置は、ソフトウェア及び／又はハードウェアを利用して実現されることができ、例えば、モバイルスマート端末、タブレットコンピュータ、ノートブックコンピュータなど、コンピューティング能力を備える任意の電子機器に集積されることができる。

図１１に示すように、本開示の実施例により提供される画像生成装置５００は、処理対象画像取得モジュール５０１及び切り絵スタイル画像生成モジュール５０２を含んでもよい。
処理対象画像取得モジュール５０１は、処理対象画像を取得するために用いられ、
切り絵スタイル画像生成モジュール５０２は、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るために用いられ、
切り絵スタイル画像生成モデルは、元の画像と元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、切り絵画像は、本開示の実施例により提供されるいずれかの画像処理方法に基づいて得られるものである。

選択的には、本開示の実施例により提供される画像生成装置５００は、さらに、
ユーザの切り絵スタイル画像生成リクエストに応答し、元のテンプレート画像を表示するために用いられるテンプレート画像表示モジュールと、
切り絵スタイル画像をテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するために用いられる目標画像生成モジュールと、を含んでもよい。

選択的には、目標画像生成モジュールは、
切り絵スタイル画像での目標対象の位置に基づき、切り絵スタイル画像に対して領域分割を行い、目標対象に対応する領域サブ画像を得るために用いられる領域分割ユニットと、
目標対象に対応する領域サブ画像を元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するために用いられる重ね表示ユニットと、を含む。

選択的には、本開示の実施例により提供される画像生成装置５００は、さらに、
切り絵スタイル画像に対して特徴増強処理及び／又はぼかし除去処理を行うために用いられるスタイル画像処理モジュールを含んでもよい。

選択的には、スタイル画像処理モジュールは、
切り絵スタイル画像に対してぼかし処理を行い、ぼかしスタイル画像を得るために用いられるぼかし処理ユニットと、
切り絵スタイル画像とぼかしスタイル画像とに基づき、切り絵スタイル画像に対応する残差画像を決定するために用いられる残差画像決定ユニットと、
残差画像に対して特徴拡大処理を行うとともに、特徴拡大処理が行われた残差画像とぼかしスタイル画像とに対して重ね処理を行い、特徴増強処理が行われた切り絵スタイル画像を得るために用いられる画像重ね処理ユニットと、を含む。

選択的には、スタイル画像処理モジュールは、
切り絵スタイル画像に対して高周波情報抽出を行い、ぼかし除去処理が行われた切り絵スタイル画像を得るために用いられる高周波情報抽出ユニットを含む。

本開示の実施例により提供される画像生成装置は、本開示の実施例により提供される任意の画像生成方法を実行することができ、当該方法を実行するための相応の機能モジュール及び有益な効果を備える。本開示の装置の実施例では詳細に説明していない内容は、本開示の任意の方法の実施例の記述を参照することができる。

図１２は、本開示の実施例により提供される電子機器の構造概略図であり、本開示の実施例により提供される画像処理方法又は画像生成方法を実現する電子機器を例示的に説明するために用いられる。本開示の実施例における電子機器は、携帯電話、ノートブックコンピュータ、デジタル放送受信機、ＰＤＡ（パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（携帯型マルチメディアプレーヤー）、車載端末（例えば、車載ナビゲーション端末）などの移動端末、及びデジタルＴＶ、デスクトップコンピュータ、スマートホームデバイス、ウェアラブル電子機器、サーバなどの固定端末を含むことができるが、それらに限定されない。図１２に示される電子機器は単なる一例であり、本開示の実施例の機能及び使用範囲にいかなる制限も課すべきでない。

図１２に示すように、電子機器６００は、１つ又は複数のプロセッサ６０１及びメモリ６０２を含む。

プロセッサ６０１は、中央処理装置（ＣＰＵ）又はデータ処理能力及び／又は命令実行能力を備える他の形式の処理ユニットとすることができ、電子機器６００における他のコンポーネントを制御して所望する機能を実行することができる。

メモリ６０２は、１つ又は複数のコンピュータプログラム製品を含むことができ、コンピュータプログラム製品は、例えば揮発性メモリ及び／又は不揮発性メモリなど、さまざまな形式のコンピュータ可読記憶媒体を含むことができる。揮発性メモリは、例えばランダムアクセスメモリ（ＲＡＭ）及び／又は高速キャッシュメモリ（ｃａｃｈｅ）などを含むことができる。不揮発性メモリは、例えば読み取り専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含むことができる。コンピュータ可読記憶媒体には、１つ又は複数のコンピュータプログラム命令が記憶されることができ、プロセッサ６０１はプログラム命令を実行することができ、それによって、本開示の実施例により提供される画像処理方法又は画像生成方法を実現し、さらに、所望する他の機能を実現することもできる。コンピュータ可読記憶媒体には、さらに、入力信号、信号成分、ノイズ成分などさまざまな内容が含まれることができる。

１つの態様では、本開示の実施例により提供される画像処理方法は、元の画像を取得するステップと、元の画像に対応するカートゥーン画像を決定するステップと、カートゥーン画像のライン情報とカラーブロック情報とを取得するステップと、ライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定するステップと、を含むことができる。

他の態様では、本開示の実施例により提供される画像生成方法は、処理対象画像を取得するステップと、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るステップと、を含んでもよい。切り絵スタイル画像生成モデルは、元の画像と元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、切り絵画像は、本開示の実施例により提供される任意の画像処理方法に基づいて得られるものである。

電子機器６００は、さらに、本開示の方法の実施例により提供される他の選択的な実施形態を実行することができる。

一例では、電子機器６００は、さらに、入力装置６０３及び出力装置６０４を含むことができ、これらのコンポーネントは、バスシステム及び／又は他の形式の接続機構で（図示しない）互いに接続され得る。

また、当該入力装置６０３は、さらに、キーボード、マウスなどを含むことができる。

当該出力装置６０４は、決定された距離情報や方向情報などを含むさまざまな情報を外部に出力することができる。当該出力装置６０４は、例えば、ディスプレイ、スピーカ、プリンタ、通信ネットワーク及びそれに接続された遠隔出力デバイスなどを含むことができる。

当然ながら、簡潔さのために、図１２には、当該電子機器６００の本開示に関連するコンポーネントの一部のみを示しており、バスや入力／出力ポートなどのコンポーネントを省略している。また、電子機器６００は、具体的な応用状況に応じて、任意の他の適切なコンポーネントを含むことができる。

本開示の実施例は、上記の方法及び機器のほか、さらに、コンピュータプログラム又はコンピュータプログラム命令を含む、コンピュータプログラム製品を提供し、コンピュータプログラム又はコンピュータプログラム命令がコンピューティングデバイスにより実行されるとき、コンピューティングデバイスが本開示の実施例により提供される任意の画像処理方法又は画像生成方法を実現する。

コンピュータプログラム製品においては、本開示の実施例の操作を実行するためのプログラムコードは、Ｊａｖａ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」言語又はそれに類似するプログラミング言語などの従来の手続き型プログラミング言語と、を含む１つ又は複数のプログラミング言語の組み合わせで書くことができる。プログラムコードは、完全にユーザ電子機器で実行されてもよいし、部分的にユーザ電子機器で実行されてもよいし、独立したソフトウェアパッケージとして実行されてもよいし、部分的にユーザ電子機器で実行されて且つ部分的にリモート電子機器で実行されてもよいし、または完全にリモート電子機器で実行されてもよい。

また、本開示の実施例は、さらに、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体を提供し、コンピュータプログラム命令がコンピューティングデバイスにより実行されるとき、コンピューティングデバイスが本開示の実施例により提供される任意の画像処理方法又は画像生成方法を実現する。

１つの態様では、本開示の実施例により提供される画像処理方法は、元の画像を取得するステップと、元の画像に対応するカートゥーン画像を決定するステップと、カートゥーン画像のライン情報とカラーブロック情報とを取得するステップと、ライン情報とカラーブロック情報とに基づいて元の画像に対応する切り絵画像を決定するステップと、を含むことができる。

他の態様では、本開示の実施例により提供される画像生成方法は、処理対象画像を取得するステップと、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るステップと、を含むことができ、切り絵スタイル画像生成モデルは、元の画像と元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、切り絵画像は、本開示の実施例により提供される任意の画像処理方法に基づいて得られるものである。

コンピュータプログラム命令は、コンピューティングデバイスにより実行されると、コンピューティングデバイスが本開示の方法の実施例により提供される他の選択的な実施形態を実現するようにさせることができることを理解すべきである。

コンピュータ可読記憶媒体は、１つ又は複数の可読媒体の任意の組み合わせを使用することができる。可読媒体は、可読信号媒体又は可読記憶媒体であり得る。可読記憶媒体は、電気的、磁気的、光学的、電磁的、赤外線、又は半導体のシステム、装置又はデバイス、あるいは上記の任意の組み合わせにすることができるが、それらに限定されない。可読記憶媒体のより具体的な例（非網羅的なリスト）として、１本又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光ストレージデバイス、磁気メモリコンポーネント、または上記の任意の適切な組み合わせを含む。

なお、本明細書では、「第１」及び「第２」などの関係用語は、１つのエンティティ又は操作を別のエンティティ又は操作から区別するためだけに使用され、必ずしもこれらのエンティティ又は操作の間の何らかの実際の関係又は順序を要求又は暗示するものではない。また、用語「含む」、「含まれる」、またはそれらの任意の他の変形は、非排他的な包含を含むことを意図し、それによって、一連の要素を含むプロセス、方法、物品、またはデバイスは、それらの要素だけでなく、明示的に列挙されていない他の要素、またはそのようなプロセス、方法、物品、またはデバイスに固有の要素も含む。より限定されない限り、「１つの・・・を含む」という文によって限定される要素は、要素が含まれるプロセス、方法、物品、またはデバイス内にさらに他の同じ要素が存在することを排除しない。

以上は、本開示の具体的な実施形態のみであり、当業者が本開示を理解又は実施することを可能にする。これらの実施例に対する様々な修正は、当業者には明らかであり、本明細書で定義される一般的な原理は、本開示の精神又は範囲から逸脱することなく、他の実施例で実施されることができる。したがって、本開示は、本明細書のこれらの実施例に限定されるものではなく、本明細書で開示される原理及び特別な特徴と一致する最も広い範囲に適合する。

本願は２０２１年２月９日に中国特許局に提出された、出願番号が２０２１０１８０５６２．９で、発明の名称が「画像処理方法、画像生成方法、装置、機器及び媒体」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み込まれる。

図１は、本開示の実施例により提供される１つの画像処理方法のフローチャートであり、切り絵画像を如何に生成するかのシーンに適用されることができ、当該方法は切り絵画像処理装置により実行されることができ、当該装置は、ソフトウェア及び／又はハードウェアを利用して実現されることができ、また、さまざまなユーザ端末又はサーバなど、コンピューティング能力を備える任意の電子機器に集積されることができる。

選択的な実施形態では、カートゥーン画像上の１つ又は複数の情報抽出領域を決定した後、各情報抽出領域に対応する抽出パラメータを利用し、カートゥーン画像全体に対してライン情報とカラーブロック情報との抽出操作をそれぞれ１回又は複数回行うとともに、毎回の抽出結果をカートゥーン画像の候補ライン情報及び候補カラーブロック情報とした後、各情報抽出領域のカートゥーン画像での位置に基づき、各抽出パラメータに対応するカートゥーン画像の候補ライン情報と候補カラーブロック情報とから、各情報抽出領域に属するライン情報とカラーブロック情報とを決定することができる。例えば、顔領域に対応する抽出パラメータを利用し、カートゥーン画像全体に対してライン情報とカラーブロック情報との抽出操作を行い、抽出結果をカートゥーン画像の候補ライン情報及び候補カラーブロック情報（顔領域のライン情報とカラーブロック情報とが含まれていると同時に、カートゥーン画像上の顔領域以外の他の領域のライン情報とカラーブロック情報とも含まれている）とした後、顔領域のカートゥーン画像全体での位置に基づき、カートゥーン画像の候補ライン情報と候補カラーブロック情報とから、顔領域のライン情報とカラーブロック情報とを決定する。

選択的な実施形態では、本開示の実施例により提供される画像生成方法は、切り絵スタイル画像生成モデルを利用して処理対象画像に対応する切り絵スタイル画像を得るステップの後に、さらに、
切り絵スタイル画像に対して特徴増強処理及び／又はぼかし除去処理を行うステップを含む。

選択的には、プリセット処理ユニットは、
候補画像をベクトル化画像に変換するために用いられる画像変換サブユニットと、
プリセット画像色とプリセット画像解像度とに基づき、ベクトル化画像に対してレンダリングを行い、元の画像に対応する切り絵画像を得るために用いられる画像レンダリングサブユニットと、を含む。

本願は２０２１年２月９日に中国特許局に提出された、出願番号が２０２１１０１８０５６２．９で、発明の名称が「画像処理方法、画像生成方法、装置、機器及び媒体」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み込まれる。

Claims (18)

1. 画像処理方法であって、
   元の画像を取得するステップと、
   前記元の画像に対応するカートゥーン画像を決定するステップと、
   前記カートゥーン画像のライン情報とカラーブロック情報とを取得するステップと、
   前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するステップと、を含む、ことを特徴とする画像処理方法。
2. 前記カートゥーン画像のライン情報とカラーブロック情報とを取得するステップは、
   前記カートゥーン画像上の１つ又は複数の情報抽出領域を識別するステップと、
   各情報抽出領域に対応する抽出パラメータに基づき、前記各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップと、
   各情報抽出領域の前記カートゥーン画像での位置に基づき、前記各情報抽出領域内のライン情報とカラーブロック情報とに対して継ぎ合わせを行い、前記カートゥーン画像のライン情報とカラーブロック情報とを得るステップと、を含む、ことを特徴とする請求項１に記載の方法。
3. 各情報抽出領域に対応する抽出パラメータに基づき、前記各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップは、
   前記各情報抽出領域に対応する抽出パラメータに基づき、前記カートゥーン画像内の各抽出パラメータに対応する候補ライン情報と候補カラーブロック情報とをそれぞれ取得するステップと、
   前記各情報抽出領域の前記カートゥーン画像での位置に基づき、前記抽出パラメータに対応する前記カートゥーン画像の候補ライン情報と候補カラーブロック情報とから、前記各情報抽出領域内のライン情報とカラーブロック情報とをそれぞれ決定するステップと、を含む、ことを特徴とする請求項２に記載の方法。
4. 各情報抽出領域に対応する抽出パラメータに基づき、前記各情報抽出領域内のライン情報とカラーブロック情報とを取得するステップは、
   前記各情報抽出領域の前記カートゥーン画像での位置に基づき、前記カートゥーン画像に対して領域分割を行い、前記各情報抽出領域に対応する領域サブ画像を得るステップと、
   前記各情報抽出領域に対応する抽出パラメータに基づき、前記各情報抽出領域に対応する領域サブ画像のライン情報とカラーブロック情報とをそれぞれ取得するステップと、を含む、ことを特徴とする請求項２に記載の方法。
5. 前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するステップは、
   前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて候補画像を得るステップと、
   前記候補画像に対してプリセット処理を行うとともに、プリセット処理の結果に基づいて前記元の画像に対応する切り絵画像を得るステップであって、前記プリセット処理は、ライン情報のギザギザの除去及びライン情報のノイズの除去の少なくとも１つを含むステップと、を含む、ことを特徴とする請求項１～４のいずれか１項に記載の方法。
6. 前記候補画像に対してプリセット処理を行うとともに、プリセット処理の結果に基づいて前記元の画像に対応する切り絵画像を得るステップは、
   前記候補画像をベクトル化画像に変換するステップと、
   プリセット画像色とプリセット画像解像度とに基づき、前記ベクトル化画像に対してレンダリングを行い、前記元の画像に対応する切り絵画像を得るステップと、を含む、ことを特徴とする請求項５に記載の方法。
7. 画像生成方法であって、
   処理対象画像を取得するステップと、
   切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るステップと、を含み、
   前記切り絵スタイル画像生成モデルは、元の画像と前記元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、前記切り絵画像は、請求項１～６のいずれか１項に記載の画像処理方法に基づいて得られるものである、ことを特徴とする画像生成方法。
8. 処理対象画像を取得するステップの前に、
   ユーザの切り絵スタイル画像生成リクエストに応答し、元のテンプレート画像を表示するステップをさらに含み、
   切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るステップの後に、
   前記切り絵スタイル画像を前記元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップをさらに含む、ことを特徴とする請求項７に記載の方法。
9. 前記切り絵スタイル画像を前記元のテンプレート画像に対応する切り絵スタイルテンプレート画像に重ねて表示し、目標画像を生成するステップは、
   前記切り絵スタイル画像での目標対象の位置に基づき、前記切り絵スタイル画像に対して領域分割を行い、前記目標対象に対応する領域サブ画像を得るステップと、
   前記目標対象に対応する領域サブ画像を前記切り絵スタイルテンプレート画像に重ねて表示し、前記目標画像を生成するステップと、を含む、ことを特徴とする請求項８に記載の方法。
10. 切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るステップの後に、
    前記切り絵スタイル画像に対して特徴増強処理及び／又はぼかし除去処理を行うステップをさらに含む、ことを特徴とする請求項７に記載の方法。
11. 前記切り絵スタイル画像に対して特徴増強処理を行うステップは、
    前記切り絵スタイル画像に対してぼかし処理を行い、ぼかしスタイル画像を得るステップと、
    前記切り絵スタイル画像と前記ぼかしスタイル画像とに基づき、前記切り絵スタイル画像に対応する残差画像を決定するステップと、
    前記残差画像に対して特徴拡大処理を行うとともに、特徴拡大処理が行われた前記残差画像と前記ぼかしスタイル画像とに対して重ね処理を行い、前記特徴増強処理が行われた切り絵スタイル画像を得るステップと、を含む、ことを特徴とする請求項１０に記載の方法。
12. 前記切り絵スタイル画像に対してぼかし除去処理を行うステップは、
    前記切り絵スタイル画像に対して高周波情報抽出を行い、前記ぼかし除去処理が行われた切り絵スタイル画像を得るステップを含む、ことを特徴とする請求項１０に記載の方法。
13. 画像処理装置であって、
    元の画像を取得するために用いられる元の画像取得モジュールと、
    前記元の画像に対応するカートゥーン画像を決定するために用いられるカートゥーン画像決定モジュールと、
    前記カートゥーン画像のライン情報とカラーブロック情報とを取得するために用いられるライン及びカラーブロック情報取得モジュールと、
    前記カートゥーン画像のライン情報とカラーブロック情報とに基づいて前記元の画像に対応する切り絵画像を決定するために用いられる切り絵画像生成モジュールと、を含む、ことを特徴とする画像処理装置。
14. 画像生成装置であって、
    処理対象画像を取得するために用いられる処理対象画像取得モジュールと、
    切り絵スタイル画像生成モデルを利用して前記処理対象画像に対応する切り絵スタイル画像を得るために用いられる切り絵スタイル画像生成モジュールと、を含み、
    前記切り絵スタイル画像生成モデルは、元の画像と前記元の画像に対応する切り絵画像とに基づいてトレーニングして得られるものであり、前記切り絵画像は、請求項１～６のいずれか１項に記載の画像処理方法に基づいて得られるものである、ことを特徴とする画像生成装置。
15. メモリとプロセッサとを含む電子機器であって、前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサにより実行されるとき、前記電子機器が、請求項１～６のいずれか１項に記載の画像処理方法を実現するか、または、請求項７～１２のいずれか１項に記載の画像生成方法を実現する、ことを特徴とする電子機器。
16. コンピュータ可読記憶媒体であって、前記記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがコンピューティングデバイスにより実行されるとき、前記コンピューティングデバイスが、請求項１～６のいずれか１項に記載の画像処理方法を実現するか、または、請求項７～１２のいずれか１項に記載の画像生成方法を実現する、ことを特徴とするコンピュータ可読記憶媒体。
17. コンピュータプログラム命令を含む、コンピュータプログラム製品であって、前記コンピュータプログラム命令は、コンピュータデバイスに、請求項１～６のいずれか１項に記載の画像処理方法を実行させるか、または、請求項７～１２のいずれか１項に記載の画像生成方法を実行させる、ことを特徴とするコンピュータプログラム製品。
18. コンピュータデバイスに、請求項１～６のいずれか１項に記載の画像処理方法を実行させるか、または、請求項７～１２のいずれか１項に記載の画像生成方法を実行させる、ことを特徴とするコンピュータプログラム。