JP7483301B2 - 画像処理及び画像合成方法、装置及びコンピュータプログラム - Google Patents

Description

本願は画像処理分野に関し、具体的に画像処理及び画像合成方法、装置及び記憶媒体に関する。

本願は、２０２０年６月１日に中国特許庁に提出された、出願番号が第２０２０１０４８６６４６．０号であり、発明の名称が「画像処理及び画像合成方法、装置及び記憶媒体」である中国特許出願の優先権を主張し、そのすべての内容は引用により本願に組み込まれる。

いくつかの画像処理アプリケーションはユーザーのためにいくつかの画像処理機能を提供することができる。例えば、ユーザーがアップロードした正面の面部画像に基づき、異なる角度の面部画像を生成することができる。現状の画像処理アプリケーションは、通常、３Ｄ面部再構成技術を採用しており、ユーザーがアップロードした正面の面部画像に基づき３Ｄモデルを生成し、次に該モデルに基づき異なる角度の面部画像を取得する。しかしながら、このような方式は高精度の３Ｄモデルの作成及び介入を必要とし、且つ変形可能な３Ｄモデルがユーザーの面部角度、面部と五官との比率に動的にマッチングする必要があり、また比較的大きな３Ｄ実現開発量を必要とする。従って、アプリケーションの製品技術アーキテクチャが複雑になり、それにより画像処理の速度に悪影響を与えてしまう。

本願の実施例は画像処理及び画像合成方法、装置及び記憶媒体を提供し、簡単で、便利に処理待ち面部画像をターゲット方向へ偏向させることができる。

本願の実施例は画像処理方法を提供し、電子機器により実行され、
処理待ち面部画像を取得するステップと、
前記処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得るステップと、
前記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定するステップであって、前記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点である、ステップと、
前記特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得るステップであって、前記参照面部深度画像は前記参照面部画像に対応する面部深度画像である、ステップと、
前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得るステップと、を含む。

対応するように、本願はさらに画像合成方法を提供し、電子機器により実行され、
処理待ち面部画像を取得するステップと、
前記処理待ち面部画像に基づきターゲット面部画像を取得するステップであって、前記ターゲット面部画像は前記画像処理方法の処理に基づき得られる、ステップと、
前記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得るステップと、を含む。

本願の実施例はさらに画像処理装置を提供し、識別ユニットと、計算ユニットと、調整ユニットと、偏向ユニットと、を含み、
前記識別ユニットは、前記処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得ることに用いられ、
前記計算ユニットは、前記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定することに用いられ、前記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点であり、
前記調整ユニットは、前記特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得ることに用いられ、前記参照面部深度画像は前記参照面部画像に対応する面部深度画像であり、
前記偏向ユニットは、前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得ることに用いられる。

対応するように、本願の実施例はさらに画像合成装置を提供し、取得ユニットと、処理ユニットと、融合ユニットと、を含み、
前記取得ユニットは、処理待ち面部画像を取得することに用いられ、
前記処理ユニットは、前記処理待ち面部画像に基づきターゲット面部画像を取得することに用いられ、前記ターゲット面部画像は前記画像処理方法の処理に基づき得られ、
前記融合ユニットは、前記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得ることに用いられる。

本願の実施例はさらにコンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には複数の命令が記憶されており、前記命令はプロセッサによりロードされることで、本願の実施例により提供されたいずれかの画像処理方法又は画像合成方法のステップを実行することに適する。

本願の実施例では、処理待ち面部画像を取得し、処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得る。前記処理待ち面部パーツ特徴点は前記処理待ち面部画像の面部パーツ特徴点であり、参照面部パーツ特徴点に対する処理待ち面部パーツ特徴点間の特徴点位置オフセット情報を計算する。参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点であり、特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、処理待ち面部画像に対応するターゲット面部深度画像を得る。参照面部深度画像は参照面部画像に対応する面部深度画像であり、ターゲット面部深度画像に基づき処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得ることができる。それによって、本手段は簡単で、便利に処理待ち面部画像をターゲット方向へ偏向させることができる。

本願の実施例の技術的手段をより明確に説明するために、以下、実施例の記述に使用される必要がある図面を簡単に紹介する。明らかなように、以下の記述における図面は単に本願のいくつかの実施例であり、当業者であれば、創造的な労働をしない前提下で、さらにこれらの図面に基づきその他の図面を取得することができる。

本願の実施例により提供された画像処理方法のシーン模式図である。 本願の実施例により提供された画像合成方法のシーン模式図である。 本願の実施例により提供された画像処理方法のプロセス模式図である。 本願の実施例により提供された画像合成方法のプロセス模式図である。 本願の実施例により提供された画像処理装置の構造模式図である。 本願の実施例により提供された画像合成装置の構造模式図である。 本願の実施例により提供された電子機器の構造模式図である。 本願の実施例により提供された画像処理方法のターゲット深度画像の生成プロセス模式図である。 本願の実施例により提供された画像処理方法の参照深度関係の模式図である。 本願の実施例により提供された画像処理方法の画像偏向の模式図である。 本願の実施例により提供された画像処理方法の面部方向矯正の模式図である。 本願の実施例により提供された画像合成方法の全体的なプロセス模式図である。 本願の実施例により提供された画像合成方法のシーンのプロセス模式図である。 本願の実施例により提供された画像合成方法と従来技術との比較の模式図である。 本願の実施例により提供された画像合成方法の融合過程の模式図である。 本願の実施例により提供された画像合成方法の合成結果の模式図である。 本願の実施例により提供された画像合成方法のビデオ合成の模式図である。

以下、本願の実施例の図面を参照しながら、本願の実施例の技術的手段を明確で、完全に記述する。明らかなように、記述される実施例は単に本願の一部の実施例であり、すべての実施例ではない。本願の実施例に基づいて、当業者が創造的な労働をしない前提下で取得するすべてのその他の実施例は、いずれも本願の保護範囲に属する。

本願の実施例は画像処理及び画像合成方法、装置及び記憶媒体を提供する。

ここで、該画像処理装置は具体的に電子機器に集積することができる。該電子機器は、端末、サーバ等の機器であってもよい。ここで、端末は、携帯電話、タブレットコンピュータ、スマートブルートゥース（登録商標）機器、ノートパソコン、又はパーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＰＣ）等の機器であってもよく、サーバは、単一サーバであってもよく、複数のサーバからなるサーバクラスターであってもよい。

いくつかの実施例では、該画像処理装置はさらに複数の電子機器に集積することができる。例えば、画像処理装置は複数のサーバに集積することができ、複数のサーバにより本願の画像処理方法を実現する。いくつかの実施例では、画像処理はさらに端末の形式で実現されてもよい。

例えば、図１ａに参照されるように、該電子機器は、処理待ち面部画像を取得し、処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得る。ここで、上記処理待ち面部パーツ特徴点は上記処理待ち面部画像の面部パーツ特徴点であり、参照面部パーツ特徴点に対する処理待ち面部パーツ特徴点間の特徴点位置オフセット情報を計算する。ここで、参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点であり、特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、処理待ち面部画像に対応するターゲット面部深度画像を得る。ここで、参照面部深度画像は参照面部画像に対応する面部深度画像であり、ターゲット面部深度画像に基づき処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得ることができる。それによって、本手段は簡単で、便利に処理待ち面部画像をターゲット方向へ偏向させることができる。

対応するように、該画像合成装置は具体的に電子機器に集積することができる。該電子機器は、端末、サーバ等の機器であってもよい。ここで、端末は、携帯電話、タブレットコンピュータ、スマートブルートゥース機器、ノートパソコン、又はパーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＰＣ）等の機器であってもよく、サーバは単一サーバであってもよく、複数のサーバからなるサーバクラスターであってもよい。

いくつかの実施例では、該画像合成装置はさらに複数の電子機器に集積することができる。例えば、画像合成装置は複数のサーバに集積することができ、複数のサーバにより本願の画像合成方法を実現する。いくつかの実施例では、画像合成はさらに端末の形式で実現されてもよい。

図１ｂに参照されるように、該電子機器は、処理待ち面部画像を取得し、上記処理待ち面部画像に基づきターゲット面部画像を取得し、上記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得ることができる。本手段はユーザーがアップロードした面部画像と異なる方向のテンプレート画像とを融合させることができる。すなわちユーザーは１つの処理待ち面部画像をアップロードするだけで、複数の異なる角度のターゲット画像を合成することができ、それにより画像合成のプレイアビリティ及び実用性を向上させることができる。

以下、それぞれ詳細に説明する。説明する必要がある点として、以下の実施例の番号は実施例の好ましい順序を限定するものではない。

本実施例では、画像処理方法を提供し、図２ａに示すように、該画像処理方法の具体的なプロセスは以下の通りである。

１０１：上記処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得る。

ここで、処理待ち面部画像とは、ユーザーがアップロードした処理待ち画像の面部領域を指す。

一実施例では、端末は以下のステップで処理待ち画像を取得することができる。

処理待ち画像を取得する。

上記処理待ち画像における面部領域の方向が予め設定した方向であるときに、上記処理待ち画像から面部領域を分割し、処理待ち面部画像とする。

ここで、上記所定の方向は参照面部画像における面部領域が位置する方向である。応用の便宜上、一般的に当該所定の方向を正面として設定する。すなわち、画像の頭部冠状線が位置する平面は画像が位置する平面に平行である。

ここで、参照面部画像は予め設定された標準面部画像である。該標準的な面部面は大量の面部画像の融合に基づき得ることができる。

一実施例では、端末に画像処理ページを表示することができ、ユーザーは画像処理ページで操作することができ、それにより処理待ち画像を取得する。例えば、画像処理ページにはピクチャを取得することに用いられる制御部材が設置されており、該制御部材は処理待ち画像を取得することに用いられる命令インタフェースであり、ボタン、アイコン等の複数種の異なる形式で表すことができる。ユーザーが該制御部材をクリックするときに、端末はピクチャを取得する命令を受信し、かつ該命令に基づき処理待ち画像を取得する。

一実施例では、端末は該命令に基づいてカメラを起動させ、かつ撮影ページを表示することができ、ユーザーの撮影ページでの操作に基づいて、処理待ち画像を取得する。他の実施例では、端末はさらに該命令に基づいて端末の内部メモリに記憶されているピクチャを取得し、かつユーザーの選択操作に基づいて、その中から処理待ち画像を決定することができる。

一実施例では、図５ｄに参照されるように、上記処理待ち画像における面部領域の方向が所定の方向ではないときに、上記処理待ち画像から面部領域画像を分割することができ、かつ参照面部画像に基づき、面部領域画像を所定の方向へ偏向させて、処理待ち面部画像を得ることができる。ここで、面部領域画像を所定の方向へ偏向させるために採用した方法は本実施例１０２～１０５を参照すればよいため、詳細な説明は省略する。

ここで、面部パーツ特徴点は面部パーツ（例えば面部の五官）の本質的な特徴を反映する点であってもよい。例えば、面部五官特徴点を含んでもよく、例えば、面部輪郭特徴点、目特徴点（例えば左目特徴点、右目特徴点、瞳孔特徴点）、眉特徴点（例えば左眉特徴点、右眉特徴点）、口特徴点、鼻特徴点等である。

ここで、面部パーツ特徴点の識別方式は複数種の方式であってもよく、例えば、深層学習ネットワークモデルに基づいて面部パーツ特徴点を識別することができる。さらに例えば、訓練後の面部特徴ネットワーク識別モデルに基づいて面部画像に対して特徴点識別を行うことができ、該面部特徴ネットワーク識別モデルは畳み込みニューラルネットワークに基づくモデルであってもよい。

面部特徴ネットワーク識別モデルを使用する前、大量のサンプル面部画像を使用して該面部特徴ネットワーク識別モデルを訓練する必要がある。

ここで、面部特徴ネットワーク識別モデルは人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）に関連し、デジタルコンピュータを利用して人間が環境を感知し、知識を取得しかつ知識を使用することをシミュレートする一種の技術であり、該技術により、機械は人間の感知、推論及び意思決定と類似する機能を有することができる。人工知能技術は主にコンピュータビジョン技術、音声処理技術、自然言語処理技術、機械学習、及び深層学習等のいくつかの大きな方向を含む。

ここで、コンピュータビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、ＣＶ）はコンピュータを利用して人間の目を代替して処理待ち画像に対して識別、測定等の操作を行いかつさらに処理を行う技術である。コンピュータビジョン技術は、通常、画像処理、画像識別、画像意味理解、画像検索、仮想現実、拡張現実、同期位置決め及び地図構築等の技術を含み、例えば、画像着色、画像ストローク抽出等の画像処理技術である。

ここで、識別された面部パーツ特徴点の数は実際のニーズに基づき設定することができ、例えば、識別された面部輪郭特徴点の数、目特徴点の数等を設定することができる。

例えば、図５ａに参照されるように、面部特徴ネットワーク識別モデルを採用して面部画像を識別することができ、面部五官特徴点を得ることができる。ここで、顔面五官特徴点は８８個の座標点を使用して記述することができる。ここで面部輪郭は２１個の点、左目は８個の点、右目は８個の点、瞳孔は２個の点、左眉は８個の点、右眉は８個の点、口は２０個の点、鼻は１３個の点である。

１０２：上記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定する。ここで、上記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点である。

図５ａに参照されるように、対応する参照面部パーツ特徴点に対する処理待ち面部パーツ特徴点間の位置オフセット情報を計算し、該位置オフセット情報はオフセット方向及びオフセット重みを含む。

一実施例では、上記参照面部画像における位置決め特徴点を位置基準として、上記処理待ち面部画像の上記参照面部画像に対する特徴点位置オフセット情報を決定することができる。

ここで、位置決め特徴点は鼻先位置の特徴点を選択することができる。

１０３：上記特徴点位置オフセット情報に基づいて参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、上記処理待ち面部画像に対応するターゲット面部深度画像を得る。

図５ｃに参照されるように、調整は具体的に、
上記特徴点位置オフセット情報から上記処理待ち部位特徴点のオフセット方向及びオフセット重みを決定するステップと、
上記オフセット方向及び上記オフセット重みに基づき、上記参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、上記処理待ち面部画像に対応するターゲット面部深度画像を得るステップと、を含むことができる。

ここで、深度画像は標準的な面部の解剖学的構造に従って描画され、深度の最も浅い箇所から深度の最も深い箇所までは白色から黒色で表され、基本的に鼻先から冠状線まで（頭部の正面の可視範囲）をカバーし、色が滑らかで柔らかく変化する。

図５ａに参照されるように、ユーザーの面部を識別し、面部と五官の重要な点を位置決めし、参照面部画像と処理待ち面部画像との特徴点位置オフセット情報を参照深度画像に移すことにより、処理待ち面部画像に対応する、１つの「深度マスク」に類似する深度画像を形成する。それにより３Ｄモデル及び技術を導入しない前提下で、「３Ｄ」面部再構成をシミュレートする。そのため、本手段は簡単で、便利に処理待ち面部画像をターゲット方向へ偏向させることができる。

１０４：上記ターゲット面部深度画像に基づき上記処理待ち画像に対して方向偏向を行い、ターゲット面部画像を得る。

一実施例では、図５ｂ及び図５ｃに参照されるように、該ステップは、具体的に、
上記ターゲット面部深度画像及び参照深度関係に基づき、上記処理待ち面部画像における各画素点の深度情報を取得するステップと、
上記処理待ち面部画像における各画素点の深度情報に基づき、上記処理待ち面部画像に対応する立体面部画像を生成するステップと、
上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得るステップと、を含むことができる。

ここで、図５ｂに参照されるように、参照深度関係とは、眉からあごまでの長さと、生成される最大深度との間の関係を指す。本実施例では、人体の頭部構造に基づき面部の合理的な深度を推算することができ、かつ生成される最大深度の間の関係を以下のようにする。

生成される最大深度＝０．７５ａであり、ここで、ａは眉からあごまでの長さである。ここで、偏向後の立体面部画像は図５ｃの３番目の図に示す通りである。

ここで、投影とは、偏向後の立体面部画像の影を１つの平面上に投射することを指し、該平面は処理待ち面部画像の方向に一致する。

「上記ターゲット面部深度画像及び参照深度関係に基づき、上記処理待ち面部画像における各画素点の深度情報を取得する」というステップは、
上記ターゲット面部深度画像から各画素の深度レベルを決定するステップと、
上記処理待ち面部パーツ特徴点における深度参照特徴点及び上記参照深度関係に基づき、上記処理待ち面部画像の面部深度パラメータを決定するステップと、
上記面部深度パラメータ及び上記各画素の深度レベルに基づいて、上記処理待ち面部画像における各画素点の深度情報を決定するステップと、を含むことができる。

図６ｄに示すように、本実施例はユーザーが入力した正面の面部画像を処理して、ターゲット角度の面部画像を得ることができる。すなわち、本手段は簡単で、便利に処理待ち面部画像をターゲット方向へ偏向させることができる。

一出願の実施例では、上記画像処理方法は以下のステップで行うことができる。

１）処理待ち面部特徴点位置、参照面部深度画像及び特徴点位置に従って、変形ストレッチの方式により、処理待ち面部特徴点位置に一致する面部深度画像を得て、且つ中央揃えを保持する。

２）テンプレート図の特徴点及び処理待ち面部画像の特徴点に従って、回転行列を計算する。

３）回転行列に基づき、各元の処理待ち面部画像の画素点の回転後のピクチャでの位置を算出する。

４）充填した後に画素がない位置に対して、最近傍画素値を充填する。

以下、このいくつかのステップの実現について詳細に紹介する。

１）処理待ち面部画像の面部特徴点位置、基本面部深度図及び特徴点位置に従って、変形ストレッチの方式により、処理待ち面部画像の面部特徴点位置に一致する面部深度図を得て、且つ中央揃えを保持する。

基本面部深度図は図５ａに示すように、五官特徴点がマークされた１つの２Ｄ白黒ピクチャであり、面部の異なる領域の深度情報を表す。異なるユーザーは、顔面の形、大きさがいずれも異なる。従って変形の方式を採用して、基本面部深度図に対して変形ストレッチを行い、それによりユーザーの面部特徴点位置に一致する効果を達成することができ、さらに処理待ち面部画像の各画素点の面部深度情報を得ることができる。このステップのアルゴリズムは既存の面部融合プロセスにおける変形のアルゴリズムに一致する。下記図は変形後の特定の処理待ち面部画像に対する深度図である。

２）テンプレート図の特徴点及び処理待ち面部画像の特徴点に従って、回転行列を計算する。

回転角度が（α，β，γ）であり、それぞれ座標軸を中心として回転する回転角度（ｘ、ｙ、ｚ軸を中心として回転する）を表すと仮定すると、回転行列は、以下［数１］となり、これは１つの標準的な三次元座標系の座標点回転式である。

３）回転行列に基づき、各元の処理待ち面部画像の画素点の回転後のピクチャでの位置を算出し、画素を充填する。

回転行列Ｒを有した後、我々は処理待ち面部画像、面部特徴点位置、及び面部深度図に従って、処理待ち面部画像の各画素の回転後の新しい画面での座標を計算することができる。

Ｒ＝｛Ｒ［０］，Ｒ［１］，Ｒ［２］，
Ｒ［３］，Ｒ［４］，Ｒ［５］，
Ｒ［６］，Ｒ［７］，Ｒ［８］｝であり、
処理待ち面部画像の座標点（ｉ，ｊ）、該座標点に対応する深度情報がｐｉｘｅｌｄｅｐｔｈであると仮定すると、以下の式を採用して回転後の画像における座標点（ｘ，ｙ）及び深度ｚを計算する。

ｉｎｔ ｘ＝ｃｅｉｌ（Ｒ［０］＊（ｊ－ｃｅｎｔｅｒ．ｘ）＋Ｒ［１］＊（ｉ－ｃｅｎｅｒ．ｙ）＋Ｒ［２］＊ｐｉｘｅｌｄｅｐｔｈ＋ｃｅｎｔｅｒ．ｘ）
ｉｎｔ ｙ＝ｃｅｉｌ（Ｒ［３］＊（ｊ－ｃｅｎｔｅｒ．ｘ）＋Ｒ［４］＊（ｉ－ｃｅｎｔｅｒ．ｙ）＋Ｒ［５］＊ｐｉｘｅｌｄｅｐｔｈ＋ｃｅｎｔｅｒ．ｙ）
ｆｌｏａｔ ｚ＝Ｒ［６］＊（ｊ－ｃｅｎｔｅｒ．ｘ）＋Ｒ［７］＊（ｉ－ｃｅｎｔｅｒ．ｙ）＋Ｒ［８］＊ｐｉｘｅｌｄｅｐｔｈ

偏向後に同一（ｘ，ｙ）座標にマッピングする画素が複数存在すると仮定すると、ｚが比較的小さな（ユーザーとの距離が近い）画素点の値を、偏向後の（ｘ，ｙ）座標とする。

４）充填した後に画素がない位置に対して、最近傍画素値を充填する。

このステップはターゲット面部画像における欠落している画素を補充することで、ターゲット面部画像における一部の画素が欠失することを回避する。最も簡単な最近傍画素の探索を使用して充填すればよい。

本願の実施例により提供された面部画像処理手段は、各種の面部画像処理シーン、例えば、画像合成シーンに応用することができる。

図６ｅに参照されるように、上記実施例により記述される画像処理方法に基づき、以下、さらに画像合成方法を詳細に説明する。

本実施例では、面部画像処理を例として、本願の実施例の画像合成方法を詳細に説明する。

図２ｂに示すように、画像合成方法は図４に示される電子機器により実行されることができ、プロセスは以下の通りである。

２０１：処理待ち面部画像を取得する。

一実施例では、図６ａに参照されるように、処理待ち面部画像を取得する前に、
面部処理ページでのユーザーの画像テンプレート選択操作が検出されたときに、ユーザーが選択したテンプレート画像を取得するステップと、
上記テンプレート画像における面部領域の方向及び上記処理待ち面部画像の方向に基づいて、ターゲット偏向角度を決定するステップと、をさらに含む。

対応するように、上記した上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップは、
上記ターゲット偏向角度に基づいて、上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップを含む。

図６ａに参照されるように、ここで、第１組の画像はテンプレート画像であり、第２組の画像はターゲット画像である。

２０２：上記処理待ち面部画像に基づきターゲット面部画像を取得する。

一実施例では、実施例１の方法を採用してターゲット面部画像を取得することができる。

他の実施例では、さらに端末に設置された深度カメラを使用してユーザーの面部立体映像をキャプチャーすることができ、
上記処理待ち面部画像における各画素点の深度情報を取得するステップと、
上記各画素点の深度情報に基づき、上記処理待ち面部画像に対応する立体面部画像を生成するステップと、
上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得るステップと、を含むことができる。

一実施例では、参照画像に対応するカラー法線図に基づきターゲット面部画像を取得する。ここで、カラー法線図は立体表現で面部をより豊かに復元することができ（例えば鼻の穴が内側を向くような情報が挙げられるが、我々の写真合成精度の観点から、このような細部を使用しない場合がある）、カラー法線図ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｏｏｒｄｉｎａｔｅ Ｃｏｄｅ）は３ＤＭＭ面部再形成の初期化モデルに相当する。同様に面部のポイントの識別及び転移により、我々はユーザーのために全角度法線情報が付けられる１つのマスクＰＮＣＣを作成することができる。

一実施例では、さらに成熟した３ＤＭＭ面部再構成技術又はインタフェースを選択して、ユーザーの面部再構成、整形、表情復元後の３Ｄモデル及びテクスチャを迅速に取得し、３Ｄ座標で回転させて選択使用する。

一実施例では、さらにユーザーが３６０°連続的に撮影するようにガイドすることで多角度映像を効率的に提供することができる。例えば、正面初期位置決め及びカメラジャイロスコープによる連動位置決めにより、ユーザーが携帯電話を弧を描くように移動させるようにガイドし、ユーザーの面部の各主な角度の画像を撮影し（ｉＯＳ ＦａｃｅＩＤがユーザーの面部情報を初めて記録するインタラクションと類似する）、例えば、５°ごとに１枚の写真を取得し、１６～４８枚の連続的な自分撮りにより正面の大部分の面部角度をカバーすることができる。

面部領域の所定の方向範囲内での複数の処理待ち画像を取得するステップと、
上記複数の処理待ち画像に基づき立体面部画像を生成するステップと、
上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得るステップと、を含むことができる。

２０３：上記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得る。

一実施例では、「上記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得る」というステップは、
上記ターゲット面部画像に対して特徴点識別を行い、ターゲット面部パーツ特徴点を得るステップと、
上記ターゲット面部パーツ特徴点及び対応するテンプレート面部パーツ特徴点に基づいて、上記ターゲット面部画像と上記テンプレート画像の面部領域とを融合させ、合成面部領域を得て、ターゲット面部パーツ特徴点を得るステップであって、上記テンプレート面部パーツ特徴点は上記テンプレート画像の面部パーツ特徴点である、ステップと、
上記合成面部領域と上記テンプレート画像における他の領域とを合成して、ターゲット画像を得るステップと、を含むことができる。

一実施例では、「上記ターゲット面部パーツ特徴点及び対応するテンプレート面部パーツ特徴点に基づいて、上記ターゲット面部画像と上記テンプレート画像の面部領域とを融合させ、合成面部領域を得る」というステップは、
上記ターゲット面部画像から中心領域及び円周領域を決定するステップと、
処理待ち面部パーツ特徴点及び対応する上記テンプレート面部パーツ特徴点に基づいて、上記中心領域と上記テンプレート画像における対応する中心領域とを第１重みで融合させるステップと、
処理待ち面部パーツ特徴点及び対応する上記テンプレート面部パーツ特徴点に基づいて、上記円周領域と上記テンプレート画像における対応する円周領域とを第２重みで融合させるステップであって、上記第１重みは上記第２重みよりも大きい、ステップと、を含むことができる。

図６ｃに参照されるように、融合後の画像を取得して、合成面部領域とする。

ここで、中心領域とは、五官が位置する領域を指し、参照図の中心領域とは、黒色ハート型領域を指し、円周領域とは、面部の中心領域以外の領域を指す。

一実施例では、図６ｃに参照されるように、以下のステップを採用して融合させることができる。

１．五官位置決め：既存の面部識別及び五官位置決めアルゴリズムを採用する。

２．クリッピング、矯正。ターゲット面部画像の面部領域とテンプレート画像の面部領域をそれぞれクリッピングし、且つクリッピングした後の図は四角であり、鼻先をセンタリングして面部がｙ方向に垂直であることを確実にする。

３．ターゲット面部画像の肌の色の領域に対して色の調整を行い、融合させた後の色をより自然にする。

４．ターゲット面部画像、テンプレート画像、及びマスクマップに対してターゲット面部のポイントに従って変形調整を行う。このステップは三角形貼り合せ方式を採用して変形する。

５．変形した後のターゲット面部画像とテンプレート画像を重ね合わせ、マスクマップにより重ね合わせ程度を制御する（例えば、図６ｃでは、黒色領域（中心領域）はより多くのターゲット面部画像重みを使用し、白色領域（円周領域）はより多くのテンプレート画像重みを使用する）。

６．得た合成面部領域をテンプレート画像に貼り付け、最終的な結果、すなわちターゲット画像を得る。

以上から明らかなように、本願はユーザーがアップロードした面部画像を異なる方向のテンプレート画像と融合させることができる。図６ｂに参照されるように、ユーザーが入力した画像をテンプレート画像と直接融合させる方式と比較し、本願の実施例の画像合成の効果がより自然である。すなわち、ユーザーが１つの面部画像をアップロードするだけで、複数の異なる角度の面部画像を生成することができ、それにより画像合成のプレイアビリティ及び実用性を向上させることができる。

図５ｅに示すように、上記画像合成方法はＰｈｏｔｏｓｈｏｐ画像処理アプリケーションのフェイススワップ機能に応用することができる。

図６ｅに参照されるように、本技術的手段は複数の角度の画像（例えば写真）の合成に応用できることを除き、さらに角度変化過程がある動的又はビデオ版画像の合成機能に応用できる。ユーザーは１つの正面の面部画像だけで、簡単な画像合成で連続的に方向を変えた動的結果を取得することができ、それにより製品のプレイ方法をより多く拡張する。（その実現ロジックはＧＡＮ敵対的生成ネットワークモデルによる顔面変換よりも簡単であるだけでなく、サーバリソースが不要である。）

上記方法をより効果的に実施するために、本願の実施例はさらに画像処理装置を提供する。該画像処理装置は電子機器に集積することができ、該電子機器は、端末、サーバ等の機器であってもよい。ここで、端末は、携帯電話、タブレットコンピュータ、スマートブルートゥース機器、ノートパソコン、パーソナルコンピュータ等の機器であってもよく、サーバは、単一サーバであってもよく、複数のサーバからなるサーバクラスターであってもよい。

例えば、本実施例では、画像処理装置が電子機器に集積されることを例として、本願の実施例の方法を詳細に説明する。

例えば、図３ａに示すように、該画像処理装置は、識別ユニット３０１と、計算ユニット３０２と、調整ユニット３０３と、偏向ユニット３０４と、を含むことができ、以下の通りである。

（１）識別ユニット３０１は、上記処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得ることに用いられる。

（２）計算ユニット３０２は、上記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定することに用いられ、ここで、上記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点である。

（３）調整ユニット３０３は、上記特徴点位置オフセット情報に基づいて参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、上記処理待ち面部画像に対応するターゲット面部深度画像を得ることに用いられ、ここで、上記参照面部深度画像は上記参照面部画像に対応する面部深度画像である。

（４）偏向ユニット３０４は、上記ターゲット面部深度画像に基づき上記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得ることに用いられる。

上記偏向ユニット３０４は、取得サブユニットと、生成サブユニットと、偏向サブユニットと、投影サブユニットと、を含むことができ、以下の通りである。
取得サブユニットは、上記ターゲット面部深度画像及び参照深度関係に基づき、上記処理待ち面部画像における各画素点の深度情報を取得することに用いられ、
生成サブユニットは、上記処理待ち面部画像における各画素点の深度情報に基づき、上記処理待ち面部画像に対応する立体面部画像を生成することに用いられ、
偏向サブユニットは、上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることに用いられ、
投影サブユニットは、上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得ることに用いられる。

上記取得サブユニットは、
上記ターゲット面部深度画像から各画素の深度レベルを決定することと、
上記処理待ち面部パーツ特徴点における深度参照特徴点及び上記参照深度関係に基づき、上記処理待ち面部画像の面部深度パラメータを決定することと、
上記面部深度パラメータ及び上記各画素の深度レベルに基づいて、上記処理待ち面部画像における各画素点の深度情報を決定することと、に用いられることができる。

上記計算ユニット３０２は、
上記参照面部画像における位置決め特徴点を位置基準として、上記処理待ち面部画像の上記参照面部画像に対する特徴点位置オフセット情報を決定することに用いられることができる。

上記調整ユニット３０３は、
上記特徴点位置オフセット情報から上記処理待ち部位特徴点のオフセット方向及びオフセット重みを決定することと、
上記オフセット方向及び上記オフセット重みに基づき上記参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、上記処理待ち面部画像に対応するターゲット面部深度画像を得ることと、に用いられることができる。

上記方法をより効果的に実施するために、本願の実施例はさらに画像合成装置を提供する。該画像合成装置は電子機器に集積することができ、該電子機器は、端末、サーバ等の機器であってもよい。ここで、端末は、携帯電話、タブレットコンピュータ、スマートブルートゥース機器、ノートパソコン、パーソナルコンピュータ等の機器であってもよく、サーバは、単一サーバであってもよく、複数のサーバからなるサーバクラスターであってもよい。

例えば、本実施例では、画像合成装置が電子機器に集積されることを例として、本願の実施例の方法を詳細に説明する。

例えば、図３ｂに示すように、該画像合成装置は、取得ユニット４０１と、処理ユニット４０２と、融合ユニット４０３と、を含むことができ、以下の通りである。
（１）取得ユニットは、処理待ち面部画像を取得することに用いられ、
（２）処理ユニットは、上記処理待ち面部画像に基づきターゲット面部画像を取得することに用いられ、ここで、上記ターゲット面部画像は本願の上記実施例に記載の画像処理方法の処理に基づき得られ、
（３）融合ユニットは、上記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得ることに用いられる。

一実施例では、上記画像合成装置はさらに第１合成ユニットを含み、
上記処理待ち面部画像における各画素点の深度情報を取得することと、
上記各画素点の深度情報に基づき、上記処理待ち面部画像に対応する立体面部画像を生成することと、
上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることと、
上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得ることと、に用いられる。

一実施例では、上記画像合成装置はさらに第２合成ユニットを含み、
面部領域の所定の方向範囲内での複数の処理待ち画像を取得することと、
上記複数の処理待ち画像に基づき立体面部画像を生成することと、
上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることと、
上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得ることと、に用いられる。

上記取得ユニット４０１は、
処理待ち画像を取得することと、
上記処理待ち画像における面部領域の方向が所定の方向であるときに、上記処理待ち画像から面部領域を分割し、処理待ち面部画像とすることであって、上記所定の方向は参照面部画像における面部領域が位置する方向である、ことと、に用いられることができる。

上記融合ユニット４０３は、識別サブユニットと、融合サブユニットと、合成サブユニットと、を含むことができ、以下の通りである。
識別サブユニットは、上記ターゲット面部画像に対して特徴点識別を行い、ターゲット面部パーツ特徴点を得ることに用いられ、
融合サブユニットは、上記ターゲット面部パーツ特徴点及び対応するテンプレート面部パーツ特徴点に基づいて、上記ターゲット面部画像と上記テンプレート画像の面部領域とを融合させ、合成面部領域を得て、ターゲット面部パーツ特徴点を得ることに用いられ、上記テンプレート面部パーツ特徴点は上記テンプレート画像の面部パーツ特徴点であり、
合成サブユニットは、上記合成面部領域と上記テンプレート画像における他の領域とを合成して、ターゲット画像を得ることに用いられる。

上記融合サブユニットは、
上記ターゲット面部画像から中心領域及び円周領域を決定することと、
処理待ち面部パーツ特徴点及び対応する上記テンプレート面部パーツ特徴点に基づいて、上記中心領域と上記テンプレート画像における対応する中心領域とを第１重みで融合させることと、
処理待ち面部パーツ特徴点及び対応する上記テンプレート面部パーツ特徴点に基づいて、上記円周領域と上記テンプレート画像における対応する円周領域とを第２重みで融合させることであって、上記第１重みは上記第２重みよりも大きい、ことと、
融合後の画像を取得して、合成面部領域とすることと、に用いられることができる。

ここで、上記各ユニットは、独立した実体として実現されてもよく、任意に組み合わせられてもよく、同一又は若干の実体として実現されてもよく、上記各ユニットの具体的な実施は前の方法実施例を参照することができ、ここでは詳細な説明は省略する。

本願の実施例はさらに電子機器を提供する。該電子機器は、端末、サーバ等の機器であってもよい。ここで、端末は、携帯電話、タブレットコンピュータ、スマートブルートゥース機器、ノートパソコン、パーソナルコンピュータ等であってもよく、サーバは、単一サーバであってもよく、複数のサーバからなるサーバクラスター等であってもよい。

いくつかの実施例では、該画像処理装置又は画像合成装置はさらに複数の電子機器に集積することができる。例えば、画像処理装置は複数のサーバに集積することができ、複数のサーバにより本願の画像処理方法を実現する。いくつかの実施例では、面部画像処理サーバ及び面部画像合成サーバは一台のサーバにより実現されてもよい。

本実施例では、本実施例の電子機器を詳細に説明し、例えば、図４に示すように、それは本願の実施例に係る電子機器の構造模式図が示され、具体的には以下の通りである。
該電子機器は、処理コアとする１つ又は１つ以上のプロセッサ５０１、１つ又は１つ以上のメモリ５０２、電源５０３、入力モジュール５０４、及び通信モジュール５０５等の部材を含むことができる。ここで、メモリ５０２は、コンピュータ可読記憶媒体であってもよい。当業者が理解できるように、図４に示される電子機器の構造は電子機器に対する限定を構成せず、図に示されるものよりも多い又はより少ない部材を含むか、又はある部材を組み合わせるか、又は異なる部材配置を採用することができる。ここで、
プロセッサ５０１は該電子機器に対する制御位置決めを行うためのものであり、各種のインタフェース及び配線を利用して電子機器全体の各部分を接続し、メモリ５０２内に記憶されたソフトウェアプログラム及び／又はモジュールを動作させ、又は実行し、メモリ５０２内に記憶されたデータを呼び出し、電子機器の各種の機能を実行し且つデータを処理し、それにより電子機器に対して全体的監視を行う。いくつかの実施例では、プロセッサ５０１は１つ又は複数の処理コアを含むことができ、いくつかの実施例では、プロセッサ５０１はアプリケーションプロセッサ及びモデムプロセッサを集積することができる。ここで、アプリケーションプロセッサは主にオペレーティングシステム、ユーザーインタフェース及びアプリケーションプログラム等を処理し、モデムプロセッサは主に無線通信を処理する。理解できるように、上記モデムプロセッサはプロセッサ５０１に集積しなくてもよい。

メモリ５０２はソフトウェアプログラム及びモジュールを記憶することに用いられることができ、プロセッサ５０１はメモリ５０２に記憶されたソフトウェアプログラム及びモジュールを動作させることにより、各種の機能アプリケーション及びデータ処理を実行する。メモリ５０２は主にプログラム記憶領域と、データ記憶領域とを含むことができる。ここで、プログラム記憶領域はオペレーティングシステム、機能に必要な少なくとも１つのアプリケーションプログラム（例えば音声再生機能、画像再生機能等）等を記憶することができ、データ記憶領域は電子機器の使用に基づき作成したデータ等を記憶することができる。また、メモリ５０２は高速ランダムアクセスメモリを含んでもよく、さらに不揮発性メモリを含んでもよく、例えば少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又はその他の揮発性固体記憶デバイスである。対応するように、メモリ５０２はさらにメモリコントローラを含んでもよく、それによりプロセッサ５０１のメモリ５０２に対するアクセスを提供する。

電子機器はさらに各部材に給電する電源５０３を含む。いくつかの実施例では、電源５０３は電源管理システムによってプロセッサ５０１と論理的に連結することができ、それにより電源管理システムによって充電、放電管理、及び消費電力管理等の機能を実現する。電源５０３はさらに１つ又は１つ以上の直流又は交流電源、再充電システム、電源故障検出回路、電源変換器又はインバーター、電源状態インジケーター等の任意の構成要素を含むことができる。

該電子機器はさらに入力モジュール５０４を含むことができ、該入力モジュール５０４は入力した数字又は文字情報を受信し、ユーザー設定及び機能制御に関連するキーボード、マウス、ジョイスティック、光学又はトラックボール信号の入力を発生させることに用いられることができる。

該電子機器はさらに通信モジュール５０５を含むことができ、いくつかの実施例では、通信モジュール５０５は無線モジュールを含むことができ、電子機器は該通信モジュール５０５の無線モジュールにより短距離無線伝送を行うことができ、それによりユーザーのために無線ブロードバンドインターネットアクセスを提供する。例えば、該通信モジュール５０５はユーザーの電子メールの送受信、ウェブページ閲覧及びストリーミング媒体へのアクセス等をヘルプすることに用いられることができる。

示されていないが、電子機器はさらに表示ユニット等を含むことができるが、ここでは詳細な説明は省略する。本実施例では、電子機器におけるプロセッサ５０１は以下の命令に従って、１つ又は１つ以上のアプリケーションプログラムのプロセスに対応する実行ファイルをメモリ５０２にロードし、かつプロセッサ５０１でメモリ５０２に記憶されたアプリケーションプログラムを動作させ、それにより各種の機能を実現するものであり、以下の通りである。
上記処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得て、
上記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定し、ここで、上記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点であり、
上記特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、上記処理待ち面部画像に対応するターゲット面部深度画像を得て、ここで、上記参照面部深度画像は上記参照面部画像に対応する面部深度画像であり、
上記ターゲット面部深度画像に基づき上記処理待ち画像に対して方向偏向を行い、ターゲット面部画像を得る。

又は、
処理待ち面部画像を取得し、
上記処理待ち面部画像に基づきターゲット面部画像を取得し、ここで、上記ターゲット面部画像は上記画像処理方法の処理に基づき得られ、
上記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得る。

上記各操作の具体的な実施は前の実施例を参照することができるため、ここでは詳細な説明は省略する。

当業者が理解できるように、上記実施例の各種の方法の全て又は一部のステップは命令により完了することができるか、又は命令により関連するハードウェアを制御することにより完了することができ、該命令は１つのコンピュータ可読記憶媒体に記憶されてもよく、かつプロセッサによりロード及び実行される。

本願の１つの態様に基づき、コンピュータプログラム製品又はコンピュータプログラムを提供しており、該コンピュータプログラム製品又はコンピュータプログラムはコンピュータ命令を含み、該コンピュータ命令はコンピュータ可読記憶媒体に記憶される。電子機器のプロセッサはコンピュータ可読記憶媒体から該コンピュータ命令を読み取り、プロセッサは該コンピュータ命令を実行することで、該電子機器に上記実施例に記述された画像処理方法又は画像合成方法を実行させる。

その目的を実現するために、本願の実施例はコンピュータ可読記憶媒体を提供し、これに複数の命令が記憶されており、該命令はプロセッサにロードされることができることで、本願の実施例により提供されたいずれかの画像処理方法のステップを実行する。例えば、該命令は、
上記処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得るステップと、
上記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定するステップであって、ここで、上記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点である、ステップと、
上記特徴点位置オフセット情報に基づいて参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、上記処理待ち面部画像に対応するターゲット面部深度画像を得るステップであって、ここで、上記参照面部深度画像は上記参照面部画像に対応する面部深度画像である、ステップと、
上記ターゲット面部深度画像に基づき上記処理待ち画像に対して方向偏向を行い、ターゲット面部画像を得るステップと、を実行することができる。
又は、
処理待ち面部画像を取得するステップと、
上記処理待ち面部画像に基づきターゲット面部画像を取得するステップであって、ここで、上記ターゲット面部画像は上記画像処理方法の処理に基づき得られる、ステップと、
上記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得るステップと、を実行することができる。

ここで、該記憶媒体は、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等を含むことができる。

該記憶媒体に記憶された命令は、本願の実施例により提供されたいずれかの画像処理方法又は画像合成方法のステップを実行することができる。従って、本願の実施例により提供されたいずれかの画像処理方法又は画像合成方法が実現することができる有益な効果を実現することができる。詳しくは前の実施例を参照できるため、ここでは詳細な説明は省略する。

以上、本願の実施例により提供された画像処理及び面部合成方法、装置及び記憶媒体を詳細に紹介した。本明細書では具体的な例を適用して本願の原理及び実施形態を述べたが、上記実施例の説明は本願の方法及びそのコア思想への理解に役立てることに用いられるのみである。同時に、当業者であれば、本願の思想に従って、具体的な実施形態及び応用範囲をいずれも変更できるため、以上のように、本明細書の内容は本願に対する制限ではないと理解すべきである。

３０１ 識別ユニット
３０２ 計算ユニット
３０３ 調整ユニット
３０４ 偏向ユニット
４０１ 取得ユニット
４０２ 処理ユニット
４０３ 融合ユニット
５０１ プロセッサ
５０２ メモリ
５０３ 電源
５０４ 入力モジュール
５０５ 通信モジュール

Claims (16)

1. 電子機器により実行される画像処理方法であって、
   処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得るステップであって、前記処理待ち面部パーツ特徴点は前記処理待ち面部画像の面部パーツ特徴点である、ステップと、
   前記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定するステップであって、前記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点である、ステップと、
   前記特徴点位置オフセット情報に基づいて、参照面部深度画像の面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得るステップであって、前記参照面部深度画像は前記参照面部画像に対応する面部深度画像である、ステップと、
   前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得るステップと、を含み、
   前記画像処理方法は、さらに、
   前記処理待ち面部画像を取得するステップと、
   前記処理待ち面部画像に基づき前記ターゲット面部画像を取得するステップであって、前記ターゲット面部画像は前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得るステップに基づき得られる、ステップと、
   前記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得るステップと、を含み、
   前記ターゲット面部画像を前記テンプレート画像における面部領域に融合させ、ターゲット画像を得る前記ステップは、
   前記ターゲット面部画像に対して特徴点識別を行い、ターゲット面部パーツ特徴点を得るステップと、
   前記ターゲット面部パーツ特徴点及び対応するテンプレート面部パーツ特徴点に基づいて、前記ターゲット面部画像と前記テンプレート画像の面部領域とを融合させ、合成面部領域を得るステップであって、前記テンプレート面部パーツ特徴点は前記テンプレート画像の面部パーツ特徴点である、ステップと、
   前記合成面部領域と前記テンプレート画像における他の領域とを合成して、前記ターゲット画像を得るステップと、を含み、
   前記ターゲット面部パーツ特徴点及び対応するテンプレート面部パーツ特徴点に基づいて、前記ターゲット面部画像と前記テンプレート画像の面部領域とを融合させ、合成面部領域を得る前記ステップは、
   前記ターゲット面部画像から中心領域及び円周領域を決定するステップと、
   処理待ち面部パーツ特徴点及び対応する前記テンプレート面部パーツ特徴点に基づいて、前記中心領域と前記テンプレート画像における対応する中心領域とを第１重みで融合させるステップと、
   処理待ち面部パーツ特徴点及び対応する前記テンプレート面部パーツ特徴点に基づいて、前記円周領域と前記テンプレート画像における対応する円周領域とを第２重みで融合させるステップであって、前記第１重みは前記第２重みよりも大きい、ステップと、
   融合後の画像を取得して、前記合成面部領域とするステップと、を含む、ことを特徴とする画像処理方法。
2. 前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得る前記ステップは、
   前記ターゲット面部深度画像及び参照深度関係に基づき、前記処理待ち面部画像における各画素点の深度情報を取得するステップであって、前記参照深度関係は、眉からあごまでの長さと、生成される最大深度との間の関係である、ステップと、
   前記処理待ち面部画像における各画素点の深度情報に基づき、前記処理待ち面部画像に対応する立体面部画像を生成するステップと、
   前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
   前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、前記ターゲット面部画像を得るステップと、を含む、ことを特徴とする請求項１に記載の画像処理方法。
3. 前記ターゲット面部深度画像及び参照深度関係に基づき、前記処理待ち面部画像における各画素点の深度情報を取得する前記ステップは、
   前記ターゲット面部深度画像から各画素の深度レベルを決定するステップと、
   前記処理待ち面部パーツ特徴点における深度参照特徴点及び前記参照深度関係に基づき、前記処理待ち面部画像の面部深度パラメータを決定するステップと、
   前記面部深度パラメータ及び前記各画素の深度レベルに基づいて、前記処理待ち面部画像における各画素点の深度情報を決定するステップと、を含む、ことを特徴とする請求項２に記載の画像処理方法。
4. 前記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定する前記ステップは、
   前記参照面部画像における位置決め特徴点を位置基準として、前記処理待ち面部画像の前記参照面部画像に対する特徴点位置オフセット情報を決定するステップを含む、ことを特徴とする請求項１に記載の画像処理方法。
5. 前記特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得る前記ステップは、
   前記特徴点位置オフセット情報から前記処理待ち面部パーツ特徴点のオフセット方向及びオフセット重みを決定するステップと、
   前記オフセット方向及び前記オフセット重みに基づき、前記参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得るステップと、を含む、ことを特徴とする請求項１に記載の画像処理方法。
6. 前記処理待ち面部画像に基づき前記ターゲット面部画像を取得する前記ステップは、
   前記処理待ち面部画像における各画素点の深度情報を取得するステップと、
   前記各画素点の深度情報に基づき、前記処理待ち面部画像に対応する立体面部画像を生成するステップと、
   前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
   前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、ターゲット面部画像を得るステップと、をさらに含む、ことを特徴とする請求項１に記載の画像処理方法。
7. 前記処理待ち面部画像を取得する前記ステップは、
   前記面部領域の予め設定した方向範囲内における複数の処理待ち画像を取得するステップと、
   前記複数の処理待ち画像に基づき立体面部画像を生成するステップと、
   前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
   前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、ターゲット面部画像を得るステップと、をさらに含む、ことを特徴とする請求項１に記載の画像処理方法。
8. 前記処理待ち面部画像を取得する前記ステップは、
   処理待ち画像を取得するステップと、
   前記処理待ち画像における面部領域の方向が予め設定した方向であるときに、前記処理待ち画像から面部領域を分割し、処理待ち面部画像とするステップであって、前記予め設定した方向は参照面部画像における面部領域が位置する方向である、ステップとを含む、ことを特徴とする請求項１に記載の画像処理方法。
9. 前記処理待ち面部画像を取得する前記ステップの前に、
   面部処理ページでのユーザーの画像テンプレート選択操作が検出されたときに、ユーザーが選択したテンプレート画像を取得するステップと、
   前記テンプレート画像における面部領域の方向及び前記処理待ち面部画像の方向に基づいて、ターゲット偏向角度を決定するステップと、をさらに含み、
   前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得る前記ステップは、
   前記ターゲット偏向角度に基づいて、前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップを含む、ことを特徴とする請求項６に記載の画像処理方法。
10. 画像処理装置であって、識別ユニットと、計算ユニットと、調整ユニットと、偏向ユニットと、を含み、
    前記識別ユニットは、処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得ることに用いられ、
    前記計算ユニットは、前記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定することに用いられ、前記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点であり、
    前記調整ユニットは、前記特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得ることに用いられ、前記参照面部深度画像は前記参照面部画像に対応する面部深度画像であり、
    前記偏向ユニットは、前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得ることに用いられる、ことを特徴とする画像処理装置であって、
    前記画像処理装置は、さらに取得ユニットと、処理ユニットと、融合ユニットと、を含み、
    前記取得ユニットは、前記処理待ち面部画像を取得することに用いられ、
    前記処理ユニットは、前記処理待ち面部画像に基づき前記ターゲット面部画像を取得することに用いられ、前記ターゲット面部画像は前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行うことに基づき得られ、
    前記融合ユニットは、前記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得ることに用いられ、
    前記ターゲット面部画像を前記テンプレート画像における面部領域に融合させ、ターゲット画像を得ることは、
    前記ターゲット面部画像に対して特徴点識別を行い、ターゲット面部パーツ特徴点を得ることと、
    前記ターゲット面部パーツ特徴点及び対応するテンプレート面部パーツ特徴点に基づいて、前記ターゲット面部画像と前記テンプレート画像の面部領域とを融合させ、合成面部領域を得ることであって、前記テンプレート面部パーツ特徴点は前記テンプレート画像の面部パーツ特徴点である、ことと、
    前記合成面部領域と前記テンプレート画像における他の領域とを合成して、前記ターゲット画像を得ることと、を含み、
    前記ターゲット面部パーツ特徴点及び対応するテンプレート面部パーツ特徴点に基づいて、前記ターゲット面部画像と前記テンプレート画像の面部領域とを融合させ、合成面部領域を得ることは、
    前記ターゲット面部画像から中心領域及び円周領域を決定することと、
    処理待ち面部パーツ特徴点及び対応する前記テンプレート面部パーツ特徴点に基づいて、前記中心領域と前記テンプレート画像における対応する中心領域とを第１重みで融合させることと、
    処理待ち面部パーツ特徴点及び対応する前記テンプレート面部パーツ特徴点に基づいて、前記円周領域と前記テンプレート画像における対応する円周領域とを第２重みで融合させることであって、前記第１重みは前記第２重みよりも大きい、ことと、
    融合後の画像を取得して、前記合成面部領域とすることと、を含む、画像処理装置。
11. 前記偏向ユニットは、取得サブユニットと、生成サブユニットと、偏向サブユニットと、投影サブユニットとを含み、
    前記取得サブユニットは、前記ターゲット面部深度画像及び、眉からあごまでの長さと、生成される最大深度との間の関係である参照深度関係に基づき、前記処理待ち面部画像における各画素点の深度情報を取得することに用いられ、
    前記生成サブユニットは、前記処理待ち面部画像における各画素点の深度情報に基づき、前記処理待ち面部画像に対応する立体面部画像を生成することに用いられ、
    前記偏向サブユニットは、前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることに用いられ、
    前記投影サブユニットは、前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、前記ターゲット面部画像を得ることに用いられる、ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記取得サブユニットは、さらに、
    前記ターゲット面部深度画像から各画素の深度レベルを決定することと、
    前記処理待ち面部パーツ特徴点における深度参照特徴点及び前記参照深度関係に基づき、前記処理待ち面部画像の面部深度パラメータを決定することと、
    前記面部深度パラメータ及び前記各画素の深度レベルに基づいて、前記処理待ち面部画像における各画素点の深度情報を決定することと、に用いられる、ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像処理装置はさらに第１合成ユニットを含み、
    前記処理待ち面部画像における各画素点の深度情報を取得することと、
    前記各画素点の深度情報に基づき、前記処理待ち面部画像に対応する立体面部画像を生成することと、
    前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることと、
    前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、前記ターゲット面部画像を得ることと、に用いられる、ことを特徴とする請求項１０に記載の画像処理装置。
14. 前記画像処理装置はさらに第２合成ユニットを含み、
    前記面部領域の予め設定した方向範囲内での複数の処理待ち画像を取得することと、
    前記複数の処理待ち画像に基づき立体面部画像を生成することと、
    前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることと、
    前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、前記ターゲット面部画像を得ることと、に用いられる、ことを特徴とする請求項１０に記載の画像処理装置。
15. 前記取得ユニットはさらに、
    処理待ち画像を取得することと、
    前記処理待ち画像における面部領域の方向が予め設定した方向であるときに、前記処理待ち画像から面部領域を分割し、処理待ち面部画像とすることであって、前記予め設定した方向は参照面部画像における面部領域が位置する方向である、ことと、に用いられる、ことを特徴とする請求項１０に記載の画像処理装置。
16. コンピュータプログラムであって、前記コンピュータプログラムには複数の命令が記憶されており、前記命令はプロセッサによりロードされることで、請求項１～９のいずれか１項に記載の画像処理方法を実行させる、ことを特徴とするコンピュータプログラム。

Images