JP6990773B2 - 画像処理方法及び装置、画像デバイス並びに記憶媒体 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１９年３月６日に中国特許局に提出された、出願番号２０１９１０１６９４６０．Ｘ、発明の名称「画像処理方法及び装置、画像デバイス並びに記憶媒体」の優先権を出張し、その開示の全てが参照によって本願に組み込まれる。

本願は、コンピュータ技術に関し、特に、画像処理方法及び装置、画像デバイス並びに記憶媒体に関する。

携帯電話、タブレット型コンピュータ又はウェアラブルデバイス等には、一般的には画像を収集可能なカメラが装備されている。しかしながら、取得された画像は必ずしもユーザが望む理想的な画像であるとは限らなく、表示される画像がユーザの期待に応えられるように画像を調整し、例えば、画像を美しくしたり、画像を面白くしたり、画像を可愛くしたりする必要がある場合があり、人物画像処理を例とすると、関連技術において画像の処理は一般に目、鼻及び顔型の処理に限定されており、他の部分への美化等の処理は相対的に少ない。従って、関連技術の画像処理技術は、最適化や完成度が十分とは言えず、画像処理効果が期待した理想的な効果にまだ達していない。

それに鑑みて、本開示の実施例は、画像処理方法及び装置、画像デバイス並びに記憶媒体を提供する。

第１態様によれば、
第１顔画像のキーポイントを検出するステップと、
前記キーポイントに基づいて頬脂肪パッド領域調整の目標領域を決定するステップと、
前記キーポイントに基づいて頬脂肪パッド領域の調整パラメータを決定するステップと、
前記調整パラメータに基づいて前記目標領域を調整して第２顔画像を形成するステップと、を含む画像処理方法を提供する。

本開示のいずれか１つの実施形態によれば、前記キーポイントに基づいて頬脂肪パッド領域調整の目標領域を決定する前記ステップの前に、前記方法は、
前記第１顔画像中の顔の向きを決定するステップを更に含み、
前記キーポイントに基づいて頬脂肪パッド領域調整の目標領域を決定する前記ステップは、
前記キーポイントと前記向きに基づいて頬脂肪パッド領域調整の前記目標領域を決定するステップを含む。

本開示のいずれか１つの実施形態によれば、前記キーポイントは、目尻キーポイント、第１顔型輪郭キーポイント及び鼻翼キーポイントを含み、
前記キーポイントと前記向きに基づいて頬脂肪パッド領域調整の前記目標領域を決定する前記ステップは、
前記向きが、第１顔画像が正面顔画像であることを表すと決定された場合に、前記第１顔型輪郭キーポイントと前記鼻翼キーポイントに基づいて前記目標領域の第１中間点を決定するステップと、
前記第１中間点と前記目尻キーポイントに基づいて前記目標領域を決定するステップと、を含む。

本開示のいずれか１つの実施形態によれば、前記キーポイントは、目尻キーポイント、第２顔型輪郭キーポイント及び鼻翼キーポイントを含み、
前記キーポイントと前記向きに基づいて頬脂肪パッド領域調整の前記目標領域を決定する前記ステップは、
前記向きが、前記第１顔画像が側面顔画像であることを表すと決定された場合に、前記第２顔型輪郭キーポイントと前記鼻翼キーポイントに基づいて前記目標領域の第２中間点を決定するステップと、
前記第２中間点と前記目尻キーポイントに基づいて前記目標領域を決定するステップと、を含む。

本開示のいずれか１つの実施形態によれば、前記キーポイントに基づいて頬脂肪パッド領域の調整パラメータを決定する前記ステップは、
前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整方向を決定するステップを含む。

本開示のいずれか１つの実施形態によれば、前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整方向を決定する前記ステップは、
前記向きが、第１顔画像が正面顔画像であることを表す場合に、前記キーポイントに基づいて頬脂肪パッド領域の調整方向を第１方向と決定するステップを含む。

本開示のいずれか１つの実施形態によれば、前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整方向を決定する前記ステップは、
前記向きが、第１顔画像が側面顔画像であることを表す場合に、前記キーポイントに基づいて頬脂肪パッド領域の調整方向を第２方向及び第３方向と決定するステップであって、前記第３方向は第２方向と異なるステップを含む。

本開示のいずれか１つの実施形態によれば、前記第１方向は、前記目標領域の第１中間点が目尻キーポイントへ向く方向である。

本開示のいずれか１つの実施形態によれば、前記第２方向は、前記目標領域の第２中間点が目尻キーポイントへ向く方向であり、
前記第３方向は、鼻翼キーポイントが目標領域を決定する第２顔型輪郭キーポイントへ向く方向である。

本開示のいずれか１つの実施形態によれば、前記キーポイントに基づいて頬脂肪パッド領域の調整パラメータを決定する前記ステップは、
前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整幅を決定するステップを含む。

本開示のいずれか１つの実施形態によれば、前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整幅を決定する前記ステップは、
目尻キーポイントと目頭キーポイントに基づいて前記頬脂肪パッド領域の最大移動距離を決定するステップと、
前記向きが、前記第１顔画像が側面顔画像であることを表す場合に、顔偏向角と前記最大移動距離に従って前記第１顔画像の頬脂肪パッド領域の実際移動距離を決定するステップと、を含む。

本開示のいずれか１つの実施形態によれば、前記方法は、
前記第２顔画像中の頬脂肪パッド領域に対してブライトニング処理を行って第３顔画像を取得するステップを更に含む。

本開示のいずれか１つの実施形態によれば、前記第２顔画像中の頬脂肪パッド領域に対してブライトニング処理を行って第３顔画像を取得する前記ステップは、
前記第２顔画像から顔の肌色パラメータを取得するステップと、
前記顔の肌色パラメータに基づいて頬脂肪パッド領域のブライトニング処理のブライトニングパラメータを決定するステップと、
前記ブライトニングパラメータに基づいて前記第２顔画像中の頬脂肪パッド領域に対してブライトニング処理を行って、前記第３顔画像を取得するステップと、を含む。

本開示のいずれか１つの実施形態によれば、前記第２顔画像中の頬脂肪パッド領域に対してブライトニング処理を行って第３顔画像を取得する前記ステップは、
前記第２顔画像中の頬脂肪パッド領域の位置に従ってマスク画像を生成するステップと、
前記マスク画像に基づいて前記第２顔画像に対して前記頬脂肪パッド領域のブライトニング処理を行って前記第３顔画像を得るステップと、を含む。

本開示のいずれか１つの実施形態によれば、前記第２顔画像中の頬脂肪パッド領域の位置に従ってマスク画像を生成する前記ステップは、
予め設定された頬脂肪パッド領域のブライトニングの輝点と前記第２顔画像中の頬脂肪パッド領域の位置に従って、前記輝点を含む前記マスク画像を生成するステップを含む。

本開示のいずれか１つの実施形態によれば、前記マスク画像に基づいて前記第２顔画像に対して前記頬脂肪パッド領域のブライトニング処理を行って前記第３顔画像を得る前記ステップは、
前記マスク画像における画素値が所定閾値より大きい画素を、前記第２顔画像における対応位置画素の第１画素値と混合して、混合後の第２画素値を得るステップと、
前記第２画素値に基づいて前記第３顔画像を生成するステップと、を含む。

本開示のいずれか１つの実施形態によれば、前記方法は、
制御パラメータを取得するステップを更に含み、
前記第２画素値に基づいて前記第３顔画像を生成する前記ステップは、
前記制御パラメータ、前記第２画素値及び前記第１画素値に基づいて線形混合を行って第３画素値を得るステップと、
前記第３画素値に基づいて前記第３顔画像を生成するステップと、を含む。

第２態様によれば、
第１顔画像のキーポイントを検出するための検出ユニットと、
前記キーポイントに基づいて頬脂肪パッド領域調整の目標領域を決定するための第１決定ユニットと、
前記キーポイントに基づいて頬脂肪パッド領域の調整パラメータを決定するための第２決定ユニットと、
前記調整パラメータに基づいて前記目標領域を調整して第２顔画像を形成するための調整ユニットと、を含む画像処理装置を提供する。

本開示のいずれか１つの実施形態によれば、前記装置は、
前記第１顔画像中の顔の向きを決定するための第３決定ユニットを更に含み、
前記第１決定ユニットは、
前記キーポイントと前記向きに基づいて頬脂肪パッド領域調整の前記目標領域を決定するために用いられる。

本開示のいずれか１つの実施形態によれば、前記キーポイントは、目尻キーポイント、第１顔型輪郭キーポイント及び鼻翼キーポイントを含み、
前記第２決定ユニットは、
前記向きが、第１顔画像が正面顔画像であることを表すと決定された場合に、前記第１顔型輪郭キーポイントと前記鼻翼キーポイントに基づいて前記目標領域の第１中間点を決定するステップと、
前記第１中間点と前記目尻キーポイントに基づいて前記目標領域を決定するステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記キーポイントは、目尻キーポイント、第２顔型輪郭キーポイント及び鼻翼キーポイントを含み、
前記第１決定ユニットは、
前記向きが、前記第１顔画像が側面顔画像であることを表すと決定された場合に、前記第２顔型輪郭キーポイントと前記鼻翼キーポイントに基づいて前記目標領域の第２中間点を決定するステップと、
前記第２中間点と前記目尻キーポイントに基づいて前記目標領域を決定するステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記第２決定ユニットは、
前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整方向を決定するために用いられる。

本開示のいずれか１つの実施形態によれば、前記第３決定ユニットは、
前記向きが、第１顔画像が正面顔画像であることを表す場合に、前記キーポイントに基づいて頬脂肪パッド領域の調整方向を第１方向と決定するために用いられる。

本開示のいずれか１つの実施形態によれば、前記第３決定ユニットは、更に、
前記向きが、第１顔画像が側面顔画像であることを表す場合に、前記キーポイントに基づいて頬脂肪パッド領域の調整方向を第２方向及び第３方向と決定するために用いられ、前記第３方向は第２方向と異なる。

本開示のいずれか１つの実施形態によれば、前記第１方向は、前記目標領域の第１中間点が目尻キーポイントへ向く方向である。

本開示のいずれか１つの実施形態によれば、前記第２方向は、前記目標領域の第２中間点が目尻キーポイントへ向く方向であり、
前記第３方向は、鼻翼キーポイントが目標領域を決定する第２顔型輪郭キーポイントへ向く方向である。

本開示のいずれか１つの実施形態によれば、前記第２決定ユニットは、
前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整幅を決定するために用いられる。

本開示のいずれか１つの実施形態によれば、前記第２決定ユニットは、
目尻キーポイントと目頭キーポイントに基づいて前記頬脂肪パッド領域の最大移動距離を決定するステップと、
前記向きが、前記第１顔画像が側面顔画像であることを表す場合に、顔偏向角と前記最大移動距離に従って前記第１顔画像の頬脂肪パッド領域の実際移動距離を決定するステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記装置は、
前記第２顔画像中の頬脂肪パッド領域に対してブライトニング処理を行って第３顔画像を取得するためのブライトニング処理ユニットを更に含む。

本開示のいずれか１つの実施形態によれば、前記ブライトニング処理ユニットは、
前記第２顔画像から顔の肌色パラメータを取得するステップと、
前記顔の肌色パラメータに基づいて頬脂肪パッド領域のブライトニング処理のブライトニングパラメータを決定するステップと、
前記ブライトニングパラメータに基づいて前記第２顔画像中の頬脂肪パッド領域に対してブライトニング処理を行って、前記第３顔画像を取得するステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記ブライトニング処理ユニットは、
前記第２顔画像中の頬脂肪パッド領域の位置に従ってマスク画像を生成するステップと、
前記マスク画像に基づいて前記第２顔画像に対して前記頬脂肪パッド領域のブライトニング処理を行って前記第３顔画像を得るステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記ブライトニング処理ユニットは、
予め設定された頬脂肪パッド領域のブライトニングの輝点と前記第２顔画像中の頬脂肪パッド領域の位置に従って、前記輝点を含む前記マスク画像を生成するために用いられる。

本開示のいずれか１つの実施形態によれば、前記ブライトニング処理ユニットは、
前記マスク画像における画素値が所定閾値より大きい画素を、前記第２顔画像における対応位置画素の第１画素値と混合して、混合後の第２画素値を得るステップと、
前記第２画素値に基づいて前記第３顔画像を生成するステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記装置は、
制御パラメータを取得するための取得ユニットを更に含み、
前記ブライトニング処理ユニットは、
前記制御パラメータ、前記第２画素値及び前記第１画素値に基づいて線形混合を行って第３画素値を得るステップと、
前記第３画素値に基づいて前記第３顔画像を生成するステップと、に用いられる。

第３態様によれば、
メモリと、
前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能コマンドを実行することによって第１態様及びそのいずれか１種の実施形態を実現するために用いられるプロセッサと、を含む画像デバイスを提供する。

コンピュータ実行可能コマンドが記憶されているコンピュータ記憶媒体であって、前記コンピュータ実行可能コマンドが実行されるとき、前記第１態様及びそのいずれか１種の実施形態を実現可能であるコンピュータ記憶媒体である。

本開示の実施例で提供される技術的解決手段は、第１顔画像に対してキーポイント検出を行って第１顔画像中のキーポイントを得、更にキーポイントによって第１顔画像中の頬脂肪パッド領域の所在する目標領域を決定し、且つキーポイントに基づいて第１顔画像の頬脂肪パッド領域を調整する調整パラメータを決定し、この調整パラメータを用いてこの目標領域を調整することによって、頬脂肪パッド領域調整後の第２顔画像を生成することができる。そのようにして、本開示の実施例で提供される技術的解決手段は、少なくとも顔画像中の頬脂肪パッド領域を調整する機能を提供し、その後でユーザの要求に応じて顔画像中の頬脂肪パッド領域を調整でき、顔画像を美しくしたり面白くしたりする効果が高くなる。

本開示の実施例で提供される画素座標系の模式図である。 本開示の実施例で提供される顔画像の領域区画の模式図である。 本開示の実施例で提供される画像処理方法のフローチャートである。 本開示の実施例で提供される顔キーポイントの模式図である。 本開示の実施例で提供される別の画像処理方法のフローチャートである。 本開示の実施例で提供される正面顔人物画像の効果模式図である。 本開示の実施例で提供される横顔人物画像の効果模式図である。 本開示の実施例で提供される別の横顔人物画像の効果模式図である。 本開示の実施例で提供されるマスク画像の効果模式図である。 本開示の実施例で提供される画像処理装置の構造模式図である。 本開示の実施例で提供される画像デバイスの構造模式図である。 本開示の実施例で提供される画像処理方法の効果模式図である。

本願の実施例又は背景技術における技術的手段をより明瞭に説明するために、以下、本願の実施例又は背景技術に用いられる図面について説明する。

ここの図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。

以下、明細書の図面及び具体的な実施例を参照しながら、本開示の技術的解決手段を更に詳細に説明する。

以下の説明を開始する前に、まず本開示の実施例における画素座標系を定義する。図１に示すように、顔画像Ａの右下角を画素座標系の原点ｏとし、顔画像Ａの行と平行である方向をｘ軸の方向とし、顔画像Ａの列と平行である方向をｙ軸の方向として、画素座標系ｘｏｙを構築する。画素座標系で、横座標は顔画像Ａにおける画素の顔画像Ａでの列数を表すために用いられ、縦座標は顔画像Ａにおける画素の顔画像Ａでの行数を表すために用いられ、横座標と縦座標の単位がいずれも画素であってもよい。例えば、図１における画素ａの座標を（１０，３０）とすれば、即ち画素ａの横座標が１０画素であり、画素ａの縦座標が３０画素であり、画素ａが顔画像Ａにおける１０列目３０行目の画素である。

説明の便宜上、本開示の実施例は顔画像中の顔領域を左顔領域と右顔領域に区画する。図２に示すように、顔領域の対称中心線を基準として顔領域を左顔領域と右顔領域に分ける。

図３に示すように、本実施例は、
第１顔画像のキーポイントを検出するステップＳ１１０と、
前記キーポイントに基づいて頬脂肪パッド領域調整の目標領域を決定するステップＳ１２０と、
前記キーポイントに基づいて頬脂肪パッド領域の調整パラメータを決定するステップＳ１３０と、
前記調整パラメータに基づいて前記目標領域を調整して第２顔画像を形成するステップＳ１４０と、を含む画像処理方法を提供する。

本実施例では、顔中の頬脂肪パッド領域は、目の下方領域にある逆三角形となる組織の所在領域と理解されてよい。笑顔や表情を出すと、顔部の筋肉が圧迫されて少し膨らみ、この逆三角形となる組織の所在する領域は丸くてツヤのあるリンゴのように見え、頬脂肪パッド領域と呼ばれている。本実施例で頬脂肪パッド領域の調整手段が提供され、実際に応用する時に更に顔の他の部位又は漫画のキャラクターの顔部部位又は動物の顔部部位等に用いてよく、この調整手段の技術的構想に基づく以上の顔部部位の調整は全て本開示の実施例の保護する技術範囲内に含まれると見なしてよい。

ステップＳ１１０においてニューラルネットワーク等の深層学習モデル又は顔キーポイント検出アルゴリズムを用いて第１顔画像を処理して、第１顔画像中の顔キーポイントを決定する。上記顔キーポイント検出アルゴリズムは、ＯｐｅｎＦａｃｅ、マルチタスクカスケード畳み込みニューラルネットワーク（ｍｕｌｔｉ－ｔａｓｋ ｃａｓｃａｄｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ：ＭＴＣＮＮ）、調整畳み込みニューラルネットワーク（ｔｗｅａｋｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ：ＴＣＮＮ）、又はタスク制約深層畳み込みニューラルネットワーク（ｔａｓｋｓ－ｃｏｎｓｔｒａｉｎｅｄ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ：ＴＣＤＣＮ）の中の１種であってよく、本開示では顔キーポイント検出アルゴリズムが限定されない。

例えば、前記キーポイントは、
顔型輪郭キーポイント、例えば、図４に示すキーポイント０～キーポイント３２、
眉毛キーポイント、例えば、図４のキーポイント３３～３７、キーポイント３８～４２及びキーポイント６４～キーポイント７１、
目キーポイント、
鼻キーポイント、及び
唇部キーポイント等を含むが、それらに限定されなく、前記唇部キーポイントについて図４のキーポイント８４～キーポイント１０３を参照してよい。

前記目キーポイントは、キーポイントの目での分布によって、
目頭に位置する目頭キーポイント、例えば、図４に示すキーポイント５５とキーポイント５８、
目尻に位置する目尻キーポイント、例えば、図４に示すキーポイント５２とキーポイント６２、
上まぶたに位置する上まぶたキーポイント、例えば、図４に示すキーポイント５３、７２及び５４、キーポイント５９、７５及び６０、
下まぶたに位置する下まぶたキーポイント、例えば、図４に示すキーポイント６２、７６及び６３、キーポイント５７、７３及び５６、
眼球に位置する眼球キーポイント、例えば、図４に示すキーポイント７４、１０４及びキーポイント７７及び１０５を含んでもよい。

前記鼻キーポイントは、キーポイントの鼻での分布によって、
鼻根に位置するキーポイント、例えば、図４に示すキーポイント４３、
鼻背に位置する鼻背キーポイント、例えば、図４のキーポイント４４とキーポイント４５、
鼻翼に位置する鼻翼キーポイント、例えば、図４のキーポイント８０～８３、
鼻先に位置する鼻先キーポイント、例えば、図４のキーポイント４６、
鼻底部に位置する鼻底部キーポイント、例えば、図４に示すキーポイント４７～５１に分けられてもよい。

本実施例では、頬脂肪パッド領域調整に関連するキーポイントは、
図４に示す顔型輪郭キーポイントのうちの頬骨位置に近いキーポイント４、５、２８及び２７、
目尻キーポイント、
目頭キーポイントのうちの少なくとも１つを含み、
ステップＳ１３０において、まずキーポイントのうちの１つ又は複数のものによって、第１顔画像において頬脂肪パッド領域調整を行われる目標領域を画定する。この領域を画定した後この領域内の画素によって頬脂肪パッド領域の調整を実現してよい。具体的に実施するに際して、頬脂肪パッド領域の調整パラメータを決定するように以上の顔型輪郭キーポイントから第１顔型輪郭キーポイント及び／又は第２顔型輪郭キーポイントを選択してよい。

本実施例では、前記目標領域は円形領域又は楕円形領域であってよい。

ステップＳ１３０においてキーポイントのうちの１つ又は複数のキーポイントによって頬脂肪パッド領域の調整パラメータを決定する。前記頬脂肪パッド領域の調整パラメータは、
頬脂肪パッド領域の第１顔画像での移動方向を決定するための頬脂肪パッド領域の調整方向と、
頬脂肪パッド領域の第１顔画像での変化スケール、例えば、移動距離又は縮小拡大比等を決定するための頬脂肪パッド領域の調整幅と、
複数回調整する時の毎回の調整幅の差、又は、頬脂肪パッド領域を複数の領域に区画して調整する時の領域間の調整幅の差を決定するための頬脂肪パッド領域の調整勾配を含むが、それらに限定されない。

例えば、円形又は楕円形の目標領域を内領域と外領域に区画し、外領域が内領域を囲み、頬脂肪パッド領域の輝度を調整する時に、内領域の輝度調整幅が外領域の輝度調整幅より大きく、そのように内外領域の調整輝度の差が前記調整勾配を形成する。ここで説明したのは例示するものに過ぎず、具体的な実施形態が様々ある。

ステップＳ１３０において前記調整パラメータと前記目標領域を決定するためのキーポイントは、同じであっても異なってもよい。ある実施例では、前記調整パラメータと前記目標領域を決定するためのキーポイントは部分的に同じであってもよい。例えば、同じ顔部輪郭キーポイントを用いて前記調整パラメータと前記目標領域を決定してもよい。更に例を挙げると、同じ目部キーポイントを同時に用いて前記調整パラメータと前記目標領域を決定してもよい。

ステップＳ１４０において調整パラメータによって目標領域の第１顔画像での位置、形状、サイズ又は色の中の少なくとも一項を調整して、第２顔画像を形成する。

具体的には、前記ステップＳ１４０は、
前記目標領域を移動して前記目標領域の位置を調整するステップ、
前記目標領域のサイズを縮小拡大して前記目標領域の第２顔画像でのサイズを調整するステップ、
前記目標領域の色を変更して前記目標領域の色を調整して、顔の高輝度又は陰影領域等を形成するステップ、
前記目標領域の形状を変更して前記目標領域の表示する形状を調整して、顔型にふさわしい頬脂肪パッド領域形状を表示するステップの中の少なくとも１つのものを含んでよい。例えば、異なる人物画像には異なる顔型が表示され、例えば、卵形の顔、ハート形の顔、丸顔、菱形の顔がある。頬脂肪パッド領域の大まかな形状が逆三角形であるが、逆三角形の３つの角の角度又は頂点の顔画像での位置によっては、頬脂肪パッド領域に異なる視覚的感覚が現れる。従って、ある実施例では、画像デバイスは、更に目標領域内の画素の位置を調整する等の方式によって、目標領域内又は移動後の目標領域内に頬脂肪パッド領域に顔型にふさわしい異なる形状の逆三角形を表示させ、それによって人物画像を美しくしたり、面白くしたりする等の処理を実現することができる。

要するに、本実施例で提供された方法は、顔画像中の頬脂肪パッド領域を調整して顔画像中の頬脂肪パッド領域を美しくしたり、面白くしたり、可愛くしたりすること、又は様々なスタールの頬脂肪パッド領域を実現することができ、そのようにして、ユーザ要求に応じて画像の頬脂肪パッド領域処理を実現でき、それによってユーザの様々な画像要求を満たし、ユーザ体験や画像処理品質を高める。

ある実施例では、前記ステップＳ１３０で前記調整パラメータを生成する時に、現在の頬脂肪パッド領域の予想調整効果によって前記調整パラメータを生成してよい。例えば、現在の予想調整効果が頬脂肪パッド領域美化効果であれば、美化効果を基に、第２顔画像で第１顔画像に比べて通常の審美に合った頬脂肪パッド領域の美化効果を作り出す。更に例を挙げると、現在の予想調整効果が面白くする効果であれば、頬脂肪パッド領域を第１顔画像で調整することによって、面白い効果を作り出し、そのように前記調整パラメータを生成する時に、前記キーポイントと前記の面白くする効果を基に、第２顔画像に面白い効果を作り出す頬脂肪パッド領域を生成する。要するに、ある実施例では、前記調整パラメータの生成は更に前記予想調整効果によって決定される。

本実施例では、頬脂肪パッド領域の調整を画像美化過程に用いてよく、画像美化のアプリケーションにおいて、本開示の実施例で提供された頬脂肪パッド領域調整をワンクリック人物画像美化に用いてよく、そのようにして、頬脂肪パッド領域美化が目美化、鼻美化又は顔型美化等と共にワンクリック人物画像美化の１つの機能として実現される。

本実施例で提供された頬脂肪パッド領域の調整をプロの頬脂肪パッド領域美化機能に用いてもよいことは言うまでもない。例えば、画像美化アプリに頬脂肪パッド領域美化コントロールが設置されており、ユーザがこの頬脂肪パッド領域美化コントロールに作用する操作が検出されると、上記方法を用いて画像中の頬脂肪パッド領域を単独的に美化する。

要するに、本実施例において、前記画像処理方法は、頬脂肪パッド領域の調整機能を有し、人物画像処理の過程で頬脂肪パッド領域を調整可能であり、それによってユーザの頬脂肪パッド領域調整要求を満たし、ユーザ体験や画像デバイスの知能化度合いを高めた。

別の実施例では、図５に示すように、前記方法は、
前記第１顔画像中の顔の向きを決定するステップＳ１１１を含み、
前記ステップＳ１２０は、前記キーポイントと前記向きに基づいて頬脂肪パッド領域調整の前記目標領域を決定するステップを含むステップＳ１２１を含んでよい。

本実施例では、更に第１顔画像の向きを決定する。第１顔画像の向きは少なくとも、
第１顔画像が正面顔画像であることを表す正面顔の向きと、
第１顔画像が側面顔画像であることを表す横顔の向きと、を含む。

上記第１顔画像を収集する撮影デバイスの撮影方向と撮影される人物の顔部領域を通過する対称中心線との間の夾角（以下、顔偏向角という）が第１特定範囲内にある時に、第１顔画像の向きを正面顔の向きとする。

上記顔偏向角とは撮影デバイスの撮影方向と撮影される人物の顔部領域の垂直線との間の夾角のことを指し、撮影される人物の頭頂部から下へ見ると、撮影デバイス撮影方向の撮影される人物の顔部領域対称中心線に対するずれ方向が時計回り方向である時に、顔偏向角が正となり、逆には、撮影される人物の頭頂部から下へ見ると、撮影デバイス撮影方向の撮影される人物の顔部領域対称中心線に対するずれ方向が反時計回りである時に、顔偏向角が負となる。

上記第１顔画像の顔偏向角が第２特定範囲内にある時に、第１顔画像の向きを横顔の向きとする。

上記第１特定範囲と上記第２特定範囲が相互に補集合となる。例えば、第１特定範囲が－１０°～１０°であれば、第２特定範囲が－１８０°～－１０°及び１０°～１８０°である。

顔画像における前記正面顔の向き以外の向きを全て横顔の向きと見なしてよく、この時に顔の後ろ姿画像を含まないことは言うまでもない。

図６Ａは正面顔の向きの顔画像であり、図６Ｂは横顔の向きの顔画像であり、図６Ｃは別の横顔の向きの顔画像である。

ある実施例では、図６Ａに示す顔画像の顔偏向角が０°であり、図６Ｂに示す顔画像の顔偏向角を－９０°とすれば、図６Ｃに示す顔画像の顔偏向角が９０°となる。

上記第１特定範囲と上記第２特定範囲を必要に応じて設定可能であることは言うまでもない。

正面顔の向きの顔画像（以下、正面顔画像という）における頬脂肪パッド領域のカバーする領域と横顔の向きの顔画像（以下、側面顔画像という）における頬脂肪パッド領域のカバーする領域が異なる（頬脂肪パッド領域のカバーする領域の面積が異なり、頬脂肪パッド領域のカバーする領域の角度が異なる等の場合を含む）ため、正面顔画像と側面顔画像に同じ調整基準又は調整パラメータを用いれば、顔画像中の頬脂肪パッド領域の調整効果がよくない（例えば、調整後の頬脂肪パッド領域の面積と顔領域の面積の割合が不適切になり、更に例えば、調整後の頬脂肪パッド領域の色と顔領域における頬脂肪パッド領域以外の色が大きく相違する）。従って、本開示の実施例は、異なる向きの顔画像に異なる方式を用いて調整パラメータを決定して、顔画像の頬脂肪パッド領域の調整効果を高める。

以下、正面顔画像と側面顔画像について目標領域を決定する時の異同をそれぞれ説明する。

正面顔画像については、前記ステップＳ１２０は、
前記向きが、前記第１顔画像が正面顔画像であることを表すと決定された場合に、第１顔型輪郭キーポイントと鼻翼キーポイントに基づいて前記目標領域の第１中間点を決定するステップを含んでよい。

前記第１顔型輪郭キーポイントは縦座標が第１目標範囲内にある顔型輪郭キーポイントであってよく、ここで、第１目標範囲は頬脂肪パッド領域のカバーする領域の縦座標範囲と第３特定範囲の和である。選択可能に、上記第３特定範囲は－５画素～５画素である。例を挙げると、頬脂肪パッド領域のカバーする領域内の画素の縦座標の最大値が３５画素で、最小値が１６画素であり、第３特定範囲が－４画素～５画素であるとすれば、縦座標が１６－４＝１２画素以上であり且つ３５＋５＝４０画素以下である顔輪郭キーポイントが第１顔輪郭キーポイントとなる。

選択可能に、図４に示すように、キーポイント４とキーポイント５は顔画像中の左頬脂肪パッド領域（即ち、左顔領域に位置する頬脂肪パッド領域）を調整する第１顔型輪郭キーポイントとなってよい。

本実施例では、好ましくはキーポイント５を前記第１顔型輪郭キーポイントとする。前記鼻翼キーポイントは、縦座標と第１顔型輪郭キーポイントの縦座標の差が第４特定範囲内にあり且つ鼻翼領域（この領域をユーザのニーズに応じて定義してもよい）内に位置するキーポイントである。例えば、第１顔型輪郭キーポイント中のキーポイントの縦座標の最大値が５０画素であり、最小値が４０画素であり、第４特定範囲が１０画素であるとすれば、鼻翼キーポイントは縦座標が３０画素以上且つ６０画素以下の範囲内の鼻翼キーポイントである。

選択可能に、上記鼻翼キーポイントは、図４に示すキーポイント８０又はキーポイント８２であってよく、本実施例では、好ましくはキーポイント８０を前記鼻翼キーポイントとする。選択可能に、第１顔画像が正面顔画像であれば、図４に示すキーポイントとキーポイント８０を選択してそれぞれ右頬脂肪パッド領域（即ち、右顔領域に位置する頬脂肪パッド領域）を調整する第１顔型輪郭キーポイントと鼻翼キーポイントとし、調整効果がユーザの期待に更に応えられるようになる。図４に示すキーポイント２７とキーポイント８１を選択してそれぞれ左顔頬脂肪パッド領域の第１顔型輪郭キーポイントと鼻翼キーポイントとする。

前記第１中間点は、前記第１顔型輪郭キーポイントと鼻翼キーポイントの中点（例えば、図４に示すキーポイント８０とキーポイント８２との間の中点、キーポイント８１とキーポイント８３との間の中点）を含むが、それらに限定されない。

ある実施例では、第１顔画像に表示される顔画像の顔特徴が異なり、そのように第１顔型輪郭キーポイントと鼻翼キーポイントの中点に基づいて位置補正を行った後、前記第１中間点が得られる。例えば、第１顔画像に顔Ａが表示され、眼球キーポイントから対応位置の第１顔型輪郭キーポイントまでの距離を第１距離とし、且つ眼球キーポイントから対応位置にある鼻翼キーポイントの中点までの距離を第２距離とする。上記対応位置にある第１顔型輪郭キーポイントについては、眼球キーポイントが顔領域の左顔領域に位置すれば、眼球キーポイントに対応する第１顔型輪郭キーポイントは左顔領域に位置する第１顔キーポイントのうち眼球キーポイントに最も近い第１顔型輪郭キーポイントであり、眼球キーポイントが顔領域の右顔領域に位置すれば、眼球キーポイントに対応する第１顔型輪郭キーポイントは右顔領域に位置する第１顔輪郭キーポイントのうち眼球キーポイントに最も近い第１顔型輪郭キーポイントである。上記対応位置の鼻翼キーポイントの中点については、眼球キーポイントが顔領域の左顔領域に位置すれば、眼球キーポイントに対応する鼻翼キーポイントの中点は左顔領域に位置する鼻翼キーポイントの中点であり、眼球キーポイントが顔領域の右顔領域に位置すれば、眼球キーポイントに対応する鼻翼キーポイントの中点は右顔領域に位置する鼻翼キーポイントの中点である。

この比率によって前記補正パラメータを生成することができる。第１距離と第２距離の比率が１であれば、眼球キーポイントに対応する第１顔型輪郭キーポイントと眼球キーポイントに対応する鼻翼キーポイントの中点を前記第１中間点とする。

第１距離と第２距離との比率が１以上であれば、眼球キーポイントに対応する第１顔型輪郭キーポイントと眼球キーポイントに対応する鼻翼キーポイントの連結線における中点（以下、第１確認待ちの中間点という）が対称中心線又は顔部輪郭線へ移動したずれ量を先に決定してよく、このずれ量は、横方向ずれ量と縦方向ずれ量を含む。第１確認待ちの中間点の座標とずれ量の和によって決定された点を第１中間点とする。

可能な一実施形態では、第１距離が第２距離と等しくなければ、ずれ量によって確認待ちの中間点を顔部輪郭線へ移動させてもよく、例えば、眼球キーポイントと第１顔型輪郭キーポイントがいずれも左顔領域に位置すれば、横方向ずれ量を負の値として第１確認待ちの中間点を顔部輪郭線へ移動させてもよく、眼球キーポイントと第１顔型輪郭キーポイントがいずれも左顔領域に位置すれば、横方向ずれ量を正の値として第１確認待ちの中間点を対称中心線へ移動させてもよく、眼球キーポイントと第１顔型輪郭キーポイントがいずれも右顔領域に位置すれば、横方向ずれ量を正の値として第１確認待ちの中間点を顔部輪郭線へ移動させてもよく、眼球キーポイントと第１顔型輪郭キーポイントがいずれも右顔領域に位置すれば、横方向ずれ量を負の値として第１確認待ちの中間点を対称中心線へ移動させてもよい。

目標領域が円形領域であれば、ユーザの設置した目標領域の半径と第１中間点によれば顔領域で目標領域を決定できる。目標領域の半径を決定する一実施形態では、目標領域の半径は顔領域の面積によって決定してよい。目標領域の半径を決定する別の実施形態では、目標領域の半径は更に深層学習モデルによって第１顔画像に基づいて推定してもよい。

更に、前記ステップＳ１２０は、
前記第１中間点と目尻キーポイントに基づいて前記目標領域を決定するステップを更に含む。

可能な一実施形態では、線形補間アルゴリズムを用いて、第１中間点と目尻キーポイントの第１顔画像での座標を既知量として目標領域の円形半径又は長軸と短軸を算出する。目標領域が円形であれば、第１中間点を円形領域の円心として算出した目標領域の円形半径が半径となって、目標領域を構築可能である。目標領域が楕円形であれば、第１中間点が楕円形領域の中心となり、長軸又は短軸の一方が決定され、更に予め設定された長軸と短軸との比率に基づいて他方の軸が決定され、中心、長軸及び短軸が全て決定されたので、楕円形の目標領域が決定されることは言うまでもない。

以上は線形補間アルゴリズムの例に過ぎず、具体的に実施する時に以上のいずれか１種に限定されない。

側面顔画像については、前記ステップＳ１２０は、
前記向きが、前記第１顔画像が側面顔画像であることを表すと決定された場合に、第２顔型輪郭キーポイントと鼻翼キーポイントに基づいて前記目標領域の第２中間点を決定するステップを含んでよい。

頬脂肪パッド領域を調整する時に、顔の向きによっては異なるキーポイントを選択して目標領域を決定してよい。

例えば、側面顔画像中の第２顔型輪郭キーポイントは正面顔画像の第１顔型輪郭キーポイントと異なるものである。第２顔型輪郭キーポイントは縦座標が第２目標範囲内にある顔型輪郭キーポイントであってよく、ここで、第２目標範囲が頬脂肪パッド領域のカバーする領域の縦座標範囲と第５特定範囲の和であり、第５特定範囲が上記第３特定範囲より小さい。選択可能に、図４に示すキーポイント４、５、２７及び２８は全て第２顔型輪郭キーポイントである。

本実施例では、前記鼻翼キーポイントは正面顔画像の鼻翼キーポイントと同じであってもよく、図４に示すキーポイント８０又はキーポイント８１を選択してよい。

本実施例では、前記第２中間点は同様に第２顔型輪郭キーポイントと鼻翼キーポイントの中点（以下、第２確認待ちの中間点という）であってもよく、又は正面顔画像においてずれ量によってこの第１確認待ちの中間点を移動させて第１中間点を得る方式を参照して側面顔画像中の第２確認待ちの中間点を移動させて第２中間点を得てもよい。

第２中間点は目標領域の中心点であってよい。

更に、前記ステップＳ１２０は、前記第２中間点と目尻キーポイントに基づいて前記目標領域の範囲を決定するステップを更に含んでもよい。

本実施例では、前記第２中間点と目尻キーポイントは同様に線形補間アルゴリズムに基づいて、前記目標領域の半径等の範囲を決定するパラメータを取得してもよく、それによって前記第１顔画像で前記目標領域の範囲を決定する。

ある実施例では、前記ステップＳ１３０は、
前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整パラメータを決定するステップを含んでよい。

頬脂肪パッド領域の最適化調整を実現するために、更にキーポイントと向きに基づいて具体的な調整パラメータを決定してもよい。

向きによっては頬脂肪パッド領域の調整ポリシーが異なることがある。例えば、正面顔画像の調整と側面顔画像の調整は、調整方向及び／又は角度によっては対応する調整ポリシーが異なる。更に例を挙げると、前記向きによっては、前記頬脂肪パッド領域の輝度調整が異なり及び／又は調整勾配が異なる等のことがある。

具体的には、例えば、前記ステップＳ１３０は、前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整方向を決定するステップを含んでよい。

前記向きによっては、頬脂肪パッド領域の調整方向が異なる。

画像を美化する時に、一般的には頬脂肪パッド領域を上へ引っ張ったり膨らませたりするように調整する必要があり、顔の向きが異なるので、上へ引っ張る具体的方向又は膨らませる具体的方向が異なる。

ある実施例では、前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整方向を決定する前記ステップは、
前記向きが、第１顔画像が正面顔画像であることを表す場合に、前記キーポイントに基づいて頬脂肪パッド領域の調整方向を第１方向と決定するステップと、
前記向きが、第１顔画像が側面顔画像であることを表す場合に、前記キーポイントに基づいて頬脂肪パッド領域の調整方向を第２方向及び第３方向と決定するステップであって、前記第３方向は第２方向と異なるステップと、を含む。

ある実施例では、前記第３方向は前記第２方向と異なるものであり、前記第２方向に垂直である場合を含むが、それに限定されない。

例えば、側面顔画像については、目標領域を目方向に向かって上へ引っ張ったり、目標領域を顔の縁に向かって外へ移動させたりするように目標領域を２方向へ移動させ、選択可能に、第３方向が第２方向に垂直である。

しかしながら、頬脂肪パッド領域の調整効果を最適化するために、本実施例では、前記第１方向は前記第１中間点が前記目尻キーポイントへ向く方向であってよく、前記第２方向は前記第２中間点が前記目尻キーポイントへ向く方向であってよく、前記第３方向は第２顔部輪郭キーポイントが鼻翼キーポイントへ向く方向の逆方向（即ち、前記鼻翼キーポイントから前記第２顔部輪郭キーポイントへ向く方向）であってよい。

顔型輪郭キーポイントと目尻キーポイントが全て第１顔画像から検出されたものであり、分布そのものが顔の特徴を反映しているので、顔型輪郭キーポイントと目尻キーポイントに基づいて、調整する第１方向、第２方向及び第３方向を決定することで、実質的には異なる顔を個別化調整して頬脂肪パッド領域の最適化調整を実現することができる。

具体的には、前記ステップＳ１３０は、
目尻キーポイントと目頭キーポイントに基づいて前記頬脂肪パッド領域の最大移動距離を決定するステップを含んでよい。

前記目尻キーポイントと目頭キーポイントとの間の距離は実質的には第１顔画像における目の長さであり、例えば、目尻キーポイントと目頭キーポイントとの間にＭ画素があれば、前記最大距離がＭ＊Ａ画素であってよい。Ａが１より小さい正数であってよい。更に、例えば、前記Ａの値が０．４４～０．７４との間の正数であってよい。

ある実施例では、前記頬脂肪パッド領域の実際移動距離はユーザの操作に基づいて決定されてもよく、例えば、ユーザがマンマシンインターフェイスにユーザ操作を入力し、ユーザ操作によって実際移動距離を決定する。ユーザ操作に基づいて算出された移動距離が前記最大移動距離より大きければ、前記最大移動距離を前記頬脂肪パッド領域の実際移動距離として頬脂肪パッド領域を調整する。

ある実施例では、前記ステップＳ１３０は、
前記向きが、第１顔画像が側面顔画像であることを表す場合に、顔偏向角と前記最大移動距離に従って側面顔画像の頬脂肪パッド領域の実際移動距離を決定するステップを含んでよい。

本実施例では、キーポイントに基づいて頬脂肪パッド領域の最大移動距離を決定でき、この最大移動距離が即ち目標領域の最大移動距離となる。

本実施例では、目のキーポイントを前記キーポイントとし、目のサイズに基づいて頬脂肪パッド領域の最大移動距離を決定する。

可能な一実施形態では、上記実際移動距離は、側面顔画像における顔偏向角と正相関の関係となる。例えば、ある実施例では、顔偏向角が９０°又は－９０°である時に、実際移動距離は上記最大移動距離であってよい。顔偏向角が９０°と－９０°と等しくない時に、実際移動距離＝上記最大移動距離＊ａであり、ここで、ａが１より小さい正数である。

勿論、以上は単なる例であり、具体的な実施形態は以上のいずれか１種に限定されなく、様々ある。

ある実施例では、前記方法は、
第２顔画像中の頬脂肪パッド領域に対してブライトニング処理を行って第３顔画像を取得するステップＳ１５０を更に含む。

第２顔画像は、第１顔画像に比べて頬脂肪パッド領域を顔において移動させた。本実施例では、更に移動後の頬脂肪パッド領域に対してブライトニング処理を行って頬脂肪パッド領域がより豊満に見えるようにしてもよい。

ある実施例では、上記ブライトニング処理において、頬脂肪パッド領域における異なる位置の画素のブライトニング度合が異なる。例えば、頬脂肪パッド領域の最高点位置から頬脂肪パッド領域の周辺へブライトニング度合いが徐々に低下し、それによって頬脂肪パッド領域の最高点位置の輝度が最も大きく、そして頬脂肪パッド領域周辺の皮膚の画素と同じ輝度まで緩やかに漸減して、調整された頬脂肪パッド領域がより自然に見え、一方、頬脂肪パッド領域の異なる位置の輝度が異なることで頬脂肪パッド領域の立体的効果を表現する。

ある実施例では、前記方法は、
前記第２顔画像から顔の肌色パラメータを取得するステップと、
前記顔の肌色パラメータに基づいて頬脂肪パッド領域のブライトニング処理のブライトニングパラメータを決定するステップと、を更に含み、
前記ステップＳ１５０は、前記ブライトニングパラメータに基づいて前記第２顔画像中の頬脂肪パッド領域に対してブライトニング処理を行って前記第３顔画像を取得するステップを含んでよい。

一態様では、異なる顔画像に単一なブライトニングパラメータを用いてブライトニングするので、元々暗い顔画像においてブライトニングした後に不自然な頬脂肪パッド領域が現れ、肌色が元々明るい顔画像においてブライトニングした後の頬脂肪パッド領域のブライトニング効果が明らかでないことを低減するために、本実施例では、顔画像の肌色パラメータを取得し、この肌色パラメータは、
顔画像における皮膚画素のカラー値及び顔画像における目と唇部との間の皮膚画素のカラー値、顔画像における皮膚画素のグレースケールヒストグラム及び顔画像における目と唇部との間の皮膚画素のカラー値、顔画像における皮膚画素のカラー値及び顔画像における目と唇部との間の皮膚画素のグレースケールヒストグラム、顔画像における皮膚画素のグレースケールヒストグラム及び顔画像における目と唇部との間の皮膚画素のグレースケールヒストグラムの中の少なくとも１種を含むが、それらに限定されない。

この肌色パラメータに基づいて頬脂肪パッド領域と頬脂肪パッド領域周辺の皮膚の輝度平均値又は輝度中央値等を決定でき、更にこの平均値又は輝度中央値に基づいて頬脂肪パッド領域の画素のブライトニングパラメータを決定でき、それによって頬脂肪パッド領域と頬脂肪パッド領域周辺の皮膚を区別すると共に、頬脂肪パッド領域と頬脂肪パッド領域周辺の皮膚の差を低減することができる。

このブライトニングパラメータは、ブライトニング幅、ブライトニング比率の中の少なくとも一項を含むが、それらに限定されない。

頬脂肪パッド領域をブライトニングする具体的な実施形態が様々あり、本実施例では、マスク画像を用いてブライトニングする。

ある実施例では、前記頬脂肪パッド領域をブライトニングするステップは、以下のステップを含んでよい。

このブライトニング幅に基づいて頬脂肪パッド領域の元の画素値に対応のブライトニング幅を加えてよく、それによってブライトニングした画素値が得られ、頬脂肪パッド領域内の全ての画素のブライトニング処理が完了した後、ブライトニングした頬脂肪パッド領域が得られ、第３顔画像が得られる。

別の実施例では、前記頬脂肪パッド領域をブライトニングするステップは、以下のステップを含んでよい。

このブライトニング比率に基づいて頬脂肪パッド領域の元の画素値にこのブライトニング比率をかけてよく、それによってブライトニングした画素値が得られ、頬脂肪パッド領域内の全ての画素のブライトニング処理が完了した後、ブライトニングした頬脂肪パッド領域が得られ、第３顔画像が得られる。

ある実施例では、前記ステップＳ１５０は、前記第２顔画像中の頬脂肪パッド領域の位置に従ってマスク画像を生成するステップと、前記マスク画像に基づいて前記第２顔画像に対して前記頬脂肪パッド領域のブライトニング処理を行って前記第３顔画像を得るステップと、を含んでよい。

前記ステップＳ１５０は、
頬脂肪パッド領域の第２顔画像での所在位置を決定するステップと、
この所在位置に基づいて前記第２顔画像と同じサイズのマスク画像を形成するステップであって、このマスク画像において頬脂肪パッド領域の第２顔画像での所在位置に半透明のブライトニングハレーションが形成されており、他の位置が透明領域となるステップと、前記マスク画像を前記第２顔画像に積み重ねて前記第３顔画像を生成するステップと、を含んでよい。

この時に、前記マスク画像におけるブライトニングハレーションの輝度値はそのまま頬脂肪パッド領域のブライトニングした後の輝度値となってもよいので、前記ブライトニングパラメータは、更に頬脂肪パッド領域のブライトニングした後の輝度値を含んでよい。

図７に本実施例で提供された１枚のマスク画像の模式図を示す。図５で白いハレーション領域は、調整後の頬脂肪パッド領域が位置する領域と重なり、頬脂肪パッド領域をブライトニングする領域である。

頬脂肪パッド領域をブライトニングする別の形態として、前記第２顔画像中の頬脂肪パッド領域の位置に従ってマスク画像を生成する前記ステップは、
予め設定された頬脂肪パッド領域のブライトニングの輝点と前記第２顔画像中の頬脂肪パッド領域の位置に従って、前記輝点を含むマスク画像を生成するステップを含み、
及び／又は、
前記マスク画像に基づいて前記第２顔画像に対して前記頬脂肪パッド領域のブライトニング処理を行って前記第３顔画像を得る前記ステップは、
前記マスク画像における画素値が所定閾値より大きい画素を、前記第２顔画像における対応位置画素の第１画素値と混合して、混合後の第２画素値を得るステップと、
前記第２画素値に基づいて前記第３顔画像を生成するステップと、を含む。

ある実施例では、頬脂肪パッド領域の輝点は予め決定されたものであってよく、この輝点の形状と輝度はいずれも予め決定されてよい。そのようにして、マスク画像の生成速度を加速可能である。

頬脂肪パッド領域の輝点のマスク画像での位置は、第２顔画像中の頬脂肪パッド領域の位置に対応する。例えば、第１顔画像においてキーポイント検出が行われ、第１顔画像と第２顔画像はただ頬脂肪パッド領域が一定の程度で変化したが、その変化が大幅の移動でなく顔範囲内に発生したものであるので、ステップＳ１１０で検出されたキーポイントによって第２顔画像中の頬脂肪パッド領域所在領域を決定でき、例えば、ステップＳ１２０で決定された目標領域、又は、目標領域と実際移動距離に基づいて第２顔画像中の頬脂肪パッド領域所在領域を得、この領域に基づいて前記輝点を対応的にマスク画像に加える。

本実施例では、前記マスク画像における輝点所在位置の画素値が前記所定閾値より大きく、輝点所在位置以外の画素の画素値が全て前記所定閾値以下である。そのようにして、画素を混合する時に、画像プロセッサ（ＧＰＵ）等の大規模演算に適する演算モジュールを用いてよく、マスク画像中の画素をトラバースする時に、画素値と所定閾値を比較することによって、この画素を第２顔画像中の画素と混合する必要があるか否かを決定する。例えば、第２顔画像がＲＧＢ画像であり、そのように第２顔画像が３つの色成分を含み、これらの３つの色成分中の各画素が対応の画素値を有し、マスク画像中のＭ番目の画素の画素値が前記所定閾値より大きければ、マスク画像中のＭ番目の画素の画素値と前記第２顔画像中のＭ番目の画素の３つの色成分のカラー値を混合し、更にこられの３つの色成分の混合後の値を組み合わせて前記第２画素値が得られる。ここの混合は、線形混合であってもよく、非線形混合であってもよい。本実施例では、前記マスク画像と第２顔画像の混合は好ましくは非線形混合であり、そのように得られた頬脂肪パッド領域のブライトニング効果がより望ましい。

前記非線形混合の関数関係は具体的には、
Ｓｑｒｔ（ｏｒｉｇｉｎａｌ ｃｏｌｏｒ）＊（ａ＊ｍａｓｋ ｃｏｌｏｒ－１．０）＋ｂ＊ｏｒｉｇｉｎａｌ ｃｏｌｏｒ＊（ｃ－ｍａｓｋ ｃｏｌｏｒ）であってよく、ここで、ｏｒｉｇｉｎａｌ ｃｏｌｏｒが第２顔画像中の第１画素値であり、ｍａｓｋ ｃｏｌｏｒがマスク画像中の画素値であり、ａ、ｂ、ｃがいずれも既知の計算パラメータである。具体的な値は必要に応じて設定可能である。

Ｓｑｒｔが平方根演算を表し、Ｓｑｒｔ（ｏｒｉｇｉｎａｌ ｃｏｌｏｒ）が第１画素値の平方根演算を表す。

本実施例では、前記ａの値とｂの値は同じであってもよく、例えば、ｏｒｉｇｉｎａｌ ｃｏｌｏｒとｍａｓｋ ｃｏｌｏｒを全て０～１の間の数値に正規化した後、前記ａとｂの値は全て２．０であってよく、前記ｃの値は１．０であってよい。

要するに、前記ａ、ｂ及びｃの値は同じであっても、異なっていてもよい。

ある実施例では、画素値を混合する前に画素値又はカラー値に対して正規化処理を行うことになり、得られた画素値又はカラー値は全て０～１の間のデータである。この時に、異なるビット数の色成分で形成された画像であっても、同様に０～１の間にある画素値又はカラー値が得られる。一方、正規化処理によって、その後で画素混合計算に参加する数値が大幅に小さくなって計算が簡単化された。

ある実施例では、前記所定閾値は０．４、０．４５、０．５、０．５５及び０．６等であってよい。前記所定閾値の値範囲は０．４～０．６であってよい。

更に、前記方法は、制御パラメータを取得するステップを更に含み、
前記第２画素値に基づいて前記第３顔画像を生成する前記ステップは、
前記制御パラメータ、前記第２画素値及び前記第１画素値に基づいて線形混合を行って第３画素値を得るステップと、
前記第３画素値に基づいて前記第３顔画像を生成するステップと、を含む。

本実施例では、前記制御パラメータは画像デバイスがマンマシンインターフェイス又は他のデバイスから受信した、頬脂肪パッド領域のブライトニング度合いを制御するために用いられ頬脂肪パッド領域のブライトニング度合いの制御パラメータとなる外部制御パラメータであってよい。

第２画素値が得られた後、更に制御パラメータと第１画素値に基づいて線形混合を行って前記第３画素値を取得する。例えば、前記制御パラメータが比率パラメータであり、Ａ（ＲＧＢ１）＋ＲＧＢ２＝ＲＧＢ３を基礎としてよい。例えば、Ａが前記制御パラメータとなってよく、前記ＲＧＢ１が第２顔画像の最初の第１画素値となってよく、ＲＧＢ２が混合後の前記第２画素値となってよく、ＲＧＢ３が再度混合した後前記第３顔画像を形成する第３画素値となってよい。

本実施例では直接第２画素値を用いて前記第３顔画像を生成することでなく、最初の第２顔画像と混合後の第２画素値を用いて再度線形混合を行って前記第３顔画像を得ることになり、そのようにして、頬脂肪パッド領域をより自然にブライトニングし、画像処理効果をより好適にすることができる。

本開示の実施例では顔画像中の頬脂肪パッド領域の目標領域をどのように調整するかについて詳細に説明したが、実際に使用する時に本開示の実施例で提供された技術的解決手段によって顔画像における額領域、下顎領域、頬骨領域等を調整することもできることを理解すべきである。

図８に示すように、本実施例は、
第１顔画像のキーポイントを検出するための検出ユニット１１と、
前記キーポイントに基づいて頬脂肪パッド領域調整の目標領域を決定するための第１決定ユニット１２と、
前記キーポイントに基づいて頬脂肪パッド領域の調整パラメータを決定するための第２決定ユニット１３と、
前記調整パラメータに基づいて前記目標領域を調整して第２顔画像を形成するための調整ユニット１４と、を含む画像処理装置１を提供する。

本開示のいずれか１つの実施形態によれば、前記装置１は、
前記第１顔画像中の顔の向きを決定するための第３決定ユニット１５を更に含み、
前記第１決定ユニット１２は、
前記キーポイントと前記向きに基づいて頬脂肪パッド領域調整の前記目標領域を決定するために用いられる。

本開示のいずれか１つの実施形態によれば、前記キーポイントは、目尻キーポイント、第１顔型輪郭キーポイント及び鼻翼キーポイントを含み、
前記第２決定ユニット１３は、
前記向きが、第１顔画像が正面顔画像であることを表すと決定された場合に、前記第１顔型輪郭キーポイントと前記鼻翼キーポイントに基づいて前記目標領域の第１中間点を決定するステップと、
前記第１中間点と前記目尻キーポイントに基づいて前記目標領域を決定するステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記キーポイントは、目尻キーポイント、第２顔型輪郭キーポイント及び鼻翼キーポイントを含み、
前記第１決定ユニット１２は、
前記向きが、前記第１顔画像が側面顔画像であることを表すと決定された場合に、前記第２顔型輪郭キーポイントと前記鼻翼キーポイントに基づいて前記目標領域の第２中間点を決定するステップと、
前記第２中間点と前記目尻キーポイントに基づいて前記目標領域を決定するステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記第２決定ユニット１３は、
前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整方向を決定するために用いられる。

本開示のいずれか１つの実施形態によれば、前記第３決定ユニット１５は、
前記向きが、第１顔画像が正面顔画像であることを表す場合に、前記キーポイントに基づいて頬脂肪パッド領域の調整方向を第１方向と決定するために用いられる。

本開示のいずれか１つの実施形態によれば、前記第３決定ユニット１５は、更に、
前記向きが、第１顔画像が側面顔画像であることを表す場合に、前記キーポイントに基づいて頬脂肪パッド領域の調整方向を第２方向及び第３方向と決定するために用いられ、前記第３方向は第２方向と異なる。

本開示のいずれか１つの実施形態によれば、前記第１方向は、前記目標領域の第１中間点が目尻キーポイントへ向く方向である。

本開示のいずれか１つの実施形態によれば、前記第２方向は、前記目標領域の第２中間点が目尻キーポイントへ向く方向であり、
前記第３方向は、鼻翼キーポイントが目標領域を決定する第２顔型輪郭キーポイントへ向く方向である。

本開示のいずれか１つの実施形態によれば、前記第２決定ユニット１３は、
前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整幅を決定するために用いられる。

本開示のいずれか１つの実施形態によれば、前記第２決定ユニット１３は、
目尻キーポイントと目頭キーポイントに基づいて前記頬脂肪パッド領域の最大移動距離を決定するステップと、
前記向きが、前記第１顔画像が側面顔画像であることを表す場合に、顔偏向角と前記最大移動距離に従って前記第１顔画像の頬脂肪パッド領域の実際移動距離を決定するステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記装置１は、
前記第２顔画像中の頬脂肪パッド領域に対してブライトニング処理を行って第３顔画像を取得するためのブライトニング処理ユニット１６を更に含む。

本開示のいずれか１つの実施形態によれば、前記ブライトニング処理ユニット１６は、
前記第２顔画像から顔の肌色パラメータを取得するステップと、
前記顔の肌色パラメータに基づいて頬脂肪パッド領域のブライトニング処理のブライトニングパラメータを決定するステップと、
前記ブライトニングパラメータに基づいて前記第２顔画像中の頬脂肪パッド領域に対してブライトニング処理を行って、前記第３顔画像を取得するステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記ブライトニング処理ユニット１６は、
前記第２顔画像中の頬脂肪パッド領域の位置に従ってマスク画像を生成するステップと、
前記マスク画像に基づいて前記第２顔画像に対して前記頬脂肪パッド領域のブライトニング処理を行って前記第３顔画像を得るステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記ブライトニング処理ユニット１６は、
予め設定された頬脂肪パッド領域のブライトニングの輝点と前記第２顔画像中の頬脂肪パッド領域の位置に従って、前記輝点を含む前記マスク画像を生成するために用いられる。

本開示のいずれか１つの実施形態によれば、前記ブライトニング処理ユニット１６は、
前記マスク画像における画素値が所定閾値より大きい画素を、前記第２顔画像における対応位置画素の第１画素値と混合して、混合後の第２画素値を得るステップと、
前記第２画素値に基づいて前記第３顔画像を生成するステップと、に用いられる。

本開示のいずれか１つの実施形態によれば、前記装置１は、
制御パラメータを取得するための取得ユニット１７を更に含み、
前記ブライトニング処理ユニット１６は、
前記制御パラメータ、前記第２画素値及び前記第１画素値に基づいて線形混合を行って第３画素値を得るステップと、
前記第３画素値に基づいて前記第３顔画像を生成するステップと、に用いられる。

以下、上記実施例に基づいて２つの具体的な例を提供する。

例１
頬脂肪パッド領域調整方法は、
１）第１顔画像中の頬脂肪パッド領域範囲領域を上へ引っ張るステップと、
２）第１顔画像が側面顔画像である時に、上へ引っ張ると共に、この領域を第１顔画像の顔偏向角に応じて外へ膨らませるステップと、
３）マスク（ｍａｓｋ）テクスチャを用いて頬脂肪パッド領域をブライトニングするステップと、を含んでよい。

図９に示すように、第１顔画像の頬脂肪パッド領域所在領域に対して頬脂肪パッド領域を上へ引っ張るか、横方向に膨らませる操作を行って第２顔画像を得る。図９において第２顔画像の第１顔画像に対する点線円形領域を前記頬脂肪パッド領域の所在する目標領域としてよく、第２マスク画像と第２顔画像を合わせたら、頬脂肪パッド領域のブライトニングした第３顔画像が得られる。

例２
第１顔画像中の左顔領域を例とすると、頬脂肪パッド領域の調整例を提供し、そのステップとして以下を含む。

１、第１顔画像が正面顔画像である場合に、第１顔画像の頬脂肪パッド領域範囲の領域（上記目標領域に対応する）を上へ引っ張る。

１）キーポイント５とキーポイント８０の中点を計算して引っ張り領域（円形領域）の中間点とし、引っ張り領域の最大移動距離をキーポイント５２とキーポイント５５の距離のｋ倍に設定し、ｋが正整数であり、実際の要求に応じて設定可能である。

２）引っ張り領域の中間点がキーポイント５２（目標点）へ向く方向を上へ引っ張る方向とし、引っ張り領域の範囲（半径）を中間点から目標点までの線形補間によって取得する。

２、第１顔画像が側面顔画像である場合に、頬脂肪パッド領域所在領域を上へ引っ張ると共に、この領域を第１顔画像の顔偏向角に応じて外へ膨らませる。

１）第１顔画像の顔偏向角で膨張領域を決定でき、膨張領域はキーポイント４を中間点とし、最大移動距離が引っ張り距離と同様であり、且つ顔偏向角と正相関の関係となる。

２）キーポイント４を膨張領域の中間点とし、キーポイント４がキーポイント８０へ向く方向の逆方向を膨張方向とし、膨張領域の範囲（半径）を中間点から目標点までの線形補間によって取得する。

３、ｍａｓｋテクスチャを用いて頬脂肪パッド領域をブライトニングする。

１）最後にブライトニング処理を行い、基準顔頬脂肪パッド領域を明るくする１枚のｍａｓｋテクスチャを用い、更に第１顔画像と色を混合し、そのように顔頬脂肪パッド領域をブライトニングし、より立体的に見える。

図１０に示すように、本実施例は、
メモリと、
前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能コマンドを実行することによって前記の任意の技術的解決手段で提供された画像処理方法、例えば、図１及び／又は図３に示す画像処理方法を実現可能であるプロセッサと、を含む画像デバイスを提供する。

このメモリは、ランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ等のような様々なメモリであってよい。前記メモリは、例えば、コンピュータ実行可能コマンド等の情報を記憶するために用いてよい。前記コンピュータ実行可能コマンドは、例えば、目標プログラムコマンド及び／又はソースプログラムコマンド等のような様々なプログラムコマンドであってよい。

前記プロセッサは、例えば、中央処理装置、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルアレイ、デジタル信号プロセッサ、特定用途向け集積回路又は画像プロセッサ等の様々なプロセッサであってよい。

前記プロセッサはバスを介して前記メモリに接続されてよい。前記バスは、集積回路バス等であってよい。

ある実施例では、前記画像デバイスは、更に、ネットワークインターフェイス、例えば、ローカルネットワークインターフェース、送受信アンテナ等を含む通信インターフェイスを含んでよい。前記通信インターフェイスは同様に前記プロセッサに接続され、情報送受信を実行可能である。

ある実施例では、前記画像デバイスは、例えば、キーボード、タッチパネル等の各種の入出力装置を含むマンマシンインターフェイスを更に含む。

本実施例は、コンピュータ実行可能コマンドが記憶されているコンピュータ記憶媒体であって、前記コンピュータ実行可能コマンドが実行されるとき、画像デバイス、データベース、第１プライベートネットワークの中の１つ又は複数の技術的解決手段で提供された画像処理方法、例えば、図１及び／又は図２に示す画像処理方法を実行可能であるコンピュータ記憶媒体を提供する。

前記コンピュータ記憶媒体は、例えば、ＣＤ、フロッピーディスク、ハードディスク、磁気テープ、光ディスク、ＵＳＢメモリ又はモバイルハードディスク等のような記録機能を有する各種記録媒体であってよい。前記コンピュータ記憶媒体は非一時的記憶媒体であってもよく、プロセッサがそれを読み取ることができ、それによってコンピュータ記憶媒体に記憶されているコンピュータ実行可能コマンドが第１プロセッサにより取得され実行されるとき、前述したいずれか１つの技術的解決手段で提供された画像処理方法を実現可能であり、例えば、画像デバイスに用いられる画像処理方法又はサーバに用いられる画像処理方法を実行可能である。

本実施例は、コンピュータ実行可能コマンドを含むコンピュータプログラム製品であって、前記コンピュータ実行可能コマンドが実行されるとき、上述した１つ又は複数の技術的解決手段で提供された画像処理方法、例えば、図３及び／又は図５に示す画像処理方法を実現可能であるコンピュータプログラム製品を更に提供する。

前記コンピュータプログラム製品は、コンピュータ記憶媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法のステップを対応して実行する対応のコマンドを含んでよい。

なお、本開示が提供するいくつかの実施例では、開示した機器および方法は、他の形態で実現することができることを理解すべきである。以上に記載の機器の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたはコンポーネントは組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した各構成要素の結合、または直接結合、または通信接続は、いくつかのインターフェイス、機器またはユニットを介した間接結合または通信接続であり得、電気的、機械的または他の形態であり得る。

別々の部材として前述したユニットは物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよく、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる
また、本開示の各実施例における各機能ユニットは全て一つの処理モジュールに統合されてもよいし、一つのユニットとして別々に使用されてもよいし、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形で、またはハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現され得る。

当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、携帯型記憶装置、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。

以上で説明したのは本開示の具体的な実施形態に過ぎず、本開示の保護範囲がそれに限定されるものでなく、本開示に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本開示の保護範囲に含まれる。従って、本開示の保護範囲は請求項の保護範囲に準ずるべきである。

Claims (17)

1. 第１顔画像のキーポイントを検出するステップと、
   前記キーポイントに基づいて頬脂肪パッド領域調整の目標領域を決定するステップと、
   前記キーポイントに基づいて頬脂肪パッド領域の調整パラメータを決定するステップと、
   前記調整パラメータに基づいて前記目標領域を調整して第２顔画像を形成するステップと、
   予め設定された頬脂肪パッド領域のブライトニングの輝点と前記第２顔画像中の頬脂肪パッド領域の位置に従って、前記輝点を含むマスク画像を生成するステップと、
   前記マスク画像に基づいて前記第２顔画像に対して前記頬脂肪パッド領域のブライトニング処理を行って第３顔画像を得るステップと、を含むことを特徴とする画像処理方法。
2. 前記キーポイントに基づいて頬脂肪パッド領域調整の目標領域を決定する前記ステップの前に、
   前記第１顔画像中の顔の向きを決定するステップを更に含み、
   前記キーポイントに基づいて頬脂肪パッド領域調整の目標領域を決定する前記ステップは、
   前記キーポイントと前記向きに基づいて頬脂肪パッド領域調整の前記目標領域を決定するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記キーポイントは、目尻キーポイント、第１顔型輪郭キーポイント及び鼻翼キーポイントを含み、
   前記キーポイントと前記向きに基づいて頬脂肪パッド領域調整の前記目標領域を決定する前記ステップは、
   前記向きが、第１顔画像が正面顔画像であることを表すと決定された場合に、前記第１顔型輪郭キーポイントと前記鼻翼キーポイントに基づいて前記目標領域の第１中間点を決定するステップと、
   前記第１中間点と前記目尻キーポイントに基づいて前記目標領域を決定するステップと、を含むことを特徴とする請求項２に記載の方法。
4. 前記キーポイントは、目尻キーポイント、第２顔型輪郭キーポイント及び鼻翼キーポイントを含み、
   前記キーポイントと前記向きに基づいて頬脂肪パッド領域調整の前記目標領域を決定する前記ステップは、
   前記向きが、前記第１顔画像が側面顔画像であることを表すと決定された場合に、前記第２顔型輪郭キーポイントと前記鼻翼キーポイントに基づいて前記目標領域の第２中間点を決定するステップと、
   前記第２中間点と前記目尻キーポイントに基づいて前記目標領域を決定するステップと、を含むことを特徴とする請求項２に記載の方法。
5. 前記キーポイントに基づいて頬脂肪パッド領域の調整パラメータを決定する前記ステップは、
   前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整方向を決定するステップを含むことを特徴とする請求項２～４のいずれか一項に記載の方法。
6. 前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整方向を決定する前記ステップは、
   前記向きが、第１顔画像が正面顔画像であることを表す場合に、前記キーポイントに基づいて頬脂肪パッド領域の調整方向を第１方向と決定するステップを含むことを特徴とする請求項５に記載の方法。
7. 前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整方向を決定する前記ステップは、
   前記向きが、第１顔画像が側面顔画像であることを表す場合に、前記キーポイントに基づいて頬脂肪パッド領域の調整方向を第２方向及び第３方向と決定するステップであって、前記第３方向は第２方向と異なるステップを含むことを特徴とする請求項５に記載の方法。
8. 前記第１方向は、前記目標領域の第１中間点が目尻キーポイントへ向く方向であることを特徴とする請求項６に記載の方法。
9. 前記第２方向は、前記目標領域の第２中間点が目尻キーポイントへ向く方向であり、前記第３方向は、鼻翼キーポイントが目標領域を決定する第２顔型輪郭キーポイントへ向く方向であることを特徴とする請求項７に記載の方法。
10. 前記キーポイントに基づいて頬脂肪パッド領域の調整パラメータを決定する前記ステップは、
    前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整幅を決定するステップを含むことを特徴とする請求項２～４のいずれか一項に記載の方法。
11. 前記キーポイントと前記向きに基づいて前記頬脂肪パッド領域の調整幅を決定する前記
    ステップは、
    目尻キーポイントと目頭キーポイントに基づいて前記頬脂肪パッド領域の最大移動距離を決定するステップと、
    前記向きが、前記第１顔画像が側面顔画像であることを表す場合に、顔偏向角と前記最大移動距離に従って前記第１顔画像の頬脂肪パッド領域の実際移動距離を決定するステップと、を含むことを特徴とする請求項１０に記載の方法。
12. 前記マスク画像に基づいて前記第２顔画像に対して前記頬脂肪パッド領域のブライトニング処理を行って前記第３顔画像を得る前記ステップは、
    前記マスク画像における画素値が所定閾値より大きい画素を、前記第２顔画像における対応位置画素の第１画素値と混合して、混合後の第２画素値を得るステップと、
    前記第２画素値に基づいて前記第３顔画像を生成するステップと、を含むことを特徴とする請求項１に記載の方法。
13. 制御パラメータを取得するステップを更に含み、
    前記第２画素値に基づいて前記第３顔画像を生成する前記ステップは、
    前記制御パラメータ、前記第２画素値及び前記第１画素値に基づいて線形混合を行って第３画素値を得るステップと、
    前記第３画素値に基づいて前記第３顔画像を生成するステップと、を含むことを特徴とする請求項１２に記載の方法。
14. 第１顔画像のキーポイントを検出するための検出ユニットと、
    前記キーポイントに基づいて頬脂肪パッド領域調整の目標領域を決定するための第１決
    定ユニットと、
    前記キーポイントに基づいて頬脂肪パッド領域の調整パラメータを決定するための第２決定ユニットと、
    前記調整パラメータに基づいて前記目標領域を調整して第２顔画像を形成するための調整ユニットと、
    予め設定された頬脂肪パッド領域のブライトニングの輝点と前記第２顔画像中の頬脂肪パッド領域の位置に従って、前記輝点を含むマスク画像を生成し、前記マスク画像に基づいて前記第２顔画像に対して前記頬脂肪パッド領域のブライトニング処理を行って第３顔画像を得るためのブライトニング処理ユニットを含むことを特徴とする画像処理装置。
15. メモリと、
    前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能コマンドを実行することによって請求項１～１３のいずれか一項で提供された方法を実現するために用いられるプロセッサと、を含むことを特徴とする画像デバイス。
16. コンピュータ実行可能コマンドが記憶されているコンピュータ記憶媒体であって、前記コンピュータ実行可能コマンドが実行されるとき、請求項１～１３のいずれか一項で提供された方法を実現可能であるコンピュータ記憶媒体。
17. コンピュータに、請求項１～１３のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。

Images