JP6961811B2 - 画像処理のための方法および装置、ならびにコンピュータ可読記憶媒体 - Google Patents

Description

本開示は、コンピュータの技術分野に関し、特に、画像処理のための方法および装置、ならびに電子デバイスおよびコンピュータ可読記憶媒体に関する。

電子デバイスの急速な発展に伴い、電子デバイスはますます多くの機能を備えている。ユーザが電子デバイスで写真を撮ると、電子デバイスは環境光情報を検出することにより、自動ホワイトバランスや自動露出調整などの動作を実行できる。ユーザが電子デバイスでポートレートまたは自画像を撮影すると、電子デバイスは、ポートレートのホワイトニング、バフ仕上げ、にきびの除去などの一連のレタッチ動作も実行できる。

本出願または従来技術の実施形態における技術的解決策をより明確に説明するために、実施形態または従来技術に関する説明で使用する必要がある図面を以下に簡単に紹介する。以下に説明する図面は本出願のいくつかの実施形態に過ぎず、当業者であれば創造的な作業なしにこれらの図面に従って他の図面も得られることは明らかである。

本開示の一実施形態による電子デバイス１０の内部構造図である。 一実施形態による画像処理方法のフローチャートである。 本開示の一実施形態による空間直交座標系における顔の回転の概略図である。 本開示の一実施形態による画像処理方法のフローチャートである。 本開示の一実施形態による画像処理方法のフローチャートである。 本開示の一実施形態による画像処理方法のフローチャートである。 本開示の一実施形態による画像処理装置の構造ブロック図である。 本開示の一実施形態による画像処理装置の構造ブロック図である。 本開示の一実施形態による画像処理装置の構造ブロック図である。 本開示の一実施形態による画像処理回路の概略図である。

本出願の目的、技術的解決策および利点をより明確にするために、図面および実施形態と組み合わせて本出願をさらに詳細に以下に説明する。本明細書で説明される特定の実施形態は、本出願を説明するためにのみ採用され、本出願を限定することを意図するものではないことを理解されたい。

図１は、一実施形態による電子デバイス１０の内部構造図を示している。図１に示すように、電子デバイス１０は、システムバスを介して接続されたプロセッサ、非一時的記憶媒体、内部メモリ、ネットワークインタフェース、ディスプレイ画面、および入力装置を含む。電子デバイス１０の非一時的記憶媒体は、オペレーティングシステムおよびコンピュータ可読命令を格納する。コンピュータ可読命令は、プロセッサによって実行され、画像処理方法を実装する。プロセッサは、電子デバイス１０全体の実行をサポートするために計算および制御機能を提供するように構成されている。電子デバイス１０の内部メモリは、非一時的記憶媒体内のコンピュータ可読命令の実行のための環境を提供する。ネットワークインタフェースは、サーバとのネットワーク通信を実行するように構成されている。電子デバイス１０のディスプレイ画面は、液晶ディスプレイ画面、電子インクディスプレイ画面などであってもよい。入力装置は、ディスプレイ画面を覆うタッチレイヤであってもよい。入力装置は、電子デバイス１０のハウジング上に配置されたボタン、トラックボールまたはタッチパッドであってもよい。入力装置はさらに、外部キーボード、タッチパッド、マウスなどであってもよい。電子デバイス１０は、携帯電話、タブレットコンピュータ、携帯情報端末、ウェアラブルデバイスなどであってもよい。図１に示す構造は、本開示の解決策に関連する構造の一部のブロック図のみを示しており、本出願の解決策が適用される電子デバイス１０を限定することを意図するものではないことを当業者は理解できる。電子デバイス１０は、図１に示す構造に限定されない。さらに、電子デバイス１０は、より多いまたはより少ないコンポーネント、コンポーネントの組み合わせ、または異なるコンポーネント配置を含んでもよい。

図２は、一実施形態による画像処理方法のフローチャートを示している。図２に示すように、画像処理方法は以下のアクションを含む。

ブロック２０２では、処理対象の画像に対して顔認識が実行されて、処理対象の画像内の顔領域が認識される。顔領域の顔特徴認識ポイントが取得される。

電子デバイスは、取得した処理対象の画像に対して顔認識を実行して、処理対象の画像に顔領域が存在するかどうかを検出してもよい。処理対象の画像は、電子デバイスによって撮影および取得された画像、電子デバイスによって格納された画像、およびデータネットワークまたは無線ローカルエリアネットワークを介して電子デバイスによってダウンロードされた画像であってもよい。電子デバイスは、顔認識アルゴリズムを採用することにより、処理対象の画像に対して顔認識を実行してもよい。処理対象の画像に顔特徴認識ポイントが存在する場合、処理対象の画像に顔が存在することが検出される。処理対象の画像内の単一の顔画像が占める領域は、顔領域である。処理対象の画像に複数の顔が存在する場合、処理対象の画像に複数の顔領域が存在する。

処理対象の画像内の顔領域を認識した後、電子デバイスは、顔領域内の顔特徴認識ポイントを取得してもよい。顔特徴認識ポイントは、顔の５つの感覚器官の特徴ポイントであってもよい。顔特徴認識ポイントは、顔領域内の事前に設定されたポイントでもあってもよい。

ブロック２０４では、座標系における顔特徴認識ポイントの座標値が取得される。

電子デバイスは、顔領域内の顔特徴認識ポイントの座標値を取得してもよい。具体的には、電子デバイスは、顔特徴認識ポイントの座標値を、顔特徴認識ポイントに対応するピクセル位置で表すことができる。例えば、座標値はピクセル位置、つまり特定の行と特定の列で表される。

ブロック２０６では、顔特徴認識ポイント間の距離、および顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標系の座標軸の角度が座標値に従って決定される。

電子デバイスは、顔特徴認識ポイントの座標値に従って、顔特徴認識ポイント間の距離、および顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標軸の角度を決定してもよい。顔領域には複数の顔特徴認識ポイントがある。電子デバイスは、２つの顔特徴認識ポイントごとの距離、および２つの顔特徴認識ポイントごとの間を結ぶ線に対する座標軸の角度を取得してもよい。顔特徴認識ポイントは、画像内の複数のピクセルに対応してもよい。電子デバイスは、中心位置のピクセルを基準点として選択して、顔特徴認識ポイント間の距離および顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標軸の角度を取得してもよい。例えば、人間の目の左眼角の位置は、１００列目から１１０列目まで、および１００行目から１１０行目までの領域のピクセルに対応する。次いで、電子デバイスは、１０５行１０５列目のピクセルを基準点として選択してもよい。電子デバイスは、各顔特徴認識ポイントの基準点に従って顔特徴認識ポイントの距離および角度を計算する。

電子デバイスは、顔特徴認識ポイント間の距離をピクセル数で表してもよい。例えば、左眼角と右眼角の間の距離は３０万ピクセル値である。電子デバイスはまた、画像内に直交座標系を確立し、直交座標系内の顔特徴認識ポイントの２つをそれぞれ接続する線に対する直交座標系の座標軸の角度を取得してもよい。例えば、電子デバイスは、画像上で互いに直角を形成する２つの直線で直交座標系を確立し、正の方向と負の方向に続く２つの直線に名前を付ける。電子デバイスは、２つの顔特徴認識ポイントに対応する基準点を接続して形成される線分を取得した後、線分と直交座標系の直線によって形成される鋭角を取得し、顔特徴認識ポイント間の角度を鋭角で表してもよい。例えば、電子デバイスは、画像内で互いに直交する２つの直線でＸＹ座標系を確立し、軸ｘを正の軸と負の軸に分割し、軸ｙを正の軸と負の軸に分割する。次に、電子デバイスは、顔の右眼角と鼻の先端との間の角度を表し、顔の右眼角と鼻の先端によって形成される線分と、軸ｘの正の軸との間の角度は８０°であり、軸ｙの正の軸との間の角度は１０°である。

ブロック２０８では、正面顔画像に対する顔領域の偏差角は、顔特徴認識ポイント間の距離と、顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標軸の角度に従って決定される。偏差角は、平面上の正面顔画像に対する顔領域の回転角度である。

顔は３次元構造であり、顔は３次元空間のさまざまな方向に沿って回転してもよい。例えば、上向きおよび下向きの頭のうなずき、左向きおよび右向きの頭の揺れなどはすべて、３次元空間での顔の回転に属する。顔が３次元空間で回転した後、画像に表示される顔の２次元画像も異なり得る。画像内の顔の偏差角は、ソフトウェア方法によって検出されてもよく、その後、レタッチテンプレートは、顔の偏差角に従って対応して調整されてもよい。

顔領域内の顔特徴認識ポイント間の距離と、顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標軸の角度を取得した後、電子デバイスは、顔特徴認識ポイント間の距離と、顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標軸の角度に従って、顔領域の偏差角を決定してもよい。電子デバイスは、人工知能を用いて偏差角を取得してもよい。顔領域の偏差角とは、標準顔画像に対する画像内の顔領域の回転角度を指す。標準顔画像は、正面顔画像、つまり、顔がカメラに直接向いているときに撮影された画像である。顔領域の偏差角は、３つの角度で表すことができる。３次元空間で互いに垂直な３つの直線は１点で交差して３次元座標系を形成し、３つの直線の各２つの直線が１つの平面を形成し得、合計３つの平面がある。次に、顔領域の偏差角は、標準顔画像に対する３つの平面上の顔領域の回転角度で表される。

ブロック２１０では、偏差角に対応するレタッチテンプレートが取得される。顔領域は、レタッチテンプレートに従って修整される。

電子デバイスは、顔領域の偏差角を取得した後、顔領域の偏差角に対応するレタッチテンプレートを取得してもよい。レタッチテンプレートとは、レタッチパラメータに従って生成されたレイヤを指す。このレイヤの異なる位置は、顔の異なる特徴ポイントに対応してもよい。電子デバイスは、レイヤに異なる色を追加してもよい。例えば、瞳孔領域に対応する位置は、瞳孔修整のために黒で表示される。唇領域に対応する位置は、唇の色を表示するために赤で表示される。頬骨領域に対応する位置は、頬骨の赤色を表示するために赤で表示される。電子デバイスは、顔領域を修整するためのレタッチパラメータに従って生成されたレイヤで、元の画像上の顔領域を覆ってもよい。共通の表現を使用するために、レタッチテンプレートは透明なマスクに似ている。マスクはさまざまな色でコーティングされている。マスクは、表示のために顔を覆ってもよい。

電子デバイスによって事前に格納されているレタッチテンプレートは、顔の正面に対応するレタッチテンプレートである。電子デバイスは、顔領域の偏差角を取得した後、偏差角に対応するテンプレートを取得してもよい。すなわち、電子デバイスは、回転後の顔の２次元画像に対応するレタッチテンプレートを取得してもよい。

電子デバイスが偏差角に対応するレタッチテンプレートを取得した後、電子デバイスは、レタッチテンプレートに従って処理対象の画像内の顔領域を修整してもよい。すなわち、電子デバイスは、レタッチテンプレートと処理対象の画像内の顔領域とを重ね合わせてもよい。電子デバイスは、顔領域内の顔特徴認識ポイントに従ってレタッチテンプレートの位置を決定してもよい。

一態様によれば、電子デバイスは、処理対象の画像内の顔領域を直接修整することもできる。修整には、ホワイトニング、目を大きくすること、にきび除去、そばかす除去、頬の色の適用、瞳孔修整、リップグロスの適用などが含まれる。具体的には、電子デバイスは、顔領域のピクセルの色値を調整したり、顔領域のフィルタリング処理を行ったりするなどして、修整を実施してもよい。

本開示の方法によれば、画像内の顔領域の偏差角が分析される。顔領域に対応するレタッチテンプレートは、顔領域の偏差角に従って取得されるため、レタッチテンプレートは顔によりよくフィットする。レタッチテンプレートと顔が一致しない場合、次のケースは回避できる：顔の対応する領域には特別なレタッチ効果が表示されない。そのため、画像をインテリジェントに修整できる。

一態様によれば、偏差角は、第１の角度、第２の角度、および第３の角度を含む。第１の角度は、標準顔画像に対する第１の平面上の顔領域の回転角度を表す。第２の角度は、標準顔画像に対する第２の平面上の顔領域の回転角度を表す。第３の角度は、標準顔画像に対する第３の平面上の顔領域の回転角度を表す。第１の平面、第２の平面、および第３の平面の各２つの平面は、互いに垂直である。

顔は３次元空間で回転し得るため、回転中の顔の画像に表示される２次元画像は異なる。標準顔画像に対する顔の偏差角を分析する場合、電子デバイスは、３次元空間内の３つの角度で偏差角を表してもよい。標準顔画像は、顔がカメラに直接向いているときに撮影された２次元の顔画像である。図３に示すように、３次元空間において互いに直交する３つの直線は、点で交差して空間直交座標系、すなわちＸＹＺ座標系を形成する。この座標系では、軸ｘと軸ｙが交差して第１の平面を形成し、軸ｘと軸ｚが交差して第２の平面を形成し、軸ｙと軸ｚが交差して第３の平面を形成する。第１の平面、第２の平面、および第３の平面の各２つの平面は、互いに垂直である。第１の角度は、標準顔画像に対する軸ｚを中心とした顔領域の回転角度を表す。第２の角度は、標準顔画像に対する軸ｙを中心とした顔領域の回転角度を表す。第３の角度は、標準顔画像に対する軸ｘを中心とした顔領域の回転角度を表す。図３において、第１の顔３０２は、標準顔画像、すなわち、顔がカメラに直接向いているときに撮影された２次元の顔画像である。第１の顔３０２が軸ｙの周りを角度αだけ反時計回りに回転した後、第２の顔３０４を得ることができ、第１の顔３０２に対する第２の顔３０４の偏差角は、第１の角度０、第２の角度α、および第３の角度０を含む。

偏差角に対応する第１の角度、第２の角度、および第３の角度を記録するとき、電子デバイスは、第１の平面、第２の平面、および第３の平面にそれぞれ正の回転方向を設定し、標準顔画像に対する正の回転方向の顔領域の回転角度で、第１の角度、第２の角度、および第３の角度を表すことができる。例えば、第２の角度の場合、反時計回りの方向は正の回転方向であり、顔領域が標準顔画像に対して反時計回りにβだけ回転すると、第２の角度はβになり、顔領域が標準顔画像に対して時計回りにγだけ回転すると、第２の角度は−γになる。

本開示の方法によれば、標準顔画像に対する顔領域の偏差角は、互いに直交する３つの平面内の回転角度に分割され、複雑な３次元変化は、３つの平面の各平面に分割され、これにより、顔の偏差角に関する電子デバイスの分析が容易になる。

一実施形態によれば、偏差角に対応するレタッチテンプレートが取得される動作は、以下のいずれかのアクションを含む。

（１）電子デバイスは、標準レタッチテンプレートを事前に格納し、偏差角に応じて標準レタッチテンプレートを回転させて、偏差角に対応するレタッチテンプレートを取得する。

標準レタッチテンプレートは、電子デバイスに事前に格納されている。標準レタッチテンプレートは、標準顔画像に対応するレタッチテンプレートである。顔がカメラに直接向いているときに撮影された顔は、標準顔画像、つまり顔の正面である。標準レタッチテンプレートは、顔の正面に対応するレタッチテンプレートである。標準顔画像に対する顔領域の偏差角を取得した後、電子デバイスは、偏差角に従って標準レタッチテンプレートを回転させてもよい。標準顔画像に対する顔領域の偏差角は、空間座標系の第１の角度、第２の角度、および第３の角度で表されてもよい。標準レタッチテンプレートを偏差角に従って回転させる場合、電子デバイスは、偏差角に対応するレタッチテンプレートを取得するために、第１の角度、第２の角度および第３の角度に従って空間座標系で標準レタッチテンプレートを回転させることができる。

（２）電子デバイスは、格納されているレタッチテンプレートから、偏差角に対応するレタッチテンプレートを検索する。

異なる偏差角に対応するレタッチテンプレートは、電子デバイスに格納されていてもよい。標準顔画像に対する顔領域の偏差角を取得した後、モバイル端末は、電子デバイスによって格納されたレタッチテンプレートを検索して、標準顔画像に対する顔領域の偏差角に対応するレタッチテンプレートがあるかどうかを判断してもよい。標準顔画像に対する顔領域の偏差角に対応するレタッチテンプレートがあると判断した場合、電子デバイスは、標準顔画像に対する顔領域の偏差角に対応するレタッチテンプレートを直接取得してもよい。

（３）電子デバイスは、偏差角をサーバにアップロードし、サーバから偏差角に対応するレタッチテンプレートを受信する。

標準顔画像に対する顔領域の偏差角を取得した後、電子デバイスは、偏差角をサーバにアップロードしてもよい。さまざまな偏差角に対応するレタッチテンプレートはサーバに格納され、標準顔画像に対する顔領域の偏差角に対応するレタッチテンプレートが見つかった場合、サーバは見つかったレタッチテンプレートを電子デバイスに返す。電子デバイスが偏差角を取得した後、標準レタッチテンプレートも偏差角に従って回転してもよく、回転によって生成されたレタッチテンプレートは電子デバイスに返され、ここで、標準レタッチテンプレートは標準顔画像に対応するレタッチテンプレートである。サーバが標準レタッチテンプレートを回転させる方法は、電子デバイスが標準レタッチテンプレートを回転させる方法と同じである。

本開示の方法によれば、標準顔画像に対する顔領域の偏差角が取得された後、電子デバイスは、偏差角に対応するレタッチテンプレートを取得してもよく、処理対象の画像内の顔領域は偏差角に対応するレタッチテンプレートに従って修整され、これにより、処理対象の画像の顔領域がよりインテリジェントに修整される。

本開示の一態様によれば、画像処理方法は以下のアクションを含む。

ブロック４０２では、処理対象の画像に対して顔認識が実行されて、処理対象の画像内の顔領域が認識される。顔領域の顔特徴認識ポイントが取得される。

ブロック４０４では、座標系における顔特徴認識ポイントの座標値が取得される。

ブロック４０６では、顔特徴認識ポイント間の距離、および顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標系の座標軸の角度が座標値に従って決定される。

ブロック４０８では、顔領域の偏差角は、顔特徴認識ポイント間の距離と、顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標軸の角度に従って決定される。偏差角は、平面上の正面顔画像に対する顔領域の回転角度である。

ブロック４１０では、偏差角に対応するレタッチテンプレートが取得される。

ブロック４１２では、顔領域の肌の色および肌のタイプと、顔領域に対応する性別が取得される。

電子デバイスは、顔領域の肌の色および肌のタイプと、顔領域内の顔に対応する性別を認識してもよい。電子デバイスは、顔領域の肌の色を肌色領域の色値で表す。電子デバイスは、顔領域のしわ、そばかす、にきびの数により肌タイプのレベルを決定してもよい。電子デバイスは、機械学習モデルを通じて顔に対応する性別を認識してもよい。

ブロック４１４では、顔領域に対応するレタッチパラメータが、肌の色、肌のタイプ、および性別に従って取得される。

さまざまな肌の色、肌のタイプ、および性別に対して、電子デバイスはさまざまなレタッチパラメータに一致してもよい。例えば、画像内の女性の顔画像が修正されると、電子デバイスは、顔画像の肌の色、唇の色、瞳孔の色、頬の色などを調整することができる。画像内の男性の顔画像が修整されると、電子デバイスは顔画像の肌の色と瞳孔の色のみを調整する。肌の色、肌のタイプ、性別、およびレタッチパラメータの対応関係は、電子デバイスにあらかじめ格納されていてもよい。電子デバイスは、顔画像の肌の色、肌のタイプ、および性別を取得した後、対応するレタッチパラメータを検索することができる。電子デバイスは、機械学習モデルを通じて、顔画像の肌の色、肌のタイプ、および性別に対応するレタッチパラメータを検索することもできる。

ブロック４１６では、レタッチテンプレートはレタッチパラメータに従って調整される。顔領域は、調整されたレタッチテンプレートに従って修整される。

顔領域に対応するレタッチパラメータを取得した後、電子デバイスは、取得したレタッチパラメータに従ってレタッチテンプレートを調整してもよい。調整されたレタッチテンプレートとは、レタッチパラメータをレタッチテンプレートの元のパラメータに置き換えることを指す。

本開示の方法によれば、電子デバイスは、画像内の顔領域の肌の色、肌のタイプ、およびパラメータに従って対応するレタッチパラメータを検索し、異なる顔領域に対して異なる修整処理を実施することができるため、画像は、よりパーソナライズされた方法で修整される。

本開示の一態様によれば、ブロック２１０の後、方法は以下のアクションをさらに含む。

ブロック２１２では、顔領域内の肌色領域が認識される。肌色領域に対してエッジ抽出が実行され、エッジ情報が取得される。

処理対象の画像内の顔領域を取得した後、電子デバイスは、顔領域内の肌色領域を認識してもよく、肌色領域は、顔内の肌で覆われた領域である。電子デバイスは、顔領域内の各ピクセルの色値を介して肌色領域を認識してもよい。具体的には、電子デバイスは、肌の色の色値を事前に格納することができ、顔領域の各ピクセルの色値を肌の色の色値と比較し、ピクセルの色値と肌の色の色値との間の色の差の値が指定された閾値より小さい場合、２つの色が比較的近いと判断し、顔領域のピクセルの色を肌の色として認識し、色が肌色であるピクセルのセットによって表示される領域は、肌色領域である。

電子デバイスは、顔領域内の肌色領域を取得した後、肌色領域に対してエッジ検出を実行して、肌色領域内のエッジ情報を取得してもよい。エッジ検出とは、画像処理中に画像内で明度が明らかに変化するポイント、例えば、オブジェクトの表面の質感やオブジェクトの表面の形状を認識することを指す。エッジ情報は、肌色領域の輪郭情報である。電子デバイスは、エッジ検出を実行して、肌色領域における肌の質感、にきびの輪郭、そばかすの輪郭、瘢痕の輪郭などを認識してもよい。

ブロック２１４では、エッジ情報に従って第１の肌色領域が決定される。

電子デバイスが肌色領域のエッジ情報を取得した後、電子デバイスは、エッジ情報に従って第１の肌色領域を決定してもよい。第１の肌色領域は、繊細な肌の領域である。電子デバイスは、エッジ情報を取得した後、にきびの輪郭、そばかすの輪郭、および瘢痕の輪郭に従って、除去されるにきび領域、そばかす領域、および瘢痕領域を取得してもよい。次いで、電子デバイスは、肌色領域からにきび領域、そばかす領域、および瘢痕領域を除去して、第１の肌色領域を取得する。電子デバイスが、肌色領域からにきび領域、そばかす領域、および瘢痕領域を除去する動作とは、電子デバイスが、肌色領域の画像からにきび領域の画像、そばかす領域の画像、および瘢痕領域の画像を切り取ることを指す。

ブロック２１６では、修整された顔領域と第１の肌色領域で画像融合が実行される。

処理対象の画像内の顔領域を修整した後、電子デバイスは、画像内の修整された顔領域および第１の肌色領域で画像融合を実行してもよい。具体的には、電子デバイスは、修整された顔領域の肌の色に応じて第１の肌色領域の肌の色を調整し、調整された第１の肌色領域と修整された顔領域を重ね合わせる。そして、電子デバイスは、重畳領域のエッジに対して移行処理を実行する。電子デバイスは、移行処理を実施するために、重畳領域のエッジに対してフェザリング処理およびランプシェーディングを実行してもよい。電子デバイスはまた、第１の肌色領域に勾配透明度調整を実行して、重畳領域に移行処理を実施してもよい。

本開示の方法によれば、画像内の顔領域が修整される前に、顔領域内の特定の肌色領域がエッジ情報に従って認識され、格納される。次に、修整された顔領域と特定の色の肌領域で画像融合が実行される。したがって、元の肌の質感などの詳細は、修整された顔領域に保存されてもよい。修整された画像はよりリアルになり、画像の印象が改善される。

本開示の一態様によれば、第１の肌色領域がエッジ情報に従って決定される動作は、以下のアクションを含む。第１のエッジ情報は、エッジ情報に対応する形状および色に従って決定される。第１のエッジ情報に対応する肌色領域は、第１の肌色領域として取得される。第１の肌色領域の位置情報が記録される。

エッジ情報を取得した後、電子デバイスは、エッジ情報に対応する形状、色、および明度に従ってエッジ情報のタイプを決定してもよい。エッジ情報は肌色領域の輪郭情報であり、エッジ情報に対応する形状は輪郭の形状である。例えば、そばかす領域の輪郭は楕円に近似し、肌の質感の輪郭は直線に近似している。エッジ情報の輪郭が囲まれた画像に接続される場合、電子デバイスは、囲まれた画像の色および明度、例えば、そばかす領域の色および明度と、にきび領域の色および明度を検出してもよい。電子デバイスは、エッジ情報に対応する形状、色、および明度を取得した後、エッジ情報のタイプを認識してもよい。さまざまなタイプのエッジ情報に対応する形状、色、および明度情報は、電子デバイスに事前に格納されている。電子デバイスは、エッジ情報に対応する形状、色、および明度を比較することにより、エッジ情報のタイプを決定してもよい。本開示の一態様によれば、電子デバイスはまた、ニューラルネットワークモデルを通じてエッジ情報のタイプを認識してもよい。電子デバイスは、肌の質感に対応するエッジ情報を第１のエッジ情報として選択してもよい。第１のエッジ情報に対応する肌色領域は、第１の肌色領域である。第１の肌色領域を取得した後、電子デバイスは、第１の肌色領域の位置情報を記録してもよい。電子デバイスが第１の肌色領域の位置情報を記録する動作には、以下のアクションが含まれる。電子デバイスは、第１の肌色領域のピクセルの座標値、例えば第３行第３列を記録する。

修整された顔領域と第１の肌色領域で画像融合が行われる動作には、以下のアクションが含まれる。処理された顔領域内の第１の肌色領域の対応する色肌領域が位置情報に従って決定され、融合処理が第１の肌色領域および対応する肌色領域に対して実行される。

第１の肌色領域の位置情報を取得した後、電子デバイスは、第１の肌色領域の位置情報に従って、対応する肌色領域について修整された顔領域を検索してもよい。このアクションは、次のアクションを含んでもよい。電子デバイスは、第１の肌色領域の座標値に従って、修整された顔領域内の対応する座標値を検索し、修整された顔領域内の対応する領域が肌色領域であるかどうかを検出する。電子デバイスは、ピクセルの色値に従って、現在のピクセルが肌の色であるかどうかを検出してもよい。例えば、第１の肌色領域のピクセルの座標値が第３行第３列である場合、電子デバイスは修整された顔領域の第３行第３列のピクセルを検索し、修整された顔領域の第３行第３列のピクセルが肌の色であるかどうかを検出する。

電子デバイスは、処理対象の画像内の顔領域を修整する際に、顔領域の表示領域を変更してもよい。例えば、処理された顔領域における第１の肌色領域の対応する領域は、顔領域に対して目を大きくすることやフェイスリフトなどの動作が実行された後、肌色領域ではなくなる場合がある。したがって、電子デバイスは、第１の肌色領域を処理しない。

電子デバイスは、処理された顔領域内の第１の肌色領域の対応する肌色領域を取得した後、第１の肌色領域と対応する肌色領域に対して融合処理を実行してもよい。融合処理の前に、電子デバイスは、処理された顔領域内の対応する肌色領域に従って、第１の肌色領域の色、明度および透明度を調整してもよい。

本開示の方法によれば、電子デバイスは、顔の元の肌色領域と修整された顔領域とを融合させてもよい。したがって、修整された顔領域にも詳細な特徴が付与され、修整された画像の歪みが防止され、画像の美観が向上する。

本開示の一態様によれば、処理対象の画像に対して顔認識が行われる動作の前に、方法は以下のアクションをさらに含む。

ブロック６０２では、複数の連続撮影画像内の目の状態に応じて、複数の連続撮影画像から１つまたは複数の目を開いた画像が選択される。

連続撮影画像とは、同じ方向と同じ角度から連続的かつ迅速に撮影された画像を指す。通常の状態では、連続撮影画像の類似性は比較的高くなる。複数の連続撮影画像は、電子デバイスによって撮影され取得された画像であってもよく、ネットワーク伝送方式で電子デバイスによって取得された画像であってもよい。複数の連続撮影された顔画像を取得した後、電子デバイスは、顔画像内の顔の特徴ポイント、例えば、顔の５つの感覚器官の特徴ポイントを抽出してもよい。電子デバイスは、顔の特徴ポイントに従って顔の特徴の位置情報をマークし、例えば、顔の眼球特徴ポイントに従って目の位置を認識してもよい。顔の特徴ポイントを取得した後、電子デバイスは、顔の目の特徴を抽出し、その後、目の特徴に従って目を開いた画像を決定してもよい。目を開いた画像は、画像内の目が両方とも開いている画像である。目の特徴には、眼球の形状、眼球の位置、眼球の領域、視線方向、瞳孔の高さ、白目の領域などが含まれてもよい。目の特徴に対応する判定条件は、電子デバイスに事前に設定されていてもよい。目の特徴を取得した後、電子デバイスは、顔画像が目を開いた画像であるかどうかを判定するために、目の特徴を事前に設定された判定条件と１つずつ比較してもよい。例えば、顔画像における顔の眼球領域が第１の閾値よりも大きいことが検出された場合、顔が目を開いた状態であり、画像は目を開いた画像であると判断される。または、顔画像における顔の瞳孔の高さが事前に設定された範囲内にあることが検出された場合、顔が目を開いた状態であり、画像は目を開いた画像であると判断される。

ブロック６０４では、３つ以上の目を開いた画像が選択されると、３つ以上の目を開いた画像が合成されて合成画像が生成され、合成画像が処理対象の画像として決定される。

複数の連続撮影画像から３つ以上の目を開いた画像が選択された場合、電子デバイスは３つ以上の目を開いた画像を合成して合成画像を生成し、その合成画像を処理対象の画像として決定してもよい。画像合成により、画像のノイズが低減され得、画像の品質が向上し得る。

ブロック６０６では、複数の連続撮影画像から１つの目を開いた画像が選択されると、その目を開いた画像は処理対象の画像として決定される。

ブロック６０８では、処理対象の画像に対して顔認識が実行されて、処理対象の画像の顔領域が認識され、顔領域における顔特徴認識ポイントが取得される。

ブロック６１０では、座標系における顔特徴認識ポイントの座標値が取得される。

ブロック６１２では、顔特徴認識ポイント間の距離と、顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標系の座標軸の角度が座標値に従って決定される。

ブロック６１４では、正面顔画像に対する顔領域の偏差角は、顔特徴認識ポイント間の距離と、顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標軸の角度に従って決定される。偏差角は、平面上の正面顔画像に対する顔領域の回転角度である。

ブロック６１６では、偏差角に対応するレタッチテンプレートが取得される。顔領域は、レタッチテンプレートに従って修整される。

本開示の方法によれば、電子デバイスは、複数の連続撮影画像を選択し、処理対象の画像として複数の画像から目を開いた画像のみを取得し、つまり、修整のために複数の画像からより美観のある画像を選択する。したがって、画像処理プロセスはよりインテリジェントになり、ユーザの粘着性が改善される。

図７は、一実施形態による画像処理装置の構造ブロック図を示している。図７に示すように、画像処理装置は、認識モジュール７０２、取得モジュール７０４、決定モジュール７０６、およびレタッチモジュール７０８を含む。

認識モジュール７０２は、処理対象の画像に対して顔認識を実行して、処理対象の画像の顔領域を認識するように構成される。

取得モジュール７０４は、顔領域内の顔特徴認識ポイントを取得し、座標系内の顔特徴認識ポイントの座標値を取得するように構成される。

決定モジュール７０６は、座標値に従って顔特徴認識ポイント間の距離と、顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標系の座標軸の角度を決定し、顔特徴認識ポイント間の距離と、顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標軸の角度に従って、正面顔画像に対する顔領域の偏差角を決定するように構成される。偏差角は、平面上の正面顔画像に対する顔領域の回転角度である。

レタッチモジュール７０８は、偏差角に対応するレタッチテンプレートを取得し、レタッチテンプレートに従って顔領域を修整するように構成される。

本開示の一態様によれば、偏差角は、第１の角度、第２の角度、および第３の角度を含む。第１の角度は、標準顔画像に対する第１の平面上の顔領域の回転角度を表す。第２の角度は、標準顔画像に対する第２の平面上の顔領域の回転角度を表す。第３の角度は、標準顔画像に対する第３の平面上の顔領域の回転角度を表す。第１の平面、第２の平面、および第３の平面の各２つの平面は、互いに垂直である。

本開示の一態様によれば、レタッチテンプレート７０８が偏差角に対応するレタッチテンプレートを取得する動作は、以下のアクションのうちのいずれか１つを含む。

（１）電子デバイスは、標準レタッチテンプレートを事前に格納し、偏差角に応じて標準レタッチテンプレートを回転させて、偏差角に対応するレタッチテンプレートを取得する。

（２）電子デバイスは、格納されているレタッチテンプレートから、偏差角に対応するレタッチテンプレートを検索する。または
（３）電子デバイスは、偏差角をサーバにアップロードし、サーバから偏差角に対応するレタッチテンプレートを受信する。

本開示の一態様によれば、認識モジュール７０２は、顔領域内の肌色領域を認識し、肌色領域に対してエッジ抽出を実行してエッジ情報を取得するようにさらに構成される。

決定モジュール７０６は、エッジ情報に従って第１の肌色領域を決定するようにさらに構成される。

レタッチモジュール７０８は、修整された顔領域および第１の肌色領域で画像融合を実行するようにさらに構成される。

本開示の一態様によれば、決定モジュール７０６がエッジ情報に従って第１の肌色領域を決定する動作は、第１のエッジ情報がエッジ情報に対応する形状および色に従って決定されることを含む。第１のエッジ情報に対応する肌色領域は、第１の肌色領域として取得される。第１の肌色領域の位置情報が記録される。レタッチモジュール７０８が修整された顔領域および第１の肌色領域で画像融合を実行する動作は、以下のアクションを含む。処理された顔領域内の第１の肌色領域の対応する肌色領域は、位置情報に従って決定される。

融合処理は、第１の肌色領域および対応する肌色領域に対して実行される。

図８は、別の実施形態による画像処理モジュールの構造ブロック図を示している。図８に示すように、画像処理モジュールは、認識モジュール８０２、取得モジュール８０４、決定モジュール８０６、調整モジュール８０８、およびレタッチモジュール８１０を含む。認識モジュール８０２、取得モジュール８０４、決定モジュール８０６、およびレタッチモジュール８１０は、図７の対応するモジュールと同じ機能を有する。

取得モジュール８０４は、レタッチテンプレートに従って顔領域が修整される前に、顔領域の肌の色および肌のタイプと、顔領域に対応する性別を取得し、肌の色、肌のタイプ、および性別に従って顔領域に対応するレタッチパラメータを取得するように構成される。

調整モジュール８０８は、レタッチパラメータに従ってレタッチテンプレートを調整するように構成される。

レタッチモジュール８１０は、調整されたレタッチテンプレートに従って顔領域を修整するように構成される。

図９は、別の実施形態による画像処理モジュールの構造ブロック図を示している。図９に示すように、画像処理モジュールは、選択モジュール９０２、認識モジュール９０４、取得モジュール９０６、決定モジュール９０８、およびレタッチモジュール９１０を含む。認識モジュール９０４、取得モジュール９０６、決定モジュール９０８、およびレタッチモジュール９１０は、図７の対応するモジュールと同じ機能を有する。

選択モジュール９０２は、処理対象の画像に対して顔認識が実行される前に、複数の連続撮影画像の目の状態に応じて、複数の連続撮影画像から１つまたは複数の目を開いた画像を選択し；３つ以上の目を開いた画像が選択されている場合、３つ以上の目を開いた画像を合成して合成画像を生成し、合成画像を処理対象の画像として決定し；１つの目を開いた画像が選択されている場合、その目を開いた画像を処理対象の画像として決定するように構成される。

画像処理装置の各モジュールは、説明のためにのみ分割されている。画像処理装置は、画像処理装置の機能の全部または一部を実現する要件に応じて、異なるモジュールに分割されてもよい。

本開示の一態様は、コンピュータ可読記憶媒体をさらに提供し、これは、１つまたは複数の計算実行可能命令を含む非一時的なコンピュータ可読記憶媒体である。計算実行可能命令は、１つまたは複数のプロセッサによって実行され、プロセッサに次のアクションを実行させる。

（１）処理対象の画像に対して顔認識が実行されて、処理対象の画像内の顔領域が認識される。顔領域の顔特徴認識ポイントが取得される。

（２）座標系における顔特徴認識ポイントの座標値を取得する。

（３）顔特徴認識ポイント間の距離、および顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標系の座標軸の角度が座標値に従って決定される。

（４）正面画像に対する顔領域の偏差角は、顔特徴認識ポイント間の距離と、顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標軸の角度に従って決定される。偏差角は、平面上の正面顔画像に対する顔領域の回転角度である。

（５）偏差角に対応するレタッチテンプレートを取得し、レタッチテンプレートに従って顔領域を修整する。

本開示の一態様によれば、偏差角は、第１の角度、第２の角度、および第３の角度を含む。第１の角度は、標準顔画像に対する第１の平面上の顔領域の回転角度を表す。第２の角度は、標準顔画像に対する第２の平面上の顔領域の回転角度を表す。第３の角度は、標準顔画像に対する第３の平面上の顔領域の回転角度を表す。第１の平面、第２の平面、および第３の平面の各２つの平面は、互いに垂直である。

一態様によれば、プロセッサによって実行される、偏差角に対応するレタッチテンプレートが取得されるアクションは、以下のアクションのいずれか１つを含む。
（１）電子デバイスは、標準レタッチテンプレートを事前に格納し、偏差角に応じて標準レタッチテンプレートを回転させて、偏差角に対応するレタッチテンプレートを取得する。
（２）電子デバイスは、格納されているレタッチテンプレートから、偏差角に対応するレタッチテンプレートを検索する。
（３）電子デバイスは、偏差角をサーバにアップロードし、サーバから偏差角に対応するレタッチテンプレートを受信する。

本開示の態様によれば、レタッチテンプレートに従って顔領域が修整される動作は、以下のアクションを含む。顔領域の肌の色および肌のタイプと、顔領域に対応する性別が取得される。顔領域に対応するレタッチパラメータは、肌の色、肌のタイプ、および性別に従って取得される。レタッチテンプレートはレタッチパラメータに従って調整され、顔領域は調整されたレタッチテンプレートに従って修整される。

本開示の一態様によれば、以下のアクションがさらに実行される。顔領域内の肌色領域を認識し、肌色領域に対してエッジ抽出を行い、エッジ情報を取得する。第１の肌色領域は、エッジ情報に従って決定される。画像融合は、修整された顔領域と第１の肌色領域で実行される。

本開示の一態様によれば、第１の肌色領域がエッジ情報に従って決定される動作は、以下のアクションを含む。第１のエッジ情報は、エッジ情報に対応する形状および色に従って決定される。第１のエッジ情報に対応する肌色領域は、第１の肌色領域として取得される。第１の肌色領域の位置情報が記録される。修整された顔領域と第１の肌色領域で画像融合が行われる動作には、以下のアクションが含まれる。処理された顔領域内の第１の肌色領域の対応する肌色領域は、位置情報に従って決定される。融合処理は、第１の肌色領域および対応する肌色領域に対して実行される。

本開示の一態様によれば、処理対象の画像に対して顔認識が行われる動作の前に、以下のアクションがさらに実行される。複数の連続撮影画像の目の状態に応じて、複数の連続撮影画像から１つまたは複数の目を開いた画像が選択される。２つ以上の目を開いた画像が選択されると、２つ以上の目を開いた画像が合成されて合成画像が生成され、その合成画像が処理対象の画像として決定される。１つの目を開いた画像が選択されると、その目を開いた画像が処理対象の画像として決定される。

本開示は、命令を含むコンピュータプログラム製品をさらに提供する。コンピュータプログラム製品はコンピュータ上で実行され、コンピュータに次のアクションを実行させる。
（１）処理対象の画像に対して顔認識が実行されて、処理対象の画像内の顔領域が認識される。顔領域の顔特徴認識ポイントが取得される。
（２）座標系における顔特徴認識ポイントの座標値を取得する。
（３）顔特徴認識ポイント間の距離、および顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標系の座標軸の角度が座標値に従って決定される。
（４）顔領域の偏差角は、顔特徴認識ポイント間の距離と、顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標軸の角度に従って決定される。
（５）偏差角に対応するレタッチテンプレートを取得し、レタッチテンプレートに従って顔領域を修整する。

本開示の一態様によれば、偏差角は、第１の角度、第２の角度、および第３の角度を含む。第１の角度は、標準顔画像に対する第１の平面上の顔領域の回転角度を表す。第２の角度は、標準顔画像に対する第２の平面上の顔領域の回転角度を表す。第３の角度は、標準顔画像に対する第３の平面上の顔領域の回転角度を表す。第１の平面、第２の平面、および第３の平面の各２つの平面は、互いに垂直である。

本開示の一態様によれば、プロセッサによって実行される、偏差角に対応するレタッチテンプレートが取得されるアクションは、以下のアクションのいずれか１つを含む。
（１）電子デバイスは、標準レタッチテンプレートを事前に格納し、偏差角に応じて標準レタッチテンプレートを回転させて、偏差角に対応するレタッチテンプレートを取得する。
（２）電子デバイスは、格納されているレタッチテンプレートから、偏差角に対応するレタッチテンプレートを検索する。または
（３）電子デバイスは、偏差角をサーバにアップロードし、サーバから偏差角に対応するレタッチテンプレートを受信する。

本開示の一態様によれば、レタッチテンプレートに従って顔領域が修整される動作は、以下のアクションを含む。顔領域の肌の色および肌のタイプと、顔領域に対応する性別が取得される。顔領域に対応するレタッチパラメータは、肌の色、肌のタイプ、および性別に従って取得される。レタッチテンプレートは、レタッチパラメータに従って調整される。顔領域は、調整されたレタッチテンプレートに従って修整される。

本開示の一態様によれば、以下のアクションがさらに実行される。顔領域内の肌色領域を認識し、肌色領域に対してエッジ抽出を行い、エッジ情報を取得する。第１の肌色領域は、エッジ情報に従って決定される。画像融合は、修整された顔領域と第１の肌色領域で実行される。

本開示の一態様によれば、第１の肌色領域がエッジ情報に従って決定される動作は、以下のアクションを含む。第１のエッジ情報は、エッジ情報に対応する形状および色に従って決定される。第１のエッジ情報に対応する肌色領域は、第１の肌色領域として取得される。第１の肌色領域の位置情報が記録される。修整された顔領域と第１の肌色領域で画像融合が行われる動作には、以下のアクションが含まれる。処理された顔領域内の第１の肌色領域の対応する肌色領域は、位置情報に従って決定される。融合処理は、第１の肌色領域および対応する肌色領域に対して実行される。

本開示の一態様によれば、処理対象の画像に対して顔認識が行われる動作の前に、以下のアクションがさらに実行される。複数の連続撮影画像の目の状態に応じて、複数の連続撮影画像から１つまたは複数の目を開いた画像が選択される。２つ以上の目を開いた画像が選択されると、２つ以上の目を開いた画像が合成されて合成画像が生成され、その合成画像が処理対象の画像として決定される。１つの目を開いた画像が選択されると、その目を開いた画像が処理対象の画像として決定される。

例えば、電子デバイスはモバイル端末である。本開示の一態様は、モバイル端末をさらに提供する。モバイル端末は画像処理回路を含む。画像処理回路は、ハードウェアおよび／またはソフトウェアコンポーネントによって実装されてもよく、画像信号処理（ＩＳＰ）パイプラインを画定するさまざまな処理ユニットを含んでもよい。図１０は、一実施形態による画像処理回路の概略図を示している。図１０に示されるように、本開示に関連する画像処理技術の各態様は、便宜上の説明のためにのみ示されている。

図１０に示されるように、画像処理回路は、ＩＳＰユニット１０４０および制御論理ユニット１０５０を含む。撮像デバイス１０１０によって取り込まれた画像データは、最初にＩＳＰユニット１０４０によって処理され、ＩＳＰユニット１０４０は画像データを分析して、ＩＳＰユニット１０４０または撮像デバイス１０１０の少なくとも一方の１つまたは複数の制御パラメータを決定するように構成可能な画像統計情報を取り込む。撮像デバイス１０１０は、１つまたは複数のレンズ１０１２および画像センサ１０１４を備えたカメラを含んでもよい。画像センサ１０１４は、カラーフィルタアレイ（例えば、ベイヤーフィルタ）を含んでもよい。画像センサ１０１４は、画像センサ１０１４の各撮像ピクセルによって取り込まれた光強度および波長情報を取得し、処理可能な元の画像データセットをＩＳＰユニット１０４０に提供してもよい。センサ１０２０（例えば、ジャイロスコープ）は、センサ１０２０のインタフェースタイプに基づいて、ＩＳＰユニット１０４０のための取得画像の処理のためのパラメータ（例えば、安定化パラメータ）を提供してもよい。センサ１０２０のインタフェースは、標準モバイルイメージングアーキテクチャ（ＳＭＩＡ）インタフェース、別のシリアルカメラインタフェースもしくはパラレルカメラインタフェース、またはカメラの組み合わせを採用してもよい。

加えて、画像センサ１０１４は、元の画像データをセンサ１０２０に送信してもよい。センサ１０２０は、センサ１０２０のインタフェースタイプに基づいてＩＳＰユニット１０４０に元の画像データを提供してもよく、またはセンサ１０２０は元の画像データを画像メモリ１０３０に格納してもよい。

ＩＳＰユニット１０４０は、さまざまなフォーマットでピクセルごとに元の画像データを処理する。例えば、各画像ピクセルのビット深度は８、１０、１２、または１４ビットであってもよい。ＩＳＰユニット１０４０は、元の画像データに対して１つまたは複数の画像処理動作を実行し、画像データに関する統計情報を収集してもよい。画像処理動作は、同じまたは異なるビット深度精度に従って実行されてもよい。

ＩＳＰユニット１０４０は、画像メモリ１０３０から画像データをさらに受信してもよい。例えば、センサ１０２０のインタフェースは、元の画像データを画像メモリ１０３０に送信する。画像メモリ１０３０内の元の画像データは、処理のためにＩＳＰユニット１０４０に提供される。画像メモリ１０３０は、メモリ装置、ストレージデバイス、または電子デバイス内の独立した専用メモリの一部であってもよく、ダイレクトメモリアクセス（ＤＭＡ）機能を含んでもよい。

ＩＳＰユニット１０４０は、画像センサ１０１４のインタフェースから、またはセンサ１０２０のインタフェースから、または画像メモリ１０３０から元の画像データを受信すると、１つまたは複数の画像処理動作、例えば時間領域フィルタリングを実行してもよい。処理された画像データは、表示前に他の処理のために画像メモリ１０３０に送られてもよい。ＩＳＰユニット１０４０は、画像メモリ１０３０から処理済みデータをさらに受信し、処理済みデータに対して元のドメインならびに色空間の赤、緑、青（ＲＧＢ）方式およびＹＣｂＣｒ方式で画像データ処理を実行してもよい。処理された画像データは、ユーザに表示するため、および／またはグラフィック処理ユニット（ＧＰＵ）によるさらなる処理のためにディスプレイ１３８０に出力されてもよい。加えて、ＩＳＰユニット１０４０の出力は、画像メモリ１０３０にさらに送られてもよい。ディスプレイ１０８０は、画像メモリ１０３０から画像データを読み取ってもよい。本開示の一態様によれば、画像メモリ１０３０は、１つまたは複数のフレームバッファを実装するように構成され得る。さらに、ＩＳＰユニット１０４０の出力は、画像データを符号化／復号するために符号器／復号器１０７０に送られてもよい。符号化された画像データは格納されてもよく、ディスプレイ１０８０に表示される前に解凍される。

ＩＳＰ１０４０が画像データを処理するアクションには、次のアクションが含まれる。ビデオフロントエンド（ＶＦＥ）処理とカメラポストプロセッシング（ＣＰＰ）は、画像データに対して実行される。画像データのＶＦＥ処理には、画像データのコントラストまたは明度の補正、デジタル形式で記録された照明状態データの変更、画像データの補正処理（ホワイトバランス、自動ゲイン制御、γ補正など）、画像データのフィルタリング処理などが含まれてもよい。画像データのＣＰＰには、画像のスケーリング、および各パスのプレビューフレームと記録フレームの提供が含まれてもよい。ＣＰＰは、異なるコーデックでプレビューフレームと記録フレームを処理してもよい。ＩＳＰユニット１０４０によって処理された画像データは、表示される前に画像を修整するためにレタッチモジュール１０６０に送られてもよい。画像データに対するレタッチモジュール１０６０の修整は、ホワイトニング、そばかす除去、バフ研磨、フェイスリフト、にきび除去、目を大きくすることなどを含んでもよい。レタッチモジュール１０６０は、モバイル端末の中央処理装置（ＣＰＵ）、ＧＰＵ、コプロセッサなどであってもよい。レタッチモジュール１０６０によって処理されたデータは、画像データの符号化／復号のために符号器／復号器１０７０に送信されてもよい。符号化された画像データは格納されてもよく、ディスプレイ１０８０に表示される前に解凍される。レタッチモジュール１０６０は、符号器／復号器１０７０とディスプレイ１０８０との間に配置されてもよい。つまり、レタッチモジュールは、形成された画像を修整する。符号器／復号器１０７０は、モバイル端末内のＣＰＵ、ＧＰＵ、コプロセッサなどであってもよい。

ＩＳＰユニット１０４０によって決定された統計データは、制御論理ユニット１０５０に送信されてもよい。例えば、統計データは、画像センサ１０１４の自動露出、自動ホワイトバランス、自動焦点合わせ、シンチレーション検出、黒レベル補正、レンズ１０１２のシェーディング補正などに関する統計情報を含んでもよい。制御論理ユニット１０５０は、１つまたは複数のルーチン（例えば、ファームウェア）を実行するプロセッサおよび／またはマイクロコントローラを含んでもよい。１つまたは複数のルーチンは、受信した統計データに従って、撮像デバイス１０１０の制御パラメータおよびＩＳＰユニット１０４０の制御パラメータを決定してもよい。例えば、撮像デバイス１０１０の制御パラメータは、センサ１０２０の制御パラメータ（例えば、ゲインおよび露出制御の積分時間）、カメラシンチレーション制御パラメータ、レンズ１０１２の制御パラメータ（例えば、フォーカシングまたはズームの焦点距離）、またはこれらのパラメータの組み合わせを含んでもよい。ＩＳＰユニットの制御パラメータは、自動ホワイトバランスおよび色調整（例えば、ＲＧＢ処理中）およびレンズ１０１２のシェーディング補正パラメータ用に構成されたゲインレベルおよび色補正マトリックスを含んでもよい。

図１０の画像処理技術を使用して、以下のアクションを実施することができる。
（１）処理対象の画像に対して顔認識が実行されて、処理対象の画像内の顔領域が認識される。顔領域の顔特徴認識ポイントが取得される。
（２）座標系における顔特徴認識ポイントの座標値を取得する。
（３）顔特徴認識ポイント間の距離、および顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標系の座標軸の角度が座標値に従って決定される。
（４）顔領域の偏差角は、顔特徴認識ポイント間の距離と、顔特徴認識ポイントの２つをそれぞれ接続する線に対する座標軸の角度に従って決定される。偏差角は、平面上の正面顔画像に対する顔領域の回転角度である。
（５）偏差角に対応するレタッチテンプレートを取得し、レタッチテンプレートに従って顔領域を修整する。

本開示の一態様によれば、偏差角は、第１の角度、第２の角度、および第３の角度を含む。第１の角度は、標準顔画像に対する第１の平面上の顔領域の回転角度を表す。第２の角度は、標準顔画像に対する第２の平面上の顔領域の回転角度を表す。第３の角度は、標準顔画像に対する第３の平面上の顔領域の回転角度を表す。第１の平面、第２の平面、および第３の平面の各２つの平面は、互いに垂直である。

本開示の一態様によれば、プロセッサによって実施される、偏差角に対応するレタッチテンプレートが取得されるアクションは、以下のアクションのいずれか１つを含む。
（１）事前に格納されている標準レタッチテンプレートを偏差角に応じて回転させ、偏差角に対応するレタッチテンプレートを取得する。
（２）格納されているレタッチテンプレートから、偏差角に対応するレタッチテンプレートを検索する。
（３）偏差角がサーバにアップロードされ、偏差角に対応するレタッチテンプレートがサーバから受信される。

本開示の一態様によれば、レタッチテンプレートに従って顔領域が修整されるアクションは、以下のアクションを含む。顔領域の肌の色および肌のタイプと、顔領域に対応する性別が取得される。顔領域に対応するレタッチパラメータは、肌の色、肌のタイプ、および性別に従って取得される。レタッチテンプレートは、レタッチパラメータに従って調整される。顔領域は、調整されたレタッチテンプレートに従って修整される。

本開示の一態様によれば、以下のアクションがさらに実行される。顔領域の肌色領域が認識される。肌色領域に対してエッジ抽出が実行され、エッジ情報が取得される。第１の肌色領域は、エッジ情報に従って決定される。画像融合は、修整された顔領域と第１の肌色領域で実行される。

本開示の一態様によれば、第１の肌色領域がエッジ情報に従って決定される動作は、以下のアクションを含む。第１のエッジ情報は、エッジ情報に対応する形状および色に従って決定される。第１のエッジ情報に対応する肌色領域は、第１の肌色領域として取得される。第１の肌色領域の位置情報が記録される。修整された顔領域と第１の肌色領域で画像融合が行われる動作には、以下のアクションが含まれる。処理された顔領域内の第１の肌色領域の対応する肌色領域は、位置情報に従って決定される。融合処理は、第１の肌色領域および対応する肌色領域に対して実行される。

本開示の一態様によれば、処理対象の画像に対して顔認識が行われる動作の前に、以下のアクションがさらに実行される。複数の連続撮影画像の目の状態に応じて、複数の連続撮影画像から１つまたは複数の目を開いた画像が選択される。２つ以上の目を開いた画像が選択されると、２つ以上の目を開いた画像が合成されて合成画像が生成され、合成画像が処理対象の画像として決定される。１つの目を開いた画像が選択されると、その目を開いた画像が処理対象の画像として決定される。

本出願で使用されるメモリ、ストレージ、データベース、または別の媒体の引用には、非一時的メモリおよび／または一時的メモリが含まれてもよい。適切な非一時的メモリには、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）またはフラッシュメモリが含まれてもよい。揮発性メモリには、ランダムアクセスメモリ（ＲＡＭ）が含まれてもよく、外部高速バッファメモリとして使用される。例示的かつ無制限に、ＲＡＭは、静的ＲＡＭ（ＳＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張ＳＤＲＡＭ（ＥＳＤＲＡＭ）、Ｓｙｎｃｈｌｉｎｋ ＤＲＡＭ（ＳＬＤＲＡＭ）、ラムバスダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトＲＤＲＡＭ（ＤＲＤＲＡＭ）、およびラムバス動的ＲＡＭ（ＲＤＲＡＭ）などのさまざまな形式で取得されてもよい。

上述の実施形態は、本出願のいくつかの実施モードを表現して、詳細に具体的に説明されているだけであり、本出願の特許範囲を制限するものではない。当業者は、本出願の概念から逸脱することなく複数の変換および改善をさらに行うことができ、これらはすべて本出願の保護の範囲内にあることを指摘しておくべきである。したがって、特許出願の保護範囲は、添付の特許請求の範囲に従うものとする。

Claims (13)

1. 画像処理のための方法であって、前記方法が、
   処理対象の画像に対して顔認識を実行して、前記処理対象の画像内の顔領域を認識し、前記顔領域内の顔特徴認識ポイントを取得するステップ（２０２，４０２，６０８）と、
   座標系における前記顔特徴認識ポイントの座標値を取得するステップ（２０４，４０４，６１０）と、
   前記座標値に従って、前記顔特徴認識ポイント間の距離、および前記顔特徴認識ポイントの２つをそれぞれ接続する線に対する前記座標系の座標軸の角度を決定するステップ（２０６，４０６，６１２）と、
   前記顔特徴認識ポイント間の前記距離および前記顔特徴認識ポイントの２つをそれぞれ接続する線に対する前記座標軸の角度に従って、正面顔画像に対する前記顔領域の偏差角を決定するステップであって、前記偏差角は平面上の前記正面顔画像に対する前記顔領域の回転角度である、ステップ（２０８，４０８，６１４）と、
   前記偏差角に対応するレタッチテンプレートを取得し、
   前記レタッチテンプレートに従って前記顔領域を修整するステップ（２１０，６１６）と、
   前記顔領域内の肌色領域を認識し、前記肌色領域に対してエッジ抽出を実行してエッジ情報を取得するステップ（２１２）と、
   前記エッジ情報に従って第１の肌色領域を決定するステップ（２１４）と、
   前記修整された顔領域と前記第１の肌色領域で画像融合を実行するステップ（２１６）と
   を含む、方法。
2. 前記偏差角が、
   前記正面顔画像に対する第１の平面上の前記顔領域の回転角度を表す第１の角度と、
   前記正面顔画像に対する第２の平面上の前記顔領域の回転角度を表す第２の角度と、
   前記正面顔画像に対する第３の平面上の前記顔領域の回転角度を表す第３の角度と、
   を含み、
   前記第１の平面、前記第２の平面、および前記第３の平面の各２つの平面は互いに垂直である、
   請求項１に記載の方法。
3. 前記偏差角に対応する前記レタッチテンプレートを取得するステップが、
   前記偏差角に応じて、事前に格納された標準レタッチテンプレートを回転させ、前記偏差角に対応する前記レタッチテンプレートを取得するアクション、
   格納されているレタッチテンプレートから前記偏差角に対応する前記レタッチテンプレートを検索するアクション、または
   前記偏差角をサーバにアップロードし、前記偏差角に対応する前記レタッチテンプレートを前記サーバから受信するアクション
   のいずれか１つを含む、請求項１に記載の方法。
4. 前記レタッチテンプレートに従って前記顔領域を修整するステップが、
   前記顔領域の肌の色および肌のタイプと、前記顔領域に対応する性別を取得するステップ（４１２）と、
   前記肌の色、前記肌のタイプ、および前記性別に応じて前記顔領域に対応するレタッチパラメータを取得するステップ（４１４）と、
   前記レタッチパラメータに従って前記レタッチテンプレートを調整するステップと、
   前記調整されたレタッチテンプレートに従って前記顔領域を修整するステップ（４１６）と
   を含む、請求項１から３のいずれか一項に記載の方法。
5. 前記エッジ情報に従って前記第１の肌色領域を決定するステップが、
   前記エッジ情報に対応する形状および色に従って第１のエッジ情報を決定するステップと、
   前記第１のエッジ情報に対応する肌色領域を前記第１の肌色領域として取得するステップと、
   前記第１の肌色領域の位置情報を記録するステップと、
   を含み、
   前記修整された顔領域と前記第１の肌色領域で画像融合を実行するステップが、
   前記位置情報に従って、処理された顔領域内の前記第１の肌色領域の対応する肌色領域を決定するステップと、
   前記第１の肌色領域および前記対応する肌色領域で融合処理を実行するステップと、
   を含む、
   請求項１から３のいずれか一項に記載の方法。
6. 前記処理対象の画像に対して顔認識を実行するステップの前に、
   複数の連続撮影画像の目の状態に応じて、前記複数の連続撮影画像から１つまたは複数の目を開いた画像を選択するステップ（６０２）と、
   ２つ以上の目を開いた画像が選択されると、前記２つ以上の目を開いた画像を合成して合成画像を生成し、前記合成画像を前記処理対象の画像として決定するステップ（６０４）と、
   １つの目を開いた画像が選択されると、前記１つの目を開いた画像を前記処理対象の画像として決定するステップ（６０６）と
   さらに含む、請求項１から３のいずれか一項に記載の方法。
7. 画像処理のための装置であって、プロセッサと、命令を格納するメモリとを備え、前記命令は、前記プロセッサによって実行されると、前記プロセッサに請求項１から６のいずれか一項に記載の方法を実行させる、装置。
8. コンピュータによって実行されると、前記コンピュータに請求項１から６のいずれか一項に記載の方法を実施させるコンピュータプログラムを格納するコンピュータ可読記憶媒体。
9. 画像処理のための装置であって、
   処理対象の画像に対して顔認識を実行して、前記処理対象の画像の顔領域を認識するように構成された認識モジュール（７０２）と、
   前記顔領域内の顔特徴認識ポイントを取得し、座標系における前記顔特徴認識ポイントの座標値を取得するように構成された取得モジュール（７０４）と、
   前記顔特徴認識ポイント間の距離、および前記座標値に従って前記顔特徴認識ポイントの２つをそれぞれ接続する線に対する前記座標系の座標軸の角度を決定するように構成された決定モジュール（７０６）であって、
   前記決定モジュール（７０６）は、前記顔特徴認識ポイント間の前記距離および前記顔特徴認識ポイントの２つをそれぞれ接続する線に対する前記座標軸の角度に従って、正面顔画像に対する前記顔領域の偏差角を決定するようにさらに構成され、前記偏差角は平面上の前記正面顔画像に対する前記顔領域の回転角度である、
   決定モジュール（７０６）と、
   前記偏差角に対応するレタッチテンプレートを取得し、前記レタッチテンプレートに従って前記顔領域を修整するように構成されたレタッチモジュール（７０８）と
   を備え、
   前記認識モジュール（７０２）が、前記顔領域内の肌色領域を認識し、前記肌色領域に対してエッジ抽出を実行してエッジ情報を取得するようにさらに構成され、
   前記決定モジュール（７０６）が、前記エッジ情報に従って第１の肌色領域を決定するようにさらに構成され、
   前記レタッチモジュール（７０８）が、前記修整された顔領域と前記第１の肌色領域で画像融合を実行するようにさらに構成される、装置。
10. 前記偏差角が、
    前記正面顔画像に対する第１の平面上の前記顔領域の回転角度を表す第１の角度と、
    前記正面顔画像に対する第２の平面上の前記顔領域の回転角度を表す第２の角度と、
    前記正面顔画像に対する第３の平面上の前記顔領域の回転角度を表す第３の角度と、
    を含み、
    前記第１の平面、前記第２の平面、および前記第３の平面の各２つの平面は互いに垂直である、
    請求項９に記載の装置。
11. 前記レタッチモジュール（７０８）が、
    前記偏差角に応じて、事前に格納された標準レタッチテンプレートを回転させ、前記偏差角に対応する前記レタッチテンプレートを取得するアクション、
    格納されているレタッチテンプレートから前記偏差角に対応する前記レタッチテンプレートを検索するアクション、または
    前記偏差角をサーバにアップロードし、前記偏差角に対応する前記レタッチテンプレートを前記サーバから受信するアクション
    のいずれか１つを実行するようにさらに構成される、請求項９に記載の装置。
12. 前記レタッチモジュール（７０８）が、
    前記顔領域の肌の色および肌のタイプと、前記顔領域に対応する性別を取得し、
    前記肌の色、前記肌のタイプ、および前記性別に応じて前記顔領域に対応するレタッチパラメータを取得し、
    前記レタッチパラメータに従って前記レタッチテンプレートを調整し、前記調整されたレタッチテンプレートに従って前記顔領域を修整する
    ようにさらに構成される、請求項９から１１のいずれか一項に記載の装置。
13. 前記決定モジュール（７０６）が、前記エッジ情報に対応する形状および色に従って第１のエッジ情報を決定し、前記第１のエッジ情報に対応する肌色領域を前記第１の肌色領域として取得し、前記第１の肌色領域の位置情報を記録するようにさらに構成され、
    前記レタッチモジュール（７０８）が、前記位置情報に従って、処理された顔領域内の前記第１の肌色領域の対応する肌色領域を決定し、前記第１の肌色領域と前記対応する肌色領域で融合処理を実行するようにさらに構成される、
    請求項９から１１のいずれか一項に記載の装置。

Images