JP6309540B2 - 画像処理方法、画像処理装置、端末装置、プログラム、及び記録媒体 - Google Patents

画像処理方法、画像処理装置、端末装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP6309540B2
JP6309540B2 JP2015549985A JP2015549985A JP6309540B2 JP 6309540 B2 JP6309540 B2 JP 6309540B2 JP 2015549985 A JP2015549985 A JP 2015549985A JP 2015549985 A JP2015549985 A JP 2015549985A JP 6309540 B2 JP6309540 B2 JP 6309540B2
Authority
JP
Japan
Prior art keywords
face
information
image
face information
processing target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015549985A
Other languages
English (en)
Other versions
JP2016507815A (ja
Inventor
ミンヨン タン
ミンヨン タン
ボ ジャン
ボ ジャン
シャオ リウ
シャオ リウ
ワン・リン
Original Assignee
シャオミ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャオミ・インコーポレイテッド filed Critical シャオミ・インコーポレイテッド
Publication of JP2016507815A publication Critical patent/JP2016507815A/ja
Application granted granted Critical
Publication of JP6309540B2 publication Critical patent/JP6309540B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

本願は、出願番号がCN201310626089.8であって、出願日が2013年11月28日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
本発明は、データ処理の技術分野に関し、特に、画像処理方法、画像処理装置、端末装置、プログラム、及び記録媒体に関する。
カメラや他のカメラ付きの移動端末の普及に伴い、写真の撮影がより便利になり、取る写真の数も増加している。撮影が終わった後、通常、写真に対して美顔補正処理を行い、自分のブログ、マイクロブログや個人スペースなどのプラットフォームにアップロードして、家族や友達と共有することができる。
関連技術においては、ユーザが手動で各項目別に美顔パラメータ(例えば、小顔、デカ目、美肌効果などの美顔パラメータ)を設定する必要があり、煩わしい操作が必要であり、ユーザに不便さを感じさせる。
本発明は、関連技術に存在する問題を解決するために提出されたものであって、テンプレート画像及び処理対象画像の顔情報に基づいて、処理対象画像における美顔補正が必要な部位を自動的に識別して美顔補正処理を行うことによって、ユーザが手動で各項目別に美顔パラメータを設定する必要がなく、使用上便利な画像処理方法、画像処理装置、及び端末装置を提供する。
本発明の実施例の第1の局面によると、本発明は、テンプレート画像中の顔情報を取得するステップと、前記テンプレート画像中の顔情報に基づいて、処理対象画像中の顔に対して美顔補正処理を行うステップとを含む画像処理方法を提供する。
本発明の実施例にかかる技術案は、テンプレート画像及び処理対象画像の顔を自動的に識別することができ、テンプレート画像の顔情報に基づいて処理対象画像における美顔補正が必要な部位に対して美顔補正処理を行い、ユーザが手動で各項目別に美顔パラメータを設定する必要がなく、ユーザにとって便利で、ユーザの時間を節約し、美顔補正処理の効率を向上させる、という効果がある。
前記顔情報は、顔器官の位置と距離、顔器官及び顔のサイズと比率、顔器官の形状、顔器官の向き角度、顔器官及び顔の色のうちの一つ或いは複数を含む。
本発明によると、顔の各種情報に対して自動的に美顔補正処理を行うことができ、ユーザの様々な要求に応えることができる、という効果がある。
前記テンプレート画像中の顔情報に基づいて、処理対象画像中の顔に対して美顔補正処理を行う前記ステップは、処理対象画像中の顔情報を取得するステップと、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報を比較して比較結果を取得するステップと、前記比較結果に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うステップとを含む。
本発明によると、第1種の美顔補正処理方案を提供し、美顔補正処理の効率を向上させる。
前記テンプレート画像中の顔情報に基づいて、処理対象画像中の顔に対して美顔補正処理を行う前記ステップは、処理対象画像中の顔情報を取得するステップと、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致するか否かを判断するステップと、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致する場合、情報内容がヌルである美顔補正処理情報を生成するステップと、前記情報内容がヌルである美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うステップとを含む。
本発明によると、第2種の美顔補正処理方法を提供し、美顔補正処理の効率を向上させる。
前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致するか否かを判断する前記ステップ以降に、さらに、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致しない場合、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が第1の閾値以下であるか否かを判断するステップと、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が前記第1の閾値以下である場合、第1の美顔補正レベルにて美顔補正を行う美顔補正処理情報を生成し、第1の美顔補正レベルにて美顔補正を行う前記美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うステップと、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が、前記第1の閾値より大きい第2の閾値より大きい場合、第2の美顔補正レベルにて美顔補正を行う美顔補正処理情報を生成し、第2の美顔補正レベルにて美顔補正を行う前記美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うステップとを含む。
本発明によると、第3種の美顔補正処理方法を提供し、美顔補正処理の効率を向上させる。
テンプレート画像中の顔情報を取得する前記ステップ以前に、入力された前記テンプレート画像を取得するステップ、或いは、選択された前記テンプレート画像を取得するステップをさらに含む。
本発明において、ユーザの様様な要求に応えるために、テンプレート画像の取得は、ユーザから入力されたテンプレート画像を取得してもよく、ユーザから選択されたテンプレート画像を取得してもよく、またはその他の方法でテンプレート画像を取得してもよい。
本発明の実施例の第2の局面によると、本発明は、テンプレート画像中の顔情報を取得するための取得モジュールと、前記テンプレート画像中の顔情報に基づいて、処理対象画像中の顔に対して美顔補正処理を行うための処理モジュールとを含む画像処理装置を提供する。
前記処理モジュールは、処理対象画像中の顔情報を取得するための第1の取得ユニットと、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報を比較して比較結果を取得するための比較ユニットと、前記比較結果に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うための第1の処理ユニットとを含む。
前記処理モジュールは、処理対象画像中の顔情報を取得するための第2の取得ユニットと、前記テンプレート画中像の顔情報と前記処理対象画像中の顔情報が一致するか否かを判断するための第1の判断ユニットと、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致する場合、情報内容がヌルである美顔補正処理情報を生成するための第1の生成ユニットと、前記情報内容がヌルである美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うための第2の処理ユニットとを含む。
前記処理モジュールは、さらに、前記第1の判断ユニットにより前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致するか否かを判断した結果、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致しない場合、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が第1の閾値以下であるか否かを判断するための第2の判断ユニットと、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が前記第1の閾値以下である場合、第1の美顔補正レベルにて美顔補正を行う美顔補正処理情報を生成し、第1の美顔補正レベルにて美顔補正を行う前記美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うための第2の生成ユニットと、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が、前記第1の閾値より大きい第2の閾値より大きい場合、第2の美顔補正レベルにて美顔補正を行う美顔補正処理情報を生成し、第2の美顔補正レベルにて美顔補正を行う前記美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うための第3の生成ユニットとを含む。
前記画像処理装置は、前記取得モジュールによりテンプレート画像中の顔情報を取得する前に、入力された前記テンプレート画像を取得するための第1の受信モジュール、或いは、前記取得モジュールによりテンプレート画像の顔情報を取得する前に、選択された前記テンプレート画像を取得するための第2の受信モジュールをさらに含む。
本発明の実施例の第3の局面によると、本発明は、メモリ、及び一つ或いは一つ以上のプログラムを含み、前記一つ或いは一つ以上のプログラムは、メモリに記憶され、一つ或いは一つ以上のプロセッサにより実行され、テンプレート画像中の顔情報を取得し、前記テンプレート画像中の顔情報に基づいて、処理対象画像中の顔に対して美顔補正処理を行う、操作を行なうための指令を含む端末装置を提供する。
本発明の実施例の第4の局面によると、本発明は、プロセッサに実行されることにより、上記画像処理方法を実現するプログラムを提供する。
本発明の実施例の第5の局面によると、本発明は、上記プログラムが記録された記録媒体を提供する。
以上の統括な記述と以下の細部記述は、ただ例示的なものであり、本発明を限定するものではないと、理解するべきである。
以下の図面は、明細書の一部分として明細書全体を構成することにより、本発明に合致する実施例を例示するとともに、本発明の原理を解釈するためのものである。
以下の図面は、本願の一部分として、本発明に対する更なる理解を図るためのものであって、本発明に対する限定として捉えてはいけない。これらの図面のうち
図1は、一つの例示的な実施例にかかる画像処理方法を示す例示的なフローチャートであり、 図2Aは、一つの例示的な実施例にかかる例示的なフローチャートであり、 図2Bは、一つの例示的な実施例にかかる処理対象画像の顔の美顔補正処理前後を示す図であり、 図3Aは、一つの例示的な実施例にかかる例示的なフローチャートであり、 図3Bは、一つの例示的な実施例にかかる処理対象画像の顔の美顔補正処理前後を示す図であり; 図4は、一つの例示的な実施例にかかる画像処理装置を示す例示的な構成図であり; 図5は、一つの例示的な実施例にかかる画像処理装置における処理モジュールの第1の例示的な構成図であり; 図6は、一つの例示的な実施例にかかる画像処理装置における処理モジュールの第2の例示的な構成図であり; 図7は、一つの例示的な実施例にかかる画像処理装置における処理モジュールの第3の例示的な構成図であり; 図8は、一つの例示的な実施例にかかる画像処理装置の詳細な構成図であり; 図9は、一つの例示的な実施例にかかる画像処理装置のその他の詳細な構成図であり; 図10は、一つの例示的な実施例にかかる端末装置の構成を示す図である。
以上の図面を通じて、本発明の実施例を例示しているが、そのさらに具体的な内容については後述する。これらの図面及び文字記載は、本発明の趣旨の範囲を限定するためのものではなく、特定の実施例を参照として、当業者に本発明のコンセプトを理解させるためのものである。
以下、本発明の目的、技術案及び利点をさらに明確にするために、図面を参照しながら本発明の実施例をさらに詳しく説明する。ここで、本発明の例示的な実施例、及びその説明は、本発明を解釈するためのものであって、本発明を限定するためのものではない、ことを理解すべきである。
本発明の実施例は、画像処理方法、画像処理装置、及び端末装置を提供する。以下、図面を参照しながら本発明について詳しく説明する。
本発明の実施例において、テンプレート画像及び処理対象画像の顔を自動的に認識し、テンプレート画像の顔情報に基づいて、処理対象画像における美顔補正が必要な部位に対して美顔補正処理を行うことができるので、ユーザが手動で各項目別に美顔パラメータを設定する必要がなく、使用上便利で、ユーザの時間を節約でき、美顔補正処理の効率を向上させる。
一つの実施例における画像処理方法は、スマートフォンやタブレットPCなどの端末装置に用いられる。図1に示すように、当該画像処理方法は、以下のステップを含む。
ステップ101において、テンプレート画像の顔情報を取得する。
ここで、テンプレート画像の取得は、ユーザの様様なニーズに応えるように、ユーザから入力されたテンプレート画像を取得してもよく、ユーザから選択されたテンプレート画像を取得してもよく、その他の方法でテンプレート画像を取得してもよい。テンプレート画像の顔情報の取得は、顔認識技術を利用してテンプレート画像の顔情報を取得することができる。顔認識技術とは、顔の視覚的な特徴情報を分析し比較することにより身分認証を行う技術であって、生体特徴認識技術に属し、生体(通常、人間のこと)自身の生体特徴に基づいて生体単体を区別する。現在、顔認識技術は、例えば、デジタルカメラの顔オートフォーカスとスマイルシャッター技術、企業や住宅の安全(セキュリティ)と管理、アクセス制御システム、監視カメラシステムなどの様々な分野に応用されている。よく使われる顔認識アルゴリズムとして、顔の特徴に基づいた識別アルゴリズム(Feature−based recognition algorithms)、顔の外観に基づいた識別アルゴリズム(Appearance−based recognition algorithms)、テンプレートに基づいた識別アルゴリズム(Template−based recognition algorithms)、ニューラルネットワークを用いた認識アルゴリズム(Recognition algorithms using neural network)などがある。
顔情報は、顔器官の位置と間隔、顔器官および顔のサイズと比率、顔器官の形状、顔器官の向き角度、顔器官及び顔の色のうちのいずれかの1つまたは複数を含む。
ステップ102において、テンプレート画像の顔情報に基づいて、処理対象画像の顔情報に対して美顔補正処理を行う。
一つの実施例において、上記のステップ102、即ち「テンプレート画像の顔情報に基づいて、処理対象画像の顔に対して美顔補正処理を行う」というステップは、以下のステップA1〜A3を含んでもよい。
ステップA1において、処理対象画像の顔情報を取得する。
ステップA2において、テンプレート画像の顔情報と処理対象画像の顔情報を比較し、比較結果を取得する。
ステップA3において、比較結果に基づいて、処理対象画像の顔に対して美顔補正処理を行う。
例えば、テンプレート画像はタレントの写真であり、テンプレート画像の顔情報と処理対象画像の顔情報を比較する。当該タレントの写真は目が大きく、処理対象画像は目が小さい場合、処理対象画像の目を大きくする処理を行い、当該タレントの写真は上、下唇の比率が均一で、処理対象画像は上唇が少し厚い場合、処理対象画像の唇の比率を調整する。ここで、処理対象画像における美顔補正が必要な部位に対して自動的に美顔補正処理を行い、ユーザが手動で各項目別に美顔パラメータを設定する必要ないので、使用上便利で、ユーザの時間を節約でき、美顔補正処理の効率を向上させる。
一つの実施例において、上記ステップ102、即ち「テンプレート画像の顔情報に基づいて、処理対象画像の顔に対して美顔補正処理を行う」というステップは、以下のステップB1〜B7を含んでもよい。
ステップB1において、処理対象画像の顔情報を取得する。
ステップB2において、テンプレート画像の顔情報と処理対象画像の顔情報が一致するか否かを判断し、一致する場合,引き続きステップB3を実施し、そうではない場合、引き続きステップB4を実行する。
ステップB3において、情報内容がヌル(NULL)である美顔補正処理情報を生成し、情報内容がヌルである美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行う。
ステップB4において、テンプレート画像の顔情報と処理対象画像の顔情報との差異が第1の閾値以下であるか否かを判断する。そうである場合、引き続きステップB5を実行し、そうではない場合、引き続きステップB6を実行する。
ステップB5において、第1の美顔補正レベルにて美顔補正処理を行う美顔補正処理情報を生成し、第1の美顔補正レベルにて美顔補正処理を行う美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行う。
ステップB6において、テンプレート画像の顔情報と処理対象画像の顔情報との差異が第2の閾値より大きいか否かを判断する。そうである場合、引き続きステップB7を実行する。ここで、当該第2の閾値は、第1の閾値より大きい。
ステップB7において、第2の美顔補正レベルにて美顔補正を行う美顔補正処理情報を生成し、第2の美顔補正レベルにて美顔補正を行う美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行う。
例えば、テンプレート画像の顔情報と処理対象画像の顔情報を比較する。テンプレート画像の顔情報と処理対象画像の顔情報が一致する場合は美顔補正処理を行う必要がなく、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異が小さい場合は、軽く美顔補正処理を行い、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異が大きい場合は、美顔補正処理を強化して、ユーザの様々なニーズに応える。
本発明の実施例においては、テンプレート画像及び処理対象画像の顔を自動的に認識することができ、テンプレート画像の顔情報に基づいて、処理対象画像における美顔補正が必要な部位に対して美顔補正処理を行うので、ユーザが手動で各項目別に美顔パラメータを設定する必要がなく、使用上便利で、ユーザの時間を節約でき、美顔補正処理の効率を向上させる。なお、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異に基づいて美顔補正処理を行うことができるので、ユーザの様々なニーズに応える。
以上、図1に示された実施例における各ステップのいろんな実現方法について紹介した。以下は、幾つかの実施例を通じてその実現過程について詳細に紹介する。
実施例1
実施例1において、ユーザから選択されたテンプレート画像を取得する。当該テンプレート画像は、タレントの写真である。当該タレントの写真の顔情報に基づいて、処理対象画像における美顔補正が必要な部位に対して美顔補正処理を行うので、ユーザが手動で各項目別に美顔パラメータを設定する必要がなく、使用上便利で、ユーザの時間を節約でき、美顔補正処理の効率を向上させる。本実施例の方法は、スマートフォンやタブレットPCなどの端末装置に使用される。図2Aに示されるように、当該画像処理方法は、以下のステップを含む。
ステップ201において、ユーザから選択されたテンプレート画像を取得する。当該テンプレート画像は、タレントの写真である。
ステップ202において、テンプレート画像の顔情報を取得する。当該タレントの写真は目が大きく、顎の長さが顔の長さの1/5であり、美学的に標準である顎バランスを有する顔部構造に属する。
ステップ203において、処理対象画像の顔情報を取得する。当該処理対象画像は、目が小さく、顎の長さが顔の長さの1/6であり、顎が広い。
ステップ204において、テンプレート画像の顔情報と処理対象画像の顔情報が一致するか否かを判断し、一致する場合、引き続きステップ205を実行し、一致しない場合、引き続きステップ206を実行する。
ステップ205において、情報内容がヌルである美顔補正処理情報を生成し、情報内容がヌルである美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行う。
ステップ206において、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異が第1の閾値以下であるか否かを判断し、そうである場合、引き続きステップ207を実行し、そうでない場合、引き続きステップ208を実行する。
ステップ207において、第1の美顔補正レベルにて美顔補正を行う美顔補正処理情報を生成し、第1の美顔補正レベルにて美顔補正を行う美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行う。
ステップ208において、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異が第2の閾値より大きいか否かを判断し、そうである場合、引き続きステップ209を実行する。ここで、当該第2の閾値は、第1の閾値より大きい。
ステップ209において、第2の美顔補正レベルにて美顔補正を行う美顔補正処理情報を生成し、第2の美顔補正レベルにて美顔補正を行う美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行う。
ここで、タレントの写真は、目が大きく、顎の長さが顔の長さの1/5であり、処理対象画像は、目が小さく、顎の長さが顔の長さの1/6で、顎が広いため、処理対象画像の目と顎の長さを調整する必要がある。上記ステップ204からステップ210により、処理対象画像に対して目を増大させる処理を行い、処理対象画像の顎に対しては軽く伸ばす処理を行う。図2Bは、処理対象画像の顔の美顔補正処理前後を示す図である。ここで、21は処理前を示す図であり、22は処理後を示す図である。211は目の処理前を示す図であり、221は目の処理後を示す図である。212は顎の処理前を示す図であり、222は顎の処理後を示す図である。
本実施例1において、ユーザから選択されたタレントの写真であるテンプレート画像を取得し、当該タレントの写真の顔情報に基づいて、処理対象画像における美顔補正が必要な部位に対して美顔補正処理を行うので、ユーザが手動で各項目別に美顔パラメータを設定する必要がなく、使用上便利で、ユーザの時間を節約でき、美顔補正処理の効率を向上させる。また、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異に基づいて美顔補正処理を実行するので、ユーザの様々なニーズに応える。
実施例2
実施例2は、ユーザから選択されたペットの写真であるテンプレート画像を取得し、当該ペットの写真の顔情報に基づいて、処理対象画像における美顔補正が必要な顔の部位に対して美顔補正処理を行うので、ユーザが手動で各項目別に美顔パラメータを設定する必要がなく、使用上便利で、ユーザの時間を節約でき、美顔補正処理の効率を向上させる。本実例の方法は、スマートフォンやタブレットPCなどの装置に使用される。図3Aに示されるように、当該画像処理方法は、以下のステップを含む。
ステップ301において、ユーザから選択されたテンプレート画像を取得する。当該テンプレート画像は、ペットの写真である。
ステップ302において、テンプレート画像の顔情報を取得する。当該ペットの写真は、鼻が低く、唇の色が赤くてつやがある。
ステップ303において、処理対象画像の顔情報を取得する。当該処理対象画像は、鼻が高く、唇が青白い。
ステップ304において、テンプレート画像の顔情報と処理対象画像の顔情報を比較し、比較結果を取得する。
ここで、ペットの写真は、鼻が低く、唇の色が赤くてつやがあるが、処理対象の写真は、鼻が高く、唇が青白い。従って、鼻に対しては美顔補正処理を行う必要がなく、唇の色を赤く処理して唇が見た目に赤くてつやがあるようにする必要がある。
ステップ305において、比較結果に基づいて、処理対象画像の顔に対して美顔補正処理を行う。図3Bは、処理対象画像の顔の美顔補正処理前後を示す図であり、その中、31は処理前の図であり、32は処理後の図であり、311は唇色の処理前の図であり、321は唇色の処理後の図である。
本実施例2において、ユーザにより選択された、ペットの写真であるテンプレート画像を取得し、当該ペットの写真の顔情報に基づいて、処理対象画像における美顔補正が必要な部位に対して美顔補正処理を行うことができるので、ユーザが手動で各項目別に美顔パラメータを設定する必要がなく、使用上便利で、ユーザの時間を節約でき、美顔補正処理の効率を向上させる。なお、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異に基づいて美顔補正処理を行うことができるので、ユーザの様々なニーズに応える。
説明すべきことは、実際の応用において、本発明の選択可能な実施例として、上記の選択可能なすべての実施形態を任意に組み合わせて使用することができるが、ここでは詳述しないようにする。
以上の説明により画像処理方法の実現過程を理解したが、該過程は装置により具現されることができ、以下に、装置の内部構成と機能について紹介する。
一つの実施例において、図4に示されるように、画像処理装置は、取得モジュール401と処理モジュール402を含む。
取得モジュール401は、テンプレート画像の顔情報を取得するために用いられ、処理モジュール402は、テンプレート画像の顔情報に基づいて、処理対象画像の顔に対して美顔補正処理を行うために用いられる。
一つの実施例において、顔情報は、顔器官の位置と間隔、顔器官および顔のサイズと比率、顔器官の形状、顔器官の向き角度、顔器官及び顔の色のうちのいずれの1つまたは複数を含む。
一つの実施例において、図5に示されるように、上記の処理モジュール402は、処理対象画像の顔情報を取得するための第1の取得ユニット501と、テンプレート画像の顔情報と処理対象画像の顔情報を比較し、比較結果を取得するための比較ユニット502と、比較結果に基づいて、処理対象画像の顔に対して美顔補正処理を行うための第1の処理ユニット503とを含んでもよい。
一つの実施例において、図6に示されるように、上記の処理モジュール402は、処理対象画像の顔情報を取得するためいの第2の取得ユニット601と、テンプレート画像の顔情報と処理対象画像の顔情報が一致するか否かを判断するための第1の判断ユニット602と、テンプレート画像の顔情報と処理対象画像の顔情報が一致する場合、情報内容がヌルである美顔補正処理情報を生成するための第1の生成ユニット603と、情報内容がヌルである美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行うための第2の処理ユニット604とを含んでもよい。
一つの実施例において、図7に示されるように、上記図6における処理モジュール402は、さらに、第1の判断ユニット602でテンプレート画像の顔情報と処理対象画像の顔情報が一致するか否かを判断した結果として、テンプレートの顔情報と処理対象画像の顔情報が一致しない場合、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異が第1の閾値以下であるか否かを判断するための第2の判断ユニット701と、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異が第1の閾値以下である場合、第1の美顔補正レベルにて美顔補正を行う美顔補正処理情報を生成し、第1の美顔補正レベルにて美顔補正を行う美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行うための第2の生成ユニット702と、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異が第2の閾値より大きい場合、第2の美顔補正レベルにて美顔補正を行う美顔補正処理情報を生成し、第2の美顔補正レベルにて美顔補正を行う美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行うための第3の生成ユニット703とを含んでもよい。ここで、第2の閾値は、第1の閾値より大きい。
一つの実施例において、図8に示されるように、上記図4における画像処理装置は、さらに、取得モジュール401によりテンプレート画像の顔情報を取得する前に、入力されたテンプレート画像を受信するための第1の受信モジュール801を含んでもよい。
または、一つの実施例において、図9に示されるように、上記図4における画像処理装置は、さらに、取得モジュール401によりテンプレート画像の顔情報を取得する前に、選択されたテンプレート画像を受信するための第2の受信モジュール901を含んでもよい。
図10は、本発明の実施例にかかる端末装置の構成を示す図である。図10を参照すると、当該端末は、上記の実例例にかかる方法を実行することができる。
端末装置800は、通信ユニット110、コンピューターが読み取り可能な記録媒体を一つ以上含むメモリ120、入力ユニット130、表示ユニット140、センサー150、オーディオ回路160、無線通信ユニット170、一つ以上の処理コアを有するプロセッサ180、及び電源190などの部品を含む。当業者は、図10に示す端末装置の構成は端末装置に対する限定ではなく、図示した部品より多い数、または少ない数の部品を備えてもよく、或いは、幾つかの部品の組み合わせ、または異なる部品配置を有してもよい、ことを理解すべきである。
通信ユニット110は、情報の送受信または通話中において、信号を受信及び送信するためのものである。当該通信ユニット110は、RF(Radio Frequency)回路、ルーター、モデム等のネットワーク通信装置であってもよい。特に、通信ユニット110がRF回路である場合、基地局からの下り情報を受信した後、1つ、或いは1つ以上のプロセッサ180に渡して処理させる。また、上りデータを基地局に送信する。一般的に、通信ユニットとしてのRF回路は、アンテナ、少なくとも1つのアンプ、チューナー、1つ又は複数の発振器、加入者識別モジュール(SIM)カード、受発信機、カプラー、LNA(Low Noise Amplifier、ローノイズアンプ)、デュプレクサ等を含むが、これらに限らない。なお、通信ユニット110は、無線通信でネットワーク、及び他の装置と通信することができる。上記無線通信として、GSM(Global System of Mobile communication)(登録商標)、GPRS(General Packet Radio Service)(登録商標)、CDMA(Code Division Multiple Access)(登録商標)、WCDMA(Wideband Code Division Multiple Access)(登録商標)、LTE(Long Term Evolution)(登録商標)、電子メール、SMS(Short Message Service)等を含む任意の通信規格またはプロトコルを利用してもよいが、これらに限らない。メモリ120は、ソフトウェアプログラム及びモジュールを格納するためのものであり、プロセッサ180は、メモリ120に格納されたソフトウェアプログラム及びモジュールを実行することで、各種機能のアプリ及びデータ処理を実施する。メモリ120は、主に、プログラム格納領域とデータ格納領域を有する。プログラム格納領域には、OS、少なくとも1つの機能を実行するアプリ(例えば、音声再生機能、画像再生機能等)等が格納される。データ格納領域には、端末装置800の使用により作成されたデータ(例えば、オーディオデータ、電話帳等)等が格納される。また、メモリ120は、高速RAM(Random Access Memory)を含んでもよく、さらに、例えば少なくとも1つの磁気ディスクメモリ、フラッシュメモリなどの不揮発性メモリ、或いは他の揮発性のSSD(solid state drive)メモリを含んでもよい。また、メモリ120は、プロセッサ180及び入力ユニット130がメモリ120にアクセスできるように、メモリ制御器をさらに含んでもよい。
入力ユニット130は、数字或いはキャラクター情報の入力を受け付け、ユーザ設定及び機能制御に関するキーボード、マウス、ジョイスティック、光学ボールやトラックボールにより信号入力を発生させるためのものである。入力ユニット130は、タッチセンシティブ表面131及び他の入力装置132を含んでもよい。タッチセンシティブ表面131は、タッチパネルやタッチパッドとも呼ばれ、ユーザがその表面上や付近に対するタッチ操作(例えば、ユーザが指やタッチペンなどの任意の適した物や付属品を使用して、タッチセンシティブ表面131上やタッチセンシティブ表面131付近に対して行う操作)を収集するとともに、予め設定されたプログラムにしたがって、関連する接続装置を駆動する。タッチセンシティブ表面131は、選択的に、タッチ検出手段及びタッチ制御器の2つの部分を含んでもよい。ここで、タッチ検出手段は、ユーザのタッチ位置を検出するとともに、タッチ操作による信号を検出し、そのタッチ情報をタッチ制御器に送信する。タッチ制御器は、タッチ検出手段からタッチ情報を受信し、当該情報を接触点座標に変換してプロセッサ180に送信するとともに、プロセッサ180からのコマンドを受信して実行する。なお、抵抗式、容量式、赤外線式及び表面弾性波式などの様々な方式によりタッチセンシティブ表面131を実現することができる。入力ユニット130は、タッチセンシティブ表面131に加えて、他の入力装置132をさらに含んでもよい。他の入力装置132は、物理的なキーボード、ファンクションキー(例えば、ボリュームボタン、スイッチボタン等)、トラックボール、マウス、ジョイスティック等の中の一つ又は複数を含んでもよいが、これらに限らない。
表示ユニット140は、ユーザが入力した情報やユーザに提供する情報、及び端末装置800の各種のグラフィカル・ユーザー・インターフェース(GUI)を表示するためのものであり、これらのグラフィカル・ユーザー・インターフェースは、図形、テキスト、アイコン、ビデオ及びそれらの任意の組合せで構成されることができる。表示ユニット140は、表示パネル141を含むことができ、表示パネル141は、選択的に、LCD(Liquid Crystal Display)、OLED(Organic Light−Emitting Diode)等の形態で構成されてもよい。さらに、タッチセンシティブ表面131は、表示パネル141を覆うように設けられ、タッチセンシティブ表面131がその表面または付近に対するタッチ操作を検出すると、その検出結果をプロセッサ180に転送してタッチイベントのタイプを確認させ、その後、プロセッサ180は、タッチイベントのタイプに基づいて、表示パネル141上に対応する視覚的出力を提供するように構成されてもよい。図10において、タッチセンシティブ表面131と表示パネル141とが2つの独立した部品として出力及び入力の機能を実現するように構成されているが、タッチセンシティブ表面131と表示パネル141とを集積構成して入力及び出力機能を実現する実施例もあり得る。
端末装置800は、さらに、例えば光センサー、運動センサー及び他のセンサーなどの、少なくとも1つのセンサー150を含んでもよい。光センサーは、環境光センサーと近接センサーを含んでもよいが、環境光センサーは、環境光の明るさに基づいて、表示パネル141の輝度を調整することができ、近接センサーは、端末装置800が耳元まで移動すると、表示パネル141及び/又はバックライトをオフする。運動センサーの一種としての重力加速度センサーは、各方向(一般的には、3軸)における加速度の大きさを検出することができ、静止の状態では、重力の大きさ及びその方向を検出することができるので、携帯電話の姿勢を認識するアプリ(例えば、画面の横縦向きの切り替え、ゲーム、磁力計の姿勢校正)、振動認識に関する機能(例えば、歩数計、パーカッション)等に使用される。端末装置800には、さらに、ジャイロスコープ、気圧計、湿度計、温度計、赤外線センサー等のほかのセンサーが備えられるが、ここで、その具体的な説明は省略する。
オーディオ回路160、スピーカ161、マイク162は、ユーザと端末装置800との間のオーディオインタフェースを提供する。オーディオ回路160は、受信したオーディオデータから変換された電気信号をスピーカ161に転送し、スピーカ161により音声信号に変換して出力する。一方、マイク162は、収集した音声信号を電気信号に変換し、オーディオ回路160が当該電気信号を受信した後オーディオデータに変換し、オーディオデータをプロセッサ180に転送して処理してから、RF回路110を介して例えば他の端末に転送するか、或いはオーディオデータをメモリ120に送信して更に処理を行うようにする。オーディオ回路160は、端末装置800が外部のイヤホンと通信できるように、イヤホン挿入孔を含んでもよい。
当該端末装置は、無線通信を実現するために、無線通信ユニット170を備えてもよい。当該無線通信ユニット170は、WiFi(wireless fidelity)モジュール(登録商標)であってもよい。WiFiは近距離無線通信技術に属し、ユーザに無線のブロードバンドインターネットアクセスを提供するので、ユーザは、端末装置800の無線通信ユニット170を利用して、電子メールの送受信、ウェブの閲覧、ストリーミングメディアのアクセス等を行なうことができる。図10において、無線通信ユニット170を示しているが、当該無線通信ユニット170は、端末装置800にとって不可欠な構成ではなく、本発明の趣旨を変更しない範囲内で必要に応じて省略することができる、ことを理解すべきである。
プロセッサ180は、端末装置800の制御センターであり、各種のインタフェース及び回路を介して携帯電話全体の各部と接続され、メモリ120内に格納されたソフトウェアプログラム及び/又はモジュールを実行または作動させるとともに、メモリ120内に格納されたデータを呼び出すことによって、端末装置800の各種機能の実行及びデータの処理を実現することで、携帯電話全体をコントロールする。プロセッサ180は、1つ又は複数の処理コアを含んでもよく、アプリプロセッサとモデムプロセッサを集積して構成されてもよい。ここで、アプリプロセッサは、主に、OS、ユーザインタフェース、及びアプリなどを処理し、モデムプロセッサは、主に、無線通信を処理する。また、上記モデムプロセッサがプロセッサ180に集積されなくてもよい、ことを理解すべきである。
端末装置800は、さらに、各部に電力を供給する電源190(例えば、バッテリー)を含み、当該電源190は、電源管理システムを介してプロセッサ180にロジック的に接続されることにより、電源管理システムを介して充電・放電管理、及び電力管理等の機能を実現することができる。電源190は、さらに、1つ或いは1つ以上の直流又は交流電源、再充電システム、電源故障検出回路、電源コンバータ又はインバータ、電源状態インジケータ等の任意のアセンブリを含んでもよい。
端末装置800は、図示してはないが、カメラ、ブルートゥースモジュール等(登録商標)をさらに含んでもよいが、ここで、その具体的な説明は省略する。本実施例において、当該端末装置は、メモリ、及び、一つ或いは一つ以上のプログラムを含む。ここで、一つ或いは一つ以上のプログラムは、メモリに記憶され、且つ一つ或いは一つ以上のプロセッサにより実行されるとともに、テンプレート画像の顔情報を取得し、テンプレート画像の顔情報に基づいて、処理対象画像の顔に対して美顔補正処理を行う、操作を行うための指令を含む。
上記メモリに記憶されているプログラムに含まれる指令により行なわれる操作において、上記顔情報は、顔器官の位置と間隔、顔器官および顔のサイズと比率、顔器官の形状、顔器官の向き角度、顔器官及び顔の色のうちの任意の1つ或いは複数を含む。
上記メモリに記憶されているプログラムにおいて、テンプレート画像の顔情報に基づいて、処理対象画像に対して美顔補正処理を行うための指令は、テンプレート画像の顔情報を取得し、テンプレート画像の顔情報と処理対象画像の顔情報を比較し、比較結果を取得し、当該比較結果に基づいて、処理対象画像の顔に対して美顔補正処理を行うための指令をさらに含んでもよい。
上記メモリに記憶されているプログラムにおいて、テンプレート画像の顔情報に基づいて、処理対象画像の顔に対して美顔補正処理を行う、操作を行うための指令は、テンプレート画像の顔情報を取得し、テンプレート画像の顔情報と処理対象画像の顔情報が一致する場合、情報内容がヌルである美顔補正処理情報を生成し、情報内容がヌルである美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行うための指令をさらに含む。
上記メモリに記憶されているプログラムにおいて、テンプレート画像の顔情報と処理対象画像の顔情報が一致するか否かを判断した後、さらに、テンプレート画像の顔情報と処理対象画像の顔情報が一致しない場合、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異が第1の閾値以下であるか否かを判断し、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異が第1の閾値以下である場合、第1の美顔補正レベルにて美顔補正を行う美顔補正処理情報を生成し、第1の美顔補正レベルにて美顔補正を行う美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行い、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異が第2の閾値より大きい場合、第2の美顔補正レベルにて美顔補正を行う美顔補正処理情報を生成し、第2の美顔補正レベルにて美顔補正を行う美顔補正処理情報に基づいて、処理対象画像の顔に対して美顔補正処理を行う、操作を行うための指令を含む。ここで、第2の閾値は、第1の閾値より大きい。
上記メモリに記憶されているプログラムは、テンプレート画像の顔情報を取得する前に、入力されたテンプレート画像を受信するか、選択されたテンプレート画像を受信するための指令をさらに含む。
本発明の実施例において、テンプレート画像及び処理対象画像の顔を自動的に認識でき、テンプレート画像の顔情報に基づいて、処理対象画像における美顔補正が必要な部位に対して美顔補正処理を行うので、ユーザが手動で各項目別に美顔パラメータを設定する必要がなく、ユーザにとって便利で、ユーザの時間が節約でき、美顔補正処理の効率を向上させる。なお、テンプレート画像の顔情報と処理対象画像の顔情報との間の差異に基づいて美顔補正処理を行うので、ユーザの様々なニーズに応える。
なお、典型的には、本発明に記載の移動端末は、例えば携帯電話、パーソナルディジタルアシスタント(PDA)等の各種の手持ち端末装置であってもよいため、本発明の保護範囲をある特定タイプの移動端末に限定すべきではない。
なお、本発明に係る方法は、さらに、CPUにより実行されるコンピュータプログラムとしても実現され得る。該コンピュータプログラムがCPUにより実行されると、本発明の方法において限定される上述の機能が実現される。
なお、上記の方法の各ステップ及びシステム要素は、コントローラ、及びコントローラに上記のステップ又は要素の機能を実現させるコンピュータプログラムを記録するためのコンピュータ読み取り可能な記録媒体によりも実現され得る。
なお、当業者であれば、本発明に記載のコンピュータ読取り可能な記録媒体(例えば、メモリ)は、揮発性メモリまたは不揮発性メモリのいずれかであってもよく、あるいは、揮発性メモリ及び不揮発性メモリの両方を備えてもよい、とのことを理解すべきである。例えば、不揮発性メモリには、ROM、PROM、EPROM、EEPROM、又はフラッシュメモリが含まれてもよく、揮発性メモリには、外部のキャッシュメモリとして機能するRAMが含まれてもよいが、両方ともこれに限定されるものではない。例えば、RAMは、SRAM、DRAM、SDRAM、DDR SDRAM(ダブル・データ・レートSDRAM)、ESDRAM(エンハンストSDRAM)、SLDRAM(シンクリンクDRAM)及びDRRAM(ダイレクトRambus RAM)などの多くの形式により実現可能であるが、これに限定されるものではない。ここで上記の記録媒体を開示するのは、本発明の保護範囲にこれらの記録媒体及び他の適したタイプの記録媒体を含ませるためであって、これらのみに限定されないことを意図する。
当業者は、更に、本発明に記載の種々の例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、又は両者の組み合わせにより実現され得る、ことを理解すべきである。ハードウェアとソフトウェアの間のこのような互換性を明確に説明するために、種々の例示的なコンポーネント、ブロック、モジュール、回路、及びステップの機能について、以上において通常的な説明を行っている。このような機能が、ソフトウェアにより実現されるか、又は、ハードウェアにより実現されるかは、具体的なアプリ、及びシステム全体に課される設計上の制約により選択される。当業者は、具体的なアプリそれぞれにおいて、様々な方式を選択して前記機能を実現してもよく、このような選択は、本発明の範囲を逸脱したものとして解釈されるべきではない。
以上の開示内容に結び付けられて説明される種々の例示的な論理ブロック、モジュール、及び回路は、上述の機能を行なうように設計された汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラム可能な論理デバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェアコンポーネント、或いは、これら部材の任意の組み合わせによって、実現又は実行され得る。汎用プロセッサは、マイクロプロセッサであってもよいが、マイクロプロセッサの代わりに、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であってもよい。プロセッサは、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと1つ又は複数のマイクロプロセッサの組み合わせ、或いは任意のこのような他の構成といった、コンピューティングデバイスの組み合わせとして実現されてもよい。
以上の開示内容に結び付けられて説明される方法、又は、アルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、又はこの両者の組合せに直接的に含まれてもよい。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、又は当該分野において公知の他の形態で存在する任意の記憶媒体に格納されてもよい。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み出すことができ、且つ、プロセッサが記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代案として、前記記憶媒体はプロセッサと一体的に集積されてもよい。プロセッサと記憶媒体はASICに格納されてもよい。ASICはユーザ端末に格納されてもよい。代案として、プロセッサと記憶媒体は別個のコンポーネントとしてユーザ端末に格納されてもよい。
1つ又は複数の例示的な設計として、前記機能はハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせによって実現され得る。ソフトウェアにより実現される場合、前記機能を1つ又は複数の指令、又はコードとしてコンピュータ読取り可能な媒体に記憶するか、又は、コンピュータ読取り可能な媒体を用いて伝送する。コンピュータ読取り可能な媒体は、コンピュータ記憶媒体及び通信媒体を含み、該通信媒体には、コンピュータプログラムを1つの位置から他の位置へ伝送するための任意の媒体が含まれる。記憶媒体は、汎用又は専用コンピュータによりアクセス可能な任意の使用可能媒体であり得る。例として、該コンピュータ読取り可能な媒体は、RAM、ROM、EEPROM、CD−ROM又は他の光ディスク記憶デバイス、ディスク記憶デバイス又は他の磁性記憶デバイスを含んでもよく、或いは、携帯できるもの、又は記憶形態が指令又はデータ構造である必要なプログラムコードを記憶するためのもので、且つ、汎用又は専用コンピュータ或いは汎用又は専用プロセッサによりアクセス可能な任意の他の媒体であり得るが、これに限定されるものではない。なお、任意の接続であっても、コンピュータ読取り可能な媒体として称され得る。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、又は、赤外線、ワイヤレス及びマイクロ波のような無線技術を用いて、ウェブサイト、サーバ又は他のリモートソースからソフトウェアを送信する場合、上記の同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、又は、赤外線、ワイヤレス及びマイクロ波のような無線技術の何れもが媒体の定義に含まれる。以上の磁気ディスク及び光ディスクは、コンパクトディスク(CD)、レーザーディスク、光ディスク、デジタルバーサタイルディスク(DVD)、フロッピー・ディスク、ブルーレイディスク(登録商標)を含んでおり、磁気ディスクは、通常磁性を利用してデータの再生を行なうものであり、光ディスクは、レーザ光を用いて光学的にデータの再生を行なうものである。また、以上の構成の組合わせもコンピュータ読取り可能な媒体の範囲に含まれるべきである。
以上の開示内容により、本発明の実施例を例示的に示しているが、請求項により限定される本発明の範囲を逸脱しない限り、多種の変更及び修正を行うことができる。以上に開示された実施例に基づく方法請求項の機能、ステップ及び/又はジェスチャーは、ある特定の手順で実行する必要はない。なお、本発明に係る要素は、個体として記載又は要求されているが、単数であると明確に限定されていない限りは複数であってもよい。
上記の具体的な実施形態において、本発明の目的、技術案及び有益な効果について更に詳細に説明しているが、上記の内容は、本発明の具体的な実施形態であって、本発明の保護範囲に対する限定ではなく、本発明の趣旨及び原則範囲内で行われる任意の修正、均等の取替、改良などは、その何れも本発明の保護範囲に含まれるべきである、ということは理解すべきである。

Claims (6)

  1. 処理対象画像における美顔補正が必要な部位を自動的に認識することができる画像処理方法であって、
    ユーザから選択されたテンプレート画像を取得するステップと、
    前記テンプレート画像中の顔情報を取得するステップと、
    前記テンプレート画像中の顔情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うステップと、
    を含み、
    前記テンプレート画像中の顔情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行う前記ステップは、
    前記処理対象画像中の顔情報を取得するステップと、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致するか否かを判断するステップと、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致する場合、情報内容がヌルである美顔補正処理情報を生成するステップと、
    前記情報内容がヌルである美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うステップと、
    を含み、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致するか否かを判断する前記ステップ以降に、さらに、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致しない場合、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が第1の閾値以下であるか否かを判断するステップと、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が前記第1の閾値以下である場合、第1の美顔補正レベルにて軽く美顔補正を行う美顔補正処理情報を生成し、第1の美顔補正レベルにて軽く美顔補正を行う前記美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して軽く美顔補正処理を行うステップと、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が、前記第1の閾値より大きい第2の閾値より大きい場合、第2の美顔補正レベルにて強化された美顔補正を行う美顔補正処理情報を生成し、第2の美顔補正レベルにて強化された美顔補正を行う前記美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して強化された美顔補正処理を行うステップと
    を含むことを特徴とする画像処理方法。
  2. 前記顔情報は、顔器官の位置と距離、顔器官及び顔のサイズと比率、顔器官の形状、顔器官の向き角度、顔器官及び顔の色のうちの一つ或いは複数を含むことを特徴とする請求項1に記載の画像処理方法。
  3. 処理対象画像における美顔補正が必要な部位を自動的に認識することができる画像処理装置であって、
    ユーザから選択されたテンプレート画像を取得するための第2の受信モジュールと、
    前記テンプレート画像中の顔情報を取得するための取得モジュールと、
    前記テンプレート画像中の顔情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うための処理モジュールと、
    を含み、
    前記処理モジュールは、
    前記処理対象画像中の顔情報を取得するための第2の取得ユニットと、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致するか否かを判断するための第1の判断ユニットと、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致する場合、情報内容がヌルである美顔補正処理情報を生成するための第1の生成ユニットと、
    前記情報内容がヌルである美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うための第2の処理ユニットと、
    前記第1の判断ユニットにより前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致するか否かを判断した結果、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致しない場合、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が第1の閾値以下であるか否かを判断するための第2の判断ユニットと、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が前記第1の閾値以下である場合、第1の美顔補正レベルにて軽く美顔補正を行う美顔補正処理情報を生成し、第1の美顔補正レベルにて軽く美顔補正を行う前記美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して軽く美顔補正処理を行うための第2の生成ユニットと、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が、前記第1の閾値より大きい第2の閾値より大きい場合、第2の美顔補正レベルにて強化された美顔補正を行う美顔補正処理情報を生成し、第2の美顔補正レベルにて強化された美顔補正を行う前記美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して強化された美顔補正処理を行うための第3の生成ユニットと、
    を含む、
    ことを特徴とする画像処理装置。
  4. 処理対象画像における美顔補正が必要な部位を自動的に認識することができる端末装置であって、
    メモリ、及び一つ或いは一つ以上のプログラムを含み、
    前記一つ或いは一つ以上のプログラムは、
    メモリに記憶され、一つ或いは一つ以上のプロセッサにより実行され、
    ユーザから選択されたテンプレート画像を取得し、前記テンプレート画像中の顔情報を取得し、前記テンプレート画像中の顔情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行う操作を行なうための指令を含み、
    前記テンプレート画像中の顔情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うことは、前記処理対象画像中の顔情報を取得し、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致するか否かを判断し、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致する場合、情報内容がヌルである美顔補正処理情報を生成し、前記情報内容がヌルである美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して美顔補正処理を行うことであり、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致するか否かを判断する前記ステップ以降に、さらに、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報が一致しない場合、前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が第1の閾値以下であるか否かを判断するステップと、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が前記第1の閾値以下である場合、第1の美顔補正レベルにて軽く美顔補正を行う美顔補正処理情報を生成し、第1の美顔補正レベルにて軽く美顔補正を行う前記美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して軽く美顔補正処理を行うステップと、
    前記テンプレート画像中の顔情報と前記処理対象画像中の顔情報との間の差異が、前記第1の閾値より大きい第2の閾値より大きい場合、第2の美顔補正レベルにて強化された美顔補正を行う美顔補正処理情報を生成し、第2の美顔補正レベルにて強化された美顔補正を行う前記美顔補正処理情報に基づいて、前記処理対象画像中の顔に対して強化された美顔補正処理を行うステップと、
    を含む、
    ことを特徴とする端末装置。
  5. プロセッサに実行されることにより、請求項1又は2に記載の画像処理方法を実現することを特徴とするプログラム。
  6. 請求項5に記載のプログラムが記録された記録媒体。
JP2015549985A 2013-11-28 2014-05-14 画像処理方法、画像処理装置、端末装置、プログラム、及び記録媒体 Active JP6309540B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310626089.8 2013-11-28
CN201310626089.8A CN103632165B (zh) 2013-11-28 2013-11-28 一种图像处理的方法、装置及终端设备
PCT/CN2014/077463 WO2015078151A1 (zh) 2013-11-28 2014-05-14 一种图像处理的方法、装置及终端设备

Publications (2)

Publication Number Publication Date
JP2016507815A JP2016507815A (ja) 2016-03-10
JP6309540B2 true JP6309540B2 (ja) 2018-04-11

Family

ID=50213192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015549985A Active JP6309540B2 (ja) 2013-11-28 2014-05-14 画像処理方法、画像処理装置、端末装置、プログラム、及び記録媒体

Country Status (9)

Country Link
US (1) US9652661B2 (ja)
EP (1) EP2879095B1 (ja)
JP (1) JP6309540B2 (ja)
KR (1) KR101619685B1 (ja)
CN (1) CN103632165B (ja)
BR (1) BR112014017937A8 (ja)
MX (1) MX343021B (ja)
RU (1) RU2615320C2 (ja)
WO (1) WO2015078151A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632165B (zh) 2013-11-28 2017-07-04 小米科技有限责任公司 一种图像处理的方法、装置及终端设备
CN104754221B (zh) * 2015-03-11 2018-11-16 广东欧珀移动通信有限公司 一种拍照方法及移动终端
CN104811684B (zh) * 2015-04-02 2017-06-16 广东欧珀移动通信有限公司 一种图像的三维美颜方法及装置
CN106412458A (zh) * 2015-07-31 2017-02-15 中兴通讯股份有限公司 一种图像处理方法和装置
CN106548117B (zh) * 2015-09-23 2019-03-08 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
CN106940880A (zh) * 2016-01-04 2017-07-11 中兴通讯股份有限公司 一种美颜处理方法、装置和终端设备
CN105760882A (zh) * 2016-01-29 2016-07-13 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法和终端设备
CN107085822B (zh) * 2016-02-16 2020-09-04 北京小米移动软件有限公司 人脸图像处理方法及装置
CN107204034B (zh) * 2016-03-17 2019-09-13 腾讯科技(深圳)有限公司 一种图像处理方法及终端
CN105825486B (zh) * 2016-04-05 2018-12-25 北京小米移动软件有限公司 美颜处理的方法及装置
CN106210521A (zh) * 2016-07-15 2016-12-07 深圳市金立通信设备有限公司 一种拍照方法及终端
CN106528925A (zh) * 2016-09-28 2017-03-22 珠海格力电器股份有限公司 基于美颜应用的美颜指导方法、装置及终端设备
CN106341672A (zh) * 2016-09-30 2017-01-18 乐视控股(北京)有限公司 图像处理方法、装置以及终端
CN106657793B (zh) * 2017-01-11 2019-01-22 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108229279B (zh) 2017-04-14 2020-06-02 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN108229278B (zh) 2017-04-14 2020-11-17 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN107247548B (zh) * 2017-05-31 2018-09-04 腾讯科技(深圳)有限公司 图像显示方法、图像处理方法及装置
CN107239293B (zh) * 2017-06-29 2020-08-28 努比亚技术有限公司 一种图片编辑方法、终端及计算机可读存储介质
CN107395958B (zh) * 2017-06-30 2019-11-15 北京金山安全软件有限公司 一种图像处理方法、装置、电子设备及存储介质
CN107705356A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法和装置
CN107808137A (zh) * 2017-10-31 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN107833178A (zh) * 2017-11-24 2018-03-23 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN107993209B (zh) * 2017-11-30 2020-06-12 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108174094A (zh) * 2017-12-28 2018-06-15 努比亚技术有限公司 图像优化方法、移动终端以及计算机可读介质
US11100615B2 (en) 2018-06-15 2021-08-24 Casio Computer Co., Ltd. Image processing device, image processing method, and image processing program
CN109461124A (zh) * 2018-09-21 2019-03-12 维沃移动通信(杭州)有限公司 一种图像处理方法及终端设备
CN109325929A (zh) * 2018-10-17 2019-02-12 联想(北京)有限公司 图像处理方法和电子设备
CN109242768B (zh) * 2018-10-29 2023-09-22 维沃移动通信有限公司 一种图像处理方法及终端设备
CN109872283A (zh) * 2019-01-18 2019-06-11 维沃移动通信有限公司 一种图像处理方法及移动终端
KR20200109634A (ko) * 2019-03-13 2020-09-23 주식회사 케이티 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법
CN110472077A (zh) * 2019-07-12 2019-11-19 浙江执御信息技术有限公司 人像识别前置校验方法、系统、介质及电子设备
US11323627B2 (en) 2019-09-12 2022-05-03 Samsung Electronics Co., Ltd. Method and electronic device for applying beauty effect setting
US11869213B2 (en) * 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
CN111275650B (zh) * 2020-02-25 2023-10-17 抖音视界有限公司 美颜处理方法及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5719951A (en) 1990-07-17 1998-02-17 British Telecommunications Public Limited Company Normalized image feature processing
JP3912834B2 (ja) * 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
US6396599B1 (en) * 1998-12-21 2002-05-28 Eastman Kodak Company Method and apparatus for modifying a portion of an image in accordance with colorimetric parameters
US6687418B1 (en) * 1999-02-25 2004-02-03 Lester Frank Ludwig Correction of image misfocus via fractional fourier transform
US6571003B1 (en) * 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP4421761B2 (ja) * 1999-12-27 2010-02-24 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
JP4368513B2 (ja) * 1999-12-27 2009-11-18 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
US6931147B2 (en) * 2001-12-11 2005-08-16 Koninklijke Philips Electronics N.V. Mood based virtual photo album
JP2004147288A (ja) * 2002-10-25 2004-05-20 Reallusion Inc 顔画像の補正方法
JP4419759B2 (ja) * 2004-09-01 2010-02-24 株式会社ニコン 電子カメラシステム
US7486808B2 (en) * 2004-09-21 2009-02-03 Fujifilm Corporation Image processing device, image processing method and image processing program
US7796827B2 (en) * 2004-11-30 2010-09-14 Hewlett-Packard Development Company, L.P. Face enhancement in a digital video
US8660319B2 (en) * 2006-05-05 2014-02-25 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
GB2451050B (en) * 2006-05-05 2011-08-31 Parham Aarabi Method, system and computer program product for automatic and semiautomatic modification of digital images of faces
US8620038B2 (en) * 2006-05-05 2013-12-31 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US7764303B2 (en) * 2006-10-02 2010-07-27 Johnson & Johnson Consumer Companies, Inc. Imaging apparatus and methods for capturing and analyzing digital images of the skin
FR2907569B1 (fr) 2006-10-24 2009-05-29 Jean Marc Robin Procede et dispositif de simulation virtuelle d'une sequence d'images video.
US8059187B2 (en) * 2007-12-27 2011-11-15 Eastman Kodak Company Image capturing apparatus
CN101308578B (zh) * 2008-06-20 2010-09-01 华南理工大学 一种手写汉字美化方法
CN106919911A (zh) * 2008-07-30 2017-07-04 快图有限公司 使用脸部检测的自动脸部和皮肤修饰
US8498456B2 (en) * 2009-07-13 2013-07-30 Stylecaster, Inc. Method and system for applying cosmetic and/or accessorial enhancements to digital images
CA2769583A1 (en) * 2009-08-04 2011-02-10 Vesalis Image-processing method for correcting a target image with respect to a reference image, and corresponding image-processing device
US8550818B2 (en) * 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
US8523570B2 (en) * 2010-05-21 2013-09-03 Photometria, Inc System and method for providing a face chart
CN102486868A (zh) 2010-12-06 2012-06-06 华南理工大学 一种基于平均脸的美丽人脸合成方法
CN102254180B (zh) * 2011-06-28 2014-07-09 北京交通大学 一种基于几何特征的人脸美感分析方法
KR20130063310A (ko) * 2011-12-06 2013-06-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN102546945A (zh) * 2012-01-04 2012-07-04 广东步步高电子工业有限公司 手机拍照自动优化的方法
AU2013203345A1 (en) 2012-01-11 2013-07-25 Steven Liew A method and apparatus for facial aging assessment and treatment management
CN102999929A (zh) * 2012-11-08 2013-03-27 大连理工大学 一种基于三角网格化的人物图像瘦脸处理方法
CN103258343B (zh) 2013-05-07 2015-09-16 中南大学 一种基于图像编辑的眼部图像处理方法
CN103413268B (zh) * 2013-08-06 2017-11-07 厦门美图移动科技有限公司 一种自动优化脸型的拍照方法
CN103605975B (zh) * 2013-11-28 2018-10-19 小米科技有限责任公司 一种图像处理的方法、装置及终端设备
CN103632165B (zh) * 2013-11-28 2017-07-04 小米科技有限责任公司 一种图像处理的方法、装置及终端设备

Also Published As

Publication number Publication date
MX2014008798A (es) 2015-07-17
RU2615320C2 (ru) 2017-04-04
KR101619685B1 (ko) 2016-05-10
MX343021B (es) 2016-10-20
KR20150075058A (ko) 2015-07-02
BR112014017937A8 (pt) 2021-03-02
WO2015078151A1 (zh) 2015-06-04
EP2879095A1 (en) 2015-06-03
RU2015125297A (ru) 2017-01-10
JP2016507815A (ja) 2016-03-10
US20150146987A1 (en) 2015-05-28
CN103632165A (zh) 2014-03-12
CN103632165B (zh) 2017-07-04
EP2879095B1 (en) 2017-09-27
US9652661B2 (en) 2017-05-16

Similar Documents

Publication Publication Date Title
JP6309540B2 (ja) 画像処理方法、画像処理装置、端末装置、プログラム、及び記録媒体
JP7391102B2 (ja) ジェスチャ処理方法およびデバイス
WO2021129326A1 (zh) 一种屏幕显示方法及电子设备
US10425409B2 (en) Method and apparatus for connecting between electronic devices using authentication based on biometric information
JP6272342B2 (ja) 画像処理方法、画像処理装置、端末装置、プログラム及び記録媒体
US10679053B2 (en) Method and device for recognizing biometric information
US10769464B2 (en) Facial recognition method and related product
KR102264808B1 (ko) 지문 처리 방법 및 그 전자 장치
CN103605975B (zh) 一种图像处理的方法、装置及终端设备
US9912880B2 (en) Method and apparatus for adjusting color
US10402625B2 (en) Intelligent electronic device and method of operating the same
KR20150128377A (ko) 지문 처리 방법 및 그 전자 장치
WO2020029094A1 (zh) 一种语音控制命令生成方法及终端
KR20160035859A (ko) 사용자 인증 방법 및 그 전자 장치
KR20160055337A (ko) 텍스트 표시 방법 및 그 전자 장치
KR20150064354A (ko) 입력 처리 방법 및 그 전자 장치
CN112698756A (zh) 用户界面的显示方法及电子设备
KR102332468B1 (ko) 기능 제어 방법 및 그 전자 장치
WO2022222688A1 (zh) 一种窗口控制方法及其设备
WO2022262592A1 (zh) 一种访问控制方法及相关装置
WO2022222705A1 (zh) 设备控制方法和电子设备
EP4350544A1 (en) Access control method and related apparatus
WO2022222702A1 (zh) 屏幕解锁方法和电子设备
WO2022089187A1 (zh) 一种显示方法及电子设备

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160527

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161208

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161219

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180314

R150 Certificate of patent or registration of utility model

Ref document number: 6309540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250