JP7102554B2 - 画像処理方法、装置及び電子機器 - Google Patents

画像処理方法、装置及び電子機器 Download PDF

Info

Publication number
JP7102554B2
JP7102554B2 JP2020566648A JP2020566648A JP7102554B2 JP 7102554 B2 JP7102554 B2 JP 7102554B2 JP 2020566648 A JP2020566648 A JP 2020566648A JP 2020566648 A JP2020566648 A JP 2020566648A JP 7102554 B2 JP7102554 B2 JP 7102554B2
Authority
JP
Japan
Prior art keywords
image
key point
target
face
point information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020566648A
Other languages
English (en)
Other versions
JP2022507998A (ja
Inventor
チンチン・シュ
ミンヤン・ファン
Original Assignee
ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201910944389.8A external-priority patent/CN110728620A/zh
Application filed by ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド filed Critical ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Publication of JP2022507998A publication Critical patent/JP2022507998A/ja
Application granted granted Critical
Publication of JP7102554B2 publication Critical patent/JP7102554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

（関連出願の相互参照）
本願は、２０１９年０９月３０日に提出された、出願番号が２０１９１０９４４３８９．８である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、画像処理技術に関し、具体的には画像処理方法、装置及び電子機器に関する。
２枚の異なる顔写真について、現在、関連技術において、異なる顔を１つの顔にフュージョンするための効果的な技術的解決手段はない。
本願の実施例は、画像処理方法、装置及び電子機器を提供する。
本願の実施例の技術的解決手段は、以下のように実現する。
本願の実施例は、画像処理方法を提供する。前記方法は、
第１画像及び第２画像を取得することと、前記第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得るて、前記第２画像におけるターゲット対象の顔キーポイントを検出し、第２キーポイント情報を得ることと、前記第１キーポイント情報及び前記第２キーポイント情報に基づいて変換関係を決定することと、前記変換関係に基づいて、前記第１画像及び前記第２画像におけるターゲット対象の顔をフュージョンし、第３画像を得ることと、を含む。
幾つかの任意選択的な実施例において、前記第１キーポイント情報及び前記第２キーポイント情報に基づいて変換関係を決定することは、前記第１キーポイント情報及び前記第２キーポイント情報に基づいて、第１変換関係を決定することと、前記第１変換関係に基づいて、前記第１画像におけるターゲット対象の顔に対して変形処理を行い、第１参照画像を得ることと、前記第１参照画像におけるターゲット対象の顔キーポイントを検出し、第３キーポイント情報を得ることと、前記第２キーポイント情報及び第３キーポイント情報に基づいて、第２変換関係を決定することと、を含む。
幾つかの任意選択的な実施例において、前記変換関係に基づいて、前記第１画像及び前記第２画像におけるターゲット対象の顔をフュージョンし、第３画像を得ることは、前記第２変換関係に基づいて、前記第２画像におけるターゲット対象の顔に対して変形処理を行い、ターゲット画像を得ることと、前記ターゲット画像及び前記第１参照画像におけるターゲット対象の顔をフュージョンし、第３画像を得ることと、を含む。
幾つかの任意選択的な実施例において、前記第２キーポイント情報及び前記第３キーポイント情報は、いずれもキーポイントの座標を含み、前記第２キーポイント情報及び第３キーポイント情報に基づいて第２変換関係を決定することは、前記第２キーポイントの座標及び前記第３キーポイントの座標に対して加重オーバーレイ処理を行い、第４キーポイント情報を得ることであって、前記第４キーポイント情報に第４キーポイントの座標が含まれる、ことと、前記第２キーポイントの座標及び前記第４キーポイントの座標に基づいて、前記第２変換関係を決定することと、を含む。
幾つかの任意選択的な実施例において、前記ターゲット画像及び前記第１参照画像におけるターゲット対象の顔をフュージョンし、前記第３画像を得ることは、前記ターゲット画像におけるターゲット対象の顔キーポイントを検出し、第５キーポイント情報を得ることと、前記第３キーポイント情報及び前記第５キーポイント情報に基づいて、第３変換関係を決定することと、前記第３変換関係に基づいて、前記第１参照画像におけるターゲット対象の顔に対して変形処理を行い、第２参照画像を得ることと、前記第２参照画像及び前記ターゲット画像に基づいて前記第３画像を得ることと、を含む。
幾つかの任意選択的な実施例において、前記第２参照画像及び前記ターゲット画像に基づいて、第３画像を得ることは、前記第２参照画像及び前記ターゲット画像に対してフュージョン処理を行い、第３参照画像を得ることと、前記第３参照画像及び前記ターゲット画像に対してフュージョン処理を行い、前記第３画像を得ることと、を含む。
幾つかの任意選択的な実施例において、前記第２参照画像及び前記ターゲット画像に対してフュージョン処理を行い、第３参照画像を得ることは、前記第２参照画像における画素点の画素値の第１平均値を決定し、前記ターゲット画像における画素点の画素値の第２平均値を決定することと、前記第２参照画像における第１画素点の画素値と前記第１平均値に対して差分処理を行い、差と、前記ターゲット画像における、前記第１画素点に対応する画素点の前記第２平均値と、を加算処理し、第３参照画像を得ることであって、前記第１画素点は、前記第２参照画像におけるいずれか１つの画素点である、ことと、を含む。
幾つかの任意選択的な実施例において、前記第３参照画像及び前記ターゲット画像に対してフュージョン処理を行い、前記第３画像を得ることは、前記第３参照画像における第２画素点の画素値と、前記ターゲット画像における、前記第２画素点に対応する画素点の画素値と、を加重加算処理し、前記第３画像を得ることであって、前記第２画素点は、前記第３参照画像におけるいずれか１つの画素点である、ことを含む。
前記ターゲット画像及び前記第１参照画像におけるターゲット対象の顔をフュージョンし、前記第３画像を得る前に、前記方法は、前記第１参照画像に対して最適化処理を行うことであって、前記最適化処理は、前記第１参照画像におけるターゲット対象の顔に対して行われる、美肌処理、美白処理、色調補正処理のうちの少なくとも１つの処理を含む、ことを更に含み、
前記ターゲット画像及び前記第１参照画像に基づいて、第３画像を生成することは、前記ターゲット画像及び最適化処理後の第１参照画像に基づいて、第３画像を生成することを含む。
幾つかの任意選択的な実施例において、前記第２変換関係に基づいて、前記第２画像におけるターゲット対象の顔に対して変形処理を行う前に、前記方法は、前記第２画像におけるターゲット対象の鼻孔領域に対してガウスぼかし処理を行うことを更に含み、前記第２変換関係に基づいて前記第２画像におけるターゲット対象の顔に対して変形処理を行うことは、前記第２変換関係に基づいて、ガウスぼかし処理後の第２画像におけるターゲット対象の顔に対して変形処理を行うことを含む。
幾つかの任意選択的な実施例において、前記第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得ることは、顔キーポイント検出アルゴリズムに基づいて、前記第１画像を検出し、前記第１画像の顔領域に含まれる各器官のキーポイント情報及び前記顔領域の縁の輪郭キーポイント情報を得ることを含む。
幾つかの任意選択的な実施例において、前記顔領域の縁の輪郭キーポイント情報を得ることは、前記顔領域における眼部以下の領域の第１組の輪郭キーポイント情報を得ることと、前記顔領域における額領域に関わるキーポイント情報に基づいて、前記額領域の第２組の輪郭キーポイント情報を決定することと、前記第１組の輪郭キーポイント情報及び前記第２組の輪郭キーポイント情報に基づいて、前記顔領域の縁の輪郭キーポイント情報を決定することと、を含む。
幾つかの任意選択的な実施例において、前記第１キーポイント情報及び前記第２キーポイント情報は、顔領域に関わる外縁キーポイント情報を更に含み、前記外縁キーポイント情報は、前記顔領域の縁の輪郭キーポイント情報に対応する。
幾つかの任意選択的な実施例において、前記外縁キーポイント情報を決定することは、前記顔領域の中心点を決定することと、前記顔領域の縁の各輪郭キーポイントと前記中心点との距離を決定し、前記中心点に対する、各輪郭キーポイントの方向を決定することと、第１輪郭キーポイントに対して、前記第１輪郭キーポイントに対応する方向に従って、顔領域の外部へ所定距離を延在させ、前記第１輪郭キーポイントに対応する外縁キーポイントを決定することであって、前記第１輪郭キーポイントは、前記顔領域の縁におけるいずれか１つの輪郭キーポイントである、こととを含む。
幾つかの任意選択的な実施例において、前記方法は、前記第１画像と前記第２画像におけるターゲット対象の口部状態が異なっており、且つ前記第３画像におけるターゲット対象が開口状態である場合、歯テンプレート画像に基づいて、前記第３画像における前記ターゲット対象に対して歯追加操作を行い、第４画像を生成することを更に含む。
幾つかの任意選択的な実施例において、前記方法は、前記第３画像又は前記第３画像に対して歯追加操作を行うことで得られた第４画像に対して画像スタイル変換処理を行い、第５画像を得ることを更に含む。
本願の実施例は、画像処理装置を更に提供する。前記装置は、取得ユニットと、キーポイント検出ユニットと、フュージョン処理ユニットと、を備え、
前記取得ユニットは、第１画像及び第２画像を取得するように構成され、
前記キーポイント検出ユニットは、前記第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得て、前記第２画像におけるターゲット対象の顔キーポイントを検出し、第２キーポイント情報を得るように構成され、
前記フュージョン処理ユニットは、前記第１キーポイント情報及び前記第２キーポイント情報に基づいて変換関係を決定し、前記変換関係に基づいて、前記第１画像及び前記第２画像におけるターゲット対象の顔をフュージョンし、第３画像を得るように構成される。
幾つかの任意選択的な実施例において、前記フュージョン処理ユニットは、前記第１キーポイント情報及び前記第２キーポイント情報に基づいて、第１変換関係を決定し、前記第１変換関係に基づいて、前記第１画像におけるターゲット対象の顔に対して変形処理を行い、第１参照画像を得るように構成され、
前記キーポイント検出ユニットは更に、前記第１参照画像におけるターゲット対象の顔キーポイントを検出し、第３キーポイント情報を得るように構成され、
前記フュージョン処理ユニットは更に、前記第２キーポイント情報及び第３キーポイント情報に基づいて、第２変換関係を決定するように構成される。
幾つかの任意選択的な実施例において、前記フュージョン処理ユニットは、前記第２変換関係に基づいて、前記第２画像におけるターゲット対象の顔に対して変形処理を行い、ターゲット画像を得て、前記ターゲット画像及び前記第１参照画像におけるターゲット対象の顔をフュージョンし、第３画像を得るように構成される。
幾つかの任意選択的な実施例において、前記第２キーポイント情報及び前記第３キーポイント情報は、いずれもキーポイントの座標を含み、前記フュージョン処理ユニットは、前記第２キーポイントの座標及び前記第３キーポイントの座標に対して加重オーバーレイ処理を行い、第４キーポイント情報を得るように構成され、前記第４キーポイント情報に第４キーポイントの座標が含まれ、前記フュージョン処理ユニットは、前記第２キーポイントの座標及び前記第４キーポイントの座標に基づいて、前記第２変換関係を決定するように構成される。
幾つかの任意選択的な実施例において、前記フュージョン処理ユニットは、前記ターゲット画像におけるターゲット対象の顔キーポイントを検出し、第５キーポイント情報を得て、前記第３キーポイント情報及び前記第５キーポイント情報に基づいて、第３変換関係を決定し、前記第３変換関係に基づいて、前記第１参照画像におけるターゲット対象の顔に対して変形処理を行い、第２参照画像を得て、前記第２参照画像及び前記ターゲット画像に基づいて第３画像を得るように構成される。
幾つかの任意選択的な実施例において、前記フュージョン処理ユニットは、前記第２参照画像及び前記ターゲット画像に対してフュージョン処理を行い、第３参照画像を得て、前記第３参照画像及び前記ターゲット画像に対してフュージョン処理を行い、前記第３画像を得るように構成される。
幾つかの任意選択的な実施例において、前記フュージョン処理ユニットは、前記第２参照画像における画素点の画素値の第１平均値を決定し、前記ターゲット画像における画素点の画素値の第２平均値を決定し、前記第２参照画像における第１画素点の画素値と前記第１平均値に対して差分処理を行い、差と、前記ターゲット画像における、前記第１画素点に対応する画素点の前記第２平均値と、を加算処理し、第３参照画像を得るように構成され、前記第１画素点は、前記第２参照画像におけるいずれか１つの画素点である。
幾つかの任意選択的な実施例において、前記フュージョン処理ユニットは、前記第３参照画像における第２画素点の画素値と、前記ターゲット画像における、前記第２画素点に対応する画素点の画素値と、を加重加算処理し、前記第３画像を得るように構成され、前記第２画素点は、前記第３参照画像におけるいずれか１つの画素点である。
幾つかの任意選択的な実施例において、前記フュージョン処理ユニットは、前記ターゲット画像及び前記第１参照画像におけるターゲット対象の顔をフュージョンし、前記第３画像を得る前に、前記第１参照画像に対して最適化処理を行うように構成され、前記最適化処理は、前記第１参照画像におけるターゲット対象の顔に対して行われる、美肌処理、美白処理、色調補正処理のうちの少なくとも１つの処理を含み、前記フュージョン処理ユニットは更に、前記ターゲット画像及び最適化処理後の第１参照画像に基づいて、第３画像を生成するように構成される。
幾つかの任意選択的な実施例において、前記フュージョン処理ユニットは、前記第２変換関係に基づいて、前記第２画像におけるターゲット対象の顔に対して変形処理を行う前に、前記第２画像におけるターゲット対象の鼻孔領域に対してガウスぼかし処理を行うように構成され、前記フュージョン処理ユニットは更に、前記第２変換関係に基づいて、ガウスぼかし処理後の第２画像におけるターゲット対象の顔に対して変形処理を行うように構成される。
幾つかの任意選択的な実施例において、前記キーポイント検出ユニットは、顔キーポイント検出アルゴリズムに基づいて、前記第１画像を検出し、前記第１画像の顔領域に含まれる各器官のキーポイント情報及び前記顔領域の縁の輪郭キーポイント情報を得るように構成される。
幾つかの任意選択的な実施例において、前記キーポイント検出ユニットは、前記顔領域における眼部以下の領域の第１組の輪郭キーポイント情報を得て、前記顔領域における額領域に関わるキーポイント情報に基づいて、前記額領域の第２組の輪郭キーポイント情報を決定し、前記第１組の輪郭キーポイント情報及び前記第２組の輪郭キーポイント情報に基づいて、前記顔領域の縁の輪郭キーポイント情報を決定するように構成される。
幾つかの任意選択的な実施例において、前記第１キーポイント情報及び前記第２キーポイント情報は、顔領域に関わる外縁キーポイント情報を更に含み、前記外縁キーポイント情報は、前記顔領域の縁の輪郭キーポイント情報に対応する。
幾つかの任意選択的な実施例において、前記キーポイント検出ユニットは更に、前記顔領域の中心点を決定し、前記顔領域の縁の各輪郭キーポイントと前記中心点との距離を決定し、前記中心点に対する、各輪郭キーポイントの方向を決定し、第１輪郭キーポイントに対して、前記第１輪郭キーポイントに対応する方向に従って、顔領域の外部へ所定距離を延在させ、前記第１輪郭キーポイントに対応する外縁キーポイントを決定するように構成され、前記第１輪郭キーポイントは、前記顔領域の縁におけるいずれか１つの輪郭キーポイントである。
幾つかの任意選択的な実施例において、前記装置は、前記第１画像と前記第２画像におけるターゲット対象の口部状態が異なっており、且つ前記第３画像におけるターゲット対象が開口状態である場合、歯テンプレート画像に基づいて、前記第３画像における前記ターゲット対象に対して歯追加操作を行い、第４画像を生成するように構成される画像処理ユニットを更に備える。
幾つかの任意選択的な実施例において、前記装置は、前記第３画像又は前記第３画像に対して歯追加操作を行うことで得られた第４画像に対して画像スタイル変換処理を行い、第５画像を得るように構成される画像スタイル変換処理ユニットを更に備える。
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、該プログラムがプロセッサにより実行される時、本願の実施例に記載の方法のステップを実現させる。
本願の実施例は、電子機器を更に提供する。前記電子機器は、メモリと、プロセッサと、メモリに記憶されてプロセッサでの実行可能なコンピュータプログラムと、を備え、前記プロセッサが前記プログラムを実行する時、本願の実施例に記載の方法のステップを実現させる。
本願の実施例は、プロセッサを更に提供する。前記プロセッサは、コンピュータプログラムを呼び出すように構成され、前記プロセッサは、前記プログラムを実行する時、本願の実施例に記載の方法のステップを実現させる。
本願の実施例は、画像処理方法、装置及び電子機器を提供する。前記方法は、第１画像及び第２画像を取得することと、前記第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得ることと、前記第２画像におけるターゲット対象の顔キーポイントを検出し、第２キーポイント情報を得ることと、前記第１キーポイント情報及び前記第２キーポイント情報に基づいて変換関係を決定することと、前記変換関係に基づいて、前記第１画像及び前記第２画像におけるターゲット対象の顔をフュージョンし、前記第３画像を得ることと、を含む。本願の実施例の技術的解決手段によれば、異なる顔画像を１つの顔画像にフュージョンすることを実現させる。一方で、顔キーポイントに対する検出により、顔キーポイント（例えば、顔器官及び輪郭等）を正確に位置決めすることを実現させ、また、顔フュージョン処理過程において、顔キーポイントに基づいて、対応するフュージョン処理又は変形処理を行い、顔フュージョン処理の効果を大幅に向上させる。
本願の実施例による画像処理方法を示す第１フローチャートである。 本願の実施例による画像処理方法における顔キーポイントを示す概略図である。 本願の実施例による顔キーポイントにおける第１組の輪郭点情報、第２組の輪郭点情報を示す概略図である。 本願の実施例による顔キーポイントにおける外縁キーポイント情報を示す概略図である。 本願の実施例による画像処理方法を示す第２フローチャートである。 本願の実施例による画像処理方法を示す第３フローチャートである。 本願の実施例による画像処理装置の構造を示す第１概略図である。 本願の実施例による画像処理装置の構造を示す第２概略図である。 本願の実施例による画像処理装置の構造を示す第３概略図である。 本願の実施例による電子機器のハードウェア構造を示す概略図である。
以下、図面及び具体的な実施例を参照しながら、本願を更に詳しく説明する。
本願の実施例は、画像処理方法を提供する。図１は、本願の実施例による画像処理方法を示す第１フローチャートである。図１に示すように、前記方法は以下を含む。
ステップ１０１において、第１画像及び第２画像を取得する。
ステップ１０２において、第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得て、第２画像におけるターゲット対象の顔キーポイントを検出し、第２キーポイント情報を得る。
ステップ１０３において、第１キーポイント情報及び第２キーポイント情報に基づいて変換関係を決定する。
ステップ１０４において、変換関係に基づいて、第１画像及び第２画像におけるターゲット対象の顔をフュージョンし、第３画像を得る。
本実施例において、第１画像及び第２画像に、ターゲット対象の顔が含まれてもよい。該ターゲット対象は、画像におけるリアル人物であってもよい。他の実施形態において、ターゲット対象は、例えば、漫画キャラクターなどのような仮想人物であってもよい。勿論、ターゲット対象は、他のタイプの対象であってもよく、本願の実施例はこれを限定しない。
幾つかの実施例において、第１画像及び第２画像に、異なるターゲット対象が含まれる。例えば、第１画像及び第２画像にいずれも顔が含まれるが、第１画像及び第２画像に含まれる顔が異なる。本実施例において主に、異なる顔に対してフュージョン処理を行い、１つの顔を合成する。
本実施例において、第１キーポイント情報及び第２キーポイント情報はいずれも、顔領域に含まれる各器官のキーポイント情報及び顔領域の縁の輪郭キーポイント情報を含む。ここで、顔領域に含まれる器官は、眼、鼻、口、眉などのうちの少なくとも１つを含む。顔領域に含まれる各器官のキーポイント情報は、上記各器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含んでもよい。顔領域の縁の輪郭キーポイント情報は、顔領域輪郭に対応するキーポイント情報である。ここで、第１キーポイント情報及び第２キーポイント情報は、キーポイントの座標を含むが、これに限定されない。第１キーポイント情報及び第２キーポイント情報は、例えば、キーポイントのカテゴリ識別子等を含んでもよい。例示的には、カテゴリ識別子は、キーポイントが器官のキーポイントであるか、それとも縁の輪郭キーポイントであることを示すために用いられる。
本願の幾つかの任意選択的な実施例において、ステップ１０２において、第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得ることは、顔キーポイント検出アルゴリズムに基づいて、第１画像を検出し、前記第１画像の顔領域に含まれる各器官のキーポイント情報及び前記顔領域の縁の輪郭キーポイント情報を得ることを含む。
ここで、顔領域の縁の輪郭キーポイント情報を得ることは、顔領域における眼部以下の領域の第１組の輪郭点情報を得ることと、顔領域における額領域に関わるキーポイント情報に基づいて、額領域の第２組の輪郭点情報を決定することと、第１組の輪郭点情報及び第２組の輪郭点情報に基づいて、顔領域の縁の輪郭キーポイント情報を決定することと、を含む。対応的に、第２画像を検出して第２キーポイント情報を得ることは、上記第１キーポイント情報と類似しており、ここで、詳細な説明を省略する。
図２ａは、本願の実施例による画像処理方法における顔キーポイントを示す概略図である。図２に示すように、第１態様において、顔領域に含まれる器官のキーポイントは、具体的には、顔領域に含まれる眉、眼、鼻、口などのような器官のうちの少なくとも１つの器官のキーポイントであってもよい。幾つかの実施形態において、器官のキーポイント情報は、器官の中心キーポイント情報及び／又は器官の輪郭キーポイント情報を含んでもよい。器官が眼であることを例とすると、眼のキーポイント情報は、眼の中心キーポイント情報及び眼の輪郭キーポイント情報を含む。例えば、眼のキーポイント情報は、眼の中心キーポイントの座標及び眼の輪郭キーポイントの座標を含む。また、器官が眉であることを例とすると、眉のキーポイント情報は、眉の輪郭キーポイント情報を含んでもよい。例えば、眉のキーポイント情報は、眉の輪郭キーポイントの座標を含んでもよい。本実施例において、まず、顔キーポイント検出アルゴリズムにより、顔領域における各器官のキーポイント情報を得る。
第２態様において、顔キーポイント検出アルゴリズムにより顔領域における眼部以下の領域の第１組の輪郭点情報を得る。第１組の輪郭点は図２ｂに示す通りである。幾つかの実施例において、顔キーポイント検出アルゴリズムにより、顔領域における眼部以下の数が少ないＭ１個のキーポイントを得ることができる。例えば、５個のキーポイント等を含む。また、該Ｍ１個のキーポイントによって、曲線補間の方式でＭ２個のキーポイントを得て、Ｍ１個のキーポイント及びＭ２個のキーポイントを第１組の輪郭点情報とする。
ここで、顔キーポイント検出アルゴリズムとして、いずれか１つの顔認識アルゴリズムを用いてもよい。
第３態様において、額領域の輪郭キーポイント情報を取得する。一例として、所定のパラメータに基づいて、顔領域の額領域における少なくとも３つのキーポイント情報を決定することができる。３つのキーポイント情報の決定を例として、図２ｂに示すように、キーポイント１は、額領域の中線におけるキーポイントに対応する。キーポイント２及びキーポイント３は、それぞれキーポイント１の両側に位置する。第１組の輪郭点情報における、両端に位置するキーポイント４とキーポイント５（ここで、キーポイント４及びキーポイント５はそれぞれ第１組の輪郭キーポイント情報における、眼部に最も近いキーポイントである）、及びキーポイント１、キーポイント２及びキーポイント３に基づいて、曲線フィッティングを行い、曲線フィッティングキーポイント情報を得る。曲線補間アルゴリズムに基づいて、曲線フィッティングキーポイント情報に対して補間処理を行い、額領域に適合し第２組の輪郭点情報を得る。
以上により、第１組の輪郭点情報及び第２組の輪郭点情報を決定することで、顔領域縁の輪郭キーポイント情報を決定する。更に、顔領域の縁の輪郭キーポイント情報及び顔領域に含まれる各器官のキーポイント情報に基づいて、第１キーポイント情報及び第２キーポイント情報を得る。
本願の幾つかの任意選択的な実施例において、第１キーポイント情報及び第２キーポイント情報は、顔領域に関わる外縁キーポイント情報を更に含んでもよい。外縁キーポイント情報は、顔領域の縁の輪郭キーポイント情報に対応する。図２ｃにおいて、外縁キーポイントを例示的に示す。
幾つかの実施例において、外縁キーポイント情報を決定することは、顔領域の中心点を決定することであって、中心点は例えば、鼻の鼻先に対応するキーポイントである、ことと、顔領域の縁の各輪郭キーポイントと中心点との距離を決定し、中心点に対する、各輪郭キーポイントの方向を決定することと、第１輪郭キーポイントに対して、前記第１輪郭キーポイントに対応する方向に従って、顔領域の外部へ所定距離を延在させ、前記第１輪郭キーポイントに対応する外縁キーポイントを決定することであって、前記第１輪郭キーポイントは、前記顔領域の縁におけるいずれか１つの輪郭キーポイントである、こととを含む。ここで、所定距離は、縁の輪郭キーポイントと中心点との距離に相関する。縁の輪郭キーポイントと中心点との距離が大きいほど、所定距離は大きくなる。縁の輪郭キーポイントと中心点との距離が小さいほど、所定距離は小さくなる。上記方式によれば、図２ｃに示した顔領域外部の外縁キーポイント情報を決定することができる。
本実施例において、外縁キーポイント情報の決定の目的は、画像を変形処理する過程において、特に、三角変形領域の変形処理方式で画像変形処理を行う過程において、外縁キーポイント情報及び顔領域の縁の輪郭キーポイント情報で形成される三角変形領域を利用して適応的な変形処理を行うことができる。つまり、顔領域に関連する過渡領域（即ち、外縁キーポイントと顔領域の縁の輪郭キーポイントとの間の領域）に対して適応的な変形処理を行うことで、より高い画像変形効果を得て、顔フュージョン効果をより自然にすることができる。
本願の幾つかの任意選択的な実施例において、ステップ１０３は、第１キーポイント情報及び第２キーポイント情報に基づいて、第１変換関係を決定することと、第１変換関係に基づいて、第１画像におけるターゲット対象の顔に対して変形処理を行い、第１参照画像を得ることと、第１参照画像におけるターゲット対象の顔キーポイントを検出し、第３キーポイント情報を得ることと、第２キーポイント情報及び第３キーポイント情報に基づいて、第２変換関係を決定することと、を含む。
本願の実施例において、第１画像に対して変換処理を行うための第１変換関係及び第２画像に対して変換処理を行うための第２変換関係を少なくとも含む。また、第１変換関係により、第１画像に対して変換処理を行うことにより第１参照画像を得る。第１参照画像におけるターゲット対象の顔キーポイント情報を抽出して第３キーポイント情報として表記する。第２キーポイント情報及び第３キーポイント情報に基づいて、第２変換関係を決定する。これにより第２画像を第１参照画像に向かって変換し、第１画像及び第２画像におけるターゲット対象の顔のフュージョンを実現させ、得られた第３画像におけるターゲット対象の顔を、第１画像及び第２画像における顔の両方にも似ているように見える。
なお、本実施例において、２つの画像におけるターゲット対象の顔をフュージョン処理することは、２つの画像におけるターゲット対象の顔をフュージョンし、得られた新たな画像におけるターゲット対象の顔を、第１画像及び第２画像における顔の両方にも似させることを含んでもよく、２つの画像のうちの１つの画像におけるターゲット対象の顔を変形処理し、変形処理されたターゲット対象の顔と、変形処理されていない画像におけるターゲット対象の顔と、をフュージョンすることを更に含んでもよい。
本願の実施例の技術的解決手段によれば、異なる顔画像を１つの顔画像にフュージョンすることを実現させる。一方で、顔キーポイントに対する検出により、顔キーポイント（例えば、顔器官及び輪郭等）を正確に位置決めすることを実現させ、また、顔フュージョン処理過程において、顔キーポイントに基づいて、対応するフュージョン処理又は変形処理を行い、顔フュージョン処理の効果を大幅に向上させる。
前記実施例によれば、本願の実施例は、画像処理方法を更に提供する。図３は、本願の実施例による画像処理方法を示す第２フローチャートである。図３に示すように、前記方法は以下を含む。
ステップ２０１において、第１画像及び第２画像を取得する。
ステップ２０２において、第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得て、第２画像におけるターゲット対象の顔キーポイントを検出し、第２キーポイント情報を得る。
ステップ２０３において、第１キーポイント情報及び第２キーポイント情報に基づいて第１変換関係を決定する。
ステップ２０４において、第１変換関係に基づいて、第１画像におけるターゲット対象の顔に対して変形処理を行い、第１参照画像を得る。
ステップ２０５において、第１参照画像におけるターゲット対象の顔キーポイントを検出し、第３キーポイント情報を得る。
ステップ２０６において、第２キーポイント情報及び第３キーポイント情報に基づいて、第２変換関係を決定する。
ステップ２０７において、第２変換関係に基づいて、第２画像におけるターゲット対象の顔に対して変形処理を行い、ターゲット画像を得る。
ステップ２０８において、ターゲット画像及び第１参照画像におけるターゲット対象の顔をフュージョンし、第３画像を得る。
本実施例におけるステップ２０１からステップ２０２に関わる詳細な説明は、具体的には、前記実施例におけるステップ１０１からステップ１０２に関わる詳細な説明を参照することができ、ここで詳細な説明を省略する。
本実施例のステップ２０３において、第１キーポイント情報で表される各キーポイントの座標及び第２キーポイント情報で表される各キーポイントの座標に基づいて、第１変換関係を決定することができる。例示的には、第１変換関係は、変換行列により実現することができる。変換行列の取得方式は、初期キーポイントの座標集合を決定することであって、上記初期キーポイントの座標集合は、１つの行列（例えば、行列Ｈと表記される）で表されてもよい、ことと、ターゲットキーポイントの座標集合を決定することであって、上記ターゲットキーポイントの座標集合は、もう１つの行列（例えば、行列Ｐと表記される）で表されてもよい、ことと、を含んでもよい。変換行列がＱと表記されるとすれば、Ｈ・Ｑ＝Ｐであり、つまり、Ｑ＝Ｐ・Ｈ－１である。第１キーポイント情報を第１変換関係（例えば、第１変換行列）により変換処理し、第２キーポイント情報を得ることが望ましいが、誤差等のような様々な原因により、第１キーポイント情報を第１変換関係（例えば、第１変換行列）により変換処理しても、得られたキーポイント情報は、第２キーポイント情報と完全に一致しないことがあることは、理解されるべきである。従って、本実施例のステップ２０４において、第１変換関係（例えば、第１変換行列）に基づいて、第１画像を処理することは、具体的には、第１変換関係に基づいて第１画像におけるターゲット対象の顔部に対して変形処理を行うことであり、得られた画像を第１参照画像と表記する。ここで、例示的には、本願の各実施例における第１変換関係はいずれも、第１キーポイントの座標集合及び第２キーポイントの座標集合に基づいて決定された第１変換行列により実現することができる。
本実施例のステップ２０５において、第３キーポイント情報の取得方式は、前記実施例のステップ１０２における、第１キーポイント情報及び第２キーポイント情報の取得方法に関わる詳細な説明を参照することができ、ここで、詳細な説明を省略する。例示的には、第３キーポイント情報に対応するキーポイントの数は、１０６個であってもよい。
本願の幾つかの任意選択的な実施例において、ステップ２０６において、第２キーポイント情報及び第３キーポイント情報はいずれもキーポイントの座標情報を含み、第２キーポイント情報及び第３キーポイント情報に基づいて第２変換関係を決定することは、第２キーポイント情報及び第３キーポイント情報に対して加重オーバーレイ処理を行い、第４キーポイント情報を得ることと、第２キーポイント情報及び第４キーポイント情報に基づいて第２変換関係を決定することと、を含む。
幾つかの実施例において、キーポイント情報（例えば、第２キーポイント情報、第３キーポイント情報、第４キーポイント情報等）に、キーポイントの座標が含まれる。所定の加重係数に基づいて、第２キーポイントの座標及び第３キーポイントの座標に対して加重オーバーレイ処理を行い、第４キーポイントの座標を得ることができる。続いて、第２キーポイントの座標及び第４キーポイントの座標に基づいて、第２変換関係を決定することができる。
例示的に、第４キーポイントの座標は、下記式を満たすことができる。
ＰＴ４＝ａｌｐｈａ×ＰＴ２＋（１－ａｌｐｈａ）×ＰＴ３ （１）
ただし、ＰＴ４は、第４キーポイントの座標を表し、ＰＴ２は、第２キーポイントの座標を表し、ＰＴ３は、第３キーポイントの座標を表し、ａｌｐｈａは、加重係数を表す。
続いて、第２変換関係に基づいて、第２画像における第２キーポイント情報を、第４キーポイント情報に向けて変形処理し、変形処理された第２画像（即ち、ターゲット画像）におけるキーポイント情報を第４キーポイント情報と適合させ、つまり、ターゲット画像におけるキーポイントの座標を第４キーポイントの座標に近似させる。
幾つかの実施例において、逆距離加重（ＩＤＷ：Ｉｎｖｅｒｓｅ Ｄｉｓｔａｎｃｅ Ｗｅｉｇｈｔｅｄ）アルゴリズムにより、第２画像を変形処理し、ターゲット画像を得ることができる。具体的には、ＩＤＷアルゴリズムにおいて、各キーポイント（即ち、第２キーポイント及び第４キーポイント）がターゲット画像におけるターゲットキーポイントに局所的な影響を与えることを仮定し、このような影響は、距離の増加に伴い、小さくなる。第２画像を変形処理した後に得られたターゲット画像における初期ターゲットキーポイントの座標について、第２キーポイントの座標と第４キーポイントの座標を利用して、初期ターゲットキーポイントと第２キーポイントとの距離、初期ターゲットキーポイントと第４キーポイントとの距離をそれぞれ決定する。上記距離に基づいて、初期ターゲットキーポイントに対する第２キーポイントの加重、初期ターゲットキーポイントに対する第４キーポイントの加重をそれぞれ決定する。決定された加重に基づいて、初期ターゲットキーポイントと第２キーポイントとの距離、ターゲットキーポイントと第４キーポイントとの距離に対してそれぞれ加重平均処理を行う。得られた結果に基づいて、ターゲットキーポイントを決定する。上記第２変換関係は具体的には、ＩＤＷアルゴリズムによりターゲットキーポイントを決定する過程であってもよく、つまり、第２画像における第２キーポイント情報を第４キーポイント情報に向けて変形処理することであることは、理解されるべきである。
他の実施形態において、第２画像における第２キーポイント情報のうちの一部の第２キーポイント情報を変形キーポイントとして選択することも可能である。上記変形キーポイントに基づいて、上記ＩＤＷ方式で処理し、一部のキーポイントを選択する方式によれば、データ処理量を低減させることができる。
本願の任意選択的な実施例において、第２変換関係に基づいて、第２画像におけるターゲット対象の顔に対して変形処理を行う前に、前記方法は、前記第２画像におけるターゲット対象の鼻孔領域に対してガウスぼかし処理を行うことを更に含み、第２変換関係に基づいて第２画像におけるターゲット対象の顔に対して変形処理を行うことは、第２変換関係に基づいて、ガウスぼかし処理後の第２画像におけるターゲット対象の顔に対して変形処理を行うことを含む。
本願の幾つかの実施例において、顔フュージョン後の鼻孔領域に、黒色が目立ち、鼻孔領域に違和感が生じるという問題を避けるために、第２画像に対して変形処理を行う前に、まず、顔領域の鼻孔領域に対してガウスぼかし処理（又は、ガウス平滑化処理と呼ばれてもよい）を行い、鼻孔領域の黒色を薄くし、上記問題を避け、顔フュージョン処理後の第３画像における顔をより自然にする。実際の適用において、顔認識アルゴリズムにより、第２画像におけるターゲット対象の鼻孔領域（決定された鼻孔領域は、矩形、円形又は他の任意の形状であってもよい）を認識し、決定された鼻孔領域に対してガウスぼかし（又はガウス平滑化）処理を行うことができる。
本願の幾つかの任意選択的な実施例において、ステップ２０８において、ターゲット画像及び第１参照画像におけるターゲット対象の顔をフュージョンし、第３画像を得ることは、ターゲット画像におけるターゲット対象の顔キーポイントを検出し、第５キーポイント情報を得ることと、第３キーポイント情報及び第５キーポイント情報に基づいて、第３変換関係を決定することと、第３変換関係に基づいて、第１参照画像におけるターゲット対象の顔に対して変形処理を行い、第２参照画像を得ることと、第２参照画像及びターゲット画像に基づいて第３画像を得ることと、を含む。
本実施例において、第５キーポイント情報の取得方式は、前記実施例のステップ１０２における、第１キーポイント情報及び第２キーポイント情報の取得方式に関わる詳細な説明を参照することができ、ここで、詳細な説明を省略する。
本願の幾つかの実施例において、図２ａから分かるように、任意の隣接する３つのキーポイントにより、１つの三角変形領域を決定することができる。従って、本実施例において、同様なルールに応じて、第３キーポイント情報に基づいて三角変形領域を決定し、第５キーポイント情報に基づいて三角変形領域を決定し、第３キーポイントの座標及び第５キーポイントの座標に基づいて第３変換関係を決定し、第３変換関係に基づいて、三角変形領域を利用して変形処理を行い、第２参照画像を得ることができる。第３変換関係により、第１参照画像における第３キーポイント情報の所在位置をターゲット画像における第５キーポイント情報の所在位置に変えることが望ましいが、誤差等の原因により、変形された第３キーポイント情報の所在位置が第５キーポイント情報の所在位置と完全に重なり合うことを実現できないことが多いことは、理解されるべきである。従って、変形処理された第１参照画像を第２参照画像と表記する。更に、第２参照画像及びターゲット画像に基づいて、第３画像を得る。
幾つかの例において、第３変換関係は、各三角変形領域にそれぞれ対応する変換行列により実現することができる。１つの三角変形領域を例として、第１参照画像における３つの第３キーポイントに対応する座標を決定し、行列を形成し、行列Ａと表記する。ターゲット画像における３つの第５キーポイントに対応する座標を決定し、もう１つの行列を形成し、行列Ｂと表記する。変換行列をＱと表記すれば、Ａ・Ｑ＝Ｂであり、つまり、Ｑ＝Ｂ・Ａ－１である。各三角変形領域について、いずれも対応する第３変換関係を利用して変換処理を行い、第２参照画像を得ることができる。
本願の幾つかの任意選択的な実施例において、第２参照画像及びターゲット画像に基づいて、第３画像を得ることは、第２参照画像及びターゲット画像に対してフュージョン処理を行い、第３参照画像を得ることと、第３参照画像及びターゲット画像に対してフュージョン処理を行い、第３画像を得ることと、を含む。
本発明の実施例は、二回のフュージョン処理により、得られた第２参照画像及びターゲット画像に対してフュージョン処理を行うことができる。勿論、他の実施例において、１回のフュージョン処理又は２回以上のフュージョン処理により、フュージョン処理を行うこともでき、本実施例は、これを限定しない。
本願の幾つかの任意選択的な実施例において、第２参照画像及びターゲット画像に対してフュージョン処理を行い、第３参照画像を得ることは、第２参照画像における画素点に対応する画素値の第１平均値を決定し、前記ターゲット画像における画素点に対応する画素値の第２平均値を決定することと、第２参照画像における第１画素点の画素値と第１平均値に対して差分処理を行い、差と、第２平均値と、を加算処理し、第３参照画像を得ることであって、第１画素点は、第２参照画像におけるいずれか１つの画素点である、ことと、を含む。
幾つかの実施例において、第２参照画像における画素点に対応する画素値の第１平均値を決定することは、第２参照画像における画素点に対応する画素値における色成分値の第１平均値を決定することを含む。なお、ターゲット画像における画素点に対応する画素値の第２平均値を決定することは、ターゲット画像における画素点に対応する画素値における色成分値の第２平均値を決定することを含む。従って、本実施例において、第２参照画像における第１画素点の画素値の色成分値と第１平均値とを差分処理し、差と、ターゲット画像における、第１画素点に対応する画素点の画素値の色成分値の第２平均値と、を加算処理し、第３参照画像を得る。
具体的には、第２参照画像及びターゲット画像はいずれもカラー画像である。従って、第２参照画像及びターゲット画像における各画素点の画素値はいずれも、カラー画像を形成できる色成分を持つ。カラー画像がＲＧＢ画像であることを例とすると、各画素点はいずれも、赤色成分、緑色成分及び青色成分にそれぞれ対応する３つの数値を持つ。３つの色成分値を組み合わせて画素点に対応する画素値を形成する。従って、第２参照画像における３つの色成分の平均値をそれぞれ得て、各色成分の平均値を第１平均値と表記し、ターゲット画像における３つの色成分の平均値をそれぞれ得て、各色成分の平均値を第２平均値と表記する。１つの色成分（例えば、赤色成分、緑色成分、青色成分）を例として、第２参照画像における各画素点の該色成分の数値から、対応する第１平均値を引き去り、ターゲット画像における対応する色成分の第２平均値と加算する。他の色成分及び他の画素点の処理方式はこれと類似しており、得られた結果は、第３参照画像における各画素点の各色成分の数値である。
本願の幾つかの任意選択的な実施例において、第３参照画像及びターゲット画像に対してフュージョン処理を行い、第３画像を得ることは、第３参照画像における第２画素点の画素値と、ターゲット画像における、前記第２画素点に対応する画素点の画素値と、を加重加算処理し、前記第３画像を得ることであって、前記第２画素点は、第３参照画像におけるいずれか１つの画素点である、ことを含む。
幾つかの実施例において、第３参照画像及びターゲット画像はいずれもカラー画像である。従って、第２参照画像及びターゲット画像における各画素点の画素値はいずれも、カラー画像を形成できる色成分を持つ。カラー画像がＲＧＢ画像であることを例とすると、各画素点はいずれも、赤色成分、緑色成分及び青色成分にそれぞれ対応する３つの数値を持つ。３つの色成分値を組み合わせて画素点に対応する画素値を形成する。本実施例において、第３参照画像及びターゲット画像における対応する画素点の１つの色成分の数値に対して加重オーバーレイを行い、加重オーバーレイされた結果を第３画像における対応する画素点の１つの色成分の数値とする。１つの色成分（例えば、赤色成分、緑色成分、青色成分）を例として、第３参照画像における１つの画素点の該色成分の数値に加重係数（例えば４０％）をかけ、ターゲット画像における１つの画素点の該色成分の数値に（１－加重係数）（例えば６０％）をかけ、２つの結果を加算し、得られた結果を第３画像における対応する画素点の該色成分の数値とする。実際の適用において、第２フュージョン処理方式において、ａｌｐｈａ ｂｌｅｎｄｉｎｇアルゴリズムを利用してフュージョン処理を行うことができる。該フュージョン方式により、第３参照画像及びターゲット画像を比例に応じてフュージョン処理する。他の実施形態において、第３参照画像及びターゲット画像に対して、異なる加重係数を設定し、第３参照画像の１つの色成分値に比例係数１をかけた結果と、ターゲット画像における該色成分値に比例係数２をかけた結果とを加算し、加算結果を第３画像における対応する色成分の数値とする。ここで、比例係数１と比例係数２の和は、１でなくてもよい。
本願の幾つかの任意選択的な実施例において、ターゲット画像及び第１参照画像におけるターゲット対象の顔に対してフュージョン処理を行い、第３画像を得る前に、方法は、第１参照画像に対して最適化処理を行うことであって、最適化処理は、第１参照画像におけるターゲット対象の顔に対して行われる、美肌処理、美白処理、色調補正処理のうちの少なくとも１つの処理を含む、ことを更に含み、なお、ターゲット画像及び第１参照画像に基づいて、第３画像を生成することは、ターゲット画像及び最適化処理後の第１参照画像に基づいて、第３画像を生成し、顔フュージョン処理された画像効果をより美しくすることを含む。
本願の任意選択的な実施例において、方法は、第３画像に対して画像スタイル変換処理を行い、第５画像を得ることを更に含む。
本実施例において、様々な画像スタイルに対応するパラメータが予め設定されてもよい。画像スタイルは例えば、油絵調、中国画像スタイル等である。勿論、他の画像スタイルであってもよい。得られた第３画像がデフォルトスタイルである場合、画像スタイル変換需要があると決定された場合、例えば、画像スタイル変換命令を受信した場合、画像スタイル変換命令に応じて、対応する画像スタイルパラメータを決定し、画像スタイルパラメータに基づいて、第３画像に対して画像スタイル変換処理を行い、第５画像を得る。
実際の適用において、ヒューマンマシンインタラクション方式で画像スタイル変換命令を受信することができる。例えば、ヒューマンマシンインタラクションインタフェースに複数の画像スタイルボタンが表示され、ユーザは、ターゲット画像スタイルをトリガすることで、対応する画像スタイル変換命令を受信する。
本願の実施例の技術的解決手段によれば、第１態様において、異なる顔画像を１つの顔画像にフュージョンする。第２態様において、顔のキーポイントの検出により、顔キーポイント（例えば、顔器官及び輪郭等）を正確に位置決めし、顔フュージョン処理過程において、顔キーポイントに基づいて、対応するフュージョン処理又は変形処理を行い、顔フュージョン処理の効果を大幅に向上させる。第３態様において、鼻孔領域のガウスぼかし処理により、鼻孔領域を薄くすることで、顔フュージョン処理された鼻孔領域の黒色が目立つという問題を避け、顔フュージョン効果をある程度向上させ、顔のフュージョンをより自然にする。第４態様において、本実施例は、ＩＤＷアルゴリズムにより第２画像に対して変形処理を行い、顔の五官の美観性に対する調整を実現させる。三角変形領域方式により第１参照画像を変形処理し、顔領域の変換を実現させる。第５態様において、本実施例は、第２参照画像及びターゲット画像に対して、平均値に基づいたフュージョン処理方式及び比例混合に基づいた処理方式で、フュージョン処理を行う。プロセスが簡単であり、処理効率を向上させる。
本願の実施例は、画像処理方法を更に提供する。図４は、本願の実施例による画像処理方法を示す第３フローチャートである。図４に示すように、前記方法は以下を含む。
ステップ３０１において、第１画像及び第２画像を取得する。
ステップ３０２において、第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得て、第２画像におけるターゲット対象の顔キーポイントを検出し、第２キーポイント情報を得る。
ステップ３０３において、第１キーポイント情報及び第２キーポイント情報に基づいて第１変換関係を決定する。
ステップ３０４において、第１変換関係に基づいて、第１画像におけるターゲット対象の顔に対して変形処理を行い、第１参照画像を得る。
ステップ３０５において、第１参照画像におけるターゲット対象の顔キーポイントを検出し、第３キーポイント情報を得る。
ステップ３０６において、第２キーポイント情報及び第３キーポイント情報に基づいて、第２変換関係を決定する。
ステップ３０７において、第２変換関係に基づいて、第２画像に対して変形処理を行い、ターゲット画像を得る。
ステップ３０８において、ターゲット画像及び第１参照画像におけるターゲット対象の顔をフュージョンし、第３画像を得る。
ステップ３０９において、第１画像と第２画像におけるターゲット対象の口部状態が異なっており、且つ第３画像におけるターゲット対象が開口状態である場合、歯テンプレート画像に基づいて、第３画像におけるターゲット対象に対して歯追加操作を行い、第４画像を生成する。
本実施例におけるステップ３０１からステップ３０８に関わる詳細な説明は、具体的には、前記実施例におけるステップ２０１からステップ２０８に関わる詳細な説明を参照することができ、ここで、詳細な説明を省略する。
本実施例のステップ３０９において、第１画像及び第２画像におけるターゲット対象はいずれも閉口状態であると、顔フュージョン処理された第３画像におけるターゲット対象も閉口状態である。第１画像及び第２画像におけるターゲット対象のうち、１つが閉口状態であり、もう1つが開口状態であると、顔フュージョン処理された第３画像におけるターゲット状態は、閉口状態であるか又は開口状態である。第３画像におけるターゲット対象が開口状態である場合、歯充填処理を行い、顔フュージョン效更をより自然にする。
本実施例において、複数の歯テンプレート画像を予め設定し、複数の歯テンプレート画像から１つの歯テンプレート画像を選択してターゲット対象の口部領域に追加し、ターゲット対象の歯の追加を実現させ、第４画像を生成する。実際の適用において、様々な歯テンプレート画像は、ターゲット対象の口部開放領域の形状に関わる。従って、第３画像におけるターゲット対象が開口状態である場合、画像認識アルゴリズムにより、ターゲット対象の口部開放領域の形状を認識し、該形状に基づいて、対応するカテゴリ識別子を決定する。複数の歯テンプレート画像は、対応するカテゴリ識別子をインデックスとすることができる。該カテゴリ識別子により、複数の歯テンプレート画像のインデックスを照会することで、カテゴリ識別子に対応する歯テンプレート画像を得る。歯テンプレート画像をターゲット対象の口部開放領域に追加し、歯の追加を実現させる。
本願の幾つかの任意選択的な実施例において、方法は、第４画像に対して画像スタイル変換を行い、第５画像を得ることを差に含む。
本実施例において、様々な画像スタイルに対応するパラメータが予め設定されてもよい。画像スタイルは例えば、油絵調、中国画像スタイル等である。勿論、他の画像スタイルであってもよい。得られた第４画像がデフォルトスタイルである場合、画像スタイル変換需要があると決定された場合、例えば、画像スタイル変換命令を受信した場合、画像スタイル変換命令に応じて、対応する画像スタイルパラメータを決定し、画像スタイルパラメータに基づいて、第４画像に対して画像スタイル変換処理を行い、第５画像を得る。
実際の適用において、ヒューマンマシンインタラクション方式で画像スタイル変換命令を受信することができる。例えば、ヒューマンマシンインタラクションインタフェースに複数の画像スタイルボタンが表示され、ユーザは、ターゲット画像スタイルをトリガすることで、対応する画像スタイル変換命令を受信する。
本実施例において、前記実施例に対応する有益な効果に加えて、第３画像が開口状態である場合について、歯の補充を実現させ、顔フュージョン処理された画像の口部の効果をより自然にする。
本願の実施例は、画像処理装置を更に提供する。図５は、本願の実施例による画像処理装置の構造を示す第１概略図である。図５に示すように装置は、取得ユニット４１と、キーポイント検出ユニット４２と、フュージョン処理ユニット４３と、を備え、
取得ユニット４１は、第１画像及び第２画像を取得するように構成され、
キーポイント検出ユニット４２は、第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得て、第２画像におけるターゲット対象の顔キーポイントを検出し、第２キーポイント情報を得るように構成され、
フュージョン処理ユニット４３は、第１キーポイント情報及び第２キーポイント情報に基づいて変換関係を決定し、変換関係に基づいて、第１画像及び第２画像におけるターゲット対象の顔をフュージョンし、第３画像を得るように構成される。
本願の幾つかの任意選択的な実施例において、フュージョン処理ユニット４３は、第１キーポイント情報及び第２キーポイント情報に基づいて、第１変換関係を決定し、第１変換関係に基づいて、第１画像におけるターゲット対象の顔に対して変形処理を行い、第１参照画像を得るように構成され、
キーポイント検出ユニット４２は更に、第１参照画像におけるターゲット対象の顔キーポイントを検出し、第３キーポイント情報を得るように構成され、
フュージョン処理ユニット４３は更に、第２キーポイント情報及び第３キーポイント情報に基づいて、第２変換関係を決定するように構成される。
本願の幾つかの任意選択的な実施例において、フュージョン処理ユニット４３は、第２変換関係に基づいて、第２画像におけるターゲット対象の顔に対して変形処理を行い、ターゲット画像を得て、ターゲット画像及び第１参照画像におけるターゲット対象の顔をフュージョンし、第３画像を得るように構成される。
本願の幾つかの任意選択的な実施例において、第２キーポイント情報及び第３キーポイント情報は、いずれもキーポイントの座標情報を含み、フュージョン処理ユニット４３は、第２キーポイント情報及び第３キーポイント情報に対して加重オーバーレイ処理を行い、第４キーポイント情報を得て、第２キーポイント情報及び第４キーポイント情報に基づいて、第２変換関係を決定するように構成される。
本願の幾つかの任意選択的な実施例において、フュージョン処理ユニット４３は、ターゲット画像におけるターゲット対象の顔キーポイントを検出し、第５キーポイント情報を得て、第３キーポイント情報及び第５キーポイント情報に基づいて、第３変換関係を決定し、第３変換関係に基づいて、第１参照画像におけるターゲット対象の顔に対して変形処理を行い、第２参照画像を得て第２参照画像及び前記ターゲット画像に基づいて第３画像を得るように構成される。
本願の幾つかの任意選択的な実施例において、フュージョン処理ユニット４３は、第２参照画像及びターゲット画像に対してフュージョン処理を行い、第３参照画像を得て、第３参照画像及びターゲット画像に対してフュージョン処理を行い、第３画像を得るように構成される。
本願の幾つかの任意選択的な実施例において、フュージョン処理ユニット４３は、第２参照画像における画素点に対応する画素値の第１平均値を決定し、記ターゲット画像における画素点に対応する画素値の第２平均値を決定し、第２参照画像における第１画素点の画素値と第１平均値に対して差分処理を行い、差と、第２平均値と、を加算処理し、第３参照画像を得るように構成され、前記第１画素点は、第２参照画像におけるいずれか１つの画素点である。
本願の幾つかの任意選択的な実施例において、フュージョン処理ユニット４３は、第３参照画像における第２画素点の画素値と、ターゲット画像における、第２画素点に対応する画素点の画素値と、を加重加算処理し、第３画像を得るように構成され、第２画素点は、第３参照画像におけるいずれか１つの画素点である。
本願の幾つかの任意選択的な実施例において、フュージョン処理ユニット４３は、ターゲット画像及び第１参照画像におけるターゲット対象の顔をフュージョンし、第３画像を得る前に、第１参照画像に対して最適化処理を行うように構成され、最適化処理は、第１参照画像におけるターゲット対象の顔に対して行われる、美肌処理、美白処理、色調補正処理のうちの少なくとも１つの処理を含み、フュージョン処理ユニット４３は更に、ターゲット画像及び最適化処理後の第１参照画像に基づいて、第３画像を生成するように構成される。
本願の幾つかの任意選択的な実施例において、フュージョン処理ユニット４３は、第２変換関係に基づいて、第２画像におけるターゲット対象の顔に対して変形処理を行う前に、第２画像におけるターゲット対象の鼻孔領域に対してガウスぼかし処理を行うように構成され、フュージョン処理ユニット４３は更に、第２変換関係に基づいて、ガウスぼかし処理後の第２画像におけるターゲット対象の顔に対して変形処理を行うように構成される。
本願の幾つかの任意選択的な実施例において、前キーポイント検出ユニット４２は、顔キーポイント検出アルゴリズムに基づいて、第１画像を検出し、第１画像の顔領域に含まれる各器官のキーポイント情報及び顔領域の縁の輪郭キーポイント情報を得るように構成される。
本願の幾つかの任意選択的な実施例において、キーポイント検出ユニット４２は、顔領域における眼部以下の領域の第１組の輪郭キーポイント情報を得て、顔領域における額領域に関わるキーポイント情報に基づいて、額領域の第２組の輪郭キーポイント情報を決定し、第１組の輪郭キーポイント情報及び第２組の輪郭キーポイント情報に基づいて、顔領域の縁の輪郭キーポイント情報を決定するように構成される。
本願の幾つかの任意選択的な実施例において、前記第１キーポイント情報及び前記第２キーポイント情報は、顔領域に関わる外縁キーポイント情報を更に含み、前記外縁キーポイント情報は、前記顔領域の縁の輪郭キーポイント情報に対応する。
本願の幾つかの任意選択的な実施例において、前記キーポイント検出ユニット４２は更に、前記顔領域の中心点を決定し、前記顔領域の縁の各輪郭キーポイントと前記中心点との距離を決定し、前記中心点に対する、各輪郭キーポイントの方向を決定し、第１輪郭キーポイントに対して、前記第１輪郭キーポイントに対応する方向に従って、顔領域の外部へ所定距離を延在させ、前記第１輪郭キーポイントに対応する外縁キーポイントを決定するように構成され、前記第１輪郭キーポイントは、前記顔領域の縁におけるいずれか１つの輪郭キーポイントである。
本願の幾つかの任意選択的な実施例において、図６に示すように、装置は、第１画像と第２画像におけるターゲット対象の口部状態が異なっており、且つ第３画像におけるターゲット対象が開口状態である場合、歯テンプレート画像に基づいて、第３画像における前記ターゲット対象に対して歯追加操作を行い、第４画像を生成するように構成される画像処理ユニット４４を更に備える。
本願の幾つかの任意選択的な実施例において、図７に示すように、装置は、第３画像又は第３画像に対して歯追加操作を行うことで得られた第４画像に対して画像スタイル変換処理を行い、第５画像を得るように構成される画像スタイル変換処理ユニット４５を更に備える。
本願の実施例において、画像処理装置における取得ユニット４１、キーポイント検出ユニット４２、フュージョン処理ユニット４３、画像処理ユニット４４及び画像スタイル変換処理ユニット４５は、実際の適用において、中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロ制御ユニット（ＭＣＵ：Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）により実現可能である。
上記実施例で提供される画像処理装置が画像処理を行う場合、単に上述した各プログラムモジュールの区分を持って例を挙げて説明したが、実際の適用においては、必要に応じて上記処理を異なる機能モジュールで完成させ、即ち、設備の内部構造を様々なプログラムモジュールに区分することによって、上述した全部又は一部の処理を完成させることができることに留意されたい。なお、上記実施例で提供される画像処理装置は、画像処理方法と同一の構想に属し、その具体的な実現過程は、方法実施例を参照されたい。ここで詳細な説明を省略する。
本願の実施例は、電子機器を更に提供する。図８は、本願の実施例による電子機器のハードウェア構造を示す概略図である。図８に示すように、電子機器は、メモリ５２と、プロセッサ５１と、メモリ５２に記憶されてプロセッサ５１で実行される可能なコンピュータプログラムと、を備え、プロセッサ５１が前記プログラムを実行する時、本願の実施例の方法のステップを実現させる。
電子機器における各ユニットはバスシステム５３によって結合されることが理解されるべきである。バスシステム５３は、これらの部材間の接続及び通信を実現するためのものであることが理解されるべきである。バスシステム５３はデータバスを含む以外、電源バス、制御バス及び状態信号バスを含む。しかしながら、明確に説明するために、図８において、全てのバスをバスシステム５３と表記する。
理解すべき点として、メモリ５２は、揮発性メモリ又は不揮発性メモリであってもよいし、揮発性メモリと不揮発性メモリの両方であってもよい。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ランダムアクセスメモリ（ＦＲＡＭ（登録商標）：ｆｅｒｒｏｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、磁気面メモリ、光ディスク、又は読み出し専用型光ディスク（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。磁気面メモリは、磁気ディスクメモリ又は磁気テープメモリであってもよい。揮発性メモリは、外部キャッシュとして用いられるランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。非限定的な例証として、ＲＡＭは、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期スタティックランダムアクセスメモリ（ＳＳＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＤＤＲＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、エンハンスト同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期リンクダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ：Ｓｙｎｃｈｌｉｎｋ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びダイレクトラムバスランダムアクセスメモリ（ＤＲＲＡＭ（登録商標）：Ｄｉｒｅｃｔ Ｒａｍｂｕｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの多数の形態で使用可能である。本発明の実施例に記載されているメモリ５２は、これら及び任意の他の適切な形態のメモリを含むが、これらに限定されないことに留意されたい。
上記本発明の実施例に開示された方法はプロセッサ５１に適用されるか、又はプロセッサ５１により実現される。プロセッサ５１は、信号を処理する能力を有する集積回路チップであり得る。上記方法の各ステップは、実現する過程において、プロセッサ５１におけるハードウェアの集積論理回路又はソフトウェアの形の指令により完成することができる。上記プロセッサ５１は、汎用プロセッサ、ＤＳＰ、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネント等であってもよい。プロセッサ５１は、本発明の実施例に開示されている各方法、ステップ及び論理的ブロック図を実現又は実行することができる。汎用プロセッサはマイクロプロセッサであってもよいし、該プロセッサは如何なる従来のプロセッサ等であってもよい。本発明の実施例に開示されている方法のステップに合わせて、ハードウェア解読プロセッサによって実行し、又は解読プロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせで実行して完成するように示す。ソフトウェアモジュールは、記憶媒体内に存在してもよい。該記憶媒体は、メモリ５２内に位置し、プロセッサ５１はメモリ５２中の情報を読み取り、そのハードウェアと共に上記方法のステップを完了する。
例示的な実施例において、電子機器は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｒｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、複合プログラマブルロジックデバイス（ＣＰＬＤ：Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ、汎用プロセッサ、コントローラ、ＭＣＵ、マイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、又は他の電子素子により実現され、前記方法を実行するために用いられる。
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該プログラムがプロセッサにより実行される時、本願の実施例に記載の方法のステップを実現させる。
本願の実施例は、プロセッサを更に提供する。前記プロセッサは、コンピュータプログラムを呼び出すように構成され、前記プロセッサは、前記プログラムを実行する時、本願の実施例に記載の方法のステップを実現させる。
本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインターフェイス、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した該ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせで実現してもよい。
上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよく、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者でれば、理解すべきである。
又は、本願の上記集積したユニットがソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ機器（パーソナルコンピュータ、サーバ又はネットワーク装置など）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
以上は本願の実施形態に過ぎず、本願の保護の範囲はそれらに制限されるものではなく、当業者が本願に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。
41 取得ユニット
42 キーポイント検出ユニット
43 フュージョン処理ユニット
44 画像処理ユニット
45 画像スタイル変換処理ユニット
51 プロセッサ
52 メモリ

Claims (19)

  1. 画像処理方法であって、
    第１画像及び第２画像を取得することと、
    前記第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得て、前記第２画像におけるターゲット対象の顔キーポイントを検出し、第２キーポイント情報を得ることであって、前記第１キーポイント情報及び前記第２キーポイント情報は、顔領域に関わる外縁キーポイント情報を更に含み、前記外縁キーポイント情報は、前記顔領域の縁の輪郭キーポイント情報に対応し、前記外縁キーポイント情報が対応する外縁キーポイントと前記顔領域の縁の輪郭キーポイント情報が対応する輪郭キーポイントとの間の領域は、前記顔領域の過渡領域である、ことと、
    前記第１キーポイント情報及び前記第２キーポイント情報に基づいて変換関係を決定することと、
    前記変換関係に基づいて、前記第１画像及び前記第２画像におけるターゲット対象の顔をフュージョンし、第３画像を得ることと、を含む、画像処理方法。
  2. 前記第１キーポイント情報及び前記第２キーポイント情報に基づいて変換関係を決定することは、
    前記第１キーポイント情報及び前記第２キーポイント情報に基づいて、第１変換関係を決定することと、
    前記第１変換関係に基づいて、前記第１画像におけるターゲット対象の顔に対して変形処理を行い、第１参照画像を得ることと、
    前記第１参照画像におけるターゲット対象の顔キーポイントを検出し、第３キーポイント情報を得ることと、
    前記第２キーポイント情報及び第３キーポイント情報に基づいて、第２変換関係を決定することと、を含むことを特徴とする
    請求項１に記載の方法。
  3. 前記変換関係に基づいて、前記第１画像及び前記第２画像におけるターゲット対象の顔をフュージョンし、第３画像を得ることは、
    前記第２変換関係に基づいて、前記第２画像におけるターゲット対象の顔に対して変形処理を行い、ターゲット画像を得ることと、
    前記ターゲット画像及び前記第１参照画像におけるターゲット対象の顔をフュージョンし、第３画像を得ることと、を含むことを特徴とする
    請求項２に記載の方法。
  4. 前記第２キーポイント情報及び前記第３キーポイント情報は、いずれもキーポイントの座標を含み、前記第２キーポイント情報及び第３キーポイント情報に基づいて第２変換関係を決定することは、
    前記第２キーポイントの座標及び前記第３キーポイントの座標に対して加重オーバーレイ処理を行い、第４キーポイント情報を得ることであって、前記第４キーポイント情報に第４キーポイントの座標が含まれる、ことと、
    前記第２キーポイントの座標及び前記第４キーポイントの座標に基づいて、前記第２変換関係を決定することと、を含むことを特徴とする
    請求項２に記載の方法。
  5. 前記ターゲット画像及び前記第１参照画像におけるターゲット対象の顔をフュージョンし、前記第３画像を得ることは、
    前記ターゲット画像におけるターゲット対象の顔キーポイントを検出し、第５キーポイント情報を得ることと、
    前記第３キーポイント情報及び前記第５キーポイント情報に基づいて、第３変換関係を決定することと、
    前記第３変換関係に基づいて、前記第１参照画像におけるターゲット対象の顔に対して変形処理を行い、第２参照画像を得ることと、
    前記第２参照画像及び前記ターゲット画像に基づいて前記第３画像を得ることと、を含むことを特徴とする
    請求項３に記載の方法。
  6. 前記第２参照画像及び前記ターゲット画像に基づいて、第３画像を得ることは、
    前記第２参照画像及び前記ターゲット画像に対してフュージョン処理を行い、第３参照画像を得ることと、
    前記第３参照画像及び前記ターゲット画像に対してフュージョン処理を行い、前記第３画像を得ることと、を含むことを特徴とする
    請求項５に記載の方法。
  7. 前記第２参照画像及び前記ターゲット画像に対してフュージョン処理を行い、第３参照画像を得ることは、
    前記第２参照画像における画素点の画素値の第１平均値を決定し、前記ターゲット画像における画素点の画素値の第２平均値を決定することと、
    前記第２参照画像における第１画素点の画素値と前記第１平均値に対して差分処理を行い、差と前記第２平均値に対して加算処理を行い、第３参照画像を得ることと、を含み、
    前記第１画素点は、前記第２参照画像におけるいずれか１つの画素点であることを特徴とする
    請求項６に記載の方法。
  8. 前記第３参照画像及び前記ターゲット画像に対してフュージョン処理を行い、前記第３画像を得ることは、
    前記第３参照画像における第２画素点の画素値と、前記ターゲット画像における、前記第２画素点に対応する画素点の画素値と、を加重加算処理し、前記第３画像を得ることであって、前記第２画素点は、前記第３参照画像におけるいずれか１つの画素点である、ことを含むことを特徴とする
    請求項６に記載の方法。
  9. 前記ターゲット画像及び前記第１参照画像におけるターゲット対象の顔をフュージョンし、前記第３画像を得る前に、前記方法は、
    前記第１参照画像に対して最適化処理を行うことであって、前記最適化処理は、前記第１参照画像におけるターゲット対象の顔に対して行われる、美肌処理、美白処理、色調補正処理のうちの少なくとも１つの処理を含む、ことを更に含み、
    前記ターゲット画像及び前記第１参照画像に基づいて、第３画像を生成することは、
    前記ターゲット画像及び最適化処理後の第１参照画像に基づいて、第３画像を生成することを含むことを特徴とする
    請求項３に記載の方法。
  10. 前記第２変換関係に基づいて、前記第２画像におけるターゲット対象の顔に対して変形処理を行う前に、前記方法は、
    前記第２画像におけるターゲット対象の鼻孔領域に対してガウスぼかし処理を行うことを更に含み、
    前記第２変換関係に基づいて前記第２画像におけるターゲット対象の顔に対して変形処理を行うことは、前記第２変換関係に基づいて、ガウスぼかし処理後の第２画像におけるターゲット対象の顔に対して変形処理を行うことを含むことを特徴とする
    請求項３に記載の方法。
  11. 前記第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得ることは、
    顔キーポイント検出アルゴリズムに基づいて、前記第１画像を検出し、前記第１画像の顔領域に含まれる各器官のキーポイント情報及び前記顔領域の縁の輪郭キーポイント情報を得ることを含むことを特徴とする
    請求項１に記載の方法。
  12. 前記顔領域の縁の輪郭キーポイント情報を得ることは、
    前記顔領域における眼部以下の領域の第１組の輪郭キーポイント情報を得ることと、
    前記顔領域における額領域に関わるキーポイント情報に基づいて、前記額領域の第２組の輪郭キーポイント情報を決定することと、
    前記第１組の輪郭キーポイント情報及び前記第２組の輪郭キーポイント情報に基づいて、前記顔領域の縁の輪郭キーポイント情報を決定することと、を含むことを特徴とする
    請求項１１に記載の方法。
  13. 前記外縁キーポイント情報を決定することは、
    前記顔領域の中心点を決定することと、
    前記顔領域の縁の各輪郭キーポイントと前記中心点との距離を決定し、前記中心点に対する、各輪郭キーポイントの方向を決定することと、
    第１輪郭キーポイントに対して、前記第１輪郭キーポイントに対応する方向に従って、顔領域の外部へ所定距離を延在させ、前記第１輪郭キーポイントに対応する外縁キーポイントを決定することであって、前記第１輪郭キーポイントは、前記顔領域の縁におけるいずれか１つの輪郭キーポイントである、こととを含むことを特徴とする
    請求項１に記載の方法。
  14. 前記方法は、
    前記第１画像と前記第２画像におけるターゲット対象の口部状態が異なっており、且つ前記第３画像におけるターゲット対象が開口状態である場合、歯テンプレート画像に基づいて、前記第３画像における前記ターゲット対象に対して歯追加操作を行い、第４画像を生成することを更に含むことを特徴とする
    請求項１から１３のうちいずれか一項に記載の方法。
  15. 前記方法は、前記第３画像又は前記第３画像に対して歯追加操作を行うことで得られた第４画像に対して画像スタイル変換処理を行い、第５画像を得ることを更に含むことを特徴とする
    請求項１から１４のうちいずれか一項に記載の方法。
  16. 画像処理装置であって、前記装置は、取得ユニットと、キーポイント検出ユニットと、フュージョン処理ユニットと、を備え、
    前記取得ユニットは、第１画像及び第２画像を取得するように構成され、
    前記キーポイント検出ユニットは、前記第１画像におけるターゲット対象の顔キーポイントを検出し、第１キーポイント情報を得て、前記第２画像におけるターゲット対象の顔キーポイントを検出し、第２キーポイント情報を得るように構成され、
    前記第１キーポイント情報及び前記第２キーポイント情報は、顔領域に関わる外縁キーポイント情報を更に含み、前記外縁キーポイント情報は、前記顔領域の縁の輪郭キーポイント情報に対応し、前記外縁キーポイント情報が対応する外縁キーポイントと前記顔領域の縁の輪郭キーポイント情報が対応する輪郭キーポイントとの間の領域は、前記顔領域の過渡領域であり、
    前記フュージョン処理ユニットは、前記第１キーポイント情報及び前記第２キーポイント情報に基づいて変換関係を決定し、前記変換関係に基づいて、前記第１画像及び前記第２画像におけるターゲット対象の顔をフュージョンし、第３画像を得るように構成される、画像処理装置。
  17. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、該プログラムがプロセッサにより実行される時、請求項１から１５のうちいずれか一項に記載の方法のステップを実現させる、コンピュータ可読記憶媒体。
  18. 電子機器であって、前記電子機器は、メモリと、プロセッサと、メモリに記憶されてプロセッサでの実行可能なコンピュータプログラムと、を備え、前記プロセッサが前記プログラムを実行する時、請求項１から１５のうちいずれか一項に記載の方法のステップを実現させる、電子機器。
  19. プロセッサであって、前記プロセッサは、コンピュータプログラムを呼び出すように構成され、前記プロセッサは、前記プログラムを実行する時、請求項１から１５のうちいずれか一項に記載の方法のステップを実現させる、プロセッサ。
JP2020566648A 2019-09-30 2020-04-28 画像処理方法、装置及び電子機器 Active JP7102554B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910944389.8 2019-09-30
CN201910944389.8A CN110728620A (zh) 2019-09-30 2019-09-30 一种图像处理方法、装置和电子设备
PCT/CN2020/087498 WO2021062998A1 (zh) 2019-09-30 2020-04-28 一种图像处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
JP2022507998A JP2022507998A (ja) 2022-01-19
JP7102554B2 true JP7102554B2 (ja) 2022-07-19

Family

ID=75275163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020566648A Active JP7102554B2 (ja) 2019-09-30 2020-04-28 画像処理方法、装置及び電子機器

Country Status (4)

Country Link
US (1) US11461870B2 (ja)
EP (1) EP3971820A4 (ja)
JP (1) JP7102554B2 (ja)
KR (1) KR102391087B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111791B (zh) * 2021-04-16 2024-04-09 深圳市格灵人工智能与机器人研究院有限公司 图像滤镜转换网络训练方法、计算机可读存储介质
CN113706428B (zh) * 2021-07-02 2024-01-05 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171470A (ja) 2012-02-21 2013-09-02 Kao Corp 顔画像合成装置及び顔画像合成方法
US20180068178A1 (en) 2016-09-05 2018-03-08 Max-Planck-Gesellschaft Zur Förderung D. Wissenschaften E.V. Real-time Expression Transfer for Facial Reenactment
US20180204052A1 (en) 2015-08-28 2018-07-19 Baidu Online Network Technology (Beijing) Co., Ltd. A method and apparatus for human face image processing
WO2019133266A1 (en) 2017-12-29 2019-07-04 Microsoft Technology Licensing, Llc Image transformation by fusion
US20190251684A1 (en) 2018-02-09 2019-08-15 Samsung Electronics Co., Ltd. Method and apparatus with image fusion

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2355789A (en) 1999-10-26 2001-05-02 Tricorder Technology Plc Surface registration
WO2006057267A1 (ja) * 2004-11-25 2006-06-01 Nec Corporation 顔画像合成方法および顔画像合成装置
KR20070068501A (ko) * 2005-12-27 2007-07-02 박현 2차원 칼라 얼굴 영상에서 반복적인 주성분분석 재구성을이용한 자동적인 잡음 제거
KR101605769B1 (ko) * 2009-05-11 2016-03-23 삼성전자주식회사 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
KR101089287B1 (ko) 2010-06-09 2011-12-05 한국과학기술원 다중 얼굴 특징 정보 융합 기반 자동 얼굴 인식 장치 및 방법
CN103324904A (zh) 2012-03-20 2013-09-25 凹凸电子（武汉）有限公司 人脸识别系统及其方法
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
TWM474207U (zh) 2013-07-11 2014-03-11 Imar Technology Co Ltd 行動商務身份證實之圖像辨識服務系統
KR20150039028A (ko) * 2013-10-01 2015-04-09 주식회사 이우소프트 치아교정 시뮬레이션 방법 및 이를 수행하는 시스템
CN103745237A (zh) 2013-12-26 2014-04-23 暨南大学 光照变化条件下的人脸识别算法
US9940695B2 (en) 2016-08-26 2018-04-10 Multimedia Image Solution Limited Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation
US10939742B2 (en) 2017-07-13 2021-03-09 Shiseido Company, Limited Systems and methods for virtual facial makeup removal and simulation, fast facial detection and landmark tracking, reduction in input video lag and shaking, and a method for recommending makeup
CN109522773A (zh) * 2017-09-18 2019-03-26 丽宝大数据股份有限公司 身体信息分析装置及其脸型检测方法
US10733699B2 (en) * 2017-10-24 2020-08-04 Deep North, Inc. Face replacement and alignment
CN107993216B (zh) * 2017-11-22 2022-12-20 腾讯科技（深圳）有限公司 一种图像融合方法及其设备、存储介质、终端
CN109872379B (zh) * 2017-12-05 2022-12-02 富士通株式会社 数据处理装置和方法
CN108229330A (zh) 2017-12-07 2018-06-29 深圳市商汤科技有限公司 人脸融合识别方法及装置、电子设备和存储介质
CN108537135A (zh) 2018-03-16 2018-09-14 北京市商汤科技开发有限公司 对象识别及对象识别网络的训练方法和装置、电子设备
CN108985241B (zh) * 2018-07-23 2023-05-02 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109147012B (zh) 2018-09-20 2023-04-14 麒麟合盛网络技术股份有限公司 图像处理方法和装置
CN109712080A (zh) 2018-10-12 2019-05-03 迈格威科技有限公司 图像处理方法、图像处理装置及存储介质
CN109598749B (zh) * 2018-11-30 2023-03-10 腾讯科技（深圳）有限公司 一种三维人脸模型的参数配置方法、装置、设备及介质
CN109657583B (zh) * 2018-12-10 2021-10-22 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质
CN109801249A (zh) 2018-12-27 2019-05-24 深圳豪客互联网有限公司 图像融合方法、装置、计算机设备和存储介质
CN109934766B (zh) * 2019-03-06 2021-11-30 北京市商汤科技开发有限公司 一种图像处理方法及装置
CN110163832B (zh) 2019-05-24 2021-06-08 北京百度网讯科技有限公司 人脸融合方法、装置和终端
CN113569791B (zh) * 2019-07-30 2022-06-21 北京市商汤科技开发有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN110443230A (zh) 2019-08-21 2019-11-12 北京百度网讯科技有限公司 人脸融合方法、装置以及电子设备
CN110728620A (zh) 2019-09-30 2020-01-24 北京市商汤科技开发有限公司 一种图像处理方法、装置和电子设备
JP2021077376A (ja) * 2019-11-07 2021-05-20 ハイパーコネクト インコーポレイテッド 画像変換装置及び方法、並びにコンピュータ読み取り可能な記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171470A (ja) 2012-02-21 2013-09-02 Kao Corp 顔画像合成装置及び顔画像合成方法
US20180204052A1 (en) 2015-08-28 2018-07-19 Baidu Online Network Technology (Beijing) Co., Ltd. A method and apparatus for human face image processing
US20180068178A1 (en) 2016-09-05 2018-03-08 Max-Planck-Gesellschaft Zur Förderung D. Wissenschaften E.V. Real-time Expression Transfer for Facial Reenactment
WO2019133266A1 (en) 2017-12-29 2019-07-04 Microsoft Technology Licensing, Llc Image transformation by fusion
US20190251684A1 (en) 2018-02-09 2019-08-15 Samsung Electronics Co., Ltd. Method and apparatus with image fusion

Also Published As

Publication number Publication date
KR102391087B1 (ko) 2022-04-27
US20210104012A1 (en) 2021-04-08
EP3971820A4 (en) 2022-08-10
JP2022507998A (ja) 2022-01-19
EP3971820A1 (en) 2022-03-23
KR20210041534A (ko) 2021-04-15
US11461870B2 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
WO2021062998A1 (zh) 一种图像处理方法、装置和电子设备
JP7160925B2 (ja) 画像処理方法及び装置
US11055906B2 (en) Method, device and computing device of face image fusion
CN109063560B (zh) 图像处理方法、装置、计算机可读存储介质和终端
CN110175558B (zh) 一种人脸关键点的检测方法、装置、计算设备及存储介质
JP7102554B2 (ja) 画像処理方法、装置及び電子機器
US10878549B2 (en) Image generation device, image generation method, and storage medium storing program
CN110390632B (zh) 基于妆容模板的图像处理方法、装置、存储介质及终端
CN109961496B (zh) 表情驱动方法及表情驱动装置
JP2011107877A5 (ja)
TW202036467A (zh) 影像處理方法及裝置、圖像設備及儲存媒介
CN110084219B (zh) 界面交互方法及装置
CN105405157A (zh) 肖像画生成装置、肖像画生成方法
JP7138769B2 (ja) 画像処理方法、装置及びコンピュータ記憶媒体
WO2020029572A1 (zh) 人脸特征点检测方法及装置、设备及存储介质
CN111709302A (zh) 人脸表情检测方法、装置、头戴显示设备及存储介质
WO2024140081A1 (zh) 脸部图像处理方法、装置、计算机设备及存储介质
CN113592988A (zh) 三维虚拟角色图像生成方法及装置
WO2023273247A1 (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
JP7218769B2 (ja) 画像生成装置、画像生成方法、およびプログラム
CN113658035A (zh) 脸部变换方法、装置、设备、存储介质以及产品
CN114519663A (zh) 一种基于图像的形变方法、装置、设备及存储介质
CN110119674B (zh) 一种作弊检测的方法、装置、计算设备及计算机存储介质
CN113421197B (zh) 一种美颜图像的处理方法及其处理系统
Chou et al. Simulation of face/hairstyle swapping in photographs with skin texture synthesis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220706

R150 Certificate of patent or registration of utility model

Ref document number: 7102554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150