JP7512262B2 - 顔キーポイント検出方法、装置、コンピュータ機器及びコンピュータプログラム - Google Patents

顔キーポイント検出方法、装置、コンピュータ機器及びコンピュータプログラム Download PDF

Info

Publication number
JP7512262B2
JP7512262B2 JP2021516563A JP2021516563A JP7512262B2 JP 7512262 B2 JP7512262 B2 JP 7512262B2 JP 2021516563 A JP2021516563 A JP 2021516563A JP 2021516563 A JP2021516563 A JP 2021516563A JP 7512262 B2 JP7512262 B2 JP 7512262B2
Authority
JP
Japan
Prior art keywords
face
image
keypoint
detected
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021516563A
Other languages
English (en)
Other versions
JP2022502751A (ja
Inventor
▲シュアン▼ 曹
▲ウェイ▼▲劍▼ 曹
彦昊 葛
▲チェン▼杰 汪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2022502751A publication Critical patent/JP2022502751A/ja
Application granted granted Critical
Publication of JP7512262B2 publication Critical patent/JP7512262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本願は、２０１８年１２月１０日に中国特許局に提出された、出願番号が２０１８１１５０３９０５．５であり、発明の名称が「顔キーポイント検出方法、装置、コンピュータ機器及び記憶媒体」である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれている。
本願は、人工知能分野に関し、特に、顔キーポイント検出方法、装置、コンピュータ機器及び記憶媒体に関する。
顔キーポイントの検出技術は、顔認識、顔の位置合わせ、顔のメイクなどのアプリケーションで重要な役割を果たしている。それらに関する顔キーポイント検出方式は、顔の全体的な特徴に基づいて、顔キーポイント検出を実行することができる。例えば、顔キーポイント検出（Ｌａｎｄｍａｒｋ Ｄｅｔｅｃｔｉｏｎ）とは、顔画像内のキーポイントの位置座標を特定することである。顔キーポイント検出を実行する場合、図１に示されたように、顔全体の画像を入力とし、ニューラルネットワーク又は数学モデルを介して、全ての顔キーポイントの位置座標を同時に出力する。
それらに関するキーポイント検出方法は、顔画像全体を検出対象として、キーポイントの検出を実行するため、検出効率が低いという問題がある。
これらに基づいて、上記の顔キーポイントを検出する効率が低いという問題を解決することができるために、検出効率が向上できる顔キーポイント検出方法、装置、コンピュータ機器及び記憶媒体を提供する。
顔キーポイント検出方法は、
検出待ち顔画像を取得するステップであって、前記検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
前記検出待ち顔画像に基づき、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップと、を含む。
顔キーポイント検出装置は、
検出待ち顔画像を取得するように構成される画像全体取得モジュールであって、前記検出待ち顔画像は、検出待ちフレームの顔画像である画像全体取得モジュールと、
前記検出待ち顔画像に従って、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するように構成される部分画像決定モジュールと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成される部分候補点決定モジュールと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するように構成されるキーポイント全体決定モジュールと、を備える。
コンピュータ機器は、メモリと、プロセッサとを備え、前記メモリにはコンピュータプログラムが記憶され、前記プロセッサが前記コンピュータプログラムを実行するとき、
検出待ち顔画像を取得するステップであって、前記検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
前記検出待ち顔画像に基づき、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップと、を実現する。
コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、
検出待ち顔画像を取得するステップであって、前記検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
前記検出待ち顔画像に基づき、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップと、を実現する。
上記の顔キーポイント検出方法、装置、コンピュータ機器及び記憶媒体は、検出待ち顔画像を取得し、前記検出待ち顔画像は、検出待ちフレームの顔画像であり、前記検出待ち顔画像に従って、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定し、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定し、各キーポイントの候補点を共同制約して、各顔キーポイントを決定する。検出待ち顔画像全体における各キーポイントをそれぞれ含む部分画像について、当該部分画像内の対応するキーポイントの候補点をそれぞれ決定する。したがって、計算量を減らして、キーポイント候補点の決定効率を向上させることができる。それにより、各顔キーポイントの検出効率を向上させることができる。当該顔キーポイント検出方法をメイクアップアプリケーションに適用すると、検出効率が向上するため、キーポイント検出の時間消費を削減し、実行中のフリーズ現象を低減し、よりスムーズなメイクアップ効果を得ることができる。
関連技術方式における顔キーポイント検出方法の原理図である。 一実施例における顔キーポイント検出方法の適用環境の概略図である。 一実施例における顔キーポイント検出方法の例示的なフローチャートである。 一具体的な実施例における顔キーポイント検出方法のニューラルネットワーク構造の概略図である。 一具体的な実施例における顔キーポイント検出方法の別のニューラルネットワーク構造の概略図である。 一具体的な実施例における顔キーポイント検出方法の原理図である。 一具体的な実施例における顔キーポイント検出方法の例示的なフローチャートである。 関連技術方式により得られたメイクが乱れている場合の概略図である。 一実施例の顔キーポイント検出方法によるメイクが正しい場合の概略図である。 一実施例における顔キーポイント検出装置の構造のブロック図である。
本願の目的、技術的解決策および利点をより明確且つ明らかにするために、以下、図面および実施例を参照して、本願についてさらに詳細に説明する。ここで説明された具体的な実施例は、本願を説明するものに過ぎず、本願を限定しないことを理解されたい。
図２は、一実施例における顔キーポイント検出方法の適用環境の概略図である。当該顔キーポイント検出方法はコンピュータ機器によって実行されることができる。当該コンピュータ機器は、端末またはサーバであり得る。端末は、携帯電話、タブレットコンピュータ、デスクトップコンピュータなど、デスクトップデバイスまたは移動端末であり得る。サーバは、独立した物理サーバ、物理サーバクラスタまたは仮想サーバであり得る。ここで、当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ及びネットワークインターフェースを備える。ここで、メモリは、不揮発性記憶媒体及び内部メモリを含む。当該コンピュータ機器の不揮発性記憶媒体には操作システム及びコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行される時、プロセッサが顔キーポイント検出方法のステップを実行するようにすることができる。当該内部メモリにコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行される時、プロセッサが顔キーポイント検出方法のステップを実行するようにすることができる。
当業者は、図２に示された構造が、本願の技術案に関連する構造の一部のブロック図に過ぎず、本願の技術案が適用されるコンピュータ機器を限定するものではないことを理解することができる。特定のコンピュータ機器は、図に示されているよりも多い又は少ない部材を含むか、特定の部材を組み合わせるか、異なる部材配置を有する場合がある。
図３に示されたように、一実施例において、顔キーポイント検出方法を提供する。当該方法は、図２のコンピュータ機器によって実行されることができる。当該顔キーポイント検出方法は、次のステップを含む。
ステップＳ３０２において、検出待ち顔画像を取得し、検出待ち顔画像は、検出待ちフレームの顔画像である。
検出待ち顔画像は、１枚の独立した顔画像であってもよく、動的シーン内の連続する複数のフレームの顔画像のうちの１つのフレーム画像であってもよい。検出待ち顔画像は、顔情報を含む画像であってもよい。顔は、人間の顔、即ち、顔を指すことができる。顔は、動物の顔を指すこともでき、例えば、猫、犬、ライオン、トラ、ホッキョクグマなどの動物の顔であり得る。
当該方法は、動的シーンに適用されることができ、動的シーンは、２つ以上のフレームの画像を含むシーンであり、顔キーポイントを検出する場合、シーン内の２つ以上のフレームの顔画像を検出する必要があることを理解することができる。例えば、各フレームの顔画像に対して顔キーポイントの検出を実行することであり得る。
ステップＳ３０４において、検出待ち顔画像に基づき、検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定する。
ここで、キーポイントは、目角、瞼の中点、鼻の先、口元、輪郭上の点など、顔画像内の顔の器官上の点であり得る。顔のタイプが決定された場合、例えば、顔が人の顔である場合、顔の各キーポイントを事前に定義することができる。ここで、顔のタイプは、顔が人の顔であるか、動物の顔であるかを指示することができる。一可能な実施形態において、顔のタイプは、人の顔タイプ、猫の顔タイプ及び犬の顔タイプのうちの少なくとも１つを含み得る。
そのうちの１つの実施例において、顔の各キーポイントを事前に定義し、定義されたキーポイントのそれぞれに従って１枚の部分画像を取得することができ、即ち、１枚の部分画像は、１つのキーポイントに対応する。ここで、顔の各キーポイントを事前に定義することは、顔画像における当該キーポイントの位置に従って、キーポイントを表記することを含み得、例えば、キーポイントを第１キーポイント、第２キーポイント、・・・第Ｎキーポイントに表記することができ、ここで、Ｎは、顔キーポイントの総数であり、ここで、第１キーポイントは、目角のキーポイントであり得、第２キーポイントは瞼の中点のキーポイントであり得、・・・第５２キーポイントは口元のキーポイントなどであり得る。
例示的に、Ｎは８６であり得、ここで、目は２２個のキーポイントを含み得、眉毛は１６個のキーポイントを含み得、鼻は１１個のキーポイントを含み得、口は１８個のキーポイントを含み得、顔の輪郭は１９個のキーポイントを含み得る。
例示的に、器官の各キーポイントに従って分類することもでき、例えば、キーポイントを目のキーポイント、眉毛のキーポイント、鼻のキーポイント、口のキーポイント、輪郭のキーポイントなど、様々なタイプのキーポイントに分類することができ、ここで、第１キーポイント～第２２キーポイントは、目の各キーポイントであり得、第２３キーポイント～第３８キーポイントは、眉毛のキーポイントであり得る。当該部分画像のサイズは、検出待ち顔画像の１０分の１、２０分の１などよりも小さい場合があり、とにかく、当該部分画像は、検出待ち顔画像よりもはるかに小さい。
他の実施例において、プリセットルールに従って、顔の複数のキーポイントを事前に定義し得ることを理解できる。複数のキーポイントについて、当該複数のキーポイントに対応する部分画像を取得し、即ち、１枚の部分画像は、複数のキーポイントに対応する。一可能な実施形態において、顔の複数のキーポイントを事前に定義することは、器官に従って顔キーポイントを分類して定義することを含み得、キーポイントのタイプは、目のキーポイント、眉毛のキーポイント、鼻のキーポイント、口のキーポイント、輪郭のキーポイントのうちの少なくとも１つを含み得る。例えば、同じタイプの複数のキーポイントは、目の第１キーポイント～第２２キーポイントであってもよく、眉毛の第２３キーポイント～第３８キーポイントであってもよい。当該部分画像のサイズは、検出待ち顔画像の半分、５分の１などよりも小さい場合があり、とにかく、当該部分画像は、検出待ち顔画像よりも小さい。
キーポイントの定義方式に基づいて、部分画像を抽出することができる。例えば、キーポイントのそれぞれについて、検出待ち顔画像を抽出して、当該キーポイントに対応する部分画像を抽出する。当該キーポイントに対応する部分画像は、当該キーポイントを含む部分画像であり、例えば、第１キーポイントについて、検出待ち顔画像を抽出して、当該第１キーポイントを含む部分画像を抽出する。更に例えば、プリセットルールに従って、同じタイプの複数のキーポイントについて、検出待ち顔画像を抽出して、当該タイプのキーポイントに対応する部分画像を抽出する。当該タイプのキーポイントに対応する部分画像は、当該タイプのキーポイントの全てを含む部分画像であり、例えば、目のキーポイントについて、検出待ち顔画像を抽出して、当該第１キーポイント～第２２キーポイントを含む部分画像を抽出する。
１枚の部分画像が１つのキーポイントに対応する実施形態は、１枚の部分画像が複数のキーポイントに対応する実施形態と比べると、より小さい部分画像を抽出することができるため、検出効率をより高く向上させることができることに留意されたい。また、１枚の部分画像が複数のキーポイントに対応する実施形態は、１枚の部分画像が１つのキーポイントに対応する実施形態と比べると、抽出した部分画像の数が少なくなり、コンピュータ機器の演算量を減らすことができ、それにより、顔キーポイントをより早く決定することができる。
ステップＳ３０６において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定する。
各部分画像について、当該部分画像のテクスチャ特徴に基づき、当該部分画像に対応するキーポイントの候補点を決定することができる。即ち、各部分画像に対してキーポイント検出を実行して、当該部分画像に対応するキーポイントの候補点を決定することができる。候補点は、当該部分画像に対応するキーポイントとなる可能性のある点を指す。
いくつかの実施例において、トレーニングされたニューラルネットワークモデルを使用して、部分画像に対応するキーポイントの候補点を決定することができる。例えば、対応するニューラルネットワークモデルを使用して各キーポイントをマッピングして、当該キーポイントの候補点を取得することができる。各キーポイントに対応するニューラルネットワークは、事前にトレーニングされた部分画像ベースのニューラルネットワークモデルであり得る。１枚の部分画像が１つのキーポイントに対応することを例にとると、ニューラルネットワークモデルの数は、事前に定義された顔キーポイントの数と等しく、各キーポイントは、１つの部分画像ベースのニューラルネットワークモデルに対応することができる。このように、複数の部分画像を複数のニューラルネットワークモデルに同時に入力して、同期処理をして、処理速度を高速化することができる。当該部分画像ベースのニューラルネットワークモデルの入力は部分画像であり、出力は当該部分画像のヒットマップであり得る。ヒットマップ（Ｈｅａｔ Ｍａｐ）とは、点分布の確率でエネルギ準位を表す画像を指し、画像内の１つのピクセル値の大きさは、当該ピクセルがキーポイントである確率を表す。ヒットマップは、部分画像内の各ピクセルがキーポイントとして使用される確率を表すことができる。確率値がプリセット条件を満たすピクセルは候補点であり、プリセット条件は、確率値がプリセットされた確率値より大きいことであり得、例えば、プリセットされた確率値は、０、０．１、０．５など、０から１の範囲の任意の値であり得る。このように、ニューラルネットワークを介して当該部分画像に対応するキーポイントの候補点を決定する方式は、顔キーポイント検出の正確度をさらに向上させることができる。
ステップＳ３０８において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定する。
各キーポイントの候補点は各部分画像にそれぞれ対応するため、検出待ち顔画像全体の顔キーポイントを決定する場合、各部分画像に対応するキーポイントの候補点を共同制約して、当該部分画像に対応するキーポイントを決定する必要がある。検出待ち画像の各部分画像に対応するキーポイントのセットは、検出待ち顔画像全体の顔キーポイントである。各部分画像に対応するキーポイントを取得することにより、検出待ち画像全体の顔キーポイントを取得し、各部分画像を並行して処理するため、顔検出プロセスの時間消費を低減する。
一可能な実施形態において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、共同制約の条件に基づき、各部分画像内の候補点を共同制約して、各部分画像内のキーポイントを決定して、検出待ち顔画像全体の顔キーポイントを決定するステップを含み得る。ここで、共同制約の条件は、各部分画像に対応するキーポイントを組み合わせて満たされるべき条件を指示する。例えば、検出待ち顔画像内の顔の顔タイプが人の顔タイプである場合、ジョイント制約条件は、各部分画像に対応するキーポイントを組み合わせて満たされるべき顔特徴ベースの条件である。ここで、顔特徴ベースの条件は、目のキーポイントは口のキーポイントの上にあること、鼻のキーポイントは目のキーポイントと口のキーポイントの間にあることなどを含み得る。
いくつかの実施例において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、トレーニングされたニューラルネットワークモデルを使用して、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップを含み得る。当該ニューラルネットワークモデルの入力は、部分画像のヒットマップであり得、出力は、検出待ち顔画像の各顔キーポイントであり得る。このように、ニューラルネットワークモデルを介して顔キーポイントを決定することは、顔キーポイントの検出効率をさらに向上させることができる。
各部分画像が複数のキーポイントに対応する場合、共同制約する時に、回転操作を実行する必要があるため、線形モデルを使用して共同制約を実行することができないことに留意されたい。各部分画像が１つのキーポイントに対応する場合、共同制約する時に、回転操作を実行する必要がないため、線形モデルを使用して共同制約を実行することができる。線形モデルに基づいて各キーポイントの候補点に対して共同制約を実行する場合、必要なソリューションは１つだけであり、複数のソリューションを必要とする非線形モデルより計算量が少なくなり、検出速度も早くなる。
本実施例において、各部分画像で、キーポイント確率が最も高いピクセルを単に顔キーポイントとして使用するのではなく、共同制約を実行する必要があることに留意されたい。例えば、特定のキーポイントにオクルージョンや暗光などの干渉要因がある場合、対応するピクセルがキーポイントとして使用される確率値が比較的に低くなるが、共同制約では、上記の干渉要因がチェックアウトされ、それらが顔キーポイントとして出力される。
本実施例の顔キーポイント検出方法に基づき、検出待ち顔画像を取得し、検出待ち顔画像に基づき、検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定し、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定し、各キーポイントの候補点を共同制約して、各顔キーポイントを決定する。検出待ち顔画像全体における各キーポイントをそれぞれ含む部分画像について、当該部分画像内の対応するキーポイントの候補点をそれぞれ決定する。計算量を減らして、キーポイント候補点の決定効率を向上させることができる。それにより、各顔キーポイントの検出効率を向上させることができる。さらに、部分画像は、部分的な細部の特徴をより良く具現するため、本実施例に基づく顔キーポイント検出方法は、キーポイント検出の正確度を向上させることもできる。当該顔キーポイント検出方法をメイクアップアプリケーションに適用すると、検出効率が向上するため、キーポイント検出の時間消費を削減し、実行中のフリーズ現象を低減し、よりスムーズなメイクアップ効果を得ることができる。
動的シーンは、例えば、ビデオ共有アプリケーション、ビデオ撮影アプリケーション、ビデオ美化アプリケーションなどのアプリケーションにおける動的シーンであり得る。これらの動的シーンでは、アイシャドウを塗ったり、口紅を付けたり、小顔にするなど、顔をメイクアップすることができる。顔をメイクアップする時には、先ず、顔の五官を正確に特定すること、即ち、顔のキーポイント検出を実行する必要がある。各器官のキーポイントを検出した後、コンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）レンダリング技術を使用して、顔画像をメイクアップすることができる。本実施例に基づく顔キーポイント検出方法は、検出正確度が高いという有益な効果を有するため、顔をメイクアップするときに横顔、オクルージョン及び暗光などの特殊な状況による不正解なキーポイント検出やメイクアップが誤るという問題を回避することができる。それにより、メイクアップの安定性を向上させる。
動的シーンにはリアルタイム要件が高く、即ち、ビデオフレーム内の顔画像の顔キーポイントをリアルタイムで検出する必要があり、即ち、検出効率に対する要件が高く、本実施例に基づく顔キーポイント検出方法は、動的シーンにより良く適用することができることに留意されたい。動的シーンの流暢さを確保しながら、実行端末がスマート端末である適用環境に適用する。
そのうちの１つの実施例において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、線形モデルに基づいて各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップを含む。
本実施例に基づく顔キーポイント検出方法では、部分画像のそれぞれが１つのキーポイントに対応することを理解することができる。共同制約する時には、回転操作を実行する必要がないため、線形モデルに基づき各キーポイントの候補点に対して共同制約を実行し、それにより、検出待ち顔画像内の各顔キーポイントを決定することができる。特に、横顔の姿では、従来の非線形モデルに解の偏差があることが多いが、線形モデルベース共同制約は、より正確な顔キーポイントを取得することができる。線形モデルに基づき各キーポイントの候補点に対して共同制約を実行する場合、必要なソリューションは１つだけであるため、複数のソリューションを必要とする非線形モデルより計算量が少なく、且つグローバルな最適化への収束を保証することができる。
非線形モデルと比較して、線形モデルは、グローバルな最適化への収束を保証することができ、計算量を少なくする効果がある。したがって、本実施例に基づく顔キーポイント検出方法は、各顔キーポイントを決定する効率をさらに向上させる同時に、顔キーポイント検出の正確度を向上させることができる。当該顔キーポイント検出方法をメイクアップアプリケーションに適用すると、検出効率及び正確度が向上するため、キーポイント検出の時間消費をさらに削減し、実行中のフリーズ現象を低減し、よりスムーズなメイクアップ効果を得ることができる。同時に、線形モデルはグローバルな最適化を保証することができるため、横顔の姿での解の偏差があることを回避し、横顔の姿でのメイクアップの正確度を向上させることができる。
さらに、線形モデルは、動的線形点分布モデルである。動的線形点分布モデルは、動的な線形制約条件に基づく点分布モデルである。一可能な実施形態において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、動的線形点分布モデルに基づいて、各部分画像の制約パラメータを取得するステップと、各制約パラメータに基づき、各部分画像のキーポイントの候補点を共同制約して、各部分画像の顔キーポイントを取得するステップと、を含む。
点分布モデル（ＰＤＭ：Ｐｏｉｎｔ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｍｏｄｅｌ）とは、特定のカテゴリの対象におけるキーポイントの分布の統計モデルを指し、当該カテゴリの対象の形状特徴を反映することができる。本実施例において、点分布モデルは、顔キーポイント分布の統計モデルである。動的な線形点分布モデル、制約パラメータ（ＰＤＭパラメータ）をリアルタイムで動的に更新することができるため、検出結果が正確になる。したがって、本実施例に基づく顔キーポイント検出方法は、グローバルな最適化への収束を保証し、計算量が少なく、制約パラメータをリアルタイムで動的に更新することができる。それにより、本実施例に基づく顔キーポイント検出方法は、各顔キーポイントを決定する効率をさらに向上させる同時に、顔キーポイント検出の正確度をさらに向上させることができる。
そのうちの１つの具体的な実施例において、動的線形点分布モデルの入力は各部分画像のヒットマップであり、出力は各顔キーポイントである。当該動的線形点分布モデルにおける共同制約解決プロセスの最適化目標関数は、
Figure 0007512262000001
であり得る。
ここで、Hk [x,y]は、ｋ番目のキーポイントが［ｘ，ｙ］座標に位置する確率であり、λは、通常の制約強度であり、経験により０．１～５．０の任意の値に設定することができ、ＢはＰＤＭパラメータである。ＭＰＤＭは、点分布モデルの基底ベクトルで構成される行列であり、ＭＰＤＭは、複合構築行列であり、Λは、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、主成分分析とは、トレーニングデータ内のキーポイントデータの冗長成分を除去して、主成分ベクトルを取得することを指す）の主成分ベクトルに対応する特徴値で構成されるベクトルであり、ｓ．ｔ．は、制約条件を示す。
ここで、ＰＣＡは、次元削減によって、原データの複数の指標を少数の包括的な指標に変換し、当該少数の包括的な指標は原データのほとんどの情報を反映することができるため、当該少数の包括的な指標は原データの主成分と見なされることができる。
さらに、本実施例において、制約条件は、
Figure 0007512262000002
であり、ここで、［ｘ，ｙ］は、各顔キーポイントの３次元空間座標を表し、ｓは、スケーリングファクタを示し、１つの浮動小数点数であり得、Φは、ＰＣＡ基底ベクトルで構成される行列を表し、ＢはＰＤＭパラメータを表し、Ｔは、シフトファクタを表す。上記の式の乗算は行列乗算であり、行列乗算には結合法則があるため、上記の制約条件はさらに、［Ｘ，Ｙ］＝ＭＰＤＭ・Ｂに書き直すことができます。ここで、ＭＰＤＭは複合構築行列であり得、例えば、ＭＰＤＭの第１列は
Figure 0007512262000003
であり、ＭＰＤＭの第２列は、ベクトル［１，０，１，０，……，１，０］であり、ＭＰＤＭの第３列はベクトル［０，１，０，１，……，０，１］であり、ＭＰＤＭの第４列から最後の列はＰＣＡ基底ベクトルである。パラメータＢを解くとき、Ｂ＝（ＭＰＤＭ）-1・［Ｘ，Ｙ］であり、ここで、（ＭＰＤＭ）-1はＭＰＤＭの擬似逆行列を表す。
従来の制約条件と比較すると、
Figure 0007512262000004
であり、ここで、Ｒは回転係数を表し、
Figure 0007512262000005
として表されることができる。
ここで、θ、φ、ψは、それぞれ、３次元空間座標のＸ、Ｙ、Ｚ軸を回って回転する角度を表す。従来の制約条件には非線形係数Ｒがあるため、当該式のパラメータＢを解く必要がある。これには、勾配降下法などの複雑なアルゴリズムを使用する必要があり、時間消費が多く、グローバルな最適化を保証するとは限らない。
本実施形態ベースの動的線形点分布モデルでは、共同制約する時、回転操作を実行する必要がなく、制約条件には非線形係数がないため、顔キーポイント検出の効率が高い。
他の実施例において、線形モデルは線形点分布モデルであってもよいことを理解することができ、このように、各顔キーポイントを決定する効率をさらに向上させる同時に、顔キーポイント検出正確度を向上させるという有益な効果を得ることができる。
そのうちの１つの実施例において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、検出待ちフレームが、プリセットフレームではない場合、検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、前のフレーム及び検出待ちフレームに対応する部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップとを含む。
ここで、プリセットされたフレームは、事前に設定されたフレームであり得、当該プリセットされたフレームは、非キーフレームまたは最初のフレームであり得る。ここで、キーフレームとは、キー情報を含むビデオフレームであってもよく、プリセットされた数のフレームまたは時間ごとに取得したビデオフレームなどであってもよい。プリセットされていないフレームはキーフレーム、非最初のフレームである。最初のフレームとは、動的シーンにおいて顔キーポイントを検出するための第１フレームを指すことができる。非最初のフレームとは、動的シーンにおいて顔キーポイントを検出するための第１フレームの後のフレームを指すことができる。前のフレームは、検出待ちフレームの前の任意のフレームであり、前のフレームは検出待ちフレームの前のフレームを含んでもよく、検出待ちフレームの前の複数のフレームを含んでもよい。さらに、前のフレームは、検出待ちフレームと連続する少なくとも１つのフレームであり得る。例えば、前のフレームは、検出待ちフレームの前のフレームであり得る。
一可能な実施形態において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、プリセットされたフレームが最初のフレームであり、検出待ちフレームがプリセットされていないフレームであり、即ち、検出待ちフレームが非最初のフレームである場合、検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、前のフレーム及び検出待ちフレームに対応する部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップとを含む。ここで、前のフレーム及び検出待ちフレームに対応する部分画像は、同じキーポイントに対応する前のフレーム内の部分画像及び検出待ちフレーム内の部分画像である。
一可能な実施形態において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、プリセットされたフレームが非キーフレームであり、検出待ちフレームがプリセットされていないフレームであり且つ非最初のフレームである場合、検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、前のフレーム及び検出待ちフレームに対応する部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップとを含む。
ここで、検出待ちフレームがプリセットされていないフレームであり且つ非最初のフレームである場合、当該検出待ちフレームがキーフレームであり、且つ当該キーフレームが動的シーンの最初のフレームではないことを意味する。前のフレーム及び検出待ちフレームに対応する部分画像は、同じキーポイントに対応する前のフレーム内の部分画像及び検出待ちフレーム内の部分画像である。
本実施例において、検出待ちフレームが、プリセットフレームではない場合、検出待ちフレーム及びその前のフレームに対応する部分画像を組み合わせて、当該検出待ち顔画像に対応するキーポイントの候補点を決定し、即ち、当該検出待ちフレームの部分画像に対応するキーポイントの候補点を決定する。前のフレーム及び検出待ちフレームに対応する部分画像は、同じキーポイントに対応する前のフレーム内の部分画像及び検出待ちフレーム内の部分画像である。検出待ちフレームの部分画像の数は１より大きいことを理解することができる。当該検出待ちフレームの部分画像の数は、当該検出待ちフレーム内の顔キーポイントの数と同じであってもよい。
前のフレームの部分画像の決定する方法は、事前検出によりキーポイント位置を予測し、当該予測されたキーポイント位置に基づき、部分画像の抽出を実行して、前のフレームの部分画像を取得することができ、前のフレームの顔キーポイントの検出結果に基づき、部分画像の抽出を実行して、前のフレームの部分画像を取得することもできる。ここで、前のフレームの顔キーポイントの検出結果は、本願実施例で提供する顔キーポイント検出方法を用いて当該前のフレームを検出することにより取得された検出結果である。
本実施例に基づく顔キーポイント検出方法は、検出待ちフレームがプリセットフレームではない場合、検出待ちフレーム及びその前のフレームを組み合わせて、当該検出待ちフレームの部分画像に対応するキーポイントの候補点を決定し、このように、前のフレームと検出待ちフレーム内のキーポイントの一貫性を確保することができる。それにより、動的シーンのキーポイントの安定性を向上させることができる。当該顔キーポイント検出方法がメイクアップアプリケーションに適用される場合、ビデオの連続フレームでの顔キーポイント検出の安定性を向上させ、メイクが揺れるという問題を改善することができる。
そのうちの１つの実施例において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、上記のステップは、前記顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定することをさらに含む。
ここで、検出待ちフレームの顔キーポイントに基づいて、部分画像の抽出を実行し、各キーポイントをそれぞれ含む、当該検出待ちフレームの次のフレームの顔画像の前のフレーム（即ち、現在検出するフレーム）の部分画像を決定することができ、即ち、本願実施例で提供する顔キーポイント検出方法を用いて、現在検出するフレームの顔キーポイントを取得した後、取得した顔キーポイントに基づき、部分画像の抽出を実行して、各キーポイントを含む部分画像を取得し、その後、次の検出待ちフレームを処理し、したがって、取得した、各キーポイントが含まれている部分画像を検出待ち次のフレームの前のフレームの部分画像として使用することができる。例えば、当前検出待ちフレームが第Ｎ（Ｎは自然数である）フレームであると、第Ｎフレームの各顔キーポイントに基づき、部分画像をそれぞれ抽出して、第Ｎ＋１フレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得する。同じ方法で、最初のｍフレームにおいて各キーポイントをそれぞれ含む部分画像を取得することができる。ｍはＮより小さい自然数である。
このように、事前検出方式よりも、前のフレームにおいて各キーポイントをそれぞれ含む部分画像をより正確に決定することができ、それにより、キーポイント検出の正確度をさらに向上させることができる。
そのうちの１つの実施例において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、検出待ちフレームがプリセットフレームである場合、検出待ちフレームの各部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップを含む。
即ち、検出待ちフレームが事前に設定されたフレームである場合、当該検出待ちフレームの各部分画像に従って、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定することができる。当該プリセットされたフレームは、非キーフレームまたは最初のフレームであり得る。このように、検出待ちフレームがプリセットフレームである場合、例えば、当該検出待ちフレームが最初のフレームである場合、前のフレームは存在せず、当該検出待ちフレームの各部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定する。
そのうちの１つの実施例において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、プリセットされたフレームは最初のフレームであり、検出待ちフレームがプリセットフレームである場合、検出待ちフレームの各部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップを含む。検出待ちフレームが最初のフレームであるため、当該検出待ちフレームの前のフレームが存在せず、コンピュータ機器は、検出待ちフレームの各部分画像に従って、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定することができる。
そのうちの１つの実施例において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、プリセットされたフレームは非キーフレームであり、検出待ちフレームがプリセットフレームである場合、検出待ちフレームの各部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップを含む。ここで、非キーフレームは、キー情報が含まれてないビデオフレームであってもよく、したがって、非キーフレームの処理方式を簡略化することができ、非キーフレーム自体の各部分画像のみに基づいて、各部分画像に対応するキーポイントの候補点を取得することができ、コンピュータ機器の演算量が低減する。
そのうちの１つの具体的な実施例において、図４及び図５に示されたように、トレーニングされたニューラルネットワークモデルを使用して、部分画像に対応するキーポイントの候補点を決定し、部分画像の各ピクセルがキーポイントとして使用される確率をヒットマップの形態で表し、それにより、キーポイントの候補点を決定する。例えば、各ニューラルネットワークモデルの入力は、１つの１６×１６の部分画像であり、出力は８×８のヒットマップであり、それらの間には、２つの畳み込み層及び１つの全結合層があり、畳み込み層の畳み込みカーネルサイズは全て５×５であり、畳み込み層中では充填及びプーリングは使用されず、畳み込み層の全ては正規化線形ユニット（ＲｅＬＵ：Ｔｈｅ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）を活性化関数として使用する。ヒットマップのピクセル値の大きさは、当該ピクセルがキーポイントである確率の高さを表し、ピクセル値が大きいほど、当該点ピクセルがキーポイントである確率が高くなる。当該ニューラルネットワークがトレーニングされると、ニューラルネットワークのパラメータは、分散が０．０１であり、平均値が０であるガウス分布で初期化され、トレーニング方法は、確率的勾配降下法（ＳＧＤ：Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）アルゴリズムを使用してニューラルネットワークのパラメータを解き、各反復トレーニングにおいて、逆伝播誤差は、予測されたヒットマップと表記したヒットマップの間のユークリッド距離である。各キーポイントの候補点は、同じニューラルネットワーク構造を使用して決定されるが、それらは独立してトレーニングされるため、各顔キーポイントに対応するニューラルネットワークのパラメータは異なる。トレーニングに使用されるトレーニングデータは、公開された３００Ｗデータセット及びＹｏｕｔｕＬａｂによって表記されたデータセットである可能性があることに留意されたい。
当該具体的な実施例では、図４及び図６に示されたように、検出待ちフレームがプリセットフレームである場合、検出待ちフレームの各部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定する。図５及び図６に示されたように、検出待ちフレームが、プリセットフレームではない場合、検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得し、前のフレーム及び検出待ちフレームに対応する部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定する。ここで、図６において上に位置する顔画像はプリセットされたフレームの顔画像であり、下に位置する顔画像は、プリセットされていないフレームの顔画像である。即ち、検出待ちフレームがプリセットフレームである場合、検出待ち顔画像内の各キーポイントの候補点は、当該検出待ちフレームの１枚の部分画像によって決定されたものである。検出待ちフレームが、プリセットフレームではない場合、検出待ち顔画像内の各キーポイントの候補点は、当該検出待ちフレームの１枚の部分画像及び前のフレームの１枚の部分画像を組み合わせ、合計２枚の部分画像によって決定されたものである。
そのうちの１つの実施例において、検出待ち顔画像は顔画像であり、顔キーポイントは顔キーポイントである。
顔キーポイント（Ｆａｃｉａｌ Ｌａｎｄｍａｒｋｓ）は、目角、瞼の中点、鼻の先、口元、輪郭などの点の集合など、顔画像内で五官の意味を持つ点の集合を指す。
本実施例に基づく顔キーポイント検出方法は、顔キーポイントの決定効率及び正確度を向上させることができる。
そのうちの１つの実施例において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定する方式は、各部分画像について、部分画像のヒットマップを決定するステップであって、当該ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含むステップと、当該ヒットマップに従って、部分画像に対応するキーポイントの候補点を決定するステップとを含む。
部分画像内の各ピクセルがとしてキーポイントとして使用される確率をヒットマップで表すことができる。当該候補点は、キーポイントとして使用される確率がプリセットされた確率値より大きいピクセルであり得る。当該プリセットされた確率値は、０、０．１など、０と１の間の任意の数であり得る。即ち、当該ヒットマップに従って、部分画像に対応するキーポイントの候補点を決定することができる。特定のキーポイントにオクルージョンや暗光などの干渉要因がある場合、対応するヒットマップでのヒット値も低いが、共同制約する時、上記の干渉要因がテックアウトされる。
ヒットマップにはキーポイント分布の確率情報が含まれたため、特定のキーポイントにオクルージョンや暗光などの干渉要因がある場合、対応するヒットマップでのヒット値も低いため、横顔、オクルージョン及び暗光などの特殊な状況でのキーポイントの検出正確度を向上させることができる。当該顔キーポイント検出方法がメイクアップアプリケーションに適用される場合、当該方法は横顔、オクルージョン及び暗光などの特殊な状況でのキーポイントの検出正確度を向上させることができるため、横顔、オクルージョン及び暗光などの特殊な状況でのメイクアップの正確度を向上させ、メイクの位置が混乱するという問題を改善する。
そのうちの１つの実施例において、検出待ち顔画像を取得するステップは、初期の顔画像を取得するステップと、初期の顔画像を前処理して、検出待ち顔画像を取得するステップとを含む。
初期の顔画像は、カメラによって収集された未加工の顔画像であり得る。前処理は、両目の瞳孔キーポイントが同じ水平線にあり、又は／及び、双眼瞳孔キーポイントの水平距離がプリセットの値になるように、回転又は／及びスケーリングなどの操作することである。回転とは、顔画像を両目の瞳孔キーポイントが同じ水平線にあるように回転させることを指す。スケーリングとは、顔画像を引き伸ばすか圧縮するプロセスを指す。前処理は、初期の顔画像のテクスチャ特徴画像を取得すること、又は／及び、初期の顔画像に対して顔エリアのポジショニングなどの操作を実行することも含み得る。このように、顔キーポイント検出の効率をさらに向上させることができる。
そのうちの１つの実施例において、前処理は、両目の瞳孔キーポイントが水平線にあるように、初期の顔画像を回転させ、又は／及び、両目の瞳孔キーポイントの水平距離がプリセットの値になるように、初期の顔画像をスケーリングする。当該プリセットの値は、事前に決定された両目の瞳孔のキーポイントの水平距離値である。例えば、１６０ピクセルであり得る。このように、顔キーポイント検出の効率をさらに向上させることができる。
そのうちの１つの実施例において、検出待ち顔画像に基づき、検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップは、検出待ち顔画像に対して顔キーポイントの初期化を実行するステップと、初期化結果に基づいて検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップとを含む。
本実施例において、検出待ち顔画像に対して顔キーポイントの初期化を実行する方式は、動的シーンの最初のフレームであってもよく、１枚の独立した顔画像であってもよいなど、検出待ち顔画像がその前のフレームの顔画像を有しない場合、平均顔モデルのキーポイント座標に従って、初期化キーポイントの初期化結果を決定することができることを含み得る。当該初期化結果は、平均顔モデルのキーポイント座標であってもよい。平均顔モデルのキーポイント座標は、大量の顔モデルを分析した後に取得された各顔キーポイントの平均位置座標であり得る。検出待ち顔画像がその前のフレームの顔画像を有する場合、前のフレームの顔画像のキーポイント座標に従って、初期化キーポイントの初期化結果を決定することができる。当該初期化結果は、前のフレームの顔画像のキーポイント座標であり得る。
他の実施例において、事前検出方法により、検出待ち顔画像に対して顔キーポイントの初期化を実行するなど、他の方法で、検出待ち顔画像に対して顔キーポイントの初期化を実行することもできることを理解することができる。
初期化結果に基づいて検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定することは、初期化結果を対応するキーポイントの部分画像の中心として使用して、プリセットされたサイズで画像を抽出して、当該キーポイントを含む部分画像を取得することであってもよい。
このように、検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定する効率的な実施形態を提供し、それにより、顔キーポイントの検出効率をさらに向上させる。
図７に示されたように、一具体的な実施例において、顔キーポイント検出方法は動的シーンに適用され、当該顔キーポイント検出方法は、
初期の顔画像を取得するステップと、両目の瞳孔キーポイントが同じ水平線にあり、且つ両目の瞳孔キーポイントの水平距離がプリセットの値になるように、初期の顔画像を回転及びスケーリングして、検出待ち顔画像を取得するステップであって、検出待ち顔画像は、検出待ちフレームの顔画像であり、検出待ち顔画像は顔画像であるステップと、
検出待ち顔画像に対して顔キーポイントの初期化を実行するステップと、初期化結果に基づいて検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップであって、当該検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
検出待ちフレームが、プリセットフレームではない場合、検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、前のフレーム及び検出待ちフレームに対応する部分画像に基づいて、検出待ち顔画像において各部分画像に対応するヒットマップをそれぞれ決定するステップと、
検出待ちフレームがプリセットフレームである場合、検出待ちフレームの各部分画像に基づいて、検出待ち顔画像において各部分画像に対応するヒットマップをそれぞれ決定するステップと、
動的線形点分布モデルに基づいて各ヒットマップを共同制約して、各顔キーポイントを決定するステップであって、顔キーポイントは顔キーポイントであるステップと、
前記顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するステップとを含む。
本実施例に基づく顔キーポイント検出方法は、顔キーポイントの検出効率、正確度及び安定性を向上させることができる。
上記の顔キーポイント検出方法の有益な効果をより明確に説明するためには、図８及び図９を参照する。図８は、当顔の片側に暗光がある場合、先行技術で当該横顔の眉毛エリア、目エリアのキーポイントが乱れていることを検出したことであり、したがって、対象に「眼鏡をかけてる」という「メイクアップ操作」を実行する時、眼鏡の位置が明らかに混乱している。図９は、本願の実施形態を用いて当該暗光のある側面の眉毛エリア、目エリアのキーポイントが正解であることであり、したがって、対象に「眼鏡をかけている」という「メイクアップ操作」を実行する時、眼鏡の位置が正しい。
図３及び図７のフローチャートにおける各ステップは、矢印の指示に従って順次に表示されるが、これらのステップは、必ず、矢印によって指示された順序に従って順序に実行されるとは限らないことに留意されたい。本明細書で明確に説明されていない限り、これらのステップの実行に対して厳しく順序を限定せず、これらのステップは、他の順序で実行されてもよい。さらに、図３、図７の少なくとも一部のステップは、複数のサブステップまたは複数の段階を含み得、これらのサブステップまたは段階は、必ず、同じ時刻で実行されて完了するとは限れず、異なる時刻で実行される場合もあり、これらのステップまたは段階の実行順序は、必ず、順次に実行されることに限らず、他のステップまたは他のステップのサブステップまたは段階の少なくとも一部と交代または交互に実行することができる。
一実施例において、図１０に示されたように、顔キーポイント検出装置を提供し、当該顔キーポイント検出装置は、
検出待ち顔画像を取得するように構成される画像全体取得モジュール８０２であって、当該検出待ち顔画像は、検出待ちフレームの顔画像である画像全体取得モジュール８０２と、
当該検出待ち顔画像に従って、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するように構成される部分画像決定モジュール８０４と、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成される部分候補点決定モジュール８０６と、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するように構成されるキーポイント全体決定モジュール８０８とを備える。
当該顔キーポイント検出装置は、検出待ち顔画像を取得し、当該検出待ち顔画像に基づき、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定し、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定し、各キーポイントの候補点を共同制約して、各顔キーポイントを決定する。検出待ち顔画像全体における各キーポイントをそれぞれ含む部分画像について、当該部分画像内の対応するキーポイントの候補点をそれぞれ決定する。したがって、計算量を減らして、キーポイント候補点の決定効率を向上させることができる。それにより、各顔キーポイントの検出効率を向上させることができる。
そのうちの１つの実施例において、キーポイント全体決定モジュールは、線形モデルに基づき、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するように構成される。
そのうちの１つの実施例において、当該線形モデルは、動的線形点分布モデルである。
そのうちの１つの実施例において、部分候補点決定モジュールは、当該検出待ちフレームが、プリセットフレームではない場合、当該検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得し、当該前のフレーム及び当該検出待ちフレームに対応する部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成される。
そのうちの１つの実施例において、当該顔キーポイント検出装置はさらに、キーポイント全体決定モジュールが各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、当該顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するように構成される先順位の部分画像決定モジュールを備える。
そのうちの１つの実施例において、部分候補点決定モジュールは、当該検出待ちフレームがプリセットフレームである場合、当該検出待ちフレームの各部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成される。
そのうちの１つの実施例において、当該検出待ち顔画像は顔画像であり、当該顔キーポイントは顔キーポイントである。
そのうちの１つの実施例において、部分候補点決定モジュールは、各部分画像について、当該部分画像のヒットマップを決定し、当該ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含み、
当該ヒットマップに従って、当該部分画像に対応するキーポイントの候補点を決定するように構成される。
そのうちの１つの実施例において、画像全体取得モジュールは、初期の顔画像を取得し、当該初期の顔画像を前処理して、当該検出待ち顔画像を取得するように構成される。
そのうちの１つの実施例において、画像全体取得モジュールはさらに、両目の瞳孔キーポイントが同じ水平線にあるように、当該初期の顔画像を回転させ、又は／及び、両目の瞳孔キーポイントの水平距離がプリセットの値になるように、当該初期の顔画像をスケーリングするように構成される。
そのうちの１つの実施例において、部分候補点決定モジュールは、当該検出待ち顔画像に対して顔キーポイントの初期化を実行し、初期化結果に基づいて当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するように構成される。
一実施例において、コンピュータ機器を提供し、当該コンピュータ機器はサーバであってもよく、当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ及びネットワークインターフェースを備える。ここで、当該コンピュータ機器のプロセッサは、計算や制御機能を提供するために使用される。当該コンピュータ機器のメモリは、不揮発性記憶媒体及び内部メモリを含む。当該不揮発性記憶媒体には、操作システム及びコンピュータプログラムが記憶される。当該内部メモリは、不揮発性記憶媒体内の操作システム及びコンピュータプログラムの実行のための環境を提供する。当該コンピュータ機器のネットワークインターフェースは、ネットワーク接続を介して外部の端末と通信するために使用される。当該コンピュータプログラムがプロセッサによって実行されると、顔キーポイント検出方法を実現する。
一実施例において、コンピュータ機器を提供し、当該コンピュータ機器は端末であってもよい。当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインターフェース、ディスプレイスクリーン及び入力装置を備える。ここで、当該コンピュータ機器のプロセッサは、計算や制御機能を提供するために使用される。当該コンピュータ機器のメモリは、不揮発性記憶媒体及び内部メモリを含む。当該不揮発性記憶媒体には、操作システム及びコンピュータプログラムが記憶される。当該内部メモリは、不揮発性記憶媒体内の操作システム及びコンピュータプログラムの実行のための環境を提供する。当該コンピュータ機器のネットワークインターフェースは、ネットワーク接続を介して外部の端末と通信するために使用される。当該コンピュータプログラムがプロセッサによって実行されると、顔キーポイント検出方法を実現する。当該コンピュータ機器のディスプレイスクリーンは、液晶ディスプレイスクリーンまたは電子インクディスプレイスクリーンであってもよく、当該コンピュータ機器の入力装置は、ディスプレイスクリーンを覆うタッチ層であってもよく、コンピュータ機器のハウジングに配置されたキー、トラックボールまたはタッチパッドであってもよく、さらに外部のキーボード、タッチパッドまたはマウスなどであってもよい。
一実施形態において、コンピュータ機器を提供し、当該コンピュータ機器は、サーバまたは端末であってもよい。当該コンピュータ機器は、メモリと、プロセッサとを備え、当該メモリにはコンピュータプログラムが記憶され、当該プロセッサが当該コンピュータプログラムを実行するとき、上記の顔キーポイント検出方法のステップを実現する。
そのうちの１つの実施例において、当該コンピュータ機器は、メモリと、プロセッサとを備え、当該メモリにはコンピュータプログラムが記憶され、当該プロセッサが当該コンピュータプログラムを実行するとき、
検出待ち顔画像を取得するステップであって、当該検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
当該検出待ち顔画像に基づき、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップとを実現する。
そのうちの１つの実施例において、当該各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、
線形モデルに基づき、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップを含む。
そのうちの１つの実施例において、当該線形モデルは、動的線形点分布モデルである。
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
当該検出待ちフレームが、プリセットフレームではない場合、当該検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、
当該前のフレーム及び当該検出待ちフレームに対応する部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップとを含む。
そのうちの１つの実施例において、当該各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、当該方法は、
当該顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するステップをさらに含む。
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
当該検出待ちフレームがプリセットフレームである場合、当該検出待ちフレームの各部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップを含む。
そのうちの１つの実施例において、当該検出待ち顔画像は顔画像であり、当該顔キーポイントは顔キーポイントである。
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定する方式は、
各部分画像について、当該部分画像のヒットマップを決定するステップであって、当該ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含むステップと、
当該ヒットマップに従って、当該部分画像に対応するキーポイントの候補点を決定するステップとを含む。
そのうちの１つの実施例において、当該検出待ち顔画像を取得するステップは、
初期の顔画像を取得するステップと、
当該初期の顔画像を前処理して、当該検出待ち顔画像を取得するステップとを含む。
そのうちの１つの実施例において、当該前処理は、
両目の瞳孔キーポイントが同じ水平線にあるように、当該初期の顔画像を回転させること、
及び／又は、
両目の瞳孔キーポイントの水平距離がプリセットの値になるように、当該初期の顔画像をスケーリングすることを含む。
そのうちの１つの実施例において、当該検出待ち顔画像に基づき、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップは、
当該検出待ち顔画像に対して顔キーポイントの初期化を実行するステップと、
初期化結果に基づいて当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップとを含む。
そのうちの１つの実施形態において、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、当該コンピュータプログラムがプロセッサによって実行されると、上記の顔キーポイント検出方法のステップを実現する。
そのうちの１つの実施例において、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、当該コンピュータプログラムがプロセッサによって実行されると、
検出待ち顔画像を取得するステップであって、当該検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
当該検出待ち顔画像に基づき、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップとを実現する。
そのうちの１つの実施例において、当該各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、
線形モデルに基づき、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップを含む。
そのうちの１つの実施例において、当該線形モデルは、動的線形点分布モデルである。
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
当該検出待ちフレームが、プリセットフレームではない場合、当該検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、
当該前のフレーム及び当該検出待ちフレームに対応する部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップとを含む。
そのうちの１つの実施例において、当該各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、当該方法は、
当該顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するステップをさらに含む。
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
当該検出待ちフレームがプリセットフレームである場合、当該検出待ちフレームの各部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップを含む。
そのうちの１つの実施例において、当該検出待ち顔画像は顔画像であり、当該顔キーポイントは顔キーポイントである。
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定する方式は、
各部分画像について、当該部分画像のヒットマップを決定するステップであって、当該ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含むステップと、
当該ヒットマップに従って、当該部分画像に対応するキーポイントの候補点を決定するステップとを含む。
そのうちの１つの実施例において、当該検出待ち顔画像を取得するステップは、
初期の顔画像を取得するステップと、
当該初期の顔画像を前処理して、当該検出待ち顔画像を取得するステップとを含む。
そのうちの１つの実施例において、当該前処理は、
両目の瞳孔キーポイントが同じ水平線にあるように、当該初期の顔画像を回転させること、
及び／又は、
両目の瞳孔キーポイントの水平距離がプリセットの値になるように、当該初期の顔画像をスケーリングすることを含む。
そのうちの１つの実施例において、当該検出待ち顔画像に基づき、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップは、
当該検出待ち顔画像に対して顔キーポイントの初期化を実行するステップと、
初期化結果に基づいて当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップとを含む。
上記の実施例の方法の全てまたは一部のプロセスは、コンピュータプログラムによって、関連するハードウェアに命令することにより完了してもよいことを当業者なら自明である。前記コンピュータプログラムは、不揮発性コンピュータ可読取記憶媒体に記憶されてもよく、当該コンピュータプログラムは実行される場合、上記の各方法の実施例のプロセスを含み得る。ここで、本願で提供される各実施例で使用されるメモリ、ストレージ、データベースまたは他の媒体への参照の全ては、不揮発性及び／または揮発性メモリを含み得る。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）またはフラッシュメモリを含み得る。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）または外部キャッシュメモリを含み得る。説明するものであるが限定するものではないこととして、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、デュアルデータ率ＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、強化型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期接続（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、ラムバス（Ｒａｍｂｕｓ）直接ＲＡＭ（ＲＤＲＡＭ）、直接メモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの様々な形であってもよい。
以上、実施例の各技術的特徴を任意に組み合わせることができ、説明を簡潔にするために、上述の実施例における各技術的特徴の全ての可能な組み合わせについて説明していない。しかしながら、これらの技術的特徴の組み合わせに矛盾がない限り、それらの全ては、本明細書の範囲と見なされるべきである。
上記の実施例は本願のいくつかの実施形態のみを説明しており、それらの説明はより具体的且つ詳細であるが、本発明の特許の範囲を限定するものとして解釈されるべきではない。当業者にとって、本願の構想から逸脱することなく、いくつかの変形又は改善を加えることもでき、これらの変形又は改善は、両方とも、本願の保護範囲に属することに留意されたい。したがって、本願の特許の保護範囲は、特許請求を基準とするべきである。

Claims (18)

  1. コンピュータ機器が実行する、顔キーポイント検出方法であって、
    検出待ち顔画像を取得するステップであって、前記検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
    前記検出待ち顔画像に基づき、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
    各部分画像に基づいて、前記部分画像のそれぞれに対応するキーポイントの候補点をそれぞれ決定するステップと、
    各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップと、
    を含み、
    前記各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、
    動的線形点分布モデルに基づいて、各部分画像の制約パラメータを取得するステップと、取得した各制約パラメータに基づき、各部分画像の前記キーポイントの候補点を共同制約して、前記各部分画像の顔キーポイントを取得するステップと、
    を含み、
    前記各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
    前記検出待ちフレームが、プリセットフレームではない場合、前記検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、
    前記前のフレーム及び前記検出待ちフレームに対応する部分画像に基づいて、前記検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
    を含むことを特徴とする、顔キーポイント検出方法。
  2. 前記各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、前記顔キーポイント検出方法は、
    前記顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するステップ
    をさらに含むことを特徴とする、請求項１に記載の顔キーポイント検出方法。
  3. 前記各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
    前記検出待ちフレームがプリセットフレームである場合、前記検出待ちフレームの各部分画像に基づいて、前記検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップ
    を含むことを特徴とする、請求項１に記載の顔キーポイント検出方法。
  4. 前記検出待ち顔画像は顔画像であり、前記顔キーポイントは顔キーポイントであることを特徴とする、請求項１に記載の顔キーポイント検出方法。
  5. 前記各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定する方式は、
    各部分画像について、前記部分画像のヒットマップを決定するステップであって、前記ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含むステップと、
    前記ヒットマップに従って、前記部分画像に対応するキーポイントの候補点を決定するステップと、
    を含むことを特徴とする、請求項１に記載の顔キーポイント検出方法。
  6. 前記検出待ち顔画像を取得するステップは、
    初期の顔画像を取得するステップと、
    前記初期の顔画像を前処理して、前記検出待ち顔画像を取得するステップと、
    を含むことを特徴とする、請求項１に記載の顔キーポイント検出方法。
  7. 前記前処理は、
    両目の瞳孔キーポイントが同じ水平線にあるように、前記初期の顔画像を回転させること、
    又は／及び、
    両目の瞳孔キーポイントの水平距離がプリセットの値になるように、前記初期の顔画像をスケーリングすること
    を含むことを特徴とする、請求項６に記載の顔キーポイント検出方法。
  8. 前記検出待ち顔画像に従って、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップは、
    前記検出待ち顔画像に対して顔キーポイントの初期化を実行するステップと、
    初期化結果に基づいて前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
    を含むことを特徴とする、請求項７に記載の顔キーポイント検出方法。
  9. 顔キーポイント検出装置であって、
    検出待ち顔画像を取得するように構成される画像全体取得モジュールであって、前記検出待ち顔画像は、検出待ちフレームの顔画像である画像全体取得モジュールと、
    前記検出待ち顔画像に従って、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するように構成される部分画像決定モジュールと、
    各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成される部分候補点決定モジュールと、
    各キーポイントの候補点を共同制約して、各顔キーポイントを決定するように構成されるキーポイント全体決定モジュールと、
    を備え、
    前記キーポイント全体決定モジュールは、動的線形点分布モデルに基づいて、各部分画像の制約パラメータを取得し、取得した各制約パラメータに基づき、各部分画像の前記キーポイントの候補点を共同制約して、前記各部分画像の顔キーポイントを取得するように構成され、
    前記部分候補点決定モジュールは、前記検出待ちフレームが、プリセットフレームではない場合、前記検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得し、前記前のフレーム及び前記検出待ちフレームに対応する部分画像に基づいて、前記検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成されることを特徴とする、顔キーポイント検出装置。
  10. 前記顔キーポイント検出装置はさらに、
    キーポイント全体決定モジュールが各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、前記顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するように構成される先順位の部分画像決定モジュールを備える
    ことを特徴とする、請求項９に記載の顔キーポイント検出装置。
  11. 前記部分候補点決定モジュールは、前記検出待ちフレームがプリセットフレームである場合、前記検出待ちフレームの各部分画像に基づいて、前記検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成されることを特徴とする、請求項９に記載の顔キーポイント検出装置。
  12. 前記検出待ち顔画像は顔画像であり、前記顔キーポイントは顔キーポイントである、請求項９に記載の顔キーポイント検出装置。
  13. 前記部分候補点決定モジュールは、各部分画像について、前記部分画像のヒットマップを決定し、前記ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含み、前記ヒットマップに従って、前記部分画像に対応するキーポイントの候補点を決定するように構成されることを特徴とする、請求項９に記載の顔キーポイント検出装置。
  14. 前記画像全体取得モジュールは、初期の顔画像を取得し、前記初期の顔画像を前処理して、前記検出待ち顔画像を取得するように構成される、請求項９に記載の顔キーポイント検出装置。
  15. 前記画像全体取得モジュールは、両目の瞳孔キーポイントが同じ水平線にあるように、前記初期の顔画像を回転させ、又は／及び、両目の瞳孔キーポイントの水平距離がプリセットの値になるように、前記初期の顔画像をスケーリングするように構成されることを特徴とする、請求項１４に記載の顔キーポイント検出装置。
  16. 前記部分候補点決定モジュールは、前記検出待ち顔画像に対して顔キーポイントの初期化を実行し、初期化結果に基づいて前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するように構成されることを特徴とする、請求項１５に記載の顔キーポイント検出装置。
  17. コンピュータ機器であって、
    メモリと、プロセッサとを備え、前記メモリには、コンピュータプログラムが記憶され、前記プロセッサが前記コンピュータプログラムを実行するとき、請求項１ないし８のいずれか一項に記載の顔キーポイント検出方法のステップを実現することを特徴とする、コンピュータ機器。
  18. コンピュータプログラムであって、
    コンピュータに、請求項１ないし８のいずれか一項に記載の顔キーポイント検出方法を実行させる、コンピュータプログラム。
JP2021516563A 2018-12-10 2019-11-27 顔キーポイント検出方法、装置、コンピュータ機器及びコンピュータプログラム Active JP7512262B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811503905.5 2018-12-10
CN201811503905.5A CN109657583B (zh) 2018-12-10 2018-12-10 脸部关键点检测方法、装置、计算机设备和存储介质
PCT/CN2019/121237 WO2020119458A1 (zh) 2018-12-10 2019-11-27 脸部关键点检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
JP2022502751A JP2022502751A (ja) 2022-01-11
JP7512262B2 true JP7512262B2 (ja) 2024-07-08

Family

ID=66113105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021516563A Active JP7512262B2 (ja) 2018-12-10 2019-11-27 顔キーポイント検出方法、装置、コンピュータ機器及びコンピュータプログラム

Country Status (6)

Country Link
US (1) US11915514B2 (ja)
EP (1) EP3839807A4 (ja)
JP (1) JP7512262B2 (ja)
KR (1) KR102592270B1 (ja)
CN (1) CN109657583B (ja)
WO (1) WO2020119458A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657583B (zh) 2018-12-10 2021-10-22 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质
CN112016371B (zh) * 2019-05-31 2022-01-14 广州市百果园信息技术有限公司 人脸关键点检测方法、装置、设备及存储介质
JP7102554B2 (ja) * 2019-09-30 2022-07-19 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド 画像処理方法、装置及び電子機器
CN110826534B (zh) * 2019-11-30 2022-04-05 杭州小影创新科技股份有限公司 一种基于局部主成分分析的人脸关键点检测方法及系统
CN111598051B (zh) * 2020-06-16 2023-11-14 腾讯科技（深圳）有限公司 一种脸部验证方法、装置、设备及可读存储介质
CN113761994B (zh) * 2020-08-07 2024-05-21 北京沃东天骏信息技术有限公司 处理图像的方法、装置、设备和计算机可读介质
US11574500B2 (en) 2020-09-08 2023-02-07 Samsung Electronics Co., Ltd. Real-time facial landmark detection
CN112257582A (zh) * 2020-10-21 2021-01-22 北京字跳网络技术有限公司 脚部姿态确定方法、装置、设备和计算机可读介质
CN112967235A (zh) * 2021-02-19 2021-06-15 联影智能医疗科技(北京)有限公司 图像检测方法、装置、计算机设备和存储介质
CN113344890B (zh) * 2021-06-18 2024-04-12 北京百度网讯科技有限公司 医学图像识别方法、识别模型训练方法及装置
CN113449657B (zh) * 2021-07-05 2022-08-30 中山大学 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质
KR102529209B1 (ko) 2021-09-16 2023-05-09 주식회사 이엔터 얼굴 인식을 통한 특수효과 연출 시스템 및 그 방법
CN114463534A (zh) * 2021-12-28 2022-05-10 佳都科技集团股份有限公司 一种目标关键点检测方法、装置、设备及存储介质
CN115802160B (zh) * 2023-02-03 2023-04-11 北京润谊医疗管理顾问有限公司 一种眼底图像的智能拍摄方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007096A1 (fr) 2000-07-17 2002-01-24 Mitsubishi Denki Kabushiki Kaisha Dispositif de recherche d'un point caracteristique sur un visage

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4532419B2 (ja) * 2006-02-22 2010-08-25 富士フイルム株式会社 特徴点検出方法および装置並びにプログラム
JP2012014557A (ja) * 2010-07-02 2012-01-19 Fujitsu Ltd 特徴点判定装置、特徴点判定方法および特徴点判定プログラム
CN102194131B (zh) * 2011-06-01 2013-04-10 华南理工大学 基于五官几何比例特征的快速人脸识别方法
CN102799868B (zh) * 2012-07-10 2014-09-10 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
US9152847B2 (en) * 2012-11-27 2015-10-06 Adobe Systems Incorporated Facial landmark localization by exemplar-based graph matching
US8948517B2 (en) * 2013-03-01 2015-02-03 Adobe Systems Incorporated Landmark localization via visual search
JP6202938B2 (ja) * 2013-08-22 2017-09-27 キヤノン株式会社 画像認識装置および画像認識方法
EP3183689A4 (en) * 2014-08-22 2017-08-23 Microsoft Technology Licensing, LLC Face alignment with shape regression
CN106295476B (zh) * 2015-05-29 2019-05-17 腾讯科技（深圳）有限公司 人脸关键点定位方法和装置
CN105205462A (zh) * 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置
US11080384B2 (en) * 2015-12-15 2021-08-03 Applied Recognition Corp. Systems and methods for authentication using digital signature with biometrics
CN106295567B (zh) * 2016-08-10 2019-04-12 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN108280388A (zh) * 2017-01-06 2018-07-13 富士通株式会社 训练面部检测模型的方法和装置以及面部检测方法和装置
CN106845377A (zh) * 2017-01-10 2017-06-13 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN106991388B (zh) * 2017-03-27 2020-04-21 中国科学院自动化研究所 关键点定位方法
CN107945219B (zh) * 2017-11-23 2019-12-03 翔创科技（北京）有限公司 脸部图像对齐方法、计算机程序、存储介质及电子设备
US11068741B2 (en) * 2017-12-28 2021-07-20 Qualcomm Incorporated Multi-resolution feature description for object recognition
CN110731076A (zh) * 2018-07-31 2020-01-24 深圳市大疆创新科技有限公司 一种拍摄处理方法、设备及存储介质
CN109492531B (zh) * 2018-10-10 2021-04-23 达闼机器人有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN109657583B (zh) * 2018-12-10 2021-10-22 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007096A1 (fr) 2000-07-17 2002-01-24 Mitsubishi Denki Kabushiki Kaisha Dispositif de recherche d'un point caracteristique sur un visage

Also Published As

Publication number Publication date
CN109657583B (zh) 2021-10-22
EP3839807A1 (en) 2021-06-23
US11915514B2 (en) 2024-02-27
KR20210060554A (ko) 2021-05-26
WO2020119458A1 (zh) 2020-06-18
KR102592270B1 (ko) 2023-10-19
EP3839807A4 (en) 2021-11-10
JP2022502751A (ja) 2022-01-11
CN109657583A (zh) 2019-04-19
US20210182537A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
JP7512262B2 (ja) 顔キーポイント検出方法、装置、コンピュータ機器及びコンピュータプログラム
WO2020200030A1 (zh) 神经网络的训练方法、图像处理方法、图像处理装置和存储介质
US11842487B2 (en) Detection model training method and apparatus, computer device and storage medium
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
WO2020063527A1 (zh) 基于多特征检索和形变的人体发型生成方法
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN106803055B (zh) 人脸识别方法和装置
CN111354079A (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN112288011B (zh) 一种基于自注意力深度神经网络的图像匹配方法
WO2012126135A1 (en) Method of augmented makeover with 3d face modeling and landmark alignment
US20230081982A1 (en) Image processing method and apparatus, computer device, storage medium, and computer program product
CN108446672B (zh) 一种基于由粗到细脸部形状估计的人脸对齐方法
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN112800903A (zh) 一种基于时空图卷积神经网络的动态表情识别方法及系统
WO2021218238A1 (zh) 图像处理方法和图像处理装置
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN110598638A (zh) 模型训练方法、人脸性别预测方法、设备及存储介质
CN113706564A (zh) 基于多种监督方式的睑板腺分割网络的训练方法及装置
CN111709268B (zh) 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置
WO2021169160A1 (zh) 图像归一化处理方法及装置、存储介质
CN113822965A (zh) 图像渲染处理方法、装置和设备及计算机存储介质
CN113469092A (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN115439325A (zh) 低分辨率高光谱图像处理方法、装置、计算机程序产品
KR20230060726A (ko) 얼굴 합성 서비스를 제공하는 방법 및 이를 위한 장치
US20230281945A1 (en) Probabilistic keypoint regression with uncertainty

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230313

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230322

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230327

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240626