KR102592270B1 - 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체 - Google Patents

얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체 Download PDF

Info

Publication number
KR102592270B1
KR102592270B1 KR1020217011194A KR20217011194A KR102592270B1 KR 102592270 B1 KR102592270 B1 KR 102592270B1 KR 1020217011194 A KR1020217011194 A KR 1020217011194A KR 20217011194 A KR20217011194 A KR 20217011194A KR 102592270 B1 KR102592270 B1 KR 102592270B1
Authority
KR
South Korea
Prior art keywords
landmark
detected
landmarks
image
facial
Prior art date
Application number
KR1020217011194A
Other languages
English (en)
Other versions
KR20210060554A (ko
Inventor
쉬안 차오
웨이젠 차오
옌하오 거
청제 왕
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20210060554A publication Critical patent/KR20210060554A/ko
Application granted granted Critical
Publication of KR102592270B1 publication Critical patent/KR102592270B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 출원은 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체에 관한 것이다. 얼굴 랜드마크 검출 방법은, 검출될 얼굴 이미지를 획득하는 단계 - 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -; 검출될 얼굴 이미지에 따라, 검출될 얼굴 이미지에서 각각의 랜드마크를 각각 포함하는 로컬 이미지를 획득하는 단계; 각각의 로컬 이미지에 기초하여, 각각의 로컬 이미지 내의 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계; 및 각각의 랜드마크의 후보 포인트에 대해 조합된 제한을 수행하고, 각각의 랜드마크를 결정하는 단계를 포함한다. 각각의 랜드마크를 각각 포함하는 로컬 이미지에 대해, 전체 검출될 얼굴 이미지에서, 로컬 이미지 내의 대응하는 랜드마크의 후보 포인트가 각각 결정된다. 따라서 계산량이 줄어들 수 있고, 랜드마크의 후보 포인트를 결정하는 효율이 개선될 수 있다. 따라서, 각각의 얼굴 랜드마크를 검출하는 효율이 개선될 수 있다.

Description

얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체
본 출원은 2018년 12월 10일에 출원된 중국 특허 출원 번호 제201811503905.5호("FACIAL LANDMARK DETECTION METHOD AND APPARATUS, COMPUTER DEVICE AND STORAGE MEDIUM")에 대해 우선권을 주장하는 바이며, 그 전체 내용이 원용에 의해 본 명세서에 포함된다.
본 출원은 인공 지능 분야에 관한 것으로, 상세하게는 얼굴 랜드마크를 검출하는 방법과 장치, 컴퓨터 장치, 및 저장 매체에 관한 것이다.
얼굴 랜드마크 검출 기술은 얼굴 인식, 얼굴 등록, 및 얼굴 미화(face beautification)와 같은 적용 분야에서 중요한 역할을 한다. 관련 얼굴 랜드마크 검출 방법은 전체적인 얼굴 특징에 기초하여 얼굴 랜드마크 검출을 수행할 수 있다. 예를 들어, 사람 얼굴 랜드마크 검출(landmark detection)은 사람 얼굴 이미지의 랜드마크의 위치 좌표를 찾는 것을 말한다. 사람 얼굴 랜드마크 검출이 수행될 때, 도 1에 도시된 바와 같이, 전체 사람 얼굴 이미지가 입력으로 사용되고, 모든 사람 얼굴 랜드마크의 위치 좌표가 신경망 모델 또는 수학적 모델을 통해 동시에 출력된다.
관련 랜드마크 검출 방법이 얼굴 이미지 전체를 검출 대상으로 하여 랜드마크 검출을 수행하므로, 검출 효율이 낮다.
이에 기초하여, 검출 효율을 개선할 수 있는 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체가 제공됨으로써, 얼굴 랜드마크 검출의 효율이 낮은 문제를 해결할 수 있다.
얼굴 랜드마크를 검출하기 위한 방법이 제공된다. 상기 얼굴 랜드마크를 검출하기 위한 방법은,
검출될 얼굴 이미지를 획득하는 단계 - 상기 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -;
상기 검출될 얼굴 이미지에 따라, 상기 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 단계;
상기 부분 이미지에 기초하여, 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하는 단계; 및
상기 랜드마크의 후보 포인트를 공동으로 제한하여(constraining) 얼굴 랜드마크를 결정하는 단계를 포함한다.
얼굴 랜드마크를 검출하기 위한 장치가 제공된다. 상기 얼굴 랜드마크를 검출하기 위한 장치는,
검출될 얼굴 이미지를 획득하도록 구성된 전체 이미지 획득 모듈(overall image acquiring module) - 상기 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -;
상기 검출될 얼굴 이미지에 따라, 상기 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하도록 구성된 부분 이미지 결정 모듈(partial image determining module);
상기 부분 이미지에 기초하여, 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하도록 구성된 부분 후보 포인트 결정 모듈(partial candidate point determining module); 및
상기 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하도록 구성된 전체 랜드마크 결정 모듈을 포함한다.
컴퓨터 장치가 제공된다. 상기 컴퓨터 장치는 메모리와 프로세서를 포함하고, 상기 메모리는 컴퓨터 프로그램을 저장하며, 상기 프로세서는 상기 컴퓨터 프로그램을 실행할 때,
검출될 얼굴 이미지를 획득하는 연산 - 상기 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -;
상기 검출될 얼굴 이미지에 따라, 상기 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 연산;
상기 부분 이미지에 기초하여, 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하는 연산; 및
상기 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 연산을 수행한다.
컴퓨터 판독가능 저장 매체가 제공된다. 상기 컴퓨터 판독가능 저장 매체는 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때,
검출될 얼굴 이미지를 획득하는 연산 - 상기 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -;
상기 검출될 얼굴 이미지에 따라, 상기 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 연산;
상기 부분 이미지에 기초하여, 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하는 연산; 및
상기 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 연산을 수행한다.
상기 얼굴 랜드마크를 검출하기 위한 방법과 상기 얼굴 랜드마크를 검출하기 위한 장치, 상기 컴퓨터 장치, 및 상기 저장 매체에 따르면, 검출될 얼굴 이미지가 획득되고 - 여기서, 상기 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -; 상기 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지가 상기 검출될 얼굴 이미지에 따라 결정되며; 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트가 상기 부분 이미지에 기초하여 각각 결정되고; 상기 랜드마크의 후보 포인트가 공동으로 제한되어 얼굴 랜드마크를 결정한다. 상기 전체 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 상기 부분 이미지에 대해, 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트가 각각 결정된다. 따라서, 계산량이 줄어들 수 있고 또한 랜드마크의 후보 포인트를 결정하는 효율이 개선된다. 이 경우, 얼굴 랜드마크의 검출 효율이 개선될 수 있다. 상기 얼굴 랜드마크를 검출하기 위한 방법이 화장 애플리케이션에 적용될 때, 검출 효율이 개선되기 때문에, 랜드마크 검출에 소요되는 시간이 줄어들 수 있고 또한 실행 중의 프레임 프리징(frame freezing)이 줄어듬으로써 더 부드러운 화장 효과를 제공할 수 있다.
도 1은 종래 기술에 따른 얼굴 랜드마크를 검출하기 위한 방법의 원리도이다.
도 2는 일 실시예에 따른 얼굴 랜드마크를 검출하기 위한 방법의 적용 환경을 나타내는 도면이다.
도 3은 일 실시예에 따른 얼굴 랜드마크를 검출하기 위한 방법을 개략적으로 나타내는 흐름도이다.
도 4는 특정 실시예에 따른 얼굴 랜드마크를 검출하기 위한 방법의 신경망을 개략적으로 나타내는 구조도이다.
도 5는 특정 실시예에 따른 얼굴 랜드마크를 검출하기 위한 방법의 다른 신경망을 개략적으로 나타내는 구조도이다.
도 6은 특정 실시예에 따른 얼굴 랜드마크를 검출하기 위한 방법의 원리도이다.
도 7은 특정 실시예에 따른 얼굴 랜드마크를 검출하기 위한 방법을 개략적으로 나타내는 흐름도이다.
도 8은 관련 기술에 따라 획득된 무질서한 화장의 예시도이다.
도 9는 일 실시예에 따른 얼굴 랜드마크를 검출하기 위한 방법을 통해 획득된 정확한 화장의 예시도이다.
도 10은 일 실시예에 따른 얼굴 랜드마크를 검출하기 위한 장치의 구조를 나타내는 블록도이다.
본 출원의 목적, 기술적 해결책, 및 이점이 더 명확하고 이해하기 쉽도록, 첨부 도면과 실시예를 참조하여 본 출원에 대해 더 상세하게 설명한다. 본 명세서에 설명된 구체적인 실시예가 본 출원을 설명하는 데 사용될 뿐이며 본 출원을 제한하는 데 사용되지 않는다는 것을 이해해야 한다.
도 2는 일 실시예에 따른 얼굴 랜드마크를 검출하기 위한 방법의 적용 환경을 나타내는 도면이다. 얼굴 랜드마크를 검출하기 위한 방법은 컴퓨터 장치에 적용 가능하다. 컴퓨터 장치는 단말기 또는 서버일 수 있다. 단말기는 데스크톱 장치이거나, 또는 모바일 폰, 또는 태블릿 컴퓨터, 또는 데스크톱 컴퓨터와 같은 모바일 단말기일 수 있다. 서버는 독립적인 물리적 서버, 또는 물리적 서버 클러스터, 또는 가상 서버일 수 있다. 컴퓨터 장치는 시스템 버스를 이용하여 연결되는 프로세서, 메모리, 및 네트워크 인터페이스를 포함한다. 메모리는 비휘발성 저장 매체와 내부 메모리를 포함한다. 컴퓨터 장치의 비휘발성 저장 매체는 운영체제와 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램은 프로세서에 의해 실행될 때 프로세서로 하여금 얼굴 랜드마크를 검출하기 위한 방법의 연산을 구현하게 할 수 있다. 내부 메모리도 컴퓨터 프로그램을 저장할 수 있고, 컴퓨터 프로그램은 프로세서에 의해 실행될 때 프로세서로 하여금 얼굴 랜드마크를 검출하기 위한 방법의 연산을 수행하게 할 수 있다.
당업자라면 도 2에 도시된 구조가 본 출원의 해결책과 관련된 구조의 일부를 나타내는 블록도일 뿐이며 본 출원의 해결책이 적용되는 컴퓨터 장치를 제한하지 않는다는 것을 이해할 수 있을 것이다. 구체적으로, 컴퓨터 장치는 도면에 있는 것보다 더 많거나 적은 부재를 포함하거나, 또는 일부 부재의 조합을 포함하거나, 또는 서로 다른 부재 레이아웃을 포함할 수 있다.
도 3에 도시된 바와 같이, 일 실시예에서, 얼굴 랜드마크를 검출하기 위한 방법이 제공된다. 얼굴 랜드마크를 검출하기 위한 방법은 도 2의 컴퓨터 장치 상에서 실행된다. 얼굴 랜드마크를 검출하기 위한 방법은 다음의 단계를 포함한다.
S302. 검출될 얼굴 이미지를 획득한다. 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지이다.
검출될 얼굴 이미지는 독립적인 얼굴 이미지일 수 있거나, 또는 동적 장면에서 얼굴 이미지의 복수의 연속적인 프레임의 이미지의 프레임일 수 있다. 검출될 얼굴 이미지는 얼굴 정보를 포함하는 이미지일 수 있다. 이 얼굴은 사람의 얼굴, 즉 사람 얼굴일 수 있다. 이 얼굴은 대안적으로 동물 얼굴, 예를 들어 고양이, 개, 또는 사자, 또는 호랑이, 또는 북극곰의 얼굴일 수 있다.
얼굴 랜드마크를 검출하기 위한 방법이 동적 장면에 적용될 수 있고, 동적 장면이 2개 이상의 이미지 프레임을 포함하는 장면이라는 것을 이해할 수 있을 것이다. 얼굴 랜드마크가 검출될 때, 장면 내의 2개 이상의 얼굴 이미지의 프레임에 대해 검출이 수행되어야 한다. 예를 들어, 얼굴 이미지의 각각의 프레임에서 사람의 얼굴 랜드마크가 검출될 수 있다.
S304. 검출될 얼굴 이미지에 따라, 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정한다.
랜드마크는 얼굴 이미지 내의 얼굴 부분의 포인트, 예를 들어 눈 모서리, 눈꺼풀 중간 포인트, 코 끝, 입 모서리, 및 윤곽 상의 포인트일 수 있다. 예를 들어, 얼굴 유형이 결정될 때, 예를 들어 얼굴이 사람 얼굴일 때, 얼굴의 랜드마크가 미리 정의될 수 있다. 얼굴 유형은 얼굴이 사람 얼굴인지 또는 동물 얼굴인지를 나타내는 데 사용될 수 있다. 가능한 구현에서, 얼굴 유형은 사람 얼굴 유형, 고양이 얼굴 유형, 및 개 얼굴 유형 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 얼굴의 각각의 랜드마크가 미리 정의되어 있고, 하나의 부분 이미지가 정의된 각각의 랜드마크에 따라 획득될 수 있다. 즉, 하나의 부분 이미지가 하나의 랜드마크에 대응한다. 얼굴의 각각의 랜드마크를 미리 정의하는 것은, 얼굴 이미지 내의 랜드마크의 위치에 따라 랜드마크를 마킹하는 것을 포함할 수 있다. 예를 들어, 랜드마크는 각각 첫 번째 랜드마크, 두 번째 랜드마크, ... , 및 N번째 랜드마크로 마킹될 수 있다. N은 얼굴 랜드마크의 총 개수를 나타내고, 첫 번째 랜드마크가 눈꼬리의 랜드마크, 두 번째 랜드마크가 눈꺼풀 중간점의 랜드마크, … , 52번째 랜드마크가 입 구석의 랜드마크이며, 기타 등등일 수 있다.
선택적으로, N은 86일 수 있다. 눈이 22개의 랜드마크를 포함할 수 있고, 눈썹이 16개의 랜드마크를 포함할 수 있으며, 코가 11개의 랜드마크를 포함할 수 있고, 입이 18개의 랜드마크를 포함할 수 있으며, 얼굴 윤곽이 19개의 랜드마크를 포함할 수 있다.
선택적으로, 랜드마크는 얼굴 부분에 따라 분류될 수도 있다. 예를 들어, 랜드마크가 눈 랜드마크, 눈썹 랜드마크, 코 랜드마크, 입 랜드마크, 윤곽 랜드마크, 및 기타 유형의 랜드마크로 분류될 수 있다. 첫 번째 랜드마크 내지 22번째 랜드마크가 눈 키 포인일 수 있고, 23번째 랜드마크 내지 38번째 랜드마크가 눈썹 랜드마크일 수 있다. 부분 이미지의 크기가 검출될 얼굴 이미지의 1/10 또는 1/20보다 작을 수 있다. 요컨대, 부분 이미지는 감지될 얼굴 이미지보다 훨씬 작다.
다른 실시예에서, 사전 설정된 규칙에 따라 얼굴의 복수의 랜드마크가 추가로 미리 정의될 수 있다는 것을 이해할 수 있을 것이다. 복수의 랜드마크에 대해, 복수의 랜드마크에 대응하는 부분 이미지, 즉 복수의 랜드마크에 대응하는 하나의 부분 이미지가 획득된다. 가능한 구현에서, 얼굴의 복수의 랜드마크를 미리 정의하는 것은, 얼굴 부분에 따라 얼굴 랜드마크를 분류하고 정의하는 것을 포함할 수 있다. 랜드마크의 유형이 눈 랜드마크, 눈썹 랜드마크, 코 랜드마크, 입 랜드마크, 및 윤곽 랜드마크 중 적어도 하나를 포함할 수 있다. 예를 들어, 동일한 유형의 복수의 랜드마크가 눈의 첫 번째 랜드마크 내지 22번째 랜드마크일 수 있거나, 또는 눈썹의 23번째 랜드마크 내지 38번째 랜드마크일 수 있다. 부분 이미지의 크기가 검출될 얼굴 이미지의 크기의 1/2 또는 1/5보다 작을 수 있다. 요컨대, 부분 이미지는 감지될 얼굴 이미지보다 작다.
부분 이미지는 랜드마크를 정의하기 위한 방법에 기초하여 추출될 수 있다. 예를 들어, 각각의 랜드마크에 대해, 각각의 랜드마크에 대응하는 부분 이미지가 검출될 얼굴 이미지로부터 추출된다. 랜드마크에 대응하는 부분 이미지는 랜드마크를 포함하는 부분 이미지이다. 예를 들어, 첫 번째 랜드마크에 대해, 첫 번째 랜드마크를 포함하는 부분 이미지가 검출될 얼굴 이미지로부터 추출된다. 다른 예에서, 동일한 유형의 복수의 랜드마크에 대해, 동일한 유형의 복수의 랜드마크를 포함하는 부분 이미지가, 미리 설정된 규칙에 따라, 검출될 얼굴 이미지로부터 추출된다. 랜드마크에 대응하는 부분 이미지는 이 유형의 모든 랜드마크를 포함하는 부분 이미지이다. 예를 들어, 눈 랜드마크에 대해, 첫 번째 랜드마크 내지 22번째 랜드마크를 포함하는 부분 이미지가 검출될 얼굴 이미지로부터 추출된다.
복수의 랜드마크에 대응하는 하나의 부분 이미지를 구현하는 것과 비교할 때, 하나의 랜드마크에 대응하는 하나의 부분 이미지를 구현하면 더 작은 부분 이미지가 추출될 수 있다. 따라서 검출 효율이 개선될 수 있다. 하나의 랜드마크에 대응하는 하나의 부분 이미지를 구현하는 것과 비교할 때, 복수의 랜드마크에 대응하는 하나의 부분 이미지를 구현하면 더 적은 수의 부분 이미지가 추출되어 컴퓨터 장치의 계산량을 줄임으로써 얼굴 랜드마크를 더 빨리 결정할 수 있다.
S306. 부분 이미지에 기초하여, 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정한다.
각각의 부분 이미지에 대해, 각각의 부분 이미지에 대응하는 랜드마크의 후보 포인트가 각각의 부분 이미지의 질감 특징(texture feature)에 따라 결정된다. 즉, 랜드마크 검출이 각각의 부분 이미지에 대해 독립적으로 수행됨으로서 각각의 부분 이미지에 대응하는 랜드마크의 후보 포인트를 결정할 수 있다. 후보 포인트는 각각의 부분 이미지에 대응하는 랜드마크일 수 있는 포인트를 말한다.
일부 실시예에서, 부분 이미지에 대응하는 랜드마크의 후보 포인트가 훈련된 신경망 모델을 이용하여 결정될 수 있다. 예를 들어, 대응하는 신경망 모델을 이용하여 각각의 랜드마크가 매핑되어 각각의 랜드마크의 후보 포인트를 획득할 수 있다. 각각의 랜드마크에 대응하는 신경망은 미리 훈련된 부분 이미지 기반의 신경망 모델일 수 있다. 하나의 부분 이미지가 하나의 랜드마크에 대응하는 예에서, 신경망 모델의 개수가 미리 정의된 얼굴 랜드마크의 개수와 같고, 각각의 랜드마크는 처리의 가속화를 위한 동시 처리를 위해 복수의 부분 이미지를 복수의 신경망 모델에 동시에 입력할 수 있는, 하나의 부분 이미지 기반의 신경망 모델에 대응할 수 있다. 부분 이미지 기반의 신경망 모델의 입력이 부분 이미지이고, 출력이 부분 이미지의 히트 맵(heat map)일 수 있다. 히트 맵은 포인트 분포 확률을 이용하여 에너지 레벨을 나타내는 이미지이다. 이미지 내의 픽셀의 값이 픽셀이 랜드마크일 확률을 나타낸다. 히트 맵은 부분 이미지 내의 픽셀 포인트가 랜드마크로 사용될 확률을 나타낼 수 있다. 미리 설정된 조건을 만족하는 확률을 가진 픽셀 포인트가 후보 포인트이다. 사전 설정된 조건은 확률이 미리 설정된 확률보다 크다는 것일 수 있다. 예를 들어, 미리 설정된 확률은 0에서 1 사이의 어떤 값, 예컨대 0, 또는 0.1, 또는 0.5일 수 있다. 이와 같이, 신경망을 통해 부분 이미지에 대응하는 랜드마크의 후보 포인트를 결정하여 얼굴 랜드마크를 검출하는 정확도를 더 개선할 수 있다.
308. 랜드마크의 후보 포인트를 공동으로 제한(constrain)하여 얼굴 랜드마크를 결정한다.
랜드마크의 후보 포인트가 각각 부분 이미지에 대응한다. 따라서, 검출될 얼굴 이미지의 모든 얼굴 랜드마크가 결정될 때, 부분 이미지에 대응하는 랜드마크를 결정하기 위해서는 부분 이미지에 대응하는 랜드마크의 후보 포인트에 대해 공동 제한이 수행되어야 한다. 검출될 이미지의 부분 이미지에 대응하는 랜드마크의 집합이 검출될 얼굴 이미지의 모든 얼굴 랜드마크이다. 검출될 얼굴 이미지의 모든 얼굴 랜드마크가 부분 이미지에 대응하는 랜드마크를 획득하여 획득되고, 부분 이미지가 동시에 처리된다. 따라서 얼굴 인식 과정에 필요한 시간이 줄어든다.
가능한 구현에서, 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 것은, 검출될 얼굴 이미지의 모든 얼굴 랜드마크를 획득하기 위해, 공동 제한의 조건에 따라 부분 이미지 내의 후보 포인트를 공동으로 제한하여 부분 이미지 내의 랜드마크를 결정하는 것을 포함할 수 있다. 공동 제한의 조건은, 부분 이미지에 대응하는 랜드마크가 공동(joint)인 후에 만족되어야 하는 조건을 나타낸다. 예를 들어, 검출될 얼굴 이미지 내의 얼굴의 유형이 사람 얼굴 유형이면, 공동 제약의 조건은 부분 이미지에 대응하는 랜드마크가 공동인 후에 만족되어야 할 얼굴 특징 기반의 조건일 수 있다. 예를 들어, 얼굴 특징 기반의 조건은 눈 랜드마크가 입 랜드마크 위에 있으면서 코 랜드마크가 눈 랜드마크와 입 랜드마크 사이에 있다는 것일 수 있다.
일부 실시예에서, 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 것은, 랜드마크의 후보 포인트를 공동으로 제한하여 훈련된 신경망 모델을 이용하여 얼굴 랜드마크를 결정하는 것을 포함할 수 있다. 신경망 모델의 입력이 부분 이미지의 히트 맵일 수 있고, 출력이 검출될 얼굴 이미지의 얼굴 랜드마크일 수 있다. 이와 같이, 신경망 모델을 통해 얼굴 랜드마크를 결정함으로써 얼굴 랜드마크의 검출 효율을 더 개선할 수 있다.
하나의 부분 이미지가 복수의 랜드마크에 대응하면, 공동 제한 중에, 회전 연산이 수행되어야 한다. 따라서, 선형 모델을 이용하여 공동 제한이 수행될 수 없다. 하나의 부분 이미지가 하나의 랜드마크에 대응하면, 공동 제한 중에, 회전 연산이 수행될 필요가 없다. 따라서, 선형 모델을 이용하여 공동 제한이 수행될 수 있다. 복수의 해가 필요한 비선형 모델과 비교할 때, 선형 모델에 기초하여 랜드마크의 후보 포인트를 공동으로 제한하면, 단 하나의 해가 필요하기 때문에, 계산량이 적고 검출 속도가 빠르다.
본 실시예에서, 각각의 부분 이미지 내의 랜드마크로 사용될 확률이 가장 높은 픽셀 포인트를 얼굴 랜드마크로 단순히 취하는 대신, 공동 제한이 필요하다. 예를 들어, 랜드마크가 간섭 요인, 예컨대 차폐(shielding)와 어두운 빛 등을 가지고 있으면, 대응하는 픽셀 포인트를 랜드마크로 사용할 확률이 상대적으로 낮다. 하지만, 공동 제한 중에, 전술한 간섭 요인을 확인하고 픽셀 포인트를 얼굴 랜드마크로 출력한다.
본 실시예의 얼굴 랜드마크를 검출하기 위한 방법에 기초하여, 검출될 얼굴 이미지가 획득되고; 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지가, 검출될 얼굴 이미지에 따라 결정되며; 부분 이미지에 대응하는 랜드마크의 후보 포인트가 각각 부분 이미지에 기초하여 결정되고; 랜드마크의 후보 포인트가 공동으로 제한되어 얼굴 랜드마크를 결정한다. 전체 검출될 얼굴 이미지 내의 랜드마크를 각각 포함하는 부분 이미지에 대해, 부분 이미지에 대응하는 랜드마크의 후보 포인트가 각각 결정된다. 따라서 계산량이 줄어들 수 있고, 랜드마크의 후보 포인트를 결정하는 효율이 개선된다. 이 경우, 얼굴 특징점의 검출 효율이 개선될 수 있다. 또한, 부분 이미지가 국부적인 세부 특징을 더 잘 반영할 수 있다. 따라서, 본 실시예에 기초하여 얼굴 랜드마크를 검출하기 위한 방법은 랜드마크 검출의 정확도를 더 개선할 수 있다. 얼굴 랜드마크를 검출하기 위한 방법이 화장 애플리케이션에 적용되면, 검출 효율이 개선되기 때문에, 랜드마크 검출에 소요되는 시간이 줄어들 수 있고 실행 중에 프레임 프리징(frame freezing)을 줄임으로써, 더 매끄러운 화장 효과를 제공할 수 있다.
예를 들어, 동적 장면은 비디오 공유 애플리케이션, 비디오 캡처 애플리케이션, 및 비디오 미화 애플리케이션과 같은 애플리케이션의 동적 장면일 수 있다. 이러한 동적 장면에서, 아이 섀도우, 립스틱, 및 얼굴을 갸름하게 만드는 것(face thinning)과 같은 화장이 사람의 얼굴에 적용될 수 있다. 화장이 사람의 얼굴에 적용될 때, 얼굴의 모든 얼굴 부분을 정확히 찾아야 한다. 즉, 사람의 얼굴 랜드마크를 검출해야 한다. 얼굴 부분의 랜드마크를 검출한 후, 컴퓨터 그래픽(computer graphics, CG) 렌더링 기술을 이용하여 사람의 얼굴 이미지에 화장을 적용할 수 있다. 본 실시예에 기반한 얼굴 랜드마크를 검출하기 위한 방법이 검출 정확도가 높다는 유익한 효과를 가지고 있으므로, 랜드마크의 부정확한 검출과 사람 얼굴을 화장하는 동안 측면 얼굴 포즈, 차폐, 및 어두운 빛과 같은 특수한 상황으로 인한 무질서한 화장을 방지할 수 있다. 그러므로, 화장의 안정성이 개선된다.
동적 장면은 높은 실시간 요구사항을 가지고 있다. 즉, 각각의 비디오 프레임 내의 사람 얼굴 이미지의 얼굴 랜드마크가 실시간으로 검출되어야 한다. 즉, 동적 장면은 검출 효율에 대한 요구사항이 더 높다. 본 실시예에 기반한 얼굴 랜드마크를 검출하기 위한 방법은 동적 장면에 더 잘 적용될 수 있다. 동적 장면의 플루언시(fluency)를 보장하면서, 얼굴 랜드마크를 검출하기 위한 방법은 실행 단말기가 스마트 단말기인 적용 환경에 적용될 수 있다.
일 실시예에서, 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 것은, 선형 모델에 기초하여 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 것을 포함한다.
본 실시예에 기반한 얼굴 랜드마크를 검출하기 위한 방법에서, 하나의 부분 이미지가 하나의 랜드마크에 대응할 때, 공동 제한 중에, 회전 연산이 수행될 필요가 없다는 것을 이해할 수 있을 것이다. 따라서, 선형 모델에 기초하여 랜드마크의 후보 랜드마크을 공동으로 제한하여 검출될 얼굴 이미지 내의 얼굴 랜드마크를 결정할 수 있다. 특히, 측면 얼굴 포즈에서, 종래의 비선형 모델은 흔히 해의 편차를 가지고 있지만, 선형 모델에 기초하여 공동 제한을 통해 더 정확한 얼굴 랜드마크를 획득할 수 있다. 복수의 해가 필요한 비선형 모델과 비교할 때, 선형 모델에 기초하여 랜드마크의 후보 포인트를 공동으로 제한하면, 단 하나의 해가 필요하므로, 계산량이 적고 전역 최적 해로의 수렴을 보장할 수 있다.
비선형 모델과 비교할 때, 선형 모델은 전역 최적 해로의 수렴과 적은 계산량을 보장할 수 있다. 따라서, 본 실시예에 기반한 얼굴 랜드마크를 검출하기 위한 방법은 얼굴 랜드마크를 결정하는 효율을 더 개선할 수 있고, 또한 얼굴 랜드마크를 검출하는 정확도를 개선할 수 있다. 얼굴 랜드마크 검출 방법이 화장 애플리케이션에 적용될 때, 검출 효율과 정확도가 개선되므로, 랜드마크 검출에 소요되는 시간이 더 줄어들 수 있고 또한 실행 중 프레임 프리징을 줄임으로써, 더 매끄러운 화장 효과를 제공할 수 있다. 이 경우, 선형 모델을 이용하여 전역 최적 해를 얻는 것이 보장될 수 있으므로, 측면 얼굴 포즈에서의 해 편차를 피할 수 있고 또한 측면 얼굴 포즈에서의 화장 정확도를 개선한다.
또한, 선형 모델은 동적 선형 포인트 분포 모델이다. 동적 선형 포인트 분포 모델은 선형 제한 조건에 기반한 동적 포인트 분포 모델이다. 가능한 구현에서, 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 단계는, 동적 선형 포인트 분포 모델에 기초하여 부분 이미지의 제한 파라미터를 획득하는 단계; 및 제한 파라미터에 따라, 부분 이미지의 랜드마크의 후보 포인트를 공동으로 제한하여 부분 이미지의 얼굴 랜드마크를 획득하는 단계를 포함한다.
포인트 분포 모델(point distribution model, PDM)이 오브젝트 클래스의 형상 특징을 반영할 수 있는, 특정한 클래스의 오브젝트에서의 랜드마크 분포의 통계 모델이다. 본 실시예에서, PDM은 얼굴 랜드마크 분포의 통계 모델이다. 동적 선형 포인트 분포 모델은 검출 결과가 더 정확할 수 있도록 실시간으로 제한 파라미터(PDM 파라미터)를 동적으로 갱신할 수 있다. 따라서, 본 실시예에 기반한 얼굴 랜드마크를 검출하기 위한 방법은, 전역 최적 해로의 수렴, 적은 계산량, 및 실시간으로 동적으로 갱신될 제한 파라미터를 보장할 수 있다. 따라서, 본 실시예에 기반한 얼굴 랜드마크를 검출하기 위한 방법은 얼굴 랜드마크를 결정하는 효율을 더 개선할 수 있고, 얼굴 랜드마크를 검출하는 정확도를 더 개선할 수 있다.
특정 실시예에서, 동적 선형 포인트 분포 모델의 입력이 부분 이미지의 히트 맵(heat map)이고, 출력이 얼굴 랜드마크이다. 동적 선형 포인트 분포 모델에서 공동 제한 해를 해결하는 과정의 최적화된 목표 함수가,
일 수 있다
여기서, Hk[x,y]는 k번째 랜드마크가 [x, y]의 좌표에 위치할 확률을 나타내고, 는 정규 제한 강도를 나타내며 경험에 따라 0.1에서 5.0까지의 어떤 값으로 설정될 수 있으며, B는 PDM 파라미터를 나타낸다. MPDM은 PDM의 기저 벡터에 의해 형성되는 행렬을 나타내고, MPDM은 복합 구성 행렬이며, 는 주성분 분석(principle component analysis, PCA)(훈련된 데이터 중 랜드마크 데이터의 중복 성분을 제거하여 주 성분 벡터를 획득하는 것을 말함)을 통해 획득된 주성분 벡터에 대응하는 특성 값에 의해 형성된 벡터를 나타내고, s.t.는 제한 조건을 나타낸다.
PCA는 차원 감소를 통해 원본 데이터의 복수의 인덱스를 더 적은 포괄적인 인덱스로 변환할 수 있다. 더 적은 포괄적인 인덱스는 원본 데이터에 관한 대부분의 정보를 반영할 수 있다. 그러므로, 더 적은 포괄적인 인덱스는 원본 데이터의 주성분으로 간주될 수 있다.
또한, 본 실시예에서, 제한 조건은 이다. [x,y]는 각각의 얼굴 랜드마크의 3차원 공간 좌표를 나타내고, s는 스케일 팩터를 나타내고 부동 소수점 숫자일 수 있으며, 는 PCA 기저 벡터에 의해 형성되는 행렬을 나타내고, B는 PDM 파라미터를 나타내며, T는 회전 요인(translation factor)을 나타낸다. 전술한 수식의 곱셈이 행렬 곱셈이다. 행렬 곱셈이 연관 속성을 가지고 있으므로, 전술한 제한 조건은 로 재작성될 수 있다. MPDM은 복합 구성 행렬일 수 있고, 예를 들어 MPDM의 첫 번째 열이 이고, MPDM의 두 번째 열이 벡터 [1, 0, 1, 0, … , 1, 0]이며, MPDM의 세 번째 열이 벡터 [0, 1, 0, 1, …, 0, 1]이고, MPDM의 네 번째 열 내지 마지막 열이 PCA 기저 벡터이다. 파라미터 B를 풀면, 이다. 여기서, 은 MPDM의 의사 역행렬을 나타낸다.
종래의 제한 조건과 비교할 때, 이다. 여기서, R은 회전 요인을 나타내고,
로 나타낼 수 있다.
여기서, 는 각각 3차원 공간 좌표에서 X축, Y축, 및 Z 축 주위의 회전 각도를 나타낸다. 기존 제한 조건에 비선형 인자 R이 있으므로, 이 공식에서 파라미터 B를 풀기 위해서는 경사 하강법(gradient descent method)과 같은 복잡한 알고리즘이 필요하며, 이로 인해 시간이 많이 소요되고 전역 최적 해를 보장할 수 없다.
이러한 구현에 기반한 동적 선형 포인트 분포 모델에서, 공동 제한 중에, 회전 연산이 수행될 필요가 없고, 제한 조건에 비선형 인자가 없다. 따라서, 얼굴 랜드마크를 검출하는 효율이 높다.
다른 실시예에서, 선형 모델도 단지 선형 포인트 분포 모델일 수 있음을 이해할 수 있을 것이다. 이와 같이, 얼굴 랜드마크를 결정하는 효율이 더 개선될 수 있고, 또한 얼굴 랜드마크를 검출하는 정확도가 개선될 수 있다.
일 실시예에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계는, 검출될 프레임이 사전 설정되지 않은 프레임이면, 검출될 프레임의 프리오더 프레임(preorder frame) 내의 랜드마크를 각각 포함하는 부분 이미지를 획득하는 단계; 및 프리오더 프레임과 검출될 프레임의 대응하는 부분 이미지에 기초하여, 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계를 포함한다.
사전 설정된 프레임은 미리 설정된 프레임일 수 있고, 사전 설정된 프레임은 넌-키 프레임(non-key frame) 또는 제1 프레임일 수 있다. 키 프레임이 키 정보를 포함하는 비디오 프레임이거나, 또는 프레임의 사전 설정된 개수 또는 시간의 간격으로 획득되는 비디오 프레임일 수 있다. 사전 설정되지 않은 프레임은 키 프레임 또는 제1 프레임이 아닌 프레임이다. 제1 프레임은 동적 장면에서 얼굴 랜드마크를 검출하는 데 사용되는 제1 프레임일 수 있다. 제1 프레임이 아닌 프레임은 동적 장면에서 얼굴 랜드마크를 검출하는 데 사용되는 제1 프레임 이후의 프레임이다. 프리오더 프레임은 검출될 프레임 이전의 임의의 프레임이고, 프리오더 프레임은 검출될 프레임 이전의 하나의 프레임을 포함할 수 있거나, 또는 검출될 프레임 이전의 복수의 프레임을 포함할 수 있다. 또한, 프리오더 프레임은 검출될 프레임과 연속적인 적어도 하나의 프레임일 수 있다. 예를 들어, 프리오더 프레임은 검출될 프레임의 이전 프레임일 수 있다.
가능한 구현에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계는, 사전 설정된 프레임이 제1 프레임이고, 검출될 프레임이 사전 설정되지 않은 프레임이면, 즉 검출될 프레임이 제1 프레임이 아닌 프레임이면, 검출될 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 획득하는 단계; 및 프리오더 프레임과 검출될 프레임의 대응하는 부분 이미지에 기초하여, 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계를 포함한다. 프리오더 프레임과 검출될 프레임 내의 대응하는 부분 이미지는, 동일한 랜드마크에 대응하는 프리오더 프레임 내의 부분 이미지와 검출될 프레임 내의 부분 이미지이다.
가능한 구현에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계는, 사전 설정된 프레임이 넌-키 프레임이고 또한 검출될 프레임이 사전 설정되지 않은 프레임과 제1 프레임이 아닌 프레임이면, 검출될 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 획득하는 단계; 및 프리오더 프레임과 검출될 프레임의 대응하는 부분 이미지에 기초하여, 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계를 포함한다.
검출될 프레임이 사전 설정되지 않은 프레임과 제1 프레임이 아닌 프레임이라는 것은, 검출될 프레임이 키 프레임이고 또한 키 프레임이 동적 장면에서 제1 프레임이 아니라는 것을 의미한다. 프리오더 프레임과 검출될 프레임 내의 대응하는 부분 이미지는 각각, 동일한 랜드마크에 대응하는 프리오더 프레임 내의 부분 이미지와 검출될 프레임 내의 부분 이미지이다.
본 실시예에서, 검출될 프레임이 사전 설정되지 않은 프레임이면, 검출될 얼굴 이미지에 대응하는 랜드마크의 후보 포인트가 결정된다. 즉, 검출될 프레임의 부분 이미지에 대응하는 랜드마크의 후보 포인트가, 검출될 프레임과 검출될 프레임의 프리오더 프레임 내의 대응하는 부분 이미지를 이용하여 결정된다. 프리오더 프레임과 검출될 프레임 내의 대응하는 부분 이미지는 각각, 동일한 랜드마크에 대응하는 프리오더 프레임의 부분 이미지과 검출될 프레임 내의 부분 이미지이다. 검출될 프레임 내의 부분 이미지의 개수가 1보다 크다는 것을 이해할 수 있을 것이다. 검출될 프레임 내의 부분 이미지의 개수가 검출될 프레임 내의 얼굴 랜드마크의 개수와 같을 수 있다.
프리오더 프레임의 부분 이미지를 결정하는 방식이, 사전 검출 방식으로 랜드마크 위치를 예측하고 예측된 랜드마크 위치에 따라 부분 이미지 추출을 수행하여 프리오더 프레임의 부분 이미지를 획득하는 것일 수 있거나, 또는 프리오더 프레임의 얼굴 랜드마크의 검출 결과에 기초하여 부분 이미지 추출을 수행하여 프리오더 프레임의 부분 이미지를 획득하는 것일 수 있다. 프리오더 프레임의 얼굴 랜드마크의 검출 결과는, 본 출원의 본 실시예에서 제공된 얼굴 랜드마크를 검출하기 위한 방법을 이용하여 프리오더 프레임을 검출하여 획득되는 검출 결과이다.
본 실시예에 기반한 얼굴 랜드마크를 검출하기 위한 방법에서, 검출될 프레임이 사전 설정되지 않은 프레임이면, 검출될 프레임의 부분 이미지에 대응하는 랜드마크의 후보 포인트가, 검출될 프레임과 검출될 프레임의 프리오더 프레임을 이용하여 결정된다. 이 경우, 프리오더 프레임과 검출될 프레임 내의 랜드마크가 일치하도록 보장될 수 있다. 따라서, 동적 장면에서의 랜드마크의 안정성이 개성될 수 있다. 얼굴 랜드마크를 검출하기 위한 방법이 화장 애플리케이션에 적용되면, 프레임이 연속적인 비디오 상의 사람 얼굴 랜드마크 검출의 안정성이 개선될 수 있고, 화장 지터링(makeup jittering)의 문제가 개선된다.
일 실시예에서, 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 단계 이후에, 얼굴 랜드마크를 검출하기 위한 방법은, 얼굴 랜드마크에 기초하여 부분 이미지 추출을 수행하여 얼굴 이미지의 다음 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 단계를 더 포함한다.
검출될 프레임의 얼굴 랜드마크에 대해 부분 이미지 추출이 수행됨으로써, 검출될 프레임의 얼굴 이미지의 다음 프레임 내의 랜드마크를 각각 포함하는 프리오더 프레임(즉, 현재 검출될 프레임)을 각각 포함하는 부분 이미지가 결정될 수 있다. 즉, 본 출원의 본 실시예에서 제공된 얼굴 랜드마크를 검출하기 위한 방법을 이용하여 현재 검출될 프레임의 얼굴 랜드마크가 획득된 후, 획득된 얼굴 랜드마크에 따라 부분 이미지 추출이 수행되어 랜드마크를 포함하는 부분 이미지를 획득한 후, 다음 검출될 프레임이 처리될 수 있다. 따라서, 랜드마크를 포함하는 획득된 부분 이미지는 다음 검출될 프레임의 프리오더 프레임의 부분 이미지로 사용될 수 있다. 예를 들어, 현재 검출될 프레임이 N번째 프레임이고 또한 N이 자연수이면, 얼굴 이미지의 (N+1)번째 프레임 내의 랜드마크를 포함하는 부분 이미지를 획득하기 위해, N번째 프레임의 얼굴 랜드마크에 따라 부분 이미지가 추출된다. 처음 m개의 프레임 내의 랜드마크를 각각 포함하는 부분 이미지가 동일한 방식으로 획득될 수 있다. M은 N보다 작은 자연수이다.
이와 같이, 랜드마크 검출의 정확도가 더 개선될 수 있도록, 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 방식(사전 검출 방식보다 더 정확한 방식)이 제공된다.
일 실시예에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계는, 검출될 프레임이 사전 설정된 프레임이면, 검출될 프레임의 부분 이미지에 기초하여 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계를 포함한다.
즉, 검출될 프레임이 사전 설정된 프레임이면, 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트가 검출될 프레임의 부분 이미지에 기초하여 각각 결정될 수 있다. 사전 설정된 프레임은 제1 프레임의 넌-키 프레임이다. 이와 같이, 검출될 프레임이 사전 설정된 프레임이면, 예를 들어 검출될 프레임이 제1 프레임이고 또한 프리오더 프레임이 없으면, 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트가 검출될 프레임의 부분 이미지에 기초하여 각각 결정될 수 있다.
일 실시예에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계는, 사전 설정된 프레임이 제1 프레임이고 또한 검출될 프레임이 사전 설정되지 않은 프레임이면, 검출될 프레임의 부분 이미지에 기초하여 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계를 포함한다. 검출될 프레임이 제1 프레임이기 때문에, 검출될 프레임은 프리오더 프레임을 가지고 있지 않다. 컴퓨터 장치는, 검출될 프레임의 부분 이미지에 기초하여 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정할 수 있다.
일 실시예에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계는, 사전 설정된 프레임이 넌-키 프레임이고 또한 검출될 프레임이 사전 설정된 프레임이면, 검출될 프레임의 부분 이미지에 기초하여 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 단계를 포함한다. 넌-키 프레임은 키 정보를 포함하지 않는 비디오 프레임일 수 있다. 그러므로, 넌-키 프레임을 처리하는 방식이 단순화될 수 있고, 부분 이미지에 대응하는 랜드마크의 후보 포인트가 부분 이미지의 넌-키 프레임에만 기초하여 획득될 수 있으며, 이로 인해 컴퓨터 장치의 계산량이 줄어든다.
특정 실시예에서, 도 4와 도 5에 도시된 바와 같이, 부분 이미지에 대응하는 랜드마크의 후보 포인트가 훈련된 신경망 모델을 이용하여 결정되고, 부분 이미지 내의 픽셀 포인트가 랜드마크로 사용될 확률이 히트 맵 형태로 표현되어 랜드마크의 후보 포인트를 결정한다. 예를 들어, 각각의 신경망 모델의 입력이 16*16 부분 이미지이고, 출력이 8*8 히트 맵이다. 입력과 출력 사이에는 2개의 컨볼루션 계층(convolution layer)과 1개의 풀 커넥션 계층(full connection layer)이 포함된다. 컨볼루션 계층의 컨볼루션 커널 크기가 모두 5*5이다. 컨볼루션 계층에서채우기(filling)와 풀링(pooling)이 모두 수행되지 않고, 모든 컨볼루션 계층은 ReLU(rectified linear unit)를 활성화 함수로 사용한다. 히트 맵의 픽셀 값은 이 픽셀이 랜드마크일 확률을 나타내고, 픽셀 값이 크다는 것은 이 픽셀이 랜드마크일 확률이 높다는 것을 나타낸다. 신경망이 훈련될 때, 분산이 0.01이고 평균이 0인 가우스 분포를 이용하여 신경망 모델의 파라미터가 초기화되고, 이 훈련 방법에서, 신경망 모델의 파라미터가 스토캐스틱 경사 하강(stochastic gradient descent, SGD) 알고리즘을 이용하여 풀리고, 역전파 에러가 각각의 반복 훈련에서 예측되는 히트 맵과 주석이 달린 히트 맵 사이의 유클리드 거리이다. 랜드마크의 후보 포인트는 동일한 신경망 구조를 이용하여 결정된다. 하지만, 신경망 모델은 독립적으로 훈련된다. 그러므로, 얼굴 랜드마크에 대응하는 신경망 모델의 파라미터들이 다르다. 훈련에 사용된 훈련 데이터가 공개된 300W 데이터 세트와 YouTu Lab에 의해 주석이 달린 데이터 세트일 수 있다.
이 특정 실시예에서, 도 4와 도 6에 도시된 바와 같이, 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트는, 검출될 프레임이 사전 설정된 프레임이면 검출될 프레임의 부분 이미지에 기초하여 각각 결정된다. 도 5와 도 6에 도시된 바와 같이, 검출될 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지는, 검출될 프레임이 사전 설정되지 않은 프레임인 경우에 획득되고; 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트는 이전 프레임과 검출될 프레임 내의 대응하는 부분 이미지에 기초하여 각각 결정된다. 도 6에서, 상부 얼굴 이미지는 사전 설정된 프레임의 얼굴 이미지이고, 하부 얼굴 이미지는 사전 설정되지 않은 프레임의 얼굴 이미지이다. 즉, 검출될 프레임이 사전 설정된 프레임이면, 검출될 얼굴 이미지 내의 각각의 랜드마크의 후보 포인트가 검출될 프레임의 부분 이미지에 기초하여 결정된다. 검출될 프레임이 사전 설정되지 않은 프레임이면, 검출될 얼굴 이미지 내의 각각의 랜드마크의 후보 포인트가 프리오더 프레임의 검출될 프레임의 하나의 부분 이미지와 하나의 부분 이미지, 즉 총 2개의 부분 이미지를 이용하여 결정된다.
일 실시예에서, 검출될 얼굴 이미지는 사람 얼굴 이미지이고, 얼굴 랜드마크는 사람 얼굴 랜드마크이다.
사람의 얼굴 랜드마크는 사람의 얼굴 이미지에서 얼굴 부분을 묘사할 수 있는 포인트의 집합, 예를 들어 눈 모서리, 눈꺼풀 중간점, 코 끝, 입 모서리, 및 윤곽 등이다.
본 실시예에 기반한 얼굴 랜드마크를 검출하기 위한 방법은, 사람의 얼굴 랜드마크를 결정하는 효율과 정확도를 개선할 수 있다.
일 실시예에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 방식이, 각각의 부분 이미지에 대해, 각각의 부분 이미지의 히트 맵을 결정하는 것 - 히트 맵은 대응하는 부분 이미지 내의 픽셀 포인트가 랜드마크로 사용될 확률을 포함하고 있음 -; 및 히트 맵에 따라 각각의 부분 이미지에 대응하는 랜드마크의 후보 포인트를 결정하는 것을 포함한다.
부분 이미지 내의 픽셀 포인트가 랜드마크로 사용될 확률이 히트 맵 형태로 표현될 수 있다. 후보 포인트는 픽셀이 랜드마크로 사용될 확률이 사전 설정된 확률보다 큰 픽셀 포인트일 수 있다. 사전 설정된 확률은 0에서 1까지의 어떤 값, 예컨대 0 또는 0.1일 수 있다. 즉, 부분 이미지에 대응하는 랜드마크의 후보 포인트가 히트 맵에 따라 결정될 수 있다. 랜드마크가 차폐와 어두운 빛과 같은 요인을 가지고 있으면, 히트 맵 내의 대응하는 열 값이 상대적으로 낮다. 하지만, 공동 제한 중에, 전술한 간섭 요인이 확인될 수 있다.
히트 맵이 랜드마크 분포에 관한 확률 정보를 포함하기 때문에, 랜드마크가 차폐와 어두운 빛과 같은 간섭 요인을 가지고 있으면, 대응하는 히트 맵의 열 값이 상대적으로 낮다. 따라서 측면 포즈, 차폐, 어두운 빛과 같은 특수한 상황에서 랜드마크의 검출 정확도가 개선될 수 있다. 얼굴 랜드마크를 검출하기 위한 방법이 화장 애플리케이션에 적용될 때, 얼굴 랜드마크를 검출하기 위한 방법이 측면 얼굴 포즈, 차폐, 및 어두운 빛과 같은 특수한 상황에서 랜드마크의 정확도를 개선할 수 있기 때문에, 측면 얼굴 포즈, 차폐, 및 어두운 빛과 같은 특수한 상황에서의 화장의 정확도가 개선될 수 있고, 화장의 위치 바뀜이 개선된다.
일 실시예에서, 검출될 얼굴 이미지를 획득하는 단계는, 초기 얼굴 이미지를 획득하는 단계; 및 초기 얼굴 이미지를 전처리하여 검출될 얼굴 이미지를 획득하는 단계를 포함한다.
초기 얼굴 이미지는 카메라에 의해 캡쳐되어 미처리된 얼굴 이미지일 수 있다. 전처리는 두 눈의 동공의 랜드마크들이 동일한 수평선 상에 있도록 회전시키거나 및/또는 스케일링하는 연산, 및/또는 두 눈의 동공의 랜드마크들 간의 수평 거리가 미리 설정된 값이 되게 하는 연산을 포함할 수 있다. 회전은 두 눈의 동공의 랜드마크들이 동일한 수평선 상에 있도록 얼굴 이미지를 회전시키는 것이다. 스케일링은 얼굴 이미지를 확대하거나 또는 축소하는 것이다. 또한, 전처리는 초기 얼굴 이미지의 텍스처 특징 이미지를 획득하거나 및/또는 초기 얼굴 이미지 상의 얼굴 영역을 찾는 연산을 포함할 수 있다. 이와 같이, 얼굴의 랜드마크를 검출하는 효율이 더 개선될 수 있다.
일 실시예에서, 전처리는 두 눈의 동공의 랜드마크들이 수평선 상에 있도록 초기 얼굴 이미지를 회전시키는 것; 및/또는 두 눈의 동공의 랜드마크들 간의 수평 거리가 사전 설정된 값이 되도록 초기 얼굴 이미지를 스케일링하는 것을 포함한다. 사전 설정된 값은 두 눈의 동공의 랜드마크의 미리 결정된 수평 거리 값이다. 예를 들어, 사전 설정된 값은 160 픽셀일 수 있다. 이와 같이, 얼굴 랜드마크를 검출하는 정확도가 더 개선될 수 있다.
일 실시예에서, 검출될 얼굴 이미지에 따라 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 단계는, 검출될 얼굴 이미지에 대해 얼굴 랜드마크 초기화를 수행하는 단계; 및 초기화의 결과에 기초하여, 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 단계를 포함한다.
본 실시예에서, 검출될 얼굴 이미지에 대해 얼굴 랜드마크 초기화를 수행하는 방식이 다음의 단계를 포함할 수 있다. 검출될 얼굴 이미지가 얼굴 이미지의 프리오더 프레임을 가지고 있지 않으면, 예를 들어 검출될 얼굴 이미지가 동적 장면의 첫 번째 프레임이거나 또는 독립적인 얼굴 이미지일 수 있으면, 평균 얼굴 모델의 랜드마크 좌표에 따라 랜드마크 초기화 결과가 결정될 수 있다. 여기서, 초기화의 결과는 평균 얼굴 모델의 랜드마크 좌표이고, 평균 얼굴 모델의 랜드마크 좌표는 다수의 얼굴 모델을 분석한 후 획득되는 얼굴 랜드마크의 평균 위치 좌표일 수 있다. 검출될 얼굴 이미지가 얼굴 이미지의 프리오더 프레임을 가지고 있으면, 얼굴 이미지의 프리오더 프레임의 랜드마크 좌표에 따라 랜드마크의 초기화의 결과가 결정될 수 있다. 여기서, 초기화의 결과가 얼굴 이미지의 이전 프레임의 랜드마크 좌표이다.
다른 실시예에서, 검출될 얼굴 이미지 상의 얼굴 랜드마크가 대안적으로 다른 방식으로 초기화될 수 있다고 이해할 수 있을 것이다. 예를 들어, 검출될 얼굴 이미지 상의 얼굴 랜드마크가 사전 검출 방식으로 초기화된다.
초기화의 결과에 기초하여, 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 단계는, 랜드마크를 포함하는 부분 이미지를 획득하기 위해, 초기화의 결과를 대응하는 랜드마크의 부분 이미지의 중심 위치로 하여 사전 설정된 크기에 따라 이미지 추출을 수행하는 단계일 수 있다.
이와 같이, 검출될 얼굴 이미지 내의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 효율적인 구현이 제공되어 얼굴 랜드마크의 검출 효율을 개선할 수 있다.
도 7에 도시된 바와 같이, 특정 실시예에서, 얼굴 랜드마크를 검출하기 위한 방법이 제공된다. 얼굴 랜드마크를 검출하기 위한 방법은 동적 장면에 적용될 수 있고,
초기 얼굴 이미지를 획득하는 단계; 및 두 눈의 동공의 랜드마크들이 동일한 수평선 상에 있도록 그리고 두 눈의 동공의 랜드마크들 간의 수평 거리가 사전 설정된 값이 되도록 초기 얼굴 이미지를 회전시키고 스케일링하여 검출될 얼굴 이미지를 획득하는 단계 - 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지이고, 검출될 얼굴 이미지는 사람 얼굴 이미지임 -;
검출될 얼굴 이미지에 대해 얼굴 랜드마크 초기화를 수행하고, 초기화의 결과에 기초하여 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 단계 - 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -;
검출될 프레임이 사전 설정되지 않은 프레임이면, 검출될 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 획득하고, 프리오더 프레임과 검출될 프레임 내의 대응하는 부분 이미지에 기초하여 검출될 얼굴 이미지의 부분 이미지에 대응하는 히트 맵을 각각 결정하는 단계;
검출될 프레임이 사전 설정된 프레임이면, 검출될 프레임의 부분 이미지에 기초하여, 검출될 얼굴 이미지의 부분 이미지에 대응하는 히트 맵을 각각 결정하는 단계;
동적 선형 포인트 분포 모델에 기초하여 히트 맵을 공동으로 제한하여 얼굴 랜드마크를 결정하는 단계 - 얼굴 랜드마크는 사람 얼굴 랜드마크임 -; 및
얼굴 랜드마크에 기초하여 부분 이미지 추출을 수행하고, 얼굴 이미지의 다음 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 단계를 포함한다.
본 실시예에 기반한 얼굴 랜드마크를 검출하기 위한 방법은 얼굴 랜드마크를 검출하는 효율, 정확도, 및 안정성을 개선할 수 있다.
전술한 얼굴 랜드마크를 검출하기 위한 방법의 유익한 효과를 더 명확하게 설명하기 위해, 도 8과 도 9를 참조하라. 도 8은 사람의 얼굴의 일측에 어두운 빛이 있을 때, 종래 기술의 방법을 이용하여 눈썹 영역의 랜드마크와 측면 얼굴의 눈 영역이 무질서하다는 것을 검출한 것을 나타낸다. 따라서, 대상에 대해 "안경 착용"의 "화장"이 수행되면, 안경을 착용하는 위치가 정확하다.
도 3과 도 7의 흐름도의 단계들이 화살표의 표시에 기초하여 순차적으로 표시되지만, 화살표로 표시되는 순서에 기초하여 반드시 순차적으로 수행되는 것은 아니라는 점을 이해해야 한다. 본 명세서에서 달리 명시하지 않는 한, 이러한 단계들이 엄격한 순서 제한없이 수행되며, 다른 순서로 수행될 수 있다. 또한, 도 3과 도 7의 적어도 일부 단계들이 복수의 하위 단계 또는 복수의 스테이지를 포함할 수 있고, 이러한 하위 단계 또는 스테이지는 반드시 동일한 순간에 수행되는 것은 아니며 다른 순간에 수행될 수 있다. 하위 단계 또는 스테이지가 반드시 순서대로 수행되는 것은 아니며, 하위 단계 또는 스테이지가 다른 단계, 또는 하위 단계, 또는 다른 단계의 스테이지 중 적어도 일부와 교대로 또는 번갈아 수행될 수 있다.
일 실시예에서, 도 10에 도시된 바와 같이, 얼굴 랜드마크를 검출하기 위한 장치가 제공되며, 얼굴 랜드마크를 검출하기 위한 장치는,
검출될 얼굴 이미지를 획득하도록 구성된 전체 이미지 획득 모듈(overall image acquiring module, 802) - 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -;
검출될 얼굴 이미지에 따라, 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하도록 구성된 부분 이미지 결정 모듈(partial image determining module, 804);
부분 이미지에 기초하여, 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하도록 구성된 부분 후보 포인트 결정 모듈(partial candidate point determining module, 806); 및
랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하도록 구성된 전체 랜드마크 결정 모듈(808)을 포함한다.
얼굴 랜드마크를 검출하기 위한 장치에 기초하여, 검출될 얼굴 이미지가 획득되고; 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지가 검출될 얼굴 이미지에 따라 결정되며; 부분 이미지에 대응하는 랜드마크의 후보 포인트가 부분 이미지에 기초하여 각각 결정되고; 랜드마크의 후보 포인트가 공동으로 제한되어 얼굴 랜드마크를 결정한다. 전체 검출될 얼굴 이미지 내의 랜드마크를 각각 포함하는 부분 이미지에 대해, 부분 이미지에 대응하는 랜드마크의 후보 포인트가 각각 결정된다. 따라서, 계산량이 줄어들 수 있고, 랜드마크의 후보 포인트를 결정하는 효율이 개선된다. 이 경우, 얼굴 랜드마크를 검출하는 효율이 개선될 수 있다.
일 실시예에서, 전체 랜드마크 결정 모듈은, 선형 모델에 기초하여 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하도록 구성된다.
일 실시예에서, 선형 모델은 동적 선형 포인트 분포 모델이다.
일 실시예에서, 부분 후보 포인트 결정 모듈은, 검출될 프레임이 사전 설정되지 않은 프레임이면, 검출될 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 획득하고; 프리오더 프레임과 검출될 프레임 내의 대응하는 부분 이미지에 기초하여, 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하도록 구성된다.
일 실시예에서, 얼굴 랜드마크를 검출하기 위한 장치는, 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정한 후, 얼굴 이미지의 다음 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 결정하기 위해, 얼굴 랜드마크에 기초하여 부분 이미지 추출을 수행하도록 구성된 프리오더 부분 이미지 결정 모듈(preorder partial image determining module)을 더 포함한다.
일 실시예에서, 부분 후보 포인트 결정 모듈은, 검출될 프레임이 사전 설정된 프레임이면 검출될 프레임의 부분 이미지에 기초하여, 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하도록 구성된다.
일 실시예에서, 검출될 얼굴 이미지는 사람 얼굴 이미지이고, 얼굴 랜드마크는 사람 얼굴 랜드마크이다.
일 실시예에서, 부분 후보 포인트 결정 모듈은, 각각의 부분 이미지에 대해, 각각의 부분 이미지의 히트 맵을 결정하고 - 여기서, 히트 맵은 대응하는 부분 이미지 내의 픽셀 포인트가 랜드마크로 사용될 확률을 포함하고 있음 -;
히트 맵에 따라 각각의 부분 이미지에 대응하는 랜드마크의 후보 포인트를 결정하도록 구성된다.
일 실시예에서, 전체 이미지 획득 모듈은 초기 얼굴 이미지를 획득하고, 초기 얼굴 이미지를 전처리하여 검출될 얼굴 이미지를 획득하도록 구성된다.
일 실시예에서, 전체 이미지 획득 모듈은 추가적으로, 두 눈의 동공의 랜드마크들이 동일한 수평선 상에 있도록 초기 얼굴 이미지를 회전시키거나; 그리고/또는 두 눈의 동공의 랜드마크들 간의 수평 거리가 사전 설정된 값이 되도록 초기 얼굴 이미지를 스케일링하도록 구성될 수 있다.
일 실시예에서, 부분 후보 포인트 결정 모듈은 검출될 얼굴 이미지에 대해 얼굴 랜드마크 초기화를 수행하고, 초기화의 결과에 기초하여 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하도록 구성된다.
일 실시예에서, 컴퓨터 장치가 제공된다. 컴퓨터 장치는 서버일 수 있다. 컴퓨터 장치는 시스템 버스를 이용하여 연결되는 프로세서, 메모리, 및 네트워크 인터페이스를 포함한다. 컴퓨터 장치의 프로세서는 컴퓨팅 기능과 제어 기능을 제공하도록 구성된다. 컴퓨터 장치의 메모리는 비휘발성 저장 매체와 내부 메모리를 포함한다. 비휘발성 저장 매체는 운영체제와 컴퓨터 프로그램을 저장한다. 내부 메모리는 비휘발성 저장 매체에서 운영체제와 컴퓨터 프로그램을 실행할 수 있는 환경을 제공한다. 컴퓨터 장치의 네트워크 인터페이스는 네트워크 연결을 통해 외부 단말기와 통신하도록 구성된다. 컴퓨터 프로그램은 프로세서에 의해 실행되어 얼굴 랜드마크를 검출하는 방법을 구현한다.
일 실시예에서, 컴퓨터 장치가 제공된다. 컴퓨터 장치는 단말기일 수 있다. 컴퓨터 장치는 시스템 버스를 이용하여 연결되는 프로세서, 메모리, 네트워크 인터페이스, 표시 화면, 및 입력 장치를 포함한다. 컴퓨터 장치의 프로세서는 컴퓨팅 기능과 제어 기능을 제공하도록 구성된다. 컴퓨터 장치의 메모리는 비휘발성 저장 매체와 내부 메모리를 포함한다. 비휘발성 저장 매체는 운영체제와 컴퓨터 프로그램을 저장한다. 내부 메모리는 비휘발성 저장 매체에서 운영체제와 컴퓨터 프로그램을 실행할 수 있는 환경을 제공한다. 컴퓨터 장치의 네트워크 인터페이스는 네트워크 연결을 통해 외부 단말기와 통신하도록 구성된다. 컴퓨터 프로그램은 프로세서에 의해 실행되어 얼굴 랜드마크를 검출하는 방법을 구현한다. 컴퓨터 장치의 표시 화면은 액정 표시 화면 또는 전자 잉크 표시 화면일 수 있다. 컴퓨터 장치의 입력 장치는 표시 화면을 덮는 터치층일 수 있거나, 또는 컴퓨터 장치의 하우징에 배치된 키, 또는 트랙볼, 또는 터치패드일 수 있고, 추가적으로 외부 키보드, 또는 터치 패드, 또는 마우스 등일 수 있다.
일 구현에서, 컴퓨터 장치가 제공된다. 컴퓨터 장치는 서버 또는 단말기 일 수 있다. 컴퓨터 장치는 메모리와 프로세서를 포함하고, 메모리는 컴퓨터 프로그램을 저장하며, 프로세서는 컴퓨터 프로그램을 실행할 때 전술한 얼굴 랜드마크를 검출하기 위한 방법의 연산을 구현한다.
일 실시예에서, 컴퓨터 장치는 메모리와 프로세서를 포함하고, 메모리는 컴퓨터 프로그램을 포함하며, 프로세서는, 컴퓨터 프로그램을 실행할 때,
검출될 얼굴 이미지를 획득하는 연산 - 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -;
검출될 얼굴 이미지에 따라, 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 연산;
부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 연산; 및
랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 연산을 수행한다.
일 실시예에서, 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 것은,
선형 모델에 기초하여 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 것을 포함한다.
일 실시예에서, 선형 모델은 동적 선형 포인트 분포이다.
일 실시예에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 것은,
검출될 프레임이 사전 설정되지 않은 프레임이면, 검출될 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 획득하는 것; 및
프리오더 프레임과 검출될 프레임의 대응하는 부분 이미지에 기초하여, 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 것을 포함한다.
일 실시예에서, 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 단계 이후에, 상기 방법은,
얼굴 이미지의 다음 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 결정하기 위해, 얼굴 랜드마크에 기초하여 부분 이미지 추출을 수행하는 것을 포함한다.
일 실시예에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 것은,
검출될 프레임이 사전 설정된 프레임이면, 검출될 프레임의 부분 이미지에 기초하여 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 것을 포함한다.
일 실시예에서, 검출될 얼굴 이미지는 사람 얼굴 이미지이고, 얼굴 랜드마크는 사람 얼굴 랜드마크이다.
일 실시예에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 방식이,
각각의 부분 이미지에 대해, 각각의 부분 이미지의 히트 맵을 결정하는 것 - 히트 맵은 대응하는 부분 이미지 내의 픽셀 포인트가 랜드마크로 사용될 확률을 포함하고 있음 -; 및
히트 맵에 따라 각각의 부분 이미지에 대응하는 랜드마크의 후보 포인트를 결정하는 것을 포함한다.
일 실시예에서, 검출될 얼굴 이미지를 획득하는 것은,
초기 얼굴 이미지를 획득하는 것; 및
초기 얼굴 이미지를 전처리하여 검출될 얼굴 이미지를 획득하는 것을 포함한다.
일 실시예에서, 전처리하는 것은,
두 눈의 동공의 랜드마크들이 동일한 수평선 상에 있도록 초기 얼굴 이미지를 회전시키는 것;
및/또는,
두 눈의 동공의 랜드마크들 간의 수평 거리가 사전 설정된 값이 되도록 초기 얼굴 이미지를 스케일링하는 것을 포함한다.
일 실시예에서, 검출될 얼굴 이미지에 따라 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 것은,
검출될 얼굴 이미지에 대해 얼굴 랜드마크 초기화를 수행하는 것; 및
초기화의 결과에 기초하여, 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 것을 포함한다.
일 구현에서, 컴퓨터 판독가능 저장 매체가 제공된다. 컴퓨터 판독가능 저장 매체는 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램은 프로세서에 의해 실행될 때 전술한 얼굴 랜드마크를 검출하기 위한 방법의 연산을 수행한다.
일 실시예에서, 컴퓨터 판독가능 저장 매체가 제공된다. 컴퓨터 판독가능 저장 매체는 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램은 프로세서에 의해 실행될 때,
검출될 얼굴 이미지를 획득하는 연산 - 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -;
검출될 얼굴 이미지에 따라, 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 연산;
부분 이미지에 기초하여, 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 연산; 및
랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 연산을 수행한다.
일 실시예에서, 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 것은,
선형 모델에 기초하여 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 것을 포함한다.
일 실시예에서, 선형 모델은 동적 선형 포인트 분포이다.
일 실시예에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 것은,
검출될 프레임이 사전 설정되지 않은 프레임이면, 검출될 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 획득하는 것; 및
프리오더 프레임과 검출될 프레임의 대응하는 부분 이미지에 기초하여, 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 것을 포함한다.
일 실시예에서, 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 것 이후에, 얼굴 랜드마크를 검출하기 위한 방법은,
얼굴 이미지의 다음 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 결정하기 위해, 얼굴 랜드마크에 기초하여 부분 이미지 추출을 수행하는 것을 더 포함한다.
일 실시예에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 것은,
검출될 프레임이 사전 설정된 프레임이면, 검출될 프레임의 부분 이미지에 기초하여, 검출될 얼굴 이미지 중 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 것을 포함한다.
일 실시예에서, 검출될 얼굴 이미지는 사람 얼굴 이미지이고, 얼굴 랜드마크는 사람 얼굴 랜드마크이다.
일 실시예에서, 부분 이미지에 기초하여 부분 이미지에 대응하는 랜드마크의 후보 포인트를 각각 결정하는 방식이,
각각의 부분 이미지에 대해, 각각의 부분 이미지의 히트 맵을 결정하는 것 - 히트 맵은 대응하는 부분 이미지 내의 픽셀 포인트가 랜드마크로 사용될 확률을 포함하고 있음 -; 및
히트 맵에 따라 각각의 부분 이미지에 대응하는 랜드마크의 후보 포인트를 결정하는 것을 포함한다.
일 실시예에서, 검출될 얼굴 이미지를 획득하는 것은,
초기 얼굴 이미지를 획득하는 것; 및
초기 얼굴 이미지를 전처리하여 검출될 얼굴 이미지를 획득하는 것을 포함한다.
일 실시예에서, 전처리하는 것은,
두 눈의 동공의 랜드마크들이 동일한 수평선 상에 있도록 초기 얼굴 이미지를 회전시키는 것;
및/또는,
두 눈의 동공의 랜드마크들 간의 수평 거리가 사전 설정된 값이 되도록 초기 얼굴 이미지를 스케일링하는 것을 포함한다.
일 실시예에서, 검출될 얼굴 이미지에 따라 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 것은,
검출될 얼굴 이미지에 대해 얼굴 랜드마크 초기화를 수행하는 것; 및
초기화의 결과에 기초하여, 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 것을 포함한다.
당업자라면 전술한 실시예의 얼굴 랜드마크를 검출하기 위한 방법의 절차의 전부 또는 일부가 관련 하드웨어에 지시하는 컴퓨터 프로그램에 의해 구현될 수 있다는 것을 이해할 수 있을 것이다. 컴퓨터 프로그램은 비휘발성 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 컴퓨터 프로그램이 실행될 때, 전술한 방법 실시예의 절차들이 구현될 수 있다. 본 출원에서 제공되는 실시예에 사용되는 메모리, 또는 스토리지, 또는 데이터베이스, 또는 다른 매체에 대한 언급이 모두 비휘발성 메모리와 휘발성 메모리를 포함할 수 있다. 비휘발성 메모리는 읽기 전용 메모리(read-only memory, ROM), 피롬(programmable ROM, PROM), 이피롬(electrically programmable ROM, EPROM), 이이피롬(electrically erasable programmable ROM, EEPROM), 또는 플래시 메모리를 포함할 수 있다. 휘발성 메모리는 랜덤 액세스 메모리(Random Access Memory, RAM) 또는 외부 캐시를 포함할 수 있다. 제한이라기 보다는 설명으로, RAM은 복수의 형태, 예컨대 정적 RAM(static RAM, SRAM), 동적 RAM(dynamic RAM, DRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 더블 데이터 레이트 SDRAM(double data rate SDRAM, DDRSDRAM), 향상된 SDRAM(enhanced SDRAM, ESDRAM), 싱크링크 DRAM(synchlink DRAM, SLDRAM), 램버스 다이렉트 RAM(rambus direct RAM, RDRAM), 다이렉트 램버스 동적 RAM(direct rambus dynamic RAM, DRDRAM), 및 램버스 동적 RAM(rambus dynamic RAM, RDRAM)일 수 있다.
전술한 실시예의 기술적 특징은 무작위로 조합될 수 있다. 간결한 설명을 위해, 이러한 실시예의 기술적 특징의 가능한 모든 조합에 대해 설명하지 않았다. 하지만, 기술적 특징의 조합이 서로 충돌하지 않는 한, 이러한 기술적 특징의 조합은 본 명세서에 기록된 범위에 속하는 것으로 간주된다.
전술한 실시예는 본 출원의 여러 구현(구체적이고 상세하게 설명됨)을 설명할 뿐이고, 본 발명의 특허 범위를 제한하는 것으로 해석될 수 없다. 당업자라면 본 출원의 사상에서 벗어나지 않고 다양하게 변경하고 개선할 수 있으며, 이러한 변경과 개선은 모두 본 출원의 보호 범위에 속할 것이다. 따라서 본 출원의 보호 범위는 첨부된 청구항의 보호 범위를 따를 것이다.

Claims (22)

  1. 얼굴 랜드마크를 검출하기 위한 방법으로서,
    상기 얼굴 랜드마크를 검출하기 위한 방법은 컴퓨터 장치에 적용 가능하고, 상기 얼굴 랜드마크를 검출하기 위한 방법은,
    검출될 얼굴 이미지를 획득하는 단계 - 상기 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -;
    상기 검출될 얼굴 이미지에 따라, 상기 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 단계 - 하나의 부분 이미지는 하나의 랜드마크에 대응됨 -;
    상기 부분 이미지에 기초하여, 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하는 단계; 및
    상기 랜드마크의 후보 포인트를 공동으로 제한(constraining)하여 얼굴 랜드마크를 결정하는 단계 - 공동으로 제한하는 조건은 부분 이미지에 대응하는 랜드마크가 공동으로 제한된 후에 얼굴 특징을 만족해야 함 -
    를 포함하는 얼굴 랜드마크를 검출하기 위한 방법.
  2. 제1항에 있어서,
    상기 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 단계는,
    선형 모델에 기초하여 상기 랜드마크의 후보 포인트를 공동으로 제한하여 상기 얼굴 랜드마크를 결정하는 단계
    를 포함하는, 얼굴 랜드마크를 검출하기 위한 방법.
  3. 제1항에 있어서
    상기 부분 이미지에 기초하여, 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하는 단계는,
    상기 검출될 프레임이 사전 설정되지 않은 프레임이면, 상기 검출될 프레임의 프리오더 프레임(preorder frame) 내의 랜드마크를 각각 포함하는 부분 이미지를 획득하는 단계; 및
    상기 프리오더 프레임과 상기 검출될 프레임의 대응하는 부분 이미지에 기초하여, 상기 검출될 얼굴 이미지 내의 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하는 단계
    를 포함하는, 얼굴 랜드마크를 검출하기 위한 방법.
  4. 제1항에 있어서,
    상기 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하는 단계 이후에, 상기 얼굴 랜드마크를 검출하기 위한 방법은,
    얼굴 이미지의 다음 프레임의 프리오더 프레임 내의 랜드마크를 각각 포함하는 부분 이미지를 결정하기 위해 상기 얼굴 랜드마크에 기초하여 부분 이미지 추출을 수행하는 단계
    를 더 포함하는 얼굴 랜드마크를 검출하기 위한 방법.
  5. 제1항에 있어서,
    상기 부분 이미지에 기초하여, 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하는 단계는,
    상기 검출될 프레임이 사전 설정된 프레임이면, 상기 검출될 프레임의 부분 이미지에 기초하여 상기 검출될 얼굴 이미지 내의 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하는 단계
    를 포함하는, 얼굴 랜드마크를 검출하기 위한 방법.
  6. 제1항에 있어서,
    상기 검출될 얼굴 이미지는 사람 얼굴 이미지이고, 상기 얼굴 랜드마크는 사람 얼굴 랜드마크인, 얼굴 랜드마크를 검출하기 위한 방법.
  7. 제1항에 있어서,
    상기 부분 이미지에 기초하여, 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하는 단계는,
    각각의 부분 이미지에 대해, 상기 각각의 부분 이미지의 히트 맵(heat map)을 결정하는 단계 - 상기 히트 맵은 상기 대응하는 부분 이미지의 픽셀 포인트가 랜드마크로 사용될 확률을 포함하고 있음 -; 및
    상기 히트 맵에 따라, 상기 각각의 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 결정하는 단계
    를 포함하는, 얼굴 랜드마크를 검출하기 위한 방법.
  8. 제1항에 있어서,
    상기 검출될 얼굴 이미지를 획득하는 단계는,
    초기 얼굴 이미지를 획득하는 단계; 및
    상기 검출될 얼굴 이미지를 획득하기 위해 상기 초기 얼굴 이미지를 전처리(preprocess)하는 단계
    를 포함하는, 얼굴 랜드마크를 검출하기 위한 방법.
  9. 제8항에 있어서,
    상기 초기 얼굴 이미지를 전처리하는 단계는,
    두 눈의 동공의 랜드마크들이 동일한 수평선 상에 있도록 상기 초기 얼굴 이미지를 회전시키는 단계;
    및/또는
    두 눈의 동공의 랜드마크들 간의 수평 거리가 사전 설정된 값이 되도록 상기 초기 얼굴 이미지를 스케일링하는 단계
    를 포함하는, 얼굴 랜드마크를 검출하기 위한 방법.
  10. 제9항에 있어서,
    상기 검출될 얼굴 이미지에 따라, 상기 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하는 단계는,
    상기 검출될 얼굴 이미지에 대해 얼굴 랜드마크 초기화를 수행하는 단계; 및
    상기 얼굴 랜드마크 초기화의 결과에 기초하여, 상기 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 상기 부분 이미지를 결정하는 단계
    를 포함하는, 얼굴 랜드마크를 검출하기 위한 방법.
  11. 얼굴 랜드마크를 검출하기 위한 장치로서,
    검출될 얼굴 이미지를 획득하도록 구성된 전체 이미지 획득 모듈(overall image acquiring module) - 상기 검출될 얼굴 이미지는 검출될 프레임의 얼굴 이미지임 -;
    상기 검출될 얼굴 이미지에 따라, 상기 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 부분 이미지를 결정하도록 구성된 부분 이미지 결정 모듈(partial image determining module) - 하나의 부분 이미지는 하나의 랜드마크에 대응됨 -;
    상기 부분 이미지에 기초하여, 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하도록 구성된 부분 후보 포인트 결정 모듈(partial candidate point determining module); 및
    상기 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정하도록 구성된 전체 랜드마크 결정 모듈 - 공동으로 제한하는 조건은 부분 이미지에 대응하는 랜드마크가 공동으로 제한된 후에 얼굴 특징을 만족해야 함 -
    을 포함하는 얼굴 랜드마크를 검출하기 위한 장치.
  12. 제11항에 있어서,
    상기 전체 랜드마크 결정 모듈은, 선형 모델에 기초하여 상기 랜드마크의 후보 포인트를 공동으로 제한하여 상기 얼굴 랜드마크를 결정하도록 구성된, 얼굴 랜드마크를 검출하기 위한 장치.
  13. 제11항에 있어서,
    상기 부분 후보 포인트 결정 모듈은, 상기 검출될 프레임이 사전 설정되지 않은 프레임이면 상기 검출될 프레임의 프리오더 프레임(preorder) 내의 랜드마크를 각각 포함하는 부분 이미지를 획득하고, 상기 프리오더 프레임과 상기 검출될 프레임의 대응하는 부분 이미지에 기초하여, 상기 검출될 얼굴 이미지 내의 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하도록 구성된, 얼굴 랜드마크를 검출하기 위한 장치.
  14. 제11항에 있어서,
    상기 전체 랜드마크 결정 모듈이 상기 랜드마크의 후보 포인트를 공동으로 제한하여 얼굴 랜드마크를 결정한 후에, 얼굴 이미지의 다음 프레임의 프리오더 프레임(preorder frame) 내의 랜드마크를 각각 포함하는 부분 이미지를 결정하기 위해 상기 얼굴 랜드마크에 기초하여 부분 이미지 추출을 수행하도록 구성된 프리오더 부분 이미지 결정 모듈(preorder partial image determining module)
    을 더 포함하는 얼굴 랜드마크를 검출하기 위한 장치.
  15. 제11항에 있어서,
    상기 부분 후보 포인트 결정 모듈은, 상기 검출될 프레임이 사전 설정된 프레임이면 상기 검출될 프레임의 부분 이미지에 기초하여, 상기 검출될 얼굴 이미지 내의 상기 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 각각 결정하도록 구성된, 얼굴 랜드마크를 검출하기 위한 장치.
  16. 제11항에 있어서,
    상기 검출될 얼굴 이미지는 사람 얼굴 이미지이고, 상기 얼굴 랜드마크는 사람 얼굴 랜드마크인, 얼굴 랜드마크를 검출하기 위한 장치.
  17. 제11항에 있어서,
    상기 부분 후보 포인트 결정 모듈은, 각각의 부분 이미지에 대해, 상기 각각의 부분 이미지의 히트 맵(heat map)을 결정하고, 상기 히트 맵에 따라 상기 각각의 부분 이미지에 대응하는 상기 랜드마크의 후보 포인트를 결정하도록 구성되고, 상기 히트 맵은 상기 대응하는 부분 이미지의 픽셀 포인트가 랜드마크로 사용될 확률을 포함하는, 얼굴 랜드마크를 검출하기 위한 장치.
  18. 제11항에 있어서,
    상기 전체 이미지 획득 모듈은 초기 얼굴 이미지를 획득하고, 상기 초기 얼굴 이미지를 전처리(preprocess)하여 상기 검출될 얼굴 이미지를 획득하도록 구성된, 얼굴 랜드마크를 검출하기 위한 장치.
  19. 제18항에 있어서,
    상기 전체 이미지 획득 모듈은 추가적으로, 두 눈의 동공의 랜드마크들이 동일한 수평선 상에 있도록 상기 초기 얼굴 이미지를 회전시키거나, 그리고/또는 두 눈의 동공의 랜드마크들 간의 수평 거리가 사전 설정된 값이 되도록 상기 초기 얼굴 이미지를 스케일링하도록 구성된, 얼굴 랜드마크를 검출하기 위한 장치.
  20. 제19항에 있어서,
    상기 부분 후보 포인트 결정 모듈은 상기 검출될 얼굴 이미지에 대해 얼굴 랜드마크 초기화를 수행하고, 상기 얼굴 랜드마크 초기화의 결과에 기초하여 상기 검출될 얼굴 이미지의 랜드마크를 각각 포함하는 상기 부분 이미지를 결정하도록 구성된, 얼굴 랜드마크를 검출하기 위한 장치.
  21. 컴퓨터 장치로서,
    상기 컴퓨터 장치는 메모리와 프로세서를 포함하고, 상기 메모리는 컴퓨터 프로그램을 저장하며, 상기 프로세서는 상기 컴퓨터 프로그램을 실행할 때 제1항 내지 제10항 중 어느 한 항의 얼굴 랜드마크를 검출하기 위한 방법을 수행하는, 컴퓨터 장치.
  22. 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 판독가능 저장 매체는 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 제1항 내지 제10항 중 어느 한 항의 얼굴 랜드마크를 검출하기 위한 방법을 수행하는, 컴퓨터 판독가능 저장 매체.
KR1020217011194A 2018-12-10 2019-11-27 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체 KR102592270B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811503905.5A CN109657583B (zh) 2018-12-10 2018-12-10 脸部关键点检测方法、装置、计算机设备和存储介质
CN201811503905.5 2018-12-10
PCT/CN2019/121237 WO2020119458A1 (zh) 2018-12-10 2019-11-27 脸部关键点检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
KR20210060554A KR20210060554A (ko) 2021-05-26
KR102592270B1 true KR102592270B1 (ko) 2023-10-19

Family

ID=66113105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217011194A KR102592270B1 (ko) 2018-12-10 2019-11-27 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체

Country Status (6)

Country Link
US (1) US11915514B2 (ko)
EP (1) EP3839807A4 (ko)
JP (1) JP2022502751A (ko)
KR (1) KR102592270B1 (ko)
CN (1) CN109657583B (ko)
WO (1) WO2020119458A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657583B (zh) * 2018-12-10 2021-10-22 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质
CN112016371B (zh) * 2019-05-31 2022-01-14 广州市百果园信息技术有限公司 人脸关键点检测方法、装置、设备及存储介质
EP3971820A4 (en) * 2019-09-30 2022-08-10 Beijing Sensetime Technology Development Co., Ltd. IMAGE PROCESSING METHOD, DEVICE AND ELECTRONIC DEVICE
CN110826534B (zh) * 2019-11-30 2022-04-05 杭州小影创新科技股份有限公司 一种基于局部主成分分析的人脸关键点检测方法及系统
CN111598051B (zh) * 2020-06-16 2023-11-14 腾讯科技（深圳）有限公司 一种脸部验证方法、装置、设备及可读存储介质
CN113761994A (zh) * 2020-08-07 2021-12-07 北京沃东天骏信息技术有限公司 处理图像的方法、装置、设备和计算机可读介质
US11574500B2 (en) 2020-09-08 2023-02-07 Samsung Electronics Co., Ltd. Real-time facial landmark detection
CN112257582A (zh) * 2020-10-21 2021-01-22 北京字跳网络技术有限公司 脚部姿态确定方法、装置、设备和计算机可读介质
CN112967235A (zh) * 2021-02-19 2021-06-15 联影智能医疗科技(北京)有限公司 图像检测方法、装置、计算机设备和存储介质
CN113344890B (zh) * 2021-06-18 2024-04-12 北京百度网讯科技有限公司 医学图像识别方法、识别模型训练方法及装置
CN113449657B (zh) * 2021-07-05 2022-08-30 中山大学 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质
KR102529209B1 (ko) 2021-09-16 2023-05-09 주식회사 이엔터 얼굴 인식을 통한 특수효과 연출 시스템 및 그 방법
CN114463534A (zh) * 2021-12-28 2022-05-10 佳都科技集团股份有限公司 一种目标关键点检测方法、装置、设备及存储介质
CN115802160B (zh) * 2023-02-03 2023-04-11 北京润谊医疗管理顾问有限公司 一种眼底图像的智能拍摄方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007096A1 (fr) * 2000-07-17 2002-01-24 Mitsubishi Denki Kabushiki Kaisha Dispositif de recherche d'un point caracteristique sur un visage
JP2012014557A (ja) * 2010-07-02 2012-01-19 Fujitsu Ltd 特徴点判定装置、特徴点判定方法および特徴点判定プログラム
US20140247993A1 (en) * 2013-03-01 2014-09-04 Adobe Systems Incorporated Landmark localization via visual search
JP2015041293A (ja) * 2013-08-22 2015-03-02 キヤノン株式会社 画像認識装置および画像認識方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4532419B2 (ja) * 2006-02-22 2010-08-25 富士フイルム株式会社 特徴点検出方法および装置並びにプログラム
CN102194131B (zh) * 2011-06-01 2013-04-10 华南理工大学 基于五官几何比例特征的快速人脸识别方法
CN102799868B (zh) * 2012-07-10 2014-09-10 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
US9152847B2 (en) * 2012-11-27 2015-10-06 Adobe Systems Incorporated Facial landmark localization by exemplar-based graph matching
EP3183689A4 (en) * 2014-08-22 2017-08-23 Microsoft Technology Licensing, LLC Face alignment with shape regression
CN106295476B (zh) * 2015-05-29 2019-05-17 腾讯科技（深圳）有限公司 人脸关键点定位方法和装置
CN105205462A (zh) * 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置
US11080384B2 (en) * 2015-12-15 2021-08-03 Applied Recognition Corp. Systems and methods for authentication using digital signature with biometrics
CN106295567B (zh) * 2016-08-10 2019-04-12 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN108280388A (zh) * 2017-01-06 2018-07-13 富士通株式会社 训练面部检测模型的方法和装置以及面部检测方法和装置
CN106845377A (zh) * 2017-01-10 2017-06-13 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN106991388B (zh) * 2017-03-27 2020-04-21 中国科学院自动化研究所 关键点定位方法
CN107945219B (zh) * 2017-11-23 2019-12-03 翔创科技（北京）有限公司 脸部图像对齐方法、计算机程序、存储介质及电子设备
US11068741B2 (en) * 2017-12-28 2021-07-20 Qualcomm Incorporated Multi-resolution feature description for object recognition
CN110731076A (zh) * 2018-07-31 2020-01-24 深圳市大疆创新科技有限公司 一种拍摄处理方法、设备及存储介质
CN109492531B (zh) * 2018-10-10 2021-04-23 达闼机器人有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN109657583B (zh) * 2018-12-10 2021-10-22 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007096A1 (fr) * 2000-07-17 2002-01-24 Mitsubishi Denki Kabushiki Kaisha Dispositif de recherche d'un point caracteristique sur un visage
JP2012014557A (ja) * 2010-07-02 2012-01-19 Fujitsu Ltd 特徴点判定装置、特徴点判定方法および特徴点判定プログラム
US20140247993A1 (en) * 2013-03-01 2014-09-04 Adobe Systems Incorporated Landmark localization via visual search
JP2015041293A (ja) * 2013-08-22 2015-03-02 キヤノン株式会社 画像認識装置および画像認識方法

Also Published As

Publication number Publication date
EP3839807A1 (en) 2021-06-23
US20210182537A1 (en) 2021-06-17
KR20210060554A (ko) 2021-05-26
JP2022502751A (ja) 2022-01-11
CN109657583B (zh) 2021-10-22
EP3839807A4 (en) 2021-11-10
US11915514B2 (en) 2024-02-27
WO2020119458A1 (zh) 2020-06-18
CN109657583A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
KR102592270B1 (ko) 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체
US11842487B2 (en) Detection model training method and apparatus, computer device and storage medium
US10713532B2 (en) Image recognition method and apparatus
US9262671B2 (en) Systems, methods, and software for detecting an object in an image
US9928405B2 (en) System and method for detecting and tracking facial features in images
CN110956171A (zh) 铭牌自动识别方法、装置、计算机设备和存储介质
CN110674804A (zh) 文本图像的检测方法、装置、计算机设备和存储介质
KR20210028185A (ko) 사람 자세 분석 시스템 및 방법
CN108229301B (zh) 眼睑线检测方法、装置和电子设备
WO2018010101A1 (en) Method, apparatus and system for 3d face tracking
CN109711419A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110852949A (zh) 点云数据补全方法、装置、计算机设备和存储介质
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111968134B (zh) 目标分割方法、装置、计算机可读存储介质及计算机设备
CN110852257A (zh) 一种人脸关键点的检测方法、装置及存储介质
CN109544516B (zh) 图像检测方法及装置
CN113469092A (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN113095310B (zh) 人脸位置检测方法、电子设备和存储介质
CN110796663A (zh) 图片剪裁方法、装置、设备和存储介质
KR20220050617A (ko) 약한 지도학습 기반 객체 위치 검출 방법 및 장치
CN112464860A (zh) 手势识别方法、装置、计算机设备及存储介质
CN108876713B (zh) 二维模板图像的映射方法、装置、终端设备和存储介质
CN107403145B (zh) 图像特征点定位方法及装置
CN112257686B (zh) 人体姿态识别模型的训练方法、装置及存储介质
CN111428553B (zh) 人脸色素斑识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant