KR20150127381A - 얼굴 특징점 추출 방법 및 이를 수행하는 장치 - Google Patents

얼굴 특징점 추출 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR20150127381A
KR20150127381A KR1020140054087A KR20140054087A KR20150127381A KR 20150127381 A KR20150127381 A KR 20150127381A KR 1020140054087 A KR1020140054087 A KR 1020140054087A KR 20140054087 A KR20140054087 A KR 20140054087A KR 20150127381 A KR20150127381 A KR 20150127381A
Authority
KR
South Korea
Prior art keywords
face
feature point
extracting
facial
candidate
Prior art date
Application number
KR1020140054087A
Other languages
English (en)
Other versions
KR101612605B1 (ko
Inventor
김대진
신종주
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020140054087A priority Critical patent/KR101612605B1/ko
Publication of KR20150127381A publication Critical patent/KR20150127381A/ko
Application granted granted Critical
Publication of KR101612605B1 publication Critical patent/KR101612605B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

얼굴 특징점 추출 방법 및 장치에 관한 기술이 개시된다. 얼굴 특징점 추출 방법은 디지털 신호 처리가 가능한 정보 처리 장치에서 수행되며, 입력 영상으로부터 얼굴을 검출하는 단계, 미리 생성된 얼굴 모델로부터 얼굴에 상응하는 얼굴 외형을 추출하고 얼굴 외형을 이용하여 얼굴에 대한 적어도 하나의 특징점 후보자를 추출하는 단계, 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터를 설정하는 단계 및 초기 파라미터를 최적화함으로써 얼굴에 대한 얼굴 특징점을 추출하는 단계를 포함한다. 따라서, 얼굴 특징점 추출에 대한 성능을 향상시킴과 동시에 다양한 얼굴 인식 기술에 적용할 수 있다.

Description

얼굴 특징점 추출 방법 및 이를 수행하는 장치{METHOD FOR EXTRACTING FACE FEATURE AND APPARATUS FOR PERFORIMG THE METHOD}
본 발명은 얼굴 인식 기술에 관한 것으로, 더욱 상세하게는, 입력 영상으로부터 얼굴의 특징점을 정확하게 추출하기 위한 얼굴 특징점 추출 방법 및 이를 수행하는 장치에 관한 것이다.
컴퓨터 비전(computer vision)은 인간의 오감 중 시각적 인식 능력을 정보 처리 기기에 구현하는 인공 지능 분야이다.
특히, 컴퓨터 비전 분야에서 얼굴 인식 기술은 정보 처리 장치를 통해 촬영된 영상에서 얼굴의 모양 또는 눈, 눈썹, 코, 입, 턱선 등의 위치를 찾아 사용자를 식별할 수 있다는 점에서 가상 현실 기술, 지능형 로봇 또는 보안 기술 등의 다양한 차세대 응용 기술에 적용할 수 있을 것으로 기대된다.
종래에는 얼굴을 인식하기 위해 차별적 접근(discriminative approach) 방식 또는 생성적 접근(generative approach) 방식을 이용하여 얼굴에 대한 특징점을 추출하고자 하였다.
차별적 접근 방식은 특징점 추출기(feature detector)를 이용하여 얼굴에 나타나는 다수의 특징점 각각에 대한 특징점 후보자를 추출하고, 추출된 특징점 후보자 중에서 올바른 특징점을 추출하여 조합함으로써 얼굴의 전체적인 형태를 표현하고자 하였다.
그러나, 상술한 종래의 차별적 접근 방식은 얼굴의 방향이나 각도 또는 임의의 물체에 의해 얼굴의 일부가 가려지는 경우, 특징점 추출에 실패할 수 있다는 문제가 있다.
생성적 접근 방식은 입력 영상에 포함된 얼굴 외양과 유사한 얼굴 외양을 미리 생성된 얼굴 외양 모델로부터 추출하여 이들의 차이를 최소화할 수 있도록 얼굴 특징점을 이동시킴으로써 얼굴의 형태를 표현하고자 한다.
그러나, 생성적 접근 방식 또한 입력 영상의 조명이 미리 생성된 얼굴 외양 모델에서 학습된 영상의 조명과 상이하거나 입력 영상에 포함된 얼굴이 미리 생성된 얼굴 외양 모델을 통해 학습된 사람의 얼굴과 다른 경우, 특징점 추출에 대한 성능이 현저하게 떨어질 수 있다는 문제가 있다.
이와 같이 종래의 얼굴 특징점 기술은 입력 영상에 표현되는 얼굴의 크기, 방향 또는 표정, 가려짐(occlusion) 또는 조명 등의 조건에 따라 특징점 추출 성능이 크게 달라질 수 있다는 점에서 한계가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 종래의 차별적 접근 방식과 생성적 접근 방식을 결합함으로써 얼굴 특징점 추출에 대한 성능을 향상시킬 수 있는 얼굴 특징점 추출 방법을 제공하는데 있다.
또한, 본 발명의 다른 목적은, 입력 영상에 포함된 얼굴의 포즈, 표정, 가려짐 또는 조명에 상관없이 얼굴의 특징점을 정확하게 추출함으로써 얼굴 인식이 필요한 다양한 응용 기술에 적용할 수 있는 얼굴 특징점 추출 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 얼굴 특징점 추출 방법은, 디지털 신호 처리가 가능한 정보 처리 장치에서 수행되며, 입력 영상으로부터 얼굴을 검출하는 단계, 미리 생성된 얼굴 모델로부터 얼굴에 상응하는 얼굴 외형(appearance)을 추출하고, 얼굴 외형을 이용하여 얼굴에 대한 적어도 하나의 특징점 후보자를 추출하는 단계, 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정하는 단계 및 초기 파라미터를 최적화함으로써 얼굴에 대한 얼굴 특징점을 추출하는 단계를 포함한다.
여기에서, 입력 영상으로부터 얼굴을 검출하는 단계는 입력 영상에서 얼굴이 위치하는 좌표를 추출하고, 좌표에 기반하여 얼굴의 크기, 방향 및 각도 중 적어도 하나를 포함하는 얼굴 포즈(pose) 정보를 분석함으로써 얼굴을 검출할 수 있다.
여기에서, 미리 생성된 얼굴 모델은 사전에 촬영된 적어도 하나의 영상으로부터 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형을 검출하고, 적어도 하나의 얼굴 외형 각각에 대한 적어도 하나의 특징점을 추출하여, 적어도 하나의 얼굴 외형 각각에 적어도 하나의 특징점이 포함되도록 기계 학습함으로써 생성될 수 있다.
여기에서, 적어도 하나의 특징점 후보자를 추출하는 단계는 미리 생성된 얼굴 모델로부터 얼굴의 얼굴 포즈 정보에 상응하는 얼굴 외형을 추출하여 얼굴 상에 매핑하는 단계를 포함할 수 있다.
여기에서, 적어도 하나의 특징점 후보자를 추출하는 단계는 얼굴 상에 매핑된 특징점을 얼굴의 부위 별로 구분하여 검색 영역으로 설정하는 단계 및 검색 영역에 위치하는 특징점이 얼굴에 대한 얼굴 특징점이 될 확률 값을 산출하는 단계를 포함할 수 있다.
여기에서, 확률 값을 산출하는 단계는 서포트 벡터 머신(SVM, Support Vector Machine), k-최근접 이웃(K-nearest neighbor), 신경망(neural network), 회귀 분석(regression), 아다부스트(adaboost) 중 적어도 하나를 포함하는 기계 학습 알고리즘에 의해 구축된 특징점 추출기(feature detector)를 이용할 수 있다.
여기에서, 적어도 하나의 특징점 후보자를 추출하는 단계는 산출된 확률 값에 따라 검색 영역에 포함된 특징점을 얼굴에 대한 적어도 하나의 특징점 후보자로써 추출할 수 있다.
여기에서, 초기 파라미터를 설정하는 단계는 적어도 하나의 특징점 후보자를 얼굴의 특징과 매핑되도록 이동시키는 적어도 하나의 가설(hypothesis)을 설정하는 단계 및 적어도 하나의 가설을 렌삭(ransac) 알고리즘을 기반으로 평가함으로써 초기 파라미터를 설정하는 단계를 포함할 수 있다.
여기에서, 얼굴에 대한 얼굴 특징점을 추출하는 단계는 초기 파라미터에 포함된 적어도 하나의 특징점 후보자 간의 거리 및 강도(intensity)를 얼굴에 맞게 조정함으로써 얼굴에 대한 얼굴 특징점을 추출할 수 있다.
또한, 상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 얼굴 특징점 추출 장치는, 디지털 신호 처리가 가능한 정보 처리 장치에 의해 구현되며 입력 영상으로부터 얼굴을 검출하는 얼굴 검출부, 미리 생성된 얼굴 모델로부터 얼굴에 상응하는 얼굴 외형(appearance)을 추출하고, 얼굴 외형을 이용하여 얼굴에 대한 적어도 하나의 특징점 후보자를 추출하는 후보자 추출부, 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정하는 파라미터 설정부 및 초기 파라미터를 최적화함으로써 얼굴에 대한 얼굴 특징점을 추출하는 특징점 추출부를 포함한다.
상술한 바와 같은 본 발명의 실시예에 따른 얼굴 특징점 추출 방법 및 장치에 따르면, 종래의 차별적 접근 방식과 생성적 접근 방식을 결합함으로써 얼굴 특징점 추출에 대한 성능을 향상시킬 수 있다.
또한, 입력 영상에 포함된 얼굴의 포즈, 표정, 가려짐 또는 조명에 상관없이 얼굴의 특징점을 정확하게 추출함으로써 얼굴 인식이 필요한 다양한 응용 기술에 적용할 수 있다.
도 1은 본 발명의 실시예에 따른 얼굴 특징점 추출 방법을 설명하는 흐름도이다.
도 2는 본 발명의 실시예에 따른 미리 생성된 얼굴 모델을 설명하는 예시도이다.
도 3은 본 발명의 실시예에 따른 특징점 후보자를 추출하는 것을 설명하는 흐름도이다.
도 4는 본 발명의 실시예에 따른 특징점 후보자를 추출하는 것을 설명하는 예시도이다.
도 5는 본 발명의 실시예에 따른 초기 파라미터를 설정하는 것을 설명하는 예시도이다.
도 6은 본 발명의 실시예에 따른 얼굴 특징점 추출 장치를 설명하는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 얼굴 특징점 추출 방법을 설명하는 흐름도이고, 도 2는 본 발명의 실시예에 따른 미리 생성된 얼굴 모델을 설명하는 예시도이다.
또한, 도 3은 본 발명의 실시예에 따른 특징점 후보자를 추출하는 것을 설명하는 흐름도이고, 도 4는 본 발명의 실시예에 따른 특징점 후보자를 추출하는 것을 설명하는 예시도이며, 도 5는 본 발명의 실시예에 따른 초기 파라미터를 설정하는 것을 설명하는 예시도이다.
도 1을 참조하면, 얼굴 특징점 추출 방법은 입력 영상으로부터 얼굴을 검출하는 단계(S100), 미리 생성된 얼굴 모델로부터 추출한 얼굴 외형을 이용하여 특징점 후보자를 추출하는 단계(S200), 초기 파라미터를 설정하는 단계(S300) 및 초기 파라미터를 최적화하여 얼굴 특징점을 추출하는 단계(S400)를 포함할 수 있다.
종래에는 입력 영상에서 얼굴 특징점을 추출하기 위해 차별적 접근(discriminative approach) 방식 또는 생성적 접근 방식(generative approach)을 이용하였다.
그러나, 종래의 차별적 접근 방식 또는 생성적 접근 방식을 이용하는 얼굴 특징점 추출 방법은 입력 영상에 표현되는 얼굴의 크기, 방향 또는 표정, 가려짐(occlusion) 또는 조명 등의 조건에 따라 특징점 추출 성능이 크게 달라질 수 있다는 점에서 한계가 있다.
이에 따라, 본 발명은 입력 영상에서 표현되는 얼굴의 조건 또는 입력 영상이 촬영되는 외부 환경에 상관없이 정확하게 얼굴에 대한 특징점을 추출하기 위해 종래의 차별적 접근 방식과 생성적 접근 방식을 결합하는 것을 제안한다.
본 발명에 따른 얼굴 특징점 추출 방법은 디지털 신호 처리가 가능한 정보 처리 장치에서 수행될 수 있다.
여기에서, 정보 처리 장치는 입력 영상을 촬영할 수 있도록 카메라와 같은 적어도 하나의 이미지 센서를 탑재하고, 촬영된 입력 영상에서 얼굴 특징점을 추출할 수 있도록 정보 처리 기능을 구비한 스마트폰(smart phone), 태블릿 PC, PDA(Personal Digital Assistant), 컴퓨터, 노트북 등의 사용자 단말 및 스마트 가전 기기를 포함할 수 있으나 이에 한정되는 것은 아니다.
이와 같이 정보 처리 장치를 통해 촬영된 입력 영상으로부터 얼굴을 검출할 수 있다(S100).
여기에서, 입력 영상은 얼굴이 표현된 사진(picture) 및 동영상(moving picture)을 의미할 수 있다. 따라서, 입력 영상에 대한 해상도, 픽셀 수, 조명 등뿐만 아니라 입력 영상마다 얼굴이 표현되는 위치, 크기, 방향 및 각도가 각각 상이할 수 있다.
이에 따라, 입력 영상에서 얼굴이 위치하는 좌표를 추출하여 입력 영상에서 얼굴이 표현되는 크기, 방향 및 각도 중 적어도 하나를 포함하는 얼굴 포즈(pose) 정보를 분석할 수 있다.
특히, 입력 영상에서 얼굴은 3차원으로 표현될 수 있으므로, 2차원의 평면 상에 검출된 얼굴이 표시될 수 있도록 얼굴 포즈 정보에 기반하여 3차원 형태의 얼굴을 2차원으로 변환할 수 있다.
입력 영상으로부터 얼굴이 검출되면, 미리 생성된 얼굴 모델로부터 얼굴에 상응하는 얼굴 외형(appearance)을 추출하고, 얼굴 외형을 이용하여 얼굴에 대한 적어도 하나의 특징점 후보자를 추출할 수 있다(S200).
여기에서, 미리 생성된 얼굴 모델은 사전에 촬영된 적어도 하나의 영상으로부터 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형을 검출하고, 적어도 하나의 얼굴 외형 각각에 대한 적어도 하나의 특징점을 추출하여, 적어도 하나의 얼굴 외형 각각에 적어도 하나의 특징점이 포함되도록 기계 학습함으로써 생성될 수 있다.
보다 구체적으로, 사전에 촬영된 적어도 하나의 영상에서 검출된 얼굴 외형은 도 2 (a)와 같이 3차원으로 표현될 수 있다. 여기에서, 얼굴 외형에는 적어도 하나의 특징점이 기계 학습되어 포함될 수 있다.
Figure pat00001
그리하여, 수학식 1을 참조하면, 적어도 하나의 특징점이 포함된 얼굴 외형을 3차원 좌표 S(p)로 표현할 수 있다.
여기에서, S0 3은 사전에 촬영된 적어도 하나의 영상에서 얼굴 외형이 표현되는 좌표의 평균 값을 의미할 수 있으며, Si 3은 얼굴의 크기, 방향, 각도 또는 표정 등을 포함하는 얼굴 포즈의 변화에 따라 얼굴 외형에 포함된 특징점이 이동하는 좌표 값을 의미할 수 있다. 또한, Pi는 얼굴 포즈의 변화에 따른 파라미터 값을 의미할 수 있으며, M은 얼굴 포즈의 변화에 따라 얼굴 외형이 이동하는 방향을 나타내는 벡터(vector)를 의미할 수 있다.
이와 같이 3차원으로 표현되는 얼굴 외형을 2차원 평면에 도시하기 위해서는 얼굴 외형의 3차원 좌표를 2차원으로 변환되어야 한다.
Figure pat00002
따라서, 수학식 2를 참조하여, 수학식 1을 통해 산출한 얼굴 외형의 3차원 좌표를 2차원인 s(q)로 변환할 수 있다.
여기에서, ξ은 영상의 크기를 나타내는 파라미터를 의미할 수 있다. φ, θ, ψ는 얼굴 외형을 표현하는 3차원 좌표의 x, y, z 축 각각을 2차원으로 이동하기 위한 회전 파라미터로써, 이를 이용하여 3차원 회전 행렬인 R()을 계산할 수 있다.
또한, t()는 3차원의 좌표를 2차원의 평면에 도시하기 위한 함수로써, 2차원 평면의 x축에 대한 이동 파라미터인 tx와 y축에 대한 이동 파라미터인 ty로 구성될 수 있다.
예를 들어, 도 2 (a)와 같이 3차원 좌표로 표현되는 얼굴 외형을 2차원으로 변환하면, 얼굴이 정면을 주시할 때 θ 값이 0°인 것을 알 수 있다. 따라서, 3차원의 얼굴 외형을 좌우 방향으로 이동시키면, 이동 정도에 따라 2차원으로 변환되는 회전 각도 θ값 또한 -60°에서 60°까지 변화할 수 있다.
그리하여, 2차원으로 변환된 얼굴 외형을 2차원 평면에 도시함으로써 얼굴 모델을 표현할 수 있다.
Figure pat00003
수학식 3을 참조하면, 도 2 (b)와 같이 각각 상이한 얼굴 포즈를 갖는 적어도 하나의 얼굴 외형이 2차원 평면에 출력될 수 있다.
여기에서, m은 얼굴 외형에 대한 얼굴 포즈 인덱스를 의미할 수 있으며, A0 m은 얼굴 외형을 나타낼 수 있다. 또한, Ai m은 얼굴 포즈의 변화에 따른 얼굴 외형의 이동을 나타내며, λi m은 얼굴 포즈 변화에 따라 얼굴 외형에 대한 이동 파라미터를 나타낼 수 있다.
이와 같이 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형에 적어도 하나의 특징점을 포함하여 생성된 얼굴 모델을 이용하면, 입력 영상에서 검출된 얼굴에 대한 적어도 하나의 특징점 후보자를 추출할 수 있다(S200).
도 3 및 도 4를 참조하면, 입력 영상에서 검출된 얼굴에 대한 얼굴 특징점 후보자를 추출할 수 있다.
먼저, 미리 생성된 얼굴 모델로부터 추출된 얼굴 외형에 포함되는 특징점을 얼굴 상에 매핑할 수 있다(S210). 즉, 얼굴의 얼굴 포즈 정보에 상응하는 얼굴 외형을 미리 생성된 얼굴 모델에서 추출하고, 얼굴 외형에 포함된 특징점을 도 4 (a)와 같이 얼굴 상에 매핑할 수 있다.
얼굴 상에 매핑된 특징점은 얼굴의 부위 별로 구분하여 검색 영역으로 설정할 수 있다(S220). 여기에서, 검색 영역은 눈, 눈썹, 코, 입, 턱선 등 얼굴을 구성하는 특정 부위에 대하여 설정할 수 있다.
예를 들어, 도 4 (b)와 같이 얼굴 상에서 왼쪽 눈썹에 매핑된 특징점들을 모아 검색 영역 A로 설정하고, 왼쪽 턱선에 매핑된 특징점들을 모아 검색 영역 B로 설정할 수 있다. 이와 마찬가지로, 오른쪽 눈에 매핑된 특징점들을 모아 검색 영역 C로 설정할 수 있다.
그리하여, 검색 영역에 위치하는 특징점이 얼굴에 대한 얼굴 특징점이 될 확률 값을 산출할 수 있다(S230). 이 때, 확률 값은 서포트 벡터 머신(SVM, Support Vector Machine), k-최근접 이웃(K-nearest neighbor), 신경망(neural network), 회귀 분석(regression), 아다부스트(adaboost) 중 적어도 하나를 포함하는 기계 학습 알고리즘에 의해 구축된 특징점 추출기(feature detector)를 이용할 수 있으나 이에 한정되는 것은 아니다.
산출된 확률 값에 따라 검색 영역에 포함된 특징점을 얼굴에 대한 적어도 하나의 특징점 후보자로써 추출할 수 있다(S240).
구체적으로 예를 들어, 도 4 (b)에서 설정된 검색 영역 A에 위치하는 적어도 하나의 특징점을 가우시안 분포의 평균 좌표 또는 공분산 행렬을 이용하여 표현한 후, 이 중에서 얼굴 특징점이 될 확률 값이 높은 특징점을 도 4 (c)의 A´와 같이 얼굴에 대한 특징점 후보자로 추출할 수 있다.
이와 같은 방식으로 도 4 (b)에서 설정된 검색 영역 B에 위치하는 적어도 하나의 특징점 중에서 얼굴 특징점이 될 확률 값이 특징점을 도 4 (c)의 B´와 같이 얼굴에 대한 특징점 후보자로 추출할 수 있다.
반면, 도 4 (b)에서 설정된 검색 영역 C는 얼굴 상에서 머리카락에 의해 얼굴의 부위가 가려져 있기 때문에, 검색 영역 C에 위치하는 적어도 하나의 특징점이 가우시안 분포의 평균 좌표 또는 공분산 행렬을 통해 표현되지 않는다. 이에 따라 도 4 (c)의 C´와 같이 얼굴에 대한 특징점 후보자가 추출되지 않을 수 있다.
이와 같이 추출된 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정할 수 있다(S300).
즉, 추출된 적어도 하나의 특징점 후보자를 입력 영상으로부터 검출된 얼굴의 부위에 보다 가깝게 위치하도록 이동시켜 얼굴에 대한 특징점을 추출하기 위한 초기 파라미터를 설정할 수 있다.
이를 위해, 추출된 적어도 하나의 특징점 후보자를 얼굴의 특징과 매핑되도록 이동시켜 가설(hypothesis)을 설정하고, 가설을 렌삭(ransac) 알고리즘을 이용하여 평가할 수 있다.
예를 들어, 도 5 (a)와 같이 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되면, 눈썹, 눈, 코, 입, 턱선과 같은 얼굴의 부위 별로 임의의 서로 다른 두 개의 특징점 후보자를 선택하여 얼굴의 특징과 매핑되도록 이동시킬 수 있다.
이를 가설이라 정의하고 렌삭 알고리즘을 이용하여 평가함으로써 두 특징점 후보자 중에서 얼굴의 특징에 보다 가까운 위치에 매핑되는 특징점 후보자를 추출할 수 있다.
그리하여, 상술한 일련의 과정을 반복하면, 도 5 (a)와 같이 얼굴 상에 매핑된 적어도 하나의 특징점 후보자가 도 5 (b) 및 도 5 (c)와 같이 점점 입력 영상으로부터 검출된 얼굴에 가까이 위치하게 되며, 최종적으로 도 5 (d)와 같이 얼굴에 가장 가까운 곳에 위치하는 특징점 후보자들을 초기 파라미터로 설정할 수 있다.
초기 파라미터를 최적화하여 얼굴에 대한 얼굴 특징점을 추출할 수 있다(S400).
즉, 초기 파라미터에 포함된 적어도 하나의 특징점 후보자 간의 거리 및 강도(intensity)를 얼굴에 맞게 조정함으로써 얼굴에 대한 얼굴 특징점을 추출할 수 있다.
Figure pat00004
수학식 4를 참조하면, 초기 파라미터를 기초로 얼굴 특징점을 추출하기 위한 최적화를 수행할 수 있다.
상기 수학식 4에서
Figure pat00005
은 초기 파라미터에 포함된 적어도 하나의 특징점 후보자 간의 거리를 줄이기 위한 식으로, 차별적 접근 방식에서 발생하는 에러를 표현할 수 있다. 이 때,
Figure pat00006
은 얼굴에 대한 위치이고,
Figure pat00007
은 초기 파라미터에 포함된 특징점 후보자의 위치를 의미할 수 있다.
또한,
Figure pat00008
은 미리 생성된 얼굴 모델에서 추출된 얼굴 외형과 입력 영상에서 검출된 얼굴 간의 강도를 줄이기 위한 식으로, 생성적 접근 방식에서 발생하는 에러를 표현할 수 있다. 여기에서,
Figure pat00009
은 생성적 접근 방식의 에러에 대한 가중치를 의미하며 이는 주로 지수함수에 의해 정의될 수 있다. 또한,
Figure pat00010
은 얼굴 외형을 와핑(warping)한 영상이며,
Figure pat00011
은 얼굴 외형을 의미할 수 있다.
특히, 수학식 4에서 α는 차별적 접근 방식과 생성적 접근 방식의 균형을 맞추는 값을 의미할 수 있다.
이 때, 얼굴에서 가려진 부분에 대한 얼굴 특징점을 추출하기 위해 하기 수학식 5를 이용할 수 있다
Figure pat00012
수학식 5에서
Figure pat00013
은 특징점에 대한 가중치 행렬을 의미하는 것으로, 얼굴에 가려진 부분이 있어 특징점 후보자가 초기 파라미터에 포함되지 않는 경우,
Figure pat00014
를 제로 행렬로 설정하여 최적화되지 않도록 한다.
반면, 가려지는 부분이 아닌 경우에는 가시성을 표시하는
Figure pat00015
을 계산하여 가중치 행렬을 산출함으로써 얼굴 특징점을 추출할 수 있다.
이와 같이 본 발명에 따른 얼굴 특징점 추출 방법은 차별적 접근 방식과 생성적 접근 방식을 결합하여 보다 정확하게 얼굴 특징점을 추출할 수 있다.
도 6은 본 발명의 실시예에 따른 얼굴 특징점 추출 장치를 설명하는 블록도이다.
도 6을 참조하면, 얼굴 특징점 추출 장치(100)는 얼굴 검출부(110), 후보자 추출부(120), 파라미터 설정부(130) 및 특징점 추출부(140)를 포함할 수 있다.
얼굴 특징점 추출 장치(100)는 디지털 신호 처리가 가능한 정보 처리 장치에 의해 구현될 수 있다.
여기에서, 정보 처리 장치는 입력 영상을 촬영할 수 있도록 카메라와 같은 적어도 하나의 이미지 센서를 탑재하고, 촬영된 입력 영상에서 얼굴 특징점을 추출할 수 있도록 정보 처리 기능을 구비한 스마트폰(smart phone), 태블릿 PC, PDA(Personal Digital Assistant), 컴퓨터, 노트북 등의 사용자 단말 및 스마트 가전 기기를 포함할 수 있으나 이에 한정되는 것은 아니다.
얼굴 검출부(110)는 정보 처리 장치를 통해 촬영된 입력 영상으로부터 얼굴을 검출할 수 있다.
여기에서, 입력 영상은 얼굴이 표현된 사진(picture) 및 동영상(moving picture)을 의미할 수 있다. 따라서, 입력 영상에 대한 해상도, 픽셀 수, 조명 등뿐만 아니라 입력 영상마다 얼굴이 표현되는 위치, 크기, 방향 및 각도가 각각 상이할 수 있다.
이에 따라, 입력 영상에서 얼굴이 위치하는 좌표를 추출하여 입력 영상에서 얼굴이 표현되는 크기, 방향 및 각도 중 적어도 하나를 포함하는 얼굴 포즈(pose) 정보를 분석할 수 있다.
특히, 입력 영상에서 얼굴은 3차원으로 표현될 수 있으므로, 2차원의 평면 상에 검출된 얼굴이 표시될 수 있도록 얼굴 포즈 정보에 기반하여 3차원 형태의 얼굴을 2차원으로 변환할 수 있다.
후보자 추출부(120)는 미리 생성된 얼굴 모델(150)로부터 얼굴에 상응하는 얼굴 외형을 추출하고, 얼굴 외형을 이용하여 얼굴에 대한 적어도 하나의 특징점 후보자를 추출할 수 있다.
후보자 추출부(120)는 특징점 매핑 모듈(121), 검색 영역 설정 모듈(123) 및 확률 산출 모듈(125)을 포함할 수 있다.
특징점 매핑 모듈(121)은 미리 생성된 얼굴 모델(150)로부터 추출된 얼굴 외형에 포함되는 특징점을 얼굴 상에 매핑할 수 있다. 즉, 얼굴의 얼굴 포즈 정보에 상응하는 얼굴 외형을 미리 생성된 얼굴 모델(150)에서 추출하고, 얼굴 외형에 포함된 특징점을 얼굴 상에 매핑할 수 있다.
여기에서, 미리 생성된 얼굴 모델(150)은 사전에 촬영된 적어도 하나의 영상으로부터 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형을 검출하고, 적어도 하나의 얼굴 외형 각각에 대한 적어도 하나의 특징점을 추출하여, 적어도 하나의 얼굴 외형 각각에 적어도 하나의 특징점이 포함되도록 기계 학습함으로써 생성될 수 있다.
검색 영역 설정 모듈(123)은 얼굴 상에 매핑된 특징점을 얼굴의 부위 별로 구분하여 검색 영역으로 설정할 수 있다. 여기에서, 검색 영역은 눈, 눈썹, 코, 입, 턱선 등 얼굴을 구성하는 특정 부위에 대하여 설정할 수 있다.
확률 산출 모듈(125)은 검색 영역에 위치하는 특징점이 얼굴에 대한 얼굴 특징점이 될 확률 값을 산출할 수 있다. 이 때, 확률 값은 서포트 벡터 머신(SVM, Support Vector Machine), k-최근접 이웃(K-nearest neighbor), 신경망(neural network), 회귀 분석(regression), 아다부스트(adaboost) 중 적어도 하나를 포함하는 기계 학습 알고리즘에 의해 구축된 특징점 추출기(feature detector)를 이용할 수 있으나 이에 한정되는 것은 아니다.
이를 통해 후보자 추출부(120)는 산출된 확률 값에 따라 검색 영역에 포함된 특징점을 얼굴에 대한 적어도 하나의 특징점 후보자로써 추출할 수 있다.
파라미터 설정부(130)는 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정할 수 있다.
즉, 추출된 적어도 하나의 특징점 후보자를 입력 영상으로부터 검출된 얼굴의 부위에 보다 가깝게 위치하도록 이동시켜 얼굴에 대한 특징점을 추출하기 위한 초기 파라미터를 설정할 수 있다.
이를 위해, 추출된 적어도 하나의 특징점 후보자를 얼굴의 특징과 매핑되도록 이동시켜 가설(hypothesis)을 설정하고, 가설을 렌삭(ransac) 알고리즘을 이용하여 평가할 수 있다.
예를 들어, 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되면, 눈썹, 눈, 코, 입, 턱선과 같은 얼굴의 부위 별로 임의의 서로 다른 두 개의 특징점 후보자를 선택하여 얼굴의 특징과 매핑되도록 이동시킬 수 있다.
이를 가설이라 정의하고 렌삭 알고리즘을 이용하여 평가함으로써 두 특징점 후보자 중에서 얼굴의 특징에 보다 가까운 위치에 매핑되는 특징점 후보자를 추출할 수 있다.
이와 같은 과정을 반복하면, 얼굴에 가장 가까운 곳에 위치하는 특징점 후보자들이 초기 파라미터로 설정될 수 있다.
특징점 추출부(140)는 초기 파라미터를 최적화하여 얼굴에 대한 얼굴 특징점을 추출할 수 있다. 즉, 초기 파라미터에 포함된 적어도 하나의 특징점 후보자 간의 거리 및 강도를 얼굴에 맞게 조정함으로써 얼굴에 대한 얼굴 특징점을 추출할 수 있다.
상술한 바와 같은 본 발명의 실시예에 따른 얼굴 특징점 추출 방법 및 장치에 따르면, 종래의 차별적 접근 방식과 생성적 접근 방식을 결합함으로써 얼굴 특징점 추출에 대한 성능을 향상시킬 수 있다.
또한, 입력 영상에 포함된 얼굴의 포즈, 표정, 가려짐 또는 조명에 관계없이 얼굴의 특징점을 정확하게 추출함으로써 다양한 얼굴 인식 기술에 적용할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 얼굴 특징점 추출 장치 110: 얼굴 검출부
120: 후보자 추출부 121: 특징점 매핑 모듈
123: 검색 영역 설정 모듈 125: 확률 산출 모듈
130: 파라미터 설정부 140: 특징점 추출부
150: 얼굴 모델

Claims (18)

  1. 디지털 신호 처리가 가능한 정보 처리 장치에서 수행되는 얼굴 특징점 추출 방법에 있어서,
    입력 영상으로부터 얼굴을 검출하는 단계;
    미리 생성된 얼굴 모델로부터 상기 얼굴에 상응하는 얼굴 외형(appearance)을 추출하고, 상기 얼굴 외형을 이용하여 상기 얼굴에 대한 적어도 하나의 특징점 후보자를 추출하는 단계;
    상기 적어도 하나의 특징점 후보자가 상기 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정하는 단계; 및
    상기 초기 파라미터를 최적화함으로써 상기 얼굴에 대한 얼굴 특징점을 추출하는 단계를 포함하는 얼굴 특징점 추출 방법.
  2. 청구항 1에 있어서,
    상기 입력 영상으로부터 얼굴을 검출하는 단계는,
    상기 입력 영상에서 상기 얼굴이 위치하는 좌표를 추출하고,
    상기 좌표에 기반하여 상기 얼굴의 크기, 방향 및 각도 중 적어도 하나를 포함하는 얼굴 포즈(pose) 정보를 분석함으로써 상기 얼굴을 검출하는 것을 특징으로 하는 얼굴 특징점 추출 방법.
  3. 청구항 2에 있어서,
    상기 미리 생성된 얼굴 모델은,
    사전에 촬영된 적어도 하나의 영상으로부터 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형을 검출하고,
    상기 적어도 하나의 얼굴 외형 각각에 대한 적어도 하나의 특징점을 추출하여,
    상기 적어도 하나의 얼굴 외형 각각에 상기 적어도 하나의 특징점이 포함되도록 기계 학습함으로써 생성되는 것을 특징으로 하는 얼굴 특징점 추출 방법.
  4. 청구항 3에 있어서,
    상기 적어도 하나의 특징점 후보자를 추출하는 단계는,
    상기 미리 생성된 얼굴 모델로부터 상기 얼굴의 얼굴 포즈 정보에 상응하는 얼굴 외형을 추출하고, 상기 추출된 얼굴 외형에 포함된 특징점을 상기 얼굴 상에 매핑하는 단계를 포함하는 것을 특징으로 하는 얼굴 특징점 추출 방법.
  5. 청구항 4에 있어서,
    상기 적어도 하나의 특징점 후보자를 추출하는 단계는,
    상기 얼굴 상에 매핑된 특징점을 상기 얼굴의 부위 별로 구분하여 검색 영역으로 설정하는 단계; 및
    상기 검색 영역에 위치하는 특징점이 상기 얼굴에 대한 얼굴 특징점이 될 확률 값을 산출하는 단계를 포함하는 것을 특징으로 하는 얼굴 특징점 추출 방법.
  6. 청구항 5에 있어서,
    상기 확률 값을 산출하는 단계는,
    서포트 벡터 머신(SVM, Support Vector Machine), k-최근접 이웃(K-nearest neighbor), 신경망(neural network), 회귀 분석(regression), 아다부스트(adaboost) 중 적어도 하나를 포함하는 기계 학습 알고리즘에 의해 구축된 특징점 추출기(feature detector)를 이용하는 것을 특징으로 하는 얼굴 특징점 추출 방법.
  7. 청구항 5에 있어서,
    상기 적어도 하나의 특징점 후보자를 추출하는 단계는,
    상기 산출된 확률 값에 따라 상기 검색 영역에 포함된 특징점을 상기 얼굴에 대한 적어도 하나의 특징점 후보자로써 추출하는 것을 특징으로 하는 얼굴 특징점 추출 방법.
  8. 청구항 1에 있어서,
    상기 초기 파라미터를 설정하는 단계는,
    상기 적어도 하나의 특징점 후보자를 상기 얼굴의 특징과 매핑되도록 이동시키는 적어도 하나의 가설(hypothesis)을 설정하는 단계; 및
    상기 적어도 하나의 가설을 렌삭(ransac) 알고리즘을 기반으로 평가함으로써 상기 초기 파라미터를 설정하는 단계를 포함하는 것을 특징으로 하는 얼굴 특징점 추출 방법.
  9. 청구항 8에 있어서,
    상기 얼굴에 대한 얼굴 특징점을 추출하는 단계는,
    상기 초기 파라미터에 포함된 상기 적어도 하나의 특징점 후보자 간의 거리 및 강도(intensity)를 상기 얼굴에 맞게 조정함으로써 상기 얼굴에 대한 얼굴 특징점을 추출하는 것을 특징으로 하는 얼굴 특징점 추출 방법.
  10. 디지털 신호 처리가 가능한 정보 처리 장치에 의해 구현되는 얼굴 특징점 추출 장치에 있어서,
    입력 영상으로부터 얼굴을 검출하는 얼굴 검출부;
    미리 생성된 얼굴 모델로부터 상기 얼굴에 상응하는 얼굴 외형(appearance)을 추출하고, 상기 얼굴 외형을 이용하여 상기 얼굴에 대한 적어도 하나의 특징점 후보자를 추출하는 후보자 추출부;
    상기 적어도 하나의 특징점 후보자가 상기 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정하는 파라미터 설정부; 및
    상기 초기 파라미터를 최적화함으로써 상기 얼굴에 대한 얼굴 특징점을 추출하는 특징점 추출부를 포함하는 얼굴 특징점 추출 장치.
  11. 청구항 10에 있어서,
    상기 얼굴 검출부는,
    상기 입력 영상에서 상기 얼굴이 위치하는 좌표를 추출하고,
    상기 좌표에 기반하여 상기 얼굴의 크기, 방향 및 각도 중 적어도 하나를 포함하는 얼굴 포즈(pose) 정보를 분석함으로써 상기 얼굴을 검출하는 것을 특징으로 하는 얼굴 특징점 추출 장치.
  12. 청구항 11에 있어서,
    상기 미리 생성된 얼굴 모델은,
    사전에 촬영된 적어도 하나의 영상으로부터 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형을 검출하고,
    상기 적어도 하나의 얼굴 외형 각각에 대한 적어도 하나의 특징점을 추출하여,
    상기 적어도 하나의 얼굴 외형 각각에 상기 적어도 하나의 특징점이 포함되도록 기계 학습함으로써 생성되는 것을 특징으로 하는 얼굴 특징점 추출 장치.
  13. 청구항 12에 있어서,
    상기 후보자 추출부는,
    상기 미리 생성된 얼굴 모델로부터 상기 얼굴의 얼굴 포즈 정보에 상응하는 얼굴 외형을 추출하고, 상기 추출된 얼굴 외형에 포함된 특징점을 상기 얼굴 상에 매핑하는 특징점 매핑 모듈을 포함하는 것을 특징으로 하는 얼굴 특징점 추출 장치.
  14. 청구항 13에 있어서,
    상기 후보자 추출부는,
    상기 얼굴 상에 매핑된 특징점을 상기 얼굴의 부위 별로 구분하여 검색 영역으로 설정하는 검색 영역 설정 모듈; 및
    상기 검색 영역에 위치하는 특징점이 상기 얼굴에 대한 얼굴 특징점이 될 확률 값을 산출하는 확률 산출 모듈을 포함하는 것을 특징으로 하는 얼굴 특징점 추출 장치.
  15. 청구항 14에 있어서,
    상기 확률 산출 모듈은,
    서포트 벡터 머신(SVM, Support Vector Machine), k-최근접 이웃(K-nearest neighbor), 신경망(neural network), 회귀 분석(regression), 아다부스트(adaboost) 중 적어도 하나를 포함하는 기계 학습 알고리즘에 의해 구축된 특징점 추출기(feature detector)를 이용하는 것을 특징으로 하는 얼굴 특징점 추출 장치.
  16. 청구항 14에 있어서,
    상기 후보자 추출부는,
    상기 산출된 확률 값에 따라 상기 검색 영역에 포함된 특징점을 상기 얼굴에 대한 적어도 하나의 특징점 후보자로써 추출하는 것을 특징으로 하는 얼굴 특징점 추출 장치.
  17. 청구항 10에 있어서,
    상기 파라미터 설정부는,
    상기 적어도 하나의 특징점 후보자를 상기 얼굴의 특징과 매핑되도록 이동시키는 적어도 하나의 가설(hypothesis)을 설정하고,
    상기 적어도 하나의 가설을 렌삭(ransac) 알고리즘을 기반으로 평가함으로써 상기 초기 파라미터를 설정하는 것을 특징으로 하는 얼굴 특징점 추출 장치.
  18. 청구항 17에 있어서,
    상기 특징점 추출부는,
    상기 초기 파라미터에 포함된 상기 적어도 하나의 특징점 후보자 간의 거리 및 강도(intensity)를 상기 얼굴에 맞게 조정함으로써 상기 얼굴에 대한 얼굴 특징점을 추출하는 것을 특징으로 하는 얼굴 특징점 추출 장치.
KR1020140054087A 2014-05-07 2014-05-07 얼굴 특징점 추출 방법 및 이를 수행하는 장치 KR101612605B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140054087A KR101612605B1 (ko) 2014-05-07 2014-05-07 얼굴 특징점 추출 방법 및 이를 수행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140054087A KR101612605B1 (ko) 2014-05-07 2014-05-07 얼굴 특징점 추출 방법 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20150127381A true KR20150127381A (ko) 2015-11-17
KR101612605B1 KR101612605B1 (ko) 2016-04-14

Family

ID=54786016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140054087A KR101612605B1 (ko) 2014-05-07 2014-05-07 얼굴 특징점 추출 방법 및 이를 수행하는 장치

Country Status (1)

Country Link
KR (1) KR101612605B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170140519A (ko) * 2016-06-13 2017-12-21 한국전자통신연구원 포즈 변화에 강인한 얼굴 인식 시스템 및 방법
WO2018117704A1 (en) * 2016-12-23 2018-06-28 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
WO2019033576A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 人脸姿态检测方法、装置及存储介质
KR20190127255A (ko) * 2018-05-04 2019-11-13 한국과학기술연구원 측면 프로파일링 기반 신원확인 장치 및 방법
KR20200029659A (ko) * 2018-09-06 2020-03-19 포항공과대학교 산학협력단 얼굴 인식 방법 및 장치
KR20200106111A (ko) 2019-02-26 2020-09-11 연세대학교 산학협력단 가우시안 특징점맵과 회귀 기법을 이용한 얼굴 특징점 검출 장치 및 방법
WO2020199906A1 (zh) * 2019-03-29 2020-10-08 广州市百果园信息技术有限公司 人脸关键点检测方法、装置、设备及存储介质
WO2020228324A1 (zh) * 2019-05-14 2020-11-19 广东康云科技有限公司 基于wifi的对象侦测方法、系统及存储介质
US11182592B2 (en) 2017-11-23 2021-11-23 Beijing Sensetime Technology Development Co., Ltd. Target object recognition method and apparatus, storage medium, and electronic device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351974A (zh) * 2016-07-17 2018-07-31 Gsi 科技公司 在恒定的处理时间内查找k个极值
KR102016082B1 (ko) * 2018-02-01 2019-08-29 고려대학교 산학협력단 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170140519A (ko) * 2016-06-13 2017-12-21 한국전자통신연구원 포즈 변화에 강인한 얼굴 인식 시스템 및 방법
WO2018117704A1 (en) * 2016-12-23 2018-06-28 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
US10528799B2 (en) 2016-12-23 2020-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
US11042728B2 (en) 2016-12-23 2021-06-22 Samsung Electronics Co., Ltd. Electronic apparatus for recognition of a user and operation method thereof
WO2019033576A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 人脸姿态检测方法、装置及存储介质
US11182592B2 (en) 2017-11-23 2021-11-23 Beijing Sensetime Technology Development Co., Ltd. Target object recognition method and apparatus, storage medium, and electronic device
KR20190127255A (ko) * 2018-05-04 2019-11-13 한국과학기술연구원 측면 프로파일링 기반 신원확인 장치 및 방법
KR20200029659A (ko) * 2018-09-06 2020-03-19 포항공과대학교 산학협력단 얼굴 인식 방법 및 장치
KR20200106111A (ko) 2019-02-26 2020-09-11 연세대학교 산학협력단 가우시안 특징점맵과 회귀 기법을 이용한 얼굴 특징점 검출 장치 및 방법
WO2020199906A1 (zh) * 2019-03-29 2020-10-08 广州市百果园信息技术有限公司 人脸关键点检测方法、装置、设备及存储介质
WO2020228324A1 (zh) * 2019-05-14 2020-11-19 广东康云科技有限公司 基于wifi的对象侦测方法、系统及存储介质

Also Published As

Publication number Publication date
KR101612605B1 (ko) 2016-04-14

Similar Documents

Publication Publication Date Title
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
EP3284011B1 (en) Two-dimensional infrared depth sensing
US9128530B2 (en) Hand pointing estimation for human computer interaction
US10572072B2 (en) Depth-based touch detection
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
Feng et al. Features extraction from hand images based on new detection operators
WO2019245768A1 (en) System for predicting articulated object feature location
CN114140867A (zh) 使用眼睛特征的眼睛姿态识别
Bhuyan et al. Hand pose recognition using geometric features
EP2704056A2 (en) Image processing apparatus, image processing method
CN111062328B (zh) 一种图像处理方法、装置及智能机器人
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN102713975B (zh) 图像整理系统、图像整理方法和计算机程序
US20150199592A1 (en) Contour-based classification of objects
CN111062263A (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
KR20150089370A (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
KR20100011280A (ko) 표정 증폭을 이용한 미세 표정인식 방법 및 장치
Wang et al. A new hand gesture recognition algorithm based on joint color-depth superpixel earth mover's distance
Enikeev et al. Recognition of sign language using leap motion controller data
Takimoto et al. Classification of hand postures based on 3d vision model for human-robot interaction
CN106406507B (zh) 图像处理方法以及电子设备
Shah et al. Gesture recognition technique: a review

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee