KR102205498B1 - 입력 영상으로부터 특징을 추출하는 방법 및 장치 - Google Patents

입력 영상으로부터 특징을 추출하는 방법 및 장치 Download PDF

Info

Publication number
KR102205498B1
KR102205498B1 KR1020140124161A KR20140124161A KR102205498B1 KR 102205498 B1 KR102205498 B1 KR 102205498B1 KR 1020140124161 A KR1020140124161 A KR 1020140124161A KR 20140124161 A KR20140124161 A KR 20140124161A KR 102205498 B1 KR102205498 B1 KR 102205498B1
Authority
KR
South Korea
Prior art keywords
angle
landmark
extracting
input image
features
Prior art date
Application number
KR1020140124161A
Other languages
English (en)
Other versions
KR20160033404A (ko
Inventor
서성주
한승주
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140124161A priority Critical patent/KR102205498B1/ko
Priority to US14/816,149 priority patent/US10210379B2/en
Publication of KR20160033404A publication Critical patent/KR20160033404A/ko
Priority to US16/234,720 priority patent/US10817704B2/en
Application granted granted Critical
Publication of KR102205498B1 publication Critical patent/KR102205498B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

정규화된 입력 영상에서 랜드마크들 간의 물리적 특성을 검출하고, 물리적 특성에 기초하여, 정규화된 입력 영상에서 특징을 추출하는 대상 영역 및 대상 영역에서 특징을 추출하는 순서를 포함하는 특징 추출 스킴을 도입하며, 도입된 스킴에 따라, 특징을 추출하는, 입력 영상으로부터 특징을 추출하는 방법을 제공할 수 있다.

Description

입력 영상으로부터 특징을 추출하는 방법 및 장치{FEATURE EXTRACTION METHOD AND APPARATUS FROM INPUT IMAGE}
아래의 실시예들은 포즈 변화에 강인한, 입력 영상으로부터 특징을 추출하는 방법 및 장치에 관한 것이다.
최근, 금융, 안보, 기술 정보 보호 등 다양한 분야에서 보안의 중요성이 더 해지고 있다. 이에 따라 보안 카메라의 설치가 늘어 나고 있으며, 건물의 입구 또는 출구에서의 출입 관리를 위한 출입 인증, 또는 개인 단말에서의 사용자 인증 등에 사용자의 얼굴 인식(face recognition)이 이용될 수 있다.
일반적으로 얼굴 인식은 사용자의 정면 얼굴을 기준으로 인식이 수행된다. 정면이 아닌 다른 방향을 바라보는 등과 같이 포즈(pose)의 변화가 큰 경우에는 사용자의 얼굴을 정면으로 변환하는 정규화 과정을 거칠 수 있다. 또한, 사용자와 카메라 사이의 거리가 먼 경우 얼굴 영상의 크기를 얼굴 인식이 가능한 크기로 변환하는 정규화 과정을 거칠 수 있다. 정규화 과정을 거쳐 변환된 얼굴 영상에서 추출된 특징(feature)은 사용자의 얼굴을 인식하는 데에 이용될 수 있다.
일실시예에 따르면, 입력 영상에서 랜드마크들을 검출하는 단계; 상기 검출된 랜드마크들을 기반으로, 랜드마크들(landmarks) 간의 물리적 특성(physical characteristics)을 검출하는 단계; 상기 물리적 특성에 기초하여, 상기 입력 영상에서 특징(feature)을 추출하는 대상 영역 및 상기 대상 영역에서 상기 특징을 추출하는 순서를 포함하는 특징 추출 스킴(scheme)을 도입(introduce)하는 단계; 및 상기 도입된 특징 추출 스킴에 따라, 상기 특징을 추출하는 단계를 포함한다.
상기 물리적 특성은, 상기 랜드마크들 중 미리 정해진 제1 랜드마크를 중심으로, 상기 제1 랜드마크와 상기 제1 랜드마크를 제외한 나머지 랜드마크들 간의 각도를 포함할 수 있다.
상기 입력 영상은 얼굴 영상이고, 상기 제1 랜드마크는 상기 얼굴 영상에서 코의 중심 영역에 위치할 수 있다.
상기 랜드마크들 중 제1 랜드마크를 중심으로, 상기 제1 랜드마크와 적어도 하나의 제2 랜드마크 간의 각도 및 상기 제1 랜드마크와 적어도 하나의 제3 랜드마크 간의 각도를 산출하는 단계를 포함할 수 있다.
상기 특징 추출 스킴을 도입하는 단계는 상기 산출된 각도가 미리 설정된 범위 내인지 여부를 판단하는 단계; 및 상기 판단 결과에 따라, 상기 특징 추출 스킴을 결정하는 단계를 포함할 수 있다.
상기 특징 추출 스킴을 결정하는 단계는, 상기 판단 결과에 따라, 상기 각도가 산출된 랜드마크의 위치 별로, 상기 입력 영상의 일정 영역을 대상으로 제1 순서에 따라 상기 특징을 추출하는 제1 스킴 및 상기 일정 영역에 대응되는 영역을 대상으로 제2 순서에 따라 상기 특징을 추출하는 제2 스킴 중 어느 하나의 특징 추출 스킴을 결정하는 단계를 포함할 수 있다.
상기 특징 추출 스킴을 결정하는 단계는, 상기 산출된 각도가 미리 설정된 범위 내인 경우, 상기 제1 스킴에 따라 상기 각도가 산출된 랜드마크의 위치를 포함하는 상기 일정 영역에 포함된 복수 개의 셀들에 대하여 상기 제1 순서로 상기 특징을 추출하는 단계를 포함할 수 있다.
상기 특징 추출 스킴을 결정하는 단계는, 상기 산출된 각도가 미리 설정된 범위를 벗어나는 경우, 상기 제2 스킴에 따라 상기 각도가 산출된 랜드마크의 위치를 포함하는 상기 일정 영역에 대응되는 영역에 포함된 복수 개의 셀들에 대하여 상기 제2 순서로 상기 특징을 추출하는 단계를 포함할 수 있다.
일실시예에 따르면, 입력 영상으로부터 특징을 추출하는 방법은, 입력 영상으로부터 얼굴 영역을 검출하는 단계; 상기 얼굴 영역에서 산출된 랜드마크들 간의 각도들에 기초하여 사용자의 포즈를 예측(estimate)하는 단계; 상기 예측된 사용자의 포즈에 따라, 상기 얼굴 영역에서 특징을 추출하는 대상 영역 및 상기 대상 영역에서 특징을 추출하는 순서를 결정하는 단계; 및 상기 대상 영역에서 상기 결정된 순서에 따라 상기 특징을 추출하는 단계를 포함한다.
상기 얼굴 영역에서 미리 정해진 제1 랜드마크를 중심으로, 상기 랜드마크들 간의 각도를 산출하는 단계를 더 포함할 수 있다.
상기 사용자의 포즈를 예측하는 단계는, 상기 산출된 랜드마크들 간의 각도가 미리 설정된 범위 내에 있는지 여부에 기초하여 상기 사용자의 포즈를 예측하는 단계를 포함할 수 있다.
상기 사용자의 포즈를 예측하는 단계는, 상기 랜드마크들 중 상기 제1 랜드마크와 적어도 하나의 제2 랜드마크 간의 각도 및 상기 제1 랜드마크와 적어도 하나의 제3 랜드마크 간의 각도가 상기 미리 설정된 범위 내에 있는지 여부를 판단하는 단계; 및 상기 판단 결과에 기초하여 상기 사용자의 포즈를 예측하는 단계를 포함할 수 있다.
상기 사용자의 포즈를 예측하는 단계는, 상기 산출된 랜드마크들 간의 각도가 미리 설정된 범위 내에 있는 경우, 상기 사용자의 포즈를 제1 형태로 예측하는 단계를 포함하고, 상기 결정하는 단계는, 상기 사용자의 포즈가 상기 제1 형태로 예측된 경우, 상기 각도가 산출된 랜드마크의 위치를 포함하는 얼굴 영역의 일정 영역에 블록 - 상기 블록은 복수 개의 셀들을 포함함 - 을 설정하는 단계; 및 상기 블록에 포함된 복수 개의 셀들에 대하여 제1 순서로 상기 특징을 추출하는 단계를 포함할 수 있다.
상기 사용자의 포즈를 예측하는 단계는, 상기 산출된 랜드마크들 간의 각도가 미리 설정된 범위를 벗어나는 경우, 상기 사용자의 포즈를 제2 형태로 예측하는 단계를 포함하고, 상기 결정하는 단계는, 상기 사용자의 포즈가 상기 제2 형태로 예측된 경우, 상기 각도가 산출된 랜드마크의 위치를 포함하는 얼굴 영역의 일정 영역에 대응되는 영역에 블록- 상기 블록은 복수 개의 셀들을 포함함-을 설정하는 단계; 및 상기 블록에 포함된 복수 개의 셀들에 대하여 제2 순서로 상기 특징을 추출하는 단계를 포함할 수 있다.
일실시예에 따르면, 얼굴을 인식하는 방법은, 입력 영상을 수신하는 단계; 수신된 입력 영상으로부터 얼굴 영역을 검출하는 단계; 검출된 얼굴 영역에서 랜드마크를 검출하는 단계; 입력 영상을 정규화하는 단계; 상기 정규화된 입력 영상에서 상기 검출된 랜드마크들을 기반으로 랜드마크들(landmarks) 간의 물리적 특성(physical characteristics)을 검출하는 단계; 상기 물리적 특성에 기초하여, 상기 정규화된 입력 영상에서 특징(feature)을 추출하는 대상 영역 및 상기 대상 영역에서 상기 특징을 추출하는 순서를 포함하는 특징 추출 스킴(scheme)을 도입(introduce)하는 단계; 상기 도입된 특징 추출 스킴에 따라, 상기 특징을 추출하는 단계; 및 상기 추출된 특징을 기반으로 얼굴 매칭(Face Matching)을 수행하는 단계를 포함한다.
상기 물리적 특성은, 상기 랜드마크들 중 미리 정해진 제1 랜드마크를 중심으로, 상기 제1 랜드마크와 상기 제1 랜드마크를 제외한 나머지 랜드마크들 간의 각도를 포함할 수 있다.
상기 랜드마크들 간의 물리적 특성을 검출하는 단계는, 상기 랜드마크들 중 제1 랜드마크를 중심으로, 상기 제1 랜드마크와 적어도 하나의 제2 랜드마크 간의 각도 및 상기 제1 랜드마크와 적어도 하나의 제3 랜드마크 간의 각도를 산출하는 단계를 포함할 수 있다.
상기 특징 추출 스킴을 도입하는 단계는, 상기 산출된 각도가 미리 설정된 범위 내인지 여부를 판단하는 단계; 및 상기 판단 결과에 따라, 상기 특징 추출 스킴을 결정하는 단계를 포함할 수 있다.
상기 특징 추출 스킴을 결정하는 단계는, 상기 판단 결과에 따라, 상기 각도가 산출된 랜드마크의 위치 별로, 상기 입력 영상의 일정 영역을 대상으로 제1 순서에 따라 상기 특징을 추출하는 제1 스킴 및 상기 일정 영역에 대응되는 영역을 대상으로 제2 순서에 따라 상기 특징을 추출하는 제2 스킴 중 어느 하나의 특징 추출 스킴을 결정하는 단계를 포함할 수 있다.
도 1은 영상에 표시되는 랜드마크들을 나타낸 도면이다.
도 2는 일실시예에 따른 입력 영상으로부터 특징을 추출하는 방법을 나타낸 플로우 차트이다.
도 3은 일실시예에서 사용자의 포즈(pose)에 따른 특징 추출 영역의 차이를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 입력 영상으로부터 특징을 추출하는 방법에 따라 사용자의 포즈가 제1 형태로 예측되는 경우를 설명하기 위한 도면이다.
도 5은 일실시예에서 사용자의 포즈가 제1 형태로 예측되는 경우에 입력 영상으로부터 특징을 추출하는 대상 영역 및 특징을 추출하는 순서를 설명하기 위한 도면이다.
도 6은 일실시예에 따른 입력 영상으로부터 특징을 추출하는 방법에 따라 사용자의 포즈가 부분적으로 제1 형태 및 제2 형태를 포함하는 것으로 예측되는 경우를 설명하기 위한 도면이다.
도 7은 일실시예에서 사용자의 포즈가 제1 형태 및 제2 형태를 포함하는 것으로 예측되는 경우에 입력 영상으로부터 특징을 추출하는 대상 영역 및 특징을 추출하는 순서를 설명하기 위한 도면이다.
도 8은 일실시예에 따른 입력 영상으로부터 특징을 추출하는 방법에 따라 추출한 특징의 표현 형태를 나타낸 도면이다.
도 9는 다른 실시예에 따른 입력 영상으로부터 특징을 추출하는 방법을 나타낸 플로우 차트이다.
도 10은 또다른 실시예에 따른 입력 영상으로부터 특징을 추출하는 방법을 나타낸 플로우 차트이다.
도 11은 일실시예에 따른 얼굴 인식 방법을 나타낸 플로우차트이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 영상에 표시되는 랜드마크들을 나타낸 도면이다.
도 1을 참조하면, 얼굴 영상에서 검출되는 랜드마크들(L1 ~ L17)이 도시된다.
랜드마크(landmark)는 얼굴 영상으로부터 특징을 파악할 수 있는 얼굴의 주요 포인트를 나타내는 것으로서, 예를 들어, 양 눈 끝, 입술, 코, 눈썹 등이 랜드마크가 될 수 있다. 일실시예에서 '랜드마크들을 검출한다'는 것은 영상에서 랜드마크들이 있는 것으로 추정되는 위치를 찾는 것으로 이해될 수 있다.
랜드마크들은 예를 들어, L1, L5, L6, L10과 같이 눈의 양 끝에서 검출되거나, L2, L3, L4, L7 , L8, L9와 같이 눈썹에서 검출될 수 있다. 또한, 랜드마크들은 L11 , L12, L13과 같이 코 부분 또는 L14 , L15, L16 , L17와 같이 입 부분에서 검출될 수 있다.
도 2a 및 2b는 일실시예에 따른 입력 영상으로부터 특징을 추출하는 방법을 나타낸 플로우 차트이다.
도 2a를 참조하면, 입력 영상으로부터 특징을 추출하는 장치(이하, 추출 장치)는 입력 영상으로부터 얼굴 영역을 검출하고(210), 검출된 얼굴 영역에서 랜드마크를 검출할 수 있다(220). 단계(220)에서 추출 장치는 랜드마크들 간의 각도들을 산출할 수 있다. 추출 장치는 예를 들어, 입력 영상으로부터 검출된 얼굴 영역에서 미리 정해진 제1 랜드마크를 중심으로, 랜드마크들 간의 각도들을 산출할 수 있다.
추출 장치는 입력 영상을 정규화할 수 있다(225). 단계(225)의 정규화 과정은 입력 영상의 크기가 작거나, 또는 입력 영상에 포함된 얼굴이 대부분 정면을 나타내는 경우에는 생략될 수 있다. 이와 같이, 정규화 과정은 반드시 필수적인 것은 아니며, 필요에 따라서 수행될 수도 있고, 생략될 수 있으므로 도면에서 점선으로 표시하였다. 또한, 이하 본 명세서의 전반에서 정규화가 수행되는 경우를 중심으로 설명하지만 이는 정규화가 수행되지 않는 경우를 배제하는 것이 아니며, 반드시 정규화가 수행되는 경우를 한정하는 것 또한 아니다.
추출 장치는, 단계(220)에서 산출된 랜드마크들 간의 각도들에 기초하여 사용자의 포즈를 예측(estimate)한다(240). 추출 장치는 산출된 랜드마크들 간의 각도가 미리 설정된 범위 내에 있는지 여부에 기초하여 사용자의 포즈를 예측할 수 있다.
예를 들어, 추출 장치는 랜드마크들 중 제1 랜드마크와 적어도 하나의 제2 랜드마크 간의 각도 및 제1 랜드마크와 적어도 하나의 제3 랜드마크 간의 각도가 미리 설정된 범위 내에 있는지 여부를 판단할 수 있다. 여기서, 제1 랜드마크는 얼굴 영상에서 코의 중심 영역에 위치할 수 있다. 또한, 적어도 하나의 제2 랜드마크는 양 눈의 눈동자에 위치하며, 적어도 하나의 제3 랜드마크는 입 꼬리 부분에 위치할 수 있다. 추출 장치는 판단 결과에 기초하여 사용자의 포즈를 예측할 수 있다.
단계(220)에서 산출된 랜드마크들 간의 각도가 미리 설정된 범위 내에 있는 경우, 추출 장치는 사용자의 포즈를 제1 형태로 예측할 수 있다. 여기서, 제1 형태는 사용자의 포즈 변화가 작은 경우로 이해할 수 있다. 사용자의 포즈 변화가 작은 경우에 대하여는 도 4를 참조하여 설명한다.
또한, 단계(220)에서 산출된 랜드마크들 간의 각도가 미리 설정된 범위를 벗어나는 경우, 추출 장치는 사용자의 포즈를 제2 형태로 예측할 수 있다. 여기서, 제2 형태는 사용자의 포즈 변화가 큰 경우로 이해될 수 있다. 사용자의 포즈 변화가 큰 경우에 대하여는 도 5를 참조하여 설명한다.
추출 장치는, 단계(240)에서 예측된 사용자의 포즈에 따라, 입력 영상에서 특징을 추출하는 대상 영역 및 대상 영역에서 특징을 추출하는 순서를 결정한다(250).
사용자의 포즈가 제1 형태로 예측된 경우, 추출 장치는 입력 영상의 일정 영역에 설정된 블록을 설정하고, 블록에 포함된 복수 개의 셀들에 대하여 제1 순서로 특징을 추출할 수 있다. 여기서, 일정 영역은 해당 각도가 산출된 랜드마크의 위치를 포함하는 영역일 수 있다.
사용자의 포즈가 제1 형태로 예측된 경우, 입력 영상으로부터 특징을 추출하는 대상 영역 및 특징을 추출하는 순서는 도 6을 참조하여 설명한다.
사용자의 포즈가 제2 형태로 예측된 경우, 추출 장치는 일정 영역에 대응되는 영역에 블록을 설정하고, 블록에 포함된 복수 개의 셀들에 대하여 제2 순서로 특징을 추출할 수 있다. 사용자의 포즈가 제2 형태로 예측된 경우, 입력 영상으로부터 특징을 추출하는 대상 영역 및 특징을 추출하는 순서는 도 7을 참조하여 설명한다.
추출 장치는 단계(250)에서 결정된 대상 영역에서 결정된 순서에 따라 특징을 추출한다(260).
도 2b를 참조하면, 입력 영상으로부터 특징을 추출하는 장치(이하, 추출 장치)는 입력 영상으로부터 얼굴 영역을 검출하고(210), 검출된 얼굴 영역에서 랜드마크를 검출할 수 있다(220).
추출 장치는 단계(220)에서 검출된 랜드마크를 기반으로 랜드마크들 간의 각도를 산출할 수 있다(230).
추출 장치는, 단계(220)에서 산출된 랜드마크들 간의 각도들에 기초하여 사용자의 포즈를 예측(estimate)한다(240).
추출 장치는, 단계(240)에서 예측된 사용자의 포즈에 따라, 입력 영상에서 특징을 추출하는 대상 영역 및 대상 영역에서 특징을 추출하는 순서를 결정한다(250).
추출 장치는 입력 영상을 정규화할 수 있다(255). 여기서, 정규화 과정을 점선으로 표시한 것은 앞서 설명한 바와 같이, 입력 영상의 크기가 작거나, 또는 입력 영상에 포함된 얼굴이 대부분 정면을 나타내는 경우에는 생략될 수 있기 때문이다.
추출 장치는 단계(250)에서 결정된 대상 영역에서 결정된 순서에 따라 특징을 추출할 수 있다(260).
도 3은 일실시예에서 사용자의 포즈(pose)에 따른 특징 추출 영역의 차이를 설명하기 위한 도면이다.
도 3을 참조하면, 입력 영상 1로부터 특징을 추출하는 과정(310) 및 입력 영상 2로부터 특징을 추출하는 과정(330)이 도시된다.
입력 영상 1은 영상 내에서 얼굴이 정면을 바라보고 있으므로 예를 들어, 입력 영상을 정면 얼굴화하는 정규화에 의한 변화가 크지 않은 영상(다시 말해, 포즈 변화가 작은 영상)에 해당할 수 있다. 또한, 입력 영상 2는 영상 내에서 얼굴이 사선 방향을 바라보고 있으므로 정규화에 의한 변화가 큰 영상(다시 말해, 포즈 변화가 큰 영상)에 해당할 수 있다.
일실시예에 따른 추출 장치는 각 입력 영상이 수신되면(311,331), 입력 영상으로부터 얼굴을 검출한 후, 검출된 얼굴 영역에 대한 복수 개의 랜드마크들을 검출할 수 있다(313,333).
추출 장치는 검출된 랜드마크들을 이용하여 얼굴 영상을 정규화(normalization)할 수 있다(315,335). 추출 장치는 정규화를 통해 얼굴 영상의 크기를 조정하거나 다양한 포즈(pose)를 가지는 얼굴 영상을 정면 얼굴 영상(frontal face mage) 또는 기준이 되는 얼굴 영상으로 변환할 수 있다.
추출 장치는 정규화된 입력 영상으로부터 특징(feature)을 추출할 수 있다(317,337).
이때, 사용자의 포즈 변화가 작은 입력 영상 1의 경우, 예를 들어, 사용자의 코의 중심점을 미리 정해진 중심점(제1 랜드마크)이라고 하면, 정규화(정면 얼굴화) 후의 영상이 대칭에 가깝다.
이러한 경우, 랜드마크 주변으로 특징을 추출할 때에 특징 추출 영역(319)과 같이 주로 얼굴 내부의 영역에서 특징을 추출하게 되고, 얼굴 이외의 배경 정보를 추출할 확률이 작다.
사용자의 포즈 변화가 큰 입력 영상 2의 경우, 마찬가지로 사용자의 코의 중심점을 미리 정해진 중심점이라고 하면, 정규화 후 영상이 대칭적이지 않다. 이러한 경우, 특징 추출 영역(339)과 같이 얼굴 내부 영역(338)이 아닌 배경 영역(340)에서 특징을 추출할 확률이 크다. 얼굴 내부 영역(338)이 아닌 배경 영역(340)에서 특징이 추출되는 경우, 인식률이 저하될 수 있다.
도 4는 일실시예에 따른 입력 영상으로부터 특징을 추출하는 방법에 따라 사용자의 포즈가 제1 형태로 예측되는 경우를 설명하기 위한 도면이다.
도 4를 참조하면, 랜드마크들이 표시된 정규화된 입력 영상(410) 및 랜드마크들 간의 각도들이 표시된 영상(430)이 도시된다.
정규화된 입력 영상(410)에서 랜드마크들은 코의 중심점, 양 눈, 및 입술 등에서 검출될 수 있다.
일실시예에 따른 추출 장치는 정규화된 입력 영상(410)에서 미리 정해진 제1 랜드마크(예를 들어 코의 중심점(431))를 중심으로, 제1 랜드마크의 나머지 랜드마크들(눈과 입술 부의의 랜드마크들(433,435,437,439)) 간의 각도를 산출할 수 있다.
정규화된 입력 영상(410)에서 검출된 제1 랜드마크와 나머지 랜드마크들(433,435,437,439) 간의 각도를 표시하면 영상(430)과 같이 나타낼 수 있다.
추출 장치는 제1 랜드마크(431)를 중심으로 제1 랜드마크(431)와 양 눈의 중심부에 있는 랜드마크들(433,435) 간의 각도(θ1, θ2)와 제1 랜드마크(431)와 입술 양끝에 있는 랜드마트들(437,439) 간의 각도(θ3, θ4)를 산출할 수 있다.
추출 장치는 산출된 랜드마크들 간의 각도(θ1, θ2, θ3, θ4)가 각각 미리 설정된 범위 내에 있는지 여부에 기초하여 사용자의 포즈를 예측할 수 있다.
도 4에서 랜드마크들(433,435,437,439)은 제1 랜드마크(431)를 중심으로 거의 대칭되는 형태를 가지므로 산출된 각도들 또한 그 차이가 크지 않아 미리 설정된 범위(TL≤ θi ≤TH)(i = 1,2,3,4)내에 있다.
랜드마크들 간의 각도가 대해 미리 설정된 범위(TL≤ θi ≤TH)(i = 1,2,3,4)내에 있는 경우(예를 들어, 코 중앙점을 기준으로 양 눈, 양 입 꼬리간의 각도가 적절한 범위 내에 있는 경우), 추출 장치는 사용자의 포즈를 제1 형태로 예측할 수 있다.
사용자의 포즈가 제1 형태로 예측된 경우에 추출 장치가 특징을 추출하는 대상 영역 및 특징을 추출하는 순서는 도 5를 참조하여 설명한다.
도 5는 일실시예에서 사용자의 포즈가 제1 형태로 예측되는 경우에 입력 영상으로부터 특징을 추출하는 대상 영역 및 특징을 추출하는 순서를 설명하기 위한 도면이다.
도 5를 참조하면, 정규화된 입력 영상의 일정 영역에 설정된 블록들(510,530) 및 특징을 추출하는 순서가 표시된 셀들이 표시된 블록(550)이 도시된다.
일실시예에서, 블록들(510,530)은 정규화된 입력 영상에서 랜드마크들 간의 각도가 산출된 랜드마크의 위치를 포함하는 일정 영역에 설정될 수 있다. 이때, 블록(510)은 복수 개의 셀들(511)을 포함할 수 있다.
도 4에서 살펴본 바와 같이 사용자의 포즈 변화가 작은 경우에 랜드마크들 간의 각도는 미리 설정된 범위 내에 있으므로, 추출 장치는 정규화된 입력 영상에 설정된 블록들(510,530)의 각 셀(511)에서 550에 도시된 것과 같이 왼쪽에서 오른쪽으로 증가하는 제1 순서로 특징을 추출할 수 있다. 이때, 복수의 셀들에서 추출된 특징은 도 8과 같은 특징 벡터의 형태를 가질 수 있다.
도 6은 일실시예에 따른 입력 영상으로부터 특징을 추출하는 방법에 따라 사용자의 포즈가 부분적으로 제1 형태 및 제2 형태를 포함하는 것으로 예측되는 경우를 설명하기 위한 도면이다.
도 6을 참조하면, 랜드마크들이 표시된 정규화된 입력 영상(610) 및 랜드마크들 간의 각도들이 표시된 영상(630)이 도시된다.
정규화된 입력 영상(610)에서 랜드마크들은 코의 중심점, 양 눈의 중심 및 테두리, 입술 양끝 및 중심점 등에서 검출될 수 있다.
일실시예에 따른 추출 장치는 정규화된 입력 영상(610)에서 미리 정해진 제1 랜드마크(예를 들어 코의 중심점(631))를 중심으로, 제1 랜드마크와 나머지 랜드마크들(눈과 입술 부의의 랜드마트들(633,635,637,639)) 간의 각도들을 산출할 수 있다.
정규화된 입력 영상(610)에서 검출된 제1 랜드마크와 나머지 랜드마크들(633,635,637,639) 간의 각도를 표시하면 영상(630)과 같이 나타낼 수 있다.
추출 장치는 제1 랜드마크(631)를 중심으로 제1 랜드마크(631)와 양 눈의 중심부에 있는 랜드마크들(633,635) 간의 각도(θ1, θ2)와 제1 랜드마크(631)와 입술 양끝에 있는 랜드마트들(637,639) 간의 각도(θ3, θ4)를 산출할 수 있다.
추출 장치는 산출된 랜드마크들 간의 각도들(θ1, θ2, θ3, θ4)이 각각 미리 설정된 범위 내에 있는지 여부에 기초하여 사용자의 포즈를 예측할 수 있다.
도 6에서, 제1 랜드마크(631)와 양 눈의 중심부에 있는 랜드마크들(633,635) 간의 각도들에서 각도(θ1), 및 각도(θ2) 는 미리 설정된 범위(TL≤ θi ≤TH) 내에 있다고 하자. 또한, 각도(θ3) 및 각도(θ4)는 미리 설정된 범위를 벗어난다고 하자.
각도(θ1), 및 각도(θ2) 와 같이, 산출된 각도가 미리 설정된 범위 내인 경우, 추출 장치는 각도(θ1), 각도(θ2)가 산출된 일정 영역에서의 사용자의 포즈를 제1 형태로 예측할 수 있다.
또한, 각도(θ3) 및 각도(θ4)와 같이, 산출된 각도가 (θi < TL 또는 θi > TH)에 해당하여 미리 설정된 범위를 벗어나는 경우, 추출 장치는 각도(θ3) 및 각도(θ4)가 산출된 일정 영역에서의 사용자의 포즈를 제2 형태로 예측할 수 있다.
예를 들어, 코 중심점(631)과 왼쪽 입꼬리(637) 간의 각도(θ3)와 같이 산출된 각도가 미리 설정된 범위를 벗어나는 경우, 추출 장치는 각도(θ3)에 해당하는 일정 영역에서 특징을 추출하지 않고, 각도(θ3)에 해당하는 영역에 대응하는 영역에서 반대 순서로 특징을 추출한다. 각도(θ3)와 같이 포즈 변화가 큰 경우, 추출 장치는 잘 보이는 반대편 얼굴 부위에서 특징을 추출함으로써, 배경 정보에서 특징이 추출되는 상황을 방지할 수 있다.
일실시예에서는, 랜드마크들 간의 각도가 미리 설정된 범위를 벗어나는 경우, 랜드마크들의 위치 부근에서는 얼굴 반대편의 대응되는 영역에서 특징 추출 순서를 변경하여 특징을 추출할 수 있다. 랜드마크들 간의 각도가 적정 범위를 벗어난 경우, 배경 영역이 많이 포함된 채 특징이 추출되므로, 반대편의 대응하는 영역에서 특징을 추출하는 것이 사용자 인식에 더 유리하기 때문이다.
사용자의 포즈가 제1 형태 및 제2 형태를 포함하는 것으로 예측된 경우에 추출 장치가 특징을 추출하는 대상 영역 및 특징을 추출하는 순서는 도 7을 참조하여 설명한다.
도 7은 일실시예에서 사용자의 포즈가 제1 형태 및 제2 형태를 포함하는 것으로 예측되는 경우에 입력 영상으로부터 특징을 추출하는 대상 영역 및 특징을 추출하는 순서를 설명하기 위한 도면이다.
도 7을 참조하면, 정규화된 입력 영상의 일정 영역에 설정된 블록들(710,720,730) 및 특징을 추출하는 순서가 표시된 셀들이 표시된 블록들(750,770)이 도시된다.
추출 장치는 정규화된 입력 영상에서 랜드마크들 간의 각도가 추출된 일정 영역에 블록들(710, 720)을 설정할 수 있다. 각 블록들(710, 720)은 복수 개의 셀(711)들을 포함할 수 있다.
도 6에서 살펴본 바와 같이, 사용자의 포즈가 제1 형태로 예측된 영역에서는 랜드마크들 간의 각도들이 모두 미리 설정된 범위 내에 있으므로, 추출 장치는 해당 각도가 산출된 랜드마크의 위치를 포함하는 정규화된 입력 영상에 설정된 블록들(710)의 각 셀(711)에서 750에 도시된 것과 같이 왼쪽에서 오른쪽으로 증가하는 제1 순서로 특징을 추출할 수 있다.
사용자의 포즈가 제2 형태로 예측된 영역에서는 랜드마크들 간의 각도들이 미리 설정된 범위를 벗어나므로, 추출 장치는 해당 각도가 산출된 랜드마크의 위치를 포함하는 일정 영역(예를 들어, 블록(720))에 대응되는 영역에 블록(730)을 설정할 수 있다.
여기서, '일정 영역에 대응되는 영역'은 일정 기준점(예를 들어, 제1 랜드마크)을 중심으로 위에서 아래로 수직선을 그었을 때, 수직선을 기준으로 일정 영역에 반대되는 영역 또는 대칭되는 영역으로 이해할 수 있다.
사용자의 포즈가 제2 형태로 예측된 영역에서는 상술한 바와 같이 얼굴 이외의 배경 정보(725)가 함께 포함되어 특징으로 추출될 가능성이 높으므로, 배경 정보(725)가 포함되지 않는 반대편 영역을 이용하여 특징을 추출함으로써 보다 정확하게 특징을 추출할 수 있다. 이때, 특징을 추출하는 영역을 대응되는 영역(730)에 설정하였으므로, 각 셀에서 특징을 추출하는 순서는 원 영역(720)과는 반대의 순서를 가질 수 있다.
추출 장치는 정규화된 입력 영상에 설정된 블록들(730)의 각 셀에서 770에 도시된 것과 같이 오른쪽에서 왼쪽으로 증가하는 제2 순서로 특징을 추출할 수 있다.
이때, 복수의 셀들에서 추출된 특징은 도 8과 같은 특징 벡터의 형태를 가질 수 있다.
도 8은 일실시예에 따른 입력 영상으로부터 특징을 추출하는 방법에 따라 추출한 특징의 표현 형태를 나타낸 도면이다.
도 8을 참조하면, 하나의 셀마다에 대하여 특징 벡터들이 추출되어 그래프 형태로 나타난 도면이 도시된다.
일실시예에 따른 추출 장치는 특징을 추출하는 대상 영역(블록들)에서 일정 순서에 따라 추출된 특징 벡터들을 이용하여 사용자를 인식 또는 인증할 수 있다.
도 9는 다른 실시예에 따른 입력 영상으로부터 특징을 추출하는 방법을 나타낸 플로우 차트이다.
도 9를 참조하면, 다른 실시예에 따른 추출 장치는, 입력 영상으로부터 얼굴 영역을 검출하고(910), 검출된 얼굴 영역에서 랜드마크들(landmarks) 간의 물리적 특성(physical characteristics)을 검출한다(920). 여기서, 물리적 특성은 랜드마크들 중 미리 정해진 제1 랜드마크를 중심으로, 제1 랜드마크와 제1 랜드마크를 제외한 나머지 랜드마크들 간의 각도를 포함할 수 있다.
추출 장치는 랜드마크들 중 제1 랜드마크를 중심으로, 제1 랜드마크와 적어도 하나의 제2 랜드마크 간의 각도 및 제1 랜드마크와 적어도 하나의 제3 랜드마크 간의 각도를 산출할 수 있다. 제1 랜드마크는 얼굴 영상에서 코의 중심 영역에 위치할 수 있다.
추출 장치는 단계(920)에서 검출된 물리적 특성에 기초하여, 특징 추출 스킴(scheme)을 도입(introduce)한다(930). 이때, 특징 추출 스킴은 얼굴 영역에서 특징(feature)을 추출하는 대상 영역 및 대상 영역에서 특징을 추출하는 순서를 포함할 수 있다.
단계(930)에서, 추출 장치는 산출된 각도가 미리 설정된 범위 내인지 여부를 판단하고, 판단 결과에 따라, 각도가 산출된 랜드마크의 위치 별로, 제1 스킴 및 제2 스킴 중 어느 하나의 특징 추출 스킴을 결정할 수 있다.
제1 스킴은 얼굴 영역의 일정 영역을 대상으로 제1 순서에 따라 상기 특징을 추출하는 스킴이고, 제2 스킴은 일정 영역에 대응되는 영역을 대상으로 제2 순서에 따라 특징을 추출하는 스킴일 수 있다.
예를 들어, 산출된 각도들이 미리 설정된 범위 내인 경우, 추출 장치는 제1 스킴에 따라 각도가 산출된 랜드마크의 위치를 포함하는 일정 영역에 포함된 복수 개의 셀들에 대하여 제1 순서로 특징을 추출할 수 있다.
산출된 각도들이 미리 설정된 범위를 벗어나는 경우, 추출 장치는 제2 스킴에 따라 각도가 산출된 랜드마크의 위치를 포함하는 일정 영역에 대응되는 영역에 포함된 복수 개의 셀들에 대하여 제2 순서로 특징을 추출할 수 있다.
추출 장치는 단계(930)에서 도입된 스킴에 따라 특징을 추출한다(940).
도 10은 또다른 실시예에 따른 입력 영상으로부터 특징을 추출하는 방법을 나타낸 플로우 차트이다.
도 10을 참조하면, 또다른 실시예에 따른 추출 장치는 입력 영상으로부터 얼굴 영역을 검출한다(1010).
추출 장치는 검출된 얼굴 영역에서 랜드마크들(landmarks) 간의 상대 각도(relative angle)(θ1, θ2, θ3, θ4)를 산출한다(1020). 여기서, 상대적인 각도는 랜드마크들 중 미리 정해진 제1 랜드마크를 중심으로, 제1 랜드마크와 제1 랜드마크를 제외한 나머지 랜드마크들 간의 각도를 의미하는 것으로 이해할 수 있다.
추출 장치는 단계(1020)에서 산출된 상대 각도가 미리 설정된 범위 내(TL≤ θi ≤TH)인지 여부를 판단한다(1030).
단계(1030)의 판단 결과, 산출된 상대 각도들이 미리 설정된 범위 내이면, 추출 장치는 제1 스킴에 따라 해당 상대 각도가 산출된 랜드마크의 위치를 포함하는 일정 영역에서 특징을 추출하는 순서의 변화 없이 대상 영역에서 특징을 추출한다(1040).
단계(1030)의 판단 결과, 산출된 상대 각도들이 미리 설정된 범위를 벗어나면, 추출 장치는 제2 스킴에 따라 해당 상대 각도가 산출된 랜드마크의 위치를 포함하는 일정 영역에 대응되는 영역에서 특징을 추출하는 순서를 변경하여 특징을 추출한다(1050).
도 11은 일실시예에 따른 얼굴 인식 방법을 나타낸 플로우차트이다.
도 11을 참조하면, 일실시예에 따른 추출 장치는 입력 영상을 수신할 수 있다(1110).
추출 장치는 단계(1110)에서 수신된 입력 영상으로부터 얼굴 영역을 검출할 수 있다(1120).
추출 장치는 단계(1120)에서 검출된 얼굴 영역에서 랜드마크를 검출할 수 있다(1130).
추출 장치는 입력 영상을 정규화할 수 있다(1140).
추출 장치는 단계(1140)에서 정규화된 영상에서 검출된 랜드마크들을 기반으로 랜드마크들(landmarks) 간의 물리적 특성(physical characteristics)을 검출할 수 있다(1150). 이때, 물리적 특성은 랜드마크들 중 미리 정해진 제1 랜드마크를 중심으로, 상기 제1 랜드마크와 상기 제1 랜드마크를 제외한 나머지 랜드마크들 간의 각도를 포함할 수 있다.
단계(1150)에서 추출 장치는 랜드마크들 중 제1 랜드마크를 중심으로, 제1 랜드마크와 적어도 하나의 제2 랜드마크 간의 각도 및 제1 랜드마크와 적어도 하나의 제3 랜드마크 간의 각도를 산출할 수 있다.
추출 장치는 단계(1150)에서 검출한 물리적 특성에 기초하여, 대상 영역 및 대상 영역에서 특징을 추출하는 순서를 포함하는 특징 추출 스킴(scheme)을 도입(introduce)할 수 있다(1160). 단계(1160)에서, 추출 장치는 산출된 각도가 미리 설정된 범위 내인지 여부를 판단하고, 판단 결과에 따라, 특징 추출 스킴을 결정할 수 있다.
추출 장치는 특징 추출 스킴을 결정하는 방법은 다음과 같다.
추출 장치는 판단 결과에 따라, 각도가 산출된 랜드마크의 위치 별로, 입력 영상의 일정 영역을 대상으로 제1 순서에 따라 상기 특징을 추출하는 제1 스킴 및 일정 영역에 대응되는 영역을 대상으로 제2 순서에 따라 특징을 추출하는 제2 스킴 중 어느 하나의 특징 추출 스킴을 결정할 수 있다.
추출 장치는 단계(1160)에서 도입된 특징 추출 스킴에 따라, 특징을 추출할 수 있다(1170).
추출 장치는 단계(1170)에서 추출된 특징을 기반으로 얼굴 매칭(Face Matching)을 수행할 수 있다(1180).
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
410: 입력 영상
430: 랜드마크들 간의 각도들이 표시된 영상

Claims (20)

  1. 입력 영상에서 랜드마크들을 검출하는 단계;
    상기 검출된 랜드마크들을 기반으로, 랜드마크들(landmarks) 간의 각도를 검출하는 단계;
    상기 각도에 기초하여, 상기 입력 영상에서 특징(feature)을 추출하는 대상 영역을 결정하고, 상기 대상 영역에서 상기 특징을 추출하는 제1 순서 및 상기 제1 순서와 반대되는 추출 방향을 갖는 제2 순서를 포함하는 특징 추출 스킴(scheme)을 도입(introduce)하는 단계; 및
    상기 특징 추출 스킴에 따라, 상기 각도가 미리 설정된 범위 내인 경우에는 상기 제1 순서로 상기 특징을 추출하고, 상기 각도가 상기 미리 설정된 범위를 벗어나는 경우에는 상기 제2 순서에 따라 상기 특징을 추출하는 단계
    를 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  2. 제1항에 있어서,
    상기 각도는
    상기 랜드마크들 중 미리 정해진 제1 랜드마크를 중심으로, 상기 제1 랜드마크와 상기 제1 랜드마크를 제외한 나머지 랜드마크들 간의 각도를 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  3. 제2항에 있어서,
    상기 입력 영상은
    얼굴 영상이고,
    상기 제1 랜드마크는
    상기 얼굴 영상에서 코의 중심 영역에 위치하는, 입력 영상으로부터 특징을 추출하는 방법.
  4. 제1항에 있어서,
    상기 랜드마크들 간의 각도를 검출하는 단계는,
    상기 랜드마크들 중 제1 랜드마크를 중심으로, 상기 제1 랜드마크와 적어도 하나의 제2 랜드마크 간의 각도 및 상기 제1 랜드마크와 적어도 하나의 제3 랜드마크 간의 각도를 산출하는 단계
    를 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  5. 제4항에 있어서,
    상기 특징 추출 스킴을 도입하는 단계는
    상기 산출된 각도가 미리 설정된 범위 내인지 여부를 판단하는 단계; 및
    상기 판단 결과에 따라, 상기 특징 추출 스킴을 결정하는 단계
    를 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  6. 제5항에 있어서,
    상기 특징 추출 스킴을 결정하는 단계는,
    상기 판단 결과에 따라, 상기 각도가 산출된 랜드마크의 위치 별로, 상기 입력 영상의 일정 영역을 대상으로 상기 제1 순서에 따라 상기 특징을 추출하는 제1 스킴 및 상기 일정 영역에 대응되는 영역을 대상으로 상기 제2 순서에 따라 상기 특징을 추출하는 제2 스킴 중 어느 하나의 특징 추출 스킴을 결정하는 단계
    를 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  7. 제6항에 있어서,
    상기 특징 추출 스킴을 결정하는 단계는,
    상기 산출된 각도가 미리 설정된 범위 내인 경우, 상기 제1 스킴에 따라 상기 각도가 산출된 랜드마크의 위치를 포함하는 상기 일정 영역에 포함된 복수 개의 셀들에 대하여 상기 제1 순서로 상기 특징을 추출하는 단계
    를 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  8. 제6항에 있어서,
    상기 특징 추출 스킴을 결정하는 단계는,
    상기 산출된 각도가 미리 설정된 범위를 벗어나는 경우, 상기 제2 스킴에 따라 상기 각도가 산출된 랜드마크의 위치를 포함하는 상기 일정 영역에 대응되는 영역에 포함된 복수 개의 셀들에 대하여 상기 제2 순서로 상기 특징을 추출하는 단계
    를 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  9. 입력 영상으로부터 얼굴 영역을 검출하는 단계;
    상기 얼굴 영역에서 산출된 랜드마크들 간의 각도들에 기초하여 사용자의 포즈를 예측(estimate)하는 단계;
    상기 예측된 사용자의 포즈에 따라, 상기 얼굴 영역에서 특징을 추출하는 대상 영역 및 상기 대상 영역에서 특징을 추출하는 순서를 결정하는 단계; 및
    상기 대상 영역에서 상기 결정된 순서에 따라 상기 특징을 추출하는 단계
    를 포함하고,
    상기 사용자의 포즈를 예측하는 단계는,
    상기 산출된 랜드마크들 간의 각도가 미리 설정된 범위 내에 있는지 여부를 기초로, 상기 사용자의 포즈를 제1 형태 또는 제2 형태로 예측하는 단계
    를 포함하고,
    상기 결정하는 단계는,
    상기 사용자의 포즈가 상기 제1 형태로 예측된 경우, 상기 각도가 산출된 랜드마크의 위치를 포함하는 얼굴 영역의 일정 영역에 대하여 제1 순서로 상기 특징을 추출하는 단계; 및
    상기 사용자의 포즈가 상기 제2 형태로 예측된 경우, 일정 영역에 대응되는 영역에 대하여 상기 제1 순서와 반대되는 추출 방향을 갖는 제2 순서로 상기 특징을 추출하는 단계
    를 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  10. 제9항에 있어서,
    상기 얼굴 영역에서 미리 정해진 제1 랜드마크를 중심으로, 상기 랜드마크들 간의 각도를 산출하는 단계
    를 더 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  11. 제9항에 있어서,
    상기 사용자의 포즈를 예측하는 단계는,
    상기 산출된 랜드마크들 간의 각도가 미리 설정된 범위 내에 있는지 여부에 기초하여 상기 사용자의 포즈를 예측하는 단계
    를 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  12. 제10항에 있어서,
    상기 사용자의 포즈를 예측하는 단계는,
    상기 랜드마크들 중 상기 제1 랜드마크와 적어도 하나의 제2 랜드마크 간의 각도 및 상기 제1 랜드마크와 적어도 하나의 제3 랜드마크 간의 각도가 상기 미리 설정된 범위 내에 있는지 여부를 판단하는 단계; 및
    상기 판단 결과에 기초하여 상기 사용자의 포즈를 예측하는 단계
    포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  13. 제9항에 있어서,
    상기 사용자의 포즈를 예측하는 단계는,
    상기 산출된 랜드마크들 간의 각도가 미리 설정된 범위 내에 있는 경우, 상기 사용자의 포즈를 상기 제1 형태로 예측하는 단계
    를 포함하고,
    상기 결정하는 단계는,
    상기 사용자의 포즈가 상기 제1 형태로 예측된 경우, 상기 각도가 산출된 랜드마크의 위치를 포함하는 얼굴 영역의 일정 영역에 블록 - 상기 블록은 복수 개의 셀들을 포함함 - 을 설정하는 단계; 및
    상기 블록에 포함된 복수 개의 셀들에 대하여 상기 제1 순서로 상기 특징을 추출하는 단계
    를 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  14. 제9항에 있어서,
    상기 사용자의 포즈를 예측하는 단계는,
    상기 산출된 랜드마크들 간의 각도가 미리 설정된 범위를 벗어나는 경우, 상기 사용자의 포즈를 상기 제2 형태로 예측하는 단계
    를 포함하고,
    상기 결정하는 단계는,
    상기 사용자의 포즈가 상기 제2 형태로 예측된 경우, 상기 각도가 산출된 랜드마크의 위치를 포함하는 얼굴 영역의 일정 영역에 대응되는 영역에 블록- 상기 블록은 복수 개의 셀들을 포함함-을 설정하는 단계; 및
    상기 블록에 포함된 복수 개의 셀들에 대하여 상기 제2 순서로 상기 특징을 추출하는 단계
    를 포함하는, 입력 영상으로부터 특징을 추출하는 방법.
  15. 제1항 내지 제14항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  16. 입력 영상을 수신하는 단계;
    수신된 입력 영상으로부터 얼굴 영역을 검출하는 단계;
    검출된 얼굴 영역에서 랜드마크를 검출하는 단계;
    입력 영상을 정규화하는 단계;
    정규화된 입력 영상에서 상기 검출된 랜드마크들을 기반으로 랜드마크들(landmarks) 간의 각도(physical characteristics)을 검출하는 단계;
    상기 각도에 기초하여, 상기 정규화된 입력 영상에서 특징(feature)을 추출하는 대상 영역을 결정하고, 상기 대상 영역에서 상기 특징을 추출하는 제1 순서 및 상기 제1 순서와 반대되는 추출 방향을 갖는 제2 순서를 포함하는 특징 추출 스킴(scheme)을 도입(introduce)하는 단계;
    상기 특징 추출 스킴에 따라, 상기 각도가 미리 설정된 범위 내인 경우에는 상기 제1 순서로 상기 특징을 추출하고, 상기 각도가 상기 미리 설정된 범위를 벗어나는 경우에는 상기 제2 순서에 따라 상기 특징을 추출하는 단계; 및
    상기 추출된 특징을 기반으로 얼굴 매칭(Face Matching)을 수행하는 단계
    를 포함하는, 얼굴을 인식하는 방법.
  17. 제16항에 있어서,
    상기 각도는
    상기 랜드마크들 중 미리 정해진 제1 랜드마크를 중심으로, 상기 제1 랜드마크와 상기 제1 랜드마크를 제외한 나머지 랜드마크들 간의 각도를 포함하는, 얼굴을 인식하는 방법.
  18. 제16항에 있어서,
    상기 랜드마크들 간의 각도를 검출하는 단계는,
    상기 랜드마크들 중 제1 랜드마크를 중심으로, 상기 제1 랜드마크와 적어도 하나의 제2 랜드마크 간의 각도 및 상기 제1 랜드마크와 적어도 하나의 제3 랜드마크 간의 각도를 산출하는 단계
    를 포함하는, 얼굴을 인식하는 방법.
  19. 제18항에 있어서,
    상기 특징 추출 스킴을 도입하는 단계는
    상기 산출된 각도가 미리 설정된 범위 내인지 여부를 판단하는 단계; 및
    상기 판단 결과에 따라, 상기 특징 추출 스킴을 결정하는 단계
    를 포함하는, 얼굴을 인식하는 방법.
  20. 제19항에 있어서,
    상기 특징 추출 스킴을 결정하는 단계는,
    상기 판단 결과에 따라, 상기 각도가 산출된 랜드마크의 위치 별로, 상기 입력 영상의 일정 영역을 대상으로 제1 순서에 따라 상기 특징을 추출하는 제1 스킴 및 상기 일정 영역에 대응되는 영역을 대상으로 제2 순서에 따라 상기 특징을 추출하는 제2 스킴 중 어느 하나의 특징 추출 스킴을 결정하는 단계
    를 포함하는, 얼굴을 인식하는 방법.
KR1020140124161A 2014-09-18 2014-09-18 입력 영상으로부터 특징을 추출하는 방법 및 장치 KR102205498B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140124161A KR102205498B1 (ko) 2014-09-18 2014-09-18 입력 영상으로부터 특징을 추출하는 방법 및 장치
US14/816,149 US10210379B2 (en) 2014-09-18 2015-08-03 Method and apparatus for extracting feature from input image
US16/234,720 US10817704B2 (en) 2014-09-18 2018-12-28 Method and apparatus for extracting feature from input image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140124161A KR102205498B1 (ko) 2014-09-18 2014-09-18 입력 영상으로부터 특징을 추출하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160033404A KR20160033404A (ko) 2016-03-28
KR102205498B1 true KR102205498B1 (ko) 2021-01-20

Family

ID=55526025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140124161A KR102205498B1 (ko) 2014-09-18 2014-09-18 입력 영상으로부터 특징을 추출하는 방법 및 장치

Country Status (2)

Country Link
US (2) US10210379B2 (ko)
KR (1) KR102205498B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102487223B1 (ko) * 2016-07-29 2023-01-12 백석대학교산학협력단 눈동자 추적 기반의 하르유사특징을 이용한 얼굴인증 방법
US10198626B2 (en) * 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
KR101966384B1 (ko) * 2017-06-29 2019-08-13 라인 가부시키가이샤 영상 처리 방법 및 시스템
KR102238036B1 (ko) * 2019-04-01 2021-04-08 라인 가부시키가이샤 영상 처리 방법 및 시스템
JP2022522551A (ja) * 2020-02-03 2022-04-20 ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 画像処理方法及び装置、電子機器並びに記憶媒体
CN111310616B (zh) * 2020-02-03 2023-11-28 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11961331B1 (en) * 2021-08-30 2024-04-16 Amazon Technologies, Inc. Systems for improving pose determination based on video data
CN115578762A (zh) * 2022-09-07 2023-01-06 浙江大华技术股份有限公司 侧脸矫正的方法、矫正装置及计算机可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144755A (en) 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
JP2001043374A (ja) 1999-07-29 2001-02-16 Yis Corporation Co Ltd 作動許否判定装置
KR100621595B1 (ko) 2004-07-24 2006-09-14 삼성전자주식회사 다양한 포즈를 갖는 얼굴 영상을 인식하는 방법
KR100608595B1 (ko) 2004-11-16 2006-08-03 삼성전자주식회사 얼굴 인식 방법 및 장치
KR100714724B1 (ko) 2005-08-17 2007-05-07 삼성전자주식회사 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템
KR100855631B1 (ko) * 2006-12-26 2008-09-01 (주)엔토시스 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법
KR20080079798A (ko) 2007-02-28 2008-09-02 (주)코아정보시스템 얼굴 검출 및 인식을 위한 방법
JP4999570B2 (ja) * 2007-06-18 2012-08-15 キヤノン株式会社 表情認識装置及び方法、並びに撮像装置
KR20110023407A (ko) 2009-08-31 2011-03-08 한국산업기술대학교산학협력단 얼굴 변화에 강인한 얼굴 인식 방법
KR101184097B1 (ko) 2009-12-07 2012-09-18 삼성전자주식회사 얼굴 정면포즈 판단 방법
KR101733246B1 (ko) * 2010-11-10 2017-05-08 삼성전자주식회사 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법
US9323980B2 (en) 2011-05-13 2016-04-26 Microsoft Technology Licensing, Llc Pose-robust recognition
KR101222100B1 (ko) 2011-06-28 2013-01-15 고려대학교 산학협력단 정면 얼굴 검출 장치
KR101875891B1 (ko) 2011-12-08 2018-07-09 에스케이텔레콤 주식회사 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법

Also Published As

Publication number Publication date
US10210379B2 (en) 2019-02-19
US20190138792A1 (en) 2019-05-09
US20160086016A1 (en) 2016-03-24
US10817704B2 (en) 2020-10-27
KR20160033404A (ko) 2016-03-28

Similar Documents

Publication Publication Date Title
KR102205498B1 (ko) 입력 영상으로부터 특징을 추출하는 방법 및 장치
KR102077260B1 (ko) 확룔 모델에 기반한 신뢰도를 이용하여 얼굴을 인식하는 방법 및 장치
KR102324468B1 (ko) 얼굴 인증을 위한 장치 및 방법
US11107225B2 (en) Object recognition device and computer readable storage medium
KR102370063B1 (ko) 얼굴 인증 방법 및 장치
US11200405B2 (en) Facial verification method and apparatus based on three-dimensional (3D) image
US9971941B2 (en) Person counting method and device for same
US8515124B2 (en) Method and apparatus for determining fake image
US9208375B2 (en) Face recognition mechanism
US9213886B2 (en) Method and device for notification of facial recognition environment, and computer-readable recording medium for executing method
US10019624B2 (en) Face recognition system and face recognition method
US20150161435A1 (en) Frontal face detection apparatus and method using facial pose
US10733279B2 (en) Multiple-tiered facial recognition
KR102476897B1 (ko) 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치
EP3550467A1 (en) Image matching method, device and system, and storage medium
KR20150087959A (ko) 사용자 인증 방법 및 장치
JP2019053674A (ja) 照合システム
EP2998928A1 (en) Apparatus and method for extracting high watermark image from continuously photographed images
KR101070442B1 (ko) 다중 레벨 얼굴 인식을 이용한 얼굴 인증 시스템 및 인증 방법
US20140168059A1 (en) Method and system for recognizing gesture
KR101414158B1 (ko) 얼굴 인식 장치 및 방법
JP7327923B2 (ja) 情報処理装置、情報処理方法、システムおよびプログラム
KR100898766B1 (ko) 얼굴 인식 장치, 얼굴 인식 등록 및 인증 방법
KR101306576B1 (ko) 차분 성분을 고려한 조명 변화에 강인한 얼굴 인식 시스템
KR101802061B1 (ko) 얼굴 시공간 특징에 기반한 자동 생체 인증 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant