KR102214918B1 - 얼굴 인식 방법 및 장치 - Google Patents

얼굴 인식 방법 및 장치 Download PDF

Info

Publication number
KR102214918B1
KR102214918B1 KR1020140142629A KR20140142629A KR102214918B1 KR 102214918 B1 KR102214918 B1 KR 102214918B1 KR 1020140142629 A KR1020140142629 A KR 1020140142629A KR 20140142629 A KR20140142629 A KR 20140142629A KR 102214918 B1 KR102214918 B1 KR 102214918B1
Authority
KR
South Korea
Prior art keywords
image
region
interest
face
makeup pattern
Prior art date
Application number
KR1020140142629A
Other languages
English (en)
Other versions
KR20160046560A (ko
Inventor
한승주
서성주
김정배
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140142629A priority Critical patent/KR102214918B1/ko
Priority to US14/816,450 priority patent/US10248845B2/en
Publication of KR20160046560A publication Critical patent/KR20160046560A/ko
Application granted granted Critical
Publication of KR102214918B1 publication Critical patent/KR102214918B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

얼굴 인식 방법 및 장치가 개시된다. 개시된 얼굴 인식 방법은 제1 영상의 관심 영역에 적용된 제1 화장 패턴을 식별하고, 제1 화장 패턴을 상기 제1 영상의 관심 영역에 대응하는 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하고, 제3 영상 및 상기 제1 영상을 비교하여, 얼굴을 인식할 수 있다.

Description

얼굴 인식 방법 및 장치{METHOD AND APPARATUS FOR FACE RECOGNITION}
아래 실시예들은 얼굴 인식 방법 및 장치에 관한 것이다.
생체 인식 기술 중 하나인 얼굴 인식 기술은, 지문 인식, 홍채 인식 등 사용자의 특별한 동작이나 행위를 요구하는 인식 기술과 다르게, 대상자를 비접촉식으로 확인할 수 있는 장점 때문에 편리하고 경쟁력 있는 생체 인식 기술로 평가 받고 있다. 최근에는, 편리함과 효율성 때문에 얼굴 인식 기술이 보안 시스템, 모바일 인증, 멀티미디어 데이터 검색 등의 다양한 응용 분야에 활발하게 적용되고 있다.
그러나, 얼굴 인식 기술은 기본적으로 영상을 기반으로 수행되기에, 동일 인물의 얼굴을 인식하더라도 화장 전후, 다양한 화장 방법 등의 변화에 민감하다는 특성이 있다. 얼굴 인식 기술의 성능을 개선시키기 위해서는 이와 같은 변화에 강인한 얼굴 인식 기술이 개발될 필요가 있다.
일실시예에 따른 얼굴 인식 방법은 제1 영상의 관심 영역에 적용된 제1 화장 패턴을 식별하는 단계; 상기 제1 화장 패턴을 상기 제1 영상의 관심 영역에 대응하는 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는 단계; 및 상기 제3 영상 및 상기 제1 영상을 비교하여, 얼굴을 인식하는 단계를 포함할 수 있다.
일실시예에 따른 얼굴 인식 방법에서 상기 제1 화장 패턴을 식별하는 단계는, 상기 제1 영상의 관심 영역을 식별하고, 상기 식별된 관심 영역에 대응하는 복수의 화장 패턴들 중에서 제1 화장 패턴을 식별할 수 있다.
일실시예에 따른 얼굴 인식 방법에서 상기 제1 화장 패턴을 식별하는 단계는, 상기 제1 영상의 관심 영역의 색조(color tone), 평활도(smoothness), 텍스처, 하이라이트 중 적어도 하나에 기초하여, 제1 화장 패턴을 식별할 수 있다.
일실시예에 따른 얼굴 인식 방법에서 상기 제1 영상의 관심 영역은, 상기 제1 영상에 포함된 얼굴의 눈, 코, 입, 눈썹, 헤어, 볼, 턱 중 어느 하나에 대응할 수 있다.
일실시예에 따른 얼굴 인식 방법은 상기 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는지 여부를 확인하는 단계를 더 포함하고, 상기 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는 단계는, 상기 확인된 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는지 여부에 기초하여, 상기 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성할지 여부를 결정할 수 있다.
일실시예에 따른 얼굴 인식 방법에서 상기 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는 단계는, 상기 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있지 않는 경우, 상기 제1 화장 패턴을 상기 제2 영상의 관심 영역에 적용하여 제3 영상을 생성할 수 있다.
일실시예에 따른 얼굴 인식 방법에서 상기 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는 단계는, 상기 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는 경우, 상기 제1 화장 패턴을 상기 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하거나 또는 상기 제2 화장 패턴을 상기 제1 영상의 관심 영역에 적용하여 제4 영상을 생성하고, 상기 얼굴을 인식하는 단계는, 상기 제1 영상 및 제3 영상을 비교하거나 또는 상기 제2 영상 및 제4 영상을 비교하여, 상기 얼굴을 인식할 수 있다.
일실시예에 따른 얼굴 인식 방법에서 상기 얼굴을 인식하는 단계는, 상기 제1 영상의 관심 영역에서 추출된 제1 특징과 상기 제3 영상의 관심 영역에서 추출된 제2 특징을 매칭함으로써 상기 얼굴을 인식할 수 있다.
일실시예에 따른 얼굴 인식 방법에서 상기 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는 단계는, 복수의 후보 패턴들이 저장된 데이터베이스에 상기 제1 화장 패턴과 동일 또는 유사한 후보 패턴이 저장되어 있는 경우, 상기 제1 화장 패턴과 동일 또는 유사한 후보 패턴을 상기 제2 영상의 관심 영역에 적용하여 제3 영상을 생성할 수 있다.
일실시예에 따른 얼굴 인식 방법에서 상기 복수의 후보 패턴은, 상기 데이터베이스에 사용자 별로 분류되어 저장될 수 있다.
일실시예에 따른 얼굴 인식 방법에서 상기 제1 영상은, 제1 화장 패턴이 적용된 관심 영역을 포함하는 영상이고, 상기 제2 영상은, 제1 화장 패턴이 적용되어 있지 않은 관심 영역을 포함하는 영상일 수 있다.
일실시예에 따른 얼굴 인식 방법에서 상기 제1 영상 및 제2 영상은, 서로 다른 화장 패턴이 적용된 관심 영역을 각각 포함하는 영상일 수 있다.
일실시예에 따른 얼굴 인식 장치는 제1 영상의 관심 영역에 적용된 제1 화장 패턴을 식별하는 화장 패턴 식별부; 상기 제1 화장 패턴을 상기 제1 영상의 관심 영역에 대응하는 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는 화장 패턴 적용부; 및 상기 제3 영상 및 상기 제1 영상을 비교하여, 얼굴을 인식하는 얼굴 인식부를 포함할 수 있다.
도 1은 일실시예에 따른 얼굴 인식 장치의 전체적인 동작을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 얼굴 인식 시스템에서 얼굴을 인식하는 예시를 나타낸 도면이다.
도 3은 다른 일실시예에 따른 얼굴 인식 시스템의 전체적인 동작을 설명하기 위한 도면이다.
도 4는 일실시예에 따라 데이터베이스에 저장된 복수의 후보 패턴의 예시를 나타낸 도면이다.
도 5는 일실시예에 따라 관심 영역에 화장 패턴을 적용하는 과정을 설명하기 위한 도면이다.
도 6은 일실시예에 따라 제1 영상 및 제2 영상에서 서로 다른 관심 영역에 화장 패턴이 각각 적용된 경우에 얼굴을 인식하는 예시적인 과정을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 얼굴 인식 방법을 나타낸 도면이다.
도 8은 일실시예에 따른 얼굴 인식 장치의 세부 구성을 나타낸 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.
도 1은 일실시예에 따른 얼굴 인식 장치의 전체적인 동작을 설명하기 위한 도면이다.
얼굴 인식 장치(100)는 입력 영상(110) 및 등록 영상(111)을 이용하여 사용자의 얼굴을 인식한다. 예를 들어, 얼굴 인식 장치(100)는 감시/보안 시스템, 모바일 인증 또는 멀티미디어 데이터 검색 등의 다양한 어플리케이션 영역에서 활용될 수 있다.
도 1에 도시된 입력 영상(110)은 인식하고자 하는 사용자의 얼굴 영역을 포함하는 영상으로서, 화장 패턴이 적용된 관심 영역을 포함하고, 등록 영상(111)은 미리 등록된 사용자의 얼굴 영역을 포함하는 영상으로서, 화장 패턴이 적용되지 않은 관심 영역을 포함하고 있는 것을 가정한다.
얼굴 인식 장치(100)는 입력 영상(110) 및 등록 영상(111) 각각에서 얼굴 영역을 검출할 수 있다(120, 121). 예를 들어, 얼굴 인식 장치(100)는 관련 기술 분야에서 일반적으로 이용되는 Haarlike 기반 Adaboost 분류기를 이용하여 입력 영상 및 등록 영상에서 얼굴 영역을 검출할 수 있다.
그리고, 얼굴 인식 장치(100)는 검출된 얼굴로부터 랜드마크(landmark)를 위치추정(localization)할 수 있다(130, 131). 예를 들어, 랜드마크는 검출된 얼굴 영역로부터 얼굴의 특징을 파악할 수 있는 주요 포인트를 나타낼 수 있다.
얼굴 인식 장치(100)는 랜드마크를 이용하여 검출된 얼굴 영역을 정규화(normalization)할 수 있다(140, 141). 예를 들어, 검출된 얼굴 영역에서 얼굴의 포즈(pose)가 정면이 아닌 다른 방향을 바라보는 포즈인 경우, 얼굴 인식 장치(100)는 얼굴이 정면을 바라보도록 얼굴 영역을 정규화할 수 있다. 또한, 검출된 얼굴 영역의 크기가 미리 정한 요건보다 작아 얼굴 인식할 수 없는 경우, 얼굴 인식 장치(100)는 검출된 얼굴 영역의 크기를 미리 정한 크기로 조정되도록 얼굴 영역을 정규화할 수 있다. 다만, 검출된 얼굴 영역에서 얼굴의 포즈, 검출된 얼굴 영역의 크기, 화소, 밝기, 및 해상도 등이 미리 정한 요건을 충족하는 경우, 얼굴 인식 장치(100)는 정규화 과정을 생략할 수 있다.
얼굴 인식 장치(100)는 입력 영상(110) 및 등록 영상(111) 각각에서 관심 영역(ROI, Region of Interest)을 식별할 수 있다(150, 151). 관심 영역은 얼굴의 눈, 코, 입, 눈썹, 헤어, 볼, 턱 중 어느 하나에 대응하는 영역일 수 있다.
얼굴 인식 장치(100)는 입력 영상(110)의 관심 영역에 적용된 화장 패턴을 식별할 수 있다(160). 예를 들어, 얼굴 인식 장치(100)는 입력 영상(110)의 관심 영역의 색조(color tone), 평활도(smoothness), 텍스처(texture), 하이라이트(highlight) 중 적어도 하나에 기초하여 화장 패턴을 식별할 수 있다. 색조는 관심 영역의 명도와 채도를 고려하는 지표를 나타낼 수 있다. 평활도는 관심 영역의 표면의 매끄러운 정도를 나타내는 지표일 수 있다. 텍스처는 관심 영역의 질감을 나타내는 지표일 수 있다. 하이라이트는 관심 영역이 주변 영역에 비해서 어느 정도로 강조되었는지를 나타내는 지표일 수 있다.
얼굴 인식 장치(100)는 입력 영상(110)의 관심 영역에 적용된 화장 패턴을 등록 영상(111)의 관심 영역에 적용할 수 있다(161). 얼굴 인식 장치(100)에 의해 화장 패턴이 적용되는 등록 영상(111)의 관심 영역은 입력 영상(110)의 관심 영역에 대응될 수 있다. 예를 들어, 입력 영상(110)의 관심 영역이 눈에 대응하는 경우, 화장 패턴이 적용되는 등록 영상(111)의 관심 영역은 등록 영상(111)의 얼굴에서 눈에 대응하는 영역일 수 있다.
얼굴 인식 장치(100)는 입력 영상(110)의 관심 영역에 적용된 화장 패턴을 직접 등록 영상(111)의 관심 영역에 적용하지 않고, 데이터베이스에 저장된 복수의 후보 패턴들 중에서 화장 패턴에 동일 또는 유사한 후보 패턴을 등록 영상(111)의 관심 영역에 적용할 수 있다. 예를 들어, 화장 패턴과 후보 패턴 간의 유사도를 판단하여 유사도가 미리 설정된 임계값보다 높은 경우, 얼굴 인식 장치(100)는 후보 패턴을 등록 영상(111)의 관심 영역에 적용할 수 있다. 후보 패턴은 등록 영상(111)에 대응하는 미리 등록된 사용자에 개인화된 패턴일 수 있다.
그리고, 얼굴 인식 장치(100)는 입력 영상(110)의 관심 영역과 등록 영상(111)의 관심 영역에서 특징을 추출할 수 있다(170, 171). 예를 들어, 얼굴 인식 장치(100)는 화장 패턴이 적용된 입력 영상(110)의 관심 영역 및 등록 영상(111)의 관심 영역뿐만 아니라, 화장 패턴이 적용되어 있지 않은 입력 영상(110)의 다른 관심 영역 및 등록 영상(111)의 다른 관심 영역에서 특징을 추출할 수 있다. 얼굴 인식 장치(100)는 관련 기술 분야에서 일반적으로 이용되는 특징 추출 방법을 이용하여 입력 영상 및 등록 영상 각각의 관심 영역에서 특징들을 추출할 수 있다
얼굴 인식 장치(100)는 추출된 특징을 매칭하여, 입력 영상(110)으로부터 사용자의 얼굴을 인식할 수 있다(180, 190). 예를 들어, 얼굴 인식 장치(100)는 입력 영상(110)으로부터 얼굴을 인식하여, 사용자가 미리 등록된 사용자에 해당됨을 인증할 수 있다.
도 2는 일실시예에 따른 얼굴 인식 시스템에서 얼굴을 인식하는 예시를 나타낸 도면이다.
도 2에 도시된 입력 영상(210)은 인식하고자 하는 사용자의 얼굴 영역을 포함하는 영상으로서, 눈에 대응하는 관심 영역에 화장 패턴이 적용된 것을 가정한다. 그리고, 등록 영상(220)은 미리 등록된 사용자의 얼굴 영역을 포함하는 영상으로서, 화장 패턴이 적용된 관심 영역을 포함할 수도 있고, 포함하지 않을 수도 있다.
얼굴 인식 장치는 입력 영상(210) 및 등록 영상(211) 각각에 포함된 얼굴 영역을 검출할 수 있다(220, 221). 얼굴 인식 장치는 검출된 얼굴 영역에서 랜드마크를 위치추정할 수 있다(230, 231). 얼굴 인식 장치는 랜드마크를 이용하여 검출된 얼굴 영역을 정규화할 수 있다(240, 241).
얼굴 인식 장치는 입력 영상(210) 및 등록 영상(211) 각각에서 관심 영역을 식별할 수 있다(250, 251). 예를 들어, 도 2에서 식별된 관심 영역은 눈썹, 눈, 코, 입에 대응하는 영역일 수 있다. 그리고, 얼굴 인식 장치는 관심 영역에 적용된 화장 패턴을 식별할 수 있다.
얼굴 인식 장치는 입력 영상(210)의 관심 영역에서 식별된 화장 패턴을 등록 영상(211)의 관심 영역에 적용할 수 있다(260). 예를 들어, 얼굴 인식 장치는 눈썹에 대응하는 입력 영상(210)의 관심 영역에서 화장 패턴을 식별하고, 식별된 화장 패턴을 눈썹에 대응하는 등록 영상(211)의 관심 영역에 적용할 수 있다(261). 또는, 얼굴 인식 장치는 눈에 대응하는 입력 영상(210)의 관심 영역에서 화장 패턴을 식별하고, 식별된 화장 패턴을 눈에 대응하는 등록 영상(211)의 관심 영역에 적용할 수 있다(262). 또는, 얼굴 인식 장치는 코 및 입 각각에 대응하는 입력 영상(210)의 관심 영역들에서 식별된 화장 패턴들을 식별하고, 식별된 화장 패턴들을 코 및 입 각각에 대응하는 등록 영상(211)의 관심 영역들에 적용할 수 있다(263, 264).
도 2에 도시된 입력 영상(210)에서는 눈에 대응하는 관심 영역에 화장 패턴이 적용되어 있으므로, 얼굴 인식 장치는 등록 영상(211)에서 눈에 대응되는 관심 영역에 화장 패턴을 적용할 수 있다(262).
그리고, 얼굴 인식 장치는 입력 영상(210)의 관심 영역과 등록 영상(211)의 관심 영역을 비교하여, 얼굴을 인식할 수 있다(270). 도 6에서, 얼굴 인식 장치는 화장 패턴이 적용되어 있지 않은 입력 영상(210) 및 등록 영상(211) 각각의 관심 영역들(예를 들어, 눈썹, 코, 입에 대응하는 영역)을 서로 비교하고, 화장 패턴이 적용된 입력 영상(210) 및 등록 영상(211) 각각의 관심 영역들(예를 들어, 눈에 대응하는 영역)을 서로 비교함으로써, 얼굴을 인식할 수 있다. 얼굴 인식 장치는 입력 영상(210)의 관심 영역에서 추출된 제1 특징과 등록 영상(211)의 관심 영역에서 추출된 제2 특징을 매칭함으로써 얼굴을 인식할 수 있다.
도 3은 다른 일실시예에 따른 얼굴 인식 시스템의 전체적인 동작을 설명하기 위한 도면이다.
얼굴 인식 장치(300)는 제1 영상(310) 및 제2 영상(311)을 이용하여 사용자의 얼굴을 인식한다. 예를 들어, 도 3에서 도시된 제1 영상(310)은 인식하고자 하는 사용자의 얼굴 영역을 포함하는 영상이고, 제2 영상(311)은 미리 등록된 사용자의 얼굴 영역을 포함하는 영상을 나타낼 수 있다. 도 3에서는 제1 영상(310)과 제2 영상(311) 각각이 서로 다른 화장 패턴이 적용된 동일한 관심 영역을 포함하는 경우를 가정한다.
얼굴 인식 장치(300)는 제1 영상(310) 및 제2 영상(311) 각각에서 관심 영역을 식별할 수 있다(320, 321). 그리고, 얼굴 인식 장치(300)는 제1 영상(310) 및 제2 영상(311) 각각의 관심 영역에 적용된 화장 패턴을 식별할 수 있다(330). 예를 들어, 얼굴 인식 장치(300)는 제1 영상(310)의 관심 영역에 적용된 제1 화장 패턴을 식별하고, 제2 영상(311)의 관심 영역에 적용된 제2 화장 패턴을 식별할 수 있다. 제1 화장 패턴이 적용된 제1 영상(310)의 관심 영역과 제2 화장 패턴이 적용된 제2 영상(311)의 관심 영역은 서로 대응될 수 있다.
얼굴 인식 장치(300)는 선택적으로 제1 화장 패턴을 제2 영상(311)의 관심 영역에 적용하거나(341) 또는 제2 화장 패턴을 제1 영상(310)의 관심 영역에 적용할 수 있다(340). 예를 들어, 얼굴 인식 장치(300)는 제1 화장 패턴과 제2 화장 패턴의 색조, 평활도, 텍스처, 하이라이트 등을 이용하여, 제1 화장 패턴 또는 제2 화장 패턴 중에서 어느 것을 상대 영상의 관심 영역에 적용할지 여부를 결정할 수 있다. 얼굴 인식 장치(300)는 제1 화장 패턴과 제2 화장 패턴 중에서 하이라이트의 정도가 보다 높은 것을 상대 영상의 관심 영역에 적용할 수 있다.
얼굴 인식 장치(300)는 제1 영상(310)의 관심 영역에서 제1 특징을 추출하고 제2 영상(311)의 관심 영역에서 제2 특징을 추출할 수 있다(350, 351). 그리고, 얼굴 인식 장치(300)는 추출된 제1 특징과 제2 특징을 매칭시킴으로써, 사용자의 얼굴을 인식할 수 있다(360, 370).
도 4는 일실시예에 따라 데이터베이스에 저장된 복수의 후보 패턴의 예시를 나타낸 도면이다.
도 4를 참조하면, 데이터베이스에 저장된 복수의 후보 패턴들을 도시하고 있다. 여기서, 복수의 후보 패턴들은 관심 영역에 따라 분류될 수 있다. 그리고, 복수의 후보 패턴들은 동일한 관심 영역에서도 카테고리에 따라 서로 다르게 분류될 수 있다.
예를 들어, 눈썹에 대응하는 관심 영역은 기본형, 아치형, 높은 아치형, 직선형, 물결형, 각진 아치형, 각진형, 둥근형 등의 후보 패턴들을 포함할 수 있다. 눈에 대응하는 관심 영역은 쉐도우(Shadows), 아이라이너(Eyeliners), 마스카라(Mascara) 등의 카테고리를 포함할 수 있다. 따라서, 눈에 대응하는 관심 영역은 쉐도우, 아이라이너, 마스카라의 카테고리에 따라 서로 다른 복수의 후보 패턴들을 포함할 수 있다.
복수의 후보 패턴들은 미리 등록된 사용자 별로 분류되어 데이터베이스에 저장될 수 있다. 복수의 후보 패턴들을 분류하는 관심 영역과 카테고리는 미리 등록된 사용자에 따라 서로 다른 기준을 가질 수 있다.
다른 일례로, 복수의 후보 패턴들은 데이터베이스에서 표 1과 같은 관심 영역과 카테고리에 의해 분류될 수도 있다.
관심 영역 카테고리
Face Foundation, Concealer, Blush, Contour, Highlight
Eyes Shadows, Eyeliners, Mascara, Brows
Lips Lip colors, Lip gloss, Lip Liner
Skin care Tanning, Roscea, Acne, Brightening, Discoloration
Anti Aging Forehead, Rhinoplasty, Eyebrow, Crows Feet, Cheeks, Frown Lines, Under Eyes, Nasolabial Folds, Lip Augmentation, Under Lips, Smile Correction, Jaw Contour, Facelift
Hair Hairstyles, Fair Color
다만, 도 4 및 표 1는 예시적인 설명에 불과하므로, 데이터베이스에 저장된 복수의 후보 패턴들은 이에 제한되지 않는다.
도 5는 일실시예에 따라 관심 영역에 화장 패턴을 적용하는 과정을 설명하기 위한 도면이다.
도 5에서는 눈에 대응하는 관심 영역(510)이 추출될 수 있다. 이 때, 눈에 대응하는 관심 영역(510)에 대응하는 마스카라 카테고리 및 아이라이너 카테고리에 따른 복수의 후보 패턴들(520~523)이 고려될 수 있다. 예를 들어, 후보 패턴(520)은 제1 마스카라 및 제1 아이라이너가 적용된 패턴을 나타내고, 후보 패턴(521)은 제2 마스카라 및 제1 아이라이너가 적용된 패턴을 나타낼 수 있다. 그리고, 후보 패턴(522)은 제1 마스카라 및 제2 아이라이너가 적용된 패턴을 나타내고, 후보 패턴(523)은 제2 마스카라 및 제2 아이라이너가 적용된 패턴을 나타낼 수 있다.
얼굴 인식 장치는 복수의 후보 패턴들(520~523) 중에서 식별된 화장 패턴과 유사도가 가장 높은 후보 패턴을 선택하여 관심 영역(510)에 적용할 수 있다(530~533).
도 6은 일실시예에 따라 제1 영상 및 제2 영상에서 서로 다른 관심 영역에 화장 패턴이 각각 적용된 경우에 얼굴을 인식하는 예시적인 과정을 설명하기 위한 도면이다.
도 6에서 도시된 제1 영상(610)은 눈에 대응하고 제1 화장 패턴이 적용된 관심 영역(621)을 포함하고, 제2 영상(650)은 입술에 대응하고 제2 화장 패턴이 적용된 관심 영역(661)을 포함하는 것을 가정한다. 그리고, 제1 영상(610)은 인식하고자 하는 사용자의 얼굴 영역을 포함하는 영상을 나타내고, 제2 영상(650)은 미리 등록된 사용자의 얼굴 영역을 포함하는 영상을 나타낼 수 있다.
얼굴 인식 장치는 제1 영상(610)의 눈에 대응하는 관심 영역(621)에서 제1 화장 패턴을 식별하고, 제2 영상(650)의 입술에 대응하는 관심 영역(661)에서 제2 화장 패턴을 식별할 수 있다(620, 660). 얼굴 인식 장치는 제1 영상(610)의 입술에 대응하는 관심 영역과 제2 영상(650)의 눈에 대응하는 관심 영역에 어떠한 화장 패턴도 적용되어 있지 않음을 확인할 수 있다.
얼굴 인식 장치는 제2 영상(650)의 눈에 대응하는 관심 영역에 제1 화장 패턴을 적용(630)하여 제3 영상(670)을 생성하고, 제1 영상(610)의 입술에 대응하는 관심 영역에 제2 화장 패턴을 적용(630)하여 제4 영상(640)을 생성할 수 있다.
얼굴 인식 장치는 제3 영상(670) 및 제4 영상(640)에서 눈에 대응하는 관심 영역(641, 671)을 서로 비교하고 입술에 대응하는 관심 영역(642, 672)을 서로 비교할 수 있다. 예를 들어, 얼굴 인식 장치는 눈에 대응하는 관심 영역(641, 671)에서 특징들을 추출하여 서로 매칭시키고, 입술에 대응하는 관심 영역(642, 672)에서 특징들을 추출하여 서로 매칭시킬 수 있다.
얼굴 인식 장치는 비교 결과 또는 매칭 결과에 기초하여, 얼굴을 인식할 수 있다(680).
도 7은 일실시예에 따른 얼굴 인식 방법을 나타낸 도면이다.
단계(710)에서, 얼굴 인식 장치는 제1 영상의 관심 영역에 적용된 제1 화장 패턴을 식별할 수 있다. 얼굴 인식 장치는 먼저 제1 영상의 관심 영역을 식별하고, 식별된 관심 영역에 대응하는 복수의 화장 패턴들 중에서 제1 화장 패턴을 식별할 수 있다. 예를 들어, 얼굴 인식 장치는 제1 화장 패턴이 적용된 제1 영상의 관심 영역이 입술에 대응하는 관심 영역임을 식별하고, 입술에 적용될 수 있는 복수의 화장 패턴들 중에서 제1 화장 패턴을 식별할 수 있다. 나아가, 얼굴 인식 장치는 제1 영상의 관심 영역의 색조, 평활도, 텍스처, 하이라이트 중 적어도 하나에 기초하여, 제1 화장 패턴을 식별할 수 있다.
여기서, 관심 영역은 제1 영상에 포함된 얼굴의 눈, 코, 입, 눈썹, 헤어, 볼, 턱 중 어느 하나에 대응할 수 있다. 제1 영상은 인식하고자 하는 사용자의 얼굴 영역을 포함하는 영상으로서, 제1 화장 패턴이 포함되어 있는 것을 가정한다.
단계(720)에서, 얼굴 인식 장치는 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는지 여부를 확인할 수 있다. 제2 영상은 미리 등록된 사용자의 얼굴 영역을 포함하는 영상을 나타낼 수 있다.
단계(730)에서, 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있지 않은 경우, 얼굴 인식 장치는 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성할 수 있다. 예를 들어, 복수의 후보 패턴들이 저장된 데이터베이스에 제1 화장 패턴과 동일 또는 유사한 후보 패턴이 저장되어 있는 경우, 얼굴 인식 장치는 제1 화장 패턴과 동일 또는 유사한 후보 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성할 수 있다.
단계(740)에서, 얼굴 인식 장치는 제1 영상 및 제3 영상을 비교하여, 제1 영상으로부터 얼굴을 인식할 수 있다. 예를 들어, 얼굴 인식 장치는 제1 영상의 관심 영역에서 추출된 제1 특징과 제3 영상의 관심 영역에서 추출된 제2 특징을 매칭함으로써 얼굴을 인식할 수 있다.
단계(750)에서, 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는 경우, 얼굴 인식 장치는 제2 화장 패턴을 제1 영상의 관심 영역에 적용하여 제4 영상을 생성할 수 있다. 예를 들어, 복수의 후보 패턴들이 저장된 데이터베이스에 제2 화장 패턴과 동일 또는 유사한 후보 패턴이 저장되어 있는 경우, 얼굴 인식 장치는 제2 화장 패턴과 동일 또는 유사한 후보 패턴을 제1 영상의 관심 영역에 적용하여 제4 영상을 생성할 수 있다.
단계(760)에서, 얼굴 인식 장치는 제2 영상 및 제4 영상을 비교하여, 제1 영상에 포함된 얼굴을 인식할 수 있다. 예를 들어, 얼굴 인식 장치는 제2 영상 및 제4 영상 각각의 관심 영역에서 추출된 특징들을 매칭함으로써 얼굴을 인식할 수 있다.
다만, 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는 경우에도, 얼굴 인식 장치는 단계(730)을 통해 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성할 수 있다. 이 경우, 얼굴 인식 장치는 단계(740)를 통해 제1 영상 및 제3 영상을 비교함으로써, 제1 영상으로부터 얼굴을 인식할 수 있다.
전술한 바와 같이, 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는 경우, 얼굴 인식 장치는 얼굴을 인식하는 구체적인 방법을 결정할 수 있다. 예를 들어, 얼굴 인식 장치는 제1 화장 패턴 및 제2 화장 패턴의 색조, 평활도, 텍스처, 하이라이트 중 적어도 하나를 이용하여, 단계(750)를 통해 얼굴 인식을 수행할지 또는 단계(730)를 통해 얼굴 인식을 수행할지 여부를 결정할 수 있다.
도 8은 일실시예에 따른 얼굴 인식 장치의 세부 구성을 나타낸 도면이다.
도 8에 도시된 얼굴 인식 장치(800)는 화장 패턴 식별부(820), 화장 패턴 적용부(830), 얼굴 인식부(840) 및 데이터베이스(850)를 포함한다. 얼굴 인식 장치(800)는 영상 획득부(810) 및 디스플레이부(860)를 더 포함할 수 있다. 여기서, 데이터베이스(850)는 후보 패턴 데이터베이스(851) 및 등록 영상 데이터베이스(852)를 포함할 수 있다.
영상 획득부(810)는 인식하고자 하는 사용자의 얼굴 영역이 포함된 제1 영상을 획득할 수 있다. 예를 들어, 영상 획득부(810)는 카메라 또는 이미지 센서 등을 통해 사용자 인식 또는 사용자 인증을 위한 제1 영상을 획득할 수 있다. 영상 획득부(810)는 얼굴 인식 장치(800)에 포함되거나 얼굴 인식 장치(800)의 외부에 위치하는 독립적인 장치일 수 있으며, 실시예의 범위가 이에 한정되는 것은 아니다.
화장 패턴 식별부(820)는 영상 획득부(810)로부터 수신한 제1 영상의 관심 영역에 적용된 제1 화장 패턴을 식별할 수 있다. 예를 들어, 화장 패턴 식별부(820)는 제1 영상의 관심 영역이 얼굴의 눈, 코, 입, 눈썹, 헤어, 볼, 턱 중 어느 하나에 대응하는지를 식별하고, 식별된 관심 영역에 대응하는 복수의 화장 패턴들 중에서 제1 화장 패턴을 식별할 수 있다. 화장 패턴 식별부(820)는 제1 영상의 관심 영역의 색조, 평활도, 텍스처, 하이라이트 중 적어도 하나에 기초하여 제1 화장 패턴을 식별할 수 있다.
그리고, 화장 패턴 식별부(820)는 미리 등록된 사용자의 얼굴 영역을 포함하는 제2 영상을 등록 영상 데이터베이스(852)로부터 수신하고, 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는지 여부를 확인할 수 있다. 제2 영상의 관심 영역은 제1 영상의 관심 영역에 대응할 수 있다. 예를 들어, 제1 영상의 관심 영역이 코에 대응하는 영역일 경우, 화장 패턴 식별부(820)는 제2 영상에서 코에 대응하는 관심 영역에 제2 화장 패턴이 적용되어 있는지 여부를 확인할 수 있다.
제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있지 않은 경우, 화장 패턴 적용부(830)는 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성할 수 있다. 예를 들어, 화장 패턴 적용부(830)는 후보 패턴 데이터베이스(851)에 저장된 복수의 후보 패턴들 중에서 제1 화장 패턴과 동일 또는 유사한 후보 패턴을 후보 패턴 데이터베이스(851)로부터 수신하여 제2 영상의 관심 영역에 적용할 수 있다.
제2 영상의 관심 영역에 제2 화장 패턴이 적용된 경우, 화장 패턴 적용부(830)는 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하거나 또는 제2 화장 패턴을 제1 영상의 관심 영역에 적용하여 제4 영상을 생성할 수 있다. 예를 들어, 화장 패턴 적용부(830)는 제1 화장 패턴 및 제2 화장 패턴의 색조, 평활도, 텍스처, 하이라이트 중 적어도 하나를 고려하여 제3 영상 또는 제4 영상 중 어느 하나를 생성할지 여부를 결정할 수 있다.
얼굴 인식부(840)는 제1 영상과 제3 영상을 비교하거나 또는 제2 영상과 제4 영상을 비교하여, 얼굴을 인식할 수 있다. 예를 들어, 화장 패턴 적용부(830)에서 제3 영상이 생성된 경우, 얼굴 인식부(840)는 제1 영상과 제3 영상을 비교하여 얼굴을 인식할 수 있다. 화장 패턴 적용부(830)에서 제4 영상이 생성된 경우, 얼굴 인식부(840)는 제2 영상과 제4 영상을 비교하여 얼굴을 인식할 수 있다.
얼굴 인식부(840)는 제1 영상 및 제3 영상 각각에서 추출된 특징들을 매칭하거나 또는 제2 영상 및 제4 영상 각각에서 추출된 특징들을 매칭함으로써 얼굴을 인식할 수 있다. 예를 들어, 얼굴 인식에 성공한 경우, 얼굴 인식부(840)는 인식된 사용자에 대응하도록 제1 영상을 등록 영상 데이터베이스(852)에 저장할 수 있다.
후보 패턴 데이터베이스(851)는 복수의 후보 패턴들을 포함할 수 있다. 후보 패턴 데이터베이스(851)는 복수의 후보 패턴들을 관심 영역에 기초하여 분류하여 저장할 수 있다. 또한, 후보 패턴 데이터베이스(851)는 관심 영역에 따라서 카테고리를 추가적으로 고려하여 복수의 후보 패턴들을 분류할 수 있다. 후보 패턴 데이터베이스(851)는 복수의 후보 패턴들을 사용자 별로 분류하여 저장할 수 있다.
등록 영상 데이터베이스(852)는 미리 등록된 사용자의 얼굴 영역을 포함하는 적어도 하나의 제2 영상을 포함할 수 있다.
다른 일례로, 얼굴 인식 장치(800)는 후보 패턴 데이터베이스(851) 및 등록 영상 데이터베이스(852) 각각을 포함하지 않고, 하나의 데이터베이스(850)에 복수의 후보 패턴들 및 제2 영상을 포함할 수 있다. 이 경우, 전술한 후보 패턴 데이터베이스(851) 및 등록 영상 데이터베이스(852)의 동작은 데이터베이스(800)에 의해 그대로 수행될 수 있다.
디스플레이부(860)는 제1 영상, 화장 패턴 식별 결과, 화장 패턴 적용 결과, 얼굴 인식 결과 중 적어도 하나를 디스플레이할 수 있다. 사용자가 디스플레이된 제1 영상, 화장 패턴 식별 결과, 화장 패턴 적용 결과 등에 기초하여 얼굴이 제대로 촬영되지 않았다고 판단한 경우, 또는 최종적으로 얼굴 인식이 실패하였다고 디스플레이된 경우, 사용자는 재 촬영할 수 있고, 얼굴 인식 장치(800)는 재 촬영을 통해 획득한 제1 영상에 대해 얼굴 인식을 다시 수행할 수 있다.
실시예들은 입력 영상과 등록 영상에 동일한 화장 패턴이 적용되게 함으로써, 화장에 의한 얼굴 변화에 강인한 얼굴 인식을 수행할 수 있다.
실시예들은 데이터베이스에 사용자 별로 분류되어 저장된 복수의 후보 패턴들을 이용하여 화장 패턴을 관심 영역에 적용함으로써, 얼굴 인식의 성공률을 높일 수 있다.
실시예들은 관심 영역 별로 화장 패턴을 적용할지 여부를 판단함으로써, 사용자가 수행할 수 있는 다양한 화장 패턴의 조합에도 강인한 얼굴 인식을 수행할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기광 매체(magnetooptical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 실시예와 도면에 의해 실시예들을 설명하였으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 인식하고자 하는 사용자의 얼굴 및 미리 등록된 사용자의 얼굴 중 어느 하나를 포함한 제1 영상의 관심 영역에 적용된 제1 화장 패턴을 식별하는 단계;
    상기 제1 화장 패턴을 상기 제1 영상의 관심 영역에 대응하는 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는 단계; 및
    상기 제3 영상 및 상기 제1 영상이 서로 매칭되는 경우에 응답하여 상기 인식하고자 하는 사용자의 얼굴을 상기 미리 등록된 사용자의 얼굴로 인식함으로써, 상기 인식하고자 하는 사용자를 상기 미리 등록된 사용자로 인증하는 단계
    를 포함하고,
    상기 제2 영상은 상기 인식하고자 하는 사용자의 얼굴 및 상기 미리 등록된 사용자의 얼굴 중 다른 하나를 포함하는 얼굴 인식 방법.
  2. 제1항에 있어서,
    상기 제1 화장 패턴을 식별하는 단계는,
    상기 제1 영상의 관심 영역을 식별하고, 상기 식별된 관심 영역에 대응하는 복수의 화장 패턴들 중에서 제1 화장 패턴을 식별하는, 얼굴 인식 방법.
  3. 제1항에 있어서,
    상기 제1 화장 패턴을 식별하는 단계는,
    상기 제1 영상의 관심 영역의 색조(color tone), 평활도(smoothness), 텍스처, 하이라이트 중 적어도 하나에 기초하여, 제1 화장 패턴을 식별하는, 얼굴 인식 방법.
  4. 제1항에 있어서,
    상기 제1 영상의 관심 영역은,
    상기 제1 영상에 포함된 얼굴의 눈, 코, 입, 눈썹, 헤어, 볼, 턱 중 어느 하나에 대응하는, 얼굴 인식 방법.
  5. 제1항에 있어서,
    상기 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는지 여부를 확인하는 단계
    를 더 포함하고,
    상기 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는 단계는,
    상기 확인된 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는지 여부에 기초하여, 상기 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성할지 여부를 결정하는, 얼굴 인식 방법.
  6. 제5항에 있어서,
    상기 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는 단계는,
    상기 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있지 않는 경우, 상기 제1 화장 패턴을 상기 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는, 얼굴 인식 방법.
  7. 제5항에 있어서,
    상기 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는 단계는,
    상기 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는 경우, 상기 제1 화장 패턴을 상기 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하거나 또는 상기 제2 화장 패턴을 상기 제1 영상의 관심 영역에 적용하여 제4 영상을 생성하고,
    상기 인증하는 단계는,
    상기 제1 영상 및 제3 영상이 서로 매칭되거나 또는 상기 제2 영상 및 제4 영상이 서로 매칭되는 경우에 응답하여 상기 인식하고자 하는 사용자의 얼굴을 상기 미리 등록된 사용자의 얼굴로 인식함으로써, 상기 인식하고자 하는 사용자를 상기 미리 등록된 사용자로 인증하는, 얼굴 인식 방법.
  8. 제1항에 있어서,
    상기 인증하는 단계는,
    상기 제1 영상의 관심 영역에서 추출된 제1 특징과 상기 제3 영상의 관심 영역에서 추출된 제2 특징이 서로 매칭되는 경우에 응답하여 상기 인식하고자 하는 사용자의 얼굴을 상기 미리 등록된 사용자의 얼굴로 인식함으로써, 상기 인식하고자 하는 사용자를 상기 미리 등록된 사용자로 인증하는, 얼굴 인식 방법.
  9. 제1항에 있어서,
    상기 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는 단계는,
    복수의 후보 패턴들이 저장된 데이터베이스에 상기 제1 화장 패턴과 동일 또는 유사한 후보 패턴이 저장되어 있는 경우, 상기 제1 화장 패턴과 동일 또는 유사한 후보 패턴을 상기 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는, 얼굴 인식 방법.
  10. 제9항에 있어서,
    상기 복수의 후보 패턴은,
    상기 데이터베이스에 사용자 별로 분류되어 저장되는, 얼굴 인식 방법.
  11. 제1항에 있어서,
    상기 제1 영상은, 제1 화장 패턴이 적용된 관심 영역을 포함하는 영상이고,
    상기 제2 영상은, 제1 화장 패턴이 적용되어 있지 않은 관심 영역을 포함하는 영상인, 얼굴 인식 방법.
  12. 제1항에 있어서,
    상기 제1 영상 및 제2 영상은, 서로 다른 화장 패턴이 적용된 관심 영역을 각각 포함하는 영상인, 얼굴 인식 방법.
  13. 제1항 내지 제12항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  14. 하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는
    인식하고자 하는 사용자의 얼굴 및 미리 등록된 사용자의 얼굴 중 어느 하나를 포함한 제1 영상의 관심 영역에 적용된 제1 화장 패턴을 식별하고,
    상기 제1 화장 패턴을 상기 제1 영상의 관심 영역에 대응하는 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하고,
    상기 제3 영상 및 상기 제1 영상이 서로 매칭되는 경우에 응답하여 상기 인식하고자 하는 사용자의 얼굴을 상기 미리 등록된 사용자의 얼굴로 인식함으로써, 상기 인식하고자 하는 사용자를 상기 미리 등록된 사용자로 인증하고,
    상기 제2 영상은 상기 인식하고자 하는 사용자의 얼굴 및 상기 미리 등록된 사용자의 얼굴 중 다른 하나를 포함하는 얼굴 인식 장치.
  15. 제14항에 있어서,
    상기 하나 이상의 프로세서는
    상기 제1 영상의 관심 영역을 식별하고, 상기 식별된 관심 영역에 대응하는 복수의 화장 패턴들 중에서 제1 화장 패턴을 식별하는, 얼굴 인식 장치.
  16. 제14항에 있어서,
    상기 하나 이상의 프로세서는
    상기 제1 영상의 관심 영역의 색조(color tone), 평활도(smoothness), 텍스처, 하이라이트 중 적어도 하나에 기초하여, 제1 화장 패턴을 식별하는, 얼굴 인식 장치.
  17. 제14항에 있어서,
    상기 제1 영상의 관심 영역은,
    상기 제1 영상에 포함된 얼굴의 눈, 코, 입, 눈썹, 머리카락, 볼 중 어느 하나에 대응하는, 얼굴 인식 장치.
  18. 제14항에 있어서,
    상기 하나 이상의 프로세서는
    상기 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는지 여부를 더 확인하고,
    상기 확인된 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는지 여부에 기초하여, 상기 제1 화장 패턴을 제2 영상의 관심 영역에 적용하여 제3 영상을 생성할지 여부를 결정하는, 얼굴 인식 장치.
  19. 제18항에 있어서,
    상기 하나 이상의 프로세서는
    상기 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있지 않는 경우, 상기 제1 화장 패턴을 상기 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하는, 얼굴 인식 장치.
  20. 제18항에 있어서,
    상기 하나 이상의 프로세서는
    상기 제2 영상의 관심 영역에 제2 화장 패턴이 적용되어 있는 경우, 상기 제1 화장 패턴을 상기 제2 영상의 관심 영역에 적용하여 제3 영상을 생성하거나 또는 상기 제2 화장 패턴을 상기 제1 영상의 관심 영역에 적용하여 제4 영상을 생성하고,
    상기 제1 영상 및 제3 영상이 서로 매칭되거나 또는 상기 제2 영상 및 제4 영상이 서로 매칭되는 경우에 응답하여 상기 인식하고자 하는 사용자의 얼굴을 상기 미리 등록된 사용자의 얼굴로 인식함으로써, 상기 인식하고자 하는 사용자를 상기 미리 등록된 사용자로 인증하는, 얼굴 인식 장치.
KR1020140142629A 2014-10-21 2014-10-21 얼굴 인식 방법 및 장치 KR102214918B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140142629A KR102214918B1 (ko) 2014-10-21 2014-10-21 얼굴 인식 방법 및 장치
US14/816,450 US10248845B2 (en) 2014-10-21 2015-08-03 Method and apparatus for facial recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140142629A KR102214918B1 (ko) 2014-10-21 2014-10-21 얼굴 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160046560A KR20160046560A (ko) 2016-04-29
KR102214918B1 true KR102214918B1 (ko) 2021-02-10

Family

ID=55749310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140142629A KR102214918B1 (ko) 2014-10-21 2014-10-21 얼굴 인식 방법 및 장치

Country Status (2)

Country Link
US (1) US10248845B2 (ko)
KR (1) KR102214918B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6731616B2 (ja) * 2016-06-10 2020-07-29 パナソニックＩｐマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
TWI573093B (zh) * 2016-06-14 2017-03-01 Asustek Comp Inc 建立虛擬彩妝資料的方法、具備建立虛擬彩妝資料之方法的電子裝置以及其非暫態電腦可讀取記錄媒體
KR102476756B1 (ko) 2017-06-20 2022-12-09 삼성전자주식회사 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
TW201931179A (zh) 2017-07-13 2019-08-01 美商美國資生堂公司 用於虛擬面部化妝之移除與模擬、快速面部偵測及標記追蹤、降低輸入視訊之延遲及振動的系統與方法，以及用於建議化妝之方法
CN109288233A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示修容区域的身体信息分析装置
KR102419340B1 (ko) 2017-12-18 2022-07-15 재단법인대구경북과학기술원 안면 홍조 인식 시스템 및 방법
CN110533745A (zh) * 2018-05-23 2019-12-03 英属开曼群岛商玩美股份有限公司 执行于计算设备的系统、方法及存储媒体
US10762665B2 (en) 2018-05-23 2020-09-01 Perfect Corp. Systems and methods for performing virtual application of makeup effects based on a source image
CN109165546B (zh) * 2018-07-06 2021-04-02 深圳市科脉技术股份有限公司 人脸识别方法及装置
KR20220056087A (ko) 2020-10-27 2022-05-04 한국전자통신연구원 얼굴 이미지 데이터 학습 방법 및 이를 이용한 갱신 가능한 얼굴 템플릿 기반 사용자 식별 방법
WO2022097823A1 (ko) * 2020-11-05 2022-05-12 주식회사 알리아스 화장자의 영상 이미지 추출 및 얼굴 투영 시스템
US11837019B1 (en) * 2023-09-26 2023-12-05 Dauntless Labs, Llc Evaluating face recognition algorithms in view of image classification features affected by smart makeup

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120044335A1 (en) * 2007-08-10 2012-02-23 Yasuo Goto Makeup simulation system, makeup simulation apparatus, makeup simulation method, and makeup simulation program
US20120223956A1 (en) * 2011-03-01 2012-09-06 Mari Saito Information processing apparatus, information processing method, and computer-readable storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007744A (ko) 2000-07-18 2002-01-29 최창석 미래 자녀 얼굴 모델링 방법과 미래 얼굴 모델링 방법
EP1975870B1 (en) 2006-01-17 2020-08-26 Shiseido Co., Ltd. Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program
GB2451050B (en) 2006-05-05 2011-08-31 Parham Aarabi Method, system and computer program product for automatic and semiautomatic modification of digital images of faces
JP5302793B2 (ja) 2009-06-24 2013-10-02 ソニーモバイルコミュニケーションズ株式会社 美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置
KR20120009710A (ko) 2010-07-20 2012-02-02 에스케이플래닛 주식회사 얼굴 인식 기반의 가상 체험 서버 및 그 서비스 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120044335A1 (en) * 2007-08-10 2012-02-23 Yasuo Goto Makeup simulation system, makeup simulation apparatus, makeup simulation method, and makeup simulation program
US20120223956A1 (en) * 2011-03-01 2012-09-06 Mari Saito Information processing apparatus, information processing method, and computer-readable storage medium

Also Published As

Publication number Publication date
KR20160046560A (ko) 2016-04-29
US20160110587A1 (en) 2016-04-21
US10248845B2 (en) 2019-04-02

Similar Documents

Publication Publication Date Title
KR102214918B1 (ko) 얼굴 인식 방법 및 장치
KR102299847B1 (ko) 얼굴 인증 방법 및 장치
KR102359558B1 (ko) 얼굴 인증 방법 및 장치
KR102288302B1 (ko) 적외선 영상을 이용한 사용자 인증 방법 및 장치
KR102290392B1 (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
KR101998112B1 (ko) 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102357340B1 (ko) 얼굴 인식 방법 및 장치
KR102415509B1 (ko) 얼굴 인증 방법 및 장치
KR102655949B1 (ko) 3d 영상 기반의 얼굴 인증 방법 및 장치
EP3825905A1 (en) Method and apparatus with liveness test and/or biometric authentication, computer program therefore and medium storing the same
US10922399B2 (en) Authentication verification using soft biometric traits
Arcoverde Neto et al. Enhanced real-time head pose estimation system for mobile device
KR102369412B1 (ko) 홍채 인식 장치 및 방법
KR101865253B1 (ko) Ｒｅｇｉｏｎ－ｓｉｆｔ와 ｄｉｓｃｒｉｍｉｎａｎｔ ｓｖｍ 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법
US11756338B2 (en) Authentication device, authentication method, and recording medium
KR101491832B1 (ko) 영상 선택 장치 및 방법
WO2022130616A1 (ja) 認証方法、情報処理装置、及び認証プログラム
Dubey et al. Deep Perusal of Human Face Recognition Algorithms from Facial Snapshots
KR102380426B1 (ko) 얼굴 인증 방법 및 장치
Naik et al. Face recognition from multi angled images
KR102493322B1 (ko) 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법
Bhat et al. Prevention of spoofing attacks in FR based attendance system using liveness detection
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
Pavithra et al. Scale Invariant Feature Transform Based Face Recognition from a Single Sample per Person
Hiremath et al. RADON transform and PCA based 3D face recognition using KNN and SVM

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant