KR101443021B1 - 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치 - Google Patents

얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치 Download PDF

Info

Publication number
KR101443021B1
KR101443021B1 KR1020130025274A KR20130025274A KR101443021B1 KR 101443021 B1 KR101443021 B1 KR 101443021B1 KR 1020130025274 A KR1020130025274 A KR 1020130025274A KR 20130025274 A KR20130025274 A KR 20130025274A KR 101443021 B1 KR101443021 B1 KR 101443021B1
Authority
KR
South Korea
Prior art keywords
image
face
unit
motion
pose
Prior art date
Application number
KR1020130025274A
Other languages
English (en)
Other versions
KR20140110630A (ko
Inventor
이기덕
박보건
송봉섭
이재원
Original Assignee
주식회사 슈프리마
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 슈프리마 filed Critical 주식회사 슈프리마
Priority to KR1020130025274A priority Critical patent/KR101443021B1/ko
Priority to US14/140,315 priority patent/US20140254891A1/en
Publication of KR20140110630A publication Critical patent/KR20140110630A/ko
Application granted granted Critical
Publication of KR101443021B1 publication Critical patent/KR101443021B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치가 개시된다. 본 발명의 얼굴 등록 장치는, 정면 얼굴 이미지 및 얼굴 포즈 변화에 따른 적어도 하나 이상의 움직임 영상 이미지를 획득하는 얼굴 영상 이미지 획득부와, 획득한 정면 얼굴 이미지와 획득한 적어도 하나 이상의 움직임 영상 이미지의 유사도를 측정하는 유사도 측정부와, 측정된 유사도를 바탕으로 획득한 적어도 하나 이상의 움직임 영상 이미지 중에서 적어도 하나 이상의 이미지를 선택하는 이미지 선택부와, 선택된 적어도 하나 이상의 이미지를 사용자별로 저장하는 이미지 저장부를 포함할 수 있다.

Description

얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치{Apparatus and method for registering face, and Apparatus for guiding pose, and Apparatus for recognizing face}
얼굴 인식 기술에 관한 것으로, 특히, 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치에 관한 것이다.
일반적으로 얼굴 인식 시스템은 이미지로부터 추출된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 디지털 이미지를 통해 사용자를 자동으로 식별하는 시스템이다. 이러한 얼굴 인식 시스템의 대표적인 적용 분야는 신용 카드, 운전 면허증, 여권과 같은 개인 확인 시스템, 출입 통제 시스템 및 보안 시스템 등을 들 수 있다.
한편, 얼굴 인식 시 포즈 변화는 얼굴 인식 시스템의 성능을 크게 저하시키는 중요 요인 중 하나이다. 통상적인 얼굴 인식 시스템은 인식 성능을 확보하기 위하여, 정면 얼굴만을 이용하여 인식 가능하도록 사용자 스스로 포즈를 조정하도록 한다. 또한, 설치 위치가 달라지는 경우 등록 시점과 일치하는 포즈를 취하기가 힘들기 때문에 인증 성능이 저하된다.
한국등록특허 10-1133225호는 자세 추정을 이용한 얼굴 인식 시스템 및 방법에 관한 것으로, 얼굴 이미지를 자세별로 그룹화하여 저장하고, 얼굴 검출시 입력 얼굴 이미지의 자세를 추정한 후, 그 자세에 따라 각 그룹별 데이터와 입력 이미지의 유사도를 비교하여 연산량을 줄임으로써, 얼굴 인식 속도를 향상시킬 수 있는 얼굴 인식 시스템을 개시한다. 그러나, 이에 의하면, 입력 얼굴 이미지의 자세 추정시 계산 과정이 복잡하여 리소스를 많이 소요하며, 그 정확성도 담보될 수 없다. 그리고 자세별로 저장하면, 인식 시 자세 추정을 실패하면, 다른 자세의 데이터와 유사도 검사를 실시하므로 인식 실패가 발생하게 되어 인증 성능이 저하된다.
사용자의 포즈 변화를 유도하여 다수의 움직임 영상 이미지를 획득하고, 정면 얼굴 이미지와의 유사도를 기반으로 움직임 영상 이미지 중에서 일부 또는 전부를 사용자별로 저장하여 얼굴 인식 기술에 이용함으로써 얼굴 인식 성능을 향상시킬 수 있는 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치가 제공된다.
본 발명의 일 양상에 따른 얼굴 인식을 위한 얼굴 등록 장치는, 정면 얼굴 이미지 및 얼굴 포즈 변화에 따른 적어도 하나 이상의 움직임 영상 이미지를 획득하는 얼굴 영상 이미지 획득부와, 획득한 정면 얼굴 이미지와 획득한 적어도 하나 이상의 움직임 영상 이미지의 유사도를 측정하는 유사도 측정부와, 측정된 유사도를 바탕으로 획득한 적어도 하나 이상의 움직임 영상 이미지 중에서 적어도 하나 이상의 이미지를 선택하는 이미지 선택부와, 선택된 적어도 하나 이상의 이미지를 사용자별로 저장하는 이미지 저장부를 포함할 수 있다.
이때, 이미지 선택부는, 유사도가 높은 이미지 순으로 미리 설정된 개수의 이미지를 선택할 수 있다.
이때, 이미지 선택부는, 측정된 유사도 및 각 이미지의 얼굴 선명도를 바탕으로 획득한 적어도 하나 이상의 움직임 영상 이미지 중에서 적어도 하나 이상의 이미지를 선택할 수 있다.
또한, 얼굴 등록 장치는, 획득한 적어도 하나 이상의 움직임 영상 이미지를 기반으로 얼굴 포즈 변화를 판단하는 포즈 변화 판단부와, 판단 결과 미리 설정된 포즈 변화가 아닌 경우, 이미지 획득부가 정면 얼굴 이미지 또는 적어도 하나 이상의 움직임 영상 이미지를 재획득하도록 제어신호를 생성하는 제어부를 더 포함할 수 있다.
본 발명의 다른 양상에 따른 얼굴 인식을 위한 얼굴 등록 방법은, 정면 얼굴 이미지 및 얼굴 포즈 변화에 따른 적어도 하나 이상의 움직임 영상 이미지를 획득하는 단계와, 획득한 정면 얼굴 이미지와 획득한 적어도 하나 이상의 움직임 영상 이미지의 유사도를 측정하는 단계와, 측정된 유사도를 바탕으로 획득한 적어도 하나 이상의 움직임 영상 이미지 중에서 적어도 하나 이상의 이미지를 선택하는 단계와, 선택된 적어도 하나 이상의 이미지를 사용자별로 저장하는 단계를 포함할 수 있다.
이때, 선택하는 단계는, 유사도가 높은 이미지 순으로 미리 설정된 개수의 이미지를 선택할 수 있다.
이때, 선택하는 단계는, 측정된 유사도 및 각 이미지의 얼굴 선명도를 바탕으로 획득한 적어도 하나 이상의 움직임 영상 이미지 중에서 적어도 하나 이상의 이미지를 선택할 수 있다.
또한, 얼굴 등록 방법은, 획득한 적어도 하나 이상의 움직임 영상 이미지를 기반으로 얼굴 포즈 변화를 판단하는 단계, 판단 결과 미리 설정된 포즈 변화가 아닌 경우, 정면 얼굴 이미지 또는 적어도 하나 이상의 움직임 영상 이미지를 재획득하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 양상에 따른, 얼굴 등록을 위한 포즈 변화 유도 장치는, 미리 설정된 포즈 변화에 따라 사용자의 포즈 변화를 유도하기 위한 가이드 신호를 생성하는 가이드 생성부와, 생성된 가이드 신호를 출력하여 사용자에게 제공하는 가이드 영상 제공부를 포함할 수 있다.
본 발명의 또 다른 양상에 따른, 얼굴 인식 장치는, 사용자의 얼굴 포즈 변화를 유도하기 위한 가이드 영상을 생성하여 제공하는 포즈 변화 유도부와, 사용자의 얼굴 포즈 변화에 따른 적어도 하나 이상의 움직임 영상 이미지를 획득하고, 정면 얼굴 이미지와의 유사도를 측정하여, 측정한 유사도를 바탕으로 획득한 적어도 하나 이상의 움직임 영상 이미지 중에서 적어도 하나 이상의 이미지를 선택하여 사용자별로 저장하는 얼굴 등록부와, 얼굴 인식을 위해 입력된 대상 얼굴 이미지와 상기 얼굴 등록부에 저장된 사용자별 이미지를 비교하여 얼굴을 인식하는 얼굴 인식부를 포함할 수 있다.
사용자의 포즈 변화를 유도하여 다수의 움직임 영상 이미지를 획득하고, 정면 얼굴 이미지와의 유사도를 기반으로 움직임 영상 이미지 중에서 일부 또는 전부를 사용자별로 저장하여 얼굴 인식 기술에 이용함으로써 얼굴 인식 성능을 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 장치의 개략적인 구성도이다.
도 2는 도 1의 포즈 변화 유도부(120)의 상세 구성도이다.
도 3은 도 1의 얼굴 등록부(130)의 상세 구성도이다.
도 4은 본 발명의 일 실시 예에 따른 얼굴 포즈 변화의 예를 도시한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 사용자 움직임을 유도하는 예를 도시한 도면이다.
도 6는 본 발명의 일 실시 예에 따른 얼굴 등록 방법을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에든 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 설명되는 정지 영상 이미지는 얼굴의 움직임이 없는 동안에 촬영된 이미지를 말하며, 전후 움직임 영상 이미지는 얼굴이 전후로 움직이는 동안에 촬영된 이미지를 말하며, 좌우 움직임 영상 이미지는 고개를 좌우로 움직이는 동안에 촬영된 이미지를 말하며, 상하 움직임 영상 이미지는 고개를 상하로 움직이는 동안에 촬영된 이미지를 말한다.
도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 장치의 개략적인 구성도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 얼굴 인식 장치(100)는 대상 얼굴 이미지 입력부(110), 포즈 변화 유도부(120), 얼굴 등록부(130) 및 얼굴 인식부(140)를 포함할 수 있다.
대상 얼굴 이미지 입력부(110)는 인식하고자 하는 대상 얼굴 이미지를 입력 받을 수 있다.
포즈 변화 유도부(120)는 사용자의 포즈 변화를 유도하기 위한 가이드 신호를 생성하여 제공할 수 있다. 포즈 변화 유도부(120)에 대한 자세한 설명은 도 2를 참조하여 후술하기로 한다.
얼굴 등록부(130)는 사용자의 얼굴 포즈 변화에 따른 하나 이상의 움직임 영상 이미지를 획득하고, 정면 얼굴 이미지와의 유사도를 측정하여, 측정한 유사도를 바탕으로 획득한 하나 이상의 움직임 영상 이미지 중에서 하나 이상의 이미지를 선택하여 사용자별로 저장할 수 있다. 얼굴 등록부(130)에 대한 자세한 설명은 도 3을 참조하여 후술하기로 한다.
얼굴 인식부(140)는 대상 얼굴 이미지 입력부(110)를 통하여 입력된 대상 얼굴 이미지와 얼굴 등록부(130)에 저장된 사용자별 이미지를 비교하여 얼굴 인식을 수행할 수 있다. 예를 들어, 얼굴 인식부(140)는 대상 얼굴 이미지 입력부(110)를 통하여 입력된 대상 얼굴 이미지와 얼굴 등록부(130)에 저장된 사용자별 이미지를 비교하여 유사도를 측정함으로써 얼굴을 인식할 수 있다. 이 경우, 유사도 측정은 내적(Dot product) 계산을 이용할 수 있다.
도 2는 도 1의 포즈 변화 유도부(120)의 상세 구성도이다.
도 2를 참조하면, 포즈 변화 유도부(120)는 가이드 생성부(210) 및 가이드 제공부(220)를 포함할 수 있다.
가이드 생성부(210)는 미리 설정된 포즈 변화에 따라 사용자의 포즈 변화를 유도하기 위한 가이드 신호를 생성할 수 있다. 예를 들어, 미리 설정된 포즈 변화가 얼굴의 상하 움직임인 경우, 가이드 생성부(210)는 사용자 얼굴의 상하 움직임을 유도하기 위한 가이드 신호를 생성할 수 있다. 이때, 가이드 신호는 영상 신호, 음성 신호 등일 수 있으나, 이에 한정되는 것은 아니며, 사용자의 포즈 변화를 유도하기 위한 다양한 신호일 수 있다.
가이드 제공부(220)는 가이드 생성부(210)에서 생성된 가이드 신호를 출력하여 사용자에게 제공할 수 있다. 예를 들어, 가이드 신호가 영상 신호인 경우는 영상으로 출력할 수 있으며, 가이드 신호가 음성 신호인 경우는 음성으로 출력할 수 있다. 또한, 가이드 신호가 영상 신호 및 음성 신호로 구성되어 있는 경우는, 영상과 음성을 동시에 출력할 수 있다.
도 3은 도 1의 얼굴 등록부(130)의 상세 구성도이다.
도 3을 참조하면, 얼굴 등록부(130)는 얼굴 영상 이미지 획득부(310), 유사도 측정부(320), 이미지 선택부(330) 및 이미지 저장부(340)를 포함할 수 있다.
얼굴 영상 이미지 획득부(310)는 정면 얼굴 이미지, 얼굴 포즈 변화에 따른 움직임 영상 이미지를 획득할 수 있다. 이를 위해, 얼굴 영상 이미지 획득부(310)는 정지 영상 이미지 획득부(311), 상하 움직임 영상 이미지 획득부(312), 전후 움직임 영상 이미지 획득부(313) 및 좌우 움직임 영상 이미지 획득부(314)를 포함할 수 있다.
정지 영상 이미지 획득부(311)는 얼굴의 정지 영상 이미지를 획득하고 이로부터 정면 얼굴 이미지를 획득할 수 있다.
상하 움직임 영상 이미지 획득부(312)는 얼굴의 상하 움직임에 따른 상하 움직임 영상 이미지를, 전후 움직임 영상 이미지 획득부(313)는 얼굴의 전후 움직임에 따른 전후 움직임 영상 이미지를, 좌우 움직임 영상 이미지 획득부(314)는 얼굴의 좌우 움직임에 따른 좌우 움직임 영상 이미지를 각각 획득할 수 있다. 이때, 정지 영상 이미지 획득부(311), 상하 움직임 영상 이미지 획득부(312), 전후 움직임 영상 이미지 획득부(313) 및 좌우 움직임 영상 이미지 획득부(314) 각각은 미리 설정된 시간 동안 얼굴을 촬영하거나 미리 설정된 횟수만큼 얼굴을 촬영하여 각 움직임에 따른 영상 이미지를 획득할 수 있다. 한편, 본 명세서에서는 움직임 영상 이미지로, 전후 움직임 영상 이미지, 상하 움직임 영상 이미지, 좌우 움직임 영상 이미지만을 예로 들었으나, 이에 한정되는 것은 아니며, 시스템의 성능, 발명의 목적 및 이용 형태에 따라 다양한 방향으로의 움직임에 대한 영상 이미지를 모두 포함할 수 있다.
유사도 측정부(320)는 얼굴 영상 이미지 획득부(310)에서 획득한 정면 얼굴 이미지와 얼굴 포즈 변화에 따른 움직임 영상 이미지의 유사도를 측정할 수 있다.
이미지 선택부(330)는 유사도 측정부(320)에서 측정한 유사도를 바탕으로 얼굴 영상 이미지 획득부(310)에서 획득한 움직임 영상 이미지 중에서 하나 이상의 이미지를 선택할 수 있다. 예를 들어, 이미지 선택부(330)는 유사도가 높은 이미지 순으로 미리 설정된 개수의 이미지를 선택할 수 있다. 이 경우, 이미지 선택부(330)는 유사도 뿐만 아니라 각 이미지의 얼굴 크기 또는 선명도 등 여러 기준을 고려하여 이미지를 선택하는 것도 가능하다.
이미지 저장부(340)는 이미지 선택부(330)에서 선택한 이미지 및 정지 영상 이미지 획득부(311)에서 획득한 정면 얼굴 이미지를 사용자별로 저장할 수 있다.
한편, 본 발명의 추가적 실시 예에 따르면, 얼굴 등록부(130)는 포즈 변화 판단부(350) 및 제어부(360)를 더 포함할 수 있다.
포즈 변화 판단부(350)는 얼굴 영상 이미지 획득부(310)에서 획득한 정지 영상 이미지 또는 움직임 영상 이미지를 기반으로 얼굴 포즈 변화를 판단할 수 있다. 예를 들어, 상하 움직임 영상 이미지 획득부(312)에서 상하 움직임 영상 이미지를 획득하였다고 가정하면, 포즈 변화 판단부(350)는 상하 움직임 영상 이미지 획득부(312)가 획득한 영상 이미지를 기반으로 얼굴 포즈 변화를 판단할 수 있다. 이때, 얼굴 포즈 변화를 판단하는 방법은, 각 이미지의 얼굴의 눈, 코, 입 등에서 특징점들을 추출하여 특징점들의 상관관계로 포즈를 추정하고, 각 이미지의 포즈 추정을 통해 전체 움직임을 판단하는 방법, 각 이미지의 얼굴의 눈, 코, 입의 양끝 등의 일부 특징점들을 추적하여 움직임을 판단하는 방법 등이 있을 수 있으나, 이는 일 예일 뿐, 이에 한정되는 것은 아니다.
제어부(360)는 포즈 변화 판단부(350)의 판단 결과, 미리 설정된 포즈 변화가 아닌 경우, 정면 영상 이미지(또는 정명 얼굴 이미지), 움직임 영상 이미지를 재획득하도록 얼굴 영상 이미지 획득부(310)를 제어할 수 있다.
예를 들어, 정지 영상 이미지를 획득할 당시의 얼굴 포즈 변화를 판단한 결과, 정지 상태가 아니라고 하면, 제어부(360)는 정지 영상 이미지를 재획득하도록 정지 영상 이미지 획득부(311)를 제어할 수 있다. 또한, 상하 움직임 영상 이미지를 획득할 당시의 얼굴 포즈 변화를 판단한 결과, 상하 움직임 상태가 아니라고 하면(상하 움직임 외의 다른 움직임이 포함된 경우), 제어부(360)는 상하 움직임 영상 이미지를 재획득하도록 상하 움직임 영상 이미지 획득부(312)를 제어할 수 있다. 또한, 전후 움직임 영상 이미지를 획득할 당시의 얼굴 포즈 변화를 판단한 결과, 전후 움직임 상태가 아니라고 하면(전후 움직임 외의 다른 움직임이 포함된 경우), 제어부(360)는 전후 움직임 영상 이미지를 재획득하도록 전후 움직임 영상 이미지 획득부(313)를 제어할 수 있다. 또한, 좌우 움직임 영상 이미지를 획득할 당시의 얼굴 포즈 변화를 판단한 결과, 좌우 움직임 상태가 아니라고 하면(좌우 움직임 외의 다른 움직임이 포함된 경우), 제어부(360)는 좌우 움직임 영상 이미지를 재획득하도록 좌우 움직임 영상 이미지 획득부(314)를 제어할 수 있다.
도 4은 본 발명의 일 실시 예에 따른 얼굴 포즈 변화의 예를 도시한 도면이다.
도 4을 참조하면, 사용자는 얼굴의 움직임이 없는 정지 상태, 얼굴을 상하로 움직이는(고개를 상하로 끄덕이는) 상하 움직임 상태, 얼굴을 전후로 움직이는 전후 움직임 상태, 얼굴을 좌우로 움직이는(고개를 좌우로 흔드는) 좌우 움직임 상태로 얼굴 포즈를 바꿀 수 있다. 여기서, 도 4는 정지, 상하 움직임, 전후 움직임, 좌우 움직임의 순서대로 얼굴 포즈가 변화되는 것을 도시하나, 이에 한정되는 것은 아니며, 각 얼굴 포즈의 순서는 바뀔 수 있다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 사용자 움직임을 유도하는 예를 도시한 도면이다. 자세하게는, 도 5a는 상하 움직임 영상 이미지를 획득하기 위한 사용자의 상하 움직임을 유도하는 가이드 영상 신호를 출력한 화면의 예를 도시하고, 도 5b는 가이드 영상 신호를 출력한 후, 사용자의 움직임을 확인 할 수 있도록 사용자의 얼굴을 보여주는 화면의 예를 도시한 도면이다.
도 5a를 참조하면, 사용자의 움직임을 유도하는 가이드 영상은 움직임 변화를 포함하는 애니메이션으로 구성될 수 있다. 그러나, 이에 한정되는 것은 아니며, 다양한 방식으로 가이드 영상을 구성할 수 있다.
한편, 도 5a 는 상하 움직임을 유도하는 가이드 영상의 예를 도시하나, 포즈 변화 유도부(120)는 이와 동일하게 좌우 움직임, 전후 움직임, 정지 등을 유도하는 가이드 신호를 생성하여 출력할 수 있다. 또한, 시스템의 성능, 발명의 목적 및 이용 형태에 따라, 다양한 얼굴 포즈 변화에 대한 영상 이미지를 획득하고자 하는 경우는, 이러한 움직임을 유도하는 가이드 영상을 제공할 수도 있다.
도 5b를 참조하면, 가이드 영상 신호를 출력한 후에, 사용자의 움직임을 사용자가 확인할 수 있도록 사용자 얼굴을 보여준다. 이를 통해, 사용자는 제공된 가이드 영상에 따라 움직이고, 자신의 움직임을 확인할 수 있다.
도 6는 본 발명의 일 실시 예에 따른 얼굴 등록 방법을 도시한 흐름도이다.
도 6를 참조하면, 본 발명의 일 실시 예에 따른 얼굴 등록 방법은, 먼저, 등록하고자 하는 사용자 얼굴의 정지 영상 이미지를 획득하고, 이로부터 정면 얼굴 이미지를 획득한다(605).
그 후, 획득한 정지 영상 이미지를 기반으로 사용자의 포즈 변화를 판단하여, 정지 상태인지를 판단한다(610). 이때, 얼굴 포즈 변화를 판단하는 방법은, 각 이미지의 얼굴의 눈, 코, 입 등에서 특징점들을 추출하여 특징점들의 상관관계로 포즈를 추정하고, 각 이미지의 포즈 추정을 통해 전체 움직임을 판단하는 방법, 각 이미지의 얼굴의 눈, 코, 입의 양끝 등의 일부 특징점들을 추적하여 움직임을 판단하는 방법 등이 있으나, 이는 일 예일 뿐, 이에 한정되는 것은 아니다.
그 후, 단계 610의 판단 결과 정지 상태인 경우, 상하 움직임 영상 이미지를 획득한다(615).
그 후, 획득한 상하 움직임 영상 이미지를 기반으로 사용자의 포즈 변화를 판단하여, 상하 움직임 상태인지를 판단하고(620), 판단 결과 상하 움직임 상태인 경우, 전후 움직임 영상 이미지를 획득한다(625).
그 후, 획득한 전후 움직임 영상 이미지를 기반으로 사용자의 포즈 변화를 판단하여, 전후 움직임 상태인지를 판단하고(630), 판단 결과 전후 움직임 상태인 경우, 좌우 움직임 영상 이미지를 획득한다(635).
그 후, 획득한 좌우 움직임 영상 이미지를 기반으로 사용자의 포즈 변화를 판단하여, 좌우 움직임 상태인지를 판단하고(640), 판단 결과 좌우 움직임 상태인 경우, 정면 영상 이미지와 각 움직임 영상 이미지의 유사도를 측정한다(645).
그 후, 측정된 유사도를 바탕으로 획득한 움직임 영상 이미지 중에서 하나 이상의 이미지를 선택한다(650). 예를 들어, 유사도가 높은 이미지 순으로 미리 설정된 개수의 이미지를 선택할 수 있다. 이 경우, 유사도 뿐만 아니라 각 이미지의 얼굴 인식 정도 또는 선명도 등 여러 기준을 고려하여 이미지를 선택하는 것도 가능하다.
그 후, 선택된 하나 이상의 이미지 및 획득한 정면 얼굴 이미지를 사용자별로 저장한다(655).
한편, 단계 610의 판단 결과 정지 상태가 아닌 경우(정지 상태 이외의 움직임이 포함되어 있는 경우), 단계 605로 돌아가 정지 영상 이미지를 재획득한다.
한편, 단계 620의 판단 결과 상하 움직임 상태가 아닌 경우(상하 움직임이외의 움직임이 포함되어 있는 경우), 단계 615로 돌아가 상하 움직임 영상 이미지를 재획득한다.
한편, 단계 630의 판단 결과 전후 움직임 상태가 아닌 경우(전후 움직임이외의 움직임이 포함되어 있는 경우), 단계 625로 돌아가 전후 움직임 영상 이미지를 재획득한다.
한편, 단계 640의 판단 결과 좌우 움직임 상태가 아닌 경우(좌우 움직임이외의 움직임이 포함되어 있는 경우), 단계 635로 돌아가 좌우 움직임 영상 이미지를 재획득한다.
한편, 도시되지는 않았지만, 얼굴 등록 방법은, 영상 이미지를 획득하는 각 단계(605, 615, 625, 635)전에 사용자의 포즈 변화를 유도하기 위한 가이드 신호를 생성하여 제공하는 단계(미도시)를 더 포함할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
100: 얼굴 인식 장치, 110: 대상 얼굴 이미지 입력부,
120: 포즈 변화 유도부, 130: 얼굴 등록부,
140: 얼굴 인식부, 210: 가이드 생성부,
220: 가이드 제공부, 310: 얼굴 영상 이미지 획득부,
320: 유사도 측정부, 330: 이미지 선택부,
340: 이미지 저장부, 350: 포즈 변화 판단부,
360: 제어부.

Claims (10)

  1. 정면 얼굴 이미지 및 얼굴 포즈 변화에 따른 적어도 하나 이상의 움직임 영상 이미지를 획득하는 얼굴 영상 이미지 획득부;
    상기 획득한 정면 얼굴 이미지와 상기 획득한 적어도 하나 이상의 움직임 영상 이미지의 유사도를 측정하는 유사도 측정부;
    상기 측정된 유사도를 바탕으로 상기 획득한 적어도 하나 이상의 움직임 영상 이미지 중에서 적어도 하나 이상의 이미지를 선택하는 이미지 선택부;
    상기 선택된 적어도 하나 이상의 이미지를 사용자별로 저장하는 이미지 저장부;
    상기 획득한 적어도 하나 이상의 움직임 영상 이미지를 기반으로 얼굴 포즈 변화를 판단하는 포즈 변화 판단부; 및
    상기 판단 결과 미리 설정된 포즈 변화가 아닌 경우, 상기 이미지 획득부가 정면 얼굴 이미지 또는 적어도 하나 이상의 움직임 영상 이미지를 재획득하도록 제어신호를 생성하는 제어부;를 포함하는 얼굴 인식을 위한 얼굴 등록 장치.
  2. 제 1항에 있어서,
    상기 이미지 선택부는, 유사도가 높은 이미지 순으로 미리 설정된 개수의 이미지를 선택하는 얼굴 인식을 위한 얼굴 등록 장치.
  3. 제 1항에 있어서,
    상기 이미지 선택부는, 상기 측정된 유사도 및 각 이미지의 얼굴 선명도를 바탕으로 상기 획득한 적어도 하나 이상의 움직임 영상 이미지 중에서 적어도 하나 이상의 이미지를 선택하는 얼굴 인식을 위한 얼굴 등록 장치.
  4. 삭제
  5. 정면 얼굴 이미지 및 얼굴 포즈 변화에 따른 적어도 하나 이상의 움직임 영상 이미지를 획득하는 단계;
    상기 획득한 정면 얼굴 이미지와 상기 획득한 적어도 하나 이상의 움직임 영상 이미지의 유사도를 측정하는 단계;
    상기 측정된 유사도를 바탕으로 상기 획득한 적어도 하나 이상의 움직임 영상 이미지 중에서 적어도 하나 이상의 이미지를 선택하는 단계; 및
    상기 선택된 적어도 하나 이상의 이미지를 사용자별로 저장하는 단계; 를 포함하고,
    상기 적어도 하나 이상의 움직임 영상 이미지를 획득하는 단계는,
    상기 획득한 적어도 하나 이상의 움직임 영상 이미지를 기반으로 얼굴 포즈 변화를 판단하는 단계; 및
    상기 판단 결과 미리 설정된 포즈 변화가 아닌 경우, 정면 얼굴 이미지 또는 적어도 하나 이상의 움직임 영상 이미지를 재획득하는 단계; 를 포함하는 얼굴 인식을 위한 얼굴 등록 방법.
  6. 제 5항에 있어서,
    상기 선택하는 단계는, 유사도가 높은 이미지 순으로 미리 설정된 개수의 이미지를 선택하는 얼굴 인식을 위한 얼굴 등록 방법.
  7. 제 5항에 있어서,
    상기 선택하는 단계는, 상기 측정된 유사도 및 각 이미지의 얼굴 선명도를 바탕으로 상기 획득한 적어도 하나 이상의 움직임 영상 이미지 중에서 적어도 하나 이상의 이미지를 선택하는 얼굴 인식을 위한 얼굴 등록 방법.
  8. 삭제
  9. 삭제
  10. 사용자의 얼굴 포즈 변화를 유도하기 위한 가이드 신호를 생성하여 제공하는 포즈 변화 유도부;
    상기 사용자의 얼굴 포즈 변화에 따른 적어도 하나 이상의 움직임 영상 이미지를 획득하고, 정면 얼굴 이미지와의 유사도를 측정하여, 상기 측정한 유사도를 바탕으로 상기 획득한 적어도 하나 이상의 움직임 영상 이미지 중에서 적어도 하나 이상의 이미지를 선택하여 사용자별로 저장하는 얼굴 등록부; 및
    얼굴 인식을 위해 입력된 대상 얼굴 이미지와 상기 얼굴 등록부에 저장된 사용자별 이미지를 비교하여 얼굴을 인식하는 얼굴 인식부; 를 포함하고,
    상기 얼굴 등록부는 상기 획득한 적어도 하나 이상의 움직임 영상 이미지를 기반으로 얼굴 포즈 변화를 판단하고, 판단 결과 미리 설정된 포즈 변화가 아닌 경우 적어도 하나 이상의 움직임 영상 이미지를 재획득하는 얼굴 인식 장치.













KR1020130025274A 2013-03-08 2013-03-08 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치 KR101443021B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130025274A KR101443021B1 (ko) 2013-03-08 2013-03-08 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치
US14/140,315 US20140254891A1 (en) 2013-03-08 2013-12-24 Method and apparatus for registering face images, and apparatus for inducing pose change, and apparatus for recognizing faces

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130025274A KR101443021B1 (ko) 2013-03-08 2013-03-08 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치

Publications (2)

Publication Number Publication Date
KR20140110630A KR20140110630A (ko) 2014-09-17
KR101443021B1 true KR101443021B1 (ko) 2014-09-22

Family

ID=51487892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130025274A KR101443021B1 (ko) 2013-03-08 2013-03-08 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치

Country Status (2)

Country Link
US (1) US20140254891A1 (ko)
KR (1) KR101443021B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190056273A (ko) * 2017-11-16 2019-05-24 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말 및 서버
KR20190129351A (ko) 2018-05-10 2019-11-20 한국전자통신연구원 얼굴 인식용 등록 영상 선별 장치 및 방법

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8782775B2 (en) 2007-09-24 2014-07-15 Apple Inc. Embedded authentication systems in an electronic device
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
EP2885751A4 (en) 2012-08-15 2016-03-30 Jumio Inc IMAGE PROCESSING FOR CREDIT VALIDATION
JP5541407B1 (ja) * 2013-08-09 2014-07-09 富士ゼロックス株式会社 画像処理装置及びプログラム
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
CN104182741A (zh) * 2014-09-15 2014-12-03 联想(北京)有限公司 一种图像采集提示方法、装置及电子设备
KR102365393B1 (ko) * 2014-12-11 2022-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
CN105205462A (zh) 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US20180068313A1 (en) 2016-09-06 2018-03-08 Apple Inc. User interfaces for stored-value accounts
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
US10796178B2 (en) * 2016-12-15 2020-10-06 Beijing Kuangshi Technology Co., Ltd. Method and device for face liveness detection
KR102476756B1 (ko) 2017-06-20 2022-12-09 삼성전자주식회사 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
US10606993B2 (en) 2017-08-09 2020-03-31 Jumio Corporation Authentication using facial image comparison
KR102056033B1 (ko) * 2017-09-09 2019-12-13 애플 인크. 생체측정 인증의 구현
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
KR102301599B1 (ko) 2017-09-09 2021-09-10 애플 인크. 생체측정 인증의 구현
AU2018279788B2 (en) * 2017-09-09 2019-11-21 Apple Inc. Implementation of biometric authentication
AU2019200360B2 (en) * 2017-09-09 2019-03-28 Apple Inc. Implementation of biometric authentication
WO2018226265A1 (en) * 2017-09-09 2018-12-13 Apple Inc. Implementation of biometric authentication
KR102466942B1 (ko) * 2017-12-27 2022-11-14 한국전자통신연구원 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US20220078338A1 (en) * 2018-12-28 2022-03-10 Sony Group Corporation Information processing apparatus, information processing method, and information processing program
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
JP7093037B2 (ja) * 2020-10-28 2022-06-29 キヤノンマーケティングジャパン株式会社 情報処理装置、顔認証システム、その制御方法とプログラム
CN113855287B (zh) * 2021-07-06 2023-09-26 上海优医基医疗影像设备有限公司 一种带评估种植精度的口腔种植手术机器人及控制方法
KR102480291B1 (ko) * 2022-10-07 2022-12-26 주식회사 토노베이션 안면인식을 통한 고객 맞춤 서비스 제공 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118627A (ja) * 2002-09-27 2004-04-15 Toshiba Corp 人物認証装置および人物認証方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI278782B (en) * 2001-08-24 2007-04-11 Toshiba Corp Personal recognition apparatus
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US8085982B1 (en) * 2008-06-20 2011-12-27 Google Inc. Object tracking in video with visual constraints
US8466952B2 (en) * 2009-10-27 2013-06-18 Hewlett-Packard Development Company, L.P. Analysis of video composition of participants in a video conference

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118627A (ja) * 2002-09-27 2004-04-15 Toshiba Corp 人物認証装置および人物認証方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190056273A (ko) * 2017-11-16 2019-05-24 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말 및 서버
KR102034839B1 (ko) * 2017-11-16 2019-10-21 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말 및 서버
KR20190129351A (ko) 2018-05-10 2019-11-20 한국전자통신연구원 얼굴 인식용 등록 영상 선별 장치 및 방법

Also Published As

Publication number Publication date
KR20140110630A (ko) 2014-09-17
US20140254891A1 (en) 2014-09-11

Similar Documents

Publication Publication Date Title
KR101443021B1 (ko) 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치
CN108369742B (zh) 使用传感器融合的经优化对象扫描
US8620066B2 (en) Three-dimensional object determining apparatus, method, and computer program product
US10293252B2 (en) Image processing device, system and method based on position detection
CN104102927B (zh) 执行用户验证的显示设备及其方法
JP6809226B2 (ja) 生体検知装置、生体検知方法、および、生体検知プログラム
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US8836760B2 (en) Image reproducing apparatus, image capturing apparatus, and control method therefor
JP2010092436A5 (ko)
US20150062314A1 (en) Calibration for directional display device
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
KR101769177B1 (ko) 시선 추적 장치 및 방법
JP2000163196A (ja) ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
WO2013159686A1 (en) Three-dimensional face recognition for mobile devices
KR20110006878A (ko) 복수의 인물에 대한 이미지 생성 장치 및 방법
US20130163825A1 (en) Head movement detection apparatus
JP2018050179A5 (ko)
KR102110459B1 (ko) 3차원 이미지 생성 방법 및 장치
US20200242335A1 (en) Information processing apparatus, information processing method, and recording medium
US9478068B2 (en) Computer-readable medium, image processing device, image processing system, and image processing method
WO2011086803A1 (ja) 画像照合システム、画像照合方法、コンピュータプログラム
US20160198036A1 (en) Incoming call processing method and mobile terminal
CN111708432B (zh) 安全区域确定方法、装置、头戴显示设备及存储介质
KR20160065686A (ko) 3d 디스플레이를 위한 양안 거리 인식 장치
CN109068118A (zh) 双摄模组的基线距离调整方法、装置及双摄模组

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170809

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190903

Year of fee payment: 6