KR101509934B1 - 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법 - Google Patents

정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법 Download PDF

Info

Publication number
KR101509934B1
KR101509934B1 KR1020130120355A KR20130120355A KR101509934B1 KR 101509934 B1 KR101509934 B1 KR 101509934B1 KR 1020130120355 A KR1020130120355 A KR 1020130120355A KR 20130120355 A KR20130120355 A KR 20130120355A KR 101509934 B1 KR101509934 B1 KR 101509934B1
Authority
KR
South Korea
Prior art keywords
face
image
dimensional
yaw
roll
Prior art date
Application number
KR1020130120355A
Other languages
English (en)
Inventor
김현덕
김동주
이상헌
손명규
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020130120355A priority Critical patent/KR101509934B1/ko
Application granted granted Critical
Publication of KR101509934B1 publication Critical patent/KR101509934B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

정면 얼굴 자세를 유도하는 장치가 개시된다. 일 실시예는 입력된 얼굴 깊이 이미지를 기초로 상기 얼굴 깊이 이미지의 피치(pitch), 롤(roll), 및 요(yaw)를 추정하는 추정부; 미리 저장된 3차원 정면 얼굴 이미지와 상기 추정된 피치, 롤, 및 요를 기초로 3차원 얼굴 이미지를 생성하는 이미지 생성부; 및 상기 생성된 3차원 얼굴 이미지를 디스플레이에 표시하는 이미지 표시부를 포함한다.

Description

정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법{DEVICE OF A FRONT HEAD POSE GUIDANCE, AND METHOD THEREOF}
아래 실시예들은 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법에 관한 것이다.
출입통제, 근태관리, 빌딩통합시스템, 금융자동화기기, 컴퓨터보안 분야, 전자상거래 인증, 공항정보 시스템 등에 있어서, 지문인식기술에 이어 다른 생체인식기술이 제안되고 있다. 그 중 얼굴 인식은 사람마다 고유한 특성을 가진 얼굴 정보를 이용해 사람을 인식하는 기술이다.
얼굴 인식 분야는 크게 특징 기반 방법과 외형 기반 방법으로 나눌 수 있다. 특징 기반 방법이란 얼굴의 기하학적인 정보를 이용하거나 얼굴 특징 성분들 눈, 코, 입, 턱 등을 이용하여 그 크기와 모양, 상호 연관성 혹은 이러한 요소들의 혼합된 형태의 정보를 이용해서 얼굴을 인식하는 방법이다. 마찬가지로 이 방법은 처리 시간이 빠르고 그 구조가 간단하며 쉽게 얼굴을 인식 수 있다는 장점을 가지고 있다. 하지만, 얼굴의 기울어진 정도에 따라 얼굴의 특징 성분들을 검출하지 못할 수 있기 때문에 조명과 포즈 등의 잡음에 상당히 민감한 단점이 있다. 이 방법 또한 이러한 단점을 극복하기 위해서 여러 제한조건을 제시하고 있다. 외형 기반 방법은 학습 영상 집합에 의해 학습된 모델을 이용해서 얼굴을 인식하는 방법으로 얼굴 인식 분야에서 가장 널리 사용되고 있다. 이러한 외형 기반 방법으로는 주성분 분석(Principal Component Analysis: PCA)에 의해 생성되는 고유 얼굴(eigenface), 선형판별식 해석(Linear Discrimi-nant Analysis: LDA), 신경망(Neural Network: NN), 서포트 벡터 머신(Support Vector Machine: SVM) 을 이용하는 방법 등이 있다.
얼굴 인식을 이용한 개인 인증 시스템에서, 사용자가 정면 자세가 아닌 다른 자세를 취하더라도 입력된 얼굴 영상을 얼굴 인식 알고리즘을 이용하여 사용자가 누구인지 판단한다. 이 경우, 인식률의 저하로 인한 오작동이 발생할 수 있다. 최근에는 얼굴 자세에 강인한 얼굴 인식 알고리즘들이 연구되고 있으나, 효율이 낮아 상용화 단계까지는 미치지 못하고 있다.
실시예들은 사용자가 정면을 바라보도록 유도하여, 얼굴 인식을 이용한 개인 인증에서 보다 높은 인식률을 통해 개인 인증의 오작동 가능성을 줄일 수 있다.
일 측에 따른 정면 얼굴 자세를 유도하는 장치는 입력된 얼굴 깊이 이미지를 기초로 상기 얼굴 깊이 이미지의 피치(pitch), 롤(roll), 및 요(yaw)를 추정하는 추정부; 미리 저장된 3차원 정면 얼굴 이미지와 상기 추정된 피치, 롤, 및 요를 기초로 3차원 얼굴 이미지를 생성하는 이미지 생성부; 및 상기 생성된 3차원 얼굴 이미지를 디스플레이에 표시하는 이미지 표시부를 포함한다.
일 실시예에 따른 정면 얼굴 자세를 유도하는 장치는 3차원 깊이 카메라와 연결되어, 상기 3차원 깊이 카메라로부터 상기 얼굴 깊이 이미지를 수신하는 인터페이스를 더 포함할 수 있다.
또한, 상기 이미지 생성부는, 3차원 회전 변환 행렬을 이용하여 상기 3차원 얼굴 이미지를 생성할 수 있다.
또한, 상기 추정된 피치, 롤, 및 요가 미리 정해진 범위 내에 있는지 판단하는 판단부; 및 상기 추정된 피치, 롤, 및 요가 상기 미리 정해진 범위 밖에 있는 경우, 사용자에게 상기 미리 정해진 범위 이내로 얼굴을 상하 또는 좌우로 이동하도록 지시하는 지시부를 더 포함할 수 있다.
또한, 상기 미리 정해진 범위는 +15도 내지 -15의 범위일 수 있다.
또한, 상기 이미지 표시부는 상기 추정된 피치, 롤, 및 요를 디스플레이에 표시할 수 있다.
일 측에 따른 정면 얼굴 자세를 유도하는 방법은 입력된 얼굴 깊이 이미지를 기초로 상기 얼굴 깊이 이미지의 피치(pitch), 롤(roll), 및 요(yaw)를 추정하는 단계; 미리 저장된 3차원 정면 얼굴 이미지와 상기 추정된 피치, 롤, 및 요를 기초로 3차원 얼굴 이미지를 생성하는 단계; 및 상기 생성된 3차원 얼굴 이미지를 디스플레이에 표시하는 표시하는 단계를 포함한다.
일 실시예에 따른 정면 얼굴 자세를 유도하는 방법은 상기 추정된 피치, 롤, 및 요가 미리 정해진 범위 내에 있는지 판단하는 단계; 및 상기 추정된 피치, 롤, 및 요가 상기 미리 정해진 범위 밖에 있는 경우, 사용자에게 상기 미리 정해진 범위 이내로 얼굴을 상하 또는 좌우로 이동하도록 지시하는 단계를 더 포함할 수 있다.
실시예들은 사용자가 정면을 바라보도록 유도하여, 얼굴 인식을 이용한 개인 인증에서 보다 높은 인식률을 통해 개인 인증의 오작동 가능성을 줄일 수 있다.
도 1은 일 실시예에 따른 정면 얼굴 자세 유도 장치가 적용된 얼굴 인식 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 정면 얼굴 자세 유도 장치의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 3D 깊이 카메라로부터 수신한 얼굴 깊이 이미지를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 정면 얼굴 자세 유도 방법을 설명하기 위한 순서도이다.
도 5는 일 실시예에 따른 3차원 얼굴 이미지를 설명하기 위한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 일 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 명세서의 정면 얼굴 자세 유도 장치는 얼굴 인식이 가능한 장치에 임베디드(embedded)될 수 있고, 얼굴 인식이 가능한 장치와 별도의 장치일 수 있다.
도 1은 일 실시예에 따른 정면 얼굴 자세 유도 장치가 적용된 얼굴 인식 시스템을 설명하기 위한 도면이다.
카메라(120)는 사용자의 얼굴 이미지를 획득할 수 있다. 카메라(120)는 2D 카메라일 수 있고, 3D 카메라일 수 있다. 3D 카메라는 사용자의 깊이 이미지를 획득할 수 있는 3D 깊이 카메라(3D depth camera)를 포함할 수 있다. 카메라(120)는 복수의 카메라일 수 있어, 2D 카메라, 및 3D 카메라로 구성될 수 있다. 카메라(120)는 사용자의 얼굴 이미지를 획득할 수 있고, 3차원 얼굴 깊이 이미지를 획득할 수 있다.
정면 얼굴 자세 유도 장치(110)는 카메라(120)로부터 획득된 얼굴 이미지를 수신할 수 있다. 정면 얼굴 자세 유도 장치(110)는 사용자의 얼굴 자세가 정면 얼굴 자세가 아닌 경우, 사용자에게 정면을 바라보도록 유도할 수 있다.
정면 얼굴 자세 유도 장치(110)는 2D 카메라로부터 획득한 얼굴 이미지를 이용하여 얼굴 자세를 추정하고, 추정된 얼굴 자세의 상하, 및 좌우의 범위를 추정할 수 있다. 추정된 상하, 및 좌우의 범위가 미리 정해진 범위를 초과하는 경우, 정면 얼굴 자세 유도 장치(110)는 스피커(140)를 통해 상하, 및 좌우로 얼굴을 이동시키도록 지시할 수 있다.
또한, 정면 얼굴 자세 유도 장치(110)는 추정된 얼굴 자세를 디스플레이(130)에 표시할 수 있다. 사용자는 디스플레이(130)에 표시된 얼굴 자세를 보면서, 정면을 바라보도록 얼굴을 좌우, 및 상하로 이동시킬 수 있다.
또한, 정면 얼굴 자세 유도 장치(110)는 3차원 깊이 카메라로부터 획득된 얼굴 깊이 이미지를 기초로 얼굴 자세를 추정할 수 있다. 3차원 깊이 카메라를 이용하는 경우, 2D 좌표의 상하, 및 좌우의 얼굴 자세 추정이 아닌 3D 좌표에서 얼굴 자세 추정을 할 수 있다. 정면 얼굴 자세 유도 장치(110)는 추정된 얼굴 자세를 디스플레이(130)에 표시할 수 있고, 사용자는 디스플레이(130)에 표시된 얼굴 자세를 보면서, 정면을 바라보도록 얼굴을 이동시킬 수 있다.
얼굴 인식을 통한 개인 인증이 필요할 경우, 정면 얼굴 자세 유도 장치를 이용할 수 있다. 예를 들어, 스마트폰과 같은 이동 단말기에서 얼굴 인식을 통해 개인 인증을 할 경우, 정면 얼굴 자세 유도 장치를 이용하여 사용자가 정면을 바라보도록 함으로써, 얼굴 인식의 오작동 가능성이 감소될 수 있다.
사용자의 정면 얼굴 자세가 유도되면, 얼굴 인식 시스템은 사용자의 얼굴의 요소를 검출할 수 있다. 얼굴의 요소란 눈, 코, 및 입을 의미한다. 얼굴의 요소를 검출하는데 AAM(Active appearance mode)을 사용할 수 있다.
얼굴 인식 시스템은 사용자의 얼굴의 특징을 추출할 수 있다. 얼굴 인식 시스템은 추출된 특징을 데이터베이스에 기록된 사용자의 특징을 비교하여, 얼굴 인식 시스템을 사용한 사용자가 등록된 사용자인지 판단할 수 있다.
도 2는 일 실시예에 따른 정면 얼굴 자세 유도 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 일 실시예에 따른 정면 얼굴 자세 유도 장치는 추정부(210), 이미지 생성부(220), 및 이미지 표시부(230)를 포함한다.
추정부(210)는 입력된 얼굴 깊이 이미지를 기초로 얼굴 깊이 이미지의 피치(pitch), 롤(roll), 및 요(yaw)를 추정할 수 있다.
이미지 생성부(220)는 미리 저장된 3차원 정면 얼굴 이미지와 상기 추정된 피치, 롤, 및 요를 기초로 3차원 얼굴 이미지를 생성할 수 있다. 미리 저장된 3차원 정면 얼굴 이미지는 피치, 롤, 및 요의 값이 각각 0일 수 있다. 이미지 생성부(220)는 3차원 회전 변환 행렬을 이용하여 3차원 얼굴 이미지를 생성할 수 있다.
[수학식 1]
Figure 112013091386230-pat00001

[수학식 1]은 미리 저장된 3차원 정면 얼굴 이미지, 3차원 회전 변환 행렬, 및 추정된 피치, 롤, 및 요와 3차원 얼굴 이미지 사이의 관계식이다. [수학식 1]에서, (x’, y’, z’)는 회전 변환된 3차원 얼굴 이미지를 구성하는 3차원 벡터이고, (x, y, z)는 미리 저장된 3차원 정면 얼굴 이미지를 구성하는 3차원 벡터이다. 또한,
Figure 112013091386230-pat00002
는 추정된 피치,
Figure 112013091386230-pat00003
는 추정된 롤,
Figure 112013091386230-pat00004
는 추정된 요를 나타낸다. 이미지 생성부(220)는 x축, y축, 및 z축 회전 변환을 이용하여 변환된 3차원 벡터를 구함으로써, 3차원 얼굴 이미지를 생성할 수 있다.
또한, 이미지 생성부(220)는 미리 저장된 3차원 정면 얼굴 이미지에서 3차원 회전 변환 행렬을 이용하여 추정된 피치, 롤, 및 요를 0도까지 미리 정해진 등분을 할 수 있다. 예를 들어, 피치는 -15도(°), 롤은 10도, 및 요는 5도라고 할 때, 이미지 생성부(220)는 피치를 -15도 에서 0도까지, 롤을 10에서 0도까지, 요를 5도에서 0도까지 10등분을 할 수 있다. 이미지 생성부(220)는 10등분한 피치, 롤, 및 요를 기초로 3차원 얼굴 이미지를 생성하여 디스플레이에 3차원 얼굴 이미지를 연속적으로 보여줄 수 있다.
이미지 표시부(230)는 생성된 3차원 얼굴 이미지를 디스플레이에 표시할 수 있다. 여기서, 이미지 표시부(230)는 추정된, 피치, 롤, 및 요를 디스플레이에 표시할 수 있다. 예를 들어, 이미지 표시부(230)는 디스플레이 우측 상단에 피치는 -15도, 롤은 10도, 및 요는 5도를 표시할 수 있고, 피치, 롤, 및 요가 표시된 부분을 제외한 나머지 부분에 생성된 3차원 얼굴 이미지를 표시할 수 있다. 또한, 이미지 표시부(230)는 실린더를 미리 저장된 3차원 정면 얼굴 이미지에 위치시킬 수 있다. 추정된 피치, 롤, 및 요의 디스플레이, 및 미리 저장된 3차원 정면 얼굴 이미지에 실린더를 위치시키는 것은 도 5를 참조하면서 상세히 설명한다.
도 5는 일 실시예에 따른 3차원 얼굴 이미지를 설명하기 위한 도면이다.
도 5를 참조하면, 3차원 깊이 카메라는 사용자의 옆모습의 깊이 이미지를 획득할 수 있고, 정면 얼굴 유도 자세 장치는 옆모습의 깊이 이미지를 상기 카메라로부터 수신할 수 있다. 피치, 롤, 및 요는 각각 -5도, 0, 및 -90도로 추정될 수 있다. 추정된 피치, 롤, 및 요는 디스플레이의 일 측(510)에 표시될 수 있다. 정면 얼굴 자세 유도 장치는 디스플레이에 추정된 피치, 롤, 및 요를 표시하여, 사용자가 정면을 보도록 유도할 수 있다.
또한, 정면 얼굴 자세 유도 장치는 실린더(520)를 이용하여 사용자가 얼굴 자세에 대해 쉽게 확인할 수 있도록 한다. 실린더(520)는 미리 저장된 3차원 정면 얼굴 이미지의 코의 위치에서 정면으로 세워질 수 있다. 얼굴 깊이 이미지의 피치, 롤, 및 요가 -9도, 0, 및 90도로 각각 추정된다고 하자. 미리 저장된 3차원 정면 얼굴 이미지의 코의 좌표를 (0, 0, 0)이라고 할 때, 실린더(520)의 좌표는 (0, 0, 10)일 수 있다. 변환된 실린더(520)의 좌표는 (-9.96, 0.87, 0)이고, 변환된 실린더(520)의 좌표는 [수학식 1]을 통해 계산될 수 있다.
Figure 112013091386230-pat00005

다시 도 2로 돌아와서, 일 실시예에 따른 정면 얼굴 자세 유도 장치는 3차원 깊이 카메라와 연결되어, 3차원 깊이 카메라로부터 얼굴 깊이 이미지를 수신하는 인터페이스를 더 포함할 수 있다. 인터페이스는 외부 기기와 연결할 수 있는 외부 단자일 수 있다. 외부 단자에 3차원 깊이 카메라가 연결되어, 3차원 깊이 카메라로부터 얼굴 깊이 이미지를 수신할 수 있다.
일 실시예에 따른 정면 얼굴 자세 유도 장치는 추정된 피치, 롤, 및 요가 미리 정해진 범위 내에 있는지 판단하는 판단부, 및 추정된 피치, 롤, 및 요가 미리 정해진 범위 밖에 있는 경우, 사용자에게 미리 정해진 범위 이내로 얼굴을 상하 또는 좌우로 이동하도록 지시하는 지시부를 더 포함할 수 있다. 여기서, 미리 정해진 범위는 +15도 내지 -15도의 범위일 수 있다. 좌우, 및 상하의 +15도 내지 -15도의 범위에서, 카메라를 통한 얼굴 인식의 성능이 향상되는 것은 실험을 통해 알 수 있다.
판단부는 정면 얼굴 자세 유도 장치와 연결된 2D 카메라로부터 획득한 얼굴 이미지로부터 얼굴 자세를 추정하여, 추정된 얼굴 자세의 좌우, 및 상하가 미리 정해진 범위 내에 있는지 판단할 수 있다. 예를 들어, 좌우의 미리 정해진 범위가 +15도 내지 -15도의 범위라 할 때, 좌측으로 20도 추정되는 경우, 추정된 얼굴 자세는 미리 정해진 범위 밖에 있다. 추정된 얼굴 자세가 미리 정해진 범위 밖에 있는 경우, 지시부는 경고음을 발생할 수 있고, 사용자가 정면을 바라보도록 음성을 통해 알려줄 수 있다. 위의 예에서, 지시부는 사용자에게 "우측으로 5도 정도 고개를 돌리시오"라고 지시를 할 수 있다.
다른 일 실시예에 따르면, 정면 얼굴 자세 유도 장치는 2D 카메라로부터 사용자의 얼굴 이미지를 수신할 수 있다. 수신된 얼굴 이미지를 기초로 사용자가 정면을 바라 보고 있는지 판단할 수 있다. 정면 얼굴 자세 유도 장치는 수신된 얼굴 이미지가 정면 얼굴 이미지인지 판단할 수 있다. 정면 얼굴 자세 유도 장치는 수신된 얼굴 이미지가 정면 얼굴 이미지가 아닌 경우, 사용자에게 정면을 바라보도록 시각적, 및 청각적 지시 중 적어도 하나를 제공할 수 있다. 예를 들어, 사용자의 우측 옆 얼굴 이미지가 수신되는 경우, 정면 얼굴 자세 유도 장치는 스피커를 통해 "좌측으로 90도 정도 고개를 돌리시오"라고 지시할 수 있다. 또는, 정면 얼굴 자세 유도 장치는 수신된 얼굴 이미지를 디스플레이에 표시하여, 사용자가 디스플레이를 보면서 정면을 보도록 유도할 수 있다.
또한, 정면 얼굴 자세 유도 장치는 디스플레이에 십자 모양의 기준선을 제공하고, 십자 모양의 기준점에 사용자의 코가 위치하도록 하여 사용자가 정면을 보도록 유도할 수 있다.
또한, 정면 얼굴 자세 유도 장치는 사용자가 정면을 바라보도록 디스플레이에 정면을 보는 얼굴의 윤곽선(outline)을 제공할 수 있다. 사용자는 디스플레이에 제공된 얼굴 윤곽선 내에 얼굴을 위치하도록 얼굴 이동시킬 수 있다.
또한, 정면 얼굴 자세 유도 장치는 사용자의 얼굴 이미지가 아닌 사용자 몸 전체 이미지를 수신하는 경우, 사용자 몸 전체 이미지에서 사용자의 얼굴 이미지만 검출할 수 있다. 정면 얼굴 자세 유도 장치는 사용자의 얼굴 이미지만 검출하여, 사용자가 정면을 바라보는지 판단할 수 있다.
도 3은 일 실시예에 따른 3D 깊이 카메라로부터 수신한 얼굴 깊이 이미지를 설명하기 위한 도면이다.
3D 깊이 카메라(3D depth camera)를 이용하여, 사용자의 얼굴 깊이 이미지가 획득될 수 있다. 3D 깊이 카메라는 적외선(IR)을 이용한 깊이 카메라를 포함할 수 있다. 적외선을 이용하여 깊이 이미지를 생성할 때, TOF(Time of Flight) 방식과 Coded Light 삼각측량 방식이 알려져 있다. TOF 방식은 조사된(emitted) 적외선과 오브젝트에 반사되어 다시 돌아온 적외선의 위상차(phase-difference)를 이용하여 오브젝트와 깊이 카메라 사이의 거리인 깊이 정보를 취득하는 방식이다. Coded Light 삼각측량 방식은 조사된 적외선의 패턴과 오브젝트에 반사되어 다시 돌아온 적외선 패턴의 경로를 삼각측량하여 깊이 정보를 취득하는 방식이다.
3D 좌표에서, 획득된 얼굴 깊이 이미지의 피치(pitch), 롤(roll), 및 요(yaw)가 추정될 수 있다. 미리 저장된 3차원 정면 얼굴 이미지, 추정된 피치, 롤, 및 요, 및 3차원 회전 변환 행렬을 이용하여, 3차원 얼굴 이미지가 생성될 수 있다.
도 4는 일 실시예에 따른 정면 얼굴 자세 유도 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 일 실시예에 따른 정면 얼굴 자세 유도 방법은 입력된 얼굴 깊이 이미지를 기초로 상기 얼굴 깊이 이미지의 피치(pitch), 롤(roll), 및 요(yaw)를 추정할 수 있다(410).
일 실시예에 따른 정면 얼굴 자세 유도 방법은 미리 저장된 3차원 정면 얼굴 이미지와 추정된 피치, 롤, 및 요를 기초로 3차원 얼굴 이미지를 생성할 수 있다. 단계(420)에서, 3차원 회전 변환 행렬을 이용하여 3차원 얼굴 이미지가 생성될 수 있다.
일 실시예에 따른 정면 얼굴 자세 유도 방법은 상기 생성된 3차원 얼굴 이미지를 디스플레이에 표시할 수 있다(430).
일 실시예에 따른 정면 얼굴 자세 유도 방법은 추정된 피치, 롤, 및 요가 미리 정해진 범위 내에 있는지 판단할 수 있다. 또한, 일 실시예에 따른 정면 얼굴 자세 유도 방법은 추정된 피치, 롤, 및 요가 상기 미리 정해진 범위 밖에 있는 경우, 사용자에게 미리 정해진 범위 이내로 얼굴을 상하 또는 좌우로 이동하도록 지시할 수 있다.
도 1 내지 도 3을 참조하면서 설명된 내용은, 도 4에 적용될 수 있으므로, 상세한 설명은 생략한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110: 정면 얼굴 자세 유도 장치
120: 카메라
130: 디스플레이
140: 스피커
200: 정면 얼굴 자세 유도 장치

Claims (8)

  1. 3차원 깊이 카메라와 연결되어, 상기 3차원 깊이 카메라로부터 얼굴 깊이 이미지를 수신하는 인터페이스;
    입력된 얼굴 깊이 이미지를 기초로 상기 얼굴 깊이 이미지의 피치(pitch), 롤(roll), 및 요(yaw)를 추정하는 추정부;
    상기 추정된 피치, 롤, 및 요가 미리 정해진 범위 내에 있는지 판단하는 판단부;
    상기 추정된 피치, 롤, 및 요가 상기 미리 정해진 범위 밖에 있는 경우, 사용자에게 상기 미리 정해진 범위 이내로 얼굴을 상하 또는 좌우로 이동하도록 지시하는 지시부;
    미리 저장된 3차원 정면 얼굴 이미지와 상기 추정된 피치, 롤, 및 요를 3차원 회전 변환 행렬을 이용하여 3차원 얼굴 이미지를 생성하는 이미지 생성부; 및
    상기 생성된 3차원 얼굴 이미지를 디스플레이에 표시하는 이미지 표시부
    를 포함하고,
    상기 미리 정해진 범위는 +15도 내지 -15도의 범위이고,
    상기 이미지 표시부는 얼굴 자세의 확인을 위해 3차원 객체를 시각적으로 제공하는 정면 얼굴 자세를 유도하는 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 이미지 표시부는 상기 추정된 피치, 롤, 및 요를 디스플레이에 표시하는,
    정면 얼굴 자세를 유도하는 장치.
  7. 3차원 깊이 카메라와 연결되어, 상기 3차원 깊이 카메라로부터 얼굴 깊이 이미지를 수신하는 단계;
    입력된 얼굴 깊이 이미지를 기초로 상기 얼굴 깊이 이미지의 피치(pitch), 롤(roll), 및 요(yaw)를 추정하는 단계;
    상기 추정된 피치, 롤, 및 요가 미리 정해진 범위 내에 있는지 판단하는 단계;
    상기 추정된 피치, 롤, 및 요가 상기 미리 정해진 범위 밖에 있는 경우, 사용자에게 상기 미리 정해진 범위 이내로 얼굴을 상하 또는 좌우로 이동하도록 지시하는 단계;
    미리 저장된 3차원 정면 얼굴 이미지와 상기 추정된 피치, 롤, 및 요를 3차원 회전 변환 행렬을 이용하여 3차원 얼굴 이미지를 생성하는 단계; 및
    상기 생성된 3차원 얼굴 이미지를 디스플레이에 표시하는 표시하는 단계
    를 포함하고,
    상기 미리 정해진 범위는 +15도 내지 -15도의 범위이고,
    얼굴 자세의 확인을 위해 3차원 객체를 시각적으로 제공하는 단계
    를 더 포함하는 정면 얼굴 자세를 유도하는 방법.
  8. 삭제
KR1020130120355A 2013-10-10 2013-10-10 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법 KR101509934B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130120355A KR101509934B1 (ko) 2013-10-10 2013-10-10 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130120355A KR101509934B1 (ko) 2013-10-10 2013-10-10 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법

Publications (1)

Publication Number Publication Date
KR101509934B1 true KR101509934B1 (ko) 2015-04-16

Family

ID=53053168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130120355A KR101509934B1 (ko) 2013-10-10 2013-10-10 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법

Country Status (1)

Country Link
KR (1) KR101509934B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909061A (zh) * 2017-12-07 2018-04-13 电子科技大学 一种基于不完备特征的头部姿态跟踪装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006520054A (ja) * 2003-03-06 2006-08-31 アニメトリクス，インク． 不変視点からの画像照合および２次元画像からの３次元モデルの生成
JP2007241500A (ja) * 2006-03-07 2007-09-20 Toshiba Corp 顔認証装置および顔認証方法
KR20130073812A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 객체 포즈 추정을 위한 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006520054A (ja) * 2003-03-06 2006-08-31 アニメトリクス，インク． 不変視点からの画像照合および２次元画像からの３次元モデルの生成
JP2007241500A (ja) * 2006-03-07 2007-09-20 Toshiba Corp 顔認証装置および顔認証方法
KR20130073812A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 객체 포즈 추정을 위한 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909061A (zh) * 2017-12-07 2018-04-13 电子科技大学 一种基于不完备特征的头部姿态跟踪装置及方法
CN107909061B (zh) * 2017-12-07 2021-03-30 电子科技大学 一种基于不完备特征的头部姿态跟踪装置及方法

Similar Documents

Publication Publication Date Title
KR102357340B1 (ko) 얼굴 인식 방법 및 장치
EP2993614B1 (en) Method and device for facial recognition
KR101997500B1 (ko) 개인화된 3d 얼굴 모델 생성 방법 및 장치
US10268875B2 (en) Method and apparatus for registering face, and method and apparatus for recognizing face
EP3113105B1 (en) Face authentication system
CN105512632B (zh) 活体检测方法及装置
EP2842075B1 (en) Three-dimensional face recognition for mobile devices
US9372546B2 (en) Hand pointing estimation for human computer interaction
KR101956071B1 (ko) 사용자 인증 방법 및 장치
EP3156938A1 (en) Method and apparatus for face recognition
EP4099221A1 (en) Face recognition method and apparatus
JP2018524654A (ja) 活動検出方法及びデバイス、並びに本人認証方法及びデバイス
CN105654048A (zh) 一种多视角人脸比对方法
EP3825905A1 (en) Method and apparatus with liveness test and/or biometric authentication, computer program therefore and medium storing the same
EP2381415A1 (en) Person-judging device, method, and program
JP2009245338A (ja) 顔画像照合装置
KR20210069404A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
JP2012208610A (ja) 顔画像認証装置
WO2020065954A1 (ja) 認証装置、認証方法および記憶媒体
KR101795264B1 (ko) 얼굴 랜드마크 검출 장치 및 그 검증 방법
KR101509934B1 (ko) 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법
KR102325251B1 (ko) 근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법
KR20230105986A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
JP2007004534A (ja) 顔判別方法および装置ならびに顔認証装置
Gu et al. Integrating two-dimensional morphing and pose estimation for face recognition

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 5