KR101001184B1 - 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법 - Google Patents

얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법 Download PDF

Info

Publication number
KR101001184B1
KR101001184B1 KR1020090009327A KR20090009327A KR101001184B1 KR 101001184 B1 KR101001184 B1 KR 101001184B1 KR 1020090009327 A KR1020090009327 A KR 1020090009327A KR 20090009327 A KR20090009327 A KR 20090009327A KR 101001184 B1 KR101001184 B1 KR 101001184B1
Authority
KR
South Korea
Prior art keywords
face
vector
axis
dimensional
pose estimation
Prior art date
Application number
KR1020090009327A
Other languages
English (en)
Other versions
KR20100090058A (ko
Inventor
이상윤
김재희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020090009327A priority Critical patent/KR101001184B1/ko
Publication of KR20100090058A publication Critical patent/KR20100090058A/ko
Application granted granted Critical
Publication of KR101001184B1 publication Critical patent/KR101001184B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법에 관한 것으로, 얼굴 포즈 추정 대상인 3차원 얼굴 데이터로부터 얼굴 정규화 삼각 평면을 생성하고, 이 얼굴 정규화 삼각 평면의 법선 벡터를 얼굴 정규화 벡터(Nf)로 정의한 다음, 이 얼굴 정규화 벡터(Nf)를 포즈 추정을 위한 표준 벡터(S)로 옮기는 회전 행렬을 이용하여 3차원 얼굴 데이터에 대한 x축 및 y축에 대한 포즈 추정을 실행한 후, 이 3차원 얼굴 데이터의 두 눈의 최고점을 지나는 벡터를 x축 수평 단위 벡터(U)로 옮기는 회전 행렬을 이용하여 이 3차원 얼굴 데이터에 대한 z축에 대한 포즈 추정을 실행한 후, 포즈 추정 완료된 3차원 얼굴 데이터에서 다시 현재 얼굴 정규화 벡터(current_Nf)를 추출하고 이 현재 얼굴 정규화 벡터(current_Nf)와 표준 벡터(S) 사이 각(θE)이 임계치 이하가 될 때까지 상기 과정을 반복 실행한다.
본 발명에 따르면, 회전 행렬 연산을 통하여 3차원 얼굴 데이터를 인식에 적당하도록 얼굴의 전면 방향으로 용이하고 신속, 정확하게 포즈 추정을 할 수 있으며, 이로 인해 얼굴 인식률 향상을 기대할 수 있다.
3차원 얼굴 인식, 얼굴 정규화 벡터, 3차원 얼굴 포즈 추정

Description

얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법{Iterative 3D head pose estimation method using a face normal vector}
본 발명은 3차원 얼굴 인식에 관한 것이며, 더욱 상세히는 3차원 얼굴 인식을 위한 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법에 관한 것이다.
얼굴 인식 기술은 신원 확인, 출입 통제, 감독, 데이터베이스(DB) 검색 등 다양한 분야에 활용되고 있다.
일반적인 얼굴 인식은, 얼굴 영상을 획득하는 레이저 스캐너 혹은 카메라와 얼굴 인식 알고리즘을 수행하는 얼굴 인식 프로세서를 포함하는 얼굴 인식 시스템에 의해 수행되며, 상기 얼굴 인식 프로세서에 의해 수행되는 얼굴 인식 과정은, 도 1에 나타낸 바와 같이 얼굴 영역 검출 과정(S10), 얼굴 데이터의 정규화 과정(S12), 얼굴 데이터로부터의 특징 추출 과정(S14), 특징 비교 과정(S16)으로 이루어진다.
상기 얼굴 영역 검출 과정(S10)은 테스트 데이터에서 인식 대상인 얼굴과 인식 대상이 아닌 배경을 구분하여 얼굴 인식에 사용될 의미있는 정보를 가진 데이터 만을 선택하는 과정이다.
상기 얼굴 데이터의 정규화 과정(S12)은 얼굴 영역 검출 과정을 통해 검출된 얼굴 데이터의 포즈, 조명, 표정 변화 등을 감지하여 이를 보정함으로써 정확한 특징 추출을 용이하게 해주며, 각 개인의 특징이 환경 변화에 의해 변하지 않도록 하는 과정이다.
상기 특징 추출 과정(S14)은 정규화된 얼굴 데이터로부터 얼굴 인식에 적합한 특징을 추출하는 과정이다.
상기 특징 비교 과정(S16)은 얼굴 인식의 마지막 과정으로 테스트 데이터로부터 추출된 얼굴 특징과 미리 구축한 DB에서의 얼굴 특징을 비교하여 테스트 데이터가 누구인지를 판별 또는 인증하는 과정이다.
상기한 4가지 과정(S10,S12,S14,S16)을 수행하기 위한 기술은 각각 고유한 기능을 담당하면서도 서로 연관되어 있다. 다시 말해서 상기 4가지 과정(S10,S12,S14,S16)을 수행하는 각 기술은 해당 과정에서 고유한 목표를 가지고 데이터를 처리함과 동시에 그 데이터 처리 결과는 다음 과정을 수행하기 위한 기술의 복잡성을 결정한다.
실제로, 얼굴 영역 검출이 정확할수록 얼굴 데이터의 정규화가 쉽고 정확하게 이루어진다. 또한 정규화가 잘된 데이터일수록 특징 추출이 쉽고 정확한 특징 추출이 가능하며, 그 결과로 더 정확한 인식 결과를 얻을 수 있다.
특히, 얼굴 데이터의 정규화 과정에서는 얼굴 데이터의 포즈 변화에 따른 얼굴 인식률 저하를 방지하기 위해 포즈 추정 기법을 통해 얼굴 데이터를 보정함으로 써 정확한 특징 추출을 용이하게 해주며, 이러한 얼굴 포즈 추정 기법은 얼굴 인식률 향상을 위해 필요할 뿐만 아니라, 인간-로봇 상호작용(HRI: Human-Robot Interaction) 기술 혹은 인간-컴퓨터 상호작용(HCI: Human-Computer Interaction) 기술의 얼굴 인식 애플리케이션 등에 반드시 필요한 기술이다.
예컨대, 2차원 얼굴 인식에서는 얼굴 데이터의 포즈 변화에 따른 얼굴 인식률 저하를 방지하기 위해 얼굴의 전면을 향하는 z축에 대한 회전을 통한 포즈 추정 기법이 주로 연구되고 있다.
하지만, 2차원 얼굴 인식에서 얼굴의 전면을 향하는 z축에 대한 회전을 통한 포즈 추정 기법은 2차원 얼굴 데이터의 한계로 인하여 얼굴 평면을 이루는 x축 및 y축 회전에 대응하는 포즈 추정은 해결할 수 없다.
다른 한편, 3차원 얼굴 데이터를 이용한 3차원 얼굴 인식에서는 얼굴 평면을 이루는 x축 및 y축에 대한 포즈 추정 문제가 발생하여 오히려 2차원 얼굴 포즈 추정 기법보다 더 많은 3차원 얼굴 포즈 추정 문제를 초래하고 있다.
본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 얼굴 포즈 추정 대상인 3차원 얼굴 데이터로부터 얼굴 정규화 삼각 평면(face normal mesh plane)을 생성하고, 이 얼굴 정규화 삼각 평면의 법선 벡터를 얼굴 정규화 벡터(face normal vector; Nf)로 정의한 다음, 이 얼굴 정규화 벡터(Nf)를 포즈 추정을 위하여 미리 특정한 기준 방향(예컨대, 얼굴의 전면 방향)을 나타내는 표준 벡터(Standard vector; S)로 옮기는 x축 및 y축에 대한 회전 행렬을 이용하여 얼굴 포즈 추정 대상인 3차원 얼굴 데이터에 대한 x축 및 y축에 대한 포즈 추정을 실행한 후, x축 및 y축에 대한 포즈 추정이 완료된 3차원 얼굴 데이터의 두 눈의 최고점을 지나는 벡터를 x축에 수평한 수평 단위 벡터(U)로 옮기는 z축에 대한 회전 행렬을 이용하여 x축 및 y축에 대한 포즈 추정이 완료된 3차원 얼굴 데이터에 대한 z축에 대한 포즈 추정을 실행한 다음, z축에 대한 포즈 추정이 완료된 3차원 얼굴 데이터에서 다시 현재 얼굴 정규화 벡터(current_Nf)를 추출하고 이 현재 얼굴 정규화 벡터(current_Nf)와 상기 표준 벡터(S) 사이의 각(θE)이 특정한 임계치 이하가 될 때까지 상기의 과정을 반복 실행하는 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법을 제공하는 것이다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법은, 얼굴 포즈 추정 대상인 3차원 얼굴 데이터(F(fi))를 2차원 좌표계(x,y)로 투영하고, 눈 영역, 코 영역, 입 영역을 추출하는 제1과정과; 제1과정에서 추출한 눈 영역, 코 영역, 입 영역을 3차원 좌표계(x,y,z)로 역투영하고, 코 영역에서 제일 높은 점을 코끝점(NPP; Nose Peak Point)으로 찾아 3차원 좌표계(x,y,z)의 원점(0,0,0)으로 이동(translation)시키는 제2과정; 제2과정에 따른 3차원 얼굴 데이터(translated_F(f))의 두 눈의 최고점(P0,P1)과 입의 최저점(P2)으로 이루진 얼굴 정규화 삼각 평면(face normal mesh plane)을 생성하고, 이 얼굴 정규화 삼각 평면의 법선 벡터를 얼굴 정규화 벡터(face normal vector; Nf)로 정의한 다음, 이 얼굴 정규화 벡터(Nf)를 포즈 추정을 위하여 미리 특정한 기준 방향을 나타내는 표준 벡터(Standard vector; S)로 옮기는 x축 및 y축에 대한 회전 행렬을 획득하는 제3과정; 제3과정에서 획득한 x축 및 y축에 대한 회전 행렬을 이용하여 상기 3차원 얼굴 데이터(translated_F(f))에 대한 x축 및 y축에 대한 포즈 추정을 실행하는 제4과정; 제4과정에 따른 3차원 얼굴 데이터(rotated_F(f))의 두 눈의 최고점(P0',P1')과 입의 최저점(P2') 중 두 눈의 최고점(P0',P1')을 지나는 벡터(
Figure 112009007225616-pat00001
)를 x축에 수평한 수평 단위 벡터(U)로 옮기는 z축에 대한 회전 행렬을 획득하는 제5과정; 제5과정에서 획득한 z축에 대한 회전 행렬을 이용하여 상기 3차원 얼굴 데이터(rotated_F(f))에 대한 z축에 대한 포즈 추정을 실행하는 제6과정; 및 제6과정에 따른 3차원 얼굴 데이터(Error_compensated_F(f))에서 다시 현재 얼굴 정규화 벡터(current_Nf)를 추출하고 이 현재 얼굴 정규화 벡터(current_Nf)와 상기 표준 벡터(S) 사이의 각(θE)이 특정한 임계치 이하가 될 때까지 상기의 과정을 반복 실행하는 제7과정;으로 이루어지는 것을 특징으로 한다.
상술한 바와 같은 본 발명에 따르면 회전 행렬 연산을 통하여 3차원 얼굴 데이터를 인식에 적당하도록 얼굴의 전면 방향으로 용이하고 신속, 정확하게 포즈 추정을 할 수 있으며, 이로 인해 얼굴 인식률 향상을 기대할 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 더욱 상세하게 설명한다.
도 2는 본 발명에 따른 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법을 나타낸 실시예이다. 도 2에 나타낸 3차원 얼굴 포즈 추정 방법은 상기한 도 1을 참고하여 설명한 얼굴 인식 시스템의 얼굴 인식 프로세서에 의해 수행된다.
도 2를 참조하면, 가장 먼저 도 2의 (a)로 나타낸 바와 같은 얼굴 포즈 추정 대상인 3차원 얼굴 데이터(F(fi))를 도 2의 (b)와 같은 2차원 좌표계(x,y)로 투영하고, 얼굴 특징점 추출 모델인 AAM(Active Appearance Model)을 이용하여 눈 영역, 코 영역, 입 영역을 추출한다.
여기서, 상기 얼굴 포즈 추정 대상인 3차원 얼굴 데이터 F(fi)의 fi=[xi,yi,zi]T로 정의되고, i=1,…,v 로 얼굴 영역 F에서의 3차원 점(point)을 나타내고, v는 해당 점들의 수이다.
이어서, 상기와 같이 추출한 도 2의 (b)에 나타낸 바와 같은 눈 영역, 코 영역, 입 영역을 도 2의(c)에 나타낸 바와 같은 3차원 좌표계(x,y,z)로 역투영하고, 코 영역에서 제일 높은 점을 코끝점(NPP; Nose Peak Point)으로 찾아 3차원 좌표계(x,y,z)의 원점(0,0,0)으로 이동(translation)시킨다.
여기서, 상기 코끝점(NPP)은 하기의 수학식 1로 찾을 수 있다.
Figure 112009007225616-pat00002
상기 수학식 1에 있어서, fin=[xin,yin,zin]T로 정의되고, in=1,…,vn 으로 코 영역에서의 3차원 점(point)을 나타내고, vn은 상기한 AAM을 이용하여 추출한 코 영역의 3차원 점들의 수이다.
또한, 상기 코끝점(NPP)이 도 2의 (c)에 나타낸 3차원 좌표계(x,y,z)의 원점(0,0,0)으로 이동(translation)된 3차원 얼굴 데이터(translated_F(f))는 하기의 수학식 2로 나타낼 수 있다.
Figure 112009007225616-pat00003
이어서, 상기 코끝점(NPP)이 도 2의 (c)에 나타낸 3차원 좌표계(x,y,z)의 원점(0,0,0)으로 이동(translation)된 3차원 얼굴 데이터(translated_F(f))의 두 눈의 최고점(P0,P1)과 입의 최저점(P2)으로 이루진 얼굴 정규화 삼각 평면(face normal mesh plane)을 도 2의 (d)에 나타낸 바와 같이 생성하고, 도 2의 (d)에 나타낸 바와 같이, 상기 얼굴 정규화 삼각 평면의 법선 벡터를 얼굴 정규화 벡터(face normal vector; Nf)로 정의한 다음, 이 얼굴 정규화 벡터(Nf)를 포즈 추정을 위하여 미리 특정한 기준 방향(예컨대, 얼굴의 전면 방향)을 나타내는 표준 벡터(Standard vector; S)로 옮기는 x축 및 y축에 대한 회전 행렬을 획득한다. 여기서, 상기 표준 벡터(S)는 얼굴 인식 애플리케이션에 따라 기준 방향을 변경할 수 있다.
이때, 도 2의 (c)에 나타낸 상기 3차원 얼굴 데이터(translated_F(f))의 왼쪽 눈 영역의 최고점을 하기의 수학식 3으로 나타낸 바와 같이 왼쪽 눈의 최고점(P0)으로 추출하고, 오른쪽 눈 영역의 최고점을 하기의 수학식 4로 나타낸 바와 같이 오른쪽 눈의 최고점(P1)으로 추출한 후, 상기 두 눈의 최고점(P0,P1)의 중점과 상기 코끝점(NPP)을 통과하는 수직방향 프로파일(vertical profile) 라인 위의 3차원 점들중 입 영역의 최고점을 하기의 수학식 5로 나타낸 바와 같이 입의 최저점(P2)으로 추출하여 상기 두 눈의 최고점(P0,P1)과 입의 최저점(P2)으로 이루진 얼굴 정규화 삼각 평면을 생성한다.
Figure 112009007225616-pat00004
상기 수학식 3에 있어서, lil=[xil,yil,zil]T로 정의되고, il=1,…,vl 로 왼쪽 눈 영역에서의 3차원 점(point)을 나타내고, vl은 상기한 AAM을 이용하여 추출한 왼쪽 눈 영역의 3차원 점들의 수이다.
Figure 112009007225616-pat00005
상기 수학식 4에 있어서, rir=[xir,yir,zir]T로 정의되고, il=1,…,vr 로 오른쪽 눈 영역에서의 3차원 점(point)을 나타내고, vr은 상기한 AAM을 이용하여 추출한 오른쪽 눈 영역의 3차원 점들의 수이다.
Figure 112009007225616-pat00006
상기 수학식 5에 있어서, mim=[xim,yim,zim]T로 정의되고, il=1,…,vm 로 수직방향 프로파일(vertical profile) 라인에서의 3차원 점(point)을 나타내고, vm은 수직방향 프로파일(vertical profile) 라인의 3차원 점들의 수이다.
참고로, 도 3은 본 발명에 따른 얼굴 정규화 삼각 평면과 얼굴 정규화 벡터(Nf)를 나타낸 실시예로, 도 3의 (a)는 상기 두 눈의 최고점(P0,P1)과 입의 최저점(P2)으로 이루진 얼굴 정규화 삼각 평면과 코끝점(NPP) 및 얼굴 정규화 벡터(Nf)를 나타내며, 도 3의 (b)는 상기 두 눈의 최고점(P0,P1)의 중점과 상기 코끝점(NPP)을 통과하는 수직방향 프로파일(vertical profile) 라인을 나타내고, 도 3의 (c)와 (d)는 상기 얼굴 정규화 벡터(Nf), 즉 상기 얼굴 정규화 삼각 평면과 직각을 이루는 법선 벡터를 나타내고 있다.
또한, 이때 상기 얼굴 정규화 벡터(Nf)는 상기 두 눈의 최고점(P0,P1)과 입의 최저점(P2)을 이용하여 하기의 수학식 6으로 계산한다.
Figure 112009007225616-pat00007
상기 수학식 6에 있어서, 상기 얼굴 정규화 벡터 Nf=[nx,ny,nz]T로 정의된다.
또한, 이때 상기 얼굴 정규화 벡터(Nf)를 포즈 추정을 위하여 미리 특정한 기준 방향(예컨대, 얼굴의 전면 방향)을 나타내는 표준 벡터(S)로 옮기는 x축 및 y축에 대한 회전 행렬은 하기의 수학식 7로 획득한다.
Figure 112009007225616-pat00008
상기 수학식 7에 있어서, sθ=sin(θNf)이고, cθ=cos(θNf)이며, θNf는 상기 얼굴 정규화 벡터(Nf)와 표준 벡터(S)간의 회전 각으로, 도 2의 (d)에 θxy로 나타내고 있으며, 하기의 수학식 8에 의해 계산된다.
Figure 112009007225616-pat00009
상기와 같이 x축 및 y축에 대한 회전 행렬이 획득되고 나면, 이 x축 및 y축에 대한 회전 행렬을 이용하여 도 2의 (c)에 나타낸 상기 3차원 얼굴 데이터(translated_F(f))에 대한 x축 및 y축에 대한 포즈 추정을 실행하여 도 2의 (e)에 나타낸 바와 같이 x축 및 y축으로 포즈 추정된 3차원 얼굴 데이터(rotated_F(f))를 얻는다. 이에 따라서, 상기 두 눈의 최고점 P0, P1과 입의 최저점 P2는 각각 두 눈의 최고점 P0', P1'와 입의 최저점 P2'로 수정된다.
여기서, 도 2의 (e)에 나타낸 바와 같이 x축 및 y축으로 포즈 추정된 3차원 얼굴 데이터(rotated_F(f))는 하기의 수학식 9로 나타낼 수 있다.
Figure 112009007225616-pat00010
이어서, 도 2의 (e)에 나타낸 3차원 얼굴 데이터(rotated_F(f))의 두 눈의 최고점(P0',P1')과 입의 최저점(P2') 중 두 눈의 최고점(P0',P1')을 지나는 벡터(
Figure 112009007225616-pat00011
)를 x축에 수평한 수평 단위 벡터(U)로 옮기는 z축에 대한 회전 행렬을 획득한다.
이때, 도 2의 (e)에 나타낸 3차원 얼굴 데이터(rotated_F(f))의 두 눈의 최 고점(P0',P1')을 지나는 벡터(
Figure 112009007225616-pat00012
)를 x축에 수평한 수평 단위 벡터(U)로 옮기는 z축에 대한 회전 행렬은 하기의 수학식 10으로 획득한다
Figure 112009007225616-pat00013
상기 수학식 10에 있어서, θz는 도 2의 (f)에 나타낸 바와 같이, 상기 두 눈의 최고점(P0',P1')을 지나는 벡터(
Figure 112009007225616-pat00014
)와 x축에 수평한 수평 단위 벡터(U)가 이루는 각으로, 하기의 수학식 11에 의해 계산된다.
Figure 112009007225616-pat00015
상기와 같이 z축에 대한 회전 행렬이 획득되고 나면, 이 z축에 대한 회전 행렬을 이용하여 도 2의 (e)에 나타낸 상기 3차원 얼굴 데이터(rotated_F(f))에 대한 z축에 대한 포즈 추정을 실행하여 도 2의 (g)에 나타낸 바와 같이 z축으로 포즈 추정된 3차원 얼굴 데이터(Error_compensated_F(f))를 얻는다.
여기서, 도 2의 (g)에 나타낸 바와 같이 z축으로 포즈 추정된 3차원 얼굴 데이터(Error_compensated_F(f))는 하기의 수학식 12로 나타낼 수 있다.
Figure 112009007225616-pat00016
이어서, 도 2의 (g)에 나타낸 3차원 얼굴 데이터(Error_compensated_F(f))에서 다시 현재 얼굴 정규화 벡터(current_Nf)를 추출하고 이 현재 얼굴 정규화 벡터(current_Nf)와 상기 표준 벡터(S) 사이의 각(θE)이 특정한 임계치 이하가 될 때까지 상기의 과정을 반복 실행한다.
이때, 도 2의 (g)에 나타낸 3차원 얼굴 데이터(Error_compensated_F(f))에서 추출한 현재 얼굴 정규화 벡터(current_Nf)와 상기 표준 벡터(S) 사이의 각(θE)은하기의 수학식 13으로 계산한다.
Figure 112009007225616-pat00017
참고로, 도 4는 본 발명에 따른 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 결과를 나타낸 실시예로서, 도 4의 (a)는 포즈 추정 전의 얼굴 포즈 추정 대상인 3차원 얼굴 데이터들을 나타내며, 도 4의 (b)는 도 4의 (a)에 나타낸 3차원 얼굴 데이터들을 인식에 적당하도록 얼굴의 전면 방향으로 정확하게 포즈 추정한 후의 3차원 얼굴 데이터를 나타내고 있다.
이상에서 설명한 본 발명에 따른 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양하게 변경하여 실시할 수 있는 범위까지 그 기술적 정신이 있다.
도 1은 일반적인 얼굴 인식 과정을 나타낸 실시예.
도 2는 본 발명에 따른 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법을 나타낸 실시예.
도 3은 본 발명에 따른 얼굴 정규화 삼각 평면(face normal mesh plane)과 얼굴 정규화 벡터(face normal vector; Nf)를 나타낸 실시예.
도 4는 본 발명에 따른 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 결과를 나타낸 실시예.

Claims (7)

  1. 얼굴 포즈 추정 대상인 3차원 얼굴 데이터(F(fi))를 2차원 좌표계(x,y)로 투영하고, 눈 영역, 코 영역, 입 영역을 추출하는 제1과정과;
    제1과정에서 추출한 눈 영역, 코 영역, 입 영역을 3차원 좌표계(x,y,z)로 역투영하고, 코 영역에서 제일 높은 점을 코끝점(NPP; Nose Peak Point)으로 찾아 3차원 좌표계(x,y,z)의 원점(0,0,0)으로 이동(translation)시키는 제2과정;
    제2과정에 따른 3차원 얼굴 데이터(translated_F(f))의 두 눈의 최고점(P0,P1)과 입의 최저점(P2)으로 이루진 얼굴 정규화 삼각 평면(face normal mesh plane)을 생성하고, 이 얼굴 정규화 삼각 평면의 법선 벡터를 얼굴 정규화 벡터(face normal vector; Nf)로 정의한 다음, 이 얼굴 정규화 벡터(Nf)를 포즈 추정을 위하여 미리 특정한 기준 방향을 나타내는 표준 벡터(Standard vector; S)로 옮기는 x축 및 y축에 대한 회전 행렬을 획득하는 제3과정;
    제3과정에서 획득한 x축 및 y축에 대한 회전 행렬을 이용하여 상기 3차원 얼굴 데이터(translated_F(f))에 대한 x축 및 y축에 대한 포즈 추정을 실행하는 제4과정;
    제4과정에 따른 3차원 얼굴 데이터(rotated_F(f))의 두 눈의 최고점(P0',P1')과 입의 최저점(P2') 중 두 눈의 최고점(P0',P1')을 지나는 벡터(
    Figure 112009007225616-pat00018
    ) 를 x축에 수평한 수평 단위 벡터(U)로 옮기는 z축에 대한 회전 행렬을 획득하는 제5과정;
    제5과정에서 획득한 z축에 대한 회전 행렬을 이용하여 상기 3차원 얼굴 데이터(rotated_F(f))에 대한 z축에 대한 포즈 추정을 실행하는 제6과정; 및
    제6과정에 따른 3차원 얼굴 데이터(Error_compensated_F(f))에서 다시 현재 얼굴 정규화 벡터(current_Nf)를 추출하고 이 현재 얼굴 정규화 벡터(current_Nf)와 상기 표준 벡터(S) 사이의 각(θE)이 특정한 임계치 이하가 될 때까지 상기의 과정을 반복 실행하는 제7과정;
    으로 이루어지는 것을 특징으로 하는 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법.
  2. 제 1 항에 있어서, 상기 제1과정에서는
    AAM(Active Appearance Model)을 이용하여 눈 영역, 코 영역, 입 영역을 추출하는 것을 특징으로 하는 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법.
  3. 제 1 항에 있어서, 상기 제3과정에서는
    상기 제2과정에 따른 3차원 얼굴 데이터(translated_F(f))의 왼쪽 눈 영역의 최고점을 왼쪽 눈의 최고점(P0)으로 추출하고, 오른쪽 눈 영역의 최고점을 오른쪽 눈의 최고점(P1)으로 추출한 후, 상기 두 눈의 최고점(P0,P1)의 중점과 상기 코끝점(NPP)을 통과하는 수직방향 프로파일(vertical profile) 라인 위의 3차원 점들중 입 영역의 최고점을 입의 최저점(P2)으로 추출하여 상기 두 눈의 최고점(P0,P1)과 입의 최저점(P2)으로 이루진 얼굴 정규화 삼각 평면을 생성하는 것을 특징으로 하는 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법.
  4. 제 1 항에 있어서, 상기 제3과정에서는
    상기 얼굴 정규화 삼각 평면의 법선 벡터를 얼굴 정규화 벡터(face normal vector; Nf)로 정의하고, 상기 두 눈의 최고점(P0,P1)과 입의 최저점(P2)을 이용하여 하기의 수학식
    Figure 112009007225616-pat00019
    으로 계산하는 것을 특징으로 하는 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법.
  5. 제 1 항에 있어서, 상기 제3과정에서는
    상기 얼굴 정규화 벡터(Nf)를 포즈 추정을 위하여 미리 특정한 기준 방향을 나타내는 표준 벡터(S)로 옮기는 x축 및 y축에 대한 회전 행렬을 하기의 수학식
    Figure 112009007225616-pat00020
    으로 획득하는 것을 특징으로 하는 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법.
  6. 제 1 항에 있어서, 상기 제5과정에서는
    상기 제4과정에 따른 3차원 얼굴 데이터(rotated_F(f))의 두 눈의 최고점(P0',P1')을 지나는 벡터(
    Figure 112009007225616-pat00021
    )를 x축에 수평한 수평 단위 벡터(U)로 옮기는 z축에 대한 회전 행렬을 하기의 수학식
    Figure 112009007225616-pat00022
    으로 획득하는 것을 특징으로 하는 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법.
  7. 제 1 항에 있어서, 상기 제7과정에서는
    상기 제6과정에 따른 3차원 얼굴 데이터(Error_compensated_F(f))에서 추출한 현재 얼굴 정규화 벡터(current_Nf)와 상기 표준 벡터(S) 사이의 각(θE)을 하기의 수학식
    Figure 112009007225616-pat00023
    으로 계산하는 것을 특징으로 하는 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법.
KR1020090009327A 2009-02-05 2009-02-05 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법 KR101001184B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090009327A KR101001184B1 (ko) 2009-02-05 2009-02-05 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090009327A KR101001184B1 (ko) 2009-02-05 2009-02-05 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법

Publications (2)

Publication Number Publication Date
KR20100090058A KR20100090058A (ko) 2010-08-13
KR101001184B1 true KR101001184B1 (ko) 2010-12-15

Family

ID=42755767

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090009327A KR101001184B1 (ko) 2009-02-05 2009-02-05 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법

Country Status (1)

Country Link
KR (1) KR101001184B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101198445B1 (ko) * 2011-08-26 2012-11-06 (주) 나인원 면접 영상 분석을 위한 장치 및 이를 위한 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103646B (zh) * 2017-04-24 2020-10-23 厦门黑镜科技有限公司 一种表情合成方法及装置
KR20220086049A (ko) 2020-12-16 2022-06-23 삼성전자주식회사 영상 처리 방법, 영상 처리 장치, 및 영상 처리를 위한 트레이닝 방법
CN113591762B (zh) * 2021-08-09 2023-07-25 重庆理工大学 一种自由角度下的安全驾驶预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
정보과학회논문지 : 소프트웨어 및 응용 제30권 제9·10호, 2003.10.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101198445B1 (ko) * 2011-08-26 2012-11-06 (주) 나인원 면접 영상 분석을 위한 장치 및 이를 위한 방법

Also Published As

Publication number Publication date
KR20100090058A (ko) 2010-08-13

Similar Documents

Publication Publication Date Title
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
US11928800B2 (en) Image coordinate system transformation method and apparatus, device, and storage medium
EP2153409B1 (en) Camera pose estimation apparatus and method for augmented reality imaging
CN110175558B (zh) 一种人脸关键点的检测方法、装置、计算设备及存储介质
CN110096925B (zh) 人脸表情图像的增强方法、获取方法和装置
US20070053590A1 (en) Image recognition apparatus and its method
JP2009525543A (ja) 二次元画像からの三次元の顔の復元
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
US11069152B2 (en) Face pose correction apparatus and method
JP2007004767A (ja) 画像認識装置、方法およびプログラム
KR101759188B1 (ko) 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법
JP7064257B2 (ja) 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
EP3198522A1 (en) A face pose rectification method and apparatus
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
US9323989B2 (en) Tracking device
CN109858433B (zh) 一种基于三维人脸模型识别二维人脸图片的方法及装置
KR102110459B1 (ko) 3차원 이미지 생성 방법 및 장치
US20120155748A1 (en) Apparatus and method for processing stereo image
KR101001184B1 (ko) 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법
Wang et al. Handling occlusion and large displacement through improved RGB-D scene flow estimation
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP2017033556A (ja) 画像処理方法及び電子機器
JP2020035290A (ja) 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム
KR101732807B1 (ko) 3차원 얼굴 비대칭 분석 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131126

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141125

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161205

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee