KR100828412B1 - 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법 - Google Patents

멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법 Download PDF

Info

Publication number
KR100828412B1
KR100828412B1 KR1020060109052A KR20060109052A KR100828412B1 KR 100828412 B1 KR100828412 B1 KR 100828412B1 KR 1020060109052 A KR1020060109052 A KR 1020060109052A KR 20060109052 A KR20060109052 A KR 20060109052A KR 100828412 B1 KR100828412 B1 KR 100828412B1
Authority
KR
South Korea
Prior art keywords
face
point
face data
dimensional
data
Prior art date
Application number
KR1020060109052A
Other languages
English (en)
Inventor
손광훈
이동주
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020060109052A priority Critical patent/KR100828412B1/ko
Application granted granted Critical
Publication of KR100828412B1 publication Critical patent/KR100828412B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법에 관한 것으로, 2개의 서로 다른 3차원 얼굴 데이터 획득 장치를 이용하여 테스트용 3차원 얼굴 데이터와 데이터베이스용 3차원 얼굴 데이터를 각각 획득한 후, 상기 테스트용 3차원 얼굴 데이터와 상기 데이터베이스용 3차원 얼굴 데이터 각각에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수를 이용하여 특징점들을 추출한 다음 추출된 특징점을 가지고 포즈 보정 및 멀티 포인트 신호로 정의된 거리 함수를 전역적 특징 정보로 추출하고, 상기 테스트용 3차원 얼굴 데이터의 전역적 특징 정보와 상기 데이터베이스용 3차원 얼굴 데이터의 전역적 특징 정보를 가지고 얼굴 인식을 수행한다.
본 발명은 3차원 얼굴 데이터로부터 코끝점만 얻게 되면 얼굴의 전역적 특징을 나타내는 특징점들을 추출할 수 있고, 포즈, 조명, 표정 변화 같은 다양한 내·외적 환경 변화에 의한 영향을 적게 받으면서, 국소적 정보를 이용한 여러 가지 얼굴 특징 추출 방법들의 제반 문제점을 극복할 수 있을 뿐만 아니라, 3차원 얼굴 인식에만 국한되지 않고 3차원 객체 인식 및 의료 영상에서도 사용 가능하다.
3차원 얼굴 인식, 코끝점, 점구름 영상, 멀티 포인트 신호, 전역적 특징

Description

멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법{3D face recognition method using multiple point signature}
도 1은 본 발명에 따른 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법을 나타낸 플로차트.
도 2는 본 발명에 따라 정규화된 3차원 얼굴 공간을 나타낸 사진.
도 3은 본 발명에 따라 정규화된 3차원 얼굴 데이터의 영상을 나타낸 사진.
도 4는 본 발명에 따라 정규화된 3차원 얼굴 데이터로 형성시킨 5가지 포즈의 얼굴 영상을 나타낸 사진.
도 5는 본 발명에 따른 정규화된 3차원 얼굴 데이터로 형성시킨 5가지 포즈의 점구름 영상을 나타낸 사진.
도 6은 본 발명에서 코끝점을 찾기 위해 적용시킨 얼굴의 표면 곡률 지수 변화에 따른 대표적인 9가지 곡면 모형을 나타낸 사진.
도 7은 본 발명에서 추출한 4개의 특징점과 코끝점을 지나는 얼굴 분할 곡선을 나타낸 사진.
도 8은 본 발명에서 포즈 보정을 위해 오류 보상 특이치 분해 기법을 수행하는 과정을 나타낸 사진.
도 9는 본 발명에 따른 코끝점의 법선 벡터 N1을 나타낸 실시예.
도 10은 본 발명에 따른 코끝점의 참고 벡터 N2와 3차원 얼굴 데이터의 얼굴 표면에 투영되는 수직 거리 함수를 나타낸 실시예.
도 11은 본 발명의 반지름 변화에 따른 멀티 포인트 신호를 나타낸 그래프.
도 12는 본 발명의 3차원 얼굴 인식률 측정 결과를 나타낸 그래프.
본 발명은 3차원 얼굴 인식에 관한 것이며, 더욱 상세히는 3차원 얼굴 인식에 적합한 전역적 특징을 추출하는 멀티 포인트 신호(Multiple point signature)를 이용한 3차원 얼굴 인식 방법에 관한 것이다.
얼굴 인식 기술은 2차원 얼굴 영상을 기반으로 연구되어 왔으며, 신원 확인, 출입 통제, 감독, 데이터베이스(DB) 검색 등 다양한 분야에 활용되고 있다. 그러나 포즈, 조명, 표정 변화 같은 다양한 내·외적 환경 변화에서의 2차원 얼굴 인식 기술은 아직 만족스러운 상태가 아니며, 이를 극복하기 위해 많은 연구가 진행되고 있다. 특히 지금까지는 2차원 얼굴 영상을 기반으로 연구가 이루어졌으나, 최근에는 3차원 영상 획득 장치가 발달하면서 3차원 얼굴 데이터를 기반으로 하는 연구도 활발히 진행되고 있다.
상기와 같은 얼굴 인식 기술 중 기존에 제안된 3차원 얼굴 특징 추출 기법으로서, 곡률을 기반으로 3차원 얼굴 데이터의 특징을 추출하는 방법, 어느 한 점의 접평면과 얼굴 표면이 이루는 거리를 나타내는 포인트 신호(point signature)를 얼굴 특징으로 산출하는 방법 등과 같이 국소적 정보를 이용한 여러 가지 얼굴 특징 추출 방법들이 제안되어 있다.
특히, 상기 곡률 기반 특징 추출 방법으로서, 깊이 영상(Depth image)으로부터 주요 곡률을 계산하여 특징으로 사용하는 방법, 깊이 영상으로부터 곡률을 계산한 다음 확장된 가우시안 영상(EGI; Extended Gaussian Image)을 생성하여 그 영상을 특징으로 사용하는 방법, 눈, 코, 입 등과 같은 특이점에서의 곡률과 특이점 간의 거리를 특징으로 사용하는 방법, 얼굴의 프로파일(profile)을 추출하고 추출된 프로파일(profile)의 곡률을 계산하여 특징으로 사용하는 방법 등과 같은 여러 가지 방법들이 제안되어 있다.
한편, 얼굴의 생김새와 굴곡은 사람마다 다르므로, 그 굴곡 정도를 수치적으로 계산한 곡률을 계산하여 비교하면 얼굴 인식이 가능하다. 하지만 곡률은 이차 미분을 통해 계산되기 때문에 복잡도가 커지고, 입력 데이터의 잡음에 의한 결과 변화가 심하며, 주변 데이터와의 결과 값 차이도 크다. 또한, 이러한 국소적 특징 추출 방법의 한계를 극복하기 위해 등록(Registration) 기법인 반복 최근점(ICP; Iterative closest point)을 적용시켜 보완하는 방법을 취하기도 하지만, 이 경우 계산량 및 복잡도가 증가한다.
본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 서로 다른 3차원 얼굴 데이터 획득 장치를 이용하여 테스트용 3차원 얼굴 데이터와 데이터베이스용 3차원 얼굴 데이터를 각각 획득한 후, 상기 테스트용 3차원 얼굴 데이터에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수를 이용하여 특징점들을 추출한 다음 추출된 특징점을 가지고 포즈 보정 및 멀티 포인트 신호를 정의하여 3차원 얼굴 데이터의 새로운 전역적 특징으로 추출하고, 상기 데이터베이스용 3차원 얼굴 데이터에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수를 이용하여 특징점들을 추출한 다음 추출된 특징점을 가지고 멀티 포인트 신호를 정의하여 3차원 얼굴 데이터의 새로운 전역적 특징으로 추출하여, 상기 테스트용 3차원 얼굴 데이터의 전역적 특징 정보와 상기 데이터베이스용 3차원 얼굴 데이터의 전역적 특징 정보를 가지고 얼굴 인식을 수행하는 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 상기 전역적 특징 정보를 추출함에 있어서, 3차원 얼굴 데이터의 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 표면 곡률 지수를 이용하여 추출된 코끝점의 좌표값을 가지고 3차원 얼굴 모델의 점구름 영상(Point cloud image)에서 멀티 포인트 신호를 정의하여 3차원 얼굴 데이터의 새로운 전역적 특징으로 추출하여 얼굴 인식에 사용하는 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법을 제공하는 것이다.
상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 실시예에 따른 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법은, 서로 다른 3차원 얼굴 데이터 획득 장치를 이용하여 테스트용 3차원 얼굴 데이터와 데이터베이스용 3차원 얼굴 데이터를 각각 획득하는 과정과; 상기 테스트용 3차원 얼굴 데이터에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수(shape index)를 이용하여 추출된 코끝점의 좌표값을 가지고 상기 테스트용 3차원 얼굴 모델의 포즈 보정을 수행하고, 포즈 보정된 상기 테스트용 3차원 얼굴 모델의 점구름 영상(Point cloud image)에서 코끝점의 접평면과 3차원 얼굴 데이터의 얼굴 표면이 이루는 여러 개의 수직 거리를 나타내는 멀티 포인트 신호를 정의하여 3차원 얼굴 데이터의 새로운 전역적 특징으로 추출하고, 상기 데이터베이스용 3차원 얼굴 데이터에 대하여 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수(shape index)를 이용하여 추출된 코끝점의 좌표값을 가지고 상기 데이터베이스용 3차원 얼굴 모델의 점구름 영상(Point cloud image)에서 코끝점의 접평면과 3차원 얼굴 데이터의 얼굴 표면이 이루는 여러 개의 수직 거리를 나타내는 멀티 포인트 신호를 정의하여 3차원 얼굴 데이터의 새로운 전역적 특징으로 추출하는 과정; 및 상기 테스트용 3차원 얼굴 데이터의 전역적 특징 정보와 상기 데이터베이스용 3차원 얼굴 데이터의 전역적 특징 정보를 가지고 얼굴 인식을 수행하는 과정;으로 이루어지는 것을 특징으로 한다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 더욱 상세하게 설명한다.
도 1을 참조하면, 본 발명에 따른 얼굴 인식은 서로 다른 3차원 얼굴 데이터 획득 장치에 의해 획득한 3차원 얼굴 데이터를 가지고 수행한다.
이를 위해, 가장 먼저 3D 얼굴 카메라 등과 같은 구조적 조명 방식의 얼굴 획득 장비로 테스트용 3차원 얼굴 데이터를 획득하고(S10), 360°전방향에 대한 얼굴 데이터 획득이 가능한 3차원 레이저 스캐너 등과 같은 3차원 레이저 스캔 방식 의 얼굴 획득 장비로 데이터베이스용 3차원 얼굴 데이터를 획득한다(S20).
이때, 상기 데이터베이스용 3차원 얼굴 데이터는 얼굴을 약 10만개의 점으로 표현하고, 2차원 영상에 비하여 색 성분의 변화 및 빛의 반사 등에 대해서도 얼굴의 정확한 모형이 유지되는 장점을 가지고 있으며, 3차원 꼭지점 좌표와 이에 해당되는 색상 정보로 구성되어 있고 완벽한 3차원 얼굴 모델이기 때문에 3차원 공간 이동 연산에 의해서 각 X, Y, Z축에 대해서 -90도부터 +90도까지 다양한 얼굴 포즈 생성이 가능하고, 또한 조명 변화까지 임의로 조정할 수 있다.
상기와 같이 테스트용 및 데이터베이스용 3차원 얼굴 데이터가 획득되고 나면, 상기 테스트용 3차원 얼굴 데이터를 X, Y, Z축으로 정해진 3차원 얼굴 공간에서 상기 데이터베이스용 3차원 얼굴 데이터와 같은 공간상에 놓이도록 각 축에 제한된 특정 범위 내에서 3차원 얼굴 모델로 정규화하며(S11), 이 정규화 작업은 다음과 같이 수행된다.
참고로, 도 2는 본 발명에 따라 정규화된 3차원 얼굴 공간을 나타낸 사진이고, 도 3은 본 발명에 따라 머리 영역과 얼굴 인식에 불필요한 영역을 제거하고 얼굴 영역만 남도록 정규화된 3차원 얼굴 데이터의 영상을 나타낸 사진이며, 도 4와 도 5는 본 발명에 따라 정규화된 3차원 얼굴 데이터를 Y축으로 ±15°와 ±30°로 변화시켜 형성한 5가지 포즈의 얼굴 영상과 점구름 영상을 나타낸 사진이다. 상기 점구름 영상은 한 개의 얼굴 데이터당 약 70,000개의 점들로 이루어진다.
상기 테스트용 3차원 얼굴 데이터는 기하학적인 위치 정보와 이에 해당하는 색깔 정보로 구성되어 있다. 사람에 따라 얼굴의 기하학적인 크기와 위치가 다양하 기 때문에 정규화 과정을 거치지 않은 테스트용 3차원 얼굴 데이터를 이용하여 얼굴 인식에 사용할 경우 인식률의 저하가 발생한다.
강인한 3차원 얼굴 인식을 수행하기 위하여 테스트용 3차원 얼굴 데이터는 반드시 정규화 과정이 필요하다.
3차원 얼굴 인식은 테스트용 3차원 얼굴 데이터와 데이터베이스용 3차원 얼굴 데이터가 동일한 공간상에서 수행되어야 하는데, 일반적으로 상기 테스트용 3차원 얼굴 데이터는 데이터베이스용 3차원 얼굴 데이터와는 다른 크기와 스케일로 표현될 수 있다. 즉, 입력 영상은 X, Y, Z축으로 회전 혹은 이동되어 있고, 이러한 입력에 대해서 데이터베이스 영상과의 효율적인 비교를 위해서는 동일한 좌표 공간에서 정합이 이루어져야 한다.
본 발명에서는 정규화된 3차원 얼굴 공간을 정의하고 모든 얼굴 입력 영상을 동일 공간으로 정규화하여, 스케일 변화를 보상시킬 수 있는 과정을 개시한다.
테스트용 3차원 얼굴 데이터 F가 주어졌을 때, X, Y, Z축의 범위는 다양하게 변화되므로, 테스트용 3차원 얼굴 데이터를 각 축으로 정해진 범위 내로 정규화시키는 과정이 필요하다. 이렇게 설정된 공간을 정규화된 3차원 얼굴 공간이라 정의한다. 정규화된 3차원 얼굴 공간에 대한 예를 도 2에 나타내었다.
먼저 3차원 얼굴 공간의 Z축 좌표값 정보를 정해진 범위 내로 정규화시킨 후 비례적으로 X와 Y축에 대해서 정규화 과정을 수행한다. 얼굴 영역에서 다른 구성요소와 가장 구별이 되는 요소는 코이다. 가장 큰 Z축 좌표값(Z)을 가지는 부분이 코끝이기 때문에 Z-버퍼(Z-buffer) 알고리즘을 사용하여 코끝점(NPP;Nose Peak Point)을 추출하고, 그 점을 (0, 0, Z)으로 정규화시킨다. X축과 Y축에 대해서도 동일한 과정을 수행한다. 각 축에 제한된 범위 [-σ,σ], [-ε,ε], [0,Z]로 다음 수학식 1과 같이 정규화된 3차원 얼굴 공간 좌표 함수를 얻을 수 있다. 본 발명에서는 정규화된 깊이 값 Z는 100으로 설정한다.
Figure 112006081161232-pat00001
상기 수학식 1에서 F=(Fx,Fy,Fz)는 입력되는 테스트용 3차원 얼굴 데이터의 공간 좌표이며, Fminx, Fminy, Fminz는 입력되는 테스트용 3차원 얼굴 데이터의 각 축에 대한 최소값이고, Fmaxx, Fmaxy, Fmaxz는 입력되는 테스트용 3차원 얼굴 데이터의 각 축에 대한 최대값이다.
상기와 같이 테스트용 3차원 얼굴 데이터에 대한 정규화 작업이 완료되고 나면, 상기 테스트용 3차원 얼굴 데이터에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수(shape index)를 이용하여 특징점들을 추출한 다음(S12), 추출된 특징점을 가지고 포즈 보정(S13) 및 멀티 포인트 신호를 전역적 특징 정보로 추출하고(S14), 상기 데이터베이스용 3차원 얼굴 데이터에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수를 이용하여 특징점들을 추출한 다음(S21), 추출된 특징점을 가지고 멀티 포인트 신호를 전역적 특징 정보로 추출한다(S22).
상기 테스트용 3차원 얼굴 데이터에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수(shape index)를 이용하여 특징점들을 추출한 다음(S12), 추출된 특징점을 가지고 포즈 보정(S13) 및 멀티 포인트 신호를 전역적 특징 정보로 추출하는 과정(S12,S12,S14)을 자세히 설명하면 다음과 같다.
상기 테스트용 3차원 얼굴 데이터에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수(shape index)를 이용하여 특징점들을 추출하는 과정(S12)은 다음과 같다.
본 발명에서는 테스트용 3차원 얼굴 데이터에 대해서 얼굴의 기하학적 위치 정보를 이용하여 얼굴의 특징점을 추출하며, 얼굴 표정 변화에 가장 작은 영향을 받는 코끝점(Nose peak point)을 찾기 위해서 3차원 얼굴의 기하학 정보를 이용하고, 다음으로 미간점(Center of eyebrow), 코의 최저점(Nose min point), 코끝 아래점(Nose base)을 추출하여 사용한다.
3차원 얼굴의 기하학 정보는 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값 정보와 얼굴의 표면 곡률 지수를 이용한다. 정규화된 3차원 얼굴 모델에서 얼굴 정면의 코 끝점의 좌표는 3차원 얼굴 공간의 Z축 좌표값 정보를 이용하여 Z축 방향으로 스캔했을시 가장 최대값을 가지게 된다. 하지만, 내외부적인 요인으로 인해 예를 들면, 데이터의 잡음과 턱수염, 머리, 안경, 액세서리 등에 의해 정확한 최대값을 찾을 수 없는 경우가 발생한다. 영상의 3차원 얼굴 공간의 Z축 좌표값 정보만 이용할 시 대략적인 코끝점의 좌표값은 찾을 수 있지만 정확한 좌표를 찾을 수 없다.
본 발명에서는 정확한 코끝점의 좌표값을 알기 위해서 3차원 얼굴 공간의 Z축 좌표값 정보와 표면 곡률 지수를 통합시켜 코끝점의 좌표값을 찾는 방법을 수행하였으며, 코끝점의 좌표값을 찾기 위해 다음의 몇 단계를 거친다.
테스트용 3차원 얼굴 데이터가 정면을 바라보고 있을 때, 코끝점은 가장 큰 Z축 좌표값을 가지며 코끝점을 기준으로 위로 볼록한 형태의 곡면의 중심에 존재한다. 주변 곡면에서는 곡면에 접하는 평면의 법선 벡터 변화율이 다른 영역에 비해서 커지게 되고 코끝점을 기준으로 주변 영역은 대칭성을 가진다.
하지만 얼굴 포즈 변화가 발생했을 경우 코끝점의 Z축 좌표값은 더 이상 최대가 되지 않는다. 포즈 변화가 발생했을 때, 정면 얼굴 데이터에서와 동일하게 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값 정보를 이용하여 Z축 방향으로 스캔했을시 최대 3지점을 정규화된 3차원 얼굴 모델로부터 검색하여 추출하고 코끝점 후보로 지정한다. 콧날은 코끝점을 포함하는 3차원 곡선이다. 코끝점 후보로부터 출발하여 Y축 방향으로 값을 증가시키면서 Z축 좌표값이 큰 영역을 추출한다. 그 다음 그 영역을 이루는 점들의 좌표값을 이용한 다중 선형 회귀법을 통해서 얼굴 중심면을 구하고, 이 얼굴 중심면에 하기의 수학식 2로 정의되어 얼굴 곡면 S 위의 한 점 P에서의 곡률 지수를 나타내는 표면 곡률 지수 Si(p)를 적용하여 이 얼굴 중심면과 3차원 얼굴 데이터가 교차하는 3차원 얼굴 분할 곡선, 즉 콧날 곡선에서 가장 큰 Z축 좌표값을 가지는 점을 코끝점으로 추출하고, 가장 작은 Z축 좌표값을 가지는 점을 코의 최저점으로 정한다.
Figure 112006081161232-pat00002
상기 수학식 2에서, k1(p), k2(p)는 각각 곡면 위의 한 점에서의 최대 곡률과 최소 곡률이다. 이 두 값들을 곡면 위의 점에서의 주요 곡률(principal curvatures)이라 한다. 가우스 곡률은 주요 곡률 k1(p), k2(p)의 곱과 같고, 평균 곡률은 주요 곡률 k1(p), k2(p)의 평균과 같다. 곡률 지수는 [0, 1] 범위의 값을 가지게 되며, 평면일 때 0.5의 값을 가지게 된다. 평균 곡률은 평면일 경우 0의 값을, 평면이 아닐 경우 0이 아닌 값을 가진다. 가우스 곡률은 위로 볼록(convex) 또는 아래로 볼록(concave)한 지점에서 양의 값을 가지고, 안장(saddle) 모양의 지점에서 음의 값을 가지며, 평면일 경우 0의 값을 가지게 된다.
참고로, 도 6은 본 발명에서 코끝점을 찾기 위해 적용시킨 얼굴의 표면 곡률 지수 변화에 따른 대표적인 9가지 곡면 모형을 나타낸 사진이다.
이렇게 찾아낸 특징점들의 경우, 코끝점과 코의 최저점을 지나는 Y축을 포함하는 YZ평면으로 얼굴을 수직으로 나누면 얼굴은 거의 대칭이 된다. 이 얼굴 분할 곡선에서 코의 최저점에서 (+)Y축 방향으로 완만한 깊이 값의 변화가 있게 되고 그 중 최대가 되는 점을 미간점으로 정한다. 또한, 코끝점에서 (-)Y축 방향으로 급격한 깊이 값의 변화가 있으면서 최소값인 지점이 코끝의 아래점으로 정의된다.
도 7은 본 발명에서 추출한 4개의 특징점과 코끝점을 지나는 얼굴 분할 곡선 을 나타낸 사진이다.
상기와 같이 테스트용 3차원 얼굴 데이터에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수(shape index)를 이용하여 특징점들을 추출한 상태에서 상기 테스트용 3차원 얼굴 데이터에 대해 오류 보상 특이치 분해(EC-SVD) 기법으로 얼굴 포즈 변화를 추정하여 보정하는 과정(S13)은 다음과 같다.
대부분의 얼굴 인식에서 얼굴은 정면을 가정하는 반면 포즈 변화로 인한 효과는 많이 고려하지 않고 있다. 심지어 3차원 얼굴 인식 연구에서도 얼굴 포즈 추정과 3차원 공간 정규화 과정이 필수적인 반면, 포즈 변화의 효과는 고려하지 않고 있다. 정확한 얼굴 포즈 추정은 포즈 변화에 강인한 인식을 가능하게 할 뿐만 아니라 얼굴 인식 성능에 큰 영향을 준다. 본 발명에서는 얼굴 포즈 변화를 보정하기 위해 오류 보상 특이치 분해(EC-SVD) 기법을 사용하였다.
오류 보상 특이치 분해 기법은 특이치 분해 기반으로 초기 얼굴 포즈를 추정한다. 이를 통해서 얻어진 회전각을 통하여 더 정확한 얼굴 포즈 추정값을 얻기 위하여 정규화된 3차원 얼굴 공간에서 오류 보상 과정을 수행하여 포즈 변화 추정을 더 정확하게 수행할 수 있다.
특이치 분해 과정을 통한 회전각 추정은 다음과 같이 수행된다.
먼저 입력 영상으로부터 4개의 얼굴 특징점 pi=(xi,yi,zi), i=1,2,3,4의 3차원 좌표를 얻은 후, 데이터베이스용 3차원 얼굴 데이터 중 3차원 기준 얼굴 데이터 의 특징점을 qi=(xi,yi,zi)라고 하면, 하기의 수학식 3과 같은 관계를 얻을 수 있다.
Figure 112006081161232-pat00003
여기서 RSVD는 특이치 분해를 통하여 얻은 회전 행렬이고 t는 전이 벡터이다. RSVD와 t를 얻기 위해서는 특이치 분해 기법을 통하여 하기의 수학식 4의 최소 자승 문제를 해결함으로써 가능하다.
Figure 112006081161232-pat00004
RSVD는 3×3 회전행렬로서, RSVD T = RSVD -1의 성질을 갖는다. 또한, 얼굴 중심을 원점으로 옮김으로써 전이 벡터는 추후 보상될 수 있다.
상기와 같이 회전 행렬을 얻고 나면, 입력 특징점, 즉 테스트용 3차원 얼굴 데이터의 특징점과 데이터베이스의 특징점, 즉 데이터베이스용 3차원 얼굴 데이터의 특징점과의 공분산 행렬 M을 하기의 수학식 5 내지 수학식 7을 통해 얻는다.
Figure 112006081161232-pat00005
Figure 112006081161232-pat00006
Figure 112006081161232-pat00007
상기 수학식 5에서
Figure 112006081161232-pat00008
와
Figure 112006081161232-pat00009
는 얼굴 특징점 집합 {pi}와 {qi}의 중심점이다.
상기 수학식 7로부터 얻어진 공분산 행렬 M으로부터 회전 행렬 RSVD는 하기의 수학식 8을 만족해야 한다.
Figure 112006081161232-pat00010
여기서, 행렬 Q에 대하여 특이치 분해 과정을 수행하면 하기의 수학식 9를 얻는다.
Figure 112006081161232-pat00011
여기서 λi와 υi는 각각 고유값과 고유 벡터를 나타낸다. 따라서 행렬 Q에 대한 역 자승근은 하기의 수학식 10과 같다.
Figure 112006081161232-pat00012
여기서 υi -1 =υi T 이다. 따라서 상기 수학식 10을 상기 수학식 8에 대입하면 RSVD를 구할 수 있다.
특이치 분해를 통하여 얻어진 회전각을 기반으로 오류를 보상하는 방식은 도 8과 같이 각 축마다 발생되는 오류를 얼굴의 특징점과 정규화된 3차원 얼굴 공간을 이용하여 보상하는 것이다. 이 과정을 위해서 특이치 분해로부터 얻은 결과를 포함하여 새로운 완전 회전 행렬 R을 다음의 수학식 11과 같이 정의할 수 있다.
Figure 112006081161232-pat00013
여기서,
Figure 112006081161232-pat00014
,
Figure 112006081161232-pat00015
,
Figure 112006081161232-pat00016
이며,
Figure 112006081161232-pat00017
,
Figure 112006081161232-pat00018
그리고
Figure 112006081161232-pat00019
는 각 축으로 보상되어야 할 회전 행렬을 나타낸다. 따라서 완전 회전 행렬 R을 이용하면 하기의 수학식 12와 같은 식으로 전개된다.
Figure 112006081161232-pat00020
여기서 f'i는 회전된 입력 영상에서의 특징점이고, fi는 정면 영상일 경우의 얼굴의 특징점을 나타낸다. 결국 전이 벡터 t도 얼굴 중심을 원점으로 이동함으로써 보상될 수 있다. 따라서 하기의 수학식 13을 통하여 회전 행렬을 구한다.
Figure 112006081161232-pat00021
상기 수학식 13에서 알 수 있듯이 정규화된 3차원 얼굴 공간에서 X, Y, Z축의 순서로 포즈 오류 보상을 독립적으로 계산한다. 포즈 오류 보상은 도 8을 참조하여 각 축에 대해서 설명하도록 하겠다.
먼저 X축에 대한 얼굴 포즈 보상 과정은 다음과 같다.
특이치 분해 과정으로부터 얻은
Figure 112006081161232-pat00022
각도만큼 회전한 후, X축에 존재하는 오류 θX를 보상하기 위해서 X축 회전 행렬만을 고려한다. 본 발명에서 적용한 중요한 얼굴의 특징은 코끝점이다. 데이터베이스용 얼굴들을 포함한 입력 얼굴의 코끝점은 정면에서 고정점 n(0,0,z)로 정규화된다. 본 발명에서 사용한 정규화된 깊이 값은 100이다. 따라서, 코끝점은 본 발명에서 정의하고 있는 정규화된 3차원 얼굴 공간에서 X축으로 역회전시 XZ 평면상의 점 n'(x,0,z')에 존재해야 한다. 이는 입력 영상의 코끝점을 n(x,y,z)라고 하면 하기의 수학식 14를 통해서 구할 수 있다.
Figure 112006081161232-pat00023
회전행렬의 성질에서 역행렬은 전치 행렬과 동일하다. 따라서 X축에 대한 회전 행렬은 하기의 수학식 15 및 수학식 16과 같이 표현할 수 있다.
Figure 112006081161232-pat00024
Figure 112006081161232-pat00025
상기 수학식 15의 성질을 이용하여 상기 수학식 16을 풀면 하기의 수학식 17처럼 X축에 존재하는 오류 θX를 얻는다.
Figure 112006081161232-pat00026
X축에 대한 오류를 보상하고 난 후 Y축에 존재하는 오류 θY를 보상하기 위해서는 θX와 유사하게 수행된다. 즉, 코끝점이 X축으로의 보상으로 인해 XZ평면의 점 n'(x,0,z')에 있다고 가정할 경우, Y축 회전에 의해서는 코끝점이 Z축 선상의 점 n"(0,0,z")에 놓여야 한다. 따라서 하기의 수학식 18과 수학식 19가 성립된다.
Figure 112006081161232-pat00027
Figure 112006081161232-pat00028
상기 수학식 19를 풀면 하기의 수학식 20과 같은 Y축에 존재하는 오류 θY를 얻는다.
Figure 112006081161232-pat00029
Z축에 대한 오류를 보상하기 위해서는 더 이상 코끝점을 사용할 수 없다. 이는 이미 코끝점이 Z축 선상에 존재하기 때문에 Z축에 대한 회전 행렬에 영향을 받지 않기 때문이다. 따라서 본 발명에서는 얼굴 특징의 정규 벡터를 이용하여 Y축과의 이루어진 각을 얻음으로써 오류를 보상할 수 있다. 이를 위해서 코끝의 최저점과 미간점을 이은 벡터와 Y축과 이루는 각도를 구한다. 얼굴 특징점을 연결하는 벡터를
Figure 112006081161232-pat00030
라고 하면 정규화된 벡터는 하기의 수학식 21과 같이 표현된다.
Figure 112006081161232-pat00031
여기서
Figure 112006081161232-pat00032
이다. 따라서 Y축에 존재하는 오류 θZ는 하기의 수학식 22 및 수학식 23으부터 얻을 수 있다.
Figure 112006081161232-pat00033
Figure 112006081161232-pat00034
상기와 같이 테스트용 3차원 얼굴 데이터에 대해 오류 보상 특이치 분해(EC-SVD) 기법으로 얼굴 포즈 변화를 추정하여 보정한 상태에서, 테스트용 3차원 얼굴 데이터의 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 표면 곡률 지수를 이용하여 정규화된 3차원 얼굴 모델로부터 추출된 코끝점의 좌표값을 가지고 상기 테스트용 3차원 얼굴 모델의 점구름 영상(Point cloud image)에서 코끝점의 접평면과 3차원 얼굴 데이터의 얼굴 표면이 이루는 여러 개의 수직 거리를 나타내는 멀티 포인트 신호를 정의하여 3차원 얼굴 데이터의 새로운 전역적 특징으로 추출하는 과정(S14)은 다음과 같다.
도 9 내지 도 11을 참조하면, 먼저 테스트용 3차원 얼굴 데이터의 코끝점의 위치와 점구름 영상을 이용하여 코끝점의 법선 벡터(normal vector) N1을 구한다.
도 9에 나타낸 바와 같이, 점구름 영상에서 코끝점은 코끝점 주변의 6개의 점들로 둘러싸여 있으며, 코끝점과 코끝점 주위의 2개의 점들은 각각 삼각형을 이룰 수 있고, 각 삼각형을 각 점들의 접평면으로 간주한다.
본 발명에서는 각각의 접평면에 해당되는 법선 벡터를 구하고, 각 법선 벡터들의 평균값을 구한다. 각 법선 벡터들의 평균값을 코끝점의 법선 벡터 N1으로 정의한다.
두 번째로 도 10에 나타낸 참고 벡터(Reference vector) N2는 코끝점의 법선 벡터 N1에 수직인 접선 벡터로 접평면 위에 존재하고, 벡터 N1과 N2의 내ㆍ외적으로 구한다. 참고 벡터 N2 방향으로 거리 R 만큼의 길이를 정한 후, 360도 시계 방향으로 회전시킨다. 이 경우 중심이 코끝점이고, 반지름이 R인 코끝점의 접평면을 포함하는 원이 생기게 된다.
세 번째로 코끝점의 접평면을 포함하는 반지름 R인 원을 3차원 얼굴 데이터의 얼굴 표면에 수직으로 투영시킨다. 코끝점의 접평면을 포함하는 반지름 R인 원과 3차원 얼굴 데이터의 얼굴 표면에 수직으로 투영되는 거리를 측정하여 얼굴 표면의 굴곡 정도를 획득한다. 측정된 거리를 360도 펼쳐놓게 되면 각도에 따른 1차 원 신호(signature)로 표현할 수 있다. 도 10은 코끝점의 참고 벡터 N2와 3차원 얼굴 데이터의 얼굴 표면에 투영되는 수직 거리를 나타내고 있다.
세 번째 단계까지 종래의 포인트 신호(point signature) 방식과 법선 벡터를 구하는 방식의 차이는 있지만 상당히 유사하다. 하지만 종래의 포인트 신호(point signature) 방식의 경우 하나의 신호(signature)를 사용하여 얼굴의 국소적인 영역의 특징을 표현하는데 한정되고, 3차원 얼굴 데이터 잡음에 의한 영향 및 장신구 등에 의한 영향이 크게 작용할 수 있다. 종래 기술에서 언급한 바와 같이, 얼굴 인식을 수행할 경우 에러 허용밴드(Error tolerance band)와 등록(Registration) 기법을 적용시켜야 하므로 계산량 및 복잡도가 증가한다. 따라서 본 발명에서는 종래의 포인트 신호(point signature) 방식의 단점을 극복하고 여러 개의 신호(signature)로 표현되어 얼굴의 전역적 특징을 나타낼 수 있는 멀티 포인트 신호(Multiple Point Signature) 방식을 제안하였다.
네 번째로 중심이 코끝점이고 반지름이 R인 원을 얼굴 표면의 전역적 굴곡 정도를 측정하기 위해서 반지름이 R, 2R, 3R, 4R을 가지는 원으로 확장시킨다. 각 반지름에 따라 코끝점이 중심인 여러 개의 원을 얻게 된다. 코끝점의 접평면을 포함하는 반지름이 R, 2R, 3R, 4R을 가지는 원을 3차원 얼굴 데이터의 얼굴 표면에 투영시켜 측정한 여러 개의 수직 거리 d1, d2, d3, d4을 1차원 신호(signature)이긴 하지만 연속적인 거리 함수 d(θi)로 표현되어 얼굴의 전역적 특징을 나타내는 멀티 포인트 신호로 정의한다. 도 11의 (a)와 (b)는 반지름 변화에 따른 멀티 포인트 신호(Multiple Point Signature)를 나타내고 있다.
마지막으로 상기와 같이 정의된 멀티 포인트 신호(Multiple Point Signature)는 1차원 신호(signature)이긴 하지만 연속적인 거리 함수 d(θi)로 표현되므로 얼굴 인식을 위한 정합을 하는 과정에서 어려움이 따른다. 따라서, 정합을 쉽게 하기 위해 1차원으로 표현된 신호(signature)를 양자화시키는 과정이 필요하다. 양자화의 크기는 입력 영상과 데이터베이스 얼굴 영상의 해상도에 따라 결정된다. 본 발명에서는 Δθ=10°로 샘플링하여 36개의 값을 가지고 실험을 수행하였다. 양자화된 거리 함수 d(θi)는 i=1,…,nθ, 0≤θi≤360로 표현된다. 여기서 nθ는 샘플 개수이다.
다른 한편, 상기 데이터베이스용 3차원 얼굴 데이터에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수를 이용하여 특징점들을 추출한 다음, 추출된 특징점을 가지고 멀티 포인트 신호를 전역적 특징 정보로 추출하는 과정(S21,S22)은 상기한 테스트용 3차원 얼굴 데이터에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수(shape index)를 이용하여 특징점들을 추출한 다음(S12), 추출된 특징점을 가지고 포즈 보정(S13) 및 멀티 포인트 신호를 전역적 특징 정보로 추출하는 과정(S12,S12,S14) 중 포즈 보정(S13) 과정을 제외하고 모두 동일하게 수행된다.
상기와 같이 테스트용 3차원 얼굴 데이터와 상기 데이터베이스용 3차원 얼굴 데이터 각각에 대한 전역적 특징 정보가 추출되고 나면, 이들 테스트용 3차원 얼굴 데이터의 전역적 특징 정보와 상기 데이터베이스용 3차원 얼굴 데이터의 전역적 특징 정보를 가지고 얼굴 인식을 수행한다(S30).
본 발명에 따른 멀티 포인트 신호(Multiple Point Signature)의 경우 여러 개의 궤적을 지닌 1차원 신호(Signature)로 표현된다. 본 발명에서는 3차원 얼굴 데이터의 코끝점만을 알게 되면 얼굴 표면의 전역적 굴곡 정도를 나타낼 수 있고, 여러 개의 신호(signature)로 표현되기에 잡음에 강인한 모습을 볼 수 있다.
얼굴의 전역적 특징을 나타내고 잡음에 대한 영향을 최소화시킨 멀티 포인트 신호(Multiple Point Signature)의 경우 포즈 변화에도 강인하고, 2차 미분 등의 복잡한 연산이 필요 없으며, 1차원 궤적을 이루는 신호(signature)이므로 빠르며 효과적으로 구할 수 있다.
얼굴 인식시에는 에러 허용밴드와 등록 기법을 사용하지 않고 단순한 거리 정합을 통하여서도 좋은 결과를 보일 수 있다. 단, 거리 정합을 할 경우 쉬프트 연산이 필요하게 된다. 3차원 얼굴 데이터마다 코끝점의 법선 벡터와 참고 벡터의 방향이 다르기 때문에 참고 벡터를 360도 회전시켰을 경우 초기값의 변화가 따르게 된다.
본 발명에서는 입력 영상, 즉 테스트용 3차원 얼굴 데이터의 거리 함수 dtest(θi)와 데이터베이스용 3차원 얼굴 데이터의 거리 함수 ddb(θi)간의 거리 정합이 최소가 되는 값을 찾아서 정합을 시킴으로써 얼굴 인식을 승인한다. 거리 정합 시 θj만큼의 쉬프트 연산이 발생할 수 있고 하기의 수학식 24와 같이 표현된다.
Figure 112006081161232-pat00035
참고로, 도 12는 본 발명에 따른 3차원 얼굴 인식률 측정 결과를 나타낸 그래프로서, 연세대학교 생체인식 연구 센터의 3차원 얼굴 DB 100명의 총 5가지 포즈 변화를 가진 얼굴 데이터 500개에 대하여 동일한 실험 조건으로 거리 정합을 통한 얼굴 인식을 수행해 본 결과, 기존의 국소적 영역으로 제한되었던 포인트 신호(point signature)를 이용하는 얼굴 인식의 경우 85.4%의 인식률을 보였고, 기존의 표면 곡률 지수만을 사용한 경우 83%의 인식률을 보였으나, 본 발명에 따른 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법은 93.8%의 인식률을 보였다.
이상에서 설명한 본 발명에 따른 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양하게 변경하여 실시할 수 있는 범위까지 그 기술적 정신이 있다.
상술한 바와 같은 본 발명은 3차원 얼굴 데이터로부터 코끝점만 얻게 되면 얼굴의 전역적 특징을 나타내는 특징점들을 추출할 수 있고, 포즈, 조명, 표정 변화 같은 다양한 내·외적 환경 변화에 의한 영향을 적게 받으면서, 국소적 정보를 이용한 여러 가지 얼굴 특징 추출 방법들의 제반 문제점을 극복할 수 있다.
실제로, 연세대학교 생체인식 연구 센터의 3차원 얼굴 DB 100명의 총 5가지 포즈 변화에 대하여 동일한 실험 조건으로 거리 정합을 통한 얼굴 인식을 수행해 본 결과, 기존의 국소적 영역으로 제한되었던 포인트 신호(point signature)를 이용하는 얼굴 인식의 경우 85.4%의 인식률을 보였고, 표면 곡률 지수만을 사용한 경우 83%의 인식률을 보였으나, 본 발명에 따른 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법은 93.8%의 인식률을 보였다.
또한, 본 발명은 3차원 얼굴 인식에만 국한되지 않고 3차원 객체 인식 및 의료 영상에서도 사용 가능하다.

Claims (8)

  1. 서로 다른 3차원 얼굴 데이터 획득 장치를 이용하여 테스트용 3차원 얼굴 데이터와 데이터베이스용 3차원 얼굴 데이터를 각각 획득하는 과정과;
    상기 테스트용 3차원 얼굴 데이터에 대하여 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수(shape index)를 이용하여 추출된 코끝점의 좌표값을 가지고 상기 테스트용 3차원 얼굴 모델의 포즈 보정을 수행하고, 포즈 보정된 상기 테스트용 3차원 얼굴 모델의 점구름 영상(Point cloud image)에서 코끝점의 접평면과 3차원 얼굴 데이터의 얼굴 표면이 이루는 여러 개의 수직 거리를 나타내는 멀티 포인트 신호를 정의하여 3차원 얼굴 데이터의 새로운 전역적 특징으로 추출하고, 상기 데이터베이스용 3차원 얼굴 데이터에 대하여 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수(shape index)를 이용하여 추출된 코끝점의 좌표값을 가지고 상기 데이터베이스용 3차원 얼굴 모델의 점구름 영상(Point cloud image)에서 코끝점의 접평면과 3차원 얼굴 데이터의 얼굴 표면이 이루는 여러 개의 수직 거리를 나타내는 멀티 포인트 신호를 정의하여 3차원 얼굴 데이터의 새로운 전역적 특징으로 추출하는 과정; 및
    상기 테스트용 3차원 얼굴 데이터의 전역적 특징 정보와 상기 데이터베이스용 3차원 얼굴 데이터의 전역적 특징 정보를 가지고 얼굴 인식을 수행하는 과정;
    으로 이루어지는 것을 특징으로 하는 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법.
  2. 제 1 항에 있어서, 상기 전역적 특징 정보를 추출하는 과정에서는,
    테스트용 3차원 얼굴 데이터를 X, Y, Z축으로 정해진 3차원 얼굴 공간에서 상기 데이터베이스용 3차원 얼굴 데이터와 같은 공간상에 놓이도록 각 축에 제한된 특정 범위 내로 정규화시키는 것을 특징으로 하는 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법.
  3. 제 1 항에 있어서, 상기 전역적 특징 정보를 추출하는 과정에서는,
    테스트용 및 데이터베이스용 3차원 얼굴 데이터의 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상과 얼굴의 표면 곡률 지수를 이용하여 코끝점을 추출하는 것을 특징으로 하는 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법.
  4. 제 3 항에 있어서, 상기 전역적 특징 정보를 추출하는 과정에서는,
    테스트용 및 데이터베이스용 3차원 얼굴 데이터가 정면을 바라보고 있을 때, 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값에 기반하여 생성한 영상을 이용하여 Z축 방향으로 스캔했을시 가장 최대값을 가지는 지점을 코끝점으로 추출하는 것을 특징으로 하는 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법.
  5. 제 3 항에 있어서, 상기 전역적 특징 정보를 추출하는 과정에서는,
    얼굴 포즈 변화가 발생하여 테스트용 및 데이터베이스용 3차원 얼굴 데이터가 정면을 바라보고 있지 않을 때, 정규화된 3차원 얼굴 모델에서 3차원 얼굴 공간의 Z축 좌표값 정보를 이용하여 Z축 방향으로 스캔했을시 최대 3지점을 추출하여 코끝점 후보로 지정한 후, 이들 코끝점 후보로부터 출발하여 Y축 방향으로 값을 증가시키면서 Z축 좌표값이 큰 영역을 추출한 다음 그 영역을 이루는 점들의 좌표값을 이용한 다중 선형 회귀법을 통해서 얼굴 중심면을 구하고, 이 얼굴 중심면에 하기의 수학식
    Figure 112008016406919-pat00036
    로 정의되어 얼굴 곡면 S 위의 한 점 P에서의 곡률 지수를 나타내는 표면 곡률 지수 Si(p)를 적용하여 이 얼굴 중심면과 3차원 얼굴 데이터가 교차하는 3차원 얼굴 분할 곡선, 즉 콧날 곡선에서 가장 큰 Z축 좌표값을 가지는 점을 코끝점으로 추출하는 것을 특징으로 하는 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법.
  6. 삭제
  7. 제 1 항에 있어서, 상기 전역적 특징 정보를 추출하는 과정에서는,
    테스트용 및 데이터베이스용 3차원 얼굴 데이터의 점구름 영상에서 코끝점과 코끝점 주위의 2개의 점들이 이루는 각 삼각형을 각 점들의 접평면으로 간주하고 각각의 접평면에 해당되는 법선 벡터(normal vector)들을 구하고, 각 법선 벡터들의 평균값을 코끝점의 법선 벡터 N1으로 정의한 다음, 코끝점의 법선 벡터 N1에 수직인 접선 벡터로 접평면 위에 존재하는 참고 벡터(Reference vector) N2 방향으로 거리 R 만큼의 길이를 정한 후, 360도 시계 방향으로 회전시켜 중심이 코끝점이고, 반지름이 R인 코끝점의 접평면에 포함되는 원을 생성한 다음, 중심이 코끝점이고 반지름이 R인 원을 3차원 얼굴 데이터의 전역적 굴곡 정도를 측정하기 위해서 반지름이 R, 2R, 3R, 4R을 가지는 원으로 확장시킨 후, 각 반지름에 따라 코끝점이 중심인 여러 개의 원을 얻은 다음, 코끝점의 접평면을 포함하는 반지름이 R, 2R, 3R, 4R인 원을 3차원 얼굴 데이터의 얼굴 표면에 수직으로 투영시켜 측정한 여러 개의 수직 거리 d1, d2, d3, d4을 얼굴의 전역적 특징을 나타내는 멀티 포인트 신호라 정의하고, 마지막으로 멀티 포인트 신호를 얼굴 인식 수행 시 정합을 쉽게 하기 위해 양자화하는 것을 특징으로 하는 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법.
  8. 제 1 항에 있어서, 상기 테스트용 3차원 얼굴 데이터의 전역적 특징 정보와 상기 데이터베이스용 3차원 얼굴 데이터의 전역적 특징 정보를 가지고 얼굴 인식을 수행하는 과정에서는,
    상기 테스트용 3차원 얼굴 데이터의 전역적 특징 정보를 나타내는 거리 함수와 상기 데이터베이스용 3차원 얼굴 데이터의 전역적 특징 정보를 나타내는 거리 함수 간의 정합을 통해 얼굴 인식을 승인하는 것을 특징으로 하는 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법.
KR1020060109052A 2006-11-06 2006-11-06 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법 KR100828412B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060109052A KR100828412B1 (ko) 2006-11-06 2006-11-06 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060109052A KR100828412B1 (ko) 2006-11-06 2006-11-06 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법

Publications (1)

Publication Number Publication Date
KR100828412B1 true KR100828412B1 (ko) 2008-05-09

Family

ID=39650039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060109052A KR100828412B1 (ko) 2006-11-06 2006-11-06 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법

Country Status (1)

Country Link
KR (1) KR100828412B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438011B1 (ko) * 2013-11-08 2014-09-04 수원대학교산학협력단 3차원 스캐너를 이용한 얼굴 인식 시스템
KR101798041B1 (ko) * 2016-06-29 2017-11-17 성균관대학교산학협력단 3차원 물체 인식 및 자세 추정 장치 및 그 방법
CN108090461A (zh) * 2017-12-29 2018-05-29 浙江大学宁波理工学院 基于稀疏特征的三维人脸识别方法
CN109003377A (zh) * 2018-09-13 2018-12-14 深圳阜时科技有限公司 具有3d人脸识别功能的门禁系统和控制方法
CN109543633A (zh) * 2018-11-29 2019-03-29 上海钛米机器人科技有限公司 一种人脸识别方法、装置、机器人和存储介质
CN110728196A (zh) * 2019-09-18 2020-01-24 平安科技（深圳）有限公司 一种人脸识别的方法、装置及终端设备
CN113642354A (zh) * 2020-04-27 2021-11-12 武汉Tcl集团工业研究院有限公司 人脸姿态的确定方法、计算机设备、计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004032061A2 (en) 2002-10-07 2004-04-15 Technion Research & Development Foundation Ltd. Three dimensional face recognition
WO2005038700A1 (en) * 2003-10-09 2005-04-28 University Of York Image recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004032061A2 (en) 2002-10-07 2004-04-15 Technion Research & Development Foundation Ltd. Three dimensional face recognition
WO2005038700A1 (en) * 2003-10-09 2005-04-28 University Of York Image recognition

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438011B1 (ko) * 2013-11-08 2014-09-04 수원대학교산학협력단 3차원 스캐너를 이용한 얼굴 인식 시스템
KR101798041B1 (ko) * 2016-06-29 2017-11-17 성균관대학교산학협력단 3차원 물체 인식 및 자세 추정 장치 및 그 방법
CN108090461A (zh) * 2017-12-29 2018-05-29 浙江大学宁波理工学院 基于稀疏特征的三维人脸识别方法
CN109003377A (zh) * 2018-09-13 2018-12-14 深圳阜时科技有限公司 具有3d人脸识别功能的门禁系统和控制方法
CN109543633A (zh) * 2018-11-29 2019-03-29 上海钛米机器人科技有限公司 一种人脸识别方法、装置、机器人和存储介质
CN110728196A (zh) * 2019-09-18 2020-01-24 平安科技（深圳）有限公司 一种人脸识别的方法、装置及终端设备
CN110728196B (zh) * 2019-09-18 2024-04-05 平安科技（深圳）有限公司 一种人脸识别的方法、装置及终端设备
CN113642354A (zh) * 2020-04-27 2021-11-12 武汉Tcl集团工业研究院有限公司 人脸姿态的确定方法、计算机设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
JP6507046B2 (ja) 立体物検知装置及び立体物認証装置
Szeptycki et al. A coarse-to-fine curvature analysis-based rotation invariant 3D face landmarking
US7512255B2 (en) Multi-modal face recognition
KR101007276B1 (ko) 3차원 안면 인식
Wang et al. Boundary finding with prior shape and smoothness models
JP4780198B2 (ja) 認証システム及び認証方法
KR100828411B1 (ko) 3차원 얼굴 인식을 위한 전역적 특징 추출 방법
US20160253807A1 (en) Method and System for Determining 3D Object Poses and Landmark Points using Surface Patches
US8280150B2 (en) Method and apparatus for determining similarity between surfaces
KR100828412B1 (ko) 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법
KR20110064117A (ko) 얼굴 정면포즈 판단 방법
KR20010042659A (ko) 비디오 화상으로부터의 얼굴 인식
JP2007257324A (ja) 顔モデル作成システム
CN107563323A (zh) 一种视频人脸特征点定位方法
JP5018029B2 (ja) 認証システム及び認証方法
JP4814666B2 (ja) 顔解析システム
Bronstein et al. Expression-invariant face recognition via spherical embedding
Perakis et al. Partial matching of interpose 3D facial data for face recognition
CN109074471A (zh) 一种基于主动外观模型的虹膜区域分割方法及装置
Paffenholz et al. Geo-referencing point clouds with transformational and positional uncertainties
Martins et al. Monocular head pose estimation
KR100596559B1 (ko) 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법
Attia et al. 3d point cloud coarse registration based on convex hull refined by icp and ndt
CN115496784A (zh) 一种基于归一化四维特征向量的点云配准方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120413

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130308

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee