KR100862526B1 - 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템. - Google Patents

얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템. Download PDF

Info

Publication number
KR100862526B1
KR100862526B1 KR1020070036098A KR20070036098A KR100862526B1 KR 100862526 B1 KR100862526 B1 KR 100862526B1 KR 1020070036098 A KR1020070036098 A KR 1020070036098A KR 20070036098 A KR20070036098 A KR 20070036098A KR 100862526 B1 KR100862526 B1 KR 100862526B1
Authority
KR
South Korea
Prior art keywords
face
video
test
facial
video frame
Prior art date
Application number
KR1020070036098A
Other languages
English (en)
Inventor
오현준
정원석
이준우
오석표
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020070036098A priority Critical patent/KR100862526B1/ko
Application granted granted Critical
Publication of KR100862526B1 publication Critical patent/KR100862526B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명에는 얼굴동영상 데이터베이스 구축 방법 및 시스템과 상기 얼굴동영상 데이터베이스를 이용한 얼굴인식 방법 및 시스템이 개시되어 있다.
본 발명에 따르면, (a) 단말기로부터 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받아 얼굴인식 서버로 전송하는 단계; 및 (b) 상기 얼굴인식 서버가 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 얼굴동영상 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 한다.
따라서, 본 발명은 보다 정확한 얼굴인식을 위해 얼굴동영상 입력을 통하여 보다 다양한 얼굴 포즈각도를 갖는 데이터베이스를 구축할 수 있음에 따라, 보다 간편하고 신속하게 얼굴 인식을 수행할 수 있는 효과가 있다.
얼굴, 인식, 얼굴 동영상, 얼굴 데이터베이스

Description

얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를 이용한 얼굴 인식 방법 및 시스템.{Method and system constructing moving image database and Face recognition method and system using the same}
도 1는 본 발명에 따른 얼굴동영상 데이터베이스 구축 시스템 및 이를 이용한 일굴 인식시스템을 도시한 것이다.
도 2은 본 발명에 따른 얼굴동영상 데이터베이스의 구조를 나타낸 것이다.
도 3는 본 발명에 따른 얼굴동영상 데이터베이스 구축시의 얼굴 포즈각도의 측정 기준 축을 도시한 것이다.
도 4는 본 발명에 따른 얼굴인식서버가 기준 얼굴동영상 프레임과 시험 얼굴 영상 프레임을 서로 대응시키는 것을 도시한 것이다.
그리고, 도 5는 본 발명에 따른 얼굴인식서버가 기준 얼굴동영상 프레임과 시험 얼굴 동영상 프레임을 서로 대응시키는 것을 도시한 것이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100 : 단말기 200 : 얼굴인식서버
210 : 기준 얼굴 포즈 각도 추출부 220 : 시험 얼굴 포즈 각도 추출부
230 : 얼굴 인식부 300 : 얼굴동영상 데이터베이스
410 : 수직축 420 : 가로축
430 : 세로축 500: 기준 얼굴동영상
610 : 시험얼굴 영상 620 : 시험 얼굴동영상
본 발명은 얼굴인식을 위하여 얼굴동영상을 이용한 얼굴동영상 데이터베이스를 구축하는 방법 및 시스템과 이를 이용한 얼굴 인식 방법 및 시스템에 관한 것이다.
얼굴인식의 일반적인 단계는 다음과 같다. 얼굴 영상이 입력으로 주어지면, 복잡한 배경으로부터 얼굴 영역만을 분리해내고, 분리된 얼굴영역으로부터 특징을 추출한다. 추출된 특징에 기반 하여 얼굴인식을 수행한다. 마지막 단계인 얼굴인식은 다시 식별(identification)과 검증(verification)으로 나눌 수 있다. 식별은 시스템에 알려지지 않은 영상이 입력으로 주어지면 시스템은 데이터베이스에 저장된 개인 중 가장 일치되는 사람을 출력해 준다. 반면, 검증은 영상뿐 아니라 개인 식별 정보를 함께 입력하여, 시스템이 이를 검증하여 개인확인 또는 거절을 결정한다.
얼굴검출은 얼굴을 포함하는 최소영역을 찾아내는 것을 말하며, 응용에 따라 얼굴의 정확한 경계영역을 찾는 것을 포함할 수 있다. 최근에는 피부색 컬러 모델링을 통해 얼굴의 후보 영역을 찾고, 얼굴의 지형적 특징에 근거한 단계적 분석을 통해 얼굴영역을 확정 짓는다.
인식단계에서는 매칭성능을 높이기 위해서는 얼굴영상을 효과적으로 표현하고 정규화 하는 과정이 필요하다. 얼굴영상을 표현하기 위해서 얼굴의 모양정보 및 텍스춰정보를 벡터화 한다. 모양정보는 얼굴 요소 즉, 눈, 코, 입 등과 같은 얼굴요소 간의 지형적 특징으로, 거리, 비율 등의 정보가 이에 해당한다. 텍스춰정보로는 얼굴 영역내의 밝기 정보 자체로써 표현한다. 모양정보를 이용한 얼굴인식은 먼저, 눈, 코, 입과 같은 얼굴요소를 정확히 추출하는 것이 선행되어야 하는데, 이는 실제로 매우 어려운 문제로서 얼굴 인식 기술에는 거의 적용되지 않고 있다. 대표적인 모양정보를 이용한 얼굴인식 기법에는 그래프 매칭 방법이 있다. 이를 제외하고는 대부분 얼굴영역 전체를 텍스춰정보로 사용하는 기법의 인식률이 높은 것으로 보고되고 있으며, 특히, 최근에는 얼굴요소 영역 기반 방식이 높은 인식률을 보고 하고 있다.
얼굴의 벡터표현 하는 방법은 2차원의 얼굴영상을 1차원 벡터로 표현하는 것으로서, 각 픽셀값을 차례대로 나열하는 방법이다. 이러한 방법은 위치변환 및 포즈변화에 매우 민감하며, 저장 공간이 많이 요구된다. 128*128영상의 경우에는 2의14승의 바이트가 필요하며, 무엇보다도 벡터의 차원이 매우 커짐에 따라 학습을 효과적으로 수행할 수 없다. 따라서 고차원의 얼굴영상 벡터를 효과적으로 표현하기 위한 특징추출이 반드시 요구되어 진다. 이에 주성분 분석 기법(PCA)이 주로 사용된다.
또한, 정규화 과정이 필요한데 정규화 과정은 다음과 같다. 첫째, 어파인(affine)변환을 수행한다. 둘째, 영상의 밝기 정보를 조정하고 셋째, 배경 및 머 리카락의 영향을 줄이기 위해 타원 매스크를 적용한다. 어파인 변환에는 이동, 크기조정, 회전 변환을 포함한다. 두 눈을 기준으로 얼굴영상이 수직이 되도록 회전하고, 다시 일정한 크기로 변환한 후, 두 눈이 항상 일정한 위치에 오도록 이동한다. 영상의 밝기 정보는 비선형 변환인 히스토그램 평활화를 적용하여 조정한다. 히스토그램 평활화를 통해 어느 정도 영상의 밝기에 무관한 얼굴영상을 얻을 수 있다. 그러나, 조명변화에 따른 그림자 효과는 제거할 수 없다.
포즈변화 등에 강인하게 인식을 수행하고, 용량을 줄이기 위하여 특징을 추출하는 기법이 사용된다. PCA(Principal Component Analysis)기법은 기저벡터로써 공분산 행렬의 고유벡터를 찾는 문제이고, LDA(Linear Discriminant Analysis)는 클래스내의 분산은 작아지고 각 클래스의 평균간 거리는 멀어지도록 하는 기저벡터를 찾는 문제이다. LDA기법에서는 일반적으로 얼굴 벡터의 차원이 매우 크기 때문에 PCA를 적용한 후 다시 LDA를 적용한다.
얼굴 인식을 위한 인식기로는 NNC(nearest neighbor classifier), NN(neural network)등이 주로 사용되며, 최근에는 SVM(support vector machine)을 이용하고 있다. 평가방법론으로는 FERET과 XM2VTS가 사용되고 있다.
상기와 같은 얼굴 추출하고 인식하며 식별하고 검증하는 일련의 단계에서 일반적인 정지영상을 사용하여 왔다. 그렇지만, 이 경우, 포즈변화에 민감하게 되고 주성분 분석 기법을 사용하더라도 일정한 한계가 있다. 즉, 정지영상과 비교되는 시험 영상의 포즈가 서로 같다는 보장이 없어 얼굴 인식률이 떨어지는 문제점이 있다.
요컨대 기준영상에 포함된 얼굴은 앞모습뿐이지만 시험영상에 포함된 얼굴은 옆 모습인 경우에, 주성분 분석 기법을 쓰고, 얼굴 정규화 과정을 거치더라도, 앞모습과 옆 모습을 서로 비교하여 인식하는 것은 인식률이 현저히 떨어지는 단점이 있다.
따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 (a) 단말기로부터 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받아 얼굴인식 서버로 전송하는 단계; 및 (b) 상기 얼굴인식 서버가 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 얼굴동영상 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 방법을 제공하는 데 있다.
또한, 본 발명은 (a) 단말기로부터 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받아 얼굴인식 서버로 전송하는 단계; (b) 상기 얼굴인식 서버가 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 얼굴동영상 데이터베이스에 저장하는 단계; (c) 식별의 대상인 피식별자의 얼굴이 포함된 시험 얼굴 동영상을 단말기로부터 획득하여 상기 얼굴인식 서버로 전송하는 단계; (d) 상기 얼굴인식 서버가 상기 획득한 시험 얼굴 동영상을 구성하는 적어도 하나 이상의 시험 얼굴동영상 프레임에서 상기 시험 얼굴동영상 프레임에 포함된 상기 피식별자의 시험 얼굴 포즈각도를 각각 획득하고, 상기 획득된 적어도 하나 이상의 시험 얼굴 포즈각도를 상기 시험 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 시험 얼굴동영상 프레임과 함께 저장하는 단계; (e) 상기 얼굴인식서버가 적어도 하나 이상의 상기 시험 얼굴동영상 프레임정보의 시험 얼굴 포즈각도와 상응하는 기준 얼굴 포즈각도를 갖는 기준 얼굴동영상 프레임을 각각 검색하고 대응시켜 짝짓는 단계; 및 (f) 상기에서 짝지어진 기준 얼굴동영상 프레임과 시험 얼굴동영상 프레임을 서로 비교하여 판단하는 단계를 포함하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 방법을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 얼굴동영상 데이터베이스 구축방법은, (a) 단말기로부터 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받아 얼굴인식 서버로 전송하는 단계; 및 (b) 상기 얼굴인식 서버가 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 얼굴동영상 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 한다.
상기 기준 얼굴동영상은 가로흔들림(rolling), 세로흔들림(pitching), 수직축회전(yawing) 중에서 적어도 하나 이상의 움직임을 취하는 얼굴을 포함하는 동영상인 것을 특징으로 한다.
상기 기준 얼굴동영상은 카메라부를 포함하는 단말기의 입력장치가 상기 대상자의 얼굴을 동영상으로 촬영하여 입력 받는 것을 특징으로 한다.
상기 단말기의 음성안내를 통해 대상자의 상기의 움직임을 유도하는 것을 특징으로 한다.
상기 (a)단계에서 상기 대상자의 신원정보를 추가로 입력 받아 상기 얼굴인식 서버로 전송하는 것을 더 포함하고, 상기 (b)단계에서 상기 기준 얼굴동영상 데이터베이스에 상기 신원정보를 추가로 저장하는 것을 특징으로 한다.
상기 신원정보는 이름 또는 주민번호를 포함하는 것을 특징으로 한다.
상기 얼굴 포즈각도는 눈, 코 또는 입을 포함하는 얼굴의 특징부를 기준으로 하여 산출하는 것을 특징으로 한다.
상기 얼굴 포즈각도는 눈, 코 또는 입을 포함하는 얼굴의 특징부 간의 거리가 최대인 경우를 가로축 회전각 및 수직축 회전각을 0도로 하는 것을 특징으로 한다.
상기 얼굴 포즈각도는 얼굴의 양쪽 눈을 잇는 선이 수평이 되는 경우를 세로 축 회전각 0도로 하는 것을 특징으로 한다.
상기 단말기, 얼굴인식서버 및 데이터베이스는 이동통신망을 포함한 통신망으로 연결되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 얼굴동영상 데이터베이스를 이용한 얼굴인식방법은, (a) 단말기로부터 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받아 얼굴인식 서버로 전송하는 단계; (b) 상기 얼굴인식 서버가 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 얼굴동영상 데이터베이스에 저장하는 단계; (c) 식별의 대상인 피식별자의 얼굴이 포함된 시험 얼굴 영상을 단말기로부터 획득하여 상기 얼굴인식 서버로 전송하는 단계; (d) 상기 얼굴인식 서버가 상기 획득한 시험 얼굴영상에서 상기 시험 얼굴영상에 포함된 상기 피식별자의 시험 얼굴 포즈각도를 획득하고, 상기 획득된 시험 얼굴 포즈각도를 시험얼굴영상 정보로 하여 상기 시험 얼굴영상과 함께 얼굴동영상 데이터베이스에 저장하는 단계; (e) 상기 얼굴인식 서버가 상기 시험 얼굴영상 정보의 시험 얼굴 포즈각도와 상응하는 기준 얼굴 포즈각도를 갖는 기준 얼굴동영상 프레임을 검색하고 대응시켜 짝짓는 단계; 및 (f) 상기에서 짝지어진 기준 얼굴동영상 프레임과 시험 얼굴영상을 서로 비교하여 판단하는 단계를 포함하는 것을 특징으로 한다.
상기 기준 얼굴동영상은 가로흔들림(rolling), 세로흔들림(pitching), 수직축회전(yawing) 중에서 적어도 하나 이상의 움직임을 취하는 얼굴을 포함하는 동영상인 것을 특징으로 한다.
상기 기준 얼굴동영상은 카메라부를 포함하는 단말기의 입력장치가 상기 대상자의 얼굴을 동영상으로 촬영하여 입력 받는 것을 특징으로 한다.
상기 단말기의 음성안내를 통해 대상자의 상기의 움직임을 유도하는 것을 특징으로 한다.
상기 (a)단계에서 상기 대상자의 신원정보를 추가로 입력 받아 상기 얼굴인식 서버로 전송하는 것을 더 포함하고, 상기 (b)단계에서 상기 기준 얼굴동영상 데이터베이스에 상기 신원정보를 추가로 저장하는 것을 특징으로 한다.
상기 신원정보는 이름 또는 주민번호를 포함하는 것을 특징으로 한다.
상기 얼굴 포즈각도는 눈, 코 또는 입을 포함하는 얼굴의 특징부를 기준으로 하여 산출하는 것을 특징으로 한다.
상기 얼굴 포즈각도는 눈, 코 또는 입을 포함하는 얼굴의 특징부 간의 거리가 최대인 경우를 가로축 회전각 및 수직축 회전각을 0도로 하는 것을 특징으로 한다.
상기 얼굴 포즈각도는 얼굴의 양쪽 눈을 잇는 선이 수평이 되는 경우를 세로축 회전각 0도로 하는 것을 특징으로 한다.
상기 단말기, 얼굴인식서버 및 데이터베이스는 이동통신망을 포함한 통신망으로 연결되는 것을 특징으로 한다.
상기 (e)단계의 상응하는 기준 얼굴 포즈각도는 시험 얼굴 포즈각도와 일치하는 기준 얼굴 포즈각도인 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제 3 관점에 따른 얼굴동영상 데이터베이스를 이용한 얼굴인식방법은, (a) 단말기로부터 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받아 얼굴인식 서버로 전송하는 단계; (b) 상기 얼굴인식 서버가 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 얼굴동영상 데이터베이스에 저장하는 단계; (c) 식별의 대상인 피식별자의 얼굴이 포함된 시험 얼굴 동영상을 단말기로부터 획득하여 상기 얼굴인식 서버로 전송하는 단계; (d) 상기 얼굴인식 서버가 상기 획득한 시험 얼굴 동영상을 구성하는 적어도 하나 이상의 시험 얼굴동영상 프레임에서 상기 시험 얼굴동영상 프레임에 포함된 상기 피식별자의 시험 얼굴 포즈각도를 각각 획득하고, 상기 획득된 적어도 하나 이상의 시험 얼굴 포즈각도를 상기 시험 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 시험 얼굴동영상 프레임과 함께 저장하는 단계; (e) 상기 얼굴인식서버가 적어도 하나 이상의 상기 시험 얼굴동영상 프레임정보의 시험 얼굴 포즈각도와 상응하는 기준 얼굴 포즈각도를 갖는 기준 얼굴동영상 프레임을 각각 검색하고 대응시켜 짝짓는 단계; 및 (f) 상기에서 짝지어진 기준 얼굴동영상 프레임과 시험 얼굴동영상 프레임을 서로 비교하여 판단하는 단계를 포함 하는 것을 특징으로 한다.
상기 기준 또는 시험 얼굴동영상은 가로흔들림(rolling), 세로흔들림(pitching), 수직축회전(yawing) 중에서 적어도 하나 이상의 움직임을 취하는 얼굴을 포함하는 동영상인 것을 특징으로 한다.
상기 기준 얼굴동영상은 카메라부를 포함하는 단말기의 입력장치가 상기 대상자의 얼굴을 동영상으로 촬영하여 입력 받는 것을 특징으로 한다.
상기 단말기의 음성안내를 통해 대상자의 상기의 움직임을 유도하는 것을 특징으로 한다.
상기 (a)단계에서 상기 대상자의 신원정보를 추가로 입력 받아 상기 얼굴인식 서버로 전송하는 것을 더 포함하고, 상기 (b)단계에서 상기 기준 얼굴동영상 데이터베이스에 상기 신원정보를 추가로 저장하는 것을 특징으로 한다.
상기 신원정보는 이름 또는 주민번호를 포함하는 것을 특징으로 한다.
상기 얼굴 포즈각도는 눈, 코 또는 입을 포함하는 얼굴의 특징부를 기준으로 하여 산출하는 것을 특징으로 한다.
상기 얼굴 포즈각도는 눈, 코 또는 입을 포함하는 얼굴의 특징부 간의 거리가 최대인 경우를 가로축 회전각 및 수직축 회전각을 0도로 하는 것을 특징으로 한다.
상기 얼굴 포즈각도는 얼굴의 양쪽 눈을 잇는 선이 수평이 되는 경우를 세로축 회전각 0도로 하는 것을 특징으로 한다.
상기 단말기, 얼굴인식서버 및 데이터베이스는 이동통신망을 포함한 통신망 으로 연결되는 것을 특징으로 한다.
상기 (e)단계의 상응하는 기준 얼굴 포즈각도는 시험 얼굴 포즈각도와 일치하는 기준 얼굴 포즈각도인 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제 4 관점에 따른 얼굴동영상 데이터베이스 구축 시스템은 상기 단말기는 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받는 것을 특징으로 하고, 상기 얼굴인식서버는 상기 단말기로부터 기준 얼굴동영상을 전송 받고, 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 상기 얼굴동영상 데이터베이스로 전송하는 것을 특징으로 하고, 상기 얼굴동영상 데이터베이스는 상기 기준 얼굴동영상 프레임과 함께 상기 기준 얼굴동영상 프레임정보를 저장하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제 5 관점에 따른 얼굴동영상 데이터베이스를 이용한 얼굴인식 시스템은, 단말기, 얼굴인식서버 및 얼굴동영상 데이터베이스를 포함하는 얼굴동영상 데이터베이스 기반 얼굴인식 시스템으로서, 상기 단말기는 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받으며, 식별의 대상인 피식별자의 얼굴이 포함된 시험 얼굴 영상을 입력받는 것을 특징으로 하고, 상기 얼굴인식서버는 상기 단말기로부터 기준 얼굴동영상을 전송 받고, 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴 동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 상기 얼굴동영상 데이터베이스로 전송하는 기준 얼굴 포즈각도 추출부; 상기 단말기로부터 시험 얼굴 영상을 전송 받고 상기 얼굴인식 서버가 상기 획득한 시험 얼굴 영상에서 상기 시험 얼굴 영상에 포함된 상기 피식별자의 시험 얼굴 포즈각도를 획득하고, 상기 획득된 시험 얼굴 포즈각도를 시험 얼굴 영상 정보로 하여 상기 시험 얼굴 영상과 함께 얼굴동영상 데이터베이스로 전송하는 시험 얼굴 포즈 각도 추출부; 및 상기 시험 얼굴 영상 정보의 시험 얼굴 포즈각도와 상응하는 기준 얼굴 포즈각도를 갖는 기준 얼굴동영상 프레임을 상기 얼굴동영상 데이터베이스에서 각각 검색하고 대응시켜 서로 비교하여 판단하는 얼굴인식부를 포함하는 것을 특징으로 하고, 상기 얼굴동영상 데이터베이스는 상기 기준 얼굴동영상 프레임 및 기준 얼굴동영상 프레임정보와 상기 시험 얼굴 영상 및 시험 얼굴 영상 정보를 저장하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제 6 관점에 따른 얼굴동영상 데이터베이스를 이용한 얼굴인식 시스템은 상기 제 5 관점에 따른 얼굴동영상 데이터베이스를 이용한 얼굴인식 시스템에 있어서, 상기 시험 얼굴 영상은 시험 얼굴 동영상인 것을 특징으로 하고, 상기 시험 얼굴 포즈 각도 추출부는 상기 단말기로부터 시험 얼굴동영상을 전송 받고 상기 얼굴인식 서버가 상기 획득한 시험 얼굴 동영상을 구성하는 적어도 하나 이상의 시험 얼굴동영상 프레임에서 상기 시험 얼굴동영상 프레임에 포함된 상기 피식별자의 시험 얼굴 포즈각도를 각각 획득하고, 상기 획득된 적어도 하나 이상의 시험 얼굴 포즈각도를 상기 시험 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 시험 얼굴동영상 프레임과 함께 얼굴동영상 데이터베이스로 전송하는 것을 특징으로 하며, 상기 얼굴 인식부는 적어도 하나 이상의 상기 시험 얼굴동영상 프레임정보의 시험 얼굴 포즈각도와 상응하는 기준 얼굴 포즈각도를 갖는 기준 얼굴동영상 프레임을 상기 얼굴동영상 데이터베이스에서 각각 검색하고 대응시켜 서로 비교하여 판단하는 것을 특징으로 하고, 상기 얼굴동영상 데이터베이스는 상기 기준 얼굴동영상 프레임 및 기준 얼굴동영상 프레임정보와 상기 시험 얼굴동영상 프레임 및 시험 얼굴동영상 프레임정보를 저장하는 것을 특징으로 한다.
이하, 첨부도면을 참조하여 본 발명에 따른 얼굴동영상 데이터베이스 구축방법의 바람직한 실시예를 보다 상세히 설명하면 다음과 같다. 도1에는 본 발명에 따른 얼굴동영상 데이터베이스 구축 시스템을 도시한 것이다. 도1에는 단말기(100), 얼굴인식서버(200) 및 얼굴동영상 데이터베이스(300)가 포함되어 있다. 또한, 도1a에는 얼굴인식 서버의 구체적인 구성이 도시되어 있다. 도1a에 의하면, 얼굴인식서버(200)에는 기준 얼굴 포즈 각도 추출부(210), 시험 얼굴 포즈 각도 추출부(220) 및 얼굴 인식부(230)가 포함된다.
단말기로부터 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받은 얼굴인식서버의 기준 얼굴 포즈 각도 추출부(210)는 기준 얼굴동영상을 프레임별로 나누어 각 프레임에 존재하는 기준 얼굴의 포즈각도를 산출한다. 마찬가지로 시험 얼굴 영상 또는 동영상을 입력 받은 얼굴인식 서버의 시험 얼굴 포즈 각도 추출부(220)도 상기 시험 얼굴영상 또는 동영상에서 시험 얼굴 포즈 각도를 추출한다. 이 때 포즈각도의 기준축은 가로축, 세로축, 수직축을 포함한다. 도3은 상기의 가로축(420), 세로축(430), 수직축(410)을 도시하고 있다. 입력 받은 얼굴동영상은 가로흔들림(Rolling), 세로흔들림(Pitching) 및 수직축회전(Yawing)의 움직임을 갖으므로 보다 많은 매우 다양한 포즈각도의 얼굴정보를 가지고 있다. 가로축(420)을 기준으로 회전하는 움직임은 세로흔들림이며 세로축(430)을 기준으로 회전하는 움직임은 가로흔들림이다. 수직축회전은 수직축(410)을 기준으로 회전하는 움직임을 일컫는다.
단말기에서 상기의 얼굴동영상을 입력 받기 위하여 단말기에 카메라부 및 음성안내장치를 탑재하고, 음성안내를 통하여 가로흔들림(Rolling), 세로흔들림(Pitching) 및 수직축회전(Yawing)의 움직임을 대상자로 하여금 수행하도록 유도할 수 있다.
단말기에서 상기의 기준 얼굴동영상을 입력 받는 단계와 동시에 또는 그 전후에, 얼굴동영상의 신원정보인 이름 및 주민등록번호 등을 더 입력 받을 수 있다. 상기 신원정보는 얼굴동영상을 구성하는 모든 프레임에 대한 일종의 ID로서 얼굴의 신원정보로 사용되며, 상기 기준 얼굴 포즉 각도 추출부를 통하여 상기 프레임정보와 함께 프레임별로 얼굴동영상 데이터베이스에 저장된다.
도2에는 프레임, 프레임정보 및 신원정보가 얼굴동영상 데이터베이스에 기준얼굴동영상(500)으로 저장되는 예시적인 형식이 도시 되어 있다. 따라서, 기준 얼 굴동영상 프레임을 신원별로 검색하거나 또는 프레임정보에 포함된 기준 얼굴 포즈각도별로 검색하는 것이 용이하게 된다.
도3에는 얼굴 포즈각도의 기준축을 도시하고 있는데, 얼굴 포즈각도는 촬영된 이미지의 얼굴의 특징부인 양쪽 눈, 코, 입, 귀 등을 기준으로 하여 측정이 가능하다. 예를 들어, 양쪽 눈을 연결하는 선분이 수평인 경우를 세로축(430) 회전각 0도로서 기준을 잡을 수 있으며, 눈 사이의 거리 또는 눈과 입사이의 거리 등이 최대가 되는 경우는 가로축(420) 회전각 및 수직축(410) 회전각을 0도로 할 수 있다. 그 이유는 통상적인 경우 얼굴 면이 정면으로 촬영되는 경우에 촬영 이미지 상에는 양쪽의 눈 사이의 거리 또는 눈과 입 사이의 거리가 최대로 보이기 되기 때문이다.
도4에는 기준 얼굴동영상의 프레임과 시험 얼굴영상을 대응시켜 짝짓는 개념도가 도시되어 있다. 즉, 기준 얼굴 포즈각도와 시험 얼굴 포즈각도가 동일한 경우에 대응시켜 짝 지을 수 있으며, 만약, 일치하는 포즈각도가 없는 경우에는 포즈각도의 차이가 최소인 프레임을 선택하여 짝 지을 수도 있다. 또, 상기 차이가 최소인 기준 얼굴동영상 프레임이 이미 다른 시험 얼굴동영상의 프레임과 짝지어진 경우라면 상기 일치하지 않는 포즈각도를 갖는 시험 얼굴동영상 프레임은 사용하지 않을 수도 있다.
도5에는 기준 얼굴동영상의 프레임과 시험 얼굴동영상의 프레임을 프레임별로 대응시켜 짝짓는 개념도가 도시 되어 있다. 기준 얼굴 포즈각도와 시험 얼굴 포즈각도가 동일한 쌍끼리 모두 대응시켜 짝 지을 수 있다.
즉, 도4의 경우에는 시험얼굴영상(610)을 기준얼굴동영상(500)의 갑과 을의 15도/0도/10도의 프레임에 대응시켜서 시험 얼굴 영상이 누구의 것인지를 식별할 수 있다. 또한, 도5의 경우에는 시험얼굴동영상(620)의 각 시험 얼굴동영상 프레임별로 동일 또는 유사한 포즈각도를 갖는 갑과 을의 기준 얼굴동영상의 기준 얼굴동영상 프레임을 각각 대응시킨 후 인식 및 비교 판단하여 보다 정확한 인식결과를 얻을 수 있다. 이러한 비교 판단은 도1a의 얼굴인식서버(200)의 얼굴인식부(230)가 수행한다.
본 발명은 단말과 얼굴인식서버 및 데이터베이스가 유무선 통신망으로 연결되어 있다. 이에 따라, 사용자측에서는 소형의 단말만으로 높은 연산능력을 요구하는 얼굴동영상을 이용한 얼굴인식을 쉽고 빠르게 이용할 수 있게 된다. 즉, 고 사양의 서버를 별도의 위치에 설치해 놓고 운영할 수 있으므로 사용자는 입출력만 가능한 소형의 단말기만으로도 상기와 같은 높은 성능을 요구하는 프로세싱의 결과를 간편하고 신속하게 받아볼 수 있다.
따라서, 본 발명에서는 얼굴동영상을 이용함으로써 매우 다양한 포즈각도의 기준 얼굴동영상의 프레임을 확보하여 데이터베이스화할 수 있으며, 이를 이용하여 보다 용이하고 보다 정확하게 얼굴 인식을 수행할 수 있는 이점이 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다

Claims (28)

  1. (a) 단말기로부터 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받아 얼굴인식 서버로 전송하는 단계; 및
    (b) 상기 얼굴인식 서버가 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 얼굴동영상 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 방법.
  2. 제1항에 있어서,
    상기 기준 얼굴동영상은 가로흔들림(rolling), 세로흔들림(pitching), 수직축회전(yawing) 중에서 적어도 하나 이상의 움직임을 취하는 얼굴을 포함하는 동영상인 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 방법.
  3. 제1항에 있어서,
    상기 (a)단계에서 상기 대상자의 신원정보를 추가로 입력 받아 상기 얼굴인식 서버로 전송하는 것을 더 포함하고, 상기 (b)단계에서 상기 기준 얼굴동영상 데 이터베이스에 상기 신원정보를 추가로 저장하는 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 방법.
  4. 제1항에 있어서,
    상기 얼굴 포즈각도는 상기 기준 얼굴동영상 프레임 상의 눈, 코 또는 입을 포함하는 얼굴의 특징부를 기준으로 하여 산출하는 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 방법.
  5. 제4항에 있어서,
    상기 얼굴 포즈각도는 상기 기준 얼굴동영상 프레임 상의 눈, 코 또는 입을 포함하는 얼굴의 특징부 간의 거리가 최대인 경우를 가로축 회전각 및 수직축 회전각을 0도로 하는 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 방법.
  6. 제5항에 있어서,
    상기 얼굴 포즈각도는 상기 기준 얼굴동영상 프레임 상의 얼굴의 양쪽 눈을 잇는 선이 수평이 되는 경우를 세로축 회전각 0도로 하는 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 방법.
  7. (a) 단말기로부터 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받아 얼굴인식 서버로 전송하는 단계;
    (b) 상기 얼굴인식 서버가 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 얼굴동영상 데이터베이스에 저장하는 단계;
    (c) 식별의 대상인 피식별자의 얼굴이 포함된 시험 얼굴 영상을 단말기로부터 획득하여 상기 얼굴인식 서버로 전송하는 단계;
    (d) 상기 얼굴인식 서버가 상기 획득한 시험 얼굴영상에서 상기 시험 얼굴영상에 포함된 상기 피식별자의 시험 얼굴 포즈각도를 획득하고, 상기 획득된 시험 얼굴 포즈각도를 시험얼굴영상 정보로 하여 상기 시험 얼굴영상과 함께 얼굴동영상 데이터베이스에 저장하는 단계;
    (e) 상기 얼굴인식 서버가 상기 시험 얼굴영상 정보의 시험 얼굴 포즈각도와 상응하는 기준 얼굴 포즈각도를 갖는 기준 얼굴동영상 프레임을 검색하고 대응시켜 짝짓는 단계; 및
    (f) 상기에서 짝지어진 기준 얼굴동영상 프레임과 시험 얼굴영상을 서로 비교하여 판단하는 단계를 포함하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 방법.
  8. (a) 단말기로부터 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받아 얼 굴인식 서버로 전송하는 단계;
    (b) 상기 얼굴인식 서버가 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 얼굴동영상 데이터베이스에 저장하는 단계;
    (c) 식별의 대상인 피식별자의 얼굴이 포함된 시험 얼굴 동영상을 단말기로부터 획득하여 상기 얼굴인식 서버로 전송하는 단계;
    (d) 상기 얼굴인식 서버가 상기 획득한 시험 얼굴 동영상을 구성하는 적어도 하나 이상의 시험 얼굴동영상 프레임에서 상기 시험 얼굴동영상 프레임에 포함된 상기 피식별자의 시험 얼굴 포즈각도를 각각 획득하고, 상기 획득된 적어도 하나 이상의 시험 얼굴 포즈각도를 상기 시험 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 시험 얼굴동영상 프레임과 함께 저장하는 단계;
    (e) 상기 얼굴인식서버가 적어도 하나 이상의 상기 시험 얼굴동영상 프레임정보의 시험 얼굴 포즈각도와 상응하는 기준 얼굴 포즈각도를 갖는 기준 얼굴동영상 프레임을 각각 검색하고 대응시켜 짝짓는 단계; 및
    (f) 상기에서 짝지어진 기준 얼굴동영상 프레임과 시험 얼굴동영상 프레임을 서로 비교하여 판단하는 단계를 포함하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 방법.
  9. 제7항 또는 제8항에 있어서,
    상기 얼굴동영상은 가로흔들림(rolling), 세로흔들림(pitching), 수직축회전(yawing) 중에서 적어도 하나 이상의 움직임을 취하는 얼굴을 포함하는 동영상인 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 방법.
  10. 제7항 또는 제8항에 있어서,
    상기 (a)단계에서 상기 대상자의 신원정보를 추가로 입력 받아 상기 얼굴인식 서버로 전송하는 것을 더 포함하고, 상기 (b)단계에서 상기 기준 얼굴동영상 데이터베이스에 상기 신원정보를 추가로 저장하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 방법.
  11. 제7항 또는 제8항에 있어서,
    상기 얼굴 포즈각도는 상기 얼굴동영상 프레임 또는 상기 시험 얼굴영상의 눈, 코 또는 입을 포함하는 얼굴의 특징부를 기준으로 하여 산출하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 방법.
  12. 제7항 또는 제8항에 있어서,
    상기 얼굴 포즈각도는 상기 얼굴동영상 프레임 또는 상기 시험 얼굴영상의 눈, 코 또는 입을 포함하는 얼굴의 특징부 간의 거리가 최대인 경우를 가로축 회전 각 및 수직축 회전각을 0도로 하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 방법.
  13. 제7항 또는 제8항에 있어서,
    상기 얼굴 포즈각도는 상기 기준 얼굴동영상 프레임 및 상기 시험 얼굴영상의 얼굴의 양쪽 눈을 잇는 선이 수평이 되는 경우를 세로축 회전각 0도로 하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 방법.
  14. 제7항 또는 제8항에 있어서,
    상기 (e)단계의 상응하는 기준 얼굴 포즈각도는 시험 얼굴 포즈각도와 일치하는 기준 얼굴 포즈각도인 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 방법.
  15. 단말기, 얼굴인식서버 및 얼굴동영상 데이터베이스를 포함하는 얼굴동영상 데이터베이스 구축 시스템에서,
    상기 단말기는 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받는 것을 특징으로 하고,
    상기 얼굴인식서버는 상기 단말기로부터 기준 얼굴동영상을 전송 받고, 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 상기 얼굴동영상 데이터베이스로 전송하는 것을 특징으로 하고,
    상기 얼굴동영상 데이터베이스는 상기 기준 얼굴동영상 프레임과 함께 상기 기준 얼굴동영상 프레임정보를 저장하는 것을 특징으로 하는 얼굴동영상 데이터베이스구축 시스템.
  16. 제15항에 있어서,
    상기 기준 얼굴동영상은 가로흔들림(rolling), 세로흔들림(pitching), 수직축회전(yawing) 중에서 적어도 하나 이상의 움직임을 취하는 얼굴을 포함하는 동영상인 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 시스템.
  17. 제15항에 있어서,
    상기 단말기는 상기 대상자의 신원정보를 추가로 입력 받아 상기 얼굴인식 서버로 전송하는 것을 더 포함하고, 상기 얼굴 인식 서버는 얼굴동영상 데이터베이스에 상기 신원정보를 추가로 저장하는 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 시스템.
  18. 제15항에 있어서,
    상기 얼굴 포즈각도는 상기 기준 얼굴동영상 프레임 상의 눈, 코 또는 입을 포함하는 얼굴의 특징부를 기준으로 하여 산출하는 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 시스템.
  19. 제18항에 있어서,
    상기 얼굴 포즈각도는 상기 기준 얼굴동영상 프레임 상의 눈, 코 또는 입을 포함하는 얼굴의 특징부 간의 거리가 최대인 경우를 가로축 회전각 및 수직축 회전각을 0도로 하는 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 시스템.
  20. 제19항에 있어서,
    상기 얼굴 포즈각도는 상기 기준 얼굴동영상 프레임 상의 얼굴의 양쪽 눈을 잇는 선이 수평이 되는 경우를 세로축 회전각 0도로 하는 것을 특징으로 하는 얼굴동영상 데이터베이스 구축 시스템.
  21. 단말기, 얼굴인식서버 및 얼굴동영상 데이터베이스를 포함하는 얼굴동영상 데이터베이스 기반 얼굴인식 시스템으로서,
    상기 단말기는 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받으며, 식별의 대상인 피식별자의 얼굴이 포함된 시험 얼굴 영상을 입력받는 것을 특징으로 하고,
    상기 얼굴인식서버는 상기 단말기로부터 기준 얼굴동영상을 전송 받고, 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 상기 얼굴동영상 데이터베이스로 전송하는 기준 얼굴 포즈각도 추출부;
    상기 단말기로부터 시험 얼굴 영상을 전송 받고 상기 얼굴인식 서버가 상기 획득한 시험 얼굴 영상에서 상기 시험 얼굴 영상에 포함된 상기 피식별자의 시험 얼굴 포즈각도를 획득하고, 상기 획득된 시험 얼굴 포즈각도를 시험 얼굴 영상 정보로 하여 상기 시험 얼굴 영상과 함께 얼굴동영상 데이터베이스로 전송하는 시험 얼굴 포즈 각도 추출부; 및
    상기 시험 얼굴 영상 정보의 시험 얼굴 포즈각도와 상응하는 기준 얼굴 포즈각도를 갖는 기준 얼굴동영상 프레임을 상기 얼굴동영상 데이터베이스에서 각각 검색하고 대응시켜 서로 비교하여 판단하는 얼굴인식부를 포함하는 것을 특징으로 하고,
    상기 얼굴동영상 데이터베이스는 상기 기준 얼굴동영상 프레임 및 기준 얼굴동영상 프레임정보와 상기 시험 얼굴 영상 및 시험 얼굴 영상 정보를 저장하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 시스템.
  22. 단말기, 얼굴인식서버 및 얼굴동영상 데이터베이스를 포함하는 얼굴동영상 데이터베이스 기반 얼굴인식 시스템으로서,
    상기 단말기는 대상자의 얼굴이 포함된 기준 얼굴동영상을 입력 받으며, 식별의 대상인 피식별자의 얼굴이 포함된 시험 얼굴 동영상을 입력받는 것을 특징으로 하고,
    상기 얼굴인식서버는 상기 단말기로부터 기준 얼굴동영상을 전송 받고, 상기 기준 얼굴동영상을 구성하는 적어도 하나 이상의 기준 얼굴동영상 프레임에서 상기 기준 얼굴동영상 프레임에 포함된 상기 대상자의 얼굴의 포즈의 각도인 기준 얼굴 포즈각도를 각각 추출하고, 상기 추출된 적어도 하나 이상의 기준 얼굴 포즈각도를 상기 기준 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 기준 얼굴동영상 프레임과 함께 상기 얼굴동영상 데이터베이스로 전송하는 기준 얼굴 포즈각도 추출부;
    상기 단말기로부터 시험 얼굴동영상을 전송 받고 상기 얼굴인식 서버가 상기 획득한 시험 얼굴 동영상을 구성하는 적어도 하나 이상의 시험 얼굴동영상 프레임에서 상기 시험 얼굴동영상 프레임에 포함된 상기 피식별자의 시험 얼굴 포즈각도를 각각 획득하고, 상기 획득된 적어도 하나 이상의 시험 얼굴 포즈각도를 상기 시험 얼굴동영상 프레임의 각각의 프레임정보로 하여 상기 시험 얼굴동영상 프레임과 함께 얼굴동영상 데이터베이스로 전송하는 시험 얼굴 포즈 각도 추출부; 및
    적어도 하나 이상의 상기 시험 얼굴동영상 프레임정보의 시험 얼굴 포즈각도와 상응하는 기준 얼굴 포즈각도를 갖는 기준 얼굴동영상 프레임을 상기 얼굴동영상 데이터베이스에서 각각 검색하고 대응시켜 서로 비교하여 판단하는 얼굴 인식부를 포함하는 것을 특징으로 하고,
    상기 얼굴동영상 데이터베이스는 상기 기준 얼굴동영상 프레임 및 기준 얼굴동영상 프레임정보와 상기 시험 얼굴동영상 프레임 및 시험 얼굴동영상 프레임정보를 저장하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 시스템.
  23. 제21항 또는 제22항에 있어서,
    상기 기준 얼굴동영상은 가로흔들림(rolling), 세로흔들림(pitching), 수직축회전(yawing) 중에서 적어도 하나 이상의 움직임을 취하는 얼굴을 포함하는 동영상인 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 시스템.
  24. 제21항 또는 제22항에 있어서,
    상기 단말기는 상기 대상자의 신원정보를 추가로 입력 받아 상기 얼굴인식 서버로 전송하는 것을 더 포함하고, 상기 얼굴 인식 서버는 얼굴동영상 데이터베이스에 상기 신원정보를 추가로 저장하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 시스템.
  25. 제21항 또는 제22항에 있어서,
    상기 얼굴 포즈각도는 상기 얼굴동영상 프레임 또는 상기 시험 얼굴영상의 눈, 코 또는 입을 포함하는 얼굴의 특징부를 기준으로 하여 산출하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 시스템.
  26. 제25항에 있어서,
    상기 얼굴 포즈각도는 상기 얼굴동영상 프레임 또는 상기 시험 얼굴영상의 눈, 코 또는 입을 포함하는 얼굴의 특징부 간의 거리가 최대인 경우를 가로축 회전각 및 수직축 회전각을 0도로 하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 시스템.
  27. 제26항에 있어서,
    상기 얼굴 포즈각도는 상기 얼굴동영상 프레임 또는 상기 시험 얼굴영상의 얼굴의 양쪽 눈을 잇는 선이 수평이 되는 경우를 세로축 회전각 0도로 하는 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 시스템.
  28. 제21항 또는 제22항에 있어서,
    상기 시험 얼굴 포즈각도와 상응하는 기준 얼굴 포즈각도는 시험 얼굴 포즈각도와 일치하는 기준 얼굴 포즈각도인 것을 특징으로 하는 얼굴동영상 데이터베이스 기반 얼굴인식 시스템.
KR1020070036098A 2007-04-12 2007-04-12 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템. KR100862526B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070036098A KR100862526B1 (ko) 2007-04-12 2007-04-12 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070036098A KR100862526B1 (ko) 2007-04-12 2007-04-12 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템.

Publications (1)

Publication Number Publication Date
KR100862526B1 true KR100862526B1 (ko) 2008-10-09

Family

ID=40153046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070036098A KR100862526B1 (ko) 2007-04-12 2007-04-12 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템.

Country Status (1)

Country Link
KR (1) KR100862526B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213280B1 (ko) * 2011-04-06 2012-12-18 아주대학교산학협력단 프로브 영상 변환을 이용한 얼굴 인식 시스템 및 방법
CN103516682A (zh) * 2012-06-19 2014-01-15 Tcl集团股份有限公司 一种基于人脸追踪的身份认证方法、系统及电视机
CN107844745A (zh) * 2017-10-11 2018-03-27 苏州天瞳威视电子科技有限公司 车辆颜色识别方法及装置
US11157760B2 (en) 2017-12-21 2021-10-26 Samsung Electronics Co., Ltd. Liveness test method and apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US6144755A (en) * 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
KR100467152B1 (ko) * 2003-11-25 2005-01-24 (주)버뮤다정보기술 얼굴인식시스템에서 개인 인증 방법
KR20060008814A (ko) 2004-07-24 2006-01-27 삼성전자주식회사 다양한 포즈를 갖는 얼굴 영상을 인식하는 방법
KR20060057110A (ko) 2004-11-23 2006-05-26 홍기천 얼굴 검출 및 인증 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US6144755A (en) * 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
KR100467152B1 (ko) * 2003-11-25 2005-01-24 (주)버뮤다정보기술 얼굴인식시스템에서 개인 인증 방법
KR20060008814A (ko) 2004-07-24 2006-01-27 삼성전자주식회사 다양한 포즈를 갖는 얼굴 영상을 인식하는 방법
KR20060057110A (ko) 2004-11-23 2006-05-26 홍기천 얼굴 검출 및 인증 장치 및 그 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213280B1 (ko) * 2011-04-06 2012-12-18 아주대학교산학협력단 프로브 영상 변환을 이용한 얼굴 인식 시스템 및 방법
CN103516682A (zh) * 2012-06-19 2014-01-15 Tcl集团股份有限公司 一种基于人脸追踪的身份认证方法、系统及电视机
CN103516682B (zh) * 2012-06-19 2016-12-21 Tcl集团股份有限公司 一种基于人脸追踪的身份认证方法、系统及电视机
CN107844745A (zh) * 2017-10-11 2018-03-27 苏州天瞳威视电子科技有限公司 车辆颜色识别方法及装置
US11157760B2 (en) 2017-12-21 2021-10-26 Samsung Electronics Co., Ltd. Liveness test method and apparatus
US11971924B2 (en) 2017-12-21 2024-04-30 Samsung Electronics Co., Ltd. Liveness test method and apparatus

Similar Documents

Publication Publication Date Title
CN108921100B (zh) 一种基于可见光图像与红外图像融合的人脸识别方法及系统
Burge et al. Ear biometrics
US7873189B2 (en) Face recognition by dividing an image and evaluating a similarity vector with a support vector machine
JP4610614B2 (ja) 単一画像に基づくマルチ生体認証システムおよび方法
KR101901591B1 (ko) 얼굴 인식 장치 및 그 제어방법
KR20190001066A (ko) 얼굴 인증 방법 및 장치
JP2021101384A (ja) 画像処理装置、画像処理方法およびプログラム
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
CN109376604B (zh) 一种基于人体姿态的年龄识别方法和装置
KR101464446B1 (ko) 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치
KR101640014B1 (ko) 허위 안면 이미지 분류가 가능한 홍채 인식 장치
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及系统
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
US11756338B2 (en) Authentication device, authentication method, and recording medium
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
KR101270351B1 (ko) 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치
Borghi et al. Face Verification from Depth using Privileged Information.
KR101455666B1 (ko) 인증 장치 및 그 인증 방법
KR100862526B1 (ko) 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템.
KR102063745B1 (ko) 측면 프로파일링 기반 신원확인 장치 및 방법
CN110852220A (zh) 人脸表情的智能识别方法、终端和计算机可读存储介质
KR20160042646A (ko) 얼굴 인식 방법
Sithara et al. A survey on face recognition technique
KR102249663B1 (ko) 귀 인식 기반 신원확인 방법 및 시스템
Lin et al. A novel framework for automatic 3D face recognition using quality assessment

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120924

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130926

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150921

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161005

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190930

Year of fee payment: 12