KR20070020916A - 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템 - Google Patents

얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템 Download PDF

Info

Publication number
KR20070020916A
KR20070020916A KR1020050075297A KR20050075297A KR20070020916A KR 20070020916 A KR20070020916 A KR 20070020916A KR 1020050075297 A KR1020050075297 A KR 1020050075297A KR 20050075297 A KR20050075297 A KR 20050075297A KR 20070020916 A KR20070020916 A KR 20070020916A
Authority
KR
South Korea
Prior art keywords
face
feature points
face image
image
test
Prior art date
Application number
KR1020050075297A
Other languages
English (en)
Other versions
KR100714724B1 (ko
Inventor
김정배
기석철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050075297A priority Critical patent/KR100714724B1/ko
Priority to US11/455,705 priority patent/US20070041644A1/en
Publication of KR20070020916A publication Critical patent/KR20070020916A/ko
Application granted granted Critical
Publication of KR100714724B1 publication Critical patent/KR100714724B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴의 포즈 추정에 관한 것으로서, 본 발명의 실시에 따른 얼굴 포즈 추정 장치는 입력되는 테스트 얼굴 영상의 특징점들을 제공하는 전처리 모듈 및 상기 제공된 특징점들을 기초로 상기 테스트 얼굴 영상의 좌측면 얼굴의 면적과 우측면 얼굴의 면적을 연산하고, 상기 연산된 면적을 기초로 상기 테스트 얼굴 영상의 좌우 방향 회전각을 제공하는 포즈 추정 모듈을 포함한다.
얼굴 인식, 정면 얼굴, 얼굴 포즈

Description

얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한 얼굴 인식 시스템{Apparatus and method for estimating facial pose, and face recognition system by the method}
도 1a 및 도 1b는 인터넷 또는 텔레비전 동영상 내의 포함된 얼굴들 중 정면 얼굴의 비율을 나타내는 실험 결과이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 포즈 추정 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제1 전처리 모듈의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 제2 전처리 모듈의 구성을 나타내는 블록도이다.
도 5a 내지 도 5c는 얼굴 영상의 특징점들을 나타내는 이미지이다.
도 6은 본 발명의 일 실시예에 따른 포즈 추정 모듈의 구성을 나타내는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 대표 특징점들이 표시된 얼굴 이미지이다.
도 8은 본 발명의 일 실시예에 따라 형성된 좌측면 얼굴과 우측면 얼굴이 표 시된 얼굴 이미지이다.
도 9는 본 발명의 일 실시예에 따른 대표 특징점들을 이용하여 얼굴의 포즈를 추정하기 위한 방법을 나타내는 도면이다.
도 10a 내지 도 10c 는 본 발명의 일 실시예에 따른 성능 측정 결과를 나타내는 예시도이다.
도 11은 본 발명의 일 실시예에 따른 얼굴의 포즈를 추정하는 방법을 나타내는 플로우차트이다.
도 12는 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 구조를 나타내는 블록도이다.
도 13은 본 발명의 다른 실시예에 따른 얼굴 인식 시스템의 구조를 나타내는 블록도이다.
< 도면의 주요 부분에 대한 설명 >
200: 얼굴 포즈 추정 장치 210: 제1 전처리 모듈
212: 얼굴 모델 데이터베이스 214: 가버 필터 모듈
216: 유사도 연산 모듈 230: 제2 전처리 모듈
232: 형상 파라미터 연산 모듈 234: 근사 모듈
250: 포즈 추정 모듈 252: 얼굴 면적 연산 모듈
254: 회전각 연산 모듈
본 발명은 얼굴의 포즈 추정(pose estimation)에 관한 것으로서, 보다 상세하게는 테스트 얼굴의 특징점들에 대한 위치를 기초로하여 좌측면 얼굴과 우측면 얼굴의 면적 비를 이용함으로써 테스트 얼굴의 좌우 회전 방향의 회전 각도를 추정하는 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한 얼굴 인식 시스템에 관한 것이다.
최근 반도체 기술 및 영상 처리 기술의 발달에 따라 사람이 휴대하기 편리한 디지털 카메라, 캠코더 그리고 더 나아가서는 휴대폰과 같은 휴대용 통신 단말에 영상 촬영 기능을 부가한 휴대폰 카메라와 촬영 기기(이하, '휴대용 영상 촬영 기기'라고 칭하기로 한다)가 등장하여 널리 이용되고 있다. 이러한 휴대용 영상 촬영 기기들은 정지된 영상(still picture)뿐만 아니라 움직이는 피사체를 위한 동영상(moving picture) 촬영 기능도 구비하고 있는데, 특히 휴대용 영상 촬영 기기는 인물에 대한 영상을 촬영하는데에 많이 이용되고 있다.
한편, 이러한 휴대용 영상 촬영 기기에 의하여 촬영된 인물 영상 또는 텔레비전에서 방영되는 동영상에 포함된 인물 영상을 인식하는 기술은 다양한 응용 분야에서 활용되고 있다.
특히, 제한된 출입이 필요한 곳에 열쇠나 카드 등을 대신하여 개인의 얼굴 특징을 이용하여 출입을 관리하는 보안을 위한 시스템에 적용되거나, 범죄자 리스트 검색 등 수많은 사람들 중 특정인을 찾는 얼굴 데이터베이스 검색 등에 적용된다.
그러나, 실생활에서 취득될 수 있는 사진 앨범 데이터베이스나 동영상에서 정면 얼굴이 차지하는 비율은 실험적으로 높지 않음을 알 수 있는데, 이를 도 1a 및 도 1b에서 나타내고 있다.
도 1a은 인터넷 상에서 다운로드받은 12,063명의 얼굴 사진을 분석한 결과이고, 도 1b는 텔레비전 동영상 내의 747명의 얼굴을 분석한 결과를 나타내고 있다. 이 때, 도 1a와 도 1b의 실험에서는 얼굴의 상하 회전각의 범위가 -15도와 +15도 사이이고, 좌우 회전각의 범위가 -15도와 +15도 사이에 속하는 얼굴을 정면 얼굴로 판단하였다.
도 1a를 참조하면, 정면 얼굴이 약 51%, 비정면 얼굴이 약 49%를 차지하는 것을 알 수 있다. 또한, 도 1b를 참조하면, 정면 얼굴이 약 34.7%, 비정면 얼굴이 약 65.3%를 차지하는 것을 알 수 있다.
도 1a와 도 1b에서 나타나고 있는 실험 결과만 보더라도 실생활에서 취득되는 얼굴 중 정면 얼굴의 비중은 30%~50% 정도밖에 되지 않음을 알 수 있다.
따라서, 비정면 얼굴로부터 정면 얼굴을 추정하기 위해서는 정면 얼굴과 비교하여 비정면 얼굴이 얼마나 회전하였는지에 대한 정보를 추출하는 것이 중요하다.
예컨대, 정면 얼굴 인식기만 사용하여 얼굴 인식을 수행하는 경우에, 다양한 포즈를 갖는 얼굴들에 대하여 얼굴의 회전 각도를 구하고, 소정의 회전 각도 범위에 해당하는 얼굴들에 대하여 정면 얼굴 인식기를 적용함으로써 최종적으로 정면 얼굴만을 선별하여 얼굴 인식을 수행할 수 있다.
다른 예로서, 다양한 포즈를 갖는 얼굴들에 대하여 얼굴의 회전 각도를 구하고, 회전된 각도만큼 회전된 방향의 반대방향으로 얼굴을 회전함으로써 정면 얼굴로 모핑(morphing)하여 정면 얼굴 인식기를 적용할 수도 있다.
또다른 예로서, 각각의 포즈별 얼굴 인식기를 사용할 경우에는 각각의 얼굴들에 대한 회전 각도를 판단해야 한다.
이와 관련하여, 미국등록특허 제6,144,755호에서는 얼굴의 포즈를 결정하는 방법과 장치를 개시하고 있는데, 한 개인의 포즈 영상이 포즈별로 저장된 상태에서, 영상이 입력되면 영상 비교를 통해 특정 포즈로 추정한다. 그러나, 여기에서는 단지 특정 개인에게만 적용되고 불특정인의 영상에서는 적용할 수 없고, 미세한 회전 각도를 알 수 없다는 문제점이 있다.
따라서, 다양한 포즈를 갖는 불특정인의 얼굴들에 대한 회전 각도를 추정하는 방법이 필요하게 되었다.
본 발명은 테스트 얼굴에서 수십개의 특징점(feature point)들을 검출한 후, 검출된 특징점들의 위치를 기초로 좌측면 얼굴과 우측면 얼굴의 면적 비를 이용하여 테스트 얼굴의 좌우 회전 방향의 회전 각도를 추정하는 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한 얼굴 인식 시스템을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이 다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 얼굴 포즈 추정 장치는 입력되는 테스트 얼굴 영상의 특징점들을 제공하는 전처리 모듈 및 상기 제공된 특징점들을 기초로 상기 테스트 얼굴 영상의 좌측면 얼굴의 면적과 우측면 얼굴의 면적을 연산하고, 상기 연산된 면적을 기초로 상기 테스트 얼굴 영상의 좌우 방향 회전각을 제공하는 포즈 추정 모듈을 포함한다.
또한, 상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 얼굴 포즈 추정 방법은 입력되는 테스트 얼굴 영상의 특징점들을 추출하는 (a) 단계와, 상기 추출된 특징점들을 기초로 상기 테스트 얼굴 영상의 좌측면 얼굴의 면적과 우측면 얼굴의 면적을 연산하는 (b) 단계 및 상기 연산된 면적의 비로부터 상기 테스트 얼굴 영상의 좌우 방향 회전각을 제공하는 (c) 단계를 포함한다.
또한, 상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 얼굴 인식 시스템은 다수의 얼굴 영상이 저장된 얼굴 영상 데이터베이스와, 검색하고자하는 테스트 얼굴 영상이 포함된 이미지를 제공하는 영상 제공 모듈과, 상기 제공된 이미지를 입력받아 상기 테스트 얼굴 영상의 좌측면 얼굴과 우측면 얼굴의 면적 비를 이용하여 상기 테스트 얼굴 영상의 좌우 회전각을 연산하여 제공하는 얼굴 포즈 추정 모듈 및 상기 테스트 얼굴 영상의 회전 방향과 반대 방향으로 상기 연산된 회전각만큼 회전 이동시킨 후 상기 저장된 얼굴 영상을 기초로 상기 테스트 얼굴 영상과 유사한 얼굴 영상을 검색하는 영상 비교 모듈을 포함한다.
또한, 상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 얼굴 인식 시스템은 다수의 얼굴 영상이 저장된 얼굴 영상 데이터베이스와, 얼굴 영상을 입력받아 제공하는 영상 입력 모듈과, 상기 제공된 얼굴 영상의 좌측면 얼굴과 우측면 얼굴의 면적 비를 이용하여 상기 제공된 얼굴 영상의 좌우 회전각을 연산하여 제공하는 얼굴 포즈 추정 모듈 및 상기 제공된 얼굴 영상의 회전 방향과 반대 방향으로 상기 연산된 회전각만큼 회전 이동시킨 후 상기 저장된 얼굴 영상을 기초로 상기 테스트 얼굴 영상과 동일한 얼굴 영상을 검색하는 영상 비교 모듈을 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
이하, 본 발명의 실시예들에 의하여 얼굴의 포즈를 추정하는 장치와 추정 방법 그리고 상기 방법에 의한 얼굴 인식 시스템을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션 들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
도 2는 본 발명의 일 실시예에 따른 얼굴 포즈 추정 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 얼굴 포즈 추정 장치(200)는 얼굴 영상이 존재하는 테스트 영상을 입력으로 하고, 입력된 테스트 영상의 좌우 방향 회전각을 출력하는데, 이러한 얼굴 포즈 추적 장치(200)는 제1 전처리 모듈(210), 제2 전처리 모듈(230) 그리고 포즈 추정 모듈(250)을 포함한다.
이 때, 본 실시예에서 사용되는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
제1 전처리 모듈(210)은 테스트 얼굴 영상을 입력받는데, 이러한 테스트 얼굴 영상은 휴대용 영상 촬영 기기에 의하여 촬영된 인물 영상이거나, 텔레비전에서 방영되는 동영상에 포함된 인물 영상을 포함할 수 있다. 또한, 상기 테스트 얼굴 영상은 다양한 얼굴 인식 시스템의 카메라 렌즈를 통하여 입력된 얼굴 영상이거나, 이미지 파일의 형태로 제공되는 얼굴을 포함할 수 있다. 즉, 테스트 얼굴 영상은 이미 얼굴과, 상기 얼굴 중 특정 부분이 검출된 것으로 가정한다.
제1 전처리 모듈(210)은 입력된 테스트 영상으로부터 개별적인 특징점(local feature point)들의 위치를 파악한다. 이를 위해 본 발명의 실시예에서는 가버 필터(Gabor filter)를 이용한다.
가버 필터를 이용한 얼굴 인식 방법은 얼굴의 특징점들을 기준으로 하나의 얼굴의 일정 영역에 주파수와 방향성을 달리하는 2차원 가버 필터들의 집합을 적용시키고, 그 반응값으로부터 얼굴을 식별하는 방법이다. 그러나, 제1 전처리 모듈(210)이 반드시 가버 필터를 사용하여 개별적인 특징점들에 대한 위치를 파악하는 것이 아니라 개별적인 특징점들의 위치를 파악할 수 있는 다른 방법을 이용할 수도 있다. 제1 전처리 모듈(210)에서의 구체적인 동작은 도 3에서 후술하기로 한다.
제2 전처리 모듈(230)은 제1 전처리 모듈(210)에 의해 파악된 개별적인 특징점들의 위치 정보를 입력받아 얼굴 전체에 대한 특징점(global feature point)들로 근사화시킨다. 즉, 개별적인 특징점들을 얼굴 형상에 적합하도록 재정열함으로써 얼굴 전체에 대한 특징점들을 생성하여, 이들에 대한 위치 정보를 제공하는 것이 다. 이를 위해 본 발명의 실시예에서는 주 구성요소 분석(Principal Component Analysis; 이하 'PCA') 방법을 사용하여 얼굴 전체에 대한 특징점들의 위치를 파악하는 것으로 한다.
PCA 방법을 이용한 얼굴 인식 방법은 얼굴의 세부적인 면을 살피기 보다는 얼굴의 전체적인 면의 구성에 의해 얼굴을 인식하는 방법이다. 그러나, 제2 전처리 모듈(230)이 반드시 PCA 방법만을 사용하는 것이 아니라 얼굴 전체에 대한 특징점들의 위치를 파악할 수 있는 다른 방법을 이용할 수도 있다. 제2 전처리 모듈(230)에서의 구체적인 동작은 도 4에서 후술하기로 한다.
포즈 추정 모듈(250)은 제2 전처리 모듈(230)에 의해 생성된 얼굴 전체에 대한 특징점들을 이용하여 테스트 얼굴의 좌측면 얼굴과 우측면 얼굴의 면적 비를 연산하고, 연산된 면적 비로부터 테스트 얼굴의 좌우 방향 회전각을 출력함으로써 얼굴의 포즈를 추정할 수 있게 된다. 포즈 추정 모듈(250)에서의 구체적인 동작은 도 6에서 후술하기로 한다.
한편, 본 발명의 실시에 따른 얼굴 포즈 추적 장치(200)는 제1 전처리 모듈(210), 제2 전처리 모듈(230) 그리고 포즈 추정 모듈(250)을 포함하는 것을 하였으나, 제2 전처리 모듈(230)을 거치지 않고, 제1 전처리 모듈(210)에 의해 파악된 개별적인 특징점들로부터 포즈 추정 모듈(250)에 의해 얼굴의 포즈를 추정할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 제1 전처리 모듈의 구성을 나타내는 블록도이다.
도 3을 참조하면, 제1 전처리 모듈(210)은 얼굴 모델 데이터베이스(212), 가버 필터 모듈(214), 유사도 연산 모듈(216)을 포함한다.
얼굴 모델 데이터베이스(212)는 얼굴 인식에 참조가 될 트레이닝 얼굴 영상 들이 저장되어 있다.
가버 필터 모듈(214)은 얼굴 모델 데이터베이스(212)에 저장된 N개의 트레이닝 얼굴 영상들의 특징점들 각각에 대하여 다양한 방향성과 주파수를 갖는 80개의 가버 웨이브릿 필터(Gabor Wavelet Filter) 집합을 적용시켜 반응값들을 얻는다.
그리고 나서, 가버 필터 모듈(214)은 상기 N개의 트레이닝 얼굴 영상으로부터 특징점들의 평균을 연산하고, 입력된 테스트 영상 중 이미 검출된 얼굴의 특정 부분, 예컨대 눈 위치를 기준으로 상기 연산된 평균 특징점들을 초기 위치시킨다. 그 다음, 가버 필터 모듈(214)은 상기 평균 특징점(average feature point)에서의 상기 가버 웨이브릿 필터(Gabor Wavelet Filter) 집합에 대한 반응값들을 얻는다. 즉, 입력된 테스트 영상에서의 특징점은 상기 평균 특징점이 되는 것이다.
이 때, 가버 웨이브릿 필터는 얼굴 영상의 소정의 특징점과 컨벌루션(convolution)하여 소정의 결과값을 산출하고, 산출된 결과값에 따라 얼굴 인식이 이루어질 수 있는데, 이를 수학식 1과 같이 표현할 수 있다.
Figure 112005045176866-PAT00001
[수학식 1]에서 Pj(x-x0)은 가버 웨이블릿을 나타내고, I(x)는 영상을 나타 낸다.
이 때, Pj(x-x0)은 [수학식 2]와 같이 나타낼 수 있다.
Figure 112005045176866-PAT00002
이 때,
이다. 여기에서,
Figure 112005045176866-PAT00004
와
Figure 112005045176866-PAT00005
는 각각 주파수와 방향성을 나타내며, 상기와 같이 v는 5개의 주파수, μ는 8개의 방향성을 갖게 된다.
한편, [수학식 2]에서
Figure 112005045176866-PAT00006
는 우함수(even function)를 나타내고,
Figure 112005045176866-PAT00007
은 기함수(odd function)를 나타내는데, 상기 우함수와 기함수에 대한 반응값으로부터 반응값의 크기(magnitude)와 위상(phase)을 얻을 수 있게 된다.
유사도 연산 모듈(216)은 상기 입력된 테스트 영상에 대한 상기 가버 웨이브릿 필터(Gabor Wavelet Filter) 집합의 반응값을 얼굴 모델 데이터베이스(212)에 저장된 N개의 트레이닝 얼굴 영상들의 반응값들과 비교하여 유사도를 연산한다.
이 때, 유사도 연산 모듈(216)은 상기 테스트 영상의 특징점들마다 얼굴 모델 데이터베이스(212)에 저장된 N개의 얼굴 영상의 특징점과의 유사도가 최대가 되도록 상기 테스트 영상의 특징점들에 대한 변위(displacement)를 계산하여, 상기 테스트 영상의 특징점들에 대한 위치 좌표를 보상하게 된다.
이러한 유사도는 [수학식 3]과 같이 연산될 수 있다.
Figure 112005045176866-PAT00008
여기에서,
Figure 112005045176866-PAT00009
는 반응값의 크기(magnitude),
Figure 112005045176866-PAT00010
는 반응값의 위상(phase),
Figure 112005045176866-PAT00011
는 테스트 영상의 특징점들에 대한 변위(displacement)를 나타낸다. 또한, J는 얼굴 모델 데이터베이스(212)에 저장된 얼굴 영상에 대한 상기 가버 웨이브릿 필터(Gabor Wavelet Filter) 집합의 반응값을 나타내고, J'는 입력된 테스트 영상의 특징점들, 즉 상기 평균 특징점들에 대한 상기 가버 웨이브릿 필터(Gabor Wavelet Filter) 집합의 반응값을 나타낸다.
이렇게 보상된 특징점들의 위치 좌표를 본 발명에서는 '제1 얼굴 특징점들' 이라고 칭하기로 한다.
도 4는 본 발명의 일 실시예에 따른 제2 전처리 모듈의 구성을 나타내는 블록도이다.
도 4를 참조하면, 제2 전처리 모듈(230)은 제1 전처리 모듈(210)에 의해 제공된 개별적인 특징점들, 즉, 제1 얼굴 특징점들을 입력받아, 주 구성요소 분석(Principal Component Analysis) 방법에 의해 테스트 얼굴 영상 전체에 대한 특징점들로 근사화하여 제2 얼굴 특징점들을 제공하는 모듈로서, 이를 위해 형상 파라미터 연산 모듈(232)과 근사 모듈(234)을 포함한다.
형상 파라미터 연산 모듈(232)은 근사화에 필요한 형상 파라미터를 연산한다.
이를 위해, 얼굴 모델 데이터베이스(212)에 저장된 N개의 얼굴 영상 중에서 i 번째 영상에 대한 형상 정보를 xi라고 하면, xi는 [수학식 4]와 같이 나타낼 수 있다.
Figure 112005045176866-PAT00012
이 때, n=72 (특징점의 개수)으로 가정한다.
이 때, N개의 얼굴 영상에 대한 평균 형상(mean shape)은 [수학식 5]와 같이 나타낼 수 있으며, N개의 얼굴 영상 각각에 대한 평균 형상과의 차이(deviation)는 [수학식 6]으로 나타낼 수 있다.
Figure 112005045176866-PAT00013
Figure 112005045176866-PAT00014
이 때, 상기 차이(deviation)에 대한 공분산 행렬(covariance matrix)을 [수학식 7]과 같이 나타낼 수 있고, 공분한 행렬에 대한 고유치(eigenvalue)λ는 [수학식 8]에 의해 얻을 수 있다.
Figure 112005045176866-PAT00015
Figure 112005045176866-PAT00016
이 때,
Figure 112005045176866-PAT00017
이다.
한편, 입력된 테스트 얼굴 영상에 대한 형상 정보를 x'라고 하면, x'는 [수학식 9]와 같이 나타낼 수 있다.
Figure 112005045176866-PAT00018
이 때, 상기 형상 정보 x'와 N개의 얼굴 영상 각각에 대한 평균 형상과의 차이(deviation)는 [수학식 10]으로 나타낼 수 있다.
Figure 112005045176866-PAT00019
여기에서, [수학식 8]에서 구한 고유치로부터 고유벡터(eigen vector) P를 얻을 수 있으며, 고유벡터 P를 이용하여 가중치 b를 구할 수 있는데, 이를 [수학식 11]에서 나타내고 있다.
Figure 112005045176866-PAT00020
이 때, b=(b1, b2, ..., bt)이고, bk는
Figure 112005045176866-PAT00021
범위를 만족하는 것으로 하여, 얼굴 영상의 개별 특징점의 변화 범위를 제한하도록 한다.
만일, 만일, bk가
Figure 112005045176866-PAT00022
보다 작으면을
Figure 112005045176866-PAT00023
할당하고,
Figure 112005045176866-PAT00024
보다 크면
Figure 112005045176866-PAT00025
을 할당하도록 한다.
최종적으로, 얼굴 영상의 개별적인 특징점들을 얼굴 전체의 형상을 고려한 특징점들로 근사화한 형상 정보는 [수학식 12]와 같이 나타낼 수 있다.
Figure 112005045176866-PAT00026
도 5a 내지 도 5c는 얼굴 영상의 특징점들을 나타내는 이미지로서, 도 5a는 평균 특징점들을 나타내고, 도 5b는 개별 특징점들을 나타내고, 도 5c는 전체 얼굴 모양을 고려한 특징점들을 나타내고 있다.
도 6은 본 발명의 일 실시예에 따른 포즈 추정 모듈의 구성을 나타내는 블록도이다.
도 6을 참조하면, 포즈 추정 모듈(250)은 얼굴 면적 연산 모듈(252)과 회전각 연산 모듈(254)을 포함한다.
한편, 제1 전처리 모듈(210)만 사용하는 경우와 제1 전처리 모듈(210)과 제2 전처리 모듈(230) 모두를 사용하는 경우, 사용자가 직접 손으로 직은 특징점(Ground Truth)과 자동으로 찾은 점들간의 에러(error)를 눈 사이의 거리로 나눈 정규화한 에러를 나타내면 다음과 같다.
NDE(i,j) = | ADFP(i,j) - GTFP(i,j) | / L
이 때,
Figure 112005045176866-PAT00027
이다.
이 때, NDE(i,j)는 j번째 이미지의 i번째 정규화된 거리 에러(Normalized Distance Error)를 나타내고, ADFP(i,j)는 j번째 이미지에서 자동적으로 감지된 i번째 특징점을 나타내고, DTFP(i,j)는 j번째 이미지에서 i번째 Ground Truth 특징점을 나타낸다. 또한, L은 사람 눈 사이의 거리(distance)를 나타내고, n은 특징점의 개수, N은 이미지의 개수를 나타낸다.
한편, 상기 정규화한 에러의 평균(Average Normalized Distance Error; ANDE)은 다음과 같이 나타낼 수 있다.
Figure 112005045176866-PAT00028
본 발명의 실시에 따른 성능 측정 결과 제1 전처리 모듈(210)만 사용하는 경우의 ANDE은 6.61%를 나타내고, 제1 전처리 모듈(210)과 제2 전처리 모듈(230) 모두를 사용하는 경우의ANDE은 4.45%를 나타내었다. 즉, 제1 전처리 모듈(210)과 제2 전처리 모듈(230) 모두를 사용하는 경우에 더 좋은 성능을 나타내고 있다.
앞서 설명한 방법에 따라 얼굴의 특징점(feture point)들이 추출되면, 얼굴 면적 연산 모듈(252)은 추출된 특징점들 중 대표 특징점들을 선택한다.
상기 대표 특징점들은 얼굴의 좌측 면적과 우측 면적을 구하기 위하여 필요한 특징점들로서, 바람직하게는 얼굴의 좌우 면의 경계점들이 대표 특징점들, 예컨대 얼굴의 중심 축을 이루는 점들과 얼굴의 경계를 이루는 점들로 선정될 수 있다. 이러한 대표 특징점들에는 얼굴 미간의 중간에 위치한 특징점, 얼굴의 윤곽을 나타내는 특징점, 코 끝에 해당하는 특징점, 입술 주위에 위치한 특징점들의 평균을 나타내는 특징점과 같은 특징점들이 포함된다.
도 7에서는 대표 특징점들이 선택된 얼굴 이미지를 나타내고, 도 8에서는 대표 특징점들을 연결하여 형성된 얼굴의 좌측면(Left Half Plane)(810)과 우측면(Right Half Plane)(820)을 나타내고 있다.
도 7과 도 8을 참조하면, 대표 특징점들로 삼각형 도형을 만들고, 이들의 합으로 좌우 얼굴의 면적을 계산할 수 있다.
얼굴의 포즈를 추정하기 위하여 얼굴 면적 연산 모듈(252)은 도 8에 도시된 좌측면 얼굴(810)과 우측면 얼굴(820)에 대한 면적을 계산하고, 계산된 면적으로부터 좌측면 얼굴(810)과 우측면 얼굴(820)에 대한 면적 비를 계산한다. 그리고 나서, 회전각 연산 모듈(254)은 계산된 면적 비율로부터 얼굴의 포즈, 즉 얼굴의 회전 각도를 추정할 수 있게 된다.
도 9는 앞서 선택된 대표 특징점들을 이용하여 얼굴의 포즈를 추정하기 위한 방법을 나타내는 도면이다.
도 9를 참조하면, 얼굴의 포즈를 추정하기 위하여 우선 테스트 얼굴을 실린더와 같은 입체 형상으로 단순화한 후, 실린더의 위쪽에서 내려다보았을 때, 즉 테스트 얼굴의 위쪽에서 테스트 얼굴의 머리를 향해 내려다보았을 때의 형상을 원(910)과 같은 기하학적인 도형으로 표현하도록 한다.
따라서, 원(910)의 반지름 r은 머리의 중심으로부터 머리의 외각선까지의 거리를 나타내고, 각도 θ는 테스트 얼굴이 Z축을 기준으로 하여 Y축을 중심으로 회전된 각도를 나타낸다. 설명의 편의를 위하여 테스트 얼굴을 바라보았을 때 Y축을 중심으로 오른쪽으로 회전하는 방향을 양의 θ방향으로 하고, 그 반대 방향을 음의 θ방향으로 하기로 한다.
한편, 도면 번호 920으로 표시되는 형상은 Z축상에서 테스트 얼굴을 바라보았을 때, 테스트 얼굴을 2차원 도형으로 단순화한 형상을 나타낸다. 이 때, 상기 형상(920)의 외각선은 앞서 선택된 대표 특징점들 중 얼굴 미간의 중간에 위치한 특징점과 얼굴의 윤곽을 나타내는 특징점들이 연결되어 형성될 수 있다.
또한, 테스트 얼굴의 볼 부분(920a 920b)은 사각형의 도형으로 모델링할 수 있고, 테스트 얼굴의 턱 부분(920c, 920d)은 1/4 타원의 도형으로 모델링할 수 있다. 여기에서, 920a와 920c로 참조되는 영역은 Z축상에서 테스트 얼굴을 바라보았을 때 좌측면 얼굴에 해당하고, 920b와 920d로 참조되는 영역은 우측면 얼굴에 해당한다.
이하, 테스트 얼굴이 도 9에서 도시한 바와 같이 Y축을 중심으로 오른쪽으로 회전한 경우, 즉, 각도 θ의 범위가
Figure 112005045176866-PAT00029
인 경우에 좌측면 얼굴(920a, 920c)과 우측면 얼굴(920b, 920d)의 면적비를 이용한 테스트 얼굴의 회전 각도를 구하는 방법을 설명하도록 한다. 즉, 본 발명에서는 얼굴 포즈의 범위를
Figure 112005045176866-PAT00030
로 가정한다.
한편, 테스트 얼굴의 폭을 w라 하고, 테스트 얼굴의 길이를 h라고 나타내기로 한다. 또한, 좌측면 얼굴의 폭은 w1, 우측면 얼굴의 폭은 w2, 좌측면 얼굴 또는 우측면 얼굴의 볼 영역에 해당하는 부분의 길이를 h1, 좌측면 얼굴 또는 우측면 얼굴의 턱 영역에 해당하는 부분의 길이를 h2으로 나타내기로 한다.
우선 좌측면 얼굴의 면적을 LHP라고 하면, LHP는 [수학식 13]으로 나타낼 수 있다.
Figure 112005045176866-PAT00031
한편, 우측면 얼굴의 면적을 RHP라고 하면, RHP는 [수학식 14]으로 나타낼 수 있다.
Figure 112005045176866-PAT00032
LHP와 RHP를 구하기 위한 연산은 포즈 추정 모듈(250)의 얼굴 면적 연산 모듈(252)에 의해 수행될 수 있다.
회전각 연산 모듈(254)는 LHP와 RHP를 이용하여 좌측면 얼굴의 면적에 대한 우측면 얼굴의 면적 비를 구할 수 있는데, 이를 [수학식 15]에서 나타내고 있다.
Figure 112005045176866-PAT00033
[수학식 15]을 θ에 대해 정리하면, [수학식 16]으로 나타낼 수 있다. 즉, 테스트 얼굴의 회전 각도는 [수학식 16]으로 표현될 수 있는 것이다.
Figure 112005045176866-PAT00034
한편, 만일 테스트 얼굴이 Y축을 중심으로 왼쪽으로 회전한 경우, 즉, 각도 θ의 범위가
Figure 112005045176866-PAT00035
인 경우에 있어서, 좌측면 얼굴(920a, 920c)과 우측면 얼굴(920b, 920d)의 면적비를 이용한 테스트 얼굴의 회전 각도를 구하는 방법을 설명하도록 한다.
우선 좌측면 얼굴의 면적을 LHP라고 하면, LHP는 [수학식 17]으로 나타낼 수 있다.
Figure 112005045176866-PAT00036
한편, 우측면 얼굴의 면적을 RHP라고 하면, RHP는 [수학식 18]으로 나타낼 수 있다.
Figure 112005045176866-PAT00037
따라서, [수학식 17]과 [수학식 18]을 이용하여 좌측면 얼굴의 면적에 대한 우측면 얼굴의 면적 비를 구하면 [수학식 19]와 같다.
Figure 112005045176866-PAT00038
[수학식 19]를 θ에 대해 정리하면, [수학식 20]으로 나타낼 수 있다. 즉, 테스트 얼굴의 회전 각도는 [수학식 20]으로 표현될 수 있는 것이다.
Figure 112005045176866-PAT00039
여기에서 도 10a는 테스트 얼굴이 오른쪽 방향으로 35˚ 회전한 상태를 나타내고 있는데, 본 발명의 실시에 따른 측정 결과는 약 34.9˚를 나타내고 있다.또한, 도 10b는 테스트 얼굴이 정면을 바라보고 있는 상태를 나타내고 있는데, 본 발명의 실시에 따른 측정 결과는 약 -1.0˚를 나타내고 있다. 또한, 도 10c는 테스트 얼굴이 왼쪽 방향으로 -40˚회전한 상태를 나타내고 있는데, 본 발명의 실시에 따른 측정 결과는 약 -41.3˚나타내고 있다.
도 10a 내지 도 10c의 성능 측정 결과로 미루어 볼 때, 본 발명의 실시에 따른 테스트 얼굴의 회전 각도 추정은 높은 정확도를 나타내고 있음을 알 수 있다.
도 11은 본 발명의 일 실시예에 따른 얼굴의 포즈를 추정하는 방법을 나타내는 플로우차트이다.
우선, 얼굴 포즈 추정 장치(200)의 제1 전처리 모듈(210)이 기저장된 트레이닝 영상에 대하여 앞서 설명한 가버 웨이브릿 필터 집합을 적용하여 다수의 제1 반응값을 얻게 된다(S1110).
그리고 나서, 제1 전처리 모듈(210)은 외부로부터 입력된 테스트 영상에 대하여 상기 가버 웨이브릿 필터 집합을 적용하여 제2 반응값을 얻은 후(S1120), 상기 제1 반응값과 상기 제2 반응값 간의 유사도가 최대가 되도록 상기 테스트 영상의 개별적인 특징점들에 대한 변위(displacement)를 보상한다(S1130).
이 때, 제1 전처리 모듈(210)은 상기 기저장된 트레이닝 얼굴 영상으로부터 특징점들의 평균을 연산하고, 상기 테스트 영상 중 이미 검출된 얼굴의 특정 부분, 예컨대 눈 위치를 기준으로 상기 연산된 평균 특징점들을 초기 위치시킨 후, 상기 평균 특징점(average feature poinrt)에서의 상기 가버 웨이브릿 필터(Gabor Wavelet Filter) 집합에 대한 상기 제2반응값을 얻게 되는 것이다.
제2 전처리 모듈(230)은 변위가 보상된 개별적인 특징점을 테스트 영상 전체에 대한 특징점으로 근사화하고(S1140), 포즈 추정 모듈(250)은 근사화된 특징점들을 기초로 좌측면 얼굴과 우측면 얼굴의 면적을 연산한 후(S1150), 연산된 면적에 대한 비를 구하여 입력된 테스트 영상에 포함된 얼굴의 좌우 방향 회전각을 연산함으로써 얼굴의 포즈를 추정하게 된다(S1160).
한편, 각 단계에서의 구체적인 동작은 앞서 설명한 것과 동일하므로 여기에서는 생략하기로 한다.
본 발명의 실시에 따른 성능 측정에 있어서, 정답 각도(Ground Truth)와 자동으로 찾은 각도 간의 에러(error)를 AE(Angle Error)라고 하면, AE는 다음과 같이 나타낼 수 있다.
AE(i,j) = | ADPA(i,j) - GTPA(i,j) |
이 때,
Figure 112005045176866-PAT00040
이다.
이 때, AE(i,j)는 j번째 이미지의 i번째 각도 에러를 나타내고, ADPA(i,j)는 j번째 이미지에서 자동적으로 감지된 i번째 특징점의 회전 각도를 나타내고, GTPA(i,j)는 j번째 이미지에서 i번째 Ground Truth 특징점의 회전 각도를 나타낸다. 또한, n은 특징점의 개수, N은 이미지의 개수를 나타낸다.
한편, 상기 각도 에러의 평균(Average Angle Error; AAE)은 다음과 같이 나 타낼 수 있다.
Figure 112005045176866-PAT00041
본 발명의 실시에 따른 성능 측정 결과 AAE는 3.36도를 나타내고 있는바, 높은 정확도를 나타내고 있음을 알 수 있다.
도 12는 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 구조를 나타내는 블록도이다.
도 12를 참조하면, 본 발명의 일 실시예에 따른 얼굴 인식 시스템(1200)은 범죄자 리스트 검색 등과 같이 수많은 사람들 중 특정인을 찾는 얼굴 데이터베이스 검색을 위한 시스템으로서, 영상 제공 모듈(1210), 얼굴 포즈 추정 모듈(1220), 영상 비교 모듈(1240), 얼굴 영상 데이터베이스(1230) 그리고 디스플레이 모듈(1250)을 포함한다.
영상 제공 모듈(1210)은 검색하고자하는 테스트 얼굴 영상이 포함된 이미지를 제공하는 모듈로서, 유무선의 다양한 형태의 저장 매체 또는 유무선의 다양한 형태의 네트워크 인터페이스를 포함한다. 얼굴 포즈 추정 모듈(1220)은 상기 제공된 이미지를 입력받아 앞서 설명한 방법에 따라 상기 테스트 얼굴 영상의 좌측면 얼굴과 우측면 얼굴의 면적 비를 이용하여 상기 테스트 얼굴 영상의 좌우 회전각을 연산하여 제공한다. 그리고 나서, 영상 비교 모듈(1240)은 상기 제공된 이미지에 포함된 얼굴 영상의 회전 방향과 반대 방향으로 상기 연산된 회전각만큼 회전 이동시킨 후, 얼굴 영상 데이터베이스(1230)에 저장된 다수의 얼굴 영상을 기초로 상기 제공된 이미지에 포함된 얼굴 영상에 유사한 얼굴 영상을 검색한다.
한편, 영상 제공 모듈(1210)에 의해 제공되는 이미지 또는 영상 비교 모듈(1240)에 의해 얼굴 영상 데이터베이스(1230)로부터 검색된 이미지는 디스플레이 모듈(1250)을 통하여 사용자에게 제공될 수 있다.
도 13은 본 발명의 다른 실시예에 따른 얼굴 인식 시스템의 구조를 나타내는 블록도이다.
도 13을 참조하면, 본 발명의 일 실시예에 따른 얼굴 인식 시스템(1300)은 제한된 출입이 필요한 곳에 열쇠나 카드 등을 대신하여 개인의 얼굴 특징을 이용하여 출입을 관리하는 보안을 위한 시스템으로서, 영상 입력 모듈(1310), 얼굴 포즈 추정 모듈(1320), 영상 비교 모듈(1340), 얼굴 영상 데이터베이스(1330) 그리고 동작 수행 모듈(1350)을 포함한다.
영상 입력 모듈(1310)은 사용자의 얼굴 영상을 입력받아 제공하는 모듈로서, 카메라 렌즈를 포함하는 다양한 형태의 촬영 기기를 포함한다. 얼굴 포즈 추정 모듈(1320)은 앞서 설명한 방법에 따라 상기 제공된 얼굴 영상에 대하여 얼굴의 좌우 회전각을 연산하여 제공한다. 그리고 나서, 영상 비교 모듈(1340)은 상기 제공된 얼굴 영상의 회전 방향과 반대 방향으로 상기 연산된 회전각만큼 회전 이동시킨 후, 얼굴 영상 데이터베이스(1330)에 저장된 다수의 얼굴 영상 중에서 상기 제공된 얼굴 영상과 동일한 얼굴 영상을 검색한다. 이 때, '동일'하다 함은 완전 동일 뿐만 아니라, 소정의 오차 범위 내에서 유사한 것도 포함하는 개념이다.
한편, 영상 비교 모듈(1340)에 의해 상기 제공된 얼굴 영상과 동일한 얼굴 영상이 검색된 경우에는, 동작 수행 모듈(1350)은 출입문을 열거나 닫는 것과 같은 동작을 수행한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명을 따르게 되면, 입력된 얼굴 영상으로부터 얼굴의 좌우 방향 회전각을 보다 정밀하게 얻을 수 있는 효과가 있다.

Claims (22)

  1. 입력되는 테스트 얼굴 영상의 특징점들을 제공하는 전처리 모듈; 및
    상기 제공된 특징점들을 기초로 상기 테스트 얼굴 영상의 좌측면 얼굴의 면적과 우측면 얼굴의 면적을 연산하고, 상기 연산된 면적을 기초로 상기 테스트 얼굴 영상의 좌우 방향 회전각을 제공하는 포즈 추정 모듈을 포함하는 얼굴 포즈 추정 장치.
  2. 제1항에 있어서,
    상기 전처리 모듈은,
    상기 테스트 얼굴 영상의 개별적인 특징점들을 제공하는 제1 전처리 모듈을 포함하는 얼굴 포즈 추정 장치.
  3. 제2항에 있어서,
    상기 제1 전처리 모듈은,
    얼굴 인식에 참조가 될 트레이닝 영상들을 저장하는 얼굴 모델 데이터베이스;
    상기 저장된 트레이닝 영상들의 특징점들에 대하여 가버 웨이블릿 필터 집합을 적용하여 다수의 제1 반응값을 얻고, 상기 테스트 얼굴 영상의 특징점들에 대하여 상기 가버 웨이브릿 필터 집합을 적용하여 제2 반응값을 얻는 가버 필터 모듈; 및
    상기 제1 반응값과 상기 제2 반응값 간의 유사도가 최대가 되도록 상기 테스트 얼굴 영상의 특징점들에 대한 변위를 보상하여, 보상된 특징점들을 제공하는 유사도 연산 모듈을 포함하는 얼굴 포즈 추정 장치.
  4. 제3항에 있어서,
    상기 테스트 얼굴 영상의 특징점들은 상기 저장된 트레이닝 영상의 특징점들에 대한 평균 특징점들인 얼굴 포즈 추정 장치.
  5. 제2항에 있어서,
    상기 전처리 모듈은 상기 제공된 개별적인 특징점들을 상기 테스트 얼굴 영상 전체에 대한 특징점들로 근사화하여 제공하는 제2 전처리 모듈을 더 포함하는 얼굴 포즈 추정 장치.
  6. 제5항에 있어서,
    상기 제2 전처리 모듈은 주 구성요소 분석(Principal Component Analysis) 방법에 의해 얼굴 형상 모델의 파라미터를 추출함으로써 상기 제공된 개별적인 특징점들을 상기 테스트 얼굴 영상 전체에 대한 특징점들로 근사화하여 제공하는 얼굴 포즈 추정 장치.
  7. 제1항에 있어서,
    상기 포즈 추정 모듈은,
    상기 제공된 특징점들로부터 얼굴의 좌우 면의 경계를 나타내는 대표 특징점들을 추출하고, 추출된 대표 특징점들을 기초로 상기 테스트 얼굴 영상을 2차원 도형으로 형상화하여 상기 테스트 얼굴 영상의 좌측면 얼굴의 면적과 우측면 얼굴의 면적을 연산하는 얼굴 면적 연산 모듈; 및
    상기 연산된 면적의 비를 계산하여 상기 테스트 얼굴 영상의 좌우 방향 회전각을 제공하는 회전각 연산 모듈을 포함하는 얼굴 포즈 추정 장치.
  8. 제7항에 있어서,
    상기 얼굴 면적 연산 모듈은 상기 테스트 얼굴 영상의 볼 부분은 사각형의 도형으로, 상기 테스트 얼굴 영상의 턱 부분은 1/4 타원의 도형으로 형상화하는 얼굴 포즈 추정 장치.
  9. 제7항에 있어서,
    상기 연산된 면적의 비는 상기 좌우 방향 회전각의 함수로 표현되는 얼굴 포즈 추정 장치.
  10. 입력되는 테스트 얼굴 영상의 특징점들을 제공하는 (a) 단계;
    상기 제공된 특징점들을 기초로 상기 테스트 얼굴 영상의 좌측면 얼굴의 면 적과 우측면 얼굴의 면적을 연산하는 (b) 단계; 및
    상기 연산된 면적의 비로부터 상기 테스트 얼굴 영상의 좌우 방향 회전각을 제공하는 (c) 단계를 포함하는 얼굴 포즈 추정 방법.
  11. 제10항에 있어서,
    상기 (a) 단계는 상기 테스트 얼굴 영상의 개별적인 특징점들을 제공하는 단계를 포함하는 얼굴 포즈 추정 방법.
  12. 제11항에 있어서,
    상기 개별적인 특징점들을 제공하는 단계는
    얼굴 인식에 참조가 될 기저장된 트레이닝 영상의 특징점들에 대하여 가버 웨이브릿 필터 집합을 적용하여 다수의 제1 반응값을 얻는 단계;
    상기 테스트 얼굴 영상의 특징점들에 대하여 상기 가버 웨이브릿 필터 집합을 적용하여 제2 반응값을 얻는 단계;
    상기 제1 반응값과 상기 제2 반응값 간의 유사도가 최대가 되도록 상기 테스트 얼굴 영상의 특징점들에 대한 변위를 보상하는 단계; 및
    상기 보상된 특징점들을 제공하는 단계를 포함하는 얼굴 포즈 추정 방법.
  13. 제12항에 있어서,
    상기 테스트 얼굴 영상의 특징점들은 상기 기저장된 트레이닝 영상의 특징점 들에 대한 평균 특징점들인 얼굴 포즈 추정 방법.
  14. 제11항에 있어서,
    상기 제공된 개별적인 특징점들을 상기 테스트 얼굴 영상 전체에 대한 특징점들로 근사화하여 제공하는 단계를 더 포함하는 얼굴 포즈 추정 방법.
  15. 제14항에 있어서,
    상기 제공된 개별적인 특징점들을 근사화하여 제공하는 단계는,
    주 구성요소 분석(Principal Component Analysis) 방법에 의해 얼굴 형상 모델의 파라미터를 추출함으로써 상기 제공된 개별적인 특징점들을 상기 테스트 얼굴 영상 전체에 대한 특징점들로 근사화하여 제공하는 단계를 포함하는 얼굴 포즈 추정 방법.
  16. 제10항에 있어서,
    상기 (b) 단계는
    상기 제공된 특징점들로부터 얼굴의 좌우 면의 경계를 나타내는 대표 특징점들을 추출하는 단계;
    추출된 대표 특징점들을 기초로 상기 테스트 얼굴 영상을 2차원 도형으로 형상화하는 단계; 및
    상기 형상화된 도형을 기초로 상기 테스트 얼굴 영상의 좌측면 얼굴의 면적 과 우측면 얼굴의 면적을 연산하는 단계를 포함하는 얼굴 포즈 추정 방법.
  17. 제16항에 있어서,
    상기 2차원 도형으로 형상화하는 단계는,
    상기 테스트 얼굴 영상의 볼 부분은 사각형의 도형으로, 상기 테스트 얼굴 영상의 턱 부분은 1/4 타원의 도형으로 형상화하는 단계를 포함하는 얼굴 포즈 추정 방법.
  18. 제10항에 있어서,
    상기 (c) 단계는,
    상기 연산된 면적의 비가 상기 좌우 방향 회전각의 함수로 표현되는 얼굴 포즈 추정 방법.
  19. 다수의 얼굴 영상이 저장된 얼굴 영상 데이터베이스;
    검색하고자하는 테스트 얼굴 영상이 포함된 이미지를 제공하는 영상 제공 모듈;
    상기 제공된 이미지를 입력받아 상기 테스트 얼굴 영상의 좌측면 얼굴과 우측면 얼굴의 면적 비를 이용하여 상기 테스트 얼굴 영상의 좌우 회전각을 연산하여 제공하는 얼굴 포즈 추정 모듈; 및
    상기 테스트 얼굴 영상의 회전 방향과 반대 방향으로 상기 연산된 회전각만 큼 회전 이동시킨 후 상기 저장된 얼굴 영상을 기초로 상기 테스트 얼굴 영상과 유사한 얼굴 영상을 검색하는 영상 비교 모듈을 포함하는 얼굴 인식 시스템.
  20. 제19항에 있어서,
    상기 영상 제공 모듈에 의해 제공되는 이미지 또는 상기 영상 비교 모듈에 의해 상기 얼굴 영상 데이터베이스로부터 검색된 얼굴 영상을 디스플레이하는 디스플레이 모듈을 더 포함하는 얼굴 인식 시스템.
  21. 다수의 얼굴 영상이 저장된 얼굴 영상 데이터베이스;
    얼굴 영상을 입력받아 제공하는 영상 입력 모듈;
    상기 제공된 얼굴 영상의 좌측면 얼굴과 우측면 얼굴의 면적 비를 이용하여 상기 제공된 얼굴 영상의 좌우 회전각을 연산하여 제공하는 얼굴 포즈 추정 모듈; 및
    상기 제공된 얼굴 영상의 회전 방향과 반대 방향으로 상기 연산된 회전각만큼 회전 이동시킨 후 상기 저장된 얼굴 영상을 기초로 상기 테스트 얼굴 영상과 동일한 얼굴 영상을 검색하는 영상 비교 모듈을 포함하는 얼굴 인식 시스템.
  22. 제21항에 있어서,
    상기 영상 비교 모듈에 의해 상기 제공된 얼굴 영상과 동일한 얼굴 영상이 상기 얼굴 영상 데이터베이스로부터 검색된 경우 해당하는 동작을 수행하도록 하는 동작 수행 모듈을 더 포함하는 얼굴 인식 시스템.
KR1020050075297A 2005-08-17 2005-08-17 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템 KR100714724B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050075297A KR100714724B1 (ko) 2005-08-17 2005-08-17 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템
US11/455,705 US20070041644A1 (en) 2005-08-17 2006-06-20 Apparatus and method for estimating a facial pose and a face recognition system using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050075297A KR100714724B1 (ko) 2005-08-17 2005-08-17 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템

Publications (2)

Publication Number Publication Date
KR20070020916A true KR20070020916A (ko) 2007-02-22
KR100714724B1 KR100714724B1 (ko) 2007-05-07

Family

ID=37767393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050075297A KR100714724B1 (ko) 2005-08-17 2005-08-17 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템

Country Status (2)

Country Link
US (1) US20070041644A1 (ko)
KR (1) KR100714724B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013081918A1 (en) * 2011-12-02 2013-06-06 Microsoft Corporation User interface control based on head orientation
US9087379B2 (en) 2011-12-23 2015-07-21 Samsung Electronics Co., Ltd. Apparatus and method for estimating pose of object
WO2018012928A1 (ko) * 2016-07-14 2018-01-18 김용상 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치
CN110047101A (zh) * 2018-01-15 2019-07-23 北京三星通信技术研究有限公司 物体姿态估计方法、获得稠密深度图像的方法、相应装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2153378A1 (en) * 2007-06-01 2010-02-17 National ICT Australia Limited Face recognition
JP4728432B2 (ja) * 2008-01-16 2011-07-20 旭化成株式会社 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム
JP4919297B2 (ja) * 2008-03-13 2012-04-18 富士フイルム株式会社 画像評価装置および方法並びにプログラム
WO2009139161A1 (ja) * 2008-05-15 2009-11-19 株式会社ニコン 画像処理装置、画像処理方法、処理装置、処理方法およびプログラム
CN101369316B (zh) * 2008-07-09 2011-08-31 东华大学 基于全局和局部结构融合的图像特征提取方法
KR101537948B1 (ko) * 2008-12-16 2015-07-20 삼성전자주식회사 얼굴 포즈 추정을 이용한 촬영 방법 및 장치
US20130129159A1 (en) * 2011-11-22 2013-05-23 Ronald Huijgens Face recognition method and apparatus
US9268993B2 (en) * 2013-03-13 2016-02-23 Futurewei Technologies, Inc. Real-time face detection using combinations of local and global features
US9008392B1 (en) * 2013-09-25 2015-04-14 Heartflow, Inc. Systems and methods for visualizing elongated structures and detecting branches therein
WO2016026135A1 (en) * 2014-08-22 2016-02-25 Microsoft Technology Licensing, Llc Face alignment with shape regression
KR102205498B1 (ko) 2014-09-18 2021-01-20 삼성전자주식회사 입력 영상으로부터 특징을 추출하는 방법 및 장치
US9922048B1 (en) 2014-12-01 2018-03-20 Securus Technologies, Inc. Automated background check via facial recognition
US10133918B1 (en) 2015-04-20 2018-11-20 Snap Inc. Generating a mood log based on user images
US10061977B1 (en) 2015-04-20 2018-08-28 Snap Inc. Determining a mood for a group
CN105488527B (zh) * 2015-11-27 2020-01-10 小米科技有限责任公司 图像分类方法及装置
CN107886074B (zh) * 2017-11-13 2020-05-19 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测系统
US11690509B2 (en) * 2017-12-13 2023-07-04 Medical Diagnostech Pty Ltd. System and method for obtaining a pupil response profile
CN110363048B (zh) * 2018-04-04 2020-04-24 阿里巴巴集团控股有限公司 人脸识别方法及装置
CN110363052B (zh) * 2018-04-11 2022-05-20 杭州海康威视数字技术股份有限公司 确定图像中的人脸姿态的方法、装置及计算机设备
JP2021511607A (ja) * 2018-04-25 2021-05-06 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 顔の特徴点に基づく首振り動作認識のためのシステムおよび方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144755A (en) * 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
SG91841A1 (en) * 1999-11-03 2002-10-15 Kent Ridge Digital Labs Face direction estimation using a single gray-level image
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013081918A1 (en) * 2011-12-02 2013-06-06 Microsoft Corporation User interface control based on head orientation
US9087379B2 (en) 2011-12-23 2015-07-21 Samsung Electronics Co., Ltd. Apparatus and method for estimating pose of object
WO2018012928A1 (ko) * 2016-07-14 2018-01-18 김용상 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치
CN110047101A (zh) * 2018-01-15 2019-07-23 北京三星通信技术研究有限公司 物体姿态估计方法、获得稠密深度图像的方法、相应装置

Also Published As

Publication number Publication date
US20070041644A1 (en) 2007-02-22
KR100714724B1 (ko) 2007-05-07

Similar Documents

Publication Publication Date Title
KR100714724B1 (ko) 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템
US9269012B2 (en) Multi-tracker object tracking
WO2018086607A1 (zh) 一种目标跟踪方法及电子设备、存储介质
US7876931B2 (en) Face recognition system and method
US8155394B2 (en) Wireless location and facial/speaker recognition system
US9621779B2 (en) Face recognition device and method that update feature amounts at different frequencies based on estimated distance
JP5715833B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
JP4353246B2 (ja) 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法
US20040161134A1 (en) Method for extracting face position, program for causing computer to execute the method for extracting face position and apparatus for extracting face position
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
US9158963B2 (en) Fitting contours to features
EP2704056A2 (en) Image processing apparatus, image processing method
US9202138B2 (en) Adjusting a contour by a shape model
KR20160011916A (ko) 얼굴 인식을 통한 사용자 식별 방법 및 장치
CN109297489B (zh) 一种基于用户特征的室内导航方法、电子设备及存储介质
JP2006343859A (ja) 画像処理装置及び画像処理方法
JP2004185611A (ja) 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置
Vadlapati et al. Facial recognition using the OpenCV Libraries of Python for the pictures of human faces wearing face masks during the COVID-19 pandemic
Immidisetti et al. Simultaneous face hallucination and translation for thermal to visible face verification using axial-gan
Wu et al. Privacy leakage of sift features via deep generative model based image reconstruction
EP2672424A1 (en) Method and apparatus using adaptive face registration method with constrained local models and dynamic model switching
Demirkus et al. People detection in fish-eye top-views
Strupczewski Commodity camera eye gaze tracking
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
Bonetto et al. Image processing issues in a social assistive system for the blind

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee