KR100486738B1 - 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치 - Google Patents

얼굴 인식 및 검색용 특징벡터 추출방법 및 장치 Download PDF

Info

Publication number
KR100486738B1
KR100486738B1 KR10-2003-0026426A KR20030026426A KR100486738B1 KR 100486738 B1 KR100486738 B1 KR 100486738B1 KR 20030026426 A KR20030026426 A KR 20030026426A KR 100486738 B1 KR100486738 B1 KR 100486738B1
Authority
KR
South Korea
Prior art keywords
feature vector
vectors
fourier
normalized
face
Prior art date
Application number
KR10-2003-0026426A
Other languages
English (en)
Other versions
KR20040034342A (ko
Inventor
김현우
카메이토시오
김태균
황원준
기석철
Original Assignee
삼성전자주식회사
닛뽄덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 닛뽄덴끼 가부시끼가이샤 filed Critical 삼성전자주식회사
Priority to EP03256510A priority Critical patent/EP1411459B1/en
Priority to CNB2003101204703A priority patent/CN100342399C/zh
Priority to JP2003354929A priority patent/JP4061260B2/ja
Priority to DE60327589T priority patent/DE60327589D1/de
Priority to US10/685,002 priority patent/US7391889B2/en
Publication of KR20040034342A publication Critical patent/KR20040034342A/ko
Application granted granted Critical
Publication of KR100486738B1 publication Critical patent/KR100486738B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

얼굴 인식 및 검색용 특징벡터 추출방법 및 그 장치가 개시된다. 얼굴 인식 및 검색용 특징벡터 추출방법은 (a) 정규화된 얼굴영상의 전체얼굴영역에 대한 주파수 특징벡터로서 제1 및 제2 정규화벡터를 이용하여 전체퓨리에 특징벡터를 생성하고, 중심얼굴영역에 대한 주파수 특징벡터로서 제3 및 제4 정규화벡터를 이용하여 중심퓨리에 특징벡터를 생성하는 단계; 및 (b) 상기 정규화된 얼굴영상의 전체얼굴영역에 대한 인텐서티특징벡터와 소정 갯수의 얼굴성분별 인텐서티특징벡터를 생성하고, 상기 제1 및 제2 정규화벡터와 상기 전체얼굴영역에 대한 인텐서티특징벡터를 결합하여 전체복합특징벡터를 생성하고, 상기 제3 및 제4 정규화벡터와 상기 얼굴성분별 인텐서티특징벡터를 결합하여 중심복합 특징벡터를 생성하는 단계를 포함한다. 이에 따르면, 주파수 영역상에서 생성된 특징벡터에 의한 검색한계와 공간 영역상에서 생성된 특징벡터의 검색한계를 보완하여 검색의 정확도를 대폭 향상시킬 수 있다.

Description

얼굴 인식 및 검색용 특징벡터 추출방법 및 장치{Method and apparatus for extracting feature vector for use in face recognition and retrieval}
본 발명은 얼굴 인식 및 검색시스템에 관한 것으로서, 특히 정규화된 얼굴영상에 대하여 퓨리에특징벡터와 인텐서티특징벡터를 별도로 생성하여 머지시킴으로써 주파수 영역상에서 생성된 특징벡터에 의한 검색한계와 공간 영역상에서 생성된 특징벡터의 검색한계를 보완하는 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치에 관한 것이다.
21세기 정보화 사회로 이행되는 과정에서 개인은 물론 특정 단체의 정보는 어느 자산보다도 중요한 가치를 지니게 되었다. 이렇게 중요한 정보를 보호하기 위해서 각종 패스워드가 사용되고, 기타 신분을 확인할 수 있는 기술이 절실히 요구되고 있다. 이 가운데 얼굴인식기술은 사용자가 특별한 동작이나 행위를 취하지 않고, 심지어는 사용자 자신이 인지하지 못하는 동안 신분확인을 할 수 있다는 장점이 있기 때문에 가장 편리하고, 경쟁력 있는 신분확인 방법으로 평가되고 있다.
한편, 정보보호 차원을 넘어서 신용카드, 현금카드, 전자 주민등록증 등 신분 확인을 필요로 하는 사회적 요구는 계속 확대되고 있으나, 현재까지는 비밀번호 이외의 보조적인 신분확인 방법이 없기 때문에 컴퓨터를 사용한 범죄 등 많은 사회적 문제점을 안고 있다. 이러한 사회적 문제를 해결할 수 있는 방법으로 얼굴인식기술이 각광을 받고 있다. 이외에도, 얼굴인식기술은 단말기 접근제어, 공공장소 관제시스템, 전자 사진첩, 범죄자 얼굴인식 등 많은 응용분야를 가지고 있어 정보화 사회에서 매우 유용한 기술이라고 평가된다.
현재 많이 이용되고 있는 얼굴인식기술로서, 얼굴 영상에 주성분 분석법(Principal Component Analysis: 이하, PCA라 약칭함)을 적용하여 얼굴을 인식하는 기술이 있다. 주성분 분석법은 영상 데이터를 영상 자체의 고유정보의 손실을 최소화하면서 저차원 고유벡터 공간으로 투영시켜 정보를 축소시키는 기법이다. 주성분 분석법을 이용한 얼굴인식방법으로는 얼굴의 주요 특징 벡터를 추출한 후, 미리 등록된 영상으로부터 추출된 주성분 벡터로 학습된 패턴 분류기를 이용하여 얼굴을 인식하는 방법이 많이 사용되었다. 그러나, 이러한 방법은 대용량의 얼굴인식에 있어서, 인식 속도와 신뢰성이 낮고, PCA 기저벡터를 선택함에 따라서 조명에는 강인한 특징을 얻을 수 있으나, 얼굴의 표정 또는 포즈의 변화에는 만족할 만한 얼굴 인식 결과를 얻을 수 없는 문제점이 있다.
상기 방법을 보완하기 위하여 최근에는 Toshio kamei 등이 "Report of Core Experiment on Fourier Spectral PCA based Face Description"(NEC_MM_TR_2002_330, July 2002)에서 퓨리에 PCLDA 개념을 도입하여 주파수 영역상에서 얼굴영상에 대한 특징벡터들을 추출하는 방법을 제안하였으며, Tae-Kyun Kim 등이 "Component-based LDA face Descriptor for image retrieval"(British Machine Vision Conference 2002, September 2002)에서 LDA를 적용하여 공간 영역상에서 성분별 특징벡터를 추출하는 방법을 제안하였다.
그러나, 상기 방법들에 의해 추출되는 주파수 영역상의 특징벡터들과 공간 영역상의 특징벡터들은 각각 일정 정도의 인식 및 검색 한계를 가지고 있다.
본 발명이 이루고자 하는 기술적 과제는, 정규화된 얼굴영상에 대하여 퓨리에 특징벡터와 인텐서티 특징벡터를 별도로 생성한 다음, 적절하게 머지시킴으로써 주파수 영역상에서 생성된 특징벡터에 의한 검색한계와 공간 영역상에서 생성된 특징벡터의 검색한계를 보완하는 얼굴 인식 및 검색용 특징벡터 추출방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 상기 얼굴 인식 및 검색용 특징벡터 추출방법을 실현하는데 가장 적합한 얼굴 인식 및 검색용 특징벡터 추출장치를 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 얼굴 인식 및 검색용 특징벡터 추출방법은 (a) 정규화된 얼굴영상의 전체얼굴영역에 대한 주파수 특징벡터로서 제1 및 제2 정규화벡터를 이용하여 전체퓨리에 특징벡터를 생성하고, 중심얼굴영역에 대한 주파수 특징벡터로서 제3 및 제4 정규화벡터를 이용하여 중심퓨리에 특징벡터를 생성하는 단계; 및 (b) 상기 정규화된 얼굴영상의 전체얼굴영역에 대한 인텐서티특징벡터와 소정 갯수의 얼굴성분별 인텐서티특징벡터를 생성하고, 상기 제1 및 제2 정규화벡터와 상기 전체얼굴영역에 대한 인텐서티특징벡터를 결합하여 전체복합특징벡터를 생성하고, 상기 제3 및 제4 정규화벡터와 상기 얼굴성분별 인텐서티특징벡터를 결합하여 중심복합 특징벡터를 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 얼굴 인식 및 검색용 특징벡터 추출장치는 정규화된 얼굴영상의 전체얼굴영역에 대한 주파수 특징벡터로서 제1 및 제2 정규화벡터를 이용하여 전체퓨리에 특징벡터를 생성하고, 중심얼굴영역에 대한 주파수 특징벡터로서 제3 및 제4 정규화벡터를 이용하여 중심퓨리에 특징벡터를 생성하는 제1 유니트; 및 상기 정규화된 얼굴영상의 전체얼굴영역에 대한 인텐서티특징벡터와 소정 갯수의 얼굴성분별 인텐서티특징벡터를 생성하고, 상기 제1 및 제2 정규화벡터와 상기 전체얼굴영역에 대한 인텐서티특징벡터를 결합하여 전체복합특징벡터를 생성하고, 상기 제3 및 제4 정규화벡터와 상기 얼굴성분별 인텐서티특징벡터를 결합하여 중심복합 특징벡터를 생성하는 제2 유니트를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에서는, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이어서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 얼굴 인식 및 검색용 특징벡터 추출장치의 일실시예의 구성을 나타낸 블록도로서, 주파수 특징벡터 생성유니트(120)와 복합 특징벡터 생성유니트(130)로 이루어진다. 여기서, 주파수 특징벡터 생성유니트(121)는 퓨리에특징 생성부(121), 전체퓨리에 특징벡터 생성부(123)와 중심퓨리에 특징벡터 생성부(125)로 이루어지고, 복합 특징벡터 생성유니트(130)는 퓨리에특징 생성부(121), 인텐서티특징 생성부(131), 전체 복합특징벡터 생성부(133) 및 중심 복합특징벡터 생성부(135)로 이루어진다.
도 1을 참조하면, 정규화된 얼굴영상(110)은 원영상을 예를 들면, 56 라인으로 스케일링함으로써 얻어지는데, 이때 각 라인은 예를 들면 46 픽셀로 이루어진다. 정규화된 얼굴영상(110)에서 오른쪽 눈과 왼쪽 눈의 각 중심은 24번째 행에서 16번째 열과 31 번째 열에 위치한다.
주파수 특징벡터 생성유니트(120)에 있어서, 퓨리에특징 생성부(121)는 정규화된 얼굴영상(110) 즉, 전체 얼굴영역과 중심 얼굴영역에 대하여 각각 퓨리에변환을 수행하여 퓨리에 스펙트럼과 퓨리에 진폭을 얻고, 전체 얼굴영역에 대한 퓨리에 스펙트럼과 퓨리에 진폭으로부터 제1 및 제2 특징벡터를 정의하고, 중심 얼굴영역에 대한 퓨리에 스펙트럼과 퓨리에 진폭으로부터 제3 및 제4 특징벡터를 정의한다. 제1 내지 제4 특징벡터는 각각 PCLDA(Linear Discriminant Analysis of Principal Components) 부공간으로 투사된 다음, 단위벡터로 정규화된다. 제1 및 제2 정규화벡터는 전체 얼굴영역에 대한 특징벡터가 되고, 제3 및 제4 정규화벡터는 중심 얼굴영역에 대한 특징벡터가 된다. 여기서, 퓨리에 특징벡터들은 얼굴영상을 구성하는 픽셀들 사이의 공간적인 관계를 부호화한 것이다.
전체퓨리에 특징벡터 생성부(123)는 퓨리에특징 생성부(121)로부터 제공되는 제1 및 제2 정규화벡터를 결합하고, 이를 소정의 베이시스 행렬에 의해 정의되는 판별공간으로 프로젝션시킨 다음, 프로젝션된 벡터의 각 성분을 소정의 방식으로 양자화시켜 전체퓨리에 특징벡터로서 저장한다.
중심퓨리에 특징벡터 생성부(125)는 퓨리에특징 생성부(121)로부터 제공되는 제3 및 제4 정규화벡터를 결합하고, 이를 소정의 베이시스 행렬에 의해 정의되는 판별공간으로 프로젝션시킨 다음, 프로젝션된 벡터의 각 성분을 소정의 방식으로 양자화시켜 중심퓨리에 특징벡터로서 저장한다.
다음, 복합 특징벡터 생성유니트(130)에 있어서, 인텐서티특징 생성부(131)는 정규화된 얼굴영상(110)에 대하여 포즈 추정 및 보상을 수행하고, 포즈 보상된 얼굴영상 중 전체 얼굴영역과 복수개, 예를 들면 5개의 부분영상을 PCLDA 부공간으로 투사시킨 다음, 각각 제5 및 제6 단위벡터로 정규화시킨다. 전체 얼굴영역에 대한 전체인턴서티 특징벡터는 제5 단위벡터로 정규화된 제5 특징벡터로부터, 부분 얼굴영상에 대한 부분인텐서티 특징벡터는 제6 단위벡터로 정규화된 제6 내지 제10 특징벡터로부터 생성된다. 여기서, 인텐서티 특징벡터는 대응하는 얼굴영상을 구성하는 픽셀들의 인텐서티 변화를 부호화한 것이다.
전체복합 특징벡터 생성부(133)는 퓨리에특징 생성부(121)로부터 제공되는 제1 및 제2 정규화벡터와 인텐서티특징 생성부(131)로부터 제공되는 전체인텐서티 특징벡터를 결합하고, 이를 소정의 베이시스 행렬에 의해 정의되는 판별공간으로 프로젝션시킨 다음, 프로젝션된 벡터의 각 성분을 소정의 방식으로 양자화시켜 전체 복합특징벡터로서 저장한다.
중심 복합특징벡터 생성부(135)는 퓨리에특징 생성부(121)로부터 제공되는 제3 및 제4 정규화벡터와 인텐서티특징 생성부(131)로부터 제공되는 부분인텐서티 특징벡터를 결합하고, 이를 소정의 베이시스 행렬에 의해 정의되는 판별공간으로 프로젝션시킨 다음, 프로젝션된 벡터의 각 성분을 소정의 방식으로 양자화시켜 중심 복합특징벡터로서 저장한다.
도 2는 도 1에 도시된 퓨리에특징 생성부(121)의 세부적인 구성을 나타낸 블록도로서, 제1 영상분할부(210), 전체퓨리에 특징벡터 생성부(220) 및 중심퓨리에 특징벡터 생성부(230)로 이루어진다. 전체퓨리에 특징벡터 생성부(220)는 제1 및 제2 퓨리에변환부(222,225), 제1 및 제2 PCLDA 프로젝션부(223,226) 및 제1 벡터 정규화부(227)로 이루어지고, 중심퓨리에 특징벡터 생성부(230)는 제3 퓨리에변환부(231), 제3 및 제4 PCLDA 프로젝션부(233,234) 및 제2 벡터 정규화부(235)로 이루어진다.
도 2를 참조하면, 제1 영상분할부(210)는 정규화된 얼굴영상(210)을 전체 얼굴영역(221), 블록분할 얼굴영역(224)과 중심 얼굴영역(231)으로 분할한다.
전체퓨리에 특징벡터 생성부(220)는 전체 얼굴영역(221)에 대하여 퓨리에 스펙트럼을, 블록분할 얼굴영역(224)에 대하여 퓨리에진폭을 생성하고, 퓨리에 스펙트럼과 퓨리에진폭을 이용하여 전체퓨리에 특징벡터를 생성한다. 이를 좀 더 세부적으로 설명하면 다음과 같다.
제1 퓨리에변환부(222)에서는 전체 얼굴영역(221)에 대해 퓨리에변환을 수행하여 주파수영역으로 변환시킨다. 전체 얼굴영역(221)을 f(x,y)라 한 경우, 그 퓨리에 스펙트럼 F(u,v)는 다음 수학식 1과 같이 나타낼 수 있다.
여기서, M=46, N=56, u=0.1,2,...,45, v=0,1,2,...,55, F(0,0)는 DC 성분이다. 퓨리에 스펙트럼(F(u,v))는 각 성분들이 퓨리에 스펙트럼의 라스터 스캐닝 결과 실수부(Re[F(u,v)])와 허수부(Im[F(u,v)])로 정의되는 제1 특징벡터(x 1 f )를 얻는데 사용된다. 여기서, 라스터 스캐닝은 다음 표 1에 정의된 바와 같이 u=12,13,...,34의 고주파성분을 제외한 스캔영역 A 및 B에 대하여 수행된다. 표 1은 퓨리에 도메인에서 특징벡터를 추출하기 위한 라스터 스캔 파라미터를 나타낸다.
여기서, SA 및 SB 는 스캔영역 A 및 B에서 시작 포인트에 해당하고, EA 및 EB 는 스캔영역 A 및 B에서 종료 포인트에 해당한다. 라스터 스캔 및 스캔영역의 일예는 도 10에 도시된 바와 같다. 도 10에 도시된 바와 같이, 퓨리에성분들은 u 방향 스캔에 의해 스캔영역 A 및 B로부터 추출된다.
라스터 스캐닝 결과, 제1 특징벡터(x 1 f)는 다음 수학식 2에서와 같이 표현될 수 있으며, 이때 제1 특징벡터(x 1 f)의 차원은 644가 된다.
제1 PCLDA 프로젝션부(223)에서는 제1 퓨리에 변환부(222)에 의해 추출된 제1 특징벡터(x 1 f)를 제1 특징벡터(x 1 f)에 대한 PCLDA(Linear Discriminant Analysis of Principal Components)에 의해 얻어지는 판별공간으로 프로젝션시킨다. 판별공간은 기학습된 제1 베이시스 행렬(Ψ 1 f)에 의해 정의된다.
한편, 제2 퓨리에 변환부(225)에서는 블럭분할 얼굴영역(224)에 대해 퓨리에변환을 수행하여 주파수영역으로 변환시킨다. 블록분할 얼굴영역(224)은 도 3에 도시된 바와 같이 전체영역(311), 4 블록분할영역(312) 및 16 블록분할영역(313)을 포함하며, 각 영역에 대하여 별도로 퓨리에변환을 수행한다. 여기서, 전체영역(f1 0(x,y), 311)은 정규화된 얼굴영상(110)으로부터 양 측면의 경계열을 제거하면서 44×56 영상사이즈로 클리핑함으로써 얻어지며, 다음 수학식 3과 같이 나타낼 수 있다.
여기서, x=0,1,2,...,43, y=0,1,2,...,55이다.
4 블록분할영역(fk 1(x,y), 312) 및 16 블록분할영역(fk 2(x,y), 313)은 전체영역(f1 0(x,y), 311)으로부터 얻어지는데, 4 블록분할영역(fk 1 (x,y), 312)은 전체영역(f1 0(x,y), 311)을 균등하게 그 사이즈가 22×28인 4개의 블록으로 분할함으로써 얻어지며, 다음 수학식 4와 같이 나타낼 수 있다.
여기서, k=1,2,3,4, x=0,1,2,...,21, y=0,1,2,...,27, sk 1=(k-1)mod2, tk 1=round((k-1)/2)이다.
한편, 16 블록분할영역(fk 2(x,y), 313)은 전체영역(f1 0(x,y), 311)을 균등하게 그 사이즈가 11×14인 16개의 블록으로 분할함으로써 얻어지며, 다음 수학식 5와 같이 나타낼 수 있다.
여기서, k=1,2,3,...,16, x=0,1,2,...,10, y=0,1,2,...,13, sk 2=(k-1)mod4, tk 2=round((k-1)/4)이다.
제2 퓨리에 변환부(225)에 있어서, 전체영역(311), 4 블록분할영역(312) 및 16 블록분할영역(313)에 대한 퓨리에변환 수행 결과, 퓨리에 스펙트럼(Fk j(u,v)) 및 퓨리에 진폭(｜Fk j(u,v)｜)은 다음 수학식 6 및 수학식 7과 같이 나타낼 수 있다.
여기서 ,Re(z) 및 Im(z)는 복소수 z의 실수부와 허수부를 각각 나타낸다. Mj는 전체영역(311) 또는 4 블록분할영역(312) 및 16 블록분할영역(313)의 서브블럭들의 폭을 나타내며, 예를 들면 M0=44, M1=22, M2=11이 된다. N j는 전체영역(311) 또는 4 블록분할영역(312) 및 16 블록분할영역(313)의 서브블럭들의 높이를 나타내며, 예를 들면 N0=56, N1=28, N2=14가 된다.
상기 수학식 8로 표현되는 각 퓨리에 진폭(｜Fk j(u,v)｜)을 상기 표 1에 정의된 바와 같이 고주파성분을 제외하고 라스터 스캐닝하여 제2 특징벡터(x 2 f)를 생성한다. 이때, 라스터 스캔의 순서는 전체 퓨리에진폭(｜F1 0(u,v)｜), 4 블록분할 퓨리에진폭(｜F1 1(u,v)｜, ｜F2 1(u,v)｜, ｜F3 1(u,v)｜, ｜F4 1(u,v)｜), 16 블록분할 퓨리에진폭(｜F1 2(u,v)｜, ｜F2 2(u,v)｜,..., ｜F16 2(u,v)｜)이다.
라스터 스캐닝 결과, 제2 특징벡터(x 2 f)는 다음 수학식 8에서와 같이 표현될 수 있으며, 이때 제2 특징벡터(x 2 f)의 차원은 856이 된다.
제2 PCLDA 프로젝션부(226)에서는 제2 퓨리에 변환부(225)에 의해 추출된 제2 특징벡터(x 2 f)를 제2 특징벡터(x 2 f)에 대한 PCLDA에 의해 얻어지는 판별공간으로 프로젝션시킨다. 판별공간은 기학습된 제2 베이시스 행렬(Ψ 2 f)에 의해 정의된다.
제1 벡터 정규화부(227)는 제1 PCLDA 프로젝션부(223)에서 프로젝션된 벡터를 단위벡터로 생성하기 위하여 정규화하여 다음 수학식 9와 같이 주어지는 제1 정규화벡터(y 1 f)를 생성하고, 제2 PCLDA 프로젝션부(226)에서 프로젝션된 벡터를 단위벡터로 생성하기 위하여 정규화하여 다음 수학식 10과 같이 주어지는 제2 정규화벡터(y 2 f)를 생성한다.
여기서, m 1 f 및 m 2 f는 기학습된 프로젝션된 벡터의 평균을 나타내며, y 1 f 및 y 2 f 의 차원은 각각 70 및 80이다.
중심퓨리에 특징벡터 생성부(230)는 중심 얼굴영역(231)에 대하여 퓨리에 스펙트럼과 퓨리에진폭을 생성하고, 퓨리에 스펙트럼과 퓨리에진폭을 이용하여 중심퓨리에 특징벡터를 생성한다. 중심퓨리에 특징벡터 생성부(230)는 전체퓨리에 특징벡터 생성부(220)와 유사한 방법으로 동작하며, 이를 좀 더 세부적으로 설명하면 다음과 같다.
먼저, 중심 얼굴영역(231)은 정규화된 얼굴영상(f(x,y), 110)을 (7,12)에서 시작하여 (38,43)에서 종료하는 32×32 영상사이즈로 클리핑함으로써 얻어진다.
제3 퓨리에 변환부(232)에서는 중심 얼굴영역(g(x,y), 231)에 대해 퓨리에변환을 수행하여 주파수영역으로 변환시켜 퓨리에 스펙트럼(G(u,v))을 얻고, 퓨리에 스펙트럼(G(u,v))을 라스터 스캐닝하여 제3 특징벡터(x 1 g)를 얻는다. 여기서, 라스터 스캐닝은 상기 표 1에 정의된 바와 같은 스캔영역 A 및 B에 대하여 수행되며, 라스터 스캐닝 결과 제3 특징벡터(x 1 g)의 차원은 256이 된다.
제3 PCLDA 프로젝션부(233)에서는 제3 퓨리에 변환부(232)에 의해 추출된 제3 특징벡터(x 1 g)를 제3 특징벡터(x 1 g)에 대한 PCLDA에 의해 얻어지는 판별공간으로 프로젝션시킨다. 판별공간은 기학습된 제3 베이시스 행렬(Ψ 1 g)에 의해 정의된다.
한편, 제4 퓨리에 변환부(235)에서는 블럭분할 얼굴영역(234)에 대해 퓨리에변환을 수행하여 주파수영역으로 변환시킨다. 블록분할 얼굴영역(234)은 32×32 영상사이즈의 중심영역(g(x,y), 321), 각각 16×16 영상사이즈를 갖는 4 블록분할영역(gk 1(x,y),322) 및 각각 8×8 영상사이즈를 갖는 16 블록분할영역(gk 2(x,y),323)을 포함하며, 각 영역에 대하여 별도로 퓨리에변환을 수행한다. 중심영역(g(x,y),321)에 대한 퓨리에진폭은 ｜G(u,v)｜로 얻어지며, 4 블록분할영역(gk 1(x,y),322) 및 16 블록분할영역(gk 2(x,y),323)의 각 서브블럭(g k j(x,y))에 대한 퓨리에진폭은 ｜Gk j(u,v)｜로 얻어진다. 이들 퓨리에 진폭들은 제4 특징벡터( x 2 g)를 생성하기 위하여 라스터 스캐닝된다. 여기서, 라스터 스캐닝은 상기 표 1에 정의된 바와 같은 스캔영역 A 및 B에 대하여 수행되며, 라스터 스캐닝 결과, 제4 특징벡터(x 2 g)의 차원은 384가 된다.
제4 PCLDA 프로젝션부(236)에서는 제4 퓨리에 변환부(235)에 의해 추출된 제4 특징벡터(x 2 g)를 제4 특징벡터(x 2 g)에 대한 PCLDA에 의해 얻어지는 판별공간으로 프로젝션시킨다. 판별공간은 기학습된 제4 베이시스 행렬(Ψ 2 g)에 의해 정의된다.
제2 벡터 정규화부(237)는 제3 PCLDA 프로젝션부(233)에서 프로젝션된 벡터를 기학습된 평균벡터(m 1 g)를 사용하여 단위벡터로 생성하기 위하여 정규화하여 제3 정규화벡터(y 1 g)를 생성하고, 제4 PCLDA 프로젝션부(236)에서 프로젝션된 벡터를 기학습된 평균벡터(m 2 g)를 사용하여 단위벡터로 생성하기 위하여 정규화하여 제4 정규화벡터(y 2 g)를 생성한다. 이때, 제3 정규화벡터(y 1 g)와 제4 정규화벡터(y 2 g)의 차원은 각각 70과 80이다.
도 4는 도 1에 도시된 전체퓨리에 특징벡터 생성부(123)의 세부적인 구성을 나타낸 블록도로서, 제1 결합부(410), 제1 LDA 프로젝션부(420) 및 제1 양자화부(430)으로 이루어진다.
도 4를 참조하면, 제1 결합부(410)에서는 퓨리에특징 생성부(121)내의 제1 및 제2 정규화벡터 생성부(220)로부터 제공되는 제1 및 제2 정규화벡터(y 1 f ,y 2 f)를 결합하여 그 차원이 예를 들면, 150인 결합벡터를 형성한다.
제1 LDA 프로젝션부(420)에서는 제1 결합부(410)로부터 제공되는 결합벡터를 기학습된 제5 베이시스 행렬(Ψ 3 f)에 의해 정의한 선형판별공간으로 프로젝션시킨다. 프로젝션된 벡터(z f)는 다음 수학식 11과 같이 나타낼 수 있다.
제1 양자화부(430)에서는 제1 LDA 프로젝션부(420)로부터 제공되는 프로젝션된 벡터(z f)의 각 성분을 다음 수학식 12를 사용하여 5 비트 부호없는 정수로 클리핑하여 양자화시킨 다음, 전체퓨리에 특징벡터(wi f)로서 저장한다.
도 5는 도 1에 도시된 중심퓨리에 특징벡터 생성부(125)의 세부적인 구성을 나타낸 블록도로서, 제2 결합부(510), 제2 LDA 프로젝션부(520) 및 제2 양자화부(530)으로 이루어진다.
도 5를 참조하면, 제2 결합부(510)에서는 퓨리에특징 생성부(121)내의 제3 및 제4 정규화벡터 생성부(230)로부터 제공되는 제3 및 제4 정규화벡터(y 1 g ,y 2 g)를 결합하여 그 차원이 예를 들면, 150인 결합벡터를 형성한다.
제2 LDA 프로젝션부(520)에서는 제2 결합부(510)로부터 제공되는 결합벡터를 기학습된 제6 베이시스 행렬(Ψ 3 g)에 의해 정의한 판별공간으로 프로젝션시켜서 프로젝션된 벡터(z g)를 생성한다.
제2 양자화부(530)에서는 제2 LDA 프로젝션부(520)로부터 제공되는 프로젝션된 벡터(z g)의 각 성분을 다음 수학식 13을 사용하여 5 비트 부호없는 정수로 클리핑하여 양자화시킨 다음, 중심 복합특징벡터(wi g)로서 저장한다.
도 6은 도 2에 도시된 인텐서티특징벡터 생성부(230)의 세부적인 구성을 나타낸 블록도로서, 포즈추정/보상부(610), 제2 영상분할부(620), 전체인텐서티 특징벡터 생성부(630), 및 부분인텐서티 특징벡터 생성부(640)로 이루어진다.
도 6을 참조하면, 포즈추정/보상부(610)에서는 정규화된 얼굴영상(110)의 포즈를 추정하고, 추정결과에 따라서 포즈를 보상하여 정면 얼굴 영상을 출력한다. 포즈추정/보상부(610)는 포즈 변화에 따른 미스매칭을 조정함으로써 동일한 픽셀로부터 가능한 한 많은 인텐서티 특징벡터들이 추출될 수 있도록 한다.
제2 영상분할부(620)에서는 포즈추정/보상부(610)에서 포즈보상된 얼굴영상을 다음 표 2에 도시된 바와 같은 라스터 스캔의 영역을 갖는 전체얼굴영역, 얼굴성분 1 내지 5를 갖는 제1 내지 제5 부분영상으로 분할한다. 즉, 전체얼굴영역은 (0,0)에서 시작하여 46×56 영상사이즈를 가지고, 제1 내지 제5 부분영상은 각각 (9,4), (6,16), (17,16), (7,25), (16,25)에서 시작하여 29×27, 24×21, 24×21, 24×24, 24×24 영상사이즈를 갖는다.
다음 표 2는 얼굴성분별 영역들(component-wise regions)의 라스터 스캔 및 벡터 차원을 나타낸 것으로서, 여기서 라스터 스캔의 영역과 부분 얼굴영상 즉, 얼굴성분의 수는 고정된 것이 아니라 가변적이다.
전체인텐서티 특징벡터 생성부(630)에 있어서, 제1 라스터스캔부(631)에서는 포즈보상된 전체 얼굴영역에 대하여 상좌측 코너(0,0)에서 시작하여 하우측 코너(46,56)에서 종료하는 행방향 라스터 스캔을 수행하여 전체 얼굴영역의 인텐서티 값으로 이루어지는 제5 특징벡터(x h)를 생성한다. 여기서, 제5 특징벡터(x h)의 차원은 예를 들면 2576이다.
제5 PCLDA 프로젝션부(632)에서는 제1 라스터스캔부(631)로부터 제공되는 제5 특징벡터(x h)를 기학습된 제7 베이시스 행렬(Ψ 1 h)에 의해 정의한 판별공간으로 프로젝션시킨다.
제5 벡터정규화부(633)에서는 제5 PCLDA 프로젝션부(632)에서 프로젝션된 벡터를 다음 수학식 14과 같이 주어지는 단위벡터(y h)로 정규화하여, 전체인텐서티 특징벡터로 생성한다.
여기서, m h 는 기학습된 프로젝션된 벡터의 평균을 나타내며, 그 차원은 40이다.
부분인텐서티 특징벡터 생성부(640)에 있어서, 제2 내지 제6 라스터스캔부(641a~645a)에서는 포즈보상된 제1 내지 제5 부분영상에 대하여 각 영상사이즈의 상좌측 코너에서 시작하여 하우측 코너에서 종료하는 행방향 라스터 스캔을 수행하여 각 부분 얼굴영역의 인텐서티 값으로 이루어지는 제6 특징벡터(x k c , k=1,...,5)를 생성한다. 여기서, 제6 특징벡터(x k c, k=1,...,5)의 차원은 각 라스터 스캔 영역에 대하여 각각 783,504,504,576,576이다.
제6 내지 제10 PCLDA 프로젝션부(641b~645b)에서는 제2 내지 제6 라스터스캔부(641a~645a)로부터 제공되는 제6 특징벡터(x k c, k=1,...,5)를 기학습된 제6 베이시스 행렬(Ψ k c, k=1,...,5)에 의해 정의한 판별공간으로 프로젝션시킨다.
제6 내지 제10 벡터정규화부(641c~645c)에서는 제6 내지 제10 PCLDA 프로젝션부(641b~645b)에서 프로젝션된 벡터를 다음 수학식 15와 같이 주어지는 단위벡터(y k c, k=1,...,5)로 정규화하여, 부분인텐서티 특징벡터로 생성한다.
여기서, m k c 는 기학습된 프로젝션된 벡터의 평균을 나타내며, 각 벡터의 차원은 40이다.
도 7은 도 6에 도시된 포즈추정/보상부(610)의 세부적인 구성을 나타낸 블록도로서, n개의 PCA/DFFS 블록(711,712,713)과 최소치 검출부(714)로 이루어지는 포즈추정부(710)와, 어핀 변환부(721)와 역맵핑부(722)로 이루어지는 포즈보상부(720)으로 구성된다.
포즈추정부(710)는 PCA/DFFS(Principal Component Analysis/Distance From Face Space) 방법을 사용하여 정규화된 얼굴영상(110)을 예를 들어 다음 표 3에서와 같이 미리 정의된 9개의 포즈 클래스 중 하나로 추정하기 위한 것으로서, 이를 위하여 제1 내지 제n PCA 프로젝션부(711a,712a,713a, 여기서 n=9)에서는 정규화된 얼굴영상(110)을 서로 다른 9개의 포즈 클래스에 대한 프로젝션 행렬(P i, i=1,2,,...,9)의 PCA 부공간으로 프로젝션시킨다. 이때, 각 포즈 클래스의 PCA 모델은 트레이닝 얼굴영상들로부터 수집된 예제 영상들로 학습되고, 포즈 클래스와 유사한 포즈를 갖는 얼굴영상들을 PCA 베이시스 영상으로 나타낼 수 있다.
제1 내지 제n DFFS 산출부(711b,712b,713b, 여기서 n=9)에서는 각 포즈 클래스에 대하여 영상의 거리(di(x))를 다음 수학식 16을 이용하여 산출한다. 영상의 거리는 정규화된 얼굴영상(110)이 특정 포즈 클래스에 대한 PCA 부공간에 의해 표현되는 정도를 나타낸다.
여기서, x와 M i는 각각 정규화된 얼굴영상(110)의 열방향 라스터 스캔과 포즈 클래스(i)에 대한 PCA 부공간의 평균벡터를 나타낸다. 상기 프로젝션 행렬(P i, i=1,2,,...,9) 및 평균벡터(M i)는 기학습된 것을 사용한다.
최소치 검출부(714)에서는 제1 내지 제n DFFS 산출부(711b,712b,713b, 여기서 n=9)로부터 제공되는 영상의 거리(di(x)) 중 다음 수학식 17에서와 같이 최소치를 갖는 포즈 클래스를 정규화된 얼굴영상(110)의 포즈 클래스로 추정한다.
상기한 PCA/DFFS 방법은 B.Moghaddam 와 A.Pentland 가 발표한 『"Face Recognition using View-Based and Modular Eigenspaces," Automatic Systems for the Identification and Inspection of Humans, SPIE Vol.2277, July 1994』에 자세히 기재되어 있다.
다음, 포즈보상부(720)는 포즈추정부(710)에서 추정된 포즈 클래스에 따라서, 정규화된 얼굴영상(110)을 정면 얼굴영상으로 보상하기 위한 것으로서, 이를 위하여 어핀변환부(721)에서는 포즈추정부(710)에서 추정된 포즈 클래스에 대응하는 정면 포즈 클래스로의 어핀변환(Affine transformation) 행렬을 로드한다. 각 포즈 클래스로부터 정면 포즈 클래스로의 어핀변환은 정면 포즈 클래스와 각 포즈 클래스 사이의 대응 포인트들에 의해 결정된다. 각 포즈 클래스의 대응 포인트들은 예를 들면 15개의 구분가능한 얼굴특징에 대한 평균위치로 산출되고, 15개의 구분가능한 얼굴특징은 포즈 클래스에 할당되는 트래이닝 영상으로부터 수동으로 선택될 수 있다.
역매핑부(722)에서는 어핀변환부(721)에서 로딩된 어핀변환 행렬을 사용하여 정규화된 얼굴영상(110)을 정면 얼굴영상으로 기하학적으로 역매핑시켜 포즈보상된 얼굴영상을 제공한다. 포즈 클래스(j)의 변환은 다음 표 4에 규정된 바와 같은 6 차원 벡터(Aj={a,b,c,d,e,f})로 표현된다.
한편, 역매핑된 얼굴영상의 위치(x,y)에서의 인텐서티는 다음 수학식 18과 같이 산출된다.
여기서, x'=ceil(a·x + b·y + c), y'=ceil(d·x + e·y + f), dx=(a·x + b·y + c) - x', dy=(d·x + e·y + f) - y'을 나타내며, f(x',y')는 위치 (x',y')에서의 정규화된 얼굴영상의 인텐서티를 나타낸다.
도 8은 도 1에 도시된 전체 복합특징벡터 생성부(133)의 세부적인 구성을 나타낸 블록도로서, 제3 결합부(810), 제3 LDA 프로젝션부(820) 및 제3 양자화부(830)으로 이루어진다.
도 8을 참조하면, 제3 결합부(810)에서는 퓨리에특징 생성부(121)내의 제1 및 제2 정규화벡터 생성부(220)로부터 제공되는 제1 및 제2 정규화벡터(y 1 f ,y 2 f)와 전체인텐서티 특징벡터 생성부(630)로부터 제공되는 전체인텐서티 특징벡터(y h)를 결합하여 그 차원이 예를 들면, 190인 결합벡터를 형성한다.
제3 LDA 프로젝션부(820)에서는 제3 결합부(810)로부터 제공되는 결합벡터를 기학습된 제9 베이시스 행렬(Ψ 2 h)에 의해 정의한 선형판별공간으로 프로젝션시킨다. 프로젝션된 벡터(z h)는 다음 수학식 19와 같이 나타낼 수 있다.
제3 양자화부(830)에서는 제3 LDA 프로젝션부(820)로부터 제공되는 프로젝션된 벡터(z h)의 각 성분을 다음 수학식 20을 사용하여 5 비트 부호없는 정수로 클리핑하여 양자화시킨 다음, 전체 복합특징벡터(wi h)로서 저장한다.
도 9는 도 1에 도시된 중심 복합특징벡터 생성부(135)의 세부적인 구성을 나타낸 블록도로서, 제4 결합부(910), 제4 LDA 프로젝션부(920) 및 제4 양자화부(730)으로 이루어진다.
도 9를 참조하면, 제4 결합부(910)에서는 퓨리에특징 생성부(121)내의 제3 및 제4 정규화벡터 생성부(230)로부터 제공되는 제3 및 제4 정규화벡터(y 1 g ,y 2 g)와 부분인텐서티 특징벡터 생성부(640)로부터 제공되는 부분인텐서티 특징벡터(y k c )를 결합하여 그 차원이 예를 들면, 350인 결합벡터를 형성한다.
제4 LDA 프로젝션부(920)에서는 제4 결합부(910)로부터 제공되는 결합벡터를 기학습된 제10 베이시스 행렬(Ψ 6 c)에 의해 정의한 판별공간으로 프로젝션시킨다. 프로젝션된 벡터(z c)는 다음 수학식 21과 같이 나타낼 수 있다.
제4 양자화부(930)에서는 제4 LDA 프로젝션부(920)로부터 제공되는 프로젝션된 벡터(z c)의 각 성분을 다음 수학식 22를 사용하여 5 비트 부호없는 정수로 클리핑하여 양자화시킨 다음, 중심 복합특징벡터(wi c)로서 저장한다.
다음, 본 발명에 따른 특징벡터 추출방법을 얼굴 영상 검색에 적용한 예를 통해 검색성능의 향상 정도를 살펴보기로 한다.
실험을 위하여 데이터세트로 5개의 데이터베이스로 이루어지는 MPEG-7 얼굴 데이타세트가 사용되었다. 5개의 데이터베이스는 각각 확장버젼 1 MPEG-7 얼굴 데이터베이스(E1), Altkom 데이터베이스(A2), XM2VTS 데이터베이스에 있는 MPEG-7 테스트세트(M3), FERET 데이터베이스(F4), 및 Banca 데이터베이스에 있는 MPEG-7 테스트세트(B5)이다. 전체 영상수는 11845개로서, 이중 3655개의 영상은 LDA(Linear Discriminant Analysis) 프로젝션 학습을 위한 트레이닝 이미지로만 사용되고, 8190개의 영상은 성능평가를 위한 테스트 이미지로만 사용되었다. 테스트 이미지 중 4190개의 영상은 얼굴 특징벡터를 추출하기 위한 베이시스 영상으로 사용되고, F4에 얻어지는 4000개의 영상은 얼굴검색을 위한 영상으로 사용되었다. 표 5는 트레이닝 이미지 및 테스트 이미지에 대한 세부적인 리스트를 나타낸 것이며, 본 발명을 적용한 영상 검색 알고리즘의 성능을 평가하기 위하여 각 영상에 대한 사전정보(ground truth)를 알고 있는 상태이다.
트레이닝 이미지 I (50 vs 50) DB 사람수 영상수 총계
A2 40 15 600
B5 - - -
M1 317 5 1,585
M3 147 10 1,470
F4 - - -
총계 504 3,655
테스트 이미지I (50 vs 50) DB 사람수 영상수 총계
A2 40 15 600
B5 52 10 520
M1 318 5 1,590
M3 148 10 1,480
F4 - - 4,000
총계 558 8,190
한편, 검색의 정확도는 ANMRR(Average Normalized Modified Retrieval Rate)로 평가되었다. ANMRR에 대하여 세부적인 사항은 B. S. Manjunath, Philippe Salembier 및 Thomas Sikora에 의한 『"Introuction to MPEG-7: Multimedia Content Description Interface," John Wiley & Sons Ltd., 2002』에 자세히 기재되어 있다.
시뮬레이션한 결과 검색의 정확도를 ANMRR로 나타내면, 퓨리에 특징벡터만 사용할 경우 0.354, 인텐서티 특징벡터만 사용할 경우 0.390이었다. 그러나, 본 발명에서와 같이 퓨리에 특징벡터와 인텐서티 특징벡터를 머지시켜 사용하는 경우 0.266이었다. 기존에 사용된 퓨리에 특징벡터의 사이즈는 250(=48×5) 비트이고, 본 발명에서 사용된 퓨리에 특징벡터의 사이즈는 320(=64×5) 비트이다. 검색의 정확도는 LDA 프로젝션의 차원에 따라 달라진다. 예를 들어, 차원이 48(즉, 240 비트)인 경우 ANMRR은 0.280, 차원이 64(즉, 320 비트)인 경우 ANMRR은 0.266, 차원이 128(즉, 640 비트)인 경우 ANMRR은 0.249가 된다. 이와 같이, 본 발명에서와 같이 퓨리에 특징벡터와 인텐서티 특징벡터를 머지시켜 사용할 경우 우수한 검색의 정확도 및 식별결과를 제공할 수 있음이 입증되었다.
상술한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
상술한 바와 같이 본 발명에 따르면, 정규화된 얼굴영상에 대하여 퓨리에 특징벡터와 인텐서티 특징벡터를 별도로 생성한 다음 머지시킴으로써 주파수 영역상에서 생성된 특징벡터에 의한 검색한계와 공간 영역상에서 생성된 특징벡터의 검색한계를 보완하여 검색의 정확도를 대폭 향상시킬 수 있는 이점이 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명에 따른 얼굴 인식 및 검색용 특징벡터 추출장치의 일실시예의 구성을 나타낸 블럭도,
도 2는 도 1에 도시된 퓨리에특징 생성부의 세부적인 구성을 나타낸 블록도,
도 3a 및 도3b는 도 2에 도시된 블록분할 얼굴영역의 세부적인 구성을 나타낸 블럭도,
도 4는 도 1에 도시된 전체퓨리에 특징벡터 생성부의 세부적인 구성을 나타낸 블록도,
도 5는 도 1에 도시된 중심퓨리에 특징벡터 생성부의 세부적인 구성을 나타낸 블록도,
도 6은 도 1에 도시된 인텐서티특징 생성부의 세부적인 구성을 나타낸 블록도,
도 7는 도 6에 도시된 포즈 추정/보상부의 세부적인 구성을 나타낸 블럭도,
도 8은 도 1에 도시된 전체복합 특징벡터 생성부의 세부적인 구성을 나타낸 블록도,
도 9은 도 1에 도시된 중심복합 특징벡터 생성부의 세부적인 구성을 나타낸 블록도, 및
도 10은 도 1에 도시된 퓨리에특징 생성부에서 적용되는 라스터 스캔을 설명하는 도면이다.

Claims (20)

  1. (a) 정규화된 얼굴영상의 전체얼굴영역에 대한 주파수 특징벡터로서 제1 및 제2 정규화벡터를 이용하여 전체퓨리에 특징벡터를 생성하고, 중심얼굴영역에 대한 주파수 특징벡터로서 제3 및 제4 정규화벡터를 이용하여 중심퓨리에 특징벡터를 생성하는 단계; 및
    (b) 상기 정규화된 얼굴영상의 전체얼굴영역에 대한 인텐서티특징벡터와 소정 갯수의 얼굴성분별 인텐서티특징벡터를 생성하고, 상기 제1 및 제2 정규화벡터와 상기 전체얼굴영역에 대한 인텐서티특징벡터를 결합하여 전체복합특징벡터를 생성하고, 상기 제3 및 제4 정규화벡터와 상기 얼굴성분별 인텐서티특징벡터를 결합하여 중심복합 특징벡터를 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  2. 제1 항에 있어서, 상기 (a) 단계는
    (a1) 상기 전체얼굴영역에 대하여 퓨리에변환을 수행하여 퓨리에 스펙트럼과 퓨리에진폭을 획득하고, 획득된 퓨리에 스펙트럼과 퓨리에진폭을 이용하여 제1 및 제2 특징벡터를 정의하는 단계;
    (a2) 상기 중심얼굴영역에 대하여 퓨리에변환을 수행하여 퓨리에 스펙트럼과 퓨리에진폭을 획득하고, 획득된 퓨리에 스펙트럼과 퓨리에진폭을 이용하여 제3 및 제4 특징벡터를 정의하는 단계;
    (a3) 상기 제1 및 제2 특징벡터를 제1 PCLDA 부공간으로 프로젝션시킨 다음 정규화시켜 제1 및 제2 정규화벡터를 생성하고, 이들을 결합하여 제1 소정의 선형판별공간으로 프로젝션시켜 전체퓨리에 특징벡터를 생성하는 단계; 및
    (a4) 상기 제3 및 제4 특징벡터를 제2 PCLDA 부공간으로 프로젝션시킨 다음 정규화시켜 제3 및 제4 정규화벡터를 생성하고, 이들을 결합하여 제2 소정의 선형판별공간으로 프로젝션시켜 중심퓨리에 특징벡터를 생성하는 단계로 이루어지는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  3. 제2 항에 있어서, 상기 (a1) 단계에서 상기 퓨리에 스펙트럼은 전체얼굴영역으로부터, 상기 퓨리에진폭은 제1 블럭분할 얼굴영역으로부터 각각 얻어지는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  4. 제3 항에 있어서, 상기 제1 블록분할 얼굴영역은 상기 전체얼굴영역을 소정 사이즈로 클리핑하여 얻어지는 전체영역, 상기 전체영역의 4 블록분할영역 및 16 블록분할영역을 포함하는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  5. 제2 항에 있어서, 상기 (a2) 단계에서 상기 퓨리에 스펙트럼은 중심얼굴영역으로부터, 상기 퓨리에진폭은 제2 블럭분할 얼굴영역으로부터 각각 얻어지는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  6. 제5 항에 있어서, 상기 제2 블록분할 얼굴영역은 상기 중심얼굴영역에 해당하는 중심영역, 상기 중심영역의 4 블록분할영역 및 16 블록분할영역을 포함하는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  7. 제1 항에 있어서, 상기 (b) 단계는
    (b1) 상기 정규화된 얼굴영상의 전체얼굴영역에 대한 주파수 특징벡터로서 제1 및 제2 정규화벡터와, 중심얼굴영역에 대한 주파수 특징벡터로서 제3 및 제4 정규화벡터를 생성하는 단계;
    (b2) 상기 정규화된 얼굴영상의 전체얼굴영역에 대한 인텐서티특징벡터와 소정 갯수의 얼굴성분별 인텐서티특징벡터를 생성하는 단계;
    (b3) 상기 전체얼굴영역에 대한 퓨리에특징벡터와 상기 전체얼굴영역에 대한 인텐서티특징벡터를 결합하여 제3 소정의 선형판별공간으로 프로젝션시켜 전체복합특징벡터를 생성하는 단계; 및
    (b4) 상기 중심얼굴영역에 대한 퓨리에특징벡터와 상기 얼굴성분별 인텐서티특징벡터를 결합하여 제4 소정의 선형판별공간으로 프로젝션시켜 중심복합 특징벡터를 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  8. 제7 항에 있어서, 상기 (b2) 단계는
    (b21) 상기 정규화된 얼굴영상에 대하여 포즈 추정 및 보상을 수행하여 정면 얼굴영상으로 변환하는 단계;
    (b22) 상기 포즈보상된 얼굴영상의 전체얼굴영역을 라스터 스캔하여 제5 특징벡터를 정의하는 단계;
    (b23) 상기 포즈보상된 얼굴영상에 대한 복수개의 얼굴성분별 영역을 라스터 스캔하여 제6 특징벡터를 정의하는 단계;
    (b24) 상기 제5 특징벡터를 제3 PCLDA 부공간으로 프로젝션시킨 다음, 제5 단위벡터로 정규화시켜 전체인텐서티 특징벡터로 생성하는 단계; 및
    (b25) 상기 제6 특징벡터를 제4 PCLDA 부공간으로 프로젝션시킨 다음, 제6 단위벡터로 정규화시켜 부분인텐서티 특징벡터로 생성하는 단계로 이루어지는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  9. 제8 항에 있어서, 상기 (b21) 단계에서는 상기 정규화된 얼굴영상의 포즈를 PCA-DFFS 방법에 의해 추정하는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  10. 제7 항에 있어서, 상기 (b3) 단계는
    (b31) 상기 (b1) 단계에서 생성되는 제1 및 제2 정규화벡터와 상기 (b2) 단계에서 생성되는 전체인텐서티 특징벡터를 결합시키는 단계;
    (b32) 상기 결합된 특징벡터를 상기 제3 소정의 선형판별공간으로 프로젝션시키는 단계; 및
    (b33) 상기 프로젝션된 벡터의 각 성분을 양자화시켜 전체복합 특징벡터로서 저장하는 단계로 이루어지는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  11. 제7항에 있어서, 상기 (b4) 단계는
    (b41) 상기 (b1) 단계에서 생성되는 제3 및 제4 정규화벡터와 상기 (b2) 단계에서 생성되는 부분인텐서티 특징벡터를 결합시키는 단계;
    (b42) 상기 결합된 특징벡터를 상기 제4 소정의 선형판별공간으로 프로젝션시키는 단계; 및
    (b43) 상기 프로젝션된 벡터의 각 성분을 양자화시켜 중심 복합특징벡터로서 저장하는 단계로 이루어지는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  12. (a) 정규화된 얼굴영상의 전체얼굴영역에 대한 주파수 특징벡터로서 제1 및 제2 정규화벡터와, 중심얼굴영역에 대한 주파수 특징벡터로서 제3 및 제4 정규화벡터를 생성하는 단계;
    (b) 상기 정규화된 얼굴영상의 전체얼굴영역에 대한 인텐서티특징벡터와 소정 갯수의 얼굴성분별 인텐서티특징벡터를 생성하는 단계;
    (c) 상기 전체얼굴영역에 대한 퓨리에특징벡터와 상기 전체얼굴영역에 대한 인텐서티특징벡터를 결합하여 제1 소정의 선형판별공간으로 프로젝션시켜 전체복합특징벡터를 생성하는 단계; 및
    (d) 상기 중심얼굴영역에 대한 퓨리에특징벡터와 상기 얼굴성분별 인텐서티특징벡터를 결합하여 제2 소정의 선형판별공간으로 프로젝션시켜 중심복합 특징벡터를 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  13. 제1 내지 제12 항 중 어느 한 항에 기재된 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
  14. 정규화된 얼굴영상의 전체얼굴영역에 대한 주파수 특징벡터로서 제1 및 제2 정규화벡터를 이용하여 전체퓨리에 특징벡터를 생성하고, 중심얼굴영역에 대한 주파수 특징벡터로서 제3 및 제4 정규화벡터를 이용하여 중심퓨리에 특징벡터를 생성하는 제1 유니트; 및
    상기 정규화된 얼굴영상의 전체얼굴영역에 대한 인텐서티특징벡터와 소정 갯수의 얼굴성분별 인텐서티특징벡터를 생성하고, 상기 제1 및 제2 정규화벡터와 상기 전체얼굴영역에 대한 인텐서티특징벡터를 결합하여 전체복합특징벡터를 생성하고, 상기 제3 및 제4 정규화벡터와 상기 얼굴성분별 인텐서티특징벡터를 결합하여 중심복합 특징벡터를 생성하는 제2 유니트를 포함하는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출방법.
  15. 제14 항에 있어서, 상기 제1 유니트는
    상기 정규화된 얼굴영상의 전체얼굴영역에 대한 주파수 특징벡터로서 제1 및 제2 정규화벡터와, 중심얼굴영역에 대한 주파수 특징벡터로서 제3 및 제4 정규화벡터를 생성하는 퓨리에특징 생성부;
    상기 제1 및 제2 정규화벡터를 결합하여 제1 소정의 선형판별공간으로 프로젝션시켜 전체퓨리에 특징벡터를 생성하는 전체퓨리에 특징벡터 생성부; 및
    상기 제3 및 제4 정규화벡터를 결합하여 제2 소정의 선형판별공간으로 프로젝션시켜 중심퓨리에 특징벡터를 생성하는 중심퓨리에 특징벡터 생성부로 이루어지는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출장치.
  16. 제14 항에 있어서, 상기 제2 유니트는
    상기 정규화된 얼굴영상의 전체얼굴영역에 대한 주파수 특징벡터로서 제1 및 제2 정규화벡터와, 중심얼굴영역에 대한 주파수 특징벡터로서 제3 및 제4 정규화벡터를 생성하는 퓨리에특징 생성부;
    상기 정규화된 얼굴영상의 전체얼굴영역에 대한 인텐서티특징벡터와 소정 갯수의 얼굴성분별 인텐서티특징벡터를 생성하는 인텐서티특징 생성부;
    상기 전체얼굴영역에 대한 제1 및 제2 정규화벡터와 상기 전체얼굴영역에 대한 인텐서티특징벡터를 결합하여 전체복합특징벡터를 생성하는 전체복합 특징벡터 생성부; 및
    상기 중심얼굴영역에 대한 제3 및 제4 정규화벡터와 상기 얼굴성분별 인텐서티특징벡터를 결합하여 중심복합 특징벡터를 생성하는 중심복합 특징벡터 생성부를 포함하는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출장치.
  17. 제16 항에 있어서, 상기 퓨리에특징 생성부는
    상기 전체얼굴영역에 대한 퓨리에변환결과 얻어지는 퓨리에 스펙트럼과 퓨리에진폭으로부터 정의되는 제1 및 제2 특징벡터를 제1 PCLDA 부공간으로 프로젝션시킨 다음 정규화시켜 상기 제1 및 제2 정규화벡터를 생성하는 전체퓨리에 특징벡터 생성부; 및
    상기 중심얼굴영역에 대한 퓨리에변환결과 얻어지는 퓨리에 스펙트럼과 퓨리에진폭으로부터 정의되는 제3 및 제4 특징벡터를 제2 PCLDA 부공간으로 프로젝션시킨 다음 정규화시켜 상기 제3 및 제4 정규화벡터를 생성하는 중심퓨리에 특징벡터 생성부로 이루어지는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출장치.
  18. 제17 항에 있어서, 상기 전체퓨리에 특징벡터 생성부에서 상기 퓨리에 스펙트럼은 전체얼굴영역으로부터, 상기 퓨리에진폭은 상기 전체얼굴영역을 소정 사이즈로 클리핑하여 얻어지는 전체영역, 상기 전체영역의 4 블록분할영역 및 16 블록분할영역으로부터 각각 얻어지는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출장치.
  19. 제17 항에 있어서, 상기 중심퓨리에 특징벡터 생성부에서 상기 퓨리에 스펙트럼은 중심얼굴영역으로부터, 상기 퓨리에진폭은 상기 중심영역, 상기 중심영역의 4 블록분할영역 및 16 블록분할영역으로부터 각각 얻어지는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출장치.
  20. 제16 항에 있어서, 인텐서티특징 생성부는
    상기 정규화된 얼굴영상의 포즈를 추정하여 정면 얼굴영상으로 변환하는 포즈추정/보상부;
    상기 포즈추정된 얼굴영상의 전체얼굴영역에 대한 라스터 스캔결과 얻어지는 제5 특징벡터를 제3 PCLDA 부공간으로 프로젝션시킨 다음, 제5 단위벡터로 정규화시켜 전체인텐서티 특징벡터로 생성하는 전체인텐서티 특징벡터 생성부; 및
    상기 포즈추정된 얼굴영상의 복수개의 얼굴성분별 영역에 대한 라스터 스캔결과 얻어지는 제6 특징벡터를 제4 PCLDA 부공간으로 프로젝션시킨 다음, 제6 단위벡터로 정규화시켜 부분인텐서티 특징벡터로 생성하는 부분인텐서티 특징벡터 생성부로 이루어지는 것을 특징으로 하는 얼굴 인식 및 검색용 특징벡터 추출장치.
KR10-2003-0026426A 2002-10-15 2003-04-25 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치 KR100486738B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP03256510A EP1411459B1 (en) 2002-10-15 2003-10-15 Method and apparatus for extracting feature vector used for face recognition and retrieval
CNB2003101204703A CN100342399C (zh) 2002-10-15 2003-10-15 提取用作面貌识别和重现的特征向量的方法和装置
JP2003354929A JP4061260B2 (ja) 2002-10-15 2003-10-15 顔認識及び検索用特徴ベクトル抽出方法及びその装置並びにその方法を実行できるプログラムを記録したコンピュータで判読できる記録媒体
DE60327589T DE60327589D1 (de) 2002-10-15 2003-10-15 Verfahren und Vorrichtung zur Extraktion eines Merkmalsvektors zur Erkennung von Gesichtern und zum Datenbankzugriff auf Gesichter
US10/685,002 US7391889B2 (en) 2002-10-15 2003-10-15 Method and apparatus for extracting feature vector used for face recognition and retrieval

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20020062650 2002-10-15
KR1020020062650 2002-10-15

Publications (2)

Publication Number Publication Date
KR20040034342A KR20040034342A (ko) 2004-04-28
KR100486738B1 true KR100486738B1 (ko) 2005-05-03

Family

ID=37333674

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0026426A KR100486738B1 (ko) 2002-10-15 2003-04-25 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치

Country Status (2)

Country Link
KR (1) KR100486738B1 (ko)
DE (1) DE60327589D1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102103557B1 (ko) 2019-05-03 2020-04-22 주식회사 페이스테그 얼굴 인식 방법, 얼굴 인식 장치, 이를 위한 컴퓨터 프로그램

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
KR100596559B1 (ko) * 2003-11-01 2006-07-04 학교법인연세대학교 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법
KR100621595B1 (ko) * 2004-07-24 2006-09-14 삼성전자주식회사 다양한 포즈를 갖는 얼굴 영상을 인식하는 방법
US8503800B2 (en) * 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
KR100723417B1 (ko) * 2005-12-23 2007-05-30 삼성전자주식회사 얼굴 인식 방법, 그 장치, 이를 위한 얼굴 영상에서 특징추출 방법 및 그 장치
KR100714726B1 (ko) * 2006-01-11 2007-05-04 삼성전자주식회사 얼굴 인식 방법 및 장치
KR100745981B1 (ko) * 2006-01-13 2007-08-06 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
KR100825756B1 (ko) 2006-12-05 2008-04-29 한국전자통신연구원 얼굴 특징 추출 방법 및 그 장치
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
KR101310885B1 (ko) * 2012-05-31 2013-09-25 주식회사 에스원 영역 분할을 토대로 하는 얼굴 인식 방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102103557B1 (ko) 2019-05-03 2020-04-22 주식회사 페이스테그 얼굴 인식 방법, 얼굴 인식 장치, 이를 위한 컴퓨터 프로그램

Also Published As

Publication number Publication date
DE60327589D1 (de) 2009-06-25
KR20040034342A (ko) 2004-04-28

Similar Documents

Publication Publication Date Title
Li et al. Face x-ray for more general face forgery detection
JP4061260B2 (ja) 顔認識及び検索用特徴ベクトル抽出方法及びその装置並びにその方法を実行できるプログラムを記録したコンピュータで判読できる記録媒体
Tsapatsoulis et al. Efficient face detection for multimedia applications
Han et al. Fuzzy color histogram and its use in color image retrieval
US7006714B2 (en) Image retrieval device, image retrieval method and storage medium storing similar-image retrieval program
EP1452995B1 (en) Method for detecting color objects in digital images
US20120027270A1 (en) Method and System of Person Identification by Facial Image
US20050129311A1 (en) Object detection
EP1343108A2 (en) Method and apparatus for recognising faces using principal component analysis and second order independent component analysis
Hakimi et al. Image splicing forgery detection using local binary pattern and discrete wavelet transform
KR100486738B1 (ko) 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치
Cao et al. Metric learning for anti-compression facial forgery detection
Mohamed et al. Automated face recogntion system: Multi-input databases
WO2004081872A1 (ja) データ分析装置およびデータ認識装置
Tsapatsoulis et al. Face extraction from non-uniform background and recognition in compressed domain
Jaimes et al. Integrating multiple classifiers in visual object detectors learned from user input
Lakshmi et al. A novel sketch based face recognition in unconstrained video for criminal investigation
Vinod et al. Object location using complementary color features: histogram and DCT
Yang et al. Reliable image matching via modified Hausdorff distance with normalized gradient consistency measure
Petrescu et al. Face detection from complex scenes in color images
Mary et al. Content based image retrieval using colour, multi-dimensional texture and edge orientation
Shih et al. An effective colour feature extraction method using evolutionary computation for face recognition
Li A method of improving accuracy in expression recognition
Singh et al. Gray Level Co-occurrence Matrix with Binary Robust Invariant Scalable Keypoints for Detecting Copy Move Forgeries
Shahdi et al. Multi-color ulbp with wavelet transform in invariant pose face recognition

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130318

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140325

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150313

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20160322

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180321

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 15