KR20050008485A - 다중시점 얼굴 데이터베이스 구축장치 및 방법과 다중시점얼굴기술자 생성장치 및 방법 - Google Patents
다중시점 얼굴 데이터베이스 구축장치 및 방법과 다중시점얼굴기술자 생성장치 및 방법 Download PDFInfo
- Publication number
- KR20050008485A KR20050008485A KR1020040053686A KR20040053686A KR20050008485A KR 20050008485 A KR20050008485 A KR 20050008485A KR 1020040053686 A KR1020040053686 A KR 1020040053686A KR 20040053686 A KR20040053686 A KR 20040053686A KR 20050008485 A KR20050008485 A KR 20050008485A
- Authority
- KR
- South Korea
- Prior art keywords
- viewpoint
- face
- view
- image
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims description 65
- 238000012549 training Methods 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 27
- 230000001815 facial effect Effects 0.000 claims description 22
- 230000004807 localization Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 210000000887 face Anatomy 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 108010050063 beta-naphthylsulfonyl-R-(d-Pip)-Ada-Abu-DYEPIPEEA-(Cha)-(d-Glu)-OH-AcOH Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- BWHLPLXXIDYSNW-UHFFFAOYSA-N ketorolac tromethamine Chemical compound OCC(N)(CO)CO.OC(=O)C1CCN2C1=CC=C2C(=O)C1=CC=CC=C1 BWHLPLXXIDYSNW-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
다중시점 얼굴 데이터베이스 구축장치 및 방법과 다중시점 얼굴기술자 생성장치 및 방법이 개시된다. 다중시점 얼굴기술자 생성장치는 각각 시점 모자이크로 구성되는 트레이닝 얼굴영상 세트와 테스트 얼굴영상 세트를 데이터베이스화하여 저장하는 다중시점 얼굴 데이터베이스; 상기 다중시점 얼굴 데이터베이스로부터 선택된 각 시점의 트레이닝 얼굴영상에 대한 베이시스 매트릭스를 생성하는 베이시스 매트릭스 생성부; 상기 다중시점 얼굴 데이터베이스로부터 선택된 각 시점의 테스트 얼굴영상에 대한 베이시스 매트릭스를 이용하여 해당 시점의 테스트 얼굴영상의 특징벡터를 추출하는 특징추출부; 상기 특징추출부에서 추출된 각 시점에 대한 특징벡터를 이용하여 상기 테스트 얼굴영상을 검색하고, 검색결과에 따라서 복수개의 시점을 등록시점으로 선택하는 등록시점 선택부; 및 상기 선택된 복수개의 등록시점의 얼굴기술자를 통합하여 다중시점 얼굴기술자를 생성하는 얼굴기술자 생성부로 이루어진다.
Description
본 발명은 얼굴 인식에 관한 것으로서, 특히 얼굴영상의 포즈변화에 강인하도록 다양한 시점을 커버할 수 있는 다중시점 얼굴 데이터베이스 구축장치 및 방법, 다중시점 얼굴기술자 생성장치 및 방법에 관한 것이다.
포즈변화나 조명변화를 가진 얼굴영상 데이터베이스에서, 한장의 쿼리영상(Query Image)으로부터 특징을 추출하여 동일한 신원의 얼굴영상이나 유사도가 높은 얼굴영상을 검색하는 것은 어려운 문제이다. 특히, 기존의 얼굴인식 알고리즘들은 여러 장의 쿼리영상을 필요로 하므로 한장이나 소수의 영상만 주어진 경우 얼굴인식 성능의 급격한 저하를 가져온다. 얼굴인식 알고리즘에서 사용되는 얼굴기술자(face descriptor)는 얼굴을 가장 잘 표현하는 특징벡터들을 의미하며, 얼굴기술자는 2차원적 방법이나 3차원적 방법에 의해 생성될 수 있다.
2차원 얼굴기술자 생성방법 및 이를 이용한 얼굴인식방법이『M. Abdel-Mottaleb, J. H. Connell, R. M. Bolle, and R. Chellappa, "Face descriptor syntex,"Merging proposals P181, P551, and P650, ISO/MPEG m5207, Melbourne, 1999』에 개시되어 있다. MPEG-7에서 제안된 얼굴기술자의 주요 기능들은 효과적으로 동일한 신원의 얼굴영상을 쿼리영상을 가지고 복원하는 것을 가능하게 한다. 그러나, 이 방법은 얼굴기술자가 다양한 조명변화 및 포즈변화를 갖는 얼굴영상 집합에 대해서 적용시 문제가 있다. 종래의 2차원적인 접근에서는 소정의 고유벡터에 의해서 스팬된 서브 스페이스에 놓여진 이미지의 특정 성분을 제거함으로써 조명변화에 따른 영향을 제거하려고 시도하였다. 그러나, PCA 혹은 LDA 프로젝션에 포함된 인물의 신원 정보가 제거 처리 과정 중에 소실되어 정확한 얼굴 인식에 한계가 있었다. 또한, 인식을 위해 들어오는 얼굴영상의 포즈변화에 따른 영향을 제거하고자 등록영상의 한가지 시점을 여러가지 시점으로 변환한 다음, 다양한 시점의 영상들을 생성하는 방법을 채택하였다. 그러나, 시점 변환 및 변환된 시점의영상을 생성하는 과정에 오류가 포함될 수 있기 때문에 이를 이용하여 얼굴 인식 및 신원 인증을 수행할 경우 정확도가 떨어지게 된다.
3차원적 방법에서는 고가의 특수 장비를 사용하거나 다수의 카메라를 설치하여 얻어지는 얼굴의 3차원 정보를 이용하여 얼굴기술자를 생성한다. 또는, 2차원 얼굴영상에서 얻어지는 특징점을 복잡한 처리과정을 거쳐 3차원 정보로 생성하고, 이를 이용하여 얼굴기술자를 생성한다. 이처럼 3차원 얼굴기술자를 생성하는 데에는 비용이 많이 들 뿐 아니라, 2차원 얼굴기술자와 마찬가지로 임의의 신원의 등록영상이 한가지 시점의 얼굴영상으로부터 생성되므로 다중시점(multi-view)의 얼굴영상을 커버함에 있어서 한계가 따른다.
본 발명이 이루고자 하는 기술적 과제는 얼굴영상의 포즈변화에 강인하도록 다양한 시점을 커버할 수 있는 다중시점 얼굴 데이터베이스 구축장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 얼굴영상의 포즈변화에 강인하도록 다양한 시점을 커버할 수 있는 다중시점 얼굴기술자 생성장치 및 방법을 제공하는데 있다.
도 1은 본 발명의 일실시예에 따라 다중시점 얼굴 데이터베이스를 구축하는 장치의 구성을 나타낸 블록도,
도 2는 도 1에 있어서 얼굴 로컬라이제이션부의 세부적인 구성을 보여주는 블록도,
도 3은 도 2에 있어서 영상절단부의 동작을 설명하기 위한 도면
도 4a 내지 도 4c는 도 1에 있어서 시점 모자이크 생성부에서 생성되는 시점모자이크의 예들을 나타낸 도면,
도 5는 도 1에 있어서 시점 모자이크 생성부의 시점 간격을 설정하는 근거를 설명하는 도면,
도 6은 본 발명의 일실시예에 따라 다중시점 얼굴기술자 생성장치의 구성을 나타낸 블록도,
도 7은 도 6에 있어서 베이시스 매트릭스 생성부에서 트레이닝을 위해 사용되는 시점을 설명하는 도면,
도 8a 및 도 8b는 도 6에 있어서 베이시스 매트릭스 생성부 및 특징추출부에서 시점에 따라서 서브영역을 설정하는 방법을 설명하는 도면,
도 9는 도 6에 있어서 특징추출부의 일실시예의 구성을 나타낸 도면,
도 10은 도 6에 있어서 등록시점 선택부의 일실시예에 따른 동작을 설명하는 도면,
도 11은 도 10에 도시된 7개의 등록시점으로부터 얻어진 전체 준시점 영역을 나타내는 도면,
도 12a 및 도 12b는 얼굴의 수평 및 수직 회전각에 따라서 준시점 사이즈가 어떻게 변화하는지를 보여주는 그래프,
도 13a 및 도 13b는 본 발명에 따른 얼굴기술자를 이용하는 경우, 렌더링된 이미지(rendered image)와 비디오 이미지(video image)에 대하여 얼굴 인식율에 따른 각 시점의 준시점 영역을 비교한 그래프; 및
도 14a 내지 도 14c는 종래의 얼굴기술자를 이용한 얼굴인식 알고리즘과 본 발명에 따른 얼굴기술자를 이용한 얼굴인식 알고리즘의 성능을 평가한 도면이다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 다중시점 얼굴 데이터베이스 구축장치는 임의의 신원에 대하여 정면 시점의 얼굴영상을 포함하여 다양한 시점의 복수개의 얼굴영상을 획득하는 영상획득부; 상기 영상획득부로부터 제공되는 얼굴영상들 중에서 복수개의 키프레임 영상을 선택하고, 선택된 키프레임 영상의 눈위치를 이용하여 시점 모자이크에 포함되는 각 시점에 대응하는 눈위치를 결정하는 눈위치 결정부; 상기 각 시점의 눈위치에 근거하여, 상기 시점 모자이크에 포함되는 각 시점의 얼굴영상을 로컬라이제이션하여 각 시점의 얼굴영상의 사이즈 및 눈위치를 정렬하는 얼굴 로컬라이제이션부; 및 상기 로컬라이제이션된 각 시점의 얼굴영상을 통합하여 상기 임의의 신원에 대한 시점 모자이크를 생성하는 시점 모자이크 생성부를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 다중시점 얼굴 데이터베이스 구축방법은 (a) 임의의 신원에 대하여 정면 시점의 얼굴영상을 포함하여 다양한 시점의 복수개의 얼굴영상을 획득하는 단계; (b) 상기 획득된 얼굴영상들 중에서 복수개의 키프레임 영상을 선택하고, 선택된 키프레임 영상의 눈위치를 이용하여 시점 모자이크에 포함되는 각 시점에 대응하는 눈위치를 결정하는 단계; (c) 상기 각 시점의 눈위치에 근거하여, 상기 시점 모자이크에 포함되는 각 시점의 얼굴영상을 로컬라이제이션하여 각 시점의 얼굴영상의 사이즈 및 눈위치를 정렬하는 단계; 및 (d) 상기 로컬라이제이션된 각 시점의 얼굴영상을 통합하여 상기 임의의 신원에 대한 시점 모자이크를 생성하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 다중시점 얼굴기술자 생성장치는 임의의 신원에 대한 시점 모자이크로 구성되는 트레이닝 얼굴영상 세트와 테스트 얼굴영상 세트를 데이터베이스화하여 저장하는 다중시점 얼굴 데이터베이스; 상기 다중시점 얼굴 데이터베이스로부터 검색된 각 시점의 트레이닝 얼굴영상에 대한 베이시스 매트릭스를 생성하는 베이시스 매트릭스 생성부; 상기 다중시점 얼굴 데이터베이스로부터 검색된 각 시점의 트레이닝 얼굴영상에 대한 베이시스 매트릭스를 이용하여 해당 시점의 테스트 얼굴영상의 특징벡터를 추출하는 특징추출부; 상기 특징추출부에서 추출된 각 시점에 대한 특징벡터를 이용하여 상기 테스트 얼굴영상을 검색하고, 검색결과에 따라서 복수개의 시점을 등록시점으로 선택하는 등록시점 선택부; 및 상기 선택된 복수개의 등록시점의 얼굴기술자를 통합하여 다중시점 얼굴기술자를 생성하는 얼굴기술자 생성부를 포함한다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 얼굴기술자 생성방법은 (a) 각각 시점 모자이크로 구성되는 트레이닝 얼굴영상 세트와 테스트 얼굴영상 세트를 데이터베이스화하여 저장하는 다중시점 얼굴 데이터베이스를 제공하는 단계; (b) 상기 다중시점 얼굴 데이터베이스로부터 선택된 각 시점의 트레이닝 얼굴영상에 대한 베이시스 매트릭스를 생성하는 단계; (c) 상기 다중시점 얼굴 데이터베이스로부터 선택된 각 시점의 테스트 얼굴영상에 대한 베이시스 매트릭스를 이용하여 해당 시점의 테스트 얼굴영상의 특징벡터를 추출하는 단계; 및 (d) 상기 추출된 각 시점에 대한 특징벡터를 이용하여 상기 테스트 얼굴영상을 검색하고, 검색결과에 따라서 복수개의 시점을 등록시점으로 선택하고, 상기 선택된 복수개의 등록시점의 얼굴기술자를 통합하여 다중시점 얼굴기술자를 생성하는 단계를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하기로 한다.
먼저 본 발명에서 사용되는 용어에 대한 정의는 다음과 같다.
시점 모자이크(view mosaic)는 수평 회전각 [-X,...X]와 수직 회전각 [-Y,...Y] 사이에서 좌우 및 상하로 소정 시점간격으로 회전시킨 얼굴영상들로 이루어진 모자이크를 의미한다. 일실시예에서 X는 90, Y는 30, 시점간격은 좌우 및 상하 각각 10이며, 반드시 여기에 한정되지는 않는다. 주어진 시점에 대한 준시점(quasi view)은 예를 들어 0.05 ANMRR(Average Normalized Modified Retrieval Rate) 이하의 검색오류를 가지면서 주어진 시점의 영상으로 검색될 수 있는 영상의 시점을 의미한다. 준시점 영역(quasi view region)은 예를 들어 0.05 이하의 ANMRR을 갖는 준시점들로 이루어진 영역을 의미하고, 준시점 사이즈(quasi view size)는 예를 들어 0.05 ANMRR 이하의 검색오류를 가지면서 주어진 시점으로 검색될 수 있는 시점들의 수를 의미한다.
도 1은 본 발명의 일실시예에 따라 다중시점(multi-view) 얼굴 데이터베이스를 구축하는 장치의 구성을 나타낸 블록도로서, 영상획득부(110), 눈위치 결정부(130), 얼굴 로컬라이제이션부(150), 및 시점 모자이크 생성부(170)를 포함하여 이루어진다. 다중시점 얼굴 데이터베이스는 트레이닝 영상 세트 및 테스트 영상 세트를 위한 데이터베이스로 사용된다. 여기서, 테스트 영상 세트는 등록하고자 하는 영상들로 구성할 수 있다. 따라서, 트레이닝 영상 세트와 테스트 영상 세트는 미리 다중시점 얼굴 데이터베이스로 구축되어 저장된다.
도 1을 참조하면, 영상획득부(110)는 임의의 신원에 대하여 정면시점의 얼굴영상을 포함하여, 일정 시점간격으로 분할된 복수개의 좌측 및 우측의 수평 회전각에 대응하는 시점의 얼굴영상 및 일정 시점간격으로 분할된 복수개의 상측 및 하측의 수직 회전각에 대응하는 시점의 얼굴영상을 획득한다. 여기서, 영상획득부(110)는 이동체를 구비한 비디오 카메라, 레이저 스캐너 혹은, 다수의 카메라 및 램프를 구비한 빌트인 스튜디오(built-in studio)를 이용하여 구현할 수 있다. 이동체를 구비한 비디오 카메라를 이용하면, 촬상 대상을 고정시킨 상태에서 비디오 카메라에 부착된 이동체의 좌측 및 우측의 수평 회전각이나 상측 및 하측의 수직 회전각을 제어함으로써 매우 조밀하면서 다양한 시점 데이터를 얻을 수 있다. 한편, 비디오 카메라는 고정시킨 상태에서 이동체를 촬상 대상에 부착하여 촬상 대상의 좌측 및 우측의 수평 회전각이나 상측 및 하측의 수직 회전각을 조절할 수도 있다. 이때, 배경화면으로 블루 스크린을 사용할 수 있으며, 그늘을 없애기 위하여 적어도 하나 이상의 램프를 사용할 수 있다.
한편, 레이저 스캐너를 이용하면, 배경화면을 필요로 하지 않으면서 얼굴의 다양한 수평 및 수직 회전각 및 다양한 조명 조건이 가상적으로 시뮬레이션될 수 있다. 빌트인 스튜디오를 이용하면, 고화질의 영상을 신속하게 얻을 수 있다. 이때 시점 영상의 종류는 카메라의 수 및 위치에 대응하며, 통상 7 내지 13개 시점의 얼굴영상을 획득할 수 있다.
눈위치 결정부(130)는 영상획득부(110)로부터 제공되는 다양한 시점의 얼굴영상 중에서 미리 설정된 시점들에 해당하는 복수개의 키프레임 영상을 선택하고, 선택된 복수개의 키프레임 영상에 대하여 눈위치를 수동으로 선택한다. 키프레임 영상들의 눈위치에 대하여 통상적인 근사화방법이나 보간방법 및 스무딩기법을 적용하여 시점 모자이크에 포함되는 모든 시점의 얼굴영상의 눈위치를 결정한다. 예를 들어, 임의의 신원에 대한 시점 모자이크가 수평 및 수직 회전각에서 시점 간격이 10도이며, -90도 내지 +90도의 수평 회전각과 -30도 내지 +30도의 수직 회전각에 대응하는 시점의 얼굴영상으로 구성되는 경우, 복수개의 키프레임 영상의 눈위치를 이용하여 19X7개 즉, 133개 시점의 얼굴영상의 눈위치를 결정할 수 있다.
얼굴 로컬라이제이션부(150)는 영상획득부(110)로부터 제공되는 다양한 시점의 얼굴영상들 중 시점 모자이크에 포함되는 각 시점에 대응하는 얼굴영상들과 눈위치 결정부(130)에서 결정되는 각 시점의 눈위치를 입력으로 하고, 각 시점의 얼굴영상을 로컬라이제이션함으로써 각 시점에 대응하는 얼굴영상의 사이즈 및 눈위치가 정렬된다.
시점 모자이크 생성부(170)는 얼굴 로컬라이제이션부(150)로부터 제공되는 로컬라이제이션된 각 시점의 얼굴영상을 통합하여 임의의 신원에 대한 시점 모자이크를 생성한다.
도 2는 도 1에 있어서 얼굴 로컬라이제이션부(150)의 세부적인 구성을 보여주는 블록도로서, 영상 절단부(210) 및 정규화부(230)를 포함하여 이루어진다.
도 2를 참조하면, 영상 절단부(210)는 영상획득부(110)로부터 제공되는 다양한 시점의 얼굴영상들 중 시점 모자이크에 포함되는 각 시점에 대응하는 얼굴영상들과 눈위치 결정부(130)에서 결정되는 각 시점의 눈위치를 입력으로 받는다. 영상절단부(210)는 시점 모자이크에 포함되는 각 시점에 대응하는 얼굴영상중에서 좌측 회전각의 얼굴영상들은 정면 시점의 얼굴영상에서 설정된 오른쪽 눈위치를 기준으로 하여, 우측 회전각의 얼굴영상들은 정면 시점의 얼굴영상에서 설정된 왼쪽 눈위치를 기준으로 하여 절단함으로써, 각 시점의 얼굴영상들이 거의 얼굴부분으로 이루어진다.
정규화부(230)는 영상 절단부(210)로부터 절단된 영상들의 사이즈를 소정 크기의 사각형 혹은 타원 형태로 정규화시킨다. 일실시예에서 정규화 사이즈는 46X56 화소 혹은 56X56 화소의 직사각형 혹은 정사각형으로 설정한다.
도 3은 도 2에 있어서 영상 절단부(210)의 동작을 설명하는 도면이다. 도 3을 참조하면, 시점모자이크(310)에 포함되는 얼굴영상의 좌우 사이즈를 각각 1로 설정한 상태에서 정면시점의 얼굴영상에서 왼쪽 눈 위치는 (0.3, 0.32), 오른쪽 눈 위치는 (0.7, 0.32)로 설정된다. 영상 절단부(210)는 수평 회전각 중 좌측 부분 즉 -90도 내지 0도에 해당하는 시점의 얼굴영상에서 오른쪽 눈의 위치를 도 3에 도시된 바와 같이 (0.3, 0.32)를 유지시키면서 소정 사이즈로 절단한다. 한편, 영상 절단부(210)는 수평 회전각 중 우측 부분 즉 0도 내지 +90도에 해당하는 시점의 영상에서 왼쪽 눈의 위치를 도 3에 도시된 바와 같이 (0.7, 0.32)를 유지시키면서 소정 사이즈로 절단한다. 한편, 임의의 수평 회전각을 갖는 얼굴영상에 대하여, 수직 회전각에서 상측과 하측의 각 시점의 얼굴영상에서 눈의 위치는 0도의 수직 회전각을 갖는 얼굴영상에서의 눈의 위치와 동일하게 설정된다.
도 4a 내지 도 4c는 도 1에 있어서 시점 모자이크 생성부(170)에서 생성되는 시점모자이크의 예들을 나타낸 것이다. 도 4a는 비디오 카메라로 촬상된 영상으로부터 얻어지는 시점 모자이크(410), 도 4b는 108인의 아시아계 얼굴모델들 중 중심얼굴로 얻어지는 시점 모자이크(430), 도 4c는 3차원 레이저 스캐닝된 얼굴모델에 대하여 렌더링한 이미지로 얻어지는 시점 모자이크(450)를 각각 나타낸다.
도 4a에 도시된 시점 모자이크(410)는 [-90°,..., 90°]의 수평 회전각과 [-30°,..., 30°]의 수직 회전각 사이에서 10°씩 간격으로 수평 및 수직으로 회전한 19×7개의 얼굴영상으로 이루어진다. 도 4b 및 도 4c에 도시된 시점 모자이크(430, 450)는 [-90°,..., 90°]의 수평 회전각과 [-60°,..., 60°]의 수직 회전각 사이에서 10°씩 간격으로 수평 및 수직으로 회전한 19X13개의 얼굴영상으로 이루어진다.
도 5는 도 1에 있어서 시점 모자이크 생성부(170)의 시점 간격을 설정하는 근거를 설명하는 도면으로서, 시점 구체(510)는 다중 시점의 얼굴영상들로 채워진다. 빗금친 영역(530)은 정면시점 얼굴영상(550)이나 30도 수평시점 얼굴영상(570)을 등록할 경우 각각 인식가능한 영역을 나타낸다. 여기서 한 시점은 대략 상하 및 좌우로 15도 정도 확장된 구역인 준구역(quasi region)까지 지원하기 때문에 준 시점(quasi view)으로 명명한다. 본 발명의 일실시예에서는 시점 모자이크의 시점 간격을 15도 이내에 속하는 10도로 설정한다.
도 6은 본 발명의 일실시예에 따라 다중시점 얼굴기술자 생성장치의 구성을 나타낸 블록도로서, 다중시점 얼굴 데이터베이스(610), 베이시스 매트릭스 생성부(630), 특징추출부(650), 등록시점 선택부(670), 및 얼굴기술자 생성부(690)를 포함하여 이루어진다.
도 6을 참조하면, 다중시점 얼굴 데이터베이스(610)는 트레이닝 얼굴영상 세트와 테스트 얼굴영상 세트를 데이터베이스화하여 저장한다. 각 트레이닝 얼굴영상과 각 테스트 얼굴영상은 임의의 신원에 대한 시점 모자이크로 구성된다.
베이시스 매트릭스 생성부(630)는 다중시점 얼굴 데이터베이스(610)로부터 소정 시점(k)의 트레이닝 얼굴영상들을 선택하고, 소정 시점(k)의 영상들에 대한 베이시스 매트릭스를 생성한다. 이때, 베이시스 매트릭스는 PCA, LDA, PCLDA 등 다양한 방법에 의해 생성될 수 있다. 하나의 시점영상에 대한 베이시스 매트릭스에 보다 유연한 정보를 부과하기 위하여, 하나의 시점영상을 트레이닝할 때 해당 시점영상 주변에 위치한 복수개의 시점영상을 포함시켜 트레이닝한다. 일실시예에서는, 시점의 위치에 따라서 서로 다른 서브영역이 지정되고, 전체 얼굴영상 뿐 아니라 지정된 서브영역에 대하여 트레이닝이 수행된다.
특징추출부(650)는 다중시점 얼굴 데이터베이스(610)로부터 상기 베이시스 매트릭스를 생성하는데 사용된 시점과 동일한 시점의 테스트 얼굴영상들을 선택하고, 상기 베이시스 매트릭스를 이용하여 해당 시점의 테스트 얼굴영상들의 특징벡터를 추출하여 저장한다. 일실시예에서는, 시점의 위치에 따라서 서로 다른 서브영역이 지정되고, 전체 얼굴영상 뿐 아니라 지정된 서브영역에 대하여 특징이 추출된다.
등록시점 선택부(670)는 다중시점 얼굴 데이터베이스(610)의 테스트 얼굴영상 세트에 대하여, 특징추출부(650)에서 추출되어 저장된 각 시점(k)의 특징벡터를 이용하여 각 시점의 준시점 사이즈를 조사하고, 조사 결과에 따라서 시점 모자이크를 커버할 수 있는 복수개의 시점을 등록시점으로 선택한다. 이때, 준시점 사이즈는 주어진 시점에 대하여 특징추출부(650)에서 추출된 특징벡터를 이용하여 소정의 검색 정확도로 테스트 얼굴영상 세트에서 검색가능한 준시점의 수를 나타낸다. 여기서, 검색의 정확도는 ANMRR로 평가되며, ANMRR의 범위는 0에서부터 1까지로, 작은 값일수록 우수한 정확도를 나타냄을 의미한다. 일실시예에서는 검색의 정확도는 시점 모자이크가 수평 및 수직 회전각이 10도의 시점 간격을 가지고 구성되는 경우 ANMRR이 0.05 이하인 것으로 한다. 예를 들어, 한편, 등록시점 선택부(670)는 준시점 사이즈가 소정 기준 이상인 복수개의 시점을 선택할 수도 있고, 통계적으로 분석된 실생활에 많이 나타내는 복수개의 시점을 선택할 수 있고, 이들을 서로 결합하여 사용할 수도 있다.
얼굴기술자 생성부(690)는 등록시점 선택부(670)에서 선택된 복수개의 등록시점의 얼굴기술자를 통합하여 다중시점 얼굴기술자를 생성한다.
도 7은 도 6에 있어서 베이시스 매트릭스 생성부(630)에서 트레이닝을 위해 사용되는 시점을 설명하는 것이다. 도 7을 참조하면, 하나의 등록시점에 대해서 주변의 시점 영상들을 포함하여 트레이닝을 수행한다. 이때, 원으로 표시된 부분이 등록시점을 나타낼 경우, 등록시점의 좌우 혹은 상하 회전각에 따라서 5개의 전체 특징벡터와 5개의 서브영역에 대한 5개의 특징벡터를 사용하거나(참조부호 710), 5개의 전체 특징벡터와 5개의 서브영역에 대한 2개의 특징벡터를 사용하거나(참조부호 730), 5개의 전체 특징벡터와 2개의 서브영역에 대한 5개의 특징벡터를 사용하거나(참조부호 750), 더 작은 수의 서브영역 특징벡터들과 전체 특징벡터들을 사용하거나, 전체 특징벡터만 사용될 수 있다. 도 7에서는, 하나의 등록시점에대해서 트레이닝이 등록시점 주변에 있는 6개 내지 9개 시점영상을 이용하여 행해진다.
도 8a 및 도 8b는 도 6에 있어서 베이시스 매트릭스 생성부(630) 및 특징추출부(650)에서 시점에 따라서 서브영역을 설정하는 방법을 설명하는 도면이다. 도 8a는 정면 시점 및 정면 시점 근처에 존재하는 시점의 얼굴영상에 대한 서브영역을 나타낸 것으로서, 양쪽 눈(810,820), 이마(830), 코(840) 및 입(850)에 대응되는 영역을 서브영역으로 설정하나, 이에 한정되지는 않는다. 도 8b는 (-90, 0) 시점의 얼굴영상이나 (+90, 0) 시점의 얼굴영상 및 이들 시점 근처에 존재하는 시점의 얼굴영상에 대 한 서브영역을 나타낸 것으로서, 측면 얼굴(860) 및 눈(870)을 서브영역으로 설정하나, 이에 한정되지는 않는다.
도 9는 도 6에 있어서 특징추출부(650)의 일실시예의 구성을 나타낸 도면으로서, PCLDA(principal component linear discriminant analysis)를 이용하여 주파수영역에서 전체 얼굴영상의 특징벡터를 추출하는 제1 방법과 주파수 영역에서 서브영역별 특징벡터를 추출하는 제2 방법 중 적어도 하나를 복합적으로 사용한다. 제1 방법은 Toshio Kamei et al. 의 "Report of the core experiments on Fourier spectral PCLDA based face descriptor," ISO-IEC-JTC1-SC29WG11, M8559, Klagenfurt, Austria, Oct. 2002에 자세히 기재되어 있다. 제2 방법은 Tae-kyun Kim의 "Component-based LDA Face Descriptor for Image Retrieval"(British Machine Vision Conference 2002, September)에 자세히 기재되어 있다.
일실시예에서는, 특징추출부(650)는 PCLDA를 이용하여, 입력되는 얼굴영상의전체 퓨리에 특징벡터를 생성하고, 입력되는 얼굴영상의 시점에 따라서 다른 서브영역을 설정하여 서브영역별 퓨리에 특징벡터를 생성한다.
도 10은 도 6에 있어서 등록시점 선택부(670)의 일실시예에 따른 동작을 설명한다. 도면 참조부호 1000은 시점 모자이크를 나타내며 설명의 편의상 수평 회전각의 우측 부분에 대해서만 설명하기로 한다. 다중 시점의 얼굴영상을 커버할 수 있는 얼굴기술자를 생성하는 가장 간단한 방법으로는 임의의 신원에 대하여 얻어지는 다수개의 시점에 대한 얼굴기술자를 통합시켜 등록하는 것이다. 예를 들어, 시점 변화를 수평 및 수직 회전각에 대하여 각각 10도로 설정하고, -90도 내지 +90도 까지의 수평 회전각과 -30도 내지 +30도 까지의 수직 회전각을 커버하기 위해서는 19×7 즉, 133개의 시점에 대한 얼굴기술자를 등록할 수 있다. 그 결과, 임의의 신원에 대하여 등록해야 하는 얼굴기술자의 사이즈가 너무 방대해질 수 있기 때문에 최적화를 필요로 하며, 등록시점 선택부(670)에서 최적화를 수행한다.
얼굴기술자의 최적화(optimization) 과정의 일실시예를 설명하면 다음과 같다.
첫째, 우수한 최적화를 위해서는 데이터 분석이 행해져야 한다. 보다 더 자주 나타내는 포즈들이 중요도가 큰 기술자로 등록되거나 주어져야 하고, 거의 나타나지 않는 포즈들은 중요도가 작은 기술자로 주어진다. 예를 들어, ATM 환경에서는 아래쪽을 보고 있는 영상과 정면영상들이 자주 사용되고, 도어 억세스 환경에서는 아래쪽을 보고 있는 영상, 정면영상 및 측면영상들이 자주 사용되므로, 중요도가 큰 얼굴기술자 즉, 특징벡터를 많이 할당한 얼굴기술자로 등록된다.
둘째, 다중시점 얼굴기술자를 생성하기 위하여 몇개의 시점을 선택하여 등록한다. 시점을 고르는 기준으로는, 준시점 사이즈를 조사하여 준시점 사이즈가 소정 기준 이상인 시점을 선택한다. 작은 준시점 사이즈를 갖는 시점보다 큰 준시점 사이즈를 갖는 시점을 등록하는 것이 비용면에서 효율적이다. 또한, 실생활이나, 적용환경에서 많이 나타나는 시점을 고를 수 있다. 또한, 시점의 준시점들이 시점 모자이크를 커버할 수 있도록 시점을 고를 수 있다. 또한, 등록이나 획득이 용이한 시점을 선택할 수 있다.
셋째, 시점에 따라서 특징벡터 갯수를 다양하게 할당한다. 시점이 등록을 위하여 획득하기 용이하나 실생활에는 자주 나타나지 않는 경우에는 작은 수의 특징벡터를 할당할 수 있다. 한편, 실생활에 많이 나타나는 시점 또는 보다 중요한 시점에는 특징벡터를 더 많이 할당한다.
넷째, 보다 강인한 얼굴기술자를 생성하기 위하여 하나의 등록시점에 대하여 많은 시점들이 트레이닝된다. 트레이닝 과정에서 시점에 대하여 보다 유연한 정보들을 포함시킬 수 있다면, 하나의 시점 당 단지 하나의 이미지와 같이 보다 작은 수의 이미지로 등록이 행해질 수 있다. 예를 들면, 등록시점 (30°, 0°)에 대해서는, 트레이닝을 위하여 (10°, 0°), (20°, 0°), (30°, 0°), (40°, 0°), (50°, 0°), (30°, -20°), (30°, -10°), (30°, 10°), (30°, 20°)과 같은 9개의 시점 영상들을 사용할 수 있다.
도 10은 0.05 이하의 ANMRR을 갖는 준시점 영역을 나타내며, 참조부호 1010은 (0,0) 시점, 1020은 (30,30) 시점, 1030은 (30,-30) 시점, 1040은 (60,0) 시점,1050은 (80,30) 시점, 1060은 (80,0) 시점, 1070은 (80,-30) 시점 각각에 대한 준시점 영역을 나타낸다.
도 11은 도 10에 도시된 7개의 등록시점으로부터 얻어진 전체 준시점 영역을 나타내는 도면으로서, 수평 회전각 [-90°,...90°] 및 수직 회전각[-30°,...30°]로 이루어지는 시점 모자이크에 있어서 도 10에 도시된 7개의 등록시점에 의해 커버되는 영역은 0.05 이하의 ANMRR인 경우 93.93 %이다.
도 12a 및 도 12b는 얼굴의 수평 및 수직 회전각에 따라서 준시점 사이즈가 어떻게 변화하는지를 보여주는 그래프이다. 이들 그래프는 총 108개의 얼굴모델을 50 대 50의 비율로, 즉 트레이닝을 위한 54개의 3차원 얼굴 메쉬모델과 테스트를 위한 54개의 3차원 얼굴 메쉬모델을 이용하여 얻어진 것이다.
먼저, D.B. Graham 과 N.M.Allinsin에 따른 방법은 인식시스템에 있어서 포즈 종속도를 예측하기 위하여 포즈별 얼굴영상 간의 거리를 설명한다. 이에 대하여는 D.B. Graham 과 N.M.Allinsin에 의한 "Characterizing Virtual Eigensignatures for General Purpose Face Recognition" (in Face Recognition: From Theory to Applications, Berlin: Springer-Verlag, pp. 446-456, 1998)을 참조하기로 한다. 얼굴영상들은 고유공간에서 거리 척도를 이용하여 보다 쉽게 인식되도록 이격되어 있다. 각 포즈의 수평 혹은 수직 회전각에 대하여 데이터베이스에 있는 영상들 사이의 평균 유클리디안 거리가 샘플링된다. 이에 따르면, 약 30° 범위 근방에서 얼굴영상을 인식하는 것이 가장 쉽다는 것을 예측할 수 있고, 그 결과 분석용으로 사용되는 최상의 포즈 샘플들은 대개 이 범위로 집중된다. 또한,프로파일 시점 (90°, 0°) 보다 정면시점 (0°, 0°)에서 얼굴인식이 더 쉽다는 것이 기대된다. 또한, 준시점 사이즈는 시점에 종속적이다.
각각의 시점을 비교해 보면, 각 시점에 대하여 24개의 전체 특징벡터(서브영역 특징벡터를 사용하지 않음)를 추출한다. 도 12a를 참조하면, 수평 회전각에 대해서는, (0°, 0°)에서부터 (70°, 0°) 까지의 각 시점에 대하여 9개의 트레이닝 시점이 사용되고, (80°, 0°)의 시점에 대하여 8개의 트레이닝 시점이 사용되고, (90°, 0°)의 시점에 대하여 7개의 트레이닝 시점이 사용된다. 한편, 도 12b를 참조하면, 수직 회전각에 대해서는, (0°, -40°)에서부터 (0°, 40°) 까지의 각 시점에 대하여 9개의 트레이닝 시점이 사용되고, (0°, -50°) 및 (0°, 50°)의 시점에 대하여 8개의 트레이닝 시점이 사용되고, (0°, -60°) 및 (0°, 60°)의 시점에 대하여 7개의 트레이닝 시점이 사용된다.
도 12a에 도시된 수평 회전각과 관련해서는, D.B. Graham 과 N.M.Allinsin에 따른 방법에서 개시한 바 있는, 시점에 대한 영상들 간의 평균거리를 나타내는 그래프와 매우 유사한 패턴을 나타낸다. (20°, 0°)~(30°, 0°) 사이의 시점들이 가장 큰 준시점 사이즈를 가질 뿐 아니라, (0°, 0°), (10°, 0°), ..., (90°, 0°) 시점들 중에서 고유공간에 있는 사람들간에 가장 큰 유클리디안 거리를 가진다. 한편, 도 12b에 도시된 수직 회전각과 관련해서는, (0°, 0°)~(0°, 10°) 사이의 시점들이 가장 큰 준시점 사이즈를 가진다는 것을 알 수 있다. 즉, 얼굴이 아래쪽으로 향하는 시점들은 얼굴이 위쪽을 향하는 시점들보다 더 큰 준시점 사이즈를 가지므로, 객체가 위쪽을 보고 있는 경우보다 아래쪽을 보고 있는 경우 객체를 인식하기가 더 용이함을 예측할 수 있다.
다양한 준시점 영역들로 수행한 실험 결과, 일단의 시점이 다중 시점 얼굴기술자를 생성하기 위해서 선택된다. 얼굴기술자는 렌더링된 영상에 대해서 240개의 차원을 갖는데, 상세한 내용은 다음 표 1 에 기재되어 있다.
| 시점 | 추출된 특징벡터들 | 특징벡터 차원 |
| (0°, 0°) | 전체 특징벡터들 + 5개의 서브영역 특징벡터들 | 1*5 + 5*5 = 30 |
| (60°, 0°)(30°, 30°)(30°, -30°)(80°, 0°)(80°, 30°)(80°, -30°) | 전체 특징벡터들 + 5개의 서브영역 특징벡터들전체 특징벡터들 + 5개의 서브영역 특징벡터들전체 특징벡터들 + 5개의 서브영역 특징벡터들전체 특징벡터들 + 2개의 서브영역 특징벡터들전체 특징벡터들 + 2개의 서브영역 특징벡터들전체 특징벡터들 + 2개의 서브영역 특징벡터들 | 1*5 + 5*5 = 301*5 + 5*2 = 151*5 + 5*2 = 151*5 + 2*5 = 151*5 + 2*5 = 151*5 + 2*5 = 15 |
| (-60°, 0°)(-30°, 30°)(-30°, -30°)(-80°, 0°)(-80°, 30°)(-80°, -30°) | 전체 특징벡터들 + 5개의 서브영역 특징벡터들전체 특징벡터들 + 5개의 서브영역 특징벡터들전체 특징벡터들 + 5개의 서브영역 특징벡터들전체 특징벡터들 + 2개의 서브영역 특징벡터들전체 특징벡터들 + 2개의 서브영역 특징벡터들전체 특징벡터들 + 2개의 서브영역 특징벡터들 | 1*5 + 5*5 = 301*5 + 5*2 = 151*5 + 5*2 = 151*5 + 2*5 = 151*5 + 2*5 = 151*5 + 2*5 = 15 |
| 추출된 특징벡터들의 전체 차원 | 240 |
상기 표 1에 도시된 바와 같은 240개의 차원을 갖는 얼굴기술자는 수평 회전각 [-90,...,90] 및 수직 회전각 [-30,...,30]의 시점 모자이크의 전체 영역 중 93.93%의 시점을 커버하는 테스트 얼굴영상 세트를 0.05 이하의 ANMRR로 검색할 수 있다. 한편, 0.1 이하의 ANMRR로는 95.36%, 0.15 이하의 ANMRR로는 97.52%, 0.2 이하의 ANMRR로는 97.98% 검색가능하다. 참고로, 사진 이미지에 대해서는 얼굴기술자가 0.2491의 ANMRR인 경우 128개의 차원을 갖고, 0.3013의 ANMRR인 경우48개의 차원을 갖는다.
도 13a 및 도 13b는 본 발명에 따른 얼굴기술자를 이용하는 경우, 렌더링된 이미지(rendered image)와 비디오 이미지(video image)에 대하여 얼굴 인식율에 따른 각 시점의 준시점 영역을 비교한 그래프이다. 두 그래프를 비교해 보면, 비디오 이미지의 트레이닝 데이터는 렌더링된 이미지의 트레이닝 데이터에 비해 덜 정확하기 때문에, 비디오 이미지의 준시점 영역은 렌더링된 이미지의 준시점 영역보다 작다.
다음은, MPEG-7 얼굴영상 데이터베이스를 이용하여 종래 기술에 의한 얼굴인식 알고리즘과 본 발명에 따른 얼굴인식 알고리즘의 성능을 평가하였다.
도 14a는 -90도 내지 +90도의 수평 회전각과 -30도 내지 +30도의 수직 회전각을 갖는 다중 시점의 얼굴영상에 대한 시점 모자이크를 나타낸 것으로서, 참조부호 1400은 등록영상의 시점을 나타낸다. 도 14b는 등록영상의 시점(1400)에 대한 얼굴 인식 가능영역(1410)을 나타낸다. 도 14c는 본 발명에 의한 알고리즘을 이용하여 13개의 시점을 등록한 경우 얼굴 인식 가능영역(1430)을 나타낸다.
도 14b와 도 14c를 비교해 보면, 종래에는 한정된 시점의 얼굴영상에 대해서만 얼굴인식이 가능하였으나, 본 발명에 따르면 전체 시점 모자이크의 얼굴영상에 대해서 얼굴인식이 가능함을 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 바와 같이 본 발명에 따르면, 준시점 사이즈를 이용하여 단일 시점 얼굴기술자를 확장함에 의래 얻어지는 다중시점 얼굴기술자를 이용하여 얼굴을 인식함으로써, 어떠한 포즈의 얼굴영상이 들어오더라도 얼굴인식이 가능할 뿐 아니라 통상의 정면시점만 인식하는 얼굴기술자에 비하여 매우 높은 인식성능을 보장할 수 있다. 특히, 포즈에 기반한 다중시점 얼굴기술자를 이용하여 어떠한 시점의 얼굴이 들어오더라도 인식할 수 있으므로 감시시스템에 매우 효율적으로 적용할 수 있다.
또한, 본 발명에 따른 다중시점 얼굴기술자는 신원에 대한 3차원 정보를 포함하므로, 이미지, 비디오 및 3차원 얼굴모델 데이터베이스에 대한 검색 및 브라우징에도 널리 적용할 수 있다.
본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Claims (21)
- 임의의 신원에 대하여 정면 시점의 얼굴영상을 포함하여 다양한 시점의 복수개의 얼굴영상을 획득하는 영상획득부;상기 영상획득부로부터 제공되는 얼굴영상들 중에서 복수개의 키프레임 영상을 선택하고, 선택된 키프레임 영상의 눈위치를 이용하여 시점 모자이크에 포함되는 각 시점에 대응하는 눈위치를 결정하는 눈위치 결정부;상기 각 시점의 눈위치에 근거하여, 상기 시점 모자이크에 포함되는 각 시점의 얼굴영상을 로컬라이제이션하여 각 시점의 얼굴영상의 사이즈 및 눈위치를 정렬하는 얼굴 로컬라이제이션부; 및상기 로컬라이제이션된 각 시점의 얼굴영상을 통합하여 상기 임의의 신원에 대한 시점 모자이크를 생성하는 시점 모자이크 생성부를 포함하는 것을 특징으로 하는 다중시점 얼굴 데이터베이스 구축장치.
- 제1 항에 있어서, 상기 얼굴 로컬라이제이션부는상기 시점 모자이크에 포함되는 각 시점에 대응하는 얼굴영상 중에서 좌측회전각의 얼굴영상들은 정면 시점의 얼굴영상에서 설정된 오른쪽 눈위치를 기준으로 하여, 우측 회전각의 얼굴영상들은 정면 시점의 얼굴영상에서 설정된 왼쪽 눈위치를 기준으로 하여 절단하는 영상 절단부; 및상기 영상 절단부로부터 절단된 영상들의 사이즈를 소정 크기로 정규화시키는 정규화부를 포함하는 것을 특징으로 하는 다중시점 얼굴 데이터베이스 구축장치.
- 제1 항에 있어서, 상기 시점 모자이크 생성부는 -90도 내지 +90도의 수평 회전각과 -30도 내지 +30도에서부터 -60도 내지 +60도까지의 수직 회전각을 갖는 시점 모자이크를 생성하는 것을 특징으로 하는 다중시점 얼굴 데이터베이스 구축장치.
- 제 3항에 있어서, 상기 수평 및 수직 회전각에 있어서 시점 간격은 10도인 것을 특징으로 하는 다중시점 얼굴 데이터베이스 구축장치.
- (a) 임의의 신원에 대하여 정면 시점의 얼굴영상을 포함하여 다양한 시점의 복수개의 얼굴영상을 획득하는 단계;(b) 상기 획득된 얼굴영상들 중에서 복수개의 키프레임 영상을 선택하고, 선택된 키프레임 영상의 눈위치를 이용하여 시점 모자이크에 포함되는 각 시점에 대응하는 눈위치를 결정하는 단계;(c) 상기 각 시점의 눈위치에 근거하여, 상기 시점 모자이크에 포함되는 각 시점의 얼굴영상을 로컬라이제이션하여 각 시점의 얼굴영상의 사이즈 및 눈위치를 정렬하는 단계; 및(d) 상기 로컬라이제이션된 각 시점의 얼굴영상을 통합하여 상기 임의의 신원에 대한 시점 모자이크를 생성하는 단계를 포함하는 것을 특징으로 하는 다중시점 얼굴 데이터베이스 구축방법.
- 제5 항에 있어서, 상기 (c) 단계는(c1) 상기 시점 모자이크에 포함되는 각 시점에 대응하는 얼굴영상 중에서 좌측 회전각의 얼굴영상들은 정면 시점의 얼굴영상에서 설정된 오른쪽 눈위치를 기준으로 하여, 우측 회전각의 얼굴영상들은 정면 시점의 얼굴영상에서 설정된 왼쪽 눈위치를 기준으로 하여 절단하는 단계; 및(c2) 상기 절단된 영상들의 사이즈를 소정 크기로 정규화시키는 단계를 포함하는 것을 특징으로 하는 다중시점 얼굴 데이터베이스 구축방법.
- 각각 시점 모자이크로 구성되는 트레이닝 얼굴영상 세트와 테스트 얼굴영상 세트를 데이터베이스화하여 저장하는 다중시점 얼굴 데이터베이스;상기 다중시점 얼굴 데이터베이스로부터 선택된 각 시점의 트레이닝 얼굴영상에 대한 베이시스 매트릭스를 생성하는 베이시스 매트릭스 생성부;상기 다중시점 얼굴 데이터베이스로부터 선택된 각 시점의 테스트 얼굴영상에 대한 베이시스 매트릭스를 이용하여 해당 시점의 테스트 얼굴영상의 특징벡터를 추출하는 특징추출부;상기 특징추출부에서 추출된 각 시점에 대한 특징벡터를 이용하여 상기 테스트 얼굴영상을 검색하고, 검색결과에 따라서 복수개의 시점을 등록시점으로 선택하는 등록시점 선택부; 및상기 선택된 복수개의 등록시점의 얼굴기술자를 통합하여 다중시점 얼굴기술자를 생성하는 얼굴기술자 생성부를 포함하는 것을 특징으로 하는 얼굴기술자 생성장치.
- 제7 항에 있어서, 상기 베이시스 매트릭스 생성부는 선택된 시점에 대하여 주변의 시점을 포함시켜 트레이닝하는 것을 특징으로 하는 얼굴기술자 생성장치.
- 제7 항에 있어서, 상기 베이시스 매트릭스 생성부는 시점의 좌우 및 상하 회전각에 따라서 서로 다른 서브영역을 지정하는 것을 특징으로 하는 얼굴기술자 생성장치.
- 제9 항에 있어서, 상기 베이시스 매트릭스 생성부는 시점의 좌우 및 상하 회전각에 따라서 각 서브영역에 서로 다른 갯수의 특징벡터를 할당하여 트레이닝하는 것을 특징으로 하는 얼굴기술자 생성장치.
- 제7 항에 있어서, 상기 특징추출부는 시점의 좌우 및 상하 회전각에 따라서 서로 다른 서브영역을 지정하는 것을 특징으로 하는 얼굴기술자 생성장치.
- 제11 항에 있어서, 상기 특징추출부는 상기 서브영역으로부터 추출되는 특징벡터의 수를 상기 시점에 따라서 서로 다르게 설정하는 것을 특징으로 하는 얼굴기술자 생성장치.
- 제7 항에 있어서, 상기 특징추출부는 상기 테스트 얼굴영상의 전체 퓨리에 특징벡터와 서브영역별 퓨리에 특징벡터를 생성하며, 시점에 따라서 서로 다른 서브영역을 설정하는 것을 특징으로 하는 얼굴기술자 생성장치.
- 제7 항에 있어서, 상기 등록시점 선택부는 준시점 사이즈가 소정 기준 이상인 복수개의 시점 얼굴기술자, 실제 적용환경에 대하여 발생 빈도가 높은 시점을 통계적으로 분석하고, 분석 결과에 따른 복수개의 시점 얼굴기술자, 및 주어진 시점의 준시점들이 상기 시점 모자이크를 커버할 수 있는 복수개의 시점 얼굴기술자 중 적어도 하나 이상의 기준을 조합하여 상기 등록시점을 선택하는 것을 특징으로 하는 얼굴기술자 생성장치.
- (a) 각각 시점 모자이크로 구성되는 트레이닝 얼굴영상 세트와 테스트 얼굴영상 세트를 데이터베이스화하여 저장하는 다중시점 얼굴 데이터베이스를 제공하는단계;(b) 상기 다중시점 얼굴 데이터베이스로부터 선택된 각 시점의 트레이닝 얼굴영상에 대한 베이시스 매트릭스를 생성하는 단계;(c) 상기 다중시점 얼굴 데이터베이스로부터 선택된 각 시점의 테스트 얼굴영상에 대한 베이시스 매트릭스를 이용하여 해당 시점의 테스트 얼굴영상의 특징벡터를 추출하는 단계; 및(d) 상기 추출된 각 시점에 대한 특징벡터를 이용하여 상기 테스트 얼굴영상을 검색하고, 검색결과에 따라서 복수개의 시점을 등록시점으로 선택하고, 상기 선택된 복수개의 등록시점의 얼굴기술자를 통합하여 다중시점 얼굴기술자를 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴기술자 생성방법.
- 제15 항에 있어서, 상기 (d) 단계에서는 준시점 사이즈가 소정 기준 이상인 복수개의 시점 얼굴기술자를 선택하는 것을 특징으로 하는 얼굴기술자 생성방법.
- 제15 항에 있어서, 상기 (d) 단계에서는 실제 적용환경에 대하여 발생 빈도가 높은 시점을 통계적으로 분석하고, 분석 결과에 따라서 복수개의 시점 얼굴기술자를 선택하는 것을 특징으로 하는 얼굴기술자 생성방법.
- 제15 항에 있어서, 상기 (d) 단계에서는 주어진 시점의 준시점들이 상기 시점 모자이크를 커버할 수 있는 복수개의 시점 얼굴기술자를 선택하는 것을 특징으로 하는 얼굴기술자 생성방법.
- 제15 항에 있어서, 상기 (b) 단계는 상기 선택된 각 시점과 주변시점을 포함하여 트레이닝시켜 상기 선택된 시점의 베이시스 매트릭스를 생성하는 것을 특징으로 하는 얼굴기술자 생성방법.
- (a) 임의의 신원에 대하여 정면 시점의 얼굴영상을 포함하여 다양한 시점의 복수개의 얼굴영상을 획득하는 단계;(b) 상기 획득된 얼굴영상들 중에서 복수개의 키프레임 영상을 선택하고, 선택된 키프레임 영상의 눈위치를 이용하여 시점 모자이크에 포함되는 각 시점에 대응하는 눈위치를 결정하는 단계;(c) 상기 각 시점의 눈위치에 근거하여, 상기 시점 모자이크에 포함되는 각 시점의 얼굴영상을 로컬라이제이션하여 각 시점의 얼굴영상의 사이즈 및 눈위치를 정렬하는 단계; 및(d) 상기 로컬라이제이션된 각 시점의 얼굴영상을 통합하여 상기 임의의 신원에 대한 시점 모자이크를 생성하는 단계를 포함하는 다중시점 얼굴 데이터베이스 구축방법을 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
- (a) 각각 시점 모자이크로 구성되는 트레이닝 얼굴영상 세트와 테스트 얼굴영상 세트를 데이터베이스화하여 저장하는 다중시점 얼굴 데이터베이스를 제공하는단계;(b) 상기 다중시점 얼굴 데이터베이스로부터 선택된 각 시점의 트레이닝 얼굴영상에 대한 베이시스 매트릭스를 생성하는 단계;(c) 상기 다중시점 얼굴 데이터베이스로부터 선택된 각 시점의 테스트 얼굴영상에 대한 베이시스 매트릭스를 이용하여 해당 시점의 테스트 얼굴영상의 특징벡터를 추출하는 단계; 및(d) 상기 추출된 각 시점에 대한 특징벡터를 이용하여 상기 테스트 얼굴영상을 검색하고, 검색결과에 따라서 복수개의 시점을 등록시점으로 선택하고, 상기 선택된 복수개의 등록시점의 얼굴기술자를 통합하여 다중시점 얼굴기술자를 생성하는 단계를 포함하는 얼굴기술자 생성방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/891,263 US7643684B2 (en) | 2003-07-15 | 2004-07-15 | Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030048472 | 2003-07-15 | ||
| KR20030048472 | 2003-07-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050008485A true KR20050008485A (ko) | 2005-01-21 |
| KR100612848B1 KR100612848B1 (ko) | 2006-08-14 |
Family
ID=37221706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040053686A KR100612848B1 (ko) | 2003-07-15 | 2004-07-09 | 다중시점 얼굴 데이터베이스 구축장치 및 방법과 다중시점얼굴기술자 생성장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100612848B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100707195B1 (ko) * | 2004-12-30 | 2007-04-13 | 삼성전자주식회사 | 얼굴의 텍스쳐 정보를 갖는 분류자 검출방법 및 장치와텍스쳐 정보의 통계적 특성을 이용한 얼굴 인식방법 및장치 |
| KR100898766B1 (ko) * | 2007-09-21 | 2009-05-20 | 한국전자통신연구원 | 얼굴 인식 장치, 얼굴 인식 등록 및 인증 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3032414B2 (ja) * | 1993-10-29 | 2000-04-17 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| US6173087B1 (en) | 1996-11-13 | 2001-01-09 | Sarnoff Corporation | Multi-view image registration with application to mosaicing and lens distortion correction |
| JPH11161800A (ja) | 1997-11-28 | 1999-06-18 | Toshiba Corp | 多視点画像符号化／復号化装置および多視点画像符号化／復号化方法ならびに三次元物体の画像符号化／復号化装置 |
| JP2000285260A (ja) | 1999-03-31 | 2000-10-13 | Toshiba Corp | 多視点画像の符号化方法及び任意視点画像の生成方法 |
| US7050607B2 (en) | 2001-12-08 | 2006-05-23 | Microsoft Corp. | System and method for multi-view face detection |
-
2004
- 2004-07-09 KR KR1020040053686A patent/KR100612848B1/ko active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100707195B1 (ko) * | 2004-12-30 | 2007-04-13 | 삼성전자주식회사 | 얼굴의 텍스쳐 정보를 갖는 분류자 검출방법 및 장치와텍스쳐 정보의 통계적 특성을 이용한 얼굴 인식방법 및장치 |
| KR100898766B1 (ko) * | 2007-09-21 | 2009-05-20 | 한국전자통신연구원 | 얼굴 인식 장치, 얼굴 인식 등록 및 인증 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100612848B1 (ko) | 2006-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7643684B2 (en) | Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor | |
| US7489803B2 (en) | Object detection | |
| Baskan et al. | Projection based method for segmentation of human face and its evaluation | |
| Doulamis et al. | Efficient summarization of stereoscopic video sequences | |
| US7421149B2 (en) | Object detection | |
| AU2011202268B2 (en) | Single image based multi-biometric system and method | |
| WO2020151750A1 (zh) | 图像处理方法及装置 | |
| KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
| CN110210276A (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
| US7522772B2 (en) | Object detection | |
| Arcoverde Neto et al. | Enhanced real-time head pose estimation system for mobile device | |
| WO1999023600A1 (en) | Video signal face region detection | |
| GB2395781A (en) | Face detection | |
| WO2003081532A1 (en) | Method and apparatus for the automatic detection of facial features | |
| WO2011001398A2 (en) | Method circuit and system for matching an object or person present within two or more images | |
| GB2395853A (en) | Association of metadata derived from facial images | |
| CN110889314B (zh) | 图像处理方法、装置、电子设备、服务器及系统 | |
| US20050128306A1 (en) | Object detection | |
| GB2395780A (en) | Face detection | |
| US20050129277A1 (en) | Object detection | |
| CN115917589A (zh) | 攀爬行为预警方法和装置、电子设备、存储介质 | |
| CN109522782A (zh) | 家居成员识别系统 | |
| US20060056667A1 (en) | Identifying faces from multiple images acquired from widely separated viewpoints | |
| Wallhoff et al. | Face tracking in meeting room scenarios using omnidirectional views | |
| KR100612848B1 (ko) | 다중시점 얼굴 데이터베이스 구축장치 및 방법과 다중시점얼굴기술자 생성장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120716 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20130724 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20140721 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20150728 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20160718 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20170719 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20180718 Year of fee payment: 13 |