KR20050059247A

KR20050059247A - 3차원 안면 인식

Info

Publication number: KR20050059247A
Application number: KR1020057005981A
Authority: KR
Inventors: 알렉산더 브론스테인; 마이클 브론스테인; 론 킴멜
Original assignee: 테크니온 리서치 앤드 디벨롭먼트 파운데이션 리미티드
Priority date: 2002-10-07
Filing date: 2003-10-07
Publication date: 2005-06-17
Also published as: WO2004032061A2; KR101007276B1; ATE454675T1; DE60330880D1; AU2003272048A1; US20060251298A1; EP1550082A4; JP2006502478A; US20080292147A1; US20040076313A1; US6947579B2; EP1550082A2; US8155400B2; US7623687B2; WO2004032061A3; JP4445864B2; EP1550082B1

Abstract

매칭을 위한 기하체(geometric body)의 3차원 데이터를 획득하는 장치로서 특히 안면 매칭에 사용하는 장치이고, 기하체의 3차원 지형 데이터(topographical data)를 획득하는 3차원 스캐너와, 그 데이터를 전달받아 삼각분할 다양체(triangulated manifold)로 형성하는 삼각분할부(선택적 요소임)와, 삼각분할 다양체를 다양체의 점 쌍들 사이의 일련의 측지 거리(geodesic distances)로 변환하는 측지 변환부와, 그 일련의 측지 거리들에 대한 저차원 유클리드 표현을 형성하여 기하체의 굴곡 불변 표현을 제공하는 다차원 스케일러를 포함한다. 한 가지 변형예에서는, 그 표현으로부터 원리적 고유치들을 취하고 특징 공간(feature space)에 좌표로서 그림으로써 매칭을 수행한다. 동일한 얼굴의 기울어지거나 서로 다른 표정 형태는 특징 공간에서 클러스터를 형성하여, 매칭을 가능하게 한다. 상기 장치는 삼각분할 영역을 위한 고속 진행법을 이용하여 측지 거리를 얻는다.

Description

3차원 안면 인식{THREE DIMENSIONAL FACE RECOGNITION}

본 발명은 3차원 안면 인식 방법 및 장치에 관한 것으로, 특히 얼굴의 3차원 표현을 얻고, 매칭 처리를 목적으로 그 3차원 표현을 이용하는 3차원 안면 인식 방법 및 장치에 관한 것으로 이것에 한정되는 것은 아니다.

최근, 안면 인식은 컴퓨터 비전(computer vision)의 중요한 기능이 되었으며, 광범위한 생체인식 및 보안 응용 분야에 필요한 것이다. 하지만, 대부분의 기존 안면인식 시스템은 머리 위치, 조명 등의 영상 획득 조건들에 민감한 것으로 보고되고 있으며, 따라서 부정확할 수 있고 쉽게 무력화 될 수 있다. 플로리다의 미국 시민 자유 연합(American Civil Liberties Union (ACLU))의 2002년 5월 14일자 공보를 참고할 수 있다(http://www.aclufl.org/pbfaceitresults051402.html 참조).

일반적으로, 최근의 안면 인식 방식은 넓게 2가지로 분류할 수 있는데, 그 하나는 계조(grayscale) 또는 칼라일 수 있는 화상 정보만을 이용하는 2차원 방식이고, 나머지 하나는 3차원 정보도 포함하는 3차원 방식이다.

더욱 단순하게 데이터를 획득할 수 있어 공공장소에서 비디오로 녹화된 다수의 사람으로부터 안면인식을 하는 등의 실시간 감시에 응용될 수 있지만, 2차원 방식은 조명 조건 및 머리의 회전에 민감하다는 문제점이 있다. 그 화상은 단일 관찰각에서 안면으로부터 반사된 빛을 표현하는 것이므로, 조명 조건이 다르면 화상이 다르게 되며, 서로 다른 대상으로서 인식될 가능성이 높다 (도 3참조). 터크 및 펜트랜드 고유얼굴 알고리즘(Turk and Pentland eigenfaces algorithm)은 종래의 2차원 안면 인식 알고리즘들 중 하나이다. 이에 대한 상세한 설명을 위해서는, M. Turk 및 A. Pentland의 "고유얼굴(eigenfaces)을 이용한 안면인식"(CVPR, May 1991, pp. 589-591)과, M. Turk 및 A. Pentland의 1990년 11월 17일자 미국특허 5,164,992, "Face recognition system"을 참고할 수 있다. 고유얼굴 알고리즘은 다음과 같이 동작하다. 소정의 통계적 분포로부터 발생된 일련의 얼굴들이 주어진 경우, 그 분포의 주요 성분들은 얼굴들 사이의 변화를 특징짓는 일련의 특징들을 구성하게 된다. "고유얼굴 (Eigenfaces)"이란 "모든" 얼굴들로 이루어진 집합의 고유벡터(eigenvectors)이다. 고유얼굴 방식은 조명 조건 및 머리의 회전에 의해 화상에 있어 중요한 차이점이 생기는 것을 고려하지 않으면서, 안면 인식을 2차원 분류의 문제로서 다룬다. 이 때문에, 고유얼굴들은 실험실 환경이 아닌 실생활에 적용되면 일반적으로 평범한 결과들을 생성하게 된다.

3차원 방식은 안면의 기하학 정보를 제공하며, 안면의 기하학 정보는 관찰 지점(viewpoint)과 점등 조건에 무관하게 된다. 따라서, 이러한 정보는 2차원 화상을 보완하는 것이라 할 수 있다. 하지만, 3차원 정보는 실제 안면의 기하학적 형상 정보(face geometry)를 포함할 뿐만 아니라 배경으로부터 안면을 쉽게 분할할 수 있게 하는 깊이 정보를 포함하고 있다.

Gordon은 정면과 측면의 화상을 결합하면 인식률이 향상된다는 것을 보인바 있으며, 이것에 대해서는 1995년 6월, 스위스, 취리히, 안면 및 제스처 인식에 대한 국제 워크숍 논문집(Proc. of the International Workshop on Face and Gesture Recognition)의 pp 47-52에 기재된 G.Gordon의 "Face recognition from frontal and profile views (정면 및 측면 화상을 이용한 안면인식)"을 참고할 수 있다.

또한, Beumier과 Acheroy는 3차원 획득을 위한 구조광(structured light)을 이용한 시스템에 있어서 피사체 인식을 위한 고정된 얼굴 윤곽(rigid face profile)에서의 기하학 정보를 이용하는 것의 적합성을 보인바 있으며, 이것에 대해서는 C. Beumier 및 M.P. Acheroy의 "Automatic Face Identification (자동 안면인식)" (Applications of Digital Image Processing XVIII, SPIE, vol. 2564, pp. 311-323, July 1995)을 참고할 수 있다.

상술한 방식은 모든 표면(whole surface)에 대해 일반화될 수 있으며, 이것에 대해서는 C. Beumier와 M. P. Acheroy의 "Automatic Face Authentication from 3D Surface (3차원 표면으로부터 자동 안면 인증)"(British Machine vision Conference BMVC 98, University of Southampton UK, 14-17 Sep, 1998, pp 449-458, 1998)을 참고할 수 있으며, 전체적 표면 매칭(Global surface matching)을 이용하여 그러한 일반화를 하는 것에 대해 기술하고 있다. 하지만, 표면 매칭은 얼굴 표정에 민감하여, 포괄적 해결방안이 될 수 없을 것으로 판단된다.

얼굴 표정, 피사체에 대한 조명, 또는 각도에 대해 민감한 것 등의 상술한 문제점이 없는 3차원 정보를 이용하는 안면인식 시스템에 대한 필요성이 넓게 인식되고 있으며, 그러한 시스템을 갖는다면 매우 유익하게 될 것이다.

도 1은 본 발명의 바람직한 제1 실시예에 따라 대상체(body)의 3차원 지형 데이터를 수집하고 그 데이터를 효과적인 매칭을 위한 정준 형태 표현이 되도록 처리하기 위한 장치의 바람직한 실시예를 나타낸 간략 블록도;

도 2는 본 발명의 바람직한 제2 실시예에 따라 정준형태표현에 있어서의 3차원 지형 데이터를 수신하여 매칭 또는 분류를 처리를 수행하는 장치를 나타낸 간략도;

도 3은 하나의 얼굴에 대한 서로 다른 조명 조건에서 취한 일련의 2차원 표현들을 나타낸 것으로, 도시된 얼굴들은 인간 관찰자에게 있어 명백히 동일하지만 종래의 화상분석 기술로는 매칭시키기 매우 어려운 것을 설명하기 위한 도면;

도 4a는 깊이 코드 조명을 이용하여 3차원 데이터를 수집하는 제1 단계를 나타낸 간략 개요도;

도 4b는 깊이 코드 조명을 이용하여 3차원 데이터를 수집하는 제2 단계를 나타내는 간략 개요도;

도 5는 비디오 카메라와 이동하는 레이저 프로젝터를 포함하는 3차원 스캐너 배열을 나타내는 사진을 나타내는 도면;

도 6은 조도차 스테레오 획득 방식을 나타내는 간략 개요도;

도 7은 얼굴의 3차원 스캐닝하여 얻은 데이터 점들을 이용하는 삼각분할 다양체 표현을 나타내는 도면;

도 8은 부샘플링 이후에 도 7의 다양체를 나타낸 간략도;

도 9는 도 1의 부샘플러를 더욱 자세히 나타낸 간략 블록도;

도 10은 도 1의 측지 변환부를 더욱 자세히 나타낸 간략 블록도;

도 11은 본 발명의 바람직한 실시예의 동작을 나타낸 간략 순서도;

도 12는 도 11의 부샘플링 단계를 더욱 자세히 나타낸 간략 순서도;

도 13은 제1 실험의 피촬영 대상으로서 사용된 6개의 얼굴에 대한 데이터베이스를 나타낸 도면;

도 14는 도 1의 얼굴들 중 하나와, 표정의 변화를 모사하기 위한 얼굴의 변형과, 주요 특징에서의 변화를 나타내는 추가 변형을 나타낸 도면;

도 15는 3차원 특징 공간에 그려진 제1 실험의 결과를 나타낸 것으로서, 표정의 변화에 의해서만 달라지는 얼굴은 특징 공간에서 클러스터를 형성하는데 반하여 주요 특징부분에서의 변화에 의해 달라지는 얼굴은 서로 거리상으로 멀다는 것을 설명하기 위한 그래프;

도 16은 주어진 얼굴의 9가지 다른 조사와 조도차 스테레오를 이용하여 그것들을 포아송 방정식의 해에 의해 다양체로 재구성하는 것을 나타낸 도면;

도 17은 제2 실시예에서 사용하기 위해 다른 피사체의 9가지 서로 다른 얼굴 조사로부터 최소 자승을 이용하여 각각 재구성한 일련의 10개의 얼굴을 나타낸 도면;

도 18은 실험 II에서 사용하기 위해 각각 서로 다른 자세를 취한 하나의 피사체에 대한 일련의 화상들을 나타낸 도면;

도 19는 3차원 특징 공간 상에 그려진 제2 실험의 결과들을 나타낸 것으로, 동일한 피사체의 다른 자세는 클러스터를 형성한다는 것을 나타낸 그래프;

도 20은 2개의 얼굴 표면의 정렬 처리를 나타낸 개요도;

도 21은 3차원 특징 공간상에 그려진, 정렬하지 않은 제3 실험의 결과들을 나타낸 것으로, 인식가능한 클러스터가 나타나지 않음을 나타낸 그래프;

도 22는 3차원 특징 공간상에 그려진, 최적의 정렬에 의해 수행된 제3 실험의 결과들을 나타낸 것으로, 클러스터링은 있지만 불분명한 것을 나타낸 그래프;

도 23은 또 다른 데이터베이스로부터 얻은 일련의 3개의 얼굴로서 제4 실험을 위한 피사체들로서 사용된 얼굴들을 나타낸 도면;

도 24는 도 23의 제4 실험에서 사용할 얼굴의 3가지 자세를 나타낸 도면;

도 25는 마스크를 전처리의 일부로서 적용하기 전에 얼굴의 텍스쳐 지도를 나타낸 도면;

도 26은 측지 마스크를 적용한 후에 도 25의 텍스쳐 지도를 나타낸 도면;

도 27은 마스크를 전처리의 일부로서 적용하기 전에 얼굴의 깊이 지도를 나타낸 도면;

도 28은 측지 마스크를 적용한 후에 도 27의 깊이 지도를 나타낸 도면;

도 29는 3차원 지형 화상 데이터로부터 직접 얻은 것으로서의 삼각분할 다양체를 나타낸 도면;

도 30은 부샘플링 다음에 도 29의 다양체를 나타낸 도면;

도 31은 정준형태로 감소된 도 29의 다양체를 나타낸 도면;

도 32는 3차원 데이터 획득을 위한 관찰 및 조명 각도를 나타낸 간략도;

도 33은 표면 기울기와 국소 띠 방향 사이의 관계를 나타낸 간략도;

도 34는 데카르트 좌표계를 3차원 다양체에 매핑하는 것을 나타낸 간략도;

도 35는 측지 거리를 측정하는 시작점으로서의 추가 버텍스를 선택하는 과정을 나타낸 간략도;

도 36은 서로 다른 각도에서 조사된 동일한 얼굴의 일련의 화상을 나타낸 도면;

도 37A는 본 발명의 바람직한 실시예에 따라, 얼굴들의 3차원 표현들을 처리하고 그 3차원 표면을 중간 단계로서 형성하지 않으면서 그 처리된 결과들의 매칭을 수행하는 장치를 나타낸 간략 블록도;

도 37B는 도 37A의 장치의 사용시 관여되는 일련의 동작들을 나타낸 간략 순서도;

도 38은 3차원 표현의 수집된 얼굴 정보(즉, 최초로 수집된 데이터)의 추출과 얼굴의 불변 영역에 집중하기 위한 전처리의 과정에 있어서의 3단계를 나타낸 간략도;

도 39는 도 37A의 실시예를 이용하여 얻은 결과들을 나타낸 도면;

도 40 및 도 41은 텍스쳐 정보를 도 1의 실시예의 매칭 처리에 포함시키는 과정을 나타낸 하나의 순서도; 및

도 42는 도 40 및 도 41의 실시예에 따라 텍스쳐 데이터의 정준 형태로의 분리 및 후속하는 매핑을 나타낸 간략도이다.

본 발명은 3차원 안면 데이터의 정준 형태 표현(canonical form representation)을 획득하며, 다른 얼굴들과의 비교를 위해 그 정준 표현을 이용한다.

본 발명의 일 측면에 따르면, 기하체(geometric body)의 3차원 지형 데이터(topographical data)를, 일실시예에서는 미가공 데이터(raw data)로서 다른 하나의 실시예에서는 삼각분할된 다양체로서, 입력받아서 상기 데이터 또는 상기 삼각분할 다양체의 점 쌍(pairs of points)들 사이의 일련의 측지 거리들(geodesic distances)로 상기 데이터 또는 상기 삼각분할 다양체를 변환하는 측지 변환부와,

다른 기하 형태들과의 매칭을 하는데 적절한 상기 기하체의 굴곡 불변 표현(bending invariant representation)을 제공하는 상기 일련의 측지 거리들에 대한 저차원 유클리드 표현을 형성하기 위해 상기 측지 변환부 이후에 연결되는 다차원 스케일러를 포함하여 구성되는 매칭을 위한 기하체의 3차원 데이터 처리 장치가 제공된다.

바람직하게, 상기 장치는 상기 삼각분할된 다양체를 부샘플링하고 부샘플링된 삼각분할 다양체를 상기 측지 변환부에 제공하기 위해 상기 측지 변환부 이전에 위치하는 부샘플링부를 추가로 포함한다.

바람직하게, 상기 다양체는 복수의 버텍스를 포함하며, 상기 부샘플링부는 첫 번째 버텍스를 선택하고, 소정 개수의 버텍스가 선택될 때까지 이미 선택된 버텍스들로부터 최대 측지 거리에 있는 다음 버텍스를 반복적으로 선택하도록 동작 가능하다.

바람직하게, 상기 부샘플링부는 상기 삼각분할 영역을 위한 고속 진행법을 이용하여 상기 반복 선택을 위한 버텍스 사이의 측지 거리를 계산하도록 동작 가능하다.

바람직하게, 상기 기하체는 연질 기하 영역과 경질 기하 영역을 포함하는 얼굴이며, 상기 연질 기하 영역은 단기간의 기하학적 변화를 겪기 쉬운 상기 얼굴의 영역이며 상기 경질 기하 영역은 상기 단기간의 기하학적 변화를 겪기가 실질적으로 쉽지 않은 상기 얼굴의 영역이고, 상기 장치는 상기 얼굴로부터 상기 연질 기하 영역을 제거하도록 상기 부샘플링부 이전에 위치하는 전처리부를 포함한다.

바람직하게, 상기 전처리부는 상기 얼굴 위에 있는 위치결정 점(orientation point)의 식별에 의해 상기 연질 영역을 식별하도록 동작 가능하다.

바람직하게, 상기 배위 점은 코끝과, 한쌍의 안구 중앙부와, 입의 중앙부 중 적어도 하나이다.

바람직하게, 상기 전처리부는 상기 얼굴에 대한 센터링(centering)을 수행하도록 추가로 동작 가능하다.

바람직하게, 상기 전처리부는 상기 얼굴에 대한 크로핑(cropping)을 수행하도록 추가로 동작 가능하다.

바람직하게, 상기 전처리부는 측지 마스크를 적용하는 것에 의해 상기 연질 영역의 제거를 수행하도록 동작 가능하다.

바람직하게, 상기 측지 변환부는 상기 삼각분할 영역을 위한 고속 진행법을 이용하여 상기 측지 거리를 계산하도록 동작 가능하다.

바람직하게, 상기 장치는 기하체의 스캔 데이터로부터 상기 삼각분할 다양체를 형성하는 삼각분할부를 추가로 포함한다.

바람직하게, 상기 장치는 상기 삼각분할된 다양체를 3차원 이상의 공간에 이입시킴으로써, 상기 지형 정보과 함께 추가 정보를 포함하도록 추가로 동작 가능하다.

바람직하게, 상기 부가 정보는 텍스쳐 정보, 알베도 정보, 계조 정보 및 칼라 정보를 포함하는 그룹 중 어느 하나이다. 이 텍스쳐 정보인 경우에는 텍스쳐가 초기 스캔으로부터 추출되고, 이어서 저차원 유클리드 표현에 매핑될 수 있다. 이어서, 지형학적 및 텍스쳐 정보를 위한 별개의 계수가 그 매칭 처리에 있어서 다른 표면까지의 가중 거리(weighted distance)에 기여하기 위해 이용될 수 있다.

바람직하게, 상기 부샘플링부는 계산 복잡도와 표현 정확도 사이의 균형점을 결정하는 것에 의해 사용자가 최적의 부샘플링 레벨을 선택할 수 있도록 하는 최적화부를 포함한다.

바람직하게, 상기 다차원 스케일러는 상기 유클리드 표현이 특징 공간(feature space)에서 좌표로서 이용되도록 추출할 수 있는 소정 개수의 고유치들을 포함하도록 구성된다.

바람직하게, 상기 소정 개수의 고유치들은 적어도 3개이며, 상기 특징 공간은 상기 소정 개수에 대응하는 다수의 차원을 갖는다.

본 발명의 제2 측면에 따르면, 삼각분할된 다양체의 샘플링된 점들 사이의 측지 거리들의 집합에 대한 실질적으로 굴곡에 대해 불변인 유클리드 표현으로서 기하체에 대한 표현을 입력받기 위한 입력단과,

상기 유클리드 표현에 기초하여 각 기하체 사이의 거리들을 계산하는 거리 계산부와,

매치(match)의 존재 여부를 결정하기 위해 계산된 거리를 쓰레스홀딩하는 쓰레스홀더를 포함하여 구성된 것을 특징으로 하는 3차원 데이터에 기초한 기하체 사이의 매칭 장치가 제공된다.

바람직하게, 상기 소정 개수는 3이다.

바람직하게, 상기 유클리드 표현은 상기 삼각분할된 다양체의 부 샘플링 점들 사이의 측지 거리에 기초한다.

바람직하게, 상기 기하체는 연질 기하 영역과 경질 기하 영역을 포함하는 얼굴이며, 상기 연질 기하 영역은 단기간의 기하학적 변화를 겪기 쉬운 상기 얼굴의 영역이며 상기 경질 기하 영역은 상기 단기간의 기하학적 변화를 겪기가 실질적으로 쉽지 않은 상기 얼굴의 영역이고, 상기 유클리드 표현은 상기 경질 기하 영역에 실질적으로 한정된다.

바람직하게, 상기 거리 계산부는 하우스도르프 메트릭(Hausdorff metric)을 이용하도록 구성된다.

본 발명의 제3 측면에 따르면, 매칭을 위한 기하체의 3차원 데이터를 획득하고 상기 데이터를 이용하여 서로 다른 대상체 사이의 매칭을 수행하는 장치에 있어서,

상기 기하체의 3차원 지형 데이터를 획득하기 위한 3차원 스캐너와,

상기 기하체의 상기 3차원 지형 데이터를 전달받아 상기 전달받은 데이터로부터 삼각분할 다양체를 형성하는 삼각분할부와,

상기 삼각분할 다양체를 상기 다양체의 점 쌍들 사이의 일련의 측지 거리로 변환하기 위해 상기 삼각분할부 이후에 연결되는 측지 변환부와,

상기 기하체의 굴곡 불변 표현을 제공하는 상기 일련의 측지 거리들에 대한 저차원 유클리드 표현을 형성하기 위해 상기 측지 변환부 이후에 연결되는 다차원 스케일러와,

상기 유클리드 표현에 기초한 기하체들 사이의 거리들을 계산하기 위해 상기 다차원 스케일러 이후에 연결되는 거리 계산부와,

계산된 거리를 쓰레스홀딩하여 매치의 존재 여부를 결정하기 위해 상기 거리 계산부 이후에 연결되는 쓰레스홀더를 포함하는 것을 특징으로 하는 상기 장치가 제공된다.

바람직하게, 상기 거리 계산부는 상기 유클리드 표현으로부터 소정 개수의 고유치를 추출하는 고유치 추출부와,

상기 소정 개수의 고유치 각각에 대해서 하나의 차원을 갖는 특징 공간에서 상기 소정개수의 고유치를 하나의 점으로서 작성하는 플로터(plotter)를 포함하며,

상기 쓰레스홀더는 상기 특징 공간 내에서의 클러스터링에 민감하여 상기 매치의 존재 여부를 결정하도록 구성된다.

바람직하게, 상기 소정 개수는 3이다.

바람직하게, 상기 소정 개수는 3보다 크다.

바람직하게, 상기 장치는 상기 삼각분할 다양체를 부샘플링하고 부샘플링된 삼각분할 다양체를 상기 측지 변환부에 제공하도록 구성되며 상기 삼각분할부와 상기 측지 변환부 사이에 위치하는 부샘플러를 추가로 포함한다.

바람직하게, 상기 부샘플러는 상기 부샘플링된 삼각분할 다양체에 포함되도록 상기 삼각분할 다양체로부터 점들을 선택하는데 있어서 측지 거리들을 사용하도록 동작 가능하다.

바람직하게, 상기 부샘플러는 초기 점을 취하고, 이미 선택된 점들에서부터 측지거리의 관점에서 가장 먼 점들을 취함으로써 점들을 반복적으로 선택하도록 구성된다.

바람직하게, 상기 기하체는 연질 기하 영역과 경질 기하 영역을 갖는 얼굴이며, 상기 장치는 상기 얼굴로부터 상기 연질 영역을 제거하기 위해 상기 삼각분할부와 상기 부샘플러 사이에 위치한 전처리부를 포함한다.

바람직하게, 상기 기하체는 연질 기하 영역과 경질 기하 영역을 갖는 얼굴이며, 상기 장치는 상기 얼굴로부터 상기 연질 영역을 제거하기 위해 상기 삼각분할부와 상기 측지 변환부 사이에 위치한 전처리부를 포함한다.

바람직하게, 상기 위치결정 점은 코 끝이다.

바람직하게, 상기 부샘플러는 계산 복잡도와 표현 정확도 사이의 균형점을 결정하는 것에 의해 사용자가 최적의 부샘플링 레벨을 선택할 수 있도록 하는 최적화부를 추가로 포함한다.

바람직하게, 상기 거리 계산부는 하우스도르프 메트릭을 이용하도록 구성된다.

본 발명의 제4 측면에 따르면,

3차원 지형데이터를 3차원 삼각분할 다향체로서 제공하는 단계와,

상기 다양체의 선택된 버텍스들까지의 측지 거리들에 대한 행렬을 생성하는 단계와,

다차원 스케일링을 이용하여 상기 행렬을 저차원 유클리드 공간에서의 정준 표현으로 감소시킴으로써 이후 분류를 하는데 적절한 표현을 제공하는 단계를 포함하는 것을 특징으로 하는 이후 분류를 위한 3차원 지형 데이터의 화상 전처리 방법이 제공된다.

상기 방법은 소정 개수의 버텍스가 선택될 때까지 이미 선택된 버텍스들로부터 가장 측지 거리가 먼 다음 버텍스를 반복적으로 선택하는 과정에 의해 상기 측지 거리에 대한 행렬을 생성하기 위해 상기 버텍스를 선택하는 단계를 추가로 포함할 수 있다.

상기 방법은 상기 삼각분할 영역을 위한 고속 진행법을 이용하여 상기 과정을 위한 측지 거리를 결정하는 단계를 포함할 수 있다.

바람직하게, 상기 3차원 지형 데이터는 얼굴에 대한 표현이며, 단기간 변화를 쉽게 겪는 상기 얼굴의 부분을 배제시키도록 상기 얼굴에 대해 크로핑을 수행하여 상기 이후의 분류가 상기 단기간 변화에 대해서 실질적으로 불변이 되게 하는 단계를 추가로 포함한다.

본 발명의 제5 측면에 따르면,

3차원 대상체(bodies)의 표현들을, 상기 3차원 대상체의 표면으로부터 취해진 선택된 샘플 점들 사이의 측지 거리들로부터 도출된 정준 형태 표현들로서 얻는 단계와,

각 표현으로부터 특징 공간 상에서 좌표를 도출해내는 단계와,

상기 특징 공간 상의 클러스터링에 따라 상기 대상체를 분류하는 단계를 포함하여 이루어진 것을 특징으로 하는 3차원 대상체의 화상 분류 방법이 제공된다.

바람직하게, 상기 좌표를 도출해내는 단계는 각 정준 형태 표현들로부터 첫 번째 m개의 고유치를 도출해내는 단계와, 상기 m개의 고유치를 이용하여 상기 좌표를 제공하는 단계를 포함하며, 상기 특징 공간은 소정 개수인 n개의 차원을 갖도록 구성된다.

바람직하게, 상기 n은 적어도 3이다.

별도로 정의되지 않는 한, 본원 명세서에서 사용되는 모든 기술 용어 및 과학 용어는 본 발명이 속하는 기술분야에서 통상의 기술을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 지닌다. 본 발명에서 제공되는 물질, 방법 및 예들은 단지 예시적인 것으로 한정하고자 한 것은 아니다.

본 발명의 방법 및 시스템의 구현에는, 선택된 작업 또는 단계를 수동으로 또는 자동으로 또는 그 조합으로 수행하거나 혹은 완료하는 것이 포함된다. 또한, 본 발명의 방법 및 시스템의 바람직한 실시예의 실제 기구 및 장비에 따라, 하나 이상의 단계를 하드웨어에 의해, 또는 임의의 펌웨어의 임의의 운영체제 상에서 소프트웨어에 의해, 또는 그 조합으로 구현될 수 있을 것이다. 예를 들어, 하드웨어로서는, 본 발명의 선택된 단계들이 칩 또는 회로로 구현될 수 있을 것이다. 또한, 소프트웨어로서는, 임의의 적적한 운영체제를 이용하는 컴퓨터에 의해 수행되는 복수의 소프트웨어 명령들로서 본 발명의 선택된 단계들이 구현될 수 있을 것이다. 어떠한 경우에도, 본 발명의 방법 및 시스템의 선택된 단계들은 복수의 명령을 수행하는 연산 플랫폼 등의 데이터 프로세서에 의해 수행되는 것으로서 기술될 수 있을 것이다.

이하 첨부된 도면을 참고하여 본 발명을 예에 의해서만 설명한다. 이하 도면을 참고하여 상세히 설명하는데 있어서, 도시된 특정 요소들은 예에 의한 것으로 단지 본 발명의 바람직한 실시예를 예시적으로 설명하기 위한 것이고, 본 발명의 원리 개념적 측면들에 대해 가장 유용하면서도 가장 이해하기 쉽다고 믿어지는 설명을 제공하기 위해서 제시된 것이다. 이러한 관점에서, 본 발명의 근본적 이해를 위해 필요한 것 이상으로 자세한 본 발명의 구조를 보이고자 하지는 않았으며, 당업자는 도면과 함께 본 발명의 설명을 보면 본 발명의 여러 가지 형태가 실제적으로 어떻게 구현되는지에 대해서 명확히 알 수 있게 될 것이다.

본 발명의 실시예들은 3차원 기하학 또는 지형학 정보에 기초한 안면 인식 방식을 보여준다. 3차원 얼굴표면이 주어진 경우, 그 표면을 샘플링하고 (고속 진행법(Fast Marching Method)을 이용하여) 그 위의 점들 사이의 측지 거리 (또는 최단 거리)(geodesic distances)를 계산하고 다차원 스케일링(Multidimensional scaling (MDS))을 적용함으로써 기하학 굴곡-불변 정준 형태(geometric bending-invariant canonical form)를 얻을 수 있다. 다차원 스케일링은 표면을 저차원 유클리드 공간에서의 표현(즉, 상기 굴곡-불변 정준 형태)을 가능하게 하며, 상기 정준형태란 일반적으로는 분류를 위해 또한 특별히 매칭을 위해 이용될 수 있는 표현이다.

일실시예에 의하면, 얼굴 표면의 삼각분할 다양체(triangulated manifold)가 형성되고, 그것으로부터 측지거리를 연산한다. 다른 실시예에 의하면, 다양체를 형성하지 않고 표면 기울기(gradient) 데이터로부터 측지거리를 구한다.

삼차원 기하학을 이용한 안면 인식은 자체적으로 이용될 수도 있고 또는 기존의 이차원 이미징을 보강하기 위해 이용될 수도 있다. 일실시예에 의하면, 이차원 또는 텍스쳐 데이터를 3차원 레인지 또는 기하학 데이터와 함께 처리한 후, 그 텍스쳐 및 레인지 데이터를 이용한 가중 유클리드 거리(weighted Euclidean distance)에 기초하여 매칭을 수행한다. 3차원 기하학은 관찰 지점(viewpoint) 및 조명 조건에 대해 독립적이므로, 정확한 얼굴 분류를 달성할 수 있다.

본 발명의 적어도 하나의 실시예를 상세히 설명하기 전에, 본 발명은 이후의 설명에 제시되어 있어나 도면에 예시한 바와 같은 구성요소들의 배열 및 그 구성의 구체적 사항들에만 한정적으로 적용되지는 않는다는 점을 알아야 한다. 본 발명은 다른 실시예도 가능하고 또한 다른 방식으로도 실시 또는 수행될 수 있다. 또한, 본 발명에서 사용되는 표현 및 용어는 본 발명을 설명하기 위한 것으로 한정적으로 간주되면 안 된다는 점을 알아야 한다.

이하 도면을 참조로 설명하면, 도 1은 본 발명의 바람직한 제1 실시예에 따른 매칭을 포함하여 분류를 위한 기하체(geometric body for classification, including matching)의 3차원 데이터를 얻기 위한 장치를 나타낸 간략도이다. 본 발명의 바람직한 실시예는 특히 얼굴들에 대한 매칭과 관련되어 있지만 당업자는 본 발명의 원리를 3차원 구조를 가진 어떠한 기하체에도 적용할 수 있다는 점을 알 수 있을 것이다.

상기 장치(10)는 기하체의 3차원 지형학적데이터를 얻기 위한 3차원 스캐너(12)를 포함하고 있다. 아래에서는 여러 가지 형태의 스캐너에 대해서 설명할 것이며, 몇몇 경우에 있어서 그 스캐너들로부터 출력된 데이터를 어떻게 처리하는지에 대해서도 간략히 설명될 것이다.

3차원 스캐너(12)로부터 출력된 데이터는 삼각분할부(triangulator)(14)에 전달된다. 이 삼각분할부는 상기 기하체의 위상 특징들(topological features)을 나타내는 3차원 삼각분할 다양체를 생성하기 위하여 상기 스캐너로부터 전달받은 데이터에 대해서 삼각분할(triangulation)을 수행한다. 다양체를 도출해내기 위한 상기 삼각분할부의 정확한 동작은 3차원 정보가 수집되는 방식에 따라 달라질 수 있다. 어떤 경우에는, 어떠한 중간 단계도 필요로 하지 않으면서 수집된 데이터로부터 상기 다양체를 직접 형성할 수도 있다. 상기 다양체는 기하체의 3차원 위상을 모두 표현하는 것이 바람직하며, 따라서 상기 다양체는 이론상 매칭을 가능하게 하는데 있어서 충분하다. 하지만, 실제로는, 삼각분할 다양체를 이용하여 직접 비교하는 방식은 여러 가지 단점을 가지고 있는데 이것은 이후 실험 3에서 밝히게 될 것이다. 이 방식은 많은 양의 계산을 필요로 한다. 매칭은 서로 다른 얼굴들을 확실하게 구별하지 못한다. 또한, 동일한 얼굴이 다른 표정을 지닐 경우 매칭은 일반적으로 실패하게 되며, 동일한 얼굴을 서로 다른 각도에서 취할 경우에도 매칭은 신뢰할 수 없는 것이 된다.

따라서 본 발명의 실시예는 4가지 부가 처리단(processing stages)을 포함하며, 그 첫 번째 처리단은 전처리부(16)이다. 전처리부(16)는 다양체 둘레에 있어서의 방위(orientation)를 결정하기 위해 기준점을 취하게 된다. 상기 기준점은 얼굴의 다양체로부터 자동적으로 발견하기에 상대적으로 쉽다면 얼굴의 어떠한 지점도 될 수 있다. 바람직한 실시예에서 사용되는 것으로서 적절한 기준점은 코끝(tip of nose)이다. 다른 가능한 기준점으로는 안구의 중앙 및 입의 중앙이 포함된다. 일단 전처리부가 코끝을 발견하며, 얼굴의 나머지 부분에 대해서 그 방위를 결정하는 것이 가능하게 되고, 그리고 나서 표정에 특히 영향을 받기 쉬운 얼굴의 부분들(이하 연질 영역(soft regions)이라 칭함)은 무시될 수 있게 된다. 표정의 변화 등에 대해서 불변인 얼굴의 부분들(이하 경질 영역(hard regions)이라 칭함)은 유지할 수 있거나 특히 강조될 수 있다. 이하 더욱 상세히 설명하는 봐와 같이, 연질 영역의 정의는 확정된 것은 아니다. 어느 방법 및 어느 조건에 있어서는, 배제해야할 연질 영역은 입 주위의 얼굴 하부영역 모두를 포함할 수도 있다. 다른 경우에 있어서는, 보다 철저하지 않게 배제하는 것을 고려할 수도 있다. 이하 상세히 기술할 일실시예에 있어서는, 연질 영역을 측지 마스크(geodesic mask)를 이용하여 제거한다. 이 마스크는 얼굴의 텍스쳐지도와 깊이 지도에 따로 따로 적용될 수 있다.

전처리부의 다음 처리단은 부샘플러(subsampler)(18)이다. 부샘플러(18)는 전처리된 다양체를 취하고, 점들을 제거하여 보다 잘 정의되지 않은 다양체를 생성하도록 하며, 하지만 이것은 매칭시키고자 하는 얼굴의 본질적 기하학적 형태(essential geometry)를 여전히 정의하고 있다. 바람직한 실시예들에 있어서, 사용자는 정확한 매칭(많은 수의 점)과 빠른 처리(적은 수의 점) 사이의 균형(tradeoff)을 취하기 위해 점들의 개수를 선택할 수 있다. 이하 상세히 설명하는 바와 같이, 상기 부샘플러의 바람직한 일실시예는 다양체 위의 초기 점 또는 버텍스(vertex)에서 시작하여 그것에서부터 최대 거리를 갖는 점 또는 버텍스를 더하는 보로노이 부샘플링(Voronoi subsampling) 기술을 이용한다. 이 과정은 선택된 개수의 점들이 포함될 때까지 반복적으로 행해진다. 상기 기술은 후술하는 바와 같이 삼각분할된 영역을 위한 고속 진행 방법(FMM-TD: fast marching method for the triangulated domain)을 이용하여 얻을 수 있는 측지 거리들을 이용하는 것이 바람직하다.

부샘플러 다음의 처리단은 측지 변환부(20)이다. 측지 변환부(20)는 부샘플링된 다양체의 점들의 리스트를 전달받아서 점들의 각 쌍을 위한 벡터를 계산하다. 이 벡터는 측지 거리로서 표현되며, 삼각분할된 영역을 위한 고속 진행 알고리즘을 다시 이용하여 가능한 효과적인 방식으로 측지 거리를 얻게 된다.

측지 변환부 다음의 처리단은 다차원 스케일러(22)이며, 이 스케일러(22)는 측지 변환부(20)에 의해 계산된 측지 거리들에 대한 행렬(이하 거리 행렬이라 칭함)을 취하여, 다차원 스케일링을 이용하여 일련의 측지 거리들의 저차원 유클리드 표현을 형성하게 된다. 다차원 스케일링에 대해서는 이하 상세히 설명할 것이다. 이하 다차원 스케일링에 대한 기술을 할 때 설명되는 바와 같이, 상기 저차원 유클리드 표현은 기하체(geometric body)의 굴곡-불변 표현을 제공하게 된다. 그러한 굴곡-불변 표현을 사용하면, 예를 들어, 서로 다른 각도에서 머리를 스캐닝하는 하는 것에 의해 매칭 처리가 무력화되지 않게 된다.

다차원 스케일러의 출력(24)은 표면 점들 사이의 유클리드 거리에 의한 3차원 얼굴의 표현이며, 이것을 이하 정준 형태 표현이라 칭하기로 한다.

이하, 상술한 바와 같이 출력된 정준 형태를 이용하여 2개의 얼굴을 매칭하는 매칭 장치를 나타낸 간략도인 도 2를 참조하여 설명한다. 매칭부(30)는 장치(10)에 연속되는 것일 수 있고, 또한 별도의 장치로 제공될 수도 있다. 매칭부(30)는 거리 계산부(32)를 포함하며, 이 계산부(32)는 2개의 정준 형태 표현(34,36)을 입력으로서 취하여 그들 사이의 거리를 계산한다. 이 거리계산을 위해서는, 서로 매칭시켜야 할 얼굴들 각각을 위한 정준 형태들을 서로 비교하는데 있어서 적절한 어떠한 방법도 이용될 수 있다. 단순한 방법으로는 예를 들어 하우스도르프 메트릭(Housdorf metric)을 이용하여 2세트의 점들 사이의 거리를 측정하는 것이 있다. 하지만, 하우스도르프 메트릭을 이용한 방법은 계산적으로 방대해진다.

그 대안이 되는 방법으로서 본 발명에서 이용하는 방법은 MDS 처리로부터 얻어진 첫 번째 m개의 고유치를 취하여 저차원 특징 공간(low-dimensional feature space)에서의 좌표를 제공하는 것이다. 그러한 주요한 고유치들(dominant eigenvalues)로는 상기 정준 형태를 완전히 기술하지는 못하지만, 유사한 얼굴들이 당연히 유사한 고유치들을 가질 것이다(따라서 특징 공간(feature space)에 있어서 클러스터들을 형성할 것이다). 기하체들(geometric bodies) 사이에서 거리는 계산되거나 후술하는 바와 같이 특징 공간의 그래프 상에 그려지며, 상기 거리 계산부에 후속하여 연결되는 쓰레스홀더(thresholder)(38)는 상기 계산된 거리를 쓰레스홀딩하여 특징 공간에 클러스터가 존재하는지 여부를 결정하며, 이때 클러스터는 일치(match)를 나타낸다. 본원에서 상세히 설명되는 실시예들에서는, 첫 번째 3개의 고유치들이 취해져 3차원 특징 공간에 그려진다.

이하, 일련의 3개의 3차원 화상을 나타내는 도 3을 참조하여 설명한다. 이 3개의 화상은 동일한 얼굴의 화상이라는 점은 어느 인간 관찰자에게도 명백한 것이지만, 종래의 자동 매칭 기술은 일반적으로 이들 3개의 화상 사이에서 매우 큰 거리를 검출하게 되어 결국 그 화상들을 서로 매치시키지 못하게 된다. 따라서 2차원 안면 매칭은 조명 방향 등의 단순 변수들에 의해 도입되는 오류를 일으키기 쉽다. 사실, 눈과 같이 반사도가 높은 얼굴의 영역들은 조명에 있어서 매우 작은 변화 대해서도 실질적으로 변화할 수 있다.

도 1을 참조하면, 상술한 바와 같이 장치(10)는 3차원 스캐너(12)를 포함하는 것이 바람직하다. 본 실시예들에서 기술되는 안면 인식에 있어서는, 얼굴들을 3차원 표면으로서 취급하게 된다. 따라서, 우선 첫째로, 인식하고자 하는 피사체(즉, 피촬영자)의 얼굴 표면을 획득해야한다. 이하, 얼굴을 스캐닝하여 3차원 데이터를 생성할 수 있는 현재 사용가능한 레인지 검출(range finding) 기술들에 대해서 간략하게 개요를 기술하기로 한다.

레이저 레인지 카메라(Zcam)

이하, 깊이 부호화 조명(depth encoding illumination)을 이용하는 레이저 레인지 카메라의 동작의 연속하는 단계를 나타낸 간략도인 도 4a 및 도 4b를 참조로 설명한다. 현재, 가장 빠르며 가장 정확하지만 동시에 가장 값비싼 레인지 카메라는 깊이 부호화 조명에 기초한 레인지 카메라이다.

깊이-부호화 조명은 시야를 따라 이동하는 광 벽(wall of light)(40)의 생성을 기초로 한다. 광이 장면(scene)내에 있는 대상체(42)에 입사하면 그 입사광은 카메라(44)쪽으로 다시 반사된다. 광의 속도가 유한하기 때문에, 반사광에는 적절한 전자장치를 이용하여 복호화될 수 있는 대상체의 깊이의 자국이 포함되어 있다. 이 조명은 적외선 레이저 다이오드를 사용하여 생성된다.

이러한 형태의 3차원 획득 장치는 국제 특허 공개 WO 01/18563 (2001년 3월 15일)에 기술되어 있으며, 그 내용을 참고자료로서 본원명세서와 함께 제출한다. 이러한 기술은 30fps 프레임속도로 실시간 데이터 획득을 가능하게 한다. 시간상에서 프레임들의 평균을 취함으로써 깊이 해상도를 상당히 향상시킬 수 있다. 그 가격은 전형적으로 미화 2천~5만 달러이다.

3차원 스캐너

좀더 저속이고 저가 버전의 3차원 스캐너는 J. -Y. Bouguet와 P. Perona의 "3D photography on your desk"(Proc. of the Int. Conf. on Computer Vision, bombay, India, Jan. 1998)에 기초한 것이다. 이 스캐너는 데스크 위에 그림자 선을 던지는 펜슬과 램프에 기초한 것이며, Zigelman과 Kimmel에 의해 구현된 것은 그림자 대신에 좁은 레이지빔을 사용한다(Zigelman과 Kimmel의 "Fast 3D laser scanner"(Dept. of Computer Science, Technion - Israel Institute of Technology, Tech. Rep. CIS-2000-07, 2000) 참고). 그러한 전형적인 장치를 도 5에 나타내었으며, 이 장치는 비디오카메라(46)와 이동 레이저 프로젝터(48)를 포함하고 있다. 도 5의 장치를 이용하여, 대상체를 조사함에 따른 레이저빔의 변형을 분석하여 깊이 재구성(depth reconstruction)을 수행하게 된다. 이와 관련된 방식을 "구조광"이라는 표제 하에 아래에 설명하기로 한다.

그러한 스캐너는 미화 50-200달러 정도의 비용이 드는 저가의 재료로 구성할 수 있다. 그러한 장치를 이용하여 안면용으로 달성할 수 있는 전형적 스캐닝 속도는 15-30 sec 범위 내에 있으며, 이러한 낮은 스캐닝 속도는 그 방식을 실험실 및 그와 유사한 조절된 상태에만 한정되도록 한다.

구조광(Structured light)

구조광의 개념은 알고 있는 패턴(예를 들어, 병렬 띠들(parallel stripes))을 대상체에 사영하며, 이어서 그 패턴 정보로부터 깊이 정보를 획득하는 것과 관련이 있다. 좀더 자세한 사항은 C. Rocchini, P. Cignoni, C. Montani, P. Pingi, 및 R. Scopigno의 "A low cost 3D scanner based on structured light (구조광에 기초한 저가의 3차원 스캐너)"(EUROGRAPHICS 2001, A. Chalmers and T.-M. Rhyne (Guest Editors), Volume 20 (2001), Number 3)를 참고할 수 있으며, 그 내용은 참고자료로서 본원명세서와 함께 제출한다.

전형적인 데이터 획득 구성(setup)에는 CCD 카메라와 프로젝터가 포함되며, 이 구성은 상대적으로 저가이며 현재 미화 1000-5000 달러 정도의 비용이 든다. 이러한 데이터 획득 장치는 Beumier와 Acheroy가 3차원 안면 인식용으로 사용하였으며, 이것에 대해서는 C. Beumier와 M. P. Acheroy의 "Automatic Face Identification (자동 안면 인식)"(Applications of Digital Image Processing XVIII, SPIE, vol. 2564, pp 311-323, July 1995)과, C. Beumier와 M. P. Acheroy의 "Automatic Face Authentication from 3D Surface (3차원 표면에 의한 자동 안면 인식)"(British Machine Vision Conference BMVC 98, University of Southampton UK, 14-17 Sep. 1998, pp 449-458)을 참고할 수 있으며, 그 내용은 참고자료로서 본원명세서와 함께 제출한다.

구조광 방식의 단점은 조절된 조명 조건(controlled illumination conditions)이 필요하다는 것이며, 이 때문에 이 방식은 여러 실생활 용도로 적용될 수 없다.

조도차 스테레오(Photometric stereo)

어떠한 전용 하드웨어도 필요로 하지 않는 방법으로, 또 다른 얼굴 표면 획득 방법으로는 조도차 스테레오를 이용하여 표면을 재구성하는 방법이 있다. 조도차 스테레오는 서로 다른 조명 조건에서 동일한 피사체의 여러 화상들을 획득하고, 램버시안(Lambertian) 반사모델을 가정하여 그 화상들로부터 3차원 기하학 형상(3D geometry)을 추출하는 것을 필요로 한다. 색이 무디거나 광택이 없는 표면처럼 기능을 한다면 그 표면은 램버시안 반사를 나타내게 된다. 즉, 어떠한 방향으로부터 입사된 광에 대해서도, 그 반사는 완전히 산란하게 되며, 이것은 빛이 모든 방향으로 동일한 강도로 반사됨을 의미한다. 주어진 어떠한 표면에 대해서도, 그 휘도는 조명광원과 그 표면의 법선(surface normal) 사이의 각에만 의존하게 된다.

이하, 얼굴 표면(50)을 z축 상의 소정의 위치(52)로부터 보았을 때 함수로서 나타낸 간략도인 도 6을 참조하기로 한다. 을 따라 향하고 있는 병렬 광선들(54)의 광원에 의해 대상체가 조사된다.

이하, 램버시안 반사를 가정하며, 관측된 화상은 다음과 같이 주어진다.

[수학식 1]

이때, 은 대상체의 알베도(albedo) 또는 반사능(reflective power)이며, 는 대상체 표면의 법선벡터이며, 다음과 같이 표현된다.

[수학식 2]

행렬-벡터 표기법을 이용하여 수학식 1을 다음과 같이 재작성할 수 있다.

[수학식 3]

,

이때, L과 I(x,y)는 각각 다음과 같다.

[수학식 4]

이때, 다음과 같다.

[수학식 5]

적어도 3개의 선형적으로 독립된 조명과 대응하는 관측 이 주어진 경우, 다음과 같은 포인트방식 최소-자승 해 (pointwise least-squares solution)에 의해 의 값들을 재구성할 수 있다.

[수학식 6]

이때, 은 무어-펜로즈 의사역행렬(Moore-Penrose psedoinverse)을 나타낸다. 무어-펜로즈 의사 역행렬은 역행렬에 대한 대체 행렬이며, 표준 역행렬이 존재하지 않는 환경에서 유용하다. 행렬의 무어-펜로즈 의사 역행렬을 얻기 위한 함수는 매트랩(Matlab)에서 예를 들어 표준 특징(standard feature)으로서 제공된다.

기울기 을 취하면, 표면(50)은 다음과 같은 함수를 최소화하는 것에 의해 재구성될 수 있다.

[수학식 7]

수학식 7의 오일러-라그랑지 조건(Euler-Lagrange conditions)에 의해 다음과 같이 포아송 방정식(Poisson equation)을 재작성할 수 있다.

[수학식 8]

[1] 이 식의 해에 의해 재구성된 표면()을 얻게 된다. 이것에 대해서는 R. Kimmel의 강의 노트 "Numerical geometry of images"을 참고할 수 있다.

조도차 스테레오 방식에 의해 표면을 제구성하는 것에 있어서의 명백한 문제점들 중 하나는 실제 얼굴에 있어서 램버시안 모델로부터의 편차로 인해 발생하는 문제점이다. 안면 인식에 적용될 경우, (눈, 머리카락, 수염 등) 몇몇 얼굴의 특징들은 강한 비-램버시안 성질(non-Lambertian nature)을 갖는다.

재구성된 표면에 있어서 불규칙성(irregularity)을 감소시키기 위해, 상기 최소-자승 해에 표면이 매끄럽지 않은 것에 대한 벌칙 항(penalty term on surface non-smoothness)을 추가하여, 예를 들어 전체 변동을 부여할 수 있다.

[수학식 8a]

기하학적 안면 인식 방식(Geometric Face Recognition Scheme)

본 실시예들의 안면 인식 방식은 3차원 얼굴 표면의 기하하적 특징들에 기초하고 있다. 기하학적 특징들을 3차원 스캔으로부터 직접 구하고 이 기하학적 특징들을 점들 혹은 버텍스들로서 통합하여 도 7에 나타낸 종류의 삼각분할 다양체를 형성할 수 있으며, 또는 버텍스들을 조도차 스테레오들로부터 도출하고 도출한 버텍스들을 정렬하여 삼각분할 다양체를 형성할 수도 있다.

인식처리 이전에 다양체에 대해서 센터링 및 크로핑(cropping) 등의 예비처리를 수행하는 것이 바람직하다. 센터링 및 크로핑 동작은 단순 패턴 매칭에 의해 수행할 수 있으며, 이때 사람 얼굴의 가장 인식 가능한 특징으로서 코(60)의 끝 또는 눈을 이용할 수 있다. 얼굴 자체에 속하는 표면에만 처리를 국한시키기 위해 얼굴 윤곽을 추출하여, 안경 등의 배경 사항들을 배제시킬 수도 있다. 이러한 작업은 상술한 전처리부(16)에 의해 수행되는 것이 바람직하다.

전처리에 있어서는, 상대적으로 변화하기 쉽지 않은 얼굴 부위, 즉, 안와(눈구멍)의 상단 윤곽, 광대뼈 주위 부분, 입의 측부(sides of mouth) 등을 포함하는 소위 경질 영역이 강조된다. 한편, 쉽게 변할 수 있는 부분(예를 들어, 머리카락), 즉 연질 영역은 인식 처리에서 배제시킨다. 이후에 설명하는 바와 같이, 표정에 따라 상당히 변화하는 영역은 연질 영역으로서 포함되어 배제될 수도 있으며, 어느 실시예에서는 처리를 얼굴의 상단부에만 국한시킬 수도 있다.

전처리부에 의한 처리 이후에, 전형적으로 다양체는 효율적인 처리를 위해서 너무 많은 점들과 근본적인 얼굴의 기하학 형상을 제공하는데 실제 필요한 것보다 많은 수의 점들을 여전히 포함하고 있다. 따라서 도 8의 부샘플링된 다양체를 형성하기 위해 부샘플러(18)를 이용하여 부샘플링을 수행한다.

이하 도 9를 참조하여 설명하며, 이 도면은 부샘플러(18)를 더욱 상세히 나타낸 간략 블록도이다. 부샘플러는 초기화부(70)와 보로노이(Voronoi) 샘플러(72)를 포함하며, 전처리된 완전한 다양체와 소정 개수의 점들을 입력으로서 취하며, 또는 정확도와 연산효율 사이의 균형점(trade-off)을 정의하는 다른 어떠한 사용자 친화적 방식도 가능하다.

부샘플링 처리에서는, 균일하게 분포된 n개의 버텍스의 부세트가 얼굴 윤곽 내의 삼각분할된 표면으로부터 선택된다. 부샘플링은 반복적인 보로노이(Voronoi) 샘플링 과정을 이용하여 수행하며, 그 과정이 반복될 때마다 이미 선택된 버텍스들 중 최대 측지 거리를 갖는 버텍스를 선택한다. 이 과정은 초기화부에 의해 선택된 상수 버텍스(constant vertex)에 의해 초기화되며, 필요한 측지 거리들을 FMM-TD를 이용하여 연산하는 것이 바람직하며, 이에 대한 수학적 측면은 이후에 더욱 상세히 설명하기로 한다. 보로노이 샘플링에 대한 더욱 자세한 정보는, Christopher M. Gold의 "Problems with handling spatial data, the Voronoi approach (공간데이터 취급시 문제점, 보로노이 접근방식)"(CISM Journal ACSGC Vol. 45 No. 1, Spring 1991 pp 65-80)를 참조하면 된다. FMM-TD에 대해서는 아래에 좀더 자세히 설명하기로 한다.

이하 도 10을 참고하기로 하며, 이 도면은 도 1의 측지 변환부(20)를 더욱 상세히 나타낸 간략 블록도이다. 측지 변환부(20)는 일련의 점들(80)을 부샘플러(18)로부터 전달받는다. 그리고 나서, n개의 선택된 버텍스 각각으로부터 각기 다른 버텍스로 FMM-TD를 적용함으로써 측지 거리에 대한 nxn 거리 거리행렬을 생성한다. FMM-TD의 낮은 연산 복잡도를 얻을 수 있는 원리들 중 하나는, 보로노이 샘플링으로부터 이미 계산된 거리들이 측지 거리 행렬의 계산 등의 이후 계산에서 재사용될 수 있다는 사실이다.

이러한 nxn 거리 행렬을 이용하여, 다차원 스케일링(multi-dimensional scaling: MDS)을 비유사 행렬을 생성하는데 적용하며, 이때 비유사 행렬이란 저차원 유클리드 공간에 있어서 얼굴의 정준 표현을 제공하는 유사점들 혹은 비유사점들의 지도(map of similarities or dissimilarities)를 말한다. 등척성 변환(isometric transformations)은 측지 거리에 영향을 주지 않기 때문에, 그러한 변환을 겪게 되는 얼굴은 원래 얼굴과 동일한 정준 형태를 생성하게 될 것이라는 것을 예측할 수 있다. 실제로 약간의 비등척성 변환(slight non-isometric transformations)은 원래의 정준 형태로부터 조금은 있지만 심각한 편차를 일으키지 않는다는 사실을 본 발명자에 의해 수행된 연구가 보여주고 있다. 다차원 스케일링(MDS)에 대해서는 이후 더욱 상세히 설명하기로 한다.

얼굴 매칭 동작의 마지막 단계는 매칭 혹은 분류, 즉 정준 형태의 비교로 이루어져 있다. 단순한 방식으로는 예를 들어 하우스도르프 메트릭(Hausdorff metric)을 이용하여 2세트의 점들 사이의 거리를 측정하는 것이다. 하지만, 하우스도르프 메트릭에 기초한 방법은 계산적으로 방대하기 때문에 회피해야 한다.

그 대안이 되는 방법으로서 본 발명에서 이용하는 방법은 MDS 처리로부터 얻어진 첫 번째 m개의 고유치를 취하여 저차원 특징 공간(low-dimensional feature space)에서의 좌표를 제공하는 것이다. 그러한 주요한 고유치들(dominant eigenvalues)로는 상기 정준 형태를 완전히 기술하지는 못하지만, 유사한 얼굴들은 당연히 유사한 고유치들을 가질 것이다(따라서 특징 공간(feature space)에 있어서 클러스터들을 형성할 것이다). 이후 인용되는 실험들은 상술된 비교법이 충분히 정확하면서 낮은 연산 복잡도를 갖는다는 것을 보이고 있다. 본 실시예들에서는, 첫 번째 3개의 고유치를 취하여 3차원 특징 공간에 그린다.

삼각분할 다양체에 대한 고속 진행(Fast Marching on Triangulated Manifolds)

본 실시예들에 따른 안면 인식은 부샘플링을 위해 또한 부샘플링된 점들로부터 거리 행렬을 생성하기 위해 얼굴 표면 위의 점들 사이의 측지 거리를 이용한다. 초기에는, 얼굴 표면을 나타내는 삼각분할 다양체 위의 점 쌍들 사이의 거리를 계산하고, 그 후 이것으로부터 측지 거리를 구하기 위해 효율적인 수치적 방법이 필요하게 된다.

고속 진행법(The Fast Marching Method: FMM)이라고 불리는 방법이 J. A. Sethian의 "A fast marching level set method for monotonically advancing fronts"(Proc. Nat. Acad. Sci., 93, 4, 1996)에서 개시되었으며, 그 내용을 본원과 함께 참고자료로서 제출한다. 그 후 고속 진행법은 삼각분할 영역(triangulated domains (FMM-TD))으로 연장되었으며, 이것은 R. Kimmel과 J. A. Sethian의 "Computing geodesic paths on manifolds"에서 개시되었고, 그 내용도 본원과 함께 참고자료로서 제출한다. FMM-TD는 측지 거리의 1차 근사를 연산하기 위한 효율적인 수치적 방법이다.

도 7에 나타낸 것과 같은 다양체 위에 한 세트의 소스 점(source points){s_i}들이 주어졌을 경우, 이들 점에서 그 다양체 위의 다른 점들까지의 거리 지도 T(x,y)를 다음과 같이 아이코날(Eikonal) 방정식의 해로서 구한다.

[수학식 9]

FMM-TD는 O(NlogN) 복잡도를 갖는 거리 지도의 연산을 가능하게 하며, 이때 N은 다양체 위의 점들의 개수이다.

얼굴의 기하학 형상을 조도차 스테레오로부터 구하면, 다음과 같이 추가적인 효율성을 얻을 수 있게 된다. 상기한 수학식 8로부터 그 표면 자체를 연산할 필요는 실질적으로 없다. 기울기 을 구하여 그 값을 FMM에 의해 사용되는 메트릭을 구성하는데 이용하는 것으로도 충분하다.

다차원 스케일링(Multidimensional Scaling)

다차원 스케일링(MDS)은 한세트의 대상체들 중 측정된 유사점들 또는 비유사점들을 저차원 유클리드 공간에 있어서의 근접값들의 패턴(pattern of proximities)의 표현에 매핑시키는 방법이며, 이에 대한 것은 G. Zigelman, R. Kimmel, 및 N. Kiryati의 "Texture mapping using surface flattening via multi-dimensional scaling"(Accepted to IEEE Trans. on Visualization and Computer Graphics, 2001)와 R. Grossmann, N. Kiryati, 및 R. Kimmel의 "Computational surface flattening: A voxel-based approach"(Accepted to IEEE Trans. on PAMI, 2001)를 참고할 수 있으며, 그 내용을 본원과 함께 참고자료로서 제출한다.

일련의 n개의 대상체와, 그 상호 유사점들 및 원하는 차원수 m이 주어진 경우, MDS에서는, m-차원 공간에서의 (벡터가 각각 하나의 대상체에 대응하는) 벡터들로 이루어진 집합으로서, 그것들 중 유클리드 거리들로 이루어진 행렬이 소정의 판단기준 함수(criterion function)에 따라 입력 행렬 D의 함수에 가능한 한 가까이 대응하게 되는 m-차원 공간의 벡터 집합을 구한다.

본 실시예들에서는, FMM-TD 방법을 이용하여 얼굴 표면 위의 점들 사이의 측지 거리를 측정함으로써 근접 값들을 구하게 된다. 그 내용이 본원 명세서와 함께 제출되는 A. Elad와 R. Kimmel의 "Bending invariant representations for surfaces"(Proc. of CVPR'01 Hawaii, December 2001)에서는, 다양체 위의 측지 거리들에 MDS를 적용하면 굴곡-불변 정준 형태가 생성된다는 것을 보이고 있다.

MDS 문제를 풀기 위한 여러 가지 서로 다른 알고리즘이 있는데, 그 알고리즘 각각에서는 연산 복잡도와 알고리즘 정확도 사이의 균형점을 취하고 있다. 본 실시예들에서는 Young 등에 의해 도입된 고전적인 스케일링 알고리즘을 이용하지만, 당업자는 다른 방법도 적용할 수 있다는 것을 알 것이다.

고전적 스케일링 방법에서는 점들 사이의 상호 거리 가 주어진 상태에서 k-차원 유클리드 공간에서의 n개의 점들의 좌표 x_i를 구한다. 점 i와 j 사이의 유클리드 거리는 다음과 같이 표현된다.

[수학식 10]

수학식 10과 같은 요소들을 갖는 평방 거리(squared-distance) 행렬 D가 주어진 경우, 다음과 같이 그 내적 행렬을 구성할 수 있다.

[수학식 11]

이때, 이고, 이다. B는 최대로 k개의 양의 고유치를 갖는 양의 반한정 행렬(positive semi-definite matrix)이며, 다음과 같이 표현될 수 있다.

[수학식 12]

따라서, B의 평방근 행렬을 계산함으로써 다음과 같이 좌표 행렬(coordinate matrix)이 구해지게 된다.

[수학식 13]

통계적 관점에서 볼 때, 상술한 방식은 기저 벡터(basis vectors)에 사영된 n개의 주어진 벡터의 분산(variance)을 최대화하는 직교 기저(orthogonal basis)를 구하는 주성분 분석(principal component analysis: PCA)과 동등하다는 사실에 주목하자.

실험적 관찰에 의하면, 부드러운 표면 위에서 측정된 측지 거리들에 포함된 기하학적 구조의 대부분을 표현하는데 있어 일반적으로 3차원으로 충분하다는 것을 보여주고 있다.

이하 도 11을 참고로 설명하며, 이 도면은 본 발명의 실시예의 처리 과정을 보이는 간략 순서도로서 상술한 여러 가지 과정들과 기능들이 어떻게 함께 동작하는지를 보여주고 있다. 제1 단계(S1)에서는, 매칭하고자 하는 대상으로부터 3차원 데이터가 수집된다. 이 수집처리에서는, 상술한 스캐닝 방법 중 어떠한 것도 이용할 수 있으며 또한 소정 몸체(body)의 3차원 위상 정보를 수집하는데 적적한 다른 어떠한 방법도 이용할 수 있다. 선택적인 단계(S2)에서는, 알베도 또는 반사능 정보가 모아진다. 알베도 정보를 포함할 수 있는 가능성들 중 하나로는, 2차원 얼굴 다양체를 4차원 또는 6차원 공간에 이입(embedding)시키고 결합 메트릭(combined metric)을 이용하여 그 다양체 위의 거리들을 측정함으로써 가능하며, 따라서 4차원 이입에서의 4번째 좌표와 6차원 이입에서의 4번째에서 6번째까지의 좌표는 계조(gray level) 또는 아베도 정보의 RGB 채널을 각각 표현하게 된다.

상기 수집된 데이터는 단계(S3)에서 도 6에 나타낸 것과 같은 삼각분할 다양체 위의 일련의 점들로서 제시된다. 이 다양체는 3차원 데이터로부터 직접 구성될 수도 있으며, 또는 사용된 데이터 수집 방법에 따라 보조적인 계산을 필요로 할 수도 있다.

단계(S4)는 전처리 단계이다. 이 전처리 단계에서는 얼굴 기하학 형상의 영역으로서 자주 변화하는 영역인 연질 영역을 제거하고, 변화하지 않는 영역인 경질 영역을 유지시킨다. 이러한 전처리 과정에는 화상의 크로핑하는 등의 동작이 포함될 수 있다. 상기 전처리 과정은 얼굴 위의 기준 점의 위치를 결정하고, 일반적인 얼굴 형태를 이용하여 무시되어야할 연질 영역의 위치를 결정하는 것을 포함하는 것이 바람직하다.

단계(S5)는 부샘플링 단계이다. 기하학적 정보를 유지시키는데 있어 가장 필수적인 점들만을 선택함으로서 전처리된 다양체를 감소시킬 수 있다. 상술한 바와 같이 보로노이 샘플링 등의 효과적인 기술을 사용할 수도 있다. 단계(S5)는 도 12에 더욱 구체적으로 나타내었고, 여기에서 단계(S5.1)는 전처리된 다양체의 입력을 포함한다. 선택 단계(S5.2)에서는, 정확도와 연산 복잡도 사이의 균형점을 취하는데 있어서 부샘플링을 위한 소정 개수의 점들을 사용자가 설정할 수 있도록 한다. 마지막으로, 단계(S5.3)에는 최대 위상 정보(topological information)를 갖는 최소 개수의 점들을 찾는 보로노이 샘플링 과정이 포함된다. 상술한 바와 같이, 초기 점이 취해지며, 그 후 그 초기 점으로부터 가장 먼 점이 추가되며 이 추가과정은 상기 소정 개수의 점들에 이를 때까지 계속된다. 가장 먼 점들을 결정하기 위해 측지 거리들을 이용하며, 측지 거리를 구하기 위해 FMM-TD를 이용할 수 있다.

단계(S6)에서는, 각 부샘플링된 버텍스와 각각의 다른 점과의 사이의 측지 거리들로 거리 행렬을 계산한다. 상술한 바와 같이 측지 거리들을 계산하는 효과적인 방법으로서 FMM-TD를 이용하는 것이 바람직하다.

단계(S7)에서, 상기 거리 행렬에서 비유사점을 측정하기 위해 MDS를 이용하고, 이에 따라 저차원 유클리드 표현으로 상기 측지 거리를 표현하게 된다. 마지막으로, 단계(S8)에서, 저차원 유클리드 표현으로 표현된 얼굴을 다른 얼굴들과 여러 가지 거리 계산 기술을 이용하여 비교할 수 있다. 상술한 바와 같이, 바람직한 방법에 의하면 상기 MDS 과정에서 얻어진 첫 번째 m개의 고유치들을 이용하여 저차원 특징공간에서 좌표를 제공한다. 본 실시예들에 의하면, 첫 번째 3개의 고유치를 취하여 3차원 특징 공간에 그린다. 이러한 주요한 고유치들로는 상기 정준 형태를 완전히 기술하지는 못하지만, 유사한 얼굴들은 특징 공간에서 인식가능한 클러스터들을 형성하여 매칭을 가능하게 할 것이다.

실험 결과

상기 방식을 평가하고 본 실시예들의 유효성을 확인하기 위해 4가지 실험을 수행하였다. 다음과 같은 3가지 데이터베이스를 사용하였다.

I. 도 13에 나타낸 상술한 종류의 단순 3차원 스캐너에 의해 얻어진 3차원 얼굴 표면들에 대한 데이터베이스 (http://www.cs.technion.ac.il/~zgil, courtesy of Gil Zigelman 참고). 이 데이터베이스는 하나의 인공 얼굴(피사체 b)과 5가지 사람의 얼굴을 포함하는 a부터 f까지의 6개의 피사체로 이루어진다.

II. 예일 얼굴 데이터베이스 B(The Yale Face Database B)(http://cvc.yale.edu/projects/yalefacesB/yalefacesB.html 참고). 이 데이터베이스는 조절된 조명 조건 하에서 얻어진 백인과 아시아인의 10개의 피사체의 고해상도 계조 화상으로 이루어져 있다. 각 피사체는 (머리를 약간씩 회전시켜) 여러 모습으로 그려졌다. 조도차 스테레오를 이용하여 3차원 표면의 재구성을 수행하였다.

III. 3차원 스캐너를 이용하여 얻어진, 서로 다른 얼굴 표정을 가진 피실험자들의 고해상도 얼굴 표면과 얼굴 텍스쳐에 대한 데이터베이스.

인공 얼굴 표정을 이용하여 스캐닝한 표면

첫 번째 실험이 데이터베이스 I(도 13)에 대해서 수행되었고 인공 얼굴 표정에 대한 알고리즘 민감도를 시험할 목적으로 수행되었다.

이하, 도 14를 참조하여 설명하며, 이 도면은 얼굴 표정을 모사(simulate)하기 위해 도 13에 나타낸 얼굴들 중 하나를 어떻게 변형하였는지에 대해서 보여주고 있다. 얼굴 a는 도 13의 변형된 얼굴 d이며, 얼굴 b와 c는 그것에 적용된 서로 다른 변형에 해당한다. 얼굴 b에서는, 피사체 얼굴 d의 뺨과 턱이 변형되어, 동일한 피사체 얼굴에 대한 서로 다른 얼굴 표정을 모사하고 있다. 얼굴 c에서는, 하나의 특징인 코가 다른 얼굴의 코로 대체되었다. 이 후자의 변형은 주요 특징의 변화에 대한 알고리즘 민감도를 시험하기 위해 적용하였다. 여기에서 강조해야할 점은 이들 변형이 등척성이 아니었다는 점이다.

그 표면들은 60x95로 크기변경(scaling)을 하였고 보로노이 샘플링을 이용하여 400개의 점들로 다운 샘플링을 하였다. 그 후, 각 점으로부터 얻어진 측지 거리를 FMM-TD를 이용하여 계산하였으며, 그 거리 행렬에 대해 다차원 스케일링을 적용하였다.

이하, 매칭을 위한 3차원 특징 공간을 나타낸 그래프인 도 15를 참고로 설명하기로 한다. 더욱 구체적으로, 도 15의 그래프는 MDS에 의해 얻어진 첫 번째 3개의 고유치가 그려져 있는 특징-공간 표현을 묘사한 것이다. 그 특징 공간에서 각 점은 도 13과 도 14의 얼굴들 중 하나에 대응하며, 즉, A(점), B(원), C(x표시), D(5각형 별모양), E(삼각형), 및 F(6각형 별모양)이다. 얼굴의 변형은 순전한 등척성은 아니지만 클러스터를 형성하는 가까이 위치해 있는 점들을 생성한다는 점을 알 수 있다. 한편, 특징을 대체하여 얻어진 얼굴들은 피사체(D)의 원래 얼굴과는 많이 벗어나 있다.

조도차 스테레오(Photometric stereo)

두 번째 실험은 데이터베이스 II에 대해서 수행되었다. 이 실험은 3차원 표면 획득을 위해 조도차 스테레오를 이용하는 것이 실현 가능한 것인지와 머리의 회전에 대한 알고리즘의 민감도를 결정하기 위해 수행되었다.

조도차 스테레오로부터 신뢰할 수 있는 표면을 재구성하기 위해서는 많은 수의 서로 다른 조사 방향이 필요한 것으로 판단된다. 그 주된 이유는 실제로 램버시안 모델로부터의 편차가 있다는 것(이마와, 머리카락과 눈에서 특히 두드러짐)과 화상을 획득하는 도중에 약간의 피사체 이동(예를 들어, 눈을 깜박거림)이 있기 때문이다. 이하, 도 16을 참조하여 설명하기로 하며, 이 도면은 동일한 얼굴의 9가지 서로 다른 조명과 그 9가지 화상 모두로부터 표면을 재구성하는 것에 의해 형성된 최소자승 표면 재구성을 나타낸 것이다. 개수 9는 효율적인 개수라고 실험적으로 발견한 개수이다. 화상의 개수가 작으면 정밀도가 낮은 표면이 생성되고 따라서 인식 정확도가 낮아지게 된다.

이하 도 17을 참조하여 설명하기로 하며, 이 도면은 10개의 일련의 얼굴 표면 a~j를 나타낸 것으로, 10개의 얼굴 표면 각각은 각 얼굴의 9가지 화상으로부터 조도차 스테레오에 의해 재구성한 것이다. 조도차 스테레오에 의해 3차원 기하학 형상을 재구성할 경우에 노이즈가 상대적으로 커지는 것은 불가피한 것처럼 보인다.

이하 도 18을 참고로 설명하기로 하며, 이 도면은 도 17의 몇 가지 자세에서 촬영한 피사체 G를 나타낸 것이다. 몇몇 피사체에 대해서, 약간의 머리 회전에 대한 인식의 민감도를 시험하기 위해 몇몇 피사체에 대해서 몇 가지 자세를 촬영하였다. 상기 알고리즘은 굴곡에 대해 불변이기 때문에, 회전(등척성 변환(isometric transformation))의 영향은 무시할 만큼 적어야 하며, 모든 가능한 편차(deviations)는 주로 부정확한 표면 재구성으로 인한 것으로 보인다는 것을 발견하였다.

이 실험에서, 눈과 입술의 위치에 따라 얼굴들의 중심맞추기(centering)를 수작업으로 하였으며 얼굴 윤곽을 경계로 하는 영역에서 처리를 수행하였다. 그 표면들은 56x80로 크기변경(scaling)을 하였고 보로노이 샘플링을 이용하여 400개의 점들로 샘플링을 하였다. 그 후, 각 점으로부터의 거리를 고속 진행법을 이용하여 계산하였고, 그 거리 행렬에 대해 다차원 스케일링을 적용하였다.

이하, 도 19를 참조하여 설명하기로 하며, 이 도면은 도 17에 나타낸 얼굴들의 특이값 분해(singular value)에 의해 얻어진 첫 번째 3개의 고유치를 이용하여 특징-공간 표현을 묘사한 간략 그래프이며, 이때 도 17의 얼굴들 중 몇 개는 도 18에 예시한 것처럼 몇 가지 자세를 취하였다. A(점), B(원), C(x모양), D(+모양), E(별모양), F(5각형 별모양), G(6각형 별모양), H(다이아몬드모양), I(사각형) 및 J(삼각형). 피사체(A, B, E, G)의 서로 다른 자세들은 클러스터를 형성하게 된다. 다르게 취한 자세들은 상대적으로 좁은 클러스터를 형성한다는 점을 이 두 번째 실험의 결과로부터 알 수 있다.

표면 매칭

세 번째 실험은 데이터베이스 I에 대해서 수행하였으며, 상기 기하학적 방식을 단순 표면 비교 방식과 비교할 목적으로 수행하였다.

이 실험은 표면 유사성을 위해 단순 L₂-놈 기반 측정(simple L₂-norm-based measure)을 이용한다. 이하 도 20을 참조로 설명하며, 이 도면은 2개의 표면 쌍(90,92)을 나타내고 있다. 각 표면은 2개의 안구 중심과 입의 중심에 의해 정의되는 평면(94,94')을 가지고 있다. 표면쌍(90)의 표면들은 정렬되지 않았고 표면쌍(92)의 표면들은 정렬된 후에 표면쌍(90)의 표면과 동일하게 된다. 이 실험에서는, 표면들을 2개의 서로 다른 방식으로 정렬하였다.

(a) 도 20에 나타낸 바와 같이 그 2개의 표면에서 입의 중심과 2개의 안구 중심에 의해 형성된 평면(94,94')가 일치하도록 정렬하였다.

(b) 상기 2개의 표면 위의 점들 사이의 유클리드 거리의 합을 최소화하도록 다음의 수학식 14와 같은 유클리드 변환을 구하여 정렬하였다. 즉, 표면의 비유사성(이 경우, 2개의 정렬된 표면 사이의 갭의 근사 부피)을 최소화하는 회전을 선택하였다. 수치적 기울기 연산을 이용하여 기울기 하강 알고리즘에 의해 최적의 정렬을 구하였다.

[수학식 14]

이 수식에서 R은 회전 행렬이며, b는 병진벡터이다.

최적의 정렬을 구하면, 상기 2개의 표면 사이의 갭의 부피를 적분하여 표면의 근접도를 계산한다. 이러한 방식은 전체적 표면 매칭 개념을 따르는 것으로, 이거에 대해서는 C. Beumier와 M. P. Acheroy의 "Automatic Face Authentication from 3D Surface (3차원 표면으로부터 자동 안면 인증)"(British Machine vision Conference BMVC 98, University of Southampton UK, 14-17 Sep, 1998, pp 449-458, 1998)을 참고할 수 있으며, 그 내용을 본원 명세서와 함께 참고자료로서 제출한다.

시각화할 목적으로 또한 그 피사체들을 3차원 공간의 점들로서 표시하기 위해, 다음과 같은 수식에 따라 표면들 사이의 거리들로 행렬 D를 형성한다.

[수학식 15]

이 수식에서, 는 i번째 표면을 형성하는 N개의 점들을 나타내며 MDS를 행렬 D에 적용한다. 3차원 유클리드 공간에서 근접도 패턴의 표현을 얻기 위해 첫 번째 3개의 주요한 고유치들을 취하였다.

이하 도 21과 도 22를 참조로 하여 설명하기로 하며, 이 도면은 이 3번째 실험의 결과를 요약하여 나타내는 2개의 그래프이다. 정렬 이후의 다양체의 단순 비교방식은 얼굴 표정에 대해서 민감하여, 한편으로 동일한 피사체의 서로 다른 표정을 구별하는데 실패하게 되고 다른 한편으로는 서로 다른 피사체를 구별하는데 실패하게 된다는 점은 명백한 것이다.

좀더 구체적으로, 도 21과 도 22는 기하학적 거리와는 달리 표면들 사이의 L₂ 거리에 의해서는 최적의 표면 정렬을 이용하여도 얼굴들을 서로 구별하지 못한다는 것을 보여주고 있다. 동일한 피사체의 서로 다른 표정들과 머리 배치들은 인식가능한 클러스터들을 형성하지 않는다. 그 이유는 단순 비교 방식은 얼굴 표면의 기하학 형상을 고려하지 않기 때문이다.

도 21은 도 17의 일련의 얼굴들에 대한 3개의 점에 따른 정렬을 위한 L₂-기반 알고리즘의 결과를 나타낸 것이며 이때 그 얼굴들 중 몇 개는 서로 다른 표정을 보여주고 있으며, A(점), B(원), C(x모양), D(+모양), E(별모양), F(5각형 별모양), G(6각형 별모양), H(다이아몬드모양), I(사각형) 및 J(삼각형)이다. 클러스터가 인식가능하지 않다.

도 22는 동일한 세트의 얼굴들에 대해서 최적의 정렬을 갖는 L₂-기반 알고리즘을 이용한 것으로, A(점), B(원), C(x모양), D(+모양), E(별모양), F(5각형 별모양), G(6각형 별모양), H(다이아몬드모양), I(사각형) 및 J(삼각형)이다. 이 경우도, 구별되는 클러스터는 보이지 않는다.

실제 표정을 지는 인간 피사체(Human subjects with real expressions)

4번째 실험은 데이터베이스 III를 이용하여 수행하였다. 이 실험의 주요 목적은 현장조건 하에서 실제 얼굴 표정을 지닌 피사체에 대해서 상기 알고리즘을 시험하기 위한 것이다. 도 23에는 데이터베이스 III으로부터의 3개의 피사체를 보이고 있으며 도 23에는 3가지 서로 다른 표정을 지닌 하나의 피사체를 보이고 있다.

이하 도 25 내지 도 28을 참고로 설명하며, 이 도면은 연관된 특징들만을 추출하기 위해 얼굴에 수행하는 전처리를 나타낸 것이다. 연관된 특징만을 추출하기 위해 상기 얼굴들을 처리하였다. 텍스쳐와 깊이 지도들 양쪽 모두에 대해서 측지 마스크(geodesic mask)를 적용하였다. 코 끝 주위에서의 (측지적 의미에서) 반경이 일정한 볼을 계산함으로써 상기 마스크를 구하였다. 이 실험에서, 코의 위치를 수작업으로 발견하였다. 도 25와 도 26은 텍스쳐 지도이고, 도 27과 도 28은 깊이 지도이다. 도 25와 도 27은 상기 마스크를 적용하기 전에 텍스쳐와 깊이 지도를 각각 나타내고 있고 도 26과 도 28은 상기 마스크를 적용한 후에 텍스쳐와 깊이 지도를 각각 나타낸 것이다.

이하 도 29, 도 30 및 도 31을 참조하여 설명하기로 하며, 이들 도면은 본 실시예들에 따른 메시(mesh) 처리 단계들을 각각 나타내고 있다. 도 29는 고해상도 삼각분할 다양체를 나타낸 것이고, 도 30은 그 다양체를 다운샘플한 형태를 나타낸 것이며, 도 31은 그 표면을 정준형태로 나타낸 것이다.

최소 평균 자승 거리 측정(minimal mean squared distance measure)은 원래의 다양체에 적용된 것 보다 정준적 표면에 적용된 것이 좀더 우수한 결과를 가져왔다. 현재, 그러한 최소 평균 자승 거리 측정은 계산적으로 고비용이 드는 것으로 보인다. 계산하기에 더욱 간단한 중심 모멘트에 기반한 정준 형태 비교 방식은 최소 자승 거리보다 약간 부정확한 결과를 가져왔지만, 얼굴 유사성에 대해서는 우수한 측정결과를 제공하였다.

정준 형태들을 생성하기 위해 고전적인 스케일링 알고리즘을 사용하였다. 본 발명자는 최소 자승 MDS 알고리즘을 사용할 때 고전적인 스케일링 알고리즘에 비해 상당히 향상된 결과를 관찰하지 못하였다. 250~500개의 부샘플은 연산 복잡도를 비교적 낮게 유지하면서 충분한 정확도를 부여한다는 것을 알아내었다.

부풀린 뺨 혹은 열린 입 등의 얼굴 표면의 심한 비등척성 변형을 고려할 때 본 실시예들은 나쁜 결과를 가져올 것이다. 상기 전처리 단계에 있어서 경질 영역으로서 실질적으로 유연성이 없는 특징들을 포함하는 얼굴의 상단부에 관심영역을 국한시킴으로써, 상술한 조건하에서 상당히 우수한 결과들을 가져오게 된다.

메트릭 텐서를 이용한 측지 거리 계산(Geodesic Distance Calculations Using a Metric Tensor)

상술한 실시예에서는 기하학적으로 불변인 표지들(geometric invariant signatures)에 기초한 3차원 안면 인식 방법에 대해서 기술하고 있다. 상기 실시예의 주 아이디어는 얼굴 표정으로 인한 변형 등의 등척성 변형에 대해서 불변인 얼굴표면의 표현을 하는 것에 있다. 기하학적 불변값들을 구성하기 위한 단계들 중 하나는 삼각분할된 표면들 위에서 측지 거리를 측정하는 것이며, 후술하는 바와 같이 이 측정은 삼각 영역에 대한 고속진행법(fast marching on triangulated domains: FMTD)에 의해 수행된다. 아래에 기술하는 실시예에서는 측지 거리 계산을 위해 표면의 메트릭 텐서만을 이용한다. 얼굴 표면 획득을 위한 조도차 스테레오와 결합될 경우 이 실시예는 3차원 표면을 재구성하지 않으면서도 얼굴의 굴곡 불변 표현을 구성할 수 있게 된다.

본 실시예는, 상술한 삼각분할 영역에 대한 고속 진행(FMTD)의 변수가 제공된다. 이전 문단에서 언급한 바와 같이, 이 변수는 표면의 메트릭 텐서만 주어진 상태에서 측지 거리들을 계산할 수 있으며 얼굴 표면의 실질적 3차원 재구성을 필요로 하지 않음으로써 상기 방법을 더욱 단순하게 하고 오류가 잘 발생되지 않게 한다. 본 실시예는 얼굴 표면 획득을 위해 조도차 스테레오 방법과 결합되는 것이 바람직하다. 조도차 스테레오는 저가이며 단순한 방식이고, 표면을 재구성하지 않으면서도 메트릭 텐서를 생성할 수 있다. 결과적으로 단순하고 고속인 안면 인식 방법을 얻게 된다.

표면 획득(Surface Acquisition)

본 실시예의 안면 인식 알고리즘에서는 얼굴을 3차원 표면으로서 취급한다. 따라서, 우선, 인식하려고 하는 피사체의 얼굴 표면을 획득해야 한다. 본 실시예에서는 표면의 기울기(gradient)를 재생하는 방법에 중점을 두고 있다. 이하 밝히는 바와 같이, 실제적 표면 재구성은 필요하지 않아서 연산 부담을 덜 수 있고 수치적 오류를 감소시킬 수 있다.

A. 조도차 스테레오(Photometric stereo)

이하 도 32를 참조하여 설명하기로 하며, 이 도면은 얼굴(100)과, 관찰 위치(102)와, 광원(104)을 나타내고 있다. 조도차 스테레오 기술은 서로 다른 조명 조건 하에서 동일한 피사체의 몇 개의 사진을 획득하는 것과, 램버시안 반사모델을 가정하여 3차원 기하학 형상을 추출하는 것으로 이루어져 있다. 함수로서 표현되는 얼굴표면은 z축을 따라 주어진 관찰위치(102)에서 본 것으로 가정하기로 한다. 그 시험 대상은 광원(104)에서 을 따라 향하고 있는 병렬 광선들의 광원에 의해 조사된다.

이하, 수학식의 번호를 1부터 다시 시작하기로 한다.

램버시안 반사 모델을 가정하기로 한다. 즉, 관찰된 화상은 다음과 같이 주어진다.

이때, 은 대상체의 알베도(albedo) 또는 반사능(reflective power)이며, 는 대상체 표면의 법선 벡터이며, 다음과 같이 표현된다.

행렬-벡터 표기법을 이용하여 수학식 (1)을 다음과 같이 재작성할 수 있다.

이때, L과 I(x,y)는 각각 다음과 같다.

이때, 다음과 같다.

적어도 3개의 선형적으로 독립된 조명과 대응하는 관측 과 이 주어진 경우, 포인트방식 최소 자승 해(pointwise least-squares solution)에 의해 의 값들을 재구성할 수 있으며, 이때 은 무어-펜로즈 의사역행렬(Moore-Penrose psedoinverse)을 나타낸다. 필요에 따라, 그 표면을 에 대해서 다음과 같이 포아송 방정식의 해 ()를 구하여 재구성할 수 있다. 본 실시예에서는, 그 단순성 때문에 조도차 스테레오 방식을 채택하였으나, 본 발명은 결코 그러한 방식에 한정되지 않는다는 것을 알 수 있을 것이다.

B. 구조광(Structured light)

그 내용을 본원 명세서와 참고자료로서 함께 제출하는 M. Proesmans, L. Van Gool 및 A. Oosterlinck의 "One-Shot Active Shape Acquisition"(Proc. Internat. Conf. Pattern Recognition, Vienna, Vol. C, pp. 336-340, 1996)와; S. Winkelbach 및 F. M. Wahl의 "Shape from 2D edge Gradients"(Pattern Recognition, Lecture Notes in Computer Sciences 2191, pp. 377-384, Springer, 2001)에서는, 대상체에 사영된 2개의 띠 모양 패턴(stripe patterns)으로부터 표면의 법선들(기울기들(gradients))의 재구성을 가능하게 하는 2차원 에지 기울기 재구성(2D edge gradients reconstruction technique) 기술에 의한 형태(shape)를 제안하고 있다. 이 재구성 기술은 촬영된 2차원 영상에 있어서 사영된 띠들의 방향은 3차원에서 표면의 국소적 방위(local orientation)에 의존한다는 사실을 바탕으로 하고 있다. Sobel 및 Canny 등의 고전적 에지 검출 연산자(operator)를 띠 에지(stripe edges)의 방향을 발견하는데 이용할 수 있다.

이하 도 33을 참조하여 설명하기로 하며, 이 도면은 표면 기울기와 국소적 띠의 방향 사이의 관계를 나타내는 간략도이다. 화상 평면 상의 화소는 관찰 벡터(s)를 정의한다. 이 띠 방향은 띠 방향 벡터()를 결정하며, 이것은 화상 평면과 관찰 평면 안에 있게 된다. 사영된 띠()의 실제 접선 벡터는 관찰 평면의 법선 벡터()에 수직하며 띠 사영 평면(stripe projection plane)의 법선벡터(p)에 대해서 수직이다. 병렬 사영을 가정하면 다음과 같은 수식을 얻을 수 있다.

그 첫 번째 화상에 대해서 회전한 두 번째 띠 조사로 그 장면의 2번째 화상을 얻으면 2번째 접선 벡터()를 계산할 수 있게 된다. 다음으로, 다음 수식에 따라 그 평면의 법선을 계산한다.

그 내용을 본원 명세서와 함께 참고자료로서 제출하는 S. Winkelbach와 F. M. Wahl의 "Shape from Single Stripe Pattern Illumination"(L. Van Gool (Ed): Pattern Recognition (DAGM 2002), Lecture Notes in Computer Science 2449, pp. 240-247, Springer, 2002)에서는, 단일 조명 패턴을 이용하여 사영된 띠들의 국소 방향들과 폭들로부터 그 법선벡터를 추정하고 있다.

굴곡-불변 표현(Bending-invariant Representation)

몇 가지 형태 유사성 판단기준을 최소화하기 위해 2 표면의 유클리드 변환을 구하는 것을 바탕으로 하는 고전적 표면 매칭 방법은 강체에 주로 적합하다. 이러한 방법의 사용에 대해서는, O. D. Faugeras와 M. Hebert의 "A 3D recognition and positioning algorithm using geometrical matching between primitive surfaces"(Proc. 7th Int'l Joint Conf. on Artificial Intelligence, pp. 996-1002, 1983)와, P.J. Besl의 "The free form matching problem"(Machine vision for threedimensional scene, Freeman, H. (ed.) New York Academic, 1990)와, G. Barequet와 M. Sharir의 "Recovering the position and orientation of free-form objects from image contours using 3D distance map"(IEEE Trans. PAMI, 19(9), pp. 929-948, 1997)에 상세히 기술되어 있다. 이들 3개의 문헌의 내용은 본원 명세서와 함께 참고자료로서 제출한다.

본 발명에서 명백히 알 수 있듯이, 인간의 얼굴은 표정으로 인한 변형을 겪기 때문에 결코 강체로서 간주될 수 없다. 한편, 얼굴 표면이 겪을 수 있는 변환 군(class of transformations)은 무작위적이지는 않으며, 실험적 관찰에 의하면 얼굴 표정은 등척성 변환으로서 모델화할 수 있음을 보이고 있다. 그러한 변환은 표현을 신장하거나 찢는 것은 아니다. 좀더 엄밀하게, 인간의 얼굴이 겪게 되는 변환들은 표면 메트릭을 보존하는 것이라고 말할 수 있다. 그러한 변환에 의해 얻어진 표면들을 등척성 표면(isometric surface)라고 부른다. 변형가능한 표면의 매칭 알고리즘이 필요로 하는 것은 모든 등척성 표면에 대해서 동일한 표현을 구하는 것이다.

본원 명세서와 참고자료로서 함께 제출하는 E. L. Schwartz, A. Shaw 및 E. Wolfson의 "A numerical solution to the generalized mapmaker's problem: flattening non-convex polyhedral surfaces"(IEEE Trans. PAMI, 11, pp. 1005-1008, 1989)에서는, 평면 모델에 의한 굴곡이 있는 표면을 연구하기 위한 도구로서 다차원 스케일링(MDS)을 이용하는 것을 처음으로 도입하였다. G. Zigelman, R. Kimmel 및 N. Kiryati의 "Texture mapping using surface flattening via multi-dimensional scaling, IEEE Trans. Visualization and comp. Graphics, 8, pp. 198-207, 2002와, R. Grossman, N. Kiryati 및 R. Kimmel의 "Computational surface flattening: a voxel-based approach"(IEEE Trans. PAMI, 24, pp. 433-441, 2002)에서는, 텍스쳐 매핑과 복셀 기반의 피층 평탄화(voxel-based cortex flattening)의 문제까지 그러한 개념을 연장하였다. 이들 2개의 인용문헌의 내용도 본원 명세서와 함께 참고자료로서 제출한다.

그 내용을 본원 명세서와 함께 참고자료로서 제출하는 A. Elad 및 R. Kimmel의 "Bending invariant representations for surfaces"(Proc. CVPR, pp. 168-174, 2001)에서는, 이러한 방식의 일반화를 대상체 인식을 위한 기본구조(framework)로서 소개하였다. 이 문헌에서는 등척성 변환 하에서 불변인 표면에 대한 표현을 구성하기 위한 효율적인 알고리즘을 보여주고 있다. 이 방법은 이 문헌에 굴곡-불변 정준 형태로서 기술되어 있으며 본 실시예에서는 편리한 표현 방법으로서 이용되고 있다.

얼굴 표면의 다면체 근사(polyhedral approximation)가 주어진 경우, 이러한 근사가 유한한 점들의 집합 p_i(i=1,...,n) 상에서 그 기초적인 연속적 표면(underlying continuous surface)을 샘플링하고 다음과 같이 그 표면과 관련된 메트릭 δ을 이산화(discretizing)하여 구해진 것으로 생각할 수 있다.

δ_ij의 값들을 행렬형태로 작성하면, 표면의 점들 사이의 상호 거리들의 행렬을 얻을 수 있다. 편의상, 상호 거리의 자승을 다음과 같이 정의하기로 한다.

행렬 Δ는 등척성 표면 변형 하에서 불변이지만, 표면 점들의 선택과 무작위 순서를 정하는 것에 의존하기 때문에 등척성 표면의 유일한 표현은 아니다. 한편으로는 등척성 표면에 대해서 유일하게 될 기하학적인 불변량(geometric invariant)을 구하고자 하며, 다른 한편으로는 그러한 불변량들을 서로 비교하기 위해 단순의 강체 표면 매칭 알고리즘을 사용하는 것을 가능하게 하는 기하학적인 불변량을 구하고자 하는 것이다. 상기 상호 거리들의 자승을 비유사치(dissimilarities)의 특별한 경우로서 취급함으로써, 그 표면을 저차원 유클리드 공간(R _m)에 이입시키기 위해 이전의 실시예들과 관련해서 언급한 다차원 스케일링(MDS)이라 불리는 차원 감소 기술을 적용할 수 있게 된다. 이것은 소정의 단조 함수(monotonous function)에 대해서 아래의 수식 (13)과 같은 이입 오류(embedding error)를 최소화하는 수식 (12)와 같은 2개의 메트릭 공간 사이의 매핑을 발견하는 것과 동등한 것이다.

구해진 m-차원 표현은 표면 점들 p_i에 대응하는 점들의 집합이다.

서로 다른 이입 오류 판단기준을 이용하여 서로 다른 MDS 방법을 도출할 수 있으며, 이에 대해서는 것은 그 내용을 본원 명세서와 참고자료로서 함께 제출하는 I. Borg 및 P. Groenen의 "Modern multidimensional scaling - theory and applications, Springer, 1997"에 참고할 수 있다. 그 특별한 경우로는, G. Young 및 G. S. Householder의 "Discussion of a set of points in terms of their mutual distances"(Psychometrika 3, pp. 19-22, 1938)에서 소개된 고전적 스케일링이 있다. R _m의 이입은 다음과 같은 행렬에 대해 이중 센터링을 하여 수행된다.

이때, 이고, I는 nxn 단위행렬이고, U는 전체가 1로만 되어 있는 행렬이다. B의 m개의 최대 고유치에 대응하는 첫 번째 m개의 고유벡터 e_i는 이입좌표(embedding coordinates)로서 이용된다.

이때, 은 벡터 x_i의 j번째 좌표를 나타낸 것이다. MDS에 의해 구해진 점들의 집합 x_i를 그 표면의 굴곡-불변 정준 형태라고 부르기로 한다. m=3일 때, 그 점들의 집합은 표면으로서 그려질 수 있다. 그 표면들 자체를 이용하기보다는 그들의 굴곡-불변 표현들을 이용하여 2개의 변형가능한 표면을 서로 비교하기 위해 표준 경질 표면 매칭 방법을 이용할 수 있다. 그 정준 형태는 정준 형태들 사이의 비교를 가능하게 하기 위해 병진, 회전 및 반사 변환까지 연산되므로, 그것들을 정렬(align)해야 한다. 이것은 예를 들어 1차 모멘트들과, 전형적으로는 질량중심들과, 혼합된 2차 모멘트들을 0으로 설정함으로써 행해질 수 있으며, 이것에 대해서는 A. Tal, M. Elad 및 S. Ar의 "Content based retrieval of VRML objects-an iterative and interactive approach"(EG Multimedia, 97, pp. 97-108, 2001)에 기술되어 있으며, 그 내용을 본원 명세서와 함께 참고자료로서 제출한다.

측지 거리 측정(Measuring Geodesic Distances)

주어진 표면에 대해서 정준 형태를 구성하는데 있어서 필수적인 단계들 중 하나는 표면들에 대해서 측지 거리(즉, δ_ij)의 연산을 위한 효과적인 알고리즘에 해당한다. Lad 및 Kimmel은 삼각분할 영역에 대한 거리 연산을 위해 수치적으로 일관된(consistent) 알고리즘(이하, "삼각분할 영역에 대한 고속 진행법(fast marching on triangulated domains: FMTD)"라고 칭함)을 사용하였으며, 이 알고리즘에 대해서는 이전의 실시예들과 관련하여 위에서 기술한 바 있다. FMTD는 Kimmel 및 Sethian이 고속 진행법의 일반화로서 제안한 것이다.

FMTD를 이용하여 표면의 하나의 버텍스와 n개의 표면 버텍스 중 그 나머지 사이의 측지 거리를 O(n)번의 동작으로 계산할 수 있다. 다양체 위의 거리들의 측정은 함수들과 암시적 다양체들(implicit multifolds)에 대한 그래프를 위해서 이전에 수행한 바 있으며, 이것에 대해서는 J. Sethian 및 A. Vladimirsky의 "Ordered upwind methods for static Hamilton-Jacobi equations: theory and applications"(Technical Report PAM 792(UCB), Center for Pure and Applied Mathematics, 2001 Submitted for publication to SIAM Journal on Numerical Analysis, July 2001)와 F. M'moli 및 G. Sapiro의 "Fast computation of weighted distance functions and geodesics on implicit hyper-surfaces"(Journal of Computational Physics, 173(2), pp. 730-764, 2001)에 기술되어 있으며, 이 2문헌의 내용을 본원 명세서와 함께 참고자료로서 제출한다.

상술한 인용문헌과 대조해 보면, 본 실시예는 표면 재구성을 만드는 과정을 피하는 것에 중점을 두고 있다. 따라서, 본 실시예는 표면의 기울기() 값들만을 이용하는 FMTD(이것은 표면 위의 측지 거리들을 계산함)의 수정된 형태를 사용하는 것이다. 표면의 기울기 값들은 예를 들어 조도차 스테레오 또는 구조 광으로부터 구할 수 있다.

이하 도 34를 참고로 설명하기로 하며, 이 도면은 비-직교 격자(non-orthogonal grid) X(U)(124)를 형성하기 위해 변환 X를 거쳐서 다양체(122)에 사영되는 직교 격자 U(120)를 나타낸 간략도이다.

얼굴 표면은 매개변수화 평면(parameterization plane) 로부터 수식 (16)과 같은 파라미터 다양체로의 매핑 에 의해 표현되는 파라미터 다양체(parametric manifold)로서 생각할 수 있다.

(16)

이 수식은 다시 다음 수식과 같이 기술될 수 있다.

u_i에 대한 X의 도함수는 으로서 정의되며, 그 도함수는 도시한 바와 같이 다양체 위의 비-직교 좌표계(124)를 구성하게 된다. 상술한 수식(17)의 특별한 경우에 다음과 같이 된다.

상기 다양체 위의 거리 요소는 다음과 같다.

이때, 아인슈타인의 합규약(summation convention)을 이용하고, 다양체의 메트릭 텐서(g_ij)는 다음과 같이 주어진다.

그 내용을 본원 명세서와 함께 제출하는 J. A. Sethian의 "A review of the theory, algorithms, and applications of level set method for propagating surfaces"(Acta numerica, pp. 309-395, 1996)에 기술되어 있는 고전적 고속 진행법에서는 직교 좌표계에서 거리들을 계산한다. 격자점(grid point)을 갱신하기 위한 수치적 스텐슬(numerical stencil)은 직각삼각형의 버텍스들로 이루어진다. 본 경우에서 있어서는, 이며 그 결과 얻어지는 삼각형들은 반드시 직각삼각형이 되는 것은 아니다. 둔각삼각형인 스텐슬에 의해 격자점을 갱신하면, 문제가 발생할 수 있다. 그 스텐슬의 점들 중 하나의 값들이 적절한 시간 내에 설정되지 않아서 사용이 불가능하게 될 수 있다. 둔각 삼각형을 포함하는 삼각분할 영역들에 대한 고속 진행법에 있어서도 이와 유사한 문제가 있다. 이 문제와, 가능한 해결책은 R. Kimmel 및 J. A. Sethian의 "Computing geodesic on manifolds"(Proc. US National Academy of Science 95, pp. 8431-8435, 1998)에서 논의하고 있으며, 그 내용을 본원 명세서와 함께 참고자료로서 제출한다.

본 발명의 해결책은 이 참고자료의 해결책과 유사하다. 본 실시예에서는, 격자에 대해서 전처리 단계를 수행하며, 이 과정에서 도 35에 나타낸 것처럼 모든 둔각 삼각형을 2개의 예각 삼각형으로 분할한다. 도 35는 1과 2로 표시한 2개의 원래의 삼각형을 나타내고 있다. 삼각형(1)은 적절한 수치적 지지(numerical support)를 부여하는 것이며, 삼각형(2)은 둔각삼각형이다. 따라서 삼각형 2는 삼각형(3)과 삼각형(4)에 의해 대체된다. 이 분할은 갱신된 격자점을 이웃하지 않은 격자점과 연결하는 추가적인 경계(edge)를 부가함으로써 수행되는 것이다. 멀리 떨어져 있는 격자점은 수치적 스텐슬의 일부가 된다. 분할하는 것에 대한 필요성은 격자점에서 비-직교 축들 사이의 각에 따라 결정된다. 이것은 다음과 같이 계산된다.

(21)

이면, 그 축들은 직교하며, 분할이 불필요하게 된다. 이면, 각도 는 둔각이 되고 분할해야 한다. (21)의 분모는 항상 양이고, 따라서 분자 g₁₂의 부호만을 체크하면 된다.

각을 분할하기 위해, 갱신된 격자점을 X₁의 방향으로 그 점으로부터 m개의 격자점만큼 떨어진 위치에 있고 X₂의 방향으로 n개의 격자점만큼 떨어진 위치에 있는 다른 점과 연결한다. 여기서 주목할 점은 m과 n은 음이 될 수 있다는 것이다. 새로 연결된 점은 그 둔각이 2개의 예각으로 분할되면 적절한 지지 점(proper supporting point)이 된다. 이러한 경우는 에 대해서 수식(22)와 수식(23)에 나타낸 봐와 같을 때이다.

,

또한, 그 분자들의 부호를 체크하는 것으로 충분하다. 에 대해서, cos β₂는 그 부호가 변화하고 그 제약조건은 다음과 같다.

이러한 과정은 모든 격자점에 대해서 수행된다. 전처리 단계가 일단 수행되면, 각 격자점에 대해서 적절한 수치적 스텐슬을 갖게 되며 그 거리들을 계산할 수 있게 된다.

사용된 수치적 방식은 그 전개(unfolding) 과정을 수행할 필요가 없다는 점을 제외하고 위에서 언급한 Kimmel 및 Sethian의 방식과 유사하다. 둔각을 분할하는 지지 격자점(supporting grid points)을 더욱 효율적으로 발견할 수 있다. 필요한 삼각형 에지 길이 및 각도는 그 격자점에서 표면 메트릭 g_ij에 따라 계산되며, 이것은 다시 그 표면 기울기(z_x, z_y)를 이용하여 계산된다. 이에 대한 더욱 자세한 설명은 A. Spira 및 R. Kimmel의 "An efficient solution to the eikonal equation on parametric manifolds (submitted for publication, 2003)"에 기재되어 있으며, 그 내용을 본원 발명과 함께 참고자료로서 제출한다.

3차원 안면 인식

이하 도 37B를 참조하여 설명하며, 이 도면은 본 실시예를 수행하기 위한 장치를 나타내는 간략 블록도이다. 3차원 스캐닝 시스템(126)은 표면 기울기 데이터를 얻기 위해 3차원 데이터 획득을 수행한다. 전처리부(128)는 미가공 데이터(raw data)의 전처리를 수행한다. 센터링 및 크로핑 등의 예비처리를 단순 패턴 메칭에 의해 수행할 수 있으며, 이때 이전의 실시예들에서 설명한 바와 같이 눈을 사람 얼굴의 가장 인식가능한 특징으로서 이용할 수 있다.

얼굴 자체에 속하는 표면에만 처리를 국한시키기 위해 얼굴 윤곽을 추출하는 것이 바람직하다. 즉, 초기 스캐닝은 얼굴 자체에 속하지 않는 영역들을 포함할 수 있다.

이전 실시예들에서 언급된 바와 같이, 전처리에서는, 상대적으로 변화하기 쉽지 않은 얼굴 부위를 강조하고 머리카락과 같이 쉽게 변할 수 있는 부분들을 배제시키는 것이 바람직하다. 본 실시예를 이용한 실험연구에서, 코끝을 중심으로 하는 (기하학적 의미에서의) 타원형 바깥쪽에 위치하는 부분들을 제거하여 삼각분할 다양체에 대한 크로핑을 수행하는 것에 상기 전처리를 한정시켰다.

FMTD부(130)는 n개의 선택된 버텍스 각각으로부터 얼굴 위에 있는 점들까지의 거리들에 FMTD를 적용하여 nxn 비유사 거리 행렬을 형성한다. 그리고 나서 MDS부(132)는 이전 실시예들과 함께 언급된 바와 같이 그 행렬에 다차원 스케일링을 적용하여 그 표면의 저차원 정준 형태를 형성한다. 이어서 그 정준 형태는 비교부(134)에 대한 입력으로서 이용되어 데이터베이스(136) 내의 정준 형태로서 표현되는 다른 형태들과 비교된다.

이하 도 37B를 참조하여 설명하며 이 도면은 얼굴 재구성을 하지 않고 3차원 안면 인식을 하는 과정을 나타낸 간략 순서도이다. 제1 단계(S140)로서, 본 실시예에 따른 3차원 안면 인식 시스템은 상술한 바와 같이 표면 기울기 를 획득한다. 단계(S142)에서, 도 37A를 참조로 설명한 바와 같이 미가공 데이터가 전처리된다. 요약하면, 사람 얼굴의 가장 인식 가능한 특징으로서 눈을 이용하여 단순 패턴 매칭에 의해 센터링 및 크로핑을 수행할 수 있다.

얼굴 자체에만 속하는 그 표면에 대해서 처리를 국한시키기 위해 얼굴윤곽을 추출할 수도 있다.

상술한 바와 같이, 전처리에서는, 상대적으로 변화하기 쉽지 않은 얼굴 부위를 강조하고 머리카락과 같이 쉽게 변할 수 있는 부분들을 배제시키는 것이 바람직하다. 본 실시예를 이용한 실험연구에서, 코끝을 중심으로 하는 (기하학적 의미에서의) 타원형 바깥쪽에 위치하는 부분들을 제거하여 삼각분할 다양체에 대한 크로핑을 수행하는 것에 상기 전처리를 한정시켰다.

다음으로, 단계(S144)에서, 상기 n개의 선택된 버텍스 각각에서부터 FMTD를 적용함으로써 이하 거리 행렬이라 칭하는 측지 거리에 대한 nxn 비유사 행렬을 생성한다. 이어서, 단계(S146)에서, MDS(multi-dimensional scaling)을 이 거리 행렬에 적용하여 저차원 유클리드 공간에서 얼굴에 대한 정준 형태를 생성한다. 위에서 언급한 실험 연구에서는, 3차원 공간을 사용하였다. 상술한 방식으로 얻어진 정준 형태는 일대 다수 형태의 매칭(one-to many type matching) 처리에 있어서는 그 이외의 피사체들에 대응하는 형판들(templates)의 데이터베이스와 비교되며 또는 일대일 형태의 매칭에서는 하나의 저장된 템플레이트와 비교된다. 비교된 정준 형태의 대응 정도(correspondence)가 소정 통계 범위의 값들 이내에 있다면, 그 매칭은 유효한 것으로 간주된다.

정준 형태들 사이의 대응 정도(유사도)를 발견하는 것은 이전 실시예들과 관련하여 논의한 바 있는 표면-매칭 문제로 귀결된다. 본 실시예들은 변형 가능한 얼굴 표면 자체에 대한 정보보다는 본질적인 대상체의 기하학 형상 정보(intrinsic object geometry)를 포함하는 경질 정준 형태들 사이에서 매칭을 수행하는 점에 일반적인 장점이 있다. 따라서 가장 단순한 경질 표면 매칭 알고리즘으로도 신뢰성있는 결과들을 얻을 수 있게 된다.

본 실시예들에서는, A. Tal 등을 참조하여 언급한 모멘트 시스템(moments system)을 그 단순성 때문에 채택하였다. 정준 형태의 (p, q, r)-번째 모멘트는 다음과 같이 주어진다.

여기에서 는 정준 표면 샘플들에 있어서 n번째 점의 i번째 좌표를 나타내는 것이다. 2개의 정준 형태 사이의 비교를 위해서, "모멘트 표지(moments signature)"라 칭하는 각 표면에 대해 벡터를 계산한다. 2개의 모멘트 표지 사이의 유클리드 거리는 그 2 표면의 비유사도를 측량하는 것이다.

실험 결과

이미 언급한 바와 같이, 상술한 실시예에 따라 실험 연구를 수행하여 실제 얼굴 표면을 재구성하지 않고 얻어진 정준 형태들을 비교하는 것이 그 표면들을 재구성하고 서로 직접 비교하는 것보다 좋다는 것을 검증하였다. 이전 실시예들에 대해서 수행된 실험 연구에서와 같이, 예일 얼굴(Yale Face) 데이터베이스 B를 사용하였다. 이 데이터베이스는 조절된 조명 조건 하에서 얻어진 백인과 아시아인 형태의 10개의 피사체의 서로 다른 예(instances)에 대한 고해상도 계조 화상으로 이루어져 있다. 이하 도 36을 참고로 설명하며, 이 도면은 5개의 서로 다른 각도에서 조사된 하나의 피사체(즉, 피촬영자)를 나타낸 것이다. 도 36A ~ 도 36E의 5가지 경우에 대해서, (0^o,0^o)(0^o,-20)(0^o,+20^o)(-25^o,0^o)(+25^o,0^o)의 조사 각도를 각각 사용하였다. 괄호안의 숫자는 방위각과 고도각을 각각 나타내는 것으로 조사 각도를 결정한다. 이 실험에서는 상기 데이터베이스로부터 취해진 7개의 서로 다른 피사체로부터 얻어진 도 36에 나타낸 종류의 예들(instances)을 사용하였다.

직접 표면 매핑은 5개의 서로 다른 조사 각도를 이용하여 상기한 수식 (6)에 따라 표면의 기울기를 추출하는 것과, 상기 수식 (7)에 따라 그 표면을 재구성하는 것과, 상기 수식 (25)에 따라 표면의 모멘트 표지를 정렬하고 계산하는 것 등으로 이루어졌다. 정준 형태들은 표면 기울기로부터 연산되었고 수식 (25)에 따라 모멘트 표지로 정렬되고 변환되었다.

이하 도 38을 참조로 설명하기로 하며, 이 도면은 그 표면 데이터의 처리에 있어서의 3가지 연속적인 단계를 나타낸 것이다. 도 38A는 표면 기울기 필드(field)를 나타내고 있고, 도 38B는 재구성된 표면을 나타내고 있으며, 도 38C는 하나의 표면으로서 표현되는 굴곡-불변 정준 형태를 나타내고 있다. 도 38은 단지 설명을 목적으로 예시하였으며, 상기한 바와 같이 본 발명은 어떠한 처리 단계에 있어서도 표면을 실제로 재구성하지 않고 도 38C에 의해 표현된 정준형태를 이용할 수 있다는 점을 유념해야 한다.

이하 도 39를 참고로 설명하며, 이 도면은 본 실시예들에 따라 일련의 얼굴들과 서로 다른 얼굴들 사이의 거리에 대한 3차원 도표(plot)에 의해 둘러싸인 중심에 있는 그 얼굴들을 나타내고 있다. 안면 인식 결과를 시각화한 것을 3차원 근접 패턴(proximity patterns)에 의해 도시하고 있다. 상기 얼굴 데이터베이스에서 얻은 피사체들을 피사체 사이의 상대적 거리에 MDS를 적용하여 구한 점들로서 표현하고 있다. 직접적 표면 매칭(A)과 정준 형태(B) 모두를 이 그래프에 나타내었다. 즉, 본 실시예의 정확도에 대한 결과를 보기 위해, 각 알고리즘에 의해 생성된 피사체 사이의 상대적 거리를 3차원 근접 패턴으로 변환하였다. MDS를 그 상대적 거리들에 적용함으로써, 각 피사체를 R³에서 점들로서 표현하는 근접 패턴들을 구하여 1% 미만의 왜곡(distortion)을 생성하였다.

모든 점들의 군(entire cloud of dots)을 7개의 피사체의 예(instances)에 의해 형성된 클러스터들(C₁ - C₇로 칭하기로 함)로 분할하였다. 시각적으로는, C_i가 더 작고 다른 클러스터로부터 더 멀수록, 알고리즘은 더 정확해진다. 정량적으로는, 다음의 값들을 측정한다.

(i) C_i의 분산(variance) σ_i

(ii) C_i의 질량중심(centroid)과 가장 가까운 클러스터의 질량 중심과 사이의 거리 d_i

다음의 표 1은 알고리즘을 정량적으로 비교한 것을 나타낸 것이다. 클러스터간 거리 d_i는 분산 σ_i의 단위로 주어진다. 이 표는 C₁에서 C₄까지의 결과에만 국한된다.

정준 형태를 사용하면 직접 얼굴 표면 매칭에 비해서 클러스터 분산 및 클러스터간 거리가 대략 한 차수의 크기만큼 향상되게 된다.

관련 실험과 함께 본 실시예는 얼굴 표면을 재구성하지 않고 어떻게 3차원 안면 인식을 수행하는지에 대해서 보여주고 있다. 이전에 제안된 해결방안과는 달리 굴곡-불변 표현에 기초한 3차원 안면 인식은 얼굴 표정, 머리 자세 및 조명 조건 등에 강한 안면 인식이 되도록 한다. 본 실시예는 고속 및 정확한 안면 인식을 위해 단순한 3D 획득 기술(예를 들어 조도차 스테레오)의 효과적인 이용을 가능하게 함으로써 상술한 이전의 실시예를 보다 향상시킨다.

고유형태(eigenforms)를 이용한 3차원 안면 인식

이하 도 40을 참고로 설명하기로 하며, 이 도면은 본 발명의 또 다른 바람직한 실시예를 나타낸 간략 순서도이다. 도 40의 실시예의 제1 단계(S150)에서 3차원 화상을 얻기 위해 레인지 카메라를 이용한다. 얻어지는 회상은 실제로 2개의 별개의 화상, 즉, 얼굴의 레인지 화상 또는 3차원 기하학 화상과 얼굴의 2차원 화상 또는 텍스쳐를 포함한다. 레인지 화상은 단계 152에서 삼각분할된 표면으로 변환되고 단계 154에서 스플라인 처리(splining)를 이용하여 평활화(smoothing)된다. 얼굴 윤곽의 바깥 영역은 단계 156에서 삭제(cropping)되며, 그 표면은 단계 158에서 대략 2000-2500개의 버텍스의 크기로 크게 감소(decimation)된다. 다음으로, 단계 160에서, 이전의 실시예와 함께 기술하였던 과정을 이용하여 얼굴의 굴곡-불변 정준 형태를 연산하고 정렬한다.

텍스쳐 화소들과 정준 표면 버텍스들 사이에 완전히 일치하는 것(full correspondence)이 있음을 알 수 있을 것이다. 따라서, 얼굴 텍스쳐 화상을 도 41의 단계(S162)에 나타낸 바와 같이 정준 형태 공간에서 정렬된 정준 표면에 매핑시킬 수 있다. 단계(S164)에서, X1X2 평면의 데카르트 격자(Cartesian grid) 상으로 그 텍스쳐 데이터와 레인지 데이터()의 보간(interpolation)이 행해진다. 그 결과는 평탄화된 텍스쳐()와 정준 화상()을 각각 얻게 되는 것이다. 와 정준 화상은 모두 등척성 변환에 대한 정준 형태의 불변성을 보존하며, 화상으로서 표현될 수 있다. 이하 도 42를 참고로 설명하기로 하며, 이 도면은 정준 화상과 관련된 텍스쳐 평탄화를 나타낸 것이다. 좀더 구체적으로, 이 도면은 X1X2 평면 상으로의 보간에 의한 텍스쳐 평탄화를 나타내고 있다(즉, 얼굴 표면(A) 및 정준 형태(B) 위에서의 텍스쳐매핑과, 그 결과 평탄화된 텍스쳐(C) 및 정준 화상(D)을 나타내고 있다).

이 표현에 있어서 고유치 분해의 적용은 직접적인 것이다. 고유얼굴(eigenfaces)처럼 훈련 집합(training set)을 갖게 되며, 이것은 의 형태를 갖는 듀플렛의 집합이 된다.

도 41을 참고하면, 단계 166에서 와 의 집합에 대해 개별적으로 고유치분해를 적용한다. 그 결과 평탄화된 텍스쳐와 정준 화상에 대응하는 2개의 고유공간 집합(two sets of eigenspaces)을 생성하게 된다. 각각의 고유벡터 및 집합을 "고유형태(eigenforms)"이라 칭하기로 한다.

에 의해 표현되는 새로운 피사체에 대해서, 분해 계수가 다음과 같이 계산된다.

이때, a와 x는 각각 훈련 집합에서의 와 을 나타낸다. 와 에 의해 표현되는 2개의 피사체 사이의 거리를 단계 168에서 대응하는 분해 계수 와 사이의 가중 유클리드 거리(weighted Euclidean distance)로서 계산할 수 있다.

좀더 명확히 하기 위해 별개의 실시예에서 기술한 본 발명의 소정 특징들은 결합하여 하나의 실시예로서 제공할 수 있다는 점을 알아야 한다. 이와 반대로, 간략하게 하기 위해 하나의 실시예서 기술한 본 발명의 여러 가지 특징들을 개별적으로 또는 어떠한 적절한 부결합 형태로도 제공할 수 있다.

이상 본 발명을 특정 실시예와 함께 기술하였지만, 여러 다른 대안, 수정 및 변경이 가능하다는 것은 당업자에게 있어 명백한 사실이다. 따라서, 본 발명은 첨부한 청구범위의 기술적 사상 및 광의의 권리범위(broad scope) 내에 포함되는 그러한 대안, 수정 및 변경을 모두 내포하도록 한 것이다. 본원 명세서에서 언급된 모든 공개문헌, 특허 및 특허출원이 각각 참고자료로서 본원 명세서에 포함되도록 구체적으로 또한 개별적으로 지시되었을 경우와 동일한 정도로, 그 모든 공개문헌, 특허 및 특허출원을 전체로서 본원 명세서에 참고자료로 포함시켰다. 또한, 본원에서의 어떠한 참고자료에 대한 언급 또는 확인도 그러한 참고자료가 본 발명의 종래기술로서 사용가능함을 인정하는 것으로 해석되어서는 안 된다.

Claims

기하체(geometric body)의 3차원 지형 데이터(topographical data)를 포함하는 입력을 전달받아서 상기 데이터의 점 쌍(pairs of points)들 사이의 일련의 측지 거리들(geodesic distances)로 상기 데이터를 변환하는 측지 변환부와,

다른 기하 형태들과의 매칭을 하는데 적절한 상기 기하체의 굴곡 불변 표현(bending invariant representation)을 제공하는 상기 일련의 측지 거리들에 대한 저차원 유클리드 표현을 형성하기 위해 상기 측지 변환부 이후에 연결되는 다차원 스케일러를 포함하여 구성되는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 1 항에 있어서, 상기 3차원 지형 데이터를 전달받아서, 이것으로부터 삼각분할에 의해 상기 측지 변환부의 상기 입력으로서 이용되는 다양체(manifold)를 형성하기 위해 상기 측지 변환부 이전에 연결되는 삼각분할부를 추가로 포함하는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 1 항에 있어서, 상기 측지 변환부는 n개의 버텍스를 선택하는 기능과,

삼각분할된 영역들을 위한 고속 진행법(fast marching for triagnulated domains)을 이용하여 상기 n개의 버텍스에서부터 상기 3차원 지형 데이터의 버텍스까지의 측지 거리를 계산하는 기능과,

상기 측지 거리로부터 거리 행렬을 형성하는 집계부(tabulator)를 포함하는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 3 항에 있어서, 상기 다차원 스케일러는 상기 거리 행렬로부터 상기 일련의 측지 거리를 얻기 위해 연결되는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 2 항에 있어서, 상기 삼각분할된 다양체를 부샘플링하고 부샘플링된 삼각분할 다양체를 상기 측지 변환부에 제공하기 위해 상기 삼각분할부 이후에 또한 상기 측지 변환부 이전에 위치하는 부샘플링부를 추가로 포함하는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 5 항에 있어서, 상기 다양체는 복수의 버텍스를 포함하며, 상기 부샘플링부는 첫 번째 버텍스를 선택하고, 소정 개수의 버텍스가 선택될 때까지 이미 선택된 버텍스들로부터 최대 측지 거리에 있는 다음 버텍스를 반복적으로 선택하도록 동작 가능한 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 6 항에 있어서, 상기 부샘플링부는 상기 삼각분할 영역을 위한 고속 진행법을 이용하여 상기 반복 선택을 위한 버텍스 사이의 측지 거리를 계산하도록 동작 가능한 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 5 항에 있어서,

상기 기하체는 연질 기하 영역과 경질 기하 영역을 포함하는 얼굴이며, 상기 연질 기하 영역은 단기간의 기하학적 변화를 겪기 쉬운 상기 얼굴의 영역이며 상기 경질 기하 영역은 상기 단기간의 기하학적 변화를 겪기가 실질적으로 쉽지 않은 상기 얼굴의 영역이고,

상기 장치는 상기 얼굴로부터 상기 연질 기하 영역을 제거하도록 상기 부샘플링부 이전에 위치하는 전처리부를 포함하는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 8 항에 있어서, 상기 전처리부는 상기 얼굴 위에 있는 위치결정 점(orientation point)의 식별에 의해 상기 연질 영역을 식별하도록 동작 가능한 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 9 항에 있어서, 상기 배위 점은 코끝과, 한쌍의 안구 중앙부와, 입의 중앙부 중 적어도 하나인 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 8 항에 있어서, 상기 전처리부는 상기 얼굴에 대한 센터링(centering)을 수행하도록 추가로 동작 가능한 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 8 항에 있어서, 상기 전처리부는 상기 얼굴에 대한 크로핑(cropping)을 수행하도록 추가로 동작 가능한 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 8 항에 있어서, 상기 전처리부는 측지 마스크를 적용하는 것에 의해 상기 연질 영역의 제거를 수행하도록 동작 가능한 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 2 항에 있어서, 상기 측지 변환부는 상기 삼각분할 영역을 위한 고속 진행법을 이용하여 상기 측지 거리를 계산하도록 동작 가능한 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 2 항에 있어서, 기하체의 스캔 데이터로부터 상기 삼각분할 다양체를 형성하는 삼각분할부를 추가로 포함하는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 15 항에 있어서, 상기 삼각분할된 다양체를 3차원 이상의 공간에 이입시킴으로써, 상기 지형 정보과 함께 추가 정보를 포함하도록 동작 가능한 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 16 항에 있어서, 상기 부가 정보는 텍스쳐 정보, 알베도 정보, 계조 정보 및 칼라 정보를 포함하는 그룹 중 어느 하나인 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 5 항에 있어서, 상기 부샘플링부는 계산 복잡도와 표현 정확도 사이의 균형점을 결정하는 것에 의해 사용자가 최적의 부샘플링 레벨을 선택할 수 있도록 하는 최적화부를 포함하는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 1 항에 있어서, 상기 다차원 스케일러는 상기 유클리드 표현이 특징 공간(feature space)에서 좌표로서 이용되도록 추출할 수 있는 소정 개수의 고유치들을 포함하도록 구성되는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 19 항에 있어서, 상기 소정 개수의 고유치들은 적어도 3개이며, 상기 특징 공간은 상기 소정 개수에 대응하는 다수의 차원을 갖는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 1 항에 있어서, 상기 3차원 표면의 텍스쳐 데이터를 을 상기 저차원 유클리드 표현에 매핑시키기 위한 매핑부가 상기 다차원 스케일러의 다음에 제공되는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 21 항에 있어서, 데카르트 격자(Cartesian grid) 상으로의 텍스쳐 매핑으로 상기 유클리드 표현을 보간하기 위하여 상기 매핑부 이후에 연결되는 보간부를 추가로 포함하는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 22 항에 있어서, 상기 데카르트 격자로부터의 표면 및 텍스쳐 데이터에 대해 각각 개별적인 고유치분해를 수행하여, 텍스쳐 및 표면을 위해 각각 고유치분해 계수의 쌍을 형성하도록 구성되는 고유치분해부를 포함하는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 23 항에 있어서, 상기 고유치분해 계수 쌍을 이용하여, 다른 기하체들까지의 거리로서 상기 매칭을 위해 쓰레스홀딩 가능한 거리들을 계산하는 비교부를 추가로 포함하는 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
제 24 항에 있어서, 상기 거리들은 가중된 유클리드 거리(weighted Euclidian distances)인 것을 특징으로 하는 매칭을 위한 기하체의 3차원 데이터 처리 장치.
삼각분할된 다양체의 샘플링된 점들 사이의 측지 거리들의 집합에 대한 실질적으로 굴곡에 대해 불변인 유클리드 표현으로서 기하체에 대한 표현을 입력받기 위한 입력단과,

상기 유클리드 표현에 기초하여 각 기하체 사이의 거리들을 계산하는 거리 계산부와,

매치(match)의 존재 여부를 결정하기 위해 계산된 거리를 쓰레스홀딩하는 쓰레스홀더를 포함하여 구성된 것을 특징으로 하는 3차원 데이터에 기초한 기하체 사이의 매칭 장치.
제 26 항에 있어서,

상기 거리 계산부는 상기 유클리드 표현으로부터 소정 개수의 고유치를 추출하는 고유치 추출부와,

상기 소정 개수의 고유치 각각에 대해서 하나의 차원을 갖는 특징 공간에서 상기 소정개수의 고유치를 하나의 점으로서 작성하는 플로터(plotter)를 포함하며,

상기 쓰레스홀더는 상기 특징 공간 내에서의 클러스터링에 민감하여 상기 매치의 존재 여부를 결정하도록 구성되는 것을 특징으로 하는 3차원 데이터에 기초한 기하체 사이의 매칭 장치.
제 27 항에 있어서, 상기 소정 개수는 3인 것을 특징으로 하는 3차원 데이터에 기초한 기하체 사이의 매칭 장치.
제 26 항에 있어서, 상기 유클리드 표현은 상기 삼각분할된 다양체의 부 샘플링 점들 사이의 측지 거리에 기초한 것을 특징으로 하는 3차원 데이터에 기초한 기하체 사이의 매칭 장치.
제 26 항에 있어서, 상기 기하체는 연질 기하 영역과 경질 기하 영역을 포함하는 얼굴이며, 상기 연질 기하 영역은 단기간의 기하학적 변화를 겪기 쉬운 상기 얼굴의 영역이며 상기 경질 기하 영역은 상기 단기간의 기하학적 변화를 겪기가 실질적으로 쉽지 않은 상기 얼굴의 영역이고,

상기 유클리드 표현은 상기 경질 기하 영역에 실질적으로 한정되는 것을 특징으로 하는 3차원 데이터에 기초한 기하체 사이의 매칭 장치.
제 26 항에 있어서, 상기 거리 계산부는 하우스도르프 메트릭(Hausdorff metric)을 이용하도록 구성되는 것을 특징으로 하는 3차원 데이터에 기초한 기하체 사이의 매칭 장치.
매칭을 위한 기하체의 3차원 데이터를 획득하고 상기 데이터를 이용하여 서로 다른 대상체 사이의 매칭을 수행하는 장치에 있어서,

상기 기하체의 3차원 지형 데이터를 획득하기 위한 3차원 스캐너와,

상기 기하체의 상기 3차원 지형 데이터를 전달받아 상기 전달받은 데이터로부터 삼각분할 다양체를 형성하는 삼각분할부와,

상기 삼각분할 다양체를 상기 다양체의 점 쌍들 사이의 일련의 측지 거리로 변환하기 위해 상기 삼각분할부 이후에 연결되는 측지 변환부와,

상기 기하체의 굴곡 불변 표현을 제공하는 상기 일련의 측지 거리들에 대한 저차원 유클리드 표현을 형성하기 위해 상기 측지 변환부 이후에 연결되는 다차원 스케일러와,

상기 유클리드 표현에 기초한 기하체들 사이의 거리들을 계산하기 위해 상기 다차원 스케일러 이후에 연결되는 거리 계산부와,

계산된 거리를 쓰레스홀딩하여 매치의 존재 여부를 결정하기 위해 상기 거리 계산부 이후에 연결되는 쓰레스홀더를 포함하는 것을 특징으로 하는 상기 장치.
제 32 항에 있어서,

상기 거리 계산부는 상기 유클리드 표현으로부터 소정 개수의 고유치를 추출하는 고유치 추출부와,

상기 소정 개수의 고유치 각각에 대해서 하나의 차원을 갖는 특징 공간에서 상기 소정개수의 고유치를 하나의 점으로서 작성하는 플로터(plotter)를 포함하며,

상기 쓰레스홀더는 상기 특징 공간 내에서의 클러스터링에 민감하여 상기 매치의 존재 여부를 결정하도록 구성되는 것을 특징으로 하는 상기 장치.
제 33 항에 있어서, 상기 소정 개수는 3인 것을 특징으로 하는 상기 장치.
제 33 항에 있어서, 상기 소정 개수는 3보다 큰 것을 특징으로 하는 상기 장치.
제 32 항에 있어서, 상기 삼각분할 다양체를 부샘플링하고 부샘플링된 삼각분할 다양체를 상기 측지 변환부에 제공하도록 구성되며 상기 삼각분할부와 상기 측지 변환부 사이에 위치하는 부샘플러를 추가로 포함하는 것을 특징으로 하는 상기 장치.
제 36 항에 있어서, 상기 부샘플러는 상기 부샘플링된 삼각분할 다양체에 포함되도록 상기 삼각분할 다양체로부터 점들을 선택하는데 있어서 측지 거리들을 사용하도록 동작 가능한 것을 특징으로 하는 상기 장치.
제 37 항에 있어서, 상기 부샘플러는 초기 점을 취하고, 이미 선택된 점들에서부터 측지거리의 관점에서 가장 먼 점들을 취함으로써 점들을 반복적으로 선택하도록 구성된 것을 특징으로 하는 상기 장치.
제 36 항에 있어서,

상기 기하체는 연질 기하 영역과 경질 기하 영역을 갖는 얼굴이며,

상기 장치는 상기 얼굴로부터 상기 연질 영역을 제거하기 위해 상기 삼각분할부와 상기 부샘플러 사이에 위치한 전처리부를 포함하는 것을 특징으로 하는 상기 장치.
제 32 항에 있어서,

상기 기하체는 연질 기하 영역과 경질 기하 영역을 갖는 얼굴이며,

상기 장치는 상기 얼굴로부터 상기 연질 영역을 제거하기 위해 상기 삼각분할부와 상기 측지 변환부 사이에 위치한 전처리부를 포함하는 것을 특징으로 하는 상기 장치.
제 39 항에 있어서, 상기 전처리부는 상기 얼굴 위에 있는 위치결정 점(orientation point)의 식별에 의해 상기 연질 영역을 식별하도록 동작 가능한 것을 특징으로 하는 상기 장치.
제 41 항에 있어서, 상기 위치결정 점은 코 끝인 것을 특징으로 하는 상기 장치.
제 39 항에 있어서, 상기 전처리부는 상기 얼굴에 대한 센터링(centering)을 수행하도록 추가로 동작 가능한 것을 특징으로 상기 장치.
제 39 항에 있어서, 상기 전처리부는 상기 얼굴에 대한 크로핑(cropping)을 수행하도록 추가로 동작 가능한 것을 특징으로 하는 상기 장치.
제 39 항에 있어서, 상기 전처리부는 측지 마스크를 적용하는 것에 의해 상기 연질 영역의 제거를 수행하도록 동작 가능한 것을 특징으로 하는 상기 장치.
제 32 항에 있어서, 상기 측지 변환부는 상기 삼각분할 영역을 위한 고속 진행법을 이용하여 상기 측지 거리를 계산하도록 동작 가능한 것을 특징으로 하는 상기 장치.
제 32 항에 있어서, 상기 측지 변환부는 상기 삼각분할 영역을 위한 고속 진행법을 이용하여 대응하는 표면의 재구성을 개입시키지 않으면서 다양체 기울기 필드들(manifold gradient fields)로부터 직접 상기 측지 거리를 계산하도록 동작 가능한 것을 특징으로 하는 상기 장치.
제 32 항에 있어서, 계산 복잡도와 표현 정확도 사이의 균형점을 결정하는 것에 의해 사용자가 최적의 부샘플링 레벨을 선택할 수 있도록 하는 최적화부를 추가로 포함하는 것을 특징으로 하는 상기 장치.
제 32 항에 있어서, 상기 거리 계산부는 하우스도르프 메트릭을 이용하도록 구성된 것을 특징으로 하는 상기 장치.
3차원 지형데이터를 3차원 삼각분할 다향체로서 제공하는 단계와,

상기 다양체의 선택된 버텍스들까지의 측지 거리들에 대한 행렬을 생성하는 단계와,

다차원 스케일링을 이용하여 상기 행렬을 저차원 유클리드 공간에서의 정준 표현으로 감소시킴으로써 이후 분류를 하는데 적절한 표현을 제공하는 단계를 포함하는 것을 특징으로 하는 이후 분류를 위한 3차원 지형 데이터의 화상 전처리 방법.
제 50 항에 있어서, 소정 개수의 버텍스가 선택될 때까지 이미 선택된 버텍스들로부터 가장 측지 거리가 먼 다음 버텍스를 반복적으로 선택하는 과정에 의해 상기 측지 거리에 대한 행렬을 생성하기 위해 상기 버텍스를 선택하는 단계를 추가로 포함하는 것을 특징으로 하는 이후 분류를 위한 3차원 지형 데이터의 화상 전처리 방법.
제 51 항에 있어서, 상기 삼각분할 영역을 위한 고속 진행법을 이용하여 상기 과정을 위한 측지 거리를 결정하는 단계를 포함하는 것을 특징으로 하는 이후 분류를 위한 3차원 지형 데이터의 화상 전처리 방법.
제 50 항에 있어서,

상기 3차원 지형 데이터는 얼굴에 대한 표현이며,

단기간 변화를 쉽게 겪는 상기 얼굴의 부분을 배제시키도록 상기 얼굴에 대해 크로핑을 수행하여 상기 이후의 분류가 상기 단기간 변화에 대해서 실질적으로 불변이 되게 하는 단계를 추가로 포함하는 것을 특징으로 하는 이후 분류를 위한 3차원 지형 데이터의 화상 전처리 방법.
3차원 대상체(bodies)의 표현들을, 상기 3차원 대상체의 표면으로부터 취해진 선택된 샘플 점들 사이의 측지 거리들로부터 도출된 정준 형태 표현들로서 얻는 단계와,

각 표현으로부터 특징 공간 상에서 좌표를 도출해내는 단계와,

상기 특징 공간 상의 클러스터링에 따라 상기 대상체를 분류하는 단계를 포함하여 이루어진 것을 특징으로 하는 3차원 대상체의 화상 분류 방법.
제 54 항에 있어서, 상기 좌표를 도출해내는 단계는 각 정준 형태 표현들로부터 첫 번째 m개의 고유치를 도출해내는 단계와, 상기 m개의 고유치를 이용하여 상기 좌표를 제공하는 단계를 포함하며, 상기 특징 공간은 소정 개수인 n개의 차원을 갖도록 구성되는 것을 특징으로 하는 3차원 대상체의 화상 분류 방법.
제 55 항에 있어서, 상기 n은 적어도 3인 것을 특징으로 하는 3차원 대상체의 화상 분류 방법.
제 55 항에 있어서, 상기 n은 3인 것을 특징으로 하는 3차원 대상체의 화상 분류 방법.