KR101647803B1

KR101647803B1 - 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템

Info

Publication number: KR101647803B1
Application number: KR1020140124639A
Authority: KR
Inventors: 김익재; 조정현; 최희승
Original assignee: 한국과학기술연구원
Priority date: 2014-09-18
Filing date: 2014-09-18
Publication date: 2016-08-11
Also published as: KR20160033553A

Abstract

본 발명은 3차원 얼굴 모델 투영을 통한 얼굴 인식 시스템 및 방법에 관한 발명이다. 본 발명에서는 3차원 데이터베이스에 저장된 3차원 영상 정보를 2차원 입력 영상내의 얼굴 따라 가공하여 얼굴 인식에 사용하는 특징이 있다.

Description

3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템{Face recognition method through 3-dimension face model projection and Face recognition system thereof}

본 발명은 얼굴 인식 방법 및 시스템에 관한 발명으로, 구체적으로 대상이 되는 얼굴의 포즈 정보에 따라 3차원 얼굴 모델 투영을 하여 얼굴 인식을 수행하는 방법 및 시스템에 관한 것이다.

본 발명은 산업통상자원부-산업융합기술산업원천기술개발사업의 일환으로 수행된 연구로부터 도출된 것이다. [과제 번호 : 10040018, 과제명: 3D 몽타주 생성 및 연령별 얼굴변환 예측 시스템 개발(2MR0870)]

얼굴 인식은 범죄 용의자 등을 추출하기 위한 목적, 출입 여부 판단을 위한 목적 및 각종 보안 인증을 위한 목적 등, 다양한 목적을 위하여 사용이 되고 있다.

이러한 얼굴 인식은 기본적으로 미리 저장되어 있는 얼굴 영상과 카메라 등을 통하여 촬영된 얼굴 영상을 비교하여 양 영상이 동일한 인물을 나타내는 영상인지 여부를 판단하는 방법에 의해 이루어진다.

그러나, 미리 저장되어 있는 얼굴 영상과 인증을 위해 촬영한 얼굴 영상은 조명이나, 사람의 표정 등에 따라 달라지기 때문에, 상대적으로 다른 생체 인증 방법에 비하여 정확한 판단을 내리는 것이 쉽지 않은 단점이 있었다.

즉, 지문이나 홍채 등을 이용하여 인증하는 방법은 대상이 되는 신체를 카메라에 접촉하거나, 근접하여 촬영하므로, 촬영된 영상에서의 대상의 크기 등이 크게 변하지 않고, 시간이 흐르더라도 그 형태가 크게 변하지 않기 때문에 기준이 되는 영상과 촬영된 영상을 비교할 때 크게 보정을 하지 않더라도 비교가 용이하지만, 얼굴을 이용한 인증은 촬영되는 카메라와 촬영할 얼굴을 서로 밀착시켜서 촬영하는 것이 아니고, 또한 조명이나 화장 등 여러 가지 조건에 따라 촬영된 영상의 모습이 많이 달라질 수 있으므로

이러한 이유로 얼굴 인식 방법에 대한 연구는 동일한 방향(주로 정면)을 향하고 있는(동일한 포즈로 있는) 두 얼굴 영상을 비교하여 조명 등의 원인으로 차이가 날 수 있는 부분을 고려하여, 두 개의 영상의 얼굴이 동일인물인지 여부를 판단하기 위한 방법에 초점이 맞춰져 있었다.

그러나, 얼굴의 경우 대상이 되는 사람이 어느 방향으로 얼굴을 향한 채 촬영을 하였는지에 따라 얼굴의 모양이 달라지게 되는 문제점이 있는데 이러한 문제점을 해결하기 위한 연구는 많이 이루어지지는 못하고 있다.

특히, 얼굴인식을 이용한 신원 확인은 단순히 출입, 보안 등의 목적으로만 이용되는 것이 아니고, CCTV 등에 촬영된 영상을 이용하여 용의자를 추출하는 등의 용도로도 이용이 되는데, 이 때 촬영되는 영상 속의 용의자는 요구되는 방향으로 얼굴을 향하지 않은 채 촬영되는 경우가 많기 때문에 이러한 영상을 이용해서도 용의자의 얼굴을 미리 저장된 영상 속의 얼굴과 비교하기 위한 방법이 절실히 필요한 실정이다.

특허문헌 1. 한국공개특허공보 제2008-0079798호(2008.9.2 공개) (얼굴 검출 및 인식을 위한 방법) 요약, 청구항 1

상기한 문제를 해결하기 위해서 본 발명에서는 촬영된 영상의 포즈에 따라 미리 저장된 얼굴 영상의 포즈를 변경한 후 비교를 하여 얼굴인식을 하는 방법 및 시스템을 제공하는 것을 목적으로 한다.

또한, 상기한 문제를 해결하기 위해서 본 발명에서는 상기한 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위해서 본 발명은 인식하고자 하는 대상이 되는 사람의 3차원 얼굴 영상을 저장하는 3차원얼굴영상데이터베이스부; 사람의 얼굴이 포함된 2차원 영상을 입력받는 영상입력부; 상기 2차원 영상에 포함된 얼굴의 포즈정보를 추출하는 포즈정보추출부; 상기 3차원 얼굴 영상을 상기 포즈정보에 따라 2차원 면 상에 투영한 2차원 얼굴 영상을 생성하는 2차원얼굴영상생성부; 및 상기 입력된 2차원 영상의 얼굴과 상기 생성된 2차원 얼굴 영상을 비교하여 얼굴인식을 수행하는 얼굴인식부;를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 투영을 통한 얼굴 인식 시스템을 제공한다.

또한, 상기한 목적을 달성하기 위해서 본 발명은 사람의 얼굴이 포함된 2차원 영상을 입력받는 단계; 상기 2차원 영상에 포함된 얼굴의 포즈정보를 추출하는 단계; 인식하고자 하는 대상이 되는 사람의 3차원 얼굴 영상을 저장하는 3차원얼굴영상데이터베이스부에 저장되어 있는 상기 3차원 얼굴 영상을 상기 포즈정보에 따라 2차원 면 상에 투영한 2차원 얼굴 영상을 생성하는 단계; 및 상기 입력된 2차원 영상의 얼굴과 상기 생성된 2차원 얼굴 영상을 비교하여 얼굴인식을 수행하는 단계;를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 투영을 통한 얼굴 인식 방법을 제공한다.

여기서, 상기 2차원얼굴영상생성부는 상기 추출된 포즈정보를 이용하여 생성된 2차원 얼굴영상 및 상기 추출된 포즈정보로 변환하여, 그 포즈 및 주변 포즈정보를 이용하여 생성된 2차원 얼굴영상을 포함하는 복수 개의 2차원 얼굴 영상을 생성하고, 상기 얼굴인식부는 상기 생성된 복수 개의 2차원 얼굴 영상과 상기 입력된 2차원 영상의 얼굴을 매칭하여 유사도 정합을 통해 얼굴인식을 위해 이용되는 최종 유사도를 산출하는 방식으로 얼굴인식을 수행할 수 있다.

이 때, 상기 얼굴인식부는 상기 2차원 얼굴 영상을 생성하기 위해 사용된 포즈정보에 따라 가중치를 달리 부여하여 유사도정합을 수행할 수 있다.

또한, 상기 포즈정보추출부는 사람의 얼굴을 소정 형상의 도형으로 가정하고, 상기 도형이 기준이 되는 방향으로부터 변경된 정보를 이용하여 상기 포즈정보를 추출할 수도 있고, 사람의 얼굴의 특징을 나타내는 부위의 위상적 변화 정보를 이용하여 포즈정보를 추출할 수도 있다.

한편, 상기한 목적을 달성하기 위해서 본 발명은 상기한 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

본 발명에 따르면, 촬영되는 대상의 포즈와 상관없이 얼굴인식이 가능해져서, 보다 다양한 용도, 다양한 상황에서 얼굴 인식을 이용한 발명의 적용이 가능해지게 되었다.

도 1은 본 발명의 개념을 도시한 개략도
도 2는 본 발명의 시스템의 구성을 도시한 블록도
도 3은 본 발명의 방법을 도시한 흐름도

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.

한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명을 설명하기 위한 개략도이다.

본 발명에서는 3차원얼굴영상데이터베이스부(10)에 인식하고자 하는 대상이 되는 사람의 3차원의 얼굴 영상을 저장해두고 이 영상을 추측되는 포즈 정보에 따라 2차원 영상으로 투영시키고, 이 투영된 2차원 영상을 촬영된 영상과 비교하는 방식으로 얼굴 인식 작업을 수행한다.

구체적으로 3차원얼굴영상데이터베이스부(10)에는 3차원 얼굴 영상을 저장한다.

3차원 얼굴 영상은 복수의 카메라를 이용하여 처음부터 3차원 얼굴 영상을 획득하기 위해 촬영하여 얻어진 영상(12)이거나, 하나 또는 복수의 2차원 사진을 이용하여 3차원 얼굴 모델링 방법에 의해 얻어진 영상(11) 등 다양한 방법에 의해 얻어지는 3차원 얼굴 영상이 될 수 있다.

3차원 얼굴 영상을 획득하는 방법은 기존에 알려진 여러 가지 방법이 이용될 수 있으며, 그 방법에 제한은 없다.

대상이 되는 사람의 얼굴 영상(20)이 입력되면, 그 영상에서 포즈를 예측하고, 예측된 포즈 정보를 전송한다.

이 포즈 정보란 영상(20) 속의 사람의 얼굴의 방향을 나타내는지를 나타내는 정보로 요, 피치, 롤(yaw, pitch, roll) 각도 정보를 포함하는 정보를 의미한다.

이 포즈 정보란 결국 촬영된 영상(20) 속의 사람이 카메라가 있는 위치를 기준으로 어떤 방향으로 얼굴을 향하고 있을 때 촬영되었는지를 나타내는 정보이므로, 3차원얼굴영상데이터베이스부(10)에 있는 3차원 얼굴 영상도 영상(20) 속의 사람이 향한 방향과 동일한 방향으로 얼굴을 향하도록 회전시키고, 그 상태에서 2차원 면에 투영시키면 동일한 2차원 얼굴 영상을 획득할 수 있게 된다.

이렇게 얻은 2차원 얼굴 영상(40)과 입력된 영상(20)을 비교하여 얼굴인식을 수행한다(50).

2개의 영상의 동일한 포즈, 즉 동일한 방향으로 얼굴을 향한 채 촬영되어 있으므로, 입력된 영상(20)과 3차원 얼굴영상을 2차원 영상으로 투영한 얼굴 영상(40)을 서로 비교하면(50), 보다 정확한 얼굴인식이 가능하게 된다는 장점이 있다.

도 2는 본 발명의 시스템의 구성을 도시한 블록선도이다.

본 발명의 얼굴인식시스템은 3차원얼굴영상데이터베이스부(110), 영상입력부(120), 포즈정보추출부(130), 2차원얼굴영상생성부(140) 및 얼굴인식부(150)를 포함하여 구성된다.

3차원얼굴영상데이터베이스부(110)는 인식하고자 하는 대상이 되는 사람의 3차원 얼굴 영상들이 저장된다.

3차원 얼굴 영상은 처음부터 3차원 얼굴 영상을 획득하기 위해 복수의 카메라를 이용하여 촬영하여 얻어진 영상, 3차원 스캐너를 통하여 획득된 영상일 수도 있고, 하나 또는 복수의 2차원 사진을 이용하여 3차원 얼굴 모델링 방법에 의해 얻어진 영상, 2차원 영상을 3차원 얼굴 모델에 합성하여 생성된 영상 등 다양한 방법으로 얻어진 3차원 얼굴 영상이 포함될 수 있다.

이러한 3차원 얼굴 영상을 획득하는 방법은 기존에 알려진 여러 가지 방법이 이용될 수 있으며, 그 방법에 제한은 없다는 점은 앞에서 살펴본 바와 같다.

3차원 얼굴 영상을 획득하는 방법은 기존에 이미 널리 알려져 있으므로, 여기서는 구체적인 설명은 생략한다.

상기와 같은 방법으로 생성되어 3차원얼굴영상데이터베이스부(110)에 저장되는 3차원 얼굴 영상은 얼굴의 3차원 공간정보(x, y, z) 및 텍스쳐 정보(컬러)를 모두 포함하고 있는 것이 바람직하다.

상기한 3차원 얼굴 영상은 사용자의 조작에 의해 3차원 공간 상의 회전(rotation), 이동(translation), 크기변화(scale) 등 다양한 선형 변형이 가능하다는 장점이 있다.

영상입력부(120)는 3차원얼굴영상데이터베이스부(110)에 저장되어 있는 얼굴영상들과 비교를 하기 위한 영상을 입력받는다.

영상입력부(120)를 통하여 입력받는 영상은 3차원 얼굴영상일 수도 있겠지만, 본 발명에서 초점을 맞추는 부분은 2차원 영상을 받았을 때 이 영상을 3차원 얼굴 영상과 비교를 하여 얼굴인식을 하는 것이므로, 본 발명에서 영상입력부(120)를 통하여 입력되는 영상은 2차원 영상이라는 것을 전제로 하여 설명을 한다.

영상입력부(120)를 통하여 입력되는 영상은 2차원 영상은 다양한 방법으로 입력이 가능하다.

예를 들어, 기존의 CCTV 영상, 블랙박스를 통하여 촬영된 영상 등을 캡쳐한 영상 등 이동형 혹은 비이동형 영상 촬영 기기를 통하여 얻어지는 영상이 있을 수 있다.

포즈정보추출부(130)는 영상입력부(120)로부터 입력된 영상으로부터 얼굴을 인식하고, 포즈정보를 추출한다.

포즈정보는 얼굴이 어떤 방향을 향하고 있는지 여부를 나타내기 위한 정보로 얼굴이 향하는 각도를 나타내는 요(yaw), 핏치(pitch), 롤(roll) 각도 정보를 포함한다.

이 포즈정보를 추출하는 방법으로는 사람의 얼굴을 소정 형상의 도형으로 가정하고, 상기 도형이 기준이 되는 방향으로부터 변경된 정보를 이용하여 상기 포즈정보를 추출하는 방식, 사람의 얼굴의 특징을 나타내는 부위(특징점)의 위상적 변화 정보를 이용하여 포즈정보를 추출하는 방식, 상기한 방식 또는 기타 방식을 2개 이상 조합하는 방식으로 포즈정보를 추출하는 방식 등이 있을 수 있다.

좀 더 구체적인 예를 들어 포즈정보를 추출하는 방식을 설명한다.

먼저, 사람 얼굴을 포함한 머리의 모양을 소정 형상의 도형, 예를 들어 원통형 또는 실린더형으로 가정하고 이의 변화정도를 이용하여 포즈 정보를 추출한다.

사람의 머리 모양을 원통 혹은 실린더와 같은 특정 도형 형상이라고 가정하고, 2차원 영상 속의 사람의 머리 및 얼굴을 상기한 도형 형상으로 모델링하고, 이 모델링된 형상의 방향을 기준이 되는 형상의 방향과 비교를 하면 각 방향으로 기울어진 각도를 포즈정보로 추출할 수 있게 된다.

예를 들어, 2차원 영상 속의 사람이 정면을 바라보지만 머리를 좌로 기울인 경우, 그 머리의 형태를 정해진 틀의 형상, 예를 들어 실린더 형상으로 모델링하고, 이렇게 모델링 된 실린더 형상을 기준이 되는 실린더 형상과 비교를 하면 머리가 좌측으로 어느 정도 기울어졌는지에 대한 정보가 추출될 수 있다.

또한, 상기한 실린더 형상에 얼굴에 해당하는 부분을 표시하고, 기준이 되는 실린더 형상과 비교를 하면, 얼굴이 위치한 부분의 차이에 따라 얼굴의 어느 쪽 방향을 향하고 있는지 여부를 판단할 수 있게 된다.

단순히 얼굴의 외곽선만을 가지고 판단할 수도 있지만, 눈, 코, 입, 귀 등 얼굴을 표현하는 특징점의 위치를 가지고 판단을 할 수도 있다.

기준이 되는 포즈에서의 이목구비와 같은 얼굴의 특징점들과 입력된 2차원 영상에서의 상기한 특징점들의 위상적(topological) 변화를 비교하면, 입력된 영상의 포즈를 알 수 있게 된다.

즉, 기준이 되는 자세, 예를 들어 고개를 똑바로 들고 정면을 바라보는 자세에서의 눈, 코, 입 등의 위치와 2차원 영상 속의 사람의 눈, 코, 입 등의 위치를 비교하면 2차원 영상 속의 사람의 얼굴이 향하는 방향, 기울어진 각도 등을 판단할 수 있게 된다.

사람의 머리 및 얼굴 모양을 모델링하여 포즈정보를 추출하는 방식과 얼굴의 특징점들의 위상적 변화를 이용하여 포즈정보를 추출하는 방식은 단독으로 사용될 수도 있고, 각 방식을 보완하기 위해 조합하여 사용될 수도 있을 것이다.

어느 하나의 방법만을 이용하여 포즈 정보를 추출하거나, 두 가지 방법을 조합하거나, 혹은 위에서 설명하지 않은 다른 방법으로 포즈 정보를 추출할지 여부는 시스템 운영자 혹은 설계자에 의해 정해질 수 있을 것이다.

2차원얼굴영상생성부(140)는 포즈정보추출부(130)에서 추출된 포즈정보를 이용하여 3차원얼굴영상데이터베이스부(110)에 저장되어 있는 3차원 얼굴 영상을 회전시켜서 동일한 포즈가 되도록 하고, 이렇게 된 상태에서 2차원 면 상에 투영시킨 2차원 얼굴 영상을 생성한다.

2차원얼굴영상생성부(140)에 의해 얻어진 2차원 얼굴 영상은 3차원 얼굴 영상을 기초로 생성된 것이기 때문에, 보다 완전한 영상을 얻을 수 있다는 장점이 있다.

즉, 2차원 영상을 기초로 3차원 얼굴 영상을 생성하는 경우에는 2차원 영상에서 나타나지 않은 부분을 추론하여 3차원 얼굴 영상을 생성하는 것이기 때문에 얼굴의 일부 영역은 실제 데이터와 완전히 일치한다고 보기는 어렵지만, 본 발명의 경우는 보다 많은 정보를 포함하고 있는 3차원 영상에서 2차원 얼굴 영상을 생성하는 것이기 때문에 존재하지 않는 데이터를 별도로 추론하는 등의 과정이 필요없고, 실제 촬영과 동일한 2차원 얼굴 영상이 획득될 수 있다.

3차원얼굴영상데이터베이스부(110)에는 복수의 인물 각각에 대한 3차원 얼굴 영상이 저장되어 있고, 본 발명은 영상입력부(120)를 통하여 입력된 영상의 인물이 3차원얼굴영상데이터베이스부(110)에 저장되어 있는 인물과 동일인물인지를 확인하는 것이 목적이기 때문에 2차원얼굴영상생성부(140)는 3차원얼굴영상데이터베이스부(110)에 저장되어 있는 3차원 얼굴 영상 각각에 대하여 모두 포즈정보추출부(130)에서 추출된 포즈정보와 동일한 포즈정보를 가지는 2차원 얼굴 영상을 생성하게 된다.

한편, 2차원얼굴영상생성부(140)는 3차원얼굴영상데이터베이스부(110)에 저장되어 있는 3차원 얼굴 영상에서 하나의 2차원 얼굴 영상만 생성할 수도 있지만, 복수개(N개)의 2차원 얼굴 영상을 생성하도록 할 수도 있다.

포즈정보추출부(130)에서 추출한 포즈정보가 오차가 없는 값이라면 하나의 2차원 얼굴 영상만을 생성하더라도 상관없겠지만, 포즈정보에는 약간의 오차가 발생할 가능성이 있기 때문에 추출된 포즈정보의 각도에서 소정 각도를 변경시킨 포즈정보를 이용하여 복수의 2차원 얼굴 영상을 생성한다.

생성되는 2차원 얼굴 영상의 수가 많아질수록 에러가 발생할 확률은 낮아지겠지만, 반대로 시스템의 처리 속도는 저하될 것이므로, 생성되는 2차원 얼굴 영상의 수, 변경되는 각도의 정도 등은 시스템 운영자 또는 설계자에 의해 임의로 설정이 가능하다.

얼굴인식부(150)는 영상입력부(120)에서 입력된 2차원 영상의 얼굴과 2차원얼굴영상생성부(140)에서 생성된 2차원 얼굴 영상들을 비교하여, 영상입력부(120)에서 입력된 영상의 인물이 3차원얼굴영상데이터베이스부(110)에 저장된 인물 중 어느 1인과 동일한지 여부를 판단한다.

얼굴 영상을 비교를 할 때에는 기존에 알려진 2차원 영상의 얼굴 비교 알고리즘을 이용할 수 있다. 구체적인 방법에 대한 설명은 생략한다.

본 발명은 입력된 2차원 영상은 그대로 두고, 저장되어 있는 3차원 영상의 얼굴을 입력된 영상과 동일한 포즈가 되도록 2차원 얼굴 영상으로 변경한 후 입력된 2차원 영상과 비교하는 방식을 취하고 있다.

입력된 2차원 영상을 3차원 얼굴 모델을 적용하여 정면으로 향하는 영상으로 복원하여 정면을 향하는 2차원 영상으로 변경하고, 이 2차원 영상을 저장되어 있는 2차원 얼굴 영상(정면을 바라보는 영상)과 비교를 하도록 하는 방식의 경우에는 입력된 2차원 영상에 보이지 않은 가려진 부분(self-occlusion) 때문에, 완벽한 정면 얼굴의 복원이 어렵게 되고, 이에 따라 얼굴인식률이 떨어지는 문제가 있다.

그러나 본 발명과 같이 입력된 영상을 그대로 둔 상태에서 저장되어 있는 영상, 구체적으로 3차원 얼굴 영상을 입력된 영상과 같은 포즈로 변경하여 비교를 하는 경우에는 가려진 부분으로 인해 제약되는 사항이 없기 때문에, 상기와 같은 문제는 발생하지 않는다는 장점이 있다.

한편, 얼굴인식부(150)는 영상입력부(120)에 입력된 2차원 영상의 얼굴과 2차원얼굴영상생성부(140)에서 3차원으로부터 투영되어 생성된 2차원 얼굴 영상을 비교할 때 정확성을 올리기 위하여, 2개의 영상 혹은 하나의 영상에 대하여 영상 정규화 과정을 거친 후 비교를 하게 된다.

영상 정규화 과정에서는 얼굴 영상의 조명 정규화, 얼굴 크기 정규화 과정 등이 수행된다.

특히 얼굴 크기 정규화의 경우, 영상에 얼굴의 두 눈이 존재하는 경우는 두 눈 사이의 거리로 비율 정규화를 수행하고, 측면 영상과 같이 두 눈이 존재하지 않는 경우에는 다른 얼굴의 특징점들(얼굴 외곽, 눈, 코, 입 등을 정의하는 점들) 사이의 거리의 비를 조정하거나 특징점들이 이루는 최대 넓이를 통해 얼굴 인식을 위한 영상 정규화가 가능하다.

얼굴 인식에 사용할 특징을 추출할 때에는 2차원 입력 영상 및 3차원 기반 2차원 투영 영상간의 전역적 인식(holistic recognition) 혹은 지역적 특징 기반 인식(local feature based recognition) 모두 사용이 가능하다.

전역적 인식을 위해서는 PCA(Principal Component Analysis: 주성분 분석법), LDA(Linear Discrimnant Analysis: 선형 판별 분석법) 등의 방식을 포함할 수 있다.

지역적 특징 기반 인식을 위해서는 SIFT(Scale Invariant Feature Transform 크기불변 특징 변환), LBP(Local Binary Pattern: 국부 이진 패턴), Gabor Filter Response(가버 필터 응답) 등의 특징을 이용할 수 있다.

한편, 얼굴인식부(150)는 2차원얼굴영상생성부(140)에서 생성된 복수개의 2차원 얼굴 영상을 대상으로 1:N 매칭을 수행하여 나온 N개의 유사도를 정합하여 최종 유사도를 계산하고, 이 최종 유사도를 이용하여 얼굴이 일치하는지 여부를 판단하도록 할 수 있다.

유사도를 정합하는 경우에는 기존에 알려진 다양한 유사도 정합 방식(합, 평균, 곱 등)이 사용가능하다.

유사도를 정합할 때에는 포즈 변형 정도를 감안하여 이에 대한 가중치를 계산하여 정합시에 정보로 활용이 가능하다.

구체적으로, 포즈정보추출부(130)에서 추출된 포즈정보를 그대로 이용하여 2차원얼굴영상생성부(140)에서 생성된 2차원 얼굴 영상과의 유사도에는 높은 가중치를 부여하고, 추출된 포즈정보로부터 불일치 정도가 커질수록, 즉 추출된 포즈정보의 각 방향의 각도와 더 차이가 나는 포즈정보로 생성된 2차원 얼굴 영상일수록 가중치를 낮게 하여 유사도를 산출하는 방법으로 정합을 할 수 있다.

이렇게 하는 경우 인식 성능이 더 향상될 수 있는 장점이 있다.

한편, 도 3은 본 발명의 방법을 도시한 흐름도이다.

먼저, 3차원얼굴영상데이터베이스부(110)는 인식하고자 하는 대상이 되는 사람의 3차원 얼굴 영상을 저장한다(201).

3차원 얼굴 영상은 처음부터 3차원 얼굴 영상을 획득하기 위해 복수의 카메라를 이용하여 촬영하여 얻어진 영상, 3차원 스캐너를 통하여 획득된 영상일 수도 있고, 하나 또는 복수의 2차원 사진을 이용하여 3차원 얼굴 모델링 방법에 의해 얻어진 영상, 2차원 영상을 3차원 얼굴 모델에 합성하여 생성된 영상 등 다양한 방법으로 얻어진 3차원 얼굴 영상이 포함될 수 있으며, 이렇게 획득된 3차원 얼굴 영상에는 얼굴의 3차원 공간정보(x, y, z) 및 텍스쳐 정보(컬러)를 모두 포함하고 있는 것이 바람직하다는 점은 앞에서 살펴본 바와 같다.

영상입력부(120)를 통하여 확인하고자 하는 사람의 얼굴이 포함된 2차원 영상이 입력되면(202), 포즈정보추출부(130)는 입력된 2차원 영상에서 얼굴을 인식하고, 인식한 얼굴의 포즈 정보를 추출한다(203).

영상입력부(120)를 통하여 입력되는 영상은 기존의 CCTV 영상, 블랙박스를 통하여 촬영된 영상 등을 캡쳐한 영상 등과 같이 이동형 혹은 비이동형 영상 촬영 기기 등을 통하여 다양한 방법으로 입력이 가능하다는 점은 앞에서 살펴본 바와 같다.

또한, 포즈 정보는 얼굴이 어떤 방향을 향하고 있는지 여부를 나타내기 위한 정보로 얼굴이 향하는 각도를 나타내는 요(yaw), 핏치(pitch), 롤(roll) 각도 정보를 포함한다는 점도 앞에서 살펴본 바와 같다.

포즈 정보를 추출하는 방법은 사람의 얼굴을 소정 형상의 도형으로 가정하고, 상기 도형이 기준이 되는 방향으로부터 변경된 정보를 이용하여 상기 포즈정보를 추출하는 방식, 얼굴 외곽선, 눈, 코, 입, 귀 등 얼굴을 표현하는 특징점들의 기준이 되는 포즈에서의 위상적(topological) 변화를 이용하여 포즈정보를 추출하는 방식, 상기한 방식 또는 기타 방식을 2개 이상 조합하는 방식으로 포즈정보를 추출하는 방식 등이 있을 수 있다는 점도 앞에서 살펴본 바와 같다.

2차원얼굴영상생성부(140)는 포즈정보추출부(130)에서 추출된 포즈정보를 이용하여 3차원얼굴영상데이터베이스부(110)에 저장되어 있는 3차원 얼굴 영상을 회전시켜서 동일한 포즈가 되도록 하고, 이렇게 된 상태에서 2차원 면 상에 투영시킨 2차원 얼굴 영상을 생성한다(204)

이 때, 2차원얼굴영상생성부(140)는 3차원얼굴영상데이터베이스부(110)에 저장되어 있는 3차원 얼굴 영상 하나에서 하나의 2차원 얼굴 영상만 생성할 수 있지만, 복수 개(N개)의 2차원 얼굴 영상을 생성할 수도 있다는 점은 앞에서 살펴본 바와 같다.

복수 개의 2차원 얼굴 영상을 생성할 때에는 포즈정보추출부(130)에서 추출된 포즈정보를 이용한 2차원 얼굴 영상과, 그 포즈정보의 각도를 소정 각도 변경시킨 포즈정보를 이용한 2차원 얼굴 영상을 생성하는 방식으로 복수 개의 2차원 얼굴 영상을 생성할 수.있다는 점도 앞에서 살펴본 바와 같다.

얼굴인식부(150)는 영상입력부(120)에서 입력된 2차원 영상의 얼굴과 2차원얼굴영상생성부(140)에서 생성된 2차원 얼굴 영상들을 비교하여, 영상입력부(120)에서 입력된 영상의 인물이 3차원얼굴영상데이터베이스부(110)에 저장된 인물 중 어느 1인과 동일한지 여부를 판단한다(205).

얼굴인식을 할 때에는 얼굴 영상의 조명 정규화, 얼굴 크기 정규화 과정 등 영상 정규화 과정을 먼저 수행하는 것이 바람직하며, PCA, LDA 등의 전역적 인식 방법, SIFT, LBP, Gabor 등의 특징을 이용하는 지역적 특징 기반 인식 방법 등이 이용될 수 있다는 점은 앞에서 살펴본 바와 같다.

또한, 얼굴인식부(150)는 2차원얼굴영상생성부(140)에서 생성된 복수개의 2차원 얼굴 영상을 대상으로 1:N 매칭을 수행하여 나온 N개의 유사도를 정합하여 최종 유사도를 계산하고, 이 최종 유사도를 이용하여 얼굴이 일치하는지 여부를 판단하도록 할 수 있으며, 유사도를 정합할 때에는 생성된 2차원 영상을 생성하기 위하여 사용된 포즈 정보(최초 추출된 포즈 정보 및 포즈 정보의 변형 정도)에 따라 가중치를 부여할 수 있다는 점도 앞에서 살펴본 바와 같다.

본 발명의 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims

복수의 카메라를 이용하여 획득한 3차원 얼굴 영상 또는 복수의 2차원 사진을 이용하여 3차원 얼굴 모델링 방법으로 획득한 3차원 얼굴 영상의 3차원 공간정보 및 컬러 정보를 저장하는 3차원얼굴영상데이터베이스부;
사람의 얼굴이 포함된 2차원 영상을 입력받는 영상입력부;
상기 2차원 영상에 포함된 상기 사람의 얼굴이 카메라가 있는 위치를 기준으로 어떤 방향에 있는지를 나타내는 포즈정보를 추출하고, 이 경우 포즈 정보는 상기 2차원 영상에 포함된 사람의 머리 및 얼굴 모양을 모델링하거나 또는 상기 2차원 영상에 포함된 상기 사람의 얼굴의 특징점들의 위상적 변화를 이용하여 추출되는 포즈정보추출부;
상기 2차원 영상에 포함된 상기 사람의 얼굴로부터 추출한 상기 포즈정보 및 추출된 포즈정보의 각도에서 소정 각도를 변경시킨 변경 포즈정보를 기초로, 상기 3차원얼굴영상데이터베이스부에 저장된 상기 3차원 얼굴 영상으로부터 복수의 2차원 얼굴 영상을 생성하는 2차원얼굴영상생성부; 및
상기 입력된 2차원 영상의 얼굴과 상기 생성된 복수의 2차원 얼굴 영상의 얼굴을 매칭하여 유사도 정합을 통해 얼굴인식을 위해 이용되는 최종 유사도를 산출하여 얼굴인식을 수행하고, 상기 변경 포즈정보에서 상기 각도를 변경시킨 정도에 따라 가중치를 달리하여 상기 유사도 정합을 수행하는 얼굴인식부;를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 투영을 통한 얼굴 인식 시스템.
삭제
삭제
삭제
삭제
사람의 얼굴이 포함된 2차원 영상을 입력받는 단계;
상기 2차원 영상에 포함된 상기 사람의 얼굴이 카메라가 있는 위치를 기준으로 어떤 방향에 있는지를 나타내는 포즈정보를 추출하는 단계;
복수의 카메라를 이용하여 획득한 3차원 얼굴 영상 또는 복수의 2차원 사진을 이용하여 3차원 얼굴 모델링 방법으로 획득한 3차원 얼굴 영상의 3차원 공간정보 및 컬러 정보가 저장된 3차원얼굴영상데이터베이스부에서 상기 포즈정보 및 추출된 포즈정보의 각도에서 소정 각도를 변경시킨 변경 포즈정보를 기초로, 복수의 2차원 얼굴 영상을 생성하는 단계; 및
상기 입력된 2차원 영상의 얼굴과 상기 생성된 복수의 2차원 얼굴 영상의 얼굴을 매칭하여 유사도 정합을 통해 얼굴인식을 위해 이용되는 최종 유사도를 산출하여 얼굴인식을 수행하는 단계;를 포함하고,
상기 얼굴인식을 수행하는 단계는 상기 변경 포즈정보에서 상기 각도를 변경시킨 정도에 따라 가중치를 달리하여 상기 유사도 정합을 수행하고,
상기 포즈 정보는 요, 피치, 롤(yaw, pitch, roll) 각도 정보를 포함하고, 상기 2차원 영상에 포함된 사람의 머리 및 얼굴 모양을 모델링하거나 또는 상기 2차원 영상에 포함된 상기 사람의 얼굴의 특징점들의 위상적 변화를 이용하여 추출되는 것을 특징으로 하는 3차원 얼굴 모델 투영을 통한 얼굴 인식 방법.
삭제
삭제
삭제
삭제
삭제
제 1 항에 있어서, 상기 포즈 정보는 요, 피치, 롤(yaw, pitch, roll) 각도 정보를 포함하는 것을 특징으로 하는 3차원 얼굴 모델 투영을 통한 얼굴 인식 시스템.
제 1 항에 있어서, 상기 2차원얼굴영상생성부는
3차원얼굴영상데이터베이스부에 저장된 3차원 얼굴 영상을 상기 입력된 2차원 영상 속의 사람이 향한 방향과 동일한 방향이 되도록 회전시키고, 그 상태에서 2차원 면에 투영시켜 2차원 얼굴 영상을 생성하는 것을 특징으로 하는 3차원 얼굴 모델 투영을 통한 얼굴 인식 시스템.
제 6 항에 있어서, 상기 2차원 얼굴 영상을 생성하는 단계는
3차원얼굴영상데이터베이스부에 저장된 3차원 얼굴 영상을 상기 입력된 2차원 영상 속의 사람이 향한 방향과 동일한 방향이 되도록 회전시키고, 그 상태에서 2차원 면에 투영시켜 2차원 얼굴 영상을 생성하는 것을 특징으로 하는 3차원 얼굴 모델 투영을 통한 얼굴 인식 방법.