KR20140139730A - 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법 - Google Patents

Abstract

본 발명은 깊이 차이를 이용하여 얼굴의 구성요소들이 자동으로 분류된 얼굴 인식용 3차원 영상 데이터베이스를 생성하고 얼굴 영상과 분류된 얼굴 구성 요소들의 데이터를 출력하는 방법에 관한 것으로, 본 발명에 의한 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법은, 패턴 발생 장치를 통해 패턴 라이트 또는 레이저 라인을 대상물의 얼굴에 주사하고, 두 대의 디지털 카메라로 대상물의 얼굴을 촬영하여 얻어진 데이터로 3차원 위치값을 값는 점군 데이터의 영상을 형성시키는 얼굴 영상 입력 단계; 점군 데이터의 영상에서 목 영역을 기준으로 몸 영역을 제거하여 얼굴 영상을 추출하는 얼굴 영상 추출 단계; 얼굴 영상에서 깊이 차이를 이용하여 얼굴의 구성요소들의 관심 영역을 추출하고, 얼굴의 구성요소들이 갖는 대칭적 거리 특성을 이용하여 추출된 관심 영역의 정확성을 높이는 얼굴 구성요소 추출 단계; 및 얼굴 전체 및 추출된 얼굴 구성요소들의 분류 정보를 데이터베이스화 하여 저장하는 얼굴 인식용 3차원 영상 데이터베이스 생성단계;를 포함하여 구성된다.

Description

깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법{Method for classifying elements of face using depth difference}

본 발명은 얼굴 구성요소의 자동 분류 방법에 관한 것으로, 보다 상세하게는 깊이 차이를 이용하여 얼굴의 구성요소들이 자동으로 분류된 얼굴 인식용 3차원 영상 데이터베이스를 생성하고 얼굴 영상과 분류된 얼굴 구성 요소들의 데이터를 출력하는 방법에 관한 것이다.

디지털 콘텐츠는 하나의 콘텐츠를 여러 개로 분할하고 다른 콘텐츠와의 결합을 통해 새로운 디지털 콘텐츠의 생성이 가능하다는 이점이 있다.

이러한 디지털 콘텐츠 중에서 기존의 얼굴 형상 정보를 획득하는 방식은 얼굴 영역을 검출하는 것으로, 복잡하게 구성된 영상에서 배경을 제거하고 주 관심 영역인 얼굴만을 분리해내는 것을 의미한다. 즉, 얼굴 형상 정보 획득 방식은 주로 영상에서 얼굴이 있는 위치를 알아내는 것으로, 얼굴의 열상을 이용하는 방식, 에지를 이용한 윤곽이나 질감을 이용하는 방식, 피부색과 3차원 얼굴 영상을 이용하는 방식 등으로 구분할 수 있다.

하지만 사람의 얼굴은 형태적 변화와 밝기 정도의 차이, 배경과 같은 다른 객체 등 외부적 변화에 따라 다양하게 나타나므로 영상으로부터의 얼굴 검출 연구는 많은 어려움을 포함하고 있다. 또한 기존의 얼굴 형상 정보 획득 방식은 얼굴 형태 정보만을 검출할 뿐이고, 눈, 코, 입, 귀 등 얼굴 주요 부위를 자동 분류하여 저장하는 방식은 거의 찾아 볼 수 없다. 이러한 형상 정보의 전자 디스플레이를 위해서는 디지털 콘텐츠 생성을 위한 2차원/3차원 스캐너가 개발되어야 하며, 형상 정보를 얻기 위해서는 깊이 정보, 입력 장치, 출력장치의 특성화 과정이 필요하다.

얼굴 구성 요소를 인식하는 방법에는 얼굴 영역 전체를 모델링하는 방식과, 얼굴 요소를 찾는 방식에 따라 얼굴의 형판 정합에 기반을 둔 방법과 얼굴의 국부적 특징에 기반을 둔 방법으로 나눌 수 있다.

형판 정합 방법은 얼굴에 대한 표준적인 형판을 만들고 입력 영상에 대해 탐색창을 적용하여 각 탐색창 영상을 형판과 비교하여 얼굴 영역을 찾는 방법으로, 얼굴의 특정 영역을 추출하여 상관도나 최소 SSD(Sum Of Squared Difference) 등을 이용하는 방법이다. 형판 정합 방법은 적절한 형판을 구현한다면 좋은 결과를 보일 수 있으나, 인식 속도가 느리고 많은 양의 메모리가 요구되므로 대용량의 데이터베이스 구현에는 적당하지 못하다.

그리고 특징 기반 접근법은 얼굴의 구성 요소인 눈, 코, 귀, 입 등을 추출하여 이들의 상관 관계를 사전 지식으로 이용하는 방법으로 추출된 영상에서 특정 벡터를 계산하여 인식할 수 있지만, 얼굴의 기울기에 따라 얼굴의 특징 성분을 검출하지 못할 수 있기 때문에 조명과 포즈 등의 잡음에 상당히 민감하다는 단점이 있다.

대한민국 공개특허공보 제10-2002-0014844호(2002.02.27)

본 발명은 상기의 문제점을 해결하기 위하여 안출된 것으로, 얼굴 인식을 위해 얼굴과 가장 유사한 출력물을 2차원/3차원 영상과 함께 디스플레이에 재현하고, 또한 얼굴의 깊이 차이를 이용하여 눈, 코, 입 ,귀, 인중 등 얼굴 주요 부위의 3차 형상 정보의 자동으로 분류하는 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법을 제공함을 그 목적으로 한다.

상기의 목적을 달성하기 위하여, 본 발명에 의한 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법은, 패턴 발생 장치를 통해 패턴 라이트 또는 레이저 라인을 대상물의 얼굴에 주사하고, 두 대의 디지털 카메라로 상기 대상물의 얼굴을 촬영하여 얻어진 데이터로 3차원 위치값을 값는 점군 데이터의 영상을 형성시키는 얼굴 영상 입력 단계; 상기 점군 데이터의 영상에서 목 영역을 기준으로 몸 영역을 제거하여 얼굴 영상을 추출하는 얼굴 영상 추출 단계; 상기 얼굴 영상에서 깊이 차이를 이용하여 얼굴의 구성요소들의 관심 영역을 추출하고, 얼굴의 구성요소들이 갖는 대칭적 거리 특성을 이용하여 추출된 관심 영역의 정확성을 높이는 얼굴 구성요소 추출 단계; 및 얼굴 전체 및 추출된 얼굴 구성요소들의 분류 정보를 데이터베이스화 하여 저장하는 얼굴 인식용 3차원 영상 데이터베이스 생성단계;를 포함하여 구성된다.

상기 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법에 있어서, 상기 얼굴 인식용 3차원 영상 데이터베이스에서 얼굴 형상 정보를 추출하여 2차원 또는 3차원 영상으로 출력하고, 얼굴 영상과 분류된 얼굴 구성 요소들의 데이터를 출력하는 2차원/3차원 얼굴 형상 정보 출력단계;를 더 포함하여 구성됨을 특징으로 한다.

이상 설명한 바와 같이 본 발명에 의하면, 얼굴 인식을 위해 얼굴과 가장 유사한 출력물을 2차원/3차원 영상과 함께 디스플레이에 재현하고, 또한 얼굴의 깊이 차를 이용하여 눈, 코, 입 ,귀, 인중 등 얼굴 주요 부위의 3차 형상 정보를 자동으로 분류하여 디스플레이에 재현할 수 있게 된다.

도 1은 본 발명에 의한 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 과정을 설명하는 흐름도이고,
도 2는 3차원 얼굴 형상 모델을 예시적으로 도시한 것이고,
도 3은 얼굴 영상 입력을 위한 패턴 발생 장치와 카메라의 위치를 설명하기 위한 도면이고,
도 4는 얼굴에 패턴 라이트를 주사하는 모습을 예시적으로 도시한 것이다.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.

도 1에 의하면, 본 발명에 의한 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법은 얼굴 영상 입력 단계(S10), 얼굴 영상 추출 단계(S20), 얼굴 구성요소 추출 단계(S30), 얼굴 인식용 3차원 영상 데이터베이스 생성단계(S40) 및 2차원/3차원 얼굴 형상 정보 출력단계(S50)를 포함하여 구성된다. 그리고 도 2는 3차원 얼굴 형상 모델을 예시적으로 도시한다.

얼굴 영상 입력 단계(S10)에서는 패턴 발생 장치를 통해 패턴 라이트 또는 레이저 라인을 대상물의 얼굴에 주사하고, 두 대의 디지털 카메라로 상기 대상물의 얼굴을 촬영하여 얻어진 데이터로 3차원 위치값(X,Y,Z)을 값는 점군 데이터(Point Cloud)의 영상을 형성시킨다.

얼굴 영상 추출 단계(S20)에서는 사전 작업으로 인체 부분과 배경 부분을 분리하는데, 통상적인 촬영 환경에서 배경 부분은 평면 즉 2D인 경우가 많으므로 3D 형상을 구성하는 데이타와는 바로 구분이 가능하다. 배경이 3D 데이터인 경우라 할지라도 카메라에서 일정 거리 이상 떨어진 점들과 출현 빈도가 낮은 점들을 삭제하는 방식에 의해 배경 처리가 가능하다(또는, 불필요한 부분을 삭제할 수 있는 소프트웨어를 포함시키는 방법도 가능하다).

이후, 얼굴 영상 추출 단계(S20)에서는 점군 데이터의 영상에서 목 영역을 기준으로 몸과 얼굴 영역 구분한다(S21). 즉, 얼굴과 몸의 영역을 분리하기 위해 다른 신체 부위와 상대적으로 너비가 좁은 부위인 목 영역을 중심으로 얼굴과 몸의 영역을 구분할 수 있다. 입력된 얼굴 영상의 너비 값을 계산하여 너비 값이 최소화 되는 지점을 중심으로 위를 얼굴 영역, 아래를 몸의 영역으로 구분하여 계산하게 된다.

얼굴 영상 추출 단계(S20)에서는 다음으로 점군 데이터의 영상에서 몸 영역을 제거하는데(S23), 입력된 영상의 너비 값이 가장 최소화 값을 가지는 목의 영역 아래 지점인 몸의 영역을 제거한다.

얼굴 구성요소 추출 단계(S30)에서는 먼저, 얼굴 각 구성요소의 깊이 정보 획득하고(S31), 다음 얼굴 각 구성요소의 대칭적 거리 정보를 획득한다(S33).

깊이 정보 획득(S31)에 대하여 설명하면 다음과 같다.

얼굴의 각 구성요소는 서로 다른 얼굴 깊이 특징 값을 가진다.

먼저 코는 얼굴 구성요소들 중 가장 높은 부분이 되며 다른 얼굴 구성요소와 달리 깊이 값이 두드러진다. 특히 코 밑 부분에서 코 끝이 만나는 부분에서의 깊이 차이가 가장 크므로, 가장 높은 깊이 차이로 코의 영역을 추출해 낼 수 있다.

눈과 입의 경우 얼굴 영역에서 오목한 부분을 찾아내고 눈과 입의 좌,우 끝 부분을 3차원 직선 거리로 계산하여 관심 영역을 추출할 수 있다.

이와 같은 방식으로 얼굴의 지형적 특징을 고려하면 눈, 코, 입 등이 존재할 대략적인 후보 영역을 찾을 수가 있다.

대칭적 거리 정보 획득(S33)에 대하여 설명하면 다음과 같다.

각 얼굴 구성요소의 깊이 정보에 정확성을 높이기 위해 각 얼굴 구성요소의 대칭적 거리를 계산하여 거리 정보를 획득한다. 예를 들어, 얼굴의 중심인 코를 중심으로 눈의 구성요소가 대칭적 위치에 있는지 확인한 후, 최종적으로 눈의 관심 영역을 획득한다.

얼굴 인식용 3차원 영상 데이터베이스 생성단계(S40)에서는 얼굴 전체 및 추출된 얼굴 구성요소들의 분류 정보를 데이터베이스화 하여 저장한다.

또한, 2차원/3차원 얼굴 형상 정보 출력단계(S50)에서는 얼굴 인식용 3차원 영상 데이터베이스에서 얼굴 형상 정보를 추출하여 2차원 또는 3차원 영상으로 출력하고, 얼굴 영상과 분류된 얼굴 구성 요소들의 데이터를 출력한다.

본 발명에 의하면, 얼굴 형상 정보를 통해 얻은 데이터를 이용한 얼굴 인식용 3차원 영상 데이터베이스 구축을 통해 얼굴 인식 기술 상용화에 기여하게 된다.

<얼굴 형상 정보를 이용한 응용 분야>

응용 제품군	관련 기술
각종 신분증 조회	노화 인식, 표정 인식
접근 제어 시스템	얼굴 검출, 포즈 인식
공공장소 감시	얼굴 검출, 경보 시스템, 카메라 자동 작동 기술
범죄자 사진 조회	대용량 얼굴 형상 정보 DB 구축, 노화 인식
인터넷 사진 검색	얼굴 검출, 표정 인식, 포즈 인식
차량 도난 방지 및 졸음 방지	얼굴 검출, 얼굴 인식
스크린 세이버(개인 사용자 인증)	얼굴 검출, 얼굴 인식

Claims (2)

1. 패턴 발생 장치를 통해 패턴 라이트 또는 레이저 라인을 대상물의 얼굴에 주사하고, 두 대의 디지털 카메라로 상기 대상물의 얼굴을 촬영하여 얻어진 데이터로 3차원 위치값을 값는 점군 데이터의 영상을 형성시키는 얼굴 영상 입력 단계;
   상기 점군 데이터의 영상에서 목 영역을 기준으로 몸 영역을 제거하여 얼굴 영상을 추출하는 얼굴 영상 추출 단계;
   상기 얼굴 영상에서 깊이 차이를 이용하여 얼굴의 구성요소들의 관심 영역을 추출하고, 얼굴의 구성요소들이 갖는 대칭적 거리 특성을 이용하여 추출된 관심 영역의 정확성을 높이는 얼굴 구성요소 추출 단계; 및
   얼굴 전체 및 추출된 얼굴 구성요소들의 분류 정보를 데이터베이스화 하여 저장하는 얼굴 인식용 3차원 영상 데이터베이스 생성단계;를 포함함을 특징으로 하는 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법.
2. 제1항에 있어서,
   상기 얼굴 인식용 3차원 영상 데이터베이스에서 얼굴 형상 정보를 추출하여 2차원 또는 3차원 영상으로 출력하고, 얼굴 영상과 분류된 얼굴 구성 요소들의 데이터를 출력하는 2차원/3차원 얼굴 형상 정보 출력단계;를 더 포함함을 특징으로 하는 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법.

Images