KR20040049893A - 영상에서 자동으로 벡터 이미지 형태의 얼굴 아바타 생성 기법 - Google Patents

Abstract

본 발명은 입력된 얼굴영상에서 자동으로 특징값을 추출하여 벡터 그래픽 형태의 얼굴 이미지를 자동 생성하는 장치 및 그 방법에 관한 것이다.

본 발명에 의한 벡터 그래픽 얼굴 자동 생성 장치는 입력된 사진 또는 기타 영상 포맷에서 자동으로 얼굴 영역을 검출 후 눈, 코, 입, 얼굴의 윤곽 등과 같은 특징 요소를 데이터베이스 검색을 통한 특징 요소 분석을 하고, 다시 자동으로 벡터 그래픽 형태의 얼굴 아바타 영상을 만들어 낸다. 여기에는 사용자의 개입이 전혀 없이 입력된 영상에서부터 완전 자동으로 벡터 이미지의 얼굴 아바타 영상을 만드는 것이 이 발명의 주요 특징이다.

Description

영상에서 자동으로 벡터 이미지 형태의 얼굴 아바타 생성 기법 {Automatically Face Avatar Generation Method of Vector Image Type from an Image}

종래의 얼굴 아바타 생성 기법은 전문 화가가 직접 수동으로 캐리 커쳐를 그리는 방법, 얼굴 영역을 직접 추출 후 영상 필터를 사용한 화상 처리 방법, 그리고 입력된 영상에 사용자 인터페이스를 통하여 직접 특징점을 입력 및 얼굴 아바타를 생성하는 보조 툴이 있을 수 있다. 그러나 이와 같은 방법은 사용자의 조작이 상당히 많이 필요한 단점이 있으므로 자동화된 방법이 요구된다.

본 발명을 구현하기 위하여는 크게 세 가지 주요 기술이 필요하다. 자동으로 얼굴 영역 검출, 얼굴 요소의 특징 정보 자동 추출, 마지막으로 추출된 특징 정보를 사용한 벡터 이미지 형태의 얼굴 아바타 생성이다. 각각의 기법들이 모두 효과적으로 수행되어야만 이들을 조합하여 완전 자동으로 얼굴 아바타를 생성할 수 있다.

자동으로 얼굴을 검출하는 알고리즘은 얼굴 인식 알고리즘과 함께 여러 논문에서 다양한 기법들이 제안되어왔고 현재에도 보다 빠른 속도에 높은 정확성을 보장하기 위하여 많은 연구 개발이 이루어지고 있는 분야이다. 본 발명의 경우 얼굴 인식 과정은 필요치 않으며 얼굴 검출 기능만이 필요하다.

그리고 얼굴 요소의 특징 정보를 자동 추출하기 위한 방법으로는 얼굴 요소인 눈, 코, 입 등의 크기를 측정한다든 방향 정보를 측정하거나 표준 특징 영상과 국부 정합을 통하여 특징점의 변위를 추정하기도 한다.

마지막으로 벡터 이미지 형태의 얼굴 아바타를 생성하는 것으로서 대부분의 방법은 디자이너가 미리 디자인 한 벡터 정보를 사용하는 것이다. 여러 논문과 같이 디자이너가 초기 벡터 값을 제시하고 이것들에 대한 변형을 수행하는 경우도 있지만 연산량의 증가로 수행속도가 매우 늦은 단점이 있다.

본 발명은 상기와 같은 문제를 해결하고 보완하기 위하여 창작된 것으로서, 입력된 영상에서 완전 자동으로 얼굴 특징을 추출하여 입력 영상과 닮은 얼굴 아바타를 생성하는 것이다. 일반적인 얼굴 아바타 생성 기법의 경우 사용자가 직접 얼굴 윤곽, 눈, 코, 입 등의 요소를 임의로 선택하여 조합하는 방법으로써 다양한 표정의 얼굴 아바타를 생성할 수 있다. 그렇지만 본인과 닮은 개성 있는 결과물을 얻기에는 공정성 및 유일성이 많이 부족하다. 한편 자신의 사진을 바탕으로 하여 그 위에서 얼굴 특징 요소를 그리거나 선택하는 방법의 경우 자신과 닮은 얼굴 아바타를 생성할 수 있지만 많은 시행착오 및 경험, 숙련된 조작이 필요하기 때문에 편의성이 많이 떨어진다. 본 발명의 기법은 사용자의 개입 없이 완전 자동으로 입력된 영상의 특징을 추출하고 닮은 얼굴 아바타를 생성하기 때문에 공정성, 유일성 및 편의성 측면에서 이 모두를 만족할 수 있다.

이를 구현하기 위하여 일차적으로 입력되는 임의의 크기 영상에서 정확한 얼굴 위치 검출이 수행되고 이를 기반으로 얼굴 요소들의 위치를 파악한다. 추출된 얼굴 요소들에 대하여 얼굴 요소 데이터베이스의 검색을 통하여 각 요소의 특징점 및 가장 적합한 얼굴 요소가 가지는 특징의 원형을 선택한다. 마지막으로 각 얼굴 요소 데이터베이스에 연동된 특징 벡터 이미지 정보를 직접 또는 간단한 변형 함수를 거친 후 얼굴 아바타를 생성한다. 여기에 사용자가 개입하는 부분은 입력 영상을 제공하는 것뿐이고 나머지 과정은 완전 자동으로 수행된다.

제1도는 자동으로 얼굴 아바타를 생성하는 시스템의 전체 흐름도.

제2도는 얼굴 위치 검출 흐름도.

제3도는 눈 후보 클러스터의 예.

제4도는 평균얼굴 영상의 예.

제5도는 추출된 얼굴요소의 예.

제6도는 벡터 이미지를 구성하는 점의 구조.

제7도는 각 얼굴 요소 단위의 검색을 통하여 벡터 이미지 생성 흐름도.

제8도는 벡터 이미지를 합성하여 생성된 얼굴 아바타의 예.

상기의 목적을 달성하기 위하여 본 발명에 의한 완전자동 얼굴 아바타 생성 장치는 입력된 영상에서 얼굴을 검출하고 눈, 눈썹, 코, 입과 같은 얼굴 특징 요소를 자동 추출하는 장치; 및 얼굴 특징 요소에 대한 데이터베이스 검색을 통한 최적 벡터 그래픽 정보를 생성하는 장치; 및 생성된 벡터 그래픽 정보를 가지고 얼굴 아바타를 생성하는 장치를 포함한다.

이하에서, 본 발명의 바람직한 실시 예들을 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 전체 프로세스를 나타낸 것으로서 입력된 영상에서 벡터 그래픽으로 생성된 얼굴 아바타의 생성 과정을 도식화한 것이다.

도 1을 참조하여 설명하면, S100 과정에서 영상을 입력받게된다. 이때 입력되는 영상은 픽셀의 집합으로 구성된 영상인 한 장의 프레임으로서 얼굴 아바타로 변환하고자 하는 실제 얼굴이 포함된 영상을 말한다. 영상의 포맷은 컬러 혹은 흑백 모두 가능하며 얼굴의 크기는 얼굴 요소인 눈, 코, 입 등이 확연히 구분될 정도의 크기 이상이면 된다.

도1의 S200과정은 입력된 영상으로부터 실제 얼굴의 위치를 검출하는 부분으로써 도2에 보다 명확한 흐름을 나타내었다. 도2의 S210에서 얼굴 후보영역 설정을 위하여 입력영상에 밝기 정규화 및 이진화 작업을 한다. 이 후 클러스터링을 통하여 얼굴 검출에 가장 특징이 되는 눈의 후보영역을 선정하게된다. 도3의 a그림은눈 후보로 선정된 클러스터들이다.

도2의 S220에서는 도3과 같이 여러 후보영역 중에서 가장 얼굴에 가까운 후보영역을 찾는 것으로 S210단계에서 선정된 후보들에 대해 도4와 같은 평균 얼굴과 비교를 통하여 가장 적합한 결과를 얻는 눈 후보를 선택하게되고 최적의 얼굴 영역 하나를 선정하게된다. 이때 S220단계에서 선정된 두 눈의 위치 및 거리의 정보를 사용하여 영상의 회전, 크기 변환, 자르기를 통하여 정규화된 얼굴 영상을 획득한다. 즉, 선정된 눈 후보 위치를 기준으로 최적 얼굴 영역 위치 및 크기를 계산하고 S230에서 얼굴 요소 추출을 위한 정규화된 얼굴 영상을 만들게 된다. 이때 정규화된 영상은 도5에서 검은색 실선으로 나타난 상자이다. 만약 영상 내 얼굴 영역이 없거나 영상의 질이 떨어져 자동 얼굴 영역 검출이 실패하였을 경우 새로운 영상을 다시 입력받도록 S100단계로 돌아간다.

도1의 S300은 정규화된 얼굴 영상에서 눈, 눈썹, 코, 입 및 얼굴 윤곽에 해당하는 얼굴 요소를 결정하는 과정이다. 눈, 눈썹, 코, 및 입 영역은 S210 단계에서 구하여진 후보 영역 중에서 S220에서 선정된 두 눈 영역을 기준으로 위치적으로 타당한 후보 클러스터를 각각의 해당 영역으로 결정한다. 도5는 얼굴 요소들에 대하여 자동으로 검출된 결과 그림이다. 얼굴 요소를 설정하는 방법은 S220에서 생성된 얼굴 위치 및 크기정보에서 기하학적으로 배치될 수 있는 얼굴 요소의 위치를 미리 선정하고 그 위치 내 영상 탐색을 통하여 얼굴요소 템플릿을 생성한다. 생성된 템플릿은 도5에서 점선으로 나타난 상자들로 표현하였다.

1 도1의 S400은 각 특징요소별 최적 템플릿 검색 단계이다. 각 요소별 템플릿 영상은 트레이닝 데이터에 의해 얼굴 요소의 종류별로 미리 준비를 하여 데이터베이스를 구성하고 각 데이터베이스의 템플릿들마다 벡터 그래픽으로 완성된 얼굴 요소가 준비되어있다. 도6은 벡터 그래픽에서 표현되는 점의 구조로서 3개의 (x, y) 좌표 점 구조를 갖는다. 이들 점의 집합이 하나의 얼굴 요소 벡터가 된다. 도1의 S400 과정을 보다 자세히 나타낸 것이 도7이다. 도7의 S410에서는 S300 과정에서 선별한 얼굴 요소 각각에 대하여 정확한 중심 위치를 결정하게되고, S420 단계에서 데이터 베이스에 있는 템플릿과 같은 크기의 요소가 되도록 크기 정규화를 수행한다. S430단계에서 각 얼굴 요소별로 가장 잘 맞는 템플릿을 검색하게 되고 선택된 템플릿이 가지고 있는 벡터들의 집합을 S440단계에서 결정한다.

도1의 S500단계에서는 S400단계에서 결정된 얼굴 요소 벡터들을 모아서 얼굴 아바타를 완성한다. 도8은 합성된 벡터 이미지를 가지고 생성한 얼굴 아바타의 예 이다.

상기한 바와 같이 이루어진 본 발명에 따른 자동 얼굴 아바타 생성 방법은 사용자의 개입을 최소화 할 수 있어 그 사용의 편의성이 극대화된다. 그리고 최종 출력인 얼굴 아바타가 벡터 그래픽에 적합한 데이터 구조를 갖기 때문에 벡터 이미지 포맷으로 변환이 용이하며 크기 변환 또는 다양한 표정 변환을 위한 작업을 벡터 위치에 대한 수학적 연산을 통하여 쉽게 구현 가능하고 최종 결과물의 품질 또한 양호하게 유지하는 효과가 있다. 특히 유/무선망을 통하여 얼굴 정보를 전송 또는 저장할 경우 픽셀단위의 영상 정보 보다 그 데이터 량이 월등히 적기 때문에 효과적인 전송/저장이 가능하다.

Claims (5)

1. 픽셀 포맷으로 구성된 영상에서 얼굴 영역및 얼굴 특징 요소를 추출 후 그에 상응하는 벡터 이미지 형태의 얼굴을 자동으로 생성하는 장치 또는 컴퓨터 응용 프로그램.
2. 청구항 1에 있어서 그 결과인 벡터 이미지로 구성된 얼굴 아바타 정보를 장치 또는 프로그램 내부에서 가지고 있으며 이를 랜더링하여 최종 결과물의 형태를 픽셀 구조의 영상 포맷으로 재생산 하는 행위.
3. 얼굴 요소의 벡터 이미지를 생성하기 위하여 각 얼굴 요소에 대하여 트레이닝을 통한 다양한 템플릿을 생성 후 그것으로 데이터 베이스를 구성하고 그 데이터 베이스 마다 각각의 템플릿에 대하여 벡터 집합으로 구성된 벡터 이미지를 1:1로 대응하고 벡터 이미지를 구축하는 방법.
4. 얼굴 요소의 벡터 이미지를 생성하기 위하여 각 얼굴 요소에 대하여 트레이닝을 통한 다양한 템플릿을 생성 후 그것으로 데이터 베이스를 구성하고 한편 각 얼굴 요소에 대하여 표준 벡터 이미지를 설정하고 데이터베이스 마다 각각의 템플릿에 대하여 백터의 변형 방법을 1:1로 대응하여 구축하는 방법.
5. 청구항 3, 청구항 4에 있어서 이를 구현하기 위하여 얼굴 요소마다 정규화 과정 또는 정규화 및 트레이닝 과정을 거쳐 데이터 베이스를 구축하는 시스템.