KR100450210B1 - 3차원 스캔 얼굴모델의 합성 시스템과 그 방법 및 3차원스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된기록매체 - Google Patents

Abstract

본 발명은 3차원의 얼굴 스캔데이터를 실린더 좌표계 변환 및 매핑 처리하여 얼굴모델 데이터베이스를 구축함과 더불어, 그 얼굴모델 데이터베이스를 이용하여 통계 기반 3차원 얼굴모델의 합성이 가능하도록 하는 3차원 스캔 얼굴모델의 합성 시스템과 그 방법 및 3차원 스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된 기록매체를 제공한다.

이를 위해 본 발명은 다수의 3차원 얼굴 스캔데이터에 대한 메쉬 및 폴리곤의 자료구조를 통일화시키기 위한 보정을 수행하는 데이터 보정수단과, 상기 데이터 보정수단에 의해 보정된 3차원 얼굴모델 데이터가 분류별로 저장되는 얼굴모델 데이터베이스, 상기 얼굴모델 데이터베이스에 저장된 다수의 얼굴모델 데이터에 대한 평균 얼굴모델을 생성하기 위한 평균모델 생성수단, 상기 평균모델 생성수단에서 생성된 평균 얼굴모델과 각 얼굴모델과의 차이값을 산출하여 얼굴모델에 대한 확률분포값을 생성하는 확률분포 추출수단, 외부로부터 입력받은 사용자의 모델특징 파라미터에 기초하여 평균모델 데이터와 각 얼굴모델 데이터와의 통계적으로 조합된 얼굴모델을 생성하는 통계모델 생성수단 및, 상기 통계모델 생성수단을 통해 생성된 통계적 얼굴모델과 각 얼굴모델 데이터에 대한 모핑 및 캐리커쳐를 통해 새로운 얼굴모델을 합성처리하는 모델 합성수단으로 구성된 것을 특징으로 한다.

Description

3차원 스캔 얼굴모델의 합성 시스템과 그 방법 및 3차원 스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된 기록매체{System and method for compositing three dimension scan face model and recording medium having program for three dimension scan face model composition function}

본 발명은 3차원 스캔 얼굴모델의 합성 시스템과 그 방법 및 3차원 스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된 기록매체에 관한 것으로서, 보다 상세하게는 임의의 3차원 얼굴모델의 스캔데이터를 보정처리하여 얼굴모델의 데이터베이스를 구축하고, 그 얼굴모델 데이터베이스의 얼굴모델 데이터를 기초로 확률적으로 존재 가능한 새로운 3차원 얼굴모델을 합성해내기 위한 3차원 스캔 얼굴모델의 합성 시스템과 그 방법 및 3차원 스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된 기록매체에 관한 것이다.

일반적으로, 인간의 얼굴을 컴퓨터를 이용하여 모델링하는 과정에 있어서 현실적으로 존재하기 어려운 자연스럽지 못한 얼굴을 생성하지 않기 위해서는 고도의 전문성과 많은 시간을 투자한 수작업이 요구되는 바, 자동적인 얼굴 합성기술과 얼굴의 애니메이션 처리 방식에서의 어려운 점은 많은 얼굴모델 중에서 서로 대응되는 특징 지점을 찾아서 규정화시키는 문제와 현실 세계에서 존재가 가능한 얼굴 모습과 존재하기 어려운 얼굴 모습을 구분해내는 것이다.

즉, 얼굴모델의 생성 및 모핑 처리에 있어서 각 얼굴모델 간의 특징점의 대응은 매우 중요하게 대두되는 바, 각 얼굴 모델 사이의 동일한 지점에 대한 대응관계를 찾기 위해서는 통상적으로 얼굴의 코끝이나 눈끝과 같은 지점에 특징점을 표시하고, 그 특징점을 대응시키는 경우에 약 50∼300개 정도의 범위 내에서 특징점이 잡히게 되지만, 보다 정확한 특징점을 추출하기 위해서는 장시간에 걸친 수작업이 선행되어야 한다.

또한, 정확한 얼굴 모델의 생성과 모핑이 가능하도록 하기 위해서는 모든 특징점들이 정확하게 정렬됨과 동시에 각각의 대응관계가 정의되어야 하고, 이를 위해서는 작업자의 경험적 지식에 의존할 수 밖에 없으며 엄청난 양의 수작업이 요구될 수 밖에 없다. 즉, 현재의 얼굴모델 생성의 기술에서는 눈끝점이나 입술 끝점 등과 같이 시각적으로 뚜렷이 구별되는 특징점에 대한 자동 매칭 기술만이 구현되어 있고, 나머지의 과정에 대해서는 다수의 수작업이 필요하게 되는 것이다.

또한, 얼굴 모델의 생성에 있어서 다른 문제점은 현실 세계에 존재하는 자연스러운 얼굴 모습과 자연스럽지 못한 얼굴 모습을 구분하는 것인데, 이를 해결하기 위해서는 작업자의 경험적인 지식이 절대적으로 작용하게 되지만, 3차원적인 얼굴 모델을 이용하여 얼굴의 각종 특징들을 조작하고 시각적으로 자연스러운 효과를 창출하기 위해서는 작업은 많은 시간투자가 요구되고, 작업자의 상당한 미적 감각이 요구되는 것이다.

상기한 문제점을 해결하기 위해, 최근에는 다수의 3차원 얼굴의 스캔데이터를 광학 흐름(Optical Flow) 알고리즘 및 초기화(Bootstrapping) 알고리즘을 적용한 자동 대응방법을 이용하여 스캔데이터의 외형(Geometry) 및 색상(Color)을 꼭지점 별로 1 : 1 점대점으로 대응시키고, 각 모델들의 꼭지점을 선형으로 조합함에 의해 새로운 외형 및 얼굴색을 가지는 모핑이 가능한 얼굴모델(Morphable Face Model)의 생성기법이 개발된 상태이다.

이러한 모핑 가능한 얼굴 모델의 생성기법은 비선형 방정식과 확률을 도입하여 2차원의 스캐닝된 얼굴 이미지에 모핑이 가능한 모델을 결합하여 3차원으로 재구성하는 방식이다.

그러나, 이러한 종래의 모핑이 가능한 얼굴 모델의 생성기법은 3차원 상에서 실린더 좌표계로 스캔된 다수의 얼굴 모델이 필요하지만 이러한 얼굴 모델을 취득하기 위해서는 수많은 수작업을 통해 각각의 스캔된 얼굴 모델들을 대응시키는 작업을 수행해야 하고, 비선형 방정식과 매칭 방식의 도입으로 인해 얼굴 모델의 합성을 위한 알고리즘이 복잡해 지게 되고 방대한 양의 계산이 이루어져야 한다는 문제점이 있다.

또한, 종래의 얼굴 모델링 과정에 있어서는 얼굴 모델링의 결과가 현실 세계에서 존재하기 어려운 자연스럽지 못한 얼굴 모습이 산출될 우려성이 많고, 각 얼굴 메쉬 간의 대응점의 결여로 인해 모핑이나 합성 등이 어렵게 되고 이로 인한 수작업이 증가한다는 불리함이 있으며, 작업자의 개인적인 판단기준이나 작업능력에 따라 모델링의 결과가 좌우되기 때문에 모델링된 결과치가 일정하게 산출되지 못한다는 문제점이 있다.

따라서, 본 발명은 상기한 종래의 문제점을 해소하기 위해 이루어진 것으로서, 그 목적은 3차원의 얼굴 스캔데이터를 실린더 좌표계 변환 및 매핑 처리하여 얼굴모델 데이터베이스를 구축함과 더불어, 그 얼굴모델 데이터베이스를 이용하여 통계 기반 3차원 얼굴모델의 합성이 가능하도록 하는 3차원 스캔 얼굴모델의 합성시스템과 그 방법 및 3차원 스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된 기록매체를 제공하는 것이다.

본 발명의 다른 목적은 모핑이 가능한 얼굴모델을 생성하여 모델간의 모핑 및 특징의 과장처리에 의한 모델의 통계적인 조합처리를 통해서 다양한 형태의 새로운 얼굴 모델을 무한적으로 생성할 수 있도록 하는 3차원 스캔 얼굴모델의 합성 시스템과 그 방법 및 3차원 스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된 기록매체를 제공하는 것이다.

도 1은 본 발명이 적용되는 3차원 스캔 얼굴모델의 데이터베이스를 구축하기 위한 얼굴데이터 처리과정을 설명하기 위한 공정도,

도 2는 3차원 스캔 얼굴모델의 데이터베이스를 구축하기 위해 입력되는 3차원 얼굴 스캔데이터를 예시적으로 나타낸 도면,

도 3은 3차원 얼굴모델의 메쉬 데이터가 초기정렬된 상태를 예시적으로 나타낸 도면,

도 4a 및 도 4b는 정렬된 메쉬 데이터의 복셀추출 및 칼라할당 상태를 예시적으로 나타낸 도면,

도 5a 내지 도 5c는 3차원 얼굴 스캔데이터의 스캔라인 및 실린더좌표 추출과 메쉬를 재구성하는 상태를 예시적으로 나타낸 도면,

도 6a 및 도 6b는 3차원 스캔 메쉬 데이터를 표준참조 얼굴모델과 1:1 매핑처리하는 상태를 예시적으로 나타낸 도면,

도 7은 본 발명에 따른 3차원 스캔 얼굴모델의 합성 시스템에 대한 구성을나타낸 도면,

도 8은 도 7에 도시된 모델 합성부의 구성에 대한 일예를 나타낸 도면,

도 9는 도 7에 도시된 모델 합성부의 구성에 대한 다른예를 나타낸 도면,

도 10a 및 도 10b는 본 발명에 따른 3차원 스캔 얼굴모델의 합성 방법에 대한 동작을 설명하기 위한 플로우차트,

도 11은 본 발명의 바람직한 실시예에 따라 각 3차원 얼굴모델이 자동적으로 1:1 매핑처리되는 상태를 예시적으로 나타낸 도면,

도 12a 내지 도 12c는 본 발명의 바람직한 실시예에 따라 3차원 얼굴모델에 대한 통계적 평균모델이 생성되는 상태를 예시적으로 나타낸 도면,

도 13은 3차원 얼굴모델의 외형 및 얼굴색에 대한 확률분포 상태를 예시적으로 나타낸 도면,

도 14는 3차원 얼굴모델의 데이터베이스로부터 확률적으로 생성이 가능한 얼굴모델들을 예시적으로 나타낸 도면,

도 15는 서로 다른 얼굴 데이터들간의 3차원 모핑 결과를 나타낸 도면,

도 16a 내지 도 16c는 본 발명의 바람직한 실시예에 따라 얼굴모델의 특징과정 처리를 수행한 결과를 예시적으로 나타낸 도면이다.

<도면의 주요부분에 대한 부호의 설명>

20:데이터 매핑부, 22:얼굴모델 데이터베이스,

24:평균모델 생성부, 26:확률분포 추출부,

30:통계모델 생성부, 32:모델 합성부.

상기한 목적을 달성하기 위해 본 발명의 시스템에 따르면, 다수의 3차원 얼굴 스캔데이터에 대한 메쉬 및 폴리곤의 자료구조를 통일화시키기 위한 보정을 수행하는 데이터 보정수단과, 상기 데이터 보정수단에 의해 보정된 3차원 얼굴모델 데이터가 분류별로 저장되는 얼굴모델 데이터베이스, 상기 얼굴모델 데이터베이스에 저장된 다수의 얼굴모델 데이터에 대한 평균 얼굴모델을 생성하기 위한 평균모델 생성수단, 상기 평균모델 생성수단에서 생성된 평균 얼굴모델과 각 얼굴모델과의 차이값을 산출하여 얼굴모델에 대한 확률분포값을 생성하는 확률분포 추출수단, 외부로부터 입력받은 사용자의 모델특징 파라미터에 기초하여 평균모델 데이터와 각 얼굴모델 데이터와의 통계적으로 조합된 얼굴모델을 생성하는 통계모델 생성수단 및, 상기 통계모델 생성수단을 통해 생성된 통계적 얼굴모델과 각 얼굴모델 데이터에 대한 모핑 및 캐리커쳐를 통해 새로운 얼굴모델을 합성처리하는 모델 합성수단으로 구성된 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 시스템을 제공한다.

상기한 목적을 달성하기 위해 본 발명의 방법에 따르면, 다수의 3차원 얼굴 스캔데이터를 입력받아 메쉬 및 폴리곤의 자료구조를 통일화시키기 위한 보정처리를 수행하는 단계와, 상기 보정처리를 통해서 모핑이 가능한 얼굴모델 데이터에 대해 분류별로 얼굴모델 데이터베이스를 구축하는 단계, 상기 얼굴모델 데이터베이스에 구축된 다수의 3차원 얼굴모델에 대한 평균 얼굴모델을 생성하는 단계, 상기 평균 얼굴모델과 각 얼굴모델과의 차이값을 계산하여 확률분포를 산출하는 단계, 사용자에 의해 입력된 특징파라미터에 따라 평균 얼굴모델 데이터와 각 얼굴모델 데이터에 대한 차이값을 계산하여 통계적으로 조합된 얼굴모델을 생성하는 단계 및, 상기 통계적으로 조합된 얼굴모델 데이터와 평균 얼굴모델 데이터를 이용하여 새로운 얼굴모델을 합성처리하는 단계로 이루어진 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 방법을 제공한다.

상기한 목적을 달성하기 위해 본 발명의 프로그램이 수록된 기록매체에 따르면, 다수의 3차원 얼굴 스캔데이터를 입력받아 메쉬 및 폴리곤의 자료구조를 통일화시키기 위한 보정처리를 수행하는 기능과, 상기 보정처리를 통해서 모핑이 가능한 얼굴모델 데이터에 대해 분류별로 얼굴모델 데이터베이스를 구축하는 기능, 상기 얼굴모델 데이터베이스에 구축된 다수의 3차원 얼굴모델에 대한 분류별 평균 얼굴모델을 생성하는 기능, 상기 평균 얼굴모델과 각 얼굴모델과의 외형 및 얼굴색에 대한 차이값을 계산하여 확률분포를 산출하는 기능, 사용자에 의해 입력된 특징파라미터에 따라 평균 얼굴모델 데이터와 각 얼굴모델 데이터에 대한 차이값을 계산하여 통계적으로 조합된 얼굴모델을 생성하는 기능 및, 상기 통계적으로 조합된 얼굴모델 데이터와 평균 얼굴모델 데이터를 이용하여 새로운 얼굴모델을 합성처리하는 기능을 포함한 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된 기록매체를 제공한다.

이하, 상기한 바와 같이 구성된 본 발명에 대해 첨부도면을 참조하여 상세히 설명한다.

즉, 도 1은 본 발명이 적용되는 3차원 스캔 얼굴모델의 데이터베이스를 구축하기 위한 얼굴데이터 처리과정을 설명하기 위한 공정도이다.

도 1에 도시된 바와 같이, 3차원으로 스캔이 이루어진 다양한 얼굴데이터에 대해 데이터베이스의 구축을 위한 데이터 처리과정은 메쉬데이터 정렬공정(2)과, 복셀 추출공정(4), 실린더 좌표계 샘플링공정(6) 및, 얼굴데이터 매핑공정(10)으로 구분된다.

상기 메쉬데이터 정렬공정(2)에서는 스캔받은 외부로부터의 3차원 얼굴 스캔데이터가 동일한 자료구조를 갖도록 각각 상이한 메쉬의 위상을 정렬시키기 위한 것으로서, 이는 각 3차원 얼굴 스캔데이터의 얼굴 모델이 정면에 위치해 있도록 x,y,z축으로의 기울어짐을 보정하게 되고, 각 얼굴 모델의 한계위치(즉, 이마 끝으로부터 목선 시작점)의 길이를 기준으로 모든 얼굴 모델의 높이를 동일하게 보정하게 되며, 데이터 처리에 필요한 얼굴부분만을 남기고 귀나 목과 같은 불필요한 부분을 삭제처리하는 보정을 수행한다.

여기서, 상기 3차원 얼굴 스캔데이터는 도 2에 도시된 바와 같이, 메쉬와 이미지, 3차원 스캐너로부터 스캔된 스캔데이터를 각각 합성하여 텍스쳐가 매핑된 3차원 얼굴 데이터로서 입력되도록 되어 있다.

도 3에 도시된 바와 같이, 서로 다른 복수의 3차원 얼굴 스캔데이터는 상기 메쉬데이터 초기정렬 공정(2)을 통해 초기 정렬된 결과를 보여주고 있다.

또한, 상기 복셀 추출공정(4)은 상기 메쉬데이터 정렬공정(2)을 통해서 초기 정렬된 얼굴 모델의 메쉬 구조 및 폴리곤 개수 등과 같은 자료 구조가 각 모델마다 상이하기 때문에, 각 얼굴 모델의 자료구조를 하나의 통일된 구조로 생성하기 위한 것으로서, 이는 얼굴 모델의 메쉬를 구성하는 각 삼각형의 표면성분을 일정한 해상도의 정규 복셀 그리드에 매핑시켜서 얼굴 모델의 표면을 구성하는 모든 꼭지점을 추출하고, 텍스쳐 이미지를 이용하여 각 꼭지점의 컬러값을 계산하게 된다.

즉, 상기 복셀 추출공정(4)에서는 도 4a에 도시된 바와 같이, 256×256×256 크기를 갖는 볼륨 데이터의 복셀에 매핑시켜서 표면성분을 포함하는 복셀을 표면복셀로 정의하게 되는 한편, 도 4b에 도시된 바와 같이 상기 표면성분의 컬러값을 할당하게 되는 것이다.

다음에, 상기 실린더 좌표계 샘플링공정(6)에서는 3차원 얼굴의 스캔데이터를 정규 볼륨 그리드를 이용하여 재구성하고, 실린더 좌표계로 샘플링하기 위한 것이다. 여기서, 상기 실린더 좌표계 샘플링공정(6)은 도 5a에 도시된 바와 같이, 얼굴 모델의 각각의 복셀 표면에서 표면 복셀을 하나의 연속한 선으로 연결하여 스캔라인으로 변환하게 되고, 도 5b에 도시된 바와 같이 얼굴 모델의 중심을 통과하는 선을 중심으로 하여 각각의 복셀 평면 상에서 일정한 각도로 회전하면서 만나는 가장 바깥쪽에 위치한 스캔 라인과의 교점을 구하고, 그 지점에서의 컬러값을 저장하여 원통형 좌표계로 변환하게 된다.

또한, 상기 실린더 좌표계 샘플링공정(6)에서는 도 5c에 도시된 바와 같이, 실린더 샘플링을 통하여 얻어진 3차원 얼굴 데이터가 직사각형 형태의 정규 메쉬 구조로 재구성됨에 따라, 스캔을 통해 얻어진 각 얼굴 모델 데이터가 균일한 자료 구조를 갖게 되고, 2차원 상에서 펼쳐진 이미지의 외형(즉, image(h,Φ)=(x,y,z)+(R,G,B))으로 변환할 수 있게 되면서 3차원 상에서 이루어지는 작업을 2차원 상에서 용이하게 구현할 수 있게 된다.

상기 얼굴데이터 매핑공정(10)에서는 상기 실린더 좌표계 샘플링공정(6)을 통해서 얻어진 메쉬 데이터를 미리 설정된 표준참조 얼굴모델(8)과 수동으로 1:1 매핑시키게 되는 바, 이는 도 6a에 도시된 바와 같이 각 얼굴모델 데이터에서 동일한 위치의 이미지(image(h,Φ))에 저장된 데이터가 서로 동일한 부분의 외형(x,y,z)와 컬러값(R,G,B)을 저장하고 있어야 하기 때문에, 도 6b에 도시된 바와 같이 얼굴의 특징을 결정하는 요소 즉, 눈, 눈썹, 코, 입술의 위치를 표시하는 특징선을 이용하여 눈, 코, 입의 위치를 대응시키고 특징선과 그 특징선 내부의 나머지 부분들에 대해 선형보간을 적용하여 맞추어주게 된다.

다음에, 도 7은 본 발명에 따른 3차원 스캔 얼굴모델의 합성 시스템에 대한 구성을 나타낸 도면이다.

도 7에 도시된 바와 같이, 본 발명에 따른 3차원 스캔 얼굴모델의 합성 시스템은 데이터 매핑부(20)와, 얼굴모델 데이터베이스(22), 평균모델 생성부(24), 확률분포 추출부(26), 통계모델 생성부(30) 및, 모델 합성부(32)로 구성된다.

상기 데이터 매핑부(20)는 도 1에 도시된 상기 얼굴데이터 매핑공정(10)을 통해서 수동으로 매핑처리된 얼굴모델 데이터를 비선형 방정식을 이용하여 자동적으로 1:1매핑시키기 위한 것으로서, 이는 수동 매핑작업시에 특징선만을 이용하여 대응시키는 경우에는 눈, 입의 윤곽선을 정확하게 일치시키는 것이 어렵게 되기 때문에, 컬러값(R,G,B)를 이용하여 눈과 입 영역에 대해 비선형 방정식(LMA)을 적용하여 각 얼굴 모델 사이의 컬러값의 차이가 최소가 되도록 재차 매핑작업을 수행하게 되고, 그러한 자동적인 1:1 매핑작업의 결과로 도 11에 도시된 바와 같은 데이터가 산출될 수 있게 된다.

상기 얼굴모델 데이터베이스(22)는 상기 데이터 매핑부(20)를 통해서 자동적으로 1:1매핑된 결과로 산출되는 균일한 데이터값을 갖는 다수의 얼굴 모델 데이터를 저장하기 위한 것으로서, 이는 변형이 가능한 얼굴 모델을 무제한적으로 생성하는 것이 가능하도록 하기 위해 수백명씩의 남자, 여자의 얼굴 모델 데이터가 성별, 연령별로 구분되어 저장되어 있다.

상기 평균모델 생성부(24)는 상기 얼굴모델 데이터베이스(22)에 성별, 연령별로 분류적으로 저장되어 있는 얼굴 모델 데이터의 각 부위에 대한 외형(Geometry)와 얼굴색(color) 정보를 이용하여 산술 평균값을 구함에 의해 분류별로 평균적인 얼굴모델을 생성하게 되고, 그 분류별 평균 얼굴모델을 이용하여 전체적인 평균 얼굴 모델을 산출하게 된다.

여기서, 상기 평균모델 생성부(24)는 도 12a 및 도 12b에 도시된 바와 같이각각 남자 얼굴모델과 여자 얼굴모델에 대해서 성별로 평균 얼굴 모델을 산출하게 되고, 도 12c에 도시된 바와 같이 그 분류별(예컨대 성별) 평균 얼굴 모델을 이용하여 전체적인 3차원 평균 얼굴 모델을 생성하게 된다(즉, 도 12c에서는 좌로부터 남자/여자/전체 평균 얼굴 모델).

또한, 상기 확률분포 추출부(26)는 상기 평균모델 생성부(24)로부터 산출된 평균 모델과 각 얼굴 모델 사이의 외형 및 얼굴색의 차이값을 확률분포의 형태로 계산하여 분류별 특징을 추출하게 되는 바, 이는 도 13에 도시된 바와 같이 각 얼굴 모델에 대한 외형 및 얼굴색에 대한 확률 분포를 계산하여 그 확률분포의 양상에 따른 얼굴 모델을 생성할 수 있게 되고, 상기 얼굴모델 데이터베이스(22)로부터 새로운 얼굴을 조합하는 경우에 현실적으로 나타날 수 있는 얼굴이 어느 정도의 확률로 생성되는 지의 여부를 수치적으로 표현할 수 있게 된다.

상기 통계모델 생성부(30)는 성별, 연령별로 입력되는 사용자 입력데이터(28)이 기초하여 상기 확률분포 추출부(26)로부터 추출되는 얼굴 모델의 확률 분포에 따라 통계적으로 임의의 얼굴 모델을 생성하기 위한 것이다.

여기서, 상기 통계모델 생성부(30)는 사용자 입력데이터(28)로서 성별, 연령별 등 사용자의 모델특징 파라미터를 입력받아서, 그 입력 파라미터를 기반으로 1:1의 대응이 계산된 각 얼굴모델 데이터와 전체 평균 모델 데이터를 이용하여 꼭지점 단위의 외형과 얼굴색값의 차이를 계산함과 더불어, 그 계산치를 통계적으로 조합하여 도 14에 도시된 바와 같이 통계적으로 다양한 소스 얼굴모델을 생성하게 된다.

상기 모델 합성부(32)는 상기 통계모델 생성부(30)를 통해서 생성되는 1:1 대응으로 계산된 소스 얼굴모델에 대한 상호간의 모핑 및 캐리커쳐 처리를 통해서 새로운 얼굴 모델을 합성처리하기 위한 것이다.

여기서, 상기 모델 합성부(32)에 대한 구성의 일예는 도 8에 도시된 바와 같이 타겟모델 선택부(36)와, 타겟모델 보간처리부(40)로 구성되는 바, 상기 타겟모델 선택부(36)는 상기 소스 얼굴모델(34)로부터 새로운 얼굴 모델을 생성하기 위해 타겟모델을 설정입력받아 타겟모델을 선택하게 되고, 상기 타겟모델 보간처리부(40)는 상기 선택된 타겟모델을 미리 설정된 보간 파라미터에 따라서 외형 및 얼굴색을 보간처리하여 새로운 얼굴모델을 합성처리하기 위한 것이다.

이에, 상기 모델 합성부(32)의 타겟모델 선택부(36)와, 타겟모델 보간처리부(40)를 통한 서로 다른 얼굴모델 데이터들간의 3차원 모핑 결과는 도 15에 도시된 바와 같다.

또한, 상기 모델 합성부(32)에 대한 구성의 다른예는 도 9에 도시된 바와 같이 특징요소 추출부(46)와, 평균 연산부(48) 및, 데이터 변형처리부(50)로 구성되는 바, 상기 특징요소 추출부(46)는 1:1로 대응되게 계산된 각각의 얼굴모델 데이터(42)와 평균모델 데이터(44)를 입력받아 특징모델의 설정입력에 따라 캐리커쳐를 생성하기 위해 얼굴의 특징요소를 추출하게 되고, 상기 평균 연산부(48)는 평균 모델과 특징을 구하고자 하는 특정한 얼굴모델을 제외한 나머지의 얼굴모델과의 차이값을 각각 계산하여 평균을 구함에 의해, 평균모델에 남아있는 특정한 얼굴모델의 특징을 반영하는 수치 데이터를 추출하게 된다.

즉, 상기 평균 연산부(48)에서는 예컨대 남자 얼굴모델과 여자 얼굴모델이 존재하는 경우에, 전체 평균모델에서 남자 얼굴모델의 전체적인 특징을 나타내는 수치 데이터가 여자 얼굴모델들을 순차적으로 하나식 차감한 값을 평균함에 의해 구할 수 있게 되는 것이다.

또, 상기 데이터 변형처리부(50)는 상기 평균 연산부(48)에서 구해진 수치 데이터를 이용하여 특정한 얼굴 모델의 특징을 과장처리하게 되는 바, 이는 평균 모델에 계속적으로 수치 데이터를 가산하여 평균모델이 점차적으로 특징 요소를 지닌 형태로 변형될 수 있도록 하게 되고, 그 결과로 도 16a와 도 16b 및 도 16c에 도시된 바와 같이 남성적인 특징의 과장처리와, 여성적인 특징의 과장처리, 개인적으로 존재하는 특징의 과장처리가 가능하게 된다.

이어, 상기한 바와 같이 이루어진 본 발명의 동작에 대해 도 10a 및 도 10b의 플로우차트를 참조하여 상세히 설명한다.

먼저, 3차원 스캐너를 통해 스캔되어 메쉬데이터 정렬공정(2)과, 복셀 추출공정(4), 실린더 좌표계 샘플링공정(6), 얼굴데이터 매핑공정(10)을 통해 보정처리가 이루어진 3차원 얼굴 데이터가 입력되면(단계 S10), 데이터 매핑부(20)에서는 각각의 3차원 얼굴 데이터에 대한 얼굴 모델 사이의 얼굴색값(color)이 최소가 되도록 비선형 방정식을 적용하여 눈, 입 영역의 자동적인 매핑작업을 수행하게 된다(단계 S11).

그 상태에서, 상기 데이터 매핑부(20)를 통한 3차원 얼굴 데이터의 매핑작업이 이루어지면, 각각의 3차원 얼굴 데이터를 모핑이 가능한 얼굴 모델로서 성별,연령별로 구분하여 얼굴모델 데이터베이스(22)에 저장시키게 된다(단계 S12).

그 다음에, 평균모델 생성부(24)에서는 성별, 연령별로 구분되어 저장된 다수의 3차원 얼굴모델 데이터를 분류하게 되고(단계 S13), 각각의 분류된 얼굴모델에 대해 이미 저장되어 있는 외형(Geometry)와 얼굴색(Color)의 데이터를 이용하여 각각 분류별로 산술 평균값을 구함에 의해, 분류별 평균 얼굴모델(예컨대 남자의 평균 얼굴모델과 여자의 평균 얼굴모델)과 전체 평균 얼굴모델(예컨대 남자 및 여자의 전체 평균 얼굴모델)을 생성하게 된다(단계 S14).

또한, 상기 확률분포 추출부(26)는 각 분류별 얼굴 모델에 대한 외형 및 얼굴색을 평균 모델과의 차이값을 이용하여 각 분류별로 특징을 추출하게 되고, 외형과의 차이값 및 얼굴색과의 차이값을 이용하여 확률분포를 각각 계산하여, 그 확률분포에 따른 얼굴모델을 생성하게 된다(단계 S15).

이에, 통계모델 생성부(30)에서는 사용자 입력데이터(28)로서 성별, 연령 등과 같은 사용자의 모델특징 파라미터를 입력받게 되고(단계 S16), 그 입력 파라미터를 기반으로 하여 1:1 대응이 되도록 계산된 각 얼굴모델 데이터와 전체 평균모델 데이터를 이용하여 꼭지점 단위의 외형과 얼굴색값의 차이를 계산하게 되는 한편(단계 S17), 그 차이값을 통계적으로 조합하여 무한의 다양한 형태를 갖는 새로운 얼굴모델이 생성되는 것이 가능하도록 한다(단계 S18).

그 다음에, 모델 합성부(32)에서는 1:1 대응이 되도록 계산된 각 3차원 얼굴모델 데이터들간에 상호간의 모핑을 수행하기 위한 조작이 수행되는 지의 여부를 판단한다(단계 S19).

상기 판단 결과, 작업자에 의해 3차원 얼굴모델 데이터들간의 상호간의 모핑을 위한 조작이 수행되고 있다고 판단되면, 모델 합성부(32)의 타겟모델 선택부(36)에서는 상기 통계모델 생성부(30)로부터 생성된 소스 얼굴모델(34)의 데이터를 입력받아 타겟모델의 설정입력에 따라 타겟모델을 설정하게 된다(단계 S20).

그 상태에서, 타겟모델 보간처리부(40)는 미리 설정된 보간 파라미터 데이터(38)에 따라서 얼굴의 외형 및 얼굴색을 보간하기 위한 처리를 수행하여 새로운 얼굴모델을 합성하게 된다(단계 S21).

그 반면에, 상기 단계 S19의 판단 결과에 따라 얼굴 데이터의 모핑을 조작을 수행하지 않고 있다고 판단되면, 모델 합성부(32)의 특징요소 추출부(46)에서는 각각의 얼굴모델 데이터(42)와 평균모델 데이터(44)를 입력받아 특징화할 모델의 설정입력에 따라 얼굴모델 데이터의 특징요소를 계산하게 된다(단계 S22).

상기 특징요소 추출부(46)에 의한 특징화할 얼굴모델 데이터에 대한 특징요소의 계산이 완료된 것으로 판단되면(단계 S23에서 YES), 평균 연산부(48)에서는 상기 특징요소 추출부(46)에 의한 특징 계산을 통해서 평균모델과 특징을 구하고자 하는 모델을 제외한 나머지 모델과의 차이값을 계산하여 평균을 연산하게 된다(단계 S24).

그 상태에서, 데이터 변형처리부(50)에서는 상기 평균 연산부(48)를 통해서 구해진 평균값에 의한 수치데이터를 평균모델에 계속적으로 가산처리함에 의해서 얼굴모델에 대한 특징을 과장처리할 수 있게 된다(단계 S25).

상기한 실시예를 갖는 본 발명은 그 실시양태에 구애받지 않고 그 기술적 요지를 벗어나지 않는 한도 내에서 얼마든지 다양하게 변형하여 실시할 수 있도록 되어 있음은 물론이다.

이상과 같이 본 발명에 따르면, 3차원 얼굴 스캔데이터를 모핑이 가능한 얼굴모델로 생성하기 위해 실린더 샘플링 데이터로 변환하여 1:1로 매핑시키고, 이러한 얼굴모델 데이터를 이용하여 모핑이 가능한 얼굴모델로 생성하여 각 얼굴모델 간의 모핑 및 특징과장 처리가 가능하도록 함에 따라, 보다 간단한 작업에 의한 연산과정을 통해서 현실세계에 존재하는 얼굴을 통계적으로 조합하여 새로운 얼굴모델을 무한대로 생성할 수 있게 되면서 캐릭터 디자인이나 얼굴의 상업적인 용도에 의한 모델링, 애니메이션, 아바타의 분야에 광범위하게 적용하는 것이 가능하다는 효과를 갖게 된다.

Claims (13)

1. 다수의 3차원 얼굴 스캔데이터에 대한 메쉬 및 폴리곤의 자료구조를 통일화시키기 위한 보정을 수행하는 데이터 보정수단과,

   상기 데이터 보정수단에 의해 보정된 3차원 얼굴모델 데이터가 분류별로 저장되는 얼굴모델 데이터베이스,

   상기 얼굴모델 데이터베이스에 저장된 다수의 얼굴모델 데이터에 대한 평균 얼굴모델을 생성하기 위한 평균모델 생성수단,

   상기 평균모델 생성수단에서 생성된 평균 얼굴모델과 각 얼굴모델과의 차이값을 산출하여 얼굴모델에 대한 확률분포값을 생성하는 확률분포 추출수단,

   외부로부터 입력받은 사용자의 모델특징 파라미터에 기초하여 평균모델 데이터와 각 얼굴모델 데이터와의 통계적으로 조합된 얼굴모델을 생성하는 통계모델 생성수단 및,

   상기 통계모델 생성수단을 통해 생성된 통계적 얼굴모델과 각 얼굴모델 데이터에 대한 모핑 및 캐리커쳐를 통해 새로운 얼굴모델을 합성처리하는 모델 합성수단으로 구성된 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 시스템.
2. 제 1 항에 있어서, 상기 데이터 보정수단은 3차원 얼굴 스캔데이터의 기울어짐보정과 높이보정 및 삭제보정을 통해 메쉬데이터의 정렬처리를 수행하고, 얼굴모델의 볼륨데이터를 복셀에 매핑하여 표면성분의 표면복셀에 대한 컬러값을 할당하는 복셀 추출처리를 수행하며, 표면복셀의 연속한 선을 스캔라인으로 변환하여 원통형 좌표계로 변환하는 실린더 좌표계의 샘플링처리를 수행하고, 얼굴모델의 메쉬데이터에 대해 특정한 표준참조 얼굴모델과 각 세부부위별로 1:1 대응되도록 매핑처리하는 얼굴데이터의 매핑처리를 수행하도록 이루어진 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 시스템.
3. 제 1 항에 있어서, 상기 평균모델 생성수단은 상기 얼굴모델 데이터베이스에 저장된 다수의 얼굴모델 데이터에 대해 분류별로 평균 얼굴모델을 생성하고, 얼굴모델 데이터의 전체적인 평균 얼굴모델을 생성하도록 이루어진 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 시스템.
4. 제 1 항에 있어서, 상기 평균모델 생성수단은 상기 얼굴모델 데이터베이스에 저장된 얼굴모델 데이터에 포함된 외형(Geometry)과 얼굴색 (Color) 정보에 대해 분류별로 산술 평균값을 산출함에 의해 평균 얼굴모델을 생성하도록 이루어진 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 시스템.
5. 제 1 항에 있어서, 상기 확률분포 추출수단은 평균 얼굴모델과 각 얼굴모델과의 외형 및 얼굴색 정보에 대한 차이값을 이용하여 분류별로 특징을 추출하고, 외형 및 얼굴색의 차이값을 이용한 확률분포를 산출하도록 이루어진 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 시스템.
6. 제 1 항에 있어서, 상기 얼굴모델 합성수단은 상기 통계모델 생성부로부터 생성된 얼굴모델 중에서 새로운 얼굴생성을 위한 타겟모델을 선택하는 타겟모델 선택부와, 상기 타겟모델에 특정의 보간 파라미터 데이터를 적용하여 얼굴의 외형 및 얼굴색을 보간처리하는 타겟모델 보간처리부를 포함하여 구성된 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 시스템.
7. 제 1 항에 있어서, 상기 얼굴모델 합성수단은 상기 평균 얼굴모델과 각 얼굴모델 데이터를 입력받아 특징모델의 설정입력에 따라 얼굴의 특징요소를 추출하는 특징요소 추출부와, 평균 얼굴모델과 특징모델을 제외한 나머지 얼굴모델과의 차이값을 연산하여 평균값을 산출하는 평균 연산부 및, 상기 평균값을 얼굴모델에 적용하여 특징을 과장처리하는 데이터 변형처리부를 포함하여 구성된 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 시스템.
8. 다수의 3차원 얼굴 스캔데이터를 입력받아 메쉬 및 폴리곤의 자료구조를 통일화시키기 위한 보정처리를 수행하는 단계와,

   상기 보정처리를 통해서 모핑이 가능한 얼굴모델 데이터에 대해 분류별로 얼굴모델 데이터베이스를 구축하는 단계,

   상기 얼굴모델 데이터베이스에 구축된 다수의 3차원 얼굴모델에 대한 평균 얼굴모델을 생성하는 단계,

   상기 평균 얼굴모델과 각 얼굴모델과의 차이값을 계산하여 확률분포를 산출하는 단계,

   사용자에 의해 입력된 특징파라미터에 따라 평균 얼굴모델 데이터와 각 얼굴모델 데이터에 대한 차이값을 계산하여 통계적으로 조합된 얼굴모델을 생성하는 단계 및,

   상기 통계적으로 조합된 얼굴모델 데이터와 평균 얼굴모델 데이터를 이용하여 새로운 얼굴모델을 합성처리하는 단계로 이루어진 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 방법.
9. 제 8 항에 있어서, 상기 다수의 3차원 얼굴 스캔데이터를 입력받아 메쉬 및 폴리곤의 자료구조를 통일화시키기 위한 보정처리를 수행하는 단계는,

   3차원 얼굴 스캔데이터의 기울어짐보정과 높이보정 및 삭제보정을 통해 메쉬데이터의 정렬처리를 수행하는 단계와,

   얼굴모델의 볼륨데이터를 복셀에 매핑하여 표면성분의 표면복셀에 대한 컬러값을 할당하는 복셀 추출처리를 수행하는 단계,

   표면복셀의 연속한 선을 스캔라인으로 변환하여 원통형 좌표계로 변환하는 실린더 좌표계의 샘플링처리를 수행하는 단계 및,

   얼굴모델의 메쉬데이터에 대해 특정한 표준참조 얼굴모델과 각 세부부위별로 1:1 대응되도록 매핑처리하는 얼굴데이터의 매핑처리를 수행하는 단계를 포함하여 이루어진 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 방법.
10. 제 8 항에 있어서, 상기 얼굴모델 데이터베이스에 구축된 다수의 3차원 얼굴모델에 대한 평균 얼굴모델을 생성하는 단계는,

    상기 얼굴모델 데이터베이스에 분류별로 저장된 각 얼굴모델을 분류하는 단계와,

    각 얼굴모델의 외형 및 얼굴색 정보에 대한 평균값을 구하여 분류별로 평균 얼굴모델을 생성하는 단계 및,

    상기 전체적인 얼굴모델에 대하여 전체 평균 얼굴모델을 생성하는 단계를 포함하여 이루어진 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 방법.
11. 제 8 항에 있어서, 상기 통계적으로 조합된 얼굴모델 데이터와 평균 얼굴모델 데이터를 이용하여 새로운 얼굴모델을 합성처리하는 단계는,

    통계적으로 조합된 얼굴모델 데이터에 대한 타겟모델의 설정입력에 따라 타겟모델을 설정하는 단계와,

    상기 타겟모델에 대해 특정의 보간 파라미터를 적용하여 얼굴모델의 외형 및 얼굴색을 보간처리함에 의해 새로운 얼굴모델을 합성하는 단계를 포함하여 이루어진 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 방법.
12. 제 8 항에 있어서, 상기 통계적으로 조합된 얼굴모델 데이터와 평균 얼굴모델 데이터를 이용하여 새로운 얼굴모델을 합성처리하는 단계는,

    특징모델의 설정입력에 따라 평균 얼굴모델을 기준으로 하여 얼굴모델 데이터의 특징을 추출하는 단계와,

    상기 추출된 특징에 의한 차이값의 평균을 연산하고, 그 평균값에 의해 얼굴모델의 특징을 과장처리하는 단계를 포함하여 이루어진 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성 방법.
13. 다수의 3차원 얼굴 스캔데이터를 입력받아 메쉬 및 폴리곤의 자료구조를 통일화시키기 위한 보정처리를 수행하는 기능과,

    상기 보정처리를 통해서 모핑이 가능한 얼굴모델 데이터에 대해 분류별로 얼굴모델 데이터베이스를 구축하는 기능,

    상기 얼굴모델 데이터베이스에 구축된 다수의 3차원 얼굴모델에 대한 분류별 평균 얼굴모델을 생성하는 기능,

    상기 평균 얼굴모델과 각 얼굴모델과의 외형 및 얼굴색에 대한 차이값을 계산하여 확률분포를 산출하는 기능,

    사용자에 의해 입력된 특징파라미터에 따라 평균 얼굴모델 데이터와 각 얼굴모델 데이터에 대한 차이값을 계산하여 통계적으로 조합된 얼굴모델을 생성하는 기능 및,

    상기 통계적으로 조합된 얼굴모델 데이터와 평균 얼굴모델 데이터를 이용하여 새로운 얼굴모델을 합성처리하는 기능을 포함한 것을 특징으로 하는 3차원 스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된 기록매체.