KR20000064110A - 얼굴 영상에 기반한 캐릭터 자동 생성 장치 및 방법 - Google Patents

Abstract

본 발명은 얼굴 영상을 입력으로 하여 수동 또는 자동적인 방법으로 얼굴 영상의 대응점을 결정한 후 이를 기반으로 얼굴 전체의 형태 정보를 복원하고, 얼굴의 형태 정보를 사용하여 다시 여러 가지 새로운 합성 영상을 만들어 내는 방법에 관한 것이다.

본 발명에서 합성된 영상은 얼굴의 특징을 강조하는 캐리커쳐 영상이거나, 애니메이션 효과를 포함하는 캐릭터 영상, 얼굴의 부분 색상 정보를 치환한 메이크업 영상, 또는 목탄 효과나 수채화 효과와 같은 다양한 영상 필터를 적용한 명도/칼라 영상들일 수 있으며, 얼굴의 형태 정보 중 각 개인의 고유한 특징을 강조하여 영상을 재 합성함으로써 자신을 대표할 수 있는 캐릭터 영상을 만들거나, 다양한 메이크업 표본 영상을 준비하여 자신의 얼굴 형태 정보를 투영하는 것으로 자신의 메이크업 영상을 만들 수 있는 것으로, 이러한 합성 영상은 캐릭터 영상의 경우 개인을 대표하는 상징으로 사용될 수 있으며, PC 통신이나 인터넷 메일에서 자신만의 서명(Signature)으로 사용할 수 있고, 게임 등의 가상 현실에서 자기 자신의 고유한 아바타(Avatar)로 활용할 수 있으며, 미용에 관련된 메이크업 영상의 경우 자신의 메이크업 적용 결과를 예측하는데 활용할 수 있어 얼굴의 특징 점 정보만으로 얼굴 전체의 형태 정보가 복원 가능해짐으로써 이를 기반으로 고품질의 다양한 합성 영상을 만들어 낼 수 있고 산업, 인터넷 통신, 또는 오락 등 여러 분야에 응용이 가능하다.

Description

얼굴 영상에 기반한 캐릭터 자동 생성 장치 및 방법{Device and method for automatic character generation based on a facial image}

본 발명은 얼굴 영상의 형태 정보에 기반하여 캐릭터 영상을 합성하는 장치 및 방법에 관한 것이다.

일반적으로 얼굴 영상은 개인의 특징을 가장 잘 나타낼 수 있으며, 쉽고 자연스러운 매개체로 사용될 수 있다.

이러한 얼굴 영상의 응용 분야로는 출입 통제 및 보안 시스템, 범죄자 검색 및 몽타주 작성 시스템, 컴퓨터 인터페이스, 학술, 애니메이션 및 게임 등이 있다. 이러한 얼굴 영상의 응용 분야 중 얼굴 영상 합성 기술을 사용하는 대표적인 사례로는 캐릭터 영상 생성과 메이크업 디자인 등이 있다.

캐릭터 영상의 일종인 얼굴 영상의 캐리커쳐는 개인의 특징을 기반으로 하여 제작됨으로써 기존의 만화와 오락 등의 용도 외에도 자신을 대표하는 상징이나 아이콘과 같은 용도로 활용될 수 있으며, 컴퓨터 및 네트워크 환경의 발달로 인하여 PC통신이나 E-메일에서의 자신만의 고유한 서명(Signature)이나 가상 현실에서 사용자의 아바타(Avatar)등으로의 활용이 가능하다.

이러한 캐리커쳐를 생성하기 위한 기존의 방법은 주로 전문 화가가 직접 수동으로 캐리커쳐를 그리거나 디지털 필터를 이용한 자동화된 영상 처리 방법 등이 사용되어 왔다.

화가가 직접 캐리커쳐를 그리는 방법은 자연스럽고 완성도가 높은 캐리커쳐를 얻을 수 있으나 수공으로 인한 시간과 일관된 품질을 유지하기가 어렵다는 문제로 인하여 제한적인 상황에서만 적용할 수 있는 방법이라 할 수 있다.

디지털 필터를 이용한 영상처리기법은 입력 영상에 대해 적절한 효과를 주는 2차원 필터들의 조합을 사용하여 수채화풍 또는 목탄화풍의 영상 효과를 나타내어 입력 영상에 전체적으로 수공으로 생성된 캐리커쳐의 느낌을 주는 방법이다. 이러한 디지털 필터를 사용한 방법의 경우 조명과 배경 등이 제한된 환경에서 촬영한 영상에 대해서는 적용이 가능하나 배경과 객체에 대한 구분 없이 단순한 2차원 영상 전체에 필터를 적용하므로 영상의 조명 또는 여러 다른 환경 변화에 민감하게 반응하고 이를 보완할 사용자의 후처리 방법이 제한적이다.

또한, 객체에 대한 형태 정보가 없으므로 생성된 캐리커쳐를 수정하거나 특징을 과장하고 표정을 변화시키는 작업이 매우 복잡하며 얼굴 영상 복원 또는 3차원 아바타(Avatar) 등으로 확장이 거의 불가능하다.

메이크업 디자인의 경우 기존의 소비자가 직접 방문하여 잡지 또는 광고 모델들에게 적용된 사진 등의 예를 통해 간접적으로 자신의 스타일 등을 결정하는 방식의 문제점을 해결하기 위하여 컴퓨터를 사용한 메이크업 디자인 방법이 소개되고 있으나, 일부 모델 영상에 적용하는 방법 외에 자신의 얼굴 영상에 직접 디자인하는 방식으로는 자연스러운 메이크업 효과를 얻어내지 못하고 있는 실정이다.

즉, 동일한 색상을 갖는 제품이더라도 주변의 조명과 얼굴의 형태적인 특징에 의한 음영이나 반사광 등의 여러 복잡한 조건 때문에 이를 적절하게 표현하는 것이 거의 불가능하여 얼굴 영상에 자연스럽게 적용된 효과를 나타내지 못하고 있다.

이러한 문제를 해결하기 위하여 특별하게 설계된 부스 형태의 촬영 보조물을 사용하고 정밀하게 조절된 조명 하에 고 해상도 특수 카메라를 사용한 방법 등이 소개되고 있으나, 전체 시스템을 구성하기가 복잡하고, 자연스러운 효과를 얻기 위해서는 여러 단계의 처리 절차와 막대한 처리 시간이 소요되므로 개인이 구입하여 수시로 간편하게 사용할 수 없다는 문제점이 있다.

본 발명은 상기와 같은 문제를 해결하고 보완하기 위하여 입력된 얼굴 영상과 참조 영상의 대응점 정보를 사용하여 얼굴의 형태 정보를 추출하고 이를 기반으로 얼굴 영상을 재 합성하며, 이를 통해 사용자는 보다 자연스럽고 정교한 캐리커쳐 영상을 얻고, 자신의 얼굴 영상을 이용한 메이크업 디자인 영상을 미리 볼 수 있게 하며, 합성 영상은 얼굴의 형태 정보를 기반으로 생성되므로 헤어스타일, 안경 또는 기타 액세서리의 추가와 얼굴의 부분/전체 영역 수정, 얼굴 특징 과장 등과 같은 후처리가 용이하며 새로운 영상 필터를 적용한 결과를 자신에게 곧바로 적용 및 확인할 수 있어 얼굴 영상을 사용한 다양한 분야에 응용이 가능하도록 한 얼굴 영상에 기반한 캐릭터 자동 생성 장치 및 방법을 제공하는데 있다.

도 1은 본 발명의 장치 구성도.

도 2는 본 발명의 캐릭터 생성 장치 구성도.

도 3은 본 발명의 메이크업 디자인 장치 구성도.

도 4는 본 발명의 플로우차트.

도 5는 본 발명 얼굴 형태 정보 복원 및 합성에 따른 플로우차트.

도 6은 본 발명 캐릭터 영상 생성에 따른 플로우차트.

도 7은 본 발명 메이크업 디자인에 따른 플로우차트.

도 8은 본 발명의 얼굴 특징 점 예를 나타낸 도면

<도면의 주요 부분에 대한 부호의 설명>

1 : 사용자 인터페이스부 2 : 중앙 처리 시스템부

3 : 영상 정보 입력부 4 : 입력 장치부

5 : 입력 정보 제어부 6 : 영상 정보 저장 및 출력부

7,8 : 통신 장치부 9 : 중앙연산 처리부

10 : 영상 정보 처리부 11 : 얼굴 모형 데이터베이스

12 : 데이터 제어부 13 : 임시 버퍼

14 : 롬 15 : 램

16 : 표본 영상 데이터 베이스 17 : 부가 영상 데이터 베이스

18: 메이크업 영상 데이터 베이스 19 : 액세서리영상 데이터베이스

이하, 본 발명의 실시 예를 첨부된 도면에 의하여 상세히 설명한다.

도 1은 본 발명의 구성도로, 사용자의 정보와 얼굴 영상 정보를 입력받고 사용자의 요구에 따라 합성된 영상을 전송 받아 출력 또는 저장하는 사용자 인터페이스부(1)와, 이 다수개의 사용자 인터페이스부(1)로부터 입력된 영상 및 문자 정보에 따라 영상 정보를 처리하고 합성하여 상기 해당 사용자 인터페이스부(1)로 전송하는 중앙 처리 시스템부(2)로 구성된다.

또한, 상기 사용자 인터페이스부(1)는 사용자의 영상 정보를 입력시키는 영상 정보 입력부(3)와 사용자의 입력 제어 신호(예컨데, 사용자 정보, 얼굴 영상 정보 생성 제어 신호)를 입력시키는 입력 장치부(4)와, 상기 입력 장치부(4)를 통해 입력된 얼굴 영상 정보 생성 제어 신호를 관리 및 전송하고 기존에 존재하는 모델 얼굴 혹은 자신이 입력한 얼굴 영상을 기반으로 새롭게 합성된 영상 정보를 전송 받아 얼굴 영상 정보를 관리하는 입력 정보 제어부(5)와, 상기 입력 정보 제어부(5)의 일단에 연결되어 사용자가 입력한 정보를 바탕으로 생성되어진 얼굴 영상 정보 등의 영상 정보 및 문자 정보 등을 출력 또는 저장하여주는 영상 정보 저장 및 출력 장치부(6)와, 상기 입력 정보 제어부(5)의 일단에 연결되어 입출력되는 문자 및 영상 정보의 신호를 중앙 처리 시스템부(2)로 전송해주는 통신 장치부(7)로 구성된다.

여기서, 상기 영상 정보 입력부(3)는 예컨데, 얼굴 영상이나 정보를 사용자가 직접 입력할 수 있도록 스캐너, 디스크, 디지털 카메라 등으로 구성 할 수도 있으며, 여러 각도에서 촬영된 영상이 필요한 경우 다수의 카메라를 사용하여 동시에 촬영할 수도 있고, 조명 조절 장치 등의 보조 장치들을 사용할 수도 있다.

상기 입력 장치부(4)는 예컨대 얼굴 영상 생성 제어 정보를 사용자가 선택하여 입력할 수 있도록 키보드, 마우스, 터치스크린 등을 사용할 수도 있고, 상기 영상 정보 저장 및 출력 장치부(6)는 예컨데, 모니터, 프린터, 디스크, 또는 네트워크 드라이브 등이 사용될 수 있다.

또한, 상기 중앙 처리 시스템부(2)는 상기 사용자 인터페이스부(1)와 네트워크로 연결되어 입출력되는 문자 및 영상 정보 신호를 전송해주는 통신 장치부(8)와, 이 통신 장치부(8)를 경유하여 입력되는 사용자의 문자, 영상 또는 제어 정보에 따른 질의를 분석하여 각 처리 장치부를 통해 사용자 요구 정보 예컨데, 합성된 얼굴 영상이나 합성에 필요한 제어 정보의 산출을 제어하는 중앙연산 처리부(9)와, 상기 중앙연산 처리부(9)의 영상 생성 제어 신호에 따라 영상을 합성하는 영상 정보 처리부(10)와, 상기 영상 정보 처리부(10)에 접속되며 영상 합성에 필요한 얼굴 모형 데이터베이스부(11)로 이루어진다.

상기 중앙연산 처리부(9)는 상기 통신 장치부(8)를 경유하여 입력되는 사용자의 문자, 영상 또는 제어 정보에 따른 질의를 분석하여 각 처리 장치부를 통해 사용자 요구 정보 예컨대, 합성된 얼굴 영상이나 합성에 필요한 제어 정보의 산출을 제어하는 데이터 제어부(12)와, 상기 데이터 제어부(12)에 의해 처리된 데이터를 일시 저장하는 임시 버퍼(13)와, 상기 데이터 제어부(12)의 구동 프로그램을 저장하는 롬(14)과, 상기 데이터 제어부(12)의 기능 실행 중 발생된 데이터들을 저장하는 램(15)으로 구성된다.

상기 사용자 인터페이스부(1)와 중앙 처리 시스템부(2)는 각각의 통신 장치부(7,8)와 통신망으로 이어지는 것을 기본으로 하고, 하나의 시스템 내에 통합되어 운영되는 것도 가능하다.

도 2는 본 발명의 캐릭터 생성 장치 구성도로 다른 부분은 상기 도 1의 구성과 같으나, 중앙 처리 시스템부(2)내에 표본 영상 데이터 베이스(16)와 부가 영상 데이터 베이스(17)가 포함되어 구성된 것이 다르다.

도 3은 본 발명의 메이크업 디자인 장치 구성도로, 다른 부분은 상기 도 1의구성과 같으나, 중앙 처리 시스템부(2)내에 메이크업 영상 데이터베이스(18)와 액세서리 영상 데이터 베이스(19)가 포함되어 구성된 것이 다르다.

이와 같이 구성된 본 발명의 작용을 설명한다.

본 발명은 도 4에 도시된바와 같이 영상 입력 단계(S1)에서 영상을 입력받는 것을 시작으로 특징 점 추출 단계(S2)로 진행하여 얼굴 영상의 특징 점을 자동 또는 수동으로 추출하며, 이때 얼굴 영상에서 추출하는 특징 점의 예는 도 8과 같다.

특징 점 추출 완료 판단 단계(S3)에서는 얼굴 영상의 특징 점 추출이 완료되었는지를 판단하고 완료되었을 경우 특징 점 정보 부호화 단계(S4)로 진행하지만, 특징 점 추출이 완료되지 않았을 경우에는 특징 점 추출 단계(S2)로 진행하여 특징 점 추출을 계속 수행한다.

다음에 특징 점 정보 부호화 단계(S4)에서는 추출된 특징 점을 얼굴의 위치 정보와 함께 부호화하여 저장한다.

상기 사용자 인터페이스부(1)에서 통신망을 통해 특징 점 정보를 전송시 필요한 부호화 또한 특징 점 정보 부호화 단계(S4)에서 수행한다.

특징 점 정보 부호화 단계(S4) 후에는 얼굴 형태 정보 복원 및 합성 단계(S5)를 수행하게 되고, 이를 통해 얼굴 영상을 합성하게 된다.

이와 같이 합성된 얼굴 영상을 얻어낸 후에는 특징 정보 변경 판단 단계(S6)로 진행하여 특징 정보의 변경이 필요한지 판단하게 된다.

사용자는 합성된 얼굴 영상을 기반으로 부분 또는 전체적인 특징 정보의 변경을 요구하게 되고, 특징 정보의 변경이 결정된 경우 이를 적절히 변경한 후 특징 점 정보 부호화 단계(S4)로 진행하여 변경된 특징 점 정보를 사용하여 얼굴 영상을 재 합성하게 된다.

특징 정보 변경 판단(S6) 후에는 액세서리 및 부가 효과 추가 단계(S7)로 진행하여 합성된 영상에 대해 여러 가지 액세서리 영상을 복원된 얼굴 형태 정보에 기반하여 자동으로 추가할 수 있으며, 기타 다른 부가 효과 또한 추가가 가능하다. 이후, 후처리 단계(S8)에서는 사용자가 직접 수동으로 수정하는 등의 후처리를 수행하게 되고, 마지막으로 결과 출력 단계(S9)단계에서 생성된 얼굴 영상을 모니터 또는 프린터 등의 출력 장치로 출력한다.

상기 얼굴 형태 정보 복원 및 합성 단계(S5)의 구체적인 사항은 도 3에 도시된 바와 같다.

이 과정은 얼굴 영상을 여러 가지 형태 정보들의 선형 중첩으로 표현한다는 전제아래 특징 점에서의 위치 정보만을 가지고 입력된 각각의 얼굴이 갖는 변형의 최적화 된 근사 값을 찾는 과정이라 할 수 있다.

즉, 모든 얼굴 영상의 참조 얼굴에 대한 대응 관계가 이미 주어져 있다는 가정에서 얼굴의 형태 정보는 참조 얼굴에 대한 변형장(deformation field)으로 부호화 된다.

이때, 형태 정보 S(x)는 참조 영상 위의 점 x와 입력 영상의 대응점에 대한 위치 차이 임을 의미한다.

여러 얼굴 영상에 대해 형태 정보의 평균를 구한 후 이들과의 차이와 공분산 행렬 C를 구한다. 이를 바탕으로 주성분 분석(PCA)을 수행하여 얼굴 형태에 대한 고유벡터 s_i로 이루어진 얼굴 영상의 모형을 구성할 수 있다.

[식 1]

이렇게 구성된 얼굴 모형을 사용하여 특징 점에서의 위치 정보만으로 전체 얼굴의 형태 정보를 복원하기 위해서 최소 제곱 법(Least Square)을 사용한다.

즉, 식 1에서 주어진 몇 개의 특징 점에서의 위치 정보가 완전히 복원 가능해야 하며, 평균 얼굴 영상에 가까운 조건을 만족하는 alpha 를 찾아내는 것이다.

이 조건은 식 2와 같이 표현 될 수 있다.

[식2]

식 2를 행렬로 표기하면 다음 식 3과 같다.

[식3]

,

즉, alpha'은 S의 의사 역 행렬과의 행렬 곱으로 나타낼 수 있음을 의미하는데. 결국 식 3으로부터 얻어진 alpha'을 사용하여 식 1에 대입하면 얼굴 영상 전체의 형태 정보를 복원할 수 있게 된다.

도 5는 본 발명 얼굴 형태 정보 복원 및 합성에 따른 플로우차트를 나타낸 것으로, 의사 역 행렬 계산 단계(S10)에서 위에서 설명한 S의 의사 역 행렬을 구하고, 고유벡터 계수 계산 단계(S11)에서 alpha'를 구한다.

이렇게 얻어진 고유벡터 계수를 사용하여 형태 정보 복원 단계(S12)에서는 상기 식 1을 이용하여 상기 얼굴 모형 데이터베이스(11)에 저장된 고유벡터들과의 곱으로 얼굴 영상 전체의 형태 정보를 복원하게 된다.

형태 및 색상 정보를 사용한 전체 얼굴 영상 복원 단계(S13)에서는 복원된 형태 정보를 사용하여 참조 영상을 와핑(Warping) 함으로써 개인의 얼굴 영상을 합성한다.

여기서, 얼굴 영상의 합성시 사용할 참조 영상의 색상 정보를 적절히 변경함으로써 하나의 형태 정보를 기반으로 다양한 종류의 새로운 합성 영상을 얻어낼 수 있다.

이러한 합성 영상의 특성을 활용할 수 있는 대표적인 예로서 얼굴 영상의 캐리커처와 메이크업 디자인 등을 들 수 있다.

도 6은 본 발명의 얼굴 영상의 합성 방법을 사용한 캐리커쳐 생성 예를 나타낸 것으로, 영상 입력 단계(S14)에서 사용자의 얼굴 영상을 입력받고 특징 점 정보 추출 단계(S15)로 진행하고, 특징 점 정보 추출 단계(S15)에서 자동 또는 수동으로 특징 점을 추출하며 이를 기반으로 각 위치에 해당하는 특징 점 정보를 부호화 하게 된다.

얼굴 형태 정보 복원 단계(S16)에서는 추출된 특징 점 정보를 사용하여 입력된 얼굴 영상의 형태 정보를 복원하게 되고, 캐리커쳐 종류 선택 단계(S17)에서는 사용자가 원하는 종류의 캐리커쳐 예컨대, 애니메이션 모양, 스캐치 기반, 수채화풍 등의 영상을 선택하게 되고, 얼굴 영상 합성 단계(S18)에서는 사용자가 선택한 캐리커쳐에 알맞은 참조 영상을 사용하여 영상을 합성함으로써 사용자 자신의 형태 정보가 투영된 얼굴 영상의 캐리커쳐를 얻을 수 있다.

이렇게 얻어진 캐리커쳐 영상은 아래의 후처리 과정을 거친 후 바로 사용되거나 화가가 작업할 밑그림으로 사용하여 수동 처리시의 생산성을 높이는데 사용될 수 있다.

또한, 특징 정보 변경 판단 단계(S19)에서는 얼굴 영상의 특징 정보를 변경하여 얼굴 영상을 재 합성할 것인지를 판단하고, 특징 정보를 변경할 경우 예컨대 눈을 확대하거나 입을 축소하는 등의 부분 영역별 변형이나, 얼굴 전체를 과장하는 등의 전체적인 변형을 특징 정보에 반영하고 얼굴 형태 정보 복원 단계(S16)로 진행하여 얼굴 영상을 새롭게 합성해낸다.

그리고 표본 영상 사용 판단 단계(S20)에서는 합성된 캐리커쳐 영상에서 부분 또는 전체 영역에 대해 미리 준비해 둔 표본 영상으로 이를 대체할 것인지를 결정한다.

이러한 표본 영상은 다양한 얼굴에 대해 형태 정보에 대한 통계 분석을 수행한 후 이를 기반으로 만들어지는데 표본 영상의 구성 및 대체 방법은 표본 영상의 변형을 허용하는 경우와 허용하지 않는 두 가지 경우로 나눌 수 있다.

먼저, 표본 영상의 변형을 허용하는 경우는 일정하게 정규화 된 표본 영상을 구성하고 얼굴의 형태 정보를 바탕으로 표본 영상의 크기 및 모양을 변형하여 대체하는 방식으로 얼굴의 형태 정보를 충실히 반영할 수 있고, 비교적 적은 수의 영상만으로 표본 영상을 구성할 수 있다는 장점이 있으나, 표본 영상의 변형으로 인한 영상의 왜곡 및 전체적인 화질이 저하된다.

한편, 표본 영상의 변형을 허용하지 않는 경우에는 구성된 표본 영상만을 사용하여 영상을 대체하고 영상을 합성하므로 고화질의 결과를 얻을 수 있으나, 얼굴의 형태 정보를 충실히 반영하기가 어려우며, 가능한 모든 변형에 대해 표본 영상을 미리 준비해야 한다.

표본 영상으로 대체를 선택할 경우 유사도 측정 단계(S21)를 거쳐 부분 또는 전체 영역에 대해 유사도를 측정하고 부분 영상 대체 단계(S22)를 통해 이를 표본 영상과 대체하게 되는데 유사도 측정 방법은 아래의 식 4와 같이 표현될 수 있다.

[식4]

여기서, D는 입력 영상과 참조 영상과의 형태 정보 차이 C_s 및 표본 영상과 참조 영상과의 형태 정보 차이 C_t 간의 차와 입력 영상과 참조 영상과의 명도(색상) 정보 차이 C_t 및 표본 영상과 참조 영상과의 명도(색상) 정보 차이 C_q 간의 차 사이의 적절한 가중치 W를 취한 합으로서 입력 영상과 각 표본 영상들과의 D를 측정하여 이 값이 최소값이 되는 표본 영상으로 부분 영상을 대체한다.

표본 영상을 사용하는 경우는 예를 들어, 후처리 과정에서 수동으로 캐리커쳐를 보완할 경우 화가가 사용할 밑그림으로 표본 영상을 구성함으로써 수작업시의 생산성을 향상시키는 것과 저속의 통신 환경에서 생성된 캐리커쳐 영상 전체를 전송하지 않고 대체되는 표본 영상의 코드를 압축 전송하는 것으로 캐리커쳐 영상을 복원하는 경우에 사용할 수 있다.

액세서리 추가 단계(S23)에서는 캐리커쳐 영상에 다양한 액세서리 예를 들면, 안경이나 헤어스타일, 모자, 귀걸이, 몸체 등의 영상을 추가할 수 있고, 표정 변화 및 간단한 애니메이션 효과를 추가할 수도 있다.

표정 변화의 경우 기쁨, 슬픔, 분노 등의 표정에 대한 표본 영상 또는 애니메이션 프레임을 사용하여 이를 합성된 영상에 추가함으로써 원하는 효과를 얻을 수 있다. 액세서리 영상의 추가 시 얼굴 영상의 형태 정보를 이용하여 자동으로 크기 및 위치 조절을 수행함으로써 보다 자연스러운 결과를 얻을 수 있다.

후처리 단계(S24)에서는 선택 사항으로서 지금까지 생성된 캐리커쳐 영상에 대해 수 작업을 통한 영상 보정 등의 방법을 사용하여 최종적인 결과를 얻어낸다.

도 7은 얼굴 영상의 합성 방법을 사용한 메이크업 디자인의 예를 나타낸 것이다.

이에 도시된 바와 같이, 영상 입력 단계(S25)에서 사용자의 얼굴 영상을 입력받고 특징 점 정보 추출 단계(S26)로 진행하여 자동 또는 수동으로 특징 점을 추출하고 부호화 한다.

또한, 얼굴 형태 정보 복원 단계(S27)에서는 추출된 특징 점 정보를 사용하여 입력된 얼굴 영상의 형태 정보를 복원하게 되고, 메이크업 종류 선택 단계(S28)에서는 사용자가 원하는 종류의 견본 메이크업 디자인을 선택하게 되며, 얼굴 영상 합성 단계(S29)에서 사용자가 선택한 메이크업에 알맞은 참조 영상을 사용하여 영상을 합성함으로써 사용자 자신에게 메이크업이 적용된 얼굴 영상을 얻을 수 있다. 그리고 메이크업 수정 단계(S30)에서는 사용자가 색상 팔레트 등을 선택하여 수동으로 자신의 메이크업을 수정하며, 메이크업의 수정 후 만족 여부 판단 단계(S31)단계에서는 현재까지 얻어진 얼굴 영상에 대해 만족 여부를 결정하고, 만족하지 않을 경우 메이크업 종류 선택 단계(S28)로 진행하여 메이크업 디자인을 다시 수행하게 된다.

액세서리 추가 단계(S32)에서는 메이크업된 얼굴 영상에 다양한 액세서리, 예를 들면, 안경이나 귀걸이 등의 영상을 추가하고, 후처리 단계(S24)에서 지금까지 생성된 얼굴 영상에 대해 수 작업을 통한 영상 보정 등의 방법을 사용하여 최종적인 결과를 얻어낸다.

이상과 같은 본 발명은 얼굴의 특징 점 정보를 기반으로 얼굴의 형태 정보를 복원하여 다양한 얼굴 영상을 합성해 낼 수 있어 입력 영상의 상태에 무관하게 자연스럽고 고품질의 영상을 합성해 낼 수 있으므로 캐릭터 영상 생성이나 가상 메이크업 디자인 또는 범죄자 검색이나 몽타주 작성, 애니메이션 및 오락 등 다양한 분야에 활용할 수 있는 효과가 있다.

또한, 본 발명은 캐릭터 영상 생성의 경우 개인의 특징을 포함하고 있는 캐리커쳐를 즉시 생성해낼 수 있으며, 생성된 캐리커쳐를 부분 또는 전체적으로 과장하거나 변형 할 수 있고, 얼굴의 특징 점에 대한 정보를 갖고 있으므로 복잡한 후처리 과정을 단순화시키고 자동화시킬 수 있어 생산성을 향상시킬 수 있는 효과가 있다.

특히, 메이크업 디자인의 경우 사용자가 간편하게 자기 자신의 메이크업을 디자인한 후 확인할 수 있으며, 부분 또는 전체적인 수정과 여러 가지 액세서리 등을 추가한 모습 또한 즉시 예측이 가능하고, 특징 점 위치 정보를 기반으로 가상 현실에서의 아바타(Avatar) 구현, 3차원 얼굴 영상 복원, 비디오 채팅 등 얼굴 영상을 필요로 하는 수많은 응용분야에 적용할 수 있는 효과가 있다.

Claims (21)

1. 사용자의 얼굴 영상을 입력받아 얼굴 영상의 형태 정보를 기반으로 얼굴 영상을 합성하는 장치에 있어서, 사용자의 정보와 얼굴 영상 정보를 입력받고 사용자의 요구에 따라 합성된 영상을 전송 받아 출력 또는 저장하는 사용자 인터페이스부와, 상기 다수개의 사용자 인터페이스부로부터 입력된 영상 및 문자 정보에 따라 영상 정보를 처리하고 합성하여 상기 해당 사용자 인터페이스부로 전송하는 중앙 처리 시스템부를 포함하여 구성된 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 장치.
2. 제 1항에 있어서, 상기 중앙 처리 시스템부가, 상기 사용자 인터페이스부와 네트워크로 연결되어 입출력되는 문자 및 영상 정보 신호를 전송해주는 통신 장치부와, 상기 통신 장치부를 경유하여 입력되는 사용자의 문자, 영상 또는 제어 정보에 따른 질의를 분석하여 각 처리 장치부를 통해 사용자 요구 정보를 제어하는 중앙연산 처리부와, 상기 중앙연산 처리부의 영상 생성 제어 신호에 따라 영상을 합성하는 영상 정보 처리부와, 상기 영상 정보 처리부에 접속되며, 영상 합성에 필요한 얼굴 모형 데이터 베이스부를 포함하여 구성된 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 장치.
3. 제 2항에 있어서, 상기 얼굴 모형 데이터 베이스에, 표본 영상 데이터 베이스와 부가 영상 데이터 베이스가 병렬 접속되어 영상 정보 처리부에 의해 처리된 데이터를 불러오거나 저장하도록 구성된 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 장치.
4. 제 2항에 있어서, 상기 얼굴 모형 데이터 베이스에, 메이크업 영상 데이터 베이스와 액세서리 영상 데이터 베이스가 병렬 접속되어 영상 정보 처리부에 의해 처리된 데이터를 저장하거나 불러오도록 구성된 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 장치.
5. 제 1항에 있어서, 상기 사용자 인터페이스부와 중앙 처리 시스템부가,

   각각의 통신 장치부와 통신망으로 연결되고, 하나의 시스템 내에 통합되어 운영되는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 장치.
6. 얼굴 영상을 입력받아 자동 또는 수동으로 얼굴의 특징 점을 추출하는 제1단계와, 상기 특징 점으로부터 얼굴 형태 정보를 복원하여 미리 준비된 참조 영상과 얼굴 영상을 합성하는 제2단계와, 필요할 경우 특징 점 정보를 변경하여 얼굴 영상을 재 합성하는 제3단계와, 얼굴의 형태 정보를 이용하여 여러 액세서리 영상을 추가하여 얼굴 영상을 합성해내는 제4단계로 이루어지는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
7. 제 6항에 있어서, 얼굴 특징 점 정보로부터 얼굴 형태 정보 복원시 얼굴의 형태를 참조 영상과의 변형장(deformation field)으로 모형화하는 단계와, 이들의 특성을 주성분 분석한 후 고유벡터의 선형 중첩으로 표현하는 단계와 몇 개의 특징 점 위치에서의 형태 정보만으로 나머지 고유벡터 계수를 예측하는 단계로 전체 얼굴의 형태 정보를 복원하는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
8. 제 6항에 있어서, 얼굴 영상의 합성 단계에서 복원된 얼굴 형태 정보와 참조 영상을 와핑 기법을 사용하여 합성하는 것과 하나의 얼굴 형태 정보와 다양한 참조 영상을 사용하여 동일한 형태를 갖고 있으나 서로 다른 종류의 영상을 합성해내는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
9. 제 6항에 있어서, 생성된 결과 영상에 여러 가지 액세서리 추가 단계에서 얼굴의 형태 정보를 기반으로 추가될 액세서리의 위치 및 크기를 자동적으로 판단하여 이를 영상에 추가하는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
10. 얼굴 영상을 입력받아 자동 또는 수동으로 얼굴의 특징 점을 추출하는 제1단계와, 상기 특징 점으로부터 얼굴 형태 정보를 복원하여 미리 준비된 여러 종류의 캐리커쳐 생성용 참조 영상과 얼굴 영상을 합성하는 제2단계와, 필요할 경우 특징 점 정보를 변경하여 얼굴 영상을 재 합성하는 제3단계와, 필요할 경우 유사도 측정 방법을 사용하여 얼굴의 전체/부분 영상을 미리 준비된 표본 영상과 대체하는 제4단계와, 얼굴의 형태 정보를 이용하여 여러 액세서리 영상을 추가하여 캐리커쳐 영상을 생성해내는 제5단계로 이루어지는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
11. 제 10항에 있어서, 얼굴 특징 점 정보로부터 얼굴 형태 정보 복원시 얼굴의 형태를 참조 영상과의 변형장(deformation field)으로 모형화하는 단계와, 이들의 특성을 주성분 분석한 후 고유벡터의 선형 중첩으로 표현하는 단계와 몇 개의 특징 점 위치에서의 형태 정보만으로 나머지 고유벡터 계수를 예측하는 단계로 전체 얼굴의 형태 정보를 복원하는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
12. 제 10항에 있어서, 얼굴 영상의 합성 단계에서 복원된 얼굴 형태 정보와 참조 영상을 와핑 기법을 사용하여 합성하는 것과 하나의 얼굴 형태 정보와 다양한 참조 영상을 사용하여 동일한 형태를 갖고 있으나 서로 다른 종류의 영상을 합성해내는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
13. 제 10항에 있어서, 생성된 결과 영상에 여러 가지 액세서리 추가 단계에서 얼굴의 형태 정보를 기반으로 추가될 액세서리의 위치 및 크기를 자동적으로 판단하여 이를 영상에 추가하는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
14. 상기 제 10항에 있어서, 얼굴 영상의 캐리커쳐 생성 단계에서 얼굴의 형태 정보를 기반으로 유사도를 측정하여 데이터 베이스내에 미리 준비된 표본 영상으로 부분 또는 전체 영상을 대체하는 단계로 캐리커쳐를 생성해내는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
15. 상기 제 10항에 있어서, 얼굴 영상의 캐리커쳐 생성 단계에서 얼굴의 형태 정보를 기반으로 다양한 표정을 자동 또는 수동적으로 판단하여 데이터 베이스 내에 미리 준비된 표정 변화된 표본 영상으로 부분 또는 전체 영상을 대체하는 단계와, 사용자가 원할 경우 액세서리 추가 단계에서 여러 표정 변화 및 애니메이션 프레임을 선택하여 추가하는 단계로 캐리커쳐를 생성해 내는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
16. 상기 제 10항에 있어서, 얼굴의 부분 또는 전체에 관한 표본 영상 데이터베이스 구성시 실제 얼굴 영상에 대해 형태 및 명도(색상) 정보를 통계적으로 분석하여 이를 표준 분포 또는 정규 분포를 따라 샘플링하고, 샘플링된 영상에 기반하여 이에 상응하는 표본 영상을 화가가 스케치하는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
17. 상기 제 10항에 있어서, 유사도 측정 단계에서 입력 영상과 표본 영상과의 형태 정보 차이 및 명도(색상) 정보 차이간의 적절한 가중치를 취한 합으로 유사도를 측정하는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
18. 얼굴 영상을 입력받아 자동 또는 수동으로 얼굴의 특징 점을 추출하는 제1단계와, 상기 특징 점으로부터 얼굴 형태 정보를 복원하여 미리 준비된 여러 종류의 메이크업 영상과 얼굴 영상을 합성하는 제2단계와, 필요할 경우 특징 점 정보를 변경하여 얼굴 영상을 재 합성하는 제3단계와, 필요할 경우 메이크업을 수동으로 수정하는 제4단계와, 얼굴의 형태 정보를 이용하여 여러 액세서리 영상을 추가하여 메이크업을 디자인하는 제5단계로 이루어지는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
19. 제 18항에 있어서, 얼굴 특징 점 정보로부터 얼굴 형태 정보 복원시 얼굴의 형태를 참조 영상과의 변형장(deformation field)으로 모형화하는 단계와, 이들의 특성을 주성분 분석한 후 고유벡터의 선형 중첩으로 표현하는 단계와 몇 개의 특징 점 위치에서의 형태 정보만으로 나머지 고유벡터 계수를 예측하는 단계로 전체 얼굴의 형태 정보를 복원하는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
20. 제 18항에 있어서, 얼굴 영상의 합성 단계에서 복원된 얼굴 형태 정보와 참조 영상을 와핑 기법을 사용하여 합성하는 것과 하나의 얼굴 형태 정보와 다양한 참조 영상을 사용하여 동일한 형태를 갖고 있으나 서로 다른 종류의 영상을 합성해내는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.
21. 제 18항에 있어서, 생성된 결과 영상에 여러 가지 액세서리 추가 단계에서 얼굴의 형태 정보를 기반으로 추가될 액세서리의 위치 및 크기를 자동적으로 판단하여 이를 영상에 추가하는 것을 특징으로 하는 얼굴 영상에 기반한 캐릭터 자동 생성 방법.