KR100459892B1 - 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치 - Google Patents

3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치 Download PDF

Info

Publication number
KR100459892B1
KR100459892B1 KR10-2001-0078963A KR20010078963A KR100459892B1 KR 100459892 B1 KR100459892 B1 KR 100459892B1 KR 20010078963 A KR20010078963 A KR 20010078963A KR 100459892 B1 KR100459892 B1 KR 100459892B1
Authority
KR
South Korea
Prior art keywords
texture
coordinates
unit
input
result
Prior art date
Application number
KR10-2001-0078963A
Other languages
English (en)
Other versions
KR20030048913A (ko
Inventor
황의현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2001-0078963A priority Critical patent/KR100459892B1/ko
Priority to EP02258528A priority patent/EP1320074B1/en
Priority to DE60207367T priority patent/DE60207367T2/de
Priority to JP2002360184A priority patent/JP4468631B2/ja
Priority to US10/318,089 priority patent/US7139439B2/en
Publication of KR20030048913A publication Critical patent/KR20030048913A/ko
Application granted granted Critical
Publication of KR100459892B1 publication Critical patent/KR100459892B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치가 개시된다. 이 방법은, 얼굴의 정면 영상과 적어도 하나의 측면 영상에 대해 표준 모델을 변형하여 생성되는 변형된 모델 좌표를 이용하여 소정 중심부를 소정 비율로 확대한 결과 및 비율 만큼 주변부를 축소한 결과로부터 텍스쳐 좌표를 추출하며, 변형된 모델 좌표를 픽셀 좌표로 변환하는 단계 및 정면 및 측면 영상을, 픽셀 좌표에 의해 결정한 폴리곤 단위로 텍스쳐 좌표를 이용하여 보간하고, 보간된 결과를 변형된 텍스쳐로 결정하는 단계를 구비하고, 중심부는 얼굴에서 눈을 중심으로 사용자에 의해 설정되는 영역이고, 주변부는 얼굴에서 중심부를 제외한 영역에 해당하는 것을 특징으로 한다. 그러므로, 종래와 달리 소프트웨어적으로나 하드웨어적으로 압축 및 복원을 위한 부분을 요구하지 않고, 조명이 다소 다른 상황에서 촬영된 정면 영상과 측면 영상들을 가지고도 우수한 텍스쳐를 생성할 수 있고, 폴리곤들간의 경계를 자연스럽게 처리할 수 있으며, 한정된 리소스를 이용하여 종래보다 우수한 텍스쳐를 생성할 수 있어, 결과적으로 보다 선명한 3차원 얼굴 모델을 생성할 수 있도록 하는 효과를 갖는다.

Description

3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치{Method and apparatus for generating texture for 3D facial model}
본 발명은 영상 처리에 관한 것으로서, 특히, 2차원 얼굴 영상을 3차원 얼굴 모델로 매핑하기 위해 필요한 텍스쳐를 생성하는 텍스쳐 생성 방법 및 장치에 관한 것이다.
3차원 얼굴 모델링은 높은 난이도를 갖는다. 왜냐하면, 얼굴은 굴곡이 심하며 그의 미묘한 변화에도 사람이 쉽게 차이를 느끼기 때문이다. 일반적으로, 3차원 얼굴 모델은 두 가지의 용도들을 위해 생성된다.
첫 번째, 영화등을 위해 3차원 얼굴 모델을 생성한다. 이 경우, 얼굴 모델은 우수한 품질을 가져야 하지만 실시간으로 생성될 필요는 없다. 그러므로, 얼굴 모델에 대한 텍스쳐 크기를 단순히 늘림으로써, 얼굴 모델에 대한 텍스쳐의 품질을 개선할 수 있다.
두 번째, 게임 또는 모바일(mobile) 장치 등을 위해 3차원 얼굴 모델을 생성한다. 이 때, 모바일 장치는 제한된 리소스를 이용하여 3차원 얼굴 모델에 대한 그래픽을 시도하며, 실시간 애니메이션 예를 들면, 얼굴 모델을 통한 아바타 따위를 생성한다. 그러나, 게임기나 컴퓨터는 그의 성능이 좋아짐에 따라 모바일 장치보다 리소스를 제한시키지 않으며 증가된 처리 속도를 갖지만, 영화에 대비할 때 실시간 동작을 여전히 요구하여 제한된 리소스를 사용할 수 밖에 없다.
종래의 제1 텍스쳐 생성 방법은, 단순한 원통좌표 변환을 통해 3차원 얼굴 모델을 위한 텍스쳐를 생성하였다. 이 경우, 3차원 머리 영상에 대한 전체 텍스쳐에서 얼굴 영상에 대한 텍스쳐가 차지하는 부분이 1/8에 불과하다. 즉, 머리 전체에서 얼굴 영상은 머리의 상하 방향으로 약 50%를 차지하며, 머리의 좌우 방향으로 약 25%를 차지한다. 이 때, 생성된 얼굴 모델들을 보고 사람이 주로 차이를 느끼는 부분은 얼굴중 눈을 중심으로 한 부분임을 고려한다면, 종래의 제1 텍스쳐 생성 방법은 전체 텍스쳐에서 불필요한 부분에 해당하는 텍스쳐를 낭비하는 문제점을 갖는다.
종래의 제2 텍스쳐 생성 방법은, 3차원 얼굴 모델을 생성하기 위해 사용되는 텍스쳐를 압축하였으므로, 텍스쳐를 사용하기 전에 압축된 텍스쳐를 복원하는 별도의 장치를 수반하는 문제점을 갖는다.
종래의 제3 텍스쳐 생성 방법은, 리소스가 제한될 경우 텍스쳐의 절대 크기가 줄어들어, 3차원 얼굴 모델의 위한 텍스쳐 품질을 저하시키는 문제점을 갖는다.
본 발명이 이루고자 하는 기술적 과제는, 2차원 얼굴 영상들을 3차원 얼굴 모델에 매핑할 때 필요한 텍스쳐를 사용자의 관심이 있는 부분에 치중하면서 사용자의 관심이 없는 부분을 이용하여 생성하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 상기 3차원 얼굴 모델을 위한 텍스쳐 생성 방법을 수행하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치를 제공하는 데 있다.
도 1은 본 발명에 의한 텍스쳐 생성 방법을 설명하기 위한 플로우차트이다.
도 2는 도 1에 도시된 텍스쳐 생성 방법을 수행하는 본 발명에 의한 텍스쳐 생성 장치의 블럭도이다.
도 3 (a) ∼ (c)들은 중심부를 설명하기 위한 도면들이다.
도 4은 도 1에 도시된 제10 단계에 대한 본 발명에 의한 바람직한 일 실시예를 설명하기 위한 플로우차트이다.
도 5는 도 4에 도시된 실시예를 수행하는 픽셀 좌표 추출부의 본 발명에 의한 바람직한 일 실시예의 블럭도이다.
도 6는 도 1에 도시된 제10 단계에 대한 본 발명에 의한 바람직한 다른 실시예를 설명하기 위한 플로우차트이다.
도 7은 도 5에 도시된 제2 좌표 변환부의 본 발명에 의한 바람직한 다른 실시예의 블럭도이다.
도 8은 도 1에 도시된 제10 단계에 대한 본 발명에 의한 바람직한 또 다른 실시예를 설명하기 위한 플로우차트이다.
도 9는 도 8에 도시된 실시예를 수행하는 텍스쳐 좌표 추출부의 본 발명에의한 일 실시예의 블럭도이다.
도 10은 좌표 변형부의 실시예들을 설명하기 위한 그래프이다.
도 11 (a) 및 (b)들은 사람의 머리 형상을 나타내는 도면들이다.
도 12는 도 1에 도시된 제12 단계에 대한 본 발명에 의한 바람직한 일 실시예를 설명하기 위한 플로우차트이다.
도 13은 도 12에 도시된 실시예를 수행하는 텍스쳐 변형부의 본 발명에 의한 바람직한 일 실시예의 블럭도이다.
도 14는 도 13에 도시된 제2 평균값 계산부와 보상값 추출부의 본 발명에 의한 바람직한 실시예들을 설명하기 위한 도면이다.
도 15는 도 12에 도시된 실시예를 수행하는 텍스쳐 변형부의 본 발명에 의한 바람직한 다른 실시예의 블럭도이다.
도 16 (a) 및 (b)들은 종래와 본 발명에 의한 텍스쳐 생성 방법들을 비교 설명하기 위한 도면들이다.
상기 과제를 이루기 위한 본 발명에 의한 3차원 얼굴 모델을 위한 텍스쳐 생성 방법은, 얼굴의 정면 영상과 적어도 하나의 측면 영상에 대해 표준 모델을 변형하여 생성되는 변형된 모델 좌표를 이용하여 소정 중심부를 소정 비율로 확대한 결과 및 상기 비율 만큼 주변부를 축소한 결과로부터 텍스쳐 좌표를 추출하며, 상기 변형된 모델 좌표를 픽셀 좌표로 변환하는 단계 및 상기 정면 및 상기 측면 영상을, 상기 픽셀 좌표에 의해 결정한 폴리곤 단위로 상기 텍스쳐 좌표를 이용하여 보간하고, 보간된 결과를 변형된 텍스쳐로 결정하는 단계로 이루어지고, 상기 중심부는 상기 얼굴에서 눈을 중심으로 사용자에 의해 설정되는 영역이고, 상기 주변부는 상기 얼굴에서 상기 중심부를 제외한 영역에 해당하는 것이 바람직하다.
상기 다른 과제를 이루기 위한 본 발명에 의한 3차원 얼굴 모델을 위한 텍스쳐 생성 장치는, 얼굴의 정면 영상과 적어도 하나의 측면 영상에 대해 표준 모델을 변형하여 외부에서 생성된 변형된 모델 좌표를 입력하고, 입력한 상기 변형된 모델 좌표를 변환 함수에 대입하여 소정 중심부를 소정 비율로 확대하고 상기 비율 만큼 주변부를 축소하며, 확대 및 축소한 결과들을 텍스쳐 좌표들로서 출력하는 텍스쳐 좌표 추출부와, 상기 변형된 모델 좌표를 픽셀 좌표로 변환하고, 변환된 상기 픽셀 좌표를 출력하는 픽셀 좌표 추출부 및 상기 변형된 모델 좌표를 분석하고, 분석한 결과에 응답하여 상기 정면 또는 상기 측면 영상을 사용자로부터 입력하고, 상기 픽셀 좌표에 의해 결정한 폴리곤 단위로 상기 텍스쳐 좌표에 의해 상기 정면 또는 측면 영상을 보간하고, 보간된 결과를 변형된 텍스쳐로서 출력하는 텍스쳐 변형부로 구성되고, 상기 중심부는 상기 얼굴에서 눈을 중심으로 상기 사용자에 의해 설정되는 영역이고, 상기 주변부는 상기 얼굴에서 상기 중심부를 제외한 영역에 해당하는 것이 바람직하다.
이하, 본 발명에 의한 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 그 방법을 수행하는 본 발명에 의한 텍스쳐 생성 장치의 구성 및 동작을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명에 의한 텍스쳐 생성 방법을 설명하기 위한 플로우차트로서,텍스쳐 및 픽셀 좌표들을 구하는 단계(제10 단계), 텍스쳐를 변형하는 단계(제12 단계) 및 변형된 텍스쳐를 저장하는 단계(제14 단계)로 이루어진다.
도 2는 도 1에 도시된 텍스쳐 생성 방법을 수행하는 본 발명에 의한 텍스쳐 생성 장치의 블럭도로서, 픽셀 좌표 추출부(30), 텍스쳐 좌표 추출부(32), 텍스쳐 변형부(34) 및 저장부(36)로 구성된다.
도 3 (a) ∼ (c)들은 중심부를 설명하기 위한 도면들이다.
본 발명에 의한 3차원 얼굴 모델을 위한 텍스쳐 생성 방법은 먼저, 변형된 모델 좌표를 이용하여 소정 중심부를 소정 비율로 확대한 결과와 소정 비율 만큼 주변부를 축소한 결과로부터 텍스쳐 좌표를 추출하며, 변형된 모델 좌표를 픽셀 좌표로 변환한다(제10 단계). 여기서, 변형된 모델 좌표는, 얼굴을 정면에서 촬영한 정면 영상과 얼굴을 측면 즉, 오른쪽 및/또는 왼쪽에서 촬영한 측면 영상(들)에 대해 표준 모델을 변형하여 생성되며, 이에 대해서는 "2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법 및 장치"라는 제목을 갖고, 특허 출원 번호 2000-9867로 출원된 출원서에 개시되어 있다.
본 발명에 의하면, 전술한 중심부는 사용자의 관심이 있는 부분으로서, 얼굴에서 눈을 중심으로 사용자에 의해 설정되는 영역이고, 주변부는 사용자의 관심이 없는 부분으로서, 얼굴에서 중심부를 제외한 영역에 해당한다. 예를 들면, 도 3 (a)에 도시된 바와 같이 얼굴의 중심이 되는 두 눈의 중간점을 중심(+)으로 중심부(40)가 설정되거나 또는 도 3 (b)에 도시된 바와 같이 영상 분포의 측면에서 상하로는 눈썹부터 턱까지를 포함하고 좌우로는 두 눈의 바깥쪽 끝을 포함하도록코를 중심(+)으로 중심부(42)가 설정될 수 있다. 이 때, 중심(+)은 사용자에 의해 임의로 이동될 수 있다. 즉, 중심부는 사용자에 의해 임의의 이동될 수 있다. 예를 들어, 입 부분이 보다 중요하면 도 3 (c)에 도시된 바와 같이 입을 중심(+)으로 중심부(44)가 설정될 수도 있다.
제10 단계를 수행하기 위해, 도 2에 도시된 텍스쳐 생성 장치는 픽셀 좌표 추출부(30) 및 텍스쳐 좌표 추출부(32)로 구현될 수 있다.
여기서, 픽셀 좌표 추출부(30)는 입력단자 IN1을 통해 입력한 변형된 모델 좌표를 픽셀 좌표로 변환하고, 변환된 픽셀 좌표를 텍스쳐 변형부(34)로 출력한다. 이하, 도 1에 도시된 제10 단계 및 도 2에 도시된 픽셀 좌표 추출부(30)의 본 발명에 의한 바람직한 실시예들 각각을 첨부된 도면들을 참조하여 다음과 같이 설명한다.
도 4은 도 1에 도시된 제10 단계에 대한 본 발명에 의한 바람직한 일 실시예(10A)를 설명하기 위한 플로우차트로서, 투영 및 중심 이동을 통해 정면 또는 측면 영상에 대한 픽셀 좌표들을 생성하는 단계(제50 및 제52 단계들)로 이루어진다.
먼저, 정면 영상에 대한 변형된 모델 좌표를 xy 평면에 투영한다(제50 단계). 제50 단계후에, 투영된 결과의 중심을 이동하여 정면 영상에 대한 픽셀 좌표를 생성하고, 제12 단계로 진행한다(제52 단계). 이와 마찬가지로, 측면 영상에 대한 변형된 모델 좌표를 xy 평면에 투영한다(제50 단계). 제50 단계후에, 투영된 결과의 중심을 이동하여 측면 영상에 대한 픽셀 좌표를 생성하고, 제12 단계로 진행한다(제52 단계).
도 5는 도 4에 도시된 실시예(10A)를 수행하는 픽셀 좌표 추출부(30)의 본 발명에 의한 바람직한 일 실시예(30A)의 블럭도로서, 제1 및 제2 좌표 변환부들(60 및 70)로 구성된다.
도 5에 도시된 제1 좌표 변환부(60)는 입력단자 IN1을 통해 입력한 정면 영상에 대한 변형된 모델 좌표를 픽셀 좌표로 변환하고, 변환된 픽셀 좌표를 출력단자 OUT2를 통해 텍스쳐 변형부(34)로 출력한다. 이를 위해, 제1 좌표 변환부(60)는 도 4에 도시된 실시예(10A)를 수행하기 위해, 제1 투영부(62) 및 제1 중심 이동부(64)로 구현될 수 있다. 여기서, 제1 투영부(62)는 입력단자 IN1을 통해 입력한 정면 영상에 대한 변형된 모델 좌표를 xy 평면에 투영하고, 투영된 결과를 제1 중심 이동부(64)로 출력한다. 이 때, 제1 중심 이동부(64)는 제1 투영부(62)로부터 입력한 투영된 결과의 중심을 이동하여 정면 영상에 대한 픽셀 좌표를 생성하고, 생성된 정면 영상에 대한 픽셀 좌표를 출력단자 OUT2를 통해 텍스쳐 변형부(34)로 출력한다.
또한, 제2 좌표 변환부(70)는 입력단자 IN1을 통해 입력한 측면 영상에 대한 변형된 모델 좌표를 픽셀 좌표로 변환하고, 변환된 픽셀 좌표를 출력단자 OUT2를 통해 텍스쳐 변형부(34)로 출력한다. 이를 위해, 제2 좌표 변환부(70)는 도 4에 도시된 실시예(10A)를 수행하기 위해, 제2 투영부(72) 및 제2 중심 이동부(74)로 구현될 수 있다. 여기서, 제2 투영부(72)는 입력단자 IN1을 통해 입력한 측면 영상에 대한 변형된 모델 좌표를 xy 평면에 투영하고, 투영된 결과를 제2 중심 이동부(74)로 출력한다. 이 때, 제2 중심 이동부(74)는 제2 투영부(72)로부터 입력한 투영된 결과의 중심을 이동하여 측면 영상에 대한 픽셀 좌표를 생성하고, 생성된 측면 영상에 대한 픽셀 좌표를 출력단자 OUT2를 통해 텍스쳐 변형부(34)로 출력한다.
도 6는 도 1에 도시된 제10 단계에 대한 본 발명에 의한 바람직한 다른 실시예(10B)를 설명하기 위한 플로우차트로서, 투영 및 중심 이동을 통해 측면 영상에 대한 픽셀 좌표를 생성하는 단계(제80 및 제82 단계들)로 이루어진다.
먼저, 측면 영상에 대한 변형된 모델 좌표를 zy 평면에 투영한다(제80 단계). 제80 단계후에, 투영된 결과의 중심을 이동하여 측면 영상에 대한 픽셀 좌표를 생성한다(제82 단계).
도 7은 도 5에 도시된 제2 좌표 변환부(70)의 본 발명에 의한 바람직한 다른 실시예(70A)의 블럭도로서, 제3 투영부(90) 및 제3 중심 이동부(92)로 구성된다.
도 7에 도시된 제2 좌표 변환부(70A)는 도 6에 도시된 실시예(10B)를 수행하기 위해, 제3 투영부(90) 및 제3 중심 이동부(92)로 구현될 수 있다. 여기서, 제3 투영부(90)는 입력단자 IN1을 통해 입력한 측면 영상에 대한 변형된 모델 좌표를 zy 평면에 투영하고, 투영된 결과를 제3 중심 이동부(92)로 출력한다. 이 때, 제3 중심 이동부(92)는 제3 투영부(90)로부터 입력한 투영된 결과의 중심을 이동하여 측면 영상에 대한 픽셀 좌표를 생성하고, 생성된 픽셀 좌표를 출력단자 OUT3을 통해 텍스쳐 변형부(34)로 출력한다.
전술한 제2 좌표 변환부(70)는 변형된 모델 좌표에 해당하는 변형된 표준 모델을 측면 영상들중 하나인 오른쪽 영상에 맞추어 오른쪽으로 회전시키거나 변형된표준 모델을 측면 영상들중 다른 하나인 왼쪽 영상에 맞추어 왼쪽으로 회전시킬 경우, 제2 투영부(72) 및 제2 중심 이동부(74)로 구현된다. 그러나, 변형된 표준 모델을 오른쪽이나 왼쪽으로 회전시키지 않을 경우, 제2 좌표 변환부(70)는 제3 투영부(90) 및 제3 중심 이동부(92)로 구현된다.
본 발명의 일 실시예에 의하면, 전술한 제1, 제2 또는 제3 중심 이동부(64, 74 또는 92)는 중심을 이동한 결과에서 좌표를 반올림하고, 반올림한 좌표를 픽셀 좌표로서 출력한다. 본 발명의 다른 실시예에 의하면, 제1, 제2 또는 제3 중심 이동부(64, 74 또는 92)는 중심을 이동한 결과의 좌표에서 소수점 이하를 터미네이션(termination)하고, 터미네이션된 결과를 픽셀 좌표로서 출력한다. 이러한, 두 가지의 실시예들에 의해 정수 형태의 픽셀 좌표가 추출될 수 있다.
한편, 텍스쳐 좌표 추출부(32)는 입력단자 IN1을 통해 입력한 변형된 모델 좌표를 변환 함수에 대입하여 소정 중심부를 소정 비율로 확대하고 확대한 비율 만큼 주변부를 축소하며, 확대 및 축소한 결과들을 텍스쳐 좌표들로서 텍스쳐 변형부(34) 및 저장부(36)로 각각 출력한다. 이하, 도 1에 도시된 제10 단계 및 도 2에 도시된 텍스쳐 좌표 추출부(32)의 본 발명에 의한 바람직한 실시예들 각각을 첨부된 도면들을 참조하여 다음과 같이 설명한다.
도 8은 도 1에 도시된 제10 단계에 대한 본 발명에 의한 바람직한 또 다른 실시예(10C)를 설명하기 위한 플로우차트로서, 좌표계를 변환하는 단계(제100 단계) 및 변환된 좌표계에서 표현되는 변형된 모델 좌표를 변형하여 텍스쳐 좌표를 구하는 단계(제102 단계)로 이루어진다.
도 9는 도 8에 도시된 실시예(10C)를 수행하는 텍스쳐 좌표 추출부(32)의 본 발명에 의한 일 실시예(32A)의 블럭도로서, 좌표 변환부(110) 및 좌표 변형부(112)로 구성된다.
도 9에 도시된 좌표 변환부(110)는 입력단자 IN1을 통해 입력한 직교 좌표계로 표현되는 변형된 모델 좌표(x,y,z)를 다음 수학식 1과 같이 원통 좌표계(r,θ,yc)로 변환하고, 원통 좌표계로 표현되는 변형된 모델 좌표를 좌표 변형부(112)로 출력한다(제100 단계).
여기서, θ의 범위는 -π∼ π이다.
제100 단계후에, 좌표 변형부(112)는 좌표 변환부(110)로부터 입력한 원통 좌표계로 표현되는 변형된 모델 좌표를 변환함수에 대입하여 변형하고, 변형된 결과를 텍스쳐 좌표로서 출력단자 OUT4를 통해 출력한다(제102 단계).
도 10은 좌표 변형부(112)의 실시예들을 설명하기 위한 그래프로서, 횡축은 원통 좌표계로 표현되는 변형된 모델 좌표(θ,y)를 나타내고, 종축은 좌표 변형부(112)에 의해 변형된 모델 좌표 즉, 텍스쳐 좌표(θm,ym)를 각각 나타낸다.
본 발명의 제1 실시예에 의하면, 도 9에 도시된 좌표 변형부(112)는 좌표 변환부(110)로부터 입력한 원통 좌표계로 표현되는 변형된 모델 좌표를 도 10에 도시된 변형 함수 즉, 연속 함수(130)에 의해 변형하고, 변형된 결과를 텍스쳐 좌표로서 출력단자 OUT4를 통해 출력한다. 도 10에 도시된 바와 같이, 종래의 텍스쳐 생성 장치에 의할 경우, 변형된 모델 좌표와 텍스쳐 좌표는 일대일 대응 관계(134)를 갖는다. 그러나, 본 발명에 의한 텍스쳐 생성 장치는 변형된 모델 좌표를 연속 함수(130)에 의해 원점(0,0)을 기준으로 확대 변형한다.
예를 들면, 좌표 변형부(112)는 원통 좌표계로 전술한 수학식 1과 같이 표현되는 변형된 모델 좌표(r,θ,yc)를 다음 수학식 2와 같이 표현되는 1차 연속 함수에 의해 변형하고, 변형된 결과를 텍스쳐 좌표(θm,ym)로서 출력한다.
여기서, 2로 제산하고, 0.5를 가산한 이유는, 도 10에 도시된 변형된 결과인 텍스쳐 좌표(θm,ym)를 0.0 ∼ 1.0 사이의 값으로 표현하기 위해서이다.
다른 예를 들면, 좌표 변형부(112)는 원통 좌표계로 전술한 수학식 1과 같이 표현되는 변형된 모델 좌표(r,θ,yc)를 다음 수학식 3과 같이 표현되는 tanh 연속 함수에 의해 변형하고, 변형된 결과를 텍스쳐 좌표(θm,ym)로서 출력단자 OUT4를 통해 출력한다.
여기서, 2로 제산하고, 0.5를 가산하거나 감산한 이유는, 도 10에 도시된 변형된 결과인 텍스쳐 좌표(θm,ym)를 0.0 ∼ 1.0 사이의 값으로 표현하기 위해서이다.
본 발명의 제2 실시예에 의하면, 좌표 변형부(112)는 좌표 변환부(110)로부터 입력한 원통 좌표계로 표현되는 변형된 모델 좌표를 도 10에 도시된 변형 함수 즉, 불연속 함수(132)에 의해 변형하고, 변형된 결과를 텍스쳐 좌표로서 출력단자 OUT4를 통해 출력한다. 도 10에 도시된 바와 같이, 변형된 모델 좌표와 텍스쳐 좌표간의 일대일 대응 관계(134)는 불연속 함수(132)에 의해 원점(0,0)을 기준으로 변형된다. 예를 들면, 원통 좌표계로 전술한 수학식 1과 같이 표현되는 변형된 모델 좌표(r,θ,yc)는 1차 불연속 함수에 의해 변형될 수 있다. 이 경우, 1차 불연속 함수에 의해 변형된 텍스쳐 좌표들(θm, ym)중 하나인 θm는 다음 수학식 4와 같이 표현될 수 있다.
본 발명의 제3 실시예에 의하면, 좌표 변형부(112)는 좌표 변환부(110)로부터 어드레스로서 입력한 원통 좌표계로 표현되는 변형된 모델 좌표(r,θ,yc)에 응답하여, 저장한 텍스쳐 좌표(θm,ym)중 해당하는 텍스쳐 좌표를 출력단자 OUT4를 통해 독출하는 소정 테이블 예를 들면, 룩 업 테이블(LUT:Look Up Table)(120)로 구현될 수 있다. 예를 들어, 텍스쳐의 해상도가 100×100 (pixel×pixel)이면, 0.0 ∼ 1.0까지의 범위를 갖는 변형된 모델 좌표에 99를 승산하여 그의 범위를 0 ∼ 99로 변환할 수 있다. 그러므로, 다음 표 1과 같은 룩 업 테이블(120)을 통해 변환된 값을 다시 99로 나누면 원하는 변환 결과 즉, 텍스쳐 좌표를 얻을 수 있다.
변형된모델 좌표 0 1 2 3 ... 97 98 99
텍스쳐좌표 0 4 7 9 ... 98 99 99
이와 같이, 테이블을 이용하여 변형된 모델 좌표로부터 텍스쳐 좌표를 생성할 경우, 텍스쳐 좌표의 변화 정도를 자유롭게 조정할 수 있는 잇점이 있다.
도 11 (a) 및 (b)들은 사람의 머리 형상을 나타내는 도면들로서, 도 11 (a)는 위에서 바라본 머리 형상을 나타내고, 도 11 (b)은 측면에서 바라본 머리 형상을 각각 나타낸다.
도 11 (a)에 도시된 바와 같이 사람의 머리 형상을 위에서 바라보면, 미간을 기준으로 좌우 45도(=θ) 영역내에 중심부가 포함되고, 도 11 (b)에 도시된 바와 같이 사람의 머리 형상을 측면에서 바라보면, 눈을 기준으로 상하 45도 영역내에 중심부가 포함된다. 예를 들면, 좌표 변형부(112)가 전술한 제1 실시예의 수학식 2에 의해 텍스쳐 좌표를 생성하면, 도 11 (a)에 도시된 전체 대비 25%의 θ즉, 좌우 45도는 38%로 확대되고, 도 11 (b)에 도시된 전체 대비 50%의 상하 45도는 76%로 확대된다. 따라서, 얼굴에서 중심부가 차지하는 영역의 텍스쳐가 12.5%에서 28.9%로 두 배 이상 확대된다.
전술한 픽셀 좌표 추출부(30)와 텍스쳐 좌표 추출부(32)는 픽셀 좌표와 텍스쳐 좌표를 동시에 추출한다. 예컨데, 도 4 또는 도 6에 도시된 실시예(10A 또는 10B)에 의해 정면 및 측면 영상들에 대한 픽셀 좌표들이 생성되는 동시에 도 8에 도시된 실시예(10C)에 의해 정면 및 측면 영상들에 대한 텍스쳐 좌표들이 생성된다.
한편, 제10 단계후에, 정면 및 측면 영상들을, 폴리곤 단위로 텍스쳐 좌표를 이용하여 보간하고, 보간된 결과를 변형된 텍스쳐로 결정한다(제12 단계). 이를 위해, 텍스쳐 변형부(34)는 입력단자 IN1을 통해 입력되는 변형된 모델 좌표를 분석하고, 분석한 결과에 응답하여 입력단자 IN2를 통해 정면 또는 측면 영상을 입력하며, 텍스쳐 좌표 추출부(32)로부터 입력한 텍스쳐 좌표를 이용하여 정면 또는 측면 영상을 폴리곤 단위로 보간하고, 보간된 결과를 변형된 텍스쳐로서 출력한다. 여기서, 텍스쳐 변형부(34)는 픽셀 좌표 추출부(30)로부터 입력한 픽셀 좌표를 이용하여 정면 또는 측면 영상의 폴리곤을 추출한다. 여기서, 입력단자 IN2를 통해 입력되는 정면 또는 측면 영상은 비디오 캠코더, 디지탈 카메라, 스캐너 또는 영상 화일에 의해 사용자로부터 제공될 수 있다.
이하, 도 1에 도시된 제12 단계 및 도 2에 도시된 텍스쳐 변형부(34)의 본 발명에 의한 바람직한 실시예들 각각을 첨부된 도면들을 참조하여 다음과 같이 설명한다.
도 12는 도 1에 도시된 제12 단계에 대한 본 발명에 의한 바람직한 일 실시예(12A)를 설명하기 위한 플로우차트로서, 정면과 측면 영상들로부터 텍스쳐 보간값들을 구하는 단계(제140 및 제142 단계들) 및 정면과 측면 영상들에 대한 변형된 텍스쳐를 구하는 단계(제144 ∼ 제148 단계들)로 이루어진다.
도 13은 도 12에 도시된 실시예(12A)를 수행하는 텍스쳐 변형부(34)의 본 발명에 의한 바람직한 일 실시예(34A)의 블럭도로서, 제1 및 제2 평균값 계산부들(160 및 162), 보상값 추출부(164), 영상 입력부(166), 보간부(168), 제1 승산부(170), 텍스쳐 생성기(172) 및 블렝딩(blending)부(174)로 구성된다.
제10 단계후에, 사용자로부터 주어지는 정면 영상의 기준부 주변에 위치하는 픽셀들의 RGB 평균값들인 제1 평균값들과 및 사용자로부터 주어지는 측면 영상의 기준부 주변에 위치하는 픽셀들의 RGB 평균값들인 제2 평균값들을 구한다(제140 단계). 제140 단계를 수행하기 위해, 텍스쳐 변형부(34A)는 제1 및 제2 평균값 계산부들(160 및 162)을 마련한다. 여기서, 제1 평균값 계산부(160)는 사용자로부터 입력단자 IN2를 통해 입력한 정면 영상의 기준부 주변에 위치하는 픽셀들의 RGB 평균값들인 제1 평균값들을 계산하고, 계산된 제1 평균값들을 보상값 추출부(164)로 출력한다. 또한, 제2 평균값 계산부(162)는 사용자로부터 입력단자 IN2를 통해 입력한 측면 영상의 기준부 주변에 위치하는 픽셀들의 RGB 평균값들인 제2 평균값들을 계산하고, 계산된 제2 평균값들을 보상값 추출부(164)로 출력한다.
본 발명에 의하면, 제1 및 제2 평균값 계산부들(160 및 162)중 적어도 하나는 소정값을 초과하는 제1 또는 제2 평균값을 소정값으로 결정한다. 왜냐하면, 사람의 피부는 원색이 아니기 때문에 제1 또는 제2 평균값이 소정값을 초과하는 경우는 거의 드물지만, 오류가 발생하지 않도록 하기 위해서이다.
제140 단계후에, 보상값 추출부(164)는 제1 평균값 계산부(160)로부터 입력한 제1 평균값들과 제2 평균값 계산부(162)로부터 입력한 제2 평균값들간의 평균값비들을 계산하고, 계산된 평균값비들을 텍스쳐 보간값들로서 출력한다(제142 단계).
예를 들어, 입력단자 IN2를 통해 입력되는 측면 영상이 두 장일 경우, 즉, 오른쪽 영상과 왼쪽 영상이 입력단자 IN2를 통해 입력된다고 가정할 경우, 제2 평균값 계산부(162)와 보상값 추출부(164)의 세부적인 구성 및 동작을 다음과 같이 살펴본다.
도 14는 도 13에 도시된 제2 평균값 계산부(162)와 보상값 추출부(164)의 본 발명에 의한 바람직한 실시예들(162A 및 164A)을 설명하기 위한 도면으로서, 제1 평균값 계산부(160), 제2 평균값 계산부(162A) 및 보상값 추출부(164A)로 구성된다.
전술한 가정하에서, 제2 평균값 계산부(162A)는 제1 및 제2 평균값 계산기들(190 및 192)로 구성되고, 보상값 추출부(164)는 제1 및 제2 보상값 추출기들(200 및 202)로 구성될 수 있다. 여기서, 제1 평균값 계산기(190)는 사용자로부터 입력단자 IN2를 통해 입력한 측면 영상중 하나인 오른쪽 영상의 기준부 주변에 위치하는 픽셀들의 RGB 평균값들인 제2 평균값들(ΔR', ΔG', ΔB')을 계산하고, 계산된 제2 평균값들(ΔR', ΔG', ΔB')을 보상값 추출부(164A)로 출력한다. 또한, 제2 평균값 계산기(192)는 사용자로부터 입력단자 IN2를 통해 입력한 측면 영상중 다른 하나인 왼쪽 영상의 기준부 주변에 위치하는 픽셀들의 RGB 평균값들인 제2 평균값들(ΔR", ΔG", ΔB")을 계산하고, 계산된 제2 평균값들(ΔR", ΔG", ΔB")을 보상값 추출부(164A)로 출력한다. 조명의 영향은 얼굴의 좌우에서 많이 나타나기 때문에, 제1 평균값 계산기(190)와 제2 평균값 계산기(192)는 각각 독립적으로 평균값을 계산할 수 있다.
이 때, 보상값 추출부(164A)의 제1 보상값 추출기(200)는 제1 평균값 계산부(160)로부터 입력한 제1 평균값들(ΔR, ΔG, ΔB)과 제1 평균값 계산기(190)로부터 입력한 제2 평균값들(ΔR', ΔG', ΔB')간의 평균값비들(RR, RG, RB)을 다음 수학식 5와 같이 계산하고, 계산된 평균값비들(RR, RG, RB)을 텍스쳐 보간값들로서 출력단자 OUT6을 통해 출력한다.
제2 보상값 추출기(202)는 제1 평균값 계산부(160)로부터 입력한 제1 평균값들(ΔR, ΔG, ΔB)과 제2 평균값 계산기(192)로부터 입력한 제2 평균값들(ΔR", ΔG", ΔB")간의 평균값비들(LR, LG, LB)을 다음 수학식 6과 같이 계산하고, 계산된 평균값비들(LR, LG, LB)을 텍스쳐 보간값들로서 출력단자 OUT6을 통해 출력한다.
본 발명에 의하면, 전술한 가정과 달리 입력단자 IN2를 통해 측면 영상이 한 장만 입력될 경우, 즉, 입력단자 IN2를 통해 오른쪽 또는 왼쪽 영상만이 입력될 경우, 나머지 측면 영상은 입력되는 측면 영상을 거울 대칭으로 복사하여 구해질 수 있다. 따라서, 입력단자 IN2를 통해 한 장의 측면 영상이 입력된다고 하더라도 제2 평균값 계산부(162) 및 보상값 추출부(164)는 도 14에 도시된 바와 구현되어 동작할 수 있다. 이를 위해, 제2 평균값 계산부(162)는 영상 복사부(미도시)를 별도로 마련한다. 여기서, 영상 복사부는 입력단자 IN2를 통해 입력되는 한 장의 측면 영상을 거울 복사하고, 거울 복사된 결과를 입력되지 않은 나머지 다른 한 장의 측면 영상으로서 결정한다. 이 때, 복사를 하여 나머지 측면 영상을 결정하더라도, 정면 영상의 RGB 즉, 밝기 분포를 기준으로 텍스쳐를 보상하므로 텍스쳐의 품질이 보장된다.
본 발명에 의하면, 전술한 제1 평균값 계산부(160) 및 제2 평균값 계산부(162 또는 162A) 각각에서 구해지는 제1 또는 제2 평균값은 산술 평균값 또는 메디안(median) 평균값에 해당한다.
전술한 도 12에 도시된 제140 및 제142 단계들의 역할 및 전술한 기준부에 대해 살펴보면 다음과 같다.
입력단자 IN2를 통해 입력되는 얼굴의 정면 영상과 측면 영상은 대부분의 경우 다른 조명과 다른 밝기를 갖는다. 이 때, 조명의 보상은 통상적으로 매우 어렵다. 그러나, 제140 및 제142 단계들을 수행하여 생성된 텍스쳐 보간값들을 이용하여 후술되는 바와 같이 텍스쳐를 생성하면, 정면 영상과 측면 영상간의 밝기 차를 보상할 수 있다. 이를 위해, 기준부를 적절히 선정해야 한다. 예를 들어, 본 발명에 의하면, 기준부는 정면 영상과 측면 영상에 대해 적은 텍스쳐 차이를 갖는 얼굴의 소정 부위 예를 들면, 얼굴의 볼로 선정할 수 있다. 왜냐하면, 볼 부근은 완만한 경사로 인해 정면 영상과 측면 영상에서 텍스쳐 차이가 적기 때문이다. 즉, 볼 부근의 법선 벡터의 방향은 얼굴 정면 방향을 기준으로 대략 45도 정도 기울어져 있으며, 얼굴 측면 방향을 기준으로 대략 45도 기울어져 있으므로, 조명 방향의 편차의 크기가 크지 않다면 정면 영상과 측면 영상에서 비슷한 반사율을 보이는 볼 부위가 적은 텍스쳐 차이를 갖는다. 이와 같이 기준부를 얼굴의 볼로 선정할 경우, 잡영(noise image)이나 피부 반점등에 의한 오차가 줄어들 수 있다.
한편, 제1 또는 제2 평균값 계산부(160 또는 162)에서 제1 또는 제2 평균값을 계산할 때 사용되는 픽셀들이 분포한 영역은 사용자에 의해 가변될 수 있다. 예를 들어, 정면 또는 측면 영상의 크기가 512×512(pixel×pixel)이고 영상에서 얼굴이 25% 정도를 차지한다면, 5 픽셀(pixel)의 지름을 갖는 원에 위치하는 픽셀들이 제1 또는 제2 평균값을 계산하기 위해 사용될 수 있다.
한편, 제142 단계후에, 영상 입력부(166)는 입력단자 IN1을 통해 입력한 변형된 모델 좌표를 분석하고, 분석된 결과에 응답하여 입력단자 IN2을 통해 사용자로부터 정면 또는 측면 영상을 선택적으로 입력하고, 입력한 정면 또는 측면 영상을 보간부(168)로 출력한다(제144 단계). 즉, 영상 입력부(166)는 보간부(168)에서 보간할 영상이 정면 영상인가 측면 영상인가를 결정하는 역할을 하며, 이를 위해, 입력단자 IN1을 통해 입력한 변형된 모델 좌표를 분석한다.
제144 단계후에, 정면 및 측면 영상들을 픽셀 좌표에 의해 결정한 폴리곤 단위로 텍스쳐 좌표 및 텍스쳐 보간값들을 이용하여 보간하고, 보간된 결과로부터 변형된 텍스쳐를 생성한다(제146 단계).
본 발명의 일 실시예에 의하면, 제146 단계를 수행하기 위해, 텍스쳐 변형부(34A)는 보간부(168), 제1 승산부(170) 및 텍스쳐 생성기(172)를 마련할 수 있다. 이 경우, 보간부(168)는 영상 입력부(166)로부터 입력한 정면 또는 측면 영상을 픽셀 좌표 추출부(30)로부터 입력단자 IN3을 통해 입력한 픽셀 좌표에 의해 결정한 폴리곤 단위로 텍스쳐 좌표 추출부(32)로부터 입력단자 IN4를 통해 입력한 텍스쳐 좌표 및 보상값 추출부(164)로부터 입력한 텍스쳐 보간값들을 이용하여 보간하고, 보간된 결과를 제1 승산부(170)로 출력한다. 이 때, 제1 승산부(170)는 보간부(168)로부터 입력한 보간된 결과에 보상값 추출부(164)로부터 입력한 텍스쳐 보간값들을 승산하고, 승산된 결과를 텍스쳐 생성기(172)로 출력한다. 텍스쳐 생성기(172)는 제1 승산부(170)로부터 입력한 승산된 결과로부터 변형된 텍스쳐를 생성하고, 생성된 변형된 텍스쳐를 블렌딩부(174)로 출력한다.
이 때, 도 13에 도시된 바와 같이 제1 승산부(170)는 보간부(168) 대신에 보상값 추출부(164)에 후속하여 마련될 수 있다. 이 경우, 도 2에 도시된 텍스쳐 변형부(34)의 본 발명에 의한 다른 실시예의 구성 및 동작을 첨부한 도면을 참조하여 살펴본다.
도 15는 도 12에 도시된 실시예(12A)를 수행하는 텍스쳐 변형부(34)의 본 발명에 의한 바람직한 다른 실시예(34B)의 블럭도로서, 제1 및 제2 평균값 계산부들(160 및 162), 보상값 추출부(164), 영상 입력부(166), 제2 승산부(210), 보간부(212), 텍스쳐 생성기(214) 및 블렝딩부(216)로 구성된다.
본 발명의 다른 실시예에 의하면, 제146 단계를 수행하기 위해, 텍스쳐 변형부(34B)는 제2 승산부(210), 보간부(212) 및 텍스쳐 생성기(214)를 마련할 수 있다. 이 경우, 제2 승산부(210)는 영상 입력부(166)로부터 입력한 정면 또는 측면 영상을 보상값 추출부(164)로부터 입력한 텍스쳐 보간값들과 승산하고, 승산된 결과를 보간부(212)로 출력한다. 이 때, 보간부(212)는 제2 승산부(210)로부터 입력한 승산된 결과를 픽셀 좌표 추출부(30)로부터 입력단자 IN3을 통해 입력한 픽셀 좌표에 의해 결정한 폴리곤 단위로 텍스쳐 좌표 추출부(32)로부터 입력단자 IN4를 통해 입력한 텍스쳐 좌표를 이용하여 보간하고, 보간된 결과를 텍스쳐 생성기(214)로 출력한다. 이 때, 텍스쳐 생성기(214)는 보간부(212)로부터 입력한 보간된 결과로부터 변형된 텍스쳐를 생성하고, 생성된 텍스쳐를 블렌딩부(216)로 출력한다.
결국, 보간부(168 또는 212)는 영상 입력부(166)를 경유하여 입력한 정면 및측면 영상들내의 텍스쳐를 보간을 통해 텍스쳐 버퍼(미도시)로 복사하는 역할을 한다. 여기서, 텍스쳐 버퍼는 보간부(168 또는 212)에 내장될 수 있며 복사된 텍스쳐들을 일시적으로 저장하는 역할을 한다. 또한, 보간부(168 또는 212)의 보간은 선형보간에 해당할 수 있다. 예를 들어, 폴리곤이 삼각형일 경우, 보간부(168 또는 212)는 폴리곤의 세 점들중에서 두 변들을 이루는 벡터를 구하고, 구한 벡터를 이용해고 선형 보간을 통해 정면 및 측면 영상들내의 텍스쳐를 텍스쳐 버퍼로 복사할 수 있다. 이 때, 텍스쳐 생성기(172 또는 214)는 제1 승산부(170) 또는 보간부(212)로부터 승산 또는 보간된 결과를 입력하고, 전체 폴리곤들에 대해 입력한 승산 또는 보간된 결과들을 한 장의 변형된 텍스쳐로 생성하는 역할을 한다.
한편, 본 발명의 다른 실시예에 의하면, 도 13 또는 도 15에 도시된 바와 달리, 텍스쳐 변형부(34A 또는 34B)는 제1 및 제2 평균값 계산부들(160 및 162)과 보상값 추출부(164)를 마련하지 않을 수도 있다. 이 경우, 도 13에 도시된 보간부(168)는 정면 또는 측면 영상을 폴리곤 단위로 텍스쳐 좌표만을 이용하여 보간하고, 텍스쳐 변형부(34A)는 제1 승산부(170)를 마련하지 않는다. 따라서, 텍스쳐 생성기(172)는 제1 승산부(170)에서 승산된 결과 대신에 보간부(168)로부터 입력한 보간된 결과를 이용하여 변형된 텍스쳐를 생성한다. 또한, 도 15에 도시된 보간부(212)는 정면 또는 측면 영상을 폴리곤 단위로 텍스쳐 좌표만을 이용하여 보간하고, 텍스쳐 변형부(34B)는 제2 승산부(210)를 마련하지 않는다. 즉, 보간부(212)는 제2 승산부(210)에서 승산된 결과 대신에 영상 입력부(166)로부터 입력한 정면 또는 측면 영상을 폴리곤 단위로 텍스쳐 좌표만을 이용하여 보간한다.
제146 단계후에, 블렌딩부(174 또는 216)는 정면 영상에 대해 텍스쳐 생성기(172 또는 214)로부터 입력한 변형된 텍스쳐와 측면 영상에 대해 텍스쳐 생성기(172 또는 214)로부터 입력한 변형된 텍스쳐 사이의 경계에 대한 변형된 텍스쳐를 경계 양쪽의 변형된 텍스쳐들을 섞어서 생성하고, 경계에서 양쪽으로 멀어질수록 원래의 변형된 텍스쳐로 돌아가도록 변형된 텍스쳐를 처리하며, 이와 같이 처리된 경계, 정면 영상 및 측면 영상들에 대한 변형된 텍스쳐들을 출력단자 OUT5 또는 OUT7을 통해 출력한다(제148 단계). 이를 위해, 블렌딩부(174 또는 216)는 경계 양쪽에 있는 변형된 텍스쳐들의 평균값을 계산하고, 계산된 평균값을 경계에 대한 변형된 텍스쳐로서 결정할 수 있다. 예컨데, 블렌딩부(174 또는 216)는 정면 영상과 측면 영상이 연결되는 부위에서 발생하는 이질감을 해소하는 역할을 한다.
한편, 제12 단계후에, 저장부(36)는 텍스쳐 변형부(34)로부터 입력한 변형된 텍스쳐, 텍스쳐 좌표 추출부(32)로부터 입력한 텍스쳐 좌표 및 입력단자 IN1을 통해 입력한 변형된 모델 좌표중 적어도 하나를 저장하고, 저장된 텍스쳐 및/또는 좌표를 출력단자 OUT1을 통해 출력한다(제14 단계). 이 때, 변형된 텍스쳐, 텍스쳐 좌표 및 변형된 모델 좌표는 애니메이션의 생성 또는 정지 영상의 제작을 위해서 사용되거나 모바일 장치등에서 사용될 수 있으며, 이를 위해, 저장부(36)는 사용자가 지정한 포맷으로 텍스쳐 및/또는 좌표를 저장한다.
도 16 (a) 및 (b)들은 종래와 본 발명에 의한 텍스쳐 생성 방법들을 비교 설명하기 위한 도면들로서, 도 16 (a)는 종래의 텍스쳐 생성 방법에 의해 생성된 3차원 영상을 2차원으로 표현한 도면이고, 도 16 (b)는 본 발명에 의한 텍스쳐 생성방법에 의해 생성된 3차원 영상을 2차원으로 표현한 도면이다.
같은 크기의 텍스쳐를 3차원 표준 모델에 입힐 경우, 도 16 (a)에 도시된 바와 같이, 종래의 텍스쳐 생성 방법에 의해 단순한 원통 좌표계를 이용하여 생성된 얼굴 영상은 중심부가 흐림을 알 수 있다. 그러나, 본 발명의 텍스쳐 생성 방법에 의해 중심부를 확대하여 생성된 도 16 (b)에 도시된 영상은 중심부가 또렷해졌기 때문에, 도 16 (a)에 도시된 영상보다 선명함을 알 수 있다.
이상에서 설명한 바와 같이, 본 발명에 의한 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치는 텍스쳐를 압축하지 않으므로 종래와 달리 소프트웨어적으로나 하드웨어적으로 압축 및 복원을 위한 부분을 요구하지 않고, 텍스쳐 보간값들을 이용하여 변형된 텍스쳐를 생성하기 때문에 조명이 다소 다른 상황에서 촬영된 정면 영상과 측면 영상들을 가지고도 우수한 텍스쳐를 생성할 수 있고, 폴리곤들간의 경계를 자연스럽게 처리할 수 있으며, 사용자의 주요 관심 부분 즉, 중심부에 대한 텍스쳐 영역을 덜 관심이 있는 부분인 주변부에 대한 텍스쳐 영역을 이용하여 넓힘으로서 한정된 리소스를 이용하여 종래보다 우수한 텍스쳐를 생성할 수 있어, 결과적으로 보다 선명한 3차원 얼굴 모델을 생성할 수 있도록 하는 효과를 갖는다.

Claims (39)

  1. 얼굴의 정면 영상과 적어도 하나의 측면 영상에 대해 표준 모델을 변형하여 생성되는 변형된 모델 좌표를 이용하여 소정 중심부를 소정 비율로 확대한 결과 및 상기 비율 만큼 주변부를 축소한 결과로부터 텍스쳐 좌표를 추출하며, 상기 변형된 모델 좌표를 픽셀 좌표로 변환하는 단계; 및
    상기 정면 및 상기 측면 영상을, 상기 픽셀 좌표에 의해 결정한 폴리곤 단위로 상기 텍스쳐 좌표를 이용하여 보간하고, 보간된 결과를 변형된 텍스쳐로 결정하는 단계를 구비하고,
    상기 중심부는 상기 얼굴에서 눈을 중심으로 사용자에 의해 설정되는 영역이고, 상기 주변부는 상기 얼굴에서 상기 중심부를 제외한 영역에 해당하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  2. 제1 항에 있어서, 상기 텍스쳐 생성 방법은
    상기 보간된 결과를 상기 변형된 텍스쳐로 결정하는 단계후에, 상기 변형된 텍스쳐, 상기 텍스쳐 좌표 및 상기 변형된 모델 좌표중 적어도 하나를 저장하는 단계를 더 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  3. 제1 항에 있어서, 상기 변형된 모델 좌표를 상기 픽셀 좌표로 변환하는 단계는,
    상기 정면 또는 상기 측면 영상에 대한 상기 변형된 모델 좌표를 xy 평면에 투영하는 단계; 및
    투영된 결과의 중심을 이동하여 상기 정면 또는 상기 측면 영상에 대한 상기 픽셀 좌표를 생성하는 단계를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  4. 제1 항에 있어서, 상기 변형된 모델 좌표를 상기 픽셀 좌표로 변환하는 단계는
    상기 측면 영상에 대한 상기 변형된 모델 좌표를 zy 평면에 투영하는 단계; 및
    투영된 결과의 중심을 이동하여 상기 측면 영상에 대한 상기 픽셀 좌표를 생성하는 단계를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  5. 제1 항에 있어서, 상기 정면 및 상기 측면 영상들을 보간하여 상기 변형된 텍스쳐를 결정하는 단계는
    상기 변형된 모델 좌표에 따라 상기 정면 또는 상기 측면 영상을 선택적으로 받아들이는 단계; 및
    선택적으로 받아들인 상기 정면 또는 상기 측면 영상을 상기 폴리곤 단위로 상기 텍스쳐 좌표를 이용하여 보간하여 상기 변형된 텍스쳐를 생성하는 단계를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  6. 제5 항에 있어서, 상기 정면 및 상기 측면 영상들을 보간하여 상기 변형된 텍스쳐를 결정하는 단계는
    상기 변형된 모델 좌표를 상기 픽셀 좌표로 변환하는 단계후에, 상기 사용자로부터 주어지는 상기 정면 영상의 기준부 주변에 위치하는 픽셀들의 RGB 평균값들인 제1 평균값들과 및 상기 사용자로부터 주어지는 측면 영상의 상기 기준부 주변에 위치하는 픽셀들의 RGB 평균값들인 제2 평균값들을 구하는 단계; 및
    상기 제1 평균값들과 상기 제2 평균값들간의 평균값비들을 텍스쳐 보간값들로서 구하고, 상기 정면 또는 상기 측면 영상을 선택적으로 받아들이는 단계로 진행하는 단계를 더 구비하고,
    상기 기준부는 상기 정면 영상과 상기 측면 영상에 대해 적은 텍스쳐 차이를 갖는 상기 얼굴의 소정 부위에 해당하고, 상기 정면 또는 상기 측면 영상을 보간할 때 상기 텍스쳐 보간값들을 이용하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  7. 제6 항에 있어서, 상기 기준부는 상기 얼굴의 볼에 해당하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  8. 제6 항에 있어서, 상기 제1 평균값들 및 상기 제2 평균값들 각각은 산술 평균값에 해당하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  9. 제6 항에 있어서, 상기 제1 평균값들 및 상기 제2 평균값들 각각은 메디안 평균값에 해당하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  10. 제6 항에 있어서, 상기 제1 평균값들 및 상기 제2 평균값들중 소정값을 초과하는 평균값은 상기 소정값으로 결정되는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  11. 제6 항에 있어서, 상기 정면 및 상기 측면 영상들을 보간하여 상기 변형된 텍스쳐를 결정하는 단계는
    상기 선택적으로 받아들인 상기 정면 또는 상기 측면 영상을 보간하는 단계후에, 상기 보간된 결과에 상기 텍스쳐 보간값들을 승산하고, 승산된 결과를 이용하여 상기 변형된 텍스쳐를 생성하는 단계를 더 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  12. 제6 항에 있어서, 상기 정면 및 상기 측면 영상들을 보간하여 상기 변형된 텍스쳐를 결정하는 단계는
    상기 정면 또는 상기 측면 영상을 선택적으로 받아들이는 단계후에, 선택적으로 받아들인 상기 정면 또는 상기 측면 영상을 상기 텍스쳐 보간값들과 승산하고, 상기 보간하는 단계로 진행하는 단계를 더 구비하고,
    상기 보간하는 단계는 상기 승산된 결과를 상기 폴리곤 단위로 상기 텍스쳐 좌표를 이용하여 보간하여 상기 변형된 텍스쳐를 생성하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  13. 제6 항에 있어서, 상기 정면 및 상기 측면 영상들을 보간하여 상기 변형된 텍스쳐를 결정하는 단계는
    상기 변형된 텍스쳐를 생성하는 단계후에, 상기 정면 영상에 대한 상기 변형된 텍스쳐와 상기 측면 영상에 대한 상기 변형된 텍스쳐 사이의 경계에 대한 상기 변형된 텍스쳐를 상기 경계 양쪽의 상기 변형된 텍스쳐들을 섞어서 생성하는 단계를 더 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  14. 제1 항에 있어서, 상기 텍스쳐 좌표를 추출하는 단계는
    직교 좌표계로 표현되는 상기 변형된 모델 좌표를 원통 좌표계로 변환하는 단계; 및
    변환된 상기 원통 좌표계로 표현되는 상기 변형된 모델 좌표를 변형하여 상기 텍스쳐 좌표를 추출하는 단계를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  15. 제14 항에 있어서, 상기 변형된 모델 좌표를 변형하는 단계는
    변환된 상기 원통 좌표계로 표현되는 상기 변형된 모델 좌표를 연속 함수에 의해 변형하고, 변형된 결과를 상기 텍스쳐 좌표로서 결정하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  16. 제15 항에 있어서, 상기 원통 좌표계로 표현되는 상기 변형된 모델 좌표(r,θ,yc)는 아래와 같이 표현되는 1차 연속 함수에 의해 변형되는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
    ,
    (여기서, θm과 ym은 상기 텍스쳐 좌표를 나타낸다.)
  17. 제15 항에 있어서, 상기 원통 좌표계로 표현되는 상기 변형된 모델 좌표(r,θ,yc)는 아래와 같이 표현되는 tanh 연속 함수에 의해 변형되는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
    ,
    (여기서, θm과 ym은 상기 텍스쳐 좌표를 나타낸다.)
  18. 제14 항에 있어서, 상기 변형된 모델 좌표를 변형하는 단계는
    변환된 상기 원통 좌표계로 표현되는 상기 변형된 모델 좌표를 불연속 함수에 의해 변형하고, 변형된 결과를 상기 텍스쳐 좌표로서 결정하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  19. 제14 항에 있어서, 상기 변형된 모델 좌표를 변형하는 단계는
    변환된 상기 원통 좌표계로 표현되는 상기 변형된 모델 좌표를 소정 테이블에 의해 변형하고, 변형된 결과를 상기 텍스쳐 좌표로서 결정하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 방법.
  20. 얼굴의 정면 영상과 적어도 하나의 측면 영상에 대해 표준 모델을 변형하여 외부에서 생성된 변형된 모델 좌표를 입력하고, 입력한 상기 변형된 모델 좌표를 변환 함수에 대입하여 소정 중심부를 소정 비율로 확대하고 상기 비율 만큼 주변부를 축소하며, 확대 및 축소한 결과들을 텍스쳐 좌표들로서 출력하는 텍스쳐 좌표 추출부;
    상기 변형된 모델 좌표를 픽셀 좌표로 변환하고, 변환된 상기 픽셀 좌표를 출력하는 픽셀 좌표 추출부; 및
    상기 변형된 모델 좌표를 분석하고, 분석한 결과에 응답하여 상기 정면 또는 상기 측면 영상을 사용자로부터 입력하고, 상기 픽셀 좌표에 의해 결정한 폴리곤 단위로 상기 텍스쳐 좌표에 의해 상기 정면 또는 측면 영상을 보간하고, 보간된 결과를 변형된 텍스쳐로서 출력하는 텍스쳐 변형부를 구비하고,
    상기 중심부는 상기 얼굴에서 눈을 중심으로 상기 사용자에 의해 설정되는 영역이고, 상기 주변부는 상기 얼굴에서 상기 중심부를 제외한 영역에 해당하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  21. 제20 항에 있어서, 상기 텍스쳐 생성 장치는
    상기 텍스쳐 변형부로부터 입력한 상기 변형된 텍스쳐, 상기 텍스쳐 좌표 추출부로부터 입력한 상기 텍스쳐 좌표 및 상기 변형된 모델 좌표중 적어도 하나를 저장하는 저장부를 더 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  22. 제20 항에 있어서, 상기 픽셀 좌표 추출부는
    상기 정면 영상에 대한 상기 변형된 모델 좌표를 상기 픽셀 좌표로 변환하고, 변환된 상기 픽셀 좌표를 출력하는 제1 좌표 변환부; 및
    상기 측면 영상에 대한 상기 변형된 모델 좌표를 상기 픽셀 좌표로 변환하고, 변환된 상기 픽셀 좌표를 상기 텍스쳐 변형부로 출력하는 제2 좌표 변환부를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  23. 제22 항에 있어서, 상기 제1 좌표 변환부는
    상기 정면 영상에 대한 상기 변형된 모델 좌표를 xy 평면에 투영하고, 투영된 결과를 출력하는 제1 투영부; 및
    상기 제1 투영부로부터 입력한 상기 투영된 결과의 중심을 이동하여 상기 정면 영상에 대해 생성한 상기 픽셀 좌표를 상기 텍스쳐 변형부로 출력하는 제1 중심 이동부를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  24. 제22 항에 있어서, 상기 제2 좌표 변환부는
    상기 측면 영상에 대한 상기 변형된 모델 좌표를 xy 평면에 투영하고, 투영된 결과를 출력하는 제2 투영부; 및
    상기 제2 투영부로부터 입력한 상기 투영된 결과의 중심을 이동하여 상기 측면 영상에 대해 생성한 상기 픽셀 좌표를 상기 텍스쳐 변형부로 출력하는 제2 중심 이동부를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  25. 제22 항에 있어서, 상기 제2 좌표 변환부는
    상기 측면 영상에 대한 상기 변형된 모델 좌표를 zy 평면에 투영하고, 투영된 결과를 출력하는 제3 투영부; 및
    상기 제3 투영부로부터 입력한 상기 투영된 결과의 중심을 이동하여 상기 측면 영상에 대해 생성한 상기 픽셀 좌표를 상기 텍스쳐 변형부로 출력하는 제3 중심 이동부를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  26. 제20 항에 있어서, 상기 텍스쳐 변형부는
    상기 변형된 모델 좌표를 분석하고, 분석된 결과에 응답하여 상기 정면 또는 상기 측면 영상을 선택적으로 상기 사용자로부터 입력하는 영상 입력부;
    상기 영상 입력부로부터 입력한 상기 정면 또는 상기 측면 영상을 상기 픽셀 좌표에 의해 결정한 상기 폴리곤 단위로 상기 텍스쳐 좌표에 의해 보간하고, 보간된 결과를 출력하는 보간부; 및
    상기 보간부로부터 입력한 상기 보간된 결과로부터 상기 변형된 텍스쳐를 생성하고, 생성된 상기 변형된 텍스쳐를 출력하는 텍스쳐 생성기를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  27. 제26 항에 있어서, 상기 텍스쳐 변형부는
    상기 사용자로부터 입력한 상기 정면 영상의 기준부 주변에 위치하는 픽셀들의 RGB 평균값들인 제1 평균값들을 계산하는 제1 평균값 계산부;
    상기 사용자로부터 입력한 상기 측면 영상의 상기 기준부 주변에 위치하는픽셀들의 RGB 평균값들인 제2 평균값들을 계산하는 제2 평균값 계산부; 및
    상기 제1 평균값들과 상기 제2 평균값들간의 평균값비들을 계산하고, 계산된 상기 평균값비들을 텍스쳐 보간값들로서 출력하는 보상값 추출부를 더 구비하고,
    상기 기준부는 상기 정면 영상과 상기 측면 영상에 대해 적은 텍스쳐 차이를 갖는 상기 얼굴의 소정 부위에 해당하고, 상기 보간부는 상기 정면 또는 상기 측면 영상을 보간할 때 상기 텍스쳐 보간값들을 이용하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  28. 제27 항에 있어서, 상기 제1 및 상기 제2 평균값 계산부들중 적어도 하나는 소정값을 초과하는 제1 또는 제2 평균값을 상기 소정값으로 결정하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  29. 제27 항에 있어서, 상기 제2 평균값 계산부는
    상기 사용자로부터 입력한 상기 측면 영상중 하나인 오른쪽 영상의 상기 기준부 주변에 위치하는 픽셀들의 RGB 평균값들인 상기 제2 평균값들을 계산하고, 계산된 상기 제2 평균값들을 상기 보상값 추출부로 출력하는 제1 평균값 계산기; 및
    상기 사용자로부터 입력한 상기 측면 영상중 다른 하나인 왼쪽 영상의 상기 기준부 주변에 위치하는 픽셀들의 RGB 평균값들인 상기 제2 평균값들을 계산하고, 계산된 상기 제2 평균값들을 상기 보상값 추출부로 출력하는 제2 평균값 계산기를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  30. 제29 항에 있어서, 상기 보상값 추출부는
    상기 제1 평균값 계산부로부터 입력한 상기 제1 평균값들과 상기 제1 평균값 계산기로부터 입력한 상기 제2 평균값들간의 상기 평균값비들을 계산하고, 계산된 상기 평균값비들을 상기 텍스쳐 보간값들로서 출력하는 제1 보상값 추출기; 및
    상기 제1 평균값 계산부로부터 입력한 상기 제1 평균값들과 상기 제2 평균값 계산기로부터 입력한 상기 제2 평균값들간의 상기 평균값비들을 계산하고, 계산된 상기 평균값비들을 상기 텍스쳐 보간값들로서 출력하는 제2 보상값 추출기를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  31. 제27 항에 있어서, 상기 텍스쳐 변형부는
    상기 보간부로부터 입력한 상기 보간된 결과에 상기 보상값 추출부로부터 입력한 상기 텍스쳐 보간값들을 승산하고, 승산된 결과를 상기 텍스쳐 생성기로 출력하는 제1 승산부를 더 구비하고,
    상기 텍스쳐 생성기는 상기 제1 승산부로부터 입력한 상기 승산된 결과로부터 상기 변형된 텍스쳐를 생성하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  32. 제27 항에 있어서, 상기 텍스쳐 변형부는
    상기 영상 입력부로부터 입력한 상기 정면 또는 상기 측면 영상을 상기 보상값 추출부로부터 입력한 상기 텍스쳐 보간값들과 승산하고, 승산된 결과를 상기 보간부로 출력하는 제2 승산부를 더 구비하고,
    상기 보간부는 상기 제2 승산부로부터 입력한 상기 승산된 결과를 상기 폴리곤 단위로 상기 텍스쳐 좌표에 의해 보간하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  33. 제27 항에 있어서, 상기 텍스쳐 변형부는
    상기 정면 영상에 대해 상기 텍스쳐 생성기로부터 입력한 상기 변형된 텍스쳐와 상기 측면 영상에 대해 상기 텍스쳐 생성기로부터 입력한 상기 변형된 텍스쳐 사이의 경계에 대한 상기 변형된 텍스쳐를 상기 경계 양쪽의 상기 변형된 텍스쳐들을 섞어서 생성하는 블렌딩부를 더 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  34. 제20 항에 있어서, 상기 텍스쳐 좌표 추출부는
    직교 좌표계로 표현되는 상기 변형된 모델 좌표를 원통 좌표계로 변환하여 출력하는 좌표 변환부; 및
    상기 좌표 변환부로부터 입력한 상기 변형된 모델 좌표를 변형하고, 변형된 결과를 상기 텍스쳐 좌표로서 출력하는 좌표 변형부를 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  35. 제34 항에 있어서, 상기 좌표 변형부는
    상기 좌표 변환부로부터 입력한 상기 변형된 모델 좌표를 연속 함수에 의해 변형하고, 변형된 결과를 상기 텍스쳐 좌표로서 출력하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  36. 제35 항에 있어서, 상기 좌표 변형부는
    상기 좌표 변환부로부터 입력한 상기 변형된 모델 좌표(r,θ,yc)를 아래와 같이 표현되는 1차 연속 함수에 의해 변형하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
    ,
    (여기서, θm과 ym은 상기 텍스쳐 좌표를 나타낸다.)
  37. 제35 항에 있어서, 상기 좌표 변형부는
    상기 좌표 변환부로부터 입력한 상기 변형된 모델 좌표(r,θ,yc)를 아래와 같이 표현되는 tanh 연속 함수에 의해 변형하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
    ,
  38. 제34 항에 있어서, 상기 좌표 변형부는
    상기 좌표 변환부로부터 입력한 상기 변형된 모델 좌표를 불연속 함수에 의해 변형하고, 변형된 결과를 상기 텍스쳐 좌표로서 출력하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
  39. 제34 항에 있어서, 상기 좌표 변형부는
    상기 좌표 변환부로부터 어드레스로서 입력한 상기 변형된 모델 좌표에 응답하여, 저장한 상기 텍스쳐 좌표들중 해당하는 텍스쳐 좌표를 독출하는 룩 업 테이블을 구비하는 것을 특징으로 하는 3차원 얼굴 모델을 위한 텍스쳐 생성 장치.
KR10-2001-0078963A 2001-12-13 2001-12-13 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치 KR100459892B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2001-0078963A KR100459892B1 (ko) 2001-12-13 2001-12-13 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치
EP02258528A EP1320074B1 (en) 2001-12-13 2002-12-11 Method and apparatus for generating texture for a 3D facial model
DE60207367T DE60207367T2 (de) 2001-12-13 2002-12-11 Verfahren und Vorrichtung zur Texturerzeugung für ein 3-D Gesichtsmodell
JP2002360184A JP4468631B2 (ja) 2001-12-13 2002-12-12 ３次元顔モデルのためのテクスチャー生成方法及び装置
US10/318,089 US7139439B2 (en) 2001-12-13 2002-12-13 Method and apparatus for generating texture for 3D facial model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0078963A KR100459892B1 (ko) 2001-12-13 2001-12-13 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20030048913A KR20030048913A (ko) 2003-06-25
KR100459892B1 true KR100459892B1 (ko) 2004-12-03

Family

ID=36686703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0078963A KR100459892B1 (ko) 2001-12-13 2001-12-13 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치

Country Status (5)

Country Link
US (1) US7139439B2 (ko)
EP (1) EP1320074B1 (ko)
JP (1) JP4468631B2 (ko)
KR (1) KR100459892B1 (ko)
DE (1) DE60207367T2 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
US8009880B2 (en) * 2007-05-11 2011-08-30 Microsoft Corporation Recovering parameters from a sub-optimal image
JP2010282611A (ja) * 2009-05-07 2010-12-16 Canon Inc 情報処理装置、情報処理方法及びプログラム
US8861800B2 (en) * 2010-07-19 2014-10-14 Carnegie Mellon University Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
CN101937576B (zh) * 2010-09-08 2013-02-06 北京航空航天大学 一种结合多物理属性的动态纹理瀑布建模方法
JP5789751B2 (ja) * 2011-08-11 2015-10-07 パナソニックＩｐマネジメント株式会社 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置
JP5450739B2 (ja) * 2012-08-30 2014-03-26 シャープ株式会社 画像処理装置及び画像表示装置
US9325936B2 (en) 2013-08-09 2016-04-26 Samsung Electronics Co., Ltd. Hybrid visual communication
KR101997500B1 (ko) 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
KR101680174B1 (ko) 2015-03-12 2016-11-28 경북대학교 산학협력단 3차원 모델로부터 색칠공부도안 생성 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102280361B1 (ko) * 2019-06-07 2021-07-22 주식회사 네오시큐 특징점 기반의 유사 얼굴 생성 방법과 이를 이용한 얼굴 인식 방법
US10872457B1 (en) * 2019-07-18 2020-12-22 Sony Corporation Facial texture map generation using single color image and depth information
CN111192308B (zh) * 2019-12-31 2023-11-03 浙江商汤科技开发有限公司 图像处理方法及装置、电子设备和计算机存储介质
KR102449987B1 (ko) * 2021-11-22 2022-10-04 스튜디오이온 주식회사 3d 얼굴 모델의 얼굴 애니메이션을 생성하기 위한 조인트 자동 셋업 방법과 그 컴퓨터 프로그램

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995003855A1 (en) * 1993-07-29 1995-02-09 Output Australia Pty. Ltd. Curved object embellishment process
US6016148A (en) * 1997-06-06 2000-01-18 Digital Equipment Corporation Automated mapping of facial images to animation wireframes topologies
GB2336735A (en) * 1998-04-24 1999-10-27 Daewoo Electronics Co Ltd Face image mapping
KR100360487B1 (ko) 2000-02-28 2002-11-13 삼성전자 주식회사 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법및 그 장치
US6903782B2 (en) * 2001-03-28 2005-06-07 Koninklijke Philips Electronics N.V. System and method for performing segmentation-based enhancements of a video image

Also Published As

Publication number Publication date
DE60207367T2 (de) 2006-08-03
DE60207367D1 (de) 2005-12-22
JP2003216971A (ja) 2003-07-31
US7139439B2 (en) 2006-11-21
EP1320074B1 (en) 2005-11-16
KR20030048913A (ko) 2003-06-25
EP1320074A3 (en) 2004-02-11
US20030113036A1 (en) 2003-06-19
JP4468631B2 (ja) 2010-05-26
EP1320074A2 (en) 2003-06-18

Similar Documents

Publication Publication Date Title
US6717586B2 (en) Apparatus, method, program code, and storage medium for image processing
KR100459892B1 (ko) 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치
EP3276578A1 (en) Method for depicting an object
JP2000067267A (ja) 三次元シーンにおける形状及び模様の復元方法及び装置
CN112784621B (zh) 图像显示方法及设备
JP2000512833A (ja) 単眼視キューの統合による奥行き知覚の改善
JP3626144B2 (ja) 立体オブジェクトデータからの漫画的表現の２次元画像の生成方法および生成プログラム
US6816159B2 (en) Incorporating a personalized wireframe image in a computer software application
TWI263947B (en) Image generation apparatus and image generation method
JP3867883B2 (ja) 画像合成処理方法、画像合成処理装置及び記録媒体
KR100902995B1 (ko) 최적화 비율의 얼굴영상 형성 방법 및 이에 적용되는 장치
KR100360487B1 (ko) 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법및 그 장치
KR20010084996A (ko) 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
KR100608430B1 (ko) 데이터 생성 방법 및 데이터 생성 장치 및 3차원 입체모형
JP2001231037A (ja) 画像処理システム、画像処理装置、及び記憶媒体
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
JP3850080B2 (ja) 画像生成表示装置
JP2023153534A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2003512802A (ja) 三次元モデリングのためのシステム及び方法
KR100281965B1 (ko) 모델 기반 코딩 시스템의 얼굴 텍스쳐 맵핑 방법
JPH07334648A (ja) 画像処理方法及びその装置
WO2024053371A1 (ja) 情報処理システム、および情報処理システムの作動方法、並びにプログラム
KR100289702B1 (ko) 모델 기반 부호화 시스템에서 파노라마 영상을 이용한 얼굴영상 정합 방법
JP3453410B2 (ja) 画像処理装置及びその方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20011213

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20040128

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20041008

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20041124

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20041125

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20070927

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20080918

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20091001

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20101011

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20111010

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20121016

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20121016

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20131022

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20131022

Start annual number: 10

End annual number: 10

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20151009