KR101194605B1

KR101194605B1 - 시간 연속적 텍스쳐 합성 장치 및 방법

Info

Publication number: KR101194605B1
Application number: KR1020080131219A
Authority: KR
Inventors: 신승협; 구본기
Original assignee: 한국전자통신연구원
Priority date: 2008-12-22
Filing date: 2008-12-22
Publication date: 2012-10-25
Also published as: US20100156920A1; AU2009208137B2; AU2009208137A1; KR20100072729A

Abstract

본 발명은 시간 연속적 텍스쳐 합성 기술에 관한 것으로, 삼각 메쉬(triangular mesh) 형태로 구성된 3차원 표면 위에 2차원 텍스쳐 이미지를 합성하는 기법으로, 특히 물과 같이 시간에 따라 형태나 위상이 급격하게 변화하는 표면에서도 텍스쳐가 부드럽게 변화하는 텍스쳐 합성 기법으로서, 특정 프레임의 텍스쳐를 합성할 때 이전 프레임의 텍스쳐 합성 결과를 참고함으로써, 프레임 간의 연속성을 최대한 보존한다. 따라서 시간에 따라 3차원 표면의 형태가 일그러지거나, 구멍이 뚫리거나 또는 원래 존재했던 구멍이 없어지는 등의 위상 변화가 잦은 애니메이션에서도 효과적으로 사용되는 것을 특징으로 한다. 본 발명에 의하면, 물과 같이 시간에 따라 형태나 위상이 급격하게 변화하는 3차원 표면에서 텍스쳐가 시간적으로 부드럽게 변화하는 텍스쳐 합성을 가능하게 할 수 있으며, 텍스쳐 합성 시 삼각형을 합성 단위로 함으로써 픽셀 기반 기법보다 효율적이고, 다중 스레딩을 도입함으로써, 합성 속도를 더욱 빠르게 수행할 수 있다.

유체 애니메이션, 삼각 메쉬, 텍스쳐 합성

Description

시간 연속적 텍스쳐 합성 장치 및 방법{APPARATUS AND METHOD FOR SYNTHESIZING TIME-COHERENT TEXTURE}

본 발명은 텍스쳐 합성 기술에 관한 것으로서, 특히 삼각 메쉬(triangular mesh) 형태로 구성된 3차원 표면 위에 2차원 텍스쳐 이미지를 합성하는데 적합한 시간 연속적 텍스쳐 합성 장치 및 방법에 관한 것이다.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-608-04, 과제명: 영상 특수효과용 유체 시뮬레이션 기술 개발].

일반적으로 텍스쳐 합성은 컴퓨터 비전 분야에서 오랜 기간 연구되어 온 분야로서, 기존의 기법들은 대부분 3차원 삼각 메쉬 위에 수많은 견본 지점(sampling point)을 정의하고, 각 지점의 색깔을 차례대로 결정하여 원래의 2차원 텍스쳐 영상과 시각적으로 유사한 무늬를 합성하는 픽셀 기반 방식을 사용하였다. 2003년 Magda 와 Kriegman 은 연구를 통해 견본 지점 대신 각각의 삼각형을 합성의 단위로 채택하였다.

Magda 와 Kriegman 은 우선 삼각 메쉬 전체에 부드러운 벡터장(vector field)을 정의하였다. 그리고 임의의 삼각형 하나를 선택한 후 이를 2차원 텍스쳐 영상의 좌표계로 투영(mapping)함으로써 최초의 삼각형에 텍스쳐를 합성한다. 이후에는 합성이 완료된 삼각형의 이웃 삼각형들에 대하여 같은 과정을 반복하는데, 이때 텍스쳐가 전체적으로 부드럽게 이어져 보이도록 하기 위하여 이미 합성된 삼각형의 텍스쳐 색상을 참고하였다.

상기한 바와 같이 동작하는 종래 기술에 의한 텍스쳐 합성 방식에 있어서는, 견본 지점에 비해 적은 수의 삼각형을 합성 대상으로 함으로써 상대적으로 빠르며, 이미 합성된 주변 색상을 참고함으로써 텍스쳐 합성 결과가 공간적으로 연속적으로 보인다는 장점을 가진다. 하지만 이 방법은 대상 메쉬의 형태가 고정되어 있는 경우를 대상으로 하고 있어 물과 같이 표면 형태가 계속 변하는 물체에는 사용하기 어렵다.

즉, 하나의 시간 프레임 내에서는 공간적으로 부드러운 합성 결과를 얻을 수 있지만, 연속된 프레임 간에는 합성의 연속성을 보장하기 위한 고려가 없어 텍스쳐 색상이 매우 불규칙적으로 튀는 현상을 피할 수 없다는 문제점이 있었다.

이에 본 발명은, 삼각 메쉬 형태로 구성된 3차원 표면 위에 2차원 텍스쳐 이미지를 합성할 수 있는 시간 연속적 텍스쳐 합성 장치 및 방법을 제공한다.

또한 본 발명은, 물과 같이 시간에 따라 형태나 위상이 급격하게 변화하는 표면에서도 텍스쳐가 부드럽게 변화하도록 구현할 수 있는 시간 연속적 텍스쳐 합성 장치 및 방법을 제공한다.

또한 본 발명은, 삼각 메쉬 형태로 구성된 3차원 표면 위에 2차원 텍스쳐 이미지를 합성하는 것으로서, 특정 프레임의 텍스쳐를 합성할 때 이전 프레임의 텍스쳐 합성 결과를 참고함으로써 프레임 간의 연속성을 최대한 보존할 수 있는 시간 연속적 텍스쳐 합성 장치 및 방법을 제공한다.

본 발명의 일 실시예 장치는, 2차원 텍스쳐 영상 및 3차원 삼각 메쉬 정보를 입력받아 입력된 상기 2차원 텍스쳐 영상을 고속으로 검색하기 위한 전처리를 수행하는 텍스쳐 전처리부와, 입력된 상기 3차원 삼각 메쉬의 3차원 표면 위에 벡터장을 정의하는 벡터장 형성부와, 상기 벡터장이 정의된 삼각형의 각 선분의 색상을 이전 프레임을 통해 검색하는 색상 검색부와, 상기 검색된 세 선분의 색상을 이용하여 삼각형의 텍스쳐 좌표를 최종적으로 결정하는 텍스쳐 합성부를 포함한다.

본 발명의 일 실시예 방법은, 2차원 텍스쳐 영상 및 3차원 삼각 메쉬 정보를 입력받는 과정과, 입력된 상기 2차원 텍스쳐 영상을 고속으로 검색하기 위한 전처리 과정과, 입력된 상기 3차원 삼각 메쉬의 3차원 표면 위에 벡터장을 정의하는 과정과, 상기 벡터장 정의 후, 합성할 삼각형의 각 선분의 색상을 이전 프레임을 통 해 검색하는 과정과, 검색된 세 선분의 색상을 이용하여 삼각형의 텍스쳐 좌표를 최종적으로 결정하는 텍스쳐 합성 과정을 포함한다.

본 발명에 있어서, 개시되는 발명 중 대표적인 것에 의하여 얻어지는 효과를 간단히 설명하면 다음과 같다.

본 발명은, 물과 같이 시간에 따라 형태나 위상이 급격하게 변화하는 3차원 표면에서 텍스쳐가 시간적으로 부드럽게 변화하는 텍스쳐 합성을 가능하게 할 수 있으며, 텍스쳐 합성 시 삼각형을 합성 단위로 함으로써 픽셀 기반 기법보다 효율적이고, 다중 스레딩을 도입함으로써, 합성 속도를 더욱 빠르게 수행할 수 있는 효과가 있다.

이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 삼각 메쉬 형태로 구성된 3차원 표면 위에 2차원 텍스쳐 이미지 를 합성하는 기법에 관한 것으로서, 특히 물과 같이 시간에 따라 형태나 위상이 급격하게 변화하는 표면에서도 텍스쳐가 부드럽게 변화하는 텍스쳐 합성 기법을 제시한다.

일반적으로 3차원 표면 위에 텍스쳐를 합성하는 기존의 기법들은 대상 표면의 형태 변화를 고려하지 않으므로, 이러한 기법을 변화하는 표면에 적용할 경우 프레임 사이에서 급격하게 튀는 현상(popping effect)이 발생하게 된다. 그러므로 본 발명에서는 특정 프레임의 텍스쳐를 합성할 때 이전 프레임의 텍스쳐 합성 결과를 참고함으로써 프레임 간의 연속성을 최대한 보존한다.

따라서 시간에 따라 3차원 표면의 형태가 일그러지거나, 구멍이 뚫리거나, 또는 원래 존재했던 구멍이 없어지는 등의 위상 변화가 잦은 애니메이션에서도 효과적으로 사용될 수 있다.

<용어 설명>

유체: 물, 불, 연기와 같이 일정한 형태를 갖지 않는 물체

삼각 메쉬: 물체의 표면을 서로 연결된 삼각형들의 집합으로 표현한 자료 구조. 각 삼각형은 정점과 선분, 그리고 면으로 구성된다.

정점(vertex): 공간상의 한 지점으로서 선분과 선분이 만나는 지점.

선분(edge): 두 정점을 지나는 직선의 일부이며, 그 두 정점을 양 끝으로 함.

면(face): 세 개 이상의 닫힌 선분으로 구성되는 표면

도 1은 본 발명의 실시예에 따른 시간 연속적 텍스쳐 합성 장치의 구조를 도시한 블록도이다.

도 1을 참조하면, 시간 연속적 텍스쳐 합성 장치(110)는 기본적으로 2차원 텍스쳐 영상(102) 및 3차원 삼각 메쉬(104) 정보를 입력 받으며, 여기에 추가적으로 텍스쳐가 합성될 크기, 벡터장의 기본 방향 등이 사용자 매개변수로 주어질 수 있다. 이와 같은 입력 데이터를 기반으로, 텍스쳐 합성 장치(110)는 각 삼각형을 3차원 물체 공간에서 2차원 텍스쳐 영상 공간으로 매핑하여 삼각형을 이루는 세 정점의 텍스쳐 좌표를 결정한다. 모든 삼각형에 대하여 텍스쳐 좌표가 결정되면 이것이 시스템의 출력이 되며, 이 좌표 집합과 원래의 3차원 메쉬를 이용하여 일반 렌더링 소프트웨어에서 최종 영상을 얻을 수 있다.

이러한 텍스쳐 합성 장치(110)는 텍스쳐 전처리부(112), 벡터장 형성부(114), 색상 검색부(116), 텍스쳐 합성부(118)등을 포함하며, 구현방식에 따라 텍스쳐 좌표부(122) 및 렌더러부(124) 등이 텍스쳐 합성 장치(110)에 포함될 수도 있다.

구체적으로 텍스쳐 전처리부(112)는 텍스쳐 합성이 대상 삼각형의 각 선분에 할당된 텍스쳐 색상에 기반하여 그와 가장 비슷한 텍스쳐 좌표를 찾는 과정이므로, 효율적인 텍스쳐 합성을 위해서는 좌표 검색에 가장 알맞은 형태로 텍스쳐 영상을 전처리해야 한다. 이에 각각의 텍셀(texel)을 중심으로 하는 N x N 크기의 템플릿과 가버 필터(Gabor filter) 간의 컨볼루션(convolution)을 수행하고, 수행된 결과값을 해당 텍셀의 위치에 저장한다. 이때 가버 필터는 총 4가지의 크기(scale) 와 8가지의 방향(direction)을 조합하여 총 32개를 사용하였을 때 가장 좋은 결과를 얻을 수 있다. 이렇게 얻어진 결과 영상을 가버 필터 반응 영상(Gabor filter response image)이라 한다.

벡터장 형성부(114)는 각각의 삼각형을 3차원 물체 공간에서 2차원 텍스쳐 공간으로 옮겨오기 위한 좌표계를 설정하는 데 필요한 것으로, 합성 결과가 공간적, 시간적으로 연속적이기 위해서는 이웃한 벡터들끼리 비슷한 방향을 가져야만 한다.

벡터장은 현재 합성할 프레임이 첫 프레임인지의 여부에 따라 다른 방식으로 계산된다. 대상 프레임이 첫 번째 프레임인 경우에는 이전 프레임과의 시간적 연속성을 고려할 필요가 없으므로 벡터장이 공간적으로 부드럽게 계산되는 것으로 충분하다. 이를 위하여 먼저 각 삼각형마다 삼각형의 접선 방향(tangential direction) 에 놓인 임의의 벡터를 정의한다. 이렇게 정의된 벡터장에 공간적 연속성을 부여하기 위하여 단계적인 스무딩(smoothing) 과정을 거친다.

본 발명의 실시예에서 벡터장 형성부(114) 는 각 삼각형에 대하여 주변 삼각형에 대한 벡터의 평균 방향을 찾아 새로 대입하는 과정을 반복함으로써 최종 벡터장을 계산한다. 이렇게 얻어진 벡터장은 메쉬의 형태와 위상에 따라서 벡터의 크기와 방향이 결정되지 않는 특이점(singularity)을 가질 수 있으나, 텍스쳐 무늬에 방향성이 없는 경우 결과물에 별다른 영향을 주지 않으며, 방향성이 있는 경우에도 품질을 크게 떨어뜨리는 수준에는 미치지 않는다.

또한 대상 프레임이 두 번째 또는 그 이후의 프레임일 경우 이전 프레임과의 시간적 연속성을 최대화하기 위하여 벡터장 또한 이전 프레임에서와 비슷한 형태로 구성되어야 한다. 첫 프레임에서는 임의의 벡터를 각 삼각형의 초기 벡터로 설정했던 반면, 이 경우에는 이전 프레임의 벡터장으로부터 현재 프레임의 벡터를 보간하여 얻는다. 이를 위하여 삼각형의 중점 위치에서 일정 범위 내에 있는 방향 벡터들을 이전 프레임에서 검색해야 하며, 효율적인 검색을 위하여 각 삼각형의 중점들을 미리 KD-트리(KD-tree) 구조로 저장해 둔다. 벡터의 보간은 검색된 기존 벡터들을 중점에서의 거리에 따라 가중 평균(weighted average)하여 얻으며, 보간된 벡터장은 첫 번째 프레임에서와 마찬가지로 단계적인 스무딩 과정을 거쳐 최종 벡터장으로 변환된다.

그리고 색상 검색부(116)와 텍스쳐 합성부(118)를 통해 각 삼각형에 대한 텍스쳐 합성을 수행하는 것으로서, 삼각형의 텍스쳐 합성이란, 삼각형을 이루는 각 정점에 2차원 텍스쳐 좌표를 할당하는 것을 의미한다. 이에 본 발명의 실시예에서 삼각형 별 텍스쳐 합성은 색상 검색부(116)를 통해 각 선분의 텍스쳐 색상을 샘플링하고, 이를 기반으로 텍스쳐 합성부(118)에서 텍스쳐 합성을 수행하게 된다.

첫 번째 프레임을 대상으로 하는 경우, 우선 맨 첫 삼각형을 고르고 임의의 텍스쳐 좌표를 할당한다. 이후에는 이미 합성된 삼각형 주변의 삼각형들을 차례로 합성해 나간다. 따라서 대상 삼각형은 하나 또는 그 이상의 선분에 이미 텍스쳐 색상이 할당되어 있는 상태이며, 이처럼 이미 할당된 텍스쳐 색상들을 2차원 평면 이미지로 저장한다. 이렇게 저장된 이미지를 사용하여 입력된 2차원 텍스쳐 영상에서 가장 유사한 좌표를 찾음으로써 텍스쳐 합성 과정이 완료된다. 이때 유사한 좌표 (x, y)는 하기 <수학식 1>과 같이 정의된다.

여기서, I(a, b)는 할당된 텍스쳐 색상 영상의 (a, b) 좌표에서의 RGB 값, T(a, b)는 입력 텍스쳐 영상의 (a, b) 좌표에서의 RGB 값을 의미하며, 이들의 거리 Diff 는 하기 <수학식 2>와 같다.

여기서, r, g, b 는 각각 픽셀의 red, green, blue 값을 의미한다. 하지만 이 방법은 매우 많은 계산량을 요구하므로, 전처리 과정에서 미리 계산한 가버 필터 반응 영상을 이용하여 빠른 검색을 수행한다.

두 번째 및 그 이후 프레임을 합성하는 경우, 대상 삼각형을 구성하는 각 선분이 이전 프레임에서 어떤 색상을 가지고 있었는지 알아내야 한다. 이는 유체를 시뮬레이션하는 방식에 따라 구현상의 차이가 있을 수 있으므로 본 발명의 실시예에서는 SPH(smoothed particle hydrodynamics)에 기반한 시뮬레이션 기법을 채용하였으며, 이 기법에서는 유체의 이동 방향과 속도가 다수의 파티클에 저장된다.

우선 대상 삼각형을 2차원 텍스쳐 좌표로 투영시킨 후, 투영된 텍셀 각각이 이전 프레임에서 어떤 색상을 가졌는지 알아낸다. 이를 위하여 투영된 텍셀을 다시 3차원 물체 공간으로 옮긴 후, 주변 일정 범위 내의 모든 파티클을 검색한다. 검색된 파티클 각각으로부터 이동 벡터를 얻고, 이들의 가중 평균을 취하여 대상 삼각형의 이동(advection) 성분 벡터를 얻는다. 이로부터 이전 프레임에서의 위치를 구할 수 있으며, 하기 <수학식 3>과 같이 나타낼 수 있다.

여기서

는 현재 프레임에서의 위치,

은 이전 프레임에서의 위치, v 는 이동 성분 벡터, dt 는 시뮬레이션 시간 간격을 의미한다. 이전 프레임에서의 위치로부터 가장 가까운 삼각형을 검색함으로써 해당 위치에 할당되었던 텍스쳐 색상을 알아낼 수 있다. 이를 반복하여 세 선분에 할당된 텍스쳐 색상을 모두 얻은 후, 첫 번째 프레임에서와 마찬가지로 가장 유사한 텍스쳐 좌표를 검색하여 세 정점에 할당한다.

이러한 텍스쳐 합성 기법은 각 삼각형을 합성 단위로 하므로 기존 픽셀 기반 기법들에 비하여 효율적이다. 한편, 두 번째 이후 프레임부터는 삼각형의 텍스쳐 합성 결과가 현재 프레임 내의 다른 삼각형에 영향을 주지 않으므로 삼각형들을 병렬적으로 합성할 수 있다. 이에 텍스쳐 합성부(118)의 멀티 스레딩(120)에서는 다중 스레드를 사용하여 텍스쳐 합성을 병렬화 하였으며, 쓰레드 개수만큼의 메쉬 자료 구조가 중복되는 대신 속도는 비약적으로 향상(예컨대, 4 쓰레드의 경우 약 두 배의 속도가 향상된다) 시킬 수 있다.

텍스쳐 좌표부(122)는 텍스쳐 합성 장치(110) 내의 텍스쳐 합성부(118)로부터 최종적으로 삼각형의 텍스쳐 좌표가 할당된 데이터를 전달받고, 이를 통해 모든 3차원 삼각 메쉬의 삼각형에 대한 텍스쳐 좌표를 확인한다. 다만, 확인 결과 특정 삼각형에 텍스쳐 좌표가 할당되지 않았거나, 잘못된 좌표가 할당된 것으로 판단되는 경우에는 이를 벡터장 형성부(114)로 전달하여 다시 텍스쳐 합성 절차를 수행하도록 한다.

렌더러부(124)는 텍스쳐 좌표부(122)로부터 최종적으로 할당된 텍스쳐 좌표를 전달받고, 3차원 메쉬 정보를 이용하여 렌더링을 수행하여 최종 영상을 얻을 수 있다.

이와 같은 텍스쳐 합성을 통해 생성된 최종 영상은 물과 같이 시간에 따라 형태나 위상이 급격하게 변화하는 유체 애니메이션 등의 표면에서도 텍스쳐가 부드럽게 변화할 수 있도록 구현하는 것이 가능하다.

도 2는 본 발명의 실시예에 따른 시간 연속적 텍스쳐 합성 장치의 합성 절차를 도시한 흐름도이다.

도 2를 참조하면, 200단계에서 텍스쳐 합성 장치(110)는 2차원 텍스쳐 영상 및 3차원 삼각 메쉬(300) 정보를 입력받아 202단계에서 텍스쳐 전처리부(112)를 통해 텍스쳐 영상을 고속으르 검색하기 위한 전처리를 수행하고, 전처리된 텍스쳐 영상은 벡터장 형성부(114)로 전달되어204단계에서 벡터장 형성부(114)는 3차원 표면 위에 부드러운 벡터장을 정의하게 된다.

이후 벡터장이 정의된 데이터는 색상 검색부(116)로 전달되어 206단계에서 색상 검색부(116)는 이전 프레임을 통해 합성할 삼각형의 각 선분 색상을 검색한다. 이후, 색상검색의 완료 후에는 208단계의 텍스쳐 합성부(118)에서 세 선분의 색상을 이용하여 삼각형의 텍스쳐 좌표를 최종적으로 결정하게 된다.

이후, 122단계에서 텍스쳐 좌표부(122)는 결정된 텍스쳐 좌표를 확인한 후, 212단계에서 렌더러부(124)를 통해 할당된 텍스쳐 좌표와 3차원 메쉬 정보를 이용하여 렌더링을 수행한다.

도 3은 본 발명의 실시예에 따라 단일 삼각형에 텍스쳐를 합성하는 과정을 도시한 도면이다.

도 3을 참조하면, 텍스쳐 합성 장치는 2차원 텍스쳐 영상 및 3차원 삼각 메쉬(300) 정보를 입력받으며, 입력받은 정보를 기반으로, 각 삼각형을 3차원 물체 공간에서 2차원 텍스쳐 영상 공간(304)으로 매핑하여 삼각형(302)을 이루는 세 정점의 텍스쳐 좌표를 결정한다. 모든 삼각형에 대하여 텍스쳐 좌표가 결정되면 이것이 시스템의 출력이 되며, 이 좌표 집합과 원래의 3차원 메쉬를 이용하여 렌더링 수행을 통하여 최종 영상을 얻을 수 있다.

이상 설명한 바와 같이, 본 발명은 삼각 메쉬 형태로 구성된 3차원 표면 위에 2차원 텍스쳐 이미지를 합성하는 기법에 관한 것으로서, 특히 물과 같이 시간에 따라 형태나 위상이 급격하게 변화하는 표면에서도 텍스쳐가 부드럽게 변화하는 텍스쳐 합성 기법을 제시한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이 다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 실시예에 따른 시간 연속적 텍스쳐 합성 장치의 구조를 도시한 블록도,

도 2는 본 발명의 실시예에 따른 시간 연속적 텍스쳐 합성 장치의 합성 절차를 도시한 흐름도,

도 3은 본 발명의 실시예에 따라 단일 삼각형에 텍스쳐를 합성하는 과정을 도시한 도면.

<　도면의 주요 부분에 대한 부호 설명 >

110 : 텍스쳐 합성 장치 112 : 텍스쳐 전처리부

114 : 벡터장 형성부 116 : 색상 검색부

118 : 텍스쳐 합성부 120 : 멀티 스레딩

122 : 텍스쳐 좌표부 124 : 랜더러부

Claims

2차원 텍스쳐 영상 및 3차원 삼각 메쉬 정보를 입력받아 입력된 상기 2차원 텍스쳐 영상을 고속으로 검색하기 위한 전처리를 수행하는 텍스쳐 전처리부와,

입력된 상기 3차원 삼각 메쉬의 3차원 표면 위에 벡터장을 정의하는 벡터장 형성부와,

상기 벡터장이 정의된 삼각형의 각 선분의 색상을 이전 프레임을 통해 검색하는 색상 검색부와,

상기 검색된 세 선분의 색상을 이용하여 삼각형의 텍스쳐 좌표를 최종적으로 결정하는 텍스쳐 합성부

를 포함하는 시간 연속적 텍스쳐 합성 장치.
제 1항에 있어서,

상기 텍스쳐 전처리부는,

텍스쳐가 합성될 크기 및 벡터장의 기본 방향 정보를 추가로 입력 받는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 장치.
제 1항에 있어서,

상기 텍스쳐 전처리부는,

각각의 텍셀을 중심으로 기 설정된 크기의 템플릿과 가버필터 간의 컨볼루션을 수행하고, 수행된 결과 값을 해당 텍셀의 위치에 저장하여 가버 필터 반응 영상을 형성하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 장치.
제 1항에 있어서,

상기 벡터장 형성부는,

첫번째 프레임인 경우, 각 삼각형마다 삼각형의 접선 방향에 놓인 임의의 벡터를 정의하고, 각 삼각형에 대하여 주변 삼각형의 벡터의 평균 방향을 찾아 새로 대입하는 과정을 반복하여 최종 벡터장을 형성

하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 장치.
제 1항에 있어서,

상기 벡터장 형성부는,

대상 프레임이 두번째 이후의 프레임인 경우, 이전 프레임의 벡터장으로부터 현재 프레임의 벡터를 보간하여 얻고, 보간된 벡터장은 각 삼각형에 대하여 주변 삼각형의 벡터의 평균 방향을 찾아 새로 대입하는 과정을 반복하여 최종 벡터장을 형성

하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 장치.
제 5항에 있어서,

상기 보간은,

각 삼각형의 중점들을 미리 KD-트리(KD-tree) 구조로 저장해둔 상태에서 삼각형의 중점 위치에서 일정 범위 내에 있는 방향 벡터들을 이전 프레임에서 검색하고, 검색된 기존 벡터들을 중점에서의 거리에 따라 가중 평균(weighted average)하여 수행

하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 장치.
제 1항에 있어서,

상기 텍스쳐 합성부는,

첫번째 프레임인 경우, 어느 하나의 삼각형을 선택하여 임의의 텍스쳐 좌표를 할당하고,

기존에 합성된 삼각형에 인접한 삼각형에서 기 할당된 텍스쳐 색상들을 2차원 평면 이미지로 저장하고,

저장된 이미지를 사용하여 상기 2차원 텍스쳐 영상에서 가장 유사한 좌표를 찾아서 순차적으로 텍스쳐 합성을 수행

하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 장치.
제 1항에 있어서,

상기 텍스쳐 합성부는,

두번째 이상의 프레임인 경우, 선택한 삼각형을2차원 텍스쳐 좌표로 투영시킨 후, 투영된 텍셀 각각이 이전 프레임에서 어떤 색상을 가졌는지 확인하기 위해 상기 투영된 텍셀을 3차원 물체 공간의 일정한 범위 내에서 파티클을 검색하고,

검색된 파티클 각각으로부터 이동 벡터를 확인하고,

이동 벡터에 대한 가중 평균을 수행하여 상기 선택한 삼각형의 이동 성분 벡터를 얻고, 이를 통해 이전 프레임에서의 위치를 산출하고,

이전 프레임에서의 위치로부터 가장 인접한 삼각형을 검색하여 해당 위치에 할당된 세 선분의 텍스쳐 색상을 확인하고,

상기 2차원 텍스쳐 영상에서 가장 유사한 좌표를 찾아서 순차적으로 텍스쳐 합성을 수행

하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 장치.
제 1항에 있어서,

상기 텍스쳐 합성부는,

적어도 두개의 스레드를 이용하여 두번째 이후의 프레임부터 삼각형을 병렬적으로 합성하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 장치.
제 1항에 있어서,

상기 텍스쳐 합성 장치는,

상기 텍스쳐 합성부로부터 텍스쳐 좌표가 할당된 데이터를 전달받아 모든 삼각형에 대한 텍스쳐 좌표의 할당 여부를 확인하는 텍스쳐 좌표부와,

상기 텍스쳐 좌표부로부터 전달된 텍스쳐 좌표가 할당된 데이터와 상기 3차원 메쉬 정보를 토대로 렌더링을 수행하여 텍스쳐가 합성된 영상을 출력하는 렌더러부

를 더 포함하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 장치.
2차원 텍스쳐 영상 및 3차원 삼각 메쉬 정보를 입력받는 과정과,

입력된 상기 2차원 텍스쳐 영상을 고속으로 검색하기 위한 전처리 과정과,

입력된 상기 3차원 삼각 메쉬의 3차원 표면 위에 벡터장을 정의하는 과정과,

상기 벡터장 정의 후, 합성할 삼각형의 각 선분의 색상을 이전 프레임을 통해 검색하는 과정과,

검색된 세 선분의 색상을 이용하여 삼각형의 텍스쳐 좌표를 최종적으로 결정하는 텍스쳐 합성 과정

을 포함하는 시간 연속적 텍스쳐 합성 방법.
제 11항에 있어서,

상기 입력 받는 과정은,

텍스쳐가 합성될 크기 및 벡터장의 기본 방향 정보를 추가로 입력 받는 것을

특징으로 하는 시간 연속적 텍스쳐 합성 방법.
제 11항에 있어서,

상기 전처리 과정은,

각각의 텍셀을 중심으로 기 설정된 크기의 템플릿과 가버필터 간의 컨볼루션을 수행하는 과정과,

수행된 결과 값을 해당 텍셀의 위치에 저장하여 가버 필터 반응 영상을 형성하는 과정

을 포함하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 방법.
제 11항에 있어서,

상기 벡터장을 정의하는 과정은,

첫번째 프레임인 경우, 각 삼각형마다 삼각형의 접선 방향에 놓인 임의의 벡터를 정의하는 과정과,

각 삼각형에 대하여 주변 삼각형의 벡터의 평균 방향을 찾아 새로 대입하는 과정을 반복하여 최종 벡터장을 형성하는 과정

을 포함하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 방법.
제 11항에 있어서,

상기 벡터장을 정의하는 과정은,

대상 프레임이 두번째 이후의 프레임인 경우, 이전 프레임의 벡터장으로부터 현재 프레임의 벡터를 보간하여 얻는 과정과,

보간된 벡터장은 각 삼각형에 대하여 주변 삼각형의 벡터의 평균 방향을 찾아 새로 대입하는 과정을 반복하여 최종 벡터장을 형성하는 과정

을 더 포함하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 방법.
제 15항에 있어서,

상기 보간은,

각 삼각형의 중점들을 미리 KD-트리(KD-tree) 구조로 저장해둔 상태에서 삼각형의 중점 위치에서 일정 범위 내에 있는 방향 벡터들을 이전 프레임에서 검색하고, 검색된 기존 벡터들을 중점에서의 거리에 따라 가중 평균(weighted average)하여 수행

하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 방법.
제 11항에 있어서,

상기 텍스쳐 합성 과정은,

첫번째 프레임인 경우, 어느 하나의 삼각형을 선택하여 임의의 텍스쳐 좌표를 할당하는 과정과,

기존에 합성된 삼각형에 인접한 삼각형에서 기 할당된 텍스쳐 색상들을 2차원 평면 이미지로 저장하는 과정,

저장된 이미지를 사용하여 상기 2차원 텍스쳐 영상에서 가장 유사한 좌표를 찾아서 순차적으로 텍스쳐 합성을 수행하는 과정

을 포함하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 방법.
제 11항에 있어서,

상기 텍스쳐 합성 과정은,

두번째 이상의 프레임인 경우, 선택한 삼각형을2차원 텍스쳐 좌표로 투영시킨 후, 투영된 텍셀 각각이 이전 프레임에서 어떤 색상을 가졌는지 확인하기 위해 상기 투영된 텍셀을 3차원 물체 공간의 일정한 범위 내에서 파티클을 검색하는 과정과,

검색된 파티클 각각으로부터 이동 벡터를 확인하는 과정과,

이동 벡터에 대한 가중 평균을 수행하여 상기 선택한 삼각형의 이동 성분 벡터를 얻고, 이를 통해 이전 프레임에서의 위치를 산출하는 과정과,

이전 프레임에서의 위치로부터 가장 인접한 삼각형을 검색하여 해당 위치에 할당된 세 선분의 텍스쳐 색상을 확인하는 과정과,

상기 2차원 텍스쳐 영상에서 가장 유사한 좌표를 찾아서 순차적으로 텍스쳐 합성을 수행하는 과정

을 더 포함하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 방법.
제 11항에 있어서,

상기 텍스쳐 합성 과정은,

적어도 두개의 스레드를 이용하여 두번째 이후의 프레임부터 삼각형을 병렬적으로 합성하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 방법.
제 11항에 있어서,

상기 텍스쳐 합성 방법은,

텍스쳐 합성부로부터 텍스쳐 좌표가 할당된 데이터를 전달받아 모든 삼각형에 대한 텍스쳐 좌표의 할당 여부를 확인하는 과정과,

상기 텍스쳐 좌표가 할당된 데이터와 상기 3차원 메쉬 정보를 토대로 렌더링을 수행하여 텍스쳐가 합성된 영상을 출력하는 과정

을 더 포함하는 것을 특징으로 하는 시간 연속적 텍스쳐 합성 방법.