KR100544686B1 - 비파라메트릭 샘플링에 기반한 텍스쳐 합성방법 - Google Patents

Abstract

본 발명은 비파라메트릭 샘플링에 기반한 텍스쳐 합성방법에 관한 것으로써, 특히 입력 텍스쳐의 분석을 통해 얻은 텍스쳐 패턴 크기와 같은 간격으로 출력 텍스쳐를 초기화하고, 반복 합성을 통하여 출력 텍스쳐의 화질을 높일 수 있는 기술에 관한 것이다.

본 발명에 의하면, 비파라메트릭 샘플링에 기반한 텍스쳐 합성방법에 있어서, 윈도우의 크기 추정과, 검색 트리의 구성 및 초기 지점의 구축 과정을 통하여 텍스쳐 모델링을 진행하는 제 1단계와; 상기 모델링된 텍스쳐의 품질을 향상시키기 위해 반복적으로 텍스쳐의 샘플링을 진행하는 제 2단계를 포함하는 텍스쳐 합성방법을 제공한다.

따라서, 본 발명에 의한 텍스트 합성방법은 주어진 텍스쳐와 비슷한 고품질의 출력 텍스쳐를 생성하는 픽셀 기반 기법으로, 끊김없이 나열가능한 텍스쳐를 빠른 시간에 생성할 수 있다. 이러한 텍스쳐 생성 기법은 고품질의 물체 표면 표현을 요구하는 컴퓨터 게임이나 3차원 애니메이션 등의 분야에 효과적으로 활용될 수 있다.

애니메이션, 비파라메트릭, 텍스쳐, 합성, 샘플링, 모델링, 픽셀

Description

비파라메트릭 샘플링에 기반한 텍스쳐 합성방법{On pixel-based texture synthesis method by non-parametric}

도 1은 본 발명에 따른 텍스쳐 패턴의 크기 추정을 나타낸 개념도이다.

도 2는 본 발명에 따라 샘플링의 초기 지점 설정 과정을 나타낸 도면이다.

도 3은 본 발명에 따라 텍스쳐 퓨전의 동작 원리를 나타낸 도면이다.

도 4는 본 발명에 따라 돌 텍스쳐를 입력했을 때 합성 기법의 수렴성을 나타낸 그래프이다.

도 5는 본 발명에 따라 다양한 텍스쳐를 대상으로 한 반복적 개선의 실험 결과를 나타낸 도면이다.

도 6은 본 발명에 따라 다양한 텍스쳐에 대한 실험 결과를 나타낸 도면이다.

도 7은 본 발명의 텍스쳐 합성방법과 기존의 합성방법의 비교 결과를 나타낸 도면이다.

도 8은 본 발명에 따라 텍스쳐 퓨전을 나타낸 도면이다.

도 9는 본 발명에 따라 강제적 텍스쳐 합성을 나타낸 도면이다.

도 10은 본 발명에 따라 패치 기반 방법과의 접목을 나타낸 도면이다.

본 발명은 비파라메트릭 샘플링에 기반한 텍스쳐 합성방법에 관한 것이다. 보다 상세하게는 입력 텍스쳐의 분석을 통해 얻은 텍스쳐 패턴 크기와 같은 간격으로 출력 텍스쳐를 초기화하고, 반복 합성을 통하여 출력 텍스쳐의 화질을 높이는 기술에 관한 것이다.

컴퓨터 게임 및 애니메이션에서 전경 및 배경 물체의 현실감을 높이는 가장 중요한 요소 중 하나는 표면의 사실적인 표현이다. 일반적으로 텍스쳐 영상을 표면에 입힘으로써 이를 표현하는 방법이 가장 많이 사용되고 있으나, 일반 사진을 바로 표면에 입힐 경우 나열된 텍스쳐 영상간의 끊김 현상이 발생한다. 이를 해결하기 위하여, 주어진 텍스쳐 영상을 이용하여 텍스쳐 매핑에 사용가능한 새로운 텍스쳐를 합성하는 기법이 연구되어 왔다.

특히, 텍스쳐 분석 및 합성 분야에서는 많은 연구들이 수행되어 왔다. 본 발명에서는 본 발명 내용과 관련된 비파라메트릭 샘플링에 기반한 예제 기반 텍스쳐 합성 기법에 관하여 주로 설명하기로 한다.

이 분야의 기법들은 텍스쳐를 마코프 랜덤 필드(MRF: Markov random field)로 모델링한다. 텍스쳐는 지역적인 유사도에 기반하여 텍스쳐 샘플로부터 픽셀을 카피함으로써 생성된다. 이에 내재된 가정은 유한한 텍스쳐 샘플은 MRF의 확률적인 성질을 반영한다는 것이다. 텍스쳐 샘플을 복제하는 기법에 따라서 다음과 같은 두 부류의 기법들이 제안되었다.

첫째, 픽셀 기반 방법이 있다.

이 부류의 방법들은 한번에 하나씩의 픽셀을 복제한다. Efros와 Leung 등은 이러한 기법을 최초로 제안하고 고품질의 텍스쳐를 합성함으로서 확률적 샘플링의 효과를 증명하였다. 한편 이들은 잘못된 결과가 확장되거나 입력 텍스쳐가 있는 그대로 복제되어버리는 경우도 있음을 발견하였다. 본 발명에서는 이를, 첫 번째의 경우 출력 텍스쳐를 합성할 때 가이드라인이 부족함으로 인해 발생하며, 두 번째의 경우 픽셀간의 유사도를 측정하기 위한 윈도우 크기가 너무 커서 충분한 랜덤성을 갖지 못했기 때문으로 결론지었다.

Wei와 Levoy 등은 기존 Leung 기법을 두 가지 면에서 개선하였다. 이미 합성된 픽셀들을 이용하여 새로운 픽셀 합성을 돕기 위하여 다해상도 개념을 도입하였다. 이를 통하여 작은 윈도우 크기를 사용하더라도 상대적으로 넓은 영역을 참조하는 효과를 얻었다. 또한 픽셀 검색을 가속화하기 위하여 트리 구조에 기반한 검색 기법을 개발하였다. 이는 합성 시간을 매우 단축시켰으나 합성 결과가 뭉개지는 결과를 낳았다.

Ashikhmin은 결과의 뭉개짐 현상을 해결하기 위하여 이미 합성된 픽셀간의 공간적 유사도를 이용하였다. 이 기법은 트리 기반 검색 기법 이상의 속도를 가지고 있었으며, 자연 현상의 텍스쳐를 보다 잘 합성할 수 있었다. 그러나 이 기법은 픽셀 검색 공간을 제한함으로 인하여 결과 텍스쳐의 끊김이나 잘못된 영역의 확대와 같은 현상을 보여주었다.

둘째, 패치 기반 방법이 있다.

이는 픽셀 기반 방법들과는 달리 패치 기반 기법들은 한번에 하나씩의 영상 패치들을 복제한다. 이 기법들은 속도와 품질면의 개선을 위하여 공간적인 유사도를 활용하였다. 따라서 Ashikhmin의 기법은 패치 복제 기법과 픽셀 복제 기법 사이의 “다리 ”로 생각할 수 있다. Efros와 Freeman 등은 “이미지 퀼팅 ”이라는 패치 기반 기법을 제안하였다. 이들은 기존 픽셀 기반 기법에서 픽셀 검색 시간에 너무 많은 시간이 소요되고 있음에 주목하였다. 그들의 기법에서는 출력 텍스쳐에 중첩된 정사각형 블록(텍스쳐 샘플로부터 얻어진)들로 나열되고 이웃한 블록들은 최소 경로 알고리즘에 의하여 끈김없이 부착된다.

Liang 등도 비슷한 방법을 제안하였다. 이들의 방법은 블록들 사이에서 퀼팅 기법을 사용하는 대신 페더링(feathering)기법을 사용하였다. 최적 kd-트리와 PCA(Principal Component Analysis) 기법을 이용하여 이들은 결과물의 뭉개짐을 막으면서도 실시간의 성능을 얻을 수 있었다.

가속화 뿐만 하니라 앞서의 두 방법은 Efros 와 Liang 등의 잘못된 영역의 확장을 막음으로써 텍스쳐 품질을 향상시키려 하였다. 그러나 이 기법들 역시 텍스쳐의 끊김과 입력 텍스쳐를 그대로 복제하는 단점을 지니고 있었다. 특히, 두 기법 모두 윈도우 크기를 자동으로 정하는 방법을 제안하지 못하였다. Cohen 등은 Wang 타일이라는 타일 집합을 이용하여 평면을 타일링하는 추계적 기법을 제안하였다. 본 발명의 초기화 기법은 Cohen의 기법에서 영감을 얻었다.

최근 Kwatra 등은 기존 패치 기반 기법들의 단점을 보완하였다. 이들의 패치 복제 기법은 두 단계로 나뉘어진다.

먼저 텍스쳐 샘플을 출력 텍스쳐의 알맞은 위치에 놓는다. 그리고 그래프-컷 알고리즘을 이용하여 시각적인 끊김 현상을 최소화 할 수 있는 최적의 경로를 찾아낸다. 이들의 방법은 패치 크기에 대한 선지식 없이도 고품질의 결과와 성능을 보여주었다.

그러나 반복 회수가 적을 경우 기존 연구들에서와 같은 문제가 발생한다. 한편, 많은 회수의 반복은 시간이 오래 결릴 뿐 아니라 텍스쳐의 구조를 해칠 가능성도 있다. 하지만 반복 합성을 안정적으로 끝내기 위한 알맞은 조건을 찾아내기는 역시 쉽지 않다.

따라서 본 발명은 상기한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 예제 영상을 입력으로 끊김없이 나열가능한 새로운 텍스쳐를 합성하는 새로운 기법을 제시하는데 있다.

이를 위하여 텍스쳐를 대표하는 패턴의 크기를 자동으로 계산하고 출력 텍스쳐를 초기화하는 기법과, 텍스쳐 합성을 반복하여 텍스쳐의 품질을 높이는 기법을 제시하였다.

상기한 본 발명의 목적을 달성하기 위한 기술적 사상으로써 본 발명은

비파라메트릭 샘플링에 기반한 텍스쳐 합성방법에 있어서,

윈도우의 크기 추정과, 검색 트리의 구성 및 초기 지점의 구축 과정을 통하여 텍스쳐 모델링을 진행하는 제 1단계와;

상기 모델링된 텍스쳐의 품질을 향상시키기 위해 반복적으로 텍스쳐의 샘플링을 진행하는 제 2단계를 포함하는 텍스쳐 합성방법을 제공한다.

이하, 본 발명의 실시 예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.

본 발명에 의한 예제 기반 텍스쳐 합성 기법은 크게 텍스쳐 모델링과 텍스쳐 샘플링의 두 단계로 이루어진다. 전자는 유한한 텍스쳐 샘플을 바탕으로 이상적인 텍스쳐에 내재된 MRF를 어떻게 알아낼 것인가의 문제를 다루며, 후자는 알아낸 MRF로부터 어떻게 효율적으로 픽셀을 복제할 것인지의 문제를 다룬다. 본 발명은 다음과 같은 세부 스텝으로 구성 된다.

첫째, 모델링 단계는 윈도우 크기 추정, 검색 트리 구성 및 초기 지점 구축으로 구성되며, 각각 픽셀의 이웃 결정, 픽셀 샘플링 가속화, 결과 텍스쳐 초기화를 담당한다. 둘째, 샘플링 단계는 반복적으로 텍스쳐 품질을 높이는 단계이다. 각각의 반복에서 텍스쳐는 스캔라인 순서로 개선된다.

1) 텍스트 합성

1-1) 윈도우 크기의 추정

본 발명에서는 비파라메트릭 샘플링을 통한 픽셀 기반 패러다임을 도입하였다. 이 패러다임에서 각 픽셀의 조건부 확률은 오직 그 이웃 픽셀에 의해서만 결정되며, 윈도우의 크기를 추정할 수 있는 방법이 요구된다. L-형태 윈도우는 텍스쳐를 스캔라인 순서로 합성할 때 사용가능한 이웃 픽셀들을 반영하기 위하여 이용되어 왔다. 텍스쳐를 반복적으로 개선할 때는 정사각형 형태의 윈도우를 사용한다.

확률적 샘플링에서와 더불어, 윈도우는 텍스쳐의 구조를 반영하는데에도 중요한 역할을 한다. 따라서 윈도우의 크기는 적어도 가장 중요한 텍스쳐 패턴의 크기 이상이어야 한다.

본 발명에서는 윈도우 크기를 중요한 패턴 크기의 두 배로 설정하였다. 중요한 패턴 크기는 반복적 텍스쳐 개선을 최초에 이끌어 주기 위한 초기 지점의 밀도를 결정하는 데에도 사용된다. 실험적으로, 초기 지점들의 밀도는 중요한 패턴 크기와 같게 설정되었다. 텍스쳐 패턴의 크기 추정은 도 1에 도시된 바와 같이 이루어진다.

본 발명에서는 푸리에 파워 트랜스폼(Fourier Power Transform)에 기반한 통계적 텍스쳐 분석기법을 이용한다. N x N 크기의 텍스쳐 샘플 f(x,y)에 대하여 F(u,v)를 이산 푸리에 트랜스폼이라 정의하자:

이 때, 푸리에 파워 트랜스폼 P(u,v)은 각 공간적 주파수의 크기를 표현 한다.

P(u,v)를 극좌표계에서

로 표시하고 도 1(a)에서와 같이 반지 형태 영역 내에서 적분함으로써 주파수 r 부근의 크기의 합 P(r)을 구할 수 있다:

이때, d는 반지 영역의 두께를 나타내며 실험에서는 0.1로 설정되었다. 텍스쳐 주도적 주파수는 P(r)이 가장 큰 r을 선택함으로써 결정된다. 마지막으로 주도적 텍스쳐 크기 s는 텍스쳐 크기 N을 주도적 주파수로 나누어 얻는다.

비구조적인 텍스쳐의 경우 P(r)은 두드러진 극점을 갖지 않을 수도 있다. 그러나 텍스쳐 크기의 역할은 텍스쳐 샘플의 구조를 반영하는 것 뿐만 아니라 반복적 텍스쳐 개선의 초기값을 얻는 데에도 사용된다. 비구조적 텍스쳐의 경우 주도적 크기는 초기값을 구성할때의 샘플링 밀도를 얻는 데 사용된다.

1-2) 검색 트리의 구성

개선될 출력 픽셀과 그 이웃이 주어지면 이웃이 가장 비슷한 픽셀을 찾기 위하여 텍스쳐 샘플을 검색해야 한다. 픽셀의 이웃을 k차원 벡터(k는 픽셀 이웃 개수의 3배)라 하면 픽셀 검색은 k차원 최근점 문제로 재구성할 수 있다.

Liang 등의 방법에서 영감을 얻어, 본 방법에서는 kd-트리와 PCA를 사용하여 검색을 가속화한다. kd-트리는 정확한 해답을 보장하면서도 픽셀 검색을 크게 가속화한다. PCA는 약간의 품질저하를 담보로 검색 공간을 대폭 축소함으로써 검색을 더욱 가속화한다.

1-3) 초기 지점의 구축

픽셀 샘플링 순서와 상관없이 현재의 출력 픽셀의 이웃 픽셀 중 반은 아직 참조 가능한 상태가 아니다. 이처럼 이웃에 대한 정보가 부족한 상태에서 텍스쳐의 구조는 제대로 반영되기 힘들다. 기존 연구들과 달리 본 발명에서는 출력 텍스쳐 영역을 덮는 초기 지점들을 미리 합성한다. 텍스쳐 샘플의 구조를 잘 반영하기 위하여 초기 지점들의 밀도는 추정된 주도적 텍스쳐 크기와 같도록 설정하였다.

추계적 타일링 기법에서와 비슷하게 초기 지점들은 스캔라인 순서로 출력 텍스쳐의 정사각형 격자 위에 설정된다. 에지의 길이는 텍스쳐 스케일과 같으며 그 네 점이 격자점위에 놓이는 사각형을 유닛 타일이라고 정의하자. 또한 위쪽, 오른쪽, 왼쪽, 아래쪽을 각각 N, E, W, S라고 하자. 우선 텍스쳐 샘플을 유닛 타일의 집합으로 구분한다(도 2(a)). 최상위 행에서 가장 왼쪽 부분은 무작위로 고른 유닛 타일로 설정된다(도 2(b)). 최상위 행의 나머지 타일들은 새 타일의 W 에지와 그 왼쪽 타일의 E 에지가 걸맞는 유닛 타일로 설정된다(도 2(c)). 이때 두 개의 에지는 대응되는 점들의 색깔이 비슷할 때 걸맞는다고 정의한다. 단순 복제를 방지하기 위하여 가장 잘 걸맞는 k개의 유닛 타일 중 무작위로 하나를 선정한다.

두 번째 행에서부터는 더 많은 정보를 알 수 있으므로 샘플링 방법을 약간 변경한다. 맨 왼쪽 타일의 경우, N 에지가 상위 타일의 S 에지와 걸맞는 타일을 선택한 다 (도 2(d)). 나머지 출력 타일에 대해서는 W 에지가 왼쪽 타일의 E 에지와 걸맞고 N 에지가 상위 타일의 S 에지와 걸맞는 타일들 중에서 무작위로 타일을 골라 그 오른쪽 아래 지점만을 샘플링한다(도 2(e)).

1-4) 반복적 개선

Efros 등과 Wei 등이 지적한바와 같이, 인지적 유사성은 정지성(stationality)과 지역성(locality)를 동시에 포함한다. 효율적인 샘플링을 위하여 지역적 속석을 고려하여, 기존 방법들은 합성된 텍스쳐에서 이런 속성을 꽤 잘 보여주었다. 그러나 정지적 속성은 잘 다루어지지 않았다. 이의 가장 큰 이유는 픽셀의 모든 이웃이 참조가능하지 않다는 점과 경계영역에서의 이웃의 불일치, 그리고 윈도우 크기의 잘못된 세팅이다. 이러한 효과는 잘못된 영역의 확대, 끊김, 뭉개짐 등 다양한 형태의 이상현상을 낳았다.

윈도우 크기가 제대로 설정되었다고 가정하면 텍스쳐 합성 과정에서의 이러한 현상들을 성공적으로 개선할 수 있을 것이다. 핵심 아이디어는 이전 단계에서의 출력 텍스쳐를 현재 단계에서의 입력 텍스쳐로 사용한다는 것이다. 비슷한 방법이 Ashikhmin에 의하여 시도되었으나, 본 방법의 이론적 설명은 출력 텍스쳐의 모든 픽셀에서 완전한 이웃들이 참조가능하다는 것이다. 따라서 본 발명의 텍스쳐 합성 기법은 출력 텍스쳐를 반복적으로 개선하여 비정지적 효과를 전체 텍스쳐에 분산시키게 된다. 이러한 의미에서 기존 방법들의 결과 텍스쳐는 첫 번째 반복의 결과물이라 볼 수 있다.

격자 형태의 초기 지점들을 초기값으로 채용하고, 출력 텍스쳐는 종료 조건을 만족할 때 까지 반복하여 개선된다. 첫 번째 반복에서는 초기 지점들과 새로 합성된 이웃들만이 사용된다. 두 번째 이상에서는 모든 이웃이 검색에 사용된다.

종료 조건으로 우리는 두가지 방법을 채택하였다. 첫 번째는 반복 회수로서, 실험 결과 최대 반복회수는 10번 정도인 것으로 나타났다. 두 번째 방법은 연속된 출력 텍스쳐 f(i-1)과 f(i) 간의 차이 d를 이용하는 것이다.

만일 d가 미리 지정된 값보다 작아지면 반복적 개선은 중단된다. 우리의 실험에서 이 값은 0.01로 설정되었다. 두 경우 모두 다중 반복이 요구되며, 이는 kd-트리와 PCA를 이용하여 가속될 수 있다.

2) 텍스쳐 퓨전

텍스쳐 퓨전 문제의 기원은 강제적 텍스쳐 합성 문제로 거슬러간다. Ashikhmin은 사용자가 제공한 맵에 의해 텍스쳐를 이끌며 합성하는 더욱 일반적인 문제에 접근하였다. 최근에는 Kwatra 등이 그래프컷에 기반한 텍스쳐 합성 기법을 확장하여 다중 텍스쳐를 이어붙이는 기법을 제시하였다. 텍스쳐 퓨전 문제는 사용자가 제공한 맵을 이용하여 다중 텍스쳐를 끊김없이 이어붙이는 것이다. 우리는 앞서의 텍스쳐 합성 기법과 그래프컷 방법을 사용하여 본 문제를 해결한다. 도 3은 텍스쳐 퓨전 방법의 동작 원리를 보여준다.

본 발명에서는 퓨전 맵이 색칠된 영역의 집합으로 구성되어 있다고 가정한다. 퓨전 맵은 손으로 그리거나 사진으로 주어지거나 컴퓨터에 의해 만들어질 수도 있다. 색깔과 텍스쳐 샘플 간에는 일대일 대응이 존재하며, 이는 사용자에 의해 지정된다. 이웃한 영역들을 끊김없이 잇기 위하여 각 경계에 걸쳐 좁은 벨트 구역이 놓인다(도 3(b)의 녹색 영역). 벨트의 폭은 이웃한 영역의 텍스쳐 샘플 크기들 중 큰 것의 절반으로 설정된다. 벨트 영역에서의 윈도우 크기는 큰 쪽의 윈도우와 같고, 반면 초기 지점의 밀도는 작은 쪽의 주도적 크기와 같게 설정한다.

벨트를 공유하는 모든 쌍에 대하여 그래프컷 방법을 이용하여 해당하는 새로운 텍스쳐를 생성한다. 즉, 생성된 텍스쳐는 텍스쳐 퓨전 모델을 위한 훈련 데이터로 생각할 수 있다. 모든 텍스쳐가 준비되면 먼저 벨트 영역 이외의 영역에 텍스쳐를 합성하고 벨트 영역에 새로 합성된 텍스쳐를 이용하여 출력 픽셀들을 합성한다. 벨트를 태울때 각 픽셀의 윈도우는 양쪽의 벨트이외 영역과 동시에 만나게 된다. 모든 영역은 스캔라인 순서로 합성되며 반복적 개선은 하지 않는다.

3) 실험 결과

본 발명의 실험은 Intel Pentium 4 3.2Ghz 프로세서와 4GB의 메인 메모리를 가진 시스템에서 수행되었다. 텍스쳐 샘플의 해상도는 128x128 또는 192x192였으며 출력 텍스쳐는 모두 200x200이다. PCA와 kd-tree는 Matlab과 Mount의 ANN 라이브러리를 이용하였다.

우선 제안된 반복적 개선 방법의 오류 분산 행태를 평균 제곱 오류(MSE)와 변화된 픽셀의 개수를 측정하여 나타내었다(도 4(a)). 도 4(b)(c)에서 나타나듯이 MSE와 변화된 픽셀 개수 모두 약 20번째 반복까지 급격히 줄어들었으며 이후로는 진동하 였다. 실험적으로 보았을 때 대부분의 텍스쳐에서 약 10번의 반복 후에 시각적으로 좋은 품질의 결과를 얻을 수 있었다. 그러나 합성된 텍스쳐는 많은 경우 한 번의 합성만으로도 좋은 품질을 보였다.

도 5 내지 도 7은 본 발명에 따라 다양한 텍스쳐를 대상으로 한 실험을 보여준다. 도 5에서 각 반복에서 출력 텍스쳐가 변화해 가는 과정을 볼 수 있다. 도 6은 인터넷에서 얻을 수 있는 무료 텍스쳐들을 이용한 결과물이다. 비교를 위하여 논문과 웹사이트에서 얻은 Wei 와 Levoy, Ashikhmin의 결과를 같이 보였다. 표 1은 도 5~7의 합성 시간을 정리한 것이며 단위는 초이다.

텍스쳐 퓨전의 결과는 도 8과 도 9에 제시되었다. 도 8에서는 두 가지 종류의 콩을 이용하여 텍스쳐 퓨전을 적용한 결과를 보여준다. 도 8(c)의 퓨전 맵은 다음과 같이 자동으로 생성되었다.: 무작위로 고른 픽셀에 특정 색깔(빨강은 보라색 콩, 파랑은 황색 콩에 대응)의 원을 그린다. 이때 확률은 다음과 같다.

이 때, x는 맵의 최상위 행에서부터의 거리, P(r)과 P(b)는 각각 빨강색 원, 파랑색 원에 해당하는 확률 밀도 함수를 의미한다. 빨강색 원의 반지름은 15, 파랑색 원의 반지름은 11이었으며, 해당 텍스쳐의 주도적 크기로부터 얻어졌다. 모든 픽셀들이 칠해질 때까지 원은 계속 그려진다. 새로 그려진 원이 기존에 다른 색으로 색칠된 영역과 중첩될 경우, 중첩된 부분은 녹색으로 칠해지며 이는 합성된 텍스쳐를 이용함을 의미한다. 도 8의 아래쪽은 사용자가 제공한 퓨전 맵을 바탕으로 3개의 텍스쳐를 이용한 텍스쳐 퓨전의 결과이다.

도 9에서 볼 수 있듯이 본 방법은 강제적 텍스쳐 합성에도 응용가능하다. 빈 공간의 경계 부분은 고정되어 있으므로 빈 공간은 도 9(b)에서와 같은 순서로 합성된다. 결과 텍스쳐의 시각적 품질은 나선 순서를 사용한 Wei와 Levoy의 것보다 약간 향상되었다.

마지막 실험은 본 방법과 패치 기반 방법을 접목한 것이다. 기존 연구에서 설명한 바와 같이 패치 기반 방법은 패치 배치와 경계 이음으로 구성된다. 경계 이음을 위하여 우리의 강제적 텍스쳐 합성 기법을 도입한다(도 10).

먼저 텍스쳐 샘플을 무작위로 고른 위치에 배치한다. 각 스텝에서 텍스쳐는 이미 합성된 영역과 걸맞는 위치로 이동된다(도 10(b)). 출력 텍스쳐가 모두 덮일 수 있도록 하기 위하여 기존에 선택된 위치는 다시 선택하지 않는다. 중첩된 영역은 텍스쳐 퓨전에 사용된 방법대로 합성된다. 패치 배치를 효율적으로 하기 위하여 FFT 기 반 가속화 기법을 도입하였다. 도 10(c),(d)는 본 발명의 결과와 Kwatra 등의 결과를 비교하여 보여준다.

이상에서와 같이 본 발명에 의한 텍스트 합성방법은 주어진 텍스쳐와 비슷한 고품질의 출력 텍스쳐를 생성하는 픽셀 기반 기법으로, 끊김없이 나열가능한 텍스쳐를 빠른 시간에 생성할 수 있다. 이러한 텍스쳐 생성 기법은 고품질의 물체 표면 표현을 요구하는 컴퓨터 게임이나 3차원 애니메이션 등의 분야에 효과적으로 활용될 수 있다.

Claims (6)

1. 비파라메트릭 샘플링에 기반한 텍스쳐 합성방법에 있어서,

   윈도우의 크기 추정과, 검색 트리의 구성 및 초기 지점의 구축 과정을 통하여 텍스쳐 모델링을 진행하는 제 1단계와;

   상기 모델링된 텍스쳐의 품질을 향상시키기 위해 반복적으로 텍스쳐의 샘플링을 진행하는 제 2단계를 포함하는 것을 특징으로 하는 텍스쳐 합성방법.
2. 청구항 1에 있어서, 상기 제 1단계의 윈도우 크기 추정에서,

   윈도우 크기는 초기 지점의 밀도를 결정하기 위하여 적어도 가장 중요한 텍스쳐 패턴의 크기 이상으로 설정하는 것을 특징으로 하는 텍스쳐 합성방법.
3. 청구항 1에 있어서, 상기 제 1단계의 텍스쳐 크기 추정은

   푸리에 파워 트랜스폼(FPT)에 기반한 통계적 텍스쳐 분석방식을 적용하는 것을 특징으로 하는 텍스쳐 합성방법.
4. 청구항 1에 있어서, 상기 제 1단계의 검색 트리 구성에서,

   윈도우의 픽셀 검색을 가속화하기 위해 kd-트리와 PCA 방식을 적용하는 것을 특징으로 하는 텍스쳐 합성방법.
5. 청구항 1에 있어서, 상기 제 1단계의 초기 지점 구축에서,

   초기 지점의 밀도를 추정된 주도적 텍스쳐 크기와 같도록 설정하되, 스캔라인 순서로 출력 텍스쳐의 정사각형 격자 위에 설정하는 것을 특징으로 하는 텍스쳐 합성방법.
6. 청구항 5에 있어서, 상기 출력 텍스쳐를 반복적으로 개선하여 비정지적 효과를 전체 텍스쳐에 분산시키는 것을 특징으로 하는 텍스쳐 합성방법.

Images