KR20080063064A - 텍스쳐 영상의 효율적 압축을 위한 패치기반 텍스쳐영상의 전처리 방법 및 장치 - Google Patents

Abstract

본 발명은 패치기반 텍스쳐 영상의 전처리에 관한 것이다. 구체적으로는, 텍스쳐 매핑에 사용되지 않는 영역의 화소 값을 인접 사용 영역의 유효한 화소 값을 통해 구해진 값으로 설정함으로써 화소 간의 상관 관계를 높여 압축 성능과 렌더링된 복원 영상의 화질을 향상시킬 수 있는 패치기반 텍스쳐 영상의 전처리 장치 및 방법에 관한 것이다. 본 발명에 따른 패치기반 텍스쳐 영상 전처리 장치는 패치기반 텍스쳐 영상을 텍스쳐 매핑에 사용되는 화소들을 포함하는 사용 화소 영역과 사용되지 않는 화소들을 포함하는 미사용 화소 영역으로 구분하기 위한 화소 영역 분리부와, 상기 미사용 화소 영역 내의 모든 미사용 화소 각각에 대하여 상기 화소에 근접한 위치에 있는 적어도 하나 이상의 유효 화소를 탐색하고 상기 유효 화소 값으로부터 구해진 대표 값으로 상기 미사용 화소의 값을 설정하기 위한 미사용 화소값 설정부를 포함한다.

패치기반 텍스쳐 영상, 전처리, 압축

Description

텍스쳐 영상의 효율적 압축을 위한 패치기반 텍스쳐 영상의 전처리 방법 및 장치{Method and apparatus for patch-based texture image preprocessing for efficient texture image compression}

본 발명은 패치기반 텍스쳐 영상의 전처리에 관한 것이다. 구체적으로는, 패치기반 텍스쳐 영상의 경우에 부호화 및 복호화 과정을 거친 3차원 메쉬의 텍스쳐 좌표 정보에 양자화 오류가 발생하여 패치 구분 영역(즉, 실제 텍스처 매핑에 사용되지 않는 영역)의 화소를 가리키게 되는 경우 의도하지 않은 색상이 3차원 모델에 나타나게 되어 렌더링된 영상의 화질을 저하시킨다는 점을 고려하여 텍스쳐 매핑에 사용되지 않는 영역의 화소 값을 인접 사용 영역의 유효한 화소 값으로 설정함으로써 화소 간의 상관 관계를 높여 압축 성능과 렌더링된 복원 영상의 화질을 향상시킬 수 있는 패치기반 텍스쳐 영상의 전처리 장치 및 방법에 관한 것이다.

본 연구는 정보통신부 및 정보통신연구진흥원의 IT 차세대핵심기술개발 사업의 일환으로 수행하였다. [2005-S-403-02, 지능형 통합정보 방송(SmaR TV) 기술 개발]

일반적으로, 게임이나 애니메이션 영화에서의 3차원 그래픽 모델은 기하 정 보, 연결 정보, 속성 정보(법선, 색상 및 텍스쳐 좌표)로 이루어진 3차원 메쉬 모델 정보와 3차원 메쉬 모델의 표면에 입혀질 텍스쳐 영상으로 구성된다. 도 1은 VRML(Virtual Reality Modeling Language: VRML) 파일 내의 IndexedFaceSet(IFS)으로 표현되는 3차원 메쉬 모델 정보와 텍스쳐 영상간의 관계 및 역할을 나타내는 개념도이다. 도시된 바와 같이, 정점의 3차원 공간상의 위치를 나타내는 기하 정보(geometry)(110)와 이들의 연결 관계를 나타내는 연결 정보(미도시)에 의해 정의되는 3차원 메쉬 모델의 표면(120)에 텍스쳐 좌표(130)에 따라 텍스쳐 영상(140)이 상기 3차원 메쉬 모델의 표면에 입혀짐으로써 3차원 그래픽 모델이 표현된다.

3차원 메쉬 모델의 압축은 오랜 기간 활발히 연구되어 유용한 다수의 기법들이 개발되었으나, 텍스쳐 영상의 압축은 그 중요성의 인식이 미비하여 연구 성과가 거의 없어 현재에도 JPEG이나 PNG와 같은 일반적인 압축 방식이 사용되고 있다. 예를 들어, 2000년에 표준화된 MPEG-4 3차원 메쉬 부호화(3DMC, 3D Mesh Coding)의 경우에도 기하 정보, 연결 정보, 속성 정보를 포함하는 3차원 메쉬 모델을 압축하는 방법에 대해서는 다루고 있으나, 텍스쳐 영상을 압축하는 방법에 대해서는 다루고 있지 않다.

그러나, 실제로 사용되고 있는 3차원 그래픽 모델은 3차원 메쉬 모델뿐만 아니라 이에 상응하는 텍스쳐 영상도 필요로 하며 텍스쳐 영상의 데이터량이 무시할 수 있는 수준의 정도가 아니기 때문에, 텍스쳐 영상에 대한 압축 방법 역시 필요하다는 것을 알 수 있다.

텍스쳐 영상은 아틀라스형 텍스쳐 영상과 패치기반 텍스쳐 영상의 두 가지 유형으로 분류할 수 있다. 도 2a 및 도 2b 각각은 아틀라스형 텍스쳐 영상과 패치기반 텍스쳐 영상의 일 예를 도시한다. 도 2a에 도시한 아틀라스형 텍스쳐 영상은 일반적인 자연 영상 전체가 균일하게 모델에 매핑되는 형태로, 영상 내 화소간의 상관 관계가 높기 때문에 JPEG과 같은 기존의 압축 방식을 적용하여서도 좋은 압축 성능을 가져올 수 있다. 그러나, 텍스쳐 영상을 모델의 표면에 적용하는 텍스쳐 매핑은 일반적으로 각각의 다각형에 텍스쳐 영상의 일부분을 떼어서 적용시키는 방식을 사용하므로, 텍스쳐 영상의 모든 부분이 사용되지 않는 경우가 많다. 따라서, 이를 해결하고자 3차원 모델을 구성하는 모든 다각형에 매핑되는 영상들의 조각을 모아 새롭게 재배열시켜 구성한 도 2b와 같은 패치기반 텍스쳐 영상이 고안되었다.

그러나, 도 2b에 도시한 패치기반 텍스쳐 영상은 패치와 패치 간의 상관 관계가 낮다는 점 외에도 텍스쳐 매핑 시에 텍스쳐 중복을 피하기 위해서 패치와 패치 사이를 구분하는 영역을 둠으로 인하여, 영상 내 화소 간의 상관 관계가 저하되고 이에 따라 압축 성능 역시 현저히 저하되는 문제점이 있다. 또한, 부호화 및 복호화 과정을 거친 3차원 메쉬의 텍스쳐 좌표 정보에 양자화 오류가 발생하여 패치와 패치 사이를 구분하는 영역(즉, 텍스처 영상으로 사용되지 않는 영역)의 화소를 가리키게 되는 경우 의도하지 않은 색상이 3차원 모델에 나타나게 되어 렌더링된 영상의 화질을 저하시키는 문제점이 있다.

따라서, 본 발명의 목적은, 전술한 문제점을 해결하기 위하여, 압축 효율을 향상시키고 렌더링된 복원 영상의 화질을 개선시키기 위한 패치기반 텍스쳐 영상의 전처리 장치 및 방법을 제공하는 것이다.

본 발명의 다른 목적은 텍스쳐 매핑에 사용되지 않는 영역의 화소 값을 인접 사용 영역의 유효한 화소 값으로부터 구해진 값으로 설정함으로써 화소 간의 상관 관계를 높여 압축 성능과 렌더링된 복원 영상의 화질을 향상시킬 수 있는 패치기반 텍스쳐 영상의 전처리 장치 및 방법을 제공하는 것이다.

전술한 목적을 달성하기 위해, 본 발명의 일 특징에 따른 패치기반 텍스쳐 영상의 전처리 장치는, 패치기반 텍스쳐 영상을 텍스쳐 매핑에 사용되는 화소들을 포함하는 사용 화소 영역과 사용되지 않는 화소들을 포함하는 미사용 화소 영역으로 구분하기 위한 화소 영역 분리부와, 상기 미사용 화소 영역 내의 모든 미사용 화소 각각에 대하여 상기 화소에 근접한 위치에 있는 적어도 하나 이상의 유효 화소를 탐색하고 상기 유효 화소 값으로부터 구해진 대표 값으로 상기 미사용 화소의 값을 설정하기 위한 미사용 화소값 설정부를 포함한다.

본 발명의 제2 특징에 따른 패치기반 텍스쳐 영상의 전처리 수행 방법은, (a) 상기 패치기반 텍스쳐 영상을 텍스쳐 매핑에 사용되는 화소들을 포함하는 사용 화소 영역과 사용되지 않는 화소들을 포함하는 미사용 화소 영역으로 구분하는 단계와, (b) 상기 미사용 화소 영역 내의 모든 미사용 화소 각각에 대하여 상기 화소에 근접한 위치에 있는 적어도 하나 이상의 유효 화소를 탐색하는 단계와, (c) 상기 미사용 화소 영역 내의 모든 미사용 화소 각각에 대하여 상기 탐색된 적어도 하 나 이상의 유효 화소 값으로부터 대표 값을 구하는 단계와, (d) 상기 미사용 화소 영역 내의 모든 미사용 화소 각각에 대하여 상기 대표 값을 상기 화소 값으로 설정하는 단계를 포함한다.

전술한 바와 같이, 본 발명에 따른 텍스쳐 영상의 효율적 압축을 위한 패치기반 텍스쳐 영상의 전처리 방법 및 장치는 텍스쳐 매핑에 실제로 사용되지 않는 영역의 화소 값을 인접 사용 영역의 유효한 화소 값을 이용하여 설정함으로써 화소 간의 상관 관계를 높여 압축시 부호화 효율을 향상시키고 부호화 및 복호화 과정을 거친 3차원 메쉬의 텍스쳐 좌표 정보의 양자화 오류로 인해 의도하지 않은 색상이 3차원 모델에 나타나게 되는 렌더링 영상의 화질 저하를 개선할 수 있다.

이하에서는 본 발명을 첨부된 도면에 도시된 실시예들과 관련하여 예시적으로 상세히 설명하겠다. 그러나, 이하의 상세한 설명은 단지 예시적인 목적으로 제공되는 것이며 본 발명의 개념을 임의의 특정된 물리적 구성에 한정하는 것으로 해석되어서는 안 될 것이다.

도 3은 본 발명의 바람직한 실시예에 따른 패치기반 텍스쳐 영상의 전처리 장치를 도시한 블록도이다. 도시된 바와 같이, 텍스쳐 영상의 전처리 장치(300)는 화소 영역 분리부(310)와 미사용 화소값 설정부(320)를 포함한다.

화소 영역 분리부(310)는 패치기반 텍스쳐 영상을 입력 받아 상기 텍스쳐 영상을 텍스쳐 매핑에 사용되는 화소들을 포함하는 사용 화소 영역과 사용되지 않는 화소들을 포함하는 미사용 화소 영역으로 구분하는 역할을 수행한다.

미사용 화소값 설정부(320)는 상기 화소 영역 분리부(310)에 의해 구분된 미사용 화소 영역내의 각 화소 값을 상기 화소에 근접한 위치에 있는 사용 영역내의 유효 화소들을 이용하여 설정하는 역할을 수행한다. 구체적으로, 미사용 화소값 설정부(320)는 미사용 화소 영역의 모든 화소 각각에 대하여 상기 화소를 기준으로, 상, 하, 좌, 우, 대각선 방향중 적어도 어느 한 방향에서 근접한 위치에 있는 적어도 하나 이상의 유효 화소들을 탐색하는 유효 화소 탐색부(미도시)와, 상기 유효 화소들의 값들의 대표 값을 구하는 대표 값 계산 수단을 포함한다. 대표 값은, 평균값, 최빈수(mode), 중앙값(median), 최소값, 최대값 및 기준 화소로부터의 거리 개념을 적용한 가중 평균 값중에서 선택 가능하다. 대안적으로, 상기 유효 화소들의 값들중에서 임의로 하나의 값이 대표 값으로 선택될 수 있다.

전술한 화소 영역 분리부(310) 및 미사용 화소값 설정부(320)의 구체적인 동작에 대해서는 도면 4 내지 13을 참조하여 이하에서 상세히 설명한다.

도 4는 본 발명의 일실시예에 따른 패치기반 텍스쳐 영상의 전처리 과정을 도시한 흐름도이다. 도시된 바와 같이, 단계(410)에서, 패치기반 텍스쳐 영상을 텍스쳐 매핑에 실제로 사용되는 사용 화소 영역과 사용되지 않는 미사용 화소 영역으로 구분한다. 일실시예에 따르면, 패치기반 텍스쳐 영상을 텍스쳐 매핑에 실제로 사용되는 화소 영역과 사용되지 않는 화소 영역으로 정확하게 구분하기 위해, 3차원 메쉬 모델의 속성 정보 중 텍스쳐 좌표 정보를 분석함으로써 사용 및 비사용 영역의 구분 과정을 수행하게 된다. 이에 대해서는 도 5와 도 6을 참조하여 후술하기 로 한다. 본 발명에서 제안하는 3차원 메쉬 모델의 텍스쳐 좌표 정보를 분석함으로써 패치기반 텍스쳐 영상을 사용되는 화소 영역과 사용되지 않는 화소 영역으로 구분하는 방식 이외에도 경계선 검출(Edge Detector) 방식을 이용하는 등 다양한 방식이 적용될 수 있음을 본 기술 분야의 당업자들은 이해할 것이다.

단계(420)에서, 상기 사용되지 않는 미사용 화소 영역의 모든 화소에 대해 각 화소를 기준으로 가장 가까운 곳에 위치하고 있는 사용되고 있는 유효 화소들의 값을 구한다. 여기서 "유효 화소"라 함은 텍스쳐 매핑에 사용되는 사용 영역내의 화소들 뿐만 아니라 상기 사용되지 않는 미사용 화소 영역내의 미사용 화소들중에서 근접한 유효 화소의 탐색이 이미 완료된 화소를 모두 포함하는 것으로 해석된다.

일실시예에 따르면, 상/하/좌/우 방향으로 가장 가까운 곳에 위치하고 있는 사용되고 있는 유효한 화소들의 값을 탐색할 수 있다. 그러나 이러한 탐색 방식에 제한되지 않고, 상기 네 방향에 대각선 방향을 추가적으로 탐색하거나, 상기 네 방향 중 좌/우만을 또는 상/하만을 탐색할 수 있는 등 다양한 방식에 따라 이루어질 수 있다. 가장 가까운 곳에 위치하고 있는 사용되고 있는 유효한 화소들의 값을 상/하/좌/우 방향으로 탐색하는 방식은 도 9를 참조하여 후술하기로 한다.

다른 실시예에 따르면, 유효 화소를 가로 방향으로 우선 탐색한 후, 가로 탐색으로 유효 화소가 존재하지 않을 경우 추가적으로 세로 방향 탐색을 수행하는 방식이 있으며, 이에 대해서는 도 11을 참조하여 후술하기로 한다.

단계(430)에서, 상기 사용되지 않는 영역의 모든 화소에 대해 상기 각 화 소를 기준으로 구해진 유효 화소들의 값으로부터 대표 값을 계산한다. 일실시예에 따르면, 대표 값을 평균값, 최빈수(mode), 중앙값(median), 최소값, 최대값, 기준 화소로부터의 거리 개념을 적용한 가중 평균 값, 유효 값 중 임의의 어느 한 값 중 하나로 설정될 수 있다. 대표값을 평균값으로 설정하는 방식에 대해서는 도 10을 참조하여 후술하기로 한다.

단계(440)에서, 상기 사용되지 않는 영역의 모든 화소에 대해 각 화소의 값을 상기 계산된 대표 값으로 설정한다.

상기 단계들(420 내지 430)의 수행이 반드시 전술한 순서에 따라 수행되는 것은 아니며, 실제 구현시에는 하나의 단계의 수행 결과가 다른 단계의 수행 결과에 영향을 미치지 않는 범위 내에서 순서의 변경 및/또는 통합 및/또는 병렬 수행이 가능함을 본 기술 분야의 당업자들에게는 용이할 것이다. 예를 들어, 다른 실시예에서는 유효 값 탐색 단계(420), 유효 값으로부터 대표값 계산 단계(430), 계산된 대표값 설정 단계(440)가 하나의 단계로 통합적으로 이루어질 수도 있고, 단계(420)과 단계(430)이 하나의 단계로 통합적으로 이루어질 수도 있으며, 단계(430)과 단계(440)이 하나의 단계로 통합적으로 이루어질 수도 있다. 또한, 사용되지 않는 영역의 모든 화소에 대해 상기 단계를 순차적으로 수행하지 않고, 화소 단위로 상기 단계를 반복적으로 수행하도록 이루어질 수도 있다.

도 5는 본 발명의 일실시예에 따라 패치기반 텍스쳐 영상을 텍스쳐 매핑에 실제로 사용되는 화소 영역과 사용되지 않는 화소 영역으로 구분하는 과정을 도시한 흐름도이다. 단계(510)에서 사용 화소 영역과 미사용 화소 영역을 정확하게 구 분하기 위해 3차원 메쉬 모델의 텍스쳐 좌표 정보를 입력 받는다. 3차원 메쉬 모델의 입력 포맷이 VRML 파일인 경우 IndexedFaceSet 노드 및 TextureCoordinate 노드를 통해 이들을 입력 받을 수 있다.

단계(520)에서 상기 입력된 텍스쳐 좌표 정보는 텍스쳐 영상의 화소 위치를 나타내는 정수 값이 아닌 0에서 1 사이의 실수 좌표 값으로 표현되어 있으므로, 실제 텍스쳐 영상에서의 화소 위치를 계산하기 위해 입력된 텍스쳐 좌표 정보에 텍스쳐 영상의 크기를 적용하여 텍스쳐 좌표 정보 값을 영상에서의 화소 위치 정보로 변환한다.

단계(530)에서 상기 변환된 화소 위치 정보를 이용하여 실제 텍스쳐로서 3D 모델에 사용되고 있는 화소 영역의 위치 정보와 사용되지 않는 화소 영역의 위치 정보를 계산한다.

도 6은 도 5에 도시된 과정을 좀 더 세부적으로 도시한 흐름도이다. 단계(610)에서 3차원 메쉬 모델 및 텍스쳐 좌표 정보를 입력 받는다. VRML 파일인 경우 IndexedFaceSet 노드 및 TextureCoordinate 노드를 통해 이들을 입력 받을 수 있다.

단계(620)에서, 상기 입력된 3차원 메쉬 모델 및 텍스쳐 좌표 정보에 근거하여 텍스쳐 바인딩 방식을 판단한다. 텍스쳐 바인딩 방식은 코너 당 바인딩 방식과 정점 당 바인딩 방식이 있는데, 바인딩 방식의 판단 근거는 [1] IndexedFaceSet 노드의 texCoordIndex 필드가 존재하면 코너당 바인딩, 존재하지 않으면 정점당 바인딩으로 판단, [2] IndexedFaceSet 노드의 texCoordIndex 필드의 개수와 IndexedFaceSet 노드의 coordIndex 필드의 개수가 같으면 코너 당 바인딩, (IndexedFaceSet 노드의 texCoord 필드의 크기/2)의 개수와 IndexedFaceSet 노드의 coord 필드의 크기/3)의 개수가 같으면 정점 당 바인딩으로 판단한다. 3차원 모델을 구성하는 모든 면에 대해 각각의 면 단위로 텍스쳐 좌표 정보를 수집함에 있어 텍스쳐 바인딩 방식에 따라 텍스쳐 좌표 정보를 수집하는 방법이 달라지게 된다.

다음, 상기 판단 결과 정점 당 바인딩(Per Vertex)으로 판단된 경우에 단계(630)에서 coordIndex를 참조하여 텍스쳐 좌표 정보를 면 단위로 모든 면에 대해 수집하게 된다.

한편, 상기 판단 결과 모서리 당 바인딩(Per Corner)으로 판단된 경우에 단계(640)에서 texCoordIndex를 참조하여 텍스쳐 좌표 정보를 면 단위로 모든 면에 대해 수집하게 된다.

단계(650)에서, 단계(630) 및 단계(640)을 통해 면 단위로 수집된 0에서 1 사이의 실수 값으로 표현된 텍스쳐 좌표 정보를 텍스쳐 영상의 크기를 적용하여 정수 값으로 표현된 텍스쳐 영상에서의 화소 위치 정보로 변환한다. 일실시예에서, 영상 크기가 a*b인 경우에, 실수 값으로 표현된 텍스쳐 좌표

는 다음 수식 1에 따라 정수 값으로 표현된 텍스쳐 좌표

로 변환된다.

[수학식 1]

단계(660)에서, 텍스쳐 매핑에 사용되고 있는 영역 및 화소의 위치를 계산하기 위해, 상기 변환된 화소 위치 정보를 이용하여 하나의 면을 구성하는 정점들에 대해 면을 구성하는 방식에 따라 각 텍스쳐 좌표를 연결하는 선분을 구하고, 이 선분상에 존재하는 화소 위치와 상기 계산된 선분에 의해 에워싸인 공간의 내부에 존재하는 화소 위치를 계산하여 저장한다. 즉, 우선 인접한 두 개의 텍스쳐 위치 정보들에 대해 선분 상의 점들을 구하는 식을 사용하여 선분 상에 존재하는 화소 위치를 계산하여 저장할 수 있다. 일실시예에서는 Bresenham 공식을 사용할 수 있다. 다음으로, 선분에 의해 에워싸인 공간의 내부에 존재하는 화소 위치를 계산하기 위해, 상기 공간을 설정하고 공간에 포함된 각 화소에 대해 면 내부에 존재하는지를 검사하여 조건을 만족하는 화소의 위치 정보들을 저장한다.

그 후에, 모든 면에 대해 단계(660)가 수행되었는지의 여부를 단계(670)에서 판단한다. 그렇지 않다면, 모든 면에 대해 수행될 수 있도록 단계(660)를 반복 수행한다. 모든 면에 대해 수행 완료되었다면, 반복 수행을 통해 저장된 영역 또는 화소의 위치가 주어진 텍스쳐 영상에서 실제로 텍스쳐 매핑에 사용되고 있는 영역 또는 화소의 위치를 나타내게 된다.

단계(680)에서, 상기 단계(660)의 반복 과정에서 저장되지 않은 화소들을 사용되지 않는 화소로 저장한다.

도 7은 도 6의 단계(630)와 단계(650)의 실제 예를 보여주는 예시도이다. 상기 예시도는 텍스쳐 바인딩 타입이 Per Vertex이고 하나의 면이 삼각형으로 이루어진 경우에 대해 면을 이루는 세 개의 위치 정보가 텍스쳐 영상에 어떻게 매칭되는지를 보여주고 있다. 본 예시도의 경우 단계(660)의 사용되고 있는 영역 및 화소의 위치를 계산하기 위해, 하나의 면을 구성하는 정점들에 대해 면을 구성하는 방식에 따라 각 텍스쳐 위치 정보 A (482,381), B (486, 381), 및 C (482, 385)를 연결하는 선분 A-C, 선분 C-B, 선분 B-A의 선분을 구하고, 이 선분 상에 존재하는 화소 위치와 에워싸인 공간 내부에 존재하는 화소 위치를 계산하여 저장하게 된다. 다음으로, 선분 A-C, 선분 C-B, 선분 B-A에 의해 에워싸인 공간의 내부에 존재하는 화소 위치를 계산하기 위해, 상기 공간을 설정하고 공간에 포함된 각 화소에 대해 면 내부에 존재하는지를 검사하여 조건을 만족하는 화소의 위치 정보들을 저장한다.

도 8은 본 발명의 일실시예에 따라 패치기반 텍스쳐 영상을 텍스쳐 매핑에 사용되는 화소 영역과 사용되지 않는 화소 영역으로 구분한 예를 도시한다. 상기 도면은 사용되는 화소에 해당하는 위치 정보는 흰색으로 표시하고 사용되지 않는 부분에 해당하는 위치 정보는 검은색으로 표현한 경우의 결과이다.

도 9(a) 내지 9(d)는 본 발명의 일실시예에 따른 미사용 화소에 대한 유효 화소 탐색 과정을 도시한 도면이다. 그러나, 앞서 설명한 바와 같이, 반드시 상/하/좌/우 네 방향을 탐색하는 것은 아니며, 상기 네 방향에 대각선 방향을 추가적 으로 탐색할 수는 방식, 상기 네 방향 중 좌/우만을 또는 상/하만을 탐색하는 방법 등 다양한 방식에 따라 이루어질 수 있다. 본 명세서에는 설명의 용이함을 위하여 가장 가까운 곳에 위치하고 있는 사용되고 있는 유효한 화소들의 값을 상/하/좌/우 방향으로 구하는 과정에 대해 설명하도록 한다.

사용되지 않는 화소들 중

좌표 값이 가장 작은 화소로부터 상/하/좌/우 방향으로 가장 가까운 유효 화소의 위치 정보를 탐색 및 수집한다.

도 9a와 같이 사용되는 화소 영역과 사용되지 않는 화소 영역(U로 표시)으로 분리된 상태에서 도 9b에서와 같이

좌표 값이 가장 작은 화소인 기준 화소의 탐색이 끝나면 도 9c 에서와 같이 우측으로 기준 화소를 옮겨서 탐색을 계속 하고, 우측으로 더 이상 탐색할 화소가 없으면 도 9d에서와 같이 하단 좌측의 화소를 기준으로 위의 과정을 반복하게 된다. 이 때 기준 화소의 탐색 시 이미 탐색이 완료된 화소들도 유효 화소의 자격을 가지게 된다. 도 9d에서와 같이 모든 탐색 과정이 끝나면 모든 사용되어지지 않는 화소는 하나 이상의 유효 화소의 위치 정보를 가지고 있게 된다.

도 10(a) 내지 10(c)는 도 9의 결과로 얻어진 텍스쳐 매핑에 사용되지 않는 영역의 모든 화소에 대해 각 화소의 유효 화소 값들의 평균값을 대표 값으로 계산하는 과정을 도시한 예시도이다. 그러나, 본 발명에서는 반드시 평균값으로 대표값을 계산하는 것으로 한정하지 않고, 각 유효 값들의 최빈수(mode), 중앙값(median), 최소값, 최대값, 기준 화소로부터의 거리 개념을 적용한 가중 평균 값, 유효 값 중 임의의 어느 한 값 중 하나로 설정할 수도 있다. 본 명세서에는 설명의 용이함을 위하여 평균값으로 대표 값을 계산하는 과정에 대해 설명하도록 한다. 도 10b는 도 9의 예시에서 모든 탐색 과정을 마쳤을 때 텍스쳐 매핑에 사용되지 않는 각 화소에서 계산된 유효 화소 값을 나열한 것이고, 도 10c는 각 화소의 대표값을 유효 화소들의 평균값으로 계산한 것이다.

도 11(a) 내지 11(c)은 본 발명의 다른 실시예에 따른 유효 화소 탐색 과정을 예시한 도면이다. 도시된 바와 같이, 텍스쳐 매핑에 사용되지 않는 영역의 모든 화소에 대해 각 화소를 기준으로 가장 가까운 곳에 위치하고 있는 텍스쳐 매핑에 사용되고 있는 유효한 화소들의 값을 탐색함에 있어, 우선 가로방향으로 탐색을 수행한 후 세로방향 탐색을 수행한다.

도 11(b)는 도 11(a)를 가로방향으로 탐색을 수행하였을 경우 텍스쳐 매핑에 사용되지 않은 각 화소에 대한 유효값을 나타낸 것이고, 도11c는 가로방향의 탐색을 수행한 후 세로 방향의 탐색을 수행하였을 경우 텍스쳐 매핑에 사용되지 않은 각 화소에 대한 유효값을 나타낸 것이다. 이 때, 가로 탐색으로 유효 화소가 존재하는 경우에 대해서는 세로 방향으로 추가적으로 탐색하지 않으며, 존재하지 않을 경우에만 추가적으로 세로 탐색을 수행하게 된다.

상기 도면에서는 가로 탐색을 하여 탐색된 가장 가까운 유효 화소에 있어 좌측에 우선 순위를 두고 진행하였지만, 이 외에도 우측에 우선 순위를 두는 방식과 양측의 평균값을 취하는 방식 등 다양한 방식이 존재할 수 있다. 또한, 세로 탐색의 경우에는 가장 가까운 유효 화소에 있어 상측에 우선 순위를 두고 진행하였지 만, 이 외에도 하측에 우선 순위를 두는 방식과 상하측의 평균값을 취하는 방식 등 다양한 방식이 존재할 수 있다.

도 11d는 가로 탐색 후 세로 탐색을 한 후 수집된 유효값을 대표 값으로 설정하고 이를 텍스쳐 매핑에 사용되지 않는 화소의 화소 값으로 설정한 경우의 결과를 보여주고 있다.

도 12는 MPEG-4(Moving Picture Expert Group)-3DGC(3D Graphics Cdoing) 홈페이지에서 제공하는 테스트 모델 중 패치기반 텍스쳐 영상을 갖는 nefert131 모델, vase131b 모델, vase212 모델의 텍스쳐 영상에 대해 전처리 과정을 적용하지 않고 압축을 수행한 경우와 본 발명에 따른 전처리 과정을 적용한 후 압축하였을 경우에 대해 R-D 압축 성능을 측정한 결과를 나타낸다. 실험 결과의 압축 성능은 텍스쳐 매핑에 실제로 사용되지 않는 화소를 제외한 실제로 텍스쳐 매핑에 사용되는 화소에 대해서만 PSNR을 측정하였다. 도시된 바와 같이, 모든 테스트 모델에서 본 발명에 따른 전처리 과정을 적용한 후 압축을 수행하였을 때, 동일한 파일 크기에 대해 2~5dB 정도 압축 성능이 향상된 것을 볼 수 있다.

도 13은 도 12의 객관적 화질 평가 외에 주관적 화질 평가를 측정하기 위해 nefert131 모델과 vase212 모델에 대해 전처리 과정을 적용하지 않고 압축한 영상을 텍스쳐 매핑한 경우와 전처리 과정을 적용한 후 압축한 영상을 텍스쳐 매핑한 경우의 렌더링 결과 영상을 도시한다. 도시된 바와 같이, 모든 모델에서 본 발명에서 제안하는 방식을 적용하였을 경우 개선된 화질을 나타냄을 알 수 있다.

전술한 본 발명은 어느 하나 이상의 제조물에 구현된 하나 이상의 컴퓨터 판독가능 매체로서 제공될 수 있다. 제조물은, 플로피 디스크, 하드 디스크, CD ROM, 플래시 메모리 카드, PROM, RAM, ROM, 또는 자기 테이프를 들 수 있다. 일반적으로, 컴퓨터 판독가능 프로그램은 임의의 프로그래밍 언어로 구현될 수 있다.

이상에서, 특정 실시예와 관련하여 본 발명을 설명하였으나, 본 발명은 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 여러 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

도 1은 VRML 파일 내의 IndexedFaceSet(IFS)으로 표현되는 3차원 메쉬 모델 정보와 텍스쳐 영상간의 관계 및 역할을 나타내는 개념도이다.

도 2a 및 도 2b 각각은 아틀라스형 텍스쳐 영상과 패치기반 텍스쳐 영상의 일 예를 도시한다.

도 3은 본 발명의 바람직한 실시예에 따른 패치기반 텍스쳐 영상의 전처리 장치를 도시한 블록도이다.

도 4는 본 발명의 일실시예에 따른 패치기반 텍스쳐 영상의 전처리 과정을 도시한 흐름도이다.

도 5는 본 발명의 일실시예에 따라 패치기반 텍스쳐 영상을 텍스쳐 매핑에 실제로 사용되는 화소 영역과 사용되지 않는 화소 영역으로 구분하는 과정을 도시한 흐름도이다.

도 6은 도 5에 도시된 과정을 좀 더 세부적으로 도시한 흐름도이다.

도 7은 도 6의 단계(630)와 단계(650)의 실제 예를 보여주는 예시도이다.

도 8은 본 발명의 일실시예에 따라 패치기반 텍스쳐 영상을 텍스쳐 매핑에 사용되는 화소 영역과 사용되지 않는 화소 영역으로 구분한 예를 도시한다.

도 9(a) 내지 9(d)는 본 발명의 일실시예에 따른 미사용 화소에 대한 유효 화소 탐색 과정을 도시한 도면이다.

도 10(a) 내지 10(c)는 도 9의 결과로 얻어진 텍스쳐 매핑에 사용되지 않는 영역의 모든 화소에 대해 각 화소의 유효 화소 값들의 평균값을 대표 값으로 계산하는 과 정을 도시한 예시도이다.

도 11(a) 내지 11(c)은 본 발명의 다른 실시예에 따른 유효 화소 탐색 과정을 예시한 도면이다.

도 12는 MPEG-4-3DGC 홈페이지에서 제공하는 테스트 모델 중 패치기반 텍스쳐 영상을 갖는 nefert131 모델, vase131b 모델, vase212 모델의 텍스쳐 영상에 대해 전처리 과정을 적용하지 않고 압축을 수행한 경우와 본 발명에 따른 전처리 과정을 적용한 후 압축하였을 경우에 대해 R-D 압축 성능을 측정한 결과를 나타낸다.

도 13은 도 12의 객관적 화질 평가 외에 주관적 화질 평가를 측정하기 위해 nefert131 모델과 vase212 모델에 대해 전처리 과정을 적용하지 않고 압축한 영상을 텍스쳐 매핑한 경우와 전처리 과정을 적용한 후 압축한 영상을 텍스쳐 매핑한 경우의 렌더링 결과 영상을 도시한다.

Claims (15)

1. 패치기반 텍스쳐 영상을 텍스쳐 매핑에 사용되는 화소들을 포함하는 사용 화소 영역과 사용되지 않는 화소들을 포함하는 미사용 화소 영역으로 구분하기 위한 화소 영역 분리부와,

   상기 미사용 화소 영역 내의 모든 미사용 화소 각각에 대하여 상기 화소에 근접한 위치에 있는 적어도 하나 이상의 유효 화소를 탐색하고 상기 유효 화소 값으로부터 구해진 대표 값으로 상기 미사용 화소의 값을 설정하기 위한 미사용 화소값 설정부

   를 포함하는 패치기반 텍스쳐 영상의 전처리 장치.
2. 제1항에 있어서, 상기 유효 화소는 상기 사용 화소 영역 내의 화소들과 상기 미사용 화소 영역내의 화소들중에서 근접한 유효 화소의 탐색이 이미 완료된 화소를 포함하는 패치기반 텍스쳐 영상의 전처리 장치.
3. 제1항에 있어서, 상기 화소 영역 분리부는 상기 텍스쳐 영상이 적용될 3차원 메쉬 모델의 텍스쳐 좌표 정보를 이용하여 상기 영역들을 구분하는 패치기반 텍스쳐 영상의 전처리 장치.
4. 제1항에 있어서, 상기 미사용 화소값 설정부는 상기 미사용 화소 영역의 모 든 미사용 화소 각각에 대하여 상기 화소를 기준으로, 상, 하, 좌, 우, 대각선 방향중 적어도 어느 한 방향에서 근접한 위치에 있는 적어도 하나 이상의 상기 유효 화소를 탐색하는 인접 화소 탐색부를 포함하는 패치기반 텍스쳐 영상의 전처리 장치.
5. 제1항에 있어서, 상기 미사용 화소값 설정부는 상기 적어도 하나 이상의 유효 화소 값으로부터 대표 값을 계산하기 위한 대표 값 계산 수단을 포함하고, 상기 대표 값은, 평균값, 최빈수(mode), 중앙값(median), 최소값, 최대값 및 가중 평균 값중 어느 하나이거나, 상기 적어도 하나 이상의 유효한 화소값으로부터 임의로 선택되는 값인 패치기반 텍스쳐 영상의 전처리 장치.
6. 패치기반 텍스쳐 영상의 전처리를 수행하기 위한 방법에 있어서,

   (a) 상기 패치기반 텍스쳐 영상을 텍스쳐 매핑에 사용되는 화소들을 포함하는 사용 화소 영역과 사용되지 않는 화소들을 포함하는 미사용 화소 영역으로 구분하는 단계와,

   (b) 상기 미사용 화소 영역 내의 모든 미사용 화소 각각에 대하여 상기 화소에 근접한 위치에 있는 적어도 하나 이상의 유효 화소를 탐색하는 단계와,

   (c) 상기 미사용 화소 영역 내의 모든 미사용 화소 각각에 대하여 상기 탐색된 적어도 하나 이상의 유효 화소 값으로부터 대표 값을 구하는 단계와,

   (d) 상기 미사용 화소 영역 내의 모든 미사용 화소 각각에 대하여 상기 대표 값을 상기 화소 값으로 설정하는 단계

   를 포함하는 패치기반 텍스쳐 영상의 전처리 방법.
7. 제6항에 있어서, 상기 유효 화소는 상기 사용 화소 영역내의 화소들과 상기 미사용 화소 영역내의 화소들중에서 근접한 유효 화소의 탐색이 이미 완료된 화소를 포함하는 패치기반 텍스쳐 영상의 전처리 방법.
8. 제6항에 있어서, 상기 (a) 단계는 상기 텍스쳐 영상이 적용될 3차원 메쉬 모델의 텍스쳐 좌표 정보를 이용하여 상기 영역들을 구분하는 패치기반 텍스쳐 영상의 전처리 방법.
9. 제6항에 있어서, 상기 (a) 단계는,

   상기 텍스쳐 영상이 적용될 3차원 메쉬 모델의 텍스쳐 좌표 정보를 입력 받는 단계와,

   상기 텍스쳐 영상의 크기를 이용하여 상기 텍스쳐 좌표 정보를 실제 텍스쳐 영상내의 화소 위치 정보로 변환하는 단계와,

   상기 변환된 화소 위치 정보를 이용하여 상기 3차원 메쉬 모델에 사용되고 있는 화소 영역의 위치 정보와 사용되지 않는 화소 영역의 위치 정보를 계산하는 단계

   를 포함하는 패치기반 텍스쳐 영상의 전처리 방법.
10. 제6항에 있어서, 상기 (a) 단계는,

    상기 텍스쳐 영상이 적용될 3차원 메쉬 모델의 텍스쳐 좌표 정보를 입력 받는 단계와,

    상기 3차원 메쉬 모델을 구성하는 모든 면에 대하여 각각의 면 단위로 상기 텍스쳐 좌표 정보를 수집하는 단계와,

    상기 텍스쳐 영상의 크기를 이용하여 상기 텍스쳐 좌표 정보를 상기 텍스쳐 영상내의 화소 위치 정보로 변환하는 단계와,

    상기 변환된 화소 위치 정보를 이용하여 각각의 면을 구성하는 화소들에 대해 상기 면을 구성하는 방식에 따라 상기 화소들을 연결하는 선분을 구하고 상기 선분 상에 존재하는 화소들과 상기 계산된 선분에 의해 에워싸인 영역내에 존재하는 화소들을 상기 사용 화소 영역내의 화소들로서 저장하는 단계와,

    상기 저장된 사용 화소 영역내의 화소들을 제외한 나머지 화소들을 상기 미사용 영역의 화소들로 저장하는 단계

    를 포함하는 패치기반 텍스쳐 영상의 전처리 방법.
11. 제10항에 있어서, 상기 3차원 메쉬 모델을 구성하는 모든 면에 대하여 각각의 면 단위로 상기 텍스쳐 좌표 정보를 수집하는 단계는,

    텍스처 바인딩 방식이 정점 당 바인딩(Per Vertex)인지 모서리 당 바인딩(Per Corner) 방식인지를 판단하는 단계와,

    상기 정점 당 바인딩(Per Vertex) 방식으로 판단된 경우에 coordIndex를 참조하여 상기 텍스쳐 좌표 정보를 각각의 면 단위로 수집하는 단계와,

    상기 모서리 당 바인딩(Per Corner) 방식으로 판단된 경우에 texCoordIndex를 참조하여 상기 텍스쳐 좌표 정보를 각각의 면 단위로 수집하는 단계

    를 포함하는 패치기반 텍스쳐 영상의 전처리 방법.
12. 제6항에 있어서, 상기 (b) 단계는 상기 미사용 화소 영역의 모든 화소 각각에 대하여 상기 화소를 기준으로, 상, 하, 좌, 우, 대각선 방향중 적어도 어느 한 방향에서 근접한 위치에 있는 적어도 하나 이상의 유효 화소를 탐색하는 패치기반 텍스쳐 영상의 전처리 방법.
13. 제6항에 있어서, 상기 (b) 단계는 상기 미사용 화소 영역의 모든 화소 각각에 대하여 상기 화소를 기준으로 가로 방향으로 가장 근접한 위치에 있는 유효 화소를 탐색한 후에 상기 가로 방향에서 유효 화소가 탐색되지 않은 경우에 세로 방향 탐색을 수행하는 패치기반 텍스쳐 영상의 전처리 방법.
14. 제6항에 있어서, 상기 (c) 단계에서 상기 대표 값은, 평균값, 최빈수(mode), 중앙값(median), 최소값, 최대값 및 가중 평균 값중 어느 하나인 패치기반 텍스쳐 영상의 전처리 방법.
15. 제6항에 있어서, 상기 (c) 단계에서 상기 대표 값은 상기 적어도 하나 이상의 유효 화소 값으로부터 임의로 선택되는 패치기반 텍스쳐 영상의 전처리 방법.

Images