KR20030054606A - 3차원 텍스춰 매핑을 위한 부호화/복호화 장치 및 방법 - Google Patents

Abstract

본 발명은 3차원 텍스춰 매핑을 위한 압축에 관한 것으로, 상세하게는 3차원 텍스춰의 압축을 통해 방대한 크기의 3차원 텍스춰 맵의 크기를 실제 사용되는 3차원 텍스춰 블록만을 모아 부호화 하기 때문에 보다 높은 압축효율을 얻을 수 있고, 압축 해제시에 사용되었던 칼라값들을 데이터 캐시에 저장함으로써 랜더링 속도를 향상시킬 수 있는 3차원 텍스춰 매핑을 위한 부호화/복호화 관한 것이다.

본 발명은 랜더링 이미지의 품질의 향상과 보관하는 텍스춰의 압축을 통한 저장용량 감소와 그래픽 하드웨어를 이용한 가속과 원하는 해상도로 복원하며, 데이터 캐싱을 이용한 랜더링 파이프라인 상에서 속도증가를 해결하기 위해 새로운 부호/복호기와 랜더링 파이프 라인을 제시한다. 따라서 속도와 저장용량의 한계와 하드웨어 가속이 불가능하여 사용되기 어려운 3차원 텍스춰를 보다 쉽게 사용할 수 있게 하여 고품질의 랜더링이 가능한 효과가 있다.

Description

3차원 텍스춰 매핑을 위한 부호화/복호화 장치 및 방법 {3D texture mapping pipeline using CellVQ encoder/decoder}

본 발명은 3차원 텍스춰 매핑을 위한 압축에 관한 것으로, 특히 3차원 텍스춰의 압축을 통해 방대한 크기의 3차원 텍스춰 맵의 크기를 실제 사용되는 3차원텍스춰 블록만을 모아 부호화 하기 때문에 보다 높은 압축효율을 얻을 수 있고, 압축 해제시에 사용되었던 칼라 값들을 데이터 캐시에 저장함으로써 랜더링 속도를 향상시킬 수 있는 3차원 텍스춰 매핑을 위한 부호화/복호화 장치 및 방법에 관한 것이다.

일반적으로 텍스춰 매핑은 3차원 모델의 사실적인 랜더링을 위해 가장 널리 쓰이는 기술로써, 삼각형, 사각형 등의 다각형(폴리곤)을 이용하여 구성되는 3차원 다면체 모델을 자세하게 표현하고자 할 때 상당히 많은 개수의 다각형을 사용해야 한다. 보통 3차원 게임이나 가상 환경 응용 분야 등에서 실시간 응용 소프트웨어를 개발할 때에는 효율적인 랜더링을 위하여 무엇보다도 전체 장면에서 사용되는 물체의 다각형 개수를 줄이는 것이 중요하다.

종래의 한국특허 등록번호 0300972호 " 텍스춰 매핑 수행 장치 및 텍스춰 캐시의 데이터 억세스 방법"은 2차원 텍스춰 매핑 수행 장치 및 그 방법에 관한 것으로, 텍스춰 매핑에 사용되는 텍스춰 이미지 데이터에서 실제 어떤 이미지 좌표(u, v) 값이 사용되었는지 저장되는 택 영역과 택 영역의 실제 칼라 데이터를 저장하는 리필 라인 영역, 이전에 이미 읽혀진 이미지 스캔 라인이 다시 사용되었는지를 나타내는 제1, 제 2 유효비트 영역으로 구성된 열(column) 구조 및 행(row) 구조로 이루어진다. 즉 효율적인 텍스춰 매핑을 사용하기 위해 단순히 이미지 평면상에서 가로 세로 어떤 좌표값이 사용되었는지, 그 좌표값의 실제 RGB 칼라값을 저장하는 방법이면서 속도향상을 위해 캐시메모리를 쓰는 것에 관한 것이다.

종래의 한국특허 등록번호 0192779호 " 격자벡터 양자화를 이용한 호환 부호기"는 영상신호를 저해상도 영상신호와 고해상도 영상신호로 나누어 부호화하는 호환 부호화 기술에 관한 것으로, 그 중에서 저해상도와 고행상도의 영상신호의 차를 격자벡터 양자화를 이용하여 부호화하는 부호기에 관한 것이다. 즉, 2차원 영상을 부호화하여 저해상도와 고해상도를 모두 포괄하는 영상부호화에 관한 것이다.

입력 영상인 제 1 프레임에서 저해상도로 서브샘플링을 하여 그것을 TSVQ를 이용해 부호화하여 저해상도와 고해상도로 복호화하는 것으로, 적은 용량의 2차원 영상의 저해상도 고해상도 부호화 복호화 기술이다.

종래의 미국특허 등록번호 6298169호 "Residual vector quantization for texture pattern compression and decompression"은 2차원 텍스춰의 압축과 해제를 위해 둘 혹은 그 이상의 단계의 코드북을 이용해서 모든 텍스춰를 일정한 블록별로 나누어 블록 벡터를 미리 정의한다. 텍스춰 블록의 압축을 위해 얼마만큼 뒤틀렸는지의 정보를 결정하고 그 뒤틀림이 가장 적은 것에 대한 코드북의 원소가 몇번째인지 각 블록과 쌍을 이루어 저장한다. 실제 각 블록의 해제는 필요한 칼라값을 요구할 때에 실시간으로 이루어지고 코드북의 크기는 이미 정해져 있다. 이렇게 텍스춰의 블록이 해당 코드북의 원소로 부호화하는 과정에서 사용된 알고리즘은 RVQ(residual vector quantization)이다. 선행 미국특허는 2차원 텍스춰 압축을 통한 텍스춰 보관 용량을 감소시키게 되는 것이다.

또한, 종래의 미국특허 등록번호 6292194호 "Image compression method to reduce pixel and texture memory requirements in graphics appilications"는 2차원의 영상을 저장하기 위해서 사용하는 압축방법은 대상 텍스춰를 텍스춰블록과 블록이 어떻게 양자화되어 있는가를 알려주는 Qindex로 나누어 관리하는 것이다. 2차원 전체 영상을 압축하여 픽셀/텍스춰 메모리를 효율적으로 사용하여 랜더링이나 전송효율을 좋게 하는 것이다. 압력되는 RGB영상을 YUV 영상으로 변환한 후, 2차원 DCT 변환을 취한 후 양자화하는 것으로, 적은 용량의 2차원 영상의 부호화 복호화 기술에 관한 것이다.

또한, 종래의 선행논문 Computer Graphics 6권 1호, p 373~378 1996.1에 발표한 " Rendering from compressed texture" 는 하드웨어 소프트웨어 랜더링 시스템을 위한 압축된 텍스춰에서부터 직접 칼라값을 가져와 텍스춰 매핑을 하는 방법에 대해 기술한 것이다. 텍스춰는 백터 양자화 방법으로 압축이 된다. 이러한 텍스춰 맵을 압축하기 위한 부호기는 속도보다는 압축성능과 랜덤 액세스시 속도, 복호화 후 이미지의 품질이 보다 중요시 된다. 텍스춰의 LOD(level of detail)을 나타내기 위한 밉맵(mipmap)도 포함하여 한꺼번에 압축을 한다.

선행논문은 VQ 부호기를 이용하여 먼저 텍스춰를 압축하고 랜더링시 압축을 해제하여 텍스춰 매핑을 수행한다. 2차원 텍스춰의 용량감소로 랜더링 시간 효율의 증가를 가져온다.

종래의 텍스춰 압축기법에 대한 특허는 이미 정해진 특정해상도를 기준으로 압축/해제를 실시하며, 2차원 텍스춰 매핑을 위한 2차원 텍스춰가 압축의 대상이였으며 실제 텍스춰에서 사용되는 데이터의 양은 그다지 많지 않음에도 불구하고 모든 데이터를 정해진 블록 크기로 모두 압축하고 속도증가를 위한 데이터 캐시가 없는 비효율적인 문제점이 있다.

이와 같은 방법들은 방법 자체가 크기가 방대한 3차원 텍스춰 매핑에는 적용이 불가능하거나 적용이 어려운 부호/복호기이며 실제로 사용하지 않는 데이터를 모두 저장하거나 정해진 해상도로 랜더링 이미지를 복원하는 방법이여서 랜더링 이미지의 품질이나 이미지 생산 속도 증가에 비효율적인 문제점이 있다.

종래의 3차원 텍스춰 매핑은 2차원 텍스춰 매핑에 비해 훨씬 고품질의 랜더링이 가능하나 랜더링 시간이 오래 걸리며 방대한 데이터 문제로 인해 텍스춰 메모리를 사용하는 하드웨어 가속이 불가능한 문제점이 있다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 랜더링 이미지의 품질의 향상과 보관하는 텍스춰의 압축을 통한 저장용량 감소와 그래픽 하드웨어를 이용한 가속과 원하는 해상도로 복원하며, 데이터 캐싱을 이용한 랜더링 파이프라인 상에서 속도증가를 해결하기 위해 새로운 부호/복호기와 랜더링 파이프 라인을 제시한다.

다각형의 꼭지점 좌표와 3차원 텍스춰 맵을 수신하여 일정 블록으로 나누어 해당 블록이 사용되었는가를 판단하는 이용텍스춰 테이블, 이용텍스춰 테이블에서 사용중인 3차원 텍스춰 블록을 CellVQ를 이용하여 주어진 3차원 텍스춰 블록을 부호화하는 CellVQ 부호화기와 랜더링 실행 중에 작동하는 데이터 캐쉬 탐색부, 주어진 3차원 텍스춰 블록을 복호화 하는 CellVQ 복호화기로 구성되어 3차원 텍스춰 매핑을 위한 부호화/복호화 장치 및 방법을 제공하는 것을 그 목적으로 한다.

도 1은 본 발명의 3차원 텍스춰 매핑을 위한 부호화/복호 장치의 구성도.

도 2는 본 발명에 의한 CellVQ 부호화의 동작 순서도.

도 3은 본 발명에 의한 CellVQ 복호화의 동작 순서도.

<도면의 부호에 대한 설명>

10 : 3차원 텍스춰 맵 및 다각형 좌표부

11 : 이용 텍스춰 테이블부 12 : CellVQ 부호화부

13 : 데이터 캐쉬 탐색부 14 : CellVQ 복호화부

상술한 목적을 달성하기 위한 본 발명은 다수 개의 3차원 텍스춰 블럭을 수신하면 이용텍스춰 테이블부를 검색하여 사용여부를 판단하는 단계, 이용텍스춰 테이블부에 없으면 폐기하는 단계, 이용텍스춰 테이블부에 있으면 CellVQ를 이용하여 가장 가까운 코드벡터를 찾는 단계, 코드벡터로 3차원 텍스춰 블럭에 대한 코드북을 만들고 코드북의 인덱스를 만드는 단계를 포함한다.

또한, 본 발명은 3차원 텍스춰 블록이 전체 이미지에서 해당하는 이미지 블록을 찾는 단계, 이미지블록과 가장 가까운 코드벡터를 코드북에서 찾는 단계, 코드북에 저장되어 있는 인덱스에 해당하는 블록을 참조하여 칼라값을 복원하는 단계를 포함한다.

또한, 본 발명은 다각형의 꼭지점 좌표와 3차원 텍스춰 맵의 자료값을 수신하여 3차원 텍스춰 맵을 일정 3차원 블럭으로 나누어 3차원 블록이 사용되었는 가의 여부를 판단하는 이용텍스춰 테이블부, 3차원 블럭을 부호화하는 CellVQ 부호화기, CellVQ 부호화기에서 부호화된 3차원 블럭을 저장, 제공하는 데이터 캐쉬 탐색부, 데이터 캐쉬 탐색부에 저장된 3차원 블럭을 복호화하는 CellVQ 복호화기를 포함한다.

이하, 본 발명의 실시 예를 첨부한 도면을 참조하여 상세히 설명한다.

3차원 텍스춰 매핑이 있으나 아직 널리 사용되지 않는 이유는 이미지 크기의 용량 때문이다. 보통 압축하지 않은 이미지의 크기는 256*256*256 크기의 이미지를 에로 들면 48MB이다. 이러한 큰 데이터는 하나의 이미지라도 비디오 메모리에 올릴수가 없기 때문에 사용하기 어렵다.

본 발명의 CellVQ 부호화기/복호화기는 3차원 텍스춰를 압축하여 사용하는 것이다. 일반적인 JPEG 랜덤액세스로 이미지를 풀 수 없다. 즉, 이미지에서 임의의 좌표에 대한 칼라 값을 빠른 시간에 구할 수 없고 이미지의 칼라 값을 알아내기 위해 이미지의 압축 전체를 풀어야 하는 단점이 있다. 그러나 본 발명의 CellVQ 부호화기/복호화기는 이미지의 원하는 곳의 부호화와 복호화를 빠른 시간안에 해결할 수 있는 것이다.

도 1은 본 발명의 CellVQ 부호화기와 복호화기 장치의 개략적인 구성도이다.

실행시기 이전에 주어진 다각형의 꼭지점 좌표와 3차원 텍스춰 맵을 수신하여 일정 블록으로 나누어 해당 블록이 사용되었는가를 판단하는 이용텍스춰 테이블(Used Texture Table)(11), 이용텍스춰 테이블(11)에서 사용중인 3차원 텍스춰 블록을 CellVQ를 이용하여 주어진 3차원 텍스춰 블록을 부호화하는 CellVQ 부호화기(12)와 랜더링 실행 중에 작동하는 데이터캐쉬 탐색부(Data Cache)(13), 주어진 3차원 텍스춰 블록을 복호화 하는 CellVQ 복호화기(14)로 구성된다.

먼저 랜더링 파이프 라인 상에서 실행시간 전에 입력으로 들어오는 다각형의 꼭지점 좌표(Polygonal Vertices)와 3차원 텍스춰 맵의 자료값을 이용하여 주어진 3차원 텍스춰 블록이 실제로 사용되는 블록이면 이용텍스춰 테이블(11)에 등록을 한다.

전체 3차원 텍스춰 맵을 탐색하면 임의의 텍스춰 블록을 실제로 사용하는 지의 여부를 알 수 있다. 즉, 전체 3차원 텍스춰 맵을 탐색하여 사용되는 블록이면이용텍스춰 테이블(11)에 등록을 하는 것이다. 사용되지 않는 블록이면 등록을 하지 않는다. 한편, 이용텍스춰 테이블(11)의 작성이 끝나면 CellVQ 부호화기(12)에서는 텍스춰 블록의 부호화를 실행한다. 부호화를 실행한 코드북과 인덱스는 데이터 캐쉬 탐색부(13)에 저장되며, 사용자가 랜더링한 이미지를 확인할 때에는 3차원 텍스춰 블록에 해당하는 하나의 묶음으로 저장된 데이터 캐쉬 탐색부(13)에서 코드북의 인덱스를 읽어와서 해당 3차원 텍스춰 블록의 칼라 값을 복원하는 것이다.

한편, 도 2는 본 발명의 CellVQ 부호화기의 동작 순서도이다.

부호화할 다수개의 3차원 텍스춰 블록을 수신하면 3차원 블록이 실제로 사용되어 등록되었는 지를 이용텍스춰 테이블(11)을 검색한다.(스텝 S20, S21).

이용텍스춰 테이블(11)에 등록되어 있는 않은 해당 3차원 텍스춰블록을 폐기하며, 이용텍스춰 테이블(11)에 등록되어 있으면 CellVQ를 이용하여 가장 가까운 코드-벡터를 찾는다(스텝 S22).

코드-벡터를 이용하여 해당 3차원 텍스춰 블록의 코드북을 만들고, 코드북의 인덱스를 만드는 것이다(스텝 S23).

코드북은 부호화를 의미하며, 인덱스는 해당 3차원 텍스춰 블록을 압축한 것을 하나의 대표값으로 설정을 한 것이다. 한편, 3차원 텍스춰 블록의 크기는 사용빈도에 따라 가변될 수 있다.

도 3은 본 발명의 CellVQ 복호화기의 동작 순서도이다.

복호화의 순서는 입력되는 텍스춰 좌표값으로부터 어떤 텍스춰의 집합을 원하는 지를 알아내는 과정을 수행한다. CellVQ에서 코드북을 생성한다는 의미는 예를 들어 48비트로 3차원 텍스춰 블록의 크기를 정했다면 각각의 48비트를 하나의 묶음으로 어떤 대표값을 나타낼 수 있는 가에 대한 인덱스를 부여했다는 이미이다.

CellVQ 부호화기는 텍스춰 매핑을 수행하기 위한 텍스춰 좌표가 어떤 3차원 이미지 블록에 해당하는지를 검사를 한다(스텝 S30).

해당하는 이미지 블록과 가장 가까운 코드 벡터를 코드북에서 찾는다(스텝 S31).

코드북에 저장되어 있는 인덱스에 해당하는 블록을 참조하여 3차원 텍스춰 블록의 칼라값을 복원하는 것이다(스텝 S32).

상술한 바와 같이, 본 발명의 CellVQ 부호화기와 복호화기는 3차원 텍스춰 매핑을 위해서 사용되는 3차원 텍스춰 맵 중에서 실제 사용되는 텍스춰 블록 만을 선택적으로 압축하는 선택적압축 수단과 다중해상도와 사용빈도에 따라 가변적인 코드북의 크기를 가지는 CellVQ를 이용한 3차원 텍스춰 매핑 부보화기와 복호화기이다.

한편, CellVQ의 작동방법은 임의의 3차원 텍스춰 블록이 n개의 영상점으로 구성이 되어있다면 RGBA의 칼라좌표상 R⁴공간 상에서 모두 4n개의 벡터로 텍스춰 블록을 나타낼 수 있는데 CellVQ 부호화부는 이것을 하나의 CellVQ 코드북(Codebook)의 원소로 치환하는 역할을 수행한다. 즉 다음과 같은 정의가 가능하다.

코드북을 만들기 위해 사용되는 재생산 벡터 x'과 입력되는 텍스춰 블록을 나타내는 입력벡터 x와의 차이를 나타내는 d(x, x')을 왜곡도라 하는데 이러한 왜곡도는 최근접점 양자기를 사용했다.

CellVQ의 특징은 실제로 부호화할 때 잦은 빈도로 사용되는 코드북의 벡터에 대한 탐색속도가 사용 빈도가 떨어지는 코드북의 벡터에 대한 탐색속도가 보다 빠르도록 성능개선을 한 것과 여러 해상도로 3차원 텍스춰를 저장하는 것을 함께 고려한 것이다.

사용빈도와 다중해상도를 위해 고안한 것은 사용빈도를 나타내는 이용텍스춰 테이블(11)을 참조하여 빈도를 확률분포를 측정하는 방법을 사용했으며 측정된 빈도에 따라 코드북의 크기를 가변적으로 하였다. 코드북을 구성하는 방법은 2진 선택트리를 사용하였는데 왜곡도 d(x, x')를 최소화하는 코드북의 원소를 찾고 왜곡도를 현재 노드에 기준으로 하여 넓혀나간다.

상술한 바와 같이, 본 발명은 3차원 텍스춰 매핑에 소요되는 랜더링 시간과 텍스춰의 용량문제를 해결하여 그래픽 보드 상의 텍스춰 메모리를 이용한 고속 랜더링에 적합하도록 하는 그래픽 파이프 라인 설계와 고효율의 새로운 부호화기와 복호화기를 제공하는 것이다.

이상과 같이, 본 발명은 3차원 텍스춰의 압축을 통해 방대한 크기의 3차원 텍스춰 맵의 크기를 실제 사용되는 3차원 텍스춰 블록만을 모아 부호화 하기 때문에 보다 높은 압축효율을 얻을 수 있고, 압축 해제시에 사용되었던 칼라값들을 데이터 캐시에 저장함으로써 랜더링 속도를 향상시킬 수 있다.

따라서 속도와 저장용량의 한계와 하드웨어 가속이 불가능하여 사용되기 어려운 3차원 텍스춰를 보다 쉽게 사용할 수 있게 하여 고품질의 랜더링이 가능한 효과가 있다.

Claims (6)

1. 다수 개의 3차원 텍스춰 블럭을 수신하면 이용텍스춰 테이블부를 검색하여 사용여부를 판단하는 단계;

   상기 이용텍스춰 테이블부에 없으면 폐기하는 단계;

   상기 이용텍스춰 테이블부에 있으면 CellVQ를 이용하여 가장 가까운 코드벡터를 찾는 단계;

   상기 코드벡터로 상기 3차원 텍스춰 블럭에 대한 코드북을 만들고 상기 코드북의 인덱스를 만드는 단계;를 포함하는 것을 특징으로 하는 3차원 텍스춰 매핑을 위한 부호화 방법.
2. 제 1항에 있어서,

   상기 이용텍스춰 테이블부에 상기 다수 개의 3차원 텍스춰 블록을 확인하는 단계는, 상기 다수 개의 3차원 텍스춰 블록이 실제로 사용되지 않으면 폐기하고, 실제로 사용되는 상기 3차원 텍스춰 블록만을 체크하는 것을 특징으로 하는 3차원 텍스춰 매핑을 위한 부호화 방법.
3. 3차원 텍스춰 블록이 전체 이미지에서 해당하는 이미지 블록을 찾는 단계;

   상기 이미지블록과 가장 가까운 코드벡터를 코드북에서 찾는 단계;

   상기 코드북에 저장되어 있는 인덱스에 해당하는 블록을 참조하여 칼라값을 복원하는 단계;를 포함하는 것을 특징으로 하는 3차원 텍스춰 매핑을 위한 복호화 방법.
4. 제 1항 또는 제 2항에 있어서,

   상기 3차원 텍스춰 블록은 사용빈도에 따라 크기가 가변적인 것을 특징으로 하는 3차원 텍스춰 매핑을 위한 부호화 방법.
5. 다각형의 꼭지점 좌표와 3차원 텍스춰 맵의 자료값을 수신하여 상기 3차원 텍스춰 맵을 일정 3차원 블럭으로 나누어 상기 3차원 블록이 사용되었는 가의 여부를 판단하는 이용텍스춰 테이블부;

   상기 3차원 블럭을 부호화하는 CellVQ 부호화부;

   상기 CellVQ 부호화기에서 부호화된 상기 3차원 블럭을 저장, 제공하는 데이터 캐쉬 탐색부;

   상기 데이터 캐쉬 탐색부에 저장된 상기 3차원 블럭을 복호화하는 CellVQ 복호화부; 를 포함하는 것을 특징으로 하는 3차원 텍스춰 매핑을 위한 부호화/복호화 장치.
6. 제 3항에 있어서,

   상기 사용텍스춰 테이블부는 사용빈도에 따라 코드북의 크기가 가변적인 것을 특징으로 하는 3차원 텍스춰 매핑을 위한 부호화/복호화 장치.