KR100400608B1 - 골격화를 이용한 3차원 체적소의 부호화 방법 - Google Patents

Abstract

본 발명은 체적소로 이루어진 3차원 데이터를 효율적으로 압축하기 위한 부호화 방법에 관한 것이다. 본 발명의 방법은 체적소 데이터를 계층별로 계층 구조를 갖는 골격으로 골격화하는 단계와, 대칭 구조를 가지는 구조화 요소를 사용하여 골격화로 표현된 체적소 중에서 같은 반지름을 갖는 골격화 점의 반지름 정보를 예측하는 단계와, 구조화 요소를 사용하여 골격화로 표현된 체적소 중에서 복원된 영상과 연결된 골격화 점의 반지름 정보를 예측하는 단계와, 골격화로 표현된 체적소 중에서 반지름 정보가 예측된 점들을 제외한 이외의 점들의 반지름 정보와 위치 정보를 헤더 정보로 부호화하는 단계와, 반지름 정보가 예측된 점들에 대한 위치 정보를 소정의 스캔 순서를 사용하여 부호화하는 단계와, 부호화 단계들을 통하여 생성된 비트 스트림을 산술 부호화하는 단계를 포함한다.

본 발명의 부호화 방법은 골격화 표현을 통해 영상을 표현하는데 필요한 체적소의 개수를 줄여 부호화 효율을 높이며, 반지름 정보 예측 기법을 사용하여 부가 정보의 증가를 막고, 산술 부호화를 적용하여 효율적인 부호화가 가능한 이점이 있다.

Description

골격화를 이용한 3차원 체적소의 부호화 방법{ENCODING METHOD FOR 3-DIMENSIONAL VOXEL MODEL BY USING SKELETONS}

본 발명은 체적소로 이루어진 3차원 데이터를 효율적으로 압축하기 위한 부호화 방법에 관한 것이다.

현재 인터넷(Internet)을 비롯한 통신망의 급격한 발달은 음성, 영상 등과 같은 각종 멀티미디어 정보에 대한 전달을 손쉽게 이루어지게 한다. 최근 컴퓨터그래픽스의 랜더링(Rendering) 기술의 발전으로 인해서, 2차원적인 영상 뿐 아니라 통신망을 통한 대상물의 3차원 정보 전달에 대한 관심과 수요가 폭발적으로 증대되고 있는 추세이다.

그러나, 물체의 3차원 정보는 그 정보량이 너무 방대하여 전송하거나 저장하는데 큰 어려움이 따르게 된다. 예를 들어, 34,835개의 꼭지점과 69,473개의 삼각형 면을 가진 메쉬(mesh) 모델 정보를 전송할 때 압축하지 않을 경우에는 약 2.36Mbyte의 비트량이 필요하며, 이러한 메쉬 모델을 가로, 세로, 높이가 각각 512의 해상도로 스캔 컨버젼한 체적소 모델은 압축하지 않을 경우 각 체적소당 1 비트씩 할당되어, 전체적으로 약 16.8 Mbytes가 요구된다. 따라서, 이러한 3차원 물체를 효과적으로 압축해서 전송하는 것은 필수적이다.

3차원 데이터는 표현하는 구조에 따라 크게 두 가지로 나뉠 수 있다. 하나는 삼각형 메쉬를 단위로 하는 면(surface) 구조이고, 다른 하나는 체적소(voxel)를 단 위로 하는 부피(volume) 구조이다. 컴퓨터 그래픽스 분야에서는 지금까지 면 구조를 기반으로 하는 3차원 표현이 많이 연구되어 왔는데 비하여 부피 구조를 기반으로 하고 있는 볼륨 그래픽스(volume graphics)는 내부 정보를 포함하고 있는 의료 영상과 같은 특정한 분야에 응용되어 왔다.

최근 볼륨 그래픽스의 랜더링 기술의 발달과 함께 일반적인 3차원 물체에 대해서도 응용 영역이 급속도로 확장되고 있는 추세이다. 특히, 부피 구조를 기반으로 하고 있는 표현 방법은 내부 정보를 포함할 수 있을 뿐만 아니라, 체적소 구조가 삼각형 메쉬와는 달리 격자 구조를 가지고 있다는 성질 때문에 기존의 신호처리분야에서 이용되고 있는 많은 기술들을 쉽게 적용시킬 수 있다는 장점을 지니고 있다. 또한, 컴퓨터 하드웨어의 발달과 메모리의 증가로 인해 볼륨 그래픽스의 기술적인 단점이 되었던 빠른 랜더링과 그래픽적인 처리에 대한 문제가 해결됨에 따라 실제로 많은 분야에서 응용되고 있다.

이러한 볼륨 그래픽스는 육면 체적 원소인 체적소의 삼차원 배열로 표현한다. 체적소는 이차원 래스터 그래픽스에서 픽셀에 대응하는 삼차원에서 대응하는 것이다. 각 체적소는 "0" 또는 "1" 값을 갖는다. "1" 값을 갖는 복셀은 검은 체적소라 불리고, 불투명한 물체를 나타낸다. 그리고 "0" 체적소는 흰 체적소라 불리고 투명한 배경을 나타낸다. 체적소를 이용한 삼차원 데이터의 표현 방법이 메쉬를 이용한 표현 방법에 비해 다양한 장점을 지니고 있다. 특히, 삼차원 데이터를 체적소 표현 방법으로 표현할 경우 데이터 구조가 매우 단순해지고 규칙적이 된다.

따라서, 지금까지 연구된 신호처리 기술을 이용해 쉽게 데이터를 처리할 수 있게 된다. 메쉬로 삼차원 데이터를 표현 할 경우 물체의 복잡도에 따라 데이터량의 차이가 매우 심해진다. 하지만 체적소로 삼차원 데이터를 표현할 경우 데이터를 저장하는 저장 용량이 미리 정해져 물체가 이에 맞게 변환되므로 데이터량의 물체의 복잡도에 거의 영향을 받지 않는다. 하지만 삼차원 데이터를 체적소로 표현할 경우 메쉬를 이용한 것 보다 필요한 데이터량이 매우 많아진다.

그러나, 지금까지 메쉬로 표현된 삼차원 데이터의 압축 기법에 대한 연구에 비해 체적소로 표현된 삼차원 데이터의 압축 기법에 대한 연구는 거의 이루어지지 않고 있다. 최근에 3차원 데이터는 가상 현실(virtual reality), CAD, 오락, 의료영상 등 다양한 분야에서 사용되고 있다. 그러나 일반적으로 그 양이 매우 방대해서 제한된 대역폭을 통한 전송이나 저장이 어렵다. 따라서 높은 압축 성능을 나타내는 효율적인 부호화 방법의 개발이 절실한 요구 과제로 부각되었다.

본 발명은 이와 같은 종래의 요구 과제를 해결하기 위한 연구 개발의 한 결과물로서, 그 목적하는 바는 골격화(SKELETON) 표현을 통해 영상을 표현하는데 필요한 체적소의 개수를 줄여 부호화 효율을 높이는 데 있다.

이와 같은 목적을 실현하기 위한 본 발명은, 골격화으로 표현된 체적소 중 같은 반지름을 갖는 체적소들 간의 반지름 정보를 예측하기 위해 대칭 구조를 가지는 구조화 요소를 사용하고, 반지름이 다른 점들의 반지름 정보를 예측하기 위해 새로운 스캔 순서를 사용하며, 엔트로피 부호화로 산술 부호화(arithmetic coding) 기법을 사용하는 것을 특징으로 한다.

즉, 본 발명은 체적소로 이루어진 3차원 데이터를 압축하기 위한 부호화 방법에 있어서, 상기 체적소 데이터를 계층별로 계층 구조를 갖는 골격으로 골격화하는 단계와, 대칭 구조를 가지는 구조화 요소를 사용하여 상기 골격화로 표현된 체적소 중에서 같은 반지름을 갖는 골격화 점의 반지름 정보를 예측하는 단계와, 상기 구조화 요소를 사용하여 상기 골격화로 표현된 체적소 중에서 복원된 영상과 연결된 골격화 점의 반지름 정보를 예측하는 단계와, 상기 골격화로 표현된 체적소 중에서 상기 반지름 정보가 예측된 점들을 제외한 이외의 점들의 반지름 정보와 위치 정보를 헤더 정보로 부호화하는 단계와, 상기 반지름 정보가 예측된 점들에 대한 위치 정보를 소정의 스캔 순서를 사용하여 부호화하는 단계와, 상기 부호화 단계들을 통하여 생성된 비트 스트림을 산술 부호화하는 단계를 포함한다.

도 1은 본 발명에 따른 골격화를 이용한 3차원 체적소의 부호화 방법을 구현하는데 적합한 블록 구성도,

도 2는 본 발명에 따른 골격화를 이용한 3차원 체적소의 부호화 방법을 설명하기 위한 흐름도,

도 3a 및 도 3b는 본 발명에 따른 골격화 표현을 예시한 도면.

<도면의 주요 부분에 대한 부호의 설명>

102 : 체적소화 블록 104 : 골격화 블록

106 : 비트 스트림 생성 블록 108 : 산술 부호화 블록

본 발명의 실시예로는 다수개가 존재할 수 있으며, 이하에서는 첨부한 도면을 참조하여 바람직한 실시예에 대하여 상세히 설명하기로 한다. 이 실시예를 통해 본 발명의 목적, 특징 및 이점들을 보다 잘 이해할 수 있게 된다.

도 1을 참조하면, 본 발명에 따른 골격화를 이용한 3차원 체적소의 부호화 방법을 구현하는데 적합한 블록 구성도가 도시된다. 본 발명의 시스템은 체적소화 블록(102), 골격화 블록(104), 비트 스트림 생성 블록(106) 및 산술 부호화 블록(108)을 포함한다.

체적소화 블록(102)은 삼각형 메쉬로 표현된 3차원 물체의 영상을 2차원 영상의 픽셀에 대응하는 체적소(voxel)의 형태로 표현하는 수단으로, 이러한 체적소화 과정은 크게 두 단계로 이루어진다. 첫 번째는 삼각형 메쉬로 표현된 3차원 물체 영상을 체적소로 표현하는 과정이고, 두 번째는 첫 번째 단계의 결과를 바탕으로 수학적 형태학의 영역 메우기 알고리즘을 적용하여 3차원 물체 영상의 내부를 메우는 과정이다.

골격화 블록(104)은 체적소화와 영역 메우기가 완료된 3차원 물체 영상에 대하여 반복적으로 하기 수학식 1을 이용하여 계층 구조의 골격(skeleton)을 표현하는 과정을 수행한다.

여기서, S_k는 골격이고, M은 체적소로 표현된 3차원 영상이고, k는 계층이고, B는 수학적 형태학의 연산을 위한 구조 요소이다.,는 각각 수학적 형태학의 연산으로, 각각 수축과 열기 연산을 의미한다.

즉, 골격화 블록(104)에 의해 수행되는 골격화는 원래의 물체 영상에서 중요하지 않은 부분을 없애준다면 결과적으로 물체의 중요한 부분의 골격만을 표현할 수 있다는 수학적 형태학을 의미하는 것으로, 골격화 점과 그 점의 반지름 정보를 이용해 영상을 표현하는 방법이다. 도 3a는 2차원 영상의 예시도이며, 도 3b는 도 3a를 골격화 표현한 예시도이다.

비트 스트림 생성 블록(106)은 대칭 구조를 가지는 구조화 요소를 사용하여 골격화로 표현된 체적소 중에서 같은 반지름을 갖는 골격화 점의 반지름 정보를 예측 및 복원된 영상과 연결된 골격화 점의 반지름 정보를 예측하며, 반지름 정보가 예측된 점들을 제외한 이외의 점들의 반지름 정보와 위치 정보를 헤더 정보로 부호화하고, 반지름 정보가 예측된 점들에 대한 위치 정보를 소정의 스캔 순서를 사용하여 부호화한다.

산술 부호화 블록(108)은 비트 스트림 생성 블록(106)에 의하여 생성된 비트 스트림을 산술 부호화(Arithmetic coder)를 이용하여 부호화한다.

3차원 영상 데이터베이스(109)는 산술 부호화 블록(108)을 통하여 부호화된3차원 영상 데이터를 저장한다.

이하, 상기와 같이 구성된 본 발명 시스템을 통하여 구현되는 골격화를 이용한 3차원 체적소의 부호화 과정을 도 2를 참조하여 설명하기로 한다.

골격화 표현된 영상은 골격화 점의 위치와 반지름 정보만으로 영상의 완벽한 복원이 가능하다.

또한, 골격화 점은 생성한 구조화 요소 B에 의해 다음의 수학식 2가 성립하는 경우에 연결되었다고 한다.

이렇게 연결된 골격화 점의 반지름은 모두 같다. 따라서 골격화 점의 반지름 정보를 연결된 점들로부터 예측한다. 즉 골격화로 표현된 체적소 중에서 같은 반지름을 갖는 골격화 점의 반지름 정보를 예측한다.

한편, 반지름 n까지 복원된 영상을 Xn이라 하면와 구조화 요소 B에 의해서 연결된 모든 골격화 점은 반지름 n-1을 갖는다. 여기서 골격화로 표현된 체적소 중 복원된 영상과 연결된 골격화 점의 반지름 정보를 예측한다.

그리고, 골격화 점들 중 다른 골격화 점으로부터 반지름을 알 수 없는 골격화 점들의 반지름과 좌표를 헤더 정보로 부호화한다. 즉 골격화로 표현된 체적소 중에서 반지름 정보가 예측된 점들을 제외한 이외의 점들의 반지름 정보와 위치 정보를 헤더 정보로 부호화한다.

다음으로, 반지름 정보가 예측된 점들에 대한 위치 정보를 소정의 스캔 순서를 사용하여 부호화하는데, 이를 도 2의 흐름도에 나타내었다.

먼저, 반지름이 가장 큰 점 중 헤더 정보에 포함된 점을 시작점으로 하여 부호화를 시작한다. 여기서 헤더 정보에 포함된 점 중 반지름이 가장 큰 점을 P_header라 하고, 현재 부호화하고 있는 점을 z라 하며, 부호화 과정에서 처음 나온 골격화 점을 P_start라고 하고, 부호화하고자 하는 최소 반지름을 n이라 하며, 최대 반지름을 N이라 하고, 부호화한 골격화 점을 S_N이라 한다.

초기조건 "P_header= P_start, n = N"으로 부호화를 시작하여 P_start와 구조화 요소 B에 의해 연결된 점을 정해진 순서에 따라 검색한다. 여기서 정해진 순서라 함은 부호기와 복호기 사이에 정해진 순서를 의미한다. 이 때 이전에 검사한 점인 경우는 검사하지 않는다(S201∼S203).

현재의 부호화 점 z가 골격화 점이 아닌 경우에는 그 점을 "0"으로 부호화하며, 다음 점을 z로 하고 단계 S203으로 이동한다(S205∼S209).

현재의 부호화 점 z가 골격화 점인 경우에는 "1"로 부호화하며, P_start= z로 하고 단계 S203으로 이동한다. 이는 P_start와 연결된 모든 점에 대한 부호화가 끝날 때까지 반복한다(S205∼S215).

아울러, 단계 S203 내지 단계 S215의 과정은 P_header와 연결된 모든 점의 부호화가 끝날 때까지 반복함과 아울러 n = N인 헤더정보에 포함된 모든 점에 대해서수행하며, 이 점을 P_header로 한다(S217).

다음으로, N≠0이면 N←N-1의 조건, 즉 반지름이 다음으로 큰 점의 부호화를 시작하며,를 수행한다(S219∼S221).

여기서,와 연결된 모든 점과 헤더정보에 포함된 반지름이 N인 모든 점에 대해서 단계 S205 내지 단계 S217의 과정을 반복하며, 검사를 시작하는 점을 P_header로 한다(S223).

N = 0 이면 부호화를 마감하며, 전술한 부호화 과정을 통하여 생성된 비트 스트림을 산술 부호화를 이용하여 부호화를 한다. 여기서 "1"에 비해 "0"이 많으므로 좋은 부호화 효율을 나타날 것이 자명하다(S219∼S225).

복호화 과정도 전술한 부호화 과정과 같이 동일하게 이루어진다.

전술한 바와 같이 본 발명은 골격화 표현을 통해 영상을 표현하는데 필요한 체적소의 개수를 줄여 부호화 효율을 높이며, 반지름 정보 예측 기법을 사용하여 부가 정보의 증가를 막고, 산술 부호화를 적용하여 효율적인 부호화가 가능한 효과가 있다.

이러한 본 발명은 체적소로 이루어진 3차원 데이터의 저장 및 전송을 효율적으로 수행함으로써 다양한 3차원 데이터의 응용 분야에 널리 쓰일 수 있다.

Claims (2)

1. 체적소로 이루어진 3차원 데이터를 압축하기 위한 부호화 방법에 있어서:

   상기 체적소 데이터를 계층별로 계층 구조를 갖는 골격으로 골격화하는 제 1 단계;

   대칭 구조를 가지는 구조화 요소를 사용하여 상기 골격화로 표현된 체적소 중에서 같은 반지름을 갖는 골격화 점의 반지름 정보를 예측하는 제 2 단계;

   상기 구조화 요소를 사용하여 상기 골격화로 표현된 체적소 중에서 복원된 영상과 연결된 골격화 점의 반지름 정보를 예측하는 제 3 단계;

   상기 골격화로 표현된 체적소 중에서 상기 반지름 정보가 예측된 점들을 제외한 이외의 점들의 반지름 정보와 위치 정보를 헤더 정보로 부호화하는 제 4 단계;

   상기 반지름 정보가 예측된 점들에 대한 위치 정보를 소정의 스캔 순서를 사용하여 부호화하는 제 5 단계; 및

   상기 부호화 단계들을 통하여 생성된 비트 스트림을 산술 부호화하는 제 6 단계를 포함하는 골격화를 이용한 3차원 체적소의 부호화 방법.
2. 제 1 항에 있어서,

   상기 제 5 단계는,

   상기 반지름 정보가 예측된 점들에서 헤더 정보에 포함된 점 중 반지름이 가장 큰 점을 P_header라 하고, 현재 부호화하고 있는 점을 z라 하며, 부호화 과정에서 처음 나온 골격화 점을 P_start라고 하고, 부호화하고자 하는 최소 반지름을 n이라 하며, 최대 반지름을 N이라 하고, 부호화한 골격화 점을 S_N이라 할 때에,

   초기조건 "P_header= P_start, n = N"으로 부호화를 시작하여 P_start와 구조화 요소 B에 의해 연결된 점을 소정의 순서에 따라 검색하는 제 51 단계;

   부호화 점 z가 골격화 점이 아닌 경우에는 그 점을 "0"으로 부호화하는 과정 및 상기 부호화 점 z가 골격화 점인 경우에는 "1"로 부호화하는 과정을 P_start와 연결된 모든 점에 대한 부호화가 끝날 때까지 반복하는 제 52 단계;

   상기 제 51 및 52 단계를 P_header와 연결된 모든 점의 부호화가 끝날 때까지 반복함과 아울러 n = N인 헤더정보에 포함된 모든 점에 대해서 수행하는 제 53 단계;

   상기 제 53 단계의 수행 이후에 N≠0이면 반지름이 다음으로 큰 점의 부호화를 시작하며,를 수행하는 제 54 단계;

   상기와 연결된 모든 점과 헤더정보에 포함된 반지름이 N인 모든 점에 대해서 상기 제 52 및 53 단계를 반복하는 제 55 단계; 및

   상기 제 53 단계의 수행 이후에 N = 0 이면 부호화를 마감하며, 상기의 부호화 과정을 통하여 생성된 비트 스트림을 산술 부호화를 이용하여 부호화하는 제 56 단계를 포함하는 골격화를 이용한 3차원 체적소의 부호화 방법.