KR101268508B1

KR101268508B1 - 스티칭 정보를 포함하는 3차원 메쉬 정보부호화/복호화 방법 및 장치

Info

Publication number: KR101268508B1
Application number: KR1020070003386A
Authority: KR
Inventors: 장은영; 허남호; 김진웅; 이수인; 장의선; 이신욱; 전재범
Original assignee: 한양대학교 산학협력단; 한국전자통신연구원
Priority date: 2007-01-11
Filing date: 2007-01-11
Publication date: 2013-06-05
Also published as: KR20080066216A

Abstract

본 발명은 3차원 메쉬 모델에 대한 3차원 메쉬 정보의 부호화 과정에서 주어진 3차원 메쉬 모델이 비다양체(Non-Manifold) 모델이거나 비정향적(Non-Orientable) 모델일 경우 이를 다양체이면서 정향적인(Orientable-Manifold) 모델로 변환하는 과정에 발생하는 스티칭(stitching) 정보의 부호화 및 복호화에 관한 것이다.

본 발명에 따른 3차원 메쉬 정보의 부호화 방법은, 3차원 메쉬 정보를 부호화하여 부호화된 비트스트림(encoded bit stream)을 출력하는 단계와, 상기 3차원 메쉬 정보에 포함되는 요소의 스티칭 정보 - 상기 스티칭 정보는 복제된 근원 요소의 총 개수와, 상기 복제된 근원 요소 각각에 대한 복제 회수, 근원 요소 식별 정보 및 복제 요소 식별 정보를 포함함-를 부호화하는 단계와, 상기 비트스트림에 대한 패킷을 생성하되 상기 부호화된 스티칭 정보를 상기 패킷내에 삽입하는 단계를 포함한다.

3차원 메쉬 정보, 부호화, 복호화, 스티칭 정보

Description

스티칭 정보를 포함하는 3차원 메쉬 정보 부호화/복호화 방법 및 장치{Method and apparatus for encoding/decoding 3D mesh information including stitching information}

도 1a 및 도 1b 각각은 종래의 3DMC에 따른 부호화 장치 및 복호화 장치의 구성을 개념적으로 도시한다.

도 2a 및 2b는 3차원 메쉬 모델이 비다양체 모델이거나 비정향적 모델인 경우에 이를 2개의 다양체이면서 정향적인 모델로 변환하면서 정점이 복제되어 추가되는 일 예를 도시한다.

도 3a 및 3b 각각은 본 발명이 적용되는 3DMC 부호화 장치(310) 및 3DMC 복호화 장치(320)를 개략적으로 도시한 블록도이다.

도 4는 본 발명의 일실시예에 따른 3차원 메쉬 정보 부호화 과정을 도시한 흐름도이다.

도 5는 본 발명의 일실시예에 따른 3차원 메쉬 정보 복호화 과정을 도시한 흐름도이다.

도 6는 본 발명의 일실시예에 따라 스티칭 정보를 부호화하는 과정을 도시한 흐름도이다.

도 7은 본 발명의 일실시예에 따라 스티칭 정보를 복호화하는 과정을 도시 한 흐름도이다.

도 8은 본 발명에 따라 정점/면 스티칭 정보가 추가된 3DMC 패킷 구조의 일예를 도시한다.

도 9a 및 9b는 본 발명에 따른 정점/면 스티칭 정보의 구문에 대한 일예로 패킷에 삽입된 스티칭 정보의 상세한 구조를 도시하고 있다.

본 발명은 3차원 메쉬 정보의 부호화 및 복호화에 관한 것으로서, 구체적으로는, 3차원 메쉬 모델에 대한 3차원 메쉬 정보의 부호화 과정에서 주어진 3차원 메쉬 모델이 비다양체(Non-Manifold) 모델이거나 비정향적(non-orientable) 모델일 경우 이를 다양체이면서 정향적인(orientable and manifold) 모델로 변환하는 과정에 정점(vertex) 및 면(face)과 같은 원본 모델의 요소가 일부 복제되어 정점 및 면과 같은 요소의 개수가 증가한다는 점을 고려하여 복호화시에 원래의 비다양체/비정향적 모델로 복원하기 위해 필요한 스티칭(stitching) 정보의 부호화 및 복호화에 관한 것이다.

3차원 그래픽스 분야는 최근 들어 많이 사용되고 있으나, 정보량의 방대함 때문에 그 사용 범위가 제한되어 있다. 3차원 모델을 표현하는 3차원 메쉬(mesh) 정보는, 기하 정보, 정점들 간의 연결(connectivity) 정보, 그리고, 색상, 법선 및 질감좌표와 같은 속성(property) 정보로 이루어진다. 기하 정보는 부동소수점으로 표현되는 3개의 좌표 정보로 이루어지며, 연결 정보는 3개 이상의 정점 정보가 하나의 다각형을 이루는 인덱스 리스트로 표현된다. 예를 들어, 기하 정보가 32비트 부동소수점으로 표현된다고 가정하면, 하나의 기하 정보를 표현하기 위해 96비트(12B)를 필요로 한다. 즉, 3차원 메쉬 모델이 기하 정보만을 가진 대략 1만개의 정점에 의해 표현된다고 가정하면, 120KB의 메모리를 필요로 하게 되고, 10만개의 정점에 의해 표현된다면, 1.2MB의 메모리를 필요로 하게 된다. 또한, 연결 정보는 2번 이상의 중복을 허용하기 때문에 다각형 메쉬에 의해 3차원 모델을 저장하기 위해서는 매우 많은 메모리를 필요로 한다.

따라서, 이러한 정보량의 방대함을 해결하고자 부호화의 필요성이 대두되었다. 이를 위하여, MPEG-4(Moving Picture Expert Group)-SNHC(Synthetic and Natural Hybrid Coding) 분야에서 ISO/IEC (International Organization for Standardization/International Electrotechnical Commission)의 표준안으로 채택된 3차원 메쉬 코딩(3DMC:3D Mesh Coding) 방식은 VRML(Virtual Reality Modeling Language: VRML) 파일 내에 IndexedFaceSet(IFS)으로 표현되는 3차원 메쉬 정보를 부호화/복호화함으로써 전송 효율을 향상시킨다.

도 1a 및 도 1b 각각은 종래의 3DMC에 따른 부호화 장치 및 복호화 장치의 구성을 개념적으로 도시한다. 3DMC 부호화 장치(110)는 3차원 메쉬 모델(원본 모델)을 2차원 메쉬 구조로 분해하는 위상 절개 모듈(111)과, 기하정보 부호화모듈(112), 연결정보 부호화모듈(113) 및 속성정보 부호화 모듈(114)과, 상기 부호화 모듈(112 내지 114)의 부호화된 결과를 통합적으로 압축하여 3DMC 비트스트림을 생성하는 엔트로피 부호화(entropy encoder) 모듈(115)을 포함한다.

이에 대응하여, 3DMC 복호화 장치(120)는, 엔트로피 복호화 모듈(121), 기하정보 복호화 모듈(122), 연결정보 복호화 모듈(123) 및 속성정보 복호화 모듈(124) 및 위상 합성(topological synthesis) 모듈(125)을 포함하고 있으며, 부호화된 3DMC 비트스트림으로부터 3차원 모델 데이터를 복원한다.

전술한 3DMC 부호화 장치(110)에 의해 수행되는 3DMC 부호화의 주요 특징은 압축률 최대화를 위해 위상 절개 모듈(111)에 의해 수행되는 위상절개 동작이다. 위상절개 동작은 IBM에서 제안한 기술로서, 주어진 메쉬를 구와 위상기하학적으로 동일하다고 가정한 후에 주어진 절단 에지(cutting edge)에 따라 절단함으로써 3차원 모델을 2차원 메쉬 구조로 분해하는(decompose) 동작이다. 이러한 동작 결과, 단순 다각형 그래프(예, 삼각형 스트립으로 이루어진 이진 트리 구조의 삼각형 최소신장 그래프(Triangle Tree: TT))와 메쉬를 절단하는 경로를 정점간의 연결 구조로 나타내는 정점 그래프(Vertex Graph: VG)가 산출된다. 그러나, 전술한 위상 절개 동작 과정은 주어진 3차원 메쉬를 구와 위상기하학적으로 동일하다고 가정하는 알고리즘의 특성 상 원래의 모델이 구와 위상기하학적으로 동일하지 않은 비다양체/비정향적 모델일 경우에는 이를 여러개의 다양체이면서 정향적 모델로 변환하는 과정이 필요한데 이 과정에서 정점 및/또는 면이 복제되어 증가하는 현상이 발생하게 된다.

도 2a 및 2b는 비다양체 모델이 2개의 다양체이면서 정향적 모델로 변환되는 과정에서 2개의 정점이 복제되어 추가되는 일예를 도시한다. 도시된 바와 같이, 도 2a에는 3개의 면과 5개의 정점으로 이루어진 간단한 비다양체 모델이 도시되어 있으며, 도 2b에는 상기 모델이 2개의 다양체 모델로 변환되면서, "2=5" 및 "1=6"의 2개의 정점이 복제되어 추가된 예가 도시되어 있다. 이와 같이, 복제된 요소 정보를 "스티칭 정보(stitching information)"라 한다.

도 2b에 도시된 7개의 정점을 갖는 2개의 다양체 모델을 3DMC 부호화한 후에 복호화한 후에 원래의 비다양체/비정향적 모델(이하, 설명의 편의상 "비다양체 모델"로 지칭함)을 복원하기 위해서는 스티칭 정보가 필요하다. 전술한 예에서, "2=5" 및 "1=6"의 스티칭 정보를 이용하여 다섯 번째 및 여섯 번째 정점 정보는 삭제하고 이를 두 번째 및 첫 번째 정점 정보로 각각 대체함으로써 원래의 비다양체 모델을 복원할 수 있다.

따라서, 3DMC 부호화 및 복호화 결과 산출된 여러 개의 다양체이면서 정향적인 모델은 복제된 정점과 면을 포함하므로, 산출된 결과 모델이 원본 모델과는 다른 위상(topology)을 갖는 점 뿐만 아니라 정점 또는 면과 같은 요소 단위로 이루어지는 편집 및 특수 효과 등을 수행할 수 없으며 요소 순서에 기반하여 작성된 애니메이션을 적용할 수 없다는 문제점이 있다.

따라서, 본 발명의 목적은, 3DMC 부호화시에 비다양체 모델을 다양체 모델로 변환하는 과정에서 발생하는 스티칭 정보를 효율적으로 부호화 및 복호화하기 위한 방법 및 장치를 제공함에 있다.

전술한 목적 달성을 위해, 본 발명의 제1 측면에 따르면, 3차원 메쉬 정보를 부호화하여 부호화된 비트스트림(encoded bit stream)을 출력하는 단계와, 상기 3차원 메쉬 정보에 포함되는 요소의 스티칭 정보 - 상기 스티칭 정보는 복제된 근원 요소의 총 개수와, 상기 복제된 근원 요소 각각에 대한 복제 회수, 근원 요소 식별 정보 및 복제 요소 식별 정보를 포함함-를 부호화하는 단계와, 상기 비트스트림에 대한 패킷을 생성하되 상기 부호화된 스티칭 정보를 상기 패킷내에 삽입하는 단계를 포함하는 3차원 메쉬 정보 부호화 방법이 제공된다.

본 발명의 제2 측면에 따르면, 비다양체 모델에서 다양체 모델로 변환함으로써 비다양체 모델 데이터를 부호화하는 과정에서 생성되는 스티칭 정보의 부호화 방법이 제공되고, 상기 방법은, 상기 스티칭 정보의 부호화에 이용되는 비트수를

(여기서, N은 복제 요소를 포함하는 총 요소 개수)로 설정하는 단계와, 상기 복제된 근원 요소의 총 개수를 상기 설정된 비트수로 부호화하는 단계와, 상기 복제된 근원 요소 각각에 대한 (복제 회수+1), 근원 요소 식별 정보 및 복제 요소 식별 정보를 상기 설정된 비트수로 부호화하는 단계를 포함한다.

본 발명의 제3 측면에 따르면, 3차원 메쉬 정보를 부호화하여 부호화된 비트스트림(encoded bit stream)을 출력하기 위한 수단과, 상기 3차원 메쉬 정보에 포함되는 요소의 스티칭 정보 - 상기 스티칭 정보는 복제된 근원 요소의 총 개수와, 상기 복제된 근원 요소 각각에 대한 복제 회수, 근원 요소 식별 정보 및 복제 요소 식별 정보를 포함함-를 부호화하기 위한 수단과, 상기 비트스트림에 대한 패킷을 생성하되 상기 부호화된 스티칭 정보를 상기 패킷내에 삽입하기 위한 수단을 포함하는 3차원 메쉬 정보 부호화 장치가 제공된다.

본 발명의 제4 측면에 따르면, 3차원 메쉬 정보 패킷을 복호화하여 원본 모델 데이터를 복원하는 단계와, 상기 패킷내에 상기 스티칭 정보가 존재하는지를 판단하는 단계와, 상기 스티칭 정보가 존재하는 것으로 판단되면, 상기 패킷으로부터 상기 스티칭 정보를 추출 및 복호화하는 단계 - 상기 복호화된 스티칭 정보는 복제된 근원 요소의 총 개수와, 상기 복제된 근원 요소 각각에 대한 복제 회수, 근원 요소 식별 정보 및 복제 요소 식별 정보를 포함함-와, 상기 복원된 원본 모델 데이터 및 상기 복호화된 스티칭 정보에 기하여 원래의 비다양체 모델을 복원하는 단계를 포함하는 3차원 메쉬 정보 복호화 방법이 제공된다.

본 발명의 제5 측면에 따르면, 3차원 메쉬 정보 패킷을 복호화하여 원본 모델 데이터를 복원하기 위한 수단과, 상기 패킷으로부터 상기 스티칭 정보를 추출 및 복호화하기 위한 수단 - 상기 복호화된 스티칭 정보는 복제된 근원 요소의 총 개수와, 상기 복제된 근원 요소 각각에 대한 복제 회수, 근원 요소 식별 정보 및 복제 요소 식별 정보를 포함함-과, 상기 복원된 원본 모델 데이터 및 상기 복호화된 스티칭 정보에 기하여 원래의 비다양체 모델을 복원하기 위한 수단을 포함하는 3차원 메쉬 정보 복호화 장치가 제공된다.

이하에서는 본 발명을 첨부된 도면에 도시된 실시예들과 관련하여 예시적으로 상세히 설명하겠다. 그러나 이하의 상세한 설명은 단지 예시적인 목적으로 제 공되는 것이며 본 발명의 개념을 임의의 특정된 물리적 구성에 한정하는 것으로 해석되어서는 안 될 것이다.

도 3a 및 3b 각각은 본 발명이 적용되는 3차원 메쉬 정보 부호화 장치(310) 및 복호화 장치(320)를 개략적으로 도시한 블록도이다. 도시된 바와 같이, 본 발명에 따른 3차원 메쉬 정보 부호화 장치(310)는, 위상절개모듈(311), 기하정보 부호화모듈(312), 연결정보 부호화모듈(313), 속성정보 부호화모듈(314) 및 스티칭 정보 부호화모듈(316) 및 엔트로피 부호화모듈(315)을 포함한다. 즉, 부호화 장치(310)는, 도 1a에 도시된 종래의 3DMC 부호화 장치(110)와 비교해볼 때, 3차원 모델에서의 스티칭 정보를 별개로 부호화하기 위한 스티칭 정보 부호화 모듈(316)을 더 포함하는 것에 그 특징이 있다.

전술한 바와 같이, 위상절개모듈(311)은 3차원 메쉬 모델을 2차원 메쉬 구조로 분해하는 위상절개 동작을 수행하는데, 이 과정에서 3차원 메쉬 모델이 비다양체 모델인 경우에 이를 여러 개의 다양체 모델로 변환하는 과정이 포함될 수 있다. 비다양체 모델에서 다양체 모델로의 변환 기술은 이미 MPEG-4 3D 메쉬 코딩의 주요 특징으로 공지된 기술이므로, 변환 과정의 상세한 설명은 본 명세서에서 생략한다.

비다양체 모델에서 다양체 모델로의 변환 과정에서 복제되는 요소(정점 및 면) 관련 정보를 "스티칭 정보(stitching information) "라 한다. 복호부에서 3DMC 부호화된 비트스트림을 복호화한 후에 원래의 비다양체 모델을 복원하기 위해서는 스티칭 정보가 필요하다. 스티칭 정보를 이용하여 복제된 요소를 삭제하고 이를 원래의 요소 정보로 대체함으로써 원래의 비다양체 모델이 복원될 수 있다.

스티칭 정보 부호화 모듈(316)은 본 발명에 따라 스티칭 정보를 구별 가능한 최소한의 비트수로 부호화하기 위한 모듈로서, 구체적인 부호화 과정에 대해서는 이하에서 도 6을 참조하여 상세히 설명할 것이다.

한편, 본 발명이 적용되는 3차원 메쉬 정보 복호화 장치(320)는, 도 1b에 도시된 종래의 3DMC 복호화 장치(320)와 비교해 볼 때, 부호화된 스티칭 정보를 복호화하기 위한 스위칭 정보 복호화 모듈(325)과, 복호화된 원래 모델의 스티칭 정보에 따라 원래의 비다양체 모델로 복원하는 스티칭 모듈(327)을 더 포함한다. 본 발명에 따라 스위칭 정보 복호화 모듈(325)에서 수행되는 스위칭 정보의 복호화 과정에 대해서는 도 7을 참조하여 상세히 설명할 것이다.

도 4는 본 발명의 일실시예에 따른 3차원 메쉬 정보 부호화 과정을 도시한 흐름도이다. 도시된 바와 같이, 단계(410)에서, 3차원 메쉬 정보를 부호화하여 부호화된 비트스트림을 출력한다. 일실시예에서, 기존의 SNHC의 3DMC 부호화 방식에 의하면, 3차원 메쉬 정보는 3차원 메쉬 모델을 (위상절개동작에 의해) 2차원 메쉬 구조로 분해함으로써 생성되는 데이터로서, 정점 그래프(VG) 및 이진 트리 구조의 삼각형 스패닝 그래프(Triangle Tree: TT))를 포함한다.

그러나, 본 발명은 3차원 메쉬 정보의 부호화에 그 특징이 있는 것이 아니라, 부호화 과정에서 주어진 3차원 메쉬 모델(원본 모델)이 비다양체 모델인 경우 이를 다양체 모델로 변환함으로써 발생하는 스티칭(stitching) 정보의 표현 방법과 부호화에 그 특징이 있는 것이다. 따라서, 3DMC 부호화와 유사하게 스티칭 정보를 발생시키는 모든 종래의 부호화 방식에도 본 발명이 적용될 수 있음을 본 기술 분야의 당업자들은 이해할 것이다.

단계(420)에서, 상기 단계(410)의 3DMC 부호화 과정에서 생성된 요소 스티칭 정보의 부호화를 수행한다. 요소 스티칭 정보는 복제된 정점 및/또는 면에 대한 정보로서, 실시예에 따라 정점 스티칭 정보 또는 면 스티칭 정보를 선택적으로 포함하거나, 정점 및 면 모두에 대한 스티칭 정보를 포함할 수 있다.

본 발명의 특징은 스티칭 정보가 복제된 근원 요소의 총 개수와, 각 근원 요소에 대한 복제 회수, 근원 요소 식별 정보 및 복제 요소 식별 정보를 포함하고, 부호화 비트율을 줄이고 계산 복잡도를 감소시키기 위해, 이러한 스티칭 정보를 구별가능한 최소한의 비트수로 부호화한다는데 있다.

단계(430)에서, 단계(410)에서 부호화된 3차원 메쉬 정보 비트스트림에 대한 패킷이 생성되며 단계(420)에서 부호화된 요소 스티칭 정보가 상기 패킷내에 삽입된다.

도5는 본 발명의 일실시예에 따른 3차원 메쉬 정보 복호화 과정을 도시한 흐름도이다. 단계(510)에서 3차원 메쉬 정보 패킷을 복호화한다. 3DMC 복호화는 본 기술분야에 공지된 기술로서, 본 명세서에서는 이에 대한 상세한 설명을 생략한다.

단계(520)에서 3차원 메쉬 정보 패킷의 선정된 영역(예를 들면, 헤더 영역) 내에 요소 스티칭 정보가 포함되어 있는지를 판단한다. 요소 스티칭 정보가 포함되어 있지 않은 경우에는 상기 복호화 과정은 종료된다.

반면에, 상기 수신된 패킷내에 요소 스티칭 정보가 포함되어 있는 것으로 판단되면, 단계(530)에서 요소 스티칭 정보를 추출하고 복호화한다.

단계(540)에서 상기 복호화된 요소 스티칭 정보를 이용하여 원래의 비다양체 모델을 복원한다. 구체적으로, 복원된 원본 모델 데이터로부터 상기 복제 요소 정보를 삭제하고, 삭제된 복제 요소 정보를 이에 대응하는 근원 요소 정보로 대체함으로써 원래의 비다양체 모델을 복원한다. 또한, 삭제된 복제 요소 정보로 인해 각 요소의 식별 정보가 변경되는 경우 이를 반영하여 3차원 메쉬 정보를 재구성하는 과정이 필요하다.

상기 단계들(510 내지 540)의 수행이 반드시 전술한 순서대로만 이루어지는 것은 아니며, 구현에 따라서는 임의적으로 변경 가능함을 본 기술분야의 당업자들은 쉽게 이해할 수 있을 것이다. 예를 들어, 다른 실시예에서는 요소 스티칭 정보의 포함여부 판단(520), 요소 스티칭 정보의 추출 및 복호화 단계(530)가 3DMC 복호화 단계(510) 이전에 행해질 수도 있다.

도 6은 본 발명의 일실시예에 따른 스티칭 정보의 부호화 과정을 도시한 흐름도이다. 도 6에는 정점 스티칭 정보 부호화 과정 및 면 스티칭 정보 부호화 과정이 모두 수행되는 것으로 도시되어 있지만, 본 발명이 이러한 실시예에 국한되는 것은 아니며, 선택적으로, 정점 스티칭 정보, 또는 면 스티칭 정보 또는 정점 및 면 스티칭 정보 모두의 부호화가 가능함을 본 기술분야의 당업자들은 용이하게 이 해할 수 있다.

비다양체 모델에서 다양체 모델로의 변환과정에서 정점의 복제가 발생하여 복제 정점에 대한 스티칭 정보가 존재할 경우, 우선 정점 스티칭 정보에 할당되는 코드워드 비트수 (bit per stitching for vertex: bpsv)를 정점 스티칭 정보를 구별할 수 있는 최소한의 비트수인

(여기서, nV는 복제 정점을 포함한 모델을 구성하는 정점의 총 개수)로 설정한다(단계610a). 가령, 원본 모델이 1,000개의 정점으로 구성되어 있었고 부호화 과정 중 23개의 복제점이 발생하였다면, bpsv 값은 log₂(1023) = 10bit 이 될 것이다.

다음으로, 복제된 근원 정점의 총 개수(n_vertex_stitches)를 bpsv 비트로 부호화한다(단계 620a). 그 다음 단계로 각 근원 정점에 대해 자신의 (복제 정점의 개수+1)의 값(n_duplication_per_vertex_stitches)을 bpsv 비트로 부호화하고(단계 630a), n_duplication_per_vertex_stitches 개수 만큼의 근원 정점의 식별 정보와 복제 정점의 식별 정보를 각각 bpsv 비트로 부호화한다(단계 640a).

상기 단계(630a)에서 n_duplication_per_vertex_stitches 의 값을 (복제 정점의 개수+1)로 설정하는 방식은 일예에 불과하며, 본 발명이 이에 국한되는 것은 아니다. 대안적으로, (복제 정점의 개수) 값으로 정해질 수 있다. 상기 실시예에서 (복제 정점의 개수 + 1)로 설정하는 이유는 n_duplication_per_vertex_stitches 이후에 삽입되는 식별 정보의 개수가 (복제 정점의 개수+1)이므로 복호화시 복호해야할 식별 정보의 개수를 알려주기 위함이다.

그 후에, 복제된 근원 정점의 개수를 1 감소시키고(단계 650a), 잔여 근원 정점의 개수가 0인지를 판단한다(단계 660a). 그렇지 않다면, 전술한 단계(630a 및 660a)를 반복하여 모든 근원 정점에 대한 스티칭 정보 부호화를 달성한다.

한편, 단계(610b 내지 660b)는 전술한 정점 스티칭 정보의 부호화 수행(610a 내지 660a)과 동일한 방식으로 면 스티칭 정보의 부호화를 수행하는 단계들로서, 이에 대한 상세한 설명은 생략하겠다.

상기 실시예는 정점 스티칭 정보 부호화 과정 및 면 스티칭 정보 부호화 과정의 단계(610a)와 단계(610b)에서 정점 스티칭 정보 및 면 스티칭 정보에 할당되는 코드워드 비트수 (bpsv 및 bpsf)를 이들 스티칭 정보를 구별할 수 있는 최소한의 비트수인

(여기서, nV는 복제 정점(면)을 포함한 모델을 구성하는 정점(면)의 총 개수)로 설정하였지만, 본 발명이 이러한 실시예에 국한되는 것은 아니며, 선택적으로, bpsv 또는 bpsf 값을 24비트, 32비트와 같은 특정 비트수로 설정 가능함을 본 기술분야의 당업자들은 용이하게 이해할 수 있다.

본 발명에 따른 요소 스티칭 정보의 부호화에 대한 이해를 돕고자, 일 예를 통해 설명하고자 한다. SNHC의 3DMC 부호화 방식에 의하면, VRML에 따라 표기된 요소 순서대로 부/복호화하지 않고 요소 순서가 변경되어 부/복호화되므로 이를 고려하여 변경된 요소 순서 정보를 적용하여 복제 정점의 식별 정보와 근원 정점의 식별 정보를 저장하여야 한다.

예를 들어, 10개의 점과 7개의 면으로 구성된 비다양체 모델을 두 개의 다양체 모델로 변환하여 부호화하는 경우 두 개의 정점이 복제 생성되었다고 가정하자. 두 개의 정점을 복제하였기 때문에 실제 식별 정보는 0,1,2,3,4,5,6,7,8,9,10,11 이 되고, 여기서 10, 11번째는 복제 정점이다. 10번째 점이 0번째 점을, 11번째 점이 3번째 점을 복제한 것이고 정점의 순서가 변경되지 않았다고 가정하면, 0-10, 3-11 의 정보를 이용하여 정점 스티칭 정보를 표현 및 부호화하게 된다. 그러나, 만약 정점의 부호화 순서가 3,2,1,0,8,7,10,6,5,11,4,9 로 변경되었다면 복제 정점은 4번째 그리고 9번째에 부호화가 되므로 실제 복제 정점의 식별 정보는 10,11 이 아닌 4와 9가 된다. 0번 정점은 3번째에 부호화 되고 3번 정점은 0번째에 부호화 되므로, 3-4 , 0-9 의 정보를 이용하여 정점 스티칭 정보를 표현 및 부호화하게 된다.

여기서 복제된 정점의 총 개수(n_vertex_stitches)는 2가 되고 이를 4비트(=

)로 부호화한다. 다음은 각 근원 정점 중 어느 한 정점에 대해 몇 개의 정점이 복제되었는지를 계산 한 후 이 값에 1을 더한 값을 4비트로 부호화한다. 다음, 그 근원 정점에 대한 식별 정보와 복제 정점에 대한 식별 정보를 4비트로 부호화한다. 상기 정보를 복제된 모든 근원 정점에 대해 부호화될 때까지 수행한다. 본 일예의 경우, 만약 정점의 순서가 변경되지 않았다고 가정(0-10, 3-11)한다면 "2 2 0 10 2 3 11"가 4비트로 "0010 0010 0000 1010 0010 0011 1011" 부호화된다.

도 7은 본 발명의 일실시예에 따라 스티칭 정보를 복호화하는 과정을 도시 한 흐름도이다. 우선, 부호화된 정점 스티칭 정보의 부호화에 이용된 비트수인 "bpsv(bit per stitching for vertex)"의 값을 하기 식 1에 따라 구한다(단계 710a).

bpsv = (여기서, nV는 복제 정점을 포함한 모델을 구성하는 정점의 총 개수)

상기 식은 일 예에 불과하며, 다른 실시예에서는 비트수에 대한 정보가 부호화된 스티칭 정보내에 포함되어 있을 수 있다.

다음, 부호화된 스티칭 정보 비트스트림으로부터 bpsv 비트수의 코드워드를 판독하여 복제된 근원 정점의 총 개수(n_vertex_stitches)를 복호화한다(단계 720a). 그 후에, bpsv 비트수의 코드워드를 판독하여 하나의 근원 정점에 대한 (복제 회수(또는 복제 정점의 개수)+1)의 값(n_duplication_per_vertex_stitches)을 복호화한다(단계 730a).

다음, bpsv 비트수의 코드워드를 순차적으로 판독하여 n_duplication_per_vertex_stitches 개수만큼의 근원 정점 식별 정보와 복제 정점 식별 정보를 복호화한다(단계 740a).

그 후에, 복제된 근원 정점의 개수를 1 감소시키고(단계 750a), 잔여 근원 정점의 개수가 0인지를 판단한다(단계 760a). 그렇지 않다면, 전술한 단계(730a 및 760a)를 반복하여 모든 근원 정점에 대한 스티칭 정보 복호화를 달성한다.

한편, 단계(710b 내지 760b)는 전술한 정점 스티칭 정보의 복호화 수행 단계(710a 내지 760a)와 동일한 방식으로 면 스티칭 정보의 복호화를 수행하는 단계들로서, 이에 대한 상세한 설명은 생략하겠다.

일련의 요소 스티칭 정보에 대한 복호화 과정이 끝나면 복호화된 스티칭 정보에 기하여 복제 요소 정보를 근원 요소 정보로 대체하고 복제 요소 정보를 삭제함으로써 다양체이면서 정향적인 여러 개의 모델을 원래의 비다양체 또는 비정향적 모델로 복원한다. 예를 들어, 기하 정보의 경우는 복호화된 3차원 기하 정보 중에서 근원 정점에 대한 기하 정보만을 남기고 복제 정점에 대한 기하 정보는 모두 삭제한다. 또한, 연결 정보의 경우는 삭제된 복제 정점의 식별 정보를 사용하는 coordIndex에 값을 모두 원래의 근원 정점의 식별 정보로 교체한다. 마지막으로, 복제 정점의 삭제로 인해 정점의 식별 정보가 변경되는 경우에는, 이를 반영하여 연결 정보를 재구성한다.

본 발명에 따른 요소 스티칭 정보의 복호화 후 원래의 비다양체 또는 비정향적 모델로 복원하는 과정에 대한 이해를 돕고자 일 예를 들고자 한다. 복호화된 3차원 기하 정보, 연결 정보 및 정점 스티칭 정보가 다음과 같다고 하자.

coord Coordinate {

point [

-0.0010 -0.0010 0.9980

0.9980 -0.0010 0.9980

0.9980 0.9980 0.9980

-0.0010 0.9980 0.9980

-0.0010 0.9980 -0.0010

-0.0010 -0.0010 -0.0010

0.9980 -0.0010 -0.0010

0.9980 0.9980 -0.0010

0.9980 1.9990 0.9980

0.9980 1.9990 -0.0010

0.9980 0.9980 -0.0010

0.9980 0.9980 0.9980

]

}

coordIndex [

0 1 2 3 -1

0 3 4 5 -1

0 5 6 1 -1

1 6 7 2 -1

2 7 4 3 -1

4 7 6 5 -1

8 9 10 11 -1

]

vertex stitching information

7-10 , 2-11

먼저 복호화된 스티칭 정보에 따라 근원 정점에 대한 정보만을 남기고, 복제 정점에 대한 정보는 삭제 및 대체를 한다. 그리고 삭제된 복제 정점에 대한 식별자를 사용하는 coordIndex를 근원 정점에 대한 식별자로 대체하면 다음과 같은 결과를 얻을 수 있다.

coord Coordinate {

point [

-0.0010 -0.0010 0.9980

0.9980 -0.0010 0.9980

0.9980 0.9980 0.9980

-0.0010 0.9980 0.9980

-0.0010 0.9980 -0.0010

-0.0010 -0.0010 -0.0010

0.9980 -0.0010 -0.0010

0.9980 0.9980 -0.0010

0.9980 1.9990 0.9980

0.9980 1.9990 -0.0010

]

}

coordIndex [

0 1 2 3 -1

0 3 4 5 -1

0 5 6 1 -1

1 6 7 2 -1

2 7 4 3 -1

4 7 6 5 -1

8 9 7 2 -1

]

복제 정점의 삭제로 인해 정점의 식별 정보가 변경되는 경우에는, 즉, 식별 정보가 연속적으로 이루어지지 않는 경우에는, 이를 반영하여 연결 정보를 재구성한다. 상기 예에서는 복제 정점이 마지막에 추가되었으므로 재구성을 수행할 필요가 없다. 그러나, 요소 순서가 변경되어 부/복호화되어 복제 정점이 근원 정점의 사이에 위치하게 되었다면, 이를 삭제하는 경우에 각 정점에 대한 식별 정보가 변경되므로, 이를 반영하여 연결 정보를 수정해주어야 한다. 예를 들어, 근원 정점의 중간에 복제 정점이 추가된 경우에는 복제된 정점을 삭제하고 그 이후의 정점에 대한 식별 정보를 교정하는 과정을 거쳐야한다.

도 8은 본 발명에 따라 정점/면 스티칭 정보가 추가된 3DMC 패킷 구조의 일예를 도시한다. 도 8에 도시된 3DMC 패킷의 구조는 MPEG-4-SNHC에 의해 정의된 공지된 구조이므로, 각 필드에 대한 상세한 설명은 생략하고, 본 발명에 의해 추가된 필드들에 대해서만 설명하기로 한다.

도시된 바와 같이, 원본 모델이 비다양체 모델일 경우 has_stitches 플래그를 이용하여 "SD(Stitching Data)"의 삽입여부를 결정하게 된다.

상기 전술한 패킷 구조는 예시적인 것이며, 3DMC 패킷내에서의 정점 스티칭 정보 및 면 스티칭 정보의 위치는 변경가능하다. 예를 들어, 상기 예에서는, 정점 스티칭 정보 및 면 스티칭 정보가 "TD(Triangle Data)" 다음에 삽입되어 있지만, 다른 예에서는"TT(Triangle Tree)"와 "TD(Triangle_data)"사이에 삽입될 수도 있다.

도시된 바와 같이, 도9a의 경우는 정점에 대한 스티칭 정보로, 부호화 과정에서 정점이 복제 생성되었는지의 여부를 나타내는 has_vertex_increase flag가 on인 경우 복제된 근원 정점들의 총 개수인 n_vertex_stitches가 삽입되게 되고 각 근원 정점에 대한 복제 정점의 총 개수(또는 복제 정점의 총 개수+1)인 n_duplication_per_vertex_stitches가 삽입된다. 그 다음 n_duplication_per_vertex_stitches 개수만큼의 근원 정점 및 복제 정점의 식별 정보가 패킷에 삽입된다.

도 9b의 경우는 면에 대한 스티칭 정보로, 부호화 과정에서 면이 복제 생성 되었는지의 여부를 나타내는 has_face_increase flag가 on인 경우 복제된 근원 면의 총 개수인 n_vertex_stitches가 삽입되게 되고 각 근원 면에 대한 복제 면의 총 개수 (또는 복제 면의 총 개수+1)인 n_duplication_per_face_stitches가 삽입된다. 그 다음 n_duplication_per_face_stitches 개수 만큼의 근원 면 및 복제 면의 식별 정보가 패킷에 삽입된다.

상기 사용된 예를 이용해 추가되는 패킷 정보를 보면, 상기의 일예에서는 정점이 복제 생성되었으므로 has_vertex_increase가 on으로 설정되어 패킷에 삽입될 것이고, 복제된 총 근원 정점은 7, 11의 두 개이므로 n_vertex_stitches에는 2가 삽입될 것이다. 다음은 첫 번 째 근원 정점인 7에 대해 복제점(10)은 1개이므로 n_duplication_per_vertex_stitches에 1(또는 2)이 삽입되고, 7 과 10의 식별 정보가 삽입되게 된다. 다음 근원 정점인 2에 대해서도 복제점은 11 한 개이므로 n_duplication_per_vertex_stitches에 1(또는 2)가 삽입되고, 2와 11의 식별 정보가 뒤따라 삽입된다.

또한, 상기 예에서는 정점 스티칭 정보 및 면 스티칭 정보의 포함여부를 나타내는 플래그(has_vertex_increase, has_face_increase)에 각각 1비트를 할당하여 표현하였지만, 다른 예에서는 2 비트의 "has_vertex_face_increase" 플래그로 다음과 같이 표현할 수 있다.

has_vertex_face_increase	의미
00	추가된 정점/면이 없음
01	면에 대한 스티칭 정보만 존재함
10	정점에 대한 스티칭 정보만 존재함
11	정점/면에 대한 스티칭 정보 모두 존재함

전술한 본 발명은 하나 이상의 제조물상에 구현된 하나 이상의 컴퓨터 판독가능 매체로서 제공될 수 있다. 제조물은, 플로피 디스크, 하드 디스크, CD ROM, 플래시 메모리 카드,PROM, RAM, ROM, 또는 자기 테이프를 들 수 있다. 일반적으로, 컴퓨터 판독가능 프로그램은 임의의 프로그래밍 언어로 구현될 수 있다.

이상에서, 특정 실시예와 관련하여 본 발명을 설명하였으나, 본 발명은 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 여러 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

전술한 바와 같이, 본 발명에 따르면, 스티칭 정보를 복제된 근원 요소의 총 개수와, 각 근원 요소에 대한 복제 회수, 근원 요소의 식별 정보 및 복제 요소의 식별 정보로 표현하고, 이를 식별가능한 최소한의 비트수로 부호화함으로써 스티칭 정보를 효율적으로 전송할 수 있고 계산 복잡도를 현저하게 감소시킬 수 있도록 한다.

Claims

3차원 메쉬 정보를 부호화하여 부호화된 비트스트림(encoded bit stream)을 출력하는 단계와,

상기 3차원 메쉬 정보에 포함되는 요소의 스티칭 정보 - 상기 스티칭 정보는 복제된 근원 요소의 총 개수와, 상기 복제된 근원 요소 각각에 대한 복제 회수, 근원 요소 식별 정보 및 복제 요소 식별 정보를 포함함-를 부호화하는 단계와,

상기 비트스트림에 대한 패킷을 생성하되 상기 부호화된 스티칭 정보를 상기 패킷내에 삽입하는 단계

를 포함하는 3차원 메쉬 정보 부호화 방법으로,

상기 스티칭 정보의 부호화 단계는,

(i) 상기 스티칭 정보의 부호화에 이용되는 비트수를
(여기서, N은 복제 요소를 포함하는 총 요소 개수)로 설정하는 단계와,

(ii) 상기 복제된 근원 요소의 총 개수를 상기 설정된 비트수로 부호화하는 단계와,

(iii) 상기 복제된 근원 요소 각각에 대한 복제 회수 또는 (복제 회수+1), 근원 요소 식별 정보 및 복제 요소 식별 정보를 상기 설정된 비트수로 부호화하는 단계를 포함하는 3차원 메쉬 정보 부호화 방법.
제1항에 있어서, 상기 요소의 스티칭 정보는 정점 및 면 스티칭 정보중 적어도 어느 하나인 3차원 메쉬 정보 부호화 방법.
삭제
삭제
비다양체 모델에서 다양체 모델로 변환함으로써 비다양체 모델 데이터를 부호화하는 과정에서 생성되는 스티칭 정보의 부호화 방법에 있어서, 상기 방법은,

상기 스티칭 정보의 부호화에 이용되는 비트수를
(여기서, N은 복제 요소를 포함하는 총 요소 개수)로 설정하는 단계와,

복제된 근원 요소의 총 개수를 상기 설정된 비트수로 부호화하는 단계와,

상기 복제된 근원 요소 각각에 대한 (복제 회수+1), 근원 요소 식별 정보 및 복제 요소 식별 정보를 상기 설정된 비트수로 부호화하는 단계

를 포함하는 스티칭 정보 부호화 방법.
3차원 메쉬 정보를 부호화하여 부호화된 비트스트림(encoded bit stream)을 출력하기 위한 수단과,

상기 3차원 메쉬 정보에 포함되는 요소의 스티칭 정보 - 상기 스티칭 정보는 복제된 근원 요소의 총 개수와, 상기 복제된 근원 요소 각각에 대한 복제 회수, 근원 요소 식별 정보 및 복제 요소 식별 정보를 포함함-를 부호화하기 위한 수단과,

상기 비트스트림에 대한 패킷을 생성하되 상기 부호화된 스티칭 정보를 상기 패킷내에 삽입하기 위한 수단

을 포함하는 3차원 메쉬 정보 부호화 장치로,

상기 스티칭 정보를 부호화 하기 위한 수단은,

(i) 상기 스티칭 정보의 부호화에 이용되는 비트수를
(여기서, N은 복제 요소를 포함하는 총 요소 개수)로 설정하고,

(ii) 상기 복제된 근원 요소의 총 개수를 상기 설정된 비트수로 부호화하며,

(iii) 상기 복제된 근원 요소 각각에 대한 복제 회수 또는 (복제 회수+1), 근원 요소 식별 정보 및 복제 요소 식별 정보를 상기 설정된 비트수로 부호화하는 것을 특징으로 하는 3차원 메쉬 정보 부호화 장치.
제6항에 있어서, 상기 3차원 메쉬 정보에 포함되는 요소의 스티칭 정보는 정점 및 면 스티칭 정보중 적어도 어느 하나인 3차원 메쉬 정보 부호화 장치.
비다양체 모델에서 다양체 모델로 변환함으로써 비다양체 모델 데이터를 부호화하는 과정에서 생성되는 스티칭 정보를 부호화하기 위한 장치에 있어서, 상기 장치는,

복제된 근원 요소의 총 개수를
(여기서, N은 복제 요소를 포함하는 총 요소 개수)의 비트수로 부호화하기 위한 수단과,

상기 복제된 근원 요소 각각에 대한 (복제 회수+1), 근원 요소 식별 정보 및 복제 요소 식별 정보를 상기
비트수로 부호화하기 위한 수단

을 포함하는 스티칭 정보 부호화 장치.
제1항 또는 제2항 중 어느 하나의 항에 따른 3차원 메쉬 정보 부호화 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록매체.
제5항에 따른 스티칭 정보 부호화 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록매체.
3차원 메쉬 정보 패킷을 복호화하여 원본 모델 데이터를 복원하는 단계와,

상기 패킷내에 스티칭 정보가 존재하는지를 판단하는 단계와,

상기 스티칭 정보가 존재하는 것으로 판단되면, 상기 패킷으로부터 상기 스티칭 정보를 추출 및 복호화하는 단계 - 상기 복호화된 스티칭 정보는 복제된 근원 요소의 총 개수와, 상기 복제된 근원 요소 각각에 대한 복제 회수, 근원 요소 식별 정보 및 복제 요소 식별 정보를 포함함-와,

상기 복원된 원본 모델 데이터 및 상기 복호화된 스티칭 정보에 기하여 원래의 비다양체 모델을 복원하는 단계

를 포함하는 3차원 메쉬 정보 복호화 방법으로,

상기 복호화된 스티칭 정보에 기하여 원래의 비다양체 모델을 복원하는 단계는,

(i) 상기 복원된 원본 모델 데이터로부터 복제 요소 정보를 삭제하는 단계와,

(ii) 상기 삭제된 복제 요소 정보를 이에 대응하는 근원 요소 정보로 대체하는 단계를 포함하는 3차원 메쉬 정보 복호화 방법.
제11항에 있어서, 상기 스티칭 정보는 정점 및 면 스티칭 정보중 적어도 어느 하나인 3차원 메쉬 정보 복호화 방법.
제11항에 있어서, 상기 스티칭 정보가 존재하는지를 판단하는 단계는 상기 패킷의 헤더내의 선정된 영역에 존재하는 스티칭 정보 존재 여부를 나타내는 플래그값을 이용하여 판단하는 3차원 메쉬 정보 복호화 방법.
삭제
제11항에 있어서, 상기 복호화된 스티칭 정보에 기하여 원래의 비다양체 모델을 복원하는 상기 단계는 상기 삭제된 복제 요소 정보로 인해 각 요소의 식별 정보가 변경되는 경우 이를 반영하여 3차원 메쉬 정보를 재구성하는 단계를 더 포함하는 3차원 메쉬 정보 복호화 방법.
제11항에 있어서, 상기 스티칭 정보를 복호화하는 단계는,

(i)
(여기서, N은 복제 요소을 포함하는 총 요소개수) 비트수의 코드워드를 판독하여 복제된 근원 요소의 총 개수를 복호화하는 단계와,

(ii)
비트수의 다음 코드워드를 판독하여 상기 복제된 근원 요소에 대한 (복제 회수+1) 정보를 복호화하는 단계와,

(iii) 상기
비트수의 다음 코드워드를 순차적으로 판독하여 상기 (복제 회수+1) 만큼의 근원 정점 식별 정보와 복제 정점 식별 정보를 복호화하는 단계와,

(iv) 복제된 근원 요소에 대한 스티칭 정보가 모두 복호화될 때까지 상기 (ii) 및 (iii) 단계를 반복 수행하는 단계

를 포함하는 3차원 메쉬 정보 복호화 방법.
3차원 메쉬 정보 패킷을 복호화하여 원본 모델 데이터를 복원하기 위한 수단과,

상기 패킷으로부터 스티칭 정보를 추출 및 복호화하기 위한 수단 - 상기 복호화된 스티칭 정보는 복제된 근원 요소의 총 개수와, 상기 복제된 근원 요소 각각에 대한 복제 회수, 근원 요소 식별 정보 및 복제 요소 식별 정보를 포함함-과,

상기 복원된 원본 모델 데이터 및 상기 복호화된 스티칭 정보에 기하여 원래의 비다양체 모델을 복원하기 위한 수단

을 포함하는 3차원 메쉬 정보 복호화 장치로,

상기 복호화된 스티칭 정보에 기하여 원래의 비다양체 모델을 복원하기 위한 수단은 상기 복원된 원본 모델 데이터로부터 상기 복제 요소 정보를 삭제하고 상기 삭제된 복제 요소 정보를 이에 대응하는 근원 요소 정보로 대체하는 3차원 메쉬 정보 복호화 장치.
삭제
제11항 내지 제13항 및 제15항 내지 제16항 중 어느 하나의 항에 따른 3차원 메쉬 정보 복호화 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록매체.