KR100468848B1

KR100468848B1 - 3차원 정지 및 동작 객체의 계층적 이미지 기반 표현 및 렌더링방법 및 장치

Info

Publication number: KR100468848B1
Application number: KR10-2002-0020241A
Authority: KR
Inventors: 지르코프알렉산드라올레고비치; 한만진
Original assignee: 삼성전자주식회사
Priority date: 2001-06-29
Filing date: 2002-04-13
Publication date: 2005-01-29
Also published as: CA2391670C; JP3981302B2; EP1271411A2; JP2003077004A; CN1215443C; EP1744282A3; KR20030004017A; EP1744282A2; EP1744282B1; RU2215326C2; EP1271411A3; US6778173B2; CA2391670A1; US20030052878A1; CN1395221A

Abstract

3차원 정지 및 동작 객체의 계층적 이미지 기반 표현 및 렌더링 방법 및 장치가 개시된다. 본 발명에 따른 3차원 객체의 표현 및 렌더링 방법은, 3차원 객체에 대한 원시 데이터를, 객체의 표면에 속한 점들의 좌표에 대응하는 각 이진 체적 옥트리(BVO) 버텍스는 색을 속성으로 가지고, 색은 상기 BVO 버텍스에 대응하는 삼차원 이미지 요소인 복셀을 나타내는 입방체의 내부에 좌표를 가지는 표면 포인트들의 색들의 평균인, BVO 포맷으로 변환하는 단계, 및 BVO 리프들에 대응하는 복셀들의 중심의 국부 3차원 좌표를 구하고, 구해진 삼차원 좌표들을 복셀 중심의 2차원 좌표 및 투영된 복셀 이미지의 크기의 정보로 변환하며, 각각의 BVO 리프에 대해, 투영된 복셀 이미지 영역을 커버하는 대응되는 스플랫을 생성하고 디스플레이하며, 색 정보를 사용하여, 디스플레이된 복수의 스플랫에 의해 시각화된 3차원 객체를 생성하고 디스플레이할 수 있도록, 옥트리를 루트 버텍스에서 리프들까지 계층적으로 순회하여 BVO를 렌더링하는 단계를 포함한다. BVO의 기하학적 구성 요소와 색채 구성 요소를 분리함으로써 심도 이미지에 기초하고, 상대적으로 작은 저장 영역을 요구하며, 빠르고 고품질의 렌더링이 가능하다.

Description

3차원 정지 및 동작 객체의 계층적 이미지 기반 표현 및 렌더링 방법 및 장치{Method for hierarchical image-based representation and rendering of still and animated three dimensional object, and apparatus thereof}

본 발명은 컴퓨터 그래픽스에 관한 것으로서, 특히 실제 물체의 사진과 이들의 기하학적 표현으로부터 얻어진 3차원 정지 및 동작 객체 표현, 및 이진 체적 옥트리를 사용하여, 이러한 표현과 렌더링을 하기 위한 방법 및 장치에 관한 것이다.

가까운 장래에 있어서, 상호작용 가능한 속도에서의 3차원(3D) 객체의 고품질 렌더링은 현대 그래픽 시스템에서 주요 관심사가 될 것이다. 3차원 물체를 고품질로 렌더링하고자 하는 요구는 객체를 압축하고 전자 상거래, 컴퓨터 게임, 과학, 공학, 의학 같은 분야에서 통신망을 통하여 전송하기 위하여 효율적인 알고리즘이 고안될 것을 필요로 한다. 이러한 모든 요구를 동시에 만족시키기 위한 지난 수십 년간에 걸친 3차원 물체의 전통적인 다각형 모델의 사용은 원하는 결과를 낳는데 실패하였다. 다각형 모델들은 두 가지 중요한 단점을 가지고 있다; 대용량(예를 들면, 실제처럼 보이는 모델들은 수천만 개의 삼각형을 필요로 한다)과 구축의 어려움이 그 것이다. 이러한 난점을 극복하기 위하여, 몇 가지 3차원 그래픽에서의 접근 방식이 최근 몇 년간 제안되어왔다. 이들 중 가장 우월한 것은 물체의 이미지를 사용하는 것에 기반을 둔 방법들과 3차원 공간에서 삼각형 대신 점들을 사용하는 것에 기반을 둔 방법이다.

이미지 기반 방법들은 주어진 물체를, 가시면(visible surface)을 완전히 커버하고 여러 개의 상이한 카메라 위치들로부터 취득된 이미지들(물체의 '사진들')의 집합으로 표현한다. 뿐만 아니라, 각각의 그러한 이미지는 이미지 평면상의 픽셀들로부터 물체 표면까지의 거리들의 배열인 대응되는 심도 맵(depth-map)을 수반한다. 이러한 표현의 장점은 기준 이미지들이 다각형 모델의 복잡성에 무관하게 높은 품질을 가진 물체 시각화(visualization)를 제공할 수 있고, 품질을 많이 희생하지 않고서도 일반적으로 사용되는 이미지 압축 기술에 의하여 압축될 수 있다는 것이다. 뿐만 아니라, 렌더링 시간은 기준 이미지와 출력 이미지들의 픽셀 수에 비례하며 물체의 복잡성에 비례하지 않는다.

단점은 실제의 물체(예를 들면, 조각품)에 대한 심도 맵을 얻는 것이 복잡한 과정이고, 그러한 표현들을 다룰 기술이 아직 충분히 개발되어있지 않다는 점에 기인한다.

점 기반(point-based) 방법들은 물체를 명백히 표현된 로컬 다각형 구조를 사용하지 않고 '점들의 구름(points cloud)'으로 표현한다. 이 방법에서, 하나의 이미지 집합은 심도와 함께 이미지 평면에 수직인 방향으로 대응되는 심도 값으로 각 기준 이미지의 각 픽셀을 변환함으로써 물체 표면상에 (대응되는 컬러를 가지는) 점들의 집합을 정의한다. 그러므로 이미지 기반 표현은 점 기반 표현의 특별한 경우이다. 이하에서 이미지 기반 표현이 우리의 접근 방식에 보다 가까우므로 이에 집중하여 설명한다.

문헌을 보면, 양각 텍스쳐 매핑(Relief Texture Mapping)[1], 계층화된 심도 이미지(Layered Depth Images)[2], 계층화된 심도 이미지 트리(Layered Depth Image Tree)[3], 큐스플랫(Qsplat)[4], 서펠스(Surfels)[5], 및 그 밖의 몇 가지선행 기술에서 알려진 것들과 같이, 3차원 객체 표현 및 렌더링을 기술한 참고 문헌 [1]에서 [13]까지에 앞에서 언급한 두 가지 경향이 서술되어 있다. 선행 기술의 접근 방법에 대한 다음의 논의에서, 다음 간행물들을 참고로 하였다.

[1] Manuel M. Oliveira, Gary Bishop, David McAllister.Relief Textures Mapping. Proceedings of SIGGRAPH 2000

[2] Jonathan Shade, Steven Gortler, Li-wei He, Richard Szeliski,Layered Depth Images,Computer Graphics Proceedings, Annual Conference Series, 1998, SIGGRAPH 98, Orlando, Florida, July 19-24, 1998

[3] Chun-Fa Chang, Gary Bishop, Anselmo Lastra.LDI Tree: A Hierarchical Representation for Image-Based Rendering

[4] Szymon Rusinkiewicz, Marc Levoy.QSplat: A Multiresolution Point Rendering System for Large Meshes.SIGGRAPH 2000.

[5] Hanspeter Pfister, Matthias Zwicker, Jeroen van Baar, Markus Gross.Surfels: Surface Elements as Rendering Primitives, Proceedings of SIGGRAPH2000.

[6] Chamberlain et al., Fast Rendering of Complex Environments Using a Spatial Hierarchy, Graphics Interface 96.

[7] Grossman and Dally, Point sample rendering, Rendering Techniques '98.

[8] Lischinski and Rappoport, Image-Based Rendering for Non-DiffuseSynthetic Scenes, Rendering Techinques '98.

[9] M. Levoy and T. Whitted. The Use of Points as Display Primitives. Technical Report TR 85-022, The University of North Carolina at Chapel Hill, Department of Computer Science, 1985.

[10] L. Westover. Footprint Evaluation for Volume Rendering. In Computer Graphics, Proceedings of SIGGRAPH 90, pages 367376. August 1990.

[11] C. I. Connolly. Cumulative generation of octree models from range data. In Proceedings, Intl. Conf. Robotics, pages 25-32, March 1984.

[12] G.H Tarbox and S.N. Gottschlich. IVIS: An integrated volumetric inspection system. In Proceedings of the 1994 Second CAD-Based Vision Workshop, pages 220-227, February 1994.

[13] Curless, B., Levoy, M. A volumetric method for building complex models from range images. In SIGGRAPH 96 (1996), pp. 303312.

[14] C. Bregler,Video Based Animation Techniques for Human Motion, SIGGRAPH2000, in Course 39, 　Image-based modeling and rendering　.

[15] Paul E.Debevec, Camillo J.Taylor, Jitendra Malik,Modeling and Rendering Architecture from Photographs: A hybrid geometry-and image-based approach, SIGGRAPH96.

이미지 기반 방법들의 공통적인 문제는 생성된 이미지에 구멍(hole)이 발생한다는 것이다. 객체의 표면이 모든 다각형(보통 삼각형)의 내부에서 선형적으로보간(interpolated)된다는 의미에서 '연속적인' 다각형 모델과는 달리, 이미지 기반 및 점 기반 표현 방식은 객체의 '불연속적인(discrete)' 근사값을 제공한다. 이미지 기반 표현 방식의 경우, 객체의 표면은, 실제로는, 조그만 컬러 정사각형들, 즉 기준 이미지의 전이된 픽셀들로 근사된다. 그러나 관측 방향이 각 기준 이미지 평면의 수직 방향과 상당히 다를 때, 근사된 정사각형의 투영은 일반적으로 객체 표면의 투영을 완전하게 커버하지 않는다. 그러한 구멍들을 제 1 타입 구멍이라고 부르자. 이미지 기반 표현 방식에서 생성된 결과 이미지에 구멍이 생기는 또 다른 원인은 표면의 어떤 부분들은 어떤 기준 이미지에서도 보이지 않지만 특정한 새로운 시점에서는 보일 수 있다는 것이다(이를 제 2 타입 구멍이라 하자). 이러한 구멍들은 특정한 이미지 기반 표현 방식에서 포함된 정보가 불충분하기 때문이다.

양각 텍스쳐 방법(Relief texture method)[1]은 선형 보간법과 유사한 방법을 사용하여 제 1 타입 구멍이 생기지 않도록 하는데, 이 방법은 상기 보간이 상기 물체의 3차원 투영에서가 아닌 2차원 투영에서 수행되기 때문에 왜곡이 발생할 수 있다. 더 중요한 것은, 제 2 타입 구멍이 이 방법에서는 동일한 방식으로만 취급될 수 있다는 것이다. [1]의 방법에서는 단지 6개의 기준 이미지, 즉 객체를 외접하는 입방체의 표면에 투영한 이미지만을 사용하므로, 만일 어떤 점이 6개의 입방체 표면 모두에서 보이지 않는 경우와 같이 복잡한 모양에 적용되는 경우 심각한 제한을 가져오게 된다.

계층화된 심도 이미지(Layered depth images, LDI)[2]는 제 2 타입 구멍과 관련된 문제를 회피하기 위하여 디자인된 데이터 구조이다. LDI는 그 픽셀들이 기준 이미지 평면의 어떤 고정된 지점으로 투영되는 모든 객체 점들을 포함하는 이미지이다. [1]의 고속 프리워핑(prewarping) 알고리즘은 여기에서도 적용된다. 그러나, 제 1 타입의 구멍에 대한 문제는 여전히 남아있다. ([10]에서 처음 소개된) 스플래팅(splatting)은 제 1 타입 구멍의 문제를 해결하기 위하여 사용된다. 스플랫은 특정 컬러 분포(예를 들면, 조각의 중앙을 중심으로 하는 가우시안 분포, 또는 상수 분포)가 부여된 조그만 2차원 직선 모양 또는 타원형 표면 조각이다. LDI 방법의 단점은 그 표현 방식이 특정한 고정 방향으로의 투영에 기초하기 때문에 발생하는 비대칭성에 있다. 이로 인하여 상기 고정된 방향과 상당히 다른 관측 방향에 대하여 구멍을 채우는 것이 매우 어렵게 된다.

LDI 트리[3]는 각 옥트리(octree) 셀(노드)에 LDI가 부착된 옥트리이다. 계층적 모델을 가지는 장점은 옥트리 내의 모든 LDI가 렌더링되지 않아도 된다는 것이다. 더 멀리에 있는 셀들은 보다 높은 계층의 LDI에 저장된 필터링된 점들을 사용함으로써 덜 자세하게 렌더링된다. 이러한 표현 방식은 많은 기준 이미지들을 사용하여 LDI의 비대칭성을 극복하기 위하여 고안되었다. 그러나 저장공간이 매우 커지게 된다: (36개의 기준 이미지에서 얻어진) 512 X 512 이미지에 대한 LDI 트리는 [3]에서 보고된 바와 같이 30 메가 바이트를 차지하며, 이 중 절반은 트리 구조 자체를 위한 것이다. [3]에서 보고된 바와 같이, 이 객체의 렌더링 시간 또한 크다: (병렬 처리를 사용하지 않은 경우의) 32,250MHz MIPS R10000 프로세서를 가진 실리콘 그래픽스 Onyx2에서 프레임 당 2 내지 3초가 소요된다.

이미지 기반 데이터를 트리 구조로 결합하는 또 다른 방법이 최근에 고안된서펠스(Surfels) 방법[5]이다. 이것은 노드들이 하나의 LDI 트리 대신 3개의 직교 평면에 대응하는 3개의 LDI를 포함하는 계층화된 심도 입방체(layered-depth cube, LDC)인 특정한 트리[8]를 이용한다. [5]에서 보고된 결과들은 81,000개의 삼각형을 포함하는 원래의 모델에 대하여 얻어졌다. 256 X 256 출력 버퍼에 대해 초당 11 프레임(fps)의 프레임 레이트가 펜티엄 III 700MHz 프로세서 상에서 얻어졌다. 서펠스는 대응하는 심도 벡터에 의해 쉬프트된 기준 이미지 픽셀들이다. 트리 구조는 가시적인 부분들을 결정하기 위한 계산 속도를 향상시키기 위해 사용된다. 구멍 채우기(hole filling)는 최인접 이웃(nearest-neighbor) 혹은 가우시안 필터링에 의하여 얻어진다. 스플래팅은 이 구조에서 실행된다. 생성 이미지의 높은 품질이 달성되기 위해 데이터의 양이 늘어나고 속도가 제한되는 단점이 있다.

최근에 도입된 큐스플랫(Qsplat) 표현 방식[4] 또한, 비록 그것이 이미지 기반이라기보다는 다소 점 기반 방법이지만, 언급되어야 한다. 이 접근 방식은 중첩된 공들(nested balls)에 기반을 둔 계층적 점 구조를 사용한다. 적절한 크기의 타원형 스플랫들이 렌더링 단계에서 사용된다. 그러나 [4]에서는 다소 복잡하고 시간이 소요되는 절삭 컬링(truncated culling)이 사용되었다. 또한 데이터 구조가 더 복잡하고 처리를 위해 많은 시간을 필요로 한다.

심도 이미지들의 집합과 같은 범위 데이터로부터 옥트리 구조를 가지는 3차원 모델을 얻는 아이디어와 구현 방법이 [1]내지 [12]에서 개발되었다. [13]은 옥트리를 사용하여 원 데이터로부터 다각형 모델을 구성하는 것을 다루고 있다.

상기의 모든 것은 3차원 정지 이미지 기반 표현에 관련되어 있다.동작(animated) 3차원 객체에 대하서 말하자면, 지금까지 이 문제를 위해서는 매우 적은 수의 이미지 기반 방법들이 제안되어왔다. [14]에서는 거의 일정한 3차원 표면 구조를 위한 표면 이미지 수정에 대한 아이디어가 개발되었다. 이는 동작 객체들의 제한된 클래스에만 적용되고 실제 3차원 객체의 애니메이션에는 적용되지 못한다. [15]에서는 몇 개의 사진을 기반으로 하여 다양한 시점들로부터의 건축물의 뷰를 재구성하는 뷰 의존적(view-dependent) 텍스쳐 맵핑을 이용하여 건축물 영상들이 애니메이션화된다.

따라서, 컴팩트한 저장량, 고품질의 출력 이미지를 가지는 렌더링을 허용하고 애니메이션 목적에 적합한 이미지 기반 표현 방식이 필요하다는 것이 분명해진다.

본 발명이 이루고자 하는 기술적 과제는, 심도 이미지에 기초하고, 상대적으로 작은 저장 영역을 요구하며, 빠르고 고품질이며, 앞서 논의된 선행 기술들의 단점들을 줄이거나 없앤, 렌더링을 할 수 있도록 해주는 3차원 객체 표현 방식을 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는, 좌표 변환의 빠른 계산, 이진 체적 옥트리(BVO)의 사용된 요소의 트리 오더(order)의 자동적인 결정, 및 정확히 정의된 크기의 스플랫들의 생성을 하도록 해주는, 3차원 객체 표현 및 렌더링을 위한 방법 및 장치를 제공하는 것이다.

본 발명이 이루고자 하는 또 다른 기술적 과제는, 빠르고 정확한 렌더링을하도록 해주는, 3차원 동작 객체의 컴팩트한 표현 방식을 위한 방법을 제공하는 것이다.

도 1은 다양한 타입의 원시 데이터를 사용한 3차원 객체 표현 및 렌더링 장치의 기능적 개념도이다.

도 2는 수직한 카메라들로부터 얻어진 한 쌍의 심도 이미지로부터 BVO를 생성하는 예를 나타낸 개념도이다.

도 3은 3차원 포인트들과 여러 BVO 계층 레벨 사이의 2차원 대응도이다.

도 4는 BVO 입방체 및 이를 8개의 서브 입방체로 나눈 것을 나타낸 개념도이다.

도 5a 및 도 5b는 하나의 계층 레벨에서 BVO 버텍스들을 순회하는 순서의 결정을 나타내는 2차원 및 3차원 개념도이다.

도 6은 스플랫들을 시간 및 공간상으로 투영하는 과정 및 스플랫 크기를 정하는 기하학적 조건을 나타내는 개념도이다.

도 7은 3차원 동작 객체를 나타내는 데이터 스트림의 구조 블록도이다.

도 8은 데이터 스트림에 의해 표현되는 동작 3차원 객체의 가시화 과정을 나타내는 흐름도이다.

상기 기술적 과제를 이루기 위한 본 발명에 따른 3차원 객체의 표현 및 렌더링 방법은, 3차원 객체에 대한 원시 데이터를, 객체의 표면에 속한 점들의 좌표에 대응하는 각 BVO 버텍스는 색을 속성으로 가지고, 상기 색은 상기 BVO 버텍스에 대응하는 삼차원 이미지 요소인 복셀을 나타내는 입방체의 내부에 좌표를 가지는 표면 포인트들의 색들의 평균인, 이진 체적 옥트리(BVO) 포맷으로 변환하는 단계; 및 BVO 리프들에 대응하는 복셀들의 중심의 국부 3차원 좌표를 구하고, 상기 구해진 삼차원 좌표들을 복셀 중심의 2차원 좌표 및 투영된 복셀 이미지의 크기의 정보로 변환하며, 각각의 BVO 리프에 대해, 투영된 복셀 이미지 영역을 커버하는 대응되는 스플랫을 생성하고 디스플레이하며, 색 정보를 사용하여, 상기 디스플레이된 복수의 스플랫에 의해 시각화된 3차원 객체를 생성하고 디스플레이할 수 있도록, 상기 옥트리를 루트 버텍스에서 리프들까지 계층적으로 순회하여 상기 BVO를 렌더링하는 단계를 포함하는 것을 특징으로 한다.

3차원 객체의 원시 데이터는 심도 이미지들의 집합, 또는 다각형 모델 데이터, 또는 색을 가진 점들의 집합이다.

뿐만 아니라, 옥트리의 계층적 순회는 보는 이로부터 가장 먼 BVO 복셀로부터 가까운 BVO 복셀의 순서로 행해진다.

변환 과정에 있어서 계산상의 복잡성을 최소화하기 위하여 상기 방법은, 옥트리를 순회하는 단계 이전에

(여기서 T는 좌표 변환의 4X4 행렬,는 각 원소가 0 또는 1인 4차원 벡터, i는 0에서 분석되는 BVO의 높이까지의 값을 가지는 정수)를 계산하는 단계를 포함하며,

3차원 좌표를 2차원 좌표들로 계층적 변환하여 얻어진 결과를 사용하여, 각 BVO 버텍스에 대해,

BVO 루트로부터 리프들까지의 모든 경로를 순회하면서 로칼 좌표 (x, y, z)로 특정되는 모든 BVO 리프들에 대한

(여기서,는 좌표의 이진 레코드를 사용한 다음 표현에 의해 결정된다

) 를 계산할 수 있도록 하는

를 계산하는 단계를 포함한다.

상기 기술적 과제를 이루기 위한 3차원 객체의 표현 및 렌더링 장치는, 3차원 객체의 원시 데이터를 생성하는 3차원 객체 원시 데이터 생성 수단; 상기 3차원 객체 원시 데이터 생성 수단과 연결되어 있고, 객체의 표면에 속한 점들의 좌표에 대응하는 각 BVO 버텍스는 색을 속성으로 가지고, 상기 색은 상기 BVO 버텍스에 대응하는 삼차원 이미지 요소인 복셀을 나타내는 입방체의 내부에 좌표를 가지는 표면 포인트들의 색들의 평균인, 3차원 객체 원시 데이터를 이진 체적 옥트리(BVO) 포맷으로 변환하는 3차원 객체 원시 데이터 변환 수단; 및 상기 3차원 객체 원시 데이터 변환 수단에 연결된 BVO 렌더링 수단을 포함하는 것을 특징으로 한다.

3차원 객체 원시 데이터 생성 수단은 복수의 점들의 3차원 좌표들을 출력하는 3차원 실제 물체 스캐너, 또는 3차원 객체 다각형 모델 생성 수단, 또는 심도 이미지 생성 수단이다.

뿐만 아니라, 상기 기술적 과제를 이루기 위한 3차원 동작 객체 표현 방법은, 일련의 3차원 객체들에 대해, 3차원 동작 객체에 대응하는 일련의 BVO들을 생성하기 위하여, 3차원 객체에 대한 원시 데이터를, 객체의 표면에 속한 점들의 좌표에 대응하는 각 BVO 버텍스는 색을 속성으로 가지고, 상기 색은 상기 BVO 버텍스에 대응하는 삼차원 이미지 요소인 복셀을 나타내는 입방체의 내부에 좌표를 가지는 표면 포인트들의 색들의 평균인, 이진 체적 옥트리(BVO) 포맷으로 변환하는 단계를 포함하는 것을 특징으로 한다.

상기 방법은, 각 입방체 표면에 대해서 동작 객체의 이미지들에 대응하는 비디오 스트림을 얻고, 옥트리 비트 스트림의 각 바이트는 옥트리 버텍스에 대응하고 각 바이트의 각 비트는 각각 상기 옥트리 버텍스에 대해 서브트리가 있는지 없는지를 표시하며 여섯 개의 비디오 스트림들과 옥트리 비트 스트림은 함께 3차원 동작 객체의 표현을 형성하고 여섯 개의 비디오 스트림은 MPEG 비디오 압축 포맷을 이용하여 컴팩트한 형태로 저장되며 옥트리 비트 스트림은 엔트로피 압축을 사용하여 저장되는 옥트리 비트 스트림을 생성하도록, 일련의 BVO들 중 각각의 BVO를 BVO 루트 버텍스에 대응하는 입방체의 표면들에 투영하는 단계를 더 포함한다.

뿐만 아니라, 3차원 동작 객체는 각 BVO 버텍스에 대한 색을 결정하고 얻어진 색을 가진 BVO를 투영하여 3차원 동작 객체를 시각화할 수 있도록 여섯 개의 기준 이미지 스트림들을 BVO에 투영함으로써 시각화된다.

본 발명은 첨부된 도면들과 함께 바람직한 실시예에 대한 다음 상세한 설명을 참조함으로써 더욱 명확해 질 것이다.

컴팩트한 데이터 스트림 표현 방식은 BVO의 기하학적 구성 요소와 색채 구성 요소를 분리하여, 기하학적 구성 요소의 압축에는 옥트리의 이진 표현 방식을 사용하고 색채 구성 요소의 압축에는 2차원 이미지 압축 알고리즘을 사용하는 것에 의해 달성된다.

도 1을 참조하면, 여러 가지 타입의 원시 데이터를 사용하여 3차원 객체를 표현하고 렌더링하는 장치는, 복수의 점들의 3차원 좌표를 출력하는 실제 물체 3D 스캐너(1), 다각형 모델 생성 수단(2), 또는 심도 이미지 생성 수단(3) 등과 같은 3차원 객체 소스 데이터 생성 수단, 3차원 객체 원시 데이터를 BVO 포맷으로 변환하는 수단(4)을 포함하여 구성된다. 상기 변환 수단(4)은 3개의 좌표 x, y, z 및 예를 들어 RGB 같은 3개의 색 좌표를 포함하는 복수의 6차원 벡터들을 생성하는 수단(5), 및 BVO 구성 수단(6)을 포함한다. 상기 BVO 구성 수단(6)은 이미지 버퍼를 포함한 BVO 시각화 수단(7), 및 좌표 변환 행렬 생성 수단(8)과 연결된다.

도 2는 두 개의 수직한 카메라를 사용한 경우에서 실제 표면에서 심도 이미지가 생성되는 방법 및 이들이 결합되어 복셀들을 생성하는 방법을 도시한다. 도 2에 도시된 것은: 실제 물체의 표면의 일부(9); (도시되지 않은) 첫 번째 카메라에 의해 사진 찍혀진 실제 물체의 표면에 근사된 직사각형들의, 심도 이미지 픽셀들의 이산 값들에 대응되는 투영(10); (도시되지 않은) 두 번째 카메라에 의해 사진 찍혀진 표면(9)의 샘플된 심도 값들(11); 두 카메라들에 의해 사진 찍혀진 표면들의 심도 값들의 결합된 값들에 대응하는 복셀들(12)이다.

도 3은 3차원 포인트들과 BVO의 여러 가지 스케일 레벨의 대응도를 나타낸다(2차원 도시). 도 3에 도시된 것은: 3차원 좌표를 가진 복수 개의 포인트들(13); 포인트들에 대응되는 BVO 구조(14); 색 정보를 포함하고 BVO 노드에 위치하는 채워진 복셀들(16)을 가진 BVO의 스케일 레벨들(15)이다.

도 4는 BVO 입방체(17) 및 이를 8개의 서브 입방체들(18)로 나눈 것을 도시한다.

도 5a, b는 단일 계층 레벨에서 BVO의 순회 순서를 어떻게 정하는지를 도시한다. 도 5a, b에 도시된 것은: 투영면(19); 투영 방향(20); BVO 버텍스 중 하나에 대응하며, 표면에 평행한 면들(22,23,24)에 의해 분할된 입방체(21); 분석되는 입방체의 8개의 서브-입방체 각각의 순회(투영) 순서(25)이다.

도 6은 스플랫들이 시간 및 공간상으로 어떻게 투영하는가, 및 스플랫 크기를 결정하는 기하학적 조건들을 도시한다. 도 6에 도시된 것은: 전체 8X8 BVO(26); 복셀(16); 스플랫(27); 수직 투영 방향(28); 이미지 버퍼(29)이다.

도 7은, 동작 객체의 기하학적 구조 변화에 대응되는 BVO 비트 스트림들의 시퀀스(31) 및 비디오 스트림(각 애니메이션 프레임에 대한 기준 이미지들의 시퀀스, 32)을 포함하는 BVO 애니메이션 시퀀스(30)의 구조를 도시한다.

도 8은 데이터 스트림에 의해 표현되는 동작 3차원 객체의 가시화 과정의 단계 33 내지 단계 39까지의 단계를 나타내는 흐름도이다.

본 발명에서 요구되는 3차원 객체 표현 방법은 BVO로, 이는 현재 사용되는 대다수의 3차원 모델 표현 방식에서 얻어질 수 있다. 도 1은 3차원 스캐너(1)의 데이터, 수단(2)에서 생성된 다각형 모델, 수단(3)에서 생성된 심도 이미지의 집합과 같은 입력 표현 방식을 생성하는 전통적인 수단들을 도시하였다. BVO 응용은 주로 심도 이미지의 집합을 입력 표현으로 사용하는 것에 목적이 맞추어진다. 심도 이미지에 의한 모델 표현 방식의 장점은, 어려운 모델링 과정 대신, 실제 모델들의 사진으로부터 직접 3차원 모델들을 생성할 수 있다는 점일 것이다.

BVO를 생성하기 위하여, 상기 수단 1,2,3 중 하나에 의해 제공된 입력 표현 방식은 3개의 좌표 x, y, z 및 3개의 색 좌표 RGB를 원소로 가지는 복수 개의 6차원 벡터들을 생성하는 수단(5)의 도움을 받아 중간 표현 방식으로 변환된다. BVO를 구성하기 위해, 계층 n이 지정되어야 하며, 로칼 BVO 좌표에서 BVO 입방체의 에지 길이는 L = 2ⁿ이 된다. 중간 표현 방식은 다음과 같은 방식으로 수단(5)에 의해 생성된다.

다각형 모델에 대하여:

이동 및 크기 변환을 사용하여, 모델 다각형들의 모든 버텍스들은 하나의 버텍스는 좌표계의 원점에 위치하고 반대편 버텍스는 좌표 (L, L, L)에 위치하는 입방체 안에 위치하도록 만들어진다. 다각형 부분분할 방법에 의해, 모든 다각형의 두 인접한 버텍스 사이의 거리는 1보다 크지 않도록 만들어진다. 원시 다각형 모델의 텍스쳐 및 텍스쳐 좌표들을 사용하여 다각형의 각 버텍스에 색이 속성으로 부가된다.

심도 이미지에 대하여:

이미지들의 공통 좌표계로 재계산한 후에 픽셀에 대응하는 직사각형의 선형 크기가 1을 초과하지 않고 모든 직사각형들이 BVO 입방체에 둘러싸인 공간 내에 위치하도록, 심도 이미지들은 크기 조절되고 이동된다. 공통 좌표계로의 재계산을 위해, 이미지를 얻기 위한 카메라의 위치 정보 및 이미지의 픽셀에 대응하는 심도 값들이 사용된다. 이를 통해 색 좌표 및 모든 이미지에 공통되는 좌표를 가진 복수 개의 점들이 얻어진다. 각 점들의 색 좌표는 원시 크기 조절된 이미지의 픽셀의 색에 대응된다.

3차원 모델링 스캐닝 데이터에 대하여:

스캐닝된 모델의 모든 점들은 이동 및 크기 변환을 사용하여 하나의 버텍스는 좌표계의 원점에 위치하고 반대편 버텍스는 좌표 (L, L, L)에 위치하는 BVO 입방체 내부 영역에 위치하도록 만들어진다.

좌표 x, y, z가 BVO 입방체에 포함된 복수 개의 점들 {x, y, z, R, G, B}의 형태를 가지는 중간 표현 방식을 얻은 후에, 수단(6)은 도 3에 도시된 BVO를 구성한다. 입방체(17)는 루트 버텍스 다음의 계층적 레벨에 있는 버텍스에 대응하여 8개의 서브-입방체(18)로 계층적 분할되어(도 4), 첫 번째 스케일 레벨의 BVO가 얻어진다. BVO는 높이가 증가하는 일련의 스케일 레벨들(도 3의 15)로 생각할 수 있으며, 여기서 작은 높이를 가지는 트리들의 사용이 반드시 더 큰 높이를 가진 트리들을 아래 나열된 모든 알고리즘에 사용하여 처리할 것을 필요로 하지는 않는다.

아래에 설명될 과정에서, BVO 서브트리는 이 서브트리에 대응하는 입방체가 적어도 하나의 점(13)을 포함하여 구성될 때만 저장되며, 반대로 BVO 서브트리가 저장될 때에만 이 서브트리에 대응하는 입방체가 적어도 하나의 점(13)을 포함하여 구성된다. BVO 구조(14)는 복수 개의 점들(13)로부터 얻어진다. (단지 제일 마지막 것만이 아니라) 모든 BVO 버텍스에 대해 색이 속성으로 부여된다. 각 버텍스에 속성으로 주어진 색은 이 버텍스에 대응하는 입방체에 속하는 점들의 색의 평균값이다.

BVO 렌더링 수단(7)은 수단(8)에 의해 지정된 3차원 좌표 시스템 변환을 사용하여 좌표 변환 4X4 행렬 T를 생성한다. 변환에 의해 생성된 좌표는 BVO에 대한 상대적인 시점의 위치를 지정한다.

렌더링을 하기 위하여, BVO의 루트 버텍스부터 트리의 리프들까지 모든 버텍스를 순회하여야 한다. 리프들을 순회하는 동안, 스플랫이라 지칭되는 특정 패턴이 이미지 버퍼(29)에 저장된다. 도 6에 도시된 바와 같이, 분석되고 있는 버텍스의 스플랫(27)은 분석되는 버텍스에 대응하는 투영 입방체(26)의 영역을 커버해야 한다. 스플랫의 색은 분석되는 BVO 버텍스의 색에 대응되어야 한다. 스플랫의 모양은 이미지 버퍼에 빨리 저장될 수 있도록 선택되며, 일반적으로 정사각형 또는 원형이다. 스플랫(27) 중심의 좌표는 이 버텍스에 대응하는 투영 입방체(26)의 중심의 좌표에 대응해야 한다.

시점에 대한 입방체의 상대적 위치를 고려한 정확한 BVO 렌더링을 제공하기 위하여, 렌더링 과정에 있어서 이미지 버퍼의 각 점들에 있어서 가장 마지막으로 투영된 스플랫은 이미지 버퍼에 있는 점들에 대해 먼저 투영된 다른 스플랫보다 뷰어에게 더 가까운 곳에 위치하도록 주의를 기울여야 한다. BVO 렌더링 속도는 실질적으로 입방체 중심에 대응하는 점들의 좌표 타입 변환의 속도에 의존한다. 하드웨어 그래픽 가속기를 사용하여, 앞서 언급된 문제들은 하드웨어 z-버퍼를 사용하여 정확한 렌더링을 제공하고, 하드웨어의 도움을 받아 행렬 곱셈을 가속하여 입방체 중심점의 변환을 계산함으로써 해결될 수 있다.

특별한 그래픽 가속기들을 채용하지 않는 BVO 렌더링 방법은 BVO 순회의 올바른 순서를 결정하는 방법과 입방체 중심 좌표의 빠른 계층적 좌표 타입 변환 방법을 수반한다. 본 발명에 따른 BVO 순회의 순서의 사용은 z-버퍼에 의존하지 않고서 올바른 스플랫의 투영을 하도록 해 준다.

스플랫의 올바른 투영을 가능하게 하는 BVO 순회의 순서를 결정하는 방법은 각 BVO 버텍스에 대해 그 루트 버텍스가 이 버텍스를 시초로 하는 서브 트리의 순회의 순서를 결정하는 것에 기초한다. 도 5에 도시된 바와 같이, 분석되는 BVO 버텍스에 대응되는 입방체(21)의 버텍스들을 순회하는 순서를 결정하기 위해, 입방체(21)는 3가지 가능한 방법들 모두를 사용하여 평면에 의해 두 개의 같은 평행 육면체(parallelepiped)로 나누어진다. 도 5a, 5b에서, 평면은 22,23,24로 표시된다. 각 부분에 대해 올바른 투영 순서가 결정되며, 이는 평행 육면체의공통면(22,23)의 법선(normal)과 투영 방향(19) 사이의 각의 방향을 결정하는 것에 의해 수행될 수 있다. 이 동작을 수행하고 나면, 분석되는 입방체(21)의 8개의 서브 입방체 각각을 순회하는 순서(25)가 세 가지 경우들 모두에서 얻어진다.

상기 입방체 투영의 순서를 결정하는 과정은, 다음에 설명되는 BVO 순회의 순서 결정과 빠른 계층적 변환을 포함하는 전체 렌더링 과정에 따라 재귀적으로 수행된다:

a. 시점의 각 변화에 따라 전처리를 수행한다.

b. 루트 버텍스를 현재 버텍스로 정한다.

c. 현재 버텍스에 대응하는 8개의 서브 입방체 모두를 투영하는 올바른 순서를 결정한다. 수직 투영(orthographic projection)에서는, 모든 노드들은 대응하는 루트 버텍스의 입방체 부분분할로부터 이 순서를 내려받는다.

d. 현재 버텍스의 모든 서브-입방체에 대해 다음을 수행한다:

1) 이 버텍스에 대해 필요한, 입방체 중심 좌표들의 변환을 계산한다.

2) 만일 현재 버텍스가 트리의 리프이면, 위에서(도 6) 설명된 바대로 스플랫을 투영한다.

3) 만일 현재 버텍스가 트리의 리프가 아니면, 이 서브-입방체에 대응하는 버텍스를 현재 버텍스로 정하고, (b) 단계부터 재귀적으로 수행한다.

a 단계에서 d1 단계의 동작들은 다음과 같은 방식으로 수행된다. T는 4X4 변환 행렬를 표시한다. 이 변환은 4차원 공간에서의 선형 변환을 나타낸다. BVO 높이를 n이라 하고, 복셀의 로칼 법선 좌표를 v라고 하자. 복셀 좌표가 표준적인 암묵적 이진 형태(standard implicit binary form, 각 바이트가 루트 버텍스를 포함한 내부 옥트리 버텍스에 대응되며, 바이트의 각 비트는 각각 이 옥트리 버텍스의 존재 또는 부존재를 나타내는, BVO 포맷의 표준적인 이진 레코드)로 저장되어 있고, 노드 좌표를 수학식 (1)과 같이 다시 쓴다고 가정하자.

(1)

그러면, 바람직한 버텍스 좌표의 변환은

(2)

의 형태를 가진다.

여기서,는 대응하는 버텍스의 좌표(즉, 입방체 중심의 좌표)의 이진 형태의 성분들이며,는 고정된 수의 성분 i에 대한 이 좌표 성분들의 벡터이다. 각 BVO 버텍스에서, F_i는

(3)

과 같이 계산된다.

고정된 T에 대해, 표현식 (3)의 각 성분들은 전처리 단계 (a)에서 계산된다.

(4)

이 표현식들은 nX8 테이블에 저장되며, 변환은 모든 버텍스에 대해 단지 테이블 참조와 덧셈을 함으로써 식(3)을 계산하는 것으로 수행된다. 결과적으로, 루트 버텍스에서 BVO 리프들까지 모든 경로를 통과하고 나면, (x, y, z) 좌표로 특정되는 각 BVO 리프에 대해

를 얻을 수 있다.

상기 좌표 변환 방법은 옥트리의 모든 리프에 대해 직접 행렬 곱셈을 하는 것에 비해 계산 능력에 있어서 10배 이상의 향상을 가져온다.

앞서 언급된 BVO 다중 스케일 방법은 성질상 BVO로 표현되는 3차원 모델의 원하는 디테일 레벨 및 모델에서 뷰어까지의 거리에 비례하여 특정 다중 스케일 레벨을 직접 선택하는 것을 가능하게 한다는 점을 언급하여야 할 것이다.

3차원 동작 객체의 표현 방법은 다음과 같이 수행된다. 일련의 3차원 객체에서의 각 3차원 객체의 원시 데이터가 BVO 포맷으로 변환된다. 각 3차원 애니메이션 프레임에 대해서, 객체의 입방체 면들에 대한 투영들에 대응하는 6개의 심도 이미지가 생성된다. 이에 따라, 비디오 스트림이, 각 입방체 면마다 하나씩 생성되며, 각 프레임마다 6개의 심도 맵들이 생성된다. 각 프레임에 대해, 상기 설명한 바대로 BVO 포맷이 비트 스트림 형태로 생성된다. 비디오 스트림들은 MPEG2와 같은 효과적인 압축 방법의 도움을 받아 압축된다. 도 8에 도시된 바와 같이, BVO 애니메이션 시퀀스(30)는 동작 객체의 기하학적 구조 변화에 대응되는 비트 스트림의 시퀀스(31), 및 앞서 언급된 6개의 비디오 스트림들(애니메이션의 각 프레임의 기준 이미지들의 시퀀스, 32)로 이루어진다.

3차원 동작 객체의 시각화 방법이 도 8에 도시된다. 6개의 기준 이미지들의 데이터와 위에서 설명된 것과 같이 생성된 비트 스트림의 데이터들이 애니메이션 시퀀스에서 추출된다(33). 6개의 이미지들의 압축을 풀고 BVO 구조가 생성된다(34). 각 BVO 버텍스의 색을 결정하기 위하여, 얻어진 6개의 기준 이미지 스트림들이 BVO 상에 투영된다(35). 압축이 풀려진 BVO를 시각화할 것인가 결정한다(36). 만일 시각화할 것이면, 동작 객체 프레임에 대응하는 BVO가 시각화된다(37). 다음 프레임을 읽는 것이 필요한 것인지 결정한다(38). 만일 그렇다면 33단계로 돌아가고, 그렇지 않다면 39 단계로 가서 만일 시점이 변화하면 시각화 단계(37)로 돌아간다.

실험에 의하면, 본 발명에 따른 방법에 의해 얻어진 단일 BVO 포맷 프레임의 크기는 가장 최근의 선행 기술인 수직 LDI 포맷에 비해 4 내지 10배 정도 작다. BVO 렌더링 속도는, 256X256 해상도를 가지는 기준 이미지 및 출력 이미지에 대해, 펜티엄 셀러론 500MHz 컴퓨터(하드웨어 기반 가속을 사용하지 않은 경우, 고정 스케일 레벨에서)에서 약 20fps이며, 이는 역시 하드웨어 기반 가속에 의존하지 않은 경우의 선행 기술의 방법에서의 렌더링 속도보다 2-3배 빠른 것이다.

본 발명에 의한 3차원 정지 및 동작 객체의 계층적 이미지 기반 표현 및 렌더링 방법 및 장치에 의하면, BVO의 기하학적 구성 요소와 색채 구성 요소를 분리함으로써 심도 이미지에 기초하고, 상대적으로 작은 저장 영역을 요구하며, 빠르고 고품질의 렌더링이 가능하다.

Claims

3차원 객체의 표현 및 렌더링 방법에 있어서,

(a) 3차원 객체에 대한 원시 데이터를, 객체의 표면에 속한 점들의 좌표에 대응하는 각 BVO 버텍스는 색을 속성으로 가지고, 상기 색은 상기 BVO 버텍스에 대응하는 삼차원 이미지 요소인 복셀을 나타내는 입방체의 내부에 좌표를 가지는 표면 포인트들의 색들의 평균인, 이진 체적 옥트리(BVO) 포맷으로 변환하는 단계; 및

(b) BVO 리프들에 대응하는 복셀들의 중심의 로칼 3차원 좌표를 구하고, 상기 구해진 삼차원 좌표들을 복셀 중심의 2차원 좌표 및 투영된 복셀 이미지의 크기의 정보로 변환하며, 각각의 BVO 리프에 대해, 투영된 복셀 이미지 영역을 커버하는 대응되는 스플랫을 생성하고 디스플레이하며, 색 정보를 사용하여, 상기 디스플레이된 복수의 스플랫에 의해 시각화된 3차원 객체를 생성하고 디스플레이할 수 있도록, 상기 옥트리를 루트 버텍스에서 리프들까지 계층적으로 순회하여 상기 BVO를 렌더링하는 단계를 포함하는 것을 특징으로 하는 3차원 객체의 표현 및 렌더링 방법.
제 1 항에 있어서,

상기 3차원 객체의 원시 데이터는 심도 이미지들의 집합, 또는 다각형 모델 데이터, 또는 색을 가진 점들의 집합인 것을 특징으로 하는 3차원 객체의 표현 및 렌더링 방법.
제 1 항에 있어서, 상기 옥트리의 계층적 순회는 보는 이로부터 가장 먼 BVO 복셀로부터 가까운 BVO 복셀의 순서로 행해지는 것을 특징으로 하는 3차원 객체의 표현 및 렌더링 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 옥트리의 순회 전에 상기 방법은

(여기서 T는 좌표 타입 변환의 4X4 행렬,는 각 원소가 0 또는 1인 4차원 벡터, i는 0에서 분석되는 BVO의 높이까지의 값을 가지는 정수)를 계산하는 단계를 포함하며,

3차원 좌표를 2차원 좌표들로 계층적 변환하여 얻어진 결과를 사용하여, 각 BVO 버텍스에 대해, BVO 루트로부터 리프들까지의 모든 경로를 순회하면서

를 계산하고,

로칼 좌표 (x, y, z)로 특정되는 모든 BVO 리프들에 대한

를 계산하는 단계를 포함하는 것을 특징으로 하는 3차원 객체의 표현 및 렌더링 방법.
3차원 객체의 표현 및 렌더링 장치에 있어서,

3차원 객체의 원시 데이터를 생성하는 3차원 객체 원시 데이터 생성 수단;

상기 3차원 객체 원시 데이터 생성 수단과 연결되어 있고, 객체의 표면에 속한 점들의 좌표에 대응하는 각 BVO 버텍스는 색을 속성으로 가지고, 상기 색은 상기 BVO 버텍스에 대응하는 삼차원 이미지 요소인 복셀을 나타내는 입방체의 내부에 좌표를 가지는 표면 포인트들의 색들의 평균인, 3차원 객체 원시 데이터를 이진 체적 옥트리(BVO) 포맷으로 변환하는 3차원 객체 원시 데이터 변환 수단; 및

상기 3차원 객체 원시 데이터 변환 수단에 연결된 BVO 렌더링 수단을 포함하는 것을 특징으로 하는 3차원 객체의 표현 및 렌더링 장치.
제 5 항에 있어서,

상기 3차원 객체 원시 데이터 생성 수단은 복수의 점들의 3차원 좌표들을 출력하는 3차원 실제 물체 스캐너인 것을 특징으로 하는 3차원 객체의 표현 및 렌더링 장치.
제 5 항에 있어서,

상기 3차원 객체 원시 데이터 생성 수단은 3차원 객체 다각형 모델 생성 수단인 것을 특징으로 하는 3차원 객체의 표현 및 렌더링 장치.
제 5 항에 있어서,

상기 3차원 객체 원시 데이터 생성 수단은 심도 이미지 생성 수단인 것을 특징으로 하는 3차원 객체의 표현 및 렌더링 장치.
3차원 동작 객체의 표현 방법에 있어서,

(a) 일련의 3차원 객체들에 대해, 3차원 동작 객체에 대응하는 일련의 BVO들을 생성하기 위하여, 3차원 객체에 대한 원시 데이터를, 객체의 표면에 속한 점들의 좌표에 대응하는 각 BVO 버텍스는 색을 속성으로 가지고, 상기 색은 상기 BVO 버텍스에 대응하는 삼차원 이미지 요소인 복셀을 나타내는 입방체의 내부에 좌표를 가지는 표면 포인트들의 색들의 평균인, 이진 체적 옥트리(BVO) 포맷으로 변환하는 단계; 및

(b) 상기 BVO들 중 각각의 BVO를 BVO 루트 버텍스에 대응하는 입방체의 표면들에 투영하는 단계를 포함하는 것을 특징으로 하는 3차원 동작 객체의 표현 방법.
제 9 항에 있어서, 상기 (b)단계는,

각 입방체 표면에 대해서 동작 객체의 이미지들에 대응하는 비디오 스트림을 얻고, 옥트리 비트 스트림의 각 바이트는 옥트리 버텍스에 대응하고 각 바이트의 각 비트는 각각 상기 옥트리 버텍스에 대해 서브트리가 있는지 없는지를 표시하며 여섯 개의 비디오 스트림들과 옥트리 비트 스트림은 함께 3차원 동작 객체의 표현을 형성하는 옥트리 비트 스트림을 생성하도록, 일련의 BVO들 중 각각의 BVO를 BVO 루트 버텍스에 대응하는 입방체의 표면들에 투영하는 것을 특징으로 하는 3차원 동작 객체의 표현 방법.
제 9 항에 있어서,

여섯 개의 비디오 스트림을 MPEG 비디오 압축 포맷을 이용하여 컴팩트한 형태로 저장하며, 옥트리 비트 스트림은 엔트로피 압축을 사용하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 3차원 동작 객체의 표현 방법.
제 10 항 또는 제 11 항에 따른 방법에 의해 표현된 3차원 동작 객체를 시각화하는 방법에 있어서,

비디오 데이터의 압축을 풀고, 각 BVO 버텍스의 색을 결정하기 위하여 6개의 기준 이미지 스트림들을 BVO에 투영하며, 3차원 동작 객체를 시각화하기 위하여 색을 가진 BVO를 투영하는 단계를 포함하는 것을 특징으로 하는 3차원 동작 객체를 시각화하는 방법.
3차원 동작 객체를 표현하는 방법에 있어서,

(a) 3차원 객체의 시퀀스에 대해 3차원 동작 객체에 대응하는 BVO들의 시퀀스를 생성하기 위해, 일련의 3차원 객체에서의 각 3차원 객체의 원시 데이터를, 객체의 표면에 속한 점들의 좌표에 대응하는 각 BVO 버텍스는 색을 속성으로 가지고, 상기 색은 상기 BVO 버텍스에 대응하는 삼차원 이미지 요소인 복셀을 나타내는 입방체의 내부에 좌표를 가지는 표면 포인트들의 색들의 평균인, BVO 포맷으로 변환하는 단계; 및

(b) BVO들의 시퀀스 중의 각 BVO를, 각 입방체 면에 대해 동작 객체의 이미지들에 대응하는 비디오 스트림들을 얻고, 각 바이트는 옥트리 버텍스에 대응하고 바이트의 각 비트는 각각 옥트리의 버텍스의 서브트리의 존재 또는 부존재를 나타내며 6개의 비디오 스트림들과 옥트리 비트 스트림은 같이 3차원 동작 객체의 표현을 형성하는 옥트리 비트 스트림을 생성하기 위해, BVO의 루트 버텍스에 대응하는 입방체의 면들에 투영하는 단계를 포함하는 것을 특징으로 하는 3차원 동작 객체를 표현하는 방법.
제 13 항에 있어서,

상기 6개의 비디오 스트림들은 MPEG 비디오 압축 포맷을 사용한 컴팩트한 형태로 저장되며, 상기 옥트리 비트 스트림은 엔트로피 압축 포맷으로 저장되는 것을 특징으로 하는 3차원 동작 객체를 표현하는 방법.
제 13 항 또는 제 14 항에 따른 방법에 의해 표현된 3차원 동작 객체를 시각화하는 방법에 있어서,

비디오 데이터의 압축을 풀고, 각 BVO 버텍스의 색을 결정하기 위하여 6개의 기준 이미지 스트림들을 BVO에 투영하며, 3차원 동작 객체를 시각화하기 위하여 색을 가진 BVO를 투영하는 단계를 포함하는 것을 특징으로 하는 3차원 동작 객체를 시각화하는 방법.