KR100984473B1 - 토폴로지 이미지 모델 - Google Patents
토폴로지 이미지 모델 Download PDFInfo
- Publication number
- KR100984473B1 KR100984473B1 KR1020047021728A KR20047021728A KR100984473B1 KR 100984473 B1 KR100984473 B1 KR 100984473B1 KR 1020047021728 A KR1020047021728 A KR 1020047021728A KR 20047021728 A KR20047021728 A KR 20047021728A KR 100984473 B1 KR100984473 B1 KR 100984473B1
- Authority
- KR
- South Korea
- Prior art keywords
- manifold
- cell
- model
- dimensional
- boundary
- Prior art date
Links
- 230000001413 cellular effect Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000005094 computer simulation Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 abstract description 36
- 238000007906 compression Methods 0.000 abstract description 36
- 230000006837 decompression Effects 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000844 transformation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000543 intermediate Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
N-차원 오브젝트의 복셀 표현을 특정한 그래프 형태인 셀룰러 공간을 포함하는 컴퓨터 모델로 변환하는 방법이 개시된다. 셀룰러 공간의 각 에지에 첨부된 지시자는, 경계가 오브젝트에 속하는지를 나타낸다. 이것은 비디오 시퀀스들의 3 차원 압축과 인터넷 비디오 시퀀스 검색에 유용하다.
복셀, 셀룰러 공간 모델, 지시자, 컴퓨터 표현, 컴퓨터 모델
Description
본 발명은 N-차원 제 1 오브젝트(object)의 컴퓨터 표현(computer representation)을 제 1 오브젝트의 컴퓨터 모델로 변환하는 방법에 관한 것이다.
본 발명은 또한 N-차원 오브젝트의 컴퓨터 표현을 오브젝트의 압축 모델로 변환하는 압축 방법에 관한 것이다.
본 발명은 또한 압축된 비디오 신호를 N-차원 오브젝트의 컴퓨터 표현으로 압축해제(decompress)하는 방법에 관한 것이다.
본 발명은 또한 제 1 복수 셀들을 갖는 제 1 셀룰러 공간 모델을 제 2 복수 셀들을 갖는 제 2 셀룰러 공간 모델로 변환하는 방법에 관한 것이다.
본 발명은 또한 N-차원 제 1 오브젝트의 컴퓨터 표현을 제 1 오브젝트의 컴퓨터 모델로 변환하는 방법을 수행하는 컴퓨터 프로그램에 관한 것이다.
본 발명은 또한 N-차원 오브젝트의 컴퓨터 표현을 오브젝트의 압축 모델로 변환하는 압축 방법을 수행하는 컴퓨터 프로그램에 관한 것이다.
본 발명은 또한 압축된 비디오 신호를 N-차원 오브젝트의 컴퓨터 표현으로 압축 해제하는 방법을 수행하는 컴퓨터 프로그램에 관한 것이다.
본 발명은 또한 압축된 비디오 신호를 N-차원 오브젝트의 컴퓨터 표현으로 압축 해제하는 방법을 수행하는 컴퓨터 프로그램에 관한 것이다.
본 발명은 또한 N-차원 제 1 오브젝트의 컴퓨터 표현을 제 1 오브젝트의 컴퓨터 모델로 변환하는 장치에 관한 것으로, 상기 장치는:
- 제 1 오브젝트의 컴퓨터 표현을 획득하는 획득 수단;
- 제 1 오브젝트의 컴퓨터 표현을 변환하는 처리 수단; 및
- 컴퓨터 모델을 출력하는 출력 수단을 포함한다.
본 발명은 또한 압축된 비디오 신호를 N-차원 오브젝트의 컴퓨터 표현으로 압축해제하는 비디오 압축해제 장치에 관한 것으로, 상기 비디오 압축해제 장치는:
- 압축된 비디오 신호를 획득하는 획득 수단;
- 압축된 비디오 신호에 기초하여 컴퓨터 표현을 생성하는 처리 수단; 및
- 컴퓨터 표현을 출력하는 출력 수단을 포함한다.
본 발명은 또한 디지털화된 N-차원 오브젝트를 표현하기 위해 셀룰러 공간을 포함하는 데이터 표현에 관한 것이다.
본 발명의 실시예는 M Ghanbari에 의한 "Video Coding, an introduction to standard codes" The Institution of Electrical Engineers, 1999, ISBN 0 85296 762 4, 46-48 페이지에 공지된다.
상기 실시예에서, 컴퓨터 표현은, 연속적인 순간들에서 카메라의 이미지 평면에 투사함으로써 기록된 공간에서 3-차원 오브젝트들의 기록들을 나타내는 2차원 이미지들의 세트의 디지털화된 표현이다. 이미지들은 그레이 값들이 할당된 화소 위치들의 매트릭스로 구성된다.
디지털 텔레비전 송신 또는 DVD 디스크 상의 기록과 같은 공지된 방법에 대한 대부분의 애플리케이션들에서, 화소들의 고정된 블록들은 소적응 패턴에 따라 컴퓨터 모델로 변환된다. 애플리케이션들의 일 예는 특히, 컴퓨터 모델이 이전 화소들의 선험적으로 고정된 블록들에 대해 계산된 이산 코사인 변환(discrete cosine transform ;DCT) 계수들을 포함하는 MPEG2 표준의 사용을 만드는 DVD 디스크 상의 기록이다. 공지된 시스템의 다른 애플리케이션은, 더 큰 적응력을 허용하는 MPEG4 표준에 따른 비디오 애플리케이션이다. 예를 들면, 2차원 오브젝트들은 MPEG4의 오브젝트-기반 방법으로 부호화될 수 있다. MPEG4 표준은 또한 비디오 시퀀스에서 인간 얼굴의 압축 모델로서 시간에 대해 살아있는 인간의 얼굴의 3차원 모델을 허용한다. 현재 MPEG4 압축 시스템들의 결점은 비디오 큐브에서 3차원 오브젝트들의 복셀 표현(voxel representation)을 자동적으로 모델링하는 만족스러운 방법이 없다는 것이다. 복셀 표현은 복셀들로서 표현되는 기본 치수들의 큐브들의 한 세트로서 3차원 오브젝트들을 표현한다. 복셀은 예를 들어, 비디오 이미지에서 화소의 그레이 값을 나타내는 수와 연관된 3차원 기하학적 위치들로서 규정될 수 있다. 비디오 큐브는, 시간에 있어서 서로 연속하는 복수의 비디오 이미지들을 차례로 위치시킴으로써 형성된 복셀들의 큐브이다.
본 발명의 제 1 목적은 특히 사용자 편의 컴퓨터 모델에 의해 N-차원 오브젝트들을 모델링하는 변환 방법을 제공하는 것이다.
본 발명의 제 2 목적은 특히 N-차원 오브젝트를 압축하는 효율적인 방법을 제공하는 것이다.
본 발명의 제 3 목적은 특히 효율적으로 압축된 비디오 신호를 압축해제(decompress)하는 방법을 제공하는 것이다.
본 발명의 제 4 목적은 특히 연관 N-차원 오브젝트들의 변환들이 효율적으로 모델링되도록 제 1 셀룰러 공간 모델을 제 2 셀룰러 공간 모델로 변환하는 방법을 제공하는 것이다.
본 발명의 제 5 목적은 특히 변환 방법을 수행하기 위한 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 제 6 목적은 특히 압축 방법을 수행하기 위한 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 제 7 목적은 특히 압축해제 방법을 수행하기 위한 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 제 8 목적은 특히 변환 방법을 수행하기 위한 장치를 제공하는 것이다.
본 발명의 제 9 목적은 특히 압축해제 방법을 수행하기 위한 장치를 제공하는 것이다.
본 발명의 제 10 목적은 특히 N-차원 오브젝트를 표현하기 위해 용이하게 처리 가능한 데이터 표현을 제공하는 것이다.
제 1 목적은, 컴퓨터 모델 변환이 셀룰러 공간 모델(cellular space model)을 생성하는 단계를 포함하며, 상기 셀룰러 공간 모델은 N과 동일한 차원을 갖는 제 1 매니폴드(manifold)에 속하는 제 1 셀과, 상기 제 1 매니폴드의 경계에 위치한 N-1과 동일한 것보다 낮은 차원을 갖는 제 2 매니폴드에 속하는 제 2 셀과, 상기 제 2 매니폴드가 상기 제 1 매니폴드의 경계 부분을 형성하는지를 지시하는 지시자가 할당된, 상기 제 1 셀과 상기 제 2 셀 사이에 에지를 갖는 것으로 구현된다.
매니폴드(manifold)는 차원 D을 갖는 포인트들의 집합에 대한 수학적 명칭이다. 매니폴드의 한 예는 평면(plane)이다. 비디오 큐브 내 평면의 예는 정사각형 오브젝트의 상부 측에서부터 카메라에 의해 픽업된 연속적인 비디오 이미지들 내 투사로 구축된 평면이다. 개개의 비디오 이미지 각각에서, 상기 투사는 라인을 형성하고, 모든 라인들은 합쳐져서 평면을 형성한다. 또한 오브젝트의 상부 측들로 형성된 평면은 곡선이 될 수도 있다. 게다가 비디오 이미지, 시간 차원과 관련된 두 공간 차원들, 및 제 3 공간 차원은 현재 3차원 텔레비전 애플리케이션에 있을 수 있다. 스케일 차원이 또한 추가되는 경우, 차원들의 수 N은 5가 된다. 추가적인 차원들은 예를 들어, 오브젝트의 텍스처(texture)에 기초하여 계산되는 다른 파라미터들을 표현하기 위해 추가될 수 있다.
셀룰러 공간(cellular space)은 그래프(graph)의 특정 예이다. 그래프는 수학적 개념이고 셀들 및 에지들로 구성된다. 일반적으로 셀룰러 공간은, 셀이 N-차원 오브젝트의 각각의 매니폴드에 대응하고, 오브젝트의 내부를 형성하는 N-차원 매니폴드로부터 시작하고, 0차원까지의 경계의 전체 낮은 차원의 매니폴드에 걸쳐서, 포인트인 0 차원을 갖는 경계에 있는 매니폴드들을 포함하는 방식으로 구축될 것이다. 셀룰러 공간의 특수한 특징은, 제 2 매니폴드가 제 1 매니폴드의 경계상에 위치된다면, D차원을 갖는 제 1 매니폴드에 대응하는 제 1 셀과 한 차원 낮은 D-1차원을 갖는 제 2 매니폴드에 대응하는 제 2 셀 사이에 에지가 추가된다는 점이다. 따라서, 모 오브젝트(mother object)의 경계상에서 모든 보다 낮은 차원의 매니폴드들은 셀룰러 공간 모델에서 셀과 에지들에 의해 명백히 모델링된다. 구축 예에서, 셀룰러 그래프가 도 3과 도 4와 관련하여 도시된다. 본 발명에 따른 변환 방법에 있어서, D차원을 갖는 제 1 매니폴드의 경계상에서 D-1차원을 갖는 제 2 매니폴드가 제 1 매니폴드의 오브젝트의 부분을 형성하는지를 나타내는 지시자가 에지에 추가된다. "부분을 형성하는 것"이 무엇을 의미하는지는 도 2를 참조하여 기술될 것이다.
컴퓨터 그래픽 기술로 N-차원 오브젝트들을 모델링하는 다수의 방법들이 존재한다. 그러나, 이들 방법들은 메트릭 성질을 갖는다. 일 예는, 최소 큐브들이 해당 정도(precision)를 갖는 불규칙한 외부 표면에 도달할 때까지, 3-차원 오브젝트를 상이한 차원들의 큐브들로 분할하는 옥트리(octree)이다. 다른 모델들은 예를 들면 삼각형 메시(triangular mesh)나 가우시안 범프 모델(Gaussian bump model)과 같이 N-차원 오브젝트의 표면을 모델링하는 것이다. 그러나, 셀룰러 공간은 오브젝트를 구성하는 성분들의 지시를 허용하는 N-차원 오브젝트의 토폴로지 표현(topologic representation)이고, 상기 성분들은 필요하다면 메트릭 모델에 의해 보조적으로 모델링될 수 있다.
제 2 오브젝트의 컴퓨터 표현에 대해, 제 3 매니폴드에 속하는 제 3 셀은 셀룰러 공간 모델에 추가될 때 바람직하다. 두 오브젝트들의 모든 매니폴드들이 하나의 단일 셀룰러 공간에 표현될 때, 그의 토폴로지 관계는 처리되기 편리하고 용이할 수 있다. 제 1 및 제 2 셀에 속하는 두 개의 인접 매니폴드들은 제 3 셀에 속하는 보다 낮은 차원의 공통 경계 매니폴드를 갖는다. 셀룰러 공간은 제 3 및 제 1 셀 사이의 제 1 에지와, 제 3 및 제 2 셀 사이의 제 2 에지를 갖고, 이것은 경계 매니폴드의 경계 관계들을 모델링한다. 경계 매니폴드는 일반적으로 오직 하나의 매니폴드의 부분을 형성하기 때문에, 에지들 중 하나의 지시자는 "부분을 형성하는 것"의 값을 갖고, 다른 에지의 지시자는 "부분을 형성하지 않는 것"의 값을 갖는다. 셀룰러 공간을 포함하는 모든 오브젝트들의 정보에 의해, 예를 들어, 오브젝트의 시간적인 진화를 예측하거나 컴퓨터 그래픽스 애플리케이션에서 오브젝트를 변경하는 것이 용이하다. 지시자는 카메라에 의해 비디오 시퀀스로 캡쳐된 3-차원 공간 내 두 개의 오브젝트들이 가장 뒤에 위치된다는 점에 관한 정보를 제공한다.
일 실시예에서, 연속 순간들과 연관되어 차례로 위치된 2-차원 이미지들을 구성하는 3차원 비디오 큐브는 제 1 오브젝트와 제 2 오브젝트로 분할되고, 변환은 제 1 셀과 제 3 셀을 생성하며, 제 1 매니폴드와 상기 제 3 매니폴드의 차원은 최대 3이다.
상기 실시예는 예를 들어 2-차원 텔레비전 애플리케이션에서 발생한다. 본 발명에 따른 방법의 이점은, 오브젝트들의 기하학적 변환들이 시간에 관해서보다 셀룰러 공간 모델에 의해 보다 용이하게 모델링될 수 있다는 점이다. 비디오 큐브 내 모든 복셀들(voxels)은 오브젝트에 할당되는데, 예를 들면, 제 1의 3-차원 시공간 오브젝트는 걷고 있는 사람을 나타내고 제 2 오브젝트는 모든 다른 복셀들을 포함하는 상기 사람의 주변 환경이다. 비디오 큐브가 비디오 시퀀스로부터 선택된 P 픽처들을 포함할 때, 인물은 예를 들면 다수의 P-K 픽처들에서만 발생하거나, 대안적으로, 인물은 선택된 비디오 큐브 외부의 다른 픽처들에서 또한 발생할 수 있다. 비디오 큐브 내 각 오브젝트는 동일한 셀룰러 공간 모델에서 모델링된다.
변환이, 컴퓨터 표현의 값들로부터 도출된, 적어도 하나의 기하학적 특성의 계산에 기초하여 변환에 의한 값이 지시자에 할당될 때에 관심이 있다. 셀룰러 공간 모델은 실생활 비디오 시퀀스에 기초하여 자동적으로 생성된다. 지시자에 하나 이상의 이들 특성들에 의해 높은 확실성을 갖는 정확한 값이 주어질 수 있도록, 비디오 시퀀스 내 모든 종류의 오브젝트 특성들이 측정될 수 있다.
지시자의 강한 계산을 이용하는 일 실시예에서, 변환은, 순간적으로 비디오 큐브 내 2-차원 이미지의 평면을 갖는 제 1 오브젝트의 단면의, 표면의 시간에 관한 변화의 계산에 기초하여 지시자에 값을 할당한다. 사실, 비디오 시퀀스 내 오브젝트의 2-차원 단면이 다른 오브젝트 단면 뒤에 나타나거나 사라지는 경우, 일부 오브젝트의 화소들은 가시적이지 않기 때문에, 단면과 연관된 화소들의 수가 변한다.
제 2 목적은 변환이 셀룰러 공간 모델을 이용하는 것으로 구현된다. 셀룰러 공간 모델에 추가하여, 압축 모델도 또한 생성된다. 압축 모델은 예를 들면 제 1 오브젝트 내부의 정확한 형태에 대한 메트릭 정보를 포함한다. 본 발명에 따른 이점은, 종래의 MPEG4 오브젝트들은 상이한 텔레비전 이미지들 내 2-차원 단면부들만을 압축 및 모델링함으로써 2차원 압축되지만, 비디오 큐브 내 오브젝트들이 3-차원 모델에 의해 압축된다는 점이다. 3-차원 압축 모델을 이용함으로써, 동일한 이미지 품질에서, 달성된 압축 팩터는 2-차원 압축에서보다 높다. 대안적으로, 고정된 압축 팩터로, 3-차원 압축에서 이미지 품질은 2-차원 압축에서보다 높다. 이미지를 16x16 화소 블록들로 분할하는 고정된 패턴과 이미지들의 일시적 예측 때문에, MPEG2는 비디오 큐브 내 오브젝트들의 3-차원 특성을 완전히 이용하지 않는다. 효율적인 압축을 위해, 오브젝트들이 패색된다는 점은 분명히 고려되어야 한다. 제 1 오브젝트가 3-차원 공간 내에서 이전 제 2 오브젝트 뒤로 이동할 때, 또는 제 1 오브젝트가 제 2 오브젝트 뒤에서 나타날 때, 폐색(occlusion)이 발생한다.
특허출원 WO-A-00/64148은 2-차원 세그먼트들을 매칭에 기초한 압축 방법을 기술한다. 본 출원에 기술된 일부 기술들은, 본 발명에 따른 방법을 위해 요구된, 비디오 큐브로부터 N-차원 오브젝트를 획득하는데 유용할 수 있다. 그러나, 상기 특허출원은 명백히 N-차원 오브젝트들이 아닌, 그것의 2-차원 투사들을 이용한다.
제 3 목적은, 압축해제 방법이 셀룰러 공간을 이용하는 것으로 구현된다. 셀룰러 공간 모델에서 오브젝트들의 분명한 코딩은 향상된 압축과 압축해제를 허용한다. 사실, N-차원 오브젝트들의 표현시, 오브젝트들의 화소들이 가시적인 셀룰러 공간 모델에 의해 계산된다.
제 4 목적은, 제 1 복수 셀들이 제 2 복수 셀들과 상이한 것으로 구현된다. 예를 들어, 인터넷상에서 픽처 재료에 대한 검색을 위해 예를 들면 제 1 N-차원 오브젝트가 제 2 N-차원 오브젝트와 비교되는 경우, 그들의 연관된 셀룰러 공간 모델들을 비교하는 것이 쉬울 것이다. 서로의 셀룰러 공간 모델들의 셀들과 에지들을 연관시키기 전에, 셀룰러 공간 모델들 중 하나를 먼저 변환하는 것이 쉬울 수 있다. 예를 들어, 질문시 지정된 바와 같이 집을 모델링하는 셀룰러 공간 모델들에 대해 집을 나타내는 오브젝트의 지붕은 평평하고, 인터넷상에서 이미지 내 제 2 집을 가리킨다. 예를 들어, 평평한 지붕을 나타내는 셀은 이 후, 가리켜진 지붕의 제 1 기울어진 측면에 재사용되고, 제 2 기울어진 측면에 대해 여분의 셀이 추가될 수 있다. 동일한 종류의 기술들이 컴퓨터 그래픽 애플리케이션들에 유용하다.
제 5 목적은 변환 방법을 위한 컴퓨터 프로그램을 포함하는 코드를 제공함으로써 구현된다.
제 6 목적은 압축 방법을 위한 컴퓨터 프로그램을 포함하는 코드를 제공함으로써 구현된다.
제 7 목적은 압축해제 방법을 위한 컴퓨터 프로그램을 포함하는 코드를 제공함으로써 구현된다.
제 8 목적은, 처리 수단이 N과 동일한 차원을 갖는 제 1 매니폴드에 속하는 제 1 셀과, 제 1 매니폴드의 경계에 위치한 N-1과 동일한 보다 낮은 차원을 갖는 제 2 매니폴드에 속하는 제 2 셀과, 제 1 셀과 제 2 셀 사이의 에지를 갖는 셀룰러 공간 모델을 생성할 수 있고, 제 2 매니폴드가 제 1 매니폴드의 경계의 부분을 형성하는지를 나타내는 지시자를 에지에 할당할 수 있는 것으로 구현된다.
제 9 목적은, 처리 수단이 셀룰러 공간 모델에 대한 액세스를 가지는 것으로 구현된다.
제 10 목적은, 지시자가 셀룰러 공간의 제 1 셀과 제 2 셀 사이의 에지에 할당되고, 상기 지시자는 보다 낮은 차원을 갖는 제 2 매니폴드가 보다 높은 차원을 갖는 제 1 매니폴드의 부분을 형성하는지를 나타내고, 상기 제 1 및 제 2 매니폴드들은 제 1 및 제 2 셀에 의해 각각 표현되는 것으로 구현된다.
본 발명에 따른 변환 방법, 압축 방법, 압축해제 방법, 장치, 비디오 압축해제 장치, 및 데이터 표현은 이하에서 도면들을 참조하여, 예로써 보다 상세히 기술될 것이다.
도 1은 오브젝트의 컴퓨터 표현을 컴퓨터 모델로 변환하는 방법의 블록도.
도 2는 3-차원 장면의 2-차원 이미지를 도시하는 도면.
도 3은 셀룰러 공간 모델의 구조를 설명하기 위해 간단한 2-차원 오브젝트를 도시하는 도면.
도 4는 도 3의 오브젝트와 연관된 셀룰러 공간 모델을 도시하는 도면.
도 5는 두 개의 메싱 환형 오브젝트들(meshing annular objects)을 도시하는 도면.
도 6은 도 5의 환형 오브젝트들과 연관된 셀룰러 공간 모델의 간략화된 표현을 도시하는 도면.
도 7은 두 개의 오브젝트들을 갖는 비디오 큐브를 도시하는 도면.
도 8은 압축해제 방법의 블록도.
도 9는 N-차원 오브젝트의 셀룰러 공간 모델을 생성하는 장치를 도시하는 도면.
도 10은 비디오 압축해제 장치를 도시하는 도면.
도 11은 3 개의 오브젝트들에 대한 2 개의 경계들의 T 접합을 도시하는 도면.
도 12는 각각 순차적으로 다른 시간에 연속하는 이미지들의 상징 표현을 도시하는 도면.
도 13은 도 12의 원과 연관된 3-차원 시공간 오브젝트를 도시하는 도면.
이하의 도면들에서, 이미 기술된 도면들의 부분들에 대응하는 부분들은 동일한 참조 번호들로 표시된다. 오브젝트의 대응하는 부분들의 참조 번호들과, 연관된 셀룰러 공간 모델만이 다르다. 점선으로 도시된 부분들은 선택적이다. 아이디어를 보다 분명히 설명하기 위해, 방법들과 장치들은 3-차원 또는 2-차원 오브젝트들을 참조하여 기술된다. 기술된 단계들은 명백한 방식으로 더 높은 차원들에 대해 수학적으로 공식화될 수 있다.
도 1의 변환 방법의 제 2 단계는 N-차원 오브젝트의 복셀 표현과 같은 컴퓨터 표현을 획득한다(1). 오브젝트가 비디오 큐브로부터 분할되는 분할 단계(3)는 획득 단계 전에 수행될 수 있다. 분할은, 비디오 큐브 내의 각 화소를 단지 하나의 오브젝트에 할당하는 것이다. 3-차원 비디오 큐브를 분할하기 위한 알고리즘들은 2-차원 이미지 세그멘테이션에 대한 문헌에 기술된 알고리즘들로부터 간단한 방식으로 도출될 수 있다. 예를 들어, 기준이 선택된 특성에 관하여 동일한 종류임을 나타낼 때, 가능한 알고리즘은 8x8x8 복셀 큐브들을 하나의 동일한 세그먼트에 할당한다. 특성의 예는 복셀과 연관된 그레이 값이다. 기준의 예는 두 개의 복셀 큐브들과 연관된 히스토그램들의 절대차 G이다:
공식 [1]에서, i는 비디오 큐브 내 모든 그레이 값들이 M개의 빈들로 분할되는 히스토그램 빈의 인덱스이다. C는 큐브들 K1, K2에서 빈 i과 연관된 그레이 값들의 수이다. 큐브의 부피 V는 정규화 상수로서 사용된다. 차 G가 작은 경우, 큐브들은 세그멘테이션 알고리즘에 따라 하나의 동일한 세그먼트에 속한다. 상이한 기준들이 문헌에 기술되었고, 각각의 상이한 기준들은 복셀 그레이 값, 복셀 색과 같은 다른 특성, 가보 필터링(Gabor filtering)에 의해 획득된 값들 또는 동시 생성 확률 행렬로부터의 값들과 같은 텍스처 차원들(texture dimensions)을 이용하는 것이 가능하다. 문헌에서는, 예를 들면, 작은 세그먼트들을 보다 큰 세그먼트들로 그룹화하거나, 반대로, 보다 큰 세그먼트들을 보다 작은 세그먼트들로 분할하는 상이한 세그멘테이션 알고리즘들도 또한 존재한다.
오브젝트는 예를 들면, 옥트리(octree)와 같은 해당 모델에 따라 이미 모델링되었다. 원한다면, 옥트리 모델은 획득 단계 동안 복셀 표현으로 변환될 수 있다. 대안적으로, 셀룰러 공간 모델은 예를 들어, 삼각 메시 표현에 기초하여 생성될 수 있다.
도 1의 생성 단계(5) 동안, 셀룰러 공간은 복셀 표현으로부터 확립된다. 이것은 도 3과 도 4를 참조하여 예시될 것이다.
도 3은 1-차원 원 경계(513)와 3 개의 직선 경계들(514, 515, 516)에 의해 구분된 평면(511)을 갖는 간단한 2-차원 도면(510)을 도시한다. 직선 경계는 예를 들어, 제 1 직선 경계(514)가 제 1 점(520)과 제 2 점(521)에 의해 구분되는 두 개의 점들에 의해 구분된다.
도 4는 도 3에 도시된 도면에 속하는 셀룰러 공간 모델(609)을 도식적으로 도시한다. 평면(511)에 속하는 셀 차원 2를 갖는 하나의 셀(611)이 있다. 2차원보다 한차원 낮은 1차원 평면(511)의 경계상에서의 모든 경계 매니폴드들에 대해, 예를 들면 원 경계(513)와 연관된 셀(611)과 셀(613) 사이의 에지(612)와 같이, 경계 매니폴드에 대응하는 셀과 셀(611) 사이의 셀룰러 공간 모델(609)에 에지가 추가된다. 예를 들면 제 1 점(520)과 연관된 셀(620)과 셀(611) 사이와 같이, 차원에 관하여, 하나 이상이 상이한 매니폴드들과 연관된 셀들 사이에는 에지가 추가되지 않는다. 지시자는 모든 에지들에 할당되지만, 도면을 간단하게 하기 위해 지시자(625)만이 도시된다. 이 지시자는 원 경계(513)가 평면(511)의 부분, 또는 바꾸어 말하면, 하나의 값이 지시자에 할당되는 경우, 2-차원 도면(510)을 형성하는지를 나타낸다. 원 경계(513)가 평면(511)의 부분을 형성하지 않는다면, 0의 값이 지시자에 할당된다.
도 2는 "부분을 형성하는 것"이 무엇을 의미하는지를 도시하고, 카메라에 의해 픽업되거나 컴퓨터 드로잉 프로그램에서 도식적으로 그려진 것과 같이, 공간 내 3-차원 장면의 2-차원 이미지를 도시한다. 오브젝트(13)는 오브젝트(15)의 정면 공간에 놓인다. 오브젝트(15)의 평면(16)은 특히, 제 1 직선 경계(17)과 제 2 직선 경계(18)와 같이 4 개의 직선 경계들로 구분된다. 평면(16)에 속하는 셀과 제 1 직선 경계(17)에 속하는 셀 사이의 에지와 연관된 정확한 값을 지시자에 제공하기 위해, 제 1 직선 경계(17)가 평면(16)을 형성하는지 또는, 동등하게 오브젝트(15)의 부분을 형성하는지를 질문할 수 있을 것이다. 예를 들어, 이 오브젝트가 벽면 문의 개방을 나타내는 경우, 제 1 직선 경계(17)는 문 개방과 연관된다. 그러므로, 기준은 예를 들어, 문 개방이 패닝 카메라(panning camera)에 의해 픽업된 연속 비디오 이미지들 내에서 이동하는 경우, 제 1 직선 경계(17)는 문 개방과 함께 이동한다. 예를 들면, 캐니 에지 검출기(Canny edge detector)인 에지 검출기에 의해 발견된 경계(17)의 점들로의 예를 들면, Hough 변환을 사용한 직선의 피트(fit)는, 예를 들어, 해당 그레이 값을 초과하는 픽셀들의 세그먼트의 문 개방의 텍스처와 함께 동일한 속도와 동일한 방향으로 이동한다. 문이 충분한 텍스처 정보(texture information)를 갖는다면, 움직임 추정기가 특허출원 WO-A-0188852에 기술된 추정기와 같은 문의 움직임을 결정하는데 사용될 수 있다. 제 2 직선 경계(18)도 또한 평면(16)을 구분한다. 제 2 직선 경계(18)가 오브젝트(13)의 상부 경계를 형성하고, 오브젝트(15)의 실제 경계가 오브젝트(13)의 뒤에 감춰지는 것을 가정하자. 제 2 직선 경계(18)는 이후, 오브젝트(13)가 왼쪽으로 걷고 있는 사람인 경우에는 오브젝트(13)와 함께 왼쪽으로 이동하고, 카메라 움직임의 영향하에서는 오른쪽으로 움직이는 오브젝트(15)과 함께 이동하지 않을 것이다. 따라서, 제 2 직선 경계(18)는 평면(16)을 구분하지만, 평면(16)의 부분은 형성하지 않고, 오브젝트(13)을 형성한다. 어느 오브젝트가 경계 매니폴드와 연관되는지를 분석하는 상이한 경험적 정보가 사용될 수 있다. 첫번째 경험적 정보(first heuristic)는 예를 들어, 연속 이미지들 내 제 1 오브젝트의 단면이 감소하거나 증가하는 경우, 제 2 인접 오브젝트의 단면은 일정하는 한, 제 2 오브젝트는 제 1 오브젝트를 포함하고, 경계 매니폴드는 제 2 오브젝트의 부분을 형성하는 것을 규정한다.
두번째 경험적 정보는 도 11을 참조하여 도시된다. 경계(301)와 경계(303)의 T 접합에서, 연속 경계(301)와 연관된 오브젝트(305)은 오브젝트들(307,309)의 정면에 놓여지고, 경계(301)는 오브젝트(305)의 부분을 형성한다.
세번째 경험적 정보는 경계가 움직이는 인접 구조를 분석하는 것이다. 이것은 움직임 추정에 의해 영향을 받을 수 있다. 우선, 예를 들어, 법칙 파라미터들(Laws parameters)을 계산하여 구조 분석을 수행할 수 있거나, 구조의 웨이블릿(wavelet) 또는 프렉틀(fractal) 분석이나 구조 유닛들의 분석이 수행될 수 있다. 동일한 유형의 구조들을 갖는 세그먼트들을 이미지들로부터 분리시키고, 세그먼트-기반 움직임 추정기를 적용하는 것도 가능하다.
제 2 오브젝트가 예를 들어, 도 7의 비디오 큐브(201) 내 제 1 오브젝트(203)와 함께 제 2 오브젝트(204)를 나타낸다면, 셀들은 또한 제 2 오브젝트에 대한 셀룰러 공간 모델에 추가된다. 예를 들어, 도 6에서, 도 5의 제 1 링(21) 내부(25)와 제 2 링(23) 내부(27)에 대해 셀들(125, 127)이 각각 추가된다. 도 6에서, 점선으로 표시된 지시자는 "부분을 형성하지 않는 것"의 의미를 갖는 값과 연관된다. 도 6의 간결성을 위해, 오직 두 개 점들의 연관된 셀들이 도시된다.
도 1에의 생성 단계(5)에서, 복셀 표현의 셀룰러 공간 모델(223)이 생성될 뿐만 아니라, 모델링 단계(6)에서, 메트릭 모델(222)이 생성되는 것은 흥미롭다. 예를 들어, 3-차원 오브젝트의 2-차원 엔벨로프는 삼각형 메시 모델이나 컴퓨터 그래픽 기술로부터 공지된 또 다른 모델에 의해 측량적으로 모델링될 수 있다. 경계 매니폴드들을 생성하기 위해 메트릭 알고리즘을 사용하는 것 또한 흥미롭다. 오브젝트의 2-차원 경계 표면을 규정하기 위해, 오브젝트의 중심이 우선 계산될 수 있고, 이 후 중심으로부터 가장 멀리 떨어긴 오브젝트와 연관된 점은, 중심으로부터 반경 범위 상에서 경계 점으로서 고려될 수 있다. 매니폴드를 식별하기 위한 다른 알고리즘은 CGS(constructive solid geometry)의 기술 분야에서 공지된다. 모든 경계 점들의 집합으로서 획득된 오브젝트의 곡선 2-차원 경계 표면은 예를 들면, 2-차원 경계 표면의 점으로부터 미리 결정된 거리보다 더 멀리 떨어지지 않은 평면 매니폴드가 아닌 평면의 점에서, 2-차원 경계 표면과의 매칭에 의해 계산된 평면 매니폴드가 아닌 단지 평면으로 모델링될 수 있다. 다른 예가 도 3을 참조하여 주어진다. 516과 같은 단지 하나의 직선 경계에 의해 경계의 직선 부분을 기술하는 것은 명백하지만, 직선 경계(516)는 또한 이후 셀룰러 공간(609) 내 두 개의 셀들에 속하는 두 개의 보다 작은 직선 경계들로 분할될 수 있다. 게다가, 텍스처 기능도 또한 메트릭 모델에 할당될 수 있을 것이다. 일 매니폴드의 모든 복셀에 한가지의 동일한 색상을 제공하는 것이 가능하다. 예를 들어, 삼각형 메시 표현에서 삼각형에 다항식 구조 모델을 추가하는 것도 가능하다. 다항식의 파라미터들은 이후 압축 모델에 추가된다. 압축 모델과 셀룰러 공간은 오브젝트를 효율적으로 재구성하는데 필요한 정보를 모두 준다.
출력 단계(7)동안, 셀룰러 공간 모델과, 적용가능하다면 메트릭 모델(222)이 예를 들어, 데이터 접속을 통해 메모리(219)에 출력된다. 메트릭 모델의 데이터와 셀룰러 공간이 압축 모델(228), 바람직하게는 오브젝트-기반 압축 모델을 생성하는데 사용된다는 것이 흥미롭다. 예를 들어, 오브젝트들의 3-차원 웨이블릿 모델은 인간의 시각의 특징들과 허프만 코딩(huffman coding)을 취하는 웨이블릿 계수들의 양자화 같은 압축 기술로부터 공지된 기술들을 사용하여 압축 기술로서 사용될 수 있다.
셀룰러 공간 모델을 사용하는 이점은, 압축과 압축해제가 메트릭 모델에 비해 보다 효과적으로 수행될 수 있다는 점이다. 이것은 도 12와 도 13을 참조하여 도시될 것이다. 비디오 시퀀스들에서, 두 개의 오브젝트들이 서로 폐색하는 것이 보통이다. 정사각형(713)은 제 1 이미지(701), 제 2 이미지(703), 제 3 이미지(705)에서 동일한 위치에 있다. 그러나, 원은 정사각형의 뒤로 이동하고, 심지어 제 3 이미지에서 프레임의 범위를 벗어난다. 도 13은 3-차원 오브젝트(730)로서 상이한 이미지들에서 원의 이동을 나타낸다. 원의 조각들이 폐색, 즉, 일부 이미지들에서 보이지 않기 때문에, 3-차원 오브젝트(730)의 형태는 불규칙하다. 예를 들어, 원의 제 3 위치(714)에 대응하는 단면(725)은 원의 일부가 이미지 너머에 있기 때문에 원이 아니다. 그러나, 이동이 발생하는 3-차원 공간에서, 원은 항상 원형으로 남게 된다. 따라서, 폐색도 모델링될 수 있다면, 원에 대해 원통 모델을 사용가는 것이 가능하다. 이것은 셀룰러 공간 모델 내 지시자들에 의해 본 방법에서 영향을 받는다. 압축해제시, 비디오 큐브의 이미지들이 압축 모델로부터 생성될 때, 폐색이 고려될 것이다. 예를 들어, 이미지들을 재생성하는 경우, 이미지 외부의 모든 것들은 클립핑된다. 경계는 폐색 오브젝트의 특수한 경우이다. 이미지들의 재생성은 또한, 도 8의 기술 부분에서 부연된다. 2-차원 이미지들에서 오브젝트들의 변화는 간단한 2-차원 오브젝트들이 연관된 변환들, 회전들, 줌들로 이루어질 수 있다. 보다 복잡한 변환들은 비선형 워프들(warps)을 모델링한다.
예를 들어, 축구공이 이미지에서 구른다면, 구조 모델화는 선택적으로 축구공의 회전 텍스처 기능이나 선형으로 변환하는 정지 기능을 모델링할 수 있는데, 상기 공은 수신기 단부에서, 구르는 공 대신 미끄러지는 것으로서 관찰될 것이다. 예를 들어, 텍스처 기능이 조명의 변화들에 의해 시간에 따라 변화한다면, 예를 들어 4개의 프레임들을 통해, 오브젝트 궤도의 소부분만을 모델링하는 매우 짧은 3-차원 오브젝트들을 사용하는 것이 제 1 옵션이다. 대안적인 옵션은 예를 들어, 오브젝트에 결합된 참조 액스들의 시스템에서 화소의 그레이 값의 다항의 변화와 같은 시-변화 텍스처 기능들의 사용이다.
압축은 다양한 애플리케이션들에 있어서 중요하다. 압축 애플리케이션들로서 데이터의 전달은 예를 들어, 인터넷 비디오, 제 3 및 제 4 세대 이동 통신들, DSL(Digital Subscriber Line)을 통한 VOD(video-on-demand), 및 디지털 텔레비전과 같은 수단으로 이해된다. 스토리지는 예를 들어, DVD와 같은 디지털 디스크 상의 HDTV, 전문 비디오 서버들, 다수의 프로그램들이 저품질로 기록되는 하드 디스크에 기초한 개인 비디오 기록기들, 및 모든 종류의 시스템들에서 특허된 압축들과 같은 수단으로 이해된다. 저용량 스토리지에 대해, 비디오 CD와 같은 캐리어들, 소디스크들, 및 고체상태 메모리들이 흥미롭다. 비디오 신호는 위성 텔레비전에서부터 인터넷 비디오까지의 범위를 갖는 모든 종류의 소스들로부터 발원될 수 있다. 상기 방법은 예를 들어, 거실에서 뿐만 아니라 텔레비전 스튜디오와 같은 제공자들의 단부와, 예를 들어, 케이블 네트워크 회사와 같은 중간자들의 단부에서 사용될 수 있다.
3차원 이상의 차원들은 각각의 프레임에 대해, 소위 스케일 공간을 구성함으로써 획득될 수 있다. 예를 들어, 프레임은, 필터의 표준 편차 σ가 연속으로 증가하는 가우시안 필터로 필터링될 수 있다. 표준 편차는 이 후 여분의 차원을 형성한다. 비디오 큐브와 유사하게, 도 7에서와 같이 시간에 관한 다른 것 뒤에 프레임을 놓거나 상이한 스케일에서 프레임들로 언급된 필터링된 프레임들이 다른 것 뒤에 놓여져 형성될 수 있다.
셀룰러 공간 모델의 다른 애플리케이션은 컴퓨터 비전이다. 예를 들어, 로봇은 카메라에 의해 픽업된 이미지들을 참조하여 3-처원 공간에 움직임 궤도를 계획해야 하고, 그가 3-차원 공간에서 오브젝트들의 3-차원 구조와 배치를 보다 우수하게 계산할 수 있도록 프레임들 내 매니폴드들이 서로 속하는 것을 규정하기 위해 그는 셀룰러 공간 모델을 사용할 수 있다. 다른 애플리케이션은 3-차원 텔레비전이나 VOD와 같이 또다른 뷰 포인트로부터 장면의 재생성이다. 게다가, 셀룰러 공간 모델도 특수 효과들을 생성하는 것은 흥미롭다. 다른 애플리케이션은 예를 들어 인터넷상에서 이미지들의 구조적인 압축해제다. 주어진 오브젝트들을 갖는 이미지들이 발견되어야 하는 경우, 이 오브젝트들은 셀룰러 공간 모델에 의해 기술될 수 있다. 셀룰러 공간 모델은 예를 들어, 이미지 검색 프로그램의 사용자에 의해 형성된 검색된 오브젝트의 스케치와, 인터넷상에서 데이터베이스 내 이미지들에 대해 생성된다. 셀룰러 공간 모델의 사용도 의학 이미지-처리 애플리케이션들에서 흥미롭다.
도 8은 압축 비디오 신호를 압축해제하는 방법의 블록도이다. 우선, 예를 들어, 텔레비전 분배 케이블을 통해서나 개인 비디오 기록기로부터 오는 압축 신호가 획득된다(101). 필요하다면, 이용가능한 메트릭 모델을 달성하도록 변환들이 수행된다. 예를 들어, 압축 모델 내 정보의 부분은, 모델 파라미터들의 절대값들이 먼저 계산되고 메트릭 모델에 저장되는 경우와 같이 개별적으로 저장될 수 있다. 양호한 실시예에서, 셀룰러 공간 모델이 다른 실시예에서 수신기 단부에서 계산되더라도, 셀룰러 공간 모델은 압축 모델과 함께 공급된다.
그 후, 예를 들어 메트릭 모델과 셀룰러 공간 모델을 사용하는 비디오 큐브(201)와 같은 컴퓨터 표현이 생성된다(도 8에서의 단계)(103). 제 1 실시예에서, P 프레임들을 포함하는 3-차원 비디오 큐브가 직접 생성될 수 있다. 예를 들어, 3-처원 오브젝트들의 경계가 우선 생성되고, 이 후 구조 모델에 의해 내부가 생성된다. 대안적으로, 각각의 프레임이 제 2 실시예에서 개별적으로 생성될 수 있다. 제 2 실시예는 도 12와 도 5를 참조하여 기술된다.
예를 들어, 제 2 이미지(703)가 발생되는 경우, 원(712)과 정사각형(713)의 경계들이 우선, 연관된 3-차원 오브젝트를 제 2 이미지(703)의 평면에 투사하여 계산된다. 이 후, 개개의 텍스처 기능들이 원과 정사각형의 화소들을 채색하도록 적용된다. 원이나 정사각형이 정면에 있는지의 여부가 계산될 것이다. 경계 매니폴드들은 사각형의 부분을 형성하기 때문에, 사각형은 정면에 있다. 제 2 위치(712) 내 원의 텍스처 기능이 먼저 그려지거나, 정사각형(713)의 텍스처 기능에 의해 겹쳐 쓰여져야 한다.
도 5는 공간 내 상호접속된 제 1 링(21)과 제 2 링(23)의 보다 난해한 경우를 도시한다. 예를 들어, 경계들(29, 31)과 같이 링들의 1-차원 경계들은 투사 알고리즘에 의해 발생된다. 이 후, 링들의 화소들을 채색하도록 텍스처 기능이 적용된다. 이 때문에, 예를 들어 페인터의 알고리즘이 사용된다. 이것은 정확한 값을 오브젝트의 경계 내 모든 화소들에 할당한다. 선택된 알고리즘은 우선 제 1 링(21)의 화소들, 이 후, 제 2 링(23)의 화소들을 그린다. 교차선(55)과 구획 문자(56) 사이의 영역에서, 선택된 알고리즘이 사용된다면, 제 1 링(21)의 화소들은 제 2 링의 화소들에 의해 부당하게 덮어 쓰여진다. 또한, 다른 선택된 알고리즘이 제 2 링을 우선 그리는 경우, 잘못된 화소들이 존재한다. 이것은, 제 1 링(21)이나 제 2 링 중 하나가 정면 어디에나 있기 때문이다. 이 문제는 셀룰러 공간 모델에 사이클 검출 알고리즘을 적용하여 해결될 수 있다. 사이클이 검출될 때, 여분의 경계 매니폴드들이 부가되어야 하고, 이것은 예를 들어 교차선(55)과 같은 교차로서 언급된다. 교차선(55)과 경계(51) 사이의 제 1 링(51)의 조각이 이 후, 제 2 링에 걸쳐 제 3 드로잉 단계에서 그려질 것이다. 교차선들을 입력하고 여분의 드로잉 단계를 수행하는 알고리즘을 사용함으로써, 모든 화소들이 올바를 값을 갖는다.
출력 단계(105)동안, 비디오 큐브가 예를 들어, 메모리(271)에 쓰여지거나, 연속 이미지들이 예를 들어 그림 디스플레이 유닛에 송신된다.
도 9는 예를 들어 N-차원 제 1 오브젝트(203)의 복셀 표현(221)과 같은 컴퓨터 표현을 오브젝트(203)의 컴퓨터 모델로 변환하는 장치(211)를 도시한다. 이 때문에, 장치(211)는 예를 들어, 제 1 오브젝트(203)의 복셀 표현(221)을 획득하기 위한 데이터 접속과 같은 획득 수단(215)을 포함한다. 바람직한 실시예에서, 복셀 표현(221)은 메모리(219)에 있다. 게다가, 장치(211)는 복셀 표현(221)에 기초하여 컴퓨터 모델을 생성하기 위한 처리 수단(213)을 포함한다. 바람직한 실시예에서, 처리 수단(213)은 프로세서이다. 컴퓨터 모델을 출력하기 위한 출력 수단(217)은 예를 들어, 셀룰러 공간 모델(223)과 메트릭 모델(222)이 기록되는 메모리(219)와의 데이터 접속이다. 장치(211)가 비디오 처리 장치(241)에 통합될 때에 관심이 있다. 일 실시예에서, 비디오 처리 장치(241)는 수신된 비디오 신호(229)를 위한 입력과, 예를 들어, PAL 신호에서 비디오 큐브로 변환하는 것과 같이 수신된 비디오 신호를 처리할 수 있는 조건 유닛(225)을 갖는다. 게다가, 상기 실시예에서, 아웃고잉 비디오 신호(231)에 대한 출력이 제공되며, 비디오 신호는 출력 처리 유닛(227)에 의해 형성된다. 특히, 출력 처리 유닛(227)이 압축 모델(228)을 생성하는 경우 흥미롭다.
도 10은 압축 모델을 포함하는 압축 비디오 신호(261)를 예를 들면, 3-차원 비디오 큐브(201)와 같은 컴퓨터 표현(262)으로 압축해제하기 위한 비디오 압축해제 장치(251)를 도시한다. 비디오 압축해제 장치(251)는 압축 비디오 신호(261)에 대한 입력(225)과, 예를 들어, 비디오 큐브(201)와 같은 압축해제된 비디오 신호(263)를 출력하기 위한 출력(257)을 갖는다. 선택적으로, 출력 처리 유닛(265)은 예를 들어 비디오 큐브를 PAL이나 NTSC 신호로 변환하기 위해 제공된다. 비디오 압축해제 장치(251)의 양호한 실시예에서, 컴퓨터 표현(262)을 생성하기 위한 처리 유닛(253)은 셀룰러 공간 모델(273)이 저장되는 메모리(271)에 접속된다.
Claims (14)
- N-차원의 (N 은 1 이상의 정수) 제 1 오브젝트 (object) 의 컴퓨터 표현을 상기 제 1 오브젝트의 컴퓨터 모델로 변환하는 방법에 있어서,상기 제 1 오브젝트의 컴퓨터 모델로 변환하는 방법은 셀룰러 공간 모델 (cellular space model) 을 생성하는 단계를 포함하고,상기 셀룰러 공간 모델은,상기 제 1 오브젝트에 대응하고, N 과 동일한 차원을 갖는 제 1 매니폴드 (manifold) 에 속하는 제 1 셀; 및상기 제 1 오브젝트의 이미지의 경계에 위치한 N-1 과 동일한 낮은 차원을 갖는 제 2 매니폴드에 속하는 제 2 셀을 갖고,상기 셀룰러 공간 모델은,상기 제 2 매니폴드가 상기 제 1 오브젝트의 이미지의 경계의 부분을 형성한다는 것을 나타내는 상기 제 1 셀과 상기 제 2 셀 사이의 에지 (edge); 및상기 제 1 셀과 상기 제 2 셀 사이의 에지에 할당되고, 상기 제 2 매니폴드가 N 차원의 상기 제 1 매니폴드의 경계의 부분을 형성하는 지를 나타내는 지시자를 더 갖는 것을 특징으로 하며,상기 셀룰러 공간 모델은 오브젝트를 구성하는 성분들의 지시를 허용하는 N-차원의 오브젝트의 토폴로지 표현 (topologic representation) 인, 변환 방법.
- 제 1 항에 있어서,제 3 매니폴드에 속하는 제 3 셀이 N-차원의 제 2 오브젝트의 컴퓨터 표현을 위해 상기 셀룰러 공간 모델에 추가되고, 상기 제 3 셀과 상기 제 2 셀 사이의 에지가 상기 제 2 매니폴드가 상기 제 2 오브젝트의 이미지의 경계에 놓인다는 것을 나타내도록 추가되는 것을 특징으로 하는, 변환 방법.
- 제 2 항에 있어서,연속 순간들과 연관되어 2-차원 이미지들을 구성하고 차례로 위치된 3차원 비디오 큐브(cube)가 제 1 오브젝트와 제 2 오브젝트로 분할되고, 상기 변환은 제 1 셀과 제 3 셀을 생성하며, 상기 제 1 매니폴드와 상기 제 3 매니폴드의 차원은 최대 3인 것을 특징으로 하는, 변환 방법.
- 제 3 항에 있어서,상기 변환은, 상기 컴퓨터 표현의 적어도 하나의 기하학적 특성의 계산에 기초하여 상기 제 2 매니폴드가 N 차원의 상기 제 1 매니폴드의 경계의 부분을 형성하는 지에 대한 값을 상기 지시자에 할당하는 것을 특징으로 하는, 변환 방법.
- 제 4 항에 있어서,상기 변환은, 어느 순간에서 상기 비디오 큐브 내 2-차원 이미지의 평면에 의한 상기 제 1 오브젝트의 단면의 표면의 시간에 관한 변화의 계산에 기초하여, 상기 제 1 오브젝트의 시간에 관한 변화를 나타내는 값을 상기 지시자에 할당하는 것을 특징으로 하는, 변환 방법.
- 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,상기 셀룰러 공간 모델은 상기 제 1 오브젝트의 표현을 압축하는데 사용되는 것을 특징으로 하는, 변환 방법.
- 제 6 항에 있어서,상기 셀룰러 공간 모델은 상기 압축된 제 1 오브젝트의 표현을 압축해제 (decompress) 하는데 사용되는 것을 특징으로 하는, 변환 방법.
- 삭제
- N-차원의 (N 은 1 이상의 정수) 제 1 오브젝트 (object) 의 컴퓨터 표현을 상기 제 1 오브젝트의 컴퓨터 모델로 변환하는 방법을 수행하는 컴퓨터 프로그램을 기록한 컴퓨터-판독가능 매체에 있어서,상기 제 1 오브젝트의 컴퓨터 모델로 변환하는 방법은 셀룰러 공간 모델 (cellular space model) 을 생성하는 단계를 포함하고,상기 셀룰러 공간 모델은,상기 제 1 오브젝트에 대응하고, N 과 동일한 차원을 갖는 제 1 매니폴드 (manifold) 에 속하는 제 1 셀; 및상기 제 1 오브젝트의 이미지의 경계에 위치한 N-1 과 동일한 낮은 차원을 갖는 제 2 매니폴드에 속하는 제 2 셀을 갖고,상기 셀룰러 공간 모델은,상기 제 2 매니폴드가 상기 제 1 오브젝트의 이미지의 경계의 부분을 형성한다는 것을 나타내는 상기 제 1 셀과 상기 제 2 셀 사이의 에지 (edge); 및상기 제 1 셀과 상기 제 2 셀 사이의 에지에 할당되고, 상기 제 2 매니폴드가 N 차원의 상기 제 1 매니폴드의 경계의 부분을 형성하는 지를 나타내는 지시자를 더 갖는 것을 특징으로 하며,상기 셀룰러 공간 모델은 오브젝트를 구성하는 성분들의 지시를 허용하는 N-차원의 오브젝트의 토폴로지 표현 (topologic representation) 인, 컴퓨터-판독가능 매체.
- 제 9 항에 있어서,상기 셀룰러 공간 모델은 상기 제 1 오브젝트의 표현을 압축하는데 사용되는 것을 특징으로 하는, 컴퓨터-판독가능 매체.
- 제 10 항에 있어서,상기 셀룰러 공간 모델은 상기 압축된 제 1 오브젝트의 표현을 압축해제 (decompress) 하는데 사용되는 것을 특징으로 하는, 컴퓨터-판독가능 매체.
- N-차원의 (N 은 1 이상의 정수) 제 1 오브젝트 (object) 의 컴퓨터 표현을 상기 제 1 오브젝트의 컴퓨터 모델로 변환하는 장치로서,상기 제 1 오브젝트의 컴퓨터 표현을 획득하는 획득 수단;상기 제 1 오브젝트의 컴퓨터 표현을 변환하는 처리 수단; 및상기 컴퓨터 모델을 출력하는 출력 수단을 포함하는, 상기 변환 장치에 있어서,상기 처리 수단은 셀룰러 공간 모델 (cellular space model) 을 생성할 수 있고,상기 셀룰러 공간 모델은,상기 제 1 오브젝트에 대응하고, N 과 동일한 차원을 갖는 제 1 매니폴드 (manifold) 에 속하는 제 1 셀; 및상기 제 1 오브젝트의 이미지의 경계에 위치한 N-1 과 동일한 낮은 차원을 갖는 제 2 매니폴드에 속하는 제 2 셀을 갖고,상기 셀룰러 공간 모델은,상기 제 2 매니폴드가 상기 제 1 오브젝트의 이미지의 경계의 부분을 형성한다는 것을 나타내는 상기 제 1 셀과 상기 제 2 셀 사이의 에지 (edge); 및상기 제 1 셀과 상기 제 2 셀 사이의 에지에 할당되고, 상기 제 2 매니폴드가 N 차원의 상기 제 1 매니폴드의 경계의 부분을 형성하는 지를 나타내는 지시자를 더 갖는 것을 특징으로 하며,상기 셀룰러 공간 모델은 오브젝트를 구성하는 성분들의 지시를 허용하는 N-차원의 오브젝트의 토폴로지 표현 (topologic representation) 인, 변환 장치.
- 제 12 항에 있어서,상기 셀룰러 공간 모델은 압축된 제 1 오브젝트의 표현을 압축해제 (decompress) 하는데 사용되는 것을 특징으로 하는, 변환 장치.
- 삭제
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP02077692 | 2002-07-04 | ||
EP02077692.8 | 2002-07-04 | ||
PCT/IB2003/003034 WO2004006187A1 (en) | 2002-07-04 | 2003-07-02 | Topological image model |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20050016721A KR20050016721A (ko) | 2005-02-21 |
KR100984473B1 true KR100984473B1 (ko) | 2010-09-30 |
Family
ID=30011158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020047021728A KR100984473B1 (ko) | 2002-07-04 | 2003-07-02 | 토폴로지 이미지 모델 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20050231507A1 (ko) |
EP (1) | EP1522049B1 (ko) |
JP (1) | JP2005531862A (ko) |
KR (1) | KR100984473B1 (ko) |
CN (1) | CN1666234B (ko) |
AT (1) | ATE345549T1 (ko) |
AU (1) | AU2003281393A1 (ko) |
DE (1) | DE60309710T2 (ko) |
WO (1) | WO2004006187A1 (ko) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7710423B2 (en) * | 2005-03-21 | 2010-05-04 | Microsoft Corproation | Automatic layout of items along an embedded one-manifold path |
CN101105864B (zh) * | 2007-08-07 | 2010-04-07 | 中国地质大学(武汉) | 一种基于序列剖面拓扑推理的三维地质体动态重构方法 |
MY162861A (en) * | 2007-09-24 | 2017-07-31 | Koninl Philips Electronics Nv | Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal |
CN101794457B (zh) * | 2010-03-19 | 2012-07-25 | 浙江大学 | 基于样例的区分式三维运动恢复方法 |
CN102509339B (zh) * | 2011-10-10 | 2014-04-02 | 武汉大学 | 一种带纹理约束的三维模型顶点聚类简化方法 |
CN102592313B (zh) * | 2011-12-29 | 2015-04-01 | 中国水电顾问集团华东勘测设计研究院 | 一种地质三维模型自动建模与动态更新的方法 |
CN111665709B (zh) * | 2020-06-29 | 2021-10-15 | 北京东方计量测试研究所 | 广域空间内统一时间的方法和空间守时系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1003131A1 (en) * | 1998-11-02 | 2000-05-24 | Koelman Intellectueel Eigendom B.V. | Method and device for designing surfaces with a free form |
US6438266B1 (en) | 1998-08-27 | 2002-08-20 | Lucent Technologies Inc. | Encoding images of 3-D objects with improved rendering time and transmission processes |
-
2003
- 2003-07-02 WO PCT/IB2003/003034 patent/WO2004006187A1/en active IP Right Grant
- 2003-07-02 US US10/519,061 patent/US20050231507A1/en not_active Abandoned
- 2003-07-02 JP JP2004519114A patent/JP2005531862A/ja not_active Withdrawn
- 2003-07-02 AU AU2003281393A patent/AU2003281393A1/en not_active Abandoned
- 2003-07-02 AT AT03740943T patent/ATE345549T1/de not_active IP Right Cessation
- 2003-07-02 CN CN038157160A patent/CN1666234B/zh not_active Expired - Fee Related
- 2003-07-02 EP EP03740943A patent/EP1522049B1/en not_active Expired - Lifetime
- 2003-07-02 KR KR1020047021728A patent/KR100984473B1/ko active IP Right Grant
- 2003-07-02 DE DE60309710T patent/DE60309710T2/de not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6438266B1 (en) | 1998-08-27 | 2002-08-20 | Lucent Technologies Inc. | Encoding images of 3-D objects with improved rendering time and transmission processes |
EP1003131A1 (en) * | 1998-11-02 | 2000-05-24 | Koelman Intellectueel Eigendom B.V. | Method and device for designing surfaces with a free form |
Non-Patent Citations (1)
Title |
---|
Aghbari et al. "VST-Model: A Uniform Topological Modeling of the Visual-Spatio-Temporal Video Features", IEEE Int'l Conf. on Multimedia Computing and Systems, vol.2, pp.163-168, 1999. |
Also Published As
Publication number | Publication date |
---|---|
EP1522049B1 (en) | 2006-11-15 |
CN1666234B (zh) | 2010-05-12 |
JP2005531862A (ja) | 2005-10-20 |
ATE345549T1 (de) | 2006-12-15 |
EP1522049A1 (en) | 2005-04-13 |
KR20050016721A (ko) | 2005-02-21 |
AU2003281393A1 (en) | 2004-01-23 |
US20050231507A1 (en) | 2005-10-20 |
CN1666234A (zh) | 2005-09-07 |
DE60309710T2 (de) | 2007-09-20 |
WO2004006187A1 (en) | 2004-01-15 |
DE60309710D1 (de) | 2006-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6252974B1 (en) | Method and apparatus for depth modelling and providing depth information of moving objects | |
CN108171761B (zh) | 一种基于傅里叶图变换的点云帧内编码方法及装置 | |
US6738424B1 (en) | Scene model generation from video for use in video processing | |
US6075875A (en) | Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results | |
EP2224357A1 (en) | Video segmentation | |
JP2000508488A (ja) | ディジタル画像情報の多重解像度変換のシステム及び方法 | |
JP2004350283A (ja) | 圧縮ビデオから3次元オブジェクトをセグメント化する方法 | |
Huber-Lerner et al. | Compression of hyperspectral images containing a subpixel target | |
Pavez et al. | Dynamic polygon cloud compression | |
Doulamis et al. | Non-sequential video content representation using temporal variation of feature vectors | |
CN111918024B (zh) | 一种城市路网数字化监控系统和方法 | |
CN101682765A (zh) | 确定用于光场数据结构的图像分布的方法 | |
KR100984473B1 (ko) | 토폴로지 이미지 모델 | |
CN113379858A (zh) | 一种基于深度学习的图像压缩方法及装置 | |
CN115393761A (zh) | 视频关键帧提取方法、装置、设备和存储介质 | |
CN117710893A (zh) | 一种多维度数字画像智慧校园数字化系统 | |
JP7290546B2 (ja) | 3dモデル生成装置および方法 | |
Sehli et al. | WeLDCFNet: Convolutional Neural Network based on Wedgelet Filters and Learnt Deep Correlation Features for depth maps features extraction | |
KR20060015755A (ko) | 3차원 모델을 사용하는 화상 시퀀스를 표현하는 방법 및 그장치와 신호 | |
CA2812890A1 (en) | Mesh based frame processing and applications | |
Bhalod et al. | Region-based indexing in the JPEG2000 framework | |
JP3499729B2 (ja) | 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 | |
CN115695818B (zh) | 一种基于物联网的园区智能监控数据的高效管理方法 | |
WO2001049028A1 (en) | Scene model generation from video for use in video processing | |
Athisayamani et al. | A Novel Video Coding Framework with Tensor Representation for Efficient Video Streaming |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130830 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20140828 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160629 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20170629 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20180628 Year of fee payment: 9 |