KR19990044043A - 화상 데이터 처리 장치 및 방법 - Google Patents

Abstract

압축 방법 및 장치는 2차원 화소 화상이 화소마다 규정된 각각의 절대적인 깊이 값을 가지는 화상 데이터 처리시에 사용하도록 제공되며, 깊이 데이터는 화상 데이터와 함께 압축후에 전송 또는 저장되도록 요구된다. 화소마다의 깊이 데이터의 압축 처리는 제 1 소정의 범위내에서 동일하거나 유사한 깊이(depth) 값들을 갖는 화소인, 화상의 인접하는 화소들의 패치를 결정하고, 제 1의 공통 깊이 값을 상기 패치의 모든 화소들에 지정함으로써 시작한다(90). 다음에, 동일하거나 유사한 깊이 값들을 갖는 화소 패치들은 그룹화하고(92), 이 그룹화된 모든 화소들의 패치에 대해 공통의 깊이 값이 지정된다. 각각의 개별적인 화소 깊이 값에 대해, 그 깊이 값을 갖는 화상의 화소 수 또는 영역을 결정한다(94). 최소 영역에 대해, 관련된 각각의 화소들의 깊이 값은 가장 인접한 개별의 깊이 값으로 수정된다(100). 소정 개수 N(예로, 16 또는 32)의 개별의 깊이 값이 유지될 때까지만 최소 영역의 결정 및 깊이 값의 재지정이 반복된다. 인접 화소의 깊이를 참조한 깊이 값의 재지정은 N개의 개별의 레벨로 경감된 깊이 데이터가 깊이 데이터 볼륨의 실질적인 감소를 실현하기 위해 런-랭스 코딩될 수도 있음을 의미한다.

Description

화상 데이터 처리 장치 및 방법

2 이상의 화상면으로부터 제공된 사항들을 혼합하는 장치는 유럽 특허 출원 EP-A-0,634,733에 개시되어 있다. 이 출원에서 제공된 화상 처리 장치 및 방법에서, 2 또는 3 평면 화상은 모든 화소들에 대해 실질적으로 모든 화소들에 대해 정의된 각각의 절대적인 깊이 값을 갖는 각각의 화상들로 구성 요소를 형성한다. 조합시에, 적어도 제 1 및 제 2 화상내의 대응 화소의 각각의 깊이 값들은 각각의 깊이 값에 따라 제 1 또는 제 2 화상중의 한 화상의 가장 앞의 화상으로부터 얻어지는 우선적인 제공 사항과 비교된다. 제 3 화상이 개별적으로 규정된 절대 깊이 값을 가진 "배경"으로서 제공되는 경우, 화소 단위의 비교는 가장 앞의 3개의 값들을 판정하도록 단순히 확장되며, 이로써, 제 1 또는 제 2 평면내에 모델링된 스프라이트(sprites)를 제 3 평면의 특징들 뒤로 확실히 통과하게 한다. 불투명 값들이 화상 화소들을 나타낼 수 있는 경우, 3 값의 비교는 각각의 화소에 대한 화상 단위의 제공 사항들을 결정하도록 제 1 스테이지를 제공한다.

중첩된 2 차원 평면의 배열(여기서, 화상 특징들에 대한 깊이 분류가 평면 단위가 아닌 화소 단위로 실행됨)은 3 차원 환경 화상 데이터의 실시간 처리를 요구하지 않고도 상호작용하는 응용을 위한 3 차원 환경의 출현을 제공하도록 비교적 간단한 방식을 제공한다.

EP-A-0,634,733의 시스템에서, 각각의 화상을 수반하는 깊이 값들은 화상에 대한 비디오 정보와 함께 저장되기에 앞서 압축되고, 재생동안 신장된다. 압축은 양자화 및 런-랭스 인코딩에 의해 영향받을 수 있지만, 이것만으로는 일부 응용을 위한 깊이 데이터의 볼륨을 감소시키기에 불만족스러운 방법이다. 예를 들어, 화소당 24 비트로 규정된 깊이 데이터를 갖는 352 x 176 화소의 화상 프레임을 이용하여, 250 킬로바이트의 메모리가 깊이 데이터 저장을 위해 요구된다. 그러나, 화상 데이터의 실시간 전송을 위해, 깊이 데이터의 볼륨은 전형적으로 2 킬로바이트가 되어야 한다. 공통 깊이 값을 갖는 큰 영역의 화상을 초래(깊이 데이터의 런-랭스 코딩을 활용함으로써)하기 위해, 데이터 값의 양자화 응용은 이러한 감소를 실현할 수 있지만, 화상 영역이 다른 것보다 덜 상세화된 깊이 규정을 요구하는 가능성을 무시하고 이로써 가용의 비트 볼륨의 비효율적인 활용을 하게 하는 대가를 치러야 한다.

본 발명은 화상 데이터 처리 장치 및 방법에 관한 것이며, 특히, 비디오 또는 그래픽 화상을 수반하는 화소 깊이(depth) 데이터를 처리하는 것에 관련한다. 여기서, 2 이상의 이러한 화상은 그 개별의 깊이에 종속하여 화상으로부터 취해진 우선적인 제공 사항(preferential contributions)들과 조합되게 된다.

도 1은 주문형 비디오 아키텍쳐에 근거한 원격 멀티-유저 게임 시스템을 개략적으로 도시한 도면.

도 2는 도 1의 게임 시스템의 단말기에서 사용자에 제시된 화상을 나타내는 도면.

도 3은 본 발명에 따른 MPEG 데이터 스트림으로 구성 요소의 인터리브를 나타내는 도면.

도 4는 본 발명을 구현하는 인코더 장치의 블록 개략도.

도 5는 도 4의 인코더 장치의 일부 동작을 나타내는 흐름도.

도 6A 및 도 6B는 도 2의 화상에 대해 "제외 맵"의 발생 단계를 나타내는 도면.

도 7은 도 5의 감소 단계를 보다 상세하게 나타내는 흐름도.

본 발명의 목적은 화상을 동반하기 위해 요구되는 깊이 데이터의 볼륨을 감소시키기 위한 수단을 제공하는 것이다.

본 발명의 또다른 목적은 깊이 데이터 분포 뿐만아니라 화상 내용을 고려하는 방식으로 데이터 볼륨을 감소시키는 것이다.

본 발명에 따른 화상 데이터 처리 방법은, 2차원 화소 화상이 제공되고 개별의 절대 깊이 값이 화소마다 규정되며, 상기 깊이 데이터는 전송 또는 저장에 앞서 화상 데이터와 함께 압축되는 화상 데이터 처리 방법에 있어서,

화상마다 깊이 데이터를 압축하는 일련의 처리가

a) 제 1 소정의 범위내에서 동일하거나 유사한 깊이(depth) 값들을 갖는 화소인, 화상의 인접하는 화소들의 패치를 결정하고, 제 1의 공통 깊이 값을 상기 패치의 모든 화소들에 지정하는 단계와;

b) 제 2 소정의 범위내에서 동일하거나 유사한 깊이 값들을 갖는 화소 패치들을 그룹화하고, 이 그룹화된 모든 화소들의 패치에 대해 제 2의 공통 깊이 값을 지정하는 단계와;

c) 각각의 개별적인 화소 깊이 값에 대해, 그 깊이 값을 갖는 화상의 화소 수를 결정하고, 최소 개수의 화소에 대해, 그 화소들의 각각의 깊이 값을 가장 인접한 개별의 깊이 값에 재지정하는 단계; 및

d) 소정 개수 N의 개별의 깊이 값이 유지될 때까지만 단계 c)를 반복하는 단계를 구비하는 것을 특징으로 한다.

인식될 수 있듯이, 본 발명은 깊이 데이터의 볼륨을 감소시키기 위한 보다 적응적인 기술을 제공한다. 먼저 유사한 깊이의 인접한 화소들을 그룹화하고 공통 깊이 값을 유사한 모든 깊이의 패치에 지정함으로써, 효율적인 양자화가 화상 내용에 보다 더 근접하게 근거하게 되며, 데이터의 런-랭스 코딩(상기 방법의 또다른 단계 e)로서 제공됨)은 원래의 깊이 데이터가 N개의 다르지만 동일 간격의 값으로 간단히 양자화되는 경우보다 데이터의 감소가 더욱 커질 것이다. 상기 언급된 단계 a)에 앞서, 매우 큰 범위의 초기 값들이 있다면, 즉, 깊이 값들이 그 요구된 것보다 더 큰 정확도로 규정된다면, 일부 양자화는 사용될 수 있다. 예를 들어, 이 초기 양자화는 256의 제 1 의 개수로 깊이 값들을 줄이는데, 상기 방법에 의해 또다른 압축이 이 개수를 N=16의 개별적인 깊이 값들로 감소시키는데 영향받는다.

상술된 대로, 단계 a)에 앞서, 데이터의 효율적인 감소를 위한 또다른 기술에 의해, 화상의 영역은 "제외"된 영역으로서, 예를 들어, 깊이 데이터가 요구되지 않은 영역으로서, 식별된다. 즉, 요구된 처리 시간뿐만아니라, 깊이 데이터 볼륨의 감소는 제외된 영역이외의 관심 화상의 부분에 관련하여서만 단계 a) 내지 d)를 실행함으로써 영향받는다.

본 발명에 따은 화상 데이터 처리 장치는, 2차원 화소 화상을 정의하는 데이터, 및 화소마다 개별의 절대적 깊이 값을 정의하는 데이터를 수신 및 저장하도록 장치된 제 1 메모리 및, 상기 화상 데이터와 함께 상기 깊이 데이터의 전송 또는 저장에 앞서, 화상의 저장된 깊이 데이터를 처리 및 압축하도록 장치된 깊이 데이터 처리 및 압축 수단을 구비하는 화상 데이터 처리 장치에 있어서,

깊이 데이터 처리 및 압축 수단이

제 1 소정의 범위내에서 동일하거나 유사한 깊이(depth) 값들을 갖는 화소인, 화상의 인접하는 화소들의 패치를 결정하고, 상기 개별의 저장된 깊이 값들을 상기 패치의 모든 화소들에 대한 공통 깊이 값으로 보정하기 위해 장치된 제 1 비교 스테이지와;

제 2 소정의 범위내에서 동일하거나 유사한 공통의 화소 깊이 값들을 갖는 화소 패치들을 그룹화하고, 이 그룹화된 패치들의 모든 화소들에 대한 공통의 깊이 값에 대해 상기 개별의 저장된 깊이 값을 보정하기 위해 장치된 제 2 비교 스테이지와;

상기 제 1 메모리내의 각각의 개별의 화소 깊이 값에 대해, 그 깊이 값에서의 화상내의 화소 영역을 결정하고, 최소한의 이러한 영역에 대해, 그 영역의 각각의 화소의 개별의 저장된 깊이 값을 가장 인접한 개별의 깊이 값으로 보정하기 위해 장치된 영역 결정 수단; 및

소정의 N개의 개별의 깊이 값들이 상기 제 1 메모리에 유지될 때까지만 상기 영역 결정 수단의 반복된 동작을 트리거하도록 장치된 카운터 수단을 구비하는 것을 특징으로 한다.

상기 장치는 N개의 개별의 깊이 값이 유지됨을 판정하는 카운트 수단에 의해 적절히 트리거함으로써, 깊이 데이터의 런-랭스 코딩된 표현을 메모리에 발생하기 위해 제 1(런-랭스) 인코더를 더 구비한다. 소정의 코딩 체계(MPEG)에 따라 화소 화상 데이터를 압축하기 위해 장치된 제 2 인코더가 제공된다. 인터리브 회로는 제 및 제 2 인코더의 출력을 조합하여 출력 데이터 스트림으로 제공한다.

모든 화소의 패치(제 1 비교 수단에 의함)에 부과된 공통 깊이 값에 관련하여, 그 패치의 화소들에 대해 보정되지 않은 최대 또는 최소의 깊이 값들을 가지며, 즉, 상기 언급된 제 1 소정 범위내에서의 일부 중간 값이 선택된다. 유사하게, 제 2 비교 스테이지에 의해 패치 그룹에 부과된 공통 깊이 값은 최대 또는 최소의 개별적인 깊이 값이 되며, 즉, 일부 중간 값(상기 언급된 제 2 소정 범위내)이 다시 부과된다.

본 발명의 특징 및 장점은 본 발명의 양호한 실시예로부터 더욱 분명해 질 것이다.

도 1은 적절히 사용된 본 발명의 압축 기술에 대한 원격 멀티 플레이어 게임 시스템의 예를 도시한 것이다. 중앙 서버(10)는 데이터 라인(16)을 통해 원격 사용자 스테이션(12,14)에 데이터를 송출하며, 원격 사용자로부터 서버로의 통신은 백-채널(18)상으로 전송된다. 각각의 원격 사용자 스테이션(12,14)은 디스플레이(20)(사용자의 텔레비젼 수상기일수도 있음)와 함께, 서버(10)와의 접속부와 인터페이싱하고 국부적 지능(intelligence)을 제공하는 셋-탑 박스(set-top box:STB)(24)와, 사용자 입력 장치(UID)(22)를 구비한다.

도 2를 참조하여, 적절한 게임 플레이 환경은 사용자가 도로를 주행하는 차량(26,28,30)을 상호 따라잡기 위해 운전하는 도시 환경으로 구성된다. 거리, 건물등으로 구성된 풍경은 MPEG 비디오 스트림으로서 사용자 STB에 재현된다. 각각의 경기자는 게임의 전체 제어가 서버(10)내의 게임 로직 섹션(32)에 의해 조정되는, 자신의 STB(24)를 통해 자신의 차량(26)의 동작을 제어한다. 서버는 게임 환경내의 사용자의 위치, 운행 속도, 방향등에 따라 사용자에 제시될 수도 있는 환경의 모든 다른 시야에 대한 MPEG 데이터를 보유하는 영역(34)을 더 갖는다. 또, 서버 스테이지는 재현된 화상 스트림상의 사용자 STB에 의해 중첩된 게임 및 그래픽 특성(38)에 대해 오디오(36)를 조정한다.

각각의 차량(26,28,30)은 다른 각도 및 높이로 취해진 일련의 화상으로서 각각의 STB(24)의 메모리내에 저장된다. 차량이 디스플레이될 때, 가장 인접한 각도 및 높이를 갖는 스프라이트(sprite) 화상이 그 저장된 화상들로부터 선택되어, 정확한 크기로 치수 조정된며, 스크린상에 재현된다. 조작시에, 서버(10)는 각각의 사용자에 대해 그 사용자에 의해 관찰될 수 있는 일부 환경내의 각각의 차량의 위치를 식별할 것이다. 그후, STB는 서버 제공의 비디오 배경을 중첩하는 복합 화상의 차량 스프라이트들을 발생하는데에 책임이 있다.

도 2에 도시된 대로, 차량(28 또는30)중의 하나가 화상의 좌측의 일부 도로를 운행한다면, 단순한 중첩은 상기 차량이 건물(40)앞에 나타나는 결과를 얻는데 이는 불만족스러운 것이다 : 따라서, 시스템은 차량 스프라이트가 불분명해지는 화상의 영역에 진입할 때 차량 스프라이트의 클리핑을 제공한다.

도 3 및 도 4에 있어서, 사용자의 STB에 전송된 데이터는 서버에 의해 MPEG2 스트림으로서 STB에 전송된 프레임 설명이 있는 도 3에 도시된 유형이다. 프레임은 짧은 헤더 부분 H와 그 뒤의 그래픽/사운드 데이터(G/S), 깊이 데이터(DD), 및 비디오 화상 데이터(VID)에 대한 부분으로 구성된다. STB가 그 관련된 디스플레이 스크린을 초당 30회 갱신할 때, 서버의 게임 로직(32) 및 화상(34) 섹션은 이 비율로 프레임 설명을 전송할 필요가 있다.

차량이 불분명해지는 화상 위치에서 스프라이트 STB에 의해 클리핑하도록, 각각의 화상 프레임에 수반되는 깊이 데이터 DD는 프레임의 특징의 각각의 깊이를 명시하여, 각각의 화상과 소정 위치 스프라이트 깊이 값들을 비교함으로써, 차량이 비디오 화상의 맨위에 단순히 재현되거나 클립되는지를 결정할수 있다.

도 4는 그 화상의 화소에 대한 각각의 깊이 데이터와 함께, 서버(10)(도 1)의 스테이지(34)에 저장되도록, 각각의 화상 프레임의 인코딩된 버전을 발생하는 인코더 장치를 개략적으로 설명하고 있다. 프레임 버퍼(42) 및 관련된 깊이 버퍼(44)는 버퍼(42)에 저장된 화상 프레임의 각각의 화소에 대해 초기의 각각의 깊이 값을 보유하는 깊이 버퍼(44)(Z 버퍼)로 공급 스테이지(46)에 의해 발생된 비디오 화상 데이터를 보유한다. 버퍼(44)내의 깊이 "맵"은 맵 프로세서(46)에 의해 처리되어, 후술될 방식으로 프로세서(48)에 희해 수정될 때 화소당 현재의 깊이 값의 진행 레코드를 유지하는 맵 메모리(50)를 가지며, 프레임당 전송될 필요가 있는 깊이 데이터의 전체량을 경감시킨다. 프레임 버퍼(42)의 출력은 공지된 방식으로 이산 코사인 변환 압축 기법을 비디오 화상에 제공하는 MPEG 인코더 스테이지(52)에 전송된다. 그후, MPEG 인코딩된 비디오는 그래픽(56) 및 오디오(58) 데이터 소스(인터리브 스테이지의 앞단의 믹서 회로(60)에 결합됨)로부터 입력을 적절하게 수신하는 인터리브 스테이지(54)에 출력되며, 그후, 인터리브 스테이지(54)를 사용하여 도 3의 MPEG 프레임들을 조합하고 저장(예를 들어 광 디스크상에)을 위해 또는 전송을 위해 데이터 채널(16)(도 1)상에 출력한다.

용이하게 이해되듯이, MPEG 인코딩 스테이지(52)는 필요에 따라 연속의 MPEG 스트림의 발생을 허용하기 위해 화상의 재정렬을 포함한다 : 이것은 각각의 깊이 맵에 대한 버퍼링뿐만아니라 프레임 재정렬을 허용하도록 추가의 버퍼링을 포함함으로써, 출력 프레임에서, 올바른 깊이 맵은 그 관련된 화상 프레임을 동반하게 된다. 또다른 응용에서, 비디오 화상은 재정렬이 요구되지 않도록 MPEG-1 프레임(충분한 전송 대역폭/저장 용량이 제공된다면)으로서 인코딩될 것이다.

맵 프로세서(48)에 의해 구현된 깊이 맵 저감 기술은 도 5의 흐름도에 의해 설명된다. 하기 내용이 소프트웨어 제어형 데이터 관리 과정면에서 과정을 설명하고 있을지라도, 도시된 각각의 처리 과정은 하드웨어 또는 하드웨어와 소프트웨어의 조합으로 동일하게 구현될 것이다. 화상의 완전한 깊이 맵이 사용가능일 때 단계 70에서 과정을 개시한다. 만일, 이 깊이 맵이 매우 광범위의 값들에 한정되거나, 데이터가 매우 상세히 한정된다면, 다음 단계 72는 개별의 깊이 값들의 제 1 수 M으로 깊이 값들을 양자화한다 : 예를 들어, M에 대한 적절한 값은 256개의 개별의 깊이 값이 될 것이다.

단계 72에서의 양자화에 이어서, 단계 74에서 제 1 화소에 대한 깊이 데이터가 선택되며, 그후, 두 개의 다른(옵션) 테스트가 단계 76, 78에서 각각 적용되어, 화소가 고려 대상에서 제외되었는지(중첩이나 클리핑이 발생되지 않은 화상 영역내에 존재) 또는 화소가 소정의 임계값보다 더 큰 깊이를 갖는지(예를 들어, 디스플레이에 대한 임의의 스프라이트에서의 깊이가 1 화소보다 작은 크기로 치수 결정됨)를 판정한다. 만일, 단계 76 또는 78중의 한 단계가 참이라면, 문제되는 화소는 무시될 수 있고 어떤 깊이 값도 맵 메모리(50)(도 4)내의 특정 화소에 대해 저장되지 않을 것이다. 단계 76, 78은 단계 80 및 82의 최종 화소?/다음 화소의 제어하에 화상의 각각의 화소에 대해 반복되어 화상에 대한 유효 깊이 데이터의 일체를 맵 메모리(50)내에 제공한다. 이 깊이 데이터는 단계84에서, 메모리(50)내에 남아 있는 단지 N(여기서, N은 16 또는 32임)개의 개별의 깊이 값들이 있는 점까지 감소되며, 그후 단계 86에서, 메모리(50)로부터의 감소된 해상도 깊이 맵은 런-랭스 코딩되어 도 4의 인터리브 회로(54)에 공급된다.

도 6A 및 도 6B는 단계 76에 대한 제외(exclusion)가 평가되는 방법을 도시한 것이다. 실시예에서, 도 2의 도로는 이동한느 스프라이트가 발생하는 화상의 영역만을 나타낸 것이다. 이것을 인식하는데 있어서, 제외 마스크는 도 6A에서 깊이(V_MAX/Z)로 차량의 되대 높이까지 도로에 수직 돌출함으로써 발생된다. 이 돌출로부터, 제외 맵(도 6B)이 발생된다. 즉, 도 5의 단계 76에서, 맵 프로세서는 단순히 고려중인 특정 화소의 XY 좌표를 확인하며, 만일, 제외 맵(도 6B의 빗금친 부분)내에 있다면, 화소는 무시되고 다음의 화소가 고려 대상으로 선택된다(단계 82를 통해 복귀 루프).

도 5의 단계 84에서 실행된, 개별의 깊이 값들의 개수의 감소는 도 7의 흐름도에 의해 보다 상세하게 도시된다. 감소 과정의 제 1 단계 90은 패치의 모든 화소들이 소정 범위내의 값들과 동일하거나 유사한 인접 화소의 패치를 정의하는 것이다. 이들 패치는 다음의 아직 패치되지 않은 소정 범위의 지배적 구성 요소들을 갖는 화소로부터 시작하여 탐색 알고리즘을 반복적으로 실행함으로써 결정되거나, 그렇지 않으면, 패치들은 제 1화소 패치에 대한 깊이 값의 어느 한 측상의 설정 값이된다. 그러나, 후보 화소들이 선택되어 패치 구성 요소로서 식별될시에 패치의 모든 화소는 단일의 공통 깊이 값에 보정된 그 각각의 깊이 값들(맵 메모리(50)내)을 갖는다.

다음 스테이지, 단계 92에서, 단계 90에 의해 형성된 모든 패치(이 패치들은 단일 화소만큼 작음) 및, 소정량미만으로 분리되거나 동일한 각각의 공통의 깊이 값들을 갖는 패치에 대한 각각의 지정된 깊이 값들을 비교하며, 각각의 그룹화된 패치내의 모든 화소들은 단일의 공통 값에 보정된 맵 메모리(50)내의 각각의 깊이 값들을 갖는다. 단계 90,92에서 부여된 공통 값의 선택은 고려 대상인 특정 화소로 표현된 특정 화상 특징에 종속적이다. 예를 들어, 도 2에서, 건물(40)의 측면을 나타내는 모든 화소들은 건물 화상의 가장 앞단의 화소의 깊이와 동일한 공통의 깊이 값을 가질 것이다. 반대로, 이것은 도로 표면의 일부를 나타내는 화소들과 함께 그룹화하기 위해, 나타날 것으로 추정되는 도로에 의해 차량 스프라이트가 클립될 가능성을 피하도록 적용될 패치당 보정않된 최대의 깊이이다.

공통의 깊이 값의 패치를 형성하고 유사한 패치들을 다시 공통의 깊이 값에 병합하여, 개별의 화소 깊이 값들의 개수는 256으로부터 40으로 감소된다. 그후 단계 94 내지 104는 도 5의 연속의 런-랭스 코딩 스테이지(86)로부터의 압축을 최대화하기 위해, 이들 남은 40개의 개별의 깊이 값들을 적응적으로 양자화한다.

적응적인 양자화의 제 1단계는 맵 메모리(50)내에 저장된 데이터로부터, 각각의 개별의 깊이 값들에서 화소에 의해 커버된 개별의 화소 영역을 결정하는 것이다. 깊이 데이터가 화상에 대응하는 맵으로서 저장되는 경우, 이것은 깊이 값당 화소들의 개수를 카운팅하는 간단한 경우이다. 평가후에, 이들 영역 값들은 이어서 재평가를 할 필요성을 피하기 위해 맵 메모리(50)의 영역내에 적절히 저장된다.

깊이 값당 관련 화소 면적을 평가한후, 최소의 면적이 단계 96에서 판정된다. 단계 98에서, 가장 인접하여 존재하는 개별의 깊이 값 대 단계 96에 의해 판정된 최소 면적에 대한 깊이 값이 판정되며, 단계 100에서, 이 최소의 패치/그룹의 각각의 화송 대한 저장된 깊이 값들은 단계 98에서의 깊이 값으로 대체된다. 단계 102에서, 개별의 값들의 개수 N에 대한 공칭의 카운트 값은 최소 면적에 대한 깊이 값들의 재지정에 따른 값에 의해 감소되고, 단계 104에서, 소정 개수의 개별의 깊이 값들(예로 N=16)에 도달되었는지를 확인한다. 만일, 그러하다면, 과정은 도 5의 런-랭스 코딩 스테이지(86)로 이동한다. 그렇지않다면, 감소 처리는 단계 94로 복귀한다. 상기 제안된 대로, 단계 90은 모든 적절한 개별의 화소 영역을 다시 판정하여, 그 저장된 영역 데이터는 적절하게 호출되며 이전의 루프대로 단계 98에서 결정된 대로 가장 인접하게 존재하는 깊이에 대해 이전의 최소 면적을 가산하여 간단히 보정된다.

요약하여, 2차원 화소 화상이 화소당 규정된 각각의 절대 깊이 값을 갖는 경우의 화상 데이터 처리시에 사용되는 압축 방법 및 장치를 설명하였으며, 깊이 데이터는 화상 데이터와 함께 전송 또는 저장되기에 앞서 압축되는 것이 요구된다. 화상 당 깊이 데이터를 압축하는 과정은 화상의 인접하는 화소의 패치들을 결정하고(이 패치의 화소들은 깊이 값과 동일하거나 유사함), 공통의 깊이 값을 패치의 모든 화소들에 지정함으로써 시작한다. 다음에, 동일하거나 유사한 공통 화소 깊이 값들을 갖는 화소 패치들은 함께 그룹화되며, 공통의 깊이 값은 그렇게 그룹화된 패치들의 모든 화소에 지정되며, 이어서, 각각의 개별의 화소 깊이 값에 대해 그 깊이 값을 갖는 화상의 화소들의 개수 또는 면적에 관한 판정이 이루어진다. 이들 최소의 면적에 대해, 관련된 각각의 화소들의 깊이 값은 가장 인접한 개별의 깊이 값으로 수정된다. 최소 면적의 판정 및 깊이 값의 재지정은 개별의 깊이 값들의 소정 수 N(예로, 16 또는 32)이 남을 때까지만 반복된다. 인접 화소의 깊이에 관련하여 깊이 값들의 재지정은 N개의 개별의 레벨까지 감소된 깊이 데이터가 깊이 데이터 볼륨에서 실질적인 감소를 이루기위해 런-랭스 코딩된다.

상술된 내용으로부터, 다른 변형예가 당업자들에게 분명해 질 것이다. 이러한 변형예는 화상 데이터 처리 장치 및 그 구성 요소 분야에서 공지되고 상술된 특징에 부가하여 또는 대신에 이용될 수 있는 또다른 특징을 갖는다. 본 출원에서 특정의 특징 조합으로 청구범위가 공식화될 지라도, 본 출원의 범위를 벗어나지 않고 분명하고 명백하게 임의의 새로운 특징 또는 그 특징들의 조합을 포함하는 것으로 이해되어야 한다.

Claims (9)

1. 2차원 화소 화상이 제공되고 개별의 절대 깊이 값이 화소마다 규정되며, 상기 깊이 데이터는 전송 또는 저장에 앞서 화상 데이터와 함께 압축되는 화상 데이터 처리 방법에 있어서,

   화상마다 깊이 데이터를 압축하는 일련의 처리는

   a) 제 1 소정의 범위내에서 동일하거나 유사한 깊이(depth) 값들을 갖는 화소인, 화상의 인접하는 화소들의 패치를 결정하고, 제 1의 공통 깊이 값을 상기 패치의 모든 화소들에 지정하는 단계와;

   b) 제 2 소정의 범위내에서 동일하거나 유사한 깊이 값들을 갖는 화소 패치들을 그룹화하고, 이 그룹화된 모든 화소들의 패치에 대해 제 2의 공통 깊이 값을 지정하는 단계와;

   c) 각각의 개별적인 화소 깊이 값에 대해, 그 깊이 값을 갖는 화상의 화소 수를 결정하고, 최소 개수의 화소에 대해, 그 화소들의 각각의 깊이 값을 가장 인접한 개별의 깊이 값에 재지정하는 단계; 및

   d) 소정 개수 N의 개별의 깊이 값이 유지될 때까지만 단계 c)를 반복하는 단계를 구비하는 것을 특징으로 하는 화상 데이터 처리 방법.
2. 제 1항에 있어서, 단계 a)에 앞서, 제외된 영역으로서의 화상 영역을 식별하는 단계를 더 포함하며, 여기서, 단계 a) 내지 단계 d)는 상기 제외된 영역이 아닌 다른 화상의 영역에 관련하여서만 실행되는 화상 데이터 처리 방법.
3. 제 2항에 있어서, 소정의 임계값보다 큰 깊이 값을 각각 갖는 화소 그룹들은 상기 제외된 영역으로서 식별되는 화상 데이터 처리 방법.
4. 제 1항에 있어서, N개의 개별의 깊이 값들에 대한 화상 깊이 데이터를 런-랭스 코딩하는 단계 e)를 더 구비하는 화상 데이터 처리 방법.
5. 제 1항에 있어서, 단계 a)에 앞서, 화상의 깊이 값들을 소정의 M개(M>N)의 개별의 깊이 값들로 양자화하는 단계를 더 구비하는 화상 데이터 처리 방법.
6. 2차원 화소 화상을 정의하는 데이터, 및 화소마다 개별의 절대적 깊이 값을 정의하는 데이터를 수신 및 저장하도록 장치된 제 1 메모리 및, 상기 화상 데이터와 함께 상기 깊이 데이터의 전송 또는 저장에 앞서, 화상의 저장된 깊이 데이터를 처리 및 압축하도록 장치된 깊이 데이터 처리 및 압축 수단을 구비하는 화상 데이터 처리 장치에 있어서,

   깊이 데이터 처리 및 압축 수단은

   제 1 소정의 범위내에서 동일하거나 유사한 깊이(depth) 값들을 갖는 화소인, 화상의 인접하는 화소들의 패치를 결정하고, 상기 개별의 저장된 깊이 값들을 상기 패치의 모든 화소들에 대한 공통 깊이 값으로 보정하기 위해 장치된 제 1 비교 스테이지와;

   제 2 소정의 범위내에서 동일하거나 유사한 공통의 화소 깊이 값들을 갖는 화소 패치들을 그룹화하고, 이 그룹화된 패치들의 모든 화소들에 대한 공통의 깊이 값에 대해 상기 개별의 저장된 깊이 값을 보정하기 위해 장치된 제 2 비교 스테이지와;

   상기 제 1 메모리내의 각각의 개별의 화소 깊이 값에 대해, 그 깊이 값에서의 화상내의 화소 영역을 결정하고, 최소한의 이러한 영역에 대해, 그 영역의 각각의 화소의 개별의 저장된 깊이 값을 가장 인접한 개별의 깊이 값으로 보정하기 위해 장치된 영역 결정 수단; 및

   소정의 N개의 개별의 깊이 값들이 상기 제 1 메모리에 유지될 때까지만 상기 영역 결정 수단의 반복된 동작을 트리거하도록 장치된 카운터 수단을 구비하는 것을 특징으로 하는 화상 데이터 처리 장치.
7. 제 6항에 있어서, 상기 N개의 개별의 깊이 값들이 상기 제 1 메모리내의 깊이 데이터의 런-랭스 코딩된 표현을 발생하도록 유지됨을 판정하고 상기 카운터 수단에 의해 트리거되는 제 1 인코더를 더 구비하는 화상 데이터 처리 장치.
8. 제 7항에 있어서, 소정의 코딩 체계에 따라 화소 화상 데이터를 압축하도록 장치된 제 2 인코더 및, 상기 제 1 인코더와 상기 제 2 인코더의 출력들을 출력 데이터 스트림으로 조합하도록 장치된 인터리브 수단을 더 구비하는 화상 데이터 처리 장치.
9. 제 8항에 있어서, 적어도 한 개의 또다른 데이터 소스를 구비하고 상기 인터리브 수단은 상기 적어도 한 개의 또다른 데이터 소스로부터의 데이터와 상기 제 1, 및 제 2 인코더의 출력 데이터 스트림을 조합하도록 또한 동작하는 화상 데이터 처리 장치.