KR100435609B1 - 화상데이터처리장치및방법 - Google Patents

Abstract

압축 방법 및 장치는 2차원 픽셀 화상이 픽셀마다 지정되는 각각의 절대 깊이 값들을 갖는 화상 데이터 처리에 사용하기 위해 제공되며, 그 깊이 데이터는 전송 및 저장에 앞서 화상 데이터로 압축되도록 요구된다. 화상마다 깊이 데이터를 압축하는 처리는 화상(90)의 인접하는 픽셀들의 패치들을 결정함으로써 시작하고(90), 그 패치의 픽셀들은 동일하거나 유사한 깊이 값들을 가지고, 통상의 깊이 값을 그 패치의 모든 픽셀들에 할당한다. 다음에, 동일하거나 유사한 통상의 픽셀 깊이 값들을 갖는 픽셀 패치들은 함께 그룹화하고(92), 공통 깊이 값이 그렇게 그룹화된 패치들의 모든 픽셀들에 할당되며, 다음의 각각의 이산 픽셀 깊이 값들에 대해, 그 영역 또는 그 깊이 값을 갖는 화상의 픽셀들의 수에 대해 결정이 이루어진다(94). 이러한 영역들 중 가장 작은 영역에 대해, 이러한 관련된 픽셀들 각각의 깊이 값은 가장 가까이 존재하는 이산 깊이 값으로 변경된다(100). 이어서 가장 작은 영역의 결정 및 이산 깊이 값들이 유지될 때까지만 깊이 값의 결과적인 재할당(reassignment)이 재지정이 반복된다. 인접하는 픽셀들의 깊이들에 대한 깊이 값들의 재할당은 N개의 이산 레벨들로 감소된 깊이 데이터가 깊이 데이터 용량의 실질적인 감소를 달성하도록 런-랭스 코딩될 수도 있음을 의미한다.

Description

화상 데이터 처리 장치 및 방법

둘 이상의 화상 평면들로부터의 콘트리뷰션(contribution)들을 혼합하기 위한 장치는 유럽 특허 출원 EP-A-0,634,733호에 기재되어 있다. 이 출원에서, 둘 또는 세 개의 평면 화상들이 구성 요소 자료(component material)를 형성하며, 각각의 화상들은 실질적으로 모든 픽셀들에 대해 정의된 각각의 절대 깊이 값(absolute depth value)을 갖는, 화상 처리 방법 및 장치가 제공된다. 조합 시에, 적어도 제 1 및 제 2 화상들 내의 대응하는 픽셀들의 각각의 깊이 값들이 각각의 깊이 값에 따라 제 1 또는 제 2 화상 중 한 화상의 가장 앞의 픽셀(front-most pixel)로부터 얻어지는 선택적인 콘트리뷰션들과 비교된다. 제 3 화상이 적절하게는 "배경(background)"으로서 또는 개별적으로 규정된 절대 깊이 값으로 제공되는 경우, 픽셀 단위(per-pixel)의 비교는 3개 중 가장 앞의 값들을 결정하도록 단순히확장되므로, 제 1 또는 제 2 평면 중 한 평면에 모델링된 스프라이트(sprite)들이 제 3 평면의 특징들 뒤로 확실히 통과하도록 한다. 불투명 값들이 화상 픽셀들을 나타내기 위해 사용 가능한 경우, 세 값의 비교는 각각의 픽셀에 대한 화상 단위의 콘트리뷰션을 결정하기 위해 예비 단계를 제공할 수 있다.

여기서, 화상 특징들을 위한 깊이 분류(depth sorting)가 평면 단위(per-plane)보다는 픽셀 단위(per-pixel)에 기초하여 행해지는 중첩된 2차원 평면들의 그러한 배치는 3차원 환경 화상 데이터의 실시간 조작(manipulation)을 요구하지 않고도 상호작용 응용들을 위한 3차원 환경의 출현을 제공하도록 비교적 간단한 방법을 제공한다.

EP-A-0,634,733호의 시스템에서, 각 화상을 수반하는 깊이 값들은 그 화상에 대한 비디오 정보에 저장되기에 앞서 압축되고(compressed), 재생동안 압축해제된다(decompressed). 압축(compression)은 양자화 및 런-랭스 인코딩(run-length encoding)에 의해 달성될 수 있지만, 이것만으로는 몇가지 응용들에 대한 깊이 데이터의 용량(volume)을 감소시키기에 불만족스러운 방법이다. 예를 들어, 픽셀당 24 비트로 정의된 깊이 데이터를 갖는 352×176 픽셀들의 화상 프레임을 이용하여, 대략 250Kbytes의 메모리가 깊이 데이터 저장을 위해 요구된다: 그러나, 화상 데이터의 실시간 전송을 위해, 수반하는 깊이 데이터의 용량이 통상적으로 2Kbytes로 감소될 필요가 있다. 공통 깊이 값들을 갖는 화상의 큰 영역들을 초래(깊이 데이터의 런-랭스 코딩을 용이하게 함으로써)하기 위해, 데이터 값들의 양자화 응용은 이러한 감소를 달성할 수 있지만, 화상 영역이 다른 것보다 덜 상세한 깊이 설명을요구하는 가능성을 무시하고 그러므로 사용 가능한 비트-용량의 비효율적인 사용을 허용하는 대가를 치러야 한다.

본 발명은 화상 데이터를 처리하기 위한 방법 및 장치에 관한 것이며, 특히, 둘 이상의 그러한 화상들이 그들 각각의 깊이들에 따른 화상들 중 하나 또는 또 다른 화상들로부터 얻어진 선택적인 콘트리뷰션들(preferential contributions)들과 결합되도록 하는 사용을 위해, 비디오 또는 그래픽 화상을 수반하는 픽셀 깊이(depth) 데이터를 처리하는 것에 관한 것이다.

도 1은 비디오-온-디멘드(Video-on-Demand) 서버 아키텍쳐에 기초한 원격 멀티-유저(remote multi-user) 게임 시스템을 개략적으로 도시한 도면.

도 2는 도 1의 게임 시스템의 단말기에서 유저에 제시된 화상을 나타낸 도면.

도 3은 본 발명의 일양상에 따른 MPEG 데이터 스트림으로 구성 요소들의 인터리빙(interleaving)을 나타낸 도면.

도 4는 본 발명을 구현하는 인코더 장치의 개략적인 블록도.

도 5는 도 4의 인코더 장치의 일부 동작을 나타낸 플로우차트.

도 6A 및 도 6B는 도 2의 화상에 대한 "제외 맵(exclusion map)"의 발생 단계를 나타낸 도면.

도 7은 도 5의 감소 단계를 훨씬 더 상세하게 나타낸 플로우차트.

따라서, 본 발명의 목적은 화상을 수반하도록 요구되는 깊이 데이터의 용량을 감소시키기 위한 수단을 제공하기 위한 것이다.

본 발명의 다른 목적은 깊이 데이터 분포뿐만 아니라 화상 내용을 고려하는 방식으로 데이터 용량을 감소시키기 위한 것이다.

본 발명에 따라서, 픽셀마다 각각의 절대 깊이 값(absolute depth value)이 정해진 2차원 픽셀 화상이 제공되고, 상기 깊이 데이터가 전송 또는 저장에 앞서 화상 데이터와 함께 압축되는, 화상 데이터 처리 방법에 있어서,

화상마다의 상기 깊이 데이터를 압축하는 상기 처리는,

a) 한 패치의 픽셀들이 제 1의 미리 결정된 범위 내에서 동일하거나 유사한 깊이(depth) 값들을 가지는, 상기 화상의 인접하는 픽셀들의 패치들을 결정하고, 제 1의 공통 깊이 값을 상기 패치의 모든 픽셀들에 할당하는 단계와,

b) 제 2의 미리 결정된 범위 내에서 동일하거나 유사한 깊이 값들을 갖는 픽셀 패치들을 그룹화하고, 그렇게 그룹화된 패치들의 모든 픽셀들에 제 2의 공통 깊이 값을 할당하는 단계와,

c) 각각의 이산 픽셀 깊이 값(discrete pixel depth value)에 대해, 그 깊이 값을 갖는 상기 화상의 픽셀들의 수를 결정하고, 최소 수의 픽셀들에 대해, 그 픽셀들의 각각의 깊이 값을 가장 인접해 있는 이산 깊이 값에재할당하는(reassigning) 단계, 및

d) 미리 결정된 수(N)의 이산 깊이 값들만이 남아있을 때까지 단계 c)를 반복하는 단계를 순차적으로 포함하는 것을 특징으로 한다.

보여질 수 있듯이, 본 발명은 깊이 데이터의 용량을 감소시키기 위한 보다 적응적인 기술을 제공한다. 먼저 유사한 깊이의 인접한 픽셀들과 함께 그룹화하고 다음으로 공통 깊이 값을 유사한 깊이의 모든 패치들에 할당함으로써, 효율적인 양자화가 화상 내용에 기초하여 보다 더 근접하게 되며, 데이터의 런-랭스 코딩(윗 방법의 다른 단계 e)로서 제공될 수 있는)은 예를 들어, 원래의 깊이 데이터가 N개의 다르지만 동일하게 이격된 값들로 간단히 양자화되는 경우보다 더 많은 데이터의 감소를 달성할 수 있다. 상기 언급된 단계 (a)에 앞서, 지나치게 큰 범위의 초기 깊이 값들이 있는 경우, 또는 그 깊이 값들이 그 요구된 것보다 더 큰 정확도로 규정되는 경우, 일부 양자화는 사용될 수 있다. 예를 들어, 이 초기 양자화는 N=16의 이산 깊이 값들로 이를 감소시키는 방법에 의해 달성되는 다른 압축을 갖는, 256과 같은 제 1 넘버로 그 깊이 값들을 감소시킬 수 있다.

이후 기재되는 바와 같이, 상기 언급된 단계 (a)에 앞서, 데이터의 효율적인 감소를 위한 다른 기술에 의해, 화상의 영역들은 "배제된" 영역들, 예를 들어, 어떤 깊이 데이터도 요구되지 않은 영역들로서 식별될 수 있다. 이어서, 요구된 처리 시간뿐만 아니라, 깊이 데이터 용량의 세이빙(saving)이 다시 말해, 배제된 영역들과는 다른, 흥미있는 화상의 부분들에 관해서만 앞서 언급된 단계 (a) 내지 (d)를 수행함으로써 달성될 수 있다.

본 발명은 또한 2차원 픽셀 화상을 정의하는 데이터, 및 픽셀 당 각각의 절대 깊이 값을 정의하는 데이터를 수신 및 저장하도록 배치된 제 1 메모리를 포함하는 화상 데이터 처리 장치로서, 상기 장치는 상기 화상 데이터와 함께 상기 깊이 데이터의 전송 또는 저장에 앞서, 화상의 상기 저장된 깊이 데이터를 처리 및 압축하도록 배치된 깊이 데이터 처리 및 압축 수단을 더 포함하는, 상기 화상 데이터 처리 장치에 있어서, 상기 깊이 데이터 처리 및 압축 수단은, 한 패치의 픽셀들이 제 1의 미리 결정된 범위 내에서 동일하거나 유사한 깊이 값들을 갖는, 상기 영상의 인접하는 픽셀들의 패치들을 결정하고, 상기 각각의 저장된 깊이 값들을 상기 패치의 모든 픽셀들에 대해 공통 깊이 값들로 보정하도록 배치되어 있는, 제 1 비교 스테이지와, 제 2의 미리 결정된 범위 내에서 동일하거나 유사한 공통 픽셀 깊이 값들을 갖는 픽셀 패치들을 그룹화하고, 상기 각각의 저장된 깊이 값들을 그렇게 그룹화된 패치들의 모든 픽셀들에 대해 공통의 깊이 값으로 보정하기 위해 배치된 제 2 비교 스테이지와, 상기 제 1 메모리 내의 각각의 이산 픽셀 깊이 값에 대해, 그 깊이 값에서의 상기 화상 내의 픽셀들의 영역을 결정하고, 가장 작은 그러한 영역에 대해, 그 영역의 각 픽셀의 각각의 저장된 깊이 값을 가장 인접한 이산 깊이 값으로 보정하도록 배치된 영역 결정 수단, 및 미리 결정된 수(N)의 이산 깊이 값들만이 상기 제 1 메모리에 남아있을 때까지 상기 영역 결정 수단의 반복된 동작을 트리거하도록 배치된 카운터 수단을 포함하는 것을 특징으로 한다.

그 장치는 상기 카운터 수단이 상기 N개의 이산 깊이 값들이 남아있다고 결정하는 것에 의해 트리거되어 상기 제 1 메모리 내의 깊이 데이터의 런-랭스 코딩된 표현을 생성하는 제 1(런-랭스) 인코더를 더 포함한다. 제 2 인코더가 또한 제공되고, 그 제 2 인코더는 미리 결정된 코딩 계획(MPEG와 같은)에 따라 상기 픽셀 화상 데이터를 압축하도록 배치된다. 이어서, 인터리빙 수단이 상기 제 1 및 제 2 인코더들의 출력들(그리고, 선택적으로 다른 데이터 소스들로부터의 데이터)을 출력 데이터 스트림 내에 결합하도록 적절하게 제공된다.

패치의 모든 픽셀들(제 1 비교 수단에 의해)에 부과된 공통 깊이 값에 관해, 그 패치의 픽셀들에 대해 최대 또는 최소의 보정되지 않은 깊이 값들을 포함할 수 있고, 또는 상기 언급된 제 1의 미리 결정된 범위 내에 몇몇 중간 값이 선택될 수 있다. 유사하게, 제 2 비교 스테이지에 의해 패치들의 그룹들에 부과된 공통 깊이 값은 최대 또는 최소의 각각의 패치 깊이 값들이 될 수 있고, 즉, 일부 중간 값(상기 언급된 제 2의 미리 결정된 범위 내)이 다시 부과될 수 있다.

본 발명의 특징들 및 이점들은 이후 단지 예로서 제공되고 첨부 도면들에 관련하여 얻어지는 본 발명의 바람직한 실시예의 다음 설명을 읽음으로써 더욱 분명해 질 것이다.

도 1은 본 발명의 압축 기술이 적절히 사용될 수 있는 원격 멀티 플레이어 게임 시스템(remote multi-player game system)의 일례를 도시한다. 중앙 서버(10)는 데이터 라인들(16)을 통해 원격 유저 스테이션들(12,14)에 데이터를 송출하며, 원격 유저들로부터 서버로의 통신들은 백-채널들(18) 상으로 전송된다. 각각의 원격 유저 스테이션들(12,14)은 국부적 지능(local intelligence)을 제공하고 서버(10)와의 접속들로 인터페이싱(interfacing)하는 셋-탑 박스(STB: set-top box)(24) 및 유저 입력 장치(UID)(22)와 함께, 디스플레이(20)(적절하게는, 유저의 텔레비전 수상기일 수 있음)를 포함할 수 있다.

도 2에 도시되어 있는 바와 같이, 적절한 게임 플레이 환경은 유저들이 거리 주변을 주행하는 차량들(26,28,30)을 예를 들어, 서로 포착하기 위한 시도로 운전하는 도시 환경(urban environment)을 포함한다. 거리들, 건물들 등을 포함하는 조경(landscape)은 MPEG 비디오 스트림으로서 유저 STB에 제시된다. 각각의 플레이어는 게임의 전체 제어가 서버(10)내의 게임 논리부(32)에 의해 조정되는, 자신의STB(24)를 통해 자신의 차량(26)의 움직임들을 제어한다. 서버는 게임 환경내의 유저의 위치, 운행 속도, 방향 등에 의존하여 유저에게 제시될 수 있는 환경의 모든 다른 관점들에 대한 MPEG 데이터를 보유하는 다른 영역(34)을 갖는다. 다른 서버 스테이지들은 재시된 화상 스트림 상의 유저 STB에 의해 중첩될 수 있는 게임들 및 그래픽들 특징들(38)에 대한 오디오 부속물(36)을 처리한다.

각각의 차량들(26,28,30)은 다른 각도들(angles) 및 높이들(elevations)로 취해진 일련의 화상들로서 각각의 STB(24)의 메모리 내에 저장된다. 차량이 디스플레이될 때, 가장 인접한 각도 및 높이를 갖는 스프라이트(sprite) 화상이 그 저장된 화상들로부터 선택되고, 정확한 크기로 스케일링되며, 스크린 상에 묘사된다. 동작 시에, 서버(10)는 각각의 유저에 대해 그 유저에 의해 보여질 수 있는 환경의 부분 내의 각각의 차량들의 위치를 식별할 것이다. 이어서, STB는 서버-제공된 비디오 배경을 중첩시키는 복합 화상의 차량 스프라이트들을 발생하는 원인이 된다.

도 2에 도시된 바와 같이, 차량들(28 또는 30) 중 하나가 화상의 좌측 편도로의 부분을 운행한다면, 단순히 중첩시키는 것은 상기 차량이 건물(40) 앞에 나타나게 할 것이며, 이것은 분명히 만족스럽지 못하다. 따라서, 시스템은 차량 스프라이트가 불분명해지는 화상의 영역들에 진입할 때 차량 스프라이트들을 클리핑(clipping)하기 위해 제공한다.

도 3 및 도 4에 있어서, 유저의 STB에 전송된 데이터는 서버에 의한 MPEG2 스트림으로서 STB에 전송된 프레임 설명이 있는 도 3에 도시된 유형이다. 그 프레임은 그래픽들/사운드 데이터(G/S), 깊이 데이터(DD) 및 비디오 화상 데이터(VID)에 대한 부분들에 선행하는 짧은 헤더부(H)를 포함한다. STB가 그 연관된 디스플레이 스크린을 초당 30회 업데이트할 때, 서버의 게임 로직(32) 및 화상(34) 부분들은 이러한 비율로 프레임 설명을 전송할 필요가 있다.

차량이 보이지 않는 화상 위치들에서 스프라이트들의 STB에 의한 클리핑을 가능하게 하기 위해, 각각의 화상 프레임을 수반하는 깊이 데이터(DD)는 프레임의 특징들의 각각의 깊이들을 명시하여, 흥미의 지점에서 각각의 화상과 스프라이트 깊이 값들을 비교함으로써, 차량이 단지 비디오 화상의 맨 위에 재현되거나 클리핑되는 지의 여부를 결정할 수 있다.

도 4는 그 화상의 픽셀에 대한 각각의 깊이 데이터와 함께, 서버(10)(도 1)의 스테이지(34)에 저장되도록, 각각의 화상 프레임의 인코딩된 버전을 생성하기 위한 인코더 장치를 개략적으로 도시하고 있다. 깊이 버퍼(44)와 연관된 프레임 버퍼(42)는 버퍼(42)에 저장된 화상 프레임의 각각의 픽셀에 대해 초기의 각각의 깊이 값을 보유하는 깊이 버퍼(44)(z 버퍼)와 렌더링(rendering) 스테이지(46)에 의해 생성된 비디오 화상 데이터를 보유한다. 버퍼(44) 내의 깊이 "맵"은 기재될 방법으로 프로세서(48)에 의해 변경될 때 픽셀 당 현재 깊이 값의 온고잉 레코드(ongoing record)를 유지하는 맵 메모리(50)를 가지며, 프레임 당 전송될 필요가 있는 깊이 데이터의 전체량(overall amount)을 감소시키기 위해, 맵 프로세서(46)에 의해 처리된다. 프레임 버퍼(42)의 출력은 공지된 방식으로 이산 코사인 변환 압축을 비디오 화상에 적용시키는 MPEG 인코더 스테이지(52)로 통과된다. 이어서, MPEG 인코딩된 비디오는 그래픽들(56) 및 오디오(58) 데이터 소스들(인터리브 스테이지에 앞서 믹서 회로(60)에 결합될 수 있음)로부터 입력을 적절하게 수신하는 인터리브 스테이지(54)에 출력되며, 이어서, 인터리브 스테이지(54)가 도 3의 MPEG 프레임들을 조합하고, 데이터 채널들(16) 상으로의 전송(도 1) 또는 저장(예를 들어, 광 디스크 상에)을 위해 그들을 출력한다.

쉽게 이해되듯이, MPEG 인코딩 스테이지(52)는 요구된다면 연속하는 MPEG 스트림들의 발생을 허용하기 위해 화상들의 리오더링(re-ordering)을 포함할 수 있다: 이것은 각각의 깊이 맵에 대한 다른 버퍼링뿐만 아니라 프레임 리오더링을 허용하도록 추가의 버퍼링을 포함하여, 출력 프레임들에서, 정확한 깊이 맵은 연관된 화상 프레임을 수반할 것이다. 다른 응용들에서, 비디오 화상들은 리오더링이 요구되지 않도록 MPEG I-프레임들(충분한 전송 대역폭/저장 용량이 있다면)로서 모두 인코딩될 수 있다.

맵 프로세서(48)에 의해 구현된 깊이 맵 감소 기술은 도 5의 플로우차트에 의해 설명된다. 이해될 것처럼, 다음이 소프트웨어 제어형 데이터 관리 처리들에 의해 처리들을 기재하고 있을지라도, 도시된 각각의 처리 단계들은 하드웨어 또는 하드웨어와 소프트웨어의 조합으로 동일하게 구현될 수 있다. 화상의 완전한 깊이 맵이 사용가능한 경우, 단계 70에서 처리가 시작된다. 만일, 이 깊이 맵이 매우 광범위한 값들로 지정되거나 데이터가 매우 상세히 지정된다면, 다음 단계 72는 이산 깊이 값(discrete depth value)들의 제 1 수(M)로 깊이 값들을 양자화하기에 적절하다: 예를 들어, M에 대한 적절한 값은 256개의 이산 깊이 값들이 될 수 있다.

단계 72에서의 양자화에 이어서, 단계 74에서 제 1 픽셀에 대한 깊이 데이터가 선택되며, 그 후, 두 개의 다른(옵션) 테스트들이 단계들 76, 78에서 각각 적용되어, 픽셀이 고려 대상에서 제외되는 지(중첩이나 클리핑이 발생되지 않은 화상 영역내에 존재) 또는 픽셀이 미리 결정된 임계값보다 더 큰 깊이를 갖는 지(예를 들어, 디스플레이에 대한 임의의 스프라이트가 하나의 픽셀보다 더 작은 크기로 스케일링되는 지를 판정한다. 만일, 단계들 76 또는 78 중 한 단계가 참(true)이라면, 문제의 픽셀은 무시될 수 있고 어떤 깊이 값도 맵 메모리(50)(도 4) 내의 특정 픽셀에 대해 저장되지 않을 것이다. 단계들 76, 78은 최종 픽셀?/다음 픽셀 단계들 80, 82의 제어 하에서, 화상에 대한 유효 깊이 데이터의 일체를 맵 메모리(50) 내에 제공하기 위해, 화상의 각각의 픽셀에 대해 반복된다. 이 깊이 데이터는 단계 84에서, 메모리(50)내에 남아 있는 단지 N(여기서, N은 예를 들어, 16 또는 32임)개의 이산 깊이 값들이 있는 점까지 감소되며, 그 후, 단계 86에서, 메모리(50)로부터의 감소된 해상도 깊이 맵(resolution depth map)은 도 4의 인터리브 회로(54)에 공급하기에 앞서, 런-랭스(run-length) 코딩된다.

도 6A 및 도 6B는 단계 76에 대한 제외(exclusion)들이 계산될 수 있는 방법을 도시한 것이다. 그 예에서, 도 2의 도로(roadway)들은 움직이는 스프라이트가 나타나는 화상의 영역만을 나타낸 것이다. 이것을 인식하는데 있어서, 제외 마스크(exclusion mask)는 도 6A에서 각각의 깊이(V_MAX/z)로 차량의 최대 높이까지 그 도로에 수직으로 돌출(extruding)함으로써 발생된다. 이 돌출로부터, 제외 맵(도 6B)이 생성된다: 즉, 도 5의 플로우차트에서의 단계 76에서, 맵 프로세서는 단순히 고려 중인 특정 픽셀의 XY 좌표를 확인하며, 만일 제외된 영역(도 6B의 빗금친 부분들)내에 있다면, 그 픽셀은 간단히 무시되고 다음 픽셀이 고려 대상으로 선택된다(단계 82를 통한 리턴 루프(return loop)).

도 5의 단계 84에서 수행된 이산 깊이 값들의 개수의 N으로의 감소는 도 7의 플로우차트에 의해 보다 상세하게 도시된다. 감소 처리의 제 1 단계 90은 패치의 모든 픽셀들이 미리 결정된 범위 내에서 동일하거나 유사한 깊이 값들을 갖는 픽셀들에 인접하는 패치들을 정의하는 것이다. 이 패치들은 미리 결정된 범위의 회원 관리를 다음의-아직-패치되지-않은(next-as-yet-unpatched) 픽셀로부터 반복적으로 시작하는 검색 알고리즘을 수행함으로써 결정될 수 있거나, 그렇지 않으면, 그 패치가 패치의 제 1픽셀에 대한 깊이 값의 어느 한 측 상의 설정 값이 됨으로써 결정될 수 있다. 그러나, 후보 픽셀들이 선택되어 패치 구성 요소로서 식별될 때, 패치의 모든 픽셀들은 단일의 공통 깊이 값에 보정된 (맵 메모리(50) 내에) 그들 각각의 깊이 값들을 갖는다.

다음 스테이지, 단계 92는, 단계 90에 의해 형성된 모든 패치들(이 패치들은 단일 픽셀만큼 작을 수 있음) 및, 미리 결정된량 미만으로 분리되거나 동일한 각각의 공통의 깊이 값들을 갖는 패치에 대한 각각의 지정된 깊이 값들을 비교하며, 각각의 그룹화된 패치내의 모든 픽셀들은 단일의 공통 값에 보정된 맵 메모리(50) 내의 각각의 깊이 값들을 갖는다. 단계들 90, 92에에 적용된 공통 값의 선택은 고려 중인 특정 픽셀들에 의해 표현되는 특정 화상 특징에 의존할 수 있다. 예를 들어, 도 2의 예에서, 건물(40)의 측면을 나타내는 모든 픽셀들은 건물 화상의 가장 앞단의 픽셀의 깊이와 동일한 공통의 깊이 값을 가질 것이다. 반대로, 이것은 도로 표면의 일부를 나타내는 픽셀들과 함께 그룹화하기 위해, 나타날 것으로 추정되는 도로에 의해 차량 스프라이트가 클리핑될 가능성을 피하도록 적용될 패치당 가장 큰 보정되지 않은 깊이이다.

공통의 깊이 값의 패치들 형성하고 이어서 유사한 패치들을 다시 공통의 깊이 값으로 병합하여, 이산 픽셀 깊이 값들의 수는 실질적으로 256으로부터 40으로 감소된다. 그 후 단계들 94 내지 104는 도 5의 연속의 런-랭스 코딩 스테이지(86)로부터의 압축을 최대화하기 위해, 이들 남은 40개의 이산 깊이 값들을 적응적으로 양자화한다.

적응성 양자화의 제 1 단계는 맵 메모리(50) 내에 저장된 데이터로부터, 각각의 이산 깊이 값들에서 픽셀들에 의해 커버된 각각의 픽셀 영역을 결정하는 것이다. 깊이 데이터가 화상에 대응하는 맵으로서 저장되는 경우, 이것은 단순히 깊이 값당 픽셀들의 개수를 카운팅하는 경우이다. 계산 후에, 이들 영역 값들은 후에 재계산(re-calculate)할 필요성을 피하기 위해 맵 메모리(50)의 영역 내에 적절히 저장된다.

깊이 값당 관련 픽셀 면적들을 계산한 후, 이 면적들 중 최소의 면적이 단계 96에서 결정된다. 단계 98에서, 가장 가까이 존재하는 이산 깊이 값 대 단계 96에 의해 결정된 최소 면적에 대한 깊이 값이 결정되며, 단계 100에서, 이 최소의 패치/그룹의 각각의 픽셀에 대한 저장된 깊이 값들은 단계 98에서 발견된 깊이 값들로 대체된다. 단계 102에서, 이산 값들의 수(N)에 대한 공칭 카운트 값(nominalcount value)은 최소 면적에 대한 깊이 값들의 재할당(re-assignment)을 따르는 값에 의해 감소되고, 단계 104에서, 소망하는 수의 이산 깊이 값들(예를 들어, N=16)에 도달되었는 지를 확인한다. 그렇다면, 절차는 도 5의 런-랭스 코딩 스테이지(86)로 이동한다: 그렇지 않으면, 감소 처리는 단계 94로 리턴한다. 앞서제안된 바와 같이, 모든 관련하는 각각의 픽셀 영역들을 다시 결정하는 단계 94보다는 그 저장된 영역 데이터가 적절하게 리콜(recall)되며 이전의 루프 시 단계 98에서 결정된 바와 같이 가장 가까이 존재하는 깊이의 영역에 이전의 최소 면적을 가산함으로써 간단히 보정된다.

요약하면, 2차원 픽셀 화상들이 픽셀 당 규정된 각각의 절대 깊이 값들을 갖는 경우의 화상 데이터 처리 시에 사용하기 위한 압축 방법 및 장치를 기재하였으며, 깊이 데이터는 화상 데이터와 함께 전송 또는 저장되기에 앞서 압축되는 것이 요구된다. 화상 당 깊이 데이터를 압축하는 처리는 화상의 인접하는 픽셀의 패치들을 결정하고, 이 패치의 픽셀들은 깊이 값과 동일하거나 유사하며, 공통의 깊이 값을 패치의 모든 픽셀들에 지정함으로써 시작한다. 다음에, 동일하거나 유사한 공통 픽셀 깊이 값들을 갖는 픽셀 패치들은 함께 그룹화되며, 그 후, 공통의 깊이 값은 그렇게 그룹화된 패치들의 모든 픽셀에 지정되며, 이어서, 각각의 개별의 픽셀 깊이 값에 대해 그 깊이 값을 갖는 화상의 픽셀들의 개수 또는 면적에 관한 결정이 이루어진다. 이들 최소의 면적에 대해, 관련된 각각의 픽셀들의 깊이 값은 가장 인접한 이산 깊이 값으로 수정된다. 최소 면적의 결정 및 깊이 값들의 재할당은 이산 깊이 값들의 미리 결정된 수(N)(예를 들어, 16 또는 32)가 남을 때까지만 반복된다. 인접하는 픽셀들의 깊이들을 참조하여 깊이 값들을 재할당하는 것은 N개의 이산 레벨들로 감소된 깊이 데이터가 깊이 데이터 용량(volume)에서 실질적인 감소를 달성하도록 런-랭스 코딩된다.

앞의 설명을 읽음으로써, 다른 변경들이 본 기술분야의 숙련자들에게 분명해 질 것이다. 그러한 변경들은 화상 데이터 처리 장치들 및 그 구성 요소들 분야에서 이미 공지되되어 있는 다른 특징들을 포함할 수 있고, 본 명세서에 이미 기재된 특징들에 부가하여 또는 대신에 사용될 수 있다. 청구항들이 특징들의 특정 조합들에 대해 이러한 출원에서 공식화될 지라도, 본 출원의 공개 범위가 분명하고 명백하게 본 명세서에 기재된 임의의 새로운 특징 또는 그 특징들의 조합을 또한 포함하며, 임의의 청구항에 현재 청구되어 있는 것과 동일한 발명에 관한 것인지 또는 본 발명과 동일한 임의의 또는 모든 기술적 문제들을 완화하는 지의 여부를 포함한다는 것이 이해되어야 한다. 본 출원인들은 여기서 새로운 청구항들이 본 출원 또는 그로부터 얻어진 임의의 다른 출원의 조사 동안에 그러한 특징들 및/또는 그러한 특징들의 조합들에 공식화될 수 있다.

Claims (9)

1. 픽셀마다 각각의 절대 깊이 값(absolute depth value)이 정해진 2차원 픽셀 화상이 제공되고, 상기 깊이 데이터가 전송 또는 저장에 앞서 화상 데이터와 함께 압축되는, 화상 데이터 처리 방법에 있어서,

   화상마다의 상기 깊이 데이터를 압축하는 상기 처리는,

   a) 한 패치의 픽셀들이 제 1의 미리 결정된 범위 내에서 동일하거나 유사한 깊이(depth) 값들을 가지는, 상기 화상의 인접하는 픽셀들의 패치들을 결정하고, 제 1의 공통 깊이 값을 상기 패치의 모든 픽셀들에 할당하는 단계와,

   b) 제 2의 미리 결정된 범위 내에서 동일하거나 유사한 깊이 값들을 갖는 픽셀 패치들을 그룹화하고, 그렇게 그룹화된 패치들의 모든 픽셀들에 제 2의 공통 깊이 값을 할당하는 단계와,

   c) 각각의 이산 픽셀 깊이 값(discrete pixel depth value)에 대해, 그 깊이 값을 갖는 상기 화상의 픽셀들의 수를 결정하고, 최소 수의 픽셀들에 대해, 그 픽셀들의 각각의 깊이 값을 가장 인접해 있는 이산 깊이 값에 재할당하는(reassigning) 단계, 및

   d) 미리 결정된 수(N)의 이산 깊이 값들만이 남아있을 때까지 단계 c)를 반복하는 단계를 순차적으로 포함하는 것을 특징으로 하는, 화상 데이터 처리 방법.
2. 제 1 항에 있어서,

   단계 a)에 앞서, 배제된 영역들로서의 화상 영역들을 식별하는 단계를 더 포함하며, 단계 a) 내지 단계 d)는 상기 배제된 영역들 이외의 상기 화상의 영역들에 대해서만 실행되는, 화상 데이터 처리 방법.
3. 제 2 항에 있어서,

   미리 결정된 임계값보다 큰 깊이 값을 각각 갖는 픽셀들의 그룹들은 상기 배제된 영역들로서 식별되는, 화상 데이터 처리 방법.
4. 제 1 항에 있어서,

   N개의 이산 깊이 값들에 대한 상기 화상 깊이 데이터를 런-랭스 코딩(run-length coding)하는 단계 e)를 더 포함하는, 화상 데이터 처리 방법.
5. 제 1 항에 있어서,

   단계 a)에 앞서, 상기 화상의 상기 깊이 값들을 미리 결정된 수(M)(여기서, M〉N)의 이산 깊이 값들로 양자화하는 단계를 더 포함하며, 화상 데이터 처리 방법.
6. 2차원 픽셀 화상을 정의하는 데이터, 및 픽셀 당 각각의 절대 깊이 값을 정의하는 데이터를 수신 및 저장하도록 배치된 제 1 메모리를 포함하는 화상 데이터 처리 장치로서, 상기 장치는 상기 화상 데이터와 함께 상기 깊이 데이터의 전송 또는 저장에 앞서, 화상의 상기 저장된 깊이 데이터를 처리 및 압축하도록 배치된 깊이 데이터 처리 및 압축 수단을 더 포함하는, 상기 화상 데이터 처리 장치에 있어서,

   상기 깊이 데이터 처리 및 압축 수단은,

   한 패치의 픽셀들이 제 1의 미리 결정된 범위 내에서 동일하거나 유사한 깊이(depth) 값들을 갖는, 상기 영상의 인접하는 픽셀들의 패치들을 결정하고, 상기 각각의 저장된 깊이 값들을 상기 패치의 모든 픽셀들에 대해 공통 깊이 값들로 보정하도록 배치되어 있는, 제 1 비교 스테이지와,

   제 2의 미리 결정된 범위 내에서 동일하거나 유사한 공통 픽셀 깊이 값들을 갖는 픽셀 패치들을 그룹화하고, 상기 각각의 저장된 깊이 값들을 그렇게 그룹화된 패치들의 모든 픽셀들에 대해 공통의 깊이 값으로 보정하기 위해 배치된 제 2 비교 스테이지와,

   상기 제 1 메모리 내의 각각의 이산 픽셀 깊이 값에 대해, 그 깊이 값에서의 상기 화상 내의 픽셀들의 영역을 결정하고, 가장 작은 그러한 영역에 대해, 그 영역의 각 픽셀의 각각의 저장된 깊이 값을 가장 인접한 이산 깊이 값으로 보정하도록 배치된 영역 결정 수단, 및

   미리 결정된 수(N)의 이산 깊이 값들만이 상기 제 1 메모리에 남아있을 때까지 상기 영역 결정 수단의 반복된 동작을 트리거하도록 배치된 카운터 수단을 포함하는 것을 특징으로 하는, 화상 데이터 처리 장치.
7. 제 6 항에 있어서,

   상기 카운터 수단이 상기 N개의 이산 깊이 값들이 남아있다고 결정하는 것에 의해 트리거되어 상기 제 1 메모리 내의 깊이 데이터의 런-랭스 코딩된 표현을 생성하는 제 1 인코더를 더 포함하는, 화상 데이터 처리 장치.
8. 제 7 항에 있어서,

   미리 결정된 코딩 계획에 따라 상기 픽셀 화상 데이터를 압축하도록 배치된 제 2 인코더, 및 상기 제 1 및 제 2 인코더들의 출력들을 출력 데이터 스트림내에 결합하도록 배치된 인터리빙(interleaving) 수단을 더 포함하는, 화상 데이터 처리 장치.
9. 제 8 항에 있어서,

   적어도 하나의 다른 데이터 소스를 포함하고, 상기 인터리빙 수단은, 상기 적어도 하나의 다른 소스로부터의 상기 데이터를 상기 제 1 및 제 2 인코더들의 출력들과 상기 출력 데이터 스트림 내에 결합하도록 또한 동작가능한, 화상 데이터 처리 장치.