KR101484487B1

KR101484487B1 - 깊이-맵을 프로세싱하는 방법 및 디바이스

Info

Publication number: KR101484487B1
Application number: KR1020107010239A
Authority: KR
Inventors: 레이니어 비. 엠. 크레인 구네위크; 윌헬무스 에치. 에이. 브룰스
Original assignee: 코닌클리케 필립스 엔.브이.
Priority date: 2007-10-11
Filing date: 2008-10-02
Publication date: 2015-01-28
Also published as: US8447096B2; US20100215251A1; CN101822068B; EP2201784B1; WO2009047681A1; RU2497196C2; JP2011501496A; EP2201784A1; RU2010118466A; KR20100095420A; JP5575650B2; CN101822068A

Abstract

본 발명은 깊이-맵(710)을 프로세싱하는 디바이스 및 장치에 관한 것으로서, 방법은 손실이 있는 압축된 깊이-맵을 기초하여 깊이-맵(710)을 획득하는 단계로서, 상기 깊이-맵(710)이 관점으로부터의 장면의 깊이 정보를 포함하고, 상기 장면이 오브젝트를 포함하는, 상기 깊이-맵 획득 단계, 상기 관점으로부터의 장면에 대한 차폐 정보를 획득하는 단계로서, 상기 차폐 정보가 상기 깊이-맵(710) 내의 오브젝트에 의해 차폐되는 정보를 포함하는, 상기 차폐 정보 획득 단계, 및 상기 깊이-맵(710)에서 압축 아티팩트들을 감소시키기 위하여 상기 차폐 정보의 적어도 일부를 이용하여 상기 깊이 정보의 적어도 일부를 프로세싱하는 단계를 포함한다.

Description

깊이-맵을 프로세싱하는 방법 및 디바이스{METHOD AND DEVICE FOR PROCESSING A DEPTH-MAP}

본 발명은 깊이-맵(depth-map)을 프로세싱(processing)하는 방법 및 디바이스에 관한 것이다.

얼마 전부터, 많은 회사들이 3-차원(3D) 영상(three-dimensional imagery)을 렌더링(rendering)하는데 적합한 오토-스테레오스코픽 디스플레이(auto-stereoscopic display)들을 활발하게 개발하고 있다. 오토스테레오스코픽 디바이스들은 특수 헤드기어 및/또는 안경(special headgear and/or glasses)을 필요로 함이 없이 3D 임프레션(3D impression)을 뷰어(viewer)들에게 제공할 수 있다.

오토스테레오스코픽 디스플레이들은 일반적으로 상이한 뷰잉 각도(viewing angle)들에 대해 상이한 뷰들을 제공한다. 이 방식으로, 뷰어의 좌안(left eye)에 대해 제 1 이미지가 발생될 수 있고, 뷰어의 우안(right eye)에 대해 제 2 이미지가 발생될 수 있다. 적절한 이미지들, 즉, 각각 좌안 및 우안의 관점(viewpoint)으로부터 적절한 이미지들을 디스플레이함으로써, 뷰어에게 3D 임프레션을 전달하는 것이 가능하다.

오토스테레오스코픽 디스플레이들을 위한 이미지들을 발생시키기 위하여 다양한 기술들이 사용된다. 예를 들어, 다중-뷰 이미지(multi-view image)들이 다수의 카메라(camera)들을 사용하여 레코딩(recording)될 수 있고, 여기서, 각각의 카메라의 위치는 각각의 개별적인 뷰의 개별적인 관점과 대응한다.

역방향 호환성(backwards compatibility)을 유지하고 대역폭 사용에 대해 개선시키기 위하여, 현재의 다수의 오토스테레오스코픽 디스플레이들은 종래의 2-차원(2D) 이미지들 및 대응하는 깊이-맵들의 시퀀스를 포함하는 입력 신호를 사용한다.

깊이-맵들은 이미지에 묘사된 오브젝트(object)들의 카메라까지의 절대 또는 상대 거리를 나타내는 깊이 정보를 제공한다. 예로서, 8-비트 그레이-스케일 이미지(grey-scale image)들이 깊이 정보를 나타내기 위하여 통용된다. 깊이-맵들은 픽셀 단위로 깊이 정보를 제공할 수 있지만, 당업자에게 명백한 바와 같이, 더 낮은 해상도 깊이-맵과 같은 더 정밀하지 않은 그래뉼레러티(granularity)를 사용할 수 있고, 여기서, 각각의 깊이-맵 값은 다수의 픽셀(pixel)들에 대한 깊이 정보를 제공한다.

디스패러티 맵(disparity map)들이 상술된 깊이-맵들에 대한 대안으로서 사용될 수 있다. 디스패러티는 좌-안 및 우-안 관점과 같은 2개의 상이한 관점들로부터 관측될 때 장면(scene)에서의 오브젝트들의 명백한 시프트(shift)를 칭한다. 당업자들에게 통상적으로 공지되어 있는 바와 같이, 디스패러티 정보 및 깊이 정보는 관련되며, 디스패러티 맵의 각각의 관점들의 기하구조(geometry)가 공지되어 있다면 서로 상으로 맵핑(mapping)될 수 있다.

이 가까운 관계 및 하나가 다른 것으로 변환될 수 있다는 사실을 고려하면, 명세서 전체에 걸쳐 사용된 용어 "깊이-맵" 및 "깊이 정보"는 디스패러티 정보뿐만 아니라 깊이 정보를 포함하는 것으로 이해된다.

이미지 시퀀스 및 깊이 정보 맵들의 대응하는 시퀀스, 또는 단축하여 깊이-맵들을 오토스테레오스코픽 디스플레이에 제공함으로써, 오토스테레오스코픽 디스플레이는 하나 이상의 뷰어들에 대해 콘텐트의 다수의 뷰들을 렌더링할 수 있다. 상기의 방식으로, 종래의 신호가 깊이-맵으로 강화된다.

2D+ 깊이 신호를 사용하여 다중-뷰 렌더링의 품질을 개선시키기 위하여, 디-차폐 정보(de-occlusion information)라고도 칭해지는 부가적인 차폐 정보(occlusion information)가 제공될 수 있다. (디-)차폐 정보는 제공되는 2D+ 깊이 정보의 관점들 이외의 관점들에 대한 뷰들을 렌더링하는데 사용될 수 있는 이미지 및/또는 깊이 정보를 나타낸다. 2D+ 깊이 정보의 관점과 상이한 관점에 대해 2D+ 깊이 정보를 기반으로 하여 뷰를 렌더링할 때, 원래 2D+ 깊이 정보에 존재하지 않는 정보가 필요할 수 있다. 이 정보는 차폐 정보 내에 제공될 수 있고; 오브젝트들에 의해 차폐(occluding)되지 않았던 정보 이외에, 차폐 정보가 또한 차폐된 영역들 부근의 정보를 포함할 수 있다. 차폐 정보의 가용성은 2D+ 깊이 신호를 이용하여 뷰들을 렌더링할 때 발생하는 홀(hole)들의 채움(filling in)을 가능하게 한다. 명세서 전체에 걸쳐서, 용어 차폐 정보는 뷰-렌더링 프로세스에서 디-차폐된 영역들을 채우는데 사용될 수 있는 차폐된 이미지 정보 및/또는 차폐된 깊이 정보를 포함하는 것으로 이해된다.

국제 출원 WO2006/137000은 이미지 데이터 및 차폐 데이터와 같은 부가적인 데이터의 결합된 교환 방법을 개시한다. 상기 포맷(format)이 예를 들어, 셋-톱 박스(Set-Top Box: STB) 및 디스플레이 사이의 3D 콘텐트(content)의 교환에 특히 매우 적합할지라도, 대역폭-제한된 매체를 통하여 이와 같은 콘텐트를 송신 또는 분배할 때 이와 같은 3D 콘텐트의 크기를 더 감소시키는 것이 필요하다. 손실이 있는 DCT-기반 압축 알고리즘(lossy DCT-based compression algorithm)들과 같은 손실이 있는 압축 알고리즘들이 크기의 상당한 감소를 제공할 수 있을지라도, 상기 알고리즘들은 또한 잡음(noise)을 도입하는 경향이 있다. Chris Varekamp에 의한 제 2 회 IEEE BENELUX/DSP Valley Signal Processing Symposium(SPS-DARTS 2006)에서 제시된 "Compression artifacts in 3D television signals"는 깊이-맵에서의 잡음의 영향이 다중-뷰 렌더링 프로세스의 결과로서, 특히 오브젝트 경계들 상에서 심각한 시차 에러(parallax error)들을 발생시킬 수 있다는 것을 보여준다. 이 영향은 압축 알고리즘이 결과적인 렌더링된 다중-뷰 이미지들에서라기보다는 오히려 깊이-맵에서 지각된 에러를 감소시키기 위하여 조정된다는 사실의 직접적인 결과이다.

본 발명의 목적은 손실이 있는 압축 방식으로부터 발생하는 깊이-맵에서의 잡음의 영향을 감소시키기 위하여 깊이-맵을 프로세싱하는 방법을 제공하는 것이다.

이 목적은 본 발명에 따른 방법이 손실이 있는 압축된 깊이-맵에 기초하여 깊이-맵을 획득하는 단계로서, 상기 깊이-맵이 관점으로부터의 장면의 깊이 정보를 포함하고, 상기 장면이 오브젝트를 포함하는, 상기 깊이-맵 획득 단계, 상기 관점으로부터의 장면에 대한 차폐 정보를 획득하는 단계로서, 상기 차폐 정보가 상기 깊이-맵 내의 오브젝트에 의해 차폐되는 정보를 포함하는, 상기 차폐 정보 획득 단계; 및 상기 깊이-맵에서 압축 아티팩트(compression artifact)들을 감소시키기 위하여 상기 차폐 정보의 적어도 일부를 사용하여 상기 깊이 정보의 적어도 일부를 프로세싱하는 단계를 포함한다는 점에서 성취된다.

따라서, 본 발명은 상기 깊이 정보의 부분을 프로세싱하기 위하여, 원래 디-차폐된 에어리어들에 대한 정보를 제공하기 위하여 의도되었던 차폐 정보를 사용한다. 따라서, 깊이-맵에 존재하는 스페클(speckle)들 및 모스키토 잡음(nosquito noise)과 같은 잡음이 차폐 정보뿐만 아니라, 깊이-맵으로부터의 데이터를 사용하여 감소될 수 있다.

차폐 정보가 차폐된 이미지 정보와 관련되는 경우에, 차폐된 이미지 정보는 차폐된 영역의 경계에 대한 정보를 제공하는데 사용될 수 있다. 결과적으로, 깊이-맵은 차폐 경계 부근의 깊이-맵에서 잡음을 감소시키기 위하여, 예를 들어, K-평균형 알고리즘(K-means like algorithm)과 같은 에지-보존 펑션(edge-preserving function)을 사용하여 필터링(filtering)될 수 있다.

대안적으로, 차폐된 이미지 정보는 차폐된 영역에서 깊이-맵을 재발생시키기 위하여 당업자들에게 공지되어 있는 널리-공지된 발견적 방법(heuristic)과 함께 사용될 수 있다. 차폐된 영역에 대한 깊이-맵 형태의 출력이 깊이 맵을 필터링하기 위한 추가적인 정보를 제공하는데 사용될 수 있고; 이 방식으로, 압축 아티팩트들의 결과로서 차폐된 영역에 대한 깊이-맵 뒤에 위치되는 것으로 나타나는 깊이 값들이 차폐된 영역에 대한 깊이 맵으로부터의 값들을 사용하여 수정될 수 있다.

더 대안적으로, 차폐 정보가 차폐된 깊이 정보와 관련될 때, 상기 차폐된 깊이 정보는 깊이-맵을 직접적으로, 즉, 경계들을 설정하거나 차폐된 깊이 맵 정보를 재발생시킬 필요 없이, 필터링하는데 사용될 수 있다.

실시예에서, 상기 프로세싱 단계는 상기 오브젝트와 관련된 깊이 정보에서의 트랜지션(transition) 주위의 영역 내에서 깊이 정보의 적어도 일부를 프로세싱하는 단계를 포함한다. 손실이 있는 압축 방식들은 일반적으로 강한 깊이 트랜지션들을 정확하게 표현하는데 있어서 어떤 어려움을 갖는다. 이와 같은 트랜지션들 부근에서 종종 어떤 종류의 양자화(quantization), 링잉(ringing), 및/또는 고스팅(ghosting)이 도입될 수 있다. 불행하게도, 이와 같은 깊이 트랜지션들에서의 잡음들은 전형적으로 이 깊이 정보를 사용하여 렌더링되는 뷰들에서 고도의 보이는 아티팩트(visible artifact)들을 발생시킨다. 그러므로, 이 특정 실시예는 필요한 프로세싱 량 및 지각된 개선 사이의 유용한 절충안을 나타낸다.

오브젝트 아웃라인(object outline)들에 대해 정보가 이용 가능하다면 특히 효율적인 부가적인 실시예에서, 깊이 정보의 프로세싱은 오브젝트 주위의 영역 내에서 수행된다.

실시예에서, 프로세싱을 위하여 영역의 크기와 관련된 정보를 제공하는 메타데이터(metadata)가 제공된다. 결과적으로, 최소 프로세싱량이 미리 지정될 수 있어서, 최종적인 출력을 통한 콘텐트 크리에이터(content creator)들 제어를 제공한다.

본 발명은 손실이 있는 압축된 깊이-맵을 발생시키는데 사용되는 손실이 있는 압축 알고리즘이 깊이 정보에서의 트랜지션들 주위에 잡음을 도입하는 실시예들에서 특정한 장점과 함께 사용될 수 있다. 더욱이, 본 발명은 손실이 있는 압축된 깊이-맵을 발생시키는데 사용되는 손실이 있는 압축 알고리즘이 손실이 있는 압축된 깊이-맵에서 깊이 정보를 표현하기 위하여 주파수 도메인 표현(frequency domain representation)을 사용하는 실시예들에서 특정한 장점들과 함께 사용될 수 있다.

실시예에서, 본 발명은 부가적으로 깊이 정보에서 제 1 트랜지션을 설정하는 단계를 포함한다. 바람직하게는, 상기 실시예는 또한 차폐된 깊이 정보를 사용하여 제 2 트랜지션들을 설정한다. 제 1 트랜지션들은 에지들이 실질적으로 보존될 필요가 있는 영역들에 대한 프로세싱의 량을 제한하는데 사용될 수 있다. 제 1 트랜지션들 및 제 2 트랜지션들에 의해 제공되는 정보를 결합함으로써, 깊이 정보가 트랜지션을 포함하고 차폐된 깊이 정보가 계속적인 장소를 결정하는 것이 가능하다. 손실이 있는 압축 아티팩트들은 종종 깊이 정보에서의 트랜지션들 근처에서 발견된다. 그러므로, 차폐된 깊이 정보가 또한 중앙 뷰(center view)에서 보이는 깊이 정보를 포함하고, 차폐된 깊이 정보에서 이와 같은 트랜지션이 존재하지 않는 경우에, 이 깊이 정보는 트랜지션을 포함하는 깊이 정보로부터의 깊이 정보보다 통계적으로 더 신뢰 가능하다.

본 발명에 따른 실시예에서, 깊이 정보 및 차폐 정보는 송신 채널(transmission channel)을 통하여 송신되는 코딩된 데이터 스트림(coded data stream) 또는 저장 매체 상에 분포되는 코딩된 데이터 스트림과 같은 코딩된 이미지 시퀀스 내에 제공된다. 바람직하게는, 프로세싱될 영역의 크기에 관한 정보를 제공하는 확장 팩터(dilation factor)와 같은 메타데이터가 하나이며 동일한 코딩된 데이터 스트림 내에 제공된다. 대안적으로, 확장 정보는 예를 들어, 오브젝트 확장 경계들을 명시적으로 인코딩함으로써 균일하지 않은 확장 영역들의 애플리케이션을 가능하게 하기 위하여 코딩될 수 있다.

실시예에서, 상기 프로세싱 단계는 깊이 트랜지션 부근의 깊이 정보로부터 픽셀에 대한 치환 기준을 설정하는 단계를 포함하고, 상기 치환 기준은 픽셀이 속하는 트랜지션의 측면을 분류한다. 그 후, 깊이 정보로부터의 픽셀이 상기 치환 기준에 기초하여 치환 픽셀로 조건부로 치환되는데, 상기 치환 픽셀은 통계적으로 상기 치환 기준에 의해 표시된 바와 같은 공간적 상황(spatial context)와 대응한다. 이 실시예에서, 치환 기준 및 치환 픽셀 중 적어도 하나는 차폐 정보를 기반으로 한다. 그러므로, 깊이 정보의 압축의 결과로서의 잡음을 보상하기 위하여 추가적인 차폐 정보가 사용된다.

본 발명의 목적은 부가적으로 손실이 있는 압축된 깊이-맵에 기초하여 깊이-맵을 획득하도록 구성된 수단으로서, 상기 깊이 맵이 관점으로부의 장면의 깊이 정보를 포함하고, 상기 장면이 오브젝트를 포함하는, 상기 깊이-맵을 획득하도록 구성된 수단; 상기 관점으로부터의 장면에 대한 차폐 정보를 획득하도록 구성된 수단으로서, 상기 차폐 정보가 상기 깊이-맵 내의 오브젝트에 의해 차폐되는 정보를 포함하는, 상기 차폐 정보를 획득하도록 구성된 수단; 및 상기 깊이-맵에서 압축 아티팩트들을 감소시키기 위하여 상기 차폐 정보의 적어도 일부를 사용하여 상기 깊이 정보의 적어도 일부를 프롯세싱하도록 구성된 수단을 포함하는 본 발명에 따른 디바이스에 의해 성취된다.

본 발명에 의하면, 손실이 있는 압축 방식으로부터 발생하는 깊이-맵에서의 잡음의 영향을 감소시키기 위하여 깊이-맵을 프로세싱하는 방법이 제공된다.

도 1은 중앙 뷰에 대한 디-차폐 데이터를 도시한 도면.
도 2는 이미지 데이터, 깊이 데이터, 이미지 차폐 데이터, 및 깊이 차폐 데이터를 포함하는 입력 신호의 4개의 4분 표현(quadrant representation)을 도시한 도면.
도 3은 더 효율적으로 코딩된 차폐 정보를 사용하여 4개의 4분 표현을 도시한 도면.
도 4는 부가적인 4개의 4분 표현을 도시한 도면.
도 5는 바람직한 4개의 4분 표현을 도시한 도면.
도 6은 그라운드 트루 깊이 맵(ground truth depth map) 뿐만 아니라, 손실이 있는 압축에 기인하는 압축 아티팩트들을 포함하는 깊이 맵을 도시한 도면.
도 7은 본 발명에 따른 프로세싱을 갖는 손실이 있는 압축된 깊이-맵을 기반으로 한 렌더링된 뷰 및 본 발명에 따른 프로세싱을 갖지 않는 손실이 있는 압축된 깊이-맵을 기반으로 한 렌더링된 뷰를 도시한 도면.
도 8은 본 발명에 따른 디바이스를 도시한 도면.
도 9는 본 발명에 따른 디바이스를 포함하는 소비자 전자 디바이스를 도시한 도면.

본 발명의 이러한 유용한 양태들 및 다른 유용한 양태들이 다음의 도면들을 사용하여 더 상세히 설명될 것이다.

도면들은 크기대로 도시되어 있지는 않다. 일반적으로, 도면들에서 동일한 구성요소들에는 동일한 참조 번호들이 병기된다.

오토스테레오스코픽 디스플레이들 및/또는 다른 스테레오스코픽 디스플레이 디바이스들의 도입 시에 3D 콘텐트를 제공하기 위하여, 종래의 2D 콘텐트는 초기에 최종-사용자에서 2D로부터 3D로 변환될 수 있다. 그러나, 디스플레이 측에서 발생된 깊이-맵들이 전형적으로 2D 콘텐트 신호들에서의 깊이 정보의 결여에 기인한 결함들을 가질 것이기 때문에, 더 양호한 깊이-맵들에 대한 필요성이 존재할 것이다.

포착 및/또는 송신 측에서 발생되는 깊이-맵들은 포착 측에서의 자원 요건들이 일반적으로 문제가 되지 않는다는 사실로 인하여 훨씬 더 높은 품질을 가질 수 있다. 더구나, 실시간에 데이터를 발생시킬 필요가 없기 때문에, 스루풋 시간(throughput time)이 또한 문제가 되지 않는다. 게다가, 전문적 환경에서, 일반적으로 스테레오 입력(stereo input) 또는 심지어 다중뷰 입력 형태의 풋티지(footage)와 같은 이용 가능한 더 많은 정보가 존재할 것이다. 최종적으로, 포착 측에서, 특히, 스튜디오 환경(studio environment)에서의 콘텐트 생성에 대하여, 대화식 콘텐트 생성에 대한 기회가 또한 존재한다.

깊이-맵들이 포착 측에서 발생될 때, 이러한 깊이 맵들의 표현에 필요한 추가적인 대역폭이 중요한 팩터(factor)이다. 더구나, 이와 같은 깊이-맵들을 송신하기 위한 표준에 대한 필요성이 존재할 것이다.

고-품질 깊이-맵들은 3D 디스플레이들이 깊이의 더 양호한 임프레션을 전달할 수 있도록 한다. 그러나, 이 개선된 깊이 재생의 결과로서, 이미지의 중앙 뷰에서 전경 오브젝트(foreground object)들에 의해 차폐되는 정보의 디-차폐에 기인하는 것들과 같은 아티팩트들이 (더 많이) 보이게 될 것이다.

차폐 데이터는 디스플레이 및 포착 측에서 발생될 수 있다. 다시, 포착 측에서, 발생된 차폐 데이터의 품질은 상당히 더 높을 수 있다. 그러므로, 포착 측에서 발생된 차폐 데이터가 바람직할 것이다. 포착 측에서 발생되는 차폐 데이터는 3D 디스플레이 상에서의 표현을 위한 뷰들을 렌더링하기 위하여 디스플레이 측에서 사용될 것이다. 1차 근사화로서, 차폐 에어리어들을 임페인팅(impainting)하기 위하여 보이는 배경으로부터 깊이/디스패러티 데이터를 사용하는 것이 가능할지라도, 이 1차 근사화는 자신의 제한들을 갖는다.

이미지 정보 및/또는 깊이 정보의 형태로 차폐 데이터의 주석을 다는 것은 더 높은 품질 렌더링을 가능하게 한다. 그러나, 코딩 관점에서, 추가적인 데이터는 비트 레이트를 더 증가시키거나 품질에 영향을 미칠 것이다. 그 후에, 이미지, 깊이-맵, 차폐된 이미지 정보 및 차폐된 깊이 정보를 포함하는 이와 같이 발생된 데이터는 송신 또는 분배 이전에 코딩될 수 있다. 이와 같은 구현예들의 비용을 감소시키기 위하여, 예를 들어, 종래의 H.264 인코더와 같이, 이와 같은 정보를 코딩하는 기존 알고리즘들을 사용하는 것이 바람직하다.

그러나, 종래의 인코더들에 의한 실험들 동안, 압축 및 후속 압축해제 이후의 깊이-맵의 품질이 보이는 아티팩트들을 도입하지 않기 위하여 높아야 한다는 것이 관측되었다. 이 문제를 프로세싱하는 하나의 방식은 차폐 정보에 대한 압축 요건들을 낮추는 것이다. 코딩 관점에서, 이것은 바람직하지 않다.

그러나, 본 발명은 이미지 데이터에 대응하는 깊이 정보를 포함하는 깊이-맵에서, 그리고 선택적으로 차폐 정보에서도 존재하는 잡음을 감소시키기 위하여 사후-프로세싱 단계의 형태의 대안을 제공한다.

차폐/디-차폐

도 1은 차폐의 개념을 도시한다. 도 1은 수평 라인(horizontal line)(B)으로서 표현되는 배경, 및 상기 수평 라인(B) 및 중앙 관점(20) 사이에 위치된 라인(F)에 의해 표현되는 오브젝트를 포함하는 장면의 상면도를 나타낸다. 상기 이미지는 중앙 관점(20)으로부터 지각되는 것으로 코딩될 것이다. 이것은 이미지 데이터, 차폐된 이미지 데이터, 깊이 데이터 및 차폐된 깊이 데이터가 중앙 관점(20)에 대해 코딩될 것이라는 것을 의미한다.

렌더링 엔진(rendering engine), 또는 대안적으로 디스플레이에서, 중앙 뷰 데이터가 적어도 2개의 이미지들을 렌더링하는데 사용될 것이다. 중앙 뷰 이미지는 정보(C1, C2, C3)를 각각 포함할 것이다. 그러나, 좌안 관점으로부터, 정보(L1 및 L2)는 보이게 될 것이다; 마찬가지로, 우안 관점으로부터, 정보(R1 및 R2)가 보이게 될 것이다. 좌안 관점(10)으로부터, 중앙 관점(20)에서 이미지가 오프젝트(F)에 의해 차폐되었던 정보가 보이게 되며, 차폐된 정보는 화살표(OL)를 사용하여 표시된다. 마찬가지로, 우안 관점(30)으로부터, 중앙 관점(20)에서 이미지가 오브젝트(F)에 의해 차폐되었던 정보가 보이게 되며, 이 정보는 화살표(OR)를 사용하여 표시된다.

상기의 경우에, 화살표들(OL 및 OR)로 표시된 영역들에 대해 이미지 차폐 정보가 추가될 수 있다.

도 2는 우측 상에 각각 중앙 뷰 이미지(205), 차폐 데이터(215) 및 대응하는 깊이 맵들(210 및 220)의 표현을 도시한다. 이 예에서의 깊이 값들은 깊이 값이 더 밝을수록, 오브젝트가 뷰어에게 더 가깝도록 코딩된다. 해당 장면은 방 안의 공중에 떠 있는 이동 전화를 도시한다. 본 예에서, 차폐 데이터가 전체 장면에 대해 제공될지라도, 도 3, 도 4 및 도 5에 도시된 바와 같이, 이것이 본 발명에 의해 필요하지는 않다. 여기서 도시된 예들에서, 차폐 데이터가 중앙 뷰에 대해 발생된다는 점이 주의되어야 한다. 결과적으로, 차폐 데이터/제 2 층은 중앙 뷰 내의 오브젝트들이 중앙 뷰로부터 제거될 때 보이게 되는 데이터이다. 그러나, 본 발명은 이미지 및 깊이 정보가 예를 들어, 좌안 관점 또는 우안 관점 중 하나와 같이 중앙을 벗어난 관점에 대해 코딩되는 실시예들에도 적용될 수 있다.

도 3은 차폐 데이터가 프레임워크(framework)(325)로 표시된 바와 같은 이동 전화 뒤의 영역에 대해 제공되는 또 다른 표현을 도시한다. 이 예에서, 차폐된 이미지 정보 및 차폐된 깊이 정보는 오브젝트 경계를 통하여 확장되는 정사각형에 대해 제공된다. 이 특정 표현(뿐만 아니라, 도 2에 도시된 것)의 장점은 차폐된 이미지 정보 및 차폐된 깊이 정보가 오브젝트 및 배경 사이의 깊이 트랜지션 부근의 정보뿐만 아니라 오브젝트 뒤의 영역에 대한 정보를 제공한다는 것이다. 결과적으로, 영역들 둘 모두에서의 아티팩트들이 차폐된 이미지 및/또는 깊이 정보를 사용하여 필터링될 수 있다.

도 4는 차폐 데이터가 이동 전화에 의해 차폐되는 영역들에 대해서만 제공되는 또 다른 표현을 도시한다. 이 특정 표현의 장점은 이의 콤팩트한 크기(compact size)이다; 그러나, 단점은 오브젝트 경계와 관련된 더 많은 정보를 제공하지 못한다는 것이다. 그러나, 이것은 오브젝트 내의 깊이 맵에서의 코딩 아티팩트들을 제거하도록 하며; 어쨌든, 깊이-맵(210)에서의 깊이 정보는 차폐된 깊이 정보(420) 내에 제공된 깊이 정보(510) 앞에 있어야 한다.

도 5는 부가적인 바람직한 표현을 나타낸다. 이 표현은 다시 한번 이미지(205) 및 깊이-맵(210)을 포함한다. 게다가, 더 낮은-해상도의 차폐된 이미지(505) 및 대응하는 차폐된 깊이 정보(510)가 제공된다. 차폐된 이미지(505) 및 차폐된 깊이 정보 내의 우세한 그레이 톤(grey tone)이 코딩 효율 때문에 코딩되는 뮤팅된 에어리어(muted area)들을 나타낸다는 점을 주의하라.

다중-뷰 이미지가 합성되기 전에, 저-해상도 이미지가 업-스케일링(up-scaling)되어야 한다. 업-스케일링은 단순한 방식으로, 또는 예를 들어, 공동-계류중인 국제 특허 출원 IB2007/051701(대리인 문서 번호 PH005826)에서 설명된 것과 같은 컬러-적응형 양방향 업-스케일링 필터(color-adaptive bilateral up-scaling filter)를 사용하여 지능적으로 행해질 수 있다. 다음으로, 뮤팅된 에어리어들이 이미지(205) 및 깊이-맵(210)의 각각의 픽셀 값들로 치환된다. 그 후, 결과적인 차폐 정보는 도 2에서 표현된 것과 유사하다.

도 2, 도 3, 도 4 및 도 5는 계층화된 깊이 이미지(Layered Depth Image: LDI)들-포맷의 1차 근사화를 나타낸다. 계층화된 깊이 포맷의 상세한 설명에 대하여, 독자는 1998년의 25번째 컨퍼런스의 SIGGRAPH Proceedings에서 간행된 J. Shade, S. Gortler, L. He, R. Szeliski에 의한 "Layered depth images"를 참조하라.

코딩-효율 관점에서, 차폐 층에 대한 깊이-맵을 생략하는 것이 부가적으로 고려될 수 있다. 이 경우에, 차폐된 이미지 정보는 깊이 정보(210)의 필터링을 제어하는데 사용될 수 있다. 후자의 경우에, 깊이-맵 품질을 개선시키기 위한 2개의 방법들이 존재한다:

차폐된 이미지 정보를 사용하여 깊이 정보를 프로세싱하는 것.

차폐된 이미지 정보를 사용하여 차폐된 깊이 정보를 재발생시키고, 차폐된 깊이 정보를 사용하여 깊이 정보를 필터링하는 것.

제 1 방법에 따르면, 이미지 정보(205) 및 차폐된 이미지 정보(415)가 오브젝트 경계를 설정하는데 사용될 수 있다. 후속하여, 깊이-맵(210)이 바람직하게는 에지-보존 필터를 사용하여 이 경계 주위의 영역에서 필터링된다. 이 방법의 원리는 오브젝트 경계들과 같은, 깊이-맵(210)에서의 전형적으로 강한 트랜지션들이 압축 아티팩트들의 경향이 있다는 것이다. 그러나, 이와 같은 아티팩트들은 K-평균 필터와 같은 에지-보존 필터에 의하여 감소될 수 있다.

이미지 정보(205), 깊이 정보(210), 및 차폐된 이미지 정보(415)에 의해 제공되는 정보가 이와 같은 필터가 적용되는 영역을 설정하기 위하여 사용될 수 있다. 후속하여, 깊이 정보(210)가 깊이 트랜지션들까지의 특정 거리 내에서, 또는 대안적으로, 오브젝트 경계들까지의 특정 거리 내에서 필터링될 수 있다. 예를 들어, DCT-기반 압축 방식의 경우에, 이 거리는 매크로블록(macroblock)의 대각선인 것으로서 규정될 수 있다.

제 2 방법에 따르면, 이미지 정보(205), 깊이 정보(210) 및 차폐된 이미지 정보(415)가 당업자들에게 공지되어 있는 발견적 방법을 사용하여 차폐된 깊이 정보(420)를 재발생시키는데 사용될 수 있다. 컬러-적응형 양방향 필터를 사용하여 차폐된 깊이 정보(420)를 재구성하는 특히 유용한 방법들을 설명하는 공동-계류중인 국제 특허 출원 IB2007/051701(대리인 문서 PH005826) 및 유럽 특허 출원 06301011.0(대리인 문서 PH006957)이 참조된다.

이미지 정보(205) 및 차폐된 이미지 정보(415)를 결합함으로써, 컬러-적응형 양방향 필터와 함께 사용하기 위한 기준 이미지(reference image)가 구성될 수 있다. 가중치들을 깊이-맵(210)으로부터의 깊이 정보에 관련시킴으로써, 차폐된 깊이 정보의 재구성 프로세스에 대한 영향이 감소될 수 있다. 일단 차폐된 깊이 정보가 재구성되면, 상기 깊이 정보는 오브젝트와 관련된 깊이 정보를 필터링하는데 사용될 수 있다.

차폐된 이미지 정보 및/또는 차폐된 깊이 정보를 발생시키기 위한 부가적인 저-비용 대안은 2D+깊이 정보로부터 정보의 스트레칭(stretching)을 적용하는 것, 즉, 차폐된 영역에 인접한 정보를 차폐 영역 내로 스트레칭하는 것이다.

차폐 데이터를 사용한 3D 시퀀스의 렌더링

상술된 차폐 정보는 부가적인 뷰를 합성하는데 사용될 수 있다. (오토) 스테레오스코픽 디스플레이 상에서, 3D는 관측자가 자신의 우안으로 지각하는 것과 다소 상이한 이미지를 자신의 좌안으로 지각한다는 사실의 결과로서 지각된다.

이러한 뷰들은 본원에 설명된 예들에서, 중앙 뷰 및 이의 관련 깊이/디스패러티 맵으로부터의 정보를 사용하여 발생된다. 이 디스패러티/깊이 맵은 중앙 뷰의 픽셀들이 다양한 뷰들에 대해 렌더링되어야 하는 방법을 나타낸다. 이미지가 특정 뷰에 대해 렌더링/합성될 때, 일부 픽셀들은 규정되지 않을 수 있으므로, 홀이 발생할 것이다.

이를 해결하기 위한 1차 방법은 수평 라인 상에서 이전에 마주하였던 픽셀들의 픽셀 값들을 사용하는 것이다. 스캐닝 순서(scanning order)가 적절하게 선택되는 경우에, 최종적으로 마주하였던 픽셀이 배경 정보를 반영하는 픽셀일 것이다. 이 프로세스는 스트레칭이라고 칭해지며, 구현 관점에서, 구현하기가 가장 용이하다. 깊이-맵에서 강한 트랜지션이 존재하는 위치들, 즉, 오브젝트가 또 다른 오브젝트 앞에서 명확하고 먼 위치들에서, 전형적으로 상술된 스트레칭으로 인한 아티팩트들을 관측할 수 있다.

상술된 차폐 정보는 이와 같은 아티팩트들을 더 감소시키는데 사용될 수 있다.

차폐 정보를 사용하는 뷰 합성 또는 렌더링 프로세스는 2-단계 방법으로 구현될 수 있다. 제 1 단계에서, 뷰가 차폐된 이미지 및 차폐된 깊이 정보를 사용하여 렌더링된다. 적절한 차폐 정보가 없는 경우에, 예를 들어, 코딩-효율 때문에, 부분적인 차폐 정보만이 이용 가능한 경우에, 상술된 이미지 스트레칭이 적용될 수 있다.

제 2 단계에서, 전경 이미지(205) 및 깊이-맵(210)이 스트레칭 단계가 생략된 렌더링 프로세스를 사용하여 렌더링된다. 제 2 단계의 출력은 제 1 단계의 출력 위에 중첩된다. 결과적으로, 제 2 단계에서 규정되지 않은 픽셀들은 제 1 단계에 의해 규정된다.

깊이 맵 프로세싱

도 6은 손실이 있는 압축에 기인하는 압축 아티팩트들을 포함하는 깊이 맵(610)뿐만 아니라 그라운드 트루 깊이 맵(605)을 도시한다.

도 7은 이와 같은 압축해제된 깊이 맵(710)이 뷰-렌더링 프로세스에 대한 입력으로서 이미지(705)와 함께 사용될 때, 결과적인 합성된 뷰(715)가 실질적으로 왜곡된다는 것을 도시한다. 이 왜곡은 깊이 정보에서의 압축 아티팩트들의 직접적인 결과이다. 깊이 정보가 관점과 관련된 오브젝트의 깊이에 따라 이미지(605)로부터 이미지 정보를 변위시키는데 사용되기 때문에, 깊이 정보에서의 에러들은 부정확한 변위들을 발생시킬 것이다.

결과적으로, 깊이 정보에서의 에러는 픽셀 데이터의 에러 있는 트랜슬레이션(erroneous translation)으로 변환될 것이다. 이것은 이어서 렌더링된 이미지, 및 특히 오브젝트 경계들에 상당한 영향을 줄 것이다. 이 영향은 합성된 뷰(715)에서 오브젝트 에지들의 변형된 형태 또는 산만한 형태로 명백하게 보이게 된다.

전형적으로, 코딩 또는 압축 아티팩트들은 강한 트랜지션들에서 도입된다. 본 발명은 압축 및 후속 압축해제 동안 깊이-맵에서 도입되는 코딩 아티팩트들을 감소시키기 위하여 차폐된 이미지 정보, 차폐된 깊이 정보 및/또는 차폐된 디스패러티 정보와 같은 차폐 정보를 사용하는 것을 제안한다.

차폐된 이미지 정보만이 이용 가능한 경우에, 이 정보는 이미지(205)에서의 오브젝트 에지들의 위치에 대한 정보를 제공하고, 깊이-맵(210)에서의 잠재적인 깊이 트랜지션들에 관한 정보를 간접적으로 제공한다. 이 정보는 깊이-맵(210)에 에지-보존 필터링 단계를 적용할 때 유용하게 사용될 수 있다. 바람직하게는, 이와 같은 에지-보존 필터는 깊이 트랜지션들을 평활화하지 않는다. 바람직하게는, 에지-보존 필터는 에지의 각 측 상의 각각의 깊이 정보 값들을 에지의 각 측 상의 깊이 정보의 공통 값으로 맵핑한다. 이와 같은 필터의 예가 K-평균 필터이다. 비디오 프로세싱의 당업자들은 광범위한 이방성 필터들이 적용될 수 있다는 점을 인식할 것이다.

대안적으로, 상술된 바와 같이, 차폐된 깊이 정보는 차폐된 이미지 정보를 사용하여 재구성될 수 있다. 그러나, 차폐 정보 내에 차폐된 깊이 정보를 포함시키는 것이 바람직하다. 깊이 정보가 차폐된 영역 및/또는 차폐된 에어리어 주위의 영역에 대해 이용 가능할 때, 이 정보는 차폐된 깊이 정보(220)뿐만 아니라 깊이-맵(210) 둘 모두를 개선시키는데 사용될 수 있다. 근원적인 개념은 품질을 개선시키고/시키거나 깊이 맵(210)으로부터의 깊이 정보의 프로세싱을 스티어링(steering)하기 위하여 차폐된 영역으로부터의 깊이 정보를 사용하는 것이다. 반대로, 깊이-맵(210)으로부터의 깊이 정보는 또한 품질을 개선시키고/시키거나 차폐된 깊이 정보로부터의 깊이 정보의 프로세싱을 스티어링하는데 사용될 수 있다.

비트 레이트-효율적인 구현예에서, 차폐된 깊이-맵은 강한 깊이 트랜지션들이 발생하는 에어리어들에서만 코딩된다. 게다가, 계산적인 복잡성을 감소시키기 위하여, 깊이 맵(710)에 대한 프로세싱은 강한 깊이 트랜지션들이 발생하는 에어리어들에서만 수행된다.

210에 도시된 바와 같은 깊이-맵에 대한 이와 같은 사후-프로세싱 단계의 간단한 실시예는 깊이-맵(210)의 각각의 값 및 차폐된 깊이 정보(220)의 대응하는 값에 대해 MAX 오퍼레이션(operation)을 수행하는 것(최대값을 선택하는 것)일 수 있다. 이것은 중앙 뷰의 깊이 맵(710)에서 도달하지 못한 아티팩트(undershoot artifact)들을 제거할 것이다. 트랜지션의 적절한 측 상에서 공간적으로 근접한 부가적인 픽셀들을 고려함으로써, 더 정교한 필터링이 수행될 수 있다는 것이 구상된다. 특히, 비디오 시퀀스들의 경우에, 이와 같은 필터링 오퍼레이션이 또한 오브젝트들의 움직임(motion)을 고려함으로써 시간적인 일관성(temporal consistency)을 제공할 수 있다는 것이 구상된다. 공간적인 강화 및 시간적인 강화 둘 모두에서, 깊이 맵(210)에서 에지들을 실질적으로 보존하는 것이 중요하게 유지된다.

지금까지, 깊이 맵(210)이 사후-프로세싱 단계의 타겟(target)이었다. 그러나, 유사한 사후-프로세싱 단계가 동등한 장점으로 차폐된 깊이 정보(220)에 적용될 수 있다. 간단한 실시예에서, 이전에 제안된 바와 같은 MAX 오퍼레이션은 개선된 차폐된 깊이 정보(220)를 유도하기 위하여 (각각의 값의 최소값을 선택하기 위한) MIN 오퍼레이션으로 치환될 수 있다.

또 다른 실시예에서, 깊이-맵(210)에 존재하는 전경 오브젝트에서의 아티팩트들이 또한 감소될 수 있도록 사후-프로세싱 단계가 또한 적용될 수 있다. 이것은 우선 중앙 뷰 깊이-맵에서 강한 깊이 트랜지션들을 검출함으로써(예를 들어, 윈도우(window)에 걸쳐 MIN 및 MAX를 결정하고 트랜지션의 크로싱(crossing)으로서 평균을 고려함으로써) 성취될 수 있다.

이러한 트랜지션들 주위에서, 깊이-맵 픽셀들은 높은 품질을 가져야 한다. 그러므로, 전경 깊이-맵에서의 에지 주위의 깊이-맵 픽셀들을 배경 깊이-맵으로부터의 픽셀들로 치환하는 것은 상기 깊이-맵이 이 트랜지션을 포함하지 않기 때문에 전체 품질을 개선시킬 것이다.

전경 오브젝트들이 배경 상에 배치되는 것을 피하기 위하여 확장 단계가 필요할 수 있다. 확장 팩터가 다른 이미지 데이터와 함께 메타데이터의 형태로 제공되는 경우에, 이 값이 사용될 수 있다. 그 후, 확장 팩터는 치환되어야 하는 깊이 트랜지션 주위의 데이터량을 결정하는데 사용될 수 있다.

본 발명의 부가적인 실시예에서, 프로세싱 단계는 깊이 트랜지션 부근의 깊이 정보로부터 픽셀에 대한 치환 기준을 설정하는 단계를 포함하고, 상기 치환 기준은 픽셀이 트랜지션의 어느 측면에 속하는지를 분류한다. 후속하여, 깊이 정보로부터의 픽셀이 상기 치환 기준에 기초하여 치환 픽셀로 조건부로 치환된다. 깊이 정보의 품질을 개선시키기 위하여, 상기 치환 픽셀은 통계적으로 상기 치환 기준에 의해 표시된 바와 같은 공간적 상황와 대응해야 하는데; 즉, 상기 치환 픽셀은 깊이 트랜지션의 그 측 상의 깊이 정보와 일관되어야 한다. 예를 들어, k-평균 알고리즘이 사용될 때, 트랜지션의 적절한 측 상의 클러스터(cluster)의 평균 값이 치환 픽셀 값으로서 사용될 수 있다.

치환 기준 및 치환 픽셀 중 적어도 하나가 차폐 정보를 기반으로 한다는 점을 주의하는 것이 중요하며; 차폐 정보가 적절한 깊이 정보를 재구성하는데 사용될 수 있는 추가적인 정보를 제공하기 때문에, 이 방식으로, 개선된 깊이-맵 일관성이 성취될 수 있다.

치환 기준이 적어도 부분적으로 차폐 정보를 기반으로 하는 경우에, 치환 픽셀 값을 설정하기 위하여 깊이 정보로부터의 픽셀의 공간적 상황을 사용하는 것이 가능할 수 있다. 바람직하게는, 차폐 정보로부터의 픽셀의 공간적 상황, 즉, 상기 픽셀 부근의 픽셀들이 치환 픽셀을 결정하는데 사용된다. 더 바람직하게는, 차폐 깊이 정보로부터의 대응하는 픽셀의 공간적 상황이 치환 픽셀을 설정하는데 사용된다. 깊이 트랜지션 부근의 이와 같은 치환 기준들을 설정하는 것이 충분할 수 있다는 점이 명백할 것이지만, 대안들이 또한 가능하다. 그 대신에, 이와 같은 기준들이 전체 이미지 내의 각각의 픽셀에 대해 설정될 수 있다.

전형적으로 깊이 정보에서의 트랜지션이 명백할지라도, 특히 깊이 정보가 코딩 이전에 다운-스케일링되거나 매우 낮은 비트 레이트로 코딩될 때, 깊이 트랜지션들은 약할 수 있다. 결과적으로, 깊이-맵에서 트랜지션들을 재구성하기 위하여 트랜지션의 공간적 상황로부터의 정보를 사용하는 에지-재구성 필터를 사용하는 것이 유용하다.

예를 들어, 깊이 정보가 더 낮은 해상도로 제공될 때, 다운-스케일링된 깊이 정보에서의 에지가 다운-스케일링 프로세스 동안 "스미어링(smearing)"될 수 있다. 결과적으로, 에지를 재구성하는 것이 유용하다. 치환 기준을 결정하기 위하여 k-평균 알고리즘을 사용하는 본 발명의 구현예에서, 어느 한 측 상에서 적절한 깊이 값들을 설정하고 나서, 실제 깊이 트랜지션에 걸친 깊이 값들에 기초하여 에지의 가장 확률이 높은 위치를 결정하는 것이 유익하다.

예를 들어, 트랜지션의 일측 상의 깊이 값에 대응하는 제 1 평균 및 트랜지션의 타측 상의 깊이 값에 대응하는 제 2 평균을 결정하는 것이 가능할 수 있다. 그 후, 재구성된 에지가 제 1 및 제 2 평균 사이의 중간에 위치될 수 있다. 비록 여기서 에지 재구성의 개념이 k-평균 해결책과 관련하여 설명될지라도, 이것은 강제적인 것이 아니며, 다른 에지 재구성 기술들이 동등한 장점으로 적용될 수 있다.

도 7은 부분적으로 이미지(705)와 깊이 맵(710) 뿐만 아니라, 차폐된 이미지 정보와 차폐된 깊이 정보(도시되지 않음) 형태의 차폐 정보를 기반으로 한 2개의 렌더링된 뷰들을 도시한다. 제 1 렌더링된 뷰(715)는 종래의 압축된 깊이-맵(710)을 기반으로 하는 반면, 제 2 렌더링된 뷰(720)는 본 발명에 따라 사후-프로세싱되었던 종래의 압축된 깊이-맵을 기반으로 한다. 상술된 바와 같이, 제 1 렌더링된 뷰(715)는 깊이-맵(710)에 존재하는 압축 아티팩트들에 의해 상당히 영향을 받는다. 대조적으로, 제 2 렌더링 뷰(720)에서, 오브젝트 에지들은 원래 이미지(705)에서의 오브젝트 에지들에 훨씬 더 가깝다.

본 발명이 깊이-맵 해상도가 이미지 해상도와 부합하는 예들을 사용하여 설명되었지만, 본 발명이 각각의 해상도들이 상이한 상황들에서 동등한 장점으로 적용될 수 있다는 점이 당업자에게 명백할 것이다.

도 8은 본 발명에 따른 디바이스(800)를 도시한다. 상기 디바이스(800)는 손실이 있는 압축된 깊이-맵에 기초하여 깊이-맵(875)을 획득하도록 구성된 수단(805)을 포함하고, 상기 깊이-맵(875)은 관점으로부터의 장면의 깊이 정보를 포함하고, 상기 장면은 오브젝트를 포함한다. 상기 디바이스(800)는 상기 관점으로부터의 장면에 대한 차폐 정보(885)를 획득하도록 구성된 수단(810)을 더 포함하고, 상기 차폐 정보(885)는 깊이-맵(875) 내의 오브젝트에 의해 차폐되는 정보를 포함한다. 최종적으로, 상기 디바이스는 깊이-맵(875)에서 압축 아티팩트들을 감소시키기 위하여 차폐 정보의 적어도 일부를 사용하여 깊이 정보의 적어도 일부를 프로세싱하도록 구성된 수단(815)을 포함한다. 상기 수단(815)은 선택적으로 깊이 맵(875)의 프로세싱에서 메타데이터 및/또는 이미지 데이터와 같은 부가적인 정보를 사용할 수 있다.

상기 장치(800)가 예를 들어, 주문형 반도체(Application Specific Integrated Circuit: ASIC) 또는 다수의 ASIC들의 형태의 하드웨어 구성요소(hardware component)들 또는 하나 이상의 디지털 신호 프로세서들 또는 심지어 범용 프로세서들을 포함하는 프로그래밍 가능한 플랫폼(programmable platform)을 사용하여 구성될 수 있다는 점이 당업자에게 명백할 것이다. 상술된 구현예들의 조합들이 또한 구상된다. 당업자는 클록 주파수(clock frequency), 프로그래밍 가능한 플랫폼 상의 이용 가능한 계산적인 용량과 같은 제약들 및/또는 비디오 프로세싱용 시스템들을 설계하는 당업자들에게 널리 공지되어 있는 다른 제약들에 기초하여 이와 같은 구현예를 구성할 수 있을 것이다.

도 9는 본 발명에 따른 디바이스(800)를 포함하는 소비자 전자 디바이스(900)의 구현예를 도시한다. 상기 소비자 전자 디바이스(900)는 예를 들어, 이미지 정보, 깊이 정보, 차폐된 이미지 정보, 및 선택적으로, 차폐된 깊이 정보를 포함하는 적어도 하나의 이미지 시퀀스를 포함하는 인입 전송 스트림(imcoming Transport Stream)(905)을 네트워크를 통하여 수신하는 셋 톱 박스(STB)일 수 있다. 상기 STB는 오토스테레오스코픽 디스플레이로의 출력을 위한 다중 뷰들(995)을 렌더링하도록 배열된다. 대안적으로, 소비자 전자 디바이스는 오토스테레오스코픽 디스플레이(900) 상에서의 디스플레이를 위한 다중 뷰들을 렌더링하는데 사용되는, 이미지 정보, 깊이 정보, 차폐된 이미지 정보, 및 선택적으로, 차폐된 깊이 정보를 포함하는 이미지 시퀀스(905)를 수신하도록 구성된 오토스테레오스코픽 디스플레이일 수 있다. 이 특정 실시예에서, 개별적인 뷰들이 또 다른 디바이스에 디지털 포맷으로 출력될 필요가 없고, 결과적으로, 출력(995)이 점선으로 표현된다.

명세서 전체에 걸쳐서, 용어 "획득하는"은 예를 들어, 네트워크 또는 데이터 캐리어(data carrier)로부터의 수신에 의해 획득하는 것 뿐만 아니라, 프로세싱용 수단에 의해, 예를 들어, 이와 같은 데이터의 압축해제 또는 재구성에 의해 획득하는 것을 포함하는 것으로 이해된다.

상술된 실시예들이 본 발명을 제한하기보다는 오히려 설명하고, 당업자들이 첨부된 청구항들의 범위로부터 벗어남이 없이 많은 대안적인 실시예들을 설계할 수 있을 것이라는 점이 주의되어야 한다.

청구항들에서, 괄호들 사이에 배치된 임의의 참조 부호들은 청구항을 제한하는 것으로 해석되어서는 안될 것이다.

본 발명의 프레임워크 내에서, 많은 변화들이 가능하다는 점이 명백할 것이다. 본 발명이 상기에 특정하게 제시 및 설명된 것에 의해 제한되지 않는다는 점이 당업자들에 의해 인식될 것이다. 본 발명은 각각의 그리고 모든 신규한 특징적인 특성들, 및 특징적인 특성들의 각각의 그리고 모든 조합에서 존재한다. 청구항들에서의 참조 번호들은 청구항들의 보호 범위를 제한하지 않는다.

동사 "포함한다" 및 이의 활용형들의 사용이 청구항들에서 진술된 요소들 이외의 요소들의 존재를 배제하지 않는다. 요소 앞의 단수 관사의 사용이 복수의 이와 같은 요소들의 존재를 배제하지 않는다.

705 : 이미지 710 : 깊이 맵
715 : 제 1 렌더링된 뷰 720 : 제 2 렌더링된 뷰

Claims

깊이-맵(875)을 프로세싱하는 방법에 있어서:
손실이 있는 압축 알고리즘(lossy compression algorithm)에 기초하여 깊이-맵을 획득하는 단계로서, 상기 깊이-맵은 어느 관점으로부터 오브젝트를 포함하는 장면의 깊이 정보를 포함하는, 상기 깊이-맵 획득 단계,
상기 관점으로부터 상기 장면에 대한 차폐 정보(occlusion information)를 획득하는 단계로서, 상기 차폐 정보는 상기 깊이-맵에서 상기 오브젝트에 의해 차폐되는 정보를 포함하는, 상기 차폐 정보 획득 단계, 및
상기 깊이-맵에서 압축 아티팩트들(compression artifacts)을 감소시키기 위하여 상기 차폐 정보의 적어도 일부를 이용하여 상기 깊이 정보의 적어도 일부를 프로세싱하는 단계를 포함하는, 깊이-맵 프로세싱 방법.
제 1 항에 있어서,
상기 차폐 정보는 상기 오브젝트에 의해 차폐되는 깊이 정보를 포함하는, 깊이-맵 프로세싱 방법.
제 1 항에 있어서,
상기 프로세싱 단계는 상기 오브젝트와 관련된 상기 깊이 정보에서의 트랜지션(transition) 주위의 미리 결정된 영역 내에서 상기 깊이 정보의 적어도 일부를 프로세싱하는 단계를 포함하는, 깊이-맵 프로세싱 방법.
제 1 항에 있어서,
상기 프로세싱 단계는 상기 오브젝트 주위의 미리 결정된 영역 내에서 상기 깊이 정보의 적어도 일부를 프로세싱하는 단계를 포함하는, 깊이-맵 프로세싱 방법.
제 1 항 내지 4 항 중 어느 한 항에 있어서,
영역의 크기에 관한 정보를 제공하는 메타데이터를 획득하는 단계를 더 포함하는, 깊이-맵 프로세싱 방법.
제 1 항 내지 4 항 중 어느 한 항에 있어서,
상기 차폐 정보의 적어도 일부는 프로세싱되는 상기 깊이 정보의 영역에 대응하는 영역으로부터의 차폐 정보인, 깊이-맵 프로세싱 방법.
제 1 항에 있어서,
상기 손실이 있는 압축된 깊이-맵을 발생시키는데 이용되는 상기 손실이 있는 압축 알고리즘은 깊이 정보에서의 트랜지션 주위에 잡음을 도입하는, 깊이-맵 프로세싱 방법.
제 1 항에 있어서,
상기 손실이 있는 압축된 깊이-맵을 발생시키는데 이용되는 상기 손실이 있는 압축 알고리즘은 상기 손실이 있는 압축된 깊이-맵에서 깊이 정보를 표현하기 위해 주파수 도메인 표현을 이용하는, 깊이-맵 프로세싱 방법.
제 1 항에 있어서,
상기 방법은 상기 깊이 정보에서의 트랜지션을 설정하는 단계를 더 포함하는, 깊이-맵 프로세싱 방법.
제 1 항에 있어서,
상기 프로세싱 단계는:
깊이 트랜지션 부근의 상기 깊이 정보로부터 픽셀에 대한 치환 기준(replacement criterion)을 설정하는 단계로서, 상기 치환 기준은 상기 픽셀이 트랜지션의 어느 측면에 속하는지를 분류하는, 상기 치환 기준 설정 단계; 및
상기 치환 기준에 기초하여 상기 깊이 정보로부터 상기 픽셀을, 상기 치환 기준에 의해 표시된 바와 같은 공간적 상황에 통계적으로 대응하는 치환 픽셀로 조건부로 치환하는 단계를 포함하며;
상기 치환 기준 및 상기 치환 픽셀 중 적어도 하나는 차폐 정보에 기초하는, 깊이-맵 프로세싱 방법.
제 10 항에 있어서,
상기 치환 기준은:
상기 깊이 정보로부터 상기 픽셀의 공간적 상황, 및
상기 깊이 정보로부터 상기 픽셀에 대응하는 상기 차폐 정보로부터의 픽셀의 공간적 상황 중 적어도 하나를 통한 필터링에 의해 설정되는, 깊이-맵 프로세싱 방법.
제 11 항에 있어서,
상기 치환 픽셀은:
상기 깊이 정보로부터 상기 픽셀과 대응하는 차폐 깊이 정보로부터의 픽셀, 및
상기 깊이 정보로부터 상기 픽셀과 대응하는 상기 차폐 깊이 정보로부터의 상기 픽셀의 공간적 상황에 기초한 픽셀 중 하나인, 깊이-맵 프로세싱 방법.
제 2 항에 있어서,
상기 프로세싱 단계는:
상기 깊이 정보로부터의 픽셀, 및
상기 차폐 정보로부터의 대응하는 픽셀 중에서 최소값 및 최대값 중 하나를 설정하는 단계를 포함하는, 깊이-맵 프로세싱 방법.
제 1 항에 있어서,
프로세싱을 위한 영역을 크기에 관한 메타데이터가 제공되는, 깊이-맵 프로세싱 방법.
깊이-맵(875)을 프로세싱하는 디바이스(800)에 있어서:
손실이 있는 압축된 깊이-맵에 기초하여 깊이-맵을 획득하도록 구성된 수단(805)으로서, 상기 깊이 맵은 어느 관점으로부터 오브젝트를 포함하는 장면의 깊이 정보를 포함하는, 상기 깊이-맵을 획득하도록 구성된 수단(805),
상기 관점으로부터 상기 장면에 대한 차폐 정보를 획득하도록 구성된 수단(810)으로서, 상기 차폐 정보는 상기 깊이-맵에서 상기 오브젝트에 의해 차폐되는 정보를 포함하는, 상기 차폐 정보를 획득하도록 구성된 수단(810), 및
상기 깊이-맵(875)에서 압축 아티팩트들을 감소시키기 위하여 상기 차폐 정보의 적어도 일부를 이용하여 상기 깊이 정보의 적어도 일부를 프로세싱하도록 구성된 수단(815)을 포함하는, 깊이-맵 처리 디바이스.