KR20230078669A - 다시점 비디오의 인코딩 및 디코딩 방법 - Google Patents

Abstract

본 발명은 서로 다른 위치 또는 서로 다른 시야각으로부터의 3D 장면을 동시에 나타내는 뷰들을 인코딩하는 방법에 관한 것으로, 이 방법은 인코딩 디바이스에 의해 구현되고 적어도 하나의 뷰의 깊이 구성요소에 대해: 깊이 구성요소를 적어도 하나의 블록으로 분할하는 단계(C2), 뷰들 중 적어도 하나의 뷰의 텍스처 구성요소의 텍스처 데이터로부터 적어도 하나의 블록에 대한 깊이 정보를 획득하는 단계(C4), 정보로부터 적어도 하나의 깊이 추정 파라미터를 획득하는 단계(C5), 적어도 하나의 깊이 추정 파라미터를 인코딩하는 단계(C6)로서, 적어도 하나의 블록의 깊이 정보는 인코딩되지 않는, 단계를 포함한다.

Description

다시점 비디오의 인코딩 및 디코딩 방법

본 발명은 일반적으로, 특히 다시점 비디오(multiview video)와 같은 몰입형 비디오 분야에 관한 것이다. 보다 구체적으로, 본 발명은 그러한 몰입형 비디오를 생성하기 위해 캡처된 다중 시점의 코딩 및 디코딩, 그리고 캡처되지 않은 중간 시점의 합성에 관한 것이다.

본 발명은 현재 AVC 및 HEVC 비디오 코더에서 구현되는 비디오 코딩 및 이의 확장(MVC, 3D-AVC, MV-HEVC, 3D-HEVC 등), 그리고 상응하는 비디오 디코딩에 특히 적용될 수 있지만, 이에 한정되는 것은 아니다.

예를 들어 360°비디오와 같은 전방향 비디오를 생성하기 위해서는, 360° 카메라를 사용하는 것이 일반적인 관행이다. 이러한 360° 카메라는 구형(spherical) 플랫폼 상에 설치된 여러 개의 2D(2차원) 카메라로 구성된다. 각각의 2D 카메라는 동일한 시점에서 본 3D(3차원) 장면의 특정 각도를 캡처하고, 카메라에 의해 캡처된 뷰(view)들의 세트는 하나의 시점으로부터 360°×180°시야에 따라 3D 장면을 나타내는 비디오를 생성할 수 있게 한다. 360°×180°시야에 따른 3D 장면을 캡처하기 위해 단일 360°카메라를 이용하는 것 또한 가능하다. 이러한 시야는 당연히 예를 들어 270°×135°와 같이 덜 클 수 있다.

그 결과 이러한 360°비디오는 사용자가 마치 자신이 중심에 배치되고 360°로 주변을 둘러보는 것과 같이 장면을 관람할 수 있게 함으로써, 새로운 비디오 관람 방식을 제공한다. 이러한 비디오는 일반적으로 "헤드 장착 디바이스(HMD)"로도 알려진, 가상 현실 헤드셋 상에서 재생된다. 그러나 이것은 적절한 사용자 상호작용 수단이 장착된 2D 화면 상에서도 디스플레이될 수 있다. 360° 장면을 캡처하기 위한 2D 카메라의 수는 사용되는 플랫폼에 따라 다르다.

그러나 위에 언급된 360° 접근법은 뷰어가 오직 단일 시점에서만 장면을 관람할 수 있기 때문에 제한적이다.

뷰어가 시점을 변경하는 것을 가능하게 하도록, 각각의 카메라가 장면의 특정 각도를 캡처하는 2D 유형의 카메라 세트에 의해서 3D 장면이 캡처되는 다시점 캡처 시스템이 존재한다. 장면에 대한 몰입감을 증가시키기 위해서, 하나 이상의 누락된 시점, 즉 카메라에 의해 캡처되지 않은 시점을 나타내는 뷰가 존재하는 시점들로부터 합성된다.

이러한 누락된 또는 중간 뷰의 계산은 소위 "뷰 합성" 알고리즘에 의해서 수행된다. 예를 들어, VSRS("View Synthesis Reference" 소프트웨어)가 뷰 합성 알고리즘으로서 사용될 수 있다.

통상적으로, 이러한 합성 알고리즘은 각각의 카메라에 의해서 서로 다른 순간에 캡처된 뷰들의 텍스처 구성요소와 "깊이 맵(depth map)"으로 지칭되는 이러한 뷰들의 깊이 구성요소 모두에 기초한다. 깊이 맵은 뷰의 각 픽셀과 이러한 뷰가 캡처된 카메라 사이의 거리를 나타낸다. 따라서, 각각의 카메라는 그의 각각의 시점으로부터, 3D 장면의 깊이 맵과 연관된 텍스처 구성요소의 형태로 카메라의 각각의 시점으로부터 보이는 것과 같이 3D 장면의 뷰를 캡처한다. 깊이 맵을 구성하기 위한 여러 방법, 즉 레이더, 레이저, 현재 뷰 및 인접 뷰들의 픽셀을 사용하는 계산 방법이 존재한다.

텍스처 구성요소의 세트로부터 깊이를 추정하는 기법들이 알려져 있다. 따라서, 문헌 "O. Stankiewicz , K. Wegner , M. Tanimoto and M. Doma

ski , "Enhanced Depth Estimation Reference Software ( DERS ) for Free-viewpoint Television", ISO/IEC JTC1/SC29/WG11 Doc. MPEG M31518, Geneva, 2013"에 기술된 DERS 방법은 2개의 뷰 사이의 시차(disparity), 즉 픽셀의 수로 측정된 2개의 뷰 사이의 하나의 픽셀의 변위를 초기에 추정하도록 적어도 2개의 텍스처 구성요소를 사용한다. 이를 위해, 현재 뷰에서 현재 픽셀을 둘러싼 블록에 대해, DERS는 "블록 매칭" 단계를 연속적으로 적용하여, 다른 뷰에서 현재 뷰의 블록에 대한 오차를 최소화하는 블록을 식별한다. 이러한 검색은 뷰가 보정된 것으로 간주되기 때문에 수평으로 수행된다. 검색은 사전결정된 시차 간격 내에서 수행되고, 즉 최소 시차 D_min과 최대 시차 D_max 사이에 있는 모든 블록에 대해 블록 매칭이 수행될 것이다. 장면의 시차 "d"와 깊이 "Z" 사이에는 직접적인 관계가 있고, 시차 "d"의 픽셀의 깊이 "Z"는 다음과 같으며:

Z = (b * f) / d,

여기서 "b"는 뷰를 촬영한 카메라의 광학 중심 사이의 거리이고, "f"는 카메라의 초점 거리이다. 따라서, 최소 시차 D_min은 장면에서 예상되는 최대 깊이 Z_max에 해당하며, 최대 시차 D_max는 장면에서 예상되는 최소 깊이 Z_min에 해당한다. 구체적인 경우에, 장면의 캡처는 Z_min(예를 들어 0.3m) 및 Z_max(예를 들어 5m)의 사전결정된 값을 명시함으로써 수행된다. 이것은 평가될 시차 가설의 수를 결정할 값 D_min 및 D_max을 직접 생성한다. 예를 들어, D_min = 2 픽셀, D_max = 192 픽셀로 결정된 경우, 이는 블록 매칭 기법이 모든 시차 가설 D = 2,3,4,..., 191, 192 픽셀, 즉 저장되고 서로 비교될 191가지 계산에 대해 블록 매칭 비용을 평가함을 의미한다. 따라서 DERS 알고리즘은 Sc(Smoothing Coefficient) 파라미터를 포함하는 하나 이상의 정규화 파라미터 및 각각의 시차와 연관된 비용의 함수로서 가능한 191가지 중에 어느 시차를 선택할지를 결정한다. 이러한 계수는 생성된 깊이 맵의 규칙성을 결정한다. 따라서, 만약 이 계수가 낮으면 깊이 맵이 보다 정확할 것이지만 노이즈를 포함할 위험이 있는 반면, 이 계수가 높으면 깊이 맵이 균일한 깊이 구역을 가지고 매우 규칙적일 것이지만 작은 국소 변동을 잘 나타내지 못할 위험이 있다.

예를 들어, 문헌 "Dawid Mieloch, Adrian Dziembowski, Jakub Stankowski, Olgierd Stankiewicz, Marek Doma

ski, Gwangsoon Lee, Yun Young Jeong [MPEG-I Visual] Immersive video depth estimation, ISO/IEC JTC1/SC29/WG11 MPEG2020 m53407"에 제시된 IVDE(Immersive Video Depth Estimation) 방법과 같이, 동시에 일련의 뷰들의 깊이 맵을 함께 결정하는 다른 깊이 추정 방법들이 존재한다.

종래의 몰입형 비디오 코더에서, 텍스처 구성요소 및 그들 각각의 깊이 맵이 코딩되어, 예를 들어 사용자의 디스플레이 디바이스에 설치된 디코더로 전송된다. 디코더 측에서 각 뷰가 디코딩되며, 뷰의 디코딩은 해당 뷰의 텍스처 구성요소의 디코딩을 포함하고 깊이 맵의 디코딩은 해당 뷰의 텍스처 구성요소와 연관된다. 그 다음 합성 알고리즘은 하나 이상의 디코딩된 깊이 맵과 하나 이상의 디코딩된 텍스처 구성요소로부터, 사용자에 의해 요청된 시점에 상응하는 중간 뷰를 구성한다.

문헌 "Patrick Garus, Jung Joel, Thomas Maugey, Christine Guillemot. Bypassing Depth Maps Transmission For Immersive Video Coding. PCS 2019 - Picture Coding Symposium, Nov 2019, Ningbo , China.pp.1-5. hal -02397800"에는 깊이 맵이 코딩되지 않은 몰입형 비디오 코더가 기술되어 있다. 뷰의 텍스처 구성요소만이 코딩되어 디코더로 전송된다. 디코더 측에서 텍스처 구성요소가 디코딩된 다음, 예를 들어 DERS와 같은 깊이 추정 방법이 추정된 깊이 맵을 생성하기 위해 디코딩된 텍스처 구성요소에 적용된다. 그 다음 VSRS(View Synthesis Reference Software) 합성 알고리즘이 이러한 추정된 깊이 맵을 사용하여 뷰 합성을 수행한다.

이러한 기술 덕분에, 깊이 맵을 코딩하고 전송할 필요가 없으므로 전방향 비디오의 코딩 비트율이 감소된다. 또한, 합성된 뷰를 획득하기 위해 디코딩되어야 하는 픽셀의 수도 종래의 몰입형 비디오 디코더에서 사용되는 것보다 더 적다.

그러나, 이러한 기술에서 사용되는 디코딩 방법은 디코더에서 깊이 추정 단계의 구현을 요구하기 때문에 계산의 측면에서 집약적이다. 또한, 디코더에서 추정된 깊이는 원래의 텍스처 구성요소에 비해 품질이 더 낮은 디코딩된 텍스처 구성요소에 기초하기 때문에, 추정된 깊이 자체의 품질이 덜 우수하다. 따라서 이러한 기술로 구현되는 뷰 합성은 사용자에게 제공되는 이미지 품질의 측면에서나, 계산 자원 소비의 측면에서 최적이 아니다.

본 발명의 목적 중 하나는 전술된 최신 기술의 단점을 해결하는 것이다.

이를 위해, 본 발명의 하나의 목적은 코딩 디바이스에 의해 구현되는, 서로 다른 위치 또는 서로 다른 시야각으로부터의 3D 장면을 동시에 나타내는 뷰들을 코딩하는 방법으로서, 적어도 하나의 뷰의 깊이 구성요소에 대해:

- 상기 깊이 구성요소를 적어도 하나의 블록으로 분할하는 단계;

- 상기 뷰들 중 적어도 하나의 텍스처 구성요소의 텍스처 데이터로부터 상기 적어도 하나의 블록의 깊이 정보를 획득하는 단계;

- 깊이 정보로부터 적어도 하나의 깊이 추정 파라미터를 획득하는 단계;

- 상기 적어도 하나의 깊이 추정 파라미터를 코딩하는 단계로서, 상기 적어도 하나의 블록의 깊이 정보는 코딩되지 않는, 단계

를 포함하는 코딩 방법에 관한 것이다.

본 발명에 따른 이러한 코딩 방법은, 뷰를 코딩할 때, 이러한 뷰와 연관된 깊이 맵 또는 구성요소의 깊이 블록의 코딩을 피할 수 있게 하여 코더에 의해 구현되는 계산을 가볍게 하는 동시에, 깊이 블록의 코딩된 데이터를 더이상 저장할 필요가 없으므로 메모리 자원을 절약한다. 이러한 깊이 블록은 코딩되지 않기 때문에, 이 깊이 블록과 관련된 코딩된 데이터가 디코더로 전송되지 않으며, 이는 코더와 디코더 사이에 전송되는 정보의 시그널링 비용을 감소시킨다. 깊이 블록과 관련된 코딩된 데이터의 부재를 보상하고 깊이 블록의 디코딩을 허용하기 위해, 본 발명에 따른 코딩 방법은 깊이 블록과 연관된 적어도 하나의 깊이 추정 파라미터의 코딩을 구현하며, 여기서 깊이 추정 파라미터는 이러한 깊이 블록을 이전에 디코딩할 필요 없이 깊이 블록을 재구성하도록 디코더에서 사용될 것이다.

특정 실시형태에 따르면, 상기 적어도 하나의 깊이 추정 파라미터는 상기 적어도 하나의 블록의 각각의 깊이 값보다 큰 상기 적어도 하나의 블록의 깊이 값, 또는 상기 적어도 하나의 블록의 각각의 깊이 값보다 작은 상기 적어도 하나의 블록의 깊이 값이다.

이러한 특정 실시형태에 따르면, 디코더의 깊이 추정기는 하나 이상의 뷰의 재구성된 텍스처 블록의 각 픽셀로 이러한 블록에 대한 각각의 가능한 상응하는 깊이의 가능성를 평가하기 위해 더이상 깊이 블록을 재구성할 필요가 없다. 실제로, 이 실시형태에 따르면, 깊이 추정기는 단순히 재구성될 깊이 블록에 대해 이러한 블록의 최소 깊이 값과 최대 깊이 값 사이에 있는 간격 내에서만 이러한 블록의 깊이를 추정한다. 이러한 깊이 추정은 최신 기술의 복잡한 측면인 깊이 추정 단계를 상당히 가속화한다.

다른 특정 실시형태에 따르면, 상기 적어도 하나의 깊이 추정 파라미터는 깊이 추정 방법에 의해 사용되는 파라미터이다.

이러한 특정 실시형태에 따르면, 알려진 깊이 추정 방법에 의해 사용되는 상기 깊이 추정 파라미터(들)는 유리하게는 원래의 깊이 블록에 가능한 가장 근접한 추정된 깊이 블록을 생성하도록 최적화된다. 이러한 파라미터는 예를 들어 깊이 추정 알고리즘이 잡음이 거의 없는 깊이 맵을 강제로 찾는 것을 가능하게 하는 정규화 파라미터, 또는 만약 신뢰도가 너무 낮으면 깊이 추정 알고리즘이 깊이 값을 계속 정제할 수 있게 하는 신뢰도 파라미터이다.

다른 특정 실시형태에 따르면, 깊이 추정 방법을 나타내는 정보가 코딩된다.

이러한 특정 실시형태에 따르면, 코더는 각각이 주어진 콘텐츠 또는 블록에 대해 다소 우수한 결과를 제공할 가능성이 있는, 현재 블록에 대한 최상의 깊이 추정을 생성하는 깊이 추정 방법을 선택하며, 현재 블록에 선택된 깊이 추정을 적용하기 위해 디코더로 전송하도록 이러한 선택을 코딩하는, 서로 다른 이용가능한 깊이 추정 방법을 테스트할 수 있다.

위에서 언급된 다양한 실시형태 또는 특징이 독립적으로 또는 위에서 정의된 코딩 방법과 서로 조합하여 추가될 수 있다.

본 발명은 또한 서로 다른 위치 또는 서로 다른 시야각으로부터의 3D 장면을 동시에 나타내는 뷰들을 코딩하는 디바이스에 관한 것으로, 상기 코딩 디바이스는, 적어도 하나의 뷰의 깊이 구성요소에 대해:

- 깊이 구성요소를 적어도 하나의 블록으로 분할하고,

- 상기 뷰들 중 적어도 하나의 텍스처 구성요소의 텍스처 데이터로부터 상기 적어도 하나의 블록의 깊이 정보를 획득하고,

- 깊이 정보로부터 적어도 하나의 깊이 추정 파라미터를 획득하고,

- 상기 적어도 하나의 깊이 추정 파라미터를 코딩하되, 상기 적어도 하나의 블록의 깊이 정보는 코딩되지 않는 것

을 구현하도록 구성된 프로세서를 포함한다.

이러한 코딩 디바이스는 특히 위에서 언급된 코딩 방법을 구현할 수 있다.

본 발명은 또한 디코딩 디바이스에 의해 구현되는, 서로 다른 위치 또는 서로 다른 시야각으로부터의 3D 장면을 동시에 나타내는 뷰들을 디코딩하는 방법에 관한 것으로, 적어도 하나의 블록으로 분할되는 적어도 하나의 뷰의 깊이 구성요소에 대해:

- 상기 적어도 하나의 블록과 연관된 적어도 하나의 깊이 추정 파라미터를 데이터 신호에서 판독하는 단계;

- 상기 적어도 하나의 깊이 추정 파라미터를 디코딩하는 단계;

- 상기 적어도 하나의 깊이 추정 파라미터로부터 그리고 상기 뷰들 중 적어도 하나의 뷰의 재구성된 텍스처 구성요소의 텍스처 데이터로부터 상기 적어도 하나의 블록의 깊이 정보를 획득하는 단계

를 포함한다.

본 발명에 따른 이러한 디코딩 방법은 낮은 계산 복잡도를 가지며 유리하게는 메모리 자원을 절약할 수 있게 한다. 실제로, 블록의 깊이 정보는 코딩되지 않았고 그에 따라 디코더로 전송되기 때문에, 디코더는 이를 디코딩하여 저장할 필요가 없다. 디코딩에서, 블록의 깊이 정보를 재구성하기 위해 디코더에 의해 수신된 데이터 신호에서 전송되는 적어도 하나의 깊이 추정 파라미터만이 디코딩할 가치가 있으며, 상기 적어도 하나의 깊이 추정 파라미터는 깊이 정보보다 전송 비용이 더 적다.

특정 실시형태에 따르면, 상기 적어도 하나의 깊이 추정 파라미터는 상기 적어도 하나의 블록의 각각의 깊이 값보다 큰 상기 적어도 하나의 블록의 깊이 값, 또는 상기 적어도 하나의 블록의 각각의 깊이 값보다 작은 상기 적어도 하나의 블록의 깊이 값이다.

특정 실시형태에 따르면, 상기 적어도 하나의 깊이 추정 파라미터는 깊이 추정 방법에서 사용되는 파라미터이다.

다른 특정 실시형태에 따르면, 깊이 추정 방법을 나타내는 정보가 디코딩된다.

위에서 언급된 다양한 실시형태 또는 특징이 독립적으로 또는 위에서 정의된 디코딩 방법과 서로 조합하여 추가될 수 있다.

본 발명은 또한 서로 다른 위치 또는 서로 다른 시야각으로부터의 3D 장면을 동시에 나타내는 뷰들을 디코딩하는 디바이스에 관한 것으로, 상기 디코딩 디바이스는, 적어도 하나의 블록으로 분할되는 적어도 하나의 뷰의 깊이 구성요소에 대해:

- 상기 적어도 하나의 블록과 연관된 적어도 하나의 깊이 추정 파라미터를 데이터 신호에서 판독하고,

- 상기 적어도 하나의 깊이 추정 파라미터를 디코딩하고,

- 상기 적어도 하나의 깊이 추정 파라미터로부터 그리고 상기 뷰들 중 적어도 하나의 뷰의 재구성된 텍스처 구성요소의 텍스처 데이터로부터 상기 적어도 하나의 블록의 깊이 정보를 획득하는 것

을 구현하도록 구성된 프로세서를 포함한다.

이러한 디코딩 디바이스는 특히 위에서 언급된 디코딩 방법을 구현할 수 있다.

본 발명은 또한 디코딩 또는 뷰 합성 디바이스에 의해 구현되는 뷰 합성 방법에 관한 것으로,

- 위에 언급된 본 발명에 따른 디코딩 방법에 따라 뷰를 재구성하는 단계;

- 재구성된 뷰 및 획득된 상기 적어도 하나의 블록의 깊이를 나타내는 정보로부터 뷰의 적어도 일부를 합성하는 단계

를 포함한다.

본 발명은 또한 상기 프로그램이 프로세서에 의해 실행될 때, 이전에 기술된 특정 실시형태들 중 어느 하나에 따른, 본 발명에 따른 코딩, 디코딩 또는 합성 방법을 구현하기 위한 명령을 포함하는 컴퓨터 프로그램에 관한 것이다.

이러한 명령은 위에서 언급된 코딩 방법을 구현하는 코딩 디바이스, 위에서 언급된 디코딩 방법을 구현하는 디코딩 디바이스 또는 위에서 언급된 합성 방법을 구현하는 합성 디바이스의 비일시적 메모리 매체에 오래 저장될 수 있다.

이러한 프로그램은 임의의 프로그래밍 언어를 사용할 수 있으며, 부분적으로 컴파일된 형식의, 또는 임의의 다른 원하는 형식의 소스 코드, 객체 코드, 또는 소스 코드와 객체 코드 사이의 중간 코드의 형태일 수 있다.

본 발명은 또한 위에 언급된 바와 같은 컴퓨터 프로그램의 명령을 포함하는 컴퓨터-판독가능한 저장 매체 또는 정보 매체를 목표로 한다.

저장 매체는 프로그램을 저장할 수 있는 임의의 개체 또는 디바이스일 수 있다. 예를 들어, 매체는 예로서 CD ROM 또는 마이크로전자 회로 ROM인 ROM, 또는 심지어 예로서 USB 키 또는 하드 디스크인 자기 저장 수단과 같은 저장 수단을 포함할 수 있다.

또한, 저장 매체는 전기 또는 광학 케이블을 통해, 무선으로 또는 다른 수단에 의해서 전달될 수 있는 전기 또는 광학 신호와 같은 전송 가능한 매체일 수 있다. 본 발명에 따른 프로그램은 특히 인터넷 유형의 네트워크를 통해 다운로드될 수 있다.

대안적으로, 저장 매체는 프로그램이 통합되는 집적 회로일 수 있으며, 이 회로는 위에서 언급된 코딩 방법, 위에서 언급된 디코딩 방법 또는 심지어 위에서 언급된 합성 방법을 실행하도록 또는 이들의 실행에 사용되도록 이루어진다.

다른 특징 및 장점은 예시적이고 비제한적인 예로서 주어진 본 발명의 특정 실시형태 및 첨부된 도면을 읽음으로써 명백해질 것이다.
도 1은 본 발명의 특정 실시형태에서, 뷰를 코딩하는 방법의 진행을 도시한다.
도 2a는 도 1의 코딩 방법에서 구현되는, 깊이 추정 파라미터를 획득하는 단계의 제1 실시형태를 도시한다.
도 2b는 도 1의 코딩 방법에서 구현되는, 깊이 추정 파라미터를 획득하는 단계의 제2 실시형태를 도시한다.
도 3a는 도 1의 코딩 방법에 의해 코딩된 정보의 시그널링의 제1 실시형태를 도시한다.
도 3b는 도 1의 코딩 방법에 의해 코딩된 정보의 시그널링의 제2 실시형태를 도시한다.
도 4는 도 1의 코딩 방법을 구현하는 비디오 코딩 디바이스를 도시한다.
도 5는 본 발명의 특정 실시형태에서, 뷰를 디코딩하는 방법의 진행을 도시한다.
도 6은 도 5의 디코딩 방법을 구현하는 비디오 디코딩 디바이스를 도시한다.
도 7은 본 발명의 특정 실시형태에서, 누락된 뷰 합성 방법의 진행을 도시한다.
도 8a는 본 발명의 특정 실시형태에서, 도 7의 합성 방법을 구현하는 합성 디바이스를 도시한다.
도 8b는 본 발명의 다른 특정 실시형태에서, 도 7의 합성 방법을 구현하는 합성 디바이스를 도시한다.

다시점 비디오 코딩 방법 구현의 예

예를 들어 3D-HEVC 또는 MV-HEVC 표준, 또는 다른 표준을 따르는 임의의 유형의 다시점 비디오 코더를 사용할 수 있는, 다시점 비디오를 코딩하기 위한 방법이 아래에 기술된다.

도 1을 참조하면, 이러한 코딩 방법은 복수의 뷰 V₁,..., V_N의 부분을 형성하는 현재의 뷰에 적용되고, 복수의 뷰는 장면을 캡처하는 카메라의 복수의 시야각 또는 복수의 위치/배향 각각으로부터 하나의 3D 장면을 표현한다.

본 발명에 따른 코딩 방법은 현재 순간에서의 코딩으로 구성된다:

- 뷰 V₁,

- 뷰 V₂,

- ...,

- 뷰 V_i,

- ...,

- 뷰 V_N.

N개 중에서 고려되는 하나의 뷰는 동일하게 이러한 뷰와 연관된 텍스처 구성요소 또는 깊이 구성요소 또는 맵일 수 있다. 예를 들어, 현재 뷰 V_i(1≤i≤N)는 통상적으로 Q(Q≥1)개 픽셀의 텍스처 구성요소 T_i 및 예를 들어 텍스처 구성요소 T_i 또는 N개 중에서 뷰 V_i 이외의 뷰의 텍스처 구성요소와 같은 적어도 하나의 텍스처 구성요소의 Q개 픽셀과 연관된 Q개 깊이 값을 갖는 깊이 구성요소 P_i와 연관된다. 알려진 바와 같이, 깊이 구성요소 P_i는 텍스처 이미지 T_i로부터 직접 생성될 수 있거나 또는 예를 들어 LIDAR(light detection and ranging)와 같은 디바이스를 이용하여 3D 장면의 부피 데이터를 캡처함으로써 생성될 수 있다.

C1에서, 현재 뷰 V_i가 현재 순간에 선택되고, N개의 뷰 각각은 사전결정된 순서대로 하나씩 선택된다.

C2에서, 상기 적어도 하나의 뷰 V_i의 깊이 구성요소 P_i는 복수의 블록 B₁, B₂,..., B_j,..., B_M(1≤j≤M)으로 분할된다. 하나의 가능한 실시형태에서, 단일 깊이 블록이 분할되지 않은 깊이 구성요소 P_i에 대응하는 것으로 고려된다. 깊이 구성요소의 블록은 사전정의된 크기일 수 있고(예를 들어, 64×64 픽셀), 파라미터화할 수 있고(그 후 사용된 크기가 코딩된 형태로 전송됨), 또는 HEVC 표준에서 구현된 것과 유사한 사용된 크기의 시그널링으로 조정될 수 있다. 후자의 경우에, 깊이 구성요소 P_i는 먼저 최대 크기(예를 들어, 64×64 픽셀)의 블록들로 분할된 다음, 블록이 정보가 전송되지 않는 사전정의된 최소 블록 크기(예를 들어 4×4 픽셀)에 도달될 때까지 반복적으로 더 작은 블록들로 세분되어야 하는지를 나타내는 이진 정보가 각 블록에 대해 전송된다. 이는 깊이 구성요소 P_i의 블록으로의 세분을 정의할 수 있게 한다.

C3에서, 깊이 구성요소 P_i의 현재 블록 B_j가 선택되고, 깊이 구성요소 P_i의 각각의 블록은 사전결정된 순서대로 하나씩 선택된다.

C4에서, 상기 적어도 하나의 현재 블록 B_j에 대해, 깊이 정보 IP_j가 획득된다. 그 자체로서 알려진 바와 같이, 텍스처 구성요소 T_i 및/또는 N개 중에 뷰 V_i 이외의 뷰의 텍스처 구성요소의 픽셀 블록 BT의 픽셀들의 전부 또는 일부에 대해, 이들 픽셀에 상응하는 깊이 값 Z₁ 내지 Z_R이 획득되고, 픽셀 블록 BT에 상응하는 깊이 블록 BP_j를 형성한다.

C5에서, 적어도 하나의 깊이 추정 파라미터 PE가 상기 깊이 정보 IP_i로부터 획득된다.

도 2a에 도시된 제1 획득 실시형태에 따르면, C51a에서, R개의 깊이 값 Z₁ 내지 Z_R 중에 최대 깊이 값 Z_max 및/또는 최소 깊이 값 Z_min이 결정된다.

C52a에서, Z_min, 또는 Z_max, 또는 간격[Z_min, Z_max]은 깊이 추정 파라미터 PE에 할당된다.

도 2b에 도시된 제2 획득 실시형태에 따르면, C51b에서, 깊이 추정 방법의 적어도 하나의 깊이 추정 파라미터 PME가 선택된다. 이것은 예를 들어 위에서 언급된 깊이 추정 알고리즘 DERS의 파라미터이다. 다른 예에 따르면, 이것은 예를 들어 IVDE 알고리즘과 같은 다른 깊이 추정 알고리즘의 파라미터일 수 있다. DERS 알고리즘과 관련하여, 선택된 파라미터는 예를 들어 정규화 파라미터, 또는 "평활화 계수(Sc, smoothing coefficient)"이며, 이는 깊이 추정 알고리즘 DERS가 강제로 픽셀 블록 BT에 해당하는 잡음이 없는 깊이 블록을 찾게 할 수 있다. 예를 들어 다음과 같은 깊이 추정 알고리즘 파라미터의 다른 예가 사용될 수 있다:

- 신뢰도가 너무 낮은 경우 DERS 알고리즘이 깊이 값을 계속 정제할 수 있게 하는 DERS 알고리즘의 파라미터 λ와 같은 신뢰도 파라미터,

- IVDE 알고리즘에서 사용되고 상기 언급된 문헌 "Dawid Mieloch, Adrian Dziembowski, Jakub Stankowski, Olgierd Stankiewicz, Marek Doma

ski, Gwangsoon Lee, Yun Young Jeong [MPEG-I Visual] Immersive video depth estimation, ISO/IEC JTC1/SC29/WG11 MPEG2020 m53407"에 기술된 예를 들어 초기 평활 파라미터 β₀와 같은 평활화 파라미터.

C52b에서, 선택된 깊이 추정 방법의 깊이 추정 파라미터 PME의 X개의(X≥1) 가능한 값 Val₁,...,Val_k,..., Val_X(1≤k≤X)의 유한 집합에 대해, X개의 추정된 깊이 블록 BPE₁,..., BPE_k,..., BPE_X가 각각 획득된다. 파라미터 Sc에 대해, 가능한 값들의 유한 집합은 예를 들어 {0.01, 0.02, 0.04, 0.08, 0.16}이다. 명백하게, 현재 비디오 컨텍스트에 따라 다른 값이 가능하다.

C53b에서, 깊이가 추정된 X개의 블록 BPE₁,..., BPE_k,..., BPE_X 중에, 추정된 깊이가 픽셀 블록 BT로부터 획득된 원래의 깊이 블록 BP_j에 가장 근접한 블록이 선택된다. 이러한 선택은 예를 들어 PSNR(Peak Signal to Noise Ratio), 평균 제곱 오차, 차의 절대값 합계 또는 임의의 다른 유사한 측정값과 같은 왜곡 측정을 사용하여 구현된다. 제시된 예에서, 예로서 추정된 깊이 블록 BPE_k이 선택되었다.

C54b에서, 그 다음 C53b에서 선택된 추정 깊이 블록 BPE_k에 대해 선택된 깊이 추정 방법의 깊이 추정 파라미터 PME의 값 Val_k가 깊이 추정 파라미터 PE의 값으로서 선택된다.

다시 한번 도 1을 참조하면, C6에서, 깊이 추정 파라미터 PE는 예를 들어 CABAC(Context-adaptive binary arithmetic coding(컨텍스트-적응형 이진 산술 코딩))와 같은 무손실 코딩 방법을 사용하여, 또는 허프만 코딩(Huffman coding)에 의해, 또는 렘펠 지브 코딩(Lempel-Ziv coding)에 의해 코딩된다. 도 2a의 예에서, 값 Z_min 또는 Z_max, 또는 간격[Z_min, Z_max]조차 C6에서 코딩된다. 도 2b의 예에서, 다른 실시형태에서 정규화 파라미터 Sc의 값 Val_k 또는 전술된 신뢰도 또는 평활화 파라미터도 C6에서 코딩된다. 이러한 값 Val_k에 더하여, 예를 들어 단계 C54b의 끝에서 얻을 수 있었던 전술된 신뢰도 또는 평활화 파라미터와 같은 다른 파라미터의 값이 코딩될 수 있다. 단계 C6의 끝에서, 코딩된 깊이 추정 파라미터 PE^C가 획득된다.

선택적으로, 그리고 이러한 이유로 도 1에서 점선에 의해 표시된 바와 같이, 예를 들어 DERS 또는 IVDE인, C5에서 사용된 깊이 추정 방법을 나타내는 정보 IMEP가 예를 들어 CABAC과 같은 무손실 코딩 방법을 이용하여 C7에서 코딩된다. 이러한 IMEP 정보는 뷰 V_i에서 또는 서로 다른 순간에 위치된 뷰들 V_i의 시퀀스에서 코딩될 수 있다. 단계 C7의 끝에서, 코딩된 정보 IMEP^C가 획득된다.

C8에서, 텍스처 구성요소 T_i는 예를 들어 HEVC와 같은 종래의 비디오 코더를 사용하여 코딩된다. 단계 C8의 끝에서, 코딩된 텍스처 구성요소 Ti^C가 획득된다.

도 3a에 도시된 제1 실시형태에 따르면, 코딩된 깊이 추정 파라미터 PE^C, 코딩된 정보 IMEP^C 및 코딩된 텍스처 구성요소 Ti^C의 데이터는 이후에 설명에서 기술될 디코더에 전송되도록 의도된 동일한 데이터 신호 F에 포함된다.

도 3b에 도시된 제2 실시형태에 따르면, 코딩된 깊이 추정 파라미터 PE^C 및 코딩된 정보 IMEP^C는 동일한 데이터 신호 F에 포함되는 반면, 코딩된 텍스처 구성요소 Ti^C의 데이터는 다른 데이터 신호 F'에 포함되며, 신호 F 및 F'는 전술된 디코더로 전송되도록 의도된다.

유리하게는, 본 발명에 따르면, 코딩 방법은 코딩된 깊이 블록 BPj^C를 생성하지 않는다. 결과적으로, 도 3a 및 3b의 예에서, 신호 F는 어떠한 코딩된 깊이 블록 BPj^C도 포함하지 않는다.

바로 위에서 기술된 코딩 방법이 깊이 구성요소 P_i의 각 블록 B₁ 내지 B_M에 대해 구현될 수 있고 그 다음 뷰 V₁ 내지 V_N의 각각에 대해 구현될 수 있다.

비디오 코딩 디바이스의 구현의 예

도 4는 본 발명의 특정 실시형태 중 어느 하나에 따른 코딩 방법을 구현하기에 적합한 코딩 디바이스(COD)의 단순화된 구조를 나타낸다.

본 발명의 특정 실시형태에 따르면, 코딩 방법에 의해 실행되는 동작은 컴퓨터 프로그램 명령에 의해 구현된다. 이를 위해, 코딩 디바이스(COD)는 컴퓨터의 종래의 아키텍처를 가지며 특히 메모리(MEM_C), 및 예를 들어 프로세서(PROC_C)가 장착되고 메모리(MEM_C)에 저장된 컴퓨터 프로그램(PG_C)에 의해 구동되는 처리 유닛 (UT_C)을 포함한다. 컴퓨터 프로그램(PG_C)은 프로그램이 프로세서(PROC_C)에 의해 실행될 때 전술된 코딩 방법의 동작을 구현하기 위한 명령을 포함한다.

초기화에 따라, 컴퓨터 프로그램(PG_C)의 코드 명령은 예를 들어 프로세서(PROC_C)에 의해서 실행되기 전에 (도시되지 않은) RAM 메모리에 로딩된다. 처리 유닛(UT_C)의 프로세서(PROC_C)는 특히, 컴퓨터 프로그램(PG_C)의 명령에 따라 전술된 코딩 방법의 동작을 구현한다.

다시점 비디오 디코딩 방법의 구현의 예

예를 들어 3D-HEVC 또는 MV-HEVC 표준, 또는 다른 표준을 따르는 임의의 유형의 다시점 비디오 디코더를 사용할 수 있는 다시점 비디오를 디코딩하는 방법이 아래에 기술된다.

도 5를 참조하면, 이러한 디코딩 방법은 전술된 코딩 방법에 따라 코딩된 현재 뷰를 나타내는 데이터 신호에 적용되며, 상기 현재 뷰는 복수의 뷰 V₁,..., V_N의 부분을 형성한다.

본 발명에 따른 디코딩 방법은 다음을 디코딩하는 것으로 구성된다:

- 코딩된 뷰 V₁을 나타내는 데이터 신호,

- 코딩된 뷰 V₂를 나타내는 데이터 신호,

- ...,

- 코딩된 뷰 V_i를 나타내는 데이터 신호,

-...,

- 코딩된 뷰 V_N을 나타내는 데이터 신호.

디코딩 방법은 재구성될 코딩된 현재 뷰 V_i를 나타내는 데이터 신호 F(도 3a) 또는 데이터 신호 F 및 F'(도 3b)에 대해, 다음을 포함한다:

D1에서, 코딩된 현재 뷰 V_i가 현재 순간에서 선택되고, N개의 뷰 각각은 사전결정된 순서대로 하나씩 선택된다.

D2에서, 상기 적어도 하나의 뷰 V_i의 재구성될 깊이 구성요소 P_i는 복수의 블록 B₁, B₂,..., B_j,..., B_M(1≤j≤M)으로 분할된다. 하나의 가능한 실시형태에서, 단일 깊이 블록이 분할되지 않은 깊이 구성요소 P_i에 대응하는 것으로 고려된다. 깊이 블록은 사전정의된 크기일 수 있고(예를 들어, 64×64 픽셀), 파라미터화할 수 있고(그리고 그 다음 코딩된 형태로 전송된 사용된 크기가 디코딩되고), 또는 HEVC 표준에서 구현되고 신호 F에서 판독된 것과 유사한 사용된 크기의 시그널링으로 적응될 수 있다. 후자의 경우에, 깊이 구성요소 P_i는 먼저 최대 크기(예를 들어, 64×64 픽셀)의 블록들로 분할된 다음, 블록이 정보가 판독되지 않는 사전정의된 최소 블록 크기(예를 들어 4×4 픽셀)에 도달될 때까지 반복적으로 더 작은 블록들로 세분되어야 하는지를 나타내는 이진 정보가 각각의 블록에 대해, 예를 들어 신호 F 또는 다른 신호에서 판독된다. 이는 깊이 구성요소 P_i의 블록으로의 세분을 정의할 수 있게 한다.

D3에서, 깊이 구성요소 P_i의 현재 블록 B_j가 선택되고, 깊이 구성요소 P_i의 각각의 블록은 사전결정된 순서대로 하나씩 선택된다.

선택적으로, 그리고 이러한 이유로 도 5에서 점선에 의해 표시된 D4에서, C5(도 1)에서 사용된 깊이 추정 방법을 나타내는 코딩된 정보 IMEP^C가 데이터 신호 F(도 3a 또는 3b)에서 판독된다.

D5에서, 코딩된 정보 IMEP^C는 예를 들어 CABAC와 같은 무손실 디코딩 방법을 사용하여, 또는 심지어 허프만 디코딩(Huffman decoding)에 의해 또는 렘펠 지브 디코딩(Lempel-Ziv decoding)에 의해 디코딩된다. 그러한 코딩된 정보 IMEP^C는 현재 뷰 V_i에서 또는 상이한 순간에 위치된 뷰 V_i의 시퀀스에서 디코딩될 수 있다. 단계 D5의 끝에서, 정보 IMEP가 획득된다.

선택적인 단계 D4 및 D5에 대안적으로, C5에서 사용된 깊이 추정 방법이 디코더에서 사전정의될 수 있다. 이러한 경우, 깊이 추정 방법을 나타내는 IMEP 정보가 바로 이용가능할 수 있다.

D6에서, 깊이 구성요소 P_i의 재구성될 현재 블록 B_j와 연관된 적어도 하나의 코딩된 깊이 추정 파라미터 PE^C는 도 3a 또는 3b의 데이터 신호 F에서 판독된다.

D7에서, 상기 적어도 하나의 코딩된 깊이 추정 파라미터 PE^C는, 예를 들어 CABAC와 같은 무손실 디코딩 방법을 사용하여, 또는 허프만 디코딩에 의해, 또는 렘펠 지브 디코딩에 의해 디코딩된다. 깊이 값 Z_min 또는 Z_max이거나, 또는 C6에서 코딩된 간격[Z_min, Z_max]이면:

- 깊이 값 Z_min이 D7에서 디코딩되고 깊이 추정 파라미터 PE에 할당되거나,

- 또는 깊이 값 Z_max가 D7에서 디코딩되고 깊이 추정 파라미터 PE에 할당되거나,

- 또는 깊이 값의 간격[Z_min, Z_max]이 D7에서 디코딩되고 깊이 추정 파라미터 PE에 할당된다.

C6에서 코딩된 정규화 파라미터 Sc 및/또는 심지어 다른 실시형태에 따른 전술된 신뢰도 또는 평활화 파라미터의 값 Val_k인 경우, 값 Val_k가 D7에서 디코딩되고 깊이 추정 파라미터 PE에 할당된다. 이러한 값 Val_k에 추가로, 예를 들어 단계 C54b의 끝에서 획득된, 전술된 신뢰도 또는 평활화 파라미터와 같은 다른 파라미터의 값이 디코딩될 수 있다.

D8에서, 상기 적어도 하나의 뷰 V_i의 텍스처 구성요소 T_i는, 예를 들어 HEVC와 같은 종래의 비디오 디코더에 의해서 재구성된다. 재구성된 텍스처 구성요소 T_i ^R은 단계 D8의 끝에서 획득된다. 명백하게, 단계 D8은 데이터 신호 F(도 3a) 또는 F'(도 3b)를 수신함에 따라, 단계 D1 내지 D7 이전에 또는 임의의 순간에 구현될 수 있다. 이를 위해, 코딩된 텍스처 구성요소 T_i ^C의 데이터는 신호 F(도 3a) 또는 F'(도 3b)에서 판독된 다음 재구성되어, 재구성된 텍스처 구성요소 T_i ^R을 생성한다.

D9에서, 상기 현재 블록 B_j의 깊이 정보 IP_j는 D7에서 디코딩된 상기 적어도 하나의 깊이 추정 파라미터 PE 및 상기 재구성된 텍스처 구성요소 T_i ^R 또는 N개의 뷰 중에서 V_i 이외의 다른 뷰의 재구성된 텍스처 구성요소의 텍스처 데이터(픽셀)로부터 획득된다.

단계 D9의 제1 실시형태에 따르면, 사전정의된 깊이 추정 방법 또는 D5에서 획득된 IMEP 파라미터에 상응하는 방법을 사용함으로써, 재구성될 깊이 구성요소 P_i의 현재 블록 B_j에 관한 깊이 값 Z_min, 또는 깊이 값 Z_max 또는 심지어 깊이 값들의 간격[Z_min, Z_max]을 사용하여 재구성된 텍스처 구성요소 T_i ^R의 블록의 각 픽셀에 대해 깊이 검색이 구현된다. 이러한 연산의 장점은 이론적으로 가능한 최대 깊이와 최소 깊이(일반적으로, 0 미터와 무한대 사이) 사이가 아니라, 최대 [Z_min, Z_max] 사이에서 현재 블록 B_j의 깊이를 결정하는 데에 있다. 이는 테스트될 깊이들의 수를 크게 감소시키며 따라서 깊이 추정 알고리즘의 복잡성을 감소시키는 것을 가능하게 한다. 단계 D9의 제1 실시형태의 끝에서, 현재 블록 B_j에 상응하는 재구성된 깊이 블록 BP_j ^R이 획득된다.

단계 D9의 제2 실시형태에 따르면, 사전정의된 깊이 추정 방법 또는 D5에서 획득된 IMEP 파라미터에 상응하는 방법이 재구성될 텍스처 구성요소 T_i ^R의 블록의 각 픽셀에 대한 깊이 검색을 수행하도록 D7에서 디코딩된 정규화 파라미터 Sc의 (또는 예를 들어 신뢰도 또는 평활화 파라미터의) 값 Val_k를 이용함으로써 현재 블록 B_j에 적용된다. 단계 D9의 제2 실시형태의 끝에서, 현재 블록 B_j에 상응하는 재구성된 깊이 블록 BP_j ^R이 획득된다. 이러한 제2 실시형태에 의해, 재구성된 깊이 블록 BP_j ^R은 도 1의 코딩 방법 동안 C4에서 획득된 깊이 블록 BP_j에 근접하고, 본 발명에 따라서 유리하게는, 깊이 블록 BP_j는 신호 F 또는 F'에서 코딩되지도 전송되지도 않았다.

D10에서, 재구성된 깊이 블록 BP_j ^R은 그 다음 재구성된 텍스처 구성요소 Ti^R에 상응하는 현재 재구성 중인 깊이 구성요소 P_i ^R에 포함된다.

바로 위에서 기술된 디코딩 방법은 그 다음 재구성될 픽셀 B₁ 내지 B_M의 각 블록에 대해 구현되고 그 다음 재구성될 뷰 V₁ 내지 V_N 각각에 대해 구현된다.

비디오 디코딩 디바이스의 구현의 예

도 6은 본 발명의 특정 실시형태 중 어느 하나에 따른 디코딩 방법을 구현하기에 적합한 디코딩 디바이스(DEC)의 단순화된 구조를 나타낸다.

본 발명의 특정 실시형태에 따르면, 전술된 디코딩 방법에 의해 실행되는 동작은 컴퓨터 프로그램 명령에 의해 구현된다. 이를 위해, 디코딩 디바이스(DEC)는 컴퓨터의 종래의 아키텍처를 가지며 특히 메모리(MEM_D), 및 예를 들어 프로세서(PROC_D)가 장착되고 메모리(MEM_D)에 저장된 컴퓨터 프로그램(PG_D)에 의해 구동되는 처리 유닛 (UT_D)을 포함한다. 컴퓨터 프로그램(PG_D)은 프로그램이 프로세서(PROC_D)에 의해 실행될 때 전술된 바와 같은 디코딩 방법의 동작을 구현하기 위한 명령을 포함한다.

초기화에 따라, 컴퓨터 프로그램(PG_D)의 코드 명령은 예를 들어 프로세서(PROC_D)에 의해서 실행되기 전에 (도시되지 않은) RAM 메모리에 로딩된다. 처리 유닛(UT_D)의 프로세서(PROC_D)는 특히, 컴퓨터 프로그램(PG_D)의 명령에 따라 전술된 디코딩 방법의 동작을 구현한다.

뷰 합성 방법의 구현의 예

도 5의 디코딩 방법에 따라 재구성된 뷰를 사용하는 뷰 합성 방법이 이제 도 7을 참조하여 기술된다.

도 7에 도시된 바와 같이, 본 발명에 따른 합성 방법은 도 5의 디코딩 방법의 끝에서 획득된 N개의 재구성된 뷰 V₁ ^R,..., V_N ^R 중 적어도 하나의 재구성된 뷰를 사용한다.

S1에서, 적어도 하나의 재구성된 뷰 V_q ^R(1≤q≤N)이 N개의 재구성된 뷰 중에서 선택된다. 재구성된 뷰 V_q ^R은 재구성된 텍스처 구성요소 T_q ^R 및 그의 연관된 재구성된 깊이 구성요소 P_q ^R을 포함한다.

S2에서, 예를 들어 사용자의 컴퓨터 또는 사용자의 전화기의 화면에 표시되도록 사용자에 의해 요청된 뷰와 같이, 누락된 뷰 또는 중간 뷰의 적어도 하나의 합성된 부분 PV_sy는, 재구성된 텍스처 구성요소 T_q ^R로부터 그리고 이러한 재구성된 텍스처 구성요소 T_q ^R의 재구성된 픽셀 블록 B_y ^R과 연관된 적어도 하나의 재구성된 깊이 블록 BP_y ^R로부터 계산되며, 여기서 1≤y≤M이다. 누락된 뷰 또는 중간 뷰의 합성된 부분 PV_sy는, 예를 들어 VSRS 알고리즘, RVS("Reference View Synthesizer") 알고리즘, VVS("Versatile View Synthesizer") 알고리즘 등과 같은 종래의 합성 알고리즘을 이용하여 계산된다.

합성 디바이스의 구현의 예

도 8a 또는 8b는 본 발명의 특정 실시형태 중 어느 하나에 따른 도 7의 합성 방법을 구현하기에 적합한 합성 디바이스(SYNT)의 단순화된 구조를 나타낸다.

본 발명의 특정 실시형태에 따르면, 도 7의 합성 방법에 의해 실행되는 동작은 컴퓨터 프로그램 명령에 의해 구현된다. 이를 위해, 합성 디바이스(SYNT)는 컴퓨터의 종래의 아키텍처를 가지며 특히 메모리(MEM_S), 및 예를 들어 프로세서(PROC_S)가 장착되고 메모리(MEM_S)에 저장된 컴퓨터 프로그램(PG_S)에 의해 구동되는 처리 유닛 (UT_S)을 포함한다. 컴퓨터 프로그램(PG_S)은 프로그램이 프로세서(PROC_S)에 의해 실행될 때 전술된 합성 방법의 동작을 구현하기 위한 명령을 포함한다.

초기화에 따라, 컴퓨터 프로그램(PG_S)의 코드 명령은 예를 들어 프로세서(PROC_S)에 의해 실행되기 전에 (도시되지 않은) RAM 메모리에 로딩된다. 처리 유닛(UT_S)의 프로세서(PROC_S)는 특히, 컴퓨터 프로그램(PG_S)의 명령에 따라 위에 언급된 바와 같은 합성 방법의 동작을 구현한다.

도 8a에 나타낸 실시형태에 따르면, 합성 디바이스(SYNT)는 도 8a에 도시된 바와 같이 디코더(DEC)의 출력에 배치된다.

도 8b에 나타낸 실시형태에 따르면, 합성 디바이스(SYNT)는 도 8b에 도시된 바와 같이 디코더(DEC)의 통합 부분을 형성한다.

Claims (15)

1. 코딩 디바이스에 의해 구현되는, 서로 다른 위치 또는 서로 다른 시야각으로부터의 3D 장면을 동시에 나타내는 뷰들을 코딩하는 방법으로서,
   적어도 하나의 뷰의 깊이 구성요소에 대해:
   - 상기 깊이 구성요소를 적어도 하나의 블록으로 분할하는 단계(C2);
   - 상기 뷰들 중 적어도 하나의 뷰의 텍스처 구성요소의 텍스처 데이터로부터 상기 적어도 하나의 블록의 깊이 정보를 획득하는 단계(C4);
   - 상기 정보로부터 적어도 하나의 깊이 추정 파라미터를 획득하는 단계(C5);
   - 상기 적어도 하나의 깊이 추정 파라미터를 코딩하는 단계(C6)로서, 상기 적어도 하나의 블록의 깊이 정보는 코딩되지 않는, 단계
   를 포함하는, 방법.
2. 제1항에 있어서,
   상기 적어도 하나의 깊이 추정 파라미터는 상기 적어도 하나의 블록의 각각의 깊이 값보다 큰 상기 적어도 하나의 블록의 깊이 값(Z_max), 또는 상기 적어도 하나의 블록의 각각의 깊이 값보다 작은 상기 적어도 하나의 블록의 깊이 값(Z_min)인, 코딩 방법.
3. 제1항에 있어서,
   상기 적어도 하나의 깊이 추정 파라미터는 깊이 추정 방법에 의해 사용되는 파라미터(Sc;λ;β₀)인, 코딩 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   깊이 추정 방법을 나타내는 정보가 코딩되는, 코딩 방법.
5. 서로 다른 위치 또는 서로 다른 시야각에 따른 3D 장면을 동시에 나타내는 뷰들을 코딩하는 디바이스로서,
   상기 코딩 디바이스는, 적어도 하나의 뷰의 깊이 구성요소에 대해:
   - 상기 깊이 구성요소를 적어도 하나의 블록으로 분할하고,
   - 상기 뷰들 중 적어도 하나의 뷰의 텍스처 구성요소의 텍스처 데이터로부터 상기 적어도 하나의 블록의 깊이 정보를 획득하고,
   - 상기 정보로부터 적어도 하나의 깊이 추정 파라미터를 획득하고,
   - 상기 적어도 하나의 깊이 추정 파라미터를 코딩하되, 상기 적어도 하나의 블록의 깊이 정보는 코딩되지 않는 것
   을 구현하도록 구성된 프로세서(UT_C)를 포함하는, 디바이스.
6. 컴퓨터 상에서 실행할 때, 제1항 내지 제4항 중 어느 한 항에 따른 코딩 방법을 구현하는 프로그램 코드 명령을 포함하는, 컴퓨터 프로그램.
7. 제6항에 따른 컴퓨터 프로그램의 명령을 포함하는, 컴퓨터-판독가능한 정보 매체.
8. 디코딩 디바이스에 의해 구현되는, 서로 다른 위치 또는 서로 다른 시야각으로부터의 3D 장면을 동시에 나타내는 뷰들을 디코딩하는 방법으로서,
   적어도 하나의 블록으로 분할되는 적어도 하나의 뷰의 깊이 구성요소에 대해:
   - 상기 적어도 하나의 블록과 연관된 적어도 하나의 깊이 추정 파라미터를 데이터 신호에서 판독하는 단계(D6);
   - 상기 적어도 하나의 깊이 추정 파라미터를 디코딩하는 단계(D7);
   - 상기 적어도 하나의 깊이 추정 파라미터로부터 그리고 상기 뷰들 중 적어도 하나의 뷰의 재구성된 텍스처 구성요소의 텍스처 데이터로부터 상기 적어도 하나의 블록의 깊이 정보를 획득하는 단계(D9)
   를 포함하는, 디코딩 방법.
9. 제8항에 있어서,
   상기 적어도 하나의 깊이 추정 파라미터는 상기 적어도 하나의 블록의 각각의 깊이 값보다 큰 상기 적어도 하나의 블록의 깊이 값(Z_max), 또는 상기 적어도 하나의 블록의 각각의 깊이 값보다 작은 상기 적어도 하나의 블록의 깊이 값(Z_min)인, 디코딩 방법.
10. 제8항에 있어서,
    상기 적어도 하나의 깊이 추정 파라미터는 깊이 추정 방법에 의해 사용되는 파라미터(Sc)인, 디코딩 방법.
11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    깊이 추정 방법을 나타내는 정보가 디코딩되는, 디코딩 방법.
12. 서로 다른 위치 또는 서로 다른 시야각으로부터의 3D 장면을 동시에 나타내는 뷰들을 디코딩하는 디바이스로서,
    상기 디코딩 디바이스는, 적어도 하나의 블록으로 분할되는 적어도 하나의 뷰의 깊이 구성요소에 대해:
    - 상기 적어도 하나의 블록과 연관된 적어도 하나의 깊이 추정 파라미터를 데이터 신호에서 판독하고,
    - 상기 적어도 하나의 깊이 추정 파라미터를 디코딩하고,
    - 상기 적어도 하나의 깊이 추정 파라미터로부터 그리고 상기 뷰들 중 적어도 하나의 뷰의 재구성된 텍스처 구성요소의 텍스처 데이터로부터 상기 적어도 하나의 블록의 깊이 정보를 획득하는 것
    을 구현하도록 구성된 프로세서(UT_D)를 포함하는, 디코딩 디바이스.
13. 디코딩 또는 뷰 합성 디바이스에 의해 구현되는 뷰 합성 방법으로서,
    - 제8항 내지 제11항 중 어느 한 항에 따른 디코딩 방법에 따라 뷰를 재구성하는 단계;
    - 상기 재구성된 뷰 및 획득된 상기 적어도 하나의 블록의 깊이를 나타내는 정보로부터 뷰의 적어도 일부를 합성하는 단계
    를 포함하는, 뷰 합성 방법.
14. 컴퓨터 상에서 실행할 때, 제8항 내지 제11항 중 어느 한 항에 따른 디코딩 방법 또는 제13항에 따른 합성 방법을 구현하는 프로그램 코드 명령을 포함하는, 컴퓨터 프로그램.
15. 제14항에 따른 컴퓨터 프로그램의 명령을 포함하는, 컴퓨터-판독가능한 정보 매체.

Images