KR20110116239A

KR20110116239A - 3ｄ 비디오 포맷

Info

Publication number: KR20110116239A
Application number: KR1020117021735A
Authority: KR
Inventors: 동 티안; 포-린 라이; 지안콩 루오
Original assignee: 톰슨 라이센싱
Priority date: 2009-02-19
Filing date: 2010-02-19
Publication date: 2011-10-25
Also published as: KR20160107357A; KR101972962B1; JP6159849B2; CN105657404A; JP2016213842A; CN105657405B; CN105657404B; KR101940023B1; CN105657405A; EP2399394A1; EP2399394B1; JP2012518367A; CN105744284B; BRPI1013339B1; WO2010096189A1; CN105744284A; HK1224496A1; CN102326390A; CN102326390B; JP6159507B2

Abstract

몇 가지 구현은 3D 비디오 포맷에 관한 것이다. 하나 이상의 구현은 3D 비디오 포맷이 이용될 수 있도록 MVC 또는 SVC에 적용된다. 일반적인 양상에 따라서, 비디오와 깊이를 포함하는 영상 세트가 특정 3D 비디오 포맷에 따라 관계되고, 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩된다. 인코딩된 영상은, 영상들과 관련된 특정 3D 비디오 포맷에 기초하여, 비트스트림 내에 특정 순서로 배열된다. 특정 순서는 시그널링 정보를 이용하여 비트스트림에 표시된다. 다른 일반적인 양상에 따라서, 인코딩된 영상 세트를 포함하는 비트스트림에 액세스된다. 시그널링 정보에도 액세스된다. 영상 세트는 시그널링 정보를 이용하여 디코딩된다.

Description

3Ｄ 비디오 포맷{3D VIDEO FORMATS}

본 발명은 코딩 시스템에 관한 것으로, 특히 3차원(3D) 비디오 포맷에 관한 것이다.

관련 출원의 상호 인용

본 출원은 미국 임시특허 출원 제61/208,013호[출원일: 2009년 2월 19일, 발명의 명칭: "3D Video Formats"]의 우선권을 주장한다, 이 임시특허 출원의 전체 내용은 본 명세서에 인용으로 포함된다.

3차원 텔레비전(3DTV)과 자유 시점 비디오(FVV)와 같은 새로운 비디오 애플리케이션을 가능하게 하기 위해서, 종래의 2차원(2D) 비디오와 깊이를 포함하는 3D 비디오(3DV) 데이터 포맷을 활용하여 최종 사용자측에서 추가 비디오 뷰를 렌더링할 수 있다. 그와 같은 3D 포맷의 예로는 2D 플러스 깊이(2D+Z)(2D 비디오와 그에 대응하는 깊이 맵을 포함함)와 적층 깊이 비디오(LDV)(2D+Z 플러스 하나의 어클루전(occlusion) 비디오 및 하나의 어클루전 깊이에서의 데이터를 포함함)가 있다. 멀티뷰 플로스 깊이(MVD)는 여러 가지 시점으로부터의 복수의 2D+Z로 이루어진 2D+Z의 확장이다. 디스패리티 증강 스테레오(DES)는 2개의 서로 다른 뷰로부터의 2개의 LDV와 등가인 다른 포맷이다. 이들 데이터 포맷을 전달하는 (인코딩하고 전송하는) 방법은 여러 가지 성분이 최종 사용자 측에서 공동으로 사용되어야 하므로 중요한 문제이다.

본 발명의 목적은 종래의 문제를 개선하는 데에 있다.

일반적인 양상에 따라서, 영상 세트가 인코딩된다. 영상 세트는 비디오 영상과 비디오 영상에 대응하는 깊이 영상을 포함한다. 영상 세트 내의 영상은 특정 3D 비디오 포맷에 따라 관계된다. 영상 세트는 영상 세트 내의 영상들 간의 중복(redundancy)을 이용하는 방식으로 인코딩된다. 인코딩된 영상은, 영상들과 관련된 특정 3D 비디오 포맷에 기초하여, 비트스트림 내에 특정 순서로 배열된다. 특정 순서는 시그널링 정보를 이용하여 비트스트림에 표시된다.

다른 일반적인 양상에 따라서, 비디오 영상과 비디오 영상에 대응하는 깊이 영상을 포함하는 비트스트림에 액세스된다. 영상 세트는 특정 3D 비디오 포맷에 따라 관계된다. 영상 세트는 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩된다. 인코딩된 영상 세트가 비트스트림 내에 배열되는 특정 순서를 표시하는 시그널링 정보에 액세스된다. 특정 순서는 영상 세트와 관련된 특정 3D 비디오 포맷에 기초한다. 영상 세트는 시그널링 정보를 이용하여 디코딩된다.

다른 일반적인 양상에 따라서, 정보를 포함하도록 비디오 신호가 포맷된다. 비디오 신호는 시그널링 정보를 포함하는 시그널링부를 포함한다. 시그널링 정보는 인코딩된 영상 세트가 비트스트림 내에 배열되는 특정 순서를 표시한다. 특정 순서는 영상 세트와 관련된 특정 3D 비디오 포맷에 기초한다.

하나 이상의 구현에 대해 자세한 것은 첨부도면과 하기의 상세한 설명에서 설명된다. 구현들은 어떤 특정한 방식으로 설명되더라도 다른 여러 가지 방식으로 구성 또는 구체화될 수 있다. 예컨대 구현은 방법으로서 수행되거나, 일련의 동작을 수행하도록 구성된 장치로서 구체화되거나, 일련의 동작을 수행하기 위한 명령어를 저장하는 장치로서 구체화되거나, 어떤 신호로 구체화될 수 있다. 다른 양상과 특징들은 첨부 도면 및 청구범위와 함께 하기의 상세한 설명으로부터 명백하게 드러날 것이다.

본 발명은 종래의 문제를 개선할 수 있다.

도 1은 깊이 맵의 예를 보여주는 도.
도 2는 LDV 포맷의 4개 성분의 보여주는 도.
도 3은 3DV 인코더의 구현도.
도 4는 3DV 디코더의 구현도.
도 5는 비디오 송신 시스템의 구현도.
도 6은 비디오 수신 시스템의 구현도.
도 7은 비디오 처리 장치의 구현도.
도 8은 MVC 구조에서 MVD 포맷 인코딩의 예를 보여주는 도.
도 9는 MVC 구조에서 LDV 포맷 인코딩의 예를 보여주는 도.
도 10은 MVC 구조에서 DES 포맷 인코딩의 예를 보여주는 도.
도 11은 제1 인코딩 프로세스의 구현도.
도 12는 제1 디코딩 프로세스의 구현도.
도 13은 MVC 구조에서 MVC 포맷 인코딩의 다른 예를 보여주는 도.
도 14는 MVC 구조에서 LDV 포맷 인코딩의 다른 예를 보여주는 도.
도 15는 MVC 구조에서 DES 포맷 인코딩의 다른 예를 보여주는 도.
도 16은 제2 인코딩 프로세스의 구현도.
도 17은 제2 디코딩 프로세스의 구현도.
도 18은 SVC 구조에서 LDV 포맷 인코딩의 예를 보여주는 도.
도 19는 제3 인코딩 프로세스의 구현도.
도 20은 제3 디코딩 프로세스의 구현도.
도 21은 제4 인코딩 프로세스의 구현도.
도 22는 제4 디코딩 프로세스의 구현도.

종래의 2D 비디오와 깊이를 포함하는 것과 같은 3DV 데이터 포맷을 이용하여, 예컨대 최종 사용자 측에서 추가 비디오 뷰를 렌더링할 수 있다. 그러나, 본 발명자는 그 3DV 포맷이 SVC(Scalable Video Coding)과 MVC(Multi-view Video Coding)과 같은 현행 표준에서 현재로서는 지원되지 않는다는 결점이 있다는 것을 알았다. 멀티뷰 비디오 시퀀스는 서로 다른 시점으로부터 동일한 장면을 캡쳐하는 2 이상의 비디오 시퀀스의 세트이다.

따라서, 적어도 일 구현에서, AVC(Advanced Video Coding)로의 기존의 MVC 또는 SVC 확장을 재사용하여 3DV 콘텐츠를 정확하게 추출하는 방법을 신호 표시하여(signalling) 3D 콘텐츠를 전송하는 것을 제안한다. 이러한 신호 표시는 예컨대 SPS(Sequence Parameter Set), PPS(Picture Parameter Set), 슬라이스 헤더, 및 SEI(Supplemental Enhancement Information) 메시지 등을 포함하는(이에 한정되지 않음) 하이레벨 구문에서 행해질 수 있다. 다른 시그널링 방식도 가능하며 본 출원에서도 고려되고 있다.

적어도 일 구현에서, SVC 또는 MVC 프레임워크를 이용하여, 시스템 레벨의 동기화없이도 3DV 성분을 코딩하는 것을 제안한다. SVC 또는 MVC의 기법을 이용하여 본 발명은 교차 성분 중복을 더욱 효율적으로 이용할 수 있다. 더욱이, 종래의 2D 비디오가 전체 비트스트림의 일부만(예컨대 SVC에 대해서는 기저 계층, 또는 MVC에서의 베이스뷰)을 가지고 송신/디코딩될 수 있으므로 백워드 호환(backward compatibility)이 더욱 유연하다.

적어도 일 구현에서, 하이레벨 구문을 이용하여 3D 디스플레이가 정보를 정확하게 이용할 수 있도록 3DV과 관련한 (MVC에서의) 뷰 또는 (SVC에서의) 계층을 이해하는 방법을 시그널링하는 것을 제안한다.

적어도 일 구현에서, 여러 가지 3DV 포맷을 시그널링하기 위해 MVC 및 SVC 프레임워크에서 "3DV 포맷 SEI 메시지"를 제안한다. 그와 같은 구현은 다음과 같은 이점들 중 하나 이상, 또는 전부를 가질 수 있다.

● 시스템 내의 상이한 성분들이 적층식으로(SVC) 또는 동시적 뷰로(MVC)로 연관될 것이므로 그 성분들을 동기화시킬 필요가 없다.

● 교차 성분 중복을 더 잘 이용할 수 있다: SVC/MVC에 의해 교차 성분 예측이 가능할 것이며, 이에 따라 인터리빙 방법을 이용하여 AVC와 비교해 코딩 효율이 더 좋아질 수 있다.

● 백워드 호환의 유연성이 더 좋아진다: 최종 사용자 측에서는 종래의 2D 비디오 애플리케이션에 대해서는 극히 일부만의 데이터가 요구된다.

적어도 일 구현은 SEI 메시지를 포함하지만 상기 본 발명의 원리는 SEI 메시지 이용에만 한정되는 것이 아님을 알아야 한다. 따라서, 예컨대 SPS, PPS, 슬라이스 헤더 등을 포함하는(이에 한정되지 않음) 다른 하이레벨 구문도 가능하다.

3D 비디오(3DV) 표현 포맷은 3DV 애플리케이션이 더 많은 시장의 관심을 끌고 있음에 따라 점점 더 중요해지고 있는 2D+Z(MVD) 및 LDV(DES)와 같은 비디오 및 깊이 성분을 포함한다. 도 1은 일 실시예에 따라서 본 발명의 원리가 적용될 수 있는 "Leaving_Laptop"으로 알려져 있는 MPEG 테스트 시퀀스에 대응하는 예시적인 깊이 맵(100)을 보여준다. 도 2는 일 실시예에 따라서 본 발명의 원리가 적용될 수 있는 LDV 포맷 내의 4개 성분을 보여준다. 특히, 상부 좌측 부분(201)은 2D 비디오 뷰를, 상부 우측 부분(202)은 깊이를, 하부 좌측 부분(203)은 어클루전 비디오 계층을, 하부 우측 부분(204)은 어클루전 깊이 계층을 보여준다. 상기 데이터 포맷의 인코딩과 송신은 여러 가지 애플리케이션과 챌린징(challenging)에 필수적이다. 코딩 효율 이외에도, 레거시 디코더가 비트스트림으로부터 무언가를 보여줄 수 있도록 (종래의 모노스코픽 2D 비디오에 대한) 동기화와 백워드 호환과 같은 기능도 고려되어야 한다.

비교적 간단한 해법은 각 성분이 독립적으로 인코딩되고 송신되는 사이멀캐스트(simulcast)이다. 이 방식의 통상적인 구현은 시스템 레벨 또는 애플리케이션 레벨에서의 다중 인코더/디코더 및 동기화를 필요로 한다. 즉, 사이멀캐스트 비용은 단순히 3DV 성분의 수만큼 배가될 수 있다. 더욱이, 서로 다른 성분들이 독립적으로 인코딩되기 때문에 성분들 간의 중복이 이용되지 못할 것이다.

MPEG-C Part 3(ISO/IEC 23002-3)은 2D+Z에 대한 시스템 프레임워크를 규종한다. MPEG-C Part 3은 비디오와 깊이 간의 시스템 레벨에서의 동기화도 필요로 한다. 비디오와 깊이는 기존의 비디오 코딩 표준을 이용하여 코딩될 수 있지만, 비디오와 깊이의 인코딩은 분리되고 2개의 성분 간에는 코딩 이점이 얻어지지 않는다. LDV(DES) 포맷은 MPEG-C Part 3에는 규정되어 있지 않다. 2D+Z(MVD)와 LVD(DES)에 대한 코딩 해법은 예컨대 MPEG의 3DV 그룹에서 여전히 연구 중에 있다.

2D+Z(MVD)와 LVD(DES) 포맷을 SVC와 MVC와 같은 기존의 코딩 방식에 포함시키기 위해, 적어도 일 구현에서는 하이레벨 구문을 이용하여 SVC 또는 MVC 비트스트림으로부터 3DV 성분 추출하는 방법을 시그널링하는 것을 제안한다. 이 방식은 시스템 레벨에서의 서로 다른 3DV 성분들이 (SVC 내의 기저/증강 계층과 같은 또는 MVC 내의 서로 다른 뷰들과 같은) 코딩된 비트스트림에서 결합될 것이므로 이들 성분들 간에 동기화가 필요없다는 이점이 있다. 다른 가능한 이점은 이런 식으로 인코딩이 수행될 때에 교차 성분 중복이 제거될 수 있다는 것이다.

용어 설명

"3DV 뷰"는 여기서는 MVC에서 사용된 "뷰"와는 다른 하나의 뷰 위치로부터의 데이터 세트로 정의된다. 2D+Z 포맷을 위해서는 3DV 뷰는 2개의 성분 시퀀스, 즉 2D 뷰 플러스 그 깊이 맵을 포함한다. LDV 포맷에 위해서는 3DV 뷰는 4개의 성분 시퀀스, 즉, 2D 뷰, 깊이 맵, 어클루전 뷰 및 어클루전 깊이 맵.

MVC(SVC) 디코더가 제시된 SEI 메시지를 포함하는 비트스트림을 수신하면, MVC(SVC) 디코더는 3D 디스플레이가 적당한 영상을 출력할 수 있도록 3DV 데이터를 작성할 수 있다.

도 3은 본 발명의 실시예에 따라서 본 발명의 원리가 적용될 수 있는 3DV 인코더(300)의 구현도이다. 인코더(300)는 MVC/SVC 인코더(305)의 입력부와 신호 통신하는 제1 출력부를 가진 3D 뷰 성분 컴포저(355)를 포함한다. MVC/SVC 인코더(305)의 출력부는 비트스트림 멀티플렉서(360)의 제1 입력부와 신호 통신하로록 연결된다. 3D 뷰 성분 컴포저(355)의 제2 출력부는 SEI 메시지 컴포저(365)의 제1 입력부와 신호 통신하도록 연결된다. SEI 메시지 컴포저(365)의 출력부는 비트스트림 멀티플렉서(360)의 제2 입력부와 신호 통신하도록 연결된다. 3D 뷰 성분 컴포저(355)의 입력부는 3DV 콘텐츠(예컨대, 2D 뷰(들), 깊이, 어클루전 뷰(들), 어클루전 깊이, 투명 맵(들) 등)를 수신하는 인코더(300)의 입력부로서 이용될 수 있다. 비트스트림 멀티플렉서(360)의 출력부는 3DV 비트스트림을 출력하는 인코더(300)의 출력부로서 이용될 수 있다.

이 구현에서는 MVC/SVC 인코더(305) 내의 각 3DV 성분 인코더(미도시)는 MVC 인코더 또는 SVC 인코더이다. MVC 인코더가 사용되는 경우에는 각 3DV 성분 인코더는 하나의 MVC 뷰에 대한 MVC 인코더이다. SVC 인코더가 사용되는 경우에는 각 3DV 성분 인코더는 하나의 SVC 계층에 대한 SVC 디코더이다. 3D 뷰 성분 컴포저(355)는 3DV 성분을 MVC 뷰 또는 SVC 계층에 보내고 그와 같은 제어 정보를 SEI 메시지 컴포저(365)에 보내는 디스패처이다. SEI 메시지 컴포저(365)는 비트스트림에서 신호를 방생하는 SEI 메시지를 작성할 것이다. 비트스트림 멀티플렉서(360)는 이 비트스트림을 멀티플렉스할 것이다.

도 4는 본 발명의 실시예에 따라서 본 발명의 원리가 적용될 수 있는 3DV 디코더(400)의 구현도이다. 디코더(300)는 SEI 메시지 파서(parser)(465)의 입력부 및 MVC/SVC 디코더(405)의 입력부와 신호 통신하는 출력부를 가진 비트스트림 디멀티플렉서(460)를 포함한다. SEI 메시지 파서(465)의 출력부는 3D 뷰 성분 디컴포저(455)의 제1 입력부와 신호 통신하로록 연결된다. MVC/SVC 디코더(405)의 출력부는 3D 뷰 성분 디컴포저(455)의 제2 입력부와 신호 통신하도록 연결된다. 비트스트림 디멀티플렉서(460)의 입력부는 3D 비트스트림을 수신하는 디코더(400)의 입력부로서 이용될 수 있다. 3D 뷰 성분 디컴포저(455)의 출력부는 포맷된 3DV 콘텐츠(예컨대, 2D 뷰(들), 깊이, 어클루전 뷰(들), 어클루전 깊이, 투명 맵(들) 등)를 수신하는 디코더(400)의 출력부로서 이용될 수 있다.

도 3과 4는 특정 구현을 보여주는데, 하지만 다른 구현도 고려할 수 있다. 예컨대 다른 구현은 도 3(또는 도 4)의 블록들 중 하나 이상에서 복수의 신호를 수신하는데 여러 개의 서로 다른 입력부를 갖는 것이 아니라 하나의 입력부를 이용한다. 특정 예로서 비트스트림 멀티플렉서(360)는 단일 입력부만을 가질 수 있다. 이 단일 입력부는 MVC/SVC 인코더(305)로부터의 출력과 SEI 메시지 컴포저(365)로부터의 출력을 수신한다. 더욱이, 3D 뷰 성분 컴포저(355)의 다른 구현은 신호를 SEI 메시지 컴포저(365)와 MVC/SVC 인코더(305)에 제공하는 단일 출력부만을 갖고 있다. 도 4의 구현은 물론 본 명세서 전체에 걸처 기술된 다른 도면과 구현에 대해서도 비슷하게 개작할 수 있다.

도 5는 본 발명의 구현에 따라서 본 발명의 원리가 적용될 수 있는 예시적인 비디오 송신 시스템(700)을 보여준다. 비디오 송신 시스템(700)은 예컨대 위성, 케이블, 전화선 또는 지상파 방송과 같은 여러 가지 매체를 이용하여 신호를 송신하는 헤드 엔드 또는 송신 시스템일 수 있다. 이 송신은 인터넷 또는 기타 다른 네트워크를 통해 제공될 수 있다.

비디오 송신 시스템(700)은 예컨대 비디오 콘텐츠 및 깊이를 생성 및 전달할 수 있다. 이는 깊이 정보 또는 예컨대 디코더를 가질 수 있는 수신기단에서 이 깊이 정보를 합성하는데 이용될 수 있는 정보를 포함하는 인코딩된 신호(들)를 생성함으로써 달성된다.

비디오 송신 시스템(700)은 인코더(710)와, 인코딩된 신호를 송신할 수 있는 송신기(720)를 포함한다. 인코더(710)는 비디오 정보를 수신하고 비디오 정보 및/또는 깊이 정보에 기초하여 인코딩된 신호(들)를 생성한다. 인코더(710)는 예컨대 상기 상세히 설명한 인코더(300)일 수 있다. 인코더(710)는 예컨대 여러 가지 정보를 수신하여 이를 저장 또는 송신을 위해 구조화된 포맷으로 조립하는 어셈블리 유닛을 포함하는 서브모듈을 포함할 수 있다. 이 여러 가지 정보는 예컨대 코딩 또는 미코딩 비디오, 코딩 또는 미코딩 깊이 정보, 및 예컨대 동작 벡터, 코딩 모드 표시기 및 구문 요소와 같은 코딩 및 미코딩 요소를 포함할 수 있다.

송신기(720)는 예컨대 인코딩된 화상 및/또는 그 관련 정보를 나타내는 하나 이상의 비트스트림을 가진 프로그램 신호를 송신하도록 구성될 수 있다. 통상적인 송신기는 예컨대 에러 정정 코딩, 신호 내의 데이터 인터리빙, 신호 내의 에너지 랜더마이징(randomizing) 및 하나 이상의 반송파로의 신호 변조 중 한 가지 이상과 같은 기능을 수행한다. 이 송신기는 안테나(미도시)를 포함하거나 이와 인터페이스할 수 있다. 따라서 송신기(720)의 구현은 변조기를 포함하거나 이에 한정될 수 있다.

도 6은 본 발명의 실시예에 따라서 본 발명의 원리가 적용될 수 있는 예시적인 비디오 수신 시스템(800)을 보여준다. 비디오 수신 시스템(800)은 예컨대 위성, 케이블, 전화선 또는 지상파 방송과 같은 여러 가지 매체를 통해 신호를 수신하도록 구성될 수 있다. 이 신호는 인터넷 또는 기타 다른 네트워크를 통해 수신될 수 있다.

비디오 수신 시스템(800)은 인코딩된 비디오를 수신하는 예컨대 셀폰, 컴퓨터, 셋톱 박스, 텔레비전 또는 기타 다른 장치일 수 있으며, 예컨대 사용자에게 표시하거나 저장을 위해 디코딩된 비디오를 제공한다. 따라서 비디오 수신 시스템(800)은 예컨대 텔레비전 스크린, 컴퓨터 모니터, (저장, 처리 또는 표시를 위한) 컴퓨터, 또는 기타 다른 저장, 처리 또는 표시 장치에 그 출력을 제공할 수 있다.

비디오 수신 시스템(800)은 비디오 정보를 포함하는 비디오 콘텐츠를 수신하여 처리할 수 있다. 비디오 수신 시스템(800)은 예컨대 본 출원의 구현에서 설명된 신호와 같은 인코딩된 신호를 수신할 수 있는 수신기(810)와, 수신된 신호를 디코딩할 수 있는 디코더(820)를 포함한다.

수신기(810)는 예컨대 인코딩된 화상을 나타내는 복수의 비트스트림을 가진 프로그램 신호를 수신하도록 구성될 수 있다. 통상적인 수신기는 예컨대 변조되고 인코딩된 데이터 신호 수신, 하나 이상의 반송파로부터의 데이터 신호 복조, 신호 내의 에너지 디랜더마이징(de-randomizing), 신호 내의 데이터 디인터리빙 및 신호 에러 정정 디코딩 중 한 가지 이상과 같은 기능을 수행한다. 수신기(810)는 안테나(미도시)를 포함하거나 이와 인터페이스할 수 있다. 수신기(810)의 구현은 복조기를 포함하거나 이에 한정될 수 있다.

디코더(820)는 비디오 정보와 깊이 정보를 포함하는 비디오 신호를 출력한다. 디코더(820)는 예컨대 상기 상세히 설명한 디코더(400)일 수 있다.

도 7은 본 발명의 실시예에 따라서 본 발명의 원리가 적용될 수 있는 예시적인 비디오 처리 장치(900)를 보여준다. 비디오 처리 장치(900)는 인코딩된 비디오를 수신하는 예컨대 셋톱 박스 또는 기타 다른 장치일 수 있으며, 예컨대 사용자에게 표시하거나 저장을 위해 디코딩된 비디오를 제공한다. 따라서 비디오 처리 장치(900)는 텔레비전, 컴퓨터 모니터, 또는 컴퓨터 또는 기타 다른 처리 장치에 그 출력을 제공할 수 있다.

비디오 처리 장치(900)는 프론트 엔드(FE) 장치(905)와 디코더(910)를 포함한다. 프론트 엔드 장치(905)는 예컨대 인코딩된 화상을 나타내는 복수의 비트스트림을 가진 프로그램 신호를 수신하고 이 복수의 비트스트림 중에서 디코딩을 위한 하나 이상의 비트스트림을 선택하도록 구성된 수신기일 수 있다. 통상적인 수신기는 예컨대 변조되고 인코딩된 데이터 신호 수신, 데이터 신호 복조, 데이터 신호의 하나 이상의 인코딩(예컨대 채널 코딩 및/또는 소스 코딩)의 디코딩, 및/또는 데이터 신호 에러 정정 중 한 가지 이상과 같은 기능을 수행한다. 프론트 엔드 장치(905)는 예컨대 안테나(미도시)로부터 프로그램 신호를 수신할 수 있다. 프론트 엔드 장치(905)는 수신된 데이터 신호를 디코더(910)에 제공한다.

디코더(910)는 데이터 신호(920)를 수신한다. 데이터 신호(920)는 예컨대 하나 이상의 AVC(Advanced Video Coding), SVC(Scalable Video Coding) 또는 MVC(Multi-view Video Coding) 호환 스트림을 포함할 수 있다.

AVC는 더 구체적으로는 기존의 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안(이하, "AVC 표준" 또는 간단히 "AVC"와 같이, "H.264/MPEG-4 AVC 표준" 또는 그 변형이라 함)을 말한다.

MVC는 더 구체적으로는 H.264/MPEG-4 AVC, MVC 확장이라 불리는 AVC 표준의 "MVC(Mluti-view Video Coding)" 확장 (Annex H)("MVC 확장 또는 간단히 "MVC"라 함)을 말한다.

SVC는 더 구체적으로는 H.264/MPEG-4 AVC, MVC 확장이라 불리는 AVC 표준의 "SVC(Scalable Video Coding)" 확장 (Annex G)("SVC 확장 또는 간단히 "SVC"라 함)을 말한다.

디코더(910)는 수신된 신호(920)의 전부 또는 일부를 디코딩하고, 디코딩된 비디오 신호(930)를 출력으로서 제공한다. 디코딩된 비디오(930)는 선택기(950)에 제공된다. 장치(900)는 사용자 입력(970)을 수신하는 사용자 인터페이스(960)도 포함한다. 사용자 인터페이스(960)는 사용자 입력(970)에 기초하여 화상 선택 신호(980)를 선택기(950)에 제공한다. 화상 선택 신호(980)와 사용자 입력(970)은 사용자가 복수의 화상, 계열, 스케일러블 버전, 뷰 또는 가용 디코딩된 데이터의 선택 중 어느 것을 표시하고자 하는 것을 나타낸다. 선택기(950)는 선택된 화상(들)을 출력(990)으로 제공한다. 선택기(950)는 화상 선택 정보(980)를 이용하여 디코딩된 비디오(930) 중의 어느 화상을 출력(990)으로서 제공할 것인지를 선택한다.

여러 가지 구현에서, 선택기(950)는 사용자 인터페이스(960)를 포함하고, 다른 구현에서는, 선택기(950)가 별도의 인터페이싱 기능을 수행하지 않고 바로 사용자 입력(970)을 수신하기 때문에 사용자 인터페이스(960)가 필요없다. 선택기(950)는 예컨대 소프트웨어로 또는 집적 회로에서 구현될 수 있다. 일 구현에서, 선택기(950)는 디코더(910)와 통합되며, 다른 구현에서, 디코더(910), 선택기(950) 및 사용자 인터페이스(970)이 모두 통합된다.

일 응용에서, 프론트 엔드(905)는 각종 텔레비전 쇼의 방송을 수신하고 그 중 하나를 선택하여 처리한다. 한 쇼의 선택은 시청을 원하는 채널의 사용자 입력에 기초한다. 도 7에는 프론트 엔드 장치(2705)에의 사용자 입력이 나타나 있지 않지만, 프론트 엔드 장치(905)는 사용자 입력(970)을 수신한다. 프론트 엔드(905)는 그 방송을 수신하여, 그 방송 스펙트럼의 관련 부분을 복조하고 그 복조된 쇼의 아우트(outer) 인코딩을 디코딩함으로써 원하는 쇼를 처리한다. 프론트 엔드(905)는 디코딩된 쇼를 디코더(910)에 제공한다. 디코더(910)는 장치들(960, 950)을 포함하는 집적 유닛이다. 따라서 디코더(910)는 그 쇼 중에서 시청하기를 원하는 뷰의 사용자 제공 표시인 사용자 입력을 수신한다. 디코더(910)는 그 선택된 뷰는 물론 다른 뷰 중의 필요한 기준 화상을 디코딩하고, 디코딩된 뷰(990)를 텔레비전(미도시)에 표시하기 위해 제공한다.

상기 응용을 계속해서 설명하면, 사용자는 디스플레이되는 뷰를 전환하고자 할 수 있으며, 그러면 디코더(910)에 새로운 입력을 제공할 수 있다. 디코더(910)는 사용자로부터 "뷰 변경"을 수신한 후에 이전 뷰와 새로운 뷰 뿐만 아니라 이전 뷰와 새로운 뷰 사이에 있는 뷰도 디코딩한다. 즉, 디코더(910)는 이전 뷰를 촬영하는 카메라와 새로운 뷰를 촬영하는 카메라 사이에 물리적으로 위치한 카메라에 의해 촬영된 뷰를 디코딩한다. 프론트 엔드 장치(905)는 또한 이전 뷰, 새로운 뷰, 및 이들 사이의 뷰를 식별하는 정보를 수신한다. 그와 같은 정보는 예컨대 뷰의 위치에 대한 정보를 가진 컨트롤러(도 7에는 미도시), 또는 디코더(910)에 의해 제공될 수 있다. 다른 구현은 프론트 엔드 장치와 통합된 컨트롤러를 가진 프론트 엔드 장치를 이용할 수 있다.

디코더(910)는 이들 디코딩된 뷰 모두를 출력(990)으로서 제공한다. 후처리기(도 7에는 미도시)는 이전 뷰로부터 새로운 뷰로의 부드러운 전이를 제공하기 위해 뷰들 간을 보간하고, 이러한 전이를 사용자에게 표시한다. 새로운 뷰로의 전이 후에 후처리기는 디코더(910)와 프론트 엔드 장치(905)에게 새로운 뷰만이 필요하다는 것을 (하나 이상의 통신 링크(미도시)를 통해) 알린다. 그 후, 디코더(910)는 새로운 뷰를 출력(990)으로서 제공하기만 한다.

시스템(900)은 이미지 계열의 다중뷰를 수신하고, 디스플레이를 위해 단일 뷰를 제시하고, 여러 가지 뷰들 간을 부드럽게 전환하는데 이용될 수 있다. 이렇게 부드럽게 하는 것은 뷰들 간을 보간하는 것일 수 있다. 그 외에도, 사용자는 이 시스템(900)을 이용하여 오브젝트 또는 장면을 회전시키거나 오브젝트 또는 장면의 3차원 표현을 볼 수 있다. 오브젝트의 회전은 예컨대 뷰들간에 이동하고 뷰들 간을 보간하여 뷰들 간에 부드러운 전이를 얻거나 단순히 3차원 표현을 얻는 것일 수 있다. 즉, 사용자는 보간된 뷰를 디스플레이될 "뷰"로서 "선택"할 수 있다.

비디오 송신 시스템(700), 비디오 수신 시스템(800) 및 비디오 처리 시스템(900)은 모두 이 명세서에 기재된 여러 가지 구현에 이용되도록 구성될 수 있다. 예컨대 시스템들(700, 800, 900)은 설명된 3DV 포맷들 하나에서의 데이터와 그 관련 시그널링 정보에 따라 동작하도록 구성될 수 있다.

실시예 1: MVC용 3DV 포맷 SEI 메시지

MVC 프레임워크에서 3DV 성분 계열은 서로 다른 "뷰"로서 인코딩된다. 따라서, 교차 성분 중복은 MVC의 특징인 뷰간 예측에 의해 제거될 수 있다. 예컨대 2D 뷰와 어클루전 뷰 간의 중복이 효율적으로 제거될 수 있다. 표 1은 실시예 1에 관련된 MVC용 3DV 포맷 SEI 메시지에 대해 제시된 구문을 보여준다. 이 실시예에서는 MVC 비트스트림은 3DV 성분 계열보다 더 많은 뷰를 포함할 수 있음에 유의한다.

표 1

표 1의 구문 요소의 의미는 다음과 같다.

three_dv_format_id는 3DV 포맷 SEI 메시지의 용법을 식별하는데 이용될 수 있는 식별 번호를 포함한다. 이 값은 0 내지 2³²-2의 범위이다. 0부터 255까지의 값과 512부터 2³¹-1까지의 값은 애플리케이션에 의해 결정됨에 유의해야 한다. 256부터 511까지의 값과 2³¹부터 2³²-2까지의 값은 장래에 이용하기 위해 예비된 것이다. 디코더는 256부터 511까지의 범위 또는 2³¹부터 2³²-2까지의 범위의 three_dv_format_id 값을 포함하는 모든 3DV 포맷 SEI 메시지를 무시할 것이며(비트스트림에서 제거하여 폐기할 것이며) 비트스트림은 그와 같은 값을 포함하지 않을 것이다.

three_dv_format_cancel_flag는 1이면 3DV 포맷 SEI 메시지가 이전의 3DV 포맷 SEI 메시지의 지속성을 출력 순서로 소거하는 것을 의미한다. three_dv_format_cancel_flag가 0이면 3DV 포맷 정보가 이어짐을 의미한다.

num_three_dv_view_minus1 플러스 1은 3DV 데이터를 가진 뷰의 수를 의미한다. 각 뷰는 3DV 포맷과 관련한 1부터 num_three_dv_view_minus1 범위의 고유 ID 번호 3dv_view_id를 갖고 있다. 3dv_view_id는 MVC와 관련된 view_id와는 다름에 유의해야 한다. 2DV 뷰와 같은 하나의 뷰로부터의 3DV에 대해서는, 그 깊이 맵 등은 MVC에서 서로 다른 뷰로 취급되며 서로 다른 view_id들을 갖고 있지만, 동일한 뷰 위치의 서로 다른 성분 계열에 대응하므로 동일한 3dv_view_id를 공유한다.

basic_three_dv_format_type_id는 MVC 비트스트림에 포함된 기본 3DV 포맷 타입을 의미한다. 3DV 포맷은 2가지 타입; 2D+Z 또는 LDV일 수 있다. 2D+Z 포맷은 하나의 뷰 위치로부터 2D 뷰 플러스 그 깊이 맵을 포함한다. LDV 포맷은 하나의 뷰 위치로부터 2D 뷰, 그 깊이 맵, 어클루전 뷰 및 어클루전 깊이 맵을 포함한다.

basic_three_dv_format_type_id는 0이면 MVC 비트스트림이 2D+Z 데이터의 (num_three_dv_view_minus1+1) 세트를 포함함을 의미한다. 각 데이터 세트는 하나의 뷰 위치에 대응한다. num_three_dv_view_minus1이 0이면 2D+Z 포맷을 나타낸다. num_three_dv_view_minus1이 1 이상이면 MVD 포맷을 나타낸다.

basic_three_dv_format_type_id는 1이면 MVC 비트스트림이 LDV 데이터의 (num_three_dv_view_minust1+1) 세트를 포함함을 의미한다. num_three_dv_view_minus1이 0이면 LDV 포맷을 나타낸다. num_three_dv_view_minus1이 1이면 DES 포맷을 나타낸다. 1 이상의 값은 허용되지 않음에 유의해야 한다.

video_present_flag[3dv_view_id]는 2D 비디오 성분이 현재 3D 뷰를 위해 존재하는지 여부를 나타낸다. 값 1은 2D 뷰 성분이 존재함을 의미한다. 값 0은 2D 뷰 성분이 존재하지 않음을 의미한다.

video_id[3dv_view_id]는 3dv_view_id를 가진 3DV 뷰에 대응하는 MVC 비트스트림의 view_id를 의미한다. 값 -1은 이 비트스트림에는 3DV 뷰를 위해 이용될 수 있는 2D 뷰 성분이 없음을 의미한다.

depth_present_flag[3dv_view_id]는 깊이 맵 성분이 현재 3D 뷰를 위해 존재하는지 여부를 나타낸다. 값 1은 깊이 맵 성분이 존재함을 의미한다. 값 0은 깊이 맵 성분이 존재하지 않음을 의미한다.

depth_id[3dv_view_id]는 3dv_view_id를 가진 3DV 깊이 성분에 대응하는 MVC 비트스트림의 view_id를 의미한다. 값 -1은 이 비트스트림에는 3DV 뷰를 위해 이용될 수 있는 깊이 성분이 없음을 의미한다.

occlusion_video_present_flag[3dv_view_id]는 어클루전 비디오 성분이 현재 3D 뷰를 위해 존재하는지 여부를 나타낸다. 값 1은 어클루전 비디오 성분이 존재함을 의미한다. 값 0은 어클루전 비디오 성분이 존재하지 않음을 의미한다.

occlusion_video_id[3dv_view_id]는 3dv_view_id를 가진 어클루전 비디오 성분에 대응하는 MVC 비트스트림의 view_id를 의미한다. 값 -1은 이 비트스트림에는 3DV 뷰를 위해 이용될 수 있는 어클루전 비디오 성분이 없음을 의미한다.

occlusion_depth_present_flag[3dv_view_id]는 어클루전 깊이 성분이 현재 3D 뷰를 위해 존재하는지 여부를 나타낸다. 값 1은 어클루전 깊이 성분이 존재함을 의미한다. 값 0은 어클루전 깊이 성분이 존재하지 않음을 의미한다.

occlusion_depth_id[3dv_view_id]는 3dv_view_id를 가진 어클루전 깊이 성분에 대응하는 MVC 비트스트림의 view_id를 의미한다. 값 -1은 이 비트스트림에는 3DV 뷰를 위해 이용될 수 있는 어클루전 깊이 성분이 없음을 의미한다.

three_dv_format_repetition_period는 3DV 포맷 SEI 메시지의 지속성을 규정하고, three_dv_format_id의 동일 값을 가진 다은 3DV 포맷 SEI 내의 화상 순서 카운트를 규정하거나 코딩된 비디오 계열의 끝이 그 비트스트림 내에 존재함을 규정할 수 있다. 따라서 이 구문은 SEI가 유효할 때의 시간 범위를 규정한다. 일 예시적인 구현은 POC(picture order count) 기간의 이용과 관련된다. POC는 디스플레이 시간이 증가함에 따라 올라가는, 코딩되는 프레임의 지수로서 이해될 수 있다. three_dv_format_repetition_period의 값은 0 내지 16384의 범위에 있을 것이다. three_dv_format_repetition_period가 0인 것은 3DV 포맷 SEI 메시지가 현재 디코딩된 화상에만 적용됨을 규정한다. three_dv_format_repetition_period가 1인 것은 3DV 포맷 SEI 메시지가 다음 조건이 참일 때까지 출력 순서를 지속함을 규정한다.

- 새로운 코딩된 비디오 계열이 시작한다.

- three_dv_format_id의 동일 값을 가진 3DV 포맷 SEI 메시지를 포함하는 액세스 유닛 내의 화상이 PicOrderCnt(CurrPic)보다 큰 PicOrderCnt()를 가지고 출력된다.

three_dv_format_repetition_period는 0 또는 1이면 three_dv_format_id의 동일 값을 가진 다른 3DV 포맷 SEI 메시지가 존재할 수도 존재하지 않을 수도 있음을 의미한다. three_dv_format_repetition_period가 1보다 큰 것은 3DV 포맷 SEI 메시지가 다음 조건이 참일 때까지 출력 순서를 지속함을 규정한다.

- 새로운 코딩된 비디오 계열이 시작한다.

- three_dv_format_id의 동일 값을 가진 3DV 포맷 SEI 메시지를 포함하는 액세스 유닛 내의 화상이 PicOrderCnt(CurrPic)보다 크고 PicOrderCnt(CurrPic)+three_dv_format_repetition_period 이하인 PicOrderCnt()를 가지고 출력된다.

three_dv_format_repetition_period가 1보다 큰 것은, 비트스트림이 끝나거나 새로운 코딩된 비디오 계열이 그와 같은 화상의 출력없이 시작하지 않는다면, three_dv_format_id의 동일 값을 가진 다른 3DV 포맷 SEI 메시지가 PicOrderCnt(CurrPic)보다 크고 PicOrderCnt(CurrPic)+three_dv_format_repetition_period 이하인 PicOrderCnt()를 가지고 출력되는 액세스 유닛 내의 화상을 위해 존재할 것임을 의미한다.

additional_extension_flag는 0이면 3DV 포맷 SEI 메시지 내에 추가 데이터가 이어지지 않음을 의미한다. additional_extension_flag의 값은 0일 것이다. additional_extension_flag에 대하 값 1은 ITU-T와 ISO/IEC가 장래에 이용하기 위해 예비된 것이다. H.264 표준에 맞는 디코더는 공간 인터리빙된 화상 SEI 메시지 내의 additional_extension_flag에 대한 값 1에 이어지는 모든 데이터를 무시할 것이다.

아래에 3가지 예가 주어진다.

예 1: 도 8은 MVC 구조에서 MVD 포맷 인코딩의 예(1000)를 보여주는 도이다. 이 예에서는 2개의 3DV 뷰가 있다. 좌측 뷰의 3dv_view_id는 0이고 우측 뷰의 3dv_view_id는 1이다. 좌측 뷰는 AVC 호환 디코더에 의해 디코딩될 수 있는 베이스 뷰로 취급된다. 좌측 뷰(1010)의 view_id는 1이다. 좌측 깊이(1005), 우측 뷰(1015) 및 우측 깊이(1020)의 view_id는 각각 0, 2 및 3이다. 표 2는 실시예 1의 예 1에 대응하는 MVC용 3DV SEI 메시지의 MVD 예를 보여준다.

표 2

도 8에 나타낸 뷰 종속 정보는 H.264 Annex H의 SPS 확장(H.264의 MVC 확장 또는 간단히 MVC 확장이라고도 함)을 통해 시그널링된다.

예 2: 도 9는 MVC 구조에서 LDV 포맷 인코딩의 예(1100)를 보여주는 도이다. 이 예에서는 단 하나의 3DV 뷰가 있다. 2D 뷰는 AVC 호환 디코더에 의해 디코딩될 수 있는 베이스 뷰로 취급된다. 2D 뷰(1110)의 view_id는 1이다. 깊이 맵(1105), 어클루전 비디오(1115) 및 어클루전 깊이 맵(1120)의 view_id는 각각 0, 2 및 3이다. 표 3은 실시예 1의 예 2에 대응하는 MVC용 3DV SEI 메시지의 LDV 예를 보여준다.

표 3

예 3: 도 10은 MVC 구조에서 DES 포맷 인코딩의 예(1200)를 보여주는 도이다. 이 예에서는 2개의 3DV 뷰가 있다. 좌측으로부터의 2D 뷰는 AVC 호환 디코더에 의해 디코딩될 수 있는 베이스 뷰로 취급된다. 좌측으로부터의 2D 뷰(1220)의 view_id는 3이다. 좌측으로부터의 깊이 맵(1215), 어클루전 비디오(1210) 및 어클루전 깊이 맵(1205)의 view_id는 각각 2, 1 및 0이다. 우측으로부터의 2D 뷰(1225), 깊이 맵(1230), 어클루전 비디오(1235) 및 어클루전 깊이 (1240)의 view_id는 각각 4, 5, 6 및 7이다. 표 4는 실시예 1의 예 3에 대응하는 MVC용 3DV SEI 메시지의 DES 예를 보여준다.

표 4

상기 3개의 예에서는 3DV 뷰이외에도 2D 비디오 데이터만을 가진 몇 개의 다른 뷰고 동일한 비트스트림에서 인터리빙될 수 있음에 유의한다. 디코더는 여전히 비트스트림으로부터 정확한 3DV 뷰를 정확하게 추출할 수 있다. 예컨대 수신단에서 렌더링 품질을 향상시키기 위해 추가적인 뷰가 이용될 수 있다.

도 11은 본 발명의 실시예에 따라 3DV 포맷을 인코딩하는 예시적인 방법(1300)을 보여주는 흐름도이다. 도 11은 실시예 1에 관한 것이며 이에 대응하는 예 1 내지 3을 포함한다. 단계(1305)에서, 구문 요소 three_dv_format_id가 인코딩된다. 단계(1310)에서, 구문 요소 three_dv_format_cancel_flag가 인코딩된다. 단계(1315)에서, three_dv_format_cancel_flag=0인지 여부를 판단한다. YES이면, 제어는 단계(1385)로 넘어간다. NO이면 제어는 단계(1320)로 넘어간다. 단계(1320)에서, 구문 요소 num_three_dv_view_minus1이 인코딩된다. 단계(1325)에서, 구문 요소 basic_three_dv_format_type_id가 인코딩된다. 단계(1330)에서, 3dv_view_id=0; 3dv_view_id<=num_three_dv_view_minus1; 및 3dv_view_id++에 대해 루프가 개시된다. 단계(1335)에서, 3dv_view_id!=0이면 구문 요소 video_present_flag[3dv_view_id]가 인코딩되고, 그렇지 않으면 구문 요소 3dv_view_id는 1로 가정된다. 단계(1340)에서, video_present_flag[3dv_view_id]==1이면 구문 요소 video_id[3dv_view_id]가 인코딩된다. 단계(1345)에서, 구문 요소 depth_present_flag[3dv_view_id]가 인코딩된다. 단계(1350)에서, depth_present_flag[3dv_view_id]==1이면 구문 요소 depth_id[3dv_view_id]가 인코딩된다. 단계(1355)에서, basic_three_dv_format_type_id==1이면 구문 요소 occlusion_video_present_flag[3dv_view_id]가 인코딩되고, 그렇지 않으면 구문 요소 basic_three_dv_format_type_id는 0으로 가정된다. 단계(1360)에서, occlusion_video_present_flag[3dv_view_id]!=0이면 구문 요소 occlusion_video_id[3dv_view_id]가 인코딩된다. 단계(1365)에서, basic_three_dv_format==1이면 구문 요소 occlusion_depth_present_flag[3dv_view_id]가 인코딩되고, 그렇지 않으면 구문 요소 basic_three_dv_format이 0으로 가정된다. 단계(1370)에서, occlusion_depth_present_flag[3dv_view_id]!=0이면 구문 요소 occlusion_depth_id[3dv_view_id]가 인코딩된다. 단계(1375)에서, 3dv_view_id =0, 3dv_view_id<=num_three_dv_view_minus1 및 3dv_view_id++에 대한 루프가 종료된다. 단계(1380)에서, 구문 요소 three_dv_format_repetition_period가 인코딩된다. 단계(1385)에서, 구문 요소 additional_extension_flag가 인코딩된다.

도 12는 본 발명의 실시예에 따라 3DV 포맷을 디코딩하는 예시적인 방법(1400)을 보여주는 흐름도이다. 도 12는 실시예 1에 관한 것이며 이에 대응하는 예 1 내지 3을 포함한다. 단계(1405)에서, 구문 요소 three_dv_format_id가 디코딩된다. 단계(1410)에서, 구문 요소 three_dv_format_cancel_flag가 디코딩된다. 단계(1415)에서, three_dv_format_cancel_flag=0인지 여부를 판단한다. YES이면, 제어는 단계(1485)로 넘어간다. NO이면 제어는 단계(1420)로 넘어간다. 단계(1420)에서, 구문 요소 num_three_dv_view_minus1이 디코딩된다. 단계(1425)에서, 구문 요소 basic_three_dv_format_type_id가 디코딩된다. 단계(1430)에서, 3dv_view_id=0; 3dv_view_id<=num_three_dv_view_minus1; 및 3dv_view_id++에 대해 루프가 개시된다. 단계(1435)에서, 3dv_view_id!=0이면 구문 요소 video_present_flag[3dv_view_id]가 디코딩되고, 그렇지 않으면 구문 요소 3dv_view_id는 1로 가정된다. 단계(1440)에서, video_present_flag[3dv_view_id]==1이면 구문 요소 video_id[3dv_view_id]가 디코딩된다. 단계(1445)에서, 구문 요소 depth_present_flag[3dv_view_id]가 디코딩된다. 단계(1450)에서, depth_present_flag[3dv_view_id]==1이면 구문 요소 depth_id[3dv_view_id]가 디코딩된다. 단계(1455)에서, basic_three_dv_format_type_id==1이면 구문 요소 occlusion_video_present_flag[3dv_view_id]가 디코딩되고, 그렇지 않으면 구문 요소 basic_three_dv_format_type_id는 0으로 가정된다. 단계(1460)에서, occlusion_video_present_flag[3dv_view_id]!=0이면 구문 요소 occlusion_video_id[3dv_view_id]가 디코딩된다. 단계(1465)에서, basic_three_dv_format==1이면 구문 요소 occlusion_depth_present_flag[3dv_view_id]가 디코딩되고, 그렇지 않으면 구문 요소 basic_three_dv_format이 0으로 가정된다. 단계(1470)에서, occlusion_depth_present_flag[3dv_view_id]!=0이면 구문 요소 occlusion_depth_id[3dv_view_id]가 디코딩된다. 단계(1475)에서, 3dv_view_id =0, 3dv_view_id<=num_three_dv_view_minus1 및 3dv_view_id++에 대한 루프가 종료된다. 단계(1480)에서, 구문 요소 three_dv_format_repetition_period가 디코딩된다. 단계(1485)에서, 구문 요소 additional_extension_flag가 디코딩된다.

실시예 2: MVC용 간략화된 3DV 포맷 SEI 메시지

다른 실시예에서는 view_id를 3dv_view_id로 함축적으로 맵핑하고자 할 수 있으며 실시예 1로부터 구문이 간략화될 수 있음에 유의한다. 표 5는 MVC용의 간략화된 3DV 포맷 SEI 메시지를 보여준다.

표 5

간략화된 SEI 메시지를 이용하여 view_id들은 다음의 함축적인 방식으로 3dv_view_id들에 맵핑된다. basic_3dv_format_type_id가 0이면 view_id들은 표 6에 나타낸 바와 같이 3dv_view_id들에 오름차 순으로 맵핑된다. basic_3dv_format_type_id가 1이면 view_id들은 표 7에 나타낸 바와 같이 3dv_view_id들에 오름차 순으로 맵핑된다.

표 6

표 7

예 1: 도 13은 표 6의 view_id로부터 3dv_view_id로의 맵핑이 이용된 MVC 구조에서 MVD 포맷 인코딩의 예(1500)를 보여주는 도이다. 박스(1505, 1510, 1515, 1520)에 각각 나타낸 수 V0, V1, V2 및 V3는 그 박스에 대한 해당 view_id를 나타낸다. 각 박스에 대한 해당 3dv_view_id는 각각 각 박스 아래에 표시된다. 화살표는 기준 뷰로부터 예측될 뷰쪽으로 지시한다. 박스(1505)는 좌측 뷰의 2D 비디오를 표시한다. 박스(1510)는 좌측 뷰의 깊이를 표시한다. 박스(1515)는 우측 뷰의 2D 비디오를 표시한다. 박스(1520)는 우측 뷰의 깊이를 표시한다.

예 2: 도 14는 표 7의 view_id로부터 3dv_view_id로의 맵핑이 이용된 MVC 구조에서 LDV 포맷 인코딩의 예(1600)를 보여주는 도이다. 박스(1605, 1610, 1615, 1620)에 각각 나타낸 수 V0, V1, V2 및 V3는 그 박스에 대한 해당 view_id를 나타낸다. 각 박스 아래에는 3DV에서의 그 박스의 역할이 표시된다. 화살표는 기준 뷰로부터 예측될 뷰쪽으로 지시한다. 박스(1605)는 2D 비디오를 표시한다. 박스(1610)는 대응 깊이를 표시한다. 박스(1615)는 대응 어클루전 비디오를 표시한다. 박스(1620)는 대응 어클루전 깊이를 표시한다.

예 3: 도 15는 표 7의 view_id로부터 3dv_view_id로의 맵핑이 이용된 MVC 구조에서 DES 포맷 인코딩의 예(1700)를 보여주는 도이다. 박스(1705, 1710, 1715, 1720, 1725, 1730, 1735, 1740)에 각각 나타낸 수 V0, V1, V2, V3, V4, V5, V6 및 V7은 그 박스에 대한 해당 view_id를 나타낸다. 각 박스 아래에는 3DV에서의 그 박스의 역할이 표시된다. 화살표는 기준 뷰로부터 예측될 뷰쪽으로 지시한다. 박스(1705)는 좌측 뷰의 2D 비디오를 표시한다. 박스(1710)는 좌측 뷰의 대응 깊이를 표시한다. 박스(1715)는 좌측 뷰의 대응 어클루전 비디오를 표시한다. 박스(1720)는 좌측 뷰의 대응 어클루전 깊이를 표시한다. 박스(1725)는 우측 뷰의 2D 비디오를 표시한다. 박스(1730)는 우측 뷰의 대응 깊이를 표시한다. 박스(1735)는 우측 뷰의 대응 어클루전 비디오를 표시한다. 박스(1740)는 우측 뷰의 대응 어클루전 깊이를 표시한다.

도 16은 본 발명의 실시예에 따라 3DV 포맷을 인코딩하는 예시적인 방법(1800)을 보여주는 흐름도이다. 도 16은 실시예 2에 관한 것이며 이에 대응하는 예 1 내지 3을 포함한다. 단계(1805)에서, 구문 요소 three_dv_format_id가 인코딩된다. 단계(1810)에서, 구문 요소 three_dv_format_cancel_flag가 인코딩된다. 단계(1815)에서, three_dv_format_cancel_flag=0인지 여부를 판단한다. YES이면, 제어는 단계(1835)로 넘어간다. NO이면 제어는 단계(1820)로 넘어간다. 단계(1820)에서, 구문 요소 num_three_dv_view_minus1이 인코딩된다. 단계(1825)에서, 구문 요소 basic_three_dv_format_type_id가 인코딩된다. 단계(1830)에서, 구문 요소 three_dv_format_repetition_period가 인코딩된다. 단계(1835)에서, 구문 요소 additional_extension_flag가 인코딩된다.

도 17은 본 발명의 실시예에 따라 3DV 포맷을 디코딩하는 예시적인 방법(1900)을 보여주는 흐름도이다. 도 17은 실시예 2에 관한 것이며 이에 대응하는 예 1 내지 3을 포함한다. 단계(1905)에서, 구문 요소 three_dv_format_id가 디코딩된다. 단계(1910)에서, 구문 요소 three_dv_format_cancel_flag가 인코딩된다. 단계(1915)에서, three_dv_format_cancel_flag=0인지 여부를 판단한다. YES이면, 제어는 단계(1935)로 넘어간다. NO이면 제어는 단계(1920)로 넘어간다. 단계(1920)에서, 구문 요소 num_three_dv_view_minus1이 디코딩된다. 단계(1925)에서, 구문 요소 basic_three_dv_format_type_id가 디코딩된다. 단계(1930)에서, 구문 요소 three_dv_format_repetition_period가 디코딩된다. 단계(1935)에서, 구문 요소 additional_extension_flag가 디코딩된다.

실시예 3: SVC용 3DV 포맷 SEI

AVC로의 다른 확장으로서, SVC는 시간적, 공간적 또는 품질 도메인에서 확장성을 제공하기 위해 계층적 코딩 구조를 지원한다. 이 실시예에서는 표 8에 나타낸 바와 같이 3DV 포맷을 시그널링하는 SVC용 3DV 포캣 SEI 메시지를 제안한다. SVC 이용의 한 가지 이점은 교차 계층 예측이 교차 성분 중복, 예컨대 비디오의 모션과 깊이 맵의 모션 간의 중복을 제거하는데 이용될 수 있다는 것이다.

표 8

video_present_flag[3dv_view_id]는 2D 비디오 성분이 현재 3D 뷰를 위해 존재하는지 여부를 표시한다. 값 1은 2D 뷰 성분이 존재함을 의미한다. 값 0은 2D 뷰 성분이 존재하지 않음을 의미한다.

video_dependency_id[3dv_view_id], video-quality_id[3dv_view_id], 및 video_temporal_id[3dv_view_id]는 각각 특정 3dv_view_id를 가진 3DV 뷰로부터의 2D 뷰 성분 계열의 dependency_id, quality_id 및 temporal_id를 의미한다. dependency_id, quality_id 및 temporal_id의 각 정의는 H.264 Annex G에 규정되어 있다.

depth_present_flag[3dv_view_id]는 깊이 맵이 현재 3D 뷰를 위해 존재하는지 여부를 표시한다. 값 1은 깊이 맵 성분이 존재함을 의미한다. 값 0은 깊이 맵 성분이 존재하지 않음을 의미한다.

depth_dependency_id[3dv_view_id], depth_quality_id[3dv_view_id] 및 depth_temporal_id[3dv_view_id]는 각각 특정 3dv_view_id를 가진 3DV 뷰로부터의 깊이 맵 성분 계열의 dependency_id, quality_id 및 temporal_id를 의미한다. dependency_id, quality_id 및 temporal_id의 각 정의는 H.264 Annex G에 규정되어 있다.

occlusion_video_present_flag[3dv_view_id]는 어클루전 비디오 성분이 현재 3D 뷰를 위해 존재하는지 여부를 표시한다. 값 1은 어클루전 비디오 성분이 존재함을 의미한다. 값 0은 어클루전 비디오 성분이 존재하지 않음을 의미한다.

occlusion_video_dependency_id[3dv_view_id],

occlusion_video_quality_id[3dv_view_id], 및

occlusion_video_temporal_id[3dv_view_id]는 각각 특정 3dv_view_id를 가진 3DV 뷰로부터의 어클루전 뷰 성분 계열의 dependency_id, quality_id 및 temporal_id를 의미한다. dependency_id, quality_id 및 temporal_id의 각 정의는 H.264 Annex G에 규정되어 있다.

occlusion_depth_present_flag[3dv_view_id]는 어클루전 깊이 성분이 현재 3D 뷰를 위해 존재하는지 여부를 표시한다. 값 1은 어클루전 깊이 성분이 존재함을 의미한다. 값 0은 어클루전 깊이오 성분이 존재하지 않음을 의미한다.

occlusion_depth_dependency_id[3dv_view_id],

occlusion_depth_quality_id[3dv_view_id], 및

occlusion_depth_temporal_id[3dv_view_id]는 각각 특정 3dv_view_id를 가진 3DV 뷰로부터의 어클루전 깊이 맵 성분 계열의 dependency_id, quality_id 및 temporal_id를 의미한다. dependency_id, quality_id 및 temporal_id의 각 정의는 H.264 Annex G에 규정되어 있다.

실시예 1의 (도 8 내지 도 10과 관련된) 3가지 예 모두 SVC 프레임워크에 맵핑될 수 있다는 것을 알아야 한다. 예컨대 LDV 포맷은 실시예 1에서의 도 9에 대응하는 도 18에서의 SVC에서 구현될 수 있다. 박스(2005, 2010, 2015, 2020)에 각각 나타낸 수 L3, L2, L1 및 L0는 그 박스에 대한 해당 dependency_id를 나타낸다. 박스 왼쪽에는 3DV에서의 역할이 표시된다. 화살표는 기준 계층으부터 예측될 계층쪽으로 지시한다. 박스(2020)는 2D 비디오를 표시한다. 박스(2015)는 대응 깊이를 표시한다. 박스(2010)는 대응 어클루전 비디오를 표시한다. 박스(2005)는 대응 어클루전 깊이를 표시한다.

표 9는 본 발명의 실시예에 따른 SVC용 3DV 포맷 SEI 메시지의 예를 보여준다.

표 9

도 19는 본 발명의 실시예에 따라 3DV 포맷을 인코딩하는 예시적인 방법(2100)을 보여주는 흐름도이다. 도 19는 실시예 3에 관한 것이다. 단계(2105)에서, 구문 요소 three_dv_format_id가 인코딩된다. 단계(2110)에서, 구문 요소 three_dv_format_cancel_flag가 인코딩된다. 단계(2115)에서, three_dv_format_cancel_flag=0인지 여부를 판단한다. YES이면, 제어는 단계(2185)로 넘어간다. NO이면 제어는 단계(2120)로 넘어간다. 단계(2120)에서, 구문 요소 num_three_dv_view_minus1이 인코딩된다. 단계(2125)에서, 구문 요소 basic_three_dv_format_type_id가 인코딩된다. 단계(2130)에서, 3dv_view_id=0; 3dv_view_id<=num_three_dv_view_minus1; 및 3dv_view_id++에 대해 루프가 개시된다. 단계(2135)에서, 3dv_view_id!=0이면 구문 요소 video_present_flag[3dv_view_id]가 인코딩되고, 그렇지 않으면 구문 요소 3dv_view_id는 1로 가정된다. 단계(2140)에서, video_present_flag[3dv_view_id]==1이면 구문 요소 video_dependency_id[3dv_view_id],

video_quality_id[3dv_view_id] 및 video_temporal_id[3dv_view_id]가 인코딩된다. 단계(2145)에서, 구문 요소 depth_present_flag[3dv_view_id]가 인코딩된다. 단계(2150)에서, depth_present_flag[3dv_view_id]==1이면 구문 요소 depth_dependency_id[3dv_view_id], depth_quality_id[3dv_view_id] 및 depth_temporal_id[3dv_view_id]가 인코딩된다. 단계(2155)에서, basic_three_dv_format_type_id==1이면 구문 요소 occlusion_video_present_flag[3dv_view_id]가 인코딩되고, 그렇지 않으면 구문 요소 basic_three_dv_format_type_id는 0으로 가정된다. 단계(2160)에서, occlusion_video_present_flag[3dv_view_id]!=1이면 구문 요소 occlusion_video_dependency_id[3dv_view_id], occlusion_video_quality_id[3dv_view_id] 및 occlusion_video_temporal_id[3dv_view_id]가 인코딩된다. 단계(2165)에서, basic_three_dv_format==1이면 구문 요소 occlusion_depth_present_flag[3dv_view_id]가 인코딩되고, 그렇지 않으면 구문 요소 occlusion_depth_present_flag[3dv_view_id]가 0으로 가정된다. 단계(2170)에서, occlusion_depth_present_flag[3dv_view_id]=1이면 구문 요소 occlusion_video_dependency_id[3dv_view_id], occlusion_video_quality_id[3dv_view_id] 및 occlusion_video_temporal_id[3dv_view_id]가 인코딩된다. 단계(2175)에서, 3dv_view_id =0, 3dv_view_id<=num_three_dv_view_minus1 및 3dv_view_id++에 대한 루프가 종료된다. 단계(2180)에서, 구문 요소 three_dv_format_repetition_period가 인코딩된다. 단계(2185)에서, 구문 요소 additional_extension_flag가 인코딩된다.

도 20은 본 발명의 실시예에 따라 3DV 포맷을 디코딩하는 예시적인 방법(2200)을 보여주는 흐름도이다. 도 20은 실시예 3에 관한 것이다. 단계(2205)에서, 구문 요소 three_dv_format_id가 디코딩된다. 단계(2210)에서, 구문 요소 three_dv_format_cancel_flag가 디코딩된다. 단계(2215)에서, three_dv_format_cancel_flag=0인지 여부를 판단한다. YES이면, 제어는 단계(2285)로 넘어간다. NO이면 제어는 단계(2220)로 넘어간다. 단계(2220)에서, 구문 요소 num_three_dv_view_minus1이 디코딩된다. 단계(2225)에서, 구문 요소 basic_three_dv_format_type_id가 디코딩된다. 단계(2230)에서, 3dv_view_id=0; 3dv_view_id<=num_three_dv_view_minus1; 및 3dv_view_id++에 대해 루프가 개시된다. 단계(2235)에서, 3dv_view_id!=0이면 구문 요소 video_present_flag[3dv_view_id]가 디코딩되고, 그렇지 않으면 구문 요소 3dv_view_id는 1로 가정된다. 단계(2240)에서, video_present_flag[3dv_view_id]==1이면 구문 요소 video_dependency_id[3dv_view_id],

video_quality_id[3dv_view_id] 및 video_temporal_id[3dv_view_id]가 디코딩된다. 단계(2245)에서, 구문 요소 depth_present_flag[3dv_view_id]가 디코딩된다. 단계(2250)에서, depth_present_flag[3dv_view_id]==1이면 구문 요소 depth_dependency_id[3dv_view_id], depth_quality_id[3dv_view_id] 및 depth_temporal_id[3dv_view_id]가 디코딩된다. 단계(2255)에서, basic_three_dv_format_type_id==1이면 구문 요소 occlusion_video_present_flag[3dv_view_id]가 인코딩되고, 그렇지 않으면 구문 요소 basic_three_dv_format_type_id는 0으로 가정된다. 단계(2260)에서, occlusion_video_present_flag[3dv_view_id]=1이면 구문 요소 occlusion_video_dependency_id[3dv_view_id], occlusion_video_quality_id[3dv_view_id] 및 occlusion_video_temporal_id[3dv_view_id]가 디코딩된다. 단계(2265)에서, basic_three_dv_format==1이면 구문 요소 occlusion_depth_present_flag[3dv_view_id]가 디코딩되고, 그렇지 않으면 구문 요소 occlusion_depth_present_flag[3dv_view_id]가 0으로 가정된다. 단계(2270)에서, occlusion_depth_present_flag[3dv_view_id]=1이면 구문 요소 occlusion_video_dependency_id[3dv_view_id], occlusion_video_quality_id[3dv_view_id] 및 occlusion_video_temporal_id[3dv_view_id]가 디코딩된다. 단계(2275)에서, 3dv_view_id =0, 3dv_view_id<=num_three_dv_view_minus1 및 3dv_view_id++에 대한 루프가 종료된다. 단계(2280)에서, 구문 요소 three_dv_format_repetition_period가 디코딩된다. 단계(2285)에서, 구문 요소 additional_extension_flag가 디코딩된다.

실시예 4: SVC/MVC용 3DV 포맷 SEI

앞서의 3가지 실시예에서는 각 3DV 성분은 MVC에서는 뷰로 또는 SVC에서는 계층으로 독립적으로 취급된다. 이 실시예에서는 먼저 몇 개의 3DV 성분에 대해서 공간 인터리빙을 실시하고, 그 다음에 공간 인터리빙된 성분을 MVC에서는 뷰로 또는 SVC에서는 계층으로 취급하는 것을 제안한다.

구현 시에는 많은 서로 다른 조합이 있을 수 있다. MVD 표현 포맷의 경우에는 일례는 2D와 그 깊이를 병렬로 두고, 각 2D+Z 영상 계열을 MVC에서 하나의 뷰로(또는 SVC에서는 하나의 계층으로) 취급하는 것이다. 다른 예에서, 먼저 2개의 2D 영상이 나란히 배치되고, 그 다음에 2개의 깊이 맵이 나란히 배치된다. 그러면, 이 조합된 2D 영상 계열을 하나의 뷰(또는 하나의 계층)로 취급하고, 이 조합된 깊이 맵을 다른 뷰(또는 다른 계층)으로 취급한다.

당업자라면 여기서 설명된 본 발명의 교시에 따라서 본 발명의 원리를 여러 가지 대응 구현을 가지고 LDV 경우로 확장할 수 있음을 잘 알아야 한다.

공간 인터리빙은 병렬 방식, 상하 방식, 체크보드 방식, 행 인터리빙 방식, 열 인터리빙 방식 등일 수 있다.

앞서의 실시예들의 시그널링 방법들도 이들 실시예에 적용 또는 구성될 수 있다.

도 21은 본 발명의 실시예에 따라 3DV 포맷을 인코딩하는 예시적인 방법(2300)을 보여주는 흐름도이다. 도 21은 실시예 4와 관련된다. 단계(2305)에서, 몇 개의 3DV 성분에 대해 공간 인터리빙이 병렬 방식, 상하 방식, 체크보드 방식, 행 인터리빙 방식 또는 열 인터리빙 방식으로 실시된다. 단계(2310)에서, 공간 인터리빙된 3DV 성분을 MVC에서의 뷰로 취급할 것인지 여부를 판단한다. YES이면 제어는 단계(2315)로 넘어간다. NO이면 제어는 단계(2320)로 넘어간다. 단계(2315)에서, 인터리빙된 "뷰"들은 MVC 인코더로 인코딩된다. 단계(2320)에서, 공간 인터리빙된 3DV 성분을 SVC에서의 뷰로 취급할 것인지 여부를 판단한다. YES이면 제어는 단계(2325)로 넘어간다. NO이면 제어는 단계(2330)로 넘어간다. 단계(2325)에서, 인터리빙된 "계층"들은 SVC 인코더로 인코딩된다. 단계(2330)에서 프로세스는 다른 인코더를 위해 예비된다.

도 22는 본 발명의 실시예에 따라 3DV 포맷을 디코딩하는 예시적인 방법(2400)을 보여주는 흐름도이다. 도 22는 실시예 4와 관련된다. 단계(2405)에서, 공간 인터리빙된 3DV 성분을 MVC에서의 뷰로 취급할 것인지 여부를 판단한다. YES이면 제어는 단계(2410)로 넘어간다. NO이면 제어는 단계(2415)로 넘어간다. 단계(2410)에서, 인터리빙된 "뷰"들은 MVC 디코더로 디코딩된다. 단계(2415)에서, 공간 인터리빙된 3DV 성분을 SVC에서의 뷰로 취급할 것인지 여부를 판단한다. YES이면 제어는 단계(2420)로 넘어간다. NO이면 제어는 단계(2425)로 넘어간다. 단계(2420)에서, 인터리빙된 "계층"들은 SVC 디코더로 디코딩된다. 단계(2430)에서 프로세스는 다른 디코더를 위해 예비된다. 단계(2430)에서, 몇 개의 3DV 성분에 대해 공간 디인터리빙이 예컨대 병렬 방식, 상하 방식, 체크보드 방식, 행 인터리빙 방식 또는 열 인터리빙 방식으로 실시된다.

이상과 같이 특정 특징과 양상을 가진 하나 이상의 구현을 제공한다. 그러나 설명된 구현의 특징과 양상은 다른 구현을 위해 구성될 수도 있다.

게다가, 설명된 구현은 여러 가지 방식으로 구성될 수 있다. 예컨대 구현은 여러 가지 설명된 구현의 구문과 의미로 제공된 3DV 뷰의 수 및/또는 3DV 포맷 타입의 수를 확장할 수 있다. 그 외에도, 구현은 예측을 일시적으로 수행할 수 있다. 예컨대 3DV 성분은 (예컨대 도 8에서와 같은) 동일한 3DV 성분, (예컨대 도 10에서 좌측 3DV 뷰 내의 V3로부터 예측되는 우측 3DV 뷰 내의 V4에서와 같이) 다른 3DV 성분, 및/또는 다른 시덤에서 발생하는 다른 3DV 성분 내의 기준으로부터 예측될 수 있다. 예컨대 도 8의 좌측 깊이 영상(1005)은 앞서 발생한 3DV 뷰로부터의 좌측 깊이 영상인 기준으로부터 예측될 수 있다.

본 명세서에서 설명된 구현과 특징들 중 몇 가지는 H.264/MPEG-4 AVC(AVC) 표준, 또는 MVC 확장을 가진 AVC 표준, 또는 SVC 확장을 가진 AVC 표준과 관련하여 이용될 수 있다. 그러나, 이러한 구현과 특징은 (기존 또는 미래의) 다른 표준과 관련하여, 또는 표준이 아닌 상황에서도 이용될 수 있다. 이상과 같이 특정 특징과 양상을 가진 하나 이상의 구현을 제공한다. 그러나 설명된 구현의 특징과 양상은 다른 구현을 위해 구성될 수도 있다.

구현들은 SEI 메시지, 슬라이스 헤더, 다른 하이레벨 구문, 논하이레벨(non-high-level) 구문, 대역외 정보, 데이터스트림 데이터, 및 함축적 시그널링을 포함하는(이에 한정되는 것은 아님) 다양한 기법을 이용하야 정보를 표시할 수 있다. 따라서 여기서 설명된 구현은 특정 상황에서 설명될 수 있지만, 그러한 설명은 특징과 개념을 그와 같은 구현 또는 내용으로 한정하는 것으로 보아서는 않된다.

그 외에도, 많은 구현은 인코더, 디코더, 디코더로부터의 출력을 처리하는 후처리기 또는 인코더에의 입력을 제공하는 전처리기 중 하나 이상에서 구현될 수 있다. 더욱이 본 발명에서는 다른 구현도 생각해 낼 수 있다.

본 명세서에서 본 발명의 "일 실시예"나 "소정 실시예" 또는 "일 구현"이나 "소정 구현"이라는 말과 그 변형은 그 실시예와 관련하여 설명된 특정 형상, 구조, 특성 등이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서 본 명세서의 여러 곳에서 나타내는 "일 실시예에서"나 "소정 실시예에서" 또는 "일 구현에서"나 "소정 구현에서"라는 구절과 그 변형은 반드시 같은 실시예를 말하는 것은 아니다.

예컨대 "A/B", "A 및/또는 B" 및 "A와 B 중 적어도 어느 하나"의 경우에서 "/", "및/또는" 및 "적어도 어느 하나"를 사용하는 것은 첫번째 옵션 (A)만, 두번째 옵션 (B)만, 양 옵션 (A 및 B)를 선택하는 것을 포함하는 것임을 알아야 한다. 추가 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 어느 하나" 및 "A, B 또는 C 중 적어도 어느 하나"의 경우에 이러한 구절은 첫번째 옵션 (A)만, 두번째 옵션 (B)만, 세번째 옵션 (C)만, 첫번째 옵션 (A)와 두번째 옵션 (B)만, 첫번째 옵션 (A)와 세번째 옵션 (C)만, 두번째 옵션 (B)와 세번째 옵션 (C)만, 세가지 옵션 모두(A, B 및 C)를 선택하는 것을 포함하는 것이다. 이것은 당업자라면 쉽게 알 수 있는 바와 같이 더 많은 옵션에 대해서도 확장될 수 있다.

여기서 사용된 용어 "화상"과 "영상"은 상호 교환적으로 사용되며, 예컨대 스틸 이미지의 전부 또는 일부 또는 비디오 계열 중의 화상의 전부 또는 일부를 말할 수 있다. 더 일반적으로는 화상은 예컨대 화소, 마크로블록, 슬라이스, 프레임, 필드, 전 화상, 화상 내의 오브젝트를 둘러싸는 영역, 화상의 전경, 화상의 배경, 또는 화상 내의 특정 (x,y) 좌표 세트일 수 있다. 마찬가지로, 화상의 "일부"가 예컨대 화소, 마크로블록, 슬라이스, 프레임, 필드, 전 화상, 화상 내의 오브젝트를 둘러싸는 영역, 화상의 전경, 화상의 배경, 또는 화상 내의 특정 (x,y) 좌표 세트일 수 있다. 다른 예로서, 깊이 화상(깊이 영상)은 예컨대 해당 비디오 프레임의 단일 마크로블록에 대한 깊이 정보만을 포함하는 완전 깊이 맵 또는 부분 깊이 맵일 수 있다.

그 외에도, 본 출원 또는 그 청구범위는 각종 정보를 "결정"하는 것을 말할 수 있다. 정보를 결정하는 것은 예컨대 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것 또는 정보를 메모리로부터 검색하는 것 중 하나 이상을 포함할 수 있다.

유사하게, "액세스하는 것"은 광의의 용어로 쓰인다. 정보에 액세스하는 것은 예컨대 정보를 이용, 저장, 송출, 송신, 수신, 검색, 변경 또는 제공하는 동작을 포함할 수 있다.

여기서 설명되는 구현은 예컨대 방법 또는 프로세스, 장치 또는 소프트웨어 프로그램, 데이터 스트림, 또는 신호로서 구현될 수 있다. 단일 형태의 구현과 관련하여 설명되더라도(예컨대 방법만으로 설명되더라도), 설명된 특징의 구현은 다른 형태(예컨대 장치나 프로그램)로도 구현될 수 있다. 장치는 예컨대 적당한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 방법은 예컨대 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래머블 로직 장치를 포함하는 일반적으로 처리 장치를 말하는 프로세서와 같은 장치에서 구현될 수 있다. 처리 장치도 예컨대 컴퓨터, 셀폰, 휴대형/개인 정보 단말("PDA"), 기타 최종 수요자 간의 정보 통신을 가능하게 하는 다른 장치와 같은 통신 장치를 포함한다.

여기서 설명된 각종 프로세스와 특징의 구현은 특히 예컨대 데이터 인코딩 및 디코딩과 연관된 장비 또는 애플리케이션과 같은 여러 가지 장비나 애플리케이션에서 구체화될 수 있다. 장비의 예로는 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱 컴퓨터, 개인용 컴퓨터, 셀폰, PDA, 기타 다른 통신 장치, 개인 녹화 장치(예컨대 PVR, 녹화 소프트웨어 실행 컴퓨터, VHS 녹화 장치), 캠코더, 인터넷 또는 다른 통신 링크를 통한 데이터 스트리밍 및 비디오 온 디맨드가 있다. 명백히 장비는 모바일이며 차량에 설치될 수도 있다.

그 외에도, 방법은 프로세서에 의해 수행되는 명령어로 구현될 수 있으며, 그와 같은 명령어(및/또는 구현에 의해 생성된 데이터 값)는 예컨대 집적 회로, 소프트웨어 캐리어, 또는 예컨대 하드 디스크, 컴팩 디스켓, RAM(Random Acces Memory) 또는 ROM(Read-Only Memory)과 같은 다른 저장 장치와 같은 프로세서 판독가능 매체에 저장될 수 있다. 명령어는 프로세서 판독가능 매체에 유형적으로 구체화되는 애플리케이션 프로그램을 구성할 수 있다. 명령어는예컨대 하드웨어, 펌웨어, 소프트웨어 또는 그 조합일 수 있다. 명령어는 예컨대 운영 체제, 독립적인 애플리케이션 또는 이 둘의 조합에서 찾을 수 있다. 그러므로, 프로세서는 예컨대 프로세스를 실행하도록 구성된 장치와 프로세스를 실행하는 명령어들 가진 프로세서 판독 매체(저장 장치와 같은 것)를 포함하는 것을 특징으로 할 수 있다. 더욱이 프로세서 판독 매체는 명령어 이외에도 또는 명령어 대신에 구현에 의해 생성된 데이터 값을 저장할 수 있다.

당업자라면 잘 알겠지만, 구현은 예컨대 저장 또는 전송될 수 있는 정보를 갖도록 포맷팅된 신호를 생성할 수도 있다. 이러한 정보는 예컨대 방법을 실행하기 위한 명령어, 또는 전술한 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예컨대 신호는 설명된 실시예의 구문을 쓰거나 읽기 위한 규칙을 데이터로서 전달하거나 설명된 실시예에 의해 기록된 실제 구문값을 데이터로서 전달하도록 포맷될 수 있다. 그와 같은 신호는 예컨대 (예컨대 스펙트럼의 무선 주파수 부분을 이용하는) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수 있다. 이러한 포맷팅은 예컨대 데이터 스트림 인코딩과, 인코딩된 데이터 스트림을 이용한 반송파 변조를 포함할 수 있다. 신호가 갖고 있는 정보는 예컨대 안날로그 또는 디지털 정보일 수 있다. 이 신호는 공지의 다양한 유선 또는 무선 링크를 통해 전송될 수 있다. 이 신호는 프로세서 판독 매체에 저장될 수 있다.

많은 구현에 대해서 설명하였다. 그럼에도 불구하고 여러 가지 변형이 가능함을 알아야 한다. 예컨대 여러 가지 구현의 구성요소들은 조합, 보충, 변형 또는 제거되어 다른 구현을 만들어 낼 수 있다. 더욱이 동작들은 기능 블록들 간에서 서로 교환될 수 있다. 그 외에도, 당업자라면 다른 구조와 프로세스가 개시된 구조와 프로세스를 대체할 수 있으며 이렇게 해서 만들어진 구현은 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행하여 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 얻을 것이라는 것을 잘 알 것이다.

마찬가지로, 상기 구현의 설명에서 여러 가지 특징들은 때로는 발명의 내용을 간소화하고 여러 가지 양상들 중 하나 이상의 이해를 돕기위해 하나의 구현, 도면 또는 설명에서 그룹화되어 있다. 그러나 이러한 방법은 본 발명이 각 청구항에 명시적으로 기재된 더 많은 특징을 요구하는 의도를 반영하는 것으로 해석되어서는 않된다. 하기의 청구범위가 반영하고 있는 바와 같이, 발명적 양상은 하나의 전술한 실시예의 모든 특징보다 더 적을 수 있다. 따라서 청구항 각각도 독립적인 구현을 제공한다는 것을 알아야 한다.

Claims

특정 3D 비디오 포맷에 따라 관련되어 있는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하는 영상 세트를, 상기 영상 세트 내의 영상들 간의 중복(redundancy)을 이용하는 방식으로 인코딩하는 단계;
상기 영상들과 관련된 상기 특정 3D 비디오 포맷에 기초하여 상기 인코딩된 영상을 비트스트림 내에 특정 순서로 배열하는 단계; 및
시그널링 정보를 이용하여 상기 특정 순서를 표시하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 시그널링 정보는 SEI 메시지 또는 다른 하이레벨 구문에 포함된 방법.
제1항에 있어서,
상기 비트스트림은 the International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendation의 멀티뷰 비디오 코딩 확장 또는 스케일러블 비디오 코딩 확장 중 하나 이상에 부합하는 방법.
제1항에 있어서,
상기 특정 3D 비디오 포맷의 특정 성분은 하나 이상의 특정 뷰 또는 특정 계층에 할당되고, 상기 하나 이상의 특정 뷰 또는 특정 계층은 그들 간 중복을 이용하기 위해 다른 뷰 또는 다른 계층에 대한 기준으로 이용될 수 있는 방법.
제1항에 있어서,
상기 특정 3D 비디오 포맷은 상기 인코딩된 영상들이 배치될 수 있는 복수의 서로 다른 3D 비디오 포맷 중 하나이고, 상기 시그널링 정보는 상기 복수의 서로 다른 3D 비디오 포맷 중에서 특정 3D 비디오 포맷을 표시하는 방법.
제1항에 있어서,
상기 영상 세트는 2차원 비디오 영상과 대응 깊이 영상을 포함하는 방법.
제6항에 있어서,
상기 2차원 비디오 영상과 대응 깊이 영상은 제1 시점으로부터 나오고, 상기 영상 세트는 제2 시점으로부터의 다른 2차원 비디오 영상과 다른 깊이 영상을 더 포함하고, 상기 다른 깊이 영상은 상기 다른 2차원 비디오 영상에 대응하는 방법.
제6항에 있어서,
상기 영상 세트는 어클루전(occlusion) 비디오 영상과 어클루전 깊이 영상을 더 포함하는 방법.
제8항에 있어서,
상기 어클루전 비디오 영상과 어클루전 깊이 영상은 제1 시점으로부터 나오고, 상기 영상 세트는 제2 시점으로부터의 다른 어클루전 비디오 영상과 다른 어클루전 깊이 영상을 더 포함하고, 상기 다른 어클루전 깊이 영상은 상기 다른 어클루전 비디오 영상에 대응하는 방법.
특정 3D 비디오 포맷에 따라 관련되어 있는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하는 영상 세트를 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩하기 위한 수단;
상기 영상들과 관련된 상기 특정 3D 비디오 포맷에 기초하여, 상기 인코딩된 영상을 비트스트림 내에 특정 순서로 배열하기 위한 수단; 및
시그널링 정보를 이용하여 상기 특정 순서를 표시하기 위한 수단
을 포함하는 장치.
프로세서에게 적어도 다음의 단계들,
특정 3D 비디오 포맷에 따라 관련되어 있는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하는 영상 세트를 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩하는 단계;
상기 영상들과 관련된 상기 특정 3D 비디오 포맷에 기초하여, 상기 인코딩된 영상을 비트스트림 내에 특정 순서로 배열하는 단계; 및
시그널링 정보를 이용하여 상기 특정 순서를 표시하는 단계
를 수행하게 하는 명령어를 저장한 프로세서 판독가능 매체.
적어도 다음의 단계들,
특정 3D 비디오 포맷에 따라 관련되어 있는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하는 영상 세트를 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩하는 단계;
상기 영상들과 관련된 상기 특정 3D 비디오 포맷에 기초하여, 상기 인코딩된 영상을 비트스트림 내에 특정 순서로 배열하는 단계; 및
시그널링 정보를 이용하여 상기 특정 순서를 표시하는 단계
를 수행하도록 구성된 프로세서를 포함하는 장치.
특정 3D 비디오 포맷에 따라 관련되어 있는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하는 영상 세트를 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩하는 인코더(305);
상기 영상들과 관련된 상기 특정 3D 비디오 포맷에 기초하여, 상기 인코딩된 영상을 비트스트림 내에 특정 순서로 배열하는 비트스트림 멀티플렉서(360); 및
시그널링 정보를 이용하여 상기 특정 순서를 표시하는 메시지 컴포저(365)
를 포함하는 장치.
특정 3D 비디오 포맷에 따라 관련되어 있는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하는 영상 세트를 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩하는 인코더(305);
상기 영상들과 관련된 상기 특정 3D 비디오 포맷에 기초하여, 상기 인코딩된 영상을 비트스트림 내에 특정 순서로 배열하는 비트스트림 멀티플렉서(360);
시그널링 정보를 이용하여 상기 특정 순서를 상기 비트스트림에서 표시하는 메시지 컴포저(365); 및
상기 인코딩된 영상과 상기 시그널링 정보를 포함하는 신호를 변조하는 변조기(720)
를 포함하는 장치.
인코딩된 영상 세트를 포함하는 비트스트림에 액세스하는 단계로서, 상기 영상 세트는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하고, 상기 영상 세트는 특정 3D 비디오 포맷에 따라 관련되어 있고, 상기 영상 세트는 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩되는, 단계;
상기 인코딩된 영상 세트가 상기 비트스트림 내에 배열되는 특정 순서를 표시하는 시그널링 정보에 액세스하는 단계로서, 상기 특정 순서는 상기 영상 세트와 관련된 상기 특정 3D 비디오 포맷에 기초하는, 단계; 및
상기 시그널링 정보를 이용하여 상기 영상 세트를 디코딩하는 단계
를 포함하는 방법.
인코딩된 영상 세트를 포함하는 비트스트림에 액세스하기 위한 수단으로서, 상기 영상 세트는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하고, 상기 영상 세트는 특정 3D 비디오 포맷에 따라 관련되어 있고, 상기 영상 세트는 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩되는, 수단;
상기 인코딩된 영상 세트가 상기 비트스트림 내에 배열되는 특정 순서를 표시하는 시그널링 정보에 액세스하기 위한 수단으로서, 상기 특정 순서는 상기 영상 세트와 관련된 상기 특정 3D 비디오 포맷에 기초하는, 수단; 및
상기 시그널링 정보를 이용하여 상기 영상 세트를 디코딩하기 위한 수단
을 포함하는 장치.
프로세서에게 적어도 다음의 단계들,
인코딩된 영상 세트를 포함하는 비트스트림에 액세스하는 단계로서, 상기 영상 세트는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하고, 상기 영상 세트는 특정 3D 비디오 포맷에 따라 관련되어 있고, 상기 영상 세트는 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩되는, 단계;
상기 인코딩된 영상 세트가 상기 비트스트림 내에 배열되는 특정 순서를 표시하는 시그널링 정보에 액세스하는 단계로서, 상기 특정 순서는 상기 영상 세트와 관련된 상기 특정 3D 비디오 포맷에 기초하는, 단계; 및
상기 시그널링 정보를 이용하여 상기 영상 세트를 디코딩하는 단계
를 수행하게 하는 명령어를 저장한 프로세서 판독가능 매체.
적어도 다음의 단계들,
인코딩된 영상 세트를 포함하는 비트스트림에 액세스하는 단계로서, 상기 영상 세트는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하고, 상기 영상 세트는 특정 3D 비디오 포맷에 따라 관련되어 있고, 상기 영상 세트는 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩되는, 단계;
상기 인코딩된 영상 세트가 상기 비트스트림 내에 배열되는 특정 순서를 표시하는 시그널링 정보에 액세스하는 단계로서, 상기 특정 순서는 상기 영상 세트와 관련된 상기 특정 3D 비디오 포맷에 기초하는, 단계; 및
상기 시그널링 정보를 이용하여 상기 영상 세트를 디코딩하는 단계
를 수행하도록 구성된 프로세서를 포함하는 장치.
인코딩된 영상 세트를 포함하는 비트스트림에 액세스하기 위한 비트스트림 디멀티플렉서(460)로서, 상기 영상 세트는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하고, 상기 영상 세트는 특정 3D 비디오 포맷에 따라 관련되어 있고, 상기 영상 세트는 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩되는, 비트스트림 디멀티플렉서(460);
상기 인코딩된 영상 세트가 상기 비트스트림 내에 배열되는 특정 순서를 표시하는 시그널링 정보에 액세스하기 위한 메시지 파서(message parser, 465)로서, 상기 특정 순서는 상기 영상 세트와 관련된 상기 특정 3D 비디오 포맷에 기초하는, 메시지 파서(465); 및
상기 시그널링 정보를 이용하여 상기 영상 세트를 디코딩하는 디코더(405)
를 포함하는 장치.
제19항에 있어서,
비디오 인코더 또는 비디 디코더 중 적어도 하나에서 구현된 장치.
비트스트림을 포함하는 신호를 복조하기 위한 복조기(810)로서, 상기 비트스트림은 인코딩된 영상 세트를 포함하고, 상기 영상 세트는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하고, 상기 영상 세트는 특정 3D 비디오 포맷에 따라 관련되어 있고, 상기 영상 세트는 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩되는, 복조기(810);
상기 비트스트림에 액세스하기 위한 비트스트림 디멀티플렉서(460);
상기 인코딩된 영상 세트가 상기 비트스트림 내에 배열되는 특정 순서를 표시하는 시그널링 정보에 액세스하기 위한 메시지 파서(465)로서, 상기 특정 순서는 상기 영상 세트와 관련된 상기 특정 3D 비디오 포맷에 기초하는, 메시지 파서(465); 및
상기 시그널링 정보를 이용하여 상기 영상 세트를 디코딩하는 디코더(405)
를 포함하는 장치.
정보를 포함하도록 포맷되는 비디오 신호로서,
인코딩된 영상 세트가 비트스트림 내에 배열되는 특정 순서를 표시하는 시그널링 정보를 포함하는 시그널링부를 포함하고,
상기 특정 순서는 상기 영상 세트와 관련된 특정 3D 비디오 포맷에 기초하는,
비디오 신호.
제22항에 있어서,
상기 인코딩된 영상 세트를 포함하는 인코딩된 화상부를 더 포함하고,
상기 영상 세트는 비디오 영상과 상기 비디오 영상에 대응하는 깊이 영상을 포함하고, 상기 영상 세트는 상기 특정 3D 비디오 포맷에 따라 관련되어 있고, 상기 영상 세트는 상기 영상 세트 내의 영상들 간의 중복을 이용하는 방식으로 인코딩되는,
비디오 신호.
인코딩된 영상 세트가 비트스트림 내에 배열되는 특정 순서를 표시하는 시그널링 정보를 포함하는 시그널링부를 포함하고,
상기 특정 순서는 상기 영상 세트와 관련된 특정 3D 비디오 포맷에 기초하는,
비디오 신호 구조.
비디오 신호 구조가 저장된 프로세서 판독가능 매체로서,
상기 비디오 신호 구조는 인코딩된 영상 세트가 비트스트림 내에 배열되는 특정 순서를 표시하는 시그널링 정보를 포함하는 시그널링부를 포함하고,
상기 특정 순서는 상기 영상 세트와 관련된 특정 3D 비디오 포맷에 기초하는,
프로세서 판독 매체.