KR20080063323A

KR20080063323A - 스케일링가능한 비디오 코딩을 이용한 멀티-뷰 비디오 코딩

Info

Publication number: KR20080063323A
Application number: KR1020087009327A
Authority: KR
Inventors: 펭 인; 크리스티나 고밀라; 예핑 수
Original assignee: 톰슨 라이센싱
Priority date: 2005-10-19
Filing date: 2006-10-17
Publication date: 2008-07-03
Also published as: WO2007047736A3; KR101475527B1; CN101292538A; WO2007047736A2; US9131247B2; JP2009513074A; BRPI0616745A2; EP1946563A2; US20100165077A1; CN101292538B; JP5587552B2; MY159176A

Abstract

스케일링가능한 비디오 코딩을 이용하는 스테레오스코픽 비디오 코딩을 위한 방법 및 장치가 제공된다. 스케일링가능한 비디오 인코더는 적어도 2개의 뷰 중 특정 뷰를 베이스 레이어로서 인코딩하고, 특정 뷰 및 적어도 하나의 다른 뷰 중 적어도 하나에 대응하는 하위 레이어로부터의 예측을 이용하여 적어도 2개의 뷰 중 적어도 하나의 다른 뷰의 각각을 인핸스먼트 레이어로서 인코딩함으로써, 멀티-뷰 비디오 컨텐트에 대응하는 적어도 2개의 뷰를 인코딩하기 위한 인코더(100)를 포함한다. 적어도 2개의 뷰는 시간, 공간 및 신호 대 잡음비 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩된다.

비디오 코딩, 멀티뷰, 베이스 레이어, 인핸스먼트 레이어, 스케일러빌리티

Description

스케일링가능한 비디오 코딩을 이용한 멀티-뷰 비디오 코딩{MULTI-VIEW VIDEO CODING USING SCALABLE VIDEO CODING}

관련 출원에 대한 상호 참조

본 출원서는 여기에 참고로 그 전체가 첨부된, 2005년 10월 19일 출원되고 발명의 명칭이 "METHOD AND APPARATUS FOR STEREOSCOPIC VIDEO USING SCALABLE VIDEO CODEC"인 미국 임시특허출원 번호 제60/728,141호의 이익을 청구한다.

본 발명은 일반적으로는 비디오 인코딩 및 디코딩에 관한 것으로, 특히 스케일링가능한 비디오 코딩을 이용한 멀티-뷰 비디오 코딩(MVC)을 위한 방법 및 장치에 관한 것이다.

3차원(3-D) 비디오로도 지칭되는 스테레오스코픽 비디오는 표시된 이미지에 대해 깊이의 환영을 일으킨다. 깊이 인지를 일으키기 위한 하나의 방법은 2개의 다른 2차원(2-D) 이미지를 표시하면서, 양쪽 눈이 양안시로 자연스럽게 받아들이는 원근화법과 유사하게, 각 이미지가 동일한 오브젝트를 2개의 원근화법으로 표현하는 것이 있다.

시장에서 다수의 고품질 스테레오스코픽 디스플레이의 등장에 따라, 우수한 코딩 효율 및 합리적인 코딩 복잡도를 가지는 스테레오스코픽 비디오에 대한 압축 솔루션을 제공하는 것이 바람직하다.

최근, 스테레오스코픽 비디오를 압축하기 위한 효율적인 방법의 설계에 많은 노력이 투입되었다. 종래의 모노스코픽 압축 방법이 스테레오 이미지 쌍의 좌측 및 우측 뷰에 독립적으로 적용될 수 있다. 그러나, 뷰들간의 높은 상관이 활용된다면, 더 높은 압축 비율이 달성될 수 있다.

스테레오스코픽 이미지 쌍의 양쪽 뷰들이 인코딩되는 종래 기술 접근법과 관련하여, 표준화를 위한 국제 기구/국제 전기기술 위원회(ISO/IEC) 동화상 전문가 그룹-2(MPEG-2) 표준에서는 비디오 신호 쌍을 송신하는데, 멀티-뷰 프로파일(MVP)이 정의되었다. MVP는 하나의 뷰(종종 좌측 뷰)는 베이스 레이어에 할당되고 나머지 뷰는 인핸스먼트 레이어에 인가되는 멀티-레이어 신호 표현 접근법에 의존한다. 메인 프로파일(MP)과 동일한 툴을 가지는 모노스코픽 코딩은 베이스 레이어에 적용된다. 인핸스먼트 레이어는 시간 스케일러빌리티 툴, 및 모션 및 디스패리티 필드의 하이브리드 예측을 이용하여 코딩된다.

표준화를 위한 국제화 기구/국제 전기기술 위원회(ISO/IEC) 동화상 전문가 그룹-4(MPEG-4) 파트 10 진보된 비디오 코딩(AVC) 표준/국제 통신 협회, 통신 섹터(ITU-T) H.264 표준(이하에서는, "MPEG4/H.264 표준"또는 단순히 "H.264"표준)과 관련된 종래 기술에 따른 방법에서, 스테레오스코픽 비디오 코딩은 2가지 다른 방식, 즉 (i) 인터레이싱된 이미지 코딩의 특별한 경우로서, 특정 패리티의 모든 필드가 좌측 뷰에 할당되고 반대 패리티의 모든 필드는 스테레오-뷰 컨텐트의 우측 뷰로 간주되는 방식, 또는 다르게는 (ii) 프레임을 좌측 및 우측 뷰로부터 교대시 킴으로써 하나의 모노스코픽 비디오 시퀀스를 생성하는 방식으로 수행될 수 있다. 스테레오비전 부가 인핸스먼트 정보(SEI) 메시지는 코딩된 비디오 시퀀스가 스테레오스코픽 컨텐트를 표현하고 있는지 여부 및 대응하는 컨텐트를 인코딩하는 어느 방법이 이용되었는지에 대한 표시를 디코더에게 제공한다.

이전에 알려진 이들 방법들은 현재의 모노스코픽 코딩 기술의 최소의 변형을 필요로 한다. 그러나, 이들은 스테레오스코픽 쌍의 2개의 뷰들간에 존재하는 리던던시를 줄이기 위한 제한된 능력을 보여주고 있다. 결과적으로, 스테레오-뷰의 인코딩은 단일 모노스코픽 뷰의 인코딩과 비교할 때 큰 오버헤드로 나타나게 된다. 이러한 문제는 제한된 송신 대역폭을 가지는 소비자 어플리케이션에 대해 스테레오비전의 확산을 막아왔다.

다른 종래 기술 방법들은 하나의 뷰 플러스 일부 "추가적인 3-D 정보"에 대해 인코딩이 수행되는 방법을 포함한다. 스테레오스코픽 컨텐트를 코딩하는 이러한 더 일반적이고 단순한 접근법은 하나의 단일 뷰 플러스 일부 추가적인 3-D 정보를 인코딩하여 수신자가 스테레오스코픽 쌍의 제2 뷰를 렌더링할 수 있게 하는 것이다. 전통적으로, 송신된 3-D 정보는 깊이 및/또는 패리티 맵에 의해 표현된다. 깊이 맵은 각 픽셀에 깊이 값이 할당되는 3-D 장면의 2-D 이미지 표현을 포함한다. 픽셀 값의 차이는 3D 장면에서 깊이의 차이에 대응한다. 종종, 깊이 데이터는 휘도 채널 단독 비디오 스트림으로서 인코딩된다.

MPEG-4 파트 2에서, 비디오 오브젝트 구문은 모션-보상된 DCT를 이용하여 그레이-레벨 이미지로서 코딩되는 소위 복수의 보조 컴포넌트(MAC)를 포함한다. 비 디오 오브젝트의 모션 벡터들은 그 보조 컴포넌트의 모션 보상에 이용될 것이다. 보조 컴포넌트의 하나의 유용성은 깊이 또는 디스패리티 맵 데이터를 코딩하는 것이다. 그러나, 보조 컴포넌트가 비디오 오브젝트의 휘도 컴포넌트와 동일한 크기를 가져야 한다는 제한이 존재한다. 이전의 방법은 MPEG-2 MVP와 비교할 때 개선된 성능을 보여주고 있다. 그러나, MPEG-4 파트 2 표준은 MPEG-4 파트 10의 우수한 코딩 이득 및 제안된 오브젝트 지향된 코딩 방법의 높은 복잡성으로 인해 산업계에서는 성공적으로 채용되고 있지 않다.

종래 기술의 이들 및 다른 불리한 점 및 단점들은 스케일링가능한 비디오 코딩을 이용한 멀티-뷰 비디오 코딩(MVC)을 위한 방법 및 장치에 관한 것인 본 발명에 의해 어드레싱된다.

본 원리의 하나의 양태에 따르면, 스케일링가능한 비디오 인코더가 제공된다. 스케일링가능한 비디오 인코더는 적어도 2개의 뷰 중 특정 뷰를 베이스 레이어로서 인코딩하고, 특정 뷰 및 적어도 하나의 다른 뷰 중 적어도 하나에 대응하는 하위 레이어로부터의 예측을 이용하여 적어도 2개의 뷰 중 적어도 하나의 다른 뷰의 각각을 인핸스먼트 레이어로서 인코딩함으로써, 멀티-뷰 비디오 컨텐트에 대응하는 적어도 2개의 뷰를 인코딩하는 인코더를 포함한다. 적어도 2개의 뷰는 시간, 공간 및 신호 대 잡음비 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩된다.

본 원리의 다른 양태에 따르면, 스케일링가능한 비디오 인코딩을 위한 방법이 제공된다. 방법은 적어도 2개의 뷰 중 특정 뷰를 베이스 레이어로서 인코딩하고, 특정 뷰 및 적어도 하나의 다른 뷰 중 적어도 하나에 대응하는 하위 레이어로부터의 예측을 이용하여 적어도 2개의 뷰 중 적어도 하나의 다른 뷰의 각각을 인핸스먼트 레이어로서 인코딩함으로써, 멀티-뷰 비디오 컨텐트에 대응하는 적어도 2개의 뷰를 인코딩하는 단계를 포함한다. 적어도 2개의 뷰는 시간, 공간 및 신호 대 잡음비 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩된다.

본 원리의 또 다른 양태에 따르면, 스케일링가능한 비디오 디코딩을 위한 스케일링가능한 비디오 디코더가 제공된다. 스케일링가능한 비디오 디코더는 적어도 2개의 뷰 중 특정 뷰를 베이스 레이어로서 디코딩하고, 특정 뷰 및 적어도 하나의 다른 뷰 중 적어도 하나에 대응하는 하위 레이어로부터의 예측을 이용하여 적어도 2개의 뷰 중 적어도 하나의 다른 뷰의 각각을 인핸스먼트 레이어로서 디코딩함으로써, 멀티-뷰 비디오 컨텐트에 대응하는 적어도 2개의 뷰를 디코딩하는 디코더를 포함한다. 적어도 2개의 뷰는 시간, 공간 및 신호 대 잡음비 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 디코딩된다.

본 원리의 또 다른 양태에 따르면, 스케일링가능한 비디오 디코딩을 위한 방법이 제공된다. 방법은 적어도 2개의 뷰 중 특정 뷰를 베이스 레이어로서 디코딩하고, 특정 뷰 및 적어도 하나의 다른 뷰 중 적어도 하나에 대응하는 하위 레이어로부터의 예측을 이용하여 적어도 2개의 뷰 중 적어도 하나의 다른 뷰의 각각을 인핸스먼트 레이어로서 디코딩함으로써, 멀티-뷰 비디오 컨텐트에 대응하는 적어도 2개의 뷰를 디코딩하는 단계를 포함한다. 적어도 2개의 뷰는 시간, 공간 및 신호 대 잡음비 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 디코딩된다.

본 원리의 추가 양태에 따르면, 스케일링가능한 비디오 인코딩을 위한 비디오 신호 구조가 제공된다. 비디오 신호 구조는 베이스 레이어로서 인코딩되는 적어도 2개의 뷰 중 특정 뷰, 및 특정 뷰 및 적어도 하나의 다른 뷰 중 적어도 하나에 대응하는 하위 레이어로부터의 예측을 이용하여 인핸스먼트 레이어로서 인코딩되는 적어도 2개의 뷰 중 적어도 하나의 다른 뷰를 포함한다. 적어도 2개의 뷰는 멀티-뷰 비디오 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩된다.

본 원리의 더 추가적인 양태에 따르면, 스케일링가능한 비디오 신호 데이터가 그 내부에서 인코딩되는 저장 매체가 제공된다. 스케일링가능한 비디오 신호 데이터는 베이스 레이어로서 인코딩되는 적어도 2개의 뷰 중 특정 뷰, 및 특정 뷰 및 적어도 하나의 다른 뷰 중 적어도 하나에 대응하는 하위 레이어로부터의 예측을 이용하여 인핸스먼트 레이어로서 인코딩되는 적어도 2개의 뷰 중 적어도 하나의 다른 뷰를 포함한다. 적어도 2개의 뷰는 멀티-뷰 비디오 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩된다.

본 원리의 추가적인 양태에 따르면, 스케일링가능한 비디오 인코더가 제공된다. 스케일링가능한 비디오 인코더는 제1 스테레오스코픽 뷰를 베이스 레이어로서 인코딩하고, 제1 스테레오스코픽 뷰로부터의 예측을 이용하여 깊이 맵 및 디스패리티 맵 중 적어도 하나를 인핸스먼트 레이어로서 인코딩하기 위한 인코더를 포함한다. 제1 스테레오스코픽 뷰, 및 깊이 맵과 디스패리티 맵의 적어도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩된다.

본 원리의 다른 양태에 따르면, 스케일링가능한 비디오 인코딩을 위한 방법이 제공된다. 방법은 제1 스테레오스코픽 뷰를 베이스 레이어로서 인코딩하는 단계, 및 제1 스테레오스코픽 뷰로부터의 예측을 이용하여 깊이 맵 및 디스패리티 맵 중 적어도 하나를 인핸스먼트 레이어로서 인코딩하는 단계를 포함한다. 제1 스테레오스코픽 뷰, 및 깊이 맵과 디스패리티 맵의 적어도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩된다.

본 원리의 또 다른 양태에 따르면, 스케일링가능한 비디오 디코더가 제공된다. 스케일링가능한 비디오 디코더는 제1 스테레오스코픽 뷰를 베이스 레이어로부터 디코딩하고, 제1 스테레오스코픽 뷰로부터의 예측을 이용하여 깊이 맵 및 디스패리티 맵 중 적어도 하나를 인핸스먼트 레이어로부터 디코딩하기 위한 디코더를 포함한다. 제1 스테레오스코픽 뷰, 및 깊이 맵과 디스패리티 맵의 적어도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 디코딩된다.

본 원리의 또 다른 양태에 따르면, 스케일링가능한 비디오 디코딩을 위한 방법이 제공된다. 방법은 제1 스테레오스코픽 뷰를 베이스 레이어로부터 디코딩하는 단계, 및 제1 스테레오스코픽 뷰로부터의 예측을 이용하여 깊이 맵 및 디스패리티 맵 중 적어도 하나를 인핸스먼트 레이어로부터 디코딩하는 단계를 포함한다. 제1 스테레오스코픽 뷰, 및 깊이 맵과 디스패리티 맵의 적어도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 디코딩된다.

본 원리의 더 추가적인 양태에 따르면, 스케일링가능한 비디오 인코딩을 위한 비디오 신호 구조가 제공된다. 비디오 신호 구조는 베이스 레이어로서 인코딩되는 제1 스테레오스코픽 뷰, 및 제1 스테레오스코픽 뷰로부터의 예측을 허용하는 인핸스먼트 레이어로서 인코딩되는 깊이 맵 및 디스패리티 맵 중 적어도 하나를 포함한다. 제1 스테레오스코픽 뷰, 및 깊이 맵과 디스패리티 맵의 적어도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩된다.

본 원리의 추가적인 양태에 따르면, 스케일링가능한 비디오 신호 데이터가 그 위에 인코딩되는 저장 매체가 제공된다. 스케일링가능한 비디오 신호 데이터는 베이스 레이어로서 인코딩되는 제1 스테레오스코픽 뷰, 및 제1 스테레오스코픽 뷰로부터의 예측을 허용하는 인핸스먼트 레이어로서 인코딩되는 깊이 맵 및 디스패리티 맵 중 적어도 하나를 포함한다. 제1 스테레오스코픽 뷰, 및 깊이 맵과 디스패리티 맵의 적어도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩된다.

본 발명의 이들 및 다른 양태들, 특징들 및 장점들은 첨부된 도면과 관련하여 읽어져야 하는 예로 든 실시예의 이하의 상세한 설명으로부터 명백하게 될 것이다.

본 발명은 이하의 예로 든 도면에 따라 더 잘 이해될 것이다.

도 1은 본 원리가 적용되는 죠인트 스케일링가능한 비디오 모델(JSVM) 3.0 인코더의 예에 대한 블록도를 도시하고 있다.

도 2는 본 원리가 적용되는 디코더의 예에 대한 블록도를 도시하고 있다.

도 3은 각 차원에 대해 1/2과 동일한 스케일링 인자에 대한 SVC 공간 스케일러빌리티에서 레이어간 예측을 위한 매크로블록 매핑의 예에 대한 도이다.

도 4는 본 원리의 예로 든 제1 실시예에 따라 스테레오스코픽 컨텐트의 스테레오스코픽 뷰 쌍을 인코딩할 수 있는 스케일링가능한 비디오 인코딩을 위한 방법에 대한 도이다.

도 5는 본 원리의 예로 든 제1 실시예에 따라 스테레오스코픽 컨텐트의 스테레오스코픽 뷰 쌍을 디코딩할 수 있는 스케일링가능한 비디오 디코딩을 위한 방법에 대한 도이다.

도 6은 본 발명의 예로 든 제2 실시예에 따라 스테레오스코픽 컨텐트의 스테레오스코픽 뷰 쌍을 인코딩할 수 있는 스케일링가능한 비디오 인코딩을 위한 방법에 대한 도이다.

도 7은 본 원리의 예로 든 제2 실시예에 따라 스테레오스코픽 컨텐트의 스테 레오스코픽 뷰 쌍을 디코딩할 수 있는 스케일링가능한 비디오 디코딩을 위한 방법에 대한 도이다.

도 8은 본 발명의 예로 든 실시예에 따라 인핸스먼트 레이어에서 매크로블록을 인코딩하기 위한 스케일링가능한 비디오 코딩 방법이다.

도 9는 본 발명의 예로 든 실시예에 따라 인핸스먼트 레이어에서 매크로블록을 디코딩하기 위한 스케일링가능한 비디오 디코딩 방법이다.

본 발명은 스케일링가능한 비디오 코딩을 이용한 멀티-뷰 비디오 코딩(MVC)을 위한 방법 및 장치에 관한 것이다. 예시의 목적상, 본 발명의 예로 든 실시예들은 스테레오스코픽(2-뷰) 비디오 컨텐트와 관련하여 기재된다. 그러나, 여기에 제공된 본 원리의 사상들이 주어지는 경우, 본 기술분야 및 관련분야의 통상의 기술자라면, 본 발명의 범주를 유지하면서도 2개 이상의 뷰에 대응하는 멀티-뷰 비디오 컨텐트에 본 원리들을 용이하게 확장할 수 있을 것이다.

본 설명은 본 발명의 원리를 예시하고 있다. 그러므로, 본 기술분야의 숙련자라면 여기에 명시적으로 기재되거나 도시되어 있지 않지만 본 발명의 원리들을 실시하고 그 사상 및 범주 내에 포함되는 다양한 배열들을 고안할 수 있을 것이라는 것은 자명하다.

여기에 인용된 모든 예들 및 조건어들은 발명자에 의해 본 기술분야를 촉진하는데 기여하는 본 발명의 원리 및 개념을 독자들이 이해하는데 도움을 주는 교육적 목적으로 의도된 것이고, 그러한 구체적으로 인용된 예들 및 조건들에 대한 제 한없는 것으로 받아들여야 한다.

그 특정 예들 뿐만 아니라 본 발명의 원리, 양태 및 실시예를 여기에서 인용하는 모든 언급들은 그 구조적 및 기능적 등가물을 모두 포함하려는 것이다. 추가적으로, 그러한 등가물들은 현재에 알려진 등가물뿐만 아니라, 장래에 개발되는 등가물, 즉 구조에 관계없이 동일한 기능을 수행하도록 개발되는 임의의 구성요소도 포함하도록 하는 것이다.

그러므로, 예를 들면 본 기술분야의 숙련자라면, 여기에 제공된 블록도가 본 발명의 원리를 실시하는 예시적 회로의 개념도를 나타낸다는 것을 잘 알고 있을 것이다. 유사하게, 임의의 플로우차트, 흐름도, 상태 변이도, 의사코드 등이 컴퓨터 판독가능 매체에서 실질적으로 표현되고 따라서 그러한 컴퓨터 또는 프로세서가 명시적으로 도시되어 있는지 여부에 관계없이 컴퓨터 또는 프로세서에 의해 실행되는 다양한 프로세스를 나타낸다는 것도 잘 알고 있을 것이다.

도면에 도시된 다양한 실시예들의 기능들은 적절한 소프트웨어와 연관되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공되는 경우에, 기능들은 단일 전용 프로세서, 단일 공유 프로세서, 또는 이들 중 일부는 공유될 수 있는 복수의 개별적인 프로세서들에 의해 제공될 수 있다. 더구나, 용어 "프로세서"또는 "컨트롤러"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 독점적으로 지칭하는 것으로 간주되어서는 안 되고, 제한없이 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 및 비휘발성 저장장치를 함축적으로 포함한다.

다른 하드웽, 종래 및/또는 관례들이 또한 포함된다. 유사하게, 도면들에 도시된 임의의 스위치들은 단지 개념적이다. 그 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 컨트롤과 전용 로직의 인터액션을 통해, 또는 심지어 수동으로 수행될 수 있고, 특정 기술은 컨텍스트로부터 더 구체적으로 이해된 구현자에 의해 선택가능하다.

그 청구의 범위에서, 특정 기능을 수행하기 위한 수단으로 표현된 임의의 구성요소는, 예를 들면 a) 그 기능을 수행하는 회로 소자의 조합 또는 b) 그러므로 펌웨어, 마이크로코드 등을 포함하는 임의의 형태로 된 소프트웨어를 포함하는 그 기능을 수행하는 임의의 방식을 포함하려는 것이다. 그러한 청구의 범위에 의해 정의되는 본 발명은, 다양한 인용된 수단에 의해 제공되는 기능들이 조합되고 청구의 범위가 요구하는 방식으로 뭉쳐진다는 사실에 있다. 따라서, 이들 기능들을 제공하는 임의의 수단들이 여기에 도시된 것들과 등가라는 것이 고려된다.

도 1로 돌아가면, 본 발명이 적용되는 죠인트 스케일링가능한 비디오 모델 버전 3.0(이하에서는 "JSVM3.0") 인코더의 예가 일반적으로 참조번호 100으로 표시된다. JSVM3.0 인코더(100)는 3개의 공간 레이어 및 모션 보상된 시간 필터링을 이용한다. JSVM 인코더(100)는 2차원(2D) 데시메이터(104), 2D 데시메이터(106), 및 모션 보상된 시간 필터링(MCTF) 모듈(108)을 포함하고, 각각이 비디오 신호 데이터(102)에 대한 입력을 가지고 있다.

2D 데시메이터(106)의 출력은 MCTF 모듈(110)의 입력과 신호 통신 상태로 접 속된다. MCTF 모듈(110)의 제1 출력은 모션 코더(112)의 입력과 신호 통신 상태로 접속되고, MCTF 모듈(110)의 제2 출력은 예측 모듈(116)의 입력과 신호 통신 상태로 접속된다. 모션 코더(112)의 제1 출력은 멀티플렉서(114)의 제1 입력과 신호 통신 상태로 접속된다. 모션 코더(112)의 제2 출력은 모션 코더(124)의 제1 입력과 신호 통신 상태로 접속된다. 예측 모듈(116)의 제1 출력은 공간 트랜스포머(118)의 입력과 신호 통신 상태로 접속된다. 공간 트랜스포머(118)의 출력은 멀티플렉서(114)의 제2 입력과 신호 통신 상태로 접속된다. 예측 모듈(116)의 제2 출력은 보간기(120)의 입력과 신호 통신 상태로 접속된다. 보간기의 출력은 예측 모듈(122)의 제1 입력과 신호 통신 상태로 접속된다. 예측 모듈(122)의 제1 출력은 공간 트랜스포머(126)의 입력과 신호 통신 상태로 접속된다. 공간 트랜스포머(126)의 출력은 멀티플렉서(114)의 제2 입력과 신호 통신 상태로 접속된다. 예측 모듈(122)의 제2 출력은 보간기(130)의 입력과 신호 통신 상태로 접속된다. 보간기(130)의 출력은 예측 모듈(134)의 제1 입력과 신호 통신 상태로 접속된다. 예측 모듈(134)의 출력은 공간 트랜스포머(136)과 신호 통신 상태로 접속된다. 공간 트랜스포머의 출력은 멀티플렉서(114)의 제2 입력과 신호 통신 상태로 접속된다.

2D 데시메이터(104)의 출력은 MCTF 모듈(128)의 입력과 신호 통신 상태로 접속된다. MCTF 모듈(128)의 제1 출력은 모션 코더(124)의 제2 입력가 신호 통신 상태로 접속된다. 모션 코더(124)의 제1 출력은 멀티플렉서(114)의 제1 입력과 신호 통신 상태로 접속된다. 모션 코더(124)의 제2 출력은 모션 코더(132)의 제1 입력과 신호 통신 상태로 접속된다. MCTF 모듈(128)의 제2 출력은 예측 모듈(122)의 제2 입력과 신호 통신 상태로 접속된다.

MCTF 모듈(108)의 제1 출력은 모션 코더(132)의 제2 입력과 신호 통신 상태로 접속된다. 모션 코더(132)의 출력은 멀티플렉서(114)의 제1 입력과 신호 통신 상태로 접속된다. MCTF 모듈(108)의 제2 출력은 예측 모듈(134)의 제2 입력과 신호 통신 상태로 접속된다. 멀티플렉서(114)의 출력은 출력 비트스트림(138)을 제공한다.

각 공간 레이어에 대해, 모션 보상된 시간 분해가 수행된다. 이러한 분해는 시간 스케일러빌리티를 제공한다. 하위 공간 레이어로부터의 모션 정보는 상위 레이어의 모션의 예측에 이용될 수 있다. 텍스쳐 코딩에 대해, 연속적인 공간 레이어들간의 공간 예측이 적용되어 리던던시를 제거할 수 있다. 인트라 예측 또는 모션 보상된 인터 예측으로부터 기인하는 잔여 신호는 변환 코딩된다. 품질 베이스 레이어 잔여신호는 각 공간 레이어에서 최소 재구성 품질을 제공한다. 이러한 품질 베이스 레이어는 어떠한 레이어간 예측도 적용되지 않는 경우에 H.264 표준 부합 스트림으로 인코딩될 수 있다. 품질 스케일러빌리티를 위해, 품질 인핸스먼트 레이어가 추가적으로 인코딩된다. 이들 인핸스먼트 레이어들은 조잡하거나 미세한 정도의 품질(SNR) 스케일러빌리티를 제공하도록 선택될 수 있다.

도 2로 돌아가면, 본 발명이 적용되는 스케일링가능한 비디오 디코더의 예가 일반적으로 참조번호 200으로 표시되어 있다. 디멀티플렉서(202)의 입력은 스케일링가능한 비트스트림을 수신하기 위한, 스케일링가능한 비디오 디코더(200)로의 입력으로서 가용하다. 디멀티플렉서(202)의 제1 출력은 공간 역변환 SNR 스케일링가 능한 엔트로피 디코더(204)의 입력과 신호 통신 상태로 접속된다. 공간 역변환 SNR 스케일링가능한 엔트로피 디코더(204)의 제1 출력은 예측 모듈(206)의 제1 입력과 신호 통신 상태로 접속된다. 예측 모듈(206)의 출력은 역 MCTF 모듈(208)의 제1 입력과 신호 통신 상태로 접속된다.

공간 역변환 SNR 스케일링가능한 엔트로피 디코더(204)의 제2 출력은 모션 벡터(MV) 디코더(210)의 제1 입력과 신호 통신 상태로 접속된다. MV 디코더(210)의 출력은 역 MCTF 모듈(208)의 제2 입력과 신호 통신 상태로 접속된다.

디멀티플렉서(202)의 제2 출력은 공간 역변환 SNR 스케일링가능한 엔트로피 디코더(212)의 입력과 신호 통신 상태로 접속된다. 공간 역변환 SNR 스케일링가능한 엔트로피 디코더(212)의 제1 출력은 예측 모듈(214)의 제1 입력과 신호 통신 상태로 접속된다. 예측 모듈(214)의 제1 출력은 보간 모듈(216)의 입력과 신호 통신 상태로 접속된다. 보간 모듈(216)의 출력은 예측 모듈(206)의 제2 입력과 신호 통신 상태로 접속된다. 예측 모듈(214)의 제2 출력은 역 MCTF 모듈(218)의 제1 입력과 신호 통신 상태로 접속된다.

공간 역변환 SNR 스케일링가능한 엔트로피 디코더(212)의 제2 출력은 MV 디코더(220)의 제1 입력과 신호 통신 상태로 접속된다. MV 디코더(220)의 제1 출력은 MV 디코더(210)의 제2 입력과 신호 통신 상태로 접속된다. MV 디코더(220)의 제2 출력은 역 MCTF 모듈(218)의 제2 입력가 신호 통신 상태로 접속된다.

디멀티플렉서(202)의 제3 출력은 공간 역변환 SNR 스케일링가능한 엔트로피 디코더(222)의 입력과 신호 통신 상태로 접속된다. 공간 역변환 SNR 스케일링가능 한 엔트로피 디코더(222)의 제1 출력은 예측 모듈(224)의 입력과 신호 통신 상태로 접속된다. 예측 모듈(224)의 제1 출력은 보간 모듈(226)의 입력과 신호 통신 상태로 접속된다. 보간 모듈(226)의 출력은 예측 모듈(214)의 제2 입력과 신호 통신 상태로 접속된다.

예측 모듈(224)의 제2 출력은 역 MCTF 모듈(228)의 제1 입력과 신호 통신 상태로 접속된다. 공간 역변환 SNR 스케일링가능한 엔트로피 디코더(222)의 제2 출력은 MV 디코더(230)의 입력과 신호 통신 상태로 접속된다. MV 디코더(230)의 제1 출력은 MV 디코더(220)의 제2 입력과 신호 통신 상태로 접속된다. MV 디코더(230)의 제2 출력은 역 MCTF 모듈(228)의 제2 입력과 신호 통신 상태로 접속된다.

역 MCTF 모듈(228)의 출력은 레이어 0 신호를 출력하기 위한, 디코더(200)의 출력으로서 가용하다. 역 MCTF 모듈(218)의 출력은 레이어 1 신호를 출력하기 위한, 디코더(200)의 출력으로서 가용하다. 역 MCTF 모듈(208)의 출력은 레이어 2 신호를 출력하기 위한, 디코더(200)의 출력으로서 가용하다.

공간, 시간 및 SNR 스케일러빌리티에 대해, 대규모의 레이어간 예측이 포함된다. 인트라 및 인터 매크로블록은 이전 레이어들의 대응하는 신호를 이용하여 예측될 수 있다. 더구나, 각 레이어의 모션 디스크립션은 이어지는 인핸스먼트 레이어에 대한 모션 디스크립션의 예측에 이용될 수 있다. 이들 기술들은 3가지 카테고리, 즉 레이어간 인트라 텍스쳐 예측, 레이어간 모션 예측 및 레이어간 잔여신호 예측에 포함된다.

본 원리들에 따르면, H.264 표준의 수정으로서 현재 개발되고 있는 스케일링 가능한 비디오 코딩(여기에서는 이하에 "H.264 SVC"또는 단순히 "SVC"로 지칭됨)과 함께 이용될 수 있는 스테레오스코픽 비디오를 인코딩하기 위한 2가지 실시예를 개시하고 있다. 제1 방법에 따르면, 스테레오스코픽 컨텐트는 뷰 쌍(좌측 및 우측 뷰, 또는 다르게는 제1 및 제2 스테레오스코픽 뷰)으로서 SVC로 인코딩된다. 제2 방법에 따르면, 스테레오스코픽 컨텐트는 하나의 뷰 플러스 깊이/패리티 맵으로서 SVC로 인코딩된다. 2가지 실시예의 각 방법에 대해, 새로운 메시지, 지시자, 등(예를 들면, 부가 인핸스먼트 정보(SEI) 메시지)은 스테레오스코픽 비디오 코딩에 이용되는 SVC 비트스트림을 나타내는데 이용된다.

본 원리들의 실시예들이 H.264 SVC와 관련하여 여기에 설명되지만, 본 기술분야 및 관련 기술분야의 숙련자라면 본 원리들이 그렇게 제한되지 않고 본 원리들의 범주를 유지하면서도 다른 비디오 코딩 표준(예를 들면, MPEG-2를 포함한 다양한 MPEG 표준을 포함하고 이들로 제한되지 않음)에 용이하게 적용될 수 있다는 것을 잘 알고 있다는 것은 자명하다.

제1 실시예에 따르면, 스케일링가능한 비디오 코딩 스킴에서 스테레오스코픽 이미지 쌍의 양쪽 뷰를 코딩하는 것은 하나의 뷰를 베이스 레이어로서 코딩하고 제2 뷰를 인핸스먼트 레이어에서 코딩함으로써 수행된다. 본 원리들과 MPEG-2 MVP 스킴간의 주요한 차이점은, 본 원리들은 2개의 뷰들이 단지 시간 스케일러빌리티만을 이용하여 코딩되는 것을 요구하지 않는다는 점이다. 그러므로, 본 원리들에 따르면, 스테레오스코픽 뷰들은 특정 어플리케이션 요구조건에 가용한 요구 및 효율에 따라, 시간, 공간 또는 SNR 스케일러빌리티로서 코딩된다(따라서 나중에 디코딩 된다). 예를 들면, 시간 스케일러빌리티는 최대 코딩 효율을 필요로 하는 경우에 더 적합하다. 공간/SNR 스케일러빌리티는 대응하는 어플리케이션이 2개의 뷰들 사이의 다른 공간 해상도/품질로부터 장점이 발휘될 수 있는 경우에 더 적합하다.

인핸스먼트 레이어를 디코딩하지 않고 비디오를 디코딩할 수 있도록 비-스테레오 디스플레이를 지원하고 다른 뷰가 다른 해상도를 가질 수 있도록 허용하기 위해, 공간 스케일러빌리티 어플리케이션에 대해, 제1 실시예의 하나의 예로 든 양태에서, 1보다 작거나 같은 스케일링 인자를 이용하는 것을 제안한다.

다른 카메라 뷰들간의 조도 및 색상 차이는 캡쳐된 스테레오스코픽 비디오에서는 통상적이다. 그러한 바람직하지 못한 차이의 원인은 낮은 카메라 컬리브레이션, 다른 광 투사 방향 및 다른 표면 반사 특성을 포함하고 이들로 제한되지 않는다. H.264 표준에서 원래 개발된 가중 예측(WP)은 2개의 뷰들간에 텍스쳐 예측이 관련된 경우에 조도/색상 차이를 보상하는 효율적인 툴이다. WP는 SVC로 지원되지만, 동일한 레이어 또는 시간 스케일러빌리티만을 허용한다. 그러므로, 제1 실시예의 하나의 예로 든 구현에 따르면, 제1 실시예에서 하나의 뷰를 베이스 레이어에서 그리고 제2 뷰를 인핸스먼트 레이어에서 코딩하므로, 시간 스케일러빌리티에 대해, SVC로 된 WP가 간단하게 교차 뷰 예측에 대한 코딩 효율에 장점을 제공할 수 있게 할 수 있다. 공간 또는 SNR 스케일러빌리티에 대해, Intra_BL 모드에 대한 WP 지원을 추가하는 것, 즉 인핸스먼트 레이어의 매크로블록과 베이스 레이어에서의 가중된 매크로블록간의 차이를 코딩하는 것을 제안한다.

여기에 기재된 제1 실시예를 지원하고 어느 뷰가 베이스 레이어에 대응하는 지를 지정하는 새로운 부가 인핸스먼트 정보(SEI) 메시지가 제공된다. SEI 메시지는 표 1에 도시되어 있다. 예를 들면, base_layer_is_left_view_flag가 1과 동일한 경우, 이것은 좌측 뷰가 베이스 레이어에서 코딩된다는 것을 나타낸다. 역으로, base_layer_is_left_view_flag가 0과 동일한 경우, 이것은 우측 뷰가 베이스 레이어에서 코딩된다는 것을 나타낸다.

svc_stereo_video_info(payloadSize){	C	디스크립터
base _ layer _ is _ left _ view _ flag	5	u(1)
}

유의할 점은, 이러한 메타 데이터가 디코딩 프로세스에 의해 요구되지 않으므로, 메타 데이터는 다른 구문 스펙에 따라 대역외로 송신될 수 있다는 점이다.

제2 실시예에 따르면, 하나의 뷰가 코딩되고 깊이 및/또는 디스패리티 맵이 인핸스먼트 레이어에서 이용되어, 깊이 맵을 디코딩하지 않고 비디오를 디코딩할 수 있는 종래의 비-스테레오 디스플레이를 지원한다. 어플리케이션 요구조건에 따라 공간 또는 SNR 스케일러빌리티를 적용할 수 있다. 깊이 맵은 더 낮은 해상도로 코딩될 수 있으므로, 공간 스케일러빌리티에서, 하나의 가능한 양호한 실시예는 1보다 작거나 같은 스케일링 인자를 이용한다.

제2 실시예를 지원하고 비-송신된 뷰의 렌더링 프로세스를 도와주도록 운반되는 추가적인 3-D 메타데이터를 제공하는 새로운 SEI 메시지가 제공된다. 특정 실시예에서, 송신된 메타데이터는 표 2에 도시된 바와 같은 2개의 파라미터(Nknear, Nkfar)를 포함한다. 이들 2개의 파라미터 및 깊이 맵으로, 정확한 픽셀 시차가 계산될 수 있고, 결과적으로 뷰어에 의해 보여지는 디스플레이에 대한 의도된 깊이 영향으로 나타나게 된다.

Nknear는 새롭게 렌더링된 뷰의 스크린 패러렐(screen parallel)을 계산하도록 적용되는 128로 정규화된 knear 비율 파라미터를 지정한다.

Nkfar는 새롭게 렌더링된 뷰의 스크린 패러렐을 계산하는데 적용되는 32로 정규화되는 kfar 비율 파라미터를 지정한다.

depth_map_descriptor(payloadSize){	C	디스크립터
Nknear	5	u(8)
Nkfar	5	u(8)
}

유의할 점은, 이러한 메타 데이터는 디코딩 프로세스에 의해 요구되지 않으므로 메타 데이터는 다른 구문 스펙에 따라 대역외로 송신될 수 있다는 점이다.

깊이 맵 및 하나의 코딩된 뷰(예를 들면 좌측 뷰)를 이용하여 나머지 비-송신된 뷰(예를 들면, 우측 뷰)를 구성하는 하나의 주요한 문제점은, 좌측 뷰에서 폐쇄된 영역들이 우측 뷰에서는 보여질 수 있다는 점이다. 이것은 우측 뷰에 홀(hole)을 만들 수 있다. 다른 문제점은, 좌측 뷰 및 깊이 맵이 손실형으로 코딩되기 때문에, 재구성된 우측 뷰와 원래의 우측 뷰 사이에 에러가 존재한다는 점이다. 비-송신된 뷰의 품질을 개선하기 위해, 부가적인 SNR 레이어가 추가될 수 있다. 부가적인 SNR 레이어는 SEI 메시지와 조합되고, 따라서 디코더는 세부화(refinement)가 재구성된 비-코딩된 뷰에 기초하고 있다는 것을 알고 있을 것이다.

유의할 점은, 현재 SVC(죠인트 스케일링가능한 비디오 모델 3(JSVM3)을 이용함)에서, 공간 스케일러빌리티는 단지 1보다 크거나 같은 해상도 스케일링을 핸들링한다는 점이다. 본 발명에 따르면, 레이어간 예측은 1보다 작은 해상도 스케일링을 지원하는데 이용된다.

레이어간 예측에 대해, 1보다 작은 해상도 스케일링에 대한 공간 스케일러빌리티를 핸들링하는데 이하의 이슈들, 즉 (1) 혼합된-블록 처리, (2) 매크로블록 타입 매핑, (3) 모션 벡터 스케일링, (4) 텍스쳐 스케일링이 어드레싱되어야 한다. 공간 해상도 트랜스코딩과 관련된 것들을 포함하여, 새롭거나 종래의 기술이 이들 이슈들을 어드레싱하는데 이용될 수도 있다.

단순화를 위해, SVC가 스케일링 인자가 2^∧(-n)[여기에서, n>0]가 되도록 지원하는 것만을 허용한다. 도 3으로 돌아가면, 각 차원에 대해 1/2과 동일한 스케일링 인자에 대한 SVC 공간 스케일러빌리티에서 레이어간 예측을 위한 매크로블록 매핑의 예는 참조번호 300으로 일반적으로 표시된다. 그러한 예에서, 인핸스먼트 레이어의 4개의 매크로블록은 베이스 레이어의 4개의 매크로블록과 대응한다. 이들 4개의 매크로블록들이 다른 인트라/인터 모드를 가지고 있고 SVC는 하나의 매크로블록에서 혼합 모드를 허용하지 않으므로, 레이어간 예측에서 인핸스먼트 레이어의 매크로블록에 어느 모드가 이용되어야 하는지를 결정해야 한다. 우리는 매크로블록이 강제로 인터 모드가 되도록 제안하고, 인트라-매크로블록의 모션 벡터(MV) 및 이산 코사인 변환(DCT) 나머지가 제로가 된다고 가정한다. 매크로블록 타입 매핑에 대해, SVC의 최소 파티션이 4x4이지만 2에 의한 다운스케일링은 결과적으로 2x2만큼 작은 파티션으로 나타나게 되므로, 우리는 각 4개의 2x2 파티션을 하나의 4x4 파티션으로 그룹화하는 것을 제안한다. 각 4x4 파티션에 대한 MV는 대응하는 8x8 서브-매크로블록의 코너의 MV에 설정된다. 기준 픽쳐 인덱스에 대해, 우리는 각 4개의 4x4 파티션을 하나의 8x8 파티션으로 그룹화한다. 기준 픽쳐는 연관된 매크로블록의 코너에 할당된다. 모션 벡터 스케일링에 대해, MVE=(MVB+1)>>1이고, 여기에서 MVE는 인핸스먼트 레이어 모션 벡터이며, MVB는 대응하는 베이스 레이어 모션 벡터이다. 나머지와 관련된 텍스쳐 다운스케일링에 대해, 우리는 간단한 평균법을 이용할 수 있다. 공간 텍스쳐에 대해, 우리는 간단한 평균법 또는 JSVM에 현재 이용되는 MPEG-4 다운스케일링 기능을 이용할 수 있다. 2^∧(-n)의 스케일링 인자에 대해, 우리는 1/2(n회)만큼 반복적으로 스케일링할 수 있다.

여기에 이용되는 바와 같이, 용어 "깊이/디스패리티 맵"은 하나 이상의 깊이 맵 및/또는 하나 이상의 디스패리티 맵을 지칭하는 것으로 간주하는 것은 자명하다.

도 4 및 5는 본 원리의 제1 실시예에 대응한다.

도 4로 돌아가면, 스테레오스코픽 컨텐트의 스테레오스코픽 뷰 쌍을 인코딩할 수 있는 스케일링가능한 비디오 인코딩을 위한 방법은 참조번호 400으로 일반적으로 표시되어 있다. 방법(400)은 제어를 결정 블록(410)에 패싱하는 시작 블록(405)를 포함한다. 결정 블록(410)은 스테레오스코픽 컨텐트의 좌측 뷰를 베이스 레이어로서 코딩할지 여부를 결정한다. 그렇다면, 제어는 기능 블록(415)으로 패싱된다. 그렇지 않은 경우, 제어는 기능 블록(425)으로 패싱된다.

기능 블록(415)은 base_layer_is_left_view_flag를 1과 동일하게 설정하고, base_layer_is_left_view_flag를 부가 인핸스먼트 정보(SEI) 메시지에 기록하며, 제어를 기능 블록(420)에 패싱한다. 기능 블록(420)은 좌측 뷰를 베이스 레이어로, 우측 뷰를 인핸스먼트 뷰로 코딩하고, 제어를 종료 블록(435)으로 패싱한다.

기능 블록(425)은 base_layer_is_left_view_flag를 제어와 동일하게 설정하고, base_layer_is_left_view_flag를 SEI 메시지에 기록하며, 제어를 기능 블록(430)으로 패싱한다. 기능 블록(430)은 SNR, 공간 및/또는 시간 스케일러빌리티를 이용하여, 우측 뷰를 베이스 레이어로, 좌측 뷰를 인핸스먼트 레이어로 코딩하고, 제어를 종료 블록(435)에 패싱한다.

도 5로 돌아가면, 스테레오스코픽 컨텐트의 스테레오스코픽 뷰 쌍을 디코딩할 수 있는 스케일링가능한 비디오 디코딩을 위한 방법이 참조번호 500으로 일반적으로 표시되어 있다. 방법(500)은 제어를 기능 블록(510)으로 패싱하는 시작 블록(505)을 포함한다. 기능 블록은 SEI 메시지의 base_layer_is_left_view_flag를 파싱하고, 제어를 결정 블록(515)에 패싱한다. 결정 블록(515)은 base_layer_is_left_view_flag가 1과 동일한 지 여부를 결정한다. 그렇다면, 제어는 기능 블록(520)으로 패싱된다. 그렇지 않으면, 제어는 기능 블록(525)에 패싱된다.

기능 블록(520)은 SNR, 공간, 및/또는 시간 스케일러빌리티를 이용하여 베이스 레이어로부터의 좌측 뷰 및 인핸스먼트 레이어로부터의 우측 뷰를 디코딩하고, 제어를 종료 블록(599)에 패싱한다.

기능 블록(525)은 SNR, 공간, 및/또는 시간 스케일러빌리티를 이용하여 베이스 레이어로부터의 우측 뷰 및 인핸스먼트 레이어로부터의 좌측 뷰를 디코딩한다.

도 6 및 7은 본 원리의 제2 실시예에 대응한다.

도 6으로 돌아가면, 스테레오스코픽 컨텐트의 스테레오스코픽 뷰 쌍을 인코딩할 수 있는 스케일링가능한 비디오 인코딩을 위한 방법은 참조번호 600으로 일반적으로 표시되어 있다. 방법(600)은 제어를 기능 블록(610)에 패싱하는 시작 블록(605)을 포함한다. 기능 블록(610)은 SNR, 공간 및/또는 시간 스케일러빌리티를 이용하여 스테레오스코픽 컨텐트의 하나의 뷰를 베이스 레이어로서, 스테레오스코픽 비디오에 대응하는 깊이/디스패리티 맵을 인핸스먼트 레이어로서 코딩하고, 제어를 기능 블록(615)에 패싱한다. 기능 블록(615)은 SEI 메시지에 깊이 파라미터를 기록하고, 제어를 기능 블록(620)으로 패싱한다. 기능 블록(620)은 베이스 레이어로부터의 재구성된 비디오, 인핸스먼트 레이어로부터의 재구성된 깊이/디스패리티 맵 및 SEI 메시지로부터의 깊이 파라미터를 이용하여 스테레오스코픽 컨텐트의 다른(비-코딩된) 뷰를 재구성하고, 제어를 기능 블록(625)에 패싱한다. 기능 블록(625)은 재구성된 비-코딩된 뷰에 기초하여 부가 SNR 레이어를 코딩하고, 제어를 종료 블록(630)에 패싱한다.

도 7로 돌아가면, 스테레오스코픽 컨텐트의 스테레오스코픽 뷰 쌍을 디코딩할 수 있는 스케일링가능한 비디오 디코딩을 위한 방법은 참조번호 700으로 일반적으로 표시되어 있다. 방법(700)은 제어를 기능 블록(710)으로 패싱하는 시작 블록(705)을 포함한다. 기능 블록(710)은 SNR, 공간 및/또는 시간 스케일러빌리티를 이용하여 베이스 레이어로부터의 스테레오스코픽 컨텐트의 하나의 스테레오스코픽 뷰를 디코딩하고, 인핸스먼트 레이어로부터의 깊이/디스패리티 맵을 디코딩하며, 제어를 기능 블록(715)에 패싱한다. 기능 블록(715)은 SEI 메시지로부터의 깊이 메시지를 파싱하고, 제어를 기능 블록(720)에 패싱한다. 기능 블록(720)은 베이스 레이어로부터의 재구성된 비디오, 인핸스먼트 레이어로부터의 재구성된 깊이/디스패리티 맵, 및 SEI 메시지로부터의 깊이 파라미터를 이용하여 베이스 레이어로서 다른 스테레오스코픽(비-코딩된) 뷰를 재구성하고, 제어를 기능 블록(725)에 패싱한다. 기능 블록(725)은 재구성된 비-코딩된 뷰에 기초하여 부가 SNR 레이어를 디코딩하고, 세부화된 비-코딩된 뷰를 형성하며, 제어를 종료 블록(730)에 패싱한다.

도 8로 돌아가면, 인핸스먼트 레이어에서 매크로블록을 인코딩하기 위한 스케일링가능한 비디오 코딩 방법은 참조번호 800으로 일반적으로 표시되어 있다. 방법(800)은 제어를 결정 블록(810)에 패싱하는 시작 블록(805)을 포함한다. 결정 블록(810)은 레이어간 예측을 이용할지 여부를 결정한다. 그렇다면, 제어는 결정 블록(815)으로 패싱된다. 그렇지 않으면, 제어는 기능 블록(855)으로 패싱된다.

결정 블록(815)이 레이어간 인트라 텍스쳐 예측을 이용할지 여부를 결정한다. 그렇다면, 제어는 결정 블록(820)으로 패싱된다. 그렇지 않으면, 제어는 결정 블록(830)으로 패싱된다.

결정 블록(820)은 가중된 예측을 이용할지 여부를 결정한다. 그렇다면, 제어는 기능 블록(825)으로 패싱된다. 그렇지 않으면, 제어는 기능 블록(840)으로 패싱된다.

기능 블록(825)은 인핸스먼트 레이어의 매크로블록과 베이스 레이어에서 매핑된 매크로블록의 세트로부터 스케일링되는 가중된 매크로블록 간의 차이를 코딩하고, 제어를 결정 블록(830)에 패싱한다.

결정 블록(830)은 레이어간 모션 벡터 예측을 이용할지 여부를 결정한다. 그렇다면, 제어는 기능 블록(835)에 패싱된다. 그렇지 않으면, 제어는 결정 블록(845)에 패싱된다.

기능블록(835)은 모드 매핑 및 모션 벡터 매핑을 수행하고, 제어를 결정 블록(845)에 패싱한다.

기능 블록(845)은 레이어간 나머지 예측을 이용할지 여부를 결정한다. 그렇다면, 제어는 기능 블록(850)에 패싱된다. 그렇지 않으면, 제어는 기능 블록(855)에 패싱된다.

기능 블록(850)은 모드 매핑 및 나머지 매핑을 수행하고, 제어를 기능 블록(855)에 패싱한다. 하나의 실시예에서, 기능 블록(850)은 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(여기에서 n은 제로보다 큰 정수임), 적어도 일부 블록(850)에 대응하는 나머지의 텍스쳐 다운샘플링을 위한 평균화를 수행하는 것과 관련된다.

기능 블록(855)은 매크로블록을 인코딩하고, 제어를 종료 블록(860)에 패싱한다.

기능 블록(840)은 인핸스먼트 레이어의 매크로블록과 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링되는 매크로블록의 차이를 코딩하고, 제어를 결정 블록(830)에 패싱한다.

하나의 실시예에서, 기능 블록(855)은 공간 스케일러빌리티 기술이 선택되는 경우에, 공간 스케일링 인자를 1보다 작거나 같게 제한하는 것과 관련된다.

하나의 실시예에서, 기능 블록(835, 850 및/또는 855)은 예를 들면 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(n은 제로보다 큰 정수임), 베이스 레이어로부터 인핸스먼트 레이어에 다수-대-일 블록 매핑을 수행하며, 인트라 예측 모드를 가지는 베이스 레이어의 블록을 인터-예측 모드로 변환하고, 인트라-예측 모드의 모션 벡터 및 이산 코사인 변환 계수들을 강제로 제로로 만드는 것과 관련된다.

하나의 실시예에서, 기능 블록(835 및/또는 855)은 예를 들면 인핸스먼트 레이어의 블록에 대한 모션 벡터를, 베이스 레이어의 매핑된 블록 세트로부터의 대응하는 매핑된 블록의 코너의 스케일링된 모션 벡터에 매핑하고, 인핸스먼트 레이어의 블록에 대한 기준 인덱스를 베이스 레이어의 대응하는 매핑된 블록의 코너에 할당하는 것과 관련되고, 인핸스먼트 레이어의 블록은 베이스 레이어의 매핑된 블록 세트에 대해 동일하게 배치된다.

하나의 실시예에서, 기능 블록(850 및/또는 855)은 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고 나머지의 텍스쳐 다운샘플링에 대한 평균화를 수행하는 것과 관련된다.

도 9로 돌아가면, 인핸스먼트 레이어에서 매크로블록을 디코딩하기 위한 스케일링가능한 비디오 디코딩 방법은 참조번호 900으로 일반적으로 표시되어 있다. 방법(900)은 제어를 기능 블록(910)으로 패싱하는 시작 블록(905)을 포함한다. 기능 블록(910)은 매크로블록에 대한 구문을 파싱하고, 제어를 결정 블록(915)으로 패싱한다. 결정 블록(915)은 레이어간 예측 플래그가 1과 동일한 지 여부를 결정한다. 그렇다면, 제어는 결정 블록(920)으로 패싱된다. 그렇지 않으면, 제어는 기능 블록(960)에 패싱된다.

결정 블록(920)은 인터-레이 인트라 텍스쳐 예측 플래그가 1과 동일한 지 여부를 결정한다. 그렇다면, 제어는 결정 블록(925)으로 패싱된다. 그렇지 않으면, 제어는 결정 블록(935)으로 패싱된다.

결정 블록(925)은 가중된 예측 플래그가 1과 동일한 지 여부를 결정한다. 그렇다면, 제어는 기능 블록(930)에 패싱된다. 그렇지 않으면, 제어는 기능 블록(945)으로 패싱된다.

기능 블록(930)은 인핸스먼트 레이어의 매크로블록과 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링된 가중된 매크로블록간의 차이를 디코딩하고, 제어를 결정 블록(935)으로 패싱한다.

결정 블록(935)은 레이어간 모션 벡터 예측 플래그가 1과 동일한 지 여부를 결정한다. 그렇다면, 제어는 기능 블록(940)에 패싱된다. 그렇지 않으면, 제어는 결정 블록(950)으로 패싱된다.

기능 블록(940)은 모드 매핑 및 모션 벡터 매핑을 수행하고, 제어를 결정 블록(950)에 패싱한다.

결정 블록(950)은 레이어간 나머지 예측 플래그가 1과 동일한 지 여부를 결정한다. 그렇다면, 제어는 기능 블록(955)에 패싱된다. 그렇지 않으면, 제어는 기능 블록(960)에 패싱된다.

기능 블록(955)은 모드 매핑 및 나머지 매핑을 수행하고, 제어를 기능 블록(960)에 패싱한다.

기능 블록(960)은 매크로블록을 디코딩하고, 제어를 종료 블록(965)에 패싱한다.

기능 블록(945)은 인핸스먼트 레이어의 매크로블록과 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링된 매크로블록간의 차이를 디코딩하고, 제어를 결정 블록(935)에 패싱한다.

그 일부가 상기 언급된 본 발명의 다수의 부수적인 장점/특징들 중 일부에 대한 설명이 이제 제공될 것이다. 예를 들면, 하나의 장점/특징은 적어도 2개의 뷰 중 특정 뷰를 베이스 레이어로서 인코딩하고, 특정 뷰 및 적어도 하나의 다른 뷰 중 적어도 하나에 대응하는 하위 레이어로부터의 예측을 이용하여 적어도 2개의 뷰 중 적어도 하나의 다른 뷰의 각각을 인핸스먼트 레이어로서 인코딩함으로써, 멀티-뷰 비디오 컨텐트에 대응하는 적어도 2개의 뷰를 인코딩하는 인코더를 포함하는 스케일링가능한 비디오 인코더이다. 적어도 2개의 뷰는 시간, 공간 및 신호 대 잡음비 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩된다.

다른 장점/특징은 상기 설명된 스케일링가능한 비디오 인코더로서, 베이스 레이어 및 인핸스먼트 레이어는 비디오 비트스트림에 포함되고, 인코더는 표시자를 비디오 비트스트림을 시그널링하는 메시지에 부가한다. 표시자는 비디오 비트스트림이 멀티-뷰 비디오 신호를 포함하는 것을 나타내기 위한 것이다.

또 다른 장점/특징은 상기 설명된 바와 같이 표시자를 메시지에 부가하는 스케일링가능한 비디오 인코더로서, 메시지는 부가 인핸스먼트 정보(SEI) 메시지이다.

또한, 다른 장점/특징은 상기 설명된 바와 같이 표시자를 메시지에 부가하는 스케일링가능한 비디오 인코더로서, 메시지는 대역외로 전송된다.

또한, 다른 장점/특징은 상기 설명된 바와 같이 표시자를 메시지에 부가하는 스케일링가능한 비디오 인코더로서, 표시자는 메타데이터로서 제공된다.

또한, 다른 장점/특징은 상기 설명된 바와 같이 표시자를 메시지에 부가하는 스케일링가능한 비디오 인코더로서, 표시자는 베이스 레이어 또는 인핸스먼트 레이어 중 하나에서 인코딩되는 것으로서, 특정 뷰 또는 적어도 하나의 다른 뷰 중 하나를 지정한다.

추가적으로, 다른 장점/특징은 상기 설명된 스케일링가능한 비디오 인코더로서, 시간, 공간 및 신호대 잡음비 스케일러빌리티 기술은 표준화를 위한 국제 기구/국제 전기기술 위원회(ISO/IEC) 동화상 전문가 그룹-4 파트 10 진보된 비디오 코딩 표준/국제 통신 협회, 통신 섹터 H.264 표준의 스케일링가능한 비디오 코딩 확장과 부합하여 수행된다.

또한, 다른 장점/특징은 상기 설명된 스케일링가능한 비디오 인코더로서, 인코더는 공간 스케일러빌리티 기술이 선택된 경우에, 공간 스케일링 인자를 1보다 작거나 같게 제한한다.

또한, 다른 장점/특징은 상기 설명된 바와 같은 공간 스케일링 인자를 제한하는 스케일링가능한 비디오 인코더로서, 인코더는 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(n은 제로보다 큰 정수임), 베이스 레이어로부터 인핸스먼트 레이어로의 다수-대-일 블록 매핑을 수행하며, 인트라 예측 모드를 가지는 베이스 레이어의 적어도 일부 블록 중 임의의 하나를 인터-예측 모드로 변환하고, 인트라-예측 모드의 모션 벡터 및 이산 코사인 변환 계수들이 강제로 제로가 되도록 함으로써, 레이어간 예측을 이용하여 상기 베이스 레이어 및 인핸스먼트 레이어의 적어도 일부 블록을 인코딩한다.

또한, 다른 장점/특징은 상기 설명된 바와 같이 레이어간 예측을 이용하여 베이스 레이어 및 인핸스먼트 레이어의 적어도 일부 블록을 인코딩하는 스케일링가능한 비디오 인코더로서, 인코더는 인핸스먼트 레이어의 블록에 대한 모션 벡터를 베이스 레이어의 매핑된 블록 세트로부터의 대응하는 매핑된 블록의 코너의 스케일링된 모션 벡터에 매핑하고, 인핸스먼트 레이어의 블록에 대한 기준 인덱스를 베이스 레이어의 대응하는 매핑된 블록의 코너의 것에 할당하며, 인핸스먼트 레이어의 블록 및 베이스 레이어의 매핑된 블록 세트는 적어도 일부 블록에 포함되고, 인핸스먼트 레이어의 블록은 베이스 레이어의 매핑된 블록 세트에 대해 동일하게 배치된다.

추가적으로, 다른 장점/특징은 상기 설명된 바와 같이 공간 스케일링 인자를 제한하는 스케일링가능한 비디오 인코더로서, 인코더는 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(n은 제로보다 큰 정수임) 적어도 일부 블록에 대응하는 나머지의 텍스쳐 다운샘플링을 위한 평균화를 수행함으로써, 베이스 레이어 및 인핸스먼트 레이어의 적어도 일부 블록을 인코딩한다.

더구나, 다른 장점/특징은 상기 설명된 바와 같은 스케일링가능한 비디오 인코더로서, 적어도 2개의 뷰는 특정 뷰와 적어도 하나의 다른 뷰 간의 교차 뷰 예측에 대한 가중된 예측을 가능하게 함으로써 인코딩된다.

또한, 다른 장점/특징은 상기 설명된 바와 같이 교차 뷰 예측을 가능하게 함으로써 적어도 2개의 뷰를 인코딩하는 스케일링가능한 비디오 인코더로서, 가중된 예측은 인핸스먼트 레이어의 매크로블록과 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링되는 가중된 매크로블록 간의 차이를 코딩할 때 가능하게 되고, 인핸스먼트 레이어의 매크로블록은 베이스 레이어의 매핑된 매크로블록 세트에 대해 동일하게 배치된다.

추가적으로, 다른 장점/특징은 상기 설명된 스케일링가능한 비디오 인코더로서, 적어도 2개의 뷰는 스테레오스코픽 뷰 쌍에 대응하고, 쌍의 하나의 뷰는 베이스 레이어로서 인코딩되며 쌍의 다른 뷰는 베이스 레이어로부터의 예측을 이용하여 인핸스먼트 레이어로서 인코딩된다.

본 발명의 이들 및 다른 특징 및 장점들은 본 사상에 기초하여 관련 기술의 통상의 기술자에 의해 용이하게 확인될 수 있다. 본 발명의 사상은 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특별 목적 프로세서 또는 그 조합으로 구현될 수 있다.

가장 바람직하게는, 본 발명의 사상들은 하드웨어 및 소프트웨어의 조합으로서 구현된다. 더구나, 소프트웨어는 바람직하게는 프로그램 저장 유닛 상에 실체적으로 실시되는 어플리케이션 프로그램으로서 구현된다. 어플리케이션 프로그램은 임의의 적합한 아키텍쳐를 포함하는 머신에 로딩되어 실행될 수 있다. 양호하게는, 머신은 하나 이상의 중앙 처리 유닛("CPU"), 랜덤 액세스 메모리("RAM"), 및 입출력("I/O") 인터페이스와 같은 하드웨어를 구비하는 컴퓨터 플랫폼 상에 구현된다. 컴퓨터 플랫폼은 오퍼레이팅 시스템 및 마이크로명령 코드를 포함할 수도 있다. 여기에 기재된 다양한 프로세스 및 기능들은 CPU에 의해 실행되는, 마이크로명령 코드의 일부 또는 어플리케이션 프로그램의 일부, 또는 그 임의의 조합 중 하나일 수 있다. 뿐만 아니라, 추가 데이터 저장 유닛 및 프린팅 유닛과 같은 다양한 다른 주변 유닛이 컴퓨터 플랫폼에 접속될 수 있다.

첨부된 도면에 도시된 구성 시스템 컴포넌트 및 방법의 일부는 양호하게는 소프트웨어로 구현되기 때문에, 시스템 컴포넌트 또는 프로세스 기능 블록들간의 실제 접속은 본 발명이 프로그래밍되는 방식에 따라 달라질 수 있다는 것은 자명하다. 본 사상이 주어지는 경우, 본 기술분야의 통상의 기술자라면 본 발명의 이들 및 유사한 구현 또는 구성을 고안할 수 있을 것이다.

예시적 실시예들이 여기에서 첨부된 도면을 참조하여 기재되었지만, 본 발명은 이들 정확한 실시예들로 제한되지 않고 본 발명의 범주 또는 사상으로부터 벗어나지 않고 본 기술분야의 통상의 기술자에 의해 다양한 변경 및 변형이 이루어질 수 있다는 것은 자명하다. 모든 그러한 변경 및 변형은 첨부된 청구의 범위에 제시된 본 발명의 범주내에 포함된다고 할 것이다.

Claims

멀티-뷰 비디오 컨텐트에 대응하는 적어도 2개의 뷰를 인코딩하되, 상기 적어도 2개의 뷰 중 특정 뷰를 베이스 레이어로서 인코딩하고, 상기 적어도 2개의 뷰 중 적어도 하나의 다른 뷰의 각각을 인핸스먼트 레이어로서 인코딩하는 인코더(100) - 상기 적어도 하나의 다른 뷰는 상기 적어도 하나의 특정 뷰 및 상기 적어도 하나의 다른 뷰에 대응하는 하위 레이어로부터의 예측을 이용하여 인코딩됨 -

를 포함하며,

상기 적어도 2개의 뷰는 시간, 공간 및 신호 대 잡음비 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩되는 장치.
제1항에 있어서,

상기 베이스 레이어 및 상기 인핸스먼트 레이어는 비디오 비트스트림에 포함되고,

상기 인코더(100)는 표시자를 상기 비디오 비트스트림을 시그널링하는 메시지에 부가하며,

상기 표시자는 상기 비디오 비트스트림이 멀티-뷰 비디오 신호를 포함하는 것을 나타내기 위한 것인 장치.
제2항에 있어서, 상기 메시지는 부가 인핸스먼트 정보(SEI) 메시지인 장치.
제2항에 있어서, 상기 메시지는 대역외로 전송되는 장치.
제2항에 있어서, 상기 표시자는 메타데이터로서 제공되는 장치.
제2항에 있어서, 상기 표시자는 상기 특정 뷰 또는 적어도 하나의 다른 뷰 중 하나를, 상기 베이스 레이어 또는 상기 인핸스먼트 레이어 중 하나에서 인코딩되는 것으로서 지정하는 장치.
제1항에 있어서, 상기 시간, 공간 및 신호대 잡음비 스케일러빌리티 기술은 표준화를 위한 국제 기구/국제 전기기술 위원회(IOS/IEC) 동화상 전문가 그룹-4 파트 10 진보된 비디오 코딩 표준/국제 통신 협회, 통신 섹터 H.264 표준의 스케일링가능한 비디오 코딩 확장과 부합하여 수행되는 장치.
제1항에 있어서, 상기 인코더(100)는 상기 공간 스케일러빌리티 기술이 선택된 경우에, 공간 스케일링 인자를 1보다 작거나 같게 제한하는 장치.
제8항에 있어서, 상기 인코더(100)는 상기 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(n은 제로보다 큰 정수임), 상기 베이스 레이어로부터 상기 인핸스 먼트 레이어로의 다수-대-일 블록 매핑을 수행하며, 인트라 예측 모드를 가지는 상기 베이스 레이어의 임의의 적어도 일부 블록을 인터-예측 모드로 변환하고, 상기 인트라-예측 모드의 모션 벡터 및 이산 코사인 변환 계수들이 강제로 제로가 되도록 함으로써, 레이어간 예측을 이용하여 상기 베이스 레이어 및 인핸스먼트 레이어의 적어도 일부 블록을 인코딩하는 장치.
제9항에 있어서, 상기 인코더(100)는 상기 인핸스먼트 레이어의 블록에 대한 모션 벡터를 상기 베이스 레이어의 매핑된 블록 세트로부터의 대응하는 매핑된 블록의 코너의 스케일링된 모션 벡터에 매핑하고, 상기 인핸스먼트 레이어의 블록에 대한 기준 인덱스를 상기 베이스 레이어의 대응하는 매핑된 블록의 코너의 기준 인덱스에 할당하며, 상기 인핸스먼트 레이어의 블록 및 상기 베이스 레이어의 매핑된 블록 세트는 상기 적어도 일부 블록에 포함되고, 상기 인핸스먼트 레이어의 블록은 상기 베이스 레이어의 매핑된 블록 세트에 대해 동일하게 배치되는 장치.
제8항에 있어서, 상기 인코더(100)는 상기 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(n은 제로보다 큰 정수임) 상기 적어도 일부 블록에 대응하는 나머지의 텍스쳐 다운샘플링을 위한 평균화를 수행함으로써, 상기 베이스 레이어 및 상기 인핸스먼트 레이어의 적어도 일부 블록을 인코딩하는 장치.
제1항에 있어서, 상기 적어도 2개의 뷰는 상기 특정 뷰와 상기 적어도 하나의 다른 뷰 간의 교차 뷰 예측에 대한 가중된 예측을 가능하게 함으로써 인코딩되는 장치.
제12항에 있어서, 상기 가중된 예측은 상기 인핸스먼트 레이어의 매크로블록과 상기 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링되는 가중된 매크로블록 간의 차이를 코딩할 때 가능하게 되고, 상기 인핸스먼트 레이어의 상기 매크로블록은 상기 베이스 레이어의 매핑된 매크로블록 세트에 대해 동일하게 배치되는 장치.
제1항에 있어서, 상기 적어도 2개의 뷰는 스테레오스코픽 뷰 쌍에 대응하고, 상기 쌍의 하나의 뷰는 상기 베이스 레이어로서 인코딩되며 상기 쌍의 다른 뷰는 상기 베이스 레이어로부터의 예측을 이용하여 상기 인핸스먼트 레이어로서 인코딩되는 장치.
스케일링가능한 비디오 인코딩을 위한 방법에 있어서,

멀티-뷰 비디오 컨텐트에 대응하는 적어도 2개의 뷰를 인코딩하되, 상기 적어도 2개의 뷰 중 특정 뷰를 베이스 레이어로서 인코딩하고, 상기 적어도 2개의 뷰 중 적어도 하나의 다른 뷰의 각각을 인핸스먼트 레이어로서 인코딩하는 단계(420, 430) - 상기 적어도 하나의 다른 뷰는 상기 적어도 하나의 특정 뷰 및 상기 적어도 하나의 다른 뷰에 대응하는 하위 레이어로부터의 예측을 이용하여 인코딩됨 -

를 포함하며,

상기 적어도 2개의 뷰는 시간, 공간 및 신호 대 잡음비 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩되는 스케일링가능한 비디오 인코딩 방법.
제15항에 있어서,

상기 베이스 레이어 및 상기 인핸스먼트 레이어는 비디오 비트스트림에 포함되고,

상기 인코딩 단계는 표시자를 상기 비디오 비트스트림을 시그널링하는 메시지에 부가하는 단계(415, 425)를 포함하며,

상기 표시자는 상기 비디오 비트스트림이 멀티-뷰 비디오 신호를 포함하는 것을 나타내기 위한 것인 스케일링가능한 비디오 인코딩 방법.
제16항에 있어서, 상기 메시지는 부가 인핸스먼트 정보(SEI) 메시지인 스케일링가능한 비디오 인코딩 방법.
제16항에 있어서, 상기 메시지는 대역외로 전송되는 스케일링가능한 비디오 인코딩 방법.
제16항에 있어서, 상기 표시자는 메타데이터로서 제공되는 스케일링가능한 비디오 인코딩 방법.
제16항에 있어서, 상기 표시자는 상기 특정 뷰 또는 적어도 하나의 다른 뷰 중 하나를, 상기 베이스 레이어 또는 상기 인핸스먼트 레이어 중 하나에서 인코딩되는 것으로서 지정하는 스케일링가능한 비디오 인코딩 방법.
제15항에 있어서, 상기 시간, 공간 및 신호대 잡음비 스케일러빌리티 기술은 표준화를 위한 국제 기구/국제 전기기술 위원회(IOS/IEC) 동화상 전문가 그룹-4 파트 10 진보된 비디오 코딩 표준/국제 통신 협회, 통신 섹터 H.264 표준의 스케일링가능한 비디오 코딩 확장과 부합하여 수행되는 스케일링가능한 비디오 인코딩 방법.
제15항에 있어서, 상기 인코딩 단계는 상기 공간 스케일러빌리티 기술이 선택된 경우에(855), 공간 스케일링 인자를 1보다 작거나 같게 제한하는 단계를 포함하는 스케일링가능한 비디오 인코딩 방법.
제22항에 있어서, 상기 인코딩 방법은 상기 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(n은 제로보다 큰 정수임), 상기 베이스 레이어로부터 상기 인핸스 먼트 레이어로의 다수-대-일 블록 매핑을 수행하며, 인트라 예측 모드를 가지는 상기 베이스 레이어의 상기 적어도 일부 블록 중 임의의 하나를 인터-예측 모드로 변환하고, 상기 인트라-예측 모드의 모션 벡터 및 이산 코사인 변환 계수들이 강제로 제로가 되도록 함으로써(835, 850, 855), 레이어간 예측을 이용하여 상기 베이스 레이어 및 인핸스먼트 레이어의 적어도 일부 블록을 인코딩하는 스케일링가능한 비디오 인코딩 방법.
제23항에 있어서, 상기 인코딩 방법은 상기 인핸스먼트 레이어의 블록에 대한 모션 벡터를 상기 베이스 레이어의 매핑된 블록 세트로부터의 대응하는 매핑된 블록의 코너의 스케일링된 모션 벡터에 매핑하고, 상기 인핸스먼트 레이어의 블록에 대한 기준 인덱스를 상기 베이스 레이어의 대응하는 매핑된 블록의 코너의 기준 인덱스에 할당하며, 상기 인핸스먼트 레이어의 블록 및 상기 베이스 레이어의 매핑된 블록 세트는 상기 적어도 일부 블록에 포함되고, 상기 인핸스먼트 레이어의 블록은 상기 베이스 레이어의 매핑된 블록 세트에 대해 동일하게 배치되는(835, 855) 스케일링가능한 비디오 인코딩 방법.
제22항에 있어서, 상기 인코딩 방법은 상기 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(n은 제로보다 큰 정수임) 상기 적어도 일부 블록에 대응하는 나머지의 텍스쳐 다운샘플링을 위한 평균화를 수행함으로써, 상기 베이스 레이어 및 상 기 인핸스먼트 레이어의 적어도 일부 블록을 인코딩하는(850, 855) 스케일링가능한 비디오 인코딩 방법.
제15항에 있어서, 상기 적어도 2개의 뷰는 상기 특정 뷰와 상기 적어도 하나의 다른 뷰 간의 교차 뷰 예측에 대한 가중된 예측을 가능하게 함으로써 인코딩되는(825) 스케일링가능한 비디오 인코딩 방법.
제26항에 있어서, 상기 가중된 예측은 상기 인핸스먼트 레이어의 매크로블록과 상기 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링되는 가중된 매크로블록 간의 차이를 코딩할 때 가능하게 되고, 상기 인핸스먼트 레이어의 상기 매크로블록은 상기 베이스 레이어의 매핑된 매크로블록 세트에 대해 동일하게 배치되는 스케일링가능한 비디오 인코딩 방법.
제15항에 있어서, 상기 적어도 2개의 뷰는 스테레오스코픽 뷰 쌍에 대응하고, 상기 쌍의 하나의 뷰는 상기 베이스 레이어로서 인코딩되며 상기 쌍의 다른 뷰는 상기 베이스 레이어로부터의 예측을 이용하여 상기 인핸스먼트 레이어로서 인코딩되는 스케일링가능한 비디오 인코딩 방법.
멀티-뷰 비디오 컨텐트에 대응하는 적어도 2개의 뷰를 디코딩하되, 상기 적어도 2개의 뷰 중 특정 뷰를 베이스 레이어로서 디코딩하고, 상기 적어도 2개의 뷰 중 적어도 하나의 다른 뷰의 각각을 인핸스먼트 레이어로서 디코딩하는 디코더(200) - 상기 적어도 하나의 다른 뷰는 상기 적어도 하나의 특정 뷰 및 상기 적어도 하나의 다른 뷰에 대응하는 하위 레이어로부터의 예측을 이용하여 디코딩됨 -

를 포함하고,

상기 적어도 2개의 뷰는 시간, 공간 및 신호 대 잡음비 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 디코딩되는 장치.
제28항에 있어서,

상기 베이스 레이어 및 상기 인핸스먼트 레이어는 비디오 비트스트림에 포함되고,

상기 디코더(200)는 표시자를 상기 비디오 비트스트림을 시그널링하는 메시지에서 판독하며,

상기 표시자는 상기 비디오 비트스트림이 멀티-뷰 비디오 신호를 포함하는 것을 나타내기 위한 것인 장치.
제29항에 있어서, 상기 메시지는 부가 인핸스먼트 정보(SEI) 메시지인 장치.
제29항에 있어서, 상기 메시지는 대역외로 수신되는 장치.
제29항에 있어서, 상기 표시자는 메타데이터로서 제공되는 장치.
제30항에 있어서, 상기 표시자는 상기 특정 뷰 또는 적어도 하나의 다른 뷰 중 하나를, 상기 베이스 레이어 또는 상기 인핸스먼트 레이어 중 하나에서 인코딩되는 것으로서 지정하는 장치.
제29항에 있어서, 상기 시간, 공간 및 신호대 잡음비 스케일러빌리티 기술은 표준화를 위한 국제 기구/국제 전기기술 위원회(IOS/IEC) 동화상 전문가 그룹-4 파트 10 진보된 비디오 코딩 표준/국제 통신 협회, 통신 섹터 H.264 표준의 스케일링가능한 비디오 코딩 확장과 부합하여 수행되는 장치.
제29항에 있어서, 상기 적어도 2개의 뷰는 상기 특정 뷰와 상기 적어도 하나의 다른 뷰 간의 교차 뷰 예측에 대한 가중된 예측을 가능하게 함으로써 디코딩되는 장치.
제36항에 있어서, 상기 가중된 예측은 상기 인핸스먼트 레이어의 매크로블록과 상기 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링되는 가중된 매크로블록 간의 차이를 디코딩할 때 가능하게 되고, 상기 인핸스먼트 레이어의 상기 매크로블록은 상기 베이스 레이어의 매핑된 매크로블록 세트에 대해 동일하게 배치되는 장치.
제29항에 있어서, 상기 적어도 2개의 뷰는 스테레오스코픽 뷰 쌍에 대응하고, 상기 쌍의 하나의 뷰는 상기 베이스 레이어로서 디코딩되며 상기 쌍의 다른 뷰는 상기 베이스 레이어로부터의 예측을 이용하여 상기 인핸스먼트 레이어로서 디코딩되는 장치.
스케일링가능한 비디오 디코딩을 위한 방법에 있어서,

멀티-뷰 비디오 컨텐트에 대응하는 적어도 2개의 뷰를 디코딩하되, 상기 적어도 2개의 뷰 중 특정 뷰를 베이스 레이어로서 디코딩하고, 상기 적어도 2개의 뷰 중 적어도 하나의 다른 뷰의 각각을 인핸스먼트 레이어로서 디코딩하는 단계(520, 525) - 상기 적어도 하나의 다른 뷰는 상기 적어도 하나의 특정 뷰 및 상기 적어도 하나의 다른 뷰에 대응하는 하위 레이어로부터의 예측을 이용하여 디코딩됨 -

를 포함하고,

상기 적어도 2개의 뷰는 시간, 공간 및 신호 대 잡음비 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 디코딩되는 스케일링가능한 비디오 디코딩 방법.
제39항에 있어서,

상기 베이스 레이어 및 상기 인핸스먼트 레이어는 비디오 비트스트림에 포함되고,

상기 디코더(200)는 표시자를 상기 비디오 비트스트림을 시그널링하는 메시 지에서 판독하며(510),

상기 표시자는 상기 비디오 비트스트림이 멀티-뷰 비디오 신호를 포함하는 것을 나타내기 위한 것인 스케일링가능한 비디오 디코딩 방법.
제40항에 있어서, 상기 메시지는 부가 인핸스먼트 정보(SEI) 메시지인 스케일링가능한 비디오 디코딩 방법.
제40항에 있어서, 상기 메시지는 대역외로 수신되는 스케일링가능한 비디오 디코딩 방법.
제40항에 있어서, 상기 표시자는 메타데이터로서 제공되는 스케일링가능한 비디오 디코딩 방법.
제40항에 있어서, 상기 표시자는 상기 특정 뷰 또는 적어도 하나의 다른 뷰 중 하나를, 상기 베이스 레이어 또는 상기 인핸스먼트 레이어 중 하나에서 인코딩되는 것으로서 지정하는 스케일링가능한 비디오 디코딩 방법.
제39항에 있어서, 상기 시간, 공간 및 신호대 잡음비 스케일러빌리티 기술은 표준화를 위한 국제 기구/국제 전기기술 위원회(IOS/IEC) 동화상 전문가 그룹-4 파트 10 진보된 비디오 코딩 표준/국제 통신 협회, 통신 섹터 H.264 표준의 스케일링 가능한 비디오 코딩 확장과 부합하여 수행되는 스케일링가능한 비디오 디코딩 방법.
제39항에 있어서, 상기 적어도 2개의 뷰는 제1 스테레오스코픽 뷰와 제2 스테레오스코픽 뷰 간의 교차 뷰 예측에 대한 가중된 예측을 가능하게 함으로써 디코딩되는 스케일링가능한 비디오 디코딩 방법.
제46항에 있어서, 상기 가중된 예측은 상기 인핸스먼트 레이어의 매크로블록과 상기 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링되는 가중된 매크로블록 간의 차이를 디코딩할 때 가능하게 되고, 상기 인핸스먼트 레이어의 상기 매크로블록은 상기 베이스 레이어의 매핑된 매크로블록 세트에 대해 동일하게 배치되는 스케일링가능한 비디오 디코딩 방법.
제39항에 있어서, 상기 적어도 2개의 뷰는 스테레오스코픽 뷰 쌍에 대응하고, 상기 쌍의 하나의 뷰는 상기 베이스 레이어로서 인코딩되며 상기 쌍의 다른 뷰는 상기 베이스 레이어로부터의 예측을 이용하여 상기 인핸스먼트 레이어로서 인코딩되는 스케일링가능한 비디오 인코더.
스케일링가능한 비디오 인코딩을 위한 비디오 신호 구조에 있어서,

적어도 2개의 뷰 중 베이스 레이어로서 인코딩되는 특정 뷰; 및

상기 적어도 2개의 뷰 중 인핸스먼트 레이어로서 인코딩되는 적어도 하나의 다른 뷰 - 상기 적어도 하나의 다른 뷰는 상기 특정 뷰 및 적어도 하나의 다른 뷰 중 적어도 하나에 대응하는 하위 레이어로부터의 예측을 이용하여 인코딩됨 -

를 포함하고,

상기 적어도 2개의 뷰는 멀티-뷰 비디오 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩되는 비디오 신호 구조.
스케일링가능한 비디오 신호 데이터가 그 내부에서 인코딩되는 저장 매체에 있어서,

적어도 2개의 뷰 중 베이스 레이어로서 인코딩되는 특정 뷰; 및

상기 적어도 2개의 뷰 중 인핸스먼트 레이어로서 인코딩되는 적어도 하나의 다른 뷰 - 상기 적어도 하나의 다른 뷰는 상기 특정 뷰 및 적어도 하나의 다른 뷰 중 적어도 하나에 대응하는 하위 레이어로부터의 예측을 이용하여 인코딩됨 -

를 포함하고,

상기 적어도 2개의 뷰는 멀티-뷰 비디오 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩되는 저장 매체.
제1 스테레오스코픽 뷰를 베이스 레이어로서 인코딩하고, 상기 제1 스테레오 스코픽 뷰로부터의 예측을 이용하여 깊이 맵 및 디스패리티 맵 중 적어도 하나를 인핸스먼트 레이어로서 인코딩하기 위한 인코더(100)

를 포함하고,

상기 제1 스테레오스코픽 뷰, 및 상기 깊이 맵과 상기 디스패리티 맵의 적어도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩되는 장치.
제51항에 있어서,

상기 베이스 레이어 및 상기 인핸스먼트 레이어는 비디오 비트스트림에 포함되고,

상기 인코더(100)는 상기 비디오 비트스트림을 시그널링하는 메시지에 상기 특정 스테레오스코픽 컨텐트와 관련된 부가적인 3차원 정보를 부가하는 장치.
제52항에 있어서, 상기 메시지는 부가 인핸스먼트 정보(SEI) 메시지인 장치.
제52항에 있어서, 상기 메시지는 대역외로 전송되는 장치.
제52항에 있어서, 상기 부가적인 3차원 정보는 메타데이터로서 제공되는 장치.
제52항에 있어서, 상기 인코더(100)는 상기 베이스 레이어로부터의 재구성된 비디오, 재구성된 깊이 맵 및 재구성된 디스패리티 맵 중 적어도 하나, 및 상기 메시지의 부가적인 3차원 정보를 이용하여, 상기 특정 스테레오스코픽 컨텐트의 비코딩된 뷰를 재구성하고, 상기 재구성된 비-코딩된 뷰에 기초하여 부가적인 인핸스먼트 레이어를 인코딩하는 장치.
제51항에 있어서, 상기 시간, 공간 및 신호대 잡음비 스케일러빌리티 기술은 표준화를 위한 국제 기구/국제 전기기술 위원회(IOS/IEC) 동화상 전문가 그룹-4 파트 10 진보된 비디오 코딩 표준/국제 통신 협회, 통신 섹터 H.264 표준의 스케일링가능한 비디오 코딩 확장과 부합하여 수행되는 장치.
제51항에 있어서, 상기 인코더(100)는 상기 공간 스케일러빌리티 기술이 선택된 경우에, 공간 스케일링 인자를 1보다 작거나 같게 제한하는 장치.
제58항에 있어서, 상기 인코더(100)는 상기 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(n은 제로보다 큰 정수임), 상기 베이스 레이어로부터 상기 인핸스먼트 레이어로의 다수-대-일 블록 매핑을 수행하며, 인트라 예측 모드를 가지는 상기 베이스 레이어의 적어도 일부 블록 중 임의의 하나를 인터-예측 모드로 변환하고, 상기 인트라-예측 모드의 모션 벡터 및 이산 코사인 변환 계수들이 강제로 제 로가 되도록 함으로써, 레이어간 예측을 이용하여 상기 베이스 레이어 및 인핸스먼트 레이어의 적어도 일부 블록을 인코딩하는 장치.
제59항에 있어서, 상기 인코더(100)는 상기 인핸스먼트 레이어의 블록에 대한 모션 벡터를 상기 베이스 레이어의 매핑된 블록 세트로부터의 대응하는 매핑된 블록의 코너의 스케일링된 모션 벡터에 매핑하고, 상기 인핸스먼트 레이어의 블록에 대한 기준 인덱스를 상기 베이스 레이어의 대응하는 매핑된 블록의 코너의 기준 인덱스에 할당하며, 상기 인핸스먼트 레이어의 블록 및 상기 베이스 레이어의 매핑된 블록 세트는 상기 적어도 일부 블록에 포함되고, 상기 인핸스먼트 레이어의 블록은 상기 베이스 레이어의 매핑된 블록 세트에 대해 동일하게 배치되는 장치.
제58항에 있어서, 상기 인코더(100)는 상기 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(n은 제로보다 큰 정수임) 상기 적어도 일부 블록에 대응하는 나머지의 텍스쳐 다운샘플링을 위한 평균화를 수행함으로써, 상기 베이스 레이어 및 상기 인핸스먼트 레이어의 적어도 일부 블록을 인코딩하는 장치.
제51항에 있어서, 상기 스테레오스코픽 뷰 쌍은 상기 제1 스테레오스코픽 뷰와 상기 제2 스테레오스코픽 뷰 간의 교차 뷰 예측에 대한 가중된 예측을 가능하게 함으로써 인코딩되는 장치.
제62항에 있어서, 상기 가중된 예측은 상기 인핸스먼트 레이어의 매크로블록과 상기 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링되는 가중된 매크로블록 간의 차이를 코딩할 때 가능하게 되고, 상기 인핸스먼트 레이어의 상기 매크로블록은 상기 베이스 레이어의 매핑된 매크로블록 세트에 대해 동일하게 배치되는 장치.
스케일링가능한 비디오 인코딩을 위한 방법에 있어서,

제1 스테레오스코픽 뷰를 베이스 레이어로서 인코딩하는 단계(610); 및

상기 제1 스테레오스코픽 뷰로부터의 예측을 이용하여 깊이 맵 및 디스패리티 맵 중 적어도 하나를 인핸스먼트 레이어로서 인코딩하는 단계(610)

를 포함하고,

상기 제1 스테레오스코픽 뷰, 및 상기 깊이 맵과 상기 디스패리티 맵의 적어도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩되는 스케일링가능한 비디오 인코딩 방법.
제64항에 있어서,

상기 베이스 레이어 및 상기 인핸스먼트 레이어는 비디오 비트스트림에 포함되고,

상기 인코더(100)는 상기 비디오 비트스트림을 시그널링하는 메시지에 상기 특정 스테레오스코픽 컨텐트와 관련된 부가적인 3차원 정보를 부가하는(615) 스케일링가능한 비디오 인코딩 방법.
제65항에 있어서, 상기 메시지는 부가 인핸스먼트 정보(SEI) 메시지인 스케일링가능한 비디오 인코딩 방법.
제65항에 있어서, 상기 메시지는 대역외로 전송되는 스케일링가능한 비디오 인코딩 방법.
제65항에 있어서, 상기 부가적인 3차원 정보는 메타데이터로서 제공되는 스케일링가능한 비디오 인코딩 방법.
제65항에 있어서,

상기 베이스 레이어로부터의 재구성된 비디오, 재구성된 깊이 맵 및 재구성된 디스패리티 맵 중 적어도 하나, 및 상기 메시지의 부가적인 3차원 정보를 이용하여, 상기 특정 스테레오스코픽 컨텐트의 비코딩된 뷰를 재구성하는 단계(620); 및

상기 재구성된 비-코딩된 뷰에 기초하여 부가적인 인핸스먼트 레이어를 인코딩하는 단계(625)

를 더 포함하는 스케일링가능한 비디오 인코딩 방법.
제64항에 있어서, 상기 시간, 공간 및 신호대 잡음비 스케일러빌리티 기술은 표준화를 위한 국제 기구/국제 전기기술 위원회(IOS/IEC) 동화상 전문가 그룹-4 파트 10 진보된 비디오 코딩 표준/국제 통신 협회, 통신 섹터 H.264 표준의 스케일링가능한 비디오 코딩 확장과 부합하여 수행되는 스케일링가능한 비디오 인코딩 방법.
제64항에 있어서, 상기 인코더는 상기 공간 스케일러빌리티 비디오 인코딩 기술이 선택된 경우에, 공간 스케일링 인자를 1보다 작거나 같게 제한하는(855) 스케일링가능한 비디오 인코딩 방법.
제71항에 있어서, 상기 인코딩 단계는 상기 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(n은 제로보다 큰 정수임), 상기 베이스 레이어로부터 상기 인핸스먼트 레이어로의 다수-대-일 블록 매핑을 수행하며, 인트라 예측 모드를 가지는 상기 베이스 레이어의 적어도 일부 블록 중 임의의 하나를 인터-예측 모드로 변환하고, 상기 인트라-예측 모드의 모션 벡터 및 이산 코사인 변환 계수들이 강제로 제로가 되도록 함으로써, 레이어간 예측을 이용하여 상기 베이스 레이어 및 인핸스먼트 레이어의 적어도 일부 블록을 인코딩하는(830, 850, 855) 스케일링가능한 비디 오 인코딩 방법.
제72항에 있어서, 상기 인코딩 단계는 상기 인핸스먼트 레이어의 블록에 대한 모션 벡터를 상기 베이스 레이어의 매핑된 블록 세트로부터의 대응하는 매핑된 블록의 코너의 스케일링된 모션 벡터에 매핑하고, 상기 인핸스먼트 레이어의 블록에 대한 기준 인덱스를 상기 베이스 레이어의 대응하는 매핑된 블록의 코너의 기준 인덱스에 할당하며, 상기 인핸스먼트 레이어의 블록 및 상기 베이스 레이어의 매핑된 블록 세트는 상기 적어도 일부 블록에 포함되고, 상기 인핸스먼트 레이어의 블록은 상기 베이스 레이어의 매핑된 블록 세트에 대해 동일하게 배치되는(835, 855) 스케일링가능한 비디오 인코딩 방법.
제72항에 있어서, 상기 인코딩 단계는 상기 공간 스케일링 인자를 2^(-n)과 동일하게 설정하고(n은 제로보다 큰 정수임) 상기 적어도 일부 블록에 대응하는 나머지의 텍스쳐 다운샘플링을 위한 평균화를 수행함으로써, 상기 베이스 레이어 및 상기 인핸스먼트 레이어의 적어도 일부 블록을 인코딩하는(850, 855) 스케일링가능한 비디오 인코딩 방법.
제64항에 있어서, 상기 스테레오스코픽 뷰 쌍은 상기 제1 스테레오스코픽 뷰와 상기 제2 스테레오스코픽 뷰 간의 교차 뷰 예측에 대한 가중된 예측을 가능하게 함으로써 인코딩되는(825) 스케일링가능한 비디오 인코딩 방법.
제75항에 있어서, 상기 가중된 예측은 상기 인핸스먼트 레이어의 매크로블록과 상기 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링되는 가중된 매크로블록 간의 차이를 코딩할 때 가능하게 되고, 상기 인핸스먼트 레이어의 상기 매크로블록은 상기 베이스 레이어의 매핑된 매크로블록 세트에 대해 동일하게 배치되는 스케일링가능한 비디오 인코딩 방법.
제1 스테레오스코픽 뷰를 베이스 레이어로부터 디코딩하고, 상기 제1 스테레오스코픽 뷰로부터의 예측을 이용하여 깊이 맵 및 디스패리티 맵 중 적어도 하나를 인핸스먼트 레이어로부터 디코딩하기 위한 디코더(200)

를 포함하고,

상기 제1 스테레오스코픽 뷰, 및 상기 깊이 맵과 상기 디스패리티 맵의 적어도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 디코딩되는 장치.
제77항에 있어서,

상기 베이스 레이어 및 상기 인핸스먼트 레이어는 비디오 비트스트림에 포함되고,

상기 디코더(200)는 상기 비디오 비트스트림을 시그널링하는 메시지로부터 상기 특정 스테레오스코픽 컨텐트와 관련된 부가적인 3차원 정보를 판독하는 장치.
제78항에 있어서, 상기 메시지는 부가 인핸스먼트 정보(SEI) 메시지인 장치.
제78항에 있어서, 상기 메시지는 대역외로 전송되는 장치.
제78항에 있어서, 상기 부가적인 3차원 정보는 메타데이터로서 제공되는 장치.
제78항에 있어서, 상기 디코더(200)는 상기 베이스 레이어로부터의 재구성된 비디오, 재구성된 깊이 맵 및 재구성된 디스패리티 맵 중 적어도 하나, 및 상기 메시지의 부가적인 3차원 정보를 이용하여, 상기 특정 스테레오스코픽 컨텐트의 비코딩된 뷰를 상기 베이스 레이어로서 재구성하고, 상기 재구성된 비-코딩된 뷰에 기초하여 부가적인 인핸스먼트 레이어를 디코딩하여 상기 특정 스테레오스코픽 컨텐트의 세부화된 비-코딩된 뷰를 형성하는 장치.
제77항에 있어서, 상기 시간, 공간 및 신호대 잡음비 스케일러빌리티 기술은 표준화를 위한 국제 기구/국제 전기기술 위원회(IOS/IEC) 동화상 전문가 그룹-4 파트 10 진보된 비디오 코딩 표준/국제 통신 협회, 통신 섹터 H.264 표준의 스케일링가능한 비디오 코딩 확장과 부합하여 수행되는 장치.
제77항에 있어서, 상기 스테레오스코픽 뷰 쌍은 상기 제1 스테레오스코픽 뷰와 상기 제2 스테레오스코픽 뷰 간의 교차 뷰 예측에 대한 가중된 예측을 가능하게 함으로써 디코딩되는 장치.
제84항에 있어서, 상기 가중된 예측은 상기 인핸스먼트 레이어의 매크로블록과 상기 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링되는 가중된 매크로블록 간의 차이를 디코딩할 때 가능하게 되고, 상기 인핸스먼트 레이어의 상기 매크로블록은 상기 베이스 레이어의 매핑된 매크로블록 세트에 대해 동일하게 배치되는 장치.
스케일링가능한 비디오 디코딩을 위한 방법에 있어서,

제1 스테레오스코픽 뷰를 베이스 레이어로부터 디코딩하는 단계(710); 및

상기 제1 스테레오스코픽 뷰로부터의 예측을 이용하여 깊이 맵 및 디스패리티 맵 중 적어도 하나를 인핸스먼트 레이어로부터 디코딩하는 단계(710)

를 포함하고,

상기 제1 스테레오스코픽 뷰, 및 상기 깊이 맵과 상기 디스패리티 맵의 적어도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 디코딩되는 스케일링가능한 비디오 디코딩 방법.
제86항에 있어서,

상기 베이스 레이어 및 상기 인핸스먼트 레이어는 비디오 비트스트림에 포함되고,

상기 방법은 상기 비디오 비트스트림을 시그널링하는 메시지로부터 상기 특정 스테레오스코픽 컨텐트와 관련된 부가적인 3차원 정보를 판독하는 단계(715)를 더 포함하는 스케일링가능한 비디오 디코딩 방법.
제87항에 있어서, 상기 메시지는 부가 인핸스먼트 정보(SEI) 메시지인 스케일링가능한 비디오 디코딩 방법.
제87항에 있어서, 상기 메시지는 대역외로 전송되는 스케일링가능한 비디오 디코딩 방법.
제87항에 있어서, 상기 부가적인 3차원 정보는 메타데이터로서 제공되는 스케일링가능한 비디오 디코딩 방법.
제87항에 있어서,

상기 베이스 레이어로부터의 재구성된 비디오, 재구성된 깊이 맵 및 재구성된 디스패리티 맵 중 적어도 하나, 및 상기 메시지의 부가적인 3차원 정보를 이용 하여, 상기 특정 스테레오스코픽 컨텐트의 비코딩된 뷰를 상기 베이스 레이어로서 재구성하는 단계(720); 및

상기 재구성된 비-코딩된 뷰에 기초하여 부가적인 인핸스먼트 레이어를 디코딩하여 상기 특정 스테레오스코픽 컨텐트의 세부화된 비-코딩된 뷰를 형성하는 단계(625)

를 더 포함하는 스케일링가능한 비디오 디코딩 방법.
제86에 있어서, 상기 시간, 공간 및 신호대 잡음비 스케일러빌리티 기술은 표준화를 위한 국제 기구/국제 전기기술 위원회(IOS/IEC) 동화상 전문가 그룹-4 파트 10 진보된 비디오 코딩 표준/국제 통신 협회, 통신 섹터 H.264 표준의 스케일링가능한 비디오 코딩 확장과 부합하여 수행되는 스케일링가능한 비디오 디코딩 방법.
제86항에 있어서, 상기 스테레오스코픽 뷰 쌍은 상기 제1 스테레오스코픽 뷰와 상기 제2 스테레오스코픽 뷰 간의 교차 뷰 예측에 대한 가중된 예측을 가능하게 함으로써 디코딩되는(930) 스케일링가능한 비디오 디코딩 방법.
제93항에 있어서, 상기 가중된 예측은 상기 인핸스먼트 레이어의 매크로블록과 상기 베이스 레이어의 매핑된 매크로블록 세트로부터 스케일링되는 가중된 매크로블록 간의 차이를 디코딩할 때 가능하게 되고, 상기 인핸스먼트 레이어의 상기 매크로블록은 상기 베이스 레이어의 매핑된 매크로블록 세트에 대해 동일하게 배치되는 스케일링가능한 비디오 디코딩 방법.
스케일링가능한 비디오 인코딩을 위한 비디오 신호 구조에 있어서,

베이스 레이어로서 인코딩되는 제1 스테레오스코픽 뷰; 및

상기 제1 스테레오스코픽 뷰로부터의 예측을 허용하는 인핸스먼트 레이어로서 인코딩되는 깊이 맵 및 디스패리티 맵 중 적어도 하나

를 포함하고,

상기 제1 스테레오스코픽 뷰, 및 상기 깊이 맵과 상기 디스패리티 맵의 적어도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩되는 비디오 신호 구조.
스케일링가능한 비디오 신호 데이터가 그 위에 인코딩되는 저장 매체에 있어서,

베이스 레이어로서 인코딩되는 제1 스테레오스코픽 뷰; 및

상기 제1 스테레오스코픽 뷰로부터의 예측을 허용하는 인핸스먼트 레이어로서 인코딩되는 깊이 맵 및 디스패리티 맵 중 적어도 하나

를 포함하고,

상기 제1 스테레오스코픽 뷰, 및 상기 깊이 맵과 상기 디스패리티 맵의 적어 도 하나는 각각 특정 스테레오스코픽 컨텐트에 대응하고, 시간, 공간 및 SNR 스케일러빌리티 기술 중 적어도 2개로부터의 선택에 기초하여 인코딩되는 저장 매체.