KR101617971B1 - 멀티뷰 비디오 코딩 - Google Patents

멀티뷰 비디오 코딩 Download PDF

Info

Publication number
KR101617971B1
KR101617971B1 KR1020147005398A KR20147005398A KR101617971B1 KR 101617971 B1 KR101617971 B1 KR 101617971B1 KR 1020147005398 A KR1020147005398 A KR 1020147005398A KR 20147005398 A KR20147005398 A KR 20147005398A KR 101617971 B1 KR101617971 B1 KR 101617971B1
Authority
KR
South Korea
Prior art keywords
view
decoding order
view components
video data
components
Prior art date
Application number
KR1020147005398A
Other languages
English (en)
Other versions
KR20140056311A (ko
Inventor
잉 천
마르타 카르체비츠
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140056311A publication Critical patent/KR20140056311A/ko
Application granted granted Critical
Publication of KR101617971B1 publication Critical patent/KR101617971B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시의 양태들은 비디오 데이터 코딩 방법에 관한 것이다. 일 실시형태에서, 상기 방법은, 인코딩된 비트스트림으로부터, 인코딩된 비디오 데이터의 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트에 대한 하나 이상의 네트워크 추상화 계층(NAL) 단위들을 획득하는 단계를 포함하고, 상기 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트는 공통 시간적 로케이션에 대응하고, 상기 하나 이상의 NAL 단위들은 개별 뷰 컴포넌트들에 대한 상기 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하고 상기 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 정보를 포함한다. 상기 방법은 또한, NAL 단위들과는 별개인, 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하는 단계를 포함한다. 상기 방법은 또한, 수신된 상기 정보에 기초한 상기 디코딩 순서로 상기 복수의 뷰 컴포넌트들의 상기 인코딩된 비디오 데이터를 디코딩하는 단계를 포함한다.

Description

멀티뷰 비디오 코딩{MULTIVIEW VIDEO CODING}
본 출원은 2011년 7월 28일자로 출원된 미국 가출원 제61/512,771호를 우선권 주장하며, 그것의 내용은 그 전부가 참조에 의해 본원에 통합된다.
기술 분야
본 개시물은 비디오 코딩에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인휴대 정보단말들 (PDAs), 랩톱 또는 데스크톱 컴퓨터들, 태블릿 컴퓨터들, e-북 리더들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 이른바 "스마트 폰들", 비디오 원격회의 디바이스들, 비디오 스트리밍 디바이스들 등을 포함하는 넓은 범위의 디바이스들에 통합될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263 또는 ITU-T H.264/MPEG-4, 파트 10, 고급 비디오 코딩 (AVC) 에 의해 규정된 표준들, 현재 개발중인 고 효율 비디오 코딩 (High Efficiency Video Coding, HEVC) 표준, 및 이러한 표준들의 확장안들에 기재된 것들과 같은 비디오 압축 기법들을 구현한다. 비디오 디바이스들은 그런 비디오 압축 기법들을 구현함으로써 디지털 비디오 정보를 더 효율적으로 송신, 수신, 인코딩, 디코딩, 및/또는 저장할 수도 있다.
비디오 압축 기법들은 공간적 (화상 내) 예측 및/또는 시간적 (화상 간) 예측을 수행하여 비디오 시퀀스들에 내재하는 리던던시를 감소시키거나 제거한다. 블록 기반 비디오 코딩을 위해, 비디오 슬라이스 (즉, 화상 또는 화상의 부분) 는 비디오 블록들로 구획될 수도 있으며, 그 비디오 블록들은 또한 트리블록들 (treeblocks), 코딩 단위들 (CUs) 및/또는 코딩 노드들이라고 지칭될 수도 있다. 화상의 인트라 코딩식 (intra-coded; I) 슬라이스에서의 비디오 블록들은 동일한 화상의 인접 블록들에서의 참조 샘플들에 관한 공간적 예측을 이용하여 인코딩된다. 화상의 인터 코딩식 (inter-coded; P 또는 B) 슬라이스에서의 비디오 블록들은 동일한 화상의 인접 블록들에서의 참조 샘플들에 관한 공간적 예측 또는 다른 참조 화상들에서의 참조 샘플들에 관한 시간적 예측을 이용할 수도 있다.
공간적 또는 시간적 예측은 코딩될 블록에 대한 예측 블록으로 나타나게 된다. 잔차 데이터는 코딩될 원본 블록과 예측 블록 사이의 화소 차이들을 나타낸다. 인터 코딩식 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 가리키는 모션 벡터와, 코딩된 블록 및 예측 블록 사이의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라 코딩식 블록은 인트라 코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔차 데이터는 화소 도메인으로부터 변환 도메인으로 변환될 수도 있으며, 결과적으로 잔차 변환 계수들이 생겨나며, 그 계수들은 그 다음에 양자화될 수도 있다. 처음에는 2차원 어레이로 배열된 양자화된 변환 계수들은, 변환 계수들의 1차원 벡터를 생성하기 위하여 스캐닝될 수도 있고, 엔트로피 코딩이 더 많은 압축을 달성하기 위해 적용될 수도 있다.
개요
대체로, 본 개시물은 비디오 데이터를 코딩하는 기법들을 설명한다. 예를 들어, 본 개시물은 멀티뷰 비디오 코딩 (multiview video coding; MVC) 을 수행하기 위한 기법들, 및 현재 개발중인 HEVC 비디오 코딩 표준에 대한 MVC 확장을 설명한다. 다시 말하면, MVC는 비디오 데이터의 다수의 뷰들을 캡슐화하는 비디오 코딩 기법이다. 각각의 뷰는 공통 장면의 대응하는 비디오 데이터가 캡처되었던 상이한 관점, 또는 각도에 대응할 수도 있다. 본 개시물의 기법들은 대체로 MVC 네트워크 추상화 계층 (NAL) 단위들, MVC 파라미터 세트들 등의 형성에 관련된다.
일 예에서, 본 개시물의 양태들은, 인코딩된 비트스트림으로부터, 인코딩된 비디오 데이터의 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트에 대한 하나 이상의 네트워크 추상화 계층 (NAL) 단위들을 획득하는 단계로서, 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트는 공통 시간적 로케이션에 대응하고, 하나 이상의 NAL 단위들은 개별 뷰 컴포넌트들에 대한 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하고 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 정보를 포함하는, NAL 단위들을 획득하는 단계; 인코딩된 비트스트림으로부터 그리고 NAL 단위들과는 별개인, 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하는 단계; 및 수신된 정보에 기초한 디코딩 순서로 복수의 뷰 컴포넌트들의 인코딩된 비디오 데이터를 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법에 대한 것이다.
다른 예에서, 본 개시물의 양태들은, 인코딩된 비트스트림으로부터, 인코딩된 비디오 데이터의 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트에 대한 하나 이상의 네트워크 추상화 계층 (NAL) 단위들을 획득하는 것으로서, 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트는 공통 시간적 로케이션에 대응하고, 하나 이상의 NAL 단위들은 개별 뷰 컴포넌트들에 대한 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하고 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 정보를 포함하는, NAL 단위들을 획득하는 것; 인코딩된 비트스트림으로부터 그리고 NAL 단위들과는 별개인, 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하는 것; 및 수신된 정보에 기초한 디코딩 순서로 복수의 뷰 컴포넌트들의 인코딩된 비디오 데이터를 디코딩하도록 구성된 하나 이상의 프로세서들을 포함하는, 비디오 데이터를 디코딩하는 장치에 대한 것이다.
다른 예에서, 본 개시물의 양태들은, 인코딩된 비트스트림으로부터, 인코딩된 비디오 데이터의 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트에 대한 하나 이상의 네트워크 추상화 계층 (NAL) 단위들을 획득하는 수단으로서, 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트는 공통 시간적 로케이션에 대응하고, 하나 이상의 NAL 단위들은 개별 뷰 컴포넌트들에 대한 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하고 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 정보를 포함하는, NAL 단위들을 획득하는 수단; 인코딩된 비트스트림으로부터 그리고 NAL 단위들과는 별개인, 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하는 수단; 및 수신된 정보에 기초한 디코딩 순서로 복수의 뷰 컴포넌트들의 인코딩된 비디오 데이터를 디코딩하는 수단을 포함하는, 비디오 데이터를 디코딩하는 방법에 대한 것이다.
다른 예에서, 본 개시물의 양태들은, 실행되는 경우, 하나 이상의 프로세서들로 하여금, 인코딩된 비트스트림으로부터, 인코딩된 비디오 데이터의 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트에 대한 하나 이상의 네트워크 추상화 계층 (NAL) 단위들을 획득하는 것으로서, 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트는 공통 시간적 로케이션에 대응하고, 하나 이상의 NAL 단위들은 개별 뷰 컴포넌트들에 대한 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하고 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 정보를 포함하는, NAL 단위들을 획득하는 것; 인코딩된 비트스트림으로부터 그리고 NAL 단위들과는 별개인, 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하는 것; 및 수신된 정보에 기초한 디코딩 순서로 복수의 뷰 컴포넌트들의 인코딩된 비디오 데이터를 디코딩하게 하는 명령들을 저장하고 있는, 비일시적 컴퓨터 판독가능 저장 매체에 대한 것이다.
다른 예에서, 본 개시물의 양태들은, 비디오 데이터의 개별 뷰들에 대한 복수의 뷰 컴포넌트들에 대해 비디오 데이터를 인코딩하는 단계로서, 복수의 뷰 컴포넌트들의 각각은 공통 시간적 로케이션에 대응하는, 상기 인코딩하는 단계; 네트워크 추상화 계층 (NAL) 단위들이 개별 뷰 컴포넌트들의 비디오 데이터의 디코딩 순서를 나타내는 정보를 포함하고 개별 뷰 컴포넌트들에 대한 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하도록, 인코딩된 비트스트림의 부분으로서, 뷰 컴포넌트들의 각각의 뷰 컴포넌트의 인코딩된 비디오 데이터에 대해 하나 이상의 NAL 단위들을 형성하는 단계; 및 인코딩된 비트스트림에서, NAL 단위들과는 별개인, 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법에 대한 것이다.
다른 예에서, 본 개시물의 양태들은, 비디오 데이터의 개별 뷰들에 대한 복수의 뷰 컴포넌트들에 대해 비디오 데이터를 인코딩하는 것으로서, 복수의 뷰 컴포넌트들의 각각은 공통 시간적 로케이션에 대응하는, 상기 인코딩하는 것; 네트워크 추상화 계층 (NAL) 단위들이 개별 뷰 컴포넌트들의 비디오 데이터의 디코딩 순서를 나타내는 정보를 포함하고 개별 뷰 컴포넌트들에 대한 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하도록 인코딩된 비트스트림의 부분으로서, 뷰 컴포넌트들의 각각의 뷰 컴포넌트의 인코딩된 비디오 데이터에 대해 하나 이상의 NAL 단위들을 형성하는 것; 및 인코딩된 비트스트림에서, NAL 단위들과는 별개인, 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하는 것을 하도록 구성된 하나 이상의 프로세서들을 포함하는, 비디오 데이터를 인코딩하는 장치에 대한 것이다.
다른 예에서, 본 개시물의 양태들은, 비디오 데이터의 개별 뷰들에 대한 복수의 뷰 컴포넌트들에 대해 비디오 데이터를 인코딩하는 수단으로서, 복수의 뷰 컴포넌트들의 각각은 공통 시간적 로케이션에 대응하는, 상기 인코딩하는 수단; 네트워크 추상화 계층 (NAL) 단위들이 개별 뷰 컴포넌트들의 비디오 데이터의 디코딩 순서를 나타내는 정보를 포함하고 개별 뷰 컴포넌트들에 대한 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하도록 인코딩된 비트스트림의 부분으로서, 뷰 컴포넌트들의 각각의 뷰 컴포넌트의 인코딩된 비디오 데이터에 대해 하나 이상의 NAL 단위들을 형성하는 수단; 및 인코딩된 비트스트림에서, NAL 단위들과는 별개인, 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하는 수단을 포함하는, 비디오 데이터를 인코딩하는 장치에 대한 것이다.
다른 예에서, 본 개시물의 양태들은, 실행되는 경우, 하나 이상의 프로세서들로 하여금, 비디오 데이터의 개별 뷰들에 대한 복수의 뷰 컴포넌트들에 대해 비디오 데이터를 인코딩하는 것으로서, 복수의 뷰 컴포넌트들의 각각은 공통 시간적 로케이션에 대응하는, 상기 인코딩하는 것; 네트워크 추상화 계층 (NAL) 단위들이 개별 뷰 컴포넌트들의 비디오 데이터의 디코딩 순서를 나타내는 정보를 포함하고 개별 뷰 컴포넌트들에 대한 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하도록 인코딩된 비트스트림의 부분으로서, 뷰 컴포넌트들의 각각의 뷰 컴포넌트의 인코딩된 비디오 데이터에 대해 하나 이상의 NAL 단위들을 형성하는 것; 및 인코딩된 비트스트림에서, NAL 단위들과는 별개인, 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하는 것을 하게 하는 명령들을 저장하고 있는, 비일시적 컴퓨터 판독가능 저장 매체에 대한 것이다.
다른 예에서, 본 개시물의 양태들은, 인코딩된 비트스트림으로부터 그리고 제 1 뷰의 임의의 뷰 컴포넌트에 대해, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 획득하는 단계; 액세스 단위에서의 및 제 1 뷰에서의 제 1 뷰 컴포넌트를 디코딩하기 위해, 하나 이상의 참조 후보들을 참조 화상 목록에 포함시키는 단계로서, 하나 이상의 참조 후보들은 참조 뷰 정보에 의해 나타낸 참조 뷰들에서의 및 액세스 단위에서의 뷰 컴포넌트들을 포함하며, 참조 후보들의 수는 참조 뷰들의 수와 동일한, 상기 포함시키는 단계; 및 참조 화상 목록에서의 하나 이상의 참조 후보들에 기초하여 제 1 뷰 컴포넌트를 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법에 대한 것이다.
다른 예에서, 본 개시물의 양태들은 비디오 데이터를 디코딩하는 장치에 대한 것이며, 그 장치는 인코딩된 비트스트림으로부터 그리고 제 1 뷰의 임의의 뷰 컴포넌트에 대해, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 획득하는 것; 액세스 단위에서의 및 제 1 뷰에서의 제 1 뷰 컴포넌트를 디코딩하기 위해, 하나 이상의 참조 후보들을 참조 화상 목록에 포함시키는 것으로서, 하나 이상의 참조 후보들은 참조 뷰 정보에 의해 나타낸 참조 뷰들에서의 및 액세스 단위에서의 뷰 컴포넌트들을 포함하며, 참조 후보들의 수는 참조 뷰들의 수와 동일한, 상기 포함시키는 것; 및 참조 화상 목록에서의 하나 이상의 참조 후보들에 기초하여 제 1 뷰 컴포넌트를 디코딩하는 것을 하도록 구성된 하나 이상의 프로세서들을 포함한다.
다른 예에서, 본 개시물의 양태들은 비디오 데이터를 디코딩하는 장치를 위한 것이며, 그 장치는 인코딩된 비트스트림으로부터 그리고 제 1 뷰의 임의의 뷰 컴포넌트에 대해, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 획득하는 수단; 액세스 단위에서의 및 제 1 뷰에서의 제 1 뷰 컴포넌트를 디코딩하기 위해, 하나 이상의 참조 후보들을 참조 화상 목록에 포함시키는 수단으로서, 하나 이상의 참조 후보들은 참조 뷰 정보에 의해 나타낸 참조 뷰들에서의 및 액세스 단위에서의 뷰 컴포넌트들을 포함하며, 참조 후보들의 수는 참조 뷰들의 수와 동일한, 상기 포함시키는 수단; 및 참조 화상 목록에서의 하나 이상의 참조 후보들에 기초하여 제 1 뷰 컴포넌트를 디코딩하는 수단을 포함한다.
다른 예에서, 본 개시물의 양태들은, 실행되는 경우, 하나 이상의 프로세서들로 하여금, 인코딩된 비트스트림으로부터 그리고 제 1 뷰의 임의의 뷰 컴포넌트에 대해, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 획득하는 것; 액세스 단위에서의 및 제 1 뷰에서의 제 1 뷰 컴포넌트를 디코딩하기 위해, 하나 이상의 참조 후보들을 참조 화상 목록에 포함시키는 것으로서, 하나 이상의 참조 후보들은 참조 뷰 정보에 의해 나타낸 참조 뷰들에서의 및 액세스 단위에서의 뷰 컴포넌트들을 포함하며, 참조 후보들의 수는 참조 뷰들의 수와 동일한, 상기 포함시키는 것; 및 참조 화상 목록에서의 하나 이상의 참조 후보들에 기초하여 제 1 뷰 컴포넌트를 디코딩하는 것을 하게 하는 명령들을 저장하고 있는 비일시적 컴퓨터 판독가능 저장 매체에 대한 것이다.
다른 예에서, 본 개시물의 양태들은, 제 1 뷰의 임의의 뷰 컴포넌트에 대해, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 결정하는 단계; 액세스 단위에서의 및 제 1 뷰에서의 제 1 뷰 컴포넌트를 인코딩하기 위해, 하나 이상의 참조 후보들을 참조 화상 목록에 포함시키는 단계로서, 하나 이상의 참조 후보들은 참조 뷰 정보에 의해 나타낸 참조 뷰들에서의 및 액세스 단위에서의 뷰 컴포넌트들을 포함하며, 참조 후보들의 수는 참조 뷰들의 수와 동일한, 상기 포함시키는 단계; 참조 화상 목록에서의 하나 이상의 참조 후보들에 기초하여 제 1 뷰 컴포넌트를 인코딩하는 단계; 및 인코딩된 비트스트림에서, 인코딩된 제 1 뷰 컴포넌트에 결정된 참조 뷰 정보를 제공하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법을 위한 것이다.
다른 예에서, 본 개시물의 양태들은, 제 1 뷰의 임의의 뷰 컴포넌트에 대해, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 결정하는 것; 액세스 단위에서의 및 제 1 뷰에서의 제 1 뷰 컴포넌트를 인코딩하기 위해, 하나 이상의 참조 후보들을 참조 화상 목록에 포함시키는 것으로서, 하나 이상의 참조 후보들은 참조 뷰 정보에 의해 나타낸 참조 뷰들에서의 및 액세스 단위에서의 뷰 컴포넌트들을 포함하며, 참조 후보들의 수는 참조 뷰들의 수와 동일한, 상기 포함시키는 것; 참조 화상 목록에서의 하나 이상의 참조 후보들에 기초하여 제 1 뷰 컴포넌트를 인코딩하는 것; 및 인코딩된 비트스트림에서, 인코딩된 제 1 뷰 컴포넌트에 결정된 참조 뷰 정보를 제공하는 것을 하도록 구성된 하나 이상의 프로세서들을 포함하는, 비디오 데이터를 인코딩하는 장치를 위한 것이다.
다른 예에서, 본 개시물의 양태들은 비디오 데이터를 인코딩하는 장치를 위한 것이며, 그 장치는 제 1 뷰의 임의의 뷰 컴포넌트에 대해, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 결정하는 수단; 액세스 단위에서의 및 제 1 뷰에서의 제 1 뷰 컴포넌트를 인코딩하기 위해, 하나 이상의 참조 후보들을 참조 화상 목록에 포함시키는 수단으로서, 하나 이상의 참조 후보들은 참조 뷰 정보에 의해 나타낸 참조 뷰들에서의 및 액세스 단위에서의 뷰 컴포넌트들을 포함하며, 참조 후보들의 수는 참조 뷰들의 수와 동일한, 상기 포함시키는 수단; 참조 화상 목록에서의 하나 이상의 참조 후보들에 기초하여 제 1 뷰 컴포넌트를 인코딩하는 수단; 및 인코딩된 비트스트림에서, 인코딩된 제 1 뷰 컴포넌트에 결정된 참조 뷰 정보를 제공하는 수단을 포함한다.
다른 예에서, 본 개시물의 양태들은, 실행되는 경우, 하나 이상의 프로세서들로 하여금, 제 1 뷰의 임의의 뷰 컴포넌트에 대해, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 결정하는 것; 액세스 단위에서의 및 제 1 뷰에서의 제 1 뷰 컴포넌트를 인코딩하기 위해, 하나 이상의 참조 후보들을 참조 화상 목록에 포함시키는 것으로서, 하나 이상의 참조 후보들은 참조 뷰 정보에 의해 나타낸 참조 뷰들에서의 및 액세스 단위에서의 뷰 컴포넌트들을 포함하며, 참조 후보들의 수는 참조 뷰들의 수와 동일한, 상기 포함시키는 것; 참조 화상 목록에서의 하나 이상의 참조 후보들에 기초하여 제 1 뷰 컴포넌트를 인코딩하는 것; 및 인코딩된 비트스트림에서, 인코딩된 제 1 뷰 컴포넌트에 결정된 참조 뷰 정보를 제공하는 것을 하게 하는 명령들을 저장하고 있는, 비일시적 컴퓨터 판독가능 저장 매체를 위한 것이다.
본 개시물의 하나 이상의 양태들의 상세는 첨부 도면들 및 다음의 설명에서 언급된다. 본 개시물에서 설명되는 기법들의 다른 특징들, 목적들, 및 이점들은 상세한 설명 및 도면들로부터, 그리고 청구항들로부터 명확하게 될 것이다.
도 1은 본 개시물에서 설명되는 기법들을 활용할 수도 있는 일 예의 비디오 인코딩 및 디코딩 시스템을 도시하는 블록도이다.
도 2는 본 개시물에서 설명되는 기법들을 구현할 수도 있는 일 예의 비디오 인코더를 도시하는 블록도이다.
도 3은 본 개시물에서 설명되는 기법들을 구현할 수도 있는 일 예의 비디오 디코더를 도시하는 블록도이다.
도 4는 일 예의 멀티뷰 비디오 코딩 (Multiview Video Coding; MVC) 예측 패턴을 도시하는 개념도이다.
도 5a는 본 개시물의 기법들 중 하나 이상의 구현예에서 사용될 수도 있는 비트스트림 구조의 일 예를 도시하는 개념도이다.
도 5b는 도 5a의 비트스트림 구조에 포함될 수도 있는 뷰의 일 예를 도시하는 개념도이다.
도 5c는 도 5a의 비트스트림 구조에 포함될 수도 있는 네트워크 추상화 계층 (NAL) 단위의 일 예를 도시하는 개념도이다.
도 5d는 도 5a의 비트스트림 구조에 포함될 수도 있는 NAL 단위의 다른 예를 도시하는 개념도이다.
도 6은 멀티뷰 비트스트림을 인코딩하는 일 예의 방법을 도시하는 흐름도이다.
도 7은 멀티뷰 비트스트림을 디코딩하는 일 예의 방법을 도시하는 흐름도이다.
도 8은 멀티뷰 비트스트림을 인코딩하는 일 예의 방법을 도시하는 흐름도이다.
도 9는 멀티뷰 비트스트림을 디코딩하는 일 예의 방법을 도시하는 흐름도이다.
특정한 비디오 코딩 시스템들에 따르면, 모션 추정 및 모션 보상은 데이터 압축을 달성하기 위해서 비디오 시퀀스에서 시간적 리던던시를 감소시키는데 사용될 수도 있다. 이 경우, 비디오 데이터의 예측 블록, 예컨대, 다른 비디오 화상 또는 슬라이스로부터의 블록을 식별하는 모션 벡터가 생성될 수 있으며, 그 모션 벡터는 코딩되고 있는 현재 비디오 블록의 값들을 예측하는데 사용될 수 있다. 예측 비디오 블록의 값들은 잔차 데이터의 블록을 생성하기 위해 현재 비디오 블록의 값들로부터 감산된다. 모션 정보 (예컨대, 모션 벡터, 모션 벡터 인덱스들, 예측 방향들, 또는 다른 정보) 가 잔차 데이터와 함께 비디오 인코더로부터 비디오 디코더로 통신된다. 디코더는 (모션 벡터에 기초하여) 동일한 예측 블록을 찾고 잔차 데이터와 예측 블록의 데이터를 결합함으로써 인코딩된 비디오 블록을 복원할 수 있다.
멀티뷰 비디오 코딩 (MVC) 은 비디오 데이터의 다수의 뷰들을 캡슐화하는 비디오 코딩 표준이다. 대체로, 각각의 뷰는 공통 장면의 대응하는 비디오 데이터가 캡처되었던 상이한 관점, 또는 각도에 대응한다. 코딩된 뷰들은 비디오 데이터의 3차원 (3D) 디스플레이를 위해 사용될 수 있다. 예를 들어, 2 개의 뷰들 (예컨대, 인간 뷰어 (human viewer) 의 왼쪽 및 오른쪽 눈 뷰들) 은 광의 상이한 편광들을 사용하여 동시에 또는 거의 동시에 디스플레이될 수도 있고, 뷰어는 뷰어의 눈들의 각각이 뷰들의 개별 하나를 수신하도록 패시브, 편광 안경을 착용할 수도 있다. 대안으로, 뷰어는 각각의 눈을 독립적으로 셔터링하는 액티브 안경을 착용할 수도 있고, 디스플레이는 각각의 눈의 이미지들 사이를 안경과 동기하여 신속히 교번할 수도 있다.
MVC에서, 특정 뷰의 특정 화상은 뷰 컴포넌트라고 지칭된다. 다시 말하면, 뷰의 뷰 컴포넌트은 뷰의 특정한 시간적 인스턴스에 대응한다. 멀티-뷰 비디오는 비교적 큰 양의 뷰 간 통계적 의존성들을 포함할 수도 있는데, 멀티-뷰 데이터를 캡처하는데 사용되는 모든 카메라들이 동일한 장면들을 상이한 시점들로부터 캡처해서이다. 그런 의존성들은 이미지들이 시간적으로 인접하는 이미지들로부터뿐만 아니라 다른 뷰들에서의 대응하는 이미지들로부터 예측되는 조합된 시간적 및/또는 뷰 간 예측에 이용될 수 있다. 다시 말하면, 뷰 간 예측은 동일한 액세스 단위에서의 (즉, 동일한 타임 인스턴스 내의) 화상들 중에서 수행될 수도 있다.
뷰 간 예측은 일반적으로 다른 뷰에서의 뷰 컴포넌트가 인터 예측 참조인 것처럼 일반화된다. 예측을 위해 "모션" 벡터를 사용하기 보다는, 뷰 간 예측은 모션 벡터들과는 개념적으로 유사하지만 모션보다는 변위를 설명하는 "변위" 벡터를 활용한다. 잠정적 뷰 간 참조들은 시퀀스 파라미터 세트 (Sequence Parameter Set; SPS) MVC 확장부에서 시그널링되고 참조 화상 목록 구축 프로세스에 의해 수정될 수 있는데, 이는 인터 예측 또는 뷰 간 (inter-view) 예측 참조들의 유연한 순서화를 가능하게 한다.
MVC 비디오 데이터를 포함하는 비디오 데이터는, 비디오 전화, 스토리지, 브로드캐스트, 또는 스트리밍과 같은 애플리케이션들을 다루기 위한 "네트워크 친화적 (network-friendly)" 비디오 표현을 제공하는 네트워크 추상화 계층 (NAL) 단위들이 되게 편성될 수도 있다. 예를 들어, 비디오 인코더는 보통 비디오 데이터의 각각의 화상을 하나 이상의 독립적으로 디코딩가능 슬라이스들로서 인코딩한다. 그 슬라이스들은 네트워크를 가로지르는 송신을 위한 NAL 단위들이 되게 패키징될 수도 있다. 비디오 코딩 계층 (VCL) 데이터를 포함하는 NAL 단위들은 화상에 대한 데이터 또는 화상의 슬라이스에 대한 데이터를 포함할 수도 있다. 예를 들어, NAL 단위들은 코딩된 블록 패턴 (CBP) 값들, 블록 유형, 코딩 모드, 코딩된 단위 (coded unit) (이를테면 프레임, 슬라이스, 블록, 또는 시퀀스) 에 대한 최대 블록 사이즈, 또는 다른 정보와 같은 신택스 정보를 포함할 수도 있다.
각각의 NAL 단위는 NAL 단위에 저장된 데이터의 유형을 식별하는 헤더를 포함한다. 일 예의 MVC NAL 단위 헤더는 NAL 단위가 속하는 뷰에 대한 뷰 식별자, NAL 단위가 (다른 뷰 컴포넌트들에 의한 참조를 위한) 랜덤 액세스 포인트로서 사용될 수 있는 이른바 앵커 화상에 속하는지의 여부, NAL 단위가 다른 뷰들에서의 NAL 단위들에 대한 뷰 간 예측을 위해 사용되는지의 여부, 및 다양한 다른 정보를 나타내는 신택스 엘리먼트들을 포함할 수도 있다. 본원에서 설명된 바와 같이, 앵커 화상은 일반적으로 랜덤 액세스 화상에 대응하고, 그런 용어들은 상호교환적으로 사용될 수도 있다. 다시 말하면, "랜덤 액세스"는 일반적으로 비트스트림에 대해 그 스트림의 시작부분 이외의 포인트에서 디코딩 프로세스를 시작하는 액트 (act) 를 말한다. 랜덤 액세스 화상은 일반적으로 인트라 코딩된 슬라이스들 (I-슬라이스들) 을 포함하는 화상에 관련된다. 디코딩 순서 및 출력 순서 양쪽 모두에서 랜덤 액세스 화상을 뒤따르는 코딩된 화상들은 디코딩 순서 또는 출력 순서 중 어느 하나에서 랜덤 액세스 화상에 앞서는 화상들로부터 예측되지 않는다.
대체로, 액세스 단위가 특정 시간 인스턴스의 모든 뷰 컴포넌트들을 포함할 수도 있다. 특정 뷰 컴포넌트가 특정 시간 인스턴스에서 특정 뷰의 모든 NAL 단위들을 포함한다. MVC NAL 단위는 1 바이트 NAL 단위 헤더 (NAL 단위 유형을 포함함) 를 포함할 수도 있고 MVC NAL 단위 헤더 확장부를 더 포함할 수도 있다.
H.264/AVC가 MVC 지원을 포함하지만, H.264/AVC에 대한 현재 MVC 확장은 다른 비디오 코딩 표준들에 관한 여러 비효율성들을 포함할 수도 있다. 더구나, 아래에서 더 상세히 논의될 바와 같이, H.264/AVC로부터 다른 코딩 표준들, 이를테면 곧 나올 (upcoming) HEVC 표준으로의 MVC의 직접적인 이입 (import) 은 실현가능하지 않을 수도 있다. 본 개시물의 기법들은 일반적으로 MVC 관련된 NAL 단위들, MVC 관련된 파라미터 세트들 등의 형성에 관련된다. 본 개시물의 특정한 기법들은 곧 나올 HEVC 표준에 대한 효율적인 MVC 코딩을 가능하게 할 수도 있다.
도 1은 비디오 멀티뷰 코딩에서 모션 벡터 예측을 위한 기법들을 활용할 수도 있는 일 예의 비디오 인코딩 및 디코딩 시스템 (10) 을 도시하는 블록도이다. 도 1에 도시된 바와 같이, 시스템 (10) 은 목적지 디바이스 (14) 에 의해 나중에 디코딩될 인코딩된 비디오 데이터를 제공하는 소스 디바이스 (12) 를 구비한다. 특히, 소스 디바이스 (12) 는 비디오 데이터를 컴퓨터 판독가능 매체 (16) 를 통해 목적지 디바이스 (14) 로 제공한다. 소스 디바이스 (12) 와 목적지 디바이스 (14) 는 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들, 이른바 "스마트" 폰들과 같은 전화기 핸드셋들, 이른바 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함하는 매우 다양한 디바이스들 중 임의의 것을 포함할 수도 있다. 일부 경우들에서, 소스 디바이스 (12) 와 목적지 디바이스 (14) 는 무선 통신을 위해 장비될 수도 있다.
목적지 디바이스 (14) 는 디코딩될 인코딩된 비디오 데이터를 컴퓨터 판독가능 매체 (16) 를 통해 수신할 수도 있다. 컴퓨터 판독가능 매체 (16) 는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 인코딩된 비디오 데이터를 이동시킬 수 있는 임의의 유형의 매체 또는 디바이스를 포함할 수도 있다. 하나의 예에서, 컴퓨터 판독가능 매체 (16) 는 소스 디바이스 (12) 가 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 직접 실시간으로 송신하는 것을 가능하게 하는 통신 매체를 포함할 수도 있다.
인코딩된 비디오 데이터는 통신 표준, 이를테면 무선 통신 프로토콜에 따라 변조되고 목적지 디바이스 (14) 에 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 이를테면 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 이를테면 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
일부 예들에서, 인코딩된 데이터는 출력 인터페이스 (22) 로부터 저장 디바이스로 출력될 수도 있다. 마찬가지로, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스로부터 액세스될 수도 있다. 저장 디바이스는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산형 또는 국소적으로 액세스되는 데이터 저장 매체들 중 임의의 것을 포함할 수도 있다. 추가의 예에서, 저장 디바이스는 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오를 저장할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 대응할 수도 있다.
목적지 디바이스 (14) 는 저장 디바이스로부터의 저장된 비디오 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 에 송신할 수 있는 임의의 유형의 서버일 수도 있다. 예의 파일 서버들은 (예컨대, 웹사이트에 대한) 웹 서버, FTP 서버, NAS (network attached storage) 디바이스들, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스 (14) 는 인터넷 접속을 포함하는 임의의 표준 데이터 접속을 통해, 인코딩된 비디오 데이터에 액세스할 수도 있다. 이는 무선 채널 (예컨대, Wi-Fi 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀 등), 또는 파일 서버 상에 저장된 인코딩된 비디오 데이터에 액세스하기에 적합한 양쪽 모두의 조합을 포함할 수도 있다. 저장 디바이스로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 그 조합일 수도 있다.
본 개시물의 기법들은 무선 애플리케이션들 또는 설정 (setting) 들로 반드시 제한되지는 않는다. 그 기법들은 다양한 멀티미디어 애플리케이션들 중 임의의 것, 이를테면 OTA (over-the-air) 텔레비전 브로드캐스트, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 인터넷 스트리밍 비디오 송신들, 이를테면 HTTP를 통한 동적 적응적 스트리밍 (DASH), 데이터 저장 매체에 인코딩된 디지털 비디오, 데이터 저장 매체에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들의 지원으로 비디오 코딩에 적용될 수도 있다. 일부 예들에서, 시스템 (10) 은 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 화상 통화와 같은 애플리케이션들을 지원하기 위해 단방향 또는 양방향 비디오 송신을 지원하도록 구성될 수도 있다.
도 1의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 구비한다. 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 구비한다. 본 개시물에 따라서, 소스 디바이스 (12) 의 비디오 인코더 (20) 는 멀티뷰 코딩에서 모션 벡터 예측을 위한 기법들을 적용하도록 구성될 수도 있다. 다른 예들에서, 소스 디바이스와 목적지 디바이스는 다른 컴포넌트들 또는 구성물들을 구비할 수도 있다. 예를 들어, 소스 디바이스 (12) 는 외부 비디오 소스 (18), 이를테면 외부 카메라로부터 비디오 데이터를 수신할 수도 있다. 마찬가지로, 목적지 디바이스 (14) 는, 통합형 디스플레이 디바이스를 구비하기 보다는, 외부 디스플레이 디바이스와 인터페이싱할 수도 있다.
도 1의 예시된 시스템 (10) 은 단지 하나의 예일 뿐이다. 멀티뷰 코딩에서의 모션 벡터 예측을 위한 기법들은 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수도 있다. 비록 대체로 본 개시물의 기법들이 비디오 인코딩 디바이스에 의해 수행되지만, 그 기법들은 또한 통상 "코덱 (CODEC)"이라고 지칭되는 비디오 인코더/디코더에 의해 수행될 수도 있다. 더구나, 본 개시물의 기법들은 또한 비디오 프리프로세서 (preprocessor) 에 의해 수행될 수도 있다. 소스 디바이스 (12) 와 목적지 디바이스 (14) 는, 소스 디바이스 (12) 가 목적지 디바이스 (14) 로의 송신을 위해 코딩된 비디오 데이터를 생성하는 그런 코딩 디바이스들의 예들일 뿐이다. 일부 예들에서, 디바이스들 (12, 14) 은 디바이스들 (12, 14) 의 각각이 비디오 인코딩 및 디코딩 컴포넌트들을 구비하도록 실질적으로 대칭적 방식으로 동작할 수도 있다. 그런고로, 시스템 (10) 은, 예컨대, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 또는 비디오 전화기술 (telephony) 을 위해, 비디오 디바이스들 (12, 14) 사이의 단방향 또는 양방향 비디오 송신을 지원할 수도 있다.
소스 디바이스 (12) 의 비디오 소스 (18) 는 비디오 캡처 디바이스, 이를테면 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브 (archive), 및/또는 비디오 컨텐츠 제공자로부터의 비디오를 수신하는 비디오 피드 인터페이스를 포함할 수도 있다. 추가의 대안으로서, 비디오 소스 (18) 는 컴퓨터 그래픽스 기반 데이터를, 소스 비디오, 또는 라이브 비디오, 아카이브된 비디오, 및 컴퓨터 생성 비디오의 조합으로서 생성할 수도 있다. 일부 경우들에서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 와 목적지 디바이스 (14) 는 이른바 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 그러나, 위에서 언급했듯이, 본 개시물에서 설명된 기법들은 일반적으로 비디오 코딩에 적용가능할 수도 있고, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다. 각각의 경우에서, 캡처된, 사전-캡처된 (pre-captured), 또는 컴퓨터-생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 정보는 그러면 출력 인터페이스 (22) 에 의해 컴퓨터 판독가능 매체 (16) 로 출력될 수도 있다.
컴퓨터 판독가능 매체 (16) 는 일시적인 매체들, 이를테면 무선 브로드캐스트 또는 유선 네트워크 송신, 또는 저장 매체들 (다시 말하면, 비일시적 저장 매체들), 이를테면 하드 디스크, 플래시 드라이브, 콤팩트 디스크, 디지털 비디오 디스크, 블루레이 디스크, 또는 다른 컴퓨터 판독가능 매체들을 포함할 수도 있다. 일부 예들에서, 네트워크 서버 (미도시) 는 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신하고 그 인코딩된 비디오 데이터를, 예컨대, 네트워크 송신을 통해 목적지 디바이스 (14) 에 제공할 수도 있다. 마찬가지로, 매체 생산 설비, 이를테면 디스크 스탬핑 설비의 컴퓨팅 디바이스는, 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신하고 그 인코딩된 비디오 데이터를 포함하는 디스크를 생산할 수도 있다. 그러므로, 컴퓨터 판독가능 매체 (16) 는 다양한 예들에서, 다양한 형태들의 하나 이상의 컴퓨터-판독가능 매체들을 포함한다고 이해될 수도 있다.
목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 컴퓨터 판독가능 매체 (16) 로부터 정보를 수신한다. 컴퓨터 판독가능 매체 (16) 의 정보는, 블록들 및 다른 코딩된 단위들, 예컨대, GOP들의 특성들 및/또는 프로세싱을 서술하는 신택스 엘리먼트들을 포함하는, 비디오 디코더 (30) 에 의해 또한 사용되는, 비디오 인코더 (20) 에 의해 정의된 신택스 정보를 포함할 수도 있다. 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 유형의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것을 포함할 수도 있다.
비디오 인코더 (20) 와 비디오 디코더 (30) 각각은, 적용가능한 것으로서, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), 주문형 집적회로들 (ASICs), 필드 프로그램가능 게이트 어레이들 (FPGAs), 개별 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 그것들의 임의의 조합과 같은 다양한 적합한 인코더 또는 디코더 회로 중 임의의 것으로서 구현될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 의 각각은 하나 이상의 인코더들 또는 디코더들 내에 구비될 수도 있고, 그것들 중 어느 하나는 결합형 비디오 인코더/디코더 (CODEC) 의 부분으로서 통합될 수도 있다. 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 를 구비한 디바이스는 집적회로, 마이크로프로세서, 및/또는 무선 통신 디바이스, 이를테면 셀룰러 전화기를 포함할 수도 있다.
비록 도 1에 도시되지 않았지만, 일부 양태들에서, 비디오 인코더 (20) 와 비디오 디코더 (30) 는 각각이 오디오 인코더 및 디코더와 통합될 수도 있고, 적절한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함하여, 공통 데이터 스트림 또는 개별 데이터 스트림들에서의 오디오 및 비디오 양쪽 모두의 인코딩을 핸들링할 수도 있다. 적용가능하다면, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들을 준수할 수도 있다.
도 1에 보인 예에서, 시스템 (10) 은 또한 라우터 (36) 를 갖는 서버/컨텐츠 전달 네트워크 (34) 를 포함한다. 일부 예들에서, 소스 디바이스 (12) 는, 위에서 설명된 바와 같이, 다양한 무선 및/또는 유선 송신 또는 저장 매체들을 통해 서버/컨텐츠 전달 네트워크 (34) 와 통신할 수도 있다. 더구나, 도 1의 예에서 별개로 도시되었지만, 일부 예들에서, 소스 디바이스 (12) 및 서버/컨텐츠 전달 네트워크 (34) 는 동일한 디바이스를 포함한다. 서버/컨텐츠 전달 네트워크 (34) 는 (소스 디바이스 (12) 의 비디오 인코더 (20) 로부터) 코딩된 비디오 데이터의 하나 이상의 버전들을 저장할 수도 있고, 그런 코딩된 비디오 데이터를 목적지 디바이스 (14) 및 비디오 디코더 (30) 에 의한 액세스를 위해 이용가능한 것으로 삼을 수도 있다. 일부 예들에서, 라우터 (36) 는 코딩된 비디오 데이터를 요청된 포맷으로 목적지 디바이스 (14) 에 제공하는 것을 담당할 수도 있다.
비디오 인코더 (20) 와 비디오 디코더 (30) 는 비디오 코딩 표준, 이를테면 현재 개발 중인 고 효율 비디오 코딩 (High Efficiency Video Coding; HEVC) 표준에 따라 동작할 수도 있고, HEVC 테스트 모델 (HM) 을 준수할 수도 있다. 대안으로, 비디오 인코더 (20) 와 비디오 디코더 (30) 는, 다르게는 MPEG-4, 파트 10, 고급 비디오 코딩 (AVC) 이라고 지칭되는 ITU-T H.264 표준과 같은 다른 독점 또는 산업 표준들, 또는 그런 표준들의 확장안들에 따라 동작할 수도 있다. 본 개시물의 기법들은, 그러나, 임의의 특정 코딩 표준으로 제한되지 않는다. 비디오 코딩 표준들의 다른 예들은 MPEG-2와 ITU-T H.263을 포함한다.
ITU-T H.264/MPEG-4 (AVC) 표준은 ISO/IEC 동 화상 전문가 그룹 (MPEG) 과 함께 ITU-T 비디오 코딩 전문가 그룹 (VCEG) 에 의해 조인트 비디오 팀 (JVT) 으로서 알려진 공동 파트너십의 산물로서 공식화되었다. 일부 양태들에서, 본 개시물에서 설명되는 기법들은 H.264 표준을 일반적으로 준수하는 디바이스들에 적용될 수도 있다. H.264 표준은, H.264 표준 또는 H.264 사양, 또는 H.264/AVC 표준 또는 사양으로서 본원에서 지칭될 수도 있는, 2005년 3월자, ITU-T 스터디 그룹에 의한 일반 시청각 서비스들을 위한 ITU-T 권고 H.264, 고급 비디오 코딩에서 설명된다. 조인트 비디오 팀 (JVT) 은 H.264/MPEG-4 AVC로의 확장들에 애쓰고 있다.
JCT-VC는 HEVC 표준의 개발에 노력하고 있다. HEVC 표준화 노력들은 HEVC 테스트 모델 (HM) 이라고 지칭되는 비디오 코딩 디바이스의 진화 모델에 기초하고 있다. HM은, 예컨대, ITU-T H.264/AVC에 따른 현존하는 디바이스들에 대한 비디오 코딩 디바이스들의 몇몇 추가적인 능력들을 추정한다. 예를 들어, H.264가 9 개의 인트라 예측 인코딩 모드들을 제공하는 반면, HM은 33 개 정도의 인트라 예측 인코딩 모드들을 제공할 수도 있다.
일반적으로, HM의 작업 모델은 비디오 화상이 루마 및 크로마 샘플들 양쪽 모두를 포함하는 트리블록들 또는 최대 코딩 단위 (largest coding unit; LCU) 들의 시퀀스로 분할될 수도 있다는 것을 설명한다. 비트스트림 내의 신택스 데이터는 화소 수의 측면에서 가장 큰 코딩 단위인 LCU의 사이즈를 정의할 수도 있다. 슬라이스는 코딩 순서에서 연속적인 다수의 트리블록들을 포함한다. 화상이 하나 이상의 슬라이스들로 구획될 수도 있다. 각각의 트리블록은 쿼드트리에 따라 코딩 단위들 (CUs) 로 분할될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하며 루트 노드가 트리블록에 대응한다. CU가 4 개의 서브 CU들로 분할되면, 그 CU에 대응하는 노드는 4 개의 리프 (leaf) 노드들을 포함하며, 그 리프 노드들의 각각은 서브 CU들 중 하나에 대응한다.
쿼드트리 데이터 구조의 각각의 노드는 대응하는 CU에 신택스 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리에서의 노드는 그 노드에 대응하는 CU가 서브 CU들로 분할되는지의 여부를 표시하는 분할 플래그를 포함할 수도 있다. CU에 대한 신택스 엘리먼트들은 재귀적으로 정의될 수도 있고, CU가 서브 CU들로 분할되는지의 여부에 의존할 수도 있다. CU가 더 하위로 분할되지 않으면, 그것은 리프 CU라고 지칭된다. 본 개시물에서, 리프 CU의 4 개의 서브 CU들은 또한 원래의 리프 CU의 명시적인 분할이 없는 경우에도 리프 CU들이라고 지칭될 것이다. 예를 들어, 16x16 사이즈의 CU가 더 하위로 분할되지 않는다면, 4 개의 8x8 서브 CU들은 또한 16x16 CU가 전혀 분할되지 않았더라도 리프 CU들이라고 지칭된다.
CU가 사이즈 차이 (size distinction) 를 가지지 않는다는 점을 제외하면, CU는 H.264 표준의 매크로블록과 유사한 목적을 가진다. 예를 들어, 트리블록은 4 개의 자식 노드들 (또한 서브 CU들이라고 지칭됨) 로 분할될 수도 있고, 각각의 자식 노드는 다시 부모 노드이고 다른 4 개의 자식 노드들로 분할될 수도 있다. 쿼드트리의 리프 노드라고 지칭되는, 최종의 분할되지 않은 자식 노드는, 리프 CU라고도 또한 지칭되는 코딩 노드를 포함한다. 코딩된 비트스트림에 연관된 신택스 데이터는 최대 CU 깊이라고도 지칭되는, 트리블록이 분할될 수도 있는 최대 횟수를 정의할 수도 있고 또한 코딩 노드들의 최소 사이즈를 정의할 수도 있다. 따라서, 비트스트림은 또한 최소 코딩 단위 (smallest coding unit; SCU) 를 정의할 수도 있다. 본 개시물은 HEVC의 측면에서 CU, PU, 또는 TU 중 임의의 것, 또는 다른 표준들의 측면에서 유사한 데이터 구조들 (예컨대, H.264/AVC에서의 매크로블록들 및 그것들의 서브-블록들) 을 지칭하기 위해 용어 "블록"을 사용한다.
CU는 코딩 노드와 그 코딩 노드에 연관된 예측 단위들 (PUs) 및 변환 단위들 (TUs) 을 포함한다. CU의 사이즈는 코딩 노드의 사이즈에 대응하고 형상이 정사각형이어야만 한다. CU의 사이즈는 8x8 화소들로부터 최대 64x64 화소들 또는 그 이상의 트리블록의 사이즈까지의 범위일 수도 있다. 각각의 CU는 하나 이상의 PU들 및 하나 이상의 TU들을 포함할 수도 있다. CU에 연관된 신택스 데이터는, 예를 들어, 하나 이상의 PU들로의 CU의 구획화를 서술할 수도 있다. 구획화 모드들은 CU가 스킵 또는 직접 모드 인코딩되는지, 인트라 예측 모드 인코딩되는지, 또는 인터 예측 모드 인코딩되는지 사이에서 상이할 수도 있다. PU들은 형상이 정사각형이 아니도록 구획될 수도 있다. CU와 연관된 신택스 데이터는 또한, 예를 들어 쿼드트리에 따른 하나 이상의 TU들로의 CU의 구획화를 서술할 수도 있다. TU는 형상이 정사각형일 수 있거나 또는 정사각형이 아닐 (예컨대, 사각형일) 수 있다.
HEVC 표준은 상이한 CU들에 대해 상이할 수도 있는 TU들에 따른 변환들을 허용한다. TU들은, 항상 그런 것은 아닐 수도 있지만, 구획된 LCU에 대해 정의된 주어진 CU 내의 PU들의 사이즈에 기초하여 통상 사이즈가 정해진다. TU들은 통상 PU들과 동일한 사이즈이거나 또는 그것들보다 작다. 일부 예들에서, CU에 대응하는 잔차 샘플들은 "잔차 쿼드 트리 (residual quad tree)" (RQT) 로서 알려진 쿼드트리 구조를 이용하여 작은 단위들로 세분될 수도 있다. RQT의 리프 노드들은 변환 단위들 (TUs) 이라고 지칭될 수도 있다. TU들에 연관된 화소 차이 값들은 양자화될 수도 있는 변환 계수들을 생성하기 위해 변환될 수도 있다.
리프 CU는 하나 이상의 예측 단위들 (PUs) 을 포함할 수도 있다. 일반적으로, PU는 대응하는 CU의 전부 또는 일 부분에 대응하는 공간 영역을 나타내고, PU에 대한 참조 샘플을 취출하기 위한 데이터를 포함할 수도 있다. 더구나, PU는 예측에 관련된 데이터를 포함한다. 예를 들어, PU가 인트라 모드 인코딩된 경우, PU를 위한 데이터는, PU에 대응하는 TU를 위한 인트라 예측 모드를 서술하는 데이터를 포함할 수도 있는 잔차 쿼드트리 (RQT) 에 포함될 수도 있다. 다른 예로서, PU가 인터 모드 인코딩되는 경우, PU는 PU에 대한 하나 이상의 모션 벡터들을 정의하는 데이터를 포함할 수도 있다. PU에 대한 모션 벡터를 정의하는 데이터는, 예를 들어, 모션 벡터의 수평 성분, 모션 벡터의 수직 성분, 모션 벡터에 대한 분해능 (예컨대, 1/4 화소 정밀도 또는 1/8 화소 정밀도), 모션 벡터가 가리키는 참조 화상, 및/또는 모션 벡터에 대한 참조 화상 목록 (예컨대, 목록 0, 목록 1, 또는 목록 C) 을 서술할 수도 있다.
하나 이상의 PU들을 갖는 리프 CU는 또한 하나 이상의 변환 단위들 (TUs) 을 포함할 수도 있다. 변환 단위들은, 위에서 논의된 바와 같은 RQT (또한 TU 쿼드트리 구조라고도 지칭됨) 를 이용하여 특정될 수도 있다. 예를 들어, 분할 플래그는 리프 CU가 4 개의 변환 단위들로 분할되어 있는지의 여부를 나타낼 수도 있다. 그 다음에, 각각의 변환 단위는 더 하위의 서브 TU들로 더 분할될 수도 있다. TU가 더 하위로 분할되지 않으면, 그것은 리프 TU라고 지칭될 수도 있다. 일반적으로, 인트라 코딩에 대해, 리프 CU에 속한 모든 리프 TU들은 동일한 인트라 예측 모드를 공유한다. 다시 말하면, 동일한 인트라 예측 모드는 리프 CU의 모든 TU들에 대한 예측된 값들을 계산하기 위해 일반적으로 적용된다. 인트라 코딩을 위해, 비디오 인코더 (20) 는 인트라 예측 모드를 이용하여 각각의 리프 TU에 대한 잔차 값을, TU에 대응하는 CU의 부분 및 원본 블록 사이의 차이로서 계산할 수도 있다. TU는 PU의 사이즈로 반드시 제한되지는 않는다. 따라서, TU들은 PU보다 더 크거나 또는 더 작을 수도 있다. 인트라 코딩을 위해, PU는 동일한 CU에 대한 대응하는 리프 TU와 함께 배치될 수도 있다. 일부 예들에서, 리프 TU의 최대 사이즈는 대응하는 리프 CU의 사이즈에 대응할 수도 있다.
더구나, 리프 CU들의 TU들은 또한 잔차 쿼드트리들 (RQTs) 이라고 지칭되는 개별 쿼드트리 데이터 구조들에 연관될 수도 있다. 다시 말하면, 리프 CU는 리프 CU가 TU들로 구획되는 방법을 나타내는 쿼드트리를 포함할 수도 있다. TU 쿼드트리의 루트 노드는 일반적으로 리프 CU에 대응하는 반면, CU 쿼드트리의 루트 노드는 일반적으로 트리블록 (또는 LCU) 에 대응한다. RQT의 분할되지 않는 TU들은 리프 TU들이라고 지칭된다. 대체로, 본 개시물은 달리 언급되지 않는 한, 용어들인 CU 및 TU를 리프 CU 및 리프 TU를 각각 지칭하기 위해 사용한다.
비디오 시퀀스는 통상 일련의 화상들을 포함한다. 본원에서 설명되는 바와 같이, "화상" 및 "프레임"은 상호교환적으로 사용될 수도 있다. 다시 말하면, 비디오 데이터를 포함하는 화상은 비디오 프레임, 또는 간단히 "프레임"이라고 지칭될 수도 있다. 화상들의 그룹 (GOP) 은 일반적으로 일련의 하나 이상의 비디오 화상들을 포함한다. GOP는 신택스 데이터를 GOP의 헤더, 하나 이상의 화상들의 헤더, 또는 GOP에 포함된 다수의 화상들을 서술하는 다른 곳에 포함할 수도 있다. 화상의 각각의 슬라이스는 개별 슬라이스에 대한 인코딩 모드를 서술하는 슬라이스 신택스 데이터를 포함할 수도 있다. 비디오 인코더 (20) 는 비디오 데이터를 인코딩하기 위하여 개개의 비디오 슬라이스들 내의 비디오 블록들에 대해 통상 동작한다. 비디오 블록은 CU 내의 코딩 노드에 대응할 수도 있다. 비디오 블록들은 고정된 또는 가변하는 사이즈들을 가질 수도 있고, 특정된 코딩 표준에 따라 사이즈를 달리할 수도 있다.
일 예로서, HM은 다양한 PU 사이즈들에서의 예측을 지원한다. 특정 CU의 사이즈가 2Nx2N이라고 가정하면, HM은 2Nx2N 또는 NxN의 PU 사이즈들에서 인트라 예측과, 2Nx2N, 2NxN, Nx2N, 또는 NxN의 대칭적 PU 사이즈들에서 인터 예측을 지원한다. HM은 또한 2NxnU, 2NxnD, nLx2N, 및 nRx2N의 PU 사이즈들에서의 인터 예측을 위한 비대칭 구획화를 지원한다. 비대칭 구획화 시, CU의 하나의 방향은 구획되지 않는 반면, 다른 방향은 25% 및 75%로 구획된다. 25% 구획에 대응하는 CU의 부분은 "상", "하", "좌", 또는 "우"의 표시가 뒤따르는 "n"에 의해 나타내어진다. 따라서, 예를 들어, "2NxnU"는 상부의 2Nx0.5N PU 및 하부의 2Nx1.5N PU로 수평으로 구획되는 2Nx2N CU를 나타낸다.
본 개시물에서, "NxN" 및 "N 바이 N",, 예컨대, 16x16 개 화소들 또는 16 바이 16 개 화소들은 수직 및 수평 치수들의 측면에서의 블록의 화소 치수들을 상호교환적으로 말하는데 이용될 수도 있다. 일반적으로, 16x16 블록은 수직 방향의 16 개 화소들 (y = 16) 및 수평 방향의 16 개 화소들 (x = 16) 을 가질 것이다. 비슷하게, NxN 블록은 일반적으로 수직 방향의 N 개 화소들 및 수평 방향의 N 개 화소들을 가지며, 여기서 N은 음이 아닌 정수 값을 나타낸다. 블록에서의 화소들은 행들 및 열들로 배열될 수도 있다. 더구나, 블록들은 수직 방향에서와 동일한 수의 화소들을 수평 방향에서 반드시 가질 필요는 없다. 예를 들어, 블록들은 M이 N과 반드시 동일하지는 않은 NxM 개 화소들을 포함할 수도 있다.
CU의 PU들을 이용하는 인트라 예측 또는 인터 예측 코딩에 뒤따라, 비디오 인코더 (20) 는 CU의 TU들에 대한 잔차 데이터를 계산할 수도 있다. PU들은 공간 도메인 (또한 화소 도메인이라고 지칭됨) 에서의 예측 화소 데이터를 생성하는 방법 또는 모드를 서술하는 신택스 데이터를 포함할 수도 있으며, TU들은, 잔차 비디오 데이터에 대한 변환, 예컨대, 이산 코사인 변환 (DCT), 정수 변환, 웨이브릿 변환, 또는 개념적으로 유사한 변환의 적용에 뒤따르는 변환 도메인에서의 계수들을 포함할 수도 있다. 잔차 데이터는 인코딩되지 않은 화상의 화소들 및 PU들에 대응하는 예측 값들 사이의 화소 차이들에 대응할 수도 있다. 비디오 인코더 (20) 는 CU에 대한 잔차 데이터를 포함하는 TU들을 형성한 다음 CU에 대한 변환 계수들을 생성하기 위해 TU들을 변환할 수도 있다.
변환 계수들을 생성하는 임의의 변환들을 뒤따라, 비디오 인코더 (20) 는 변환 계수들의 양자화를 수행할 수도 있다. 양자화는 변환 계수들이 그 계수들을 나타내는데 이용된 데이터의 양을 가능한 한 줄이도록 양자화되어서, 추가의 압축을 제공하는 프로세스를 일반적으로 말한다. 양자화 프로세스는 계수들의 일부 또는 전부에 연관된 비트 깊이를 감소시킬 수도 있다. 예를 들어, n-비트 값은 양자화 동안에 m-비트 값으로 버림될 (rounded down) 수도 있으며, 여기서 n 은 m보다 크다.
양자화를 뒤이어, 비디오 인코더는 변환 계수들을 스캔하여, 양자화된 변환 계수들을 포함하는 2차원 매트릭스로부터 1차원 벡터를 생성할 수도 있다. 스캔은 어레이의 전면 (front) 에 높은 에너지 (및 그러므로 낮은 주파수) 계수들을 배치시키고 어레이의 후면 (back) 에 더 낮은 에너지 (및 그러므로 더 높은 주파수) 계수들을 배치시키도록 설계될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 엔트로피 인코딩될 수 있는 직렬화된 벡터를 생성하기 위해 미리 정의된 스캔 순서를 활용하여 양자화된 변환 계수들을 스캔할 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 적응적 스캔을 수행할 수도 있다. 1차원 벡터를 형성하기 위해 양자화된 변환 계수들을 스캔한 후, 비디오 인코더 (20) 는, 예컨대, 콘텍스트 적응 가변 길이 코딩 (context adaptive variable length coding; CAVLC), 콘텍스트 적응 이진 산술 코딩 (context adaptive binary arithmetic coding; CABAC), 신택스 기반 콘텍스트 적응 이진 산술 코딩 (syntax-based context-adaptive binary arithmetic coding; SBAC), 또는 확률 간격 구획화 엔트로피 (Probability Interval Partitioning Entropy; PIPE) 코딩 또는 다른 엔트로피 인코딩 방법론에 따라, 1차원 벡터를 엔트로피 인코딩할 수도 있다. 비디오 인코더 (20) 는 또한 비디오 데이터 디코딩 시에 비디오 디코더 (30) 에 의한 사용을 위해 인코딩된 비디오 데이터에 연관된 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다.
CABAC를 수행하기 위해, 비디오 인코더 (20) 는 콘텍스트 모델 내의 콘텍스트를 송신될 심볼에 할당할 수도 있다. 그 콘텍스트는, 예를 들어, 심볼의 인접 값들이 영이 아닌지의 여부에 관련될 수도 있다. CAVLC를 수행하기 위해, 비디오 인코더 (20) 는 송신될 심볼에 대한 가변 길이 코드를 선택할 수도 있다. VLC에서의 코드워드들은 상대적으로 더 짧은 코드들이 더 있음직한 (probable) 심볼들에 대응하는 반면, 더 긴 코드들은 덜 있음직한 심볼들에 대응하도록 구성될 수도 있다. 이런 식으로, VLC의 사용은, 예를 들어, 송신될 각각의 심볼에 대해 동일 길이 코드워드들을 이용하여, 비트 절약을 달성할 수도 있다. 확률 결정은 심볼에 할당된 콘텍스트에 기초할 수도 있다.
비디오 인코더 (20) 는 추가로 신택스 데이터, 이를테면 블록 기반 신택스 데이터, 화상 기반 신택스 데이터, 및 GOP 기반 신택스 데이터를 비디오 디코더 (30) 로, 예컨대, 화상 헤더, 블록 헤더, 슬라이스 헤더, 또는 GOP 헤더에서 전송할 수도 있다. GOP 신택스 데이터는 개별 GOP에서의 화상들의 수를 서술할 수도 있고, 화상 신택스 데이터는 대응하는 화상을 인코딩하는데 사용된 인코딩/예측 모드를 나타낼 수도 있다.
일부 예들에서, 데이터를 디코딩하는 경우에 사용될 수도 있는 특정한 파라미터 세트들을 비디오 인코더 (20) 는 생성할 수도 있고 비디오 디코더 (30) 는 수신할 수도 있다. 예를 들어, 파라미터 세트들은 시퀀스-레벨 헤더 정보를 (시퀀스 파라미터 세트들 (SPS) 내에) 그리고 드물게 변경되는 화상-레벨 헤더 정보를 (화상 파라미터 세트들 (PPS) 내에) 포함할 수도 있다. 파라미터 세트들 (예컨대, PPS 및 SPS) 에 의해, 드물게 변하는 정보는 각각의 시퀀스 (예컨대, 화상들의 시퀀스) 또는 화상에 대해 반복될 필요는 없고, 그래서, 코딩 효율이 개선될 수도 있다. 더욱이, 파라미터 세트들의 이용은 중요한 헤더 정보의 대역 외 송신을 가능할 수도 있게 하여, 에러 내성을 위한 용장성 송신들이 필요 없게 한다. 대역 외 송신 예들에서, 파라미터 세트 NAL 단위들은 다른 NAL 단위들, 이를테면 보충 향상 정보 (Supplemental Enhancement Information; SEI) NAL 단위들과는 상이한 채널로 송신될 수도 있다.
SEI NAL 단위들 (SEI 메시지들이라고 지칭됨) 은 VCL NAL 단위들로부터의 코딩된 화상들의 샘플들을 디코딩하는데 필요하지 않은 정보를 포함할 수도 있지만, 디코딩, 디스플레이, 에러 내성, 및 다른 목적들에 관련된 프로세스들을 지원할 수도 있다. SEI 메시지들은 비-VCL NAL 단위들에 포함될 수도 있다. SEI 메시지들은 일부 표준 규격들의 규범적 (normative) 부분이고, 그에 따라 표준 준수 디코더 구현예에 대해 항상 의무적이지는 않다. SEI 메시지들은 시퀀스 레벨 SEI 메시지들 또는 화상 레벨 SEI 메시지들일 수도 있다. 일부 시퀀스 레벨 정보는 SEI 메시지들, 이를테면 SVC 예에서의 확장성 (scalability) 정보 SEI 메시지들 및 MVC에서의 뷰 확장성 정보 SEI 메시지들에 포함될 수도 있다.
일부 예들에서, 비디오 인코더 (20) 는 H.264/AVC에 대한 MVC 확장을 준수하는 MVC 비트스트림을 인코딩할 수도 있다. 비슷하게, 비디오 디코더 (30) 는 H.264/AVC에 대한 MVC 확장을 준수하는 MVC 비트스트림을 디코딩할 수도 있다. MVC의 최신 공동 초안은 JVT-AD007, "Editors' draft revision to ITU-T Rec. H.264|ISO/IEC 14496-10 Advanced Video Coding," 30th JVT meeting, Geneva, Switzerland, Jan.-Feb. 2008 에 기재되어 있으며, http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007로부터 입수가능하다.
H.264/AVC의 스케일러블 확장에서, 신택스 엘리먼트들은 다수의 차원들에서 VCL NAL 단위의 특성들을 서술하기 위해 NAL 단위 헤더를 1 바이트부터 4 바이트로 확장하기 위해 NAL 단위 헤더 확장부에 추가될 수도 있다. 따라서, HEVC에서의 VCL NAL 단위는 H.264/AVC 표준에서의 NAL 단위 헤더보다 긴 NAL 단위 헤더를 포함할 수도 있다. H.264/AVC에 대한 MVC 확장은 본 개시물에서 "MVC/AVC"라 지칭될 수도 있다.
MVC/AVC NAL 단위는 NAL 단위 유형을 포함하는 1 바이트 NAL 단위 헤더, 뿐만 아니라 MVC/AVC NAL 단위 헤더 확장부를 포함할 수도 있다. 하나의 예로서, MVC/AVC NAL 단위 헤더 확장부는 다음의 표 1에서의 신택스 엘리먼트들을 포함할 수도 있다:
표 1 - NAL 단위 헤더 확장부 신택스
Figure 112014019790353-pct00001
위의 표 1에서, idr_flag 엘리먼트는 NAL 단위가 인스턴트 디코드 리프레시 (instant decode refresh; IDR) 에 속하는지 또는 폐쇄형 GOP 랜덤 액세스 포인트로서 사용될 수 있는 뷰-IDR (V-IDR) 화상에 속하는지를 나타낼 수도 있다. 예를 들어, IDR 화상과 디스플레이 순서 및 비트스트림 순서 양쪽 모두에서 IDR 화상에 계속되는 화상들의 모두는 비트스트림 순서 또는 디스플레이 순서 중 어느 하나에서 이전 화상들을 디코딩하는 일 없이 적절히 디코딩될 수 있다. priority_id 엘리먼트는 (예컨대, 단일 패스 적응 프로세스와 같이) 비디오 디코더 (30) 및/또는 디스플레이 디바이스 (32) 의 네트워크 조건들 및/또는 능력들을 변경시키는 것에 따라 비트스트림을 가변시키는 비트스트림 적응 프로세스와 함께 사용될 수도 있다. view_id 엘리먼트는, 예컨대, 뷰 간 예측을 위해 MVC 디코더 내부에서 그리고, 예컨대, 랜더링을 위해 디코더 외부에서 사용될 수도 있는, NAL 단위가 속하는 뷰에 대한 뷰 식별자를 나타내는데 사용될 수도 있다. 몇몇 경우들에서, view_id는 미리 정의된 카메라 id와 동일하게 설정될 수도 있고, 비교적 클 수도 있다. temporal_id 엘리먼트는 특정 프레임 레이트에 대응할 수도 있는 현재 NAL 단위의 시간적 레벨을 나타내는데 이용될 수도 있다.
anchor_pic_flag 엘리먼트는 NAL 단위가 개방형 GOP 랜덤 액세스 포인트로서 사용될 수 있는 앵커 화상에 속하는지의 여부를 나타내는데 이용될 수도 있다. 예를 들어, 앵커 화상들과 디스플레이 순서에서 앵커 화상에 계속되는 모든 화상들은 디코딩 순서 (즉, 비트스트림 순서) 에서 이전 화상들을 디코딩하는 일 없이 적절히 디코딩될 수도 있고, 그래서 랜덤 액세스 포인트들로서 이용될 수수 있다. 앵커 화상들과 비-앵커 화상들은 상이한 뷰 의존성들을 가질 수도 있으며, 그 양쪽 모두는 SPS에서 시그널링될 수도 있다. 다시 말하면, 본원에서 설명되는 바와 같이, 뷰 의존성은 일반적으로 현재 코딩되고 있는 뷰가 의존하는 뷰를 언급할 수도 있다. 다르게 말하면, 뷰 의존성들은 현재 코딩되고 있는 뷰가 어떤 뷰들로부터 예측될 수도 있는지를 나타낼 수도 있다. 일부 예들에 따르면, 뷰 의존성은 SPS MVC 확장부에서 시그널링될 수도 있다. 그런 예들에서, 모든 뷰 간 예측은 SPS MVC 확장부에 의해 특정된 범위 내에서 행해질 수도 있다. inter_view_flag 엘리먼트는 NAL 단위가 다른 뷰들에서의 NAL 단위들에 대한 뷰 간 예측을 위해 사용되는지의 여부를 나타내는데 이용될 수도 있다.
MVC 비트스트림의 기본 뷰에 대한 상기 4-바이트 NAL 단위 헤더 정보를 운반하기 위해, 접두 NAL 단위가 MVC에서 정의될 수도 있다. MVC의 맥락에서, 기본 뷰 액세스 단위는 특정 뷰의 현재 시간 인스턴스의 VCL NAL 단위들뿐만 아니라, NAL 단위 헤드만을 포함할 수도 있는 기본 뷰 액세스 단위에 대한 접두 NAL 단위를 포함할 수도 있다. 접두 NAL 단위가 디코딩 (예컨대, 이를테면 단일 뷰를 디코딩) 하는데 필요하지 않다면, 디코더는 접두 NAL 단위를 무시하며 그리고/또는 버릴 수도 있다.
SPS MVC/AVC 확장부에 관해, MVC SPS는 뷰 간 예측을 목적으로 사용될 수도 있는 뷰들을 나타낼 수도 있다. 예를 들어, 잠정적 뷰 간 참조들은 SPS MVC/AVC 확장부에서 시그널링될 수도 있고, 인터 예측 또는 뷰 간 예측 참조들의 유연한 (flexible) 순서화를 가능하게 하는 참조 화상 목록 구축 프로세스에 의해 수정될 수도 있다. 일 예의 MVC/AVC SPS는 아래의 표 2에서 언급된다:
표 2 - 예의 MVC SPS
Figure 112014019790353-pct00002
일부 예들에 따르면, 뷰 의존성은 SPS MVC 확장부에서 시그널링될 수도 있다. 모든 뷰 간 예측은 SPS MVC 확장부에 의해 특정된 범위 내에서 행해질 수도 있다. 다시 말하면, SPS는 어떤 뷰들이 현재 코딩되고 있는 뷰에 의해 예측을 목적으로 참조될 수도 있는지를 언급할 수도 있다. 위의 표 2에서, num_anchor_refs_l0[i] 엘리먼트는 뷰 간 예측을 위한 뷰 컴포넌트들의 수를 목록 0에 대한 초기화된 참조 화상 목록 (예컨대, RefPicList0) 에서 특정할 수도 있다. 덧붙여서, anchor_ref_l0[i][j] 엘리먼트는 뷰 간 예측을 위한 j-번째 뷰 컴포넌트의 view_id를 초기화된 RefPicList0에서 특정할 수도 있다. num_anchor_refs_l1[i] 엘리먼트는 뷰 간 예측을 위한 뷰 컴포넌트들의 수를 목록 1에 대한 초기화된 참조 화상 목록 (예컨대, RefPicList1) 에서 특정할 수도 있다. anchor_ref_l1[i][j] 엘리먼트는 뷰 간 예측을 위한 j-번째 뷰 컴포넌트의 view_id를 초기화된 RefPicList1에서 특정할 수도 있다. num_non_anchor_refs_l0[i] 엘리먼트는 뷰 간 예측을 위한 뷰 컴포넌트들의 수를 초기화된 RefPicList0에서 특정할 수도 있다. non_anchor_ref_l0[i][j] 엘리먼트는 뷰 간 예측을 위한 j-번째 뷰 컴포넌트의 view_id를 초기화된 RefPicList0에서 특정할 수도 있다. num_non_anchor_refs_l1[i] 엘리먼트는 뷰 간 예측을 위한 뷰 컴포넌트들의 수를 초기화된 RefPicList1에서 특정할 수도 있다. non_anchor_ref_l1[i][j] 엘리먼트는 뷰 간 예측을 위한 j-번째 뷰 컴포넌트의 view_id를 초기화된 RefPicList에서 특정할 수도 있다.
초기화된, 또는 "초기" 참조 화상 목록은 뷰 컴포넌트들을 뷰 간 예측하는 목적으로 사용된 최종 참조 화상 목록과 동일하거나 또는 상이할 수도 있다. 다시 말하면, 특정한 참조 후보들 (즉, 뷰 간 예측을 위해 사용되는 참조 화상들) 은 초기 참조 화상 목록 (예컨대, 용장성 화상들) 으로부터 제거될 수도 있다. 덧붙여서, 아래에서 더욱 상세히 설명되는 바와 같이, 참조 후보들은 최종 참조 화상 목록을 형성하기 위해 초기 참조 화상 목록으로부터 재순서화될 수도 있다.
이 예에서, MVC/AVC에 따르면, 앵커 화상들 및 비-앵커 화상들에 대한 뷰 의존성들은 따로따로 유지되고 시그널링된다. 다시 말하면, 비디오 코더는 총 4 개의 참조 화상 목록들 (예컨대, 목록 0, 비-앵커 화상들; 목록 1, 비-앵커 화상들; 목록 0, 앵커 화상들; 목록 1, 앵커 화상들) 을 결정할 수도 있다. 덧붙여서, 위의 표 2에 도시된 바와 같이, 별도의 시그널링은 비디오 디코더 (30) 에 대한 뷰 의존성을 나타내는데 필요하다. 다시 말하면, SPS는 anchor_refs 및 non_anchor_refs 양쪽 모두를 위해 별개의 목록 0 및 목록 1 시그널링을 포함해야만 한다.
더구나, 표 2에 따르면, 비앵커 뷰 컴포넌트들에 대한 뷰 간 의존성은 앵커 뷰 컴포넌트들에 대한 뷰 간 의존성의 서브세트이다. 다시 말하면, 예를 들어, 앵커 뷰의 뷰 컴포넌트 하나를 초과하는 다른 뷰, 이를테면 뷰 3 및 4로부터 예측될 수도 있다. 그러나, 비앵커 뷰는 뷰 3의 화상들 (앵커 뷰의 서브세트) 로부터만 예측될 수도 있다. 이런 식으로, 앵커 및 비앵커 뷰 컴포넌트들에 대한 뷰 의존성들은 따로따로 유지될 수도 있다.
덧붙여서, 표 2에서, num_level_values_signalled는 코딩된 비디오 시퀀스를 위해 시그널링된 레벨 값들의 수를 특정할 수도 있다. level_idc[i] 엘리먼트는 코딩된 비디오 시퀀스를 위해 시그널링된 i-번째 레벨 값을 특정할 수도 있다. num_applicable_ops_minus1[i] plus 1 엘리먼트는 level_idc1[i]에 의해 나타낸 레벨이 적용되는 동작 지점들의 수를 특정할 수도 있다. applicable_op_temporal_id[i][j] 엘리먼트는 level_idc[i] 에 의해 나타낸 레벨이 적용되는 j-번째 동작 지점의 temporal_id를 특정할 수도 있다. applicable_op_num_target_views_minus1[i][j] 엘리먼트는 level_idc[i]에 의해 나타낸 레벨이 적용되는 j-번째 동작 지점에 대한 타겟 출력 뷰들의 수를 특정할 수도 있다. applicable_op_target_view_id[i][j][k] 엘리먼트는 level_idc[i]에 의해 나타낸 레벨이 적용되는 j-번째 동작 지점에 대한 k-번째 타겟 출력 뷰를 특정할 수도 있다. applicable_op_num_views_minus1[i][j] 엘리먼트는 level_idc[i]에 의해 나타낸 레벨이 적용되는 j-번째 동작 지점에서, 타겟 출력 뷰들에 의존하지만 타겟 출력 뷰들에 속하지 않는 뷰들을 포함한 뷰들의 수를 특정할 수도 있다.
따라서, SPS MVC 확장에서, 각각의 뷰에 대해, 참조 화상 목록 0 및 참조 화상 목록 1을 형성하는데 사용될 수도 있는 뷰들의 수가 시그널링될 수도 있다. 덧붙여서, 앵커 화상에 대한 예측 관계는, SPS MVC 확장에서 시그널링된 바와 같이, 동일한 뷰의 (SPS MVC 확장부에서 시그널링된) 비-앵커 화상에 대한 예측 관계와 상이할 수도 있다.
아래에서 더욱 상세히 설명되는 바와 같이, 비디오 인코더 (20) 와 비디오 디코더 (30) 는 참조 화상 목록들을 구축하는 경우에 시간적 및 뷰 예측 참조들을 유연하게 배열할 수도 있다. 유연한 배열을 허용하는 것은 잠재적인 코딩 효율 이득뿐 아니라 에러 내성 또한 제공하는데, 참조 화상 섹션 및 용장성 화상 메커니즘들이 뷰 차원으로 확장될 수도 있기 때문이다. 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는, 일 예에서, 다음의 단계들에 따라 참조 화상 목록을 구축할 수도 있다:
1) 다른 뷰들로부터의 참조 화상들이 고려되지 않도록 시간적 (즉, 뷰 내) 참조 화상들에 대한 참조 화상 목록을 초기화한다.
2) 화상들이 MVC SPS 확장부에서 발생하는 순서로 목록의 말단에 뷰 간 참조 화상들을 첨부한다.
3) 뷰 내 및 뷰 간 참조 화상들 양쪽 모두에 참조 화상 목록 재순서화 (reference picture list reordering; RPLR) 프로세스를 적용한다. 뷰 간 참조 화상들은 MVC SPS 확장부에서 특정되는 바와 같이 그것들의 인덱스 값들에 의해 RPLR 커맨드들에서 식별될 수도 있다.
H.264/AVC가 MVC 지원을 포함하지만, H.264/AVC에 대한 현재 MVC 확장은 다른 비디오 코딩 표준들에 관한 여러 비효율성들을 포함할 수도 있다. 더구나, 아래에서 더 상세히 논의될 바와 같이, H.264/AVC로부터 다른 코딩 표준들, 이를테면 곧 나올 HEVC 표준으로의 MVC의 직접적인 이입은 실현가능하지 않을 수도 있다. 본 개시물의 기법들은 대체로 MVC 관련된 NAL 단위들, MVC 관련된 파라미터 세트들 등의 형성에 관련된다. 본 개시물의 기법들이 임의의 특정 코딩 표준로 제한되지 않으면서, 본 개시물의 특정한 기법들은 곧 나올 HEVC 표준에 대한 효율적인 MVC 코딩을 가능하게 할 수도 있다.
일 예로서, H.264/MVC 표준은 1024 개까지의 뷰들을 지원하고 NAL 단위가 속하는 뷰를 식별하기 위해 NAL 단위 헤더에서의 뷰 식별자 (view_id) 를 사용한다. 뷰 id가 0 비트 길이이기 때문에, 1000을 초과하는 상이한 뷰들이 뷰 id 값들에 의해 고유하게 식별될 수 있다. 그러나, 많은 3차원 (3D) 비디오 애플리케이션들은 상당히 적은 뷰들을 요구한다. 더구나, (코딩을 필요로 하지 않는) 더 많은 뷰들을 생성하기 위해 뷰 합성을 사용하는 3D 비디오 애플리케이션들에 대해 적은 뷰들이 필요할 수도 있다. MVC/AVC 확장에 따르면, NAL 단위 헤더는 항상 제공되는 10 비트 뷰 id를 포함한다. 그 뷰 id는 비트스트림의 비교적 큰 부분을 점유하는 NAL 단위 헤더에 대해 비트들의 수를 상당히 증가시킬 수도 있다.
본 개시물의 양태들에 따르면, 뷰 순서 인덱스 ("view_order_index" 또는 "view_idx") 는 NAL 단위 헤더의 부분으로서 시그널링될 수도 있다. 다시 말하면, NAL 단위 헤더의 부분인 뷰 순서 인덱스를 비디오 인코더 (20) 는 인코딩하고 송신할 수도 있고, 비디오 디코더 (30) 는 수신하고 디코딩할 수도 있다. 비교를 목적으로, 뷰 순서 인덱스는 H.264/AVC에 대한 MVC 확장의 NAL 단위 헤더 (이하 "MVC/AVC") 에서 시그널링되는 뷰 id를 대체할 수도 있다. 다시 말하면, 예를 들어, view_idx는 NAL 단위 헤더에서 view_id를 대체할 수도 있다.
위에서 논의된 바와 같이, MVC는 뷰 간 예측을 제공한다. 따라서, 참조를 위해 사용되는 뷰들 (다시 말하면, 다른 뷰들을 예측하는 이용되는 뷰들) 은, 위에서 논의된 바와 같이, 코딩 순서에서 참조하는 뷰들보다 먼저 발생해야만 한다. 뷰 순서는 일반적으로 액세스 단위에서의 뷰들의 순서화를 서술하고, 뷰 순서 인덱스는 액세스 단위의 뷰 순서에서 특정 뷰를 식별한다. 다시 말하면, 뷰 순서 인덱스는 액세스 단위의 대응하는 뷰 컴포넌트의 디코딩 순서를 서술한다.
SPS는 뷰들에 대한 뷰 ID들 (view_ids) 및 뷰들에 대한 뷰 순서 인덱스들 사이의 관계를 제공할 수도 있다. 본 개시물의 양태들에 따르면, 뷰 순서 인덱스 및 SPS에서의 데이터를 사용하여, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 NAL 단위 헤더에서의 MVC/AVC의 10 비트 view_id를 뷰 순서 인덱스에 의해 대체할 수도 있다. 예를 들어, 뷰 순서 인덱스는 10보다 상당히 적은 비트 (예컨대, 이를테면 2 비트, 3 비트 등) 를 포함할 수도 있다. 뷰 순서 인덱스 및 뷰 ID들 사이의 관계가 일부 연관된 시그널링을, 예컨대, SPS에서, 요구할 수도 있지만, NAL 단위 헤더들은 통상 그런 시그널링보다 더 많은 비트들을 소비한다. 따라서, NAL 단위 헤더들의 사이즈를 감소시킴으로써, 본 개시물의 기법들은 MVC/AVC 체계를 뛰어넘는 비트 절약을 달성할 수도 있다. 관계를 나타내는 정보는, 예를 들어, view_id 값들을 뷰 순서 인덱스 값들에 매핑하는 매핑 테이블을 포함할 수도 있다. 이런 방식으로, 비디오 디코더 (30) 는 간단히 NAL 단위 헤더로 뷰 순서 인덱스 값을 수신하고 매핑 테이블을 사용하여 NAL 단위의 view_id를 결정할 수도 있다.
본 개시물의 일부 양태들에 따르면, 뷰 순서 인덱스는 그것이 HEVC 기본 뷰, 프로파일, 또는 MVC 비트스트림에서 지원되는 뷰들의 수인지에 의존하여 동적 길이를 가질 수도 있다. 예를 들어, 부가적인 비트 절약은 단지 2 개의 뷰들 (다시 말하면, 스테레오 비디오용) 을 포함하는 MVC 스트림DPTJ 달성될 수도 있다. 이 예에서, 뷰 순서 인덱스는 필요하지 않을 수도 있는데, 비디오 디코더 (30) 가 항상 제 2 뷰 (예컨대, 뷰 1) 를 디코딩하기 전에 제 1 뷰 (예컨대, 뷰 0) 를 디코딩해서이다. 다시 말하면, 본 개시물의 일부 양태들에 따르면, 기본 뷰에는 0의 디폴트 뷰 순서 인덱스가 할당될 수도 있고, 그러므로 시그널링되는 것이 필요하지 않다.
덧붙여서, MVC/AVC 기본 뷰의 기본 뷰 (예컨대, 뷰 0) 의 NAL 단위들 직전에 포함되는 접두 NAL 단위는 위에서 설명된 뷰 순서 인덱스를 사용하는 경우에 더 이상 필요하지 않을 수도 있다. 예를 들어, 비디오 디코더 (30) 는 기본 뷰에 대한 접두 NAL 단위를 더 이상 필요로 하지 않을 수도 있는데, 뷰 순서 인덱스가 항상 기본 뷰에 대해 0일 수도 있고 기본 뷰의 시간적 포지션이 temporal_id (MCV/AVC에 포함됨) 를 사용하여 결정될 수도 있기 때문이다. 따라서, 비디오 인코더 (20) 는 특정 뷰 컴포넌트를 특정 뷰와 그리고 적절한 시간적 로케이션과 연관시키기 위해 비디오 디코더 (30) 에 필요한 정보의 모두를 제공할 수도 있는 temporal_id를 NAL 단위 헤더에서 시그널링할 수도 있다.
신흥 HEVC 표준에 관해, 본 개시물의 양태들에 따르면, 접두 NAL 단위가 HEVC 준수 기본 뷰를 위해 사용되지 않는 경우, 플래그는 HEVC 기본 뷰의 NAL 단위 헤더에 추가될 수도 있다. 그 플래그는 (그 특정한 NAL 단위의) 뷰 컴포넌트가 비트스트림의 다른 뷰들의 뷰 컴포넌트들를 인터 예측하는데 사용될 수도 있는지의 여부를 나타내는데에만 이용될 수도 있다.
덧붙여서, 본 개시물의 양태들에 따르면, 뷰 순서 인덱스는 비트스트림의 뷰 컴포넌트를 식별하기 위해 화상 순서 카운트 (picture order count; POC) 값 (예컨대, 그것은 화상들의 디스플레이 순서를 나타냄) 또는 프레임 값 (예컨대, 그것은 화상들의 디코딩 순서를 나타냄) 과 함께 사용될 수 있다.
다른 예로서, 위에서 지적했듯이, MVC/AVC SPS는 각각의 뷰에 대해 별개로 의존성 뷰들 (즉, 예측을 목적으로 하나 이상의 다른 뷰들에 의해 참조되는 뷰들) 을 나타낼 수도 있다. 예를 들어, MVC/AVC NAL 단위 헤더에 포함된 anchor_pic_flag는 NAL 단위가 GOP 랜덤 액세스 포인트로서 사용될 수 있는 앵커 화상에 속하는지의 여부를 나타내는데 이용될 수도 있다. MVC/AVC에서, 위에서 설명된 바와 같이, 뷰 의존성은 앵커 화상들 및 비-앵커 화상들에 대해 상이하게 시그널링된다. 따라서, 각각의 뷰에 대해 시그널링된 의존성 뷰들에 대해, 4 개의 상이한 카테고리들이 고려되며, 그것들의 각각은 화상이 앵커 화상를 위한 것인지의 여부 또는 화상이 목록 0 또는 목록 1을 위한 것인지의 여부에 의해 구별된다. 이러한 설계는 그런 구별을 유지하기 위해 비교적 큰 수의 비트들을 필요로 할 뿐만 아니라, 또한 참조 화상 목록 구축을 복잡하게 할 수도 있다 (예컨대, 각각의 카테고리는 참조 목록 구축 및 재순서화 동안에 유지되어야만 한다).
본 개시물의 양태들에 따르면, 뷰 컴포넌트들이 앵커 화상들 및 비-앵커 화상들을 위한 것인지에 무관하게, 모든 뷰 컴포넌트들에 대해 공통으로 MVC 비트스트림의 각각의 뷰에 대한 뷰 의존성을 비디오 인코더 (20) 는 시그널링할 수도 있다 (그리고 비디오 디코더 (30) 는 그런 시그널링을 수신할 수도 있다). 일부 예들에서, SPS는, NAL 단위 헤더에서의 정보에 의존하기보다는, 뷰 컴포넌트들에 대한 뷰 의존성들의 표시를 포함한다. 이런 방식으로, 비디오 인코더 (20) 와 비디오 디코더 (30) 는 MVC/AVC NAL 단위 헤더에서 사용된 anchor_pic_flag를 사용하지 않을 수도 있다.
시그널링된 의존성 뷰의 뷰 컴포넌트는 목록 0 및 목록 1 양쪽 모두에서 참조 화상으로서 사용될 수도 있다. 덧붙여서, 목록 0 및 목록 1에 대한 참조 화상 목록 구축 및 참조 화상 목록 재순서화는 또한 앵커 화상들 및 비-앵커 화상들에 대한 공통 시그널링에 기초할 수도 있다. 일부 예들에서, 시퀀스 레벨, 보충 향상 정보 (SEI) 메시지는 비-앵커 화상이 앵커 화상과는 상이한 뷰 의존성을 가지는 경우를 나타내는데 이용될 수도 있다.
따라서, 본 개시물의 특정한 양태들은 MVC/AVC의 구별을 시그널링하는 앵커 화상/비-앵커 화상 및 목록 0/목록 1을 제거하며, 이에 의해 비트스트림, 뿐만 아니라 참조 화상 목록의 구축을 단순화하는 것에 관련된다. 예를 들어, 본 개시물의 양태들에 따르면, 비디오 디코더 (30) 는, 임의의 뷰 컴포넌트에 대해 제 1 뷰, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 수신할 수도 있다. 다시 말하면, 비디오 디코더 (30) 는 뷰의 앵커 화상들 및 비슷한 뷰의 비-앵커 화상들에 대한 뷰 의존성들을 나타내는 참조 뷰 정보를 수신할 수도 있다. 참조 뷰 정보는, 위에서 설명된 바와 같이, 예를 들어, 각각의 참조 뷰에 연관된 (액세스 단위에서의 뷰의 디코딩 순서를 나타내는) 뷰 순서 인덱스를 포함할 수도 있다.
덧붙여서, 특정 뷰의 (액세스 단위의) 특정 화상을 디코딩하는 경우, 비디오 디코더 (30) 는 특정 화상과 동일한 액세스 단위로부터의 그리고 참조 뷰 정보에 의해 나타낸 참조 뷰들로부터의 참조 후보들 (예컨대, 특정 화상이 예측될 수 있는 뷰 컴포넌트들) 을 포함할 수도 있다. 몇몇 경우들에서, 비디오 디코더 (30) 는 참조 후보들을 각각의 참조 뷰로부터의 참조 화상 목록에 추가할 수도 있어서, 참조 후보들의 수는 참조 뷰들의 수와 동일하다. 덧붙여서, 비디오 디코더 (30) 는 참조 후보들을 목록 1, 목록 0 중 어느 하나, 또는 양쪽 모두에 추가할 수도 있다. 비디오 디코더 (30) 는 그 다음에 참조 화상 목록에서의 참조 화상들 중 하나에 기초하여 특정 화상을 디코딩할 수도 있다.
또 다른 예로서, 위에서 설명된 바와 같이, priority_id가 MVC/AVC 준수 비트스트림의 NAL 단위 헤더에 포함된다. priority_id는 특정 NAL 단위의 우선순위의 표시를 제공한다. 더 상세하게는, 각각의 NAL 단위에는 관례적으로 우선순위 값이 할당된다. 우선순위 값 P의 요청에 응답하여, P 이하의 우선순위 값들을 갖는 모든 NAL 단위들이 제공될 것이다 (다시 말하면, P보다 큰 priority_id 값들을 갖는 NAL 단위들이 버려진다). 이런 방식으로, 낮은 우선순위 값들이 높은 우선순위들을 특정한다. 동일한 뷰의 NAL 단위들은, 예컨대, 뷰 내의 시간적 확장성에 대해 상이한 우선순위들을 가질 수도 있다는 것이 이해되어야 한다.
이 우선순위는 확장성을 목적으로 사용될 수도 있다. 예를 들어, (비교적 낮은 품질 표현을 형성하는 대가로) 최소 양의 대역폭을 소비하는 비디오 데이터를 취출하기 위해, 비디오 디코더 (30) (또는, 더 일반적으로는, 목적지 디바이스 (14)) 는 소스 디바이스 (12) /비디오 인코더 (20) 와 같은 소스로부터 송신될 최고 우선순위 NAL 단위들만을 필요로 할 수도 있고, priority_id는 낮은 우선순위 NAL 단위들을 필터링하는데 사용될 수 있다. 일부 예들에서, 서버/컨텐츠 전달 네트워크 (34) 의 라우터 (36) 는 비교적 높은 우선순위 NAL 단위들을 낮은 우선순위 NAL 단위들로부터 분리하기 위해 priority_id를 사용할 수도 있다. 상대적으로 더 높은 품질 표현을 (높은 대역폭 소비를 대가로) 생성하기 위해, 비디오 디코더 (30) 는, 예컨대, 높은 우선순위 값을 특정함으로써 높은 우선순위 NAL 단위들을 보완하기 위해 낮은 우선순위를 갖는 NAL 단위들을 필요로 할 수도 있다.
본 개시물의 양태들에 따르면, priority_id를 NAL 단위 헤더에서 시그널링하기보다, 비디오 인코더 (20) 는 SPS에서 priority_id 값들을 제공할 수도 있다. 다시 말하면, 특정한 시간적 레벨을 갖는 각각의 뷰에 대한 priority_id가 시퀀스 레벨에서 시그널링될 수도 있다. 덧붙여서, 본 개시물의 양태들에 따르면, 단일 패스 적응에 연관된 시그널링 콘텍스트가 알려져 있는 한 그 단일 패스 적응이 가능하게 될 수도 있다.
위에서 논의된 바와 같이, 일부 예들에서, 비트스트림을 목적지 디바이스 (14) 로 포워딩하는 것을 담당할 수도 있는 라우터 (36) 는 특정한 뷰들을 필터링하기 위해 SPS priority_id 값들을 사용할 수도 있다. 다시 말하면, 라우터 (36) 는 전체 비트스트림을 수신하지만, 목적지 디바이스 (14) 에 의해 특정된 우선순위 값 이하에서의 priority_id 값들을 갖는 NAL 단위들을 포함하는 서브-비트스트림을 추출하고 그 서브-비트스트림을 목적지 디바이스로 포워딩할 수도 있다.
또 다른 예에서, MVC/AVC에 따르면, 단일 패스 적응은 NAL 단위 헤더에서 6-비트 priority_id를 필요로 한다. 예를 들어, 위에서 지적했듯이, MVC/AVC SPS는 뷰 확장성에 대한 뷰 레벨 표시를 포함할 수도 있다. 다시 말하면, MVC 비트스트림의 각각의 뷰는 계층적 방식으로 코딩되고 수치적 뷰 레벨이 할당될 수도 있다.
본 개시물의 양태들에 따르면, SPS는 뷰 레벨 정보를 포함할 수도 있다. 따라서, 목적지 디바이스 (14) 가 서버/컨텐츠 전달 네트워크 (34) 로부터 뷰 레벨 V의 뷰들을 요청하는 경우, 목적지 디바이스 (14) 는 V 이하의 뷰 레벨들을 갖는 모든 뷰들을 수신한다. 위에서 설명된 priority_id 값들의 사용과 유사하게, 서버/컨텐츠 전달 네트워크 (34) 의 라우터 (36) 는 클라이언트 요청된 뷰 레벨 이하의 뷰 레벨들을 갖는 뷰들에 대한 데이터를 포함하는 서브-비트스트림을 추출하기 위해 뷰 레벨들을 사용할 수도 있다.
본 개시물의 다른 양태들은 높은 프로파일의 서브-비트스트림을 낮은 프로파일을 준수하는 비트스트림으로 변환하는 경량 트랜스코딩 프로세스에 관련된다. 그런 트랜스코딩 프로세스는, 예를 들어, 서버/컨텐츠 전달 네트워크 (34) 에 의해 수행될 수도 있다. 본 개시물의 양태들에 따르면, 트랜스코딩은 다음의 단계들에서 수행될 수도 있다:
1) SPS에서의 view_idx 및 view_id 값들을 리매핑
2) 짧은 길이 view_idx로 NAL 단위 헤더를 크기조정
예를 들어, 자유 시점 텔레비전 (free-viewpoint television; FVT) 프로파일 비트스트림이 view_idx가 각각의 뷰에 대한 view_id와 동일한 32 개의 뷰들을 포함한다고 가정한다. 이 예에서, 비트스트림은 view_idx가 0, 4, 8, 12, 16, 20, 24, 28과 동일한 8 개의 뷰들을 포함하는 서브-비트스트림을 가진다. 이 서브-비트스트림은 view_id 값들이 0 및 4인 2 개의 뷰들을 갖는 서브-비트스트림을 더 포함한다.
본 개시물의 양태들에 따르면, 8-뷰 서브-비트스트림에 대한 view_idx 값들은 아래의 표 3에 따라 리매핑될 수도 있다:
표 3 - VIEW _ IDX 리매핑
Figure 112014019790353-pct00003
본 개시물의 양태들에 따르면, 2-뷰 서브-비트스트림에 대한 view_idx 값들은 아래의 표 4에 따라 리매핑될 수도 있다:
표 4 - VIEW _ IDX 리매핑
Figure 112014019790353-pct00004
본 개시물의 양태들에 따르면, NAL 단위 헤더에서의 view_idx는 아래의 표 5에 따라 리매핑될 수도 있다:
표 5 - VIEW _ IDX 리매핑
Figure 112014019790353-pct00005
대안으로, 위에서 설명된 경량 트랜스코딩 프로세스는 준수하는 비트스트림이 뷰 순서 인덱스에서 갭을 허용하면 view_idx의 리매핑을 필요로 하지 않을 수도 있다.
도 2는 멀티뷰 비트스트림을 인코딩하기 위해 본 개시물에서 설명되는 기법들을 구현할 수도 있는 일 예의 비디오 인코더 (20) 를 도시하는 블록도이다. 비디오 인코더 (20) 는 인코딩될 비디오 데이터를 수신한다. 도 2의 예에서, 비디오 인코더 (20) 는 모드 선택 유닛 (40), 합산기 (50), 변환 프로세싱 유닛 (52), 양자화 유닛 (54), 및 엔트로피 인코딩 유닛 (56), 및 참조 화상 메모리 (64) 를 구비한다. 모드 선택 유닛 (40) 은, 차례로, 모션/디스패리티 추정 유닛 (42), 모션 보상 유닛 (44), 인트라 예측 유닛 (46), 및 구획 유닛 (48) 을 구비한다.
비디오 블록 복원을 위해, 비디오 인코더 (20) 는 또한 역 양자화 유닛 (58), 역 변환 프로세싱 유닛 (60), 및 합산기 (62) 를 구비한다. 블록제거 (deblocking) 필터 (도 2에서 미도시) 가 또한 블록 경계들을 필터링하여 복원된 비디오로부터 블록형 (blockiness) 아티팩트들을 제거하기 위해 포함될 수도 있다. 원한다면, 블록제거 필터는 통상 합산기 (62) 의 출력을 필터링할 것이다. 부가적인 루프 필터들 (인 루프 또는 포스트 루프) 은 또한 블록제거 필터에 부가적으로 사용될 수도 있다. 그런 필터들은 간결함을 위해 도시되지 않았지만, 원한다면, (인 루프 필터로서) 합산기 (50) 의 출력을 필터링할 수도 있다.
모드 선택 유닛 (40) 은 하나 이상의 뷰들로부터 블록들의 형태로 원시 비디오 데이터를 수신할 수도 있다. 모드 선택 유닛 (40) 은 코딩 모드들인 인트라 또는 인터 중 하나를, 예컨대, 에러 결과들에 기초하여 선택하고, 결과적인 인트라- 또는 인터-코딩된 블록을, 합산기 (50) 에 제공하여 잔차 블록 데이터를 생성하고, 합산기 (62) 에 제공하여 참조 화상으로서 사용하기 위한 인코딩된 블록을 복원할 수도 있다. 모드 선택 유닛 (40) 은 또한 신택스 엘리먼트들, 이를테면 모션 벡터들, 인트라 모드 표시자들, 구획 정보, 및 다른 그런 신택스 정보를 엔트로피 인코딩 유닛 (56) 에 제공한다.
모션/디스패리티 추정 유닛 (42) 과 모션 보상 유닛 (44) 은 고도로 통합될 수도 있지만 개념상의 목적들을 위해 별개로 예시된다. 모션/디스패리티 추정 유닛 (42) 에 의해 수행된 모션 추정은 비디오 블록들에 대한 모션을 추정하는 모션 벡터들을 생성하는 프로세스이다. 모션 벡터는, 예를 들어, 현재 화상 내의 코딩되고 있는 현재 블록 (또는 다른 코딩되는 단위) 에 대한 참조 화상 내의 예측 블록 (또는 다른 코딩된 단위) 에 대한 현재 화상 내의 비디오 블록의 PU의 변위를 나타낼 수도 있다.
예측 블록은 차의 절대값 합 (SAD), 차의 제곱 합 (SSD), 또는 다른 차이 메트릭들에 의해 결정될 수도 있는, 화소 차이의 관점에서 코딩될 블록에 밀접하게 매칭된다고 생각되는 블록이다. 일부 예들에서, 비디오 인코더 (20) 는 참조 화상 버퍼라고도 지칭될 수도 있는 참조 화상 메모리 (64) 에 저장된 참조 화상들의 부 정수 (sub-integer) 화소 위치들에 대한 값들을 계산할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 참조 화상의 1/4 화소 위치들, 1/8 화소 위치들, 또는 다른 분수 화소 위치들의 값들을 보간할 수도 있다. 그러므로, 모션/디스패리티 추정 유닛 (42) 은 풀 (full) 화소 위치들 및 분수 화소 위치들에 대한 모션 검색을 수행하고 분수 화소 정밀도를 갖는 모션 벡터를 출력할 수도 있다.
모션/디스패리티 추정 유닛 (42) 은 PU의 위치와 참조 화상의 예측 블록의 위치를 비교함으로써 인터 코딩된 슬라이스에서의 비디오 블록의 PU에 대한 모션 벡터들을 계산한다. 모션/디스패리티 추정 유닛 (42) 은 또한 뷰 간 예측을 수행하도록 구성될 수도 있으며, 이 경우 모션/디스패리티 추정 유닛 (42) 은 하나의 뷰 화상 (예컨대, 뷰 0) 의 블록들 및 참조 뷰 화상 (예컨대, 뷰 1) 의 대응하는 블록들 사이의 변위 벡터를 계산할 수도 있다. 대체로, 모션/디스패리티 벡터에 대한 데이터는 참조 화상 목록, 참조 화상 목록으로의 인덱스 (ref_idx), 수평 성분, 및 수직 성분을 포함할 수도 있다. 참조 화상은 참조 화상 메모리 (64) 에 저장된 하나 이상의 참조 화상들을 각각 식별하는 제 1 참조 화상 목록 (목록 0), 제 2 참조 화상 목록 (목록 1), 또는 조합된 참조 화상 목록 (목록 C) 으로부터 선택될 수도 있다. 조합된 목록에 관해, 비디오 인코더 (20) 는 조합된 목록에 삽입될 (첨부될) 2 개의 목록들 (즉, 목록 0 및 목록 1) 로부터 엔트리들을 교대로 선택한다. 엔트리가 조합된 목록에 이미 넣어져 있는 경우, POC 수를 점검함으로써, 비디오 인코더 (20) 는 엔트리를 다시 삽입하지 않을 수도 있다. 각각의 목록 (즉, 목록 0 또는 목록 1) 에 대해, 비디오 인코더 (20) 는 참조 인덱스의 오름 차순에 기초하여 엔트리들을 선택할 수도 있다.
모션/디스패리티 추정 유닛 (42) 은 참조 화상의 예측 블록을 식별하는 모션/디스패리티 벡터를 생성하고 엔트로피 인코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송할 수도 있다. 다시 말하면, 모션/디스패리티 추정 유닛 (42) 은 식별된 화상 내의 예측 블록을 찾기 위해 예측 블록을 포함하는 참조 화상 목록을 식별하는 모션 벡터 데이터, 예측 블록의 화상을 식별하는 참조 화상 목록으로의 인덱스, 및 수평 및 수직 성분들을 생성하고 전송할 수도 있다.
모션 보상 유닛 (44) 에 의해 수행되는 모션 보상은 모션/디스패리티 추정 유닛 (42) 에 의해 결정된 모션/디스패리티 벡터에 기초하여 예측 블록을 페치하는 것 또는 생성하는 것을 수반할 수도 있다. 다시, 모션/디스패리티 추정 유닛 (42) 과 모션 보상 유닛 (44) 은 일부 예들에서 기능적으로 통합될 수도 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신 시, 모션 보상 유닛 (44) 은 참조 화상 목록들 중 하나에서 모션 벡터가 가리키는 예측 블록을 찾을 수도 있다.
합산기 (50) 는, 아래에서 논의되는 바와 같이, 코딩되고 있는 현재 비디오 블록의 화소 값들로부터 예측 블록의 화소 값들을 감산하여 화소 차이 값들을 형성함으로써 잔차 비디오 블록을 형성한다. 대체로, 모션/디스패리티 추정 유닛 (42) 은 루마 성분들에 관하여 모션 추정을 수행하고, 모션 보상 유닛 (44) 은 크로마 성분들 및 루마 성분들 양쪽 모두에 대해 루마 성분들에 기초하여 계산된 모션 벡터들을 사용한다. 모드 선택 유닛 (40) 은 또한 비디오 슬라이스의 비디오 블록들의 디코딩 시에 비디오 디코더 (30) 에 의한 사용을 위해 비디오 블록들 및 비디오 슬라이스에 연관된 신택스 엘리먼트들을 생성할 수도 있다.
인트라 예측 유닛 (46) 은, 위에서 설명된 바와 같이, 모션/디스패리티 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 수행되는 인터 예측에 대한 대안으로서 현재 블록을 인트라 예측할 수도 있다. 특히, 인트라 예측 유닛 (46) 은 현재 블록을 인코딩하는데 사용하기 위한 인트라 예측 모드를 결정할 수도 있다. 일부 예들에서, 인트라 예측 유닛 (46) 은 예컨대, 개별 인코딩 패스들 동안에 다양한 인트라 예측 모드들을 이용하여 현재 블록을 인코딩할 수도 있고, 인트라 예측 유닛 (46) (또는 일부 예들에서, 모드 선택 유닛 (40)) 은 테스트된 모드들로부터 사용할 적절한 인트라 예측 모드를 선택할 수도 있다.
예를 들어, 인트라 예측 유닛 (46) 은 다양한 테스트된 인트라 예측 모드들에 대한 레이트 왜곡 분석을 이용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중에서 최상의 레이트 왜곡 특성들을 갖는 인트라 예측 모드를 선택할 수도 있다. 레이트 왜곡 분석은 일반적으로, 인코딩된 블록 및 인코딩된 블록을 생성하기 위해 인코딩되었던 원래의 인코딩되지 않은 블록 사이의 왜곡 (또는 에러) 의 양, 뿐만 아니라 인코딩된 블록을 생성하는데 사용되는 비트레이트 (다시 말하면, 비트들의 수) 를 결정한다. 인트라 예측 유닛 (46) 은 어떤 인트라 예측 모드가 그 블록에 대한 최상의 레이트 왜곡 값을 나타내는지를 결정하기 위해 다양한 인코딩된 블록들에 대한 왜곡들 및 레이트들로부터 비율들을 결정할 수도 있다.
블록에 대한 인트라 예측 모드를 선택한 후, 인트라 예측 유닛 (46) 은 블록에 대한 선택된 인트라 예측 모드를 나타내는 정보를 엔트로피 인코딩 유닛 (56) 에 제공할 수도 있다. 엔트로피 인코딩 유닛 (56) 은 선택된 인트라 예측 모드를 나타내는 정보를 인코딩할 수도 있다. 비디오 인코더 (20) 는 송신되는 비트스트림에 구성 데이터를 포함시킬 수도 있으며, 그 구성 데이터는 복수의 인트라 예측 모드 인덱스 테이블들 및 복수의 수정된 인트라 예측 모드 인덱스 테이블들 (또한 코드워드 매핑 테이블들이라고 지칭됨), 다양한 블록들에 대한 인코딩 콘텍스트의 정의들, 및 가장 있음직한 인트라 예측 모드, 인트라 예측 모드 인덱스 테이블, 및 콘텍스트들의 각각에 대한 사용을 위한 수정된 인트라 예측 모드 인덱스 테이블의 표시들을 포함할 수도 있다.
비디오 인코더 (20) 는 코딩되고 있는 원래의 비디오 블록으로부터 모드 선택 유닛 (40) 으로부터의 예측 데이터를 감산함으로써 잔차 비디오 블록을 형성한다. 합산기 (50) 는 이 감산 동작을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 변환 프로세싱 유닛 (52) 은 변환, 이를테면 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환을 잔차 블록에 적용하여, 잔차 변환 계수 값들을 포함하는 비디오 블록을 생성한다. 변환 프로세싱 유닛 (52) 은 DCT에 개념적으로 유사한 다른 변환들을 수행할 수도 있다. 웨이브릿 변환들, 정수 변환들, 서브-밴드 변환들 또는 다른 유형들의 변환들이 또한 이용될 수 있다. 어쨌든, 변환 프로세싱 유닛 (52) 은 잔차 블록에 변환을 적용하여, 잔차 변환 계수들의 블록을 생성한다. 그 변환은 잔차 정보를 화소 값 도메인으로부터 변환 도메인, 이를테면 주파수 도메인으로 변환할 수도 있다.
변환 프로세싱 유닛 (52) 은 결과적인 변환 계수들을 양자화 유닛 (54) 에 전송할 수도 있다. 양자화 유닛 (54) 은 변환 계수들을 양자화하여 비트 레이트를 더욱 감소시킨다. 양자화 프로세스는 계수들의 일부 또는 전부에 연관된 비트 깊이를 감소시킬 수도 있다. 양자화 정도는 양자화 파라미터를 조정함으로써 수정될 수도 있다. 일부 예들에서, 양자화 유닛 (54) 은 그 후 양자화된 변환 계수들을 포함하는 매트릭스의 스캔을 수행할 수도 있다. 대안으로, 엔트로피 인코딩 유닛 (56) 이 스캔을 수행할 수도 있다.
양자화를 뒤따라, 엔트로피 인코딩 유닛 (56) 은 양자화된 변환 계수들을 엔트로피 코딩한다. 예를 들어, 엔트로피 인코딩 유닛 (56) 은 콘텍스트 적응 가변 길이 코딩 (CAVLC), 콘텍스트 적응 이진 산술 코딩 (CABAC), 신택스 기반 콘텍스트 적응 이진 산술 코딩 (SBAC), 확률 간격 구획화 엔트로피 (PIPE) 코딩 또는 다른 엔트로피 코딩 기법을 수행할 수도 있다. 콘텍스트 기반 엔트로피 코딩의 경우, 콘텍스트는 인접 블록들에 기초할 수도 있다. 엔트로피 코딩 유닛 (56) 에 의한 엔트로피 코딩에 뒤이어, 인코딩된 비트스트림은 다른 디바이스 (예컨대, 비디오 디코더 (30)) 로 송신되거나 또는 나중의 송신 또는 취출을 위해 보관될 수도 있다.
역 양자화 유닛 (58) 및 역 변환 프로세싱 유닛 (60) 은 역 양자화 및 역 변환을 각각 적용하여, 화소 도메인에서 잔차 블록을, 예컨대, 나중에 참조 블록으로서 사용하기 위해 복원한다. 모션 보상 유닛 (44) 은 잔차 블록을 참조 화상 메모리 (64) 의 화상들 중 하나의 화상의 예측 블록에 가산함으로써 참조 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한 하나 이상의 보간 필터들을 복원된 잔차 블록에 적용하여 모션 추정에서 사용하기 위한 부-정수 화소 값들을 계산할 수도 있다. 합산기 (62) 는 복원된 잔차 블록을 모션 보상 유닛 (44) 에 의해 생성된 모션 보상된 예측 블록에 가산하여, 참조 화상 메모리 (64) 에 저장하기 위한 복원된 비디오 블록을 생성한다. 복원된 비디오 블록은 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 후속 화상에서의 블록을 인터 코딩하기 위한 참조 블록으로서 사용될 수도 있다.
비디오 인코더 (20) 는, 위에서 설명된 바와 같이, 다수의 신택스 엘리먼트들을 생성할 수도 있으며, 그 신택스 엘리먼트들은 엔트로피 인코딩 유닛 (56) 또는 비디오 인코더 (20) 의 다른 인코딩 유닛에 의해 인코딩될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는, 위에서 설명된 바와 같이, MVC 비트스트림에 대한 신택스 엘리먼트들을 생성하고 인코딩할 수도 있다.
위에서 지적했듯이, 뷰 식별자가 NAL 단위가 속하는 뷰를 식별하기 위해 NAL 단위 헤더에 포함될 수도 있다. 그 뷰 id는 비트스트림의 비교적 큰 부분을 점유하는 NAL 단위 헤더에 대한 비트들의 수를 상당히 증가시킬 수도 있다. 본 개시물의 양태들에 따르면, 비디오 인코더 (20) 는 뷰 순서 인덱스를 NAL 단위 헤더의 부분으로서 시그널링할 수도 있다. 다시 말하면, 비디오 인코더 (20) 는 NAL 단위 헤더에서 보통 시그널링될 수도 있는 뷰 id를 뷰 순서 인덱스로 대체할 수도 있다. 뷰 순서 인덱스는 액세스 단위의 대응하는 뷰 컴포넌트의 디코딩 순서를 서술할 수도 있다. 뷰 순서 인덱스는 비트스트림의 뷰 컴포넌트를 식별하기 위해 POC 값 또는 프레임 값과 함께 사용될 수 있다. 비디오 인코더 (20) 는 또한 뷰들에 대한 뷰 ID들 및 뷰들에 대한 뷰 순서 인덱스들 사이의 관계의 표시를 제공하는 SPS를 생성할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 view_id 값들을 뷰 순서 인덱스 값들에 매핑하는 매핑 테이블을 생성하고 그런 매핑 테이블을 SPS에 포함시킬 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 뷰 ID들 및 뷰 순서 인덱스들 사이의 관계를 대안적 방식으로 나타낼 수도 있다.
비디오 인코더 (20) 는 또한 통상 기본 뷰 직전에 포함될 수도 있는 접두 NAL 단위를 인코딩하는 것을 피할 수도 있다. 오히려, 비디오 인코더 (20) 는 특정 뷰 컴포넌트를 특정 뷰와 그리고 (예컨대, 0의 디폴트 기본 뷰 순서 인덱스를 감안하여) 적절한 시간적 로케이션과 연관시키기 위해 비디오 디코더 (30) 에 필요한 정보의 모두를 제공할 수도 있는 temporal_id를 NAL 단위 헤더에서 시그널링할 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 (그 특정한 NAL 단위의) 뷰 컴포넌트가 비트스트림의 다른 뷰들의 뷰 컴포넌트들을 인터 예측하기 위해 사용될 수도 있는지의 여부를 나타내는 플래그를 기본 뷰의 NAL 단위 헤더에 추가할 수도 있다.
본 개시물의 양태들에 따르면, 비디오 인코더 (20) 는, 뷰 컴포넌트들이 앵커 화상들 및 비-앵커 화상들을 위한 것인지 그리고 뷰 컴포넌트들이 목록 0 또는 목록 1에 속하는지에 무관하게, 모든 뷰 컴포넌트들에 공통으로 각각의 뷰에 대한 뷰 의존성들을 시그널링할 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 앵커 화상들 및 비-앵커 화상들에 대한 상이한 뷰 의존성들을 식별하는 표시를 SPS에 포함시킬 수도 있다.
본 개시물의 다른 양태들에 따르면, priority_id를 NAL 단위 헤더에서 시그널링하기보다, 비디오 인코더 (20) 는 SPS에서 priority_id 값들을 제공할 수도 있다. 다시 말하면, 특정한 시간적 레벨을 갖는 각각의 뷰에 대한 priority_id가 시퀀스 레벨에서 시그널링될 수도 있다. 덧붙여서, 본 개시물의 양태들에 따르면, 단일 패스 적응에 연관된 시그널링 콘텍스트가 알려져 있는 한 그 단일 패스 적응이 가능하게 될 수도 있다. 덧붙여서, 비디오 인코더 (20) 는 뷰 레벨 정보를 SPS에서 시그널링할 수도 있다.
도 3은 멀티뷰 비트스트림을 디코딩하기 위해 본 개시물에서 설명되는 기법들을 구현할 수도 있는 일 예의 비디오 디코더 (30) 를 도시하는 블록도이다. 도 3의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (80), 모션 보상 유닛 (82) 및 인트라 예측 유닛 (84) 을 갖는 예측 유닛 (81), 역 양자화 유닛 (86), 역 변환 유닛 (88), 합산기 (90), 및 참조 화상 메모리 (92) 를 구비한다.
디코딩 프로세스 동안, 비디오 디코더 (30) 는 인코딩된 비디오 슬라이스의 비디오 블록들 및 연관된 신택스 엘리먼트들을 나타내는 인코딩된 비디오 비트스트림을 비디오 인코더 (20) 로부터 수신한다. 비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (80) 은 그 비트스트림을 엔트로피 디코딩하여 양자화된 계수들, 모션 벡터들, 및 다른 신택스 엘리먼트들을 생성한다. 엔트로피 디코딩 유닛 (80) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 예측 유닛 (81) 에 포워딩한다. 비디오 디코더 (30) 는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 엘리먼트들을 수신할 수도 있다.
예를 들어, 비디오 디코더 (30) 는 NAL 단위에 저장된 데이터의 유형 (예컨대, VCL 데이터 및 비-VCL 데이터) 을 식별하는 NAL 단위 헤더를 갖는 다수의 NAL 단위들을 수신할 수도 있다. 파라미터 세트들은 시퀀스-레벨 헤더 정보, 이를테면 SPS, PPS, 또는 위에서 설명된 다른 파라미터 세트를 포함할 수도 있다.
본 개시물의 양태들에 따르면, 비디오 디코더 (30) 는 뷰 순서 인덱스를 NAL 단위 헤더의 부분으로서 수신할 수도 있다. 다시 말하면, 비디오 디코더 (30) 는 NAL 단위 헤더에서 공통적으로 시그널링될 수도 있는 뷰 id보다는 뷰 순서 인덱스를 수신할 수도 있다. 뷰 순서 인덱스는 액세스 단위의 대응하는 뷰 컴포넌트의 디코딩 순서를 서술할 수도 있다. 덧붙여서, 비디오 디코더 (30) 는 수신된 뷰 순서 인덱스 및 대응하는 뷰 id 사이의 관계를 나타내는 정보를 수신할 수도 있다. 그 정보는, 예를 들어, view_id 값들을 뷰 순서 인덱스 값들에 매핑시키는 매핑 테이블을 포함할 수도 있다. 이런 방식으로, 비디오 디코더 (30) 는 간단히 NAL 단위 헤더에서 뷰 순서 인덱스 값을 수신하고 매핑 테이블을 사용하여 NAL 단위의 view_id를 결정할 수도 있다. 일부 예들에서, 관계 정보는 SPS에서 수신될 수도 있다. 비디오 디코더 (30) 는 또한 비트스트림의 뷰 컴포넌트를 식별하기 위해 뷰 순서 인덱스를 POC 값 또는 프레임 값 (프레임 번호 또는 frame_num) 과 함께 사용할 수도 있다.
일부 예들에서, 본 개시물의 양태들에 따르면, 비디오 디코더 (30) 는 통상 기본 뷰 직전에 포함될 수도 있는 접두 NAL 단위를 수신하지 못할 수도 있다. 오히려, 비디오 디코더 (30) 는 특정 뷰 컴포넌트를 특정 뷰와 그리고 (예컨대, 0의 디폴트 기본 뷰 순서 인덱스를 감안하여) 적절한 시간적 로케이션과 연관시키기 위해 비디오 디코더 (30) 에 필요한 정보의 모두를 제공할 수도 있는 temporal_id를 NAL 단위 헤더에서 수신할 수도 있다. 일부 예들에서, 비디오 디코더 (30) 는 (그 특정한 NAL 단위의) 뷰 컴포넌트가 비트스트림의 다른 뷰들의 뷰 컴포넌트들을 인터 예측하기 위해 사용될 수도 있는지의 여부를 나타내는 플래그를 기본 뷰의 NAL 단위 헤더에서 수신할 수도 있다.
본 개시물의 양태들에 따르면, 비디오 디코더 (30) 는 또한, 뷰 컴포넌트들이 앵커 화상들 및 비-앵커 화상들을 위한 것인지 그리고 뷰 컴포넌트가 목록 0 또는 목록 1에 포함될 것인지에 무관하게, 모든 뷰 컴포넌트들에 공통으로 각각의 뷰에 대한 뷰 의존성들을 수신할 수도 있다. 일부 예들에서, 비디오 디코더 (30) 는 앵커 화상들 및 비-앵커 화상들에 대한 상이한 뷰 의존성들을 식별하는 표시를 SPS에서 수신할 수도 있다.
본 개시물의 다른 양태들에 따르면, priority_id를 NAL 단위 헤더에서 시그널링하기보다, 비디오 인코더 (20) 는 SPS에서 priority_id 값들을 제공할 수도 있다. 덧붙여서, 본 개시물의 양태들에 따르면, 단일 패스 적응에 연관된 시그널링 콘텍스트가 알려져 있는 한 그 단일 패스 적응이 가능하게 될 수도 있다. 비디오 디코더 (30) 는 또한 특정한 뷰 레벨 정보를 SPS에서 수신할 수도 있다.
비디오 슬라이스가 인트라 코딩식 (I) 슬라이스로서 코딩되는 경우, 예측 유닛 (81) 의 인트라 예측 유닛 (84) 은 현재 비디오 슬라이스의 비디오 블록에 대한 예측 데이터를 현재 화상의 이전에 디코딩된 블록들로부터의 데이터 및 시그널링된 인트라 예측 모드에 기초하여 생성할 수도 있다. 화상이 인터 코딩식 (즉, B, P, 또는 GPB) 슬라이스로 코딩되는 경우, 예측 단위 (81) 의 모션 보상 유닛 (82) 은 엔트로피 디코딩 유닛 (80) 으로부터 수신된 다른 신택스 엘리먼트들 및 모션 벡터들에 기초하여, 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록을 생성한다. 그 예측 블록들은 참조 화상 목록들 중 하나 내의 참조 화상들 중 하나로부터 생성될 수도 있다. 비디오 디코더 (30) 는 참조 화상 메모리 (92) 에 저장된 참조 화상들에 기초하여 디폴트 구축 기법들을 이용하여, 참조 화상 목록들, 목록 0 및 목록 1 (또는 조합된 목록, 목록 C) 을 구축할 수도 있다.
모션 보상 유닛 (82) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 그 예측 정보를 이용하여 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록들을 생성한다. 예를 들어, 모션 보상 유닛 (82) 은 수신된 신택스 엘리먼트들의 일부를 이용하여, 비디오 슬라이스의 비디오 블록들을 코딩하는데 사용된 예측 모드 (예컨대, 인트라 또는 인터 예측), 인터 예측 슬라이스 유형 (예컨대, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스에 대한 참조 화상 목록들 중 하나 이상에 대한 구축 정보, 슬라이스의 각각의 인터 인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터 코딩된 비디오 블록에 대한 인터 예측 스테이터스, 및 현재 비디오 슬라이스 내의 비디오 블록들을 디코딩하기 위한 다른 정보를 결정한다.
역 양자화 유닛 (86) 은 비트스트림에서 제공되고 엔트로피 디코딩 유닛 (80) 에 의해 디코딩된 양자화된 변환 계수들을 역 양자화, 즉, 탈 (de) 양자화한다. 역 양자화 프로세스는 양자화 정도와, 마찬가지로 적용되어야 할 역 양자화의 정도를 결정하기 위해, 비디오 슬라이스 내의 각각의 비디오 블록에 대해 비디오 인코더 (20) 에 의해 계산된 양자화 파라미터의 사용을 포함할 수도 있다.
역 변환 프로세싱 유닛 (88) 은 화소 도메인에서 잔차 블록들을 생성하기 위하여 역 변환, 예컨대, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역 변환 프로세스를 변환 계수들에 적용한다. 본 개시물의 양태들에 따르면, 역 변환 프로세싱 유닛 (88) 은 변환들이 잔차 데이터에 적용되었던 방식을 결정할 수도 있다. 다시 말하면, 예를 들어, 역 변환 프로세싱 유닛 (88) 은, 변환들 (예컨대, DCT, 정수 변환, 웨이브릿 변환, 또는 하나 이상의 다른 변환들) 이 수신된 비디오 데이터의 블록에 연관된 잔차 루마 샘플들 및 잔차 크로마 샘플들에 적용되었던 방식을 나타내는 RQT를 결정할 수도 있다.
모션 보상 유닛 (82) 이 현재 비디오 블록에 대한 예측 블록을 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 생성한 후, 비디오 디코더 (30) 는 역 변환 프로세싱 유닛 (88) 으로부터의 잔차 블록들을 모션 보상 유닛 (82) 에 의해 생성된 대응하는 예측 블록들과 합산함으로써 디코딩된 비디오 블록을 형성한다. 합산기 (90) 는 이 합산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 원한다면, 블록제거 필터가 또한 블록형 아티팩트들을 제거하기 위하여 디코딩된 블록들을 필터링하는데 적용될 수도 있다. 다른 루프 필터들이 (코딩 루프 내 또는 코딩 루프 후 중 어느 하나에서) 또한 화소 전환들을 부드럽게 하기 위해, 또는 그렇지 않으면 비디오 품질을 개선하기 위해 사용될 수도 있다. 주어진 화상에서의 디코딩된 비디오 블록들은 그러면 참조 화상 메모리 (92) 에 저장되며, 그 참조 화상 메모리는 후속 모션 보상을 위해 사용되는 참조 화상들을 저장한다. 참조 화상 메모리 (92) 는 또한 디스플레이 디바이스, 이를테면 도 1의 디스플레이 디바이스 (32) 상의 나중의 프레젠테이션을 위해 디코딩된 비디오를 저장한다.
도 4는 일 예의 MVC 예측 패턴을 도시하는 개념도이다. 도 4의 예에서, 8 개의 뷰들이 도시되고, 12 개의 시간적 로케이션들이 각각의 뷰에 대해 도시되어 있다. 대체로, 도 4의 각각의 행은 뷰에 해당하며, 각각의 열은 시간적 로케이션을 나타낸다. 뷰들의 각각은 다른 뷰들에 관한 상대적 카메라 로케이션을 나타내는데 이용될 수도 있는 뷰 식별자 ("view_id") 를 이용하여 식별돨 수도 있다. 도 4에 보인 예에서, 뷰 ID들은 "S0" 내지 "S7"로서 나타내어지지만, 수치적 뷰 ID들이 또한 사용될 수도 있다. 덧붙여서, 시간적 로케이션들의 각각은 화상들의 디스플레이 순서를 나타내는 화상 순서 카운트 (POC) 값을 사용하여 식별될 수도 있다. 도 4에 보인 예에서, POC 값들은 "T0" 내지 "T11"로서 나타내어진다.
비록 MVC가 H.264/AVC 디코더들에 의해 디코딩가능한 이른바 기본 뷰를 가지고 스테레오 뷰 쌍이 MVC에 의해 지원될 수 있지만, MVC는 2 개를 초과하는 뷰들을 3D 비디오 입력으로서 지원할 수도 있다. 따라서, MVC 디코더를 갖는 클라이언트의 랜더러 (renderer) 는 다수의 뷰들로 3D 비디오 컨텐츠를 예상할 수도 있다.
도 4의 화상들은 대응하는 화상이 인트라 코딩되는지 (다시 말하면, I-프레임), 또는 한 방향으로 인터 코딩되는지 (다시 말하면, P-프레임으로서) 또는 다수의 방향들로 (다시 말하면, B-프레임으로서) 인터 코딩되는지를 나타내는 문자를 포함하는 음영진 블록을 이용하여 나타내어지고 있다. 대체로, 예측들은 화살표들로 나타내어지며, 가리켜진 (pointed-to) 화상은 예측 참조를 위해 가리키는 (point-from) 대상을 이용한다. 예를 들어, 시간적 로케이션 T0에서의 뷰 S2의 P-프레임은 시간적 로케이션 T0에서의 뷰 S0의 I-프레임으로부터 예측된다. 도 4에 도시된 화상들의 각각은 뷰 컴포넌트라고 지칭될 수도 있다. 다시 말하면, 뷰의 뷰 컴포넌트는 뷰의 특정한 시간적 인스턴스에 대응한다.
단일 뷰 비디오 인코딩에서처럼, 멀티뷰 비디오 시퀀스의 화상들은 상이한 시간적 로케이션들에서 화상들에 관해 예측 인코딩될 수도 있다. 예를 들어, 시간적 위치 T1에서의 뷰 S0의 b-프레임은 시간적 위치 T0에서 자신으로 향하는 뷰 S0의 I-프레임으로부터의 화살표를 가져서, b-프레임이 I-프레임으로부터 예측됨을 나타낸다. 그러나, 부가적으로, 멀티뷰 비디오 인코딩의 맥락에서, 화상들은 뷰 간 예측될 수도 있다. 다시 말하면, 뷰 컴포넌트는 참조를 위해 다른 뷰들의 뷰 컴포넌트들을 이용할 수 있다. MVC에서는, 예를 들어, 뷰 간 예측은 다른 뷰의 뷰 컴포넌트가 인터 예측 참조인 듯이 실현된다. 잠정적 뷰 간 참조들은 SPS MVC 확장부에서 시그널링될 수도 있고, 인터 예측 또는 뷰 간 예측 참조들의 유연한 순서화를 가능하게 하는 참조 화상 목록 구축 프로세스에 의해 수정될 수도 있다.
도 4는 뷰 간 예측의 다양한 예들을 제공한다. 뷰 S1의 화상들은, 도 4의 예에서, 뷰 S1의 상이한 시간적 로케이션들에 있는 화상들로부터 예측된 것으로 뿐만 아니라, 동일한 시간적 로케이션들에 있는 뷰들 (S0 및 S2) 의 화상드의 화상들로부터 뷰 간 예측된 것으로서 예시된다. 예를 들어, 시간적 로케이션 T1에 있는 뷰 S1의 b-프레임은 시간적 로케이션들 (T0 및 T2) 에 있는 뷰 S1의 B-프레임들의 각각 뿐만 아니라 시간적 로케이션 T1에 있는 뷰들 (S0 및 S2) 의 b-프레임들로부터 예측된다.
도 4의 예에서, 대문자 "B" 및 소문자 "b"는 상이한 인코딩 방법론들보다는 화상들 사이의 상이한 계층구조적 관계들을 나타내는 것을 의도한다. 대체로, 대문자 "B"의 프레임들은 소문자 "b"의 프레임들보다 예측 계층구조에서 상대적으로 상위에 있다. 도 4는 예측 계층구조에서의 변화들을 상이한 음영 (shading) 레벨들을 이용하여 도시하는데, 음영 양이 더 큰 (다시 말하면, 상대적으로 더 어두운) 화상들일수록 적은 음영을 갖는 (다시 말하면, 상대적으로 더 밝은) 화상들보다 예측 계층구조에서 더 상위에 있다. 예를 들어, 도 4의 모든 I-프레임들은 완전한 음영으로 도시되는 반면, P-프레임들은 약간 더 밝은 음영을 가지고, B-프레임들 (및 소문자 b-프레임들) 은 서로 상대적이지만 P-프레임들 및 I-프레임들의 음영보다는 항상 더 밝은 여러 가지 음영 레벨들을 가진다.
대체로, 예측 계층구조는 예측 계층구조에서 상대적 상위 화상들이 그 계층구조에서 상대적으로 하위 화상들을 디코딩하기 전에 디코딩되어야 한다는 점에서 뷰 순서 인덱스들에 관련되어서, 계층구조에서 상대적으로 상위 화상들은 계층구조에서 상대적으로 하위 화상들의 디코딩 동안에 기준 화상들로서 사용될 수 있다. 뷰 순서 인덱스는 액세스 단위에서 뷰 컴포넌트들의 디코딩 순서를 나타내는 색인들이다. 뷰 순서 인덱스들은 파라미터 세트, 이를테면 SPS에서 암시될 수도 있다.
이런 방식으로, 참조 화상들로서 사용되는 화상들은 참조 화상들을 참조하여 인코딩된 화상들을 디코딩하기 전에 디코딩될 수도 있다. 뷰 순서 인덱스는 액세스 단위에서 뷰 컴포넌트들의 디코딩 순서를 나타내는 색인들이다. MVC/AVC에 따르면, 각각의 뷰 순서 색인 i에 대해, 대응하는 view_id가 시그널링된다. 뷰 컴포넌트들의 디코딩은 뷰 순서 인덱스들의 오름 차순을 따라간다. 모든 뷰들이 표현된다면, 뷰 순서 인덱스들의 세트는 영부터 뷰들의 전체 수보다는 하나 작은 수까지의 연속 순서의 세트를 포함한다.
몇몇 경우들에서, 전체 비트스트림의 서브세트가 MVC를 여전히 준수하는 서브-비트스트림을 형성하도록 추출될 수 있다. 특정 애플리케이션들이 예를 들어, 서버에 의해 제공되는 서비스, 하나 이상의 클라이언트들의 디코더들의 용량, 지원, 및 능력들, 그리고/또는 하나 이상의 클라이언트들의 선호도에 기초하여 요구할 수도 있는 많은 가능한 서브-비트스트림들이 존재한다. 예를 들어, 클라이언트가 3 개의 뷰들만을 요구할지도 모르고, 2 개의 시나리오들만이 있을 지도 모른다. 하나의 예에서, 하나의 클라이언트는 원활한 관람 경험을 요구할 수 있고 view_id 값들 (S0, S1, 및 S2) 을 갖는 뷰들을 선호할지도 모르는 반면, 다른 클라이언트는 뷰 확장성을 요구하고 view_id 값들 (S0, S2, 및 S4) 을 갖는 뷰들을 선호할 수도 있다. 이들 서브-비트스트림들의 양쪽 모두는 독립 MVC 비트스트림들로서 디코딩될 수 있고 동시에 지원될 수 있다.
대체로, 상이한 뷰들 사이의 카메라 포지션, 배향, 및 기하학적 관계는 View ID 또는 뷰 순서 인덱스로부터 유추될 수 있다. 이 목적을 위해, 내재성 및 외인성 카메라 파라미터들 양쪽 모두가 멀티뷰 획득 정보 SEI 메시지를 사용하여 비트스트림에 포함될 수도 있다.
도 4가 8 개의 뷰들 (S0-S7) 을 도시하지만, 위에서 지적했듯이, MVC/AVC 확장은 1024 개까지의 뷰들을 지원하고 NAL 단위가 속하는 뷰를 식별하기 위해 NAL 단위 헤더에서의 view_id를 사용한다. 본 개시물의 양태들에 따르면, 뷰 순서 인덱스가 NAL 단위 헤더의 부분으로서 시그널링될 수도 있다. 다시 말하면, 비교를 목적으로, 뷰 순서 인덱스는 MVC/AVC 확장의 NAL 단위 헤더에서 시그널링되는 view_id를 대체할 수도 있다. 뷰 순서는 일반적으로 액세스 단위에서의 뷰들의 순서화를 서술하고, 뷰 순서 인덱스는 액세스 단위의 뷰 순서에서 특정 뷰를 식별한다. 다시 말하면, 뷰 순서 인덱스는 액세스 단위의 대응하는 뷰 컴포넌트의 디코딩 순서를 서술한다.
따라서, 본 개시물의 양태들에 따르면, SPS는 뷰들에 대한 view_ids 및 뷰들에 대한 뷰 순서 인덱스들 사이의 관계를 제공할 수도 있다. 뷰 순서 인덱스 및 SPS에서의 데이터를 사용하여, 비디오 인코더 (20) 와 비디오 디코더 (30) 는 NAL 단위 헤더에서의 MVC/AVC의 10 비트 view_id를 뷰 순서 인덱스에 의해 대체할 수도 있으며, 이는 MVC/AVC 체계를 뛰어넘는 비트 절약을 이끌 수도 있다.
뷰들에 대한 view_ids 및 뷰 순서 인덱스들 사이의 관계를 제공하는 일 예의 SPS가 아래의 표 6에 제공된다:
표 6 - 시퀀스 파라미터 세트 MVC 확장
Figure 112014019790353-pct00006
표 6에 도시된 예에서, 볼드 및 이탤릭체 신택스 엘리먼트들은 MVC/AVC SPS 신택스로부터의 이탈, 다시 말하면, MVC/AVC SPS 신택스에 대한 수정을 나타낸다. 예를 들어, 표 6에 도시된 SPS는 코딩된 비디오 시퀀스에 대한 뷰 간 의존성 관계들을 특정한다. SPS는 또한 코딩된 비디오 시퀀스에 대한 동작 지점들의 서브세트에 대한 레벨 값들을 특정한다. 코딩된 비디오 시퀀스에 의해 참조되는 모든 SPS들이 동일해야 한다. 그러나, view_id[i] 에 의해 식별된 일부 뷰들은 코딩된 비디오 시퀀스에 존재하지 않을 수도 있다. 덧붙여서, SPS에 의해 서술되는 일부 뷰들 또는 시간적 서브 세트들은 원래의 코딩된 비디오 시퀀스로부터 제거되었을 수도 있고, 이에 따라 코딩된 비디오 시퀀스에 존재하지 않을 수도 있다. SPS에서의 정보는, 그러나, 항상 남아있는 뷰들 및 시간적 서브 세트들에 적용될 수도 있다.
위의 표 6에서, num_views_minus1 plus 1 엘리먼트는 코딩된 비디오 시퀀스에서 코딩된 뷰들의 최대 수를 특정할 수도 있다. num_view_minus1의 값은 0 이상 31 이하의 범위에 있을 수도 있다. 몇몇 경우들에서, 코딩된 비디오 시퀀스에서의 뷰들의 실제 수는 num_views_minus1 plus 1 미만일 수도 있다. view_id[i] 엘리먼트는 뷰의 뷰 식별자를 i와 동일한 뷰 순서 인덱스로 특정할 수도 있다. view_level[i] 엘리먼트는 뷰의 view_level을 i와 동일한 뷰 순서 인덱스로 특정할 수도 있다. 일부 예들에서, 미리 정의된 값 (VL) 까지의 view_level을 갖는 모든 뷰 컴포넌트들은 VL보다 큰 view_level을 갖는 임의의 뷰 컴포넌트를 디코딩하는 일 없이 디코딩가능할 수도 있다.
본 개시물의 양태들에 따르면, num_ref_views[i] 엘리먼트는 i와 동일한 뷰 순서 인덱스를 갖는 뷰 컴포넌트들을 디코딩하는 경우 초기 참조 화상 목록 (RefPicList0 및 RefPicList1) 에서의 뷰 간 예측을 위해 뷰 컴포넌트들의 수를 특정할 수도 있다. num_ref_views[i] 엘리먼트의 값은 Min(15, num_views_minus1) 보다 크지 않을 수도 있다. num_ref_views[0] 의 값은 0과 동일할 수도 있다. 덧붙여서, 본 개시물의 양태들에 따르면, ref_view_idx[i][j] 엘리먼트는 i와 동일한 뷰 순서 인덱스를 갖는 뷰 컴포넌트를 디코딩하는 경우 초기 참조 화상 목록 (RefPicList0 및 RefPicList1) 에서 뷰 간 예측을 위한 j-번째 뷰 컴포넌트의 뷰 순서 인덱스를 특정할 수도 있다. ref_view_idx[i][j]의 값은 0 이상 31 이하의 범위에 있을 수도 있다.
따라서, 본 개시물의 다양한 양태들에서, 앵커 화상들 및 비-앵커 화상들에 대한 뷰 의존성들은 더 이상 별개로 유지되고 시그널링될 필요가 없을 수도 있다. 다시 말하면, 비디오 인코더 (20) 및/또는 비디오 인코더 (30) 는 앵커 화상들 및 비-앵커 화상들에 대해 똑같이 단일 참조 화상 목록을 사용 (하거나 또는 2 개의 참조 화상 목록들, 목록 0 및 목록 1을 유지) 할 수도 있다. 이런 식으로, 위의 표 6에 도시된 바와 같이, 비디오 디코더 (30) 에 대한 뷰 의존성을 나타내는데 별도의 시그널링은 필요하지 않다. 오히려, SPS는 뷰 컴포넌트들에 대해 목록 0 및 목록 1 양쪽 모두를 구축하는데 사용될 수도 있는 ref_view_idx를 포함한다.
본 개시물의 그런 양태들에 따르면, 예를 들어, 비디오 디코더 (30) 는, 임의의 뷰 컴포넌트에 대해 제 1 뷰, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 수신할 수도 있다. 다시 말하면, 비디오 디코더 (30) 는 뷰의 앵커 화상들 및 뷰의 비-앵커 화상들에 대해 똑같이 뷰 의존성들을 나타내는 참조 뷰 정보를 수신할 수도 있다. 특정 뷰의 (액세스 단위의) 특정 화상을 디코딩하는 경우, 비디오 디코더 (30) 는 특정 화상인 동일한 액세스 단위로부터의 그리고 참조 뷰 정보에 의해 나타낸 참조 뷰들로부터의 참조 후보들 (예컨대, 특정 화상이 예측될 수 있는 뷰 컴포넌트들) 을 포함할 수도 있다. 몇몇 경우들에서, 비디오 디코더 (30) 는 참조 후보들을 각각의 참조 뷰로부터의 참조 화상 목록에 추가할 수도 있어서, 참조 후보들의 수는 참조 뷰들의 수와 동일하다. 덧붙여서, 비디오 디코더 (30) 는 참조 후보들을 목록 1, 목록 0 중 어느 하나, 또는 양쪽 모두에 추가할 수도 있다. 비디오 디코더 (30) 는 그 다음에 참조 화상 목록에서의 참조 화상들 중 하나에 기초하여 특정 화상을 디코딩할 수도 있다.
더구나, 표 6에 따르면, 비앵커 뷰 컴포넌트들에 대한 뷰 간 의존성은 앵커 뷰 컴포넌트들에 대한 뷰 간 의존성의 서브세트로서 SPS에서는 더 이상 시그널링되지 않을 수도 있다. 오히려, 앵커 뷰의 뷰 컴포넌트는 하나를 초과하는 다른 뷰, 이를테면 뷰 3 및 4로부터 예측될 수도 있고, 비앵커 뷰는 또한 뷰 3 및 뷰 4의 화상들로부터 예측될 수도 있다. 부가적인 제한 뷰 의존성 제한이 비-앵커 화상들에 대해 바람직하다면, 이러한 제한은 보충 시그널링에서, 이를테면 SEI 메시지로서 제공될 수도 있다.
num_level_values_signalled_minus1 plus 1 엘리먼트는 코딩된 비디오 시퀀스를 위해 시그널링되는 레벨 값들의 수를 특정할 수도 있다. num_level_values_signalled_minus1 의 값은 0 이상 63 이하의 범위에 있을 수도 있다. level_idc[i] 엘리먼트는 코딩된 비디오 시퀀스를 위해 시그널링되는 i-번째 레벨 값을 특정할 수도 있다. num_applicable_ops_minus1[i] plus 1 엘리먼트는level_idc[i]에 의해 나타낸 레벨이 적용되는 동작 지점들의 수를 특정할 수도 있다. num_applicable_ops_minus1[i] 엘리먼트의 값은 0 이상 1023 이하의 범위에 있을 수도 있다. applicable_op_temporal_id[i][j] 엘리먼트는 level_idc[i]에 의해 나타낸 레벨이 적용되는 j-번째 동작 지점의 temporal_id를 특정할 수도 있다. applicable_op_num_target_views_minus1[i][j] plus 1 엘리먼트는 level_idc[i]에 의해 나타낸 레벨이 적용되는 j-번째 동작 지점에 대한 타겟 출력 뷰들의 수를 특정할 수도 있다. applicable_op_num_target_views_minus1[i][j] 엘리먼트의 값은 0 이상 1023 이하의 범위에 있을 수도 있다.
applicable_op_target_view_idx[i][j][k] 엘리먼트는 level_idc[i]에 의해 나타낸 레벨이 적용되는 j-번째 동작 지점에 대한 k-번째 타겟 출력 뷰의 뷰 순서 인덱스를 특정할 수도 있다. applicable_op_target_view_idx[i][j][k] 엘리먼트의 값은 0 이상 31 이하의 범위에 있을 수도 있다. applicable_op_num_views_minus1[i][j] plus 1은 level_idc[i]에 의해 나타낸 레벨이 적용되는 j-번째 동작 지점에 대응하는 타겟 출력 뷰들을 디코딩하는데 필요한 뷰들의 수를 특정할 수도 있다. applicable_op_num_views_minus1에 의해 특정된 뷰들의 수는 서브-비트스트림 추출 프로세스에 의해 특정된 바와 같이 타겟 출력 뷰들 및 타겟 출력 뷰들이 의존하는 뷰들을 포함할 수도 있다.
다른 예에서, 본 개시물의 양태들에 따르면, ref_view_idx[i][j]의 값은 동일한 타임 인스턴스에서 뷰 컴포넌트들의 디코딩 순서에 기초하여, i보다 작게되는 것이 필요할 수도 있다.
ref_view_idx[i][j]는 (MVC/AVC에 대하여 부가적인 비트 절약을 위해) 사이즈가 추가로 감소될 수도 있다. 예를 들어, 부가적인 비트 절약은 단지 2 개의 뷰들 (다시 말하면, 스테레오 비디오용) 을 포함하는 MVC 스트림에서 달성될 수도 있다. 이 예에서, 뷰 순서 인덱스는 필요하지 않을 수도 있는데, 비디오 디코더 (30) 가 항상 제 2 뷰 (예컨대, 뷰 1) 를 디코딩하기 전에 제 1 뷰 (예컨대, 뷰 0) 를 디코딩해서이다. 일 예의 감소된 SPS는 아래의 표 7에서 제공된다:
표 7 - 시퀀스 파라미터 세트 MVC 확장
Figure 112014019790353-pct00007
표 7에 도시된 예에서, ref_view_idx_diff_minus1[i][j] plus i+1 엘리먼트는 i와 동일한 뷰 순서 인덱스를 갖는 뷰 컴포넌트를 디코딩하는 경우에 초기 참조 화상 목록 (RefPicList0 및 RefPicList1) 에서 뷰 간 예측을 위한 j-번째 뷰 컴포넌트의 뷰 순서 인덱스를 특정할 수도 있다. ref_view_idx_diff_minus1[i][j] 엘리먼트의 값은 0 이상 30-i 이하의 범위에 있을 수도 있다.
다른 예들이 또한 가능하다. 예를 들어, (위의 표 6 및 표 7에 도시된 예들과 같이) SPS에서 뷰 의존성을 시그널링하기 보다, 뷰 의존성은 PPS에서 시그널링될 수도 있다. 다른 예에서, 뷰 의존성은 SPS에서 시그널링될 수도 있고, 뷰 의존성은 시퀀스 파라미터 세트에서 시그널링된 뷰 의존성의 범위 내에 있는 PPS에서 추가로 시그널링될 수도 있다. 예를 들어, SPS에서, 의존성 뷰 (예컨대, 뷰 2) 는 뷰 0 및 뷰 1에 의존하는 것으로서 시그널링될 수도 있는 반면, PPS에서, 의존성 뷰 (예컨대, 뷰 2) 는 뷰 0에만 의존하는 것으로서 시그널링될 수도 있다.
본 개시물의 일부 양태들에 따르면, 참조 화상 목록 구축 및 재순서화는 MVC/AVC로부터 변경될 수도 있다. 예를 들어, 본 개시물의 양태들에 따르면, 위에서 설명된 뷰 인덱스 (view_idx) 는 참조 화상 목록 구축 및/또는 재순서화 동안에 사용될 수도 있다. 일 예의 참조 화상 목록 MVC 수정 신택스는 아래의 표 8 및 표 9에서 제공된다:
표 8 - MVC 참조 화상 목록 수정
Figure 112014019790353-pct00008
표 9 - MVC 참조 화상 목록 수정
Figure 112014019790353-pct00009
표 8 및 표 9에서, modification_of_pic_nums_idc 엘리먼트는 abs_diff_pic_num_minus1, long_term_pic_num, 또는 abs_diff_view_idx_minus1 과 함께 참조 화상들 또는 뷰 간 전용 참조 (inter-view only reference) 컴포넌트들 중 어떤 것들이 리매핑되는지를 특정할 수도 있다. 예를 들어, abs_diff_view_idx_minus1 plus 1 엘리먼트는 참조 화상 목록에서의 현재 인덱스에 주어진 뷰 간 참조 인덱스 및 뷰 간 참조 인덱스의 예측 값 사이의 절대 차이를 특정할 수도 있다.
다른 예에서, 본 개시물의 양태들에 따르면, 뷰 간 참조의 inter_view_index는 직접 시그널링된다. 이러한 참조 화상 목록 MVC 수정 신택스는 아래의 표 10 및 표 11에 제공된다:
표 10 - MVC 참조 화상 목록 수정
Figure 112014019790353-pct00010
표 11 - MVC 참조 화상 목록 수정
Figure 112014019790353-pct00011
표 10 및 표 11에서, 뷰 간 참조 화상은 다음과 같이 inter_view_index 에 의해 식별될 수도 있다:
VOIdx = ref_view_idx[CurrVOIdx][inter_view_index]
여기서 CurrVOIdx는 현재 뷰 컴포넌트의 뷰 순서 인덱스이다. 현재 화상의 POC 값이 주어지면, POC 및 VOIdx는 뷰 간 참조 화상을 식별하는데 사용될 수도 있다.
일부 예들에서, 참조 화상 목록들 구축을 위한 MVC 디코딩 프로세스는 각각의 P, SP 또는 B 슬라이스에 대한 디코딩 프로세스의 시작부분에서 호출될 수도 있다. 이 프로세스의 호출 동안, 현재 슬라이스와 동일한 view _ idx 의 값을 갖는 참조 화상들만이 고려될 수도 있다. 디코딩된 참조 화상들은 "단기 참조를 위해 사용됨" 또는 "장기 참조를 위해 사용됨" 으로서 마킹될 수도 있다. 단기 참조 화상들은 frame_num 및 view _ idx 의 값들에 의해, 그리고 뷰-간 참조 화상들에 대해, 부가적으로는 PicOrderCnt() 에 의해 식별될 수도 있다. 장기 참조 화상들은 장기 프레임 인덱스가 할당되고 장기 프레임 인덱스, view _ idx 의 값들에 의해, 그리고 뷰-간 참조 화상들에 대해, 부가적으로는 PicOrderCnt() 에 의해 식별될 수도 있다.
참조 화상들 외에도, 뷰 간 전용 참조 컴포넌트들 (그것들은 비-참조 화상들일 수도 있고 참조 화상 마킹 프로세스 동안에 마킹되지 않을 수도 있다) 은 또한 참조 화상 목록에 포함될 수도 있다. 뷰 간 전용 참조 컴포넌트들은 view _ idx 의 값에 의해 그리고 PicOrderCnt() 에 의해 식별될 수도 있다.
참조 화상 목록 구축 프로세스의 호출 동안, MVC/AVC에서 하위절 8.2.4.1로서 식별되는 다음의 프로세스는 다음을 특정하기 위해 호출될 수도 있다:
Figure 112014019790353-pct00012
변수들인 FrameNum, FrameNumWrap, 및 PicNum의 단기 참조 화상들의 각각으로의 할당, 및
Figure 112014019790353-pct00013
변수 LongTermPicNum의 장기 참조 화상들의 각각으로의 할당.
참조 화상들과, 존재하는 경우, 뷰 간 전용 참조 컴포넌트들은, 참조 인덱스들을 통해 어드레싱된다. 참조 인덱스는 참조 화상 목록으로의 인덱스이다. P 또는 SP 슬라이스를 디코딩하는 경우, 단일 참조 화상 목록 RefPicList0가 있다. B 슬라이스를 디코딩하는 경우, RefPicList0 외에도 제 2 독립 참조 화상 목록 (RefPicList1) 이 있다.
각각의 슬라이스에 대한 디코딩 프로세스의 시작부분에서, 참조 화상 목록 RefPicList0, 및 B 슬라이스들에 대한 RefPicList1는, 다음 순서의 단계들에 의해 특정된 바와 같이 도출될 수도 있다:
1. 초기 참조 화상 목록 RefPicList0 과 B 슬라이스들에 대한 RefPicList1는 MVC/AVC의 하위절 8.2.4.2에서 특정된 바와 같이 도출된다.
2. 뷰 간 참조 화상들 또는 뷰 간 전용 참조 컴포넌트들은 (아래에 언급된) 하위절 6.4.1에 특정된 바와 같이 초기 참조 화상 목록 RefPicList0 및 B 슬라이스들에 대한 RefPicList1에 첨부된다.
3. ref_pic_list_modification_flag_l0 가 1인 경우 또는, B 슬라이스를 디코딩하는 경우, ref_pic_list_modification_flag_l1 은 1이며, 참조 화상 목록 RefPicList0 과 B 슬라이스들에 대한 RefPicList1은 (아래에 언급된) 하위절 6.4.2에서 특정된 바와 같이 수정된다.
덧붙여서, 수정된 참조 화상 목록 RefPicList0에서의 엔트리들의 수는 num_ref_idx_l0_active_minus1 + 1 이고, B 슬라이스들에 대해 수정된 참조 화상 목록, RefPicList1에서의 엔트리들의 수는 num_ref_idx_l1_active_minus1 + 1 이다. 참조 화상 또는 뷰 간 전용 참조 컴포넌트는 수정된 참조 화상 목록들 (RefPicList0 또는 RefPicList1) 에서 하나를 초과하는 인덱스에서 나타날 수도 있다.
하위절 6.4.1에서 특정된 프로세의 호출 동안, RefPicListX (X는 0 또는 1) 에 첨부된 뷰 간 예측 참조는 존재하지 않을 수도 있다. 그러나, 존재하지 않는 뷰 간 예측 참조는 (아래에 언급된) 하위절 6.4.2에서 특정된 프로세스의 호출 후에 수정된 RefPicListX에 없을 수도 있다.
일 예에서, 하위절 6.4.1은 아래에 언급되며, 그것은 뷰 간 예측 참조들을 이한 참조 화상 목록에 대한 다음의 초기화 프로세스를 포함한다:
Figure 112014019790353-pct00014
이 프로세스에 대한 입력들은 참조 화상 목록 RefPicListX (X는 0 또는 1), inter_view_flag, 및 seq_parameter_set_mvc_extension() 로부터 디코딩되어 있는 뷰 의존성 정보이다.
Figure 112014019790353-pct00015
이 프로세스의 출력은 어쩌면 수정된 참조 화상 목록 RefPicListX이며, 그것은 여전히 초기 참조 화상 목록 RefPicListX로서 지칭된다.
Figure 112014019790353-pct00016
현재 슬라이스에 대한 view_idx의 값인 i에 대해, 뷰 간 참조 화상들 및 뷰 간 전용 참조 컴포넌트들은 아래에 특정된 바와 같이 참조 화상 목록에 첨부된다:
Figure 112014019790353-pct00017
0 이상 num_ref_views[i] - 1 이하까지의 뷰 간 참조 인덱스 j의 각각의 값에 대해, j의 오름 차순으로, 현재 슬라이스와 동일한 액세스 단위로부터의 ref_view_idx[i][j]와 동일한 view_idx을 갖는 뷰 간 예측 참조는 RefPicListX에 첨부된다.
일 예에서, 하위절 6.4.2는 아래에 언급되며, 그것은 참조 화상 목록들에 대한 다음의 수정 프로세스를 포함한다:
Figure 112014019790353-pct00018
이 프로세스에 대한 입력은 참조 화상 목록 RefPicList0 이고, B 슬라이스를 디코딩하는 경우, 또한 참조 화상 목록 RefPicList1이다.
Figure 112014019790353-pct00019
프로세스의 출력들은 어쩌면 수정된 참조 화상 목록 RefPicList0 이고, B 슬라이스를 디코딩하는 경우, 또한 어쩌면 수정된 참조 화상 목록 RefPicList1이다.
Figure 112014019790353-pct00020
ref_pic_list_modification_flag_l0 이 1인 경우, 다음 순서의 단계들이 특정된다:
1. refIdxL0이 참조 화상 목록 RefPicList0으로의 인덱스라 하자. 그것은 초기에는 0으로 설정된다.
2. 대응하는 신택스 엘리먼트들 (modification_of_pic_nums_idc) 은 그것들이 비트스트림에서 발생하는 순서로 프로세싱된다. 이들 신택스 엘리먼트들의 각각에 대해, 다음이 적용된다:
Figure 112014019790353-pct00021
modification_of_pic_nums_idc가 0과 같거나 또는 1과 같다면, (아래에서 언급된) 하위절 6.4.2.1에서 특정된 프로세스는 입력으로서 주어진 RefPicList0 및 refIdxL0으로 호출되고, 출력은 RefPicList0 및 refIdxL0에 할당된다.
Figure 112014019790353-pct00022
그렇지 않고, modification_of_pic_nums_idc가 2와 같다면, (아래에서 언급된) 하위절 6.4.2.2에서 특정된 프로세스는 입력으로서 주어진 RefPicList0 및 refIdxL0으로 호출되고, 출력은 RefPicList0 및 refIdxL0에 할당된다.
Figure 112014019790353-pct00023
그렇지 않고, modification_of_pic_nums_idc가 4와 같거나 또는 5와 같다면, (아래에서 언급된) 하위절 6.4.2.3에서 특정된 프로세스는 입력으로서 주어진 RefPicList0 및 refIdxL0으로 호출되고, 출력은 RefPicList0 및 refIdxL0에 할당된다.
Figure 112014019790353-pct00024
그렇지 않으면 (modification_of_pic_nums_idc가 3과 같으면), 참조 화상 목록 RefPicList0에 대한 수정 프로세스는 종료된다.
Figure 112014019790353-pct00025
ref_pic_list_modification_flag_l1 이 1인 경우, 다음 순서의 단계들이 특정된다:
1. refIdxL1이 참조 화상 목록 RefPicList1로의 인덱스라고 하자. 그것은 초기에는 0으로 설정된다.
2. 대응하는 신택스 엘리먼트들 (modification_of_pic_nums_idc) 은 그것들이 비트스트림에서 발생하는 순서로 프로세싱된다. 이들 신택스 엘리먼트들의 각각에 대해, 다음이 적용된다:
Figure 112014019790353-pct00026
modification_of_pic_nums_idc가 0과 같거나 또는 1과 같다면, (아래에서 언급된) 하위절 6.4.2.1에서 특정된 프로세스는 입력으로서 주어진 RefPicList1 및 refIdxL1로 호출되고, 출력은 RefPicList1 및 refIdxL1에 할당된다.
Figure 112014019790353-pct00027
그렇지 않고, modification_of_pic_nums_idc가 2와 같다면, (아래에서 언급된) 하위절 6.4.2.2에서 특정된 프로세스는 입력으로서 주어진 RefPicList1 및 refIdxL1로 호출되고, 출력은 RefPicList1 및 refIdxL1에 할당된다.
Figure 112014019790353-pct00028
그렇지 않고, modification_of_pic_nums_idc가 4와 같거나 또는 5와 같다면, (아래에서 언급된) 하위절 6.4.2.3에서 특정된 프로세스는 입력으로서 주어진 RefPicList1 및 refIdxL1로 호출되고, 출력은 RefPicList1 및 refIdxL1에 할당된다.
Figure 112014019790353-pct00029
그렇지 않으면 (modification_of_pic_nums_idc가 3과 같으면), 참조 화상 목록 RefPicList1에 대한 수정 프로세스는 종료된다.
일 예에서, 하위절 6.4.2.1이 아래에서 언급되며, 그것은 인터 예측을 위한 단기 참조 화상들에 대한 참조 화상 목록의 수정 프로세스를 포함한다:
Figure 112014019790353-pct00030
이 프로세스에 대한 입력들은 인덱스 refIdxLX 및 참조 화상 목록 RefPicListX이다 (X는 0 또는 1).
Figure 112014019790353-pct00031
이 프로세스의 출력들은 증분식 인덱스 refIdxLX 및 수정된 참조 화상 목록 RefPicListX이다.
Figure 112014019790353-pct00032
변수 picNumLXNoWrap는 다음과 같이 도출된다:
Figure 112014019790353-pct00033
modification_of_pic_nums_idc가 0과 같으면,
if(picNumLXPred - (abs_diff_pic_num_minus1 + 1) < 0)
picNumLXNoWrap = picNumLXPred - (abs_diff_pic_num_minus1
+ 1) + MaxPicNum (H-1)
else
picNumLXNoWrap = picNumLXPred - (abs_diff_pic_num_minus1
+ 1)
Figure 112014019790353-pct00034
그렇지 않으면 (modification_of_pic_nums_idc가 1과 같으면),
if(picNumLXPred + (abs_diff_pic_num_minus1 + 1) >= MaxPicNum)
picNumLXNoWrap = picNumLXPred + (abs_diff_pic_num_minus1
+ 1) - MaxPicNum (H-2)
else
picNumLXNoWrap = picNumLXPred + (abs_diff_pic_num_minus1
+ 1)
여기서 picNumLXPred는 변수 picNumLXNoWrap에 대한 예측 값이다. 이 하위절에서 특정된 프로세스가 슬라이스에 대해 처음 호출되는 경우 (다시 말하면, ref_pic_list_modification() 신택스에서 0 또는 1인 modification_of_pic_nums_idc의 처음 발생에 대해), picNumL0Pred 및 picNumL1Pred 는 CurrPicNum와 동일하게 초기 설정된다. picNumLXNoWrap의 각각의 할당 후, picNumLXNoWrap의 값이 picNumLXPred에 할당된다.
일부 예들에서, 변수 picNumLX는 다음의 의사-코드에 의해 특정된 바와 같이 도출된다:
if(picNumLXNoWrap > CurrPicNum)
picNumLX = picNumLXNoWrap - MaxPicNum (H-3)
else
picNumLX = picNumLXNoWrap
여기서 picNumLX는 "단기 참조를 위해 사용됨" 으로 마킹되는 참조 화상의 PicNum와 동일할 수도 있고 "존재하는 않음" 으로서 마킹되는 단기 참조 화상의 PicNum과 동일하지 않을 수도 있다. 다음의 프로세스는 단기 화상 번호 picNumLX를 갖는 화상을 인덱스 포지션 refIdxLX에 배치하며, 임의의 다른 나머지 화상들의 포지션을 목록 내에서 뒤로 시프트시키고, refIdxLX의 값을 증분시키도록 다음 프로세스가 수행될 수도 있다.
for(cIdx = num_ref_idx_lX_active_minus1 + 1; cIdx > refIdxLX; cIdx- -)
RefPicListX[cIdx] = RefPicListX[cIdx - 1]
RefPicListX[refIdxLX++] = picNumLX와 동일한 PicNum을 갖는 단기 참조 화상
nIdx = refIdxLX
for(cIdx = refIdxLX; cIdx <= num_ref_idx_lX_active_minus1 + 1; cIdx++) (H-4)
if(PicNumF(RefPicListX[cIdx]) != picNumLX||
viewIDX (RefPicListX[cIdx]) != currViewIDX )
RefPicListX[nIdx++] = RefPicListX[cIdx]
여기서 함수 viewIDX(refpic) 은 참조 화상 refpic의 view _ idx를 반환하며, 변수 currViewIDX는 현재 슬라이스의 view_idx와 동일하고, 함수 PicNumF(RefPicListX[cIdx]) 는 다음과 같이 도출된다:
Figure 112014019790353-pct00035
참조 화상 RefPicListX[cIdx] 가 "단기 참조를 위해 사용됨" 으로 마킹된다면, PicNumF(RefPicListX[cIdx]) 는 화상 RefPicListX[cIdx]의 PicNum이다.
Figure 112014019790353-pct00036
그렇지 않으면 (참조 화상 RefPicListX[cIdx] 가 "단기 참조를 위해 사용됨" 으로 마킹되지 않으면), PicNumF(RefPicListX[cIdx]) 는 MaxPicNum과 동일하다.
일 예에서, 하위절 6.4.2.2가 아래에서 언급되며, 그것은 인터 예측을 위한 장기 참조 화상들에 대한 참조 화상 목록의 다음의 수정 프로세스를 포함한다:
Figure 112014019790353-pct00037
이 프로세스에 대한 입력들은 인덱스 refIdxLX 및 참조 화상 목록 RefPicListX이다 (X는 0 또는 1).
Figure 112014019790353-pct00038
이 프로세스의 출력들은 증분식 인덱스 refIdxLX 및 수정된 참조 화상 목록 RefPicListX이다.
Figure 112014019790353-pct00039
장기 화상 번호 long_term_pic_num을 갖는 화상을 인덱스 포지션 refIdxLX에 배치하며, 임의의 다른 나머지 화상들의 포지션을 목록 내에서 뒤로 시프트시키고, refIdxLX의 값을 증분시키도록 다음 프로세스가 수행된다.
for(cIdx = num_ref_idx_lX_active_minus1 + 1; cIdx > refIdxLX; cIdx- -)
RefPicListX[cIdx] = RefPicListX[cIdx - 1]
RefPicListX[refIdxLX++] = long_term_pic_num과 동일한 LongTermPicNum을
갖는 장기 참조 화상
nIdx = refIdxLX
for(cIdx = refIdxLX; cIdx <= num_ref_idx_lX_active_minus1 + 1;
cIdx++)(H-5)
if(LongTermPicNumF(RefPicListX[cIdx]) != long_term_pic_num||
viewIDX (RefPicListX[cIdx]) != currViewIDX )
RefPicListX[nIdx++] = RefPicListX[cIdx]
여기서 함수 viewIDX(refpic) 은 참조 화상 refpic의 view _ idx를 반환하며, 변수 currViewIDX는 현재 슬라이스의 view_idx와 동일하고, 함수 LongTermPicNumF(RefPicListX[cIdx]) 는 다음과 같이 도출될 수도 있다:
Figure 112014019790353-pct00040
참조 화상 RefPicListX[cIdx] 가 "장기 참조를 위해 사용됨" 으로 마킹된다면, LongTermPicNumF(RefPicListX[cIdx]) 는 화상 RefPicListX[cIdx]의 LongTermPicNum이다.
Figure 112014019790353-pct00041
그렇지 않으면 (참조 화상 RefPicListX[cIdx] 가 "장기 참조를 위해 사용됨" 으로 마킹되지 않으면), LongTermPicNumF(RefPicListX[cIdx]) 는 2 * (MaxLongTermFrameIdx + 1) 과 동일하다.
일 예에서, 하위절 6.4.2.3는 아래에서 언급되며, 그것은 뷰 간 예측 참조들을 위한 참조 화상 목록의 수정 프로세스를 포함한다.
Figure 112014019790353-pct00042
이 프로세스에 대한 입력들은 참조 화상 목록 RefPicListX와 이 목록 속으로의 인덱스 refIdxLX 이다 (X가 0 또는 1).
Figure 112014019790353-pct00043
이 프로세스의 출력들은 수정된 참조 화상 목록 RefPicListX와 증분형 인덱스 refIdxLX이다 (X가 0 또는 1).
Figure 112014019790353-pct00044
currVOIdx는 현재 슬라이스의 변수 VOIdx라고 하자. 변수 maxViewIdx는 num__ref_views[currVOIdx]와 동일하게 설정된다.
Figure 112014019790353-pct00045
변수 picInterViewIdxLX는 다음과 같이 도출된다:
Figure 112014019790353-pct00046
modification_of_pic_nums_idc가 4와 같으면,
if(picInterViewIdxLXPred - (abs_diff_inter_view_minus1 + 1) < 0)
picInterViewIdxLX = picInterViewIdxLXPred - (abs_diff_
inter_view_ minus1 + 1) + maxViewIdx (H-6)
else
picInterViewIdxLX = picInterViewIdxLXPred -
(abs_diff_inter_view_minus1 + 1)
Figure 112014019790353-pct00047
그렇지 않으면 (modification_of_pic_nums_idc 가 5와 같다면),
if(picInterViewIdxLXPred + (abs_diff_inter_view_minus1 + 1)
>= maxViewIdx)
picInterViewIdxLX = picInterViewIdxLXPred
+ (abs_diff_inter_view_minus1 + 1) - maxViewIdx (H-7)
else
picInterViewIdxLX = picInterViewIdxLXPred +
(abs_diff_inter_view_minus1 + 1)
여기서 picInterViewIdxLXPred는 변수 picInterViewIdxLX에 대한 예측 값이다. 이 하위절에서 특정된 프로세스가 슬라이스의 RefPicList0 또는 RefPicList1에 대해 처음 호출되는 경우 (다시 말하면, ref_pic_list_modification() 신택스에서 4 또는 5인 modification_of_pic_nums_idc의 처음 발생에 대해), picInterViewIdxL0Pred와 picInterViewIdxL1Pred는 -1과 동일하게 초기 설정될 수도 있다. picInterViewIdxLX의 각각의 할당 후, picInterViewIdxLX의 값이 picInterViewIdxLXPred에 할당된다.
비트스트림은 0과 동일한 picInterViewIdxLX로 나타나게 되거나 또는 maxViewIdx보다 더 큰 picInterViewIdxLX로 나타나게 되는 데이터를 포함하지 않을 수도 있다. 변수 targetViewIDX은 다음과 같이 도출될 수도 있다:
targetViewIDX = ref_view_idx[currVOIdx][picInterViewIdxLX] (H-8)
다음의 프로시저는 picInterViewIdxLX와 동일한 뷰 간 참조 인덱스를 갖는 뷰 간 예측 참조를 인덱스 포지션 refIdxLX에 배치하고 임의의 다른 나머지 화상들의 포지션을 목록에서 뒤로 시프트시키도록 다음과 같이 수행될 수도 있다:
for(cIdx = num_ref_idx_lX_active_minus1 + 1; cIdx > refIdxLX; cIdx- -)
RefPicListX[cIdx] = RefPicListX[cIdx - 1]
RefPicListX[refIdxLX++] = targetViewIDX와 동일한 view_idx를 갖는
뷰 간 예측 참조
nIdx = refIdxLX
for(cIdx = refIdxLX; cIdx <= num_ref_idx_lX_active_minus1 + 1;
cIdx++) (H-10)
if(viewIDX (RefPicListX[cIdx]) != targetViewIDX||
PictureOrderCnt (RefPicListX[cIdx]) != currPOC)
RefPicListX[nIdx++] = RefPicListX[cIdx]
여기서 함수 viewIDX (refpic) 은 참조 화상 refpic의 view_idx를 반환하며, 변수 currViewIDX는 현재 슬라이스의 view_idx와 동일하고, 변수 currPOC는 현재 슬라이스의 PicOrderCnt()와 동일하다.
일부 예들에서, 디폴트 프로세스는 참조 화상 목록들을 조합하는데 사용될 수도 있다. 예를 들어, 디폴트 참조 화상 목록 조합 프로세스는 (RefPicList0 또는 RefPicList1 중 하나로부터의) 참조 화상이 조합된 목록에 추가되어 있는 제 1 발생의 참조 화상인지를 점검하는 단계를 포함할 수도 있다. 이러한 점검을 수행하기 위해, 비디오 코더 (이를테면 비디오 인코더 (20) 또는 비디오 디코더 (30)) 는, 현재 화상 CurrPic과 뷰 간 참조 화상들 및 시간적 참조 화상들을 포함하는 목록에서의 임의의 화상 PicA를 비교할 수도 있다. 이 비교는 다음과 같이 행해질 수 있다.
if(ViewIDX (CurrPic) == ViewIDX (PicA) && POC (CurrPic) == POC (PicA))
return true;
else
return false;
도 5a는 본 개시물의 기법들 중 하나 이상의 구현예에서 사용될 수도 있는 비트스트림 구조 (100) 의 일 예를 도시하는 개념도이다. 비트스트림 (100) 은 비디오 코딩 표준, 이를테면 HEVC 표준을 준수할 수도 있다. 더구나, 일부 예들에서, 비트스트림 (100) 은 비디오 코딩 표준에 대한 MVC 확장을 준수할 수도 있다.
도 5a에 도시된 예에서, 비트스트림 (100) 은 복수의 액세스 단위들 (102-1 내지 102-N) (총칭하여, 액세스 단위들 (102)) 을 포함한다. 위에서 지적했듯이, 액세스 단위들 (102) 은 (뷰들이라고 지칭되는) 뷰 컴포넌트들의 세트, 이를테면 뷰들 (104-1 내지 104-M) (총칭하여, 뷰들 (104)) 을 포함할 수도 있다. 대체로, 액세스 단위들 (102) 은 공통의 시간적 인스턴스에 대한 모든 데이터, 예컨대, 뷰 당 하나의 뷰 컴포넌트에 대한 데이터를 포함한다. 일부 예들에서, 액세스 단위들 (102) 의 각각의 액세스 단위는 동일한 수의 뷰들 (104) 을 포함한다. 액세스 단위들 (102) 의 각각의 액세스 단위를 디코딩하는 것은 뷰 당 디코딩된 화상이 하나가 되게 할 수도 있다. 액세스 단위들 (102) 은 3차원 비디오 플레이백을 랜더링하는데 사용될 수도 있는 인코딩된 비디오 데이터를 포함할 수도 있다.
도 5b는 도 5a의 비트스트림 (100) 의 구조에 포함될 수도 있는 뷰 (104-N) 의 일 예를 도시하는 개념도이다. 대체로, 액세스 단위에서의 각각의 뷰 컴포넌트 (이를테면 액세스 단위 (102-N) 에서의 뷰들 (104)) 은 비디오 인코더/디코더 (codec) 계층 (VCL) NAL 단위들의 세트를 포함한다. 다시 말하면, 도 5b에 도시된 예에서, 뷰 (104-N) 는 NAL 단위들 (106-1 내지 106-3) 을 특정 형태 및 순서로 포함한다. 보통, 뷰 컴포넌트들은 각각의 액세스 단위에서 동일한 순서로 배열되어서, 각각의 액세스 단위에서의 k번째 뷰 컴포넌트는 동일한 뷰에 대응한다. 다른 예들에서, 뷰 (104-N) 는 다른 수들의 NAL 단위들을 포함할 수도 있다.
도 5c는 도 5b에 도시된 NAL 단위들 (106) 에 구조적으로 유사할 수도 있는 일 예의 NAL 단위 (108) 를 예시하는 개념도이다. NAL 단위 (108) 는 일반적으로 NAL 단위 헤더 (110) 및 패이로드 (112) 를 포함한다. 덧붙여서, NAL 단위 헤더 (110) 는 제 1 부분 (114) 과 MVC/AVC 확장에 부합할 수도 있는 NAL 단위 헤더 확장부 (116) 를 포함한다.
예를 들어, 제 1 부분 (114) 은 ref_idc 엘리먼트 및 NAL 단위 유형 엘리먼트를 포함한다. ref_idc 엘리먼트는 NAL 단위가 다른 NAL 단위들에 대한 참조로서 사용되는지의 여부를 나타낼 수도 있다. 예를 들어, 00의 ref_idc 값은 NALU의 컨텐츠가 (미래의 참조를 위해 사용될 수 있는) 저장된 화상들을 복원하는데 사용되지 않는다는 것을 나타낼 수도 있다. 그런 NALU들은 참조 화상들의 무결성을 위태롭게 하는 일 없이 버려질 수 있다. 00 보다 높은 값들은 NALU의 디코딩이 참조 화상들의 무결성을 유지하는데 필요하다는 것을 나타낼 수도 있다. NAL 단위 유형 엘리먼트는 NAL 단위 (108) 의 패킷들의 유형을 나타낼 수도 있다.
NAL 단위 헤더 확장부 (116) 는 일반적으로 IDR 플래그 (IDR), 우선순위 ID (priority_id), 뷰 ID (view_id), 시간적 ID (temporal_id), 앵커 화상 플래그 (APF), 및 뷰 간 플래그 (IVF) 를 포함한다. 위에서 도 1에 관해 설명된 바와 같이, IDR 플래그는 NAL 단위 (108) 가 인스턴트 디코드 리프레시 (IDR) 에 속하는지 또는 폐쇄형 GOP 랜덤 액세스 포인트로서 사용될 수 있는 뷰-IDR (V-IDR) 화상에 속하는지를 나타낼 수도 있다. priority_id는 (예컨대, 단일 패스 적응 프로세스와 같이) 비디오 디코더 (30) 및/또는 디스플레이 디바이스 (32) 의 네트워크 조건들 및/또는 능력들을 변경시키는 것에 따라 비트스트림을 가변시키는 비트스트림 적응 프로세스와 함께 사용될 수도 있다. view_id는 NAL 단위가 속하는 뷰에 대한 뷰 식별자를 나타내는데 이용될 수도 있다. temporal_id는 특정 프레임 레이트에 대응할 수도 있는 현재 NAL 단위의 시간적 레벨을 나타내는데 이용될 수도 있다. APF는 NAL 단위가 개방형 GOP 랜덤 액세스 포인트로서 사용될 수 있는 앵커 화상에 속하는지의 여부를 나타내는데 이용될 수도 있다. IVF는 NAL 단위가 다른 뷰들에서의 NAL 단위들에 대한 뷰 간 예측을 위해 사용되는지의 여부를 나타내는데 이용될 수도 있다.
위에서 논의된 바와 같이, MVC/AVC의 view_id는 10 비트 길이이고, 1000 개를 초과하는 상이한 뷰들을 고유하게 식별하는데 사용될 수도 있다. 그러나 일반적으로, 실제로 인코딩되는 뷰들의 수는 통상 1000 개의 뷰들보다 몇 (several) 자리수 적다. 예를 들어, 도 4는 주어진 MVC 멀티미디어 컨텐츠에 대해 8 개의 뷰들을 포함한다. NAL 단위 헤더 (110) 가 모든 NAL 단위에 포함되므로, view_id는 상당한 양의 비트스트림을 소비할 수도 있다. 본 개시물의 양태들은, 도 5d에 도시된 예에 관해 설명된 바와 같이, NAL 단위 헤더로부터 view_id를 제거하며, 이에 의해 MVC 비디오 데이터를 코딩하는데 필요한 비트들의 수를 감소시킬 수도 있다.
도 5d는 도 5b에 도시된 NAL 단위들 (106) 에 구조적으로 유사할 수도 있는 일 예의 NAL 단위 (120) 를 예시하는 개념도이다. 도 5d에 도시된 예는 본 개시물의 양태들에 따른 일 예의 NAL 단위를 도시한다. 예를 들어, NAL 단위 (120) 는 NAL 단위 헤더 (122) 및 패이로드 (124) 를 포함한다. 덧붙여서, NAL 단위 헤더는 제 1 부분 (126) 및 NAL 단위 헤더 확장부 (128) 를 포함한다.
도 5c에 도시된 예에서와 같이, 제 1 부분 (126) 은 ref_idc 엘리먼트 및 NAL 단위 유형 엘리먼트를 포함한다. ref_idc 엘리먼트는 NAL 단위가 다른 NAL 단위들에 대한 참조로서 사용되는지의 여부를 나타낼 수도 있다. NAL 단위 유형 엘리먼트는 NAL 단위 (120) 의 패킷들의 유형을 나타낼 수도 있다.
그러나 도 5d의 예에서 도시된 바와 같이, view_id를 NAL 단위 헤더 확장부 (128) 에 포함시키기 보다는, 뷰 순서 인덱스가 NAL 단위 헤더 (122) 의 부분으로서 시그널링된다. 다시 말하면, 본 개시물의 양태들에 따르면, NAL 단위 헤더 (122) 의 뷰 순서 인덱스는 NAL 단위 헤더 (110) (도 5c) 에서 시그널링되는 view_id를 대체할 수도 있다. 위에서 지적했듯이, 뷰 순서는 일반적으로 액세스 단위, 이를테면 액세스 단위들 (102) (도 5a) 중 하나에서의 뷰들의 순서를 서술한다. 뷰 순서 인덱스는 액세스 단위의 뷰 순서에서 특정 뷰, 이를테면 뷰들 (104) 중 하나를 나타낼 수도 있다. 다시 말하면, 뷰 순서 인덱스는 액세스 단위의 대응하는 뷰 컴포넌트의 디코딩 순서를 서술할 수도 있다.
확장부 (128) 에 대한 일 예의 NAL 단위 헤더 신택스 테이블은 아래의 표 12에서 제공된다:
표 12 - NAL 단위 헤더 MVC 확장
Figure 112014019790353-pct00048
도 13에 보인 예에서, 0과 동일한 non_idr_flag는 현재 액세스 단위가 IDR 액세스 단위라는 것을 나타낼 수도 있다. non_idr_flag의 값은 액세스 단위의 모든 VCL NAL 단위들에 대해 동일할 수도 있다. 몇몇 경우들에서, non_idr_flag는 5와 동일한 nal_unit_type을 가지는 기본 뷰 NAL 단위에 대해 0이 되도록 유추될 수도 있다. 덧붙여서, non_idr_flag는 1과 동일한 nal_unit_type을 가지는 기본 뷰 NAL 단위에 대해 1이 되도록 유추될 수도 있다. non_idr_flag가 존재하는 NAL 단위들에 대해, 변수 IdrPicFlag는 non_idr_flag가 0인 경우에 1과 동일하게 플래그를 설정하고 non_idr_flag가 1인 경우에 0과 동일하게 플래그를 설정함으로써 수정될 수도 있다.
덧붙여서, 1과 같은 anchor_pic_flag는 현재 액세스 단위가 앵커 액세스 단위임을 특정할 수도 있다. 몇몇 경우들에서, anchor_pic_flag는 1과 같은 nal_unit_type을 가지는 기본 뷰 NAL 단위에 대해 1이 될 것이라고 유추될 수도 있고, 4와 같은 nal_unit_type을 가지는 기본 뷰 NAL 단위에 대해 1이 될 것이라고 유추될 수도 있다 (Clean Decoding Refresh).
view_idx는 NAL 단위에 대한 뷰 순서 인덱스를 특정할 수도 있다. 대체로, view_idx의 동일한 값을 갖는 NAL 단위들은 동일한 뷰에 속한다. 20과 동일한 NAL 단위 유형은 기본 뷰에 있지 않은 뷰 컴포넌트들에 대한 NAL 단위 유형을 나타내는데 이용될 수 있다.
표 12의 예에서 도시된 바와 같이, 도 5c에 도시된 예와는 대조적으로, priority_id, temporal_id, 및 inter_view_flag는 제거되었고, view_id는 view_idx에 의해 대체되었다. 일부 예들에서, inter_view_flag는, 아래의 표 13의 예의 NAL 단위 헤더에서 도시된 바와 같이, 확장부 (128) 밖으로 이동될 수도 있다:
표 13 - 기본 뷰에 대한 NAL 단위 헤더
Figure 112014019790353-pct00049
표 13에 도시된 예에서, 0과 같은 inter_view_flag 엘리먼트는 현재 뷰 컴포넌트가 현재 액세스 단위에서 임의의 다른 뷰 컴포넌트에 의해 뷰 간 예측을 위해 사용되지 않는다는 것을 나타낼 수도 있다. 1과 같은 inter_view_flag는 현재 뷰 컴포넌트가 현재 액세스 단위에서 다른 뷰 컴포넌트들에 의해 뷰 간 예측을 위해 사용될 수도 있다는 것을 나타낼 수도 있다. inter_view_flag의 값은 뷰 컴포넌트의 모든 VCL NAL 단위들에 대해 동일할 수도 있다.
덧붙여서, 표 13에 도시된 예에서, nal_unit_type이 1 또는 5와 같은 경우, 뷰 순서 인덱스는 0으로 유추될 수도 있고, 이 뷰 컴포넌트의 view_id는 view_id[0]이다. 그런 예에서 NAL 단위 헤더 확장부는 필요하지 않을 수도 있다. 다시 말하면, 단지 2 개의 뷰들을 포함하는 MVC 스트림에서 (다시 말하면, 스테레오 비디오에 대해), 뷰 순서 인덱스는 필요하지 않을 수도 있는데, 디코더 (이를테면 비디오 디코더 (30)) 가 항상 제 2 뷰 (예컨대, 뷰 1) 를 디코딩하기 전에 제 1 뷰 (예컨대, 뷰 0) 를 디코딩해서이다.
일부 예들에서, 있을 수도 있는 접두 NAL 단위는 기본 뷰 (예컨대, 뷰 0) 에 대해 더 이상 필요하지 않을 수도 있다. 예를 들어, 기본 뷰에 대한 접두 NAL 단위는 더 이상 필요하지 않을 수도 있는데, 뷰 순서 인덱스가 항상 기본 뷰에 대해 0이고, 기본 뷰의 시간적 포지션이 temporal_id를 사용하여 결정될 수 있기 때문이다. 따라서, NAL 단위 헤더에서의 temporal_id는 특정 뷰 컴포넌트를 특정 뷰와 그리고 적절한 시간적 로케이션과 연관시키는데 필요한 정보의 모두를 제공한다.
표 14는 NAL 단위 헤더 확장부를 말하는 다른 NAL 단위 헤더를 포함한다:
표 14 - NAL 단위 헤더
Figure 112014019790353-pct00050
표 14에 도시된 예에서, 0과 같은 inter_view_flag는 현재 뷰 컴포넌트가 현재 액세스 단위에서 임의의 다른 뷰 컴포넌트에 의해 뷰 간 예측을 위해 사용되지 않는다는 것을 나타낼 수도 있다. 1과 같은 inter_view_flag는 현재 뷰 컴포넌트가 현재 액세스 단위에서 다른 뷰 컴포넌트들에 의해 뷰 간 예측을 위해 사용될 수도 있다는 것을 나타낼 수도 있다. inter_view_flag의 값은 뷰 컴포넌트의 모든 VCL NAL 단위들에 대해 동일할 수도 있다. 덧붙여서, nal_unit_header_mvc_extension은 확장부, 이를테면 위의 표 12에서 도시된 것을 의미한다.
본 개시물의 다른 양태들에 따르면, MVC 비트스트림에 대한 NAL 단위 헤더는 아래의 표 15에 따라 설계될 수도 있다:
표 15 - NAL 단위 헤더
Figure 112014019790353-pct00051
표 15에 도시된 예에서, NAL 단위 헤더의 형성은, 예를 들어, nal_unit_type에 의존할 수도 있다. 다시 말하면, 예를 들어, nal_unit_type이 20과 같고, MVC NAL 단위이면, NAL 단위는 위에서 설명된 non_idr_flag, anchor_pic_flag, 및 view_idx를 포함할 수도 있다. 따라서, 스테레오 프로파일에 대해, NAL 단위 헤더는 아래의 표 16에 따라 설계될 수도 있다:
표 16 - NAL 단위 헤더
Figure 112014019790353-pct00052
또 다른 예에서, 본 개시물의 다른 양태들에 따르면, MVC 비트스트림에 대한 NAL 단위 헤더는 아래의 표 17에 따라 설계될 수도 있다:
표 17 - NAL 단위 헤더
Figure 112014019790353-pct00053
NAL 단위 헤더의 특정 구성에 무관하게, 도 4에 관해 위에서 설명된 바와 같이, 시퀀스 파라미터 세트 (SPS) 는 뷰들에 대한 view_id들 및 뷰들에 대한 뷰 순서 인덱스들 사이에 관계를 제공할 수도 있다. 따라서, 뷰 순서 인덱스와 SPS에서의 데이터를 사용하여, MVC/AVC의 10 비트 view_id는 NAL 단위 헤더에서 뷰 순서 인덱스에 의해 대체될 수도 있으며, 이는 MVC/AVC 체계를 뛰어넘는 비트 절약을 이끌 수도 있다. 뷰 순서 인덱스는 비트스트림의 뷰 컴포넌트를 식별하기 위해 POC 값 또는 프레임 값 (또는 프레임 번호) 과 함께 사용될 수 있다. 예를 들어, 도 4에 도시된 뷰 컴포넌트들의 그리드를 카티시안 그리드 (Cartesian grid) 에 관련시키면, 뷰 순서 인덱스는 특정 뷰 컴포넌트의 y-좌표 (예컨대, S0, S1, S2, ...) 를 제공할 수도 있는 반면, POC 값 또는 프레임 값은 특정 뷰 컴포넌트의 x-좌표 (예컨대, T0, T1, T2, ...) 를 제공할 수도 있다. 이런 식으로 뷰 컴포넌트들을 식별하는 것은, 예를 들어, 참조 화상 목록에서 구현될 수도 있다.
본 개시물의 다른 양태들에 따르면, MVC 비트스트림의 각각의 뷰에 대한 뷰 의존성은, 뷰 컴포넌트들이 앵커 화상들 및 비-앵커 화상들을 위한 것인지의 여부에 무관하게, 모든 뷰 컴포넌트들에 대해 공통으로 시그널링될 수도 있다. 일부 예들에서, SPS는, NAL 단위 헤더에서의 정보에 의존하기보다는, 뷰 컴포넌트들에 대한 뷰 의존성들을 포함할 수도 있다. 이런 방식으로, NAL 단위 헤더 확장부 (128) 에서 사용된 anchor_pic_flag는 제거될 수도 있다.
이 예에서, 시그널링된 의존성 뷰의 뷰 컴포넌트는, 도 4에 관해 위에서 설명된 바와 같이, 목록 0 및 목록 1 양쪽 모두에서 참조 화상으로서 사용될 수 있다. 덧붙여서, 목록 0 및 목록 1에 대한 참조 화상 목록 구축 및 참조 화상 목록 재순서화는 또한 앵커 화상들 및 비-앵커 화상들에 대한 공통 시그널링에 기초할 수도 있다. 일부 예들에서, 시퀀스 레벨, 보충 향상 정보 (SEI) 메시지는 비-앵커 화상이 앵커 화상과는 상이한 뷰 의존성을 가지는 경우를 나타내는데 이용될 수도 있다.
본 개시물의 다른 양태들에 따르면, priority_id를 NAL 단위 헤더에서 시그널링하기보다, 비디오 인코더 (20) 는 SPS에서 priority_id 값들을 제공할 수도 있다. 위에서 논의된 바와 같이, 일부 예들에서, 라우터 (36) 는 특정한 뷰들을 필터링하기 위해 SPS priority_id 값들을 사용할 수도 있다. 다시 말하면, 라우터 (36) 는 전체 비트스트림을 수신하지만, 목적지 디바이스 (14) 에 의해 특정된 우선순위 값 이하에서의 priority_id 값들을 갖는 NAL 단위들을 포함하는 서브-비트스트림을 추출하고 그 서브-비트스트림을 목적지 디바이스로 포워딩할 수도 있다.
덧붙여서, 본 개시물의 양태들에 따르면, 우선순위 적응 메시지가 적응을 수행하기 위해 사용될 수도 있다. 예를 들어, 아래의 표 18은 일 예의 우선순위 적응 SEI 메시지를 보여준다:
표 18 - 우선순위 적응 SEI 메시지
Figure 112014019790353-pct00054
표 18에 도시된 예에서, num_temporal_id_minus1 plus 1 은 MVC 비트스트림의 NAL 단위들의 최고 temporal_id를 나타낼 수도 있다. 1과 같은 same_priority_id_flag[i][j] 엘리먼트는 temporal_id i 및 뷰 순서 인덱스 j를 갖는 NAL 단위들의 priority_id가, j>0인 경우에 priority_id[i][j-1], 또는 j=0 및 i>0인 경우에 priority_id[i-1][j]일 수도 있는 이전에 시그널링된 priority_id와 동일하다는 것을 나타낼 수도 있다. priority_id[i][j] 엘리먼트는 temporal_id가 i이고 뷰 순서 인덱스가 j인 NAL 단위들에 대한 우선순위 식별자를 특정할 수도 있다. priority_id의 낮은 값은 높은 우선순위를 나타낼 수도 있다.
적응은 NAL 단위 헤더와 SEI 메시지, 이를테면 표 18에 보인 것에 기초할 수도 있다. 예를 들어, 적응 프로세스는 NAL 단위의 temporal_id 및 view_idx가 TID 및 VIDX이고, 타겟 priority_id는 PID라rh 가정할 수도 있다. 이 예에서, priority_id[TID][VIDX]가 PID보다 크지 않으면, NAL 단위는 유지되고, 그렇지 않으면, NAL 단위는 필터링된다.
예가 SEI 메시지에서 우선순위 정보를 설명하고 있지만, 다른 예들에서, SEI 메시지에서 시그널링되고 있는 것으로서 서술된 정보는 MVC SPS와 같은 파라미터 세트의 옵션적인 부분으로서 시그널링될 수도 있다.
도 6은 멀티뷰 비트스트림을 인코딩하는 일 예의 방법을 도시하는 흐름도이다. 도 6에 보인 예는 대체로 비디오 인코더 (20) (도 1 및 도 2) 에 의해 수행되고 있는 것으로서 설명된다. 그러나, 도 6에 관해 설명되는 프로세스는 다양한 다른 프로세서들, 프로세싱 유닛들, 인코더/디코더들 (CODECs) 과 같은 하드웨어 기반 코딩 유닛들 등에 의해 실행될 수도 있다는 것이 이해되어야 한다.
도 6의 예에서, 비디오 인코더 (20) 는 복수의 뷰 컴포넌트들에 대한 비디오 데이터를 인코딩할 수도 있다 (140). 예를 들어, 비디오 인코더 (20) 는, 각각의 뷰가 공통 장면의 대응하는 비디오 데이터가 캡처되었던 상이한 관점, 또는 각도에 대응하는, 복수의 상이한 뷰들을 인코딩할 수도 있다. 위에서 지적했듯이, 특정 뷰의 특정 화상은 뷰 컴포넌트라고 지칭된다. 다시 말하면, 뷰의 뷰 컴포넌트는 뷰의 특정한 시간적 인스턴스에 대응한다.
비디오 인코더 (20) 는 또한 뷰 컴포넌트들의 디코딩 순서의 표시를 포함하는 NAL 단위들을 형성할 수도 있다 (142). 예를 들어, 도 5a 내지 도 5d에 관해 설명된 바와 같이, 본 개시물의 양태들에 따르면, 비디오 인코더 (20) 는 뷰 컴포넌트들의 디코딩 순서의 표시를 제공하는 뷰 순서 인덱스 (view_idx) 의 표시를 NAL 단위 헤더들에 제공할 수도 있다. 대체로, view_idx의 동일한 값을 갖는 NAL 단위들은 동일한 뷰에 속한다.
비디오 인코더 (20) 는 또한, NAL 단위들과는 별개로, 뷰 식별자들 및 디코딩 순서 사이의 관계들의 표시를 제공하는 정보를 제공할 수도 있다 (144). 일부 예들에서, 비디오 인코더 (20) 는, 뷰들에 대한 뷰 식별자들 및 뷰들에 대한 뷰 순서 인덱스들 사이의 관계를 나타내는 파라미터 세트, 이를테면 SPS를 생성할 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 뷰 순서 인덱스들 및 뷰 식별자들 사이의 관계를 상이한 방식으로 나타낼 수도 있다.
뷰 순서 인덱스 및 별도의 정보를 사용하여, 비디오 인코더 (20) 는 비트 절약을 제공할 수도 있는 뷰 순서 인덱스에 의해 NAL 단위 헤드에 통상 포함되는 10 비트 뷰 식별자를 대체할 수도 있다. 예를 들어, 뷰 순서 인덱스는 뷰 식별자보다 상당히 적은 비트들을 포함할 수도 있다. 비디오 인코더 (20) 가 뷰 순서 인덱스 및 뷰 식별자들 사이의 관계를, 예컨대, SPS에서 시그널링해야만 하지만, NAL 단위 헤더들은 통상 그러한 시그널링보다 더 많은 비트들을 소비한다. NAL 단위 헤더에서의 뷰 식별자를 뷰 순서 인덱스로 대체하는 것은 NAL 단위 헤더들의 사이즈를 감소시키며, 이에 의해 NAL 단위 헤더에서 뷰 식별자를 코딩하는 것을 뛰어넘는 비트 절약을 달성할 수도 있다.
도 6에 관해 도시되고 설명된 단계들이 단지 하나의 예로서 제공된다는 것이 또한 이해되어야 한다. 다시 말하면, 도 6의 방법의 단계들은 도 6에 도시된 순서로 반드시 수행될 필요는 없고, 더 적은, 부가적인, 또는 대안적 단계들이 수행될 수도 있다.
도 7은 멀티뷰 비트스트림을 디코딩하는 일 예의 방법을 도시하는 흐름도이다. 도 7에 보인 예는 대체로 비디오 디코더 (30) (도 1 및 도 3) 에 의해 수행되고 있는 것으로서 설명된다. 그러나, 도 7에 관해 설명되는 프로세스는 다양한 다른 프로세서들, 프로세싱 유닛들, 인코더/디코더들 (CODECs) 과 같은 하드웨어 기반 코딩 유닛들 등에 의해 실행될 수도 있다는 것이 이해되어야 한다.
도 7의 예에서, 비디오 디코더 (30) 는 각각의 뷰 컴포넌트에 대해 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 정보를 포함하는 하나 이상의 NAL 단위들을 수신할 수도 있다 (150). 본 개시물의 양태들에 따르면, 도 6에 관해 설명된 바와 같이, 개별 뷰 컴포넌트들의 디코딩 순서는 뷰 순서 인덱스를 사용하여 나타내어질 수도 있다. 따라서, 비디오 디코더 (30) 는 뷰 컴포넌트들의 디코딩 순서의 표시를 제공하는 뷰 순서 인덱스 (view_idx) 의 표시를 NAL 단위 헤더들에서 제공할 수도 있다. 대체로, view_idx의 동일한 값을 갖는 NAL 단위들은 동일한 뷰에 속한다.
비디오 디코더 (30) 는 또한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 수신할 수도 있다 (152). 일부 예들에서, 비디오 디코더 (30) 는, 뷰들에 대한 뷰 식별자들 및 뷰들에 대한 뷰 순서 인덱스들 사이의 관계를 나타내는 파라미터 세트, 이를테면 SPS를 수신할 수도 있다. 다른 예들에서, 비디오 디코더 (30) 는 뷰 순서 인덱스들 및 뷰 식별자들 사이의 관계의 상이한 표시를 수신할 수도 있다.
비디오 디코더 (30) 는 또한 수신된 정보를 사용하여 멀티뷰 비디오 데이터를 디코딩할 수도 있다. 다시 말하면, 예를 들어, 비디오 디코더는 뷰들의 각각을 디코딩하고, 수신된 별도의 정보를 사용하여 적절한 뷰 식별자를 결정할 수도 있다. 비디오 디코더 (30) 는 그 다음에 뷰들을 사용하여, 예컨대, 디스플레이 디바이스 (32) 상에 3D 표현을 제시할 수도 있다.
도 7에 관해 도시되고 설명된 단계들은 단지 하나의 예로서 제공된다는 것이 또한 이해되어야 한다. 다시 말하면, 도 7의 방법의 단계들은 도 7에 도시된 순서로 반드시 수행될 필요는 없고, 더 적은, 부가적인, 또는 대안적 단계들이 수행될 수도 있다.
도 8은 멀티뷰 비트스트림을 인코딩하는 일 예의 방법을 도시하는 흐름도이다. 도 8에 보인 예는 대체로 비디오 인코더 (20) (도 1 및 도 2) 에 의해 수행되고 있는 것으로서 설명된다. 다른 예들에서, 도 8에 관해 설명되는 프로세스는 다양한 다른 프로세서들, 프로세싱 유닛들, 인코더/디코더들 (CODECs) 과 같은 하드웨어 기반 코딩 유닛들 등에 의해 실행될 수도 있다는 것이 이해되어야 한다. 도 8의 예에서, 비디오 인코더 (20) 는, 제 1 뷰의 임의의 뷰 컴포넌트에 대해, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 결정할 수도 있다 (160). 예를 들어, 위에서 지적했듯이, 뷰 의존성들은, 특정 액세스 단위의 특정 뷰 컴포넌트가 앵커 화상 (랜덤 액세스 포인트) 인지의 여부, 또는 특정 액세스 단위의 특정 뷰 컴포넌트가 비-앵커 화상인지의 여부에 무관하게, 뷰의 모든 뷰 컴포넌트들에 대해 동일한 방식으로 시그널링될 수도 있다. 몇몇 경우들에서, 참조 뷰 정보는 참조 뷰 인덱스 값들 (참조 뷰들에 대한 뷰 순서 인덱스 값들) 을 사용하여 뷰 의존성들을 나타낼 수도 있다. 다시 말하면, 참조 뷰 정보는 각각의 참조 뷰에 대해 액세스 단위에서 참조 뷰의 디코딩 순서를 나타낼 수도 있는 참조 뷰 인덱스 값들을 포함할 수도 있다. 다른 예들에서, 참조 뷰 정보는, 특정 참조 뷰의 뷰 순서 인덱스 및 현재 인코딩되고 있는 뷰 컴포넌트의 뷰 순서 인덱스 사이의 차이를 나타낼 수도 있는 참조 뷰 인덱스 차이 값들을 포함할 수도 있다. 뷰 순서 인덱스 값들이 사용되는 예들에서, 위에서 설명된 바와 같이, 비디오 인코더 (20) 는 또한 뷰 순서 인덱스 값들 및 뷰들의 뷰 식별자들 사이의 관계들을 나타내는 부가적인 정보를 제공할 수도 있다.
비디오 인코더 (20) 는 또한, 제 1 뷰에서의 액세스 단위로 제 1 뷰 컴포넌트를 인코딩하는 경우, 제 1 뷰 컴포넌트가 속하는 액세스 단위, 참조 뷰 정보, 및 참조 뷰 정보에 의해 나타낸 참조 뷰들의 수에 기초하여, 참조 화상 목록에 하나 이상의 참조 후보들을 포함시킬 수도 있다 (162). 예를 들어, 위에서 설명된 바와 같이, 비디오 인코더 (20) 는 제 1 뷰 컴포넌트를 예측하기 위한 후보 참조 화상들 (참조 화상들이 최종 참조 화상 목록으로부터 제거될 수도 있기 때문에, "후보" 참조 화상들임) 을 포함하는 참조 화상 목록을 구축할 수도 있다. 비디오 인코더 (20) 는 제 1 뷰 컴포넌트와 동일한 액세스 단위에 속하는 (예컨대, 동일한 시간적 인스턴스를 갖는) 참조 뷰 정보에 의해 나타낸 참조 뷰들의 각각에서 뷰 간 후보 참조 화상들을 식별할 수도 있다. 비디오 인코더 (20) 는 식별된 뷰 컴포넌트들의 모두를 참조 화상 목록에 추가할 수도 있다.
따라서, 도 8에 보인 예에서, 비디오 인코더 (20) 는 현재 인코딩되고 있는 뷰 컴포넌트가 앵커 화상인지 또는 비-앵커 화상인지에 관계없이 참조 화상 목록을 구축할 수도 있다. 더구나, 비디오 인코더 (20) 는 후보 참조 화상들이 목록 0에 포함되는지 또는 목록 1에 포함되는지에 관계없이 참조 화상 목록을 구축할 수도 있다. 다시 말하면, 비디오 인코더 (20) 는 동일한 참조 뷰 정보를 사용하여 참조 화상 목록 0 또는 참조 화상 목록 1을 구축할 수도 있다. 덧붙여서, 비디오 인코더 (20) 는 식별된 참조 후보들을 목록 0 또는 목록 1 양쪽 모두에 똑같이 추가할 수도 있다.
비디오 인코더 (20) 는 또한 참조 화상 목록에서의 하나 이상의 참조 후보들에 기초하여 제 1 뷰 컴포넌트를 인코딩할 수도 있다 (164). 예를 들어, 비디오 인코더 (20) 는 참조 화상 목록에서 뷰 컴포넌트를 식별하며, 식별된 뷰 컴포넌트를 사용하여 잔차 데이터를 생성하고, 도 2에 관해 설명된 바와 같이 잔차 데이터를 인코딩할 수도 있다. 비디오 인코더 (20) 는 또한 인코딩된 비트스트림에서, 인코딩된 제 1 뷰 컴포넌트에 결정된 참조 뷰 정보를 제공할 수도 있다 (166).
도 8에 관해 도시되고 설명된 단계들은 단지 하나의 예로서 제공된다는 것이 이해되어야 한다. 다시 말하면, 도 8의 방법의 단계들은 도 8에 도시된 순서로 반드시 수행될 필요는 없고, 더 적은, 부가적인, 또는 대안적 단계들이 수행될 수도 있다.
도 9는 멀티뷰 비트스트림을 디코딩하는 일 예의 방법을 도시하는 흐름도이다. 도 9에 보인 예는 대체로 비디오 디코더 (30) (도 1 및 도 3) 에 의해 수행되고 있는 것으로서 설명된다. 다른 예들에서, 도 9에 관해 설명되는 프로세스는 다양한 다른 프로세서들, 프로세싱 유닛들, 인코더/디코더들 (CODECs) 과 같은 하드웨어 기반 코딩 유닛들 등에 의해 실행될 수도 있다는 것이 이해되어야 한다.
도 9에 보인 예에서, 비디오 디코더 (30) 는, 인코딩된 비트스트림으로부터 그리고 제 1 뷰의 임의의 뷰 컴포넌트에 대해, 제 1 뷰의 뷰 컴포넌트들을 예측하기 위한 하나 이상의 참조 뷰들을 나타내는 참조 뷰 정보를 획득할 수도 있다 (170). 예를 들어, 도 8에 관해 위에서 지적했듯이, 뷰 의존성들은, 특정 액세스 단위의 특정 뷰 컴포넌트가 앵커 화상 (랜덤 액세스 포인트) 인지의 여부, 또는 특정 액세스 단위의 특정 뷰 컴포넌트가 비-앵커 화상인지의 여부에 무관하게, 뷰의 모든 뷰 컴포넌트들에 대해 동일한 방식으로 시그널링될 수도 있다. 몇몇 경우들에서, 참조 뷰 정보는 참조 뷰 인덱스 값들 (참조 뷰들에 대한 뷰 순서 인덱스 값들) 을 사용하여 뷰 의존성들을 나타낼 수도 있다. 다시 말하면, 참조 뷰 정보는 각각의 참조 뷰에 대해 액세스 단위에서의 참조 뷰의 디코딩 순서를 나타낼 수도 있는 참조 뷰 인덱스 값들을 포함할 수도 있다. 다른 예들에서, 참조 뷰 정보는, 특정 참조 뷰의 뷰 순서 인덱스 및 현재 인코딩되고 있는 뷰 컴포넌트의 뷰 순서 인덱스 사이의 차이를 나타낼 수도 있는 참조 뷰 인덱스 차이 값들을 포함할 수도 있다. 뷰 순서 인덱스 값들이 사용되는 예들에서, 위에서 설명된 바와 같이, 비디오 디코더 (30) 는 또한 뷰 순서 인덱스 값들 및 뷰들의 뷰 식별자들 사이의 관계들을 나타내는 부가적인 정보를 인코딩된 비스트림으로부터 획득할 수도 있다. 이러한 정보는 시퀀스 레벨로부터 획득될 수도 있다.
비디오 디코더 (30) 는 또한, 제 1 뷰에서 액세스 단위로 제 1 뷰 컴포넌트를 디코딩하는 경우, 제 1 뷰 컴포넌트가 속하는 액세스 단위, 참조 뷰 정보, 및 참조 뷰 정보에 의해 나타낸 참조 뷰들의 수에 기초하여, 참조 화상 목록에 하나 이상의 참조 후보들을 포함시킬 수도 있다 (172). 예를 들어, 위에서 설명된 바와 같이, 비디오 디코더 (30) 는 제 1 뷰 컴포넌트를 예측하기 위한 후보 참조 화상들을 포함하는 참조 화상 목록을 구축할 수도 있다. 비디오 디코더 (30) 는 제 1 뷰 컴포넌트와 동일한 액세스 단위에 속하는 (예컨대, 동일한 시간적 인스턴스를 갖는) 참조 뷰 정보에 의해 나타낸 참조 뷰들의 각각에서 뷰 간 후보 참조 화상들을 식별할 수도 있다. 비디오 디코더 (30) 는 식별된 뷰 컴포넌트들의 모두를 참조 화상 목록에 추가할 수도 있다.
따라서, 도 9에 보인 예에서, 비디오 디코더 (30) 는 현재 인코딩되고 있는 뷰 컴포넌트가 앵커 화상인지 또는 비-앵커 화상인지에 관계없이 참조 화상 목록을 구축할 수도 있다. 더구나, 비디오 디코더 (30) 는 후보 참조 화상들이 목록 0에 포함되는지 또는 목록 1에 포함되는지에 관계없이 참조 화상 목록을 구축할 수도 있다. 다시 말하면, 비디오 디코더 (30) 는 인코딩된 비트스트림으로부터만 한번 획득될 수도 있는 동일한 참조 뷰 정보를 사용하여, 참조 화상 목록 0 또는 참조 화상 목록 1을 구축할 수도 있다. 덧붙여서, 비디오 디코더 (30) 는 식별된 참조 후보들을 목록 0 또는 목록 1 양쪽 모두에 똑같이 추가할 수도 있다.
비디오 디코더 (30) 는 또한 참조 화상 목록에서의 하나 이상의 참조 후보들에 기초하여 제 1 뷰 컴포넌트를 디코딩할 수도 있다 (174). 예를 들어, 비디오 디코더 (20) 는, 위에서 도 3에 관해 설명된 바와 같이, 참조 화상 목록에서 뷰 컴포넌트를 식별하며, 식별된 뷰 컴포넌트를 (인코딩된 비트스트림으로부터의) 디코딩된 잔차 데이터와 결합하여 뷰 컴포넌트를 생성할 수도 있다.
도 9에 관해 도시되고 설명된 단계들은 단지 하나의 예로서 제공된다는 것이 이해되어야 한다. 다시 말하면, 도 9의 방법의 단계들은 도 9에 도시된 순서로 반드시 수행될 필요는 없고, 더 적은, 부가적인, 또는 대안적 단계들이 수행될 수도 있다.
본 개시물에 관해 설명된 특정한 신택스 엘리먼트들에는 설명을 목적으로 예시적인 이름들이 제공되어 있지만, 본 개시물에서 설명되는 개념들은, 이름에 무관하게, 임의의 신택스 엘리먼트들에 적용된다는 것이 일반적으로 이해되어야 한다. 예를 들어, 특정 양태들이 "뷰 순서 인덱스", "view_order_index" 또는 "view_idx"를 언급하고 있지만, 이러한 신택스 엘리먼트에는 장래의 코딩 표준에서 대안적인 이름이 주어질 수도 있다는 것이 이해되어야 한다.
본 개시물의 특정한 기법들이 신흥 HEVC 표준에 관해 설명되었지만, 그 기법들은 임의의 특정한 코딩 표준으로 제한되지 않는다는 것이 이해되어야 한다. 다시 말하면, 그 기법들은, 위에서 설명된 바와 같이, 더 일반적으로는, 예를 들어, 더 짧은 그리고/또는 덜 복잡한 NAL 단위들 및 파라미터 세트들을 통해, 멀티뷰 비디오 코딩에서 코딩 효율을 달성하는 것에 관련된다.
예에 의존하여, 본원에서 설명된 방법들 중 임의의 것의 특정한 액트들 또는 이벤트들은 상이한 시퀀스로 수행될 수 있고, 부가되거나, 병합되거나, 또는 다 함께 제외될 수도 있다 (예컨대, 모든 설명된 액트들 또는 이벤트들이 방법을 실시하는데 필요한 것은 아니다) 는 것이 이해되어야 한다. 더구나, 특정한 예들에서, 액트들 또는 이벤트들은 순차적으로라기 보다는, 예컨대, 다중 스레드식 프로세싱, 인터럽트 프로세싱, 또는 다수의 프로세서들을 통하여 동시에 수행될 수도 있다. 덧붙여서, 본 개시물의 특정 양태들이 명료함을 위해 단일 모듈 또는 유닛에 의해 수행되는 것으로 설명되어 있지만, 본 개시물의 기법들은 비디오 코더에 연관된 유닛들 또는 모듈들의 조합에 의해 수행될 수도 있다는 것이 이해되어야 한다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그것들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 또는 송신될 수도 있고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은, 데이터 저장 매체들과 같은 유형의 (tangible) 매체에 대응하는 컴퓨터 판독가능 저장 매체, 또는 예컨대 통신 프로토콜에 따라 한 장소에서 다른 장소로 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수도 있다.
이런 방식으로, 컴퓨터 판독가능 매체들은 일반적으로 (1) 비일시적인 (non-transitory) 유형의 (tangible) 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 반송파와 같은 통신 매체에 해당할 수도 있다. 데이터 저장 매체들은 본 개시물에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
비제한적인 예로, 그런 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 소망의 프로그램 코드를 컴퓨터에 의해 액세스될 수 있는 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다. 예를 들어, 명령들이 웹사이트, 서버, 또는 다른 원격 자원으로부터 동축 케이블, 광섬유 케이블, 연선 (twisted pair), 디지털 가입자 회선 (DSL), 또는 무선 기술들 이를테면 적외선, 라디오, 및/또는 마이크로파를 이용하여 송신된다면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술은 매체의 정의에 포함된다.
그러나, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 커넥션들, 반송파들, 신호들, 또는 다른 일시적인 매체들을 포함하지 않지만, 대신 비일시적인 (non-transient) 유형의 저장 매체들을 지향하고 있음이 이해되어야 한다. 디스크 (disk 및 disc) 는 본원에서 사용되는 바와 같이, 콤팩트 디스크 (compact disc, CD), 레이저 디스크, 광 디스크, 디지털 다용도 디스크 (DVD), 플로피 디스크 (floppy disk) 및 블루레이 디스크를 포함하는데, disk들은 보통 데이터를 자기적으로 재생하지만, disc들은 레이저들을 통해 광학적으로 데이터를 재생한다. 상기한 것들의 조합들은 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 프로세서들, 이를테면 하나 이상의 디지털 신호 프로세서들 (DSPs), 범용 마이크로프로세서들, 주문형 집적회로들 (ASICs), 필드 프로그램가능 로직 어레이들 (FPGAs), 또는 다른 동등한 집적 또는 개별 로직 회로에 의해 실행될 수도 있다. 따라서, 본원에서 사용되는 바와 같은 용어 "프로세서"는 앞서의 구조 또는 본원에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 것을 말할 수도 있다. 덧붙여서, 일부 양태들에서, 본원에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성되는, 또는 결합형 코덱 (codec) 으로 통합되는 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 본 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들 내에 완전히 구현될 수 있다.
본 개시내용의 기법들은 무선 핸드셋, 집적회로 (IC) 또는 한 세트의 IC들 (예컨대, 칩 셋) 을 포함하는, 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들이 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시물에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하지는 않는다. 대신, 위에서 설명된 바와 같이, 다양한 유닛들은 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명된 바와 같은 하나 이상의 프로세서들을 포함하는, 상호운용적 하드웨어 유닛들의 컬렉션에 의해 제공될 수도 있다.
본 개시물의 다양한 양태들이 설명되었다. 이들 및 다른 양태들은 다음의 청구항들의 범위 내에 있다.

Claims (68)

  1. 비디오 데이터를 디코딩하는 방법으로서,
    인코딩된 비트스트림으로부터, 인코딩된 비디오 데이터의 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트에 대한 하나 이상의 네트워크 추상화 계층(NAL) 단위들을 획득하는 단계로서, 상기 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트는 공통 시간적 로케이션에 대응하고, 상기 하나 이상의 NAL 단위들의 각각의 NAL 단위는 개별 뷰 컴포넌트들에 대한 상기 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하고, 상기 하나 이상의 NAL 단위들의 각각의 NAL 단위는 상기 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 정보를 포함하는, 상기 NAL 단위들을 획득하는 단계;
    오직 상기 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 각각의 NAL 단위로부터의 정보에만 기초하여, 상기 개별 뷰 컴포넌트들의 디코딩 순서를 결정하는 단계;
    상기 인코딩된 비트스트림으로부터 그리고 상기 하나 이상의 NAL 단위들과는 별개인, 상기 뷰 컴포넌트들과 연관된 뷰들에 대한 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하는 단계; 및
    획득된 상기 디코딩 순서를 나타내는 정보 및, 획득된 상기 뷰들에 대한 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보에 기초한 상기 디코딩 순서로 상기 복수의 뷰 컴포넌트들의 상기 인코딩된 비디오 데이터를 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  2. 제 1항에 있어서,
    상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하는 단계는, 상기 정보를, 상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 상기 관계들을 나타내는 코딩된 비디오 데이터의 시퀀스 레벨의 정보로부터 획득하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  3. 제 1항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보를 획득하는 것은, 상기 복수의 뷰 컴포넌트들의 기본 뷰에 대해 0의 디폴트 뷰 순서 인덱스 값을 획득하는 것을 포함하는, 비디오 데이터를 디코딩하는 방법.
  4. 제 1항에 있어서,
    상기 하나 이상의 NAL 단위들은, 제 2 상이한 뷰의 제 2 뷰 컴포넌트를 뷰 간(inter-view) 예측하기 위한 참조로서 제 1 뷰의 제 1 뷰 컴포넌트가 사용되는지의 여부를 나타내는 정보를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  5. 제 4항에 있어서,
    상기 제 2 뷰 컴포넌트를 뷰 간 예측하기 위한 참조로서 상기 제 1 뷰의 상기 제 1 뷰 컴포넌트가 사용되는지의 여부를 나타내는 상기 정보는 NAL 단위 헤더의 1비트 플래그를 포함하는, 비디오 데이터를 디코딩하는 방법.
  6. 제 1항에 있어서,
    상기 인코딩된 비트스트림으로부터, 상기 복수의 뷰 컴포넌트들에 대한 화상 순서 카운트 (picture order count; POC) 값들을 획득하는 단계를 더 포함하고,
    상기 디코딩하는 단계는, 상기 POC 값들 및 상기 디코딩 순서를 나타내는 정보에 기초하여 상기 인코딩된 비디오 데이터를 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  7. 제 1항에 있어서,
    상기 인코딩된 비트스트림으로부터, 상기 복수의 뷰 컴포넌트들에 대한 프레임 값들을 획득하는 단계를 더 포함하고,
    상기 디코딩하는 단계는, 상기 프레임 값들 및 상기 디코딩 순서를 나타내는 정보에 기초하여 상기 인코딩된 비디오 데이터를 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  8. 제 1항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는, 상기 비트스트림에서 지원되는 뷰들의 수, 기본 뷰, 및 프로파일 중 적어도 하나에 기초하여 결정된 다수의 신택스 엘리먼트들을 포함하는, 비디오 데이터를 디코딩하는 방법.
  9. 제 1항에 있어서,
    상기 뷰들에 대한 상기 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 상기 정보는, 상기 뷰 컴포넌트들의 상기 디코딩 순서를 상기 뷰들에 대한 상기 뷰 식별자들로 매핑시키는 매핑 테이블을 포함하는, 비디오 데이터를 디코딩하는 방법.
  10. 제 1항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 상기 NAL 단위들의 헤더 부분에 포함되는, 비디오 데이터를 디코딩하는 방법.
  11. 제 1항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 뷰 순서 인덱스를 포함하는, 비디오 데이터를 디코딩하는 방법.
  12. 제 11항에 있어서,
    공통 뷰의 복수의 시간적 로케이션들의 뷰 컴포넌트들은 공통 뷰 순서 인덱스를 공유하는, 비디오 데이터를 디코딩하는 방법.
  13. 비디오 데이터를 디코딩하는 장치로서,
    상기 장치는 인코딩된 비디오 데이터를 저장하도록 구성된 메모리 및 하나 이상의 프로세서들을 포함하고, 상기 프로세서들은:
    인코딩된 비트스트림으로부터, 상기 인코딩된 비디오 데이터의 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트에 대한 하나 이상의 네트워크 추상화 계층(NAL) 단위들을 획득하는 것으로서, 상기 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트는 공통 시간적 로케이션에 대응하고, 상기 하나 이상의 NAL 단위들의 각각의 NAL 단위는 개별 뷰 컴포넌트들에 대한 상기 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하고, 상기 하나 이상의 NAL 단위들의 각각의 NAL 단위는 상기 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 정보를 포함하는, 상기 NAL 단위들을 획득하는 것;
    오직 상기 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 각각의 NAL 단위로부터의 정보에만 기초하여, 상기 개별 뷰 컴포넌트들의 디코딩 순서를 결정하는 것;
    상기 인코딩된 비트스트림으로부터 그리고 상기 하나 이상의 NAL 단위들과는 별개인, 상기 뷰 컴포넌트들과 연관된 뷰들에 대한 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하는 것; 및
    획득된 상기 디코딩 순서를 나타내는 정보 및, 획득된 상기 뷰들에 대한 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보에 기초한 상기 디코딩 순서로 상기 복수의 뷰 컴포넌트들의 상기 인코딩된 비디오 데이터를 디코딩하는 것을 하게 하는, 비디오 데이터를 디코딩하는 장치.
  14. 제 13항에 있어서,
    상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하기 위해, 상기 하나 이상의 프로세서들은, 상기 정보를, 상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 상기 관계들을 나타내는 코딩된 비디오 데이터의 시퀀스 레벨의 정보로부터 획득하도록 구성되는, 비디오 데이터를 디코딩하는 장치.
  15. 제 13항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보를 획득하기 위해, 상기 하나 이상의 프로세서들은, 상기 복수의 뷰 컴포넌트들의 기본 뷰에 대해 0의 디폴트 뷰 순서 인덱스 값을 획득하는 것을 포함하는, 비디오 데이터를 디코딩하는 장치.
  16. 제 13항에 있어서,
    상기 하나 이상의 NAL 단위들은, 제 2 상이한 뷰의 제 2 뷰 컴포넌트를 뷰 간 예측하기 위한 참조로서 제 1 뷰의 제 1 뷰 컴포넌트가 사용되는지의 여부를 나타내는 정보를 더 포함하는, 비디오 데이터를 디코딩하는 장치.
  17. 제 16항에 있어서,
    상기 제 2 뷰 컴포넌트를 뷰 간 예측하기 위한 참조로서 상기 제 1 뷰의 상기 제 1 뷰 컴포넌트가 사용되는지의 여부를 나타내는 상기 정보는 NAL 단위 헤더의 1비트 플래그를 포함하는, 비디오 데이터를 디코딩하는 장치.
  18. 제 13항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 인코딩된 비트스트림으로부터, 상기 복수의 뷰 컴포넌트들에 대한 화상 순서 카운트 (picture order count; POC) 값들을 획득하도록 구성되고, 디코딩하기 위해, 상기 하나 이상의 프로세서들은, 상기 POC 값들 및 상기 디코딩 순서를 나타내는 정보에 기초하여 상기 인코딩된 비디오 데이터를 디코딩하도록 구성되는, 비디오 데이터를 디코딩하는 장치.
  19. 제 13항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 인코딩된 비트스트림으로부터, 상기 복수의 뷰 컴포넌트들에 대한 프레임 값들을 획득하도록 구성되고, 디코딩하기 위해, 상기 하나 이상의 프로세서들은, 상기 프레임 값들 및 상기 디코딩 순서를 나타내는 정보에 기초하여 상기 인코딩된 비디오 데이터를 디코딩하도록 구성되는, 비디오 데이터를 디코딩하는 장치.
  20. 제 13항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는, 상기 비트스트림에서 지원되는 뷰들의 수, 기본 뷰, 및 프로파일 중 적어도 하나에 기초하여 결정된 다수의 신택스 엘리먼트들을 포함하는, 비디오 데이터를 디코딩하는 장치.
  21. 제 13항에 있어서,
    상기 뷰들에 대한 상기 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 상기 정보는, 상기 뷰 컴포넌트들의 상기 디코딩 순서를 상기 뷰들에 대한 상기 뷰 식별자들로 매핑시키는 매핑 테이블을 포함하는, 비디오 데이터를 디코딩하는 장치.
  22. 제 13항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 상기 NAL 단위들의 헤더 부분에 포함되는, 비디오 데이터를 디코딩하는 장치.
  23. 제 13항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 뷰 순서 인덱스를 포함하는, 비디오 데이터를 디코딩하는 장치.
  24. 제 23항에 있어서,
    공통 뷰의 복수의 시간적 로케이션들의 뷰 컴포넌트들은 공통 뷰 순서 인덱스를 공유하는, 비디오 데이터를 디코딩하는 장치.
  25. 비디오 데이터를 디코딩하는 장치로서,
    인코딩된 비트스트림으로부터, 인코딩된 비디오 데이터의 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트에 대한 하나 이상의 네트워크 추상화 계층(NAL) 단위들을 획득하는 수단으로서, 상기 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트는 공통 시간적 로케이션에 대응하고, 상기 하나 이상의 NAL 단위들의 각각의 NAL 단위는 개별 뷰 컴포넌트들에 대한 상기 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하고, 상기 하나 이상의 NAL 단위들의 각각의 NAL 단위는 상기 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 정보를 포함하는, 상기 NAL 단위들을 획득하는 수단;
    오직 상기 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 각각의 NAL 단위로부터의 정보에만 기초하여, 상기 개별 뷰 컴포넌트들의 디코딩 순서를 결정하는 수단;
    상기 인코딩된 비트스트림으로부터 그리고 상기 하나 이상의 NAL 단위들과는 별개인, 상기 뷰 컴포넌트들과 연관된 뷰들에 대한 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하는 수단; 및
    획득된 상기 디코딩 순서를 나타내는 정보 및, 획득된 상기 뷰들에 대한 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보에 기초한 상기 디코딩 순서로 상기 복수의 뷰 컴포넌트들의 상기 인코딩된 비디오 데이터를 디코딩하는 수단을 포함하는, 비디오 데이터를 디코딩하는 장치.
  26. 제 25항에 있어서,
    상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하는 수단은, 상기 정보를, 상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 상기 관계들을 나타내는 코딩된 비디오 데이터의 시퀀스 레벨의 정보로부터 획득하는 수단을 포함하는, 비디오 데이터를 디코딩하는 장치.
  27. 제 25항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는, 상기 비트스트림에서 지원되는 뷰들의 수, 기본 뷰, 및 프로파일 중 적어도 하나에 기초하여 결정된 다수의 신택스 엘리먼트들을 포함하는, 비디오 데이터를 디코딩하는 장치.
  28. 제 25항에 있어서,
    상기 뷰들에 대한 상기 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 상기 정보는, 상기 뷰 컴포넌트들의 상기 디코딩 순서를 상기 뷰들에 대한 상기 뷰 식별자들로 매핑시키는 매핑 테이블을 포함하는, 비디오 데이터를 디코딩하는 장치.
  29. 제 25항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 상기 NAL 단위들의 헤더 부분에 포함되는, 비디오 데이터를 디코딩하는 장치.
  30. 제 25항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 뷰 순서 인덱스를 포함하는, 비디오 데이터를 디코딩하는 장치.
  31. 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은 실행시 하나 이상의 프로세서들로 하여금:
    인코딩된 비트스트림으로부터, 인코딩된 비디오 데이터의 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트에 대한 하나 이상의 네트워크 추상화 계층(NAL) 단위들을 획득하는 것으로서, 상기 복수의 뷰 컴포넌트들의 각각의 뷰 컴포넌트는 공통 시간적 로케이션에 대응하고, 상기 하나 이상의 NAL 단위들의 각각의 NAL 단위는 개별 뷰 컴포넌트들에 대한 상기 인코딩된 비디오 데이터 중 적어도 일 부분을 캡슐화하고, 상기 하나 이상의 NAL 단위들의 각각의 NAL 단위는 상기 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 정보를 포함하는, 상기 NAL 단위들을 획득하는 것;
    오직 상기 개별 뷰 컴포넌트들의 디코딩 순서를 나타내는 각각의 NAL 단위로부터의 정보에만 기초하여, 상기 개별 뷰 컴포넌트들의 디코딩 순서를 결정하는 것;
    상기 인코딩된 비트스트림으로부터 그리고 상기 하나 이상의 NAL 단위들과는 별개인, 상기 뷰 컴포넌트들과 연관된 뷰들에 대한 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하는 것; 및
    획득된 상기 디코딩 순서를 나타내는 정보 및, 획득된 상기 뷰들에 대한 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보에 기초한 상기 디코딩 순서로 상기 복수의 뷰 컴포넌트들의 상기 인코딩된 비디오 데이터를 디코딩하는 것을 하게 하는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
  32. 제 31항에 있어서,
    상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 정보를 획득하기 위해, 상기 명령들은 상기 하나 이상의 프로세서들로 하여금, 상기 정보를, 상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 상기 관계들을 나타내는 코딩된 비디오 데이터의 시퀀스 레벨의 정보로부터 획득하게 하는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
  33. 제 31항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는, 상기 비트스트림에서 지원되는 뷰들의 수, 기본 뷰, 및 프로파일 중 적어도 하나에 기초하여 결정된 다수의 신택스 엘리먼트들을 포함하는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
  34. 제 31항에 있어서,
    상기 뷰들에 대한 상기 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 상기 정보는, 상기 뷰 컴포넌트들의 상기 디코딩 순서를 상기 뷰들에 대한 상기 뷰 식별자들로 매핑시키는 매핑 테이블을 포함하는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
  35. 제 31항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 상기 NAL 단위들의 헤더 부분에 포함되는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
  36. 제 31항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 뷰 순서 인덱스를 포함하는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
  37. 비디오 데이터를 인코딩하는 방법으로서,
    비디오 데이터의 개별 뷰들에 대한 복수의 뷰 컴포넌트들에 대해 비디오 데이터를 인코딩하는 단계로서, 상기 복수의 뷰 컴포넌트들 각각은 공통 시간적 로케이션에 대응하는, 상기 비디오 데이터를 인코딩하는 단계;
    하나 이상의 네트워크 추상화 계층 (NAL) 단위들의 각각의 NAL 단위가 개별 뷰 컴포넌트들의 상기 비디오 데이터의 디코딩 순서를 직접 나타내는 정보를 포함하고 상기 개별 뷰 컴포넌트들에 대한 인코딩된 상기 비디오 데이터 중 적어도 일 부분을 캡슐화하도록, 인코딩된 비트스트림의 부분으로서, 상기 뷰 컴포넌트들의 각각의 뷰 컴포넌트의 인코딩된 비디오 데이터에 대해 하나 이상의 NAL 단위들을 형성하는 단계; 및
    상기 인코딩된 비트스트림에서, 상기 하나 이상의 NAL 단위들과는 별개인, 상기 뷰 컴포넌트들과 연관된 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  38. 제 37항에 있어서,
    상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하는 단계는, 코딩된 비디오 데이터의 시퀀스 레벨에서 상기 정보를 제공하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  39. 제 37항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보를 획득하는 것은, 상기 복수의 뷰 컴포넌트들의 기본 뷰에 대해 0의 디폴트 뷰 순서 인덱스 값을 제공하는 것을 포함하는, 비디오 데이터를 인코딩하는 방법.
  40. 제 37항에 있어서,
    상기 하나 이상의 NAL 단위들은, 제 2 상이한 뷰의 제 2 뷰 컴포넌트를 뷰 간 예측하기 위한 참조로서 제 1 뷰의 제 1 뷰 컴포넌트가 사용되는지의 여부를 나타내는 정보를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
  41. 제 40항에 있어서,
    상기 제 2 뷰 컴포넌트를 뷰 간 예측하기 위한 참조로서 상기 제 1 뷰의 상기 제 1 뷰 컴포넌트가 사용되는지의 여부를 나타내는 상기 정보는 NAL 단위 헤더의 1비트 플래그를 포함하는, 비디오 데이터를 인코딩하는 방법.
  42. 제 37항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는, 상기 비트스트림에서 지원되는 뷰들의 수, 기본 뷰, 및 프로파일 중 적어도 하나에 기초하여 결정된 다수의 신택스 엘리먼트들을 포함하는, 비디오 데이터를 인코딩하는 방법.
  43. 제 37항에 있어서,
    상기 뷰들에 대한 상기 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 상기 정보는, 상기 뷰 컴포넌트들의 상기 디코딩 순서를 상기 뷰들에 대한 상기 뷰 식별자들로 매핑시키는 매핑 테이블을 포함하는, 비디오 데이터를 인코딩하는 방법.
  44. 제 37항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 상기 NAL 단위들의 헤더 부분에 포함되는, 비디오 데이터를 인코딩하는 방법.
  45. 제 37항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 뷰 순서 인덱스를 포함하는, 비디오 데이터를 인코딩하는 방법.
  46. 제 45항에 있어서,
    공통 뷰의 복수의 시간적 로케이션들의 뷰 컴포넌트들은 공통 뷰 순서 인덱스를 공유하는, 비디오 데이터를 인코딩하는 방법.
  47. 비디오 데이터를 인코딩하는 장치로서,
    상기 장치는 비디오 데이터를 저장하도록 구성된 메모리 및 하나 이상의 프로세서들을 포함하고, 상기 프로세서들은:
    비디오 데이터의 개별 뷰들에 대한 복수의 뷰 컴포넌트들에 대해 상기 비디오 데이터를 인코딩하는 것으로서, 상기 복수의 뷰 컴포넌트들 각각은 공통 시간적 로케이션에 대응하는, 상기 비디오 데이터를 인코딩하는 것;
    하나 이상의 네트워크 추상화 계층 (NAL) 단위들의 각각의 NAL 단위가 개별 뷰 컴포넌트들의 상기 비디오 데이터의 디코딩 순서를 직접 나타내는 정보를 포함하고 상기 개별 뷰 컴포넌트들에 대한 인코딩된 상기 비디오 데이터 중 적어도 일 부분을 캡슐화하도록, 인코딩된 비트스트림의 부분으로서, 상기 뷰 컴포넌트들의 각각의 뷰 컴포넌트의 인코딩된 비디오 데이터에 대해 하나 이상의 NAL 단위들을 형성하는 것; 및
    상기 인코딩된 비트스트림에서, 상기 하나 이상의 NAL 단위들과는 별개인, 상기 뷰 컴포넌트들과 연관된 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하는 것을 하게 하는, 비디오 데이터를 인코딩하는 장치.
  48. 제 47항에 있어서,
    상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하기 위해, 상기 하나 이상의 프로세서들은 코딩된 비디오 데이터의 시퀀스 레벨에서 상기 정보를 제공하도록 구성되는, 비디오 데이터를 인코딩하는 장치.
  49. 제 47항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보를 획득하기 위해, 상기 하나 이상의 프로세서들은, 상기 복수의 뷰 컴포넌트들의 기본 뷰에 대해 0의 디폴트 뷰 순서 인덱스 값을 제공하도록 구성되는, 비디오 데이터를 인코딩하는 장치.
  50. 제 47항에 있어서,
    상기 하나 이상의 NAL 단위들은, 제 2 상이한 뷰의 제 2 뷰 컴포넌트를 뷰 간 예측하기 위한 참조로서 제 1 뷰의 제 1 뷰 컴포넌트가 사용되는지의 여부를 나타내는 정보를 더 포함하는, 비디오 데이터를 인코딩하는 장치.
  51. 제 50항에 있어서,
    상기 제 2 뷰 컴포넌트를 뷰 간 예측하기 위한 참조로서 상기 제 1 뷰의 상기 제 1 뷰 컴포넌트가 사용되는지의 여부를 나타내는 상기 정보는 NAL 단위 헤더의 1비트 플래그를 포함하는, 비디오 데이터를 인코딩하는 장치.
  52. 제 47항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는, 상기 비트스트림에서 지원되는 뷰들의 수, 기본 뷰, 및 프로파일 중 적어도 하나에 기초하여 결정된 다수의 신택스 엘리먼트들을 포함하는, 비디오 데이터를 인코딩하는 장치.
  53. 제 47항에 있어서,
    상기 뷰들에 대한 상기 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 상기 정보는, 상기 뷰 컴포넌트들의 상기 디코딩 순서를 상기 뷰들에 대한 상기 뷰 식별자들로 매핑시키는 매핑 테이블을 포함하는, 비디오 데이터를 인코딩하는 장치.
  54. 제 47항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 상기 NAL 단위들의 헤더 부분에 포함되는, 비디오 데이터를 인코딩하는 장치.
  55. 제 47항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 뷰 순서 인덱스를 포함하는, 비디오 데이터를 인코딩하는 장치.
  56. 제 55항에 있어서,
    공통 뷰의 복수의 시간적 로케이션들의 뷰 컴포넌트들은 공통 뷰 순서 인덱스를 공유하는, 비디오 데이터를 인코딩하는 장치.
  57. 비디오 데이터를 인코딩하는 장치로서,
    비디오 데이터의 개별 뷰들에 대한 복수의 뷰 컴포넌트들에 대해 비디오 데이터를 인코딩하는 수단으로서, 상기 복수의 뷰 컴포넌트들 각각은 공통 시간적 로케이션에 대응하는, 상기 비디오 데이터를 인코딩하는 수단;
    하나 이상의 네트워크 추상화 계층 (NAL) 단위들의 각각의 NAL 단위가 개별 뷰 컴포넌트들의 상기 비디오 데이터의 디코딩 순서를 직접 나타내는 정보를 포함하고 상기 개별 뷰 컴포넌트들에 대한 인코딩된 상기 비디오 데이터 중 적어도 일 부분을 캡슐화하도록, 인코딩된 비트스트림의 부분으로서, 상기 뷰 컴포넌트들의 각각의 뷰 컴포넌트의 인코딩된 비디오 데이터에 대해 하나 이상의 NAL 단위들을 형성하는 수단; 및
    상기 인코딩된 비트스트림에서, 상기 하나 이상의 NAL 단위들과는 별개인, 상기 뷰 컴포넌트들과 연관된 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하는 수단을 포함하는, 비디오 데이터를 인코딩하는 장치.
  58. 제 57항에 있어서,
    상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하는 수단은, 코딩된 비디오 데이터의 시퀀스 레벨에서 상기 정보를 제공하는 수단을 포함하는, 비디오 데이터를 인코딩하는 장치.
  59. 제 57항에 있어서,
    상기 뷰들에 대한 상기 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 상기 정보는, 상기 뷰 컴포넌트들의 상기 디코딩 순서를 상기 뷰들에 대한 상기 뷰 식별자들로 매핑시키는 매핑 테이블을 포함하는, 비디오 데이터를 인코딩하는 장치.
  60. 제 57항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 상기 NAL 단위들의 헤더 부분에 포함되는, 비디오 데이터를 인코딩하는 장치.
  61. 제 57항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 뷰 순서 인덱스를 포함하는, 비디오 데이터를 인코딩하는 장치.
  62. 제 61항에 있어서,
    공통 뷰의 복수의 시간적 로케이션들의 뷰 컴포넌트들은 공통 뷰 순서 인덱스를 공유하는, 비디오 데이터를 인코딩하는 장치.
  63. 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은 실행시 하나 이상의 프로세서들로 하여금:
    비디오 데이터의 개별 뷰들에 대한 복수의 뷰 컴포넌트들에 대해 비디오 데이터를 인코딩하는 것으로서, 상기 복수의 뷰 컴포넌트들 각각은 공통 시간적 로케이션에 대응하는, 상기 비디오 데이터를 인코딩하는 것;
    하나 이상의 네트워크 추상화 계층 (NAL) 단위들의 각각의 NAL 단위가 개별 뷰 컴포넌트들의 상기 비디오 데이터의 디코딩 순서를 직접 나타내는 정보를 포함하고 상기 개별 뷰 컴포넌트들에 대한 인코딩된 상기 비디오 데이터 중 적어도 일 부분을 캡슐화하도록, 인코딩된 비트스트림의 부분으로서, 상기 뷰 컴포넌트들의 각각의 뷰 컴포넌트의 인코딩된 비디오 데이터에 대해 하나 이상의 NAL 단위들을 형성하는 것; 및
    상기 인코딩된 비트스트림에서, 상기 하나 이상의 NAL 단위들과는 별개인, 상기 뷰 컴포넌트들과 연관된 뷰들에 대한 뷰 식별자들 및 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하는 것을 하게 하는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
  64. 제 63항에 있어서,
    상기 뷰 식별자들 및 상기 뷰 컴포넌트들의 디코딩 순서 사이의 관계들을 나타내는 정보를 제공하기 위해, 상기 명령들은 상기 하나 이상의 프로세서들로 하여금, 코딩된 비디오 데이터의 시퀀스 레벨에서 상기 정보를 제공하게 하는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
  65. 제 63항에 있어서,
    상기 뷰들에 대한 상기 뷰 식별자들과 상기 뷰 컴포넌트들의 상기 디코딩 순서 사이의 관계들을 나타내는 상기 정보는, 상기 뷰 컴포넌트들의 상기 디코딩 순서를 상기 뷰들에 대한 상기 뷰 식별자들로 매핑시키는 매핑 테이블을 포함하는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
  66. 제 63항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 상기 NAL 단위들의 헤더 부분에 포함되는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
  67. 제 63항에 있어서,
    상기 개별 뷰 컴포넌트들의 상기 디코딩 순서를 나타내는 상기 정보는 뷰 순서 인덱스를 포함하는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
  68. 제 63항에 있어서, 공통 뷰의 복수의 시간적 로케이션들의 뷰 컴포넌트들은 공통 뷰 순서 인덱스를 공유하는, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체.
KR1020147005398A 2011-07-28 2012-07-27 멀티뷰 비디오 코딩 KR101617971B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161512771P 2011-07-28 2011-07-28
US61/512,771 2011-07-28
US13/559,269 2012-07-26
US13/559,269 US9635355B2 (en) 2011-07-28 2012-07-26 Multiview video coding
PCT/US2012/048475 WO2013016610A1 (en) 2011-07-28 2012-07-27 Multiview video coding

Publications (2)

Publication Number Publication Date
KR20140056311A KR20140056311A (ko) 2014-05-09
KR101617971B1 true KR101617971B1 (ko) 2016-05-03

Family

ID=46601939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147005398A KR101617971B1 (ko) 2011-07-28 2012-07-27 멀티뷰 비디오 코딩

Country Status (11)

Country Link
US (1) US9635355B2 (ko)
EP (1) EP2737699B1 (ko)
JP (1) JP5902300B2 (ko)
KR (1) KR101617971B1 (ko)
CN (1) CN103733626B (ko)
BR (1) BR112014001799B1 (ko)
CA (1) CA2843187C (ko)
ES (1) ES2707890T3 (ko)
HU (1) HUE041675T2 (ko)
RU (1) RU2556882C1 (ko)
WO (1) WO2013016610A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US20130272371A1 (en) * 2012-04-16 2013-10-17 Sony Corporation Extension of hevc nal unit syntax structure
US10205961B2 (en) 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
CN107566839B (zh) 2012-06-25 2020-06-26 华为技术有限公司 对图片进行解码、编码的电子设备和方法
US9351005B2 (en) 2012-09-24 2016-05-24 Qualcomm Incorporated Bitstream conformance test in video coding
US9479779B2 (en) 2012-10-01 2016-10-25 Qualcomm Incorporated Sub-bitstream extraction for multiview, three-dimensional (3D) and scalable media bitstreams
WO2014053087A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus of motion data buffer reduction for three-dimensional video coding
US9319703B2 (en) 2012-10-08 2016-04-19 Qualcomm Incorporated Hypothetical reference decoder parameter syntax structure
TWI669950B (zh) * 2012-12-21 2019-08-21 日商新力股份有限公司 影像處理裝置及方法
US9609347B2 (en) * 2013-04-04 2017-03-28 Qualcomm Incorporated Advanced merge mode for three-dimensional (3D) video coding
EP2983367A4 (en) * 2013-04-05 2016-11-16 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING AND DECODING VIDEO CONTENT IN RELATION TO THE POSITION OF ALL-NUMBER PIXELS
US9565437B2 (en) 2013-04-08 2017-02-07 Qualcomm Incorporated Parameter set designs for video coding extensions
US9716899B2 (en) * 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
GB2516825B (en) * 2013-07-23 2015-11-25 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
US9854270B2 (en) * 2013-12-19 2017-12-26 Qualcomm Incorporated Device and method for scalable coding of video information
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US10091532B2 (en) 2014-06-26 2018-10-02 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
US20160048366A1 (en) * 2014-08-14 2016-02-18 David John Cowin Video Streaming System and Method for a Wearable Display
JP6238255B2 (ja) * 2016-05-25 2017-11-29 株式会社Ｎｅｘｐｏｉｎｔ 監視カメラシステムによる監視方法及び動画分割装置
CN115174900B (zh) 2018-09-12 2023-06-06 华为技术有限公司 视频编码器和相关编码方法
US10812818B2 (en) * 2018-12-14 2020-10-20 Tencent America LLC Network abstraction unit layer type classes in network abstraction layer unit header
EP3928522A4 (en) * 2019-03-12 2022-04-06 Huawei Technologies Co., Ltd. DISTRIBUTED DECODING REFRESH DESIGN IN VIDEO CODING
KR102302755B1 (ko) * 2019-12-30 2021-09-16 재단법인 경주스마트미디어센터 Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법
KR102477310B1 (ko) * 2020-12-29 2022-12-12 재단법인 경주스마트미디어센터 Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법
US20220060684A1 (en) * 2020-03-26 2022-02-24 Alibaba Group Holding Limited Methods and apparatuses for signaling picture header

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114608A1 (en) 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
WO2008088497A2 (en) * 2006-12-21 2008-07-24 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
JP2009100070A (ja) 2007-10-15 2009-05-07 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728878B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
CA2845591C (en) 2006-01-05 2015-12-08 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
US7856148B2 (en) 2006-01-12 2010-12-21 Lg Electronics Inc. Processing multiview video
KR101383735B1 (ko) 2006-03-29 2014-04-08 톰슨 라이센싱 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치
CN101449585A (zh) 2006-03-30 2009-06-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
MX357910B (es) 2006-07-06 2018-07-30 Thomson Licensing Método y aparato para desacoplar el número de cuadro y/o la cuenta del orden de imagen (poc) para la codificación y decodificación de video de múltiples vistas.
ZA200900102B (en) 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (poc) for multi-view video encoding and decoding
WO2008010932A2 (en) * 2006-07-20 2008-01-24 Thomson Licensing Method and apparatus for signaling view scalability in multi-view video coding
CA2664668C (en) 2006-10-10 2014-04-01 Nippon Telegraph And Telephone Corporation Intra prediction encoding control method and apparatus, program therefor, and storage medium which stores the program
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
BRPI0717321A2 (pt) * 2006-10-13 2013-10-22 Thomson Licensing Método para gerenciamento de imagens de referência envolvendo codificação de vídeo com mútiplas visualizações
WO2008085876A2 (en) * 2007-01-04 2008-07-17 Thomson Licensing Method and apparatus for video error concealment using high level syntax reference views in multi-view coded video
US8320456B2 (en) 2007-01-17 2012-11-27 Lg Electronics Inc. Method and apparatus for processing a video signal
US20100266042A1 (en) 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal
WO2010079921A2 (ko) * 2009-01-12 2010-07-15 엘지 전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
CN105657404B (zh) 2009-02-19 2018-06-08 汤姆逊许可证公司 视频编码和解码的装置
US8982183B2 (en) 2009-04-17 2015-03-17 Lg Electronics Inc. Method and apparatus for processing a multiview video signal
KR20120027194A (ko) * 2009-04-21 2012-03-21 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
US8933989B2 (en) 2009-04-22 2015-01-13 Lg Electronics Inc. Reference picture list changing method of multi-view video
US8411746B2 (en) 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8780999B2 (en) 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
WO2011013257A1 (ja) 2009-07-29 2011-02-03 パナソニック株式会社 マルチビュービデオ復号装置およびその方法
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
JP5524594B2 (ja) 2009-12-14 2014-06-18 パナソニック株式会社 画像復号装置及び画像復号方法
EP2630799A4 (en) 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114608A1 (en) 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
US20100027654A1 (en) 2006-03-30 2010-02-04 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
WO2008088497A2 (en) * 2006-12-21 2008-07-24 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
JP2009100070A (ja) 2007-10-15 2009-05-07 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム

Also Published As

Publication number Publication date
CA2843187A1 (en) 2013-01-31
US9635355B2 (en) 2017-04-25
CN103733626B (zh) 2017-04-26
US20130114670A1 (en) 2013-05-09
CA2843187C (en) 2017-12-05
JP5902300B2 (ja) 2016-04-13
EP2737699B1 (en) 2018-10-24
ES2707890T3 (es) 2019-04-05
WO2013016610A1 (en) 2013-01-31
EP2737699A1 (en) 2014-06-04
HUE041675T2 (hu) 2019-05-28
BR112014001799B1 (pt) 2022-06-14
KR20140056311A (ko) 2014-05-09
RU2556882C1 (ru) 2015-07-20
CN103733626A (zh) 2014-04-16
JP2014522176A (ja) 2014-08-28
BR112014001799A2 (pt) 2017-02-21

Similar Documents

Publication Publication Date Title
KR101617971B1 (ko) 멀티뷰 비디오 코딩
KR101617556B1 (ko) 멀티뷰 비디오 코딩
EP2803193B1 (en) Coding parameter sets and nal unit headers for video coding
KR101822247B1 (ko) Ｈｅｖｃ 및 확장들에 대한 비디오 파라미터 세트
EP2842328B1 (en) View dependency in multi-view coding and 3d coding
AU2012245299B2 (en) Motion vector prediction in video coding
US9288506B2 (en) Signaling view synthesis prediction support in 3D video coding
EP2904809A1 (en) Sub-bitstream extraction for multiview, three-dimensional (3d) and scalable video bitstreams

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 4