KR101669524B1 - 비디오 코딩을 위한 방법 및 장치 - Google Patents

비디오 코딩을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101669524B1
KR101669524B1 KR1020147024386A KR20147024386A KR101669524B1 KR 101669524 B1 KR101669524 B1 KR 101669524B1 KR 1020147024386 A KR1020147024386 A KR 1020147024386A KR 20147024386 A KR20147024386 A KR 20147024386A KR 101669524 B1 KR101669524 B1 KR 101669524B1
Authority
KR
South Korea
Prior art keywords
slice
syntax element
view component
group
syntax
Prior art date
Application number
KR1020147024386A
Other languages
English (en)
Other versions
KR20140130152A (ko
Inventor
미스카 마티아스 한누크셀라
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20140130152A publication Critical patent/KR20140130152A/ko
Application granted granted Critical
Publication of KR101669524B1 publication Critical patent/KR101669524B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3D 비디오 인코딩 및 디코딩을 위한 슬라이스 헤더 예측 방법 및 장치가 제공된다. 몇몇 예시적인 실시예에서, 헤더 예측 방법으로부터 다음과 같은 특징이 유도될 수 있다. 어떠한 텍스처 및 깊이 뷰 컴포넌트의 디코딩 순서라도 지원될 수 있다. 또한, 동일한 액세스 유닛 내에서 초기에 디코딩 순서로 출현하는 모든 슬라이스 헤더로부터 신택스 요소의 유연한 예측이 가능해진다. 예측은 뷰 컴포넌트를 기반으로 하여 턴온 또는 턴오프될 수 있다. 슬라이스 헤더의 신택스 요소는 몇몇 세트로 분류될 수 있으며 각 세트마다 예측의 사용과 더불어 예측 소스의 사용이 개별적으로 제어될 수 있다. 본 발명의 몇몇 예시적인 실시예를 이용함으로써, 슬라이스 헤더의 모든 신택스 요소가 예측될 수 있다.

Description

비디오 코딩을 위한 방법 및 장치{METHOD AND APPARATUS FOR VIDEO CODING}
본 출원은 일반적으로 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
본 단원은 청구범위에서 인용되는 본 발명의 배경 또는 맥락을 제공하려는 것이다. 본 단원에 있는 설명은 추구될 수도 있겠으나, 반드시 이전에 상상되거나 추구되었던 것이 아닌 개념을 포함할 수 있다. 그러므로, 본 명세서에서 달리 지적하지 않는 한, 본 단원에서 기술된 설명은 본 출원에 있는 설명과 청구범위에 대한 종래 기술이 아니며 또한 본 단원에 포함된다 하여 종래 기술인 것으로 인정되지 않는다.
3차원(3D) 비디오 콘텐츠를 제공하기 위한 다양한 기술이 현재 연구되고 개발되고 있다. 특히, 시청자가 특정한 방향(viewpoint)에서 단지 한 쌍의 스테레오 비디오만을 볼 수 있고 또한 다른 방향에서는 다른 한 쌍의 스테레오 비디오를 볼 수 있는 다시점 애플리케이션(multiview applications)에 대해 열성적인 연구가 집중되고 있다. 그러한 다시점 애플리케이션에 대한 가장 실행 가능한 접근법들 중 하나는 단지 제한된 개수의 입력 뷰(input views), 예를 들면, 모노 또는 스테레오 비디오에 더하여 몇 가지 보충 데이터가 디코더 측으로 제공되고 그러면 필요한 모든 뷰들이 그 디코더에 의해 지엽적으로 렌더링되어(즉, 합성되어) 디스플레이 상에 디스플레이되는 그런 것으로 밝혀졌다.
뷰 렌더링을 위한 여러 기술들이 이용 가능하며, 예를 들면, 깊이 이미지-기반 렌더링(depth image-based rendering (DIBR))이 경쟁력을 가진 대안인 것으로 드러났다. DIBR은 통상적으로 입력으로서 스테레오스코픽 베이스라인을 가진 스테레오스코픽 비디오 및 대응하는 깊이 정보를 취하고 두 입력 뷰들 사이에서 다수의 가상 뷰들을 합성하는 것으로 수행된다. 그래서, DIBR 알고리즘은 두 입력 뷰들 외부에 존재하며 이들 사이에 존재하지 않는 뷰들의 외삽(extrapolation)을 또한 가능하게 해줄 수 있다. 유사하게, DIBR 알고리즘은 텍스처의 단일 뷰 및 각각의 깊이 뷰로부터 뷰 합성을 가능하게 해줄 수 있다.
몇몇 비디오 코딩 표준은 슬라이스 층과 그 하위 층에서 헤더를 도입하며, 그 슬라이스 층의 위의 층에서는 파라미터 세트의 개념을 도입하고 있다. 파라미터 세트의 예는 모든 픽처, 픽처 그룹(group of pictures (GOP)), 및 픽처 크기, 디스플레이 윈도우, 이용된 선택적 코딩 모드, 및 매크로블록 할당 맵 등과 같은 시퀀스 레벨 데이터를 포함할 수 있다. 각각의 파라미터 세트의 인스턴스는 고유 식별자를 포함할 수 있다. 각각의 슬라이스 헤더는 파라미터 세트 식별자로의 참조를 포함할 수 있고, 참조된 파라미터 세트의 파라미터 값은 슬라이스를 디코딩할 때 사용될 수 있다. 파라미터 세트는 자주 바뀌지 않는 픽처, GOP, 그리고 시퀀스 레벨 데이터의 전송 및 디코딩 순서를 시퀀스, GOP, 그리고 픽처 바운더리로부터 분리시킨다. 파라미터 세트는 이들이 참조되기 전에 디코딩되는 한 신뢰할만한 전송 프로토콜을 이용하여 대역 외(out-of-band)로 전송될 수 있다. 만일 파라미터 세트가 대역 내(in-band)에서 전송된다면, 통상의 비디오 코딩 방식과 비교하여 파라미터 세트는 오류 내성(error resilience)을 개선하기 위해 여러 회 반복 전송될 수 있다. 파라미터 세트는 세션 셋-업 시간에 전송될 수 있다. 그러나, 일부 시스템, 주로 방송 시스템에서, 파라미터 세트의 신뢰할만한 대역 외 전송은 실행되지 않을 수 있고, 오히려 파라미터 세트는 파라미터 세트 NAL 유닛(Parameter Set NAL units) 내의 대역 내에서 전달된다.
본 발명의 몇몇 예시적인 실시예에 따르면, 3D 비디오 인코딩 및 디코딩을 위한 슬라이스 헤더 예측 방법 및 장치가 제공된다. 몇몇 예시적인 실시예에서, 헤더 예측 방법으로부터 다음과 같은 특징들이 유도될 수 있다. 텍스처 및 깊이 뷰 컴포넌트의 임의의 디코딩 순서가 지원될 수 있다. 또한 동일 액세스 유닛 내에서 디코딩 순서에서 먼저 나오는 임의의 슬라이스 헤더로부터 신택스 요소(syntax elements)를 유연하게 예측하는 것이 가능해진다. 예측은 뷰 컴포넌트에 근거하여 턴온되거나 턴오프된다. 슬라이스 헤더의 신택스 요소는 소수개의 세트로 분류될 수 있으며 각 세트마다 예측의 사용 및 예측 소스가 개별적으로 통제될 수 있다. 방법의 몇몇 예시적인 실시예를 이용함으로써, 슬라이스 헤더의 모든 신택스 요소가 예측될 수 있다.
몇몇 예시적인 실시예에서, 슬라이스 헤더 예측 툴이 다음과 같이 요약될 수 있다. 슬라이스 헤더의 신택스 요소는 슬라이스 그룹(group of slices (GOS)) 파라미터 세트로 그룹화된다. GOS 파라미터 세트는 액세스 유닛에 대해 최대로 유효할 수 있다. 액세스 유닛에 대해 명시된 GOS 파라미터 세트가 만들어 질 수 있다. 베이스 뷰의 텍스처 뷰 컴포넌트의 슬라이스 헤더는 묵시적으로 GOS 파라미터 세트를 형성한다. GOS 파라미터 세트는 비트스트림 내에 인-라인으로 포함될 수 있다.
몇몇 예시적인 실시예에서, GOS 파라미터 세트는 세가지 형태의 신택스 요소 또는 구조를 포함한다. GOS 파라미터 세트는 식별된 GOS 파라미터 세트로부터 복사될 수 있는 신택스 구조를 포함할 수 있다. 이러한 신택스 구조는 참조 픽처 리스트 변경(reference picture list modification), 예측 가중 테이블(prediction weight table), 및 디코딩된 참조 픽처 마킹(decoded reference picture marking)을 포함한다. GOS 파라미터 세트는 또한 전체 뷰 컴포넌트에서 변동없이 남아있는 신택스 구조를 포함할 수 있다. GOS 파라미터 세트는 선택사양으로 전체 액세스 유닛에서 변동없이 남아 있는 신택스 구조를 포함할 수 있다.
GOS 파라미터 세트는 하나 보다 많은 다른 GOS 파라미터 세트로부터 신택스 구조를 물려받을 수 있다. 예를 들면, 참조 픽처 리스트 변경은 하나의 GOS 파라미터 세트로부터 물려받을 수 있고, 반면에 디코딩된 참조 픽처 마킹은 다른 하나의 GOS 파라미터 세트로부터 물려받을 수 있다.
GOS 파라미터 세트는 반복될 수 있다. 만일 매 슬라이스마다 반복된다면, 전체 슬라이스 헤더를 갖는 만큼의 동일한 에러 강인성(error robustness)이 획득될 수 있다.
본 발명의 예들의 여러 양태는 청구범위에서 시작된다.
본 발명의 제1 양태에 따르면, 방법이 제공되며, 상기 방법은,
압축되지 않은 픽처를 슬라이스를 포함하는 코딩된 픽처로 인코딩하는 것을 포함하되, 상기 인코딩하는 것은,
상기 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하는 것과,
상기 제1 세트 및 상기 제2 세트에 대한 신택스 요소 값을 결정하는 것과,
상기 제1 세트를 선택적으로 슬라이스 파라미터 세트의 제1 그룹 또는 슬라이스 헤더로 인코딩하는 것 - 상기 인코딩하는 것은,
각각의 제1 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제1 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 과,
상기 제2 세트를 선택적으로 슬라이스 파라미터 세트의 제2 그룹 또는 상기 슬라이스 헤더로 인코딩하는 것 - 상기 인코딩하는 것은,
각각의 제2 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제2 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 을 포함한다.
본 발명의 제2 양태에 따르면, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되며, 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 사용하여 장치로 하여금,
코딩된 픽처의 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하게 하고,
상기 제1 세트 및 상기 제2 세트에 대한 신택스 요소 값을 결정하게 하고,
상기 제1 세트를 선택적으로 슬라이스 파라미터 세트의 제1 그룹 또는 슬라이스 헤더에 선택적으로 인코딩 - 상기 인코딩은,
각각의 제1 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제1 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 하게 하고,
상기 제2 세트를 선택적으로 슬라이스 파라미터 세트의 제2 그룹 또는 상기 슬라이스 헤더에 인코딩 - 상기 인코딩은,
각각의 제2 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제2 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 하게 하도록 구성된다.
본 발명의 제3 양태에 따르면, 하나 이상의 명령어의 하나 이상의 시퀀스를 포함하는 컴퓨터 프로그램 제품이 제공되며, 상기 하나 이상의 명령어의 하나 이상의 시퀀스는, 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 적어도,
코딩된 픽처의 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하게 하고,
상기 제1 세트 및 상기 제2 세트에 대한 신택스 요소 값을 결정하게 하고,
상기 제1 세트를 선택적으로 슬라이스 파라미터 세트의 제1 그룹 또는 슬라이스 헤더에 인코딩 - 상기 인코딩은,
각각의 제1 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제1 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 하게 하고,
상기 제2 세트를 선택적으로 슬라이스 파라미터 세트의 제2 그룹 또는 상기 슬라이스 헤더에 인코딩 - 상기 인코딩은,
각각의 제2 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제2 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 ― 하게 하도록 실행된다.
본 발명의 제4 양태에 따르면, 장치가 제공되며, 상기 장치는,
코딩된 픽처의 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하는 수단과,
상기 제1 세트 및 상기 제2 세트에 대한 신택스 요소 값을 결정하는 수단과,
상기 제1 세트를 선택적으로 슬라이스 파라미터 세트의 제1 그룹 또는 슬라이스 헤더에 인코딩하는 수단 - 상기 인코딩은,
각각의 제1 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제1 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 과,
상기 제2 세트를 선택적으로 슬라이스 파라미터 세트의 제2 그룹 또는 상기 슬라이스 헤더에 인코딩하는 수단 - 상기 인코딩은,
각각의 제2 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제2 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 을 포함한다.
본 발명의 제5 양태에 따르면, 방법이 제공되며, 상기 방법은,
코딩된 픽처의 코딩된 슬라이스를 디코딩하는 것을 포함하되,
상기 디코딩하는 것은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것을 포함한다.
본 발명의 제6 양태에 따르면, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되며, 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금,
코딩된 픽처의 코딩된 슬라이스를 디코딩하도록 구성되되,
상기 디코딩은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것에 의해 수행된다.
본 발명의 제7 양태에 따르면, 하나 이상의 명령어의 하나 이상의 시퀀스를 포함하는 컴퓨터 프로그램 제품이 제공되며, 상기 하나 이상의 명령어의 하나 이상의 시퀀스는, 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 적어도,
코딩된 픽처의 코딩된 슬라이스를 디코딩하게 하도록 하되,
상기 디코딩은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것에 의해 수행된다.
본 발명의 제8 양태에 따르면, 방법이 제공되며, 상기 방법은,
코딩된 픽처의 코딩된 슬라이스를 디코딩하는 것을 포함하되,
상기 디코딩하는 것은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나, 또는, 상기 제1 표시가 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내지 않는 경우, 상기 제1 세트의 신택스 요소를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나 또는, 상기 제2 표시가 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내지 않는 경우, 상기 제2 세트의 신택스 요소를 디코딩하는 것을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 상기 신택스 요소의 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것을 포함한다.
본 발명의 제9 양태에 따르면, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되며, 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금,
코딩된 픽처의 코딩된 슬라이스를 디코딩하도록 구성되되,
상기 디코딩은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나, 또는, 상기 제1 표시가 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내지 않는 경우, 상기 제1 세트의 신택스 요소를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나 또는, 상기 제2 표시가 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내지 않는 경우, 상기 제2 세트의 신택스 요소를 디코딩하는 것을 포함함 - 것과,
신택스 요소의 상기 디코딩된 제1 세트 및 상기 신택스 요소의 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것에 의해 수행된다.
본 발명의 제10 양태에 따르면, 하나 이상의 명령어의 하나 이상의 시퀀스를 포함하는 컴퓨터 프로그램 제품이 제공되며, 상기 하나 이상의 명령어의 하나 이상의 시퀀스는, 상기 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 적어도,
코딩된 픽처의 코딩된 슬라이스를 디코딩하도록 실행되되,
상기 디코딩은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나, 또는, 상기 제1 표시가 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내지 않는 경우, 상기 제1 세트의 신택스 요소를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나 또는, 상기 제2 표시가 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내지 않는 경우, 상기 제2 세트의 신택스 요소를 디코딩하는 것을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 상기 신택스 요소의 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것에 의해 수행된다.
본 발명의 제11 양태에 따르면, 장치가 제공되며, 상기 장치는,
코딩된 픽처의 코딩된 슬라이스를 디코딩하는 수단을 포함하되,
상기 디코딩 수단은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 수단과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 수단 - 상기 디코딩 수단은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나, 또는, 상기 제1 표시가 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내지 않는 경우, 상기 제1 세트의 신택스 요소를 디코딩하는 수단과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나 또는, 상기 제2 표시가 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내지 않는 경우, 상기 제2 세트의 신택스 요소를 디코딩하는 수단을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 상기 신택스 요소의 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 수단을 포함한다.
본 발명의 예시적인 실시예의 더 완벽한 이해를 위하여, 이제 첨부 도면과 관련하여 제공된 다음과 같은 설명이 참조된다.
도 1은 예시적인 실시예에 따른 비디오 코딩 시스템의 블록도를 도시한다.
도 2는 예시적인 실시예에 따른 비디오 코딩을 위한 장치를 도시한다.
도 3은 예시적인 실시예에 따른 복수개의 장치, 네트워크, 및 네트워크 요소를 포함하는 비디오 코딩을 위한 장치를 도시한다.
도 4a 및 도 4b는 예시적인 실시예에 따른 비디오 인코딩 및 디코딩을 위한 블록도를 도시한다.
도 5는 DIBR-기반 3DV 시스템의 간략화된 모델을 도시한다.
도 6은 스테레오스코픽 카메라 셋업의 간략화된 2D 모델을 도시한다.
도 7은 액세스 유닛의 정의 및 코딩 순서의 예를 도시한다.
도 8은 텍스처 뷰 및 깊이 뷰를 인코딩할 수 있는 인코더 실시예의 하이 레벨 플로우차트를 도시한다.
도 9는 텍스처 뷰 및 깊이 뷰를 디코딩할 수 있는 디코더 실시예의 하이 레벨 플로우차트를 도시한다.
도 10은 예시적인 실시예에 따른 액세스 유닛의 구조를 간략한 방식으로 도시한다.
도 11은 컴포넌트 픽처 구분자 NAL 유닛 및 두 개의 코딩된 슬라이스 NAL 유닛을 포함하는 컴포넌트 픽처의 예를 도시한다.
도 12는 슬라이스 파라미터 구조의 인터-CPD 예측(inter-CPD prediction)의 예를 도시한다.
하기에서, 본 발명의 여러 실시예들이 하나의 비디오 코딩 구성의 맥락에서 기술될 것이다. 그러나, 본 발명은 이러한 특정 구성으로 제한되지 않음을 주목하여야 한다. 실제로, 참조 픽처 처리의 개선이 요구되는 어떤 환경에서는 다른 실시예가 널리 응용된다. 예를 들면, 본 발명은 스트리밍 시스템, DVD 플레이어, 디지털 텔레비전 수신기, 개인 비디오 레코더, 퍼스널 컴퓨터 상의 시스템 및 컴퓨터 프로그램, 휴대 컴퓨터 및 통신 기기뿐만 아니라 트랜스코더 및 비디오 데이터가 처리되는 클라우드 컴퓨팅 구성과 같은 네트워크 요소와 같은 비디오 코딩 시스템에 적용 가능할 수 있다.
H.264/AVC 표준은 국제 전기통신 연합(ITU-T)의 전기 통신 표준화 부분의 비디오 코딩 전문가 그룹(Video Coding Experts Group (VCEG))의 조인트 비디오 팀(Joint Video Team (JVT))과 국제 표준화 기구(International Organisation for Standardization (ISO))/국제 전기 기술위원회(International Electrotechnical Commission (IEC))의 동화상 전문가 그룹(Moving Picture Experts Group (MPEG))에 의해 개발되었다. H.264/AVC 표준은 양 부모 표준 기구에 의해 공표되고, MPEG-4 파트 10 고급 비디오 코딩(Advanced Video Coding (AVC))이라고도 알려진, ITU-T 권고안 H.264 및 ISOIEC 국제 표준 14496-10이라고도 지칭된다. H.264/AVC 표준의 복수 개 버전이 있는데, 각각은 사양의 새로운 확장 또는 특징을 통합하고 있다. 이러한 확장은 스케일러블 비디오 코딩(Scalable Video Coding (SVC)) 및 다시점 비디오 코딩(Multiview Video Coding (MVC))을 포함한다.
VCEG 및 MPEG의 공동 협력 팀 - 비디오 코딩(Joint Collaborative Team - Video Coding (JCT-VC) of VCEG and MPEG)에 의해 고 효율 비디오 코딩(High Efficiency Video Coding (HEVC))에 관해 현재 진행중인 표준화 프로젝트가 있다.
H.264/AVC 및 HEVC의 몇 가지 주요 정의, 비트스트림 및 코딩 구조, 그리고 개념은 본 단원에서 실시예가 구현될 수 있는 비디오 인코더, 디코더, 인코딩 방법, 디코딩 방법, 및 비트스트림 구조의 예로서 설명된다. H.264/AVC의 주요 정의, 비트스트림 및 코딩 구조, 그리고 개념 중 몇 가지는 HEVC의 현재 작업 초안에서와 동일하며 - 그래서, 아래에서 함께 설명된다. 본 발명의 양태는 H.264/AVC 또는 HEVC로 제한되지 않고, 오히려 본 발명이 부분적으로 또는 완전히 실현될 수 있는 최정상 부분에서 한 가지 가능한 기준에 대해 설명된다.
초기의 많은 비디오 코딩 표준에 유사하게, 비트스트림 신택스 및 시맨틱뿐만 아니라 오류 없는 비트스트림을 위한 디코딩 프로세스가 H.264/AVC 및 HEVC에서 명시되어 있다. 인코딩 프로세스는 명시되어 있지 않지만, 인코더는 규칙을 따르는 비트스트림을 발생하여야 한다. 비트스트림 및 디코더 적합성은 가상 참조 디코더(Hypothetical Reference Decoder (HRD))를 이용하여 확인될 수 있다. 표준들은 전송 오류 및 손실에 대처하는데 도움이 되는 코딩 툴을 포함하고 있지만, 인코딩 시에 툴의 사용은 선택사양이며 오류가 발생한 비트스트림의 처리를 위한 아무런 디코딩 프로세스도 명시되어 있지 않다.
H.264/AVC 또는 HEVC 인코더로의 입력 및 H.264/AVC 또는 HEVC 디코더의 출력에 대한 기본 유닛은 각기 픽처이다. H.264/AVC에서, 픽처는 프레임이거나 필드일 수 있다. HEVC의 현재 작업 초안에서, 픽처는 프레임이다. 프레임은 루마 샘플들(luma samples) 및 대응하는 크로마 샘플들(chroma samples)의 매트릭스를 포함한다. 소스 신호가 인터레이스될 때, 필드는 프레임의 교번적인 샘플 로우들(alternate sample rows)의 세트이며 인코더 입력으로서 사용될 수 있다. 크로마 픽처는 루마 픽처에 비교될 때 서브샘플될 수 있다. 예를 들면, 4:2:0 샘플링 패턴에서, 크로마 픽처의 공간 해상도는 두 좌표 축을 따라서 있는 루마 픽처의 공간 해상도의 절반이다.
H.264/AVC에서, 매크로블록은 루마 샘플들의 16x16 블록 및 크로마 샘플들의 대응 블록이다. 예를 들면, 4:2:0 샘플링 패턴에서, 매크로블록은 각 크로마 컴포넌트 당 크로마 샘플들의 하나의 8x8 블록을 포함한다. H.264/AVC에서, 픽처는 하나 이상의 슬라이스 그룹으로 분할되고, 슬라이스 그룹은 하나 이상의 슬라이스들을 포함하고 있다. H.264/AVC에서, 슬라이스는 특정한 슬라이스 그룹 내에서 래스터 스캔 순서로 연속하는 정수개의 매크로블록들로 이루어진다.
초안의 HEVC 표준에서, 비디오 픽처는 픽처의 영역을 다루는 코딩 유닛들(coding units (CU))로 분할된다. CU는 그 CU 내 샘플들에 대한 예측 프로세스를 정의하는 하나 이상의 예측 유닛들(prediction units (PU)) 및 그 CU 내 샘플들에 대한 예측 오차 코딩 프로세스를 정의하는 하나 이상의 변환 유닛들(transform units (TU))로 구성된다. 전형적으로, CU는 가능한 CU 크기들의 사전 정의된 세트에서 선택 가능한 하나의 크기를 갖는 샘플들의 정방형 블록으로 구성된다. 최대로 허용된 크기를 갖는 CU는 통상 LCU((largest coding unit: 최대 코딩 유닛)라고 명명되며 비디오 픽처는 중첩하지 않는 LCU들로 분할된다. LCU는, 예를 들면, LCU 및 결과적인 CU들을 반복적으로 나눔으로써 더 작은 CU들의 조합으로 더 나누어질 수 있다. 각각의 결과적인 CU는 전형적으로 적어도 하나의 PU 및 그와 연관된 적어도 하나의 TU를 갖는다. 각각의 PU 및 TU는 각기 예측 프로세스 및 예측 오류 코딩 프로세스의 그래뉴래러티(granularity)를 증가시키기 위해 더 작은 PU 및 TU로 더 나누어질 수 있다. PU로 나누는 작업은 CU를 네 개의 동일한 크기의 정방형 PU로 나누거나 또는 CU를 대칭 또는 비대칭 방식으로 수직 또는 수평으로 두 개의 직사각형 PU로 나눔으로써 실시될 수 있다. 이미지를 CU로 분할하는 작업과, CU를 PU 및 TU로 분할하는 작업은 일반적으로 비트스트림에서 시그널되어 디코더로 하여금 이들 유닛들의 의도된 구조를 재생할 수 있게 한다.
초안의 HEVC 표준에서, 픽처는 타일들로 분할될 수 있으며, 이 타일들은 직사각형이고 정수개의 LCU들을 포함하고 있다. HEVC의 현재 작업 초안에서, 타일들로의 분할은 규칙적인 그리드를 형성하는데, 여기서 타일들의 높이와 폭은 최대로 하나의 LCU만큼씩 서로 다르다. 초안 HEVC에서, 슬라이스는 정수개의 CU들로 구성된다. CU들은 타일들 내 또는 타일들이 사용 중이 아닌 경우에는 픽처들 내에서 LCU들의 래스터 스캔 순서대로 스캔된다. LCU 내에서, CU들은 특정한 스캔 순서를 갖는다.
HEVC의 작업 초안(Working Draft (WD)) 5에서, 픽처 분할을 위한 몇 가지 주요 정의 및 개념은 다음과 같이 정의된다. 분할이라는 것은 한 세트를 서브세트들로 나누는 것으로서 정의되며, 그래서 그 세트의 각 요소는 서브세트들 중 정확히 한 서브세트이다.
HEVC WD5의 기본 코딩 유닛은 트리블록(treeblock)이다. 트리블록은 세 개의 샘플 어레이를 갖는 픽처의 루마 샘플들의 NxN 블록 및 크로마 샘플들의 두 대응 블록들이거나, 아니면 모노크롬 픽처 또는 세 개의 개별 컬러 평면을 이용하여 코딩된 픽처의 샘플들의 NxN 블록이다. 트리블록은 상이한 코딩 및 디코딩 프로세스를 위해 분할될 수 있다. 트리블록 분할은 세 개의 샘플 어레이를 갖는 픽처의 한 트리블록을 분할한 결과로 루마 샘플들의 한 블록 및 크로마 샘플들의 대응하는 두 블록이 생기거나 아니면 모노크롬 픽처 또는 세 개의 별개 컬러 플랜을 이용하여 코딩된 픽처의 한 트리블록을 분할한 결과로 루마 샘플들의 한 블록이 생긴다. 각각의 트리블록에는 인트라 또는 인터 예측을 위한 그리고 변환 코딩을 위한 블록 크기를 식별하는 분할 시그널링(partition signalling)이 할당된다. 분할 작업은 반복적 쿼드트리 분할 작업(recursive quadtree partitioning)이다. 쿼드트리의 루트는 트리블록과 연관되어 있다. 쿼드트리는 코딩 노드라고 지칭하는 리프(leaf)에 도달할 때까지 나누어진다. 코딩 노드는 두 개의 트리, 예측 트리 및 변환 트리의 루트 노드이다. 예측 트리는 예측 블록들의 위치 및 크기를 명시한다. 예측 트리 및 연관된 예측 데이터는 예측 유닛이라고 지칭된다. 변환 트리는 변환 블록들의 위치 및 크기를 명시한다. 변환 트리 및 연관된 변환 데이터는 변환 유닛이라고 지칭된다. 루마 및 크로마에 대한 나눔 정보는 예측 트리의 나눔 정보와 동일하며 변환 트리에 대한 나눔 정보와는 같을 수도 같지 않을 수도 있다. 코딩 노드 및 연관된 예측 및 변환 유닛들은 함께 코딩 유닛을 형성한다.
HEVC WD5에서, 픽처는 슬라이스들과 타일들로 분리된다. 슬라이스는 트리블록들의 시퀀스일 수 있지만 (소위 미세 그래뉼러 슬라이스를 말하는 경우에는) 변환 유닛 및 예측 유닛이 일치하는 위치에 있는 트리블록 내에서 그의 경계를 가질 수도 있다. 슬라이스 내 트리블록들은 래스터 스캔 순서대로 코딩되고 디코딩된다. 일차 코딩된 픽처의 경우, 각 픽처의 슬라이스로의 분리는 분할작업이라 한다.
HEVC WD5에서, 타일은 그 타일 내 래스터 스캔 순서로 연속하는, 하나의 컬럼 및 하나의 로우에서 동시 나타나는 정수개의 트리블록들로서 정의된다. 일차 코딩된 픽처의 경우, 각 픽처의 타일로의 분리는 분할작업이다. 타일들은 픽처 내에서 래스터 스캔의 순서로 연속된다. 비록 하나의 슬라이스가 타일 내에서 래스터 스캔으로 연속하는 트리블록들을 포함할지라도, 이들 트리블록들은 반드시 픽처 내에서 래스터 순서로 연속할 필요는 없다. 슬라이스들 및 타일들은 트리블록들의 동일한 시퀀스를 포함할 필요는 없다. 타일은 하나 보다 많은 슬라이스에 포함된 트리블록들을 포함할 수 있다. 유사하게, 슬라이스는 여러 타일들에 포함된 트리블록들을 포함할 수 있다.
H.264/AVC 및 HEVC에서, 인-픽처 예측(in-picture prediction)은 슬라이스 경계 전체에서 디스에이블될 수 있다. 그래서, 슬라이스들은 코딩된 픽처를 독립적으로 디코딩 가능한 조각들로 나누는 방식이라고 간주될 수 있으며, 그런 까닭에 슬라이스들은 전송을 위한 기본 유닛(elementary unit)으로 간주된다. 많은 사례에서, 인코더는 인-픽처 예측의 어느 형태가 슬라이스 경계들 전체에서 턴오프될지를 비트스트림 내에 표시할 수 있으며, 디코더는 예를 들어 예측 소스들을 사용할 수 있다고 결론지을 때 이 정보를 고려하여 동작한다. 예를 들면, 만일 이웃하는 매크로블록 또는 CU가 다른 슬라이스 내에 상주한다면, 그 이웃하는 매크로블록 또는 CU의 샘플들은 인트라 예측에서 이용할 수 없는 것이라고 간주될 수 있다.
신택스 요소는 비트스트림에서 표현된 데이터의 요소로서 정의될 수 있다. 신택스 구조는 비트스트림에서 특정한 순서로 함께 존재하는 0 개 이상의 신택스 요소들로서 정의될 수 있다.
H.264/AVC 또는 HEVC 인코더의 출력 및 H.264/AVC 또는 HEVC 디코더의 입력의 기본 유닛은 각기 네트워크 추상 계층(Network Abstraction Layer (NAL)) 유닛이다. 패킷-중심 네트워크를 통해 전송하거나 구조화된 파일로 저장하는 경우, NAL 유닛은 패킷 또는 유사한 구조로 캡슐화될 수 있다. 비트스트림 포맷은 프레이밍 구조를 제공하지 않는 전송 또는 저장 환경을 위해 H.264/AVC 및 HEVC에서 정의되었다. 비트스트림 포맷은 각 NAL 유닛의 앞 단에다 시작 코드를 붙임으로써 NAL 유닛들을 서로 분리시킨다. NAL 유닛 경계의 오검출을 회피하기 위하여, 인코더는 바이트-중심의 시작 코드 에뮬레이션 방지 알고리즘(byte-oriented start code emulation prevention algorithm)을 가동하는데, 이 알고리즘은 그렇지 않고 시작 코드가 발생했을 경우 에뮬레이션 방지 바이트를 NAL 유닛 패이로드에 첨가한다. 패킷-중심 시스템과 스트림-중심 시스템 사이에서 게이트웨이를 복잡하지 않게 동작할 수 있도록 하기 위하여, 비트스트림 포맷이 사용 중이든 그렇지 않든 간에 시작 코드 에뮬레이션 방지가 항시 수행될 수 있다.
NAL 유닛은 헤더와 패이로드로 구성된다. H.264/AVC 및 HEVC에서, NAL 유닛 헤더는 NAL 유닛의 형태를 표시하며 또한 NAL 유닛으로 포함된 코딩된 슬라이스가 참조 픽처(reference picture) 또는 비-참조 픽처(non-reference picture)의 일 부분인지의 여부를 표시한다. H.264/AVC은 2-비트 nal_ref_idc 신택스 요소를 포함하는데, 이 요소는 0일 때는 NAL 유닛에 포함된 코딩된 슬라이스가 비-참조 픽처의 일부분이라는 것을 표시하며 0보다 클 때는 NAL 유닛에 포함된 코딩된 슬라이스가 참조 픽처의 일부분이라는 것을 표시한다. 초안 HEVC은 nal_ref_flag 라고도 알려진 1-비트 nal_ref_idc 신택스 요소를 포함하는데, 이 요소는 0일 때는 NAL 유닛에 포함된 코딩된 슬라이스가 비-참조 픽처의 일부분이라는 것을 표시하며 1일 때는 NAL 유닛에 포함된 코딩된 슬라이스가 참조 픽처의 일부분이라는 것을 표시한다. SVC 및 MVC NAL 유닛의 헤더는 스케일러빌리티 및 다시점 계층에 관련된 각종 표시를 부가적으로 포함할 수 있다. HEVC에서, NAL 유닛 헤더는 NAL 유닛에 대한 임시 식별자를 명시하는 temporal_id 신택스 요소를 포함한다. 선택된 값보다 크거나 같은 temporal_id를 갖는 모든 VCL NAL 유닛을 제외하고 모든 다른 VCL NAL 유닛을 포함시킴으로써 생성된 비트스트림은 규칙을 그대로 따른다. 그 결과, TID와 같은 temporal_id를 갖는 픽처는 TID보다 큰 temporal_id를 갖는 임의의 픽처를 인터 예측 기준으로서 사용하지 못한다. 초안의 HEVC에서, 참조 픽처 리스트의 초기화는 "참조용으로 사용됨"이라고 표시되어 있으면서 현재 픽처의 temporal_id 보다 작거나 같은 temporal_id를 갖는 참조 픽처만으로 제한된다.
NAL 유닛은 비디오 코딩 계층(Video Coding Layer (VCL)) NAL 유닛 및 논(non)-VCL NAL 유닛으로 분류될 수 있다. 통상적으로 VCL NAL 유닛은 코딩된 슬라이스 NAL 유닛이다. H.264/AVC에서, 코딩된 슬라이스 NAL 유닛은 하나 이상의 코딩된 매크로블록들을 나타내는 신택스 요소를 포함하며, 각각의 매크로블록은 압축되지 않은 픽처 내 샘플들의 블록에 대응한다. HEVC에서, 코딩된 슬라이스 NAL 유닛은 하나 이상의 CU를 나타내는 신택스 요소를 포함한다. H.264/AVC 및 HEVC 에서, 코딩된 슬라이스 NAL 유닛은 순간 디코딩 리플레시(Instantaneous Decoding Refresh (IDR)) 픽처에서 코딩된 슬라이스 또는 논(none)-IDR 픽처에서 코딩된 슬라이스라고 표시될 수 있다. HEVC 에서, 코딩된 슬라이스 NAL 유닛은 클린 디코딩 리플레시(Clean Decoding Refresh (CDR)) 픽처(클린 랜덤 액세스(Clean Random Access) 픽처라고도 지칭될 수 있음)에서 코딩된 슬라이스라고 표시될 수 있다.
논-VCL NAL 유닛은 예를 들어 다음과 같은 유형 중 하나일 수 있다. 즉, 시퀀스 파라미터 세트, 픽처 파라미터 세트, 보충 강화 정보(supplemental enhancement information (SEI)) NAL 유닛, 액세스 유닛 구분자(access unit delimiter), 시퀀스 NAL 유닛의 끝, 스트림 NAL 유닛의 끝, 또는 필러 데이터(filler data) NAL 유닛. 파라미터 세트는 디코딩된 픽처의 재구성에 필요할 수 있는 반면, 다른 논-VCL NAL 유닛 중 많은 것이 디코딩된 샘플 값들의 재구성에는 필요하지 않다.
코딩된 비디오 시퀀스를 통해 변동없이 남아 있는 파라미터는 시퀀스 파라미터 세트에 포함될 수 있다. 디코딩 프로세스에 필수적일 수 있는 파라미터 이외에도, 시퀀스 파라미터 세트는 선택사양으로 비디오 유용성 정보(video usability information (VUI))를 포함할 수 있는데, 이 정보는 버퍼링, 픽처 출력 타이밍, 렌더링, 및 자원 예약을 하는데 중요할 수 있는 파라미터를 포함한다. H.264/AVC에서는 시퀀스 파라미터 세트를 전달하기 위해 명시된 세 개의 NAL 유닛, 즉, 시퀀스에서 H.264/AVC VCL NAL 유닛의 모든 데이터를 포함하는 시퀀스 파라미터 세트 NAL 유닛, 보조 코딩된 픽처의 데이터를 포함하는 시퀀스 파라미터 세트 확장 NAL 유닛, 그리고 MVC 및 SVC NAL 유닛에 대한 서브세트 시퀀스 파라미터 세트가 있다. 픽처 파라미터 세트는 여러 코딩된 팍처에서 변하지 않을 것 같은 그러한 파라미터를 포함한다.
초안 HEVC 에서, 또한 본 출원에서 적응 파라미터 세트(Adaptation Parameter Set (APS))이라 지칭되는, 여러 코딩된 슬라이스에서 아마도 변동없을 파라미터를 포함하는 제3 형태의 파라미터 세트가 있다. 초안 HEVC에서, APS 신택스 구조는 콘텍스트-기반 적응 이진 산술 코딩(context-based adaptive binary arithmetic coding (CABAC)), 적응 샘플 오프셋, 적응 루프 필터링, 및 디블록킹 필터링과 관련된 파라미터들이나 신택스 요소들을 포함한다. 초안 HEVC에서, APS는 NAL 유닛이며 기준 또는 어느 다른 NAL 유닛으로부터의 예측 없이 코딩된다. aps_id 신택스 요소라고 지칭되는 식별자는 APS NAL 유닛에 포함되며, 또한 특정 APS를 참조하는 슬라이스 헤더에 포함되어 사용된다.
H.264/AVC 및 HEVC 신택스는 파라미터 세트들의 많은 인스턴스를 허용하며, 각각의 인스턴스는 고유 식별자로 식별된다. H.264/AVC에서, 각각의 슬라이스 헤더는 슬라이스를 포함하는 픽처의 디코딩을 위해 유효 상태에 있는 픽처 파라미터의 식별자를 포함하며, 각각의 픽처 파라미터 세트는 유효한 시퀀스 파라미터 세트의 식별자를 포함한다. 그 결과, 픽처 및 시퀀스 파라미터 세트의 전송은 정확하게 슬라이스들의 전송과 동기화되지 않아도 된다. 그 대신, 유효 시퀀스 및 픽처 파라미터 세트는 이들이 참조되기 전 어느 순간에 수신되기만 하면 충분하며, 이것은 슬라이스 데이터 용도로 사용된 프로토콜과 비교하여 더욱 신뢰성 있는 전송 메커니즘을 이용한 파라미터 세트의 "대역 외" 전송이 가능해진다. 예를 들어, 파라미터 세트는 실시간 전송 프로토콜(Real-time Transport Protocol (RTP)) 세션 동안 세션 디스크립션 내에 파라미터로서 포함될 수 있다. 만일 파라미터 세트가 대역 내에서 전송되면, 이 세트는 오류 강인성을 개선하기 위해 반복 전송될 수 있다.
SEI NAL 유닛은 하나 이상의 SEI 메시지를 포함할 수 있는데, 이 메시지는 출력 픽처의 디코딩에 필요하지 않고, 픽처 출력 타이밍, 렌더링, 오류 검출, 오류 은닉, 및 자원 예약과 같은 관련된 프로세스에서 도움을 준다. H.264/AVC 및 HEVC에는 여러 SEI 메시지가 명시되어 있으며, 사용자 데이터 SEI 메시지는 조직 및 회사가 자체적인 사용을 위해 SEI 메시지를 명시하게 할 수 있다. H.264/AVC 및 HEVC은 명시된 SEI 메시지에 대한 신택스 및 시맨틱을 포함하지만, 수신 측에는 그 메시지를 다루기 위한 어느 프로세스도 정의되어 있지 않다. 그러므로, 인코더는 SEI 메시지를 생성할 때 H.264/AVC 표준 또는 HEVC 표준을 따르는 것이 필요하며, H.264/AVC 표준 또는 HEVC 표준에 순응하는 디코더는 출력 순서 적합성을 위해 SEI 메시지를 처리하는 것이 필요치 않다. SEI 메시지의 신택스 및 시맨틱을 H.264/AVC 및 HEVC에 포함시키는 이유들 중 하나는 상이한 시스템 사양들이 보충 정보를 동일하게 해석하고 그래서 연동할 수 있게 해주는 것이다. 이것은 시스템 사양이 두 인코딩 측 및 디코딩 측에서 특정 SEI 메시지의 사용을 요구할 수 있고, 또한 특정 SEI 메시지를 수신 측에서 다루기 위한 프로세스가 명시될 수 있는 것으로 의도된다.
코딩된 픽처는 픽처의 코딩된 표현이다. H.264/AVC에서 코딩된 픽처는 픽처의 디코딩에 필요한 VCL NAL 유닛을 포함한다. H.264/AVC에서, 코딩된 픽처는 일차 코딩된 픽처(primary coded picture) 또는 리던던트 코딩된 픽처(redundant coded picture)일 수 있다. 일차 코딩된 픽처는 유효 비트스트림의 디코딩 프로세스에서 사용되는 반면, 리던던트 코딩된 픽처는 일차 코딩된 픽처가 성공적으로 디코딩될 수 없을 때 디코딩만이라도 되어야 하는 리던던트 표현이다. 초안 HEVC에서, 아무런 리던던트 코딩된 픽처도 명시되어 있지 않다.
H.264/AVC 및 HEVC에서, 액세스 유닛은 일차 코딩된 픽처 및 이와 연관된 NAL 유닛을 포함한다. H.264/AVC에서, 액세스 유닛 내에서 NAL 유닛의 출현 순서는 다음과 같이 제한된다. 선택사양의 액세스 유닛 구분자 NAL 유닛은 액세스 유닛의 시작을 표시할 수 있다. 이것 다음에는 0개 이상의 SEI NAL 유닛이 이어진다. 일차 코딩된 픽처의 코딩된 슬라이스들은 다음에 나온다. H.264/AVC에서, 일차 코딩된 픽처의 코딩된 슬라이스 다음에는 0개 이상의 리던던트 코딩된 픽처의 코딩된 슬라이스들이 나올 수 있다. 리던던트 코딩된 픽처는 픽처 또는 픽처의 일부분의 코딩된 표현이다. 리던던트 코딩된 픽처는 일차 코딩된 픽처가 예를 들어 전송시의 손실 또는 물리적인 저장 매체의 손상으로 인해 디코더에서 수신되지 못한 경우에 디코딩될 수 있다.
H.264/AVC에서, 액세스 유닛은 또한 보조 코딩된 픽처(auxiliary coded picture)를 포함할 수 있는데, 이 픽처는 일차 코딩된 픽처를 보충하며 그리고 예를 들어 디스플레이 프로세스에서 사용될 수 있는 픽처이다. 보조 코딩된 픽처는 예를 들어 디코딩된 픽처 내 샘플들의 투명도(transparency level)를 명시하는 알파 채널 또는 알파 플레인으로서 사용될 수 있다. 알파 채널 또는 알파 플레인은 적어도 부분적으로 투명해지는 픽처들을 서로의 상단에 중첩시킴으로써 출력 픽처가 형성되는 계층 구성 또는 렌더링 시스템에서 사용될 수 있다. 보조 코딩된 픽처는 모노크롬 리던던트 코딩된 픽처와 동일한 신택스 및 시맨틱 제약을 갖는다. H.264/AVC에서, 보조 코딩된 픽처는 일차 코딩된 픽처와 동일한 개수의 매크로블록을 포함한다.
코딩된 비디오 시퀀스는 IDR 액세스 유닛을 포함하여 이 유닛부터 다음 IDR 액세스 유닛을 제외하여 이 유닛까지, 또는 비트스트림의 끝까지의, 어느 것이든 먼저 나오는, 디코딩 순서에서 연속하는 액세스 유닛들의 시퀀스로 정의된다.
픽처 그룹(GOP) 및 그의 특성은 다음과 같이 정의될 수 있다. GOP는 어느 이전의 픽처가 디코딩되었는지와 무관하게 디코딩될 수 있다. 오픈 GOP(open GOP)는 디코딩이 오픈 GOP의 처음 인트라 픽처에서 시작할 경우에 출력 순서에서 처음의 인트라 픽처에 선행하는 픽처가 정확하게 디코딩될 수 없을 수도 있는 그런 픽처 그룹이다. 다시 말해서, 오픈 GOP의 픽처는 (인터 예측에서) 이전의 GOP에 속하는 픽처를 참조할 수 있다. H.264/AVC 디코더는 H.264/AVC 비트스트림에서 복구 포인트 SEI 메시지로부터 오픈 GOP를 시작하는 인트라 픽처를 인식할 수 있다. HEVC 디코더는 오픈 GOP를 시작하는 인트라 픽처를 인식할 수 있는데, 이것은 특정한 NAL 유닛 형태, 즉 CDR NAL 유닛 형태가 그의 코딩된 슬라이스 용도로 사용되기 때문이다. 클로즈드 GOP(closed GOP)는 디코딩이 클로즈드 GOP의 처음 인트라 픽처에서 시작할 경우에 모든 픽처가 정확하게 디코딩될 수 없는 그러한 픽처 그룹이다. 다시 말해서, 클로즈드 GOP 내 픽처는 이전 GOP 내 어느 픽처도 참조하지 못한다. H.264/AVC 및 HEVC에서, 클로즈드 GOP는 IDR 액세스 유닛에서부터 시작한다. 그 결과로서, 클로즈드 GOP 구조는 오픈 GOP 구조와 비교하여 잠재적으로 더 많은 오류 내성을 갖게 되나, 그 대가로 아마도 압축 효율이 저하된다. 오픈 GOP 코딩 구조는 참조 픽처의 선택 시 융통성이 더 많아지므로 압축 시 잠재적으로 더 효율적이다.
H.264/AVC 및 HEVC의 비트스트림 신택스는 특정 픽처가 임의의 다른 픽처의 인터 예측을 위한 참조 픽처인지의 여부를 표시한다. 임의의 코딩 형태(I, P, B)의 픽처는 H.264/AVC 및 HEVC에서 참조 픽처 또는 비-참조 픽처일 수 있다. NAL 유닛 헤더는 NAL 유닛의 형태를 표시하며 또한 NAL 유닛에 포함된 코딩된 슬라이스가 참조 픽처 또는 비-참조 픽처의 일부분인지의 여부를 표시한다.
H.264/AVC 및 HEVC을 포함하여, 많은 하이브리드 비디오 코덱은 비디오 정보를 두 가지 국면에서 인코딩한다. 첫번째 국면에서, 소정 픽처 영역 또는 "블록" 내 픽셀 또는 샘플 값이 예측된다. 이들 픽셀 또는 샘플 값은, 예를 들면, 코딩되는 블록에 밀접하게 대응하는 이전에 인코딩된 비디오 프레임들 중 한 프레임 내에서 영역을 찾아 표시하는 과정을 포함하는, 움직임 보상 메커니즘에 의해 예측될 수 있다. 또한, 픽셀 또는 샘플 값은 공간 구역 관계를 찾고 표시하는 과정을 포함하는 공간 메커니즘에 의해 예측될 수 있다.
이전에 코딩된 이미지로부터의 이미지 정보를 이용하는 예측 접근법은 시간 예측 및 움직임 보상이라고도 지칭될 수 있는 인터 예측 방법이라고도 말한다. 동일한 이미지 내의 이미지 정보를 이용하는 예측 접근법은 인트라 예측 방법이라고도 말한다.
두 번째 국면은 예측된 픽셀 또는 샘플 블록과 원 픽셀 또는 샘플 블록 사이의 오차를 코딩하는 국면이다. 이것은 명시된 변환을 이용하여 픽셀 또는 샘플 값의 차를 변환함으로써 성취될 수 있다. 이러한 변환은 이산 코사인 변환(DCT) 또는 그 변형일 수 있다. 차를 변환한 후, 변환된 차는 양자화되고 엔트로피 인코딩된다.
양자화 프로세스의 충실도를 변화시킴으로써, 인코더는 픽셀 또는 샘플 표현의 정확도(즉, 픽처의 시각적 품질)와 결과적으로 인코딩된 비디오 표현의 크기(즉, 파일 크기 또는 전송 비트율) 간의 균형을 제어할 수 있다.
디코더는 (인코더에 의해 생성되어 이미지의 압축된 표현으로 저장된 움직임 또는 공간 정보를 이용하여) 픽셀 또는 샘플 블록의 예측된 표현을 형성하기 위하여 인코더에 의해 사용된 예측 메커니즘과 유사한 예측 메커니즘과 예측 오류 디코딩(공간 도메인에서 양자화된 예측 오차 신호를 복구하는 예측 오류 코딩의 역 동작)을 적용함으로써 출력 비디오를 재구성한다.
픽셀 또는 샘플 예측 및 오차 디코딩 프로세스를 적용한 후, 디코더는 예측 및 예측 오차 신호(픽셀 또는 샘플 값)을 결합하여 출력 비디오 프레임을 형성한다.
디코더(및 인코더)는 또한 출력 비디오의 품질을 개선하기 위하여 부가적인 필터링 프로세스를 적용한 다음 출력 비디오를 디스플레이를 위해 전달하며 그리고/또는 비디오 시퀀스에서 다음에 오는 픽처를 위한 예측 기준으로서 저장할 수 있다.
H.264/AVC 및 HEVC을 비롯한, 많은 비디오 코덱에서, 움직임 정보는 각각의 움직임 보상된 이미지 블록과 연관된 움직임 벡터로 표시된다. 이러한 움직임 벡터는 각기 (인코더에서) 코딩될 또는 (디코더에서) 디코딩될 이미지 블록과 이전에 코딩된 또는 디코딩된 이미지(또는 픽처) 중 하나에서 예측 소스 블록의 변위를 나타낸다. H.264/AVC 및 HEVC은 다른 많은 비디오 압축 표준처럼, 픽처를 사각형들의 메시로 분리하는데, 각 사각형 마다 참조 픽처들 중 한 픽처 내 유사 블록이 인터 예측을 위해 표시된다. 예측 블록의 위치는 코딩되는 블록에 대한 예측 블록의 위치를 표시하는 움직임 벡터처럼 코딩된다.
인터 예측 프로세스는 다음과 같은 인자들 중 하나 이상을 이용하는 것을 특징으로 할 수 있다.
움직임 벡터 표현의 정확성. 예를 들면. 움직임 벡터는 ¼ 픽셀 정확도(quarter-pixel accuracy)를 가질 수 있으며, 부분-픽셀 위치에서 샘플 값은 유한 임펄스 응답(FIR) 필터를 이용하여 구할 수 있다.
인터 예측을 위한 블록 분할. H.264/AVC 및 HEVC을 비롯한, 많은 코딩 표준은 인코더에서 움직임-보상된 예측을 위해 움직임 벡터가 적용되는 블록의 크기 및 형상을 선택할 수 있게 하며, 또한 디코더가 인코더에서 수행된 움직임-보상된 예측을 재생할 수 있도록 비트스트림에서 선택된 크기 및 형상을 표시할 수 있게 해준다.
인터 예측을 위한 참조 픽처의 개수. 인터 예측의 소스는 이전에 디코딩된 픽처이다. H.264/AVC 및 HEVC을 비롯한, 많은 코딩 표준은 블록 기준으로 사용된 참조 픽처의 인터 예측과 선택을 위한 복수개의 참조 픽처를 저장할 수 있다. 예를 들면, 참조 픽처는 H.264/AVC에서는 매크로블록 또는 매크로블록 분할 기준으로 그리고 HEVC에서는 PU 또는 CU 기준으로 선택될 수 있다. H.264/AVC 및 HEVC과 같은 많은 코딩 표준은 디코더가 하나 이상의 참조 픽처 리스트를 생성할 수 있게 해주는 비트스트림 내 신택스 구조를 포함한다. 참조 픽처 리스트에 대한 참조 픽처 인덱스는 복수개 참조 픽처들 중 어느 픽처가 특정 블록에 대한 인터 예측을 위해 사용되는지를 표시하기 위해 사용될 수 있다. 참조 픽처 인덱스는 몇몇 인터 코딩 모드에서 인코더에 의해 비트스트림으로 코딩될 수 있거나 또는 몇몇 다른 인터 코딩 모드에서 예를 들면 이웃하는 블록을 이용하여 (인코더 및 디코더에 의해) 유도될 수 있다.
움직임 벡터 예측. 비트스트림에서 효과적으로 움직임 벡터를 표현하기 위하여, 움직임 벡터는 블록-별 예측된 움직임 벡터에 대하여 상이하게 코딩될 수 있다. 많은 비디오 코덱에서, 예측된 움직임 벡터는 사전에 정의된 방식으로, 예를 들면, 인접 블록들의 인코딩된 또는 디코딩된 움직임 벡터의 중간값을 계산함으로써 생성된다. 움직임 벡터 예측을 생성하는 다른 방식은 시간적 참조 픽처 내 인접 블록 및/또는 공존(co-located) 블록으로부터 후보 예측들의 리스트를 만들고 선택한 후보를 움직임 벡터 예측기(motion vector predictor)로서 시그널링하는 것이다. 움직임 벡터 값을 예측하는 것 이외에도, 이전에 코드된/디코딩된 픽처의 기준 인덱스가 예측될 수 있다. 기준 인덱스는 통상 시간적 참조 픽처 내 인접 블록 및/또는 공존 블록으로부터 예측된다. 움직임 벡터의 차분 코딩은 전형적으로 슬라이스 바운더리에서 디스에이블된다.
다중-가설 움직임-보상된 예측( Multi - hypothesis motion - compensated prediction). H.264/AVC 및 HEVC는 P 슬라이스들(본 명세서에서 단방향-예측된 슬라이스들(uni-predictive slices)이라 지칭함) 내의 단일 예측 블록을 사용할 수 있게 하거나 또는 B 슬라이스들이라 지칭하는 양방향-예측 슬라이드들(bi-predictive slices)에 대한 두 움직임-보상된 예측 블록의 선형 결합(linear combination)을 사용할 수 있게 한다. B 슬라이스 내 개개의 블록은 양방향-예측, 단방향-예측 또는 인트라-예측될 수 있으며, P 슬라이스 내 개개의 블록은 단방향-예측 또는 인트라-예측될 수 있다. 양방향-예측 픽처에 대한 참조 픽처는 출력 순서에서 후속 픽처 및 이전 픽처가 되는 것이라고 제한되지 않고, 오히려 어느 참조 픽처라도 사용될 수 있다. H.264/AVC 및 HEVC과 같은 많은 코딩 표준에서, 참조 픽처 리스트 0라고 지칭하는 하나의 참조 픽처 리스트가 P 슬라이스에 대해 구축되며, 리스트 0 및 리스트 1이라는 두 참조 픽처 리스트가 B 슬라이스에 대해 구축된다. B 슬라이스의 경우, 순방향의 예측이 참조 픽처 리스트 0 내 참조 픽처로부터의 예측과 관련할 수 있고, 그리고 역방향의 예측이 참조 픽처 리스트 1 내 참조 픽처로부터의 예측과 관련할 수 있을 때, 설사 그럴지라도 예측에 필요한 참조 픽처들은 서로와 또는 현재 픽처와 디코딩 또는 출력 순서에서 관계가 있을 수 있다.
가중 예측( Weighted prediction ). 많은 코딩 표준은 인터(P) 픽처의 예측 블록 마다 그리고 B 픽처의 각 예측 블록 마다 1이라는 예측 가중치를 사용한다(결과적으로 평균화함). H.264/AVC은 P 및 B 슬라이스 둘 다에 대해 가중된 예측을 허용한다. 묵시적 가중 예측(implicit weighted prediction)에서, 가중치는 픽처 순서의 계수에 비례하는 한편, 명시적 가중 예측(explicit weighted prediction)에서, 예측 가중치는 명시적으로 표시된다.
많은 비디오 코덱에서, 움직임 보상 이후 예측 잔차(prediction residual)가 일차로 (DCT와 같은) 변환 커널로 변환된 다음 코딩된다. 그 이유는 종종 잔차 중에서 약간의 상관이 여전히 존재한다는 것이며 많은 사례에서 변환은 이러한 상관을 줄여주는데 도움이 될 수 있고 더욱 효과적인 코딩을 제공할 수 있다.
초안 HEVC에서, 각각의 PU는 그와 연관되고 어떤 종류의 예측이 그 PU 내 픽셀들에 적용될 것인지를 정의하는 예측 정보(예를 들면, 인터 예측된 PU의 움직임 벡터 정보 및 인트라 예측된 PU의 인트라 예측 방향성 정보)를 가지고 있다. 유사하게, 각각의 TU는 TU 내 샘플들의 예측 오차 디코딩 프로세스를 기술하는 (예를 들면, DCT 계수 정보를 비롯한) 정보와 연관된다. 예측 오차 코딩이 CU마다 적용될지 아닌지의 여부가 CU 레벨에서 시그널될 수 있다. CU와 연관된 예측 오차 잔차가 없는 경우, 이것은 CU에 대해 TU가 없다고 간주될 수 있다.
몇몇 코딩 포맷 및 코덱에서는 소위 단기간 참조 픽처(short-term reference picture)와 장기간 참조 픽처(long-term reference pictures)를 구별한다. 이러한 구별은 시간적 직접 모드(temporal direct mode) 또는 묵시적 가중 예측에서 움직임 벡터 스케일링과 같은 몇몇 디코딩 프로세스에 영향을 줄 수 있다. 만일 시간적 직접 모드에서 사용된 참조 픽처들이 둘 다 단기간 참조 픽처이면, 예측 시 사용된 움직임 벡터는 현재 픽처와 각각의 기준 픽처 사이의 픽처 순서 카운트(picture order count (POC))에 따라 조절될 수 있다. 그러나, 만일 시간적 직접 모드에서 적어도 하나의 참조 픽처가 장기간 참조 픽처이면, 움직임 벡터의 디폴트 스케일링이 사용될 수 있는데, 예를 들면, 움직임의 절반을 스케일링하는 작업이 사용될 수 있다. 유사하게, 만일 묵시적 가중 예측에서 단기간 참조 픽처가 사용되면, 예측 가중치는 현재 픽처의 POC와 참조 픽처의 POC 사이의 POC 차에 따라서 조절될 수 있다. 그러나, 만일 장기간 참조 픽처가 묵시적 가중 예측에서 사용되면, 양방향-예측된 블록에 대해 묵시적 가중된 예측에서 0.5와 같은 디폴트 예측 가중치가 사용될 수 있다.
H.264/AVC과 같은 몇몇 비디오 코딩 방식은 복수개 참조 픽처와 관련한 각종 디코딩 프로세스에서 사용되는 frame_num 신택스 요소를 포함한다. H.264/AVC에서, IDR 픽처의 frame_num의 값은 0이다. 논-IDR 픽처의 frame_num의 값은 1씩 증분되는 디코딩 순서에서 이전 참조 픽처의 frame_num와 같다(모듈로 산술에서, 즉 frame_num의 값은 frame_num의 최대 값 다음에 0과 겹친다).
H.264/AVC 및 HEVC은 픽처 순서 카운트(POC)의 개념을 포함한다. POC의 값은 각 픽처마다 유도되며 출력 순서에서 픽처 위치의 증가에 따라 줄어들지 않는다. 그러므로, POC는 픽처들의 출력 순서를 표시한다. POC는 디코딩 프로세스에서, 예를 들면, 양방향-예측 슬라이스의 시간적 직접 모드에서 움직임 벡터의 묵시적 스케일링을 위해, 가중화된 예측 시 묵시적으로 유도된 가중치를 위해, 그리고 참조 픽처 리스트 초기화를 위해 사용될 수 있다. 또한, POC는 출력 순서 적합성의 검증 시 사용될 수 있다. H.264/AVC에서, POC는 이전 IDR 픽처 또는 모든 픽처를 "참조용으로 사용되지 않음"으로 표기하는 메모리 관리 제어 동작을 담은 픽처에 대해 명시된다.
H.264/AVC은 디코더에서 메모리 소비량을 제어하기 위하여 디코딩된 참조 픽처를 표기하는 프로세스를 명시한다. 인터 예측에 사용된, M이라 불리는, 참조 픽처의 최대 개수는 시퀀스 파라미터 세트에서 정해진다. 참조 픽처가 디코딩될 때, "참조용으로 사용됨"이라고 표기된다. 만일 참조 픽처가 "참조용으로 사용됨"이라 표기된 M개 픽처보다 많이 디코딩되었다면, 적어도 하나의 픽처는 "참조용으로 사용되지 않음"이라고 표기된다. 디코딩된 참조 픽처를 표기하는 동작은 적응적 메모리 제어(adaptive memory control) 및 슬라이딩 윈도우(sliding window)라는 두 가지 형태가 있다. 디코딩된 참조 픽처를 표기하는 동작 모드는 픽처 기준으로 선택된다. 적응적 메모리 제어는 픽처를 "참조용으로 사용되지 않음"이라고 표기하는 명시적인 시그널링을 가능하게 하며 또한 장기간 인덱스를 단기간 참조 픽처에 할당할 수 있다. 적응적 메모리 제어는 비트스트림에서 메모리 관리 제어 동작(memory management control operation (MMCO)) 파라미터의 존재를 요구할 수 있다. MMCO 파라미터는 디코딩된 참조 픽처 표기 신택스 구조(decoded reference picture marking syntax structure)에 포함될 수 있다. 만일 슬라이딩 윈도우 동작 모드가 사용 중에 있고 M 픽처가 "참조용으로 사용됨"이라고 표기되어 있으면, "참조용으로 사용됨"이라 표기된 단기간 참조 픽처들 중 첫 디코딩된 픽처이었던 단기간 참조 픽처는 "참조용으로 사용되지 않음"이라고 표기된다. 다시 말해서, 슬라이딩 윈도우 동작 모드는 결과적으로 단기간 참조 픽처들이 선입선출 버퍼링 동작을 수행하게 만든다.
H.264/AVC에서 메모리 관리 제어 동작 중 한 가지는 현재 픽처를 제외한 모든 참조 픽처를 "참조용으로 사용되지 않음"이라고 표기되게 한다. 즉시 디코딩 리프레시(instantaneous decoding refresh (IDR)) 픽처는 인트라-코딩된 슬라이스들만을 가지고 있으며 참조 픽처에 대해 유사한 "리셋"을 일으킨다.
초안 HEVC에서, 참조 픽처 표기 신택스 구조 및 관련한 디코딩 프로세스는 참조 픽처 세트(reference picture set (RPS)) 신택스 구조로 대체되었으며 디코딩 프로세스는 유사한 목적을 위해 대신 사용된다. 픽처에 대한 참조 픽처 세트 유효 또는 활성(active)은 그 픽처에 대해 참조로서 사용된 모든 참조 픽처들 그리고 디코딩 순서에서 임의의 후속 픽처에 대해 "참조용으로 사용됨"이라고 표기된 채로 유지되는 모든 기준 픽체들 포함한다. 참조 픽처 세트에는 RefPicSetStCurrO, RefPicSetStCurrl, RefPicSetStFollO, RefPicSetStFolll, RefPicSetLtCurr, 및 RefPicSetLtFoll 라고 지칭하는 여섯 서브세트가 있다. 여섯 서브세트의 표기는 다음과 같다. "Curr"은 현재 픽처의 참조 픽처 리스트에 포함되어 있으며 그래서 현재 픽처의 인터 예측 참조로서 사용될 수 있는 참조 픽처를 말한다. "Foll"은 현재 픽처의 참조 픽처 리스트에는 포함되어 있지 않지만 디코딩 순서에서 후속 픽처에서 참조 픽처로서 사용될 수 있는 참조 픽처를 말한다. "St"는 단기간 참조 픽처를 말하는 것으로, 이 픽처는 일반적으로 이들의 POC 값의 최하위 비트들의 특정 개수를 통해 식별될 수 있다. "Lt"는 장기간 참조 픽처를 말하는 것으로, 이 픽처는 특별하게 식별되며 일반적으로는 최하위 비트들의 언급된 특정 개수로 표현될 수 있는 것보다 더 큰 차의 현재 픽셀에 대한 POC 값을 갖는다. "0"는 현재 픽처의 POC 값보다 작은 POC 값을 갖는 참조 픽처를 말한다. "1"은 현재 픽처의 POC 값보다 큰 POC 값을 갖는 참조 픽처를 말한다. RefPicSetStCurrO, RefPicSetStCurrl, RefPicSetStFollO 및 RefPicSetStFolll는 일괄하여 참조 픽처 세트의 단기간 서브세트라고 지칭된다. RefPicSetLtCurr 및 RefPicSetLtFoll는 일괄하여 참조 픽처 세트의 장기간 서브세트라고 지칭된다. 참조 픽처 세트는 픽처 파라미터 세트에서 명시될 수 있으며 참조 픽처 세트에 붙은 인덱스를 통해 슬라이스 헤더에서 사용할 것으로 고려될 수 있다. 참조 픽처 세트는 또한 슬라이스 헤더에서도 명시될 수 있다. 참조 픽처 세트의 장기간 서브세트는 일반적으로 슬라이스 헤더에서만 명시되며, 반면 동일 참조 픽처 세트의 단기간 서브세트는 픽처 파라미터 세트 또는 슬라이스 헤더에서 명시될 수 있다. 현재 슬라이스에 의해 사용된 참조 픽처 세트에 포함된 픽처는 "참조용으로 사용됨"이라고 표기되며, 현재 슬라이스에 의해 사용된 참조 픽처 세트에 포함되지 않은 픽처는 "참조용으로 사용되지 않음"이라고 표기된다. 만일 현재 픽처가 IDR 픽처이면, RefPicSetStCurrO, RefPicSetStCurrl, RefPicSetStFollO, RefPicSetStFolll, RefPicSetLtCurr, 및 RefPicSetLtFoll은 모두 엠프티(empty)로 설정된다.
디코딩된 픽처 버퍼(Decoded Picture Buffer (DPB))는 인코더에서 및/또는 디코더에서 사용될 수 있다. 디코딩된 픽처를 버퍼하는 두 가지 이유는 인터 예측에서 참조를 위한 것과 디코딩된 픽처를 출력 순서로 재정리하기 위함이다. H.264/AVC 및 HEVC은 참조 픽처 표기 및 출력 재정리 둘 다에 대해 상당한 융통성을 제공하고 있고, 참조 픽처 버퍼링 및 출력 픽처 버퍼링을 위한 개개의 버퍼는 메모리 자원을 소비할 수 있다. 그래서, DPB는 기준 픽처 및 출력 재정리를 위한 통일화된 디코딩된 픽처 버퍼링 프로세스를 포함할 수 있다. 디코딩된 픽처는 이 픽처가 더 이상 참조로서 사용되지 않고 출력에 필요하지 않을 때 DPB로부터 제거될 수 있다.
H.264/AVC 및 HEVC의 많은 코딩 모드에서, 인터 예측을 위한 참조 픽처는 참조 픽처 리스트에 붙은 인덱스로 표시된다. 인덱스는 CABAC 또는 가변 길이 코딩으로 코딩된다. 일반적으로, 인덱스가 작을 수록, 대응하는 신택스 요소는 더 짧을 수 있다. 두 참조 픽처 리스트(참조 픽처 리스트 0 및 참조 픽처 리스트 1)는 각각의 양방향-예측(B) 슬라이스마다 생성되며, 하나의 참조 픽처 리스트(참조 픽처 리스트 0)는 각각의 인터-코딩된 (P) 슬라이스마다 형성된다.
초안 HEVC 코덱과 같은 통상의 고 효율 비디오 코덱은 블록/PU의 모든 움직임 정보가 예측되고 어떤 변경/수정 없이도 사용되는, 종종 병합하는/병합 모드/프로세스/메커니즘이라 불리는 부가적인 움직임 정보 코딩/디코딩을 이용한다. 전술한 PU의 움직임 정보는 1) 'PU가 오직 참조 픽처 리스트 0만을 이용하여 단방향-예측되는지' 또는 'PU가 오직 참조 픽처 리스트 1만을 이용하여 단방향-예측되는지' 또는 'PU가 두 참조 픽처 리스트 0 및 리스트 1을 이용하여 양방향-예측되는지' 2) 참조 픽처 리스트 0에 대응하는 움직임 벡터 값, 3) 참조 픽처 리스트0에서 참조 픽처 인덱스, 4) 참조 픽처 리스트1에 대응하는 움직임 벡터 값, 5) 참조 픽처 리스트1에서 참조 픽처 인덱스의 정보를 포함한다. 유사하게, 움직임 정보를 예측하는 것은 시간적인 참조 픽처 내 인접 블록 및/또는 공존 블록의 움직임 정보를 이용하여 수행된다. 전형적으로, 종종 병합 리스트라 불리는 리스트는 이용가능한 인접/공존 블록과 연관된 움직임 예측 후보를 포함함으로써 구성되며 리스트 내에서 선택된 움직임 예측 후보의 인덱스는 시그널된다. 그런 다음, 선택된 후보의 움직임 정보는 현재 PU의 움직임 정보로 복사된다. 병합 메커니즘이 전체 CU에서 이용되고 CU의 예측 신호가 재구성 신호로서 사용될 때, 즉, 예측 잔차(prediction resudual)가 처리되지 않을 때, 이러한 형태로 CU를 코딩/디코딩하는 것은 통상적으로 스킵 모드 또는 병합 기반 스킵 모드라고 말한다. 스킵 모드이외에도, 병합 메커니즘은 또한 개개의 PU에도 이용되며(스킵 모드에서와 같이 반드시 전체 CU에 대해서는 아님) 이 경우, 예측 잔차는 예측 품질을 개선하기 위해 이용될 수 있다. 이러한 형태의 예측 모드는 전형적으로 인터-병합 모드(inter-merge mode)라고 말한다.
참조 픽처 리스트 0 및 참조 픽처 리스트 1과 같은 참조 픽처 리스트는 두 단계로 구성될 수 있다. 먼저, 초기의 참조 픽처 리스트가 생성된다. 초기의 참조 픽처 리스트는 예를 들면 frame_num, POC, temporal_id, 또는 GOP 구조 또는 이들의 임의의 조합과 같은 예측 계층에 관한 정보에 기초하여 생성될 수 있다. 두 번째로, 초기의 참조 픽처 리스트는 슬라이스 헤더에 포함된 참조 픽처 리스트 변경 신택스 구조(reference picture list modification syntax structure)라고도 알려진 참조 픽처 리스트 재정리(reference picture list reordering (RPLR)) 명령에 의해 재정리될 수 있다. RPLR 명령은 각각의 참조 픽처 리스트의 시작 부분에 순번되는 픽처를 표시한다. 이러한 두 번째 단계는 또한 참조 픽처 리스트 변경 프로세스라고도 지칭될 수 있으며 RPLR 명령은 참조 픽처 리스트 변경 신택스 구조에 포함될 수 있다. 만일 참조 픽처 세트가 사용되면, 참조 픽처 리스트 0은 먼저 RefPicSetStCurr0을, 그 다음에는 RefPicSetStCurrl을, 그 다음에는 RefPicSetLtCurr을 포함하기 위해 초기화될 수 있다. 참조 픽처 리스트 1은 먼저 RefPicSetStCurrl을, 그 다음에는 RefPicSetStCurrO을 포함하기 위해 초기화될 수 있다. 초기의 참조 픽처 리스트는 참조 픽처 리스트 변경 신택스 구조를 통해 변경될 수 있는데, 이 구조에서 초기의 참조 픽처 리스트 내 픽처는 리스트의 엔트리 인덱스를 통해 식별될 수 있다.
병합 리스트는 예를 들면, 슬라이스 헤더 신택스에 포함된 참조 픽처 리스트 조합 신택스 구조(reference picture lists combination syntax structure)를 이용하여 참조 픽처 리스트0 및/또는 참조 픽처 리스트 1에 근거하여 생성될 수 있다. 병합 리스트의 콘텐츠를 나타내는, 인코더에 의해 비트스트림으로 생성되고 디코더에 의해 비트스트림으로부터 디코딩될 수 있는 참조 픽처 리스트 조합 신택스 구조가 있을 수 있다. 신택스 구조는 참조 픽처 리스트 0 및 참조 픽처 리스트 1이 조합되어 단방향-예측되는 예측 유닛을 위해 사용되는 부가적인 참조 픽처 리스트 조합이 될 것임을 표시할 수 있다. 신택스 구조는, 플래그가 특정 값일 때, 참조 픽처 리스트 0 및 참조 픽처 리스트 1이 동일하고 그래서 참조 픽처 리스트 0이 참조 픽처 리스트 조합으로서 사용된다고 표시하는 플래그를 포함할 수 있다. 신택스 구조는 엔트리들의 리스트를 포함할 수 있는데, 각각의 엔트리는 참조 픽처 리스트(리스트0 및 리스트1) 및 명시된 리스트의 참조 인덱스를 명시하며, 여기서 엔트리는 참조 픽처가 병합 리스트에 포함될 것임을 명시한다.
디코딩된 참조 픽처 표시를 위한 신택스 구조는 비디오 코딩 시스템에서 존재할 수 있다. 예를 들면, 픽처의 디코딩이 완료되었을 때, 디코딩된 참조 픽처 표기 신택스 구조는, 만일 존재한다면, 픽처를 "참조용으로 사용되지 않음" 또는 장기간 참조용으로 사용됨"이라고 적응적으로 표기하는데 사용될 수 있다. 만일 참조 픽처 표기 신택스 구조가 존재하지 않고 "참조용으로 사용됨"이라고 표기된 픽처의 개수가 더 많이 증가하지 않았으면, (디코딩 순서에서) 가장 최초로 디코딩된 참조 픽처를 참조용으로 사용되지 않음이라고 표기하는 슬라이딩 윈도우 참조 픽처 마킹(sliding window reference picture marking)이 사용될 수 있다.
참조 픽처 리스트 신택스 구조(reference picture lists syntax structure)는 세 부분, 즉, P 및 B 슬라이스에 대한 참조 픽처 리스트0 설명, B 슬라이스에 대한 참조 픽처 리스트1 설명, 및 참조 픽처 리스트0 또는 1에 포함되지 않지만 여전히 "참조용으로 사용됨"이라 표기된 채로 유지되는 참조 픽처들을 포함하는 모든 슬라이스들에 대한 유휴 참조 픽처 리스트 설명을 포함할 수 있다. 다시 말해서, 예를 들면, 두 참조 픽처 표기 및 참조 픽처 리스트 구성을 위한 정보를 제공하는 (많은 대신) 하나의 신택스 구조가 있을 수 있다.
슬라이스의 코딩이 시작될 때, 참조 픽처 리스트 신택스 구조가 분석될 수 있다. P 및 B 슬라이스에 대해, 신택스 구조는 디코딩된 리스트0에 대한 참조 픽처 리스트 설명을 포함한다. 참조 픽처 리스트 설명 신택스 구조는 참조 픽처 리스트에서 출현하는 순서대로 픽처 순서 카운트(POC) 값으로 식별된 픽처들을 리스트할 수 있다. B 슬라이스의 경우, 참조 픽처 리스트 신택스 구조는 디코딩된, 리스트1에 대한 참조 픽처 리스트 설명을 포함할 수 있다.
참조 픽처 리스트 초기화 프로세스 및/또는 참조 픽처 리스트 변경 프로세스는 생략될 수 있으며, 참조 픽처 리스트는 신택스 구조에서 설명될 수 있다.
부가적으로 또는 그 대신에, 참조 픽처 리스트 신택스 구조는, 만일 존재한다면, 디코딩된 유휴 참조 픽처 리스트에 대한 참조 픽처 리스트 설명을 포함할 수 있다.
참조 픽처 리스트 중 어느 리스트에 존재하는 픽처는 "참조용으로 사용됨"이라고 표기될 수 있다. 어떠한 참조 리스트에도 존재하지 않는 픽처는 "참조용으로 사용되지 않음"이라고 표기될 수 있다.
다시 말해서, 참조 픽처 리스트 구성 및 참조 픽처 표기 프로세스 그리고 신택스 구조는 단일로 통일화된 프로세스 및 신택스 구조로 처리될 수 있다.
유휴 참조 픽처 리스트 내 참조 픽처가 참조 픽처 리스트 설명 신택스 구조에 의해 정해진 특정 순서를 가지고 있을지라도, 인코더가 유휴 참조 픽처들을 리스트하여야 하는 순서에 관한 특정 요건은 통상적으로 없다는 것을 주목하여야 한다. 어떤 의미에서, 유휴 참조 픽처 리스트는 순서로 정리되지 않은 리스트 또는 세트라고 흔히 간주될 수 있다.
참조 픽처 리스트0 및 1은 현재 슬라이스에 대해 참조용으로 사용되지 않을 것이라고 표시되는 참조 픽처를 포함할 수 있다. 예를 들면, num_ref_idx_l0_active_minus1 이상의 참조 인덱스는 현재 슬라이스에 대해 참조용으로 사용되지 않을 수 있다. 참조 픽처 리스트 0 및 리스트 1에서 이렇게 비-참조된 참조 픽처는 "참조용으로 사용됨"이라고 표기된다고 명시될 수 있다. 대안으로, 만일 참조 픽처가 리스트 0 또는 리스트 1에서 비-참조된 참조 픽처로서 포함될 뿐이고 유후 참조 픽처 리스트에서는 그렇지 않거나 아니면 리스트 0 또는 리스트 1에서 참조된 참조 픽처로서 포함된다면, 이 참조 픽처는 "참조용으로 사용되지 않음"이라고 표기된다. 대안으로, 전술한 두 가지 표기 룰 또는 어떤 다른 결정학적 표기 룰 사이에서 희망하는 표기 룰은 인코더에 의해 제어될 수 있으며 예를 들면, 시퀀스 파라미터 세트 SPS 신택스 내 비트스트림에서 표시될 수 있다. 참조 픽처를 리스트 0 또는 리스트 1에 비-참조 픽처로서 포함시키는 것은, 예를 들어, 인코딩 중에 소모되는 비트 수가 더 적은 경우라면 유휴 참조 픽처 리스트에 포함시키는 것보다 바람직할 수 있다.
스케일러블 비디오 코딩에서, 비디오 신호는 베이스 계층(base layer)과 하나 이상의 향상 계층(enhancement layers)으로 인코딩될 수 있다. 향상 계층은 시간적 해상도(즉, 프레임률), 공간 해상도, 또는 간략히 다른 하나의 계층 또는 그의 일부에 의해 표현된 비디오 콘텐츠의 품질을 향상시킬 수 있다. 각각의 계층과 함께 그의 모든 종속 계층은 소정의 공간 해상도, 시간 해상도 및 품질 레벨에서 비디오 신호를 한가지로 표현한다. 본 명세서에서, 발명자들은 스케일러블 계층과 함께 그의 모든 종속 계층들을 "스케일러블 계층 표현(scalable layer representation)"이라고 부른다. 스케일러블 계층 표현에 대응하는 스케일러블 비트스트림의 부분이 추출되고 디코딩되어 원래 신호의 표현을 소정 충실도로 생성할 수 있다.
몇몇 사례에서, 향상 계층의 데이터는, 각각의 절두 위치가 점점 향상된 시각적 품질을 나타내는 부가적인 데이터를 포함할 수 있는, 소정 위치 다음에, 또는 임의의 위치에서도 절두될 수 있다. 그러한 스케일러빌리티는 파인-그레인드 (크래뉴러리티) 스케일러빌리티 (fine-grained (granularity) scalability (FGS))라고 지칭된다. FGS는 SVC 표준의 일부 초안 버전에 포함되었으나, 결국에는 최종 SVC 표준에서 제외되었다. FGS는 SVC 표준의 몇몇 초안 버전의 맥락에서 상당히 논의된다. 절두될 수 없는 이러한 향상 계층에 의해 제공된 스케일러빌리티는 코스-그레인드(그래뉴러리티) 스케일러빌리티(coarse-grained (granularity) scalability (CGS))라고 지칭된다. 이것은 총괄하여 전통적인 품질(SNR) 스케일러빌리티 및 공간 스케일러빌리티를 포함한다. SVC 표준은 소위 미디엄-그레인드 스케일러빌리티(medium-grained scalability (MGS))를 지원하는데, 여기서 품질 향상 픽처는, 0보다 큰 quality_id 신택스 요소를 가짐으로써, SNR 스케일러블 계층 픽처와 유사하게 코딩되지만 FGS 계층 픽처와 유사하게 하이-레벨 신택스 요소에 의해 표시된다.
SVC는 인터-계층 예측 메커니즘을 사용하는데, 이 메커니즘에서 소정의 정보는 현재 재구성된 계층 또는 다음 번 하위 계층과 다른 계층으로부터 예측될 수 있다. 인터-계층 예측될 수 있는 정보는 인트라 텍스처, 움직임 및 잔차 데이터를 포함한다. 인터-계층 움직임 예측은 블록 코딩 모드, 헤더 정보 등의 예측을 포함하는데, 여기서 하위 계층으로부터의 움직임은 상위 계층의 예측을 위해 사용될 수 있다. 인트라 코딩의 경우, 하위 계층의 주변 매크로블록으로부터 또는 공존 매크로블록으로부터 예측은 가능하다. 이러한 예측 기술은 초기에 코딩된 액세스 유닛으로부터의 정보를 이용하지 않으며, 그래서 인트라 예측 기술이라고 지칭된다. 또한, 하위 계층으로부터의 잔차 데이터는 현재 계층을 예측할 때도 이용될 수 있다.
SVC는 단일-루프 디코딩이라고 알려진 개념을 명시한다. 이것은 제한된 인트라 텍스처 예측 모드를 이용함으로써 가능해지며, 따라서 인터-계층 인트라 텍스처 예측이 매크로블록(MB)에 적용될 수 있고 이 매크로블록에서 베이스 계층의 해당 블록이 인트라-MB 내에 배치된다. 동시에, 베이스 계층에 속한 이러한 인트라-MB은 (예를 들면, 1이라는 신택스 요소 "constrained_intra_pred_flag"를 갖는) 제한된 인트라-예측을 사용한다. 단일-루프 디코딩에서, 디코더는 재생을 희망하는 스케일러블 계층("희망 계층" 또는 "타겟 계층"이라 함)에 대해서만 움직임 보상 및 전체 픽처 재구성을 수행하며, 그럼으로써 디코딩 복잡성을 크기 줄일 수 있다. 희망 계층과 다른 계층은 모두 전체적으로 디코딩될 필요가 없는데, 이것은 인터-계층 예측(인터-계층 텍스처 예측, 인터-계층 움직임 예측 또는 인터-계층 잔차 예측임)을 위해 사용된 MB의 모든 또는 일부 데이터가 희망 계층의 재구성을 위해 필요하지 않기 때문이다.
단일 디코딩 루프는 대부분의 픽처의 디코딩에 필요하며, 반면 제2의 디코딩 루프는, 예측 참조로서 필요하지만 출력 또는 디스플레이를 위한 것이 아닌 그리고 소위 주요 픽처("store_ref_base_pic_flag"는 1과 같음)에 대해서만 재구성되는, 기본 표현을 재구성하는데 선택적으로 적용된다.
SVC 초안에서 스케일러빌리티 구조는 세 가지의 신택스 요소, "temporal_id", "dependency_id" 및 "quality_id"를 특징으로 한다. 신택스 요소 "temporal_id"는 시간적 스케일러빌리티 계층 또는 간접적으로 프레임률을 표시하는데 사용된다. 좀 더 작은 최대 "temporal_id" 값의 픽처를 포함하는 스케일러블 계층 표현은 더 큰 최대 "temporal_id"의 픽처를 포함하는 스케일러블 계층 표현보다 작은 프레임률을 갖는다. 주어진 시간적 계층은 전형적으로 하위 시간 계층(즉, "temporal_id" 값이 더 작은 시간 계층)에 종속하지만 임의의 상위 시간 계층에는 종속하지 않는다. 신택스 요소 "dependency_id"는 (앞에서도 언급한 바와 같이, 두 SNR 및 공간 스케일러빌리티를 포함하는) CGS 인터-계층 코딩 종속성 계층을 표시하는데 사용된다. 임의의 시간 레벨 위치에서, "dependency_id" 값이 더 작은 픽처는 "dependency_id" 값이 더 큰 픽처를 코딩하기 위한 인터-계층 예측에 사용될 수 있다. 신택스 요소 "quality_id"는 FGS 또는 MGS 계층의 품질 레벨 계층 구조를 표시하는데 사용된다. 임의의 시간 위치에 있고 "dependency_id" 값이 동일한 경우, QL과 같은 "quality_id"를 갖는 픽처는 인터-계층 예측을 위해 QL-1과 같은 "quality_id"를 가진 픽처를 사용한다. 0보다 큰 "quality_id"를 갖는 코딩된 슬라이스는 절두가능 FGS 슬라이스 또는 절두-불가능 MGS 슬라이스 중 어느 하나로 코딩될 수 있다.
간략화를 위해, "dependency_id"의 값이 동일한 하나의 액세스 유닛 내 모든 데이터 유닛(예를 들면, SVC 맥락에서 네트워크 추상 계층 유닛 또는 NAL 유닛)은 종성성 유닛(dependency unit) 또는 종속성 표현(dependency representation)이라고 지칭된다. 하나의 종속성 유닛 내에서, "quality_id"의 값이 동일한 모든 데이터 유닛은 품질 유닛 또는 계층 표현이라고 지칭된다.
디코딩된 베이스 픽처라고도 알려진 기본 표현(base representation)은 "quality_id"가 0이며 그리고 "store_ref_base_pic_flag"가 1인 종속성 유닛의 비디오 코딩 계층(VCL) NAL 유닛을 디코딩함으로써 생기는 디코딩된 픽처이다. 디코딩된 픽처라고도 지칭되는 향상 표현(enhancement representation)은 최고의 종속성 표현을 위해 존재하는 모든 계층 표현이 디코딩되는 정규 디코딩 프로세스로 인해 생긴다.
앞에서 언급한 바와 같이, CGS는 공간 스케일러빌리티 및 SNR 스케일러빌리티를 둘 다 포함한다. 공간 스케일러빌리티는 해상도가 상이한 비디오의 표현을 지원하기 위해 초기에 설계된 것이다. 각 시간 인스턴스마다, VCL NAL 유닛은 동일한 액세스 유닛으로 코딩되며 이들 VCL NAL 유닛은 상이한 해상도에 대응할 수 있다. 디코딩 중에, 저해상도 VCL NAL 유닛은 고 해상도 픽처의 최종 디코딩 및 재구성으로 인해 선택사양으로 승계될 수 있는 움직임 필드 및 잔차를 제공한다. 구 비디오 압축 표준과 비교할 때, SVC의 공간 스케일러빌리티는 베이스 계층이 향상 계층의 일부 삭제되고 확대된 버전이 될 수 있도록 일반화되었다.
MGS 품질 계층은 FGS 품질 계층과 유사하게 "quality_id"로 표시된다. (동일한 "dependency_id"를 갖는) 각각의 종속성 유닛마다, 0의 "quality_id"를 갖는 계층이 있으며 0보다 큰 "quality_id"를 갖는 다른 계층이 있을 수 있다. 0보다 큰 "quality_id"를 갖는 계층은 슬라이스가 절두 가능한 슬라이스로서 코딩되었는지의 여부에 따라 MGS 또는 FGS 계층 중 어느 하나이다.
FGS 향상 계층의 기본 형태에서는 인터-계층 예측만이 사용된다. 그러므로, FGS 향상 계층은 디코딩된 시퀀스에서 어떠한 오류 전파를 야기하지 않고 자유로이 절두될 수 있다. 그러나, FGS의 기본 형태는 압축 효율이 낮다. 이러한 문제는 오로지 저품질 픽처만이 인터 예측 참조를 위해서 사용되기 때문에 발생한다. 그러므로 FGS-향상된 픽처를 인터 예측 참조로서 사용하는 것이 제안되었다. 그러나, 이것은 일부 FGS 데이터가 폐기될 때 드리프트(drift)라고도 불리우는 인코딩-디코딩 미스매치를 일으킬 수 있다.
초안 SVC 표준의 한 가지 특징은 FGS NAL 유닛이 자유로이 삭제 또는 절두될 수 있다는 것이며, SVCV 표준의 특징은 MGS NAL 유닛이 비트스트림의 적합성에 영향을 주지 않고 자유로이 삭제(그러나 절두될 수 없음)될 수 있다는 것이다. 앞에서 논의한 바와 같이, 이러한 FGS 또는 MGS 데이터가 인코딩 중에 인터 예측 참조를 위해 사용되었을 때, 데이터의 삭제 또는 절두는 디코더 측과 인코더 측의 디코딩된 픽처들 사이에서 미스매치의 결과를 초래할 것이다. 이러한 미스매치는 드리프트(drift)라고도 말한다.
FGS 또는 MGS 데이터의 삭제 또는 절두로 인한 드리프트를 조절하기 위하여, SVC는 다음과 같은 해결책을 적용하였다. 소정 종속성 유닛에서, ("quality_id"가 0과 같은 CGS 픽처 및 모든 하위 계층 종속 데이터(the dependent-on lower layer data)만을 디코딩함으로써) 기본 표현이 디코딩된 픽처 버퍼에 저장된다. 후속하는 종속성 유닛을 동일한 값의 "dependency_id"로 인코딩할 때, FGS 또는 MGS NAL 유닛을 비롯한 모든 NAL 유닛은 인터 예측 참조를 위해 기본 표현을 사용한다. 결과적으로, 초기의 액세스 유닛에서 FGS 또는 MGS NAL 유닛의 삭제 또는 절두로 인한 모든 드리프트가 이러한 액세스 유닛에서 없어진다. "dependency_id"의 값이 동일한 다른 종속성 유닛의 경우, 코딩 효율을 높이기 위해 모든 NAL 유닛은 인터 예측 참조를 위한 디코딩된 픽처를 사용한다.
각각의 NAL 유닛은 NAL 유닛 헤더 내 신택스 요소 "use_ref_base_pic_flag"를 포함한다. 이 요소의 값이 1일 때, NAL 유닛의 디코딩은 인터 예측 프로세스 동안 기준 픽처의 기본 표현을 사용한다. 신택스 요소 "use_ref_base_pic_flag"는 인터 예측에 사용하는 미래의 픽처에 대한 현재 픽처의 기본 표현을 저장할지(1일 때) 또는 말지(0일 때)의 여부를 명시한다.
"quality_id"가 0보다 큰 NAL 유닛은 참조 픽처 리스트 구성 및 가중 예측과 관련한 신택스 요소를 갖고 있지 않다, 즉, 신택스 요소 "num_ref_active_lx_minu니"(x = 0 또는 1), 참조 픽처 리스트 재정리 신택스 테이블, 및 가중 예측 신택스 테이블이 존재하지 않는다. 따라서, MGS 또는 FGS 계층은 이러한 신택스 요소를, 필요할 때, 동일한 종속성 유닛의 0과 같은 "quality_id"를 갖는 NAL 유닛으로부터 물려받아야 한다.
SVC에서, 참조 픽처 리스트는 오직 기본 표현("use_ref_base_pic_flag"이 1일 때)만 또는 "기본 표현"("use_ref_base_pic_flag"가 0일 때)으로서 오직 표시없이 디코딩된 픽처만으로 이루어지지만, 결코 동시에 두 픽처로 이루어지지 않는다.
앞에서 지적한 바와 같이, MVC는 H.264/AVC의 확장이다. H.264/AVC의 정의, 개념, 신택스 구조, 시맨틱, 및 디코딩 프로세스 중 많은 부분이 이처럼 또는 특정한 일반화 또는 제약과 함께 MVC에도 적용된다. MVC의 몇몇 정의, 개념, 신택스 구조, 시맨틱, 및 디코딩 프로세스는 아래에서 기술된다.
MVC에서 액세스 유닛은 디코딩 순서에서 연속하면서 하나 이상의 뷰 컴포넌트로 이루어진 정확히 하나의 일차 코딩된 픽처를 포함하는 NAL 유닛들의 세트로 정의된다. 일차 코딩된 픽처 이외에도, 액세스 유닛은 또한 하나 이상의 리던던트 코딩된 픽처, 하나의 보조적으로 코딩된 픽처, 또는 코딩된 픽처의 슬라이스 또는 슬라이스 데이터 부분을 포함하지 않는 기타 NAL 유닛을 포함할 수 있다. 오류, 비트스트림 오류 또는 디코딩이 일어나지 않게 영향을 줄 수 있는 다른 오류를 디코딩할 때, 액세스 유닛을 디코딩하면 하나 이상의 디코딩된 뷰 컴포넌트로 이루어진 하나의 디코딩된 픽처가 생긴다. 다시 말해, MVC에서 액세스 유닛은 하나의 출력 시간 인스턴스에 대한 뷰의 뷰 컴포넌트를 포함한다.
MVC에서 뷰 컴포넌트는 단일의 액세스 유닛에서 뷰의 코딩된 표현이라고 지칭된다.
인터-뷰 예측은 MVC에서 사용될 수 있으며 동일 액세스 유닛의 상이한 뷰 컴포넌트의 디코딩된 샘플로부터 뷰 컴포넌트의 예측을 나타낸다. MVC에서, 인터-뷰 예측은 인터 예측과 유사하게 실현된다. 예를 들면, 인터-뷰 참조 픽처는 인터 예측을 위한 참조 픽처로서 동일한 참조 픽처 리스트(들) 내에 배치되며, 참조 인덱스뿐만 아니라 움직임 벡터가 인터-뷰 및 인터 예측 픽처와 유사하게 코딩되거나 추론된다.
앵커 픽처(anchor picuure)는 모든 슬라이스들이 동일 액세스 유닛 내 슬라이스들만을 참조할 수 있는, 즉, 인터-뷰 예측이 사용되지만, 어떠한 인터 예측도 사용되지 않는 코딩된 픽처이며, 출력 순서에서 다음에 오는 모든 코딩된 픽처들은 디코딩 순서에서 코딩된 픽처에 앞선 임의의 픽처로부터 인터 예측을 사용하지 않는다. 인터-뷰 예측은 논-베이스 뷰(non-base view)의 일부인 IDR 뷰 컴포넌트를 위해 사용될 수 있다. MVC에서 베이스 뷰는 코딩된 비디오 시퀀스에서 뷰 순서 인덱스의 최대 값을 갖는 뷰이다. 베이스 뷰는 다른 뷰와 무관하게 디코딩될 수 있으며 인터-뷰 예측을 사용하지 않는다. 베이스 뷰는 H.264/AVC의 베이스라인 프로파일(Baseline Profile) 또는 하이 프로파일(High Profile)과 같이, 단일-뷰 프로파일만을 지원하는 H.264/AVC 디코더에 의해 디코딩될 수 있다.
MVC 표준에서, MVC 디코딩 프로세스의 많은 서브-프로세스들은 H.264/AVC의 서브-프로세스 사양에서 용어 "픽처", "프레임", 및 "필드"를 "뷰 컴포넌트", "프레임 뷰 컴포넌트", 및 "필드 뷰 컴포넌트"로 각기 바꿈으로써 H.264/AVC 표준의 각각의 서브-프로세스를 사용한다. 마찬가지로, 용어 "픽처", "프레임", 및 "필드"는 다음의 설명에서 종종 "뷰 컴포넌트", "프레임 뷰 컴포넌트", " 및 "필드 뷰 컴포넌트"를 의미하는 것으로 사용된다.
스케일러블 멀티뷰 코딩에서, 동일 비트스트림은 복수개 뷰의 코딩된 뷰 컴포넌트를 포함할 수 있으며 적어도 몇 개의 코딩된 뷰 컴포넌트는 품질 및/또는 공간 스케일러빌리티를 이용하여 코딩될 수 있다.
텍스처 뷰(texture view)는 보통의 비디오 콘텐츠를 표현하는, 예를 들면, 보통의 카메라를 이용하여 촬영된 뷰를 말하며, 통상 디스플레이 상에서 렌더링하는데 적합하다. 텍스처 뷰는 전형적으로 세 개의 컴포넌트, 즉 하나의 루마 컴포넌트 및 두 개의 크로마 컴포넌트를 갖는 픽처를 포함한다. 하기에서, 예를 들어, 루마 텍스처 픽처 및 크로마 텍스처 픽처의 용어로 달리 표시하지 않는 한, 텍스처 픽처는 전형적으로 그의 모든 컴포넌트 픽처 또는 컬러 컴포넌트를 포함한다.
깊이-향상된 비디오(Depth-enhanced video)는 하나 이상의 깊이 뷰를 갖는 깊이 비디오와 연관된 하나 이상의 뷰를 갖는 텍스처 비디오를 말한다. 비디오 플러스 깊이(video plus depth (V+D)), 멀티뷰 비디오 플러스 깊이(multiview video plus depth (MVD)), 및 계층적 깊이 비디오(layered depth video (LDV))를 비롯하여, 깊이-향상된 비디오를 표현하는 다수의 접근법이 사용될 수 있다. 비디오 플러스 깊이(V+D) 표현에서, 텍스처의 단일 뷰 및 깊이의 각각의 뷰는 각기 텍스처 픽처 및 깊이 픽처의 시퀀스로서 표현된다. MVD 표현은 복수개의 텍스처 뷰 및 각각의 깊이 뷰를 포함한다. LDV 표현에서, 중앙 뷰(central view)의 텍스처 및 깊이는 관례적으로 표현되며, 반면에 다른 뷰의 텍스처 및 깊이는 부분적으로 표현되고 중간 뷰(intermediate views)의 정확한 뷰 합성에 필요한 비폐색 영역(dis-occluded areas) 만을 가린다.
깊이-향상된 비디오는 텍스처 및 깊이가 서로와 무관하게 코딩되는 방식으로 코딩될 수 있다. 예를 들면, 텍스처 뷰는 하나의 MVC 비트스트림으로서 코딩될 수 있으며 깊이 뷰는 다른 하나의 MVC 비트스트림으로서 코딩될 수 있다. 대안으로, 깊이-향상된 비디오는 텍스처와 깊이가 함께 코딩되는 방식으로 코딩될 수 있다. 텍스처 및 깊이의 합동 코딩이 깊이-향상된 비디오 표현에 적용될 때, 텍스처 픽처의 디코딩을 위한 텍스처 픽처 또는 데이터 요소의 디코딩된 몇몇 샘플은 깊이 픽처의 디코딩 프로세스에서 획득된 깊이 픽처 또는 데이터 요소의 디코딩된 몇몇 샘플로부터 예측 또는 유도된다. 대안으로 또는 부가적으로, 깊이 픽처의 디코딩을 위한 깊이 픽처 또는 데이터 요소의 디코딩된 몇몇 샘플은 텍스처 픽처의 디코딩 프로세스에서 획득된 텍스처 픽처 또는 데이터 요소의 디코딩된 몇몇 샘플로부터 예측 또는 유도된다.
몇몇 멀티뷰 3D 비디오(3DV) 애플리케이션의 솔루션은 제한된 개수의 입력 뷰, 예를 들면, 모노 또는 스테레오 뷰 플러스 몇 개의 보조 데이터를 갖는 것, 그리고 디코더 측에서 지엽적으로 필요로 하는 모든 뷰를 렌더링하는(즉, 합성하는) 것이라고 알려져 있다. 뷰 렌더링을 위한 몇 가지 이용가능한 기술로 보아, 깊이 이미지-기반 렌더링(depth image-based rendering (DIBR))이 경쟁력 있는 대체 기술인 것으로 보여 주고 있다.
DIBR-기반 3DV 시스템의 간략화된 모델은 도 5에 도시된다. 3D 비디오 코덱의 입력은 스테레오스코픽 비디오 및 스테레오스코픽 베이스라인 b0를 갖는 대응하는 깊이 정보를 포함한다. 그러면 3D 비디오 코덱은 베이스라인(bi<b0)을 갖는 두 입력 뷰 사이에서 다수의 가상 뷰들을 합성한다. DIBR 알고리즘은 두 입력 뷰 외부에 존재하며 이들 사이에 존재하지 않는 뷰의 외삽(extrapolation)을 가능할 수 있게 한다. 유사하게, DIBR 알고리즘은 텍스처의 단일 뷰 및 각각의 깊이 뷰로부터 뷰를 합성할 수 있게 한다. 그러나, DIBR-기반 멀티뷰 렌더링을 할 수 있게 하기 위하여, 디코더 측에서 텍스처 데이터가 대응하는 깊이 데이터와 함께 사용할 수 있어야 한다.
그러한 3D 시스템에서, 깊이 정보는 디코더 측에서 각각의 비디오 프레임별로 깊이 픽처의 형태(또는 깊이 맵이라고도 알려짐)로 발생된다. 깊이 맵은 픽셀당 깊이 정보를 갖는 이미지이다. 깊이 맵 내 각 샘플은 카메라가 놓여있는 평면으로부터 각 텍스처 샘플의 거리를 나타낸다. 다시 말해서, 만일 z축이 카메라의 슈팅 축을 따라 놓여 있으면 (그래서 카메라가 놓여 있는 평면에 직교하면), 깊이 맵 내 샘플은 z축상의 값을 나타낸다.
깊이 정보는 여러 수단에 의해 구할 수 있다. 예를 들면, 3D 장면의 깊이는 촬영 카메라에 의해 등록된 디스패리티(disparity)로부터 계산될 수 있다. 깊이 추정 알고리즘은 스테레오스코픽 뷰를 입력으로서 받고 뷰의 두 오프셋 이미지들 사이의 로컬 디스패리티를 계산한다. 각각의 이미지는 중첩 블록에 속한 픽셀별로 처리되며, 각 픽셀블록마다 오프셋 이미지 내에서 일치하는 블록을 찾기 위한 수평방향으로 지엽적인 검색이 수행된다. 일단 픽셀별 디스패리티가 계산되면, 대응하는 깊이 값(z)은 하기 수학식 1에 의해 산출된다.
Figure 112014082853814-pct00001
수학식에서, f는 카메라의 초점 길이이고 b는 도 6에 도시된 바와 같이 카메라들 사이의 베이스라인 거리이다. 또한, d는 두 카메라 사이에서 관측된 패리티를 말하며, 카메라 오프셋(△d)은 두 카메라의 광학 중심의 가능한 수평 변위를 반영한다. 그러나, 알고리즘은 블록 매칭에 기반하기 때문에, 깊이를 이용한 패리티 추정(depth-through-disparity estimation)의 품질은 콘텐츠 의존적이며 거의 정확하지 않다. 예를 들면, 깊이 추정을 위한 어떠한 간단한 솔루션도 텍스처가 없거나 잡음 레벨이 큰 아주 매끄러운 영역을 특징으로 하는 이미지 부분에 대해 추정할 수 없다.
ISO/IEC 국제 표준 23002-3에서 명시된 시차 맵(parallax maps)과 같은 패리티 또는 시차 맵은 깊이 이미지와 유사하게 처리될 수 있다. 깊이 및 패리티는 직접적인 대응관계를 가지며 이들은 수학식을 통해 서로로부터 계산될 수 있다.
액세스 유닛 내 텍스처 및 깊이 뷰 컴포넌트의 코딩 및 디코딩 순서는 전형적으로 코딩된 뷰 컴포넌트의 데이터가 어느 다른 코딩된 뷰 컴포넌트에 의해 보간되지 않도록 하고, 액세스 유닛의 데이터가 비트스트림/디코딩 순서 내 어느 다른 액세스 유닛에 의해 보간되지 않도록 한다. 예를 들면, 도 7에 예시된 바와 같이, 상이한 액세스 유닛(t, t+1 , t+2)에 두 텍스처 뷰와 깊이 뷰(T0t, Tlt, T0t +1, Tlt+1, T0t +2, Tlt +2, D0t, Dlt, DOt +i, Dlt +i, D0t +2, Dlt +2) 가 있을 수 있는데, 여기서 텍스처 및 깊이 뷰 컴포넌트(T0t,Tlt, D0t, Dlt)로 이루어지는 액세스 유닛(t)은 비트스트림 및 디코딩 순서에서 텍스처 및 깊이 뷰 컴포넌트(T0t +1, Tlt +1, D0t +i, Dlt +i)로 이루어지는 액세스 유닛(t+1)보다 앞선다.
액세스 유닛 내 뷰 컴포넌트의 코딩 및 디코딩 순서는 코딩 포맷에 의해 관장될 수도 있고 또는 인코더에 의해 결정될 수도 있다. 텍스처 뷰 컴포넌트는 동일 뷰의 각 깊이 뷰 컴포넌트에 앞서 코딩될 수 있으며, 그래서 그러한 깊이 뷰 컴포넌트는 동일 뷰의 텍스처 뷰 컴포넌트로부터 예측될 수 있다. 그러한 텍스처 뷰 컴포넌트는 예를 들면 MVC 인코더에 의해 코딩되고 MVC 디코더에 의해 디코딩될 수 있다. 향상된 텍스처 뷰 컴포넌트는 본 출원에서 동일 뷰의 각 깊이 뷰 컴포넌트 다음에 코딩되는 텍스처 뷰 컴포넌트라 말하며 각 깊이 뷰 컴포넌트로부터 예측될 수 있다. 동일 액세스 유닛의 텍스처 및 깊이 뷰 컴포넌트는 전형적으로 뷰 종속성 순서로 코딩된다. 텍스처 및 깊이 뷰 컴포넌트는 순서정리(ordering)가 전술한 제약을 따르는 한 서로에 대하여 어떠한 순서로도 순서정리될 수 있다.
텍스처 뷰 및 깊이 뷰는 단일의 비트림으로 코딩될 수 있으며, 텍스트 뷰 중 일부는 H.264/AVC 및/또는 MVC와 같은 하나 이상의 비디오 표준과 호환 가능할 수 있다. 다시 말해서, 디코더는 그러한 비트림의 일부 텍스처 뷰를 디코딩할 수 있으며 나머지 텍스처 뷰 및 깊이 뷰를 생략할 수 있다.
이 맥락에서, 하나 이상의 텍스처 및 깊이 뷰를 단일의 H.264/AVC 및/또는 MVC 호환 비트스트림으로 인코딩하는 인코더는 또한 3DV-ATM 인코더라고도 불린다. 그러한 인코더에 의해 생성된 비트스트림은 3DV-ATM 비트스트림이라고 지칭된다. 3DV-ATM 비트스트림은 H.264/AVC 및/또는 MVC 디코더가 디코딩할 수 없는 텍스처 뷰의 일부 및 깊이 뷰를 포함할 수 있다. 3DV-ATM 비트스트림으로부터 생성된 모든 뷰를 디코딩할 수 있는 디코더는 또한 3DV-ATM 디코더라고도 불릴 수 있다.
3DV-ATM 비트스트림은 AVC/MVC 호환 텍스처 뷰들 중 선택된 개수를 포함할 수 있다. AVC/MVC 호환 텍스처 뷰의 깊이 뷰는 텍스처 뷰로부터 예측될 수 있다. 나머지 텍스처 뷰는 향상된 텍스처 코딩을 이용할 수 있으며 깊이 뷰는 깊이 코딩을 이용할 수 있다.
텍스처 뷰 및 깊이 뷰를 인코딩할 수 있는 인코더(200)의 실시예의 하이 레벨 플로우차트가 도 8에 도시되며 텍스처 뷰 및 깊이 뷰를 디코딩할 수 있는 디코더(210)는 도 9에 도시된다. 이들 도면에서 직선은 일반적인 데이터 흐름을 묘사하며 점선은 제어 정보 신호흐름을 도시한다. 인코더(200)는 텍스처 인코더(202)에 의해 인코딩될 텍스처 컴포넌트(201) 및 깊이 인코더(204)에 의해 인코딩될 깊이 맵 컴포넌트(203)를 수신할 수 있다. 인코더(200)가 AVC/MVC에 따라서 텍스처 컴포넌트를 인코딩할 때, 제1 스위치(205)는 스위치 오프될 수 있다. 인코더(200)가 향상된 텍스처 컴포넌트를 인코딩할 때, 제1 스위치(205)가 스위치 온되어 깊이 인코더(204)에 의해 생성된 정보가 텍스처 인코더(202)에 제공될 수 있도록 한다. 또한 이러한 예의 인코더는 다음과 같이 동작할 수 있는 제2 스위치(206)를 포함한다. 제2 스위치(206)는 인코더가 AVC/MVC 뷰의 깊이 정보를 인코딩할 때 스위치 온되며, 제2 스위치(206)는 인코더가 향상된 텍스처 뷰의 깊이 정보를 인코딩할 때 스위치 오프된다. 인코더(200)는 인코딩된 비디오 정보를 포함하는 비트스트림(207)을 출력할 수 있다.
디코더(210)는 유사한 방식으로 동작할 수 있으나 적어도 부분적으로 반대 순서로 동작한다. 디코더(210)는 인코딩된 비디오 정보를 포함하는 비트스트림(207)을 수신할 수 있다. 디코더(210)는 텍스처 정보를 디코딩하기 위한 텍스처 디코더(211) 및 깊이 정보를 디코딩하기 위한 깊이 디코더(212)를 포함한다. 제3 스위치(213)는 깊이 디코더(212)로부터 텍스처 디코더(211)로 제어 정보를 전달하도록 제공될 수 있으며, 제4 스위치(214) 텍스처 디코더(211)로부터 깊이 디코더(212)로 제어 정보를 전달하도록 제공될 수 있다. 디코더(210)가 AVC/MVC 텍스처 뷰를 디코딩할 때, 제3 스위치(213)가 스위치 오프될 수 있으며 디코더(210)가 향상된 텍스처 뷰를 디코딩할 때 제3 스위치(213)가 스위치 온될 수 있다. 디코더(210)가 AVC/MVC 텍스처 뷰의 깊이를 디코딩할 때 제4 스위치(214)가 스위치 온되며 디코더(210)가 향상된 텍스처 뷰의 깊이를 디코딩할 때 제4 스위치(214)가 스위치 오프될 수 있다. 디코더(210)는 재구성된 텍스트 컴포넌트(215) 및 재구성된 깊이 맵 컴포넌트(216)를 출력할 수 있다.
많은 비디오 인코더는 라그랑지안 비용 함수(Lagrangian cost function)를 활용하여 율-왜곡 최적 코딩 모드(rate- distortion optimal coding modes), 예를 들면, 희망하는 매크로블록 모드 및 연관된 움직임 벡터를 찾는다. 이러한 형태의 비용 함수는 가중 인수 또는 λ를 이용하여 손실 코딩 방법(lossy coding methods)으로 인한 정확한 또는 추정한 이미지 왜곡 및 이미지 영역 내 픽셀/샘플 값을 표현하는데 필요한 정보의 정확한 또는 추정한 양을 함께 묶는다. 라그랑지안 비용 함수는 하기 수학식으로 표현될 수 있다.
C = D + λR
수학식에서 C는 최소화될 라그랑지안 비용이고, D는 모드 및 현재 고려된 움직임 벡터를 가진 이미지 왜곡(예를 들면, 원 이미지 블록 내 픽셀/샘플과 코딩된 이미지 블록 내 픽셀/샘플 사이의 평균 제곱 오차)이고, λ는 라그랑지안 계수이며, R은 (후보 움직임 벡터를 표현하는 데이터의 양을 포함하여) 디코더에서 이미지 블록을 재구성하는데 필요한 데이터를 표현하는데 필요한 비트 수이다.
도 1은 본 발명의 실시예에 따른 코덱을 포함할 수 있는 예시적인 장치 또는 전자 장치(50)의 개략적인 블록도로서 실시예에 따른 비디오 코딩 시스템의 블록도를 도시한다. 도 2는 예시적인 실시예에 따른 장치의 레이아웃을 도시한다. 도 1 및 도 2의 구성요소는 다음과 같이 설명될 것이다.
전자 장치(50)는 예를 들면, 무선 통신 시스템의 이동 단말 또는 사용자 장비일 수 있다. 그러나, 본 발명의 실시예는 비디오 이미지를 인코딩하고 디코딩하는데 또는 인코딩하거나 디코딩하는데 필요할 수 있는 모든 전자 기기 또는 장치 내에서 실행될 수 있다는 것이 인식될 것이다.
장치(50)는 장치를 내장하고 보호하는 하우징(30)을 포함할 수 있다. 장치(50)는 또한 액정 디스플레이 형태의 디스플레이(32)를 포함할 수 있다. 본 발명의 다른 실시예에서, 디스플레이는 이미지 또는 비디오를 디스플레이하는데 적합한 모든 적절한 디스플레이 기술일 수 있다. 장치(50)는 키패드(34)를 더 포함할 수 있다. 본 발명의 다른 실시예에서, 모든 적절한 데이터 또는 사용자 인터페이스 메커니즘이 이용될 수 있다. 예를 들면, 사용자 인터페이스는 가상 디스플레이 또는 터치-감응 디스플레이의 일부로서 데이터 입력 시스템으로 구현될 수 있다. 장치는 마이크로폰(36) 또는 디지털 또는 아날로그 신호 입력일 수 있는 모든 적절한 오디오 입력을 포함할 수 있다. 장치(50)는 또한 본 발명의 실시예에서 수화기(38), 스피커, 또는 아날로그 오디오 또는 디지털 오디오 입력 접속 중 어느 하나일 수 있는 오디오 출력 장치를 포함할 수 있다. 장치(50)는 배터리(40)를 더 포함할 수 있다(또는 본 발명의 다른 실시예에서 장치는 태양 전지, 연료 전지 또는 태엽작동 발전기와 같은 모든 적절한 이동 에너지 장치로 동력을 공급받을 수 있다). 장치는 다른 장치와의 단거리 시선 통신을 위한 적외선 포트(42)를 더 포함할 수 있다. 다른 실시예에서, 장치(50)는 예를 들면 블루투스 접속 또는 USB/방화벽 유선 접속과 같은 모든 적절한 단거리 통신 솔루션을 더 포함할 수 있다.
장치(50)는 장치(50)를 제어하기 위한 컨트롤러(56) 또는 프로세서를 포함할 수 있다. 컨트롤러(56)는 본 발명의 실시예에서 두 이미지 및 오디오 데이터 형태의 데이터를 저장할 수 있는 그리고/또는 컨트롤러(56)에서 실행을 위한 명령을 또한 저장할 수 있는 메모리(58)에 연결될 수 있다. 컨트롤러(56)는 오디오 및/또는 비디오 데이터의 코딩 및 디코딩을 실행하기에 적절한 또는 컨트롤러(56)에 의해 실행된 코딩 및 디코딩에 도움을 주는데 적절한 코덱 회로(54)에 또한 연결될 수 있다.
장치(50)는 카드 리더 및 스마트 카드(46), 예를 들면, 사용자 정보를 제공하고 네트워크에서 사용자의 인증 및 권한에 필요한 인증 정보를 제공하는 UICC 및 UICC 리더를 더 포함할 수 있다.
장치(50)는 컨트롤러에 연결되며 그리고, 예를 들면, 셀룰러 통신 네트워크, 무선 통신 시스템 또는 무선 근거리 네트워크와 통신을 위한 무선 통신 신호를 발생하기에 적합한 무선 인터페이스 회로(52)를 포함할 수 있다. 장치(50)는 무선 인터페이스 회로(52)에 연결되어 무선 인터페이스 회로(52)에서 발생된 무선 주파수 신호를 다른 장치(들)에 전송하고 다른 장치(들)로부터 무선 주파수 신호를 수신하기 위한 안테나(44)를 더 포함할 수 있다.
본 발명의 몇몇 실시예에서, 장치(50)는 개개의 프레임을 기록 또는 검출한 다음 처리를 위해 코덱(54) 또는 컨트롤러에 전달할 수 있는 카메라를 포함할 수 있다. 본 발명의 몇몇 실시예에서, 장치는 다른 기기로부터 처리를 위한 비디오 이미지 데이터를 수신한 다음 전송 및/또는 저장할 수 있다. 본 발명의 몇몇 실시예에서, 장치(50)는 코딩/디코딩을 위한 이미지를 무선 또는 유선 연결을 통해 수신할 수 있다.
도 3은 예시적인 실시예에 따른 다수의 장치, 네트워크, 및 네트워크 구성요소를 포함하는 비디오 코딩을 위한 구성을 도시한다. 도 3를 참조하면, 본 발명의 실시예가 활용될 수 있는 시스템의 일예가 도시된다. 시스템(10)은 하나 이상의 네트워크를 통해 통신할 수 있는 복수의 통신 기기를 포함한다. 시스템(10)은 이것으로 제한되지 않지만 IEEE 802.x 표준들 중 어느 표준에 의해 정의된 바와 같이 (GSM, UMTS, CDMA 네트워크 등과 같은) 무선 셀룰러 텔레폰 네트워크, 블루투스 개인 영역 네트워크, 이더넷 근거리 네트워크, 토큰 링 근거리 네트워크, 광역 네트워크, 및 인터넷을 포함하는 유선 또는 무선 네트워크의 모든 조합을 포함할 수 있다.
시스템(10)은 본 발명의 실시예를 구현하기에 적합한 유선 및 무선 통신 기기 또는 장치(50) 둘 다를 포함할 수 있다. 예를 들면, 도 3에 도시된 시스템은 모바일 텔레폰 네트워크(11) 및 인터넷(28)의 표현을 보여준다. 인터넷(28)에 연결은 이것으로 제한되지 않지만 장거리 무선 연결, 근거리(short range) 무선 연결 및 이것으로 제한되지 않지만 전화선, 케이블선, 전력선, 및 유사 통신 경로를 비롯한 각종 유선 연결을 포함할 수 있다.
시스템(10)에서 도시된 예시적인 통신 기기는 이것으로 제한되지 않지만, 전자 기기 또는 장치(50), 개인 휴대정보 단말(PDA)과 모바일 텔레폰(14)의 겸용, PDA(16), 통합 메시징 기기(integrated messaging device (IMD))(18), 데스크탑 컴퓨터(20), 노트북 컴퓨터(22)를 포함할 수 있다. 장치(50)는 고정형일 수 있거나 또는 이동하는 개인이 휴대할 때는 이동형일 수 있다. 장치(50)는 또한 이것으로 제한되지 않지만 차, 트럭, 택시, 버스, 열차, 보트, 비행기, 자전거, 모터사이클 또는 어느 유사하고 적절한 이송 방식을 포함하는 이송 방식으로 배치될 수 있다.
일부 또는 또 다른 장치는 기지국(24)과의 무선 연결(25)을 통하여 서비스 프로바이더와 호 및 메시지를 송신 및 수신하고 통신할 수 있다. 기지국(24)은 모바일 텔레폰 네트워크(11)와 인터넷(28) 간의 통신을 가능하게 해주는 네트워크 서버(26)에 연결될 수 있다. 시스템은 추가적인 통신 기기 및 여러 형태의 통신 기기를 포함할 수 있다.
통신 기기는 이것으로 제한되지 않지만, 코드 분할 다중 액세스(code division multiple access (CDMA)), 전지구 이동 통신 시스템(global systems for mobile communications (GSM)), 범용 이동 통신 시스템(universal mobile telecommunications system (UMTS)), 시분할 다중 액세스(time divisional multiple access (TDMA)), 주파수 분할 다중 액세스(부나frequency division multiple access (FDMA)), 전송 제어 프로토콜-인터넷 프로토콜(transmission control protocol-internet protocol (TCP-IP)), 단문 메시징 서비스(short messaging service (SMS)), 멀티미디어 메시징 서비스(multimedia messaging service (MMS)), 이메일, 인스턴스 메시징 서비스(instant messaging service (IMS)), 블루투스, IEEE 802.11 및 임의의 유사한 무선 통신 기술을 포함하는 각종 전송 기술을 이용하여 통신할 수 있다. 본 발명의 여러 실시예를 구현하는데 연루된 통신 기기는 이것으로 제한되지 않지만 무선, 적외선, 레이저, 케이블 연결, 및 모든 적합한 연결을 포함하는 각종 미디어를 이용하여 통신할 수 있다.
도 4a 및 도 4b는 예시적인 실시예에 따른 비디오 인코딩 및 디코딩을 위한 블록도를 도시한다.
도 4a는 픽셀 예측기(302), 예측 에러 인코더(303) 및 예측 에러 디코더(304)를 포함하는 인코더를 도시한다. 도 4a는 또한 인터-예측기(306), 인트라-예측기(308), 모드 선택기(310), 필터(316), 및 기준 프레임 메모리(318)를 포함하는 픽셀 예측기(302)의 실시예를 도시한다. 이 실시예에서, 모드 선택기(310)는 블록 프로세서(381) 및 비용 평가기(382)를 포함한다. 인코더는 비트 스트림을 엔트로피 인코딩하기 위한 엔트로피 인코더(330)를 더 포함할 수 있다.
도 4b는 인터-예측기(306)의 실시예를 도시한다. 인터-예측기(306)는 기준 프레임 또는 프레임들을 선택하기 위한 기준 프레임 선택기(360), 움직임 벡터 정의기(361), 예측 리스트 형성기(363) 및 움직임 벡터 선택기(364)를 포함한다. 이들 구성요소 또는 이들 구성요소 중 일부는 예측 프로세서(362)의 일부일 수 있거나 또는 이들은 다른 수단을 이용함으로써 구현될 수 있다.
픽셀 예측기(302)는 (이미지와 움직임 보상된 참조 프레임(318)과의 차를 결정하는) 인터-예측기(306) 및 (현재 프레임 또는 픽처의 이미 처리된 부분만을 기초로 하여 이미지 블록에 대한 예측을 결정하는) 인트라-예측기(308)의 두 곳에서 인코딩될 이미지(300)를 수신한다. 두 인터-예측기 및 인트라-예측기의 출력은 모드 선택기(310)로 전달될 수 있다. 인터-예측기(306) 및 인트라-예측기(308) 모두는 하나 보다 많은 인트라-예측 모드를 가질 수 있다. 그래서, 인터-예측 및 인트라-예측은 각각의 모드별로 수행될 수 있으며 예측된 신호는 모드 선택기(310)에 제공될 수 있다. 모드 선택기(310)는 또한 이미지(300)의 카피를 수신한다
모드 선택기(310)는 현재 블록을 인코딩하는데 어느 인코딩 모드를 사용할지를 결정한다. 만일 모드 선택기(310)가 인터-예측 모드를 사용하기로 결정하면, 모드 선택기는 인터-예측기(306)의 출력을 모드 선택기(310)의 출력에 전달할 것이다. 만일 모드 선택기(310)가 인트라-예측 모드를 사용하기로 결정하면, 모드 선택기는 인트라-예측기 모드들 중 하나의 출력을 모드 선택기(310)의 출력에 전달할 것이다.
모드 선택기(310)는 비용 평가기 블록(382)에서, 예를 들면, 코딩 모드들과 이들의 파라미터 값들을, 이를 테면, 전형적으로 블록 별로, 움직임 벡터, 참조 인덱스, 및 인트라 예측 방향을 선택하는 라그랑지안 비용 함수를 사용할 수 있다. 이러한 종류의 비용 함수는 가중 인수 lambda를 사용하여 손실 코딩 방법으로 인한 (정확한 또는 추정한) 이미지 왜곡 및 이미지 영역 내 픽셀 값을 표현하는데 필요한 정보의 (정확한 또는 추정한) 양을 함께 묶는다. 즉, C = D + lambda x R, 여기서 C는 C는 최소화될 라그랑지안 비용이고, D는 모드 및 이들의 파라미터를 가진 이미지 왜곡(예를 들면, 평균 제곱 오차)이며, R은 (예를 들면, 후보 움직임 벡터를 표현하는 데이터의 양을 포함하여) 디코더에서 이미지 블록을 재구성하는데 필요한 데이터를 표현하는데 필요한 비트 수이다.
모드 선택기의 출력은 제1 합산 기기(321)에 전달된다. 제1 합산 기기는 픽셀 예측기(302)의 출력을 이미지(300)로부터 감산하여 제1 예측 오차 신호(320)를 생성할 수 있고, 이 신호는 예측 오차 인코더(303)에 입력된다.
픽셀 예측기(302)는 또한 예비 재구성기(339)로부터 이미지 블록(312)의 예측 표현과 예측 오차 디코더(304)의 출력(338)과의 조합을 수신한다. 예비 재구성된 이미지(314)는 인트라-예측기(308) 및 필터(316)에 전달될 수 있다. 예비 표현을 수신하는 필터(316)는 예비 표현을 필터하고 최종 재구성된 이미지(340)를 출력하며, 이 최종 재구성된 이미지는 참조 프레임 메모리(318)에 저장될 수 있다. 참조 프레임 메모리(318)는 인터-예측기(306)에 연결되어 인터-예측 동작에서 미래의 이미지(300)와 비교되는 참조 이미지로서 사용될 수 있다. 많은 실시예에서, 참조 프레임 메모리(318)는 하나 보다 많은 디코딩된 픽처를 저장할 수 있으며, 이들 중 하나 이상은 인터-예측기(306)에 의해 미래의 이미지(300)가 인터 예측 동작에서 비교되는 참조 픽처로서 사용될 수 있다. 참조 프레임 메모리(318)는 몇몇 사례에서 디코딩된 픽처 버퍼라고 지칭될 수도 있다.
픽셀 예측기(302)의 동작은 본 기술에서 공지된 모든 공지의 픽셀 예측 알고리즘을 실행하도록 구성될 수 있다.
픽셀 예측기(302)는 또한 예측된 값을 픽셀 예측기(302)로부터 출력하기 전에 필터하는 필터(385)를 포함할 수 있다.
예측 오차 인코더(302) 및 예측 오차 디코더(304)의 동작은 이하에서 더욱 상세히 설명될 것이다. 다음의 예에서, 인코더는 전체 이미지 또는 픽처를 형성하는 16x16 픽셀 매크로블록에 관한 이미지를 생성한다. 그러나, 도 4a는 블록 크기를 16x16으로 제한하지 않고 어떤 블록 크기 및 형상이라도 일반적으로 사용될 수 있으며, 마찬가지로 도 4a는 픽처를 매크로블록으로 분할하는 것으로 제한하지 않고 코딩 유닛과 같은 블록으로 분할하는 모든 다른 픽처가 사용될 수 있다는 것을 주목하여야 한다. 그래서, 다음의 예에서, 픽셀 예측기(302)는 16x16 픽셀 크기의 일련의 예측된 매크로블록을 출력하며 제1 합산 기기(321)는 이미지(300) 내 제1 매크로 블록 대비 예측된 매크로블록(픽셀 예측기(302)의 출력) 간의 차를 표현할 수 있는 일련의 16x16 픽셀 잔차 데이터 매크로블록을 출력한다.
예측 오차 인코더(303)는 변환 블록(342) 및 양자화기(344)를 포함한다. 변환 블록(342)은 제1 예측 오차 신호(320)를 변환 도메인으로 변환한다. 이러한 변환은, 예를 들면, DCT 변환 또는 그의 변종이다. 양자화기(344)는 변환 도메인 신호, 예를 들면, DCT 계수를 양자화하여 양자화된 계수를 형성한다.
예측 오차 디코더(304)는 예측 오차 인코더(303)로부터 출력을 수신하고 디코딩된 예측 오차 신호(338)를 생성하며, 이 예측 오차 신호는 제2 합산 기기(339)에서 이미지 블록(312)의 예측 표현과 조합될 때 일차 재구성된 이미지(314)를 생성하게 된다. 예측 오차 디코더는 양자화된 계수 값, 예를 들면, DCT 계수를 역양자화하여 대략적으로 변환 신호를 재구성하는 역양자화기(346) 및 재구성된 변환 신호로 역 변환을 수행하는 역 변환 블록(348)을 포함하는 것으로 간주될 수 있고, 이 때 역 변환 블록(348)의 출력은 재구성된 블록(들)을 포함하고 있다. 예측 오차 디코더는 또한 재구성된 매크로블록을 디코딩된 정보 및 필터 파라미터에 따라 추가로 필터할 수 있는 매크로블록 필터(도시되지 않음)를 포함할 수 있다.
하기에서 인터-예측기(306)의 예시적인 실시예의 동작이 더 상세히 기술될 것이다. 인터-예측기(306)는 인터 예측을 위해 현재 블록을 수신한다. 현재 블록의 경우, 인코딩된 하나 이상의 이웃 블록들이 이미 존재하고 이들의 움직임 벡터가 정의되었다고 가정한다. 예를 들면, 좌측의 블록 및/또는 현재 블록 위쪽의 블록이 그러한 블록일 수 있다. 현재 블록에 대한 공간 움직임 벡터 예측은, 예를 들면, 동일 슬라이스 또는 프레임 내 인코딩된 이웃 블록들 및/또는 이웃하지 않는 블록들의 움직임 벡터를 이용함으로써, 공간 움직임 벡터 예측의 선형 또는 비선형 기능을 이용함으로써, 선형 또는 비선형 동작에 따라 각종 공간 움터 예측기들의 조합을 이용함으로써, 또는 시간적 참조 정보를 이용하지 않는 다른 모든 적절한 수단들에 의해 이루어질 수 있다. 또한 하나 이상의 인코딩된 블록의 두 공간 및 시간 예측 정보를 조합함으로써 움직임 벡터 예측기를 구하는 것이 가능할 수 있다. 이러한 종류의 움직임 벡터 예측기는 시공간적 움직임 벡터 예측기(spatio-temporal motion vector predictors)라고도 불릴 수 있다.
인코딩하는데 사용된 참조 프레임은 참조 프레임 메모리에 저장될 수 있다. 각각의 참조 프레임은 하나 이상의 참조 픽처 리스트에 포함될 수 있으며, 참조 픽처 리스트 내에서, 각각의 엔트리는 참조 프레임을 식별하는 참조 인덱스를 가지고 있다. 참조 프레임이 더 이상 참조 프레임으로서 사용되지 않을 때, 이 참조 프레임은 참조 프레임 메모리로부터 제거될 수 있거나 또는 "참조용으로 사용되지 않음" 또는 비-참조 프레임이라고 표시될 수 있고, 이때 그 참조 프레임의 저장 위치는 새로운 참조 프레임이 차지할 수 있다.
실시간 전송 프로토콜(Real-time Transport Protocol (RTP))은 오디오 및 비디오와 같은 시한 미디어(timed media)의 실시간 전송용으로 널리 사용된다. RTP 전송에서, 미디어 데이터는 복수개의 RTP 패킷으로 캡슐화된다. RTP를 통해 소정 포맷으로 코드된 비트스트림을 전달하기 위해 RTP 패이로드 포맷이 명시될 수 있다. 예를 들면, 인터넷 엔지니어링 태스크 포스(Internet Engineering Task Force (IETF))에 의해 RFC 6190에서 SVC RTP 패이로드 포맷 초안이 명시되었다. SVC RTP 패이로드 포맷에서, 패이로드 콘텐츠 스케일러빌리티 정보(payload content scalability information (PACSl)) NAL 유닛이라고 지칭되는 NAL 유닛 타입이 명시된다. PACSI NAL 유닛은, 존재한다면, 복수개의 NAL 유닛들을 내장하고 있는 취합 패킷(aggregation packet) 내 제1 NAL 유닛이며, 이 유닛은 다른 유형의 패킷에는 존재하지 않는다. PACSI NAL 유닛은 패이로드 내 잔여 NAL 유닛들 모두에 대해 공통적인 스케일러빌리티 특성을 표시하며, 그래서 미디어 인지 네트워크 요소(media aware network element (MANE))가 취합 패킷을 포워드/처리/폐기할지 결정하기를 더 쉽게 해준다. 송신자는 PACSI NAL 유닛을 생성한다. 수신자는 PACSI NAL 유닛을 무시할 수 있거나 아니면 이것을 힌트(hints)로서 사용하여 취합 패킷이 효과적으로 처리될 수 있게 할 수 있다. 취합 패킷의 제1 취합 유닛이 PACSI NAL 유닛을 포함할 때, 적어도 하나의 부가적인 취합 유닛이 동일 패킷에 존재한다. RTP 헤더 필드가 취합 패킷 내 잔여 NAL 유닛에 따라 설정된다.
전술한 바와 같이, 액세스 유닛은 상이한 컴포넌트 유형(예를 들면, 일차 텍스처 컴포넌트, 리던던트 텍스처 컴포넌트, 보조 컴포넌트, 깊이/디스패리티 컴포넌트)의, 상이한 뷰의, 그리고 상이한 스케일러블 계층의 슬라이스들을 포함할 수 있다. 하나의 슬라이스에 공통인 신택스 요소, 예를 들면, 관례적으로 슬라이스 헤더에 포함된 신택스 요소는 동일 액세스 유닛의 상이한 슬라이스들 전체에서 동일한 값을 가질 수 있다. 그렇기는 하지만, 관례적으로 그러한 신택스 요소는 각 슬라이스에서 코딩된다. 하기에서, 액세스 유닛 내 복수개 슬라이들에서 동일한 값을 갖는 신택스 요소를 코딩하는데 사용된 비트레이트 또는 비트 카운트를 줄이는 여러 실시예가 제공된다.
많은 실시예에서, 적어도 관례적으로 슬라이스 헤더에 포함되었던 신택스 요소의 서브세트는 인코더에 의해 GOS(Group of Slices) 파라미터 세트에 포함된다. 인코더는 GOS 파라미터 세트를 NAL 유닛으로서 코딩할 수 있다. GOS 파라미터 세트 NAL 유닛은, 예를 들면, 코딩된 슬라이스 NAL 유닛과 함께 비트스트림에 포함될 수 있으나, 다른 파라미터 세트의 맥락에서 앞에서 기술한 바와 같이 대역-외에서도 전달될 수 있다.
많은 실시예에서, GOS 파라미터 세트 신택스 구조는, 특정 GOS 파라미터 세트 인스턴스를, 예를 들면, 슬라이스 헤더 또는 다른 하나의 GOS 파라미터 세트로부터 참조할 때, 사용될 수 있는 식별자를 포함한다. 몇몇 실시예에서, GOS 파라미터 세트 신택스 구조는 식별자를 포함하지 않지만, 식별자는 두 인코더 및 디코더에서, 예를 들면, GOS 파라미터 세트 신택스 구조의 비트스트림 순서 및 미리-정의된 넘버링 방식을 이용하여 추론된다.
몇몇 실시예에서, 인코더 및 디코더는 GOS 파라미터 세트의 인스턴스 또는 콘텐츠를 이미 인코딩되거나 디코딩된 또는 비트스트림에 존재하는 다른 신택스 구조로부터 추론한다. 예를 들면, 베이스 뷰의 텍스처 뷰 컴포넌트의 슬라이스 헤더는 묵시적으로 GOS 파라미터 세트를 형성한다. 인코더 및 디코더는 그렇게 추론된 GOS 파라미터 세트의 식별자 값을 추론할 수 있다. 예를 들면, 베이스 뷰의 텍스처 뷰 컴포넌트의 슬라이스 헤더로부터 형성된 GOS 파라미터 세트는 0과 같은 식별자 값을 갖도록 추론될 수 있다.
몇몇 실시예에서, GOS 파라미터 세트는 그와 연관된 특정 액세스 유닛 내에서 유효하다. 예를 들면, 만일 GOS 파라미터 세트 신택스 구조가 특정 액세스 유닛의 NAL 유닛 시퀀스에 포함되어 있으면, 이때 그 시퀀스가 디코딩 중에 있거나 비트스트림 순서에 있을 경우, GOS 파라미터 세트는 그 액세스 유닛이 끝날 때까지 그의 출현 위치부터 유효할 수 있다. 몇몇 실시예에서, GOS 파라미터 세트는 많은 액세스 유닛들에서 유효할 수 있다.
인코더는 액세스 유닛 당 많은 GOS 파라미터 세트를 인코딩할 수 있다. 인코더는, 코딩될 슬라이스 헤더 내 신택스 요소 값들의 적어도 서브세트가 후속 슬라이스 헤더에서 동일할 것이라는 것을 알고, 예측하고, 또는 추정한다면, GOS 파라미터 세트를 인코딩할 것을 결정할 수 있다.
제한된 넘버링 공간은 GOS 파라미터 세트 식별자를 위해 사용될 수 있다. 예를 들면, 고정 길이의 코드가 사용될 수 있고 특정 범위의 서명없는 정수 값으로서 해석될 수 있다. 인코더는 제1 GOS 파라미터 세트 의 GOS 파라미터 세트 식별자 값을 사용할 수 있고, 만일 제1 GOS 파라미터 세트가 계속하여, 예를 들면 임의의 슬라이스 헤더 또는 GOS 파라미터 세트에 의해 참조되지 않는 경우에는, 제2 GOS 파라미터 세트의 값을 사용할 수 있다. 인코더는 비트스트림 내에서 GOS 파라미터 세트 신택스 구조를 반복하여, 예를 들면 전송 오류에 우수한 강인성을 성취할 수 있다.
많은 실시예에서, GOS 파라미터 세트에 포함될 수 있는 신택스 요소는 개념적으로 신택스 요소들의 세트에 수집된다. GOS 파라미터 세트 의 신택스 요소들의 세트는 예를 들면 다음과 같은 한 가지 이상의 바탕에서 형성될 수 있다.
- 스케일러블 계층 및/또는 다른 스케일러빌리티 특징을 표시하는 신택스 요소
- 뷰 및/또는 다른 멀티뷰 특징을 표시하는 신택스 요소
- 깊이/디스패리티와 같은, 특정 컴포넌트 유형에 관련한 신택스 요소
- 액세스 유닛 식별, 디코딩 순서 및/또는 출력 순서 및/또는 액닛의 모든 슬라이스들에 대해 변경없이 남을 수 있는 다른 신택스 요소에 관련한 신택스 요소
- 뷰 컴포넌트의 모든 슬라이스들에서 변경없이 남을 수 있는 신택스 요소
- 참조 픽처 리스트 변경에 관련한 신택스 요소
- 사용된 참조 픽처 리스트에 관련한 신택스 요소
- 표기하는 참조 픽처를 디코딩하는데 관련한 신택스 요소
- 가중 예측을 위한 예측 가중 테이블에 관련한 신택스 요소
- 디블록킹 필터링을 제어하기 위한 신택스 요소
- 적응적 루프 필터링을 제어하기 위한 신택스 요소
- 샘플 적응적 오프셋을 제어하기 위한 신택스 요소
- 전술한 세트들의 임의의 조합
각각의 신택스 요소 세트에 대해, GOS 파라미터 세트를 코딩할 때 인코더는 하나 이상의 다음과 같은 옵션을 가질 수 있다.
- 신택스 요소 세트는 GOS 파라미터 세트 신택스 구조로 코딩될 수 있다. 즉, 신택스 요소 세트의 코딩된 신택스 요소 값은 GOS 파라미터 세트 신택스 구조에 포함될 수 있다.
- 신택스 요소 세트는 참조로 GOS 파라미터 세트에 포함될 수 있다. 참조는 식별자로서 다른 하나의 GOS 파라미터 세트에 제공될 수 있다. 인코더는 상이한 신택스 요소 세트마다 상이한 참조 GOS 파라미터 세트를 사용할 수 있다.
- 신택스 요소 세트는 GOS 파라미터 세트에 존재하지 않을 것이라고 표시 또는 추론될 수 있다.
인코더가 GOS 파라미터 세트를 코딩할 때 특정 신택스 요소 세트를 위해 선택할 수 있는 옵션은 신택스 요소 세트의 유형에 달려 있을 수 있다. 예를 들면, 스케일러블 계층에 관련한 신택스 요소 세트는 항시 GOS 파라미터 세트 내에 존재할 수 있고, 한편 뷰 컴포넌트의 모든 슬라이스들에서 변동없이 남을 수 있는 신택스 요소의 세트는 참조로 포함시키기에 유용하지 않을 수 있으나 선택사양으로 GOS 파라미터 세트 내에 존재할 수 있으며 참조 픽처 리스트 변경에 관련한 신택스 요소는 GOS 파라미터 세트 신택스 구조에 참조로 포함될 수 있거나, 또는 그 구조에 이와 같이 포함될 수 있거나, 또는 그 구조에 존재하지 않을 수도 있다. 인코더는 비트스트림 내, 예를 들면, GOS 파라미터 세트 신택스 구조 내에 있는 표시를 인코딩할 수 있는데, 이 옵션은 인코딩 중에 사용되었다. 코드 테이블 및/또는 엔트로피 코딩은 신택스 요소 세트의 유형에 달려 있을 수 있다. 디코더는 디코딩되는 신택스 요소 세트의 유형에 기초하여, 인코더에 의해 사용된 코드 테이블 및/또는 엔트로피 인코딩과 일치하는 코드 테이블 및/또는 엔트로피 디코딩을 사용할 수 있다.
인코더는 신택스 요소 세트의 값의 소스로서 사용된 신택스 요소 세트와 GOS 파라미터 세트 사이의 연계를 표시하는 복수개의 수단을 가질 수 있다. 예를 들면, 인코더는 신택스 요소의 루프를 인코딩할 수 있는데, 이 요소에서 각각의 루프 엔트리는 참조로서 사용된 GOS 파라미터 세트 식별자 값을 표시하면서 참조 GOP 파라미터 세트로부터 복사된 신택스 요소 세트를 식별하는 신택스 요소로서 인코딩된다. 다른 예에서, 인코더는 각기 GOS 파라미터 세트를 표시하는 다수의 신택스 요소를 인코딩할 수 있다. 특정 신택스 요소 세트를 포함하는 루프 내 마지막 GOS 파라미터 세트는 참조 세트이며 GOS 파라미터 세트 내 그 신택스 요소 세트에 대하여 인코더는 현재 비트스트림으로 인코딩 중에 있다. 따라서 디코더는 인코더처럼 동일한 GOS 파라미터 세트를 재생하기 위하여 비트스트림으로부터 인코딩된 GOS 파라미터 세트를 분석한다.
예시적인 실시예에서, 신택스 구조, 신택스 요소의 시맨틱, 그리고 디코딩 프로세스는 다음과 같이 명시될 수 있다. 비트스트림 내 신택스 요소는 볼드체로 표현된다. 각각의 신택스 요소는 그 이름(모두 밑줄 문자로된 소문자임), 선택사양으로 그의 하나 또는 두 신택스 카네고리, 및 코딩된 표현의 방법에 관한 하나 또는 두 디스크립터로 기술된다. 디코딩 프로세스는 신택스 요소의 값 그리고 이전에 디코딩된 신택스 요소의 값에 따라 진행된다. 신택스 요소의 값이 신택스 테이블 또는 텍스트에서 사용될 때, 이 값은 일반 형태(볼드체 아님)로 표시된다. 몇몇 사례에서, 신택스 테이블은 신택스 요소 값으로부터 유도된 다른 변수의 값을 사용할 수 있다. 그러한 변수는 신택스 테이블에서 또는 텍스트로 표시되며, 이는 소문자와 대문자를 혼용하여 명명되고 아무 밑줄 문자도 없다. 대문자로 시작하는 변수는 현재 신택스 구조 및 모든 종속하는 신택스 구조를 디코딩하는 동안 유도된다. 대문자로 시작하는 변수는 나중에 신택스 구조에 대한 디코딩 프로세스에서 변수의 출처(originating) 신택스 구조를 언급하지 않고 사용될 수 있다. 소문자로 시작하는 변수는 오직 이 변수가 유도되는 문맥 내에서만 사용된다. 몇몇 사례에서, 신택스 요소 값 또는 변수 값의 "연상기호(mnemonic)" 이름은 그의 수치와 교체하여 사용된다. 때때로 "연상기호"는 어떤 연관된 수치없이 사용된다. 값과 이름의 연관은 텍스트로 명시된다. 이름은 밑줄 문자로 구분된 하나 이상의 문자 그룹으로 구성된다. 각각의 그룹은 대문자로 시작하며 더 많은 대문자를 가질 수 있다.
예시적인 실시예에서, 예를 들어 H.264/AVC 또는 초안 HEVC에서 명시된 것처럼 산술 연산자, 논리 연산자, 관계 연산자, 비트-단위 연산자, 할당 연산자, 및 범위 표기를 위한 일반적인 표기법이 사용될 수 있다. 또한, 예를 들어 H.264/AVC 또는 초안 HEVC에서 명시된 것처럼 일반적인 산술 함수가 사용될 수 있으며 예를 들어 H.264/AVC 또는 초안 HEVC에서 명시된 것처럼 연산자의 우선 순서 및 실행 순서의 일반적인 순서(좌에서 우로 또는 우에서 좌로)가 사용될 수 있다.
예시적인 실시예에서, 다음과 같은 디스크립터는 각 신택스 요소의 분석 프로세스를 명시하는데 사용될 수 있다.
- b(8): 비트 스트링의 임의의 패턴을 갖는 바이트(8 비트).
- se(v): 첫 왼쪽 비트를 갖는 부호있는 정수 Exp-Golomb-코딩된 신택스 요소.
- u(n): n 비트를 사용하는 부호없는 정수. n이 신택스 테이블에서 "v"일 때, 비트의 개수는 다른 신택스 요소의 값에 의존하는 방식으로 바뀐다. 이러한 디스크립터의 분석 프로세스는 첫번째로 기록된 최상위 비트를 갖는 부호없는 정수의 이진 표현으로서 해석되는 비트스트림에서 n 다음 비트로 명시된다.
- ue(v): 첫 왼쪽 비트를 갖는 부호없는 정수 Exp-Golomb-코딩된 신택스 요소.
Exp-Golomb 비트 스트링은 예를 들어 하기 테이블을 이용하여 코드 넘버(codeNum)로 변환될 수 있다.
Figure 112014082853814-pct00002
Exp-Golomb 비트 스트링에 대응하는 코드 넘버는 예를 들어 하기 테이블을 이용하여 se(v)로 변환될 수 있다.
Figure 112014082853814-pct00003
예시적인 실시예에서, 신택스 구조는 다음을 이용하여 명시될 수 있다. 중괄호로 묶인 스테이트먼트의 그룹은 복합 스테이트먼트이며 기능적으로 하나의 스테이트먼트로서 취급된다. "while" 구조는 조건이 참인지 여부의 테스트를 명시하며, 만일 참이라면, 그 조건이 더 이상 참이 아닐 때까지 반복적으로 스테이트먼트(또는 복합 스테이트먼트)의 평가를 명시한다. "do ·while" 구조는 스테이트먼트의 일회 평가를 명시하며, 뒤이어 조건이 참인지 여부의 테스트가 따라오며, 만일 참이라면, 그 조건이 더 이상 참이 아닐 때까지 그 스테이트먼트의 반복적 평가를 명시한다. "if·else" 구조는 조건이 참인지 여부의 테스트를 명시하며, 만일 그 조건이 참이면, 예비 스테이트먼트의 평가를 명시하며, 그렇지 않으면, 대체 스테이트먼트의 평가를 명시한다. 이 구조 및 연관된 대체 요소의 "else" 부분은 만일 아무런 대체 요소 평가도 필요하지 않은 경우 생략된다. "for" 구조는 예비 스테이트먼트의 평가를 명시하며, 뒤이어 조건의 테스트가 따라오며, 만일 그 조건이 참이면, 그 조건이 더 이상 참이 아닐 때까지 기본 스테이트먼트 다음에 오는 후속 스테이트먼트의 반복적 평가를 명시한다.
3DV-ATM의 예시적인 실시예는 다음에 제공된다.
3DV NAL 유닛은 GOS 파라미터 세트, 향상된 텍스처 뷰의 코딩된 슬라이스, 및 코딩된 깊이 슬라이스를 위해 정의된다. (예를 들어 NAL 유닛 유형 21을 이용하는) 3DV NAL 유닛의 NAL 유닛 헤더 길이는 2바이트이다. 두번째 바이트는 temporal_id, 3dv_nal_unit_type, 및 gos_param_id를 포함한다. 3dv_nal_unit_type는 NAK 유닛이 GOS 파라미터 세트 3DV 슬라이스를 포함하는지 여부를 명시한다. 만일 NAL 유닛이 GOS 파라미터 세트를 포함하고 있으면, gos_param_id는 NAL 유닛에서 명시된 GOS 파라미터 세트의 식별자 값을 제공한다. 만일 NAL 유닛이 슬라이스를 포함하고 있으면, gos_param_id는 그 슬라이스에 대한 슬라이스 헤더 신택스 요소의 값을 포함하고 있는 GOS 파라미터 세트를 나타낸다. MVC NAL 유닛 헤더 확장에 초기에 포함되었던 신택스 요소는 GOS 파라미터 세트에 존재한다.
nal_unit 신택스에는, NAL 유닛 유형 21이 3DV NAL 유닛을 위해 예약되어 있다고 가정하면, 아래와 같이 이태리체 부분이 붙는다.
Figure 112014082853814-pct00004
nal_unit_header_3dv_extension( )의 신택스는 다음과 같이 명시될 수 있다.
Figure 112014082853814-pct00005
nal_unit_header_3dv_extension( )의 시맨틱은 다음과 같이 명시될 수 있다.
3 dv _ nal _ unit _ type은 0이면 NAL 유닛이 GOS 파라미터 세트를 포함하고 있음을 명시한다. 3 dv _ nal _ unit _ type은 1이면 NAL 유닛이 코딩된 슬라이스 3DV 확장을 포함하고 있음을 명시한다.
temporal _ id는 NAL 유닛의 임시 식별자를 명시한다. nal_unit_type이 1 또는 5이고 NAL 유닛이 nal_unit_type이 14인 NAL 유닛을 바로 앞에 두고 있지 않을 때, temporal_id는 동일 액세스 유닛 내 넌-베이스 뷰에 대한 temporal_id의 값과 같을 것이라고 추론될 수 있다. temporal_id의 값은 모든 접두사, 코딩된 슬라이스 MVC 확장, 및 액세스 유닛의 3DV NAL 유닛에 대해 동일할 수 있다. 액세스 유닛이 5라는 nal_unit_type 또는 0이라는 non_idr_flag를 가진 임의의 NAL 유닛을 포함하고 있을 때, temporal_id는 0일 수 있다. temporal_id에 값을 할당하는 것은 서브-비트스트림 추출 프로세스에 의해 더욱 제한될 수 있다.
gos _ param _ id는 GOS 파라미터 세트 식별자를 명시한다. 3dv_nal_unit_type이 0 일때, gos_param_id는 NAL 유닛에 포함된 코딩된 3DV 확장용으로 사용 중인 GOS 파라미터 세트의 식별자를 명시한다. 3dv_nal_unit_type이 1일때, gos_param_id는 NAL 유닛에서 명시된 GOS 파라미터 세트의 식별자를 명시한다. 3dv_nal_unit_type 이 1 일때, gos_param_id는 0 내지 15를 포함하여 그 범위 내에 있을 수 있다. 3dv_nal_unit_type이 0일때, gos_param_id는 1 내지 15를 포함하여 그 범위 내에 있을 수 있다.
3dv_nal_unit( )의 신택스, 예를 들면, NAL 유닛 유형 21은 다음과 같이 명시된다.
Figure 112014082853814-pct00006
gos_param_set( )의 신택스, 즉, GOS 파라미터 세트 신택스 구조는 다음과 같이 명시된다.
Figure 112014082853814-pct00007
Figure 112014082853814-pct00008
Figure 112014082853814-pct00009
gos_param_set( )의 시맨틱은 다음과 같이 명시된다.
slice _ param _ for _ au _ flag는 0 이면 slice_param_for_au( ) 신택스 구조에 포함된 신택스 요소의 값이 동일 액세스 유닛의 임의의 다른 GOS 파라미터 세트 또는 슬라이스 헤더 신택스 구조에서의 값과 같다는 것을 명시한다. slice_param_for_au_flag는 1이면 slice_param_for_au( ) 신택스 구조가 이러한 GOS 파라미터 세트에서 존재한다는 것을 명시한다.
gos_parameter_inheritance_flag가 0 일 때, ref_pic_list_modification_flag[i], pred_weight_flag[i], 및 dec_ref_pic_marking_flag[ i ]은 다음과 같이 명시된다.
- ref _ pic _ list _ modification _ flag [ i ]는 1 이면 ref_pic_list_3dv_modification( ) 신택스 구조가 사실상 gos_param_id 에 의해 식별된 GOS 파라미터 세트 내에 존재한다는 것을 명시한다. ref_pic_list_modification_flag[ i ]의 시맨틱은 0 일때는 명시되지 않는다.
- pred _ weight _ flag [ i ]는 1 이면 pred_weight_table( ) 신택스 구조가 사실상 gos_param_id에 의해 식별된 GOS 파라미터 세트 내에 존재한다는 것을 명시한다. pred_weight_flag[ i ]의 시맨틱은 0 일때는 명시되지 않는다.
- dec _ ref _ pic _ marking _ flag [ i ]는 1 이면 GOS 파라미터 세트의 dec_ref_pic_marking( ) 신택스 구조가 gos_param_id에 의해 식별된 GOS 파라미터 세트 내에 존재한다는 것을 명시한다. dec_ref_pic_marking_flag[ i ]의 시맨틱은 0 때는 명시되지 않는다.
gos_parameter_inheritance_flag가 1 일때, ref_gos_param_id[ i ], ref_pic_list_modification_flag[ i ], pred_weight_flag[ i ], 및 dec_ref_pic_marking_flag[ i ]는 다음과 같이 명시된다.
- ref _ gos _ param _ id [ i ]는 사실상 gos_param_id에 의해 식별된 GOS 파라미터 세트에 대한 것인 ref_pic_list_modification_flag[ i ], pred_weight_flag[ i ], 및 dec_ref_pic_marking_flag[ i ]에 의해 식별된 신택스 구조를 획득하기 위한 소스로서 사용된 GOS 파라미터 세트를 명시한다. ref_gos_param_id[ i ]는 0 이면 동일 액세스 유닛의 베이스 뷰의 텍스처 뷰 컴포넌트의 슬라이스 헤더가 사실상 gos_param_id에 의해 식별된 GOS 파라미터 세트에 대한 것인 ref_pic_list_modification_flag[ i ], pred_weight_flag[ i ], 및 dec_ref_pic_marking_flag[ i ]에 의해 식별된 신택스 구조를 획득하기 위한 소스로서 사용된다는 것을 명시한다.
- ref _ pic _ list _ modification _ flag [ i ]는 1 이면 ref_gos_param_id[ i ]에 의해 식별된 GOS 파라미터 세트의 ref_pic_list_3dv_modification( ) 신택스 구조가 사실상 gos_param_id에 의해 식별된 GOS 파라미터 세트에 존재한다는 것을 명시한다. ref_pic_list_modification_flag[ i ]의 시맨틱은 0일때는 명시되지 않는다.
- pred _ weight _ flag [ i ]는 1 이면 ref_gos_param_id[ i ]에 의해 식별된 GOS 파라미터 세트의 pred_weight_table( ) 신택스 구조가 사실상 gos_param_id에 의해 식별된 GOS 파라미터 세트에 존재한다는 것을 명시한다. pred_weight_flag[ i ]의 시맨틱은 0 일때는 명시되지 않는다.
- dec _ ref _ pic _ marking _ flag [ i ]는 1 이면 ref_gos_param_id[ i ]에 의해 식별된 GOS 파라미터 세트의 dec_ref_pic_marking( ) 신택스 구조가 사실상 gos_param_id에 의해 식별된 GOS 파라미터 세트에 존재한다는 것을 명시한다. dec_ref_pic_marking_flag[ i ]의 시맨틱은 0 일때는 명시되지 않는다.
slice_param_for_3dv_view_component( )의 신택스는 다음과 같이 명시된다. 신택스 구조는 신택스 요소를 포함하며, 신택스 요소의 값은 뷰 컴포넌트의 모든 슬라이스들에 대해 변동없는 채로 남아있을 수 있다.
Figure 112014082853814-pct00010
slice_param_for_3dv_view_component( )의 시맨틱은 다음과 같이 명시된다.
non_idr_flag, priority_id, view_id, anchor_pic_flag 및 inter_view_flag의 시맨틱은 연관된 NAL 유닛이 gos_param_id에 의해 식별된 GOS 파라미터 세트를 조회하는 3DV NAL 유닛인 경우 MVC에서와 동일하다.
depth _ flag는 0 이면 gos_param_id에 의해 식별된 GOS 파라미터 세트를 참조하는 NAL 유닛이 향상된 텍스처 뷰 컴포넌트의 슬라이스를 포함하고 있다는 것을 명시한다. depth_flag는 1 이면 gos_param_id에 의해 식별된 GOS 파라미터 세트를 조회하는 NAL 유닛이 깊이 뷰 컴포넌트의 슬라이스를 포함하고 있다는 것을 명시한다.
single _ slice _ flag는 0 이면 gos_param_id에 의해 식별된 GOS 파라미터 세트를 참조하는 뷰 컴포넌트가 복수개의 슬라이스를 갖고 있다는 것을 명시한다. single_slice_flag는 1 이면 gos_param_id에 의해 식별된 GOS 파라미터 세트를 조회하는 각각의 뷰 컴포넌트가 정확히 하나의 슬라이스를 포함하고 있다는 것을 명시한다.
initialisation _ param _ equal _ flag는 0 이면 slice_param_for_3dv 신택스 구조가 전혀 존재하지 않다는 것을 명시한다. initialisation_param_equal_flag는 1 이면 slice_param_for_3dv 신택스 구조가 존재한다는 것을 명시한다.
slice_param_for_3dv( )의 신택스는 다음과 같이 명시된다. 신택스 구조는 slice_param_for_3dv_view_component( ) 신택스 구조 또는 slice_header_in_3dv_extension( ) 신택스 구조에 포함될 수 있다.
Figure 112014082853814-pct00011
Figure 112014082853814-pct00012
slice_param_for_3dv( )의 시맨틱은 다음과 같이 명시된다.
slice_param_for_3dv( )가 slice_param_for_3dv_view_component( ) 신택스 구조에 포함될 때, 신택스 요소의 값은 뷰 컴포넌트의 모든 슬라이스에 적용한다. slice_param_for_3dv( )가 slice_header_in_3dv_extension( ) 신택스 구조에 포함될 때, 신택스 요소의 값은 동일 NAL 유닛에 포함된 슬라이스에 적용한다.
H.264/AVC에서 명시된 시맨틱은 다음과 같은 변경에 따라 slice_param_for_3dv( )의 신택스 요소에 대해 적용한다. slice _ type은 slice_type이 3, 4, 8 또는 9가 되지 않다는 부가적인 제약을 갖는다. colour_plane_id가 존재할 때, H.264/AVC에서 명시된 시맨틱이 적용된다. depth_flag가 0 일 때, separate_colour_plane_flag는 1 일 것이라고 추론되며 colour_plane_id는 0 일 것이라고 추론된다. direct _ spatial _ mv _ pred _ flag는 다음과 같은 변경에 따라 H.264/AVC에 명시된 바와 동일한 시맨틱을 갖는다. RefPicListl [0]이 현재 뷰 컴포넌트와 동일한 액세스 유닛에 속한 인터-뷰 참조 컴포넌트(inter-view reference component) 또는 단지 인터-뷰 참조 컴포넌트(inter-view only reference component)만을 지시할 때, direct_spatial_mv_pred_flag는 1이다. num _ ref _ idx _10_ active _ minusl 및 num_ref_idx_ll_active_minusl은 MVC에서 명시된 바와 동일한 시맨틱을 갖는다. dmvp_flag는 0 이면 MVC에서 명시된 인터 및 인터-뷰 예측 프로세스가 적용된다는 것을 명시하며, dmvp_flag는 1 이면 깊이-기반 인터 및 인터-뷰 예측 프로세스가 적용된다는 것을 명시한다. depth _ weighted _ pred _ flag는 0 이면 어떤 깊이-범위-기반 가중 예측(depth-range-based weighted prediction)도 깊이 뷰 컴포넌트의 P 또는 B 슬라이스에 대해 사용되지 않는다는 것을 명시한다. depth_weighted_pred_flag는 1 이면 깊이-범위-기반 가중 예측이 깊이 퓨 컴포넌트의 P 및 B 슬라이스에 대해 사용된다는 것을 명시한다.
slice_param_for_au( )의 신택스는 다음과 같이 명시된다. 신택스 구조는 신택스 요소를 포함하고, 신택스 요소의 값은 3DV NAL 유닛을 포함하는 액세스 유닛의 모든 슬라이스들에 대해 변동없는 채로 남아 있을 수 있다.
Figure 112014082853814-pct00013
slice_param_for_au( )의 시맨틱은 다음과 같이 명시된다. H.264/AVC에서 명시된 시맨틱은 다음과 같은 부가적인 제약을 가지고 적용된다. slice_param_for_au 내 각각의 신택스 요소의 값은 모든 슬라이스 헤더 및 동일 액세스 유닛에 포함된 신택스 구조의 슬라이스 헤더에서 변경없이 남아 있을 수 있다.
slice_header_in_3dv_extension( )의 신택스는 다음과 같이 명시된다. single_slice_flag 및 initialisation_param_equal_flag는 gos_param_id에 의해 식별된 GOS 파라미터 세트로부터 온다.
Figure 112014082853814-pct00014
slice_header_in_3dv_extension( )의 시맨틱은 다음과 같이 명시된다. H.264/AVC에서 명시된 시맨틱이 적용된다. 만일 신택스 요소 또는 신택스 구조가 slice_header_in_3dv_extension( )에 존재하지 않으면, 그의 값은 gos_param_id에 의해 식별된 GOS 파라미터 세트로부터 물려받는다.
HEVC 및 그의 잠재적인 스케일러블 확장에 관한 예시적인 실시예는 다음과 같이 제공된다. 상기 스케일러블 확장은 예를 들면 미디엄 그레인 및/또는 코스 그레인 품질 스케일러빌리티, 공간 스케일러빌리티, 확장된 공간 스케일러빌리티, 멀티뷰 코딩, 깊이-향상된 코딩, 보조 픽처 코딩, 비트-깊이 스케일러블 코딩, 또는 이들의 임의의 조합을 포함할 수 있다.
스케일러블 확장이 가능해지면, 액세스 유닛은 코딩된 텍스처 및 깊이 뷰 컴포넌트뿐만 아니라 종속성 및 계층 표현과 같은 비교적 많은 개수의 컴포넌트 픽처들로 구성될 수 있다. 일부 컴포넌트 픽처들의 코딩된 크기는 상대적으로 작을 수 있는데, 그 이유는 예를 들면 픽처들이 베이스 뷰 또는 베이스 계층에 대하여 델타를 표현하기 위해 고려될 수 있기 때문에 그리고 깊이 컴포넌트 픽처가 비교적 압축하기 쉽기 때문이다. 따라서, NAL 유닛 헤더 및 슬라이스 헤더 오버헤드는 그러한 컴포넌트 픽처 용도로 사용된 바이트에 대해 더 큰 비율의 몫을 가질 수 있다.
HEVC 코덱은 전송 오류에 취약할 수 있으며 어떤 형태의 오류 은폐는 시간 경과에 따라 에러의 크기 및 공간 영역의 양쪽면에서 증가하는 결과를 가져올 수 있다. MPEG-DASH와 같은 많은 전송 시스템은 오류가 없다.
SVC 및 MVC의 스케일러빌리티 특성 중 일부는 NAL 유닛 헤더 내에서 제공되는데, 이로 인해 NAL 유닛 헤더는 SVC 및 MVC의 코딩된 슬라이스에 대해 비교적 큰 크기, 예를 들면, 4 바이트를 갖는다. 만일 NAL 유닛 헤더 또는 슬라이스 헤더가 스케일러빌리티 특성이 제공되었던 파라미터 세트로의 참조를 제공한다면, 더 작은 NAL 유닛 헤더 크기가 성취될 수도 있다. 그러나, 그러한 설계는 멀티미디어 게이트 웨이 또는 멀티포인트 컨퍼런스 제어 유닛(Multipoint Conference Control Unit (MCU))과 같이, 서브-비트스트림 추출 또는 비트스트림의 스케일러블 적응을 수행하는 엔티티가 파라미터 세트에 액세스해야 하고 그 파라미터 세트의 활성 상태를 유지해야 하는 것을 필요로 할 것이다.
아래에서 제공된 예시적인 실시예는 다음과 같은 기술적인 영역을 함께 해결하는 해법을 제공할 수 있다. 첫 번째로, 예시적인 실시예는 HEVC 스케일러블 확장에 필요한 고리를 제공할 수 있다. 두 번째로, 파라미터 세트에의 액세스, 파라미터 세트의 분석, 또는 파라미터 세트의 활성 여부의 추적을 필요로 하지 않는 서브-비트스트림 추출을 제공하는 것이 가능할 수 있다. 세 번째로, 예시적인 실시예는 SVC 및 MVC의 4-바이트 헤더와 비교할 때 NAL 유닛 헤더 크기를 줄일 수 있다. 네 번째로, 픽처가 복수개의 슬라이스를 포함할 때 슬라이스 헤더 바이트 카운트 오버헤드를 또한 줄일 수 있다. 다섯 번째로, 예시적인 실시예는 또한 스케일러블 확장 시 슬라이스 헤더 바이트 카운트 오버헤드를 줄일 수 있다.
컴포넌트 픽처는, 어느 것이든 디코딩 순서에서 빠른 것을 제외하여, 액세스 유닛이 끝날 때까지 또는 다음의 컴포넌트 픽처 구분자 NAL 유닛이 끝날 때까지, 컴포넌트 픽처 구분자 NAL 유닛 및 후속의 코딩된 슬라이스 NAL 유닛으로서 정의될 수 있다. 실제, 스케일러블 확장이 없는 HEVC에서, 컴포넌트 픽처는 액세스 유닛의 코딩된 픽처를 포함하는 것으로 간주될 수 있으며, 향후 스케일러블 확장에서, 컴포넌트 픽처는 예를 들면, 뷰 컴포넌트, 깊이 맵, 종속성 표현, 계층 표현을 포함할 것이다.
컴포넌트 픽처는 컴포넌트 픽처 구분자 NAL 유닛을 이용하여 서로 분리되는데, 이 컴포넌트 픽처 구분자 NAL 유닛은 또한 컴포넌트 픽처의 코딩된 슬라이스들을 디코딩하는데 사용될 공통 신택스 요소 값을 전달할 수 있다.
이러한 예시적인 실시예에서, 각각의 컴포넌트 픽처에는 컴포넌트 픽처 종속성 식별자(cpd_id)가 주어지며, 이 식별자는 컴포넌트 픽처 구분자 NAL 유닛 및 코딩된 슬라이스 양쪽에 시그널되며, 그럼으로써 이들 사이에서 관계를 형성한다.
도 10은 예시적인 실시예에 따른 액세스 유닛의 구조에 관한 간략한 예시를 제공한다.
액세스 유닛은 선택사양으로 존재할 수도 있는 액세스 유닛 구분자 NAL 유닛부터 시작할 수 있다. 액세스 유닛 구분자 NAL 유닛(존재 하는 경우)의 다음에는 0개 이상의 SEI NAL 유닛이 올 수 있다. 컴포넌트 픽처 구분자 NAL 유닛은 각 컴포넌트 픽처에 선행한다. 컴포넌트 픽처는 하나 이상의 코딩된 슬라이스 NAL 유닛을 포함한다. 액세스 유닛 내에는 하나 이상의 컴포넌트 픽처가 있을 수 있다.
슬라이스 헤더의 신택스 요소는 신택스 요소 구조로 분류되는데, 이 때 각각의 구조는 컴포넌트 픽처 내에서 유사한 특성, 즉, 컴포넌트 픽처의 모든 코딩된 슬라이스에서 변동없는 채로 남아 있거나 아니면 컴포넌트 픽처의 코딩된 슬라이스들 사이에서 변동하는 특성을 가질 수 있다. 예를 들면, 다음과 같은 신택스 요소 구조 또는 슬라이스 파라미터 구조가 명시될 수 있다.
1. 픽처 식별(idr_pic_id 및 관련 POC)
2. 참조 픽처 세트
3. 적응 파라미터 세트 ID
4. 디블록킹 필터 제어
5. 적응 루프 필터 제어
6. 참조 픽처 리스트 구성
7. 가중 예측을 위한 예측 가중 테이블
컴포넌트 픽처 구분자 NAL 유닛을 코딩할 때, 전술한 것들 중 어느 것들이 컴포넌트 픽처 구분자 NAL 유닛에 존재하는지의 여부가 표시될 수 있으며 그래서 컴포넌트 픽처의 코딩된 모든 슬라이스들 사이에서 공유될 수 있다. 컴포넌트 픽처 구분자 NAL 유닛에 존재하지 않는 신택스 요소 구조는 슬라이스 헤더에 존재할 수도 있다.
도 11은 한 컴포넌트 픽처 구분자 NAL 유닛 및 두 개의 코딩된 슬라이스 NAL 유닛을 포함하는 컴포넌트 픽처의 일예를 제공한다. 컴포넌트 픽처 NAL 유닛은 앞에서 열거된 일곱 슬라이스 파라미터 신택스 구조 중 세 개, 즉, 픽처 식별, 참조 픽처 세트, 및 적응 파라미터 세트를 포함한다. 코딩된 슬라이스는 이들 세 슬라이스 파라미터 구조를 컴포넌트 픽처 구분자 NAL 유닛으로부터 물려받는다. 이 예에서, 코딩된 슬라이스의 슬라이스 헤더는 또한 참조 픽처 리스트 구성 구조를 포함하며, 이 구조는 이 예에서 코딩된 슬라이스별로 상이하게 적응되며 그래서 컴포넌트 픽처 구분자 NAL 유닛에 포함되지 않는다. 나머지 세 개의 구조는 이 예에서 존재하지 않지만, 디블록킹 필터 및 적응 루프 필터의 동작은 사실상 APS에 의해 관리되며 가중 예측은 이 예에서 사용되지 않고 그래서 예측 가중 테이블이 존재하지 않는다.
하나 이상의 컴포넌트 픽처 구분자가 손실되었을지라도 슬라이스의 독립적인 디코딩을 희망하는 환경에서, 다음과 같은 전략 중 어느 것이 사용될 수 있다.
- 인코더는 컴포넌트 픽처 구분자 내 슬라이스 헤더 신택스 요소를 코딩하기를 선택하지 않을 수 있지만, 관례적으로 행해지는 것처럼 슬라이스 헤더 내에서 코딩된다. 그러므로, 현재 HEVC WD와 마찬가지로 동일한 오류 강인성이 달성될 수 있다.
- 컴포넌트 픽처 구분자 NAL 유닛을 반복하는 메커니즘이 도입될 수도 있다. 이 메커니즘은 HEVC에 도입될 수 있는데, 예를 들면, SEI 메시지가 비트스트림의 어느 지점에서도 허용되는 SEI 메커니즘이 도입될 수 있으며 컴포넌트 픽처 구분자는 그러한 SEI 메시지와 함께 전달될 수 있다. 대안으로 또는 부가적으로, 전송 레벨에서 메커니즘이 사용될 수 있다. 예를 들면, 컴포넌트 픽처 구분자 NAL 유닛은, 예를 들면, SVC RTP 패이로드 포맷의 PACSI NAL 유닛과 같은 메커니즘 내부에서 전달된 전송 패킷 내에서, 송신기가 적절하다고 생각할 때, 반복될 수 있다.
액세스 유닛에 복수개의 컴포넌트 픽처가 존재할 때 조차도 슬라이스 헤더 파라미터를 전달하는 비트 카운트를 줄이기 위하여, 컴포넌트 픽처 구분자 NAL 유닛 전체에서 선택된 파라미터의 예측이 수행된다. 예를 들면, 깊이-향상 멀티뷰 비디오 코딩에서, 슬라이스 파라미터 구조 중 일부가 동일 view_id를 가진 텍스터 뷰 컴포넌트와 깊이 뷰 컴포넌트와의 사이에서 예측되는 것이 유익할 수 있으며, 반면 일부 다른 신택스 요소의 경우에는 신택스 요소를 동일 컴포넌트 유형(텍스처 또는 깊이)의 상이한 뷰 컴포넌트로부터 물려받는 것이 좋다.
실제, 논-베이스 컴포넌트 픽처의 컴포넌트 픽처 구분자 NAL 유닛은 다른 컴포넌트 픽처 구분자 NAL 유닛에 포함시킴으로써 또는 이를 참조함으로써 표시된 신택스 요소 구조를 포함할 수 있다. 참조는 cpd_id 값에 대해서 주어진다. CPDID1과 같은 cpd_id를 가진 컴포넌트 픽처 구분자 NAL 유닛 내 신택스 요소는 신택스 요소 세트로 취합된다. 각각의 신택스 요소 세트는 동일 액세스 유닛 내 CPDID2와 같은 cpd_id를 가진 초기 컴포넌트 픽처 구분자 NAL로부터 선택적으로 복사될 수 있다. CPDID1은 CPDID2보다 크다. 그러므로, 슬라이스 헤더 파라미터는 컴포넌트 픽처들 사이에서 효과적이고 유연하게 공유될 수 있다.
도 12는 두 텍스처 및 깊이 컴포넌트 픽처를 갖는 멀티뷰-플러스-깊이 액세스 유닛을 보여주는 예를 제공한다. 이들 컴포넌트 픽처의 비트스트림 순서는 다음과 같은 순서, 즉, 베이스 뷰 텍스처 픽처, 베이스 뷰 깊이 픽처, 논-베이스 뷰 텍스처 픽처, 및 넌-베이스 뷰 깊이 픽처일 것으로 추정된다. 이 예에서, 픽처 식별 및 참조 픽처 세트 구조는 모든 컴포넌트 픽처에서 동일하며 그래서 0보다 큰 cpd_id를 가진 컴포넌트 픽처 구분자 NAL 유닛에 참조로 포함된다. 텍스처 컴포넌트 픽처의 참조 픽처 리스트는 동일하며, 깊이 컴포넌트 픽처의 참조 픽처 리스트는 동일하다. 그러나, 텍스처 컴포넌트 픽처의 참조 픽처 리스트는 깊이 컴포넌트 픽처의 참조 픽처 리스트와 상이하다. 그래서, 참조 픽처 리스트 구축 구조를 위한 예측 소스는 바뀐다. 이 예에서, 나머지 네 개의 슬라이스 파라미터 구조는 슬라이스 헤더에 포함되거나 존재하지 않는다고 추정된다. 마지막 두 픽처 구분자 NAL 유닛들의 cpd_id는 이들 중 어느 것도 임의의 후속 픽처 구분자 NAL 유닛의 예측을 위해 사용되지 않으므로, 동일한 값(2)일 수 있다는 것을 주목하자.
각각의 컴포넌트 픽처에는 컴포넌트 픽처 종속성 식별자(cpd_id)가 주어지는데, 이 역시 NAL 유닛 헤더에서 시그널된 것이다. cpd_id의 값은 cpd_id에 근거하여 서브-비트스트림 추출이 행해지는 식으로 제약된다. 다시 말해서, 컴포넌트 픽처 구분자 NAL 유닛 및 0보다 큰 소정 cpd_id를 가진 코딩된 슬라이스 NAL 유닛을 제외함으로써 형성된 비트림은 준용하는 비트림이다.
이 예시적인 실시예에서, cpd_id는 NAL 유닛 헤더에 포함된다. 그러므로, 이는 제한된 값의 범위(예를 들면, 5 비트)를 갖는다. 일반적으로, 값의 범위로 제공된 최대 값(예를 들면 32)보다 더 많은 수의 컴포넌트 픽처가 액세스 유닛 내에 있을 수 있다. 그 결과, cpd_id는 액세스 유닛 내에서 반복-사용되어야 할 수 있다. 일부 예시적인 실시예에서, 컴포넌트 픽처 구분자 NAL 유닛은 네스티드 예측 구조(nested prediction structure)를 가질 수 있는데, 즉, CPDID1과 같은 cpd_id를 가진 컴포넌트 픽처 구분자 NAL 유닛은 다음과 같이 결정된 컴포넌트 픽처 구분자 NAL 유닛으로부터 예측될 수 있고 임의의 다른 컴포넌트 픽처 구분자 NAL 유닛으로부터는 예측되지 않는다. 다음과 같이, 액세스 유닛 내 컴포넌트 픽처 구분자 NAL 유닛은 0, 1, 2, ...의 디코딩 순서(즉, 비트스트림 순서)로 인덱스되며 CPDID1과 같은 cpd_id를 가진 현재의 컴포넌트 픽처 구분자 NAL 유닛의 인덱스는 currIndex와 같고, 여기서 currIndex는 0보다 크다. 이것은 다음과 같은 의사 코드로 설명될 수 있다.
Figure 112014082853814-pct00015
의사 코드에서,
- 입력 파라미터 cpdId[ i ]는 액세스 유닛 내에서 인덱스 i를 가진 컴포넌트 픽처 구분자 NAL 유닛의 cpd_id 값을 제공한다;
- 출력 파라미터 numRefCpdIdx는 현재의 컴포넌트 픽처 구분자 NAL 유닛을 예측하는데 사용될 수 있는 컴포넌트 픽처 구분자 NAL 유닛의 개수를 제공한다; 그리고
- 만일 numRefCpdIdx가 0보다 크면, refCpdIdx[ j ]는 현재의 컴포넌트 픽처 구분자 NAL 유닛을 예측하는데 사용될 수 있는 컴포넌트 픽처 구분자 NAL 유닛의 인덱스를 제공하며, 여기서 j는 0 내지 numRefCpdldx - 1를 포함하여 그의 범위에 속한다.
따라서, 서브-비트스트림 추출이 또한 다음과 같이 액세스 유닛 내에서 더 그래뉴러리티하게 이루어질 수 있다. 만일 컴포넌트 픽처 구분자 NAL 유닛 및 뒤이은 코딩된 슬라이스 NAL 유닛(모두 CPDID1과 같은 cpd_id를 가짐)으로 이루어진 컴포넌트 픽처가 비트스트림에서 제거된다면, 비트스트림에서도 역시 제거되어야 하는 컴포넌트 픽처가 다음과 같은 알고리즘에 따라 결정될 수 있다. 전술한 바와 같이, 액세스 유닛 내 컴포넌트 픽처는 0, 1, 2, ...의 디코딩 순서(즉, 비트스트림 순서)로 인덱스되고 (제거될) 현재의 컴포넌트 픽처의 인덱스는 currIndex이며, 액세스 유닛 내에서 컴포넌트 픽처의 총 개수는 numIndex이다.
Figure 112014082853814-pct00016
의사 코드에서, "break"는 (C 프로그래밍 언어에서 처럼) 루프틀 빠져나오는 것이고 입력 및 출력은 다음과 같다.
- 입력 파라미터 cpdId[ i ]는 액세스 유닛 내 인덱스 i를 가진 컴포넌트 픽처 구분자 NAL 유닛의 cpd_id 값을 제공한다;
- 출력 파라미터 numToBeRemovedIdx는 현재의 컴포넌트 픽처 이외에 액세스 유닛에서 제거될 컴포넌트 픽처의 개수를 제공한다; 그리고
- 만일numToBeRemovedIdx가 0보다 크면, toBeRemovedIdx[j]는 현재 컴포넌트 픽처이외에 액세스 유닛에서 제거될 컴포넌트 픽처의 인덱스를 제공하며, 여기서 j는 0 내지 numToBeRemoved - 1를 포함하여 그 범위에 속한다.
이런 종류의 제거 또는 서브-비트스트림 추출 프로세스는 어느 컴포넌트 픽처 구분자 NAL 유닛이 실제로 예측에 사용되는지를 검토하지 않으며, cpd_id 시맨틱의 제약사항에 의해서 관리되므로 어느 컴포넌트 픽처 구분자 NAL 유닛이 예측을 위해 사용될 수 있는지의 정보만을 이용할 뿐이다. 그러나, 이러한 서브-비트스트림 추출 프로세스는 NAL 유닛 헤더에서 액세스 가능한 cpd_id 값이 있을 때만 동작할 수 있으며 직접적인 방식으로, 예를 들면, 미디어 게이트웨이 또는 MCU에서 사용될 수 있다.
다음과 같이, 몇몇 신택스 구조의 예시적인 실시예가 기술된다.
NAL 유닛 신택스는 다음과 같은 것을 포함할 수 있다.
Figure 112014082853814-pct00017
cpd_id의 시맨틱은 다음과 같이 추가된다. cpd _ id는 컴포넌트 픽처의 식별자이다. cpd_id의 값은 위에서 기술된 바와 같이 제약된다.
NAL 유닛 유형의 테이블은 다음을 포함할 수 있다.
Figure 112014082853814-pct00018
예시적인 실시예에 따른 컴포넌트 픽처 구분자 NAL 유닛의 신택스 구조는 다음과 같다.
Figure 112014082853814-pct00019
Figure 112014082853814-pct00020
structure _ idc는 이 신택스 구조에서 사용된 식별자이고, stracture_idc는 슬라이스 헤더에 존재하는 여러 신택스 요소들 및 HEVC 스케일러블 확장에서 명시된 컴포넌트 픽처들의 컴포넌트 픽처 구분자 NAL 유닛들의 존재 및 조합을 표시하는데 사용될 수 있다. 인식되지 않는 structure_id를 가진 컴포넌트 픽처 구분자 NAL 유닛은 디코딩 프로세스에서 무시될 수 있다.
single _ slice _ type _ flag는 0 이면 컴포넌트 픽처가 여러 슬라이스 유형의 슬라이스를 포함할 수 있다는 것을 명시한다. single_slice_type_flag는 1 이면 컴포넌트 픽처의 모든 슬라이스가 동일한 슬라이스 유형을 갖는다는 것을 명시한다.
pred _ flag는 0 이면 후속의 표시된 슬라이스 파라미터 구조가 이 NAL 유닛에 포함된다는 것을 명시한다. pred_flag는 1 이면 후속의 표시된 슬라이스 파라미터 구조가 ref_cpd_id[ idx ]와 같은 cpd_id를 가진 컴포넌트 픽처 구분자 NAL 유닛으로부터 참조로 포함된다는 것을 명시한다.
ref _ cpd _ id [ idx ]는 컴포넌트 픽처 구분자 NAL 유닛이 표시된 슬라이스 파라미터 구조를 위한 참조로서 사용되는 것을 명시한다.
slice _ param _ flag [ i ][ idx ]는 i-번째 슬라이스 파라미터 구조가 이 컴포넌트 픽처 구분자 NAL 유닛에 포함된 것을 명시한다. 이러한 포함은 다른 컴포넌트 픽처 구분자 NAL 유닛에의 참조로 이루어질 수 있다.
예시적인 실시예에 따르면, 슬라이스 헤더의 신택스는 다음을 포함할 수 있다.
Figure 112014082853814-pct00021
슬라이스 헤더를 디코딩하거나 분석하는 동안, 동일한 cpd_id를 가진 앞선 컴포넌트 픽처 구분자 NAL 유닛에 포함된 신택스 요소가 유효하다.
다음과 같은 슬라이스 헤더 파라미터 신택스 구조가 명시될 수 있다. 이들 신택스 구조는 초안 HEVC 사양의 슬라이스 헤더에 상주하는 파라미터를 포함한다.
Figure 112014082853814-pct00022
Figure 112014082853814-pct00023
Figure 112014082853814-pct00024
Figure 112014082853814-pct00025
이들 구조에서 신택스 요소의 시맨틱은 초안 HEVC 사양에서 제시된 시맨틱과 비교하여 변동되지 않는다.
HEVC의 스케일러블 확장에 대해, 하나 이상의 새로운 structure_idc 값이 사용하게 될 수 있다. 또한, 스케일러블 확장은 또한 하나 이상의 슬라이스 파라미터 구조가 사용하게 할 수 있다. SVC의 것과 유사한 dependency_id 및 quality_id를 가진 컴포넌트 픽처 구분자 NAL 유닛의 스케일러블 확장의 일예가 아래에서 제공된다.
Figure 112014082853814-pct00026
하나의 컴포넌트 픽처 구분자 NAL 유닛으로부터 다른 유닛으로 예측 또는 참조로의 포함은 예측을 위한 참조 컴포넌트 픽처 구분자 NAL 유닛 및/또는 예측되는 컴포넌트 픽처 구분자 NAL 유닛의 structure_idc 값에 관한 조건부로 만들어 질 수 있다. 예를 들면, 소정 슬라이스 파라미터 구조는 깊이 컴포넌트 픽처에는 유효할 수 있지만, 이 구조는 텍스처 컴포넌트 픽처에는 존재하지 않을 수 있으며, 그래서 그러한 슬라이스 파라미터 구조의 예측은 일어나지 않는다.
앞에서, 예시적인 실시예는 비트스트림의 신택스를 위주로 기술되었다. 그러나, 대응하는 구조 및/또는 컴퓨터 프로그램은 비트스트림을 생성하는 인코더 및/또는 비트스트림을 디코딩하는 디코더에서 존재할 수 있다는 것을 주목하여야 한다. 마찬가지로, 예시적인 실시예가 인코더를 참조하여 기술되는 경우, 결과적인 비트스트림 및 디코더는 이들 속안에 있는 대응하는 구성요소를 갖는다는 것을 이해할 필요가 있다. 마찬가지로, 예시적인 실시예가 디코더를 참조하여 기술되는 경우, 인코더는 디코더에 의해 디코딩될 비트스트림을 생성하는 구조 및/또는 컴퓨터 프로그램을 가지고 있다는 것을 이해할 필요가 있다.
비록 전술한 예가 전자 장치 내 코덱 내부에서 동작하는 본 발명의 실시예를 기술할지라도, 아래에 기술된 바와 같은 본 발명은 모든 비디오 코덱의 일부로서 구현될 수 있다는 것을 인식할 것이다. 그러므로, 예를 들면, 본 발명의 실시예는 고정된 또는 유선의 통신 경로를 통해 비디오 코딩을 시행할 수 있는 비디오 코덱에서 시행될 수 있다.
그러므로, 사용자 장비는 전술한 본 발명의 실시예에서 기술된 것과 같은 비디오 코덱을 포함할 수 있다. 사용자 장비라는 용어는 모바일 텔레폰, 휴대용 데이터 처리 장치 또는 휴대용 웹 브라우저와 같은 모든 적절한 형태의 무선 사용자 장비를 포함하는 것으로 의도한다.
또한 공중 육상 모바일 네트워크(public land mobile network (PLMN))의 요소는 또한 전술한 바와 같은 비디오 코덱을 포함할 수 있다.
일반적으로, 본 발명의 여러 실시예는 하드웨어 또는 특수 목적 회로, 소프트웨어, 로직 또는 이들의 조합으로 구현될 수 있다. 예를 들면, 비록 본 발명이 이것으로 제한되지 않지만, 몇몇 양태는 하드웨어로 구현될 수 있지만, 다른 양태는 컨트롤러, 마이크로프로세서 또는 다른 컴퓨팅 장치에 의해 실행될 수 있는 펌웨어 또는 소프트웨어로 구현될 수 있다. 본 발명의 여러 양태가 블록도, 플로우 차트로서 또는 일부 다른 회화적 표현을 이용하여 묘사되고 기술될 수 있지만, 본 출원에 기술된 이들 블록, 장치, 시스템, 기술 또는 방법은, 비제한적인 예로서, 하드웨어, 소프트웨어, 펌웨어, 특수 목적 회로, 또는 로직, 범용 하드웨어 또는 컨트롤러 또는 다른 컴퓨팅 기기, 또는 이들의 어떤 조합으로 구현될 수 있다는 것이 이해될 것이다.
본 발명의 실시예는 프로세서 엔티티에서와 같은 모바일 기기의 데이터 프로세서에 의해, 또는 하드웨어에 의해, 또는 소프트웨어와 하드웨어의 조합에 의해 실행가능한 컴퓨터 소프트웨어에 의해 구현될 수 있다. 또한, 이 점에 있어서, 도면에서와 같은 로직 흐름의 모든 블록들은 프로그램 단계, 또는 상호연결된 로직 회로, 블록 및 기능, 또는 프로그램 단계 및 로직 회로, 블록 및 기능의 조합을 표현할 수 있다는 것을 알아야 한다. 소프트웨어는 메모리 칩, 또는 프로세서 내부에 구현된 메모리 블록과 같은 그러한 물리적 매체, 하드 디스크나 플로피 디스크와 같은 자기 매체, 예를 들면, DVD 및 그의 데이터 이형체인 CD와 같은 광학 매체 상에 저장될 수 있다.
본 발명의 여러 실시예는 메모리에 상주하면서 관련 장치가 본 발명을 실행하도록 해주는 컴퓨터 프로그램 코드의 도움으로 구현될 수 있다. 예를 들면, 터미널 장치는 데이터, 메모리 내 컴퓨터 프로그램 코드, 및 그 컴퓨터 프로그램 코드가 구동할 때 터미널 장치가 실시예의 특징을 실행하게 해주는 프로세서를 처리하고, 수신하고 전송하는 회로 및 전자장치를 포함할 수 있다. 또한, 네트워크 장치는 데이터, 메모리 내 컴퓨터 프로그램 코드, 및 그 컴퓨터 프로그램 코드가 구동할 때 네트워크 장치가 실시예의 특징을 실행하게 해주는 프로세서를 처리하고, 수신하고 전송하는 회로 및 전자장치를 포함할 수 있다
메모리는 지엽적 기술 환경에 적합한 모든 형태의 것일 수 있으며 반도체 기반 메모리 기기, 자기 메모리 기기 및 시스템, 광학 메모리 기기 및 시스템, 고정 메모리 및 제거가능 메모리와 같은 모든 적합한 데이터 저장 기술을 이용하여 구현될 수 있다. 데이터 프로세서는 지엽적 기술 환경에 적합한 모든 형태의 것일 수 있으며, 비제한적인 예로서 범용 컴퓨터, 특수 목적 컴퓨터, 마이크로프로세서, 디지털 신호 프로세서(DSPS) 및 멀티-코어 프로세서 아키텍처에 기반한 프로세서 중 하나 이상을 포함할 수 있다.
본 발명의 실시예는 집적 회로 모듈과 같은 각종 컴포넌트에서 실시될 수 있다. 집적 회로의 디자인은 전반적으로 고도로 자동화된 프로세스이다. 복잡하고 강력한 소프트웨어 툴은 로직 레벨 디자인을 반도체 기판 상에서 에칭되고 형성되게 준비된 반도체 회로 디자인으로 변환하는데 이용가능하다.
캘리포니아, 마운틴 뷰 소재의 Synopsys Inc.와 캘리포니아 산호세 소재의 Cadence Design에 의해 제공된 것과 같은 프로그램은 자동적으로 전도체를 안내하고 잘 설정된 디자인 룰 및 기-저장된 디자인 모듈의 라이브러리를 이용하여 반도체 칩상에 컴포넌트를 배치한다. 일단 반도체 회로의 디자인이 완성되면, 표준화된 전자 포맷(예를 들면, Opus 또는 GDSII 등)으로 된 결과적인 디자인은 반도체 제조 설비 또는 제조용 "팹(fab)"으로 전달될 수 있다.
전술한 설명은 본 발명의 예시적인 실시예의 풍부하고 유익한 설명을 예시적이고 비제한적인 예로서 제공하였다. 그러나, 첨부 도면 및 첨부의 청구범위와 함께 읽어볼 때 전술한 설명의 관점에서 보아 관련 기술에서 통상의 지식을 가진 자들에게는 여러 가지 변형과 적응이 자명해질 수 있다. 그러나, 본 발명의 가르침의 모든 그러한 변형 및 유사한 변형은 그럼에도 본 발명의 범주 내에 속할 것이다.
다음과 같이 몇 가지 예가 제공될 것이다.
제1 예에 따르면, 압축되지 않은 픽처를 슬라이스를 포함하는 코딩된 픽처로 인코딩하는 방법이 제공되며, 이 방법은,
압축되지 않은 픽처를 슬라이스를 포함하는 코딩된 픽처로 인코딩하는 것을 포함하되,
상기 인코딩하는 것은,
상기 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하는 것과,
상기 제1 세트 및 상기 제2 세트에 대한 신택스 요소 값을 결정하는 것과,
상기 제1 세트를 선택적으로 슬라이스 파라미터 세트의 제1 그룹 또는 슬라이스 헤더에 인코딩하는 것 - 상기 인코딩하는 것은,
각각의 제1 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제1 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 과,
상기 제2 세트를 선택적으로 슬라이스 파라미터 세트의 제2 그룹 또는 상기 슬라이스 헤더에 인코딩하는 것 - 상기 인코딩하는 것은,
각각의 제2 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제2 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 을 포함한다.
일부 실시예에서, 상기 방법은 적어도 신택스 요소의 서브세트를 상기 슬라이스 파라미터 세트의 그룹에 포함시키는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 슬라이스 파라미터 세트의 그룹의 인스턴스 또는 콘텐츠를 이미 인코딩된 또는 디코딩된 또는 비트스트림에서 존재하는 다른 신택스 구조로부터 추론하는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 슬라이스 파라미터 세트의 그룹을 베이스 뷰(base view)의 텍스처 뷰 컴포넌트의 슬라이스 헤더로부터 형성하는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 슬라이스 파라미터 세트의 추론된 그룹에 대한 식별자 값을 형성하는 것을 포함한다.
상기 방법의 일부 실시예에서, 슬라이스 파라미터 세트의 그룹은 그와 연관된 특정 액세스 유닛 내에서 유효하다.
상기 방법의 일부 실시예에서, 상기 슬라이스 파라미터 세트 신택스 구조의 그룹은 특정 액세스 유닛의 네트워크 추상 계층 유닛 시퀀스(network abstraction layer unit sequence)로 포함되며, 상기 시퀀스는 디코딩 순서 또는 비트스트림 순서로 되어 있고 상기 슬라이스 파라미터 세트의 그룹은 그의 출현 위치로부터 상기 액세스 유닛이 끝날 때까지 유효하다.
상기 방법의 일부 실시예에서, 상기 슬라이스 파라미터 세트의 그룹은 하나의 액세스 유닛보다 많은 액세스 유닛에서 유효하다.
일부 실시예에서, 상기 방법은 액세스 유닛의 많은 슬라이스 파라미터 세트의 그룹을 인코딩하는 것을 포함한다.
일부 실시예에서, 상기 방법은 부호화될 슬라이스 헤더 내 적어도 신택스 요소 값의 서브세트가 후속 슬라이스 헤더에서 동일할지의 여부를 판단하는 것과, 만일 동일하면, 상기 슬라이스 파라미터 세트의 그룹을 비트스트림으로 인코딩하는 것을 포함한다.
상기 방법의 일부 실시예에서, 상기 슬라이스 파라미터 세트 신택스 구조의 그룹은 식별자를 포함한다.
일부 실시예에서, 상기 방법은 상기 식별자를 이용하여 슬라이스 파라미터 세트 인스턴스의 특정 그룹을 조회하는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 식별자를 이용하여 상기 슬라이스의 그룹을 슬라이스 헤더 또는 슬라이스 파라미터 세트의 다른 그룹으로부터 조회하는 것을 포함한다.
상기 방법의 일부 실시예에서, 기 설정된 넘버링 공간이 상기 식별자를 위한 공간으로 사용된다.
일부 실시예에서, 상기 방법은 슬라이스 파라미터 세트의 제1 그룹, 및 나중에, 만일 상기 슬라이스 파라미터 세트의 제1 그룹이 나중에 어떤 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹에 의해서도 조회되지 않는 경우, 슬라이스 파라미터 세트의 제2 그룹에 대한 슬라이스 파라미터 세트 식별자 값의 그룹을 이용하는 것을 포함한다.
일부 실시예에서, 상기 방법은 비트스트림 내부에서 슬라이스 파라미터 세트 신택스 구조의 그룹을 반복하는 것을 포함한다.
일부 실시예에서, 상기 방법은 슬라이스 파라미터 세트 신택스 구조의 그룹의 비트스트림 순서 및 사전에 정의된 넘버링 방식을 이용하여 상기 슬라이스 파라미터 세트 신택스 구조의 그룹을 식별하는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 슬라이스 파라미터 세트의 그룹에 대한 상기 신택스 요소의 세트를,
스케일러블 계층 및/또는 다른 스케일러빌리티 특징을 표시하는 신택스 요소,
뷰 및/또는 다른 멀티뷰 특징을 표시하는 신택스 요소,
멀티뷰 비디오의 특정 컴포넌트 유형에 관련된 신택스 요소,
액세스 유닛 식별에 관련된 신택스 요소,
디코딩 순서에 관련된 신택스 요소,
출력 순서에 관련된 신택스 요소,
액세스 유닛의 모든 슬라이스들에 대해 변동없이 머물 수 있는 다른 신택스 요소에 관련된 신택스 요소,
뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머물 수 있는 신택스 요소,
참조 픽처 리스트 변경(reference picture list modification)에 관련된 신택스 요소,
사용된 참조 픽처 세트에 관련된 신택스 요소,
디코딩 참조 픽처 표기(decoding reference picture marking)에 관련한 신택스 요소,
가중 예측(weighted prediction)을 위한 예측 가중 테이블에 관련된 신택스 요소,
디블록킹 필터링을 제어하기 위한 신택스 요소,
적응 루프 필터링을 제어하기 위한 신택스 요소,
샘플 적응 오프셋을 제어하기 위한 신택스 요소,
중 적어도 하나로부터 형성하는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 슬라이스 파라미터 세트의 그룹을 코딩할 때,
상기 신택스 요소 세트를 슬라이스 파라미터 세트 신택스 구조의 그룹으로 코딩하는 것,
상기 신택스 요소 세트를 참조로 슬라이스 파라미터 세트의 그룹에 포함시키는 것,
상기 신택스 요소 세트가 상기 슬라이스 파라미터 세트의 그룹에 존재하지 않음을 표시하는 것,
중 하나 이상을 포함한다.
일부 실시예에서, 상기 방법은 스케일러블 계층에 관련된 신택스 요소 세트를 상기 슬라이스 파라미터 세트의 그룹에 포함시키는 것과, 뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머무르는 신택스 요소를 상기 슬라이스 파라미터 세트의 그룹에 포함시키는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 방법은 상기 슬라이스 파라미터 세트 신택스 구조의 그룹에서 참조로, 그 그룹에서 그렇게 포함되는, 또는 그 그룹에서 존재하지 않는, 참조 픽처 리스트 변경에 관련된 신택스 요소를 포함하는 것을 포함한다.
일부 실시예에서, 상기 방법은 슬라이스 파라미터 세트의 그룹을 네트워크 추상 계층 유닛으로서 인코딩하는 것을 포함한다.
일부 실시예에서, 상기 방법은 슬라이스 파라미터 세트 NAL 유닛의 그룹을 코딩된 슬라이스 네트워크 추상 계층 유닛과 함께 비트스트림으로 인코딩하는 것을 포함한다.
제2 예에 따르면, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되며, 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세스를 사용하여 상기 장치로 하여금,
코딩된 픽처의 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하게 하고,
상기 제1 세트 및 상기 제2 세트에 대한 신택스 요소 값을 결정하게 하고,
상기 제1 세트를 선택적으로 슬라이스 파라미터 세트의 제1 그룹 또는 슬라이스 헤더에 인코딩 - 상기 인코딩은,
각각의 제1 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제1 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 하게 하고,
상기 제2 세트를 선택적으로 슬라이스 파라미터 세트의 제2 그룹 또는 상기 슬라이스 헤더에 인코딩 - 상기 인코딩은,
각각의 제2 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제2 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 하게 하도록 구성된다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 적어도 신택스 요소의 서브세트를 상기 슬라이스 파라미터 세트의 그룹에 포함시키게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹의 인스턴스 또는 콘텐츠를 이미 인코딩된 또는 디코딩된 또는 비트스트림에서 존재하는 다른 신택스 구조로부터 추론하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹을 베이스 뷰(base view)의 텍스처 뷰 컴포넌트의 슬라이스 헤더로부터 형성하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 추론된 그룹에 대한 식별자 값을 형성하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 슬라이스 파라미터 세트의 그룹은 그와 연관된 특정 액세스 유닛 내에서 유효하다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트 신택스 구조의 그룹을 특정 액세스 유닛의 네트워크 추상 계층 유닛 시퀀스(network abstraction layer unit sequence)로 포함되게 하는 코드를 저장하며, 상기 시퀀스는 디코딩 순서 또는 비트스트림 순서로 되어 있고 상기 슬라이스 파라미터 세트의 그룹은 그의 출현 위치로부터 상기 액세스 유닛이 끝날 때까지 유효하다.
상기 장치의 일부 실시예에서, 상기 슬라이스 파라미터 세트의 그룹은 하나의 액세스 유닛보다 많은 액세스 유닛에서 유효하다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 액세스 유닛의 많은 슬라이스 파라미터 세트의 그룹을 인코딩하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 부호화될 슬라이스 헤더 내 신택스 요소 값들의 적어도 서브세트가 후속 슬라이스 헤더에서 동일할지의 여부를 판단하게 하고, 만일 동일하면, 상기 슬라이스 파라미터 세트의 그룹을 비트스트림으로 인코딩하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 식별자를 상기 슬라이스 파라미터 세트 신택스 구조의 그룹에 포함시키게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 식별자를 이용하여 슬라이스 파라미터 세트 인스턴스의 특정 그룹을 조회하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 식별자를 이용하여 상기 슬라이스의 그룹을 슬라이스 헤더 또는 슬라이스 파라미터 세트의 다른 그룹으로부터 조회하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 기 설정된 넘버링 공간을 상기 식별자를 위한 공간으로 사용하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트의 제1 그룹, 및 나중에, 만일 상기 슬라이스 파라미터 세트의 제1 그룹이 나중에 어떤 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹에 의해서도 조회되지 않는 경우, 슬라이스 파라미터 세트의 제2 그룹에 대한 슬라이스 파라미터 세트 식별자 값의 그룹을 이용하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 비트스트림 내에서 슬라이스 파라미터 세트 신택스 구조의 그룹을 반복하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트 신택스 구조의 그룹의 비트스트림 순서 및 사전에 정의된 넘버링 방식을 이용하여 상기 슬라이스 파라미터 세트 신택스 구조의 그룹을 식별하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹에 대한 상기 신택스 요소의 세트를,
스케일러블 계층 및/또는 다른 스케일러빌리티 특징을 표시하는 신택스 요소,
뷰 및/또는 다른 멀티뷰 특징을 표시하는 신택스 요소,
멀티뷰 비디오의 특정 컴포넌트 유형에 관련된 신택스 요소,
액세스 유닛 식별에 관련된 신택스 요소,
디코딩 순서에 관련된 신택스 요소,
출력 순서에 관련된 신택스 요소,
액세스 유닛의 모든 슬라이스들에 대해 변동없이 머물 수 있는 다른 신택스 요소에 관련된 신택스 요소,
뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머물 수 있는 신택스 요소,
참조 픽처 리스트 변경(reference picture list modification)에 관련된 신택스 요소,
사용된 참조 픽처 세트에 관련된 신택스 요소,
디코딩 참조 픽처 표기(decoding reference picture marking)에 관련한 신택스 요소,
가중 예측(weighted prediction)을 위한 예측 가중 테이블에 관련된 신택스 요소,
디블록킹 필터링을 제어하기 위한 신택스 요소,
적응 루프 필터링을 제어하기 위한 신택스 요소,
샘플 적응 오프셋을 제어하기 위한 신택스 요소,
중 적어도 하나로부터 형성하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹을 코딩할 때,
상기 신택스 요소 세트를 슬라이스 파라미터 세트 신택스 구조의 그룹으로 코딩하는 것,
상기 신택스 요소 세트를 참조로 슬라이스 파라미터 세트의 그룹에 포함시키는 것,
상기 신택스 요소 세트가 상기 슬라이스 파라미터 세트의 그룹에 존재하지 않음을 표시하는 것,
중 하나 이상의 것을 실행하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 스케일러블 계층에 관련된 신택스 요소 세트를 상기 슬라이스 파라미터 세트의 그룹에 포함시키게 하고, 뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머무르는 신택스 요소를 상기 슬라이스 파라미터 세트의 그룹에 포함시키게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트 신택스 구조의 그룹에서 참조로, 그 그룹에서 그렇게 포함되는, 또는 그 그룹에서 존재하지 않는, 참조 픽처 리스트 변경에 관련된 신택스 요소를 포함하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트의 그룹을 네트워크 추상 계층 유닛으로서 인코딩하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트 NAL 유닛의 그룹을 코딩된 슬라이스 네트워크 추상 계층 유닛과 함께 비트스트림으로 인코딩하게 하는 코드를 저장한다.
제3 예에 따르면, 하나 이상의 명령의 하나 이상의 시퀀스를 포함하는 컴퓨터 프로그램 제품이 제공되며, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 적어도,
코딩된 픽처의 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하게 하고,
상기 제1 세트 및 상기 제2 세트에 대한 신택스 요소 값을 결정하게 하고,
상기 제1 세트를 선택적으로 상기 슬라이스 파라미터 세트의 제1 그룹 또는 슬라이스 헤더에 인코딩 - 상기 인코딩은,
각각의 제1 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제1 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 하게 하고,
상기 제2 세트를 선택적으로 슬라이스 파라미터 세트의 제2 그룹 또는 상기 슬라이스 헤더에 인코딩 - 상기 인코딩은,
각각의 제2 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제2 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 하게 하는 과정을 실행하도록 한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 적어도 신택스 요소의 서브세트를 상기 슬라이스 파라미터 세트의 그룹에 포함시키게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹의 인스턴스 또는 콘텐츠를 이미 인코딩된 또는 디코딩된 또는 비트스트림에서 존재하는 다른 신택스 구조로부터 추론하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹을 베이스 뷰(base view)의 텍스처 뷰 컴포넌트의 슬라이스 헤더로부터 형성하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 추론된 그룹에 대한 식별자 값을 형성하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
상기 컴퓨터 프로그램 제품의 일부 실시예에서, 슬라이스 파라미터 세트의 그룹은 그와 연관된 특정 액세스 유닛 내에서 유효하다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트 신택스 구조의 그룹을 특정 액세스 유닛의 네트워크 추상 계층 유닛 시퀀스(network abstraction layer unit sequence)로 포함되게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함하며, 상기 시퀀스는 디코딩 순서 또는 비트스트림 순서로 되어 있고 상기 슬라이스 파라미터 세트의 그룹은 그의 출현 위치로부터 상기 액세스 유닛이 끝날 때까지 유효하다.
상기 컴퓨터 프로그램 제품의 일부 실시예에서, 상기 슬라이스 파라미터 세트의 그룹은 하나의 액세스 유닛보다 많은 액세스 유닛에서 유효하다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 액세스 유닛의 많은 슬라이스 파라미터 세트의 그룹을 인코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 부호화될 슬라이스 헤더 내 신택스 요소 값들의 적어도 서브세트가 후속 슬라이스 헤더에서 동일할지의 여부를 판단하게 하고, 만일 동일하면, 상기 슬라이스 파라미터 세트의 그룹을 비트스트림으로 인코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 식별자를 상기 슬라이스 파라미터 세트 신택스 구조의 그룹에 포함시키게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 식별자를 이용하여 슬라이스 파라미터 세트 인스턴스의 특정 그룹을 조회하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 식별자를 이용하여 상기 슬라이스의 그룹을 슬라이스 헤더 또는 슬라이스 파라미터 세트의 다른 그룹으로부터 조회하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 기 설정된 넘버링 공간을 상기 식별자를 위한 공간으로 사용하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트의 제1 그룹, 및 나중에, 만일 상기 슬라이스 파라미터 세트의 제1 그룹이 나중에 어떤 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹에 의해서도 조회되지 않는 경우, 슬라이스 파라미터 세트의 제2 그룹에 대한 슬라이스 파라미터 세트 식별자 값의 그룹을 이용하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 비트스트림 내부에서 슬라이스 파라미터 세트 신택스 구조의 그룹을 반복하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트 신택스 구조의 그룹의 비트스트림 순서 및 사전에 정의된 넘버링 방식을 이용하여 상기 슬라이스 파라미터 세트 신택스 구조의 그룹을 식별하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹에 대한 상기 신택스 요소의 세트를,
스케일러블 계층 및/또는 다른 스케일러빌리티 특징을 표시하는 신택스 요소,
뷰 및/또는 다른 멀티뷰 특징을 표시하는 신택스 요소,
멀티뷰 비디오의 특정 컴포넌트 유형에 관련된 신택스 요소,
액세스 유닛 식별에 관련된 신택스 요소,
디코딩 순서에 관련된 신택스 요소,
출력 순서에 관련된 신택스 요소,
액세스 유닛의 모든 슬라이스들에 대해 변동없이 머물 수 있는 다른 신택스 요소에 관련된 신택스 요소,
뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머물 수 있는 신택스 요소,
참조 픽처 리스트 변경(reference picture list modification)에 관련된 신택스 요소,
사용된 참조 픽처 세트에 관련된 신택스 요소,
디코딩 참조 픽처 표기(decoding reference picture marking)에 관련한 신택스 요소,
가중 예측(weighted prediction)을 위한 예측 가중 테이블에 관련된 신택스 요소,
디블록킹 필터링을 제어하기 위한 신택스 요소,
적응 루프 필터링을 제어하기 위한 신택스 요소,
샘플 적응 오프셋을 제어하기 위한 신택스 요소,
중 적어도 하나로부터 형성하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹을 코딩할 때,
상기 신택스 요소 세트를 슬라이스 파라미터 세트 신택스 구조의 그룹으로 코딩하는 것,
상기 신택스 요소 세트를 참조로 슬라이스 파라미터 세트의 그룹에 포함시키는 것,
상기 신택스 요소 세트가 상기 슬라이스 파라미터 세트의 그룹에 존재하지 않음을 표시하는 것,
중 하나 이상의 것을 실행하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 스케일러블 계층에 관련된 신택스 요소 세트를 상기 슬라이스 파라미터 세트의 그룹에 포함시키게 하고, 뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머무르는 신택스 요소를 상기 슬라이스 파라미터 세트의 그룹에 포함시키게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트 신택스 구조의 그룹에서 참조로, 그 그룹에서 그렇게 포함되는, 또는 그 그룹에서 존재하지 않는, 참조 픽처 리스트 변경에 관련된 신택스 요소를 포함하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트의 그룹을 네트워크 추상 계층 유닛으로서 인코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트 NAL 유닛의 그룹을 코딩된 슬라이스 네트워크 추상 계층 유닛과 함께 상기 비트스트림으로 인코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
제4 예에 따르면, 장치가 제공되며, 상기 장치는,
코딩된 픽처의 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하는 수단과,
상기 제1 세트 및 상기 제2 세트에 대한 신택스 요소 값을 결정하는 수단과,
상기 제1 세트를 선택적으로 슬라이스 파라미터 세트의 제1 그룹 또는 슬라이스 헤더에 인코딩하는 수단 - 상기 인코딩은,
각각의 제1 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제1 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 과,
상기 제2 세트를 선택적으로 슬라이스 파라미터 세트의 제2 그룹 또는 상기 슬라이스 헤더에 인코딩하는 수단 - 상기 인코딩은,
각각의 제2 세트의 포함의 표시를 슬라이스 파라미터 세트의 다른 그룹으로부터 제공하는 것, 또는
상기 제2 세트의 상기 신택스 요소 값을 인코딩하는 것, 또는
상기 두 과정을 생략하는 것, 중 하나를 포함함 - 을 포함한다.
제5 예에 따르면, 방법이 제공되며, 상기 방법은,
코딩된 픽처의 코딩된 슬라이스를 디코딩하는 것을 포함하되,
상기 디코딩하는 것은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것을 포함한다.
일부 실시예에서, 상기 방법은, 상기 제1 표시가 상기 슬라이스 파라미터 세트의 제3 그룹을 표시하지 않는 경우, 상기 제1 세트의 신택스 요소를 디코딩하는 것을 포함한다.
일부 실시예에서, 상기 방법은, 상기 제2 표시가 상기 슬라이스 파라미터 세트의 제4 그룹을 표시하지 않는 경우, 상기 제2 세트의 신택스 요소를 디코딩하는 것을 포함한다.
제6 예에 따르면, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되며, 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금,
코딩된 픽처의 코딩된 슬라이스를 디코딩하도록 구성되되,
상기 디코딩은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것에 의해 수행된다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금 또한, 상기 제1 표시가 상기 슬라이스 파라미터 세트의 제3 그룹을 표시하지 않는 경우, 상기 제1 세트의 신택스 요소를 디코딩하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금 또한, 상기 제2 표시가 상기 슬라이스 파라미터 세트의 제4 그룹을 표시하지 않는 경우, 상기 제2 세트의 신택스 요소를 디코딩하게 하는 코드를 저장한다.
제7 예에 따르면, 하나 이상의 명령어의 하나 이상의 시퀀스를 포함하는 컴퓨터 프로그램 제품이 제공되며, 상기 컴퓨터 프로그램 제품은, 상기 명령어의 시퀀스가 하나 이상의 프로세서에 의해 실행될 때, 상기 장치로 하여금 적어도,
코딩된 픽처의 코딩된 슬라이스를 디코딩하게 하도록 구성되되,
상기 디코딩은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하는 것을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것에 의해 수행된다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가, 상기 제1 표시가 상기 슬라이스 파라미터 세트의 제3 그룹을 표시하지 않는 경우, 상기 제1 세트의 신택스 요소를 디코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때, 상기 장치가, 상기 제2 표시가 상기 슬라이스 파라미터 세트의 제4 그룹을 표시하지 않는 경우, 상기 제2 세트의 신택스 요소를 디코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
제8 예에 따르면, 방법이 제공되며, 상기 방법은,
코딩된 픽처의 코딩된 슬라이스를 디코딩하는 것을 포함하되,
상기 디코딩하는 것은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나, 또는, 상기 제1 표시가 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내지 않는 경우, 상기 제1 세트의 신택스 요소를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나 또는, 상기 제2 표시가 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내지 않는 경우, 상기 제2 세트의 신택스 요소를 디코딩하는 것을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 상기 신택스 요소의 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 슬라이스 파라미터 세트의 그룹으로부터 적어도 신택스 요소의 서브세트를 디코딩하는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 슬라이스 파라미터 세트의 그룹의 인스턴스 또는 콘텐츠를 이미 인코딩된 또는 디코딩된 또는 비트스트림에서 존재하는 다른 신택스 구조로부터 추론하는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 슬라이스 파라미터 세트의 추론된 그룹을 나타내는 식별자 값을 디코딩하는 것을 포함한다.
상기 방법의 일부 실시예에서, 슬라이스 파라미터 세트의 그룹은 그와 연관된 특정 액세스 유닛 내부에서 유효하다.
상기 방법의 일부 실시예에서, 상기 슬라이스 파라미터 세트 신택스 구조의 그룹은 특정 액세스 유닛의 네트워크 추상 계층 유닛 시퀀스(network abstraction layer unit sequence)로 포함되며, 상기 시퀀스는 디코딩 순서 또는 비트스트림 순서로 되어 있고 상기 슬라이스 파라미터 세트의 그룹은 그의 출현 위치로부터 상기 액세스 유닛이 끝날 때까지 유효하다.
상기 방법의 일부 실시예에서, 상기 슬라이스 파라미터 세트의 그룹은 하나의 액세스 유닛보다 많은 액세스 유닛에서 유효하다.
일부 실시예에서, 상기 방법은 액세스 유닛의 많은 슬라이스 파라미터 세트의 그룹을 디코딩하는 것을 포함한다.
상기 방법의 일부 실시예에서, 상기 슬라이스 파라미터 세트 신택스 구조의 그룹은 식별자를 포함한다.
일부 실시예에서, 상기 방법은 상기 식별자를 이용하여 슬라이스 파라미터 세트 인스턴스의 특정 그룹을 조회하는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 식별자를 이용하여 상기 슬라이스의 그룹을 슬라이스 헤더 또는 슬라이스 파라미터 세트의 다른 그룹으로부터 조회하는 것을 포함한다.
상기 방법의 일부 실시예에서, 기 설정된 넘버링 공간이 상기 식별자를 위한 공간으로 사용된다.
일부 실시예에서, 상기 방법은 슬라이스 파라미터 세트의 제1 그룹, 및 나중에, 만일 상기 슬라이스 파라미터 세트의 제1 그룹이 나중에 어떤 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹에 의해서도 조회되지 않는 경우, 슬라이스 파라미터 세트의 제2 그룹에 대한 슬라이스 파라미터 세트 식별자 값의 그룹을 이용하는 것을 포함한다
일부 실시예에서, 상기 방법은 비트스트림으로부터 슬라이스 파라미터 세트 신택스 구조의 반복 그룹을 디코딩하는 것을 포함한다.
일부 실시예에서, 상기 방법은 슬라이스 파라미터 세트 신택스 구조의 그룹의 비트스트림 순서 및 사전에 정의된 넘버링 방식을 이용하여 상기 슬라이스 파라미터 세트 신택스 구조의 그룹을 식별하는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 슬라이스 파라미터 세트의 그룹에 대한 상기 신택스 요소의 세트를 디코딩하여,
스케일러블 계층 및/또는 다른 스케일러빌리티 특징을 표시하는 신택스 요소,
뷰 및/또는 다른 멀티뷰 특징을 표시하는 신택스 요소,
멀티뷰 비디오의 특정 컴포넌트 유형에 관련된 신택스 요소,
액세스 유닛 식별에 관련된 신택스 요소,
디코딩 순서에 관련된 신택스 요소,
출력 순서에 관련된 신택스 요소,
액세스 유닛의 모든 슬라이스들에 대해 변동없이 머물 수 있는 다른 신택스 요소에 관련된 신택스 요소,
뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머물 수 있는 신택스 요소,
참조 픽처 리스트 변경(reference picture list modification)에 관련된 신택스 요소,
사용된 참조 픽처 세트에 관련된 신택스 요소,
디코딩 참조 픽처 표기(decoding reference picture marking)에 관련한 신택스 요소,
가중 예측(weighted prediction)을 위한 예측 가중 테이블에 관련된 신택스 요소,
디블록킹 필터링을 제어하기 위한 신택스 요소,
적응 루프 필터링을 제어하기 위한 신택스 요소,
샘플 적응 오프셋을 제어하기 위한 신택스 요소,
중 적어도 하나를 획득하는 것을 포함한다.
일부 실시예에서, 상기 방법은 상기 슬라이스 파라미터 세트의 그룹을 디코딩할 때,
상기 신택스 요소 세트를 슬라이스 파라미터 세트 신택스 구조의 그룹으로부터 디코딩하는 것,
상기 신택스 요소 세트가 참조로 상기 슬라이스 파라미터 세트의 그룹에 포함되어 있는지를 판단하는 것,
상기 신택스 요소 세트가 상기 슬라이스 파라미터 세트의 그룹에 존재하지 않는다고 표시되어 있는지를 판단하는 것, 중 하나 이상을 포함한다.
일부 실시예에서, 상기 방법은 스케일러블 계층에 관련된 신택스 요소 세트를 상기 슬라이스 파라미터 세트의 그룹으로부터 디코딩하는 것과, 뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머무르는 신택스 요소를 상기 슬라이스 파라미터 세트의 그룹으로부터 디코딩하는 것을 포함한다.
일부 실시예에서, 상기 방법은 참조 픽처 리스트 변경에 관련된 신택스 요소가 상기 슬라이스 파라미터 세트 신택스 구조의 그룹에서 참조로 포함되어 있는지, 그 그룹에서 그렇게 포함되어 있는지, 또는 그 그룹에서 존재하지 않는지를 판단하는 것을 포함한다.
일부 실시예에서, 상기 방법은 슬라이스 파라미터 세트의 그룹을 네트워크 추상 계층 유닛으로부터 디코딩하는 것을 포함한다.
일부 실시예에서, 상기 방법은 슬라이스 파라미터 세트 NAL 유닛의 그룹을 코딩된 슬라이스 네트워크 추상 계층 유닛과 함께 상기 비트스트림으로부터 디코딩하는 것을 포함한다.
제9 예에 따르면, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되며, 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금,
코딩된 픽처의 코딩된 슬라이스를 디코딩하게 하도록 구성되되,
상기 디코딩은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나, 또는, 상기 제1 표시가 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내지 않는 경우, 상기 제1 세트의 신택스 요소를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나 또는, 상기 제2 표시가 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내지 않는 경우, 상기 제2 세트의 신택스 요소를 디코딩하는 것을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 상기 신택스 요소의 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것에 의해 수행된다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹으로부터 적어도 신택스 요소의 서브세트를 디코딩하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹의 인스턴스 또는 콘텐츠를 이미 인코딩된 또는 디코딩된 또는 비트스트림에서 존재하는 다른 신택스 구조로부터 추론하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 추론된 그룹을 나타내는 식별자 값을 디코딩하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 슬라이스 파라미터 세트의 그룹은 그와 연관된 특정 액세스 유닛 내부에서 유효하다.
상기 장치의 일부 실시예에서, 상기 슬라이스 파라미터 세트 신택스 구조의 그룹은 특정 액세스 유닛의 네트워크 추상 계층 유닛 시퀀스(network abstraction layer unit sequence)로 포함되며, 상기 시퀀스는 디코딩 순서 또는 비트스트림 순서로 되어 있고 상기 슬라이스 파라미터 세트의 그룹은 그의 출현 위치로부터 상기 액세스 유닛이 끝날 때까지 유효하다.
상기 장치의 일부 실시예에서, 상기 슬라이스 파라미터 세트의 그룹은 하나의 액세스 유닛보다 많은 액세스 유닛에서 유효하다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 액세스 유닛의 많은 슬라이스 파라미터 세트의 그룹을 디코딩하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 슬라이스 파라미터 세트 신택스 구조의 그룹은 식별자를 포함한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 식별자를 이용하여 슬라이스 파라미터 세트 인스턴스의 특정 그룹을 조회하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 식별자를 이용하여 상기 슬라이스의 그룹을 슬라이스 헤더 또는 슬라이스 파라미터 세트의 다른 그룹으로부터 조회하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 기 설정된 넘버링 공간이 상기 식별자를 위한 공간으로 사용된다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트의 제1 그룹, 및 나중에, 만일 상기 슬라이스 파라미터 세트의 제1 그룹이 나중에 어떤 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹에 의해서도 조회되지 않는 경우, 슬라이스 파라미터 세트의 제2 그룹에 대한 슬라이스 파라미터 세트 식별자 값의 그룹을 이용하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 비트스트림으로부터 슬라이스 파라미터 세트 신택스 구조의 반복 그룹을 디코딩하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트 신택스 구조의 그룹의 비트스트림 순서 및 사전에 정의된 넘버링 방식을 이용하여 상기 슬라이스 파라미터 세트 신택스 구조의 그룹을 식별하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹에 대한 상기 신택스 요소의 세트를 디코딩하게 하여,
스케일러블 계층 및/또는 다른 스케일러빌리티 특징을 표시하는 신택스 요소,
뷰 및/또는 다른 멀티뷰 특징을 표시하는 신택스 요소,
멀티뷰 비디오의 특정 컴포넌트 유형에 관련된 신택스 요소,
액세스 유닛 식별에 관련된 신택스 요소,
디코딩 순서에 관련된 신택스 요소,
출력 순서에 관련된 신택스 요소,
액세스 유닛의 모든 슬라이스들에 대해 변동없이 머물 수 있는 다른 신택스 요소에 관련된 신택스 요소,
뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머물 수 있는 신택스 요소,
참조 픽처 리스트 변경(reference picture list modification)에 관련된 신택스 요소,
사용된 참조 픽처 세트에 관련된 신택스 요소,
디코딩 참조 픽처 표기(decoding reference picture marking)에 관련한 신택스 요소,
가중 예측(weighted prediction)을 위한 예측 가중 테이블에 관련된 신택스 요소,
디블록킹 필터링을 제어하기 위한 신택스 요소,
적응 루프 필터링을 제어하기 위한 신택스 요소,
샘플 적응 오프셋을 제어하기 위한 신택스 요소,
중 적어도 하나를 획득하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 상기 슬라이스 파라미터 세트의 그룹을 디코딩할 때,
상기 신택스 요소 세트를 슬라이스 파라미터 세트 신택스 구조의 그룹으로부터 디코딩하고,
상기 신택스 요소 세트가 참조로 상기 슬라이스 파라미터 세트의 그룹에 포함되어 있는지를 판단하고,
상기 신택스 요소 세트가 상기 슬라이스 파라미터 세트의 그룹에 존재하지 않는다고 표시되어 있는지를 판단하는 것 중 하나 이상을 실행하게 하는 코드들 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 스케일러블 계층에 관련된 신택스 요소 세트를 상기 슬라이스 파라미터 세트의 그룹으로부터 디코딩하게 하고, 뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머무르는 신택스 요소를 상기 슬라이스 파라미터 세트의 그룹으로부터 디코딩하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 참조 픽처 리스트 변경에 관련된 신택스 요소가 상기 슬라이스 파라미터 세트 신택스 구조의 그룹에서 참조로 포함되어 있는지, 그 그룹에서 그렇게 포함되어 있는지, 또는 그 그룹에서 존재하지 않는지를 판단하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트의 그룹을 네트워크 추상 계층 유닛으로부터 디코딩하게 하는 코드를 저장한다.
상기 장치의 일부 실시예에서, 상기 적어도 하나의 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치가 또한 슬라이스 파라미터 세트 NAL 유닛의 그룹을 코딩된 슬라이스 네트워크 추상 계층 유닛과 함께 상기 비트스트림으로부터 디코딩하게 하는 코드를 저장한다.
제10 예에 따르면, 하나 이상의 명령어의 하나 이상의 시퀀스를 포함하는 컴퓨터 프로그램 제품이 제공되며, 상기 명령어의 시퀀스는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 장치로 하여금 적어도,
코딩된 픽처의 코딩된 슬라이스를 디코딩하게 하도록 구성되되,
상기 디코딩은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 것과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 것 - 상기 디코딩하는 것은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나, 또는, 상기 제1 표시가 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내지 않는 경우, 상기 제1 세트의 신택스 요소를 디코딩하는 것과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나 또는, 상기 제2 표시가 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내지 않는 경우, 상기 제2 세트의 신택스 요소를 디코딩하는 것을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 상기 신택스 요소의 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 것에 의해 수행된다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 상기 슬라이스 파라미터 세트의 그룹으로부터 적어도 신택스 요소의 서브세트를 디코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 상기 슬라이스 파라미터 세트의 그룹의 인스턴스 또는 콘텐츠를 이미 인코딩된 또는 디코딩된 또는 비트스트림에서 존재하는 다른 신택스 구조로부터 추론하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 상기 슬라이스 파라미터 세트의 추론된 그룹을 나타내는 식별자 값을 디코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
상기 컴퓨터 프로그램 제품의 일부 실시예에서, 슬라이스 파라미터 세트의 그룹은 그와 연관된 특정 액세스 유닛 내부에서 유효하다.
상기 컴퓨터 프로그램 제품의 일부 실시예에서, 상기 슬라이스 파라미터 세트 신택스 구조의 그룹은 특정 액세스 유닛의 네트워크 추상 계층 유닛 시퀀스(network abstraction layer unit sequence)로 포함되며, 상기 시퀀스는 디코딩 순서 또는 비트스트림 순서로 되어 있고 상기 슬라이스 파라미터 세트의 그룹은 그의 출현 위치로부터 상기 액세스 유닛이 끝날 때까지 유효하다.
상기 컴퓨터 프로그램 제품의 일부 실시예에서, 상기 슬라이스 파라미터 세트의 그룹은 하나의 액세스 유닛보다 많은 액세스 유닛에서 유효하다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 액세스 유닛의 많은 슬라이스 파라미터 세트의 그룹을 인코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
상기 컴퓨터 프로그램 제품의 일부 실시예에서, 상기 슬라이스 파라미터 세트 신택스 구조의 그룹은 식별자를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 상기 식별자를 이용하여 슬라이스 파라미터 세트 인스턴스의 특정 그룹을 조회하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 상기 식별자를 이용하여 상기 슬라이스의 그룹을 슬라이스 헤더 또는 슬라이스 파라미터 세트의 다른 그룹으로부터 조회하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
상기 컴퓨터 프로그램 제품의 일부 실시예에서, 기 설정된 넘버링 공간이 상기 식별자를 위한 공간으로 사용된다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 슬라이스 파라미터 세트의 제1 그룹, 및 나중에, 만일 상기 슬라이스 파라미터 세트의 제1 그룹이 나중에 어떤 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹에 의해서도 조회되지 않는 경우, 슬라이스 파라미터 세트의 제2 그룹에 대한 슬라이스 파라미터 세트 식별자 값의 그룹을 이용하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 비트스트림으로부터 슬라이스 파라미터 세트 신택스 구조의 반복 그룹을 디코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 슬라이스 파라미터 세트 신택스 구조의 그룹의 비트스트림 순서 및 사전에 정의된 넘버링 방식을 이용하여 상기 슬라이스 파라미터 세트 신택스 구조의 그룹을 식별하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 상기 슬라이스 파라미터 세트의 그룹에 대한 상기 신택스 요소의 세트를 디코딩하여,
스케일러블 계층 및/또는 다른 스케일러빌리티 특징을 표시하는 신택스 요소,
뷰 및/또는 다른 멀티뷰 특징을 표시하는 신택스 요소,
멀티뷰 비디오의 특정 컴포넌트 유형에 관련된 신택스 요소,
액세스 유닛 식별에 관련된 신택스 요소,
디코딩 순서에 관련된 신택스 요소,
출력 순서에 관련된 신택스 요소,
액세스 유닛의 모든 슬라이스들에 대해 변동없이 머물 수 있는 다른 신택스 요소에 관련된 신택스 요소,
뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머물 수 있는 신택스 요소,
참조 픽처 리스트 변경(reference picture list modification)에 관련된 신택스 요소,
사용된 참조 픽처 세트에 관련된 신택스 요소,
디코딩 참조 픽처 표기(decoding reference picture marking)에 관련한 신택스 요소,
가중 예측(weighted prediction)을 위한 예측 가중 테이블에 관련된 신택스 요소,
디블록킹 필터링을 제어하기 위한 신택스 요소,
적응 루프 필터링을 제어하기 위한 신택스 요소,
샘플 적응 오프셋을 제어하기 위한 신택스 요소,
중 적어도 하나를 획득하도록 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가, 상기 슬라이스 파라미터 세트의 그룹을 디코딩할 때,
상기 신택스 요소 세트를 슬라이스 파라미터 세트 신택스 구조의 그룹으로부터 디코딩하고,
상기 신택스 요소 세트가 참조로 상기 슬라이스 파라미터 세트의 그룹에 포함되어 있는지를 판단하고,
상기 신택스 요소 세트가 상기 슬라이스 파라미터 세트의 그룹에 존재하지 않는다고 표시되어 있는지를 판단하는 것 중 하나 이상을 실행하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 스케일러블 계층에 관련된 신택스 요소 세트를 상기 슬라이스 파라미터 세트의 그룹으로부터 디코딩하게 하고, 뷰 컴포넌트의 모든 슬라이스들에서 변동없이 머무르는 신택스 요소를 상기 슬라이스 파라미터 세트의 그룹으로부터 디코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 참조 픽처 리스트 변경에 관련된 신택스 요소가 상기 슬라이스 파라미터 세트 신택스 구조의 그룹에서 참조로 포함되어 있는지, 그 그룹에서 그렇게 포함되어 있는지, 또는 그 그룹에서 존재하지 않는지를 판단하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 슬라이스 파라미터 세트의 그룹을 네트워크 추상 계층 유닛으로부터 디코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
일부 실시예에서, 상기 컴퓨터 프로그램 제품은 하나 이상의 프로세서에 의해 실행될 때 상기 장치가 슬라이스 파라미터 세트 NAL 유닛의 그룹을 코딩된 슬라이스 네트워크 추상 계층 유닛과 함께 상기 비트스트림으로부터 디코딩하게 하는 하나 이상의 명령어의 하나 이상의 시퀀스를 포함한다.
제11 예에 따르면, 방법이 제공되며, 상기 방법은,
코딩된 픽처의 코딩된 슬라이스를 디코딩하는 수단을 포함하되,
상기 디코딩 수단은,
상기 코딩된 슬라이스를 디코딩하여 슬라이스 헤더 또는 슬라이스 파라미터 세트의 그룹 중 하나가 되도록 사용될 신택스 요소의 제1 세트의 제1 위치 및 신택스 요소의 제2 세트의 제2 위치를 식별하는 수단과,
상기 코딩된 슬라이스를 디코딩하기 위해 사용될 상기 신택스 요소의 제1 세트 및 상기 신택스 요소의 제2 세트를 디코딩하는 수단 - 상기 디코딩 수단은,
슬라이스 파라미터 세트의 제3 그룹으로부터 각각의 제1 세트의 포함의 제1 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제3 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나, 또는, 상기 제1 표시가 상기 슬라이스 파라미터 세트의 제3 그룹을 나타내지 않는 경우, 상기 제1 세트의 신택스 요소를 디코딩하는 수단과,
슬라이스 파라미터 세트의 제4 그룹으로부터 각각의 제2 세트의 포함의 제2 표시를 디코딩하고, 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내는 상기 제1 표시에 응답하여, 상기 슬라이스 파라미터 세트의 제4 그룹으로부터 신택스 요소의 각각의 제1 세트를 디코딩하거나 또는, 상기 제2 표시가 상기 슬라이스 파라미터 세트의 제4 그룹을 나타내지 않는 경우, 상기 제2 세트의 신택스 요소를 디코딩하는 수단을 포함함 - 과,
신택스 요소의 상기 디코딩된 제1 세트 및 상기 신택스 요소의 제2 세트를 이용하여 상기 코딩된 슬라이스를 디코딩하는 수단을 포함한다.

Claims (22)

  1. 텍스처 뷰 컴포넌트 및 깊이 뷰 컴포넌트를 포함하는 삼차원(3D) 비디오 콘텐츠를 인코딩하는 방법으로서,
    압축되지 않은 픽처를, 상기 텍스처 뷰 컴포넌트의 코딩된 슬라이스 및 상기 깊이 뷰 컴포넌트의 코딩된 슬라이스를 포함하는 코딩된 픽처로 인코딩하는 단계를 포함하되,
    상기 인코딩하는 단계는
    상기 깊이 뷰 컴포넌트의 상기 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하는 단계와,
    상기 제1 세트 및 상기 제2 세트에 대한 신택스 요소 값을 결정하는 단계와,
    상기 텍스처 뷰 컴포넌트의 슬라이스의 슬라이스 헤더로부터 슬라이스 파라미터 세트의 제1 그룹을 형성하는 단계와,
    상기 제1 세트에 대한 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제1 그룹 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 슬라이스 헤더에 선택적으로 인코딩하는 단계와,
    상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에, 상기 제1 세트에 대한 상기 신택스 요소 값이 상기 슬라이스 파라미터 세트의 제1 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더 내에 포함되어 있는지를 나타내는 표시를 제공하는 단계와,
    상기 텍스처 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터 슬라이스 파라미터 세트의 제2 그룹을 형성하는 단계와,
    상기 제2 세트에 대한 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제2 그룹 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더 내에서 선택적으로 인코딩하는 단계와,
    상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에, 상기 제2 세트에 대한 상기 신택스 요소 값이 상기 슬라이스 파라미터 세트의 제2 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더 내에 포함되어 있는지를 나타내는 표시를 제공하는 단계
    를 포함하는
    삼차원 비디오 콘텐츠 인코딩 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 슬라이스 파라미터 세트의 제1 그룹은 자신과 연관된 액세스 유닛 내에서 유효한
    삼차원 비디오 콘텐츠 인코딩 방법.
  5. 제 1 항에 있어서,
    스케일러블 계층 및/또는 다른 스케일러빌리티 특징을 표시하는 신택스 요소,
    뷰 및/또는 다른 멀티뷰 특징을 표시하는 신택스 요소,
    멀티뷰 비디오의 특정 컴포넌트 유형에 관련된 신택스 요소,
    액세스 유닛 식별에 관련된 신택스 요소,
    디코딩 순서에 관련된 신택스 요소,
    출력 순서에 관련된 신택스 요소,
    액세스 유닛의 모든 슬라이스들에 대해 변동없이 유지되는 다른 신택스 요소에 관련된 신택스 요소,
    뷰 컴포넌트의 모든 슬라이스들에서 변동없이 유지되는는 신택스 요소,
    참조 픽처 리스트 변경(reference picture list modification)에 관련된 신택스 요소,
    사용된 참조 픽처 세트에 관련된 신택스 요소,
    디코딩 참조 픽처 표기(decoding reference picture marking)에 관련한 신택스 요소,
    가중 예측(weighted prediction)을 위한 예측 가중 테이블에 관련된 신택스 요소,
    디블록킹 필터링을 제어하기 위한 신택스 요소,
    적응 루프 필터링을 제어하기 위한 신택스 요소,
    샘플 적응 오프셋을 제어하기 위한 신택스 요소,
    중 적어도 하나로부터 상기 슬라이스 파라미터 세트의 제1 및 제2 그룹에 대한 신택스 요소의 세트를 형성하는 단계를 더 포함하는
    삼차원 비디오 콘텐츠 인코딩 방법.
  6. 텍스처 뷰 컴포넌트 및 깊이 뷰 컴포넌트를 포함하는 삼차원(3D) 비디오 콘텐츠를 인코딩하는 장치로서,
    상기 장치는 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하고, 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세스를 사용하여, 상기 장치로 하여금,
    압축되지 않은 픽처를, 상기 텍스처 뷰 컴포넌트의 코딩된 슬라이스 및 상기 깊이 뷰 컴포넌트의 코딩된 슬라이스를 포함하는 코딩된 픽처로 인코딩하게 하도록 구성되며, 상기 인코딩은,
    상기 깊이 뷰 컴포넌트의 상기 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하는 것과,
    상기 제1 세트 및 상기 제2 세트에 대한 신택스 요소 값을 결정하는 것과,
    상기 텍스처 뷰 컴포넌트의 상기 슬라이스의 슬라이스 헤더로부터 슬라이스 파라미터 세트의 제1 그룹을 형성하는 것과,
    상기 제1 세트에 대한 상기 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제1 그룹 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 슬라이스 헤더에 선택적으로 인코딩하는 것과,
    상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에, 상기 제1 세트에 대한 상기 신택스 요소 값이 상기 슬라이스 파라미터 세트의 제1 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더 내에 포함되어 있는지를 나타내는 표시를 제공하는 것과,
    상기 텍스처 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터 슬라이스 파라미터 세트의 제2 그룹을 형성하는 것과,
    상기 제2 세트에 대한 상기 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제2 그룹 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에 선택적으로 인코딩하는 것과,
    상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에, 상기 제2 세트에 대한 상기 신택스 요소 값이 상기 슬라이스 파라미터 세트의 제2 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더 내에 포함되어 있는지를 나타내는 표시를 제공하는 것
    을 수행하도록 하는
    삼차원 비디오 콘텐츠 인코딩 장치.
  7. 삭제
  8. 삭제
  9. 제 6 항에 있어서,
    상기 슬라이스 파라미터 세트의 제1 그룹은 자신과 연관된 액세스 유닛 내에서 유효한
    삼차원 비디오 콘텐츠 인코딩 장치.
  10. 제 6 항에 있어서,
    상기 컴퓨터 프로그램 코드는 상기 장치로 하여금,
    스케일러블 계층 및/또는 다른 스케일러빌리티 특징을 표시하는 신택스 요소,
    뷰 및/또는 다른 멀티뷰 특징을 표시하는 신택스 요소,
    멀티뷰 비디오의 특정 컴포넌트 유형에 관련된 신택스 요소,
    액세스 유닛 식별에 관련된 신택스 요소,
    디코딩 순서에 관련된 신택스 요소,
    출력 순서에 관련된 신택스 요소,
    액세스 유닛의 모든 슬라이스들에 대해 변동없이 유지되는 다른 신택스 요소에 관련된 신택스 요소,
    뷰 컴포넌트의 모든 슬라이스들에서 변동없이 유지되는 신택스 요소,
    참조 픽처 리스트 변경(reference picture list modification)에 관련된 신택스 요소,
    사용된 참조 픽처 세트에 관련된 신택스 요소,
    디코딩 참조 픽처 표기(decoding reference picture marking)에 관련한 신택스 요소,
    가중 예측(weighted prediction)을 위한 예측 가중 테이블에 관련된 신택스 요소,
    디블록킹 필터링을 제어하기 위한 신택스 요소,
    적응 루프 필터링을 제어하기 위한 신택스 요소,
    샘플 적응 오프셋을 제어하기 위한 신택스 요소,
    중 적어도 하나로부터 상기 슬라이스 파라미터 세트의 제1 및 제2 그룹에 대한 상기 신택스 요소의 세트를 형성하게 하는
    삼차원 비디오 콘텐츠 인코딩 장치.
  11. 텍스처 뷰 컴포넌트 및 깊이 뷰 컴포넌트를 포함하는 삼차원(3D) 비디오 콘텐츠를 인코딩하는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램은 하나 이상의 명령어의 하나 이상의 시퀀스를 포함하고, 하나 이상의 명령어의 하나 이상의 시퀀스는, 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 적어도,
    압축되지 않은 픽처를, 상기 텍스처 뷰 컴포넌트의 코딩된 슬라이스 및 상기 깊이 뷰 컴포넌트의 코딩된 슬라이스를 포함하는 코딩된 픽처로 인코딩을 실행하게 하며, 상기 인코딩은,
    상기 깊이 뷰 컴포넌트의 상기 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하는 것과,
    상기 제1 세트 및 상기 제2 세트에 대한 상기 깊이 뷰 컴포넌트의 상기 슬라이스에 대한 신택스 요소를 제1 세트 및 제2 세트로 분류하는 것과,
    상기 제1 세트 및 상기 제2 세트에 대한 신택스 요소 값을 결정하는 것과,
    상기 텍스처 뷰 컴포넌트의 상기 슬라이스의 슬라이스 헤더로부터 슬라이스 파라미터 세트의 제1 그룹을 형성하는 것과,
    상기 제1 세트에 대한 상기 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제1 그룹 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 슬라이스 헤더에 선택적으로 인코딩하는 것과,
    상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에, 상기 제1 세트에 대한 상기 신택스 요소 값이 상기 슬라이스 파라미터 세트의 제1 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더 내에 포함되어 있는지를 나타내는 표시를 제공하는 것과,
    상기 텍스처 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터 슬라이스 파라미터 세트의 제2 그룹을 형성하는 것과,
    상기 제2 세트에 대한 상기 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제2 그룹 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에 선택적으로 인코딩하는 것과,
    상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에, 상기 제2 세트에 대한 상기 신택스 요소 값이 상기 슬라이스 파라미터 세트의 제2 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더 내에 포함되어 있는지를 나타내는 표시를 제공하는 것
    을 수행하도록 하는
    컴퓨터 판독가능 저장 매체.
  12. 텍스처 뷰 컴포넌트 및 깊이 뷰 컴포넌트를 포함하는 삼차원(3D) 비디오 콘텐츠를 디코딩하는 방법으로서,
    상기 텍스처 뷰 컴포넌트의 코딩된 슬라이스를 디코딩하는 단계와,
    상기 깊이 뷰 컴포넌트의 슬라이스의 슬라이스 헤더로부터, 상기 깊이 뷰 컴포넌트의 코딩된 슬라이스를 디코딩하는 데 사용될 신택스 요소의 제1 세트에 대한 신택스 요소 값이 슬라이스 파라미터 세트의 제1 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스 내에 포함되어 있는지를 나타내는 제1 표시를 디코딩하는 단계와,
    상기 제1 표시가 상기 제1 세트에 대한 상기 신택스 요소 값이 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에 포함되어 있다고 나타내면, 상기 제1 세트의 상기 신택스 요소 값을 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터 디코딩하고, 그렇지 않으면, 상기 텍스처 뷰 컴포넌트의 상기 슬라이스의 슬라이스 헤더로부터 상기 슬라이스 파라미터 세트의 제1 그룹을 형성하고 상기 제1 세트에 대한 상기 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제1 그룹으로부터 예측하는 단계와,
    상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터, 상기 깊이 뷰 컴포넌트의 상기 코딩된 슬라이스를 디코딩하는 데 사용될 신택스 요소의 제2 세트에 대한 신택스 요소 값이 슬라이스 파라미터 세트의 제2 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더 내에 포함되어 있는지를 나타내는 제2 표시를 디코딩하는 단계와,
    상기 제2 표시가 상기 제2 세트에 대한 상기 신택스 요소 값이 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더 내에 포함되어 있다고 나타내면, 상기 제2 세트의 상기 신택스 요소 값을 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터 디코딩하고, 그렇지 않으면, 상기 텍스처 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터 상기 슬라이스 파라미터 세트의 제2 그룹을 형성하고 상기 제2 세트에 대한 상기 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제2 그룹으로부터 예측하는 단계와,
    디코딩된 상기 신택스 요소의 제1 및 제2 세트를 이용하여 상기 깊이 뷰 컴포넌트의 상기 코딩된 슬라이스를 디코딩하는 단계
    를 포함하는
    삼차원 비디오 콘텐츠 디코딩 방법.
  13. 삭제
  14. 삭제
  15. 제 12 항에 있어서,
    상기 슬라이스 파라미터 세트의 제1 그룹은 자신과 연관된 액세스 유닛 내에서 유효한
    삼차원 비디오 콘텐츠 디코딩 방법.
  16. 제 12 항에 있어서,
    스케일러블 계층 및/또는 다른 스케일러빌리티 특징을 표시하는 신택스 요소,
    뷰 및/또는 다른 멀티뷰 특징을 표시하는 신택스 요소,
    멀티뷰 비디오의 특정 컴포넌트 유형에 관련된 신택스 요소,
    액세스 유닛 식별에 관련된 신택스 요소,
    디코딩 순서에 관련된 신택스 요소,
    출력 순서에 관련된 신택스 요소,
    액세스 유닛의 모든 슬라이스들에 대해 변동없이 유지되는 다른 신택스 요소에 관련된 신택스 요소,
    뷰 컴포넌트의 모든 슬라이스들에서 변동없이 유지되는 신택스 요소,
    참조 픽처 리스트 변경(reference picture list modification)에 관련된 신택스 요소,
    사용된 참조 픽처 세트에 관련된 신택스 요소,
    디코딩 참조 픽처 표기(decoding reference picture marking)에 관련한 신택스 요소,
    가중 예측(weighted prediction)을 위한 예측 가중 테이블에 관련된 신택스 요소,
    디블록킹 필터링을 제어하기 위한 신택스 요소,
    적응 루프 필터링을 제어하기 위한 신택스 요소,
    샘플 적응 오프셋을 제어하기 위한 신택스 요소,
    중 적어도 하나로부터 상기 슬라이스 파라미터 세트의 제1 및 제2 그룹에 대한 상기 신택스 요소의 세트를 형성하는 단계를 더 포함하는
    삼차원 비디오 콘텐츠 디코딩 방법.
  17. 텍스처 뷰 컴포넌트 및 깊이 뷰 컴포넌트를 포함하는 삼차원(3D) 비디오 콘텐츠를 디코딩하는 장치로서,
    상기 장치는 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하고, 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금,
    상기 텍스처 뷰 컴포넌트의 코딩된 슬라이스를 디코딩하게 하고,
    상기 깊이 뷰 컴포넌트의 슬라이스의 슬라이스 헤더로부터, 상기 깊이 뷰 컴포넌트의 코딩된 슬라이스를 디코딩하는 데 사용될 신택스 요소의 제1 세트에 대한 신택스 요소 값이 슬라이스 파라미터 세트의 제1 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에 포함되어 있는지를 나타내는 제1 표시를 디코딩하게 하고,
    상기 제1 표시가 상기 제1 세트에 대한 상기 신택스 요소 값이 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에 포함되어 있다고 나타내면, 상기 제1 세트의 상기 신택스 요소 값을 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터 디코딩하게 하고, 그렇지 않으면, 상기 텍스처 뷰 컴포넌트의 상기 슬라이스의 슬라이스 헤더로부터 상기 슬라이스 파라미터 세트의 제1 그룹을 형성하고 상기 제1 세트에 대한 상기 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제1 그룹으로부터 예측하게 하고,
    상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터, 상기 깊이 뷰 컴포넌트의 상기 코딩된 슬라이스를 디코딩하는 데 사용될 신택스 요소의 제2 세트에 대한 상기 신택스 요소 값이 슬라이스 파라미터 세트의 제2 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더 내에 포함되어 있는지를 나타내는 제2 표시를 디코딩하게 하고,
    상기 제2 표시가 상기 제2 세트에 대한 상기 신택스 요소 값이 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에 포함되어 있다고 나타내면, 상기 제2 세트의 상기 신택스 요소 값을 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터 디코딩하게 하고, 그렇지 않으면, 상기 텍스처 뷰 컴포넌트의 상기 슬라이스의 슬라이스 헤더로부터 상기 슬라이스 파라미터 세트의 제2 그룹을 형성하고 상기 제2 세트에 대한 상기 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제2 그룹으로부터 예측하게 하고,
    디코딩된 상기 신택스 요소의 제1 및 제2 세트를 이용하여 상기 깊이 뷰 컴포넌트의 상기 코딩된 슬라이스를 디코딩하게 하는
    삼차원 비디오 콘텐츠 디코딩 장치.
  18. 삭제
  19. 삭제
  20. 제 17 항에 있어서,
    상기 슬라이스 파라미터 세트의 그룹은 자신과 연관된 액세스 유닛 내에서 유효한
    삼차원 비디오 콘텐츠 디코딩 장치.
  21. 제 17 항에 있어서,
    상기 컴퓨터 프로그램 코드는 상기 장치로 하여금 또한,
    스케일러블 계층 및/또는 다른 스케일러빌리티 특징을 표시하는 신택스 요소,
    뷰 및/또는 다른 멀티뷰 특징을 표시하는 신택스 요소,
    멀티뷰 비디오의 특정 컴포넌트 유형에 관련된 신택스 요소,
    액세스 유닛 식별에 관련된 신택스 요소,
    디코딩 순서에 관련된 신택스 요소,
    출력 순서에 관련된 신택스 요소,
    액세스 유닛의 모든 슬라이스들에 대해 변동없이 유지되는 다른 신택스 요소에 관련된 신택스 요소,
    뷰 컴포넌트의 모든 슬라이스들에서 변동없이 유지되는 신택스 요소,
    참조 픽처 리스트 변경(reference picture list modification)에 관련된 신택스 요소,
    사용된 참조 픽처 세트에 관련된 신택스 요소,
    디코딩 참조 픽처 표기(decoding reference picture marking)에 관련한 신택스 요소,
    가중 예측(weighted prediction)을 위한 예측 가중 테이블에 관련된 신택스 요소,
    디블록킹 필터링을 제어하기 위한 신택스 요소,
    적응 루프 필터링을 제어하기 위한 신택스 요소,
    샘플 적응 오프셋을 제어하기 위한 신택스 요소,
    중 적어도 하나로부터 상기 슬라이스 파라미터 세트의 제1 및 제2 그룹에 대한 상기 신택스 요소의 세트를 형성하게 하는
    삼차원 비디오 콘텐츠 디코딩 장치.
  22. 텍스처 뷰 컴포넌트 및 깊이 뷰 컴포넌트를 포함하는 삼차원(3D) 비디오 콘텐츠를 디코딩하는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램은 하나 이상의 명령어의 하나 이상의 시퀀스를 포함하며, 상기 하나 이상의 명령어의 하나 이상의 시퀀스는, 상기 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 적어도,
    상기 텍스처 뷰 컴포넌트의 코딩된 슬라이스를 디코딩하게 하고,
    상기 깊이 뷰 컴포넌트의 슬라이스의 슬라이스 헤더로부터, 상기 깊이 뷰 컴포넌트의 코딩된 슬라이스를 디코딩하는 데 사용될 신택스 요소의 제1 세트에 대한 신택스 요소 값이 슬라이스 파라미터 세트의 제1 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에 포함되어 있는지를 나타내는 제1 표시를 디코딩하게 하고,
    상기 제1 표시가 상기 제1 세트에 대한 상기 신택스 요소 값이 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에 포함되어 있다고 나타내면, 상기 제1 세트의 상기 신택스 요소 값을 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터 디코딩하게 하고, 그렇지 않으면, 상기 텍스처 뷰 컴포넌트의 상기 슬라이스의 슬라이스 헤더로부터 상기 슬라이스 파라미터 세트의 제1 그룹을 형성하고 상기 제1 세트에 대한 상기 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제1 그룹으로부터 예측하게 하고,
    상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터, 상기 깊이 뷰 컴포넌트의 상기 코딩된 슬라이스를 디코딩하는 데 사용될 신택스 요소의 제2 세트에 대한 상기 신택스 요소 값이 슬라이스 파라미터 세트의 제2 그룹으로부터 추론되는지 또는 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더 내에 포함되어 있는지를 나타내는 제2 표시를 디코딩하게 하고,
    상기 제2 표시가 상기 제2 세트에 대한 상기 신택스 요소 값이 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더에 포함되어 있다고 나타내면, 상기 제2 세트의 상기 신택스 요소 값을 상기 깊이 뷰 컴포넌트의 상기 슬라이스의 상기 슬라이스 헤더로부터 디코딩하게 하고, 그렇지 않으면, 상기 텍스처 뷰 컴포넌트의 상기 슬라이스의 슬라이스 헤더로부터 상기 슬라이스 파라미터 세트의 제2 그룹을 형성하고 상기 제2 세트에 대한 상기 신택스 요소 값을 상기 슬라이스 파라미터 세트의 제2 그룹으로부터 예측하게 하고,
    디코딩된 상기 신택스 요소의 제1 및 제2 세트를 이용하여 상기 깊이 뷰 컴포넌트의 상기 코딩된 슬라이스를 디코딩하게 하는
    컴퓨터 판독가능 저장 매체.
KR1020147024386A 2012-02-01 2013-01-31 비디오 코딩을 위한 방법 및 장치 KR101669524B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261593519P 2012-02-01 2012-02-01
US61/593,519 2012-02-01
PCT/FI2013/050103 WO2013113997A1 (en) 2012-02-01 2013-01-31 Method and apparatus for video coding

Publications (2)

Publication Number Publication Date
KR20140130152A KR20140130152A (ko) 2014-11-07
KR101669524B1 true KR101669524B1 (ko) 2016-11-09

Family

ID=48869870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147024386A KR101669524B1 (ko) 2012-02-01 2013-01-31 비디오 코딩을 위한 방법 및 장치

Country Status (9)

Country Link
US (2) US9479775B2 (ko)
EP (1) EP2810443B1 (ko)
JP (1) JP5947405B2 (ko)
KR (1) KR101669524B1 (ko)
CN (1) CN104205819B (ko)
BR (1) BR112014018856B1 (ko)
CA (1) CA2863131C (ko)
SG (1) SG11201404509QA (ko)
WO (1) WO2013113997A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199087A1 (ko) * 2018-04-11 2019-10-17 삼성전자 주식회사 영상 처리 장치 및 방법

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
EP2842323A1 (en) * 2012-04-24 2015-03-04 Telefonaktiebolaget LM Ericsson (Publ) Identifying a parameter set for decoding a multi-layer video representation
US9813705B2 (en) 2012-04-26 2017-11-07 Qualcomm Incorporated Parameter set coding
US9332269B2 (en) * 2012-06-27 2016-05-03 Broadcom Corporation Slice overhead coding
EP3079363B1 (en) * 2012-06-29 2017-09-27 Telefonaktiebolaget LM Ericsson (publ) Encoding and decoding video sequences comprising reference picture sets
US9686542B2 (en) 2012-09-05 2017-06-20 Qualcomm Incorporated Network abstraction layer header design
US9491461B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction
US9380307B2 (en) 2012-11-19 2016-06-28 Qualcomm Incorporated Method and system for intra base layer (BL) transform in video coding
US9648319B2 (en) 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
US10021388B2 (en) 2012-12-26 2018-07-10 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
US9584808B2 (en) * 2013-02-22 2017-02-28 Qualcomm Incorporated Device and method for scalable coding of video information
US9578339B2 (en) 2013-03-05 2017-02-21 Qualcomm Incorporated Parallel processing for video coding
US9516306B2 (en) 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US20140301436A1 (en) * 2013-04-05 2014-10-09 Qualcomm Incorporated Cross-layer alignment in multi-layer video coding
WO2015002444A1 (ko) * 2013-07-01 2015-01-08 삼성전자 주식회사 필터링을 수반한 비디오 부호화 및 복호화 방법 및 그 장치
US9906768B2 (en) * 2013-07-26 2018-02-27 Qualcomm Incorporated Use of a depth condition in 3DV codec
KR101869882B1 (ko) * 2013-10-11 2018-06-25 브이아이디 스케일, 인크. Hevc 확장을 위한 하이 레벨 구문
US9854270B2 (en) * 2013-12-19 2017-12-26 Qualcomm Incorporated Device and method for scalable coding of video information
WO2015101716A1 (en) * 2014-01-03 2015-07-09 Nokia Technologies Oy Parameter set coding
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
FR3018417B1 (fr) * 2014-03-04 2017-07-28 Sagemcom Broadband Sas Procede de modification d'un flux video binaire.
FR3029381A1 (fr) * 2014-11-27 2016-06-03 Orange Procede de composition d’une representation video intermediaire
US10370060B2 (en) * 2015-10-30 2019-08-06 Shimano Inc. Bicycle electrical component assembly
GB2598255B (en) * 2016-02-17 2022-07-27 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
JP2020501427A (ja) * 2016-11-29 2020-01-16 リサーチ ビジネス ファウンデーション ソンギュングァン ユニバーシティＲｅｓｅａｒｃｈ Ｂｕｓｉｎｅｓｓ Ｆｏｕｎｄａｔｉｏｎ Ｓｕｎｇｋｙｕｎｋｗａｎ Ｕｎｉｖｅｒｓｉｔｙ 画像符号化／復号化方法、装置、及びビットストリームを保存した記録媒体
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
CN106878753B (zh) * 2017-02-16 2020-04-28 南京理工大学 一种使用纹理平滑信息的3d视频残差编码模式选择方法
EP3489900A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Method, apparatus and stream for encoding/decoding volumetric video
US11451773B2 (en) * 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling
WO2020003274A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
BR112020024202A2 (pt) 2018-06-29 2021-02-17 Beijing Bytedance Network Technology Co., Ltd. método de processamento de dados de vídeo, aparelho de processamento de vídeo e meios de armazenamento e gravação legíveis por computador não transitório
MX2020013828A (es) * 2018-06-29 2021-03-25 Beijing Bytedance Network Tech Co Ltd Interaccion entre lut y amvp.
CN115134599A (zh) 2018-06-29 2022-09-30 抖音视界有限公司 更新查找表（lut）的条件
TWI723444B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 使用一個或多個查找表來按順序存儲先前編碼的運動信息並使用它們來編碼後面的塊的概念
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
EP3791589A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Which lut to be updated or no updating
JP7181395B2 (ja) 2018-07-02 2022-11-30 北京字節跳動網絡技術有限公司 イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
US11064196B2 (en) * 2018-09-03 2021-07-13 Qualcomm Incorporated Parametrizable, quantization-noise aware bilateral filter for video coding
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
KR20230128587A (ko) 2018-10-27 2023-09-05 후아웨이 테크놀러지 컴퍼니 리미티드 서브블록 병합 후보를 위한 개별적인 병합 목록 및 비디오 코딩을 위한 인트라-인터 기술 조화
US11051017B2 (en) 2018-12-20 2021-06-29 Qualcomm Incorporated Adaptive loop filter (ALF) index signaling
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN113383547A (zh) 2019-02-01 2021-09-10 北京字节跳动网络技术有限公司 环路整形和帧间编解码工具之间的相互作用
WO2020156534A1 (en) 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and intra block copy
WO2020184673A1 (ja) * 2019-03-12 2020-09-17 ソニー株式会社 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
EP3941059A1 (en) 2019-03-12 2022-01-19 Sony Group Corporation Image decoding device, image decoding method, image encoding device, and image encoding method
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
JP7417624B2 (ja) 2019-03-23 2024-01-18 北京字節跳動網絡技術有限公司 適応ループフィルタリングパラメータセットに対する制限
EP3958568A4 (en) * 2019-04-15 2023-01-11 Lg Electronics Inc. VIDEO OR IMAGE ENCODING BASED ON SIGNALING SCALING LIST DATA
JP7403245B2 (ja) * 2019-06-21 2023-12-22 キヤノン株式会社 画像復号装置、画像復号方法
CN114026863A (zh) * 2019-06-24 2022-02-08 交互数字Vc控股公司 使用高级语法元素发信号通知解码数据的方法和装置
GB2607692B (en) * 2019-08-23 2023-08-02 Imagination Tech Ltd Random accessible image data compression
US11535339B2 (en) * 2019-08-30 2022-12-27 Shimano Inc. Bicycle derailleur
WO2021054720A1 (ko) * 2019-09-16 2021-03-25 엘지전자 주식회사 가중 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11758193B2 (en) * 2019-11-04 2023-09-12 Hfi Innovation Inc. Signaling high-level information in video and image coding
KR102192631B1 (ko) * 2019-11-28 2020-12-17 주식회사우경정보기술 병렬 포렌식 마킹 장치 및 방법
US11902584B2 (en) 2019-12-19 2024-02-13 Tencent America LLC Signaling of picture header parameters
JP7473656B2 (ja) * 2020-01-09 2024-04-23 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ピクチャヘッダ存在
US20220060684A1 (en) * 2020-03-26 2022-02-24 Alibaba Group Holding Limited Methods and apparatuses for signaling picture header
US11516514B2 (en) * 2020-03-27 2022-11-29 Tencent America LLC High level control for deblocking operations
CN112468818B (zh) * 2021-01-22 2021-06-29 腾讯科技（深圳）有限公司 视频通信的实现方法及装置、介质和电子设备
EP4113996A1 (en) * 2021-06-30 2023-01-04 Panasonic Intellectual Property Corporation of America Encoding mergable bitstreams with subpictures

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248124A (ja) 2003-02-17 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> 階層的画像符号化装置および階層的画像復号装置
JP2010537484A (ja) * 2007-08-15 2010-12-02 トムソン ライセンシング 多視点符号化ビデオにおける領域視差ベクトルを使用したモーションスキップモードのための方法及び装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7586924B2 (en) * 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
EP1879583A2 (en) * 2005-05-03 2008-01-23 Mutual Pharmaceutical Company, Inc. Quinine formulations
EP1952638B1 (en) * 2005-10-12 2020-05-13 InterDigital VC Holdings, Inc. Region of interest h.264 scalable video coding
JP2010520697A (ja) * 2007-03-02 2010-06-10 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
JP2011509631A (ja) * 2008-01-11 2011-03-24 トムソン ライセンシング ビデオおよび奥行きの符号化
KR20090089960A (ko) * 2008-02-20 2009-08-25 엘지전자 주식회사 초고해상도 영상 인코딩 및 디코딩 방법 및 장치
WO2009136681A1 (en) * 2008-05-08 2009-11-12 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for displaying image
CN101374243B (zh) * 2008-07-29 2010-06-23 宁波大学 一种应用于3dtv与ftv系统的深度图编码压缩方法
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
JP2010157821A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
US20120050475A1 (en) * 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
US9591320B2 (en) * 2010-07-15 2017-03-07 Texas Instruments Incorporated Context and bypass encoding video
CN102055982B (zh) * 2011-01-13 2012-06-27 浙江大学 三维视频编解码方法及装置
KR101830787B1 (ko) * 2011-07-12 2018-02-21 삼성전자 주식회사 수기로 작성된 메모 데이터 검색 방법 및 장치
US11496760B2 (en) * 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
US20130188709A1 (en) * 2012-01-25 2013-07-25 Sachin G. Deshpande Video decoder for tiles with absolute signaling
TW201342884A (zh) 2012-01-31 2013-10-16 Sony Corp 編碼裝置及編碼方法、以及解碼裝置及解碼方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248124A (ja) 2003-02-17 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> 階層的画像符号化装置および階層的画像復号装置
JP2010537484A (ja) * 2007-08-15 2010-12-02 トムソン ライセンシング 多視点符号化ビデオにおける領域視差ベクトルを使用したモーションスキップモードのための方法及び装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199087A1 (ko) * 2018-04-11 2019-10-17 삼성전자 주식회사 영상 처리 장치 및 방법
KR20190118926A (ko) * 2018-04-11 2019-10-21 삼성전자주식회사 이미지 처리 장치 및 방법
US11328453B2 (en) 2018-04-11 2022-05-10 Samsung Electronics Co., Ltd. Device and method for image processing
KR102503743B1 (ko) 2018-04-11 2023-02-28 삼성전자주식회사 이미지 처리 장치 및 방법

Also Published As

Publication number Publication date
BR112014018856A8 (pt) 2017-07-11
BR112014018856A2 (ko) 2017-06-20
CN104205819A (zh) 2014-12-10
US9479775B2 (en) 2016-10-25
CA2863131A1 (en) 2013-08-08
BR112014018856B1 (pt) 2022-09-20
SG11201404509QA (en) 2014-08-28
US20130194384A1 (en) 2013-08-01
JP5947405B2 (ja) 2016-07-06
JP2015509345A (ja) 2015-03-26
KR20140130152A (ko) 2014-11-07
EP2810443A4 (en) 2016-11-09
EP2810443A1 (en) 2014-12-10
CA2863131C (en) 2017-03-28
US20170048550A1 (en) 2017-02-16
WO2013113997A1 (en) 2013-08-08
US10397610B2 (en) 2019-08-27
CN104205819B (zh) 2017-06-30
EP2810443B1 (en) 2021-03-31

Similar Documents

Publication Publication Date Title
KR101669524B1 (ko) 비디오 코딩을 위한 방법 및 장치
US10904543B2 (en) Method and apparatus for video coding and decoding
CN112956190B (zh) 仿射运动预测
KR101630564B1 (ko) 비디오 코딩을 위한 방법 및 장치
KR101715784B1 (ko) 비디오 코딩 방법 및 장치
KR101967398B1 (ko) 모션 정보를 시그널링하기 위한 구문을 수반하는 비디오 코딩을 위한 방법 및 장치
KR101790156B1 (ko) 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
JP6290924B2 (ja) ビデオ・コーディングおよびデコーディングのための方法と装置
KR101658324B1 (ko) 비디오 코딩을 위한 방법 및 장치
US20140085415A1 (en) Method and apparatus for video coding
CN114303374A (zh) 利用可切换滤波器的参考画面重采样
US20140098881A1 (en) Motion field upsampling for scalable coding based on high efficiency video coding
CN113170123A (zh) 照明补偿与帧间预测的相互作用
CN114402617A (zh) 利用矢量裁剪的仿射译码
US20150016502A1 (en) Device and method for scalable coding of video information
WO2023187250A1 (en) An apparatus, a method and a computer program for video coding and decoding
WO2024012761A1 (en) An apparatus, a method and a computer program for video coding and decoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant