KR20220065046A - Ols에 대한 스케일러블 네스팅 sei 메시지들 - Google Patents

Ols에 대한 스케일러블 네스팅 sei 메시지들 Download PDF

Info

Publication number
KR20220065046A
KR20220065046A KR1020227013401A KR20227013401A KR20220065046A KR 20220065046 A KR20220065046 A KR 20220065046A KR 1020227013401 A KR1020227013401 A KR 1020227013401A KR 20227013401 A KR20227013401 A KR 20227013401A KR 20220065046 A KR20220065046 A KR 20220065046A
Authority
KR
South Korea
Prior art keywords
scalable nesting
ols
layers
scalable
olss
Prior art date
Application number
KR1020227013401A
Other languages
English (en)
Inventor
예-쿠이 왕
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20220065046A publication Critical patent/KR20220065046A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 코딩 메커니즘이 개시된다. 메커니즘은 하나 이상의 계층 및 스케일러블 네스팅 SEI(supplemental enhancement information) 메시지를 포함하는 비트스트림을 수신하는 것을 포함한다. 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지 및 스케일러블 네스팅 OLS(output layer set) 플래그를 포함한다. 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하도록 설정된다. 코딩된 픽처는 하나 이상의 계층으로부터 디코딩되어 디코딩된 픽처를 생성한다. 디코딩된 픽처는 디코딩된 비디오 시퀀스의 일부로서의 디스플레이를 위해 포워딩된다.

Description

OLS에 대한 스케일러블 네스팅 SEI 메시지들
본 특허 출원은 Ye-Kui Wang에 의해 2019년 9월 24일자로 출원되고 발명의 명칭이 "Scalable Nesting of SEI Messages for Output Layer Sets"인 미국 가특허 출원 제62/905,143호의 이익을 주장하며, 이는 본 명세서에 참조로 포함된다.
본 개시내용은 일반적으로 비디오 코딩에 관한 것이고, 구체적으로는 다중-계층 비트스트림들(multi-layer bitstreams)에서 OLS들(output layer sets)로의 인코딩 계층들을 지원하기 위해 사용되는 스케일러블 네스팅(scalable nesting) SEI(supplemental enhancement information) 메시지들에 관한 것이다.
심지어 비교적 짧은 비디오를 묘사하기 위해 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 데이터가 대역폭 용량이 제한된 통신 네트워크에 걸쳐 스트리밍되거나 또는 달리 통신되어야 할 때 어려움들을 초래할 수 있다. 따라서, 비디오 데이터는 현대의 전기통신 네트워크들에 걸쳐 통신되기 전에 일반적으로 압축된다. 메모리 리소스들이 제한될 수 있기 때문에 비디오가 저장 디바이스 상에 저장될 때 비디오의 크기가 또한 쟁점일 수 있다. 비디오 압축 디바이스들은 소스에서 소프트웨어 및/또는 하드웨어를 종종 사용하여 송신 또는 저장 전에 비디오 데이터를 코딩하고, 그렇게 함으로써 디지털 비디오 이미지들을 표현하기 위해 필요한 데이터의 수량을 감소시킨다. 비디오 데이터를 디코딩하는 비디오 압축해제 디바이스(video decompression device)에 의해 목적지에서 압축된 데이터가 다음으로 수신된다. 네트워크 리소스들이 제한되고 더 높은 비디오 품질에 대한 요구가 계속 증가함에 따라, 이미지 품질에서의 희생이 거의 내지 전혀 없이 압축비를 개선하는 개선된 압축 및 압축해제 기법들이 바람직하다.
실시예에서, 본 개시내용은 디코더에 의해 구현되는 방법을 포함하며, 방법은: 디코더의 수신기에 의해, 하나 이상의 계층 및 스케일러블 네스팅(scalable nesting) SEI(supplemental enhancement information) 메시지를 포함하는 비트스트림을 수신하는 단계- 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지 및 스케일러블 네스팅 OLS(output layer set) 플래그를 포함하고, 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하도록 설정됨 -; 및 디코더의 프로세서에 의해, 스케일러블 네스팅 SEI 메시지들에 기초하여, 하나 이상의 계층으로부터의 코딩된 픽처를 디코딩하여, 디코딩된 픽처를 생성하는 단계를 포함한다.
일부 비디오 코딩 시스템들은 SEI 메시지들을 이용한다. SEI 메시지는 디코딩된 픽처들 내의 샘플들의 값들을 결정하기 위해 디코딩 프로세스에 의해 필요하지 않은 정보를 포함한다. 예를 들어, SEI 메시지들은 표준들에 대한 적합성을 위해 비트스트림을 검사하는 데 사용되는 파라미터들을 포함할 수 있다. HRD(hypothetical reference decoder)는 표준 적합성에 대해 비트스트림을 검사하는 방법을 결정하기 위해 SEI 메시지들을 판독할 수 있다. 이러한 시스템들은 계층들에 관련된 데이터 및 계층들을 포함하는 OLS들에 관련된 데이터에 대해 별도의 타입들의 SEI 메시지들을 이용할 수 있다. 이것은 복잡하고 중복적인 시스템을 야기할 수 있다. 본 예는 계층들 또는 OLS들과 관련된 파라미터들을 포함하도록 구성된 스케일러블 네스팅 SEI 메시지를 포함한다. 예를 들어, 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 OLS 플래그를 포함할 수 있으며, 이는 스케일러블 네스팅 SEI 메시지가 계층들에 관련된 파라미터들 또는 OLS들에 관련된 파라미터들을 포함하는지를 표시하도록 설정될 수 있다. 스케일러블 네스팅 SEI 메시지는 또한 계층들 또는 OLS들과 관련되는 하나 이상의 스케일러블 네스팅 SEI 메시지를 포함할 수 있다. 스케일러블 네스팅 SEI 메시지가 OLS들과 관련될 때, 스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 SEI 메시지와 연관된 OLS들의 수를 지시하고 OLS들을 스케일러블 네스팅 SEI 메시지들에 상관시키기 위한 OLS 인덱스들을 지시하는 플래그들을 포함한다. 스케일러블 네스팅 SEI 메시지가 계층들과 관련될 때, 스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 SEI 메시지와 연관된 계층들의 수를 지시하고 계층들을 스케일러블 네스팅 SEI 메시지들에 상관시키기 위한 계층 식별자들(ID들)을 지시하는 플래그들을 포함한다. 이러한 방식으로, SEI 메시지 타입들의 수가 감소될 수 있고, 이는 복잡도를 감소시키고 메시지 타입들의 총 수를 감소시킨다. 이것은 결국 메시지의 각각의 타입을 식별하는 데 사용되는 메시지 ID 데이터의 길이를 감소시킨다. 그 결과, 코딩 효율이 증가되고, 이는 인코더 및 디코더 둘 다에서 프로세서, 메모리, 및/또는 네트워크 시그널링 리소스 사용을 감소시킨다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는 것을 특정할 때 1로 설정되고, 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 계층들에 적용되는 것을 특정할 때 0으로 설정된다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 스케일러블 네스팅 SEI 메시지가 페이로드 타입의 버퍼링 기간, 픽처 타이밍, 또는 디코딩 유닛 정보를 갖는 SEI 메시지를 포함할 때 스케일러블 네스팅 OLS 플래그는 1로 설정된다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 OLS 플래그가 1로 설정될 때 스케일러블 네스팅 num_olss_minus1(number of OLSs minus one) 신택스 요소를 포함하고, 스케일러블 네스팅 num_olss_minus1 신택스 요소는 스케일러블 네스팅 SEI 메시지들이 적용되는 OLS들의 수를 특정하고, 스케일러블 네스팅 num_olss_minus1 신택스 요소의 값은 0부터 TotalNumOlss(total number of OLSs)-1까지의 범위에 있다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 OLS 플래그가 1과 동일할 때 스케일러블 네스팅 SEI 메시지들이 적용되는 i번째 OLS의 OLS 인덱스를 특정하는 NestingOlsIdx[i](nesting OLS index)를 도출하는데 사용되는 스케일러블 네스팅(scalable nesting) ols_idx_delta_minus1[i](OLS delta minus one) 신택스 요소를 포함하고, 스케일러블 네스팅 Ols_idx_delta_minus1[i] 신택스 요소의 값은 0부터 TotalNumOlss-2까지의 범위에 있다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되며, 다음과 같이 NestingOlsIdx[i]를 도출하는 것을 추가로 포함한다:
Figure pct00001
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 스케일러블 네스팅 OLS 플래그가 0으로 설정될 때 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 num_layers_minus1(number of layers minus one) 신택스 요소를 포함하고, 스케일러블 네스팅 num_layers_minus1 신택스 요소는 스케일러블 네스팅 SEI 메시지들이 적용되는 계층들의 수를 특정한다.
실시예에서, 본 개시내용은 인코더에 의해 구현되는 방법을 포함하고, 방법은: 인코더의 프로세서에 의해, 하나 이상의 계층을 포함하는 비트스트림을 인코딩하는 단계; 프로세서에 의해, 스케일러블 네스팅 SEI 메시지를 비트스트림으로 인코딩하는 단계- 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지 및 스케일러블 네스팅 OLS 플래그를 포함하고, 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하도록 설정됨 -; 프로세서에 의해, 스케일러블 네스팅 SEI 메시지에 기초하여 비트스트림 적합성 테스트들의 세트를 수행하는 단계; 및 프로세서에 결합된 메모리에 의해, 디코더를 향한 통신을 위한 비트스트림을 저장하는 단계를 포함한다.
일부 비디오 코딩 시스템들은 SEI 메시지들을 이용한다. SEI 메시지는 디코딩된 픽처들 내의 샘플들의 값들을 결정하기 위해 디코딩 프로세스에 의해 필요하지 않은 정보를 포함한다. 예를 들어, SEI 메시지들은 표준들에 대한 적합성을 위해 비트스트림을 검사하는 데 사용되는 파라미터들을 포함할 수 있다. HRD는 표준 적합성에 대해 비트스트림을 검사하는 방법을 결정하기 위해 SEI 메시지를 판독할 수 있다. 이러한 시스템들은 계층들에 관련된 데이터 및 계층들을 포함하는 OLS들에 관련된 데이터에 대해 별도의 타입들의 SEI 메시지들을 이용할 수 있다. 이것은 복잡하고 중복적인 시스템을 야기할 수 있다. 본 예는 계층들 또는 OLS들과 관련된 파라미터들을 포함하도록 구성된 스케일러블 네스팅 SEI 메시지를 포함한다. 예를 들어, 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 OLS 플래그를 포함할 수 있으며, 이는 스케일러블 네스팅 SEI 메시지가 계층들에 관련된 파라미터들 또는 OLS들에 관련된 파라미터들을 포함하는지를 표시하도록 설정될 수 있다. 스케일러블 네스팅 SEI 메시지는 또한 계층들 또는 OLS들과 관련되는 하나 이상의 스케일러블 네스팅 SEI 메시지를 포함할 수 있다. 스케일러블 네스팅 SEI 메시지가 OLS들과 관련될 때, 스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 SEI 메시지와 연관된 OLS들의 수를 지시하고 OLS들을 스케일러블 네스팅 SEI 메시지들에 상관시키기 위한 OLS 인덱스들을 지시하는 플래그들을 포함한다. 스케일러블 네스팅 SEI 메시지가 계층들과 관련될 때, 스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 SEI 메시지와 연관된 계층들의 수를 지시하고 계층들을 스케일러블 네스팅 SEI 메시지들에 상관시키기 위한 계층 ID들을 지시하는 플래그들을 포함한다. 이러한 방식으로, SEI 메시지 타입들의 수가 감소될 수 있고, 이는 복잡도를 감소시키고 메시지 타입들의 총 수를 감소시킨다. 이것은 결국 메시지의 각각의 타입을 식별하는 데 사용되는 메시지 ID 데이터의 길이를 감소시킨다. 그 결과, 코딩 효율이 증가되고, 이는 인코더 및 디코더 둘 다에서 프로세서, 메모리, 및/또는 네트워크 시그널링 리소스 사용을 감소시킨다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는 것을 특정할 때 1로 설정되고, 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 계층들에 적용되는 것을 특정할 때 0으로 설정된다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 스케일러블 네스팅 SEI 메시지가 페이로드 타입의 버퍼링 기간, 픽처 타이밍, 또는 디코딩 유닛 정보를 갖는 SEI 메시지를 포함할 때 스케일러블 네스팅 OLS 플래그는 1로 설정된다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 스케일러블 네스팅 OLS 플래그가 1로 설정될 때 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 num_olss_minus1 신택스 요소를 포함하고, 스케일러블 네스팅 num_olss_minus1 신택스 요소는 스케일러블 네스팅 SEI 메시지들이 적용되는 OLS들의 수를 특정하고, 스케일러블 네스팅 num_olss_minus1 신택스 요소의 값은 0부터 TotalNumOlss-1까지의 범위에 있다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 스케일러블 네스팅 OLS 플래그가 1과 동일할 때 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 SEI 메시지들이 적용되는 i번째 OLS의 OLS 인덱스를 특정하는 NestingOlsIdx[i]를 도출하는데 사용되는 스케일러블 네스팅(scalable nesting) ols_idx_delta_minus1[i] 신택스 요소를 포함하고, 스케일러블 네스팅 Ols_idx_delta_minus1[i] 신택스 요소의 값은 0부터 TotalNumOlss-2까지의 범위에 있다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되며, 다음과 같이 NestingOlsIdx[i]를 도출하는 것을 추가로 포함한다:
Figure pct00002
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 스케일러블 네스팅 OLS 플래그가 0으로 설정될 때 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 num_layers_minus1 신택스 요소를 포함하고, 스케일러블 네스팅 num_layers_minus1 신택스 요소는 스케일러블 네스팅 SEI 메시지들이 적용되는 계층들의 수를 특정한다.
실시예에서, 본 개시내용은 비디오 코딩 디바이스를 포함하며, 이는: 프로세서, 프로세서에 결합된 수신기, 프로세서에 결합된 메모리, 및 프로세서에 결합된 송신기를 포함하고, 프로세서, 수신기, 메모리, 및 송신기는 이전 양태들 중 임의의 것의 방법을 수행하도록 구성된다.
실시예에서, 본 개시내용은 비디오 코딩 디바이스에 의한 사용을 위한 컴퓨터 프로그램 제품을 포함하는 비일시적 컴퓨터 판독가능 매체를 포함하고, 컴퓨터 프로그램 제품은, 프로세서에 의해 실행될 때 비디오 코딩 디바이스로 하여금 전술한 양태들 중 임의의 것의 방법을 수행하게 하도록 하는, 비일시적 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 실행가능 명령어들을 포함한다.
실시예에서, 본 개시내용은 디코더를 포함하며, 이는: 하나 이상의 계층 및 스케일러블 네스팅 SEI 메시지를 포함하는 비트스트림을 수신하기 위한 수신 수단- 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지 및 스케일러블 네스팅 OLS 플래그를 포함하고, 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하도록 설정됨 -; 스케일러블 네스팅 SEI 메시지들에 기초하여 하나 이상의 계층으로부터의 코딩된 픽처를 디코딩하여 디코딩된 픽처를 생성하기 위한 디코딩 수단; 및 디코딩된 비디오 시퀀스의 일부로서의 디스플레이를 위해 디코딩된 픽처를 포워딩하기 위한 포워딩 수단을 포함한다.
일부 비디오 코딩 시스템들은 SEI 메시지들을 이용한다. SEI 메시지는 디코딩된 픽처들 내의 샘플들의 값들을 결정하기 위해 디코딩 프로세스에 의해 필요하지 않은 정보를 포함한다. 예를 들어, SEI 메시지들은 표준들에 대한 적합성을 위해 비트스트림을 검사하는 데 사용되는 파라미터들을 포함할 수 있다. HRD는 표준 적합성에 대해 비트스트림을 검사하는 방법을 결정하기 위해 SEI 메시지를 판독할 수 있다. 이러한 시스템들은 계층들에 관련된 데이터 및 계층들을 포함하는 OLS들에 관련된 데이터에 대해 별도의 타입들의 SEI 메시지들을 이용할 수 있다. 이것은 복잡하고 중복적인 시스템을 야기할 수 있다. 본 예는 계층들 또는 OLS들과 관련된 파라미터들을 포함하도록 구성된 스케일러블 네스팅 SEI 메시지를 포함한다. 예를 들어, 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 OLS 플래그를 포함할 수 있으며, 이는 스케일러블 네스팅 SEI 메시지가 계층들에 관련된 파라미터들 또는 OLS들에 관련된 파라미터들을 포함하는지를 표시하도록 설정될 수 있다. 스케일러블 네스팅 SEI 메시지는 또한 계층들 또는 OLS들과 관련되는 하나 이상의 스케일러블 네스팅 SEI 메시지를 포함할 수 있다. 스케일러블 네스팅 SEI 메시지가 OLS들과 관련될 때, 스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 SEI 메시지와 연관된 OLS들의 수를 지시하고 OLS들을 스케일러블 네스팅 SEI 메시지들에 상관시키기 위한 OLS 인덱스들을 지시하는 플래그들을 포함한다. 스케일러블 네스팅 SEI 메시지가 계층들과 관련될 때, 스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 SEI 메시지와 연관된 계층들의 수를 지시하고 계층들을 스케일러블 네스팅 SEI 메시지들에 상관시키기 위한 계층 ID들을 지시하는 플래그들을 포함한다. 이러한 방식으로, SEI 메시지 타입들의 수가 감소될 수 있고, 이는 복잡도를 감소시키고 메시지 타입들의 총 수를 감소시킨다. 이것은 결국 메시지의 각각의 타입을 식별하는 데 사용되는 메시지 ID 데이터의 길이를 감소시킨다. 그 결과, 코딩 효율이 증가되고, 이는 인코더 및 디코더 둘 다에서 프로세서, 메모리, 및/또는 네트워크 시그널링 리소스 사용을 감소시킨다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 디코더는 이전 양태들 중 임의의 것의 방법을 수행하도록 추가로 구성된다.
실시예에서, 본 개시내용은 인코더를 포함하며, 이는: 하나 이상의 계층을 포함하는 비트스트림을 인코딩하고; 스케일러블 네스팅 SEI 메시지를 비트스트림으로 인코딩하기 위한 인코딩 수단- 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지 및 스케일러블 네스팅 OLS 플래그를 포함하고, 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하도록 설정됨 -; 스케일러블 네스팅 SEI 메시지에 기초하여 비트스트림 적합성 테스트들의 세트를 수행하기 위한 HRD 수단; 및 디코더를 향한 통신을 위한 비트스트림을 저장하기 위한 저장 수단을 포함한다.
일부 비디오 코딩 시스템들은 SEI 메시지들을 이용한다. SEI 메시지는 디코딩된 픽처들 내의 샘플들의 값들을 결정하기 위해 디코딩 프로세스에 의해 필요하지 않은 정보를 포함한다. 예를 들어, SEI 메시지들은 표준들에 대한 적합성을 위해 비트스트림을 검사하는 데 사용되는 파라미터들을 포함할 수 있다. HRD는 표준 적합성에 대해 비트스트림을 검사하는 방법을 결정하기 위해 SEI 메시지를 판독할 수 있다. 이러한 시스템들은 계층들에 관련된 데이터 및 계층들을 포함하는 OLS들에 관련된 데이터에 대해 별도의 타입들의 SEI 메시지들을 이용할 수 있다. 이것은 복잡하고 중복적인 시스템을 야기할 수 있다. 본 예는 계층들 또는 OLS들과 관련된 파라미터들을 포함하도록 구성된 스케일러블 네스팅 SEI 메시지를 포함한다. 예를 들어, 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 OLS 플래그를 포함할 수 있으며, 이는 스케일러블 네스팅 SEI 메시지가 계층들에 관련된 파라미터들 또는 OLS들에 관련된 파라미터들을 포함하는지를 표시하도록 설정될 수 있다. 스케일러블 네스팅 SEI 메시지는 또한 계층들 또는 OLS들과 관련되는 하나 이상의 스케일러블 네스팅 SEI 메시지를 포함할 수 있다. 스케일러블 네스팅 SEI 메시지가 OLS들과 관련될 때, 스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 SEI 메시지와 연관된 OLS들의 수를 지시하고 OLS들을 스케일러블 네스팅 SEI 메시지들에 상관시키기 위한 OLS 인덱스들을 지시하는 플래그들을 포함한다. 스케일러블 네스팅 SEI 메시지가 계층들과 관련될 때, 스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 SEI 메시지와 연관된 계층들의 수를 지시하고 계층들을 스케일러블 네스팅 SEI 메시지들에 상관시키기 위한 계층 ID들을 지시하는 플래그들을 포함한다. 이러한 방식으로, SEI 메시지 타입들의 수가 감소될 수 있고, 이는 복잡도를 감소시키고 메시지 타입들의 총 수를 감소시킨다. 이것은 결국 메시지의 각각의 타입을 식별하는 데 사용되는 메시지 ID 데이터의 길이를 감소시킨다. 그 결과, 코딩 효율이 증가되고, 이는 인코더 및 디코더 둘 다에서 프로세서, 메모리, 및/또는 네트워크 시그널링 리소스 사용을 감소시킨다.
선택적으로, 전술한 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되는데, 여기서 인코더는 이전 양태들 중 임의의 것의 방법을 수행하도록 추가로 구성된다.
명료성의 목적을 위해, 전술한 실시예들 중 어느 하나는 본 개시내용의 범위 내에서 새로운 실시예를 생성하기 위해 다른 전술한 실시예들 중 어느 하나 이상과 조합될 수 있다.
이들 및 다른 특징들은 첨부 도면들 및 청구항들과 관련하여 취해진 다음의 상세한 설명으로부터 더욱 명확하게 이해될 것이다.
본 개시내용의 보다 완전한 이해를 위해, 이제 첨부 도면들 및 상세한 설명과 관련하여 취해진 다음의 간단한 설명이 참조되고, 여기서 유사한 참조 번호들은 유사한 부분들을 표현한다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코덱(codec(coding and decoding)) 시스템의 개략도이다.
도 3은 예시적인 비디오 인코더를 예시하는 개략도이다.
도 4는 예시적인 비디오 디코더를 예시하는 개략도이다.
도 5는 예시적인 HRD(hypothetical reference decoder)를 예시하는 개략도이다.
도 6은 인터 계층 예측(inter-layer prediction)을 위해 구성된 예시적인 다중-계층 비디오 시퀀스를 예시하는 개략도이다.
도 7은 예시적인 비트스트림을 예시하는 개략도이다.
도 8은 예시적인 비디오 코딩 디바이스의 개략도이다.
도 9는 비디오 시퀀스를 스케일러블 네스팅 SEI 메시지들을 포함하는 비트스트림으로 인코딩하기 위한 예시적인 방법의 흐름도이다.
도 10은 스케일러블 네스팅 SEI 메시지들을 포함하는 비트스트림으로부터 비디오 시퀀스를 디코딩하는 예시적인 방법의 흐름도이다.
도 11은 스케일러블 네스팅 SEI 메시지들을 포함하는 비트스트림을 사용하여 비디오 시퀀스를 코딩하기 위한 예시적인 시스템의 개략도이다.
하나 이상의 실시예의 예시적인 구현이 아래 제공되지만, 개시된 시스템들 및/또는 방법들은, 현재 알려져 있든지 이미 존재하든지, 임의의 수의 기법을 사용하여 구현될 수 있다는 것이 처음부터 이해되어야 한다. 본 개시내용은 본 명세서에 예시 및 설명된 예시적인 설계들 및 구현들을 포함하여, 아래 예시된 예시적인 구현들, 도면들 및 기법들로 결코 제한되는 것이 아니며, 첨부된 청구항들의 범위와 그들의 등가물들의 전체 범위 내에서 수정될 수 있다.
다음의 용어들은 본 명세서에서 반대 맥락으로 사용되지 않는 한 다음과 같이 정의된다. 구체적으로, 다음의 정의들은 본 개시내용에 추가적인 명료성을 제공하도록 의도된다. 그러나, 용어들은 상이한 맥락들에서 상이하게 설명될 수 있다. 그에 따라, 다음의 정의들은 보충으로서 간주되어야 하며, 본 명세서에서 이러한 용어들에 대해 제공된 설명들의 임의의 다른 정의들을 제한하는 것으로 간주되어서는 안 된다.
비트스트림은 인코더와 디코더 사이의 송신을 위해 압축되는 비디오 데이터를 포함하는 비트들의 시퀀스이다. 인코더는 인코딩 프로세스들을 이용하여 비디오 데이터를 비트스트림으로 압축하도록 구성되는 디바이스이다. 디코더는 디코딩 프로세스들을 이용하여 디스플레이를 위해 비트스트림으로부터 비디오 데이터를 재구성하도록 구성되는 디바이스이다. 픽처는 프레임 또는 그 필드를 생성하는 루마 샘플들의 어레이 및/또는 크로마 샘플들의 어레이이다. 인코딩 또는 디코딩되고 있는 픽처는 논의의 명료성을 위해 현재 픽처로서 지칭될 수 있다. 코딩된 픽처는 AU(access unit) 내의 NAL nuh_layer_id(unit header layer identifier)의 특정한 값을 갖는 VCL(video coding layer) NAL(network abstraction layer) 유닛들을 포함하고 픽처의 모든 CTU(coding tree unit)을 포함하는 픽처의 코딩된 표현이다. 디코딩된 픽처는 코딩된 픽처에 디코딩 프로세스를 적용함으로써 생성된 픽처이다. NAL 유닛은 RBSP(Raw Byte Sequence Payload) 형태의 데이터 및 데이터 타입의 표시를 포함하고 원하는 바에 따라 에뮬레이션 방지 바이트가 산재되어 있는 신택스 구조이다. VCL NAL 유닛은, 픽처의 코딩된 슬라이스와 같은, 비디오 데이터를 포함하도록 코딩된 NAL 유닛이다. 비-VCL NAL 유닛은, 비디오 데이터의 디코딩, 적합성 검사의 수행, 또는 기타의 동작들을 지원하는 신택스 및/또는 파라미터들과 같은 비-비디오 데이터를 포함하는 NAL 유닛이다. 계층은, 계층 식별자(ID) 및 연관된 비-VCL NAL 유닛들에 의해 표시된 바와 같은 특정된 특성(예를 들어, 공통 해상도, 프레임 레이트, 이미지 크기 등)을 공유하는 VCL NAL 유닛들의 세트이다. NAL 유닛 헤더 계층 식별자(nuh_layer_id)는 NAL 유닛을 포함하는 계층의 식별자를 특정하는 신택스 요소이다. 비디오 파라미터 세트(VPS)는 전체 비디오에 관련된 파라미터들을 포함하는 데이터 유닛이다. 코딩된 비디오 시퀀스는 하나 이상의 코딩된 픽처의 세트이다. 디코딩된 비디오 시퀀스는 하나 이상의 코딩된 픽처의 세트이다.
출력 계층 세트(OLS)는, 하나 이상의 계층이 출력 계층(들)으로서 특정되는 계층들의 세트이다. 출력 계층은 (예를 들어, 디스플레이로의) 출력을 위해 지정되는 계층이다. OLS 인덱스는 대응하는 OLS를 고유하게 식별하는 인덱스이다. HRD(hypothetical reference decoder)는 특정된 제약조건들(specified constraints)과의 적합성을 검증하기 위해 인코딩 프로세스에 의해 생성된 비트스트림들의 가변성을 검사하는 인코더 상에서 동작하는 디코더 모델이다. 비트스트림 적합성 테스트는 인코딩된 비트스트림이, VVC(Versatile Video Coding)와 같은, 표준에 적합한지를 결정하는 테스트이다. HRD 파라미터들은 HRD의 동작 조건들을 초기화 및/또는 정의하는 신택스 요소들이다. HRD 파라미터들은 SEI(supplemental enhancement information) 메시지들에 포함될 수 있다. SEI 메시지는 디코딩된 픽처들 내의 샘플들의 값들을 결정하기 위해 디코딩 프로세스에 의해 필요하지 않은 정보를 전달하는 특정된 시맨틱스를 갖는 신택스 구조이다. 스케일러블 네스팅 SEI 메시지는 하나 이상의 OLS 또는 하나 이상의 계층에 대응하는 복수의 SEI 메시지를 포함하는 메시지이다. BP(buffering period) SEI 메시지는 CPB(coded picture buffer)를 관리하기 위해 HRD를 초기화하기 위한 HRD 파라미터들을 포함하는 SEI 메시지이다. PT(picture timing) SEI 메시지는 CPB 및/또는 DPB(decoded picture buffer)에서 AU들(access units)에 대한 전달 정보를 관리하기 위한 HRD 파라미터들을 포함하는 SEI 메시지이다. DUI(decoding unit information) SEI 메시지는 CPB 및/또는 DPB에서 DU들에 대한 전달 정보를 관리하기 위한 HRD 파라미터들을 포함하는 SEI 메시지이다.
스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 SEI 메시지들의 세트를 포함한다. 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 SEI 메시지 내부에 네스팅되는 SEI 메시지이다. 플래그는 2개의 가능한 값: 0 및 1 중 하나를 취할 수 있는 가변 또는 단일 비트 신택스 요소이다. 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하는 플래그이다. 스케일러블 네스팅 num_olss_minus1(number of OLSs minus one)은 스케일러블 네스팅 SEI 메시지들이 적용되는 OLS들의 수를 특정하는 신택스 요소이다. TotalNumOlss-1(total number of OLSs minus one)은 VPS에 특정된 OLS들의 총 수를 특정하는 신택스 요소이다. 스케일러블 네스팅 Ols_idx_delta_minus1[i](OLS delta minus one)은 네스팅 OLS 인덱스를 도출하기에 충분한 데이터를 포함하는 신택스 요소이다. NestingOlsIdx(nesting OLS index)는 스케일러블 네스팅 SEI 메시지들이 적용되는 OLS의 OLS 인덱스를 특정하는 신택스 요소이다. 스케일러블 네스팅 num_layers_minus1(number of layers minus one)은 스케일러블 네스팅 SEI 메시지들이 적용되는 계층들의 수를 특정하는 신택스 요소이다. 스케일러블 네스팅 layer_id[i](layer id)는 스케일러블 네스팅 SEI 메시지들이 적용되는 i번째 계층의 nuh_layer_id 값을 특정하는 신택스 요소이다.
다음의 두문자어들, AU(Access Unit), CTB(Coding Tree Block), CTU(Coding Tree Unit), CU(Coding Unit), CLVS(Coded Layer Video Sequence), CLVSS(Coded Layer Video Sequence Start), CVS(Coded Video Sequence), CVSS(Coded Video Sequence Start), JVET(Joint Video Experts Team), MCTS(Motion Constrained Tile Set), MTU(Maximum Transfer Unit), NAL(Network Abstraction Layer), OLS(Output Layer Set), POC(Picture Order Count), RAP(Random Access Point), RBSP(Raw Byte Sequence Payload), SPS(Sequence Parameter Set), VPS(Video Parameter Set), VVC(Versatile Video Coding)이 본 명세서에서 사용된다.
최소한의 데이터 손실로 비디오 파일의 크기를 감소시키기 위해 많은 비디오 압축 기법이 이용될 수 있다. 예를 들어, 비디오 압축 기법들은 비디오 시퀀스들에서 데이터 중복성을 감소시키거나 제거하기 위해 공간(예를 들어, 인트라 픽처) 예측 및/또는 시간(예를 들어, 인터 픽처) 예측을 수행하는 것을 포함할 수 있다. 블록-기반 비디오 코딩에 대해, 비디오 슬라이스(예를 들어, 비디오 픽처 또는 비디오 픽처의 일부)는 비디오 블록들로 파티셔닝될 수 있고, 이는 또한 트리블록들, CTB들(coding tree blocks), CTU들(coding tree units), CU들(coding units), 및/또는 코딩 노드들이라고 지칭될 수 있다. 픽처의 인트라-코딩된(I) 슬라이스에서의 비디오 블록들은 동일한 픽처에서의 이웃 블록들에서의 참조 샘플들에 대한 공간 예측을 사용하여 코딩될 수 있다. 픽처의 인터 코딩된 단방향 예측(P) 또는 양방향 예측(B) 슬라이스 내의 비디오 블록들은 동일한 픽처 내의 이웃 블록들 내의 참조 샘플들에 대한 공간 예측 또는 다른 참조 픽처들 내의 참조 샘플들에 대한 시간 예측을 이용하여 코딩될 수 있다. 픽처들은 프레임들 및/또는 이미지들이라고 지칭될 수 있고, 참조 픽처들은 참조 프레임들 및/또는 참조 이미지들이라고 지칭될 수 있다. 공간 또는 시간 예측은 이미지 블록을 표현하는 예측 블록을 야기한다. 잔차 데이터는 원래의 이미지 블록과 예측 블록 사이의 픽셀 차이들을 표현한다. 그에 따라, 인터 코딩된 블록은 코딩된 블록과 예측 블록 사이의 차이를 지시하는 잔차 데이터 및 예측 블록을 형성하는 참조 샘플들의 블록을 가리키는 모션 벡터에 따라 인코딩된다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환될 수 있다. 이들은, 양자화될 수 있는, 잔차 변환 계수들을 야기한다. 양자화된 변환 계수들은 초기에 2차원 어레이로 배열될 수 있다. 양자화 변환 계수들은 변환 계수들의 1차원 벡터를 생성하기 위해 스캐닝될 수 있다. 훨씬 더 많은 압축을 달성하기 위해 엔트로피 코딩이 적용될 수 있다. 그러한 비디오 압축 기법들은 아래에 더 상세히 논의된다.
인코딩된 비디오가 정확하게 디코딩될 수 있도록 보장하기 위해, 비디오는 대응하는 비디오 코딩 표준들에 따라 인코딩 및 디코딩된다. 비디오 코딩 표준들은 ITU(International Telecommunication Union) 표준화 섹터(ITU-T) H.261, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG(Motion Picture Experts Group)-1 Part 2, ITU-T H.262 또는 ISO/IEC MPEG-2 Part 2, ITU-T H.263, ISO/IEC MPEG-4 Part 2, ITU-T H.264 또는 ISO/IEC MPEG-4 Part 10으로도 알려진 AVC(Advanced Video Coding), 및 ITU-T H.265 또는 MPEG-H Part 2로도 알려진 HEVC(High Efficiency Video Coding)를 포함한다. AVC는 SVC(Scalable Video Coding), MVC(Multiview Video Coding) 및 MVC+D(Multiview Video Coding plus Depth), 및 3D-AVC(3D(three dimensional) AVC)와 같은 확장들을 포함한다. HEVC는 SHVC(Scalable HEVC), MV-HEVC(Multiview HEVC), 및 3D HEVC(3D-HEVC)와 같은 확장들을 포함한다. ITU-T 및 ISO/IEC의 JVET(joint video experts team)는 VVC(Versatile Video Coding)라고 지칭되는 비디오 코딩 표준을 개발하기 시작하였다. VVC는, JVET-O2001-v14를 포함하는, WD(Working Draft)에 포함된다.
일부 비디오 코딩 시스템들은 SEI(supplemental enhancement information) 메시지들을 이용한다. SEI 메시지는 디코딩된 픽처들 내의 샘플들의 값들을 결정하기 위해 디코딩 프로세스에 의해 필요하지 않은 정보를 포함한다. 예를 들어, SEI 메시지들은 표준들에 대한 적합성을 위해 비트스트림을 검사하는 데 사용되는 파라미터들을 포함할 수 있다. HRD(hypothetical reference decoder)는 표준 적합성에 대해 비트스트림을 검사하는 방법을 결정하기 위해 SEI 메시지들을 판독할 수 있다. 이러한 시스템들은 계층들에 관련된 데이터 및 계층들을 포함하는 OLS들(output layer sets)에 관련된 데이터에 대해 별도의 타입들의 SEI 메시지들을 이용할 수 있다. 이것은 복잡하고 중복적인 시스템을 야기할 수 있다.
계층들 또는 OLS들과 관련된 파라미터들을 포함하도록 구성된 스케일러블 네스팅 SEI 메시지가 본 명세서에 개시된다. 예를 들어, 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 OLS 플래그를 포함할 수 있으며, 이는 스케일러블 네스팅 SEI 메시지가 계층들에 관련된 파라미터들 또는 OLS들에 관련된 파라미터들을 포함하는지를 표시하도록 설정될 수 있다. 스케일러블 네스팅 SEI 메시지는 또한 계층들 또는 OLS들과 관련되는 하나 이상의 스케일러블 네스팅 SEI 메시지를 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, 하나 이상은, 하나 또는 복수의 이러한 아이템을 포함하는, 대응하는 아이템의 임의의 양수를 지시한다. 스케일러블 네스팅 SEI 메시지가 OLS들과 관련될 때, 스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 SEI 메시지와 연관된 OLS들의 수를 지시하고 OLS들을 스케일러블 네스팅 SEI 메시지들에 상관시키기 위한 OLS 인덱스들을 지시하는 플래그들을 포함한다. 스케일러블 네스팅 SEI 메시지가 계층들과 관련될 때, 스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 SEI 메시지와 연관된 계층들의 수를 지시하고 계층들을 스케일러블 네스팅 SEI 메시지들에 상관시키기 위한 계층 식별자들(ID들)을 지시하는 플래그들을 포함한다. 이러한 방식으로, SEI 메시지 타입들의 수가 감소될 수 있고, 이는 복잡도를 감소시키고 메시지 타입들의 총 수를 감소시킨다. 이것은 결국 메시지의 각각의 타입을 식별하는 데 사용되는 메시지 ID 데이터의 길이를 감소시킨다. 그 결과, 코딩 효율이 증가되고, 이는 인코더 및 디코더 둘 다에서 프로세서, 메모리, 및/또는 네트워크 시그널링 리소스 사용을 감소시킨다.
도 1은 비디오 신호를 코딩하는 예시적인 동작 방법(100)의 흐름도이다. 구체적으로, 비디오 신호는 인코더에서 인코딩된다. 인코딩 프로세스는 비디오 파일 크기를 감소시키기 위해 다양한 메커니즘을 이용하여 비디오 신호를 압축한다. 더 작은 파일 크기는 압축된 비디오 파일이 사용자를 향해 송신되는 것을 허용하면서, 연관된 대역폭 오버헤드를 감소시킨다. 디코더는 그 다음 압축된 비디오 파일을 디코딩하여 최종 사용자에게 디스플레이하기 위해 원래의 비디오 신호를 재구성한다. 디코딩 프로세스는 일반적으로 인코딩 프로세스를 미러링하여 디코더가 비디오 신호를 일관되게 재구성하는 것을 허용한다.
단계 101에서, 비디오 신호는 인코더에 입력된다. 예를 들어, 비디오 신호는 메모리에 저장된 압축되지 않은 비디오 파일일 수 있다. 다른 예로서, 비디오 파일은 비디오 카메라와 같은 비디오 캡처 디바이스에 의해 캡처되고, 비디오의 라이브 스트리밍을 지원하도록 인코딩될 수 있다. 비디오 파일은 오디오 컴포넌트 및 비디오 컴포넌트 둘 다를 포함할 수 있다. 비디오 컴포넌트는, 시퀀스로 볼 때, 모션의 시각적 인상을 제공하는 일련의 이미지 프레임들을 포함한다. 프레임들은 본 명세서에서 루마 컴포넌트들(또는 루마 샘플들)이라고 지칭되는 광, 및 크로마 컴포넌트들(또는 색 샘플들)이라고 지칭되는 색의 관점에서 표현되는 픽셀들을 포함한다. 일부 예들에서, 프레임들은 3차원 보기를 지원하기 위한 깊이 값들을 또한 포함할 수 있다.
단계 103에서, 비디오는 블록들로 파티셔닝된다. 파티셔닝은 각각의 프레임 내의 픽셀들을 압축을 위해 정사각형 및/또는 직사각형 블록들로 세분하는 것을 포함한다. 예를 들어, HEVC(High Efficiency Video Coding)(H.265 및 MPEG-H Part 2라고 또한 알려짐)에서, 프레임은, 미리 정의된 크기(예를 들어, 64 픽셀 x 64 픽셀)의 블록들인, CTU들(coding tree units)로 먼저 분할될 수 있다. CTU들은 루마 및 크로마 샘플들 둘 다를 포함한다. 예를 들어, 추가 인코딩을 지원하는 구성들이 달성될 때까지 CTU들을 블록들로 분할한 다음 블록들을 반복적으로 세분하기 위해 코딩 트리들이 이용될 수 있다. 예를 들어, 프레임의 루마 컴포넌트들은 개별 블록들이 비교적 균일한 조명 값들을 포함할 때까지 세분될 수 있다. 또한, 프레임의 크로마 컴포넌트들은 개별 블록들이 비교적 균일한 색 값들을 포함할 때까지 세분될 수 있다. 그에 따라, 파티셔닝 메커니즘들은 비디오 프레임들의 콘텐츠에 의존하여 달라진다.
단계 105에서, 단계 103에서 파티셔닝된 이미지 블록들을 압축하기 위해 다양한 압축 메커니즘들이 이용된다. 예를 들어, 인터 예측 및/또는 인트라 예측이 이용될 수 있다. 인터 예측은 공통 장면 내의 객체들이 연속적인 프레임들에 등장하는 경향이 있다는 사실을 이용하도록 설계된다. 그에 따라, 참조 프레임 내의 객체를 묘사하는 블록은 인접 프레임들에서 반복적으로 기술될 필요가 없다. 구체적으로, 테이블과 같은 객체는 다수의 프레임에 걸쳐 일정한 포지션에 남아 있을 수 있다. 따라서, 테이블은 한 번 기술되고 인접 프레임들은 참조 프레임을 다시 참조할 수 있다. 다수의 프레임에 걸쳐 객체들을 매칭시키기 위해 패턴 매칭 메커니즘들이 이용될 수 있다. 또한, 예를 들어, 객체 이동 또는 카메라 이동으로 인해 다수의 프레임에 걸쳐 이동하는 객체들이 표현될 수 있다. 특정한 예로서, 비디오는 다수의 프레임에 걸쳐 스크린을 가로질러 이동하는 자동차를 보여줄 수 있다. 모션 벡터는 이러한 이동을 기술하기 위해 이용될 수 있다. 모션 벡터는 프레임 내의 객체의 좌표들로부터 참조 프레임 내의 객체의 좌표들까지 오프셋을 제공하는 2차원 벡터이다. 그에 따라, 인터 예측은 참조 프레임 내의 대응하는 블록으로부터의 오프셋을 지시하는 모션 벡터들의 세트로서 현재 프레임 내의 이미지 블록을 인코딩할 수 있다.
인트라 예측은 공통 프레임 내의 블록들을 인코딩한다. 인트라 예측은 루마 및 크로마 컴포넌트들이 프레임에서 클러스터링하는 경향이 있다는 사실을 이용한다. 예를 들어, 트리의 일부에서 녹색의 패치(patch)는 녹색의 유사한 패치들에 인접하여 포지셔닝되는 경향이 있다. 인트라 예측은 다수의 방향 예측 모드(예를 들어, HEVC에서 33), 평면 모드, 및 DC(direct current) 모드를 이용한다. 방향 모드들은 현재 블록이 대응하는 방향으로 이웃 블록의 샘플들과 유사/동일하다는 것을 지시한다. 평면 모드는 행/열(예를 들어, 평면)을 따른 일련의 블록들이 행의 에지들에서의 이웃 블록들에 기초하여 보간될 수 있다는 것을 지시한다. 평면 모드는, 사실상, 값들을 변경함에 있어서 비교적 일정한 기울기를 이용하여 행/열에 걸친 광/색의 평활한 전이를 지시한다. DC 모드는 경계 평활화(boundary smoothing)를 위해 이용되고, 블록이 방향 예측 모드들의 각도 방향들과 연관된 모든 이웃 블록들의 샘플들과 연관된 평균 값과 유사/동일하다는 것을 지시한다. 그에 따라, 인트라 예측 블록들은 실제 값들 대신에 다양한 관계 예측 모드 값으로서 이미지 블록들을 표현할 수 있다. 또한, 인터 예측 블록들은 실제 값들 대신에 모션 벡터 값들로서 이미지 블록들을 표현할 수 있다. 어느 경우든, 예측 블록들은 일부 경우에서 이미지 블록들을 정확하게 표현하지 않을 수 있다. 임의의 차이들이 잔차 블록들에 저장된다. 파일을 추가로 압축하기 위해 잔차 블록들에 변환들이 적용될 수 있다.
단계 107에서, 다양한 필터링 기법이 적용될 수 있다. HEVC에서, 필터들은 인루프 필터링 스킴(in-loop filtering scheme)에 따라 적용된다. 위에 논의된 블록 기반 예측은 디코더에서 농담이 고르지 않은 이미지들(blocky images)의 생성을 야기할 수 있다. 또한, 블록 기반 예측 스킴은 블록을 인코딩한 다음 인코딩된 블록을 참조 블록으로서의 나중의 사용을 위해 재구성할 수 있다. 인루프 필터링 스킴은 블록들/프레임들에 잡음 억제 필터들, 디블로킹 필터들, 적응 루프 필터들, 및 SAO(sample adaptive offset) 필터들을 반복적으로 적용한다. 이들 필터는 그러한 블로킹 아티팩트들을 완화시켜 인코딩된 파일이 정확하게 재구성될 수 있도록 한다. 또한, 이들 필터는 재구성된 참조 블록들에서 아티팩트들을 완화시켜 아티팩트들이 재구성된 참조 블록들에 기초하여 인코딩되는 후속 블록들에서 추가적인 아티팩트들을 생성할 가능성이 더 적도록 한다.
일단 비디오 신호가 파티셔닝, 압축, 및 필터링되었다면, 결과 데이터는 단계 109에서 비트스트림으로 인코딩된다. 비트스트림은 위에서 논의된 데이터뿐만 아니라 디코더에서 적당한 비디오 신호 재구성을 지원하기 위해 요구되는 임의의 시그널링 데이터를 포함한다. 예를 들어, 이러한 데이터는 파티션 데이터(partition data), 예측 데이터, 잔차 블록들, 및 디코더에 코딩 명령어들을 제공하는 다양한 플래그들을 포함할 수 있다. 비트스트림은 요청 시에 디코더를 향한 송신을 위해 메모리에 저장될 수 있다. 비트스트림은 또한 복수의 디코더를 향해 브로드캐스트 및/또는 멀티캐스트될 수 있다. 비트스트림의 생성은 반복적 프로세스이다. 그에 따라, 단계들 101, 103, 105, 107 및 109은 많은 프레임 및 블록에 걸쳐 연속적으로 및/또는 동시에 발생할 수 있다. 도 1에 도시된 순서는 논의의 명료성 및 편의를 위해 제시된 것이고, 비디오 코딩 프로세스를 특정한 순서로 제한하도록 의도되는 것은 아니다.
디코더는 비트스트림을 수신하고 단계 111에서 디코딩 프로세스를 시작한다. 구체적으로, 디코더는 엔트로피 디코딩 스킴을 이용하여 비트스트림을 대응하는 신택스 및 비디오 데이터로 전환(convert)한다. 디코더는 단계 111에서 비트스트림으로부터의 신택스 데이터를 이용하여 프레임들에 대한 파티션들을 결정한다. 단계 103에서 파티셔닝은 블록 파티셔닝의 결과들과 매칭되어야 한다. 이제, 단계 111에서 이용되는 바와 같은 엔트로피 인코딩/디코딩이 설명된다. 인코더는 압축 프로세스 동안, 입력 이미지(들)에서의 값들의 공간 포지셔닝에 기초하여 여러 가능한 선택으로부터 블록 파티셔닝 스킴들을 선택하는 것과 같은, 많은 선택을 행한다. 정확한 선택들을 시그널링하는 것은 많은 수의 빈(bin)을 이용할 수 있다. 본 명세서에서 사용되는 바와 같이, 빈은 변수로서 취급되는 이진 값(예를 들어, 컨텍스트에 의존하여 달라질 수 있는 비트 값)이다. 엔트로피 코딩은 인코더로 하여금 특정한 경우에 대해 명확하게 실행가능하지 않은 임의의 옵션들을 폐기하도록 허용하여, 허용가능 옵션들의 세트를 남긴다. 그 다음 각각의 허용가능 옵션에는 코드 워드가 할당된다. 코드 워드들의 길이는 허용가능 옵션들의 수에 기초한다(예를 들어, 2개의 옵션에 대해 하나의 빈, 3개 내지 4개의 옵션에 대해 2개의 빈 등). 그 다음 인코더는 선택된 옵션에 대해 코드 워드를 인코딩한다. 이 스킴은 코드 워드들의 크기를 감소시키는데, 그 이유는 코드 워드들이, 모든 가능한 옵션의 잠재적으로 큰 세트로부터의 선택을 고유하게 지시하는 것과는 대조적으로 허용가능 옵션들의 작은 서브세트로부터의 선택을 고유하게 지시하는 데 원하는 만큼 크기 때문이다. 그 다음 디코더는 인코더와 유사한 방식으로 허용가능 옵션들의 세트를 결정함으로써 선택을 디코딩한다. 허용가능 옵션들의 세트를 결정함으로써, 디코더는 코드 워드를 판독하고 인코더에 의해 행해진 선택을 결정할 수 있다.
단계 113에서, 디코더는 블록 디코딩을 수행한다. 구체적으로, 디코더는 잔차 블록들을 생성하기 위해 역 변환들을 이용한다. 그 다음 디코더는 잔차 블록들 및 대응하는 예측 블록들을 이용하여 파티셔닝에 따라 이미지 블록들을 재구성한다. 예측 블록들은 단계 105에서 인코더에서 생성된 바와 같은 인트라 예측 블록들 및 인터 예측 블록들 둘 다를 포함할 수 있다. 그 다음 재구성된 이미지 블록들은 단계 111에서 결정된 파티셔닝 데이터에 따라 재구성된 비디오 신호의 프레임들 내에 포지셔닝된다. 단계 113에 대한 신택스는 또한 위에서 논의된 바와 같이 엔트로피 코딩을 통해 비트스트림에서 시그널링될 수 있다.
단계 115에서, 인코더에서의 단계 107과 유사한 방식으로 재구성된 비디오 신호의 프레임들에 대해 필터링이 수행된다. 예를 들어, 블로킹 아티팩트들을 제거하기 위해 프레임들에 대해 잡음 억제 필터들, 디블로킹 필터들, 적응 루프 필터들, 및 SAO 필터들이 적용될 수 있다. 일단 프레임들이 필터링되면, 최종 사용자에 의한 보기를 위해 단계 117에서 비디오 신호가 디스플레이에 출력될 수 있다.
도 2는 비디오 코딩을 위한 예시적인 코덱(codec(coding and decoding)) 시스템(200)의 개략도이다. 구체적으로, 코덱 시스템(200)은 동작 방법(100)의 구현을 지원하기 위한 기능성을 제공한다. 코덱 시스템(200)은 인코더 및 디코더 둘 다에서 이용되는 컴포넌트들을 묘사하기 위해 일반화된다. 코덱 시스템(200)은 동작 방법(100)에서의 단계들 101 및 103에 대하여 논의된 바와 같이 비디오 신호를 수신하여 파티셔닝하고, 이는 파티셔닝된 비디오 신호(201)를 야기한다. 그 다음 코덱 시스템(200)은 방법(100)에서의 단계들 105, 107, 및 109에 대하여 논의된 바와 같이 인코더로서의 역할을 할 때 파티셔닝된 비디오 신호(201)를 코딩된 비트스트림으로 압축한다. 디코더로서의 역할을 할 때, 코덱 시스템(200)은 동작 방법(100)에서의 단계들 111, 113, 115, 및 117에 대하여 논의된 바와 같이 비트스트림으로부터 출력 비디오 신호를 생성한다. 코덱 시스템(200)은 일반 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 픽처 추정 컴포넌트(215), 인트라 픽처 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 모션 추정 컴포넌트(221), 스케일링 및 역 변환 컴포넌트(229), 필터 제어 분석 컴포넌트(227), 인루프 필터 컴포넌트(225), 디코딩된 픽처 버퍼 컴포넌트(223), 및 헤더 포맷팅 및 CABAC(context adaptive binary arithmetic coding) 컴포넌트(231)를 포함한다. 그러한 컴포넌트들은 도시된 바와 같이 결합된다. 도 2에서, 검은 선들은 인코딩/디코딩될 데이터의 이동을 지시하는 반면, 파선들은 다른 컴포넌트들의 동작을 제어하는 제어 데이터의 이동을 지시한다. 코덱 시스템(200)의 컴포넌트들은 모두 인코더에 존재할 수 있다. 디코더는 코덱 시스템(200)의 컴포넌트들의 서브세트를 포함할 수 있다. 예를 들어, 디코더는 인트라 픽처 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 스케일링 및 역 변환 컴포넌트(229), 인루프 필터 컴포넌트(225), 및 디코딩된 픽처 버퍼 컴포넌트(223)를 포함할 수 있다. 이제, 이들 컴포넌트가 설명된다.
파티셔닝된 비디오 신호(201)는 코딩 트리에 의해 픽셀들의 블록들로 파티셔닝된 캡처된 비디오 시퀀스이다. 코딩 트리는 다양한 스플릿(split) 모드를 이용하여 픽셀들의 블록을 픽셀들의 더 작은 블록들로 세분한다. 그 다음 이들 블록은 더 작은 블록들로 추가로 세분될 수 있다. 블록들은 코딩 트리 상의 노드들이라고 지칭될 수 있다. 더 큰 부모 노드들은 더 작은 자식 노드들로 스플릿된다. 노드가 세분되는 횟수는 노드/코딩 트리의 깊이라고 지칭된다. 분할된 블록들은 일부 경우들에서 CU들(coding units)에 포함될 수 있다. 예를 들어, CU는 CU에 대한 대응하는 신택스 명령어들과 함께 루마 블록, 적색 차이 크로마(Cr) 블록(들), 및 청색 차이 크로마(Cb) 블록(들)을 포함하는 CTU의 서브-부분일 수 있다. 스플릿 모드들은 노드를 이용되는 스플릿 모드들에 의존하여 변하는 형상들의 2개, 3개, 또는 4개의 자식 노드로 각각 파티셔닝하기 위해 이용되는 이진 트리(binary tree, BT), 트리플 트리(triple tree, TT), 및 쿼드 트리(quad tree, QT)를 포함할 수 있다. 파티셔닝된 비디오 신호(201)는 압축을 위해 일반 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 픽처 추정 컴포넌트(215), 필터 제어 분석 컴포넌트(227), 및 모션 추정 컴포넌트(221)로 포워딩된다.
일반 코더 제어 컴포넌트(211)는 애플리케이션 제약조건들에 따라 비디오 시퀀스의 이미지들의 비트스트림으로의 코딩에 관련된 결정들을 하도록 구성된다. 예를 들어, 일반 코더 제어 컴포넌트(211)는 비트레이트/비트스트림 크기 대 재구성 품질의 최적화를 관리한다. 그러한 결정들은 저장 공간/대역폭 이용가능성 및 이미지 해상도 요청들에 기초하여 행해질 수 있다. 일반 코더 제어 컴포넌트(211)는 또한 버퍼 언더런(underrun) 및 오버런(overrun) 쟁점들을 완화하기 위해 송신 속도에 비추어 버퍼 활용을 관리한다. 이들 쟁점을 관리하기 위해, 일반 코더 제어 컴포넌트(211)는 다른 컴포넌트들에 의한 파티셔닝, 예측, 및 필터링을 관리한다. 예를 들어, 일반 코더 제어 컴포넌트(211)는 동적으로 압축 복잡도를 증가시켜 해상도를 증가시키고 대역폭 사용을 증가시키거나 압축 복잡도를 감소시켜 해상도 및 대역폭 사용을 감소시킬 수 있다. 따라서, 일반 코더 제어 컴포넌트(211)는 코덱 시스템(200)의 다른 컴포넌트들을 제어하여 비디오 신호 재구성 품질과 비트 레이트 관심사들의 균형을 잡는다. 일반 코더 제어 컴포넌트(211)는, 다른 컴포넌트들의 동작을 제어하는, 제어 데이터를 생성한다. 제어 데이터는 또한 디코더에서 디코딩하기 위한 파라미터들을 시그널링하기 위해 비트스트림으로 인코딩되도록 헤더 포맷팅 및 CABAC 컴포넌트(231)에 포워딩된다.
파티셔닝된 비디오 신호(201)는 또한 인터 예측을 위해 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)에 전송된다. 파티셔닝된 비디오 신호(201)의 프레임 또는 슬라이스는 다수의 비디오 블록으로 분할될 수 있다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 시간 예측을 제공하기 위해 하나 이상의 참조 프레임 내의 하나 이상의 블록에 대한 수신된 비디오 블록의 인터 예측 코딩을 수행한다. 코덱 시스템(200)은, 예를 들어, 비디오 데이터의 각각의 블록에 대해 적절한 코딩 모드를 선택하기 위해 다수의 코딩 패스를 수행할 수 있다.
모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 예시되어 있다. 모션 추정 컴포넌트(221)에 의해 수행되는 모션 추정은 비디오 블록들에 대한 모션을 추정하는 모션 벡터들을 생성하는 프로세스이다. 모션 벡터는, 예를 들어, 예측 블록에 대한 코딩된 객체의 변위를 지시할 수 있다. 예측 블록은, 픽셀 차이의 관점에서, 코딩될 블록과 가깝게 매칭되는 것으로 발견되는 블록이다. 예측 블록은 참조 블록이라고도 지칭될 수 있다. 그러한 픽셀 차이는 SAD(sum of absolute difference), SSD(sum of square difference), 또는 다른 차이 메트릭들에 의해 결정될 수 있다. HEVC는 CTU, CTB들(coding tree blocks), 및 CU들을 포함하는 몇몇 코딩된 객체를 이용한다. 예를 들어, CTU는 CTB들로 분할될 수 있고, 이것은 그 다음에 CU들에 포함되기 위해 CB들로 분할될 수 있다. CU는 예측 데이터를 포함하는 PU(prediction unit) 및/또는 CU에 대한 변환된 잔차 데이터를 포함하는 TU(transform unit)으로서 인코딩될 수 있다. 모션 추정 컴포넌트(221)는 레이트 왜곡 최적화 프로세스의 일부로서 레이트 왜곡 분석을 사용함으로써 모션 벡터들, PU들, 및 TU들을 생성한다. 예를 들어, 모션 추정 컴포넌트(221)는 현재 블록/프레임에 대한 다수의 참조 블록, 다수의 모션 벡터 등을 결정할 수 있고, 최상의 레이트 왜곡 특성들을 갖는 참조 블록들, 모션 벡터들 등을 선택할 수 있다. 최상의 레이트 왜곡 특성들은 비디오 재구성의 품질(예를 들어, 압축에 의한 데이터 손실의 양)과 코딩 효율(예를 들어, 최종 인코딩의 크기) 둘 다의 균형을 이룬다.
일부 예들에서, 코덱 시스템(200)은 디코딩된 픽처 버퍼 컴포넌트(223)에 저장된 참조 픽처들의 정수-미만 픽셀 포지션들(sub-integer pixel positions)에 대한 값들을 계산할 수 있다. 예를 들어, 비디오 코덱 시스템(200)은 참조 픽처의 1/4 픽셀 포지션들, 1/8 픽셀 포지션들, 또는 다른 분수 픽셀 포지션들의 값들을 보간할 수 있다. 그러므로, 모션 추정 컴포넌트(221)는 전체 픽셀 포지션들 및 분수 픽셀 포지션들에 대해 모션 검색을 수행하고 분수 픽셀 정밀도를 갖는 모션 벡터를 출력할 수 있다. 모션 추정 컴포넌트(221)는 PU의 포지션을 참조 픽처의 예측 블록의 포지션과 비교함으로써 인터 코딩된 슬라이스에서 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 모션 추정 컴포넌트(221)는 계산된 모션 벡터를 모션 데이터로서 인코딩을 위해 헤더 포맷팅 및 CABAC 컴포넌트(231)에 출력하고 모션을 모션 보상 컴포넌트(219)에 출력한다.
모션 보상 컴포넌트(219)에 의해 수행되는 모션 보상은 모션 추정 컴포넌트(221)에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치하는 것 또는 생성하는 것을 수반할 수 있다. 다시, 일부 예에서, 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 기능적으로 통합될 수 있다. 현재 비디오 블록의 PU에 대한 모션 벡터의 수신 시에, 모션 보상 컴포넌트(219)는 모션 벡터가 가리키는 예측 블록의 위치를 찾을 수 있다. 그 다음 코딩되고 있는 현재 비디오 블록의 픽셀 값들로부터 예측 블록의 픽셀 값들을 감산하여, 픽셀 차이 값들을 형성함으로써 잔차 비디오 블록이 형성된다. 일반적으로, 모션 추정 컴포넌트(221)는 루마 컴포넌트들에 대해 모션 추정을 수행하고, 모션 보상 컴포넌트(219)는 크로마 컴포넌트들 및 루마 컴포넌트들 둘 다에 대해 루마 컴포넌트들에 기초하여 계산된 모션 벡터들을 사용한다. 예측 블록 및 잔차 블록은 변환 스케일링 및 양자화 컴포넌트(213)에 포워딩된다.
파티셔닝된 비디오 신호(201)는 또한 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)에 전송된다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 마찬가지로, 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 예시된다. 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는, 위에 설명된 바와 같이, 프레임들 간에 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)에 의해 수행되는 인터 예측에 대한 대안으로서, 현재 프레임 내의 블록들에 대해 현재 블록을 인트라 예측한다. 특히, 인트라 픽처 추정 컴포넌트(215)는 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정한다. 일부 예들에서, 인트라 픽처 추정 컴포넌트(215)는 다수의 테스트된 인트라 예측 모드로부터 현재 블록을 인코딩할 적절한 인트라 예측 모드를 선택한다. 선택된 인트라 예측 모드들은 그 다음에 인코딩을 위해 헤더 포맷팅 및 CABAC 컴포넌트(231)로 포워딩된다.
예를 들어, 인트라 픽처 추정 컴포넌트(215)는 다양한 테스트된 인트라 예측 모드들에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중에서 최상의 레이트 왜곡 특성들을 갖는 인트라 예측 모드를 선택한다. 레이트 왜곡 분석은 일반적으로 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩된 원래의 인코딩되지 않은 블록 사이의 왜곡(또는 오류)의 양뿐만 아니라, 인코딩된 블록을 생성하기 위해 사용되는 비트레이트(예를 들어, 비트 수)를 결정한다. 인트라 픽처 추정 컴포넌트(215)는 어느 인트라 예측 모드가 블록에 대한 최상의 레이트 왜곡 값을 드러내는지를 결정하기 위해 다양한 인코딩된 블록들에 대한 레이트들 및 왜곡들로부터의 비율들을 계산한다. 또한, 인트라 픽처 추정 컴포넌트(215)는 RDO(rate-distortion optimization)에 기초하여 DMM(depth modeling mode)를 사용하여 깊이 맵의 깊이 블록들을 코딩하도록 구성될 수 있다.
인트라 픽처 예측 컴포넌트(217)는, 인코더 상에서 구현될 때 인트라 픽처 추정 컴포넌트(215)에 의해 결정된 선택된 인트라 예측 모드들에 기초하여 예측 블록으로부터 잔차 블록을 생성하거나 또는 디코더 상에서 구현될 때 비트스트림으로부터 잔차 블록을 판독할 수 있다. 잔차 블록은, 행렬로서 표현되는, 예측 블록과 원래의 블록 사이의 값들의 차이를 포함한다. 잔차 블록은 그 다음에 변환 스케일링 및 양자화 컴포넌트(213)로 포워딩된다. 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 루마 및 크로마 컴포넌트들 둘 다에 대해 동작할 수 있다.
변환 스케일링 및 양자화 컴포넌트(213)는 잔차 블록을 추가로 압축하도록 구성된다. 변환 스케일링 및 양자화 컴포넌트(213)는 DCT(discrete cosine transform), DST(discrete sine transform), 또는 개념적으로 유사한 변환과 같은 변환을 잔차 블록에 적용하여, 잔차 변환 계수 값들을 포함하는 비디오 블록을 생성한다. 웨이블렛 변환들, 정수 변환들, 부대역(sub-band) 변환들 또는 다른 타입들의 변환들 또한 사용될 수 있다. 변환은 잔차 정보를 픽셀 값 도메인으로부터 변환 도메인, 예컨대 주파수 도메인으로 전환할 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한, 예를 들어, 주파수에 기초하여 변환된 잔차 정보를 스케일링하도록 구성된다. 그러한 스케일링은 상이한 주파수 정보가 상이한 세분성(granularity)들로 양자화되도록 스케일 인자를 잔차 정보에 적용하는 것을 수반하고, 이는 재구성된 비디오의 최종 시각적 품질에 영향을 미칠 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한 비트 레이트를 추가로 감소시키기 위해 변환 계수들을 양자화하도록 구성된다. 양자화 프로세스는 계수들 중 일부 또는 전부와 연관된 비트 심도를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조절함으로써 수정될 수도 있다. 일부 예들에서, 변환 스케일링 및 양자화 컴포넌트(213)는 그 다음에 양자화된 변환 계수들을 포함하는 행렬의 스캔을 수행할 수 있다. 양자화된 변환 계수들은 비트스트림에 인코딩되기 위해 헤더 포맷팅 및 CABAC 컴포넌트(231)로 포워딩된다.
스케일링 및 역 변환 컴포넌트(229)는 모션 추정을 지원하기 위해 변환 스케일링 및 양자화 컴포넌트(213)의 역 동작을 적용한다. 스케일링 및 역 변환 컴포넌트(229)는, 예를 들어, 또 다른 현재 블록에 대한 예측 블록이 될 수 있는 참조 블록으로서의 나중의 사용을 위해, 픽셀 도메인에서의 잔차 블록을 재구성하기 위해 역 스케일링, 변환, 및/또는 양자화를 적용한다. 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)는 나중의 블록/프레임의 모션 추정에서의 사용을 위해 대응하는 예측 블록에 잔차 블록을 다시 더함으로써 참조 블록을 계산할 수 있다. 스케일링, 양자화, 및 변환 동안 생성된 아티팩트들을 완화시키기 위해 재구성된 참조 블록들에 필터들이 적용된다. 그렇지 않으면, 그러한 아티팩트들은 후속 블록들이 예측될 때 부정확한 예측을 야기할 수 있다(그리고 추가적인 아티팩트들을 생성할 수 있다).
필터 제어 분석 컴포넌트(227) 및 인루프 필터 컴포넌트(225)는 필터들을 잔차 블록들 및/또는 재구성된 이미지 블록들에 적용한다. 예를 들어, 스케일링 및 역 변환 컴포넌트(229)로부터의 변환된 잔차 블록은 인트라 픽처 예측 컴포넌트(217) 및/또는 모션 보상 컴포넌트(219)로부터의 대응하는 예측 블록과 조합되어 원래의 이미지 블록을 재구성할 수 있다. 그 다음에 필터들은 재구성된 이미지 블록에 적용될 수 있다. 일부 예에서, 필터들은 대신에 잔차 블록들에 적용될 수 있다. 도 2의 다른 컴포넌트들과 마찬가지로, 필터 제어 분석 컴포넌트(227) 및 인루프 필터 컴포넌트(225)는 고도로 통합되고 함께 구현될 수 있지만, 개념적 목적을 위해 별도로 묘사된다. 재구성된 참조 블록들에 적용되는 필터들은 특정한 공간 영역들에 적용되고, 그러한 필터들이 적용되는 방법을 조정하기 위한 다수의 파라미터를 포함한다. 필터 제어 분석 컴포넌트(227)는 재구성된 참조 블록들을 분석하여 그러한 필터들이 어디에 적용되어야 하는지를 결정하고 대응하는 파라미터들을 설정한다. 그러한 데이터는 인코딩을 위한 필터 제어 데이터로서 헤더 포맷팅 및 CABAC 컴포넌트(231)로 포워딩된다. 인루프 필터들 컴포넌트(225)는 필터 제어 데이터에 기초하여 그러한 필터들을 적용한다. 필터들은 디블로킹 필터, 잡음 억제 필터, SAO 필터, 및 적응 루프 필터를 포함할 수 있다. 그러한 필터들은, 예에 의존하여, 공간/픽셀 도메인에서(예를 들어, 재구성된 픽셀 블록에 대해) 또는 주파수 도메인에서 적용될 수 있다.
인코더로서 동작할 때, 필터링된 재구성된 이미지 블록, 잔차 블록, 및/또는 예측 블록은 위에서 논의된 바와 같이 모션 추정에서 나중의 사용을 위해 디코딩된 픽처 버퍼 컴포넌트(223)에 저장된다. 디코더로서 동작할 때, 디코딩된 픽처 버퍼 컴포넌트(223)는 재구성되고 필터링된 블록들을 저장하고 출력 비디오 신호의 일부로서 디스플레이를 향해 포워딩한다. 디코딩된 픽처 버퍼 컴포넌트(223)는 예측 블록들, 잔차 블록들, 및/또는 재구성 이미지 블록을 저장할 수 있는 임의의 메모리 디바이스일 수 있다.
헤더 포맷팅 및 CABAC 컴포넌트(231)는 코덱 시스템(200)의 다양한 컴포넌트들로부터 데이터를 수신하고 그러한 데이터를 디코더를 향한 송신을 위한 코딩된 비트스트림 내로 인코딩한다. 구체적으로, 헤더 포맷팅 및 CABAC 컴포넌트(231)는 일반 제어 데이터 및 필터 제어 데이터와 같은 제어 데이터를 인코딩하기 위한 다양한 헤더들을 생성한다. 또한, 인트라 예측 및 모션 데이터를 포함하는 예측 데이터뿐만 아니라, 양자화된 변환 계수 데이터의 형식의 잔차 데이터가 모두 비트스트림에 인코딩된다. 최종 비트스트림은 원래의 파티셔닝된 비디오 신호(201)를 재구성하기 위해 디코더에 의해 요구되는 모든 정보를 포함한다. 그러한 정보는 인트라 예측 모드 인덱스 테이블들(코드워드 맵핑 테이블들이라고도 지칭됨), 다양한 블록들에 대한 인코딩 컨텍스트들의 정의들, 가장 가능성 있는 인트라 예측 모드들의 지시들, 파티션 정보의 지시 등을 또한 포함할 수 있다. 그러한 데이터는 엔트로피 코딩을 이용하여 인코딩될 수 있다. 예를 들어, 정보는 CAVLC(context adaptive variable length coding), CABAC, SBAC(syntax-based context-adaptive binary arithmetic coding), PIPE(probability interval partitioning entropy) 코딩, 또는 다른 엔트로피 코딩 기법을 이용하여 인코딩될 수 있다. 엔트로피 코딩에 이어서, 코딩된 비트스트림은 다른 디바이스(예를 들어, 비디오 디코더)로 송신되거나 나중의 송신 또는 검색을 위해 보관될 수 있다.
도 3은 예시적인 비디오 인코더(300)를 예시하는 블록도이다. 비디오 인코더(300)는 코덱 시스템(200)의 인코딩 기능들을 구현하고/하거나 동작 방법(100)의 단계들 101, 103, 105, 107, 및/또는 109를 구현하기 위해 이용될 수 있다. 인코더(300)는 입력 비디오 신호를 파티셔닝하여, 파티셔닝된 비디오 신호(301)를 야기하고, 이는 파티셔닝된 비디오 신호(201)와 실질적으로 유사하다. 파티셔닝된 비디오 신호(301)는 그 다음에 압축되고 인코더(300)의 컴포넌트들에 의해 비트스트림 내로 인코딩된다.
구체적으로, 파티셔닝된 비디오 신호(301)는 인트라 예측을 위해 인트라 픽처 예측 컴포넌트(317)로 포워딩된다. 인트라 픽처 예측 컴포넌트(317)는 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)와 실질적으로 유사할 수 있다. 파티셔닝된 비디오 신호(301)는 또한 디코딩된 픽처 버퍼 컴포넌트(323) 내의 참조 블록들에 기초하여 인터 예측을 위해 모션 보상 컴포넌트(321)로 포워딩된다. 모션 보상 컴포넌트(321)는 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 실질적으로 유사할 수 있다. 인트라 픽처 예측 컴포넌트(317) 및 모션 보상 컴포넌트(321)로부터의 예측 블록들 및 잔차 블록들은 잔차 블록들의 변환 및 양자화를 위해 변환 및 양자화 컴포넌트(313)로 포워딩된다. 변환 및 양자화 컴포넌트(313)는 변환 스케일링 및 양자화 컴포넌트(213)와 실질적으로 유사할 수 있다. 변환되고 양자화된 잔차 블록들 및 대응하는 예측 블록들은 (연관된 제어 데이터와 함께) 비트스트림 내로 코딩을 위해 엔트로피 코딩 컴포넌트(331)로 포워딩된다. 엔트로피 코딩 컴포넌트(331)는 헤더 포맷팅 및 CABAC 컴포넌트(231)와 실질적으로 유사할 수 있다.
변환되고 양자화된 잔차 블록들 및/또는 대응하는 예측 블록들은 또한 모션 보상 컴포넌트(321)에 의한 사용을 위한 참조 블록들로의 재구성을 위해 변환 및 양자화 컴포넌트(313)로부터 역 변환 및 양자화 컴포넌트(329)로 포워딩된다. 역 변환 및 양자화 컴포넌트(329)는 스케일링 및 역 변환 컴포넌트(229)와 실질적으로 유사할 수 있다. 인루프 필터 컴포넌트(325)에서의 인루프 필터들은 또한 예에 의존하여 잔차 블록들 및/또는 재구성된 참조 블록들에 적용된다. 인루프 필터 컴포넌트(325)는 필터 제어 분석 컴포넌트(227) 및 인루프 필터 컴포넌트(225)와 실질적으로 유사할 수 있다. 인루프 필터 컴포넌트(325)는 인루프 필터 컴포넌트(225)에 대하여 논의된 바와 같은 다수의 필터를 포함할 수 있다. 그 다음에 필터링된 블록들은 모션 보상 컴포넌트(321)에 의한 참조 블록들로서의 사용을 위해 디코딩된 픽처 버퍼 컴포넌트(323)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(323)는 디코딩된 픽처 버퍼 컴포넌트(223)와 실질적으로 유사할 수 있다.
도 4는 예시적인 비디오 디코더(400)를 예시하는 블록도이다. 비디오 디코더(400)는 코덱 시스템(200)의 디코딩 기능들을 구현하고/하거나 동작 방법(100)의 단계들 111, 113, 115, 및/또는 117을 구현하기 위해 이용될 수 있다. 디코더(400)는 예를 들어, 인코더(300)로부터 비트스트림을 수신하고, 최종 사용자에게 디스플레이하기 위해 비트스트림에 기초한 재구성된 출력 비디오 신호를 생성한다.
비트스트림은 엔트로피 디코딩 컴포넌트(433)에 의해 수신된다. 엔트로피 디코딩 컴포넌트(433)는 CAVLC, CABAC, SBAC, PIPE 코딩, 또는 다른 엔트로피 코딩 기법들과 같은 엔트로피 디코딩 스킴을 구현하도록 구성된다. 예를 들어, 엔트로피 디코딩 컴포넌트(433)는 헤더 정보를 이용하여 비트스트림에서의 코드 워드들로서 인코딩된 추가적인 데이터를 해석하기 위한 컨텍스트를 제공할 수 있다. 디코딩된 정보는 잔차 블록들로부터의 일반 제어 데이터, 필터 제어 데이터, 파티션 정보, 모션 데이터, 예측 데이터, 및 양자화된 변환 계수들과 같은 비디오 신호를 디코딩하기 위한 임의의 원하는 정보를 포함한다. 양자화된 변환 계수들은 잔차 블록들로의 재구성을 위해 역 변환 및 양자화 컴포넌트(429)에 포워딩된다. 역변환 및 양자화 컴포넌트(429)는 역변환 및 양자화 컴포넌트(329)와 유사할 수 있다.
재구성된 잔차 블록들 및/또는 예측 블록들은 인트라 예측 동작들에 기초하여 이미지 블록들로의 재구성을 위해 인트라 픽처 예측 컴포넌트(417)로 포워딩된다. 인트라 픽처 예측 컴포넌트(417)는 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)와 유사할 수 있다. 구체적으로, 인트라 픽처 예측 컴포넌트(417)는 예측 모드들을 이용하여 프레임 내의 참조 블록의 위치를 찾고 잔차 블록을 결과에 적용하여 인트라 예측된 이미지 블록을 재구성한다. 재구성된 인트라 예측된 이미지 블록들 및/또는 잔차 블록들 및 대응하는 인터 예측 데이터는 인루프 필터들 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)에 포워딩되는데, 이들은 각각, 인루프 필터들 컴포넌트(225) 및 디코딩된 픽처 버퍼 컴포넌트(223)와 실질적으로 유사할 수 있다. 인루프 필터들 컴포넌트(425)는 재구성된 이미지 블록들, 잔차 블록들 및/또는 예측 블록들을 필터링하고, 그러한 정보는 디코딩된 픽처 버퍼 컴포넌트(423)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(423)로부터의 재구성된 이미지 블록들은 인터 예측을 위해 모션 보상 컴포넌트(421)로 포워딩된다. 모션 보상 컴포넌트(421)는 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)와 실질적으로 유사할 수 있다. 구체적으로, 모션 보상 컴포넌트(421)는 참조 블록으로부터 모션 벡터들을 이용하여 예측 블록을 생성하고 잔차 블록을 결과에 적용하여 이미지 블록을 재구성한다. 결과적인 재구성된 블록들은 또한 인루프 필터 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)에 포워딩될 수 있다. 디코딩된 픽처 버퍼 컴포넌트(423)는 계속해서 추가적인 재구성된 이미지 블록들을 저장하고, 이들은 파티션 정보를 통해 프레임들로 재구성될 수 있다. 그러한 프레임들은 또한 시퀀스로 배치될 수 있다. 시퀀스는 재구성된 출력 비디오 신호로서 디스플레이를 향해 출력된다.
도 5는 예시적인 HRD(500)를 예시하는 개략도이다. HRD(500)는 코덱 시스템(200) 및/또는 인코더(300)와 같은 인코더에서 이용될 수 있다. HRD(500)는 비트스트림이 디코더(400)와 같은 디코더에 포워딩되기 전에 방법(100)의 단계 109에서 생성된 비트스트림을 검사할 수 있다. 일부 예들에서, 비트스트림은 비트스트림이 인코딩됨에 따라 HRD(500)를 통해 연속적으로 포워딩될 수 있다. 비트스트림의 일부분이 연관된 제약조건들에 적합한 것에 실패한 경우에, HRD(500)는 이러한 실패를 인코더에 표시하여, 인코더로 하여금 비트스트림의 대응하는 섹션을 상이한 메커니즘들로 재-인코딩하게 할 수 있다.
HRD(500)는 HSS(hypothetical stream scheduler)(541)를 포함한다. HSS(541)는 가상 전달 메커니즘을 수행하도록 구성되는 컴포넌트이다. 가상 전달 메커니즘은 HRD(500)에 입력되는 비트스트림(551)의 타이밍 및 데이터 흐름과 관련하여 비트스트림 또는 디코더의 적합성을 검사하는 데 사용된다. 예를 들어, HSS(541)는 인코더로부터 출력된 비트스트림(551)을 수신하고 비트스트림(551)에 대한 적합성 테스팅 프로세스를 관리할 수 있다. 특정한 예에서, HSS(541)는 코딩된 픽처들이 HRD(500)를 통해 이동하는 레이트를 제어하고 비트스트림(551)이 적합하지 않은 데이터를 포함하지 않는다는 것을 검증할 수 있다.
HSS(541)는 비트스트림(551)을 미리 정의된 레이트로 CPB(543)에 포워딩할 수 있다. HRD(500)는 DU(decoding unit)(553) 내의 데이터를 관리할 수 있다. DU(553)는 AU(Access Unit) 또는 AU의 서브세트 및 연관된 비-VCL(video coding layer) NAL(network abstraction layer) 유닛들이다. 구체적으로, AU는 출력 시간과 연관된 하나 이상의 픽처를 포함한다. 예를 들어, AU는 단일 계층 비트스트림에 단일 픽처를 포함할 수 있고, 다중-계층 비트스트림에서 각각의 계층에 대한 픽처를 포함할 수 있다. AU의 각각의 픽처는 대응하는 VCL NAL 유닛에 각각 포함되는 슬라이스들로 분할될 수 있다. 따라서, DU(553)는 하나 이상의 픽처, 픽처의 하나 이상의 슬라이스, 또는 이들의 조합을 포함할 수 있다. 또한, AU, 픽처들 및/또는 슬라이스들을 디코딩하는 데 사용되는 파라미터들이 비-VCL NAL 유닛들에 포함될 수 있다. 이와 같이, DU(553)는 DU(553)에서의 VCL NAL 유닛들을 디코딩하는 것을 지원하는데 필요한 데이터를 포함하는 비-VCL NAL 유닛들을 포함한다. CPB(543)는 HRD(500)에서의 선입 선출 버퍼이다. CPB(543)는 비디오 데이터를 디코딩 순서로 포함하는 DU들(553)을 포함한다. CPB(543)는 비트스트림 적합성 검증 동안 사용하기 위한 비디오 데이터를 저장한다.
CPB(543)는 DU들(553)을 디코딩 프로세스 컴포넌트(545)에 포워딩한다. 디코딩 프로세스 컴포넌트(545)는 VVC 표준에 적합한 컴포넌트이다. 예를 들어, 디코딩 프로세스 컴포넌트(545)는 최종 사용자에 의해 이용되는 디코더(400)를 에뮬레이트할 수 있다. 디코딩 프로세스 컴포넌트(545)는 예시적인 최종 사용자 디코더에 의해 달성될 수 있는 레이트로 DU들(553)을 디코딩한다. 디코딩 프로세스 컴포넌트(545)가 CPB(543)의 오버플로우를 방지하기에 충분히 빠르게 DU들(553)을 디코딩할 수 없는 경우, 비트스트림(551)은 표준에 적합하지 않고 재-인코딩되어야 한다.
디코딩 프로세스 컴포넌트(545)는 DU들(553)을 디코딩하여, 디코딩된 DU들(555)을 생성한다. 디코딩된 DU(555)는 디코딩된 픽처를 포함한다. 디코딩된 DU들(555)은 DPB(547)에 포워딩된다. DPB(547)는 디코딩된 픽처 버퍼 컴포넌트(223, 323, 및/또는 423)와 실질적으로 유사할 수 있다. 인터 예측을 지원하기 위해, 디코딩된 DU들(555)로부터 획득되는 참조 픽처들(556)로서 사용하기 위해 마킹된 픽처들이 추가 디코딩을 지원하기 위해 디코딩 프로세스 컴포넌트(545)에 반환된다. DPB(547)는 디코딩된 비디오 시퀀스를 일련의 픽처들(557)로서 출력한다. 픽처들(557)은 인코더에 의해 비트스트림(551)으로 인코딩된 픽처들을 일반적으로 미러링하는 재구성된 픽처들이다.
픽처들(557)은 출력 크로핑 컴포넌트(549)에 포워딩된다. 출력 크로핑 컴포넌트(549)는 적합성 크로핑 윈도우(conformance cropping window)를 픽처들(557)에 적용하도록 구성된다. 이것은 출력 크로핑된 픽처들(559)을 야기한다. 출력 크로핑된 픽처(559)는 완전히 재구성된 픽처이다. 그에 따라, 출력 크로핑된 픽처(559)는 최종 사용자가 비트스트림(551)을 디코딩할 때 보게 될 것을 모방한다. 이와 같이, 인코더는 인코딩이 만족스러운 것을 보장하기 위해 출력 크로핑된 픽처들(559)을 검토할 수 있다.
HRD(500)는 비트스트림(551) 내의 HRD 파라미터에 기초하여 초기화된다. 예를 들어, HRD(500)는 VPS, SPS 및/또는 SEI 메시지로부터 HRD 파라미터를 판독할 수 있다. HRD(500)는 그 다음에 이러한 HRD 파라미터 내의 정보에 기초하여 비트스트림(551)에 대해 적합성 테스트 동작을 수행할 수 있다. 특정 예로서, HRD(500)는 HRD 파라미터로부터 하나 이상의 CPB 전달 스케줄을 결정할 수 있다. 전달 스케줄은 CPB 및/또는 DPB와 같은 메모리 위치로의/로부터의 비디오 데이터의 전달을 위한 타이밍을 지정한다. 따라서, CPB 전달 스케줄은 CPB(543)로의/로부터의 AU들, DU들(553), 및/또는 픽처들의 전달을 위한 타이밍을 지정한다. HRD(500)가 CPB 전달 스케줄들과 유사한 DPB(547)에 대한 DPB 전달 스케줄을 이용할 수 있다는 것에 유의해야 한다.
비디오는 다양한 네트워크 조건들에 대해서뿐만 아니라 다양한 레벨들의 하드웨어 능력들을 갖는 디코더들에 의한 사용을 위해 상이한 계층들 및/또는 OLS들로 코딩될 수 있다. CPB 전달 스케줄들은 이러한 쟁점들을 반영하도록 선택된다. 그에 따라, 상위 계층 서브-비트스트림들이 최적의 하드웨어 및 네트워크 조건들을 위해 지정되고, 따라서 상위 계층들은 CPB(543)에서의 대량의 메모리 및 DPB(547)를 향하는 DU들(553)의 이송들을 위한 짧은 지연들을 이용하는 하나 이상의 CPB 전달 스케줄을 수신할 수 있다. 마찬가지로, 하위 계층 서브-비트스트림들은 제한된 디코더 하드웨어 능력들 및/또는 열악한 네트워크 조건들을 위해 지정된다. 따라서, 하위 계층들은 CPB(543)에서의 소량의 메모리 및 DPB(547)를 향하는 DU들(553)의 이송들을 위한 보다 긴 지연들을 이용하는 하나 이상의 CPB 전달 스케줄을 수신할 수 있다. OLS들, 계층들, 서브계층들, 또는 이들의 조합들은 그 다음에 결과적인 서브-비트스트림이 서브-비트스트림에 대해 예상되는 조건들 하에서 정확하게 디코딩될 수 있음을 보장하기 위해 대응하는 전달 스케줄에 따라 테스트될 수 있다. 그에 따라, 비트스트림(551) 내의 HRD 파라미터들은 CPB 전달 스케줄들을 지시할 수 있을 뿐만 아니라 HRD(500)가 CPB 전달 스케줄을 결정하고 CPB 전달 스케줄을 대응하는 OLS들, 계층들, 및/또는 서브계층들에 상관시킬 수 있게 하기에 충분한 데이터를 포함할 수 있다.
도 6은 인터 계층 예측(621)을 위해 구성된 예시적인 다중-계층 비디오 시퀀스(600)를 예시하는 개략도이다. 다중-계층 비디오 시퀀스(600)는, 예를 들어, 방법(100)에 따라, 코덱 시스템(200) 및/또는 인코더(300)와 같은, 인코더에 의해 인코딩되고, 코덱 시스템(200) 및/또는 디코더(400)와 같은 디코더에 의해 디코딩될 수 있다. 또한, 다중-계층 비디오 시퀀스(600)는, HRD(500)와 같은, HRD에 의해 표준 적합성에 대해 검사될 수 있다. 다중-계층 비디오 시퀀스(600)는 코딩된 비디오 시퀀스 내의 계층들에 대한 예시적인 애플리케이션을 묘사하기 위해 포함된다. 다중-계층 비디오 시퀀스(600)는 계층 N(631) 및 계층 N+1(632)과 같은 복수의 계층들을 이용하는 임의의 비디오 시퀀스이다.
예에서, 다중-계층 비디오 시퀀스(600)는 인터 계층 예측(621)을 이용할 수 있다. 인터 계층 예측(621)은 상이한 계층들에서의 픽처들(611, 612, 613, 및 614)과 픽처들(615, 616, 617, 및 618) 사이에 적용된다. 도시된 예에서, 픽처들(611, 612, 613, 및 614)은 계층 N+1(632)의 일부이고, 픽처들(615, 616, 617, 및 618)은 계층 N(631)의 일부이다. 계층 N(631) 및/또는 계층 N+1(632)과 같은 계층은 유사한 크기, 품질, 해상도, 신호 대 잡음비, 능력 등과 같은 유사한 값의 특성과 모두 연관된 픽처들의 그룹이다. 계층은 VCL NAL 유닛들 및 연관된 비-VCL NAL 유닛들의 세트로서 공식적으로 정의될 수 있다. VCL NAL 유닛은, 픽처의 코딩된 슬라이스와 같은, 비디오 데이터를 포함하도록 코딩된 NAL 유닛이다. 비-VCL NAL 유닛은, 비디오 데이터의 디코딩, 적합성 검사의 수행, 또는 기타의 동작들을 지원하는 신택스 및/또는 파라미터들과 같은 비-비디오 데이터를 포함하는 NAL 유닛이다.
도시된 예에서, 계층 N+1(632)은 계층 N(631)보다 큰 이미지 크기와 연관된다. 그에 따라, 계층 N+1(632) 내의 픽처들(611, 612, 613, 614)은 이 예에서 계층 N(631) 내의 픽처들(615, 616, 617, 618)보다 큰 픽처 크기(예를 들어, 더 큰 높이 및 폭, 따라서 더 많은 샘플)를 갖는다. 그러나, 그러한 픽처들은 다른 특성들에 의해 계층 N+1(632)과 계층 N(631) 사이에서 분리될 수 있다. 2개의 계층, 계층 N+1(632) 및 계층 N(631)만이 도시되지만, 픽처들의 세트는 연관된 특성들에 기초하여 임의의 수의 계층들로 분리될 수 있다. 계층 N+1(632) 및 계층 N(631)은 또한 계층 ID에 의해 표기될 수 있다. 계층 ID는 픽처와 연관된 데이터의 아이템이고, 픽처가 지시된 계층의 일부임을 표기한다. 그에 따라, 각각의 픽처(611-618)는 대응하는 계층 ID와 연관되어, 어느 계층 N+1(632) 또는 계층 N(631)이 대응하는 픽처를 포함하는지를 지시할 수 있다. 예를 들어, 계층 ID는, NAL 유닛을 포함하는(예를 들어, 계층 내의 픽처들의 슬라이스 및/또는 파라미터를 포함하는) 계층의 식별자를 특정하는 신택스 요소인, NAL 유닛 헤더 계층 식별자(nuh_layer_id)를 포함할 수 있다. 계층 N(631)과 같은 더 낮은 품질/비트스트림 크기와 연관된 계층은 일반적으로 더 낮은 계층 ID를 할당받고, 더 낮은 계층으로서 지칭된다. 또한, 계층 N+1(632)과 같은 더 높은 품질/비트스트림 크기와 연관된 계층은 일반적으로 더 높은 계층 ID를 할당받고, 더 높은 계층으로 지칭된다.
상이한 계층들(631-632) 내의 픽처들(611-618)은 대안으로서 디스플레이되도록 구성된다. 이와 같이, 상이한 계층들(631-632) 내의 픽처들은 시간 ID를 공유할 수 있고 동일한 AU에 포함될 수 있다. 시간 ID는 데이터가 비디오 시퀀스에서 시간 위치(temporal location)에 대응한다는 것을 지시하는 데이터 요소이다. AU는 특정된 분류 규칙에 따라 서로 연관되고 하나의 특정한 출력 시간에 관련되는 NAL 유닛들의 세트이다. 예를 들어, AU는 픽처(611) 및 픽처(615)가 동일한 시간 ID와 연관될 때, 그러한 픽처들과 같은 하나 이상의 픽처를 상이한 계층에 포함할 수 있다. 특정 예로서, 디코더는 더 작은 픽처가 요구되는 경우에 현재 디스플레이 시간에 픽처(615)를 디코딩 및 디스플레이할 수 있거나, 디코더는 더 큰 픽처가 요구되는 경우에 현재 디스플레이 시간에 픽처(611)를 디코딩 및 디스플레이할 수 있다. 따라서, 상위 계층 N+1(632)에서의 픽처들(611-614)은 (픽처 크기의 차이에도 불구하고) 하위 계층 N(631)에서의 대응하는 픽처들(615-618)과 실질적으로 동일한 이미지 데이터를 포함한다. 구체적으로, 픽처(611)는 픽처(615)와 실질적으로 동일한 이미지 데이터를 포함하고, 픽처(612)는 픽처(616)와 실질적으로 동일한 이미지 데이터를 포함하는 등이다.
픽처들(611 내지 618)은 동일한 계층 N(631) 또는 N+1(632)에서의 다른 픽처들(611 내지 618)을 참조하여 코딩될 수 있다. 동일한 계층에서의 다른 픽처를 참조하여 픽처를 코딩하는 것은 인터 예측(623)을 야기한다. 인터 예측(623)은 실선 화살표들에 의해 묘사된다. 예를 들어, 픽처(613)는 참조로서 계층 N+1(632)에서의 픽처들(611, 612, 및/또는 614) 중 하나 또는 2개를 사용하는 인터 예측(623)을 이용하여 코딩될 수 있고, 여기서 하나의 픽처는 단방향 인터 예측을 위해 참조되고/되거나 2개의 픽처는 양방향 인터 예측을 위해 참조된다. 또한, 픽처(617)는 참조로서 계층 N(631)에서의 픽처들(615, 616, 및/또는 618) 중 하나 또는 2개를 사용하는 인터 예측(623)을 이용하여 코딩될 수 있고, 여기서 하나의 픽처는 단방향 인터 예측을 위해 참조되고/되거나 2개의 픽처는 양방향 인터 예측을 위해 참조된다. 인터 예측(623)을 수행할 때 픽처가 동일한 계층에서의 다른 픽처에 대한 참조로서 사용될 때, 픽처는 참조 픽처로서 지칭될 수 있다. 예를 들어, 픽처(612)는 인터 예측(623)에 따라 픽처(613)를 코딩하는데 사용되는 참조 픽처일 수 있다. 인터 예측(623)은 또한 다중-계층 컨텍스트에서의 인트라-계층 예측이라고 지칭될 수 있다. 이와 같이, 인터 예측(623)은 현재 픽처와 상이한 참조 픽처에서의 지시된 샘플들에 대한 참조에 의해 현재 픽처의 샘플들을 코딩하는 메커니즘이고, 여기서 참조 픽처 및 현재 픽처는 동일한 계층에 있다.
픽처들(611-618)은 또한 상이한 계층들에서의 다른 픽처들(611-618)에 대한 참조에 의해 코딩될 수 있다. 이 프로세스는 인터 계층 예측(621)으로 알려져 있고, 파선 화살표들로 묘사된다. 인터 계층 예측(621)은 참조 픽처에서의 지시된 샘플들에 대한 참조에 의해 현재 픽처의 샘플들을 코딩하는 메커니즘이고, 여기서 현재 픽처와 참조 픽처는 상이한 계층들에 있고 따라서 상이한 계층 ID들을 갖는다. 예를 들어, 하위 계층 N(631)에서의 픽처는 상위 계층 N+1(632)에서 대응하는 픽처를 코딩하기 위해 참조 픽처로서 사용될 수 있다. 특정 예로서, 픽처(611)는 인터 계층 예측(621)에 따라 픽처(615)에 대한 참조에 의해 코딩될 수 있다. 이러한 경우에, 픽처(615)는 인터 계층 참조 픽처로서 사용된다. 인터 계층 참조 픽처는 인터 계층 예측(621)에 대해 사용되는 참조 픽처이다. 대부분의 경우에, 인터 계층 예측(621)은, 픽처(611)와 같은 현재 픽처가 동일한 AU에 포함되고 픽처(615)와 같은 하위 계층에 있는 인터 계층 참조 픽처(들)만을 사용할 수 있도록 제약된다. 다수의 계층(예를 들어, 2개 초과)이 이용가능할 때, 인터 계층 예측(621)은 현재 픽처보다 하위 레벨들에서의 다수의 인터 계층 참조 픽처(들)에 기초하여 현재 픽처를 인코딩/디코딩할 수 있다.
비디오 인코더는 인터 예측(623) 및 인터 계층 예측(inter-layer prediction)(621)의 많은 상이한 조합들 및/또는 순열들을 통해 픽처들(611-618)을 인코딩하기 위해 다중-계층 비디오 시퀀스(600)를 이용할 수 있다. 예를 들어, 픽처(615)는 인트라 예측에 따라 코딩될 수 있다. 픽처들(616-618)은 그 다음 픽처(615)를 참조 픽처로서 사용하여 인터 예측(623)에 따라 코딩될 수 있다. 또한, 픽처(611)는 픽처(615)를 인터 계층 참조 픽처로서 사용하여 인터 계층 예측(621)에 따라 코딩될 수 있다. 픽처들(612-614)은 그 다음에 픽처(611)를 참조 픽처로서 사용하여 인터 예측(623)에 따라 코딩될 수 있다. 이와 같이, 참조 픽처는 상이한 코딩 메커니즘들에 대해 단일 계층 참조 픽처 및 인터 계층 참조 픽처 둘 다로서 역할을 할 수 있다. 하위 계층 N(631) 픽처들에 기초하여 상위 계층 N+1(632) 픽처들을 코딩함으로써, 상위 계층 N+1(632)은 인트라 예측(623) 및 인터 계층 예측(621)보다 훨씬 더 낮은 코딩 효율을 갖는 인트라 예측을 이용하는 것을 회피할 수 있다. 이와 같이, 인트라 예측의 열악한 코딩 효율은 최소/최저 품질 픽처들로 제한될 수 있고, 따라서 최소량의 비디오 데이터를 코딩하는 것으로 제한될 수 있다. 참조 픽처들 및/또는 인터 계층 참조 픽처들로서 사용되는 픽처들은 참조 픽처 리스트 구조에 포함된 참조 픽처 리스트(들)의 엔트리들에 표시될 수 있다.
이러한 동작들을 수행하기 위해, 계층 N(631) 및 계층 N+1(632)과 같은 계층들이 OLS(625)에 포함될 수 있다. OLS(625)는 하나 이상의 계층이 출력 계층으로서 특정되는 계층들의 세트이다. 출력 계층은 (예를 들어, 디스플레이로의) 출력을 위해 지정되는 계층이다. 예를 들어, 계층 N(631)은 인터 계층 예측(621)을 지원하기 위해서만 포함될 수 있고 결코 출력되지 않을 수 있다. 이러한 경우, 계층 N+1(632)은, 계층 N(631)에 기초하여 디코딩되어 출력된다. 이러한 경우에, OLS(625)는 출력 계층으로서 계층 N+1(632)을 포함한다. 일부 경우들에서, OLS(625)는 사이멀캐스트 계층이라고 지칭되는 출력 계층만을 포함한다. 다른 경우들에서, OLS(625)는 상이한 조합들로 많은 층들을 포함할 수 있다. 예를 들어, OLS(625)에서의 출력 계층은 1개, 2개, 또는 많은 하위 계층들에 기초하여 인터 계층 예측(621)에 따라 코딩될 수 있다. 또한, OLS(625)는 하나보다 많은 출력 계층을 포함할 수 있다. 따라서, OLS(625)는 하나 이상의 출력 계층들 및 출력 계층들을 재구성하는 데 필요한 임의의 지원 계층들을 포함할 수 있다. 계층들의 상이한 조합들을 각각 이용하는 많은 상이한 OLS들(625)을 이용함으로써 다중-계층 비디오 시퀀스(600)가 코딩될 수 있다. OLS들(625)은 대응하는 OLS(625)를 고유하게 식별하는 인덱스인 OLS 인덱스와 각각 연관된다.
HRD(500)에서 표준 적합성에 대해 다중-계층 비디오 시퀀스(600)를 검사하는 것은 계층들(631-632) 및 OLS들(625)의 수에 의존하여 복잡해질 수 있다. 스케일러블 네스팅 SEI 메시지들은 표준 적합성을 위해 계층들(631-632) 및 OLS들(625)을 검사하기 위해 필요한 파라미터들을 지시하기 위해 이용될 수 있다.
도 7은 예시적인 비트스트림(700)을 예시하는 개략도이다. 예를 들어, 비트스트림(700)은 방법(100)에 따라 코덱 시스템(200) 및/또는 디코더(400)에 의한 디코딩을 위해 코덱 시스템(200) 및/또는 인코더(300)에 의해 생성될 수 있다. 또한, 비트스트림(700)은 다중-계층 비디오 시퀀스(600)를 포함할 수 있다. 또한, 비트스트림(700)은 HRD(500)와 같은 HRD의 동작을 제어하는 다양한 파라미터를 포함할 수 있다. 이러한 파라미터들에 기초하여, HRD는 디코딩을 위해 디코더를 향한 송신 전에 표준들에 대한 적합성을 위해 비트스트림(700)을 검사할 수 있다.
비트스트림(700)은 VPS(711), 하나 이상의 SPS(713), 복수의 픽처 파라미터 세트(PPS)(715), 복수의 슬라이스 헤더(717), 이미지 데이터(720) 및 SEI 메시지(719)를 포함한다. VPS(711)는 전체 비트스트림(700)에 관련된 데이터를 포함한다. 예를 들어, VPS(711)는 비트스트림(700)에서 사용되는 데이터 관련 OLS들, 계층들, 및/또는 서브계층들을 포함할 수 있다. SPS(713)는 비트스트림(700)에 포함된 코딩된 비디오 시퀀스 내의 모든 픽처에 공통인 시퀀스 데이터를 포함한다. 예를 들어, 각각의 계층은 하나 이상의 코딩된 비디오 시퀀스를 포함할 수 있고, 각각의 코딩된 비디오 시퀀스는 대응하는 파라미터들에 대해 SPS(713)를 참조할 수 있다. SPS(713) 내의 파라미터들은, 픽처 크기조정(picture sizing), 비트 심도, 코딩 툴 파라미터, 비트 레이트 제약 등을 포함할 수 있다. 각각의 시퀀스는 SPS(713)를 참조하지만, 일부 예에서는 단일의 SPS(713)가 다수의 시퀀스에 대한 데이터를 포함할 수 있다는 점에 유의해야 한다. PPS(715)는 전체 픽처에 적용되는 파라미터들을 포함한다. 따라서, 비디오 시퀀스에서의 각각의 픽처는 PPS(715)를 참조할 수 있다. 각각의 픽처가 PPS(715)를 참조하지만, 일부 예들에서 단일 PPS(715)가 다수의 픽처에 대한 데이터를 포함할 수 있다는 점에 유의해야 한다. 예를 들어, 다수의 유사한 픽처가 유사한 파라미터들에 따라 코딩될 수 있다. 그러한 경우에, 단일 PPS(715)는 그러한 유사한 픽처들에 대한 데이터를 포함할 수 있다. PPS(715)는 대응하는 픽처들, 양자화 파라미터들, 오프셋들 등에서 슬라이스들에 대해 이용가능한 코딩 툴들을 지시할 수 있다.
슬라이스 헤더(717)는 픽처 내의 각각의 슬라이스에 특정적인 파라미터들을 포함한다. 따라서, 비디오 시퀀스에서 슬라이스마다 하나의 슬라이스 헤더(717)가 있을 수 있다. 슬라이스 헤더(717)는, 슬라이스 타입 정보, POC, 참조 픽처 리스트, 예측 가중치, 타일 엔트리 포인트, 디블록킹 파라미터 등을 포함할 수 있다. 일부 예에서, 비트스트림(700)은 또한, 단일 픽처 내의 모든 슬라이스에 적용되는 파라미터들을 포함하는 신택스 구조인 픽처 헤더를 포함할 수 있다는 점에 유의해야 한다. 이러한 이유로, 픽처 헤더 및 슬라이스 헤더(717)는 일부 컨텍스트들에서 교환가능하게 사용될 수 있다. 예를 들어, 특정 파라미터들은, 이러한 파라미터들이 픽처 내의 모든 슬라이스에 공통인지에 의존하여 슬라이스 헤더(717)와 픽처 헤더 사이에서 이동될 수 있다.
이미지 데이터(720)는 인터 예측 및/또는 인트라 예측에 따라 인코딩된 비디오 데이터뿐만 아니라 대응하는 변환된 및 양자화된 잔차 데이터를 포함한다. 예를 들어, 이미지 데이터(720)는 OLS들(721), 계층들(723), 픽처들(725) 및/또는 슬라이스들(727)을 포함할 수 있다. OLS(721)는 하나 이상의 계층이 출력 계층(들)으로서 특정되는 계층들(723)의 세트이다. OLS(721)는 OLS(625)와 실질적으로 유사할 수 있다. 계층(723)은, nuh_layer_id와 같은 계층 ID에 의해 지시되는 바와 같은 특정된 특성(예를 들어, 공통 해상도, 프레임 레이트, 이미지 크기 등)을 공유하는 VCL NAL 유닛들 및 연관된 비-VCL NAL 유닛들의 세트이다. 예를 들어, 계층(723)은 동일한 nuh_layer_id를 공유하는 픽처들의 세트(725)를 포함할 수 있다. 계층(723)은 계층들(631 및/또는 632)과 실질적으로 유사할 수 있다. 픽처(725)는 프레임 또는 그 필드를 생성하는 루마 샘플들의 어레이 및/또는 크로마 샘플들의 어레이이다. 예를 들어, 픽처(725)는 디스플레이를 위해 출력되거나 출력을 위해 다른 픽처(들)(725)의 코딩을 지원하는데 사용될 수 있는 코딩된 이미지이다. 픽처(725)는 하나 이상의 슬라이스(727)를 포함한다. 슬라이스(727)는 단일 NAL 유닛에 배타적으로 포함되는 픽처(725)의 정수 개의 완전한 타일들 또는 (예를 들어, 타일 내의) 정수 개의 연속적인 완전한 CTU(coding tree unit) 행들로서 정의될 수 있다. 슬라이스들(727)은 CTU들 및/또는 CTB(coding tree block)들로 추가로 분할된다. CTU는 코딩 트리에 의해 파티셔닝될 수 있는 미리 정의된 크기의 샘플들의 그룹이다. CTB는 CTU의 서브세트이고, CTU의 루마 컴포넌트들 또는 크로마 컴포넌트들을 포함한다. CTU들/CTB들은 코딩 트리들에 기초하여 코딩 블록들로 추가로 분할된다. 그 다음에 코딩 블록들은 예측 메커니즘들에 따라 인코딩/디코딩될 수 있다.
비트스트림(700)은 NAL 유닛의 시퀀스로서 코딩될 수 있다. NAL 유닛은 비디오 데이터 및/또는 지원 신택스를 위한 컨테이너이다. NAL 유닛은 VCL NAL 유닛 또는 비-VCL NAL 유닛일 수 있다. VCL NAL 유닛은 비디오 데이터, 예컨대 이미지 데이터(720) 및 연관된 슬라이스 헤더(717)를 포함하도록 코딩된 NAL 유닛이다. 비-VCL NAL 유닛은, 비디오 데이터의 디코딩, 적합성 검사의 수행, 또는 기타의 동작들을 지원하는 신택스 및/또는 파라미터들과 같은 비-비디오 데이터를 포함하는 NAL 유닛이다. 예를 들어, 비-VCL NAL 유닛은, VPS(711), SPS(713), PPS (715), SEI 메시지(719), 또는 기타의 지원 신택스를 포함할 수 있다.
SEI 메시지(719)는 디코딩된 픽처들 내의 샘플들의 값들을 결정하기 위해 디코딩 프로세스에 의해 필요하지 않은 정보를 전달하는 특정된 시맨틱스를 갖는 신택스 구조이다. 예를 들어, SEI 메시지들(719)은 HRD 프로세스들을 지원하는 데이터 또는 디코더에서 비트스트림(700)을 디코딩하는 것과 직접 관련되지 않는 다른 지원 데이터를 포함할 수 있다. SEI 메시지(719)는 스케일러블 네스팅 SEI 메시지들일 수 있다. 스케일러블 네스팅 SEI 메시지는 하나 이상의 OLS(721) 또는 하나 이상의 계층(723)에 대응하는 복수의 스케일러블 네스팅 SEI 메시지들을 포함하는 메시지이다. 그에 따라, 스케일러블 네스팅 SEI 메시지는 동일한 타입의 스케일러블 네스팅 SEI 메시지들의 세트를 포함하는 SEI 메시지(719)이다. SEI 메시지들(719)은 CPB를 관리하기 위해 HRD를 초기화하기 위한 HRD 파라미터들을 포함하는 BP SEI 메시지를 포함할 수 있다. SEI 메시지들(719)은 또한 CPB 및/또는 DPB에서 AU들에 대한 전달 정보를 관리하기 위한 HRD 파라미터들을 포함하는 PT SEI 메시지를 포함할 수 있다. SEI 메시지들(719)은 또한 CPB 및/또는 DPB에서 DU들에 대한 전달 정보를 관리하기 위한 HRD 파라미터들을 포함하는 DUI SEI 메시지를 포함할 수 있다.
비트스트림(700)은 SEI 메시지들(719)의 구성을 시그널링하기 위한 다양한 플래그들을 포함한다. 예를 들어, SEI 메시지(719)는, SEI 메시지(719)가 스케일러블 네스팅 SEI 메시지일 때, 스케일러블 네스팅(SN) OLS 플래그(731), 스케일러블 네스팅 num_olss_minus1(number of OLSs minus one)(733), 스케일러블 네스팅 Ols_idx_delta_minus1[i](OLS delta minus one)(735), 스케일러블 네스팅 num_layers_minus1(number of layers minus one)(737), 및/또는 스케일러블 네스팅 layer_id[i](layer ID)(739)를 포함할 수 있다.
스케일러블 네스팅 OLS 플래그(731)는 스케일러블 네스팅 SEI 메시지 내의 스케일러블 네스팅 SEI 메시지들이 특정 OLS들(721) 또는 특정 계층들(723)에 적용되는지를 특정하는 신택스 요소이다. 예를 들어, 스케일러블 네스팅 OLS 플래그(731)는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들(721)(그리고 계층들은 아님)에 적용될 때 1로 설정될 수 있다. 또한, 스케일러블 네스팅 OLS 플래그(731)는 스케일러블 네스팅 SEI 메시지들이 특정 계층들(723)(그리고 OLS들은 아님)에 적용될 때 0으로 설정될 수 있다. 그에 따라, HRD는 SEI 메시지(719)에서 스케일러블 네스팅 OLS 플래그(731)를 판독하고, 그 안에 포함된 모든 스케일러블 네스팅 SEI 메시지가 OLS들(721) 또는 계층들(723)을 설명하는지를 결정할 수 있다.
스케일러블 네스팅 num_olss_minus1(733)은 SEI 메시지(719)가 스케일러블 네스팅 OLS 플래그(731)에 의해 지시되는 바와 같이 OLS들(721)에 관련될 때 사용된다. 스케일러블 네스팅 num_olss_minus1(733)은 스케일러블 네스팅 SEI 메시지에서의 스케일러블 네스팅 SEI 메시지들이 적용되는 OLS들(721)의 수를 특정하는 신택스 요소이다. 스케일러블 네스팅 num_olss_minus1(733)은 마이너스 1 포맷을 이용하고, 따라서 실제 값보다 1 작은 값을 포함한다. 예를 들어, 스케일러블 네스팅 SEI 메시지가 5개의 OLS들(721)에 관련되는 스케일러블 네스팅 SEI 메시지들을 포함하는 경우, 스케일러블 네스팅 num_olss_minus1(733)은 4의 값으로 설정된다.
스케일러블 네스팅(scalable nesting) ols_idx_delta_minus1[i](735)는 SEI 메시지(719)가 스케일러블 네스팅 OLS 플래그(731)에 의해 지시되는 바와 같이 OLS들(721)에 관련될 때 사용된다. 스케일러블 네스팅 Ols_idx_delta_minus1[i](735)는 네스팅 OLS 인덱스를 도출하기에 충분한 데이터를 포함하는 신택스 요소이다. 구체적으로, 스케일러블 네스팅 Ols_idx_delta_minus1[i](735)는 스케일러블 네스팅 SEI 메시지 내의 각각의 스케일러블 네스팅 SEI 메시지에 대한 OLS 인덱스를 포함한다. 이와 같이, 스케일러블 네스팅 Ols_idx_delta_minus1[i](735)는 스케일러블 네스팅 SEI 메시지들을 OLS들(721)에 상관시키는데 사용될 수 있다. 특정 예에서, ols_idx_delta_minus1[i](735)는 각각의 스케일러블 네스팅 SEI 메시지에 대한 NestingOlsIdx(nesting OLS index)를 결정하는데 사용된다. NestingOlsIdx는 대응하는 스케일러블 네스팅 SEI 메시지가 적용되는 OLS(721)의 OLS 인덱스를 특정하는 신택스 요소이다. 예에서, NestingOlsIdx[i]는 다음과 같이 도출된다:
Figure pct00003
스케일러블 네스팅 num_layers_minus1(737)은 SEI 메시지(719)가 스케일러블 네스팅 OLS 플래그(731)에 의해 지시되는 바와 같이 계층들(723)에 관련될 때 사용된다. 스케일러블 네스팅 num_layers_minus1(737)은 스케일러블 네스팅 SEI 메시지 내의 스케일러블 네스팅 SEI 메시지들이 적용되는 계층들(723)의 수를 특정하는 신택스 요소이다. 스케일러블 네스팅 num_layers_minus1(737)은 마이너스 하나의 포맷을 이용하고 따라서 실제 값보다 하나 더 작은 값을 포함한다. 예를 들어, 스케일러블 네스팅 SEI 메시지가 5개의 계층들(723)에 관련되는 스케일러블 네스팅 SEI 메시지들을 포함하는 경우, 스케일러블 네스팅 num_layers_minus1(737)은 4의 값으로 설정된다.
layer_id[i](739)는 SEI 메시지(719)가 스케일러블 네스팅 OLS 플래그(731)에 의해 지시되는 바와 같이 계층들(723)에 관련될 때 사용된다. layer_id[i](739)는 스케일러블 네스팅 SEI 메시지들이 적용되는 i번째 계층의 nuh_layer_id 값을 특정하는 신택스 요소이다. 이와 같이 layer_id[i](739)는 스케일러블 네스팅 SEI 메시지들 각각을 대응하는 계층들(723)에 상관시키는 데 사용될 수 있다.
그에 따라, 비트스트림(700)에 기술된 플래그들은 HRD 및/또는 디코더가 SEI 메시지들(719)의 구성을 신속하게 결정할 수 있게 한다. HRD/디코더는 스케일러블 네스팅 OLS 플래그(731)를 이용하여 스케일러블 네스팅된 메시지들의 세트가 OLS들(721) 또는 계층들(723)과 관련되는지를 결정할 수 있다. 그 다음, HRD/디코더는 스케일러블 네스팅 num_olss_minus1(733)을 사용하여 대응하는 OLS들(721)의 수를 결정하고, 스케일러블 네스팅 Ols_idx_delta_minus1[i](735)를 사용하여 각각의 대응하는 OLS(721)의 인덱스를 결정하여, 스케일러블 네스팅된 메시지들이 OLS들(721)과 관련될 때 스케일러블 네스팅된 메시지들을 적용하는 방법을 결정할 수 있다. 또한, HRD/디코더는 스케일러블 네스팅 num_layers_minus1(737)을 사용하여 대응하는 계층들(723)의 수를 결정하고, layer_id[i](739)를 사용하여 각각의 대응하는 계층들(723)의 인덱스를 결정하여, 스케일러블 네스팅된 메시지들이 계층들(723)과 관련될 때 스케일러블 네스팅된 메시지들을 적용하는 방법을 결정할 수 있다. 이 접근법은 SEI 메시지(719) 타입들의 수를 감소시킨다. 이것은 복잡도를 감소시키고 메시지 타입들의 총 수를 감소시킨다. 이것은 결국 메시지의 각각의 타입을 식별하는 데 사용되는 메시지 ID 데이터의 길이를 감소시킨다. 그 결과, 코딩 효율이 증가되고, 이는 인코더 및 디코더 둘 다에서 프로세서, 메모리, 및/또는 네트워크 시그널링 리소스 사용을 감소시킨다.
선행 정보가 이제 본 명세서에서 아래 더 상세히 설명된다. 계층화된 비디오 코딩은 스케일러블 비디오 코딩 또는 스케일러빌리티를 갖는 비디오 코딩이라고도 지칭된다. 비디오 코딩에서의 스케일러빌리티는 다중-계층 코딩 기법들을 사용함으로써 지원될 수 있다. 다중-계층 비트스트림은 BL(base layer) 및 하나 이상의 EL(enhancement layer)을 포함한다. 스케일러빌리티의 예는, 공간 스케일러빌리티, 품질/SNR(signal to noise ratio) 스케일러빌리티, 멀티 뷰 스케일러빌리티, 프레임 레이트 스케일러빌리티 등을 포함한다. 다중-계층 코딩 기법이 사용될 때, 픽처 또는 그 일부는 참조 픽처를 사용하지 않고 코딩될 수 있고(인트라 예측), 동일 계층에 있는 참조 픽처들을 참조함으로써 코딩될 수 있고(인터 예측), 및/또는 다른 계층(들)에 있는 참조 픽처들을 참조함으로써 코딩될 수 있다(인터 계층 예측). 현재 픽처의 인터 계층 예측에 사용되는 참조 픽처는 ILRP(inter-layer reference picture)라고 지칭된다. 도 6은 상이한 계층들 내의 픽처들이 상이한 해상도들을 갖는 공간 스케일러빌리티를 위한 다중-계층 코딩의 예를 예시한다.
일부 비디오 코딩 패밀리들은 단일 계층 코딩을 위한 프로파일(들)로부터 분리된 프로파일(들)에서의 스케일러빌리티에 대한 지원을 제공한다. SVC(scalable video coding)은 공간, 시간, 및 품질 스케일러빌리티에 대한 지원을 제공하는 AVC(advanced video coding)의 스케일러블 확장(scalable extension)이다. SVC의 경우, EL 픽처들 내의 각각의 MB(macroblock)에서 플래그가 시그널링되어, EL MB가 하위 계층으로부터 병치된(collocated) 블록을 사용하여 예측되는지를 지시한다. 병치된 블록으로부터의 예측은 텍스처, 모션 벡터들, 및/또는 코딩 모드들을 포함할 수 있다. SVC의 구현들은 그들의 설계에서 수정되지 않은 AVC 구현들을 직접 재사용하지 않을 수 있다. SVC EL 매크로블록 신택스 및 디코딩 프로세스는 AVC 신택스 및 디코딩 프로세스와 다르다.
SHVC(scalable HEVC)는 공간 및 품질 스케일러빌리티들에 대한 지원을 제공하는 HEVC의 확장이다. MV-HEVC(multiview HEVC)는 멀티뷰 스케일러빌리티에 대한 지원을 제공하는 HEVC의 확장이다. 3D HEVC(3D-HEVC)는 MV-HEVC보다 더 진보되고 더 효율적인 3D 비디오 코딩에 대한 지원을 제공하는 HEVC의 확장이다. 시간 스케일러빌리티는 단일 계층 HEVC 코덱의 필수 부분(integral part)으로서 포함될 수 있다. HEVC의 다중-계층 확장에서, 인터 계층 예측에 사용되는 디코딩된 픽처들은 동일한 AU로부터만 오고, LTRP들(long-term reference pictures)로서 취급된다. 이러한 픽처들에는 현재 계층에서의 다른 시간적 참조 픽처들과 함께 참조 픽처 리스트(들)에서의 참조 인덱스들이 할당된다. 참조 픽처 리스트(들)에서 인터 계층 참조 픽처(들)를 참조하도록 참조 인덱스의 값을 설정함으로써 PU(prediction unit) 레벨에서 ILP(inter-layer prediction)이 달성된다. 공간 스케일러빌리티는 ILRP가 인코딩 또는 디코딩되는 현재 픽처와 상이한 공간 해상도를 가질 때 참조 픽처 또는 그 일부를 리샘플링한다. 참조 픽처 리샘플링은 픽처 레벨 또는 코딩 블록 레벨에서 실현될 수 있다.
VVC는 또한 계층화된 비디오 코딩을 지원할 수 있다. VVC 비트스트림은 다수의 계층을 포함할 수 있다. 계층들은 모두 서로 독립적일 수 있다. 예를 들어, 각각의 계층은 인터 계층 예측을 사용하지 않고 코딩될 수 있다. 이 경우에, 계층들은 사이멀캐스트 계층들이라고도 지칭된다. 일부 경우에, 계층들 중 일부는 ILP를 사용하여 코딩된다. VPS 내의 플래그는 계층들이 사이멀캐스트 계층인지 또는 일부 계층들이 ILP를 사용하는지를 지시할 수 있다. 일부 계층들이 ILP를 사용할 때, 계층들 간의 계층 의존성 관계 또한 VPS에서 시그널링된다. SHVC 및 MV-HEVC와 달리, VVC는 OLS들을 특정하지 않을 수 있다. OLS는 특정된 계층들의 세트를 포함하고, 여기서 계층들의 세트 내의 하나 이상의 계층은 출력 계층들인 것으로 특정된다. 출력 계층은, 출력되는 OLS의 계층이다. VVC의 일부 구현들에서, 계층들이 사이멀캐스트 계층들일 때 디코딩 및 출력을 위해 하나의 계층만이 선택될 수 있다. VVC의 일부 구현에서, 모든 층을 포함하는 전체 비트스트림은 임의의 층이 ILP를 사용할 때 디코딩되도록 특정된다. 또한, 계층들 중 특정 계층들은 출력 계층들인 것으로 특정된다. 출력 계층들은 단지 최상위 계층, 모든 계층, 또는 최상위 계층에 표시된 하위 계층들의 세트를 더한 것으로 지시될 수 있다.
선행 양태들은 특정 문제들을 포함한다. 스케일러블 확장들 SHVC 및 MV-HEVC를 포함하는 HEVC는 SEI 메시지들을 다양한 동작 포인트들에 대응하는 비트스트림 서브세트들과 또는 특정 계층들 또는 서브계층들과 연관시키기 위해 스케일러블 네스팅 SEI 메시지를 이용할 수 있다. HEVC는 또한 OLS에서 SEI 메시지들을 비트스트림 파티션과 연관시키기 위해 비트스트림 파티션 네스팅을 이용할 수 있다. 비트스트림 파티션은 다중-계층 비트스트림의 하나 이상의 계층을 포함한다. 각각의 비트스트림 파티션 네스팅 SEI 메시지는 스케일러블 네스팅 SEI 메시지 내에 포함될 수 있다. OLS들을 위한 SEI 메시지들에 대한 이러한 2-레벨 네스팅 스킴은 복잡하다.
일반적으로, 본 개시내용은 다중-계층 비디오 비트스트림들에서 출력 계층 세트들에 대한 SEI 메시지들의 스케일러블 네스팅을 위한 접근법들을 설명한다. 기법들의 설명들은 VVC에 기초한다. 그러나, 기법들은 또한 다른 비디오 코덱 사양에 기초한 계층화된 비디오 코딩에도 적용된다.
위에 언급된 문제들 중 하나 이상은 다음과 같이 해결될 수 있다. 구체적으로, 본 개시내용은 다중-계층 비디오 비트스트림들에서 OLS들에 대한 SEI 메시지들의 단순하고 효율적인 스케일러블 네스팅을 위한 방법들을 포함한다. 2-레벨 네스팅 스킴을 사용하는 대신에, 단지 하나의 네스팅 SEI 메시지가 OLS 내의 하나 이상의 계층에 적용되는 네스팅 SEI 메시지들을 직접 포함하도록 정의된다.
전술한 메커니즘들의 예시적인 구현은 다음과 같다. 예시적인 스케일러블 네스팅 SEI 메시지 신택스는 다음과 같다.
Figure pct00004
대안적인 예에서, nesting_ols_flag가 1과 동일할 때 플래그가 추가될 수 있다. 이 플래그는 스케일러블 네스팅 SEI 메시지들이 모든 OLS에 적용되고 각각의 OLS 내의 모든 계층에 적용가능하다는 것을 지시하기 위해 1과 동일하게 설정될 수 있다. 이 플래그가 1과 동일하게 설정될 때, nesting_num_seis_minus1까지의 이 플래그 이후의 모든 신택스 요소는 시그널링되지 않는다. 다른 대안적인 예에서, 플래그가 이용될 수 있고, 스케일러블 네스팅 SEI 메시지들이 모든 OLS에 적용된다는 것을 지시하기 위해 1과 동일하게 설정될 수 있다. 이 플래그가 1과 동일할 때, 신택스 요소 nesting_num_olss_minus1 및 신택스 요소들 nesting_ols_idx_delta_minus1[i]의 리스트는 시그널링되지 않는다. 다른 대안적인 예에서, 신택스 요소들 nesting_ols_idx_delta_minus1[i]에 의해 시그널링되는 네스팅 OLS 인덱스 값들은 델타 코딩되는 대신에 직접 코딩된다. 다른 대안 예에서, 플래그가 이용될 수 있으며, 스케일러블 네스팅 SEI 메시지들이 OLS의 모든 계층에 적용된다는 것을 지시하기 위해 1과 동일하게 설정될 수 있다. 이 플래그가 1과 동일할 때, 신택스 요소들 nesting_num_ols_layers_minus1[i] 및 nesting_ols_layer_idx_delta_minus1[i][j]의 리스트들은 시그널링되지 않는다. 다른 대안적인 예에서, 신택스 요소들 nesting_ols_layer_idx_delta_minus1[i][j]에 의해 시그널링되는 네스팅 OLS 계층 인덱스 값들은 델타 코딩되는 대신에 직접 코딩된다.
예시적인 스케일러블 네스팅 SEI 메시지 시맨틱스는 다음과 같다.
스케일러블 네스팅 SEI 메시지는 SEI 메시지들을 특정 OLS들의 컨텍스트에서 특정 계층들과 연관시키거나 OLS의 컨텍스트에서가 아닌 특정 계층들과 연관시키는 메커니즘을 제공한다. 스케일러블 네스팅 SEI 메시지는 하나 이상의 SEI 메시지를 포함한다. 스케일러블 네스팅 SEI 메시지에 포함된 SEI 메시지들은 또한 스케일러블 네스팅 SEI 메시지들로 지칭된다. 비트스트림 적합성은 SEI 메시지들이 스케일러블 네스팅 SEI 메시지에 포함될 때 다음의 제한들이 적용되는 것을 요구할 수 있다.
132(디코딩된 픽처 해시) 또는 133(스케일러블 네스팅)과 동일한 payloadType을 갖는 SEI 메시지는 스케일러블 네스팅 SEI 메시지에 포함되지 않아야 한다. 스케일러블 네스팅 SEI 메시지가 버퍼링 기간, 픽처 타이밍, 또는 디코딩 유닛 정보 SEI 메시지를 포함할 때, 스케일러블 네스팅 SEI 메시지는 0(버퍼링 기간), 1(픽처 타이밍), 또는 130(디코딩 유닛 정보)과 동일하지 않은 payloadType을 갖는 임의의 다른 SEI 메시지를 포함하지 않아야 한다.
비트스트림 적합성은 또한 다음의 제한들이 스케일러블 네스팅 SEI 메시지를 포함하는 SEI NAL 유닛의 nal_unit_type의 값에 적용되는 것을 요구할 수 있다. 스케일러블 네스팅 SEI 메시지가 0(버퍼링 기간), 1(픽처 타이밍), 130(디코딩 유닛 정보), 145(종속적 RAP 지시), 또는 168(프레임 필드 정보)과 동일한 payloadType을 갖는 SEI 메시지를 포함할 때, 스케일러블 네스팅 SEI 메시지를 포함하는 SEI NAL 유닛은 PREFIX_SEI_NUT와 동일한 nal_unit_type 세트를 가져야 한다. 스케일러블 네스팅 SEI 메시지가 132(디코딩된 픽처 해시)와 동일한 payloadType을 갖는 SEI 메시지를 포함할 때, 스케일러블 네스팅 SEI 메시지를 포함하는 SEI NAL 유닛은 SUFFIX_SEI_NUT와 동일한 nal_unit_type 세트를 가져야 한다.
nesting_ols_flag는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들의 컨텍스트에서 특정 계층들에 적용된다는 것을 특정하기 위해 1과 동일하게 설정될 수 있다. nesting_ols_flag는 스케일러블 네스팅 SEI 메시지들이 특정 계층들에 일반적으로 적용(예를 들어, OLS의 컨텍스트에서가 아님)되는 것을 특정하기 위해 0과 동일하게 설정될 수 있다.
비트스트림 적합성은 다음의 제한들이 nesting_ols_flag의 값에 적용되는 것을 요구할 수 있다. 스케일러블 네스팅 SEI 메시지가 0(버퍼링 기간), 1(픽처 타이밍), 또는 130(디코딩 유닛 정보)과 동일한 payloadType을 갖는 SEI 메시지를 포함할 때, nesting_ols_flag의 값은 1과 동일해야 한다. 스케일러블 네스팅 SEI 메시지가 VclAssociatedSeiList 내의 값과 동일한 payloadType을 갖는 SEI 메시지를 포함할 때, nesting_ols_flag의 값은 0과 동일해야 한다.
nesting_num_olss_minus1 플러스 1은 스케일러블 네스팅 SEI 메시지들이 적용되는 OLS들의 수를 특정한다. nesting_num_olss_minus1의 값은 0부터 TotalNumOlss-1까지의 범위에 있어야 한다. nesting_ols_idx_delta_minus1[i]는 nesting_ols_flag가 1과 동일할 때 스케일러블 네스팅 SEI 메시지들이 적용되는 i번째 OLS의 OLS 인덱스를 특정하는 변수 NestingOlsIdx[i]를 도출하는데 사용된다. nesting_ols_idx_delta_minus1[i]의 값은 0부터 TotalNumOlss-2까지의 범위에 있어야 한다. 변수 NestingOlsIdx[i]는 다음과 같이 도출될 수 있다:
Figure pct00005
nesting_num_ols_layers_minus1[i] 플러스 1은 NestingOlsIdx[i]-th OLS의 컨텍스트에서 스케일러블 네스팅 SEI 메시지들이 적용되는 계층들의 수를 특정한다. nesting_num_ols_layers_minus1[i]의 값은 0부터 NumLayersInOls[NestingOlsIdx[i]-1까지의 범위에 있어야 한다.
nesting_ols_layer_idx_delta_minus1[i][j]는 nesting_ols_flag가 1과 동일할 때 NestingOlsIdx[i]-th OLS의 컨텍스트에서 스케일러블 네스팅 SEI 메시지들이 적용되는 j번째 계층의 OLS 계층 인덱스를 특정하는 변수 NestingOlsLayerIdx[i][j]를 도출하는데 사용된다. nesting_ols_layer_idx_delta_minus1[i]의 값은 0부터 NumLayersInOls[nestingOlsIdx[i]]-2까지의 범위에 있어야 한다.
변수 NestingOlsLayerIdx[i][j]는 다음과 같이 도출될 수 있다:
Figure pct00006
0부터 nesting_num_olss_minus1까지의 범위에 있는 i에 대한 LayerIdInOls[nestingOlsIdx[i]][NestingOlsLayerIdx[i][0]]의 모든 값들 중 최저 값은 현재의 SEI NAL 유닛(예를 들어, 스케일러블 네스팅 SEI 메시지를 포함하는 SEI NAL 유닛)의 nuh_layer_id와 동일해야 한다. nesting_all_layers_flag는 스케일러블 네스팅 SEI 메시지들이 일반적으로 현재 SEI NAL 유닛의 nuh_layer_id보다 크거나 같은 nuh_layer_id를 갖는 모든 계층에 적용된다는 것을 특정하기 위해 1과 동일하게 설정될 수 있다. nesting_all_layers_flag는 스케일러블 네스팅 SEI 메시지들이 현재의 SEI NAL 유닛의 nuh_layer_id보다 크거나 같은 nuh_layer_id를 갖는 모든 계층에 일반적으로 적용될 수 있거나 적용되지 않을 수 있다는 것을 특정하기 위해 0과 동일하게 설정될 수 있다.
nesting_num_layers_minus1 플러스 1은 스케일러블 네스팅 SEI 메시지들이 일반적으로 적용되는 계층들의 수를 특정한다. nesting_num_layers_minus1의 값은 0부터 vps_max_layers_minus1 - GeneralLayerIdx[nuh_layer_id]까지의 범위에 있어야 하며, 여기서 nuh_layer_id는 현재의 SEI NAL 유닛의 nuh_layer_id이다. nesting_layer_id[i]는 nesting_all_layers_flag가 0과 동일할 때 스케일러블 네스팅 SEI 메시지들이 일반적으로 적용되는 i번째 계층의 nuh_layer_id 값을 특정한다. nesting_layer_id[i]의 값은 nuh_layer_id보다 커야 하며, 여기서 nuh_layer_id는 현재의 SEI NAL 유닛의 nuh_layer_id이다.
nesting_ols_flag가 1과 동일할 때, 스케일러블 네스팅 SEI 메시지들이 일반적으로 적용되는 계층의 수를 특정하는 변수 NestingNumLayers, 및 스케일러블 네스팅 SEI 메시지들이 일반적으로 적용되는 계층들의 nuh_layer_id 값의 리스트를 특정하는, 0부터 NestingNumLayers-1까지의 범위에 있는 i에 대한 리스트 NestingLayerid[i]는 다음과 같이 도출되며, 여기서 nuh_layer_id는 현재 SEI NAL 유닛의 nuh_layer_id이다:
Figure pct00007
nesting_num_seis_minus1 플러스 1은 스케일러블 네스팅 SEI 메시지들의 수를 특정한다. nesting_num_seis_minus1의 값은 0부터 63까지의 범위에 있어야 한다. nesting_zero_bit는 0과 동일하게 설정되어야 한다.
도 8은 예시적인 비디오 코딩 디바이스(800)의 개략도이다. 비디오 코딩 디바이스(800)는 본 명세서에서 설명된 바와 같은 개시된 예들/실시예들을 구현하기에 적합하다. 비디오 코딩 디바이스(800)는 다운스트림 포트들(820), 업스트림 포트들(850), 및/또는 네트워크를 통해 업스트림 및/또는 다운스트림으로 데이터를 통신하기 위한 송신기들 및/또는 수신기들을 포함하는 송수신기 유닛들(Tx/Rx)(810)을 포함한다. 비디오 코딩 디바이스(800)는 데이터를 처리하기 위한 논리 유닛 및/또는 CPU(central processing unit)을 포함하는 프로세서(830) 및 데이터를 저장하기 위한 메모리(832)를 또한 포함한다. 비디오 코딩 디바이스(800)는 전기, 광학, 또는 무선 통신 네트워크들을 통한 데이터의 통신을 위해 업스트림 포트들(850) 및/또는 다운스트림 포트들(820)에 결합되는 전기, OE(optical-to-electrical) 컴포넌트들, EO(electrical-to-optical) 컴포넌트들, 및/또는 무선 통신 컴포넌트들을 또한 포함할 수 있다. 비디오 코딩 디바이스(800)는 사용자에게 그리고 사용자로부터 데이터를 통신하기 위한 I/O(input and/or output) 디바이스들(860)을 또한 포함할 수 있다. I/O 디바이스들(860)은 비디오 데이터를 디스플레이하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커들 등과 같은 출력 디바이스들을 포함할 수 있다. I/O 디바이스들(860)은 키보드, 마우스, 트랙볼 등과 같은 입력 디바이스들 및/또는 그러한 출력 디바이스들과 상호작용하기 위한 대응하는 인터페이스들을 또한 포함할 수 있다.
프로세서(830)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(830)는 하나 이상의 CPU 칩, 코어(예를 들어, 멀티-코어 프로세서와 같은), FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 및 DSP(digital signal processor)로서 구현될 수 있다. 프로세서(830)는 다운스트림 포트들(820), Tx/Rx(810), 업스트림 포트들(850), 및 메모리(832)와 통신한다. 프로세서(830)는 코딩 모듈(814)을 포함한다. 코딩 모듈(814)은 다중-계층 비디오 시퀀스(600) 및/또는 비트스트림(700)을 이용할 수 있는 방법들(100, 900 및 1000)과 같이 본 명세서에 설명된 개시된 실시예들을 구현한다. 코딩 모듈(814)은 또한 본 명세서에서 설명된 임의의 다른 방법/메커니즘을 구현할 수 있다. 또한, 코딩 모듈(814)은 코덱 시스템(200), 인코더(300), 디코더(400), 및/또는 HRD(500)를 구현할 수 있다. 예를 들어, 코딩 모듈(814)은 HRD를 구현하는데 이용될 수 있다. 또한, 코딩 모듈(814)은 스케일러블 네스팅 SEI 메시지들에서 스케일러블 네스팅 SEI 메시지들의 명확하고 간결한 시그널링을 지원하기 위해 대응하는 플래그들을 갖는 스케일러블 네스팅 SEI 메시지들을 인코딩하는데 이용될 수 있다. 그에 따라, 코딩 모듈(814)은 위에 논의된 문제들 중 하나 이상을 다루기 위한 메커니즘들을 수행하도록 구성될 수 있다. 따라서, 코딩 모듈(814)은 비디오 코딩 디바이스(800)로 하여금 비디오 데이터를 코딩할 때 추가적인 기능성 및/또는 코딩 효율을 제공하게 한다. 그에 따라, 코딩 모듈(814)은 비디오 코딩 디바이스(800)의 기능성을 개선할 뿐만 아니라 비디오 코딩 기술분야에 특정적인 문제들을 다룬다. 또한, 코딩 모듈(814)은 상이한 상태로의 비디오 코딩 디바이스(800)의 변환을 달성한다. 대안적으로, 코딩 모듈(814)은 메모리(832)에 저장되고 프로세서(830)에 의해 실행되는 명령어들로서(예를 들어, 비일시적 매체상에 저장된 컴퓨터 프로그램 제품으로서) 구현될 수 있다.
메모리(832)는 디스크들, 테이프 드라이브들, 솔리드 스테이트 드라이브들, ROM(read only memory), RAM(random access memory), 플래시 메모리, TCAM(ternary content-addressable memory), SRAM(static random-access memory) 등과 같은 하나 이상의 메모리 타입을 포함한다. 메모리(832)는 오버-플로우 데이터 저장 디바이스로서, 이러한 프로그램들이 실행을 위해 선택될 때 프로그램들을 저장하기 위해, 그리고 프로그램 실행 동안 판독되는 명령어들 및 데이터를 저장하기 위해 사용될 수 있다.
도 9는 스케일러블 네스팅 SEI 메시지들을 포함하는 비트스트림(700)과 같은 비트스트림으로 비디오 시퀀스를 인코딩하는 예시적인 방법(900)의 흐름도이다. 방법(900)은 방법(100)을 수행할 때 코덱 시스템(200), 인코더(300), 및/또는 비디오 코딩 디바이스(800)와 같은 인코더에 의해 이용될 수 있다. 또한, 방법(900)은 HRD(500)에 대해 동작할 수 있고, 따라서 다중-계층 비디오 시퀀스(600)에 대해 적합성 테스트를 수행할 수 있다.
방법(900)은 인코더가 비디오 시퀀스를 수신하고 예를 들어 사용자 입력에 기초하여 그 비디오 시퀀스를 다중-계층 비트스트림으로 인코딩하기로 결정할 때 시작될 수 있다. 단계 901에서, 인코더는 비디오 시퀀스를 하나 이상의 계층으로 인코딩하고 계층들을 다중-계층 비트스트림으로 인코딩한다. 계층은 동일한 계층 ID를 갖는 VCL NAL 유닛들 및 연관된 비-VCL NAL 유닛들의 세트를 포함할 수 있다. 예를 들어, 계층은 인코딩된 픽처들의 비디오 데이터를 포함하는 VCL NAL 유닛들의 세트뿐만 아니라 이러한 픽처들을 코딩하는데 사용되는 임의의 파라미터 세트들을 포함할 수 있다. 계층들은 OLS들에 포함될 수 있다. 예를 들어, OLS는 출력 계층 및 인터 계층 예측에 따라 출력 계층을 디코딩하는 데 사용될 수 있는 임의의 지원 계층들을 포함할 수 있다. 따라서, OLS는 예를 들어 대응하는 이미지 크기, SNR, 프레임 레이트 등에서 비디오 시퀀스의 표현을 디코딩하기에 충분한 데이터를 포함할 수 있다. 비디오 시퀀스는 여러 표현으로 코딩될 수 있으므로, 비디오 시퀀스는 원하는 대로 여러 OLS로 조직되는 여러 계층을 포함할 수 있다. 이러한 방식으로, 인코더는 요청 시에 디코더로의 송신을 위해 대응하는 계층들을 갖는 OLS를 선택할 수 있다.
단계 903에서, 인코더는 SEI 메시지들을 비트스트림으로 인코딩한다. SEI 메시지는 디코딩에 사용되지 않는 데이터를 포함하는 신택스 구조이다. 예를 들어, SEI 메시지들은 비트스트림이 표준들을 따르는 것을 보장하기 위해 적합성 테스트를 지원하기 위한 데이터를 포함할 수 있다. 다중-계층 비트스트림과 함께 사용될 때 단순화된 시그널링을 지원하기 위해, SEI 메시지들은 스케일러블 네스팅 SEI 메시지들로서 인코딩된다. 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지을 포함한다. 스케일러블 네스팅 SEI 메시지들은 각각 OLS들 중 하나 이상 및/또는 계층들 중 하나 이상에 적용될 수 있다. 단순화된 시그널링을 지원하기 위해, 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 OLS 플래그를 포함한다. 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지 내의 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 또는 특정 계층들에 적용되는지를 특정하도록 설정될 수 있다. 예를 들어, 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정/대응하는 OLS들(예를 들어, 계층들은 아님)에 적용되는 것을 특정할 때 1로 설정될 수 있다. 다른 예로서, 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정/대응하는 계층들(예를 들어, OLS들은 아님)에 적용되는 것을 특정할 때 0으로 설정될 수 있다. 스케일러블 네스팅 SEI 메시지는 몇몇 타입들의 스케일러블 네스팅 SEI 메시지들을 포함할 수 있다. 특정 예로서, 스케일러블 네스팅 SEI 메시지들은 버퍼링 기간 SEI 메시지들, 픽처 타이밍 SEI 메시지들, 및/또는 디코딩 유닛 정보 SEI 메시지들을 포함할 수 있다. 스케일러블 네스팅 SEI 메시지가 버퍼링 기간, 픽처 타이밍, 또는 디코딩 유닛 정보의 페이로드 타입을 갖는 임의의 SEI 메시지를 포함할 때 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들(예를 들어, 계층들은 아님)에 적용되는 것을 지시하기 위해 1로 설정될 수 있다.
스케일러블 네스팅 SEI 메시지들은 대응하는 스케일러블 네스팅 SEI 메시지들이 인코더에서 HRD에 의해 이용되는 방법을 지시하는 다른 데이터를 포함할 수 있다. 예를 들어, 스케일러블 네스팅 SEI 메시지는 대응하는 스케일러블 네스팅 SEI 메시지들이 적용되는 OLS들의 수를 특정하는 스케일러블 네스팅 num_olss_minus1 신택스 요소를 포함할 수 있다. 스케일러블 네스팅 num_olss_minus1 신택스 요소는 스케일러블 네스팅 OLS 플래그가 스케일러블 네스팅 SEI 메시지들이 OLS들에 적용되는 것을 지시하는 1로 설정될 때 이용될 수 있다. 스케일러블 네스팅 num_olss_minus1 신택스 요소의 값은 0부터 TotalNumOlss-1까지의 범위에 남아 있도록 제약될 수 있다. 유사한 방식으로, 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 OLS 플래그가 스케일러블 네스팅 SEI 메시지들이 계층들에 적용되는 것을 지시하는 0으로 설정될 때 대응하는 스케일러블 네스팅 SEI 메시지들이 적용되는 층들의 수를 특정하는 스케일러블 네스팅 num_layers_minus1을 포함할 수 있다.
스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 Ols_idx_delta_minus1[i] 신택스 요소를 포함할 수 있으며, 이는 스케일러블 네스팅 OLS 플래그가 스케일러블 네스팅 SEI 메시지들이 OLS들에 적용되는 것을 지시하는 1과 동일할 때 스케일러블 네스팅 SEI 메시지들이 적용되는 i번째 OLS의 OLS 인덱스를 특정하는 네스팅 OLS 인덱스(NestingOlsIdx[i])를 도출하는데 사용된다. 구체적으로, 스케일러블 네스팅 Ols_idx_delta_minus1[i] 신택스 요소는 각각의 스케일러블 네스팅된 SEI 메시지에 대한 대응하는 OLS를 특정하는데 이용될 수 있다. 이와 같이, 스케일러블 네스팅 num_olss_minus1은 스케일러블 네스팅 SEI 메시지에 의해 참조되는 OLS들의 수를 결정하는데 사용될 수 있고, 스케일러블 네스팅 Ols_idx_delta_minus1[i]는 각각의 스케일러블 네스팅 SEI 메시지를 대응하는 OLS에 상관시키는데 사용될 수 있다. 스케일러블 네스팅 Ols_idx_delta_minus1[i] 신택스 요소의 값은 0부터 TotalNumOlss-2까지의 범위에 남아 있도록 제약될 수 있다. 특정 예에서, NestingOlsIdx[i]는 다음과 같이 도출된다:
Figure pct00008
유사한 방식으로, 스케일러블 네스팅 OLS 플래그가 스케일러블 네스팅 SEI 메시지들이 계층들에 적용되는 것을 지시하는 0과 동일할 때 스케일러블 네스팅 SEI 메시지가 스케일러블 네스팅 layer_id[i]를 포함할 수 있다. 스케일러블 네스팅 layer_id[i]는 스케일러블 네스팅 SEI 메시지들이 적용되는 i번째 계층의 계층 ID(예를 들어, nuh_layer_id) 값을 특정한다.
단계 905에서, 인코더에서 동작하는 HRD는 스케일러블 네스팅 SEI 메시지에 기초하여 비트스트림 적합성 테스트들의 세트를 수행할 수 있다. 예를 들어, HRD는 스케일러블 네스팅 SEI 메시지에 포함된 스케일러블 네스팅 SEI 메시지들을 해석하는 방법을 결정하기 위해 스케일러블 네스팅 SEI 메시지에서 플래그들을 판독할 수 있다. HRD는 그 다음에 표준들에 대한 적합성을 위해 OLS들 및/또는 계층들을 검사하는 방법을 결정하기 위해 스케일러블 네스팅 SEI 메시지들을 판독할 수 있다. HRD는 그 다음 스케일러블 네스팅 SEI 메시지들 및/또는 스케일러블 네스팅 SEI 메시지에서의 대응하는 플래그들에 기초하여 OLS 및/또는 계층들에 대한 적합성 테스트들을 수행할 수 있다. 단계 907에서, 인코더는 요청 시에 디코더를 향한 통신을 위한 비트스트림을 저장할 수 있다.
도 10은, 스케일러블 네스팅 SEI 메시지들을 포함하는, 비트스트림(700)과 같은, 비트스트림으로부터 비디오 시퀀스를 디코딩하는 예시적인 방법(1000)의 흐름도이다. 방법(1000)은 방법(100)을 수행할 때, 코덱 시스템(200), 디코더(400), 및/또는 비디오 코딩 디바이스(800)와 같은, 디코더에 의해 이용될 수 있다. 또한, 방법(1000)은, HRD(500)와 같은, HRD에 의한 적합성이 검사된 다중-계층 비디오 시퀀스(600)에 대해 이용될 수 있다.
방법(1000)은 디코더가, 예를 들어, 방법(900)의 결과로서, 다중-계층 비디오 시퀀스를 표현하는 코딩된 데이터의 비트스트림을 수신하기 시작할 때 시작될 수 있다. 단계 1001에서, 디코더는 하나 이상의 계층을 포함하는 비트스트림을 수신한다. 계층은 동일한 계층 ID를 갖는 VCL NAL 유닛들 및 연관된 비-VCL NAL 유닛들의 세트를 포함할 수 있다. 예를 들어, 계층은 인코딩된 픽처들의 비디오 데이터를 포함하는 VCL NAL 유닛들의 세트뿐만 아니라 이러한 픽처들을 코딩하는데 사용되는 임의의 파라미터 세트들을 포함할 수 있다. 계층들은 OLS에 포함될 수 있다. 예를 들어, OLS는 출력 계층 및 인터 계층 예측에 따라 출력 계층을 디코딩하는 데 사용될 수 있는 임의의 지원 계층들을 포함할 수 있다. 따라서, OLS는, 예를 들어 대응하는 이미지 크기, SNR, 프레임 레이트 등에서, 비디오 시퀀스의 표현을 디코딩하기에 충분한 데이터를 포함할 수 있다. 비디오 시퀀스는 여러 표현으로 코딩될 수 있으므로, 비디오 시퀀스는 원하는 대로 여러 OLS로 조직되는 여러 계층을 포함할 수 있다. 이러한 방식으로, 디코더는 비디오 시퀀스의 특정한 표현을 디코딩 및 디스플레이하기 위해 원하는 대로 대응하는 계층들을 갖는 특정된 OLS를 요청 및 수신할 수 있다.
비트스트림은 또한 하나 이상의 스케일러블 네스팅 SEI 메시지를 포함한다. SEI 메시지는 디코딩에 사용되지 않는 데이터를 포함하는 신택스 구조이다. 예를 들어, SEI 메시지들은 비트스트림이 표준들에 따르는 것을 보장하기 위해 적합성 테스트를 지원하기 위한 데이터를 포함할 수 있다. 다중-계층 비트스트림과 함께 사용될 때 단순화된 시그널링을 지원하기 위해, SEI 메시지들은 스케일러블 네스팅 SEI 메시지들로 코딩된다. 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지을 포함한다. 스케일러블 네스팅 SEI 메시지들은 각각 OLS들 중 하나 이상 및/또는 계층들 중 하나 이상에 적용될 수 있다. 단순화된 시그널링을 지원하기 위해, 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 OLS 플래그를 포함한다. 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지 내의 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 또는 특정 계층들에 적용되는지를 특정하도록 설정될 수 있다. 예를 들어, 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정/대응하는 OLS들(예를 들어, 계층들은 아님)에 적용되는 것을 특정할 때 1로 설정될 수 있다. 다른 예로서, 스케일러블 네스팅 SEI 메시지들이 특정/대응하는 계층들(예를 들어, OLS들은 아님)에 적용되는 것을 특정할 때 스케일러블 네스팅 OLS 플래그는 0으로 설정될 수 있다. 스케일러블 네스팅 SEI 메시지는 몇몇 타입들의 스케일러블 네스팅 SEI 메시지들을 포함할 수 있다. 특정 예로서, 스케일러블 네스팅 SEI 메시지들은 버퍼링 기간 SEI 메시지들, 픽처 타이밍 SEI 메시지들, 및/또는 디코딩 유닛 정보 SEI 메시지들을 포함할 수 있다. 스케일러블 네스팅 SEI 메시지가 버퍼링 기간, 픽처 타이밍, 또는 디코딩 유닛 정보의 페이로드 타입을 갖는 임의의 SEI 메시지를 포함할 때 스케일러블 네스팅 OLS 플래그는 특정 OLS들(예를 들어, 계층들은 아님)에 스케일러블 네스팅 SEI 메시지들이 적용되는 것을 지시하기 위해 1로 설정될 수 있다.
스케일러블 네스팅 SEI 메시지들은 대응하는 스케일러블 네스팅 SEI 메시지들이 인코더에서 HRD에 의해 이용되는 방법을 지시하는 다른 데이터를 포함할 수 있다. 예를 들어, 스케일러블 네스팅 SEI 메시지는 대응하는 스케일러블 네스팅 SEI 메시지들이 적용되는 OLS들의 수를 특정하는 스케일러블 네스팅 num_olss_minus1 신택스 요소를 포함할 수 있다. 스케일러블 네스팅 OLS 플래그가 스케일러블 네스팅 SEI 메시지들이 OLS들에 적용되는 것을 지시하는 1로 설정될 때 스케일러블 네스팅 num_olss_minus1 신택스 요소가 이용될 수 있다. 스케일러블 네스팅 num_olss_minus1 신택스 요소의 값은 0부터 TotalNumOlss-1까지의 범위에 남아 있도록 제약될 수 있다. 유사한 방식으로, 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 OLS 플래그가 스케일러블 네스팅 SEI 메시지들이 계층들에 적용되는 것을 지시하는 0으로 설정될 때 대응하는 스케일러블 네스팅 SEI 메시지들이 적용되는 층들의 수를 특정하는 스케일러블 네스팅 num_layers_minus1을 포함할 수 있다.
스케일러블 네스팅 SEI 메시지는 또한 스케일러블 네스팅 Ols_idx_delta_minus1[i] 신택스 요소를 포함할 수 있으며, 이는 스케일러블 네스팅 OLS 플래그가 스케일러블 네스팅 SEI 메시지들이 OLS들에 적용되는 것을 지시하는 1과 동일할 때 스케일러블 네스팅 SEI 메시지들이 적용되는 i번째 OLS의 OLS 인덱스를 특정하는 네스팅 OLS 인덱스(NestingOlsIdx[i])를 도출하는데 사용된다. 구체적으로, 스케일러블 네스팅 Ols_idx_delta_minus1[i] 신택스 요소는 각각의 스케일러블 네스팅된 SEI 메시지에 대한 대응하는 OLS를 특정하는데 사용될 수 있다. 이와 같이, 스케일러블 네스팅 num_olss_minus1은 스케일러블 네스팅 SEI 메시지에 의해 참조되는 OLS들의 수를 결정하는데 사용될 수 있고, 스케일러블 네스팅 Ols_idx_delta_minus1[i]는 각각의 스케일러블 네스팅 SEI 메시지를 대응하는 OLS에 상관시키는데 사용될 수 있다. 스케일러블 네스팅 Ols_idx_delta_minus1[i] 신택스 요소의 값은 0부터 TotalNumOlss-2까지의 범위에 남아 있도록 제약될 수 있다. 특정 예에서, NestingOlsIdx[i]는 다음과 같이 도출된다:
Figure pct00009
유사한 방식으로, 스케일러블 네스팅 OLS 플래그가 스케일러블 네스팅 SEI 메시지들이 계층들에 적용되는 것을 지시하는 0과 동일할 때 스케일러블 네스팅 SEI 메시지는 스케일러블 네스팅 layer_id[i]를 포함할 수 있다. 스케일러블 네스팅 layer_id[i]는 스케일러블 네스팅 SEI 메시지들이 적용되는 i번째 계층의 계층 ID(예를 들어, nuh_layer_id) 값을 특정한다.
단계 1003에서, 디코더는, 스케일러블 네스팅 SEI 메시지들에 기초하여, 하나 이상의 계층으로부터의 코딩된 픽처를 디코딩하여, 디코딩된 픽처를 생성할 수 있다. 예를 들어, 스케일러블 네스팅 SEI 메시지의 존재는 비트스트림이 인코더에서 HRD에 의해 검사되었고 따라서 표준들에 따른다는 것을 지시할 수 있다. 그에 따라, 스케일러블 네스팅 SEI 메시지의 존재는 비트스트림이 디코딩될 수 있다는 것을 지시한다. 단계 1005에서, 디코더는 디코딩된 비디오 시퀀스의 일부로서의 디스플레이를 위해 디코딩된 픽처를 포워딩할 수 있다.
도 11은 스케일러블 네스팅 SEI 메시지들을 포함하는 비트스트림을 사용하여 비디오 시퀀스를 코딩하기 위한 예시적인 시스템(1100)의 개략도이다. 시스템(1000)은 코덱 시스템(200), 인코더(300), 디코더(400), 및/또는 비디오 코딩 디바이스(800)와 같은 인코더 및 디코더에 의해 구현될 수 있다. 또한, 시스템(1100)은 HRD(500)를 이용하여 다중-계층 비디오 시퀀스(600) 및/또는 비트스트림(700)에 대한 적합성 테스트를 수행할 수 있다. 또한, 시스템(1100)은 방법(100, 900 및/또는 1000)을 구현할 때 이용될 수 있다.
시스템(1100)은 비디오 인코더(1102)를 포함한다. 비디오 인코더(1102)는 하나 이상의 계층을 포함하는 비트스트림을 인코딩하기 위한 인코딩 모듈(1103)을 포함한다. 인코딩 모듈(1103)은 또한 스케일러블 네스팅 SEI(supplemental enhancement information) 메시지를 비트스트림 내에 인코딩하기 위한 것이고, 여기서 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지 및 스케일러블 네스팅 OLS(output layer set) 플래그를 포함하고, 스케일러블 네스팅 OLS 플래그는 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하도록 설정된다. 비디오 인코더(1102)는 스케일러블 네스팅 SEI 메시지에 기초하여 비트스트림 적합성 테스트들의 세트를 수행하기 위한 HRD 모듈(1105)을 추가로 포함한다. 비디오 인코더(1102)는 디코더를 향한 통신을 위해 비트스트림을 저장하기 위한 저장 모듈(1106)을 추가로 포함한다. 비디오 인코더(1102)는 비트스트림을 비디오 디코더(1110)를 향해 송신하기 위한 송신 모듈(1107)을 추가로 포함한다. 비디오 인코더(1102)는 방법(900)의 단계들 중 임의의 단계를 수행하도록 추가로 구성될 수 있다.
시스템(1100)은 비디오 디코더(1110)를 또한 포함한다. 비디오 디코더(1110)는 하나 이상의 계층 및 스케일러블 네스팅 SEI(supplemental enhancement information) 메시지를 포함하는 비트스트림을 수신하기 위한 수신 모듈(1111)을 포함하고, 여기서 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지 및 스케일러블 네스팅 OLS(output layer set) 플래그를 포함하고, 스케일러블 네스팅 OLS 플래그는 상기 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하도록 설정된다. 비디오 디코더(1110)는 스케일러블 네스팅 SEI 메시지들에 기초하여 하나 이상의 계층으로부터의 코딩된 픽처를 디코딩하여 디코딩된 픽처를 생성하기 위한 디코딩 모듈(1113)을 추가로 포함한다. 비디오 디코더(1110)는 디코딩된 비디오 시퀀스의 일부로서의 디스플레이를 위해 디코딩된 픽처를 포워딩하기 위한 포워딩 모듈(1115)을 추가로 포함한다. 비디오 디코더(1110)는 방법(1000)의 단계들 중 임의의 단계를 수행하도록 추가로 구성될 수 있다.
제1 컴포넌트와 제2 컴포넌트 사이에 라인, 트레이스, 또는 다른 매체를 제외하고는, 개재하는 컴포넌트들이 없을 때 제1 컴포넌트는 제2 컴포넌트에 직접 결합된다. 제1 컴포넌트와 제2 컴포넌트 사이에 라인, 트레이스, 또는 다른 매체 이외의 개재하는 컴포넌트들이 있을 때 제1 컴포넌트는 제2 컴포넌트에 간접적으로 결합된다. 용어 "결합된(coupled)" 및 그 변형들은 직접적으로 결합되는 및 간접적으로 결합되는 둘 다를 포함한다. 용어 "약(about)"의 사용은 달리 언급되지 않는 한 후속 수의 ±10%를 포함하는 범위를 의미한다.
본 명세서에서 설명된 예시적인 방법들의 단계들은 반드시 설명된 순서로 수행될 필요는 없다는 것도 이해되어야 하고, 그러한 방법들의 단계들의 순서는 단지 예시적인 것으로 이해되어야 한다. 마찬가지로, 이러한 방법에는 추가적인 단계들이 포함될 수 있으며, 본 개시내용의 다양한 실시예에 따른 방법들에서 특정 단계들은 생략 또는 조합될 수 있다.
몇몇 실시예들이 본 개시내용에서 제공되었지만, 개시된 시스템들 및 방법들은 본 개시내용의 사상 또는 범위를 벗어나지 않고 많은 다른 특정한 형태로 구현될 수 있음을 이해해야 한다. 본 예시들은 제약이 아닌 예시로서 고려되어야 하며, 여기에 주어진 세부사항들로 제한되도록 의도되지 않는다. 예를 들어, 다양한 요소 또는 컴포넌트가 다른 시스템 내에 조합 또는 통합될 수 있거나, 또는 특정 특징들이 생략되거나 구현되지 않을 수 있다.
추가로, 다양한 실시예들에서 별개로 또는 분리되어 설명되고 예시된 기법들, 시스템들, 서브시스템들, 및 방법들은 본 개시내용의 범위로부터 벗어나지 않고 다른 시스템들, 컴포넌트들, 기법들, 또는 방법들과 조합되거나 통합될 수 있다. 변경들, 대체들 및 개조들의 다른 예들은 본 기술분야의 통상의 기술자에 의해 확인될 수 있으며, 본 명세서에 개시된 사상 및 범위로부터 벗어나지 않고 만들어질 수 있다.

Claims (20)

  1. 디코더에 의해 구현되는 방법으로서,
    상기 디코더의 수신기에 의해, 하나 이상의 계층 및 스케일러블 네스팅(scalable nesting) SEI(supplemental enhancement information) 메시지를 포함하는 비트스트림을 수신하는 단계- 상기 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅(scalable nesting) SEI 메시지 및 스케일러블 네스팅 OLS(output layer set) 플래그를 포함하고, 상기 스케일러블 네스팅 OLS 플래그는 상기 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하도록 설정됨 -; 및
    상기 디코더의 프로세서에 의해, 상기 스케일러블 네스팅 SEI 메시지들에 기초하여, 상기 하나 이상의 계층으로부터의 코딩된 픽처를 디코딩하여, 디코딩된 픽처를 생성하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 스케일러블 네스팅 OLS 플래그는 상기 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는 것을 특정할 때 1로 설정되고, 상기 스케일러블 네스팅 OLS 플래그는 상기 스케일러블 네스팅 SEI 메시지들이 특정 계층들에 적용되는 것을 특정할 때 0으로 설정되는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 스케일러블 네스팅 SEI 메시지가 버퍼링 기간, 픽처 타이밍, 또는 디코딩 유닛 정보의 페이로드 타입을 갖는 SEI 메시지를 포함할 때 상기 스케일러블 네스팅 OLS 플래그는 1로 설정되는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 스케일러블 네스팅 SEI 메시지는 상기 스케일러블 네스팅 OLS 플래그가 1로 설정될 때 스케일러블 네스팅 num_olss_minus1(number of OLSs minus one) 신택스 요소를 포함하고, 상기 스케일러블 네스팅 num_olss_minus1 신택스 요소는 상기 스케일러블 네스팅 SEI 메시지들이 적용되는 OLS들의 수를 특정하고, 상기 스케일러블 네스팅 num_olss_minus1 신택스 요소의 값은 0부터 OLS들의 총 수(TotalNumOlss)-1까지의 범위에 있는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 스케일러블 네스팅 SEI 메시지는 상기 스케일러블 네스팅 OLS 플래그가 1과 동일할 때 상기 스케일러블 네스팅 SEI 메시지들이 적용되는 i번째 OLS의 OLS 인덱스를 특정하는 네스팅 OLS 인덱스(NestingOlsIdx[i])를 도출하는데 사용되는 스케일러블 네스팅 Ols_idx_delta_minus1[i](OLS delta minus one) 신택스 요소를 포함하고, 상기 스케일러블 네스팅 Ols_idx_delta_minus1[i] 신택스 요소의 값은 0부터 TotalNumOlss-2까지의 범위에 있는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    Figure pct00010

    와 같이 NestingOlsIdx[i]를 도출하는 단계를 추가로 포함하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 스케일러블 네스팅 SEI 메시지는 상기 스케일러블 네스팅 OLS 플래그가 0으로 설정될 때 스케일러블 네스팅 num_layers_minus1(number of layers minus one) 신택스 요소를 포함하고, 상기 스케일러블 네스팅 num_layers_minus1 신택스 요소는 상기 스케일러블 네스팅 SEI 메시지들이 적용되는 계층들의 수를 특정하는 방법.
  8. 인코더에 의해 구현되는 방법으로서,
    상기 인코더의 프로세서에 의해, 하나 이상의 계층을 포함하는 비트스트림을 인코딩하는 단계;
    상기 프로세서에 의해, 스케일러블 네스팅 SEI(supplemental enhancement information) 메시지를 상기 비트스트림으로 인코딩하는 단계- 상기 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지 및 스케일러블 네스팅 OLS(output layer set) 플래그를 포함하고, 상기 스케일러블 네스팅 OLS 플래그는 상기 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하도록 설정됨 -;
    상기 프로세서에 의해, 상기 스케일러블 네스팅 SEI 메시지에 기초하여 비트스트림 적합성 테스트들의 세트를 수행하는 단계; 및
    상기 프로세서에 결합된 메모리에 의해, 디코더를 향한 통신을 위한 상기 비트스트림을 저장하는 단계를 포함하는 방법.
  9. 제8항에 있어서, 상기 스케일러블 네스팅 OLS 플래그는 상기 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는 것을 특정할 때 1로 설정되고, 상기 스케일러블 네스팅 OLS 플래그는 상기 스케일러블 네스팅 SEI 메시지들이 특정 계층들에 적용되는 것을 특정할 때 0으로 설정되는 방법.
  10. 제8항 또는 제9항에 있어서, 상기 스케일러블 네스팅 SEI 메시지가 버퍼링 기간, 픽처 타이밍, 또는 디코딩 유닛 정보의 페이로드 타입을 갖는 SEI 메시지를 포함할 때 상기 스케일러블 네스팅 OLS 플래그는 1로 설정되는 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 스케일러블 네스팅 SEI 메시지는 상기 스케일러블 네스팅 OLS 플래그가 1로 설정될 때 스케일러블 네스팅 num_olss_minus1(number of OLSs minus one) 신택스 요소를 포함하고, 상기 스케일러블 네스팅 num_olss_minus1 신택스 요소는 상기 스케일러블 네스팅 SEI 메시지들이 적용되는 OLS들의 수를 특정하고, 상기 스케일러블 네스팅 num_olss_minus1 신택스 요소의 값은 0부터 OLS들의 총 수(TotalNumOlss)-1까지의 범위에 있는 방법.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서, 상기 스케일러블 네스팅 SEI 메시지는 상기 스케일러블 네스팅 OLS 플래그가 1과 동일할 때 상기 스케일러블 네스팅 SEI 메시지들이 적용되는 i번째 OLS의 OLS 인덱스를 특정하는 네스팅 OLS 인덱스(NestingOlsIdx[i])를 도출하는데 사용되는 스케일러블 네스팅 Ols_idx_delta_minus1[i](OLS delta minus one) 신택스 요소를 포함하고, 상기 스케일러블 네스팅 Ols_idx_delta_minus1[i] 신택스 요소의 값은 0부터 TotalNumOlss-2까지의 범위에 있는 방법.
  13. 제8항 내지 제12항 중 어느 한 항에 있어서,
    Figure pct00011

    와 같이 NestingOlsIdx[i]를 도출하는 단계를 추가로 포함하는 방법.
  14. 제8항 내지 제13항 중 어느 한 항에 있어서, 상기 스케일러블 네스팅 SEI 메시지는 상기 스케일러블 네스팅 OLS 플래그가 0으로 설정될 때 스케일러블 네스팅 num_layers_minus1(number of layers minus one) 신택스 요소를 포함하고, 상기 스케일러블 네스팅 num_layers_minus1 신택스 요소는 상기 스케일러블 네스팅 SEI 메시지들이 적용되는 계층들의 수를 특정하는 방법.
  15. 비디오 코딩 디바이스로서,
    프로세서, 상기 프로세서에 결합된 수신기, 상기 프로세서에 결합된 메모리, 및 상기 프로세서에 결합된 송신기를 포함하고, 상기 프로세서, 수신기, 메모리, 및 송신기는 제1항 내지 제14항 중 어느 한 항의 방법을 수행하도록 구성되는 비디오 코딩 디바이스.
  16. 비디오 코딩 디바이스에 의한 사용을 위한 컴퓨터 프로그램 제품을 포함하는 비일시적 컴퓨터 판독가능 매체로서, 상기 컴퓨터 프로그램 제품은, 프로세서에 의해 실행될 때 상기 비디오 코딩 디바이스로 하여금 제1항 내지 제14항 중 어느 한 항의 방법을 수행하게 하도록 하는, 상기 비일시적 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 실행가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체.
  17. 디코더로서,
    하나 이상의 계층 및 스케일러블 네스팅 SEI(supplemental enhancement information) 메시지를 포함하는 비트스트림을 수신하기 위한 수신 수단- 상기 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지 및 스케일러블 네스팅 OLS(output layer set) 플래그를 포함하고, 상기 스케일러블 네스팅 OLS 플래그는 상기 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하도록 설정됨 -;
    상기 스케일러블 네스팅 SEI 메시지들에 기초하여, 상기 하나 이상의 계층으로부터의 코딩된 픽처를 디코딩하여, 디코딩된 픽처를 생성하기 위한 디코딩 수단; 및
    디코딩된 비디오 시퀀스의 일부로서의 디스플레이를 위해 상기 디코딩된 픽처를 포워딩하기 위한 포워딩 수단을 포함하는 디코더.
  18. 제17항에 있어서, 상기 디코더는 제1항 내지 제7항 중 어느 한 항의 방법을 수행하도록 추가로 구성되는 디코더.
  19. 인코더로서,
    하나 이상의 계층을 포함하는 비트스트림을 인코딩하고; 스케일러블 네스팅 SEI(supplemental enhancement information) 메시지를 상기 비트스트림으로 인코딩하기 위한 인코딩 수단- 상기 스케일러블 네스팅 SEI 메시지는 하나 이상의 스케일러블 네스팅 SEI 메시지 및 스케일러블 네스팅 OLS(output layer set) 플래그를 포함하고, 상기 스케일러블 네스팅 OLS 플래그는 상기 스케일러블 네스팅 SEI 메시지들이 특정 OLS들에 적용되는지 또는 특정 계층들에 적용되는지를 특정하도록 설정됨 -;
    상기 스케일러블 네스팅 SEI 메시지에 기초하여 비트스트림 적합성 테스트들의 세트를 수행하기 위한 HRD(hypothetical reference decoder) 수단; 및
    디코더를 향한 통신을 위한 상기 비트스트림을 저장하기 위한 저장 수단을 포함하는 인코더.
  20. 제19항에 있어서, 상기 인코더는 제8항 내지 제14항 중 어느 한 항의 방법을 수행하도록 추가로 구성되는 인코더.
KR1020227013401A 2019-09-24 2020-09-11 Ols에 대한 스케일러블 네스팅 sei 메시지들 KR20220065046A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962905143P 2019-09-24 2019-09-24
US62/905,143 2019-09-24
PCT/US2020/050395 WO2021061428A1 (en) 2019-09-24 2020-09-11 Scalable nesting sei messages for ols

Publications (1)

Publication Number Publication Date
KR20220065046A true KR20220065046A (ko) 2022-05-19

Family

ID=75166791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227013401A KR20220065046A (ko) 2019-09-24 2020-09-11 Ols에 대한 스케일러블 네스팅 sei 메시지들

Country Status (8)

Country Link
US (1) US20220217375A1 (ko)
EP (1) EP4026317A4 (ko)
JP (2) JP7419507B2 (ko)
KR (1) KR20220065046A (ko)
CN (2) CN114900697B (ko)
AU (1) AU2020352900A1 (ko)
BR (1) BR112022005407A2 (ko)
WO (1) WO2021061428A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022550320A (ja) * 2019-09-24 2022-12-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオ符号化におけるｓｅｉメッセージ依存性の簡略化
WO2021237123A1 (en) 2020-05-22 2021-11-25 Bytedance Inc. Sei message handling in video sub-bitstream extraction process
BR122023020999A2 (pt) * 2020-05-22 2024-02-27 Ge Video Compression, Llc Aparelho e método para receber fluxo de dados de vídeo, fluxo de dados de vídeo, codificador e decodificador de vídeo, e método para codificar um vídeo em um fluxo de dados de vídeo
JP2023529823A (ja) * 2020-06-09 2023-07-12 バイトダンス インコーポレイテッド マルチレイヤ映像ビットストリームのサブビットストリーム抽出

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2612577C2 (ru) * 2012-07-02 2017-03-09 Нокиа Текнолоджиз Ой Способ и устройство для кодирования видеоинформации
US9380317B2 (en) * 2012-10-08 2016-06-28 Qualcomm Incorporated Identification of operation points applicable to nested SEI message in video coding
WO2015009693A1 (en) * 2013-07-15 2015-01-22 Sony Corporation Layer based hrd buffer management for scalable hevc
JP6465863B2 (ja) 2014-03-14 2019-02-06 シャープ株式会社 画像復号装置、画像復号方法及び記録媒体
US20150264404A1 (en) 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US10880565B2 (en) * 2014-03-24 2020-12-29 Qualcomm Incorporated Use of specific HEVC SEI messages for multi-layer video codecs
US10645404B2 (en) * 2014-03-24 2020-05-05 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US9769492B2 (en) * 2014-06-06 2017-09-19 Qualcomm Incorporated Conformance parameters for bitstream partitions
US20170324981A1 (en) 2014-06-19 2017-11-09 Sharp Kabushiki Kaisha Method for decoding a video bitstream
EP3241352B1 (en) * 2014-12-31 2021-11-24 Nokia Technologies Oy Inter-layer prediction for scalable video coding and decoding

Also Published As

Publication number Publication date
CN114514747A (zh) 2022-05-17
US20220217375A1 (en) 2022-07-07
CN114900697B (zh) 2023-04-11
CN114900697A (zh) 2022-08-12
EP4026317A4 (en) 2022-11-23
AU2020352900A1 (en) 2022-04-14
JP2024041890A (ja) 2024-03-27
JP2022550710A (ja) 2022-12-05
WO2021061428A1 (en) 2021-04-01
JP7419507B2 (ja) 2024-01-22
BR112022005407A2 (pt) 2022-06-21
EP4026317A1 (en) 2022-07-13

Similar Documents

Publication Publication Date Title
US20220217388A1 (en) Decoded Picture Buffer Operation For Resolution Changes
EP4026335A1 (en) Dpb size based reference picture entry constraints
US20220217394A1 (en) HRD Parameters For Layer Based Conformance Testing
US20220217375A1 (en) Scalable Nesting SEI Messages For OLSs
US20220217391A1 (en) Scalable Nesting SEI Messages For Specified Layers

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal