KR20160070769A - 멀티-계층 비디오 코덱들에 대한 멀티-모드 추출의 지원 - Google Patents
멀티-계층 비디오 코덱들에 대한 멀티-모드 추출의 지원 Download PDFInfo
- Publication number
- KR20160070769A KR20160070769A KR1020167010853A KR20167010853A KR20160070769A KR 20160070769 A KR20160070769 A KR 20160070769A KR 1020167010853 A KR1020167010853 A KR 1020167010853A KR 20167010853 A KR20167010853 A KR 20167010853A KR 20160070769 A KR20160070769 A KR 20160070769A
- Authority
- KR
- South Korea
- Prior art keywords
- bitstream
- extraction mode
- layer
- target output
- pictures
- Prior art date
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 381
- 230000000153 supplemental effect Effects 0.000 claims abstract description 6
- 239000010410 layer Substances 0.000 claims description 449
- 238000000034 method Methods 0.000 claims description 166
- 230000002123 temporal effect Effects 0.000 claims description 102
- 238000012545 processing Methods 0.000 claims description 74
- 230000008569 process Effects 0.000 claims description 31
- 239000011229 interlayer Substances 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims 2
- 241000023320 Luma <angiosperm> Species 0.000 description 44
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 44
- 238000004891 communication Methods 0.000 description 26
- 238000003860 storage Methods 0.000 description 25
- 230000005540 biological transmission Effects 0.000 description 22
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 21
- 239000000284 extract Substances 0.000 description 19
- 239000013598 vector Substances 0.000 description 17
- 238000013139 quantization Methods 0.000 description 15
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 14
- 230000003139 buffering effect Effects 0.000 description 14
- 238000013500 data storage Methods 0.000 description 14
- 230000009466 transformation Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 9
- 238000000638 solvent extraction Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000011664 signaling Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 4
- 230000008685 targeting Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 3
- 241000985610 Forpus Species 0.000 description 3
- 238000007792 addition Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012432 intermediate storage Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- OXNIZHLAWKMVMX-UHFFFAOYSA-M picrate anion Chemical compound [O-]C1=C([N+]([O-])=O)C=C([N+]([O-])=O)C=C1[N+]([O-])=O OXNIZHLAWKMVMX-UHFFFAOYSA-M 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- VVIAGPKUTFNRDU-ZGTCLIOFSA-N Pteroyl-D-glutamic acid Chemical compound C1NC=2NC(N)=NC(=O)C=2N(C=O)C1CNC1=CC=C(C(=O)N[C@H](CCC(O)=O)C(O)=O)C=C1 VVIAGPKUTFNRDU-ZGTCLIOFSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- FPIPGXGPPPQFEQ-OVSJKPMPSA-N all-trans-retinol Natural products OC\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-OVSJKPMPSA-N 0.000 description 1
- 235000019169 all-trans-retinol Nutrition 0.000 description 1
- 239000011717 all-trans-retinol Substances 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 229940075930 picrate Drugs 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4343—Extraction or processing of packetized elementary streams [PES]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
컴퓨팅 디바이스는 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 1 비트스트림을 생성하기 위하여 이용되었던 추출 모드의 표시를 포함하는 보충 강화 정보 (Supplemental Enhancement Information; SEI) 메시지를 획득할 수도 있다. 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함한다. 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다.
Description
이 출원은 2013 년 10 월 15 일자로 출원된 미국 특허 가출원 제 61/891,317 호 및 2014 년 1 월 3 일자로 출원된 미국 특허 가출원 제 61/923,624 호의 이익을 주장하고, 그 각각의 전체 내용은 참조에 의해 본원에 편입된다.
이 개시물은 비디오 인코딩 및 디코딩에 관한 것이다.
디지털 비디오 기능들은, 디지털 텔레비전들, 디지털 다이렉트 브로드캐스트 시스템 (digital direct broadcast system) 들, 무선 브로드캐스트 시스템들, 개인 정보 단말 (personal digital assistant; PDA) 들, 랩톱 또는 데스크톱 컴퓨터들, 태블릿 컴퓨터들, 전자책 리더 (e-book reader) 들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게임용 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 라디오 전화들, 소위 "스마트폰들", 화상 원격회의 디바이스들, 비디오 스트리밍 디바이스들 등을 포함하는 광범위한 디바이스들 내로 편입될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, 진보된 비디오 코딩 (Advanced Video Coding; AVC) 에 의해 정의된 표준들, 고효율 비디오 코딩 (High Efficiency Video Coding; HEVC) 표준, 및 이러한 표준들의 확장들에서 설명된 것들과 같은 비디오 압축 기법들을 구현한다. 비디오 디바이스들은 이러한 비디오 압축 기법들을 구현함으로써 디지털 비디오 정보를 더욱 효율적으로 송신하고, 수신하고, 인코딩하고, 디코딩하고, 및/또는 저장할 수도 있다.
비디오 압축 기법들은 비디오 시퀀스들에 내재된 중복성을 감소시키거나 제거하기 위하여 공간적 (인트라-픽처 (intra-picture)) 예측 및/또는 시간적 (인터-픽처 (inter-picture)) 예측을 수행한다. 블록-기반 비디오 코딩을 위하여, 비디오 슬라이스 (즉, 비디오 프레임 또는 비디오 프레임의 부분) 는 비디오 블록들로 파티셔닝 (partition) 될 수도 있다. 픽처의 인트라-코딩된 (I) 슬라이스에서의 비디오 블록들은 동일한 픽처에서의 이웃하는 블록들 내의 참조 샘플들에 대한 공간적 예측을 이용하여 인코딩된다. 픽처의 인터-코딩된 (P 또는 B) 슬라이스 내의 비디오 블록들은 동일한 픽처에서의 이웃하는 블록들 내의 참조 샘플들에 대한 공간적 예측, 또는 다른 참조 픽처들에서의 참조 샘플들에 대한 시간적 예측을 이용할 수도 있다. 픽처들은 프레임들로서 지칭될 수도 있고, 참조 픽처들은 참조 프레임들로서 지칭될 수도 있다.
공간적 또는 시간적 예측은 코딩되어야 할 블록에 대한 예측 블록으로 귀착된다. 잔차 데이터 (residual data) 는 코딩되어야 할 원래의 블록 및 예측 블록 사이의 픽셀 차이들을 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 지시하는 모션 벡터에 따라 인코딩되고, 잔차 데이터는 코딩된 블록 및 예측 블록 사이의 차이를 표시한다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가의 압축을 위하여, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환되어 잔차 계수들로 귀착될 수도 있고, 이 잔차 계수들은 그 후에 양자화될 수도 있다. 2 차원 어레이로 초기에 배열된 양자화된 계수들은 계수들의 1 차원 벡터를 생성하기 위하여 스캔될 수도 있고, 엔트로피 코딩 (entropy coding) 은 훨씬 더 많은 압축을 달성하도록 적용될 수도 있다.
멀티-뷰 코딩 비트스트림은 예를 들어, 다수의 관점들로부터의 뷰들을 인코딩함으로써 생성될 수도 있다. 멀티-뷰 코딩 양태들을 이용하는 일부의 3 차원 (3D) 비디오 표준들이 개발되었다. 예를 들어, 상이한 뷰들은 3D 비디오를 지원하기 위하여 좌안 및 우안 뷰들을 송신할 수도 있다. 대안적으로, 일부의 3D 비디오 코딩 프로세스들은 소위 멀티-뷰 플러스 심도 코딩 (multi-view plus depth coding) 을 적용할 수도 있다. 멀티-뷰 플러스 심도 코딩에서, 3D 비디오 비트스트림은 텍스처 뷰 (texture view) 컴포넌트들뿐만 아니라, 심도 뷰 (depth view) 컴포넌트들을 포함할 수도 있다. 예를 들어, 각각의 뷰는 하나의 텍스처 뷰 컴포넌트 및 하나의 심도 뷰 컴포넌트를 포함할 수도 있다.
일반적으로, 이 개시물은 멀티-계층 비디오 코덱들에 대한 멀티-모드 비트스트림 추출 모드들의 더욱 양호한 지원을 위한 방법들, 다수의 모드들의 각각으로 추출된 서브-비트스트림들이 멀티-계층 비디오 코덱에서 뿐만 아니라 시스템 계층들에서도 멀티-모드 추출의 기능의 표시를 따르는 것을 가능하게 하는 것을 포함하는 기법들에 관한 것이다.
하나의 양태에서, 이 개시물은 비디오 데이터를 프로세싱하는 방법을 설명하고, 상기 방법은, 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 보충 강화 정보 (Supplemental Enhancement Information; SEI) 메시지를 획득하는 단계를 포함하며, 여기서 제 1 비트스트림은 추출 모드에 따라 제 2 비트스트림으로부터 추출된 서브-비트스트림이고, 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 네트워크 추상화 계층 (Network Abstraction Layer; NAL) 유닛들을 포함하고, 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다.
또 다른 양태에서, 이 개시물은 비디오 데이터를 프로세싱하는 방법을 설명하고, 상기 방법은, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 생성하는 단계로서, 제 1 비트스트림은 비디오 데이터의 코딩된 표현을 포함하고, 제 1 비트스트림은 추출 모드에 따라 제 2 비트스트림으로부터 추출된 서브-비트스트림이고, 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 NAL 유닛들을 포함하고, 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는, 상기 SEI 메시지를 생성하는 단계; 및 제 1 비트스트림에서 SEI 메시지를 포함하는 단계를 포함한다.
또 다른 양태에서, 이 개시물은 비디오 데이터를 프로세싱하기 위한 디바이스를 설명하고, 상기 디바이스는, 비디오 데이터를 저장하는 메모리; 및 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 획득하도록 구성된 하나 이상의 프로세서들을 포함하며, 여기서 제 1 비트스트림은 추출 모드에 따라 제 2 비트스트림으로부터 추출된 서브-비트스트림이고, 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 NAL 유닛들을 포함하고, 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다.
또 다른 양태에서, 이 개시물은 비디오 데이터를 프로세싱하기 위한 디바이스를 설명하고, 상기 디바이스는, 비디오 데이터를 저장하는 메모리; 및 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 생성하는 것으로서, 제 1 비트스트림은 비디오 데이터의 코딩된 표현을 포함하고, 제 1 비트스트림은 추출 모드에 따라 제 2 비트스트림으로부터 추출된 서브-비트스트림이고, 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 NAL 유닛들을 포함하고, 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는, 상기 SEI 메시지를 생성하고; 그리고 제 1 비트스트림에서 SEI 메시지를 포함하도록 구성된 하나 이상의 프로세서들을 포함한다.
또 다른 양태에서, 이 개시물은 비디오 데이터를 프로세싱하기 위한 디바이스를 설명하고, 상기 디바이스는, 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 획득하기 위한 수단을 포함하며, 여기서 제 1 비트스트림은 추출 모드에 따라 제 2 비트스트림으로부터 추출된 서브-비트스트림이고, 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 NAL 유닛들을 포함하고, 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다.
또 다른 양태에서, 이 개시물은 비디오 데이터를 프로세싱하기 위한 디바이스를 설명하고, 상기 디바이스는, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 생성하기 위한 수단으로서, 제 1 비트스트림은 비디오 데이터의 코딩된 표현을 포함하고, 제 1 비트스트림은 추출 모드에 따라 제 2 비트스트림으로부터 추출된 서브-비트스트림이고, 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 NAL 유닛들을 포함하고, 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는, 상기 SEI 메시지를 생성하기 위한 수단; 및 제 1 비트스트림에서 SEI 메시지를 포함하기 위한 수단을 포함한다.
또 다른 양태에서, 이 개시물은 명령들을 저장한 컴퓨터-판독가능 데이터 저장 매체를 설명하고, 상기 명령들은, 실행될 경우, 디바이스로 하여금, 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 획득하게 하며, 여기서 제 1 비트스트림은 추출 모드에 따라 제 2 비트스트림으로부터 추출된 서브-비트스트림이고, 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 NAL 유닛들을 포함하고, 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다.
또 다른 양태에서, 이 개시물은 명령들을 저장한 컴퓨터-판독가능 데이터 저장 매체를 설명하고, 상기 명령들은, 실행될 경우, 디바이스로 하여금, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 생성하게 하는 것으로서, 제 1 비트스트림은 비디오 데이터의 코딩된 표현을 포함하고, 제 1 비트스트림은 추출 모드에 따라 제 2 비트스트림으로부터 추출된 서브-비트스트림이고, 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 NAL 유닛들을 포함하고, 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는, 상기 SEI 메시지를 생성하게 하고; 그리고 제 1 비트스트림에서 SEI 메시지를 포함하게 한다.
개시물의 하나 이상의 예들의 세부 사항들은 첨부한 도면들 및 이하의 설명에서 기재된다. 다른 특징들, 목적들, 및 장점들은 설명 , 도면들, 및 청구항들로부터 명백할 것이다.
도 1 은 이 개시물에서 설명된 기법들을 사용할 수도 있는 일 예의 비디오 코딩 시스템을 예시하는 블록도이다.
도 2 는 일 예의 비디오 인코더를 예시하는 블록도이다.
도 3 은 일 예의 비디오 디코더를 예시하는 블록도이다.
도 4 는 이 개시물의 하나 이상의 기법들에 따라, 일 예의 중간 디바이스를 예시하는 블록도이다.
도 5a 는 이 개시물의 하나 이상의 기법들에 따라, 컴퓨팅 디바이스의 일 예의 동작을 예시하는 플로우차트이다.
도 5b 는 이 개시물의 하나 이상의 기법들에 따라, 컴퓨팅 디바이스의 일 예의 동작을 예시하는 플로우차트이다.
도 2 는 일 예의 비디오 인코더를 예시하는 블록도이다.
도 3 은 일 예의 비디오 디코더를 예시하는 블록도이다.
도 4 는 이 개시물의 하나 이상의 기법들에 따라, 일 예의 중간 디바이스를 예시하는 블록도이다.
도 5a 는 이 개시물의 하나 이상의 기법들에 따라, 컴퓨팅 디바이스의 일 예의 동작을 예시하는 플로우차트이다.
도 5b 는 이 개시물의 하나 이상의 기법들에 따라, 컴퓨팅 디바이스의 일 예의 동작을 예시하는 플로우차트이다.
일반적으로, 코딩된 비디오 비트스트림은 코딩된 픽처들을 나타내는 비트들의 시퀀스와, 하나 이상의 코딩된 비디오 시퀀스들을 형성하는 연관된 데이터를 포함한다. 비트들의 시퀀스는 네트워크 추상화 계층 (Network Abstraction Layer; NAL) 유닛 스트림 또는 바이트 스트림으로 형성될 수도 있다. NAL 유닛 스트림은 NAL 유닛들의 스트림이다. 멀티-뷰 코딩 및 스케일러블 비디오 코딩 (scalable video coding) 에서, 각각의 NAL 유닛은 NAL 유닛이 속하는 계층을 특정할 수도 있다. 동일한 비트스트림에서의 상이한 NAL 유닛들은 상이한 NAL 유닛들이 상이한 계층들에 속한다는 것을 특정할 수도 있다. 멀티-뷰 코딩에서, 계층들의 각각은 상이한 뷰에 대응할 수도 있다. 스케일러블 비디오 코딩에서, 계층들은 기본 계층 및 하나 이상의 강화 계층들을 포함할 수도 있다. 특정 계층에 속하는 NAL 유닛은 코딩된 픽처의 데이터를 포함할 수도 있으므로, 코딩된 픽처는 또한, 특정 계층에 속하는 것으로 말할 수도 있다.
비트스트림의 크기를 감소시키기 위하여, 컴퓨팅 디바이스는 비트스트림으로부터 특정 NAL 유닛들을 추출할 수도 있다. 예를 들어, 컴퓨팅 디바이스는 계층들의 특정 세트에 속하는 NAL 유닛들의 전부를 비트스트림으로부터 추출할 수도 있다. 비트스트림으로부터 추출된 NAL 유닛들은 비트스트림의 서브세트 (subset) 이다. 이 개시물은 또 다른 비트스트림으로부터 추출된 NAL 유닛들을 포함하는 비트스트림을 서브-비트스트림으로서 지칭할 수도 있다. 서브-비트스트림은 비트스트림으로부터 추출되지 않은 NAL 유닛들의 이용 없이 디코딩가능할 수도 있다. 컴퓨팅 디바이스는 비트스트림으로부터 추출되지 않은 NAL 유닛들을 폐기할 수도 있다. 대안적으로, 컴퓨팅 디바이스는 공통의 소스 비트스트림으로부터 하나 이상의 서브-비트스트림들을 추출할 수도 있고, 다양한 서브-비트스트림들을 위한 데이터뿐만 아니라, 소스 비트스트림을 위한 데이터도 상이한 각각의 목적지들로 포워딩할 수도 있다. 설명의 용이함을 위하여, 이 개시물은 비트스트림으로부터 서브-비트스트림의 NAL 유닛들을 추출하는 것을, 비트스트림으로부터 서브-비트스트림을 추출하는 것으로서 설명할 수도 있다.
컴퓨팅 디바이스는 다양한 추출 모드들에 따라 비트스트림으로부터 서브-비트스트림을 추출할 수도 있다. 일반적으로, 추출 모드는 소스 비트스트림으로부터 서브-비트스트림을 추출하는 모드이다. 예를 들어, 컴퓨팅 디바이스가 하나의 추출 모드에 따라 비트스트림으로부터 서브-비트스트림을 추출할 때, 서브-비트스트림은 "완전-추출가능한" 것일 수도 있다. 서브-비트스트림이 완전-추출가능할 경우, 재귀적으로 서브-비트스트림으로부터 추가로 추출된 각각의 서브-비트스트림은 정합 비트스트림 (conforming bitstream) 일 수 있다. 이 개시물에서, 정합 비트스트림은 비디오 코딩 표준에 따르는 비트스트림일 수도 있다. 다시 말해서, 정합 비트스트림은 비디오 코딩 표준에 따라 정확하게 디코딩될 수 있는 비트스트림이다. 또 다른 예에서, 컴퓨팅 디바이스가 또 다른 추출 모드에 따라 비트스트림으로부터 서브-비트스트림을 추출할 때, 서브-비트스트림은 "크기-최적화된 (size-optimized)" 것일 수도 있다. 비트스트림으로부터 추출된 서브-비트스트림이 크기 최적화될 경우, 서브-비트스트림은 타겟 출력 계층들의 세트의 정확한 디코딩을 위해 필요하게 되지 않는 비트스트림의 픽처들을 제외할 수도 있고, 이것은 적용가능한 비디오 코딩 표준에 더 이상 따르지 않는 서브-비트스트림으로 귀착될 수도 있지만, 그럼에도 불구하고, 디코딩가능한 상태로 유지될 수도 있다. 타겟 출력 계층들의 세트에서의 각각의 계층은 추후의 출력 (예컨대, 디스플레이) 을 위해 의도되는 픽처들을 포함할 수도 있다. 크기-최적화된 비트스트림은 타겟 출력 계층들의 세트 이외의 계층들에 속하는 NAL 유닛들을 포함할 수도 있는데, 이것은 이러한 NAL 유닛들이 타겟 출력 계층들의 세트의 픽처들의 디코딩을 위해 필요한 데이터를 포함할 수도 있기 때문이다. 크기-최적화된 비트스트림이 이러한 픽처들을 제외하므로, 크기-최적화된 비트스트림으로부터 특정 서브-비트스트림들을 추출하는 것이 불가능할 수도 있다. 예를 들어, 크기-최적화된 비트스트림은 인터-계층 (예컨대, 인터-뷰) 예측을 위해 이용되는 특정 계층의 NAL 유닛들을 포함할 수도 있지만, 특정 계층의 다른 NAL 유닛들, 예컨대, 인터-계층 예측을 위해 이용되지 않는 NAL 유닛들을 제외할 수도 있다. 이에 따라, 완전 추출가능한 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함할 수도 있지만, 크기-최적화된 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다.
비트스트림을 수신하는 미디어 인지 네트워크 엘리먼트 (Media Aware Network Element; MANE) 와 같은 컴퓨팅 디바이스는 만약 존재할 경우, 비트스트림을 생성하기 위하여 이용된 추출 모드를 결정할 수 없을 수도 있다. 예를 들어, 컴퓨팅 디바이스가 비트스트림이 완전-추출가능한 비트스트림인지 또는 크기-최적화된 비트스트림인지 여부를 결정하는 것은 비현실적일 수도 있다. 컴퓨팅 디바이스가 비트스트림으로부터 서브-비트스트림을 추출하고 비트스트림이 우연히 완전-추출가능한 비트스트림일 경우, 추출된 서브-비트스트림은 비디오 디코더가 디코딩할 수 있을 수도 있는 정합 비트스트림이다. 그러나, 컴퓨팅 디바이스가 비트스트림으로부터 서브-비트스트림을 추출하고 비트스트림이 우연히 크기-최적화된 비트스트림일 경우, 추출된 서브-비트스트림은 비디오 디코더가 디코딩할 수 있는 정합 비트스트림이 아닐 수도 있다.
이 개시물의 기법들은 이 쟁점을 해결할 수도 있다. 예를 들어, 이 개시물의 하나 이상의 기법들에 따르면, 컴퓨팅 디바이스는 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 보충 강화 정보 (SEI) 메시지를 획득할 수도 있다. 제 1 비트스트림은 추출 모드에 따라 제 2 비트스트림으로부터 추출된 서브-비트스트림이다. 추출 모드가 제 1 추출 모드인지 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 네트워크 추상화 계층 (NAL) 유닛들을 포함한다. 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함한다. 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다. 유사하게, 컴퓨팅 디바이스는 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 생성할 수도 있다. 컴퓨팅 디바이스는 제 1 비트스트림에서 SEI 메시지를 포함할 수도 있다.
도 1 은 이 개시물의 기법들을 이용할 수도 있는 일 예의 비디오 코딩 시스템 (10) 을 예시하는 블록도이다. 본원에서 이용된 바와 같이, 용어 "비디오 코더" 는 일반적으로 비디오 인코더들 및 비디오 디코더들의 양자를 지칭한다. 이 개시물에서, 용어들 "비디오 코딩" 또는 "코딩" 은 일반적으로 비디오 인코딩 또는 비디오 디코딩을 지칭할 수도 있다.
도 1 에서 도시된 바와 같이, 비디오 코딩 시스템 (10) 은 소스 디바이스 (12) 및 목적지 디바이스 (14) 를 포함한다. 소스 디바이스 (12) 는 인코딩된 비디오 데이터를 생성한다. 따라서, 소스 디바이스 (12) 는 비디오 인코딩 디바이스 또는 비디오 인코딩 장치로서 지칭될 수도 있다. 목적지 디바이스 (14) 는 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오 데이터를 디코딩할 수도 있다. 따라서, 목적지 디바이스 (14) 는 비디오 디코딩 디바이스 또는 비디오 디코딩 장치로서 지칭될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 비디오 코딩 디바이스들 또는 비디오 코딩 장치들의 예들일 수도 있다.
소스 디바이스 (12) 및 목적지 디바이스 (14) 는, 데스크톱 컴퓨터들, 이동 컴퓨팅 디바이스들, 노트북 (예컨대, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 (set-top) 박스들, 소위 "스마트" 폰들과 같은 전화 핸드셋들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게임용 콘솔들, 차량내 컴퓨터들 등을 포함하는 광범위한 디바이스들을 포함할 수도 있다.
목적지 디바이스 (14) 는 채널 (16) 을 통해 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신할 수도 있다. 채널 (16) 은 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동시킬 수 있는 하나 이상의 매체들 또는 디바이스들을 포함할 수도 있다. 하나의 예에서, 채널 (16) 은 소스 디바이스 (12) 가 인코딩된 비디오 데이터를 실시간으로 목적지 디바이스 (14) 로 직접적으로 송신하는 것을 가능하게 하는 하나 이상의 통신 매체들을 포함할 수도 있다. 이 예에서, 소스 디바이스 (12) 는 무선 통신 프로토콜과 같은 통신 표준에 따라 인코딩된 비디오 데이터를 변조시킬 수도 있고, 변조된 비디오 데이터를 목적지 디바이스 (14) 로 송신할 수도 있다. 하나 이상의 통신 매체들은 라디오 주파수 (radio frequency; RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들과 같은 무선 및/또는 유선 통신 매체들을 포함할 수도 있다. 하나 이상의 통신 매체들은 로컬 영역 네트워크, 광역 네트워크, 또는 글로벌 네트워크 (예컨대, 인터넷) 와 같은 패킷-기반 네트워크의 일부를 형성할 수도 있다. 하나 이상의 통신 매체들은 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는 다른 장비를 포함할 수도 있다.
또 다른 예에서, 채널 (16) 은 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오 데이터를 저장하는 저장 매체를 포함할 수도 있다. 이 예에서, 목적지 디바이스 (14) 는 예컨대, 디스크 액세스 또는 카드 액세스를 통해 저장 매체를 액세스할 수도 있다. 저장 매체는 블루-레이 (Blu-ray) 디스크들, DVD 들, CD-ROM 들, 플래시 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 다른 적당한 디지털 저장 매체들과 같은, 다양한 국소적으로 액세스된 데이터 저장 매체들을 포함할 수도 있다.
추가의 예에서, 채널 (16) 은 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오 데이터를 저장하는 파일 서버 또는 또 다른 중간 저장 디바이스를 포함할 수도 있다. 이 예에서, 목적지 디바이스 (14) 는 스트리밍 또는 다운로드를 통해 파일 서버 또는 다른 중간 저장 디바이스에서 저장된 인코딩된 비디오 데이터를 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장할 수 있으며 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 송신할 수 있는 타입의 서버일 수도 있다. 일 예의 파일 서버들은 (예컨대, 웹사이트를 위한) 웹 서버들, 파일 전송 프로토콜 (file transfer protocol; FTP) 서버들, 네트워크 연결 저장 (network attached storage; NAS) 디바이스들, 및 로컬 디스크 드라이브들을 포함한다.
또한, 도 1 의 예에서, 비디오 코딩 시스템 (10) 은 중간 디바이스 (19) 를 포함한다. 중간 디바이스 (19) 는 소스 디바이스 (12) 에 의해 인코딩된 비디오 데이터를 수신할 수도 있다. 일부의 예들에서, 중간 디바이스 (19) 는 채널 (16) 과 유사한 채널을 통해 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신할 수도 있다. 중간 디바이스 (19) 는 인코딩된 비디오 데이터를 프로세싱할 수도 있다. 예를 들어, 중간 디바이스 (19) 는 인코딩된 비디오 데이터로부터 특정 NAL 유닛들을 제거하기 위하여, 비트스트림 추출을 인코딩된 비디오 데이터에 적용할 수도 있다. 목적지 디바이스 (14) 는 중간 디바이스 (19) 에 의해 프로세싱된 비디오 데이터를 수신할 수도 있다. 일부의 예들에서, 목적지 디바이스 (14) 는 채널 (16) 과 유사한 채널을 통해 프로세싱된 비디오 데이터를 수신할 수도 있다. 다양한 예들에서, 중간 디바이스 (19) 는 다양한 타입들의 컴퓨팅 디바이스들을 포함할 수도 있다. 예를 들어, 일부의 예들에서, 중간 디바이스 (19) 는 미디어 인지 네트워크 엘리먼트 (MANE) 를 포함한다. 또한, 일부의 예들에서, 중간 디바이스 (19) 는 컨텐츠 전달 네트워크 (content delivery network; CDN) 의 일부이다.
목적지 디바이스 (14) 는 인터넷 접속과 같은 표준 데이터 접속을 통해 인코딩된 비디오 데이터를 액세스할 수도 있다. 일 예의 타입들의 데이터 접속들은, 파일 서버 상에 저장된 인코딩된 비디오 데이터를 액세스하기 위해 적당한 무선 채널들 (예컨대, Wi-Fi 접속들), 유선 접속들 (예컨대, 디지털 가입자 회선 (digital subscriber line; DSL), 케이블 모뎀 등), 또는 양자의 조합들을 포함할 수도 있다. 파일 서버로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 양자의 조합일 수도 있다.
이 개시물의 기법들은 무선 애플리케이션들 또는 세팅 (setting) 들로 제한되지 않는다. 기법들은 오버-디-에어 (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 예컨대, 인터넷을 통한 스트리밍 비디오 송신들, 데이터 저장 매체 상에서의 저장을 위한 비디오 데이터의 인코딩, 데이터 저장 매체 상에 저장된 비디오 데이터의 디코딩, 또는 다른 애플리케이션들과 같은 다양한 멀티미디어 애플리케이션들의 지원 하에서 비디오 코딩에 적용될 수도 있다. 일부의 예들에서, 비디오 코딩 시스템 (10) 은 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스팅, 및/또는 영상 통화 (video telephony) 와 같은 애플리케이션들을 지원하기 위하여 일방향 (one-way) 또는 양방향 (two-way) 비디오 송신을 지원하도록 구성될 수도 있다.
도 1 은 예에 불과하고, 이 개시물의 기법들은 인코딩 및 디코딩 디바이스들 사이의 임의의 데이터 통신을 반드시 포함하지는 않는 비디오 코딩 세팅들 (예컨대, 비디오 인코딩 또는 비디오 디코딩) 에 적용할 수도 있다. 다른 예들에서, 데이터는 로컬 메모리로부터 취출 (retrieve) 되고, 네트워크를 통해 스트리밍되는 등등과 같다. 비디오 인코딩 디바이스는 데이터를 인코딩하여 데이터를 메모리에 저장할 수도 있고, 및/또는 비디오 디코딩 디바이스는 메모리로부터 데이터를 취출하여 데이터를 디코딩할 수도 있다. 다수의 예들에서, 인코딩 및 디코딩은, 서로 통신하지 않지만, 간단하게 데이터를 메모리로 인코딩하고 및/또는 메모리로부터 데이터를 취출하여 데이터를 디코딩하는 디바이스들에 의해 수행된다.
도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 일부의 예들에서, 출력 인터페이스 (22) 는 변조기/복조기 (모뎀) 및/또는 송신기를 포함할 수도 있다. 비디오 소스 (18) 는 비디오 캡처 디바이스, 예컨대, 비디오 카메라, 이전에 캡처된 비디오 데이터를 포함하는 비디오 아카이브 (video archive), 비디오 컨텐츠 제공자로부터 비디오 데이터를 수신하기 위한 비디오 공급 인터페이스, 및/또는 비디오 데이터를 생성하기 위한 컴퓨터 그래픽 시스템, 또는 비디오 데이터의 이러한 소스들의 조합을 포함할 수도 있다.
비디오 인코더 (20) 는 비디오 소스 (18) 로부터의 비디오 데이터를 인코딩할 수도 있다. 일부의 예들에서, 소스 디바이스 (12) 는 출력 인터페이스 (22) 를 통해 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 직접적으로 송신한다. 다른 예들에서, 인코딩된 비디오 데이터는 또한, 디코딩 및/또는 재생을 위한 목적지 디바이스 (14) 에 의한 더 이후의 액세스를 위하여 저장 매체 또는 파일 서버 상으로 저장될 수도 있다.
도 1 의 예에서, 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 일부의 예들에서, 입력 인터페이스 (28) 는 수신기 및/또는 모뎀을 포함한다. 입력 인터페이스 (28) 는 채널 (16) 상에서 인코딩된 비디오 데이터를 수신할 수도 있다. 비디오 디코더 (30) 는 인코딩된 비디오 데이터를 디코딩할 수도 있다. 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 디스플레이할 수도 있다. 디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합될 수도 있거나, 목적지 디바이스 (14) 의 외부에 있을 수도 있다. 디스플레이 디바이스 (32) 는 액정 디스플레이 (liquid crystal display; LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (organic light emitting diode; OLED) 디스플레이, 또는 또 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들을 포함할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 각각, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서 (digital signal processor; DSP) 들, 애플리케이션-특정 집적 회로 (application-pecific integrated circuit; ASIC) 들, 필드-프로그래밍가능 게이트 어레이 (field-programmable gate array; FPGA) 들, 개별 로직, 하드웨어, 또는 그 임의의 조합들과 같은 다양한 적당한 회로부 중의 임의의 것으로서 구현될 수도 있다. 기법들이 부분적으로 소프트웨어로 구현될 경우, 디바이스는 소프트웨어를 위한 명령들을 적당한 비-일시적인 (non-transitory) 컴퓨터-판독가능 저장 매체 내에 저장할 수도 있고, 이 개시물의 기법들을 수행하기 위하여 하나 이상의 프로세서들을 이용하여 명령들을 하드웨어로 실행할 수도 있다. (하드웨어, 소프트웨어, 하드웨어 및 소프트웨어의 조합 등을 포함하는) 상기한 것 중의 임의의 것은 하나 이상의 프로세서들인 것으로 고려될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 의 각각은 하나 이상의 인코더들 또는 디코더들 내에 포함될 수도 있고, 그 어느 하나는 조합된 인코더/디코더 (combined encoder/decoder; CODEC) 의 일부로서 각각의 디바이스 내에 통합될 수도 있다.
이 개시물은 일반적으로, 비디오 인코더 (20) 가 어떤 정보를 비디오 디코더 (30) 와 같은 또 다른 디바이스로 "시그널링하는 것" 을 지칭할 수도 있다. 용어 "시그널링" 은 일반적으로, 압축된 비디오 데이터를 디코딩하기 위하여 이용된 신택스 엘리먼트들 및/또는 다른 데이터의 통신을 지칭할 수도 있다. 이러한 통신은 실시간 또는 실시간에 근접하여 발생할 수도 있다. 대안적으로, 이러한 통신은, 인코딩 시에 인코딩된 비트스트림으로, 신택스 엘리먼트들을 컴퓨터-판독가능 저장 매체에 저장할 때에 발생할 수도 있는 것과 같이, 시간의 기간에 걸쳐 발생할 수도 있고, 그 다음으로, 신택스 엘리먼트들은 이 매체에 저장된 후의 임의의 시간에 디코딩 디바이스에 의해 취출될 수도 있다.
일부의 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 그 스케일러블 비디오 코딩 (Scalable Video Coding; SVC) 확장, 멀티-뷰 비디오 코딩 (Multi-view Video Coding; MVC) 확장, 및 MVC-기반 3DV 확장을 포함하는 (또한, ISO/IEC MPEG-4 AVC 로서 알려진) ISO/IEC MPEG-4 비주얼 (Visual) 및 ITU-T H.264 와 같은 비디오 압축 표준에 따라 동작한다. 일부의 사례들에서, H.264/AVC 의 MVC-기반 3DV 확장에 따르는 임의의 비트스트림은 H.264/AVC 의 MVC 확장에 따르는 서브-비트스트림을 항상 포함한다. 또한, H.264/AVC 에 대한 3 차원 비디오 (3DV) 코딩 확장, 즉, AVC-기반 3DV 를 생성하기 위한 진행 중인 노력이 있다. 다른 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 ITU-T H.261, ISO/IEC MPEG-1 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.264, 및 ITU-T H.264, ISO/IEC 비주얼에 따라 동작할 수도 있다.
또한, 다른 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 ITU-T 비디오 코딩 전문가 그룹 (Video Coding Experts Group; VCEG) 및 ISO/IEC 동화상 전문가 그룹 (Motion Picture Experts Group; MPEG) 의 비디오 코딩에 관한 합동 협력 팀 (JCT-VC) 에 의해 개발된 고효율 비디오 코딩 (High Efficiency Video Coding; HEVC), 또는 그 확장들에 따라 동작할 수도 있다. 이하에서 HEVC WD 또는 "HEVC 버전 1" 로서 본원에서 지칭된 HEVC 표준의 초안 사양은 http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip 으로부터 입수가능하다. HEVC 표준의 또 다른 초안 사양은 http://phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O1003-v2.zip 으로부터 입수가능하다.
HEVC 를 위한 스케일러블 비디오 코딩, 멀티-뷰 코딩, 및 3DV 확장들을 생성하기 위한 진행 중인 노력들이 있다. HEVC 의 스케일러블 비디오 코딩 확장은 SHEVC 또는 SHVC 로서 지칭될 수도 있다. 이하에서 SHVC WD3 으로서 지칭되는 SHVC 의 작업 초안 (WD) 은 http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip 으로부터 입수가능하다. 이하에서 SHVC WD4 로서 지칭되는 SHVC 의 또 다른 작업 초안은 http://phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O1008-v1.zip 으로부터 입수가능하다. HEVC 에 대한 멀티-뷰 확장, 즉, MV-HEVC 는 또한, JCT-3V 에 의해 개발되고 있다. 이하에서 MV-HEVC WD5 로서 본원에서 지칭되는 MV-HEVC 의 작업 초안 (WD) 은 http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1004-v6.zip 으로부터 입수가능하다. 이하에서 MV-HEVC WD6 으로서 본원에서 지칭된 MV-HEVC 의 또 다른 작업 초안은 http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1004-v6.zip 으로부터 입수가능하다.
현재, VCEG 및 MPEG 의 3D 비디오 코딩에 관한 합동 협력 팀 (JCT-3C) 은 HEVC 에 기초한 3DV 표준을 개발하고 있고, 표준화 노력들의 일부는 HEVC 에 기초한 멀티-뷰 비디오 코덱 (MV-HEVC) 과, HEVC 에 기초한 3D 비디오 코딩 (3D-HEVC) 에 대한 또 다른 일부의 표준화를 포함한다. MV-HEVC 를 위하여, 하이-레벨 신택스 (high-level syntax; HLS) 변경들만이 그것에서 제공되어, HEVC 내의 코딩 유닛 (coding unit; CU) / 예측 유닛 (prediction unit; PU) 레벨에서의 어떤 모듈도 재설계될 필요가 없고 MV-HEVC 를 위해 완전히 재이용될 수 없다는 것이 보장되어야 한다. 다시 말해서, MV-HEVC 는 CU/PU 레벨에서의 신택스 변경들과 같이, 로우-레벨 신택스 변경들이 아니라, 하이-레벨 신택스 변경들을 제공하기만 한다. 3D-HEVC 를 위하여, 텍스처 및 심도 뷰들 양자에 대한, 코딩 유닛/예측 유닛 레벨에서의 코딩 툴들을 포함하는 새로운 코딩 툴들이 포함될 수도 있고 지원될 수도 있다. 3D-HEVC 를 위한 테스트 모델 (예컨대, 소프트웨어 3D-HTM) 은 다음의 링크로부터 다운로드될 수 있다: [3D-HTM 버전 7.0]: https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-7.0/
3D-HEVC 의 참조 소프트웨어 설명뿐만 아니라 작업 초안은 다음과 같이 입수가능하다: Gerhard Tech, Krzysztof Wegner, Ying Chen, Sehoon Yea, "3D-HEVC Test Model 4 (3D-HEVC 테스트 모델 4)" JCT3V-D1005_spec_v1, ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11 의 3D 비디오 코딩 확장 개발에 관한 합동 협력 팀, 4 차 회의: Incheon, KR, 2013 년 4 월은 다음의 링크로부터 다운로드가능하다: http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1005-v1.zip. 3D-HEVC 의 참조 소프트웨어 설명의 또 다른 버전은 http://phenix.it-sudparis.eu/jct2/doc_end_user/current_document.php?id=706 으로부터 입수가능하다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 SHEVC, MV-HEVC, 및/또는 3D-HEVC 에 따라 동작할 수도 있다.
HEVC 및 다른 비디오 코딩 사양들에서, 비디오 시퀀스는 전형적으로 일련의 픽처들을 포함한다. 픽처들은 또한, "프레임들" 로서 지칭될 수도 있다. 픽처는 SL, SCb, 및 SCr 로 나타낸 3 개의 샘플 어레이들을 포함할 수도 있다. SL 은 루마 샘플 (luma sample) 들의 2 차원 어레이 (즉, 블록) 이다. SCb 는 Cb 색도 샘플 (chrominance sample) 들의 2 차원 어레이이다. SCr 은 Cr 색도 샘플들의 2 차원 어레이이다. 색도 샘플들은 또한, 본원에서 "크로마 (chroma)" 샘플들로서 지칭될 수도 있다. 다른 사례들에서, 픽처는 단색일 수도 있고 루마 샘플들의 어레이를 포함하기만 할 수도 있다.
픽처의 인코딩된 표현을 생성하기 위하여, 비디오 인코더 (20) 는 코딩 트리 유닛 (coding tree unit; CTU) 들의 세트를 생성할 수도 있다. CTU 들의 각각은 루마 샘플들의 코딩 트리 블록, 크로마 샘플들의 2 개의 대응하는 코딩 트리 블록들, 및 코딩 트리 블록들의 샘플들을 코딩하기 위하여 이용된 신택스 구조들을 포함할 수도 있다. 단색 픽처들, 또는 3 개의 별도의 컬러 평면들을 포함하는 픽처들에서는, CTU 가 단일 코딩 트리 블록과, 코딩 트리 블록의 샘플들을 코딩하기 위하여 이용된 신택스 구조들을 포함할 수도 있다. 코딩 트리 블록은 샘플들의 NxN 블록일 수도 있다. CTU 는 또한, "트리 블록" 또는 "최대 코딩 유닛 (largest coding unit)" (LCU) 으로서 지칭될 수도 있다. HEVC 의 CTU 들은 H.264/AVC 와 같은 다른 표준들의 매크로블록들과 대략 유사할 수도 있다. 그러나, CTU 는 반드시 특정 크기로 제한되는 것은 아니고, 하나 이상의 코딩 유닛 (CU) 들을 포함할 수도 있다. 슬라이스는 래스터 스캔 순서 (raster scan order) 또는 다른 순서로 연속적으로 순서화된 정수 (integer number) 의 CTU 들을 포함할 수도 있다.
코딩된 CTU 를 생성하기 위하여, 비디오 인코더 (20) 는 코딩 트리 블록들을 코딩 블록들, 이 때문에, 명칭 "코딩 트리 유닛들" 로 분할하기 위하여, CTU 의 코딩 트리 블록들에 대해 쿼드-트리 파티셔닝 (quad-tree partitioning) 을 재귀적으로 수행할 수도 있다. 코딩 블록은 샘플들의 NxN 블록이다. CU 는, 루마 샘플들의 코딩 블록과, 루마 샘플 어레이, Cb 샘플 어레이, 및 Cr 샘플 어레이를 가지는 픽처의 크로마 샘플들의 2 개의 대응하는 코딩 블록들과, 코딩 블록들의 샘플들을 코딩하기 위하여 이용된 신택스 구조들을 포함할 수도 있다. 단색 픽처들, 또는 3 개의 별도의 컬러 평면들을 가지는 픽처들에서는, CU 가 단일 코딩 블록과, 코딩 블록의 샘플들을 코딩하기 위하여 이용된 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 CU 의 코딩 블록을 하나 이상의 예측 블록들로 파티셔닝할 수도 있다. 예측 블록은 동일한 예측이 적용되는 샘플들의 직사각형 (즉, 정사각형 또는 비-정사각형) 블록이다. CU 의 예측 유닛 (PU) 은 루마 샘플들의 예측 블록, 크로마 샘플들의 2 개의 대응하는 예측 블록들, 및 예측 블록들을 예측하기 위하여 이용된 신택스 구조들을 포함할 수도 있다. 비디오 인코더 (20) 는 CU 의 각각의 PU 의 루마, Cb, 및 Cr 예측 블록들에 대한 예측 루마, Cb, 및 Cr 블록들을 생성할 수도 있다. 단색 픽처들, 또는 3 개의 별도의 컬러 평면들을 가지는 픽처들에서는, PU 가 단일 예측 블록과, 예측 블록을 예측하기 위하여 이용된 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 PU 에 대한 예측 블록들을 생성하기 위하여 인트라 예측 또는 인터 예측을 이용할 수도 있다. 비디오 인코더 (20) 가 PU 의 예측 블록들을 생성하기 위하여 인트라 예측을 이용할 경우, 비디오 인코더 (20) 는 PU 와 연관된 픽처의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다. HEVC 의 일부의 버전들에서는, 각각의 PU 의 루마 컴포넌트에 대하여, 인트라 예측 방법이 33 개의 각도 예측 모드들 (2 로부터 34 까지 인덱싱됨), DC 모드 (1 로 인덱싱됨), 및 평면 모드 (0 으로 인덱싱됨) 와 함께 사용된다.
비디오 인코더 (20) 가 PU 의 예측 블록들을 생성하기 위하여 인터 예측을 이용할 경우, 비디오 인코더 (20) 는 PU 와 연관된 픽처 이외의 하나 이상의 픽처들의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다. 인터 예측은 단방향 인터 예측 (즉, 단방향-예측 (uni-prediction)) 또는 양방향 인터 예측 (즉, 양방향-예측 (bi-prediction)) 일 수도 있다. 단방향-예측 또는 양방향-예측을 수행하기 위하여, 비디오 인코더 (20) 는 현재의 슬라이스에 대한 제 1 참조 픽처 리스트 (RefPicList0) 및 제 2 참조 픽처 리스트 (RefPicList1) 를 생성할 수도 있다. 참조 픽처 리스트들의 각각은 하나 이상의 참조 픽처들을 포함할 수도 있다. 단방향-예측을 이용할 때, 비디오 인코더 (20) 는 참조 픽처 내에서 참조 로케이션을 결정하기 위하여 RefPicList0 및 RefPicList1 의 어느 하나 또는 양자에서 참조 픽처들을 검색할 수도 있다. 또한, 단방향-예측을 이용할 때, 비디오 인코더 (20) 는 참조 로케이션에 대응하는 샘플들에 적어도 부분적으로 기초하여, PU 에 대한 예측 블록들을 생성할 수도 있다. 또한, 단방향-예측을 이용할 때, 비디오 인코더 (20) 는 PU 의 예측 블록과 참조 로케이션 사이의 공간적 변위를 표시하는 단일 모션 벡터를 생성할 수도 있다. PU 의 예측 블록과 참조 로케이션과의 사이의 공간적 변위를 표시하기 위하여, 모션 벡터는 PU 의 예측 블록과 참조 로케이션 사이의 수평 변위를 특정하는 수평 컴포넌트를 포함할 수도 있고, PU 의 예측 블록과 참조 로케이션 사이의 수직 변위를 특정하는 수직 컴포넌트를 포함할 수도 있다.
PU 를 인코딩하기 위하여 양방향-예측을 이용할 때, 비디오 인코더 (20) 는 RefPicList0 내의 참조 픽처에서의 제 1 참조 로케이션, 및 RefPicList1 내의 참조 픽처에서의 제 2 참조 로케이션을 결정할 수도 있다. 다음으로, 비디오 인코더 (20) 는 제 1 및 제 2 참조 로케이션들에 대응하는 샘플들에 적어도 부분적으로 기초하여, PU 에 대한 예측 블록들을 생성할 수도 있다. 또한, PU 를 인코딩하기 위하여 양방향-예측을 이용할 때, 비디오 인코더 (20) 는 PU 의 샘플 블록과 제 1 참조 로케이션 사이의 공간적 변위를 표시하는 제 1 모션 벡터, 및 PU 의 예측 블록과 제 2 참조 로케이션 사이의 공간적 변위를 표시하는 제 2 모션 벡터를 생성할 수도 있다.
비디오 인코더 (20) 가 CU 의 하나 이상의 PU 들에 대한 예측 블록들 (예컨대, 예측 루마, Cb, 및 Cr 블록들) 을 생성한 후, 비디오 인코더 (20) 는 CU 에 대한 하나 이상의 잔차 블록들을 생성할 수도 있다. CU 의 잔차 블록에서의 각각의 샘플은 CU 의 예측 블록에서의 샘플과, CU 의 코딩 블록에서의 대응하는 샘플과의 사이의 차이를 표시할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 CU 에 대한 루마 잔차 블록을 생성할 수도 있다. CU 의 루마 잔차 블록에서의 각각의 샘플은 CU 의 PU 들의 루마 예측 블록들 중의 하나에서의 루마 샘플과, CU 의 루마 코딩 블록에서의 대응하는 샘플과의 사이의 차이를 표시한다. 게다가, 비디오 인코더 (20) 는 CU 에 대한 Cb 잔차 블록을 생성할 수도 있다. CU 의 Cb 잔차 블록에서의 각각의 샘플은 CU 의 PU 들의 예측 Cb 블록들 중의 하나에서의 Cb 샘플과, CU 의 Cb 코딩 블록에서의 대응하는 샘플과의 사이의 차이를 표시할 수도 있다. 비디오 인코더 (20) 는 또한, CU 에 대한 Cr 잔차 블록을 생성할 수도 있다. CU 의 Cr 잔차 블록에서의 각각의 샘플은 CU 의 PU 의 예측 Cr 블록들 중의 하나에서의 Cr 샘플과, CU 의 Cr 코딩 블록에서의 대응하는 샘플 사이의 차이를 표시할 수도 있다.
또한, 비디오 인코더 (20) 는 CU 의 잔차 블록들 (예컨대, 루마, Cb, 및 Cr 잔차 블록들) 을 하나 이상의 변환 블록들 (예컨대, 루마, Cb, 및 Cr 변환 블록들) 로 분해하기 위하여 쿼드-트리 파티셔닝을 이용할 수도 있다. 변환 블록은 동일한 변환이 적용되는 샘플들의 직사각형 (예컨대, 정사각형 또는 비-정사각형) 블록이다. CU 의 변환 유닛 (TU) 은 루마 샘플들의 변환 블록, 크로마 샘플들의 2 개의 대응하는 변환 블록들, 및 변환 블록 샘플들을 변환하기 위하여 이용된 신택스 구조들을 포함할 수도 있다. 이에 따라, CU 의 각각의 TU 는 루마 변환 블록, Cb 변환 블록, 및 Cr 변환 블록과 연관될 수도 있다. TU 와 연관된 루마 변환 블록은 CU 의 루마 잔차 블록의 서브-블록 (sub-block) 일 수도 있다. Cb 변환 블록은 CU 의 Cb 잔차 블록의 서브-블록일 수도 있다. Cr 변환 블록은 CU 의 Cr 잔차 블록의 서브-블록일 수도 있다. 단색 픽처들, 또는 3 개의 별도의 컬러 평면들을 가지는 픽처들에서는, TU 가 단일 변환 블록과, 변환 블록의 샘플들을 변환하기 위하여 이용된 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 TU 에 대한 계수 블록을 생성하기 위하여 하나 이상의 변환들을 TU 의 변환 블록에 적용할 수도 있다. 계수 블록은 변환 계수들의 2 차원 어레이일 수도 있다. 변환 계수는 스칼라량일 수도 있다. 예를 들어, 비디오 인코더 (20) 는 TU 에 대한 루마 계수 블록을 생성하기 위하여 하나 이상의 변환들을 TU 의 루마 변환 블록에 적용할 수도 있다. 비디오 인코더 (20) 는 TU 에 대한 Cb 계수 블록을 생성하기 위하여 하나 이상의 변환들을 TU 의 Cb 변환 블록에 적용할 수도 있다. 비디오 인코더 (20) 는 TU 에 대한 Cr 계수 블록을 생성하기 위하여 하나 이상의 변환들을 TU 의 Cr 변환 블록에 적용할 수도 있다.
계수 블록 (예컨대, 루마 계수 블록, Cb 계수 블록, 또는 Cr 계수 블록) 을 생성한 후, 비디오 인코더 (20) 는 계수 블록을 양자화할 수도 있다. 양자화는 일반적으로, 변환 계수들을 나타내기 위하여 이용된 데이터의 양을 가능한 대로 감소시키기 위하여 변환 계수들이 양자화되어 추가의 압축을 제공하는 프로세스를 지칭한다. 비디오 인코더 (20) 가 계수 블록을 양자화한 후, 비디오 인코더 (20) 는 양자화된 변환 계수들을 표시하는 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 양자화된 변환 계수들을 표시하는 신택스 엘리먼트들에 대해 컨텍스트-적응 이진 산술 코딩 (Context-Adaptive Binary Arithmetic Coding; CABAC) 을 수행할 수도 있다.
비디오 인코더 (20) 는 코딩된 픽처들 및 연관된 데이터의 표현을 형성하는 비트들의 시퀀스를 포함하는 비트스트림을 출력할 수도 있다. 비트스트림은 네트워크 추상화 계층 (NAL) 유닛들의 시퀀스를 포함할 수도 있다. NAL 유닛은 에뮬레이션 방지 비트 (emulation prevention bit) 들이 필요한 바와 같이 산재된 원시 바이트 시퀀스 페이로드 (raw byte sequence payload; RBSP) 의 형태로, NAL 유닛에서의 데이터의 타입의 표시, 및 그 데이터를 포함하는 바이트들을 포함하는 신택스 구조이다. NAL 유닛들의 각각은 NAL 유닛 헤더를 포함하고 RBSP 를 캡슐화 (encapsulate) 한다. NAL 유닛 헤더는 NAL 유닛 타입 코드를 표시하는 신택스 엘리먼트를 포함할 수도 있다. NAL 유닛의 NAL 유닛 헤더에 의해 특정된 NAL 유닛 타입 코드는 NAL 유닛의 타입을 표시한다. RBSP 는 NAL 유닛 내에서 캡슐화되는 정수의 바이트들을 포함하는 신택스 구조일 수도 있다. 일부의 사례들에서, RBSP 는 제로 비트 (zero bit) 들을 포함한다.
상이한 타입들의 NAL 유닛들은 상이한 타입들의 RBSP 들을 캡슐화할 수도 있다. 예를 들어, 제 1 타입의 NAL 유닛은 픽처 파라미터 세트 (picture parameter set; PPS) 에 대한 RBSP 를 캡슐화할 수도 있고, 제 2 타입의 NAL 유닛은 코딩된 슬라이스에 대한 RBSP 를 캡슐화할 수도 있고, 제 3 타입의 NAL 유닛은 보충 강화 정보 (SEI) 에 대한 RBSP (즉, SEI RBSP) 를 캡슐화할 수도 있는 등등과 같다. (파라미터 세트들 및 SEI 메시지들에 대한 RBSP 들과는 반대로) 비디오 코딩 데이터에 대한 RBSP 들을 캡슐화하는 NAL 유닛들은 비디오 코딩 계층 (video coding layer; VCL) NAL 유닛들로서 지칭될 수도 있다. SEI 는 VCL NAL 유닛들로부터의 코딩된 픽처들의 샘플들을 디코딩하기 위하여 필요하지 않은 정보를 포함한다. SEI RBSP 는 하나 이상의 SEI 메시지들을 포함할 수도 있다.
HEVC 및 다른 비디오 코딩 표준들은 다양한 타입들의 파라미터 세트들을 제공한다. 예를 들어, 비디오 파라미터 세트 (video parameter set; VPS) 는 제로 이상의 전체의 코딩된 비디오 시퀀스 (coded video sequence) 들에 적용하는 신택스 엘리먼트들을 포함하는 신택스 구조이다. 시퀀스 파라미터 세트 (sequence parameter set; SPS) 는 CVS 의 모든 슬라이스들에 적용하는 정보를 포함할 수도 있다. SPS 는 SPS 가 활성일 때에 활성인 VPS 를 식별하는 신택스 엘리먼트를 포함할 수도 있다. 이에 따라, VPS 의 신택스 엘리먼트들은 SPS 의 신택스 엘리먼트들보다 더욱 일반적으로 적용가능할 수도 있다. PPS 는 제로 이상의 코딩된 픽처들에 적용하는 신택스 엘리먼트들을 포함하는 신택스 구조이다. PPS 는 PPS 가 활성일 때에 활성인 SPS 를 식별하는 신택스 엘리먼트를 포함할 수도 있다. 슬라이스의 슬라이스 헤더는, 슬라이스가 코딩되고 있을 때에 활성인 PPS 를 표시하는 신택스 엘리먼트를 포함할 수도 있다. 파라미터 세트들은 비디오 코딩 표준들의 특정 확장들에 대한 확장들을 포함할 수도 있다. 파라미터 세트의 확장은 비디오 코딩 표준의 확장에 특정한 신택스 엘리먼트들을 포함할 수도 있다. 예를 들어, 파라미터 세트의 확장은 기본 HEVC 가 아니라, SHVC, MV-HEVC, 또는 3D-HEVC 에서 이용된 신택스 엘리먼트들을 포함할 수도 있다.
비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 생성된 비트스트림을 수신할 수도 있다. 게다가, 비디오 디코더 (30) 는 비트스트림으로부터 신택스 엘리먼트들을 획득하기 위하여 비트스트림을 파싱 (parse) 할 수도 있다. 비디오 디코더 (30) 는 비트스트림으로부터 획득된 신택스 엘리먼트들에 적어도 부분적으로 기초하여 비디오 데이터의 픽처들을 재구성할 수도 있다. 비디오 데이터를 재구성하기 위한 프로세스는 비디오 인코더 (20) 에 의해 수행된 프로세스와 일반적으로 상반적일 수도 있다. 예를 들어, 비디오 디코더 (30) 는 현재의 CU 의 PU 들에 대한 예측 블록들을 결정하기 위하여 PU 들의 모션 벡터들을 이용할 수도 있다. 게다가, 비디오 디코더 (30) 는 현재의 CU 의 TU 들과 연관된 계수 블록들을 역양자화할 수도 있다. 비디오 디코더 (30) 는 현재의 CU 의 TU 들과 연관된 변환 블록들을 재구성하기 위하여 계수 블록들에 대해 역변환들을 수행할 수도 있다. 비디오 디코더 (30) 는 현재의 CU 의 PU 들에 대한 예측 블록들의 샘플들을 현재의 CU 의 TU 들의 변환 블록들의 대응하는 샘플들에 추가함으로써, 현재의 CU 의 코딩 블록들을 재구성할 수도 있다. 픽처의 각각의 CU 에 대한 코딩 블록들을 재구성함으로써, 비디오 디코더 (30) 는 픽처를 재구성할 수도 있다.
멀티-뷰 코딩에서는, 상이한 뷰포인트들로부터의 동일한 장면의 다수의 뷰들이 있을 수도 있다. 용어 "액세스 유닛" 은 동일한 시간 인스턴스 (time instance) 에 대응하는 픽처들의 세트를 지칭하기 위하여 이용될 수도 있다. 이에 따라, 비디오 데이터는 시간 경과에 따라 발생하는 일련의 액세스 유닛들로서 개념화될 수도 있다. "뷰 컴포넌트" 는 단일 액세스 유닛에서의 뷰의 코딩된 표현일 수도 있다. 이 개시물에서, "뷰" 는 동일한 뷰 식별자와 연관된 뷰 컴포넌트들의 시퀀스 또는 세트를 지칭할 수도 있다. 뷰 컴포넌트는 텍스처 뷰 컴포넌트 및 심도 뷰 컴포넌트를 포함할 수도 있다. 이 개시물에서, "뷰" 는 동일한 뷰 식별자와 연관된 하나 이상의 뷰 컴포넌트들의 세트 또는 시퀀스를 지칭할 수도 있다.
텍스처 뷰 컴포넌트 (즉, 텍스처 픽처) 는 단일 액세스 유닛에서의 뷰의 텍스처의 코딩된 표현일 수도 있다. 텍스처 뷰는 뷰 순서 인덱스의 동일한 값과 연관된 텍스처 뷰 컴포넌트들의 시퀀스일 수도 있다. 뷰의 뷰 순서 인덱스는 다른 뷰들에 관련된 뷰의 카메라 위치를 표시할 수도 있다. 심도 뷰 컴포넌트 (즉, 심도 픽처) 는 단일 액세스 유닛에서의 뷰의 심도의 코딩된 표현일 수도 있다. 심도 뷰는 뷰 순서 인덱스의 동일한 값과 연관된 하나 이상의 심도 뷰 컴포넌트들의 세트 또는 시퀀스일 수도 있다.
멀티-뷰 코딩은 인터-뷰 예측을 지원한다. 인터-뷰 예측은 HEVC 에서 이용된 인터 예측과 유사하고, 동일한 신택스 엘리먼트들을 이용할 수도 있다. 그러나, 비디오 코더가 (PU 와 같은) 현재의 비디오 블록에 대해 인터-뷰 예측을 수행할 때, 비디오 인코더 (20) 는 참조 픽처로서, 현재의 비디오 블록과 동일한 액세스 유닛에 있지만 상이한 뷰에 있는 픽처를 이용할 수도 있다. 대조적으로, 기존의 인터 예측은 참조 픽처들로서, 상이한 액세스 유닛들 내의 픽처들을 이용하기만 한다.
멀티-뷰 코딩에서는, 비트스트림이 복수의 계층들을 가질 수도 있다. 계층들의 각각은 상이한 뷰에 대응할 수도 있다. 멀티-뷰 코딩에서는, 비디오 디코더 (예컨대, 비디오 디코더 (30)) 가 임의의 다른 뷰에서의 픽처들을 참조하지 않으면서 뷰에서의 픽처들을 디코딩할 수 있을 경우에, 뷰는 "기본 뷰 (base view)" 로서 지칭될 수도 있다. 뷰의 디코딩이 하나 이상의 다른 뷰들에서의 픽처들의 디코딩에 종속적일 경우에, 뷰는 "비-기본 뷰 (non-base view)" 또는 "종속 뷰" 로서 지칭될 수도 있다. 비-기본 뷰들 중의 하나에서의 픽처를 코딩할 때, (비디오 인코더 (20) 또는 비디오 디코더 (30) 와 같은) 비디오 코더는 참조 픽처 리스트에서, 상이한 뷰에 있지만, 비디오 코더가 현재 코딩하고 있는 픽처와 동일한 시간 인스턴스 (즉, 액세스 유닛) 내에 있는 픽처를 포함할 수도 있다. 다른 인터 예측 참조 픽처들과 같이, 비디오 코더는 참조 픽처 리스트의 임의의 위치에서 인터-뷰 예측 참조 픽처를 삽입할 수도 있다.
SVC 에서, 기본 계층 이외의 계층들은 "강화 계층 (enhancement layer) 들" 로서 지칭될 수도 있고, 비트스트림으로부터 디코딩된 비디오 데이터의 시각적 품질을 강화시키는 정보를 제공할 수도 있다. SVC 는 공간적 해상도, 신호-대-잡음 비율 (즉, 품질), 또는 시간적 레이트를 강화시킬 수 있다. 스케일러블 비디오 코딩 (예컨대, SHVC) 에서, "계층 표현" 은 단일 액세스 유닛에서의 공간적 계층의 코딩된 표현일 수도 있다. 설명의 용이함을 위하여, 이 개시물은 뷰 컴포넌트들 및/또는 계층 표현들을 "뷰 컴포넌트들/계층 표현들" 로서 지칭할 수도 있다.
계층들을 구현하기 위하여, NAL 유닛들의 헤더들은 nuh_reserved_zero_6bits 신택스 엘리먼트들을 포함할 수도 있다. HEVC 버전 1 에서, nuh_reserved_zero_6bits 신택스 엘리먼트가 예약된다. 그러나, MV-HEVC, 3D-HEVC, 및 SVC 에서, nuh_reserved_zero_6bits 신택스 엘리먼트는 nuh_layer_id 신택스 엘리먼트로서 지칭된다. nuh_layer_id 신택스 엘리먼트는 계층의 식별자를 특정한다. 상이한 값들을 특정하는 nuh_layer_id 신택스 엘리먼트들을 가지는 비트스트림의 NAL 유닛들은 비트스트림의 상이한 계층들에 속한다.
일부의 예들에서, NAL 유닛이 멀티-뷰 코딩 (예컨대, MV-HEVC), 3DV 코딩 (예컨대, 3D-HEVC), 또는 스케일러블 비디오 코딩 (예컨대, SHVC) 에서의 기본 계층에 관련 있을 경우에는, NAL 유닛의 nuh_layer_id 신택스 엘리먼트가 0 과 동일하다. 비트스트림의 기본 계층에서의 데이터는 비트스트림의 임의의 다른 계층에서의 데이터를 참조하지 않으면서 디코딩될 수도 있다. NAL 유닛이 멀티-뷰 코딩, 3DV, 또는 스케일러블 비디오 코딩에서의 기본 계층과 관련 있지 않을 경우에는, NAL 유닛의 nuh_layer_id 신택스 엘리먼트가 비-제로 값을 가질 수도 있다.
또한, 계층 내의 일부의 뷰 컴포넌트들/계층 표현들은 동일한 계층 내의 다른 뷰 컴포넌트들/계층 표현들을 참조하지 않으면서 디코딩될 수도 있다. 이에 따라, 계층의 어떤 뷰 컴포넌트들/계층 표현들의 데이터를 캡슐화하는 NAL 유닛들은 계층에서의 다른 뷰 컴포넌트들/계층 표현들의 디코딩가능성에 영향을 주지 않으면서 비트스트림으로부터 제거될 수도 있다. 이러한 뷰 컴포넌트들/계층 표현들의 데이터를 캡슐화하는 NAL 유닛들을 제거하는 것은 비트스트림의 프레임 레이트를 감소시킬 수도 있다. 계층 내의 다른 뷰 컴포넌트들/계층 표현들을 참조하지 않으면서 디코딩될 수도 있는 계층 내의 뷰 컴포넌트들/계층 표현들의 서브세트는 "서브-계층 (sub-layer)" 또는 "시간적 서브-계층" 으로서 본원에서 지칭될 수도 있다.
NAL 유닛들은 NAL 유닛들의 시간적 식별자들 (즉, TemporalIds) 을 특정하는 temporal_id 신택스 엘리먼트들을 포함할 수도 있다. NAL 유닛의 시간적 식별자는 NAL 유닛이 속하는 서브-계층을 식별한다. 이에 따라, 비트스트림의 각각의 서브-계층은 상이한 시간적 식별자를 가질 수도 있다. 일반적으로, 계층의 제 1 NAL 유닛의 시간적 식별자가 동일한 계층의 제 2 NAL 유닛의 시간적 식별자보다 더 작을 경우, 제 1 NAL 유닛에 의해 캡슐화된 데이터는 제 2 NAL 유닛에 의해 캡슐화된 데이터를 참조하지 않으면서 디코딩될 수도 있다.
비트스트림은 복수의 동작 포인트들과 연관될 수도 있다. 비트스트림의 각각의 동작 포인트는 계층 식별자들의 세트 (예컨대, nuh_layer_id 값들의 세트) 및 시간적 식별자와 연관된다. 계층 식별자들의 세트는 OpLayerIdSet 로서 나타내어질 수도 있고, 시간적 식별자는 TemporalID 로서 나타내어질 수도 있다. NAL 유닛의 계층 식별자가 계층 식별자들의 동작 포인트의 세트 내에 있고, NAL 유닛의 시간적 식별자가 동작 포인트의 시간적 식별자 이하일 경우, NAL 유닛은 동작 포인트와 연관된다.
비디오 프로세서 (예컨대, 미디어 인지 네트워크 엘리먼트 (MANE), 스플라이싱 엔진 (splicing engine), 비디오 디코더, 또는 다른 디바이스) 는 비트스트림 씨닝 (bitstream thinning) 을 HEVC 비트스트림에 적용할 수도 있다. 비트스트림에서의 임의의 포인트에서, 비디오 프로세서는, 더 낮은 서브-계층들에서의 픽처들에 대한 디코딩 프로세스가 더 높은 서브-계층들의 NAL 유닛들에 종속되지 않기 때문에 더 낮은 서브-계층들 (즉, 더 낮은 시간적 식별자들과 연관된 서브-계층들) 에서의 픽처들이 여전히 디코딩가능하다는 사실에 기초하여, 더 높은 서브-계층들 (즉, 더 높은 시간적 식별자들과 연관된 서브-계층들) 의 NAL 유닛들을 제거하기 시작할 수 있거나, 이러한 NAL 유닛들을 디코딩하는 것을 정지시킬 수 있다. 어떤 값보다 더 높은 시간적 식별자들을 갖는 모든 NAL 유닛들을 제거하거나 이러한 NAL 유닛들의 디코딩을 정지시키는 액션은 시간적 다운-스위칭 (down-switching) 으로서 지칭될 수 있다. 시간적 다운-스위칭은 항상 가능할 수도 있다.
용어 "시간적 업-스위칭" 은 그 포인트까지 포워딩되었거나 디코딩 업 (decode up) 되지 않았던 어떤 서브-계층의 NAL 유닛들을 포워딩하기 시작하거나 디코딩하기 시작하는 액션을 지칭할 수도 있다. 시간적 업-스위칭은 스위칭되는 계층에서의 픽처들의 어떤 것도 스위치가 수행되었던 비트스트림에서의 포인트 이전의 동일한 서브-계층에서의 임의의 픽처에 종속되지 않을 경우에 가능하기만 할 수도 있다. 이에 따라, 용어 "시간적 서브-계층 스위칭 포인트" 는, 픽처와 동일한 서브-계층에 있으며 디코딩 순서에서 픽처를 선행하는 임의의 다른 픽처에 대한 종속성을 가지지 않는 픽처를 지칭할 수도 있다.
SVC, MVC, MVC 플러스 심도 (MVC+D) (3D-HEVC), 및 HEVC 버전 1 은 서브-비트스트림 추출 프로세스를 특정한다. 예를 들어, HEVC 버전 1 의 조항 10 은 서브-비트스트림 추출 프로세스를 특정한다. HEVC 버전 1 에서, 서브-비트스트림 추출 프로세스는 비트스트림, 타겟 최고 시간적 식별자, 및 타겟 계층 세트를 입력들로서 취한다. 또한, HEVC 버전 1 에서, 서브-비트스트림 추출 프로세스는 서브-비트스트림을 출력으로서 제공한다. 서브-비트스트림 추출 프로세스에 의해 제공된 서브-비트스트림은 타겟 계층 세트에 속하지 않는 VCL NAL 유닛들을 포함하지 않고, 타겟 최고 시간적 식별자보다 더 큰 시간적 식별자들을 가지는 VCL NAL 유닛들을 포함하지 않는다. 일부의 예들에서, 각각의 추출가능한 서브-비트스트림은 정합 비트스트림일 것으로 요구된다.
예컨대, MVC 개발 시에, 비트스트림 추출 프로세스의 설계에서 고려되었던 하나의 쟁점은, 최상의 서브-비트스트림 자체-완전성 (self-completeness) 또는 서브-비트스트림의 최적의 크기를 타겟으로 할 것인지 여부이다. 서브-비트스트림이 서브-비트스트림 자체-완전성을 타겟으로 하여 추출될 경우, 재귀적으로 서브-스트림으로부터 추가로 추출된 서브-비트스트림은 정합 비트스트림일 수 있다. 서브-비트스트림이 최적의 크기를 타겟으로 하여 추출될 경우, 타겟 출력 계층들의 정확한 디코딩을 위해 필요하지 않은 일부 또는 전부의 픽처들은 추출된 서브-비트스트림 내에 포함되어야 할 필요가 없다.
최상의 자체-완전성을 타겟으로 하는 것은 비트스트림 추출 프로세스를 특정하기가 더욱 용이한 것으로 만들 수도 있다. 자체-완전 서브-비트스트림은 여전히 "완전 추출가능한" 것이고, 비트스트림 추출이 스트리밍 서버 또는 중간 네트워크 엘리먼트에 의해 수행되고 비트스트림의 각각의 서브세트가 일부의 최종 사용자들에 의해 추가로 요청될 수도 있을 경우에 더욱 유용하다. 그러나, 다른 한편으로, 추출된 서브-비트스트림이 최종 사용자들에게 직접적으로 전송되고 추가로 추출되는 것으로 추정되지 않을 경우, 더욱 양호한 송신 대역폭 효율은 비트스트림의 최적의 크기를 타겟으로 함으로써 달성될 수 있다. 최적의 크기를 타겟으로 함으로써 생성된 이러한 서브-비트스트림은 "최적으로 추출된" 것으로 고려된다. 어느 하나의 장점이 애플리케이션들에 따라 적용되는 것을 가능하게 하기 위하여, 서브-비트스트림 추출 프로세스는 최상의 추출 동작을 적응적으로 선택하도록 설계될 수 있다.
Wang 등, "MV-HEVC/SHVC HLS: On changing of the highest layer ID across AUs and multi-mode bitstream extraction (MV-HEVC/SHVC HLS: AU 들에 걸친 최고 계층 ID 의 변경 및 멀티-모드 비트스트림 추출에 관하여)", ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11 의 비디오 코딩에 관한 합동 협력 팀 (JCT-VC), 14 차 회의: Vienna, AT, 2013 년 7 월 25 일 - 8 월 2 일, 문서 번호 JCTVC-N0267, 및 ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11 의 3D 비디오 코딩 확장들에 관한 합동 협력 팀, 5 차 회의: Vienna, AT, 2013 년 7 월 27 일 - 8 월 2 일, 문서 번호 JCT3V-E0087 (이하, "JCTVC-N0267/JCT3V-E0087") 은 멀티-모드 비트스트림 추출들을 지원하는 것을 제안하였다. JCTVC-N0267/JCT3V-E0087 은 HEVC WD 의 하위조항 10 에 대한 다음의 변경들을 제안하였다 (추가들은 밑줄로 표시되고 (예컨대, "추가된 텍스트"), 제거들은 이중 대괄호들로 이탤릭체로 표시됨 (예컨대, "[[삭제된 텍스트]]")).
서브- 비트스트림 추출 프로세스 이 프로세스에 대한 입력들은 비트스트림, 타겟 최고 TemporalId 값 tIdTarget, [[및]] 타겟 계층 식별자 리스트 layerIdListTarget, 타겟 출력 계층 식별자 리스트 TargetOptLayerIdList , 및 존재할 때에 외부 수단에 의해 특정되거나, 외부 수단에 의해 특정되지 않을 때에 0 과 동일하게 설정되는 추출 모드 subExtModeIdc 이다.
이 프로세스의 출력은 서브-비트스트림이다.
입력 비트스트림에 대한 비트스트림 적합성 (bitstream conformance) 의 요건은, 0 내지 6 까지의 범위에서의 임의의 값과 동일한 tIdTarget, 및 활성 비디오 파라미터 세트에서 특정된 계층 세트와 연관된 계층 식별자 리스트와 동일한 layerIdListTarget 으로 이 하위조항에서 특정된 프로세스의 임의의 출력 서브-비트스트림이 subExtModeIdc 가 0 과 동일할 때에 정합 비트스트림일 것이라는 점이다.
주의 1 - 정합 비트스트림은 0 과 동일한 nuh_layer_id 및 0 과 동일한 TemporalId 를 갖는 하나 이상의 코딩된 슬라이스 세그먼트 NAL 유닛들을 포함한다.
출력 서브-비트스트림은 다음과 같이 유도된다:
- 다음의 2 개의 조건들 중의 하나 이상이 참일 때, 0 과 동일한 nuh_layer_id 를 가지며 비-네스팅된 (non-nested) 버퍼링 주기 SEI 메시지, 비-네스팅된 픽처 타이밍 SEI 메시지, 또는 비-네스팅된 디코딩 유닛 정보 SEI 메시지를 포함하는 모든 보충 강화 정보 (SEI) NAL 유닛들을 제거한다:
- layerIdListTarget 은 비트스트림에서의 모든 NAL 유닛들 내의 nuh_layer_id 의 모든 값들을 포함하지 않는다.
- tIdTarget 은 비트스트림에서의 모든 NAL 유닛들 내의 최대 TemporalId 보다 더 작다.
주의 2 - 서브-비트스트림에 적용가능한 SEI 메시지들이 원래의 비트스트림에서 네스팅된 SEI 메시지들로서 존재하였다면, "스마트" 비트스트림 추출기는 추출된 서브-비트스트림에서 적절한 비-네스팅된 버퍼링 주기 SEI 메시지들, 비-네스팅된 픽처 타이밍 SEI 메시지들, 및 비-네스팅된 디코딩 유닛 정보 SEI 메시지들을 포함할 수도 있다.
- layerIdListTarget 내에 포함된 값들 중에 있지 않은 tIdTarget 또는 nuh_layer_id 보다 더 큰 TemporalId 를 갖는 모든 NAL 유닛들을 제거한다.
-
subExtModeIdc
가 0 보다 더 클 때,
TargetOptLayerIdList
내에 포함된 값들 중에 있지 않은
nuh
_layer_id 와, max_tid_il_ref_pics_plus1[ LayerIdxInVps[ nuh_layer_id ] ] - 1 보다 더 큰 TemporalId 를 갖는
NAL
유닛들을 추가로 제거한다.
-
subExtModeIdc
가 1 보다 더 클 때,
TargetOptLayerIdList
내에 포함된 값들 중에 있지 않은
nuh
_layer_id 및 1 과 동일한 discardable_
flag 를
갖는
NAL
유닛들을 추가로 제거한다.
discardable_flag 는 슬라이스 세그먼트 헤더 내에 포함된 신택스 엘리먼트이다. MV-HEVC WD5 에서 정의된 바와 같이, 1 과 동일한 discardable_flag 는, 코딩된 픽처가 인터 예측을 위한 참조 픽처로서 이용되지 않고 디코딩 순서에서의 추후의 픽처들의 디코딩 프로세스에서 인터-계층 참조 픽처로서 이용되지 않는다는 것을 특정한다. 0 과 동일한 discardable_flag 는, 코딩된 픽처가 인터 예측을 위한 참조 픽처로서 이용될 수도 있고 디코딩 순서에서의 추후의 픽처들의 디코딩 프로세스에서 인터-계층 참조 픽처로서 이용될 수도 있다는 것을 특정한다. 존재하지 않을 때, discardable_flag 의 값은 0 과 동일한 것으로 추론된다.
JCTVC-N0267 및 JCT3V-E0087 에서 제안된 바와 같은 멀티-모드 비트스트림 추출 프로세스는 잠재적으로 다음의 문제들을 가진다. 첫째, 멀티-모드 비트스트림 추출 프로세스는 타겟 계층 식별자 리스트의 동일한 입력 및 타겟 temporalId 를 갖는 다수의 서브-비트스트림들을 생성한다. 그러나, 다수의 서브-비트스트림들은 반드시 정합 비트스트림들은 아니며, 그러므로, 정합 MV-HEVC/SHVC 디코더는 서브-비트스트림들의 일부를 디코딩할 수 없을 수도 있다.
둘째, "완전 추출가능한" 서브-비트스트림들은 임의의 가능한 모드들을 갖는 비트스트림 추출 계층을 위해 이용될 수도 있다. 그러나, "최적의 추출된" 서브-비트스트림들은 일부의 계층들에서 일부의 디코딩된 픽처들을 결여할 수도 있다. 그러므로, 특히, 비트스트림이 이전의 추출 프로세스 동안에 타겟 출력 계층에 속하지 않는 계층을 포함할 경우에는, 이러한 비트스트림으로부터 어떤 출력 계층 세트들을 성공적으로 추출하는 것이 불가능할 수도 있다. 이에 따라, 어떤 타입의 비트스트림 추출들이 비트스트림에 대해 수행될 수도 있는지는 비트스트림의 속성으로서 이에 따라 표시되어야 한다.
셋째, 비트스트림 추출 모드와 관계없이, 서브-비트스트림은 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 NAL 유닛들을 포함한다. 그러므로, 타겟 출력 계층 (JCTVC-N0267/JCT3V-E0087 에서와 같은 TargetOptLayerIdList) 세트가 이전의 추출에서 이용된 것을 초과하지 않는 한 (그리고 타겟 계층들 (현재의 HEVC 및 JCTVC-N0267/JCT3V-E0087 에서와 같은 layerIdListTarget) 이 이전의 추출에서 이용된 계층들을 초과하지 않음), 임의의 모드에 대한 추가의 비트스트림 추출이 가능하다. 그러나, 추출된 비트스트림은 어느 것이 추출된 비트스트림을 생성하기 위하여 이용된 타겟 계층들 및/또는 타겟 출력 계층 세트이었는지를 표시하는 정보를 포함하지 않는다.
넷째, JCTVC-N0267/JCT3V-E0087 에서 제안된 비트스트림 추출 프로세스에 대한 입력들은 타겟 계층들 및 출력 계층 세트의 양자를 포함한다. 그러나, 출력 계층 세트의 입력으로, "완전 추출가능한" 서브-비트스트림을 추출하지 않는 모드에서는, 타겟 계층들의 정보가 중복적인 것으로 된다. 타겟 계층들이 특정될 때에도, 즉, 타겟 계층들이 자체-포함되는지 않을 때에는, 타겟 계층들에 의해 종속적인 일부의 다른 계층들이 타겟 계층들 내에 포함되지 않는다는 사실로 인해, 타겟 계층들의 각각의 계층이 명확하게 디코딩될 수 있는지가 명확하지 않다. 그러므로, 다수의 시나리오들에서, 비트스트림 추출 프로세스에 대한 입력으로서의 타겟 계층들의 존재는 충분하지도 않고 필요하지도 않다.
이 개시물의 기법들은 위에서 설명된 쟁점들 중의 하나 이상을 해결할 수도 있다. 이 개시물의 기법들의 개요는 이하에서 제시되고, 이 개시물의 기법들의 일 예의 구현들은 다음의 섹션에서 제공된다. 이 개시물의 기법들의 일부는 독립적으로 적용될 수도 있고, 이 개시물의 기법들의 일부는 조합하여 적용될 수도 있다.
이 개시물의 제 1 예의 기법에 따르면, 추출 레벨 또는 적합성 레벨 표시는, 이러한 표시와 연관된 비트스트림이 비트스트림 추출을 통해 생성되었는지 여부와, 긍정적일 경우, 어느 레벨인지에 대한 사실과 또한 관련되는, 동작 포인트에 대한 적합성의 레벨을 특정하기 위해, 비디오 코덱뿐만 아니라 시스템들에서 도입될 수도 있다. 예를 들어, 0 과 동일한 표시는 비트스트림이 비트스트림 추출 프로세스를 거치지 않았거나 0 과 동일한 subExtModeIdc 의 모드로 추출되었다는 것을 의미한다. 이러한 값은 비트스트림이 0 보다 더 큰 subExtModeIdc 로 신축성 있게 추출될 수 있다는 것을 의미한다. 또 다른 예에서, 1 과 동일한 표시는 비트스트림이 1 과 동일한 subExtModeIdc 의 모드로 비트스트림 추출 프로세스에 의해 생성되었을 수도 있다는 것을 의미한다. 이러한 값은, 이하에서 설명되는 이 개시물의 제 3 예의 기법에서와 같이 이와 다르게 특정되지 않으면, 비트스트림이 더 이상 추출될 수 없다는 것을 의미한다.
이 개시물의 제 2 예의 기법에 따르면, 다수의 추출 모드들의 각각으로 추출된 서브-비트스트림들은 정합하는 것으로서 고려될 수 있다. 하나의 양태에서, 각각의 정합하는 동작 포인트의 일부로서, 출력 계층 세트는 적합성 레벨 표시와 연관된다.
이 개시물의 제 2 예의 기법의 또 다른 양태에서는, 심지어 타겟 출력 계층 세트 및 타겟 TemporalId 에 의해 정의된 것과 동일한 동작 포인트에 대하여, 포함된 코딩된 픽처들은 상이한 모드들로부터 추출된 서브-비트스트림들에 대해 상이하고, 그러므로, 가상적 참조 디코더 (Hypothetical Reference Decoder; HRD) 파라미터들에 대한 시그널링을 위한 표시를 가지는 것이 제안된다. "가상적 참조 디코더" 또는 "HRD" 는 비디오 버퍼링 모델이다. HRD 는 디코딩을 위하여 데이터가 어떻게 버퍼링되어야 하는지와, 출력을 위하여 디코딩된 데이터가 어떻게 버퍼링되는지를 설명한다. 예를 들어, HRD 는 비디오 디코더에서의 코딩된 픽처 버퍼 ("coded picture buffer; CPB") 및 디코딩된 픽처 버퍼 ("decoded picture buffer; DPB") 의 동작을 설명한다. CPB 는 HRD 에 의해 특정된 디코딩 순서로 액세스 유닛들을 포함하는 선입선출 (first-in first-out) 버퍼이다. DPB 는 참조, 출력 재순서화 (output reordering), 또는 HRD 에 의해 특정된 출력 지연을 위하여 디코딩된 픽처들을 유지하는 버퍼이다. 비디오 인코더는 HRD 파라미터들의 세트를 시그널링할 수도 있다. HRD 파라미터들은 HRD 의 다양한 양태들을 제어한다. HRD 파라미터들은 초기 CPB 제거 지연, CPB 크기, 비트 레이트, 초기 DPB 출력 지연, 및 DPB 크기를 포함할 수도 있다. 이 HRD 파라미터들은 비디오 파라미터 세트 (VPS) 및/또는 시퀀스 파라미터 세트 (SPS) 에서 특정된 hrd_parameters( ) 신택스 구조에서 코딩될 수도 있다. HRD 파라미터들은 또한, 버퍼링 주기 SEI 메시지들 또는 픽처 타이밍 SEI 메시지들에서 특정될 수도 있다.
H.264/AVC 및 HEVC 에서는, 비트스트림 적합성 및 디코더 적합성이 HRD 사양의 일부들로서 특정된다. 다시 말해서, HRD 모델은 비트스트림이 표준에 따르는지 여부를 결정하기 위한 테스트들과, 디코더가 표준에 따르는지 여부를 결정하기 위한 테스트들을 특정한다. HRD 는 일부의 종류의 디코더로서 명명되지만, 비디오 인코더들은 전형적으로 비트스트림 적합성을 보장하기 위하여 HRD 를 이용하는 반면, 비디오 디코더들은 전형적으로 HRD 를 필요로 하지 않는다.
H.264/AVC 및 HEVC 양자는 비트스트림 또는 HRD 적합성의 2 개의 타입들, 즉, 타입 I 및 타입 II 를 특정한다. 타입 I 비트스트림은 비트스트림에서의 모든 액세스 유닛들에 대한 VCL NAL 유닛들 및 필러 (filler) 데이터 NAL 유닛만을 포함하는 NAL 유닛 스트림이다. 타입 II 비트스트림은 비트스트림에서의 모든 액세스 유닛들에 대한 VCL NAL 유닛들 및 필러 데이터 NAL 유닛들에 추가하여, 다음 중의 적어도 하나를 포함하는 NAL 유닛 스트림이다: 필러 데이터 NAL 유닛들 이외의 추가적인 비-VCL (non-VCL) NAL 유닛들; 및 NAL 유닛 스트림으로부터 바이트 스트림을 형성하는 모든 leading_zero_8bits, zero_byte, start_coded_prefix_one_3bytes, 및 trailing_zero_8bits 신택스 엘리먼트들.
디바이스가 비트스트림이 비디오 코딩 표준에 따르는지 여부를 결정하는 비트스트림 적합성 테스트를 수행할 때, 디바이스는 비트스트림의 동작 포인트를 선택할 수도 있다. 다음으로, 디바이스는 선택된 동작 포인트에 적용가능한 HRD 파라미터들의 세트를 결정할 수도 있다. 디바이스는 HRD 의 거동을 구성하기 위하여, 선택된 동작 포인트에 적용가능한 HRD 파라미터들의 세트를 이용할 수도 있다. 특히, 디바이스는 가상적 스트림 스케줄러 (hypothetical stream scheduler; HSS), CPB, 디코딩 프로세스, DPB 등과 같은, HRD 의 특정 컴포넌트들의 거동들을 구성하기 위하여, HRD 파라미터들의 적용가능한 세트를 이용할 수도 있다. 추후에, HSS 는 특정 스케줄에 따라 비트스트림의 코딩된 비디오 데이터를 HRD 의 CPB 로 주입할 수도 있다. 또한, 디바이스는 CPB 에서의 코딩된 비디오 데이터를 디코딩하는 디코딩 프로세스를 호출할 수도 있다. 디코딩 프로세스는 디코딩 픽처들을 DPB 로 출력할 수도 있다. 디바이스가 HRD 를 통해 데이터를 이동시킴에 따라, 디바이스는 제약들의 특정 세트가 충족된 상태로 유지되는지 여부를 결정할 수도 있다. 예를 들어, 디바이스는 HRD 가 선택된 동작 포인트의 동작 포인트 표현을 디코딩하고 있는 동안에 CPB 또는 DPB 에서 오버플로우 (overflow) 또는 언더플로우 (underflow) 조건이 발생하는지 여부를 결정할 수도 있다. 디바이스는 이러한 방식으로 비트스트림의 각각의 동작 포인트를 선택하고 프로세싱할 수도 있다. 비트스트림의 동작 포인트가 제약들이 위반되게 하지 않을 경우, 디바이스는 비트스트림이 비디오 코딩 표준에 따르는 것으로 결정할 수도 있다.
H.264/AVC 및 HEVC 양자는 디코더 적합성의 2 개의 타입들, 즉, 출력 타이밍 디코더 적합성 및 출력 순서 디코더 적합성을 특정한다. 특정 프로파일, 티어 (tier) 및 레벨에 대한 적합성을 요구하는 디코더는 HEVC 와 같은 비디오 코딩 표준의 비트스트림 적합성 요건들에 따르는 모든 비트스트림들을 성공적으로 디코딩할 수 있다. 이 개시물에서, "프로파일" 은 비트스트림 신택스의 서브세트를 지칭할 수도 있다. "티어들" 및 "레벨들" 은 각각의 프로파일 내에서 특정될 수도 있다. 티어의 레벨은 비트스트림에서의 신택스 엘리먼트들의 값들에 부과된 제약들의 특정된 세트일 수도 있다. 이 제약들은 값들에 대한 간단한 한계들일 수도 있다. 대안적으로, 제약들은 값들의 산술적 조합들 (예를 들어, 초 당 (per second) 디코딩된 픽처들의 수와 승산된 픽처 높이와 승산된 픽처 폭) 에 대한 제약들의 형태를 취할 수도 있다. 전형적으로, 더 낮은 티어에 대해 특정된 레벨은 더 높은 티어에 대해 특정된 레벨보다 더욱 제약된다.
이 개시물의 제 3 예의 기법에 따르면, 비트스트림 추출 동작에 의해 생성된 각각의 서브-비트스트림에 대하여, SEI 메시지는 서브-비트스트림을 생성하기 위하여 어느 추출 모드가 이용되었는지를 표시하기 위하여 생성될 수도 있다. 다시 말해서, 컴퓨팅 디바이스는 비디오 데이터의 코딩된 표현을 포함하는 서브-비트스트림에서, 서브-비트스트림을 생성하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 포함할 수도 있다. 추가적으로 또는 대안적으로, 이러한 서브-비트스트림에 대하여, 서브-비트스트림을 생성하기 위하여 이용되었던 타겟 출력 계층 세트는 SEI 메시지에서 시그널링될 수도 있다.
이에 따라, 일부의 예들에서, 컴퓨팅 디바이스 (예컨대, 목적지 디바이스 (14), 중간 디바이스 (19)) 는 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 획득할 수도 있다. 이러한 예들에서, 제 1 비트스트림은 추출 모드에 따라 제 2 비트스트림으로부터 추출된 서브-비트스트림이다. 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 NAL 유닛들을 포함한다. 추출 모드가 제 1 추출 모드일 경우 (예컨대, 제 1 비트스트림은 완전-추출가능한 서브-비트스트림임), 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들 (예컨대, 1 과 동일한 discardable_flag 를 갖는 픽처들) 을 포함한다. 추출 모드가 제 2 추출 모드일 경우 (예컨대, 제 1 비트스트림은 크기-최적화된 서브-비트스트림임), 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다. 유사하게, 컴퓨팅 디바이스 (예컨대, 소스 디바이스 (12), 중간 디바이스 (19)) 는 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림에서, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 생성하고 포함할 수도 있다.
일부의 예들에서, 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은, 타겟 시간적 식별자보다 더 큰 시간적 식별자들을 가지며 타겟 출력 계층 세트에 대한 타겟 출력 계층 세트 내에 포함된 값들 중에 있지 않은 계층 식별자들을 가지는 제 2 비트스트림의 NAL 유닛들을 제외한다. 또한, 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트에서의 계층들의 정확한 디코딩을 위해 필요하지 않은 임의의 코딩된 픽처들에 대응하는 제 2 비트스트림의 NAL 유닛들을 추가로 제외한다.
이러한 SEI 메시지로, "완전 추출가능한" 비트스트림 추출이 모든 포함 계층들에 대해 적용될 수 없더라도, 입력으로서의 타겟 출력 계층 세트가 시그널링된 타겟 출력 계층 세트를 초과하지 않는 한, 모든 추출 모드들이 적용될 수 있다. 이에 따라, 일부의 예들에서, 컴퓨팅 디바이스는, 완전-추출가능한 서브-비트스트림에 대한 타겟 출력 계층 세트가 비트스트림에 대한 타겟 출력 계층 세트를 초과하지 않는 한, 완전-추출가능한 서브-비트스트림이 비트스트림으로부터 추출될 수 있는 것으로 결정할 수도 있다. 완전-추출가능한 서브-비트스트림은 완전-추출가능한 서브-비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하기 위한 충분한 NAL 유닛들을 포함한다. 대안적으로, 적합성 레벨 (또는 추출 모드) 의 적어도 이러한 표시는 profile_tier_level 신택스 구조에서 존재할 수 있고, 여기서, 표시는 예약된 비트들을 사용함으로써 존재한다.
대안적으로, 이러한 표시는 외부 수단을 통해, 예컨대, 이러한 서브-비트스트림에 대응하는 기초 스트림 (elementary stream) 과 연관되는 ISO 기본 미디어 파일 포맷 메타데이터 (예컨대, 샘플 설명에서의 표시) 로서 제공될 수 있다. 이에 따라, 컴퓨팅 디바이스는 외부 수단을 통해, 비트스트림을 생성하기 위하여 이용되었던 추출 모드의 표시를 획득할 수도 있다. 표시가 비트스트림이 제 1 추출 모드를 이용하여 생성되었다는 것을 표시할 경우, 정합하는 제 2 서브-비트스트림이 비트스트림으로부터 추출가능하다. 표시가 비트스트림이 제 2 의, 상이한 추출 모드를 이용하여 생성되었다는 것을 표시할 경우, 정합하는 서브-비트스트림이 비트스트림으로부터 추출가능하지 않다. 외부 수단은 비트스트림 내에 포함되지 않은 정보의 소스일 수도 있다.
이 개시물의 제 4 예의 기법에 따르면, 포괄적 비트스트림 추출 프로세스는 멀티-계층 코덱, 예컨대, MV-HEVC 또는 SHVC 에서 정의될 수 있다. 포괄적 비트스트림 추출 프로세스는 HEVC 에서 정의된 바와 같은, 또는 JCTVC-N0267/JCT3V-E0087 에서 정의된 바와 같은 비트스트림 추출 프로세스를 궁극적으로 호출한다. 포괄적 비트스트림 추출 프로세스는 타겟 출력 계층 세트, 타겟 TemporalId, 및 비트스트림 추출 모드를 포함하는 입력들을 취한다. 이들 중에서, 타겟 출력 계층 세트는 타겟 계층들 (layerIdListTarget) 을 유도하기 위하여 이용되고, 유도된 타겟 계층들뿐만 아니라 다른 입력들도 HEVC 또는 JCTVC-N0267/JCT3V-E0087 에서 정의된 바와 같은 비트스트림 추출 프로세스에 대한 입력으로서 이용된다. 대안적으로, 게다가, 이러한 포괄적 비트스트림 추출이 타겟 계층들이 아니라, 출력 계층 세트에 주로 기초하여 정의되더라도, 추출 프로세스의 HEVC 버전 1 방식은 이용가능한 것으로 여전히 고려된다. 그러므로, 추출 후의 서브-비트스트림이 하나의 동작 포인트에 반드시 대응하지는 않는다는 것이 가능하다. 그 대신에, 서브-비트스트림은 다수의 동작 포인트들의 결합이다. 추출 프로세스의 이러한 HEVC 버전 1 방식은 비트스트림 추출 모드가 0 일 때에 호출될 수도 있고, 이러한 경우, 출력 계층 세트는 무시된다.
이 개시물의 제 5 예의 기법에 따르면, ISO 기본 미디어 파일 포맷 또는 MPEG-2 TS 에서는, 적어도 출력 계층 세트로 표현된 동작 포인트를 설명하는 박스 (box) 또는 디스크립터 (descriptor), 추출 레벨 표시가 시그널링될 수 있다.
이 개시물의 기법들 중의 하나 이상에 따르면, 다음은 HEVC WD 의 하위조항 10 에 대한 변경들을 제안하였다 (추가들은 밑줄로 표시되고 (예컨대, "추가된 텍스트"), 제거들은 이중 대괄호들로 이탤릭체로 표시됨 (예컨대, "[[삭제된 텍스트]]")).
이 프로세스에 대한 입력들은 비트스트림, 타겟 최고 TemporalId 값 tIdTarget, [[및]] 타겟 계층 식별자 리스트 layerIdListTarget, 추출 모드 subExtModeIdc , 및 subExtModeIdc 가 0 과 동일하지 않을 경우의 타겟 출력 계층 식별자 리스트 TargetOptLayerIdList 이다.
이 프로세스의 출력은 서브-비트스트림이다.
입력 비트스트림에 대한 비트스트림 적합성의 요건은, 0 내지 6 까지의 범위에서의 임의의 값과 동일한 tIdTarget, 및 활성 비디오 파라미터 세트에서 특정된 계층 세트와 연관된 계층 식별자 리스트와 동일한 layerIdListTarget 으로 이 하위조항에서 특정된 프로세스의 임의의 출력 서브-비트스트림이 subExtModeIdc 가 3 보다 더 작을 때에 정합 비트스트림일 것이라는 점이다.
주의 1 - 정합 비트스트림은 0 과 동일한 nuh_layer_id 및 0 과 동일한 TemporalId 를 갖는 하나 이상의 코딩된 슬라이스 세그먼트 NAL 유닛들을 포함한다.
출력 서브-비트스트림은 다음과 같이 유도된다:
- 다음의 2 개의 조건들 중의 하나 이상이 참일 때, 0 과 동일한 nuh_layer_id 를 가지며 비-네스팅된 버퍼링 주기 SEI 메시지, 비-네스팅된 픽처 타이밍 SEI 메시지, 또는 비-네스팅된 디코딩 유닛 정보 SEI 메시지를 포함하는 모든 SEI NAL 유닛들을 제거한다:
- layerIdListTarget 은 비트스트림에서의 모든 NAL 유닛들 내의 nuh_layer_id 의 모든 값들을 포함하지 않는다.
- tIdTarget 은 비트스트림에서의 모든 NAL 유닛들 내의 최대 TemporalId 보다 더 작다.
주의 2 - 서브-비트스트림에 적용가능한 SEI 메시지들이 원래의 비트스트림에서 네스팅된 SEI 메시지들로서 존재하였다면, "스마트" 비트스트림 추출기는 추출된 서브-비트스트림에서 적절한 비-네스팅된 버퍼링 주기 SEI 메시지들, 비-네스팅된 픽처 타이밍 SEI 메시지들, 및 비-네스팅된 디코딩 유닛 정보 SEI 메시지들을 포함할 수도 있다.
- layerIdListTarget 내에 포함된 값들 중에 있지 않은 tIdTarget 또는 nuh_layer_id 보다 더 큰 TemporalId 를 갖는 모든 NAL 유닛들을 제거한다.
-
subExtModeIdc
가 0 보다 더 클 때,
TargetOptLayerIdList
내에 포함된 값들 중에 있지 않은
nuh
_layer_id 와, max_tid_il_ref_pics_plus1[ LayerIdxInVps[ nuh_layer_id ] ] - 1 보다 더 큰 TemporalId 를 갖는
NAL
유닛들을 추가로 제거한다.
-
subExtModeIdc
가 1 보다 더 클 때,
TargetOptLayerIdList
내에 포함된 값들 중에 있지 않은
nuh
_layer_id 및 1 과 동일한 discardable_
flag 를
갖는
NAL
유닛들을 추가로 제거한다.
추출 모드 subExtModeInc 가 0 보다 더 클 경우에만, 타겟 출력 계층 식별자 리스트 TargetOptLayerIdList 가 서브-비트스트림 추출 프로세스에 대한 입력으로서 제공된다는 점에서, 위에서 도시된 HEVC 버전 1 의 하위조항 10 의 버전은 JCTVC-N0267/JCT3V-E0087 에서 제안된 HEVC 버전 1 의 하위조항 10 의 버전과는 상이하다. 또한, 정합 비트스트림으로 고려되어야 할 입력 비트스트림에 대한 요건들이 상이하다는 점에서, 위에서 도시된 HEVC 버전 1 의 하위조항 10 의 버전은 JCTVC-N0267/JCT3V-E0087 에서 제안된 HEVC 버전 1 의 하위조항 10 의 버전과는 상이하다.
이 개시물의 일부의 기법들에 따르면, 다수의 적합성 레벨들은 VPS 에서의 출력 계층 세트들에 대해 시그널링된다. 예를 들어, 비디오 인코더 또는 다른 컴퓨팅 디바이스는 VPS 에서의 출력 계층 세트들에 대한 다수의 적합성 레벨들을 시그널링할 수도 있다. 이하의 표 1 은 SHVC WD3 의 하위조항 F.7.3.2.1.1 에서 설명된 VPS 확장 신택스에 대한 일 예의 변경들을 표시한다 (신택스 엘리먼트들은 굵게 표시되고 (예컨대, "신택스 엘리먼트"), 추가들은 밑줄로 표시된다 (예컨대, "추가된 텍스트").
이 개시물에서, n 이 정수인 형태 u(n) 의 타입 디스크립터들을 가지는 신택스 엘리먼트들은 n 비트들을 이용한 무부호 값 (unsigned value) 들이다. 형태 u(v) 의 타입 디스크립터들을 가지는 신택스 엘리먼트들은, 그 길이가 다른 신택스 엘리먼트들의 값들에 종속적인 방식으로 변동되는 무부호 값들이다. 또한, 형태 ue(v) 의 타입 디스크립터들을 가지는 신택스 엘리먼트들은 좌측 비트 우선 (left bit first) 인 무부호 정수 0차 지수-골롬 (Exp-Golomb) 코딩된 신택스 엘리먼트들이다.
상기 표 1 에서, num _present_conformance_level_ minus1[ i ] 플러스 1 은 i 번째 출력 계층 세트에 대한 적합성 레벨들의 수를 특정한다. num_present_conformance_level_minus1[ i ] 의 값은 0 내지 2 까지의 범위에 있다. 또한, 표 1 에서, conform_level[ i ][ j ] 은 i 번째 출력 계층 세트에 대해 존재하는 j 번째 적합성 레벨을 특정한다. 존재하지 않을 때, conform_level[ i ][ j ] 은 j 와 동일한 것으로 추론된다.
또한, 표 1 의 예에 관하여, outLayerSet 를 출력 계층 세트라고 하고 presentLayerset 를 디코딩되어야 할 출력 계층 세트에 대해 존재하는 계층 세트라고 하고, maxTid 를 presentLayerset 의 계층들에서의 픽처들의 TemporalId 의 최대 값들이라고 한다. 0 과 동일한 적합성 레벨 값은, presentLayerset 에서의 각각의 계층의 최고 TemporalId 값이 maxTid 와 동일하고, 각각의 액세스 유닛이 presentLayerset 에서의 각각의 계층으로부터의 하나의 픽처를 포함한다는 것을 표시한다. 1 과 동일한 적합성 레벨 값은, outLayerSet 에서의 각각의 계층의 최고 TemporalId 값이 maxTid 와 동일하고, 각각의 액세스 유닛이 outLayerSet 에서의 각각의 계층으로부터의 하나의 픽처를 포함하고; 게다가, outLayerSet 내에 있지 않은 presentLayerset 내의 각각의 계층 A 에 대하여, 이 계층에서의 픽처들의 최고 TemporalId 가 maxTidPreLayer 이하인 TemporalId 를 갖는 각각의 액세스 유닛에서 maxTidPreLayer 일 경우, 계층 A 에서의 픽처가 액세스 유닛에서 존재한다는 것을 표시한다. 1 과 동일한 적합성 레벨 값은, outLayerSet 에서의 각각의 계층의 최고 TemporalId 값이 maxTid 와 동일하고, 각각의 액세스 유닛이 outLayerSet 에서의 각각의 계층으로부터의 하나의 픽처를 포함한다는 것을 표시한다.
이에 따라, 이전의 단락의 예에서, conform_level 신택스 엘리먼트 (즉, 비트스트림을 생성하기 위하여 이용되었던 추출 모드의 표시) 는 적합성 레벨을 표시한다. 0 과 동일한 적합성 레벨은, 현재의 계층 세트에서의 각각의 계층의 최고 시간적 식별자가 현재의 계층 세트의 최대 시간적 식별자와 동일하고, 서브-비트스트림의 각각의 액세스 유닛이 현재의 계층 세트에서의 각각의 계층으로부터의 하나의 픽처를 포함한다는 것을 표시한다. 또한, 현재의 계층 세트는 서브-비트스트림에 대해 존재하는 계층들의 세트이다. 현재의 계층 세트의 최대 시간적 식별자는 현재의 계층 세트에서의 계층들 내의 픽처들의 최대 시간적 식별자이다. 추가적으로, 1 과 동일한 적합성 레벨은, 타겟 출력 계층 세트에서의 각각의 계층의 최고 시간적 식별자가 현재의 계층 세트의 최대 시간적 식별자와 동일하고, 서브-비트스트림의 각각의 액세스 유닛이 타겟 출력 계층 세트에서의 각각의 계층으로부터의 하나의 픽처를 포함한다는 것을 표시한다. 1 과 동일한 적합성 레벨은, 타겟 출력 계층 세트 내에 있지 않은 현재의 계층 세트에서의 각각의 개별 계층에 대하여, 개별 계층에서의 픽처들의 최고 시간적 식별자가 현재의 계층 세트의 최대 시간적 식별자일 경우, 현재의 계층 세트의 최대 시간적 식별자 이하인 시간적 식별자를 갖는 각각의 액세스 유닛이 개별 계층에서의 픽처를 포함한다는 것을 추가로 표시한다. 추출 모드와 관계없이, 서브-비트스트림은 출력 계층 세트 내의 픽처들을 디코딩하기 위한 충분한 NAL 유닛들을 포함한다.
일부의 예들에서, 1 또는 2 또는 양자와 동일한 적합성 레벨 값은 다음을 요구하지 않을 수도 있다: outLayerSet 에서의 각각의 계층의 최고 TemporalId 값은 maxTid 와 동일하고, 각각의 액세스 유닛은 outLyaerSet 에서의 각각의 계층으로부터의 하나의 픽처를 포함한다.
대안적으로, 일부의 예들에서, 적합성 레벨 1 은 다음과 같이 정의된다: 1 과 동일한 적합성 레벨 값은, presentLayerset 내의 각각의 계층 A 에 대하여, 이 계층에서의 픽처들의 최고 TemporalId 가 maxTidPreLayer 이하인 TemporalId 를 갖는 각각의 액세스 유닛에서 maxTidPreLayer 일 경우, 계층 A 에서의 픽처가 액세스 유닛에서 존재한다는 것을 표시한다.
이에 따라, 이전의 단락의 예에서, conform_level 신택스 엘리먼트는 적합성 레벨을 표시한다. 0 과 동일한 적합성 레벨은, 현재의 계층 세트에서의 각각의 계층의 최고 시간적 식별자가 현재의 계층 세트의 최대 시간적 식별자와 동일하고, 서브-비트스트림의 각각의 액세스 유닛이 현재의 계층 세트에서의 각각의 계층으로부터의 하나의 픽처를 포함한다는 것을 표시한다. 현재의 계층 세트는 서브-비트스트림에 대해 존재하는 계층들의 세트이다. 현재의 계층 세트의 최대 시간적 식별자는 현재의 계층 세트에서의 계층들 내의 픽처들의 최대 시간적 식별자이다. 추가적으로, 이 예에서, 1 과 동일한 적합성 레벨은, 현재의 계층 세트에서의 각각의 개별 계층에 대하여, 개별 계층에서의 픽처들의 최고 시간적 식별자가 현재의 계층 세트의 최대 시간적 식별자일 경우, 현재의 계층 세트의 최대 시간적 식별자 이하인 시간적 식별자를 갖는 각각의 액세스 유닛이 개별 계층에서의 픽처를 포함한다는 것을 표시한다. 추출 모드와 관계없이, 서브-비트스트림은 출력 계층 세트 내의 픽처들을 디코딩하기 위한 충분한 NAL 유닛들을 포함한다.
또한, 표 1 에서, profile_level_tier_ idx[ i ][ j ] 는, j 번째 적합성 레벨을 갖는 i 번째 출력 계층 세트에 적용되는 profile_tier_level( ) 신택스 구조의, VPS 에서의 profile_tier_level( ) 신택스 구조들의 리스트로의 인덱스를 특정한다. profile_level_tier_idx[i] 신택스 엘리먼트의 길이는 Ceil( Log2( vps_num_profile_tier_level_minus1 + 1 ) ) 비트들이다. profile_level_tier_idx[ 0 ][ 0 ] 의 값은 0 과 동일한 것으로 추론된다. profile_level_tier_idx[ i ][ j ] 의 값은 0 내지 vps_num_profile_tier_level_minus1 까지의 범위에 있을 것이다.
표 1 에서, add_ vps _ num _ hrd _parameters 는 VPS RBSP 의 VPS 확장에서 존재하는 hrd_parameters( ) 신택스 구조들의 수를 특정한다. 또한, hrd_output_layer_set_idx[i] 는 VPS 확장에서의 i 번째 hrd_parameters( ) 신택스 구조가 적용되는 계층 세트의, VPS 에 의해 특정된 출력 계층 세트들로의 인덱스를 특정한다. hrd_output_layer_set_idx[i] 는 신택스에서 나타나도록 0 내지 1023 까지의 범위에 있다.
추가적으로, 표 1 에서, vps _ ext _ hrd _conformance_level_ idx[i] 는 hrd_output_layer_set_idx[i] 번째 출력 계층 세트에 대한 VPS 확장에서 특정된 적합성 레벨에 대한 인덱스를 특정한다. num_present_conformance_level_minus1[ hrd_output_layer_set_idx[ i ] ] 가 0 과 동일할 때, vps_ext_hrd_conformance_level_idx[i] 는 0 과 동일한 것으로 유도된다. VPS 에서의 i 번째 hrd_parameters( ) 신택스 구조와 연관된, hrd_layer_set_idx[i]] 번째 출력 계층 세트의 적합성 레벨은 0 과 동일한 것으로 추론된다.
표 1 에서, 1 과 동일한 add_ cprms _present_flag[i] 는, 모든 서브-계층들에 대해 공통인 HRD 파라미터들이 VPS 확장에서의 i 번째 hrd_parameters( ) 신택스 구조에서 존재한다는 것을 특정한다. 0 과 동일한 add_cprms_present_flag[i] 는, 모든 서브-계층들에 대해 공통인 HRD 파라미터들이 VPS 확장에서의 i 번째 hrd_parameters( ) 신택스 구조에서 존재하지 않고 VPS 확장에서의 (i - 1) 번째 hrd_parameters( ) 신택스 구조와 동일한 것으로 유도된다는 것을 표시한다. add_cprms_present_flag[0] 는 1 과 동일한 것으로 추론된다.
MV-HEVC 의 일부의 버전들에서, 특성들은 각각의 계층 세트에 대해 시그널링된다. 계층 세트에 대한 이러한 특성들은 계층 세트에 대한 평균 비트 레이트, 계층 세트에 대한 최대 비트 레이트, 계층 세트에 대한 일정한 픽처 레이트가 있는지 여부, 계층 세트에 대한 평균 픽처 레이트를 포함할 수도 있다. 이러한 특성들은 VPS 의 비디오 가용성 정보 (video usability information; VUI) 확장에서 시그널링될 수도 있다. 일부의 사례들에서는, 상이한 적합성 레벨들을 가질 수 있는, 각각의 출력 계층 세트에 대한 이러한 특성들을 시그널링하는 것이 바람직할 수도 있다. 이하의 표 2 는 이 개시물의 하나 이상의 기법들에 따라 vps_vui 신택스 구조에 대한 변경들을 도시하고, 신택스 엘리먼트들은 굵게 표시되고 (예컨대, "신택스 엘리먼트"), 추가들은 밑줄로 표시되고 (예컨대, "추가된 텍스트"), 삭제들은 이중 대괄호들로 이탤릭체로 표시된다 (예컨대, "[[삭제된 텍스트]]")).
표 2 에서, NumConformancePoints 변수의 값은 상기 표 1 에서 설명된 바와 같이 결정될 수도 있다.
미국 특허 가출원들 제 61/889,515 호 및 제 61/890,841 호는, DPB 크기 및 다른 관련 있는 신택스 엘리먼트들이 (출력 계층 세트에 대응하는) 각각의 동작 포인트에 대해 존재한다는 것을 제안하였다. 이 문서에서, 이러한 시그널링은 상이한 적합성 레벨들을 갖는 다양한 출력 계층 세트들로 확장될 수도 있다. 이하의 표 3 에서, 신택스 엘리먼트들은 굵게 표시되고 (예컨대, "신택스 엘리먼 트"), 추가들은 밑줄로 표시되고 (예컨대, "추가된 텍스트")), 삭제들은 이중 대괄호들로 이탤릭체로 표시된다 (예컨대, "[[삭제된 텍스트]]").
위에서 표시된 바와 같이, 이 개시물의 하나 이상의 기법에 따르면, 추출 모드의 표시는 HRD 파라미터들에서 시그널링될 수도 있다. 일부의 예들에서, HRD 파라미터들은 SEI 메시지에서 시그널링될 수도 있다. 예를 들어, 버퍼링 주기 SEI 메시지, 픽처 타이밍 SEI 메시지, 및 디코딩 유닛 정보 SEI 메시지에서의 픽처 레벨 HRD 파라미터들의 시그널링을 위하여, SEI 메시지의 이 3 개의 타입들 중의 임의의 것의 네스팅된 SEI 메시지가 적합성 포인트들 중의 어느 것에 적용가능한지에 대해 명확하게 표시될 수 있도록, 현재의 스케일러블 네스팅 SEI 메시지의 어느 하나가 수정된다. 버퍼링 주기 SEI 메시지는, 디코딩 순서에서의 연관된 액세스 유닛 (즉, 버퍼링 주기 SEI 메시지와 연관된 액세스 유닛) 의 위치에서 HRD 의 초기화를 위한 초기 CPB 제거 지연 및 초기 CPB 제거 지연 오프셋 정보를 제공하는 SEI 메시지이다. 픽처 타이밍 SEI 메시지는, SEI 메시지와 연관된 액세스 유닛에 대한 CPB 제거 지연 및 DPB 출력 지연 정보를 제공하는 SEI 메시지이다. 디코딩 유닛 정보 SEI 메시지는, SEI 메시지와 연관된 디코딩 유닛에 대한 CPB 제거 지연 정보를 제공하는 SEI 메시지이다. 이하의 표 4 는, 네스팅된 버퍼링 주기 SEI 메시지, 네스팅된 픽처 타이밍 SEI 메시지, 또는 네스팅된 디코딩 유닛 정보 SEI 메시지가 특정 적합성 포인트들에 적용가능한 것으로서 명확하게 표시될 수 있도록 수정되는 스케일러블 네스팅 SEI 메시지의 일 예의 신택스를 도시한다.
상기 표 4 에서, nesting_cp_cl[ i ] 는, 이 SEI 메시지 내에 포함된 SEI 메시지들이 적용되는 활성 VPS 에 의해 특정된 nesting_cp_idx[ i ] 번째 출력 계층 세트의 적합성 레벨을 특정한다. 일부의 예들에서, nesting_cp_cl[ i ] 의 값은 0 보다 더 크고 3 보다 더 작을 것이다. 일부의 예들에서, nesting_cp_cl[ i ] 의 값은 3 보다 더 작을 것이다. 적합성 레벨은 이 개시물의 다른 예들에서 설명된 바와 같이 표시될 수 있다.
이 개시물의 다른 예의 기법들은, 위에서 설명된 SEI 메시지들과 동일한 기능성을 달성하지만, 현존하는 스케일러블 네스팅 SEI 메시지를 건드리지 않은 채로 유지하도록 설계되는 새로운 스케일러블 네스팅 SEI 메시지를 제공한다. 이하의 표 5 는 이러한 새로운 스케일러블 네스팅 SEI 메시지에 대한 신택스 (syntax) 및 시맨틱 (semantic) 들의 일 예의 세트이다.
표 5 의 스케일러블 네스팅 SEI 메시지는 SEI 메시지들을 다양한 동작 포인트들에 대응하는 비트스트림 서브세트들과 연관시키기 위한 메커니즘을 제공한다. 표 5 의 새로운 스케일러블 네스팅 SEI 메시지는 하나 이상의 SEI 메시지들을 포함한다. 일부의 예들에서, 표 5 의 새로운 스케일러블 네스팅 SEI 메시지는 또 다른 SEI 메시지에서 포함되지 않을 것이다.
표 5 의 예에서, 새로운 스케일러블 네스팅 SEI 메시지는 버퍼링 주기 SEI 메시지, 픽처 타이밍 SEI 메시지, 및 디코딩 유닛 정보 SEI 메시지 이외의 임의의 다른 SEI 메시지들을 포함하지 않을 것이다. 또한, 표 5 에서, nesting_num_cps_minus1 플러스 1 은 다음의 nesting_cp_idx[ i ] 신택스 엘리먼트들의 수를 특정한다. nesting_num_cps_minus1 의 값은 0 내지 2047 까지의 범위에 있을 것이다. 대안적으로, nesting_num_cps_minus1 의 값은 0 내지 3071 까지의 범위에 있을 것이다. 또한, 변수 nestingNumCps 는 nesting_num_cps_minus1 + 1 과 동일하게 설정된다.
표 5 에서, nesting_cp_max_ tid _ plus1[i] 은 변수 maxTemporalId[i] 를 특정하기 위하여 이용된다. nesting_cp_max_tid_plus1[i] 의 값은 현재의 SEI NAL 유닛의 nuh_temporal_id_plus1 이상일 것이다. 변수 maxTemporalId[i] 는 nesting_cp_max_tid_plus1[i] - 1 과 동일하게 설정된다. nesting_cp_ idx[i] 는 출력 계층 세트의 인덱스를 특정한다. nesting_cp_idx[i] 의 값은 0 내지 1023 까지의 범위에 있을 것이다. nesting_cp_cl[i] 은, 이 SEI 메시지 내에 포함된 SEI 메시지들이 적용되는 활성 VPS 에 의해 특정된 nesting_cp_idx[i] 번째 출력 계층 세트의 적합성 레벨을 특정한다. nesting_cp_cl[i] 의 값은 0 보다 더 크고 3 보다 더 작을 것이다. 대안적으로, nesting_cp_cl[i] 의 값은 3 보다 더 작을 것이다.
새로운 스케일러블 네스팅 SEI 메시지 내에 포함된 SEI 메시지들은 0 내지 nestingNumCps - 1 까지의 범위에서의 모든 i 값들에 대한 서브-비트스트림들 subBitstream[i] 에 적용되고, 여기서, 각각의 서브-비트스트림 subBitstream[i] 는 비트스트림, maxTemporalId[i], nesting_cp_idx[i], 및 nesting_cp_cl[i] 를 입력들로서 갖는 서브-비트스트림 추출 프로세스 (이하 참조) 의 출력이다. nesting_zero_bit 는 0 과 동일할 것이다.
2 개의 SEI 메시지들 (즉, 표 4 의 스케일러블 네스팅 및 도 5 의 새로운 스케일러블 네스팅) 의 양자는 SPS 에서의 sps_extension_flag 와 유사한 방법으로 삽입된 확장 비트를 가질 수도 있다. 이러한 기능성이 스케일러블 네스팅 SEI 에서 인에이블될 경우, nesting_cp_cl[ i ] 은 이하의 표 6 에서 도시된 바와 같은 SEI 확장에서 시그널링될 수 있다.
동작 포인트는 VPS, 타겟 HighestTid 및 적합성 레벨에 의해 특정된 타겟 출력 계층 세트에 대한 인덱스에 의해 식별될 수도 있다. 일단 타겟 동작 포인트가 비트스트림 적합성 테스트에 대해 선택되면, 이하에서 상세하게 설명되는 비트스트림 추출 프로세스는 입력들로서, 테스트 중인 비트스트림, HighestTid, 타겟 출력 계층 세트에 대한 인덱스, 및 적합성 레벨로 호출되고, 출력 서브-비트스트림은 BitstreamToDecode 에 배정된다.
hrd_output_layer_set_idx[ i ] 및 vps_ext_hrd_conformance_level_idx[ i ] 에 의해 VPS 에서 특정된 바와 같은 타겟 동작 포인트에 적용가능한 hrd_parameters( ) 신택스 구조가 선택되고, 타겟 동작 포인트에 적용가능한 sub_layer_hrd_parameters( ) 신택스 구조는 HighestTid 에 기초하여 추가로 선택된다.
액세스 유닛 0 에 대하여, (새로운 스케일러블 네스팅 SEI 메시지에 의해 특정된 바와 같은) 타겟 동작 포인트에 적용가능한 버퍼링 주기 SEI 메시지가 선택된다. 액세스 유닛 0 으로부터 시작하는 BitstreamToDecode 에서의 각각의 액세스 유닛에 대하여, 액세스 유닛과 연관되며 (새로운 스케일러블 네스팅 SEI 메시지에 의해 특정된 바와 같은) 타겟 동작 포인트에 적용되는 픽처 타이밍 SEI 메시지가 선택되고, SubPicHrdFlag 가 1 과 동일하며 sub_pic_cpb_params_in_pic_timing_sei_flag 가 0 과 동일할 때에는, (새로운 스케일러블 네스팅 SEI 메시지에 의해 특정된 바와 같은) 액세스 유닛에서의 디코딩 유닛들과 연관되며 타겟 동작 포인트에 적용되는 디코딩 유닛 정보 SEI 메시지들이 선택된다.
위에서 표시된 바와 같이, 이 개시물의 하나 이상의 기법들에 따르면, 서브-비트스트림 추출 프로세스에 의해 생성된 각각의 서브-비트스트림에 대하여, 컴퓨팅 디바이스는, 어느 추출 모드가 서브-비트스트림을 생성하기 위하여 이용되었는지를 표시하는 SEI 메시지 (예컨대, 비트스트림 추출 상태 정보 SEI 메시지) 를 생성할 수도 있다. 이하의 표 7 은 이러한 SEI 메시지에 대한 일 예의 신택스를 도시한다.
표 7 의 SEI 메시지와 같은 비트스트림 추출 상태 정보 SEI 메시지가 존재할 때, 비트스트림 추출 상태 정보 SEI 메시지는 비트스트림과 연관되고, 비트스트림이 적용되는 적합성 레벨을 표시하고, 비트스트림의 타겟 출력 계층들을 표시한다. 출력 계층 세트 정보 (예컨대, output_layer_set_from_vps_flag, output_layer_set_idx_to_vps, 및/또는 output_layer_present_flag 신택스 엘리먼트들) 가 비트스트림 추출 상태 정보 SEI 메시지에서 존재할 때, 임의의 추출 모드를 갖는 비트스트림 추출 프로세스는, 비트스트림 추출 프로세스에 대한 입력으로서 제공된 출력 계층 세트가 비트스트림 추출 상태 정보 SEI 메시지에서 특정된 바와 같은 출력 계층 세트에 속할 경우에 적용될 수 있다. 출력 계층 세트 정보가 비트스트림 추출 상태 정보 SEI 메시지에서 존재하지 않거나, 비트스트림 추출 상태 정보 SEI 메시지가 존재하지 않을 때, 출력 계층들은 (1 과 동일한 layer_id_included_flag 를 갖는) VPS 에서 시그널링된 모든 계층들을 포함한다. 비트스트림 추출 상태 정보 SEI 메시지가 존재하지 않을 때, 적합성 레벨은 출력 계층들로서 VPS 에서 시그널링된 모든 계층들을 가지는 출력 계층 세트에 대하여, VPS 에서 존재하는 conform_level 의 최저 값인 것으로 추론된다. conform_level 의 시맨틱들은 이 개시물의 다른 예들에서 설명된 것과 동일할 수도 있다.
표 7 에서, (이 개시물이 active_vps_id 로서 또한 지칭할 수도 있는) lp_sei_active_vps_id 는 이 SEI 메시지를 포함하는 CVS 의 활성 VPS 를 식별한다. lp_sei_active_vps_id 의 값은 SEI 메시지를 포함하는 액세스 유닛의 VCL NAL 유닛들에 대한 활성 VPS 의 vps_video_parameter_set_id 의 값과 동일할 것이다. conformance_indication 은 이 SEI 메시지와 연관된 비트스트림의 적합성 레벨을 특정한다. 적합성 레벨은 이 개시물에서의 어딘가에서 설명된 것과 동일한 방식으로 정의될 수도 있다.
또한, 표 7 에서, 1 과 동일한 output_layer_set_info_present_flag 는, 이 SEI 메시지와 연관된 출력 계층 세트가 VPS 에서 정의된다는 것을 특정한다. 이러한 방법으로, SEI 메시지는 비트스트림을 생성하기 위하여 이용되었던 타겟 출력 계층 세트를 표시하는 데이터를 포함한다. 비트스트림을 생성하기 위하여 이용되었던 타겟 출력 계층 세트를 표시하는 데이터는 VPS 에서 특정된 출력 계층 세트에 대한 인덱스를 특정하는 신택스 엘리먼트를 포함한다.
0 과 동일한 output_layer_set_info_present_flag 는, 이 SEI 메시지와 연관된 출력 계층 세트가 VPS 에서 정의될 수도 있거나 정의되지 않을 수도 있다는 것을 특정한다. output_layer_set_idx_to_vps 는 VPS 에서 특정된 바와 같은 출력 계층 세트에 대한 인덱스를 특정한다. 1 과 동일한 output_layer_present_flag[i] 는, i 와 동일한 nuh_layer_id 의 값이 이 SEI 메시지와 연관된 출력 계층 세트 내에 포함된다는 것을 특정한다. 0 과 동일한 output_layer_present_flag[i][j] 는, i 와 동일한 nuh_layer_id 의 값이 이 SEI 메시지와 연관된 출력 계층 세트 내에 포함되지 않는다는 것을 특정한다. 이러한 방법으로, SEI 메시지는 타겟 출력 계층 세트를 표시하는 데이터를 포함할 수도 있다. 이 데이터는 일련의 신택스 엘리먼트들 (예컨대, output_layer_present_flag 신택스 엘리먼트들) 을 포함할 수도 있다. 일련의 신택스 엘리먼트들에서의 각각의 개별 신택스 엘리먼트에 대하여, 개별 신택스 엘리먼트에 대한 개별 위치 인덱스 (예컨대, i) 는 일련의 신택스 엘리먼트들 내에서의 개별 신택스 엘리먼트의 로케이션을 표시한다. 개별 신택스 엘리먼트의 값이 1 과 동일할 경우, 개별 신택스 엘리먼트에 대한 개별 위치 인덱스와 동일한 계층 식별자를 가지는 계층은 서브-비트스트림을 생성하기 위하여 이용되었던 타겟 출력 계층 세트 내에 포함된다. 개별 신택스 엘리먼트의 값이 0 과 동일할 경우, 개별 신택스 엘리먼트에 대한 개별 위치 인덱스와 동일한 계층 식별자를 가지는 계층은 서브-비트스트림을 생성하기 위하여 이용되었던 타겟 출력 계층 세트 내에 포함되지 않는다.
이에 따라, 일부의 예들에서, 표 7 의 SEI 메시지는 비트스트림에 대한 타겟 출력 계층 세트를 표시하는 데이터를 포함한다. 비트스트림을 생성하기 위하여 이용되었던 추출 모드에 관계없이, 비트스트림은 타겟 출력 계층 내의 픽처들을 디코딩하기 위한 충분한 NAL 유닛들을 포함한다. 또한, 비트스트림이 제 2 추출 모드 (예컨대, 크기-최적화된 서브-비트스트림을 생성하는 추출 모드) 를 이용하여 추출되었을 경우, 소스 비트스트림의 각각의 개별 NAL 유닛에 대하여, 다음의 조건들의 양자가 개별 NAL 유닛에 대해 충족될 경우에 개별 NAL 유닛이 서브-비트스트림 내에 있지 않도록, 개별 NAL 유닛이 소스 비트스트림으로부터 제거되도록 비트스트림이 생성되었다:
i) 개별 NAL 유닛이 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자들의 리스트에서의 계층 식별자들 중에 있지 않은 계층 식별자를 가지고, 그리고
ii) 개별 NAL 유닛의 시간적 식별자가 개별 NAL 유닛이 속하는 계층의 픽처들에 의해 이용된 인터-계층 참조 픽처들의 최대 시간적 식별자보다 더 크다.
또한, 일부의 예들에서, 추출 모드가 제 2 추출 모드일 경우, 이하의 경우에 개별 NAL 유닛이 비트스트림 내에 있지 않도록, 개별 NAL 유닛이 소스 비트스트림으로부터 제거된다:
i) 개별 NAL 유닛이 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자들의 리스트에서의 계층 식별자들 중에 있지 않은 계층 식별자를 가지고, 그리고
ii) 개별 NAL 유닛의 플래그가, 개별 NAL 유닛에 대응하는 코딩된 픽처가 디코딩 순서에서의 추후의 픽처들의 디코딩 프로세스에서 참조 픽처로서 이용되지 않는다는 것을 특정한다.
일부의 예들에서, 디코딩되어야 할 필요가 있는 계층들의 수뿐만 아니라, 출력 계층 세트를 출력하기 위하여 어느 계층들이 디코딩되어야 할 필요가 있는지는 VPS 에 기초하여 유도될 수 있다. 대안적으로, 이러한 계층들은 이 SEI 메시지에서 시그널링될 수 있다.
위에서 표시된 바와 같이, 이 개시물의 일부의 예들에서, 적합성 레벨의 표시는 profile_tier_level 신택스 구조에서 존재할 수도 있다. 이러한 적합성 레벨은 표 8 에서 이하에 도시된 바와 같이, 프로파일, 티어, 및 레벨 신택스 구조에서 표시될 수 있다.
상기 표 8 에서, conformance_level 은 출력 계층 세트가 따르는 적합성 레벨을 특정한다. 적합성 레벨은 이 개시물에서의 어딘가에서 설명된 것과 동일한 방식으로 정의될 수도 있다.
위에서 표시된 바와 같이, 이 개시물의 일부의 예들에서, 포괄적 비트스트림 추출 프로세스는 멀티-계층 코덱에서 정의될 수 있다. 다시 말해서, 추출 프로세스는 최후 입력이 출력 계층 세트에 대한 인덱스 및 비트스트림 추출 모드의 조합, 명시적 출력 계층 세트 및 비트스트림 추출 모드의 조합, 또는 단지 타겟 계층들의 세트인 것을 가능하게 하기 위하여 MV-HEVC/SHVC 에서 정의된다.
최후 입력이 타겟 계층들의 세트일 때, 비트스트림 추출 모드는 0 인 것으로 고려되고, 출력 계층 세트를 입력으로서 취하지 않는다. 다음은 이 예에 따른 일 예의 서브-비트스트림 추출 프로세스이다.
F.10 서브-
비트스트림
추출 프로세스
이 프로세스에 대한 입력들은 비트스트림, 타겟 최고 TemporalId 값 tIdTarget, 및 다음 중의 하나이다:
- 출력 계층 세트에 대한 인덱스 outputLayerSetIdx 및 비트스트림 추출 모드 subExtModeIdc.
- 타겟 출력 계층 식별자 리스트 inputOptLayerIdList 및 비트스트림 추출 모드 subExtModeIdc.
- 타겟 계층 식별자 리스트 layerIdListTarget.
이 하위조항에 대한 입력 파라미터들
최후 입력이 출력 계층 세트에 대한 인덱스 outputLayerSetIdx 및 비트스트림 추출 모드 subExtModeIdc 를 포함할 경우, 타겟 출력 계층 식별자 리스트 TargetOptLayerIdList 및 layerIdListTarget 은 다음과 같이 유도된다:
최후 입력이 출력 계층 세트에 대한 인덱스 outputLayerSetIdx 및 비트스트림 추출 모드 subExtModeIdc 를 포함할 경우, 타겟 출력 계층 식별자 리스트 TargetOptLayerIdList 및 layerIdListTarget 은 다음과 같이 유도된다:
lsIdx = outputLayerSetIdx;
layerIdListTarget = LayerSetLayerIdList[ lsIdx ].
for( k = 0, j = 0; j < NumLayersInIdList[ lsIdx ];j++) {
layerIdListTarget[ j ] = LayerSetLayerIdList[ lsIdx ][ j ]
if( output_layer_flag[ lsIdx ][ j ] )
outputLayerSetIdx[ k++ ] = LayerSetLayerIdList[ lsIdx ][ j ]
}
이와 다르게, 최후 입력이 타겟 출력 계층 식별자 리스트 inputOptLayerIdList, 비트스트림 추출 모드 subExtModeIdc 를 포함할 경우, 이러한 계층 식별자가 포함되지 않았으면, 타겟 출력 계층 식별자 리스트 TargetOptLayerIdList 는 inputOptLayerIdList 와 동일하게 설정되고, layerIdListTarget 은 TargetOptLayerIdList 내에 포함된 바와 같은 각각의 계층의 임의의 직접 또는 간접적인 종속 계층의 nuh_layer_id 를 포함하도록 유도된다. 이러한 프로세스는 MVC 비트스트림 추출 프로세스와 유사한다.
이와 다를 경우, TargetOptLayerIdList 는 비어 있는 것으로 설정되고, subExtModeIdc 는 0 으로 설정된다.
섹션 4.1.1. 에서 특정된 바와 같은 서브-비트스트림 추출 프로세스는 subExtModeIdc 가 0 과 동일하지 않을 경우에 입력들로서 tIdTarget, layerIdListTarget, 및 subExtModeIdc 와 함께, 추가적인 입력으로서 subExtModeIdc 일 경우에 TargetOptLayerIdList 와 함께 적용된다.
현재의 비트스트림이 confLevel 의 적합성 레벨을 가지는 것으로 한다. 출력 계층 세트에 대한 인덱스 또는 타겟 출력 계층 식별자 리스트가 비트스트림 추출을 위한 입력으로서 이용될 때, (0 내지 2 와 동일한 값을 갖는) 임의의 추출 모드가 적용될 수도 있다. 추출 프로세스 후에, 서브-비트스트림은 max (subExtModeIdc, confLevel) 와 동일한 conformance_indication 을 갖는 비트스트림 상태 정보 SEI 메시지를 가진다.
타겟 계층 식별자 리스트가 비트스트림 추출을 위한 입력으로서 이용될 때, 추출 프로세스 후에는, 서브-비트스림이 confLevel 와 동일한 conformance_indication 을 갖는 비트스트림 상태 정보 SEI 메시지를 가진다 (즉, 적합성 레벨은 변경되지 않음).
비디오 인코더 (20) 및 비디오 디코더 (30) 는 위에서 설명된 이 개시물의 기법들 중의 하나 이상을 구현할 수도 있다. 예를 들어, 비디오 디코더 (30) 는 비트스트림에서의 데이터에 기초하여 표시를 획득할 수도 있다. 비트스트림은 비디오 데이터의 인코딩된 표현을 포함한다. 비디오 디코더 (30) 는 표시에 적어도 부분적으로 기초하여, 서브-비트스트림이 비트스트림으로부터 추출될 수 있는지 여부를 결정할 수도 있다. 유사하게, 비디오 인코더 (20) 는 서브-비트스트림이 비트스트림으로부터 추출될 수 있는지 여부의 표시를 제공하는 데이터를 포함하는 비트스트림을 생성할 수도 있다.
이 개시물의 추가적인 예들은 주로 대역폭을 감소시키기 위하여, 어떤 적용 시나리오들을 따르고 있지 않지만, 어떤 적용 시나리오들에 대해 제공될 수 있는 서브-비트스트림들을 표시하기 위한 시스템들 및 방법들을 포함한다.
15 차 JCT-VC 및 6 차 JCT-3V 회의들에서 논의되었던 바와 같이, 추출된 서브-비트스트림들이 멀티-모드들로 생성되도록 하는 것은 이 단계에서 가장 적당한 해결책이 아닐 수도 있었다. 그러나, 이러한 불완전한 서브-비트스트림들이 예컨대, 어떤 적용 시나리오들을 위한 대역폭의 감소를 위해 여전히 유용할 수도 있다는 것을 고려하면, 이 개시물은 SEI 메시지에서 모든 서브-비트스트림들에 대한 상이한 추출 모드들에 대응하는 픽처 존재 속성을 표시할 것을 제안한다. 이 개시물은 이 SEI 메시지를 서브-비트스트림 픽처 존재 속성 SEI 메시지로서 지칭할 수도 있다. 다음의 예들에서 열거된 특징들은 구현에 따라서는 단독으로 또는 적당한 조합으로 이용될 수도 있다.
일부의 예들에서, SEI 메시지 (예컨대, 서브-비트스트림 픽처 존재 속성 SEI 메시지) 는 VPS 에서 정합 비트스트림들로서 표시되지 않는 모든 서브-비트스트림들로서, 그러나 서브-비트스트림에서 존재하는 모든 계층들로부터의 픽처들을 포함하지 않는 적어도 하나의 액세스 유닛을 포함하는 서브-비트스트림들의 속성들을 표시하기 위하여 제공된다. 예를 들어, SEI 메시지 (예컨대, 서브-비트스트림 픽처 존재 속성 SEI 메시지) 는 VPS 에서 정합 비트스트림들로서 표시되지 않는 모든 서브-비트스트림들로서, 그러나 서브-비트스트림에서 존재하는 모든 계층들로부터의 픽처들을 포함하지 않는 적어도 하나의 액세스 유닛을 포함하는 서브-비트스트림들의 속성들을 표시하기 위하여 제공될 수도 있다. 각각의 서브-비트스트림에 대하여, 타겟 출력 계층들이 아닌 계층들에 대한 서브-비트스트림의 완전성의 레벨이 시그널링된다. 각각의 서브-비트스트림에 대하여, 최대 비트레이트, 평균 비트레이트, 및 평균 픽처 레이트가 시그널링된다.
이하의 표 9 는 이 개시물의 하나 이상의 기법들에 따라 일 예의 서브-비트스트림 픽처 존재 속성 SEI 메시지 신택스를 도시한다.
표 9 의 서브-비트스트림 픽처 존재 속성 SEI 메시지가 존재할 때, 그것은 비트스트림과 연관되고, 서브-비트스트림들의 각각에 대하여, 그 픽처 존재 레벨 및 비트-레이트들을 표시한다.
표 9 의 예에서, lp_ sei _active_ vps _id 는 이 SEI 메시지를 포함하는 CVS 의 활성 VPS 를 식별한다. lp_sei_active_vps_id 의 값은 SEI 메시지를 포함하는 액세스 유닛의 VCL NAL 유닛들에 대한 활성 VPS 의 vps_video_parameter_set_id 의 값과 동일할 것이다. 또한, 표 9 의 예에서, num _additional_sub_streams 는 그 속성들이 이 SEI 메시지에서 존재하는 서브-비트스트림들의 수를 특정한다.
picture_presence_info_indication_ minus1 [i] 플러스 1 은 이 SEI 메시지와 연관된 i 번째 서브-비트스트림의 픽처 존재 레벨을 특정한다. picture_presence_info_indication_minus1[i] 의 값은 0 내지 1 까지의 범위에 있고, 값 2 및 3 은 예약된다. 0 과 동일한 값은, 다음의 비트 레이트 및 픽처 레이트 정보가 output_layer_set_idx_to_vps[i] 에 의해 식별된 출력 계층 세트에 대응하는 비트스트림에 대한 다음의 프로세스에 따라 추출된 서브-비트스트림을 위한 것이라는 것을 표시한다:
- 다음의 2 개의 조건들 중의 하나 이상이 참일 때, 0 과 동일한 nuh_layer_id 를 가지며 비-네스팅된 버퍼링 주기 SEI 메시지, 비-네스팅된 픽처 타이밍 SEI 메시지, 또는 비-네스팅된 디코딩 유닛 정보 SEI 메시지를 포함하는 모든 SEI NAL 유닛들을 제거한다:
- layerIdListTarget 은 비트스트림에서의 모든 NAL 유닛들 내의 nuh_layer_id 의 모든 값들을 포함하지 않는다.
- tIdTarget 은 비트스트림에서의 모든 NAL 유닛들 내의 최대 TemporalId 보다 더 작다.
- layerIdListTarget 내에 포함된 값들 중에 있지 않은 tIdTarget 또는 nuh_layer_id 보다 더 큰 TemporalId 를 갖는 모든 NAL 유닛들을 제거한다.
- TargetOptLayerIdList 내에 포함된 값들 중에 있지 않은 nuh_layer_id 와, max_tid_il_ref_pics_plus1[ LayerIdxInVps[ nuh_layer_id ] ] - 1 보다 더 큰 TemporalId 를 갖는 NAL 유닛들을 추가로 제거한다.
1 과 동일한 picture_presence_info_indication_ minus1 의 값은, 다음의 비트 레이트 및 픽처 레이트 정보가 다음의 프로세스에 따라 추출된 서브-비트스트림을 위한 것이라는 것을 표시한다:
- 다음의 2 개의 조건들 중의 하나 이상이 참일 때, 0 과 동일한 nuh_layer_id 를 가지며 비-네스팅된 버퍼링 주기 SEI 메시지, 비-네스팅된 픽처 타이밍 SEI 메시지, 또는 비-네스팅된 디코딩 유닛 정보 SEI 메시지를 포함하는 모든 SEI NAL 유닛들을 제거한다:
- layerIdListTarget 은 비트스트림에서의 모든 NAL 유닛들 내의 nuh_layer_id 의 모든 값들을 포함하지 않는다.
- tIdTarget 은 비트스트림에서의 모든 NAL 유닛들 내의 최대 TemporalId 보다 더 작다.
- layerIdListTarget 내에 포함된 값들 중에 있지 않은 tIdTarget 또는 nuh_layer_id 보다 더 큰 TemporalId 를 갖는 모든 NAL 유닛들을 제거한다.
- TargetOptLayerIdList 내에 포함된 값들 중에 있지 않은 nuh_layer_id 와, max_tid_il_ref_pics_plus1[ LayerIdxInVps[ nuh_layer_id ] ] - 1 보다 더 큰 TemporalId 를 갖는 NAL 유닛들을 추가로 제거한다.
- TargetOptLayerIdList 내에 포함된 값들 중에 있지 않은 nuh_layer_id 및 1 과 동일한 discardable_flag 를 갖는 NAL 유닛들을 추가로 제거한다.
또한, 표 9 의 예에서, output_layer_set_ idx _to_ vps [i] 는 i 번째 서브-비트스트림에 대한 VPS 에서 특정된 바와 같은 출력 계층 세트에 대한 인덱스를 특정한다. 1 과 동일한 bit_rate_present_flag[i] 는 i 번째 서브-비트스트림에 대한 비트 레이트 정보가 존재한다는 것을 특정한다. 0 과 동일한 bit_rate_present_flag[i] 는 i 번째 서브-비트스트림에 대한 비트 레이트 정보가 존재하지 않는다는 것을 특정한다. 1 과 동일한 pic _rate_present_flag[i] 는 i 번째 서브-비트스트림에 대한 픽처 레이트 정보가 존재한다는 것을 특정한다. 0 과 동일한 pic_rate_present_flag[i] 는 i 번째 서브-비트스트림에 대한 픽처 레이트 정보가 존재하지 않는다는 것을 특정한다.
표 9 의 예에서, avg _bit_rate[i] 는 i 번째 서브-비트스트림의 평균 비트 레이트를 초 당 비트 (bit per second) 들로 표시한다. 값은 BitRateBPS( avg_bit_rate[i] ) 에 의해 주어지고, 함수 BitRateBPS( ) 는 다음과 같이 특정된다:
평균 비트 레이트는 조항 F.13 에서 특정된 액세스 유닛 제거 시간에 따라 유도된다. 이하에서, bTotal 은 i 번째 서브-비트스트림의 모든 NAL 유닛들에서의 비트들의 수이고, t1 은 VPS 가 적용되는 제 1 액세스 유닛의 제거 시간 (초 (second)) 이고, t2 는 VPS 가 적용되는 (디코딩 순서에서의) 최후 액세스 유닛의 제거 시간 (초) 이다. x 가 avg_bit_rate[i] 를 특정하는 것으로 하여, 다음이 적용된다:
- t1 이 t2 와 동일하지 않을 경우, 다음의 조건이 참일 것이다:
- 이와 다를 경우 (t1 이 t2 와 동일함), 다음의 조건이 참일 것이다:
또한, 표 9 의 예에서, max_bit_rate[ i ] 는 조항 F.13 에서 특정된 바와 같은 액세스 유닛 제거 시간의 임의의 1 초 시간 윈도우에서의 i 번째 서브-비트스트림의 비트 레이트에 대한 상한을 표시한다. 초 당 비트들로 된 비트 레이트에 대한 상한은 BitRateBPS( max_bit_rate[ i ] ) 에 의해 주어진다. 비트 레이트 값들은 조항 F.13 에서 특정된 액세스 유닛 제거 시간에 따라 유도된다. 이하에서, t1 은 시간에 있어서의 임의의 포인트 (초) 이고, t2 는 t1 + 1 ÷ 100 과 동일하게 설정되고, bTotal 은 t1 이상이고 t2 미만인 제거 시간을 갖는 액세스 유닛들의 모든 NAL 유닛들에서의 비트들의 수이다. x 가 max_bit_rate[ i ] 의 값을 특정하는 것으로 하여, 다음의 조건은 t1 의 모든 값들에 대해 준수될 것이다:
표 9 의 예에서, constant_ pic _rate_idc[ i ] 는 i 번째 서브-비트스트림의 픽처 레이트가 일정한지 여부를 표시한다. 이하에서, 시간적 세그먼트 tSeg 는 i 번째 서브-비트스트림의 디코딩 순서에서의 2 개 이상의 연속적인 액세스 유닛들의 임의의 세트이고, Total( tSeg ) 은 시간적 세그먼트 tSeg 에서의 액세스 유닛들의 수이고, t1( tSeg ) 은 시간적 세그먼트 tSeg 의 (디코딩 순서에서의) 최초 액세스 유닛의 제거 시간 (초) 이고, t2( tSeg ) 는 시간적 세그먼트 tSeg 의 (디코딩 순서에서의) 최후 액세스 유닛의 제거 시간 (초) 이고, avgPicRate( tSeg ) 는 시간적 세그먼트 tSeg 에서의 평균 픽처 레이트이며 다음과 같이 특정된다:
i 번째 서브-비트스트림이 1 개 또는 2 개의 액세스 유닛들을 포함하기만 하거나, avgPicRate( tSeg ) 의 값이 모든 시간적 세그먼트들 상에서 일정할 경우, 픽처 레이트는 일정하고; 이와 다를 경우, 픽처 레이트는 일정하지 않다.
0 과 동일한 constant_pic_rate_idc[i] 는, i 번째 서브-비트스트림의 픽처 레이트가 일정하지 않다는 것을 표시한다. 1 과 동일한 constant_pic_rate_idc[i] 는, i 번째 서브-비트스트림의 픽처 레이트가 일정하다는 것을 표시한다. 2 와 동일한 constant_pic_rate_idc[i] 는, i 번째 서브-비트스트림의 픽처 레이트가 일정할 수도 있거나 일정하지 않을 수도 있다는 것을 표시한다. constant_pic_rate_idc[i] 의 값은 0 내지 2 까지의 범위에 있을 것이다.
또한, 표 9 의 예에서, avg _ pic _rate[i] 는 i 번째 서브-비트스트림의 평균 픽처 레이트를 256 초 당 픽처의 단위로 표시한다. auTotal 이 i 번째 서브-비트스트림에서의 액세스 유닛들의 수이고, t1 이 VPS 가 적용되는 최초 액세스 유닛의 제거 시간 (초) 이고, t2 가 VPS 가 적용되는 (디코딩 순서에서의) 최후 액세스 유닛의 제거 시간 (초) 인 것으로 하여, 다음이 적용된다:
- t1 이 t2 와 동일하지 않을 경우, 다음의 조건이 참일 것이다:
- 이와 다를 경우 (t1 이 t2 와 동일함), 다음의 조건이 참일 것이다:
도 2 는 일 예의 비디오 인코더 (20) 를 예시하는 블록도이다. 도 2 는 설명의 목적들을 위하여 제공되고, 이 개시물에서 대략 예시되고 설명된 바와 같은 기법들의 제한으로 고려되지 않아야 한다. 설명의 목적들을 위하여, 이 개시물은 HEVC 코딩의 맥락에서 비디오 인코더 (20) 를 설명한다. 그러나, 이 개시물의 기법들은 다른 코딩 표준들 또는 방법들에 적용가능할 수도 있다.
도 2 의 예에서, 비디오 인코더 (20) 는 예측 프로세싱 유닛 (100), 비디오 데이터 메모리 (101), 잔차 생성 유닛 (102), 변환 프로세싱 유닛 (104), 양자화 유닛 (106), 역양자화 유닛 (108), 역변환 프로세싱 유닛 (110), 재구성 유닛 (112), 필터 유닛 (114), 디코딩된 픽처 버퍼 (116), 및 엔트로피 인코딩 유닛 (118) 을 포함한다. 예측 프로세싱 유닛 (100) 은 인터-예측 프로세싱 유닛 (120) 및 인트라-예측 프로세싱 유닛 (126) 을 포함한다. 인터-예측 프로세싱 유닛 (120) 은 모션 추정 유닛 (122) 및 모션 보상 유닛 (124) 을 포함한다. 다른 예들에서, 비디오 인코더 (20) 는 더 많거나, 더 적거나, 또는 상이한 기능적 컴포넌트들을 포함할 수도 있다.
비디오 인코더 (20) 는 비디오 데이터를 수신할 수도 있다. 비디오 데이터 메모리 (101) 는 비디오 인코더 (20) 의 컴포넌트들에 의해 인코딩되어야 할 비디오 데이터를 저장할 수도 있다. 비디오 데이터 메모리 (101) 에서 저장된 비디오 데이터는 예를 들어, 비디오 소스 (18) 로부터 획득될 수도 있다. 디코딩된 픽처 버퍼 (116) 는 예컨대, 인트라-코딩 또는 인터-코딩 모드들에서 비디오 인코더 (20) 에 의해 비디오 데이터를 인코딩함에 있어서 이용하기 위한 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수도 있다. 비디오 데이터 메모리 (101) 및 디코딩된 픽처 버퍼 (116) 는 동기식 DRAM (synchronous DRAM; SDRAM), 자기저항 RAM (magnetoresistive RAM; MRAM), 저항 RAM (resistive RAM; RRAM), 또는 다른 타입들의 메모리 디바이스들을 포함하는 동적 랜덤 액세스 메모리 (dynamic random access memory; DRAM) 와 같은 다양한 메모리 디바이스들 중의 임의의 것에 의해 형성될 수도 있다. 비디오 데이터 메모리 (101) 및 디코딩된 픽처 버퍼 (116) 는 동일한 메모리 디바이스 또는 별도의 메모리 디바이스들에 의해 제공될 수도 있다. 다양한 예들에서, 비디오 데이터 메모리 (101) 는 비디오 인코더 (20) 의 다른 컴포넌트들과 함께 온-칩 (on-chip) 일 수도 있거나, 그러한 컴포넌트들과 관련하여 오프-칩 (off-chip) 일 수도 있다.
비디오 인코더 (20) 는 비디오 데이터의 픽처의 슬라이스에서의 각각의 CTU 를 인코딩할 수도 있다. 일부의 예들에서, CTU 들의 각각은 동일-크기의 루마 코딩 트리 블록 (coding tree block; CTB) 들 및 픽처의 대응하는 CTB 들과 연관될 수도 있다. CTU 를 인코딩하는 것의 일부로서, 예측 프로세싱 유닛 (100) 은 CTU 의 CTB 들을 점진적으로 더 작은 블록들로 분할하기 위하여 쿼드-트리 파티셔닝 (quad-tree partitioning) 을 수행할 수도 있다. 더 작은 블록들은 CU 들의 코딩 블록들일 수도 있다. 예를 들어, 예측 프로세싱 유닛 (100) 은 CTU 와 연관된 CTB 를 4 개의 동일-크기의 서브-블록들로 파티셔닝할 수도 있고, 서브-블록들 중의 하나 이상을 4 개의 동일-크기의 서브-서브-블록 (sub-sub-block) 들로 파티셔닝할 수도 있는 등등과 같다.
비디오 인코더 (20) 는 CU 들의 인코딩된 표현들 (즉, 코딩된 CU 들) 을 생성하기 위하여 CTU 의 CU 들을 인코딩할 수도 있다. CU 를 인코딩하는 것의 일부로서, 예측 프로세싱 유닛 (100) 은 CU 의 하나 이상의 PU 들 중에서 CU 와 연관된 코딩 블록들을 파티셔닝할 수도 있다. 이에 따라, 각각의 PU 는 루마 예측 블록 및 대응하는 크로마 예측 블록들과 연관될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 다양한 크기들을 가지는 PU 들을 지원할 수도 있다. 위에서 표시된 바와 같이, CU 의 크기는 CU 의 루마 코딩 블록의 크기를 지칭할 수도 있고, PU 의 크기는 PU 의 루마 예측 블록의 크기를 지칭할 수도 있다. 특정 CU 의 크기가 2Nx2N 인 것으로 가정하면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 인트라 예측을 위한 2Nx2N 또는 NxN 의 PU 크기들과, 인터 예측을 위한 2Nx2N, 2NxN, Nx2N, NxN, 또는 유사한 것의 대칭적인 PU 크기들을 지원할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한, 인터 예측을 위한 2NxnU, 2NxnD, nLx2N, 및 nRx2N 의 PU 크기들에 대한 비대칭적인 파티셔닝을 지원할 수도 있다.
인터-예측 프로세싱 유닛 (120) 은 CU 의 각각의 PU 에 대해 인터 예측을 수행함으로써 PU 에 대한 예측 데이터를 생성할 수도 있다. PU 에 대한 예측 데이터는 PU 의 예측 블록들 및 PU 에 대한 모션 정보를 포함할 수도 있다. 인터-예측 프로세싱 유닛 (120) 은 PU 가 I 슬라이스, P 슬라이스, 또는 B 슬라이스에 있는지 여부에 따라 CU 의 PU 에 대한 상이한 동작들을 수행할 수도 있다. I 슬라이스에서, 모든 PU들은 인트라 예측된다. 이 때문에, PU 가 I 슬라이스에 있을 경우, 인터-예측 프로세싱 유닛 (120) 은 PU 에 대해 인터 예측을 수행하지 않는다.
PU 가 P 슬라이스에 있을 경우, 모션 추정 유닛 (122) 은 PU 에 대한 참조 영역을 위하여 참조 픽처들의 리스트 (예컨대, "RefPicList0") 에서 참조 픽처들을 검색할 수도 있다. PU 에 대한 참조 영역은, PU 의 예측 블록들에 가장 근접하게 대응하는 샘플들을 포함하는, 참조 픽처 내에서의 영역일 수도 있다. 모션 추정 유닛 (122) 은 PU 에 대한 참조 영역을 포함하는 참조 픽처의 RefPicList0 에서의 위치를 표시하는 참조 인덱스를 생성할 수도 있다. 게다가, 모션 추정 유닛 (122) 은 PU 의 코딩 블록과, 참조 영역과 연관된 참조 로케이션과의 사이의 공간적 변위를 표시하는 모션 벡터를 생성할 수도 있다. 예를 들어, 모션 벡터는 현재의 픽처에서의 좌표들로부터 참조 픽처에서의 좌표들까지의 오프셋 (offset) 을 제공하는 2 차원 벡터일 수도 있다. 모션 추정 유닛 (122) 은 참조 인덱스 및 모션 벡터를 PU 의 모션 정보로서 출력할 수도 있다. 모션 보상 유닛 (124) 은 PU 의 모션 벡터에 의해 표시된 참조 로케이션에서의 실제의 또는 보간된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다.
PU 가 B 슬라이스에 있을 경우, 모션 추정 유닛 (122) 은 PU 에 대한 단방향-예측 또는 양방향-예측을 수행할 수도 있다. PU 에 대한 단방향-예측을 수행하기 위하여, 모션 추정 유닛 (122) 은 PU 에 대한 참조 영역을 위하여 RefPicList0 또는 제 2 참조 픽처 리스트 ("RefPicList1") 의 참조 픽처들을 검색할 수도 있다. 모션 추정 유닛 (122) 은 PU 의 모션 정보로서, 참조 영역을 포함하는 참조 픽처의 RefPicList0 또는 RefPicList1 에서의 위치를 표시하는 참조 인덱스, PU 의 예측 블록과, 참조 영역과 연관된 참조 로케이션과의 사이의 공간적 변위를 표시하는 모션 벡터, 및 참조 픽처가 RefPicList0 또는 RefPicList1 에 있는지 여부를 표시하는 하나 이상의 예측 방향 표시자들을 출력할 수도 있다. 모션 보상 유닛 (124) 은 PU 의 모션 벡터에 의해 표시된 참조 로케이션에서의 실제의 또는 보간된 샘플들에 적어도 부분적으로 기초하여 PU 의 예측 블록들을 생성할 수도 있다.
PU 에 대한 양방향 인터 예측을 수행하기 위하여, 모션 추정 유닛 (122) 은 PU 에 대한 참조 영역을 위하여 RefPicList0 에서 참조 픽처들을 검색할 수도 있고, 또한, PU 에 대한 또 다른 참조 영역을 위하여 RefPicList1 에서 참조 픽처들을 검색할 수도 있다. 모션 추정 유닛 (122) 은 참조 영역들을 포함하는 참조 픽처들의 RefPicList0 및 RefPicList1 에서의 위치들을 표시하는 참조 인덱스들을 생성할 수도 있다. 게다가, 모션 추정 유닛 (122) 은 참조 영역들과 연관된 참조 로케이션들과, PU 의 예측 블록과의 사이의 공간적 변위들을 표시하는 모션 벡터들을 생성할 수도 있다. PU 의 모션 정보는 PU 의 모션 벡터들 및 참조 인덱스들을 포함할 수도 있다. 모션 보상 유닛 (124) 은 PU 의 모션 벡터들에 의해 표시된 참조 로케이션들에서의 실제의 또는 보간된 샘플들에 적어도 부분적으로 기초하여 PU 의 예측 블록들을 생성할 수도 있다.
인트라-예측 프로세싱 유닛 (126) 은 PU 에 대해 인트라 예측을 수행함으로써 PU 에 대한 예측 데이터를 생성할 수도 있다. PU 에 대한 예측 데이터는 PU 에 대한 예측 블록들 및 다양한 신택스 엘리먼트들을 포함할 수도 있다. 인트라-예측 프로세싱 유닛 (126) 은 I 슬라이스들, P 슬라이스들, 및 B 슬라이스들에서의 PU 들에 대해 인트라 예측을 수행할 수도 있다.
PU 에 대해 인트라 예측을 수행하기 위하여, 인트라-예측 프로세싱 유닛 (126) 은 PU 에 대한 예측 블록들의 다수의 세트들을 생성하기 위하여 다수의 인트라 예측 모드들을 이용할 수도 있다. 특정 인트라 예측 모드를 이용하여 인트라 예측을 수행할 때, 인트라-예측 프로세싱 유닛 (126) 은 이웃하는 블록들로부터의 샘플들의 특정 세트를 이용하여 PU 에 대한 예측 블록들을 생성할 수도 있다. PU 들, CU 들, 및 CTU 들에 대한 좌측에서 우측, 상부에서 하부의 인코딩 순서를 가정하면, 이웃하는 블록들은 PU 의 예측 블록들의 상부, 상부 및 우측, 상부 및 좌측, 또는 좌측에 있을 수도 있다. 인트라-예측 프로세싱 유닛 (126) 은 다양한 수들의 인트라 예측 모드들, 예컨대, 33 개의 방향성 인트라 예측 모드 (directional intra prediction mode) 들을 이용할 수도 있다. 일부의 예들에서, 인트라 예측 모드들의 수는 PU 의 예측 블록들의 크기에 종속될 수도 있다.
예측 프로세싱 유닛 (100) 은 PU 들에 대한 인터-예측 프로세싱 유닛 (120) 에 의해 생성된 예측 데이터, 또는 PU 들에 대한 인트라-예측 프로세싱 유닛 (126) 에 의해 생성된 예측 데이터 중으로부터 CU 의 PU 들에 대한 예측 데이터를 선택할 수도 있다. 일부의 예들에서, 예측 프로세싱 유닛 (100) 은 예측 데이터의 세트들의 레이트/왜곡 메트릭 (distortion metric) 들에 기초하여 CU 의 PU 들에 대한 예측 데이터를 선택한다. 선택된 예측 데이터의 예측 블록들은 본원에서 선택된 예측 블록들로서 지칭될 수도 있다.
잔차 생성 유닛 (102) 은 CU 의 코딩 블록들 (예컨대, 루마, Cb, 및 Cr 코딩 블록들) 과, CU 의 PU 들의 선택된 예측 블록들 (예컨대, 예측 루마, Cb, 및 Cr 블록들) 에 기초하여, CU 의 잔차 블록들 (예컨대, 루마, Cb, 및 Cr 잔차 블록들) 을 생성할 수도 있다. 예를 들어, 잔차 생성 유닛 (102) 은, 잔차 블록들에서의 각각의 샘플이 CU 의 코딩 블록에서의 샘플과, CU 의 PU 의 대응하는 선택된 예측 블록에서의 대응하는 샘플과의 사이의 차이와 동일한 값을 가지도록, CU 의 잔차 블록들을 생성할 수도 있다.
변환 프로세싱 유닛 (104) 은 CU 의 잔차 블록들을 CU 의 TU 들과 연관된 변환 블록들로 파티셔닝하기 위하여 쿼드-트리 파티셔닝을 수행할 수도 있다. 이에 따라, TU 는 루마 변환 블록 및 2 개의 대응하는 크로마 변환 블록들과 연관될 수도 있다. CU 의 TU 들의 루마 및 크로마 변환 블록들의 크기들 및 위치들은 CU 의 PU 들의 예측 블록들의 크기들 및 위치들에 기초할 수도 있고 이에 기초하지 않을 수도 있다.
변환 프로세싱 유닛 (104) 은 하나 이상의 변환들을 TU 의 변환 블록들에 적용함으로써 CU 의 각각의 TU 에 대한 변환 계수 블록들을 생성할 수도 있다. 변환 프로세싱 유닛 (104) 은 다양한 변환들을 TU 와 연관된 변환 블록에 적용할 수도 있다. 예를 들어, 변환 프로세싱 유닛 (104) 은 이산 코사인 변환 (discrete cosine transform; DCT), 방향성 변환 (directional transform), 또는 개념적으로 유사한 변환을 변환 블록에 적용할 수도 있다. 일부의 예들에서, 변환 프로세싱 유닛 (104) 은 변환들을 변환 블록에 적용하지 않는다. 이러한 예들에서는, 변환 블록이 변환 계수 블록으로서 취급될 수도 있다.
양자화 유닛 (106) 은 계수 블록에서의 변환 계수들을 양자화할 수도 있다. 양자화 프로세스는 변환 계수들의 일부 또는 전부와 연관된 비트 심도를 감소시킬 수도 있다. 예를 들어, n-비트 변환 계수는 양자화 동안에 m-비트 변환 계수로 버림 (round down) 될 수도 있고, 여기서, n 은 m 보다 더 크다. 양자화 유닛 (106) 은 CU 와 연관된 양자화 파라미터 (quantization parameter; QP) 값에 기초하여 CU 의 TU 와 연관된 계수 블록을 양자화할 수도 있다. 비디오 인코더 (20) 는 CU 와 연관된 QP 값을 조정함으로써, CU 와 연관된 계수 블록들에 적용된 양자화도를 조정할 수도 있다. 양자화는 정보의 손실을 도입할 수도 있고, 이에 따라, 양자화된 변환 계수들은 원래의 것들보다 더 낮은 정밀도를 가질 수도 있다.
역양자화 유닛 (108) 및 역변환 프로세싱 유닛 (110) 은 계수 블록으로부터 잔차 블록을 재구성하기 위하여, 역양자화 및 역변환들을 계수 블록에 각각 적용할 수도 있다. 재구성 유닛 (112) 은 TU 와 연관된 재구성된 변환 블록을 생성하기 위하여, 재구성된 잔차 블록을, 예측 프로세싱 유닛 (100) 에 의해 생성된 하나 이상의 예측 블록들로부터의 대응하는 샘플들에 추가할 수도 있다. CU 의 각각의 TU 에 대한 변환 블록들을 이러한 방법으로 재구성함으로써, 비디오 인코더 (20) 는 CU 의 코딩 블록들을 재구성할 수도 있다.
필터 유닛 (114) 은 CU 와 연관된 코딩 블록들에서의 블록킹 아티팩트 (blocking artifact) 들을 감소시키기 위하여 하나 이상의 디블록킹 동작 (deblocking operation) 들을 수행할 수도 있다. 필터 유닛 (114) 이 재구성된 코딩 블록들에 대해 하나 이상의 디블록킹 동작들을 수행한 후, 디코딩된 픽처 버퍼 (116) 는 재구성된 코딩 블록들을 저장할 수도 있다. 인터-예측 프로세싱 유닛 (120) 은 다른 픽처들의 PU 들에 대해 인터 예측을 수행하기 위하여, 재구성된 코딩 블록들을 포함하는 참조 픽처를 이용할 수도 있다. 게다가, 인트라-예측 프로세싱 유닛 (126) 은 CU 와 동일한 픽처에서의 다른 PU 들에 대해 인트라 예측을 수행하기 위하여, 디코딩된 픽처 버퍼 (116) 에서의 재구성된 코딩 블록들을 이용할 수도 있다.
엔트로피 인코딩 유닛 (118) 은 비디오 인코더 (20) 의 다른 기능적 컴포넌트들로부터 데이터를 수신할 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (118) 은 양자화 유닛 (106) 으로부터 계수 블록들을 수신할 수도 있고, 예측 프로세싱 유닛 (100) 으로부터 신택스 엘리먼트들을 수신할 수도 있다. 엔트로피 인코딩 유닛 (118) 은 데이터에 하나 이상의 엔트로피 인코딩 동작들을 수행하여 엔트로피 인코딩된 데이터를 생성할 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (118) 은 데이터에 대하여, 컨텍스트-적응 가변 길이 코딩 (context-adaptive variable length coding; CAVLC) 동작, CABAC 동작, 가변-대-가변 (variable-to-variable; V2V) 길이 코딩 동작, 신택스-기반 컨텍스트-적응 2 진 산술 코딩 (syntax-based context-adaptive binary arithmetic coding; SBAC) 동작, 확률 간격 파티셔닝 엔트로피 (Probability Interval Partitioning Entropy; PIPE) 코딩 동작, 지수-골롬 (Exponential-Golomb) 인코딩 동작, 또는 또 다른 타입의 엔트로피 인코딩 동작을 수행할 수도 있다. 비디오 인코더 (20) 는 엔트로피 인코딩 유닛 (118) 에 의해 생성된 엔트로피 인코딩된 데이터를 포함하는 비트스트림을 출력할 수도 있다.
이 개시물의 적어도 일부의 예들에 따르면, 도 2 의 비디오 인코더 (20) 는 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림에서, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 포함할 수도 있다. 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함한다. 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다.
도 3 은 일 예의 비디오 디코더 (30) 를 예시하는 블록도이다. 도 3 은 설명의 목적들을 위하여 제공되고, 이 개시물에서 대략 예시되고 설명된 바와 같은 기법들에 대해 제한하지 않는다. 설명의 목적들을 위하여, 이 개시물은 HEVC 코딩의 맥락에서 비디오 디코더 (30) 를 설명한다. 그러나, 이 개시물의 기법들은 다른 코딩 표준들 또는 방법들에 적용가능할 수도 있다.
도 3 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (150), 예측 프로세싱 유닛 (152), 역양자화 유닛 (154), 역변환 프로세싱 유닛 (156), 재구성 유닛 (158), 필터 유닛 (160), 및 디코딩된 픽처 버퍼 (162) 를 포함한다. 예측 프로세싱 유닛 (152) 은 모션 보상 유닛 (164) 및 인트라-예측 프로세싱 유닛 (166) 을 포함한다. 다른 예들에서, 비디오 디코더 (30) 는 더 많거나, 더 적거나, 또는 상이한 기능적 컴포넌트들을 포함할 수도 있다.
코딩된 픽처 버퍼 (CPB; 151) 는 비트스트림의 인코딩된 비디오 데이터 (예컨대, NAL 유닛들) 를 수신하고 저장할 수도 있다. CPB (151) 내에 저장된 비디오 데이터는 예를 들어, 채널 (16) 로부터, 예컨대, 카메라와 같은 로컬 비디오 소스로부터, 비디오 데이터의 유선 또는 무선 네트워크 통신을 통해, 또는 물리적 데이터 저장 매체들을 액세스함으로써 획득될 수도 있다. CPB (151) 는, 인코딩된 비디오 비트스트림으로부터 인코딩된 비디오 데이터를 저장하는 비디오 데이터 메모리를 형성할 수도 있다. 디코딩된 픽처 버퍼 (162) 는 예컨대, 인트라-코딩 또는 인터-코딩 모드들에서 비디오 디코더 (30) 에 의해 비디오 데이터를 디코딩함에 있어서 이용하기 위한 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수도 있다. CPB (151) 및 디코딩된 픽처 버퍼 (162) 는 동기식 DRAM (SDRAM), 자기저항 RAM (MRAM), 저항 RAM (RRAM), 또는 다른 타입들의 메모리 디바이스들을 포함하는 동적 랜덤 액세스 메모리 (DRAM) 와 같은 다양한 메모리 디바이스들 중의 임의의 것에 의해 형성될 수도 있다. CPB (151) 및 디코딩된 픽처 버퍼 (162) 는 동일한 메모리 디바이스 또는 별도의 메모리 디바이스들에 의해 제공될 수도 있다. 다양한 예들에서, CPB (151) 는 비디오 디코더 (30) 의 다른 컴포넌트들과 함께 온-칩일 수도 있거나, 그러한 컴포넌트들과 관련하여 오프-칩일 수도 있다.
엔트로피 디코딩 유닛 (150) 은 비트스트림으로부터 신택스 엘리먼트들을 획득하기 위하여, CPB (151) 로부터 NAL 유닛들을 수신할 수도 있고 NAL 유닛들을 파싱할 수도 있다. 엔트로피 디코딩 유닛 (150) 은 NAL 유닛들에서의 엔트로피-인코딩된 신택스 엘리먼트들을 엔트로피 디코딩할 수도 있다. 예측 프로세싱 유닛 (152), 역양자화 유닛 (154), 역변환 프로세싱 유닛 (156), 재구성 유닛 (158), 및 필터 유닛 (160) 은 비트스트림으로부터 추출된 신택스 엘리먼트들에 기초하여 디코딩된 비디오 데이터를 생성할 수도 있다.
비트스트림의 NAL 유닛들은 코딩된 슬라이스 NAL 유닛들을 포함할 수도 있다. 비트스트림을 디코딩하는 것의 일부로서, 엔트로피 디코딩 유닛 (150) 은 코딩된 슬라이스 NAL 유닛들로부터 신택스 엘리먼트들을 획득할 수도 있고 이를 엔트로피 디코딩할 수도 있다. 코딩된 슬라이스들의 각각은 슬라이스 헤더 및 슬라이스 데이터를 포함할 수도 있다. 슬라이스 헤더는 슬라이스에 속하는 신택스 엘리먼트들을 포함할 수도 있다.
이 개시물의 기법들 중의 적어도 일부에 따르면, 비디오 디코더 (30) (예컨대, 엔트로피 디코딩 유닛 (150) 과 같은, 비디오 디코더 (30) 의 하나의 컴포넌트) 는 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 획득할 수도 있다. 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함한다. 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다. 일부의 예들에서, 비디오 디코더 (30) 는 SEI 메시지를 획득하지 않으면서, 또는 제 1 비트스트림을 생성하기 위하여 이용되었던 추출 모드를 결정하지 않으면서, 제 1 비트스트림을 디코딩할 수도 있다. 이에 따라, 크기-최적화된 비트스트림은 픽처들의 작은 백분율 (예컨대, 인터-계층 예측을 위해 이용된 것들) 만이 존재하는 계층을 포함할 수도 있고, 비디오 디코더 (30) 는 그럼에도 불구하고, 재구성된 픽처들을 출력하지 않으면서, 픽처들을 재구성하고 픽처들을 인터-계층 참조 픽처들로서 이용하는 것을 적절하게 수행할 수도 있다.
비트스트림으로부터 신택스 엘리먼트들을 획득하는 것에 추가하여, 비디오 디코더 (30) 는 CU 에 대해 디코딩 동작을 수행할 수도 있다. CU 에 대해 디코딩 동작을 수행함으로써, 비디오 디코더 (30) 는 CU 의 코딩 블록들을 재구성할 수도 있다.
CU 에 대해 디코딩 동작을 수행하는 것의 일부로서, 역양자화 유닛 (154) 은 CU 의 TU 들과 연관된 계수 블록들을 역양자화, 즉, 비양자화 (de-quantize) 할 수도 있다. 역양자화 유닛 (154) 은 양자화도와, 마찬가지로, 역양자화 유닛 (154) 이 적용하기 위한 역양자화도를 결정하기 위하여 TU 의 CU 와 연관된 QP 값을 이용할 수도 있다. 즉, 압축 비율, 즉, 원래의 시퀀스 및 압축된 것을 나타내기 위하여 이용된 비트들의 수의 비율은, 변환 계수들을 양자화할 때에 이용된 QP 의 값을 조절함으로써 제어될 수도 있다. 압축 비율은 또한, 채용된 엔트로피 코딩의 방법에 종속될 수도 있다.
역양자화 유닛 (154) 이 계수 블록을 역양자화한 후, 역변환 프로세싱 유닛 (156) 은 TU 와 연관된 잔차 블록을 생성하기 위하여 하나 이상의 역변환들을 계수 블록에 적용할 수도 있다. 예를 들어, 역변환 프로세싱 유닛 (156) 은 역 DCT, 역정수 변환, 역 카루넨-루베 변환 (Karhunen-Loeve transform; KLT), 역회전 변환, 역 방향성 변환, 또는 또 다른 역변환을 계수 블록에 적용할 수도 있다.
PU 가 인트라 예측을 이용하여 인코딩될 경우, 인트라-예측 프로세싱 유닛 (166) 은 PU 에 대한 예측 블록들을 생성하기 위하여 인트라 예측을 수행할 수도 있다. 인트라-예측 프로세싱 유닛 (166) 은 공간적으로 이웃하는 PU 들의 예측 블록들에 기초하여 PU 에 대한 예측 루마, Cb 및 Cr 블록들을 생성하기 위하여 인트라 예측 모드를 이용할 수도 있다. 인트라-예측 프로세싱 유닛 (166) 은 비트스트림으로부터 디코딩된 하나 이상의 신택스 엘리먼트들에 기초하여 PU 에 대한 인트라 예측 모드를 결정할 수도 있다.
예측 프로세싱 유닛 (152) 은 비트스트림으로부터 추출된 신택스 엘리먼트들에 기초하여 제 1 참조 픽처 리스트 (RefPicList0) 및 제 2 참조 픽처 리스트 (RefPicList1) 를 구성할 수도 있다. 또한, PU 가 인터 예측을 이용하여 인코딩될 경우, 엔트로피 디코딩 유닛 (150) 은 PU 에 대한 모션 정보를 획득할 수도 있다. 모션 보상 유닛 (164) 은 PU 의 모션 정보에 기초하여, PU 에 대한 하나 이상의 참조 영역들을 결정할 수도 있다. 모션 보상 유닛 (164) 은 PU 에 대한 하나 이상의 참조 블록들에서의 샘플들에 기초하여, PU 에 대한 예측 블록들 (예컨대, 예측 루마, Cb, 및 Cr 블록들) 을 생성할 수도 있다.
재구성 유닛 (158) 은 CU 의 코딩 블록들 (예컨대, 루마, Cb, 및 Cr 코딩 블록들) 을 재구성하기 위하여, CU 의 TU 들의 변환 블록들 (예컨대, 루마, Cb, 및 Cr 변환 블록들) 및 CU 의 PU 들의 예측 블록들 (예컨대, 루마, Cb, 및 Cr 변환 블록들) 로부터의 잔차 값들, 즉, 적용 가능하다면, 인트라-예측 데이터 또는 인터-예측 데이터의 어느 하나를 이용할 수도 있다. 예를 들어, 재구성 유닛 (158) 은 CU 의 코딩 블록들 (예컨대, 루마, Cb 및 Cr 코딩 블록들) 을 재구성하기 위하여, 변환 블록들 (예컨대, 루마, Cb 및 Cr 변환 블록들) 의 샘플들을 예측 블록들 (예컨대, 루마, Cb, 및 Cr 예측 블록들) 의 대응하는 샘플들에 추가할 수도 있다.
필터 유닛 (160) 은 CU 의 코딩 블록들 (예컨대, 루마, Cb, 및 Cr 코딩 블록들) 과 연관된 블록킹 아티팩트들을 감소시키기 위하여 디블록킹 동작을 수행할 수도 있다. 비디오 디코더 (30) 는 CU 의 코딩 블록들 (예컨대, 루마, Cb, 및 Cr 코딩 블록들) 을 디코딩된 픽처 버퍼 (162) 내에 저장할 수도 있다. 디코딩된 픽처 버퍼 (162) 는 추후의 모션 보상, 인트라 예측, 및 도 1 의 디스플레이 디바이스 (32) 와 같은 디스플레이 디바이스 상에서의 제시를 위하여 참조 픽처들을 제공할 수도 있다. 예를 들어, 비디오 디코더 (30) 는 디코딩된 픽처 버퍼 (162) 에서의 블록들 (예컨대, 루마, Cb, 및 Cr 블록들) 에 기초하여, 다른 CU 들의 PU 들에 대해 인트라 예측 또는 인터 예측 동작들을 수행할 수도 있다. 이러한 방법으로, 비디오 디코더 (30) 는 비트스트림으로부터, 중요한 계수 블록의 변환 계수 레벨들을 추출할 수도 있고, 변환 계수 레벨들을 역양자화할 수도 있고, 변환 블록을 생성하기 위하여 변환을 변환 계수 레벨들에 적용할 수도 있고, 변환 블록에 적어도 부분적으로 기초하여, 코딩 블록을 생성할 수도 있고, 디스플레이를 위하여 코딩 블록을 출력할 수도 있다.
도 4 는 이 개시물의 하나 이상의 기법들에 따라, 일 예의 중간 디바이스 (19) 를 예시하는 블록도이다. 도 4 는 설명의 목적들을 위하여 제공되고, 이 개시물에서 대략 예시되고 설명된 바와 같은 기법들에 대해 제한하지 않는다. 도 4 의 예에서, 중간 디바이스 (19) 는 모드 결정 유닛 (180), 비트스트림 추출 유닛 (182), 및 SEI 생성 유닛 (184) 을 포함한다.
모드 결정 유닛 (180) 및 비트스트림 추출 유닛 (182) 은 소스 비트스트림을 수신할 수도 있다. 일부의 예들에서, 모드 결정 유닛 (180) 및 비트스트림 추출 유닛 (182) 은 비디오 인코더 (20) 와 같은 비디오 인코더로부터 소스 비트스트림을 수신할 수도 있다. 다른 예들에서, 모드 결정 유닛 (180) 및 비트스트림 추출 유닛 (182) 은, 또 다른 비트스트림으로부터 소스 비트스트림을 추출하였을 수도 있는 또 다른 중간 디바이스로부터 소스 비트스트림을 수신할 수도 있다.
모드 결정 유닛 (180) 은 만약 존재한다면, 어느 비트스트림 추출 프로세스를 소스 비트스트림에 적용할 것인지를 결정할 수도 있다. 하나의 예에서, 모드 결정 유닛 (180) 은 소스 비트스트림으로부터, 소스 비트스트림을 생성하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 획득할 수도 있다. 이 예에서, SEI 메시지가 크기 최적화된 비트스트림 추출 모드가 소스 비트스트림을 생성하기 위하여 이용되었다는 것을 표시할 경우, 모드 결정 유닛 (180) 은 임의의 비트스트림 추출 프로세스를 소스 비트스트림에 적용하지 않는 것으로 결정할 수도 있다. 그러나, SEI 메시지가 "완전 추출가능한" 비트스트림 추출 모드가 소스 비트스트림을 생성하기 위하여 이용되었다는 것을 표시할 경우, 모드 결정 유닛 (180) 은 "완전 추출가능한" 비트스트림 추출 프로세스 또는 "크기-최적화된" 비트스트림 추출 프로세스를 소스 비트스트림에 적용할 것인지 여부를 결정할 수도 있다.
모드 결정 유닛 (180) 이 비트스트림 추출 프로세스를 소스 비트스트림에 적용하기 위한 결정을 행할 때, 모드 결정 유닛 (180) 은 결정된 비트스트림 추출 프로세스의 표시를 비트스트림 추출 유닛 (182) 및 SEI 생성 유닛 (184) 에 제공할 수도 있다. 비트스트림 추출 유닛 (182) 은 소스 비트스트림으로부터 서브-비트스트림을 추출하기 위하여 결정 비트스트림 추출 모드를 적용할 수도 있다. 또한, SEI 생성 유닛 (184) 은, 결정된 비트스트림 추출 모드의 표시를 포함하는 SEI 메시지를 생성할 수도 있다. SEI 생성 유닛 (184) 은 비트스트림 추출 유닛 (182) 에 의해 생성된 서브-비트스트림에서 생성된 SEI 메시지를 포함할 수도 있다.
이러한 방법으로, 중간 디바이스 (19) 는 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 획득할 수도 있다. 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함한다. 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다.
추가적으로, 중간 디바이스 (19) 는 제 1 비트스트림에서, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 포함할 수도 있다. 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함한다. 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다.
도 5a 는 이 개시물의 하나 이상의 기법들에 따라, 컴퓨팅 디바이스의 일 예의 동작을 예시하는 플로우차트이다. 도 5a 의 동작은 이 개시물의 다른 플로우차트들에서 예시된 동작들과 함께, 예들이다. 이 개시물의 기법들에 따른 다른 예의 동작들은 더 많거나, 더 적거나, 또는 상이한 액션들을 포함할 수도 있다.
도 5a 의 예에서, (중간 디바이스 (19) 또는 목적지 디바이스 (14) 와 같은) 컴퓨팅 디바이스는 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 획득할 수도 있다 (200). 제 1 비트스트림은 추출 모드에 따라 제 2 비트스트림으로부터 추출된 서브-비트스트림이다. 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 제 1 비트스트림에 대한 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함한다. 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다. 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 NAL 유닛들을 포함한다. 일부의 예들에서, SEI 메시지는 상기 표 7 에서 도시된 신택스에 따르고, 표시는 conformance_indication 신택스 엘리먼트이다.
또한, 도 5a 의 예에서, 컴퓨팅 디바이스는 추출 모드의 표시에 기초하여, 제 1 비트스트림으로부터 서브-비트스트림을 추출할 것인지 여부를 결정할 수도 있다 (202). 이 결정에 기초하여, 컴퓨팅 디바이스는 제 1 비트스트림으로부터 서브-비트스트림을 추출할 수도 있다. 위에서 표시된 바와 같이, 도 5a 는 예이다. 다른 예들은 더 많거나, 더 적거나, 또는 상이한 액션들을 포함할 수도 있다. 예를 들어, 이 개시물의 일부의 예들은 액션 (202) 을 제외한다.
도 5b 는 이 개시물의 하나 이상의 기법들에 따라, 컴퓨팅 디바이스의 일 예의 동작을 예시하는 플로우차트이다. 도 5b 의 예에서, (소스 디바이스 (12) 또는 중간 디바이스 (19) 와 같은) 컴퓨팅 디바이스는 추출 동작을 적응적으로 선택할 수도 있다 (250). 컴퓨팅 디바이스는 다양한 인자들에 기초하여 추출 동작을 선택할 수도 있다. 예를 들어, 컴퓨팅 디바이스는 추출 동작으로부터 기인하는 서브-비트스트림이 최종 사용자에 의해 이용되도록 의도되는지 또는 의도되지 않는지 여부, 또는 추가의 서브-비트스트림들이 서브-비트스트림으로부터 추출되도록 할 것인지 여부에 기초하여 추출 동작을 선택할 수도 있다. 예를 들어, 서브-비트스트림 추출을 수행하는 디바이스와 클라이언트 사이의 네트워크 경로가 상대적으로 짧고, 및/또는 서브-비트스트림 추출을 수행하는 추후의 디바이스들이 클라이언트 디바이스로의 네트워크 경로를 따라 존재하지 않을 경우, 디바이스는 "최적 크기" 추출 모드를 선택할 수도 있다. 다른 한편으로, 추출 디바이스와 클라이언트 디바이스 사이의 네트워크 경로가 상대적으로 길고, 및/또는 서브-비트스트림 추출을 수행할 수 있는 하나 이상의 디바이스들이 경로를 따라 놓여 있을 경우, 추출 디바이스는 "완전 추출가능한" 모드를 선택할 수도 있다.
일부의 예들에서, 추출 디바이스는 CDN 의 일부이다. CDN 은 큰 수의 고객들 (예컨대, 수 십만의 고객들) 을 서비스할 수도 있다. CDN 에서의 "선불 (Up front)" 디바이스들은 완전 추출가능한 추출 모드들을 선호하거나, 심지어 비트스트림 추출을 완전하게 단지 회피하도록 구성될 수도 있다. 그러나, 클라이언트 디바이스들 이전의 "최후" MANE 은 (예컨대, 클라이언트 디바이스들이 각각의 클라이언트 디바이스들의 디코딩 및 렌더링 기능들을 결정하는 클라이언트 소프트웨어를 설치하였음으로 인해) 어떤 서브-비트스트림들이 각각의 클라이언트 디바이스에 의해 필요하게 되는지를 정확하게 결정할 수 있을 수도 있고, 그러므로, 최후 MANE 은 크기 최적 추출 모드를 "선호" 할 수도 있다. 즉, "라스트 마일 (last mile)" 근처에서의 "최적 크기" 추출의 선택이 선호될 수도 있는데, 이것은 네트워크 송신들에서의 라스트 마일이 전형적으로 가장 큰 병목현상이기 때문이다.
또한, 도 5b 의 예에서, 컴퓨팅 디바이스는 선택된 추출 동작을 이용하여, 제 2 비트스트림으로부터 제 1 비트스트림을 추출할 수도 있다 (252). 예를 들어, 선택된 추출 동작에 따라서는, 컴퓨팅 디바이스가 소스 비트스트림으로부터 완전-추출가능한 비트스트림을, 또는 소스 비트스트림으로부터 크기-최적화된 비트스트림을 추출할 수도 있다. 일부의 예들에서, 컴퓨팅 디바이스는 제 2 비트스트림을 생성한다. 다른 예들에서, 컴퓨팅 디바이스는 소스 디바이스 (12) 와 같은 또 다른 컴퓨팅 디바이스로부터 제 2 비트스트림을 수신한다.
컴퓨팅 디바이스는 제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 생성할 수도 있다 (254). 다시 말해서, SEI 메시지는 선택된 추출 모드의 표시를 포함한다. 예를 들어, 추출 모드가 제 1 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함한다. 이 예에서, 추출 모드가 제 2 추출 모드일 경우, 제 1 비트스트림은 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하지 않는다. 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 제 1 비트스트림은 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 NAL 유닛들을 포함한다. 일부의 예들에서, SEI 메시지는 상기 표 7 에서 도시된 신택스에 따르고, 표시는 conformance_indication 신택스 엘리먼트이다. 또한, 도 5b 의 예에서, 컴퓨팅 디바이스는 제 1 비트스트림에서 SEI 메시지를 포함한다 (256).
위에서 표시된 바와 같이, 도 5b 는 예이다. 다른 예들은 더 많거나, 더 적거나, 또는 상이한 액션들을 포함할 수도 있다. 예를 들어, 이 개시물의 일부의 예들은 액션들 (250 및/또는 252) 을 제외한다.
다음의 단락들은 이 개시물에 따라 다양한 예들을 제공한다.
예 1.
비디오 데이터를 프로세싱하기 위한 방법으로서, 비트스트림에서의 데이터에 기초하여 표시를 획득하는 단계로서, 비트스트림은 비디오 데이터의 인코딩된 표현을 포함하는, 상기 표시를 획득하는 단계; 및 표시에 적어도 부분적으로 기초하여, 서브-비트스트림이 비트스트림으로부터 추출될 수 있는지 여부를 결정하는 단계를 포함하는, 비디오 데이터를 프로세싱하기 위한 방법.
예 2.
예 1 의 방법으로서, 표시가 제 1 값을 가질 때, 비트스트림은 비트스트림 추출 프로세스를 거치지 않았거나, 서브-비트스트림이 비트스트림으로부터 추출되도록 하는 비트스트림 추출 프로세스로 비트스트림이 부모 비트스트림 (parent bitstream) 으로부터 추출되었고, 표시가 제 2 의 상이한 값을 가질 때, 비트스트림은 부모 비트스트림으로부터 추출되었고, 서브-비트스트림은 비트스트림으로부터 추출될 수 없는, 비디오 데이터를 프로세싱하기 위한 방법.
예 3.
예 1 의 방법으로서, 표시가 제 1 값을 가질 때, 비트스트림은 비트스트림 추출 프로세스를 거치지 않았거나 비트스트림이 완전-추출가능한 비트스트림이고, 표시가 제 2 의 상이한 값을 가질 때, 비트스트림은 최적 추출된 비트스트림인, 비디오 데이터를 프로세싱하기 위한 방법.
예 4.
비디오 데이터를 프로세싱하기 위한 방법으로서, 서브-비트스트림이 비트스트림으로부터 추출될 수 있는지 여부의 표시를 제공하는 데이터를 포함하는 비트스트림을 생성하는 단계를 포함하는, 비디오 데이터를 프로세싱하기 위한 방법.
예 5.
예 4 의 방법으로서, 표시가 제 1 값을 가질 때, 비트스트림은 비트스트림 추출 프로세스를 거치지 않았거나, 서브-비트스트림이 비트스트림으로부터 추출되도록 하는 비트스트림 추출 프로세스로 비트스트림이 부모 비트스트림으로부터 추출되었고, 표시가 제 2 의 상이한 값을 가질 때, 비트스트림은 부모 비트스트림으로부터 추출되었고, 서브-비트스트림은 비트스트림으로부터 추출될 수 없는, 비디오 데이터를 프로세싱하기 위한 방법.
예 6.
예 4 의 방법으로서, 표시가 제 1 값을 가질 때, 비트스트림은 비트스트림 추출 프로세스를 거치지 않았거나 비트스트림이 완전-추출가능한 비트스트림이고, 표시가 제 2 의 상이한 값을 가질 때, 비트스트림은 최적 추출된 비트스트림인, 비디오 데이터를 프로세싱하기 위한 방법.
예 7.
비디오 데이터를 프로세싱하는 방법으로서, 비디오 데이터의 인코딩된 표현을 포함하는 비트스트림으로부터, 출력 계층 세트에 대한 적합성 레벨들의 수의 표시를 획득하는 단계; 및 출력 계층 세트에 대한 적합성 레벨들의 각각에 대하여, 비트스트림으로부터 적합성 레벨 표시를 획득하는 단계를 포함하는, 비디오 데이터를 프로세싱하는 방법.
예 8.
비디오 데이터를 프로세싱하는 방법으로서, 비디오 데이터의 인코딩된 표현을 포함하는 비트스트림에서, 출력 계층 세트에 대한 적합성 레벨들의 수의 표시를 포함하는 단계; 및 출력 계층 세트에 대한 적합성 레벨들의 각각에 대하여, 비트스트림에서, 적합성 레벨 표시를 포함하는 단계를 포함하는, 비디오 데이터를 프로세싱하는 방법.
예 9.
비디오 데이터를 프로세싱하는 방법으로서, 비디오 데이터의 인코딩된 표현을 포함하는 비트스트림에서의 가상적 참조 디코더 (HRD) 파라미터들의 세트에서, 출력 계층 세트의 적합성 레벨의 표시를 포함하는 단계를 포함하는, 비디오 데이터를 프로세싱하는 방법.
예 10. 비디오 데이터를 프로세싱하는 방법으로서, 비디오 데이터의 코딩된 표현을 포함하는 비트스트림으로부터, 비트스트림을 생성하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 획득하는 단계로서, 비트스트림이 제 1 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하고, 비트스트림이 제 2 의 상이한 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하지 않은, 비디오 데이터를 프로세싱하는 방법.
예 11. 예 10 의 방법으로서, SEI 메시지는 비트스트림을 생성하기 위하여 이용되었던 타겟 출력 계층 세트를 표시하는 데이터를 포함하는, 비디오 데이터를 프로세싱하는 방법.
예 12. 비디오 데이터를 프로세싱하는 방법으로서, 비디오 데이터의 코딩된 표현을 포함하는 비트스트림에서, 비트스트림을 생성하기 위하여 이용되었던 추출 모드의 표시를 포함하는 SEI 메시지를 포함하는 단계로서, 비트스트림이 제 1 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하고, 비트스트림이 제 2 의 상이한 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하지 않은, 비디오 데이터를 프로세싱하는 방법.
예 13. 예 12 의 방법으로서, SEI 메시지는 비트스트림을 생성하기 위하여 이용되었던 타겟 출력 계층 세트를 표시하는 데이터를 포함하는, 비디오 데이터를 프로세싱하는 방법.
예 14. 비디오 데이터를 프로세싱하는 방법으로서, 비디오 데이터의 코딩된 표현을 포함하는 비트스트림으로부터, 프로파일, 티어, 및 레벨 정보를 포함하는 신택스 구조 메시지를 획득하는 단계를 포함하고, 신택스 구조는 비트스트림을 생성하기 위하여 이용되었던 추출 모드의 표시를 더 포함하고, 비트스트림이 제 1 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하고, 비트스트림이 제 2 의 상이한 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하지 않은, 비디오 데이터를 프로세싱하는 방법.
예 15. 비디오 데이터를 프로세싱하는 방법으로서, 비디오 데이터의 코딩된 표현을 포함하는 비트스트림에서, 프로파일, 티어, 및 레벨 정보를 포함하는 신택스 구조 메시지를 포함하는 단계를 포함하고, 신택스 구조는 비트스트림을 생성하기 위하여 이용되었던 추출 모드의 표시를 더 포함하고, 비트스트림이 제 1 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하고, 비트스트림이 제 2 의 상이한 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하지 않은, 비디오 데이터를 프로세싱하는 방법.
예 16. 비디오 데이터를 프로세싱하는 방법으로서, 비디오 데이터의 코딩된 표현을 포함하는 비트스트림을 포함하는 국제 표준화 기구 (International Organization for Standardization; ISO) 기본 미디어 파일 포맷 파일에서의 메타데이터로부터, 비트스트림을 생성하기 위하여 이용되었던 추출 모드의 표시를 획득하는 단계를 포함하고, 비트스트림이 제 1 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하고, 비트스트림이 제 2 의 상이한 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하지 않은, 비디오 데이터를 프로세싱하는 방법.
예 17. 예 16 의 방법으로서, 메타데이터는 샘플 설명에 있는, 비디오 데이터를 프로세싱하는 방법.
예 18. 비디오 데이터를 프로세싱하는 방법으로서, 비디오 데이터의 코딩된 표현을 포함하는 비트스트림을 포함하는 국제 표준화 기구 (ISO) 기본 미디어 파일 포맷 파일에서의 메타데이터를 포함하는 단계를 포함하고, 메타데이터는 비트스트림을 생성하기 위하여 이용되었던 추출 모드의 표시를 포함하고, 비트스트림이 제 1 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하고, 비트스트림이 제 2 의 상이한 추출 모드를 이용하여 생성되었을 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하지 않은, 비디오 데이터를 프로세싱하는 방법.
예 19. 예 18 의 방법으로서, 메타데이터는 샘플 설명에 있는, 비디오 데이터를 프로세싱하는 방법.
예 20. 비디오 데이터를 프로세싱하는 방법으로서, 부모 비트스트림으로부터 제 1 서브-비트스트림을 추출하는 제 1 비트스트림 추출 프로세스를 수행하는 단계를 포함하고, 비트스트림 추출 프로세스는 입력들로서, 타겟 출력 계층 세트, 타겟 시간적 식별자, 및 제 3 파라미터를 취하고, 제 3 파라미터는 출력 계층 세트에 대한 인덱스 및 비트스트림 추출 모드 표시자, 타겟 출력 계층 식별된 리스트 및 비트스트림 추출 모드 표시자, 또는 타겟 계층 식별자 리스트가 되도록 허용되고, 제 1 비트스트림 추출 프로세스를 수행하는 단계는, 입력들로서, 타겟 출력 계층 세트 및 타겟 시간적 식별자를 취하는 제 2 비트스트림 추출 프로세스를 호출하는 단계를 포함하는, 비디오 데이터를 프로세싱하는 방법.
예 21. 예 21 의 방법으로서, 제 2 비트스트림 추출 프로세스는 입력으로서, 비트스트림 추출 모드 표시자를 추가로 취하는, 비디오 데이터를 프로세싱하는 방법.
예 22. 비디오 데이터를 프로세싱하는 방법으로서, 파일 내의 박스 또는 디스크립터에서의 데이터에 적어도 부분적으로 기초하여, 추출 레벨 표시를 결정하는 단계를 포함하고, 박스 또는 디스크립터는 적어도 하나의 출력 계층 세트로 표현된 동작 포인트를 설명하고, 추출 레벨 표시가 제 1 값을 가질 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하고, 추출 레벨 표시가 제 2 의 상이한 값을 가질 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하지 않은, 비디오 데이터를 프로세싱하는 방법.
예 23. 예 22 의 방법으로서, 파일은 국제 표준화 기구 (ISO) 기본 미디어 파일 포맷 또는 MPEG-2 TS 파일 포맷에 따르는, 비디오 데이터를 프로세싱하는 방법.
예 24. 비디오 데이터를 프로세싱하는 방법으로서, 파일 내의 박스 또는 디스크립터에서, 추출 레벨 표시를 표시하는 데이터를 포함하는 단계를 포함하고, 박스 또는 디스크립터는 적어도 하나의 출력 계층 세트로 표현된 동작 포인트를 설명하고, 추출 레벨 표시가 제 1 값을 가질 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하고, 추출 레벨 표시가 제 2 의 상이한 값을 가질 경우, 정합 서브-비트스트림은 비트스트림으로부터 추출가능하지 않은, 비디오 데이터를 프로세싱하는 방법.
본원에서 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수도 있다. 하드웨어 및 소프트웨어의 이 교환가능성을 명확하게 예시하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 일반적으로 그 기능성의 측면에서 위에서 설명되었다. 이러한 기능성이 하드웨어 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션과, 전체 시스템에 부과된 설계 제약들에 종속된다. 숙련된 기술자들은 각각의 특정 애플리케이션을 위한 다양한 방법들로 설명된 기능성을 구현할 수도 있지만, 이러한 구현 판단들은 본 발명의 범위로부터의 이탈을 야기시키는 것으로 해독되지 않아야 한다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 이러한 기법들은 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 애플리케이션을 포함하는 다수의 용도들을 가지는 집적 회로 디바이스들과 같은 다양한 디바이스들 중의 임의의 것에서 구현될 수도 있다. 모듈들 또는 컴포넌트들로서 설명된 임의의 특징들은 집적된 로직 디바이스에서 함께, 또는 개별적이지만 상호 동작가능한 로직 디바이스들로서 별도로 구현될 수도 있다. 소프트웨어로 구현될 경우, 기능들은 하나 이상의 명령들 또는 코드로서, 컴퓨터-판독가능 매체 상에 저장되거나 컴퓨터-판독가능 매체 상에서 송신될 수도 있고, 하드웨어-기반 프로세싱 유닛에 의해 실행될 수도 있다. 다시 말해서, 소프트웨어로 구현될 경우, 기법들은, 실행될 때, 위에서 설명된 방법들 중의 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터-판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터-판독가능 매체들은 데이터 저장 매체들과 같은 유형의 매체에 대응하는 컴퓨터-판독가능 저장 매체들, 또는 예컨대, 통신 프로토콜에 따라 하나의 장소로부터 또 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수도 있다. 이러한 방식으로, 컴퓨터-판독가능 매체들은 일반적으로 (1) 비-일시적인 유형의 컴퓨터-판독가능 저장 매체들, 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체들은 이 개시물에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 컴퓨터-판독가능 데이터 저장 매체는 패키징 재료들을 포함할 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다. 이에 따라, 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수도 있다.
제한이 아닌 예로서, 이러한 컴퓨터-판독가능 저장 매체들은 RAM, ROM, 비-휘발성 랜덤 액세스 메모리 (non-volatile random access memory; NVRAM), EEPROM, CD-ROM, FLASH 메모리, 또는 다른 광학 디스크 저장, 자기 디스크 저장, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 명령들 또는 데이터 구조들의 형태로 희망하는 프로그램 코드를 저장하기 위해 이용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속은 컴퓨터-판독가능 매체로 적절하게 칭해진다. 추가적으로 또는 대안적으로, 기법들은 전파된 신호들 또는 파 (wave) 들과 같이, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 반송하거나 통신하며 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터-판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다. 예를 들어, 동축 케이블, 광섬유 케이블, 트위스트 페어 (twisted pair), 디지털 가입자 회선 (digital subscriber line; DSL), 또는 적외선, 라디오 (radio), 및 마이크로파 (microwave) 와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 명령들이 송신될 경우, 동축 케이블, 광섬유 케이블, 트위스트 페어, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 그러나, 컴퓨터-판독가능 저장 매체들 및 데이터 저장 매체들은 접속들, 반송파들, 신호들, 또는 다른 순시적 매체 (transient medium) 들을 포함하는 것이 아니라, 그 대신에, 비-순시적인, 유형의 저장 매체들에 관한 것이라는 것이 이해되어야 한다. 본원에서 이용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (compact disc; CD), 레이저 디스크 (laser disc), 광학 디스크 (optical disc), 디지털 다기능 디스크 (digital versatile disc; DVD), 플로피 디스크 (floppy disk) 및 블루레이 디스크 (Blu-ray disc) 를 포함하고, 여기서, 디스크 (disk) 들은 통상 데이터를 자기적으로 재생하는 반면, 디스크 (disc) 들은 데이터를 레이저들로 광학적으로 재생한다. 상기의 조합들은 또한, 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 디지털 신호 프로세서 (digital signal processor; DSP) 들, 범용 마이크로프로세서들, 주문형 집적 회로 (application specific integrated circuit; ASIC) 들, 필드 프로그래밍가능한 게이트 어레이 (field programmable gatec array; FPGA) 들, 또는 다른 등가의 통합된 또는 개별 로직 회로부와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 본원에서 이용된 바와 같은 용어 "프로세서" 는 상기한 구조, 또는 본원에서 설명된 기법들의 구현을 위해 적당한 임의의 다른 구조 중의 임의의 것을 지칭할 수도 있다. 이러한 프로세서는 이 개시물에서 설명된 기법들 중의 임의의 것을 수행하도록 구성될 수도 있다. 게다가, 일부의 양태들에서는, 본원에서 설명된 기능성이 인코딩 및 디코딩을 위해 구성되거나 조합된 코덱 (codec) 내에 통합된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에서 제공될 수도 있다. 또한, 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 프로세서는 임의의 기존의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예컨대, DSP 및 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 함께 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성의 조합으로서 구현될 수도 있다. 따라서, 본원에서 이용된 바와 같은 용어 "프로세서" 는 상기한 구조, 상기 구조의 임의의 조합, 또는 본원에서 설명된 기법들의 구현을 위해 적당한 임의의 다른 구조 또는 장치 중의 임의의 것을 지칭할 수도 있다. 게다가, 일부의 양태들에서, 본원에서 설명된 기능성은, 인코딩 및 디코딩을 위해 구성되거나, 조합된 비디오 인코더-디코더 (combined video encoder-decoder; CODEC) 내에 편입된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에서 제공될 수도 있다.
본원에서 논의된 코딩 기법들은 일 예의 비디오 인코딩 및 디코딩 시스템에서의 실시형태일 수도 있다. 시스템은 목적지 디바이스에 의해 더 이후의 시간에 디코딩되어야 할 인코딩된 비디오 데이터를 제공하는 소스 디바이스를 포함한다. 특히, 소스 디바이스는 컴퓨터-판독가능 매체를 통해 비디오 데이터를 목적지 디바이스에 제공한다. 소스 디바이스 및 목적지 디바이스는, 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 (set-top) 박스들, 소위 "스마트" 폰들과 같은 전화 핸드셋들, 소위 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게임용 콘솔들, 비디오 스트리밍 디바이스 등을 포함하는 광범위한 디바이스들 중의 임의의 것을 포함할 수도 있다. 일부의 경우들에는, 소스 디바이스 및 목적지 디바이스가 무선 통신을 위해 구비될 수도 있다.
이 개시물의 기법들은 무선 핸드셋 (wireless handset), 집적 회로 (integrated circuit; IC) 또는 IC 들의 세트 (예컨대, 칩셋) 를 포함하는 광범위한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들은 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위하여 이 개시물에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하지는 않는다. 오히려, 위에서 설명된 바와 같이, 다양한 유닛들은 코덱 하드웨어 유닛 내에 조합될 수도 있거나, 적당한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명된 바와 같은 하나 이상의 프로세서들을 포함하는 상호동작하는 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
목적지 디바이스는 컴퓨터-판독가능 매체를 통해, 디코딩되어야 할 인코딩된 비디오 데이터를 수신할 수도 있다. 컴퓨터-판독가능 매체는 인코딩된 비디오 데이터를 소스 디바이스로부터 목적지 디바이스로 이동시킬 수 있는 임의의 타입의 매체 또는 디바이스를 포함할 수도 있다. 하나의 예에서, 컴퓨터-판독가능 매체는 소스 디바이스가 인코딩된 비디오 데이터를 실시간으로 목적지 디바이스로 직접 송신하는 것을 가능하게 하기 위한 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조될 수도 있고, 목적지 디바이스로 송신될 수도 있다. 통신 매체는 라디오 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 통신 매체는 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷-기반 네트워크의 일부를 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스로부터 목적지 디바이스로의 통신을 가능하게 하기 위해 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
일부의 예들에서, 인코딩된 데이터는 출력 인터페이스로부터 저장 디바이스로 출력될 수도 있다. 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스로부터 액세스될 수도 있다. 저장 디바이스는 하드 드라이브, 블루-레이 (Blu-ray) 디스크들, DVD 들, CD-ROM 들, 플래시 메모리, 휘발성 또는 비-휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적당한 디지털 저장 매체들과 같은, 다양한 분산되거나 국소적으로 액세스된 데이터 저장 매체들 중의 임의의 것을 포함할 수도 있다. 추가의 예에서, 저장 디바이스는 소스 디바이스에 의해 생성된 인코딩된 비디오를 저장할 수도 있는 파일 서버 또는 또 다른 중간 저장 디바이스에 대응할 수도 있다. 목적지 디바이스는 스트리밍 또는 다운로드를 통해 저장 디바이스로부터 저장된 비디오 데이터를 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장할 수 있으며 그 인코딩된 비디오 데이터를 목적지 디바이스로 송신할 수 있는 임의의 타입의 서버일 수도 있다. 일 예의 파일 서버들은 (예컨대, 웹사이트를 위한) 웹 서버, FTP 서버, 네트워크 연결 저장 (network attached storage; NAS) 디바이스들, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스는 인터넷 접속을 포함하는 임의의 표준 데이터 접속을 통해 인코딩된 비디오 데이터를 액세스할 수도 있다. 이것은, 파일 서버 상에 저장된 인코딩된 비디오 데이터를 액세스하기에 적당한 무선 채널 (예컨대, Wi-Fi 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀 등), 또는 양자의 조합을 포함할 수도 있다. 저장 디바이스로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 그 조합일 수도 있다.
이 개시물의 기법들은 무선 애플리케이션들 또는 세팅들로 반드시 제한되는 것은 아니다. 기법들은 오버-디-에어 (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, HTTP 를 통한 동적 적응 스트리밍 (dynamic adaptive streaming over HTTP; DASH) 과 같은 인터넷 스트리밍 비디오 송신들, 데이터 저장 매체 상으로 인코딩되는 디지털 비디오, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들과 같은, 다양한 멀티미디어 애플리케이션들 중의 임의의 것의 지원 하에서 비디오 코딩에 적용될 수도 있다. 일부의 예들에서, 시스템은 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스팅, 및/또는 화상 통화 (video telephony) 와 같은 애플리케이션들을 지원하기 위하여 일방향 (one-way) 또는 양방향 (two-way) 비디오 송신을 지원하도록 구성될 수도 있다.
하나의 예에서, 소스 디바이스는 비디오 소스, 비디오 인코더, 및 출력 인터페이스를 포함한다. 목적지 디바이스는 입력 인터페이스, 비디오 디코더, 및 디스플레이 디바이스를 포함할 수도 있다. 소스 디바이스의 비디오 인코더는 본원에서 개시된 기법들을 적용하도록 구성될 수도 있다. 다른 예들에서, 소스 디바이스 및 목적지 디바이스는 다른 컴포넌트들 또는 배치들을 포함할 수도 있다. 예를 들어, 소스 디바이스는 외부 카메라와 같은 외부 비디오 소스로부터 비디오 데이터를 수신할 수도 있다. 마찬가지로, 목적지 디바이스는 통합된 디스플레이 디바이스를 포함하는 것이 아니라, 외부 디스플레이 디바이스와 인터페이스할 수도 있다. 상기 일 예의 시스템은 단지 하나의 예이다. 비디오 데이터를 병렬로 프로세싱하기 위한 기법들은 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수도 있다. 일반적으로, 이 개시물의 기법들은 비디오 인코딩 디바이스에 의해 수행되지만, 기법들은 또한, "CODEC" 으로서 전형적으로 지칭된 비디오 인코더/디코더에 의해 수행될 수도 있다. 또한, 이 개시물의 기법들은 또한, 비디오 프리프로세서 (video preprocessor) 에 의해 수행될 수도 있다. 소스 디바이스 및 목적지 디바이스는, 소스 디바이스가 목적지 디바이스로의 송신을 위한 코딩된 비디오 데이터를 생성하는 이러한 코딩 디바이스들의 예들에 불과하다. 일부의 예들에서, 소스 및 목적지 디바이스들은, 디바이스들의 각각이 비디오 인코딩 및 디코딩 컴포넌트들을 포함하도록 실질적으로 대칭적인 방식으로 동작할 수도 있다. 이 때문에, 일 예의 시스템들은 예컨대, 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스팅, 또는 화상 통화를 위하여, 비디오 디바이스들 사이에서 일방향 또는 양방향 비디오 송신을 지원할 수도 있다.
비디오 소스는 비디오 카메라와 같은 비디오 캡처 디바이스, 이전에 캡처된 비디오를 포함하는 비디오 아카이브 (video archive), 및/또는 비디오 컨텐츠 제공자로부터 비디오를 수신하기 위한 비디오 공급 인터페이스를 포함할 수도 있다. 추가의 대안으로서, 비디오 소스는 소스 비디오로서, 또는 라이브 비디오 (live video), 아카이빙된 비디오 (archived video), 및 컴퓨터-생성된 비디오의 조합으로서, 컴퓨터 그래픽-기반 (computer graphics-based) 데이터를 생성할 수도 있다. 일부의 경우들에는, 비디오 소스가 비디오 카메라일 경우, 소스 디바이스 및 목적지 디바이스가 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 그러나, 위에서 언급된 바와 같이, 이 개시물에서 설명된 기법들은 일반적으로 비디오 코딩에 적용가능할 수도 있고, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다. 각각의 경우에 있어서, 캡처된, 프리-캡처된 (pre-captured), 또는 컴퓨터-생성된 비디오는 비디오 인코더에 의해 인코딩될 수도 있다. 다음으로, 인코딩된 비디오 정보는 출력 인터페이스에 의해 컴퓨터-판독가능 매체 상으로 출력될 수도 있다.
언급된 바와 같이, 컴퓨터-판독가능 매체는 무선 브로드캐스트 또는 유선 네트워크 송신과 같은 순시적 매체 (transient medium) 들, 또는 하드 디스크, 플래시 드라이브, 컴팩트 디스크, 디지털 비디오 디스크, 블루-레이 디스크, 또는 다른 컴퓨터-판독가능 매체들과 같은 저장 매체들 (즉, 비-일시적인 저장 매체들) 을 포함할 수도 있다. 일부의 예들에서, 네트워크 서버 (도시되지 않음) 는 예컨대, 네트워크 송신을 통해, 소스 디바이스로부터 인코딩된 비디오 데이터를 수신할 수도 있으며 인코딩된 비디오 데이터를 목적지 디바이스에 제공할 수도 있다. 유사하게, 디스크 스탬핑 (disc stamping) 설비와 같은 매체 생산 설비의 컴퓨팅 디바이스는 소스 디바이스로부터 인코딩된 비디오 데이터를 수신할 수도 있고, 인코딩된 비디오 데이터를 포함하는 디스크를 생산할 수도 있다. 그러므로, 컴퓨터-판독가능 매체는 다양한 예들에서, 다양한 형태들의 하나 이상의 컴퓨터-판독가능 매체들을 포함하는 것으로 이해될 수도 있다.
목적지 디바이스의 입력 인터페이스는 컴퓨터-판독가능 매체로부터 정보를 수신한다. 컴퓨터-판독가능 매체의 정보는, 블록들 및 다른 코딩된 유닛들, 예컨대, 픽처들의 그룹 (group of pictures; GOP) 들의 특성들 및/또는 프로세싱을 설명하는 신택스 엘리먼트들을 포함하는 신택스 정보로서, 비디오 인코더에 의해 정의되며 또한, 비디오 디코더에 의해 이용되는 상기 신택스 정보를 포함할 수도 있다. 디스플레이 디바이스는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 음극선관 (cathode ray tube; CRT), 액정 디스플레이 (liquid crystal display; LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (organic light emitting diode; OLED) 디스플레이, 또는 또 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중의 임의의 것을 포함할 수도 있다. 발명의 다양한 실시형태들이 설명되었다.
다양한 예들이 설명되었다. 이러한 그리고 다른 예들은 다음의 청구항들의 범위 내에 있다.
Claims (30)
- 비디오 데이터를 프로세싱하는 방법으로서,
상기 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 2 비트스트림으로부터 상기 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 보충 강화 정보 (SEI) 메시지를 획득하는 단계를 포함하며,
상기 제 1 비트스트림은 상기 추출 모드에 따라 상기 제 2 비트스트림으로부터 추출된 서브-비트스트림이고,
상기 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 상기 제 1 비트스트림은 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 네트워크 추상화 계층 (NAL) 유닛들을 포함하고,
상기 추출 모드가 상기 제 1 추출 모드일 경우, 상기 제 1 비트스트림은 상기 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 그리고
상기 추출 모드가 상기 제 2 추출 모드일 경우, 상기 제 1 비트스트림은 상기 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 상기 하나 이상의 코딩된 픽처들을 포함하지 않는, 비디오 데이터를 프로세싱하는 방법. - 제 1 항에 있어서,
상기 추출 모드가 상기 제 1 추출 모드일 경우, 상기 제 1 비트스트림은, 타겟 시간적 식별자보다 더 큰 시간적 식별자들을 가지며 상기 타겟 출력 계층 세트에 대한 타겟 출력 계층 세트 내에 포함된 값들 중에 있지 않은 계층 식별자들을 가지는 상기 제 2 비트스트림의 NAL 유닛들을 제외하고, 그리고
상기 추출 모드가 상기 제 2 추출 모드일 경우, 상기 제 1 비트스트림은 상기 타겟 출력 계층 세트에서의 계층들의 정확한 디코딩을 위해 필요하지 않은 임의의 코딩된 픽처들에 대응하는 상기 제 2 비트스트림의 NAL 유닛들을 추가로 제외하는, 비디오 데이터를 프로세싱하는 방법. - 제 1 항에 있어서,
상기 제 1 추출 모드는 자체-완전성 (self-completeness) 을 타겟으로 하고, 상기 제 2 추출 모드는 크기 최적화를 타겟으로 하는, 비디오 데이터를 프로세싱하는 방법. - 제 1 항에 있어서,
상기 추출 모드가 상기 제 2 추출 모드일 경우, 상기 제 2 비트스트림의 각각의 개별 NAL 유닛에 대하여, 조건들:
i) 상기 개별 NAL 유닛이 상기 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자들의 리스트에서의 계층 식별자들 중에 있지 않은 계층 식별자를 가지는 것, 및
ii) 상기 개별 NAL 유닛의 시간적 식별자가 상기 개별 NAL 유닛이 속하는 계층의 픽처들에 의해 이용된 인터-계층 참조 픽처들의 최대 시간적 식별자보다 더 큰 것
의 양자가 상기 개별 NAL 유닛에 대해 충족될 경우에 상기 개별 NAL 유닛이 상기 제 1 비트스트림 내에 있지 않도록, 상기 개별 NAL 유닛이 상기 제 2 비트스트림으로부터 제거되는, 비디오 데이터를 프로세싱하는 방법. - 제 4 항에 있어서,
상기 추출 모드가 상기 제 2 추출 모드일 경우,
i) 상기 개별 NAL 유닛이 상기 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자들의 리스트에서의 계층 식별자들 중에 있지 않은 계층 식별자를 가지고, 그리고
ii) 상기 개별 NAL 유닛의 플래그가, 상기 개별 NAL 유닛에 대응하는 코딩된 픽처가 디코딩 순서에서의 추후의 픽처들의 디코딩 프로세스에서 참조 픽처로서 이용되지 않는
경우에 상기 개별 NAL 유닛이 상기 제 1 비트스트림 내에 있지 않도록, 상기 개별 NAL 유닛이 상기 제 2 비트스트림으로부터 제거되는, 비디오 데이터를 프로세싱하는 방법. - 제 4 항에 있어서,
완전-추출가능한 서브-비트스트림에 대한 타겟 출력 계층 세트가 상기 제 1 비트스트림에 대한 상기 타겟 출력 계층 세트를 초과하지 않는 한, 상기 완전-추출가능한 서브-비트스트림이 상기 제 1 비트스트림으로부터 추출될 수 있는 것으로 결정하는 단계를 더 포함하고,
상기 완전-추출가능한 서브-비트스트림은 상기 완전-추출가능한 서브-비트스트림에 대한 상기 타겟 출력 계층 세트 내의 픽처들을 디코딩하기 위한 충분한 네트워크 추상화 계층 (NAL) 유닛들을 포함하는, 비디오 데이터를 프로세싱하는 방법. - 제 1 항에 있어서,
상기 SEI 메시지는 상기 타겟 출력 계층 세트를 표시하는 데이터를 포함하는, 비디오 데이터를 프로세싱하는 방법. - 제 1 항에 있어서,
상기 추출 모드의 상기 표시는 적합성 레벨을 표시하고,
0 과 동일한 상기 적합성 레벨은, 현재의 계층 세트에서의 각각의 계층의 최고 시간적 식별자가 상기 현재의 계층 세트의 최대 시간적 식별자와 동일하고, 상기 제 1 비트스트림의 각각의 액세스 유닛이 상기 현재의 계층 세트에서의 각각의 계층으로부터의 하나의 픽처를 포함한다는 것을 표시하고,
상기 현재의 계층 세트는 상기 제 1 비트스트림에 대해 존재하는 계층들의 세트이고,
상기 현재의 계층 세트의 상기 최대 시간적 식별자는 상기 현재의 계층 세트에서의 계층들 내의 픽처들의 최대 시간적 식별자이고,
1 과 동일한 상기 적합성 레벨은,
상기 타겟 출력 계층 세트에서의 각각의 계층의 최고 시간적 식별자가 상기 현재의 계층 세트의 상기 최대 시간적 식별자와 동일하고, 상기 제 1 비트스트림의 각각의 액세스 유닛이 상기 타겟 출력 계층 세트에서의 각각의 계층으로부터의 하나의 픽처를 포함하고, 그리고
상기 타겟 출력 계층 세트 내에 있지 않은 상기 현재의 계층 세트에서의 각각의 개별 계층에 대하여, 상기 개별 계층에서의 픽처들의 최고 시간적 식별자가 상기 현재의 계층 세트의 최대 시간적 식별자일 경우, 상기 현재의 계층 세트의 상기 최대 시간적 식별자 이하인 시간적 식별자를 갖는 각각의 액세스 유닛이 상기 개별 계층에서의 픽처를 포함한다
는 것을 표시하는, 비디오 데이터를 프로세싱하는 방법. - 제 1 항에 있어서,
상기 추출 모드의 상기 표시는 적합성 레벨을 표시하고,
0 과 동일한 상기 적합성 레벨은, 현재의 계층 세트에서의 각각의 계층의 최고 시간적 식별자가 상기 현재의 계층 세트의 최대 시간적 식별자와 동일하고, 상기 제 1 비트스트림의 각각의 액세스 유닛이 상기 현재의 계층 세트에서의 각각의 계층으로부터의 하나의 픽처를 포함한다는 것을 표시하고,
상기 현재의 계층 세트는 상기 제 1 비트스트림에 대해 존재하는 계층들의 세트이고,
상기 현재의 계층 세트의 상기 최대 시간적 식별자는 상기 현재의 계층 세트에서의 계층들 내의 픽처들의 최대 시간적 식별자이고,
1 과 동일한 상기 적합성 레벨은, 상기 현재의 계층 세트에서의 각각의 개별 계층에 대하여, 상기 개별 계층에서의 픽처들의 최고 시간적 식별자가 상기 현재의 계층 세트의 상기 최대 시간적 식별자일 경우, 상기 현재의 계층 세트의 상기 최대 시간적 식별자 이하인 시간적 식별자를 갖는 각각의 액세스 유닛이 상기 개별 계층에서의 픽처를 포함한다는 것을 표시하는, 비디오 데이터를 프로세싱하는 방법. - 제 1 항에 있어서,
상기 추출 모드의 상기 표시에 기초하여, 상기 제 1 비트스트림으로부터 서브-비트스트림을 추출할 것인지 여부를 결정하는 단계; 및
상기 결정하는 단계에 기초하여, 상기 제 1 비트스트림으로부터 상기 서브-비트스트림을 추출하는 단계를 더 포함하는, 비디오 데이터를 프로세싱하는 방법. - 비디오 데이터를 프로세싱하는 방법으로서,
제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 보충 강화 정보 (SEI) 메시지를 생성하는 단계로서, 상기 제 1 비트스트림은 상기 비디오 데이터의 코딩된 표현을 포함하고,
상기 제 1 비트스트림은 상기 추출 모드에 따라 상기 제 2 비트스트림으로부터 추출된 서브-비트스트림이고,
상기 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 상기 제 1 비트스트림은 상기 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 네트워크 추상화 계층 (NAL) 유닛들을 포함하고,
상기 추출 모드가 상기 제 1 추출 모드일 경우, 상기 제 1 비트스트림은 상기 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 그리고
상기 추출 모드가 상기 제 2 추출 모드일 경우, 상기 제 1 비트스트림은 상기 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 상기 하나 이상의 코딩된 픽처들을 포함하지 않는, 상기 보충 강화 정보 (SEI) 메시지를 생성하는 단계; 및
상기 제 1 비트스트림에서 상기 SEI 메시지를 포함하는 단계를 포함하는, 비디오 데이터를 프로세싱하는 방법. - 제 11 항에 있어서,
상기 추출 모드가 상기 제 1 추출 모드일 경우, 상기 제 1 비트스트림은, 타겟 시간적 식별자보다 더 큰 시간적 식별자들을 가지며 상기 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자 리스트 내에 포함된 값들 중에 있지 않은 계층 식별자들을 가지는 상기 제 2 비트스트림의 NAL 유닛들을 제외하고, 그리고
상기 추출 모드가 상기 제 2 추출 모드일 경우, 상기 제 1 비트스트림은 상기 타겟 출력 계층 세트에서의 계층들의 정확한 디코딩을 위해 필요하지 않은 임의의 코딩된 픽처들에 대응하는 상기 제 2 비트스트림의 NAL 유닛들을 추가로 제외하는, 비디오 데이터를 프로세싱하는 방법. - 제 11 항에 있어서,
상기 제 1 추출 모드는 자체-완전성을 타겟으로 하고, 상기 제 2 추출 모드는 크기 최적화를 타겟으로 하는, 비디오 데이터를 프로세싱하는 방법. - 제 11 항에 있어서,
상기 추출 모드가 상기 제 2 추출 모드일 경우, 상기 제 2 비트스트림의 각각의 개별 NAL 유닛에 대하여, 조건들:
i) 상기 개별 NAL 유닛이 상기 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자들의 리스트에서의 계층 식별자들 중에 있지 않은 계층 식별자를 가지는 것, 및
ii) 상기 개별 NAL 유닛의 시간적 식별자가 상기 개별 NAL 유닛이 속하는 계층의 픽처들에 의해 이용된 인터-계층 참조 픽처들의 최대 시간적 식별자보다 더 큰 것
의 양자가 상기 개별 NAL 유닛에 대해 충족될 경우에 상기 개별 NAL 유닛이 상기 제 1 비트스트림 내에 있지 않도록, 상기 개별 NAL 유닛이 상기 제 2 비트스트림으로부터 제거되는, 비디오 데이터를 프로세싱하는 방법. - 제 14 항에 있어서,
상기 추출 모드가 상기 제 2 추출 모드일 경우,
i) 상기 개별 NAL 유닛이 상기 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자들의 리스트에서의 계층 식별자들 중에 있지 않은 계층 식별자를 가지고, 그리고
ii) 상기 개별 NAL 유닛의 플래그가, 상기 개별 NAL 유닛에 대응하는 코딩된 픽처가 디코딩 순서에서의 추후의 픽처들의 디코딩 프로세스에서 참조 픽처로서 이용되지 않는
경우에 상기 개별 NAL 유닛이 상기 제 1 비트스트림 내에 있지 않도록, 상기 개별 NAL 유닛이 상기 제 2 비트스트림으로부터 제거되는, 비디오 데이터를 프로세싱하는 방법. - 제 14 항에 있어서,
완전-추출가능한 서브-비트스트림에 대한 타겟 출력 계층 세트가 상기 제 1 비트스트림에 대한 상기 타겟 출력 계층 세트를 초과하지 않는 한, 상기 완전-추출가능한 서브-비트스트림이 상기 제 1 비트스트림으로부터 추출될 수 있고, 그리고
상기 완전-추출가능한 서브-비트스트림은 상기 완전-추출가능한 서브-비트스트림에 대한 상기 타겟 출력 계층 세트 내의 픽처들을 디코딩하기 위한 충분한 네트워크 추상화 계층 (NAL) 유닛들을 포함하는, 비디오 데이터를 프로세싱하는 방법. - 제 11 항에 있어서,
상기 SEI 메시지를 생성하는 단계는 상기 SEI 메시지에서, 상기 타겟 출력 계층 세트를 표시하는 데이터를 포함하는 단계를 포함하는, 비디오 데이터를 프로세싱하는 방법. - 제 11 항에 있어서,
상기 추출 모드의 상기 표시는 적합성 레벨을 표시하고,
0 과 동일한 상기 적합성 레벨은, 현재의 계층 세트에서의 각각의 계층의 최고 시간적 식별자가 상기 현재의 계층 세트의 최대 시간적 식별자와 동일하고, 상기 제 1 비트스트림의 각각의 액세스 유닛이 상기 현재의 계층 세트에서의 각각의 계층으로부터의 하나의 픽처를 포함한다는 것을 표시하고,
상기 현재의 계층 세트는 상기 제 1 비트스트림에 대해 존재하는 계층들의 세트이고,
상기 현재의 계층 세트의 상기 최대 시간적 식별자는 상기 현재의 계층 세트에서의 계층들 내의 픽처들의 최대 시간적 식별자이고,
1 과 동일한 상기 적합성 레벨은,
상기 타겟 출력 계층 세트에서의 각각의 계층의 최고 시간적 식별자가 상기 현재의 계층 세트의 상기 최대 시간적 식별자와 동일하고, 상기 제 1 비트스트림의 각각의 액세스 유닛이 상기 타겟 출력 계층 세트에서의 각각의 계층으로부터의 하나의 픽처를 포함하고, 그리고
상기 타겟 출력 계층 세트 내에 있지 않은 상기 현재의 계층 세트에서의 각각의 개별 계층에 대하여, 상기 개별 계층에서의 픽처들의 최고 시간적 식별자가 상기 현재의 계층 세트의 최대 시간적 식별자일 경우, 상기 현재의 계층 세트의 상기 최대 시간적 식별자 이하인 시간적 식별자를 갖는 각각의 액세스 유닛이 상기 개별 계층에서의 픽처를 포함한다
는 것을 표시하는, 비디오 데이터를 프로세싱하는 방법. - 제 11 항에 있어서,
상기 추출 모드의 상기 표시는 적합성 레벨을 표시하고,
0 과 동일한 상기 적합성 레벨은, 현재의 계층 세트에서의 각각의 계층의 최고 시간적 식별자가 상기 현재의 계층 세트의 최대 시간적 식별자와 동일하고, 상기 제 1 비트스트림의 각각의 액세스 유닛이 상기 현재의 계층 세트에서의 각각의 계층으로부터의 하나의 픽처를 포함한다는 것을 표시하고,
상기 현재의 계층 세트는 상기 제 1 비트스트림에 대해 존재하는 계층들의 세트이고,
상기 현재의 계층 세트의 상기 최대 시간적 식별자는 상기 현재의 계층 세트에서의 계층들 내의 픽처들의 최대 시간적 식별자이고, 그리고
1 과 동일한 상기 적합성 레벨은, 상기 현재의 계층 세트에서의 각각의 개별 계층에 대하여, 상기 개별 계층에서의 픽처들의 최고 시간적 식별자가 상기 현재의 계층 세트의 상기 최대 시간적 식별자일 경우, 상기 현재의 계층 세트의 상기 최대 시간적 식별자 이하인 시간적 식별자를 갖는 각각의 액세스 유닛이 상기 개별 계층에서의 픽처를 포함한다는 것을 표시하는, 비디오 데이터를 프로세싱하는 방법. - 제 11 항에 있어서,
상기 추출 모드를 적응적으로 선택하는 단계; 및
선택된 상기 추출 모드를 이용하여, 상기 제 2 비트스트림으로부터 상기 제 1 비트스트림을 추출하는 단계를 더 포함하는, 비디오 데이터를 프로세싱하는 방법. - 비디오 데이터를 프로세싱하기 위한 디바이스로서,
상기 비디오 데이터를 저장하는 메모리; 및
상기 비디오 데이터의 코딩된 표현을 포함하는 제 1 비트스트림으로부터, 제 2 비트스트림으로부터 상기 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 보충 강화 정보 (SEI) 메시지를 획득하도록 구성된 하나 이상의 프로세서들을 포함하며,
상기 제 1 비트스트림은 상기 추출 모드에 따라 상기 제 2 비트스트림으로부터 추출된 서브-비트스트림이고,
상기 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 상기 제 1 비트스트림은 상기 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 네트워크 추상화 계층 (NAL) 유닛들을 포함하고,
상기 추출 모드가 상기 제 1 추출 모드일 경우, 상기 제 1 비트스트림은 상기 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 그리고
상기 추출 모드가 상기 제 2 추출 모드일 경우, 상기 제 1 비트스트림은 상기 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 상기 하나 이상의 코딩된 픽처들을 포함하지 않는, 비디오 데이터를 프로세싱하기 위한 디바이스. - 제 21 항에 있어서,
상기 추출 모드가 상기 제 1 추출 모드일 경우, 상기 제 1 비트스트림은, 타겟 시간적 식별자보다 더 큰 시간적 식별자들을 가지며 상기 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자 리스트 내에 포함된 값들 중에 있지 않은 계층 식별자들을 가지는 상기 제 2 비트스트림의 NAL 유닛들을 제외하고, 그리고
상기 추출 모드가 상기 제 2 추출 모드일 경우, 상기 제 1 비트스트림은 상기 타겟 출력 계층 식별자 리스트에서의 계층들의 정확한 디코딩을 위해 필요하지 않은 코딩된 픽처들에 대응하는 상기 제 2 비트스트림의 NAL 유닛들을 추가로 제외하는, 비디오 데이터를 프로세싱하기 위한 디바이스. - 제 21 항에 있어서,
상기 추출 모드가 상기 제 2 추출 모드일 경우, 상기 제 2 비트스트림의 각각의 개별 NAL 유닛에 대하여, 조건들:
i) 상기 개별 NAL 유닛이 상기 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자들의 리스트에서의 계층 식별자들 중에 있지 않은 계층 식별자를 가지는 것, 및
ii) 상기 개별 NAL 유닛의 시간적 식별자가 상기 개별 NAL 유닛이 속하는 계층의 픽처들에 의해 이용된 인터-계층 참조 픽처들의 최대 시간적 식별자보다 더 큰 것
의 양자가 상기 개별 NAL 유닛에 대해 충족될 경우에 상기 개별 NAL 유닛이 상기 제 1 비트스트림 내에 있지 않도록, 상기 개별 NAL 유닛이 상기 제 2 비트스트림으로부터 제거되는, 비디오 데이터를 프로세싱하기 위한 디바이스. - 제 23 항에 있어서,
상기 추출 모드가 상기 제 2 추출 모드일 경우,
i) 상기 개별 NAL 유닛이 상기 제 1 비트스트림을 생성하기 위하여 이용되었던 상기 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자들의 리스트에서의 계층 식별자들 중에 있지 않은 계층 식별자를 가지고, 그리고
ii) 상기 개별 NAL 유닛의 플래그가, 상기 개별 NAL 유닛에 대응하는 코딩된 픽처가 디코딩 순서에서의 추후의 픽처들의 디코딩 프로세스에서 참조 픽처로서 이용되지 않는
경우에 상기 개별 NAL 유닛이 상기 제 1 비트스트림 내에 있지 않도록, 상기 개별 NAL 유닛이 상기 제 2 비트스트림으로부터 제거되는, 비디오 데이터를 프로세싱하기 위한 디바이스. - 제 23 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 추출 모드에 기초하여, 상기 제 1 비트스트림으로부터 서브-비트스트림을 추출할 것인지 여부를 결정하고; 그리고
상기 결정에 기초하여, 상기 제 1 비트스트림으로부터 상기 서브-비트스트림을 추출하도록 구성되는, 비디오 데이터를 프로세싱하기 위한 디바이스. - 비디오 데이터를 프로세싱하기 위한 디바이스로서,
상기 비디오 데이터를 저장하는 메모리; 및
하나 이상의 프로세서들을 포함하며,
상기 하나 이상의 프로세서들은,
제 2 비트스트림으로부터 제 1 비트스트림을 추출하기 위하여 이용되었던 추출 모드의 표시를 포함하는 보충 강화 정보 (SEI) 메시지를 생성하는 것으로서, 상기 제 1 비트스트림은 상기 비디오 데이터의 코딩된 표현을 포함하고,
상기 제 1 비트스트림은 상기 추출 모드에 따라 상기 제 2 비트스트림으로부터 추출된 서브-비트스트림이고,
상기 추출 모드가 제 1 추출 모드 또는 제 2 추출 모드인지 여부에 관계없이, 상기 제 1 비트스트림은 상기 제 1 비트스트림에 대한 타겟 출력 계층 세트 내의 픽처들을 디코딩하고 출력하기 위한 충분한 네트워크 추상화 계층 (NAL) 유닛들을 포함하고,
상기 추출 모드가 상기 제 1 추출 모드일 경우, 상기 제 1 비트스트림은 상기 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 하나 이상의 코딩된 픽처들을 포함하고, 그리고
상기 추출 모드가 상기 제 2 추출 모드일 경우, 상기 제 1 비트스트림은 상기 타겟 출력 계층 세트의 정확한 디코딩을 위해 필요하지 않은 상기 하나 이상의 코딩된 픽처들을 포함하지 않는, 상기 보충 강화 정보 (SEI) 메시지를 생성하고; 그리고
상기 제 1 비트스트림에서 상기 SEI 메시지를 포함하도록
구성되는, 비디오 데이터를 프로세싱하기 위한 디바이스. - 제 26 항에 있어서,
상기 추출 모드가 상기 제 2 추출 모드일 경우, 상기 제 2 비트스트림의 각각의 개별 NAL 유닛에 대하여, 조건들:
i) 상기 개별 NAL 유닛이 상기 제 1 비트스트림을 생성하기 위하여 이용되었던 상기 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자들의 리스트에서의 계층 식별자들 중에 있지 않은 계층 식별자를 가지는 것, 및
ii) 상기 개별 NAL 유닛의 시간적 식별자가 상기 개별 NAL 유닛이 속하는 계층의 픽처들에 의해 이용된 인터-계층 참조 픽처들의 최대 시간적 식별자보다 더 큰 것
의 양자가 상기 개별 NAL 유닛에 대해 충족될 경우에 상기 개별 NAL 유닛이 상기 제 1 비트스트림 내에 있지 않도록, 상기 개별 NAL 유닛이 상기 제 2 비트스트림으로부터 제거되는, 비디오 데이터를 프로세싱하기 위한 디바이스. - 제 27 항에 있어서,
상기 추출 모드가 상기 제 2 추출 모드일 경우,
i) 상기 개별 NAL 유닛이 상기 타겟 출력 계층 세트에 대한 타겟 출력 계층 식별자들의 리스트에서의 계층 식별자들 중에 있지 않은 계층 식별자를 가지고, 그리고
ii) 상기 개별 NAL 유닛의 플래그가, 상기 개별 NAL 유닛에 대응하는 코딩된 픽처가 디코딩 순서에서의 추후의 픽처들의 디코딩 프로세스에서 참조 픽처로서 이용되지 않는
경우에 상기 개별 NAL 유닛이 상기 제 1 비트스트림 내에 있지 않도록, 상기 개별 NAL 유닛이 상기 제 2 비트스트림으로부터 제거되는, 비디오 데이터를 프로세싱하기 위한 디바이스. - 제 26 항에 있어서,
상기 하나 이상의 프로세서들은 상기 SEI 메시지에서, 상기 타겟 출력 계층 세트를 표시하는 데이터를 포함하도록 구성되는, 비디오 데이터를 프로세싱하기 위한 디바이스. - 제 26 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 추출 모드를 적응적으로 선택하고; 그리고
선택된 상기 추출 모드를 이용하여, 상기 제 2 비트스트림으로부터 상기 제 1 비트스트림을 추출하도록
구성되는, 비디오 데이터를 프로세싱하기 위한 디바이스.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361891317P | 2013-10-15 | 2013-10-15 | |
| US61/891,317 | 2013-10-15 | ||
| US201461923624P | 2014-01-03 | 2014-01-03 | |
| US61/923,624 | 2014-01-03 | ||
| US14/514,300 | 2014-10-14 | ||
| US14/514,300 US10284858B2 (en) | 2013-10-15 | 2014-10-14 | Support of multi-mode extraction for multi-layer video codecs |
| PCT/US2014/060617 WO2015057787A1 (en) | 2013-10-15 | 2014-10-15 | Support of multi-mode extraction for multi-layer video codecs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160070769A true KR20160070769A (ko) | 2016-06-20 |
| KR102054040B1 KR102054040B1 (ko) | 2019-12-09 |
Family
ID=52809627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167010853A KR102054040B1 (ko) | 2013-10-15 | 2014-10-15 | 멀티-계층 비디오 코덱들에 대한 멀티-모드 추출의 지원 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10284858B2 (ko) |
| EP (1) | EP3058743B1 (ko) |
| JP (1) | JP6700176B2 (ko) |
| KR (1) | KR102054040B1 (ko) |
| CN (1) | CN105612752B (ko) |
| BR (1) | BR112016008374B1 (ko) |
| MX (1) | MX364544B (ko) |
| WO (1) | WO2015057787A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190039724A (ko) * | 2016-08-24 | 2019-04-15 | 퀄컴 인코포레이티드 | 미디어 데이터 스트리밍을 위한 sei 트랙들의 시스템 레벨 시그널링 |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9374585B2 (en) * | 2012-12-19 | 2016-06-21 | Qualcomm Incorporated | Low-delay buffering model in video coding |
| US10595031B2 (en) * | 2013-07-12 | 2020-03-17 | Qualcomm Incorporated | Selection of target output layers in high efficiency video coding extensions |
| US9402083B2 (en) * | 2014-04-24 | 2016-07-26 | Vidyo, Inc. | Signaling conformance points using profile space |
| US9699480B2 (en) * | 2014-06-13 | 2017-07-04 | Sharp Laboratories Of America, Inc. | Level limits |
| US10542288B2 (en) * | 2014-06-18 | 2020-01-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Random access in a video bitstream |
| JP6348188B2 (ja) * | 2014-06-18 | 2018-06-27 | テレフオンアクチーボラゲット エルエム エリクソン（パブル） | ビデオにおけるピクチャのロバストな符号化および復号化 |
| JP6546197B2 (ja) * | 2014-06-18 | 2019-07-17 | テレフオンアクチーボラゲット エルエム エリクソン（パブル） | 従属ランダムアクセスポイントピクチャ |
| US9979983B2 (en) * | 2015-03-16 | 2018-05-22 | Microsoft Technology Licensing, Llc | Application- or context-guided video decoding performance enhancements |
| US10129566B2 (en) | 2015-03-16 | 2018-11-13 | Microsoft Technology Licensing, Llc | Standard-guided video decoding performance enhancements |
| US10687055B2 (en) | 2017-03-03 | 2020-06-16 | Qualcomm Incorporated | Coding MCTS-EIS SEI messages of an access unit |
| US11284112B2 (en) * | 2018-12-06 | 2022-03-22 | Tencent America LLC | Method and apparatus for a primary transform using an 8-bit transform core |
| WO2020118287A1 (en) * | 2018-12-07 | 2020-06-11 | Interdigital Vc Holdings, Inc. | Managing coding tools combinations and restrictions |
| AU2020352892A1 (en) | 2019-09-24 | 2022-04-14 | Huawei Technologies Co., Ltd. | Sequence-level HRD parameters |
| US11265567B2 (en) | 2019-10-08 | 2022-03-01 | Tencent America LLC | Method for output layer set signaling in scalable video stream |
| CA3164491A1 (en) * | 2019-12-20 | 2021-06-24 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Video data stream, video encoder, apparatus and methods for hrd timing fixes, and further additions for scalable and mergeable bitstreams |
| WO2021134019A1 (en) | 2019-12-26 | 2021-07-01 | Bytedance Inc. | Constraints on coding of layered video |
| WO2021134015A1 (en) | 2019-12-26 | 2021-07-01 | Bytedance Inc. | Profile, tier and layer indication in video coding |
| EP4066499A4 (en) | 2019-12-27 | 2023-01-11 | ByteDance Inc. | SYNTAX FOR SIGNALING VIDEO IMAGES |
| US11356681B2 (en) * | 2019-12-27 | 2022-06-07 | Tencent America LLC | Coded video sub-bitstream extraction |
| CN113055668B (zh) * | 2019-12-27 | 2023-06-02 | 腾讯美国有限责任公司 | 从已编码视频比特流中提取子比特流的方法和设备 |
| JP7451723B2 (ja) | 2020-01-09 | 2024-03-18 | バイトダンス インコーポレイテッド | ビデオビットストリームにおける値範囲に対する制約 |
| WO2021170091A1 (en) | 2020-02-29 | 2021-09-02 | Beijing Bytedance Network Technology Co., Ltd. | Constrains for high level syntax elements |
| WO2021188527A1 (en) | 2020-03-17 | 2021-09-23 | Bytedance Inc. | Using video parameter set in video coding |
| US11228776B1 (en) * | 2020-03-27 | 2022-01-18 | Tencent America LLC | Method for output layer set mode in multilayered video stream |
| US11297350B1 (en) * | 2020-03-27 | 2022-04-05 | Tencent America LLC | Method for output layer set for multilayered video stream |
| KR20230008795A (ko) * | 2020-05-04 | 2023-01-16 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
| CR20220589A (es) | 2020-05-22 | 2023-04-26 | Ge Video Compression Llc | Codificador de video, decodificador de video, métodos para codificar y decodificar y flujo de datos de video para realizar conceptos avanzados de codificación de video |
| US11431998B2 (en) * | 2020-05-22 | 2022-08-30 | Tencent America LLC | Systems and methods for decoding based on inferred video parameter sets |
| KR20230015416A (ko) | 2020-05-22 | 2023-01-31 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 일반 제약 플래그의 시그널링 |
| KR20230025429A (ko) * | 2020-06-06 | 2023-02-21 | 엘지전자 주식회사 | 스케일러빌리티를 위한 서브-비트스트림 추출 기반 영상 코딩 장치 및 방법 |
| EP4150912A4 (en) | 2020-06-09 | 2023-11-08 | ByteDance Inc. | VIDEO PARAMETER SET CONSTRAINTS FOR SUB-BIT STREAM EXTRACTION FROM SUB-PICTURES |
| US11962936B2 (en) | 2020-09-29 | 2024-04-16 | Lemon Inc. | Syntax for dependent random access point indication in video bitstreams |
| US20220337878A1 (en) | 2021-04-18 | 2022-10-20 | Lemon Inc. | Decoding Capability Information In Common Media Application Format |
| US20240196015A1 (en) * | 2021-04-23 | 2024-06-13 | Lg Electronics Inc. | Image encoding/decoding method and device based on sei message including layer identifier information, and method for transmitting bitstream |
| WO2023222521A1 (en) * | 2022-05-19 | 2023-11-23 | Interdigital Ce Patent Holdings, Sas | Sei adapted for multiple conformance points |
| CN114745600B (zh) * | 2022-06-10 | 2022-09-27 | 中国传媒大学 | 一种基于sei的视频标签标注方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011223626A (ja) * | 2005-10-11 | 2011-11-04 | Nokia Corp | 効率的なスケーラブルストリーム適応のためのシステム及び方法 |
| US20120269275A1 (en) * | 2010-10-20 | 2012-10-25 | Nokia Corporation | Method and device for video coding and decoding |
Family Cites Families (66)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7860161B2 (en) * | 2003-12-15 | 2010-12-28 | Microsoft Corporation | Enhancement layer transcoding of fine-granular scalable video bitstreams |
| US7440626B2 (en) * | 2004-12-02 | 2008-10-21 | Mitsubishi Electric Research Laboratories, Inc. | Image transcoding |
| US7728877B2 (en) * | 2004-12-17 | 2010-06-01 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for synthesizing multiview videos |
| DE102005001287A1 (de) * | 2005-01-11 | 2006-07-20 | Siemens Ag | Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten |
| US7756206B2 (en) * | 2005-04-13 | 2010-07-13 | Nokia Corporation | FGS identification in scalable video coding |
| WO2006129184A1 (en) * | 2005-06-03 | 2006-12-07 | Nokia Corporation | Residual prediction mode in scalable video coding |
| KR100772868B1 (ko) * | 2005-11-29 | 2007-11-02 | 삼성전자주식회사 | 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치 |
| KR100947234B1 (ko) * | 2006-01-12 | 2010-03-12 | 엘지전자 주식회사 | 다시점 비디오의 처리 방법 및 장치 |
| US7535383B2 (en) * | 2006-07-10 | 2009-05-19 | Sharp Laboratories Of America Inc. | Methods and systems for signaling multi-layer bitstream data |
| US20080037880A1 (en) * | 2006-08-11 | 2008-02-14 | Lcj Enterprises Llc | Scalable, progressive image compression and archiving system over a low bit rate internet protocol network |
| US8170094B2 (en) * | 2006-11-30 | 2012-05-01 | Motorola Mobility, Inc. | Method and system for scalable bitstream extraction |
| US20100061452A1 (en) * | 2007-01-04 | 2010-03-11 | Thomson Licensing Corporation | Method and apparatus for video error concealment using high level syntax reference views in multi-view coded video |
| EP2100459B1 (en) * | 2007-01-08 | 2019-04-03 | Nokia Technologies Oy | System and method for providing and using predetermined signaling of interoperability points for transcoded media streams |
| US20080317124A1 (en) * | 2007-06-25 | 2008-12-25 | Sukhee Cho | Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access |
| RU2010102823A (ru) * | 2007-06-26 | 2011-08-10 | Нокиа Корпорейшн (Fi) | Система и способ индикации точек переключения временных уровней |
| EP2086237B1 (en) * | 2008-02-04 | 2012-06-27 | Alcatel Lucent | Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions |
| US20100005185A1 (en) * | 2008-06-24 | 2010-01-07 | Zhengye Liu | Substream trading in a peer to peer live streaming system |
| CN101662677B (zh) * | 2008-08-29 | 2011-08-10 | 华为终端有限公司 | 码流转换系统及方法、码流识别单元和方案确定单元 |
| BRPI0918619A2 (pt) * | 2008-09-17 | 2019-09-03 | Sharp Kk | aparelho de decodificação de fluxo de vídeo escalonável e aparelho de geração de fluxo de vídeo escalonável |
| AU2010238757A1 (en) * | 2009-04-24 | 2011-11-03 | Vidyo, Inc. | Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems |
| WO2010126612A2 (en) * | 2009-05-01 | 2010-11-04 | Thomson Licensing | Reference picture lists for 3dv |
| US8411746B2 (en) * | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
| US8780999B2 (en) * | 2009-06-12 | 2014-07-15 | Qualcomm Incorporated | Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems |
| AU2011296956A1 (en) * | 2010-09-03 | 2013-02-14 | Sony Corporation | Encoding device and encoding method, as well as decoding device and decoding method |
| AU2012205650B2 (en) * | 2011-01-14 | 2016-08-11 | Vidyo, Inc. | Improved NAL unit header |
| JP5752268B2 (ja) * | 2011-01-14 | 2015-07-22 | ヴィディオ・インコーポレーテッド | 時間スケーラビリティのための高いレイヤのシンタックス |
| KR101744355B1 (ko) * | 2011-01-19 | 2017-06-08 | 삼성전자주식회사 | 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치 |
| CN102158733B (zh) | 2011-01-28 | 2015-08-19 | 华为技术有限公司 | 辅助视频补充信息承载方法、处理方法、装置与系统 |
| EP2730088A4 (en) * | 2011-07-05 | 2015-04-01 | Ericsson Telefon Ab L M | REFERENCE IMAGE MANAGEMENT FOR HISTORED VIDEO CONTENT |
| US10237565B2 (en) * | 2011-08-01 | 2019-03-19 | Qualcomm Incorporated | Coding parameter sets for various dimensions in video coding |
| US9591318B2 (en) * | 2011-09-16 | 2017-03-07 | Microsoft Technology Licensing, Llc | Multi-layer encoding and decoding |
| US20140286415A1 (en) * | 2011-10-05 | 2014-09-25 | Electronics And Telecommunications Research Institute | Video encoding/decoding method and apparatus for same |
| US20130195201A1 (en) * | 2012-01-10 | 2013-08-01 | Vidyo, Inc. | Techniques for layered video encoding and decoding |
| CN104396240B (zh) * | 2012-01-31 | 2018-02-02 | Vid拓展公司 | 用于可缩放的高效视频编码(hevc)的参考图片集(rps)信令 |
| US20130222537A1 (en) * | 2012-02-29 | 2013-08-29 | Qualcomm Incorporated | Bitstream extraction in three-dimensional video |
| KR20130107861A (ko) * | 2012-03-23 | 2013-10-02 | 한국전자통신연구원 | 인터 레이어 인트라 예측 방법 및 장치 |
| JP5926856B2 (ja) * | 2012-04-06 | 2016-05-25 | ヴィディオ・インコーポレーテッド | 階層化されたビデオ符号化のためのレベル信号伝達 |
| US9277533B2 (en) * | 2012-05-17 | 2016-03-01 | Vid Scale, Inc. | Scalable video coding over simultaneous unicast/multicast LTE DL shared channel |
| CN104380745B (zh) * | 2012-06-22 | 2018-04-27 | 联发科技股份有限公司 | 图层间与视图间自适应帧内预测方法及其装置 |
| KR102161863B1 (ko) * | 2012-06-28 | 2020-10-05 | 소니 주식회사 | 송신/수신 장치, 방법, 부호화/복호화 장치 |
| EP2868092A4 (en) * | 2012-07-02 | 2016-05-04 | Nokia Technologies Oy | METHOD AND DEVICE FOR VIDEO CODING |
| KR101664758B1 (ko) * | 2012-09-21 | 2016-10-10 | 노키아 테크놀로지스 오와이 | 비디오 코딩 방법 및 장치 |
| RU2595966C1 (ru) * | 2012-09-27 | 2016-08-27 | Долби Лабораторис Лайсэнзин Корпорейшн | Обработка межуровневого эталонного изображения для масштабируемости стандартов кодирования |
| US9479779B2 (en) | 2012-10-01 | 2016-10-25 | Qualcomm Incorporated | Sub-bitstream extraction for multiview, three-dimensional (3D) and scalable media bitstreams |
| US9781413B2 (en) * | 2012-10-02 | 2017-10-03 | Qualcomm Incorporated | Signaling of layer identifiers for operation points |
| US10116931B2 (en) * | 2013-01-03 | 2018-10-30 | Texas Instruments Incorporated | Hierarchical inter-layer prediction in multi-loop scalable video coding |
| KR20140122202A (ko) * | 2013-04-05 | 2014-10-17 | 삼성전자주식회사 | 계층 식별자 확장에 따른 비디오 스트림 부호화 방법 및 그 장치, 계층 식별자 확장에 따른 따른 비디오 스트림 복호화 방법 및 그 장치 |
| US9351009B2 (en) * | 2013-04-05 | 2016-05-24 | Sharp Kabushiki Kaisha | Marking pictures for inter-layer prediction |
| US9532067B2 (en) * | 2013-04-05 | 2016-12-27 | Sharp Kabushiki Kaisha | Decoding of inter-layer reference picture set and reference picture list construction |
| US9591321B2 (en) * | 2013-04-07 | 2017-03-07 | Dolby International Ab | Signaling change in output layer sets |
| EP2984826B1 (en) * | 2013-04-08 | 2019-12-18 | HFI Innovation Inc. | Method and apparatus for quantization matrix signaling and representation in scalable video coding |
| US10595031B2 (en) * | 2013-07-12 | 2020-03-17 | Qualcomm Incorporated | Selection of target output layers in high efficiency video coding extensions |
| WO2015008479A1 (en) * | 2013-07-14 | 2015-01-22 | Sharp Kabushiki Kaisha | Signaling indications and constraints |
| US9525883B2 (en) * | 2013-07-15 | 2016-12-20 | Qualcomm Incorporated | Cross-layer alignment of intra random access point pictures |
| US10057588B2 (en) * | 2013-07-15 | 2018-08-21 | Kt Corporation | Scalable video signal encoding/decoding method and device |
| CN105453564B (zh) * | 2013-07-30 | 2019-05-10 | 株式会社Kt | 支持多个层的图像编码和解码方法以及使用该方法的装置 |
| JP5789004B2 (ja) * | 2013-08-09 | 2015-10-07 | ソニー株式会社 | 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法 |
| US9819941B2 (en) | 2013-10-10 | 2017-11-14 | Qualcomm Incorporated | Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding |
| WO2015053330A1 (ja) * | 2013-10-10 | 2015-04-16 | シャープ株式会社 | 画像復号装置 |
| US9648333B2 (en) * | 2013-10-11 | 2017-05-09 | Vid Scale, Inc. | High level syntax for HEVC extensions |
| US20160255353A1 (en) * | 2013-10-11 | 2016-09-01 | Sharp Kabushiki Kaisha | Highest temporal sub-layer list |
| EP3022927A1 (en) * | 2013-10-11 | 2016-05-25 | Telefonaktiebolaget LM Ericsson (publ) | Method and arrangement for transcoding a video bitstream |
| US10187662B2 (en) * | 2013-10-13 | 2019-01-22 | Sharp Kabushiki Kaisha | Signaling parameters in video parameter set extension and decoder picture buffer operation |
| US20150103924A1 (en) * | 2013-10-13 | 2015-04-16 | Sharp Laboratories Of America, Inc. | On operation of decoded picture buffer for interlayer pictures |
| US10554990B2 (en) * | 2013-10-14 | 2020-02-04 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
| KR20150050409A (ko) * | 2013-10-29 | 2015-05-08 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
-
2014
- 2014-10-14 US US14/514,300 patent/US10284858B2/en active Active
- 2014-10-15 MX MX2016004721A patent/MX364544B/es active IP Right Grant
- 2014-10-15 CN CN201480055913.1A patent/CN105612752B/zh active Active
- 2014-10-15 KR KR1020167010853A patent/KR102054040B1/ko active IP Right Grant
- 2014-10-15 BR BR112016008374-1A patent/BR112016008374B1/pt active IP Right Grant
- 2014-10-15 JP JP2016522812A patent/JP6700176B2/ja active Active
- 2014-10-15 WO PCT/US2014/060617 patent/WO2015057787A1/en active Application Filing
- 2014-10-15 EP EP14790453.6A patent/EP3058743B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011223626A (ja) * | 2005-10-11 | 2011-11-04 | Nokia Corp | 効率的なスケーラブルストリーム適応のためのシステム及び方法 |
| US20120269275A1 (en) * | 2010-10-20 | 2012-10-25 | Nokia Corporation | Method and device for video coding and decoding |
Non-Patent Citations (1)
| Title |
|---|
| Ye-KWANG ET AL: "MV-HEVC/SHVC HLS: On changing of the highest layer ID across AUs and multi-mode bitstream extraction", 5. JCT-3V MEETING; 27-7-2013 - 2-8-2013; VIENNA * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190039724A (ko) * | 2016-08-24 | 2019-04-15 | 퀄컴 인코포레이티드 | 미디어 데이터 스트리밍을 위한 sei 트랙들의 시스템 레벨 시그널링 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102054040B1 (ko) | 2019-12-09 |
| MX364544B (es) | 2019-04-30 |
| WO2015057787A1 (en) | 2015-04-23 |
| CN105612752B (zh) | 2018-11-02 |
| JP2016539544A (ja) | 2016-12-15 |
| CN105612752A (zh) | 2016-05-25 |
| EP3058743B1 (en) | 2022-05-25 |
| BR112016008374A2 (ko) | 2017-08-01 |
| US20150103888A1 (en) | 2015-04-16 |
| MX2016004721A (es) | 2016-07-26 |
| EP3058743A1 (en) | 2016-08-24 |
| BR112016008374B1 (pt) | 2023-05-09 |
| JP6700176B2 (ja) | 2020-05-27 |
| US10284858B2 (en) | 2019-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102054040B1 (ko) | 멀티-계층 비디오 코덱들에 대한 멀티-모드 추출의 지원 | |
| KR102384092B1 (ko) | 비디오 코딩에서 파티셔닝 방식들에 대한 가상 참조 디코더 파라미터들의 적합성을 테스트하기 위한 방법 및 디바이스 | |
| KR101652208B1 (ko) | 비디오 코딩에서의 비트스트림 속성들 | |
| EP3158764B1 (en) | Systems and methods for signaling information for layer sets in a parameter set | |
| KR101776448B1 (ko) | 비디오 코딩에 있어서의 비-네스팅된 ｓｅｉ 메시지들 | |
| KR101751144B1 (ko) | 비디오 코딩에서의 파라미터 세트들 | |
| KR102172130B1 (ko) | 비디오 데이터에 대한 파일 포맷 | |
| DK2904782T3 (en) | SUB-BIT CURRENCY APPLICABILITY FOR STORED SEI NOTIFICATIONS IN VIDEO CODING | |
| KR101968425B1 (ko) | 비디오 코딩 확장본들의 캐리지를 위한 전송 스트림 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |