KR20230128584A - 비트 스트림 병합 - Google Patents
비트 스트림 병합 Download PDFInfo
- Publication number
- KR20230128584A KR20230128584A KR1020237029059A KR20237029059A KR20230128584A KR 20230128584 A KR20230128584 A KR 20230128584A KR 1020237029059 A KR1020237029059 A KR 1020237029059A KR 20237029059 A KR20237029059 A KR 20237029059A KR 20230128584 A KR20230128584 A KR 20230128584A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- fraction
- merging
- merge
- level information
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 223
- 241000023320 Luma <angiosperm> Species 0.000 claims description 18
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 description 38
- 230000006870 function Effects 0.000 description 12
- 230000002123 temporal effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000011664 signaling Effects 0.000 description 8
- 238000013139 quantization Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000009499 grossing Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 101100137463 Bacillus subtilis (strain 168) ppsA gene Proteins 0.000 description 2
- 101100464927 Bacillus subtilis (strain 168) ppsB gene Proteins 0.000 description 2
- 101000587820 Homo sapiens Selenide, water dikinase 1 Proteins 0.000 description 2
- 101000828738 Homo sapiens Selenide, water dikinase 2 Proteins 0.000 description 2
- 101000701815 Homo sapiens Spermidine synthase Proteins 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 101100342406 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PRS1 gene Proteins 0.000 description 2
- 102100031163 Selenide, water dikinase 1 Human genes 0.000 description 2
- 102100023522 Selenide, water dikinase 2 Human genes 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 101150056693 pps1 gene Proteins 0.000 description 2
- 238000013517 stratification Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001492220 Echovirus E2 Species 0.000 description 1
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
인코딩된 비디오 표현(12)을 제공하기 위한 비디오 인코더(2)에서, 비디오 인코더(2)는 복수의 인코딩 파라미터(20, 22, 26, 30)를 기술하는 인코딩된 파라미터 정보, 인코딩된 비디오 콘텐츠 정보 및 인코딩된 비디오 표현(12)이 다른 인코딩된 비디오 표현과 병합될 수 있는지 여부 및/또는 방법을 나타내는 하나 이상의 병합 식별자를 포함하는 비디오 스트림(12)을 제공하도록 구성된다.
Description
본 출원은 비디오 코딩/디코딩에 관한 것이다.
비디오 합성은 여러 비디오 소스의 구성이 사용자에게 제공되는 수많은 응용 프로그램에서 사용된다.
일반적인 예는, 예를 들어 광고 또는 사용자 인터페이스를 위한, 픽처인픽처(picture-in-picture)(PiP) 합성 및 비디오 콘텐츠와 오버레이(overlay)의 블렌딩이다.
픽셀 도메인(pixel-domain)에서 이러한 합성(composition)을 생성하려면 계산적으로 복잡하고 단일 하드웨어 디코더 또는 기타 제한된 리소스가 있는 장치에서는 실행 불가능할 수도 있는 입력 비디오 비트 스트림의 병렬 디코딩이 필요하다. 예를 들어, 현재의 IPTV 시스템 설계에서 유용한 셋톱 박스는 합성을 수행하며 복잡도(complexity), 배포성(distribution) 및 제한된 수명(limited lifetime)으로 인해 주요 서비스 비용 요인이다. 이러한 비용 요인을 줄이려는, 예를 들어 사용자 인터페이스 생성을 클라우드 리소스로 전환하려는, 셋톱 박스 기능을 가상화 하려는 지속적인 노력이 동기 부여된다. 소위 제로 클라이언트라고 하는 단순한 비디오 디코더는 이러한 접근 방식에서 고객 영역에 남아있는 유일한 하드웨어이다. 이러한 시스템 설계의 최신 기술은 트랜스 코딩(transcoding)을 기반으로, 즉 가장 간단한 형태로 합성한다: 전송 전 또는 전송 중에 디코딩, 픽셀 도메인 합성 및 재 인코딩. 전체 디코딩 및 인코딩 주기의 작업 부하를 줄이기 위해, PiP 합성을 위해 픽셀 도메인(pixel-domain) 대신 변환 계수 도메인(transform coefficient domain)에서의 연산이 처음 제안되었다. 그때부터, 개별 합성 단계를 융합하거나 잘라내어 현재 비디오 코덱에 적용하는 수많은 기술이 제안되었다. 그러나, 일반 합성을 위한 트랜스 코딩 기반 접근 방식은 여전히 계산적으로 복잡하여 시스템 확장 성을 손상시킨다. 트랜스 코딩 방식에 따라 이러한 합성은 속도 왜곡(rate distortion)(RD) 성능에도 영향을 미칠 수 있다.
또한, 타일(tile)을 기반으로 구축된 다양한 애플리케이션이 존재하며, 타일은 인접한 타일과 독립적으로 코딩 된 비디오 평면의 공간적 서브 세트이다. 360° 비디오 용 타일 기반 스트리밍 시스템은 360° 비디오를 다양한 해상도의 서브 비트 스트림으로 인코딩 되고 현재 사용자 보기 방향(user viewing orientation)에 따라 클라이언트 측 상에 단일 비트 스트림으로 병합되는 타일로 분할하여 작동한다. 서브 비트 스트림의 병합을 포함하는 또 다른 애플리케이션은 예를 들어 배너 광고와 함께 전통적인 비디오 콘텐츠의 조합이다. 또한, 서브 비트 스트림을 재결합하는 것은 여러 사용자가 개별 비디오 스트림을 스트림이 궁극적으로 병합되는 수신기로 보내는 픽처 회의 시스템에서 중요한 부분이 될 수 있다. 더 나아가, 비디오가 타일로 분할되고 타일 인코딩이 개별 인스턴스에 배포되는 타일 기반 클라우드 인코딩 시스템은 결과 타일 비트 스트림이 단일 비트 스트림으로 다시 병합되기 전에 안전 검사(failsafe check)에 의존한다. 이러한 모든 애플리케이션에서 스트림이 병합되어 알려진 적합성 포인트가 있는 단일 비디오 디코더에서 디코딩이 가능하다. 여기서 병합은 비트 스트림 또는 픽셀 값 재구성의 엔트로피 코딩 된 데이터의 전체 디코딩 및 인코딩 동작을 필요로 하지 않는 경량 비트 스트림 재작성을 의미한다. 그러나, 비트 스트림 병합 형성의 성공을 보장하는 데 사용되는 기술, 즉 결과 병합된 비트 스트림의 적합성은, 매우 다른 응용 시나리오에서 비롯되었다.
예를 들어, 레거시 코덱은 모션 제약 타일 세트MCTS(Motion Constrained Tile Set)라고하는 기술을 지원하고, 여기서 인코더는 타일 또는 픽처의 경계 내에 한정되는 픽처 간의 인터 예측을 제약하며, 즉, 동일한 타일에 속하지 않거나 픽처 경계 외부에 위치하는 샘플 값 또는 식택스 요소 값을 사용하지 않는다. 이 기술의 원점은 관심 영역(Region of Interest)(ROI) 디코딩으로, 디코더는 해석할 수 없는 종속성(unresolvable dependencies)과 드리프트를 피하지 않고 비트 스트림 및 코딩 된 픽처의 특정 서브 섹션 만 디코딩 할 수 있다. 이 맥락에서 또 다른 최신 기술은 적용된 비트 스트림 구조, 즉 픽처 순서 및 인터 예측 레퍼런스 구조의 표시를 제공하는 픽처의 구조(Structure of Pictures)(SOP) SEI 메시지이다. 이 정보는 두 개의 랜덤 액세스 포인트(Random Access Point)(RAP), 픽처 오더 카운트(Picture Order Count)(POC) 값, 활성 시퀀스 파라미터 세트(Sequence Parameter Set)(SPS) 식별자, 활성 SPS에 대한 레퍼런스 픽처 세트(Reference Picture Set)(RPS) 인덱스 간의 각 픽처에 대해 요약하여 제공된다. 이 정보를 바탕으로, 비트 스트림 구조는, 예를 들어 비트 전송률, 프레임 드롭 또는 빨리 감기 조정의, 트랜스 코더(transcoder), 미들 박스 또는 미디어 인식 네트워크 엔티티(media-aware network entities)(MANE) 또는 미디어 플레이어가 비트 스트림에서 작동하거나 변경하도록 지원할 수 있도록 식별될 수 있다.
위의 예시적인 시그널링 기술 모두는 서브 비트 스트림의 경량 병합이 사소하지 않은 신택스 변경없이 또는 전체 트랜스 코딩 없이 수행될 수 있는지 여부를 이해하는 데 필수적이지만, 결코 충분하지 않다. 더 자세하게는, 이 맥락에서 경량 병합(lightweight merging)은 약간의 재작성 작업만으로 소스 비트 스트림의 NAL 유닛을 인터리빙 하는 특징이 있으며, 즉 병합할 모든 비트 스트림이 별도의 타일 영역에 위치하도록 새 이미지 크기 및 타일 구조로 공동으로 사용되는 파라미터 세트를 작성한다. 병합 복잡도의 다음 레벨은 슬라이스 헤더 요소의 사소한 재작성으로 구성되며, 이상적으로는 슬라이스 헤더의 가변 길이 코드를 변경하지 않는다. 더 많은 레벨의 병합 복잡도가 존재하며, 예를 들어 엔트로피 코딩 된 그러나 비디오의 디코딩 및 인코딩의 전체 트랜스 코딩과 비교하여 또한 유익하고 더 가벼울 것으로 여겨질 수 있는 픽셀 값 재구성에 대한 필요없이 변경될 수 있는 특정 신택스 요소를 변경하기 위해 스라이스 데이터 상에 엔트로피 코딩을 다시 실행하는 것은 가볍지 않다.
병합된 비트 스트림에서, 모든 슬라이스는 동일한 파라미터 세트를 참조해야 한다. 원래 비트 스트림의 파라미터 세트가 상당히 다른 설정을 사용하는 경우, 가벼운 병합이 불가능할 수 있다. 많은 파라미터 세트 신택스 요소가 슬라이스 헤더 및 슬라이스 페이로드 신택스에 더 많은 영향을 미치고 상이한 레벨로 영향을 미치기 때문이다. 디코딩 과정에서 신택스 요소가 포함될수록 병합/재작성이 더 복잡해진다. 신택스 종속성(파라미터 세트 및 기타 구조의)의 일부 주목할 만한 일반 카테고리는 다음과 같이 구분할 수 있다.
A. 신택스 존재 표시
B. 값 계산 종속성
C. 슬라이스 페이로드 코딩 도구 제어
a. 디코딩 프로세스 초기에 사용되는 신택스(예를 들어, 계수 부호 숨김, 블록 분할 한계)
b. 디코딩 프로세스 후반에 사용되는 신택스(예를 들어, 모션 컴프, 루프 필터) 또는 일반 디코딩 프로세스 제어(레퍼런스 픽처, 비트 스트림 순서)
D. 소스 포멧 파라미터
카테고리 A의 경우, 파라미터 세트는 다양한 도구(예를 들어, dependent_slice_segments_enabled_flag 또는 output_flag_present_flag)에 대한 수많은 존재 플래그를 전달한다. 이러한 플래그와 다른 경우, 결합 파라미터 세트에서 활성화되도록 플래그가 설정될 수 있고 기본 값은 병합 전에 신택스 요소를 포함하지 않은 비트 스트림에서 슬라이스의 병합된 슬라이스 헤더에 명시적으로 작성될 수 있으며, 즉 이 경우 병합하려면 파라미터 세트와 슬라이스 헤더 신택스를 변경해야 한다.
카테고리 B의 경우, 파라미터 세트 신택스의 시그널링 된 값은 다른 파라미터 세트 또는 슬라이스 헤더의 파라미터와 함께 계산에 사용될 수 있으며, 예를 들어 HEVC에서, 슬라이스의 슬라이스 양자화 파라미터(slice quantization parameter)(QP)는 슬라이스의 잔류 신호의 변환 계수 양자화의 거칠기를 제어하는 데 사용된다. 비트 스트림에서 슬라이스 QP(SliceQpY)의 시그널링은 다음과 같이 픽처 파라미터 세트(picture parameter set)(PPS) 레벨의 QP 시그널링에 따라 다르다:
SliceQpY = 26 + init_qp_minus26(PPS에서) + slice_qp_delta(슬라이스 헤더에서)
(병합된) 코딩 된 비디오 픽처의 모든 슬라이스는 동일한 활성화된 PPS를 참조해야 하기 때문에, 병합될 개별 스트림의 PPS에서 init_qp_minus26의 차이는 init_qp_minus26의 새로운 공통 값(common value)을 반영하도록 슬라이스 헤더를 조정해야 한다. 즉 이 경우 병합하려면 카테고리 1과 같이 파라미터 세트 및 슬라이스 헤더 신택스를 변경해야 한다.
카테고리 C의 경우, 추가 파라미터 세트 신택스 요소가 슬라이스 페이로드의 비트 스트림 구조에 영향을 주는 코딩 도구를 제어한다. 서브 카테고리 C.a 및 C.b는 신택스 요소가 포함된 디코딩 프로세스의 레벨과 이러한 신택스 요소의 변경과 연관된 복잡도(관련)에 따라 구별될 수 있으며, 즉, 신택스 요소가 엔트로피 코딩과 픽셀 레벨 재구성 사이에 포함되는 곳이다. 예를 들어, 카테고리 C.a의 한 요소는 코딩 된 변환 계수의 부호 데이터의 유도를 제어하는 sign_data_hiding_enabled_flag이다. 서명 데이터 숨김(category)은 쉽게 비활성화할 수 있으며 해당 추론된 서명 데이터는 슬라이스 페이로드에 명시적으로 기록된다. 그러나 이 카테고리의 슬라이스 페이로드에 대한 이러한 변경은 픽셀 유닛 병합된 비디오를 다시 인코딩하기 전에 전체 디코딩을 통해 픽셀 도메인으로 이동할 필요가 없다. 또 다른 예는 추론된 블록 분할 결정 또는 추론된 값이 비트 스트림에 쉽게 기록될 수 있는 다른 신택스이다. 즉 이 경우 병합하려면 파라미터 세트, 슬라이스 헤더 신택스 및 엔트로피 디코딩/인코딩이 필요한 슬라이스 페이로드를 변경해야 한다.
그러나, 서브 카테고리 C.b에는 디코딩 체인의 훨씬 아래에 있는 프로세스와 관련된 신택스 요소가 수반되므로 복잡한 디코딩 프로세스의 대부분은 나머지 디코딩 단계를 피하는 것이 구현 및 계산 측면에서 바람직하지 않은 방식으로 수행되어야 한다. 예를 들어, 모션 보상 제약 "시간적 모션 제약 타일 세트(Temporal Motion Constraint Tile Set) SEI(픽처 정보의 구조(Structure of Picture Information)) 메시지" 또는 "SEI 메시지" 와 같은 다양한 디코딩 프로세스 관련 신택스에 연결된 신택스 요소의 차이는 픽셀 레벨 트랜스 코딩을 피할 수 없게 만든다. 서브 카테고리 C.a와는 반대로 전체 픽셀 레벨 트랜스 코딩 없이는 변경할 수 없는 방식으로 슬라이스 페이로드에 영향을 미치는 인코더 결정이 많이 있다.
카테고리 D의 경우, 파라미터 세트 신택스 요소(예를 들어, chroma_format_idc를 통해 표시되는 크로마 서브 샘플링)가 있으며, 여기서 다른 값은 서브 비트 스트림을 병합하기 위해 픽셀 레벨 트랜스 코딩을 불가피하게 만든다. 즉, 이 경우 병합에는 완전한 디코딩, 픽셀 레벨 병합 및 완전한 인코딩 프로세스가 필요하다.
위의 목록은 결코 완전한 것이 아니다. 그러나 광범위한 파라미터가 상이한 방식으로 서브 비트 스트림을 공통 비트 스트림으로 병합하는 장점에 영향을 미치며 이러한 파라미터를 추적하고 분석하는 것이 부담스럽다는 것이 분명해졌다. 본 발명의 목적은 비디오 비트 스트림을 효율적으로 병합하기 위한 비디오 코덱을 제공하는 것이다.
이 목적은 준비된 출원서의 청구항의 주제에 의해 달성된다.
하나 이상의 병합 식별자를 포함함으로써 복수의 비디오 스트림 병합의 개선이 달성된다는 것이 본 발명의 기본 아이디어이다. 이 접근 방식을 통해 컴퓨팅 리소스의 부하를 줄이고 병합 프로세스(merging process)를 가속화할 수 있다.
본 출원의 실시 예에 따르면, 비디오 인코더는 복수의 인코딩 파라미터를 기술(describe)하는 인코딩된 파라미터 정보, 인코딩된 비디오 콘텐츠 정보를 포함하는 비디오 스트림을 제공하도록 구성되며, 즉, 파라미터 정보에 의해 정의된 인코딩 파라미터를 사용하여 인코딩 되고, 및 예를 들어 어떤 복잡도를 사용하여 인코딩된 비디오 표현(encoded video representation)이 다른 인코딩된 비디오 표현과 병합될 수 있는지 여부 및/또는 방법을 나타내는 하나 이상의 병합 식별자(merge identifier)를 포함한다. 어떤 복잡도를 사용할지는 파라미터 정보에 의해 정의된 파라미터 값에 기초하여 결정될 수 있다. 병합 식별자는 복수의 인코딩 파라미터의 연결(concatenation)일 수 있으며, 이러한 파라미터는 미리 결정된 복잡도를 사용하여 두 개의 상이한 인코딩된 비디오 표현을 병합할 수 있도록 하기 위해 두 개의 상이한 인코딩된 비디오 표현에서 동일해야 한다. 또한, 병합 식별자는 복수의 인코딩 파라미터의 연결의 해시 값일 수 있으며, 이러한 파라미터는 미리 결정된 복잡도를 사용하여 두 개의 상이한 인코딩된 비디오 표현을 병합할 수 있도록 하기 위해 두 개의 상이한 인코딩된 비디오 표현에서 동일해야 한다.
본 출원의 실시 예들에 따르면, 병합 식별자는 병합 절차(merging procedure)의 복잡도 또는 일반적으로 파라미터 세트 재작성을 통한 병합하는, 또는 파라미터 세트 및 슬라이스 헤더 재작성을 통한 병합하는, 또는 파라미터 세트, 슬라이스 헤더, 슬라이스 페이로드 재작성을 통해 병합하는 "적합한" 병합 방법과 연관된 병합 식별자 유형을 나타낼 수 있고, 병합 식별자는 병합 식별자 유형(merge identifier type)과 연관되고, 병합 식별자 유형과 연관된 병합 식별자는 두 개의 상이한 인코딩된 비디오 표현이 병합 식별자 유형에 의해 표현된 병합 절차의 복잡도를 사용하여 병합 가능하도록 두 개의 상이한 인코딩된 비디오 표현에서 동일해야 하는 인코딩 파라미터를 포함한다. 병합 식별자 유형의 값은 병합 프로세스를 나타낼 수 있으며, 비디오 인코더는 병합 식별자 유형의 다음 값 중 적어도 두 개 사이에서 전환하도록 구성되고; 파라미터 세트 재작성을 통한 병합 프로세스를 나타내는 병합 식별자 유형의 제1 값, 파라미터 세트 및 슬라이스 헤더 재작성을 통한 병합 프로세스를 나타내는 병합 식별자 유형의 제2 값, 및 파라미터 세트, 슬라이스 헤더 및 슬라이스 페이로드 재작성을 통한 병합 프로세스를 나타내는 병합 식별자 유형의 제3 값이다.
본 출원의 실시 예들에 따르면, 복수의 병합 식별자는 병합 절차의 상이한 복잡도와 연관되어 있으며, 예를 들어 각 식별자는 파라미터 세트/해시 및 병합 절차의 유형을 나타낸다. 인코더는 병합 식별자의 충당을 위해 평가되는 인코딩 파라미터가 비디오 시퀀스의 모든 유닛에서 동일한 지 여부를 확인하고 그 확인에 따라 병합 식별자를 제공하도록 구성될 수 있다.
본 출원의 실시 예들에 따르면, 복수의 인코딩 파라미터는 상이한 비디오 스트림에서 동일해야 하는 병합 관련 파라미터를 포함할 수 있으며, 즉, 전체 픽셀 디코딩에 의한 병합보다 낮은 복잡도 병합을 허용하는 인코딩된 비디오 표현이고, 및 비디오 인코더는 병합 관련 파라미터에 기초하여 하나 이상의 병합 식별자를 제공하도록 구성되며, 즉, 두 개의 인코딩된 비디오 표현 사이에 공통 파라미터가 없는 경우, 전체 픽셀 디코딩이 수행되며, 즉 병합 프로세스의 복잡도를 줄일 가능성이 없다. 병합 관련 파라미터에는 다음 파라미터 중 하나 이상 또는 모두가 포함된다: 타일 경계에서의 모션 제약(motion constraint)을 기술하는 파라미터, 예를 들어, 모션 제약 테일 세트 보충 강화 정보(Motion Constraint Tail Set Supplemental Enhancement Information)(MCTS SEI), 픽처의 그룹(Group of Picture)(GOP) 구조에 관한 정보, 즉, 표시 순서에 대한 코딩 순서 매핑, 랜덤 액세스 포인트 표시, 시간적 계층화, 예를 들어 SOP: 픽처의 구조(Structure of Picture), SEI, 크로마 코딩 포멧을 기술하는 파라미터, 루마 코딩 포멧을 기술하는 파라미터, 예를 들어, 적어도 크로마 포멧 및 비트 심도 루마/크로마를 포함하는 세트, 고급 모션 벡터 예측을 기술하는 파라미터, 샘플 적용 오프셋을 기술하는 파라미터, 시간적 모션 벡터 예측을 기술하는 파라미터, 및 루프 필터 및 기타 인코딩 파라미터를 기술하는 파라미터, 즉 파라미터 세트(레퍼런스 픽처 세트, 기본 양자화 파라미터 등 포함), 슬라이스 헤더, 슬라이스 페이로드가 두 개의 인코딩된 비디오 표현을 병합하도록 재작성 된다.
본 출원의 실시 예들에 따르면, 제1 복잡도보다 높은, 병합 절차의 제2 복잡도와 연관된 병합 파라미터가 제1 인코딩 파라미터 세트의 진정한 서브 세트 인 제2 인코딩 파라미터 세트에 기초하여 결정될 때, 병합 절차의 제1 복잡도와 연관된 병합 식별자는 제1 인코딩 파라미터 세트에 기초하여 결정될 수 있다. 제2 복잡도보다 높은, 병합 절차의 제3 복잡도와 연관된 병합 식별자는 제2 인코딩 파라미터 세트의 진정한 서브 세트 인 인코딩 파라미터의 제3 세트에 기초하여 결정될 수 있다. 비디오 인코더는 인코딩 파라미터 세트에 기초하여 병합 절차의 제1 복잡도와 연관된 병합 식별자를 결정하도록 구성되며, 예를 들어 제1 세트는 두 개의 상이한 비디오 스트림에서 동일해야 하고, 예를 들어 인코딩된 비디오 표현은 슬라이스 헤더 및 슬라이스 페이로드를 변경하지 않고 복수의 슬라이스에 적용할 수 있는 파라미터 세트 만 수정하는 비디오 스트림의 병합, 즉 파라미터 세트 재작성을 통한 병합 프로세스(오직)에 대해 허용한다. 비디오 인코더는 인코딩 파라미터의 세트에 기초하여 병합 절차의 제2 복잡도와 관련된 병합 식별자를 결정하도록 구성될 수 있으며, 예를 들어 제2 세트는 두 개의 상이한 비디오 스트림에서 동일해야 하고, 예를 들어 인코딩된 비디오 표현은 복수의 슬라이스에 적용 가능한 파라미터 세트를 수정하고 슬라이스 페이로드를 변경하지 않고 슬라이스 헤더도 수정하는 비디오 스트림의 병합, 즉, 파라미터 세트 및 슬라이스 헤더 재작성을 통한 병합 프로세스에 대해 허용한다. 비디오 인코더는 인코딩 파라미터의 세트에 기초하여 병합 절차의 제3 복잡도와 연관된 병합 식별자를 결정하도록 구성될 수 있으며, 예를 들어 제3 세트는 두 개의 상이한 비디오 스트림에서 동일해야 하며, 예를 들어, 인코딩된 비디오 표현은 복수의 슬라이스에 적용할 수 있는 파라미터 세트를 수정하고, 및 슬라이스 헤더 및 슬라이스 페이로드도 수정하지만 전체 픽셀 디코딩 및 픽셀 재 인코딩을 수행하지 않는 비디오 스트림의 병합, 즉, 파라미터 세트, 슬라이스 헤더 및 슬라이스 페이로드 재작성을 통한 병합 프로세스에 대해 허용한다.
본 출원의 실시 예에 따르면, 복수의 인코딩된 비디오 표현, 예를 들어 비디오 스트림에 기초하여 병합된 비디오 표현을 제공하기 위한 비디오 병합기(video merger), 비디오 병합기는 복수의 인코딩 파라미터를 기술하는 인코딩된 파라미터 정보, 인코딩된 비디오 콘텐츠 정보, 즉 파라미터 정보에 의해 정의된 인코딩 파라미터를 사용하여 인코딩 되는, 및 인코딩된 비디오 표현이 다른 인코딩된 비디오 표현과 병합될 수 있는 복잡도의 사용 여부 및/또는 사용 방법을 나타내는 하나 이상의 병합 식별자를 포함하는 복수의 비디오 스트림을 수신하도록 구성되고; 비디오 병합기는 병합 방법, 예를 들어 병합 유형; 병합 식별자에 의존하는 병합 프로세스의 사용에 대해, 즉, 상이한 비디오 스트림의 병합 식별자의 비교에 따라 결정하도록 구성된다. 비디오 병합기는 병합 식별자에 따라 복수의 병합 방법 중에서 병합 방법을 선택하도록 구성된다. 비디오 병합기는 다음 병합 방법 중 적어도 두 가지 중에서 선택하도록 구성될 수 있으며; 슬라이스 헤더 및 슬라이스 페이로드를 변경하지 않고 그대로 두고 복수의 슬라이스에 적용 가능한 파라미터 세트만을 수정하는 비디오 스트림의 병합인 제1 병합 방법; 복수의 슬라이스에 적용할 수 있는 파라미터 세트를 수정하고 슬라이스 페이로드를 변경하지 않고 슬라이스 헤더도 수정하는 비디오 스트림의 병합인 제2 병합 방법; 및 복수의 슬라이스에 적용 가능한 파라미터 세트를 수정하는 비디오 스트림을 병합하고, 및 또한 슬라이스 헤더와 슬라이스 페이로드를 수정하지만 전체 픽셀 디코딩 및 픽셀 재 인코딩을 수행하지 않는, 하나 이상의 병합 식별자에 따라 상이한 복잡도를 갖는 병합 방법인 제3 병합 방법.
본 출원의 실시 예들에 따르면, 비디오 병합기는 동일한 주어진 병합 방법 또는 동일한 병합 식별자 유형과 연관된 두 개 이상의 비디오 스트림의 병합 식별자를 비교하고 비교의 결과에 따라 주어진 병합 방법을 사용하여 병합을 수행할지 여부를 결정하도록 구성된다. 비디오 병합기는, 비교가 주어진 병합 방법과 연관된 두 개 이상의 비디오 스트림의 병합 식별자가 동일함을 나타내는 경우, 주어진 병합 방법을 사용하여 병합을 선택적으로 수행하도록 구성될 수 있다. 비디오 병합기는 병합 식별자의 비교가 주어진 병합 방법과 연관된 두 개 이상의 비디오 스트림의 병합 식별자가 다르다는 것을 나타내는 경우, 즉, 인코딩 파라미터 자체의 추가적 비교없이, 비교된 병합 식별자가 연관된 주어진 병합 방법보다 더 높은 복잡도 병합 방법을 사용하도록 구성될 수 있다.
비디오 병합기는 병합 식별자의 비교가 주어진 병합 방법과 연관된 두 개 이상의 비디오 스트림의 병합 식별자가 동일 함을 나타내는 경우 주어진 병합 방법을 사용하여 비디오 스트림의 병합을 허용하기 위해 두 개 이상의 비디오 스트림에서 동일해야 하는 인코딩 파라미터를 선택적으로 비교하도록 구성될 수 있고, 및 비디오 병합기는 상기 인코딩 파라미터의 비교가 주어진 경우, 주어진 병합 방법을 사용하여 병합을 선택적으로 수행하도록 구성되며, 즉, 주어진 병합 방법을 사용하여 비디오 스트림의 병합을 허용하기 위해 두 개 이상의 비디오 스트림에서 동일해야 하는 인코딩 파라미터는 인코딩 파라미터가 동일함을 나타내고, 및 비디오 병합기는 상기 인코딩 파라미터의 비교가 인코딩 파라미터가 차이를 포함함을 나타내는 경우 주어진 병합 방법보다 더 높은 복잡도를 갖는 병합 방법을 사용하여 병합을 수행하도록 구성된다.
본 출원의 실시 예에 따르면, 비디오 병합기는 상이한 복잡도, 즉 해시의 비교를 갖는 병합 방법과 연관된 병합 식별자를 비교하도록 구성될 수 있고, 및 비디오 병합기는 병합될 두 개 이상의 비디오 스트림에서 연관된 병합 식별자가 동일한 최저 복잡도 병합 방법을 식별하도록 구성되고; 및 비디오 병합기는 인코딩 파라미터 세트를 비교하도록 구성되고, 즉, 해시 버전이 아닌, 개별 인코딩 파라미터는, 일반적으로 중첩하는 파라미터의 세트가 상이한 복잡도의 병합 방법과 연관되는, 여기서 상이한 식별된 병합 방법을 사용하는 병합에 대해 허용하기 위해 병합된 두 개 이상의 비디오 스트림에서 동일해야 하고, 및 비디오 병합기는 비교가 식별된 병합 방법과 연관된 인코딩 파라미터 세트의 인코딩 파라미터가 병합될 비디오 스트림에서 동일함을 나타내는 경우 식별된 병합 방법을 사용하여 두 개 이상의 비디오 스트림을 선택적으로 병합하도록 구성되고 및 비디오 병합기는 비교가 식별된 병합 방법과 연관된 인코딩 파라미터 세트의 인코딩 파라미터가 차이를 포함함을 나타내는 경우 식별된 병합 방법보다 더 높은 복잡도를 갖는 병합 방법을 사용하여 두 개 이상의 비디오 스트림을 병합하도록 구성된다. 비디오 병합기는 병합 프로세스에서 수정해야 하는 인코딩 파라미터를 결정하도록 구성되며, 즉, 병합 비디오 스트림은 병합 식별자 사이의 하나 이상의 차이에 의존하며, 예를 들어 병합될 상이한 비디오 스트림의 "병합 식별자 유형" 또는 동일한 병합 방법과 연관된다.
본 출원의 실시 예에 따르면, 비디오 병합기는 공동 인코딩 파라미터 또는 공동 인코딩 파라미터 세트, 예를 들어 병합될 비디오 스트림의 인코딩 파라미터에 기초하여 병합될 모든 비디오 스트림의 슬라이스와 연관된 시퀀스 파라미터 세트 SPS 및 픽처 파라미터 세트 PPS를 얻고, 및 예를 들어, 하나의 인코딩된 비디오 표현과 다른 인코딩된 비디오 표현의 모든 인코딩 파라미터의 값이 동일한 경우 병합된 비디오 스트림에 결합 인코딩 파라미터를 포함하도록 구성되고, 인코딩 파라미터는 인코딩 비디오 표현의 인코딩 파라미터 사이에 차이가 있는 경우, 공통 파라미터(common parameter)를 복사하여 업데이트 되고, 인코딩 파라미터는 메인(즉, 하나는 메인, 다른 하나는 서브) 인코딩된 비디오 표현을 기반으로 업데이트 되며, 예를 들어 일부 인코딩 파라미터는 비디오 스트림의 조합, 예를 들어 전체 픽처 크기에 따라 적용될 수 있다. 비디오 병합기는, 병합된 비디오 스트림에 포함될 수정된 슬라이스를 획득하기 위해, 예를 들어 슬라이스 헤더에 정의된, 개별 비디오 슬라이스, 또는 예를 들어, 가장 낮은 복잡도보다 높은 복잡도를 갖는 병합 방법을 사용할 때, 개별적으로 연관된 인코딩 파라미터를 적용하도록 구성된다. 적용된 인코딩 파라미터는 병합된 인코딩된 비디오 표현의 픽처 크기를 나타내는 파라미터를 포함하고, 픽처 크기는 병합될 인코딩된 비디오 표현의 픽처 크기에 기초하여, 즉 각각의 차원과 공간적 배치의 맥락에서, 계산된다.
본 출원의 실시 예들에 따르면, 인코딩된 비디오 표현(예를 들어, 비디오 스트림)을 제공하기 위한 비디오 인코더가 제공된다. 비디오 인코더는, 복수의 미리 결정된 능력 레벨 중 하나의 능력 레벨을 갖는, 예를 들어, 비디오 디코더에 의한 비디오 스트림의 디코딩 가능성(decodability)과 같은, 비디오 디코더와 비디오 스트림의 호환성(compatibility)을 기술하는, 예를 들어 레벨 정보(예를 들어, 레벨 3 또는 레벨 4 또는 레벨 5)와 같은, 거친 입도 능력 요구 정보(coarse granularity capability demand information)를 제공하도록 구성될 수 있다. 비디오 인코더는, 예를 들어 병합 레벨 한계 정보와 같은 미세 입도 능력 요구 정보(fine granularity capability demand information)를 제공하도록 구성되고, 이는 허용가능한 능력 요구(permissible capability demand)의 어느 분율(fraction)이 요구되는지 기술하며, 즉, 인코딩된 비디오 표현을 디코딩하기 위해 미리 결정된 능력 레벨 중 하나와 연관된 디코더 능력이 필요하며, 및/또는 이는 허용가능한 능력의 어느 분율(fraction)이 요구되는지 기술하며, 즉, "병합된 비트 스트림의 레벨 한계(level limit of merged bitstream)", 인코딩된 비디오 표현, 즉, 서브 비트 스트림은 비디오 스트림이 병합되는 병합된 비디오 스트림에 기여하며, 능력 요구가 미리 결정된 능력 레벨 중 하나와 일치하며, 즉 능력 요구가 허용가능한 능력 요구보다 작거나 같은 능력 요구가며, "미리 결정된 능력 레벨 중 하나에 일치하는 병합된 비트 스트림의 허용가능한 능력 요구(permissible capability demand of merged bit stream which is in agreement with one of the predetermined capability levels)"는 "병합된 비트 스트림의 레벨 한계"에 대응한다. 비디오 인코더는 미세 입도 능력 요구 정보가 미리 결정된 능력 레벨 중 하나를 참조하는 비율 값(ratio value) 또는 백분율 값(percentage value)을 포함하도록 미세 입도 능력 요구 정보를 제공하도록 구성된다. 비디오 인코더는 미세 입도 능력 요구 정보가 레퍼런스 정보(reference information)와 분율 정보(fraction information)를 포함하도록 미세 입도 능력 요구 정보를 제공하도록 구성되고, 및 레퍼런스 정보는 그 전체적으로 미세 입도 능력 요구 정보(fine granularity capability demand information)가 미리 결정된 능력 레벨들(predetermined capability levels) 중 하나의 분율(fraction)을 기술하도록, 분율 정보(fraction information)가 참조되는 미리 결정된 능력 레벨 중 어느 것에 대해 기술한다.
본 출원의 실시 예들에 따르면, 복수의 인코딩된 비디오 표현, 즉 비디오 스트림에 기초하여 병합된 비디오 표현을 제공하기 위한 비디오 병합기, 비디오 병합기는 복수의 인코딩 파라미터를 기술하는 인코딩된 파라미터 정보, 예를 들어, 상기 파라미터 정보에 의해 정의된 인코딩 파라미터를 사용하여 인코딩된, 인코딩된 비디오 콘텐츠 정보, 예를 들어 레벨 정보; 레벨 3 또는 레벨 4 또는 레벨 5는 비디오 디코더와 비디오 스트림의 호환성, 즉, 복수의 미리 결정된 능력 레벨 중 능력 레벨을 갖는 비디오 디코더에 의한 비디오 스트림의 디코딩 가능성을 기술하는, 거친 입도 능력 요구 정보, 예를 들어 병합 레벨 한계 정보를 포함하며, 여기서 비디오 병합기는 거친 입도 능력 요구 정보 및 미세 입도 능력 요구 정보에 따라 두 개 이상의 비디오 스트림을 병합하도록 구성되는 미세 입도 능력 요구 정보를 포함하는 복수의 비디오 스트림을 수신하도록 구성될 수 있다. 비디오 병합기는 어떤 비디오 스트림이 병합된 비디오 스트림에 포함될 수 있거나 포함될 수 있는지를 결정하도록 구성될 수 있으며, 즉, 허용가능한 능력 요구을 위반하지 않고, 즉, 병합된 비디오 스트림의 이러한 능력 요구는 미세 입도 능력 요구 정보에 따라 미리 결정된 능력 레벨 중 하나와 일치한다. 비디오 병합기는, 예를 들어, 허용가능한 능력 요구을 위반하지 않고, 즉 병합된 비디오 스트림의 능력 요구가 미리 결정된 능력 레벨 중 하나와 일치하도록 하여, 미세 해상도 능력 요구 정보에 따라 두 개 이상의 비디오 스트림을 병합함으로써 유효한 병합된 비디오 스트림을 얻을 수 있는지 여부를 결정하도록 구성될 수 있다. 비디오 병합기는 예를 들어, 어떤 비디오 스트림이 포함될 수 있는지 결정하기 위해 또는 유효한 병합된 비디오 스트림이 획득될 수 있는지 여부를 결정하기 위해 병합될 복수의 비디오 스트림의 미세 입도 능력 요구 정보를 합산(sum up)하도록 구성된다.
본 출원의 실시 예들에 따르면, 제공된 비디오 표현을 디코딩하기 위한 비디오 디코더, 비디오 디코더는 복수의 서브 비디오 스트림을 포함하는 비디오 표현을 수신하도록 구성되고, 즉, 전체 비트 스트림의 복수의 서브 비트 스트림, 이는 복수의 인코딩 파라미터를 기술하는 인코딩된 파라미터 정보, 인코딩된 비디오 콘텐츠 정보, 복수의 미리 결정된 능력 레벨 중 능력 레벨을 갖는 비디오 디코더와 비디오 스트림의 호환성을 기술하는 거친 입도 능력 요구 정보, 및 미세 입도 능력 요구 정보를 포함하며, 즉, 각각의 정보가 예를 들어 SEI 메시지로 전달되고, 비디오 디코더는 미세 입도 능력 요구 정보에 의해 기술된 바와 같이 병합될 복수의 서브 비디오 스트림의 결합된 능력 요구(combined capability demand)이 준수(adhere)될 미리 결정된 한계, 즉, 디코더의 레벨 특정 한계에 매칭(match)되는지 여부를 결정하도록 구성된다. 비디오 디코더는 능력 레벨의 표시 및 허용가능한 능력 요구의 일부를 획득하기 위해 수신된 거친 입도 능력 요구 정보 및 미세 입도 능력 요구 정보를 파싱(parse)하도록 추가로 구성될 수 있다.
본 출원의 바람직한 실시 예는 도면과 관련하여 아래에서 설명되며, 그 중:
도 1은 본 출원의 실시 예들에 따른 비트 스트림 병합 개념이 구현될 수 있는 비디오 인코더의 예로서 인코딩된 비디오 표현을 제공하기위한 장치의 블록도를 도시한다;
도 2는 본 출원의 실시 예들에 따른 비트 스트림 구조의 예를 예시하는 개략도를 도시한다;
도 3은 본 출원의 실시 예들에 따른 비트 스트림 병합 개념이 구현될 수 있는 비디오 인코더의 다른 예로서 인코딩된 비디오 표현을 제공하기 위한 장치의 블록도를 도시한다;
도 4는 본 출원의 실시 예에 따른 인코딩 파라미터의 예를 예시하는 개략도를 도시한다;
도 5a, 5b는 도 4에 표시된 시퀀스 파라미터 세트(sequence parameter set)(SPS)의 예를 도시한다;
도 6a, 6b는 도 4에 나타낸 상세한 픽처 파라미터 세트(picture parameter set)(PPS) 예를 도시한다;
도 7a 내지 7d는 도 4에서 나타내는 상세한 슬라이스 헤더 예를 도시한다;
도 8은 도 4에서 지시하는 보충 강화 정보(supplement enhancement information)(SEI) 메시지에서 픽처의 상세한 구조를 도시한다;
도 9는 도 4에서 나타내는 SEI 메시지의 상세한 모션 제약 타일 세트를 도시한다;
도 10은 본 출원의 실시 예들에 따른 비트 스트림 병합 개념이 구현될 수 있는 비디오 병합기의 예로서 병합된 비디오 표현을 제공하기위한 장치의 블록도를 도시한다;
도 11은 본 출원의 실시 예들에 따른 병합 복잡도의 결정 프로세스를 예시하는 개략도를 도시한다;
도 12는 본 출원의 비트 스트림 병합 개념에 따른 병합될 복수의 비디오 표현의 비트 스트림 구조 및 병합된 비디오 표현의 비트 스트림 구조를 예시하는 개략도를 도시한다;
도 13은 본 출원의 실시 예들에 따른 비트 스트림 병합 개념이 구현될 수 있는 비디오 병합기의 다른 예로서 병합된 비디오 표현을 제공하기위한 장치의 블록도를 도시한다;
도 14는 본 출원의 실시 예에 따른 병합된 비디오 표현 능력 요구 정보를 제공하는 비디오 인코더의 예로서 인코딩된 비디오 표현을 제공하기 위한 장치의 블록도를 도시한다;
도 15는 본 출원의 실시 예에 따른 병합된 비디오 표현 능력 요구 정보를 제공하는 비디오 병합기의 예로서 병합된 비디오 표현을 제공하기위한 장치의 블록도를 도시한다.
도 16은 레벨 정보를 나타내는 보충 강화 정보(Supplement Enhancement Information)(SEI) 메시지 신택스의 구조 예를 도시한다.
도 1은 본 출원의 실시 예들에 따른 비트 스트림 병합 개념이 구현될 수 있는 비디오 인코더의 예로서 인코딩된 비디오 표현을 제공하기위한 장치의 블록도를 도시한다;
도 2는 본 출원의 실시 예들에 따른 비트 스트림 구조의 예를 예시하는 개략도를 도시한다;
도 3은 본 출원의 실시 예들에 따른 비트 스트림 병합 개념이 구현될 수 있는 비디오 인코더의 다른 예로서 인코딩된 비디오 표현을 제공하기 위한 장치의 블록도를 도시한다;
도 4는 본 출원의 실시 예에 따른 인코딩 파라미터의 예를 예시하는 개략도를 도시한다;
도 5a, 5b는 도 4에 표시된 시퀀스 파라미터 세트(sequence parameter set)(SPS)의 예를 도시한다;
도 6a, 6b는 도 4에 나타낸 상세한 픽처 파라미터 세트(picture parameter set)(PPS) 예를 도시한다;
도 7a 내지 7d는 도 4에서 나타내는 상세한 슬라이스 헤더 예를 도시한다;
도 8은 도 4에서 지시하는 보충 강화 정보(supplement enhancement information)(SEI) 메시지에서 픽처의 상세한 구조를 도시한다;
도 9는 도 4에서 나타내는 SEI 메시지의 상세한 모션 제약 타일 세트를 도시한다;
도 10은 본 출원의 실시 예들에 따른 비트 스트림 병합 개념이 구현될 수 있는 비디오 병합기의 예로서 병합된 비디오 표현을 제공하기위한 장치의 블록도를 도시한다;
도 11은 본 출원의 실시 예들에 따른 병합 복잡도의 결정 프로세스를 예시하는 개략도를 도시한다;
도 12는 본 출원의 비트 스트림 병합 개념에 따른 병합될 복수의 비디오 표현의 비트 스트림 구조 및 병합된 비디오 표현의 비트 스트림 구조를 예시하는 개략도를 도시한다;
도 13은 본 출원의 실시 예들에 따른 비트 스트림 병합 개념이 구현될 수 있는 비디오 병합기의 다른 예로서 병합된 비디오 표현을 제공하기위한 장치의 블록도를 도시한다;
도 14는 본 출원의 실시 예에 따른 병합된 비디오 표현 능력 요구 정보를 제공하는 비디오 인코더의 예로서 인코딩된 비디오 표현을 제공하기 위한 장치의 블록도를 도시한다;
도 15는 본 출원의 실시 예에 따른 병합된 비디오 표현 능력 요구 정보를 제공하는 비디오 병합기의 예로서 병합된 비디오 표현을 제공하기위한 장치의 블록도를 도시한다.
도 16은 레벨 정보를 나타내는 보충 강화 정보(Supplement Enhancement Information)(SEI) 메시지 신택스의 구조 예를 도시한다.
아래의 설명은 구체적인 실시예들, 절차, 기술 등과 같은 구체적인 사항들을 설명하며, 이들은 설명을 위한 것이며, 이에 제한되는 것은 아니다. 당업자라면 이들 특정 세부 사항과는 별도로 다른 실시 예가 이용될 수 있다는 것을 이해할 것이다. 예를 들어, 다음 설명은 비제한적인 예제 응용 프로그램을 사용하여 용이하게 하지만, 이 기술은 모든 유형의 비디오 코덱에 적용될 수 있다. 어떤 경우에, 잘 알려진 방법, 인터페이스, 회로 및 장치에 대한 자세한 설명은 불필요한 세부 사항으로 설명을 모호하게 하지 않도록 생략한다.
동등하거나 동등한 기능을 가진 동등하거나 동등한 요소는 동등하거나 동등한 참조 부호로 다음 설명에서 표시된다.
본 발명은 합법적인 비트 스트림으로 함께 병합될 수 있는 서브 비트 스트림을 식별하거나 또는 주어진 복잡도 레벨로 합법적인 비트 스트림으로 병합할 수 없는 서브 스트림을 식별하도록 허용하는 각 서브 비트 스트림에서 표시를 제공하는 수단을 갖는 범용 비디오 코딩(Versatile Video Coding)(VVC)와 같은 미래의 비디오 코덱을 제공하는 것이다. 이하에서 "병합 식별자(merge identifie)"라고하는 표시는 "병합 식별자 유형(merge identifier typ)"이라고하는 표시를 통해 적합한 병합 방법에 대한 정보를 더 제공한다. 두 개의 비트 스트림이 "병합 식별자"와 그 동일한 값을 가지고 있다는 점을 감안할 때, 주어진 레벨의 병합 복잡도(병합 방법 관련)로 서브 비트 스트림을 새로운 결합 비트 스트림으로 병합하는 것이 가능하다.
도 1은 인코딩된 비디오 표현, 즉 인코딩 파라미터 결정 부재(encoding parameter determination member)(14)를 포함하는 인코더 코어(encoder core)(4) 및 병합 식별자 충당(merge identifier provision)(6)을 포함하는 제공된(입력) 비디오 스트림(provided video stream)(10)에 기초한 인코딩된 비디오 스트림(encoded video stream)(12)을 제공하기 위한 비디오 인코더(video encoder)(2)를 도시한다. 제공된 비디오 스트림(10) 및 인코딩된 비디오 스트림(12)은 각각 예를 들어 단순화된 구성으로서 도 2에 도시된 바와 같은 비트 스트림 구조를 갖는다. 비트 스트림 구조는 복수의 네트워크 개념 레이어(Network Abstraction Layer)(NAL) 유닛으로 구성되며 각 NAL 유닛은 다양한 파라미터 및/또는 데이터를 포함하며, 예를 들어, 시퀀스 파라미터 세트(sequence parameter set)(SPS)(20), 픽처 파라미터 세트(picture parameter set)(PPS)(22), 순간 디코더 리프레시(instantaneous decoder refresh)(IDR)(24), 보충 강화 정보(supplement enhancement information)(SEI) 26, 및 복수의 슬라이스(slice)(28)가 있다. SEI(26)는 다양한 메시지, 즉 픽처의 구조, 모션이 제약 타일 세트 등을 포함한다. 슬라이스(28)는 헤더(header)(30) 및 페이로드(payload)(32)를 포함한다. 인코딩 파라미터 결정 부재(14)는 SPS(20), PPS(22), SEI(26) 및 슬라이스 헤더(30)에 기초하여 인코딩 파라미터를 결정한다. IDR(24)은 본 출원에 따라 인코딩 파라미터를 결정하는 데 필요한 요소는 아니지만, 인코딩 파라미터를 결정하기 위해 IDR(24)이 선택적으로 포함될 수 있다. 병합 식별자 충당(6)은 인코딩된 비디오 스트림이 다른 인코딩된 비디오 스트림과 병합될 수 있는지 여부 및/또는 방법(복잡도)을 나타내는 병합 식별자를 제공한다.
병합 식별자는 병합 절차의 복잡도 또는 일반적으로 "적합한" 병합 방법, 예를 들어 파라미터 세트 재작성을 통한 병합, 파라미터 세트 및 슬라이스 헤더 재작성을 통한 병합 또는 파라미터 세트, 슬라이스 헤더, 슬라이스 페이로드 재작성을 통한 병합과 연관된 것을 나타내는 병합 식별자 유형을 나타내는 병합 식별자를 결정한다. 병합 식별자는 병합 식별자 유형과 연관되고, 병합 식별자 유형과 연관된 병합 식별자는 두 개의 상이한 인코딩된 비디오 표현이 병합 식별자 유형에 의해 표현된 병합 절차의 복잡도를 사용하여 병합 가능하도록 두 개의 상이한 인코딩된 비디오 표현에서 동일해야 하는 인코딩 파라미터를 포함한다.
그 결과, 인코딩된 비디오 스트림(12)은 복수의 인코딩 파라미터, 인코딩된 비디오 콘텐츠 정보 및 하나 이상의 병합 식별자를 기술하는 인코딩된 파라미터 정보를 포함한다. 이 실시 예에서, 병합 식별자는 인코딩 파라미터에 따라 결정된다. 그러나, 병합 식별자 값은 폐쇄 시스템()에 충분할 수 있는 충돌 회피를 거의 보장하지 않고 인코더 운영자의 희망에 따라 설정될 수도 있다. 디지털 비디오 브로드케스팅(Digital Video Broadcasting)(DVB), 고급 텔레비전 시스템 커미티(Advanced Television Systems Committee)(ATSC) 등과 같은 제3 자 엔티티는 시스템 내에서 사용될 병합 식별자의 값을 정의할 수 있다.
병합 식별자 유형은 도 3 내지 도 9를 이용하여 본 발명에 따른 다른 실시 예를 고려하여 다음과 같이 설명한다.
도 3a는 인코더 코어(4) 및 병합 식별자(6a)를 포함하고 인코더(2a)에서의 데이터 흐름을 나타내는 인코더(2(2a))를 도시한다. 병합 식별자(6a)는 병합 유형을 나타내는 병합 식별자로서 해시 값을 제공하는 제1 해싱 부재(first hashing member)(16a) 및 제2 해싱 부재(second hashing member)(16b)를 포함한다. 즉, 병합 값은 비트 스트림의 정의된 신택스 요소 세트(인코딩 파라미터)의 코딩 된 값의 연결(concatenation)로부터 형성될 수 있으며, 이하에서는 해시 세트이라고 한다. 병합 식별자 값은 MD5, SHA-3 또는 임의의 다른 적절한 함수와 같은 잘 알려진 해시 함수로 코딩 된 값의 상기 연결을 공급함으로써 형성될 수도 있다. 도 3에 도시된 바와 같이, 입력 비디오 스트림(10)은 입력 비디오 정보를 포함하고 입력 비디오 스트림(10)은 인코더 코어(4)에서 처리된다. 인코더 코어(4)는 입력 비디오 콘텐츠를 인코딩하고 인코딩된 비디오 콘텐츠 정보는 페이로드(32)에 저장된다. 인코딩 파라미터 결정 부재(14)는 SPS, PPS, 슬라이스 헤더 및 SEI 메시지를 포함하는 파라미터 정보를 수신한다. 이 파라미터 정보는 각각의 대응하는 유닛에 저장되고 병합 식별자 충당(6a), 즉 제1 및 제2 해싱 부재(16a 및 16b)에서 각각 수신된다. 제1 해싱 멤버(16a)는 예를 들어 인코딩 파라미터에 기초하여 병합 식별자 유형 2를 나타내는 해시 값을 생성하고, 제2 해싱 멤버(16b)는 예를 들어 인코딩 파라미터에 기초하여 병합 식별자 유형 1을 나타내는 해시 값을 생성한다.
해시 세트의 내용, 즉 병합 식별자 값에서 어떤 신택스 요소(즉, 병합 파라미터) 값이 연결되는지에 따라 위 신택스 카테고리와 관련하여 병합 가능성 표시의 품질이 결정된다.
예를 들어, 병합 식별자 유형은 병합 식별자, 즉 해시 세트에 포함된 신택스 요소에 해당하는 여러 레벨의 병합 가능성에 대한 적절한 병합 방법을 나타낸다.
유형 0 - 파라미터 세트 재작성을 통한 병합을 위한 병합 식별자
유형 1 - 파라미터 세트 및 슬라이스 헤더 재작성을 통한 병합을 위한 병합 식별자
유형 2 - 파라미터 세트, 슬라이스 헤더 및 슬라이스 페이로드 재작성을 통한 병합을 위한 병합 식별자
예를 들어, 적용 컨텍스트에서 병합될 두 개의 입력 서브 비트 스트림이 주어지면 장치는 병합 식별자와 병합 식별자 유형의 값을 비교하고 두 개의 서브 비트 스트림에서 병합 식별자 유형과 연관된 방법을 사용할 가능성에 대해 결론을 내릴 수 있다.
다음 표는 신택스 요소 카테고리와 관련 병합 방법 간의 매핑을 제공한다.
위에서 이미 언급했듯이, 신택스 카테고리는 결코 완전하지 않다. 그러나 광범위한 파라미터가 상이한 방식으로 서브 비트 스트림을 공통 비트 스트림으로 병합하는 장점에 영향을 미치며 이러한 파라미터를 추적하고 분석하는 것이 부담스럽다는 것이 분명해졌다. 또한 신택스 카테고리와 병합 방법(유형)이 완전히 일치하지 않으므로 예를 들어 카테고리 B의 경우 일부 파라미터가 필요하지만 병합 방법 1에는 동일한 파라미터가 필요하지 않다.
상기 병합 식별자 유형 값(merge identifier type value) 중 두 개 이상에 따른 병합 식별자 값이 생성되어 장치가 해당 병합 방법을 쉽게 식별할 수 있도록 비트 스트림에 기록된다. 병합 방법(유형) 0은 병합 식별자 유형의 제1 값을, 병합 방법(유형) 1은 병합 식별자 유형의 제2 값을, 병합 방법(유형) 3은 병합 식별자 유형의 제3 값을 나타낸다.
다음 예제 신택스는 해시 세트에 통합되어야 한다.
타일 및 픽처 경계에서 모션 제약을 나타내는 시간적 모션 제약 타일 세트 SEI 메시지(병합 방법 0, 1, 2, 신택스 카테고리 C.b)
GOP 구조를 정의하는 SEI 메시지의 구조(즉, 표시 순서에 대한 코딩 순서 매핑, 랜덤 액세스 포인트 표시, 시간적 계층화, 레퍼런스 구조)(병합 방법 0, 1, 2, 신택스 카테고리 C.b)
파라미터 세트 신택스 요소 값
o 레퍼런스 픽처 세트(병합 방법 0, 신택스 카테고리 B)
o 크로마 포멧(병합 방법 0,1,2, 신택스 카테고리 D)
o 기본 QP, 크로마 QP 오프셋(병합 방법 0, 신택스 카테고리 B)
o 비트 심도 루마/크로마(병합 방법 0,1,2, 신택스 카테고리 D)
o hrd 파라미터
· 초기 도착 지연(병합 방법 0, 신택스 카테고리 B)
· 초기 제거 지연(병합 방법 0, 신택스 카테고리 B)
o 코딩 도구
· 코딩 블록 구조(최대/최소 블록 크기, 추론 된 분할)(병합 방법 0,1, 신택스 카테고리 C.a)
· 변환 크기(최소/최대)(병합 방법 0,1, 신택스 카테고리 C.a)
· PCM 블록 사용(병합 방법 0,1, 신택스 카테고리 C.a)
· 고급 모션 벡터 예측(병합 방법 0,1,2, 신택스 카테고리 C.b)
· 샘플 적용 오프셋(병합 방법 0, 신택스 카테고리 C.b)
· 시간적 모션 벡터 예측(병합 방법 0,1,2, 신택스 카테고리 C.b)
· 내부 평활화(병합 방법 0,1, 신택스 카테고리 C.a)
· 종속 슬라이스(병합 방법 0, 신택스 카테고리 A)
· 부호 숨김(병합 방법 0,1, 신택스 카테고리 C.a)
·가중 예측(병합 방법 0, 신택스 카테고리 A)
·트랜스 퀀트 우회(병합 방법 0,1, 신택스 카테고리 C.a)
·엔트로피 코딩 동기화(병합 방법 0,1, 신택스 카테고리 C.a)(Skup4)
·루프 필터(병합 방법 0,1,2 신택스 카테고리 C.b)
슬라이스 헤더 값
o 파라미터 세트 ID(병합 방법 0, 신택스 카테고리 C.a)
o 레퍼런스 픽처 세트(병합 방법 0,1, 신택스 카테고리 B)
암시적 CTU 어드레스 신호 cp 사용. (유럽 특허 출원 번호: EP 18153516 레퍼런스)(병합 방법 0, 신택스 카테고리 A)
즉, 병합 식별자 유형의 제1 값, 즉 유형 0에 대해, 신택스 요소(파라미터) 타일 및 픽처 경계에서의 모션 제약, GOP 구조, 레퍼런스 픽처 세트, 크로마 포멧, 기본 양자화 파라미터 및 크로마 양자화 파라미터, 비트 심도 루마/크로마, 초기 도착 지연 및 초기 제거 지연에 관한 파라미터를 포함하는 가상의 레퍼런스 디코더 파라미터, 코딩 블록 구조, 변환 최소 및/또는 최대 크기, 펄스 코드 변조 블록 사용, 고급 모션 벡터 예측, 샘플 적용 오프셋, 시간적 모션 벡터 예측, 인트라 스무딩 기술, 종속 슬라이스, 부호 숨김, 가중 예측, 트랜스퀀트 바이패스, 엔트로피 코딩 동기화, 루프 필터, 파라미터 세트 ID를 포함하는 슬라이스 헤더 값, 레퍼런스 픽처 세트를 포함하는 슬라이스 헤더 값, 및 암시적 코딩 변환 단위 주소 시그널링의 사용은 해시 세트에 통합되어야 한다.
병합 식별자 유형의 제2 값의 경우, 즉 유형 1, 신택스 요소(파라미터) 타일 및 픽처 경계에서의 모션 제약, GOP 구조, 크로마 포멧, 비트 심도 루마/크로마, 코딩 블록 구조, 변환 최소 및/또는 최대 크기, 펄스 코드 변조 블록 사용, 고급 모션 벡터 예측, 샘플 적용 오프셋, 시간적 모션 벡터 예측, 인트라 스무딩, 부호 숨김, 트랜스퀀트 바이패스, 엔트로피 코딩 동기화, 루프 필터 및 레퍼런스 픽처 세트를 포함하는 슬라이스 헤더 값이다.
병합 식별자 유형의 제3 값의 경우, 즉 유형 2, 신택스 요소(파라미터) 타일 및 픽처 경계에서의 모션 제약, GOP 구조, 크로마 포멧, 비트 심도 루마/크로마, 고급 모션 벡터 예측, 샘플 적용 오프셋, 시간 모션 벡터 예측, 루프 필터이다.
도 4는 본 출원의 실시 예에 따른 인코딩 파라미터의 예를 예시하는 개략도를 도시한다. 도 4에서 참조 부호 40은 유형 0을 나타내고 유형 0에 속하는 신택스 요소는 점선으로 표시된다. 참조 부호 42는 유형 1을 나타내고 유형 1에 속하는 신택스 요소는 일반 선으로 표시된다. 참조 부호 44는 유형 2를 나타내고 유형 1에 속하는 신택스 요소는 파선으로 표시된다.
도 5a 및 5b는 시퀀스 파라미터 세트(SPS)(20)의 예이고, 유형 0에 필요한 신택스 요소는 참조 부호 40으로 표시된다. 동일한 방식으로, 유형 1에 필요한 신택스 요소는 참조 부호 42로 표시되고, 유형 2에 필요한 신택스 요소는 참조 부호 44로 표시된다.
도 6a 및 6b는 픽처 파라미터 세트(picture parameter set)(PPS)(22)의 예이고, 유형 0에 필요한 신택스 요소는 참조 부호(40)로 표시되고, 유형 1에 필요한 신택스 요소는 참조 부호(42)로 표시된다.
도 7a 내지 7d는 슬라이스 헤더(30)의 예이고, 도 7c에서 참조 부호(40)로 표시된 바와 같이 슬라이스 헤더의 하나의 신택스 요소 만이 0을 입력하는 데 필요하다.
도 8은 SOP(26a)에 속하는 모든 신택스 요소가 유형 2에 대해 요구되는 SOP 구조의 예이다.
도 9는 모션 제약 타일 세트(Motion Constrainted Tile Set)(MCTS)(26b)의 예이며, MCTS에 속하는 모든 신택스 요소는 유형 2에 필요하다.
앞에서 말했다시피, 도 3의 병합 식별자(merge identifier)(6a)는 해싱 멤버(hashing member)(16a)뿐만 아니라 해싱 멤버(16b)에서 해시 함수를 사용하여 병합 식별자 값(merge identifier value)을 생성한다. 해시 함수를 사용하여 두 개 이상의 병합 식별자 값이 생성된 경우, 해시는 제1 병합 식별자와 관련하여 해시 세트의 추가 요소를 포함하는 제2 병합 식별자의 해시 함수에 대한 입력은 해시 함수에 대한 입력 연결을 위한 각 신택스 요소 값 대신 제1 병합 식별자 값(해시 결과)을 사용하는 방식으로 연결된다.
또한, 병합 식별자의 존재는 또한 해시 세트에 통합된 신택스 요소가 코딩 된 비디오 시퀀스(CVS) 및/또는 비트 스트림의 모든 액세스 단위(AU)에서 동일한 값을 갖는 것을 보장한다. 더욱이, 보증은 파라미터 세트의 프로파일/레벨 신택스에서 제약 플래그의 형태를 갖는다.
병합 과정은 도 10 내지 도 13을 이용하여 본 발명에 따른 다른 실시 예를 고려하여 다음과 같이 설명한다.
도 10은 복수의 인코딩된 비디오 표현에 기초하여 병합된 비디오 스트림을 제공하기 위한 비디오 병합기를 도시한다. 비디오 병합기(video merger)(50)는 입력 비디오 스트림(input video stream)(12)(도 12에 표시된 12a 및 12b)이 수신되는 수신기(receiver)(52), 병합 방법 식별자(merging method identifier)(54) 및 병합 프로세서(merge processor)(56)를 포함한다. 병합된 비디오 스트림(60)은 디코더로 전송된다. 경우에 따라, 비디오 병합기(50)는 디코더에 포함되고, 병합된 비디오 스트림은 병합된 비디오 스트림을 디스플레이 하기 위해 사용자 장비 또는 임의의 다른 장치로 전송된다.
병합 프로세스는 위에서 설명한 병합 식별자 및 병합 식별자 유형에 의해 구동된다. 병합 프로세스는 파라미터 세트의 생성과 NAL 단위의 인터리빙 만을 수반할 수 있으며, 이는 병합 식별자 유형 값 0, 즉 제1 복잡도와 연관된 병합의 가장 가벼운 형태이다. 도 12는 제1 복잡도 병합 방법의 예를 도시한다. 도 12에 도시된 바와 같이, 파라미터 세트, 즉 비디오 스트림(video stream)(12a)의 SPS1 및 비디오 스트림(12b)의 SPS2가 병합되고(병합된 SPS는 SPS1 및 SPS2를 기반으로 생성됨), 비디오 스트림(12a 및 PPS2)의 PPS1 비디오 스트림(12b)이 병합된다(병합된 PPS는 PPS1 및 PPS2에 기초하여 생성됨). IDR은 선택적 데이터이므로 설명을 생략한다. 또한, 비디오 스트림(12a)의 슬라이스 1,1 및 1,2 및 비디오 스트림(12b)의 슬라이스 2,1 및 2,2는 병합된 비디오 스트림(60)으로 도시된 바와 같이 인터리빙 된다. 도 10 및 도 12에서, 두 개의 비디오 스트림(12a) 및 12b는 예로서 입력된다. 그러나 동일한 방식으로 더 많은 비디오 스트림이 입력되고 병합될 수도 있다.
필요한 경우, 병합 프로세스는 병합 식별자 유형 값 1, 즉 제2 복잡도와 연관된 NAL 유닛 인터리빙 동안 비트 스트림에서 슬라이스 헤더의 재작성을 포함할 수도 있다. 더 나아가 마지막으로, 병합 식별자 유형 값 2와 연관된 슬라이스 페이로드의 신택스 요소를 조정해야 하는 경우가 있으며, 즉, 제3 복잡도는 NAL 단위 인터리빙 동안 엔트로피 디코딩 및 인코딩을 필요로 한다. 병합 식별자와 병합 식별자 유형은 수행할 병합 프로세스 중 하나를 선택하는 결정과 세부 사항을 결정한다.
병합 프로세스에 대한 입력은 공간 배치를 나타내는 입력 서브 비트 스트림 목록이다. 프로세스에 대한 출력은 병합된 비트 스트림이다. 일반적으로 모든 비트 스트림 병합 프로세스에서, 새 출력 비트 스트림에 대한 파라미터 세트를 생성해야 하고, 이는 입력 서브 비트 스트림의 파라미터 세트(예를 들어, 제1 입력 서브 비트 스트림)를 기반으로 할 수 있다. 파라미터 세트에 필요한 업데이트에는 픽처 크기가 포함된다. 예를 들어, 출력 비트 스트림의 픽처 크기는 각각의 차원에서 그리고 공간적 배치의 맥락에서 입력 서브 비트 스트림의 픽처 크기의 합으로 계산된다.
모든 입력 서브 비트 스트림이 적어도 하나의 병합 식별자 및 병합 식별자 유형 인스턴스의 동일한 값을 전달하는 것이 비트 스트림 병합 프로세스의 요구 사항이다. 일 실시 예에서, 모든 서브 비트 스트림이 병합 식별자의 동일한 값을 전달하는 병합 식별자 유형의 가장 낮은 값과 연관된 병합 프로세스가 수행된다.
예를 들면, 특정 병합 식별자 유형 값과 병합 식별자 값의 차이는 병합 프로세스에서 병합 식별자 값이 일치하는 병합 식별자 유형의 차이 값에 따라 병합 프로세스의 세부 사항을 결정하는 데 사용된다. 예를 들어, 도 11과 같이, 병합 식별자 유형 값이 0 인 제1 병합 식별자(70)가 두 개의 입력 서브 비트 스트림(70a 및 70b) 사이에서 일치하지 않지만, 병합 식별자 유형 값이 1 인 제2 병합 식별자(80)가 두 개의 서브 비트 스트림(80a, 80b) 사이에서 일치하는 경우, 제1 병합 식별자(70)의 비트 위치 차이는 모든 슬라이스에서 조정을 필요로 하는(슬라이스 헤더 관련) 신택스 요소를 나타낸다.
도 13은 수신기(도시되지 않음)를 포함하는 비디오 병합기(50(50a))를 도시하고, 병합 방법 식별자는 병합 식별자 비교기(merge identifier comparator)(54a) 및 인코딩 파라미터 비교기(encoding parameter comparator)(54b) 및 병합 프로세서(merge processor)(56)를 포함한다. 입력 비디오 스트림(input video stream)(12)이 병합 식별자 값으로 해시 값을 포함하는 경우, 각각의 입력 비디오 스트림의 값은 병합 식별자 비교기(merge identifier comparator)(54a)에서 비교된다. 예를 들어, 두 입력 비디오 스트림이 동일한 병합 식별자 값을 갖는 경우, 각 입력 비디오 스트림의 개별 인코딩 파라미터는 인코딩 파라미터 비교기(54b)에서 비교된다. 인코딩 파라미터 비교 결과에 따라, 병합 방법이 결정되고 병합 프로세서(56)는 결정된 병합 방법을 사용하여 입력 비디오 스트림(12)을 병합한다. 병합 식별자 값(해시 값)도 병합 방법을 나타내는 경우 개별 인코딩 파라미터 비교가 필요하지 않다.
위에서, 세 개의 병합 방법, 제1 복잡도, 제2 복잡도 및 제3 복잡도 병합 방법에 대해 설명한다. 제4 병합 방법은 전체 픽셀 디코딩 및 픽셀 재 인코딩을 사용하여 비디오 스트림을 병합하는 것이다. 세 가지 병합 방법이 모두 적용되지 않는 경우 제4 병합 방법이 적용된다.
병합 결과 레벨을 식별하는 과정은 도 14 및 도 15를 이용하여 본 발명에 따른 다른 실시 예를 고려하여 다음과 같이 설명한다. 병합 결과 레벨의 식별은 정보를 서브 비트 스트림에 넣는 것을 의미하고 서브 비트 스트림을 포함하는 병합된 비트 스트림의 레벨 한계(level limit)에 대한 서브 비트 스트림의 기여도가 얼마나 큰지를 의미한다.
도 14는 인코딩 파라미터 결정(encoding parameter determination)(14), 병합 식별자 충당(merge identifier provision)(미도시) 및 입도 능력 제공자(8)를 포함하는 인코더 코어를 포함하는 인코더 2(2b)를 도시한다.
일반적으로 서브 비트 스트림이 결합 비트 스트림으로 병합될 때, 잠재적인 병합된 비트 스트림이 준수해야 하는 코덱 시스템의 레벨 별 한계에 개별 서브 비트 스트림이 어떻게 기여하는지에 대한 표시는 합법적인 공동 비트 스트림(joint bitstream)의 생성을 보장하는 데 중요하다. 전통적으로, 코덱 레벨 입도는 오히려 당연한 것이다. 720p, 1080p 또는 4K와 같은 지배적인 해상도를 차별화하기 위해 병합 레벨 한계 표시에는 훨씬 더 미세한 입도(finer granulatiry)가 필요하다. 이 전통적인 레벨 표시의 입도(granularity)는 병합된 비트 스트림에 대한 개별 서브 비트 스트림 기여도를 표현하기에 충분하지 않다. 병합할 타일의 수를 미리 알 수 없기 때문에 유연성과 비트 전송률 비용에서 합리적인 균형을 찾아야 하지만 일반적으로 기존 레벨 한계 입도를 훨씬 초과한다. 한 가지 예시적인 사용 사례는 서비스 제공자가 360도 비디오 당 12, 24 또는 96 타일과 같은 다양한 타일링 구조 중에서 자유롭게 선택할 수 있는 360도 비디오 스트리밍으로, 여기서 각 타일 스트림은 동일한 비율 분포를 가정할 때 8K와 같은 전체 레벨 한계의 1/12, 1/24 또는 1/96에 기여한다. 더 나아가, 예를 들어, 비디오 평면에서 일정한 품질을 달성하기 위해 타일 사이에 균일하지 않은 속도 분포를 가정하려면 임의의 미세 입도(fine granularity)가 필요할 수 있다.
예를 들어, 그러한 시그널링은 시그널링 된 비율 및/또는 추가 시그널링 된 레벨의 백분율 일 것이다. 예를 들어, 4 명의 참가자가 있는 회의 시나리오에서, 각 참가자는 또한 표시, 즉 거친 입도 능력 정보에 포함된 레벨 정보를 포함하는 법적 레벨 3 비트 스트림을 전송하며, 송신 비트 스트림(send bitstream)이 레벨 5 한계의 1/3 및/또는 33 %를 준수하기 시작한다는 표시, 즉, 이 정보는 미세 입도 능력 정보에 포함될 수 있다. 예를 들어, 도 15에 도시된 바와 같은 다수의 그러한 스트림의 수신기, 즉 비디오 병합기(50(50b))은 따라서 3 개의 그러한 비트 스트림이 레벨 5에 따르는 단일 공동 비트 스트림으로 병합될 수 있음을 알 수 있다.
도 15에서, 비디오 병합기는 수신기(52) 및 병합 프로세서(56)를 포함하는 것으로 예시되고, 복수의 비디오 스트림이 비디오 병합기에 입력된다. 비디오 병합기는 비디오 디코더에 포함되거나 도면에 표시되어 있지 않지만 수신기가 디코더 역할을 할 수 있다. 디코더(도면에 표시되지 않음)는 복수의 서브 비트 스트림, 복수의 인코딩 파라미터, 거친 및 미세 입도 능력 정보를 포함하는 비트 스트림을 수신한다. SEI 메시지에 전달되는 거친 및 미세 입도 능력 정보, 및 디코더는 수신된 정보를 파싱하고 레벨과 분율을 디코더의 사용 가능한 레벨 한계로 전환한다. 그런 다음, 디코더는 발생하는 비트 스트림이 실제로 표시된 한계를 준수하는지 확인한다. 확인된 결과는 비디오 병합기 또는 병합 프로세서에게 제공된다. 그러므로 이미 위에서 언급한 바와 같이, 비디오 병합기는 복수의 서브 비트 스트림이 단일 공동 비트 스트림으로 병합될 수 있음을 알 수 있다.
입도 능력 정보는 코덱 레벨 한계의 다른 측면에 관한 각 차원 인 값의 벡터로서 비율 및/또는 백분율 표시를 가질 수 있으며, 예를 들어, 초당 최대 허용가능한 루마 샘플의 양, 최대 이미지 크기, 비트 전송률, 버퍼 충만도, 타일 수 등이다. 또한, 비율 및/또는 백분율은 비디오 비트 스트림의 일반적인 코덱 레벨을 나타낸다.
도 16은 레벨 정보를 나타내는 보충 강화 정보(supplement enhancement information)(SEI) 메시지 신택스의 구조 예를 나타낸다.
권장 사항 ITU-T H.266에 설명된 대로, 참조 부호 100 "sli_non_subpic_layers_fraction [i] [k]"로 표시된 신택스는 Htid가 k와 같을 때, sps_num_subpics_minus1이 0 인 targetCvss의 레이어와 연관된 비트 스트림 레벨 한계의 i 번째 분율(i-th fraction)을 나타낸다. vps_max_layers_minus1이 0과 같거나 비트 스트림에 0과 같은 sps_num_subpics_minus1이없는 경우, sli_non_subpic_layers_fraction [i] [k]은 0이된다. k가 sli_max_sublayers_minus1보다 작고 sli_non_subpic_layers_fraction [i] [k]가 없으면, sli_non_subpic_layers_fraction [i] [k + 1]과 같은 것으로 추론된다 즉, 신택스(100)는 지시된 레벨(indicated level)(sli_ref_level_idc) 또는 파라미터 세트의 일반 레벨 시그널링에 대한 레벨 분율(level fraction)을 기술한다. 이 신택스는 서브 픽처가 없는 레이어, 즉 전체 픽처 평면에만 적용된다.
도 16에서 참조 부호 102로 표시된 신택스 "sli_ref_level_idc [i] [k]"는 Htid가 k와 같을 때, ITU-T H.266 권고의 부록에 명시된 대로 각 서브 픽처 시퀀스가 준수하는 i- 번째 레벨을 나타낸다. 비트 스트림은 권고 ITU-T H.266의 부록에 명시된 것 이외의 sli_ref_level_idc [i] [k] 값을 포함해서는 안된다. sli_ref_level_idc [i] [k]의 다른 값은 ITU-T | ISO/IEC의 미래 사용을 위해 보관된다. sli_ref_level_idc [0] [k]의 값은 비트 스트림의 general_level_idc의 값과 동일해야 하고 및 sli_ref_level_idc [i] [k]의 값은 i가 0보다 크고 m이 i보다 큰 값에 대해 sli_ref_level_idc [m] [k]보다 작거나 같아야 하는 것은 비트 스트림 적합성(bitstream conformance)의 요구 사항이다. k가 sli_max_sublayers_minus1보다 작고 sli_ref_level_idc [i] [k]가없는 경우, sli_ref_level_idc [i] [k + 1]과 동일한 것으로 추론된다. 이 신택스는 특히 분율 신호(fraction signaling)에 대해 표시된 레벨을 설명한다.
또한 권장 사항 ITU-T H.266에 설명된 대로, Htid가 k와 같을 때, sps_num_subpics_minus1이 0보다 큰 targetCvss의 레이어에서 서브 픽처 인덱스가 j 인 서브 픽처의 경우, 도 16에서 참조 부호 104로 표시된 신택스 "sli_ref_level_fraction_minus1 [i] [j] [k]" 더하기 1은 sli_ref_level_idc [i] [k]와 연관된 레벨 한계의 i 번째 분율(i-th fraction)을 지정한다. k가 sli_max_sublayers_minus1보다 작고 sli_ref_level_fraction_minus1 [i] [j] [k]가 없으면, sli_ref_level_fraction_minus1 [i] [j] [k + 1]과 같은 것으로 추론된다. 이 신택스는 신택스 100과 유사하지만 이러한 서브 픽처가 있는 레이어의 개별 서브 픽처에 적용된다.
다음에서, 본 발명의 추가적인 실시 예 및 측면이 설명될 것이며, 이는 본 명세서에 설명된 특징 및 기능 및 세부 사항 중 임의의 것과 결합하여 또는 개별적으로 사용될 수 있다.
제1 측면은 인코딩된 비디오 표현을 제공하기 위한 비디오 인코더에 관한 것으로, 비디오 인코더는 복수의 인코딩 파라미터를 기술하는 인코딩된 파라미터 정보, 인코딩된 비디오 콘텐츠 정보 및 인코딩된 비디오 표현이 다른 인코딩된 비디오 표현과 병합될 수 있는지 여부 및/또는 방법을 나타내는 하나 이상의 병합 식별자를 포함하는 비디오 스트림을 제공하도록 구성된다.
제2 측면에 따르면, 비디오 인코더에서, 제1 측면을 다시 참조할 때, 파라미터 정보에 의해 정의된 파라미터 값을 기반으로 결정되는 복잡도를 사용한다.
제3 측면에 따르면, 비디오 인코더에서, 제1 또는 제2 측면을 다시 참조할 때, 병합 식별자는 복수의 인코딩 파라미터의 연결이다.
제4 측면에 따르면, 비디오 인코더에서, 제1 내지 제3 측면 중 어느 하나를 다시 참조할 때, 병합 식별자는 복수의 인코딩 파라미터를 연결한 해시 값이다.
제5 측면에 따르면, 비디오 인코더에서, 제1 내지 제4 측면 중 어느 하나를 다시 참조할 때, 병합 식별자는 병합 절차의 복잡도를 나타내는 병합 식별자 유형을 나타낸다.
제6 측면에 따르면, 비디오 인코더에서, 제5 측면을 다시 참조할 때, 병합 식별자 유형의 값은 병합 프로세스를 나타내며, 비디오 인코더는 병합 식별자 유형의 다음 값 중 적어도 두 개 사이에서 전환하도록 구성되고; 파라미터 세트 재작성을 통한 병합 프로세스를 나타내는 병합 식별자 유형의 제1 값, 파라미터 세트 및 슬라이스 헤더 재작성을 통한 병합 프로세스를 나타내는 병합 식별자 유형의 제2 값, 및 파라미터 세트, 슬라이스 헤더 및 슬라이스 페이로드 재작성을 통한 병합 프로세스를 나타내는 병합 식별자 유형의 제3 값이다.
제7 측면에 따르면, 비디오 인코더에서, 제1 내지 제6 측면 중 어느 하나를 다시 참조할 때, 복수의 병합 식별자는 병합 절차의 상이한 복잡도와 연관된다.
제8 측면에 따르면, 제1 내지 제7 측면 중 하나를 다시 참조할 때, 인코더는 병합 식별자의 충당을 위해 평가되는 인코딩 파라미터가 비디오 시퀀스의 모든 유닛에서 동일한 지 여부를 확인하고 그 확인에 따라 병합 식별자를 제공하도록 구성된다.
제9 측면에 따르면, 비디오 인코더에서, 제1 내지 제8 측면 중 어느 하나를 다시 참조할 때, 복수의 인코딩 파라미터는 전체 픽셀 디코딩에 의한 병합보다 덜 복잡도를 갖는 병합을 허용하기 위해 상이한 비디오 스트림에서 동일해야 하는 병합 관련 파라미터를 포함하고, 비디오 인코더는 병합 관련 파라미터에 기초하여 하나 이상의 병합 식별자를 제공하도록 구성된다.
제10 측면에 따르면, 제9 측면을 다시 참조할 때, 비디오 인코더에서, 병합 관련 파라미터는: 타일 경계에서의 모션 제약을 기술하는 파라미터, 픽처 그룹(GOP) 구조에 관한 정보, 크로마 코딩 포멧을 기술하는 파라미터와 루마 코딩 포멧을 기술하는 파라미터, 고급 모션 벡터 예측을 기술하는 파라미터, 샘플 적용 오프셋을 기술하는 파라미터, 시간적 모션 벡터 예측을 기술하는 파라미터와 루프 필터를 기술하는 파라미터의 파라미터 중 하나 이상 또는 모두를 포함한다.
제11 측면에 따르면, 비디오 인코더에서, 제1 내지 제7 측면 중 어느 하나를 다시 참조할 때, 제1 복잡도보다 높은 병합 절차의 제2 복잡도와 연관된 병합 파라미터가 제1 인코딩 파라미터 세트의 진정한 서브 세트 인 제2 인코딩 파라미터 세트에 기초하여 결정될 때, 병합 절차의 상기 제1 복잡도와 연관된 병합 식별자는 제1 인코딩 파라미터 세트에 기초하여 결정된다.
제12 측면에 따르면, 비디오 인코더에서, 제11 측면을 다시 참조할 때, 제2 복잡도보다 높은 병합 절차의 제3 복잡도와 연관된 병합 식별자는 제2 인코딩 파라미터 세트의 진정한 서브 세트 인 인코딩 파라미터의 제3 세트에 기초하여 결정된다.
제13 측면에 따르면, 제11 또는 제12 측면을 다시 참조할 때, 비디오 인코더는 슬라이스 헤더 및 슬라이스 페이로드는 변경되지 않은 채로 두고 복수의 슬라이스에 적용 가능한 파라미터 세트 만 수정하는 비디오 스트림의 병합에 대해 허용하기 위해 두 개의 상이한 비디오 스트림에서 동일해야 하는 인코딩 파라미터 세트에 기초하여 병합 절차의 제1 복잡도와 연관된 병합 식별자를 결정하도록 구성된다.
제14 측면에 따르면, 제11 또는 제12 측면을 다시 참조할 때, 비디오 인코더는:
타일 및 픽처 경계에서 모션 제약을 나타내는 파라미터,
GOP 구조를 정의하는 파라미터,
레퍼런스 픽처 세트를 기술하는 파라미터,
크로마 포멧을 기술하는 파라미터,
기본 양자화 파라미터 및 크로마 양자화 파라미터를 기술하는 파라미터,
비트 심도 루마/크로마를 기술하는 파라미터,
초기 도달 지연 및 초기 제거 지연에 관한 파라미터를 포함하는 가상 레퍼런스 디코더 파라미터를 기술하는 파라미터,
코딩 블록 구조를 기술하는 파라미터
변환 최소 및/또는 최대 크기를 기술하는 파라미터,
펄스 코드 변조 블록 사용을 기술하는 파라미터,
고급 모션 벡터 예측을 기술하는 파라미터,
샘플 적용 오프셋을 기술하는 파라미터,
시간적 모션 벡터 예측을 기술하는 파라미터,
인프라 평활화를 기술하는 파라미터,
종속 슬라이스를 기술하는 파라미터,
부호 숨김을 기술하는 파라미터,
가중 예측을 기술하는 파라미터,
트랜스 퀀트 바이 패스를 기술하는 파라미터,
엔트로피 코딩 동기화를 기술하는 파라미터,
루프 필터를 기술하는 파라미터,
파라미터 세트 ID를 포함하는 슬라이스 헤더 값을 기술하는 파라미터, 레퍼런스 픽처 세트를 포함하는 슬라이스 헤더 값을 기술하는 파라미터 및
암시적 코딩 변환 유닛 주소 시그널링의 사용을 기술하는 파라미터의
파라미터 중 하나 이상 또는 모두의 제1 복잡도와 연관된 병합 식별자를 결정하도록 구성된다.
제15 측면에 따르면, 제11 내지 제14 측면 중 임의의 것을 다시 참조할 때, 비디오 인코더는 슬라이스 페이로드를 변경되지 않은 채로 두고 복수의 슬라이스에 적용 가능한 파라미터 세트를 수정하고 또한 슬라이스 헤더도 수정하는 비디오 스트림의 병합에 대해 허용하기 위해 두 개의 상이한 비디오 스트림에서 동일해야 하는 인코딩 파라미터 세트에 기초하여 병합 절차의 제2 복잡도와 연관된 병합 식별자를 결정하도록 구성된다.
제16 측면에 따르면, 제11 내지 제15 측면 중 임의의 것을 다시 레퍼런스할 때, 비디오 인코더는:
타일 및 픽처 경계에서의 모션 제약을 나타내는 파라미터, GOP 구조를 정의하는 파라미터,
크로마 포멧을 기술하는 파라미터,
비트 심도 루마/크로마를 기술하는 파라미터,
코딩 블록 구조를 기술하는 파라미터,
변환 최소 및/또는 최대 크기를 기술하는 파라미터,
펄스 코드 변조 블록 사용을 기술하는 파라미터,
고급 모션 벡터 예측을 기술하는 파라미터,
샘플 적용 오프셋을 기술하는 파라미터,
시간적 모션 벡터 예측을 기술하는 파라미터,
인트라 스무딩을 기술하는 파라미터,
부호 숨김을 기술하는 파라미터,
트랜스퀀트 바이 패스를 기술하는 파라미터,
엔트로피 코딩 동기화를 기술하는 파라미터,
루프 필터를 기술하는 파라미터, 및
레퍼런스 픽처 세트를 포함하는 슬라이스 헤더 값을 기술하는 파라미터의
파라미터 중 하나 이상 또는 모두의 제2 복잡도와 연관된 병합 식별자를 결정하도록 구성된다.
제17 측면에 따르면, 제8 내지 제16 측면 중 임의의 것을 다시 참조할 때, 비디오 인코더는 복수의 슬라이스에 적용할 수 있는 파라미터 세트를 수정하고, 슬라이스 헤더 및 슬라이스 페이로드도 수정하지만 전체 픽셀 디코딩 및 픽셀 재 인코딩을 수행하지 않는 비디오 스트림의 병합에 대해 허용하기 위해 두 개의 상이한 비디오 스트림에서 동일해야 하는 인코딩 파라미터 세트에 기초하여 병합 절차의 제3 복잡도와 연관된 병합 식별자를 결정하도록 구성된다.
제18 측면에 따르면, 제8 내지 제17 측면 중 임의의 것을 다시 참조할 때, 비디오 인코더는:
타일 및 픽처 경계에서 모션 제약을 나타내는 파라미터,
GOP 구조를 정의하는 파라미터,
크로마 포멧을 기술하는 파라미터,
비트 심도 루마/크로마를 기술하는 파라미터,
고급 모션 벡터 예측을 기술하는 파라미터,
샘플 적용 오프셋을 기술하는 파라미터,
시간적 모션 벡터 예측을 기술하는 파라미터, 및
루프 필터를 기술하는 파라미터의
파라미터 중 하나 이상 또는 모두에 기초하여 제3 복잡도와 연관된 병합 식별자를 결정하도록 구성된다.
제19 측면에 따르면, 제1 내지 제18 측면 중 임의의 것을 다시 참조할 때, 비디오 인코더는 제2 복잡도보다 낮은 병합 절차의 제1 복잡도와 연관된 제1 병합 식별자를 얻기 위해, 병합 절차의 제2 복잡도와 연관된 제2 병합 식별자의 연결 및 제2 병합 식별자의 결정에서 고려되지 않은 하나 이상의 인코딩 파라미터에 해시 함수를 적용하도록 구성된다.
제20 측면에 따르면, 제1 내지 제19 측면 중 임의의 것을 다시 참조할 때, 비디오 인코더는 제3 복잡도보다 낮은 병합 절차의 제2 복잡도와 연관된 제2 병합 식별자를 얻기 위해 병합 절차의 제3 복잡도와 연관된 제3 병합 식별자의 연결 및 제3 병합 식별자의 결정에서 고려되지 않은 하나 이상의 인코딩 파라미터에 해시 함수를 적용하도록 구성된다.
제21 측면에 따르면, 복수의 인코딩된 비디오 표현에 기초하여 병합된 비디오 표현을 제공하기 위한 비디오 병합기에 있어서, 비디오 병합기는 복수의 인코딩 파라미터를 기술하는 인코딩된 파라미터 정보, 인코딩된 비디오 콘텐츠 정보 및 인코딩된 비디오 표현이 상이한 인코딩된 비디오 표현과 병합될 수 있는지 여부 및/또는 방법을 나타내는 하나 이상의 병합 식별자를 포함하는 복수의 비디오 스트림을 수신하도록 구성되고; 비디오 병합기는 병합 식별자에 따라 병합 방법의 사용에 대해 결정하도록 구성된다.
제22 측면에 따르면, 제21 측면을 다시 참조할 때, 비디오 병합기는 병합 식별자에 따라 복수의 병합 방법 중에서 병합 방법을 선택하도록 구성된다.
제23 측면에 따르면, 제22 측면을 다시 참조할 때, 비디오 병합기는 슬라이스 헤더와 슬라이스 페이로드를 변경하지 않은 채로 두고 복수의 슬라이스에 적용할 수 있는 파라미터 세트 만 수정하는 비디오 스트림의 병합인 제1 병합 방법; 슬라이스 페이로드를 변경하지 않은 채로 두고 복수의 슬라이스에 적용할 수 있는 파라미터 세트를 수정하고 또한 슬라이스 헤더도 수정하는 비디오 스트림의 병합 인 제2 병합 방법; 및 복수의 슬라이스에 적용할 수 있는 파라미터 세트를 수정하고, 및 또한 슬라이스 헤더 및 슬라이스 페이로드를 수정하지만 하나 이상의 병합 식별자에 따라 전체 픽셀 디코딩 및 픽셀 재 인코딩을 수행하지 않는 비디오 스트림의 병합인 제3 병합 방법의 병합 방법 중 적어도 두 개를 선택하도록 구성된다.
제24 측면에 따르면, 제23 측면을 다시 참조할 때, 비디오 병합기는 하나 이상의 병합 식별자에 따라 전체 픽셀 디코딩 및 픽셀 재 인코딩을 사용하여 비디오 스트림을 병합하는 제4 병합 방법을 선택적으로 사용하도록 구성된다.
제25 측면에 따르면, 제22 내지 제24 측면 중 임의의 것을 다시 참조할 때, 비디오 병합기는 동일한 주어진 병합 방법과 연관된 두 개 이상의 비디오 스트림의 병합 식별자를 비교하여 비교 결과에 따라 주어진 병합 방법을 사용하여 병합을 수행할지 여부를 결정하도록 구성된다.
제26 측면에 따르면, 제25 측면을 다시 참조할 때, 비디오 병합기는 비교가 주어진 병합 방법과 연관된 두 개 이상의 비디오 스트림의 병합 식별자가 동일하다는 것을 나타내는 경우 주어진 병합 방법을 사용하여 병합을 선택적으로 수행하도록 구성된다.
제27 측면에 따르면, 제25 측면을 다시 참조할 때, 비디오 병합기는 비교가 주어진 병합 방법과 연관된 두 개 이상의 비디오 스트림의 병합 식별자가 다르다는 것을 나타내면 주어진 병합 방법보다 더 높은 복잡도를 갖는 병합 방법을 사용하도록 구성된다.
제28 측면에 따르면, 제27 측면을 다시 참조할 때, 비디오 병합기는 비교가 주어진 병합 방법과 연관된 두 개 이상의 비디오 스트림의 병합 식별자가 동일함을 나타내는 경우 주어진 병합 방법을 사용하여 비디오 스트림의 병합에 대해 허용하기 위해 두 개 이상의 비디오 스트림에서 동일해야 하는 인코딩 파라미터를 선택적으로 비교하도록 구성되고, 및 비디오 병합기는 인코딩 파라미터의 비교가 인코딩 파라미터가 동일함을 나타내는 경우 주어진 병합 방법을 사용하여 병합을 선택적으로 수행하도록 구성되고, 및 비디오 병합기는 인코딩 파라미터의 비교가 인코딩 파라미터가 차이를 포함함을 나타내는 경우 주어진 병합 방법보다 더 높은 복잡도를 갖는 병합 방법을 사용하여 병합을 수행하도록 구성된다.
제29 측면에 따르면, 제21 내지 제28 측면 중 임의의 것을 다시 참조할 때, 비디오 병합기는 상이한 복잡도를 갖는 병합 방법과 연관된 병합 식별자를 비교하도록 구성되고, 비디오 병합기는 병합될 두 개 이상의 비디오 스트림에서 연관된 병합 식별자가 동일한 최저 복잡도 병합 방법을 사용하여 두 개 이상의 비디오 스트림을 병합하도록 구성된다.
제30 측면에 따르면, 제22 내지 제29 측면 중 임의의 것을 다시 참조할 때, 비디오 병합기는 상이한 복잡도를 갖는 병합 방법과 연관된 병합 식별자를 비교하도록 구성되고, 비디오 병합기는 병합될 두 개 이상의 비디오 스트림에서 연관된 병합 식별자가 동일한 최저 복잡도 병합 방법을 식별하도록 구성되고; 및 비디오 병합기는 식별된 병합 방법을 사용하는 병합을 허용하기 위해 병합될 두 개 이상의 비디오 스트림에서 동일해야 하는 인코딩 파라미터 세트를 비교하도록 구성되고, 및 비교가 식별된 병합 방법과 연관된 인코딩 파라미터 세트의 인코딩 파라미터(20, 22, 26, 30)가 병합될 비디오 스트림에서 동일함을 나타내는 경우 비디오 병합기(50)는 식별된 병합 방법을 사용하여 두 개 이상의 비디오 스트림을 병합하도록 구성된다.
제31 측면에 따르면, 제22 내지 제30 측면 중 임의의 것을 다시 참조할 때, 비디오 병합기는 병합될 상이한 비디오 스트림의 병합 식별자 사이의 하나 이상의 차이에 따라 병합 프로세스에서 수정되어야 하는 인코딩 파라미터를 결정하도록 구성된다.
제32 측면에 따르면, 제31 측면을 다시 참조할 때, 비디오 병합기는 주어진 복잡도보다 복잡도가 낮은 병합 방법과 연관된, 병합될 상이한 비디오 스트림의 병합 식별자 사이의 하나 이상의 차이에 따라 주어진 복잡도를 갖는 병합 방법에서 수정되어야 하는 인코딩 파라미터를 결정하도록 구성된다
제33 측면에 따르면, 제21 내지 제32 측면 중 임의의 것을 다시 참조할 때, 비디오 병합기는 병합될 비디오 스트림의 인코딩 파라미터에 기초하여, 병합될 모든 비디오 스트림의 슬라이스와 연관된 공동 인코딩 파라미터를 획득하고, 및 병합된 비디오 스트림에 공동 인코딩 파라미터를 포함하도록 구성된다.
제34 측면에 따르면, 제33 측면을 다시 참조할 때, 비디오 병합기는 병합된 비디오 스트림에 포함될 수정된 슬라이스를 얻기 위해 개별 비디오 슬라이스와 개별적으로 연관된 인코딩 파라미터를 조정하도록 구성된다.
제35 측면에 따르면, 제34 측면을 다시 참조할 때, 비디오 병합기에서, 적용된 인코딩 파라미터는 병합된 인코딩된 비디오 표현의 픽처 크기를 나타내는 파라미터를 포함하고, 픽처 크기는 병합될 인코딩된 비디오 표현의 픽처 크기에 기초하여 계산된다.
제36 측면에 따르면, 인코딩된 비디오 표현을 제공하는 방법에 있어서, 비디오 스트림(12) 제공하는 단계는 복수의 인코딩 파라미터(20, 22, 26, 30)를 기술하는 인코딩된 파라미터 정보, 인코딩된 비디오 콘텐츠 정보 및 인코딩된 비디오 표현(12)이 다른 인코딩된 비디오 표현과 병합될 수 있는지 여부 및/또는 방법을 나타내는 하나 이상의 병합 식별자를 포함한다.
제37 측면에 따르면, 복수의 인코딩된 비디오 표현에 기초하여 병합된 비디오 표현을 제공하는 방법에 있어서, 복수의 인코딩 파라미터를 기술하는 인코딩된 파라미터 정보, 인코딩된 비디오 콘텐츠 정보 및 인코딩된 비디오 표현이 다른 인코딩된 비디오 표현과 병합될 수 있는지 여부 및/또는 방법을 나타내는 하나 이상의 병합 식별자를 포함하는 복수의 비디오 스트림을 수신하는 단계; 및 병합 식별자에 따라, 복수의 병합 방법 중에서 병합 방법을 선택하는 단계를 포함한다.
제38 측면에 따르면, 두 개 이상의 비디오 스트림을 병합하기 위한 병합 방법에 있어서, 인코딩된 비디오 콘텐츠 정보는 변경되지 않은 채로 두고 상이한 비디오 스트림의 인코딩 파라미터 정보에 기초하여 공통 인코딩 파라미터 정보를 제공하는 단계; 변경되지 않은 인코딩된 비디오 콘텐츠 정보에 기초하여 병합 절차를 선택하는 단계; 및 선택된 병합 절차를 사용하여 두 개 이상의 비디오 스트림을 병합하는 단계를 포함한다.
제39 측면에 따르면, 컴퓨터에서 실행될 때, 제36 내지 제38 측면 중 임의의 측면에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
제40 측면에 다르면, 제36 내지 제38 측면 중 임의의 측면에 따른 방법에 의해 생성된 데이터 스트림.
일 실시예에 따르면, 인코딩된 비디오 표현을 제공하기 위한 비디오 인코더에 있어서, 상기 비디오 인코더는, 제1 입도 능력 요구 정보를 제공하고, 제2 입도 능력 요구 정보를 제공하도록 구성되고, 상기 제1 입도 능력 요구 정보는, 복수의 미리 결정된 능력 레벨들 중의 하나의 능력 레벨 및 비디오 디코더와 비디오 스트림의 호환성을 나타내고, 상기 제2 입도 능력 요구 정보는, 상기 제1 입도 능력 요구 정보보다 더 미세한 입도로 규정되고, 상기 제2 입도 능력 요구 정보는, 상기 인코딩된 비디오 표현을 디코딩하기 위해 사용되는 상기 미리 결정된 능력 레벨들 중 하나와 연관된 허용가능한 능력 요구 레벨의 분율을 나타낸다.
일 실시예에 따르면, 상기 제2 입도 능력 요구 정보는, 비율 값 또는 백분율 값을 포함한다.
일 실시예에 따르면, 상기 제2 입도 능력 요구 정보는, 상기 제1 입도 능력 요구 정보에 의해 기술된 상기 미리 결정된 능력 레벨들중의 하나를 참조하는 비율 값 또는 백분율 값을 포함한다.
일 실시예에 따르면, 상기 제2 입도 능력 요구 정보는, 레퍼런스 정보 및 분율 정보를 포함하고, 상기 레퍼런스 정보는, 상기 분율 정보가 상기 미리 결정된 능력 레벨들 중 어느 것을 참조하는지를 나타낸다.
일 실시예에 따르면, 상기 제2 입도 능력 요구 정보는, 상이한 기준들에 관련된 복수의 분율 값들을 포함한다.
일 실시예에 따르면,
상기 제2 입도 능력 요구 정보는,
- 초당 허용되는 최대 루마 샘플 양의 분율(fraction of an amount of maximum allowed luma samples per second),
- 최대 이미지 크기의 분율(fraction of a maximum image size),
- 최대 비트 레이트의 분율(fraction of a maximum bitrate),
- 버퍼 충만도의 분율(fraction of a buffer fullness), 및
- 최대 타일 수의 분율(fraction of a maximum number of tiles)
의 기준들을 나타내는 하나 이상의 분율 값을 포함한다.
일 실시예에 따르면, 복수의 인코딩된 비디오 표현들에 기초하여 병합된 비디오 표현을 제공하기 위한 비디오 병합기에 있어서, 상기 비디오 병합기는, 인코딩된 파라미터 정보를 포함하는 복수의 비디오 스트림들을 수신하도록 구성되고, 상기 인코딩된 파라미터 정보는, 복수의 인코딩 파라미터들, 인코딩된 비디오 콘텐츠 정보, 복수의 미리 결정된 능력 레벨들 중의 하나의 능력 레벨 및 비디오 디코더와 비디오 스트림의 호환성을 나타내는 제1 입도 능력 요구 정보, 및 상기 제1 입도 능력 요구 정보보다 더 미세한 입도로 규정된 제2 입도 능력 요구 정보를 나타내고, 상기 제2 입도 능력 요구 정보는, 상기 인코딩된 비디오 표현을 디코딩하기 위해 사용되는 상기 미리 결정된 능력 레벨들 중 하나와 연관된 허용가능한 능력 요구 레벨의 분율을 나타내고, 상기 비디오 병합기는, 상기 제1 입도 능력 요구 정보 및 상기 제2 입도 능력 요구 정보에 기초하여, 두 개 이상의 비디오 스트림들을 병합하도록 구성된다.
일 실시예에 따르면, 상기 비디오 병합기는, 상기 제2 해상도 능력 요구 정보에 기초하여, 어떤 비디오 스트림이 병합된 비디오 스트림에 포함될 수 있는지를 결정하도록 구성된다.
일 실시예에 따르면, 상기 비디오 병합기는, 상기 제2 해상도 능력 요구 정보에 기초하여, 상기 두 개 이상의 비디오 스트림들을 병합함으로써 유효한 병합된 비디오 스트림을 얻을 수 있는지 여부를 결정하도록 구성된다.
일 실시예에 따르면, 상기 비디오 병합기는, 병합될 복수의 비디오 스트림들의 제2 입도 능력 요구 정보를 합산하도록 구성된다.
일 실시예에 따르면, 상기 제2 입도 능력 요구 정보는, 복수의 기준들에 대한 상기 인코딩된 비디오 표현의 능력 요구를 나타내고, 상기 비디오 병합기는, 병합될 상기 복수의 비디오 스트림들의 결합된 능력 요구가, 상기 제2 입도 능력 요구 정보에 의해 나타된 대로, 하나 이상의 미리 결정된 한계 내에 있는지 여부를 결정하도록 구성된다.
일 실시예에 따르면, 상기 제2 입도 능력 요구 정보는, 상이한 기준들에 관련된 복수의 분율 값들을 포함한다.
일 실시예에 따르면, 상기 제2 입도 능력 요구 정보는,
- 초당 허용되는 최대 루마 샘플 양의 분율,
- 최대 이미지 크기의 분율,
- 최대 비트 레이트의 분율,
- 버퍼 충만도의 분율, 및
- 최대 타일 수의 분율
의 기준들을 기술하는 하나 이상의 분율 값을 포함한다.
일 실시예에 따르면, 인코딩된 비디오 표현을 제공하는 방법에 있어서, 복수의 미리 결정된 능력 레벨들 중의 하나의 능력 레벨 및 비디오 디코더와 비디오 스트림의 호환성을 나타내는 제1 입도 능력 요구 정보를 제공하는 단계, 및 상기 제1 입도 능력 요구 정보보다 더 미세한 입도로 규정된 제2 입도 능력 요구 정보를 제공하는 단계를 포함하고, 상기 제2 입도 능력 요구 정보는, 상기 인코딩된 비디오 표현을 디코딩하기 위해 사용되는 상기 미리 결정된 능력 레벨들 중 하나와 연관된 허용가능한 능력 요구 레벨의 분율을 나타낸다.
일 실시예에 따르면, 복수의 인코딩된 비디오 표현들에 기초하여 병합된 비디오 표현을 제공하는 방법에 있어서, 인코딩된 파라미터 정보를 포함하는 복수의 비디오 스트림들을 수신하는 단계, 및 두 개 이상의 비디오 스트림들을 병합하는 단계를 포함하고, 상기 인코딩된 파라미터 정보는, 복수의 인코딩 파라미터들, 인코딩된 비디오 콘텐츠 정보, 복수의 미리 결정된 능력 레벨들 중의 하나의 능력 레벨 및 비디오 디코더와 비디오 스트림의 호환성을 나타내는 제1 입도 능력 요구 정보, 및 상기 제1 입도 능력 요구 정보보다 더 미세한 입도로 규정된 제2 입도 능력 요구 정보를 나타내고, 상기 제2 입도 능력 요구 정보는, 상기 인코딩된 비디오 표현을 디코딩하기 위해 사용되는 상기 미리 결정된 능력 레벨들 중 하나와 연관된 허용가능한 능력 요구 레벨의 분율을 나타내고, 상기 두 개 이상의 비디오 스트림들을 병합하는 것은, 상기 제1 입도 능력 요구 정보 및 상기 제2 입도 능력 요구 정보에 기초하여, 두 개 이상의 비디오 스트림들을 병합하는 것이다.
일 실시예에 따르면, 제공된 비디오 표현을 디코딩하기 위한 비디오 디코더에 있어서, 상기 비디오 디코더는, 복수의 서브 비디오 스트림들을 포함하는 비디오 표현을 수신하도록 구성되고, 상기 복수의 서브 비디오 스트림들은, 인코딩된 파라미터 정보를 포함하고, 상기 인코딩된 파라미터 정보는, 복수의 인코딩 파라미터들, 인코딩된 비디오 콘텐츠 정보, 복수의 미리 결정된 능력 레벨들 중의 하나의 능력 레벨 및 비디오 디코더와 비디오 스트림의 호환성을 나타내는 제1 입도 능력 요구 정보, 및 상기 제1 입도 능력 요구 정보보다 더 미세한 입도로 규정된 제2 입도 능력 요구 정보를 나타내고, 상기 제2 입도 능력 요구 정보는, 상기 인코딩된 비디오 표현을 디코딩하기 위해 사용되는 상기 미리 결정된 능력 레벨들 중 하나와 연관된 허용가능한 능력 요구 레벨의 분율을 나타내고, 상기 비디오 디코더는, 병합될 상기 복수의 서브 비디오 스트림들의 결합된 능력 요구가, 상기 제2 입도 능력 요구 정보에 의해 나타된 대로, 준수될 미리 결정된 한계에 매칭되는지 여부를 결정하도록 구성된다.
일 실시예에 따르면, 상기 비디오 디코더는, 허용가능한 능력 요구의 일부 및 상기 능력 레벨의 표시를 획득하기 위해, 상기 수신된 제1 입도 능력 요구 정보 및 제2 입도 능력 요구 정보를 파싱하도록 구성된다.
일 실시예에 따르면, 상기 제2 입도 능력 요구 정보는, 복수의 기준들에 대한 능력 요구의 관점에서 상기 인코딩된 비디오 표현의 능력 요구를 나타내고, 상기 비디오 디코더는, 병합될 상기 복수의 비디오 스트림들의 상기 결합된 능력 요구가 하나 이상의 미리 결정된 한계 내에 있는 경우, 병합될 상기 복수의 비디오 스트림들의 상기 결합된 능력 요구가 매칭되는 것으로 결정하도록 구성된다.
일 실시예에 따르면, 상기 제2 입도 능력 요구 정보는, 상이한 기준들에 관련된 복수의 분율 값들을 포함한다.
일 실시예에 따르면,
상기 제2 입도 능력 요구 정보는,
- 초당 허용되는 최대 루마 샘플 양의 분율,
- 최대 이미지 크기의 분율,
- 최대 비트 레이트의 분율,
- 버퍼 충만도의 분율, 및
- 최대 타일 수의 분율
의 기준들을 나타내는 하나 이상의 분율 값을 포함한다.
일 실시예에 따르면, 시스템에 있어서, 인코딩된 비디오 표현을 제공하는 비디오 인코더, 및 복수의 인코딩된 비디오 표현들에 기초하여 병합된 비디오 표현을 제공하는 비디오 병합기를 포함하고, 상기 비디오 인코더는, 복수의 미리 결정된 능력 레벨들 중의 하나의 능력 레벨 및 비디오 디코더와 비디오 스트림의 호환성을 나타내는 제1 입도 능력 요구 정보를 제공하고, 상기 제1 입도 능력 요구 정보보다 더 미세한 입도로 규정된 제2 입도 능력 요구 정보를 제공하도록 구성되고, 상기 제2 입도 능력 요구 정보는, 상기 인코딩된 비디오 표현을 디코딩하기 위해 사용되는 상기 미리 결정된 능력 레벨들 중 하나와 연관된 허용가능한 능력 요구 레벨의 분율을 나타내고, 상기 비디오 병합기는, 인코딩된 파라미터 정보를 포함하는 복수의 비디오 스트림들을 수신하도록 구성되고, 상기 인코딩된 파라미터 정보는, 복수의 인코딩 파라미터들, 인코딩된 비디오 콘텐츠 정보, 복수의 미리 결정된 능력 레벨들 중의 하나의 능력 레벨 및 비디오 디코더와 비디오 스트림의 호환성을 나타내는 제1 입도 능력 요구 정보, 및 상기 제1 입도 능력 요구 정보보다 더 미세한 입도로 규정된 제2 입도 능력 요구 정보를 나타내고, 상기 비디오 병합기는, 상기 제1 입도 능력 요구 정보 및 상기 제2 입도 능력 요구 정보에 기초하여, 두 개 이상의 비디오 스트림들을 병합하도록 구성된다.
일부 측면이 장치 또는 시스템의 맥락에서 설명되었지만, 이러한 측면은 블록 또는 장치가 방법 단계 또는 방법 단계의 특징에 해당하는 해당 방법에 대한 설명을 나타낸다. 유사하게, 방법 단계의 맥락에서 설명된 측면은 또한 대응하는 장치 및/또는 시스템의 대응하는 블록 또는 항목 또는 특징의 설명을 나타낸다. 방법 단계의 일부 또는 전부는 예를 들어 마이크로 프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시 예에서, 하나 이상의 가장 중요한 방법 단계가 그러한 장치에 의해 실행될 수 있다.
본 발명의 데이터 스트림은 디지털 저장 매체에 저장되거나 무선 전송 매체와 같은 전송 매체 또는 인터넷과 같은 유선 전송 매체를 통해 전송될 수 있다.
특정 구현 요구 사항에 따라, 본 발명의 실시 예는 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 플로피 디스크, 디브이디(DVD), 블루레이(Blu-Ray), CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리와 같은 디지털 저장 매체를 사용하여 수행할 수 있으며, 전자적으로 판독 가능한 제어 신호가 저장되어 있으며, 그 위에, 각각의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력(또는 협력할 수 있음). 따라서, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.
본 발명에 따른 일부 실시 예는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함하고, 여기에 설명된 방법 중 하나가 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있다.
일반적으로, 본 발명의 실시 예는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때 방법 중 하나를 수행하도록 동작한다. 프로그램 코드는 예를 들어 기계 판독 가능 캐리어에 저장될 수 있다.
다른 실시 예는 기계 판독 가능 캐리어에 저장된 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말해, 따라서, 본 발명의 방법의 실시 예는 컴퓨터 프로그램이 컴퓨터에서 실행될 때 여기에 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 추가 실시 예는 데이터 캐리어(data carrier)(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)에 기록되며, 컴퓨터 프로그램은 여기에 설명된 방법 중 하나를 수행한다. 데이터 매체, 디지털 저장 매체 또는 기록 매체는 일반적으로 유형적 및/또는 비일시적(non-transitory)이다.
따라서, 본 발명의 방법의 추가 실시 예는 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호 시퀀스이다. 데이터 스트림 또는 신호 시퀀스는 예를 들어 데이터 통신 연결을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
추가 실시 예는 여기에 설명된 방법 중 하나를 수행하도록 구성되거나 적용된 처리 수단, 예를 들어 컴퓨터, 또는 프로그래밍 가능한 논리 장치를 포함한다.
추가 실시 예는 여기에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가 실시 예는 여기에 설명된 방법 중 하나를 수신기로 수행하기 위한 컴퓨터 프로그램을(예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터, 모바일 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시 예에서, 프로그램 가능 논리 장치(예를 들어, 필드 프로그램 가능 게이트 어레이)는 여기에 설명된 방법의 일부 또는 모든 기능을 수행하는 데 사용될 수 있다. 일부 실시 예에서, 필드 프로그래밍 가능 게이트 어레이는 여기에 설명된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 협력할 수 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
본 명세서에 설명된 장치는 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본 명세서에 설명된 장치 또는 본 명세서에 설명된 장치의 임의의 구성 요소는 적어도 부분적으로 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
본 명세서에 설명된 방법은 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
본 명세서에 설명된 방법, 또는 본 명세서에 설명된 장치의 임의의 구성 요소는 하드웨어 및/또는 소프트웨어에 의해 적어도 부분적으로 수행될 수 있다.
전술한 실시 예는 본 발명의 원리에 대한 예시 일뿐이다. 본 명세서에 기술된 배치 및 세부 사항의 수정 및 변경은 당업자에게 명백할 것임이 이해된다. 따라서, 본 명세서의 실시 예의 설명 및 설명에 의해 제시된 특정 세부 사항이 아니라 첨부한한 특허 청구 범위의 범위에 의해서만 제한되는 것으로 의도된다.
Claims (22)
- 인코딩된 비디오 표현을 제공하기 위한 비디오 인코더에 있어서,
복수의 미리 결정된 능력 레벨들 중 하나의 능력 레벨을 가지는 비디오 디코더와 비디오 스트림의 호환성을 나타내는 레벨 정보를 제공하고,
상기 복수의 미리 결정된 능력 레벨들 중 하나의 분율(fraction)을 나타내는 분율 레벨 정보(fractional level information)을 제공하도록
구성된 비디오 인코더.
- 제1항에 있어서,
상기 분율 레벨 정보는,
비율 값 또는 백분율 값을 포함하는
비디오 인코더.
- 제1항에 있어서,
상기 분율 레벨 정보는,
초당 허용되는 최대 루마 샘플 양의 분율(fraction of an amount of maximum allowed luma samples per second)을 나타내는
비디오 인코더.
- 제1항에 있어서,
상기 분율 레벨 정보는,
최대 이미지 크기의 분율(fraction of a maximum image size)을 나타내는
비디오 인코더.
- 제1항에 있어서,
상기 분율 레벨 정보는,
최대 비트 레이트의 분율(fraction of a maximum bitrate)을 나타내는
비디오 인코더.
- 제1항에 있어서,
상기 분율 레벨 정보는,
버퍼 충만도의 분율(fraction of a buffer fullness)을 나타내는
비디오 인코더.
- 제1항에 있어서,
상기 분율 레벨 정보는,
최대 타일 수의 분율(fraction of a maximum number of tiles)을 나타내는
비디오 인코더.
- 인코딩된 비디오 표현을 제공하는 방법에 있어서,
복수의 미리 결정된 능력 레벨들 중 하나의 능력 레벨을 가지는 비디오 디코더와 비디오 스트림의 호환성을 나타내는 레벨 정보를 제공하는 단계, 및
상기 복수의 미리 결정된 능력 레벨들 중 하나의 분율(fraction)을 나타내는 분율 레벨 정보(fractional level information)을 제공하는 단계
를 포함하는 방법.
- 제8항에 있어서,
상기 분율 레벨 정보는,
비율 값 또는 백분율 값을 포함하는
방법.
- 제8항에 있어서,
상기 분율 레벨 정보는,
초당 허용되는 최대 루마 샘플 양의 분율,
최대 이미지 크기의 분율,
최대 비트 레이트의 분율,
버퍼 충만도의 분율, 및/또는
최대 타일 수의 분율
중 하나 이상을 나타내는
방법.
- 비일시적 디지털 저장 매체에 있어서,
컴퓨터에 의하여 컴퓨터 프로그램이 수행될 때 제8항에 따른 인코딩된 비디오 표현을 제공하기 위한 방법을 수행하기 위한 상기 컴퓨터 프로그램을 저장하는
비일시적 디지털 저장 매체.
- 제공된 비디오 표현을 디코딩하기 위한 비디오 디코더에 있어서,
복수의 미리 결정된 능력 레벨들 중 하나의 능력 레벨과 비디오 스트림의 호환성을 나타내는 레벨 정보를 수신하고,
상기 복수의 미리 결정된 능력 레벨들 중 하나의 분율(fraction)을 나타내는 분율 레벨 정보(fractional level information)을 수신하도록
구성된 비디오 디코더.
- 제12항에 있어서,
상기 분율 레벨 정보는,
비율 값 또는 백분율 값을 포함하는
비디오 디코더.
- 제12항에 있어서,
상기 분율 레벨 정보는,
초당 허용되는 최대 루마 샘플 양의 분율(fraction of an amount of maximum allowed luma samples per second)을 나타내는
비디오 디코더.
- 제12항에 있어서,
상기 분율 레벨 정보는,
최대 이미지 크기의 분율(fraction of a maximum image size)을 나타내는
비디오 디코더.
- 제12항에 있어서,
상기 분율 레벨 정보는,
최대 비트 레이트의 분율(fraction of a maximum bitrate)을 나타내는
비디오 디코더.
- 제12항에 있어서,
상기 분율 레벨 정보는,
버퍼 충만도의 분율(fraction of a buffer fullness)을 나타내는
비디오 디코더.
- 제12항에 있어서,
상기 분율 레벨 정보는,
최대 타일 수의 분율(fraction of a maximum number of tiles)을 나타내는
비디오 디코더.
- 제공된 비디오 표현을 디코딩하는 방법에 있어서,
복수의 미리 결정된 능력 레벨들 중 하나의 능력 레벨과 비디오 스트림의 호환성을 나타내는 레벨 정보를 수신하는 단계, 및
상기 복수의 미리 결정된 능력 레벨들 중 하나의 분율(fraction)을 나타내는 분율 레벨 정보(fractional level information)을 수신하는 단계
를 포함하는 방법.
- 제19항에 있어서,
상기 분율 레벨 정보는,
비율 값 또는 백분율 값을 포함하는
방법.
- 제19항에 있어서,
상기 분율 레벨 정보는,
초당 허용되는 최대 루마 샘플 양의 분율,
최대 이미지 크기의 분율,
최대 비트 레이트의 분율,
버퍼 충만도의 분율, 및/또는
최대 타일 수의 분율
중 하나 이상을 나타내는
방법.
- 비일시적 디지털 저장 매체에 있어서,
컴퓨터에 의하여 컴퓨터 프로그램이 수행될 때 제19항에 따른 인코딩된 비디오 표현을 제공하기 위한 방법을 수행하기 위한 상기 컴퓨터 프로그램을 저장하는
비일시적 디지털 저장 매체.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18194348 | 2018-09-13 | ||
| EP18194348.1 | 2018-09-13 | ||
| PCT/EP2019/074436 WO2020053369A1 (en) | 2018-09-13 | 2019-09-12 | Bitstream merging |
| KR1020217009141A KR102572947B1 (ko) | 2018-09-13 | 2019-09-12 | 비트 스트림 병합 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217009141A Division KR102572947B1 (ko) | 2018-09-13 | 2019-09-12 | 비트 스트림 병합 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230128584A true KR20230128584A (ko) | 2023-09-05 |
Family
ID=63579240
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217009141A KR102572947B1 (ko) | 2018-09-13 | 2019-09-12 | 비트 스트림 병합 |
| KR1020237029059A KR20230128584A (ko) | 2018-09-13 | 2019-09-12 | 비트 스트림 병합 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217009141A KR102572947B1 (ko) | 2018-09-13 | 2019-09-12 | 비트 스트림 병합 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US11800128B2 (ko) |
| EP (1) | EP3850851A1 (ko) |
| JP (3) | JP7179163B2 (ko) |
| KR (2) | KR102572947B1 (ko) |
| CN (1) | CN113039804A (ko) |
| BR (1) | BR112021004636A2 (ko) |
| MX (1) | MX2021002934A (ko) |
| WO (1) | WO2020053369A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020070120A1 (en) * | 2018-10-02 | 2020-04-09 | Telefonaktiebolaget Lm Ericsson (Publ) | Picture tile attributes signaled using loop(s) over tiles |
| US11381867B2 (en) | 2019-01-08 | 2022-07-05 | Qualcomm Incorporated | Multiple decoder interface for streamed media data |
| GB2584295A (en) * | 2019-05-28 | 2020-12-02 | Canon Kk | Method and apparatus for encoding and decoding a video bitstream for merging regions of interest |
| CN110248221A (zh) * | 2019-06-18 | 2019-09-17 | 北京物资学院 | 一种视频广告动态插入方法及装置 |
| US11792433B2 (en) * | 2020-09-28 | 2023-10-17 | Sharp Kabushiki Kaisha | Systems and methods for signaling profile and level information in video coding |
| US20220337855A1 (en) * | 2021-04-20 | 2022-10-20 | Samsung Electronics Co., Ltd. | Operation of video decoding engine for evc |
| WO2023203423A1 (en) * | 2022-04-20 | 2023-10-26 | Nokia Technologies Oy | Method and apparatus for encoding, decoding, or displaying picture-in-picture |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050012809A (ko) * | 2002-06-18 | 2005-02-02 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 인코딩 방법과 대응 인코딩 및 디코딩 장치들 |
| SI3264780T1 (sl) * | 2007-04-18 | 2020-08-31 | Dolby International Ab | Kodirni sistemi, pri katerih se uporablja dodatni niz sekvenčnih parametrov za skalabilno kodiranje videa ali večpogledno kodiranje |
| JP5967866B2 (ja) * | 2011-04-26 | 2016-08-10 | キヤノン株式会社 | 符号化装置、符号化方法及びプログラム |
| US10165267B2 (en) * | 2011-08-30 | 2018-12-25 | Intel Corporation | Multiview video coding schemes |
| US20130188715A1 (en) * | 2012-01-09 | 2013-07-25 | Qualcomm Incorporated | Device and methods for merge list reordering in video coding |
| US9838685B2 (en) * | 2012-06-15 | 2017-12-05 | Google Technology Holdings LLC | Method and apparatus for efficient slice header processing |
| US10142622B2 (en) * | 2012-06-29 | 2018-11-27 | Telefonaktiebolaget Lm Ericsson (Publ) | Apparatus and methods thereof for video processing |
| JP6290088B2 (ja) * | 2012-09-28 | 2018-03-07 | シャープ株式会社 | 画像復号装置、画像復号方法、および記録媒体 |
| US10284908B2 (en) * | 2013-02-26 | 2019-05-07 | Comcast Cable Communications, Llc | Providing multiple data transmissions |
| GB2516824A (en) * | 2013-07-23 | 2015-02-11 | Nokia Corp | An apparatus, a method and a computer program for video coding and decoding |
| US10205949B2 (en) * | 2014-05-21 | 2019-02-12 | Arris Enterprises Llc | Signaling for addition or removal of layers in scalable video |
| US10798422B2 (en) * | 2015-10-20 | 2020-10-06 | Intel Corporation | Method and system of video coding with post-processing indication |
| EP3744103B1 (en) | 2018-01-25 | 2024-03-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Efficient sub-picture extraction |
| WO2019195037A1 (en) * | 2018-04-03 | 2019-10-10 | Futurewei Technologies, Inc. | Bitstream signaling of error mitigation in sub-picture bitstream based viewport dependent video coding |
-
2019
- 2019-09-12 MX MX2021002934A patent/MX2021002934A/es unknown
- 2019-09-12 BR BR112021004636-4A patent/BR112021004636A2/pt unknown
- 2019-09-12 EP EP19766029.3A patent/EP3850851A1/en active Pending
- 2019-09-12 JP JP2021513977A patent/JP7179163B2/ja active Active
- 2019-09-12 KR KR1020217009141A patent/KR102572947B1/ko active IP Right Grant
- 2019-09-12 KR KR1020237029059A patent/KR20230128584A/ko not_active Application Discontinuation
- 2019-09-12 WO PCT/EP2019/074436 patent/WO2020053369A1/en unknown
- 2019-09-12 CN CN201980074638.0A patent/CN113039804A/zh active Pending
-
2021
- 2021-03-12 US US17/199,984 patent/US11800128B2/en active Active
-
2022
- 2022-11-15 JP JP2022182498A patent/JP7359926B2/ja active Active
-
2023
- 2023-09-14 US US18/368,061 patent/US20230421793A1/en active Pending
- 2023-09-28 JP JP2023168401A patent/JP2023171865A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023022096A (ja) | 2023-02-14 |
| US11800128B2 (en) | 2023-10-24 |
| CN113039804A (zh) | 2021-06-25 |
| MX2021002934A (es) | 2021-07-16 |
| KR102572947B1 (ko) | 2023-08-31 |
| US20210203973A1 (en) | 2021-07-01 |
| WO2020053369A1 (en) | 2020-03-19 |
| JP7179163B2 (ja) | 2022-11-28 |
| JP2022501889A (ja) | 2022-01-06 |
| EP3850851A1 (en) | 2021-07-21 |
| KR20210047935A (ko) | 2021-04-30 |
| BR112021004636A2 (pt) | 2021-05-25 |
| JP2023171865A (ja) | 2023-12-05 |
| JP7359926B2 (ja) | 2023-10-11 |
| US20230421793A1 (en) | 2023-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102572947B1 (ko) | 비트 스트림 병합 | |
| RU2653299C2 (ru) | Способ и устройство для кодирования и декодирования видеоданных | |
| KR102037158B1 (ko) | 비디오 구성 | |
| JP6626573B2 (ja) | ハイダイナミックレンジ映像の、ｃｒｃコードを含むレイヤ表現および配信 | |
| KR102317938B1 (ko) | 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템 | |
| JP7397036B2 (ja) | 映像符号化におけるサブピクチャエンティティ | |
| US11589047B2 (en) | Video encoding and decoding methods and apparatus | |
| JP7444826B2 (ja) | 符号化された映像におけるサブピクチャトラック | |
| KR20220110300A (ko) | 서브픽처들, 슬라이스들 및 타일들을 지원하는 비디오 코딩 | |
| EP3439309B1 (en) | Method and apparatus for transmitting and receiving broadcast signals | |
| US20230199224A1 (en) | Semantics for constrained processing and conformance testing in video coding | |
| WO2022069790A1 (en) | A method, an apparatus and a computer program product for video encoding/decoding | |
| CN115550719A (zh) | 信令通知预选的目的 | |
| CN114514742A (zh) | 采用已编码视频流中的子图片进行信号发送的用信号发送虚拟边界的方法 | |
| EP4300960A1 (en) | Encoder, decoder, encoding method, and decoding method | |
| WO2024004708A1 (en) | Decoding apparatus, encoding apparatus, decoding method, and encoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal |