KR20210080565A - 다중 해상도 참조 픽처 관리를 사용한 비디오 코딩 - Google Patents

다중 해상도 참조 픽처 관리를 사용한 비디오 코딩 Download PDF

Info

Publication number
KR20210080565A
KR20210080565A KR1020217018136A KR20217018136A KR20210080565A KR 20210080565 A KR20210080565 A KR 20210080565A KR 1020217018136 A KR1020217018136 A KR 1020217018136A KR 20217018136 A KR20217018136 A KR 20217018136A KR 20210080565 A KR20210080565 A KR 20210080565A
Authority
KR
South Korea
Prior art keywords
picture
pictures
spatial resolution
resolution
video coding
Prior art date
Application number
KR1020217018136A
Other languages
English (en)
Other versions
KR102427074B1 (ko
Inventor
샹린 왕
이-원 천
윈페이 정
싱 원
위충 천
웨 황
Original Assignee
베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority to KR1020227025949A priority Critical patent/KR20220109489A/ko
Publication of KR20210080565A publication Critical patent/KR20210080565A/ko
Application granted granted Critical
Publication of KR102427074B1 publication Critical patent/KR102427074B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25G—HANDLES FOR HAND IMPLEMENTS
    • B25G1/00—Handle constructions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B3/00—Hand knives with fixed blades

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 코딩 방법 및 장치가 제공된다. 둘 이상의 픽처로 이루어진 세트가 코딩된다. 상기 세트는 적어도 제1 공간 해상도로 코딩된 제1 픽처 및 상기 제1 공간 해상도와 상이한 제2 공간 해상도로 코딩된 제2 픽처를 포함한다. 상기 둘 이상의 픽처로 이루어진 세트는 대응하는 공간 해상도에 기초하여 디코딩된 픽처 버퍼에 저장된다. 상기 디코딩된 픽처 버퍼에 저장된 상기 둘 이상의 픽처로 이루어진 세트는 상기 둘 이상의 픽처로 이루어진 세트에 후속하는 하나 이상의 연속 픽처를 코딩하기 위한 참조 픽처 세트로서 사용된다. 상기 둘 이상의 픽처로 이루어진 세트는 적어도 2 개의 상이한 공간 해상도를 갖는 픽처를 포함하는 참조 픽처 리스트에 통합된다.

Description

다중 해상도 참조 픽처 관리를 사용한 비디오 코딩
본 개시는 일반적으로 비디오 코딩 및 압축에 관한 것이다. 더 구체적으로, 본 개시는 참조 픽처 관리를 사용한 비디오 코딩을 수행하는 시스템 및 방법에 관한 것이다.
본 섹션은 본 개시에 관련된 배경 정보를 제공한다. 본 섹션에 포함된 정보는 선행 기술로서 파악되어서는 안 된다.
다양한 비디오 코딩 기술 중 임의의 것이 비디오 데이터를 압축하는데 사용될 수 있다. 비디오 코딩은 하나 이상의 비디오 코딩 표준에 따라 수행될 수 있다. 일부 예시적인 비디오 코딩 표준에는 다목적 비디오 코딩(versatile video coding, VVC), 공동 탐사 테스트 모델(Joint exploration test model, JEM), 고효율 비디오 코딩(H.265/HEVC), 고급 비디오 코딩(H.264/AVC) 및 동영상 전문가 그룹(MPEG) 코딩이 포함된다. 비디오 코딩은 일반적으로 비디오 이미지 또는 시퀀스에 내재된 중복성의 이점을 이용하는 예측 방법(예를 들어, 인터 예측, 인트라 예측 등)을 사용한다. 비디오 코딩 기술의 한 가지 목표는 비디오 데이터를 더 낮은 비트 전송률을 사용하는 형식으로 압축하면서 비디오 품질 저하를 방지하거나 최소화하는 것이다.
많은 비디오 코덱 사양에 따라, 디코딩된 픽처 버퍼(decoded picture buffer, DPB)에 저장된 픽처는 다목적으로 식별되고 관리될 필요가 있다. 예를 들어, 이들 픽처는 인터 예측을 수행하기 위한 참조 픽처로 사용될 수 있다. 추가적으로 또는 대안적으로, 이들 픽처는 디스플레이를 위한 출력 픽처로 사용될 수 있다. 한편, 이러한 픽처와 관련된 정보는 시간적 모션 벡터 유도에서 이 모션 벡터(motion vector, MV)의 스케일링 및/또는 가중된 예측에서의 샘플 값의 스케일링 등에 사용될 수도 있다.
본 섹션은 본 개시의 일반적인 요약이며 그 전체 범위 또는 그 모든 특징에 대한 종합적인 개시가 아니다.
본 개시의 제1 관점에 따라, 비디오 코딩 방법은 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 복수의 프로그램을 저장하는 메모리를 갖춘 컴퓨팅 장치에서 수행된다. 상기 방법은 둘 이상의 픽처로 이루어진 세트를 코딩하는 단계를 포함하며, 상기 세트는 적어도 제1 공간 해상도로 코딩된 제1 픽처 및 상기 제1 공간 해상도와 상이한 제2 공간 해상도로 코딩된 제2 픽처를 포함한다. 상기 둘 이상의 픽처로 이루어진 세트는 디코더에 동작 가능하게 결합된 디코딩된 픽처 버퍼에 저장된다. 상기 둘 이상의 픽처로 이루어진 세트는 그 대응하는 픽처 해상도에 기초해서 디코딩된 픽처 버퍼에 저장된다. 상기 디코딩된 픽처 버퍼에 저장된 둘 이상의 픽처로 이루어진 세트는 상기 둘 이상의 픽처로 이루어진 세트 후속 하나 이상의 연속적인 픽처를 코딩하기 위한 참조 픽처 세트로서 사용된다. 상기 둘 이상의 픽처로 이루어진 세트는 적어도 두 개의 서로 다른 공간 해상도를 가진 픽처를 포함하는 참조 픽처 리스트에 통합된다.
본 개시의 제2 관점에 따라, 비디오 코딩 장치가 제공된다. 상기 장치는 둘 이상의 픽처로 이루어진 세트를 코딩하도록 구성되어 있는 코더를 포함한다. 상기 세트는 적어도 제1 공간 해상도로 코딩된 제1 픽처 및 상기 제1 공간 해상도와 상이한 제2 공간 해상도로 코딩된 제2 픽처를 포함한다. 상기 둘 이상의 픽처로 이루어진 세트는 디코더에 동작 가능하게 결합된 디코딩된 픽처 버퍼에 저장된다. 상기 둘 이상의 픽처로 이루어진 세트는 그 대응하는 픽처 해상도에 기초해서 디코딩된 픽처 버퍼에 저장된다. 상기 디코딩된 픽처 버퍼는 상기 둘 이상의 픽처로 이루어진 세트를 저장하기 위해 구성된 컴퓨터 판독 가능형 저장 장치를 포함한다. 상기 디코딩된 픽처 버퍼는 제1 공간 해상도 및 제2 공간 해상도에 기초해서 디코딩된 픽처 버퍼에 저장된다. 상기 둘 이상의 픽처로 이루어진 세트는 디코더에 동작 가능하게 결합된 디코딩된 픽처 버퍼에 저장된다. 상기 둘 이상의 픽처로 이루어진 세트는 그 대응하는 픽처 해상도에 기초해서 디코딩된 픽처 버퍼에 저장된다. 상기 디코딩된 픽처 버퍼에 저장된 둘 이상의 픽처로 이루어진 세트는 상기 둘 이상의 픽처로 이루어진 세트 후속 하나 이상의 연속적인 픽처를 코딩하기 위한 참조 픽처 세트로서 사용된다. 상기 둘 이상의 픽처로 이루어진 세트는 적어도 두 개의 서로 다른 공간 해상도를 가진 픽처를 포함하는 참조 픽처 리스트에 통합된다.
이하, 본 발명의 예시적이고 비 제한적인 실시예의 세트가 첨부된 도면과 관련하여 설명될 것이다. 구조, 방법 또는 기능의 변형은 본 명세서에 제시된 예에 기초하여 관련 기술 분야의 통상의 기술자에 의해 구현될 수 있으며, 이러한 변형은 모두 본 개시의 범위 내에 포함된다. 상충이 존재하지 않는 경우, 다른 실시예의 교시가 서로 결합될 수 있지만 반드시 필요한 것은 아니다.
도 1은 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 인코더를 설명하는 블록도이다.
도 2는 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 디코더를 설명하는 블록도이다.
도 3은 많은 비디오 코딩 표준과 함께 사용될 수 있는 파라미터 세트의 예이다.
도 4는 시간적 모션 벡터 예측기(temporal motion vector predictor, TVMP)를 유도하기 위한 모션 벡터 스케일링의 예시이다.
도 5는 스케일러블 비디오 코딩 구조의 예를 나타낸다.
도 6은 2 개의 상이한 공간 해상도로 코딩된 픽처 세트를 예시한다.
본 개시에서 사용되는 용어는 본 개시를 제한하기보다는 특정 예를 예시하기 위한 것이다. 본 명세서 및 첨부된 청구 범위에서 사용되는 단수형 "a" "an" 및 "the"는 문맥에 다른 의미가 명확히 포함되지 않는 한 복수형을 또한 지칭한다. 본 명세서에서 사용되는 용어 "및/또는"은 하나 이상의 연관된 리스트 항목의 임의의 또는 모든 가능한 조합을 지칭한다는 것을 이해해야 한다.
본 명세서에서는 다양한 정보를 설명하기 위해 "제1", "제2", "제3" 등의 용어가 사용될 수 있지만, 이러한 용어에 의해 정보가 제한되어서는 안 된다는 것을 이해해야 한다. 이러한 용어는 정보의 한 범주를 다른 범주와 구별하는 데만 사용된다. 예를 들어, 본 개시의 범위를 벗어나지 않으면서, 제1 정보는 제2 정보로 지칭될 수 있고; 유사하게, 제2 정보는 또한 제1 정보로 지칭될 수 있다. 본 개시에서 사용되는 용어 "만약"은 문맥에 따라 "언제" 또는 "후" 또는 "응답하여"를 의미하는 것으로 이해될 수 있다.
본 명세서 전반에 걸쳐 단수 또는 복수에서 "일 실시예", "실시예", "다른 실시예" 등의 언급은 실시예와 관련하여 설명된 하나 이상의 특정 특징, 구조 또는 특성이 본 개시의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반에 걸쳐 다양한 위치에서 단수 또는 복수에서 "일 실시예에서" 또는 "실시예에서", "다른 실시예에서" 등의 문구가 출현하는 것은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다. 더욱이, 하나 이상의 실시예에서의 특정 특징, 구조 또는 특성은 임의의 적절한 방식으로 결합될 수 있다.
개념적으로, 배경 섹션에서 이전에 언급된 것을 포함하여 많은 비디오 코딩 표준이 유사하다. 예를 들어, 거의 모든 비디오 코딩 표준은 블록 기반 처리를 사용하고 비디오 압축을 달성하기 위해 유사한 비디오 코딩 블록 다이어그램을 공유한다.
도 1은 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 인코더(100)의 블록도를 도시한다. 인코더(100)에서, 비디오 프레임은 처리를 위해 복수의 블록으로 분할된다. 각각의 주어진 비디오 블록에 대해, 예측은 인터 예측 접근법 또는 인트라 예측 접근법을 기반으로 형성된다. 인터 예측에서 하나 이상의 예측기는 이전에 재구성된 프레임의 픽셀을 기반으로 동작 추정 및 동작 보상을 통해 형성된다. 인트라 예측에서 예측 변수는 현재 프레임에서 재구성된 픽셀을 기반으로 형성된다. 모드 결정을 통해 현재 블록을 예측하기 위한 최상의 예측기를 선택할 수 있다.
현재 블록과 그 예측 자 사이의 차이를 나타내는 예측 잔차(prediction residual)가 변환(102) 모듈로 전송된다. 그런 다음 엔트로피 감소를 위해 변환(102) 모듈로부터 양자화(104) 모듈로 변환 계수가 전송된다. 그런 다음 압축된 비디오 비트스트림을 생성하기 위해 엔트로피 코딩(106) 모듈에 양자화된 계수가 공급된다. 도 1에 도시된 바와 같이, 블록 파티션 정보, 모션 벡터, 참조 픽처 인덱스 및 인트라 예측 모드 등과 같은 인터 예측 모듈 및/또는 인트라 예측(112) 모듈로부터의 예측 관련 정보(110)도 엔트로피 코딩(106) 모듈을 통해 공급되고 압축 비디오 비트스트림(114)에 저장된다.
인코더(100)에서, 예측을 위한 픽셀을 재구성하기 위해 디코더 관련 모듈도 필요하다. 먼저, 역 양자화(116) 블록과 역변환(118) 모듈을 통해 예측 잔차를 재구성한다. 이 재구성된 예측 잔차는 현재 블록에 대한 필터링되지 않은 재구성된 픽셀을 생성하기 위해 블록 예측기(120)와 결합된다.
코딩 효율 및 시각적 품질을 향상시키기 위해 인-루프 필터가 흔히 사용된다. 예를 들어, 디블로킹 필터(deblocking filter)는 AVC, HEVC뿐만 아니라 현재 버전의 VVC에서 사용할 수 있다. HEVC에서는 코딩 효율성을 더욱 향상시키기 위해 샘플 적응 오프셋(sample adaptive offset, SAO)이라는 추가 인-루프 필터가 정의된다. 현재 VVC 표준 버전에서는 적응 루프 필터(Adaptive Loop Filter, ALF)라는 또 다른 인-루프 필터가 적극적으로 조사되고 있으며 최종 표준에 포함될 가능성이 높다.
이러한 인-루프 필터 동작은 선택 사항이다. 이러한 동작을 수행하면 코딩 효율성과 시각적 품질을 개선하는 데 도움이 된다. 이들은 또한 계산 복잡성을 줄이기 위해 인코더(100)에 의해 렌더링된 결정으로서 턴 오프될 수 있다.
인트라 예측은 일반적으로 필터링되지 않은 재구성된 픽셀을 기반으로 하는 반면, 인터 예측은 이러한 필터 옵션이 인코더(100)에 의해 켜진 경우 필터링된 재구성된 픽셀을 기반으로 한다는 점에 유의해야 한다.
도 2는 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 디코더(200)를 설명하는 블록도이다. 이 디코더(200)는 도 1의 인코더(100)에 존재하는 재구성 관련 섹션과 유사하다. 디코더(200)(도 2)에서, 입력 비디오 비트스트림(201)은 먼저 엔트로피 디코딩(202) 모듈을 통해 디코딩되어 양자화된 계수 레벨 및 예측 관련 정보를 유도한다. 양자화된 계수 레벨은 재구성된 예측 잔차를 얻기 위해 역 양자화(204) 블록 및 역변환(206) 모듈을 통해 처리된다. 인트라/인터 모드 선택기(212) 블록에서 구현되는 블록 예측기 메커니즘은 디코딩된 예측 정보에 기초하여 인트라 예측(208) 절차 또는 모션 보상(210) 프로세스를 수행하도록 구성된다. 필터링되지 않은 재구성된 픽셀 세트는 역변환(206) 모듈로부터 재구성된 예측 잔차와 합산기(214)를 사용하여 블록 예측기 메커니즘에 의해 생성된 예측 출력을 합산하여 획득된다. 인-루프 필터의 턴 온 상황에서, 필터링 작업은 이러한 재구성된 픽셀에 대해 수행되어 출력을 위해 최종 재구성된 비디오를 유도 한다.
파라미터 세트는 특정 헤더 정보의 손실로 인한 파괴적인 영향 때문에 H.264/AVC 비디오 코딩 표준에 도입되었다. 이 헤더 정보는 시퀀스 헤더 및/또는 픽처 헤더의 형태로 존재할 수 있다. 예를 들어, 많은 비디오 코딩 애플리케이션에서, 픽처는 슬라이스와 같은 다중 세그먼트로 분할될 수 있으며, 각 세그먼트는 자체 전송 단위(예를 들어, RTP 패킷)로 전송된다. 일반적으로 앞서 언급한 헤더 정보는 픽처의 제1 세그먼트와 함께 전송된다. 이 경우 픽처의 제1 패킷이 손실되면 이 헤더 데이터가 없기 때문에 픽처가 완전히 부정확해질 수 있다.
파라미터 세트는 비디오 비트스트림(도 1, 114 또는 도 2, 201)의 일부일 수 있거나, 신뢰할 수 있는 채널을 사용하는 대역 외 전송(out-of-band transmission)과 같은 다른 수단을 통해 디코더에 의해 수신될 수 있거나, 또는 인코더(100)(도 1) 및 디코더(200)(도 2)에서 하드 코딩될 수 있다. 도 3을 참조하면, 파라미터 세트(300)는 각각 상이한 범위를 갖는 상이한 유형의 데이터를 포함할 수 있다. 예를 들어, 시퀀스 파라미터 세트(SPS)(302)는 비디오 시퀀스 레벨 정보를 실어 전달하도록 정의된다. 픽처 파라미터 세트(picture parameter set, PPS)(304)는 또한 픽처 레벨 정보를 실어 전달하도록 정의된다. 파라미터 세트는 슬라이스 헤더(308)로부터 직접 또는 간접적으로 참조될 수 있는 식별자를 포함한다.
HEVC에서, 비디오 파라미터 세트(video parameter set, VPS)(306)라고 하는 또 다른 유형의 파라미터 세트가 도입되어, 능력 교환 및 세션 협상이 있는 경우를 지원하기 위해 다중 계층 및 하위 계층에 적용 가능한 정보를 실어 전달한다. 동일한 또는 상이한 SPS(302)를 갖는지에 관계없이 주어진 비디오 시퀀스의 각 계층은 동일한 VPS(306)를 참조한다.
VPS(306)는 다음을 포함하는 정보를 전달한다: 1) 불필요한 중복을 피하기 위해 다중 계층 또는 동작 포인트에 의해 공유되는 공통 구문 요소; 2) 세션 협상에 필요한 동작 포인트의 필수 정보, 예를 들어, 프로필 및 수준; 및 3) 단일 SPS(302)에 속하지 않는 다른 동작 포인트 특정 정보, 예를 들어 계층 또는 하위 계층에 대한 가상 참조 디코더(hypothetical reference decoder, HRD) 파라미터. H.264/AVC에는 비교 가능한 파라미터 세트가 없으므로 위에 나열된 정보는 일반적으로 각 SPS(302)에서 반복되어야 한다.
도 3에 도시된 바와 같이, 슬라이스 헤더(308)는 식별자 pps_id를 통해 PPS(304)를 참조할 수 있다. 마찬가지로, PPS(304)는 식별자 sps_id를 통해 SPS(302)를 참조할 수 있고, SPS는 식별자 vps_id를 통해 VPS를 참조할 수 있다.
인터-예측을 위해, 주어진 참조 픽처로부터 예측 블록을 형성하는 방법을 설명하기 위해 모션 모델이 정의된다.
H.265/HEVC, H.264/AVC 및 이전 비디오 코딩 표준에서, 변환 모션 모델만이 정의되고 블록 기반 모션 보상(motion compensation, MC)에 사용된다. 이 모델을 기반으로 참조 픽셀 위치(xr, yr)는 다음과 같이 유도될 수 있다:
xr = x+a
yr = y+b
여기서(x, y)는 현재 픽셀인 경우 위치이다. 파라미터 a와 b는 모션 벡터(a, b)의 수평 성분 및 수직 성분이다. 이러한 모션 모델은 간단하며 회전(rotation), 줌(zooming) 또는 전단(shear) 매핑 등과 같은 비 평행 이동을 모델링하는 데 사용할 수 없다.
보다 효율적인 인터 예측을 달성하기 위해, 최신 VVC 표준에서 보다 복잡한 아핀 모션 모델이 사용된다. 현재 4 개 파라미터 및 6 개 파라미터 아핀 모델이 모두 지원된다. 일반적인 6 개 파라미터 아핀 모델은 다음과 같이 표현할 수 있다:
xr = a*x+b*y+c
yr = d*x+e*y+f
여기서(a, b, c, d, e, f)는 인코더에서 디코더로 결정되고 전송되는 파라미터이다.
단순화를 위해 VVC에서는 다음과 같은 4-파라미터 아핀 모델도 지원하여 회전, 줌 및 병진의 조합으로 제한되는 모션을 분류한다.
xr = a*x+b*y+c
yr = -b*x+a*y+f
4-파라미터 아핀 모델은 6-파라미터 아핀 모델보다 덜 일반적이지만 코딩하고 전송할 파라미터가 적다. 모션이 회전, 줌 및 병진으로 제한되는 경우 일반적으로 레이트 왜곡(rate-distortion, RD) 관점에서 4-파라미터 아핀 모델이 바람직하다.
HEVC에서 현재 블록의 모션 벡터는 참조 픽처 중 하나의 모션 벡터를 이용하여 예측할 수 있다. 이러한 모션 벡터 예측기는 시간적 모션 벡터 예측기(temporal motion vector predictor, TMVP)라고 한다. 주어진 현재 블록에 대한 TMVP를 유도하기 위해 일련의 절차가 HEVC에 정의되어 있다.
특히, 이 TMVP의 유도에서, 스케일링된 모션 벡터는 참조 픽처 리스트에서 이전에 코딩된 픽처인 병치된 픽처(collocated picture)의 MV로부터 유도된다. TMVP의 유도에서, 슬라이스 헤더의 명시적 플래그(collocated_from_l0_flag)가 먼저 디코더로 전송되어 리스트 1이라는 제2 참조 픽처 리스트와 비교하여 리스트 0이라는 제1 참조 픽처 리스트에서 병치된 픽처가 선택되었는지를 나타낸다. 본 개시의 다음 설명에서, 단순성을 위해, 리스트 0은 또한 L0으로 지칭되고; 마찬가지로 리스트 1은 L1이라고도 한다. 병치된 참조 인덱스(collocated_ref_idx)가 추가로 전송되어 TMVP를 유도하기 위한 병치된 픽처로서 그 리스트에서 어느 픽처가 선택되었는지를 나타낸다. 시간적 모션 후보의 L0 MV 및 L1 MV는 표 1에 나타낸 바와 같이 병치된 픽처의 병치된 블록에서 서로 다른 리스트의 MV에 대해 미리 정의된 순서에 따라 독립적으로 도출된다.
표 1은 HEVC에서 TMVP를 위한 병치된 블록으로부터 시간적 MV를 유도하는 예시적인 알고리즘을 보여준다.
시간적 모션 후보의 LX MV(X는 0 또는 1일 수 있음)를 도출할 때, 병치된 블록의 LY MV(Y는 0 또는 1일 수 있음)를 선택하여 현재 블록에 대한 시간적 모션 후보의 LX MV를 도출한다. 병치된 블록의 선택된 LY MV는 다음 단락에 설명된 대로 POC 거리에 따라 스케일링된다.
현재 픽처에 역방향 예측이 없는 경우(이것은 현재 픽처보다 더 큰 POC가 있는 참조 픽처가 없음을 의미한다) 병치된 블록의 LX MV가 먼저 선택된다.

LX MV를 사용할 수 없는 경우 L(1-X)가 선택된다.

그렇지 않으면(현재 픽처에 역방향 예측이 있음)
병치된 블록의 LN MV가 먼저 선택된다. N은 1-클로케이티드(1-cloolcated) 픽처 리스트(0 또는 1)으로 설정된다.
LN MV를 사용할 수 없는 경우 L(1-N)이 선택된다.
도 4는 시간적 모션 벡터 예측기(TVMP)를 유도하기 위한 모션 벡터 스케일링 절차의 예시이다. TMVP를 도출하기 위한 스케일링된 모션 벡터는 점선(401)으로 도시된 바와 같이 획득되며, 이는 일련의 픽처 순서 카운트(Picture Order Count, POC) 거리 tb 403 및 거리 td 404를 사용하여 동일 위치 예측 유닛(PU)(402)의 선택된 모션 벡터로부터 스케일링되며, 여기서 tb 403은 현재 픽처의 참조 픽처와 현재 픽처 간의 POC 차이(POC 거리라고도 함)로 정의되고, td 404는 공동 배치된 픽처의 참조 픽처와 공동 배치된 픽처 간의 POC 차이로 정의된다. 시간적 병합 후보의 참조 픽처 인덱스는 0으로 설정된다. 스케일링 프로세스의 실제 구현은 HEVC 사양에 설명되어 있다. B-슬라이스의 경우 두 개의 모션 벡터를 획득된다. 제1 모션 벡터는 참조 픽처 리스트 0을 위한 것이고, 제2 모션 벡터는 참조 픽처 리스트 1을 위한 것이다. 제1 모션 벡터 및 제2 모션 벡터는 쌍 예측 TMVP를 구성하기 위해 결합된다.
이전 섹션에서 설명한 바와 같이, 이전에 디코딩/재구성된 픽처는 디코딩된 픽처 버퍼(decoded picture buffer, DPB)에 저장된다. 이러한 픽처는 특정 규칙에 따라 관리되므로 필요할 때 사용할 수 있고 더 이상 필요하지 않을 때 DPB에서 영구적으로 제거된다. DPB의 픽처는 인터 예측을 위한 참조 픽처로 사용되거나 디스플레이를 위해 출력되는 것과 같은 여러 목적으로 사용된다. 또한 시간적 모션 벡터 예측기(TMVP)를 도출할 때 모션 벡터 스케일링에 대한 정보와 가중 예측의 샘플 값 스케일링에 대한 정보를 제공한다.
AVC 및 HEVC 모두에서 DPB에 저장된 픽처는 디코딩된 참조 픽처 마킹 프로세스를 통해 관리되어 픽처가 디코딩 순서로 연속 픽처를 코딩하기 위한 참조 픽처로 여전히 사용되고 있는지 및/또는 픽처가 출력(또는 디스플레이)에 필요한지를 결정한다. 두 경우 모두 픽처가 필요하지 않은 경우 DPB에서 제거되고 해당 메모리 공간이 다른 픽처에 사용될 수 있다. 두 표준에서 참조 픽처는 단기 참조 픽처와 장기 참조 픽처의 두 가지 유형으로 분류된다.
참조 픽처 마킹 프로세스는 AVC 대 HEVC에서 상이한 메커니즘을 통해 달성된다. H.264/AVC에는 디코딩된 참조 픽처 마킹을 위한 두 가지 메커니즘이 있다: 암시적 슬라이딩 윈도우 프로세스와 명시적 메모리 관리 제어 작업(MMCO) 프로세스이다. 슬라이딩 윈도우 프로세스는 참조 프레임 수가 SPS에 정의된 주어진 최대 수(max_num_ref_frames)와 같을 때 단기 참조 픽처를 "참조용으로 사용되지 않음"으로 마킹한다. 단기 참조 픽처는 가장 최근에 디코딩된 단기 픽처가 DPB에 보관되도록 선입 선출 방식으로 저장된다.
명시적 MMCO 프로세스는 다수의 MMCO 명령을 포함할 수 있다. MMCO 명령은 하나 이상의 단기 또는 장기 참조 픽처를 "참조용으로 사용되지 않음"으로 마킹하고, 모든 픽처를 "참조용으로 사용되지 않음"으로 마킹하고, 현재 참조 픽처 또는 기존 단기 참조 픽처를 장기(long-term)로 마킹하며, 장기 참조 픽처에 장기 참조 픽처 인덱스를 그 장기 참조 픽처에 할당할 수 있다.
H.265/HEVC에서는 참조 픽처 세트(RPS)를 통한 참조 픽처 관리를 위한 완전히 다른 접근법이 도입되었다. 각각의 특정 슬라이스에 대해 RPS는 현재 픽처 또는 후속 픽처에서 사용되는 참조 픽처의 전체 집합을 정의한다. 이 참조 픽처 세트는 모두 DPB에 보관된다. H.264/AVC의 메커니즘과 달리 RPS 개념을 사용하면 DPB에서 참조 픽처의 올바른 상태를 유지하기 위해 디코딩 순서에서 이전 픽처의 정보가 필요하지 않다.
통신 채널의 가용 대역폭의 일시적인 변화를 수용하기 위해 비트스트림의 비디오 해상도를 변경하는 것이 바람직할 수 있다. 이것은 동시 브로드캐스트 또는 스케일러블 비디오 코딩을 통해 달성할 수 있다.
동시 브로드캐스트의 경우 공간 해상도가 다른 동일한 비디오에 대한 비트스트림을 별도로 생성하여 브로드캐스트 방식으로 동시에 전송할 수 있다. 수신 장치는 수신 장치의 대역폭에 기초하여 상이한 해상도의 비트스트림 중에서 적응적으로 선택할 수 있다. 이러한 해상도 전환은 일반적으로 랜덤 액세스 포인트 역할을 할 수 있는 주요 픽처(예를 들어, IDR 픽처)의 위치에서 발생한다.
스케일러블 비디오 코딩에서, 공간 해상도가 다른 동일한 비디오에 대한 비트스트림을 계층화된 방식으로 공동으로 생성하고 각각의 계층은 다른 비디오 해상도에 대응한다. 이러한 공동 코딩을 통해, 이러한 해상도가 서로 다른 비디오 간의 특정 상관 관계를 더욱 활용하여 비트 전송률을 줄일 수 있다.
도 5는 스케일러블 비디오 코딩 구조의 예를 나타낸다. 이 예에서, 2 개의 계층이 존재하며, 이는 각각 기본 계층(501) 및 향상 계층(502)으로 지칭될 수 있다. 이 예에서, 기본 계층(501)은 향상 계층(502)보다 더 낮은 공간 해상도와 더 낮은 시간적 해상도를 모두 갖는다. 동시 브로드캐스트와 비교하여, 인터-레이어 예측(inter-layer prediction)(수직 화살표로 표시됨)이 지원되어 향상 계층(502) 코딩 효율을 개선할 수 있다.
H.264/AVC의 스케일러블 비디오 코딩 프로파일에 따르면, 여러 항목 중 임의의 항목을 병치된 기본 계층(501) 블록으로부터 인터-레이어 예측에 사용할 수 있다. 이러한 항목에는 인트라-예측 영역, 모션 벡터 및/또는 블록 텍스처 예측 잔차에서 재구성된 픽셀의 사용이 포함된다. 또한, 배치된 기본 계층(501) 블록으로부터의 이러한 항목들은 기본 계층(501)과 향상 계층(502)이 상이한 공간 해상도를 가질 때 적절하게 업-샘플링 및/또는 스케일링될 필요가 있다. 이 경우, 업-샘플링/스케일링된 중간 데이터를 저장하기 위해 추가 버퍼가 필요할 수 있다. 인터-레이어 예측에 필요한 추가 버퍼를 제외하고 각 레이어에는 자체 DPB가 있다.
동시 브로드캐스트의 경우와 같이, 스케일러블 비디오 코딩에서 더 낮은 공간 해상도로부터 더 높은 공간 해상도로의 비트스트림 전환은 랜덤 액세스 포인트 역할을 할 수 있는 키 픽처(예를 들어, IDR 픽처)의 위치에서 발생할 수 있다. 기본 계층(501)이 항상 필요하기 때문에, 향상 계층(502)으로부터 기본 계층(501)으로의 전환은 임의의 픽처 위치에서 발생할 수 있다.
AV1(AOMedia Video 1)은 2015년에 설립되고, 반도체 산업, 주문형 비디오 제공업체 및 웹 브라우저 개발자의 컨소시엄인 AOMedia(Alliance for Open Media)에서 개발한 개방형 로열티없는 비디오 코딩 형식이다.
AV1에서는 "초 고해상도 프레임(frame super-resolution)"이라는 기능이 지원된다. 이 코딩 모드에 따르면, 픽처는 더 낮은 공간 해상도로 코딩되고 그런 다음 참조 버퍼 세트를 업데이트하기 전에 전체 해상도로 규범적으로 인-루프 초 고해상도로 될 수 있다. 이러한 방법은 매우 낮은 비트 전송률에서 지각적 이점을 제공하는 것으로 알려져 있다. 연산 처리를 유지하기 위해 초 고해상도 프로세스는 선형 업스케일링으로 분해되고 그런 다음 더 높은 공간 해상도에서 비너(Wiener) 필터를 기반으로 하는 루프 재구성 도구를 적용한다. 또한 라인 버퍼에서 오버헤드 없이 비용 효율적인 하드웨어 구현을 가능하게 하기 위해 업스케일링/다운스케일링은 수평으로만 작동하도록 제한된다.
H.264/AVC 및 H.265/HEVC와 같은 기존의 비디오 코딩 표준에서, 비디오는 일정한 공간 해상도로 코딩된다. 더 낮은 비트 전송률 시나리오 및/또는 더 낮은 가용 대역폭을 수용하기 위해 이 공간 해상도를 줄여야 하는 상황에서는 IDR 픽처와 함께 시그널링될 새로운 파라미터 세트 정보(예를 들어, SPS PPS 등)와 함께 랜덤 액세스를 지원할 수 있는 픽처(예를 들어, IDR 픽처)가 필요하다. 이 메커니즘의 문제는 픽처가 인트라 코딩되기 때문에 IDR 픽처를 보내는 데 일반적으로 비용이 많이 든다는 것이다. 해당 IDR 픽처에 더 낮은 비트 전송률이 적용되면 시각적 품질이 크게 저하될 수 있다.
AVC 및/또는 HEVC의 스케일러블 확장 프로파일을 이용하여, 더 낮은 비트 레이트 시나리오를 수용하기 위해 베이스 레이어(501) 픽처 비트스트림을 유지함으로써 공간 해상도가 감소될 수 있다. 그러나 확장 가능한 비디오 코딩에는 다중 레이어가 포함된다. 코딩 효율성은 일반적으로 단일 레이어를 코딩하는 것만큼 효율적이지 않다. 다중 계층 디코딩(및 경우에 따라 다중 계층 동작 보상)이 지원되어야 하기 때문에 디코더 복잡성이 더 높다. 디코더 측에서 이러한 추가 복잡성은 실제로 매우 바람직하지 않다.
AV1에서 이러한 경우는 프레임 초 해상도(frame super-resolution)의 코딩 모드를 통해 훨씬 더 잘 지원된다. 이 경우 프레임 해상도 감소는 인터 예측 픽처를 포함하여 주어진 픽처 위치에서 발생할 수 있다. 그러나 DPB의 픽처가 모두 동일한 공간 해상도를 갖도록 하려면 재구성된 픽처를 DPB에 저장하기 전에 프레임 업스케일링 프로세스와 그 뒤를 잇는 초 고해상도 프로세스가 필요하다.
본 개시에 따르면, 픽처는 임의의 픽처 위치에서 상이한 공간 해상도로 코딩될 수 있다. 공간 해상도의 변경은 모든 픽처 위치에서 발생할 수 있으나 랜덤 액세스를 지원하는 픽처(예를 들어, IDR 픽처)에서는 발생할 필요가 없다. 또한 재구성된 픽처를 원래 비디오 해상도로 다시 스케일링하는 데 필요한 업스케일링 프로세스 및 초 고해상도 프로세스가 없다. 대신 재구성된 픽처는 코딩된 픽처 해상도에 관계없이 DPB에 직접 저장된다.
픽처 해상도 저하는 수평 방향에 제한되지 않는다. 수평 및 수직 방향 모두에서 발생할 수 있다.
도 6은 2 개의 상이한 공간 해상도로 코딩된 픽처 세트를 예시한다. 예를 들어, 본 개시의 교시에 기초하여, DPB 버퍼는 적어도 2 개의 상이한 공간 해상도를 갖는 픽처를 포함할 수 있다. 도 6에 도시된 바와 같이, 픽처가 K, K+1, ... K+6 ....의 시간적 순서에 따라 코딩된다고 가정하면, 픽처는 필요할 때마다 비트 레이트를 절약하기 위해 공간적으로 다운그레이드될 수 있다. 이 예에서, K로 표시된 제1 픽처(601) 및 K+1로 표시된 제2 픽처(602)는 모두 제1 공간 해상도에 있다. 그렇지만, K+2로 표시된 제3 픽처(603)는 낮은 비트 레이트를 수용하기 위해 제1 해상도보다 낮은 제2 공간 해상도로 축소된다. 이것은 예를 들어 통신 채널에서 사용 가능한 대역폭의 감소로 인해 발생할 수 있다. 제4 픽처(604)(K+3), 제5 픽처(605)(K+4) 및 제6 픽처(606)(K+5)는 모두 제2 (낮은) 공간 해상도로 코딩된다. 제7 픽처(607)(K+6)에서 통신 채널 대역폭이 충분히 향상되고, 제7 픽처(607)는 제1 및 제2 픽처(601, 602)에 적용된 제1 (높은) 해상도로 코딩될 수 있다.
본 개시에서, 픽처는 더 이상의 업스케일링 및/또는 초 고해상도 없이 DPB에 직접 코딩되고 저장되는 해상도로 재구성된다. 도 6에 도시된 예에서. 제3, 제4, 제5 및 제6 픽처(603, 604, 605 및 606)(K+2, K+3, K+4 및 K+5)는 모두 제2 (낮은) 공간 해상도로 DPB에 저장되는 반면, 제1, 제2 및 제7 픽처(601, 602 및 607)(K, K+1 및 K+6)는 제1 (높은) 해상도로 DPB에 저장된다. 다시 말해, 세트에서 제2 공간 해상도를 가진 픽처는 제1 공간 해상도로 디코딩된 픽처 버퍼에 직접 저장되고, 세트에서 제2 공간 해상도를 가진 픽처는 제2 공간 해상도로 직접 디코딩된 픽처 버퍼에 저장된다. 그 결과, 디코딩된 픽처 버퍼는 공간 해상도가 다른 픽처를 저장한다. 하나 이상의 예에서, 디코딩된 픽처 버퍼는 통신 채널에서 상이한 이용 가능한 대역폭에 기초하여 그것의 네이티브 공간 해상도로 픽처를 저장한다.
그러므로 본 개시에 따르면, 참조 픽처 리스트는 공간 해상도가 다른 픽처를 포함할 수 있다. 이러한 특성은 기본적인 디코딩된 참조 픽처 마킹 프로세스와 직교한다는 점을 언급할 가치가 있다. 예를 들어, H.264/AVC에서 슬라이딩 윈도우 또는 MMCO 프로세스와 함께 사용할 수 있다. 또한 H.265/HEVC에서 RPS 및 그 관련 참조 픽처 리스트 생성 프로세스와 함께 사용할 수 있다.
참조 픽처 리스트에서 상이한 공간 해상도 픽처를 허용하는 주요 동기는 VVC에서 더 복잡한 모션 모델의 가용성이다. 예를 들어, 아핀 예측을 사용하면 참조 픽처가 현재 코딩 중인 픽처와 공간 해상도가 다를 때 좋은 예측을 달성하는 데 필요한 줌 효과가 자동으로 처리된다.
HEVC에서, 픽처 폭과 높이는 SPS(302)(도 3)에서 비디오 시퀀스 레벨에서 시그널링되고 비디오 시퀀스의 모든 픽처는 동일한 크기를 갖는 것으로 가정된다. 본 개시에 따르면, 픽처 폭 및 픽처 높이는 예컨대 픽처 레벨에서 직접 및/또는 간접적으로 시그널링된다. 원래 비디오 해상도는 예를 들어 SPS(302)에서 여전히 시퀀스 레벨에서 시그널링될 수 있다.
이러한 시그널링은 다양한 형태를 취할 수 있다. 예를 들어, PPS(304)에서 픽처 폭 및 높이는 각 차원을 따라 얼마나 많은 루마 샘플 값의 관점에서 시그널링될 수 있다. 대안적으로 또는 추가적으로, 이것들은 또한 원래 비디오 픽처 폭 및 높이에 대한 비율 값으로서 PPS(304)에서 시그널링될 수 있다. 예를 들어, 이러한 비율 값은 1/4, 1/2, 3/4 및 1.0 등일 수 있다. 이러한 비율 값은 분모 및 분자로 시그널링될 수 있다. 이것들은 미리 정의된 분모 및 분자 집합에 대한 인덱스 값으로 시그널링될 수도 있다.
본 개시에 따르면, 모션 벡터 스케일링은 픽처 POC 차이에 추가하여 픽처 해상도에 기초할 수 있다. 예를 들어, 픽처 공간 해상도의 상대적인 비율에 따라 모션 벡터 스케일링이 그에 따라 조정될 수 있다.
본 개시에 따르면, 참조 픽처가 코딩되는 현재 픽처와 다른 공간 해상도를 갖는 상황에서, 공간 해상도가 다름으로 인해 이러한 두 픽처 사이의 줌 효과를 해결하기 위해 이러한 두 공간 해상도에 기초하여 글로벌 모션 벡터를 유도할 수 있다.
코딩될 현재 픽처에 대해, 각 참조 픽처에 대해 글로벌 모션 벡터가 유도될 수 있다. 현재 픽처의 각 블록에 대해 디코딩 및/또는 시그널링된 모션 벡터는 모션 벡터 디코더에 대한 대응하는 참조 픽처와 연관된 글로벌 모션 벡터를 사용하여 예측되고 및/또는 시그널링된 것으로 가정된다. 결과적으로 현재 블록에 대한 실제 모션 벡터는 블록의 시그널링된 모션 벡터와 글로벌 모션 벡터로부터 공동으로 유도된다.
코딩될 현재 픽처가 참조 픽처와 동일한 공간 해상도를 갖는 상황에서, 그 참조 픽처와 함께 사용하기 위해 글로벌 모션 벡터가 필요하지 않을 수 있다.
글로벌 모션 벡터는 다양한 모션 모델을 사용할 수 있다. 예를 들어, 위에서 언급한 서로 다른 픽처 간에 줌 효과를 전달하기 위해 아핀 모션 모델(affine motion model)을 사용할 수 있다. 줌 효과를 전달하기 위해 다른 모션 모델을 사용할 수도 있다.
본 개시에 따르면, 이러한 글로벌 모션 벡터는 비트스트림에서 디코더로 명시적으로 시그널링될 필요가 없다. 대신, 인코더 단부와 디코더 단부 모두에서 동일한 규칙 세트를 기반으로 유도될 수 있다. 동일한 규칙 세트는 글로벌 모션 벡터를 결정하는 요소 중 하나로서 적어도 픽처 공간 해상도를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 각 참조 픽처에 대한 글로벌 모션 벡터는 비트스트림으로 디코더에 시그널링될 수 있다. 이러한 신호는 또한 다양한 형태를 취할 수 있다. 예를 들어, 각 글로벌 모션 벡터는 모션 벡터로 직접 신호를 시그널링될 수 있다. 각각의 글로벌 모션 벡터는 수평 및 수직 차원을 따라 스케일링 비율로 시그널링될 수도 있다. 대안적으로, 각각의 글로벌 모션 벡터는 또한 미리 정의된 모션 벡터 세트 및/또는 스케일링 비율에 대한 인덱스 값으로서 시그널링된다.
본 개시에 따르면, DPB의 저/고 해상도 픽처를 현재 픽처의 공간 해상도로 업-샘플링/다운 샘플링할 필요는 없지만, 필터 세트는 여전히 디코더에 시그널링되어 더 나은 모션 보상 예측 또는 더 나은 디스플레이를 위해 사용되는 선호하는 화상 업-샘플링/다운-샘플링 필터를 나타낸다. 이러한 시그널링은 헤더 정보 또는 SPS(302) 및 PPS(304)에 배치될 수 있다. 또한 보충 향상 정보(supplemental enhancement information, SEI)로서 시그널링될 수 있다.
일부 예에서, 둘 이상의 픽처로 이루어진 세트는 랜덤 액세스를 지원하는 어떤 픽처도 포함하지 않는다.
일부 예에서, 제2 공간 해상도는 제1 공간 해상도보다 작으며, 방법은 제1 공간 해상도에서 제2 공간 해상도로의 해상도 다운그레이드를 포함하며, 해상도를 수평 방향으로만 다운그레이드하거나, 수직 방향으로만 해상도를 다운그레이드하거나, 또는 수평 및 수직 방향으로 해상도를 다운그레이드하는 것을 포함한다.
일부 예에서, 방법은 동적으로 변화하는 대역폭 용량을 갖는 통신 채널 상에서 코딩된 둘 이상의 픽처로 이루어진 세트를 전송하는 단계, 및 통신 채널의 대역폭 용량 감소에 응답하여 제2 공간 해상도를 제1 공간 해상도보다 낮게 설정하는 단계를 더 포함한다.
일부 예에서, 방법은 동적으로 변화하는 대역폭 용량을 갖는 통신 채널 상에서 2 개 이상의 픽처의 코딩된 세트를 전송하고, 통신 채널의 대역폭 용량 증가에 응답하여 제2 공간 해상도를 제1 공간 해상도보다 높게 설정하는 단계를 더 포함한다.
일부 예에서, 둘 이상의 픽처로 이루어진 세트는 상이한 공간 해상도를 갖는 픽처들을 포함하는 참조 픽처 리스트를 포함한다.
일부 예에서, 아핀 예측은 둘 이상의 픽처로 이루어진 세트에 대해 향상된 줌 효과를 제공하기 위해 사용되며, 여기서 참조 픽처 리스트는 현재 코딩되고 있는 새로운 픽처와 각각 다른 공간 해상도를 갖는 2 개 이상의 픽처를 포함한다.
일부 예에서, 방법은 픽처 파라미터 세트를 사용하여 둘 이상의 픽처로 이루어진 세트의 각각의 픽처에 대한 픽처 폭 및 픽처 높이를 시그널링하는 단계를 더 포함한다.
일부 예에서, 방법은 둘 이상의 픽처로 이루어진 세트의 제1 차원에서 제1 수량의 루마 샘플을 시그널링하고, 둘 이상의 픽처로 이루어진 세트의 제2 차원에서 루마 샘플을 시그널링함으로써 픽처 폭 및 픽처 높이를 시그널링하는 단계를 더 포함한다.
일부 예에서, 방법은 둘 이상의 픽처로 이루어진 세트에 대한 이전 픽처 폭 및 이전 픽처 높이에 대한 비율 값을 시그널링함으로써 픽처 폭 및 픽처 높이를 시그널링하는 단계를 더 포함한다. 일부 예에서, 비율 값은 분자 및 분모로 시그널링된다. 일부 예에서, 비율 값은 미리 정의된 분자 및 분모의 세트에 대한 인덱스 값으로서 시그널링된다.
일부 예에서, 방법은 모션 벡터 스케일링을 수행하고, 제1 공간 해상도와 제2 공간 해상도 사이의 차이에 응답하여 모션 벡터 스케일링을 스케일링하는 단계를 더 포함한다.
일부 예에서, 방법은 제1 픽처와 제2 픽처 사이의 줌 효과를 해결하기 위해 제1 공간 해상도 및 제2 공간 해상도에 기초하여 글로벌 모션 벡터를 유도하는 단계를 더 포함한다.
일부 예에서, 방법은 둘 이상의 픽처로 이루어진 세트에서 각각의 대응하는 픽처에 대한 각각의 글로벌 모션 벡터를 유도하는 단계, 여기서 둘 이상의 픽처로 이루어진 세트는 참조 픽처 세트를 포함하고, 둘 이상의 픽처로 이루어진 세트의 각각의 픽처는 복수의 블록을 포함하며; 그리고 둘 이상의 픽처로 이루어진 세트의 복수의 블록의 각각의 블록에 대한 시그널링된 모션 벡터를 디코딩하는 단계를 포함한다. 시그널링된 모션 벡터는 둘 이상의 픽처로 이루어진 세트에서 대응하는 픽처와 연관된 각각의 글로벌 모션 벡터를 사용하여 예측된다. 현재 픽처의 현재 블록에 대한 실제 모션 벡터는 시그널링된 모션 벡터와 글로벌 모션 벡터에서 공동으로 유도된다.
일부 예에서, 방법은 제1 픽처와 제2 픽처 사이에 줌 효과를 전달하기 위해 아핀 모션 모델을 사용하는 단계를 더 포함한다.
일부 예에서, 방법은 디코더 및 코더 모두에 적용되는 동일한 규칙 세트에 기초하여 디코더에서 각각의 글로벌 모션 벡터를 유도하는 단계를 더 포함한다. 동일한 규칙 세트는 제1 공간 해상도 및/또는 제2 공간 해상도 중 적어도 하나를 고려한다.
일부 예에서, 방법은 수평 차원을 따르는 제1 스케일링 비율 및 수직 차원을 따르는 제2 스케일링 비율을 사용하여 각각의 글로벌 모션 벡터를 시그널링하는 단계를 더 포함한다.
일부 예에서, 방법은 미리 정의된 모션 벡터 세트 또는 스케일링 비율로 인덱싱되는 인덱스 값 세트를 사용하여 각각의 글로벌 모션 벡터를 시그널링하는 단계를 더 포함한다.
일부 예에서, 방법은: 헤더 정보, 보충 향상 정보, 픽처 파라미터 세트, 또는 시퀀스 파라미터 세트 중 적어도 하나를 사용하여 선택된 필터를 시그널링하는 단계를 더 포함한다.
일부 예에서, 둘 이상의 픽처로 이루어진 세트는 랜덤 액세스를 지원하는 어떤 픽처도 포함하지 않는다.
일부 예에서, 제2 공간 해상도는 제1 공간 해상도보다 낮으며, 방법은 제1 공간 해상도에서 제2 공간 해상도로 다운그레이드되는 해상도를 포함하고, 수평 방향으로만 해상도를 다운그레이드하거나, 수직 방향으로만 해상도를 다운그레이드하거나, 또는 수평 및 수직 방향으로 해상도를 다운그레이드하는 것을 포함한다.
일부 예에서, 장치는 동적으로 변화하는 대역폭 용량을 갖는 통신 채널 상에 코딩된 둘 이상의 픽처로 이루어진 세트를 전송하도록 구성되고, 통신 채널의 대역폭 용량이 감소함에 따라 공간 해상도가 감소하는 것에 응답하여 제2 공간 해상도를 제1 공간 해상도보다 낮게 설정하도록 구성된 데이터 전송기를 더 포함한다.
일부 예에서, 장치는 동적으로 변화하는 대역폭 용량을 갖는 통신 채널 상에서 코딩된 둘 이상의 픽처로 이루어진 세트를 전송하도록 구성되고, 통신 채널의 대역폭 용량이 증가함에 따라 공간 해상도가 증가하는 것에 응답하여 제2 공간 해상도를 제1 공간 해상도보다 높게 설정하도록 구성된 데이터 전송기를 더 포함한다.
일부 예에서, 둘 이상의 픽처로 이루어진 세트는 상이한 공간 해상도를 갖는 픽처들을 포함하는 참조 픽처 리스트를 포함한다.
일부 예에서, 둘 이상의 픽처로 이루어진 세트에 대해 향상된 줌 효과를 제공하기 위해 아핀 예측 절차가 수행되며, 여기서 참조 픽처 리스트는 현재 코딩 중에 있는 새로운 픽처로부터 각각 다른 공간 해상도를 갖는 두 개 이상의 픽처를 포함한다.
일부 예에서, 장치는 픽처 파라미터 세트를 사용하여 둘 이상의 픽처로 이루어진 세트의 각각의 픽처에 대한 픽처 폭 및 픽처 높이를 시그널링하도록 구성된 전송기를 더 포함한다. 일부 예에서, 전송기는 둘 이상의 픽처로 이루어진 세트의 제1 차원에서 제1 수량의 루마 샘플을 시그널링하고, 둘 이상의 픽처로 이루어진 세트의 제2 차원에서 제2 수량의 루마 샘플을 시그널링함으로써 픽처 폭 및 픽처 높이를 시그널링하도록 추가로 구성된다. 일부 예에서, 전송기는 둘 이상의 픽처로 이루어진 세트에 대한 이전 픽처 폭 및 이전 픽처 높이에 대한 비율 값을 시그널링함으로써 픽처 폭 및 픽처 높이를 시그널링하도록 추가로 구성된다.
일부 예에서, 비율 값은 분자 및 분모로 시그널링된다.
일부 예에서, 비율 값은 미리 정의된 분자 및 분모의 세트에 대한 인덱스 값으로서 시그널링된다.
일부 예에서, 장치는 모션 벡터 스케일링을 수행하고, 제1 공간 해상도와 제2 공간 해상도 사이의 차이에 응답하여 모션 벡터 스케일링을 조정하도록 추가로 구성된다.
일부 예에서, 장치는 제1 픽처와 제2 픽처 사이의 줌 효과를 처리하기 위해, 제1 공간 해상도 및 제2 공간 해상도에 기초하여 글로벌 모션 벡터를 유도하도록 추가로 구성된다.
일부 예에서, 장치는 둘 이상의 픽처로 이루어진 세트에서 각각의 대응 픽처에 대한 각각의 글로벌 모션 벡터를 유도하고, 여기서 둘 이상의 픽처로 이루어진 세트는 참조 픽처 세트를 포함하고, 둘 이상의 픽처로 이루어진 세트의 각각의 픽처는 복수의 블록을 포함하며; 그리고 둘 이상의 픽처 세트의 복수의 블록의 각각의 블록에 대해 시그널링된 모션 벡터를 디코딩하도록 추가로 구성된다. 시그널링된 모션 벡터는 둘 이상의 픽처로 이루어진 세트에서 대응하는 픽처와 연관된 각각의 글로벌 모션 벡터를 사용하여 예측된다. 현재 픽처의 현재 블록에 대한 실제 모션 벡터는 시그널링된 모션 벡터와 글로벌 모션 벡터에서 공동으로 유도된다.
일부 예에서, 장치는 제1 픽처와 제2 픽처 사이에 줌 효과를 전달하기 위해 아핀 모션 모델을 사용하도록 추가로 구성된다.
일부 예에서, 장치는 디코더 및 코더 모두에 적용되는 동일한 규칙 세트에 기초하여 각각의 개별 글로벌 모션 벡터를 유도하도록 구성된 디코더를 더 포함한다. 동일한 규칙 세트는 제2 공간 해상도 또는 제2 공간 해상도 중 적어도 하나를 고려한다.
일부 예에서, 장치는 수평 차원을 따르는 제1 스케일링 비율 및 수직 차원을 따르는 제2 스케일링 비율을 사용하여 각각의 글로벌 모션 벡터를 시그널링하도록 추가로 구성된다.
일부 예에서, 장치는 미리 정의된 모션 벡터 세트 또는 스케일링 비율로 인덱싱하는 인덱스 값 세트를 사용하여 각각의 글로벌 모션 벡터를 시그널링하도록 추가로 구성된다.
일부 예에서, 장치는 헤더 정보, 보충 향상 정보, 픽처 파라미터 세트 또는 시퀀스 파라미터 세트 중 적어도 하나를 사용하여 선택된 필터를 시그널링하도록 추가로 구성된다.
하나 이상의 예에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능은 하나 이상의 명령 또는 코드로서 컴퓨터 판독 가능형 매체에 저장되거나 전송될 수 있으며 하드웨어 기반 처리 장치에 의해 실행될 수 있다. 컴퓨터 판독 가능형 매체는 데이터 저장 매체와 같은 유형의 매체에 해당하는 컴퓨터 판독 가능형 저장 매체 또는 예를 들어 통신 프로토콜에 따라 컴퓨터 프로그램을 한 장소에서 다른 장소로 전송하는 것을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터 판독 가능형 매체는 일반적으로 (1) 비 일시적 유형의 컴퓨터 판독 가능형 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는 본 출원에서 설명된 구현의 구현을 위한 명령어, 코드 및/또는 데이터 구조를 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능형 매체를 포함할 수 있다.
또한, 상기 방법은 주문형 집적 회로(application specific integrated circuits, ASIC), 디지털 신호 프로세서(digital signal processor, DSP), 디지털 신호 처리 장치(digital signal processing device, DSPD), 프로그래머블 논리 장치(programmable logic device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로컨트롤러, 마이크로프로세서 또는 기타 전자 컴포넌트를 포함한다. 장치는 전술한 방법을 수행하기 위해 다른 하드웨어 또는 소프트웨어 구성 요소와 조합하여 회로를 사용할 수 있다. 위에 개시된 각 모듈, 서브 모듈, 유닛 또는 서브 유닛은 하나 이상의 회로를 사용하여 적어도 부분적으로 구현될 수 있다.
본 발명의 다른 실시예는 여기에 개시된 본 발명의 명세서 및 실행을 고려함으로써 당업자에게 명백할 것이다. 본 출원은 본 발명의 일반적인 원리에 따라 본 발명의 임의의 변형, 사용 또는 개조를 포함하고 본 개시로부터의 이러한 이탈을 포함하여 당해 기술 분야에서 공지된 또는 관례적인 실행을 포함하도록 의도된다. 명세서 및 실시예는 단지 예시적인 것으로 간주되며, 본 발명의 진정한 범위 및 정신은 다음의 청구 범위에 의해 표시된다.
본 발명은 위에서 설명되고 첨부된 도면에 도시된 정확한 예에 한정되지 않으며, 그 범위를 벗어나지 않고 다양한 수정 및 변경이 가능함을 이해할 것이다. 본 발명의 범위는 첨부된 청구 범위에 의해서만 제한되는 것으로 의도된다.

Claims (18)

  1. 비디오 코딩 방법으로서,
    둘 이상의 픽처로 이루어진 세트를 코딩하는 단계 - 상기 세트는 적어도 제1 공간 해상도로 코딩된 제1 픽처 및 상기 제1 공간 해상도와 상이한 제2 공간 해상도로 코딩된 제2 픽처를 포함함 - ;
    상기 둘 이상의 픽처로 이루어진 세트를 대응하는 공간 해상도에 기초하여 디코딩된 픽처 버퍼에 저장하는 단계; 및
    상기 디코딩된 픽처 버퍼에 저장된 상기 둘 이상의 픽처로 이루어진 세트를 상기 둘 이상의 픽처로 이루어진 세트에 후속하는 하나 이상의 연속 픽처를 코딩하기 위한 참조 픽처 세트로서 사용하는 단계
    를 포함하는 비디오 코딩 방법.
  2. 제1항에 있어서,
    상기 둘 이상의 픽처로 이루어진 세트를 적어도 2 개의 상이한 공간 해상도를 갖는 픽처를 포함하는 참조 픽처 리스트에 통합하는 단계
    를 더 포함하는 비디오 코딩 방법.
  3. 제1항에 있어서,
    상기 제2 공간 해상도는 상기 제1 공간 해상도보다 작으며, 상기 제1 공간 해상도에서 상기 제2 공간 해상도로의 해상도 다운그레이드를 포함하고,
    상기 비디오 코딩 방법은:
    상기 해상도를 수평 방향으로만 다운그레이드하는 단계, 상기 해상도를 수직 방향으로만 다운그레이드하는 단계, 또는 상기 해상도를 수평 및 수직 방향으로 다운그레이드를 하는 단계
    를 더 포함하는 비디오 코딩 방법.
  4. 제1항에 있어서,
    상기 비디오 코딩 방법은:
    픽처 파라미터 세트를 사용하여 상기 둘 이상의 픽처로 이루어진 세트의 각 픽처에 대한 픽처 폭 및 픽처 높이를 시그널링하는 단계
    를 더 포함하는 비디오 코딩 방법.
  5. 제4항에 있어서,
    상기 시그널링하는 단계는:
    상기 둘 이상의 픽처로 이루어진 세트의 제1 차원에서 제1 수량의 루마 샘플을 시그널링하는 단계, 및 상기 둘 이상의 픽처로 이루어진 세트의 제2 차원에서 제2 수량의 루마 샘플을 시그널링하는 단계
    를 더 포함하는, 비디오 코딩 방법.
  6. 제4항에 있어서,
    상기 시그널링하는 단계는:
    상기 둘 이상의 픽처로 이루어진 세트에 대한 이전 픽처 폭 및 이전 픽처 높이에 대한 비율 값을 시그널링하는 단계
    를 더 포함하는, 비디오 코딩 방법.
  7. 제6항에 있어서,
    상기 비율 값은 분자와 분모를 사용하여 시그널링되는, 비디오 코딩 방법.
  8. 제6항에 있어서,
    상기 비율 값은 미리 정의된 분자 및 분모 집합에 대한 인덱스 값으로 시그널링되는, 비디오 코딩 방법.
  9. 제1항에 있어서,
    모션 벡터 스케일링을 수행하는 단계, 및 상기 제1 공간 해상도와 상기 제2 공간 해상도 사이의 차이에 응답하여 상기 모션 벡터 스케일링을 조정하는 단계
    를 더 포함하는 비디오 코딩 방법.
  10. 비디오 코딩 장치로서,
    둘 이상의 픽처로 이루어진 세트를 코딩하도록 구성되어 있는 코더 - 상기 세트는 적어도 제1 공간 해상도로 코딩된 제1 픽처 및 상기 제1 공간 해상도와 상이한 제2 공간 해상도로 코딩된 제2 픽처를 포함함 - ; 및
    상기 둘 이상의 픽처로 이루어진 세트를 대응하는 공간 해상도에 기초하여 저장하도록 구성되어 있는 디코딩된 픽처 버퍼
    를 포함하며,
    상기 코더는 상기 디코딩된 픽처 버퍼에 저장된 상기 둘 이상의 픽처로 이루어진 세트를 상기 둘 이상의 픽처로 이루어진 세트에 후속하는 하나 이상의 연속 픽처를 코딩하기 위한 참조 픽처 세트로서 사용하도록 구성되어 있는, 비디오 코딩 장치.
  11. 제10항에 있어서,
    상기 둘 이상의 픽처로 이루어진 세트는 적어도 2 개의 상이한 공간 해상도를 갖는 픽처를 포함하는 참조 픽처 리스트에 통합되는, 비디오 코딩 장치.
  12. 제10항에 있어서,
    상기 제2 공간 해상도는 상기 제1 공간 해상도보다 작으며, 상기 제1 공간 해상도에서 상기 제2 공간 해상도로의 해상도 다운그레이드를 포함하고,
    상기 비디오 코딩 장치는:
    상기 해상도를 수평 방향으로만 다운그레이드하거나, 상기 해상도를 수직 방향으로만 다운그레이드하거나, 또는 상기 해상도를 수평 및 수직 방향으로 다운그레이드를 하도록 추가로 구성되어 있는 비디오 코딩 장치.
  13. 제10항에 있어서,
    픽처 파라미터 세트를 사용하여 상기 둘 이상의 픽처로 이루어진 세트의 각 픽처에 대한 픽처 폭 및 픽처 높이를 시그널링하도록 추가로 구성되어 있는 비디오 코딩 장치.
  14. 제13항에 있어서,
    상기 둘 이상의 픽처로 이루어진 세트의 제1 차원에서 제1 수량의 루마 샘플을 시그널링하고, 상기 둘 이상의 픽처로 이루어진 세트의 제2 차원에서 제2 수량의 루마 샘플을 시그널링하도록 추가로 구성되어 있는 비디오 코딩 장치.
  15. 제13항에 있어서,
    상기 둘 이상의 픽처로 이루어진 세트에 대한 이전 픽처 폭 및 이전 픽처 높이에 대한 비율 값을 시그널링하도록 추가로 구성되어 있는 비디오 코딩 장치.
  16. 제15항에 있어서,
    상기 비율 값은 분자와 분모를 사용하여 시그널링되는, 비디오 코딩 장치.
  17. 제15항에 있어서,
    상기 비율 값은 미리 정의된 분자 및 분모 집합에 대한 인덱스 값으로 시그널링되는, 비디오 코딩 장치.
  18. 제1항에 있어서,
    모션 벡터 스케일링을 수행하는 단계, 및 상기 제1 공간 해상도와 상기 제2 공간 해상도 사이의 차이에 응답하여 상기 모션 벡터 스케일링을 조정하는 단계
    를 더 포함하는 비디오 코딩 장치.
KR1020217018136A 2018-12-07 2019-12-09 다중 해상도 참조 픽처 관리를 사용한 비디오 코딩 KR102427074B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227025949A KR20220109489A (ko) 2018-12-07 2019-12-09 다중 해상도 참조 픽처 관리를 사용한 비디오 코딩

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862776997P 2018-12-07 2018-12-07
US62/776,997 2018-12-07
US16/706,675 US12022059B2 (en) 2018-12-07 2019-12-06 Video coding using multi-resolution reference picture management
US16/706,675 2019-12-06
PCT/IB2019/060579 WO2020115725A1 (en) 2018-12-07 2019-12-09 Video coding using multi-resolution reference picture management

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227025949A Division KR20220109489A (ko) 2018-12-07 2019-12-09 다중 해상도 참조 픽처 관리를 사용한 비디오 코딩

Publications (2)

Publication Number Publication Date
KR20210080565A true KR20210080565A (ko) 2021-06-30
KR102427074B1 KR102427074B1 (ko) 2022-07-28

Family

ID=70972642

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227025949A KR20220109489A (ko) 2018-12-07 2019-12-09 다중 해상도 참조 픽처 관리를 사용한 비디오 코딩
KR1020217018136A KR102427074B1 (ko) 2018-12-07 2019-12-09 다중 해상도 참조 픽처 관리를 사용한 비디오 코딩

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227025949A KR20220109489A (ko) 2018-12-07 2019-12-09 다중 해상도 참조 픽처 관리를 사용한 비디오 코딩

Country Status (7)

Country Link
US (3) US12022059B2 (ko)
EP (1) EP3878177A4 (ko)
JP (2) JP7193636B2 (ko)
KR (2) KR20220109489A (ko)
CN (2) CN113810689A (ko)
MX (1) MX2021006688A (ko)
WO (1) WO2020115725A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12022059B2 (en) * 2018-12-07 2024-06-25 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
FR3092459B1 (fr) * 2019-01-31 2022-03-18 Fond B Com Procédé et dispositif de codage et de décodage de données correspondant à une séquence vidéo
KR20210152567A (ko) * 2019-04-25 2021-12-15 오피 솔루션즈, 엘엘씨 픽처 헤더 내의 글로벌 모션 벡터의 시그널링
US11245899B2 (en) * 2019-09-22 2022-02-08 Tencent America LLC Method and system for single loop multilayer coding with subpicture partitioning
EP4088462A4 (en) * 2020-02-14 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. SUBPICTURE INFORMATION SIGNALING IN VIDEO BITSTREAM
US11533499B2 (en) * 2020-03-31 2022-12-20 Tencent America LLC Method for signaling mixed NAL unit type and subpicture partitioning in coded video stream

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014524707A (ja) * 2011-08-11 2014-09-22 クゥアルコム・インコーポレイテッド 非対称な空間解像度を持つ３次元ビデオ
KR20150103117A (ko) * 2013-01-04 2015-09-09 퀄컴 인코포레이티드 멀티-레이어 비디오 코딩을 위한 다중-해상도 디코딩된 픽처 버퍼 관리
KR20160105437A (ko) * 2014-01-03 2016-09-06 퀄컴 인코포레이티드 비디오 코딩에서의 nooutputofpriorpicsflag 의 개선된 추론

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3844844B2 (ja) * 1997-06-06 2006-11-15 富士通株式会社 動画像符号化装置及び動画像符号化方法
US6584154B1 (en) 1998-11-26 2003-06-24 Oki Electric Industry Co., Ltd. Moving-picture coding and decoding method and apparatus with reduced computational cost
JP3975629B2 (ja) * 1999-12-16 2007-09-12 ソニー株式会社 画像復号装置及び画像復号方法
EP2373035B1 (en) * 2001-11-30 2015-11-25 NTT DoCoMo, Inc. Moving picture encoding device, moving picture decoding device, moving picture encoding method, moving picture decoding method, program, and computer readable recording medium storing program
US20070036227A1 (en) * 2005-08-15 2007-02-15 Faisal Ishtiaq Video encoding system and method for providing content adaptive rate control
JP4594201B2 (ja) * 2005-09-28 2010-12-08 パナソニック株式会社 画像符号化方法、画像符号化装置、プログラムおよび集積回路
TWI387317B (zh) 2008-12-11 2013-02-21 Novatek Microelectronics Corp 產生重新取樣參考畫面之裝置及其方法與影像解碼系統
US8599214B1 (en) * 2009-03-20 2013-12-03 Teradici Corporation Image compression method using dynamic color index
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
CN103493493A (zh) * 2011-04-28 2014-01-01 索尼公司 编码装置和编码方法以及解码装置和解码方法
CN103650501B (zh) * 2011-08-25 2017-10-27 太阳专利托管公司 使用瓦片编码方案对视频进行编码、提取和解码的方法和装置
US9451284B2 (en) 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US20130094774A1 (en) 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8867852B2 (en) 2012-01-19 2014-10-21 Sharp Kabushiki Kaisha Decoding a picture based on a reference picture set on an electronic device
AU2013261845A1 (en) 2012-05-14 2014-12-11 Guido MEARDI Encoding and reconstruction of residual data based on support information
US10230972B2 (en) * 2012-07-01 2019-03-12 Sharp Kabushiki Kaisha Device for signaling a long-term reference picture in a parameter set
US10230970B2 (en) * 2012-07-10 2019-03-12 Cisco Technology, Inc. Decoded picture buffer size management
KR20140087971A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
EP3410715A1 (en) * 2013-04-05 2018-12-05 Vid Scale, Inc. Inter-layer reference picture enhancement for multiple layer video coding
US9532067B2 (en) * 2013-04-05 2016-12-27 Sharp Kabushiki Kaisha Decoding of inter-layer reference picture set and reference picture list construction
US20150016500A1 (en) 2013-07-11 2015-01-15 Qualcomm Incorporated Device and method for scalable coding of video information
US10057588B2 (en) * 2013-07-15 2018-08-21 Kt Corporation Scalable video signal encoding/decoding method and device
CN105379277B (zh) * 2013-07-15 2019-12-17 株式会社Kt 用于编码/解码可伸缩视频信号的方法和装置
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
JP6272343B2 (ja) * 2013-10-22 2018-01-31 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像復号装置、及び画像復号方法
US9736488B2 (en) * 2013-11-27 2017-08-15 Nxp Usa, Inc. Decoding for high efficiency video transcoding
EP3090549A1 (en) * 2014-01-02 2016-11-09 VID SCALE, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US9824481B2 (en) * 2014-12-30 2017-11-21 Qualcomm Incorporated Maintaining heatmaps using tagged visual data
KR20170101983A (ko) * 2014-12-31 2017-09-06 노키아 테크놀로지스 오와이 스케일러블 비디오 코딩 및 디코딩을 위한 계층 간 예측
US20160373763A1 (en) 2015-06-18 2016-12-22 Mediatek Inc. Inter prediction method with constrained reference frame acquisition and associated inter prediction device
CN107113422B (zh) * 2015-11-06 2020-08-25 微软技术许可有限责任公司 一种用于视频编码和解码的参考图片管理的计算机系统
GB2547053B (en) * 2016-02-08 2020-07-08 Canon Kk Methods, devices, and computer programs for combining the use of intra-layer prediction and inter-layer prediction with scalability & screen content features
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
FI20165547A (fi) * 2016-06-30 2017-12-31 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US10779007B2 (en) * 2017-03-23 2020-09-15 Mediatek Inc. Transform coding of video data
US12022059B2 (en) * 2018-12-07 2024-06-25 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
EP3777143A4 (en) * 2019-03-11 2022-02-16 Alibaba Group Holding Limited INTERCODING FOR ADAPTIVE RESOLUTION VIDEO CODING

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014524707A (ja) * 2011-08-11 2014-09-22 クゥアルコム・インコーポレイテッド 非対称な空間解像度を持つ３次元ビデオ
KR20150103117A (ko) * 2013-01-04 2015-09-09 퀄컴 인코포레이티드 멀티-레이어 비디오 코딩을 위한 다중-해상도 디코딩된 픽처 버퍼 관리
KR20160105437A (ko) * 2014-01-03 2016-09-06 퀄컴 인코포레이티드 비디오 코딩에서의 nooutputofpriorpicsflag 의 개선된 추론

Also Published As

Publication number Publication date
EP3878177A1 (en) 2021-09-15
EP3878177A4 (en) 2022-01-19
US20200186795A1 (en) 2020-06-11
CN113196766A (zh) 2021-07-30
JP7258209B2 (ja) 2023-04-14
CN113810689A (zh) 2021-12-17
JP2022510032A (ja) 2022-01-25
JP7193636B2 (ja) 2022-12-20
MX2021006688A (es) 2021-07-07
KR20220109489A (ko) 2022-08-04
KR102427074B1 (ko) 2022-07-28
US20240278414A1 (en) 2024-08-22
WO2020115725A1 (en) 2020-06-11
JP2023027224A (ja) 2023-03-01
US12022059B2 (en) 2024-06-25
US20220124317A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
KR102427074B1 (ko) 다중 해상도 참조 픽처 관리를 사용한 비디오 코딩
US10334258B2 (en) Scalable video coding method and apparatus using inter prediction mode
US11689747B2 (en) High level syntax for video coding tools
US20140056356A1 (en) Method and apparatus for efficient signaling of weighted prediction in advanced coding schemes
US20130336384A1 (en) Method and apparatus for efficient slice header processing
US12075071B2 (en) Modification of picture parameter set (PPS) for HEVC extensions
CN115314708B (zh) 视频码流的解码方法及对应的设备及介质
JP2024102105A (ja) 映像符号化における参照ピクチャリサンプリング用の複数のピクチャサイズおよびコンフォーマンスウインドウの処理
US20240048767A1 (en) Conditionally parsed extension syntax for hevc extension processing
US20220094954A1 (en) Inter Coding in Video Coding with the Support of Multiple Layers
WO2023219721A1 (en) Systems and methods for bilateral matching for adaptive mvd resolution
US20240348811A1 (en) Systems and methods for candidate list construction

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant