KR20230133891A - 비디오 코딩을 위한 잔차 및 계수 코딩 - Google Patents

Abstract

비디오 코딩을 위한 방법, 장치 및 비-일시적 컴퓨터 판독 가능 저장 매체가 제공된다. 비디오 코딩을 위한 방법은: 시퀀스 파라미터 세트(SPS) 범위 확장 플래그의 값에 기초하여 신택스 구조(sps_range_extension)가 슬라이스 헤드(SH) 원시 바이트 시퀀스 페이로드(RBSP) 신택스 구조에 존재하는지 여부를 지시하는 SPS 범위 확장 플래그를 디코더에 의해 수신하는 단계를 포함한다.

Description

비디오 코딩을 위한 잔차 및 계수 코딩

본 출원은 2021년 2월 4일자로 출원된 가출원 제63/145,964호에 기반하여 우선권을 주장하고, 이 가출원의 전체 내용은 모든 목적을 위해 본 명세서에 참조로 포함된다.

본 개시내용은 비디오 코딩 및 압축에 관한 것이다. 보다 구체적으로, 본 개시내용은 비디오 코딩을 위한 잔차 및 계수 코딩의 개선 및 단순화에 관한 것이다.

비디오 데이터를 압축하기 위해 다양한 비디오 코딩 기법이 사용될 수 있다. 비디오 코딩은 하나 이상의 비디오 코딩 표준에 따라 수행된다. 예를 들어, 비디오 코딩 표준은 다용도 비디오 코딩(VVC: versatile video coding), 공동 탐사 테스트 모델(JEM: joint exploration test model), 고효율 비디오 코딩(H.265/HEVC: high-efficiency video coding), 고급 비디오 코딩(H.264/AVC: advanced video coding), 동영상 전문가 그룹(MPEG: moving picture expert group) 코딩 등을 포함한다. 비디오 코딩은 일반적으로 비디오 이미지 또는 시퀀스에 존재하는 리던던시를 이용하는 예측 방법(예컨대, 인터 예측(inter-prediction), 인트라 예측(intra-prediction) 등)을 이용한다. 비디오 코딩 기법의 중요한 목표는 비디오 품질에 대한 열화를 피하거나 최소화하면서 더 낮은 비트 레이트를 사용하는 형태로 비디오 데이터를 압축하는 것이다.

본 개시내용의 예는 비디오 코딩을 위한 방법 및 장치를 제공한다.

본 개시내용의 제1 양상에 따르면, 비디오 코딩을 위한 방법이 제공된다. 이 방법은: 시퀀스 파라미터 세트(SPS: Sequence Parameter Set) 범위 확장 플래그의 값에 기초하여 신택스(syntax) 구조(sps_range_extension)가 슬라이스 헤드(SH: Slice Head) 원시 바이트 시퀀스 페이로드(RBSP: Raw Byte Sequence Payload) 신택스 구조에 존재하는지 여부를 지시하는 SPS 범위 확장 플래그를 디코더에 의해 수신하는 단계를 포함할 수 있다.

본 개시내용의 제2 양상에 따르면, 비디오 코딩을 위한 방법이 제공된다. 이 방법은: 시퀀스 파라미터 세트(SPS) 정렬 가능 플래그의 값에 기초하여 신택스 엘리먼트 sb_coded_flag, abs_remainder, dec_abs_level 및 coeff_sign_flagn의 우회 디코딩 전에 인덱스(ivlCurrRange)가 정렬되는지 여부를 지시하는 SPS 정렬 가능 플래그를 디코더에 의해 수신하는 단계를 포함할 수 있다.

본 개시내용의 제3 양상에 따르면, 비디오 코딩을 위한 방법이 제공된다. 이 방법은: 확장된 정밀도 처리 플래그의 값에 기초하여, 확장된 동적 범위가 변환 계수에 대해 그리고 변환 처리 동안 채택되는지 여부를 표시하는 확장된 정밀도 처리 플래그를 디코더에 의해 수신하는 단계를 포함할 수 있다.

본 개시내용의 제4 양상에 따르면, 비디오 코딩을 위한 방법이 제공된다. 이 방법은: 지속적 라이스(rice) 적응 가능 플래그의 값에 기초하여, 이전 서브블록으로부터 누적된 모드 의존 통계를 채택하는 각각의 서브블록의 시작 시에 abs_remaining 및 dec_abs_level의 이진화를 위한 라이스 파라미터 도출이 초기화되는지 여부를 지시하는 지속적 라이스 적응 가능 플래그를 디코더에 의해 수신하는 단계를 포함할 수 있다.

위의 일반적인 설명 및 아래의 상세한 설명은 단지 예시 및 설명일 뿐이며, 본 개시내용을 제한하는 것으로 의도되지 않는다다고 이해되어야 한다.

본 명세서의 일부에 포함되며 이를 구성하는 첨부 도면이 본 개시내용에 부합하는 예를 예시하며, 설명과 함께 본 개시내용의 원리를 설명하는 역할을 한다.
도 1은 본 개시내용의 일례에 따른 인코더의 블록도이다.
도 2는 본 개시내용의 일례에 따른 디코더의 블록도이다.
도 3a는 본 개시내용의 일례에 따른 다중 타입 트리 구조의 블록 파티션(partition)을 예시하는 도면이다.
도 3b는 본 개시내용의 일례에 따른 다중 타입 트리 구조의 블록 파티션을 예시하는 도면이다.
도 3c는 본 개시내용의 일례에 따른 다중 타입 트리 구조의 블록 파티션을 예시하는 도면이다.
도 3d는 본 개시내용의 일례에 따른 다중 타입 트리 구조의 블록 파티션을 예시하는 도면이다.
도 3e는 본 개시내용의 일례에 따른 다중 타입 트리 구조의 블록 파티션을 예시하는 도면이다.
도 4는 본 개시내용의 일례에 따른 18 × 12 루마(luma) CTU를 갖는 픽처(picture)의 도면 예시이다.
도 5는 본 개시내용의 일례에 따른 18 × 12 루마 CTU를 갖는 픽처의 예시이다.
도 6a는 본 개시내용의 일례에 따른, VTM에서 허용되지 않는 3진 트리(TT: ternary tree) 및 2진 트리(BT: binary tree) 파티셔닝의 일례의 예시이다.
도 6b는 본 개시내용의 일례에 따른, VTM에서 허용되지 않는 TT 및 BT 파티셔닝의 일례의 예시이다.
도 6c는 본 개시내용의 일례에 따른, VTM에서 허용되지 않는 TT 및 BT 파티셔닝의 일례의 예시이다.
도 6d는 본 개시내용의 일례에 따른, VTM에서 허용되지 않는 TT 및 BT 파티셔닝의 일례의 예시이다.
도 6e는 본 개시내용의 일례에 따른, VTM에서 허용되지 않는 TT 및 BT 파티셔닝의 일례의 예시이다.
도 6f는 본 개시내용의 일례에 따른, VTM에서 허용되지 않는 TT 및 BT 파티셔닝의 일례의 예시이다.
도 6g는 본 개시내용의 일례에 따른, VTM에서 허용되지 않는 TT 및 BT 파티셔닝의 일례의 예시이다.
도 6h는 본 개시내용의 일례에 따른, VTM에서 허용되지 않는 TT 및 BT 파티셔닝의 일례의 예시이다.
도 7은 본 개시내용의 일례에 따른, 변환 블록에 대한 잔차 코딩 구조의 예시이다.
도 8은 본 개시내용의 일례에 따른, 변환 스킵(skip) 블록에 대한 잔차 코딩 구조의 예시이다.
도 9는 본 개시내용의 일례에 따른 2개의 스칼라(scalar) 양자화기의 예시이다.
도 10a는 본 개시내용의 일례에 따른 상태 전환(state transition)의 예시이다.
도 10b는 본 개시내용의 일례에 따른 양자화기 선택의 예시이다.
도 11은 본 개시내용에 따른, 확률 모델을 선택하기 위해 사용되는 템플릿(template)의 예시이다.
도 12는 본 개시내용에 따른, 팔레트(palette) 모드에서의 코딩된 블록의 일례의 예시이다.
도 13은 본 개시내용에 따른, 팔레트 항목을 시그널링하기 위한 팔레트 예측자의 사용의 예시이다.
도 14a는 본 개시내용에 따른, 수평 횡단 스캔(traverse scan)의 예시이다.
도 14b는 본 개시내용에 따른, 수직 횡단 스캔의 예시이다.
도 15a는 본 개시내용에 따른, 팔레트에 대한 서브블록 기반 인덱스 맵 스캐닝의 예시이다.
도 15b는 본 개시내용에 따른 팔레트에 대한 서브블록 기반 인덱스 맵 스캐닝의 예시이다.
도 16은 본 개시내용의 일례에 따른, 비디오 신호를 인코딩하기 위한 방법이다.
도 17은 본 개시내용의 일례에 따른, 비디오 신호를 인코딩하기 위한 방법이다.
도 18은 본 개시내용의 일례에 따라, 사용자 인터페이스와 결합된 컴퓨팅 환경을 예시하는 도면이다.
도 19는 본 개시내용의 일례에 따른 비디오 코딩을 위한 방법을 예시한다.
도 20은 본 개시내용의 일례에 따른 비디오 코딩을 위한 방법을 예시한다.
도 21은 본 개시내용의 일례에 따른 비디오 코딩을 위한 방법을 예시한다.
도 22는 본 개시내용의 일례에 따른 비디오 코딩을 위한 방법을 예시한다.
도 23은 본 개시내용의 일례에 따라 비디오 블록을 인코딩 및 디코딩하기 위한 예시적인 시스템을 예시하는 블록도이다.
도 24는 본 개시내용의 일례에 따른 예시적인 비디오 인코더를 예시한 블록도이다.
도 25는 본 개시내용의 일례에 따른 예시적인 비디오 디코더를 예시하는 블록도이다.

이제 예시적인 실시예에 대해 상세히 언급될 것이며, 그 예는 첨부 도면에 예시된다. 다음의 설명은, 달리 표현되지 않는 한, 상이한 도면의 동일한 번호가 동일한 또는 유사한 엘리먼트를 나타내는 첨부 도면을 참조한다. 예시적인 실시예의 다음의 설명에서 제시된 구현은 본 개시내용과 일치하는 모든 구현을 표현하는 것은 아니다. 대신에, 이들은 단지, 첨부된 청구항에서 언급되는 바와 같은 본 개시내용에 관련된 양상과 일치하는 장치 및 방법의 예들일 뿐이다.

본 개시내용에서 사용된 용어는 단지 특정한 실시예를 설명할 목적을 위한 것이며 본 개시내용을 제한하는 것으로 의도되지 않는다. 본 개시내용 및 첨부된 청구항의 설명에서 사용된 바와 같이, 단수 형태는 맥락이 명확하게 달리 지시하지 않는 한, 복수 형태도 포함하는 것으로 의도된다. 또한, 본 명세서에서 사용되는 "및/또는"이라는 용어는 연관된 열거된 항목 중 하나 이상의 항목의 임의의 또는 모든 가능한 조합을 의미하고 포함하는 것으로 의도된다고 이해될 것이다.

"제1", "제2" 등의 용어는 본 명세서에서 다양한 정보를 설명하는 데 사용될 수 있지만, 이러한 정보는 이러한 용어로 제한되지는 않아야 한다고 이해될 것이다. 이러한 용어는 정보의 하나의 카테고리를 다른 카테고리와 구별하기 위해서만 사용된다. 예를 들어, 본 개시내용의 범위를 벗어나지 않으면서, 제1 정보는 제2 정보로 지칭될 수 있고; 유사하게, 제2 정보는 또한 제1 정보로 지칭될 수 있다. 본 명세서에서 사용되는 바와 같이, "~라면"이라는 용어는 맥락에 따라 "~일 때" 또는 "~ 시에" 또는 "판단에 대한 응답으로"를 의미하는 것으로 이해될 수 있다.

HEVC 표준의 첫 번째 버전은 2013년 10월에 최종적으로 승인되었으며, 이는 이전 세대 비디오 코딩 표준 H.264/MPEG AVC와 비교하여 대략 50% 비트 레이트 절약 또는 동등한 지각 품질을 제공한다. HEVC 표준이 그 이전 표준보다 상당한 코딩 개선을 제공하지만, HEVC에 비해 부가적인 코딩 툴을 이용하여 우수한 코딩 효율이 달성될 수 있다는 증거가 있다. 이에 기반하여, VCEG와 MPEG 모두는 향후의 비디오 코딩 표준화를 위한 새로운 코딩 기술의 탐색 작업을 시작하였다. 코딩 효율의 실질적인 향상을 가능하게 할 수 있는 진보된 기술의 중요한 연구를 시작하기 위해 하나의 공동 비디오 탐사 팀(JVET: Joint Video Exploration Team)이 2015년 10월에 ITU-T VECG 및 ISO/IEC MPEG에 의해 형성되었다. HEVC 테스트 모델(HM: test model) 외에 여러 부가적인 코딩 툴을 통합함으로써 JVET에 의해 공동 탐사 모델(JEM)로 지칭되는 하나의 기준 소프트웨어가 유지되었다.

2017년 10월에, ITU-T 및 ISO/IEC에 의해 HEVC를 넘는 능력을 갖는 비디오 압축에 대한 CfP(joint call for regards)가 발행되었다. 2018년 4월에, 제10차 JVET 회의에서 23개의 CfP 응답이 수신되어 평가되었으며, 이는 약 40%의 HEVC에 비해 압축 효율 이득을 입증하였다. 이러한 평가 결과에 기반하여, JVET는 다용도 비디오 코딩(VVC)으로 명명되는 신세대 비디오 코딩 표준을 개발하기 위한 새로운 프로젝트를 개시하였다. 같은 달에, VVC 표준의 기준 구현을 시연하기 위해 VVC 테스트 모델(VTM: VVC test model)로 지칭되는 하나의 기준 소프트웨어 코드베이스(codebase)가 확립되었다.

HEVC와 같이, VVC는 블록 기반 하이브리드 비디오 코딩 프레임워크 상에 구축된다.

도 1은 VVC에 대한 블록 기반 비디오 인코더의 일반적인 도면을 도시한다. 구체적으로, 도 1은 통상적인 인코더(100)를 도시한다. 인코더(100)는 비디오 입력(110), 움직임 보상(112), 움직임 추정(114), 인트라/인터 모드 결정(116), 블록 예측자(140), 가산기(128), 변환(130), 양자화(132), 예측 관련 정보(142), 인트라 예측(118), 픽처 버퍼(120), 역양자화(134), 역변환(136), 가산기(126), 메모리(124), 루프 내 필터(122), 엔트로피 코딩(138) 및 비트스트림(144)을 갖는다.

인코더(100)에서는, 비디오 프레임이 처리를 위해 복수의 비디오 블록으로 파티셔닝된다. 각각의 주어진 비디오 블록에 대해, 인터 예측 접근 방식 또는 인트라 예측 접근 방식에 기반하여 예측이 형성된다.

비디오 입력(110)의 일부인 현재 비디오 블록과 블록 예측자(140)의 일부인 현재 비디오 블록의 예측자 간의 차이를 표현하는 예측 잔차가 가산기(128)로부터 변환(130)으로 전송된다. 그런 다음, 엔트로피 감소를 위해 변환(130)으로부터 양자화(132)로 변환 계수가 송신된다. 이어서, 양자화된 계수가 엔트로피 코딩(138)에 공급되어 압축된 비디오 비트스트림을 생성한다. 도 1에 도시된 바와 같이, 인트라/인터 모드 결정(116)로부터의 예측 관련 정보(142), 이를테면 비디오 블록 파티션 정보, 움직임 벡터(MV: motion vector)들, 참조 픽처 인덱스 및 인트라 예측 모드가 또한 엔트로피 코딩(138)을 통해 공급되어 압축된 비트스트림(144)에 저장된다. 압축된 비트스트림(144)은 비디오 비트스트림을 포함한다.

인코더(100)에서는, 예측 목적으로 픽셀을 재구성하기 위해 디코더 관련 회로가 또한 필요하다. 먼저, 역양자화(134) 및 역변환(136)을 통해 예측 잔차가 재구성된다. 이러한 재구성된 예측 잔차는 블록 예측자(140)와 조합되어, 현재 비디오 블록에 대한 필터링되지 않은 재구성된 픽셀을 생성한다.

공간 예측(또는 "인트라 예측")은 현재 비디오 블록과 동일한 비디오 프레임에서 (기준 샘플로 지칭되는) 이미 코딩된 이웃 블록의 샘플로부터의 픽셀들을 사용하여 현재 비디오 블록을 예측한다.

("인터 예측"으로도 또한 지칭되는) 시간 예측은 이미 코딩된 비디오 픽처로부터의 재구성된 픽셀을 사용하여 현재 비디오 블록을 예측한다. 시간 예측은 비디오 신호에 내재된 시간 중복성을 감소시킨다. 주어진 코딩 유닛(CU: coding unit) 또는 코딩 블록에 대한 시간 예측 신호는 대개, 현재 CU와 이것의 시간 기준 사이의 움직임의 양 및 방향을 지시하는 하나 이상의 MV에 의해 시그널링된다. 추가로, 다수의 참조 픽처가 지원된다면, 하나의 참조 픽처 인덱스가 추가로 송신되며, 이는 참조 픽처 저장소 내의 어느 참조 픽처로부터 시간 예측 신호가 오는지를 식별하는 데 사용된다.

움직임 추정(114)은 비디오 입력(110) 및 픽처 버퍼(120)로부터의 신호를 취하여 움직임 추정 신호를 움직임 보상(112)에 출력한다. 움직임 보상(112)은 비디오 입력(110), 픽처 버퍼(120)로부터의 신호 및 움직임 추정(114)으로부터의 움직임 추정 신호를 취하여 인트라/인터 모드 결정(116)에 움직임 보상 신호를 출력한다.

공간 및/또는 시간 예측이 수행된 후에, 인코더(100)의 인트라/인터 모드 결정(116)은 예를 들어, 레이트 왜곡 최적화 방법에 기반하여 최상의 예측 모드를 선택한다. 그 다음, 현재 비디오 블록으로부터 블록 예측자(140)가 감산되고, 결과적인 예측 잔차가 변환(130) 및 양자화(132)를 사용하여 역상관(de-correlate)된다. 결과적인 양자화된 잔류 계수는 역양자화(134)에 의해 역양자화되고, 역변환(136)에 의해 역변환되어, 재구성된 잔차를 형성하고, 재구성된 잔차는 이어서, 예측 블록에 다시 더해져 CU의 재구성된 신호를 형성한다. 또한, 재구성된 CU가 픽처 버퍼(120)의 참조 픽처 저장소에 들어가 차후 비디오 블록을 코딩하는 데 사용되기 전에, 추가 루프 내 필터링(122), 이를테면 블록 분리(deblocking) 필터, 샘플 적응 오프셋(SAO: sample adaptive offset) 및/또는 적응형 루프 내 필터(ALF: adaptive in-loop filter)가 재구성된 CU에 적용될 수 있다. 출력 비디오 비트스트림(144)을 형성하기 위해, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 움직임 정보 및 양자화된 잔차 계수가 모두 엔트로피 코딩 유닛(138)에 송신되어 추가로 압축되고 패킹되어 비트스트림을 형성한다.

도 1은 일반적인 블록 기반 하이브리드 비디오 인코딩 시스템의 블록도를 제공한다. 입력 비디오 신호는 (코딩 유닛(CU)들로 지칭되는) 블록 단위로 처리된다. VTM-1.0에서, CU는 최대 128×128 픽셀들일 수 있다. 그러나 쿼드 트리(quad-trees)에만 기초하여 블록을 파티셔닝하는 HEVC와 상이하게, VVC에서, 하나의 코딩 트리 유닛(CTU: coding tree unit)은 쿼드/2진/3진 트리에 기초한 다양한 국소 특징에 적응하도록 CU로 분할된다. 정의에 의해, 코딩 트리 블록(CTB: coding tree block)은 CTB로의 성분의 분할이 파티셔닝이 되도록 하는 어떤 N 값에 대한 샘플의 N×N 블록이다. CTU는 루마 샘플의 CTB, 3개의 샘플 어레이를 갖는 픽처의 크로마(chroma) 샘플의 2개의 대응하는 CTB, 또는 단색 픽처 또는 샘플을 코딩하는 데 사용되는 3개의 개별 컬러 평면 및 신택스 구조를 사용하여 코딩되는 픽처의 샘플의 CTB를 포함한다. 추가로, HEVC에서 다수의 파티션 유닛 타입의 개념이 제거되는데, 즉 CU, 예측 유닛(PU: prediction unit) 및 변환 유닛(TU: transform unit)의 분리는 VVC에 더는 존재하지 않으며; 대신에, 각각의 CU가 추가 파티션 없이 예측과 변환 모두를 위한 기본 유닛으로서 항상 사용된다. 다중 타입 트리 구조에서, 하나의 CTU가 먼저 쿼드 트리 구조에 의해 파티셔닝된다. 그 다음, 각각의 쿼드 트리 리프(leaf) 노드가 2진 및 3진 트리 구조에 의해 추가로 파티셔닝될 수 있다. 도 3a, 도 3b, 도 3c, 도 3d 및 도 3e에 도시된 바와 같이, 5가지 분할 타입, 즉 4진 파티셔닝, 수평 2진 파티셔닝, 수직 2진 파티셔닝, 수평 3진 파티셔닝 및 수직 3진 파티셔닝이 있다.

도 3a는 본 개시내용에 따른, 다중 타입 트리 구조의 블록 4진 파티션을 예시하는 도면을 도시한다.

도 3b는 본 개시내용에 따른, 다중 타입 트리 구조의 블록 수직 2진 파티션을 예시하는 도면을 도시한다.

도 3c는 본 개시내용에 따른, 다중 타입 트리 구조의 블록 수평 2진 파티션을 예시하는 도면을 도시한다.

도 3d는 본 개시내용에 따른, 다중 타입 트리 구조의 블록 수직 3진 파티션을 예시하는 도면을 도시한다.

도 3e는 본 개시내용에 따른, 다중 타입 트리 구조의 블록 수평 3진 파티션을 예시하는 도면을 도시한다.

도 1에서, 공간 예측 및/또는 시간 예측이 수행될 수 있다. 공간 예측(또는 "인트라 예측")은 동일한 비디오 픽처/슬라이스에서 (참조 샘플로 지칭되는) 이미 코딩된 이웃 블록의 샘플로부터의 픽셀을 사용하여 현재 비디오 블록을 예측한다. 공간 예측은 비디오 신호에 내재된 공간 중복성을 감소시킨다. ("인터 예측" 또는 "움직임 보상 예측"으로도 또한 지칭되는) 시간 예측은 이미 코딩된 비디오 픽처로부터의 재구성된 픽셀을 사용하여 현재 비디오 블록을 예측한다. 시간 예측은 비디오 신호에 내재된 시간 중복성을 감소시킨다. 주어진 CU에 대한 시간 예측 신호는 대개, 현재 CU와 이것의 시간 기준 사이의 움직임의 양 및 방향을 지시하는 하나 이상의 움직임 벡터(MV)에 의해 시그널링된다. 또한, 다수의 참조 픽처가 지원된다면, 하나의 참조 픽처 인덱스가 추가로 송신되며, 이는 참조 픽처 저장소 내의 어느 참조 픽처로부터 시간 예측 신호가 오는지를 식별하는 데 사용된다. 공간 및/또는 시간 예측 이후에, 인코더의 모드 결정 블록은 예를 들어, 레이트 왜곡 최적화 방법에 기반하여 최상의 예측 모드를 선택한다. 그 다음, 현재 비디오 블록으로부터 예측 블록이 감산되고; 예측 잔차가 변환을 사용하여 역상관되고 양자화된다. 양자화된 잔차 계수는 역양자화되고 역변환되어, 재구성된 잔차를 형성하고, 재구성된 잔차는 이어서, 예측 블록에 다시 더해져 CU의 재구성된 신호를 형성한다. 추가로, 재구성된 CU가 참조 픽처 저장소에 들어가 차후 비디오 블록을 코딩하는 데 사용되기 전에, 루프 내 필터링, 이를테면 블록 분리 필터, 샘플 적응 오프셋(SAO) 및 적응형 루프 내 필터(ALF)가 재구성된 CU에 적용될 수 있다. 출력 비디오 비트스트림을 형성하기 위해, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 움직임 정보 및 양자화된 잔차 계수가 모두 엔트로피 코딩 유닛에 송신되어 추가로 압축되고 패킹되어 비트스트림을 형성한다.

도 2는 VVC에 대한 비디오 디코더의 일반적인 블록도를 도시한다. 구체적으로, 도 2는 통상적인 디코더(200) 블록도를 도시한다. 디코더(200)는 비트스트림(210), 엔트로피 디코딩(212), 역양자화(214), 역변환(216), 가산기(218), 인트라/인터 모드 선택(220), 인트라 예측(222), 메모리(230), 루프 내 필터(228), 움직임 보상(224), 픽처 버퍼(226), 예측 관련 정보(234) 및 비디오 출력(232)을 갖는다.

이 디코더(200)는 도 1의 인코더(100)에 상주하는 재구성 관련 섹션과 유사하다. 디코더(200)에서는, 착신 비디오 비트스트림(210)이 먼저 엔트로피 디코딩(212)을 통해 디코딩되어 양자화된 계수 레벨 및 예측 관련 정보를 도출한다. 이어서, 양자화된 계수 레벨이 역양자화(214) 및 역변환(216)을 통해 처리되어, 재구성된 예측 잔차를 획득한다. 인트라/인터 모드 선택기(220)에서 구현되는 블록 예측자 메커니즘은 디코딩된 예측 정보에 기초하여 인트라 예측(222) 또는 움직임 보상(224)을 수행하도록 구성된다. 합산기(218)를 사용하여, 역변환(216)으로부터의 재구성된 예측 잔차와 블록 예측자 메커니즘에 의해 생성된 예측 출력을 합산함으로써 한 세트의 필터링되지 않은 재구성된 픽셀이 획득된다.

재구성된 블록은 추가로, 참조 픽처 저장소로서 기능하는 픽처 버퍼(226)에 저장되기 전에 루프 내 필터(228)를 거칠 수 있다. 픽처 버퍼(226) 내의 재구성된 비디오가 송신되어 디스플레이 디바이스를 구동할 수 있을 뿐만 아니라, 차후의 비디오 블록을 예측하는 데 사용될 수 있다. 루프 내 필터(228)가 온 전환되는 상황에서, 이러한 재구성된 픽셀에 대해 필터링 동작이 수행되어 최종 재구성된 비디오 출력(232)을 도출한다.

도 2는 블록 기반 비디오 디코더의 일반적인 블록도를 제공한다. 비디오 비트스트림은 엔트로피 디코딩 유닛에서 먼저 엔트로피 디코딩된다. 코딩 모드 및 예측 정보가 (인트라 코딩된다면) 공간 예측 유닛 또는 (인터 코딩된다면) 시간 예측 유닛 중 어느 하나에 전송되어 예측 블록을 형성한다. 잔차 변환 계수는 역양자화 유닛 및 역변환 유닛에 전송되어 잔차 블록을 재구성한다. 그 다음, 예측 블록과 잔차 블록이 함께 추가된다. 재구성된 블록은 추가로, 참조 픽처 저장소에 저장되기 전에 루프 내 필터링을 거칠 수 있다. 그런 다음, 기준 픽처 저장소 내의 재구성된 비디오가 송신되어 디스플레이 디바이스를 구동할 뿐만 아니라, 차후의 비디오 블록을 예측하는 데 사용된다.

일반적으로, VVC에 적용되는 기본 인트라 예측 방식은, 여러 모듈이 추가로 확장 및/또는 개선되는 점을 제외하고는, HEVC의 인트라 예측 방식, 예컨대 인트라 서브 파티션(ISP: intra sub-partition) 코딩 모드, 광각 인트라 방향을 이용한 확장된 인트라 예측, 포지션 의존 인트라 예측 조합(PDPC: position-dependent intra prediction combination) 및 4-탭 인트라 보간과 동일하게 유지된다.

VVC에서의 픽처, 타일 그룹, 타일 및 CTU의 파티셔닝

VVC에서, 타일은 픽처의 특정 타일 열 및 특정 타일 행 내의 CTU의 직사각형 구역으로서 정의된다. 타일 그룹은 단일 NAL 유닛에 배타적으로 포함되는 픽처의 정수개의 타일의 그룹이다. 기본적으로, 타일 그룹의 개념은 HEVC에 정의된 슬라이스와 동일하다. 예를 들어, 픽처는 타일 그룹 및 타일로 분할된다. 타일은 픽처의 직사각형 구역을 커버하는 CTU의 시퀀스이다. 타일 그룹은 픽처의 다수의 타일을 포함한다. 타일 그룹의 2개의 모드, 즉 래스터 스캔 타일 그룹 모드 및 직사각형 타일 그룹 모드가 지원된다. 래스터 스캔 타일 그룹 모드에서, 타일 그룹은 픽처의 타일 래스터 스캔에서 타일의 시퀀스를 포함한다. 직사각형 타일 그룹 모드에서, 타일 그룹은 픽처의 직사각형 구역을 집합적으로 형성하는 픽처의 다수의 타일을 포함한다. 직사각형 타일 그룹 내의 타일은 타일 그룹의 타일 래스터 스캔 순서이다.

도 4는 픽처의 래스터 스캔 타일 그룹 파티셔닝의 일례를 도시하며, 픽처는 12개의 타일 및 3개의 래스터 스캔 타일 그룹으로 분할된다. 도 4는 타일(410, 412, 414, 416, 418)을 포함한다. 각각의 타일은 18개의 CTU를 갖는다. 보다 구체적으로, 도 4는 12개의 타일 및 3개의 타일 그룹으로 파티셔닝되는 18 × 12 루마 CTU를 갖는 픽처를 도시한다(정보성(informative)). 3개의 타일 그룹은 다음과 같다: (1) 제1 타일 그룹은 타일(410, 412)을 포함하고, (2) 제2 타일 그룹은 타일(414, 416, 418, 420, 422)을 포함하고, 그리고 (3) 제3 타일 그룹은 타일(424, 426, 428, 430, 432)을 포함한다.

도 5는 픽처의 직사각형 타일 그룹 파티셔닝의 예를 도시하며, 픽처는 24개의 타일(6개의 타일 열 4개의 타일 행) 및 9개의 직사각형 타일 그룹으로 분할된다. 도 5는 타일(510, 512, 514, 516, 518, 520, 522, 524, 526, 528, 530, 532, 534, 536, 538, 540, 542, 544, 546, 548, 550, 552, 554, 556)을 포함한다. 보다 구체적으로, 도 5는 24개의 타일 및 9개의 타일 그룹으로 파티셔닝되는 18 × 12 루마 CTU를 갖는 픽처를 도시한다(정보성). 타일 그룹은 타일을 포함하고, 타일은 CTU를 포함한다. 9개의 직사각형 타일 그룹은 (1) 2개의 타일(510, 512), (2) 2개의 타일(514, 516), (3) 2개의 타일(518, 520), (4) 4개의 타일(522, 524, 534, 536), (5) 4개의 타일 그룹(526, 528, 538, 540), (6) 4개의 타일(530, 532, 542, 544), (7) 2개의 타일(546, 548), (8) 2개의 타일(550, 552) 및 (9) 2개의 타일(554, 556)을 포함한다.

VVC에서 고주파 제로화를 이용한 큰 블록 크기 변환들

VTM4에서, 최대 64×64 크기의 큰 블록 크기 변환들이 가능해지는데, 이는 더 높은 해상도의 비디오, 예컨대 1080p, 4K 시퀀스에 대해 주로 유용하다. 64와 동일한 크기(폭 또는 높이, 또는 폭과 높이 모두)를 갖는 변환 블록에 대해 고주파 변환 계수가 제로화(zero out)되어, 더 낮은 주파수 계수만이 유지된다. 예를 들어, M이 블록 폭이고 N이 블록 높이인 M×N 변환 블록에 대해, M이 64와 같을 때, 변환 계수의 좌측 32개의 열만이 유지된다. 유사하게, N이 64와 같을 때, 변환 계수의 최상위 32개의 행만이 유지된다. 큰 블록에 대해 변환 스킵 모드가 사용될 때, 어떠한 값들도 제로화하지 않으면서 전체 블록이 사용된다.

VVC의 가상 파이프라인 데이터 유닛(VPDU: Virtual Pipeline Data Unit)

가상 파이프라인 데이터 유닛(VPDU)은 픽처에서 비중첩 유닛으로서 정의된다. 하드웨어 디코더에서, 연속적인 VPDU는 다수의 파이프라인 스테이지에 의해 동시에 처리된다. VPDU 크기는 대부분의 파이프라인 스테이지에서 버퍼 크기에 대략적으로 비례하므로, VPDU 크기를 작게 유지하는 것이 중요하다. 대부분의 하드웨어 디코더에서, VPDU 크기는 최대 변환 블록(TB: transform block) 크기로 설정될 수 있다. 그러나 VVC에서, 3진 트리(TT) 및 2진 트리(BT) 파티션은 VPDU 크기의 증가로 이어질 수 있다.

VPDU 크기를 64×64 루마 샘플로서 유지하기 위해, (신택스 시그널링 수정을 갖는) 다음의 규범적 파티션 제약이 VTM5에 적용된다:

TT 분할은 폭 또는 높이 중 어느 하나, 또는 폭과 높이 모두가 128과 같은 CU에 대해서는 허용되지 않는다.

N ≤ 64인(즉, 폭이 128과 같고 높이는 128보다 작은) 128×N CU의 경우, 수평 BT는 허용되지 않는다.

N ≤ 64인(즉, 높이가 128과 같고 폭은 128보다 작은) N×128 CU의 경우, 수직 BT는 허용되지 않는다.

도 6a, 도 6b, 도 6c, 도 6d, 도 6e, 도 6f, 도 6g 및 도 6h는 VTM에서 허용되지 않는 TT 및 BT 파티셔닝의 예들을 도시한다.

VVC에서의 변환 계수 코딩

VVC에서의 변환 계수 코딩은, 이들 모두 (CG 또는 서브블록으로 또한 지칭되는) 중첩되지 않은 계수 그룹을 사용한다는 점에서 HEVC와 유사하다. 그러나 이들 사이에는 또한 일부 차이가 있다. HEVC에서, 계수의 각각의 CG는 4×4의 고정된 크기를 갖는다. VVC 초안 6에서, CG 크기는 TB 크기에 의존하게 된다. 결과적으로, 다양한 CG 크기(1×16, 2×8, 8×2, 2×4, 4×2 및 16×1)가 VVC에서 이용 가능하다. 코딩 블록 내의 CG 및 CG 내의 변환 계수는 미리 정의된 스캔 순서에 따라 코딩된다.

픽셀당 컨텍스트 코딩된 빈의 최대 수를 제한하기 위해, TB의 영역 및 비디오 성분의 타입(예컨대, 루마 성분 대 크로마 성분)이 TB에 대한 컨텍스트 코딩된 빈(CCB: context-coded bins)의 최대 수를 도출하는 데 사용된다. 컨텍스트 코딩된 빈의 최대 수는 TB_zosize*1.75와 같다. 여기서, TB_zosize는 계수 제로화 후의 TB 내의 샘플의 수를 지시한다. CG가 0이 아닌 계수를 포함하는지 여부를 지시하는 플래그인 coded_sub_block_flag는 CCB 카운트에 대해 고려되지 않음을 주목한다.

계수 제로화는 변환 블록의 특정 구역에 위치된 계수를 강제로 0이 되게 하기 위해 변환 블록에 대해 수행되는 연산이다. 예를 들어, 현재 VVC에서, 64×64 변환은 연관된 제로화 연산을 한다. 그 결과, 64×64 변환 블록 내부의 최상부 좌측 32×32 구역 외부에 위치된 변환 계수는 모두 강제로 0이 된다. 실제로, 현재 VVC에서, 특정 차원을 따라 32를 초과하는 크기를 갖는 임의의 변환 블록에 대해, 최상부 좌측 32×32 구역을 넘어 위치된 계수를 강제로 0이 되게 하기 위해 해당 차원을 따라 계수 제로화 연산이 수행된다.

VVC에서의 변환 계수 코딩에서, 변수 remBinsPass1은 먼저, 허용된 컨텍스트 코딩된 빈의 최대 수(MCCB: maximum number of context-coded bins)로 설정된다. 코딩 프로세스에서, 변수는 컨텍스트 코딩된 빈이 시그널링될 때마다 1씩 감소된다. remBinsPass1이 4 이상인 동안, 계수는 먼저, 첫 번째 패스(pass)에서 모두, 컨텍스트 코딩된 빈을 사용하여 sig_coeff_flag, abs_level_gt1_flag, par_level_flag 및 abs_level_gt3_flag의 신택스를 통해 시그널링된다. 계수의 레벨 정보의 나머지 부분은 두 번째 패스에서 Golomb-rice 코드 및 우회 코딩된 빈을 사용하여 abs_remainder의 신택스 엘리먼트로 코딩된다. 첫 번째 패스를 코딩하는 동안 remBinsPass1이 4보다 작아지면, 현재 계수는 첫 번째 패스에서 코딩되는 것이 아니라, 두 번째 패스에서 Golomb-rice 코드 및 우회 코딩된 빈을 사용하여 dec_abs_level의 신택스 엘리먼트로 직접 코딩된다. dec_abs_level[ ]에 대한 라이스 파라미터 도출 프로세스는 표 3에 명시된 바와 같이 도출된다. 위에서 언급된 모든 레벨 코딩 후에, 1과 같은 sig_coeff_flag를 갖는 모든 스캔 포지션에 대한 부호(sign_flag)는 최종적으로 우회 빈으로서 코딩된다. 그러한 프로세스가 도 7에 도시된다. remBinsPass1은 TB마다 리셋된다. sig_coeff_flag, abs_level_gt1_flag, par_level_flag 및 abs_level_gt3_flag에 대해 컨텍스트 코딩된 빈을 사용하는 것에서 나머지 계수에 대해 바이패스 코딩된 빈을 사용하는 것으로의 전환은 TB당 최대 1회만 발생한다. 계수 서브블록의 경우, remBinsPass1이 자신의 바로 첫 번째 계수를 코딩하기 전에 4보다 작다면, 전체 계수 서브블록은 바이패스 코딩된 빈을 사용하여 코딩된다.

도 7은 변환 블록에 대한 잔차 코딩 구조의 예시를 도시한다.

abs_remainder 및 dec_abs_level의 신택스를 시그널링하기 위해, 통합된(동일한) 라이스 파라미터(RicePara) 도출이 사용된다. 유일한 차이는, 각각 abs_remainder 및 dec_abs_level을 코딩하기 위해 베이스 레벨인 baseLevel이 4 및 0으로 설정된다는 것이다. 라이스 파라미터는 다음과 같이, 국소 템플릿에서 이웃하는 5개의 변환 계수의 절대 레벨의 합뿐만 아니라 대응하는 베이스 레벨에 기반하여 결정된다:

RicePara = RiceParTable[ max(min( 31, sumAbs - 5 * baseLevel), 0) ]

현재 VVC 초안 규격에서의 잔차 코딩의 신택스 및 연관된 시맨틱(semantic)이 각각 표 1 및 표 2에 예시된다. 표 1을 읽는 방법은 VVC 규격에서 또한 발견될 수 있는 이러한 본 개시내용의 부록 섹션에서 예시된다.

표 1. 잔차 코딩의 신택스

표 2. 잔차 코딩의 시맨틱

표 3. abs_remainder[ ] 및 dec_abs_level[ ]에 대한 라이스 파라미터 도출 프로세스

표 4. locSumAbs들에 기반한 cRiceParam의 규격

VVC에서의 변환 스킵 모드에 대한 잔차 코딩

단일 잔차 코딩 방식이 변환 계수 및 변환 스킵 계수 모두를 코딩하도록 설계되는 HEVC와 달리, VVC에서 2개의 개별 잔차 코딩 방식이 변환 계수 및 변환 스킵 계수(즉, 잔차)에 대해 각각 이용된다.

변환 스킵 모드에서, 잔차 신호의 통계적 특징은 변환 계수의 통계적 특징과 상이하며, 저주파 성분 주위에서 어떠한 에너지 압축도 관측되지 않는다. 잔차 코딩은 (공간) 변환 스킵 잔차의 상이한 신호 특징을 고려하도록 수정되며, 이는 다음을 포함한다:

마지막 x/y 포지션의 시그널링 없음;

모든 이전 플래그가 0과 같을 때 DC 서브블록을 제외한 모든 각각의 서브블록에 대해 코딩된 coded_sub_block_flag;

2개의 이웃하는 계수를 이용한 sig_coeff_flag 컨텍스트 모델링;

단 하나의 컨텍스트 모델을 사용하는 par_level_flag;

5개, 7개, 9개를 초과하는 추가 플래그;

나머지 이진화를 위한 수정된 라이스 파라미터 도출;

부호 플래그에 대한 컨텍스트 모델링은 좌측 및 위의 이웃 계수 값에 기초하여 결정되고, sig_coeff_flag 다음에 부호 플래그가 파싱되어, 모든 컨텍스트 코딩된 빈을 함께 유지한다.

도 8에 도시된 바와 같이, 신택스 엘리먼트 sig_coeff_flag , coeff_sign_flag , abs_level_gt1_flag , par_level_flag 는 첫 번째 패스에서 잔차 샘플마다 인터리빙 방식으로 코딩되고, 이어서 두 번째 패스에서 abs_level_gtX_flag 비트평면이, 그리고 세 번째 패스에서 abs_remainder 코딩이 이어진다.

패스 1: sig_coeff_flag, coeff_sign_flag, abs_level_gt1_flag, par_level_flag

패스 2: abs_level_gt3_flag, abs_level_gt5_flag, abs_level_gt7_flag, abs_level_gt9_flag

패스 3: abs_remainder

도 8은 변환 블록에 대한 잔차 코딩 구조의 예시를 도시한다.

현재 VVC 초안 규격에서 변환 스킵 모드에 대한 잔차 코딩의 신택스 및 연관된 시맨틱이 각각 표 5 및 표 2에 예시된다. 표 5를 읽는 방법은 VVC 규격에서 또한 발견될 수 있는 이러한 본 개시내용의 부록 섹션에서 예시된다.

표 5. 변환 스킵 모드에 대한 잔차 코딩의 신택스

양자화

현재 VVC에서, 최대 QP 값은 51에서 63으로 확장되었고, 그에 따라 초기 QP의 시그널링이 변경되었다. SliceQpY의 초기 값은 slice_qp_delta의 0이 아닌 값이 코딩될 때, 슬라이스 세그먼트 계층에서 수정될 수 있다. 변환 스킵 블록의 경우, 최소 허용 양자화 파라미터(QP: quantization Parameter)는 4로 정의되는데, 이는 QP가 4와 같을 때 양자화 스텝 크기가 1이 되기 때문이다.

추가로, 동일한 HEVC 스칼라 양자화가 종속 스칼라 양자화로 지칭되는 새로운 개념과 함께 사용된다. 종속 스칼라 양자화는, 변환 계수에 대한 허용 가능한 재구성 값의 세트가 재구성 순서에서 현재 변환 계수 레벨에 선행하는 변환 계수 레벨의 값에 의존하는 접근 방식을 의미한다. 이 접근 방식의 주요 효과는, HEVC에서 사용되는 바와 같은 종래의 독립 스칼라 양자화와 비교하여, 허용 가능한 재구성 벡터가 N-차원 벡터 공간에서 더 조밀하게 패킹된다는 것이다(N은 변환 블록의 변환 계수의 수를 나타냄). 이는, N-차원 단위 볼륨당 주어진 평균 수의 허용 가능한 재구성 벡터에 대해, 입력 벡터와 가장 가까운 재구성 벡터 사이의 평균 왜곡이 감소됨을 의미한다. 종속 스칼라 양자화의 접근 방식은: (a) 상이한 재구성 레벨을 갖는 2개의 스칼라 양자화기를 정의하고, (b) 2개의 스칼라 양자화기 간에 스위칭함으로써 실현된다.

Q0 및 Q1로 표기되는, 사용된 2개의 스칼라 양자화기가 도 9에 예시된다. 이용 가능한 재구성 레벨의 위치는 양자화 스텝 크기(Δ)에 의해 고유하게 특정된다. 사용된 스칼라 양자화기(Q0 또는 Q1)는 비트스트림에서 명시적으로 시그널링되지 않는다. 대신에, 현재 변환 계수에 대해 사용되는 양자화기는 코딩/재구성 순서에서 현재 변환 계수에 선행하는 변환 계수 레벨의 패리티에 의해 결정된다.

도 9는 종속 양자화의 제안된 접근 방식에서 사용되는 2개의 스칼라 양자화기의 예시를 도시한다.

도 10a 및 도 10b에 예시된 바와 같이, 2개의 스칼라 양자화기(Q0,Q1) 간의 스위칭은 4개의 양자화기 상태(QState)를 갖는 상태 머신을 통해 실현된다. Qstate는 4개의 상이한 값: 0, 1, 2, 3을 취할 수 있다. 이는 코딩/재구성 순서에서 현재 변환 계수에 선행하는 변환 계수 레벨의 패리티에 의해 고유하게 결정된다. 변환 블록에 대한 역양자화의 시작 시에, 상태는 0과 같게 설정된다. 변환 계수는 스캐닝 순서로(즉, 변환 계수가 엔트로피 디코딩되는 것과 동일한 순서로) 재구성된다. 현재 변환 계수가 재구성된 후, 상태는 도 10에 도시된 바와 같이 업데이트되며, 여기서 k는 변환 계수 레벨의 값을 나타낸다.

도 10a는 제안된 종속 양자화에 대한 상태 전환을 예시하는 전환도를 도시한다.

도 10b는 제안된 종속 양자화에 대한 양자화기 선택을 예시하는 표를 도시한다.

디폴트 및 사용자 정의된 스케일링 행렬을 시그널링하는 것이 또한 지원된다. DEFAULT 모드 스케일링 행렬은 모두 평탄한데, 엘리먼트가 모든 TB 크기에 대해 16과 같다. IBC 및 인트라 코딩 모드가 현재 동일한 스케일링 행렬을 공유한다. 따라서 USER_DEFINED 행렬의 경우, MatrixType 및 MatrixType_DC의 수는 다음과 같이 업데이트된다:

MatrixType: 30 = 2(인트라&IBC/인터의 경우 2) × 3(Y/Cb/Cr 성분) × 5(정사각형 TB 크기: 루마의 경우 4×4 내지 64×64, 크로마의 경우 2×2 내지 32×32).

MatrixType_DC: 14 = 2(인트라&IBC/인터의 경우 2 × Y 성분의 경우 1) × 3(TB 크기: 16×16, 32×32, 64×64) + 4(인트라&IBC/인터의 경우 2 × Cb/Cr 성분의 경우 2) × 2(TB 크기: 16×16, 32×32).

DC 값은 다음의 스케일링 행렬: 16×16, 32×32 및 64×64에 대해 개별적으로 코딩된다. 8×8보다 작은 크기의 TB의 경우, 하나의 스케일링 행렬의 모든 엘리먼트가 시그널링된다. TB가 8×8 이상의 크기를 갖는다면, 하나의 8×8 스케일링 행렬 내의 64개의 엘리먼트만이 기본 스케일링 행렬로서 시그널링된다. 8×8보다 큰 크기의 정사각형 행렬을 획득하기 위해, 8×8 기본 스케일링 행렬은 (엘리먼트의 복제에 의해) 대응하는 정사각형 크기(즉, 16×16, 32×32, 64×64)로 업샘플링된다. 64-점 변환을 위한 고주파 계수의 제로화가 적용될 때, 스케일링 행렬의 대응하는 고주파가 또한 제로화된다. 즉, TB의 폭 또는 높이가 32 이상이라면, 계수의 좌측 또는 최상부 절반만이 유지되고, 나머지 계수는 0으로 할당된다. 더욱이, 64×64 스케일링 행렬에 대해 시그널링된 엘리먼트의 수는 또한, 8×8에서 3개의 4×4 부분행렬로 감소되는데, 이는 최하부 우측 4×4 엘리먼트가 결코 사용되지 않기 때문이다.

변환 계수 코딩을 위한 컨텍스트 모델링

변환 계수 레벨의 절대 값과 관련된 신택스 엘리먼트에 대한 확률 모델의 선택은 국소 이웃에서의 절대 레벨 또는 부분적으로 재구성된 절대 레벨의 값에 의존한다. 사용된 템플릿은 도 11에 예시된다.

도 11은 확률 모델을 선택하기 위해 사용되는 템플릿의 예시를 도시한다. 검정 정사각형은 현재 스캔 포지션을 특정하고, "x"를 갖는 정사각형은 사용된 국소 이웃을 표현한다.

선택된 확률 모델은, 국소 이웃에서의 절대 레벨(또는 부분적으로 재구성된 절대 레벨)과 국소 이웃에서의 0보다 큰 절대 레벨의 수(1과 같은 sig_coeff_flag의 수로 주어짐)의 합에 의존한다. 컨텍스트 모델링 및 이진화는 국소 이웃에 대한 다음의 측정에 의존한다:

numSig: 국소 이웃에서 0이 아닌 레벨의 수;

sumAbs1: 국소 이웃에서 첫 번째 패스 후의 부분적으로 재구성된 절대 레벨(absLevel1)의 합;

sumAbs: 국소 이웃에서의 재구성된 절대 레벨의 합;

대각 포지션(d): 변환 블록 내부의 현재 스캔 포지션의 수평 및 수직 좌표의 합.

numSig, sumAbs1 및 d의 값에 기초하여, sig_coeff_flag, abs_level_gt1_flag, par_level_flag 및 abs_level_gt3_flag를 코딩하기 위한 확률 모델이 선택된다. abs_remainder 및 dec_abs_level을 이진화하기 위한 라이스 파라미터는 sumAbs 및 numSig의 값에 기초하여 선택된다.

현재 VVC에서, (RMTS32로도 또한 지칭되는) 감소된 32-점 MTS는 고주파 계수를 스킵하는 것에 기반하며, 32-점 DST-7/DCT-8의 계산 복잡도를 감소시키는 데 사용된다. 그리고 이는 모든 타입의 제로화(즉, RMTS32 및 DCT2에서의 고주파 성분에 대한 기존의 제로화)를 포함하는 계수 코딩 변화를 동반한다. 구체적으로, 마지막 0이 아닌 계수 포지션 코딩의 이진화는 축소된 TU 크기에 기초하여 코딩되고, 마지막 0이 아닌 계수 포지션 코딩에 대한 컨텍스트 모델 선택은 원래의 TU 크기에 의해 결정된다. 추가로, 60개의 컨텍스트 모델이 변환 계수의 sig_coeff_flag를 코딩하는 데 사용된다. 컨텍스트 모델 인덱스의 선택은 다음과 같이 locSumAbsPass1로 지칭되는 5개의 이전에 부분적으로 재구성된 절대 레벨 중 최대치와 종속 양자화 상태(Qstate)의 합에 기초한다:

cIdx가 0과 같다면, ctxInc는 다음과 같이 도출된다:

ctxInc = 12 * Max( 0, QState - 1 ) +

Min( ( locSumAbsPass1 + 1 ) >> 1, 3 ) +

( d < 2 ? 8 : ( d < 5 ? 4 : 0 ) )

그렇지 않으면(cIdx가 0보다 크다면), ctxInc는 다음과 같이 도출된다:

ctxInc = 36 + 8 * Max( 0, QState - 1) +

Min( ( locSumAbsPass1 + 1 ) >> 1, 3 ) + ( d < 2 ? 4 : 0 )

팔레트 모드

팔레트 모드 이면의 기본 아이디어는, CU의 샘플이 작은 세트의 대표적인 색상 값에 의해 표현된다는 것이다. 이 세트는 팔레트로 지칭된다. 팔레트로부터 배제되는 색상 값을 3개의 색성분의 값이 비트스트림으로 직접 시그널링되는 이스케이프(escape) 색상으로서 시그널링함으로써 그러한 색상 값을 지시하는 것이 또한 가능하다. 이는 도 12에 예시된다.

도 12는 팔레트 모드에서 코딩된 블록의 일례를 도시한다. 도 12는 팔레트 모드로 코딩된 블록(1210) 및 팔레트(1220)를 포함한다.

도 12에서, 팔레트 크기는 4이다. 처음 3개의 샘플은 재구성을 위해 각각 팔레트 항목 2, 0 및 3을 사용한다. 청색 샘플은 이스케이프 심벌을 나타낸다. CU 레벨 플래그인 palette_escape_val_present_flag는 임의의 이스케이프 심벌이 CU에 존재하는지 여부를 지시한다. 이스케이프 심벌이 존재한다면, 팔레트 크기는 1씩 증분되고, 마지막 인덱스는 이스케이프 심벌을 지시하는 데 사용된다. 따라서 도 12에서, 인덱스 4가 이스케이프 심벌에 할당된다.

팔레트 코딩된 블록을 디코딩하기 위해, 디코더는 다음의 정보를 가질 필요가 있다:

팔레트 표;

팔레트 인덱스.

팔레트 인덱스가 이스케이프 심벌에 대응한다면, 샘플의 대응하는 색상 값을 지시하기 위해 추가 오버헤드가 시그널링된다.

추가로, 인코더 측에서, 해당 CU와 함께 사용될 적절한 팔레트를 도출할 필요가 있다.

손실 코딩을 위한 팔레트의 도출을 위해, 수정된 k-평균 클러스터링 알고리즘이 사용된다. 블록의 첫 번째 샘플이 팔레트에 추가된다. 그런 다음, 블록으로부터의 각각의 후속 샘플에 대해, 샘플과 현재 팔레트 색상 각각 사이의 절대 차의 합(SAD: sum of absolute difference)이 계산된다. 성분 각각에 대한 왜곡이 최소 SAD에 대응하는 팔레트 항목에 대한 임계값보다 작다면, 샘플은 팔레트 항목에 속하는 클러스터에 추가된다. 그렇지 않으면, 샘플은 새로운 팔레트 항목으로서 추가된다. 클러스터에 매핑된 샘플의 수가 임계치를 초과하면, 그 클러스터에 대한 중심이 업데이트되고, 그 클러스터의 팔레트 항목이 된다.

다음 단계에서, 클러스터는 사용량의 내림차순으로 정렬된다. 그런 다음, 각각의 항목에 대응하는 팔레트 항목이 업데이트된다. 일반적으로는, 클러스터 중심이 팔레트 항목으로서 사용된다. 그러나 팔레트 항목을 코딩하는 비용이 고려될 때, 팔레트 예측자로부터의 임의의 항목이 중심 대신 업데이트된 팔레트 항목으로서 사용되기에 더 적합한지 여부를 분석하기 위해 레이트 왜곡 분석이 수행된다. 이 프로세스는, 모든 클러스터가 처리되거나 또는 최대 팔레트 크기에 도달될 때까지 계속된다. 마지막으로, 클러스터가 단일 샘플만을 갖고 대응하는 팔레트 항목이 팔레트 예측자에 있지 않다면, 샘플은 이스케이프 심벌로 변환된다. 추가로, 복제 팔레트 항목이 제거되고 이들의 클러스터가 병합된다.

팔레트 도출 후에, 블록 내의 각각의 샘플에는 (SAD에서) 가장 가까운 팔레트 항목의 인덱스가 할당된다. 그 다음, 샘플은 'INDEX' 또는 'COPY_ABOVE' 모드로 할당된다. 각각의 샘플에 대해, 'INDEX' 또는 'COPY_ABOVE' 모드가 가능하다. 그 다음, 모드를 코딩하는 비용이 계산된다. 비용이 더 낮은 모드가 선택된다.

팔레트 항목의 코딩을 위해, 팔레트 예측자가 유지된다. 팔레트 예측자뿐만 아니라 팔레트의 최대 크기가 SPS에서 시그널링된다. 팔레트 예측자는 각각의 CTU 행, 각각의 슬라이스 및 각각의 타일의 시작 시에 초기화된다.

팔레트 예측자 내의 각각의 항목에 대해, 각각의 항목이 현재 팔레트의 일부인지 여부를 지시하기 위해 재사용 플래그가 시그널링된다. 이는 도 13에 예시된다.

도 13은 팔레트 항목을 시그널링하기 위한 팔레트 예측자의 사용을 도시한다. 도 13은 이전 팔레트(1310) 및 현재 팔레트(1320)를 포함한다.

재사용 플래그는 제로들의 런-길이 코딩(run-length coding)을 사용하여 송신된다. 그 후에, 새로운 팔레트 항목의 수는 차수 0의 지수 Golomb 코드를 사용하여 시그널링된다. 마지막으로, 새로운 팔레트 항목에 대한 성분 값이 시그널링된다.

팔레트 인덱스는 도 14a 및 도 14b에 도시된 바와 같이 수평 및 수직 횡단 스캔을 사용하여 코딩된다. 스캔 순서는 palette_transpose_flag를 사용하여 비트스트림에서 명시적으로 시그널링된다.

도 14a는 수평 횡단 스캔을 도시한다.

도 14b는 수직 횡단 스캔을 도시한다.

팔레트 인덱스를 코딩하기 위해, 라인 계수 그룹(CG: coefficient group) 기반 팔레트 모드가 사용되는데, 이는 도 15a 및 도 15b에 도시된 바와 같이, CU를 횡단 스캔 모드에 기반하여 16개의 샘플을 갖는 다수의 세그먼트로 분할했으며, 여기서 이스케이프 모드에 대한 양자화된 색상, 인덱스 런 및 팔레트 인덱스 값이 각각의 CG에 대해 순차적으로 인코딩/파싱된다.

도 15a는 팔레트에 대한 서브블록 기반 인덱스 맵 스캐닝을 도시한다.

도 15b는 팔레트에 대한 서브블록 기반 인덱스 맵 스캐닝을 도시한다.

팔레트 인덱스는 2개의 메인 팔레트 샘플 모드: 'INDEX' 및 'COPY_ABOVE'를 사용하여 코딩된다. 이전에 설명된 바와 같이, 이스케이프 심벌에는 최대 팔레트 크기와 동일한 인덱스가 할당된다. 'COPY_ABOVE' 모드에서, 위의 행의 샘플의 팔레트 인덱스가 복사된다. 'INDEX' 모드에서, 팔레트 인덱스는 명시적으로 시그널링된다. 각각의 세그먼트에서의 팔레트 런 코딩에 대한 인코딩 순서는 다음과 같다:

각각의 픽셀에 대해, 픽셀이 이전 픽셀과 동일한 모드인지 여부, 즉 이전의 스캐닝된 픽셀과 현재 픽셀이 둘 다 COPY_ABOVE 런 타입인지 또는 이전의 스캐닝된 픽셀과 현재 픽셀이 둘 다 INDEX 런 타입 및 동일한 인덱스 값인지를 지시하는 1개의 컨텍스트 코딩된 빈 run_copy_flag = 0이 시그널링된다. 그렇지 않으면, run_copy_flag = 1이 시그널링된다.

픽셀과 이전 픽셀이 상이한 모드라면, 픽셀의 런 타입, 즉 INDEX 또는 COPY_ABOVE를 지시하는 하나의 컨텍스트 코딩된 빈(copy_above_palette_indices_flag)이 시그널링된다. 샘플이 첫 번째 행(수평 횡단 스캔)에 있거나 또는 첫 번째 열(수직 횡단 스캔)에 있다면, 디코더는 런 타입을 파싱할 필요가 없는데, 이는 INDEX 모드가 디폴트로 사용되기 때문이다. 또한, 이전에 파싱된 런 타입이 COPY_ABOVE라면, 디코더는 런 타입을 파싱할 필요가 없다.

하나의 세그먼트 내의 픽셀들의 팔레트 런 코딩 후에, INDEX 모드에 대한 인덱스 값(palette_idx_idc) 및 양자화된 이스케이프 색상(palette_escape_val)은 우회 코딩된다.

잔차 및 계수 코딩에 대한 개선

VVC에서, 변환 계수를 코딩할 때, abs_remainder 및 dec_abs_level의 신택스를 시그널링하기 위해 통합된(동일한) 라이스 파라미터(RicePara) 도출이 사용된다. 유일한 차이는, 각각 abs_remainder 및 dec_abs_level을 코딩하기 위해 베이스 레벨인 baseLevel이 4 및 0으로 설정된다는 것이다. 라이스 파라미터는 다음과 같이, 국소 템플릿에서 이웃하는 5개의 변환 계수의 절대 레벨의 합뿐만 아니라 대응하는 베이스 레벨에 기반하여 결정된다:

RicePara = RiceParTable[ max(min( 31, sumAbs - 5 * baseLevel), 0) ]

즉, 신택스 엘리먼트 abs_remainder 및 dec_abs_level에 대한 2진 코드워드는 이웃 계수의 레벨 정보에 따라 적응적으로 결정된다. 이러한 코드워드 결정은 각각의 샘플에 대해 수행되기 때문에, 이는 계수 코딩에 대한 이러한 코드워드 적응을 핸들링(handle)하기 위한 추가 로직을 필요로 한다.

유사하게, 변환 스킵 모드 하에서 잔차 블록을 코딩할 때, 신택스 엘리먼트 abs_remainder에 대한 2진 코드워드는 이웃 잔차 샘플의 레벨 정보에 따라 적응적으로 결정된다.

더욱이, 잔차 코딩 또는 변환 계수 코딩과 관련된 신택스 엘리먼트를 코딩할 때, 확률 모델의 선택은 이웃 레벨의 레벨 정보에 의존하며, 이는 추가 로직 및 추가 컨텍스트 모델을 요구한다.

현재의 설계에서, 이스케이프 샘플의 이진화는 3차 Exp-Golomb 이진화 프로세스를 호출함으로써 도출된다. 그 성능을 더 개선할 여지가 있다.

현재 VVC에서, 2개의 상이한 레벨 매핑 방식이 이용 가능하며, 정규 변환 및 변환 스킵에 각각 적용된다. 각각의 레벨 매핑 방식은 상이한 조건, 매핑 기능 및 매핑 포지션과 연관된다. 정규 변환이 적용되는 블록의 경우, 컨텍스트 코딩된 빈(CCB)의 수가 제한을 초과한 후에 레벨 매핑 방식이 사용된다. ZeroPos[ n ]으로 표기된 매핑 포지션 및 AbsLevel[ xC ][ yC ]로 표기된 매핑 결과는 표 2에 특정된 바와 같이 도출된다. 변환 스킵이 적용되는 블록의 경우, 컨텍스트 코딩된 빈(CCB)의 수가 제한을 초과하기 전에 다른 레벨 매핑 방식이 사용된다. predCoeff로 표기된 매핑 포지션 및 AbsLevel[ xC ][ yC ]로 표기된 매핑 결과는 표 5에 특정된 바와 같이 도출된다. 이러한 통합되지 않은 설계는 표준화 관점에서 최적이 아닐 수 있다.

HEVC에서 10-비트를 초과하는 프로파일의 경우, 1과 같은 extended_precision_processing_flag는 확장된 동적 범위가 계수 파싱 및 역변환 처리에 사용됨을 특정한다. 현재 VVC에서, 10-비트를 초과하는 변환 계수 또는 변환 스킵 코딩에 대한 잔차 코딩은 성능의 상당한 감소의 원인으로서 보고된다. 그 성능을 더 개선할 여지가 있다.

제한된 방법

본 개시내용에서, 잔차 및 계수 코딩에 대한 개선의 섹션에서 언급된 문제를 해결하기 위해 여러 방법이 제안된다. 다음의 방법이 독립적으로 또는 공동으로 적용될 수 있다는 것이 주목된다.

본 개시내용의 제1 양상에 따르면, 잔차 코딩에서 특정 신택스 엘리먼트, 예컨대 abs_remainder를 코딩하기 위한 2진 코드워드의 고정된 세트를 사용하는 것이 제안된다. 2진 코드워드는 상이한 방법을 사용하여 형성될 수 있다. 일부 예시적인 방법이 다음과 같이 열거된다.

첫째로, 현재 VVC에서 사용되는 abs_remainder에 대한 코드워드를 결정하기 위한 동일한 프로시저가 사용되지만, 항상 고정된 라이스 파라미터(예컨대, 1, 2 또는 3)가 선택된다.

둘째, 고정 길이 이진화.

셋째, 절단된(truncated) 라이스 이진화.

넷째, 절단된 2진(TB: truncated Binary) 이진화 프로세스.

다섯째, k차 Exp-Golomb 이진화 프로세스(EGk).

여섯째, 제한된 k차 Exp-Golomb 이진화.

본 개시내용의 제2 양상에 따르면, 변환 계수 코딩에서 특정 신택스 엘리먼트, 예컨대 abs_remainder 및 dec_abs_level을 코딩하기 위한 코드워드의 고정된 세트를 사용하는 것이 제안된다. 2진 코드워드는 상이한 방법을 사용하여 형성될 수 있다. 일부 예시적인 방법이 다음과 같이 열거된다.

첫째로, 현재 VVC에서 사용되는 abs_remainder 및 dec_abs_level에 대한 코드워드를 결정하기 위한 동일한 프로시저가 사용되지만, 고정된 라이스 파라미터, 예컨대 1, 2 또는 3이 사용된다. baseLevel의 값은 현재 VVC에서 사용되는 바와 같이 abs_remainder 및 dec_abs_level에 대해 여전히 상이할 수 있다. (예컨대, 각각 abs_remainder 및 dec_abs_level을 코딩하기 위해 baseLevel이 4 및 0으로 설정된다).

둘째로, 현재 VVC에서 사용되는 abs_remainder 및 dec_abs_level에 대한 코드워드를 결정하기 위한 동일한 프로시저가 사용되지만, 고정된 라이스 파라미터, 예컨대 1, 2 또는 3이 사용된다. abs_remainder 및 dec_abs_level에 대한 baseLevel의 값은 동일하도록 선택되는데, 예컨대, 둘 다 0을 사용하거나 둘 다 4를 사용한다.

셋째, 고정 길이 이진화.

넷째, 절단된 라이스 이진화.

다섯째, 절단된 2진(TB) 이진화 프로세스.

여섯째, k차 Exp-Golomb 이진화 프로세스(EGk).

일곱째, 제한된 k차 Exp-Golomb 이진화

본 개시내용의 제3 양상에 따르면, 잔차 코딩 또는 계수 코딩과 관련된 신택스 엘리먼트의 코딩을 위해 단일 컨텍스트(예컨대, abs_level_gtx_flag)를 사용하는 것이 제안되고, 이웃의 디코딩된 레벨 정보에 기초한 컨텍스트 선택이 제거될 수 있다.

본 개시내용의 제4 양상에 따르면, 잔차 코딩에서 특정 신택스 엘리먼트, 예컨대 abs_remainder를 코딩하기 위해 2진 코드워드의 가변 세트를 사용하는 것이 제안되고, 현재 블록의 특정 코딩된 정보, 예컨대 TB/CB 및/또는 슬라이스와 연관된 양자화 파라미터(QP), CU의 예측 모드(예컨대, IBC 모드 또는 인트라 또는 인터) 및/또는 슬라이스 타입(예컨대, I 슬라이스, P 슬라이스 또는 B 슬라이스)의 특정 코딩된 정보에 따라 2진 코드워드의 세트의 선택이 결정된다. 2진 코드워드의 변수 세트를 도출하는 데 상이한 방법이 사용될 수 있으며, 일부 예시적인 방법이 다음과 같이 열거된다.

첫째로, 현재 VVC에서 사용되는 abs_remainder에 대한 코드워드를 결정하기 위한 동일한 프로시저가 사용되지만, 상이한 라이스 파라미터가 사용된다.

둘째, k차 Exp-Golomb 이진화 프로세스.

셋째, 제한된 k차 Exp-Golomb 이진화.

표 6. QP 값에 기초한 라이스 파라미터 결정

제4 양상에서 설명된 것과 동일한 방법이 또한 변환 효율적인 코딩에 적용 가능하다. 본 개시내용의 제5 양상에 따르면, 변환 계수 코딩에서 특정 신택스 엘리먼트, 예컨대 abs_remainder 및 dec_abs_level을 코딩하기 위해 2진 코드워드의 가변 세트를 사용하는 것이 제안되고, 현재 블록의 특정 코딩된 정보, 예컨대 TB/CB 및/또는 슬라이스와 연관된 양자화 파라미터(QP), CU의 예측 모드(예컨대, IBC 모드 또는 인트라 또는 인터) 및/또는 슬라이스 타입(예컨대, I 슬라이스, P 슬라이스 또는 B 슬라이스)의 특정 코딩된 정보에 따라 2진 코드워드의 세트의 선택이 결정된다. 또한, 2진 코드워드의 변수 세트를 도출하는 데 상이한 방법이 사용될 수 있으며, 일부 예시적인 방법이 다음과 같이 열거된다.

첫째로, 현재 VVC에서 사용되는 abs_remainder에 대한 코드워드를 결정하기 위한 동일한 프로시저가 사용되지만, 상이한 라이스 파라미터가 사용된다.

둘째, k차 Exp-Golomb 이진화 프로세스.

셋째, 제한된 k차 Exp-Golomb 이진화.

상기의 이러한 방법에서, 상이한 세트의 2진 코드워드를 도출하기 위해 상이한 라이스 파라미터가 사용될 수 있다. 잔차 샘플의 주어진 블록에 대해, 사용되는 라이스 파라미터는 이웃 레벨 정보 대신에, QP_CU로 표기된 CU QP에 따라 결정된다. 하나의 특정 예가 표 6에 도시된 바와 같이 예시되며, 여기서 TH1 내지 TH4는 (TH1 < TH2 < TH3 < TH4)를 충족하는 미리 정의된 임계치이고, K0 내지 K4는 미리 정의된 라이스 파라미터이다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 또한, 현재 CU의 QP 값으로부터, 표 6에 도시된 바와 같이 동일한 라이스 파라미터를 도출하는 데 사용될 수 있다.

본 개시내용의 제5 양상에 따르면, 변환 계수 코딩 및/또는 변환 스킵 잔차 코딩의 신택스 엘리먼트에 대한 코드워드 결정과 연관된 파라미터 및/또는 임계치의 세트가 비트스트림으로 시그널링된다. 결정된 코드워드는 엔트로피 코더, 예컨대 산술 코딩을 통해 신택스 엘리먼트를 코딩할 때 이진화 코드워드로서 사용된다.

파라미터 및/또는 임계치의 세트는 신택스 엘리먼트에 대한 코드워드 결정과 연관된 모든 파라미터 및 임계치의 서브세트 또는 전체 세트일 수 있다는 것이 주목된다. 파라미터 및/또는 임계치의 세트는 비디오 비트스트림에서 상이한 레벨로 시그널링될 수 있다. 예를 들어, 이들은 시퀀스 레벨(예컨대, 시퀀스 파라미터 세트), 픽처 레벨(예컨대, 픽처 파라미터 세트 및/또는 픽처 헤더), 슬라이스 레벨(예컨대, 슬라이스 헤더)에서, 코딩 트리 유닛(CTU) 레벨에서 또는 코딩 유닛(CU) 레벨에서 시그널링될 수 있다.

일례로, 변환 스킵 잔차 코딩에서 abs_remainder 신택스를 코딩하기 위한 코드워드를 결정하는 데 사용되는 라이스 파라미터는 슬라이스 헤더, 픽처 헤더, PPS 및/또는 SPS에서 시그널링된다. 시그널링된 라이스 파라미터는, CU가 변환 스킵 모드로서 코딩되고 CU가 위에서 언급된 슬라이스 헤더, 픽처 헤더, PPS 및/또는 SPS 등과 연관되는 경우 신택스 abs_remainder를 코딩하기 위한 코드워드를 결정하는 데 사용된다.

본 개시내용의 제6 양상에 따르면, 제1 양상 및 제2 양상에 예시된 바와 같은 코드워드 결정과 연관된 파라미터 및/또는 임계치의 세트는 변환 계수 코딩 및/또는 변환 스킵 잔차 코딩의 신택스 엘리먼트에 대해 사용된다. 그리고 현재 블록이 루마 잔차/계수를 포함하는지 또는 크로마 잔차/계수를 포함하는지에 따라 상이한 세트가 사용될 수 있다. 결정된 코드워드는 엔트로피 코더, 예컨대 산술 코딩을 통해 신택스 엘리먼트를 코딩할 때 이진화 코드워드로서 사용된다.

일례로, 현재 VVC에서 사용되는 바와 같은 변환 잔차 코딩과 연관된 abs_remainder에 대한 코드워드는 루마 및 크로마 블록 모두에 대해 사용되지만, 상이한 고정된 라이스 파라미터가 루마 블록 및 크로마 블록(예컨대, 루마 블록에 대한 K1, 크로마 블록에 대한 K2, 여기서 K1 및 K2는 정수임)에 의해 각각 사용된다.

본 개시내용의 제7 양상에 따르면, 변환 계수 코딩 및/또는 변환 스킵 잔차 코딩의 신택스 엘리먼트에 대한 코드워드 결정과 연관된 파라미터 및/또는 임계치의 세트가 비트스트림으로 시그널링된다. 그리고 루마 및 크로마 블록에 대해 상이한 세트가 시그널링될 수 있다. 결정된 코드워드는 엔트로피 코더, 예컨대 산술 코딩을 통해 신택스 엘리먼트를 코딩할 때 이진화 코드워드로서 사용된다.

위의 양상에서 설명된 동일한 방법이 또한 팔레트 모드의 이스케이프 값 코딩, 예컨대 palette_escape_val에 적용 가능하다.

본 개시내용의 제8 양상에 따르면, 팔레트 모드에서 이스케이프 값을 코딩하기 위한 상이한 세트의 2진 코드워드를 도출하기 위해, Exp-Golomb 이진화의 상이한 k차가 사용될 수 있다. 일례로, 이스케이프 샘플의 주어진 블록에 대해, 사용된 Exp-Golomb 파라미터, 즉 k의 값은 QP_CU로 표기된 블록의 QP 값에 따라 결정된다. 블록의 주어진 QP 값에 기초하여 파라미터(k)의 값을 도출할 때, 표 6에 예시된 것과 동일한 예가 사용될 수 있다. 그 예에서, 4개의 상이한 임계값(TH1 내지 TH4)이 나열되고, 이러한 임계값 및 QP_CU에 기반하여 5개의 상이한 k 값(K0 내지 K4)이 도출될 수 있지만, 임계값의 수는 예시 목적일 뿐이라고 언급할 가치가 있다. 실제로, 전체 QP 값 범위를 상이한 수의 QP 값 세그먼트로 파티셔닝하기 위해 상이한 수의 임계값이 사용될 수 있고, 각각의 QP 값 세그먼트에 대해, 팔레트 모드에서 코딩되는 블록의 이스케이프 값을 코딩하기 위한 대응하는 2진 코드워드를 도출하기 위해 상이한 k 값이 사용될 수 있다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 또한 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 사용될 수 있다.

본 개시내용의 제9 양상에 따르면, 이스케이프 샘플의 신택스 엘리먼트에 대한 코드워드 결정과 연관된 파라미터 및/또는 임계치의 세트가 비트스트림으로 시그널링된다. 결정된 코드워드는 엔트로피 코더, 예컨대 산술 코딩을 통해 이스케이프 샘플의 신택스 엘리먼트를 코딩할 때 이진화 코드워드로서 사용된다.

파라미터 및/또는 임계치의 세트는 신택스 엘리먼트에 대한 코드워드 결정과 연관된 모든 파라미터 및 임계치의 서브세트 또는 전체 세트일 수 있다는 것이 주목된다. 파라미터 및/또는 임계치의 세트는 비디오 비트스트림에서 상이한 레벨로 시그널링될 수 있다. 예를 들어, 이들은 시퀀스 레벨(예컨대, 시퀀스 파라미터 세트), 픽처 레벨(예컨대, 픽처 파라미터 세트 및/또는 픽처 헤더), 슬라이스 레벨(예컨대, 슬라이스 헤더)에서, 코딩 트리 유닛(CTU) 레벨에서 또는 코딩 유닛(CU) 레벨에서 시그널링될 수 있다.

양상에 따른 일례에서, Exp-Golomb 이진화의 k차가 팔레트 모드에서 palette_escape_val 신택스를 코딩하기 위한 코드워드를 결정하기 위해 사용되고, k의 값은 디코더에 비트스트림으로 시그널링된다. k의 값은 상이한 레벨에서 시그널링될 수 있고, 예컨대 이는 슬라이스 헤더, 픽처 헤더, PPS 및/또는 SPS 등에서 시그널링될 수 있다. 시그널링된 Exp-Golomb 파라미터는, CU가 팔레트 모드로서 코딩되고 CU가 위에서 언급된 슬라이스 헤더, 픽처 헤더, PPS 및/또는 SPS 등과 연관되는 경우 신택스 palette_escape_val을 코딩하기 위한 코드워드를 결정하는 데 사용된다.

변환 스킵 모드 및 정규 변환 모드에 대한 레벨 매핑의 조화

본 개시내용의 제10 양상에 따르면, 레벨 매핑을 적용하기 위한 동일한 조건이 변환 스킵 모드와 정규 변환 모드 둘에 대해 사용된다. 일례로, 컨텍스트 코딩된 빈(CCB)의 수가 변환 스킵 모드와 정규 변환 모드 모두에 대한 제한을 초과한 후에 레벨 매핑을 적용하는 것이 제안된다. 다른 예에서, 컨텍스트 코딩된 빈(CCB)의 수가 변환 스킵 모드와 정규 변환 모드 모두에 대한 제한을 초과하기 전에 레벨 매핑을 적용하는 것이 제안된다.

본 개시내용의 제11 양상에 따르면, 레벨 매핑에서 매핑 포지션의 도출을 위한 동일한 방법이 변환 스킵 모드와 정규 변환 모드 모두에 대해 사용된다. 일례로, 변환 스킵 모드 하에 사용되는 레벨 매핑에서의 매핑 포지션 도출 방법을 정규 변환 모드에도 또한 적용하는 것이 제안된다. 다른 예에서, 정규 변환 모드 하에 사용되는 레벨 매핑에서 매핑 포지션 도출 방법을 변환 스킵 모드에도 또한 적용하는 것이 제안된다.

본 개시내용의 제12 양상에 따르면, 동일한 레벨 매핑 방법이 변환 스킵 모드와 정규 변환 모드 모두에 적용된다. 일례로, 변환 스킵 모드 하에 사용되는 레벨 매핑 함수를 정규 변환 모드에도 또한 적용하는 것이 제안된다. 다른 예에서, 정규 변환 모드 하에 사용되는 레벨 매핑 함수를 변환 스킵 모드에도 또한 적용하는 것이 제안된다.

잔차 코딩에서 라이스 파라미터 도출의 단순화

본 개시내용의 제13 양상에 따르면, Golomb-Rice 코드를 사용하여 abs_remainder/dec_abs_level의 신택스 엘리먼트를 코딩할 때, 라이스 파라미터의 도출을 위해 룩업 테이블 대신에, 시프트 또는 나눗셈 연산과 같은 단순한 로직을 사용하는 것이 제안된다. 본 개시내용에 따르면, 표 4에 특정된 바와 같은 룩업 테이블이 제거될 수 있다. 일례로, 라이스 파라미터(cRiceParam)는: cRiceParam = (locSumAbs >> n)로서 도출되며, 여기서 n은 양수, 예컨대 3이다. 실제로, 동일한 결과, 예컨대 n의 거듭제곱에 대해 2와 같은 값에 의한 나눗셈 연산을 달성하기 위해 다른 상이한 로직이 사용될 수 있다는 것이 주목할 만하다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 7. 라이스 파라미터 도출 프로세스

본 개시내용의 제14 양상에 따르면, Golomb-Rice 코드를 사용하여 abs_remainder/dec_abs_level의 신택스 엘리먼트를 코딩할 때, 라이스 파라미터의 도출을 위해 더 적은 이웃 포지션을 사용하는 것이 제안된다. 일례로, abs_remainder/dec_abs_level의 신택스 엘리먼트를 코딩할 때, 라이스 파라미터의 도출을 위해 2개의 이웃 포지션만을 사용하는 것이 제안된다. VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 8. 라이스 파라미터 도출 프로세스

다른 예에서, abs_remainder/dec_abs_level의 신택스 엘리먼트를 코딩할 때, 라이스 파라미터의 도출을 위해 하나의 이웃 포지션만을 사용하는 것이 제안된다. VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 9. 라이스 파라미터 도출 프로세스

본 개시내용의 제15 양상에 따르면, Golomb-Rice 코드를 사용하여 abs_remainder/dec_abs_level의 신택스 엘리먼트를 코딩할 때, 라이스 파라미터의 도출을 위해 baseLevel의 값에 기초하여 locSumAbs의 값을 조정하는 데 상이한 로직을 사용하는 것이 제안된다. 일례로, 추가 스케일 및 오프셋 연산이 "(locSumAbs - baseLevel * 5) *alpha + beta"의 형태로 적용된다. alpha가 1.5의 값을 취하고 beta가 1의 값을 취할 때, VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 10. 라이스 파라미터 도출 프로세스

본 개시내용의 제16 양상에 따르면, Golomb-Rice 코드를 사용한 abs_remainder/dec_abs_level의 신택스 엘리먼트에서의 라이스 파라미터의 도출을 위해 클립(clip) 연산을 제거하는 것이 제안된다. 본 개시내용에 따르면, VVC 초안 상의 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 11. 라이스 파라미터 도출 프로세스

본 개시내용에 따르면, VVC 초안 상의 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 12. 라이스 파라미터 도출 프로세스

본 개시내용의 제17 양상에 따르면, Golomb-Rice 코드를 사용하여 abs_remainder/dec_abs_level의 신택스 엘리먼트를 코딩할 때, 라이스 파라미터의 도출을 위해 locSumAbs의 초기 값을 0에서 0이 아닌 정수로 변경하는 것이 제안된다. 일례로, locSumAbs에 1의 초기 값이 할당되고, VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 13. 라이스 파라미터 도출 프로세스

본 개시내용의 제18 양상에 따르면, Golomb-Rice 코드를 사용하여 abs_remainder/dec_abs_level의 신택스 엘리먼트를 코딩할 때, 라이스 파라미터의 도출을 위해 이웃 포지션 레벨 값의 합산 값 대신에 이웃 포지션 레벨 값의 최대값을 사용하는 것이 제안된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 14. 라이스 파라미터 도출 프로세스

본 개시내용의 제19 양상에 따르면, Golomb-Rice 코드를 사용하여 abs_remainder/dec_abs_level의 신택스 엘리먼트를 코딩할 때, 이웃 포지션에서의 각각의 AbsLevel 값의 상대적인 진폭 및 베이스 레벨 값에 기초하여 라이스 파라미터를 도출하는 것이 제안된다. 일례로, 라이스 파라미터는 이웃 포지션에서의 AbsLevel 값 중 얼마나 많은 값이 베이스 레벨보다 더 큰지에 기반하여 도출된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 15. 라이스 파라미터 도출 프로세스

다른 예에서, AbsLevel 값이 베이스 레벨보다 더 큰 그러한 이웃 포지션에 대한 (AbsLevel - baseLevel) 값의 합에 기초하여 라이스 파라미터가 도출된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 16. 라이스 파라미터 도출 프로세스

본 개시내용에 따르면, VVC 초안 상의 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 17. 라이스 파라미터 도출 프로세스

잔차 코딩에서의 레벨 매핑 포지션 도출의 단순화

본 개시내용의 제20 양상에 따르면, ZeroPos[ n ]이 단지 cRiceParam으로부터 도출되도록 ZeroPos[ n ]의 도출로부터 Qstate를 제거하는 것이 제안된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 18. 라이스 파라미터 도출 프로세스

본 개시내용의 제21 양상에 따르면, locSumAbs의 값에 기초하여 ZeroPos[ n ]을 도출하는 것이 제안된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 19. 라이스 파라미터 도출 프로세스

본 개시내용의 제22 양상에 따르면, 이웃 포지션의 AbsLevel의 값에 기초하여 ZeroPos[ n ]을 도출하는 것이 제안된다. 일례로, ZeroPos[ n ]은 AbsLevel[ xC + 1 ][ yC ] 및 AbsLevel[ xC ][ yC + 1 ] 중 최대값에 기초하여 도출된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 20. 라이스 파라미터 도출 프로세스

본 개시내용의 제23 양상에 따르면, 이웃 포지션의 모든 AbsLevel 값의 최대값에 기초하여 cRiceParam 및 ZeroPos[ n ] 모두를 도출하는 것이 제안된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다.

표 21. 라이스 파라미터 도출 프로세스

위의 양상에서 설명된 동일한 방법이 또한 변환 스킵 모드에 대한 잔차 코딩에서 predCoeff의 도출에 적용 가능하다. 일례로, 변수 predCoeff는 다음과 같이 도출된다:predCoeff = Max( absLeftCoeff, absAboveCoeff ) + 1

변환 계수에 대한 잔차 코딩

본 개시내용에서, "잔차 및 계수 코딩에 대한 개선" 섹션에서 지적된 바와 같은 문제를 해결하기 위해, 잔차 코딩의 기존 설계를 단순화하고 그리고/또는 추가로 개선하기 위한 방법이 제공된다. 일반적으로, 본 개시내용에서 제안된 기술의 주요 특징은 다음과 같이 요약된다.

첫째, 현재 설계에 기반하여 정규 잔차 코딩 하에 사용되는 라이스 파라미터 도출을 조정한다.

둘째, 정규 잔차 코딩 하에 사용되는 2진 방법을 변경한다.

셋째, 정규 잔차 코딩 하에 사용되는 라이스 파라미터 도출을 변경한다.

현재 설계에 기반한 잔차 코딩에서의 라이스 파라미터 도출

본 개시내용의 제24 양상에 따르면, 잔차 코딩에서 특정 신택스 엘리먼트, 예컨대 abs_remainder/dec_abs_level을 코딩하기 위해 가변적인 라이스 파라미터 도출 방법을 사용하는 것이 제안되고, 현재 블록의 특정 코딩된 정보, 예컨대 TB/CB 및/또는 슬라이스/프로파일과 연관된 양자화 파라미터 또는 코딩 비트 심도에 따라, 그리고/또는 TB/CB/슬라이스/픽처/시퀀스 레벨과 연관된 새로운 플래그, 예컨대 extended_precision_processing_flag에 따라 선택이 결정된다. 라이스 파라미터를 도출하는 데 상이한 방법이 사용될 수 있으며, 일부 예시적인 방법이 다음과 같이 열거된다.

첫째, cRiceParam = (cRiceParam << a) + (cRiceParam >> b) +c이고, 여기서 a, b 및 c는 양수, 예컨대 {a,b,c}= {1,1,0}이다. 실제로, 동일한 결과, 예컨대 n의 거듭제곱에 대해 2와 같은 값에 의한 곱셈 연산을 달성하기 위해 다른 상이한 로직이 사용될 수 있다는 것이 주목할 만하다.

둘째, cRiceParam = (cRiceParam << a) +b이고, 여기서 a 및 b는 양수, 예컨대 {a,b}= {1,1}이다. 실제로, 동일한 결과, 예컨대 n의 거듭제곱에 대해 2와 같은 값에 의한 곱셈 연산을 달성하기 위해 다른 상이한 로직이 사용될 수 있다는 것이 주목할 만하다.

셋째, cRiceParam = (cRiceParam*a) +b이고, 여기서 a 및 b는 양수, 예컨대 {a,b}= {1.5,0}이다. 실제로, 동일한 결과, 예컨대 n의 거듭제곱에 대해 2와 같은 값에 의한 곱셈 연산을 달성하기 위해 다른 상이한 로직이 사용될 수 있다는 것이 주목할 만하다.

VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다. VVC 초안에 대한 변경은 표 22에서 볼드체 및 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 또한, 현재 CU/시퀀스의 BitDepth 값으로부터 동일한 라이스 파라미터를 도출하는 데 사용될 수 있다.

표 22. 라이스 파라미터 도출 프로세스

다른 예에서, BitDepth가 미리 정의된 임계치(예컨대, 10, 11, 12, 13, 14, 15 또는 16)보다 크거나 같을 때, 라이스 파라미터(cRiceParam)는: cRiceParam = (cRiceParam << a)+ (cRiceParam >> b)+c로서 도출되며, 여기서 a, b 및 c는 양수, 예컨대 1이다. VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다. VVC 초안에 대한 변경은 표 23에서 볼드체 및 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 또한, 현재 CU/시퀀스의 BitDepth 값으로부터 동일한 라이스 파라미터를 도출하는 데 사용될 수 있다.

표 23. 라이스 파라미터 도출 프로세스

10-비트를 초과하는 프로파일에 대한 잔차 코딩에서의 2진 방법

본 개시내용의 제25 양상에 따르면, 잔차 코딩에서 특정 신택스 엘리먼트, 예컨대 abs_remainder/dec_abs_level을 코딩하기 위한 2진 코드워드의 가변 세트를 사용하는 것이 제안되고, 현재 블록의 특정 코딩된 정보, 예컨대 TB/CB 및/또는 슬라이스/프로파일과 연관된 양자화 파라미터 또는 코딩 비트 심도에 따라, 그리고/또는 TB/CB/슬라이스/픽처/시퀀스 레벨과 연관된 새로운 플래그, 예컨대 extended_precision_processing_flag에 따라 선택이 결정된다. 2진 코드워드의 변수 세트를 도출하는 데 상이한 방법이 사용될 수 있으며, 일부 예시적인 방법이 다음과 같이 열거된다.

첫째로, 현재 VVC에서 사용되는 abs_remainder에 대한 코드워드를 결정하기 위한 동일한 프로시저가 사용되지만, 항상 고정된 라이스 파라미터(예컨대, 2, 3, 4, 5, 6, 7 또는 8)가 선택된다. 고정 값은 상이한 조건에서 현재 블록의 특정 코딩된 정보, 예컨대 TB/CB 및/또는 슬라이스/프로파일과 연관된 양자화 파라미터 또는 코딩 비트 심도에 따라, 그리고/또는 TB/CB/슬라이스/픽처/시퀀스 레벨, 예컨대 rice_ parameter_value와 연관된 신택스 엘리먼트에 따라 상이할 수 있다. 하나의 특정 예가 표 24에 도시된 바와 같이 예시되며, 여기서 TH1 내지 TH4는 (TH1 < TH2 < TH3 < TH4)를 충족하는 미리 정의된 임계치이고, K0 내지 K4는 미리 정의된 라이스 파라미터이다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 또한, 현재 CU/시퀀스의 BitDepth 값으로부터, 표 24에 도시된 바와 같이 동일한 라이스 파라미터를 도출하는 데 사용될 수 있다.

둘째, 고정 길이 이진화.

셋째, 절단된 라이스 이진화.

넷째, 절단된 2진(TB) 이진화 프로세스.

다섯째, k차 Exp-Golomb 이진화 프로세스(EGk).

여섯째, 제한된 k차 Exp-Golomb 이진화

표 24. 비트 심도에 기초한 라이스 파라미터 결정

일례로, 새로운 플래그, 예컨대 extended_precision_processing_flag가 1과 같으면, 라이스 파라미터(cRiceParam)는 n으로서 고정되고, 여기서 n은 양수(예컨대, 2, 3, 4, 5, 6, 7 또는 8)이다. 고정 값은 상이한 조건에서 상이할 수 있다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다. VVC 초안에 대한 변경은 표 25에서 볼드체 및 이탤릭체로 도시된다.

표 25. 라이스 파라미터 도출 프로세스

다른 예에서, 새로운 플래그, 예컨대 extended_precision_processing_flag가 1과 같으면, abs_remainder/dec_abs_level의 신택스 엘리먼트를 코딩할 때 라이스 파라미터에 대해 하나의 고정 값만을 사용하는 것이 제안된다. VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다. VVC 초안에 대한 변경은 표 26에서 볼드체 및 이탤릭체로 도시된다.

표 26. 라이스 파라미터 도출 프로세스

또 다른 예에서, BitDepth가 미리 정의된 임계치(예컨대, 10, 11, 12, 13, 14, 15 또는 16)보다 크거나 같을 때, 라이스 파라미터(cRiceParam)는 n으로서 고정되며, 여기서 n은 양수, 예컨대 4, 5, 6, 7 또는 8이다. 고정 값은 상이한 조건에서 상이할 수 있다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 임계치(예컨대, 10, 11, 12, 13, 14, 15 또는 16)이다. VVC 초안에 대한 변경은 표 27에서 볼드체 및 이탤릭체로 도시되며, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시된다.

표 27. 라이스 파라미터 도출 프로세스

또 다른 예에서, BitDepth가 미리 정의된 임계치(예컨대, 10, 11, 12, 13, 14, 15 또는 16)보다 더 크면, abs_remainder/dec_abs_level의 신택스 엘리먼트를 코딩할 때 라이스 파라미터에 대해 하나의 고정 값만을 사용하는 것이 제안된다. VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래에 예시되며, 여기서 TH는 미리 정의된 임계치(예컨대, 10, 11, 12, 13, 14, 15 또는 16)이고, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시된다. VVC 초안에 대한 변경은 표 28에서 볼드체 및 이탤릭체로 도시된다.

표 28. 라이스 파라미터 도출 프로세스

잔차 코딩에서의 라이스 파라미터 도출

본 개시내용의 제26 양상에 따르면, 잔차 코딩에서 특정 신택스 엘리먼트, 예컨대 abs_remainder/dec_abs_level을 코딩하기 위해 가변적인 라이스 파라미터 도출 방법을 사용하는 것이 제안되고, 현재 블록의 특정 코딩된 정보, 예컨대 TB/CB 및/또는 슬라이스/프로파일과 연관된 양자화 파라미터 또는 코딩 비트 심도에 따라, 그리고/또는 TB/CB/슬라이스/픽처/시퀀스 레벨과 연관된 새로운 플래그, 예컨대 extended_precision_processing_flag에 따라 선택이 결정된다. 라이스 파라미터를 도출하는 데 상이한 방법이 사용될 수 있으며, 일부 예시적인 방법이 다음과 같이 열거된다.

첫째, 카운터를 사용하여 라이스 파라미터를 도출하는 것이 제안된다. 카운터는 코딩된 계수의 값 및 현재 블록의 특정 코딩된 정보, 예컨대 성분 ID에 따라 결정된다. 하나의 특정 예는 riceParameter = 카운터/a이며, 여기서 a는 양수, 예컨대 4이고, 이는 (루마/크로마에 의해 분할된) 2개의 카운터를 유지한다. 이러한 카운터는 각각의 슬라이스의 시작 시에 0으로 리셋된다. 일단 코딩되면, 카운터는 이것이 서브-TU에서 코딩된 첫 번째 계수라면 다음과 같이 업데이트된다:

if (coeffValue >= (3 << rice)) counter++

if (((coeffValue << 1) < (1 << riceParameter)) && (counter > 0)) counter--;

둘째, VVC에서의 라이스 파라미터의 도출 시에 시프트 연산을 부가하는 것이 제안된다. 시프트는 코딩된 계수의 값에 따라 결정된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, 시프트는 방법 1의 카운터에 따라 결정되고, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시된다. VVC 초안에 대한 변경은 표 29에서 볼드체 및 이탤릭체로 도시된다.

표 29. 라이스 파라미터 도출 프로세스

첫째, VVC에서의 라이스 파라미터의 도출 시에 시프트 연산을 부가하는 것이 제안된다. 시프트는 현재 블록의 특정 코딩된 정보, 예컨대 TB/CB 및/또는 슬라이스 프로파일(예컨대, 14 비트 프로파일 또는 16 비트 프로파일)과 연관된 코딩 비트 심도에 따라 결정된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, 시프트는 방법 1의 카운터에 따라 결정되고, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시된다. VVC 초안에 대한 변경은 표 30에서 볼드체 및 이탤릭체로 도시된다.

표 30. 라이스 파라미터 도출 프로세스

변환 스킵에 대한 잔차 코딩

본 개시내용의 제27 양상에 따르면, 변환 스킵 잔차 코딩에서 특정 신택스 엘리먼트, 예컨대 abs_remainder를 코딩하기 위한 2진 코드워드의 가변 세트를 사용하는 것이 제안되고, 현재 블록의 특정 코딩된 정보, 예컨대 TB/CB 및/또는 슬라이스/프로파일과 연관된 양자화 파라미터 또는 코딩 비트 심도에 따라, 그리고/또는 TB/CB/슬라이스/픽처/시퀀스 레벨과 연관된 새로운 플래그, 예컨대 extended_precision_processing_flag에 따라 선택이 결정된다. 2진 코드워드의 변수 세트를 도출하는 데 상이한 방법이 사용될 수 있으며, 일부 예시적인 방법이 다음과 같이 열거된다.

첫째로, 현재 VVC에서 사용되는 abs_remainder에 대한 코드워드를 결정하기 위한 동일한 프로시저가 사용되지만, 항상 고정된 라이스 파라미터(예컨대, 2, 3, 4, 5, 6, 7 또는 8)가 선택된다. 고정 값은 상이한 조건에서 현재 블록의 특정 코딩된 정보, 예컨대 TB/CB 및/또는 슬라이스/프로파일과 연관된 양자화 파라미터, 프레임 타입(예컨대, I, P 또는 B ), 성분 ID(예컨대, 루마 또는 크로마 ), 색 포맷(예컨대, 420, 422 또는 444) 또는 코딩 비트 심도에 따라, 그리고/또는 TB/CB/슬라이스/픽처/시퀀스 레벨, 예컨대 rice_ parameter_value와 연관된 신택스 엘리먼트에 따라 상이할 수 있다. 하나의 특정 예가 표 7에 도시된 바와 같이 예시되며, 여기서 TH1 내지 TH4는 (TH1 < TH2 < TH3 < TH4)를 충족하는 미리 정의된 임계치이고, K0 내지 K4는 미리 정의된 라이스 파라미터이다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 또한, 현재 CU/시퀀스의 BitDepth 값으로부터, 표 7에 도시된 바와 같이 동일한 라이스 파라미터를 도출하는 데 사용될 수 있다.

둘째, 고정 길이 이진화.

셋째, 절단된 라이스 이진화.

넷째, 절단된 2진(TB) 이진화 프로세스.

다섯째, k차 Exp-Golomb 이진화 프로세스(EGk).

여섯째, 제한된 k차 Exp-Golomb 이진화

VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, VVC 초안에 대한 변경은 표 31에서 볼드체 및 이탤릭체로 도시되고, 삭제된 내용은 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 31. 라이스 파라미터 도출 프로세스

다른 예에서, 새로운 플래그, 예컨대 extended_precision_processing_flag가 1과 같으면, abs_remainder의 신택스 엘리먼트를 코딩할 때 라이스 파라미터에 대해 하나의 고정 값만을 사용하는 것이 제안된다. VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다. VVC 초안에 대한 변경은 표 32에서 볼드체 및 이탤릭체로 도시된다.

표 32. 라이스 파라미터 도출 프로세스

또 다른 예에서, 새로운 플래그, 예컨대 extended_precision_processing_flag가 1과 같으면, 라이스 파라미터(cRiceParam)는 n으로서 고정되고, 여기서 n은 양수(예컨대, 2, 3, 4, 5, 6, 7 또는 8)이다. 고정 값은 상이한 조건에서 상이할 수 있다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 내용은 이탤릭체로 도시되어 예시된다. VVC 초안에 대한 변경은 표 33에서 볼드체 및 이탤릭체로 도시된다.

표 33. 라이스 파라미터 도출 프로세스

또 다른 예에서, BitDepth가 미리 정의된 임계치(예컨대, 10, 11, 12, 13, 14, 15 또는 16)보다 크거나 같을 때, 라이스 파라미터(cRiceParam)는 n으로서 고정되며, 여기서 n은 양수, 예컨대 4, 5, 6, 7 또는 8이다. 고정 값은 상이한 조건에서 상이할 수 있다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 임계치(예컨대, 10, 11, 12, 13, 14, 15 또는 16)이고, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 콘텐츠는 이탤릭체로 도시된다. VVC 초안에 대한 변경은 표 34에서 볼드체 및 이탤릭체로 도시된다.

표 34. 라이스 파라미터 도출 프로세스

또 다른 예에서, 변환 스킵 블록에 대한 라이스 파라미터의 시그널링이 인에이블되는지 또는 디세이블되는지를 지시하기 위해 슬라이스 헤더에서 하나의 제어 플래그가 시그널링된다. 제어 플래그가 인에이블되는 것으로 시그널링될 때, 각각의 변환 스킵 슬라이스에 대해 해당 슬라이스의 라이스 파라미터를 지시하도록 하나의 신택스 엘리먼트가 추가로 시그널링된다. 제어 플래그가 디세이블(예컨대, "0"과 같게 설정)되는 것으로 시그널링되면, 변환 스킵 슬라이스에 대한 라이스 파라미터를 지시하도록 더 낮은 레벨에서 어떠한 추가 신택스 엘리먼트도 시그널링되지 않고, 디폴트 라이스 파라미터(예컨대, 1)가 모든 변환 스킵 슬라이스에 대해 사용된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 값(예컨대, 0, 1, 2)이고, 변경은 볼드체 및 이탤릭체로 그리고 삭제된 콘텐츠는 이탤릭체로 도시된다. VVC 초안에 대한 변경은 표 35에서 볼드체 및 이탤릭체로 도시된다. sh_ts_residual_coding_rice_index가 상이한 방식으로 코딩될 수 있고 그리고/또는 최대값을 가질 수 있다는 것이 주목할 만하다. 예를 들어, n 비트를 사용하는 부호 없는 정수 u(n), 또는 좌측 비트가 먼저 (좌측에서 우측으로) 기록되는 n 비트를 사용하는 고정 패턴 비트 스트링 f(n)이 또한, 동일한 신택스 엘리먼트를 인코딩/디코딩하는 데 사용될 수 있다.

슬라이스 헤더 신택스

표 35. 잔차 코딩의 신택스

1과 같은 sh_ts_residual_coding_rice_flag는 sh_ts_residual_coding_rice_index가 현재 슬라이스에 존재할 수 있음을 특정한다. 0과 같은 sh_ts_residual_coding_rice_flag는 sh_ts_residual_coding_rice_index가 현재 슬라이스에 존재하지 않음을 특정한다. sh_ts_residual_coding_rice_flag가 존재하지 않으면, sh_ts_residual_coding_rice_flag의 값은 0과 같다고 유추된다.

sh_ts_residual_coding_rice_index는 residual_ts_coding( ) 신택스 구조에 대해 사용되는 라이스 파라미터를 특정한다.

표 36. 라이스 파라미터 도출 프로세스

또 다른 예에서, 변환 스킵 블록에 대한 라이스 파라미터의 시그널링이 인에이블되는지 또는 디세이블되는지를 지시하기 위해 시퀀스 파라미터 세트에서(또는 시퀀스 파라미터 세트 범위 확장 신택스에서) 하나의 제어 플래그가 시그널링된다. 제어 플래그가 인에이블되는 것으로 시그널링될 때, 각각의 변환 스킵 슬라이스에 대해 해당 슬라이스의 라이스 파라미터를 지시하도록 하나의 신택스 엘리먼트가 추가로 시그널링된다. 제어 플래그가 디세이블(예컨대, "0"과 같게 설정)되는 것으로 시그널링되면, 변환 스킵 슬라이스에 대한 라이스 파라미터를 지시하도록 더 낮은 레벨에서 어떠한 추가 신택스 엘리먼트도 시그널링되지 않고, 디폴트 라이스 파라미터(예컨대, 1)가 모든 변환 스킵 슬라이스에 대해 사용된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 값(예컨대, 0, 1, 2)이다. VVC 초안에 대한 변경은 표 37에서 볼드체 및 이탤릭체로 도시되며, 삭제된 내용은 이탤릭체로 도시된다. sh_ts_residual_coding_rice_idx가 상이한 방식으로 코딩될 수 있고 그리고/또는 최대값을 가질 수 있다는 것이 주목할 만하다. 예를 들어, n 비트를 사용하는 부호 없는 정수 u(n), 또는 좌측 비트가 먼저 (좌측에서 우측으로) 기록되는 n 비트를 사용하는 고정 패턴 비트 스트링 f(n)이 또한, 동일한 신택스 엘리먼트를 인코딩/디코딩하는 데 사용될 수 있다.

시퀀스 파라미터 세트 RBSP 신택스

표 37. 잔차 코딩의 신택스

1과 같은 sps_ts_residual_coding_rice_present_in_sh_flag는 SPS를 참조하는 SH 신택스 구조에 sh_ts_residual_coding_rice_idx가 존재할 수 있음을 특정한다. 0과 같은 sps_ts_residual_coding_rice_present_in_sh_flag는 SPS를 참조하는 SH 신택스 구조에 sh_ts_residual_coding_rice_idx가 존재하지 않음을 특정한다. sps_ts_residual_coding_rice_present_in_sh_flag가 존재하지 않으면, sps_ts_residual_coding_rice_present_in_sh_flag의 값은 0과 같다고 유추된다.

슬라이스 헤더 신택스

표 38. 잔차 코딩의 신택스

sh_ts_residual_coding_rice_idx는 residual_ts_coding( ) 신택스 구조에 대해 사용되는 라이스 파라미터를 특정한다.

표 39. 라이스 파라미터 도출 프로세스

또 다른 예에서, 각각의 변환 스킵 슬라이스에 대해 해당 슬라이스의 라이스 파라미터를 지시하도록 하나의 신택스 엘리먼트가 시그널링된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시된다. VVC 초안에 대한 변경은 표 40에서 볼드체 및 이탤릭체로 도시된다. sh_ts_residual_coding_rice_idx가 상이한 방식으로 코딩될 수 있고 그리고/또는 최대값을 가질 수 있다는 것이 주목할 만하다. 예를 들어, n 비트를 사용하는 부호 없는 정수 u(n), 또는 좌측 비트가 먼저 (좌측에서 우측으로) 기록되는 n 비트를 사용하는 고정 패턴 비트 스트링 f(n)이 또한, 동일한 신택스 엘리먼트를 인코딩/디코딩하는 데 사용될 수 있다.

슬라이스 헤더 신택스

표 40. 잔차 코딩의 신택스

sh_ts_residual_coding_rice_idx는 residual_ts_coding( ) 신택스 구조에 대해 사용되는 라이스 파라미터를 특정한다. sh_ts_residual_coding_rice_idx가 존재하지 않으면, sh_ts_residual_coding_rice_idx의 값은 0과 같다고 유추된다.

표 41. 라이스 파라미터 도출 프로세스

또 다른 예에서, 변환 스킵 블록에 대한 라이스 파라미터의 시그널링이 인에이블되는지 또는 디세이블되는지를 지시하기 위해 픽처 파라미터 세트 범위 확장 신택스에서 하나의 제어 플래그가 시그널링된다. 제어 플래그가 인에이블되는 것으로 시그널링될 때, 해당 픽처의 라이스 파라미터를 지시하도록 하나의 신택스 엘리먼트가 추가로 시그널링된다. 제어 플래그가 디세이블(예컨대, "0"과 같게 설정)되는 것으로 시그널링되면, 변환 스킵 슬라이스에 대한 라이스 파라미터를 지시하도록 더 낮은 레벨에서 어떠한 추가 신택스 엘리먼트도 시그널링되지 않고, 디폴트 라이스 파라미터(예컨대, 1)가 모든 변환 스킵 슬라이스에 대해 사용된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 값(예컨대, 0, 1, 2)이다. VVC 초안에 대한 변경은 표 42에서 볼드체 및 이탤릭체로 도시된다. pps_ts_residual_coding_rice_idx가 상이한 방식으로 코딩될 수 있고 그리고/또는 최대값을 가질 수 있다는 것이 주목할 만하다. 예를 들어, n 비트를 사용하는 부호 없는 정수 u(n), 또는 좌측 비트가 먼저 (좌측에서 우측으로) 기록되는 n 비트를 사용하는 고정 패턴 비트 스트링 f(n)이 또한, 동일한 신택스 엘리먼트를 인코딩/디코딩하는 데 사용될 수 있다.

픽처 파라미터 세트 범위 확장 신택스

표 42. 잔차 코딩의 신택스

1과 같은 pps_ts_residual_coding_rice_flag는 현재 픽처에 pps_ts_residual_coding_rice_index가 존재할 수 있음을 특정한다. 0과 같은 pps_ts_residual_coding_rice_flag는 현재 픽처에 pps_ts_residual_coding_rice_idx가 존재하지 않음을 특정한다. pps_ts_residual_coding_rice_flag가 존재하지 않으면, pps_ts_residual_coding_rice_flag의 값은 0과 같다고 유추된다.

pps_ts_residual_coding_rice_idx는 residual_ts_coding( ) 신택스 구조에 대해 사용되는 라이스 파라미터를 특정한다.

표 43. 라이스 파라미터 도출 프로세스

또 다른 예에서, 신택스 엘리먼트 abs_remainder의 코딩을 위해 가변 라이스 파라미터만을 사용하는 것이 제안된다. 적용된 라이스 파라미터의 값은 현재 블록의 특정 코딩된 정보, 예컨대 블록 크기, 양자화 파라미터, 비트 심도, 변환 타입 등에 따라 결정될 수 있다. 하나의 특정 실시예에서, 하나의 CU에 적용되는 양자화 파라미터 및 코딩 비트 심도에 기반하여 라이스 파라미터를 조정하는 것이 제안된다. VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이 예시되며, VVC 초안에 대한 변경은 표 44에 볼드체 및 이탤릭체로 도시되고, 삭제된 내용은 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 44. 라이스 파라미터 도출 프로세스

또 다른 예에서, VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 임계치(예컨대, 33 또는 34)이다. VVC 초안에 대한 변경은 표 45에서 볼드체 및 이탤릭체로 도시되며, 삭제된 내용은 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 45. 라이스 파라미터 도출 프로세스

또 다른 예에서, VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이 예시되며, 여기서 TH_A 및 TH_B는 미리 정의된 임계치(예컨대, TH_A=8, TH_B=33 또는 34)이다. VVC 초안에 대한 변경은 표 46에서 볼드체 및 이탤릭체로 도시되며, 삭제된 내용은 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 46. 라이스 파라미터 도출 프로세스

또 다른 예에서, 새로운 플래그, 예컨대 extended_precision_processing_flag가 1과 같으면, abs_remainder의 신택스 엘리먼트의 코딩을 위해 가변 라이스 파라미터만을 사용하는 것이 제안된다. 가변 값은 현재 블록의 특정 코딩된 정보, 예컨대 블록 크기, 양자화 파라미터, 비트 심도, 변환 타입 등에 따라 결정될 수 있다. 하나의 특정 실시예에서, 하나의 CU에 적용되는 양자화 파라미터 및 코딩 비트 심도에 기반하여 라이스 파라미터를 조정하는 것이 제안된다. VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이 예시되며. VVC 초안에 대한 변경은 표 47에서 볼드체 및 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 47. 라이스 파라미터 도출 프로세스

또 다른 예에서, VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 임계치(예컨대, 18, 19)이다. VVC 초안에 대한 변경은 표 48에서 볼드체 및 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 48. 라이스 파라미터 도출 프로세스

또 다른 예에서, VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이 예시되며, 여기서 TH_A 및 TH_B는 미리 정의된 임계치(예컨대, TH_A=8, TH_B=18 또는 19)이다. VVC 초안에 대한 변경은 표 49에서 볼드체 및 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 49. 라이스 파라미터 도출 프로세스

도 16은 비디오 인코딩을 위한 방법을 도시한다. 이 방법은 예를 들어, 인코더에 적용될 수 있다. 단계(1610)에서, 인코더가 비디오 입력을 수신할 수 있다. 예를 들어, 비디오 입력은 라이브 스트림일 수 있다. 단계(1612)에서, 인코더는 비디오 입력에 기초하여 양자화 파라미터를 획득할 수 있다. 예를 들어, 양자화 파라미터는 인코더의 양자화 유닛에 의해 계산될 수 있다. 단계(1614)에서, 인코더는 적어도 하나의 미리 정의된 임계치, 코딩 비트 심도 및 양자화 파라미터에 기초하여 라이스 파라미터를 도출할 수 있다. abs_remainder 및 dec_abs_level의 신택스를 시그널링하기 위해, 예를 들어 라이스 파라미터가 사용된다. 단계(1616)에서, 인코더는 라이스 파라미터에 기초하여 비디오 비트스트림을 엔트로피 인코딩할 수 있다. 예를 들어, 비디오 비트스트림은 엔트로피 인코딩되어, 압축된 비디오 비트스트림을 생성할 수 있다.

또 다른 예에서, BitDepth가 10보다 큰 경우, abs_remainder의 신택스 엘리먼트를 코딩할 때 라이스 파라미터에 대해 고정 값(예컨대, 2, 3, 4, 5, 6, 7 또는 8)만을 사용하는 것이 제안된다. 고정 값은 상이한 조건에서 현재 블록의 특정 코딩된 정보, 예컨대 양자화 파라미터에 따라 상이할 수 있다. VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 임계치(예컨대, 18, 19)이다. VVC 초안에 대한 변경은 표 50에서 볼드체 및 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 50. 라이스 파라미터 도출 프로세스

또 다른 예에서, VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이 예시되며, 여기서 TH_A 및 TH_B는 미리 정의된 임계치(예컨대, TH_A=8, TH_B=18 또는 19)이다. VVC 초안에 대한 변경은 표 51에서 볼드체 및 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 51. 라이스 파라미터 도출 프로세스

또 다른 예에서, VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 임계치(예컨대, 33 또는 34)이고, VVC 초안에 대한 변경은 표 52에서 볼드체 및 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 52. 라이스 파라미터 도출 프로세스

또 다른 예에서, VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이 예시되며, 여기서 TH_A 및 TH_B는 미리 정의된 임계치(예컨대, TH_A=8, TH_B=33 또는 34)이다. VVC 초안에 대한 변경은 표 53에서 볼드체 및 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 53. 라이스 파라미터 도출 프로세스

위의 예시에서, 특정 라이스 파라미터를 계산하기 위해 사용된 식은 제안된 아이디어를 예시하기 위한 예로서만 사용된다는 것을 언급할 가치가 있다. 현대의 비디오 코딩 기법에서 통상의 지식을 가진 자에게, 다른 매핑 함수(또는 동등한 매핑 식)는 이미 제안된 아이디어(즉, 코딩 비트 및 적용된 양자화 파라미터에 기초하여 변환 스킵 모드의 라이스 파라미터를 결정함)에 적용 가능하다. 한편, 현재 VVC 설계에서, 적용된 양자화 파라미터의 값은 코딩 블록 그룹 레벨에서 변경되는 것이 허용된다고 또한 언급되어야 한다. 따라서 제안된 라이스 파라미터 조정 방식은 코딩 블록 그룹 레벨에서 변환 스킵 모드의 라이스 파라미터의 유연한 적응을 제공할 수 있다.

정규 잔차 코딩 및 변환 스킵에 대한 시그널링 정보

본 개시내용의 제28 양상에 따르면, 변환 스킵 잔차 코딩에서 특정 신택스 엘리먼트, 예컨대 abs_remainder를 코딩하기 위한 2진 코드워드의 라이스 파라미터, 정규 잔차 코딩에서 abs_remainder/dec_abs_level에 사용된 라이스 파라미터의 도출을 위한 시프트 및 오프셋 파라미터를 시그널링하고, 현재 블록의 특정 코딩된 정보, 예컨대 TB/CB 및/또는 슬라이스/프로파일과 연관된 양자화 파라미터 또는 코딩 비트 심도에 따라, 그리고/또는 TB/CB/슬라이스/픽처/시퀀스 레벨과 연관된 새로운 플래그, 예컨대 sps_residual_coding_info_present_in_sh_flag에 따라 시그널링할지 여부를 결정하는 것이 제안된다.

일례로, 변환 스킵 블록에 대한 라이스 파라미터의 시그널링 및 변환 블록에서 라이스 파라미터의 도출을 위한 시프트 및/또는 오프셋 파라미터의 시그널링이 인에이블되는지 또는 디세이블되는지를 지시하기 위해 슬라이스 헤더에서 하나의 제어 플래그가 시그널링된다. 제어 플래그가 인에이블되는 것으로 시그널링될 때, 각각의 변환 스킵 슬라이스에 대해 해당 슬라이스의 라이스 파라미터를 지시하도록 하나의 신택스 엘리먼트가 추가로 시그널링되고, 각각의 변환 슬라이스에 대해 해당 슬라이스의 라이스 파라미터의 도출을 위한 시프트 및/또는 오프셋 파라미터를 지시하도록 2개의 신택스 엘리먼트가 추가로 시그널링된다. 제어 플래그가 디세이블(예컨대, "0"과 같게 설정)되는 것으로 시그널링되면, 변환 스킵 슬라이스에 대한 라이스 파라미터를 지시하도록 더 낮은 레벨에서 어떠한 추가 신택스 엘리먼트도 시그널링되지 않고, 디폴트 라이스 파라미터(예컨대, 1)가 모든 변환 스킵 슬라이스에 대해 사용되고, 변환 슬라이스에 대한 라이스 파라미터의 도출을 위한 시프트 및 오프셋 파라미터를 지시하도록 어떠한 추가 신택스 엘리먼트도 시그널링되지 않으며, 모든 변환 슬라이스에 대해 디폴트 시프트 및/또는 오프셋 파라미터(예컨대, 0)가 사용된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 값(예컨대, 0, 1, 2)이다. VVC 초안에 대한 변경은 표 54에서 볼드체 및 이탤릭체로 도시된다. sh_residual_coding_rice_shift, sh_residual_coding_rice_offset 및 sh_ts_residual_coding_rice_index가 상이한 방식으로 코딩될 수 있고 그리고/또는 최대값을 가질 수 있다는 것이 주목할 만하다. 예를 들어, n 비트를 사용하는 부호 없는 정수 u(n), 또는 좌측 비트가 먼저 (좌측에서 우측으로) 기록되는 n 비트를 사용하는 고정 패턴 비트 스트링 f(n)이 또한, 동일한 신택스 엘리먼트를 인코딩/디코딩하는 데 사용될 수 있다.

도 17은 비디오 디코딩을 위한 방법을 도시한다. 이 방법은 예를 들어, 인코더에 적용될 수 있다. 단계(1710)에서, 인코더가 비디오 입력을 수신할 수 있다. 단계(1712)에서, 인코더는 신택스 엘리먼트를 코딩하기 위한 2진 코드워드의 라이스 파라미터를 시그널링할 수 있다. 코딩 신택스 엘리먼트는 변환 스킵 잔차 코딩에서 abs_remainder를 포함할 수 있다. 단계(1714)에서, 인코더는 라이스 파라미터 및 비디오 입력에 기초하여 비디오 비트스트림을 엔트로피 인코딩할 수 있다.

슬라이스 헤더 신택스

표 54. 잔차 코딩의 신택스

1과 같은 sh_residual_coding_rice_flag는 sh_residual_coding_rice_shift, sh_residual_coding_rice_offset 및 sh_residual_coding_rice_index가 현재 슬라이스에 존재할 수 있음을 특정한다. 0과 같은 sh_residual_coding_rice_flag는 sh_residual_coding_rice_shift, sh_residual_coding_rice_offset 및 sh_residual_coding_rice_index가 현재 슬라이스에 존재하지 않음을 특정한다.

sh_residual_coding_rice_shift는 abs_remainder[ ] 및 dec_abs_level[ ]에 대한 라이스 파라미터 도출 프로세스에 사용되는 시프트 파라미터를 특정한다. sh_residual_coding_rice_shift가 존재하지 않으면, sh_residual_coding_rice_shift의 값은 0과 같다고 유추된다.

sh_residual_coding_rice_offset은 abs_remainder[ ] 및 dec_abs_level[ ]에 대한 라이스 파라미터 도출 프로세스에 사용되는 오프셋 파라미터를 특정한다. sh_residual_coding_rice_offset이 존재하지 않으면, sh_residual_coding_rice_offset의 값은 0과 같다고 유추된다.

sh_ts_residual_coding_rice_index는 residual_ts_coding( ) 신택스 구조에 대해 사용되는 라이스 파라미터를 특정한다. sh_ts_residual_coding_rice_index가 존재하지 않으면, sh_ts_residual_coding_rice_index의 값은 0과 같다고 유추된다.

표 55. 라이스 파라미터 도출 프로세스

표 56. 라이스 파라미터 도출 프로세스

다른 예에서, 변환 스킵 블록에 대한 라이스 파라미터의 시그널링 및 변환 블록에서 라이스 파라미터의 도출을 위한 시프트 및/또는 오프셋 파라미터의 시그널링이 인에이블되는지 또는 디세이블되는지를 지시하기 위해 시퀀스 파라미터 세트에서(또는 시퀀스 파라미터 세트 범위 확장 신택스에서) 하나의 제어 플래그가 시그널링된다. 제어 플래그가 인에이블되는 것으로 시그널링될 때, 각각의 변환 스킵 슬라이스에 대해 해당 슬라이스의 라이스 파라미터를 지시하도록 하나의 신택스 엘리먼트가 추가로 시그널링되고, 각각의 변환 슬라이스에 대해 해당 슬라이스의 라이스 파라미터의 도출을 위한 시프트 및/또는 오프셋 파라미터를 지시하도록 2개의 신택스 엘리먼트가 추가로 시그널링된다. 제어 플래그가 디세이블(예컨대, "0"과 같게 설정)되는 것으로 시그널링되면, 변환 스킵 슬라이스에 대한 라이스 파라미터를 지시하도록 더 낮은 레벨에서 어떠한 추가 신택스 엘리먼트도 시그널링되지 않고, 디폴트 라이스 파라미터(예컨대, 1)가 모든 변환 스킵 슬라이스에 대해 사용되고, 변환 슬라이스에 대한 라이스 파라미터의 도출을 위한 시프트 및/또는 오프셋 파라미터를 지시하도록 어떠한 추가 신택스 엘리먼트도 시그널링되지 않으며, 모든 변환 슬라이스에 대해 디폴트 시프트 및/또는 오프셋 파라미터(예컨대, 0)가 사용된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 값(예컨대, 0, 1, 2)이다. VVC 초안에 대한 변경은 표 57에서 볼드체 및 이탤릭체로 도시된다. sh_residual_coding_rice_shift, sh_residual_coding_rice_offset 및 sh_ts_residual_coding_rice_idx가 상이한 방식으로 코딩될 수 있고 그리고/또는 최대값을 가질 수 있다는 것이 주목할 만하다. 예를 들어, n 비트를 사용하는 부호 없는 정수 u(n), 또는 좌측 비트가 먼저 (좌측에서 우측으로) 기록되는 n 비트를 사용하는 고정 패턴 비트 스트링 f(n)이 또한, 동일한 신택스 엘리먼트를 인코딩/디코딩하는 데 사용될 수 있다.

시퀀스 파라미터 세트 RBSP 신택스

표 57. 잔차 코딩의 신택스

1과 같은 sps_residual_coding_info_present_in_sh_flag는 SPS를 참조하는 SH 신택스 구조에 sh_residual_coding_rice_shift, sh_residual_coding_rice_offset 및 sh_ts_residual_coding_rice_idx가 존재할 수 있음을 특정한다. 0과 같은 sps_residual_coding_info_present_in_sh_flag는 SPS를 참조하는 SH 신택스 구조에 sh_residual_coding_rice_shift, sh_residual_coding_rice_offset 및 sh_ts_residual_coding_rice_idx가 존재하지 않음을 특정한다. sps_residual_coding_info_present_in_sh_flag가 존재하지 않으면, sps_residual_coding_info_present_in_sh_flag의 값은 0과 같다고 유추된다.

슬라이스 헤더 신택스

표 58. 잔차 코딩의 신택스

sh_residual_coding_rice_shift는 abs_remainder[ ] 및 dec_abs_level[ ]에 대한 라이스 파라미터 도출 프로세스에 사용되는 시프트 파라미터를 특정한다. sh_residual_coding_rice_shift가 존재하지 않으면, sh_residual_coding_rice_shift의 값은 0과 같다고 유추된다.

sh_residual_coding_rice_offset는 abs_remainder[ ] 및 dec_abs_level[ ]에 대한 라이스 파라미터 도출 프로세스에 사용되는 오프셋 파라미터를 특정한다. sh_residual_coding_rice_offset이 존재하지 않으면, sh_residual_coding_rice_offset의 값은 0과 같다고 유추된다.

sh_ts_residual_coding_rice_idx는 residual_ts_coding( ) 신택스 구조에 대해 사용되는 라이스 파라미터를 특정한다. sh_ts_residual_coding_rice_index가 존재하지 않으면, sh_ts_residual_coding_rice_index의 값은 0과 같다고 유추된다.

표 59. 라이스 파라미터 도출 프로세스

표 60. 라이스 파라미터 도출 프로세스

또 다른 예에서, 각각의 변환 스킵 슬라이스에 대해 해당 슬라이스의 라이스 파라미터를 지시하도록 하나의 신택스 엘리먼트가 시그널링되고, 각각의 변환 슬라이스에 대해 해당 슬라이스의 라이스 파라미터의 도출을 위한 시프트 및/또는 오프셋 파라미터를 지시하도록 2개의 신택스 엘리먼트가 시그널링된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시된다. VVC 초안에 대한 변경은 표 61에서 볼드체 및 이탤릭체로 도시된다. sh_residual_coding_rice_shift, sh_residual_coding_rice_offset 및 sh_ts_residual_coding_rice_idx가 상이한 방식으로 코딩될 수 있고 그리고/또는 최대값을 가질 수 있다는 것이 주목할 만하다. 예를 들어, n 비트를 사용하는 부호 없는 정수 u(n), 또는 좌측 비트가 먼저 (좌측에서 우측으로) 기록되는 n 비트를 사용하는 고정 패턴 비트 스트링 f(n)이 또한, 동일한 신택스 엘리먼트를 인코딩/디코딩하는 데 사용될 수 있다.

슬라이스 헤더 신택스

표 61. 잔차 코딩의 신택스

sh_ts_residual_coding_rice_idx는 residual_ts_coding( ) 신택스 구조에 대해 사용되는 라이스 파라미터를 특정한다. sh_ts_residual_coding_rice_idx가 존재하지 않으면, sh_ts_residual_coding_rice_idx의 값은 0과 같다고 유추된다.

sh_residual_coding_rice_offset는 abs_remainder[ ] 및 dec_abs_level[ ]에 대한 라이스 파라미터 도출 프로세스에 사용되는 오프셋 파라미터를 특정한다. sh_residual_coding_rice_offset이 존재하지 않으면, sh_residual_coding_rice_offset의 값은 0과 같다고 유추된다.

sh_ts_residual_coding_rice_idx는 residual_ts_coding( ) 신택스 구조에 대해 사용되는 라이스 파라미터를 특정한다. sh_ts_residual_coding_rice_index가 존재하지 않으면, sh_ts_residual_coding_rice_index의 값은 0과 같다고 유추된다.

표 62. 라이스 파라미터 도출 프로세스

표 63. 라이스 파라미터 도출 프로세스

또 다른 예에서, 변환 스킵 블록에 대한 라이스 파라미터의 시그널링 및 변환 블록에서 라이스 파라미터의 도출을 위한 시프트 및/또는 오프셋 파라미터의 시그널링이 인에이블되는지 또는 디세이블되는지를 지시하기 위해 픽처 파라미터 세트 범위 확장 신택스에서 하나의 제어 플래그가 시그널링된다. 제어 플래그가 인에이블되는 것으로 시그널링될 때, 해당 픽처의 변환 스킵 잔차 코딩을 위한 라이스 파라미터를 지시하도록 하나의 신택스 엘리먼트가 추가로 시그널링되고, 정규 잔차 코딩을 위해 해당 픽처의 라이스 파라미터의 도출을 위한 시프트 및/또는 오프셋 파라미터를 지시하도록 2개의 신택스 엘리먼트가 추가로 시그널링된다. 제어 플래그가 디세이블(예컨대, "0"과 같게 설정)되는 것으로 시그널링되면, 변환 스킵 잔차 코딩을 위한 라이스 파라미터를 지시하도록 더 낮은 레벨에서 어떠한 추가 신택스 엘리먼트도 시그널링되지 않고, 디폴트 라이스 파라미터(예컨대, 1)가 모든 변환 스킵 잔차 코딩을 위해 사용되고, 정규 잔차 코딩을 위한 라이스 파라미터의 도출을 위한 시프트 및 오프셋 파라미터를 지시하도록 어떠한 추가 신택스 엘리먼트도 시그널링되지 않으며, 모든 정규 잔차 코딩에 대해 디폴트 시프트 및/또는 오프셋 파라미터(예컨대, 0)가 사용된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 값(예컨대, 0, 1, 2)이다. VVC 초안에 대한 변경은 표 64에서 볼드체 및 이탤릭체로 도시된다. pps_residual_coding_rice_shift, pps_residual_coding_rice_offset 및 pps_ts_residual_coding_rice_idx가 상이한 방식으로 코딩될 수 있고 그리고/또는 최대값을 가질 수 있다는 것이 주목할 만하다. 예를 들어, n 비트를 사용하는 부호 없는 정수 u(n), 또는 좌측 비트가 먼저 (좌측에서 우측으로) 기록되는 n 비트를 사용하는 고정 패턴 비트 스트링 f(n)이 또한, 동일한 신택스 엘리먼트를 인코딩/디코딩하는 데 사용될 수 있다.

픽처 파라미터 세트 범위 확장 신택스

표 64. 잔차 코딩의 신택스

1과 같은 pps_residual_coding_info_flag는 pps_residual_coding_rice_shift, pps_residual_coding_rice_offset 및 pps_ts_residual_coding_rice_index가 현재 픽처에 존재할 수 있음을 특정한다. 0과 같은 pps_residual_coding_info_flag는 현재 픽처에 pps_residual_coding_rice_shift, pps_residual_coding_rice_offset 및 pps_ts_residual_coding_rice_idx가 존재하지 않음을 특정한다. pps_residual_coding_info_flag가 존재하지 않으면, pps_residual_coding_info_flag의 값은 0과 같다고 유추된다.

pps_residual_coding_rice_shift는 abs_remainder[ ] 및 dec_abs_level[ ]에 대한 라이스 파라미터 도출 프로세스에 사용되는 시프트 파라미터를 특정한다. pps_residual_coding_rice_shift가 존재하지 않으면, pps_residual_coding_rice_shift의 값은 0과 같다고 유추된다.

pps_residual_coding_rice_offset은 abs_remainder[ ] 및 dec_abs_level[ ]에 대한 라이스 파라미터 도출 프로세스에 사용되는 오프셋 파라미터를 특정한다. pps_residual_coding_rice_offset이 존재하지 않으면, pps_residual_coding_rice_offset의 값은 0과 같다고 유추된다.

pps_ts_residual_coding_rice_idx는 residual_ts_coding( ) 신택스 구조에 대해 사용되는 라이스 파라미터를 특정한다. pps_ts_residual_coding_rice_index가 존재하지 않으면, pps_ts_residual_coding_rice_index의 값은 0과 같다고 유추된다.

표 65. 라이스 파라미터 도출 프로세스

표 66. 라이스 파라미터 도출 프로세스

본 개시내용의 제29 양상에 따르면, 변환 스킵 잔차 코딩에서 특정 신택스 엘리먼트, 예컨대 abs_remainder를 코딩하기 위한 상이한 라이스 파라미터, 정규 잔차 코딩에서 abs_remainder/dec_abs_level에 사용된 라이스 파라미터의 도출을 위한 시프트 및 오프셋 파라미터를 사용하고, 현재 블록의 특정 코딩된 정보, 예컨대 TB/CB 및/또는 슬라이스/프로파일과 연관된 양자화 파라미터 또는 코딩 비트 심도에 따라, 그리고/또는 TB/CB/슬라이스/픽처/시퀀스 레벨과 연관된 새로운 플래그, 예컨대 sps_residual_coding_info_present_in_sh_flag에 따라 어느 것을 사용할지를 결정하는 것이 제안된다.

일례로, 변환 스킵 블록에 대한 라이스 파라미터의 도출 프로세스 및 변환 블록 내의 라이스 파라미터에 대한 시프트 및/또는 오프셋 파라미터의 도출 프로세스가 인에이블되는지 또는 디세이블되는지를 지시하기 위해 슬라이스 헤더에서 하나의 제어 플래그가 시그널링된다. 제어 플래그가 인에이블되는 것으로 시그널링될 때, 라이스 파라미터는 상이한 조건에서 현재 블록의 특정 코딩된 정보, 예컨대 양자화 파라미터 및 비트 심도에 따라 상이할 수 있다. 그리고 정규 잔차 코딩에서 라이스 파라미터의 도출을 위한 시프트 및/또는 오프셋 파라미터는 상이한 조건에서 현재 블록의 특정 코딩된 정보, 예컨대 양자화 파라미터 및 비트 심도에 따라 상이할 수 있다. 제어 플래그가 디세이블(예컨대, "0"과 , 같게 설정)되는 것으로 시그널링되면, 디폴트 라이스 파라미터(예컨대, 1)가 모든 변환 스킵 슬라이스에 대해 사용되고, 디폴트 시프트 및/또는 오프셋 파라미터(예컨대, 0)가 모든 변환 슬라이스에 대해 사용된다. VVC 초안에 기반한 대응하는 디코딩 프로세스의 일례가 아래와 같이 예시되며, 여기서 TH_A 및 TH_B는 미리 정의된 임계치(예컨대, TH_A=8, TH_B=18 또는 19)이다. VVC 초안에 대한 변경은 표 67에서 볼드체 및 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

슬라이스 헤더 신택스

표 67. 잔차 코딩의 신택스

1과 같은 sh_residual_coding_rice_flag는 현재 슬라이스에서 비트 심도 의존 라이스 파라미터 도출 프로세스가 사용됨을 특정한다. 0과 같은 sh_residual_coding_rice_flag는 현재 슬라이스에서 비트 심도 의존 라이스 파라미터 도출 프로세스가 사용되지 않음을 특정한다.

표 68. 라이스 파라미터 도출 프로세스

표 69. 라이스 파라미터 도출 프로세스

또 다른 예에서, VVC 초안에 기반한 대응하는 디코딩 프로세스가 아래와 같이 예시되며, 여기서 TH는 미리 정의된 임계치(예컨대, 18, 19)이다. VVC 초안에 대한 변경은 표 70에서 볼드체 및 이탤릭체로 도시된다. 동일한 로직이 실제로 상이하게 구현될 수 있다는 것이 주목할 만하다. 예를 들어, 특정 식 또는 룩업 테이블이 동일한 라이스 파라미터를 도출하는 데 또한 사용될 수 있다.

표 70. 라이스 파라미터 도출 프로세스

본 개시내용의 다른 양상에 따르면, 이러한 위의 코딩 툴의 값이 다른 것과 동일한 일반 제약 제어를 제공하기 위해 플래그하는 제약을 일반 제약 정보에 추가하는 것이 제안된다.

예를 들어, 1과 같은 sps_ts_residual_coding_rice_present_in_sh_flag는 SPS를 참조하는 SH 신택스 구조에 sh_ts_residual_coding_rice_idx가 존재할 수 있음을 특정한다. 0과 같은 sps_ts_residual_coding_rice_present_in_sh_flag는 SPS를 참조하는 SH 신택스 구조에 sh_ts_residual_coding_rice_idx가 존재하지 않음을 특정한다. 본 개시내용에 따르면, 다른 플래그와 동일한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 신택스 엘리먼트 gci_no_ts_residual_coding_rice_constraint_flag를 추가하는 것이 제안된다. VVC 초안에 대한 디코딩 프로세스의 일례가 아래에 예시된다. VVC 초안에 대한 변경이 강조된다. 추가된 부분은 이탤릭체로 강조된다.

다른 예에서, 1과 같은 pps_ts_residual_coding_rice_flag는 현재 픽처에 pps_ts_residual_coding_rice_index가 존재할 수 있음을 특정한다. 0과 같은 pps_ts_residual_coding_rice_flag는 현재 픽처에 pps_ts_residual_coding_rice_idx가 존재하지 않음을 특정한다. 본 개시내용에 따르면, 다른 플래그와 동일한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 신택스 엘리먼트 gci_no_ts_residual_coding_rice_constraint_flag를 추가하는 것이 제안된다. VVC 초안에 대한 디코딩 프로세스의 일례가 아래에 예시된다. VVC 초안에 대한 변경이 강조된다. 추가된 부분은 이탤릭체로 강조된다.

또 다른 예에서, 1과 같은 sps_rice_adaptation_enabled_flag는 abs_remaining[ ] 및 dec_abs_level의 이진화에 대한 라이스 파라미터가 공식에 의해 도출될 수 있음을 지시한다.

공식은 다음을 포함할 수 있으며: RiceParam = RiceParam + shiftVal and shiftVal = ( localSumAbs < Tx[ 0 ] ) ? Rx[ 0 ] : ( ( localSumAbs < Tx[ 1 ] ) ? Rx[ 1 ] : ( ( localSumAbs < Tx[ 2 ] ) ? Rx[ 2 ] : ( ( localSumAbs < Tx[ 3 ] ) ? Rx[ 3 ] : Rx[4] ) ) ),

여기서 리스트 Tx[ ] 및 리스트 Rx[ ]는 다음과 같이 특정된다: Tx[ ] = { 32, 128, 512, 2048 }> >(1523) Rx[ ] = { 0, 2, 4, 6, 8 }

본 개시내용에 따르면, 다른 플래그와 동일한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 신택스 엘리먼트 gci_no_rice_adaptation_constraint_flag를 추가하는 것이 제안된다. VVC 초안에 대한 디코딩 프로세스의 일례가 아래에 예시된다. VVC 초안에 대한 변경이 강조된다. 추가된 부분은 이탤릭체로 강조된다.

제안된 라이스 파라미터 적응 방식은 변환 스킵 잔차 코딩(TSRC: transform skip residual coding)에만 사용되기 때문에, 제안된 방법은 TSRC가 인에이블되는 경우에만 유효할 수 있다. 대응하게, 본 개시내용의 하나 이상의 실시예에서, 변환 스킵 모드가 일반 제약 정보 레벨로부터 디세이블될 때, 예컨대 gci_no_transform_skip_constraint_flag의 값이 1로 설정될 때 gci_no_rice_adaptation_constraint_flag의 값이 1이 될 것을 요구하는 하나의 비트스트림 제약을 추가하는 것이 제안된다.

또 다른 예에서, 1과 같은 sps_range_extension_flag는 SPS RBSP 신택스 구조에 sps_range_extension( ) 신택스 구조가 존재함을 특정한다. 0과 같은 sps_range_extension_flag는 이 신택스 구조가 존재하지 않음을 특정한다. 본 개시내용에 따르면, 다른 플래그와 동일한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 신택스 엘리먼트 gci_no_range_extension_constraint_flag를 추가하는 것이 제안된다. VVC 초안에 대한 디코딩 프로세스의 일례가 아래에 예시된다. VVC 초안에 대한 변경이 강조된다. 추가된 부분은 이탤릭체로 강조된다.

도 19는 본 개시내용의 일례에 따른 비디오 코딩을 위한 방법을 도시한다. 이 방법은 예를 들어, 디코더에 적용될 수 있다. 단계(1902)에서, 디코더는, 시퀀스 파라미터 세트(SPS) 범위 확장 플래그의 값에 기초하여 신택스 구조(sps_range_extension)가 슬라이스 헤드(SH) 원시 바이트 시퀀스 페이로드(RBSP) 신택스 구조에 존재하는지 여부를 지시하는 SPS 범위 확장 플래그를 수신할 수 있다.

단계(1904)에서, SPS 범위 확장 플래그의 값이 1과 같다는 결정에 대한 응답으로, 디코더는 sps_range_extension이 SH RBSP 신택스 구조에 존재한다고 결정할 수 있다.

단계(1906)에서, 범위 확장 플래그의 값이 0과 같다는 결정에 대한 응답으로, 디코더는 sps_range_extension이 SH RBSP 신택스 구조에 존재하지 않는다고 결정할 수 있다.

또 다른 예에서, 1과 같은 sps_cabac_bypass_alignment_enabled_flag는 ivlCurrRange의 값이 신택스 엘리먼트 sb_coded_flag[][], abs_remainder[ ], dec_abs_level[ n ] 및 coeff_sign_flag[]의 우회 디코딩 전에 정렬될 수 있음을 특정한다. 0과 같은 sps_cabac_bypass_alignment_enabled_flag는 ivlCurrRange의 값이 우회 디코딩 전에 정렬되지 않음을 특정한다. 본 개시내용에 따르면, 다른 플래그와 동일한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 신택스 엘리먼트 gci_no_cabac_bypass_alignment_constraint_flag를 추가하는 것이 제안된다. VVC 초안에 대한 디코딩 프로세스의 일례가 아래에 예시된다. VVC 초안에 대한 변경이 강조된다. 추가된 부분은 이탤릭체로 강조된다.

도 20은 본 개시내용의 일례에 따른 비디오 코딩을 위한 방법을 도시한다. 이 방법은 예를 들어, 디코더에 적용될 수 있다. 단계(2002)에서, 디코더는, 시퀀스 파라미터 세트(SPS) 정렬 가능 플래그의 값에 기초하여 신택스 엘리먼트 sb_coded_flag, abs_remainder, dec_abs_level 및 coeff_sign_flagn의 우회 디코딩 전에 인덱스(ivlCurrRange)가 정렬되는지 여부를 지시하는 SPS 정렬 가능 플래그를 수신할 수 있다.

단계(2004)에서, SPS 정렬 가능 플래그의 값이 1과 같다는 결정에 대한 응답으로, 디코더는 ivlCurrRange가 우회 디코딩 전에 정렬된다고 결정할 수 있다.

단계(2006)에서, SPS 정렬 가능 플래그의 값이 0과 같다는 결정에 대한 응답으로, 디코더는 ivlCurrRange가 우회 디코딩 전에 정렬되지 않는다고 결정할 수 있다.

또 다른 예에서, 1과 같은 extended_precision_processing_flag는 확장된 동적 범위가 변환 계수 및 변환 처리에 사용될 수 있음을 특정한다. 0과 같은 extended_precision_processing_flag는 확장된 동적 범위가 사용되지 않음을 특정한다. 본 개시내용에 따르면, 다른 플래그와 동일한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 신택스 엘리먼트 gci_no_extended_precision_processing_constraint_flag를 추가하는 것이 제안된다. VVC 초안에 대한 디코딩 프로세스의 일례가 아래에 예시된다. VVC 초안에 대한 변경이 강조된다. 추가된 부분은 이탤릭체로 강조된다.

도 21은 본 개시내용의 일례에 따른 비디오 코딩을 위한 방법을 도시한다. 이 방법은 예를 들어, 디코더에 적용될 수 있다. 단계(2102)에서, 디코더는, 확장된 정밀도 처리 플래그의 값에 기초하여, 확장된 동적 범위가 변환 계수에 대해 그리고 변환 처리 동안 채택되는지 여부를 표시하는 확장된 정밀도 처리 플래그를 수신할 수 있다.

단계(2104)에서, 확장된 정밀도 처리 플래그의 값이 1과 같다는 결정에 대한 응답으로, 디코더는 확장된 동적 범위가 변환 계수에 대해 그리고 변환 처리 동안 채택된다고 결정할 수 있다.

단계(2106)에서, 확장된 정밀도 처리 플래그의 값이 0과 같다는 결정에 대한 응답으로, 디코더는 확장된 동적 범위가 변환 계수에 대해 또는 변환 처리 동안 채택되지 않는다고 결정할 수 있다.

또 다른 예에서, 1과 같은 persistent_rice_adaptation_enabled_flag는 abs_remaining[ ] 및 dec_abs_level의 이진화를 위한 라이스 파라미터 도출이 이전 서브블록으로부터 누적된 모드 의존 통계를 사용하여 각각의 서브블록의 시작 시에 초기화될 수 있음을 특정한다. 0과 같은 persistent_rice_adaptation_enabled_flag는 라이스 파라미터 도출에서 이전 서브블록 상태가 사용되지 않음을 특정한다. 본 개시내용에 따르면, 다른 플래그와 동일한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 신택스 엘리먼트 gci_no_persistent_rice_adaptation_constraint_flag를 추가하는 것이 제안된다. VVC 초안에 대한 디코딩 프로세스의 일례가 아래에 예시된다. VVC 초안에 대한 변경이 강조된다. 추가된 부분은 이탤릭체로 강조된다.

도 22는 본 개시내용의 일례에 따른 비디오 코딩을 위한 방법을 도시한다. 이 방법은 예를 들어, 디코더에 적용될 수 있다. 단계(2202)에서, 디코더는, 지속적 라이스 적응 가능 플래그의 값에 기초하여, 이전 서브블록으로부터 누적된 모드 의존 통계를 채택하는 각각의 서브블록의 시작 시에 abs_remaining 및 dec_abs_level의 이진화를 위한 라이스 파라미터 도출이 초기화되는지 여부를 지시하는 지속적 라이스 적응 가능 플래그를 수신할 수 있다.

단계(2204)에서, 지속적 라이스 적응 가능 플래그의 값이 1과 같다는 결정에 대한 응답으로, 디코더는 이진화를 위한 라이스 파라미터 도출이 이전 서브블록으로부터 누적된 모드 의존 통계를 채택하는 각각의 서브블록의 시작 시에 초기화됨을 결정할 수 있다.

단계(2206)에서, 지속적 라이스 적응 플래그의 값이 0과 같다는 결정에 대한 응답으로, 디코더는 라이스 파라미터 도출에서 이전 서브블록 상태가 채택되지 않는다고 결정할 수 있다.

상기 방법은 주문형 집적 회로(ASIC: application specific integrated circuit), 디지털 신호 프로세서(DSP: digital signal processor), 디지털 신호 처리 디바이스(DSPD: digital signal processing device), 프로그래밍 가능 로직 디바이스(PLD: programmable logic device), 필드 프로그래밍 가능 게이트 어레이(FPGA: field programmable gate array), 제어기, 마이크로컨트롤러, 마이크로프로세서 또는 다른 전자 컴포넌트를 포함하는 하나 이상의 회로를 포함하는 장치를 사용하여 구현될 수 있다. 이 장치는 위에서 설명된 방법을 수행하기 위해 다른 하드웨어 또는 소프트웨어 컴포넌트와 조합하여 회로를 사용할 수 있다. 위에 개시된 각각의 모듈, 하위 모듈, 유닛 또는 서브-유닛은 적어도 부분적으로는 하나 이상의 회로를 사용하여 구현될 수 있다.

도 18은 사용자 인터페이스(1860)와 결합된 컴퓨팅 환경(1810)을 도시한다. 컴퓨팅 환경(1810)은 데이터 처리 서버의 일부일 수 있다. 컴퓨팅 환경(1810)은 프로세서(1820), 메모리(1840) 및 I/O 인터페이스(1850)를 포함한다.

프로세서(1820)는 통상적으로, 컴퓨팅 환경(1810)의 전체 동작, 이를테면 디스플레이, 데이터 획득, 데이터 통신 및 이미지 처리와 연관된 동작을 제어한다. 프로세서(1820)는 위에서 설명된 방법의 단계 모두 또는 일부를 수행하기 위한 명령을 실행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 더욱이, 프로세서(1820)는 프로세서(1820)와 다른 컴포넌트 간의 상호 작용을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 프로세서는 중앙 처리 유닛(CPU: Central Processing Unit), 마이크로프로세서, 단일 칩 머신, GPU 등일 수 있다.

메모리(1840)는 컴퓨팅 환경(1810)의 동작을 지원하기 위해 다양한 타입의 데이터를 저장하도록 구성된다. 메모리(1840)는 미리 결정된 소프트웨어(1842)를 포함할 수 있다. 이러한 데이터의 예는 컴퓨팅 환경(1810) 상에서 동작되는 임의의 애플리케이션 또는 방법에 대한 명령, 비디오 데이터세트, 이미지 데이터 등을 포함한다. 메모리(1840)는 임의의 타입의 휘발성 또는 비휘발성 메모리 디바이스, 또는 이들의 조합, 이를테면 정적 랜덤 액세스 메모리(SRAM: static random access memory), 전기적으로 소거 가능한 프로그래밍 가능 판독 전용 메모리(EEPROM: electrically erasable programmable read-only memory), 소거 가능한 프로그래밍 가능 판독 전용 메모리(EPROM: erasable programmable read-only memory), 프로그래밍 가능 판독 전용 메모리(PROM: programmable read-only memory), 판독 전용 메모리(ROM: read-only memory), 자기 메모리, 플래시 메모리, 자기 또는 광 디스크를 사용함으로써 구현될 수 있다.

I/O 인터페이스(1850)는 키보드, 클릭 휠, 버튼 등과 같은 주변 인터페이스 모듈과 프로세서(1820) 사이에 인터페이스를 제공한다. 버튼은 홈 버튼, 스캔 시작 버튼 및 스캔 중지 버튼을 포함할 수 있지만 그에 제한되는 것은 아니다. I/O 인터페이스(1850)는 인코더 및 디코더와 결합될 수 있다.

일부 실시예에서, 앞서 설명된 방법을 수행하기 위해 컴퓨팅 환경(1810) 내의 프로세서(1820)에 의해 실행 가능한, 이를테면 메모리(1840)에 포함된 복수의 프로그램을 포함하는 비-일시적 컴퓨터 판독 가능 저장 매체가 또한 제공된다. 예를 들어, 비-일시적 컴퓨터 판독 가능 저장 매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광학 데이터 저장 디바이스 등일 수 있다.

비-일시적 컴퓨터 판독 가능 저장 매체는, 하나 이상의 프로세서를 갖는 컴퓨팅 디바이스에 의한 실행을 위한 복수의 프로그램을 내부에 저장하며, 여기서 복수의 프로그램은 하나 이상의 프로세서에 의해 실행될 때, 컴퓨팅 디바이스로 하여금, 앞서 설명된 움직임 예측을 위한 방법을 수행하게 한다.

일부 실시예에서, 컴퓨팅 환경(1810)은 위의 방법을 수행하기 위한 하나 이상의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래밍 가능 로직 디바이스(PLD), 필드 프로그래밍 가능 게이트(FPGA), 그래픽 처리 유닛(GPU: graphical processing unit), 제어기, 마이크로컨트롤러, 마이크로프로세서, 또는 다른 전자 컴포넌트로 구현될 수 있다.

도 23은 본 개시내용의 일부 구현에 따라 병렬로 비디오 블록을 인코딩 및 디코딩하기 위한 예시적인 시스템(10)을 예시하는 블록도이다. 도 23에 도시된 바와 같이, 시스템(10)은 목적지 디바이스(14)에 의해 나중에 디코딩될 비디오 데이터를 생성하여 인코딩하는 소스 디바이스(12)를 포함한다. 소스 디바이스(12) 및 목적지 디바이스(14)는 데스크톱 컴퓨터(desktop) 또는 랩톱(laptop) 컴퓨터, 태블릿(tablet) 컴퓨터, 스마트폰(smart phones), 셋톱 박스(set-top boxes), 디지털 미디어 플레이어(digital media players), 비디오 게임 콘솔(gaming consoles), 비디오 스트리밍(streaming) 디바이스 등을 포함하는 광범위한 전자 디바이스 중 임의의 디바이스를 포함할 수 있다. 일부 구현에서, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신 능력을 갖추고 있다.

일부 구현에서, 목적지 디바이스(14)는 링크(16)를 통해 디코딩될 인코딩된 비디오 데이터를 수신할 수 있다. 링크(16)는 인코딩된 비디오 데이터를 소스 디바이스(12)에서 목적지 디바이스(14)로 이동시킬 수 있는 임의의 타입의 통신 매체 또는 디바이스를 포함할 수 있다. 일례로, 링크(16)는 소스 디바이스(12)가 인코딩된 비디오 데이터를 목적지 디바이스(14)에 실시간으로 직접 전송할 수 있게 하는 통신 매체를 포함할 수 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜(protocol)과 같은 통신 표준에 따라 변조되어 목적지 디바이스(14)로 전송될 수 있다. 통신 매체는 무선 주파수(RF: Radio Frequency) 스펙트럼 또는 하나 이상의 물리적 전송 라인과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수 있다. 통신 매체는 패킷 기반 네트워크, 이를테면 근거리 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 일부를 형성할 수 있다. 통신 매체는 라우터, 스위치, 기지국, 또는 소스 디바이스(12)로부터 목적지 디바이스(14)로의 통신을 가능하게 하는 데 유용할 수 있는 임의의 다른 장비를 포함할 수 있다.

일부 다른 구현에서, 인코딩된 비디오 데이터는 출력 인터페이스(22)로부터 저장 디바이스(32)로 전송될 수 있다. 이어서, 저장 디바이스(32) 내의 인코딩된 비디오 데이터는 입력 인터페이스(28)를 통해 목적지 디바이스(14)에 의해 액세스될 수 있다. 저장 디바이스(32)는 하드 드라이브, 블루레이 디스크, 디지털 다기능 디스크(DVD: Digital Versatile Disk), 콤팩트 디스크 판독 전용 메모리(CD-ROM: Compact Disc Read-Only Memory), 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적절한 디지털 저장 매체와 같은 다양한 분산 또는 로컬 액세스 데이터 저장 매체 중 임의의 매체를 포함할 수 있다. 추가 예에서, 저장 디바이스(32)는 소스 디바이스(12)에 의해 생성된 인코딩된 비디오 데이터를 유지할 수 있는 파일 서버 또는 다른 중간 저장 디바이스에 대응할 수 있다. 목적지 디바이스(14)는 스트리밍 또는 다운로드를 통해 저장 디바이스(32)로부터 저장된 비디오 데이터에 액세스할 수 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 인코딩된 비디오 데이터를 목적지 디바이스(14)로 전송할 수 있는 임의의 타입의 컴퓨터일 수 있다. 예시적인 파일 서버는 (예컨대, 웹사이트용) 웹 서버, 파일 전송 프로토콜(FTP: File Transfer Protocol) 서버, 네트워크 부착 저장(NAS: Network Attached Storage) 디바이스 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스(14)는 파일 서버 상에 저장된 인코딩된 비디오 데이터에 액세스하는 데 적합한 무선 채널(예컨대, 무선 충실도(Wi-Fi: Wireless Fidelity) 접속), 유선 접속(예컨대, 디지털 가입자 회선(DSL: Digital Subscriber Line), 케이블 모뎀 등), 또는 이 둘의 조합을 포함하는 임의의 표준 데이터 접속을 통해, 인코딩된 비디오 데이터에 액세스할 수 있다. 저장 디바이스(32)로부터 인코딩된 비디오 데이터의 전송은 스트리밍 전송, 다운로드 전송 또는 이 둘의 조합일 수 있다.

도 23에 도시된 바와 같이, 소스 디바이스(12)는 비디오 소스(18), 비디오 인코더(20) 및 출력 인터페이스(22)를 포함한다. 비디오 소스(18)는 비디오 캡처 디바이스, 예컨대 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브(archive), 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스, 및/또는 컴퓨터 그래픽 데이터를 소스 비디오로서 생성하기 위한 컴퓨터 그래픽 시스템, 또는 이러한 소스의 조합을 포함할 수 있다. 일례로, 비디오 소스(18)가 보안 감시 시스템의 비디오 카메라라면, 소스 디바이스(12) 및 목적지 디바이스(14)는 카메라폰 또는 비디오폰을 형성할 수 있다. 그러나 본 출원에서 설명되는 구현은 일반적으로 비디오 코딩에 적용 가능할 수 있고, 무선 및/또는 유선 애플리케이션에 적용될 수 있다.

캡처되거나, 사전 캡처되거나 또는 컴퓨터 생성된 비디오는 비디오 인코더(20)에 의해 인코딩될 수 있다. 인코딩된 비디오 데이터는 소스 디바이스(12)의 출력 인터페이스(22)를 통해 목적지 디바이스(14)로 직접 전송될 수 있다. 인코딩된 비디오 데이터는 또한(또는 대안으로) 디코딩 및/또는 재생을 위해 목적지 디바이스(14) 또는 다른 디바이스에 의한 추후 액세스를 위해 저장 디바이스(32)에 저장될 수 있다. 출력 인터페이스(22)는 모뎀 및/또는 송신기를 더 포함할 수 있다.

목적지 디바이스(14)는 입력 인터페이스(28), 비디오 디코더(30) 및 디스플레이 디바이스(34)를 포함한다. 입력 인터페이스(28)는 수신기 및/또는 모뎀을 포함할 수 있고 인코딩된 비디오 데이터를 링크(16)를 통해 수신할 수 있다. 링크(16)를 통해 전달되는 또는 저장 디바이스(32) 상에 제공되는 인코딩된 비디오 데이터는 비디오 데이터를 디코딩할 때 비디오 디코더(30)에 의한 사용을 위해 비디오 인코더(20)에 의해 생성된 다양한 신택스 엘리먼트를 포함할 수 있다. 이러한 신택스 엘리먼트는 통신 매체 상에서 전송되거나, 저장 매체 상에 저장되거나, 파일 서버 상에 저장된 인코딩된 비디오 데이터 내에 포함될 수 있다.

일부 구현에서, 목적지 디바이스(14)는 통합 디스플레이 디바이스일 수 있는 디스플레이 디바이스(34) 및 목적지 디바이스(14)와 통신하도록 구성되는 외부 디스플레이 디바이스일 수 있다. 디스플레이 디바이스(34)는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 액정 디스플레이(LCD: Liquid Crystal Display), 플라즈마 디스플레이, 유기 발광 다이오드(OLED: Organic Light Emitting Diode) 디스플레이 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스 중 임의의 디스플레이 디바이스를 포함할 수 있다.

비디오 인코더(20) 및 비디오 디코더(30)는 독점적 또는 산업 표준, 이를테면 VVC, HEVC, MPEG-4, Part 10, AVC 또는 이러한 표준의 확장에 따라 동작할 수 있다. 본 출원은 특정 비디오 인코딩/디코딩 표준에 제한되지 않고 다른 비디오 인코딩/디코딩 표준에 적용 가능할 수 있다고 이해되어야 한다. 소스 디바이스(12)의 비디오 인코더(20)는 이러한 현재 또는 미래의 표준 중 임의의 표준에 따라 비디오 데이터를 인코딩하도록 구성될 수 있다는 것이 일반적으로 고려된다. 유사하게, 목적지 디바이스(14)의 비디오 디코더(30)는 이러한 현재 또는 미래의 표준 중 임의의 표준에 따라 비디오 데이터를 디코딩하도록 구성될 수 있다는 것이 일반적으로 또한 고려된다.

비디오 인코더(20) 및 비디오 디코더(30)는 각각, 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그래밍 가능 게이트 어레이(FPGA), 이산 로직, 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 조합과 같은 다양한 적합한 인코더 및/또는 디코더 회로 중 임의의 회로로서 구현될 수 있다. 전자 디바이스는 부분적으로는 소프트웨어에서 구현될 때, 소프트웨어에 대한 명령을 적절한 비-일시적 컴퓨터 판독 가능 매체에 저장하고, 본 개시내용에 개시된 비디오 인코딩/디코딩 동작을 수행하도록 하나 이상의 프로세서를 사용하여 하드웨어에서 명령을 실행할 수 있다. 비디오 인코더(20) 및 비디오 디코더(30)는 각각 하나 이상의 인코더 또는 디코더에 포함될 수 있으며, 이들 중 어느 하나는 개개의 디바이스에서 조합된 인코더/디코더(CODEC)의 일부로서 통합될 수 있다.

도 24는 본 출원에서 설명되는 일부 구현에 따른 예시적인 비디오 인코더(20)를 예시하는 블록도이다. 비디오 인코더(20)는 비디오 프레임 내의 비디오 블록의 인트라 코딩 및 인터 예측 코딩을 수행할 수 있다. 인트라 예측 코딩은 공간 예측에 의존하여, 주어진 비디오 프레임 또는 픽처 내에서 비디오 데이터의 공간 중복성을 줄이거나 제거한다. 인터 예측 코딩은 시간 예측에 의존하여 비디오 시퀀스의 인접한 비디오 프레임 또는 픽처 내에서 비디오 데이터의 시간 중복성을 줄이거나 제거한다. "프레임"이라는 용어는 비디오 코딩 분야에서 "이미지" 또는 "픽처"라는 용어에 대한 동의어로서 사용될 수 있다는 것이 주목되어야 한다.

도 24에 도시된 바와 같이, 비디오 인코더(20)는 비디오 데이터 메모리(40), 예측 처리 유닛(41), 디코딩된 픽처 버퍼(DPB: Decoded Picture Buffer)(64), 합산기(50), 변환 처리 유닛(52), 양자화 유닛(54) 및 엔트로피 인코딩 유닛(56)을 포함한다. 예측 처리 유닛(41)은 움직임 추정 유닛(42), 움직임 보상 유닛(44), 파티션 유닛(45), 인트라 예측 처리 유닛(46) 및 인트라 블록 복사(BC: Block Copy) 유닛(48)을 더 포함한다. 일부 구현에서, 비디오 인코더(20)는 또한 역양자화 유닛(58), 역변환 처리 유닛(60), 및 비디오 블록 재구성을 위한 합산기(62)를 포함한다. 루프 내 필터, 이를테면 블록 분리(deblocking) 필터가 합산기(62)와 DPB(64) 사이에 포지셔닝되어, 재구성된 비디오로부터 블록성 아티팩트(blockiness artifact)를 제거하도록 블록 경계를 필터링할 수 있다. 블록 분리 필터에 추가하여 샘플 적응 오프셋(SAO) 필터 및/또는 적응형 루프 내 필터(ALF)와 같은 다른 루프 내 필터가 또한 합산기(62)의 출력을 필터링하는 데 사용될 수 있다. 일부 예에서, 루프 내 필터는 생략될 수 있고, 디코딩된 비디오 블록은 합산기(62)에 의해 DPB(64)에 직접 제공될 수 있다. 비디오 인코더(20)는 고정 또는 프로그래밍 가능한 하드웨어 유닛의 형태를 취할 수 있거나 고정 또는 프로그래밍 가능한 하드웨어 유닛 중 하나 이상 사이에 분할될 수 있다.

비디오 데이터 메모리(40)는 비디오 인코더(20)의 컴포넌트에 의해 인코딩될 비디오 데이터를 저장할 수 있다. 비디오 데이터 메모리(40) 내의 비디오 데이터는 예를 들어, 도 23에 도시된 바와 같이 비디오 소스(18)로부터 획득될 수 있다. DPB(64)는 (예컨대, 인트라 또는 인터 예측 코딩 모드에서) 비디오 인코더(20)에 의해 비디오 데이터를 인코딩하는데 사용하기 위한 참조 비디오 데이터(예를 들어, 참조 프레임 또는 픽처)를 저장하는 버퍼이다. 비디오 데이터 메모리(40) 및 DPB(64)는 임의의 다양한 메모리 디바이스 중 임의의 메모리 디바이스에 의해 형성될 수 있다. 다양한 예에서, 비디오 데이터 메모리(40)는 비디오 인코더(20)의 다른 컴포넌트와 함께 온-칩(on-chip)일 수도 있고, 또는 그러한 컴포넌트에 대해 오프-칩(off-chip)일 수도 있다.

도 24에 도시된 바와 같이, 비디오 데이터를 수신한 후, 예측 처리 유닛(41) 내의 파티션 유닛(45)은 비디오 데이터를 비디오 블록으로 파티셔닝한다. 이러한 파티셔닝은 또한 비디오 데이터와 연관된 쿼드 트리(QT) 구조와 같은 미리 정의된 분할 구조에 따라 비디오 프레임을 슬라이스, 타일(예를 들어, 비디오 블록의 세트) 또는 다른 더 큰 코딩 유닛(CU)으로 파티셔닝하는 것을 포함할 수 있다. 비디오 프레임은 샘플 값을 갖는 샘플의 2차원 어레이 또는 행렬이거나 또는 그러한 2차원 어레이 또는 행렬로 간주될 수 있다. 어레이 내의 샘플은 또한 픽셀 또는 화소로 지칭될 수 있다. 어레이 또는 픽처의 수평 방향 및 수직 방향(또는 축)의 다수의 샘플은 비디오 프레임의 크기 및/또는 해상도를 정의한다. 비디오 프레임은 예를 들어, QT 파티셔닝을 사용함으로써 다수의 비디오 블록으로 분할될 수 있다. 비디오 블록은 다시, 비록 비디오 프레임보다 작은 차원이더라도, 샘플 값을 갖는 샘플의 2차원 어레이 또는 행렬이거나 또는 그러한 2차원 어레이 또는 행렬로 간주될 수 있다. 비디오 블록의 수평 방향 및 수직 방향(또는 축)의 다수의 샘플은 비디오 블록의 크기를 정의한다. 비디오 블록은 예를 들어, QT 파티셔닝, 2진 트리(BT: Binary-Tree) 파티셔닝 또는 3진 트리(TT: Triple-Tree) 파티셔닝 또는 이들의 임의의 조합을 반복적으로 사용함으로써 (다시 블록을 형성할 수 있는) 하나 이상의 블록 파티션 또는 서브블록으로 추가로 파티셔닝될 수 있다. 본 명세서에서 사용되는 바와 같은 "블록" 또는 "비디오 블록"이라는 용어는 프레임 또는 픽처의 일부, 특히 직사각형(정사각형 또는 비-정사각형) 부분일 수 있다는 것이 주목되어야 한다. 예를 들어, HEVC 및 VVC를 참조하면, 블록 또는 비디오 블록은 코딩 트리 유닛(CTU), CU, 예측 유닛(PU) 또는 변환 유닛(TU)일 수 있거나 그에 대응할 수 있고 그리고/또는 대응하는 블록, 예컨대 코딩 트리 블록(CTB), 코딩 블록(CB: Coding Block), 예측 블록(PB: Prediction Block) 또는 변환 블록(TB) 및/또는 서브블록일 수 있거나 그에 대응할 수 있다.

예측 처리 유닛(41)은 에러 결과(예컨대, 코딩 레이트 및 왜곡 레이트)에 기초하여 현재 비디오 블록에 대해 복수의 가능한 예측 코딩 모드 중 하나, 이를테면 복수의 인트라 예측 코딩 모드 중 하나 또는 복수의 인터 예측 코딩 모드 중 하나를 선택할 수 있다. 예측 처리 유닛(41)은 결과적인 인트라 또는 인터 예측 코딩된 블록을 합산기(50)에 제공하여 잔차 블록을 생성하고 합산기(62)에 제공하여, 인코딩된 블록을 후속하여 참조 프레임의 일부로서 사용하기 위해 재구성할 수 있다. 예측 처리 유닛(41)은 또한 움직임 벡터, 인트라 모드 지시자, 파티션 정보 및 다른 그러한 신택스 정보와 같은 신택스 엘리먼트를 엔트로피 인코딩 유닛(56)에 제공한다.

현재 비디오 블록에 대한 적절한 인트라 예측 코딩 모드를 선택하기 위해, 예측 처리 유닛(41) 내의 인트라 예측 처리 유닛(46)은 공간 예측을 제공하기 위해 코딩될 현재 블록과 동일한 프레임의 하나 이상의 이웃 블록에 대해 현재 비디오 블록의 인트라 예측 코딩을 수행할 수 있다. 예측 처리 유닛(41) 내의 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)은 하나 이상의 참조 프레임에서 하나 이상의 예측 블록에 대해 현재 비디오 블록의 인터 예측 코딩을 수행하여 시간 예측을 제공한다. 비디오 인코더(20)는 예컨대, 비디오 데이터의 각각의 블록에 대해 적절한 코딩 모드를 선택하기 위해 다수의 코딩 패스를 수행할 수 있다.

일부 구현에서, 움직임 추정 유닛(42)은 움직임 벡터를 생성함으로써 현재 비디오 프레임에 대한 인터 예측 모드를 결정하는데, 이는 비디오 프레임의 시퀀스 내의 미리 결정된 패턴에 따라 참조 비디오 프레임 내의 예측 블록에 대한 현재 비디오 프레임 내의 비디오 블록의 변위를 지시한다. 움직임 추정 유닛(42)에 의해 수행되는 움직임 추정은 비디오 블록에 대한 움직임을 추정하는 움직임 벡터를 생성하는 프로세스이다. 예를 들어, 움직임 벡터는 현재 프레임 내에서 코딩되고 있는 현재 블록에 대해 참조 프레임 내의 예측 블록에 대한 현재 비디오 프레임 또는 픽처 내의 비디오 블록의 변위를 지시할 수 있다. 미리 결정된 패턴은 시퀀스의 비디오 프레임을 P 프레임 또는 B 프레임으로 지정할 수 있다. 인트라 BC 유닛(48)은 인터 예측을 위한 움직임 추정 유닛(42)에 의한 움직임 벡터의 결정과 유사한 방식으로 인트라 BC 코딩을 위한 벡터, 예컨대 블록 벡터를 결정할 수 있거나, 움직임 추정 유닛(42)을 이용하여 블록 벡터를 결정할 수 있다.

비디오 블록에 대한 예측 블록은, 절대 차의 합(SAD), 제곱 차의 합(SSD: Sum of Square Difference) 또는 다른 차이 메트릭(metric)에 의해 결정될 수 있는 픽셀 차이 측면에서, 코딩될 비디오 블록과 밀접하게 매칭(match)하는 것으로 여겨지는 참조 프레임의 참조 블록 또는 블록일 수 있거나 그에 대응할 수 있다. 일부 구현에서, 비디오 인코더(20)는 DPB(64)에 저장된 참조 프레임의 정수 미만(sub-integer) 픽셀 포지션에 대한 값을 계산할 수 있다. 예를 들어, 비디오 인코더(20)는 참조 프레임의 1/4 픽셀 포지션, 1/8 픽셀 포지션, 또는 다른 부분 픽셀 포지션의 값을 보간할 수 있다. 따라서 움직임 추정 유닛(42)은 전체 픽셀 포지션 및 부분 픽셀 포지션에 대한 움직임 탐색을 수행하고 부분 픽셀 정밀도로 움직임 벡터를 출력할 수 있다.

움직임 추정 유닛(42)은 DPB(64)에 저장된 하나 이상의 참조 프레임을 각각이 식별하는 제1 참조 프레임 리스트(리스트 0) 또는 제2 참조 프레임 리스트(리스트 1)로부터 선택된 참조 프레임의 예측 블록의 포지션과 비디오 블록의 포지션을 비교함으로써, 인터 예측 코딩된 프레임에서 비디오 블록에 대한 움직임 벡터를 계산한다. 움직임 추정 유닛(42)은 계산된 움직임 벡터를 움직임 보상 유닛(44)으로 송신한 다음, 엔트로피 인코딩 유닛(56)으로 송신한다.

움직임 보상 유닛(44)에 의해 수행되는 움직임 보상은 움직임 추정 유닛(42)에 의해 결정된 움직임 벡터에 기초하여 예측 블록을 페치(fetch) 또는 생성하는 것을 수반할 수 있다. 현재 비디오 블록에 대한 움직임 벡터를 수신하면, 움직임 보상 유닛(44)은 참조 프레임 리스트 중 하나에서 움직임 벡터가 가리키는 예측 블록의 위치를 찾고, DPB(64)로부터 예측 블록을 리트리브(retrieve)하고, 예측 블록을 합산기(50)로 전달할 수 있다. 그 다음, 합산기(50)는 코딩되고 있는 현재 비디오 블록의 픽셀 값으로부터 움직임 보상 유닛(44)에 의해 제공되는 예측 블록의 픽셀 값을 감산함으로써 픽셀 차이 값의 잔차 비디오 블록을 형성한다. 잔차 비디오 블록을 형성하는 픽셀 차이 값은 루마 또는 크로마 차이 성분 또는 이들 모두를 포함할 수 있다. 움직임 보상 유닛(44)은 또한 비디오 프레임의 비디오 블록을 디코딩할 때 비디오 디코더(30)에 의한 사용을 위해 비디오 프레임의 비디오 블록과 연관된 신택스 엘리먼트를 생성할 수 있다. 신택스 엘리먼트는 예를 들어, 예측 블록을 식별하는 데 사용되는 움직임 벡터를 정의하는 신택스 엘리먼트, 예측 모드를 지시하는 임의의 플래그, 또는 여기서 설명되는 임의의 다른 신택스 정보를 포함할 수 있다. 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)은 고도로 집적될 수 있지만, 개념을 위해 개별적으로 예시된다는 점에 주목한다.

일부 구현에서, 인트라 BC 유닛(48)은 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)과 관련하여 위에서 설명된 것과 유사한 방식으로 벡터를 생성하고 예측 블록을 페치할 수 있지만, 예측 블록은 코딩되고 있는 현재 블록과 동일한 프레임에 존재하고, 벡터는 움직임 벡터와 대조적으로 블록 벡터로 지칭된다. 특히, 인트라 BC 유닛(48)은 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예에서, 인트라 BC 유닛(48)은 예컨대, 개별 인코딩 패스 동안 다양한 인트라 예측 모드를 사용하여 현재 블록을 인코딩하고, 레이트 왜곡 분석을 통해 이들의 성능을 테스트할 수 있다. 다음으로, 인트라 BC 유닛(48)은 다양한 테스트된 인트라 예측 모드 중에서 사용하기에 적절한 인트라 예측 모드를 선택하고, 그에 따라 인트라 모드 지시자를 생성할 수 있다. 예를 들어, 인트라 BC 유닛(48)은 다양한 테스트된 인트라 예측 모드에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산하고, 테스트된 모드 중 가장 양호한 레이트 왜곡 특징을 갖는 인트라 예측 모드를 사용하기에 적절한 인트라 예측 모드로서 선택할 수 있다. 레이트 왜곡 분석은 일반적으로, 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩된 원래의 인코딩되지 않은 블록 간의 왜곡(또는 에러)의 양뿐만 아니라, 인코딩된 블록을 생성하는 데 사용되는 비트 레이트(즉, 비트 수)를 결정한다. 인트라 BC 유닛(48)은 어떤 인트라 예측 모드가 블록에 대해 최상의 레이트 왜곡 값을 나타내는지를 결정하기 위해 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산할 수 있다.

다른 예로서, 인트라 BC 유닛(48)은 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)을 전체적으로 또는 부분적으로 사용하여, 본 명세서에서 설명되는 구현에 따른 인트라 BC 예측을 위해 이러한 기능을 수행할 수 있다. 어느 경우든, 인트라 블록 복사의 경우, 예측 블록은 SAD, SSD 또는 다른 차이 메트릭에 의해 결정될 수 있는 픽셀 차이 측면에서, 코딩될 블록과 밀접하게 매칭하는 것으로 여겨지는 블록일 수 있고, 예측 블록의 식별은 정수 미만 픽셀 포지션에 대한 값의 계산을 포함할 수 있다.

예측 블록이 인트라 예측에 따라 동일한 프레임으로부터든 아니면 인터 예측에 따라 다른 프레임으로부터든, 비디오 인코더(20)는 코딩되고 있는 현재 비디오 블록의 픽셀 값에서 예측 블록의 픽셀 값을 감산함으로써 잔차 비디오 블록을 형성하여, 픽셀 차 값을 형성할 수 있다. 잔차 비디오 블록을 형성하는 픽셀 차이 값은 루마 및 크로마 성분 차이를 모두 포함할 수 있다.

인트라 예측 처리 유닛(46)은 위에서 설명된 바와 같이, 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)에 의해 수행되는 인터 예측, 또는 인트라 BC 유닛(48)에 의해 수행되는 인트라 블록 복사 예측에 대한 대안으로서, 현재 비디오 블록을 인트라 예측할 수 있다. 특히, 인트라 예측 처리 유닛(46)은 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정할 수 있다. 그렇게 하기 위해, 인트라 예측 처리 유닛(46)은 예컨대, 개별 인코딩 패스 동안 다양한 인트라 예측 모드를 사용하여 현재 블록을 인코딩할 수 있고, 인트라 예측 처리 유닛(46)(또는 일부 예에서는 모드 선택 유닛)은 테스트된 인트라 예측 모드로부터 사용할 적절한 인트라 예측 모드를 선택할 수 있다. 인트라 예측 처리 유닛(46)은 블록에 대해 선택된 인트라 예측 모드를 나타내는 정보를 엔트로피 인코딩 유닛(56)에 제공할 수 있다. 엔트로피 인코딩 유닛(56)은 비트스트림에서 선택된 인트라 예측 모드를 지시하는 정보를 인코딩할 수 있다.

예측 처리 유닛(41)이 인터 예측 또는 인트라 예측을 통해 현재 비디오 블록에 대한 예측 블록을 결정한 후, 합산기(50)는 현재 비디오 블록에서 예측 블록을 감산함으로써 잔차 비디오 블록을 형성한다. 잔차 블록의 잔차 비디오 데이터는 하나 이상의 TU에 포함될 수 있고 변환 처리 유닛(52)에 제공된다. 변환 처리 유닛(52)은 이산 코사인 변환(DCT: Discrete Cosine Transform) 또는 개념적으로 유사한 변환과 같은 변환을 사용하여 잔차 비디오 데이터를 잔차 변환 계수로 변환한다.

변환 처리 유닛(52)은 결과적인 변환 계수를 양자화 유닛(54)으로 송신할 수 있다. 양자화 유닛(54)은 변환 계수를 양자화하여 비트 레이트를 더 감소시킨다. 양자화 프로세스는 또한 계수 중 일부 또는 전부와 연관된 비트 심도를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예에서, 양자화 유닛(54)은 다음에, 양자화된 변환 계수를 포함하는 행렬의 스캔을 수행할 수 있다. 대안으로, 엔트로피 인코딩 유닛(56)은 스캔을 수행할 수 있다.

양자화에 이어, 엔트로피 인코딩 유닛(56)은 양자화된 변환 계수를 예컨대, 컨텍스트 적응 가변 길이 코딩(CAVLC: Context Adaptive Variable Length Coding), 컨텍스트 적응 2진 산술 코딩(CABAC: Context Adaptive Binary Arithmetic Coding), 신택스 기반 컨텍스트 적응 2진 산술 코딩(SBAC: Syntax-based context-adaptive Binary Arithmetic Coding), 확률 간격 분할 엔트로피(PIPE: Probability Interval Partitioning Entropy) 코딩 또는 다른 엔트로피 인코딩 방법 또는 기법을 사용하여 비디오 비트스트림으로 엔트로피 인코딩한다. 그 다음, 인코딩된 비트스트림은 도 23에 도시된 바와 같은 비디오 디코더(30)에 전송되거나 비디오 디코더(30)로의 이후의 전송 또는 비디오 디코더(30)에 의한 리트리브를 위해 도 23에 도시된 바와 같은 저장 디바이스(32)에 보관될 수 있다. 엔트로피 인코딩 유닛(56)은 또한, 코딩되는 현재 비디오 프레임에 대해 움직임 벡터 및 다른 신택스 엘리먼트를 엔트로피 인코딩할 수 있다.

역양자화 유닛(58) 및 역변환 처리 유닛(60)은 각각 역양자화 및 역변환을 적용하여, 다른 비디오 블록의 예측을 위한 참조 블록을 생성하기 위해 픽셀 도메인에서 잔차 비디오 블록을 재구성한다. 위에서 언급된 바와 같이, 움직임 보상 유닛(44)은 DPB(64)에 저장된 프레임의 하나 이상의 참조 블록으로부터 움직임 보상된 예측 블록을 생성할 수 있다. 움직임 보상 유닛(44)은 또한 하나 이상의 보간 필터를 예측 블록에 적용하여, 움직임 추정에 사용할 정수 미만 픽셀 값을 계산할 수 있다.

합산기(62)는 움직임 보상 유닛(44)에 의해 생성된 움직임 보상된 예측 블록에 재구성된 잔차 블록을 추가하여, DPB(64)에 저장할 참조 블록을 생성한다. 그 후, 참조 블록은 인트라 BC 유닛(48), 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)에 의해 후속 비디오 프레임에서 다른 비디오 블록을 인터 예측하기 위한 예측 블록으로서 사용될 수 있다.

도 25는 본 출원의 일부 구현에 따른 예시적인 비디오 디코더(30)를 예시하는 블록도이다. 비디오 디코더(30)는 비디오 데이터 메모리(79), 엔트로피 디코딩 유닛(80), 예측 처리 유닛(81), 역양자화 유닛(86), 역변환 처리 유닛(88), 합산기(90) 및 DPB(92)를 포함한다. 예측 처리 유닛(81)은 움직임 보상 유닛(82), 인트라 예측 유닛(84) 및 인트라 BC 유닛(85)을 더 포함한다. 비디오 디코더(30)는 도 24와 관련하여 비디오 인코더(20)에 대해 위에서 설명된 인코딩 프로세스와 일반적으로 상반되는 디코딩 프로세스를 수행할 수 있다. 예를 들어, 움직임 보상 유닛(82)은 엔트로피 디코딩 유닛(80)으로부터 수신된 움직임 벡터에 기초하여 예측 데이터를 생성할 수 있는 한편, 인트라 예측 유닛(84)은 엔트로피 디코딩 유닛(80)으로부터 수신된 인트라 예측 모드 지시자에 기초하여 예측 데이터를 생성할 수 있다.

일부 예에서, 비디오 디코더(30)의 유닛은 본 출원의 구현을 수행하도록 임무를 받을 수 있다. 또한, 일부 예에서, 본 개시내용의 구현은 비디오 디코더(30)의 유닛 중 하나 이상 사이에 분할될 수 있다. 예를 들어, 인트라 BC 유닛(85)은 단독으로, 또는 움직임 보상 유닛(82), 인트라 예측 유닛(84) 및 엔트로피 디코딩 유닛(80)과 같은 비디오 디코더(30)의 다른 유닛과 조합하여 본 출원의 구현을 수행할 수 있다. 일부 예에서, 비디오 디코더(30)는 인트라 BC 유닛(85)을 포함하지 않을 수 있고, 인트라 BC 유닛(85)의 기능은 움직임 보상 유닛(82)과 같은 예측 처리 유닛(81)의 다른 컴포넌트에 의해 수행될 수 있다.

비디오 데이터 메모리(79)는 비디오 디코더(30)의 다른 컴포넌트에 의해 디코딩될 비디오 데이터, 이를테면 인코딩된 비디오 비트스트림을 저장할 수 있다. 비디오 데이터 메모리(79)에 저장된 비디오 데이터는 예를 들어, 저장 디바이스(32)로부터, 카메라와 같은 로컬 비디오 소스로부터, 비디오 데이터의 유선 또는 무선 네트워크 통신을 통해, 또는 물리적 데이터 저장 매체(예컨대, 플래시 드라이브 또는 하드 디스크)에 액세스함으로써 획득될 수 있다. 비디오 데이터 메모리(79)는 인코딩된 비디오 비트스트림으로부터의 인코딩된 비디오 데이터를 저장하는 코딩된 픽처 버퍼(CPB: Coded Picture Buffer)를 포함할 수 있다. 비디오 디코더(30)의 DPB(92)는 (예컨대, 인트라 또는 인터 예측 코딩 모드에서) 비디오 디코더(30)에 의해 비디오 데이터를 디코딩하는데 사용하기 위한 참조 비디오 데이터를 저장한다. 비디오 데이터 메모리(79) 및 DPB(92)는 다양한 메모리 디바이스, 이를테면 동기식 DRAM(SDRAM: Synchronous DRAM)을 포함하는 동적 랜덤 액세스 메모리(DRAM: dynamic random access memory), 자기 저항성 RAM(MRAM: Magneto-resistive RAM), 저항성 RAM(RRAM: Resistive RAM), 또는 다른 타입의 메모리 디바이스 중 임의의 메모리 디바이스에 의해 형성될 수 있다. 예시를 위해, 비디오 데이터 메모리(79) 및 DPB(92)는 도 25에서 비디오 디코더(30)의 2개의 개별 컴포넌트로서 도시된다. 그러나 비디오 데이터 메모리(79)와 DPB(92)는 동일한 메모리 디바이스 또는 개별 메모리 디바이스에 의해 제공될 수 있음이 당해 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다. 일부 예에서, 비디오 데이터 메모리(79)는 비디오 디코더(30)의 다른 컴포넌트와 함께 온-칩일 수 있고, 또는 그러한 컴포넌트에 대해 오프-칩일 수 있다.

디코딩 프로세스 중에, 비디오 디코더(30)는 인코딩된 비디오 프레임의 비디오 블록 및 연관된 신택스 엘리먼트를 나타내는 인코딩된 비디오 비트스트림을 수신한다. 비디오 디코더(30)는 비디오 프레임 레벨 및/또는 비디오 블록 레벨에서 신택스 엘리먼트를 수신할 수 있다. 비디오 디코더(30)의 엔트로피 디코딩 유닛(80)은 비트스트림을 엔트로피 디코딩하여, 양자화된 계수, 움직임 벡터 또는 인트라 예측 모드 지시자 및 다른 신택스 엘리먼트를 생성한다. 그 다음, 엔트로피 디코딩 유닛(80)은 움직임 벡터 또는 인트라 예측 모드 지시자 및 다른 신택스 엘리먼트를 예측 처리 유닛(81)으로 전달한다.

비디오 프레임이 인트라 예측 코딩된(I) 프레임으로서 코딩되거나 다른 타입의 프레임에서는 인트라 코딩된 예측 블록에 대해 코딩될 때, 예측 처리 유닛(81)의 인트라 예측 유닛(84)은 시그널링된 인트라 예측 모드 및 현재 비디오 프레임의 이전에 디코딩된 블록으로부터의 참조 데이터에 기초하여 현재 비디오 프레임의 비디오 블록에 대한 예측 데이터를 생성할 수 있다.

비디오 프레임이 인터 예측 코딩된(즉, B 또는 P) 프레임으로서 코딩될 때, 예측 처리 유닛(81)의 움직임 보상 유닛(82)은 엔트로피 디코딩 유닛(80)으로부터 수신된 움직임 벡터 및 다른 신택스 엘리먼트에 기초하여 현재 비디오 프레임의 비디오 블록에 대한 하나 이상의 예측 블록을 생성한다. 예측 블록 각각은 참조 프레임 리스트 중 하나의 리스트 내의 참조 프레임으로부터 생성될 수 있다. 비디오 디코더(30)는 DPB(92)에 저장된 참조 프레임을 기초로 디폴트 구성 기법을 사용하여 참조 프레임 리스트인 리스트 0 및 리스트 1을 구성할 수 있다.

일부 예에서, 비디오 블록이 본 명세서에서 설명되는 인트라 BC 모드에 따라 코딩될 때, 예측 처리 유닛(81)의 인트라 BC 유닛(85)은 엔트로피 디코딩 유닛(80)으로부터 수신된 블록 벡터 및 다른 신택스 엘리먼트에 기초하여 현재 비디오 블록에 대한 예측 블록을 생성한다. 예측 블록은 비디오 인코더(20)에 의해 정의된 현재 비디오 블록과 동일한 픽처의 재구성된 구역 내에 있을 수 있다.

움직임 보상 유닛(82) 및/또는 인트라 BC 유닛(85)은 움직임 벡터 및 다른 신택스 엘리먼트를 파싱함으로써 현재 비디오 프레임의 비디오 블록에 대한 예측 정보를 결정하고, 그런 다음, 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록을 생성하는 데 예측 정보를 사용한다. 예를 들어, 움직임 보상 유닛(82)은 수신된 신택스 엘리먼트 중 일부를 사용하여, 비디오 프레임의 비디오 블록을 코딩하는 데 사용되는 예측 모드(예컨대, 인트라 또는 인터 예측), 인터 예측 프레임 타입(예컨대, B 또는 P), 프레임에 대한 참조 프레임 리스트 중 하나 이상에 대한 구성 정보, 프레임의 각각의 인터 예측 코딩된 비디오 블록에 대한 움직임 벡터, 프레임의 각각의 인터 예측 코딩된 비디오 블록에 대한 인터 예측 상태, 및 현재 비디오 프레임의 비디오 블록을 디코딩하기 위한 다른 정보를 결정한다.

유사하게, 인트라 BC 유닛(85)은 인트라 BC 모드, 프레임의 어느 비디오 블록이 재구성된 구역 내에 있는지 그리고 DPB(92)에 저장되어야 하는지에 대한 구성 정보, 프레임의 각각의 인트라 BC 예측 비디오 블록에 대한 블록 벡터, 프레임의 각각의 인트라 BC 예측 비디오 블록에 대한 인트라 BC 예측 상태, 및 현재 비디오 프레임의 비디오 블록을 디코딩하기 위한 다른 정보를 사용하여 현재 비디오 블록이 예측되었음을 결정하기 위해, 수신된 신택스 엘리먼트 중 일부, 예컨대 플래그를 사용할 수 있다.

움직임 보상 유닛(82)은 또한, 비디오 블록의 인코딩 동안 비디오 인코더(20)에 의해 사용되는 보간 필터를 사용한 보간을 수행하여 참조 블록의 정수 미만 픽셀들에 대한 보간된 값을 계산할 수 있다. 이 경우, 움직임 보상 유닛(82)은 수신된 신택스 엘리먼트로부터 비디오 인코더(20)에 의해 사용된 보간 필터를 결정하고 보간 필터를 사용하여 예측 블록을 생성할 수 있다.

역양자화 유닛(86)은, 비트스트림으로 제공되며 비디오 프레임의 각각의 비디오 블록에 대해 비디오 인코더(20)에 의해 계산된 동일한 양자화 파라미터를 사용하여 엔트로피 디코딩 유닛(80)에 의해 엔트로피 디코딩된 양자화된 변환 계수를 역양자화하여 양자화 정도를 결정한다. 역변환 처리 유닛(88)은 픽셀 도메인에서 잔차 블록을 재구성하기 위해 역변환, 예컨대 역 DCT, 역 정수 변환, 또는 개념상 유사한 역변환 프로세스를 변환 계수에 적용한다.

움직임 보상 유닛(82) 또는 인트라 BC 유닛(85)이 벡터 및 다른 신택스 엘리먼트에 기초하여 현재 비디오 블록에 대한 예측 블록을 생성한 후, 합산기(90)는 역변환 처리 유닛(88)으로부터의 잔차 블록과 움직임 보상 유닛(82) 및 인트라 BC 유닛(85)에 의해 생성된 대응하는 예측 블록을 합산함으로써 현재 비디오 블록에 대한 디코딩된 비디오 블록을 재구성한다. 디코딩된 비디오 블록을 추가로 처리하기 위해 합산기(90)와 DPB(92) 사이에 루프 내 필터(91), 이를테면 블록 분리 필터, SAO 필터 및/또는 ALF가 포지셔닝될 수 있다. 일부 예에서, 루프 내 필터(91)는 생략될 수 있고, 디코딩된 비디오 블록은 합산기(90)에 의해 DPB(92)에 직접 제공될 수 있다. 그 다음, 주어진 프레임의 디코딩된 비디오 블록은 DPB(92)에 저장되며, DPB(92)는 다음 비디오 블록의 후속 움직임 보상에 사용되는 참조 프레임을 저장한다. DPB(92), 또는 DPB(92)와 별개인 메모리 디바이스는 또한 도 23의 디스플레이 디바이스(34)와 같은 디스플레이 디바이스 상에서의 추후 표현을 위해 디코딩된 비디오를 저장할 수 있다.

본 개시내용의 설명은 예시 목적으로 제시되었지만, 본 개시내용을 총망라하거나 본 개시내용으로 제한되는 것으로 의도되는 것은 아니다. 앞서 말한 설명 및 연관된 도면에 제시된 교시의 이점을 갖는 많은 수정, 변형 및 대안적인 구현이 당해 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다.

이 예는 본 개시내용의 원리를 설명하기 위해 당해 기술 분야에서 통상의 지식을 가진 다른 자가 다양한 구현에 대해 본 개시내용을 이해하고 기반이 되는 원리 및 다양한 구현을 고려되는 특정 용도에 맞춰진 다양한 수정으로 가장 잘 이용하는 것을 가능하게 하기 위해 선택되고 설명되었다. 따라서 본 개시내용의 범위는 개시된 구현의 특정 예에 제한되는 것은 아니며 수정 및 다른 구현은 본 개시내용의 범위 내에 포함되는 것으로 의도된다고 이해되어야 한다.

래그를 디코더에 의해 수신하는 단계를 포함한다.

Claims (18)

1. 비디오 코딩을 위한 방법으로서,
   시퀀스 파라미터 세트(SPS: Sequence Parameter Set) 범위 확장 플래그의 값에 기초하여 신택스(syntax) 구조(sps_range_extension)가 슬라이스 헤드(SH: Slice Head) 원시 바이트 시퀀스 페이로드(RBSP: Raw Byte Sequence Payload) 신택스 구조에 존재하는지 여부를 지시하는 상기 SPS 범위 확장 플래그를 디코더에 의해 수신하는 단계를 포함하는
   비디오 코딩을 위한 방법.
2. 제1항에 있어서,
   상기 SPS 범위 확장 플래그의 값이 1과 같다는 결정에 대한 응답으로, 상기 sps_range_extension이 상기 SH RBSP 신택스 구조에 존재한다고 결정하는 단계; 및
   상기 범위 확장 플래그의 값이 0과 같다는 결정에 대한 응답으로, 상기 sps_range_extension이 상기 SH RBSP 신택스 구조에 존재하지 않는다고 결정하는 단계를 더 포함하는 비디오 코딩을 위한 방법.
3. 제1항에 있어서,
   상기 디코더에 의해, 다른 플래그에 대한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 범위 확장 제약 플래그를 수신하는 단계; 및
   상기 범위 확장 제약 플래그의 값이 1과 같다는 결정에 대한 응답으로, 상기 다른 플래그의 값이 0과 같다고 결정하는 단계를 더 포함하는 비디오 코딩을 위한 방법.
4. 제1항에 있어서,
   상기 디코더에 의해, 상기 SPS 범위 확장 플래그에 대한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 범위 확장 제약 플래그를 수신하는 단계; 및
   상기 범위 확장 제약 플래그의 값이 1과 같다는 결정에 대한 응답으로, 상기 SPS 범위 확장 플래그의 값이 0과 같다고 결정하는 단계를 더 포함하는 비디오 코딩을 위한 방법.
5. 비디오 코딩을 위한 방법으로서,
   시퀀스 파라미터 세트(SPS) 정렬 가능 플래그의 값에 기초하여 신택스 엘리먼트 sb_coded_flag, abs_remainder, dec_abs_level 및 coeff_sign_flagn의 우회 디코딩 전에 인덱스(ivlCurrRange)가 정렬되는지 여부를 지시하는 상기 SPS 정렬 가능 플래그를 디코더에 의해 수신하는 단계를 포함하는 비디오 코딩을 위한 방법.
6. 제5항에 있어서,
   상기 SPS 정렬 가능 플래그의 값이 1과 같다는 결정에 대한 응답으로, 상기 ivlCurrRange가 우회 디코딩 전에 정렬된다고 결정하는 단계; 및
   상기 SPS 정렬 가능 플래그의 값이 0과 같다는 결정에 대한 응답으로, 상기 ivlCurrRange가 우회 디코딩 전에 정렬되지 않는다고 결정하는 단계를 더 포함하는,
   비디오 코딩을 위한 방법.
7. 제5항에 있어서,
   상기 디코더에 의해, 다른 플래그에 대한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 우회 정렬 제약 플래그를 수신하는 단계; 및
   상기 우회 정렬 제약 플래그의 값이 1과 같다는 결정에 대한 응답으로, 상기 다른 플래그의 값이 0과 같다고 결정하는 단계를 더 포함하는 비디오 코딩을 위한 방법.
8. 제5항에 있어서,
   상기 디코더에 의해, 상기 SPS 정렬 가능 플래그에 대한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 우회 정렬 제약 플래그를 수신하는 단계; 및
   상기 우회 정렬 제약 플래그의 값이 1과 같다는 결정에 대한 응답으로, 상기 SPS 정렬 가능 플래그의 값이 0과 같다고 결정하는 단계를 더 포함하는 비디오 코딩을 위한 방법.
9. 비디오 코딩을 위한 방법으로서,
   확장된 정밀도 처리 플래그의 값에 기초하여, 확장된 동적 범위가 변환 계수에 대해 그리고 변환 처리 동안 채택되는지 여부를 표시하는 상기 확장된 정밀도 처리 플래그를 디코더에 의해 수신하는 단계를 포함하는
   비디오 코딩을 위한 방법.
10. 제9항에 있어서,
    상기 확장된 정밀도 처리 플래그의 값이 1과 같다는 결정에 대한 응답으로, 상기 확장된 동적 범위가 상기 변환 계수에 대해 그리고 상기 변환 처리 동안 채택된다고 결정하는 단계; 및
    상기 확장된 정밀도 처리 플래그의 값이 0과 같다는 결정에 대한 응답으로, 상기 확장된 동적 범위가 상기 변환 계수에 대해 또는 상기 변환 처리 동안 채택되지 않는다고 결정하는 단계를 더 포함하는 비디오 코딩을 위한 방법.
11. 제9항에 있어서,
    상기 디코더에 의해, 다른 플래그에 대한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서, 확장된 정밀도 처리 제약 플래그를 수신하는 단계; 및
    상기 확장된 정밀도 처리 제약 플래그의 값이 1과 같다는 결정에 대한 응답으로, 상기 다른 플래그의 값이 0과 같다고 결정하는 단계를 더 포함하는 비디오 코딩을 위한 방법.
12. 제9항에 있어서,
    상기 디코더에 의해, 확장된 정밀도 처리 제약 플래그에 대한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 상기 확장된 정밀도 처리 제약 플래그를 수신하는 단계; 및
    상기 확장된 정밀도 처리 플래그의 값이 1과 같다는 결정에 대한 응답으로, 상기 확장된 정밀도 처리 플래그의 값이 0과 같다고 결정하는 단계를 더 포함하는 비디오 코딩을 위한 방법.
13. 비디오 코딩을 위한 방법으로서,
    지속적 라이스(rice) 적응 가능 플래그의 값에 기초하여, 이전 서브블록으로부터 누적된 모드 의존 통계를 채택하는 각각의 서브블록의 시작 시에 abs_remaining 및 dec_abs_level의 이진화를 위한 라이스 파라미터 도출이 초기화되는지 여부를 지시하는 상기 지속적 라이스 적응 가능 플래그를 디코더에 의해 수신하는 단계를 포함하는
    비디오 코딩을 위한 방법.
14. 제13항에 있어서,
    상기 지속적 라이스 적응 가능 플래그의 값이 1과 같다는 결정에 대한 응답으로, 이진화를 위한 라이스 파라미터 도출이 이전 서브블록으로부터 누적된 모드 의존 통계를 채택하는 각각의 서브블록의 시작 시에 초기화됨을 결정하는 단계; 및
    상기 지속적 라이스 적응 플래그의 값이 0과 같다는 결정에 대한 응답으로, 상기 라이스 파라미터 도출에서 이전 서브블록 상태가 채택되지 않는다고 결정하는 단계를 더 포함하는 비디오 코딩을 위한 방법.
15. 제13항에 있어서,
    상기 디코더에 의해, 다른 플래그에 대한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 지속적 라이스 적응 제약 플래그를 수신하는 단계; 및
    상기 지속적 라이스 적응 제약 플래그의 값이 1과 같다는 결정에 대한 응답으로, 상기 다른 플래그의 값이 0과 같다고 결정하는 단계를 더 포함하는 비디오 코딩을 위한 방법.
16. 제13항에 있어서,
    상기 디코더에 의해, 상기 지속적 라이스 적응 가능 플래그에 대한 일반 제약 제어를 제공하기 위해 일반 제약 정보 신택스에서 지속적 라이스 적응 제약 플래그를 수신하는 단계; 및
    상기 지속적 라이스 적응 제약 플래그의 값이 1과 같다는 결정에 대한 응답으로, 상기 지속적 라이스 적응 가능 플래그의 값이 0과 같다고 결정하는 단계를 더 포함하는 비디오 코딩을 위한 방법.
17. 비디오 코딩을 위한 장치로서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행 가능한 명령을 저장하도록 구성된 메모리를 포함하며,
    상기 하나 이상의 프로세서는 상기 명령의 실행 시, 제1항 내지 제16항 중 어느 한 항의 방법을 수행하도록 구성되는,
    비디오 코딩을 위한 장치.
18. 하나 이상의 컴퓨터 프로세서에 의해 실행될 때, 상기 하나 이상의 컴퓨터 프로세서로 하여금 제1항 내지 제16항 중 어느 한 항의 방법을 수행하게 하는 컴퓨터 실행 가능 명령을 저장하는
    비디오 코딩을 위한 비-일시적 컴퓨터 판독 가능 저장 매체.