KR20220157455A

KR20220157455A - 이미지 인코딩 및 디코딩을 위한 방법 및 디바이스

Info

Publication number: KR20220157455A
Application number: KR1020227036474A
Authority: KR
Inventors: 카람 나서; 패브리체 르 레아넥; 탠기 푸아리에; 필립 딜 라그랑주
Original assignee: 인터디지털 브이씨 홀딩스 프랑스
Priority date: 2020-03-20
Filing date: 2021-03-15
Publication date: 2022-11-29
Also published as: WO2021185733A1; CN115398922A; EP4122208A1; JP2023518194A; BR112022018309A2; US20230164360A1

Abstract

디코딩을 위한 방법으로서, 본 방법은, 인코딩된 비디오 시퀀스를 나타내는 비트스트림을 획득하는 단계(501); 적어도 하나의 코딩 파라미터를 제공하는 제1 유형의 컨테이너가 비트스트림에 부재하는지의 여부를 나타내는 제1 정보를 획득하는 단계(502); 상기 적어도 하나의 코딩 파라미터를 사용하는 코딩 툴이 비디오 시퀀스의 이미지의 샘플들의 현재 블록에 대해 활성화되는지의 여부를 나타내는 제1 신택스 요소의 값을 체크하는 단계; 및 제2 신택스 요소가 코딩 툴의 활성화를 나타낼 때 컨테이너의 부재의 경우에 현재 블록의 디코딩을 적응시키는 단계를 포함한다.

Description

이미지 인코딩 및 디코딩을 위한 방법 및 디바이스

본 실시예들 중 적어도 하나는 대체적으로, 이미지 인코딩 및 디코딩을 위한 방법 및 디바이스에 관한 것으로, 보다 구체적으로는, 일부 시그널링 툴들과 일부 인코딩 툴들의 일관된 상호작용을 보장하기 위한 방법 및 디바이스에 관한 것이다.

높은 압축 효율을 달성하기 위해, 비디오 코딩 스킴들은 통상적으로, 비디오 콘텐츠에서 공간적 및 시간적 리던던시들을 레버리징하기 위해 예측들 및 변환들을 채용한다. 인코딩 동안, 비디오 콘텐츠의 이미지들은 샘플들(즉, 픽셀들)의 블록들로 분할되고, 이러한 블록들은 이어서, 하기에서 오리지널 서브-블록들로 불리는 하나 이상의 서브-블록들로 파티셔닝된다. 이어서, 인트라 또는 인터 예측이 인트라 또는 인터 이미지 상관관계들을 활용하기 위해 각각의 서브-블록에 적용된다. 어떤 예측 방법(인트라 또는 인터)이 사용되었든, 예측기 서브-블록이 각각의 오리지널 서브-블록에 대해 결정된다. 이어서, 예측 에러 서브-블록, 예측 잔차 서브-블록, 또는 간단히 잔차 블록으로 종종 표시되는, 오리지널 서브-블록과 예측기 서브-블록 사이의 차이를 표현하는 서브-블록이, 인코딩된 비디오 스트림을 생성하도록 변환되고 양자화되고 엔트로피 코딩된다. 비디오를 재구성하기 위해, 압축된 데이터는 변환, 양자화, 및 엔트로피 코딩에 대응하는 역 프로세스들에 의해 디코딩된다.

비디오 압축 방법들의 복잡도는 MPEG-1(ISO/CEI-11172), MPEG-2(ISO/CEI 13818-2) 또는 MPEG-4/AVC(ISO/CEI 14496-10)와 같은 제1 비디오 압축 방법들에 비해 크게 증가했다. 실제로, 많은 새로운 코딩 툴들이 나타났거나, 또는 기존의 코딩 툴들이 비디오 압축 표준들의 최종 세대들에서(예를 들어, JVET(Joint Video Experts Team)로서 알려진 ITU-T 및 ISO/IEC 전문가들의 공동 협력팀에 의해 개발 중인 VVC(Versatile Video Coding)라는 제목의 국제 표준에서 또는 표준 HEVC (ISO/IEC 23008-2 ― MPEG-H Part 2, High Efficiency Video Coding / ITU-T H.265)에서) 개선되었다. 동시에, 예를 들어, 비디오 시퀀스 내내 많은 서브-블록들에 의해 공유되는 일부 코딩 툴들의 시그널링 파라미터들을 허용하는 몇 가지 시그널링 툴들이 제안되었다. 이러한 시그널링 툴들 중 하나는 적응 파라미터 세트(adaptation parameter set, APS)이다. APS는 적응적 루프 필터(Adaptive Loop Filter, ALF) 코딩 툴, 크로마 스케일링을 이용한 루마 맵핑(Luma Mapping with Chroma Scaling, LMCS) 코딩 툴, 및 양자화에 사용되는 스케일링 행렬들에 대한 파라미터들을 제공하는 특정 데이터 컨테이너(NAL(Network Abstraction Layer) 유닛으로 불림)이다.

일부 경우들에 있어서, APS를 시그널링한 파라미터들을 사용하는 코딩 툴들은 활성화되는 동안 APS는 비트스트림에 부재할 수 있다.

시그널링 컨테이너에 의해 제공된 파라미터들을 참조하는 코딩 툴들이 활성화되어 있는 동안 이러한 시그널링 컨테이너가 비트스트림에 부재할 때 인코더 또는 디코더의 일관적인 거동을 허용하는 솔루션들을 제안하는 것이 바람직하다.

제1 태양에서, 본 실시예들 중 하나 이상은 디코딩을 위한 방법을 제공하며, 본 방법은, 인코딩된 비디오 시퀀스를 나타내는 비트스트림을 획득하는 단계; 적어도 하나의 코딩 파라미터를 제공하는 제1 유형의 컨테이너가 비트스트림에 부재하는지의 여부를 나타내는 제1 정보를 획득하는 단계; 상기 적어도 하나의 코딩 파라미터를 사용하는 코딩 툴이 비디오 시퀀스의 이미지의 샘플들의 현재 블록에 대해 활성화되는지의 여부를 나타내는 제1 신택스 요소의 값을 체크하는 단계; 및 제2 신택스 요소가 코딩 툴의 활성화를 나타낼 때 컨테이너의 부재의 경우에 현재 블록의 디코딩을 적응시키는 단계를 포함한다.

일 실시예에서, 제1 정보는 비트스트림으로부터 획득된 제2 신택스 요소로부터 획득된다.

일 실시예에서, 제1 유형의 컨테이너는 적응 파라미터 세트이고, 제2 신택스 요소는 비트스트림에서 적어도 하나의 적응 파라미터 세트의 존재가 인가되는지의 여부를 나타낸다.

일 실시예에서, 현재 블록의 디코딩을 적응시키는 단계는 비트스트림의 부적합성을 나타내는 제2 정보를 출력하는 단계를 포함한다.

일 실시예에서, 현재 블록의 디코딩을 적응시키는 단계는 현재 블록을 디코딩하기 위한 코딩 툴을 비활성화시키는 단계를 포함한다.

일 실시예에서, 디코딩을 적응시키는 단계는, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너로부터 적어도 하나의 파라미터를 획득하고 획득된 파라미터로 코딩 툴을 적용하는 현재 블록을 디코딩하는 것을 포함한다.

일 실시예에서, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너는 시퀀스 파라미터 세트 및/또는 픽처 파라미터 세트 및/또는 픽처 헤더 및/또는 시퀀스 헤더이다.

제2 태양에서, 본 실시예들 중 하나 이상은 인코딩을 위한 방법을 제공하며, 본 방법은, 비트스트림에 인코딩할 비디오 시퀀스를 획득하는 단계; 및 코딩 툴에 대한 적어도 하나의 코딩 파라미터를 제공하는 제1 유형의 컨테이너의 비트스트림에서의 존재가 인가되는지의 여부를 나타내는 제1 정보의 함수로서 비디오 시퀀스의 이미지의 샘플들의 블록의 인코딩을 적응시키는 단계를 포함한다.

일 실시예에서, 제1 정보는 비트스트림에 인코딩된다.

일 실시예에서, 인코딩을 적응시키는 단계는, 컨테이너의 존재가 인가되지 않은 경우, 코딩 툴들의 목록으로부터, 현재 블록을 인코딩하기 위해 고려되는 코딩 툴을 제거하는 단계를 포함한다.

일 실시예에서, 인코딩을 적응시키는 단계는, 코딩 툴의 사용이 현재 블록을 인코딩하기 위해 인가되는 경우, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너 내의 적어도 하나의 코딩 파라미터를 인코딩하는 단계를 포함한다.

제3 태양에서, 본 실시예들 중 하나 이상은 디코딩을 위한 디바이스를 제공하며, 본 디바이스는, 인코딩된 비디오 시퀀스를 나타내는 비트스트림을 획득하는 것; 적어도 하나의 코딩 파라미터를 제공하는 제1 유형의 컨테이너가 비트스트림에 부재하는지의 여부를 나타내는 제1 정보를 획득하는 것; 상기 적어도 하나의 코딩 파라미터를 사용하는 코딩 툴이 비디오 시퀀스의 이미지의 샘플들의 현재 블록에 대해 활성화되는지의 여부를 나타내는 제1 신택스 요소의 값을 체크하는 것; 및 제2 신택스 요소가 코딩 툴의 활성화를 나타낼 때 컨테이너의 부재의 경우에 현재 블록의 디코딩을 적응시키는 것을 위해 적응된 전자 회로부를 포함한다.

일 실시예에서, 현재 블록의 디코딩을 적응시키는 것은 비트스트림의 부적합성을 나타내는 제2 정보를 출력하는 것을 포함한다.

일 실시예에서, 현재 블록의 디코딩을 적응시키는 것은 현재 블록을 디코딩하기 위한 코딩 툴을 비활성화시키는 것을 포함한다.

일 실시예에서, 디코딩을 적응시키는 것은, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너로부터 적어도 하나의 파라미터를 획득하고 획득된 파라미터로 코딩 툴을 적용하는 현재 블록을 디코딩하는 것을 포함한다.

제4 태양에서, 본 실시예들 중 하나 이상은 인코딩을 위한 디바이스를 제공하며, 본 디바이스는 비트스트림에 인코딩할 비디오 시퀀스를 획득하는 것; 코딩 툴에 대한 적어도 하나의 코딩 파라미터를 제공하는 제1 유형의 컨테이너의 비트스트림에서의 존재가 인가되는지의 여부를 나타내는 제1 정보의 함수로서 비디오 시퀀스의 이미지의 샘플들의 블록의 인코딩을 적응시키는 것을 위해 적응된 전자 회로부를 포함한다.

일 실시예에서, 제1 정보는 비트스트림에 인코딩된다.

일 실시예에서, 인코딩을 적응시키는 것은, 컨테이너의 존재가 인가되지 않은 경우, 코딩 툴들의 목록으로부터, 현재 블록을 인코딩하기 위해 고려되는 코딩 툴을 제거하는 것을 포함한다.

일 실시예에서, 인코딩을 적응시키는 것은, 코딩 툴의 사용이 현재 블록을 인코딩하기 위해 인가되는 경우, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너 내의 적어도 하나의 코딩 파라미터를 인코딩하는 것을 포함한다.

제5 태양에서, 본 실시예들 중 하나 이상은 제2 태양에 따른 인코딩을 위한 방법에 따라, 또는 제4 태양에 따른 인코딩을 위한 디바이스에 의해 생성된 데이터를 포함하는 신호를 제공한다.

제6 태양에서, 본 실시예들 중 하나 이상은 제1 또는 제2 태양에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램을 제공한다.

제7 태양에서, 본 실시예들 중 하나 이상은 제1 또는 제2 태양에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 저장하는 정보 저장 수단을 제공한다.

도 1은 오리지널 비디오의 픽셀들의 이미지에 의해 경험된 파티셔닝의 일례를 도시한다.
도 2는 인코딩 모듈에 의해 실행되는 비디오 스트림을 인코딩하기 위한 방법을 개략적으로 도시한다.
도 3은 인코딩된 비디오 스트림(즉, 비트스트림)을 디코딩하기 위한 방법을 개략적으로 도시한다.
도 4a는 다양한 태양들 및 실시예들이 구현되는 인코딩 모듈 또는 디코딩 모듈을 구현할 수 있는 프로세싱 모듈의 하드웨어 아키텍처의 일례를 개략적으로 도시한다.
도 4b는 다양한 태양들 및 실시예들이 구현되는 시스템의 일례의 블록도를 도시한다.
도 5는 APS가 디코더 측에서 이용가능하지 않을 때 디코딩 프로세스를 적응시키기 위한 솔루션을 개략적으로 도시한다.
도 6은 APS가 사용될 수 없을 때 인코딩 프로세스를 적응시키기 위한 솔루션을 개략적으로 도시한다.

하기의 설명에서, 일부 실시예들은 VVC의 맥락에서 또는 HEVC의 맥락에서 개발된 툴들을 사용한다. 그러나, 이러한 실시예들은 VVC 또는 HEVC에 대응하는 비디오 코딩/디코딩 방법으로 제한되지 않고, 다른 비디오 코딩/디코딩 방법들에 적용되지만, 또한, 이미지가 다른 이미지로부터 예측되는 임의의 방법에도 적용된다.

도 1은 오리지널 비디오(10)의 샘플들(11)의 이미지에 의해 경험된 파티셔닝의 일례를 도시한다. 여기서, 샘플은 3개의 성분들, 즉 루미넌스 성분 및 2개의 크로미넌스 성분들로 구성된다고 간주된다. 그 경우, 샘플은 픽셀에 대응한다. 그러나, 하기의 실시예들은 다른 수의 성분들을 포함하는 샘플들, 예를 들어 샘플들이 하나의 성분을 포함하는 회색 레벨 샘플들로 구성된 이미지들, 또는 3개의 컬러 성분들 및 투명도 성분 및/또는 깊이 성분을 포함하는 샘플들로 구성된 이미지들에 적응된다. 하기의 실시예들은 이미지의 하나의 성분에 적응된다. 그 경우, 샘플은 하나의 성분의 값에 대응한다.

이미지는 복수의 코딩 엔티티들로 분할된다. 첫째, 도 1에서 참조번호 13에 의해 표현되는 바와 같이, 이미지는 코딩 트리 단위(coding tree unit, CTU)들로 불리는 블록들의 그리드로 분할된다. CTU는 크로미넌스 샘플들의 2개의 대응하는 블록들과 함께 N×N 블록의 루미넌스 샘플들로 이루어진다. N은 대체적으로, 예를 들어, "128"의 최대 값을 갖는 2의 거듭제곱이다. 둘째, 이미지는 CTU의 하나 이상의 그룹들로 분할된다. 예를 들어, 그것은 하나 이상의 타일 행들 및 타일 열들로 분할될 수 있으며, 타일은 이미지의 직사각형 영역을 커버하는 CTU의 시퀀스이다. 일부 경우들에 있어서, 타일은 하나 이상의 브릭(brick)들로 분할될 수 있으며, 이들 각각은 타일 내의 CTU의 적어도 하나의 행으로 이루어진다. 타일들 및 브릭들의 개념을 넘어, 슬라이스로 불리는 다른 인코딩 엔티티가 존재하는데, 이는 이미지의 적어도 하나의 타일 또는 타일의 적어도 하나의 브릭을 포함할 수 있다.

도 1의 예에서, 참조번호 12에 의해 표현되는 바와 같이, 이미지(11)는 3개의 슬라이스들 S1, S2 및 S3으로 분할되며, 각각은 복수의 타일들(표현되지 않음)을 포함한다.

도 1에서 참조번호 14에 의해 표현된 바와 같이, CTU는 코딩 단위(coding unit, CU)들로 불리는 하나 이상의 서브-블록들의 계층구조적 트리의 형태로 파티셔닝될 수 있다. CTU는 계층구조적 트리의 루트(즉, 부모 노드)이고, 복수의 CU(즉, 자식 노드들)로 파티셔닝될 수 있다. 각각의 CU는 그것이 더 작은 CU로 추가로 파티셔닝되지 않은 경우에 계층구조적 트리의 리프가 되거나, 또는 그것이 추가로 파티셔닝되는 경우에 더 작은 CU(즉, 자식 노드들)의 부모 노드가 된다. 예를 들어 사진 트리, 이진 트리 및 삼진 트리를 포함하는 여러 유형들의 계층구조적 트리들이 적용될 수 있다. 사진 트리에서, CTU(각각, CU)는 동일한 크기들의 "4"개의 정사각형 CU로 파티셔닝될 수 있다(즉, 그의 부모 노드일 수 있음). 이진 트리에서, CTU(각각, CU)는 동일한 크기들의 "2"개의 직사각형 CU로 수평으로 또는 수직으로 파티셔닝될 수 있다. 삼진 트리에서, CTU(각각, CU)는 "3"개의 직사각형 CU로 수평으로 또는 수직으로 파티셔닝될 수 있다. 예를 들어, 높이 N 및 폭 M의 CU는 높이 N(각각, N/4) 및 폭 M/4(각각, M)의 제1 CU, 높이 N(각각, N/2) 및 폭 M/2(각각, M)의 제2 CU, 및 높이 N(각각, N/4) 및 폭 M/4(각각, M)의 제3 CU로 수직으로(각각 수평으로) 파티셔닝된다.

도 1의 예에서, CTU(14)는 먼저 사진 트리 유형 파티셔닝을 사용하여 "4"개의 정사각형 CU로 파티셔닝된다. 상부 좌측 CU는, 그것이 추가로 파티셔닝되지 않기 때문에, 즉 그것이 임의의 다른 CU의 부모 노드가 아니기 때문에 계층구조적 트리의 리프이다. 상부 우측 CU는 사진 트리 유형 파티셔닝을 다시 사용하여 "4"개의 더 작은 정사각형 CU로 추가로 파티셔닝된다. 하단 우측 CU는 이진 트리 유형 파티셔닝을 사용하여 "2"개의 직사각형 CU로 수직으로 파티셔닝된다. 하단 좌측 CU는 삼진 트리 유형 파티셔닝을 사용하여 "3"개의 직사각형 CU로 수직으로 파티셔닝된다.

이미지의 코딩 동안, 파티셔닝은 적응적이며, 각각의 CTU는 CTU 기준의 압축 효율을 최적화하기 위해 파티셔닝된다.

일부 압축 방법에는 예측 단위(prediction unit, PU) 및 변환 단위(transform unit, TU)의 개념들이 나타났다. 그 경우, 예측(즉, PU) 및 변환(즉, TU)에 사용되는 코딩 엔티티는 CU의 세분일 수 있다. 예를 들어, 도 1에 표현된 바와 같이, 크기 2N×2N의 CU는 크기 N×2N 또는 크기 2N×N의 PU(1411)로 분할될 수 있다. 또한, 상기 CU는 크기 N×N의 "4"개의 TU(1412)로 또는 크기(N/2)×(N/2)의 "16"개의 TU로 분할될 수 있다.

본 출원에서, 용어 "블록" 또는 "이미지 블록" 또는 "서브-블록"은 CTU, CU, PU 및 TU 중 어느 하나를 지칭하는 데 사용될 수 있다. 덧붙여, 용어 "블록" 또는 "이미지 블록"은 MPEG-4/AVC에서 또는 다른 비디오 코딩 표준들에서 특정된 바와 같이 매크로블록, 파티션, 및 서브-블록으로 지칭하기 위해, 그리고 보다 일반적으로, 수많은 크기들의 샘플들의 어레이를 지칭하기 위해 사용될 수 있다.

본 출원에서, "재구성된" 및 "디코딩된"이라는 용어들은 상호교환가능하게 사용될 수 있으며, "픽셀" 및 "샘플"이라는 용어들은 상호교환가능하게 사용될 수 있고, "이미지", "픽처", "서브-픽처", "슬라이스" 및 "프레임"이라는 용어들은 상호교환가능하게 사용될 수 있다.

도 2는 인코딩 모듈에 의해 실행되는 비디오 스트림을 인코딩하기 위한 방법을 개략적으로 도시한다. 인코딩을 위한 이러한 방법의 변형들이 고려되지만, 도 2의 인코딩하기 위한 방법은 모든 예상되는 변형들을 기술하지 않으면서 명확성을 위해 후술된다.

현재 오리지널 이미지(201)의 인코딩은 도 1과 관련하여 기술된 바와 같이, 단계(202) 동안 현재 오리지널 이미지(201)의 파티셔닝으로 시작된다. 따라서, 현재 이미지(201)는 CTU, CU, PU, TU 등으로 파티셔닝된다. 각각의 블록에 대해, 인코딩 모듈은 인트라 예측과 인터 예측 사이의 코딩 모드를 결정한다.

단계(203)에 의해 표현되는 인트라 예측은, 인트라 예측 방법에 따라, 코딩될 현재 블록의 인과적 근접지(causal vicinity)에 위치된 재구성된 블록들의 샘플들로부터 도출된 예측 블록으로부터 현재 블록의 샘플들을 예측하는 것으로 이루어진다. 인트라 예측의 결과는 근접지 내의의 블록들의 어느 샘플들을 사용할지를 나타내는 예측 방향, 및 현재 블록과 예측 블록 사이의 차이의 계산에 기인한 잔차 블록이다.

현재 이미지에 선행하거나 후행하는 이미지 ― 이러한 이미지는 참조 이미지로 지칭됨 ― 의 심플들의 블록 ― 참조 블록으로 지칭됨 ― 으로부터 현재 블록의 샘플들을 예측하는 것으로 이루어진다. 인터 예측 방법에 따른 현재 블록의 코딩 동안, 유사도 기준에 따라, 현재 블록에 가장 가까운 참조 이미지의 블록이 모션 추정 단계(204)에 의해 결정된다. 단계(204) 동안, 참조 이미지 내의 참조 블록의 포지션을 나타내는 모션 벡터가 결정된다. 상기 모션 벡터는, 잔차 블록이 계산되는 중인 모션 보상 단계(205) 동안 현재 블록과 참조 블록 사이의 차이의 형태로 사용된다.

제1 비디오 압축 표준들에서, 전술된 단방향 인터 예측 모드는 이용가능한 유일한 인터 모드였다. 비디오 압축 표준들이 진화됨에 따라, 인터 모드들의 계열은 유의하게 성장하였고, 이제 많은 상이한 인터 모드들을 포함한다.

선택 단계(206) 동안, 테스트되는 예측 모드들(인트라 예측 모드들, 인터 예측 모드들) 중에서 레이트/왜곡 기준(즉, RDO 기준)에 따라 압축 성능들을 최적화시키는 예측 모드가 인코딩 모듈에 의해 선택된다.

예측 모드가 선택될 때, 잔차 블록은 단계(207) 동안 변환되고 단계(209) 동안 양자화된다. 양자화 동안, 변환된 도메인에서, 변환된 계수들은 양자화 파라미터 외에도 스케일링 행렬에 의해 가중된다. 스케일링 행렬은 다른 주파수들을 희생하고 일부 주파수들을 선호하는 것을 허용하는 코딩 툴이다. 대체적으로, 낮은 주파수들이 선호된다. 일부 비디오 압축 방법들은 디폴트 스케일링 행렬 대신에 사용자-정의 스케일링 행렬을 적용하는 것을 허용한다. 그 경우, 스케일링 행렬의 파라미터들은 디코더로 송신될 필요가 있다. 일부 구현예에서, 비-디폴트 스케일링 행렬의 파라미터들은 시그널링 툴, 예컨대 시그널화 컨테이너(즉, NAL(Network Abstraction layer) 유닛)를 사용하여 특정된다. 일부 구현예들에서, 스케일링 행렬 파라미터들을 시그널링하는 데 사용되는 NAL 유닛은 적응 파라미터 세트(APS)로 불린다.

인코딩 모듈은 변환을 스킵할 수 있고, 변환되지 않은 잔차 신호에 직접 양자화를 적용할 수 있다는 것에 주목한다.

현재 블록이 인트라 예측 모드에 따라 코딩될 때, 예측 방향 및 변환되고 양자화된 잔차 블록이 단계(210) 동안 엔트로피 인코더에 의해 인코딩된다.

현재 블록이 인터 예측 모드에 따라 인코딩될 때, 이러한 인터 예측 모드와 연관된 모션 데이터가 단계(208)에서 코딩된다.

대체적으로, 각각 AMVP(Adaptive Motion Vector Prediction) 및 병합으로 불리는 2개의 모드들이 모션 데이터를 인코딩하는 데 사용될 수 있다.

AMVP는 기본적으로, 현재 블록을 예측하는 데 사용되는 참조 이미지(들), 모션 벡터 예측자 인덱스, 및 모션 벡터 차이(모션 벡터 잔차로도 불림)를 시그널링하는 것으로 이루어진다.

병합 모드는 모션 데이터 예측자들의 목록에서 수집된 일부 모션 데이터의 인덱스를 시그널링하는 것으로 이루어진다. 목록은 "5" 또는 "7"개의 후보들로 이루어지고, 디코더 측 및 인코더 측에서 동일한 방식으로 구성된다. 따라서, 병합 모드는 병합 목록으로부터 취해진 일부 모션 데이터를 도출하는 것을 목표로 한다. 병합 목록은 전형적으로, 일부 공간적 및 시간적 이웃 블록들에 연관되어, 현재 블록이 프로세싱되고 있을 때 그들의 재구성된 상태에서 이용가능한 모션 데이터를 포함한다.

일단 예측되면, 모션 정보는 다음으로, 변환되고 양자화된 잔차 블록과 함께, 단계(210) 동안 엔트로피 인코더에 의해 인코딩된다. 인코딩 모듈은 변환 및 양자화 둘 모두를 바이패스할 수 있는데, 즉, 엔트로피 인코딩이 변환 또는 양자화 프로세스들의 적용 없이 잔차에 적용된다는 것에 주목한다. 엔트로피 인코딩의 결과는 인코딩된 비디오 스트림(즉, 비트스트림)(211)에 삽입된다.

엔트로피 인코더는 콘텍스트 적응적 이진 산술 코더(context adaptive binary arithmetic coder, CABAC)의 형태로 구현될 수 있다는 것에 주목한다. CABAC는 이진 심볼들을 인코딩하는데, 이는 복잡도를 낮게 유지시키고 임의의 심볼의 더 빈번하게 사용된 비트들에 대한 확률 모델링을 허용한다.

양자화 단계(209) 이후, 현재 블록은 그 블록에 대응하는 픽셀들이 미래의 예측들에 사용될 수 있도록 재구성된다. 이러한 재구성 단계는 예측 루프로도 지칭된다. 따라서, 역양자화가 단계(212) 동안 변환되고 양자화된 잔차 블록에 적용되고, 역변환이 단계(213) 동안 적용된다. 단계(214) 동안 획득된 현재 블록에 사용되는 예측 모드에 따르면, 현재 블록의 예측 블록이 재구성된다. 현재 블록이 인터 예측 모드에 따라 인코딩되는 경우, 인코딩 모듈은, 적절할 때, 단계(216) 동안, 현재 블록의 모션 정보를 사용하여 참조 블록에 대한 모션 보상을 적용한다. 현재 블록이 인트라 예측 모드에 따라 인코딩되는 경우, 단계(215) 동안, 현재 블록에 대응하는 예측 방향은 현재 블록의 참조 블록을 재구성하기 위해 사용된다. 참조 블록 및 재구성된 잔차 블록은 재구성된 현재 블록을 획득하기 위해 추가된다.

재구성 이후, 단계(217) 동안, 인코딩 아티팩트들을 감소시키도록 의도된 인-루프 포스트-필터링이, 재구성된 블록에 적용된다. 이러한 포스트-필터링은 인-루프 포스트-필터링으로 불리는데, 이는 이러한 포스트-필터링이 예측 루프에서 발생하여, 디코더와 동일한 참조 이미지들을 인코더에서 획득하고 이에 따라 인코딩 프로세스와 디코딩 프로세스 사이의 드리프트를 피하기 때문이다. 예를 들어, 인-루프 포스트-필터링은 디블록킹 필터링, SAO(sample adaptive offset) 필터링, 및 블록 기반 필터 적응을 갖는 적응적 루프 필터링(Adaptive Loop Filtering, ALF)을 포함한다.

ALF에서, 루마 성분에 대해, 로컬 구배들의 방향 및 활성에 기초하여, 이미지의 각각의 4×4 블록에 대해 복수의 필터들 중 하나가 선택된다. 필터 선택은 4×4 블록들의 분류에 기초한다. ALF 필터 파라미터들은 디코더로 송신될 필요가 있다. 일부 구현예에서, ALF 필터 파라미터들은 적응 파라미터 세트(APS)에서 시그널링된다.

인-루프 디블록킹 필터의 활성화 또는 비활성화를 나타내는 그리고 활성화될 때 상기 인-루프 디블록킹 필터의 특성들을 나타내는 파라미터들이 엔트로피 코딩 단계(210) 동안 인코딩된 비디오 스트림(211)에 도입된다.

최종 세대 비디오 압축 방법에서 나타난 새로운 코딩 툴은 인-루프 포스트-필터링 전에 새로운 프로세싱 블록을 추가하였다. 크로마 스케일링을 이용한 루마 맵핑(LMCS)으로 불리는 이러한 코딩 툴은 2개의 주요 구성요소들을 가지며, 적응적 구간별 선형 모델들에 기초한 루마 성분의 인-루프 맵핑; 크로마 성분들의 경우에는, 루마-의존적 크로마 잔차 스케일링이 적용된다. 루마 성분의 인-루프 맵핑은 압축 효율을 개선하기 위해 동적 범위에 걸쳐 코드워드들을 재분배함으로써 입력 신호의 동적 범위를 조정한다. 크로마 잔차 스케일링은 루마 신호와 그의 대응하는 크로마 신호들 사이의 상호작용을 보상하도록 설계된다. LMCS의 파라미터들은 디코더로 송신될 필요가 있다. 일부 구현예에서, LMCS의 파라미터들은 적응 파라미터 세트(APS)에서 시그널링된다.

최종 세대 비디오 압축 방법에 나타난 또 다른 새로운 코딩 툴은 점진적 디코딩 리프레시(Gradual Decoding Refresh, GDR)로 불린다. GDR은 하나의 부분이 예측 기준으로서 이용가능하지 않은 재구성된 이미지들의 가상 경계들을 제공한다. GDR이 이미지에 대해 활성화될 때, 그의 NAL 유닛 유형은 GDR_NUT로서 시그널링된다.

블록이 재구성될 때, 그것은 단계(218) 동안, 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(219)에 저장되는 재구성된 이미지에 삽입된다. 이와 같이 저장된 재구성된 이미지들은 코딩될 다른 이미지들에 대한 참조 이미지들로서의 역할을 할 수 있다.

도 3은 도 2와 관련하여 기술된 방법에 따라 인코딩된, 인코딩된 비디오 스트림(즉, 비트스트림)(211)을 디코딩하기 위한 방법을 개략적으로 도시한다. 디코딩을 위한 상기 방법은 디코딩 모듈에 의해 실행된다. 디코딩을 위한 이러한 방법의 변형들이 고려되지만, 도 3의 디코딩하기 위한 방법은 모든 예상되는 변형들을 기술하지 않으면서 명확성을 위해 후술된다.

디코딩은 블록별로 행해진다. 현재 블록의 경우, 그것은 단계(310) 동안 현재 블록의 엔트로피 디코딩으로 시작한다. 엔트로피 디코딩은 현재 블록의 예측 모드를 획득할 수 있게 한다.

현재 블록이 인트라 예측 모드에 따라 인코딩되었다면, 엔트로피 디코딩은 인트라 예측 방향 및 잔차 블록을 나타내는 정보를 획득할 수 있게 한다.

현재 블록이 인터 예측 모드에 따라 인코딩되었다면, 엔트로피 디코딩은 모션 데이터 및 잔차 블록을 나타내는 정보 획득할 수 있게 한다. 적절할 때, 단계(308) 동안, 모션 데이터는 AMVP 또는 병합 모드에 따라 현재 블록에 대해 재구성된다. 병합 모드에서, 엔트로피 디코딩에 의해 획득된 모션 데이터는 모션 벡터 예측자 후보들의 목록 내의 인덱스를 포함한다. 디코딩 모듈은 인코딩 모듈과 동일한 프로세스를 적용하여, 정규 병합 모드 및 서브-블록 병합 모드에 대한 후보들의 목록을 구성한다. 재구성된 목록 및 인덱스에 의해, 디코딩 모듈은 블록의 모션 벡터를 예측하는 데 사용되는 모션 벡터를 회수할 수 있다.

디코딩을 위한 방법은 인코딩을 위한 방법의 단계들(212, 213, 215, 216, 217)과 각각 동일한 모든 점들에 있어서 단계들(312, 313, 315, 316, 317)을 포함한다. 인코딩 모듈 레벨에서, 단계(214)는 레이트 왜곡 기준에 따라 각각의 모드를 평가하고 최상의 모드를 선택하는 모드 선택 프로세스를 포함하는 반면, 단계(314)는 비트스트림(211)에서 선택된 모드를 나타내는 정보를 판독하는 것만으로 이루어진다. 디코딩된 블록들은 디코딩된 이미지들에 저장되고, 디코딩된 이미지들은 단계(318)에서 DPB(319)에 저장된다. 디코딩 모듈이 주어진 이미지를 디코딩할 때, DPB(319)에 저장된 이미지들은 상기 주어진 이미지의 인코딩 동안 인코딩 모듈에 의해 DPB(219)에 저장된 이미지들과 동일하다. 디코딩된 이미지는 또한, 디코딩 모듈에 의해 출력되어, 예를 들어 디스플레이될 수 있다.

ALF, LMCS를 사용하거나 비-디폴트 스케일링 행렬을 사용하여 인코딩된 현재 블록의 특정 경우에, 디코더는 ALF, LMCS 및 비-디폴트 스케일링 행렬 파라미터들을 획득할 필요가 있다. 상기에서 언급된 바와 같이, ALF, LMCS 및 비-디폴트 스케일링 행렬 파라미터들이 APS에 의해 제공된다. 그러나, 일부 상황들에서, 디코더에 의해 수신된 비트스트림이 APS를 포함하지 않을 수 있지만, ALF 및/또는 LMCS 및/또는 비-디폴트 스케일링 행렬의 사용은 현재 블록에 대해 활성화된다. 그러한 상황들은 APS가 송신 동안 손실될 때 발생할 수 있다. 그러한 상황들은, 비트스트림이 APS 없이 기본적으로 인코딩되었을 때에도 발생할 수 있다. 특히, 일부 비디오 압축 방법들은, 인코딩된 비디오 스트림이 어떠한 APS도 포함하지 않음을 특정할 수 있게 한다. 일부 경우들에 있어서, 이러한 특징은, 예를 들어 no_aps_constraint_flag로 불리는 플래그에 의해 시퀀스 헤더 레벨에서, 인코딩된 비디오 스트림에서 특정된다. 플래그 no_aps_constraint_flag가 1과 동일한 경우, 인코딩된 비디오 스트림에서 APS의 존재는 인가되지 않는다. 이와 달리, 플래그 no_aps_constraint_flag가 0과 동일한 경우, 인코딩된 비디오 스트림에서 APS의 존재에 대한 제약은 없다. 플래그 no_aps_constraint_flag는, 예를 들어, general_constraint_info()로 불리는 신택스 요소에 인코딩되며, 신택스 요소 general_constraint_info()는 신택스 요소 profile_tier_level()에 인코딩되고, 신택스 요소 profile_tier_level()은 신호 컨테이너 DPS(decoding Parameter Set), VPS(Video Parameter Set), 또는 SPS(Sequence Parameter Set)에 임베드된다. 후술되는 실시예들은, APS에 의해 제공되는 파라미터들을 참조하는 코딩 툴들이 활성화되어 있는 동안 APS가 비트스트림에서 부재할 때 인코더 또는 디코더의 일관적인 거동을 허용하는 솔루션들을 제안한다.

플래그 no_aps_constraint_flag 와 유사하게, 유형 GDR_NUT의 NAL 유닛의 사용을 불허하기 위한 다른 제약 플래그가 존재한다. 이러한 플래그는 no_gdr_constraint_flag로 명명된다. GDR 자체를 비활성화하는 대신에, 그것은 GDR NAL 유닛들의 사용을 불허한다.

도 4a는 상이한 태양들 및 실시예들에 따라 수정된 도 2의 인코딩을 위한 방법 및 도 3의 디코딩을 위한 방법을 각각 구현할 수 있는 인코딩 모듈 또는 디코딩 모듈을 구현할 수 있는 프로세싱 모듈(40)의 하드웨어 아키텍처의 일례를 개략적으로 도시한다. 프로세싱 모듈(40)은, 통신 버스(405)에 의해 접속되는, 비제한적인 예들로서, 하나 이상의 마이크로프로세서들, 범용 컴퓨터들, 특수 목적 컴퓨터들, 및 멀티코어 아키텍처에 기초한 프로세서들을 포괄하는 프로세서 또는 CPU(central processing unit)(400); 랜덤 액세스 메모리(random access memory, RAM)(401); 판독 전용 메모리(read only memory, ROM)(402); 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 판독 전용 메모리(ROM), 프로그래밍가능 판독 적용 메모리(Programmable Read-Only Memory, PROM), 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 플래시, 자기 디스크 드라이브, 및/또는 광학 디스크 드라이브를 포함하지만 이들로 제한되지 않는 비휘발성 메모리 및/또는 휘발성 메모리, 또는 저장 매체 판독기, 예컨대 SD(secure digital) 카드 판독기 및/또는 하드 디스크 드라이브(hard disc drive, HDD) 및/또는 네트워크 액세스가능 저장 디바이스를 포함할 수 있는 저장 유닛(403); 및 다른 모듈들, 디바이스들, 또는 장비와 데이터를 교환하기 위한 적어도 하나의 통신 인터페이스(404)를 포함한다. 통신 인터페이스(404)는 통신 채널을 통해 데이터를 송신하고 수신하도록 구성된 송수신기를 포함할 수 있지만, 이로 제한되지 않는다. 통신 인터페이스(404)는 모뎀 또는 네트워크 카드를 포함할 수 있지만, 이로 제한되지 않는다.

프로세싱 모듈(40)이 디코딩 모듈을 구현하는 경우, 통신 인터페이스(404)는, 예를 들어, 프로세싱 모듈(40)이 인코딩된 비디오 스트림들을 수신하고 디코딩된 비디오 스트림을 제공할 수 있게 한다. 프로세싱 모듈(40)이 인코딩 모듈을 구현하는 경우, 통신 인터페이스(404)는, 예를 들어, 프로세싱 모듈(40)이 인코딩할 오리지널 이미지 데이터를 수신하고 인코딩된 비디오 스트림을 제공할 수 있게 한다.

프로세서(400)는 ROM(402)으로부터, 외부 메모리(도시되지 않음)로부터, 저장 매체로부터, 또는 통신 네트워크로부터 RAM(401)으로 로딩된 명령어들을 실행할 수 있다. 프로세싱 모듈(40)에 전력이 공급될 때, 프로세서(400)는 RAM(401)으로부터의 명령어들을 판독하고 이들을 실행할 수 있다. 이러한 명령어들은, 예를 들어, 도 3과 관련하여 기술된 디코딩 방법 또는 도 2와 관련하여 기술된 인코딩 방법의 프로세서(400)에 의한 구현을 야기하는 컴퓨터 프로그램을 형성하고, 디코딩 및 인코딩 방법들은 본 문서에서 후술되는 다양한 태양들 및 실시예들을 포함한다.

상기 인코딩 또는 디코딩 방법들의 알고리즘들 및 단계들의 전부 또는 일부는 프로그래밍가능 기계, 예컨대 DSP(digital signal processor) 또는 마이크로제어기에 의한 명령어들의 세트의 실행에 의해 소프트웨어 형태로 구현될 수 있거나, 또는 기계 또는 전용 컴포넌트, 예컨대 FPGA(field-programmable gate array) 또는 ASIC(application-specific integrated circuit)에 의해 하드웨어 형태로 구현될 수 있다.

도 4b는 다양한 태양들 및 실시예들이 구현되는 시스템(4)의 일례의 블록도를 도시한다. 시스템(4)은 후술되는 다양한 컴포넌트들을 포함하는 디바이스로서 구현될 수 있고, 본 문서에 기술된 태양들 및 실시예들 중 하나 이상을 수행하도록 구성된다. 그러한 디바이스들의 예들은, 다양한 전자 디바이스들, 예컨대 개인용 컴퓨터, 랩톱 컴퓨터, 스마트폰, 태블릿 컴퓨터, 디지털 멀티미디어 셋톱박스, 디지털 TV 수신기, 개인 비디오 기록 시스템, 커넥티드 가전, 및 서버를 포함하지만, 이들로 제한되지 않는다. 시스템(4)의 요소들은 단일 집적 회로(IC), 다수의 IC들, 및/또는 별개의 컴포넌트들에서, 단독으로 또는 조합되어 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(4)은 디코딩 모듈 또는 인코딩 모듈을 구현하는 하나의 프로세싱 모듈(40)을 포함한다. 그러나, 다른 실시예에서, 시스템(4)은 디코딩 모듈을 구현하는 제1 프로세싱 모듈(40) 및 인코딩 모듈을 구현하는 제2 프로세싱 모듈(40), 또는 디코딩 모듈 및 인코딩 모듈을 구현하는 하나의 프로세싱 모듈(40)을 포함할 수 있다. 다양한 실시예들에서, 시스템(40)은 예를 들어 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해 하나 이상의 다른 시스템들, 또는 다른 전자 디바이스들에 통신가능하게 결합된다. 다양한 실시예들에서, 시스템(4)은 본 문헌에 기술된 태양들 중 하나 이상을 구현하도록 구성된다.

시스템(4)은 인코딩 모듈 또는 디코딩 모듈 중 하나 또는 둘 모두를 구현할 수 있는 적어도 하나의 프로세싱 모듈(40)을 포함한다.

프로세싱 모듈(40)에 대한 입력은 블록(42)에 나타낸 바와 같은 다양한 입력 모듈들을 통해 제공될 수 있다. 그러한 입력 모듈들은, (i) 예를 들어 브로드캐스터(broadcaster)에 의해 공중으로(over the air) 송신된 무선 주파수(radio frequency, RF) 신호를 수신하는 무선 주파수(RF) 모듈, (ii) 컴포넌트(COMP) 입력 모듈(또는 COMP 입력 모듈들의 세트), (iii) 범용 직렬 버스(Universal Serial Bus, USB) 입력 모듈, 및/또는 (iv) 고화질 멀티미디어 인터페이스(High Definition Multimedia Interface, HDMI) 입력 모듈을 포함하지만, 이들로 제한되지 않는다. 도 4b에 도시되지 않은 다른 예들은 복합 비디오(composite video)를 포함한다.

다양한 실시예들에서, 블록(42)의 입력 모듈들은 당업계에 알려진 바와 같은 연관된 각자의 입력 프로세싱 요소들을 갖는다. 예를 들어, RF 모듈은, (i) 원하는 주파수를 선택하는 것(신호를 선택하는 것, 신호를 주파수들의 대역으로 대역-제한하는 것으로도 지칭됨), (ii) 선택된 신호를 하향변환(down converting)하는 것, (iii) (예를 들어) 소정 실시예들에서 채널로 지칭될 수 있는 신호 주파수 대역을 선택하기 위해 주파수들의 더 좁은 대역으로 다시 대역-제한하는 것, (iv) 하향 변환되고 대역-제한된 신호를 복조하는 것, (v) 에러 정정을 수행하는 것, 및 (vi) 데이터 패킷들의 원하는 스트림을 선택하기 위해 역다중화하는 것에 적합한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 모듈은 이러한 기능들을 수행하기 위한 하나 이상의 요소들, 예를 들어 주파수 선택기들, 신호 선택기들, 대역-제한기들, 채널 선택기들, 필터들, 하향변환기들, 복조기들, 에러 정정기들, 및 역다중화기들을 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 기저대역 인근(near-baseband) 주파수)로 또는 기저대역으로 하향변환하는 것을 포함한, 다양한 이들 기능들을 수행하는 동조기를 포함할 수 있다. 하나의 셋톱 박스 실시예에서, RF 모듈 및 그의 연관된 입력 프로세싱 요소는 유선(예를 들어, 케이블) 매체를 통해 송신된 RF 신호를 수신하고, 원하는 주파수 대역에 대해 필터링, 하향변환, 및 다시 필터링함으로써 주파수 선택을 수행한다. 다양한 실시예들은 전술한(및 다른) 요소들의 순서를 재배열하고, 이들 요소들 중 일부를 제거하고/하거나 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다. 요소를 추가하는 것은, 예를 들어, 증폭기들 및 아날로그-디지털 변환기를 삽입하는 것과 같이, 기존 요소들 사이에 요소들을 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 모듈은 안테나를 포함한다.

추가적으로, USB 및/또는 HDMI 모듈들은 시스템(4)을 USB 및/또는 HDMI 접속부들을 통해 다른 전자 디바이스들에 접속하기 위한 각자의 인터페이스 프로세서들을 포함할 수 있다. 입력 프로세싱, 예를 들어, 리드 솔로몬(Reed-Solomon) 에러 정정의 다양한 태양들이, 예를 들어, 필요에 따라, 별개의 입력 프로세싱 IC 내에서 또는 프로세싱 모듈(40) 내에서 구현될 수 있다는 것이 이해되어야 한다. 유사하게, USB 또는 HDMI 인터페이스 프로세싱의 태양들이, 필요에 따라, 별개의 인터페이스 IC 내에서 또는 프로세싱 모듈(40) 내에서 구현될 수 있다. 복조된, 에러 정정된, 그리고 역다중화된 스트림이 프로세싱 모듈(40)에 제공된다.

시스템(4)의 다양한 요소들이 통합된 하우징 내에 제공될 수 있다. 통합된 하우징 내에서, 다양한 요소들은 적합한 접속 배열들, 예를 들어, IC간(I2C) 버스, 배선, 및 인쇄 회로 보드들을 포함하는, 본 기술분야에 알려진 바와 같은 내부 버스를 사용하여 상호접속되고, 그들 사이에서 데이터를 송신할 수 있다. 예를 들어, 시스템(4)에서, 프로세싱 모듈(40)은 버스(405)에 의해 상기 시스템(4)의 다른 요소들에 상호접속된다.

프로세싱 모듈(40)의 통신 인터페이스(404)는 시스템(4)이 통신 채널(41) 상에서 통신할 수 있게 한다. 통신 채널(41)은, 예를 들어 유선 및/또는 무선 매체 내에서 구현될 수 있다.

데이터는, 다양한 실시예들에서, Wi-Fi 네트워크, 예를 들어 IEEE 802.11(IEEE는 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers)를 지칭함)과 같은 무선 네트워크를 사용하여, 시스템(4)에 스트리밍되거나 또는 다른 방식으로 제공된다. 이들 실시예들의 Wi-Fi 신호는 Wi-Fi 통신들에 대해 적응된 통신 채널(41) 및 통신 인터페이스(404)를 통해 수신된다. 이들 실시예들의 통신 채널(41)은 전형적으로, 스트리밍 응용들 및 다른 OTT(over-the-top) 통신들을 허용하기 위한 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 접속된다. 다른 실시예들은 입력 블록(42)의 HDMI 접속을 통해 데이터를 전달하는 셋톱 박스를 사용하여 스트리밍된 데이터를 시스템(4)에 제공한다. 또 다른 실시예들은 입력 블록(42)의 RF 접속을 사용하여 스트리밍된 데이터를 시스템(4)에 제공한다. 전술한 바와 같이, 다양한 실시예들은 비-스트리밍 방식으로 데이터를 제공한다. 또한, 다양한 실시예들은 Wi-Fi 이외의 무선 네트워크들, 예를 들어 셀룰러 네트워크 또는 블루투스 네트워크를 사용한다.

시스템(4)은 디스플레이(46), 스피커들(47), 및 다른 주변 디바이스들(48)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다양한 실시예들의 디스플레이(46)는, 예를 들어, 터치스크린 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 커브드(curved) 디스플레이, 및/또는 폴더블(foldable) 디스플레이 중 하나 이상을 포함한다. 디스플레이(46)는 텔레비전, 태블릿, 랩톱, 휴대폰(모바일 폰), 또는 다른 디바이스들을 위한 것일 수 있다. 디스플레이(46)는 또한 (예를 들어, 스마트 폰에서와 같이) 다른 컴포넌트들과 통합될 수도 있고, 별개일 수도 있다(예를 들어, 랩톱을 위한 외부 모니터). 실시예들의 다양한 예들에서, 다른 주변 디바이스들(46)은 독립형 디지털 비디오 디스크(또는 디지털 다기능 디스크)(두 용어들 모두에 대해, DVR), 디스크 플레이어, 스테레오 시스템 및/또는 조명 시스템 중 하나 이상을 포함한다. 다양한 실시예들은 시스템(4)의 출력에 기초하여 기능을 제공하는 하나 이상의 주변 디바이스들(48)을 사용한다. 예를 들어, 디스크 플레이어는 시스템(4)의 출력을 재생하는 기능을 수행한다.

다양한 실시예들에서, 제어 신호들은, AV.Link, 소비자 전자제품 제어(Consumer Electronics Control, CEC)와 같은 시그널링, 또는 사용자 개입이 있거나 또는 개입 없이 디바이스 대 디바이스 제어를 가능하게 하는 다른 통신 프로토콜들을 사용하여 시스템(4)과 디스플레이(46), 스피커들(47), 또는 다른 주변 디바이스들(48) 사이에서 통신된다. 출력 디바이스들은 각자의 인터페이스들(43, 44, 45)을 통한 전용 접속들을 통해 시스템(4)에 통신가능하게 결합될 수 있다. 대안적으로, 출력 디바이스들은 통신 인터페이스(404)를 통해 통신 채널(41)을 사용하여 시스템(4)에 접속될 수 있다. 디스플레이(46) 및 스피커들(47)은 예를 들어, 텔레비전과 같은 전자 디바이스에서 시스템(4)의 다른 컴포넌트들과 단일 유닛으로 통합될 수 있다. 다양한 실시예들에서, 디스플레이 인터페이스(43)는, 예를 들어 타이밍 제어기(T Con) 칩과 같은 디스플레이 드라이버를 포함한다.

디스플레이(46) 및 스피커(47)는 대안적으로, 예를 들어, 입력(42)의 RF 모듈이 별개의 셋톱 박스의 일부인 경우, 다른 컴포넌트들 중 하나 이상과 별개일 수 있다. 디스플레이(46) 및 스피커들(47)이 외부 컴포넌트들인 다양한 실시예들에서, 출력 신호는 예를 들어 HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 접속들을 통해 제공될 수 있다.

다양한 구현예들이 디코딩을 수반한다. 본 출원에서 사용되는 바와 같이, "디코딩"은 예를 들어, 수신된 인코딩된 비디오 스트림에 대해 수행되어 디스플레이에 적합한 최종 출력을 생성하는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 이러한 프로세스들은 디코더에 의해 전형적으로 수행되는 프로세스들 중 하나 이상의 프로세스들, 예를 들어, 엔트로피 디코딩, 역양자화, 역변환, 및 예측을 포함한다. 다양한 실시예들에서, 그러한 프로세스들은 또한, 또는 대안적으로, 예를 들어, APS가 디코더에 이용가능하지 않은 동안 ALF 및/또는 LMCS 및/또는 비-디폴트 스케일링 행렬의 사용이 현재 블록에 대해 활성화될 때 APS가 비트스트림에 존재하는지의 여부를 결정하기 위해 또는 현재 블록의 디코딩을 적응하기 위해, 본 출원에 기술된 다양한 구현예들 또는 실시예들의 디코더에 의해 수행되는 프로세스들을 포함한다.

추가 예들로서, 일 실시예에서, "디코딩"은 인-루프 포스트-필터링(도 3의 단계(317)) 또는 역양자화(도 3의 단계(312))만을 지칭한다. 어구 "디코딩 프로세스"가 동작들의 서브세트를 구체적으로 나타내기 위한 것인지, 또는 일반적으로 보다 광의의 디코딩 프로세스를 나타내기 위한 것인지 여부는 특정 설명들의 맥락에 기초하여 명확할 것이며, 당업자에 의해 잘 이해될 것으로 여겨진다.

다양한 구현예들이 인코딩을 수반한다. "디코딩"에 관한 상기의 논의와 유사한 방식으로, 본 출원에서 사용된 바와 같은 "인코딩"은 인코딩된 비디오 스트림을 생성하기 위해, 예를 들어, 입력 시퀀스 상에서 수행된 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은, 전형적으로 인코더에 의해 수행되는 프로세스들, 예를 들어, 파티셔닝, 예측, 변환, 양자화, 인-루프 포스트-필터링 및 엔트로피 인코딩 중 하나 이상을 포함한다. 다양한 실시예들에서, 그러한 프로세스들은 또한, 또는 대안적으로, 예를 들어, 비트스트림에서의 APS의 존재 또는 부재의 함수에 블록의 인코딩을 적응시키기 위해, 본 출원에 기술된 다양한 구현예들 또는 실시예들의 인코더에 의해 수행되는 프로세스들을 포함한다.

추가 예들로서, 일 실시예에서, "인코딩"은 양자화 및 역양자화(도 2의 단계들(209, 212) 및 인-루프 포스트-필터링(도 2의 단계(217))을 지칭한다. 어구 "인코딩 프로세스"가 동작들의 서브세트를 구체적으로 나타내기 위한 것인지, 또는 일반적으로 보다 광의의 인코딩 프로세스를 나타내기 위한 것인지 여부는 특정 설명들의 맥락에 기초하여 명확할 것이며, 당업자에 의해 잘 이해될 것으로 여겨진다.

본 명세서에 사용된 바와 같은 신택스 요소 명칭들, 플래그 명칭들, 컨테이너 명칭들, 코딩 툴 명칭들은 설명적 용어들이라는 것에 주목한다. 이와 같이, 그들은 다른 신택스 요소, 플래그, 컨테이너, 또는 코딩 툴 명칭들의 사용을 배제하지 않는다.

도면이 흐름도로서 제시될 때, 그것은 또한 대응하는 장치의 블록도를 제공한다는 것을 이해해야 한다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 또한 대응하는 방법/프로세스의 흐름도를 제공한다는 것을 이해해야 한다.

다양한 실시예들은 레이트 왜곡 최적화를 지칭한다. 특히, 인코딩 프로세스 동안, 일반적으로, 레이트와 왜곡 사이의 균형 또는 절충이 고려된다. 레이트 왜곡 최적화는 일반적으로 레이트와 왜곡의 가중 합인 레이트 왜곡 함수를 최소화하는 것으로 공식화된다. 레이트 왜곡 최적화 문제를 해결하기 위한 상이한 접근법들이 있다. 예를 들어, 접근법들은 코딩 및 디코딩 후의 재구성된 신호의 그들의 코딩 비용 및 관련 왜곡의 완전한 평가와 함께, 모든 고려된 모드들 또는 코딩 파라미터 값들을 포함한, 모든 인코딩 옵션들의 광범위한 테스팅에 기초할 수 있다. 특히 재구성된 것이 아니라 예측 또는 예측 잔차 신호에 기초한 근사화된 왜곡의 계산에 의해 인코딩 복잡성을 감소시키기 위해, 더 빠른 접근법들이 또한 사용될 수 있다. 또한, 가능한 인코딩 옵션들 중 단지 일부에 대해서만 근사화된 왜곡을 사용하고, 다른 인코딩 옵션들에 대해서는 완전한 왜곡을 사용하는 것과 같이 이러한 두 가지 접근법들의 혼합이 사용될 수 있다. 다른 접근법들은 단지 가능한 인코딩 옵션들의 서브세트를 평가한다. 보다 일반적으로, 많은 접근법들은 최적화를 수행하기 위해 다양한 기술들 중 임의의 기술을 사용하지만, 최적화가 반드시 코딩 비용과 관련된 왜곡 둘 모두에 대한 완전한 평가이지는 않다.

본 명세서에 기술된 구현예들 및 태양들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수 있다. 구현예의 단일 형태의 맥락에서 논의된다 하더라도(예를 들어, 방법으로서만 논의됨), 논의된 특징들의 구현예는 다른 형태들(예를 들어, 장치 또는 프로그램)에서 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 프로세서에서 구현될 수 있으며, 이는, 예컨대 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는, 대체적으로 프로세싱 디바이스들을 지칭한다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 휴대폰들, 휴대용/개인 디지털 어시스턴트들("PDA들"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

"하나의 실시예" 또는 "일 실시예" 또는 "하나의 구현예" 또는 "일 구현예"뿐만 아니라 그의 다른 변형들에 대한 언급은, 실시예와 관련하여 기술된 특정 특징부, 구조, 특성 등이 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 본 출원 전반에 걸친 다양한 곳에서 나타나는 "하나의 실시예에서" 또는 "일 실시예에서" 또는 "하나의 구현예에서" 또는 "일 구현예에서"라는 문구뿐만 아니라 임의의 다른 변형예들의 출현들은 반드시 모두 동일한 실시예를 참조하는 것은 아니다.

또한, 본 출원은 다양한 정보들을 "결정하는 것"을 지칭할 수 있다. 정보를 결정하는 것은, 예를 들어 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 다른 정보(들)로부터 정보를 추론하는 것, 메모리로부터 정보를 회수하는 것, 또는 예를 들어 다른 디바이스, 모듈, 또는 사용자로부터 정보는 획득하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원은 다양한 정보들에 "액세스하는 것"을 지칭할 수 있다. 정보에 액세스하는 것은, 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 회수하는 것, 정보를 저장하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 정보를 추론하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원은 다양한 정보들을 "수신하는 것"을 지칭할 수 있다. 수신하는 것은 "액세스하는 것"과 마찬가지로 광의의 용어인 것으로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것, 또는 (예를 들어, 메모리로부터) 정보를 회수하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신"하는 것은 전형적으로, 예를 들어 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 정보를 추론하는 것, 또는 정보를 추정하는 것과 같은 동작들 동안, 하나의 방식으로 또는 다른 방식으로 수반된다.

다음의 "/", "및/또는", 및 "중 적어도 하나", "중 하나 이상" 중 임의의 것의 사용은, 예를 들어 "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나", "A 및 B 중 하나 이상"의 경우들에 있어서, 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 옵션들(A, B) 둘 모두의 선택을 포괄하도록 의도된다는 것이 이해될 것이다. 또 다른 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나", "A, B 및 C 중 하나 이상"의 경우들에서, 그러한 어구는 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 제3 열거된 옵션(C) 단독의 선택, 또는 제1 및 제2 열거된 옵션들(A 및 B) 단독의 선택, 또는 제1 및 제3 열거된 옵션들(A 및 C) 단독의 선택, 또는 제2 및 제3 열거된 옵션들(B 및 C) 단독의 선택, 또는 3개의 모든 옵션들(A, B 및 C)의 선택을 포괄하도록 의도된다. 이는, 본 명세서에 기술된 바와 같은 많은 항목들에 대해, 본 명세서 및 관련 분야의 당업자에게 명백한 바와 같이 확장될 수 있다.

또한, 본 명세서에 사용된 바와 같이, 용어 "신호"는 특히 대응하는 디코더에게 무언가를 나타내는 것을 지칭한다. 예를 들어, 소정 실시예들에서, 인코더는 ALF, LMCS 및 스케일링 행렬들과 관련된 신택스 요소들 또는 파라미터들을 시그널링한다. 이러한 방식으로, 일 실시예에서, 동일한 파라미터들이 인코더 측 및 디코더 측 둘 모두에서 사용된다. 따라서, 예를 들어, 인코더는 디코더가 동일한 특정 파라미터를 사용할 수 있도록 디코더에 특정 파라미터를 전송할 수 있다(명시적 시그널링). 반대로, 디코더가 이미 특정 파라미터뿐만 아니라 다른 것들을 갖는 경우, 시그널링은, 단순히 디코더가 특정 파라미터를 알고 선택하게 할 수 있도록, 전송 없이 사용될 수 있다(암시적 시그널링). 임의의 실제 함수들의 전송을 피함으로써, 다양한 실시예들에서 비트 절약이 실현된다. 시그널링은 다양한 방식들로 달성될 수 있음을 이해해야 한다. 예를 들어, 하나 이상의 신택스 요소들, 플래그들 등이 다양한 실시예들에서 대응하는 디코더에 정보를 시그널링하는 데 사용된다. 전술된 표현이 단어 "신호"의 동사 형태와 관련되지만, 단어 "신호"는 또한 명사로서 본 명세서에서 사용될 수 있다.

당업자에게 명백한 바와 같이, 구현예들은, 예를 들어 저장되거나 송신될 수 있는 정보를 전달하도록 포맷화된 다양한 신호들을 생성할 수 있다. 예를 들어, 정보는 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 인코딩된 비디오 스트림을 전달하도록 포맷화될 수 있다. 그러한 신호는, 예를 들어, 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷화될 수 있다. 포맷화는, 예를 들어, 인코딩된 비디오 스트림을 인코딩하는 것, 및 인코딩된 비디오 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

도 5는 APS가 디코더 측에서 이용가능하지 않을 때 디코딩 프로세스를 적응시키기 위한 솔루션을 개략적으로 도시한다.

도 5의 프로세스는 프로세싱 모듈(40)이 디코딩 모듈을 구현할 때 프로세싱 모듈(40)에 의해 실행된다.

단계(501)에서, 프로세싱 모듈(40)은 인코딩된 비디오 스트림(211)을 획득한다. 단계(501) 동안, 프로세싱 모듈(40)은 도 3에 의해 표현되는 디코딩 방법을 인코딩된 비디오 스트림(211)에 적용함으로써 디코딩 프로세스를 시작한다. 단계(501)의 종료 시, 프로세싱 모듈은 현재 블록을 디코딩할 준비가 된다.

단계(502)에서, 프로세싱 모듈(40)은 APS가 인코딩된 비디오 스트림에서 부재하는지의 여부를 나타내는 정보를 획득한다. 단계(502)의 제1 실시예에서, 프로세싱 모듈(40)은 인코딩된 비디오 스트림(211)에서의 APS의 존재가 인코딩된 비디오 스트림(211)으로부터 획득된 플래그 no_aps_constraint_flag로부터 인가되는지의 여부를 결정한다. 인코딩된 비디오 스트림에서의 APS의 존재가 인가되는 경우, 프로세싱 모듈(40)은 현재 블록에 대해 일반적인 디코딩 프로세스를 실행한다.

인코딩된 비디오 스트림(211)에서 APS가 이용가능하지 않은 경우, 단계(502) 다음에 단계(503)가 이어진다. 단계(502)의 제1 실시예에서, 플래그 no_aps_constraint_flag (no_aps_constraint_flag=1)에 따라, 인코딩된 비디오 스트림(211)에서의 APS의 존재가 인가되지 않을 때, APS는 인코딩된 비디오 스트림(211)에서 이용가능하지 않다.

단계(503)에서, 프로세싱 모듈(40)은 APS에 의해 제공된 적어도 하나의 코딩 파라미터를 사용하는 코딩 툴이 현재 블록에 대해 활성화되는지의 여부를 나타내는 신택스 요소의 값을 체크한다. 단계(503)의 제1 실시예에서, APS에 의해 제공된 적어도 하나의 코딩 파라미터를 사용하는 코딩 툴이 현재 블록에 대해 활성화되는지의 여부를 나타내는 신택스 요소는 플래그 sps_alf_enabled_flag, 플래그 sps_lmcs_enabled_flag 및 플래그 sps_scaling_list_enabled_flag 중 하나이다. 플래그 sps_alf_enabled_flag는 시퀀스 레벨(시퀀스 파라미터 세트(sequence Parameter Set, SPS))에서, 0과 동일할 때, 적응적 루프 필터가 디스에이블된다고 특정한다. 1과 동일한 sps _ alf _enabled_flag는 적응적 루프 필터가 인에이블된다고 특정한다. 플래그 sps _ lmcs _enabled_flag는 SPS 레벨에서, 1과 동일할 때, LMCS가 인코딩된 비디오 스트림에서 사용된다고 특정한다. 0과 동일한 sps_lmcs_enabled_flag는 LMCS가 인코딩된 비디오 스트림에서 사용되지 않는다고 특정한다. 플래그 sps_scaling_list_enabled_flag는 SPS 레벨에서, 1과 동일할 때, 비-디폴트 스케일링 행렬이 변환 계수들에 대한 스케일링 프로세스에 사용된다고 특정한다. 0과 동일한 sps _scaling_list_enabled_flag는 비-디폴트 스케일링 행렬이 변환 계수들에 대한 스케일링 프로세스에 사용되지 않는다고 특정한다.

GDR의 경우, gdr_enabled_flag로 불리는 신택스 요소는 SPS 레벨에서 시그널링되고, 0과 동일할 때 GDR을 비활성화시키는 것을 허용한다.

신택스 요소가, APS에 의해 제공된 적어도 하나의 코딩 파라미터를 사용하는 코딩 툴이 활성화된다는 것을 나타내지 않을 때, 단계(503) 다음에 단계(504)가 이어진다. 이와 달리, 적어도 하나의 신택스 요소가, APS에 의해 제공된 적어도 하나의 파라미터를 사용하는 코딩 툴이 활성화된다는 것을 나타내는 경우, 프로세싱 모듈(40)은 단계(505)에서 현재 블록의 디코딩을 적응시킨다. 단계(503)의 제1 실시예에서, 단계(505)는 플래그들 sps_alf_enabled_flag, sps_lmcs_enabled_flag 및 sps_scaling_list_enabled_flag 중 적어도 하나가 1과 동일할 때 실행된다.

단계(505)의 제1 실시예에서, 프로세싱 모듈(40)은 1과 동일할 때에도, 플래그들 sps_alf_enabled_flag, sps_lmcs_enabled_flag 및 sps_scaling_list_enabled_flag가 0과 동일하다고 간주한다. 그 경우, 디코딩 프로세스의 적응은 APS에 의해 제공된 적어도 하나의 파라미터를 사용하는 코딩 툴이 활성화된다는 것을 나타내는 각각의 신택스 요소의 값들을 무시하는 것에 있다.

단계(505)의 제2 실시예에서, APS가 이용가능하지 않고, APS에 의해 제공된 적어도 하나의 파라미터를 사용하는 코딩 툴이 활성화될 때, 프로세싱 모듈(40)은 부적합성(non-conformance) 정보를 출력한다. 부적합성 정보는, 예를 들어, 인코딩된 비디오 스트림(211)이 디코딩가능하지 않는다는 것을 나타내는 정보이다. 부적합성 정보는, 예를 들어, 이를 사용자에게 디스플레이하기 위해 디스플레이(46)에 출력된다.

단계(505)의 제3 실시예에서, APS가 이용가능하지 않고, APS에 의해 제공된 적어도 하나의 파라미터를 사용하는 코딩 툴이 활성화될 때, APS에서 상기 파라미터를 검색하는 대신, 프로세싱 모듈(40)은 적어도 하나의 제2 유형의 적어도 하나의 컨테이너로부터 APS에 의해 정상적으로 제공되는 각각의 파라미터를 획득한다. 그 경우, 프로세싱 모듈(40)은 획득된 파라미터(들)로 코딩 툴(ALF, LMCS, 비-디폴트 매트릭스의 사용)을 적용하는 현재 블록을 디코딩한다.

예를 들어, 단계(505)의 제3 실시예의 제1 변형예에서, ALF, LMCS 및 스케일링 행렬 파라미터들은 SPS 레벨에서 시그널링된다.

단계(505)의 제3 실시예의 그 제1 변형예에서, SPS 레벨에서의 신택스가 표 TAB1에 설명되어 있다:

[표 TAB1]

표 TAB1 내의 볼드체의 부분들은 단계(505)의 제3 실시예의 제1 변형예에 대해 정의된 신택스 요소들에 대응한다.

플래그들 sps_alf_parameters_in_sps_flag, sps_lmcs_parameters_in_sps_flag, sps_scaling_list_parameters_in_sps_flag의 시맨틱의 일례는 하기와 같다:

0과 동일한 sps _ alf _parameters_in_ sps _flag는 ALF 파라미터들이 SPS 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한 sps_alf_parameters_in_sps_flag는 ALF 파라미터들이 SPS 레벨에서 시그널링된다고 특정한다. 존재하지 않을 때, sps _ alf _parameters_in_ sps _flag의 값은 0인 것으로 추론된다.

0과 동일한 sps _ lmcs _parameters_in_ sps _flag는 LMCS 파라미터들이 SPS 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한 sps_lmcs_parameters_in_sps_flag는 LMCS 파라미터들이 SPS 레벨에서 시그널링된다고 특정한다. 존재하지 않을 때, sps_lmcs_parameters_in_sps_flag의 값은 0인 것으로 추론된다.

0과 동일한 sps _scaling_list_parameters_in_ sps _flag는 스케일링 행렬 파라미터들이 SPS 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한 sps_scaling_list_parameters_in_sps_flag는 스케일링 행렬이 SPS 레벨에서 시그널링된다고 특정한다. 존재하지 않을 때, sps_scaling_list_parameters_in_sps_flag의 값은 0인 것으로 추론된다.

표 TAB2 및 표 TAB3에서, 단계(505)의 제3 실시예의 제1 변형예에 적응된, 픽처 헤더 및 슬라이스 헤더 레벨에서의 신택스의 예들이 설명된다.

[표 TAB2]

[표 TAB3]

볼드체의 부분들은 표 TAB1에 표현된 SPS 레벨에서 제안된 신택스에 의해 유도되는 기존 신택스의 수정을 나타낸다.

단계(505)의 제3 실시예의 제1 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 ALF가 사용되는 경우, 플래그 sps_alf_parameters_in_sps_flag는 1과 동일하다. 덧붙여, 그 경우, 플래그 alf _info_in_ ph _flag는 0과 동일하다. 1과 동일한 alf _info_in_ ph _flag는, ALF 정보가 픽처 헤더 신택스 구조에 존재하고, 픽처 헤더 신택스 구조를 포함하지 않는, PPS를 참조하는 슬라이스 헤더들에 존재하지 않는다는 것을 특정한다. 0과 동일한 alf _info_in_ ph _flag는, ALF 정보가 픽처 헤더 신택스 구조에 존재하지 않고, 픽처 헤더 신택스 구조를 포함하지 않는, PPS를 참조하는 슬라이스 헤더들에 존재할 수 있다는 것을 특정한다.

단계(505)의 제3 실시예의 제1 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 LMCS가 사용되는 경우, 플래그 sps_lmcs_parameters_in_sps_flag는 1과 동일하다.

단계(505)의 제3 실시예의 제1 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 비-디폴트 스케일링 행렬이 사용되는 경우, 플래그 sps_scaling_list_parameters_in_sps_flag는 1과 동일하다.

단계(505)의 제3 실시예의 제1 변형예에 대한 대안예에서, 3개의 SPS 레벨 플래그들(즉, sps_alf_parameters_in_sps_flag, sps_lmcs_parameters_in_sps_flag 및 sps _scaling_list_parameters_in_ sps _flag)을 추가하는 대신, 단일 SPS 레벨 플래그 sps _ aps _parameters_signaling이 SPS 레벨에서 ALF, LMCS 및 스케일링 목록 파라미터들을 시그널링하는 데 사용된다. 플래그 sps _ aps _parameters_signaling은 ALF, LMCS 또는 스케일링 목록이 그들의 SPS 플래그들에 의해 활성화되는 경우에 코딩된다. 단계(505)의 제3 실시예의 제1 변형예에 대한 그 대안예에서, SPS 레벨에서의 신택스가 표 TAB1_Bis에 설명되어 있다:

[표 TAB1_Bis]

표 TAB1_Bis 내의 볼드체의 부분들은 단계(505)의 제3 실시예의 제1 변형예에 대한 대안예에 대해 정의된 신택스 요소들에 대응한다.

표 TAB2_Bis 및 표 TAB3_Bis에서, 단계(505)의 제3 실시예의 제1 변형예에 적응된, 픽처 헤더 및 슬라이스 헤더 레벨에서의 신택스의 예들이 설명된다.

[표 TAB2_Bis]

[표 TAB3_Bis]

볼드체의 부분들은 표 TAB1_Bis에 표현된 SPS 레벨에서 제안된 신택스에 의해 유도되는 기존 신택스의 수정을 나타낸다.

단계(505)의 제3 실시예의 제2 변형예에서, ALF, LMCS 및 스케일링 행렬 파라미터들은 PPS 레벨에서 시그널링된다. 하나의 이점은 PPS가 SPS보다 더 빈번하게 시그널링될 수 있다는 것이다. 즉, 단일 시퀀스에 대해, 하나 또는 다수의 PPS가 시그널링될 수 있다.

단계(505)의 제3 실시예의 그 제2 변형예에서, PPS 레벨에서의 신택스가 표 TAB4에 설명되어 있다:

[표 TAB4]

단계(505)의 제3 실시예의 제2 변형예에 적응된 새로운 신택스는 표 TAB4에서 볼드체로 표현된다.

플래그들 pps_alf_parameters_in_pps_flag, pps_lmcs_parameters_in_pps_flag, pps_scaling_list_parameters_in_pps_flag의 시맨틱의 일례는 하기와 같다:

0과 동일한 pps _ alf _parameters_in_ pps _flag는 ALF 파라미터들이 PPS 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한 pps_alf_parameters_in_pps_flag는 ALF 파라미터들이 PPS 레벨에서 시그널링된다고 특정한다.

0과 동일한 pps _ lmcs _parameters_in_ pps _flag는 LMCS 파라미터들이 PPS 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한 pps_lmcs_parameters_in_pps_flag는 LMCS 파라미터들이 PPS 레벨에서 시그널링된다고 특정한다.

0과 동일한 pps _scaling_list_parameters_in_ pps _flag는 스케일링 행렬 파라미터들이 PPS 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한 pps_scaling_list_parameters_in_pps_flag는 스케일링 행렬이 PPS 레벨에서 시그널링된다고 특정한다.

표 TAB5 및 표 TAB6에서, 단계(505)의 제3 실시예의 제2 변형예에 적응된, 픽처 헤더 및 슬라이스 헤더 레벨에서의 신택스의 예들이 설명된다.

[표 TAB5]

[표 TAB6]

볼드체의 부분들은 표 TAB4에 표현된 PPS 레벨에서 제안된 신택스에 의해 유도되는 기존 신택스의 수정을 나타낸다.

단계(505)의 제3 실시예의 제2 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 ALF가 사용되는 경우, 플래그 pps_alf_parameters_in_pps_flag는 1과 동일하다.

단계(505)의 제3 실시예의 제2 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 LMCS가 사용되는 경우, 플래그 pps_lmcs_parameters_in_pps_flag는 1과 동일하다.

단계(505)의 제3 실시예의 제2 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 비-디폴트 스케일링 행렬이 사용되는 경우, 플래그 pps_scaling_list_parameters_in_pps_flag는 1과 동일하다.

단계(505)의 제3 실시예의 제2 변형예에 대한 대안예에서, 3개의 PPS 레벨 플래그들(pps_alf_parameters_in_pps_flag, pps_lmcs_parameters_in_pps_flag 및 pps_scaling_list_parameters_in_pps_flag)을 정의하는 대신, 단일 플래그 pps_aps_parameters_signaling이 사용된다. 단계(505)의 제3 실시예의 제2 변형예에 대한 그 대안예에서, PPS 레벨에서의 신택스가 표 TAB4_Bis에 설명되어 있다:

[표 TAB4_Bis]

표 TAB5_Bis 및 표 TAB6_Bis에서, 단계(505)의 제3 실시예의 제2 변형예에 대한 대안예에 적응된, 픽처 헤더 및 슬라이스 헤더 레벨들에서의 신택스의 예들이 설명된다.

[표 TAB5_Bis]

[표 TAB6_Bis]

단계(505)의 제3 실시예의 제3 변형예에서, ALF, LMCS 및 스케일링 행렬 파라미터들은 픽처 헤더 레벨에서 시그널링된다. 하나의 이점은 픽처 헤더들이 SPS 및 PPS보다 더 빈번하게 시그널링된다는 것이다.

단계(505)의 제3 실시예의 그 제3 변형예에서, 픽체 헤더(picture header, PH) 레벨에서 및 슬라이스 레벨에서의 신택스가 표 TAB7 및 TAB_7_Bis에 설명되어 있다:

[표 TAB7]

[표 TAB7_Bis]

단계(505)의 제3 실시예의 제3 변형예에 적응된 새로운 신택스는 표 TAB7에서 볼드체로 표현된다.

플래그들 ph_alf_parameters_in_ph_flag, ph_lmcs_parameters_in_ph_flag, ph_scaling_list_parameters_in_ph_flag의 시맨틱의 일례는 하기와 같다:

0과 동일한 ph _ alf _parameters_in_ ph _flag는 ALF 파라미터들이 PH 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한 ph_alf_parameters_in_ph_flag는 ALF 파라미터들이 PH 레벨에서 시그널링된다고 특정한다. 존재하지 않을 때, ph_alf_parameters_in_ph_flag의 값은 0인 것으로 추론된다.

0과 동일한 ph _ lmcs _parameters_in_ ph _flag는 LMCS 파라미터들이 PH 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한 ph_lmcs_parameters_in_ph_flag는 LMCS 파라미터들이 PH 레벨에서 시그널링된다고 특정한다. 존재하지 않을 때, ph_lmcs_parameters_in_ph_flag의 값은 0인 것으로 추론된다.

0과 동일한 ph _scaling_list_parameters_in_ ph _flag는 스케일링 행렬 파라미터들이 PH 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한 ph_scaling_list_parameters_in_ph_flag는 스케일링 목록이 PH 레벨에서 시그널링된다고 특정한다. 존재하지 않을 때, ph_scaling_list_parameters_in_ph_flag의 값은 0인 것으로 추론된다.

단계(505)의 제3 실시예의 제3 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 ALF가 사용되는 경우, 플래그 ph_alf_parameters_in_ph_flag는 1과 동일하다.

단계(505)의 제3 실시예의 제3 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 LMCS가 사용되는 경우, 플래그 ph_lmcs_parameters_in_ph_flag는 1과 동일하다.

단계(505)의 제3 실시예의 제3 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 비-디폴트 스케일링 행렬이 사용되는 경우, 플래그 ph_scaling_list_parameters_in_ph_flag는 1과 동일하다.

단계(505)의 제3 실시예의 제4 변형예에서, ALF, LMCS 및 스케일링 행렬 파라미터들은 슬라이스 헤더 레벨에서 시그널링된다.

단계(505)의 제3 실시예의 그 제4 변형예에서, 슬라이스 헤더(slice header, SH) 레벨에서의 신택스가 표 TAB8에 설명되어 있다:

[표 TAB8]

단계(505)의 제3 실시예의 제4 변형예에 적응된 새로운 신택스는 표 TAB7에서 볼드체로 표현된다.

플래그들 sh_alf_parameters_in_sh_flag, sh_lmcs_parameters_in_sh_flag, sh_scaling_list_parameters_in_sh_flag의 시맨틱의 일례는 하기와 같다:

0과 동일한 sh _ alf _parameters_in_ sh _flag는 ALF 파라미터들이 SH 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한 sh_alf_parameters_in_sh_flag는 ALF 파라미터들이 SH 레벨에서 시그널링된다고 특정한다. 존재하지 않을 때, sh_alf_parameters_in_sh_flag의 값은 0인 것으로 추론된다.

0과 동일한 sh _ lmcs _parameters_in_ sh _flag는 LMCS 파라미터들이 SH 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한 sh_lmcs_parameters_in_sh_flag는 LMCS 파라미터들이 SH 레벨에서 시그널링된다고 특정한다. 존재하지 않을 때, sh_lmcs_parameters_in_sh_flag의 값은 0인 것으로 추론된다.

0과 동일한 sh _scaling_list_parameters_in_ sh _flag는 스케일링 행렬 파라미터들이 SH 레벨에서 시그널링되지 않는다고 특정한다. 1과 동일한sh_scaling_list_parameters_in_sh_flag는 스케일링 행렬이 SH 레벨에서 시그널링된다고 특정한다. 존재하지 않을 때, sh_scaling_list_parameters_in_sh_flag의 값은 0인 것으로 추론된다.

단계(505)의 제3 실시예의 제4 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 ALF가 사용되는 경우, 플래그 sh_alf_parameters_in_sh_flag는 1과 동일하다.

단계(505)의 제3 실시예의 제4 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 LMCS가 사용되는 경우, 플래그 sh_lmcs_parameters_in_sh_flag는 1과 동일하다.

단계(505)의 제3 실시예의 제3 변형예에서, 플래그 no_aps_constraint_flag가 1과 동일할 때 비-디폴트 스케일링 행렬이 사용되는 경우, 플래그 sh_scaling_list_parameters_in_sh_flag는 1과 동일하다.

단계(505)의 제3 실시예의 제5 변형예에서, ALF, LMCS 및 스케일링 행렬 파라미터들은 그들의 사용을 나타내는 플래그를 통해 임의의 레벨에서 시그널링된다. 그 경우, 예를 들어, SPS 레벨에서의 코딩을 나타내는 SPS에 플래그가 있고, PSS에 다른 플래그가 있고, PH에 다른 플래그가 있고, SH에 다른 플래그가 있다. 더 높은 레벨에서 코딩된 파라미터들은 더 낮은 레벨에서 코딩되지 않을 것이다. 대응하는 신택스는 표 TAB9, 표 TAB10, 표 TAB11 및 표 TAB12에 설명되어 있다(시맨틱은 단계(505)의 제3 실시예의 이전 변형예들에서와 동일하게 유지됨):

[표 TAB9]

[표 TAB10]

[표 TAB11]

[표 TAB12]

단계(505)의 제3 실시예의 제5 변형예에 적응된 새로운 신택스는 표 TAB9, 표 TAB10, 표 TAB11 및 표 TAB12에서 볼드체로 표현된다.

단계(505)의 제3 실시예의 제5 변형예에서,

플래그 pps _ alf _parameters_in_ pps _flag는 sps_alf_parameters_in_sps_flag가 1과 동일한 경우에 0과 동일하고;

플래그 pps _ lmcs _parameters_in_ pps _flag는 sps_lmcs_parameters_in_sps_flag가 1과 동일한 경우에 0과 동일하고;

플래그 pps _scaling_list_parameters_in_ pps _flag는 sps_scaling_list_parameters_in_sps_flag가 1과 동일한 경우에 0과 동일하고;

no_ aps _constraint_flag가 1과 동일한 경우, ALF, LMCS, 및 스케일링 행렬 파라미터들은 (활성화된 경우) SPS 및/또는 PPS 및/또는 PH 및/또는 SH 레벨에서 코딩된다.

일부 경우에, APS 레벨에서 정상적으로 시그널링된 툴들(ALF, LMCS 및 비-디폴트 스케일링 행렬)의 파라미터들은 다른 컨테이너들에서 확산될 수 있다. 예를 들어, 제1 코딩 툴의 파라미터들 중 하나는 SPS 레벨에서 코딩되고, 제2 코딩 툴의 파라미터들은 PPS 레벨에서 코딩되고, 제3 코딩 툴의 파라미터들은 PH 레벨에서 코딩된다.

단계(502)의 제2 실시예에서, 프로세싱 모듈(40)에 의해 획득된 인코딩된 비디오 스트림으로부터 APS가 부재하는지의 여부를 나타내는 정보는, 인코딩된 비디오 스트림(211)의 송신 동안 APS가 손실되었는지의 여부를 나타내는 정보이다.

단계(502)의 제3 실시예에서, 프로세싱 모듈(40)에 의해 획득된 인코딩된 비디오 스트림으로부터 APS가 부재하는지의 여부를 나타내는 정보는, 프로세싱 모듈(40)이 APS를 고려하도록 설계되어 있지 않음을 나타내는 정보이다. 그 경우, 프로세싱 모듈(40)에 의해 수신된 인코딩된 비디오 스트림에 결국 존재하는 APS는 프로세싱 모듈(40)에 의해 무시된다.

단계(503)의 제2 실시예에서, APS에 의해 제공된 적어도 하나의 코딩 파라미터를 사용하는 코딩 툴이 프로세싱 모듈(40)에 의해 체크된 현재 블록에 대해 활성화되는지의 여부를 나타내는 신택스 요소는 슬라이스 레벨에서의 신택스 요소, 예를 들어 신택스 요소 slice_alf_enabled_flag이다. 1과 동일한 slice_alf_enabled_flag는, ALF가 인에이블되고 슬라이스 내의 Y, Cb, 또는 Cr 색 성분들에 적용될 수 있다고 특정한다. 0과 동일한 slice_ alf _enabled_flag는, ALF가 슬라이스 내의 모든 색 성분들에 대해 디스에이블된다고 특정한다. 존재하지 않을 때, slice_alf_enabled_flag의 값은 ph_alf_enabled_flag와 동일한 것으로 추론된다.

단계(503)의 제3 실시예에서, APS에 의해 제공된 적어도 하나의 코딩 파라미터를 사용하는 코딩 툴이 프로세싱 모듈(40)에 의해 체크된 현재 블록에 대해 활성화되는지의 여부를 나타내는 신택스 요소는 CTU 레벨에서의 신택스 요소, 예를 들어 신택스 요소 alf_ctb_flag[cIdx][xCtb][yCtb]이다. 1과 동일한 alf_ctb_flag[cIdx][xCtb][yCtb]는 ALF가 루마 위치(xCtb,yCtb)에서 CTU의 cIdx에 의해 나타내진 색 성분의 코딩 단위에 적용된다고 특정한다. 0과 동일한 alf_ctb_flag[cIdx][xCtb][yCtb]는 ALF가 루마 위치(xCtb,yCtb)에서 CTU의 cIdx에 의해 나타내진 색 성분의 CU에 적용되지 않는다고 특정한다. alf _ctb_flag[cIdx][xCtb][yCtb]가 존재하지 않을 때, 그것은 0과 동일한 것으로 추론된다.

GDR의 유사한 사례에서, 플래그 gdr_enabled_flag는 no_gdr_constraint_flag가 1과 동일할 때 0과 동일하다. GDR과 관련된 제1 실시예에서, 제약 플래그의 시맨틱들은 하기와 같다:

1과 동일한 no_gdr_constraint_flag는, 인코더에 의해 출력되는 인코딩된 비디오 스트림에 존재하는 유형 GDR_NUT의 NAL 유닛이 없을 것이고 gdr_enabled_flag가 0일 것이라고 특정한다. 0과 동일한 no_ gdr _constraint_flag는 그러한 제약을 부과하지 않는다.

GDR과 관련된 제2 실시예에서, 제약 플래그 no_gdr_constraint_flag는 SPS 레벨 플래그 gdr_enabled_flag의 값을 하기와 같이 제약할 뿐이다.

1과 동일한 no_gdr_constraint_flag는, gdr_enabled_flag가 0과 동일할 것임을 특정한다. 0과 동일한 no_gdr_constraint_fla는 그러한 제약을 부과하지 않는다.

GDR과 관련된 제3 실시예에서, SPS 레벨 플래그 gdr_enabled_flag는 제약 플래그 no_gdr_constraint_flag가 1일 때 0으로 설정된다는 것을 보장하기 위해 적합성 제약이 추가된다.

gdr _enabled_flag의 값이, no_ gdr _constraint_flag가 1과 동일할 때 0과 동일할 것이라는 것은 비트스트림 적합성에 대한 요건이다.

전술된 모든 실시예들에 대해, 인코딩 모듈 및 방법은 디코딩 모듈 및 방법들에 순응한다. 특히, 신택스 수정들을 유도하는 실시예들에서(예를 들어, 단계(505)의 제3 실시예에서), 인코딩 모듈 및 방법은 상기 신택스를 우선시한다.

도 6은 APS가 사용될 수 없을 때 인코딩 프로세스를 적응시키기 위한 솔루션을 개략적으로 도시한다.

도 6의 프로세스는 프로세싱 모듈(40)이 인코딩 모듈을 구현할 때 프로세싱 모듈(40)에 의해 실행된다.

단계(601)에서, 프로세싱 모듈(40)은 인코딩된 비디오 스트림(211)의 형태로 인코딩할 오리지널 비디오 시퀀스를 획득한다.

단계(602)에서, 프로세싱 모듈(40)은 오리지널 비디오 시퀀스를 인코딩하기 위해 APS의 사용이 인가되는지의 여부를 나타내는 정보를 획득한다. 이러한 정보는 어느 쪽이든, 프로세싱 모듈(40)의 구성 파라미터들의 형태로 사용자에 의해 제공된다.

APS의 사용이 인가되는 경우, 단계(602) 동안, 이러한 정보는 플래그 no_aps_constraint_flag를 사용하여 프로세싱 모듈(40)에 의해, 인코딩된 비디오 스트림(211)에서 시그널링된다. 그 경우, 플래그 no_aps_constraint_flag는 0으로 설정된다. APS의 사용이 인가되지 않는 경우, 플래그 no_aps_constraint_flag는 1로 설정된다.

APS의 사용이 인가되는 경우, 단계(603)에서, 일반적인 인코딩 프로세스가 프로세싱 모듈(40)에 의해 적용된다.

그렇지 않은 경우, 오리지널 비디오 시퀀스의 이미지들의 블록들의 인코딩 프로세스는 단계(604) 동안 APS를 사용하는 불가능성에 적응된다.

단계(604)의 제1 실시예에서, APS가 인가되지 않을 때, 적어도 하나의 파라미터가 APS에 의해 제공되는 각각의 코딩 툴이, 비디오 시퀀스의 블록들을 인코딩하기 위해 고려되는 코딩 툴들의 목록으로부터 제거된다. 결과적으로, 플래그 no_aps_constraint_flag가 1과 동일할 때, ALF, LMCS 및 비-디폴트 스케일링 행렬은 오리지널 비디오 시퀀스의 블록을 인코딩하는 데 사용될 수 있는 툴로서 고려되지 않는다. 단계(604)의 이러한 제1 실시예에서, no_aps_constraint_flag=1일 때, SPS 레벨 플래그들 sps_alf_enabled_flag, sps_lmcs_enabled_flag and sps_scaling_list_enabled_flag는 0과 동일한 것으로 제약된다. 단계(604)의 제1 실시예의 변형예에서, no_aps_constraint_flag=1일 때, 플래그 no_alf_constraint_flag는 0으로 제약된다. 플래그 no_alf_constraint_flag는, 예를 들어 general_constraint_info()로 불리는 신택스 요소에 인코딩된다. 1과 동일할 때, 플래그 no_alf_constraint_flag는 sps_alf_enabled_flag가 0과 동일할 것이라고 특정한다. 0과 동일한 no_alf_constraint_flag는 그러한 제약을 부과하지 않는다. 유사하게, 플래그들 no_lmcs_enabled_flag 및 no_scaling_list_enabled_flag는 sps_lmcs_enabled_flag 및 sps_scaling_list_enabled_flag의 값들을 제약하는 데 사용될 수 있었다.

단계(604)의 제2 실시예에서, 인코딩 프로세스의 적응은, 이러한 파라미터들을 사용하는 코딩 툴의 사용이 현재 블록을 인코딩하기 위해 인가되는 경우, SPS 및/또는 PPS 및/또는 PH 및/또는 SH에서의 APS에 정상적으로 인코딩된 파라미터들을 인코딩하는 것을 포함한다. 결과적으로, ALF, LMCS 및 비-디폴트 스케일링 행렬의 사용이 오리지널 비디오 시퀀스의 블록들에 대해 인가되는 경우, ALF 파라미터들, LMCS 파라미터들 및/또는 비-디폴트 스케일링 행렬 파라미터들은 SPS 및/또는 PPS 및/또는 PH 및/또는 SH에서 인코딩된다. 이러한 실시예는 디코딩 프로세스의 단계(505)의 제3 실시예의 변형들에 순응한다. 특히, 단계(604)의 제2 실시예는 단계(505)의 제3 실시예와 관련하여 기술된 신택스를 사용한다.

도 6의 솔루션에 대한 대안예에서, 단일 sps 레벨 신택스 요소 sps_no_aps_signaling은, APS, LMCS 및 스케일링 목록 파라미터들이 APS 레벨 이외의 다른 레벨들에서 시그널링되는지의 여부를 특정하는 데 사용된다. 이러한 플래그가 1로 설정될 때, 이러한 파라미터들을 슬라이스 레벨 또는 픽처 레벨 중 어느 하나에서 시그널링하는 것이 허용된다. 이러한 실시예는 시그널링 오버헤드를 감소시키는 것을 허용하며, 여기서 적어도 3개의 플래그들이 이전 실시예들에서 사용된다. 플래그 sps_no_aps_signaling은 적어도 ALF, LMCS 또는 스케일링 목록들이 그들의 SPS 레벨 플래그에 의해 활성화되는 경우에 시그널링되고, 그렇지 않은 경우에 그것은 0인 것으로 추론된다. sps _no_ aps _signaling이 1과 동일한 경우, 대안적인 코딩이 허용된다. 게다가, APS에 대한 제약 플래그(즉, no_aps_constraint_flag)가 1로 설정될 때, 이러한 플래그는 APS, LMCS, 및 스케일링 목록 파라미터들을 시그널링하는 것을 허용하기 위해 마찬가지로 1이어야 하지만, APS는 허용되지 않는다.

대응하는 신택스는 표 TAB13, 표 TAB14, 및 표 TAB15에 설명되어 있다.

[표 TAB13]

[표 TAB14]

[표 TAB15]

또한, 실시예들은 다양한 청구 범위들 및 유형들에 걸쳐 단독으로 또는 임의의 조합으로 다음의 특징들, 디바이스들, 또는 태양들 중 하나 이상을 포함할 수 있다:

기술된 실시예들 중 임의의 것에 따라 생성된 신택스 이송 정보를 포함하는 비트스트림 또는 신호;

디코더가 인코더에 의해 사용된 것에 대응하는 방식으로 디코딩 프로세스를 적응시킬 수 있게 하는 시그널링 신택스 요소들에 삽입하는 것;

기술된 신택스 요소들, 또는 이들의 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호를 생성하고/하거나 송신하고/하거나 수신하고/하거나 디코딩하는 것;

기술된 실시예들 중 임의의 것에 따라 생성하고/하거나 송신하고/하거나 수신하고/하거나 디코딩하는 것;

기술된 실시예들 중 임의의 것에 따른 방법, 프로세스, 장치, 명령어들을 저장하는 매체, 데이터를 저장하는 매체, 또는 신호;

기술된 실시예들 중 임의의 것에 따라 인코딩 또는 디코딩 프로세스의 적응을 수행하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스;

기술된 실시예들 중 임의의 것에 따라 인코딩 또는 디코딩 프로세스의 적응을 수행하고 생성된 이미지를 (예컨대, 모니터, 스크린, 또는 다른 유형의 디스플레이를 사용하여) 디스플레이하는 TV, 셋톱박스, 셀폰, 태블릿, 또는 다른 전자 디바이스;

인코딩된 이미지를 포함하는 신호를 수신하기 위해 채널을 (예컨대, 동조기를 사용하여) 선택하고, 기술된 실시예들 중 임의의 것에 따라 디코딩 프로세스의 적응을 수행하는 TV, 셋톱박스, 셀폰, 태블릿, 또는 다른 전자 디바이스;

인코딩된 이미지를 포함하는 신호를 공중무선통신으로 (예컨대, 안테나를 사용하여) 수신하고, 기술된 실시예들 중 임의의 것에 따라 디코딩 프로세스의 적응을 수행하는 TV, 셋톱박스, 셀폰, 태블릿, 또는 다른 전자 디바이스.

Claims

디코딩을 위한 방법으로서,
인코딩된 비디오 시퀀스를 나타내는 비트스트림을 획득하는 단계(501);
적어도 하나의 코딩 파라미터를 제공하는 제1 유형의 컨테이너가 비트스트림에 부재하는지의 여부를 나타내는 제1 정보를 획득하는 단계(502);
상기 적어도 하나의 코딩 파라미터를 사용하는 코딩 툴이 비디오 시퀀스의 이미지의 샘플들의 현재 블록에 대해 활성화되는지의 여부를 나타내는 제1 신택스 요소의 값을 체크하는 단계(503); 및
제2 신택스 요소가 코딩 툴의 활성화를 나타낼 때 컨테이너의 부재의 경우에 현재 블록의 디코딩을 적응시키는 단계(505)를 포함하는, 방법.
제1항에 있어서, 제1 정보는 비트스트림으로부터 획득된 제2 신택스 요소로부터 획득되는, 방법.
제1항 또는 제2항에 있어서, 제1 유형의 컨테이너는 적응 파라미터 세트이고, 제2 신택스 요소는 비트스트림에서 적어도 하나의 적응 파라미터 세트의 존재가 인가되는지의 여부를 나타내는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 현재 블록의 디코딩을 적응시키는 단계는 비트스트림의 부적합성을 나타내는 제2 정보를 출력하는 단계를 포함하는, 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 현재 블록의 디코딩을 적응시키는 단계는 현재 블록을 디코딩하기 위한 코딩 툴을 비활성화시키는 단계를 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 디코딩을 적응시키는 단계는, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너로부터 적어도 하나의 파라미터를 획득하고 획득된 파라미터로 코딩 툴을 적용하는 현재 블록을 디코딩하는 단계를 포함하는, 방법.
제6항에 있어서, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너는 시퀀스 파라미터 세트 및/또는 픽처 파라미터 세트 및/또는 픽처 헤더 및/또는 시퀀스 헤더인, 방법.
인코딩을 위한 방법으로서,
비트스트림에 인코딩할 비디오 시퀀스를 획득하는 단계(601); 및
코딩 툴에 대한 적어도 하나의 코딩 파라미터를 제공하는 제1 유형의 컨테이너의 비트스트림에서의 존재가 인가되는지의 여부를 나타내는 제1 정보의 함수로서 비디오 시퀀스의 이미지의 샘플들의 블록의 인코딩을 적응시키는 단계(602, 604)를 포함하는, 방법.
제8항에 있어서, 제1 정보는 비트스트림에 인코딩되는, 방법.
제8항 또는 제9항에 있어서, 제1 유형의 컨테이너는 적응 파라미터 세트이고, 제2 신택스 요소는 비트스트림에서 적어도 하나의 적응 파라미터 세트의 존재가 인가되는지의 여부를 나타내는, 방법.
제8항 내지 제10항 중 어느 한 항에 있어서, 인코딩을 적응시키는 단계는, 컨테이너의 존재가 인가되지 않은 경우, 코딩 툴들의 목록으로부터, 현재 블록을 인코딩하기 위해 고려되는 코딩 툴을 제거하는 단계를 포함하는, 방법.
제8항 내지 제10항 중 어느 한 항에 있어서, 인코딩을 적응시키는 단계는, 코딩 툴의 사용이 현재 블록을 인코딩하기 위해 인가되는 경우, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너 내의 적어도 하나의 코딩 파라미터를 인코딩하는 단계를 포함하는, 방법.
제12항에 있어서, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너는 시퀀스 파라미터 세트 및/또는 픽처 파라미터 세트 및/또는 픽처 헤더 및/또는 시퀀스 헤더인, 방법.
전자 회로부를 포함하는, 디코딩을 위한 디바이스로서, 전자 회로부는,
인코딩된 비디오 시퀀스를 나타내는 비트스트림을 획득하는 것(501);
적어도 하나의 코딩 파라미터를 제공하는 제1 유형의 컨테이너가 비트스트림에 부재하는지의 여부를 나타내는 제1 정보를 획득하는 것(502);
상기 적어도 하나의 코딩 파라미터를 사용하는 코딩 툴이 비디오 시퀀스의 이미지의 샘플들의 현재 블록에 대해 활성화되는지의 여부를 나타내는 제1 신택스 요소의 값을 체크하는 것; 및
제2 신택스 요소가 코딩 툴의 활성화를 나타낼 때 컨테이너의 부재의 경우에 현재 블록의 디코딩을 적응시키는 것을 위해 적응되는, 디바이스.
제14항에 있어서, 제1 정보는 비트스트림으로부터 획득된 제2 신택스 요소로부터 획득되는, 디바이스.
제14항 또는 제15항에 있어서, 제1 유형의 컨테이너는 적응 파라미터 세트이고, 제2 신택스 요소는 비트스트림에서 적어도 하나의 적응 파라미터 세트의 존재가 인가되는지의 여부를 나타내는, 디바이스.
제14항 내지 제16항 중 어느 한 항에 있어서, 현재 블록의 디코딩을 적응시키는 것은 비트스트림의 부적합성을 나타내는 제2 정보를 출력하는 것을 포함하는, 디바이스.
제14항 내지 제17항 중 어느 한 항에 있어서, 현재 블록의 디코딩을 적응시키는 것은 현재 블록을 디코딩하기 위한 코딩 툴을 비활성화시키는 것을 포함하는, 디바이스.
제14항 내지 제16항 중 어느 한 항에 있어서, 디코딩을 적응시키는 것은, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너로부터 적어도 하나의 파라미터를 획득하고 획득된 파라미터로 코딩 툴을 적용하는 현재 블록을 디코딩하는 것을 포함하는, 디바이스.
제19항에 있어서, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너는 시퀀스 파라미터 세트 및/또는 픽처 파라미터 세트 및/또는 픽처 헤더 및/또는 시퀀스 헤더인, 디바이스.
전자 회로부를 포함하는, 인코딩을 위한 디바이스로서, 전자 회로부는,
비트스트림에 인코딩할 비디오 시퀀스를 획득하는 것; 및
코딩 툴에 대한 적어도 하나의 코딩 파라미터를 제공하는 제1 유형의 컨테이너의 비트스트림에서의 존재가 인가되는지의 여부를 나타내는 제1 정보의 함수로서 비디오 시퀀스의 이미지의 샘플들의 블록의 인코딩을 적응시키는 것을 위해 적응되는, 디바이스.
제21항에 있어서, 제1 정보는 비트스트림에 인코딩되는, 디바이스.
제21항 또는 제22항에 있어서, 제1 유형의 컨테이너는 적응 파라미터 세트이고, 제2 신택스 요소는 비트스트림에서 적어도 하나의 적응 파라미터 세트의 존재가 인가되는지의 여부를 나타내는, 디바이스.
제21항 내지 제23항 중 어느 한 항에 있어서, 인코딩을 적응시키는 것은, 컨테이너의 존재가 인가되지 않은 경우, 코딩 툴들의 목록으로부터, 현재 블록을 인코딩하기 위해 고려되는 코딩 툴을 제거하는 것을 포함하는, 디바이스.
제21항 내지 제23항 중 어느 한 항에 있어서, 인코딩을 적응시키는 것은, 코딩 툴의 사용이 현재 블록을 인코딩하기 위해 인가되는 경우, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너 내의 적어도 하나의 코딩 파라미터를 인코딩하는 것을 포함하는, 디바이스.
제25항에 있어서, 적어도 하나의 제2 유형의 적어도 하나의 컨테이너는 시퀀스 파라미터 세트 및/또는 픽처 파라미터 세트 및/또는 픽처 헤더 및/또는 시퀀스 헤더인, 디바이스.
제8항 내지 제13항 중 어느 한 항에 따른 인코딩을 위한 방법, 또는 제21항 내지 제26항 중 어느 한 항에 따른 인코딩을 위한 디바이스에 의해 생성된 데이터를 포함하는 신호.
제1항 내지 제13항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램.
제1항 내지 제13항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 저장하는 정보 저장 수단.