KR20210135247A - 인 루프 재성형 적응적 재성형기 방향 - Google Patents

Abstract

순방향 매핑 함수 또는 그 역을 수행하기 위한 방법 및 장치가 매핑을 수행하기 위해 비트스트림에서 운반되는 정보를 통해 구현된다. 정보는 균일 또는 비균일 룩업 테이블로 구현될 수 있다. 디코더는 정보를 수신하고 사용될 역함수를 도출할 수 있다. 일 실시예에서, 디코더는 역 매핑 함수를 나타내는 정보를 수신하고 이 정보를 이용하여 인트라 코딩된 픽처 부분들에 대한 역 매핑 룩업 테이블을 구현하고, 인터 코딩된 픽처 부분들에 대한 역 매핑 룩업 테이블과 함께 사용될 순방향 매핑 룩업 테이블을 도출할 수 있다.

Description

인 루프 재성형 적응적 재성형기 방향

본 실시예들 중 적어도 하나는 일반적으로 비디오 인코딩 또는 디코딩을 위한 방법 또는 장치에 관한 것이다.

높은 압축 효율을 달성하기 위해, 이미지 및 비디오 코딩 스킴들은 보통은 공간 및/또는 모션 벡터 예측을 포함하는 예측, 및 비디오 콘텐츠 내의 공간적 및 시간적 중복성을 이용하기 위한 변환들을 채택한다. 일반적으로, 인트라 또는 인터 예측은 인트라 또는 인터 프레임 상관을 활용하기 위해 사용되며, 그러면 종종 예측 오류들 또는 예측 잔차들이라고 표시되는 원래의 이미지와 예측된 이미지 사이의 차이들이 변환되며, 양자화되고, 엔트로피 코딩된다. 비디오를 재구성하기 위해, 압축된 데이터는 엔트로피 코딩, 양자화, 변환, 및 예측에 대응하는 역 프로세스들에 의해 디코딩된다. 매핑 및 역 매핑 프로세스들은 인코더 및 디코더에서 사용되어 개선된 코딩 성능을 달성할 수 있다. 실제로, 더 나은 코딩 효율을 위해, 신호 매핑이 사용될 수 있다. 매핑은 비디오 픽처들의 샘플 코드워드 값들 분포를 더 잘 활용하는 것을 목표로 한다.

종래 기술의 결점들 및 단점들은 인코딩 및 디코딩에서의 인트라 예측 모드 파티셔닝에 관한 본 명세서에 설명된 일반적인 양태들에 의해 해결될 수 있다.

제1 양태에 따르면, 방법이 제공된다. 방법은 압축된 비디오 데이터의 비트스트림에 파라미터들을 삽입하는 단계 - 상기 파라미터들은 예측 데이터에 대해 동작하는 인 루프 재성형 필터(in-loop reshaping filter)를 나타냄 -; 및 상기 비트스트림에 상기 파라미터들을 포함시키면서 예측 데이터를 이용하여 비디오 데이터의 블록들을 인코딩하는 단계를 포함한다.

제2 양태에 따르면, 방법이 제공된다. 방법은 압축된 비디오 데이터의 비트스트림에서 파라미터들을 수신하는 단계 - 상기 파라미터들은 재구성된 데이터에 대해 동작하는 인 루프 재성형 필터를 나타냄 -; 및 상기 재구성된 데이터 및 상기 비트스트림으로부터의 파라미터들을 이용하여 비디오 데이터의 블록들을 디코딩하는 단계를 포함한다.

또 다른 양태에 따르면 장치가 제공된다. 장치는 프로세서를 포함한다. 프로세서는 전술한 방법들 중 임의의 것을 실행함으로써 비디오의 블록을 인코딩하거나 비트스트림을 디코딩하도록 구성될 수 있다.

적어도 하나의 실시예의 또 다른 일반적인 양태에 따르면, 디바이스가 제공되는데, 이 디바이스는 디코딩 실시예들 중 임의의 것에 따른 장치; 및 (i) 신호를 수신하도록 구성된 안테나 - 신호는 비디오 블록을 포함함 -, (ii) 수신된 신호를 비디오 블록을 포함하는 주파수들의 대역으로 제한하도록 구성된 대역 제한기, 또는 (iii) 비디오 블록을 나타내는 출력을 디스플레이하도록 구성된 디스플레이 중 적어도 하나를 포함한다.

적어도 하나의 실시예의 또 다른 일반적인 양태에 따르면, 설명된 인코딩 실시예들 또는 변형들 중 임의의 것에 따라 생성된 데이터 콘텐츠를 포함하는 비일시적 컴퓨터 판독가능 매체가 제공된다.

적어도 하나의 실시예의 또 다른 일반적인 양태에 따르면, 설명된 인코딩 실시예들 또는 변형들 중 임의의 것에 따라 생성된 비디오 데이터를 포함하는 신호가 제공된다.

적어도 하나의 실시예의 또 다른 일반적인 양태에 따르면, 비트스트림은 설명된 인코딩 실시예들 또는 변형들 중 임의의 것에 따라 생성된 데이터 콘텐츠를 포함하도록 포맷팅된다.

적어도 하나의 실시예의 또 다른 일반적인 양태에 따르면, 프로그램이 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 설명된 디코딩 실시예들 또는 변형들 중 임의의 것을 수행하게 야기하는 명령어들을 포함하는 컴퓨터 프로그램 제품이 제공된다.

이들 및 다른 양태, 일반적인 양태들의 특징 및 이점은 첨부 도면과 관련하여 읽혀질 것인, 예시적인 실시예들에 대한 이하의 상세한 설명으로부터 분명해질 것이다.

도 1은 (a) 인코더 및 (b) 디코더에 대한 예측 신호의 인 루프 재성형을 도시한다.
도 2는 예시적인 순방향 매핑 함수의 구성을 도시한다.
도 3은 예시적인 역 매핑 함수의 구성을 도시한다.
도 4는 하이브리드 디코더에서 역 및 순방향 재성형의 사용의 예를 도시한다.
도 5는 인트라 픽처들에 대한 인 루프 재성형 디코딩 프로세스의 예를 도시한다.
도 6은 일반적인 비디오 압축 인코더를 도시한다.
도 7은 일반적인 비디오 압축 해제 디코더를 도시한다.
도 8은 인트라 픽처들에 대한 제안된 인 루프 재성형 디코딩 프로세스의 예를 도시한다.
도 9는 인코더로부터의 비트스트림에서 전달되는 균일하게 샘플링된 역 재성형 룩업 테이블의 예를 도시한다.
도 10은 역 매핑 함수 단순화의 프로세스를 도시한다.
도 10b는 역 매핑 함수 단순화의 인코딩 방법의 일 실시예를 도시한다. 도 11은 설명된 일반적인 양태들 하에서의 인코딩 방법의 일 실시예를 도시한다.
도 12는 설명된 일반적인 양태들 하에서의 디코딩 방법의 일 실시예를 도시한다.
도 13은 인트라 예측 모드 확장을 이용한 인코딩 또는 디코딩을 위한 장치의 일 실시예를 도시한다.
도 14는 일반적인 표준 인코딩 스킴을 도시한다.
도 15는 일반적인 표준 디코딩 스킴을 도시한다.
도 16은 설명된 실시예들이 구현될 수 있는 전형적인 프로세서 배열을 도시한다.

본 명세서에 설명된 실시예들은 비디오 압축 분야에 관한 것이며, 비디오 압축과 비디오 인코딩 및 디코딩에 관한 것이다. 본 발명은 일반적으로 코딩된 비디오 콘텐츠(예를 들어, SDR(Standard Dynamic Range), HDR(High Dynamic Range))에 적용될 수 있지만, 그것은 개선된 코딩 성능을 달성하기 위해 인코더 및 디코더에서 매핑 및 역 매핑 프로세스들이 사용될 때 특히 적용가능하다. 실제로, 더 나은 코딩 효율을 위해, 신호 매핑이 사용될 수 있다. 매핑은 비디오 픽처들의 샘플 코드워드 값들 분포를 더 잘 활용하는 것을 목표로 한다. 매핑 및 역 매핑은 디코딩 루프 밖에 있을 수 있다. 이 경우, 매핑은 코어 인코딩(core encoding) 전에 인코더의 입력 샘플들에 직접 적용된다. 역 매핑 프로세스는 디코더 측에서 디코더로부터의 출력 샘플들에 적용된다. 매핑 및 역 매핑은 또한 제1 JVET(Joint Video Experts Team) 기여에서 제안된 바와 같이, 디코딩 루프에 있을 수 있다.

이 기여 및 두 번째는 코딩 효율을 개선하기 위한 인 루프 재성형 솔루션들을 설명한다. 이러한 솔루션들에서, 루마 또는 크로마 신호의 매핑(재성형)은 코딩 루프에 대해 내부적으로 달성된다. 재성형은 예측/재구성 신호에 적용되고, 인코더 또는 디코더에서, 재성형 및 역 재성형의 추가 블록들이 종래의 인코더 및 디코더 블록도들에 추가된다. 이것은 재성형이 예측 루마 또는 크로마 신호에 적용되는 도 1에 예시되어 있다. 재성형은 JVET 문서, "Algorithm description for Versatile Video Coding and Test Model 4 (VTM 4)) clause 3.7.3 -Luma mapping with chroma scaling (LMCS)"에 정보를 알려주는 방식으로 문서화된다는 점에 유의한다.

인코더에서, 양자화 이전의 잔차 신호 Res_source는 다음의 공식에 따라 생성된다:

[수학식 1]

Res_source(p) = map[ Orig(p) ] - map[ Pred(p) ]

여기서 Orig(p)는 픽처에서의 위치 p(x,y)에 있는 (코딩될) 소스 샘플의 값이고, Pred(p)는 예측 샘플의 값이며, Res_source(p)는 양자화 이전의 예측 잔차 샘플의 값이고, map[.]는 재성형 함수이다.

Res_source(p)는 그 후 변환되고 양자화된다. 역양자화되고 역변환된 잔차 신호는 Res(p)로 표기된다.

디코더에서, 신호는 (도 1b에 도시된) 이하의 공식에 따라 재구성된다:

[수학식 2]

Rec(p) = invmap[ map[ Pred(p) ] + Res(p) ]

바람직하게는 3개의 단계로 구현된다:

단계(1108):

[수학식 3]

Rec0(p) = map[ Pred(p) ]

단계(1103):

[수학식 4]

Rec1(p) = Rec0(p) + Res(p)

단계(1104):

[수학식 5]

Rec(p) = invmap[ Rec1(p) ]

여기서 Rec(p)는 재구성된 샘플의 값이고, invmap[.]는 역 재성형 함수이다(invmap[map[x]]=x가 되도록 map[.]의 역). 전술한 JVET 기여들에서, 이러한 프로세스는 처리된 블록들의 각각의 샘플에 대해 수행된다. 매핑 및 역 매핑의 함수들은 전체 픽처에 대해 또는 픽처의 영역들에 대해 전역적이다. 픽처의 또는 블록들의 영역들의 상이한 블록들 중에서, 동일한 함수들이 사용된다.

전술한 JVET 기여에서의 매핑 함수 구현은 스케일링 테이블, scale[ k ], k=0 내지 N-1에 기초하고, N은 2의 거듭제곱(전형적으로 16 또는 32)이다. 각각의 스케일은 루마 값들의 범위에 적용된다. 범위 R은 고정되고 2의 거듭제곱이고(R=2^K), 전체 루마 범위(rangeY)를 N으로 나눈 것과 같다. 예를 들어, 10 비트 루마 신호에 대해, 그리고 N=16에 대해, R = 1024/N = 64 = 2⁶ (K = 6)이다. 매핑 함수 FwdMap는 개념적으로 다음과 같이 정의된다:

- FwdMap[ 0 ] = 0

- 이어서, 각각의 k*R 인덱스에서의 값들이, k=0 내지 N에 대해, 다음과 같이 계산된다:

FwdMap[ (k+1)*R ] = FwdMap[ k*R ] + R * scale[ k ]

- 인덱스들 x=(k*R+1) 내지 ((k+1)*R-1)에서의 중간 값들은 다음과 같이 그들의 주변 값들 FwdMap [(k+1)*R] 및 FwdMap [k*R] 로부터 선형으로 보간된다:

FwdMap[ x ] = FwdMap[ k*R ] + (x - k*R) * ( FwdMap[ (k+1)*R ] -FwdMap[ k*R ] ) / R

이 프로세스는, 실제 최대 샘플 값 Y가 (rangeY-1)과 동일하더라도, LUT FwdMap이 Y=0 내지 rangeY의 (rangeY+1) 요소들을 가질 것을 요구한다는 점에 유의한다. 프로세스는 도 2에 도시된다. 각각의 스케일은 조각별 선형 매핑 함수(piece-wise linear mapping function)의 세그먼트와 연관된다. 각각의 세그먼트는 동일한 길이 (R)의 루마 범위에 대해 지정된다.

길이 R의, 균일한 샘플링(동일한 구간 길이)을 갖는 구간들을 사용하는 것의 이점은, 샘플 값 Y의 매핑이, K 비트만큼 시프트하는 값 Y로부터 계산된 인덱스를 사용하여, 제한된 크기(크기 N)의 룩업 테이블들에의 간단한 액세스에 의해 온-더-플라이로(on-the-fly) 쉽게 수행될 수 있다는 것이다. 이 프로세스는 개념적으로 다음과 같다:

- 인덱스 k의 계산 = Y / R = Y >> K

- Ymap = scale[ k ] * Y + A[ k ]

여기서, A는 (k=0 내지 N에 대해) 다음과 같이 도출된 크기 (N+1)의 사전 구축된 룩업 테이블이다.

- A[ k ] = FwdMap[ k*R ] - k * R * scale[ k ]

현재 코어 신택스는 제2 JVET 기여에 기초하여 다음과 같다:

여기서:

reshaper_model_min_bin_idx는 도 2의 scale[i]가 비트스트림에서 그로부터 전달되는 가로좌표 (x)를 나타낸다.

reshaper_model_delta_max_bin_idx는 도 2의 scale[i]가 비트스트림에서 전달될 때까지 가로좌표 (x)를 나타낸다. 이것은 reshaper_model_min_bin_idx에 대해 상대적으로 코딩된다.

reshaper_model_bin_delta_abs_cw_prec_minus1은 도 2에서 scale[i] 또는 FwdMap[i]를 코딩하기 위해 사용되는 비트 수를 나타낸다.

reshape_model_bin_delta_abs_CW[i]는 도 2의 절대 scale[i] 또는 FwMap[i]를 나타낸다.

reshaper_model_bin_delta_sign_CW_flag[i]는 도 2의 scale[i] 또는 FwdMap[i]의 부호를 나타낸다.

순방향 매핑 함수 FwdMap은 적용하기가 매우 간단할 수 있지만, (샘플별로 리매핑을 처리하기 전에 LUT 사전계산의 경우에) 순방향 매핑 룩업 테이블(LUT) 재구성 프로세스 또는 온-더-플라이(on-the-fly) 재구성이 균일한 샘플링으로 16개의 PWL(piece-wise linear)에 대해 동작함에 따라 각각의 섹션의 크기에 대한 유연성이 없는 PWL 섹션들을 나타내는 특정 수의 피봇 포인트들을 비트스트림에서 전달할 것을 요구한다. 또한, 제1 스테이지는 샘플이 리매핑될(이것은 간단한 시프트 연산일 수 있음) 섹션을 결정하는 것으로 구성된다.

게다가, 역 매핑 함수 InvMap은 순방향 매핑 함수의 역으로서 구축된다. 그것은 도 3에 도시된 바와 같이, y=x에 의해 정의된 라인에 관계된 FwdMap의 대칭 함수로서 수학적으로 구축된다. 그러한 역 매핑의 문제는 순방향 매핑만큼 쉽게 온-더-플라이로 적용될 수 없다는 것이다. 실제로, 역 매핑 함수가 조각별 선형으로 유지되더라도, 값 Y가 속하는 조각의 인덱스의 식별은 간단하지 않다. 간단한 시프트 연산이 요구되는 순방향 매핑 경우와는 대조적으로, 역 매핑 함수의 조각들의 인덱스들이 2의 거듭제곱인 미리 정의된 길이의 배수가 아니기 때문에 이것은 더 복잡하다. 이것은 도 3에 도시되는데, 여기서 역 매핑 함수들(idx₀ 내지 idx₄)의 조각들의 인덱스들이 수평축을 따라 균일하게 분포되지 않는 데, 그 이유는 설계에 의해 idx_k=fwpMap [k*R]이기 때문이다. 이러한 인덱스 발견 동작은 "이진 검색"으로 알려져 있고, 복잡도 O(log2(n))이다.

제2 전술한 JVET 기여의 다음의 스킴으로부터, 인트라 모드 예측이 관련되는 한, 디코더에서 역 재성형기만이 사용된다는 점을 알 수 있다(도 4 참조).

이는, 각각의 인트라 픽처에 대한 현재 구현에서 또는 어느 정도까지 모든 인트라 프로파일에서, 순방향 인 루프 재성형 곡선이 전달되고, 그 후 이진 검색이 동작된 후에 복귀가 요구된다는 것을 의미한다. 이는 추가 계산 및 추가적인 복잡성을 나타낸다.

인 루프 재성형의 몇가지 단순화가 이미 제안되었다.

종래의 제안은 등길이(equi-length)(균일 샘플링) 조각별 선형 모델로부터 구축되도록 역 룩업 테이블을 시행함으로써 역 재성형 설계를 단순화하는 것을 제안한다. 역 LUT는 디코더에서 계산된 후에 등길이 PWL에 의해 근사화되거나, 또는 등길이가 스트림에서 명시적으로 시그널링된다.

이 제안은, 역 매핑 함수를, 2의 거듭제곱의 길이를 갖는, 등길이 간격들을 갖는 조각별 선형 함수로 변환함으로써, 역 매핑 프로세스를 단순화하는 것을 목표로 한다. 따라서, 순방향 매핑에 대해서와 같이, 간단한 프로세스에 의해 온-더-플라이로 역 매핑을 수행하는 것이 가능할 것이다. 이 기법들은 일반적으로 코딩된 비디오 콘텐츠(예를 들어, SDR, HDR)에 적용될 수 있지만, 개선된 코딩 성능을 달성하기 위해 인코더 및 디코더에서 매핑 및 역 매핑 프로세스들이 사용될 때 특히 적용가능하다.

유리하게는, 이 프로세스는 간단한 시프트 연산들 및 제한된 크기(예로서, 64개 미만의 요소)의 룩업 테이블들에 대한 액세스를 이용하여 샘플당 역 매핑 프로세스의 간단한 구현을 가능하게 할 수 있다. 따라서, 제안된 기법들은 재성형(즉, 신호의 매핑, 역 매핑)으로부터의 잠재적인 코딩 이득들의 대부분을 보존하면서 역 매핑 프로세스의 설계를 단순화할 수 있다.

실시예에 따른 역 매핑 함수 생성의 프로세스가 도 10에 예시된다. 그것은 순방향 매핑 함수를 특징짓는 데이터를 입력으로서 사용한다. 이것은 함수 fwdMap으로, 또는 스케일링 테이블 scale[ ]로 이루어질 수 있다. 이 입력 데이터로부터, 역 매핑 함수 invMap가 단계(401)에서 구축된다. 이것은 순방향 매핑 함수 fwdMap의 라인 y=x와 관계된 수학적 대칭에 의해 달성될 수 있다. 역 매핑 함수 invMap의 근사화가 단계(402)에서 생성된다. 이러한 근사화는 함수의 조각별 선형 모델을 사용할 수 있으며, 여기서 각각의 조각은 등길이 간격마다 정의되고, 간격들은 2의 거듭제곱과 동일한 동일 길이를 갖는다.

종래 제안의 또 다른 실시예에서, 근사 역 매핑 함수는 디코더에서 도출된다. 함수의 조각들의 수는 비트스트림에서 시그널링된다. 이것은 아래의 신택스 표에 표시된다(이탤릭체).

신택스의 나머지는 순방향 매핑 함수의 시그널링에 대응한다. 역 매핑 함수의 조각들의 수를 지정하기 위해 새로운 신택스 요소, reshaper_model_inv_log2_size가 도입된다. 사용된 표기법을 참조하면, M은 다음과 같이 도출된다.

M = 2 ^{reshaper_model_inv_log2_size} = (1 << reshaper_model_inv_log2_size)

또 다른 실시예에서, 이 파라미터는 순방향 매핑 함수를 모델링하기 위해 사용되는 조각들의 수 N에 적용될 인자이다:

M = N * 2 ^{reshaper_model_inv_log2_size} = (N << reshaper_model_inv_log2_size)

조각들의 수(M)의 값은 인코더에서 결정된다. 예를 들어, 그것은 앞서 언급된 왜곡이 주어진 임계값(예를 들어, T=0.02인 T*rangeY²) 미만인 것을 보장하기 위해서 결정될 수 있다. 이는 M=N으로 시작하여 반복적으로 달성될 수 있다. 근사 역 매핑 함수는 이 값 M을 이용하여 생성된다. 결과적인 근사 역 매핑 함수로 획득된 왜곡이 임계값 (T*rangeY²)보다 큰 경우, M은 2배가 되고(M은 (M*2)에 설정됨), 왜곡 dist가 임계값 (T*rangeY²)보다 작을 때까지 또는 M이 최대값 Mmax(예로서, 128)에 도달할 때까지 프로세스가 재반복된다. 대안적으로, M은 실제 실험들에 기초하여 임의로 설정될 수 있다. 32의 값은 많은 경우에 관련성 있다.

조각들의 수(M)로부터, 근사 역 함수가 설명된 바와 같이 디코더에서 도출될 수 있다.

종래 제안의 또 다른 실시예에서, 근사 역 매핑 함수는 스트림에서 명시적으로 시그널링된다. 이것은 아래의 신택스 표에 표시된다(이탤릭체). 신택스의 나머지는 순방향 매핑 함수의 시그널링에 대응하고 알려져 있다.

인코더 측에서, 테이블 invScale, 그것의 크기 M 및 invMapBis의 제1 값(invMapBis[ 0 ])이 순방향 매핑 함수 fwdMap으로부터 도출된다. 이는 전형적으로, 예를 들어, 1) 순방향 매핑 함수 fwdMap으로부터 역 매핑 함수 invMap을 도출하는 것, 2) 역 매핑 함수 invMap으로부터 근사 역 매핑 함수 invMapBis를 생성하는 것(이 단계에서, M은 위에서 설명된 바와 같이 임의로 선택되거나 적응적으로 계산될 수 있음), 3) 근사 역 매핑 함수 invMapBis로부터 표 invScale를 도출하는 것에 의해, 위에서 설명된 프로세스에 따라 달성된다. invMapBis는 인코더에서 역 매핑을 수행하기 위해 사용된다. 그 후, 인코더는 근사 매핑 함수를 특징짓는 파라미터들, 즉, M, invMapBis[0], 테이블 invScale를 표에 기술된 신택스에 따라 비트스트림에 인코딩한다.

디코더 측에서, 근사 역 매핑 함수를 특징짓는 파라미터들은 표에 기술된 신택스에 따라 비트스트림들로부터 디코딩된다. 근사 역 매핑 함수 invMapBis가 이어서 그 파라미터들로부터 도출된다. invMapBis는 디코더에서 역 매핑을 수행하기 위해 사용된다. 대안적으로, invMapBis는 구축될 필요가 없고, 역 매핑은 섹션 "단순화된 온-더-플라이 역 매핑"에서 설명된 바와 같이 온-더-플라이로 수행된다.

이러한 종래의 접근법의 주요 단점은 코딩 효율의 저하인데, 그 이유는 순방향 LUT의 근사화된 역 LUT와의 연접이 근사화되지 않은 역 LUT를 사용할 때보다 항등 함수에 덜 가깝기 때문에 근사화된 역 LUT가 더 많은 재구성 오류들 또는 드리프트들을 유도하기 때문이다.

인 루프 재성형의 복잡도를 감소시키기 위한 대안의 길은 순방향 및 역 LUT들을 모델링하기 위해 사용되는 피스들의 수를 강하게 제한하는 것이다(전형적으로 16 또는 32 대신에 8). 따라서, 이는 온-더-플라이 역 매핑을 수행할 때 루마 값이 속하는 조각을 식별하기 위해 행해질 검사들의 수를 감소시킬 수 있다. 그러나, 이는 코딩 효율에 명백하게 부정적인 영향을 미친다.

본 명세서에 설명된 일반적인 양태들 하에서, 순방향 인 루프 재성형 곡선(forward in-loop-reshaping curve)을 나타내는 피봇 포인트들 또는 역의 것을 전달하는 것에 의해 역 재성형 프로세스들의 복잡도를 감소시키기 위해 하기의 해결책이 제안된다. 전형적으로, (인코더에서 미리 계산된) 역 인 루프 재성형 곡선만을 나타내는 피봇 포인트들은 인트라 예측된 픽처들에 대한 비트스트림에서 직접 운반되고, 순방향 인 루프 재성형을 나타내는 피봇 포인트들은 비 인트라 픽처들과 연관된 비트스트림에서 전달된다. 순방향 및 대응하는 역 인 루프 재성형(매핑) 함수를 검색하기 위한 상이한 수단들이 아래에 문서화된다.

영향을 받는 도 6의 코덱 모듈들은 본 발명의 변형들에 따라 예측(160, 170, 175, 275) 후에 배치된다. 루프 필터링(165, 265) 이전의 단계가 또한 추가될 수 있다.

하나의 주요 아이디어는 순방향 또는 역 LUT(인 루프 재성형 곡선을 나타냄)를 시그널링하는 것이다. 실시예들은 구현에 있어서 상이할 수 있다. 이하에서, 균일한 LUT는 그 입력 엔트리들이 균일하게 샘플링되는 LUT를 의미한다. "LUT 방향"이라는 용어는 송신된 인 루프 재성형 곡선이 순방향인지 역방향인지를 검증하는 것을 나타낸다. 주요 이점은 인트라 코딩된 픽처들 또는 인트라 슬라이스들/타일들에 대한 역 재성형 계산을 단순화하는 것이다.

본 발명의 공통적인 특징은 역 또는 순방향 인 루프 재성형 곡선 파라미터들이 동시에 전달된다는 것이다. 순방향 및 역방향 LUT의 상호 거동에 관한 상이한 구현들이 설명된다.

일 실시예에서, 균일하게 샘플링된 재성형 룩업 테이블(LUT)이 전달되고, 표시자는 상기 전달된 LUT가 역 LUT임을 나타낸다. 도 10b는 종래 기술에서 설명된 것과 동일한 2개의 제1 스테이지를 구현한다(단계 401 및 402). 단계(403)은 균일하게 샘플링된 역 재성형 LUT로부터의 불균일하게 샘플링된 순방향 재성형 LUT의 도출에 대응한다. 단계(404)는 이하에서 설명되는 실시예들에 따른 균일하게 샘플링된 역 재성형 LUT로부터의 크로마 잔차 스케일링 LUT의 도출이다.

유리하게는, 균일하게 샘플링된 역 재성형 LUT는 대응하는 인트라 코딩된 픽처들/슬라이스들/타일들로 전달된다. 불균일하게 샘플링된 순방향 재성형 LUT는 인터 코딩된 픽처들/슬라이스들/타일들과 함께 사용하기 위해 균일하게 샘플링된 역 재성형 LUT로부터 도출된다.

전형적으로, 불균일하게 샘플링된 역 재성형 LUT InvMap는 종래 제안에서 문서화된 바와 같은 균일하게 샘플링된 순방향 재성형 LUT FwdMap로부터 인코더에 의해 계산된다. 그 다음, InvMap의 균일하게 샘플링된 버전인 InvMapBis는 종래 제안에서 문서화된 것과 같은 균일한 회귀(uniform regression)에 따라 생성된다. 결국, FwdMapBis는 InvMapBis의 역으로서 도출되고, 불균일하게 샘플링된 순방향 재성형 LUT를 나타낸다(도 10b의 단계 403).

통상적으로, 전달되는 피봇 포인트들의 수는 FwdMap에 대해 사용되는 것과 동일하다(8 또는 16).

예로서, 종래 기술의 신택스는 전달된 LUT의 성질의 시그널링, 즉, 역 또는 순방향을 추가하도록 변경된다. 하나의 제안된 신택스는 다음과 같다:

0에 설정될 때, tile_group_reshaper_direction_flag는 전달된 LUT가 순방향 LUT를 나타낸다는 것을 표시한다. 1에 설정될 때, 이는 전달된 LUT가 역 LUT를 나타낸다는 것을 표시한다. 유리하게는, reshaper_min_bin_idx 시맨틱이 종래 기술에 비해 조정된다. tile_group_reshaper_direction_flag가 0에 설정될 때, 이는 (종래 기술과 동일한) 전달된 순방향 LUT의 전달된 최소 빈 인덱스를 나타낸다. tile_group_reshaper_direction_flag가 1에 설정될 때, 이는 전달된 역 LUT의 전달된 최소 빈 인덱스를 나타낸다.

변형으로서, tile_group_reshaper_direction_flag의 값이 무엇이든지 간에, reshaper_min_bin_idx 시맨틱은 종래 기술에 비해 변경되지 않는다. 그 경우, tile_group_reshaper_direction_flag가 1에 설정될 때, 전달된 역 LUT의 최소 빈 인덱스는 고정된 수인 것으로 결정된다. 예를 들어, 이 고정된 수는 0인데, 즉, 전달된 역 LUT의 최소 빈 인덱스는 0과 동일하게 설정된다. 덧붙여, (tile_group_reshaper_direction_flag가 1에 설정될 때), reshaper_min_bin_idx는 역 LUT의 원점에서 적용될 세로좌표 값 오프셋(y 오프셋)을 나타낼 수 있는데, 즉 전달된 역 LUT를 나타내는 제1 피봇 포인트는 reshaper_min_bin_idx * OrgCW와 동일할 수 있으며, 여기서 예를 들어, OrgCW = (1 << BitdepthY)/16이다. OrgCW는 조각별 선형 매핑 함수의 균일한 샘플링 단계를 나타낸다. 예로서 OrgCW=64이다. BitdepthY는 매핑 LUT의 정밀도 또는 콘텐츠의 비트 깊이를 나타낸다. 예로서, BitdepthY=10이다.

유리하게는, reshaper_delta_max_bin_idx 시맨틱은 종래 기술에 비해 조정된다. tile_group_reshaper_direction_flag가 0에 설정될 때, 이는 전달된 순방향 LUT의 전달된 최대 빈 인덱스를 나타낸다. tile_group_reshaper_direction_flag가 1에 설정될 때, 이는 전달된 역 LUT의 전달된 최대 빈 인덱스를 나타낸다.

전형적으로, 역 재성형 LUT의 최대 빈 인덱스(reshaperModelMaxBinIdxInv)는 다음과 같이 순방향 재성형 LUT의 최대 빈 인덱스(reshaperModelMaxBinIdx)로부터 도출된다:

reshaperModelMaxBinIdxInv = reshapePivotInv[reshaperModelMaxBinIdx + 1] >> log2PwlInvBinLen

여기서 log2PwlInvBinLen은 균일한 샘플링 단계의 로그의 밑 2이다. 예로서, log2PwlInvBinLen은 6과 동일하다. reshapePivotInv[i]는 역 재성형 LUT를 구성하는 i번째 피봇 포인트이다.

유리하게는, FwdMapBis는 InvMapBis 및 FwdMapBis의 경계들이 다음과 같이 함께 매칭되거나 또는 서로의 역이 되도록 클리핑(clip)된다:

여기서, lutSize는 FwdMapBis LUT의 크기와 동일하다. 예로서, lutSize=1024이다.

LMCS(luma mapping with chroma scaling)라고도 알려진 재성형(reshaping)은 또한 CRS(Chroma Residual Scaling) 스테이지를 포함할 수 있다. 통상적으로, 이 스테이지는 인터 픽처들의 크로마 레시듀들(chroma residues)에 대해 동작한다. CRA는 또한 예를 들어, 크로마 샘플 가용성 레이턴시 문제들을 회피하기 위해서 듀얼 인트라 트리 모드가 디스에이블될 때 인트라 픽처 크로마 레시듀들에 적용될 수 있다. CRS는 크로마 스케일링 LUT에 의해 표현된다. 전형적으로, 종래 기술에서, 순방향 재성형 LUT가 전달될 때, 이 CRS LUT는 상기 순방향 LUT를 구성하는 각각의 선형 부분의 기울기로서 계산된다.

예로서, CRS LUT는 정수 구현으로 다음과 같이 도출된다:

여기서 CSCALE_FP_PREC는 LUT의 정밀도이다. 예로서 CSCALE_FP_PREC = 11이다. CRS_LUT[i]는 CRS LUT이고, 인덱스 i는 PIC_CODE_CW_BINS 균일 샘플링 부분들에서 가로좌표 스플릿의 i번째 부분을 지정한다. 인덱스 i=0은 0에서 시작한다. PIC_CODE_CW_BINS는 16과 동일할 수 있다. binCW[i]는 재성형 곡선을 나타내는 피봇 포인트들의 세로좌표 값들의 차이를 나타낸다. 이 방법의 단점은 정수 나눗셈을 필요로 한다는 것이다. 정수 구현은 시프트를 선호한다.

역 재성형 LUT가 제안된 바와 같이 전달될 때, CRS LUT의 계산은 단순화되는데, 그 이유는 역 재성형 LUT 기울기가 균일하게 샘플링된 피봇 포인트들로부터 계산되기 때문이다(도 10b의 단계 404).

여기서 log2PwlInvBinLen은 균일한 샘플링 단계의 로그의 밑 2이다. 예로서, log2PwlInvBinLen은 6과 동일하다. 이 구현은 정수 구현 친화적이다.

유리하게는, 변환 유닛(TU)에 대한 크로마 잔차(CRS_TU)의 스케일링의 계산은 균일하게 샘플링되는 역 재성형 LUT에서의 매핑된 크로마 레시듀의 인덱스 위치에 의존하기 때문에 매우 단순화된다. 결과적으로, 역 재성형 LUT 인덱스 국소화(localization)를 호출할 때 이진 검색이 필요하지 않으며, 간단한 우측 시프트 연산 덕분에 크로마 레시듀의 스케일링의 픽셀별 계산이 수행된다.

CRS_TU = CRS_LUT[lumaIdx >> log2PwlInvBinLen]

여기서 lumaIdx는 현재 TU에서의 평균 (매핑된) 루마를 나타낸다.

변형으로서, 균일하게 샘플링된 재성형 LUT가 전달되고, 표시자(플래그)는 상기 전달된 LUT가 역 LUT인지 순방향 LUT인지를 표시한다.

유리하게는, 균일한 역 LUT는 대응하는 인트라 코딩된 픽처들/슬라이스들/타일들로 (즉, 동일한 슬라이스/타일/코딩된 픽처 내에서 또는 대응하는 활성 파라미터 세트로) 전달되는 한편, 균일한 순방향 LUT는 적어도 다음의 비 인트라(즉, 인터) 코딩된 픽처로 전달된다. 인트라 코딩된 픽처들에 대응하는 균일한 역 LUT는 불균일한 순방향 LUT로부터 도출될 수 있다는 점에 유의한다.

균일한 순방향 LUT 및 대응하는 균일한 역 LUT가 정확히 상반되지 않고, 따라서 재구성 근사화로 인한 코딩 이득들의 중요한 손실을 유발하는 종래 제안의 단점을 피하기 위해, 이 실시예 변형은 재성형 LUT가 새로운 LUT로 대체될 때까지 연관된 코딩된 픽처에만 적용되는 것을 제안한다.

예로서, 역 재성형 LUT(InvMapBis)는 제1 인트라 코딩된 픽처(I1)로 전달된다. InvMapBis는 I1에 적용된다. 그 후, 순방향 재성형 LUT(FwdMap)가 디코딩 순서로 제1 비 인트라(인터) 코딩된 픽처(B1)로 전달된다. FwdMap은 B1에서의 인터 모드에 적용되고, FwdMap의 역이 계산되고, inv(FwdMap)=InvMap이며, 이는 B1의 인트라 모드에 적용된다. InvMapBis는 제2 역 LUT InvMapBis2가 코딩된 픽처 I2로 전달될 때를 제외하고는 다음의 모든 인트라 코딩된 픽처 I2에 적용될 수 있다. 따라서, 모든 인트라 코딩된 픽처에 전용인 역 LUT 및 인터 픽처들에 대한 순방향 LUT(도출된 역 비균일 LUT를 가짐)가 존재한다.

도 8에서, 재성형 LUT 방향 플래그는 인트라 픽처들(현재 프로세스에 대응하는 0/No)에 대해 1에 설정되며, 따라서 ("아니오" 분기와 비교할 때) 역 재성형 프로세스가 단순화될 것으로 예상된다. 이는, 예를 들어, 고품질 고객 카메라들에 의해 이용되는 바와 같이, 기여 네트워크들 또는 모든 인트라 프로파일들에 종종 존재하는 것과 같은 모든 인트라 비트스트림들에 대해 특히 의미가 있다.

전형적으로, InvMapBis는 종래 제안에서 문서화된 것과 같은 inv(FwdMap)의 균일한 회귀로서 FwdMap으로부터 인코더에 의해 계산된다. 통상적으로, 전달되는 피봇 포인트들의 수는 FwdMap에 대해 사용되는 것과 동일하다(8 또는 16). 종래의 제안과는 달리, 인트라 디코딩 프로세스에서 역(reciprocal)이 요구되지 않으므로, 이 경우에는 추가적인 정밀도가 요구되지 않는다; 게다가, InvMapBis의 비균일 역(non-uniform inverse)이 인트라 픽처들에 대해 인코더에서 적용되는 순방향 LUT로서 사용될 수 있다.

(기여 네트워크들에서 사용되는 바와 같은) 모든 인트라 코딩된 픽처 비트스트림들의 경우에, 제안된 접근법은 코딩된 인트라 픽처들의 디코딩(온-더-플라이 계산) 동안 균일한 역 LUT만이 전달되고 직접 적용되기 때문에 더 간단하다.

하나의 제안된 신택스는 다음과 같다:

0에 설정될 때, sps_reshaper_inv_direction_flag는 전달된 LUT가 순방향 LUT를 나타낸다는 것을 표시한다. 1에 설정될 때, 이는 전달된 LUT가 역 LUT를 나타낸다는 것을 표시한다.

대안적으로, 이 표시자는 tile_group_header() 또는 tile_group_reshaper_model()에 존재할 수 있다.

전형적으로, 실제 LUT는 제2 전술한 JVET 기여에 문서화된 tile_group_reshaper_model()과 같은 구조로 전달된다.

변형으로서, 전달된 역 LUT는 균일하지 않다. 이는, 상기 전달된 역 LUT의 역(즉, 순방향 LUT)이 인트라 디코딩 프로세스에 의해 요구되지 않는 (인덱스만이 이진 검색으로 검색될 필요가 있는) 모든 인트라 코딩된 비트스트림들에 대해 유리할 수 있다.

변형으로서, 전달된 역 LUT는 인코더/디코더에서 반전되어 대응하는 순방향 LUT를 검색한다(다음 비 인트라 픽처를 갖는 새로운 순방향 LUT의 송신을 절약함).

재성형 LUT(순방향 또는 역)의 성질이 재성형 LUT가 연관되어 있는 슬라이스/타일 그룹 유형으로부터 추론되는 이전의 실시예로부터 암시적 모드가 도출될 수 있다는 것에 유의할 가치가 있다. 이 변형에서, SPS에서 또는 타일 그룹에서 전달되는 재성형 방향 플래그는 요구되지 않는다.

예로서, tile_group_type==1 일 때, 역 재성형 LUT가 tile_group_header에서 전달된다. tile_groupe_type ! = 1일 때, 순방향 재성형 LUT가 tile_group_header에서 전달된다.

본 발명은 특히 인트라 코딩된 슬라이스들/타일들에 대한 복잡성의 감소를 가능하게 한다. 실제로, 전달된 순방향 LUT의 역은 물론이고 적절한 인덱스를 계산하기보다는 이러한 픽처들/슬라이스들/타일들에 대해 역 재성형 LUT가 직접 제공된다. 비 인트라 슬라이스들은 순방향 LUT가 전달되는 현재 모델을 추구할 수 있다.

여기에 설명된 일반적인 양태들을 이용하는 방법(1100)의 일 실시예가 도 11에 도시되어 있다. 방법은 시작 블록(1101)에서 시작하고, 제어는 압축된 비디오 데이터의 비트스트림에 파라미터들을 삽입하기 위한 기능 블록(1110)으로 진행하며, 파라미터들은 예측 데이터에 대해 동작하는 인 루프 재성형 필터를 나타낸다. 이후 제어는 비트스트림에 파라미터들과 함께 포함시키기 위해 예측 데이터를 이용하여 비디오 데이터의 블록들을 인코딩하기 위하여 블록(1110)으로부터 블록(1120)으로 진행한다.

여기에 설명된 일반적인 양태들을 이용하는 방법(1200)의 일 실시예가 도 12에 도시되어 있다. 방법은 시작 블록(1201)에서 시작하고, 제어는 압축된 비디오 데이터의 비트스트림에서의 파라미터들을 수신하기 위한 기능 블록(1210)으로 진행하고, 파라미터들은 재구성된 데이터에 대해 동작하는 인 루프 재성형 필터를 나타낸다. 이후 제어는 재구성된 데이터 및 비트스트림으로부터의 파라미터들을 이용하여 비디오 데이터의 블록들을 디코딩하기 위하여 블록(1210)으로부터 블록(1220)으로 진행한다.

도 13은 비트스트림에 포함된 파라미터들에 의해 비디오 데이터의 블록을 인코딩 또는 디코딩하기 위한 장치(1300)의 일 실시예를 도시한다. 장치는 프로세서(1310)를 포함하고, 적어도 하나의 포트를 통해 메모리(1320)에 인터커넥션될 수 있다. 프로세서(1310) 및 메모리(1320) 둘 모두는 또한 외부 연결들에 대한 하나 이상의 부가 인터커넥션을 가질 수 있다.

프로세서(1310)는 비트스트림에 파라미터들을 삽입 또는 수신하고, 파라미터들을 이용하여 비디오 데이터의 블록을 인코딩 또는 디코딩하도록 구성된다.

이 출원은 도구, 특징, 실시예, 모델, 접근법 등을 포함하는 다양한 양태를 설명한다. 다수의 이 양태들은 특별한 점을 설명하고, 적어도 개별 특성들을 보여주기 위해, 제한하는 것일 수 있는 방식으로 종종 설명된다. 그러나, 이는 설명의 명료함을 위한 것이고, 그들 양태들의 적용 또는 범위를 제한하지 않는다. 실제로, 추가의 양태들을 제공하기 위해 상이한 양태들 모두가 조합되고 교환될 수 있다. 더구나, 양태들은 마찬가지로 초기의 출원들에서 설명된 양태들과 조합되고 교환될 수 있다.

이 출원에서 설명되고 고려되는 양태들은 많은 상이한 형태들로 구현될 수 있다. 도 14, 도 15, 및 도 16은 일부 실시예들을 제공하지만, 다른 실시예들이 고려되며, 도 14, 도 15, 및 도 16의 논의는 구현들의 범위를 한정하지 않는다. 양태들 중 적어도 하나는 일반적으로 비디오 인코딩 및 디코딩에 관한 것이고 적어도 하나의 다른 양태는 일반적으로 생성되거나 또는 인코딩된 비트스트림을 송신하는 것에 관한 것이다. 이들 및 다른 양태들은 방법, 장치, 설명된 방법들 중 임의의 것에 따라 비디오 데이터를 인코딩 또는 디코딩하기 위한 명령어들을 저장하는 컴퓨터 판독가능 저장 매체, 및/또는 설명된 방법들 중 임의의 것에 따라 생성된 비트스트림을 저장하는 컴퓨터 판독가능 저장 매체로서 구현될 수 있다.

본 출원에서, "재구성된" 및 "디코딩된"이라는 용어들은 상호교환가능하게 사용될 수 있으며, "픽셀" 및 "샘플"이라는 용어들은 상호교환가능하게 사용될 수 있으며, "이미지", "픽처" 및 "프레임"이라는 용어들은 상호교환가능하게 사용될 수 있다. 필수적은 아니지만 통상적으로, 용어 "재구성된"은 인코더 측에서 사용되는 한편, "디코딩된"은 디코더 측에서 사용된다.

다양한 방법들이 본 명세서에서 설명되었고, 방법들 각각은 설명된 방법을 달성하기 위한 하나 이상의 단계 또는 액션을 포함한다. 방법의 적절한 동작을 위해 단계들 또는 액션들의 특정 순서가 요구되지 않으면, 특정 단계들 및/또는 액션들의 순서 및/또는 사용은 수정되거나 조합될 수 있다.

이 출원에서 설명되는 다양한 방법들 및 다른 양태들은 도 14 및 도 15에 도시된 바와 같은 비디오 인코더(100) 및 디코더(200)의 모듈들, 예를 들어, 인트라 예측, 엔트로피 코딩, 및/또는 디코딩 모듈들(160, 360, 145, 330)을 수정하기 위해 사용될 수 있다. 더구나, 본 양태들은 VVC 또는 HEVC로만 제한되지 않고, 예를 들어, 이미 존재하든 또는 장래에 개발되든 간에, 다른 표준들 및 권고안들과, (VVC 및 HEVC를 포함한) 임의의 이러한 표준들 및 권고안들의 확장들에 적용될 수 있다. 달리 표시되지 않거나 또는 기술적으로 배제되지 않는 한, 이 출원에서 설명되는 양태들은 개별적으로 또는 조합하여 사용될 수 있다.

다양한 수치 값들이 본 출원에서 사용된다. 특정 값들은 예시적인 목적들을 위한 것이고 설명되는 양태들은 이러한 특정 값들로만 제한되지는 않는다.

도 14는 인코더(100)를 도시한다. 이 인코더(100)의 변형들이 구상되지만, 인코더(100)는 모든 예상되는 변형들을 설명하지 않고서 명료함을 위해 아래에서 설명된다.

인코딩되기 전에, 비디오 시퀀스는 프리-인코딩 처리(101), 예를 들어, 입력 컬러 픽처에 컬러 변환을 적용하는 것(예를 들어, RGB 4:4:4로부터 YCbCr 4:2:0로의 변환), 또는 (예를 들면 컬러 컴포넌트들 중 하나의 것의 히스토그램 등화를 사용하여) 압축에 더 탄력적인 신호 분포를 얻기 위하여 입력 픽처 컴포넌트들의 리매핑을 수행하는 것을 거칠 수 있다. 메타데이터는 전처리와 연관되고 비트스트림에 첨부될 수 있다.

인코더(100)에서, 픽처는 아래에서 설명되는 바와 같이 인코더 요소들에 의해 인코딩된다. 인코딩될 픽처는 예를 들어, CU들의 유닛들로 파티셔닝되고(102) 처리된다. 각각의 유닛은 예를 들어, 인트라 또는 인터 모드를 사용하여 인코딩된다. 유닛이 인트라 모드에서 인코딩될 때, 이는 인트라 예측(160)을 수행한다. 인터 모드(inter mode)에서는, 모션 추정(motion estimation)(175) 및 보상(compensation)(170)이 수행된다. 인코더는 유닛을 인코딩하기 위해 사용할 인트라 모드 또는 인터 모드 중 어느 하나를 결정(105)하고, 예를 들어, 예측 모드 플래그에 의해 인트라/인터 결정을 표시한다. 예측 잔차들은, 예를 들어, 원래의 이미지 블록에서 예측된 블록을 감산함으로써(110) 계산된다.

예측 잔차들이 이어서 변환되고(125) 양자화된다(130). 양자화된 변환 계수들뿐만 아니라 모션 벡터들(motion vectors) 및 다른 신택스 요소들은, 비트스트림을 출력하도록 엔트로피 코딩(145)된다. 인코더는 변환을 건너 뛰고 비변환된 잔차 신호에 직접적으로 양자화를 적용할 수 있다. 인코더는 변환 및 양자화 둘 다를 건너 뛸 수 있는데, 즉, 잔차는 변환 또는 양자화 프로세스들의 적용 없이 직접 코딩될 수 있다.

인코더는 추가적 예측들을 위한 참조를 제공하기 위해 인코딩된 블록을 디코딩한다. 예측 잔차들을 디코딩하기 위해, 양자화된 변환 계수들은 탈양자화되고(140) 역변환된다(150). 디코딩된 예측 잔차들 및 예측된 블록을 조합하면(155), 이미지 블록이 재구성된다. 인 루프 필터들(165)은, 예를 들어, 인코딩 아티팩트들을 줄이기 위한 디블로킹(deblocking)/SAO(Sample Adaptive Offset) 필터링을 수행하기 위해 재구성된 픽처에 적용된다. 필터링된 이미지는 참조 픽처 버퍼(180)에 저장된다.

도 15는 비디오 디코더(200)의 블록도를 도시한다. 디코더(200)에서, 비트스트림은 아래에서 설명되는 바와 같이 디코더 요소들에 의해 디코딩된다. 비디오 디코더(200)는 일반적으로 도 14에 기술된 바와 같은 인코딩 패스에 역인 디코딩 패스를 수행한다. 인코더(100)는 또한 비디오 데이터를 인코딩하는 일환으로서 비디오 디코딩을 일반적으로 수행한다.

특히, 디코더의 입력은 비디오 인코더(100)에 의해 생성될 수 있는 비디오 비트스트림을 포함한다. 비트스트림은, 변환 계수들, 모션 벡터들, 및 다른 코딩된 정보를 획득하기 위해 먼저 엔트로피 디코딩된다(230). 픽처 파티션 정보는 픽처가 파티셔닝되는 방법을 표시한다. 그러므로 디코더는 디코딩된 픽처 파티셔닝 정보에 따라 픽처를 분할할 수 있다(235). 변환 계수들은 예측 잔차들을 디코딩하기 위해 탈양자화되고(240) 역변환된다(250). 디코딩된 예측 잔차들 및 예측된 블록을 조합하면(255), 이미지 블록이 재구성된다. 예측된 블록은 인트라 예측(260) 또는 모션 보상 예측(즉, 인터 예측)(275)으로부터 획득될 수 있다(270). 인 루프 필터들(265)은 재구성된 이미지에 대해 적용된다. 필터링된 이미지는 참조 픽처 버퍼(280)에 저장된다.

디코딩된 픽처는 포스트-디코딩 처리(285), 예를 들어, 역 컬러 변환(예를 들어, YCbCr 4:2:0부터 RGB 4:4:4로의 변환) 또는 프리-인코딩 처리(101)에서 수행되는 리매핑 프로세스의 역을 수행하는 역 리매핑을 추가로 거칠 수 있다. 포스트-디코딩 처리는 프리-인코딩 처리에서 도출되고 비트스트림에서 시그널링되는 메타데이터를 사용할 수 있다.

도 16은 다양한 양태들 및 실시예들이 구현되는 시스템의 예의 블록도를 예시한다. 시스템(1000)은 아래에서 설명되는 다양한 컴포넌트들을 포함하는 디바이스로서 실시될 수 있고 이 문서에서 설명되는 양태들 중 하나 이상을 수행하도록 구성된다. 그러한 디바이스들의 예들은 개인용 컴퓨터, 랩톱 컴퓨터, 스마트폰, 태블릿 컴퓨터, 디지털 멀티미디어 셋톱 박스, 디지털 텔레비전 수신기, 개인 비디오 기록 시스템, 접속된 가전 기기, 및 서버와 같은 다양한 전자 디바이스들을 포함하지만 이에 한정되지는 않는다. 시스템(1000)의 요소들은, 단독으로 또는 조합하여, 단일 집적 회로(IC), 다중 IC, 및/또는 이산 컴포넌트들로 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(1000)의 처리 및 인코더/디코더 요소들은 다중 IC 및/또는 이산 컴포넌트들에 걸쳐 분산된다. 다양한 실시예들에서, 시스템(1000)은, 예를 들어, 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해 하나 이상의 다른 시스템에, 또는 다른 전자 디바이스들에 통신가능하게 결합된다. 다양한 실시예들에서, 시스템(1000)은 본 문서에서 설명된 양태들 중 하나 이상을 구현하도록 구성된다.

시스템(1000)은, 예를 들어, 본 문서에 설명된 다양한 양태들을 구현하기 위해, 그 안에 로딩된 명령어들을 실행하도록 구성된 적어도 하나의 프로세서(1010)를 포함한다. 프로세서(1010)는 임베디드 메모리, 입력 출력 인터페이스, 및 본 기술분야에 공지된 다양한 다른 회로들을 포함할 수 있다. 시스템(1000)은 적어도 하나의 메모리(1020)(예를 들어, 휘발성 메모리 디바이스, 및/또는 비휘발성 메모리 디바이스)를 포함한다. 시스템(1000)은 EEPROM(Electrically Erasable Programmable Read-Only Memory), ROM(Read-Only Memory), PROM(Programmable Read-Only Memory), RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), 플래시, 자기 디스크 드라이브, 및/또는 광 디스크 드라이브를 포함하지만 이에 한정되지는 않는 비휘발성 메모리 및/또는 휘발성 메모리를 포함할 수 있는 저장 디바이스(1040)를 포함한다. 저장 디바이스(1040)는 비제한적 예들로서, 내부 저장 디바이스, 부착된 저장 디바이스(분리식(detachable) 및 비분리식 저장 디바이스들을 포함함), 및/또는 네트워크 액세스가능한 저장 디바이스를 포함할 수 있다.

시스템(1000)은, 예를 들어, 인코딩된 비디오 또는 디코딩된 비디오를 제공하기 위해 데이터를 처리하도록 구성된 인코더/디코더 모듈(1030)을 포함하고, 인코더/디코더 모듈(1030)은 그 자신의 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(1030)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 둘 모두를 포함할 수 있다. 또한, 인코더/디코더 모듈(1030)은 시스템(1000)의 별도 요소로서 구현될 수 있거나, 또는 본 기술분야의 통상의 기술자에게 공지된 바와 같이 하드웨어 및 소프트웨어의 조합으로서 프로세서(1010) 내에 통합될 수 있다.

본 문서에 설명된 다양한 양태들을 수행하기 위해 프로세서(1010) 또는 인코더/디코더(1030) 상에 로딩될 프로그램 코드는 저장 디바이스(1040)에 저장될 수 있고, 후속하여 프로세서(1010)에 의한 실행을 위해 메모리(1020) 상에 로딩될 수 있다. 다양한 실시예들에 따르면, 프로세서(1010), 메모리(1020), 저장 디바이스(1040), 및 인코더/디코더 모듈(1030) 중 하나 이상은 본 문서에 설명된 프로세스들의 수행 동안 다양한 아이템들 중 하나 이상을 저장할 수 있다. 이러한 저장된 아이템들은 입력 비디오, 디코딩된 비디오 또는 디코딩된 비디오의 부분들, 비트스트림, 행렬들, 변수들, 및 수학식들, 공식들, 연산들 및 연산 로직의 처리로부터의 중간 또는 최종 결과들을 포함할 수 있지만, 이에 제한되지는 않는다.

몇몇 실시예에서, 프로세서(1010) 및/또는 인코더/디코더 모듈(1030)의 내부에 있는 메모리는 명령어들을 저장하기 위해 및 인코딩 또는 디코딩 동안 필요한 처리를 위한 작업 메모리를 제공하기 위해 사용된다. 그러나, 다른 실시예들에서, 처리 디바이스 외부의 메모리(예를 들어, 처리 디바이스는 프로세서(1010) 또는 인코더/디코더 모듈(1030) 중 하나일 수 있음)가 이러한 기능들 중 하나 이상을 위해 사용된다. 외부 메모리는 메모리(1020) 및/또는 저장 디바이스(1040), 예를 들어, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 몇몇 실시예에서, 외부 비휘발성 플래시 메모리는 예를 들어, 텔레비전의 운영 체제를 저장하기 위해 사용된다. 적어도 하나의 실시예에서, RAM과 같은 고속 외부 동적 휘발성 메모리는 MPEG-2(MPEG는 Moving Picture Experts Group를 지칭하고, MPEG-2는 ISO/IEC 13818로도 지칭되고, 13818-1은 H.222로도 알려져 있고, 13818-2는 H.262로도 알려져 있음), HEVC(HEVC는 H.265 및 MPEG-H 파트 2로도 알려져 있는 고효율 비디오 코딩을 지칭함), 또는 VVC(Versatile Video Coding, JVET, Joint Video Experts Team에 의해 개발되고 있는 새로운 표준)와 같은 비디오 코딩 및 디코딩 동작들을 위한 작업 메모리로서 사용된다.

시스템(1000)의 요소들에의 입력은 블록(1130)에 표시된 바와 같이 다양한 입력 디바이스들을 통해 제공될 수 있다. 이러한 입력 디바이스들은 (i) 예를 들어, 브로드캐스터에 의해 공중을 통해 송신된 RF 신호를 수신하는 무선 주파수(RF) 부분, (ii) 컴포넌트(COMP) 입력 단자(또는 COMP 입력 단자들의 세트), (iii) 범용 직렬 버스(USB) 입력 단자, 및/또는 (iv) 고선명 멀티미디어 인터페이스(HDMI) 입력 단자를 포함하지만, 이에 한정되지는 않는다. 도 16에 도시되지 않은 다른 예들은 합성 비디오를 포함한다.

다양한 실시예들에서, 블록(1130)의 입력 디바이스들은 관련 기술분야에 알려진 바와 같은 연관된 각자의 입력 처리 요소들을 갖는다. 예를 들어, RF 부분은 (i) 원하는 주파수를 선택하는 것(또한 신호를 선택하는 것, 또는 주파수들의 대역에 신호를 대역 제한하는 것으로 지칭됨), (ii) 선택된 신호를 다운컨버팅하는 것, (iii) 주파수들의 더 좁은 대역으로 다시 대역 제한하여 특정 실시예들에서 채널로 지칭될 수 있는 (예를 들어) 신호 주파수 대역을 선택하는 것, (iv) 다운컨버팅된 및 대역 제한된 신호를 복조하는 것, (v) 오류 정정을 수행하는 것, 및 (vi) 원하는 데이터 패킷들의 스트림을 선택하도록 디멀티플렉싱하기 위해 적절한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 부분은 이러한 기능들을 수행하기 위한 하나 이상의 요소, 예를 들어, 주파수 선택기들, 신호 선택기들, 대역 제한기들, 채널 선택기들, 필터들, 다운컨버터들, 복조기들, 오류 정정기들, 및 디멀티플렉서들을 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 근 기저대역 주파수)로 또는 기저대역으로 다운컨버팅하는 것을 포함하여, 다양한 이러한 기능들을 수행하는 튜너를 포함할 수 있다. 하나의 셋톱 박스 실시예에서, RF 부분 및 그것의 연관된 입력 처리 요소는 유선(예를 들어, 케이블) 매체를 통해 송신되는 RF 신호를 수신하고, 필터링, 다운컨버팅, 및 원하는 주파수 대역으로의 재차 필터링에 의해 주파수 선택을 수행한다. 다양한 실시예들은 전술한 (및 다른) 요소들의 순서를 재배열하고, 이 요소들의 일부를 제거하고, 및/또는 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다. 요소들을 추가하는 것은, 예를 들어, 증폭기들과 아날로그-투-디지털 변환기를 삽입하는 것과 같이 기존 요소들 사이 내에 요소들을 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 부분은 안테나를 포함한다.

또한, USB 및/또는 HDMI 단말기들은 USB 및/또는 HDMI 접속들을 통해 다른 전자 디바이스들에 시스템(1000)을 접속하기 위한 각자의 인터페이스 프로세서들을 포함할 수 있다. 입력 처리의 다양한 양태들, 예를 들어, 리드-솔로몬(Reed-Solomon) 오류 정정이, 예를 들어, 별도의 입력 처리 IC 내에서 또는 필요에 따라 프로세서(1010) 내에서 구현될 수 있다는 것을 이해해야 한다. 유사하게, USB 또는 HDMI 인터페이스 처리의 양태들은 필요에 따라 별도의 인터페이스 IC들 내에서 또는 프로세서(1010) 내에서 구현될 수 있다. 복조된, 오류 정정된, 및 디멀티플렉싱된 스트림은, 예를 들어, 프로세서(1010), 및 출력 디바이스 상의 프레젠테이션을 위해 필요한 대로 데이터 스트림을 처리하기 위해 메모리 및 저장 요소들과 조합하여 동작하는 인코더/디코더(1030)를 포함하는 다양한 처리 요소들에 제공된다.

시스템(1000)의 다양한 요소들이 통합된 하우징 내에서 제공될 수 있다. 통합된 하우징 내에서, 다양한 요소들이 인터커넥션될 수 있고, 적절한 접속 배열, 예를 들어, I2C(Inter-IC) 버스, 배선, 및 인쇄 회로 기판을 포함하여 관련 기술분야에 공지된 바와 같은 내부 버스를 사용하여 그 사이에서 데이터를 송신할 수 있다.

시스템(1000)은 통신 채널(1060)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(1050)를 포함한다. 통신 인터페이스(1050)는 통신 채널(1060)을 통해 데이터를 송신하고 수신하도록 구성된 송수신기를 포함할 수 있지만, 이에 한정되는 것은 아니다. 통신 인터페이스(1050)는 모뎀 또는 네트워크 카드를 포함할 수 있지만, 이에 한정되지는 않으며, 통신 채널(1060)은 예를 들어, 유선 및/또는 무선 매체 내에 구현될 수 있다.

다양한 실시예들에서, Wi-Fi 네트워크, 예를 들어, IEEE 802.11(IEEE는 Institute of Electrical and Electronics Engineers를 지칭함)과 같은 무선 네트워크를 사용하여 데이터가 시스템(1000)에 스트리밍되거나 또는 다른 방식으로 제공된다. 이러한 실시예들의 Wi-Fi 신호는 Wi-Fi 통신들을 위해 적응되는 통신 인터페이스(1050) 및 통신 채널(1060)을 통해 수신된다. 이러한 실시예들의 통신 채널(1060)은 스트리밍 애플리케이션들 및 다른 OTT(over-the-top) 통신들을 허용하기 위한 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 통상적으로 접속된다. 다른 실시예들은 입력 블록(1130)의 HDMI 접속을 통해 데이터를 전달하는 셋톱 박스를 사용하여 스트리밍된 데이터를 시스템(1000)에 제공한다. 또 다른 실시예들은 입력 블록(1130)의 RF 접속을 사용하여 스트리밍된 데이터를 시스템(1000)에 제공한다. 위에 언급한 바와 같이, 다양한 실시예들은 비 스트리밍 방식으로 데이터를 제공한다. 추가적으로, 다양한 실시예들은 Wi-Fi 이외의 무선 네트워크들, 예를 들어, 셀룰러 네트워크 또는 블루투스 네트워크를 사용한다.

시스템(1000)은 디스플레이(1100), 스피커들(1110), 및 다른 주변 기기 디바이스들(1120)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다양한 실시예들의 디스플레이(1100)는, 예를 들어, 터치스크린 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 곡면 디스플레이, 및/또는 폴더블 디스플레이 중 하나 이상을 포함한다. 디스플레이(1100)는 텔레비전, 태블릿, 랩톱, 셀 폰(mobile phone), 또는 다른 디바이스를 위한 것일 수 있다. 디스플레이(1100)는 (예를 들어, 스마트폰에서와 같이) 다른 컴포넌트들과 통합되거나, 또는 별개일 수 있다(예를 들어, 랩톱에 대한 외부 모니터). 다른 주변기기 디바이스들(1120)은, 실시예들의 다양한 예들에서, 독립형 디지털 비디오 디스크(또는 디지털 다기능 디스크)(DVR, 두 용어 모두에 대해), 디스크 플레이어, 스테레오 시스템, 및/또는 조명 시스템 중 하나 이상을 포함한다. 다양한 실시예들은 시스템(1000)의 출력에 기초하여 기능을 제공하는 하나 이상의 주변기기 디바이스(1120)를 사용한다. 예를 들어, 디스크 플레이어는 시스템(1000)의 출력을 재생하는 기능을 수행한다.

다양한 실시예들에서, 제어 신호들은 AV.Link, CEC(Consumer Electronics Control), 또는 사용자 개입을 이용하거나 이용하지 않고 디바이스-투-디바이스 제어를 가능하게 하는 다른 통신 프로토콜들과 같은 시그널링을 이용하여 시스템(1000)과 디스플레이(1100), 스피커들(1110), 또는 다른 주변기기 디바이스들(1120) 사이에서 통신된다. 출력 디바이스들은 각자의 인터페이스들(1070, 1080, 및 1090)을 통한 전용 접속들을 통해 시스템(1000)에 통신가능하게 결합될 수 있다. 대안적으로, 출력 디바이스들은 통신 인터페이스(1050)를 통해 통신 채널(1060)을 사용하여 시스템(1000)에 접속될 수 있다. 디스플레이(1100) 및 스피커들(1110)은, 예를 들어, 텔레비전과 같은 전자 디바이스에서 시스템(1000)의 다른 컴포넌트들과 함께 단일 유닛에 통합될 수 있다. 다양한 실시예들에서, 디스플레이 인터페이스(1070)는, 예를 들어, 타이밍 제어기(T Con) 칩과 같은 디스플레이 드라이버를 포함한다.

디스플레이(1100) 및 스피커(1110)는 대안적으로, 예를 들어, 입력(1130)의 RF 부분이 별도의 셋톱 박스의 일부인 경우, 다른 컴포넌트들 중 하나 이상으로부터 분리될 수 있다. 디스플레이(1100) 및 스피커들(1110)이 외부 컴포넌트들인 다양한 실시예들에서, 출력 신호는, 예를 들어, HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 접속들을 통해 제공될 수 있다.

실시예들은 프로세서(1010)에 의해 구현되는 컴퓨터 소프트웨어에 의해 또는 하드웨어에 의해, 또는 하드웨어 및 소프트웨어의 조합에 의해 수행될 수 있다. 비제한적인 예로서, 실시예들은 하나 이상의 집적 회로에 의해 구현될 수 있다. 메모리(1020)는 기술적 환경에 적절한 임의의 유형의 것일 수 있고 비제한적 예들로서, 광 메모리 디바이스들, 자기 메모리 디바이스들, 반도체 기반 메모리 디바이스들, 고정식 메모리, 및 이동식 메모리와 같은 임의의 적절한 데이터 저장 기술을 사용하여 구현될 수 있다. 프로세서(1010)는 기술적 환경에 적절한 임의의 유형의 것일 수 있고, 비제한적 예들로서 마이크로프로세서들, 범용 컴퓨터들, 특수 목적 컴퓨터들, 및 멀티 코어 아키텍처에 기초한 프로세서들 중 하나 이상을 포함할 수 있다.

다양한 구현들은 디코딩을 수반한다. "디코딩"은, 이 출원에서 사용되는 바와 같이, 디스플레이를 위해 적절한 최종 출력을 산출하기 위해, 예를 들어, 수신된 인코딩된 시퀀스에 대해 수행되는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은 디코더에 의해 통상적으로 수행되는 프로세스들, 예를 들어, 엔트로피 디코딩, 역 양자화, 역 변환, 및 디퍼렌셜 디코딩 중 하나 이상을 포함한다. 다양한 실시예들에서, 그러한 프로세스들은 또한, 또는 대안적으로, 이 출원에서 설명된 다양한 구현들의 디코더에 의해 수행되는 프로세스들을 포함한다.

추가 예들로서, 일 실시예에서, "디코딩"은 엔트로피 디코딩만을 지칭하고, 또 다른 실시예에서, "디코딩"은 디퍼렌셜 디코딩만을 지칭하고, 또 다른 실시예에서, "디코딩"은 엔트로피 디코딩 및 디퍼렌셜 디코딩의 조합을 지칭한다. "디코딩 프로세스"라는 문구가 구체적으로 동작들의 서브세트를 지칭하도록 의도되는지 또는 일반적으로 더 넓은 디코딩 프로세스를 지칭하도록 의도되는지는 특정 설명들의 맥락에 기초하여 명백할 것이며, 본 기술분야의 통상의 기술자에 의해 잘 이해될 것으로 여겨진다.

다양한 구현들은 인코딩을 수반한다. "디코딩"에 관한 상기 논의와 유사한 방식으로, 이 출원에서 사용되는 "인코딩"은 예를 들어 인코딩된 비트스트림을 생성하기 위해 입력 비디오 시퀀스에 대해 수행되는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은 인코더에 의해 통상적으로 수행되는 프로세스들, 예를 들어, 파티셔닝, 디퍼렌셜 인코딩, 변환, 양자화, 및 엔트로피 인코딩 중 하나 이상을 포함한다. 다양한 실시예들에서, 그러한 프로세스들은 또한, 또는 대안적으로, 이 출원에서 설명된 다양한 구현들의 인코더에 의해 수행되는 프로세스들을 포함한다.

추가 예들로서, 일 실시예에서 "인코딩"은 엔트로피 인코딩만을 지칭하고, 또 다른 실시예에서 "인코딩"은 디퍼렌셜 인코딩만을 지칭하며, 또 다른 실시예에서 "인코딩"은 디퍼렌셜 인코딩 및 엔트로피 인코딩의 조합을 지칭한다. "인코딩 프로세스"라는 문구가 구체적으로 동작들의 서브세트를 지칭하도록 의도되는지 또는 일반적으로 더 넓은 인코딩 프로세스를 지칭하도록 의도되는지는 특정 설명들의 맥락에 기초하여 명백할 것이며, 본 기술분야의 통상의 기술자에 의해 잘 이해될 것으로 여겨진다.

본 명세서에서 사용되는 신택스 요소들은 설명적 용어들이라는 점에 유의한다. 이와 같이, 이들은 다른 신택스 요소 명칭들의 사용을 배제하지 않는다.

도면이 흐름도로서 제시될 때, 그것은 또한 대응하는 장치의 블록도를 제공한다는 것이 이해되어야 한다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 또한 대응하는 방법/프로세스의 흐름도를 제공한다는 것이 이해되어야 한다.

다양한 실시예들은 파라메트릭 모델들 또는 레이트 왜곡 최적화를 참조할 수 있다. 특히, 인코딩 프로세스 동안, 계산 복잡도의 제약이 종종 주어지면, 레이트와 왜곡 사이의 균형 또는 절충이 보통은 고려된다. 그것은 RDO(Rate Distortion Optimization) 메트릭을 통해, 또는 LMS(Least Mean Square), MAE(Mean of Absolute Errors), 또는 다른 그러한 측정들을 통해 측정될 수 있다. 레이트 왜곡 최적화는 보통은 레이트 및 왜곡의 가중 합인 레이트 왜곡 함수를 최소화하는 것으로서 공식화된다. 레이트 왜곡 최적화 문제를 해결하기 위한 상이한 접근법들이 있다. 예를 들어, 이 접근법들은, 코딩 및 디코딩 이후에 재구성된 신호의 그 코딩 비용 및 관련 왜곡의 완전한 평가와 함께, 모든 고려된 모드들 또는 코딩 파라미터 값들을 포함하는, 모든 인코딩 옵션들의 광범위한 테스팅에 기초할 수 있다. 인코딩 복잡성을 피하기 위해, 특히 재구성된 것이 아니라 예측 또는 예측 잔차 신호에 기초한 근사화된 왜곡의 계산을 사용하여 더 빠른 접근법들이 또한 사용될 수 있다. 이들 2개의 접근법의 혼합은 또한, 예컨대, 가능한 인코딩 옵션들 중 일부에 대해서만 근사화된 왜곡, 및 다른 인코딩 옵션들에 대한 완전한 왜곡을 사용함으로써 사용될 수 있다. 다른 접근법들은 가능한 인코딩 옵션들의 서브세트만을 평가한다. 보다 일반적으로, 많은 접근법들은 최적화를 수행하기 위해 다양한 기법들 중 임의의 기법을 사용하지만, 최적화가 반드시 코딩 비용 및 관련 왜곡 둘 다의 완전한 평가인 것은 아니다.

본 명세서에서 설명되는 구현들 및 양태들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 구현 형태의 맥락에서만 논의되더라도(예를 들어, 방법으로서만 논의되더라도), 논의되는 특징들의 구현은 다른 형태들(예를 들어, 장치 또는 프로그램)로 또한 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래머블 논리 디바이스를 포함하여, 예를 들어 일반적으로 처리 디바이스들을 지칭하는 프로세서로 구현될 수 있다. 프로세서들은 또한 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/개인 정보 단말기들(portable/personal digital assistants, PDA들), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

"일 실시예" 또는 "실시예" 또는 "일의 구현" 또는 "구현"뿐만 아니라 그의 다른 변형들에 대한 언급은, 실시예와 관련하여 설명된 특정한 특징, 구조, 특성 등이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 출원 전반에 걸친 다양한 위치들에서 등장하는 구문 "일 실시예에서" 또는 "실시예에서" 또는 "일 구현에서" 또는 "구현에서"뿐만 아니라 임의의 다른 변형들의 등장은 반드시 모두 동일한 실시예를 참조하는 것은 아니다.

또한, 본 출원은 다양한 정보 피스들을 "결정"하는 것을 지칭할 수 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 정보를 메모리로부터 검색하는 것 중 하나 이상을 포함할 수 있다.

또한, 이 출원은 다양한 정보 피스들에 "액세스"하는 것을 지칭할 수 있다. 정보에 액세스하는 것은, 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

또한, 이 출원은 다양한 정보 피스들을 "수신"하는 것을 지칭할 수 있다. 수신하는 것은, "액세스하는 것"에서와 같이 광의의 용어로 의도된다. 정보의 수신은 예를 들어, 정보의 액세스 또는 (예로서, 메모리로부터의) 정보의 검색 중 하나 이상을 포함할 수 있다. 또한, "수신"은 통상적으로 예를 들어, 정보의 저장, 정보의 처리, 정보의 송신, 정보의 이동, 정보의 복사, 정보의 소거, 정보의 계산, 정보의 결정, 정보의 예측 또는 정보의 추정과 같은 동작들 동안 하나의 방식 또는 다른 방식으로 수반된다.

예를 들어, "A/B", "A 및/또는 B(A and/or B)" 및 "A 및 B 중 적어도 하나(at least one of A and B)"의 경우들에서, 이하의 "/", "및/또는(and/or)", 및 "~ 중 적어도 하나(at least one of)" 중 임의의 것의 사용은, 처음 열거된 옵션 (A)만을 선택함, 또는 2번째로 열거된 옵션 (B)만을 선택함, 또는 옵션들 둘 다(A 및 B)를 선택함을 포괄하려는 의도임을 알 것이다. 추가 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나"의 경우들에서, 이러한 어구는 첫번째로 열거된 옵션 (A)만의 선택, 또는 두번째로 열거된 옵션 (B)만의 선택, 또는 세번째로 열거된 옵션 (C)만의 선택, 또는 첫번째와 두번째로 열거된 옵션들 (A 및 B)만의 선택, 또는 첫번째와 세번째로 열거된 옵션들 (A 및 C)만의 선택, 또는 두번째와 세번째로 열거된 옵션들 (B 및 C)만의 선택, 또는 3개의 옵션 (A 및 B 및 C) 전부의 선택을 포괄하는 것으로 의도된다. 이것은 본 기술분야 및 관련 기술분야의 통상의 기술자에게 명백한 바와 같이 열거된 많은 항목들에 대해 확장될 수 있다.

또한, 본 명세서에 이용된 바와 같이, 단어 "신호"는 다른 것들 중에서도, 대응하는 디코더에게 무언가를 나타내는 것을 지칭한다. 예를 들어, 특정 실시예들에서, 인코더는 복수의 변환, 코딩 모드들 또는 플래그들 중 특정한 하나를 시그널링한다. 이러한 방식으로, 실시예에서, 동일한 변환, 파라미터, 또는 모드가 인코더 측 및 디코더 측 모두에서 사용된다. 따라서, 예를 들어, 인코더는 디코더가 동일한 특정 파라미터를 사용할 수 있도록 디코더에 특정 파라미터를 송신(명시적 시그널링)할 수 있다. 반대로, 디코더가 특정 파라미터뿐만 아니라 다른 것들을 이미 갖는 경우, 단순히 디코더가 특정 파라미터를 알고 선택하는 것을 허용하기 위해 송신 없이(암시적 시그널링) 시그널링이 사용될 수 있다. 임의의 실제 기능들의 송신을 피함으로써, 다양한 실시예들에서 비트 절감이 실현된다. 시그널링은 다양한 방식들로 달성될 수 있다는 것을 알아야 한다. 예를 들어, 다양한 실시예들에서, 하나 이상의 신택스 요소, 플래그 등이 정보를 대응하는 디코더에 시그널링하는데 이용된다. 전술한 것은 단어 "신호"의 동사 형태와 관련되지만, 단어 "신호"는 명사로서 또한 본 명세서에서 사용될 수 있다.

본 기술분야의 통상의 기술자에게 분명할 바와 같이, 구현들은, 예를 들어, 저장 또는 송신될 수 있는 정보를 운반하도록 포맷팅된 다양한 신호들을 산출할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어, 또는 설명된 구현들 중 하나에 의해 산출된 데이터를 포함할 수 있다. 예를 들어, 신호가 설명된 실시예의 비트스트림을 운반하기 위해 포맷팅될 수 있다. 이러한 신호는 예를 들어(예를 들어, 스펙트럼의 무선 주파수 부분을 사용하여) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은, 예를 들어, 데이터 스트림을 인코딩하는 것과 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 공지된 것으로서 다양한 상이한 유선 또는 무선 링크를 통해 송신될 수 있다. 그 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

다양한 청구항 카테고리들 및 유형들에 걸쳐 다수의 실시예를 설명한다. 이러한 실시예들의 특징들은 단독으로 또는 임의의 조합으로 제공될 수 있다. 게다가, 실시예들은 다양한 청구항 카테고리들 및 유형들에 걸쳐, 하기의 특징들, 디바이스들, 또는 양태들 중 하나 이상을, 단독으로 또는 임의의 조합으로 포함할 수 있다:

● 순방향 또는 역 매핑 함수를 구현하기 위해 파라미터들을 나타내는, 비트스트림에서의 삽입된 정보에 의해 인코딩 및 디코딩을 수행하는 프로세스 또는 디바이스.

● 룩업 테이블을 통해 순방향 또는 역 매핑 함수를 구현하기 위해 파라미터들을 나타내는, 비트스트림에서의 삽입된 정보에 의해 인코딩 및 디코딩을 수행하는 프로세스 또는 디바이스.

● 순방향 또는 역 매핑 함수를 구현하기 위해 파라미터들을 나타내는, 비트스트림에서의 삽입된 정보에 의해 인코딩 및 디코딩을 수행하는 프로세스 또는 디바이스, 여기서 역 함수는 삽입된 정보로부터 도출됨.

● 순방향 또는 역 매핑 함수를 구현하기 위해 파라미터들을 나타내는, 비트스트림에서의 삽입된 정보에 의해 인코딩 및 디코딩을 수행하는 프로세스 또는 디바이스, 여기서 하나의 유형의 매핑 함수는 인트라 픽처들에 대해 사용되고 하나의 유형은 인터 픽처들에 대해 사용됨.

● 순방향 또는 역 매핑 함수를 구현하기 위해 파라미터들을 나타내는, 비트스트림에서의 삽입된 정보에 의해 인코딩 및 디코딩을 수행하는 프로세스 또는 디바이스, 여기서 정보는 균일한 룩업 테이블에서 운반됨.

● 순방향 또는 역 매핑 함수를 구현하기 위해 파라미터들을 나타내는, 비트스트림에서의 삽입된 정보에 의해 인코딩 및 디코딩을 수행하는 프로세스 또는 디바이스, 여기서 정보는 비균일한 룩업 테이블에서 운반됨.

● 설명된 신택스 요소들, 또는 그의 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호.

● 설명된 실시예들 중 임의의 것에 따라 생성된 정보를 전달하는 신택스를 포함하는 비트스트림 또는 신호.

● 설명된 실시예들 중 임의의 것에 따른 생성 및/또는 송신 및/또는 수신 및/또는 디코딩.

● 설명된 실시예들 중 임의의 것에 따른 방법, 프로세스, 장치, 명령어들을 저장하는 매체, 데이터 또는 신호를 저장하는 매체.

● 디코더가 인코더에 의해 사용되는 것에 대응하는 방식으로 코딩 모드를 결정할 수 있게 하는 신택스 요소들을 시그널링에 삽입하는 것.

● 설명된 신택스 요소들, 또는 그의 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호를 생성 및/또는 송신 및/또는 수신 및/또는 디코딩하는 것.

● 설명된 실시예들 중 임의의 것에 따른 변환 방법(들)을 수행하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

● 설명된 실시예들 중 임의의 것에 따른 변환 방법(들) 결정을 수행하고, 결과 이미지를 (예를 들어, 모니터, 스크린 또는 다른 유형의 디스플레이를 사용하여) 디스플레이하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

● 인코딩된 이미지를 포함하는 신호를 수신하기 위한 채널을 선택, 대역 제한, 또는 (예를 들어, 튜너를 사용하여) 튜닝하고, 설명된 실시예들 중 임의의 것에 따른 변환 방법(들)을 수행하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

● 인코딩된 이미지를 포함하는 신호를 OTA(over the air)로 (예컨대, 안테나를 사용하여) 수신하고 변환 방법(들)을 수행하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

Claims (15)

1. 방법으로서:
   압축된 비디오 데이터의 비트스트림에 파라미터들을 삽입하는 단계 - 상기 파라미터들은 예측 데이터에 대해 동작하는 인 루프 재성형 필터를 나타내고, 균일하게 샘플링된 재성형 룩업 테이블이 전달되며, 표시자가 상기 전달된 룩업 테이블이 역 룩업 테이블임을 표시함 -; 및
   상기 비트스트림에 상기 파라미터들을 포함시키면서 상기 예측 데이터를 이용하여 비디오 데이터의 블록들을 인코딩하는 단계를 포함하는 방법.
2. 장치로서:
   프로세서를 포함하고, 상기 프로세서는:
   압축된 비디오 데이터의 비트스트림에 파라미터들을 삽입하고 - 상기 파라미터들은 예측 데이터에 대해 동작하는 인 루프 재성형 필터를 나타내고, 균일하게 샘플링된 재성형 룩업 테이블이 전달되며, 표시자가 상기 전달된 룩업 테이블이 역 룩업 테이블임을 표시함 -; 및,
   상기 비트스트림에 상기 파라미터들을 포함시키면서 상기 예측 데이터를 이용하여 비디오 데이터의 블록들을 인코딩하도록 구성되는 장치.
3. 비디오 데이터의 블록을 디코딩하기 위한 방법으로서:
   압축된 비디오 데이터의 비트스트림에서 파라미터들을 수신하는 단계 - 상기 파라미터들은 재구성된 데이터에 대해 동작하는 인 루프 재성형 필터를 나타내고, 균일하게 샘플링된 재성형 룩업 테이블이 전달되며, 표시자가 상기 전달된 룩업 테이블이 역 룩업 테이블임을 표시함 -; 및,
   상기 재구성된 데이터 및 상기 비트스트림으로부터의 파라미터들을 이용하여 비디오 데이터의 블록들을 디코딩하는 단계를 포함하는 방법.
4. 장치로서:
   프로세서를 포함하고, 상기 프로세서는:
   압축된 비디오 데이터의 비트스트림에서 파라미터들을 수신하고 - 상기 파라미터들은 재구성된 데이터에 대해 동작하는 인 루프 재성형 필터를 나타내고, 균일하게 샘플링된 재성형 룩업 테이블이 전달되며, 표시자가 상기 전달된 룩업 테이블이 역 룩업 테이블임을 표시함 -; 및,
   상기 재구성된 데이터 및 상기 비트스트림으로부터의 파라미터들을 이용하여 비디오 데이터의 블록들을 디코딩하도록 구성되는 장치.
5. 제1항 또는 제3항의 방법, 또는 제2항 또는 제4항의 장치에 있어서, 인 루프 재성형 필터를 나타내는 상기 파라미터들로부터 역 필터 파라미터들이 획득되는 방법 또는 장치.
6. 제1항 또는 제3항의 방법, 또는 제2항 또는 제4항의 장치에 있어서, 상기 파라미터들은 균일하게 샘플링된 재성형 룩업 테이블을 사용하여 상기 비트스트림에 포함되고, 상기 룩업 테이블이 순방향 또는 역 룩업 테이블을 나타내는지를 시그널링하기 위해 표시자가 사용되는 방법 또는 장치.
7. 제1항 또는 제3항의 방법, 또는 제2항 또는 제4항의 장치에 있어서, 균일한 역 룩업 테이블을 나타내는 상기 파라미터들은 상기 비디오 데이터의 인트라 코딩된 부분들에 대해 상기 비트스트림에서 운반되는 방법 또는 장치.
8. 제7항에 있어서,
   상기 균일한 역 룩업 테이블은 비균일한 순방향 룩업 테이블에 기초하는 방법 또는 장치.
9. 제1항 또는 제3항의 방법, 또는 제2항 또는 제4항의 장치에 있어서, 균일한 순방향 룩업 테이블을 나타내는 상기 파라미터들은 상기 비디오 데이터의 인트라 코딩된 부분들에 대해 상기 비트스트림에서 운반되는 방법 또는 장치.
10. 제1항 또는 제3항의 방법, 또는 제2항 또는 제4항의 장치에 있어서, 비트스트림에서 상기 파라미터들을 운반하는 룩업 테이블은 또 다른 룩업 테이블로 대체될 때까지 연관된 코딩된 픽처에 적용되는 방법 또는 장치.
11. 제5항에 있어서,
    역 룩업 테이블을 나타내는 파라미터들이 상기 비트스트림에 포함되고 대응하는 순방향 룩업 테이블을 검색하기 위해 사용되며, 하나의 룩업 테이블의 함수가 비디오 데이터의 연관된 블록의 그룹 유형으로부터 결정되는 암시적 모드가 도출되는 방법 또는 장치.
12. 디바이스로서:
    제4항 내지 제11항 중 어느 한 항에 따른 장치; 및
    (i) 비디오 블록을 포함하는 신호를 수신하도록 구성된 안테나, (ii) 상기 수신된 신호를 상기 비디오 블록을 포함하는 주파수들의 대역에 제한하도록 구성된 대역 제한기, 및 (iii) 비디오 블록을 나타내는 출력을 디스플레이하도록 구성된 디스플레이 중 적어도 하나를 포함하는 디바이스.
13. 프로세서를 사용한 재생을 위해, 제1항 및 제5항 내지 제11항 중 어느 한 항의 방법에 따라 또는 제2항 및 제5항 내지 제11항 중 어느 한 항의 장치에 의해 생성되는 데이터 콘텐츠를 포함하는 비일시적 컴퓨터 판독가능 매체.
14. 프로세서를 사용한 재생을 위해, 제1항 및 제5항 내지 제11항 중 어느 한 항의 방법에 따라, 또는 제2항 및 제5항 내지 제11항 중 어느 한 항의 장치에 의해 생성되는 비디오 데이터를 포함하는 신호.
15. 프로그램이 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 제1항, 제3항 및 제5항 내지 제11항 중 어느 한 항의 방법을 수행하게 야기하는 명령어들을 포함하는 컴퓨터 프로그램 제품.
    
    
    
    
    

Images