KR102599267B1 - 화상 부호화 장치, 화상 부호화 방법 및 프로그램, 화상 복호 장치, 화상 복호 방법 및 프로그램 - Google Patents

Abstract

서브 블록의 형상에 따라서 적응적으로 양자화의 제어 사이즈를 사용함으로써, 정사각형 서브 블록뿐만 아니라 직사각형 서브 블록에서도 적절하게 양자화 파라미터의 부호화 제어를 가능하게 함으로써, 부호화 효율을 향상시킨다.

Description

화상 부호화 장치, 화상 부호화 방법 및 프로그램, 화상 복호 장치, 화상 복호 방법 및 프로그램

본 발명은, 화상 부호화 장치, 화상 부호화 방법 및 프로그램, 화상 복호 장치, 화상 복호 방법 및 프로그램에 관한 것이다.

동화상의 압축 기록의 부호화 방식으로서, HEVC(High Efficiency Video Coding) 부호화 방식(이하, HEVC라 기재함)이 알려져 있다. HEVC에서는 부호화 효율 향상을 위하여, 종래의 매크로 블록(16×16 화소)보다 큰 사이즈의 기본 블록이 채용되었다. 이 큰 사이즈의 기본 블록은 CTU(Coding Tree Unit)라 불리고, 그 사이즈는 최대 64×64 화소이다. CTU는 또한 예측이나 변환을 행하는 단위가 되는 서브 블록으로 분할된다. 특허문헌 1에서는, 양자화 파라미터를 부호화하는 서브 블록 사이즈(이하, 양자화의 제어 사이즈라 함)를 산출하고, 양자화 파라미터의 부호화 단위의 변경을 가능하게 하는 기술이 개시되어 있다.

근년, HEVC의 후계로서 더욱 고효율의 부호화 방식의 국제 표준화를 행하는 활동이 개시되었다. JVET(Joint Video Experts Team)가 ISO·IEC와 ITU-T 사이에 설립되고, VVC(Versatile Video Coding) 부호화 방식(이하, VVC)으로서 표준화가 진행되고 있다. 부호화 효율 향상을 위하여, 종래의 정사각형 서브 블록 베이스의 인트라 예측·직교 변환 방법에 더하여, 직사각형 서브 블록 베이스의 인트라 예측·직교 변환 방법이 검토되고 있다.

VVC에 있어서는, HEVC와 같은 정사각형의 서브 블록뿐만 아니라 직사각형의 서브 블록 분할이 검토되고 있다. HEVC에 있어서의 양자화 파라미터를 부호화하는 기준이 되는 양자화의 제어 사이즈는, 정사각형의 서브 블록을 상정한 것이다. 한편, VVC에서 검토되고 있는 직사각형의 서브 블록 분할이 이루어진 경우, 양자화 파라미터를 부호화할지 여부를 일의로 정할 수 없는 케이스가 존재한다. 따라서, 본 발명은 상술한 과제를 해결하기 위해 이루어진 것이며, 정사각형뿐만 아니라 직사각형의 서브 블록에서도 적절하게 양자화 파라미터의 부호화 제어를 가능하게 하는 것을 목적으로 하고 있다.

일본 특허 공개 제2012-161074호

전술한 문제점을 해결하기 위해서, 본 발명의 화상 부호화 장치는 이하의 구성을 갖는다. 즉, 화상 부호화 장치는,

화상을 복수의 서브 블록으로 분할하고, 분할된 서브 블록마다 부호화하는 것을 특징으로 하고, 또한 상기 복수의 서브 블록 중, 처리 대상인 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 작은 쪽의 사이즈가 양자화 파라미터를 부호화하는 서브 블록 사이즈인 양자화의 제어의 사이즈 이상인 경우에 양자화 파라미터를 부호화하는 부호화 수단을 갖는 것을 특징으로 한다.

또한, 본 발명의 화상 복호 장치는 이하의 구성을 갖는다. 즉, 화상 복호 장치는,

복수의 서브 블록으로 구성된 화상을, 서브 블록마다 복호하는 것을 특징으로 하고,

또한, 상기 복수의 서브 블록 중, 처리 대상인 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 작은 쪽의 사이즈가 양자화 파라미터를 복호하는 서브 블록 사이즈인 양자화의 제어의 사이즈 이상인 경우에 양자화 파라미터를 복호하는 것을 특징으로 한다.

도 1은 본 실시 형태에 있어서의 화상 부호화 장치의 구성을 나타내는 블록도.
도 2는 본 실시 형태에 있어서의 화상 복호 장치의 구성을 나타내는 블록도.
도 3은 본 실시 형태에 따른 화상 부호화 장치에 있어서의 화상 부호화 처리를 나타내는 흐름도.
도 4는 본 실시 형태에 따른 화상 복호 장치에 있어서의 화상 복호 처리를 나타내는 흐름도.
도 5는 본 실시 형태의 화상 부호화 장치, 복호 장치에 적용 가능한 컴퓨터의 하드웨어의 구성예를 나타내는 블록도.
도 6a는 비트 스트림 구조의 일례를 나타내는 도면.
도 6b는 비트 스트림 구조의 일례를 나타내는 도면.
도 7a는 본 실시 형태에서 사용되는 서브 블록 분할의 일례를 나타내는 도면.
도 7b는 본 실시 형태에서 사용되는 서브 블록 분할의 일례를 나타내는 도면.
도 7c는 본 실시 형태에서 사용되는 서브 블록 분할의 일례를 나타내는 도면.
도 7d는 본 실시 형태에서 사용되는 서브 블록 분할의 일례를 나타내는 도면.
도 7e는 본 실시 형태에서 사용되는 서브 블록 분할의 일례를 나타내는 도면.
도 7f는 본 실시 형태에서 사용되는 서브 블록 분할의 일례를 나타내는 도면.
도 8a는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 8b는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 8c는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 8d는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 8e는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 8f는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 9a는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 9b는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 9c는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 9d는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 9e는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 9f는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 짧은 쪽의 비교를 나타내는 도면.
도 10a는 본 실시 형태에 있어서의 양자화 파라미터의 부호화와 유의 계수의 관계를 나타내는 도면.
도 10b는 본 실시 형태에 있어서의 양자화 파라미터의 부호화와 유의 계수의 관계를 나타내는 도면.
도 10c는 본 실시 형태에 있어서의 양자화 파라미터의 부호화와 유의 계수의 관계를 나타내는 도면.
도 10d는 본 실시 형태에 있어서의 양자화 파라미터의 부호화와 유의 계수의 관계를 나타내는 도면.
도 10e는 본 실시 형태에 있어서의 양자화 파라미터의 부호화와 유의 계수의 관계를 나타내는 도면.
도 10f는 본 실시 형태에 있어서의 양자화 파라미터의 부호화와 유의 계수의 관계를 나타내는 도면.
도 11a는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 긴 쪽의 비교를 나타내는 도면.
도 11b는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 긴 쪽의 비교를 나타내는 도면.
도 11c는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 긴 쪽의 비교를 나타내는 도면.
도 11d는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 긴 쪽의 비교를 나타내는 도면.
도 11e는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 긴 쪽의 비교를 나타내는 도면.
도 11f는 본 실시 형태에 있어서의 양자화의 제어 사이즈와 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 긴 쪽의 비교를 나타내는 도면.
도 12a는 본 실시 형태 및 본 실시 형태에 있어서의 양자화의 제어 사이즈의 화소수와 처리 대상 서브 블록의 화소수의 비교를 나타내는 도면.
도 12b는 본 실시 형태 및 본 실시 형태에 있어서의 양자화의 제어 사이즈의 화소수와 처리 대상 서브 블록의 화소수의 비교를 나타내는 도면.
도 12c는 본 실시 형태 및 본 실시 형태에 있어서의 양자화의 제어 사이즈의 화소수와 처리 대상 서브 블록의 화소수의 비교를 나타내는 도면.
도 12d는 본 실시 형태 및 본 실시 형태에 있어서의 양자화의 제어 사이즈의 화소수와 처리 대상 서브 블록의 화소수의 비교를 나타내는 도면.
도 12e는 본 실시 형태 및 본 실시 형태에 있어서의 양자화의 제어 사이즈의 화소수와 처리 대상 서브 블록의 화소수의 비교를 나타내는 도면.
도 12f는 본 실시 형태 및 본 실시 형태에 있어서의 양자화의 제어 사이즈의 화소수와 처리 대상 서브 블록의 화소수의 비교를 나타내는 도면.
도 13a는 본 실시 형태에서 사용되는 서브 블록 분할의 블록의 깊이를 나타내는 도면.
도 13b는 본 실시 형태에서 사용되는 서브 블록 분할의 블록의 깊이를 나타내는 도면.
도 13c는 본 실시 형태에서 사용되는 서브 블록 분할의 블록의 깊이를 나타내는 도면.
도 13d는 본 실시 형태에서 사용되는 서브 블록 분할의 블록의 깊이를 나타내는 도면.
도 13e는 본 실시 형태에서 사용되는 서브 블록 분할의 블록의 깊이를 나타내는 도면.
도 13f는 본 실시 형태에서 사용되는 서브 블록 분할의 블록의 깊이를 나타내는 도면.
도 14a는 본 실시 형태에 있어서의 양자화의 제어 심도와 처리 대상 서브 블록의 깊이의 비교를 나타내는 도면.
도 14b는 본 실시 형태에 있어서의 양자화의 제어 심도와 처리 대상 서브 블록의 깊이의 비교를 나타내는 도면.
도 14c는 본 실시 형태에 있어서의 양자화의 제어 심도와 처리 대상 서브 블록의 깊이의 비교를 나타내는 도면.
도 14d는 본 실시 형태에 있어서의 양자화의 제어 심도와 처리 대상 서브 블록의 깊이의 비교를 나타내는 도면.
도 14e는 본 실시 형태에 있어서의 양자화의 제어 심도와 처리 대상 서브 블록의 깊이의 비교를 나타내는 도면.
도 15a는 본 실시 형태에 있어서의 양자화 파라미터 공유 단위에 유의 계수가 존재하지 않는 경우의 양자화 파라미터의 참조를 나타내는 도면.
도 15b는 본 실시 형태에 있어서의 양자화 파라미터 공유 단위에 유의 계수가 존재하지 않는 경우의 양자화 파라미터의 참조를 나타내는 도면.
도 16은 양자화의 제어 깊이를 사용한 양자화 파라미터의 부호화 처리의 흐름도.
도 17은 양자화의 제어 깊이를 사용한 양자화 파라미터의 복호 처리의 흐름도.
도 18은 양자화의 제어의 사이즈 및 깊이를 사용한 양자화 파라미터의 부호화 처리의 흐름도.
도 19는 양자화의 제어의 사이즈 및 깊이를 사용한 양자화 파라미터의 복호 처리의 흐름도.

이하, 첨부의 도면을 참조하여, 본 발명을 그의 적합한 실시 형태에 기초하여 상세하게 설명한다. 또한, 이하의 실시 형태에 있어서 나타내는 구성은 일례에 지나지 않고, 본 발명은 나타낸 구성으로 한정되는 것은 아니다.

도 1은 본 실시 형태의 화상 부호화 장치를 나타내는 블록도이다. 도 1에 있어서, 제어부(100)는 화상 부호화 장치 전체를 제어하는 프로세서이며, 단자(101)는 화상 데이터를 입력하는 입력 단자이다.

블록 분할부(102)는 입력 화상을 복수의 기본 블록으로 분할하고, 기본 블록 단위의 화상을 후단으로 출력한다.

생성부(103)는 양자화 파라미터를 부호화하는 기준이 되는 사이즈(양자화의 제어 사이즈)에 관한 정보 등을 생성하고, 출력한다. 양자화의 제어 사이즈의 정보의 생성 방법에 대하여는 특별히 한정되지 않지만, 유저가 양자화의 제어 사이즈를 입력해도 되고, 입력 화상의 특성으로부터 양자화의 제어 사이즈를 산출해도 되고, 초기값으로서 미리 지정된 양자화의 제어 사이즈를 사용해도 된다.

예측부(104)는 기본 블록을 분할함으로써 서브 블록을 생성하고, 서브 블록 단위에서 프레임 내 예측인 인트라 예측이나 프레임간 예측인 인터 예측 등을 행하여, 예측 화상 데이터를 생성한다. 또한, 입력된 화소값인 화상 데이터와 예측 화상 데이터로부터 예측 오차를 산출하고, 출력한다. 또한, 예측에 필요한 정보, 예를 들어 서브 블록 분할, 예측 모드나 움직임 벡터 등의 정보도 예측 오차와 함께 출력된다. 이하에서는 이 예측에 필요한 정보를 예측 정보라 호칭한다.

변환·양자화부(105)는 서브 블록 단위에서 예측 오차를 나타내는 잔차에 대하여 직교 변환을 행하고, 또한 양자화를 행하여, 당해 잔차를 나타내는 잔차 계수를 얻는다. 또한, 양자화 파라미터는 직교 변환에 의해 얻어진 변환 계수의 양자화에 사용하는 파라미터이다.

역양자화·역변환부(106)는 변환·양자화부(105)로부터 출력된 잔차 계수를 역양자화하여 변환 계수를 재생하고, 또한 역직교 변환하여 예측 오차를 재생한다.

프레임 메모리(108)는 재생된 화상 데이터를 저장하는 메모리이다.

화상 재생부(107)는 예측부(104)로부터 출력된 예측 정보에 기초하여, 프레임 메모리(108)를 적절히 참조하여 예측 화상 데이터를 생성하고, 이것과 입력된 예측 오차로부터 재생 화상 데이터를 생성한다.

인루프 필터부(109)는 재생 화상에 대하여 디블로킹 필터나 샘플 어댑티브 오프셋 등의 인루프 필터 처리를 행한다.

부호화부(110)는 변환·양자화부(105)로부터 출력된 잔차 계수 및 예측부(104)로부터 출력된 예측 정보를 부호화하여, 부호 데이터를 생성한다.

통합 부호화부(111)는 생성부(103)로부터의 양자화의 제어 사이즈에 관한 정보를 부호화하여, 헤더 부호 데이터를 생성한다. 또한 부호화부(110)로부터 출력된 부호 데이터와 함께, 비트 스트림을 형성한다. 단자(112)는 통합 부호화부(111)에서 생성된 비트 스트림을 외부로 출력하는 출력 단자이다.

상기 화상 부호화 장치에 있어서의 화상의 부호화 동작을 이하에 설명한다. 본 실시 형태에서는 동화상 데이터를 프레임 단위로 입력하는 구성으로 하지만, 1 프레임분의 정지 화상 데이터를 입력하는 구성으로 하여도 상관없다.

단자(101)로부터 입력된 1 프레임분의 화상 데이터는 블록 분할부(102)에 입력된다.

블록 분할부(102)에서는, 입력된 화상 데이터를 복수의 기본 블록으로 분할하고, 기본 블록 단위의 화상을 예측부(104)로 출력한다.

예측부(104)에서는, 블록 분할부(102)로부터 입력된 화상 데이터에 대하여 예측 처리를 실행한다. 구체적으로는 먼저, 기본 블록을 더욱 미세한 서브 블록으로 분할하는 서브 블록 분할을 결정한다.

도 7에 기본 블록의 분할의 종류의 일례를 나타낸다. 굵은 프레임(700)은 기본 블록을 나타내고 있고, 설명을 간이하게 하기 위해서, 기본 블록의 사이즈를 32×32 화소의 구성으로 하고, 굵은 프레임 내의 각 사각형은 서브 블록을 나타내는 것으로 한다. 도 7b는 분할에 의해 얻어지는 정사각형 서브 블록의 일례를 나타내고 있고, 32×32 화소의 기본 블록은 16×16 화소의 서브 블록으로 분할되어 있다. 한편, 도 7c 내지 7f는 분할에 의해 얻어지는 직사각형 서브 블록의 종류의 예를 나타내고 있다. 도 7c에서는 기본 블록은 16×32 화소의 종장(縱長), 도 7d에서는 32×16 화소의 횡장(橫長) 직사각형의 서브 블록으로 분할되어 있다. 또한, 도 7e, 7f에서는, 1:2:1의 비로 직사각형 서브 블록으로 분할되어 있다. 이와 같이, 본 실시 형태에서는, 정사각형뿐만 아니라 직사각형의 서브 블록을 사용하여 부호화 처리가 행해진다. 그리고, 본 실시 형태에서는, 이러한 기본 블록의 분할의 종류에 관한 정보가 분할 정보로서 부호화된다. 나아가, 후술하는 도 15의 좌측도에 나타내는 바와 같은 서브 블록의 계층 구조를 얻기 위해서, 분할의 종류의 정보가 계층화되어 부호화된다.

그리고, 예측부(104)는 처리 대상의 각 서브 블록에 대하여 예측 모드를 결정한다. 구체적으로는 예측부(104)는, 처리 대상의 각 서브 블록을 포함하는 프레임과 동일 프레임에서 부호화 완료된 화소를 사용하는 인트라 예측, 혹은 부호화 완료된 다른 프레임의 화소를 사용하는 인터 예측 등의 서브 블록 단위의 예측 모드를 결정한다. 그리고, 예측부(104)는 결정된 예측 모드 및 부호화 완료의 화소로부터 예측 화상 데이터를 생성하고, 또한 입력된 화상 데이터와 예측 화상 데이터로부터, 예측 오차가 생성되어, 변환·양자화부(105)로 출력된다. 또한, 예측부(104)는 서브 블록 분할이나 예측 모드 등의 정보를 예측 정보로 하여, 부호화부(110), 화상 재생부(107)로 출력한다.

여기서, 변환·양자화부(105)에서 실행되는 변환 처리나, 양자화 처리에 대하여 보다 자세하게 설명한다. 변환·양자화부(105)는 예측부(104)에 의해 예측 처리가 행해진 서브 블록의 화상 데이터(화소값)에 대하여 주파수 변환을 행하고, 또한 양자화를 행한다. 도 8a 내지 8f는 블록의 분할의 종류와 양자화의 제어 사이즈의 관계를 나타내고 있다. 변환·양자화부(105)는 처리 대상 서브 블록 사이즈와 생성부(103)로부터 출력되는 양자화의 제어 사이즈에 기초하여, 어느 서브 블록 단위에서 양자화 파라미터를 공유하여, 부호화할지를 결정한다. 즉, 후단의 부호화부(110)에 있어서, 양자화의 제어 사이즈와 서브 블록의 사이즈의 비교에 따라서, 복수의 서브 블록에서 양자화 파라미터가 공유되어야 할지 여부가 결정된다. 양자화 파라미터의 부호화에 대하여는 후술한다. 양자화에 사용되는 양자화 파라미터의 값 자체의 결정 방법에 대하여는, 특별히 한정은 되지 않지만, 유저가 양자화 파라미터를 입력해도 되고, 입력 화상의 특성으로부터 산출해도, 초기값으로서 미리 지정된 것을 사용해도 된다.

이어서, 양자화 파라미터를 부호화하는 단위의 결정 방법에 대하여 설명한다.

변환·양자화부(105)는 처리 대상 서브 블록의 수평 방향과 수직 방향 중 짧은 쪽의 변의 길이와 양자화의 제어 사이즈를 비교하여, 어느 단위에서 양자화 파라미터를 부호화할지, 즉 어느 단위에서 양자화 파라미터를 사용할지를 결정한다.

도 8은, 처리 대상 서브 블록의 수평 방향과 수직 방향 중 짧은 쪽의 1변의 길이와 양자화의 제어 사이즈를 비교한 경우에 어느 단위에서 양자화 파라미터를 부호화할지를 나타낸다. 도 8에서는, 정사각 블록의 1변의 길이가 양자화의 제어 사이즈로서 정의되어 있다. 구체적으로는 도 8에서는 양자화의 제어 사이즈로서 16이 적용되는 예를 나타내고 있다. 도 8은 처리 대상 서브 블록의 수평 방향과 수직 방향 중 짧은 쪽의 길이를 화살표로 나타내고 있다. 또한, 도 8의 처리 대상 서브 블록의 굵은 프레임의 직사각형은, 처리 대상 서브 블록과 양자화의 제어 사이즈를 비교한 결과에 의해 결정된 양자화 파라미터가 공유되는 영역을 나타내고 있다. 또한, Qp는 양자화 파라미터를 나타내고 있다. 도 8a, 8b, 8c, 8d에 대하여는, 각 처리 대상 서브 블록의 수평 방향과 수직 방향 중 짧은 쪽의 길이가 양자화의 제어 사이즈 16 이상이다. 그 때문에, 각 처리 대상 서브 블록은 각각 개별의 양자화 파라미터(QpA 내지 QpD)를 사용하여 양자화된다. 그리고, 서브 블록마다 대응하는 양자화 파라미터(QpA 내지 QpD)가 각각 부호화된다. 한편, 도 8e, 8f에 대하여는, 처리 대상의 기본 블록에 있어서, 수평 방향과 수직 방향 중 짧은 쪽의 1변의 길이가 양자화의 제어 사이즈보다 작은 서브 블록이 포함되기 때문에, 양자화 파라미터는 복수의 서브 블록에서 공유된다. 구체적으로는 도 8e, 8f에 대하여는, 각각 3개의 서브 블록은 동일한 양자화 파라미터를 사용하여 양자화된다. 이 때, 부호화되는 양자화 파라미터로서는, 서브 블록마다는 아니고, 공유의 양자화 파라미터로서 하나의 양자화 파라미터가 부호화된다. 이상 설명한 바와 같이, 양자화 파라미터는 처리 대상 서브 블록의 사이즈와 양자화의 제어 사이즈에 기초하여 사용된다.

이어서, 도 8과는 다른 양자화의 제어 사이즈의 경우의 예를, 도 9를 사용하여 설명한다. 도 9에 있어서도, 정사각 블록의 1변의 길이가 양자화의 제어 사이즈로서 정의되어 있다. 구체적으로는 도 9에서는, 처리 대상의 기본 블록의 1변과 동일한 길이 32가 양자화의 제어 사이즈로서 적용되는 예를 나타내고 있다. 도 9의 굵은 프레임, 화살표, Qp의 의미는 도 8과 마찬가지이기 때문에 설명을 생략한다. 도 9a 내지 9f에서는, 처리 대상 서브 블록의 수평 방향과 수직 방향 중 짧은 쪽의 길이와 양자화의 제어 사이즈를 비교하면, 처리 대상 서브 블록은 모두 양자화의 제어 사이즈와 동일하거나 또는 작다. 그 때문에, 각각의 케이스에 있어서, 각 서브 블록은 동일한 양자화 파라미터를 사용하여 양자화된다. 부호화되는 양자화 파라미터로서는, 서브 블록마다는 아니고, 공유의 양자화 파라미터로서 하나의 양자화 파라미터가 부호화된다.

도 1로 되돌아가서, 역양자화·역변환부(106)에서는, 입력된 잔차 계수를 역양자화하여 변환 계수를 재생하고, 또한 재생된 변환 계수를 역직교 변환하여 예측 오차를 재생하고, 화상 재생부(107)로 출력한다. 각 서브 블록의 역양자화 처리에 있어서는, 변환·양자화부(105)에서 사용한 양자화 파라미터와 동일한 것이 사용된다.

화상 재생부(107)에서는, 예측부(104)로부터 입력되는 예측 정보에 기초하여, 프레임 메모리(108)를 적절히 참조하여, 예측 화상을 재생한다. 그리고 재생된 예측 화상과 역양자화·역변환부(106)로부터 입력된 재생된 예측 오차로부터 화상 데이터를 재생하여, 프레임 메모리(108)에 입력하고, 저장한다.

인루프 필터부(109)에서는, 프레임 메모리(108)로부터 재생 화상을 판독하여 디블로킹 필터 등의 인루프 필터 처리를 행한다. 인루프 필터 처리는, 예측부(104)의 예측 모드나 변환·양자화부(105)에서 이용되는 양자화 파라미터의 값, 또한 양자화 후의 처리 서브 블록에 비제로의 값(이하, 유의 계수라 함)의 존재의 유무, 혹은 서브 블록 분할 정보에 기초하여 행해진다. 그리고, 필터 처리된 화상을 다시 프레임 메모리(108)에 입력하고, 재저장한다.

부호화부(110)에서는, 블록 단위로, 변환·양자화부(105)에서 생성된 잔차 계수, 예측부(104)로부터 입력된 예측 정보를 엔트로피 부호화하여, 부호 데이터를 생성한다.

엔트로피 부호화의 방법은 특별히 지정되지 않지만, 골롬 부호화, 산술 부호화, 허프만 코딩화 등을 사용할 수 있다. 생성된 부호 데이터는 통합 부호화부(111)로 출력된다. 양자화 정보를 구성하는 양자화 파라미터의 부호화에 있어서는, 부호화 대상의 서브 블록 양자화 파라미터와 당해 서브 블록보다도 앞서 부호화된 서브 블록의 양자화 파라미터를 사용하여 산출하는 예측값과의 차분값을 나타내는 식별자가 부호화된다. 본 실시 형태에서는, 부호화순으로 당해 서브 블록 직전에 부호화된 양자화 파라미터를 예측값으로 하여, 당해 서브 블록의 양자화 파라미터와의 차분값을 계산하는 것으로 하지만, 양자화 파라미터의 예측값은 이것에 한정되지 않는다. 당해 서브 블록의 좌측 또는 우측에 인접해있는 서브 블록의 양자화 파라미터를 예측값으로 해도 되고, 평균값 등 복수의 서브 블록의 양자화 파라미터로부터 산출되는 값을 예측값으로 해도 상관없다.

여기서, 양자화의 제어 사이즈에 기초하여 양자화 파라미터를 부호화하는 처리에 대하여 도 10을 사용하여 재차 설명한다. 도 10a 내지 10f의 좌측의 도면은, 블록 분할의 종류와 각 서브 블록에서 사용한 양자화 파라미터(Qp)를 나타낸다. 또한, 사선이 들어 있는 서브 블록은, 부호화되는 양자화 파라미터와 관련지어지는 서브 블록을 나타내고 있다. 또한, 굵은 프레임의 사각은 양자화의 제어 사이즈와 처리 대상 서브 블록 사이즈에 기초하여 결정된 양자화 파라미터가 공유되는 영역을 나타낸다. 도 10a 내지 10f의 각각의 중앙의 도면은, 각 서브 블록이 유의 계수를 갖는지 여부를 나타낸다. 유의 계수란 변환·양자화 후의 잔차 계수 중 비제로의 계수를 나타낸다. 즉, 유의 계수 있음이란, 변환·양자화 후의 서브 블록에 있어서, 비제로의 잔차 계수가 적어도 하나 존재하는 것을 나타낸다. 또한, 도 10a 내지 10f의 각각의 우측 도면에 나타나는 화살표는 부호화(복호)의 순번을 나타내고 있다. 본 실시 형태에서는, 양자화 파라미터가 공유되는 영역 내에 있어서, 양자화 파라미터는, 부호화순으로 최초에 유의 계수가 포함되어 있는 서브 블록에 관련지어져 부호화된다. 예를 들어, 도 10b에서는, 부호화순으로 최초에 유의 계수를 포함하는 서브 블록은 우측 상단의 서브 블록이기 때문에, 당해 서브 블록에 관련지어져 양자화 파라미터가 부호화된다. 이 경우, 좌측 하단과 우측 하단의 서브 블록에 있어서는, 당해 양자화 파라미터의 부호화 단위에 있어서는 양자화 파라미터가 우측 상단 서브 블록에서 이미 부호화되어 있기 때문에, 양자화 파라미터는 부호화되지 않는다. 한편, 좌측 하단, 우측 하단의 서브 블록에 있어서의 양자화·역양자화 처리에 있어서는, 우측 상단 서브 블록과 동일한 양자화 파라미터인 QpA가 사용된다. 또한 좌측 상단 서브 블록에는 유의 계수가 존재하지 않기 때문에, 역양자화 처리는 실행되지 않지만, 디블로킹 필터 등 양자화 파라미터를 사용하는 처리에는, 우측 상단 서브 블록과 동일한 양자화 파라미터인 QpA가 사용된다. 또한, 도 10f에서는 부호화순으로 최초에 유의 계수를 포함하는 서브 블록은 하측에 위치하는 서브 블록이기 때문에, 당해 서브 블록에 양자화 파라미터가 관련지어져 부호화되고, 상측 한가운데의 서브 블록에 대하여 양자화 파라미터는 부호화되지 않는다. 단, 도 10f의 상측 한가운데의 서브 블록에서는, 도 10b의 좌측 상단 서브 블록과 마찬가지로, 디블로킹 필터 등 양자화 파라미터를 사용하는 처리에는, 하단의 서브 블록과 동일한 양자화 파라미터인 QpA가 사용된다.

이와 같이, 양자화의 제어 사이즈에 의해 결정된 양자화 파라미터가 공유되는 영역 내의 서브 블록에 있어서, 부호화순으로 최초에 유의 계수를 포함하는 서브 블록에 양자화 파라미터가 관련지어져 부호화된다.

통합 부호화부(111)에서는, 양자화의 제어 사이즈에 관한 정보가 부호화된다. 부호화의 방법은 특별히 지정되지 않지만, 골롬 부호화, 산술 부호화, 허프만 코딩화 등을 사용할 수 있다. 또한, 이들 부호나 부호화부(110)로부터 입력된 부호 데이터 등을 다중화하여 비트 스트림을 형성한다. 최종적으로는, 비트 스트림은 단자(112)로부터 외부로 출력된다.

도 6a에 부호화된 양자화의 제어 사이즈에 관한 정보를 포함한 비트 스트림의 예를 나타낸다. 양자화의 제어 사이즈에 관한 정보는 시퀀스, 픽처 등의 헤더 중 어느 것에 포함된다. 본 실시 형태에서는 도 6a에 나타낸 바와 같이 픽처의 헤더 부분에 포함되는 것으로 한다. 단, 부호화되는 위치는 이것에 한정되지 않고, 도 6b에 나타낸 바와 같이, 시퀀스의 헤더 부분에 포함되어도 상관없다.

도 3은, 본 실시 형태에 따른 화상 부호화 장치에 있어서의 부호화 처리를 나타내는 흐름도이다.

먼저, 스텝 S301에서, 블록 분할부(102)는 프레임 단위의 입력 화상을 기본 블록 단위로 분할한다.

스텝 S302에서, 생성부(103)는 양자화 파라미터를 부호화하는 사이즈인 양자화의 제어 사이즈를 결정한다. 그리고, 그 정보를 양자화의 제어 사이즈 정보로 한다. 양자화의 제어 사이즈 정보도 통합 부호화부(111)에 의해 부호화된다.

스텝 S303에서, 예측부(104)는 스텝 S301에서 생성된 기본 블록 단위의 화상 데이터에 대하여 분할 처리를 행하고, 서브 블록을 생성한다. 그리고 예측부(104)는 그 생성된 서브 블록 단위에서 예측 처리를 행하고, 블록 분할이나 예측 모드 등의 예측 정보 및 예측 화상 데이터를 생성한다. 또한 입력된 화상 데이터와 상기 예측 화상 데이터로부터 예측 오차를 산출한다.

스텝 S304에서, 변환·양자화부(105)는 스텝 S303에서 산출된 예측 오차를 직교 변환하여 변환 계수를 생성한다. 또한 스텝 S302에 있어서 생성된 양자화의 제어 사이즈 정보에 기초하여 결정된 양자화 파라미터를 사용하여 양자화를 행하고 잔차 계수를 생성한다. 구체적으로는 전술한 바와 같이, 양자화의 제어 사이즈 정보(예를 들어 정사각 블록의 1변의 길이)와, 서브 블록의 사이즈(예를 들어 짧은 변 혹은 긴 변의 길이)의 비교를 행하여, 기본 블록 내의 서브 블록에서 양자화 파라미터를 공유할지 여부가 결정된다. 그 결정에 기초하여, 각 영역의 서브 블록에 대응하는 양자화 파라미터를 사용하여 각 서브 블록의 양자화가 실행되고, 각 서브 블록의 잔차 계수가 생성된다.

스텝 S305에서, 역양자화·역변환부(106)는 스텝 S304에서 생성된 잔차 계수를 역양자화·역직교 변환하여, 예측 오차를 재생한다. 본 스텝에서의 역양자화 처리에는, 스텝 S304에서 사용된 양자화 파라미터와 동일한 것이 사용된다.

스텝 S306에서, 화상 재생부(107)는 스텝 S303에서 생성된 예측 정보에 기초하여 예측 화상을 재생한다. 또한 재생된 예측 화상과 스텝 S305에서 생성된 예측 오차로부터 화상 데이터를 재생한다.

스텝 S307에서, 부호화부(110)는 블록의 분할 정보와 함께, 스텝 S303에서 생성된 예측 정보 및 스텝 S304에서 생성된 잔차 계수를 부호화하여, 부호 데이터를 생성한다. 또한, 스텝 S304에서 이용한 양자화 파라미터를, 스텝 S302에서 생성된 양자화의 제어 사이즈 정보에 기초하여 부호화한다. 또한 다른 부호 데이터도 포함하여, 비트 스트림을 생성한다. 구체적으로는, 스텝 S304에 있어서 결정된 양자화 파라미터가 공유되는 영역 중, 부호화되는 서브 블록의 순번에 있어서, 적어도 하나의 유의 계수를 포함하는 서브 블록에 관련지어 양자화 파라미터가 부호화된다.

스텝 S308에서, 화상 부호화 장치의 제어부(100)는 프레임 내의 모든 기본 블록의 부호화가 종료되었는지 여부의 판정을 행하고, 종료되어 있으면 스텝 S309로 진행하고, 그렇지 않으면 다음 기본 블록을 대상으로 하여, 스텝 S303으로 되돌아간다.

스텝 S309에서, 인루프 필터부(109)는 스텝 S306에서 재생된 화상 데이터에 대하여, 인루프 필터 처리를 행하여, 필터 처리된 화상을 생성하고, 처리를 종료한다.

이상, 특히 스텝 S302에 있어서 양자화의 제어 사이즈 정보를 생성하고, 스텝 S304 및 S307에 있어서, 양자화의 제어 사이즈 정보에 기초하여 양자화·부호화 처리를 함으로써, 적절하게 양자화 파라미터의 부호화 처리를 가능하게 할 수 있다. 결과적으로, 생성되는 비트 스트림 전체의 데이터양을 억제하면서, 부호화된 화상의 화질을 향상시킬 수 있다.

또한, 본 실시 형태에서는, 양자화의 제어 사이즈와의 비교에 처리 대상 서브 블록의 수평 방향과 수직 방향 중 짧은 쪽의 길이를 사용하여, 양자화 파라미터가 공유되는 영역을 판정한다고 하였지만, 본 발명은 이것에 한정되지 않는다. 예를 들어, 도 11a 내지 11f에 나타내는 바와 같이, 처리 대상 서브 블록의 수평 방향과 수직 방향 중 긴 쪽의 길이와의 비교를 실시하여, 양자화 파라미터의 공유 단위를 결정해도 된다. 도 11에서는, 양자화의 제어 사이즈로서의 정사각 블록의 1변의 길이 16에 대하여 각 서브 블록의 긴 변의 길이가 각각 비교 대상으로 된다. 도 11에서는, 양자화의 제어 사이즈 16보다도 모든 서브 블록의 긴 변이 길므로, 각 서브 블록에 대하여 양자화 파라미터가 부호화되게 된다. 이에 의해 직사각형 서브 블록에 대하여는, 양자화 파라미터의 부호량의 삭감보다도, 양자화 파라미터의 미세한 제어를 중시한 비트 스트림을 생성할 수 있다.

또한, 다른 실시 형태로서, 처리 대상 서브 블록의 화소수와 양자화의 제어 사이즈의 화소수를 비교함으로써, 양자화 파라미터가 공유되는 영역을 판정해도 된다. 처리 대상 서브 블록과 양자화의 제어 사이즈를 화소수로 비교하는 경우를 도 12a 내지 12f에 나타낸다. 도 12에 있어서, 양자화의 제어 사이즈는 16×16 화소이기 때문에, 화소수가 256이 된다. 또한 처리 대상 서브 블록에 대하여는, 도 12a 내지 12f의 모든 서브 블록에 있어서 화소수는 256 화소 이상으로 되어 있다. 따라서, 도 12의 예에 있어서는, 모든 서브 블록에 있어서 양자화 파라미터가 각각 부호화되게 된다. 이에 의해, 서브 블록의 형상에 관계없이, 서브 블록 내의 화소수에 기초한 양자화 파라미터 제어를 실현할 수 있다.

또한, 본 실시 형태에 있어서, 양자화의 제어 사이즈는 정사각 블록의 1변인 것으로 하여 설명하였지만, 직사각형이어도 된다. 이 경우, 양자화의 제어 사이즈의 폭과 높이를 각각 지정해도 된다. 이 경우에는, 처리 대상 서브 블록의 수직 방향 및 수평 방향의 길이를 양자화의 제어 사이즈의 폭과 높이의 각각과 비교하여, 양쪽 혹은 한쪽의 길이가 양자화의 제어의 사이즈 이상인 경우에 각각의 서브 블록에 대하여 양자화 파라미터를 부호화해도 된다. 이에 의해, 종장 직사각형 서브 블록과 횡장 직사각형 서브 블록에 대하여, 다른 양자화 파라미터 제어를 실현할 수 있다. 또한, 처리 대상의 기본 블록에 양쪽의 길이 혹은 한쪽의 길이가 양자화의 제어 사이즈 미만의 서브 블록이 존재하는 경우, 이 조건을 충족하는 서브 블록에서 공유되어야 할 하나의 양자화 파라미터가 부호화되게 된다.

또한, 본 실시 형태에서는, 양자화 파라미터가 부호화되는 단위를 공간적인 사이즈로 정의하였지만 이것으로 한정되는 것은 아니다. 기본 블록으로부터 몇회 분할하였는지의 횟수를 나타내는 양자화 제어의 깊이(이하, 양자화의 제어 심도라 함)를 생성하고, 양자화의 제어 심도와 처리 대상 서브 블록의 분할의 깊이를 비교하여 양자화 파라미터를 부호화할지 여부를 판정해도 된다. 이 경우, 도 6에 나타내는 양자화의 제어 사이즈 정보 대신에, 양자화의 제어 심도 정보가 부호화된다.

여기서, 처리 대상 서브 블록의 분할의 깊이에 대하여 도 13을 사용하여 설명한다. 도 13의 D0, D1은 각각 깊이 0과 깊이 1을 나타낸다. 도 13a는 기본 블록에 대하여 한번도 분할되지 않아 서브 블록의 깊이는 0(D0)인 것을 나타낸다. 도 13b는 기본 블록에 대하여 4분목 분할되어 있고, 각 서브 블록은 깊이 1(D1)인 것을 나타낸다. 도 13c 및 13d는 기본 블록에 대하여 2분목 분할되어 있고, 각 서브 블록은 깊이 1(D1)인 것을 나타낸다. 도 13e 및 13f는 기본 블록에 대하여 3분목 분할되어 있고, 각 서브 블록의 깊이는 1(D1)인 것을 나타낸다. 이와 같이, 기본 블록에 대하여 한번 분할된 서브 블록은, 4분목 분할, 2분목 분할, 3분목 분할 중 어느 것에 있어서도 깊이가 1 증가하는 것으로 한다.

다음에 양자화의 제어 심도와 각 처리 대상 서브 블록의 분할의 깊이에 따라서, 어떻게 양자화 파라미터가 부호화되는지를, 도 14를 사용하여 설명한다. 도 14a 내지 14e에 있어서, 가장 외측의 정사각형이 기본 블록인 것을 나타낸다. 또한, 도 14a 내지 14e의 각각에 있어서, 좌측이 서브 블록의 분할을 나타내고 있고, 우측은 양자화 파라미터가 공유되는 영역을 나타내고 있다. 또한, 도면 중의 각 블록 내의 D0, D1, D2, D3, D4는 각 서브 블록의 깊이를 나타내고 있고, 예를 들어 D0은 깊이 0을 나타내고, D4는 깊이 4를 나타낸다. Qp는 양자화 파라미터를 나타낸다. 도 14a, 14b, 14c, 14d, 14e는 각각 양자화의 제어 심도가 0, 1, 2, 3, 4인 경우를 나타내고 있다. 도 14a의 경우, 즉 양자화의 제어 심도가 0인 경우에는 도면 중의 모든 서브 블록에서 공통의 양자화 파라미터 사용하여, 부호화순으로 최초의 유의 계수가 포함되어 있는 서브 블록에 관련지어 양자화 파라미터가 부호화된다. 이 경우, 부호화되는 양자화 파라미터는 1개가 된다. 도 14b의 경우, 즉 양자화의 제어 심도가 1인 경우에는, 도 14b의 우측의 블록 단위에서 양자화 파라미터가 공유된다. 또한 당해 블록 단위에서 부호화순의 최초에 유의 계수가 포함되어 있는 서브 블록에 관련지어 하나의 양자화 파라미터가 부호화된다. 이 경우에는 부호화되는 양자화 파라미터는 4개가 된다. 도 14c의 경우, 즉 양자화의 제어 심도가 2인 경우에는, 동 도면의 우측의 블록 단위에서 양자화 파라미터가 공유되고, 당해 단위에서 부호화순의 최초에 유의 계수가 포함되어 있는 서브 블록에 관련지어 하나의 양자화 파라미터가 부호화된다. 이 경우에는 부호화되는 양자화 파라미터는 11개가 된다. 도 14d의 경우, 즉 양자화의 제어 심도가 3인 경우에는, 도 14d의 우측의 블록 단위에서 양자화 파라미터가 공유되고, 당해 단위에서 부호화순의 최초에 유의 계수가 포함되어 있는 서브 블록에 관련지어 양자화 파라미터가 부호화된다. 이 경우에는 부호화되는 양자화 파라미터는 23개가 된다. 도 14e의 경우, 즉 양자화의 제어 심도가 4인 경우에는, 도 14d의 우측의 블록 단위에서 양자화 파라미터를 사용한다. 도 14e의 경우, 블록의 분할의 깊이와 양자화의 제어 심도가 동일하기 때문에, 각각의 블록에 대하여 양자화 파라미터가 부호화된다. 이 경우에는 부호화되는 양자화 파라미터는 27개가 된다.

여기서, 양자화 파라미터가 공유되는 영역에 있어서, 유의 계수가 1개도 포함되지 않는 서브 블록이 존재하는 경우에 대하여, 도 15를 사용하여 설명한다. 도 15a는, 도 14와 마찬가지로 서브 블록 분할을 나타내고, D0, D1, D2, D3, D4는 각 서브 블록의 깊이를 나타낸다. 도 15b는, 도 14와 마찬가지로 양자화의 제어 심도와 각 서브 블록의 깊이에 기초하여 결정되는 양자화 파라미터의 공유 영역을 나타내는 일례이다. 또한, 도 15b는 양자화의 제어 심도가 2인 경우를 예로 하고 있다. 도 15b에 있어서, QpG의 양자화 파라미터에 대응하는 영역 내의 3개의 서브 블록 모두에 유의 계수가 존재하지 않는 경우를 예로 들어 설명한다. 이 경우, 당해 서브 블록 3개에 대한 양자화 파라미터 QpG는 부호화되지 않는다. 단, 디블로킹 필터 등의 처리에는, 그 직전에 부호화된 양자화 파라미터와 동일값, 즉 QpF가 사용된다. 또한, 유의 계수가 존재하지 않는 양자화 파라미터의 부호화 단위에 있어서, 양자화 파라미터를 사용하는 처리에서는 부호화순으로 직전에 부호화된 양자화 파라미터를 사용하는 것으로 하였지만, 본 발명은 이것에 한정되지 않는다. 예를 들어, 위로 인접하는 양자화 파라미터의 부호화 단위의 양자화 파라미터인 QpD를 사용해도 되고, 좌측에 인접하는 양자화 파라미터인 QpF를 사용해도 된다. 또한, 평균값 등 복수의 양자화 파라미터의 부호화 단위의 양자화 파라미터로부터 산출되는 값을 사용해도 상관없다. 나아가, 슬라이스에 대한 양자화 파라미터의 초기값을 사용해도 상관없다. 또한, 슬라이스란 프레임을 분할한 단위를 말하고, 적어도 하나 이상의 기본 블록으로 구성된다. 이와 같이, 처리 대상 서브 블록의 깊이와 양자화의 제어 심도를 비교하여, 처리 대상 서브 블록의 깊이가 양자화의 제어 심도 이하인 경우에 양자화 파라미터를 공유하도록 해도 된다. 서브 블록 분할의 정보는 분할 때마다 부호화되기 때문에, 이에 의해 서브 블록 분할 정보와 친화성이 높은 양자화 파라미터의 부호화 제어를 실현하는 것이 가능해지고, 결과적으로 신택스의 구조를 간이화 할 수 있다.

도 16은, 양자화의 제어 심도를 사용한 양자화 파라미터의 부호화 처리를 나타내는 흐름도이다.

스텝 S1601에 있어서, 변환 양자화부(105)는 양자화의 제어 심도와 서브 블록의 분할의 깊이를 비교한다.

스텝 S1602에 있어서, 변환 양자화부(105)는 S1601에 있어서의 비교의 결과 양자화의 제어 심도보다 깊은 분할의 깊이를 갖는 서브 블록의 영역을 하나의 양자화 파라미터를 공유하는 영역으로서 결정한다.

스텝 S1603에 있어서, 변환 양자화부(105)는 결정된 영역 내의 서브 블록에 대하여 동일한 양자화 파라미터를 사용하여 양자화한다.

스텝 S1604에 있어서, 부호화부(110)는 결정된 영역 내의 서브 블록 중, 부호화순으로 적어도 하나의 유의 계수가 잔차 계수로서 존재하는 서브 블록에 관련지어 스텝 S1603에 있어서 사용된 양자화 파라미터를 부호화한다. 그리고, 통합 부호화부(111)는 양자화의 제어 심도 정보를 부호화한다.

도 16의 처리는 프레임 내의 기본 블록에 대하여 각각 행해지게 된다.

또한, 양자화의 제어 사이즈와 양자화의 제어 심도의 양쪽을 생성하고, 조합하여 이용해도 된다. 이 경우, 도 6에 나타내는 양자화의 제어 사이즈 정보에 더하여, 양자화의 제어 심도 정보가 부호화된다.

예를 들어, 처리 대상 서브 블록의 깊이가 양자화의 제어 심도 이하이며, 또한 처리 대상 서브 블록의 수평 방향과 수직 방향 중 짧은 쪽의 변의 길이가 양자화의 제어의 사이즈 이상인 경우에 서브 블록마다 양자화 파라미터를 부호화하도록 해도 된다. 구체적으로는, 양자화의 제어 심도에 대응하는 영역마다 서브 블록의 짧은 변의 길이와 양자화의 제어 사이즈의 비교가 행해진다. 각 영역에 있어서, 양자화의 제어 사이즈 이상의 짧은 변의 길이의 서브 블록이 존재하는 경우, 당해 영역 내의 각 서브 블록에 대하여 각각 양자화 파라미터가 부호화된다. 당해 영역 내의 어느 서브 블록의 짧은 변의 길이가 양자화의 제어 사이즈 이상이 아닌 경우, 당해 영역 내의 서브 블록간에서 하나의 양자화 파라미터가 공유되고, 그 하나의 양자화 파라미터가 부호화된다.

또한, 처리 대상 서브 블록의 깊이가 양자화의 제어 심도 이하이며, 또한 처리 대상 서브 블록의 수평 방향과 수직 방향 중 긴 쪽의 변의 길이가 양자화의 제어의 사이즈 이상인 경우에 서브 블록마다 양자화 파라미터를 부호화하도록 해도 된다. 이 경우, 양자화의 제어 심도에 대응하는 영역마다 서브 블록의 사이즈와 양자화의 제어 사이즈의 비교가 행해진다. 각 영역에 있어서, 양자화의 제어 사이즈 이상의 긴 변의 길이의 서브 블록이 존재하는 경우, 당해 영역 내의 각 서브 블록에 대하여 각각 양자화 파라미터가 부호화된다. 당해 영역 내의 어느 서브 블록의 긴 변의 길이가 양자화의 제어 사이즈 이상이 아닌 경우, 당해 영역 내의 서브 블록간에서 하나의 양자화 파라미터가 공유되고, 그 하나의 양자화 파라미터가 부호화된다.

또한, 처리 대상 서브 블록의 깊이가 양자화의 제어 심도 이하이며, 또한 처리 대상 서브 블록의 화소수가 양자화의 제어 사이즈의 화소수 이상인 경우에 서브 블록마다 양자화 파라미터를 부호화하도록 해도 된다. 이 경우, 양자화의 제어 심도에 대응하는 영역마다 서브 블록의 사이즈와 양자화의 제어 사이즈의 비교가 행해진다. 각 영역에 있어서, 양자화의 제어 사이즈의 화소수 이상의 화소수의 서브 블록이 존재하는 경우, 당해 영역 내의 각 서브 블록에 대하여 각각 양자화 파라미터가 부호화된다. 당해 영역 내의 어느 서브 블록의 화소수가 모두 양자화의 제어 사이즈 이상이 아닌 경우, 당해 영역 내의 서브 블록간에서 하나의 양자화 파라미터가 공유되고, 그 하나의 양자화 파라미터가 부호화된다.

나아가, 양자화의 제어 사이즈의 폭과 높이를 각각 지정하고, 양자화의 제어 심도와 조합하여 사용해도 된다. 이 경우, 양자화의 제어 심도에 대응하는 영역마다, 서브 블록의 수직 방향과 수평 방향의 길이를 양자화의 제어 사이즈의 폭과 높이의 각각과 비교한다. 이 경우에 있어서, 수직 방향과 수평 방향 중 양쪽 혹은 한쪽의 길이가 양자화의 제어 사이즈의 폭과 높이 이상의 서브 블록이 존재하는 경우, 대상 영역 내의 각각의 서브 블록에 대하여 양자화 파라미터가 부호화된다. 수직 방향과 수평 방향 중 양쪽 혹은 한쪽의 길이가 양자화의 제어 사이즈의 폭과 높이 이상의 서브 블록이 존재하지 않는 경우, 당해 영역에 대하여 양자화 파라미터가 공유되고, 하나의 양자화 파라미터가 부호화된다.

이와 같이, 직사각형 서브 블록 분할이 다용되었을 경우에 있어서, 양자화의 제어 심도뿐만 아니라 양자화의 제어 사이즈를 사용함으로써 극단적으로 가늘고 긴 직사각형 서브 블록에 있어서도 양자화 파라미터의 부호화 제어를 실현하는 것이 가능해진다.

도 18은, 양자화의 제어 사이즈와 양자화의 제어 심도의 양쪽을 사용하여 양자화 파라미터의 부호화 처리를 나타내는 흐름도이다.

스텝 S1801에 있어서, 변환·양자화부(105)는 양자화의 제어 심도와 서브 블록의 분할의 깊이를 비교하여, 양자화의 제어 심도에 대응하는 블록의 깊이의 영역을 결정한다.

스텝 S1802에 있어서, 변환·양자화부(105)는 스텝 S1801에 있어서 결정된 영역마다 각 영역에 포함되는 서브 블록의 사이즈와 양자화의 제어 사이즈를 비교한다.

스텝 S1803에 있어서, 변환·양자화부(105)는 스텝 S1802의 비교의 결과, 대상으로 하는 영역 내의 서브 블록에서 하나의 양자화 파라미터를 공유할지 여부가 결정된다. 그 결정에 기초하여, 각 영역의 서브 블록에 대응하는 양자화 파라미터를 사용하여 각 서브 블록의 양자화가 실행되고, 각 서브 블록의 잔차 계수가 생성된다.

스텝 S1804에 있어서, 대상으로 하는 영역 내의 서브 블록에서 하나의 양자화 파라미터를 공유하는 경우, 부호화부(110)는 부호화순으로 적어도 하나의 유의 계수를 갖는 최초의 서브 블록에 양자화 파라미터를 관련지어 부호화한다. 한편, 기타 서브 블록에 관련지어 양자화 파라미터는 부호화되지 않는다. 또한, 대상으로 하는 영역 내의 서브 블록에서 하나의 양자화 파라미터를 공유하지 않을 경우, 부호화부(110)는 유의 계수가 존재하지 않는 서브 블록을 제외한 서브 블록의 각각에 대하여 관련지어 양자화 파라미터가 부호화한다. 그리고, 통합 부호화부(111)는 양자화의 제어 사이즈 정보 및 양자화의 제어 심도 정보가 부호화된다.

이러한 부호화 처리가 기본 블록의 각각에 대하여 행해진다.

양자화의 제어 사이즈와 양자화의 제어 심도의 양쪽을 사용하여 양자화 파라미터의 부호화 처리를 행하는 경우, 서브 블록의 긴 변을 사용하여 양자화의 제어 사이즈와의 비교를 행하는 것이 각각의 서브 블록에 양자화 파라미터가 관련지어질 가능성이 높다. 즉, 서브 블록의 긴 변을 사용하여 양자화의 제어 사이즈와의 비교를 행하는 것이 가늘고 긴 형상의 물체에 적합하다.

또한, 서브 블록의 분할의 종류가 계층적으로 연속된 경우, 양자화의 제어 사이즈와 서브 블록의 사이즈의 비교의 결과에 관계없이, 양자화 파라미터의 공유를 금지해도 된다. 이에 의해 가늘고 긴 형상의 물체에 적합한 서브 블록의 양자화를 행할 수 있다.

도 2는, 화상 복호 장치의 구성을 나타내는 블록도이다. 본 실시 형태에서는, 도 1에 나타내는 화상 부호화 장치에 있어서 생성된 부호화 데이터의 복호를 예로 들어 설명한다.

단자(201)는 부호화된 비트 스트림을 입력하는 입력 단자이다.

분리 복호부(202)는 비트 스트림으로부터 복호 처리에 관한 정보나 잔차 계수에 관한 부호 데이터로 분리하고, 또한 비트 스트림의 헤더부에 존재하는 부호 데이터를 복호한다. 본 실시 형태에서는, 양자화의 제어 사이즈 정보를 복호하고, 후단으로 출력한다. 분리 복호부(202)는 도 1의 통합 부호화부(111)와 역동작을 행한다.

복호부(203)는 분리 복호부(202)로부터 출력된 부호 데이터로부터, 잔차 계수 및 예측 정보를 취득한다.

역양자화·역변환부(204)는 블록 단위로 입력된 잔차 계수에 대하여 역양자화를 행하고, 또한 역직교 변환을 행함으로써 예측 오차를 취득한다.

프레임 메모리(206)는 재생된 픽처의 화상 데이터를 저장하는 메모리이다.

화상 재생부(205)는 입력된 예측 정보에 기초하여 프레임 메모리(206)를 적절히 참조하여 예측 화상 데이터를 생성한다. 그리고, 이 예측 화상 데이터와 역양자화·역변환부(204)에서 재생된 예측 오차로부터 재생 화상 데이터를 생성하고, 출력한다.

인루프 필터부(207)는, 도 1의 인루프 필터부(109)와 마찬가지로, 재생 화상에 대하여 디블로킹 필터 등의 인루프 필터 처리를 행하여, 필터 처리된 화상을 출력한다.

단자(208)는 재생된 화상 데이터를 외부로 출력하는 출력 단자이다.

상기 화상 복호 장치에 있어서의 화상의 복호 동작을 이하에 설명한다. 본 실시 형태에서는, 본 실시 형태에서 생성된 비트 스트림을 복호한다.

도 2에 있어서, 제어부(200)는 화상 복호 장치 전체를 제어하는 프로세서이며, 단자(201)로부터 입력된 비트 스트림은 분리 복호부(202)에 입력된다. 복호부(202)에서는, 비트 스트림으로부터 복호 처리에 관한 정보나 계수에 관한 부호 데이터로 분리하여, 비트 스트림의 헤더부에 존재하는 부호 데이터를 복호한다. 구체적으로는, 양자화의 제어 사이즈 정보를 복호한다. 본 실시 형태에서는 먼저, 도 6a에 나타나는 비트 스트림의 픽처 헤더로부터 양자화의 제어 사이즈 정보를 복호한다. 이와 같이 하여 얻어진 양자화의 제어 사이즈 정보는 복호부(203) 및 역양자화·역변환부(204)로 출력된다. 또한, 픽처 데이터의 블록 단위의 부호 데이터를 복호부(203)로 출력한다.

복호부(203)에서는, 부호 데이터를 복호하고, 잔차 계수, 예측 정보 및 양자화 파라미터를 취득한다. 잔차 계수나 양자화 파라미터는 역양자화·역변환부(204)로 출력되고, 취득된 예측 정보는 화상 재생부(205)로 출력된다.

여기서, 양자화의 제어 사이즈에 기초하여, 각 서브 블록에 양자화 파라미터를 할당하는 처리에 대하여 도 10을 사용하여 설명한다. 전술한 바와 같이, 도 10a 내지 10f에 있어서, 좌측은 블록 분할의 종류와 각 서브 블록에서 부호화 시에 사용된 양자화 파라미터(Qp)가 나타나 있다. 또한, 사선이 들어 있는 서브 블록은 양자화 파라미터가 관련지어져 있는 서브 블록을 나타내고 있다. 또한, 굵은 프레임의 사각은 양자화의 제어 사이즈와 처리 대상 서브 블록 사이즈에 기초하여 결정된 양자화 파라미터가 공유되는 영역을 나타내고 있다. 양자화의 제어 사이즈와의 비교 방법에 대하여는 화상 부호화 장치와 마찬가지이다. 예를 들어, 도 8 및 도 9를 사용하여 설명한 바와 같이, 처리 대상 서브 블록의 수평 방향과 수직 방향 중 짧은 변과 양자화의 제어 사이즈의 비교를 행한다. 동 도면의 한가운데는 각 서브 블록이 유의 계수를 갖는지의 여부를 나타낸다. 유의 계수란 잔차 계수 중 비제로의 계수를 나타낸다. 즉, 유의 계수 있음이란, 서브 블록 내에 있어서 비제로의 잔차 계수가 적어도 하나 존재하는 것을 나타낸다. 또한, 동 도면의 우측에 도시되는 화살표는 복호의 순번을 나타낸다. 양자화 파라미터의 부호화 단위 내의 서브 블록에 있어서, 복호순으로 최초에 유의 계수가 포함되어 있는 서브 블록에 있어서, 양자화 파라미터는 복호된다. 예를 들어, 도 10b에서는, 복호순으로 최초에 유의 계수를 포함하는 서브 블록은 우측 상단의 서브 블록이기 때문에, 당해 서브 블록에 대하여 양자화 파라미터가 복호된다. 이 경우, 좌측 하단과 우측 하단의 서브 블록에 있어서는, 당해 양자화 파라미터가 공유되는 영역 내이며, 이미 양자화 파라미터가 우측 상단 서브 블록에서 이미 복호되어 있다. 즉, 좌측 하단과 우측 하단의 서브 블록에 대응하는 양자화 파라미터의 부호화 데이터는 비트 스트림 중에 존재하지 않고, 좌측 하단과 우측 하단의 서브 블록에 대응하는 양자화 파라미터는 복호되지 않는다. 좌측 하단, 우측 하단의 서브 블록에 있어서의 양자화·역양자화 처리에 있어서는, 우측 상단 서브 블록과 동일한 양자화 파라미터인 QpA가 사용된다. 또한 좌측 상단 서브 블록에는 유의 계수가 존재하지 않기 때문에, 역양자화 처리는 실행되지 않지만, 디블로킹 필터 등 양자화 파라미터를 사용하는 처리에는, 우측 상단 서브 블록과 동일한 양자화 파라미터인 QpA가 사용된다. 또한, 도 10f에서는 복호순으로 최초에 유의 계수를 포함하는 서브 블록은 하측에 위치하는 서브 블록이기 때문에, 당해 서브 블록에 대하여 관련지어진 양자화 파라미터가 복호된다. 도 10f의 상측 중앙의 서브 블록에 대응하는 양자화 파라미터의 부호화 데이터는 비트 스트림 중에 존재하지 않고, 상측 중앙의 서브 블록에 대응하는 양자화 파라미터는 복호되지 않는다. 단, 도 10f의 상측 한가운데의 서브 블록에서는, 도 10b의 좌측 상단 서브 블록과 마찬가지로, 디블로킹 필터 등 양자화 파라미터를 사용하는 처리에는, 하단의 서브 블록과 동일한 양자화 파라미터인 QpA가 사용된다. 이와 같이, 양자화의 제어 사이즈에 의해 결정된 양자화 파라미터의 부호화 단위 내의 서브 블록에 있어서, 복호순으로 최초에 유의 계수를 포함하는 서브 블록에 대하여 양자화 파라미터가 복호된다.

역양자화·역변환부(204)에서는, 입력된 잔차 계수에 대하여 역양자화를 행하여 직교 변환 계수를 생성하고, 또한 역직교 변환을 실시하여 예측 오차를 재생한다. 각 서브 블록의 역양자화에 있어서는, 양자화 파라미터가 공유되는 영역마다 공통의 양자화 파라미터를 사용하여 역양자화된다. 취득된 예측 정보는 화상 재생부(205)로 출력된다.

화상 재생부(205)에서는, 복호부(203)로부터 입력된 예측 정보에 기초하여, 프레임 메모리(206)을 적절히 참조하고, 예측 화상을 재생한다. 이 예측 화상과 역양자화·역변환부(204)로부터 입력된 예측 오차로부터 화상 데이터를 재생하고, 프레임 메모리(206)에 입력하고, 저장한다. 저장된 화상 데이터는 예측 시의 참조에 사용된다.

인루프 필터부(207)에서는, 도 1의 109와 마찬가지로, 프레임 메모리(206)로부터 재생 화상을 판독하고, 디블로킹 필터나 샘플 어댑티브 오프셋 등의 인루프 필터 처리를 행한다. 그리고, 필터 처리된 화상은 다시 프레임 메모리(206)에 입력된다.

프레임 메모리(206)에 저장된 재생 화상은, 최종적으로는 단자(208)로부터 외부로 출력된다.

도 4는, 화상 복호 장치에 있어서의 화상의 복호 처리를 나타내는 흐름도이다.

먼저 스텝 S401에서, 분리 복호부(202)는 비트 스트림으로부터 복호 처리에 관한 정보나 계수에 관한 부호 데이터로 분리하여, 헤더 부분의 부호 데이터를 복호하고, 양자화의 제어 사이즈 정보를 취득한다.

스텝 S402에서, 복호부(203)는 스텝 S401에서 분리된 부호 데이터를 복호하고, 블록의 분할 정보, 잔차 계수, 예측 정보 및 양자화 파라미터를 취득한다.

스텝 S403에서, 역양자화·역변환부(204)는 서브 블록 단위에서 잔차 계수에 대하여 역양자화를 행하고, 또한 역직교 변환을 행함으로써, 예측 오차를 취득한다. 구체적으로는, 양자화의 제어 사이즈 정보(예를 들어 정사각 블록의 1변의 길이)와, 취득된 블록의 분할 정보로부터 결정되는 서브 블록의 사이즈(예를 들어 짧은 변 혹은 긴 변의 길이)의 비교를 행한다. 그 결과, 양자화 파라미터가 공유되는 영역(서브 블록)이 결정된다. 그리고, 각각의 서브 블록에 할당된 양자화 파라미터에 기초하여 역양자화 처리가 행해진다.

스텝 S404에서, 화상 재생부(205)는 스텝 S402에서 취득된 예측 정보에 기초하여 예측 화상을 재생한다. 또한 재생된 예측 화상과 스텝 S403에서 생성된 예측 오차로부터 화상 데이터를 재생한다.

스텝 S405에서, 화상 복호 장치의 제어부(200)는 프레임 내의 모든 블록의 복호가 종료되었는지 여부의 판정을 행하고, 종료되어 있으면 스텝 S406으로 진행하고, 그렇지 않으면 다음 블록을 대상으로 하여 스텝 S402로 되돌아간다.

스텝 S406에서, 인루프 필터부(207)는 스텝 S404에서 재생된 화상 데이터에 대하여, 인루프 필터 처리를 행하여, 필터 처리된 화상을 생성하고, 처리를 종료한다.

이상의 구성과 동작에 의해, 양자화의 제어 사이즈의 정보를 사용한 양자화 파라미터의 복호 처리에 의해 데이터양을 억제한 비트 스트림을 복호할 수 있다.

또한, 화상 복호 장치에 있어서, 도 6a에 나타내는 바와 같이, 양자화의 제어 사이즈의 정보가 픽처 헤더 부분에 포함되어 있는 비트 스트림을 복호하는 것으로 하였지만, 정보의 부호화 위치는 이것에 한정되지 않는다. 도 6b에 나타낸 바와 같이 화상의 시퀀스 헤더 부분에서 부호화되어 있어도 되고, 다른 위치에서 부호화되어 있어도 상관없다.

또한, 본 실시 형태에서는, 양자화의 제어 사이즈와의 비교에 처리 대상 서브 블록의 수평 방향과 수직 방향 중 짧은 쪽의 길이를 사용하여 판정한다고 하였지만, 본 발명은 이것에 한정되지 않는다. 예를 들어, 도 11에 나타내는 바와 같이, 처리 대상 서브 블록의 수평 방향과 수직 방향의 사이즈 중 긴 변의 길이와 양자화의 제어 사이즈의 비교를 실시하여, 양자화 파라미터가 공유되는 영역을 결정해도 된다. 도 11에서는, 양자화의 제어 사이즈 16보다도 모든 서브 블록의 긴 변이 길므로, 각 서브 블록에 대하여 양자화 파라미터가 부호화되게 된다. 이 경우, 직사각형 서브 블록에 대하여는, 양자화 파라미터의 부호량 삭감보다도, 종장 혹은 횡장의 오브젝트에 대응한 양자화 처리를 행할 수 있다.

또한, 다른 실시 형태로서, 처리 대상 서브 블록의 화소수와 양자화의 제어 사이즈의 화소수를 비교함으로써, 양자화 파라미터가 공유되는 영역을 판정해도 된다. 처리 대상 서브 블록의 사이즈와 양자화의 제어 사이즈를 화소수로 비교하는 경우를 도 12에 나타낸다. 도 12에 있어서, 양자화의 제어 사이즈는 16×16 화소이기 때문에, 화소수가 256이 된다. 도 12a 내지 12f의 예에서는, 모든 서브 블록에 있어서 화소수는 256 화소 이상으로 되어 있다. 따라서, 도 12의 예에 있어서는, 모든 서브 블록에 있어서 양자화 파라미터는 공유되지 않고 각각 사용되고, 각 양자 파라미터가 복호되게 된다. 이에 의해, 서브 블록의 형상에 관계없이, 서브 블록 내의 화소수에 기초한 양자화 파라미터 제어를 실현할 수 있다.

또한, 본 실시 형태에 있어서, 양자화의 제어 사이즈는 정사각 블록의 1변인 것으로 하여 설명하였지만, 직사각형이어도 된다. 이 경우, 양자화의 제어 사이즈의 폭과 높이를 각각 지정해도 된다. 이 경우, 처리 대상 서브 블록의 수직 방향 및 수평의 길이를 양자화의 제어 사이즈의 폭과 높이의 각각과 비교하여, 양쪽 혹은 한쪽의 길이가 양자화의 제어의 사이즈 이상인 경우에 각각의 서브 블록에 대하여 양자화 파라미터를 복호하도록 해도 된다. 또한, 처리 대상의 기본 블록 내에 양쪽의 길이 혹은 한쪽의 길이가 양자화의 제어 사이즈 미만의 서브 블록이 존재하는 경우, 이 조건을 충족하는 서브 블록에서 공유되어야 할 하나의 양자화 파라미터가 복호되게 된다. 이에 의해, 종장 직사각형 서브 블록과 횡장 직사각형 서브 블록에 대하여, 다른 양자화 파라미터 제어를 실현할 수 있다.

또한, 본 실시 형태에서는, 양자화 파라미터가 부호화되는 기준을 공간적인 사이즈로 정의하였지만 이것으로 한정되는 것은 아니다. 기본 블록으로부터 몇회 분할하였는지 횟수를 나타내는 양자화 제어의 깊이(이하, 양자화의 제어 심도라 함)를 비트 스트림으로부터 복호하고, 양자화의 제어 심도와 처리 대상 서브 블록의 분할의 깊이를 비교한다. 이에 의해, 복호되는 양자화 파라미터가 공유되는 서브 블록의 영역을 판정해도 된다. 여기서, 처리 대상 서브 블록의 깊이에 대하여 도 13을 사용하여 설명한다. 도 13의 D0, D1은 각각 깊이 0과 깊이 1을 나타낸다. 도 13a는 기본 블록에 대하여 한번도 분할되지 않아 서브 블록의 깊이는 0(D0)인 것을 나타낸다. 도 13b는 기본 블록에 대하여 4분목 분할되어 있고, 각 서브 블록은 깊이 1(D1)인 것을 나타낸다. 도 13c 및 13d는 기본 블록에 대하여 2분목 분할되어 있고, 각 서브 블록은 깊이 1(D1)인 것을 나타낸다. 도 13e 및 13f는 기본 블록에 대하여 3분목 분할되어 있고, 각 서브 블록의 깊이는 1(D1)인 것을 나타낸다. 이와 같이, 기본 블록에 대하여 한번 분할된 서브 블록은, 4분목 분할, 2분목 분할, 3분목 분할 중 어느 것이어도 깊이가 1 증가하는 것으로 한다. 다음에 양자화의 제어 심도와 각 처리 대상 서브 블록의 분할의 깊이에 따라서, 어떻게 양자화 파라미터가 복호되는지를, 도 14를 사용하여 설명한다. 도 14a 내지 14e에 있어서, 가장 외측의 정사각형이 기본 블록인 것을 나타낸다. 또한, 도 14a 내지 14e의 각각에 있어서, 좌측이 서브 블록의 분할을 나타내고 있고, 우측은 양자화 파라미터가 공유되는 영역을 나타내고 있다. 또한, 도면 중의 각 블록 내의 D0, D1, D2, D3, D4는 각 서브 블록의 깊이를 나타내고 있고, 예를 들어 D0은 깊이 0을 나타내고, D4는 깊이 4를 나타낸다. Qp는 양자화 파라미터를 나타낸다. 도 14a, 14b, 14c, 14d, 14e는 각각 양자화의 제어 심도가 0, 1, 2, 3, 4인 경우를 나타내고 있다. 도 14a의 경우, 즉 양자화의 제어 심도가 0인 경우에는 도면 중의 모든 서브 블록에서 공통의 양자화 파라미터가 복호된다. 이 양자화 파라미터는, 복호순으로 최초의 유의 계수가 포함되어 있는 서브 블록에 있어서 복호된다. 이 경우, 복호되는 양자화 파라미터는 1개가 된다. 도 14b의 경우, 즉 양자화의 제어 심도가 1인 경우에는, 도 14b의 우측 도면에 나타내는 블록의 단위에서 공통의 양자화 파라미터가 부호화되어 있다. 이들 양자화 파라미터는, 복호순으로 최초에 유의 계수가 포함되어 있는 서브 블록에 관련지어져 있고, 복호되게 된다. 도 14b의 경우, 복호되는 양자화 파라미터는 4개가 된다. 도 14c의 경우, 즉 양자화의 제어 심도가 2인 경우에는, 도 14c의 우측 도면에 나타내는 블록의 단위에서 공통의 양자화 파라미터가 부호화되어 있다. 이들 양자화 파라미터는 복호순으로 최초에 유의 계수가 포함되어 있는 서브 블록에 관련지어져 있고, 복호된다. 이 경우에는 복호되는 양자화 파라미터는 11개가 된다. 도 14d의 경우, 즉 양자화의 제어 심도가 3인 경우에는, 도 14d의 우측 도면에 나타내는 블록의 단위에서 공통의 양자화 파라미터가 부호화되어 있다. 이 경우에 있어서도, 각 양자화 파라미터는 복호순으로 최초에 유의 계수가 포함되어 있는 서브 블록에 관련지어져 있고, 복호되게 된다. 도 14d의 경우에는 복호되는 양자화 파라미터는 23개가 된다. 도 14e의 경우, 즉 양자화의 제어 심도가 4인 경우에는, 도 14d의 우측 도면에 나타내는 블록의 단위, 즉 각 블록에 대하여 양자화 파라미터가 부호화되어 있다. 유의 계수가 포함되지 않은 서브 블록의 양자화 파라미터는 복호되지 않지만, 모든 서브 블록에 유의 계수가 포함되어 있다고 하면, 27개의 양자화 파라미터가 복호된다. 여기서, 양자화 파라미터가 공유되는 영역에 있어서, 유의 계수가 하나도 포함되지 않은 서브 블록이 존재하는 경우에 대하여, 도 15를 사용하여 설명한다. 도 15a는 도 14와 마찬가지로 서브 블록 분할을 나타내고, D0, D1, D2, D3, D4는 각 서브 블록의 분할의 깊이를 나타낸다. 도 15b는, 도 14와 마찬가지로 양자화의 제어 심도와 각 서브 블록의 깊이에 기초하여 결정되는 양자화 파라미터의 공유 영역을 나타내는 일례이다. 또한, 도 15는 양자화의 제어 심도가 2인 경우를 예로 한다. 또한, 도 15의 양자화 파라미터의 부호화 단위 QpG 내의 3개의 서브 블록 모두에 하나도 유의 계수가 존재하지 않는 경우, 당해 서브 블록 3개에 있어서 양자화 파라미터는 복호되지 않는다. 단, 디블로킹 필터 등 양자화 파라미터를 사용하는 처리에는, 복호순으로 당해 양자화 파라미터의 부호화 단위의 직전에 복호된 양자화 파라미터와 동일값, 즉 QpF가 QpG 내의 3개의 서브 블록에 적용된다. 또한, 유의 계수가 존재하지 않는 양자화 파라미터의 부호화 단위에 있어서, 양자화 파라미터를 사용하는 처리에서는 복호순으로 직전에 부호화된 양자화 파라미터를 사용해도 되지만, 본 발명은 이것에 한정되지 않는다. 예를 들어, 상측에 인접하는 양자화 파라미터의 부호화 단위의 양자화 파라미터인 QpD를 사용해도 되고, 좌측에 인접하는 양자화 파라미터인 QpF를 사용해도 된다. 또한, 평균값 등 복수의 양자화 파라미터의 부호화 단위의 양자화 파라미터로부터 산출되는 값을 사용해도 상관없다. 나아가, 슬라이스에 대한 양자화 파라미터의 초기값을 사용해도 상관없다. 또한, 슬라이스란 프레임을 분할한 단위이며, 적어도 하나 이상의 기본 블록으로 구성된다. 이와 같이, 처리 대상 서브 블록의 깊이와 양자화의 제어 심도를 비교하여, 처리 대상 서브 블록의 깊이가 양자화의 제어 심도 이하인 경우에 공유되어야 할 양자화 파라미터가 복호되는 것으로 해도 된다. 서브 블록의 분할 정보는 분할 때마다 복호되기 때문에, 이에 의해 서브 블록의 분할 정보와 친화성이 높은 양자화 파라미터의 부호화 제어를 실현하는 것이 가능해지고, 결과적으로 신택스의 구조를 간이화한 비트 스트림을 복호할 수 있다.

도 17은, 양자화의 제어 심도를 사용한 양자화 파라미터의 복호 처리를 나타내는 흐름도이다.

스텝 S1701에 있어서, 분리 복호부(202)는 비트 스트림으로부터 양자화의 제어 사이즈 정보 및 양자화의 제어 심도에 관한 정보를 복호한다. 그리고, 복호부(203)는 분할 정보를 복호하고, 서브 블록의 형상 및 깊이에 관한 정보를 취득한다. 역양자화·변환부(204)는 분리 복호부(202)에 있어서 복호된 양자화의 제어 심도 정보와, 복호부(203)에 의해 복호된 분할 정보에 기초하여 얻어지는 서브 블록의 분할의 깊이를 비교한다.

스텝 S1702에 있어서, 역양자화·변환부(204)는 S1701에 있어서의 비교의 결과, 양자화의 제어 심도보다 깊은 분할의 깊이를 갖는 서브 블록의 영역을, 하나의 양자화 파라미터를 공유하는 영역으로서 결정한다.

스텝 S1703에 있어서, 역양자화·변환부(204)는 결정된 영역 내의 서브 블록 중, 복호순으로 적어도 하나의 유의 계수가 잔차 계수로서 존재하는 서브 블록에 관련지어진 양자화 파라미터를 복호한다.

스텝 S1704에 있어서, 역양자화·변환부(204)는 스텝 S1702에 있어서 결정된 영역 내의 서브 블록에 대하여 스텝 S1703에 있어서 복호된 양자화 파라미터를 사용하여 역양자화를 행한다. 도 17의 처리는 프레임 내의 기본 블록에 대하여 각각 행해지게 된다.

또한, 양자화의 제어 사이즈와 양자화의 제어 심도의 양쪽을 생성하고, 조합하여 이용해도 된다. 이 경우, 도 6에 나타내는 양자화의 제어 사이즈에 관한 정보에 더하여, 양자화의 제어 심도에 관한 정보가 복호된다.

예를 들어, 처리 대상 서브 블록의 깊이가 양자화의 제어 심도 이하이며, 또한 처리 대상 서브 블록의 수평 방향과 수직 방향 중 짧은 쪽의 1변의 길이가 양자화의 제어의 사이즈 이상인 경우에 각 서브 블록에 대한 양자화 파라미터가 복호된다. 구체적으로는, 양자화의 제어 심도에 대응하는 영역마다 서브 블록의 짧은 변의 길이와 양자화의 제어 사이즈의 비교가 행해진다. 각 영역에 있어서, 양자화의 제어 사이즈 이상의 짧은 변의 길이의 서브 블록이 존재하는 경우, 당해 영역 내의 각 서브 블록에 대하여 각각 양자화 파라미터가 복호된다. 당해 영역 내의 서브 블록의 짧은 변의 길이가 모두 양자화의 제어 사이즈 이상이 아닌 경우, 당해 영역 내의 서브 블록간에서 공유되는 하나의 양자화 파라미터가 복호된다.

또한, 처리 대상 서브 블록의 깊이가 양자화의 제어 심도 이하이며, 또한 처리 대상 서브 블록의 수평 방향과 수직 방향 중 긴 쪽의 1변의 길이가 양자화의 제어의 사이즈 이상인 경우에 각 서브 블록에 대한 양자화 파라미터를 복호하도록 해도 된다. 구체적으로는, 양자화의 제어 심도에 대응하는 영역마다 서브 블록의 사이즈와 양자화의 제어 사이즈의 비교가 행해진다. 각 영역에 있어서, 양자화의 제어 사이즈 이상의 긴 변의 길이의 서브 블록이 존재하는 경우, 당해 영역 내의 각 서브 블록에 대하여 각각 양자화 파라미터가 복호된다. 당해 영역 내의 서브 블록의 긴 변의 길이가 모두 양자화의 제어 사이즈 이상이 아닌 경우, 당해 영역 내의 서브 블록간에서 공유되는 하나의 양자화 파라미터가 복호된다.

또한, 처리 대상 서브 블록의 깊이가 양자화의 제어 심도 이하이며, 또한 처리 대상 서브 블록의 화소수가 양자화의 제어 사이즈의 화소수 이상인 경우에 양자화 파라미터를 복호하도록 해도 된다. 이 경우, 양자화의 제어 심도에 대응하는 영역마다 서브 블록의 사이즈와 양자화의 제어 사이즈의 비교가 행해진다. 각 영역에 있어서, 양자화의 제어 사이즈의 화소수 이상의 화소수의 서브 블록이 존재하는 경우, 당해 영역 내의 각 서브 블록에 대하여 각각 양자화 파라미터가 복호된다. 또한, 각 영역에 있어서, 서브 블록의 사이즈가 모두 양자화의 제어 사이즈 이상이 아닌 경우, 당해 영역 내의 서브 블록간에서 공유되는 하나의 양자화 파라미터가 복호된다.

나아가, 양자화의 제어 사이즈의 폭과 높이를 각각 지정하고, 양자화의 제어 심도와 조합하여 사용해도 된다. 이 경우, 양자화의 제어 심도에 대응하는 영역마다, 서브 블록의 수직 방향과 수평 방향의 길이를 양자화의 제어 사이즈의 폭과 높이의 각각과 비교한다. 이 경우에 있어서, 양쪽 혹은 한쪽의 변의 길이가 양자화의 제어 사이즈 이상인 서브 블록이 존재하는 경우, 서브 블록마다 각각 양자화 파라미터가 복호된다.

도 19는, 양자화의 제어 사이즈와 양자화의 제어 심도의 양쪽을 사용하여 양자화 파라미터의 복호 처리를 나타내는 흐름도이다.

스텝 S1901에 있어서, 분리 복호부(202)는 비트 스트림으로부터 양자화의 제어 사이즈에 관한 정보 및 양자화의 제어 심도에 관한 정보를 복호한다. 그리고, 복호부(203)는 분할 정보를 복호하고, 서브 블록의 형상 및 깊이에 관한 정보를 취득한다. 그리고, 역양자화·역변환부(204)는 양자화의 제어 심도와 서브 블록의 분할의 깊이를 비교하여, 양자화의 제어 심도에 대응하는 깊이의 서브 블록의 분할 영역을 결정한다.

스텝 S1902에 있어서, 역양자화·역변환부(204)는 스텝 S1901에 있어서 결정된 영역마다 각 영역에 포함되는 서브 블록의 사이즈와 양자화의 제어 사이즈를 비교한다. 여기서, 서브 블록의 사이즈는 복호된 분할 정보에 기초하여 결정되는 서브 블록의 형상으로부터 구할 수 있다.

스텝 S1903에 있어서, 역양자화·역변환부(204)는 스텝 S1902의 비교의 결과, 대상으로 하는 영역 내의 서브 블록에서 하나의 양자화 파라미터를 공유할지 여부가 결정된다. 그 결정에 기초하여, 각 영역의 서브 블록에 대응하는 양자화 파라미터를 사용하여 각 서브 블록의 양자화가 실행되고, 각 서브 블록의 잔차 계수가 생성된다.

스텝 S1904에 있어서, 대상으로 하는 영역 내의 서브 블록에서 하나의 양자화 파라미터가 공유되는 경우, 복호부(203)는 복호순으로 적어도 하나의 유의 계수를 갖는 최초의 서브 블록에 관련지어진 양자화 파라미터를 복호한다. 또한, 기타 서브 블록에 관련지어진 양자화 파라미터의 부호화 데이터는 존재하지 않는다. 또한, 대상으로 하는 영역 내의 서브 블록에서 하나의 양자화 파라미터를 공유하지 않는 경우, 복호부(203)는 유의 계수가 존재하지 않는 서브 블록을 제외한 서브 블록의 각각에 대하여 관련지어진 양자화 파라미터를 복호하게 된다.

이러한 복호 처리가 기본 블록의 각각에 대하여 행해진다.

양자화의 제어 사이즈와 양자화의 제어 심도의 양쪽을 사용하여 양자화 파라미터의 복호 처리를 행하는 경우, 서브 블록의 긴 변을 사용하여 양자화의 제어 사이즈와의 비교를 행하는 것이 각각의 서브 블록에 양자화 파라미터가 관련지어질 가능성이 높다. 즉, 서브 블록의 긴 변을 사용하여 양자화의 제어 사이즈와의 비교를 행하는 것이 가늘고 긴 직사각형의 형상 물체에 적합하다.

이에 의해, 직사각형 서브 블록 분할이 다용되었을 경우에 있어서, 양자화의 제어 심도뿐만 아니라 양자화의 제어 사이즈를 사용함으로써 극단적으로 가늘고 긴 직사각형 서브 블록에 있어서도 양자화 파라미터의 부호화 제어를 실현하는 것이 가능해진다.

또한, 서브 블록의 분할의 종류가 계층적으로 연속된 경우, 양자화의 제어 사이즈와 서브 블록의 사이즈의 비교의 결과에 관계없이, 양자화 파라미터의 공유를 금지해도 된다. 이에 의해 가늘고 긴 형상의 물체에 적합한 서브 블록의 양자화를 행할 수 있다. 도 1, 도 2에 도시한 각 처리부는 하드웨어로 구성하고 있는 것으로서 상기 실시 형태에서는 설명하였다. 그러나, 이들 도면에 나타낸 각 처리부에서 행하는 처리를 컴퓨터 프로그램으로 구성해도 된다.

도 5는, 상기 각 실시 형태에 따른 화상 표시 장치에 적용 가능한 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.

CPU(501)는 RAM(502)이나 ROM(503)에 저장되어 있는 컴퓨터 프로그램이나 데이터를 사용하여 컴퓨터 전체의 제어를 행함과 함께, 상기 각 실시 형태에 따른 화상 처리 장치가 행하는 것으로 하여 상술한 각 처리를 실행한다. 즉, CPU(501)는 도 1, 도 2에 도시한 각 처리부로서 기능하게 된다.

RAM(502)은 외부 기억 장치(506)로부터 로드된 컴퓨터 프로그램이나 데이터, I/F(인터페이스)(507)를 통해 외부로부터 취득한 데이터 등을 일시적으로 기억하기 위한 에어리어를 갖는다. 또한, RAM(502)은 CPU(501)가 각종 처리를 실행할 때에 사용하는 워크 에어리어를 갖는다. 즉, RAM(502)은, 예를 들어 프레임 메모리로서 할당하거나, 그 밖의 각종 에어리어를 적절히 제공하거나 할 수 있다.

ROM(503)에는, 본 컴퓨터의 설정 데이터나 부트 프로그램 등이 저장되어 있다. 조작부(504)는 키보드나 마우스 등에 의해 구성되어 있고, 본 컴퓨터의 유저가 조작함으로써, 각종 지시를 CPU(501)에 대하여 입력할 수 있다. 표시부(505)는 CPU(501)에 의한 처리 결과를 표시한다. 또한 표시부(505)는 예를 들어 액정 디스플레이로 구성된다.

외부 기억 장치(506)는 하드디스크 드라이브 장치로 대표되는, 대용량 정보 기억 장치이다. 외부 기억 장치(506)에는, OS(오퍼레이팅 시스템)나, 도 1, 도 2에 도시한 각 부의 기능을 CPU(501)에 실현시키기 위한 컴퓨터 프로그램이 보존되어 있다. 나아가, 외부 기억 장치(506)에는, 처리 대상으로서의 각 화상 데이터가 보존되어 있어도 된다.

외부 기억 장치(506)에 보존되어 있는 컴퓨터 프로그램이나 데이터는, CPU(501)에 의한 제어에 따라서 적절히 RAM(502)에 로드되고, CPU(501)에 의한 처리 대상이 된다. I/F(507)에는, LAN이나 인터넷 등의 네트워크, 투영 장치나 표시 장치 등의 다른 기기를 접속할 수 있고, 본 컴퓨터는 이 I/F(507)를 통해 각종 정보를 취득하거나 송출하거나 할 수 있다. 508은 상술한 각 부를 연결하는 버스이다.

상술한 구성을 포함하는 작동은 전술한 흐름도에서 설명한 작동을 CPU(501)가 중심이 되어 그 제어를 행한다.

본 발명의 목적은, 전술한 기능을 실현하는 컴퓨터 프로그램의 코드를 기록한 기억 매체를, 시스템에 공급하고, 그 시스템이 컴퓨터 프로그램의 코드를 판독하여 실행함으로써도 달성된다. 이 경우, 기억 매체로부터 판독된 컴퓨터 프로그램의 코드 자체가 전술한 실시 형태의 기능을 실현하고, 그 컴퓨터 프로그램의 코드를 기억한 기억 매체는 본 발명을 구성한다. 또한, 그 프로그램의 코드의 지시에 기초하여, 컴퓨터 상에서 가동하고 있는 오퍼레이팅 시스템(OS) 등이 실제의 처리의 일부 또는 전부를 행하여, 그 처리에 의해 전술한 기능이 실현되는 경우도 포함된다.

또한, 이하의 형태로 실현해도 상관없다. 즉, 기억 매체로부터 판독된 컴퓨터 프로그램 코드를, 컴퓨터에 삽입된 기능 확장 카드나 컴퓨터에 접속된 기능 확장 유닛에 구비되는 메모리에 기입한다. 그리고, 그 컴퓨터 프로그램의 코드의 지시에 기초하여, 그 기능 확장 카드나 기능 확장 유닛에 구비되는 CPU 등이 실제의 처리의 일부 또는 전부를 행하여, 전술한 기능이 실현되는 경우도 포함된다.

본 발명을 상기 기억 매체에 적용하는 경우, 그 기억 매체에는, 먼저 설명한 흐름도에 대응하는 컴퓨터 프로그램의 코드가 저장되게 된다.

본 발명은 정지 화상·동화상의 부호화·복호를 행하는 부호화 장치·복호 장치에 사용된다. 특히, 양자화 처리를 사용하는 부호화 방식 및 복호 방식에 적용이 가능하다.

본 발명에 의해, 정사각형 서브 블록뿐만 아니라 직사각형 서브 블록에 있어서도 적절하게 양자화 파라미터의 부호화를 행할 수 있다.

본 발명은, 상술한 실시 형태의 1 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 하나 이상의 프로세서가 프로그램을 판독하여 실행하는 처리에서도 실현 가능하다. 또한, 1 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실현 가능하다.

본 발명이 상기 실시 형태에 제한되는 것은 아니고, 본 발명의 정신 및 범위로부터 이탈하지 않고, 각종 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 밝히기 위해 이하의 청구항을 첨부한다.

본원은, 2018년 6월 27일 제출된 일본 특허 출원 제2018-122421호를 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용의 모두를 여기에 원용한다.

Claims (10)

1. 화상을 블록 단위로 부호화할 수 있는 화상 부호화 장치이며,
   화상을 복수의 부호화 트리 단위로 분할하도록 구성된 제1 분할 수단과,
   부호화 트리 단위를 복수의 블록으로 분할하도록 구성된 제2 분할 수단과,
   양자화 파라미터를 공유하도록 블록 그룹을 결정하기 위한 임계값과 분할값을 비교하도록 구성된 비교 수단- 상기 분할값은 상기 부호화 트리 단위가 분할되는 횟수가 증가함에 따라 증가하는 값이고, 상기 블록 그룹은 상기 분할값이 상기 임계값보다 큰 복수의 블록을 적어도 포함할 수 있음 -과,
   상기 비교 수단에 의해 취득된 비교 결과에 따라 양자화 파라미터의 값을 나타내는 데이터를 부호화하도록 구성된 부호화 수단과,
   디블로킹 필터 처리를 행하도록 구성된 필터 처리 수단을 포함하고,
   상기 블록 그룹에 포함된 블록이 비-제로(non-zero) 계수를 포함하는 경우, 상기 부호화 수단은, 상기 블록 그룹에서 공유되는 양자화 파라미터의 제1 값을 나타내는 제1 데이터를, 상기 비-제로 계수를 포함하는 블록과 관련하여 부호화하도록 구성되고,
   상기 블록 그룹이 3개의 블록으로 구성되고, 상기 블록 그룹에 포함되는 상기 3개의 블록이 비-제로 계수를 포함하지 않는 경우, 상기 부호화 수단은, 상기 블록 그룹에 대한 상기 제1 데이터를 부호화하지 않도록 구성되고, 상기 필터 처리 수단은, 상기 블록 그룹 이외의 블록들에 대한 양자화 파라미터들의 평균값을 계산하여 도출되는 양자화 파라미터의 제2 값을 사용함으로써 상기 블록 그룹에 포함된 상기 3개의 블록에 대해 디블로킹 필터 처리를 행하도록 구성되고,
   상기 부호화 수단은 상기 임계값을 특정하기 위한 정보를 비트 스트림으로 부호화하도록 구성되는, 화상 부호화 장치.
2. 화상을 복수의 부호화 트리 단위로 분할하고 부호화 트리 단위를 복수의 블록으로 분할함으로써 부호화된 비트 스트림을 복호할 수 있는 화상 복호 장치로서,
   양자화 파라미터를 공유하도록 블록 그룹을 결정하기 위한 임계값과 분할값을 비교하도록 구성된 비교 수단- 상기 분할값은 상기 부호화 트리 단위가 분할되는 횟수가 증가함에 따라 증가하는 값이고, 상기 블록 그룹은 상기 분할값이 상기 임계값보다 큰 복수의 블록을 적어도 포함할 수 있음 -과,
   상기 비교 수단에 의해 취득된 비교 결과에 따라 양자화 파라미터의 값을 나타내는 데이터를 복호하도록 구성된 복호 수단과,
   디블로킹 필터 처리를 행하도록 구성된 필터 처리 수단을 포함하고,
   상기 블록 그룹에 포함된 블록이 비-제로 계수를 포함하는 경우, 상기 복호 수단은, 상기 비-제로 계수를 포함하는 블록을 처리할 때 상기 블록 그룹에서 공유되는 양자화 파라미터의 제1 값을 나타내는 제1 데이터를 복호하도록 구성되고,
   상기 블록 그룹이 3개의 블록으로 구성되고, 상기 블록 그룹에 포함되는 상기 3개의 블록이 비-제로 계수를 포함하지 않는 경우, 상기 복호 수단은, 상기 블록 그룹에 대한 상기 제1 데이터를 복호하지 않도록 구성되고, 상기 필터 처리 수단은, 상기 블록 그룹 이외의 블록들에 대한 양자화 파라미터들의 평균값을 계산하여 도출되는 양자화 파라미터의 제2 값을 사용함으로써 상기 블록 그룹에 포함된 상기 3개의 블록에 대해 디블로킹 필터 처리를 행하도록 구성되고,
   상기 복호 수단은 상기 임계값을 특정하기 위한 정보를 비트 스트림으로부터 복호하도록 구성되는, 화상 복호 장치.
3. 화상을 블록 단위로 부호화하는 화상 부호화 방법이며,
   화상을 복수의 부호화 트리 단위로 분할하는 제1 분할 단계와,
   부호화 트리 단위를 복수의 블록으로 분할하는 제2 분할 단계와,
   양자화 파라미터를 공유하도록 블록 그룹을 결정하기 위한 임계값과 분할값을 비교하는 비교 단계- 상기 분할값은 상기 부호화 트리 단위가 분할되는 횟수가 증가함에 따라 증가하는 값이고, 상기 블록 그룹은 상기 분할값이 상기 임계값보다 큰 복수의 블록을 적어도 포함할 수 있음 -와,
   비교 결과에 따라 양자화 파라미터의 값을 나타내는 데이터를 부호화하는 부호화 단계를 포함하고,
   상기 블록 그룹에 포함된 블록이 비-제로 계수를 포함하는 경우, 상기 블록 그룹에서 공유되는 양자화 파라미터의 제1 값을 나타내는 제1 데이터가 상기 비-제로 계수를 포함하는 블록과 관련하여 부호화되고,
   상기 블록 그룹이 3개의 블록으로 구성되고, 상기 블록 그룹에 포함되는 상기 3개의 블록이 비-제로 계수를 포함하지 않는 경우, 상기 블록 그룹에 대한 상기 제1 데이터는 부호화되지 않고, 상기 화상 부호화 방법은 상기 블록 그룹 이외의 블록들에 대한 양자화 파라미터들의 평균값을 계산하여 도출되는 양자화 파라미터의 제2 값을 사용함으로써 상기 블록 그룹에 포함된 상기 3개의 블록에 대해 디블로킹 필터 처리를 행하는 단계를 더 포함하고,
   상기 화상 부호화 방법은 상기 임계값을 특정하기 위한 정보를 비트 스트림으로 부호화하는 단계를 더 포함하는, 화상 부호화 방법.
4. 화상을 복수의 부호화 트리 단위로 분할하고 부호화 트리 단위를 복수의 블록으로 분할함으로써 부호화된 비트 스트림을 복호하는 화상 복호 방법으로서,
   양자화 파라미터를 공유하도록 블록 그룹을 결정하기 위한 임계값과 분할값을 비교하는 비교 단계- 상기 분할값은 상기 부호화 트리 단위가 분할되는 횟수가 증가함에 따라 증가하는 값이고, 상기 블록 그룹은 상기 분할값이 상기 임계값보다 큰 복수의 블록을 적어도 포함할 수 있음 -와,
   비교 결과에 따라 양자화 파라미터의 값을 나타내는 데이터를 복호하는 복호 단계와,
   상기 블록 그룹에 포함된 블록이 비-제로 계수를 포함하는 경우, 상기 비-제로 계수를 포함하는 블록을 처리할 때 상기 블록 그룹에서 공유되는 양자화 파라미터의 제1 값을 나타내는 제1 데이터가 복호되고,
   상기 블록 그룹이 3개의 블록으로 구성되고, 상기 블록 그룹에 포함되는 상기 3개의 블록이 비-제로 계수를 포함하지 않는 경우, 상기 블록 그룹에 대한 상기 제1 데이터는 복호되지 않고, 상기 화상 복호 방법은 상기 블록 그룹 이외의 블록들에 대한 양자화 파라미터들의 평균값을 계산하여 도출되는 양자화 파라미터의 제2 값을 사용함으로써 상기 블록 그룹에 포함된 상기 3개의 블록에 대해 디블로킹 필터 처리를 행하는 단계를 더 포함하고,
   상기 화상 복호 방법은, 상기 임계값을 특정하기 위한 정보를 비트 스트림으로부터 복호하는 단계를 더 포함하는, 화상 복호 방법.
5. 컴퓨터로 하여금, 제3항에 따른 화상 부호화 방법을 실행하게 하는 프로그램을 저장하는, 비일시적 컴퓨터 판독가능한 저장 매체.
6. 컴퓨터로 하여금, 제4항에 따른 화상 복호 방법을 실행하게 하는 프로그램을 저장하는, 비일시적 컴퓨터 판독가능한 저장 매체.
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images