KR20210125089A - 화상 복호 장치, 화상 복호 방법 및 프로그램 - Google Patents

Abstract

복호 수단은, 제1 블록에 대응하는 N×M개의 양자화 계수를 갖는 제1 양자화 계수군에 대응하는 데이터와, 제2 블록에 대응하는 N×M개의 양자화 계수를 갖는 제2 양자화 계수군에 대응하는 데이터를 복호한다. 역양자화 수단은, N×M개의 요소를 갖는 제1 양자화 매트릭스를 적어도 사용하여 제1 양자화 계수군으로부터 제1 직교 변환 계수군을 도출하고, N×M개의 요소를 갖는 제2 양자화 매트릭스를 적어도 사용하여 제2 양자화 계수군으로부터 제2 직교 변환 계수군을 도출한다. 역직교 변환 수단은, 제1 직교 변환 계수군에 역직교 변환을 실행하여 P×Q 화소분의 제1 예측 오차를 생성하고, 제2 직교 변환 계수군에 역직교 변환을 실행하여 N×M 화소분의 제2 예측 오차를 생성한다.

Description

화상 복호 장치, 화상 복호 방법 및 프로그램

본 발명은, 화상 부호화 기술에 관한 것이다.

동화상을 압축하는 부호화 방식으로서, HEVC(High Efficiency Video Coding) 부호화 방식(이하, HEVC라 기재함)이 알려져 있다. HEVC에서는 부호화 효율의 향상을 위하여, 종래의 매크로 블록(16×16 화소)보다 큰 사이즈의 기본 블록이 채용되었다. 이 큰 사이즈의 기본 블록은 CTU(Coding Tree Unit)라고 불리고, 그 사이즈는 최대 64×64 화소이다. CTU는 또한 예측이나 변환을 행하는 단위가 되는 서브 블록으로 분할된다.

또한, HEVC에 있어서는, 직교 변환을 실시한 후의 계수(이하, 직교 변환 계수라 기재함)를, 주파수 성분에 따라서 가중치 부여를 행하기 위해 양자화 매트릭스가 사용되고 있다. 양자화 매트릭스가 사용됨으로써 인간의 시각에 있어서 열화가 두드러지지 않는 고주파 성분의 데이터를, 저주파 성분의 데이터보다도 삭감시킴으로써, 화질을 유지하면서 압축 효율을 높이는 것이 가능해지고 있다. 일본 특허 공개 제2013-38758에서는, 이러한 양자화 매트릭스를 나타내는 정보를 부호화하는 기술이 개시되어 있다.

또한, 근년 HEVC의 후계로서 더욱 고효율적인 부호화 방식의 국제 표준화를 행하는 활동이 개시되어 있다. 구체적으로는, ISO/IEC와 ITU-T에 의해 설립된 JVET(Joint Video Experts Team)에 의해, VVC(Versatile Video Coding) 부호화 방식(이하, VVC)의 표준화가 진행되고 있다. 이 표준화에 있어서, 부호화 효율의 향상을 위하여, 직교 변환을 행할 때의 블록 사이즈가 큰 경우에, 고주파 성분의 직교 변환 계수를 강제적으로 0으로 함으로써 부호량을 삭감하는 새로운 방법(이하, 제로 아웃이라 호칭함)이 검토되고 있다.

VVC에 있어서도, HEVC와 마찬가지로 양자화 매트릭스의 도입이 검토되고 있다. 그러나, HEVC에 있어서의 양자화 매트릭스는 종래의 직교 변환의 사이즈와 동등한 크기의 양자화 매트릭스를 사용하여 양자화하는 방법을 전제로 하고 있으며, 일부의 직교 변환 계수를 제로로 하는 새로운 방법인 제로 아웃에는 대응할 수 없었다. 이 때문에, 제로 아웃된 직교 변환 계수에 대하여는, 주파수 성분에 따른 양자화 제어를 행할 수 없어, 주관 화질을 향상시킬 수 없다는 과제가 있었다.

일본 특허 공개 제2013-38758

일부의 직교 변환 계수가 강제적으로 0이 되는 방법에 대응한 양자화 매트릭스를 사용한 양자화 처리를 가능하게 함으로써, 당해 방법을 사용한 경우에도 주관 화질을 향상시키기 위해서, 예를 들어 이하의 구성을 갖는다. 즉, P×Q 화소(P 및 Q는 정수)의 제1 블록과, N×M 화소(N은 N<P를 충족시키는 정수, 또한 M은 M<Q를 충족시키는 정수)의 제2 블록을 포함하는 복수의 블록 단위로 비트 스트림으로부터 화상을 복호하는 것이 가능한 화상 복호 장치에 있어서 상기 제1 블록에 대응하는 N×M개의 양자화 계수를 갖는 제1 양자화 계수군에 대응하는 데이터와, 상기 제2 블록에 대응하는 N×M개의 양자화 계수를 갖는 제2 양자화 계수군에 대응하는 데이터를 상기 비트 스트림으로부터 복호하는 복호 수단과, N×M개의 요소를 갖는 제1 양자화 매트릭스를 적어도 사용하여 상기 제1 양자화 계수군으로부터 제1 직교 변환 계수군을 도출하고, N×M개의 요소를 갖는 제2 양자화 매트릭스를 적어도 사용하여 상기 제2 양자화 계수군으로부터 제2 직교 변환 계수군을 도출하는 역양자화 수단과, 상기 제1 직교 변환 계수군에 대하여 역직교 변환을 실행함으로써 상기 제1 블록에 대응하는 P×Q 화소분의 제1 예측 오차(prediction residual)를 생성하고, 상기 제2 직교 변환 계수군에 대하여 역직교 변환을 실행함으로써 상기 제2 블록에 대응하는 N×M 화소분의 제2 예측 오차를 생성하는 역직교 변환 수단을 갖고, N×M개의 요소를 갖는 상기 제1 양자화 매트릭스와, N×M개의 요소를 갖는 상기 제2 양자화 매트릭스는 다르다.

또한, 예를 들어 이하의 구성을 갖는다. P×Q 화소(P 및 Q는 정수)의 제1 블록과, N×M 화소(N은 N<P를 충족시키는 정수, 또한 M은 M<Q를 충족시키는 정수)의 제2 블록을 포함하는 복수의 블록 단위로 화상을 부호화하는 것이 가능한 화상 부호화 장치에 있어서 상기 제1 블록에 대응하는 P×Q 화소분의 예측 오차에 대하여 직교 변환을 실행함으로써 적어도 제1 직교 변환 계수군을 생성하고, 상기 제2 블록에 대응하는 N×M 화소분의 예측 오차에 대하여 직교 변환을 실행함으로써 제2 직교 변환 계수군을 생성하는 직교 변환 수단과, N×M개의 요소를 갖는 제1 양자화 매트릭스를 적어도 사용하여 상기 제1 직교 변환 계수군을 양자화하여 N×M개의 양자화 계수를 갖는 제1 양자화 계수군을 생성하고, N×M개의 요소를 갖는 제2 양자화 매트릭스를 적어도 사용하여 상기 제2 직교 변환 계수군을 양자화하여 N×M개의 양자화 계수를 갖는 제2 양자화 계수군을 생성하는 양자화 수단과, 상기 제1 블록에 대응하는 상기 N×M개의 양자화 계수를 갖는 제1 양자화 계수군에 대응하는 데이터와, 상기 제2 블록에 대응하는 상기 N×M개의 양자화 계수를 갖는 제2 양자화 계수군에 대응하는 데이터를 부호화하는 부호화 수단

을 갖고, 상기 N×M개의 요소를 갖는 제1 양자화 매트릭스와, 상기 N×M개의 요소를 갖는 제2 양자화 매트릭스는 다르다.

도 1은 실시 형태 1에 있어서의 화상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 실시 형태 2에 있어서의 화상 복호 장치의 구성을 나타내는 블록도이다.
도 3은 실시 형태 1에 관한 화상 부호화 장치에 있어서의 화상 부호화 처리를 나타내는 흐름도이다.
도 4는 실시 형태 2에 관한 화상 복호 장치에 있어서의 화상 복호 처리를 나타내는 흐름도이다.
도 5는 본 발명의 화상 부호화 장치나 화상 복호 장치에 적용 가능한 컴퓨터의 하드웨어 구성예를 나타내는 블록도이다.
도 6a는 실시 형태 1에서 출력되는 비트 스트림의 일례를 나타내는 도면이다.
도 6b는 실시 형태 1에서 출력되는 비트 스트림의 일례를 나타내는 도면이다.
도 7a는 실시 형태 1 및 실시 형태 2에서 사용되는 서브 블록 분할의 일례를 나타내는 도면이다.
도 7b는 실시 형태 1 및 실시 형태 2에서 사용되는 서브 블록 분할의 일례를 나타내는 도면이다.
도 7c는 실시 형태 1 및 실시 형태 2에서 사용되는 서브 블록 분할의 일례를 나타내는 도면이다.
도 7d는 실시 형태 1 및 실시 형태 2에서 사용되는 서브 블록 분할의 일례를 나타내는 도면이다.
도 7e는 실시 형태 1 및 실시 형태 2에서 사용되는 서브 블록 분할의 일례를 나타내는 도면이다.
도 7f는 실시 형태 1 및 실시 형태 2에서 사용되는 서브 블록 분할의 일례를 나타내는 도면이다.
도 8a는 실시 형태 1 및 실시 형태 2에서 사용되는 양자화 매트릭스의 일례를 나타내는 도면이다.
도 8b는 실시 형태 1 및 실시 형태 2에서 사용되는 양자화 매트릭스의 일례를 나타내는 도면이다.
도 8c는 실시 형태 1 및 실시 형태 2에서 사용되는 양자화 매트릭스의 일례를 나타내는 도면이다.
도 9는 실시 형태 1 및 실시 형태 2에서 사용되는 양자화 매트릭스의 각 요소의 주사 방법을 나타내는 도면이다.
도 10은 실시 형태 1 및 실시 형태 2에서 생성되는 양자화 매트릭스의 차분값 행렬을 나타내는 도면이다.
도 11a는 양자화 매트릭스의 차분값의 부호화에 사용되는 부호화 테이블의 일례를 나타내는 도면이다.
도 11b는 양자화 매트릭스의 차분값의 부호화에 사용되는 부호화 테이블의 일례를 나타내는 도면이다.
도 12a는 실시 형태 1 및 실시 형태 2에서 사용되는 양자화 매트릭스의 다른 예를 나타내는 도이다.
도 12b는 실시 형태 1 및 실시 형태 2에서 사용되는 양자화 매트릭스의 다른 예를 나타내는 도이다.
도 12c는 실시 형태 1 및 실시 형태 2에서 사용되는 양자화 매트릭스의 다른 예를 나타내는 도이다.

본 발명의 실시 형태를 첨부의 도면에 기초하여 설명한다. 또한, 이하의 실시 형태에 있어서 나타내는 구성은 일례이며, 본 발명이 이하의 실시 형태에서 설명하는 구성으로 한정되는 것은 아니다. 또한, 기본 블록이나 서브 블록, 양자화 매트릭스, 베이스 양자화 매트릭스와 같은 호칭은, 각 실시 형태에 있어서 편의적으로 사용하고 있는 호칭이며, 그 의미가 변함없는 범위에서, 적절히 다른 호칭을 사용해도 된다. 예를 들어, 기본 블록이나 서브 블록은 기본 유닛이나 서브유닛이라 칭해져도 되고, 간단히 블록이나 유닛이라 칭해져도 된다. 또한, 이하의 설명에 있어서 직사각형이란, 일반적인 정의와 같이, 4개의 내각이 직각이며, 2개의 대각선이 동등한 길이를 갖는 사각형인 것으로 한다. 또한, 정사각형이란, 일반적인 정의와 같이, 직사각형 중, 4개의 각이 모두 동등하며 4개의 변이 모두 동등한 사각형인 것으로 한다. 즉, 정사각형은 직사각형의 일종인 것으로 한다.

<실시 형태 1>

이하, 본 발명의 실시 형태를, 도면을 사용하여 설명한다.

먼저 제로 아웃(zeroing out)에 대하여, 보다 상세하게 설명한다. 제로 아웃이란, 전술한 바와 같이, 부호화 대상의 블록의 직교 변환 계수의 일부를 강제적으로 0으로 하는 처리이다. 예를 들어, 입력 화상(픽처)에 있어서의 64×64 화소의 블록이 부호화 대상의 블록인 것으로 한다. 이 때, 직교 변환 계수에 대해서도 64×64의 사이즈가 된다. 제로 아웃이란, 예를 들어 이 64×64의 직교 변환 계수의 일부에 대하여, 가령 직교 변환의 결과, 0이 아닌 값을 갖는 경우에도, 0이라고 간주하여 부호화를 행하는 처리이다. 예를 들어, 2차원의 직교 변환 계수에 있어서의 DC 성분을 포함하는 좌측 상단의 소정의 범위에 대응하는 저주파 성분에 대하여는 강제적으로 0으로 하는 대상으로는 하지 않고, 그들 저주파 성분보다도 높은 주파수 성분에 대응하는 직교 변환 계수에 대하여는, 항상 0으로 한다.

이어서, 본 실시 형태의 화상 부호화 장치에 대하여 설명한다. 도 1은 본 실시 형태의 화상 부호화 장치를 나타내는 블록도이다. 도 1에 있어서, 101은 화상 데이터를 입력하는 단자이다.

102는 블록 분할부이며, 입력 화상을 복수의 기본 블록으로 분할하고, 기본 블록 단위의 화상을 후단으로 출력한다.

103은 양자화 매트릭스를 생성하고, 저장하는 양자화 매트릭스 유지부이다. 여기서 양자화 매트릭스란, 주파수 성분에 따라, 직교 변환 계수에 대한 양자화 처리를 가중치 부여하기 위한 것이다. 후술하는 양자화 처리에 있어서의, 각 직교 변환 계수를 위한 양자화 스텝은, 일례로서, 기준이 되는 파라미터값(양자화 파라미터)에 기초하는 스케일값(양자화 스케일)에, 양자화 매트릭스에 있어서의 각 요소의 값을 승산함으로써 가중치 부여된다.

양자화 매트릭스 유지부(110)에 의해 저장되는 양자화 매트릭스의 생성 방법에 대하여는 특별히 한정되지 않는다. 예를 들어, 유저가 양자화 매트릭스를 나타내는 정보를 입력해도 되고, 입력 화상의 특성으로부터 화상 부호화 장치가 산출해도 된다. 또한, 초깃값으로서 미리 지정된 것을 사용해도 된다. 본 실시 형태에서는, 도 8a에 나타내어지는 8×8의 베이스 양자화 매트릭스에 더하여, 베이스 양자화 매트릭스를 확대하여 생성된, 도 8b, 도 8c에 나타내어지는 2종류의 32×32의 이차원 양자화 매트릭스가 생성되어 저장되는 것으로 한다. 도 8b의 양자화 매트릭스는, 도 8a의 8×8의 베이스 양자화 매트릭스의 각 요소를, 수직·수평 방향으로 4회 반복함으로써 4배로 확대한 32×32의 양자화 매트릭스이다. 한편, 도 8c의 양자화 매트릭스는, 도 8a의 베이스 양자화 매트릭스의 좌측 상단 4×4 부분의 각 요소를, 수직·수평 방향으로 8회 반복함으로써 확대한 32×32의 양자화 매트릭스이다.

이상과 같이, 베이스 양자화 매트릭스는 8×8 화소의 서브 블록에 있어서의 양자화뿐만 아니라, 베이스 양자화 매트릭스보다도 큰 사이즈의 양자화 매트릭스를 제작하기 위해서도 사용되는 양자화 매트릭스이다. 또한, 베이스 양자화 매트릭스의 사이즈는 8×8인 것으로 하지만, 이 사이즈로 한정되지 않는다. 또한, 서브 블록의 사이즈에 따라서 다른 베이스 양자화 매트릭스를 사용해도 된다. 예를 들어, 8×8, 16×16, 32×32의 3종류의 서브 블록이 사용되는 경우, 각각에 대응하는 3종류의 베이스 양자화 매트릭스를 사용할 수도 있다.

104는 예측부이며, 기본 블록 단위의 화상 데이터에 대하여 서브 블록 분할을 결정한다. 즉, 기본 블록을 서브 블록으로 분할할지 여부를 결정하고, 분할한다고 하면 어떻게 분할할지 결정한다. 서브 블록으로 분할하지 않을 경우, 서브 블록은 기본 블록과 동일한 사이즈가 된다. 서브 블록은 정사각형이어도 되고, 정사각형 이외의 직사각형(비정사각형)이어도 된다.

그리고, 예측부(104)는 서브 블록 단위로 프레임 내 예측인 인트라 예측이나, 프레임간 예측인 인터 예측 등을 행하고, 예측 화상 데이터를 생성한다.

예를 들어, 예측부(104)는 하나의 서브 블록에 대하여 행하는 예측 방법을, 인트라 예측 및 인터 예측 중에서 선택하고, 선택한 예측을 행하여, 당해 서브 블록을 위한 예측 화상 데이터를 생성한다. 단, 사용되는 예측 방법은 이들에 한정되지 않고, 인트라 예측과 인터 예측을 조합한 예측 등을 사용해도 된다.

또한, 예측부(104)는 입력된 화상 데이터와 상기 예측 화상 데이터로부터 예측 오차를 산출하고, 출력한다. 예를 들어, 예측부(104)는 서브 블록의 각 화소값과, 당해 서브 블록에 대한 예측에 의해 생성된 예측 화상 데이터의 각 화소값의 차분을 산출하고, 그것을 예측 오차로서 산출한다.

또한, 예측부(104)는 예측에 필요한 정보, 예를 들어 서브 블록의 분할 상태를 나타내는 정보, 당해 서브 블록의 예측 방법을 나타내는 예측 모드나, 움직임 벡터 등의 정보도 예측 오차와 함께 출력한다. 이하에서는 이 예측에 필요한 정보를 예측 정보라 총칭한다.

105는 변환·양자화부이다. 변환·양자화부(105)는 예측부(104)에 의해 산출된 예측 오차를 서브 블록 단위로 직교 변환하여, 예측 오차의 각 주파수 성분을 나타내는 직교 변환 계수를 획득한다. 그리고, 변환·양자화부(105)는 또한 양자화 매트릭스 유지부(103)에 저장되어 있는 양자화 매트릭스와, 양자화 파라미터를 사용하여 양자화를 행하여, 양자화된 직교 변환 계수인 양자화 계수를 획득한다. 또한, 직교 변환을 행하는 기능과, 양자화를 행하는 기능은 각각의 구성으로 해도 된다.

106은 역양자화·역변환부이다. 역양자화·역변환부(106)는, 변환·양자화부(105)로부터 출력된 양자화 계수를 양자화 매트릭스 유지부(103)에 저장되어 있는 양자화 매트릭스와, 양자화 파라미터를 사용하여 역양자화하여 직교 변환 계수를 재생한다. 그리고, 역양자화·역변환부(106)는 또한 역직교 변환하여 예측 오차를 재생한다. 이와 같이, 양자화 매트릭스와 양자화 파라미터를 사용하여, 직교 변환 계수를 재생(도출)하는 처리를 역양자화라고 칭하기로 한다. 또한, 역양자화를 행하는 기능과, 역양자화를 행하는 기능은 각각의 구성으로 해도 된다. 또한, 화상 복호 장치가 양자화 파라미터를 도출하기 위한 정보도 부호화부(110)에 의해 비트 스트림으로 부호화된다.

108은 재생된 화상 데이터를 저장해두는 프레임 메모리이다.

107은 화상 재생부이다. 예측부(104)로부터 출력된 예측 정보에 기초하여, 프레임 메모리(108)를 적절히 참조하여 예측 화상 데이터를 생성하고, 이것과 입력된 예측 오차로부터 재생 화상 데이터를 생성하여 출력한다.

109는 인루프 필터부이다. 재생 화상에 대하여, 디블로킹 필터나 샘플 어댑티브 오프셋 등의 인루프 필터 처리를 행하여, 필터 처리된 화상을 출력한다.

110은 부호화부이다. 변환·양자화부(105)로부터 출력된 양자화 계수 및 예측부(104)로부터 출력된 예측 정보를 부호화하여, 부호 데이터를 생성하여 출력한다.

113은 양자화 매트릭스 부호화부이다. 양자화 매트릭스 유지부(103)로부터 출력된 베이스 양자화 매트릭스를 부호화하고, 화상 복호 장치가 베이스 양자화 매트릭스를 도출하기 위한 양자화 매트릭스 부호 데이터를 생성하여 출력한다.

111은 통합 부호화부이다. 양자화 매트릭스 부호화부(113)로부터의 출력인 양자화 매트릭스 부호 데이터를 사용하여, 헤더 부호 데이터를 생성한다. 또한 부호화부(110)로부터 출력된 부호 데이터과 함께, 비트 스트림을 형성하여 출력한다.

112는 단자이며, 통합 부호화부(111)에서 생성된 비트 스트림을 외부로 출력한다.

상기 화상 부호화 장치에 있어서의 화상의 부호화 동작을 이하에 설명한다. 본 실시 형태에서는 동화상 데이터를 프레임 단위로 입력하는 구성으로 한다. 또한 본 실시 형태에서는 설명을 위해, 블록 분할부(101)에 있어서는 64×64 화소의 기본 블록으로 분할하는 것으로서 설명하지만, 이것에 한정되지 않는다. 예를 들어, 128×128 화소의 블록을 기본 블록으로 해도 되고, 32×32 화소의 블록을 기본 블록으로 해도 된다.

화상 부호화 장치는 화상의 부호화에 앞서, 양자화 매트릭스의 생성 및 부호화를 행한다. 또한, 이하의 설명에 있어서 일례로서, 양자화 매트릭스(800)나 각 블록에 있어서의 수평 방향을 x 좌표, 수직 방향을 y 좌표로 하고, 각각 우측 방향을 정, 하측 방향을 정으로 한다. 또한, 양자화 매트릭스(800)에 있어서의 좌측 상단부의 요소의 좌표를 (0, 0)으로 한다. 즉, 8×8의 베이스 양자화 매트릭스의 우측 하단의 요소의 좌표는, (7, 7)이 된다. 32×32의 양자화 매트릭스의 우측 하단의 요소의 좌표는 (31, 31)이 된다.

처음에, 양자화 매트릭스 유지부(103)는 양자화 매트릭스를 생성한다. 서브 블록의 사이즈나 양자화되는 직교 변환 계수의 사이즈, 예측 방법의 종류에 따라서, 양자화 매트릭스가 생성된다. 본 실시 형태에서는, 먼저 도 8a에 나타내어진 후술하는 양자화 매트릭스의 생성에 사용되는 8×8의 베이스 양자화 매트릭스가 생성된다. 이어서, 이 베이스 양자화 매트릭스를 확대하고, 도 8b 및 도 8c에 나타내어지는 2종류의 32×32의 양자화 매트릭스를 생성한다. 도 8b의 양자화 매트릭스는, 도 8a의 8×8의 베이스 양자화 매트릭스의 각 요소를, 수직·수평 방향으로 4회 반복함으로써 4배로 확대한 32×32의 양자화 매트릭스이다.

즉, 도 8b에 나타내는 예에서는, 32×32의 양자화 매트릭스에 있어서의 x 좌표가 0 내지 3 및 y 좌표가 0 내지 3인 범위 내의 각 요소에는, 베이스 양자화 매트릭스의 좌측 상단부의 요소의 값인 1이 할당되게 된다. 또한, 32×32의 양자화 매트릭스에 있어서의 x 좌표가 28 내지 31 및 y 좌표가 28 내지 31인 범위 내의 각 요소에는, 베이스 양자화 매트릭스의 우측 하단의 요소의 값인 15가 할당되게 된다. 도 8b의 예에서는, 베이스 양자화 매트릭스에 있어서의 각 요소의 값의 모두가, 32×32의 양자화 매트릭스의 각 요소 중 어느 것에 할당되어 있다.

한편, 도 8c의 양자화 매트릭스는, 도 8a의 베이스 양자화 매트릭스의 좌측 상단 4×4 부분의 각 요소를, 수직·수평 방향으로 8회 반복함으로써 확대한 32×32의 양자화 매트릭스이다.

즉, 도 8c에 나타내는 예에서는, 32×32의 양자화 매트릭스에 있어서의 x 좌표가 0 내지 7 및 y 좌표가 0 내지 7인 범위 내의 각 요소에는, 베이스 양자화 매트릭스의 좌측 상단 4×4 부분의 좌측 상단부의 요소의 값인 1이 할당되게 된다. 또한, 32×32의 양자화 매트릭스에 있어서의 x 좌표가 24 내지 31 및 y 좌표가 24 내지 31인 범위 내의 각 요소에는, 베이스 양자화 매트릭스의 좌측 상단 4×4 부분의 우측 하단의 요소의 값인 7이 할당되게 된다. 도 8c의 예에서는, 베이스 양자화 매트릭스에 있어서의 각 요소의 값의 좌측 상단 4×4 부분(x 좌표가 0 내지 3 및 y 좌표가 0 내지 3인 범위)에 대응하는 요소의 값만이, 32×32의 양자화 매트릭스의 각 요소에 할당되어 있다.

단, 생성되는 양자화 매트릭스는 이것에 한정되지 않고, 양자화되는 직교 변환 계수의 사이즈가 32×32 이외에도 존재하는 경우에는, 16×16이나 8×8, 4×4 등, 양자화되는 직교 변환 계수의 사이즈에 대응한 양자화 매트릭스가 생성되어도 된다. 베이스 양자화 매트릭스나 양자화 매트릭스를 구성하는 각 요소의 결정 방법은 특별히 한정되지 않는다. 예를 들어, 소정의 초깃값을 사용해도 되고, 개별로 설정해도 된다. 또한, 화상의 특성에 따라서 생성되어도 상관없다.

양자화 매트릭스 유지부(103)에는, 이와 같이 하여 생성된 베이스 양자화 매트릭스나 양자화 매트릭스가 유지된다. 도 8b는 후술하는 32×32의 서브 블록, 도 8c는 64×64의 서브 블록에 대응하는 직교 변환 계수의 양자화에 사용되는 양자화 매트릭스의 일례이다. 굵은 프레임의 800은 양자화 매트릭스를 나타내고 있다. 설명을 간이하게 하기 위해서, 각각 32×32의 1024 화소분의 구성으로 하고, 굵은 프레임 내의 각 정사각형은 양자화 매트릭스를 구성하고 있는 각 요소를 나타내고 있는 것으로 한다. 본 실시 형태에서는, 도 8b, 도 8c에 나타내어진 3종의 양자화 매트릭스가 이차원의 형상으로 유지되어 있는 것으로 하지만, 양자화 매트릭스 내의 각 요소는 물론 이것에 한정되지 않는다. 또한, 양자화되는 직교 변환 계수의 사이즈에 의해, 혹은 부호화 대상이 휘도 블록인지 색차 블록인지에 의해, 동일한 예측 방법에 대하여 복수의 양자화 매트릭스를 유지하는 것도 가능하다. 일반적으로, 양자화 매트릭스는 인간의 시각 특성에 따른 양자화 처리를 실현하기 위해서, 도 8b, 도 8c에 나타내는 바와 같이 양자화 매트릭스의 좌측 상단 부분에 상당하는 저주파 부분의 요소는 작고, 우측 하단 부분에 상당하는 고주파 부분의 요소는 크게 되어 있다.

양자화 매트릭스 부호화부(113)는 이차원 형상으로 저장되어 있는 베이스 양자화 매트릭스의 각 요소를 양자화 매트릭스 유지부(106)로부터 순서대로 판독하고, 각 요소를 주사하여 차분을 계산하고, 그 각 차분을 일차원의 행렬로 배치한다. 본 실시 형태에서는, 도 8a에 나타내어진 베이스 양자화 매트릭스는 도 9에 나타내어진 주사 방법을 사용하여, 요소마다 주사순으로 직전의 요소와의 차분을 계산하는 것으로 한다. 예를 들어 도 8a에서 나타내어진 8×8의 베이스 양자화 매트릭스는 도 9에서 나타내어진 주사 방법에 의해 주사되지만, 좌측 상단에 위치하는 최초의 요소 1의 다음은 그 바로 아래에 위치하는 요소 2가 주사되고, 차분인 +1이 계산된다. 또한, 양자화 매트릭스의 최초의 요소(본 실시 형태에서는 1)의 부호화에는, 소정의 초깃값(예를 들어8)과의 차분을 계산하는 것으로 하지만, 물론 이것에 한정되지 않고, 임의의 값과의 차분이나 최초의 요소의 값 그 자체를 사용해도 된다.

이와 같이 하여, 본 실시 형태에서는, 도 8a의 베이스 양자화 매트릭스는 도 9의 주사 방법을 사용하여, 도 10에 나타내어지는 차분 행렬이 생성된다. 양자화 매트릭스 부호화부(113)는 또한 상기 차분 행렬을 부호화하여 양자화 매트릭스 부호 데이터를 생성한다. 본 실시 형태에서는 도 11a에 나타내어지는 부호화 테이블을 사용하여 부호화하는 것으로 하지만, 부호화 테이블은 이것에 한정되지 않고, 예를 들어 도 11b에 나타내어지는 부호화 테이블을 사용해도 된다. 이와 같이 하여 생성된 양자화 매트릭스 부호 데이터는 후단의 통합 부호화부(111)로 출력된다.

도 1로 되돌아가서, 통합 부호화부(111)에서는 화상 데이터의 부호화에 필요한 헤더 정보를 부호화하고, 양자화 매트릭스의 부호 데이터를 통합한다.

계속해서, 화상 데이터의 부호화가 행해진다. 단자(101)로부터 입력된 1 프레임분의 화상 데이터는 블록 분할부(102)에 입력된다.

블록 분할부(102)에서는, 입력된 화상 데이터를 복수의 기본 블록으로 분할하고, 기본 블록 단위의 화상을 예측부(104)로 출력한다. 본 실시 형태에서는 64×64 화소의 기본 블록 단위의 화상을 출력하는 것으로 한다.

예측부(104)에서는, 블록 분할부(102)로부터 입력된 기본 블록 단위의 화상 데이터에 대하여 예측 처리를 실행한다. 구체적으로는, 기본 블록을 더욱 미세한 서브 블록으로 분할하는 서브 블록 분할을 결정하고, 또한 서브 블록 단위로 인트라 예측이나 인터 예측 등의 예측 모드를 결정한다.

도 7에 서브 블록 분할 방법의 일례를 나타낸다. 굵은 프레임의 700은 기본 블록을 나타내고 있고, 설명을 간이하게 하기 위해서, 64×64 화소의 구성으로 하고, 굵은 프레임 내의 각 사각형은 서브 블록을 나타내는 것으로 한다. 도 7b는 4분목의 정사각형 서브 블록 분할의 일례를 나타내고 있고, 648×64 화소의 기본 블록은 32×32 화소의 서브 블록으로 분할되어 있다. 한편, 도 7c 내지 도 7f는 직사각형 서브 블록 분할의 일례를 나타내고 있고, 도 7c에서는 기본 블록은 32×64 화소의 세로로 긴, 도 7d에서는 64×32 화소가 가로로 긴 직사각형의 서브 블록으로 분할되어 있다. 또한, 도 7e, 도 7f에서는, 1:2:1의 비로 직사각형 서브 블록으로 분할되어 있다. 이렇게 정사각형뿐만 아니라, 정사각형 이외의 직사각형의 서브 블록도 사용하여 부호화 처리를 행하고 있다. 또한, 기본 블록을 또한 복수의 정사각형의 블록으로 분할하고, 그 분할한 정사각형의 블록을 기준으로 하여 서브 블록 분할을 행해도 된다. 바꾸어 말하면, 기본 블록의 사이즈는 64×64 화소에 한정되지 않고, 또한 복수의 사이즈의 기본 블록을 사용해도 된다.

또한, 본 실시 형태에서는, 64×64 화소의 기본 블록을 분할하지 않는 도 7a, 및 도 7b와 같은 4분목 분할만이 사용되는 것으로 하지만, 서브 블록 분할 방법은 이것에 한정되지 않는다. 도 7e, 도 7f와 같은 3분목 분할 또는 도 7c나 도 7d와 같은 2분목 분할을 사용해도 상관없다. 도 7a나 도 7b 이외의 서브 블록 분할도 사용되는 경우에는, 양자화 매트릭스 유지부(103)에서 사용되는 서브 블록에 대응하는 양자화 매트릭스가 생성된다. 또한, 생성된 양자화 매트릭스에 대응하는 새로운 베이스 양자화 매트릭스도 생성되는 경우에는 양자화 매트릭스 부호화부(113)에서 새로운 베이스 양자화 매트릭스도 부호화된다.

또한, 본 실시 형태에서 사용되는 예측부(194)에 의한 예측 방법에 대하여, 더욱 상세하게 설명한다. 본 실시 형태에서는 일례로서, 인트라 예측, 인터 예측의 2종류의 예측 방법이 사용되는 것으로 한다. 인트라 예측은 부호화 대상 블록의 공간적으로 주변에 위치하는 부호화 완료 화소를 사용하여 부호화 대상 블록의 예측 화소를 생성하고, 수평 예측이나 수직 예측, DC 예측 등의 인트라 예측 방법 내, 사용한 인트라 예측 방법을 나타내는 인트라 예측 모드의 정보도 생성한다. 인터 예측은 부호화 대상 블록과는 시간적으로 상이한 프레임의 부호화 완료 화소를 사용하여 부호화 대상 블록의 예측 화소를 생성하고, 참조하는 프레임이나 움직임 벡터 등을 나타내는 움직임 정보도 생성한다. 또한, 전술한 바와 같이, 예측부(194)는 인트라 예측과 인터 예측을 조합한 예측 방법을 사용해도 된다.

결정한 예측 모드 및 부호화 완료의 화소로부터 예측 화상 데이터를 생성하고, 또한 입력된 화상 데이터와 상기 예측 화상 데이터로부터 예측 오차가 생성되어, 변환·양자화부(105)로 출력된다. 또한, 서브 블록 분할이나 예측 모드 등의 정보는 예측 정보로서, 부호화부(110), 화상 재생부(107)로 출력된다.

변환·양자화부(105)에서는, 입력된 예측 오차에 직교 변환·양자화를 행하여, 양자화 계수를 생성한다. 우선은 서브 블록의 사이즈에 대응한 직교 변환 처리가 실시되어 직교 변환 계수가 생성되고, 다음에 직교 변환 계수를 예측 모드에 따라서 양자화 매트릭스 유지부(103)에 저장되어 있는 양자화 매트릭스를 사용하여 양자화하고, 양자화 계수를 생성한다. 보다 구체적인 직교 변환·양자화 처리에 대하여, 이하에서 설명한다.

도 7b에서 나타내어진 32×32의 서브 블록 분할이 선택된 경우에는, 32×32의 예측 오차에 대하여, 32×32의 직교 변환 행렬을 사용한 직교 변환을 실시하여, 32×32의 직교 변환 계수를 생성한다. 구체적으로는, 이산 코사인 변환(DCT)으로 대표되는 32×32의 직교 변환 행렬과 32×32의 예측 오차의 승산을 행하여, 32×32의 행렬상의 중간 계수를 산출한다. 이 32×32의 행렬상의 중간 계수에 대하여 또한, 전술한 32×32의 직교 변환 행렬의 전치 행렬과의 승산을 행하여, 32×32의 직교 변환 계수를 생성한다. 이렇게 하여 생성된 32×32의 직교 변환 계수에 대하여, 도 8b에서 나타내어진 32×32의 양자화 매트릭스와, 양자화 파라미터를 사용하여 양자화하고, 32×32의 양자화 계수를 생성한다. 64×64의 기본 블록 중에는 32×32의 서브 블록이 4개 존재하고 있기 때문에, 상술한 처리를 4회 반복한다.

한편, 도 7a에서 나타내는 64×64의 분할 상태(분할 없음)가 선택된 경우에는, 64×64의 예측 오차에 대하여, 64×64의 직교 변환 행렬에 있어서의 홀수번째의 행(이하, 홀수행이라고 칭함)을 씨닝하여 생성된 32×64의 직교 변환 행렬이 사용된다. 즉, 이 홀수행을 씨닝하여 생성된 32×64의 직교 변환 행렬을 사용한 직교 변환을 실시함으로써, 32×32의 직교 변환 계수를 생성한다.

구체적으로는, 먼저 64×64의 직교 변환 행렬로부터 홀수행을 씨닝하여 64×32의 직교 변환 행렬을 생성한다. 그리고 이 64×32의 직교 변환 행렬과 64×64의 예측 오차의 승산을 행하여, 64×32의 행렬상의 중간 계수를 생성한다. 이 64×32의 행렬상의 중간 계수에 대하여, 전술한 64×32의 직교 변환 행렬을 전치시킨 32×64의 전치 행렬과의 승산을 행하여, 32×32의 직교 변환 계수를 생성한다. 그리고, 변환·양자화부(105)는, 생성된 32×32의 직교 변환 계수를 64×64의 직교 변환 계수의 좌측 상단 부분(x 좌표가 0 내지 31 및 y 좌표가 0 내지 31인 범위)의 계수로 하고, 기타를 0으로 함으로써, 제로 아웃을 실행한다.

본 실시 형태에서는, 이와 같이 64×64의 예측 오차에 대하여, 64×32의 직교 변환 행렬과, 이 64×32의 직교 변환 행렬을 전치시킨 32×64의 전치 행렬을 사용하여 직교 변환을 행한다. 이렇게 32×32의 직교 변환 계수를 생성함으로써 제로 아웃을 실행한다. 이에 의해, 64×64의 직교 변환을 행하여 생성된 64×64의 직교 변환 계수의 일부를, 그 값이 0이 아닌 경우에도 강제적으로 0으로 하는 방법보다도 적은 연산량으로 32×32의 직교 변환 계수를 생성할 수 있다. 즉, 64×64의 직교 변환 행렬을 사용하여 직교 변환을 행하고, 그 결과, 제로 아웃이 대상이 되는 직교 변환 계수가, 0인지 여부에 관계없이 0으로 간주하여 부호화하는 경우와 비교하여, 직교 변환에 있어서의 연산량을 저감시킬 수 있다. 또한, 64×64의 예측 오차로부터 직교 변환 계수에 의해 32×32의 직교 변환 계수를 산출하는 방법을 사용하면 연산량을 저감시킬 수 있지만, 제로 아웃하는 방법은 이 방법에 한정되지 않고 다양한 방법을 사용할 수도 있다.

또한, 제로 아웃을 실행하는 경우, 제로 아웃의 대상이 된 범위의 직교 변환 계수가 0인 것을 나타내는 정보를 부호화해도 되고, 간단히 제로 아웃이 행해진 것을 나타내는 정보(플래그 등)를 부호화해도 된다. 화상 복호 장치는 그들 정보를 복호함으로써, 제로 아웃의 대상을 0으로 간주하여, 각 블록을 복호할 수 있다.

이어서, 이와 같이 생성된 32×32의 직교 변환 계수에 대하여, 변환·양자화부(105)는 도 8c에서 나타내어진 32×32의 양자화 매트릭스와, 양자화 파라미터를 사용하여 양자화하고, 32×32의 양자화 계수를 생성한다.

본 실시 형태에서는, 32×32의 서브 블록에 대응한 32×32의 직교 변환 계수에는 도 8b의 양자화 매트릭스가 사용되고, 64×64의 서브 블록에 대응한 32×32의 직교 변환 계수에는 도 8c의 양자화 매트릭스가 사용되는 것으로 한다. 즉, 제로 아웃이 실행되지 않은 32×32의 직교 변환 계수에는 도 8b를 사용하고, 제로 아웃이 실행된 64×64의 서브 블록에 대응한 32×32의 직교 변환 계수에는 도 8c의 양자화 매트릭스가 사용되는 것으로 한다. 단, 사용되는 양자화 매트릭스는 이것에 한정되지 않는다. 생성된 양자화 계수는 부호화부(110) 및 역양자화·역변환부(106)로 출력된다.

역양자화·역변환부(106)에서는, 입력된 양자화 계수를 양자화 매트릭스 유지부(103)에 저장되어 있는 양자화 매트릭스와, 양자화 파라미터를 사용하여 역양자화하여 직교 변환 계수를 재생한다. 그리고, 역양자화·역변환부(106)는 또한 재생된 직교 변환 계수를 역직교 변환하여 예측 오차를 재생한다. 역양자화 처리에는, 변환·양자화부(105)와 마찬가지로, 부호화 대상의 서브 블록 크기에 대응한 양자화 매트릭스가 사용된다. 보다 구체적인 역양자화·역변환부(106)에 의한 역양자화·역직교 변환 처리에 대하여, 이하에 설명한다.

도 7b의 32×32의 서브 블록 분할이 선택되어 있는 경우, 역양자화·역변환부(106)는, 변환·양자화부(105)에서 생성된 32×32의 양자화 계수는 도 8b의 양자화 매트릭스를 사용하여 역양자화하고, 32×32의 직교 변환 계수를 재생한다. 그리고, 역양자화·역변환부(106)는 전술한 32×32의 전치 행렬과 32×32의 직교 변환과의 승산을 행하여, 32×32의 행렬상의 중간 계수를 산출한다. 그리고, 역양자화·역변환부(106)는 이 32×32의 행렬상의 중간 계수와 전술한 32×32의 직교 변환 행렬과의 승산을 행하여, 32×32의 예측 오차를 재생한다. 각 32×32 서브 블록에 대하여 마찬가지의 처리를 행한다. 한편, 도 7a과 같이, 분할 없음이 선택되어 있는 경우, 변환·양자화부(105)에서 생성된 32×32의 양자화 계수는 도 8c의 양자화 매트릭스를 사용하여 역양자화되고, 32×32의 직교 변환 계수를 재생한다. 그리고, 전술한 32×64의 전치 행렬과 32×32의 직교 변환의 승산을 행하여, 32×64의 행렬상의 중간 계수를 산출한다. 이 32×64의 행렬상의 중간 계수와 전술한 64×32의 직교 변환 행렬의 승산을 행하여, 64×64의 예측 오차를 재생한다. 본 실시 형태에서는 서브 블록의 크기에 따라서, 변환·양자화부(105)에서 사용된 양자화 매트릭스와 동일한 것이 사용되어 역양자화 처리가 실행된다. 재생된 예측 오차는 화상 재생부(107)로 출력된다.

화상 재생부(107)에서는, 예측부(104)로부터 입력되는 예측 정보에 기초하여, 프레임 메모리(108)에 기억된 예측 화상의 재생에 필요한 데이터를 적절히 참조하여, 예측 화상을 재생한다. 그리고 재생된 예측 화상과 역양자화·역변환부(106)로부터 입력된 재생된 예측 오차로부터 화상 데이터를 재생하고, 프레임 메모리(108)에 입력하여 저장한다.

인루프 필터부(109)에서는, 프레임 메모리(108)로부터 재생 화상을 판독하고, 디블로킹 필터 등의 인루프 필터 처리를 행한다. 그리고, 필터 처리된 화상을 다시 프레임 메모리(108)에 입력하여 재저장한다.

부호화부(110)에서는, 블록 단위로, 변환·양자화부(105)에서 생성된 양자화 계수, 예측부(104)로부터 입력된 예측 정보를 엔트로피 부호화하여, 부호 데이터를 생성한다. 엔트로피 부호화의 방법은 특별히 지정되지 않지만, 골롬 부호화, 산술 부호화, 허프만 코딩화 등을 사용할 수 있다. 생성된 부호 데이터는 통합 부호화부(111)로 출력된다.

통합 부호화부(111)에서는, 전술한 헤더의 부호 데이터와 함께 부호화부(110)로부터 입력된 부호 데이터 등을 다중화하여 비트 스트림을 형성한다. 최종적으로는, 비트 스트림은 단자(112)로부터 외부로 출력된다.

도 6a는 실시 형태 1에서 출력되는 비트 스트림의 일례이다. 시퀀스 헤더에는 베이스 양자화 매트릭스의 부호 데이터가 포함되고, 각 요소의 부호화 결과로 구성되어 있다. 단, 베이스 양자화 매트릭스의 부호 데이터 등이 부호화되는 위치는 이것에 한정되지 않고, 픽처 헤더부나 기타 헤더부에 부호화되는 구성을 취해도 물론 상관없다. 또한, 하나의 시퀀스 중에서 양자화 매트릭스의 변경을 행하는 경우, 베이스 양자화 매트릭스를 새롭게 부호화함으로써 갱신하는 것도 가능하다. 이 때, 모든 양자화 매트릭스를 재기입해도 되고, 재기입하는 양자화 매트릭스에 대응하는 양자화 매트릭스의 서브 블록 크기를 지정함으로써 그 일부를 변경하도록 하는 것도 가능하다.

도 3은, 실시 형태 1에 관한 화상 부호화 장치에 있어서의 부호화 처리를 나타내는 흐름도이다.

먼저, 화상의 부호화에 앞서 스텝 S301에서, 양자화 매트릭스 유지부(103)는 이차원의 양자화 매트릭스를 생성하여 유지한다. 본 실시 형태에서는, 도 8a에 나타내어진 베이스 양자화 매트릭스 및 베이스 양자화 매트릭스로부터 생성된 도 8b, 도 8c에 나타내어진 양자화 매트릭스를 생성하여 유지하는 것으로 한다.

스텝 S302에서, 양자화 매트릭스 부호화부(113)는 스텝 S301에서 양자화 매트릭스의 생성에 사용된 베이스 양자화 매트릭스를 주사하여, 주사순으로 전후하는 각 요소간의 차분을 산출하고, 일차원의 차분 행렬을 생성한다. 본 실시 형태에서는, 도 8a에 나타내어진 베이스 양자화 매트릭스는 도 9의 주사 방법을 사용하여, 도 10에 나타내어지는 차분 행렬이 생성되는 것으로 한다. 양자화 매트릭스 부호화부(113)는 또한 생성된 차분 행렬을 부호화하여, 양자화 매트릭스 부호 데이터를 생성한다.

스텝 S303에서, 통합 부호화부(111)는 생성된 양자화 매트릭스 부호 데이터와 함께, 화상 데이터의 부호화에 필요한 헤더 정보를 부호화하여 출력한다.

스텝 S304에서, 블록 분할부(102)는 프레임 단위의 입력 화상을 64×64 화소의 기본 블록 단위로 분할한다.

스텝 S305에서, 예측부(104)는 스텝 S304에서 생성된 기본 블록 단위의 화상 데이터에 대하여, 전술한 예측 방법을 사용하여 예측 처리를 실행하고, 서브 블록 분할 정보나 예측 모드 등의 예측 정보 및 예측 화상 데이터를 생성한다. 본 실시 형태에서는, 도 7b에 나타내어진 32×32 화소의 서브 블록 분할 및 도 7a에 나타내어지는 64×64 화소의 서브 블록의 2종류의 서브 블록 사이즈가 사용된다. 또한 입력된 화상 데이터와 상기 예측 화상 데이터로부터 예측 오차를 산출한다.

스텝 S306에서, 변환·양자화부(105)는 스텝 S305에서 산출된 예측 오차를 직교 변환하여 직교 변환 계수를 생성한다. 그리고, 변환·양자화부(105)는 또한 스텝 S301에서 생성·유지된 양자화 매트릭스와, 양자화 파라미터를 사용하여 양자화를 행하여, 양자화 계수를 생성한다. 구체적으로는, 도 7b의 32×32 화소의 서브 블록 예측 오차에는 32×32의 직교 변환 행렬 및 그 전치 행렬을 사용한 승산을 행하여, 32×32의 직교 변환 계수를 생성한다. 한편, 도 7a의 64×64 화소의 서브 블록 예측 오차에는 64×32의 직교 변환 행렬 및 그 전치 행렬을 사용한 승산을 행하여, 32×32의 직교 변환 계수를 생성한다. 본 실시 형태에서는, 도 7b의 32×32의 서브 블록의 직교 변환 계수에는 도 8b, 도 7a의 64×64의 서브 블록에 대응하는 직교 변환 계수에는 도 8c의 양자화 매트릭스를 사용하여, 32×32의 직교 변환 계수를 양자화하는 것으로 한다.

스텝 S307에서, 역양자화·역변환부(106)는 스텝 S306에서 생성된 양자화 계수를, 스텝 S301에서 생성·유지된 양자화 매트릭스와, 양자화 파라미터를 사용하여 역양자화를 행하여, 직교 변환 계수를 재생한다. 또한, 직교 변환 계수에 대하여, 역직교 변환하여, 예측 오차를 재생한다. 본 스텝에서는, 각각, 스텝 S306에서 사용된 양자화 매트릭스와 동일한 것이 사용되고, 역양자화 처리가 행해진다. 구체적으로는, 도 7b의 32×32 화소의 서브 블록에 대응한 32×32의 양자화 계수에 대하여는, 도 8b의 양자화 매트릭스를 사용한 역양자화 처리를 행하여, 32×32의 직교 변환 계수를 재생한다. 그리고 이 32×32의 직교 변환 계수를 32×32의 직교 변환 행렬 및 그 전치 행렬을 사용한 승산을 행하여, 32×32 화소의 예측 오차를 재생한다. 한편, 도 7a의 64×64 화소의 서브 블록에 대응한 32×32의 양자화 계수에 대하여는, 도 8c의 양자화 매트릭스를 사용한 역양자화 처리를 행하여, 32×32의 직교 변환 계수를 재생한다. 그리고 이 32×32의 직교 변환 계수를 64×32의 직교 변환 행렬 및 그 전치 행렬을 사용한 승산을 행하여, 64×64 화소의 예측 오차를 재생한다.

스텝 S308에서, 화상 재생부(107)는 스텝 S305에서 생성된 예측 정보에 기초하여 예측 화상을 재생한다. 또한 재생된 예측 화상과 스텝 S307에서 생성된 예측 오차로부터 화상 데이터를 재생한다.

스텝 S309에서, 부호화부(110)는 스텝 S305에서 생성된 예측 정보 및 스텝 S306에서 생성된 양자화 계수를 부호화하여, 부호 데이터를 생성한다. 또한, 기타의 부호 데이터도 포함하여, 비트 스트림을 생성한다.

스텝 S310에서, 화상 부호화 장치는, 프레임 내의 모든 기본 블록의 부호화가 종료되었는지 여부의 판정을 행하여, 종료되었으면 스텝 S311로 진행하고, 그렇지 않으면 다음의 기본 블록을 대상으로 하여, 스텝 S304로 되돌아간다.

스텝 S311에서, 인루프 필터부(109)는 스텝 S308에서 재생된 화상 데이터에 대하여 인루프 필터 처리를 행하여, 필터 처리된 화상을 생성하고, 처리를 종료한다.

이상의 구성과 동작에 의해, 연산량을 저감시키면서 주파수 성분마다 양자화를 제어하여 주관 화질을 향상시킬 수 있다. 특히 스텝 S305에 있어서, 직교 변환 계수의 수를 저감시키고, 감소된 직교 변환 계수에 대응하는 양자화 매트릭스를 사용한 양자화 처리를 함으로써, 연산량을 저감시키면서 주파수 성분마다 양자화를 제어하여 주관 화질을 향상시킬 수 있다. 나아가, 직교 변환 계수의 수를 저감시켜 저주파 부분만을 양자화·부호화하는 경우에는, 도 8c와 같은 베이스 양자화 매트릭스의 저주파 부분만을 확대하는 양자화 매트릭스를 사용함으로써 저주파 부분에 최적인 양자화 제어를 실현할 수 있다. 또한, 여기에서 말하는 저주파 부분이란, 도 8c의 예에서는, x 좌표가 0 내지 3 및 y 좌표가 0 내지 3인 범위이다.

또한, 본 실시 형태에서는, 부호량 삭감을 위해서, 도 8b, 도 8c의 양자화 매트릭스의 생성에 공통되게 사용되는 도 8a의 베이스 양자화 매트릭스만을 부호화하는 구성으로 하였지만, 도 8b, 도 8c의 양자화 매트릭스 자체를 부호화하는 구성으로 해도 된다. 그 경우, 각 양자화 매트릭스의 주파수 성분마다 독자적인 값을 설정할 수 있기 때문에, 주파수 성분마다 보다 미세한 양자화 제어를 실현할 수 있다. 또한, 도 8b, 도 8c의 각각에 대하여 개별의 베이스 양자화 매트릭스를 설정하고, 각각의 베이스 양자화 매트릭스를 부호화하는 구성으로 하는 것도 가능하다. 그 경우, 32×32의 직교 변환 계수와 64×64의 직교 변환 계수에 대하여, 각각 다른 양자화 제어를 실시하여, 보다 면밀한 주관 화질의 제어를 실현할 수도 있다. 또한 그 경우, 64×64의 직교 변환 계수에 대응하는 양자화 매트릭스는, 8×8의 베이스 양자화 매트릭스의 좌측 상단 4×4 부분을 8배로 확대하는 대신에, 8×8의 베이스 양자화 매트릭스 전체를 4배로 확대해도 된다. 이렇게 해서 64×64의 직교 변환 계수에 대해서도, 보다 미세한 양자화 제어를 실현할 수 있다.

나아가, 본 실시 형태에서는, 제로 아웃을 사용한 64×64의 서브 블록에 대한 양자화 매트릭스가 일의적으로 결정되는 구성으로 하였지만, 식별자를 도입함으로써 선택 가능하게 하는 구성으로 해도 상관없다. 예를 들어 도 6b는, 양자화 매트릭스 부호화 방법 정보 부호를 새롭게 도입함으로써, 제로 아웃을 사용한 64×64의 서브 블록에 대한 양자화 매트릭스 부호화를 선택적으로 한 것이다. 예를 들어, 양자화 매트릭스 부호화 방법 정보 부호가 0을 나타내고 있는 경우에는, 제로 아웃을 사용한 64×64 화소의 서브 블록에 대응하는 직교 변환 계수에 대하여, 독립된 양자화 매트릭스인 도 8c가 사용된다. 또한, 부호화 방법 정보 부호가 1을 나타내고 있는 경우에는, 제로 아웃을 사용한 64×64 화소의 서브 블록에 대하여 통상적인 제로 아웃되지 않은 서브 블록에 대한 양자화 매트릭스인 도 8b가 사용된다. 한편, 부호화 방법 정보 부호가 2를 나타내고 있는 경우에는, 8×8의 베이스 양자화 매트릭스가 아니라, 제로 아웃을 사용한 64×64 화소의 서브 블록에 대하여 사용되는 양자화 매트릭스의 요소 모두를 부호화한다는 상태이다. 이에 의해, 양자화 매트릭스 부호량 삭감과 제로 아웃을 사용한 서브 블록에 대한 독자의 양자화 제어를 선택적으로 실현하는 것이 가능해진다.

또한, 본 실시 형태에서는 제로 아웃을 사용하여 처리를 행한 서브 블록은 64×64만으로 하고 있지만, 제로 아웃을 사용하여 처리를 하는 서브 블록은 이것에 한정되지 않는다. 예를 들어, 도 7c나 도 7b에 나타내어진 32×64나 64×32 서브 블록에 대응하는 직교 변환 계수 중, 하반분이나 우반분의 32×32의 직교 변환 계수를 강제적으로 0으로 해도 상관없다. 이 경우, 상반분이나 좌반분의 32×32의 직교 변환 계수만을 양자화·부호화의 대상으로 하게 되고, 상반분이나 좌반분의 32×32의 직교 변환 계수에 대하여, 도 8b와는 다른 양자화 매트릭스를 사용하여 양자화 처리를 행하게 된다.

나아가, 생성된 직교 변환 계수 중, 화질에 대한 영향이 가장 크다고 생각되는 좌측 상단부에 위치하는 DC 계수에 대응하는 양자화 매트릭스의 값을, 8×8의 베이스 매트릭스의 각 요소의 값과는 별도로 설정·부호화하는 구성으로 해도 된다. 도 12b 및 도 12c는, 도 8b 및 도 8c와 비교하여 DC 성분에 해당하는 좌측 상단부에 위치하는 요소의 값을 변경한 예를 나타내고 있다. 이 경우, 도 8a의 베이스 양자화 매트릭스의 정보 외에도, DC 부분에 위치하는 「2」를 나타내는 정보를 별도 부호화함으로써, 도 12b 및 도 12c에 나타내어지는 양자화 매트릭스를 설정할 수 있다. 이에 의해, 화질에 대한 영향이 가장 큰 직교 변환 계수의 DC 성분에 대하여 보다 미세한 양자화 제어를 실시할 수 있다.

<실시 형태 2>

도 2는, 본 발명의 실시 형태 2에 관한 화상 복호 장치의 구성을 나타내는 블록도이다. 본 실시 형태에서는, 실시 형태 1에서 생성된 부호화 데이터를 복호하는 화상 복호 장치를 예로서 설명한다.

201은 부호화된 비트 스트림이 입력되는 단자이다.

202는 분리 복호부이며, 비트 스트림으로부터 복호 처리에 관한 정보나 계수에 관한 부호 데이터로 분리하고, 또한 비트 스트림의 헤더부에 존재하는 부호 데이터를 복호한다. 본 실시 형태에서는, 양자화 매트릭스 부호를 분리하고, 후단으로 출력한다. 분리 복호부(202)는 도 1의 통합 부호화부(111)와 반대의 동작을 행한다.

209는 양자화 매트릭스 복호부이며, 양자화 매트릭스 부호를 비트 스트림으로부터 복호하여 베이스 양자화 매트릭스를 재생하고, 또한 베이스 양자화 매트릭스로부터 각 양자화 매트릭스를 생성하는 처리를 실행한다.

203은 복호부이며, 분리 복호부(202)로부터 출력된 부호 데이터를 복호하고, 양자화 계수 및 예측 정보를 재생(도출)한다.

204는 역양자화·역변환부이며, 도 1의 역양자화·역변환부(106)와 마찬가지로, 재생된 양자화 매트릭스와, 양자화 파라미터를 사용하여 양자화 계수에 역양자화를 행하여 직교 변환 계수를 획득하고, 또한 역직교 변환을 행하여, 예측 오차를 재생한다. 또한, 양자화 파라미터를 도출하기 위한 정보도 복호부(203)에 의해 비트 스트림으로부터 복호된다. 또한, 역양자화를 행하는 기능과, 역양자화를 행하는 기능은 각각의 구성으로 해도 된다.

206은 프레임 메모리이다. 재생된 픽처의 화상 데이터를 저장해둔다.

205는 화상 재생부이다. 입력된 예측 정보에 기초하여 프레임 메모리(206)를 적절히 참조하여 예측 화상 데이터를 생성한다. 그리고, 이 예측 화상 데이터와 역양자화·역변환부(204)에서 재생된 예측 오차로부터 재생 화상 데이터를 생성하여 출력한다.

207은 인루프 필터부이다. 도 1의 109과 마찬가지로, 재생 화상에 대하여 디블로킹 필터 등의 인루프 필터 처리를 행하여, 필터 처리된 화상을 출력한다.

208은 단자이며, 재생된 화상 데이터를 외부로 출력한다.

상기 화상 복호 장치에 있어서의 화상의 복호 동작을 이하에 설명한다. 본 실시 형태에서는, 실시 형태 1에서 생성된 비트 스트림을 프레임 단위(픽처 단위)로 입력하는 구성으로 되어 있다.

도 2에 있어서, 단자(201)로부터 입력된 1 프레임분의 비트 스트림은 분리 복호부(202)에 입력된다. 분리 복호부(202)에서는, 비트 스트림으로부터 복호 처리에 관한 정보나 계수에 관한 부호 데이터로 분리하고, 비트 스트림의 헤더부에 존재하는 부호 데이터를 복호한다. 보다 구체적으로는, 양자화 매트릭스 부호 데이터를 재생한다. 본 실시 형태에서는, 먼저 도 6a에 나타내어지는 비트 스트림의 시퀀스 헤더로부터 양자화 매트릭스 부호 데이터를 추출하고, 양자화 매트릭스 복호부(209)로 출력된다. 본 실시 형태에서는, 도 8a에 나타내어지는 베이스 양자화 매트릭스에 대응하는 양자화 매트릭스 부호 데이터가 추출, 출력된다. 계속해서, 픽처 데이터의 기본 블록 단위의 부호 데이터를 재생하고, 복호부(203)로 출력한다.

양자화 매트릭스 복호부(209)에서는, 먼저 입력된 양자화 매트릭스 부호 데이터를 복호하고, 도 10에 나타내어지는 일차원의 차분 행렬을 재생한다. 본 실시 형태에서는, 실시 형태 1과 마찬가지로, 도 11a에 나타내어지는 부호화 테이블을 사용하여 복호하는 것으로 하지만, 부호화 테이블은 이것에 한정되지 않고, 실시 형태 1과 동일한 것을 사용하는 한, 다른 부호화 테이블을 사용해도 된다. 또한 양자화 매트릭스 복호부(209)는 재생된 일차원의 차분 행렬로부터 이차원의 양자화 매트릭스를 재생한다. 여기에서는 실시 형태 1의 양자화 매트릭스 부호화부(113)의 동작과는 반대의 동작을 행한다. 즉, 본 실시 형태에서는, 도 10에 나타내어지는 차분 행렬은, 도 9에 나타내어지는 주사 방법을 사용하여, 각각 도 8a에 나타내어지는 베이스 양자화 매트릭스를 재생하고, 유지하는 것으로 한다. 구체적으로는, 양자화 매트릭스 복호부(209)는 차분 행렬에 있어서의 각 차분값을, 전술한 초깃값으로부터 순차 가산함으로써, 양자화 매트릭스에 있어서의 각 요소를 재생한다. 그리고, 양자화 매트릭스 복호부(209)는 그 재생한 일차원의 각 요소를 도 9에 나타내어지는 주사 방법에 따라서, 차례로 2차원의 양자화 매트릭스의 각 요소에 대응지음으로써, 2차원의 양자화 매트릭스를 재생한다.

또한 양자화 매트릭스 복호부(209)에서는, 이 재생된 베이스 양자화 매트릭스를, 제1 실시 형태와 마찬가지로 확대하고, 도 8b 및 도 8c에 나타내어지는 2종류의 32×32의 양자화 매트릭스를 생성한다. 도 8b의 양자화 매트릭스는, 도 8a의 8×8의 베이스 양자화 매트릭스의 각 요소를, 수직·수평 방향으로 4회 반복함으로써 4배로 확대한 32×32의 양자화 매트릭스이다.

한편, 도 8c의 양자화 매트릭스는, 도 8a의 베이스 양자화 매트릭스의 좌측 상단 4×4 부분의 각 요소를, 수직·수평 방향으로 8회 반복함으로써 확대한 32×32의 양자화 매트릭스이다. 단, 생성되는 양자화 매트릭스는 이것에 한정되지 않고, 후단에서 역양자화되는 양자화 계수의 사이즈가 32×32 이외에도 존재하는 경우에는, 16×16, 8×8, 4×4 등 역양자화되는 양자화 계수의 사이즈에 대응한 양자화 매트릭스가 생성되어도 된다. 생성된 이들 양자화 매트릭스는 유지되고, 후단의 역양자화 처리에 사용된다.

복호부(203)에서는, 부호 데이터를 비트 스트림으로부터 복호하고, 양자화 계수 및 예측 정보를 재생한다. 복호된 예측 정보에 기초하여 복호 대상의 서브 블록 사이즈를 결정하고, 또한 재생된 양자화 계수는 역양자화·역변환부(204)로 출력되고, 재생된 예측 정보는 화상 재생부(205)로 출력된다. 본 실시 형태에서는 복호 대상의 서브 블록의 크기, 즉 도 7a의 64×64인지, 도 7b의 32×32인지에 관계없이, 각 서브 블록에 대하여 32×32의 양자화 계수가 재생되는 것으로 한다.

역양자화·역변환부(204)에서는, 입력된 양자화 계수에 대하여, 양자화 매트릭스 복호부(209)에서 재생된 양자화 매트릭스와, 양자화 파라미터를 사용하여 역양자화를 행하여 직교 변환 계수를 생성하고, 또한 역직교 변환을 실시하여 예측 오차를 재생한다. 보다 구체적인 역양자화·역직교 변환 처리에 대하여, 이하에 기재한다.

도 7b의 32×32의 서브 블록 분할이 선택되어 있는 경우, 복호부(203)에서 재생된 32×3의 양자화 계수는 도 8b의 양자화 매트릭스를 사용하여 역양자화되고, 32×32의 직교 변환 계수를 재생한다. 그리고, 전술한 32×32의 전치 행렬과 32×32의 직교 변환의 승산을 행하여, 32×32의 행렬상의 중간 계수를 산출한다. 이 32×32의 행렬상의 중간 계수와 전술한 32×32의 직교 변환 행렬의 승산을 행하여, 32×32의 예측 오차를 재생한다. 각 32×32 서브 블록에 대하여 마찬가지의 처리를 행한다.

한편, 도 7a와 같이 분할 없음이 선택되어 있는 경우, 복호부(203)에서 재생된 32×32의 양자화 계수는 도 8c의 양자화 매트릭스를 사용하여 역양자화되고, 32×32의 직교 변환 계수를 재생한다. 그리고, 전술한 32×64의 전치 행렬과 32×32의 직교 변환의 승산을 행하여, 32×64의 행렬상의 중간 계수를 산출한다. 이 32×64의 행렬상의 중간 계수와 전술한 64×32의 직교 변환 행렬의 승산을 행하여, 64×64의 예측 오차를 재생한다.

재생된 예측 오차는 화상 재생부(205)로 출력된다. 본 실시 형태에서는, 복호부(203)에서 재생된 예측 정보에 의해 정해진 복호 대상의 서브 블록 크기에 따라서, 역양자화 처리에 있어서 사용되는 양자화 매트릭스를 결정한다. 즉, 도 7b의 32×32의 각 서브 블록에는, 도 8b의 양자화 매트릭스가 역양자화 처리에 사용되고, 도 7a의 64×64의 서브 블록에는 도 8c의 양자화 매트릭스가 사용된다. 단, 사용되는 양자화 매트릭스는 이것에 한정되지 않고, 실시 형태 1의 변환·양자화부(105) 및 역양자화·역변환부(106)에서 사용된 양자화 매트릭스와 동일한 것이면 된다.

화상 재생부(205)에서는, 복호부(203)로부터 입력된 예측 정보에 기초하여, 프레임 메모리(206)를 적절히 참조하여, 예측 화상의 재생에 필요한 데이터를 취득하고, 예측 화상을 재생한다. 본 실시 형태에서는, 실시 형태 1의 예측부(104)와 마찬가지로, 인트라 예측 및 인터 예측의 2종류의 예측 방법이 사용된다. 또한, 전술한 바와 같이 인트라 예측과 인터 예측을 조합한 예측 방법이 사용되어도 된다. 또한, 실시 형태 1과 마찬가지로 예측 처리는 서브 블록 단위로 행해진다.

구체적인 예측 처리에 대하여는, 실시 형태 1의 예측부(104)와 마찬가지이기 때문에, 설명을 생략한다. 화상 재생부(205)는 예측 처리에 의해 생성된 예측 화상과, 역양자화·역변환부(204)로부터 입력된 예측 오차로부터 화상 데이터를 재생한다. 구체적으로는, 화상 재생부(205)는 예측 화상과 예측 오차를 가산함으로써 화상 데이터를 재생한다. 재생된 화상 데이터는 적절히 프레임 메모리(206)에 저장된다. 저장된 화상 데이터는 다른 서브 블록의 예측 시에 적절히 참조된다.

인루프 필터부(207)에서는, 도 1의 인루프 필터부(109)와 마찬가지로, 프레임 메모리(206)로부터 재생 화상을 판독하고, 디블로킹 필터 등의 인루프 필터 처리를 행한다. 그리고, 필터 처리된 화상은 다시 프레임 메모리(206)에 입력된다.

프레임 메모리(206)에 저장된 재생 화상은, 최종적으로는 단자(208)로부터 외부로 출력된다. 재생 화상은, 예를 들어 외부의 표시 장치 등으로 출력된다.

도 4는, 실시 형태 2에 관한 화상 복호 장치에 있어서의 화상의 복호 처리를 나타내는 흐름도이다.

먼저, 스텝 S401에서, 분리 복호부(202)는 비트 스트림으로부터 복호 처리에 관한 정보나 계수에 관한 부호 데이터로 분리하여, 헤더 부분의 부호 데이터를 복호한다. 보다 구체적으로는, 양자화 매트릭스 부호 데이터를 재생한다.

스텝 S402에서, 양자화 매트릭스 복호부(209)는 먼저, 스텝 S401에서 재생된 양자화 매트릭스 부호 데이터를 복호하고, 도 10에서 나타내어지는 일차원의 차분 행렬을 재생한다. 이어서, 양자화 매트릭스 복호부(209)는 재생된 일차원의 차분 행렬로부터 이차원의 베이스 양자화 매트릭스를 재생한다. 또한, 양자화 매트릭스 복호부(209)는 재생한 이차원의 베이스 양자화 매트릭스를 확대하고, 양자화 매트릭스를 생성한다.

즉, 본 실시 형태에서는, 양자화 매트릭스 복호부(209)는 도 10에 나타내어지는 차분 행렬을, 도 9에 나타내어지는 주사 방법을 사용하여, 도 8a에 나타내어지는 베이스 양자화 매트릭스를 재생한다. 또한, 양자화 매트릭스 복호부(209)는 재생된 베이스 양자화 매트릭스를 확대하고, 도 8b 및 도 8c에 나타내어지는 양자화 매트릭스를 생성하고, 유지하는 것으로 한다.

스텝 S403에서, 복호부(203)는 스텝 S401에서 분리된 부호 데이터를 복호하고, 양자화 계수 및 예측 정보를 재생한다. 또한, 복호된 예측 정보에 기초하여 복호 대상의 서브 블록의 사이즈를 결정한다. 본 실시 형태에서는 복호 대상의 서브 블록의 크기, 즉 도 7a의 64×64인지 도 7b의 32×32인지에 관계없이, 각 서브 블록에 대하여 32×32의 양자화 계수가 재생되는 것으로 한다.

스텝 S404에서, 역양자화·역변환부(204)는 양자화 계수에 대하여 스텝 S402에서 재생된 양자화 매트릭스를 사용하여 역양자화를 행하여 직교 변환 계수를 획득하고, 또한 역직교 변환을 행하여, 예측 오차를 재생한다. 본 실시 형태에서는, 스텝 S403에서 재생된 예측 정보에 의해 정해진 복호 대상의 서브 블록의 크기에 따라서, 역양자화 처리에 있어서 사용되는 양자화 매트릭스를 결정한다. 즉, 도 7b의 32×32의 각 서브 블록에는, 도 8b의 양자화 매트릭스가 역양자화 처리에 사용되고, 도 7a의 64×64의 서브 블록에는 도 8c의 양자화 매트릭스가 사용된다. 단, 사용되는 양자화 매트릭스는 이것에 한정되지 않고, 실시 형태 1의 스텝 S306 및 스텝 S307에서 사용된 양자화 매트릭스와 동일한 것이면 된다.

스텝 S405에서, 화상 재생부(205)는 스텝 S403에서 생성된 예측 정보로부터 예측 화상을 재생한다. 본 실시 형태에서는, 실시 형태 1의 스텝 S305와 마찬가지로, 인트라 예측 및 인터 예측의 2종류의 예측 방법이 사용된다. 또한 재생된 예측 화상과 스텝 S404에서 생성된 예측 오차로부터 화상 데이터를 재생한다.

스텝 S406에서, 화상 복호 장치는 프레임 내의 모든 기본 블록의 복호가 종료되었는지 여부의 판정을 행하여, 종료되었으면 스텝 S407로 진행하고, 그렇지 않으면 다음 기본 블록을 대상으로 하여 스텝 S403으로 되돌아간다.

스텝 S407에서, 인루프 필터부(207)는 스텝 S405에서 재생된 화상 데이터에 대하여 인루프 필터 처리를 행하여, 필터 처리된 화상을 생성하고, 처리를 종료한다.

이상의 구성과 동작에 의해, 실시 형태 1에서 생성된, 저주파의 직교 변환 계수만을 양자화·부호화한 서브 블록에 대해서도, 양자화 매트릭스를 사용하여 주파수 성분마다 양자화를 제어하여 주관 화질을 향상시킨 비트 스트림을 복호할 수 있다. 또한, 저주파의 직교 변환 계수만을 양자화·부호화한 서브 블록에는, 도 8c와 같은 베이스 양자화 매트릭스의 저주파 부분만을 확대한 양자화 매트릭스를 사용하여, 저주파 부분에 최적인 양자화 제어를 실시한 비트 스트림을 복호할 수 있다.

또한, 본 실시 형태에서는, 부호량 삭감을 위해서, 도 8b, 도 8c의 양자화 매트릭스의 생성에 공통되게 사용되는 도 8a의 베이스 양자화 매트릭스만을 복호하는 구성으로 하였지만, 도 8b, 도 8c의 양자화 매트릭스 자체를 복호하는 구성으로 해도 된다. 그 경우, 각 양자화 매트릭스의 주파수 성분마다 독자적인 값을 설정할 수 있기 때문에, 주파수 성분마다 보다 미세한 양자화 제어를 실현한 비트 스트림을 복호할 수 있다.

또한, 도 8b, 도 8c의 각각에 대하여 개별의 베이스 양자화 매트릭스를 설정하고, 각각의 베이스 양자화 매트릭스를 부호화하는 구성으로 하는 것도 가능하다. 그 경우, 32×32의 직교 변환 계수와 64×64의 직교 변환 계수에 대하여, 각각 다른 양자화 제어를 실시하여, 보다 면밀한 주관 화질의 제어를 실현한 비트 스트림을 복호할 수도 있다. 또한 그 경우, 64×64의 직교 변환 계수에 대응하는 양자화 매트릭스는, 8×8의 베이스 양자화 매트릭스의 좌측 상단 4×4 부분을 8배로 확대하는 대신에, 8×8의 베이스 양자화 매트릭스 전체를 4배로 확대해도 된다. 이렇게 해서 64×64의 직교 변환 계수에 대해서도, 보다 미세한 양자화 제어를 실현할 수 있다.

나아가, 본 실시 형태에서는, 제로 아웃을 사용한 64×64의 서브 블록에 대한 양자화 매트릭스가 일의적으로 결정되는 구성으로 하였지만, 식별자를 도입함으로써 선택 가능하게 하는 구성으로 해도 상관없다. 예를 들어 도 6b는, 양자화 매트릭스 부호화 방법 정보 부호를 새롭게 도입함으로써, 제로 아웃을 사용한 64×64의 서브 블록에 대한 양자화 매트릭스 부호화를 선택적으로 한 것이다. 예를 들어, 양자화 매트릭스 부호화 방법 정보 부호가 0을 나타내고 있는 경우에는, 제로 아웃을 사용한 64×64의 서브 블록에 대응하는 양자화 계수에 대하여, 독립된 양자화 매트릭스인 도 8c가 사용된다. 또한, 부호화 방법 정보 부호가 1을 나타내고 있는 경우에는, 제로 아웃을 사용한 64×64의 서브 블록에 대하여, 통상적인 제로 아웃되지 않은 서브 블록에 대한 양자화 매트릭스인 도 8b가 사용된다. 한편, 부호화 방법 정보 부호가 2를 나타내고 있는 경우에는, 8×8의 베이스 양자화 매트릭스가 아니라, 제로 아웃을 사용한 64×64의 서브 블록에 대하여 사용되는 양자화 매트릭스의 요소 모두를 부호화하는 상태이다. 이에 의해, 양자화 매트릭스 부호량 삭감과 제로 아웃을 사용한 서브 블록에 대한 독자의 양자화 제어를 선택적으로 실현한 비트 스트림을 복호하는 것이 가능해진다.

또한, 본 실시 형태에서는 제로 아웃을 사용하여 처리를 행한 서브 블록은 64×64만으로 하고 있지만, 제로 아웃을 사용한 처리를 실시된 서브 블록은 이것에 한정되지 않는다. 예를 들어, 도 7c나 도 7b에 나타내어진 32×64나 64×32 서브 블록에 대응하는 직교 변환 계수 중, 하반분이나 우반분의 32×32의 직교 변환 계수를 복호하지 않고, 상반분이나 좌반분의 양자화 계수만을 복호하는 구성으로 해도 상관없다. 이 경우, 상반분이나 좌반분의 32×32의 직교 변환 계수만을 복호·역양자화의 대상으로 하게 되고, 상반분이나 좌반분의 32×32의 직교 변환 계수에 대하여, 도 8b와는 다른 양자화 매트릭스를 사용하여 양자화 처리를 행하게 된다.

나아가, 생성된 직교 변환 계수 중, 화질에 대한 영향이 가장 크다고 생각되는 좌측 상단부에 위치하는 DC 계수에 대응하는 양자화 매트릭스의 값을, 8×8의 베이스 매트릭스의 각 요소의 값과는 별도로 복호·설정하는 구성으로 해도 된다. 도 12b 및 도 12c는, 도 8b 및 도 8c와 비교하여 DC 성분에 해당하는 좌측 상단부에 위치하는 요소의 값을 변경한 예를 나타내고 있다. 이 경우, 도 8a의 베이스 양자화 매트릭스의 정보 외에도, DC 부분에 위치하는 「2」를 나타내는 정보를 별도로 복호함으로써, 도 12b 및 도 12c에 나타내어지는 양자화 매트릭스를 설정할 수 있다. 이에 의해, 화질에 대한 영향이 가장 큰 직교 변환 계수의 DC 성분에 대하여 보다 미세한 양자화 제어를 실시한 비트 스트림을 복호할 수 있다.

<실시 형태 3>

도 1, 도 2에 나타낸 각 처리부는 하드웨어를 가지고 구성하고 있는 것으로 하여 상기 실시 형태에서는 설명하였다. 그러나, 이들 도면에 나타낸 각 처리부에서 행하는 처리를 컴퓨터 프로그램을 가지고 구성해도 된다.

도 5는, 상기 각 실시 형태에 관한 화상 부호화 장치나 화상 복호 장치에 적용 가능한 컴퓨터의 하드웨어 구성예를 나타내는 블록도이다.

CPU(501)는 RAM(502)이나 ROM(503)에 저장되어 있는 컴퓨터 프로그램이나 데이터를 사용하여 컴퓨터 전체의 제어를 행함과 함께, 상기 각 실시 형태에 관한 화상 처리 장치가 행하는 것으로서 상술한 각 처리를 실행한다. 즉, CPU(501)는, 도 1, 도 2에 나타낸 각 처리부로서 기능하게 된다.

RAM(502)은 외부 기억 장치(506)로부터 로드된 컴퓨터 프로그램이나 데이터, I/F(인터페이스)(507)를 통해 외부로부터 취득한 데이터 등을 일시적으로 기억하기 위한 에어리어를 갖는다. 또한, RAM(502)은 CPU(501)가 각종 처리를 실행할 때에 사용하는 워크 에어리어를 갖는다. 즉, RAM(502)은 예를 들어 프레임 메모리로서 할당하거나, 그 밖의 각종 에어리어를 적절히 제공하거나 할 수 있다.

ROM(503)에는, 본 컴퓨터의 설정 데이터나, 부트 프로그램 등이 저장되어 있다. 조작부(504)는 키보드나 마우스 등에 의해 구성되어 있고, 본 컴퓨터의 유저가 조작함으로써, 각종 지시를 CPU(501)에 대하여 입력할 수 있다. 출력부(505)는 CPU(501)에 의한 처리 결과를 출력한다. 또한 출력부(505)는 예를 들어 액정 디스플레이로 구성된다.

외부 기억 장치(506)는 하드디스크 드라이브 장치로 대표되는 대용량 정보 기억 장치이다. 외부 기억 장치(506)에는, OS(오퍼레이팅 시스템)나, 도 1, 도 2에 나타낸 각 부의 기능을 CPU(501)에 실현시키기 위한 컴퓨터 프로그램이 보존되어 있다. 나아가, 외부 기억 장치(506)에는, 처리 대상으로서의 각 화상 데이터가 보존되어 있어도 된다.

외부 기억 장치(506)에 보존되어 있는 컴퓨터 프로그램이나 데이터는, CPU(501)에 의한 제어에 따라서 적절히 RAM(502)에 로드되고, CPU(501)에 의한 처리 대상으로 된다. I/F(507)에는, LAN이나 인터넷 등의 네트워크, 투영 장치나 표시 장치 등의 다른 기기를 접속할 수 있고, 본 컴퓨터는 이 I/F(507)를 통해 각종 정보를 취득하거나 송출하거나 할 수 있다. 508은 상술한 각 부를 연결하는 버스이다.

상술한 구성을 포함하는 작동은 전술한 흐름도에서 설명한 작동을 CPU(501)가 중심이 되어 그 제어를 행한다.

(기타 실시예)

각 실시 형태는, 전술한 기능을 실현하는 컴퓨터 프로그램의 코드를 기록한 기억 매체를, 시스템에 공급하고, 그 시스템이 컴퓨터 프로그램의 코드를 판독하고 실행함으로써도 달성할 수 있다. 이 경우, 기억 매체로부터 판독된 컴퓨터 프로그램의 코드 자체가 전술한 실시 형태의 기능을 실현하고, 그 컴퓨터 프로그램의 코드를 기억한 기억 매체는 본 발명을 구성한다. 또한, 그 프로그램의 코드의 지시에 기초하여, 컴퓨터 상에서 가동하고 있는 오퍼레이팅 시스템(OS) 등이 실제 처리의 일부 또는 전부를 행하여, 그 처리에 의해 전술한 기능이 실현되는 경우도 포함된다.

또한, 이하의 형태로 실현해도 상관없다. 즉, 기억 매체로부터 판독된 컴퓨터 프로그램 코드를, 컴퓨터에 삽입된 기능 확장 카드나 컴퓨터에 접속된 기능 확장 유닛에 구비되는 메모리에 기입한다. 그리고, 그 컴퓨터 프로그램의 코드의 지시에 기초하여, 그 기능 확장 카드나 기능 확장 유닛에 구비되는 CPU 등이 실제의 처리의 일부 또는 전부를 행하여, 전술한 기능이 실현되는 경우도 포함된다.

본 발명을 상기 기억 매체에 적용하는 경우, 그 기억 매체에는, 앞에서 설명한 흐름도에 대응하는 컴퓨터 프로그램의 코드가 저장되게 된다.

이상의 각 실시 형태에 의하면, 일부의 직교 변환 계수가 강제적으로 0이 되는 방법에 대응한 양자화 매트릭스를 사용한 양자화 처리를 가능하게 함으로써, 당해 방법을 사용한 경우에도 주관 화질을 향상시킬 수 있다.

본 발명은 상기 실시 형태에 제한되는 것은 아니고, 본 발명의 정신 및 범위로부터 이탈되지 않고, 각종 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 밝히기 위해 이하의 청구항을 첨부한다.

본원은 2019년 3월 11일 제출의 일본 특허 출원 제2019-044275를 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용의 모두를 여기에 원용한다.

Claims (30)

1. P×Q 화소(P 및 Q는 정수)의 제1 블록과, N×M 화소(N은 N<P를 충족시키는 정수, 또한 M은 M<Q를 충족시키는 정수)의 제2 블록을 포함하는 복수의 블록 단위로 비트 스트림으로부터 화상을 복호하는 것이 가능한 화상 복호 장치에 있어서
   상기 제1 블록에 대응하는 N×M개의 양자화 계수를 갖는 제1 양자화 계수군에 대응하는 데이터와, 상기 제2 블록에 대응하는 N×M개의 양자화 계수를 갖는 제2 양자화 계수군에 대응하는 데이터를 상기 비트 스트림으로부터 복호하는 복호 수단과,
   N×M개의 요소를 갖는 제1 양자화 매트릭스를 적어도 사용하여 상기 제1 양자화 계수군으로부터 제1 직교 변환 계수군을 도출하고, N×M개의 요소를 갖는 제2 양자화 매트릭스를 적어도 사용하여 상기 제2 양자화 계수군으로부터 제2 직교 변환 계수군을 도출하는 역양자화 수단과,
   상기 제1 직교 변환 계수군에 대하여 역직교 변환을 실행함으로써 상기 제1 블록에 대응하는 P×Q 화소분의 제1 예측 오차를 생성하고, 상기 제2 직교 변환 계수군에 대하여 역직교 변환을 실행함으로써 상기 제2 블록에 대응하는 N×M 화소분의 제2 예측 오차를 생성하는 역직교 변환 수단
   을 갖고,
   N×M개의 요소를 갖는 상기 제1 양자화 매트릭스와, N×M개의 요소를 갖는 상기 제2 양자화 매트릭스는 다른
   것을 특징으로 하는 화상 복호 장치.
2. 제1항에 있어서, 상기 제1 및 제2 블록은 정사각형의 블록인
   것을 특징으로 하는 화상 복호 장치.
3. 제2항에 있어서, 상기 P 및 Q는 64이며, 상기 N 및 M은 32인
   것을 특징으로 하는 화상 복호 장치.
4. 제2항에 있어서, 상기 P 및 Q는 128이며, 상기 N 및 M은 32인
   것을 특징으로 하는 화상 복호 장치.
5. 제1항에 있어서, 상기 제1 양자화 매트릭스는, R×S(R은 R≤N을 충족시키는 정수, 또한 S는 S≤M을 충족시키는 정수)개의 요소를 갖는 양자화 매트릭스의 일부의 요소를 사용하여 생성되는 양자화 매트릭스이며,
   상기 제2 양자화 매트릭스는, 상기 R×S개의 요소를 갖는 양자화 매트릭스의 모든 요소를 사용하여 생성되는 양자화 매트릭스인
   것을 특징으로 하는 화상 복호 장치.
6. 제1항에 있어서, 상기 제1 직교 변환 계수군은 N×M개의 직교 변환 계수이며,
   상기 제2 직교 변환 계수군은 N×M개의 직교 변환 계수인
   것을 특징으로 하는 화상 복호 장치.
7. 제1항에 있어서, 상기 제1 및 제2 블록은 비정사각형의 블록인
   것을 특징으로 하는 화상 복호 장치.
8. P×Q 화소(P 및 Q는 정수)의 제1 블록과, N×M 화소(N은 N<P를 충족시키는 정수, 또한 M은 M<Q를 충족시키는 정수)의 제2 블록을 포함하는 복수의 블록 단위로 비트 스트림으로부터 화상을 복호하는 것이 가능한 화상 복호 방법에 있어서
   상기 제1 블록에 대응하는 N×M개의 양자화 계수를 갖는 제1 양자화 계수군에 대응하는 데이터와, 상기 제2 블록에 대응하는 N×M개의 양자화 계수를 갖는 제2 양자화 계수군에 대응하는 데이터를 상기 비트 스트림으로부터 복호하는 복호 공정과,
   N×M개의 요소를 갖는 제1 양자화 매트릭스를 적어도 사용하여 상기 제1 양자화 계수군으로부터 제1 직교 변환 계수군을 도출하고, N×M개의 요소를 갖는 제2 양자화 매트릭스를 적어도 사용하여 상기 제2 양자화 계수군으로부터 제2 직교 변환 계수군을 도출하는 역양자화 공정과,
   상기 제1 직교 변환 계수군에 대하여 역직교 변환을 실행함으로써 상기 제1 블록에 대응하는 P×Q 화소분의 제1 예측 오차를 생성하고, 상기 제2 직교 변환 계수군에 대하여 역직교 변환을 실행함으로써 상기 제2 블록에 대응하는 N×M 화소분의 제2 예측 오차를 생성하는 역직교 변환 공정
   을 갖고,
   N×M개의 요소를 갖는 상기 제1 양자화 매트릭스와, N×M개의 요소를 갖는 상기 제2 양자화 매트릭스는 다른
   것을 특징으로 하는 화상 복호 방법.
9. 제8항에 있어서, 상기 제1 및 제2 블록은 정사각형의 블록인
   것을 특징으로 하는 화상 복호 방법.
10. 제9항에 있어서, 상기 P 및 Q는 64이며, 상기 N 및 M은 32인
    것을 특징으로 하는 화상 복호 방법.
11. 제9항에 있어서, 상기 P 및 Q는 128이며, 상기 N 및 M은 32인
    것을 특징으로 하는 화상 복호 방법.
12. 제8항에 있어서, 상기 제1 양자화 매트릭스는, R×S(R은 R≤N을 충족시키는 정수, 또한 S는 S≤M을 충족시키는 정수)개의 요소를 갖는 양자화 매트릭스의 일부의 요소를 사용하여 생성되는 양자화 매트릭스이며,
    상기 제2 양자화 매트릭스는, 상기 R×S개의 요소를 갖는 양자화 매트릭스의 모든 요소를 사용하여 생성되는 양자화 매트릭스인
    것을 특징으로 하는 화상 복호 방법.
13. 제8항에 있어서, 상기 제1 직교 변환 계수군은 N×M개의 직교 변환 계수이며,
    상기 제2 직교 변환 계수군은 N×M개의 직교 변환 계수인
    것을 특징으로 하는 화상 복호 방법.
14. 제8항에 있어서, 상기 제1 및 제2 블록은 비정사각형의 블록인
    것을 특징으로 하는 화상 복호 방법.
15. 컴퓨터를, 제1항에 기재된 화상 복호 장치의 각 수단으로서 기능시키기 위한 프로그램.
16. P×Q 화소(P 및 Q는 정수)의 제1 블록과, N×M 화소(N은 N<P를 충족시키는 정수, 또한 M은 M<Q를 충족시키는 정수)의 제2 블록을 포함하는 복수의 블록 단위로 화상을 부호화하는 것이 가능한 화상 부호화 장치에 있어서
    상기 제1 블록에 대응하는 P×Q 화소분의 예측 오차에 대하여 직교 변환을 실행함으로써 적어도 제1 직교 변환 계수군을 생성하고, 상기 제2 블록에 대응하는 N×M 화소분의 예측 오차에 대하여 직교 변환을 실행함으로써 제2 직교 변환 계수군을 생성하는 직교 변환 수단과,
    N×M개의 요소를 갖는 제1 양자화 매트릭스를 적어도 사용하여 상기 제1 직교 변환 계수군을 양자화하여 N×M개의 양자화 계수를 갖는 제1 양자화 계수군을 생성하고, N×M개의 요소를 갖는 제2 양자화 매트릭스를 적어도 사용하여 상기 제2 직교 변환 계수군을 양자화하여 N×M개의 양자화 계수를 갖는 제2 양자화 계수군을 생성하는 양자화 수단과,
    상기 제1 블록에 대응하는 상기 N×M개의 양자화 계수를 갖는 제1 양자화 계수군에 대응하는 데이터와, 상기 제2 블록에 대응하는 상기 N×M개의 양자화 계수를 갖는 제2 양자화 계수군에 대응하는 데이터를 부호화하는 부호화 수단
    을 갖고,
    상기 N×M개의 요소를 갖는 제1 양자화 매트릭스와, 상기 N×M개의 요소를 갖는 제2 양자화 매트릭스는 다른
    것을 특징으로 하는 화상 부호화 장치.
17. 제16항에 있어서, 상기 제1 및 제2 블록은 정사각형의 블록인
    것을 특징으로 하는 화상 부호화 장치.
18. 제17항에 있어서, 상기 P 및 Q는 64이며, 상기 N 및 M은 32인
    것을 특징으로 하는 화상 부호화 장치.
19. 제17항에 있어서, 상기 P 및 Q는 128이며, 상기 N 및 M은 32인
    것을 특징으로 하는 화상 부호화 장치.
20. 제16항에 있어서, 상기 제1 양자화 매트릭스는, R×S(R은 R≤N을 충족시키는 정수, 또한 S는 S≤M을 충족시키는 정수)개의 요소를 갖는 양자화 매트릭스의 일부의 요소를 사용하여 생성되는 양자화 매트릭스이며,
    상기 제2 양자화 매트릭스는, 상기 R×S개의 요소를 갖는 양자화 매트릭스의 모든 요소를 사용하여 생성되는 양자화 매트릭스인
    것을 특징으로 하는 화상 부호화 장치.
21. 제16항에 있어서, 상기 제1 직교 변환 계수군은 N×M개의 직교 변환 계수이며,
    상기 제2 직교 변환 계수군은 N×M개의 직교 변환 계수인
    것을 특징으로 하는 화상 부호화 장치.
22. 제16항에 있어서, 상기 제1 및 제2 블록은 비정사각형의 블록인
    것을 특징으로 하는 화상 부호화 장치.
23. P×Q 화소(P 및 Q는 정수)의 제1 블록과, N×M 화소(N은 N<P를 충족시키는 정수, 또한 M은 M<Q를 충족시키는 정수)의 제2 블록을 포함하는 복수의 블록 단위로 화상을 부호화하는 것이 가능한 화상 부호화 방법에 있어서
    상기 제1 블록에 대응하는 P×Q 화소분의 예측 오차에 대하여 직교 변환을 실행함으로써 적어도 제1 직교 변환 계수군을 생성하고, 상기 제2 블록에 대응하는 N×M 화소분의 예측 오차에 대하여 직교 변환을 실행함으로써 제2 직교 변환 계수군을 생성하는 직교 변환 공정과,
    N×M개의 요소를 갖는 제1 양자화 매트릭스를 적어도 사용하여 상기 제1 직교 변환 계수군을 양자화하여 N×M개의 양자화 계수를 갖는 제1 양자화 계수군을 생성하고, N×M개의 요소를 갖는 제2 양자화 매트릭스를 적어도 사용하여 상기 제2 직교 변환 계수군을 양자화하여 N×M개의 양자화 계수를 갖는 제2 양자화 계수군을 생성하는 양자화 공정과,
    상기 제1 블록에 대응하는 상기 N×M개의 양자화 계수를 갖는 제1 양자화 계수군에 대응하는 데이터와, 상기 제2 블록에 대응하는 상기 N×M개의 양자화 계수를 갖는 제2 양자화 계수군에 대응하는 데이터를 부호화하는 부호화 공정
    을 갖고,
    상기 N×M개의 요소를 갖는 제1 양자화 매트릭스와, 상기 N×M개의 요소를 갖는 제2 양자화 매트릭스는 다른
    것을 특징으로 하는 화상 부호화 방법.
24. 제23항에 있어서, 상기 제1 및 제2 블록은 정사각형의 블록인
    것을 특징으로 하는 화상 부호화 방법.
25. 제24항에 있어서, 상기 P 및 Q는 64이며, 상기 N 및 M은 32인
    것을 특징으로 하는 화상 부호화 방법.
26. 제24항에 있어서, 상기 P 및 Q는 128이며, 상기 N 및 M은 32인
    것을 특징으로 하는 화상 부호화 방법.
27. 제23항에 있어서, 상기 제1 양자화 매트릭스는, R×S(R은 R≤N을 충족시키는 정수, 또한 S는 S≤M을 충족시키는 정수)개의 요소를 갖는 양자화 매트릭스의 일부의 요소를 사용하여 생성되는 양자화 매트릭스이며,
    상기 제2 양자화 매트릭스는, 상기 R×S개의 요소를 갖는 양자화 매트릭스의 모든 요소를 사용하여 생성되는 양자화 매트릭스인
    것을 특징으로 하는 화상 부호화 방법.
28. 제23항에 있어서, 상기 제1 직교 변환 계수군은 N×M개의 직교 변환 계수이며,
    상기 제2 직교 변환 계수군은 N×M개의 직교 변환 계수인
    것을 특징으로 하는 화상 부호화 방법.
29. 제23항에 있어서, 상기 제1 및 제2 블록은 비정사각형의 블록인
    것을 특징으로 하는 화상 부호화 방법.
30. 컴퓨터를, 제16항에 기재된 화상 부호화 장치의 각 수단으로서 기능시키기 위한 프로그램.
    

Images