KR20160019098A - 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치 및 화상 복호 방법 - Google Patents

Abstract

표시 장치에서 표시 처리가 복잡하게 된다고 하는 과제의 해결을 위해, 특정한 프레임의 제 1 필드를 인트라 예측만으로 예측하는 인트라 픽쳐로서 부호화함과 아울러, 상기 특정한 프레임의 제 1 필드, 상기 특정한 프레임의 제 2 필드, 상기 특정한 프레임의 제 1 필드보다 부호화 순서가 뒤이고 표시 순서가 앞이 되는 픽쳐, 상기 특정한 프레임의 제 1 필드보다 부호화 순서도 표시 순서도 뒤가 되는 픽쳐의 순서로 부호화하는 부호화 수단과, 상기 특정한 프레임의 제 1 필드가 비트스트림의 도중으로부터의 복호를 개시 가능한 픽쳐인 것을 나타내는 정보를 상기 비트스트림에 다중화하는 다중화 수단을 구비한다.

Description

화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치 및 화상 복호 방법{IMAGE ENCODING DEVICE, IMAGE ENCODING METHOD, IMAGE DECODING DEVICE, AND IMAGE DECODING METHOD}

본 발명은, 화상을 고효율로 부호화를 행하는 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치 및 화상 복호 방법에 관한 것이다.

예컨대, 이하의 비 특허 문헌 1에 기재되어 있는 종래의 화상 부호화 장치에서는, 입력된 컬러 화상을 소정의 크기의 최대 부호화 블록으로 분할하고, 또한, 최대 부호화 블록을 보다 미세한 부호화 블록으로 계층 분할한다.

또한, 그 부호화 블록을 더 미세한 예측 블록으로 분할하고, 그 예측 블록에 대한 화면 내 예측이나 움직임 보상 예측을 실시하는 것에 의해 예측 오차를 생성한다.

또한, 그 예측 오차를 부호화 블록 내에서 계층적으로 변환 블록으로 분할하고, 각각의 변환 계수를 엔트로피 부호화하는 것에 의해 높은 압축률을 달성하고 있다.

종래의 화상 부호화 장치에서는, 시간적 상관을 이용한 고효율의 부호화를 실현하기 위해, 예컨대 도 37 등의 부호화 구조에 의해, 이미 부호화 완료된 픽쳐로부터 부호화 대상 블록과 상관이 높은 블록을 탐색하고, 그 탐색처의 블록을 예측치로 하는 움직임 보상 예측을 이용한 부호화를 실현하고 있다. 일반적으로, 이때의 탐색(참조)처의 픽쳐를 참조 픽쳐라고 부른다. 특히 도 37에 나타내는 바와 같이 표시 순서로 과거와 미래의 양쪽의 픽쳐를 참조하는 움직임 보상인 쌍방향 예측은 고정밀 예측을 실현할 수 있는 것으로 알려져 있다. 단, 이와 같이 픽쳐간에 참조 관계를 갖게 하는 것에 의해 각 픽쳐의 복호에 의존성이 생겨 버려, 부호화 비트스트림의 도중으로부터 복호하는 시퀀스의 도중 재생을 실현할 수 없게 되어 버린다.

따라서, 도 37 등의 쌍방향의 움직임 보상 예측을 이용한 부호화 구조를 이용하는 경우, 부호화 비트스트림의 도중으로부터 복호하더라도 올바르게 재생할 수 있기 위한 랜덤 액세스 포인트를 준비하는 일이 있다. 예컨대 도 37의 표시 순서로 번호 8(복호(부호화) 순서로 번호 1)의 회색(어두운)의 픽쳐가 비 특허 문헌 1에 기재되어 있는 랜덤 액세스 가능한 픽쳐(비 특허 문헌 1에 기재된 Intra Random Access Point(IRAP) 픽쳐)로 설정되는 경우에 대하여 생각한다. 비 특허 문헌 1에서는, IRAP 픽쳐보다 복호 순서(복호 장치에서는 복호 순서이고, 부호화 장치에 있어서의 부호화 순서와 동일한 의미)는 뒤이고 표시 순서는 앞이 되는 픽쳐(도 37의 표시 순서로 번호 1~7의 픽쳐)를 "leading picture(리딩 픽쳐)"라고 정의하고, IRAP 픽쳐보다 복호 순서도 표시 순서도 뒤가 되는 픽쳐(도 37의 표시 순서로 번호 9~16의 픽쳐)를 "trailing picture(트레일링 픽쳐)"라고 정의하고 있다. 도 37의 표시 순서로 번호 8(복호(부호화) 순서로 번호 1)의 회색(어두운)의 픽쳐가 IRAP 픽쳐의 일종인 CRA(Clean Random Access) 픽쳐인 경우, CRA 픽쳐로부터 복호를 개시했을 때에 리딩 픽쳐는 올바르게 복호할 수 있는 보증은 없지만, 트레일링 픽쳐는 항상 올바르게 복호할 수 있다. 이 동작이 보증되도록, 관련하는 각 픽쳐의 제한 사항이 정의되어 있다. 구체적으로는, 비 특허 문헌 1에서는 리딩 픽쳐를 트레일링 픽쳐의 참조 픽쳐로서 이용하는 것은 금지되어 있고, IRAP 픽쳐보다 표시 순서가 뒤이고 복호 순서는 앞이 되는 픽쳐의 존재도 금지되어 있다. 또한, 비 특허 문헌 1에서는 리딩 픽쳐는 반드시 트레일링 픽쳐보다 먼저 복호(부호화)되지 않으면 안 된다고 정의되어 있다. 이와 같은 정의의 아래에서, CRA 픽쳐를 이용하는 것에 의해, 부호화 비트스트림의 도중으로부터 복호를 개시할 때도 CRA로부터 복호하면 항상 CRA 픽쳐보다 표시 순서로 뒤의 픽쳐는 올바르게 복호할 수 있고, 부호화 시퀀스의 도중 재생을 실현할 수 있다. 또한, CRA 픽쳐인 경우는, 트레일링 픽쳐를 올바르게 복호할 수 있는 것만이 보증되어 있기 때문에, 리딩 픽쳐는 CRA 픽쳐도 포함시킨 쌍방향 예측을 행할 수 있고, 랜덤 액세스 가능한 픽쳐 삽입에 의한 부호화 효율의 저하를 억제할 수 있다.

(선행 기술 문헌)

(비 특허 문헌)

(비 특허 문헌 1) B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, Y.-K. Wang and T. Wiegand, "High Efficiency Video Coding(HEVC) text specification draft 10(for FDIS & Consent)", doc. JCTVC-L1003, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 12th Meeting, 2013

종래의 화상 부호화 장치는 이상과 같이 구성되어 있으므로, 1프레임 1픽쳐로 구성되어 있는 프로그레시브 영상에 대해서는 부호화 비트스트림의 도중으로부터라도 특정한 픽쳐로부터 복호를 개시하는 것에 의해 표시 순서에 있어서 그 픽쳐 이후의 픽쳐를 올바르게 복호할 수 있는 랜덤 액세스를 실현할 수 있다. 한편, 1프레임이 탑 필드와 바텀 필드의 2개의 필드로 이루어지는 인터레이스 영상인 경우, 이 필드를 부호화 단위인 픽쳐로 설정하면서, 참조 구조는 2개의 필드로 이루어지는 프레임을 고려한 필드 페어 구조로 부호화하는 경우가 있다. 도 33에 쌍방향 예측을 이용한 필드 페어 구조의 일례를 나타낸다. 본 예에 있어서, 랜덤 액세스 가능한 픽쳐로서 도 33의 표시 순서로 번호 32(복호(부호화) 순서로 번호 18)의 회색으로 나타나는 탑 필드를 설정하고자 한 경우, 리딩 픽쳐에 해당되는 픽쳐의 일부는 표시 순서로 번호 32의 탑 필드와 표시 순서로 번호 33의 바텀 필드를 참조하기 때문에, 표시 순서로 번호 32의 탑 필드를 복호한 직후에 트레일링 픽쳐인 표시 순서로 번호 33의 바텀 필드를 복호하고 나서 리딩 픽쳐를 복호한다고 하는 복호 순서일 필요가 있지만, 비 특허 문헌 1의 리딩 픽쳐는 반드시 트레일링 픽쳐보다 먼저 복호(부호화)되지 않으면 안 된다고 하는 정의에서, 표시 순서로 번호 32의 탑 필드를 CRA 픽쳐로 설정할 수 없다. 바꿔 말하면, 비 특허 문헌 1의 리딩 픽쳐는 반드시 트레일링 픽쳐보다 먼저 복호(부호화)되지 않으면 안 된다고 하는 정의에 따르면, CRA 픽쳐로서 설정한 표시 순서로 번호 32의 탑 필드를 복호한 직후에, 트레일링 픽쳐인 표시 순서로 번호 33의 바텀 필드를 복호할 수 없기 때문에, 도 33의 참조 구조를 취할 수 없다. 따라서, 비 특허 문헌 1의 정의의 범위 내에서 CRA 픽쳐를 이용한 랜덤 액세스를 실현하고자 한 경우, 예컨대, 리딩 픽쳐가 표시 순서로 번호 33의 바텀 필드를 참조하지 않는 참조 구조로 변경함과 아울러, 리딩 픽쳐의 복호의 뒤에 표시 순서로 번호 33의 바텀 필드가 복호되도록 구성하거나, 표시 순서로 번호 33의 바텀 필드를 CRA 픽쳐로 정의하거나 할 필요가 있다. 따라서, 전자의 경우는 도 33의 참조 구조와 비교하여 리딩 픽쳐의 참조 픽쳐가 제한되어 버리기 때문에 예측 효율이 저하되어 버린다고 하는 과제가 있었다. 후자의 경우는, 부호화 비트스트림의 처음으로부터 재생하는 경우는 탑 필드로부터 시작되고, 부호화 비트스트림의 도중으로부터 재생하는 경우는 바텀 필드로부터 재생되게 되어 버린다. 다시 말해, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 동일한 필드로부터 복호할 수 없고, 표시 장치에서는, 이와 같은 재생에 대응할 필요가 있어, 표시 처리가 복잡하게 된다고 하는 과제가 있었다.

본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것으로, 인터레이스 영상의 필드 페어 부호화에 있어서도, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 동일한 필드로부터 올바르게 재생할 수 있는 부호화 비트스트림을 생성하여 부호화할 수 있는 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치 및 화상 복호 방법을 얻는 것을 목적으로 한다.

본 발명과 관련되는 화상 부호화 장치는, 각 프레임이 제 1 필드와 제 2 필드의 2개의 필드로 구성되고, 각 필드를 픽쳐로서 부호화하는 화상 부호화 장치로서, 특정한 프레임의 제 1 필드를 인트라 예측만으로 예측하는 인트라 픽쳐로서 부호화함과 아울러, 상기 특정한 프레임의 제 1 필드, 상기 특정한 프레임의 제 2 필드, 상기 특정한 프레임의 제 1 필드보다 부호화 순서가 뒤이고 표시 순서가 앞이 되는 픽쳐, 상기 특정한 프레임의 제 1 필드보다 부호화 순서도 표시 순서도 뒤가 되는 픽쳐의 순서로 부호화하는 부호화 수단과, 상기 특정한 프레임의 제 1 필드가 비트스트림의 도중으로부터의 복호를 개시 가능한 픽쳐인 것을 나타내는 정보를 상기 비트스트림에 다중화하는 다중화 수단을 구비하는 것을 특징으로 하는 것이다.

본 발명에 의하면, 인터레이스 영상의 필드 페어 부호화에 있어서도, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 동일한 필드로부터 올바르게 재생할 수 있는 부호화 비트스트림을 생성하도록 구성했으므로, 인터레이스 영상의 필드 페어 부호화에 있어서도, 복호 화상을 표시하는 표시 장치는 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 동일한 필드를 우선 표시하도록 구성하면 되고, 표시 처리를 간이하게 행할 수 있는 효과가 있다.

도 1은 본 발명의 실시의 형태 1에 의한 화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 의한 화상 부호화 장치의 처리 내용(화상 부호화 방법)을 나타내는 플로차트이다.
도 3은 본 발명의 실시의 형태 1에 의한 화상 복호 장치를 나타내는 구성도이다.
도 4는 본 발명의 실시의 형태 1에 의한 화상 복호 장치의 처리 내용(화상 복호 방법)을 나타내는 플로차트이다.
도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.
도 6(a)는 분할 후의 부호화 블록 및 예측 블록의 분포를 나타내고, (b)는 계층 분할에 의해 부호화 모드 m(B_n)이 할당되는 상황을 나타내는 설명도이다.
도 7은 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ이 선택 가능한 인트라 예측 모드의 일례를 나타내는 설명도이다.
도 8은 l_i ⁿ=m_i ⁿ=4의 경우의 예측 화상 생성 블록 내의 화소의 예측치를 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 9는 예측 화상 생성 블록 내의 왼쪽 위 화소를 원점으로 하는 상대 좌표를 나타내는 설명도이다.
도 10은 양자화 매트릭스의 일례를 나타내는 설명도이다.
도 11은 본 발명의 실시의 형태 1에 의한 화상 부호화 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 12는 본 발명의 실시의 형태 1에 의한 화상 복호 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 13은 부호화 비트스트림의 일례를 나타내는 설명도이다.
도 14는 화소 적응 오프셋 처리의 클래스 분류 수법의 인덱스를 나타내는 설명도이다.
도 15는 16×16 화소의 사이즈의 직교 변환에 있어서의 변환 계수의 부호화 순서를 나타내는 설명도이다.
도 16은 16×16 화소의 사이즈의 직교 변환에 있어서의 변환 계수의 분포의 일례를 나타내는 설명도이다.
도 17은 평균치 예측시의 필터 처리에 있어서의 필터의 전환 영역을 나타내는 설명도이다.
도 18은 평균치 예측시의 필터 처리의 참조 화소 배치를 나타내는 설명도이다.
도 19는 필드 부호화시의 인트라 예측 화상에 대한 필터 처리를 나타내는 설명도이다.
도 20은 YUV4:2:0 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.
도 21은 YUV4:2:2 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.
도 22는 YUV4:4:4 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.
도 23은 색차 신호의 인트라 예측 파라미터와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.
도 24는 LM 모드를 이용하지 않는 경우의 색차 신호의 인트라 예측 파라미터와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.
도 25는 YUV4:2:0 포맷의 신호에 있어서 휘도 신호와 색차 신호에서 동일한 방향성 예측을 이용한 경우를 나타내는 설명도이다.
도 26은 YUV4:2:2 포맷의 신호에 있어서 휘도 신호와 색차 신호에서 동일한 방향성 예측을 이용한 경우를 나타내는 설명도이다.
도 27은 YUV4:4:4 포맷과 YUV4:2:2 포맷의 관계를 나타내는 설명도이다.
도 28은 YUV4:4:4 포맷의 신호에 있어서 휘도 신호와 색차 신호에서 동일한 방향성 예측을 이용하는 것과 등가가 되는 YUV4:2:2 포맷에서의 방향성 예측의 예를 나타내는 설명도이다.
도 29는 YUV4:2:2 포맷의 신호에서의 방향성 예측의 예측 방향 벡터를 나타내는 설명도이다.
도 30은 방향성 예측과 각도의 관계를 나타내는 설명도이다.
도 31은 YUV4:2:2 포맷의 신호에 있어서 휘도 신호의 인트라 예측 모드 인덱스와 색차 신호의 인트라 예측 모드 인덱스의 관계를 나타내는 설명도이다.
도 32는 인트라 예측 모드 인덱스와 tanθ의 관계를 나타내는 설명도이다.
도 33은 인터레이스 신호의 필드 페어 부호화에 있어서 쌍방향 예측을 이용한 부호화 구조의 일례를 나타내는 설명도이다.
도 34는 인터레이스 신호의 필드 페어 부호화에 있어서 쌍방향 예측을 이용한 부호화 구조의 일례를 나타내는 설명도이다.
도 35는 인터레이스 신호의 필드 페어 부호화에 있어서 쌍방향 예측을 이용한 부호화 구조의 일례를 나타내는 설명도이다.
도 36은 인터레이스 신호의 필드 페어 부호화에 있어서 쌍방향 예측을 이용한 부호화 구조의 일례를 나타내는 설명도이다.
도 37은 쌍방향 예측을 이용한 부호화 구조의 일례를 나타내는 설명도이다.
도 38은 Recovery Point SEI Message의 신택스를 나타내는 설명도이다.

실시의 형태 1.

도 1은 본 발명의 실시의 형태 1에 의한 화상 부호화 장치를 나타내는 구성도이다.

본 실시의 형태 1의 화상 부호화 장치가 처리 대상으로 하는 영상 신호는, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색공간의 컬러 영상 신호 외에, 모노크롬 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평ㆍ수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호이다.

각 화소의 계조는 8비트이더라도 좋고, 10비트, 12비트 등의 계조이더라도 좋다.

또한, 입력 신호는 영상 신호가 아닌 정지 화상 신호이더라도 좋은 것은, 정지 화상 신호를 1프레임만으로 구성되는 영상 신호라고 해석할 수 있는 것으로부터 당연하다.

이하의 설명에 있어서는, 편의상, 특별히 언급하지 않는 한, 입력되는 영상 신호가, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 종횡 모두 2분의 1로 서브샘플된 YUV4:2:0 포맷, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 횡방향으로 2분의 1로 서브샘플된 YUV4:2:2 포맷, 혹은, 2개의 색차 성분 U, V가 휘도 성분 Y와 동일한 샘플수인 YUV4:4:4 포맷의 신호인 것으로 한다. 또한, 적색(R), 녹색(G), 청색(B)의 삼원색의 신호로 이루어지는 RGB4:4:4 포맷의 신호에 대해서는, 각각의 신호를 YUV4:4:4 포맷의 신호로 간주하여 YUV4:4:4 포맷과 동일한 부호화를 행한다. 단, RGB4:4:4 포맷의 각 신호(RGB)를 YUV4:4:4 포맷의 각 신호(YUV)로 대응시키는 방법에 대해서는 한정하지 않는다(임의로 설정할 수 있다). 또한, YUV4:4:4 포맷 신호나 RGB4:4:4 포맷 신호의 경우, 각 신호를 모노크롬 화상 신호로 간주하여 각각 독립적으로 모노크롬(YUV4:0:0) 부호화하여 비트스트림을 생성하도록 하더라도 좋다. 이와 같이 하는 것에 의해 각 신호를 병렬로 부호화 처리할 수 있다.

또, 영상의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」라고 칭하고, 이 실시의 형태 1에서는, 「픽쳐」는 순차 주사(프로그레시브 스캔)된 영상 프레임의 신호로서 설명을 행한다. 단, 영상 신호가 인터레이스 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이더라도 좋다.

도 1에 있어서, 슬라이스 분할부(14)는 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 슬라이스 분할 정보에 따라서 하나 이상의 "슬라이스"라고 하는 부분 화상으로 분할하는 처리를 실시한다. 슬라이스의 분할 단위는, 후술하는 부호화 블록 단위까지 미세하게 할 수 있다.

블록 분할부(1)는 슬라이스 분할부(14)에 의해 분할된 슬라이스를 입력할 때마다, 그 슬라이스를 부호화 제어부(2)에 의해 결정된 최대 사이즈의 부호화 블록인 최대 부호화 블록으로 분할함과 아울러, 부호화 제어부(2)에 의해 결정된 상한의 계층수에 도달할 때까지, 그 최대 부호화 블록을 계층적으로 각 부호화 블록으로 분할하는 처리를 실시한다.

즉, 블록 분할부(1)는 슬라이스를 부호화 제어부(2)에 의해 결정된 분할에 따라서 각 부호화 블록으로 분할하여, 그 부호화 블록을 출력하는 처리를 실시한다. 또한, 각 부호화 블록은 예측 처리 단위가 되는 1개 내지 복수의 예측 블록으로 분할된다.

부호화 제어부(2)는 부호화 처리가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정하는 것에 의해, 각각의 부호화 블록의 사이즈를 결정하는 처리를 실시한다.

또한, 부호화 제어부(2)는 선택 가능한 하나 이상의 부호화 모드(예측 처리 단위를 나타내는 예측 블록의 사이즈 등이 상이한 하나 이상의 인트라 부호화 모드, 예측 블록의 사이즈 등이 상이한 하나 이상의 인터 부호화 모드) 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 적용하는 부호화 모드를 선택하는 처리를 실시한다. 선택 수법의 예로서는, 선택 가능한 하나 이상의 부호화 모드 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 대한 부호화 효율이 가장 높은 부호화 모드를 선택하는 수법이 있다.

또한, 부호화 제어부(2)는 부호화 효율이 가장 높은 부호화 모드가 인트라 부호화 모드인 경우, 그 인트라 부호화 모드로 부호화 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터를 상기 인트라 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하고, 부호화 효율이 가장 높은 부호화 모드가 인터 부호화 모드인 경우, 그 인터 부호화 모드로 부호화 블록에 대한 인터 예측 처리를 실시할 때에 이용하는 인터 예측 파라미터를 상기 인터 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하는 처리를 실시한다.

또한, 부호화 제어부(2)는 변환ㆍ양자화부(7) 및 역 양자화ㆍ역 변환부(8)에 주는 예측 차분 부호화 파라미터를 결정하는 처리를 실시한다. 예측 차분 부호화 파라미터에는, 부호화 블록에 있어서의 직교 변환 처리 단위가 되는 변환 블록의 분할 정보를 나타내는 변환 블록 분할 정보나, 변환 계수의 양자화를 행할 때의 양자화 스텝사이즈를 규정하는 양자화 파라미터 등이 포함된다.

여기서, 도 20은 YUV4:2:0 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리(변환 처리, 양자화 처리)를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.

변환 블록 사이즈는, 도 20에 나타내는 바와 같이, 부호화 블록을 사지 트리 형상으로 계층 분할하는 것에 의해 결정된다.

예컨대, 변환 블록을 분할하는 경우와 변환 블록을 분할하지 않는 경우의 부호량이나, 부호화 오차를 가미한 평가 척도 등에 근거하여, 평가치가 최소가 되도록 변환 블록을 분할하는지 여부를 결정하는 것에 의해, 부호량과 부호화 오차의 트레이드오프의 관점으로부터 최적의 변환 블록의 분할 형상을 결정할 수 있다.

휘도 신호에 대해서는, 예컨대, 도 20에 나타내는 바와 같이, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.

색차 신호에 대해서는, 도 20에 나타내는 바와 같이, 입력 신호 포맷이 YUV4:2:0 신호인 경우, 휘도 신호와 마찬가지로, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.

이 경우, 색차 신호의 변환 블록 사이즈는, 대응하는 휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈가 된다.

도 21에 나타내는 바와 같이, 입력 신호 포맷이 YUV4:2:2 신호인 경우, 휘도 신호와 동일한 사지 트리 형상의 계층 분할을 행한다. 또한, 분할한 블록의 형상이, 수직 방향의 화소수가 수평 방향의 화소수의 2배가 되는 장방형이 되기 때문에, 분할한 블록을 상하로 이분하는 것에 의해, YUV4:2:0 신호에서의 색차 신호와 동일한 블록 사이즈(휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈)의 변환 블록 2개로 구성하도록 한다.

또한, 도 22에 나타내는 바와 같이, 입력 신호 포맷이 YUV4:4:4 신호인 경우, 색차 신호의 변환 블록은, 항상 휘도 신호의 변환 블록과 동일한 분할을 행하고, 동일한 사이즈의 변환 블록이 되도록 구성한다.

휘도 신호의 변환 블록의 분할 정보는, 예컨대, 계층마다 분할하는지 여부를 나타내는 변환 블록 분할 플래그로서 가변 길이 부호화부(13)에 출력한다.

전환 스위치(3)는 부호화 제어부(2)에 의해 결정된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(2)에 의해 결정된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.

인트라 예측부(4)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인트라 부호화 모드가 선택된 경우, 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다. 또, 인트라 예측부(4)는 인트라 예측 수단을 구성하고 있다.

즉, 인트라 예측부(4)는, 휘도 신호에 대해서는, 휘도 신호의 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여, 휘도 신호의 예측 화상을 생성한다.

한편, 색차 신호에 대해서는, 색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 왼쪽에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.

또, 입력 신호 포맷이 YUV4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 구성하더라도 좋다.

YUV4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.

또한, 입력 신호 포맷이 YUV4:2:2 신호인 경우, 도 27에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소수가 1/2가 되는 장방형의 블록이 된다. 따라서, 도 28에 나타내는 바와 같이, YUV4:4:4 신호를 YUV4:2:2 신호로 변환했을 때에, 휘도 신호와 색차 신호에서 동일 방향의 예측이 되도록 하기 위해서는, YUV4:2:2 신호상에서는, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.

구체적으로는, 도 29에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 v_L=(dx_L, dy_L)로 한 경우, 색차 신호의 예측 방향 벡터는, v_C=(dx_L/2, dy_L)이 된다. 즉, 도 30에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θ_L, 색차 신호의 예측 방향의 각도를 θ_C로 하여, tanθ_C=2tanθ_L의 관계가 되는 예측 방향에서 예측할 필요가 있다.

따라서, 휘도 신호와 색차 신호에서 동일 방향의 예측을 행하는 상기 DM 모드를 올바르게 실시할 수 있도록 하기 위해, 입력 신호 포맷이 YUV4:2:2 신호인 경우, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다. 구체적으로는, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조하는 것에 의해, 인덱스를 변환하도록 구성하더라도 좋고, 미리 변환식을 준비하여, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.

이와 같이 구성하는 것에 의해, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로, YUV4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.

움직임 보상 예측부(5)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인터 부호화 모드가 선택된 경우, 부호화 블록과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 1프레임 이상의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 참조하는 프레임 번호 등의 인터 예측 파라미터를 이용하여, 그 부호화 블록에 대한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.

감산부(6)는 블록 분할부(1)에서 출력된 부호화 블록으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 감산하여, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호를 변환ㆍ양자화부(7)에 출력하는 처리를 실시한다.

변환ㆍ양자화부(7)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 변환 블록 분할 정보를 참조하여, 감산부(6)로부터 출력된 예측 차분 신호에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 변환 블록 단위로 실시하여 변환 계수를 산출함과 아울러, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력하는 처리를 실시한다.

변환ㆍ양자화부(7)는 변환 계수를 양자화할 때, 상기 양자화 파라미터로부터 산출되는 양자화 스텝사이즈를 변환 계수마다 스케일링하는 양자화 매트릭스를 이용하여, 변환 계수의 양자화 처리를 실시하도록 하더라도 좋다.

여기서, 도 10은 4×4 DCT의 양자화 매트릭스의 일례를 나타내는 설명도이다.

도면 중의 숫자는, 각 변환 계수의 양자화 스텝사이즈의 스케일링 값을 나타내고 있다.

예컨대, 부호화 비트 레이트를 억제하기 위해, 도 10에 나타내는 바와 같이, 고역의 변환 계수일수록, 양자화 스텝사이즈를 큰 값으로 스케일링하는 것에 의해, 복잡한 화상 영역 등에서 발생하는 고역의 변환 계수를 억제하여 부호량을 억제하면서, 주관 품질에 크게 영향을 주는 저역의 계수의 정보를 줄이지 않고 부호화할 수 있다.

이와 같이, 변환 계수마다의 양자화 스텝사이즈를 제어하고 싶은 경우에는 양자화 매트릭스를 이용하면 된다.

또한, 양자화 매트릭스는, 각 직교 변환 사이즈에서 색신호나 부호화 모드(인트라 부호화 또는 인터 부호화)마다 독립한 매트릭스를 사용할 수 있고, 초기치로서 미리 화상 부호화 장치 및 화상 복호 장치에서 미리 공통으로 준비되어 있는 양자화 매트릭스나 이미 부호화된 양자화 매트릭스 중에서 선택하는지, 새로운 양자화 매트릭스를 이용하는지를 각각 선택할 수 있다.

따라서, 변환ㆍ양자화부(7)는, 각 직교 변환 사이즈에 대하여 색신호나 부호화 모드마다, 새로운 양자화 매트릭스를 이용하는지 여부를 나타내는 플래그 정보를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.

또한, 새로운 양자화 매트릭스를 이용하는 경우에는, 도 10에 나타내는 양자화 매트릭스의 각 스케일링 값을 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.

한편, 새로운 양자화 매트릭스를 이용하지 않는 경우에는, 초기치로서, 화상 부호화 장치 및 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 부호화된 양자화 매트릭스 중에서, 사용하는 매트릭스를 특정하는 인덱스를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다. 단, 참조 가능한 이미 부호화된 양자화 매트릭스가 존재하지 않는 경우, 화상 부호화 장치 및 화상 복호 장치에서 미리 공통으로 준비되어 있는 양자화 매트릭스만 선택 가능하게 된다.

역 양자화ㆍ역 변환부(8)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 변환 블록 단위로 변환ㆍ양자화부(7)로부터 출력된 압축 데이터를 역 양자화함과 아울러, 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호에 상당하는 국소 복호 예측 차분 신호를 산출하는 처리를 실시한다. 또, 변환ㆍ양자화부(7)가 양자화 매트릭스를 이용하여, 양자화 처리를 실시하고 있는 경우에는, 역 양자화 처리시에 있어서도, 그 양자화 매트릭스를 참조하여, 대응하는 역 양자화 처리를 실시한다.

가산부(9)는 역 양자화ㆍ역 변환부(8)에 의해 산출된 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 가산하여, 블록 분할부(1)로부터 출력된 부호화 블록에 상당하는 국소 복호 화상을 산출하는 처리를 실시한다.

인트라 예측용 메모리(10)는 가산부(9)에 의해 산출된 국소 복호 화상을 저장하는 기록 매체이다.

루프 필터부(11)는 가산부(9)에 의해 산출된 국소 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 국소 복호 화상을 출력하는 처리를 실시한다.

구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감 하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.

단, 루프 필터부(11)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리 및 적응 필터 처리의 각각에 대하여, 처리를 행하는지 여부를 결정하고, 각 처리의 유효 플래그를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다. 또, 상기의 필터 처리를 복수 사용할 때는, 각 필터 처리를 차례로 실시한다. 도 11은 복수의 필터 처리를 이용하는 경우의 루프 필터부(11)의 구성예를 나타내고 있다.

일반적으로 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상되지만, 한편 처리 부하는 높아진다. 즉, 화상 품질과 처리 부하는 트레이드오프의 관계에 있다. 또한, 각 필터 처리의 화상 품질 개선 효과는 필터 처리 대상 화상의 특성에 따라서 상이하다. 따라서, 화상 부호화 장치가 허용하는 처리 부하나 부호화 처리 대상 화상의 특성에 따라서 사용하는 필터 처리를 결정하면 된다. 예컨대, 도 11의 구성보다 처리 불가를 삭감하고 싶은 경우, 디블로킹 필터 처리와 화소 적응 오프셋 처리만으로 구성한다고 하는 것을 생각할 수 있다.

여기서, 디블로킹 필터 처리에서는, 블록 경계에 적용되는 필터 강도의 선택에 이용하는 각종 파라미터를 초기치로부터 변경할 수 있다. 변경하는 경우에는, 그 파라미터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

화소 적응 오프셋 처리에서는, 최초로, 화상을 복수의 블록으로 분할하고, 그 블록 단위로, 오프셋 처리를 행하지 않는 경우도 클래스 분류 방법의 하나로서 정의하여, 미리 준비되어 있는 복수의 클래스 분류 수법 중에서, 1개의 클래스 분류 수법을 선택한다.

다음으로, 선택한 클래스 분류 수법에 의해, 블록 내의 각 화소를 클래스 분류하고, 클래스마다 부호화 왜곡을 보상하는 오프셋 값을 산출한다.

마지막으로, 국소 복호 화상의 휘도치에 대하여, 그 오프셋 값을 가산하는 처리를 행하는 것에 의해 국소 복호 화상의 화상 품질을 개선한다.

따라서, 화소 적응 오프셋 처리에서는, 블록 분할 정보, 각 블록의 클래스 분류 수법을 나타내는 인덱스, 블록 단위의 각 클래스의 오프셋 값을 특정하는 오프셋 정보를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

또, 화소 적응 오프셋 처리에 있어서, 예컨대, 최대 부호화 블록이라고 하는 고정 사이즈의 블록 단위로 항상 분할하고, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행하더라도 좋다. 이 경우, 상기 블록 분할 정보가 불필요하게 되고, 블록 분할 정보에 필요로 하는 부호량만큼 부호량이 삭감되어, 부호화 효율을 높일 수 있다.

적응 필터 처리에서는, 국소 복호 화상을 소정의 수법으로 클래스 분류하고, 각 클래스에 속하는 영역(국소 복호 화상)마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 해당 국소 복호 화상의 필터 처리를 실시한다.

그리고, 클래스마다 설계한 필터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

클래스 분류 수법으로서는, 화상을 공간적으로 동일한 간격으로 분리하는 간이한 수법이나, 블록 단위로 화상의 국소적인 특성(분산 등)에 따라 분류하는 수법이 있다.

또한, 적응 필터 처리에서 사용하는 클래스의 수는, 미리 화상 부호화 장치 및 화상 복호 장치에 공통의 값으로서 설정하더라도 좋고, 부호화해야 할 파라미터로 하더라도 좋다.

전자와 비교하여 후자가, 사용하는 클래스의 수를 자유롭게 설정할 수 있기 때문에, 화상 품질 개선 효과가 올라가지만, 한편으로 클래스의 수를 부호화하기 때문에, 그만큼의 부호량이 증가한다.

또, 화소 적응 오프셋 처리 및 적응 필터 처리를 행하는 경우에는, 도 11에 나타내는 바와 같이, 영상 신호를 루프 필터부(11)에서 참조할 필요가 있기 때문에, 영상 신호가 루프 필터부(11)에 입력되도록, 도 1의 화상 부호화 장치를 변경할 필요가 있다.

움직임 보상 예측 프레임 메모리(12)는 루프 필터부(11)의 필터 처리 후의 국소 복호 화상을 저장하는 기록 매체이다.

가변 길이 부호화부(13)는 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)의 출력 신호(최대 부호화 블록 내의 블록 분할 정보, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터 또는 인터 예측 파라미터)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하여 부호화 데이터를 생성한다.

또한, 가변 길이 부호화부(13)는, 도 13에 예시하는 바와 같이, 부호화 비트스트림의 헤더 정보로서, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더를 부호화하고, 픽쳐 데이터와 함께 부호화 비트스트림을 생성한다.

단, 픽쳐 데이터는 하나 이상의 슬라이스 데이터로 구성되고, 각 슬라이스 데이터는 슬라이스 레벨 헤더와 해당 슬라이스 내에 있는 상기 부호화 데이터를 종합한 것이다.

시퀀스 레벨 헤더는, 화상 사이즈, 색신호 포맷, 휘도 신호나 색차 신호의 신호치의 비트 심도, 시퀀스 단위로의 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)의 유효 플래그 정보, 양자화 매트릭스의 유효 플래그 정보 등, 일반적으로 시퀀스 단위로 공통이 되는 헤더 정보를 종합한 것이다.

픽쳐 레벨 헤더는, 참조하는 시퀀스 레벨 헤더의 인덱스나 움직임 보상시의 참조 픽쳐수, 엔트로피 부호화의 확률 테이블 초기화 플래그, 양자화 매트릭스 파라미터 등, 픽쳐 단위로 설정하는 헤더 정보를 종합한 것이다.

슬라이스 레벨 헤더는, 해당 슬라이스가 픽쳐의 어느 위치에 있는지를 나타내는 위치 정보, 어느 픽쳐 레벨 헤더를 참조하는지를 나타내는 인덱스, 슬라이스의 부호화 타입(올 인트라 부호화, 인터 부호화 등), 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)를 행하는지 여부를 나타내는 플래그 정보 등의 슬라이스 단위의 파라미터를 종합한 것이다.

여기서, 입력 신호가 인터레이스 영상 신호이고, 도 33의 부호화 구조를 취하는 경우, 도 33의 표시 순서로 번호 32(복호(부호화) 순서로 번호 18)의 회색으로 나타나는 탑 필드를 랜덤 액세스 가능한 픽쳐로 설정하는 것에 의해, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 탑 필드로부터 올바르게 재생할 수 있는 부호화 비트스트림을 생성할 수 있다.

그러나, 비 특허 문헌 1에서는 리딩 픽쳐는 반드시 트레일링 픽쳐보다 먼저 복호(부호화)되지 않으면 안 된다고 정의되어 있어, 도 33의 표시 순서로 번호 32의 회색으로 나타나는 탑 필드는 CRA 픽쳐 등의 비 특허 문헌 1에서 정의되는 랜덤 액세스를 가능하게 하는 픽쳐(비 특허 문헌 1에 기재된 Intra Random Access Point(IRAP) 픽쳐)로서 부호화 할 수는 없다. 여기서, 비 특허 문헌 1의 사양에 준거한 채로, 도 33의 표시 순서로 번호 32의 회색으로 나타나는 탑 필드를 랜덤 액세스 가능한 픽쳐로 설정하는 수법에 대하여 하기에 설명한다.

구체적으로는, 표시 순서로 번호 32의 회색으로 나타나는 탑 필드를 non-IRAP 픽쳐(비 IRAP 픽쳐)로 하고, 인트라 예측만을 이용하여 부호화한다. 그리고, 예컨대 비 특허 문헌 1에 기재된 Supplemental Enhancement Information(SEI) 등의 부호화 비트스트림의 보충 정보로서, 도 33의 표시 순서로 번호 32의 회색으로 나타나는 탑 필드가 랜덤 액세스 포인트라고 하는 정보를 부호화한다. 예컨대, 비 특허 문헌 1에 기재된 SEI의 일종인 도 38에 나타내는 신택스를 갖는 Recovery Point SEI Message에 의해, 도 33의 표시 순서로 번호 32의 회색으로 나타나는 탑 필드를 리커버리 포인트(recovery_poc_cnt)의 픽쳐로 설정한다. 또한, 이때, 트레일링 픽쳐에 대한 제한과 마찬가지로, 해당 리커버리 포인트 픽쳐(표시 순서로 번호 32의 회색으로 나타나는 탑 필드)보다 부호화(복호) 순서도 표시 순서도 뒤가 되는 픽쳐는, 해당 리커버리 포인트 픽쳐보다 표시 순서로 앞의 픽쳐를 예측 참조하는 것을 금지하기로 한다. 그러나, 해당 리커버리 포인트 픽쳐는, non-IRAP 픽쳐이기 때문에, 비 특허 문헌 1의 사양 준거의 아래에서도, 리딩 픽쳐와 트레일링 픽쳐의 관계로서, 리딩 픽쳐는 반드시 트레일링 픽쳐보다 먼저 복호(부호화)되지 않으면 안 된다고 하는 제약은 없다. 따라서, 표시 순서로 번호 32의 탑 필드를 부호화한 직후에 트레일링 픽쳐에 상당하는 표시 순서로 번호 33의 바텀 필드를 부호화하고 나서, 리딩 픽쳐에 상당하는 해당 리커버리 포인트 픽쳐보다 부호화(복호) 순서는 뒤이고 표시 순서는 앞인 픽쳐를 부호화하는 것이 가능하게 된다. 즉, 도 33에서 나타나는 부호화(복호) 순서로 부호화할 수 있다. 이와 같이 하는 것에 의해, CRA 픽쳐, 리딩 픽쳐, 트레일링 픽쳐를 이용하는 일 없이, 도 33과 같은 쌍방향 예측을 이용한 필드 페어 구조에 있어서, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 탑 필드로부터 올바르게 재생할 수 있는 부호화 비트스트림을 생성할 수 있다.

여기서, Recovery Point SEI Message의 구체적인 사용 방법의 일례에 대하여 말한다. 우선, Recovery Point SEI Message를 랜덤 액세스 가능하게 하고 싶은 픽쳐(도 33의 표시 순서로 번호 32의 회색으로 나타나는 탑 필드)의 상위 헤더로서 부여한다. 즉, 상기 랜덤 액세스 가능하게 하고 싶은 픽쳐의 액세스 유닛 내에 상기 SEI를 부여한다. 여기서, 액세스 유닛이란, 비 특허 문헌 1에 정의되어 있는, 하나의 픽쳐의 부호화 데이터를 포함하는 데이터 액세스의 단위이다. 또한, 부여한 Recovery Point SEI Message에 대하여, 도 38에 나타내는 각 신택스의 값을 하기와 같이 한다.

ㆍrecovery_poc_cnt = 0

ㆍexact_match_flag = 1

ㆍbroken_link_flag = 0

여기서, recovery_poc_cnt가 0인 것은, 본 SEI를 부여한 액세스 유닛의 픽쳐가 리커버리 포인트 픽쳐인 것을 나타내고 있고, exact_match_flag가 1인 것은, 리커버리 포인트로부터 복호한 경우에 표시 순서가 리커버리 포인트 픽쳐보다 뒤인 픽쳐를 올바르게 복호할 수 있는 것을 나타내고 있다. 이로부터, 본 SEI가 부여된 액세스 유닛의 픽쳐가 랜덤 액세스 가능한 리커버리 포인트 픽쳐인 것을 나타낸다. 또한, 리커버리 포인트의 앞에 있는 IRAP 픽쳐로부터 복호를 개시한 경우에, 리커버리 포인트 픽쳐보다 부호화(복호) 순서가 뒤인 픽쳐를 올바르게 복호할 수 있기 때문에, broken_link_flag를 0으로 하고 있다(본 플래그가 1인 경우는 올바르게 복호할 수 없는 것을 나타내고, 본 플래그가 0인 경우는, 어떻게 될지 아무것도 나타내고 있지 않은 것을 나타낸다).

또한, 버퍼 관리 정보로서 각 IRAP 픽쳐의 액세스 유닛 내에 SEI로서 Buffering period SEI message를 부여하는 경우, IRAP 픽쳐의 액세스 유닛과 마찬가지로 리커버리 포인트 픽쳐의 액세스 유닛 내에도 Buffering period SEI message를 부여한다. 이와 같이 하는 것에 의해, IRAP 픽쳐의 경우와 동일한 버퍼 관리를 할 수 있다.

또, 도 38의 설명에서는, 랜덤 액세스 포인트라고 하는 정보를 SEI에 설정하는 경우에 대하여 설명했지만, 상위 헤더로 설정할 수 있으면, 이것으로 한정되지 않는다. 구체적으로는, IRAP 픽쳐에 속하는 새로운 픽쳐 타입으로서, 연속하는 1개의 트레일링 픽쳐만 리딩 픽쳐보다 먼저 부호화 가능하게 하는 특별한 IRAP 픽쳐를 정의하여, 표시 순서로 번호 32의 탑 필드를 그 새로운 IRAP 픽쳐로 부호화하는 수법이나, 리딩 픽쳐보다 먼저 부호화할 수 있는 특별한 트레일링 픽쳐를 새롭게 정의하여, 표시 순서로 번호 32의 탑 필드를 CRA 픽쳐 등의 IRAP 픽쳐로서 부호화함과 아울러 표시 순서로 번호 33의 바텀 필드를 상기에서 정의한 특별한 트레일링 픽쳐로서 부호화하는 수법이 있다. 또한, 상기 부호화 처리, 상기 다중화 처리를 행하는 것은, 도 1에 있어서의 가변 길이 부호화부(13)가 구비하는 부호화 수단 및 다중화 수단이다.

특별한 IRAP 픽쳐나 특별한 트레일링 픽쳐를 정의하는 구체예의 하나로서는, 비 특허 문헌 1에 있어서 각 픽쳐의 정의를 나타내고 있는 NAL 유닛에 대하여, 상기 특별한 픽쳐인 것을 나타내는 새로운 NAL 유닛을 각각 정의하는 방법이 있다.

또, 도 33의 예에서는, 탑 필드로부터 복호하는 구성으로 되어 있지만, 항상 바텀 필드로부터 먼저 부호화하도록 구성한 경우에 있어서도, 상기와 같이 부호화 비트스트림을 구성하는 것에 의해, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 바텀 필드로부터 올바르게 재생할 수 있는 부호화 비트스트림을 생성할 수 있다.

또한, 쌍방향 예측을 이용한 필드 페어 구조에 대하여, 도 33은 일례에 지나지 않고, 여러 가지의 참조 구조를 구성할 수 있고, 그 구성에 관계없이 상기와 같이, 랜덤 액세스 가능한 픽쳐를 비 IRAP 픽쳐로서 부호화하고, 어느 픽쳐가 랜덤 액세스 가능한 픽쳐인지의 정보를 SEI 등의 보충 정보를 이용하여 부호화 비트스트림 생성을 행하는 것에 의해, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 탑 필드로부터 올바르게 재생할 수 있는 부호화 비트스트림을 생성할 수 있다. 예컨대, 도 34의 표시 순서로 번호 32의 회색으로 나타나는 탑 필드에 대해서도 마찬가지로 랜덤 액세스 포인트로 설정할 수 있다. 또한, 도 35, 도 36에 나타내는, 비 특허 문헌 1에 기재된 temporal ID에 의해 표시 시간 방향으로 스케일러블 특성을 갖는 참조 구조를 구성하는 경우에 있어서도, 상기와 마찬가지로 부호화 비트스트림을 구성하는 것에 의해, temporal ID=0의 레이어에 있어서, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 바텀 필드로부터 올바르게 재생할 수 있는 부호화 비트스트림을 생성할 수 있다.

또한, 상기에서는 랜덤 액세스 가능한 것을 나타내는 정보를 부호화하는 예에 대하여 설명했지만, 이와 같은 정보를 부호화하는 대신에, 필드 페어 구조에 있어서 탑 필드가 IRAP 픽쳐인 경우, 탑 필드와 페어가 되는 바텀 필드만 리딩 픽쳐보다 먼저 부호화(복호)할 수 있는 방법으로 리딩 픽쳐와 트레일링 픽쳐의 제약을 변경하고, 랜덤 액세스 가능한 픽쳐를 항상 IRAP 픽쳐로서 부호화하는 것에 의해 랜덤 액세스를 실현하더라도 좋다.

도 1의 예에서는, 화상 부호화 장치의 구성 요소인 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8), 가산부(9), 인트라 예측용 메모리(10), 루프 필터부(11), 움직임 보상 예측 프레임 메모리(12), 가변 길이 부호화부(13) 및 슬라이스 분할부(14)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 화상 부호화 장치가 컴퓨터로 구성되는 경우, 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8), 가산부(9), 루프 필터부(11), 가변 길이 부호화부(13) 및 슬라이스 분할부(14)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.

도 2는 본 발명의 실시의 형태 1에 의한 화상 부호화 장치의 처리 내용(화상 부호화 방법)을 나타내는 플로차트이다.

도 3은 본 발명의 실시의 형태 1에 의한 화상 복호 장치를 나타내는 구성도이다.

도 3에 있어서, 가변 길이 복호부(31)는 도 1의 화상 부호화 장치에 의해 생성된 부호화 비트스트림을 입력하면, 그 비트스트림으로부터 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 슬라이스 레벨 헤더 등의 각 헤더 정보를 복호함과 아울러, 그 부호화 비트스트림으로부터, 계층적으로 분할되어 있는 각각의 부호화 블록의 분할 상황을 나타내는 블록 분할 정보를 가변 길이 복호한다. 이때, YUV4:4:4 포맷 신호나 RGB4:4:4 포맷 신호의 각 신호를 모노크롬 화상 신호로 간주하여 각각 독립적으로 모노크롬(YUV4:0:0) 부호화하고 있는 것을 나타내는 정보가 헤더 정보에 포함되는 경우, 각 색신호의 부호화 비트스트림에 대하여 각각 독립적으로 복호 처리할 수 있다.

이때, 비 특허 문헌 1에 기재된 Supplemental Enhancement Information(SEI) 등의 보충 정보가 포함되는 경우에 있어서, 그 보충 정보가, 특정한 픽쳐가 랜덤 액세스 포인트라고 하는 정보를 포함하는 경우, 해당 픽쳐로부터 복호하는 것에 의해 랜덤 액세스가 가능하게 된다. 예컨대, 도 33의 부호화 구조에 있어서, 비 특허 문헌 1의 사양 준거의 아래에서는, 표시 순서로 번호 32의 회색으로 나타나는 탑 필드가 비 IRAP 픽쳐로서 복호된 경우, 이 표시 순서로 번호 32의 회색으로 나타나는 탑 필드는 랜덤 액세스 가능한 픽쳐로서 인식되지 않지만, 비 특허 문헌 1에 기재된 SEI의 일종인 도 38에 나타내는 신택스를 갖는 Recovery Point SEI Message에 의해, 표시 순서로 번호 32의 회색으로 나타나는 탑 필드가 리커버리 포인트(recovery_poc_cnt)로 설정되어 있는 것을 나타내고 있는 경우, 이 표시 순서로 번호 32의 회색으로 나타나는 탑 필드는 랜덤 액세스 가능한 픽쳐로서 인식할 수 있다. 또한, 이 표시 순서로 번호 32의 회색으로 나타나는 탑 필드는, 비 IRAP 픽쳐이기 때문에, 비 특허 문헌 1의 사양 준거의 아래에서도, 리딩 픽쳐 및 트레일링 픽쳐의 제약인 리딩 픽쳐는 반드시 트레일링 픽쳐보다 먼저 복호(부호화)되지 않으면 안 된다고 하는 처리는 필수가 아니고, 표시 순서로 번호 32의 탑 필드를 복호한 직후에 트레일링 픽쳐인 표시 순서로 번호 33의 바텀 필드를 복호하고 나서 리딩 픽쳐를 복호하도록 생성한 부호화 비트스트림을 올바르게 복호할 수 있고, 상기 탑 필드로부터 복호를 개시하더라도 표시 순서로 그 이후의 필드를 올바르게 복호하여 재생할 수 있다.

Recovery Point SEI Message의 구체적인 일례로서는, 랜덤 액세스 가능하게 하고 싶은 픽쳐(표시 순서로 번호 32의 회색으로 나타나는 탑 필드)의 액세스 유닛 내에서 상기 SEI가 복호되고, 도 38에 나타내는 각 신택스의 값이 하기와 같이 복호되는 경우를 들 수 있다.

ㆍrecovery_poc_cnt = 0

ㆍexact_match_flag = 1

ㆍbroken_link_flag = 0

상기 신택스가 나타내는 의미는 화상 부호화 장치의 설명에서 말한 바와 같고, 이 SEI를 보충 정보로서 복호하는 것에 의해 대상 픽쳐가 랜덤 액세스 가능하한 것이 판명된다.

또한, SEI 등의 보충 정보로서가 아닌, 이와 같은 부호화 구조를 허용하는 특별한 픽쳐를 새로운 NAL 유닛의 타입 등으로서 정의하여 부호화하는 화상 부호화 장치의 경우에 있어서는, 대응하는 화상 복호 장치도 마찬가지로 특별한 픽쳐를 새로운 NAL 유닛의 타입 등으로서 정의하도록 구성하고, 상기 정보를 복호하는 것에 의해 번호 32의 탑 필드가 랜덤 액세스 가능한 것을 인식할 수 있다.

또, 도 33의 예에서는, 탑 필드로부터 복호하는 구성으로 되어 있지만, 항상 바텀 필드로부터 먼저 부호화하도록 구성한 부호화 비트스트림에 있어서도, 비 IRAP 픽쳐와 SEI 등의 보충 정보에 의해, 보충 정보에 의해 나타나는 특정한 바텀 필드로부터 복호했을 때에, 표시 순서로 본 특정한 바텀 필드 이후의 필드를 올바르게 복호할 수 있다.

또한, 도 35, 도 36에 나타내는, 비 특허 문헌 1에 기재된 temporal ID에 의해 표시 시간 방향으로 스케일러블 특성을 갖는 참조 구조를 구성하는 경우에 있어서도, 상기와 마찬가지로 번호 32의 회색으로 나타나는 탑 필드가 비 IRAP 픽쳐이고, SEI 등의 보충 정보에 의해 번호 32의 회색으로 나타나는 탑 필드가 랜덤 액세스 포인트라고 하는 정보가 복호되는 경우, temporal ID=0의 레이어에 있어서, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 바텀 필드로부터 올바르게 복호할 수 있다.

또한, 상기에서는 랜덤 액세스 가능한 것을 나타내는 정보가 부호화된 예에 대하여 설명했지만, 이와 같은 정보를 부호화하는 대신에, 필드 페어 구조에 있어서 탑 필드가 IRAP 픽쳐인 경우, 탑 필드와 페어가 되는 바텀 필드만 리딩 픽쳐보다 먼저 복호할 수 있는 방법으로 리딩 픽쳐와 트레일링 픽쳐의 제약을 변경한 화상 부호화 장치의 경우, 대응하는 화상 복호 장치는 동일한 제약을 정하는 것으로 하고, 이것에 의해 항상 IRAP 픽쳐를 이용한 랜덤 액세스를 실현한다.

상기 헤더 정보에 포함되는 양자화 매트릭스의 유효 플래그 정보가 "유효"를 나타내는 경우, 가변 길이 복호부(31)는 양자화 매트릭스 파라미터를 가변 길이 복호하고, 양자화 매트릭스를 특정한다. 구체적으로는, 각 직교 변환 사이즈의 색신호나 부호화 모드마다, 양자화 매트릭스 파라미터가 초기치로서, 화상 부호화 장치 및 화상 복호 장치에서 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 복호된 양자화 매트릭스인(새로운 양자화 매트릭스가 아닌) 것을 나타내는 경우는, 상기 매트릭스 중 어느 양자화 매트릭스인지를 특정하는 인덱스 정보를 참조하여 양자화 매트릭스를 특정하고, 양자화 매트릭스 파라미터가 새로운 양자화 매트릭스를 이용하는 것을 나타내는 경우는, 양자화 매트릭스 파라미터에 포함되는 양자화 매트릭스를 사용하는 양자화 매트릭스로서 특정한다.

또한, 가변 길이 복호부(31)는, 각 헤더 정보를 참조하여, 슬라이스 분할 상태를 특정함과 아울러, 각 슬라이스의 슬라이스 데이터에 포함되는 최대 부호화 블록을 특정하고, 블록 분할 정보를 참조하여, 최대 부호화 블록을 계층적으로 분할하여 복호 처리를 행하는 단위인 부호화 블록을 특정하고, 각각의 부호화 블록과 관련되는 압축 데이터, 부호화 모드, 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우), 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우), 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우) 및 예측 차분 부호화 파라미터를 가변 길이 복호하는 처리를 실시한다.

역 양자화ㆍ역 변환부(32)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 압축 데이터를 변환 블록 단위로 역 양자화함과 아울러, 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 도 1의 역 양자화ㆍ역 변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출하는 처리를 실시한다.

여기서, 상기 변환 블록 분할 정보로부터, 부호화 블록에 있어서의 변환 블록의 분할 상태를 특정한다. 예컨대, YUV4:2:0 포맷의 신호의 경우, 변환 블록 사이즈는, 도 20에 나타내는 바와 같이, 부호화 블록을 사지 트리 형상으로 계층 분할하는 것에 의해 결정된다.

휘도 신호에 대해서는, 예컨대, 도 20에 나타내는 바와 같이, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.

색차 신호에 대해서는, 도 20에 나타내는 바와 같이, 입력 신호 포맷이 YUV4:2:0 신호인 경우, 휘도 신호와 마찬가지로, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다. 이 경우, 색차 신호의 변환 블록 사이즈는, 대응하는 휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈가 된다.

도 21에 나타내는 바와 같이, 입력 신호 포맷이 YUV4:2:2 신호인 경우, 휘도 신호와 동일한 사지 트리 형상의 계층 분할을 행한다. 또한, 분할한 블록의 형상이, 수직 방향의 화소수가 수평 방향의 화소수의 2배가 되는 장방형이 되기 때문에, 분할한 블록을 상하로 더 이분하는 것에 의해, YUV4:2:0 신호에서의 색차 신호와 동일한 블록 사이즈(휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈)의 변환 블록 2개로 구성하도록 한다.

도 22에 나타내는 바와 같이, 입력 신호 포맷이 YUV4:4:4 신호인 경우, 색차 신호의 변환 블록은, 항상 휘도 신호의 변환 블록과 동일한 분할을 행하고, 동일한 사이즈의 변환 블록이 되도록 구성한다.

또한, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보가, 해당 슬라이스에서 양자화 매트릭스를 이용하여, 역 양자화 처리를 실시하는 것을 나타내고 있는 경우, 양자화 매트릭스를 이용하여 역 양자화 처리를 행한다.

구체적으로는, 각 헤더 정보로부터 특정되는 양자화 매트릭스를 이용하여 역 양자화 처리를 행한다.

전환 스위치(33)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인트라 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(34)에 출력하고, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인터 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력하는 처리를 실시한다.

인트라 예측부(34)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 부호화 블록과 관련되는 부호화 모드가 인트라 부호화 모드인 경우, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다. 또, 인트라 예측부(34)는 인트라 예측 수단을 구성하고 있다.

즉, 인트라 예측부(34)는, 휘도 신호에 대해서는, 휘도 신호에 대한 상기 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여, 휘도 신호의 예측 화상을 생성한다.

한편, 색차 신호에 대해서는, 색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 왼쪽에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.

또, 입력 신호 포맷이 YUV4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 화상 부호화 장치가 구성되어 있는 경우, 그 화상 부호화 장치로부터 생성되는 부호화 비트스트림을 복호할 수 있도록 화상 복호 장치도 동일한 구성으로 한다.

YUV4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.

또한, 입력 신호 포맷이 YUV4:2:2 신호인 경우, 도 27에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소수가 1/2가 되는 장방형의 블록이 된다. 따라서, 도 28에 나타내는 바와 같이, YUV4:4:4 신호를 YUV4:2:2 신호로 변환했을 때에, 휘도 신호와 색차 신호에서 동일 방향의 예측이 되도록 하기 위해서는, YUV4:2:2 신호상에서는, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.

구체적으로는, 도 29에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 v_L=(dx_L, dy_L)로 한 경우, 색차 신호의 예측 방향 벡터는, v_C=(dx_L/2, dy_L)이 된다. 즉, 도 30에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θ_L, 색차 신호의 예측 방향의 각도를 θ_C로 하여, tanθ_C=2tanθ_L의 관계가 되는 예측 방향에서 예측할 필요가 있다.

따라서, 휘도 신호와 색차 신호에서 동일 방향의 예측을 행하는 상기 DM 모드를 올바르게 실시할 수 있도록 하기 위해, 입력 신호 포맷이 YUV4:2:2 신호인 경우, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다. 구체적으로는, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조하는 것에 의해, 인덱스를 변환하도록 구성하더라도 좋고, 미리 변환식을 준비하여, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.

이와 같이 구성하는 것에 의해, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로, YUV4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.

움직임 보상부(35)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 부호화 블록과 관련되는 부호화 모드가 인터 부호화 모드인 경우, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.

가산부(36)는 역 양자화ㆍ역 변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상을 가산하여, 도 1의 가산부(9)로부터 출력된 국소 복호 화상과 동일한 복호 화상을 산출하는 처리를 실시한다.

인트라 예측용 메모리(37)는 가산부(36)에 의해 산출된 복호 화상을 인트라 예측 처리에서 이용하는 참조 화상으로서 저장하는 기록 매체이다.

루프 필터부(38)는 가산부(36)에 의해 산출된 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 복호 화상을 출력하는 처리를 실시한다.

구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감 하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.

단, 루프 필터부(38)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 해당 슬라이스에서 행하는지 여부를 특정한다.

이때, 2개 이상의 필터 처리를 행하는 경우에 있어서, 예컨대, 화상 부호화 장치의 루프 필터부(11)가 도 11과 같이 구성되어 있으면, 도 12에 나타내는 바와 같이 루프 필터부(38)가 구성된다. 당연히, 화상 부호화 장치의 루프 필터부(11)가 디블로킹 필터 처리와 화소 적응 오프셋 처리로 구성되어 있으면, 루프 필터부(38)도 디블로킹 필터 처리와 화소 적응 오프셋 처리로 구성된다.

여기서, 디블로킹 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 헤더 정보를 참조하여, 블록 경계에 적용되는 필터 강도의 선택에 이용하는 각종 파라미터를 초기치로부터 변경하는 정보가 존재하는 경우, 그 변경 정보에 근거하여, 디블로킹 필터 처리를 실시한다. 변경 정보가 없는 경우는, 미리 정해진 수법에 따라서 행한다.

화소 적응 오프셋 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 화소 적응 오프셋 처리의 블록 분할 정보에 근거하여 복호 화상을 분할하고, 그 블록 단위로, 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하여, 그 인덱스가 "오프셋 처리를 행하지 않는다"는 것을 나타내는 인덱스가 아닌 경우, 블록 단위로 블록 내의 각 화소를 상기 인덱스가 나타내는 클래스 분류 수법에 따라서 클래스 분류한다.

또, 클래스 분류 수법의 후보로서, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스 분류 수법의 후보와 동일한 것이 미리 준비되어 있다.

그리고, 블록 단위의 각 클래스의 오프셋 값을 특정하는 오프셋 정보를 참조하여, 복호 화상의 휘도치에 오프셋을 가산하는 처리를 행한다.

단, 화상 부호화 장치의 루프 필터부(11)의 화소 적응 오프셋 처리에 있어서, 블록 분할 정보는 부호화하지 않고서, 항상 화상을 고정 사이즈의 블록 단위(예컨대, 최대 부호화 블록 단위)로 분할하고, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행하도록 구성되어 있는 경우, 루프 필터부(38)에 있어서도, 루프 필터부(11)와 동일한 고정 사이즈의 블록 단위로 화소 적응 오프셋 처리를 실시한다.

적응 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 클래스마다의 필터를 이용하여, 도 1의 화상 부호화 장치와 동일한 수법으로 클래스 분류한 후에, 그 클래스 분류 정보에 근거하여 필터 처리를 행한다.

움직임 보상 예측 프레임 메모리(39)는 루프 필터부(38)의 필터 처리 후의 복호 화상을 인터 예측 처리(움직임 보상 예측 처리)에서 이용하는 참조 화상으로서 저장하는 기록 매체이다.

도 3의 예에서는, 화상 복호 장치의 구성 요소인 가변 길이 복호부(31), 역 양자화ㆍ역 변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36), 인트라 예측용 메모리(37), 루프 필터부(38) 및 움직임 보상 예측 프레임 메모리(39)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(31), 역 양자화ㆍ역 변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36) 및 루프 필터부(38)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.

도 4는 본 발명의 실시의 형태 1에 의한 화상 복호 장치의 처리 내용(화상 복호 방법)을 나타내는 플로차트이다.

다음으로 동작에 대하여 설명한다.

본 실시의 형태 1에서는, 영상의 각 프레임 화상을 입력 화상으로 하여, 부호화 완료된 근방 화소로부터의 인트라 예측 또는 근접 프레임간에서의 움직임 보상 예측을 실시하여, 얻어진 예측 차분 신호에 대하여 직교 변환ㆍ양자화에 의한 압축 처리를 실시하고, 그 후, 가변 길이 부호화를 행하여 부호화 비트스트림을 생성하는 화상 부호화 장치와, 그 화상 부호화 장치로부터 출력되는 부호화 비트스트림을 복호하는 화상 복호 장치에 대하여 설명한다.

도 1의 화상 부호화 장치는, 영상 신호의 공간ㆍ시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 블록으로 분할하여, 프레임 내ㆍ프레임간 적응 부호화를 행하는 것을 특징으로 하고 있다.

일반적으로, 영상 신호는, 공간ㆍ시간적으로 신호의 복잡함이 국소적으로 변화하는 특성을 갖고 있다. 공간적으로 보면, 어느 영상 프레임상에서는, 예컨대, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 갖는 패턴도 있는가 하면, 인물이나 미세한 텍스처를 포함하는 회화 등, 작은 화상 영역 내에서 복잡한 텍스처 패턴을 갖는 패턴도 혼재하는 일이 있다.

시간적으로 보아도, 하늘이나 벽은 국소적으로 시간 방향의 패턴의 변화는 작지만, 움직이는 인물이나 물체는, 그 윤곽이 시간적으로 강체ㆍ비강체의 운동을 하기 때문에, 시간적인 변화가 크다.

부호화 처리는, 시간ㆍ공간적인 예측에 의해, 신호 전력이나 엔트로피가 작은 예측 차분 신호를 생성하여, 전체의 부호량을 삭감하는 처리를 행하지만, 예측에 이용하는 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 해당 파라미터의 부호량을 작게 할 수 있다.

한편, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대하여, 동일한 예측 파라미터를 큰 화상 영역에 적용하면, 예측의 오류가 증가하여 버리기 때문에, 예측 차분 신호의 부호량이 증가하여 버린다.

따라서, 시간적ㆍ공간적으로 변화가 큰 영역에서는, 동일한 예측 파라미터를 적용하여 예측 처리를 행하는 블록 사이즈를 작게 하여, 예측에 이용하는 파라미터의 데이터량을 늘리고, 예측 차분 신호의 전력ㆍ엔트로피를 저감하는 것이 바람직하다.

본 실시의 형태 1에서는, 이와 같은 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 위해, 최초로 소정의 최대 블록 사이즈로부터 예측 처리 등을 개시하고, 계층적으로 영상 신호의 영역을 분할하고, 분할한 영역마다 예측 처리나, 그 예측 차분의 부호화 처리를 적응화시키는 구성을 취하도록 하고 있다.

최초로, 도 1의 화상 부호화 장치의 처리 내용을 설명한다.

우선, 부호화 제어부(2)는, 부호화 대상이 되는 픽쳐(커런트 픽쳐)의 슬라이스 분할 상태를 결정함과 아울러, 픽쳐의 부호화에 이용하는 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층수의 상한을 결정한다(도 2의 스텝 ST1).

최대 부호화 블록의 사이즈의 결정 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라서, 모든 픽쳐에 대하여 동일한 사이즈를 정하더라도 좋고, 입력 화상의 영상 신호의 국소적인 움직임의 복잡함의 차이를 파라미터로서 정량화하여, 움직임이 격렬한 픽쳐에는, 작은 사이즈를 정하는 한편, 움직임이 적은 픽쳐에는, 큰 사이즈를 정하도록 하더라도 좋다.

분할 계층수의 상한의 결정 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라서, 모든 픽쳐에 대하여 동일한 계층수를 정하는 방법이나, 입력 화상의 영상 신호의 움직임이 격렬한 경우에는, 계층수를 깊게 하여, 보다 미세한 움직임을 검출할 수 있도록 설정하고, 움직임이 적은 경우에는, 계층수를 억제하도록 설정하는 방법 등이 있다.

또, 상기 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층수의 상한은, 시퀀스 레벨 헤더 등에 부호화하더라도 좋고, 부호화하지 않고서 화상 복호 장치측도 동일한 결정 처리를 행하도록 하더라도 좋다.

전자는 헤더 정보의 부호량이 증가하지만, 화상 복호 장치측에서 상기 결정 처리를 행하지 않아도 되기 때문에, 화상 복호 장치의 처리 부하를 억제할 수 있고, 게다가, 화상 부호화 장치측에서 최적의 값을 탐색하여 보낼 수 있다.

후자는 반대로, 화상 복호 장치측에서 상기 결정 처리를 행하기 때문에, 화상 복호 장치의 처리 부하가 증가하지만, 헤더 정보의 부호량은 증가하지 않는다.

또한, 상기 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층수의 상한을 시퀀스 레벨 헤더 등에 부호화하는 경우, 분할 계층수의 상한 대신에, 부호화 블록의 최소 블록 사이즈를 부호화하도록 하더라도 좋다. 즉, 최대 부호화 블록을 분할 계층수의 상한까지 분할했을 때의 블록의 사이즈가, 부호화 블록의 최소 블록 사이즈이기 때문에, 화상 복호 장치측에 있어서, 최대 부호화 블록의 사이즈와 부호화 블록의 최소 블록 사이즈로부터 분할 계층수의 상한을 특정할 수 있다.

또한, 부호화 제어부(2)는, 이용 가능한 하나 이상의 부호화 모드 중에서, 계층적으로 분할되는 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다(스텝 ST2).

즉, 부호화 제어부(2)는, 최대 부호화 블록 사이즈의 화상 영역마다, 먼저 정한 분할 계층수의 상한에 도달할 때까지, 계층적으로 부호화 블록 사이즈를 갖는 부호화 블록으로 분할하여, 각각의 부호화 블록에 대한 부호화 모드를 결정한다.

부호화 모드에는, 1개 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」라고 칭한다)와, 1개 내지 복수의 인터 부호화 모드(총칭하여, 「INTER」라고 칭한다)가 있고, 부호화 제어부(2)는, 해당 픽쳐에서 이용 가능한 모든 부호화 모드, 또는, 그 서브셋 중에서, 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다.

단, 후술하는 블록 분할부(1)에 의해 계층적으로 분할되는 각각의 부호화 블록은, 예측 처리를 행하는 단위인 1개 내지 복수의 예측 블록으로 더 분할되어, 예측 블록의 분할 상태도 부호화 모드 내에 정보로서 포함된다. 즉, 부호화 모드는, 어떠한 예측 블록 분할을 갖는 인트라 또는 인터 부호화 모드인지를 식별하는 인덱스이다.

부호화 제어부(2)에 의한 부호화 모드의 선택 방법은, 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예컨대, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.

또한, 부호화 제어부(2)는, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 분할 상태를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 결정한다.

단, 부호화 블록이 예측 처리를 행하는 예측 블록 단위로 더 분할되는 경우는, 예측 블록마다 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택한다.

여기서, 도 20은 4:2:0 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리(변환 처리, 양자화 처리)를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.

변환 블록 사이즈는, 도 20에 나타내는 바와 같이, 부호화 블록을 사지 트리 형상으로 계층 분할하는 것에 의해 결정된다.

예컨대, 변환 블록을 분할하는 경우와 변환 블록을 분할하지 않는 경우의 부호량이나, 부호화 오차를 가미한 평가 척도 등에 근거하여, 평가치가 최소가 되도록 변환 블록을 분할하는지 여부를 결정하는 것에 의해, 부호량과 부호화 오차의 트레이드오프의 관점으로부터 최적의 변환 블록의 분할 형상을 결정할 수 있다.

휘도 신호에 대해서는, 예컨대, 도 20에 나타내는 바와 같이, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.

색차 신호에 대해서는, 도 20에 나타내는 바와 같이, 입력 신호 포맷이 YUV4:2:0 신호인 경우, 휘도 신호와 마찬가지로, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다. 이 경우, 색차 신호의 변환 블록 사이즈는, 대응하는 휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈가 된다.

도 21에 나타내는 바와 같이, 입력 신호 포맷이 YUV4:2:2 신호인 경우, 휘도 신호와 동일한 사지 트리 형상의 계층 분할을 행한다. 또한, 분할한 블록의 형상이, 수직 방향의 화소수가 수평 방향의 화소수의 2배가 되는 장방형이 되기 때문에, 분할한 블록을 상하로 더 이분하는 것에 의해, YUV4:2:0 신호에서의 색차 신호와 동일한 블록 사이즈(휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈)의 변환 블록 2개로 구성하도록 한다.

또한, 도 22에 나타내는 바와 같이, 입력 신호 포맷이 YUV4:4:4 신호인 경우, 색차 신호의 변환 블록은, 항상 휘도 신호의 변환 블록과 동일한 분할을 행하고, 동일한 사이즈의 변환 블록이 되도록 구성한다.

부호화 제어부(2)는, 부호화 블록에 있어서의 변환 블록의 분할 정보를 나타내는 변환 블록 분할 정보나, 변환 계수의 양자화를 행할 때의 양자화 스텝사이즈를 규정하는 양자화 파라미터 등을 포함하는 예측 차분 부호화 파라미터를 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8)및 가변 길이 부호화부(13)에 출력한다.

또한, 부호화 제어부(2)는, 인트라 예측 파라미터를 필요에 따라서 인트라 예측부(4)에 출력한다.

또한, 부호화 제어부(2)는, 인터 예측 파라미터를 필요에 따라서 움직임 보상 예측부(5)에 출력한다.

슬라이스 분할부(14)는, 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 슬라이스 분할 정보에 따라서 하나 이상의 부분 화상인 슬라이스로 분할한다.

블록 분할부(1)는, 슬라이스 분할부(14)로부터 각 슬라이스를 입력할 때마다, 그 슬라이스를 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈로 분할하고, 또한, 분할한 최대 부호화 블록을 부호화 제어부(2)에 의해 결정된 부호화 블록으로 계층적으로 분할하여, 그 부호화 블록을 출력한다.

여기서, 도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.

도 5에 있어서, 최대 부호화 블록은, 「제 0 계층」이라고 기재되어 있는 휘도 성분이 (L⁰, M⁰)의 사이즈를 갖는 부호화 블록이다.

최대 부호화 블록을 출발점으로 하여, 사지 트리 구조로 별도로 정하는 소정의 깊이까지, 계층적으로 분할을 행하는 것에 의해 부호화 블록을 얻도록 하고 있다.

깊이 n에 있어서는, 부호화 블록은 사이즈 (Lⁿ, Mⁿ)의 화상 영역이다.

단, Lⁿ과 Mⁿ은, 동일하더라도 좋고, 상이하더라도 좋지만, 도 5에서는, Lⁿ=Mⁿ의 케이스를 나타내고 있다.

이후, 부호화 제어부(2)에 의해 결정되는 부호화 블록 사이즈는, 부호화 블록의 휘도 성분에 있어서의 사이즈 (Lⁿ, Mⁿ)이라고 정의한다.

사지 트리 분할을 행하기 때문에, 항상, (L^{n +1}, Mⁿ⁺¹)=(Lⁿ/2, Mⁿ/2)가 성립한다.

또, RGB 신호 등, 모든 색성분이 동일 샘플수를 갖는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색성분의 사이즈가 (Lⁿ, Mⁿ)이 되지만, 4:2:0 포맷을 취급하는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Lⁿ/2, Mⁿ/2)가 된다.

이후, 제 n 계층의 부호화 블록을 Bⁿ으로 나타내고, 부호화 블록 Bⁿ에서 선택 가능한 부호화 모드를 m(Bⁿ)으로 나타내는 것으로 한다.

복수의 색성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bⁿ)은, 색성분마다, 각각 개별의 모드를 이용하도록 구성되더라도 좋고, 모든 색성분에 대하여 공통의 모드를 이용하도록 구성되더라도 좋다. 이후, 특별히 언급하지 않는 한, YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 하여 설명을 행한다.

부호화 블록 Bⁿ은, 도 5에 나타내는 바와 같이, 블록 분할부(1)에 의해, 예측 처리 단위를 나타내는 1개 내지 복수의 예측 블록으로 분할된다.

이후, 부호화 블록 Bⁿ에 속하는 예측 블록을 P_i ⁿ(i는, 제 n 계층에 있어서의 예측 블록 번호)이라고 표기한다. 도 5에는 P₀ ⁰과 P₁ ⁰의 예를 나타내고 있다.

부호화 블록 Bⁿ 내의 예측 블록의 분할이, 어떻게 이루어지고 있는지는, 부호화 모드 m(Bⁿ) 내에 정보로서 포함된다.

예측 블록 P_i ⁿ은, 모두 부호화 모드 m(Bⁿ)에 따라서 예측 처리가 행해지지만, 예측 블록 P_i ⁿ마다, 개별의 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.

부호화 제어부(2)는, 최대 부호화 블록에 대하여, 예컨대, 도 6에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록을 특정한다.

도 6(a)의 점선으로 둘러싸인 직사각형이 각 부호화 블록을 나타내고, 각 부호화 블록 내에 있는 사선으로 칠해진 블록이 각 예측 블록의 분할 상태를 나타내고 있다.

도 6(b)는 도 6(a)의 예에 대하여, 계층 분할에 의해 부호화 모드 m(Bⁿ)이 할당되는 상황을 사지 트리 그래프로 나타낸 것이다. 도 6(b)의 □로 둘러싸여 있는 노드는, 부호화 모드 m(Bⁿ)이 할당된 노드(부호화 블록)이다.

이 사지 트리 그래프의 정보는 부호화 모드 m(Bⁿ)과 함께 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

전환 스위치(3)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드인 경우(m(Bⁿ)∈INTRA의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bⁿ을 인트라 예측부(4)에 출력한다.

한편, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인터 부호화 모드인 경우(m(Bⁿ)∈INTER의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bⁿ을 움직임 보상 예측부(5)에 출력한다.

인트라 예측부(4)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이며(m(Bⁿ)∈INTRA의 경우), 전환 스위치(3)로부터 부호화 블록 Bⁿ을 받으면(스텝 ST3), 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용하여, 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다(스텝 ST4).

단, 상세는 후술하지만, 인트라 예측 화상을 생성하는 처리를 행할 때에, 예측 대상 블록에 인접하는 부호화 완료된 화소를 이용하기 때문에, 인트라 예측 화상을 생성하는 처리는, 예측 처리에 이용하는 예측 대상 블록에 인접하는 화소가 이미 부호화 완료가 되도록 항상 변환 블록 단위로 행해지지 않으면 안 된다.

따라서, 부호화 모드가 인트라 부호화 모드인 부호화 블록에서는, 선택 가능한 변환 블록의 블록 사이즈는, 예측 블록의 사이즈 이하로 제한되고, 또한, 변환 블록이 예측 블록보다 작은 경우(예측 블록 내에 복수의 변환 블록이 존재하는 경우)에는, 변환 블록 단위로, 해당 예측 블록에서 정해진 인트라 예측 파라미터를 이용한 인트라 예측 처리를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.

또, 화상 복호 장치가 인트라 예측 화상 P_INTRAi ⁿ과 완전히 동일한 인트라 예측 화상을 생성할 필요가 있기 때문에, 인트라 예측 화상 P_INTRAi ⁿ의 생성에 이용된 인트라 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

인트라 예측부(4)의 처리 내용의 상세는 후술한다.

움직임 보상 예측부(5)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인터 부호화 모드이고(m(Bⁿ)∈INTER의 경우), 전환 스위치(3)로부터 부호화 블록 Bⁿ을 받으면(스텝 ST3), 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 필터 처리 후의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인터 예측 처리를 실시하여, 인터 예측 화상 P_INTERi ⁿ을 생성한다(스텝 ST5).

또, 화상 복호 장치가 인터 예측 화상 P_INTERi ⁿ과 완전히 동일한 인터 예측 화상을 생성할 필요가 있기 때문에, 인터 예측 화상 P_INTERi ⁿ의 생성에 이용된 인터 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

또한, 움직임 보상 예측부(5)에 의해 탐색된 움직임 벡터도 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

감산부(6)는, 블록 분할부(1)로부터 부호화 블록 Bⁿ을 받으면, 그 부호화 블록 Bⁿ 내의 예측 블록 P_i ⁿ으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 감산하여, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호 e_i ⁿ을 변환ㆍ양자화부(7)에 출력한다(스텝 ST6).

변환ㆍ양자화부(7)는, 감산부(6)로부터 예측 차분 신호 e_i ⁿ을 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 변환 블록 분할 정보를 참조하여, 그 예측 차분 신호 e_i ⁿ에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 변환 블록 단위로 실시하여, 변환 계수를 산출한다.

또한, 변환ㆍ양자화부(7)는, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력한다(스텝 ST7). 이때, 상기 양자화 파라미터로부터 산출되는 양자화 스텝사이즈를 변환 계수마다 스케일링하는 양자화 매트릭스를 이용하여 양자화 처리를 실시하도록 하더라도 좋다.

양자화 매트릭스는, 각 직교 변환 사이즈에서 색신호나 부호화 모드(인트라 부호화 또는 인터 부호화)마다 독립하고 있는 매트릭스를 사용할 수 있고, 초기치로서, 화상 부호화 장치 및 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스나 이미 부호화된 양자화 매트릭스 중에서 선택하는지, 새로운 양자화 매트릭스를 이용할지를 각각 선택할 수 있다.

따라서, 변환ㆍ양자화부(7)는, 각 직교 변환 사이즈에 대하여 색신호나 부호화 모드마다, 새로운 양자화 매트릭스를 이용하는지 여부를 나타내는 플래그 정보를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.

또한, 새로운 양자화 매트릭스를 이용하는 경우에는, 도 10에 나타내는 바와 같은 양자화 매트릭스의 각 스케일링 값을 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.

한편, 새로운 양자화 매트릭스를 이용하지 않는 경우에는, 초기치로서, 화상 부호화 장치 및 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 부호화된 양자화 매트릭스 중에서, 사용하는 매트릭스를 특정하는 인덱스를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다. 단, 참조 가능한 이미 부호화된 양자화 매트릭스가 존재하지 않는 경우, 화상 부호화 장치 및 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스만 선택 가능하게 된다.

그리고, 변환ㆍ양자화부(7)는, 설정한 양자화 매트릭스 파라미터를 가변 길이 부호화부(13)에 출력한다.

역 양자화ㆍ역 변환부(8)는, 변환ㆍ양자화부(7)로부터 압축 데이터를 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 변환 블록 단위로 그 압축 데이터를 역 양자화한다.

변환ㆍ양자화부(7)가 양자화 처리에 양자화 매트릭스를 이용하고 있는 경우에는, 역 양자화 처리시에 있어서도, 그 양자화 매트릭스를 참조하여, 대응한 역 양자화 처리를 실시한다.

또한, 역 양자화ㆍ역 변환부(8)는, 변환 블록 단위로 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리(예컨대, 역 DCT, 역 DST, 역 KL 변환 등)를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호 e_i ⁿ에 상당하는 국소 복호 예측 차분 신호를 산출하여 가산부(9)에 출력한다(스텝 ST8).

가산부(9)는, 역 양자화ㆍ역 변환부(8)로부터 국소 복호 예측 차분 신호를 받으면, 그 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 가산하는 것에 의해, 국소 복호 화상을 산출한다(스텝 ST9).

또, 가산부(9)는, 그 국소 복호 화상을 루프 필터부(11)에 출력함과 아울러, 그 국소 복호 화상을 인트라 예측용 메모리(10)에 저장한다.

이 국소 복호 화상이, 이후의 인트라 예측 처리시에 이용되는 부호화 완료 화상 신호가 된다.

루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상을 받으면, 그 국소 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 국소 복호 화상을 움직임 보상 예측 프레임 메모리(12)에 저장한다(스텝 ST10).

구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.

단, 루프 필터부(11)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대하여, 처리를 행하는지 여부를 결정하고, 각 처리의 유효 플래그를 시퀀스 레벨 헤더의 일부 및 슬라이스 레벨 헤더의 일부로서 가변 길이 부호화부(13)에 출력한다. 또, 상기의 필터 처리를 복수 사용할 때는, 각 필터 처리를 차례로 실시한다. 도 11은 복수의 필터 처리를 이용하는 경우의 루프 필터부(11)의 구성예를 나타내고 있다.

일반적으로 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상되지만, 한편으로 처리 부하는 높아진다. 즉, 화상 품질과 처리 부하는 트레이드오프의 관계에 있다. 또한, 각 필터 처리의 화상 품질 개선 효과는 필터 처리 대상 화상의 특성에 따라서 상이하다. 따라서, 화상 부호화 장치가 허용하는 처리 부하나 부호화 처리 대상 화상의 특성에 따라서 사용하는 필터 처리를 결정하면 된다.

여기서, 디블로킹 필터 처리에서는, 블록 경계에 적용되는 필터 강도의 선택에 이용하는 각종 파라미터를 초기치로부터 변경할 수 있다. 변경하는 경우에는, 그 파라미터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

화소 적응 오프셋 처리에서는, 최초로, 화상을 복수의 블록으로 분할하고, 그 블록 단위로, 오프셋 처리를 행하지 않는 경우도 클래스 분류 방법의 하나로서 정의하여, 미리 준비하고 있는 복수의 클래스 분류 수법 중에서, 1개의 클래스 분류 수법을 선택한다.

다음으로, 선택한 클래스 분류 수법에 의해 블록 내의 각 화소를 클래스 분류하고, 클래스마다 부호화 왜곡을 보상하는 오프셋 값을 산출한다.

마지막으로, 국소 복호 화상의 휘도치에 대하여, 그 오프셋 값을 가산하는 처리를 행하는 것에 의해 국소 복호 화상의 화상 품질을 개선한다.

클래스 분류 수법으로서는, 국소 복호 화상의 휘도치의 크기로 분류하는 수법(BO 수법이라고 부른다)이나, 에지의 방향마다 각 화소의 주위의 상황(에지부인지 여부 등)에 따라 분류하는 수법(EO 수법이라고 부른다)이 있다.

이들 수법은, 미리 화상 부호화 장치 및 화상 복호 장치에서 공통으로 준비되어 있고, 예컨대 도 14에 나타내는 바와 같이, 오프셋 처리를 행하지 않는 경우도 클래스 분류 방법의 하나로서 정의하여, 이들 수법 중, 어느 수법으로 클래스 분류를 행하는지를 나타내는 인덱스를 상기 블록 단위로 선택한다.

따라서, 화소 적응 오프셋 처리는, 블록의 분할 정보, 블록 단위의 클래스 분류 수법을 나타내는 인덱스, 블록 단위의 오프셋 정보를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

또, 화소 적응 오프셋 처리에 있어서, 예컨대 최대 부호화 블록이라고 하는 고정 사이즈의 블록 단위로 항상 분할하여, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행하더라도 좋다. 이 경우, 상기 블록 분할 정보가 불필요하게 되고, 블록 분할 정보에 요하는 부호량만큼 부호량이 삭감되어, 부호화 효율을 높일 수 있다.

또한, 적응 필터 처리에서는, 국소 복호 화상을 소정의 수법으로 클래스 분류하고, 각 클래스에 속하는 영역(국소 복호 화상)마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 해당 국소 복호 화상의 필터 처리를 실시한다.

그리고, 클래스마다 설계한 필터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

여기서, 클래스 분류 수법으로서는, 화상을 공간적으로 동일한 간격으로 분리하는 간이한 수법이나, 블록 단위로 화상의 국소적인 특성(분산 등)에 따라 분류하는 수법이 있다. 또한, 적응 필터 처리에서 사용하는 클래스의 수는, 미리 화상 부호화 장치 및 화상 복호 장치에서 공통의 값으로 설정하더라도 좋고, 부호화해야 할 파라미터의 하나로 하더라도 좋다.

전자와 비교하여 후자가, 사용하는 클래스의 수를 자유롭게 설정할 수 있기 때문에, 화상 품질 개선 효과가 올라가지만, 한편으로 클래스의 수를 부호화하기 때문에, 그만큼의 부호량이 증가한다.

스텝 ST3~ST9의 처리는, 계층적으로 분할된 모든 부호화 블록 Bⁿ에 대한 처리가 완료될 때까지 반복 실시되고, 모든 부호화 블록 Bⁿ에 대한 처리가 완료되면, 스텝 ST13의 처리로 이행한다(스텝 ST11, ST12).

가변 길이 부호화부(13)는, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)로부터 출력된 최대 부호화 블록 내의 블록 분할 정보(도 6(b)를 예로 하는 사지 트리 정보), 부호화 모드 m(Bⁿ) 및 예측 차분 부호화 파라미터와, 부호화 제어부(2)로부터 출력된 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우) 또는 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하고, 그들의 부호화 결과를 나타내는 부호화 데이터를 생성한다(스텝 ST13).

그때, 양자화된 직교 변환 계수인 압축 데이터의 부호화 수법으로서, 변환 블록을 Coefficient Group(CG)로 불리는 4×4 화소 단위의 블록(부호화 서브블록)으로 더 분할하여, CG 단위로 계수의 부호화 처리를 실시한다.

도 15는 16×16 화소의 변환 블록에 있어서의 계수의 부호화 순서(스캔 순서)를 나타내고 있다.

이와 같이, 4×4 화소 단위의 16개의 CG를 오른쪽 아래의 CG로부터 차례로 부호화 처리하고, 또한, 각 CG는 CG 내의 16개의 계수를 오른쪽 아래의 계수로부터 차례로 부호화한다.

구체적으로는, 우선, CG 내의 16개의 계수 중에 유의(0이 아닌) 계수(significant coefficient)가 존재하는지 여부의 플래그 정보를 부호화하고, 다음으로, CG 내에 유의(0이 아닌) 계수가 존재하는 경우만, CG 내의 각 계수가 유의(0이 아닌) 계수인지를 상기 순서로 부호화하고, 마지막에 유의(0이 아닌) 계수에 대하여, 그 계수치 정보를 차례로 부호화한다. 이것을 CG 단위로 상기 순서로 행한다.

그때, 유의(0이 아닌) 계수가 가능한 한 연속으로 발생하도록 치우치는 스캔 순서로 하는 것이 엔트로피 부호화에 의한 부호화 효율을 높일 수 있다.

직교 변환 후의 계수는, 왼쪽 위에 위치하는 직류 성분을 시작으로 하여, 왼쪽 위에 가까울수록, 낮은 주파수 성분의 낮은 계수를 나타내기 때문에, 도 16에 나타내는 예와 같이, 일반적으로 왼쪽 위에 가까울수록 유의(0이 아닌) 계수가 많이 발생하기 때문에, 도 15에 나타내는 바와 같이, 오른쪽 아래로부터 차례로 부호화하는 것에 의해 효율적으로 부호화 할 수 있다.

또, 상기에서는 16×16 화소의 변환 블록에 대하여 설명했지만, 8×8 화소나 32×32 화소의 변환 블록 등, 16×16 화소 이외의 블록 사이즈에 있어서도 CG(부호화 서브블록) 단위의 부호화 처리를 실시하는 것으로 한다.

또한, 가변 길이 부호화부(13)는, 도 13에 예시하는 바와 같이, 부호화 비트스트림의 헤더 정보로서, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더를 부호화하고, 픽쳐 데이터와 함께 부호화 비트스트림을 생성한다.

단, 픽쳐 데이터는 하나 이상의 슬라이스 데이터로 구성되고, 각 슬라이스 데이터는 슬라이스 레벨 헤더와 해당 슬라이스 내에 있는 상기 부호화 데이터를 종합한 것이다.

시퀀스 레벨 헤더는, 화상 사이즈, 색신호 포맷, 휘도 신호나 색차 신호의 신호치의 비트 심도, 시퀀스 단위로의 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)의 유효 플래그 정보, 양자화 매트릭스의 유효 플래그 정보, 필드 부호화인지 여부를 나타내는 플래그 등, 일반적으로 시퀀스 단위로 공통이 되는 헤더 정보를 종합한 것이다.

픽쳐 레벨 헤더는, 참조하는 시퀀스 레벨 헤더의 인덱스나 움직임 보상시의 참조 픽쳐수, 엔트로피 부호화의 확률 테이블 초기화 플래그 등의 픽쳐 단위로 설정하는 헤더 정보를 종합한 것이다.

슬라이스 레벨 헤더는, 해당 슬라이스가 픽쳐의 어느 위치에 있는지를 나타내는 위치 정보, 어느 픽쳐 레벨 헤더를 참조하는지를 나타내는 인덱스, 슬라이스의 부호화 타입(올 인트라 부호화, 인터 부호화 등), 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)를 행하는지 여부를 나타내는 플래그 정보 등이라고 하는 슬라이스 단위의 파라미터를 종합한 것이다.

다음으로, 인트라 예측부(4)의 처리 내용을 상세하게 설명한다.

인트라 예측부(4)는, 상술한 바와 같이, 예측 블록 P_i ⁿ의 인트라 예측 파라미터를 참조하여, 그 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성하지만, 여기서는, 휘도 신호에 있어서의 예측 블록 P_i ⁿ의 인트라 예측 화상을 생성하는 인트라 처리에 대하여 설명한다.

도 7은 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ이 선택 가능한 인트라 예측 모드의 일례를 나타내는 설명도이고, 인트라 예측 모드의 인덱스 값과, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있다. 상기 인트라 예측 모드의 인덱스 값이 인트라 예측 파라미터를 나타내고 있다.

또, 인트라 예측 모드의 수는, 처리 대상이 되는 블록의 사이즈에 따라 상이하도록 구성하더라도 좋다.

큰 사이즈의 블록에서는, 인트라 예측의 효율이 저하하기 때문에, 선택할 수 있는 인트라 예측 방향수를 적게 하고, 작은 사이즈의 블록에서는, 선택할 수 있는 인트라 예측 방향수를 많게 하도록 구성하는 것에 의해 연산량을 억제할 수 있다.

우선, 인트라 예측 화상을 생성하는 처리는, 처리 대상의 블록에 인접하는 부호화 완료 화소를 이용하기 때문에, 상술한 바와 같이, 변환 블록 단위로 행해지지 않으면 안 된다.

여기서, 인트라 예측 화상을 생성하는 변환 블록을 예측 화상 생성 블록이라고 부르는 것으로 한다. 따라서, 인트라 예측부(4)는, 예측 화상 생성 블록 단위로 하기에 말하는 인트라 예측 화상 생성 처리를 실시하여, 예측 블록 P_i ⁿ의 인트라 예측 화상을 생성한다.

예측 화상 생성 블록의 사이즈를 l_i ⁿ×m_i ⁿ 화소로 한다.

도 8은 l_i ⁿ=m_i ⁿ=4의 경우의 예측 화상 생성 블록 내의 화소의 예측치를 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.

도 8에서는, 예측 화상 생성 블록의 위의 부호화 완료 화소 (2×l_i ⁿ+1)개와, 왼쪽의 부호화 완료 화소 (2×m_i ⁿ)개를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 8에 나타내는 화소보다 많더라도 적더라도 좋다.

또한, 도 8에서는, 예측 화상 생성 블록의 근방의 1행 또는 1열분의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 혹은, 그 이상의 화소를 예측에 이용하더라도 좋다.

예측 화상 생성 블록이 속하는 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 0(평면(Planar) 예측)인 경우에는, 예측 화상 생성 블록의 위에 인접하는 부호화 완료 화소와, 예측 화상 생성 블록의 왼쪽에 인접하는 부호화 완료 화소를 이용하여, 이들 화소와 예측 화상 생성 블록 내의 예측 대상 화소의 거리에 따라 내삽한 값을 예측치로 하여 예측 화상을 생성한다.

예측 화상 생성 블록이 속하는 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 1(평균치(DC) 예측)인 경우에는, 예측 화상 생성 블록의 위에 인접하는 부호화 완료 화소와, 예측 화상 생성 블록의 왼쪽에 인접하는 부호화 완료 화소의 평균치를 예측 화상 생성 블록 내의 화소의 예측치로 하여 예측 화상을 생성한다.

또한, 예측 화상 생성 블록의 상단 및 좌단에 위치하는 도 17의 영역 A, B, C에 대하여, 블록 경계를 평활화하는 필터 처리를 행하여 최종적인 예측 화상으로 한다. 예컨대, 하기의 식 (1)에 따라서, 도 18의 필터의 참조 화소 배치에서, 하기의 필터 계수를 이용하여 필터 처리를 실시한다.

ㆍ영역 A(파티션 P_i ⁿ의 왼쪽 위의 화소)

a₀=1/2, a₁=1/4, a₂=1/4

ㆍ영역 B(영역 A 이외의 파티션 P_i ⁿ의 상단의 화소)

a₀=3/4, a₂=1/4, (a₁=0)

ㆍ영역 C(영역 A 이외의 파티션 P_i ⁿ의 좌단의 화소)

a₀=3/4, a₁=1/4, (a₂=0)

단, 식 (1)에 있어서, a_n(n=0, 1, 2)은 참조 화소에 곱해지는 필터 계수, p_n(n=0, 1, 2)은 필터 처리 대상 화소 p₀을 포함하는 필터의 참조 화소, S'(p₀)은 필터 처리 대상 화소 p₀에 있어서의 필터 처리 후의 예측치, S(p_n)(n=0, 1, 2)은 필터 처리 대상 화소 p₀을 포함하는 참조 화소의 필터 처리 전의 예측치를 나타내고 있다.

또한, 상기 필터 처리를 행하는 예측 화상 생성 블록의 블록 사이즈는 한정하더라도 좋다.

일반적으로 블록단만 필터 처리를 행하여 예측치를 변화시키는 경우, 큰 블록 사이즈의 블록에서는, 필터 처리에 의해 예측치가 변화하는 영역이 차지하는 비율이 작기 때문에, 이 예측치의 변화에 의해 생긴 예측 잔차 신호의 변화를 매우 높은 주파수 성분으로 나타내게 되고, 이 고주파수 성분을 부호화하기 위해 부호화 효율의 악화를 일으키게 하여 버리는 경향이 있다. 또한, 부호화 효율을 우선하여, 이 고주파수 성분을 부호화하지 않도록 하는 것에 의해, 블록단의 예측 잔차 신호의 변화를 복원할 수 없어, 블록 경계에 왜곡이 생겨 버리는 경향이 있다.

한편, 작은 블록 사이즈의 블록에서는, 필터 처리에 의해 예측치가 변화하는 영역이 차지하는 비율이 크기 때문에, 이 예측치의 변화에 의해 생긴 예측 잔차 신호의 변화가 큰 블록 사이즈의 블록일 때와 같은 높은 주파수 성분으로 나타내는 일은 없고, 적절히 잔차 신호를 부호화할 수 있고, 본 필터 처리에 의해, 블록 경계의 연속성을 높인 만큼, 복호 화상의 품질을 높일 수 있다.

따라서, 예컨대, 32×32 화소 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 상기 필터 처리를 적용하지 않고, 32×32 화소보다 작은 블록에만 상기 필터 처리를 적용하는 것에 의해, 종래의 평균치 예측보다 예측 성능을 향상시키면서, 연산량의 증가를 억제할 수 있다.

그 밖에도 변환 블록 사이즈에 따라 상기 필터 처리를 행하는 예측 화상 생성 블록의 블록 사이즈를 한정하더라도 좋다.

예컨대, max(16, MaxTUsize) 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 상기 필터 처리를 적용하지 않고, max(16, MaxTUsize)보다 작은 블록에만 상기 필터 처리를 적용한다.

단, max(α, β)는, α와 β 중 최대치를 나타내고 있고(예컨대, α=1, β=2라면, max(α, β)=2), "MaxTUsize"는, 취할 수 있는 최대의 변환 블록 사이즈를 나타내고 있고, "16"은 소정의 블록 사이즈(16×16 화소)를 나타내고 있다.

다시 말해, max(16, MaxTUsize) 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 상기 필터 처리를 적용하지 않고, max(16, MaxTUsize)보다 작은 블록에만 상기 필터 처리를 적용한다는 것은, MaxTUsize가 32인 경우는 max(16, 32)=32가 되어, 32×32 화소의 블록에만 상기 필터 처리를 적용하지 않고, 16×16 화소, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시한다.

마찬가지로, MaxTUsize가 16인 경우는, max(16, 16)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시한다.

또한, MaxTUsize가 8인 경우는, max(16, 8)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시하게 되기 때문에, 16×16 화소의 블록이 존재하지 않는 MaxTUsize가 8인 경우는, 모든 화소의 블록(8×8, 4×4)에서 상기 필터 처리를 실시한다.

마찬가지로, MaxTUsize가 4인 경우는, max(16, 4)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시하게 되기 때문에, 4×4 화소의 블록밖에 존재하지 않는 MaxTUsize가 4인 경우는, 모든 화소의 블록(4×4)에서 상기 필터 처리를 실시한다.

이와 같이 하는 것에 의해, 일반적으로 고효율의 부호화를 행할 때에는, 예컨대, "하늘" 등의 평탄한 영역에서는, 가능한 한 큰 사이즈의 직교 변환 처리가 실시되기 때문에, 이와 같은 영역에서는, MaxTUsize의 블록 사이즈에 의한 변환 처리가 행해진다.

한편, 이와 같은 큰 블록에서는, 상술한 바와 같이, 필터 처리에 의해 복호 화상의 블록 경계에 왜곡을 일으키게 하여 버리는 경향이 있기 때문에, 인간의 시각 특성으로서, 특히 감도가 높은 평탄부에 있어서, 이와 같은 왜곡을 억제하기 위해 필터 처리를 행하지 않도록 하고, 블록 사이즈를 작게 하는 것에 의해 효율적으로 부호화할 수 있는 경향이 있는 복잡한 영역부 등, 작은 블록 사이즈의 블록에 대해서는 상기 필터 처리를 행하는 것에 의해 예측 효율을 향상시켜, 복호 화상의 품질을 높이는 효과가 얻어진다.

또한, 시퀀스 레벨 헤더에 필드 부호화인지 여부를 나타내는 플래그를 갖고, 상기 플래그가 유효한 경우, 도 19에 나타내는 바와 같이, 예측 화상 생성 블록의 상단에 필터 처리를 실시하지 않도록 한다.

필드 부호화의 경우, 수직 방향의 화소간의 상관이 낮기 때문에 예측 화상 생성 블록의 상단에 있어서의 필터 처리에 의해 예측 효율이 악화되어 버릴 가능성이 있다. 따라서, 영역 A, C에만 필터 처리를 행하고, 영역 B는 필터 처리를 행하지 않도록 하는 것에 의해, 예측 효율의 저하를 억제하면서 연산량을 삭감할 수 있다.

단, 상기에서는 시퀀스 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그가 유효한 경우, 영역 A, C에만 필터 처리를 행하도록 했지만, 영역 A도 영역 C와 동일한 필터 처리하더라도 좋다. 이와 같이, 화소간의 상관이 낮은 수직 방향의 화소를 이용하지 않도록 하는 것에 의해, 예측 효율 악화의 가능성을 더 내리면서, 필터 처리에 요하는 연산량을 삭감할 수 있다. 혹은, 보다 연산량을 삭감하는 것을 중시하는 경우는, 영역 A도 필터 처리를 행하지 않도록 하고, 영역 C만 필터 처리를 행하도록 하더라도 좋다.

예측 화상 생성 블록이 속하는 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 26(수직 방향 예측)인 경우, 하기의 식 (2)로부터 예측 화상 생성 블록 내의 화소의 예측치를 산출하여 예측 화상을 생성한다.

단, 좌표 (x, y)는 예측 화상 생성 블록 내의 왼쪽 위 화소를 원점으로 하는 상대 좌표(도 9를 참조)이고, S'(x, y)는 좌표 (x, y)에 있어서의 예측치, S(x, y)는 좌표 (x, y)에 있어서의 부호화 완료 화소의 휘도치(복호된 휘도치)이다. 또한, 산출한 예측치가 휘도치가 취할 수 있는 값의 범위를 넘고 있는 경우, 예측치가 그 범위 내에 들어가도록 값을 반올림하도록 한다.

또, 식 (2)의 1행째의 식은, MPEG-4 AVC/H.264에 있어서의 수직 방향 예측의 예측치인 S(x, -1)에 대하여, 인접하는 부호화 완료 화소의 수직 방향의 휘도치의 변화량 S(-1, y)-S(-1, -1)을 1/2로 한 값을 가산하는 것에 의해, 블록 경계가 평활화되도록 필터 처리한 것을 예측치로 하는 것을 의미하고 있고, 식 (2)의 2행째의 식은, MPEG-4 AVC/H.264에 있어서의 수직 방향 예측과 동일한 예측식을 나타내고 있다.

예측 화상 생성 블록이 속하는 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 10(수평 방향 예측)인 경우, 하기의 식 (3)으로부터 예측 화상 생성 블록 내의 화소의 예측치를 산출하여 예측 화상을 생성한다.

단, 좌표 (x, y)는 예측 화상 생성 블록 내의 왼쪽 위 화소를 원점으로 하는 상대 좌표(도 9를 참조)이고, S'(x, y)는 좌표 (x, y)에 있어서의 예측치, S(x, y)는 좌표 (x, y)에 있어서의 부호화 완료 화소의 휘도치(복호된 휘도치)이다. 또한, 산출한 예측치가 휘도치가 취할 수 있는 값의 범위를 넘고 있는 경우, 예측치가 그 범위 내에 들어가도록 값을 반올림하도록 한다.

또, 식 (3)의 1행째의 식은, MPEG-4 AVC/H.264에 있어서의 수평 방향 예측의 예측치인 S(-1, y)에 대하여, 인접하는 부호화 완료 화소의 수평 방향의 휘도치의 변화량 S(x, -1)-S(-1, -1)을 1/2로 한 값을 가산하는 것에 의해, 블록 경계가 평활화되도록 필터 처리한 것을 예측치로 하는 것을 의미하고 있고, 식 (3)의 2행째의 식은, MPEG-4 AVC/H.264에 있어서의 수평 방향 예측과 동일한 예측식을 나타내고 있다.

단, 식 (2)의 수직 방향 예측, 식 (3)의 수평 방향 예측을 행하는 예측 화상 생성 블록의 블록 사이즈를 한정하더라도 좋다.

일반적으로 블록단만 예측 방향의 휘도치의 변화량에 비례하는 값을 가산하는 필터 처리를 행하는 것에 의해 예측치를 변화시키는 경우, 큰 블록 사이즈의 블록에서는, 상술한 예측 화상 생성 블록의 블록단의 필터 처리에 의해 예측치가 변화하는 영역이 차지하는 비율이 작기 때문에, 이 예측치의 변화에 의해 생긴 예측 잔차 신호의 변화를 매우 높은 주파수 성분으로 나타내게 되고, 이 고주파수 성분을 부호화하기 위해 부호화 효율의 악화를 일으키게 하여 버리는 경향이 있다. 또한, 부호화 효율을 우선하여, 이 고주파수 성분을 부호화하지 않도록 하는 것에 의해, 블록단의 예측 잔차 신호의 변화를 복원할 수 없어 블록 경계에 왜곡이 생겨 버리는 경향이 있다.

한편, 작은 블록 사이즈의 블록에서는, 상기 필터 처리에 의해 예측치가 변화하는 영역이 차지하는 비율이 크기 때문에, 이 예측치의 변화에 의해 생긴 예측 잔차 신호의 변화가 큰 블록 사이즈의 블록일 때와 같은 높은 주파수 성분으로 나타내어지는 일은 없고, 적절히 잔차 신호를 부호화할 수 있어, 본 필터 처리에 의해 블록 경계의 연속성을 높인 만큼, 복호 화상의 품질을 높일 수 있다.

따라서, 예컨대, 32×32 화소 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 예측 대상 화소의 좌표에 관계없이, 식 (2) 및 식 (3)의 2행째의 식을 항상 이용하도록 하고(예측 화상 생성 블록의 블록단의 필터 처리를 행하지 않기로 한다), 32×32 화소보다 작은 블록에만, 상기 필터 처리를 행하는 식 (2) 및 식 (3)을 적용하는 것에 의해, 종래의 수직 방향 예측, 수평 방향 예측보다 예측 성능을 향상시키면서, 연산량의 증가를 억제할 수 있다.

그 밖에도 변환 블록 사이즈에 따라 식 (2)의 수직 방향 예측, 식 (3)의 수평 방향 예측을 행하는 예측 화상 생성 블록의 블록 사이즈를 한정하더라도 좋다.

예컨대, max(16, MaxTUsize) 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 예측 대상 화소의 좌표에 관계없이, 식 (2) 및 식 (3)의 2행째의 식을 항상 이용하도록 하고(예측 화상 생성 블록의 블록단의 필터 처리를 행하지 않기로 한다), max(16, MaxTUsize)보다 작은 블록에만 상기 필터 처리를 행하는 식 (2) 및 식 (3)을 적용한다.

단, max(α, β)는, α와 β 중 최대치를 나타내고 있고(예컨대 α=1, β=2라면 max(α, β)=2), "MaxTUsize"는, 취할 수 있는 최대의 변환 블록 사이즈를 나타내고 있고, "16"은 소정의 블록 사이즈(16×16 화소)를 나타내고 있다.

다시 말해, max(16, MaxTUsize) 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 상기 필터 처리를 적용하지 않고, max(16, MaxTUsize)보다 작은 블록에만 상기 필터 처리를 적용한다는 것은, MaxTUsize가 32인 경우는 max(16, 32)=32가 되어, 32×32 화소의 블록만 상기 필터 처리를 적용하지 않고, 16×16 화소, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시한다.

마찬가지로, MaxTUsize가 16인 경우는, max(16, 16)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시한다.

또한, MaxTUsize가 8인 경우는, max(16, 8)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시하게 되기 때문에, 16×16 화소의 블록이 존재하지 않는 MaxTUsize가 8인 경우는, 모든 화소의 블록(8×8, 4×4)에서 상기 필터 처리를 실시한다.

마찬가지로, MaxTUsize가 4인 경우는, max(16, 4)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시하게 되기 때문에, 4×4 화소의 블록밖에 존재하지 않는 MaxTUsize가 4인 경우는, 모든 화소의 블록(4×4)에서 상기 필터 처리를 실시한다.

이와 같이 하는 것에 의해, 일반적으로 고효율의 부호화를 행할 때에는, 예컨대, "하늘" 등의 평탄한 영역에서는, 가능한 한 큰 사이즈의 직교 변환 처리가 실시되기 때문에, 이와 같은 영역에서는 MaxTUsize의 블록 사이즈에 의한 변환 처리가 행해진다.

한편, 이와 같은 큰 블록에서는, 상술한 바와 같이, 필터 처리에 의해 복호 화상의 블록 경계에 왜곡을 일으키게 하여 버리는 경향이 있기 때문에, 인간의 시각 특성으로서, 특히 감도가 높은 평탄부에 있어서, 이와 같은 왜곡을 억제하기 위해 필터 처리를 행하지 않도록 하고, 블록 사이즈를 작게 하는 것에 의해, 효율적으로 부호화할 수 있는 경향이 있는 복잡한 영역부 등, 작은 블록 사이즈의 블록에 대해서는 상기 필터 처리를 행하는 것에 의해 예측 효율을 향상시켜, 복호 화상의 품질을 높이는 효과가 얻어진다.

또, 상기의 동작은, 평균치 예측의 경우, 수직 방향 예측의 경우, 수평 방향 예측의 경우에 대하여 설명했지만, 이들 이외의 예측을 이용한 경우도, 동일한 효과를 얻을 수 있다.

또한, 시퀀스 레벨 헤더에 필드 부호화인지 여부를 나타내는 플래그를 갖고, 상기 플래그가 유효한 경우, 수평 방향 예측은 식 (3) 대신에 식 (4)를 이용한다.

즉, 도 19에 나타내는 바와 같이, 예측 화상 생성 블록의 상단에 필터 처리를 실시하지 않도록 한다(평균치 예측 및 수직 방향 예측의 경우는, 예측 화상 생성 블록의 좌단에만 필터 처리를 실시하고, 수평 방향 예측의 경우는 필터 처리를 실시하지 않는다).

필드 부호화의 경우, 수직 방향의 화소간의 상관이 낮기 때문에, 예측 화상 생성 블록의 상단에 있어서의 필터 처리에 의한 블록 경계의 연속성을 높이는 것에 의한 예측 효율이 악화되어 버릴 가능성이 있다. 따라서, 상기 필터 처리를 행하지 않는 것에 의해 예측 효율의 저하를 억제하면서 연산량을 삭감할 수 있다.

또, 시퀀스 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그를 픽쳐 레벨 헤더에 준비하고, 각 픽쳐의 수직 방향의 화소간의 상관에 따라 평균치(DC) 예측 및 수평 방향 예측의 예측 화상 생성 블록 상단의 필터 처리를 ON/OFF로 전환하도록 하더라도 좋다.

그와 같이 하는 것에 의해, 픽쳐 단위의 적응적인 제어를 실현할 수 있어, 예측 효율을 높일 수 있다. 또, 픽쳐 단위로 프레임 부호화와 필드 부호화를 적응적으로 전환하는 부호화를 실현하는 경우에는, 상기 플래그는 픽쳐 레벨 헤더에 준비할 필요가 있다.

또한, 본 실시의 형태 1에서는, 시퀀스 레벨 헤더 혹은 픽쳐 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그에 근거하여 예측 화상 생성 블록 상단의 필터 처리의 ON/OFF를 전환하는 경우에 대하여 설명했지만, 시퀀스 레벨 헤더 혹은 픽쳐 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그와는 별도로 본 전환 처리를 행하는지 여부를 나타내는 플래그를 정의하고, 이 전환 처리를 행하는지 여부를 나타내는 플래그에 근거하여 예측 화상 생성 블록 상단의 필터 처리의 ON/OFF를 전환하도록 하더라도 좋다.

또한, 본 실시의 형태 1에서는, 먼저 설명한 부호화 순서의 전환과, 상기 필터 처리의 전환을, 각각 따로따로 설명했지만, 이들을 조합하여 설정하도록 하더라도 좋다.

인트라 예측 모드의 인덱스 값이 0(평면 예측), 1(평균치 예측), 26(수직 방향 예측), 10(수평 방향 예측) 이외의 경우에는, 인덱스 값이 나타내는 예측 방향 벡터 υ_p=(dx, dy)에 근거하여, 예측 화상 생성 블록 내의 화소의 예측치를 생성한다.

도 9에 나타내는 바와 같이, 예측 화상 생성 블록의 왼쪽 위 화소를 원점으로 하여, 예측 화상 생성 블록 내의 상대 좌표를 (x, y)로 설정하면, 예측에 이용하는 참조 화소의 위치는, 하기의 L과 인접 화소의 교점이 된다.

단, k는 음의 실수이다.

참조 화소가 정수 화소 위치에 있는 경우에는, 그 정수 화소를 예측 대상 화소의 예측치로 하고, 참조 화소가 정수 화소 위치에 없는 경우에는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측치로 한다.

도 8의 예에서는, 참조 화소는 정수 화소 위치에 없으므로, 참조 화소에 인접하는 두 화소로부터 내삽한 것을 예측치로 한다. 또, 인접하는 두 화소만이 아니고, 인접하는 두 화소 이상의 화소로부터 보간 화소를 생성하여 예측치로 하더라도 좋다.

보간 처리에 이용하는 화소를 많게 하는 것에 의해 보간 화소의 보간 정밀도를 향상시키는 효과가 있는 한편, 보간 처리에 요하는 연산의 복잡도가 증가하기 때문에, 연산 부하가 크더라도 높은 부호화 성능을 요구하는 화상 부호화 장치의 경우에는, 보다 많은 화소로부터 보간 화소를 생성하도록 하는 것이 좋다.

이상에 말한 처리에 의해, 예측 화상 생성 블록 단위로 예측 블록 P_i ⁿ 내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하여, 인트라 예측 화상 P_INTRAi ⁿ을 출력한다.

또, 인트라 예측 화상 P_INTRAi ⁿ의 생성에 이용된 인트라 예측 파라미터(인트라 예측 모드)는, 비트스트림에 다중화하기 위해 가변 길이 부호화부(13)에 출력된다.

또, 앞서 설명한 MPEG-4 AVC/H.264에 있어서의 8×8 화소의 블록의 인트라 예측시에 참조 화소에 대하여 실시되는 평활화 처리와 마찬가지로, 인트라 예측부(4)에 있어서, 예측 화상 생성 블록의 예측 화상을 생성할 때의 참조 화소를, 예측 화상 생성 블록에 인접하는 부호화 완료 화소를 평활화 처리한 화소로 하도록 구성한 경우에도, 상술한 예와 동일한 예측 화상에 대한 필터 처리를 행할 수 있다. 이와 같이 하는 것에 의해 참조 화소로의 필터 처리에 의한 참조 화소의 노이즈가 제거되고, 이것을 이용하여 예측을 행하는 것에 의해 예측의 정밀도를 높일 수 있다.

혹은, 상기 참조 화소로의 필터 처리는 예측 화상으로의 필터 처리를 행하는 평균치 예측, 수직 방향 예측, 수평 방향 예측 이외의 예측일 때만 실시하도록 하더라도 좋다. 이와 같이 하는 것에 의해, 각 예측 모드에 대하여 최대 1개의 필터 처리밖에 행하지 않아도 되고, 연산량의 증가를 억제할 수 있다.

상기에서는, 휘도 신호의 예측 화상 생성 처리에 대하여 설명했지만, 색차 성분에 대한 예측 화상은 다음과 같이 생성한다.

예측 블록 P_i ⁿ의 색차 신호에 대하여, 색차 신호의 인트라 예측 파라미터(인트라 예측 모드)에 근거하는 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.

도 23은 색차 신호의 인트라 예측 파라미터(인덱스 값)와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.

색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 왼쪽에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.

또, 입력 신호 포맷이 YUV4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 구성하더라도 좋다. YUV4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.

당연히, YUV4:4:4 신호의 경우에 있어서도, 색차 신호에 대하여, 휘도 신호와는 상이한 방향성 예측 모드를 선택할 수 있도록 구성하더라도 좋다.

또한, 입력 신호 포맷이 YUV4:2:2 신호인 경우, 도 27에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소수가 1/2가 되는 장방형의 블록이 된다. 따라서, 도 28에 나타내는 바와 같이, YUV4:4:4 신호를 YUV4:2:2 신호로 변환했을 때에, 휘도 신호와 색차 신호에서 동일 방향의 예측이 되도록 하기 위해서는, YUV4:2:2 신호상에서는, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.

구체적으로는, 도 29에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 v_L=(dx_L, dy_L)로 한 경우, 색차 신호의 예측 방향 벡터는, v_C=(dx_L/2, dy_L)이 된다. 즉, 도 30에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θ_L, 색차 신호의 예측 방향의 각도를 θ_C로 하여, tanθ_C=2tanθ_L의 관계가 되는 예측 방향에서 예측할 필요가 있다.

따라서, 휘도 신호와 색차 신호에서 동일 방향의 예측을 행하는 상기 DM 모드를 올바르게 실시할 수 있도록 하기 위해, 입력 신호 포맷이 YUV4:2:2 신호인 경우, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다.

도 31은 도 7의 인트라 예측 모드에 있어서의 인트라 예측 모드 인덱스의 변환예를 나타내고 있다.

도 31의 변환 테이블은, 예측 방향의 각도가 θ일 때(도 30을 참조), 인트라 예측 모드의 방향성 예측이 도 32에 나타내는 tanθ가 되는 각도인 경우, tanθ_C=2tanθ_L의 관계에 가장 가까운 각도 θ_C로 변환하는 테이블의 예이다.

변환 처리의 실현은, 상기와 같이, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조하는 것에 의해 인덱스를 변환하도록 구성하더라도 좋고, 변환식을 준비하고, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.

이와 같이 구성하는 것에 의해, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로 YUV4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.

또한, 색차 신호에 대하여 상기 LM 모드를 행하지 않도록 구성하더라도 좋다. 이때의 색차 신호의 인트라 예측 파라미터(인덱스 값)와 색차 인트라 예측 모드의 대응예로서, 도 24를 들 수 있다.

이와 같이 LM 모드도 이용하지 않도록 하는 것에 의해, 예측 대상 화소의 휘도 신호와 색차 신호의 의존성이 없어지기 때문에, 휘도 신호와 색차 신호의 예측 처리의 병렬화가 가능하게 되어, 고속의 연산 처리를 실현할 수 있다.

또한, 색차 신호에서는, 색차 신호의 수직 방향 예측 및 수평 방향 예측에 대해서는, 블록 경계의 필터 처리를 행하지 않고, MPEG-4 AVC/H.264와 동일한 예측 수법으로 하더라도 좋다. 이와 같이 필터 처리를 행하지 않는 것에 의해, 예측 처리의 저연산화를 도모할 수 있다.

다음으로, 도 3의 화상 복호 장치의 처리 내용을 구체적으로 설명한다.

가변 길이 복호부(31)는, 도 1의 화상 부호화 장치에 의해 생성된 부호화 비트스트림을 입력하면, 그 비트스트림에 대한 가변 길이 복호 처리를 실시하여(도 4의 스텝 ST21), 1프레임 이상의 픽쳐로 구성되는 시퀀스 단위의 헤더 정보(시퀀스 레벨 헤더) 및 픽쳐 단위의 헤더 정보(픽쳐 레벨 헤더), 루프 필터부(38)에서 사용하는 필터 파라미터나 양자화 매트릭스 파라미터를 복호한다.

이때, 상기 헤더 정보에 포함되는 양자화 매트릭스의 유효 플래그 정보가 "유효"를 나타내는 경우, 가변 길이 복호부(31)는 양자화 매트릭스 파라미터를 가변 길이 복호하고, 양자화 매트릭스를 특정한다.

구체적으로는, 각 직교 변환 사이즈의 색신호나 부호화 모드마다, 양자화 매트릭스 파라미터가 초기치로서, 화상 부호화 장치 및 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 복호된 양자화 매트릭스인(새로운 양자화 매트릭스가 아닌) 것을 나타내는 경우는, 양자화 매트릭스 파라미터에 포함되는 상기 매트릭스 중 어느 양자화 매트릭스인지를 특정하는 인덱스 정보를 참조하여 양자화 매트릭스를 특정하고, 양자화 매트릭스 파라미터가 새로운 양자화 매트릭스를 이용하는 것을 나타내는 경우는, 양자화 매트릭스 파라미터에 포함되는 양자화 매트릭스를 사용하는 양자화 매트릭스로서 특정한다.

그리고, 픽쳐 단위의 데이터를 구성하는 슬라이스 데이터로부터, 슬라이스 분할 정보 등의 슬라이스 단위의 헤더 정보(슬라이스 레벨 헤더)를 복호하고, 각 슬라이스의 부호화 데이터를 복호한다.

또한, 가변 길이 복호부(31)는, 도 1의 화상 부호화 장치의 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈 및 분할 계층수의 상한을 화상 부호화 장치와 동일한 순서로 결정한다(스텝 ST22).

예컨대, 최대 부호화 블록 사이즈나 분할 계층수의 상한이 영상 신호의 해상도에 따라서 결정된 경우에는, 복호한 프레임 사이즈 정보에 근거하여, 화상 부호화 장치와 동일한 순서로 최대 부호화 블록 사이즈를 결정한다.

최대 부호화 블록 사이즈 및 분할 계층수의 상한이, 화상 부호화 장치측에서 시퀀스 레벨 헤더 등에 다중화되어 있는 경우에는, 상기 헤더로부터 복호한 값을 이용하도록 한다. 단, 분할 계층수의 상한 대신에, 부호화 블록의 최소 블록 사이즈가 부호화되어 있는 경우, 이것을 복호하는 것에 의해 분할 계층수의 상한을 결정한다. 즉, 최대 부호화 블록을 상기 최소 블록 사이즈까지 분할한 경우가 분할 계층수의 상한이 된다.

가변 길이 복호부(31)는, 결정된 최대 부호화 블록 단위로, 도 6에서 나타나는 바와 같은 최대 부호화 블록의 분할 상태를 복호한다. 복호된 분할 상태에 근거하여, 계층적으로 부호화 블록을 특정한다(스텝 ST23).

다음으로, 가변 길이 복호부(31)는, 부호화 블록에 할당되어 있는 부호화 모드를 복호한다. 복호한 부호화 모드에 포함되는 정보에 근거하여, 부호화 블록을 1개 내지 복수의 예측 처리 단위인 예측 블록으로 더 분할하고, 예측 블록 단위로 할당되어 있는 예측 파라미터를 복호한다(스텝 ST24).

즉, 가변 길이 복호부(31)는, 부호화 블록에 할당되어 있는 부호화 모드가 인트라 부호화 모드인 경우, 부호화 블록에 포함되어 있고, 예측 처리 단위가 되는 1개 이상의 예측 블록마다 인트라 예측 파라미터를 복호한다.

한편, 부호화 블록에 할당되어 있는 부호화 모드가 인터 부호화 모드인 경우, 부호화 블록에 포함되어 있고, 예측 처리 단위가 되는 1개 이상의 예측 블록마다 인터 예측 파라미터 및 움직임 벡터를 복호한다(스텝 ST24).

또한, 가변 길이 복호부(31)는, 예측 차분 부호화 파라미터에 포함되는 변환 블록 분할 정보에 근거하여, 변환 블록마다 압축 데이터(변환ㆍ양자화 후의 변환 계수)를 복호한다(스텝 ST24).

그때, 도 1의 화상 부호화 장치의 가변 길이 부호화부(13)에서의 압축 데이터의 부호화 처리와 마찬가지로, CG 단위의 계수의 복호 처리를 실시한다.

따라서, 도 15에 나타내는 바와 같이, 4×4 화소 단위의 16개의 CG를 오른쪽 아래의 CG로부터 차례로 복호 처리하고, 또한, 각 CG는 CG 내의 16개의 계수를 오른쪽 아래의 계수로부터 차례로 복호하여 가게 된다.

구체적으로는, 우선, CG 내의 16개의 계수 중에 유의(0이 아닌) 계수가 존재하는지 여부의 플래그 정보를 복호하고, 다음으로 복호한 플래그 정보가 CG 내에 유의(0이 아닌) 계수가 존재하는 것을 나타내는 경우만 CG 내의 각 계수가 유의(0이 아닌) 계수인지를 상기 차례로 복호하고, 마지막에 유의(0이 아닌) 계수를 나타내는 계수에 대하여, 그 계수치 정보를 차례로 복호한다. 이것을 CG 단위로 상기 차례로 행한다.

전환 스위치(33)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이면(m(Bⁿ)∈INTRA의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인트라 예측 파라미터를 인트라 예측부(34)에 출력한다.

한편, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인터 부호화 모드이면(m(Bⁿ)∈INTER의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력한다.

인트라 예측부(34)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드(m(Bⁿ)∈INTRA)인 경우(스텝 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 인트라 예측 파라미터를 받아서, 도 1의 인트라 예측부(4)와 동일한 순서로, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 상기 인트라 예측 파라미터를 이용한 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다(스텝 ST26).

단, 가변 길이 복호부(31)에 의해 복호된 시퀀스 레벨 헤더에 필드 부호화인지 여부를 나타내는 플래그를 갖고, 상기 플래그가 유효한 경우, 도 1의 화상 부호화 장치와 마찬가지로 평균치(DC) 예측 및 수평 방향 예측의 예측 화상 생성 블록 상단의 필터 처리를 행하지 않도록 한다. 이와 같이 하는 것에 의해, 도 1의 화상 부호화 장치에서 생성한 부호화 비트스트림과 동일한 예측 화상을 생성할 수 있다.

또, 도 1의 화상 부호화 장치에 있어서, 시퀀스 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그를 픽쳐 레벨 헤더에 준비하고 있는 경우, 이 픽쳐 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그의 값에 따라서, 픽쳐 단위로, 평균치(DC) 예측 및 수평 방향 예측의 예측 화상 생성 블록 상단의 필터 처리를 ON/OFF로 전환하도록 한다.

이와 같이 하는 것에 의해, 상기와 같이 구성한 도 1의 화상 부호화 장치에서 생성한 부호화 비트스트림과 동일한 예측 화상을 생성할 수 있다.

또한, 인트라 예측부(34)는, 휘도 신호에 대해서는, 휘도 신호에 대한 상기 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여, 휘도 신호의 예측 화상을 생성한다.

한편, 색차 신호에 대해서는, 색차 신호의 인트라 예측 파라미터에 근거하는 인트라 예측 처리를 실시하여, 색차 신호의 예측 화상을 생성한다.

도 23은 색차 신호의 인트라 예측 파라미터(인덱스 값)와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.

색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 왼쪽에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.

또, 입력 신호 포맷이 YUV4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 화상 부호화 장치가 구성되어 있는 경우, 그 화상 부호화 장치로부터 생성되는 부호화 비트스트림을 복호할 수 있도록 화상 복호 장치도 동일한 구성으로 한다.

YUV4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.

또한, 입력 신호 포맷이 YUV4:2:2 신호인 경우, 도 27에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소수가 1/2가 되는 장방형의 블록이 된다. 따라서, 도 28에 나타내는 바와 같이, YUV4:4:4 신호를 YUV4:2:2 신호로 변환했을 때에, 휘도 신호와 색차 신호에서 동일 방향의 예측이 되도록 하기 위해서는, YUV4:2:2 신호상에서는, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.

구체적으로는, 도 29에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 v_L=(dx_L, dy_L)로 한 경우, 색차 신호의 예측 방향 벡터는, v_C=(dx_L/2, dy_L)이 된다. 즉, 도 30에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θ_L, 색차 신호의 예측 방향의 각도를 θ_C로 하여, tanθ_C=2tanθ_L의 관계가 되는 예측 방향에서 예측할 필요가 있다.

따라서, 휘도 신호와 색차 신호에서 동일 방향의 예측을 행하는 상기 DM 모드를 올바르게 실시할 수 있도록 하기 위해, 입력 신호 포맷이 YUV4:2:2 신호인 경우, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다.

도 31은 도 7의 인트라 예측 모드에 있어서의 인트라 예측 모드 인덱스의 변환예를 나타내고 있다.

도 31의 변환 테이블은, 예측 방향의 각도가 θ일 때(도 30을 참조), 인트라 예측 모드의 방향성 예측이 도 32에 나타내는 tanθ가 되는 각도인 경우, tanθ_C=2tanθ_L의 관계에 가장 가까운 각도 θ_C로 변환하는 테이블의 예이다.

변환 처리의 실현은, 상기와 같이, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조하는 것에 의해 인덱스를 변환하도록 구성하더라도 좋고, 변환식을 준비하고, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.

이와 같이 구성하는 것에 의해, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로 YUV4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.

또한, 색차 신호에 대하여, 상기 LM 모드를 행하지 않도록 화상 부호화 장치가 구성되어 있는 경우, 그 화상 부호화 장치로부터 생성되는 부호화 비트스트림을 복호할 수 있도록 화상 복호 장치도 동일한 구성으로 한다.

이때의 색차 신호의 인트라 예측 파라미터(인덱스 값)와 색차 인트라 예측 모드의 대응예로서, 도 24를 들 수 있다.

이와 같이 LM 모드도 이용하지 않도록 하는 것에 의해, 예측 대상 화소의 휘도 신호와 색차 신호의 의존성이 없어지기 때문에, 휘도 신호와 색차 신호의 예측 처리의 병렬화가 가능하게 되어, 고속의 연산 처리를 실현할 수 있다.

또한, 색차 신호에서는, 색차 신호의 수직 방향 예측 및 수평 방향 예측에 대해서는, 블록 경계의 필터 처리를 행하지 않고, MPEG-4 AVC/H.264와 동일한 예측 수법으로서 화상 부호화 장치가 구성되어 있는 경우, 그 화상 부호화 장치로부터 생성되는 부호화 비트스트림을 복호할 수 있도록 화상 복호 장치도 동일한 구성으로 한다.

이와 같이 필터 처리를 행하지 않는 것에 의해, 예측 처리의 저연산화를 도모할 수 있다.

움직임 보상부(35)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인터 부호화 모드(m(Bⁿ)∈INTER)인 경우(스텝 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 움직임 벡터와 인터 예측 파라미터를 받아서, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 필터 처리 후의 복호 화상을 참조하면서, 그 움직임 벡터와 인터 예측 파라미터를 이용한 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인터 예측 처리를 실시하여 인터 예측 화상 P_INTERi ⁿ을 생성한다(스텝 ST27).

역 양자화ㆍ역 변환부(32)는, 가변 길이 복호부(31)로부터 압축 데이터 및 예측 차분 부호화 파라미터를 받으면, 도 1의 역 양자화ㆍ역 변환부(8)와 동일한 순서로, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 변환 블록 단위로 그 압축 데이터를 역 양자화한다.

이때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 각 헤더 정보가, 해당 슬라이스에서 양자화 매트릭스를 이용하여, 역 양자화 처리를 실시하는 것을 나타내고 있는 경우는, 양자화 매트릭스를 이용하여 역 양자화 처리를 행한다.

이때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 각 직교 변환 사이즈에서 색신호나 부호화 모드(인트라 부호화 또는 인터 부호화)마다 사용하는 양자화 매트릭스를 특정한다.

또한, 역 양자화ㆍ역 변환부(32)는, 변환 블록 단위로 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 도 1의 역 양자화ㆍ역 변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출한다(스텝 ST28).

가산부(36)는, 역 양자화ㆍ역 변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 가산하여 복호 화상을 산출하고, 그 복호 화상을 루프 필터부(38)에 출력함과 아울러, 그 복호 화상을 인트라 예측용 메모리(37)에 저장한다(스텝 ST29).

이 복호 화상이, 이후의 인트라 예측 처리시에 이용되는 복호 완료 화상 신호가 된다.

루프 필터부(38)는, 모든 부호화 블록 Bⁿ에 대한 스텝 ST23~ST29의 처리가 완료되면(스텝 ST30), 가산부(36)로부터 출력된 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한다(스텝 ST31).

구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.

단, 루프 필터부(38)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 해당 슬라이스에서 처리를 행하는지 여부를 특정한다.

이때, 2개 이상의 필터 처리를 행하는 경우에, 예컨대, 화상 부호화 장치의 루프 필터부(11)가 도 11과 같이 구성되어 있는 경우에는, 도 12에 나타내는 바와 같이 루프 필터부(38)가 구성된다.

여기서, 디블로킹 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 헤더 정보를 참조하여, 블록 경계에 적용되는 필터 강도의 선택에 이용하는 각종 파라미터를 초기치로부터 변경하는 정보가 존재하는 경우에는, 그 변경 정보에 근거하여, 디블로킹 필터 처리를 실시한다. 변경 정보가 없는 경우는, 미리 정해진 수법에 따라서 행한다.

화소 적응 오프셋 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 화소 적응 오프셋 처리의 블록 분할 정보에 근거하여 분할하고, 그 블록 단위로, 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하여, 그 인덱스가 "오프셋 처리를 행하지 않는다"는 것을 나타내는 인덱스가 아닌 경우, 블록 단위로 블록 내의 각 화소를 상기 인덱스가 나타내는 클래스 분류 수법에 따라서 클래스 분류한다.

또, 클래스 분류 수법의 후보로서, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스 분류 수법의 후보와 동일한 것이 미리 준비되어 있다.

그리고, 루프 필터부(38)는, 블록 단위의 각 클래스의 오프셋 값을 특정하는 가변 길이 복호부(31)에 의해 가변 길이 복호된 오프셋 정보를 참조하여, 복호 화상의 휘도치에 오프셋을 가산하는 처리를 행한다.

적응 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 클래스마다의 필터를 이용하여, 도 1의 화상 부호화 장치와 동일한 수법으로 클래스 분류한 후에, 그 클래스 분류 정보에 근거하여 필터 처리를 행한다.

이 루프 필터부(38)에 의한 필터 처리 후의 복호 화상이, 움직임 보상 예측용의 참조 화상이 되고, 또한, 재생 화상이 된다.

이상에서 분명한 바와 같이, 본 실시의 형태 1에 의하면, 인터레이스 영상의 필드 페어 부호화에 있어서도, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 동일한 필드로부터 올바르게 재생할 수 있는 부호화 비트스트림을 생성하도록 구성했으므로, 인터레이스 영상의 필드 페어 부호화에 있어서도, 복호 화상을 표시하는 표시 장치는 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 동일한 필드를 우선 표시하도록 구성하면 되고, 표시 처리를 간이하게 행할 수 있는 효과가 있다.

또한, 본 실시의 형태 1에 의하면, 인터레이스 영상의 필드 페어 복호에 있어서도, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 동일한 필드로부터 올바르게 재생할 수 있는 부호화 비트스트림을 올바르게 복호할 수 있는 효과가 있다.

또, 본원 발명은 그 발명의 범위 내에 있어서, 실시의 형태의 임의의 구성 요소의 변형, 또는 실시의 형태의 임의의 구성 요소의 생략이 가능하다.

(산업상이용가능성)

이상과 같이, 본 발명과 관련되는 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치 및 화상 복호 방법은, 인터레이스 영상의 필드 페어 부호화에 있어서도, 부호화 비트스트림의 복호 개시 위치에 관계없이 항상 동일한 필드로부터 올바르게 재생할 수 있는 부호화 비트스트림을 생성하여 부호화할 수 있으므로, 동화상 부호화 장치 및 동화상 복호 장치 등에 유용하다.

1 : 블록 분할부
2 : 부호화 제어부
3 : 전환 스위치
4 : 인트라 예측부(인트라 예측 수단)
5 : 움직임 보상 예측부
6 : 감산부
7 : 변환ㆍ양자화부
8 : 역 양자화ㆍ역 변환부
9 : 가산부
10 : 인트라 예측용 메모리
11 : 루프 필터부
12 : 움직임 보상 예측 프레임 메모리
13 : 가변 길이 부호화부
14 : 슬라이스 분할부
31 : 가변 길이 복호부
32 : 역 양자화ㆍ역 변환부
33 : 전환 스위치
34 : 인트라 예측부(인트라 예측 수단)
35 : 움직임 보상부
36 : 가산부
37 : 인트라 예측용 메모리
38 : 루프 필터부
39 : 움직임 보상 예측 프레임 메모리

Claims (4)

1. 각 프레임이 제 1 필드와 제 2 필드의 2개의 필드로 구성되고, 각 필드를 픽쳐로서 부호화하는 화상 부호화 장치로서,
   특정한 프레임의 제 1 필드를 인트라 예측만으로 예측하는 인트라 픽쳐로서 부호화함과 아울러, 상기 특정한 프레임의 제 1 필드, 상기 특정한 프레임의 제 2 필드, 상기 특정한 프레임의 제 2 필드보다 부호화 순서가 뒤이고 표시 순서가 앞이 되는 픽쳐, 상기 특정한 프레임의 제 2 필드보다 부호화 순서도 표시 순서도 뒤가 되는 픽쳐의 순서로 부호화하도록 설정하는 부호화 설정 수단과,
   상기 특정한 프레임의 제 1 필드가 비트스트림의 도중으로부터의 복호를 개시 가능한 픽쳐인 것을 나타내는 정보를 상기 비트스트림에 다중화하는 다중화 수단
   을 구비하고,
   상기 부호화 설정 수단은, 상기 특정한 프레임의 제 2 필드 및 상기 특정한 프레임의 제 2 필드보다 부호화 순서도 표시 순서도 뒤가 되는 픽쳐에 대하여, 표시 순서로 상기 특정한 프레임의 제 1 필드 이후의 픽쳐만을 인터 예측의 참조 픽쳐로 설정하는
   것을 특징으로 하는 화상 부호화 장치.
   
2. 각 프레임이 제 1 필드와 제 2 필드의 2개의 필드로 구성되고, 각 필드를 픽쳐로서 부호화하는 화상 부호화 방법으로서,
   특정한 프레임의 제 1 필드를 인트라 예측만으로 예측하는 인트라 픽쳐로서 부호화함과 아울러, 상기 특정한 프레임의 제 1 필드, 상기 특정한 프레임의 제 2 필드, 상기 특정한 프레임의 제 2 필드보다 부호화 순서가 뒤이고 표시 순서가 앞이 되는 픽쳐, 상기 특정한 프레임의 제 2 필드보다 부호화 순서도 표시 순서도 뒤가 되는 픽쳐의 순서로 부호화하도록 설정하는 부호화 설정 스텝과,
   상기 특정한 프레임의 제 1 필드가 비트스트림의 도중으로부터의 복호를 개시 가능한 픽쳐인 것을 나타내는 정보를 상기 비트스트림에 다중화하는 다중화 스텝
   을 구비하고,
   상기 부호화 설정 스텝은, 상기 특정한 프레임의 제 2 필드 및 상기 특정한 프레임의 제 2 필드보다 부호화 순서도 표시 순서도 뒤가 되는 픽쳐에 대하여, 표시 순서로 상기 특정한 프레임의 제 1 필드 이후의 픽쳐만을 인터 예측의 참조 픽쳐로 설정하는
   것을 특징으로 하는 화상 부호화 방법.
   
3. 각 프레임이 제 1 필드와 제 2 필드의 2개의 필드로 구성되고, 각 필드가 픽쳐로서 부호화된 비트스트림을 복호하여, 특정한 프레임의 제 1 필드가 상기 비트스트림의 도중으로부터의 복호를 개시 가능한 픽쳐인 것을 나타내는 정보를 얻음과 아울러, 상기 정보로 특정되는 상기 특정한 프레임의 제 1 필드로부터 복호를 개시하는 경우, 상기 특정한 프레임의 제 1 필드, 상기 특정한 프레임의 제 2 필드, 상기 특정한 프레임의 제 2 필드보다 복호 순서도 표시 순서도 뒤가 되는 픽쳐의 순서로 복호하는 것에 의해, 표시 순서로 상기 특정한 프레임의 제 1 필드 이후의 픽쳐를 올바르게 복호하는 복호 수단을 구비하는 것을 특징으로 하는 화상 복호 장치.
   
4. 각 프레임이 제 1 필드와 제 2 필드의 2개의 필드로 구성되고, 각 필드가 픽쳐로서 부호화된 비트스트림을 복호하여, 특정한 프레임의 제 1 필드가 상기 비트스트림의 도중으로부터의 복호를 개시 가능한 픽쳐인 것을 나타내는 정보를 얻음과 아울러, 상기 정보로 특정되는 상기 특정한 프레임의 제 1 필드로부터 복호를 개시하는 경우, 상기 특정한 프레임의 제 1 필드, 상기 특정한 프레임의 제 2 필드, 상기 특정한 프레임의 제 2 필드보다 복호 순서도 표시 순서도 뒤가 되는 픽쳐의 순서로 복호하는 것에 의해, 표시 순서로 상기 특정한 프레임의 제 1 필드 이후의 픽쳐를 올바르게 복호하는 복호 스텝을 구비하는 것을 특징으로 하는 화상 복호 방법.

Images