KR20150139933A - 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법 - Google Patents

Abstract

컬러 화상의 신호 포맷이 YUV 4:2:2이고, 예측 블록에 있어서의 색차 신호의 프레임 내 예측 처리에 이용하는 인트라 예측 파라미터가, 그 예측 블록에 있어서의 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우, 인트라 예측부(4)가, 그 휘도 신호에 대한 인트라 예측 모드를 나타내는 인덱스를 변환하고, 변환 후의 인덱스가 나타내는 인트라 예측 모드로, 그 색차 신호의 프레임 내 예측 처리를 실시한다.

Description

컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법{COLOR IMAGE ENCODING APPARATUS, COLOR IMAGE DECODING APPARATUS, COLOR IMAGE ENCODING METHOD, AND COLOR IMAGE DECODING METHOD}

본 발명은, 컬러 동화상을 고효율로 부호화를 행하는 컬러 화상 부호화 장치 및 컬러 화상 부호화 방법과, 고효율로 부호화되어 있는 컬러 동화상을 복호하는 컬러 화상 복호 장치 및 컬러 화상 복호 방법에 관한 것이다.

예컨대, 이하의 비 특허 문헌 1에 기재되어 있는 종래의 컬러 화상 부호화 장치에서는, 입력된 컬러 화상을 소정의 크기의 최대 부호화 블록으로 분할하고, 또한, 최대 부호화 블록을 보다 미세한 부호화 블록으로 계층 분할한다.

또한, 그 부호화 블록을 더 미세한 예측 블록으로 분할하고, 그 예측 블록에 대한 화면 내 예측이나 움직임 보상 예측을 행하는 것에 의해 예측 오차를 생성한다.

또한, 그 예측 오차를 부호화 블록 내에서 계층적으로 변환 블록으로 분할하고, 각각의 변환 계수를 엔트로피 부호화하는 것에 의해 높은 압축률을 달성하고 있다.

종래의 컬러 화상 부호화 장치에서는, YUV 4:2:0 신호의 부호화를 행하는 경우, 색차 신호의 부호화 블록, 예측 블록 및 변환 블록의 블록 분할 정보를 휘도 신호와 동일하게 하는 것에 의해, 색차 신호의 변환 블록 사이즈와 관련되는 정보를 부호화할 필요를 없게 하여, 색차 신호의 부호화 효율을 높이고 있다.

이때, 색차 신호의 분할 대상 블록의 사이즈가, 취할 수 있는 최소의 블록 사이즈이기 때문에 분할할 수 없는 경우를 제외하고, 색차 신호의 블록 사이즈는 휘도 신호의 블록 사이즈의 종횡 절반의 사이즈가 된다.

(선행 기술 문헌)

(비 특허 문헌)

(비 특허 문헌 1) B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, Y.-K. Wang and T. Wiegand, "High Efficiency Video Coding(HEVC) text specification draft 10(for FDIS & Consent)", doc. JCTVC-L1003, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 12th Meeting, 2013

종래의 컬러 화상 부호화 장치는 이상과 같이 구성되어 있으므로, 컬러 화상의 신호 포맷이 YUV 4:2:0일 때, 색차 신호의 프레임 내 예측 처리에 이용하는 예측 모드가, 휘도 신호의 프레임 내 예측 처리에 이용하는 예측 모드와 동일한 휘도 색차 공통 인트라 예측 모드(DM 모드)인 경우, 도 25에 나타내는 바와 같이, 휘도 신호의 예측 모드가 방향성 예측이면, 색차 신호도 휘도 신호와 동일한 예측 방향(각도)의 방향성 예측을 행하면 된다. 그러나, 컬러 화상의 신호 포맷이 YUV 4:2:2인 경우, 색차 신호는, 수평 방향의 화소만이 휘도 신호의 절반의 화소수로 솎아 내어진 신호이기 때문에, 도 26에 나타내는 바와 같이, 색차 신호의 방향성 예측을 휘도 신호와 동일한 예측 방향(각도)으로 행하여 버리면, 수평 방향의 화소를 솎아 내기 전의 색차 신호로서 생각한 경우, 휘도 신호의 예측 방향과는 상이하고, 색차 신호의 예측 효율이 저하하여 버리는 과제가 있었다.

본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것으로, 컬러 화상의 신호 포맷이 YUV 4:2:2인 경우에도, 색차 신호의 예측 효율의 저하를 초래하는 일 없이, 부호화 효율을 높일 수 있는 컬러 화상 부호화 장치 및 컬러 화상 부호화 방법을 얻는 것을 목적으로 한다.

또한, 본 발명은, 부호화 효율의 개선이 도모되고 있는 부호화 데이터로부터 정확하게 화상을 복호할 수 있는 컬러 화상 복호 장치 및 컬러 화상 복호 방법을 얻는 것을 목적으로 한다.

본 발명과 관련되는 컬러 화상 부호화 장치는, 컬러 화상의 신호 포맷이 YUV 4:2:2인 경우, 인트라 예측 수단이, 휘도 신호에 대한 인트라 예측 모드를 나타내는 인덱스를 변환하고, 변환 후의 인덱스가 나타내는 인트라 예측 모드로, 색차 신호의 프레임 내 예측 처리를 실시하도록 한 것이다.

본 발명에 의하면, 컬러 화상의 신호 포맷이 YUV 4:2:2인 경우, 인트라 예측 수단이, 휘도 신호에 대한 인트라 예측 모드를 나타내는 인덱스를 변환하고, 변환 후의 인덱스가 나타내는 인트라 예측 모드로, 색차 신호의 프레임 내 예측 처리를 실시하도록 구성했으므로, 컬러 화상의 신호 포맷이 YUV 4:2:2인 경우에도, 색차 신호의 예측 효율의 저하를 초래하는 일 없이, 부호화 효율을 높일 수 있는 효과가 있다.

도 1은 본 발명의 실시의 형태 1에 의한 컬러 화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 의한 컬러 화상 부호화 장치의 처리 내용(화상 부호화 방법)을 나타내는 플로차트이다.
도 3은 본 발명의 실시의 형태 1에 의한 컬러 화상 복호 장치를 나타내는 구성도이다.
도 4는 본 발명의 실시의 형태 1에 의한 컬러 화상 복호 장치의 처리 내용(화상 복호 방법)을 나타내는 플로차트이다.
도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.
도 6(a)는 분할 후의 부호화 블록 및 예측 블록의 분포를 나타내고, (b)는 계층 분할에 의해 부호화 모드 m(B_n)이 할당되는 상황을 나타내는 설명도이다.
도 7은 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ이 선택 가능한 인트라 예측 모드의 일례를 나타내는 설명도이다.
도 8은 l_i ⁿ=m_i ⁿ=4의 경우의 예측 화상 생성 블록 내의 화소의 예측치를 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 9는 예측 화상 생성 블록 내의 좌측 위 화소를 원점으로 하는 상대 좌표를 나타내는 설명도이다.
도 10은 양자화 매트릭스의 일례를 나타내는 설명도이다.
도 11은 본 발명의 실시의 형태 1에 의한 컬러 화상 부호화 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 12는 본 발명의 실시의 형태 1에 의한 컬러 화상 복호 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 13은 부호화 비트스트림의 일례를 나타내는 설명도이다.
도 14는 화소 적응 오프셋 처리의 클래스 분류 수법의 인덱스를 나타내는 설명도이다.
도 15는 16×16 화소의 사이즈의 직교 변환에 있어서의 변환 계수의 부호화 순서를 나타내는 설명도이다.
도 16은 16×16 화소의 사이즈의 직교 변환에 있어서의 변환 계수의 분포의 일례를 나타내는 설명도이다.
도 17은 평균치 예측시의 필터 처리에 있어서의 필터의 전환 영역을 나타내는 설명도이다.
도 18은 평균치 예측시의 필터 처리의 참조 화소 배치를 나타내는 설명도이다.
도 19는 필드 부호화시의 인트라 예측 화상에 대한 필터 처리를 나타내는 설명도이다.
도 20은 YUV 4:2:0 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.
도 21은 YUV 4:2:2 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.
도 22는 YUV 4:4:4 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.
도 23은 색차 신호의 인트라 예측 파라미터와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.
도 24는 LM 모드를 이용하지 않는 경우의 색차 신호의 인트라 예측 파라미터와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.
도 25는 YUV 4:2:0 포맷의 신호에 있어서 휘도 신호와 색차 신호에서 동일한 방향성 예측을 이용한 경우를 나타내는 설명도이다.
도 26은 YUV 4:2:2 포맷의 신호에 있어서 휘도 신호와 색차 신호에서 동일한 방향성 예측을 이용한 경우를 나타내는 설명도이다.
도 27은 YUV 4:4:4 포맷과 YUV 4:2:2 포맷의 관계를 나타내는 설명도이다.
도 28은 YUV 4:4:4 포맷의 신호에 있어서 휘도 신호와 색차 신호에서 동일한 방향성 예측을 이용하는 것과 등가가 되는 YUV 4:2:2 포맷에서의 방향성 예측의 예를 나타내는 설명도이다.
도 29는 YUV 4:2:2 포맷의 신호에서의 방향성 예측의 예측 방향 벡터를 나타내는 설명도이다.
도 30은 방향성 예측과 각도의 관계를 나타내는 설명도이다.
도 31은 YUV 4:2:2 포맷의 신호에 있어서 휘도 신호의 인트라 예측 모드 인덱스와 색차 신호의 인트라 예측 모드 인덱스의 관계를 나타내는 설명도이다.
도 32는 인트라 예측 모드 인덱스와 tanθ의 관계를 나타내는 설명도이다.

이하, 본 발명을 보다 상세하게 설명하기 위해, 본 발명을 실시하기 위한 형태에 대하여, 첨부의 도면에 따라서 설명한다.

실시의 형태 1.

도 1은 본 발명의 실시의 형태 1에 의한 컬러 화상 부호화 장치를 나타내는 구성도이다.

이 실시의 형태 1의 컬러 화상 부호화 장치가 처리 대상으로 하는 영상 신호는, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색공간의 컬러 영상 신호 외에, 흑백 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평ㆍ수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호이다.

각 화소의 계조는 8비트이더라도 좋고, 10비트, 12비트 등의 계조이더라도 좋다.

또한, 입력 신호는 영상 신호가 아니고 정지 화상 신호이더라도 좋은 것은, 정지 화상 신호를 1프레임만으로 구성되는 영상 신호로 해석할 수 있는 것으로부터 당연하다.

이하의 설명에 있어서는, 편의상, 특별히 언급하지 않는 한, 입력되는 영상 신호가, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 종횡 모두 2분의 1로 서브 샘플된 YUV 4:2:0 포맷, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 횡 방향으로 2분의 1로 서브 샘플된 YUV 4:2:2 포맷, 혹은, 2개의 색차 성분 U, V가 휘도 성분 Y와 동일한 샘플수인 YUV 4:4:4 포맷의 신호인 것으로 한다. 또한, 적색(R), 녹색(G), 청색(B)의 삼원색의 신호로 이루어지는 RGB 4:4:4 포맷의 신호에 대해서는, 각각의 신호를 YUV 4:4:4 포맷의 신호로 간주하여 YUV 4:4:4 포맷과 동일한 부호화를 행한다. 단, RGB 4:4:4 포맷의 각 신호(RGB)의 YUV 4:4:4 포맷의 각 신호(YUV)로의 대응짓기에 대해서는 한정하지 않는다(임의로 설정할 수 있다).

또, 영상의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」라고 칭하고, 이 실시의 형태 1에서는, 「픽쳐」는 순차 주사(프로그레시브 스캔)된 영상 프레임의 신호로서 설명을 행한다. 단, 영상 신호가 인터레이스 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이더라도 좋다.

도 1에 있어서, 슬라이스 분할부(14)는 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 슬라이스 분할 정보에 따라서 하나 이상의 "슬라이스"라고 하는 부분 화상으로 분할하는 처리를 실시한다. 슬라이스의 분할 단위는, 후술하는 부호화 블록 단위까지 미세하게 할 수 있다.

블록 분할부(1)는 슬라이스 분할부(14)에 의해 분할된 슬라이스를 입력할 때마다, 그 슬라이스를 부호화 제어부(2)에 의해 결정된 최대 사이즈의 부호화 블록인 최대 부호화 블록으로 분할함과 아울러, 부호화 제어부(2)에 의해 결정된 상한의 계층수에 이를 때까지, 그 최대 부호화 블록을 계층적으로 각 부호화 블록으로 분할하는 처리를 실시한다.

즉, 블록 분할부(1)는 슬라이스를 부호화 제어부(2)에 의해 결정된 분할에 따라서 각 부호화 블록으로 분할하고, 그 부호화 블록을 출력하는 처리를 실시한다. 또한, 각 부호화 블록은 예측 처리 단위가 되는 하나 내지 복수의 예측 블록으로 분할된다.

부호화 제어부(2)는 부호화 처리가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정하는 것에 의해, 각각의 부호화 블록의 사이즈를 결정하는 처리를 실시한다.

또한, 부호화 제어부(2)는 선택 가능한 하나 이상의 부호화 모드(예측 처리 단위를 나타내는 예측 블록의 사이즈 등이 상이한 하나 이상의 인트라 부호화 모드, 예측 블록의 사이즈 등이 상이한 하나 이상의 인터 부호화 모드) 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 적용하는 부호화 모드를 선택하는 처리를 실시한다. 선택 수법의 예로서는, 선택 가능한 하나 이상의 부호화 모드 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 대한 부호화 효율이 가장 높은 부호화 모드를 선택하는 수법이 있다.

또한, 부호화 제어부(2)는 부호화 효율이 가장 높은 부호화 모드가 인트라 부호화 모드인 경우, 그 인트라 부호화 모드로 부호화 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터를 상기 인트라 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하고, 부호화 효율이 가장 높은 부호화 모드가 인터 부호화 모드인 경우, 그 인터 부호화 모드로 부호화 블록에 대한 인터 예측 처리를 실시할 때에 이용하는 인터 예측 파라미터를 상기 인터 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하는 처리를 실시한다.

또한, 부호화 제어부(2)는 변환ㆍ양자화부(7) 및 역 양자화ㆍ역 변환부(8)에 주는 예측 차분 부호화 파라미터를 결정하는 처리를 실시한다. 예측 차분 부호화 파라미터에는, 부호화 블록에 있어서의 직교 변환 처리 단위가 되는 변환 블록의 분할 정보를 나타내는 변환 블록 분할 정보나, 변환 계수의 양자화를 행할 때의 양자화 스텝 사이즈를 규정하는 양자화 파라미터 등이 포함된다.

여기서, 도 20은 YUV 4:2:0 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리(변환 처리, 양자화 처리)를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.

변환 블록 사이즈는, 도 20에 나타내는 바와 같이, 부호화 블록을 사지 트리(quadtree) 형상으로 계층 분할하는 것에 의해 결정된다.

예컨대, 변환 블록을 분할하는 경우와 변환 블록을 분할하지 않는 경우에서의 부호량이나, 부호화 오차를 가미한 평가 척도 등에 근거하여, 평가치가 최소가 되도록 변환 블록을 분할하는지 여부를 결정하는 것에 의해, 부호량과 부호화 오차의 트레이드오프의 관점으로부터 최적의 변환 블록의 분할 형상을 결정할 수 있다.

휘도 신호에 대해서는, 예컨대, 도 20에 나타내는 바와 같이, 부호화 블록이 하나 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.

색차 신호에 대해서는, 도 20에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:0 신호인 경우, 휘도 신호와 동일하게, 부호화 블록이 하나 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.

이 경우, 색차 신호의 변환 블록 사이즈는, 대응하는 휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈가 된다.

도 21에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 휘도 신호와 동일한 사지 트리 형상의 계층 분할을 행한다. 또한, 분할한 블록의 형상이, 수직 방향의 화소수가 수평 방향의 화소수의 2배가 되는 장방형이 되기 때문에, 분할한 블록을 상하로 2개의 블록으로 더 분할하는 것에 의해, YUV 4:2:0 신호에서의 색차 신호와 동일한 블록 사이즈(휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈)의 변환 블록 2개로 구성하도록 한다.

또한, 도 22에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:4:4 신호인 경우, 색차 신호의 변환 블록은, 항상 휘도 신호의 변환 블록과 동일한 분할을 행하고, 동일한 사이즈의 변환 블록이 되도록 구성한다.

휘도 신호의 변환 블록의 분할 정보는, 예컨대, 계층마다 분할하는지 여부를 나타내는 변환 블록 분할 플래그로서 가변 길이 부호화부(13)에 출력한다.

전환 스위치(3)는 부호화 제어부(2)에 의해 결정된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(2)에 의해 결정된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.

인트라 예측부(4)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인트라 부호화 모드가 선택된 경우, 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다. 또, 인트라 예측부(4)는 인트라 예측 수단을 구성하고 있다.

즉, 인트라 예측부(4)는, 휘도 신호에 대해서는, 휘도 신호의 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여, 휘도 신호의 예측 화상을 생성한다.

한편, 색차 신호에 대해서는, 색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 좌측에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.

또, 입력 신호 포맷이 YUV 4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 구성하더라도 좋다.

YUV 4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.

또한, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 도 27에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소수가 1/2가 되는 장방형의 블록이 된다. 따라서, 도 28에 나타내는 바와 같이, YUV 4:4:4 신호를 YUV 4:2:2 신호로 변환했을 때에, 휘도 신호와 색차 신호에서 동일 방향의 예측이 되도록 하기 위해서는, YUV 4:2:2 신호상에서는, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.

구체적으로는, 도 29에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 v_L=(dx_L, dy_L)로 한 경우, 색차 신호의 예측 방향 벡터는, v_C=(dx_L/2, dy_L)이 된다. 즉, 도 30에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θ_L, 색차 신호의 예측 방향의 각도를 θ_C로 하여, tanθ_C=2tanθ_L의 관계가 되는 예측 방향에서 예측할 필요가 있다.

따라서, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 상기 DM 모드를 실시할 때에는, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다. 구체적으로는, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조하는 것에 의해, 인덱스를 변환하도록 구성하더라도 좋고, 미리 변환식을 준비하고, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.

이와 같이 구성하는 것에 의해, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로, YUV 4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.

움직임 보상 예측부(5)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인터 부호화 모드가 선택된 경우, 부호화 블록과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 1프레임 이상의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 참조하는 프레임 번호 등의 인터 예측 파라미터를 이용하여, 그 부호화 블록에 대한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.

감산부(6)는 블록 분할부(1)에서 출력된 부호화 블록으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 감산하여, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호를 변환ㆍ양자화부(7)에 출력하는 처리를 실시한다.

변환ㆍ양자화부(7)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 변환 블록 분할 정보를 참조하여, 감산부(6)로부터 출력된 예측 차분 신호에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 변환 블록 단위로 실시하여 변환 계수를 산출함과 아울러, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력하는 처리를 실시한다.

변환ㆍ양자화부(7)는 변환 계수를 양자화할 때, 상기 양자화 파라미터로부터 산출되는 양자화 스텝 사이즈를 변환 계수마다 스케일링하는 양자화 매트릭스를 이용하여, 변환 계수의 양자화 처리를 실시하도록 하더라도 좋다.

여기서, 도 10은 4×4 DCT의 양자화 매트릭스의 일례를 나타내는 설명도이다.

도면 중의 숫자는, 각 변환 계수의 양자화 스텝 사이즈의 스케일링 값을 나타내고 있다.

예컨대, 부호화 비트 레이트를 억제하기 위해, 도 10에 나타내는 바와 같이, 고역의 변환 계수일수록, 양자화 스텝 사이즈를 큰 값으로 스케일링하는 것에 의해, 복잡한 화상 영역 등에서 발생하는 고역의 변환 계수를 억제하여 부호량을 억제하면서, 주관 품질에 크게 영향을 주는 저역의 계수의 정보를 줄이지 않고서 부호화할 수 있다.

이와 같이, 변환 계수마다의 양자화 스텝 사이즈를 제어하고 싶은 경우에는 양자화 매트릭스를 이용하면 된다.

또한, 양자화 매트릭스는, 각 직교 변환 사이즈로 색 신호나 부호화 모드(인트라 부호화 또는 인터 부호화)마다 독립한 매트릭스를 사용할 수 있고, 초기치로서, 미리 컬러 화상 부호화 장치 및 컬러 화상 복호 장치에서 미리 공통으로 준비되어 있는 양자화 매트릭스나 이미 부호화된 양자화 매트릭스 중에서 선택할지, 새로운 양자화 매트릭스를 이용할지를 각각 선택할 수 있다.

따라서, 변환ㆍ양자화부(7)는, 각 직교 변환 사이즈에 대하여 색 신호나 부호화 모드마다, 새로운 양자화 매트릭스를 이용하는지 여부를 나타내는 플래그 정보를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.

또한, 새로운 양자화 매트릭스를 이용하는 경우에는, 도 10에 나타내는 바와 같은 양자화 매트릭스의 각 스케일링 값을 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.

한편, 새로운 양자화 매트릭스를 이용하지 않는 경우에는, 초기치로서, 컬러 화상 부호화 장치 및 컬러 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 부호화된 양자화 매트릭스 중에서, 사용하는 매트릭스를 특정하는 인덱스를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다. 단, 참조 가능한 이미 부호화된 양자화 매트릭스가 존재하지 않는 경우, 컬러 화상 부호화 장치 및 컬러 화상 복호 장치에서 미리 공통으로 준비되어 있는 양자화 매트릭스만 선택 가능하게 된다.

역 양자화ㆍ역 변환부(8)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 변환 블록 단위로 변환ㆍ양자화부(7)로부터 출력된 압축 데이터를 역 양자화함과 아울러, 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호에 상당하는 국소 복호 예측 차분 신호를 산출하는 처리를 실시한다. 또, 변환ㆍ양자화부(7)가 양자화 매트릭스를 이용하여, 양자화 처리를 실시하고 있는 경우에는, 역 양자화 처리시에 있어서도, 그 양자화 매트릭스를 참조하여, 대응하는 역 양자화 처리를 실시한다.

가산부(9)는 역 양자화ㆍ역 변환부(8)에 의해 산출된 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 가산하여, 블록 분할부(1)로부터 출력된 부호화 블록에 상당하는 국소 복호 화상을 산출하는 처리를 실시한다.

인트라 예측용 메모리(10)는 가산부(9)에 의해 산출된 국소 복호 화상을 저장하는 기록 매체이다.

루프 필터부(11)는 가산부(9)에 의해 산출된 국소 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 국소 복호 화상을 출력하는 처리를 실시한다.

구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.

단, 루프 필터부(11)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리 및 적응 필터 처리의 각각에 대하여, 처리를 행하는지 여부를 결정하고, 각 처리의 유효 플래그를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다. 또, 상기의 필터 처리를 복수 사용할 때는, 각 필터 처리를 차례로 실시한다. 도 11은 복수의 필터 처리를 이용하는 경우의 루프 필터부(11)의 구성예를 나타내고 있다.

일반적으로 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상되지만, 한편 처리 부하는 높아진다. 즉, 화상 품질과 처리 부하는 트레이드오프의 관계에 있다. 또한, 각 필터 처리의 화상 품질 개선 효과는 필터 처리 대상 화상의 특성에 따라서 상이하다. 따라서, 컬러 화상 부호화 장치가 허용하는 처리 부하나 부호화 처리 대상 화상의 특성에 따라서 사용하는 필터 처리를 결정하면 된다. 예컨대, 도 11의 구성보다 처리가 불가한 빈도를 삭감하고 싶은 경우, 디블로킹 필터 처리와 화소 적응 오프셋 처리만으로 구성한다고 하는 것을 생각할 수 있다.

여기서, 디블로킹 필터 처리에서는, 블록 경계에 가하는 필터 강도의 선택에 이용하는 각종 파라미터를 초기치로부터 변경할 수 있다. 변경하는 경우에는, 그 파라미터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

화소 적응 오프셋 처리에서는, 최초로, 화상을 복수의 블록으로 분할하고, 그 블록 단위로, 오프셋 처리를 행하지 않는 경우도 클래스 분류 방법의 하나로서 정의하여, 미리 준비되어 있는 복수의 클래스 분류 수법 중에서, 하나의 클래스 분류 수법을 선택한다.

다음으로, 선택한 클래스 분류 수법에 의해, 블록 내의 각 화소를 클래스 분류하고, 클래스마다 부호화 왜곡을 보상하는 오프셋 값을 산출한다.

마지막으로, 국소 복호 화상의 휘도치에 대하여, 그 오프셋 값을 가산하는 처리를 행하는 것에 의해 국소 복호 화상의 화상 품질을 개선한다.

따라서, 화소 적응 오프셋 처리에서는, 블록 분할 정보, 각 블록의 클래스 분류 수법을 나타내는 인덱스, 블록 단위의 각 클래스의 오프셋 값을 특정하는 오프셋 정보를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

또, 화소 적응 오프셋 처리에 있어서, 예컨대, 최대 부호화 블록이라고 하는 고정 사이즈의 블록 단위로 항상 분할하고, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행하더라도 좋다. 이 경우, 상기 블록 분할 정보가 불필요하게 되어, 블록 분할 정보에 필요로 하는 부호량만큼 부호량이 삭감되어, 부호화 효율을 높일 수 있다.

적응 필터 처리에서는, 국소 복호 화상을 소정의 수법으로 클래스 분류하고, 각 클래스에 속하는 영역(국소 복호 화상)마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 해당 국소 복호 화상의 필터 처리를 실시한다.

그리고, 클래스마다 설계한 필터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

클래스 분류 수법으로서는, 화상을 공간적으로 동일한 간격으로 나누는 간이한 수법이나, 블록 단위로 화상의 국소적인 특성(분산 등)에 따라 분류하는 수법이 있다.

또한, 적응 필터 처리에서 사용하는 클래스 수는, 미리 컬러 화상 부호화 장치 및 컬러 화상 복호 장치에 공통의 값으로서 설정하더라도 좋고, 부호화해야 할 파라미터로 하더라도 좋다.

전자와 비교하여 후자가, 사용하는 클래스 수를 자유롭게 설정할 수 있기 때문에, 화상 품질 개선 효과가 올라가지만, 한편으로 클래스 수를 부호화하기 때문에, 그만큼의 부호량이 증가한다.

또, 화소 적응 오프셋 처리 및 적응 필터 처리를 행하는 경우에는, 도 11에 나타내는 바와 같이, 영상 신호를 루프 필터부(11)에서 참조할 필요가 있기 때문에, 영상 신호가 루프 필터부(11)에 입력되도록, 도 1의 컬러 화상 부호화 장치를 변경할 필요가 있다.

움직임 보상 예측 프레임 메모리(12)는 루프 필터부(11)의 필터 처리 후의 국소 복호 화상을 저장하는 기록 매체이다.

가변 길이 부호화부(13)는 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)의 출력 신호(최대 부호화 블록 내의 블록 분할 정보, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터 또는 인터 예측 파라미터)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하여 부호화 데이터를 생성한다.

또한, 가변 길이 부호화부(13)는, 도 13에 예시하는 바와 같이, 부호화 비트스트림의 헤더 정보로서, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더를 부호화하고, 픽쳐 데이터와 함께 부호화 비트스트림을 생성한다.

단, 픽쳐 데이터는 하나 이상의 슬라이스 데이터로 구성되고, 각 슬라이스 데이터는 슬라이스 레벨 헤더와 해당 슬라이스 내에 있는 상기 부호화 데이터를 합친 것이다.

시퀀스 레벨 헤더는, 화상 사이즈, 색 신호 포맷, 휘도 신호나 색차 신호의 신호치의 비트 심도, 시퀀스 단위로의 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)의 유효 플래그 정보, 양자화 매트릭스의 유효 플래그 정보 등, 일반적으로 시퀀스 단위로 공통이 되는 헤더 정보를 합친 것이다.

픽쳐 레벨 헤더는, 참조하는 시퀀스 레벨 헤더의 인덱스나 움직임 보상시의 참조 픽쳐 수, 엔트로피 부호화의 확률 테이블 초기화 플래그, 양자화 매트릭스 파라미터 등, 픽쳐 단위로 설정하는 헤더 정보를 합친 것이다.

슬라이스 레벨 헤더는, 해당 슬라이스가 픽쳐의 어느 위치에 있는지를 나타내는 위치 정보, 어느 픽쳐 레벨 헤더를 참조하는지를 나타내는 인덱스, 슬라이스의 부호화 타입(올 인트라 부호화, 인터 부호화 등), 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)를 행하는지 여부를 나타내는 플래그 정보 등의 슬라이스 단위의 파라미터를 합친 것이다.

도 1의 예에서는, 컬러 화상 부호화 장치의 구성 요소인 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8), 가산부(9), 인트라 예측용 메모리(10), 루프 필터부(11), 움직임 보상 예측 프레임 메모리(12), 가변 길이 부호화부(13) 및 슬라이스 분할부(14)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 컬러 화상 부호화 장치가 컴퓨터로 구성되는 경우, 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8), 가산부(9), 루프 필터부(11), 가변 길이 부호화부(13) 및 슬라이스 분할부(14)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.

도 2는 본 발명의 실시의 형태 1에 의한 컬러 화상 부호화 장치의 처리 내용(화상 부호화 방법)을 나타내는 플로차트이다.

도 3은 본 발명의 실시의 형태 1에 의한 컬러 화상 복호 장치를 나타내는 구성도이다.

도 3에 있어서, 가변 길이 복호부(31)는 도 1의 컬러 화상 부호화 장치에 의해 생성된 부호화 비트스트림을 입력하면, 그 비트스트림으로부터 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 슬라이스 레벨 헤더 등의 각 헤더 정보를 복호함과 아울러, 그 비트스트림으로부터, 계층적으로 분할되어 있는 각각의 부호화 블록의 분할 상황을 나타내는 블록 분할 정보를 가변 길이 복호한다.

이때, 상기 헤더 정보에 포함되는 양자화 매트릭스의 유효 플래그 정보가 "유효"를 나타내는 경우, 가변 길이 복호부(31)는 양자화 매트릭스 파라미터를 가변 길이 복호하고, 양자화 매트릭스를 특정한다. 구체적으로는, 각 직교 변환 사이즈의 색 신호나 부호화 모드마다, 양자화 매트릭스 파라미터가 초기치로서, 컬러 화상 부호화 장치 및 컬러 화상 복호 장치에서 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 복호된 양자화 매트릭스인(새로운 양자화 매트릭스가 아닌) 것을 나타내는 경우는, 상기 매트릭스 중 어느 양자화 매트릭스인지를 특정하는 인덱스 정보를 참조하여 양자화 매트릭스를 특정하고, 양자화 매트릭스 파라미터가 새로운 양자화 매트릭스를 이용하는 것을 나타내는 경우는, 양자화 매트릭스 파라미터에 포함되는 양자화 매트릭스를 사용하는 양자화 매트릭스로서 특정한다.

또한, 가변 길이 복호부(31)는, 각 헤더 정보를 참조하여, 슬라이스 분할 상태를 특정함과 아울러, 각 슬라이스의 슬라이스 데이터에 포함되는 최대 부호화 블록을 특정하고, 블록 분할 정보를 참조하여, 최대 부호화 블록을 계층적으로 분할하여 복호 처리를 행하는 단위인 부호화 블록을 특정하고, 각각의 부호화 블록과 관련되는 압축 데이터, 부호화 모드, 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우), 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우), 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우) 및 예측 차분 부호화 파라미터를 가변 길이 복호하는 처리를 실시한다.

역 양자화ㆍ역 변환부(32)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 압축 데이터를 변환 블록 단위로 역 양자화함과 아울러, 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 도 1의 역 양자화ㆍ역 변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출하는 처리를 실시한다.

여기서, 상기 변환 블록 분할 정보로부터, 부호화 블록에 있어서의 변환 블록의 분할 상태를 특정한다. 예컨대, YUV 4:2:0 포맷의 신호의 경우, 변환 블록 사이즈는, 도 20에 나타내는 바와 같이, 부호화 블록을 사지 트리 형상으로 계층 분할하는 것에 의해 결정된다.

휘도 신호에 대해서는, 예컨대, 도 20에 나타내는 바와 같이, 부호화 블록이 하나 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.

색차 신호에 대해서는, 도 20에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:0 신호인 경우, 휘도 신호와 동일하게, 부호화 블록이 하나 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다. 이 경우, 색차 신호의 변환 블록 사이즈는, 대응하는 휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈가 된다.

도 21에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 휘도 신호와 동일한 사지 트리 형상의 계층 분할을 행한다. 또한, 분할한 블록의 형상이, 수직 방향의 화소수가 수평 방향의 화소수의 2배가 되는 장방형이 되기 때문에, 분할한 블록을 상하로 2개의 블록으로 더 분할하는 것에 의해, YUV 4:2:0 신호에서의 색차 신호와 동일한 블록 사이즈(휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈)의 변환 블록 2개로 구성하도록 한다.

도 22에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:4:4 신호인 경우, 색차 신호의 변환 블록은, 항상 휘도 신호의 변환 블록과 동일한 분할을 행하고, 동일한 사이즈의 변환 블록이 되도록 구성한다.

또한, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보가, 해당 슬라이스에서 양자화 매트릭스를 이용하여, 역 양자화 처리를 실시하는 것을 나타내고 있는 경우, 양자화 매트릭스를 이용하여 역 양자화 처리를 행한다.

구체적으로는, 각 헤더 정보로부터 특정되는 양자화 매트릭스를 이용하여 역 양자화 처리를 행한다.

전환 스위치(33)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인트라 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(34)에 출력하고, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인터 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력하는 처리를 실시한다.

인트라 예측부(34)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 부호화 블록과 관련되는 부호화 모드가 인트라 부호화 모드인 경우, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다. 또, 인트라 예측부(34)는 인트라 예측 수단을 구성하고 있다.

즉, 인트라 예측부(34)는, 휘도 신호에 대해서는, 휘도 신호에 대한 상기 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여, 휘도 신호의 예측 화상을 생성한다.

한편, 색차 신호에 대해서는, 색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 좌측에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.

또, 입력 신호 포맷이 YUV 4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 컬러 화상 부호화 장치가 구성되어 있는 경우, 그 컬러 화상 부호화 장치로부터 생성되는 비트스트림을 복호할 수 있도록 컬러 화상 복호 장치도 동일한 구성으로 한다.

YUV 4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.

또한, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 도 27에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소수가 1/2가 되는 장방형의 블록이 된다. 따라서, 도 28에 나타내는 바와 같이, YUV 4:4:4 신호를 YUV 4:2:2 신호로 변환했을 때에, 휘도 신호와 색차 신호에서 동일 방향의 예측이 되도록 하기 위해서는, YUV 4:2:2 신호상에서는, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.

구체적으로는, 도 29에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 v_L=(dx_L, dy_L)로 한 경우, 색차 신호의 예측 방향 벡터는, v_C=(dx_L/2, dy_L)이 된다. 즉, 도 30에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θ_L, 색차 신호의 예측 방향의 각도를 θ_C로 하여, tanθ_C=2tanθ_L의 관계가 되는 예측 방향에서 예측할 필요가 있다.

따라서, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 상기 DM 모드를 실시할 때에는, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다. 구체적으로는, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조하는 것에 의해, 인덱스를 변환하도록 구성하더라도 좋고, 미리 변환식을 준비하여, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.

이와 같이 구성하는 것에 의해, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로, YUV 4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.

움직임 보상부(35)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 부호화 블록과 관련되는 부호화 모드가 인터 부호화 모드인 경우, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.

가산부(36)는 역 양자화ㆍ역 변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상을 가산하여, 도 1의 가산부(9)로부터 출력된 국소 복호 화상과 동일한 복호 화상을 산출하는 처리를 실시한다.

인트라 예측용 메모리(37)는 가산부(36)에 의해 산출된 복호 화상을 인트라 예측 처리에서 이용하는 참조 화상으로서 저장하는 기록 매체이다.

루프 필터부(38)는 가산부(36)에 의해 산출된 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 복호 화상을 출력하는 처리를 실시한다.

구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.

단, 루프 필터부(38)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 해당 슬라이스에서 행하는지 여부를 특정한다.

이때, 2개 이상의 필터 처리를 행하는 경우에 있어서, 예컨대, 컬러 화상 부호화 장치의 루프 필터부(11)가 도 11과 같이 구성되어 있으면, 도 12에 나타내는 바와 같이 루프 필터부(38)가 구성된다. 당연히, 컬러 화상 부호화 장치의 루프 필터부(11)가 디블로킹 필터 처리와 화소 적응 오프셋 처리로 구성되어 있으면, 루프 필터부(38)도 디블로킹 필터 처리와 화소 적응 오프셋 처리로 구성된다.

여기서, 디블로킹 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 헤더 정보를 참조하여, 블록 경계에 가하는 필터 강도의 선택에 이용하는 각종 파라미터를 초기치로부터 변경하는 정보가 존재하는 경우, 그 변경 정보에 근거하여, 디블로킹 필터 처리를 실시한다. 변경 정보가 없는 경우는, 미리 정해진 수법에 따라서 행한다.

화소 적응 오프셋 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 화소 적응 오프셋 처리의 블록 분할 정보에 근거하여 복호 화상을 분할하고, 그 블록 단위로, 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하여, 그 인덱스가 "오프셋 처리를 행하지 않는다"는 것을 나타내는 인덱스가 아닌 경우, 블록 단위로 블록 내의 각 화소를 상기 인덱스가 나타내는 클래스 분류 수법에 따라서 클래스 분류한다.

또, 클래스 분류 수법의 후보로서, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스 분류 수법의 후보와 동일한 것이 미리 준비되어 있다.

그리고, 블록 단위의 각 클래스의 오프셋 값을 특정하는 오프셋 정보를 참조하여, 복호 화상의 휘도치에 오프셋을 가산하는 처리를 행한다.

단, 컬러 화상 부호화 장치의 루프 필터부(11)의 화소 적응 오프셋 처리에 있어서, 블록 분할 정보는 부호화하지 않고서, 항상 화상을 고정 사이즈의 블록 단위(예컨대, 최대 부호화 블록 단위)로 분할하고, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행하도록 구성되어 있는 경우, 루프 필터부(38)에 있어서도, 루프 필터부(11)와 동일한 고정 사이즈의 블록 단위로 화소 적응 오프셋 처리를 실시한다.

적응 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 클래스마다의 필터를 이용하여, 도 1의 컬러 화상 부호화 장치와 동일한 수법으로 클래스 분류한 후에, 그 클래스 분류 정보에 근거하여 필터 처리를 행한다.

움직임 보상 예측 프레임 메모리(39)는 루프 필터부(38)의 필터 처리 후의 복호 화상을 인터 예측 처리(움직임 보상 예측 처리)에서 이용하는 참조 화상으로서 저장하는 기록 매체이다.

도 3의 예에서는, 컬러 화상 복호 장치의 구성 요소인 가변 길이 복호부(31), 역 양자화ㆍ역 변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36), 인트라 예측용 메모리(37), 루프 필터부(38) 및 움직임 보상 예측 프레임 메모리(39)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 컬러 화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(31), 역 양자화ㆍ역 변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36) 및 루프 필터부(38)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.

도 4는 본 발명의 실시의 형태 1에 의한 컬러 화상 복호 장치의 처리 내용(화상 복호 방법)을 나타내는 플로차트이다.

다음으로 동작에 대하여 설명한다.

이 실시의 형태 1에서는, 영상의 각 프레임 화상을 입력 화상으로 하여, 부호화 완료 근방 화소로부터의 인트라 예측 또는 근접 프레임 사이에서의 움직임 보상 예측을 실시하여, 얻어진 예측 차분 신호에 대하여 직교 변환ㆍ양자화에 의한 압축 처리를 실시하고, 그 후, 가변 길이 부호화를 행하여 부호화 비트스트림을 생성하는 컬러 화상 부호화 장치와, 그 컬러 화상 부호화 장치로부터 출력되는 부호화 비트스트림을 복호하는 컬러 화상 복호 장치에 대하여 설명한다.

도 1의 컬러 화상 부호화 장치는, 영상 신호의 공간ㆍ시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 블록으로 분할하여, 프레임 내ㆍ프레임간 적응 부호화를 행하는 것을 특징으로 하고 있다.

일반적으로, 영상 신호는, 공간ㆍ시간적으로 신호의 복잡함이 국소적으로 변화하는 특성을 갖고 있다. 공간적으로 보면, 어느 영상 프레임상에서는, 예컨대, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 갖는 그림도 있는가 하면, 인물이나 미세한 텍스쳐를 포함하는 회화 등, 작은 화상 영역 내에서 복잡한 텍스쳐 패턴을 갖는 그림도 혼재하는 일이 있다.

시간적으로 보아도, 하늘이나 벽은 국소적으로 시간 방향의 그림의 변화는 작지만, 움직이는 인물이나 물체는, 그 윤곽이 시간적으로 강체ㆍ비강체의 운동을 하기 때문에, 시간적인 변화가 크다.

부호화 처리는, 시간ㆍ공간적인 예측에 의해, 신호 전력이나 엔트로피가 작은 예측 차분 신호를 생성하여, 전체의 부호량을 삭감하는 처리를 행하지만, 예측에 이용하는 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 해당 파라미터의 부호량을 작게 할 수 있다.

한편, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대하여, 동일한 예측 파라미터를 큰 화상 영역에 적용하면, 예측의 오류가 증가하여 버리기 때문에, 예측 차분 신호의 부호량이 증가하여 버린다.

따라서, 시간적ㆍ공간적으로 변화가 큰 영역에서는, 동일한 예측 파라미터를 적용하여 예측 처리를 행하는 블록 사이즈를 작게 하여, 예측에 이용하는 파라미터의 데이터량을 늘리고, 예측 차분 신호의 전력ㆍ엔트로피를 저감하는 것이 바람직하다.

이 실시의 형태 1에서는, 이와 같은 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 위해, 최초로 소정의 최대 블록 사이즈로부터 예측 처리 등을 개시하고, 계층적으로 영상 신호의 영역을 분할하고, 분할한 영역마다 예측 처리나, 그 예측 차분의 부호화 처리를 적응화시키는 구성을 취하도록 하고 있다.

최초로, 도 1의 컬러 화상 부호화 장치의 처리 내용을 설명한다.

우선, 부호화 제어부(2)는, 부호화 대상이 되는 픽쳐(커런트 픽쳐)의 슬라이스 분할 상태를 결정함과 아울러, 픽쳐의 부호화에 이용하는 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층수의 상한을 결정한다(도 2의 스텝 ST1).

최대 부호화 블록의 사이즈의 결정 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라서, 모든 픽쳐에 대하여 동일한 사이즈를 정하더라도 좋고, 입력 화상의 영상 신호의 국소적인 움직임의 복잡함의 차이를 파라미터로서 정량화하여, 움직임이 격렬한 픽쳐에는, 작은 사이즈를 정하는 한편, 움직임이 적은 픽쳐에는, 큰 사이즈를 정하도록 하더라도 좋다.

분할 계층수의 상한의 결정 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라서, 모든 픽쳐에 대하여 동일한 계층수를 정하는 방법이나, 입력 화상의 영상 신호의 움직임이 격렬한 경우에는, 계층수를 깊게 하여, 보다 미세한 움직임을 검출할 수 있도록 설정하고, 움직임이 적은 경우에는, 계층수를 억제하도록 설정하는 방법 등이 있다.

또, 상기 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층수의 상한은, 시퀀스 레벨 헤더 등에 부호화하더라도 좋고, 부호화하지 않고 컬러 화상 복호 장치측도 동일한 결정 처리를 행하도록 하더라도 좋다.

전자는 헤더 정보의 부호량이 증가하지만, 컬러 화상 복호 장치측에서 상기 결정 처리를 행하지 않아도 되기 때문에, 컬러 화상 복호 장치의 처리 부하를 억제할 수 있는 것에 더하여, 컬러 화상 부호화 장치측에서 최적의 값을 탐색하여 보낼 수 있다.

후자는 반대로, 컬러 화상 복호 장치측에서 상기 결정 처리를 행하기 때문에, 컬러 화상 복호 장치의 처리 부하가 증가하지만, 헤더 정보의 부호량은 증가하지 않는다.

또한, 상기 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층수의 상한을 시퀀스 레벨 헤더 등에 부호화하는 경우, 분할 계층수의 상한 대신에, 부호화 블록의 최소 블록 사이즈를 부호화하도록 하더라도 좋다. 즉, 최대 부호화 블록을 분할 계층수의 상한까지 분할했을 때의 블록의 사이즈가, 부호화 블록의 최소 블록 사이즈이기 때문에, 컬러 화상 복호 장치측에 있어서, 최대 부호화 블록의 사이즈와 부호화 블록의 최소 블록 사이즈로부터 분할 계층수의 상한을 특정할 수 있다.

또한, 부호화 제어부(2)는, 이용 가능한 하나 이상의 부호화 모드 중에서, 계층적으로 분할되는 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다(스텝 ST2).

즉, 부호화 제어부(2)는, 최대 부호화 블록 사이즈의 화상 영역마다, 먼저 정한 분할 계층수의 상한에 이를 때까지, 계층적으로 부호화 블록 사이즈를 갖는 부호화 블록으로 분할하여, 각각의 부호화 블록에 대한 부호화 모드를 결정한다.

부호화 모드에는, 하나 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」라고 칭한다)와, 하나 내지 복수의 인터 부호화 모드(총칭하여, 「INTER」라고 칭한다)가 있고, 부호화 제어부(2)는, 해당 픽쳐에서 이용 가능한 모든 부호화 모드, 또는, 그 서브셋 중에서, 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다.

단, 후술하는 블록 분할부(1)에 의해 계층적으로 분할되는 각각의 부호화 블록은, 예측 처리를 행하는 단위인 하나 내지 복수의 예측 블록으로 더 분할되고, 예측 블록의 분할 상태도 부호화 모드 중에 정보로서 포함된다. 즉, 부호화 모드는, 어떠한 예측 블록 분할을 갖는 인트라 또는 인터 부호화 모드인지를 식별하는 인덱스이다.

부호화 제어부(2)에 의한 부호화 모드의 선택 방법은, 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예컨대, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.

또한, 부호화 제어부(2)는, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 분할 상태를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 결정한다.

단, 부호화 블록이 예측 처리를 행하는 예측 블록 단위로 더 분할되는 경우는, 예측 블록마다 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택한다.

여기서, 도 20은 4:2:0 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리(변환 처리, 양자화 처리)를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.

변환 블록 사이즈는, 도 20에 나타내는 바와 같이, 부호화 블록을 사지 트리 형상으로 계층 분할하는 것에 의해 결정된다.

예컨대, 변환 블록을 분할하는 경우와 변환 블록을 분할하지 않는 경우에서의 부호량이나, 부호화 오차를 가미한 평가 척도 등에 근거하여, 평가치가 최소가 되도록 변환 블록을 분할하는지 여부를 결정하는 것에 의해, 부호량과 부호화 오차의 트레이드오프의 관점으로부터 최적의 변환 블록의 분할 형상을 결정할 수 있다.

휘도 신호에 대해서는, 예컨대, 도 20에 나타내는 바와 같이, 부호화 블록이 하나 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.

색차 신호에 대해서는, 도 20에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:0 신호인 경우, 휘도 신호와 동일하게, 부호화 블록이 하나 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다. 이 경우, 색차 신호의 변환 블록 사이즈는, 대응하는 휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈가 된다.

도 21에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 휘도 신호와 동일한 사지 트리 형상의 계층 분할을 행한다. 또한, 분할한 블록의 형상이, 수직 방향의 화소수가 수평 방향의 화소수의 2배가 되는 장방형이 되기 때문에, 분할한 블록을 상하로 2개의 블록으로 더 분할하는 것에 의해, YUV 4:2:0 신호에서의 색차 신호와 동일한 블록 사이즈(휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈)의 변환 블록 2개로 구성하도록 한다.

또한, 도 22에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:4:4 신호인 경우, 색차 신호의 변환 블록은, 항상 휘도 신호의 변환 블록과 동일한 분할을 행하여, 동일한 사이즈의 변환 블록이 되도록 구성한다.

부호화 제어부(2)는, 부호화 블록에 있어서의 변환 블록의 분할 정보를 나타내는 변환 블록 분할 정보나, 변환 계수의 양자화를 행할 때의 양자화 스텝 사이즈를 규정하는 양자화 파라미터 등을 포함하는 예측 차분 부호화 파라미터를 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력한다.

또한, 부호화 제어부(2)는, 인트라 예측 파라미터를 필요에 따라서 인트라 예측부(4)에 출력한다.

또한, 부호화 제어부(2)는, 인터 예측 파라미터를 필요에 따라서 움직임 보상 예측부(5)에 출력한다.

슬라이스 분할부(14)는, 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 슬라이스 분할 정보에 따라서 하나 이상의 부분 화상인 슬라이스로 분할한다.

블록 분할부(1)는, 슬라이스 분할부(14)로부터 각 슬라이스를 입력할 때마다, 그 슬라이스를 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈로 분할하고, 분할한 최대 부호화 블록을 부호화 제어부(2)에 의해 결정된 부호화 블록으로 계층적으로 더 분할하여, 그 부호화 블록을 출력한다.

여기서, 도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.

도 5에 있어서, 최대 부호화 블록은, 「제 0 계층」으로 기재되어 있는 휘도 성분이 (L⁰, M⁰)의 사이즈를 갖는 부호화 블록이다.

최대 부호화 블록을 출발점으로 하여, 사지 트리 구조에서 별도로 정하는 소정의 깊이까지, 계층적으로 분할을 행하는 것에 의해 부호화 블록을 얻도록 하고 있다.

깊이 n에 있어서는, 부호화 블록은 사이즈 (Lⁿ, Mⁿ)의 화상 영역이다.

단, Lⁿ과 Mⁿ은, 동일하더라도 좋고, 상이하더라도 좋지만, 도 5에서는, Lⁿ=Mⁿ의 케이스를 나타내고 있다.

이후, 부호화 제어부(2)에 의해 결정되는 부호화 블록 사이즈는, 부호화 블록의 휘도 성분에 있어서의 사이즈 (Lⁿ, Mⁿ)으로 정의한다.

사지 트리 분할을 행하기 때문에, 항상, (L^{n +1}, Mⁿ⁺¹)=(Lⁿ/2, Mⁿ/2)이 성립한다.

또, RGB 신호 등, 모든 색 성분이 동일 샘플수를 갖는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색 성분의 사이즈가 (Lⁿ, Mⁿ)이 되지만, 4:2:0 포맷을 다루는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Lⁿ/2, Mⁿ/2)이 된다.

이후, 제 n 계층의 부호화 블록을 Bⁿ으로 나타내고, 부호화 블록 Bⁿ에서 선택 가능한 부호화 모드를 m(Bⁿ)으로 나타내는 것으로 한다.

복수의 색 성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bⁿ)은, 색 성분마다, 각각 개별의 모드를 이용하도록 구성되더라도 좋고, 모든 색 성분에 대하여 공통의 모드를 이용하도록 구성되더라도 좋다. 이후, 특별히 언급하지 않는 한, YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 하여 설명을 행한다.

부호화 블록 Bⁿ은, 도 5에 나타내는 바와 같이, 블록 분할부(1)에 의해, 예측 처리 단위를 나타내는 하나 내지 복수의 예측 블록으로 분할된다.

이후, 부호화 블록 Bⁿ에 속하는 예측 블록을 P_i ⁿ(i는, 제 n 계층에 있어서의 예측 블록 번호)으로 표기한다. 도 5에는 P₀ ⁰과 P₁ ⁰의 예를 나타내고 있다.

부호화 블록 Bⁿ 내의 예측 블록의 분할이, 어떻게 이루어져 있는지는, 부호화 모드 m(Bⁿ) 중에 정보로서 포함된다.

예측 블록 P_i ⁿ은, 모두 부호화 모드 m(Bⁿ)에 따라서 예측 처리가 행해지지만, 예측 블록 P_i ⁿ마다, 개별의 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.

부호화 제어부(2)는, 최대 부호화 블록에 대하여, 예컨대, 도 6에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록을 특정한다.

도 6(a)의 점선으로 둘러싸인 직사각형이 각 부호화 블록을 나타내고, 각 부호화 블록 내에 있는 사선으로 칠해진 블록이 각 예측 블록의 분할 상태를 나타내고 있다.

도 6(b)는, 도 6(a)의 예에 대하여, 계층 분할에 의해 부호화 모드 m(Bⁿ)이 할당되는 상황을 사지 트리 그래프로 나타낸 것이다. 도 6(b)의 □로 둘러싸여 있는 노드는, 부호화 모드 m(Bⁿ)이 할당된 노드(부호화 블록)이다.

이 사지 트리 그래프의 정보는 부호화 모드 m(Bⁿ)과 함께 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

전환 스위치(3)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드인 경우(m(Bⁿ)∈INTRA의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bⁿ을 인트라 예측부(4)에 출력한다.

한편, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인터 부호화 모드인 경우(m(Bⁿ)∈INTER의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bⁿ을 움직임 보상 예측부(5)에 출력한다.

인트라 예측부(4)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이고(m(Bⁿ)∈INTRA의 경우), 전환 스위치(3)로부터 부호화 블록 Bⁿ을 받으면(스텝 ST3), 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용하여, 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다(스텝 ST4).

단, 상세한 것은 후술하지만, 인트라 예측 화상을 생성하는 처리를 행할 때에, 예측 대상 블록에 인접하는 부호화 완료 화소를 이용하기 때문에, 인트라 예측 화상을 생성하는 처리는, 예측 처리에 이용하는 예측 대상 블록에 인접하는 화소가 이미 부호화 완료 상태가 되도록 항상 변환 블록 단위로 행해지지 않으면 안 된다.

따라서, 부호화 모드가 인트라 부호화 모드인 부호화 블록에서는, 선택 가능한 변환 블록의 블록 사이즈는, 예측 블록의 사이즈 이하로 제한되고, 또한, 변환 블록이 예측 블록보다 작은 경우(예측 블록 내에 복수의 변환 블록이 존재하는 경우)에는, 변환 블록 단위로, 해당 예측 블록에서 정해진 인트라 예측 파라미터를 이용한 인트라 예측 처리를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.

또, 컬러 화상 복호 장치가 인트라 예측 화상 P_INTRAi ⁿ과 완전히 동일한 인트라 예측 화상을 생성할 필요가 있기 때문에, 인트라 예측 화상 P_INTRAi ⁿ의 생성에 이용된 인트라 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

인트라 예측부(4)의 처리 내용의 상세한 것은 후술한다.

움직임 보상 예측부(5)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인터 부호화 모드이고(m(Bⁿ)∈INTER의 경우), 전환 스위치(3)로부터 부호화 블록 Bⁿ을 받으면(스텝 ST3), 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 필터 처리 후의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인터 예측 처리를 실시하여, 인터 예측 화상 P_INTERi ⁿ을 생성한다(스텝 ST5).

또, 컬러 화상 복호 장치가 인터 예측 화상 P_INTERi ⁿ과 완전히 동일한 인터 예측 화상을 생성할 필요가 있기 때문에, 인터 예측 화상 P_INTERi ⁿ의 생성에 이용된 인터 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

또한, 움직임 보상 예측부(5)에 의해 탐색된 움직임 벡터도 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

감산부(6)는, 블록 분할부(1)로부터 부호화 블록 Bⁿ을 받으면, 그 부호화 블록 Bⁿ 내의 예측 블록 P_i ⁿ으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 감산하여, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호 e_i ⁿ을 변환ㆍ양자화부(7)에 출력한다(스텝 ST6).

변환ㆍ양자화부(7)는, 감산부(6)로부터 예측 차분 신호 e_i ⁿ을 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 변환 블록 분할 정보를 참조하여, 그 예측 차분 신호 e_i ⁿ에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 변환 블록 단위로 실시하여, 변환 계수를 산출한다.

또한, 변환ㆍ양자화부(7)는, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력한다(스텝 ST7). 이때, 상기 양자화 파라미터로부터 산출되는 양자화 스텝 사이즈를 변환 계수마다 스케일링하는 양자화 매트릭스를 이용하여 양자화 처리를 실시하도록 하더라도 좋다.

양자화 매트릭스는, 각 직교 변환 사이즈로 색 신호나 부호화 모드(인트라 부호화 또는 인터 부호화)마다 독립하고 있는 매트릭스를 사용할 수 있고, 초기치로서, 컬러 화상 부호화 장치 및 컬러 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스나 이미 부호화된 양자화 매트릭스 중에서 선택하는지, 새로운 양자화 매트릭스를 이용하는지를 각각 선택할 수 있다.

따라서, 변환ㆍ양자화부(7)는, 각 직교 변환 사이즈에 대하여 색 신호나 부호화 모드마다, 새로운 양자화 매트릭스를 이용하는지 여부를 나타내는 플래그 정보를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.

또한, 새로운 양자화 매트릭스를 이용하는 경우에는, 도 10에 나타내는 바와 같은 양자화 매트릭스의 각 스케일링 값을 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.

한편, 새로운 양자화 매트릭스를 이용하지 않는 경우에는, 초기치로서, 컬러 화상 부호화 장치 및 컬러 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 부호화된 양자화 매트릭스 중에서, 사용하는 매트릭스를 특정하는 인덱스를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다. 단, 참조 가능한 이미 부호화된 양자화 매트릭스가 존재하지 않는 경우, 컬러 화상 부호화 장치 및 컬러 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스만 선택 가능하게 된다.

그리고, 변환ㆍ양자화부(7)는, 설정한 양자화 매트릭스 파라미터를 가변 길이 부호화부(13)에 출력한다.

역 양자화ㆍ역 변환부(8)는, 변환ㆍ양자화부(7)로부터 압축 데이터를 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 변환 블록 단위로 그 압축 데이터를 역 양자화한다.

변환ㆍ양자화부(7)가 양자화 처리에 양자화 매트릭스를 이용하고 있는 경우에는, 역 양자화 처리시에 있어서도, 그 양자화 매트릭스를 참조하여, 대응한 역 양자화 처리를 실시한다.

또한, 역 양자화ㆍ역 변환부(8)는, 변환 블록 단위로 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리(예컨대, 역 DCT, 역 DST, 역 KL 변환 등)를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호 e_i ⁿ에 상당하는 국소 복호 예측 차분 신호를 산출하여 가산부(9)에 출력한다(스텝 ST8).

가산부(9)는, 역 양자화ㆍ역 변환부(8)로부터 국소 복호 예측 차분 신호를 받으면, 그 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 가산하는 것에 의해, 국소 복호 화상을 산출한다(스텝 ST9).

또, 가산부(9)는, 그 국소 복호 화상을 루프 필터부(11)에 출력함과 아울러, 그 국소 복호 화상을 인트라 예측용 메모리(10)에 저장한다.

이 국소 복호 화상이, 이후의 인트라 예측 처리시에 이용되는 부호화 완료 화상 신호가 된다.

루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상을 받으면, 그 국소 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 국소 복호 화상을 움직임 보상 예측 프레임 메모리(12)에 저장한다(스텝 ST10).

구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.

단, 루프 필터부(11)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대하여, 처리를 행하는지 여부를 결정하고, 각 처리의 유효 플래그를 시퀀스 레벨 헤더의 일부 및 슬라이스 레벨 헤더의 일부로서 가변 길이 부호화부(13)에 출력한다. 또, 상기의 필터 처리를 복수 사용할 때는, 각 필터 처리를 차례로 실시한다. 도 11은 복수의 필터 처리를 이용하는 경우의 루프 필터부(11)의 구성예를 나타내고 있다.

일반적으로 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상되지만, 한편 처리 부하는 높아진다. 즉, 화상 품질과 처리 부하는 트레이드오프의 관계에 있다. 또한, 각 필터 처리의 화상 품질 개선 효과는 필터 처리 대상 화상의 특성에 따라서 상이하다. 따라서, 컬러 화상 부호화 장치가 허용하는 처리 부하나 부호화 처리 대상 화상의 특성에 따라서 사용하는 필터 처리를 결정하면 된다.

여기서, 디블로킹 필터 처리에서는, 블록 경계에 가하는 필터 강도의 선택에 이용하는 각종 파라미터를 초기치로부터 변경할 수 있다. 변경하는 경우에는, 그 파라미터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

화소 적응 오프셋 처리에서는, 최초로, 화상을 복수의 블록으로 분할하고, 그 블록 단위로, 오프셋 처리를 행하지 않는 경우도 클래스 분류 방법의 하나로서 정의하여, 미리 준비하고 있는 복수의 클래스 분류 수법 중에서, 하나의 클래스 분류 수법을 선택한다.

다음으로, 선택한 클래스 분류 수법에 의해 블록 내의 각 화소를 클래스 분류하고, 클래스마다 부호화 왜곡을 보상하는 오프셋 값을 산출한다.

마지막으로, 국소 복호 화상의 휘도치에 대하여, 그 오프셋 값을 가산하는 처리를 행하는 것에 의해 국소 복호 화상의 화상 품질을 개선한다.

클래스 분류 수법으로서는, 국소 복호 화상의 휘도치의 크기로 분류하는 수법(BO 수법이라고 부른다)이나, 에지의 방향마다 각 화소의 주위의 상황(에지부인지 여부 등)에 따라 분류하는 수법(EO 수법이라고 부른다)이 있다.

이들의 수법은, 미리 컬러 화상 부호화 장치 및 컬러 화상 복호 장치에서 공통으로 준비되어 있고, 예컨대 도 14에 나타내는 바와 같이, 오프셋 처리를 행하지 않는 경우도 클래스 분류 방법의 하나로서 정의하여, 이들의 수법 중, 어느 수법으로 클래스 분류를 행하는지를 나타내는 인덱스를 상기 블록 단위로 선택한다.

따라서, 화소 적응 오프셋 처리는, 블록의 분할 정보, 블록 단위의 클래스 분류 수법을 나타내는 인덱스, 블록 단위의 오프셋 정보를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

또, 화소 적응 오프셋 처리에 있어서, 예컨대 최대 부호화 블록이라고 하는 고정 사이즈의 블록 단위로 항상 분할하고, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행하더라도 좋다. 이 경우, 상기 블록 분할 정보가 불필요하게 되어, 블록 분할 정보에 필요로 하는 부호량만큼 부호량이 삭감되어, 부호화 효율을 높일 수 있다.

또한, 적응 필터 처리에서는, 국소 복호 화상을 소정의 수법으로 클래스 분류하고, 각 클래스에 속하는 영역(국소 복호 화상)마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 해당 국소 복호 화상의 필터 처리를 실시한다.

그리고, 클래스마다 설계한 필터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.

여기서, 클래스 분류 수법으로서는, 화상을 공간적으로 동일한 간격으로 나누는 간이한 수법이나, 블록 단위로 화상의 국소적인 특성(분산 등)에 따라 분류하는 수법이 있다. 또한, 적응 필터 처리에서 사용하는 클래스 수는, 미리 컬러 화상 부호화 장치 및 컬러 화상 복호 장치에서 공통의 값으로 설정하더라도 좋고, 부호화해야 할 파라미터의 하나로 하더라도 좋다.

전자와 비교하여 후자가, 사용하는 클래스 수를 자유롭게 설정할 수 있기 때문에, 화상 품질 개선 효과가 올라가지만, 한편 클래스 수를 부호화하기 때문에, 그만큼의 부호량이 증가한다.

스텝 ST3~ST9의 처리는, 계층적으로 분할된 모든 부호화 블록 Bⁿ에 대한 처리가 완료될 때까지 반복하여 실시되고, 모든 부호화 블록 Bⁿ에 대한 처리가 완료되면, 스텝 ST13의 처리로 이행한다(스텝 ST11, ST12).

가변 길이 부호화부(13)는, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)로부터 출력된 최대 부호화 블록 내의 블록 분할 정보(도 6(b)를 예로 하는 사지 트리 정보), 부호화 모드 m(Bⁿ) 및 예측 차분 부호화 파라미터와, 부호화 제어부(2)로부터 출력된 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우) 또는 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하고, 그들의 부호화 결과를 나타내는 부호화 데이터를 생성한다(스텝 ST13).

그때, 양자화된 직교 변환 계수인 압축 데이터의 부호화 수법으로서, 변환 블록을 Coefficient Group(CG)으로 불리는 4×4 화소 단위의 블록(부호화 서브블록)으로 더 분할하여, CG 단위로 계수의 부호화 처리를 실시한다.

도 15는 16×16 화소의 변환 블록에 있어서의 계수의 부호화 순서(스캔 순서)를 나타내고 있다.

이와 같이, 4×4 화소 단위의 16개의 CG를 우측 아래의 CG로부터 차례로 부호화 처리하고, 또한, 각 CG는 CG 내의 16개의 계수를 우측 아래의 계수로부터 차례로 부호화한다.

구체적으로는, 우선, CG 내의 16개의 계수 중에 유의(0이 아닌) 계수가 존재하는지 여부의 플래그 정보를 부호화하고, 다음으로, CG 내에 유의(0이 아닌) 계수가 존재하는 경우만, CG 내의 각 계수가 유의(0이 아닌) 계수인지를 상기 순서로 부호화하고, 마지막으로 유의(0이 아닌) 계수에 대하여, 그 계수치 정보를 차례로 부호화한다. 이것을 CG 단위로 상기 순서로 행한다.

그때, 유의(0이 아닌) 계수가 가능한 한 연속으로 발생하도록 치우치는 스캔 순서로 하는 것이 엔트로피 부호화에 의한 부호화 효율을 높일 수 있다.

직교 변환 후의 계수는, 좌측 위에 위치하는 직류 성분을 시작으로 하여, 좌측 위에 가까울수록, 낮은 주파수 성분의 낮은 계수를 나타내기 때문에, 도 16에 나타내는 예와 같이, 일반적으로 좌측 위에 가까울수록 유의(0이 아닌) 계수가 많이 발생하기 때문에, 도 15에 나타내는 바와 같이, 우측 아래로부터 차례로 부호화하는 것에 의해 효율적으로 부호화할 수 있다.

또, 상기에서는 16×16 화소의 변환 블록에 대하여 설명했지만, 8×8 화소나 32×32 화소의 변환 블록 등, 16×16 화소 이외의 블록 사이즈에 있어서도 CG(부호화 서브블록) 단위의 부호화 처리를 실시하는 것으로 한다.

또한, 가변 길이 부호화부(13)는, 도 13에 예시하는 바와 같이, 부호화 비트스트림의 헤더 정보로서, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더를 부호화하고, 픽쳐 데이터와 함께 부호화 비트스트림을 생성한다.

단, 픽쳐 데이터는 하나 이상의 슬라이스 데이터로 구성되고, 각 슬라이스 데이터는 슬라이스 레벨 헤더와 해당 슬라이스 내에 있는 상기 부호화 데이터를 합친 것이다.

시퀀스 레벨 헤더는, 화상 사이즈, 색 신호 포맷, 휘도 신호나 색차 신호의 신호치의 비트 심도, 시퀀스 단위로의 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)의 유효 플래그 정보, 양자화 매트릭스의 유효 플래그 정보, 필드 부호화인지 여부를 나타내는 플래그 등, 일반적으로 시퀀스 단위로 공통이 되는 헤더 정보를 합친 것이다.

픽쳐 레벨 헤더는, 참조하는 시퀀스 레벨 헤더의 인덱스나 움직임 보상시의 참조 픽쳐 수, 엔트로피 부호화의 확률 테이블 초기화 플래그 등의 픽쳐 단위로 설정하는 헤더 정보를 합친 것이다.

슬라이스 레벨 헤더는, 해당 슬라이스가 픽쳐의 어느 위치에 있는지를 나타내는 위치 정보, 어느 픽쳐 레벨 헤더를 참조하는지를 나타내는 인덱스, 슬라이스의 부호화 타입(올 인트라 부호화, 인터 부호화 등), 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)를 행하는지 여부를 나타내는 플래그 정보 등이라고 하는 슬라이스 단위의 파라미터를 합친 것이다.

다음으로, 인트라 예측부(4)의 처리 내용을 상세하게 설명한다.

인트라 예측부(4)는, 상술한 바와 같이, 예측 블록 P_i ⁿ의 인트라 예측 파라미터를 참조하여, 그 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성하지만, 여기서는, 휘도 신호에 있어서의 예측 블록 P_i ⁿ의 인트라 예측 화상을 생성하는 인트라 처리에 대하여 설명한다.

도 7은 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ이 선택 가능한 인트라 예측 모드의 일례를 나타내는 설명도이고, 인트라 예측 모드의 인덱스 값과, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있다. 상기 인트라 예측 모드의 인덱스 값이 인트라 예측 파라미터를 나타내고 있다.

또, 인트라 예측 모드 수는, 처리 대상이 되는 블록의 사이즈에 따라 상이하도록 구성하더라도 좋다.

큰 사이즈의 블록에서는, 인트라 예측의 효율이 저하하기 때문에, 선택할 수 있는 인트라 예측 방향 수를 적게 하고, 작은 사이즈의 블록에서는, 선택할 수 있는 인트라 예측 방향 수를 많게 하도록 구성하는 것에 의해 연산량을 억제할 수 있다.

우선, 인트라 예측 화상을 생성하는 처리는, 처리 대상의 블록에 인접하는 부호화 완료 화소를 이용하기 때문에, 상술한 바와 같이, 변환 블록 단위로 행해지지 않으면 안 된다.

여기서, 인트라 예측 화상을 생성하는 변환 블록을 예측 화상 생성 블록이라고 부르는 것으로 한다. 따라서, 인트라 예측부(4)는, 예측 화상 생성 블록 단위로 하기에 말하는 인트라 예측 화상 생성 처리를 실시하여, 예측 블록 P_i ⁿ의 인트라 예측 화상을 생성한다.

예측 화상 생성 블록의 사이즈를 l_i ⁿ×m_i ⁿ 화소로 한다.

도 8은 l_i ⁿ=m_i ⁿ=4의 경우의 예측 화상 생성 블록 내의 화소의 예측치를 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.

도 8에서는, 예측 화상 생성 블록의 위의 부호화 완료 화소 (2×l_i ⁿ+1)개와, 좌측의 부호화 완료 화소 (2×m_i ⁿ)개를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 8에 나타내는 화소보다 많더라도 적더라도 좋다.

또한, 도 8에서는, 예측 화상 생성 블록의 근방의 1행 또는 1열분의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 혹은, 그 이상의 화소를 예측에 이용하더라도 좋다.

예측 화상 생성 블록이 속하는 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 0(평면(Planar) 예측)인 경우에는, 예측 화상 생성 블록의 위에 인접하는 부호화 완료 화소와, 예측 화상 생성 블록의 좌측에 인접하는 부호화 완료 화소를 이용하여, 이들 화소와 예측 화상 생성 블록 내의 예측 대상 화소의 거리에 따라 내삽한 값을 예측치로 하여 예측 화상을 생성한다.

예측 화상 생성 블록이 속하는 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 1(평균치(DC) 예측)인 경우에는, 예측 화상 생성 블록의 위에 인접하는 부호화 완료 화소와, 예측 화상 생성 블록의 좌측에 인접하는 부호화 완료 화소의 평균치를 예측 화상 생성 블록 내의 화소의 예측치로 하여 예측 화상을 생성한다.

또한, 예측 화상 생성 블록의 상단 및 좌단에 위치하는 도 17의 영역 A, B, C에 대하여, 블록 경계를 평활화하는 필터 처리를 행하여 최종적인 예측 화상으로 한다. 예컨대, 하기의 식 (1)에 따라서, 도 18의 필터의 참조 화소 배치로, 하기의 필터 계수를 이용하여 필터 처리를 실시한다.

ㆍ영역 A(파티션 P_i ⁿ의 좌측 위의 화소)

a₀=1/2, a₁=1/4, a₂=1/4

ㆍ영역 B(영역 A 이외의 파티션 P_i ⁿ의 상단의 화소)

a₀=3/4, a₂=1/4, (a₁=0)

ㆍ영역 C(영역 A 이외의 파티션 P_i ⁿ의 좌단의 화소)

a₀=3/4, a₁=1/4, (a₂=0)

단, 식 (1)에 있어서, a_n(n=0, 1, 2)은 참조 화소에 가하는 필터 계수, p_n(n=0, 1, 2)은 필터 처리 대상 화소 p₀을 포함하는 필터의 참조 화소, S'(p₀)은 필터 처리 대상 화소 p₀에 있어서의 필터 처리 후의 예측치, S(p_n)(n=0, 1, 2)은 필터 처리 대상 화소 p₀을 포함하는 참조 화소의 필터 처리 전의 예측치를 나타내고 있다.

또한, 상기 필터 처리를 행하는 예측 화상 생성 블록의 블록 사이즈는 한정하더라도 좋다.

일반적으로 블록 에지만 필터 처리를 행하여 예측치를 변화시키는 경우, 큰 블록 사이즈의 블록에서는, 필터 처리에 의해 예측치가 변화하는 영역이 차지하는 비율이 작기 때문에, 이 예측치의 변화에 의해 생긴 예측 잔차 신호의 변화를 매우 높은 주파수 성분으로 나타내게 되고, 이 고주파수 성분을 부호화하기 때문에 부호화 효율의 악화를 일으켜 버리는 경향이 있다. 또한, 부호화 효율을 우선하여, 이 고주파수 성분을 부호화하지 않도록 하는 것에 의해, 블록 에지의 예측 잔차 신호의 변화를 복원할 수 없어, 블록 경계에 왜곡이 생겨 버리는 경향이 있다.

한편, 작은 블록 사이즈의 블록에서는, 필터 처리에 의해 예측치가 변화하는 영역이 차지하는 비율이 크기 때문에, 이 예측치의 변화에 의해 생긴 예측 잔차 신호의 변화가 큰 블록 사이즈의 블록일 때와 같은 높은 주파수 성분으로 나타내어지는 일은 없고, 적절히 잔차 신호를 부호화할 수 있어, 본 필터 처리에 의해, 블록 경계의 연속성을 높인 만큼, 복호 화상의 품질을 높일 수 있다.

따라서, 예컨대, 32×32 화소 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 상기 필터 처리를 적용하지 않고, 32×32 화소보다 작은 블록에만 상기 필터 처리를 적용하는 것에 의해, 종래의 평균치 예측보다 예측 성능을 향상시키면서, 연산량의 증가를 억제할 수 있다.

그 밖에도 변환 블록 사이즈에 따라 상기 필터 처리를 행하는 예측 화상 생성 블록의 블록 사이즈를 한정하더라도 좋다.

예컨대, max(16, MaxTUsize) 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 상기 필터 처리를 적용하지 않고, max(16, MaxTUsize)보다 작은 블록에만 상기 필터 처리를 적용한다.

단, max(α, β)는, α와 β 중 최대치를 나타내고 있고(예컨대, α=1, β=2라면, max(α, β)=2), "MaxTUsize"는, 취할 수 있는 최대의 변환 블록 사이즈를 나타내고 있고, "16"은 소정의 블록 사이즈(16×16 화소)를 나타내고 있다.

다시 말해, max(16, MaxTUsize) 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 상기 필터 처리를 적용하지 않고, max(16, MaxTUsize)보다 작은 블록에만 상기 필터 처리를 적용한다는 것은, MaxTUsize가 32인 경우는 max(16, 32)=32가 되어, 32×32 화소의 블록에만 상기 필터 처리를 적용하지 않고, 16×16 화소, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시한다.

동일하게, MaxTUsize가 16인 경우는, max(16, 16)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시한다.

또한, MaxTUsize가 8인 경우는, max(16, 8)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시하게 되기 때문에, 16×16 화소의 블록이 존재하지 않는 MaxTUsize가 8인 경우는, 모든 화소의 블록(8×8, 4×4)에서 상기 필터 처리를 실시한다.

동일하게, MaxTUsize가 4인 경우는, max(16, 4)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시하게 되기 때문에, 4×4 화소의 블록밖에 존재하지 않는 MaxTUsize가 4인 경우는, 모든 화소의 블록(4×4)에서 상기 필터 처리를 실시한다.

이와 같이 하는 것에 의해, 일반적으로 고효율의 부호화를 행할 때에는, 예컨대, "하늘" 등의 평탄한 영역에서는, 가능한 한 큰 사이즈의 직교 변환 처리가 실시되기 때문에, 이와 같은 영역에서는, MaxTUsize의 블록 사이즈에 의한 변환 처리가 행해진다.

한편, 이와 같은 큰 블록에서는, 상술한 바와 같이, 필터 처리에 의해 복호 화상의 블록 경계에 왜곡을 일으키게 하여 버리는 경향이 있기 때문에, 인간의 시각 특성으로서, 특히 감도가 높은 평탄부에 있어서, 이와 같은 왜곡을 억제하기 위해 필터 처리를 행하지 않도록 하고, 블록 사이즈를 작게 하는 것에 의해 효율적으로 부호화할 수 있는 경향이 있는 복잡한 영역부 등, 작은 블록 사이즈의 블록에 대해서는 상기 필터 처리를 행하는 것에 의해 예측 효율을 향상시켜, 복호 화상의 품질을 높이는 효과가 얻어진다.

또한, 시퀀스 레벨 헤더에 필드 부호화인지 여부를 나타내는 플래그를 갖고, 상기 플래그가 유효한 경우, 도 19에 나타내는 바와 같이, 예측 화상 생성 블록의 상단에 필터 처리를 실시하지 않도록 한다.

필드 부호화의 경우, 수직 방향의 화소 사이의 상관이 낮기 때문에 예측 화상 생성 블록의 상단에 있어서의 필터 처리에 의해 예측 효율이 악화되어 버릴 가능성이 있다. 따라서, 영역 A, C에만 필터 처리를 행하고, 영역 B는 필터 처리를 행하지 않도록 하는 것에 의해, 예측 효율의 저하를 억제하면서 연산량을 삭감할 수 있다.

단, 상기에서는 시퀀스 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그가 유효한 경우, 영역 A, C에만 필터 처리를 행하도록 했지만, 영역 A도 영역 C와 동일한 필터 처리를 행하더라도 좋다. 이와 같이, 화소 사이의 상관이 낮은 수직 방향의 화소를 이용하지 않도록 하는 것에 의해, 예측 효율 악화의 가능성을 더 낮추면서, 필터 처리에 필요로 하는 연산량을 삭감할 수 있다. 혹은, 보다 연산량을 삭감하는 것을 중시하는 경우는, 영역 A도 필터 처리를 행하지 않도록 하고, 영역 C만 필터 처리를 행하도록 하더라도 좋다.

예측 화상 생성 블록이 속하는 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 26(수직 방향 예측)인 경우, 하기의 식 (2)로부터 예측 화상 생성 블록 내의 화소의 예측치를 산출하여 예측 화상을 생성한다.

단, 좌표 (x, y)는 예측 화상 생성 블록 내의 좌측 위 화소를 원점으로 하는 상대 좌표(도 9를 참조)이고, S'(x, y)는 좌표 (x, y)에 있어서의 예측치, S(x, y)는 좌표 (x, y)에 있어서의 부호화 완료 화소의 휘도치(복호된 휘도치)이다. 또한, 산출한 예측치가 휘도치의 취할 수 있는 값의 범위를 넘고 있는 경우, 예측치가 그 범위 내에 들어가도록 값을 반올림하도록 한다.

또, 식 (2)의 1행째의 식은, MPEG-4 AVC/H.264에 있어서의 수직 방향 예측의 예측치인 S(x, -1)에 대하여, 인접하는 부호화 완료 화소의 수직 방향의 휘도치의 변화량 S(-1, y)-S(-1, -1)을 1/2로 한 값을 가산하는 것에 의해, 블록 경계가 평활화되도록 필터 처리한 것을 예측치로 하는 것을 의미하고 있고, 식 (2)의 2행째의 식은, MPEG-4 AVC/H.264에 있어서의 수직 방향 예측과 동일한 예측식을 나타내고 있다.

예측 화상 생성 블록이 속하는 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 10(수평 방향 예측)인 경우, 하기의 식 (3)으로부터 예측 화상 생성 블록 내의 화소의 예측치를 산출하여 예측 화상을 생성한다.

단, 좌표 (x, y)는 예측 화상 생성 블록 내의 좌측 위 화소를 원점으로 하는 상대 좌표(도 9를 참조)이고, S'(x, y)는 좌표 (x, y)에 있어서의 예측치, S(x, y)는 좌표 (x, y)에 있어서의 부호화 완료 화소의 휘도치(복호된 휘도치)이다. 또한, 산출한 예측치가 휘도치의 취할 수 있는 값의 범위를 넘고 있는 경우, 예측치가 그 범위 내에 들어가도록 값을 반올림하도록 한다.

또, 식 (3)의 1행째의 식은, MPEG-4 AVC/H.264에 있어서의 수평 방향 예측의 예측치인 S(-1, y)에 대하여, 인접하는 부호화 완료 화소의 수평 방향의 휘도치의 변화량 S(x, -1)-S(-1, -1)을 1/2로 한 값을 가산하는 것에 의해, 블록 경계가 평활화되도록 필터 처리한 것을 예측치로 하는 것을 의미하고 있고, 식 (3)의 2행째의 식은, MPEG-4 AVC/H.264에 있어서의 수평 방향 예측과 동일한 예측식을 나타내고 있다.

단, 식 (2)의 수직 방향 예측, 식 (3)의 수평 방향 예측을 행하는 예측 화상 생성 블록의 블록 사이즈를 한정하더라도 좋다.

일반적으로 블록 에지만 예측 방향의 휘도치의 변화량에 비례하는 값을 가산하는 필터 처리를 행하는 것에 의해 예측치를 변화시키는 경우, 큰 블록 사이즈의 블록에서는, 상술한 예측 화상 생성 블록의 블록 에지의 필터 처리에 의해 예측치가 변화하는 영역이 차지하는 비율이 작기 때문에, 이 예측치의 변화에 의해 생긴 예측 잔차 신호의 변화를 매우 높은 주파수 성분으로 나타내게 되고, 이 고주파수 성분을 부호화하기 때문에 부호화 효율의 악화를 일으키게 하여 버리는 경향이 있다. 또한, 부호화 효율을 우선하여, 이 고주파수 성분을 부호화하지 않도록 하는 것에 의해, 블록 에지의 예측 잔차 신호의 변화를 복원할 수 없어 블록 경계에 왜곡이 생겨 버리는 경향이 있다.

한편, 작은 블록 사이즈의 블록에서는, 상기 필터 처리에 의해 예측치가 변화하는 영역이 차지하는 비율이 크기 때문에, 이 예측치의 변화에 의해 생긴 예측 잔차 신호의 변화가 큰 블록 사이즈의 블록일 때와 같은 높은 주파수 성분으로 나타내어지는 일은 없고, 적절히 잔차 신호를 부호화할 수 있고, 본 필터 처리에 의해 블록 경계의 연속성을 높인 만큼, 복호 화상의 품질을 높일 수 있다.

따라서, 예컨대, 32×32 화소 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 예측 대상 화소의 좌표에 상관없이, 식 (2) 및 식 (3)의 2행째의 식을 항상 이용하도록 하고(예측 화상 생성 블록의 블록 에지의 필터 처리를 행하지 않기로 한다), 32×32 화소보다 작은 블록에만, 상기 필터 처리를 행하는 식 (2) 및 식 (3)을 적용하는 것에 의해, 종래의 수직 방향 예측, 수평 방향 예측보다 예측 성능을 향상시키면서, 연산량의 증가를 억제할 수 있다.

그 밖에도 변환 블록 사이즈에 따라 식 (2)의 수직 방향 예측, 식 (3)의 수평 방향 예측을 행하는 예측 화상 생성 블록의 블록 사이즈를 한정하더라도 좋다.

예컨대, max(16, MaxTUsize) 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 예측 대상 화소의 좌표에 상관없이, 식 (2) 및 식 (3)의 2행째의 식을 항상 이용하도록 하고(예측 화상 생성 블록의 블록 에지의 필터 처리를 행하지 않기로 한다), max(16, MaxTUsize)보다 작은 블록에만 상기 필터 처리를 행하는 식 (2) 및 식 (3)을 적용한다.

단, max(α, β)는, α와 β 중 최대치를 나타내고 있고(예컨대 α=1, β=2라면 max(α, β)=2), "MaxTUsize"는, 취할 수 있는 최대의 변환 블록 사이즈를 나타내고 있고, "16"은 소정의 블록 사이즈(16×16 화소)를 나타내고 있다.

다시 말해, max(16, MaxTUsize) 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 상기 필터 처리를 적용하지 않고, max(16, MaxTUsize)보다 작은 블록에만 상기 필터 처리를 적용한다는 것은, MaxTUsize가 32인 경우는 max(16, 32)=32가 되어, 32×32 화소의 블록만 상기 필터 처리를 적용하지 않고, 16×16 화소, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시한다.

동일하게, MaxTUsize가 16인 경우는, max(16, 16)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시한다.

또한, MaxTUsize가 8인 경우는, max(16, 8)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시하게 되기 때문에, 16×16 화소의 블록이 존재하지 않는 MaxTUsize가 8인 경우는, 모든 화소의 블록(8×8, 4×4)에서 상기 필터 처리를 실시한다.

동일하게, MaxTUsize가 4인 경우는, max(16, 4)=16이 되어, 16×16 화소의 블록만 상기 필터 처리를 적용하지 않고, 8×8 화소, 4×4 화소의 블록에는 상기 필터 처리를 실시하게 되기 때문에, 4×4 화소의 블록밖에 존재하지 않는 MaxTUsize가 4인 경우는, 모든 화소의 블록(4×4)에서 상기 필터 처리를 실시한다.

이와 같이 하는 것에 의해, 일반적으로 고효율의 부호화를 행할 때에는, 예컨대, "하늘" 등의 평탄한 영역에서는, 가능한 한 큰 사이즈의 직교 변환 처리가 실시되기 때문에, 이와 같은 영역에서는 MaxTUsize의 블록 사이즈에 의한 변환 처리가 행해진다.

한편, 이와 같은 큰 블록에서는, 상술한 바와 같이, 필터 처리에 의해 복호 화상의 블록 경계에 왜곡을 일으키게 하여 버리는 경향이 있기 때문에, 인간의 시각 특성으로서, 특히 감도가 높은 평탄부에 있어서, 이와 같은 왜곡을 억제하기 위해 필터 처리를 행하지 않도록 하고, 블록 사이즈를 작게 하는 것에 의해, 효율적으로 부호화할 수 있는 경향이 있는 복잡한 영역부 등, 작은 블록 사이즈의 블록에 대해서는 상기 필터 처리를 행하는 것에 의해 예측 효율을 향상시켜, 복호 화상의 품질을 높이는 효과가 얻어진다.

또, 상기의 동작은, 평균치 예측의 경우, 수직 방향 예측의 경우, 수평 방향 예측의 경우에 대하여 설명했지만, 이들 이외의 예측을 이용한 경우도, 동일한 효과를 얻을 수 있다.

또한, 시퀀스 레벨 헤더에 필드 부호화인지 여부를 나타내는 플래그를 갖고, 상기 플래그가 유효한 경우, 수평 방향 예측은 식 (3) 대신에 식 (4)를 이용한다.

즉, 도 19에 나타내는 바와 같이, 예측 화상 생성 블록의 상단에 필터 처리를 실시하지 않도록 한다(평균치 예측 및 수직 방향 예측의 경우는, 예측 화상 생성 블록의 좌단에만 필터 처리를 실시하고, 수평 방향 예측의 경우는 필터 처리를 실시하지 않는다).

필드 부호화의 경우, 수직 방향의 화소 사이의 상관이 낮기 때문에, 예측 화상 생성 블록의 상단에 있어서의 필터 처리에 의한 블록 경계의 연속성을 높이는 것에 의한 예측 효율이 악화되어 버릴 가능성이 있다. 따라서, 상기 필터 처리를 행하지 않는 것에 의해 예측 효율의 저하를 억제하면서 연산량을 삭감할 수 있다.

또, 시퀀스 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그를 픽쳐 레벨 헤더에 준비하여, 각 픽쳐의 수직 방향의 화소 사이의 상관에 따라 평균치(DC) 예측 및 수평 방향 예측의 예측 화상 생성 블록 상단의 필터 처리를 ON/OFF로 전환하도록 하더라도 좋다.

그와 같이 하는 것에 의해, 픽쳐 단위의 적응적인 제어를 실현할 수 있어, 예측 효율을 높일 수 있다. 또, 픽쳐 단위로 프레임 부호화와 필드 부호화를 적응적으로 전환하는 부호화를 실현하는 경우에는, 상기 플래그는 픽쳐 레벨 헤더에 준비할 필요가 있다.

또한, 이 실시의 형태 1에서는, 시퀀스 레벨 헤더 혹은 픽쳐 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그에 근거하여 예측 화상 생성 블록 상단의 필터 처리의 ON/OFF를 전환하는 경우에 대하여 설명했지만, 시퀀스 레벨 헤더 혹은 픽쳐 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그와는 별도로 본 전환 처리를 행하는지 여부를 나타내는 플래그를 정의하고, 이 전환 처리를 행하는지 여부를 나타내는 플래그에 근거하여 예측 화상 생성 블록 상단의 필터 처리의 ON/OFF를 전환하도록 하더라도 좋다.

또한, 이 실시의 형태 1에서는, 앞서 설명한 부호화 순서의 전환과, 상기 필터 처리의 전환을, 각각 따로따로 설명했지만, 이들을 조합하여 설정하도록 하더라도 좋다.

인트라 예측 모드의 인덱스 값이 0(평면 예측), 1(평균치 예측), 26(수직 방향 예측), 10(수평 방향 예측) 이외의 경우에는, 인덱스 값이 나타내는 예측 방향 벡터 υ_p=(dx, dy)에 근거하여, 예측 화상 생성 블록 내의 화소의 예측치를 생성한다.

도 9에 나타내는 바와 같이, 예측 화상 생성 블록의 좌측 위 화소를 원점으로 하여, 예측 화상 생성 블록 내의 상대 좌표를 (x, y)로 설정하면, 예측에 이용하는 참조 화소의 위치는, 하기의 L과 인접 화소의 교점이 된다.

단, k는 음의 실수이다.

참조 화소가 정수 화소 위치에 있는 경우에는, 그 정수 화소를 예측 대상 화소의 예측치로 하고, 참조 화소가 정수 화소 위치에 없는 경우에는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측치로 한다.

도 8의 예에서는, 참조 화소는 정수 화소 위치에 없으므로, 참조 화소에 인접하는 2개의 화소로부터 내삽한 것을 예측치로 한다. 또, 인접하는 2개의 화소뿐만 아니고, 인접하는 2개의 화소 이상의 화소로부터 보간 화소를 생성하여 예측치로 하더라도 좋다.

보간 처리에 이용하는 화소를 많게 하는 것에 의해 보간 화소의 보간 정밀도를 향상시키는 효과가 있는 한편, 보간 처리에 필요로 하는 연산의 복잡도가 증가하기 때문에, 연산 부하가 크더라도 높은 부호화 성능을 요구하는 컬러 화상 부호화 장치의 경우에는, 보다 많은 화소로부터 보간 화소를 생성하도록 하는 것이 좋다.

이상 말한 처리에 의해, 예측 화상 생성 블록 단위로 예측 블록 P_i ⁿ 내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하여, 인트라 예측 화상 P_INTRAi ⁿ을 출력한다.

또, 인트라 예측 화상 P_INTRAi ⁿ의 생성에 이용된 인트라 예측 파라미터(인트라 예측 모드)는, 비트스트림에 다중화하기 위해 가변 길이 부호화부(13)에 출력된다.

또, 앞서 설명한 MPEG-4 AVC/H.264에 있어서의 8×8 화소의 블록의 인트라 예측시에 참조 화소에 대하여 실시되는 평활화 처리와 동일하게, 인트라 예측부(4)에 있어서, 예측 화상 생성 블록의 예측 화상을 생성할 때의 참조 화소를, 예측 화상 생성 블록에 인접하는 부호화 완료 화소를 평활화 처리한 화소로 하도록 구성한 경우에도, 상술한 예와 동일한 예측 화상에 대한 필터 처리를 행할 수 있다. 이와 같이 하는 것에 의해 참조 화소로의 필터 처리에 의한 참조 화소의 노이즈가 제거되고, 이것을 이용하여 예측을 행하는 것에 의해 예측의 정밀도를 높일 수 있다.

혹은, 상기 참조 화소로의 필터 처리는 예측 화상으로의 필터 처리를 행하는 평균치 예측, 수직 방향 예측, 수평 방향 예측 이외의 예측시에만 실시하도록 하더라도 좋다. 이와 같이 하는 것에 의해, 각 예측 모드에 대하여 최대 하나의 필터 처리밖에 행하지 않아도 되고, 연산량의 증가를 억제할 수 있다.

상기에서는, 휘도 신호의 예측 화상 생성 처리에 대하여 설명했지만, 색차 성분에 대한 예측 화상은 다음과 같이 생성한다.

예측 블록 P_i ⁿ의 색차 신호에 대하여, 색차 신호의 인트라 예측 파라미터(인트라 예측 모드)에 근거하는 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.

도 23은 색차 신호의 인트라 예측 파라미터(인덱스 값)와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.

색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 좌측에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.

또, 입력 신호 포맷이 YUV 4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 구성하더라도 좋다. YUV 4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.

당연히, YUV 4:4:4 신호의 경우에 있어서도, 색차 신호에 대하여, 휘도 신호와는 상이한 방향성 예측 모드를 선택할 수 있도록 구성하더라도 좋다.

또한, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 도 27에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소수가 1/2가 되는 장방형의 블록이 된다. 따라서, 도 28에 나타내는 바와 같이, YUV 4:4:4 신호를 YUV 4:2:2 신호로 변환했을 때에, 휘도 신호와 색차 신호에서 동일 방향의 예측이 되도록 하기 위해서는, YUV 4:2:2 신호상에서는, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.

구체적으로는, 도 29에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 v_L=(dx_L, dy_L)로 한 경우, 색차 신호의 예측 방향 벡터는, v_C=(dx_L/2, dy_L)이 된다. 즉, 도 30에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θ_L, 색차 신호의 예측 방향의 각도를 θ_C로 하여, tanθ_C=2tanθ_L의 관계가 되는 예측 방향에서 예측할 필요가 있다.

따라서, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 상기 DM 모드를 실시할 때에는, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다.

도 31은 도 7의 인트라 예측 모드에 있어서의 인트라 예측 모드 인덱스의 변환예를 나타내고 있다.

도 31의 변환 테이블은, 예측 방향의 각도가 θ일 때(도 30을 참조), 인트라 예측 모드의 방향성 예측이 도 32에 나타내는 tanθ가 되는 각도인 경우, tanθ_C=2tanθ_L의 관계에 가장 가까운 각도 θ_C로 변환하는 테이블의 예이다.

변환 처리의 실현은, 상기와 같이, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조하는 것에 의해 인덱스를 변환하도록 구성하더라도 좋고, 변환식을 준비하고, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.

이와 같이 구성하는 것에 의해, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로 YUV 4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.

또한, 색차 신호에 대하여 상기 LM 모드를 행하지 않도록 구성하더라도 좋다. 이때의 색차 신호의 인트라 예측 파라미터(인덱스 값)와 색차 인트라 예측 모드의 대응예로서, 도 24를 들 수 있다.

이와 같이 LM 모드도 이용하지 않도록 하는 것에 의해, 예측 대상 화소의 휘도 신호와 색차 신호의 의존성이 없어지기 때문에, 휘도 신호와 색차 신호의 예측 처리의 병렬화가 가능하게 되어, 고속의 연산 처리를 실현할 수 있다.

또한, 색차 신호에서는, 색차 신호의 수직 방향 예측 및 수평 방향 예측에 대해서는, 블록 경계의 필터 처리를 행하지 않고, MPEG-4 AVC/H.264와 동일한 예측 수법으로 하더라도 좋다. 이와 같이 필터 처리를 행하지 않는 것에 의해, 예측 처리의 저연산화를 도모할 수 있다.

다음으로, 도 3의 컬러 화상 복호 장치의 처리 내용을 구체적으로 설명한다.

가변 길이 복호부(31)는, 도 1의 컬러 화상 부호화 장치에 의해 생성된 부호화 비트스트림을 입력하면, 그 비트스트림에 대한 가변 길이 복호 처리를 실시하여(도 4의 스텝 ST21), 1프레임 이상의 픽쳐로 구성되는 시퀀스 단위의 헤더 정보(시퀀스 레벨 헤더) 및 픽쳐 단위의 헤더 정보(픽쳐 레벨 헤더), 루프 필터부(38)에서 사용하는 필터 파라미터나 양자화 매트릭스 파라미터를 복호한다.

이때, 상기 헤더 정보에 포함되는 양자화 매트릭스의 유효 플래그 정보가 "유효"를 나타내는 경우, 가변 길이 복호부(31)는 양자화 매트릭스 파라미터를 가변 길이 복호하고, 양자화 매트릭스를 특정한다.

구체적으로는, 각 직교 변환 사이즈의 색 신호나 부호화 모드마다, 양자화 매트릭스 파라미터가 초기치로서, 컬러 화상 부호화 장치 및 컬러 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 복호된 양자화 매트릭스인(새로운 양자화 매트릭스가 아닌) 것을 나타내는 경우는, 양자화 매트릭스 파라미터에 포함되는 상기 매트릭스 중 어느 양자화 매트릭스인지를 특정하는 인덱스 정보를 참조하여 양자화 매트릭스를 특정하고, 양자화 매트릭스 파라미터가 새로운 양자화 매트릭스를 이용하는 것을 나타내는 경우는, 양자화 매트릭스 파라미터에 포함되는 양자화 매트릭스를 사용하는 양자화 매트릭스로서 특정한다.

그리고, 픽쳐 단위의 데이터를 구성하는 슬라이스 데이터로부터, 슬라이스 분할 정보 등의 슬라이스 단위의 헤더 정보(슬라이스 레벨 헤더)를 복호하고, 각 슬라이스의 부호화 데이터를 복호한다.

또한, 가변 길이 복호부(31)는, 도 1의 컬러 화상 부호화 장치의 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈 및 분할 계층수의 상한을 컬러 화상 부호화 장치와 동일한 순서로 결정한다(스텝 ST22).

예컨대, 최대 부호화 블록 사이즈나 분할 계층수의 상한이 영상 신호의 해상도에 따라서 결정된 경우에는, 복호한 프레임 사이즈 정보에 근거하여, 컬러 화상 부호화 장치와 동일한 순서로 최대 부호화 블록 사이즈를 결정한다.

최대 부호화 블록 사이즈 및 분할 계층수의 상한이, 컬러 화상 부호화 장치측에서 시퀀스 레벨 헤더 등에 다중화되어 있는 경우에는, 상기 헤더로부터 복호한 값을 이용하도록 한다. 단, 분할 계층수의 상한 대신에, 부호화 블록의 최소 블록 사이즈가 부호화되어 있는 경우, 이것을 복호하는 것에 의해 분할 계층수의 상한을 결정한다. 즉, 최대 부호화 블록을 상기 최소 블록 사이즈까지 분할한 경우가 분할 계층수의 상한이 된다.

가변 길이 복호부(31)는, 결정된 최대 부호화 블록 단위로, 도 6에서 나타나는 바와 같은 최대 부호화 블록의 분할 상태를 복호한다. 복호된 분할 상태에 근거하여, 계층적으로 부호화 블록을 특정한다(스텝 ST23).

다음으로, 가변 길이 복호부(31)는, 부호화 블록에 할당되어 있는 부호화 모드를 복호한다. 복호한 부호화 모드에 포함되는 정보에 근거하여, 부호화 블록을 하나 내지 복수의 예측 처리 단위인 예측 블록으로 더 분할하고, 예측 블록 단위로 할당되어 있는 예측 파라미터를 복호한다(스텝 ST24).

즉, 가변 길이 복호부(31)는, 부호화 블록에 할당되어 있는 부호화 모드가 인트라 부호화 모드인 경우, 부호화 블록에 포함되어 있고, 예측 처리 단위가 되는 하나 이상의 예측 블록마다 인트라 예측 파라미터를 복호한다.

한편, 부호화 블록에 할당되어 있는 부호화 모드가 인터 부호화 모드인 경우, 부호화 블록에 포함되어 있고, 예측 처리 단위가 되는 하나 이상의 예측 블록마다 인터 예측 파라미터 및 움직임 벡터를 복호한다(스텝 ST24).

또한, 가변 길이 복호부(31)는, 예측 차분 부호화 파라미터에 포함되는 변환 블록 분할 정보에 근거하여, 변환 블록마다 압축 데이터(변환ㆍ양자화 후의 변환 계수)를 복호한다(스텝 ST24).

그때, 도 1의 컬러 화상 부호화 장치의 가변 길이 부호화부(13)에서의 압축 데이터의 부호화 처리와 동일하게, CG 단위의 계수의 복호 처리를 실시한다.

따라서, 도 15에 나타내는 바와 같이, 4×4 화소 단위의 16개의 CG를 우측 아래의 CG로부터 차례로 복호 처리하고, 또한, 각 CG는 CG 내의 16개의 계수를 우측 아래의 계수로부터 차례로 복호하여 가게 된다.

구체적으로는, 우선, CG 내의 16개의 계수 중에 유의(0이 아닌) 계수가 존재하는지 여부의 플래그 정보를 복호하고, 다음으로 복호한 플래그 정보가 CG 내에 유의(0이 아닌) 계수가 존재하는 것을 나타내는 경우만 CG 내의 각 계수가 유의(0이 아닌) 계수인지를 상기 차례로 복호하고, 마지막에 유의(0이 아닌) 계수를 나타내는 계수에 대하여, 그 계수치 정보를 차례로 복호한다. 이것을 CG 단위로 상기 차례로 행한다.

전환 스위치(33)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이면(m(Bⁿ)∈INTRA의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인트라 예측 파라미터를 인트라 예측부(34)에 출력한다.

한편, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인터 부호화 모드이면(m(Bⁿ)∈INTER의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력한다.

인트라 예측부(34)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드(m(Bⁿ)∈INTRA)인 경우(스텝 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 인트라 예측 파라미터를 받아, 도 1의 인트라 예측부(4)와 동일한 순서로, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 상기 인트라 예측 파라미터를 이용한 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다(스텝 ST26).

단, 가변 길이 복호부(31)에 의해 복호된 시퀀스 레벨 헤더에 필드 부호화인지 여부를 나타내는 플래그를 갖고, 상기 플래그가 유효한 경우, 도 1의 컬러 화상 부호화 장치와 동일하게 평균치(DC) 예측 및 수평 방향 예측의 예측 화상 생성 블록 상단의 필터 처리를 행하지 않도록 한다. 이와 같이 하는 것에 의해, 도 1의 컬러 화상 부호화 장치에서 생성한 스트림과 동일한 예측 화상을 생성할 수 있다.

또, 도 1의 컬러 화상 부호화 장치에 있어서, 시퀀스 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그를 픽쳐 레벨 헤더에 준비하고 있는 경우, 이 픽쳐 레벨 헤더의 필드 부호화인지 여부를 나타내는 플래그의 값에 따라서, 픽쳐 단위로, 평균치(DC) 예측 및 수평 방향 예측의 예측 화상 생성 블록 상단의 필터 처리를 ON/OFF로 전환하도록 한다.

이와 같이 하는 것에 의해, 상기와 같이 구성한 도 1의 컬러 화상 부호화 장치에서 생성한 스트림과 동일한 예측 화상을 생성할 수 있다.

또한, 인트라 예측부(34)는, 휘도 신호에 대해서는, 휘도 신호에 대한 상기 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여, 휘도 신호의 예측 화상을 생성한다.

한편, 색차 신호에 대해서는, 색차 신호의 인트라 예측 파라미터에 근거하는 인트라 예측 처리를 실시하여, 색차 신호의 예측 화상을 생성한다.

도 23은 색차 신호의 인트라 예측 파라미터(인덱스 값)와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.

색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.

또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 좌측에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.

또, 입력 신호 포맷이 YUV 4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 컬러 화상 부호화 장치가 구성되어 있는 경우, 그 컬러 화상 부호화 장치로부터 생성되는 비트스트림을 복호할 수 있도록 컬러 화상 복호 장치도 동일한 구성으로 한다.

YUV 4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.

또한, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 도 27에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소수가 1/2가 되는 장방형의 블록이 된다. 따라서, 도 28에 나타내는 바와 같이, YUV 4:4:4 신호를 YUV 4:2:2 신호로 변환했을 때에, 휘도 신호와 색차 신호에서 동일 방향의 예측이 되도록 하기 위해서는, YUV 4:2:2 신호상에서는, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.

구체적으로는, 도 29에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 v_L=(dx_L, dy_L)로 한 경우, 색차 신호의 예측 방향 벡터는, v_C=(dx_L/2, dy_L)이 된다. 즉, 도 30에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θ_L, 색차 신호의 예측 방향의 각도를 θ_C로 하여, tanθ_C=2tanθ_L의 관계가 되는 예측 방향에서 예측할 필요가 있다.

따라서, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 상기 DM 모드를 실시할 때에는, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다.

도 31은 도 7의 인트라 예측 모드에 있어서의 인트라 예측 모드 인덱스의 변환예를 나타내고 있다.

도 31의 변환 테이블은, 예측 방향의 각도가 θ일 때(도 30을 참조), 인트라 예측 모드의 방향성 예측이 도 32에 나타내는 tanθ가 되는 각도인 경우, tanθ_C=2tanθ_L의 관계에 가장 가까운 각도 θ_C로 변환하는 테이블의 예이다.

변환 처리의 실현은, 상기와 같이, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조하는 것에 의해 인덱스를 변환하도록 구성하더라도 좋고, 변환식을 준비하고, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.

이와 같이 구성하는 것에 의해, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로 YUV 4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.

또한, 색차 신호에 대하여, 상기 LM 모드를 행하지 않도록 컬러 화상 부호화 장치가 구성되어 있는 경우, 그 컬러 화상 부호화 장치로부터 생성되는 비트스트림을 복호할 수 있도록 컬러 화상 복호 장치도 동일한 구성으로 한다.

이때의 색차 신호의 인트라 예측 파라미터(인덱스 값)와 색차 인트라 예측 모드의 대응예로서, 도 24를 들 수 있다.

이와 같이 LM 모드도 이용하지 않도록 하는 것에 의해, 예측 대상 화소의 휘도 신호와 색차 신호의 의존성이 없어지기 때문에, 휘도 신호와 색차 신호의 예측 처리의 병렬화가 가능하게 되어, 고속의 연산 처리를 실현할 수 있다.

또한, 색차 신호에서는, 색차 신호의 수직 방향 예측 및 수평 방향 예측에 대해서는, 블록 경계의 필터 처리를 행하지 않고, MPEG-4 AVC/H.264와 동일한 예측 수법으로서 컬러 화상 부호화 장치가 구성되어 있는 경우, 그 컬러 화상 부호화 장치로부터 생성되는 비트스트림을 복호할 수 있도록 컬러 화상 복호 장치도 동일한 구성으로 한다.

이와 같이 필터 처리를 행하지 않는 것에 의해, 예측 처리의 저연산화를 도모할 수 있다.

움직임 보상부(35)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인터 부호화 모드(m(Bⁿ)∈INTER)인 경우(스텝 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 움직임 벡터와 인터 예측 파라미터를 받아, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 필터 처리 후의 복호 화상을 참조하면서, 그 움직임 벡터와 인터 예측 파라미터를 이용한 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인터 예측 처리를 실시하여 인터 예측 화상 P_INTERi ⁿ을 생성한다(스텝 ST27).

역 양자화ㆍ역 변환부(32)는, 가변 길이 복호부(31)로부터 압축 데이터 및 예측 차분 부호화 파라미터를 받으면, 도 1의 역 양자화ㆍ역 변환부(8)와 동일한 순서로, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 변환 블록 단위로 그 압축 데이터를 역 양자화한다.

이때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 각 헤더 정보가, 해당 슬라이스에서 양자화 매트릭스를 이용하여, 역 양자화 처리를 실시하는 것을 나타내고 있는 경우는, 양자화 매트릭스를 이용하여 역 양자화 처리를 행한다.

이때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 각 직교 변환 사이즈로 색 신호나 부호화 모드(인트라 부호화 또는 인터 부호화)마다 사용하는 양자화 매트릭스를 특정한다.

또한, 역 양자화ㆍ역 변환부(32)는, 변환 블록 단위로 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 도 1의 역 양자화ㆍ역 변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출한다(스텝 ST28).

가산부(36)는, 역 양자화ㆍ역 변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 가산하여 복호 화상을 산출하고, 그 복호 화상을 루프 필터부(38)에 출력함과 아울러, 그 복호 화상을 인트라 예측용 메모리(37)에 저장한다(스텝 ST29).

이 복호 화상이, 이후의 인트라 예측 처리시에 이용되는 복호 완료 화상 신호가 된다.

루프 필터부(38)는, 모든 부호화 블록 Bⁿ에 대한 스텝 ST23~ST29의 처리가 완료되면(스텝 ST30), 가산부(36)로부터 출력된 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한다(스텝 ST31).

구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.

단, 루프 필터부(38)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 해당 슬라이스에서 처리를 행하는지 여부를 특정한다.

이때, 2개 이상의 필터 처리를 행하는 경우에, 예컨대, 컬러 화상 부호화 장치의 루프 필터부(11)가 도 11과 같이 구성되어 있는 경우에는, 도 12에 나타내는 바와 같이 루프 필터부(38)가 구성된다.

여기서, 디블로킹 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 헤더 정보를 참조하고, 블록 경계에 가하는 필터 강도의 선택에 이용하는 각종 파라미터를 초기치로부터 변경하는 정보가 존재하는 경우에는, 그 변경 정보에 근거하여, 디블로킹 필터 처리를 실시한다. 변경 정보가 없는 경우는, 미리 정해진 수법에 따라서 행한다.

화소 적응 오프셋 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 화소 적응 오프셋 처리의 블록 분할 정보에 근거하여 분할하고, 그 블록 단위로, 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하여, 그 인덱스가 "오프셋 처리를 행하지 않는다"는 것을 나타내는 인덱스가 아닌 경우, 블록 단위로 블록 내의 각 화소를 상기 인덱스가 나타내는 클래스 분류 수법에 따라서 클래스 분류한다.

또, 클래스 분류 수법의 후보로서, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스 분류 수법의 후보와 동일한 것이 미리 준비되어 있다.

그리고, 루프 필터부(38)는, 블록 단위의 각 클래스의 오프셋 값을 특정하는 가변 길이 복호부(31)에 의해 가변 길이 복호된 오프셋 정보를 참조하여, 복호 화상의 휘도치에 오프셋을 가산하는 처리를 행한다.

적응 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 클래스마다의 필터를 이용하여, 도 1의 컬러 화상 부호화 장치와 동일한 수법으로 클래스 분류한 후에, 그 클래스 분류 정보에 근거하여 필터 처리를 행한다.

이 루프 필터부(38)에 의한 필터 처리 후의 복호 화상이, 움직임 보상 예측용의 참조 화상이 되고, 또한, 재생 화상이 된다.

이상에서 분명한 바와 같이, 이 실시의 형태 1에 의하면, 컬러 화상의 신호 포맷이 YUV 4:2:2이고, 예측 블록에 있어서의 색차 신호의 프레임 내 예측 처리에 이용하는 인트라 예측 파라미터가, 그 예측 블록에 있어서의 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우, 인트라 예측부(4)가, 그 휘도 신호에 대한 인트라 예측 모드를 나타내는 인덱스를 변환하고, 변환 후의 인덱스가 나타내는 인트라 예측 모드로, 그 색차 신호의 프레임 내 예측 처리를 실시하도록 구성했으므로, 컬러 화상의 신호 포맷이 YUV 4:2:2인 경우에도, 색차 신호의 예측 효율의 저하를 초래하는 일 없이, 부호화 효율을 높일 수 있는 효과를 나타낸다.

또한, 이 실시의 형태 1에 의하면, 컬러 화상의 신호 포맷이 YUV 4:2:2일 때, 예측 대상 블록의 색차 신호를 예측하는 인트라 예측 모드로서, 휘도 신호와 동일한 예측 모드를 이용하는 휘도 색차 공통 인트라 예측 모드를 이용하는 취지를 나타내고 있는 경우, 휘도 신호의 인트라 예측 모드를 나타내는 인덱스를 변환하고, 변환 후의 인덱스가 나타내는 인트라 예측 모드를 이용하여, 예측 대상 블록의 색차 신호의 프레임 내 예측 처리를 실시하도록 구성했으므로, 정밀도가 높은 예측 처리를 실현할 수 있고, 부호화 효율을 높일 수 있는 실시의 형태 1의 컬러 화상 부호화 장치에서 부호화된 비트스트림을 정확하게 복호할 수 있는 효과를 나타낸다.

또, 본원 발명은 그 발명의 범위 내에 있어서, 실시의 형태의 임의의 구성 요소의 변형, 또는 실시의 형태의 임의의 구성 요소의 생략이 가능하다.

(산업상이용가능성)

본 발명과 관련되는 컬러 화상 부호화 장치는, 컬러 화상의 신호 포맷이 YUV 4:2:2인 경우는, 휘도 신호에 대한 인트라 예측 모드를 나타내는 인덱스를 변환하고, 변환 후의 인덱스가 나타내는 인트라 예측 모드로, 색차 신호의 프레임 내 예측 처리를 실시하므로, 컬러 화상의 신호 포맷이 YUV 4:2:2인 경우에도, 색차 신호의 예측 효율의 저하를 초래하는 일 없이, 부호화 효율을 높일 수 있고, 컬러 동화상을 고효율로 부호화를 행하는데 적합한 것이다.

1 : 블록 분할부
2 : 부호화 제어부
3 : 전환 스위치
4 : 인트라 예측부(인트라 예측 수단)
5 : 움직임 보상 예측부
6 : 감산부
7 : 변환ㆍ양자화부
8 : 역 양자화ㆍ역 변환부
9 : 가산부
10 : 인트라 예측용 메모리
11 : 루프 필터부
12 : 움직임 보상 예측 프레임 메모리
13 : 가변 길이 부호화부
14 : 슬라이스 분할부
31 : 가변 길이 복호부
32 : 역 양자화ㆍ역 변환부
33 : 전환 스위치
34 : 인트라 예측부(인트라 예측 수단)
35 : 움직임 보상부
36 : 가산부
37 : 인트라 예측용 메모리
38 : 루프 필터부
39 : 움직임 보상 예측 프레임 메모리

Claims (5)

1. 입력 화상 부호화 처리의 최대 사이즈인 최대 부호화 블록으로 분할하고, 상기 최대 부호화 블록을 계층으로 분할한 부호화 블록을 인트라 예측 파라미터의 설정 단위인 예측 블록으로 분할함과 아울러, 상기 부호화 블록을 차분 화상의 압축 단위인 변환 블록으로 분할하는 블록 분할 수단과,
   상기 예측 블록마다 설정되어 있는 인트라 예측 파라미터를 이용하여, 상기 변환 블록 단위로 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 수단과,
   상기 입력 화상과 상기 인트라 예측 수단에 의해 생성된 예측 화상의 차분 화상을 생성하는 차분 화상 생성 수단과,
   상기 차분 화상 생성 수단에 의해 생성된 차분 화상을 상기 변환 블록 단위로 압축하여 압축 데이터를 출력하는 압축 수단
   을 구비하고,
   상기 인트라 예측 수단은, 상기 입력 화상의 신호 포맷이 YUV 4:2:2인 경우, 상기 변환 블록 단위로, 상기 인트라 예측 파라미터의 일부인 휘도 신호에 대한 인트라 예측 모드 및 색차 신호에 대한 인트라 예측 모드로부터 특정되는 인덱스를 변환하고, 변환 후의 인덱스가 나타내는 인트라 예측 모드로, 색차 신호의 프레임 내 예측 처리를 실시하는
   것을 특징으로 하는 컬러 화상 부호화 장치.
2. 부호화 블록을 인트라 예측 파라미터의 설정 단위인 예측 블록으로 분할함과 아울러, 상기 부호화 블록을 차분 화상의 압축 단위인 변환 블록으로 분할하는 블록 분할 수단과,
   상기 예측 블록마다 설정되어 있는 인트라 예측 파라미터를 이용하여, 상기 변환 블록 단위로 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 수단과,
   압축 데이터로부터 압축 전의 차분 화상을 상기 변환 블록 단위로 생성하는 차분 화상 생성 수단과,
   상기 차분 화상 생성 수단에 의해 생성된 차분 화상과 상기 인트라 예측 수단에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 수단
   을 구비하고,
   상기 인트라 예측 수단은, 상기 복호 화상의 신호 포맷이 YUV 4:2:2인 경우, 상기 변환 블록 단위로, 상기 인트라 예측 파라미터의 일부인 휘도 신호에 대한 인트라 예측 모드 및 색차 신호에 대한 인트라 예측 모드로부터 특정되는 인덱스를 변환하고, 변환 후의 인덱스가 나타내는 인트라 예측 모드로, 색차 신호의 프레임 내 예측 처리를 실시하는
   것을 특징으로 하는 컬러 화상 복호 장치.
   
3. 블록 분할 수단이, 입력 화상을 부호화 처리의 최대 사이즈인 최대 부호화 블록으로 분할하고, 상기 최대 부호화 블록을 계층적으로 분할한 부호화 블록을 인트라 예측 파라미터의 설정 단위인 예측 블록으로 분할함과 아울러, 상기 부호화 블록을 차분 화상의 압축 단위인 변환 블록으로 분할하는 블록 분할 스텝과,
   인트라 예측 수단이, 상기 예측 블록마다 설정되어 있는 인트라 예측 파라미터를 이용하여, 상기 변환 블록 단위로 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 처리 스텝과,
   차분 화상 생성 수단이, 상기 입력 화상과 상기 인트라 예측 스텝에 의해 생성된 예측 화상의 차분 화상을 생성하는 차분 화상 생성 스텝과,
   압축 수단이, 상기 차분 화상 생성 스텝에 의해 생성된 차분 화상을 상기 변환 블록 단위로 압축하여 압축 데이터를 출력하는 압축 스텝
   을 구비하고,
   상기 인트라 예측 처리 스텝에서는, 상기 입력 화상의 신호 포맷이 YUV 4:2:2인 경우, 상기 변환 블록 단위로, 상기 인트라 예측 파라미터의 일부인 휘도 신호에 대한 인트라 예측 모드 및 색차 신호에 대한 인트라 예측 모드로부터 특정되는 인덱스를 변환하고, 변환 후의 인덱스가 나타내는 인트라 예측 모드로, 색차 신호의 프레임 내 예측 처리를 실시하는
   것을 특징으로 하는 컬러 화상 부호화 방법.
   
4. 블록 분할 수단이, 부호화 블록을 인트라 예측 파라미터의 설정 단위인 예측 블록으로 분할함과 아울러, 상기 부호화 블록을 차분 화상의 압축 단위인 변환 블록으로 분할하는 블록 분할 스텝과,
   인트라 예측 수단이, 상기 예측 블록마다 설정되어 있는 인트라 예측 파라미터를 이용하여, 상기 변환 블록 단위로 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 처리 스텝과,
   차분 화상 생성 수단이, 압축 데이터로부터 압축 전의 차분 화상을 상기 변환 블록 단위로 생성하는 차분 화상 생성 스텝과,
   복호 화상 생성 수단이, 상기 차분 화상 생성 스텝에 의해 생성된 차분 화상과 상기 인트라 예측 스텝에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 스텝
   을 구비하고,
   상기 인트라 예측 처리 스텝에서는, 상기 복호 화상의 신호 포맷이 YUV 4:2:2인 경우, 상기 변환 블록 단위로, 상기 인트라 예측 파라미터의 일부인 휘도 신호에 대한 인트라 예측 모드 및 색차 신호에 대한 인트라 예측 모드로부터 특정되는 인덱스를 변환하고, 변환 후의 인덱스가 나타내는 인트라 예측 모드로, 색차 신호의 프레임 내 예측 처리를 실시하는
   것을 특징으로 하는 컬러 화상 복호 방법.
   
5. 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 수단을 구비하는 것을 특징으로 하는 컬러 화상 복호 장치.

Images