KR102465994B1 - 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화용 컴퓨터 프로그램, 동화상 복호 장치 및 동화상 복호 방법 그리고 동화상 복호용 컴퓨터 프로그램 - Google Patents

Abstract

동화상 부호화 장치는, 부호화 대상 픽처를 분할하여 얻어지는 복수의 블록 중, 부호화 대상 픽처의 수평 방향의 단부 및 수직 방향의 단부 중 어느 한쪽을 포함하는 픽처단 블록을 4분 트리 구조에 따라서 4분할하거나, 혹은 픽처단 블록에 포함되는 부호화 대상 픽처의 단부와 직교하는 방향으로 2분할하고, 픽처단 블록을 복수의 서브 블록으로 분할하는 분할 패턴 판정부와, 각 서브블록에 대해서, 부호화 완료된 다른 픽처 혹은 부호화 대상 픽처의 부호화 완료된 영역을 참조하여 예측 블록을 생성하는 예측 블록 생성부와, 각 서브블록에 대해서, 그 서브블록과 대응하는 예측 블록의 대응 화소 간의 예측 오차를 산출하여, 예측 오차를 부호화하는 부호화부와, 픽처단 블록에 대하여 4분할되었는지 2분할되었는지를 나타내는 분할 정보를, 부호화된 동화상 데이터에 부가하는 부가부를 갖는다.

Description

동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화용 컴퓨터 프로그램, 동화상 복호 장치 및 동화상 복호 방법 그리고 동화상 복호용 컴퓨터 프로그램

본 발명은 예를 들어, 동화상 데이터를 부호화하는 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화용 컴퓨터 프로그램, 그리고, 부호화된 동화상 데이터를 복호하는 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호용 컴퓨터 프로그램에 관한 것이다.

동화상 데이터는, 일반적으로 매우 큰 데이터양을 갖는다. 그 때문에, 동화상 데이터를 취급하는 장치는, 동화상 데이터를 다른 장치에 송신하고자 하는 경우, 혹은, 동화상 데이터를 기억 장치에 기억하고자 하는 경우, 동화상 데이터를 부호화함으로써 압축한다. 대표적인 동화상의 부호화 표준으로서, Advanced Video Coding(MPEG-4 AVC|ITU-T H.264) 및 High Efficiency Video Coding(HEVC|ITU-T H.265)이 책정되어 있다(예를 들어, 비특허문헌 1을 참조).

이러한 부호화 표준에서는, 부호화 대상의 픽처는 블록마다 분할된다. 그리고 부호화 대상으로 되는 블록마다, 이미 부호화된 다른 픽처 또는 부호화 대상 픽처의 부호화 완료된 영역으로부터 예측 블록이 생성되어, 부호화 대상으로 되는 블록과 예측 블록 간의 차분을 부호화함으로써 용장성이 삭감된다.

예를 들어, HEVC에서는, 동화상 데이터에 포함되는 각 픽처는 복수의 단계에서 분할된다. 거기에서 우선, HEVC에 있어서의, 픽처의 분할에 대하여 설명한다.

도 1은, HEVC에 의한, 픽처의 분할의 일례를 도시하는 도면이다. 도 1에 도시되는 바와 같이, 픽처(100)는 부호화 처리의 단위인 Coding Tree Unit(CTU)(또는, Largest Coding Unit(LCU)이라고도 불린다) 단위로 분할된다. 각 CTU(101)는, 래스터 스캔순으로 부호화된다. CTU(101)의 사이즈는, 64x64 내지 16x16 화소 중에서 선택할 수 있다.

CTU(101)는, 또한, 4분 트리 구조에서 복수의 Coding Unit(CU)(102)으로 분할된다. 하나의 CTU(101) 내의 각 CU(102)는, Z 스캔순으로 부호화된다. CU(102)의 사이즈는 가변이며, 그 사이즈는, CU 분할 모드 8x8 내지 64x64 화소 중에서 선택된다. CU(102)는, 부호화 모드인 인트라 예측 부호화 방식과 인터 예측 부호화 방식을 선택하는 단위가 된다. 또한, 인트라 예측 부호화 방식은, 부호화 대상 픽처의 부호화 완료된 영역을 참조하여 예측 블록을 생성하는 부호화 방식이다. 또한, 인터 예측 부호화 방식은, 이미 부호화된 다른 픽처를 복호하여 얻어지는 참조 픽처(국소 복호 픽처라고도 불린다)를 참조하여 예측 블록을 생성하는 부호화 방식이다.

CU(102)는, Prediction Unit(PU)(103) 단위 또는 Transform Unit(TU)(104) 단위로 개별로 처리된다. PU(103)는, 부호화 모드에 따른 예측이 행하여지는, 예측 블록의 생성 단위가 된다. 예를 들어, PU(103)는, 인트라 예측 부호화 방식에서는, 예측 블록의 생성 시에 참조되는 화소 및 예측 블록의 생성 방법을 규정하는 예측 모드가 적용되는 단위가 된다. 한편, 인터 예측 부호화 방식에서는, PU(103)는, 움직임 보상을 행하는 단위가 된다. PU(103)의 사이즈는, 예를 들어, 인터 예측 부호화 방식이 적용되는 경우, 2Nx2N, NxN, 2NxN, Nx2N, 2NxnU, 2NxnD, nRx2N, nLx2N(N은, CU 사이즈/2) 중에서 선택 가능하다. 한편, TU(104)는, 직교 변환의 단위이며, TU마다 직교 변환된다. TU(104)의 사이즈는, 4x4 화소 내지 32x32 화소 중에서 선택된다. TU(104)는, 4분 트리 구조에서 분할되어, Z 스캔순으로 처리된다.

또한, CTU는, 픽처를 분할하여 얻어지는 블록의 일례이다. 또한 CU는, 블록의 다른 일례이다. 또한, CU는, 블록을 분할하여 얻어지는 서브블록의 일례이기도 하다.

HEVC에서는, CU가 정사각형이 되도록 CTU는 분할된다. 그러나, 픽처의 수평 방향 사이즈 또는 수직 방향의 사이즈가, CTU의 수평 방향 또는 수직 방향의 사이즈의 정수배가 아닐 경우, 우단 또는 하단의 CTU에서는, 그 CTU 내에 픽처단이 포함되게 된다. 이 경우, 픽처 외의 정보가 포함되지 않도록 그 CTU를 부호화하기 위해서는, CU 사이의 경계와 픽처단이 일치하도록, 즉, 어느 CU 내에 픽처단이 포함되지 않도록, 그 CTU는 분할되는 것이 바람직하다. 그러나, 어느 CU 내에 픽처단이 포함되지 않도록 CTU를 분할하기 위해서는, CU의 사이즈를 작게 하고, CTU 내에 포함되는 CU의 수를 증가시킬 것이 요구되는 경우가 있다. 이러한 경우, CTU의 부호화 데이터에 포함되는 신택스의 정보가 증가하여 부호화 효율이 저하하는 경우가 있다.

한편, 보다 부호화 효율을 향상하기 위해서, CTU가 4분 트리 구조에서 복수의 서브 블록으로 분할된 후, 개개의 서브블록을 2분 트리 구조에서 더욱 분할됨으로써 개개의 CU를 결정하는 것이 제안되어 있다(예를 들어, 비특허문헌 2를 참조). 이 경우, CU는, 직사각형이 되는 경우가 있다.

그러나, 상기와 같이 2분 트리 구조가 적용되는 경우에도, 이미 정사각 형상으로 분할된 서브블록끼리가 연결될 일은 없으므로, 픽처단을 포함하는 CTU에 대해서는, CU의 사이즈가 커지도록 CTU를 분할할 수 없는 경우가 있다.

또한, 매크로 블록 사이즈 미만의 사이즈가 되는 에지 블록을 판별하는 기술이 제안되어 있다. 이 기술에서는, 에지 블록이라고 판별된 비정사각 영역의 사이즈, 또는 에지 블록을 수평 방향과 수직 방향 중 어느 한쪽 방향으로 분할하여 얻어지는 복수의 비정사각 영역의 사이즈 중, 부호화 효율이 높은 쪽의 사이즈가 검출된다(예를 들어, 특허문헌 1을 참조).

일본 특허 공개 제2011-223303호 공보

ITU-T Recommendation H.265 | ISO/IEC 23008-2 "High Efficiency Video Coding", 2013년 4월 J.An 기타, "Block partitioning structure for next generation video coding", ITU-T SG16 Doc. COM16-C966, 2015년 9월

그러나, 동화상 부호화 장치는, 에지 블록을 비정사각 영역으로서 부호화하는 경우에도, 에지 블록의 분할 패턴을 나타내는 신택스를 부호화 동화상 데이터에 포함하게 된다. 그 때문에, 비정사각 영역인 에지 블록의 분할 패턴의 종류가 증가할수록 부호량이 증가하고, 그 결과로서, 부호화 효율이 저하된다.

하나의 측면에서는, 본 발명은 픽처단이 부호화 처리의 단위가 되는 블록 내에 포함되는 경우에도, 부호화 효율을 향상할 수 있는 동화상 부호화 장치를 제공하는 것을 목적으로 한다.

하나의 실시 형태에 따르면, 동화상 데이터에 포함되는 부호화 대상 픽처를 부호화하는 동화상 부호화 장치가 제공된다. 이 동화상 부호화 장치는, 부호화 대상 픽처를 분할하여 얻어지는 복수의 블록 중, 부호화 대상 픽처의 수평 방향의 단부 및 수직 방향의 단부 중 어느 한쪽을 포함하는 픽처단 블록을 4분 트리 구조에 따라서 4분할하거나, 혹은 픽처단 블록에 포함되는 부호화 대상 픽처의 단부와 직교하는 방향으로 2분할함으로써, 어느 서브블록에든 부호화 대상 픽처의 단부가 포함되지 않도록, 픽처단 블록을 복수의 서브 블록으로 분할하는 분할 패턴 판정부와, 복수의 서브블록 각각에 대해서, 부호화 완료된 다른 픽처 혹은 부호화 대상 픽처의 부호화 완료된 영역을 참조하여 예측 블록을 생성하는 예측 블록 생성부와, 복수의 서브블록 각각에 대해서, 그 서브블록과 대응하는 예측 블록의 대응 화소 간의 예측 오차를 산출하여, 예측 오차를 부호화하는 부호화부와, 픽처단 블록에 대하여 4분할되었는지 2분할되었는지를 나타내는 분할 정보를, 부호화된 동화상 데이터에 부가하는 부가부를 갖는다.

또한 다른 실시 형태에 의하면, 부호화된 동화상 데이터에 포함되는 복호 대상 픽처를 복호하는 동화상 복호 장치가 제공된다. 이 동화상 복호 장치는, 복호 대상 픽처를 분할하여 얻어지는 복수의 블록 중, 복호 대상 픽처의 수평 방향의 단부 및 수직 방향의 단부 중 어느 한쪽을 포함하는 픽처단 블록이 4분 트리 구조에 따라서 4분할되었는지, 혹은 2분할되었는지를 나타내는, 부호화된 동화상 데이터에 포함되는 분할 정보를 참조하여, 픽처단 블록을 4분 트리 구조에 따라서 4분할하거나, 혹은 픽처단 블록에 포함되는 복호 대상 픽처의 단부와 직교하는 방향으로 2분할함으로써, 어느 서브블록에든 복호 대상 픽처의 단부가 포함되지 않도록, 픽처단 블록을 복수의 서브 블록으로 분할하는 분할 패턴 판정부와, 복수의 서브블록 각각에 대해서, 복호 완료된 다른 픽처 혹은 복호 대상 픽처의 복호 완료된 영역을 참조하여 예측 블록을 생성하는 예측 블록 생성부와, 복수의 서브블록 각각에 대해서, 부호화된 동화상 데이터에 포함되는, 그 서브블록과 대응하는 예측 블록의 대응 화소 간의 예측 오차에, 예측 블록의 대응 화소의 값을 가산함으로써 픽처단 블록을 복호하는 복호부를 갖는다.

하나의 측면에서는, 본 명세서에 개시된 동화상 부호화 장치는, 픽처단이 부호화 처리의 단위가 되는 블록 내에 포함되는 경우에도, 부호화 효율을 향상할 수 있다.

도 1은, HEVC에 의한, 픽처의 분할의 일례를 도시하는 도면이다.
도 2는, 픽처단을 포함하는 CTU의 분할의 일례를 도시하는 도면이다.
도 3은, 하나의 실시 형태에 관계되는 동화상 부호화 장치의 개략 구성도이다.
도 4는, 픽처의 하단을 포함하는 CTU의 분할의 일례를 도시하는 도면이다.
도 5는, 픽처의 우단을 포함하는 CTU의 분할의 일례를 도시하는 도면이다.
도 6은, 픽처의 하단과 우단의 양쪽을 포함하는 CTU의 분할의 일례를 도시하는 도면이다.
도 7은, 부호화 모드 판정부에 의한, 분할 패턴 및 부호화 모드 판정 처리의 동작 흐름도이다.
도 8은, 동화상 부호화 처리의 동작 흐름도이다.
도 9는, 동화상 복호 장치의 개략 구성도이다.
도 10은, 분할 패턴 판정부에 의한, 분할 패턴 판정 처리의 동작 흐름도이다.
도 11은, 동화상 복호 처리의 동작 흐름도이다.
도 12는, 실시 형태 또는 그 변형예에 의한 동화상 부호화 장치 또는 동화상 복호 장치의 각 부 기능을 실현하는 컴퓨터 프로그램이 동작함으로써, 동화상 부호화 장치 또는 동화상 복호 장치로서 동작하는 컴퓨터의 구성도이다.

이하, 도면을 참조하면서, 동화상 부호화 장치에 대하여 설명한다.

처음에, 픽처단을 포함하는 CTU의 분할에 대하여 설명한다.

도 2는, 픽처단을 포함하는 CTU의 분할의 일례를 도시하는 도면이다. 이 예에서는, 픽처(200)의 수평 방향 사이즈 및 수직 방향 사이즈 모두, CTU 사이즈의 정수배가 아니기 때문에, 픽처(200)의 우단 및 하단 각각은, 우단 또는 하단의 CTU 내에 포함된다. 이 중, 픽처(200)의 하단을 포함하는 CTU(201)에 착안하면, 분할 패턴(210)에 도시된 바와 같이, CTU(201)는, 어느 CU(202)에도 픽처단(220)이 포함되지 않도록 분할된다. 그 때, 4분 트리 구조를 사용하여, 픽처단(220)과 CU(202)끼리의 경계가 일치하도록 CTU(201)를 분할하기 위해서, CTU(201)의 1/4의 사이즈 CU(202)가 사용되게 된다. 그 결과로서, 이 예에서는, CTU(201)는, 6개의 CU(202)로 분할되게 된다. 또한, 4분 트리 구조를 사용하여 CTU(201)를 분할한 후에, 2분 트리 구조를 사용하여 더욱 각 CU(202)를 분할한다고 해도, 보다 많은 CU를 사용하여 CTU(201)가 분할되게 된다.

한편, 픽처단이 포함되는 CTU(201)를, 처음부터 2분 트리 구조를 적용하여 분할하는 경우에는, 분할 패턴(211)에 나타낸 바와 같은, 정사각형이 아닌 CU(203)를 사용하여 CTU(201)를 분할하는 것이 가능하게 된다. 그러나, 4분 트리 구조를 적용하여 CTU를 복수의 서브 블록으로 분할하고 나서 개개의 서브블록에 2분 트리 구조를 적용하는 종래 기술에서는, CTU(201)는, 우선, 정사각 형상의 서브 블록으로 분할된다. 그 때문에, CTU(201)를, 분할 패턴(211)과 같이 분할하는 것은 허가되지 않는다.

그래서, 본 실시 형태에서는, 동화상 부호화 장치는, 픽처의 우단 및 하단 중 어느 한쪽이 포함되는 블록을, 4분 트리 구조의 서브블록(정사각형)과 2분 트리 구조의 서브블록(직사각형) 중 부호화 비용이 낮은 쪽의 서브블록을 사용하여 분할한다. 그리고 이 동화상 부호화 장치는, 픽처단을 포함하는 블록에 대해서, 4분 트리 구조가 적용되었는지 2분 트리 구조가 적용되었는지를 나타내는 신택스를 부호화 동화상 데이터에 부가한다.

또한, 도 2에 도시된 바와 같이, 픽처의 하단이 포함되는 블록에 2분 트리 구조를 적용하여 그 블록을 복수의 서브 블록으로 분할하는 경우, 서브블록의 수를 적게 하기 위해서는, 그 블록을 픽처단과 직교하는 방향을 따라서 분할하는 것이 바람직하다. 즉, 픽처의 하단이 포함되는 블록은, 서브블록 사이의 경계선이 픽처단과 평행해지도록 분할되는 것이 바람직하다. 따라서, 픽처의 하단이 포함되는 블록은, 서브블록 사이의 경계선이 수평하게 되도록, 수직 방향을 따라서 분할되는 것이 바람직하다. 마찬가지로, 픽처의 우단이 포함되는 블록에 2분 트리 구조를 적용하는 경우, 그 블록은, 서브블록 사이의 경계선이 수직으로 되도록, 수평 방향을 따라서 분할되는 것이 바람직하다. 그 때문에, 동화상 부호화 장치는, 2분 트리 구조가 적용되는 블록에 관한 분할 방향은 부호화 동화상 데이터에 포함하지 않아도 된다. 또한, 동화상 부호화 장치는, 픽처의 하단과 우단의 양쪽을 포함하는 블록에 대해서는, 4분 트리 구조를 적용하여 분할한다.

또한, 픽처는, 프레임 또는 필드의 어느 것이어도 된다. 프레임은, 동화상 데이터 중의 하나의 정지 화상이며, 한편, 필드는, 프레임으로부터 홀수행의 데이터 혹은 짝수행의 데이터만을 취출함으로써 얻어지는 정지 화상이다.

또한 본 실시 형태에서는, 동화상 부호화 장치는, HEVC와 같이, 픽처를 CTU 단위로 분할하고, CTU 단위로 부호화하는 것으로 한다. 그러나, 동화상 부호화 장치는, 픽처를 복수의 블록으로 분할하고 블록마다 부호화하는 다른 부호화 표준에 준거하여 동화상 데이터를 부호화해도 된다.

도 3은, 하나의 실시 형태에 의한 동화상 부호화 장치의 개략 구성도이다. 동화상 부호화 장치(1)는 움직임 탐색부(11)와, 부호화 모드 판정부(12)와, 예측 블록 생성부(13)와, 예측 부호화부(14)와, 복호부(15)와, 기억부(16)와, 엔트로피 부호화부(17)를 갖는다.

동화상 부호화 장치(1)는 부호화 대상의 픽처에 대해서, 각 CTU를 래스터 스캔순으로 부호화한다. 그래서, 이하에서는, 동화상 부호화 장치(1)의 각 부에 대해서, 하나의 CTU에 대한 처리를 예로서 설명한다.

움직임 탐색부(11)는 부호화 대상 CTU를 포함하는 부호화 대상 픽처가 인터 예측 부호화 방식이 적용 가능한 P 픽처 또는 B 픽처일 경우, 부호화 대상 CTU에 대하여 적용 가능한 PU마다 움직임 벡터를 산출한다. 또한, 휘도 성분은, 제1 성분의 일례이다. 또한, 부호화 대상 픽처의 종별은, 예를 들어, 제어부(도시하지 않음)가 부호화 대상의 동화상 데이터에 적용하는 Group Of Pictures(GOP)의 구조 및 부호화 대상 픽처의 GOP 내에서의 위치에 기초하여 결정된다.

움직임 탐색부(11)는 부호화 대상 CTU가 착안하는 PU에 대해서, 적어도 하나의 국소 복호 픽처 각각에 관한 참조 가능한 영역에 대하여 블록 매칭을 행하고, 착안하는 PU와 가장 일치하는 참조 블록을 특정한다. 그리고 움직임 탐색부(11)는 착안하는 PU와 참조 블록 간의 이동량을 나타내는 벡터를 움직임 벡터로서 산출한다. 또한, 움직임 탐색부(11)는 부호화 대상 픽처가 쌍방향 예측 부호화 모드를 적용 가능한 B 픽처일 경우, L0 예측과 L1 예측의 양쪽에 대하여 움직임 벡터를 산출한다. 움직임 탐색부(11)는 각 PU의 움직임 벡터 및 그 움직임 벡터에서 참조되는 국소 복호 픽처를 나타내는 정보를 기억부(16)에 기억함과 함께, 부호화 모드 판정부(12)에 통지한다.

부호화 모드 판정부(12)는 분할 패턴 판정부의 일례이며, 부호화 대상 CTU를 분할하는 CU, PU 및 TU의 분할 패턴 및 CU마다 적용되는 부호화 모드를 결정한다. 부호화 모드 판정부(12)는 예를 들어, 도시하지 않은 제어부로부터 취득한, 부호화 대상 CTU가 포함되는 부호화 대상의 픽처 타입을 나타내는 정보에 기초하여, 그 CTU에 적용 가능한 부호화 모드를 결정한다. 그리고 부호화 모드 판정부(12)는 적용 가능한 부호화 모드 중에서 실제로 적용하는 부호화 모드를 선택한다. 부호화 대상의 픽처 타입이 인트라 예측 부호화 방식만이 적용 가능한 I 픽처라면, 부호화 모드 판정부(12)는 적용되는 부호화 모드로서 인트라 예측 부호화 방식을 선택한다. 또한, 부호화 대상의 픽처 타입이 P 픽처 또는 B 픽처라면, 부호화 모드 판정부(12)는 예를 들어, 적용되는 부호화 모드로서, 인터 예측 부호화 방식 및 인트라 예측 부호화 방식의 어느 것을 선택한다.

부호화 모드 판정부(12)는 적용 가능한 부호화 모드에 관한 부호화 대상 CTU가 부호화된 데이터양의 평가값인 부호화 비용을 CU 단위로 각각 산출한다. 예를 들어, 부호화 모드 판정부(12)는 인터 예측 부호화 방식에 대해서는, CTU를 분할하는 CU 분할 패턴, PU 분할 패턴 및 움직임 벡터의 예측 벡터의 생성 방법을 규정하는 벡터 모드의 조합마다 부호화 비용을 산출한다. 또한, 부호화 모드 판정부(12)는 벡터 모드로서, 예를 들어, Advanced Motion Vector Prediction(AMVP) 모드, 및 Merge 모드의 어느 것을 이용할 수 있다.

또한, 인트라 예측 부호화 방식에 대해서는, 부호화 모드 판정부(12)는 CTU를 분할하는 CU 분할 패턴, PU 분할 패턴 및 픽처 내에서의 참조 방향을 규정하는 예측 모드의 조합마다 부호화 비용을 산출한다.

부호화 모드 판정부(12)는 부호화 비용을 산출하기 위해서, 예를 들어, 착안하는 PU에 대해서, 다음 식에 따라서, 예측 오차, 즉 화소 차분 절댓값합 SAD를 산출한다.

SAD=Σ|OrgPixel-PredPixel|

여기서, OrgPixel은 착안하는 PU에 포함되는 화소의 값이며, PredPixel은 착안하는 블록에 대응하는, 부호화 비용의 산출 대상으로 되는 부호화 모드에 따라서 생성된 예측 블록에 포함되는 화소의 값이다.

그리고 부호화 모드 판정부(12)는 예를 들어, 다음 식에 따라서, 착안하는 CU에 관한 부호화 비용 Cost를 산출한다.

Cost=ΣSAD+λ*B

여기서, ΣSAD는, 착안하는 CU에 포함되는 각 PU에 대하여 산출된 SAD의 총합이다. 또한 B는, 움직임 벡터, 예측 모드를 나타내는 플래그 등, 예측 오차 이외의 항목에 관한 부호량의 추정값이다. 그리고 λ는 라그랑주의 미정승수이다.

또한, 부호화 모드 판정부(12)는 SAD 대신에 착안하는 PU와 예측 블록의 차분 화상을 아다마르 변환한 후의 각 화소의 아다마르 계수의 절댓값합 SATD를 산출해도 된다.

부호화 모드 판정부(12)는 부호화 대상 CTU에 대해서, 예를 들어, 취할 수 있는 CU 사이즈 중에서 사이즈가 큰 쪽으로부터 순서대로 착안하는 CU를 설정한다. 그리고 부호화 모드 판정부(12)는 착안하는 CU에 대해서, 인트라 예측 부호화 방식에 대하여 그 CU 내의 PU 분할 패턴마다 비용이 최소가 되는 예측 모드를 선택한다. 또한, 부호화 모드 판정부(12)는 착안하는 CU에 대해서, 인터 예측 부호화 방식에 대하여 그 CU 내의 PU 분할 패턴마다 비용이 최소가 되는 벡터 모드를 선택한다. 또한, 부호화 모드 판정부(12)는 동사이즈의 CU마다, 인트라 예측 부호화 방식과 인터 예측 부호화 방식 중에서, 부호화 비용이 작은 쪽을, 그 CU에 대하여 적용하는 부호화 모드로서 선택한다.

또한, 부호화 모드 판정부(12)는 착안하는 CU에 픽처단이 포함되지 않은 경우, 착안하는 CU를 4분 트리 구조에 따라서 4분할한 CU 각각을, 다음으로 착안하는 CU로서, 마찬가지의 처리를 실행하고, 최소 부호화 비용을 산출한다. 그리고 부호화 모드 판정부(12)는 분할한 CU 각각에 대하여 산출된, 최소 부호화 비용의 총합이, 착안하는 CU에 관한 최소 부호화 비용보다도 작으면, 착안하는 CU를 4분 트리 구조에 따라서 4분할한다. 부호화 모드 판정부(12)는 각 CU가 분할되지 않게 될 때까지 상기 처리를 반복함으로써, 부호화 대상 CTU에 적용되는 CU 분할 패턴 및 PU 분할 패턴을 결정한다.

또한, 착안하는 CTU 또는 CU(이하, 착안하는 블록이라고 칭한다)가 픽처의 우단 및 하단의 양쪽을 포함하는 경우, 부호화 모드 판정부(12)는 착안하는 블록을 4분 트리 구조에 따라서 4분할한다. 이것은, 착안하는 블록 내에 픽처의 우단과 하단의 양쪽이 포함되는 경우, 픽처의 우단과 하단의 양쪽이 어느 CU에도 포함되지 않도록 하기 위해서는, 착안하는 블록을 수평 방향과 수직 방향의 양쪽에 대하여 분할할 것이 요구되기 때문이다.

또한, 착안하는 블록이 픽처의 우단을 포함하고, 또한, 픽처의 하단을 포함하지 않은 경우, 부호화 모드 판정부(12)는 착안하는 블록을 4분 트리 구조에 따라서 4개의 서브 블록으로 분할한다. 또한, 부호화 모드 판정부(12)는 착안하는 블록을 2분 트리 구조에 따라서 수평 방향으로 2개의 서브 블록으로 분할한다. 마찬가지로, 착안하는 블록이 픽처의 하단을 포함하고, 또한, 픽처의 우단을 포함하지 않은 경우, 부호화 모드 판정부(12)는 착안하는 블록을 4분 트리 구조에 따라서 4개의 서브 블록으로 분할하고, 또한, 착안하는 블록을 수직 방향으로 2개의 서브 블록으로 분할한다.

또한, 착안하는 블록을 분할하여 얻어진 어느 하나의 서브블록에 픽처단이 포함되는 경우, 부호화 모드 판정부(12)는 상기한 바와 같이 픽처단을 포함하는 서브블록을 재차 4분할 또는 2분할한다. 부호화 모드 판정부(12)는 어느 서브블록에든 픽처단이 포함되지 않게 될 때까지 상기 처리를 반복한다.

단, 부호화 모드 판정부(12)는 일단 2분 트리 구조가 적용되고, 또한, 수평 방향을 따라서 분할된 블록에 대해서는, 그 블록을 분할하여 얻어지는 각 서브블록 중, 픽처단을 포함하는 것에 대해서도, 2분 트리 구조에 따라서, 또한, 수평 방향을 따라서 분할한다. 마찬가지로, 부호화 모드 판정부(12)는 일단 2분 트리 구조가 적용되고, 또한, 수직 방향을 따라서 분할된 블록 중, 픽처단을 포함하는 것에 대해서는, 그 블록을 분할하여 얻어지는 각 서브블록에 대해서도, 2분 트리 구조에 따라서, 또한, 수직 방향을 따라서 분할한다.

부호화 모드 판정부(12)는 얻어진 서브블록의 조합마다, 상기와 마찬가지의 처리를 행하여 부호화 비용을 산출한다. 그리고 부호화 모드 판정부(12)는 부호화 비용이 최소가 되는 서브블록의 조합을 선택하고, 선택한 조합에 포함되는 개개의 서브블록을 각각 하나의 CU로 하면 된다.

도 4는, 픽처의 하단을 포함하는 CTU의 분할의 일례를 도시하는 도면이다. 도 4에 도시되는 예에서는, CTU(400)에, 픽처의 하단(401)이 포함되어 있다. 그 때문에, 부호화 모드 판정부(12)는 CTU(400)에 4분 트리 구조를 적용하고, 4개의 정사각형의 CU(410-1 내지 410-4)로 분할하거나, 2분 트리 구조를 적용하고, 수직 방향으로 2개의 CU(420-1, 420-2)로 분할한다. 그리고 부호화 모드 판정부(12)는 CU(410-1) 및 CU(410-2)에 대해서는, 픽처의 하단(401)이 포함되지 않으므로, 4분 트리 구조에 따라서 재차 4분할해도 된다. 부호화 모드 판정부(12)는 CU(410-1) 및 CU(410-2)를 4분할할지의 여부를, 부호화 비용에 기초하여 결정하면 된다. 또한, 부호화 모드 판정부(12)는 CU(410-3) 및 CU(410-4)에 대해서는, 픽처의 하단(401)이 포함되므로, 4분 트리 구조에 따라서 4분할하거나, 혹은, 2분 트리 구조에 따라서 수직 방향으로 2분할한다.

부호화 모드 판정부(12)는 픽처의 하단(401)이 포함되지 않는 CU(420-1)에 대해서도, 2분 트리 구조에 따라서 추가로 수직 방향으로 2분할해도 된다. 부호화 모드 판정부(12)는 CU(420-1)를 2분할할지의 여부는, 부호화 비용에 기초하여 결정하면 된다. 또한, 부호화 모드 판정부(12)는 픽처의 하단(401)이 포함되는 CU(420-2)에 대해서는, 2분 트리 구조에 따라서 추가로 수직 방향으로, CU(421-1)와 CU(421-2)로 2분할한다.

최종적으로, 모든 CU에 픽처의 하단(401)이 포함되지 않게 되었을 때의 CU의 조합 각각에 대해서, CU마다 산출되는 부호화 비용의 합계가 산출되어, 그 합계가 최소가 되는 CU의 조합에 따라서, CTU(400)는 분할된다. 예를 들어, CU(420-1)와 CU(421-1)의 조합에 관한 부호화 비용의 합계가 최소가 되는 경우, CTU(400)는, CU(420-1)와 CU(421-1)로 분할된다. 그리고 부호화 모드 판정부(12)는 CTU 또는 CU를 분할할 때마다, 그 CTU 또는 CU에 대하여 4분 트리 구조와 2분 트리 구조의 어느 것이 적용되었는지를 나타내는 신택스를 생성하고, 그 신택스를 엔트로피 부호화부(17)에 통지한다. 또한, 4분 트리 구조와 2분 트리 구조의 어느 것이 적용되었는지를 나타내는 신택스는, 분할 정보의 일례이다. 단, 2분 트리 구조를 적용하여 얻어진 CU에 대해서는, 그 CU가 더 분할되는 경우에도, 4분 트리 구조는 적용되지 않으므로, 4분 트리 구조와 2분 트리 구조의 어느 것이 적용되었는지를 나타내는 신택스는 생성되지 않아도 된다.

도 5는, 픽처의 우단을 포함하는 CTU의 분할의 일례를 도시하는 도면이다. 도 5에 도시되는 예에서는, CTU(500)에 픽처의 우단(501)이 포함되어 있다. 그 때문에, 부호화 모드 판정부(12)는 CTU(500)에 4분 트리 구조를 적용하고, 4개의 정사각형의 CU(510-1 내지 510-4)로 분할하거나, 2분 트리 구조를 적용하고, 수평 방향으로 2개의 CU(520-1, 520-2)로 분할한다. 그리고 부호화 모드 판정부(12)는 CU(510-1) 및 CU(510-3)에 대해서는, 픽처의 우단(501)이 포함되지 않으므로, 4분 트리 구조에 따라서 재차 4분할해도 된다. 부호화 모드 판정부(12)는 CU(510-1) 및 CU(510-3)를 4분할할지의 여부를, 부호화 비용에 기초하여 결정하면 된다. 또한, 부호화 모드 판정부(12)는 CU(510-2) 및 CU(510-4)에 대해서는, 픽처의 우단(501)이 포함되므로, 4분 트리 구조에 따라서 4분할하거나, 혹은, 2분 트리 구조에 따라서 수평 방향으로 2분할한다. 또한, 부호화 모드 판정부(12)는 픽처의 우단(501)이 포함되는 CU(520-2)에 대해서는, 2분 트리 구조에 따라서 추가로 수평 방향으로, CU(521-1)와 CU(521-2)로 2분할한다.

최종적으로, 모든 CU에 픽처의 우단(501)이 포함되지 않게 되었을 때의 CU의 조합 각각에 대해서, CU마다 산출되는 부호화 비용의 합계가 산출되어, 그 합계가 최소가 되는 CU의 조합에 따라서, CTU(500)는 분할된다.

도 6은, 픽처의 하단과 우단의 양쪽을 포함하는 CTU의 분할의 일례를 도시하는 도면이다. 도 6에 도시하는 예에서는, CTU(600)에, 픽처의 우단(601)과 픽처의 하단(602)이 포함되어 있다. 그 때문에, 부호화 모드 판정부(12)는 CTU(600)에 4분 트리 구조를 적용하고, 4개의 정사각형의 CU(610-1 내지 610-4)로 분할한다. 그리고 부호화 모드 판정부(12)는 CU(610-1)에 대해서는, 픽처의 우단(601) 및 픽처의 하단(602)의 양쪽이 포함되지 않으므로, 4분 트리 구조에 따라서 재차 4분할해도 된다. 부호화 모드 판정부(12)는 CU(610-1)를 4분할할지의 여부는, 부호화 비용에 기초하여 결정하면 된다. 또한, 부호화 모드 판정부(12)는 CU(610-3)에 대해서는, 픽처의 하단(602)이 포함되므로, 픽처의 하단(602)이 CU 내에 포함되지 않게 될 때까지, 도 4에 도시되는 CTU(400)와 마찬가지로, 4분 트리 구조 또는 2분 트리 구조에 따라서 분할을 반복하면 된다. 또한, CU(610-2) 및 CU(610-4)에는 픽처가 포함되지 않으므로, CU(610-2) 및 CU(610-4)는 무시된다.

또한, 부호화 모드 판정부(12)는 상기와 같이 하여 결정한 CU 분할 패턴에 따른 CU마다, TU 분할 패턴을 결정한다. 그 때, 부호화 모드 판정부(12)는 적용 가능한 TU 분할 패턴마다, 다음 식에 따라서 RD 비용 Cost를 산출한다.

여기서, org(i)는 착안하는 CU에 포함되는 화소의 값이며, ldec(i)는 착안하는 TU 분할 패턴을 사용하여 그 CU를 부호화하고, 또한 복호하여 얻어지는 복호 화소의 값을 나타낸다. 또한 bit는, 그 CU를 착안하는 TU 분할 패턴을 사용하여 부호화했을 때의 부호량을 나타낸다. (1)식의 우변 제1항은, 부호화 변형을 나타내고, 우변의 제2항은 부호량을 나타낸다. 그 때문에, RD 비용이 최소가 되는 TU 분할 패턴에서는, 부호화 변형과 부호량이 최적의 밸런스가 되어 있다.

그래서, 부호화 모드 판정부(12)는 RD 비용 Cost가 최소가 되는 TU 분할 패턴을 선택한다.

부호화 모드 판정부(12)는 부호화 대상 CTU에 대하여 선택한 CU 및 PU의 분할 패턴 및 부호화 모드의 조합을 예측 블록 생성부(13)에 통지하고, TU 분할 패턴을 예측 부호화부(14)에 통지한다. 또한 부호화 모드 판정부(12)는 부호화 대상 CTU에 대하여 선택한 CU, PU 및 TU의 분할 패턴 및 부호화 모드의 조합을 기억부(16)에 보존한다. 또한, CTU를 개개의 CU로 분할하는 분할 패턴을 나타내는 정보는, 예를 들어, CTU를 재귀적으로 분할하여 얻어지는 개개의 서브블록에 대해서, 분할되었는지의 여부를 나타내는 정보를 포함한다. 또한, 부호화 모드 판정부(12)는 픽처단을 포함하는 CTU와, 그 CTU를 재귀적으로 분할하여 얻어지는 개개의 서브블록 중, 픽처단을 포함하는 서브블록에 대해서, 4분 트리 구조가 적용되었는지 2분 트리 구조가 적용되었는지를 나타내는 신택스를 생성한다. 그리고 부호화 모드 판정부(12)는 그 신택스를 엔트로피 부호화부(17)에 건네준다.

도 7은, 부호화 모드 판정부(12)에 의한, 분할 패턴 및 부호화 모드 판정 처리의 동작 흐름도이다.

부호화 모드 판정부(12)는 착안하는 블록에 픽처의 단부가 포함되는지 여부를 판정한다(스텝 S101). 또한, 가장 최초의 착안하는 블록은, 부호화 대상 CTU이다.

착안하는 블록에 픽처의 단부가 포함되지 않은 경우(스텝 S101-"아니오"), 부호화 모드 판정부(12)는 부호화 비용이 최소화되도록, 착안하는 블록을 분할한다(스텝 S102). 또한, 착안하는 블록을 분할하지 않는 쪽이 부호화 비용이 작은 경우, 착안하는 블록은 그 이상 분할되지 않아도 된다. 한편, 착안하는 블록에 픽처의 단부가 포함되는 경우(스텝 S101-"예"), 부호화 모드 판정부(12)는 착안하는 블록에 픽처의 우단과 하단의 양쪽이 포함되는지 여부를 판정한다(스텝 S103).

착안하는 블록에 픽처의 우단과 하단의 양쪽이 포함되는 경우(스텝 S103-"예"), 부호화 모드 판정부(12)는 착안하는 블록을 4분 트리 구조에 따라서 4분할한다(스텝 S104). 한편, 착안하는 블록에 포함되는 픽처단이 픽처의 우단 또는 하단 중 어느 한쪽일 경우(스텝 S103-"아니오"), 부호화 모드 판정부(12)는 착안하는 블록을 포함하는 블록은 2분할되었는지 여부를 판정한다(스텝 S105).

착안하는 블록을 포함하는 블록이 2분할되어 있는 경우(스텝 S105-"예"), 부호화 모드 판정부(12)는 착안하는 블록도 2개의 서브 블록으로 분할한다(스텝 S106). 그 때, 부호화 모드 판정부(12)는 착안하는 블록을 포함하는 블록에 관한 분할 방향과 동일한 방향을 따라, 착안하는 블록도 분할하면 된다.

한편, 착안하는 블록을 포함하는 블록이 2분할되어 있지 않은 경우(스텝 S105-"아니오"), 부호화 모드 판정부(12)는 착안하는 블록을 4분할하여 정사각형의 4개의 서브블록을 생성한다. 또한, 부호화 모드 판정부(12)는 착안하는 블록을 픽처단과 직교하는 방향을 따라서 2분할하여 직사각형의 2개의 서브블록을 생성한다(스텝 S107).

스텝 S102, S104, S106 또는 S107 후, 부호화 모드 판정부(12)는 픽처단을 포함하는 서브블록이 있는지 여부를 판정한다(스텝 S108). 어느 서브블록에 픽처단이 포함되는 경우(스텝 S108-"예"), 부호화 모드 판정부(12)는 각 서브블록을 각각 착안하는 블록으로 설정한다(스텝 S109). 그리고 부호화 모드 판정부(12)는 착안하는 블록마다, 스텝 S101 이후의 처리를 실행한다.

한편, 어느 서브블록에든 픽처단이 포함되지 않은 경우(스텝 S108-"아니오"), 부호화 모드 판정부(12)는 얻어진 블록의 조합 중에서 부호화 비용이 최소화가 되는 조합을 선택한다. 그리고 부호화 모드 판정부(12)는 선택한 조합에 따라서, CU, PU 및 TU의 각각의 분할 패턴, 적용되는 부호화 모드를 결정한다(스텝 S110). 그리고 부호화 모드 판정부(12)는 분할 패턴 및 부호화 모드 판정 처리를 종료한다.

예측 블록 생성부(13)는 부호화 대상 CTU에 대하여 선택된 CU 및 PU의 분할 패턴 및 부호화 모드의 조합에 따라서 PU마다 예측 블록을 생성한다.

예를 들어, 착안하는 PU가 인트라 예측 부호화되는 경우, 예측 블록 생성부(13)는 그 PU에 대하여 선택된 예측 모드에 따라서 참조되는, 그 PU의 주위의 국소 복호 블록 내의 화소의 값에 기초하여 예측 블록을 생성한다. 한편, 예측 블록 생성부(13)는 착안하는 PU가 인터 예측 부호화되는 경우, 기억부(16)로부터 판독한, 그 PU에 대하여 참조되는 국소 복호 픽처를, 그 PU에 대하여 산출된 움직임 벡터에 기초하여 움직임 보상함으로써 예측 블록을 생성한다.

예측 블록 생성부(13)는 생성된 예측 블록을 예측 부호화부(14) 및 복호부(15)에 건네준다.

예측 부호화부(14)는 부호화 대상 CTU를 예측 부호화한다.

예측 부호화부(14)는 부호화 대상 CTU 내의 각 화소에 대해서, 예측 블록의 대응 화소와의 차분 연산을 실행한다. 그리고 예측 부호화부(14)는 부호화 대상 CTU 내의 각 TU에 대해서, 그 차분 연산에 의해 얻어진 TU 내의 각 화소에 대응하는 차분값을, 그 TU의 각 화소의 예측 오차 신호로 한다.

또한, 예측 부호화부(14)는 인터 예측 부호화되는 각 PU에 대해서, 부호화 모드 판정부(12)에 의해 적용되면 판정된 벡터 모드에 따라서 그 PU의 예측 벡터의 후보 리스트를 작성한다. 그리고 예측 부호화부(14)는 그 PU의 움직임 벡터와 각 예측 벡터의 후보 간의 예측 오차 신호를 산출한다. 예측 부호화부(14)는 인터 예측 부호화되는 각 PU에 대해서, 각 예측 벡터의 후보에 대하여 산출된 예측 오차 신호에 기초하여, 각 예측 벡터의 후보 중에서 예측 벡터를 결정한다. 그리고 예측 부호화부(14)는 각 PU의 움직임 벡터에 대해서, 예측 벡터의 후보 리스트 중에서 예측 벡터를 특정하는 정보, 및 움직임 벡터와 예측 벡터 간의 예측 오차 신호 등을 엔트로피 부호화부(17)에 건네준다.

또한, 예측 부호화부(14)는 부호화 대상 CTU 내의 각 TU에 대해서, 그 TU의 예측 오차 신호를 직교 변환함으로써 예측 오차 신호의 수평 방향 주파수 성분 및 수직 방향의 주파수 성분을 나타내는 직교 변환 계수를 구한다. 예를 들어, 예측 부호화부(14)는 예측 오차 신호에 대하여 직교 변환 처리로서 이산 코사인 변환(Discrete Cosine Transform, DCT)을 실행함으로써, 직교 변환 계수로서, DCT 계수의 조를 얻는다.

그리고 예측 부호화부(14)는 부호화 대상 CTU에 있어서, TU마다의 직교 변환 계수를, 양자화 폭을 지정하는 qp값 등을 포함하는 양자화 파라미터에 따라서 양자화함으로써, 양자화된 직교 변환 계수를 산출한다. 또한, 이하에서는, 양자화된 직교 변환 계수를, 간단히 양자화 계수라고 칭하는 경우가 있다.

예측 부호화부(14)는 양자화된 직교 변환 계수를 복호부(15) 및 엔트로피 부호화부(17)로 출력한다.

복호부(15)는 부호화 대상 CTU 내의 각 TU의 양자화 계수로부터, 그 TU보다도 후의 CU 등을 부호화하기 위하여 참조되는 국소 복호 블록을 생성하고, 그 국소 복호 블록을 기억부(16)에 기억한다.

복호부(15)는 각 TU의 양자화된 양자화 계수를 역양자화함으로써, 양자화 전의 직교 변환 계수를 복원한다. 예를 들어, 복호부(15)는 TU마다, 복원된 직교 변환 계수에 대하여 역직교 변환을 행한다. 예를 들어, 예측 부호화부(14)가 직교 변환으로서 DCT를 사용하고 있는 경우, 복호부(15)는 역직교 변환으로서 역DCT 처리를 실행한다. 이에 의해, 복호부(15)는 TU마다, 부호화 전의 예측 오차 신호와 동일 정도의 정보를 갖는 예측 오차 신호를 복원한다.

복호부(15)는 TU마다, 그 TU의 예측 블록의 각 화소값에, 복원된 예측 오차 신호를 가산함으로써, 국소 복호 블록을 생성한다.

복호부(15)는 국소 복호 블록을 생성할 때마다, 그 국소 복호 블록을 기억부(16)에 기억시킨다.

또한, 복호부(15)는 1매의 픽처분의 국소 복호 블록을 각 CTU의 부호화 순서에 따라서 결합함으로써 얻어지는 국소 복호 픽처를 기억부(16)에 기입한다.

기억부(16)는 복호부(15)로부터 수취한 국소 복호 블록을 일시적으로 기억한다. 기억부(16)는 움직임 탐색부(11), 부호화 모드 판정부(12) 및 예측 블록 생성부(13)에, 국소 복호 픽처 또는 국소 복호 블록을 공급한다. 또한, 기억부(16)는 부호화 대상 픽처가 참조할 가능성이 있는, 미리 정해진 소정 매수분의 국소 복호 픽처를 기억하고, 국소 복호 픽처의 매수가 그 소정 매수를 초과하면, 부호화 순서가 오래된 국소 복호 픽처부터 순서대로 파기한다.

또한, 기억부(16)는 인터 예측 부호화된 국소 복호 블록 각각에 관한 움직임 벡터를 기억한다. 또한, 기억부(16)는 각 CTU에 대하여 선택한 CU, PU 및 TU의 분할 패턴 및 부호화 모드의 조합을 기억한다.

엔트로피 부호화부(17)는 부가부의 일례이며, 부호화 대상 CTU의 각 TU의 양자화 계수 및 각종 신택스 등을 엔트로피 부호화한다. 또한 엔트로피 부호화부(17)는 인터 예측 부호화되는 각 PU에 대해서, 예측 벡터의 후보 리스트 중에서 예측 벡터를 특정하는 정보 등도 엔트로피 부호화한다. 또한, 신택스에는, 픽처단을 포함하는 CTU에 대해서, 그 CTU 및 그 CTU를 재귀적으로 분할하여 얻어지고, 또한, 픽처단을 포함하는 서브블록마다, 4분 트리 구조와 2분 트리 구조 중 적용된 쪽을 나타내는 신택스가 포함된다.

본 실시 형태에서는, 엔트로피 부호화부(17)는 엔트로피 부호화 방식으로서, Context-based Adaptive Binary Arithmetic Coding(CABAC)이라고 하는 산술 부호화 처리를 사용한다. 그리고 엔트로피 부호화부(17)는 엔트로피 부호화에 의해 얻어진 비트 스트림을 출력한다.

엔트로피 부호화부(17)에 의해 출력된 각 CTU의 비트 스트림은 소정의 순서로 결합되고, HEVC에서 규정되는 헤더 정보 등을 부가함으로써, 부호화된 동화상 데이터를 포함하는 부호화 비트 스트림이 얻어진다. 동화상 부호화 장치(1)는 그 부호화 비트 스트림을 자기 기록 매체, 광기록 매체 혹은 반도체 메모리 등을 갖는 기억 장치(도시하지 않음)에 기억시키거나 혹은 그 부호화 비트 스트림을 다른 기기로 출력한다.

도 8은, 동화상 부호화 장치(1)에 의해 실행되는, 동화상 부호화 처리의 동작 흐름도이다. 동화상 부호화 장치(1)는 CTU마다 이하에 나타나는 동작 흐름도에 따라서 동화상 부호화 처리를 실행한다.

움직임 탐색부(11)는 부호화 대상 CTU 내의 인터 예측 부호화 방식을 적용 가능한 각 PU에 대하여 움직임 벡터를 산출한다(스텝 S201). 그리고 움직임 탐색부(11)는 각 PU의 움직임 벡터를 부호화 모드 판정부(12)에 통지한다. 또한, 부호화 대상 CTU가 포함되는 부호화 대상 픽처가 B 픽처일 경우에는, L0 방향 및 L1 방향 각각에 대하여 움직임 벡터를 산출한다. 또한, 부호화 대상 픽처가 I 픽처일 경우에는, 스텝 S201의 처리는 생략되어도 된다.

부호화 모드 판정부(12)는 부호화 대상 CTU에 대해서, 부호화 비용이 최소화되도록, CU, PU 및 TU의 각각의 분할 패턴, 적용되는 부호화 모드를 결정한다(스텝 S202). 그리고 부호화 모드 판정부(12)는 CU 및 PU의 분할 패턴, 적용되는 부호화 모드를 예측 블록 생성부(13)에 통지함과 함께, TU 분할 패턴을 예측 부호화부(14)에 통지한다. 또한, 부호화 모드 판정부(12)는 CU, PU 및 TU의 각각의 분할 패턴 및 적용되는 부호화 모드를 기억부(16)에 기억한다.

예측 블록 생성부(13)는 결정된 CU 및 PU의 분할 패턴, 적용되는 부호화 모드에 따라서 예측 블록을 생성한다(스텝 S203). 그리고 예측 블록 생성부(13)는 생성한 예측 블록을 예측 부호화부(14) 및 복호부(15)에 건네준다.

예측 부호화부(14)는 부호화 대상 CTU와 예측 블록의 대응 화소 간의 예측 오차 신호를 산출한다(스텝 S204). 그리고 예측 부호화부(14)는 각 화소의 예측 오차 신호를 TU마다 직교 변환함으로써, TU마다 직교 변환 계수를 산출한다(스텝 S205). 또한, 예측 부호화부(14)는 부호화 대상 CTU의 각 TU의 직교 변환 계수를 양자화하여 양자화 계수를 산출한다(스텝 S206). 그리고 예측 부호화부(14)는 각 TU의 양자화 계수를 복호부(15) 및 엔트로피 부호화부(17)로 출력한다.

복호부(15)는 부호화 대상 CTU의 각 TU에 관한 양자화 계수로부터 예측 오차 신호를 복원하고, 복원한 예측 오차 신호와 대응하는 예측 블록에 기초하여 그 CTU에 대응하는 국소 복호 블록을 생성한다(스텝 S207). 그리고 복호부(15)는 국소 복호 블록을 기억부(16)에 기억한다.

엔트로피 부호화부(17)는 양자화 계수 및 각종 신택스 등을 엔트로피 부호화한다(스텝 S208). 각종 신택스에는, 픽처단을 포함하는 CTU 또는 CU에 대해서, 4분 트리 구조 및 2분 트리 구조의 어느 것이 적용되었는지를 나타내는 신택스도 포함된다. 엔트로피 부호화부(17)는 얻어진 부호화 비트 스트림을 출력한다. 그리고 동화상 부호화 장치(1)는 하나의 CTU에 대한 동화상 부호화 처리를 종료한다.

이상으로 설명한 바와 같이, 이 동화상 부호화 장치는, 픽처의 우단 및 하단 중 어느 한쪽을 포함하는 블록을, 4분 트리 구조 및 픽처단과 직교하는 방향의 2분 트리 구조 중, 부호화 비용이 작은 쪽에 따라서 분할한다. 그 때문에, 이 동화상 부호화 장치는, 픽처단을 포함하는 블록에 처음부터 2분 트리 구조를 적용할 수도 있으므로, 픽처단을 포함하는 블록이 과도하게 미세하게 분할되는 것을 방지할 수 있다. 또한, 이 동화상 부호화 장치는, 픽처단을 포함하는 블록에 대해서, 4분 트리 구조와 2분 트리 구조 중 적용된 쪽을 나타내는 신택스를 부호화된 동화상 데이터에 부가한다. 한편, 2분 트리 구조가 적용된 블록에 대해서, 분할 방향을 나타내는 신택스는 부호화된 동화상 데이터에 부가되지 않아도 된다. 그 때문에, 이 동화상 부호화 장치는, 부호화 동화상 데이터에 포함되는, 픽처단을 포함하는 블록의 분할 패턴을 나타내는 정보의 부호량을 삭감할 수 있다. 따라서, 이 동화상 부호화 장치는, 픽처단이 블록 내에 포함되는 경우에도, 부호화 효율을 향상할 수 있다.

도 9는, 상기 실시 형태에 의한 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 복호하는 동화상 복호 장치의 개략 구성도이다. 동화상 복호 장치(2)는 엔트로피 복호부(21)와, 분할 패턴 판정부(22)와, 예측 블록 생성부(23)와, 복호부(24)와, 기억부(25)를 갖는다.

동화상 복호 장치(2)가 갖는 이들 각 부는, 각각 별개의 회로로서 형성된다. 혹은 동화상 복호 장치(2)가 갖는 이들 각 부는, 그 각 부에 대응하는 회로가 집적된 하나의 집적 회로로서 동화상 복호 장치(2)에 실장되어도 된다. 또한, 동화상 복호 장치(2)가 갖는 이들 각 부는, 동화상 복호 장치(2)가 갖는 프로세서 상에서 실행되는 컴퓨터 프로그램에 의해 실현되는 기능 모듈이어도 된다.

동화상 복호 장치(2)는 부호화된 동화상 데이터를 포함하는 부호화 비트 스트림을, 예를 들어, 통신 네트워크 및 동화상 복호 장치(2)를 통신 네트워크에 접속하기 위한 인터페이스 회로를 통하여 취득한다. 그리고 동화상 복호 장치(2)는 그 부호화 비트 스트림을 도시하지 않은 버퍼 메모리에 기억시킨다. 동화상 복호 장치(2)는 부호화된 데이터를 CTU 단위로 버퍼 메모리로부터 판독하고, 그 CTU 단위의 데이터를 엔트로피 복호부(21)에 입력한다.

엔트로피 복호부(21)는 CTU 단위로 부호화되어 있는 데이터를 엔트로피 복호한다. 그리고 엔트로피 복호부(21)는 CTU 내의 각 TU의 양자화 계수를 복호한다. 또한 엔트로피 복호부(21)는 인터 예측 부호화되어 있는 각 CU에 대해서, 그 CU에 포함되는 각 PU에 대하여 움직임 벡터를 특정하는 정보(예를 들어, 적용되는 벡터 모드 및 움직임 벡터의 예측 벡터를 나타내는 정보 등)를 엔트로피 복호한다. 또한, 엔트로피 복호부(21)는 인트라 예측 부호화되어 있는 각 CU에 대해서, 그 CU에 포함되는 각 PU에 관한 예측 모드를 엔트로피 복호한다. 또한, 엔트로피 복호부(21)는 적용된 분할 패턴 및 부호화 모드를 포함하는, 각종 신택스를 엔트로피 복호한다. 그리고 엔트로피 복호부(21)는 CU, PU 및 TU의 분할 패턴을 나타내는 신택스를 분할 패턴 판정부(22) 및 예측 블록 생성부(23)에 건네준다. 또한, 엔트로피 복호부(21)는 픽처단을 포함하는 CTU와, 그 CTU를 재귀적으로 분할하여 얻어지고, 또한, 픽처단을 포함하는 서브블록 각각에 대해서, 4분 트리 구조 및 2분 트리 구조의 어느 것이 적용되었는지를 나타내는 신택스를 분할 패턴 판정부(22)에 건네준다. 또한 엔트로피 복호부(21)는 기타의 각종 신택스 등을 예측 블록 생성부(23)에 건네준다. 또한, 엔트로피 복호부(21)는 양자화 계수를 복호부(24)에 건네준다.

분할 패턴 판정부(22)는 복호 대상 CTU에 대해서 CU마다 분할한다. 그 때, 분할 패턴 판정부(22)는 복호 대상 CTU에 픽처단이 포함되지 않은 경우, 엔트로피 복호부(21)에 의해 복호된, 복호 대상 CTU에 관한 분할 패턴을 나타내는 신택스를 참조하여, 복호 대상 CTU를 CU마다 분할하면 된다.

한편, 분할 패턴 판정부(22)는 복호 대상 CTU가 픽처의 우단 및 하단 중 중 어느 한쪽을 포함하는 경우, 4분 트리 구조와 2분 트리 구조의 어느 것이 적용되었는지를 나타내는 신택스를 참조하여, 복호 대상 CTU를 4분할 또는 2분할한다. 즉, 복호 대상 CTU에 대하여 4분 트리 구조가 적용되어 있는 경우, 분할 패턴 판정부(22)는 복호 대상 CTU를 4분할한다. 한편, 복호 대상 CTU에 대하여 2분 트리 구조가 적용되어 있는 경우, 분할 패턴 판정부(22)는 복호 대상 CTU를 2분할한다. 그 때, 분할 패턴 판정부(22)는 복호 대상 CTU에 포함되는 픽처단과 직교하는 방향을 따라서 복호 대상 CTU를 2분할하면 된다. 즉, 복호 대상 CTU에 픽처의 우단이 포함되어 있으면, 분할 패턴 판정부(22)는 복호 대상 CTU를 수평 방향을 따라서 2분할한다. 한편, 복호 대상 CTU에 픽처의 하단이 포함되어 있으면, 분할 패턴 판정부(22)는 복호 대상 CTU를 수직 방향을 따라서 2분할한다.

또한, 분할 패턴 판정부(22)는 복호 대상 CTU가 픽처의 우단 및 하단의 양쪽을 포함하는 경우, 복호 대상 CTU를 4분할한다.

분할 패턴 판정부(22)는 복호 대상 CTU를 분할하여 얻어지는 개개의 서브블록에 대해서, 복호 대상 CTU에 대한 처리와 마찬가지의 처리를 행하면 된다. 그리고 분할 패턴 판정부(22)는 개개의 서브블록에 대해서, 픽처단을 포함하지 않고, 또한, 복호된 신택스에 의해, 그 이상 분할되지 않는 것이 나타나 있는 경우, 그 개개의 서브블록을, 각각, 하나의 CU로 한다.

도 10은, 분할 패턴 판정부(22)에 의한, 분할 패턴 판정 처리의 동작 흐름도이다.

분할 패턴 판정부(22)는 착안하는 블록에 픽처의 단부가 포함되는지 여부를 판정한다(스텝 S301). 또한, 가장 최초의 착안하는 블록은 복호 대상 CTU이다.

착안하는 블록에 픽처의 단부가 포함되는 경우(스텝 S301-"예"), 분할 패턴 판정부(22)는 착안하는 블록에 픽처의 우단과 하단의 양쪽이 포함되는지 여부를 판정한다(스텝 S302).

착안하는 블록에 픽처의 우단과 하단의 양쪽이 포함되는 경우(스텝 S302-"예"), 분할 패턴 판정부(22)는 착안하는 블록을 4분 트리 구조에 따라서 4분할한다(스텝 S303). 한편, 착안하는 블록에 포함되는 픽처단이 픽처의 우단 또는 하단 중 어느 한쪽일 경우(스텝 S302-"아니오"), 분할 패턴 판정부(22)는 착안하는 블록을 포함하는 블록은 2분할되었는지 여부를 판정한다(스텝 S304).

착안하는 블록을 포함하는 블록이 2분할되어 있는 경우(스텝 S304-"예"), 분할 패턴 판정부(22)는 착안하는 블록도 2개의 서브 블록으로 분할한다(스텝 S305). 그 때, 분할 패턴 판정부(22)는 착안하는 블록을 포함하는 블록에 관한 분할 방향과 동일한 방향을 따라, 착안하는 블록도 분할하면 된다.

한편, 착안하는 블록을 포함하는 블록이 2분할되어 있지 않은 경우(스텝 S304-"아니오"), 분할 패턴 판정부(22)는 4분 트리 구조와 2분 트리 구조 중, 신택스로 나타난 쪽의 구조에 따라서 착안하는 블록을 분할한다(스텝 S306).

스텝 S303, S305 또는 S306 후, 분할 패턴 판정부(22)는 착안하는 블록을 분할하여 얻어진 개개의 서브블록을 각각 착안하는 블록으로 설정한다(스텝 S307). 그리고 분할 패턴 판정부(22)는 착안하는 블록마다, 스텝 S301 이후의 처리를 실행한다.

한편, 스텝 S301에 있어서, 착안하는 블록에 픽처의 단부가 포함되지 않은 경우(스텝 S301-"아니오"), 분할 패턴 판정부(22)는 신택스로 나타난 분할 패턴에 따라서 착안하는 블록을 각 CU로 분할한다(스텝 S308). 그리고 분할 패턴 판정부(22)는 픽처단을 포함하는 블록이 없어지면, 분할 패턴 판정 처리를 종료한다.

분할 패턴 판정부(22)는 복호 대상 CTU에 포함되는 각 CU를 나타내는 정보를 예측 블록 생성부(23)에 통지한다.

예측 블록 생성부(23)는 복호 대상 CTU에 포함되는 CU마다, 적용된 부호화 모드 및 PU의 분할 패턴에 따라서, 복호 완료된 픽처 또는 복호 대상 픽처의 복호 완료된 영역을 참조하여 그 CU에 포함되는 각 PU의 예측 블록을 생성한다. 그 때, 예측 블록 생성부(23)는 적용된 벡터 모드를 나타내는 정보, 및 움직임 벡터의 예측 오차 신호 등으로부터 움직임 벡터도 복호한다.

예측 블록 생성부(23)는 동화상 부호화 장치(1)의 예측 블록 생성부(13)와 마찬가지로, 복호 대상 CTU의 각 PU에 대해서, 그 PU에 적용되는 부호화 모드에 따라서 예측 블록을 생성한다. 즉, 예측 블록 생성부(23)는 엔트로피 복호된 부호화 모드에 따라서, 복호 완료된 참조 픽처 또는 복호 대상 픽처에 있어서 참조되는 영역을 특정하고, 특정한 영역에 기초하여, PU 단위로 예측 블록을 생성한다. 그 때, 복호 대상으로 되는 PU가 인터 예측 부호화되어 있는 경우에는, 예측 블록 생성부(23)는 그 PU에 대하여 복호한 움직임 벡터를 사용하여, 복호 완료된 참조 픽처에 있어서 참조되는 영역을 특정하면 된다. 또한, 복호 대상으로 되는 PU가 인트라 예측 부호화되어 있는 경우에는, 예측 블록 생성부(23)는 복호된 예측 모드에 따라서, 복호 대상 픽처에 있어서 참조되는 영역을 특정하면 된다.

예측 블록 생성부(23)는 생성한 예측 블록을 복호부(24)로 출력한다.

복호부(24)는 엔트로피 복호부(21)로부터 수취한 각 TU의 양자화 계수에, 복호된 헤더 정보로부터 취득한 양자화 파라미터에 의해 결정된 양자화 폭에 상당하는 소정수를 승산함으로써 역양자화한다. 이 역양자화에 의해, 각 TU의 직교 변환 계수가 복원된다. 그 후, 복호부(24)는 TU마다, 직교 변환 계수를 역직교 변환 처리한다. 역양자화 처리 및 역직교 변환 처리를 각 TU의 양자화 계수에 대하여 실행함으로써, CTU 전체의 각 화소의 예측 오차 신호가 재생된다.

복호부(24)는 각 PU의 예측 블록의 각 화소값에, 그 화소에 대응하는 재생된 예측 오차 신호를 가산함으로써, 각 PU를 복호할 수 있다. 그리고 복호부(24)는 복호된 각 PU를, 부호화 순서에 따라서 결합함으로써, CTU를 복호한다. 복호부(24)는 복호된 CTU를 기억부(25)에 기억시킨다. 또한, 복호부(24)는 복호된 CTU를, 부호화 순서에 따라서 결합함으로써 픽처 전체를 복호한다. 복호부(24)는 복호된 픽처를 기억부(25)에 기억함과 함께, 복호된 픽처를 버퍼 메모리에 기억한다. 버퍼 메모리에 기억되어 있는 복호된 각 픽처는, 제어부(도시하지 않음)에 의해 표시 순서에 따라서, 표시 장치(도시하지 않음)로 출력된다.

기억부(25)는 복호부(24)로부터 수취한, 복호된 CTU 및 복호된 픽처를 일시적으로 기억한다. 그리고 기억부(25)는 예측 블록 생성부(23)에, CTU를 참조 영역으로서, 혹은 픽처를 참조 픽처로서 공급한다. 또한, 기억부(25)는 미리 정해진 소정 매수분의 픽처를 기억하고, 기억되어 있는 데이터양이 그 소정 매수에 상당하는 양을 초과하면, 부호화 순서가 오래된 픽처부터 순서대로 파기한다.

도 11은, 동화상 복호 장치(2)에 의해 실행되는, 동화상 복호 처리의 동작 흐름도이다. 동화상 복호 장치(2)는 복호 대상으로 되는 CTU마다 도 11에 도시되는 동화상 복호 처리를 실행한다.

엔트로피 복호부(21)는 CTU 단위로 부호화되어 있는 데이터를 엔트로피 복호한다. 이에 의해, 엔트로피 복호부(21)는 복호 대상 CTU의 각 TU의 양자화 계수, 및 각종 신택스 등을 복호한다(스텝 S401).

분할 패턴 판정부(22)는 복호 대상 CTU에 포함되는 개개의 CU를 특정한다(스텝 S402). 그 때, 분할 패턴 판정부(22)는 도 10에 도시되는 흐름도에 따라서, 개개의 CU를 특정하면 된다.

예측 블록 생성부(23)는 복호 대상 CTU의 각 CU에 대해서, 그 CU에 포함되는 PU마다, 적용된 부호화 모드를 참조하여 예측 블록을 생성한다(스텝 S403).

복호부(24)는 엔트로피 복호부(21)로부터 수취한 양자화 계수에, 부호화 비트 스트림에 포함되는 헤더 정보로부터 취득한 양자화 파라미터에 의해 결정된 양자화 폭에 상당하는 소정수를 승산함으로써 역양자화한다. 그리고, 복호부(24)는 직교 변환 신호를 TU 단위로 역직교 변환 처리함으로써 복호 대상 CTU의 각 화소의 예측 오차 신호를 재생한다. 그 후, 복호부(24)는 예측 블록의 각 화소값에, 그 화소에 대응하는 재생된 예측 오차 신호를 가산함으로써, 복호 대상 CTU를 재생한다(스텝 S404). 복호부(24)는 재생한 CTU를 기억부(25)에 기억한다. 그리고 동화상 복호 장치(2)는 복호 대상 CTU에 관한 동화상 복호 처리를 종료한다.

이상으로 설명한 바와 같이, 이 동화상 복호 장치는, 상기 실시 형태에 의한 동화상 부호화 장치에 의해, 픽처단을 포함하는 블록에 2분 트리 구조가 적용되어 있어도, 부호화된 동화상 데이터를 복호할 수 있다.

또한, 변형예에 의하면, 동화상 부호화 장치(1)의 부호화 모드 판정부(12)는 2분 트리 구조에 따라서 2분할되는 개개의 블록에 대해서, 분할 방향을 나타내는 신택스도 생성해도 된다. 그리고 엔트로피 부호화부(17)는 2분 트리 구조에 따라서 2분할되는 개개의 블록에 대해서, 분할 방향을 나타내는 신택스를 부호화된 동화상 데이터에 부가해도 된다. 이에 의해, 2분 트리 구조에 따라서 2분할되는 블록에 대해서, 분할 방향이 명시적으로 동화상 복호 장치(2)에 전달된다. 따라서, 동화상 복호 장치(2)의 분할 패턴 판정부(22)는 2분 트리 구조가 적용된 것을 나타내는 신택스가 부가된 블록을, 엔트로피 복호부(21)에 의해 복호된, 분할 방향을 나타내는 신택스를 참조하여, 그 분할 방향을 따라서 2분할하면 된다.

또한 다른 변형예에 의하면, CU 단위로 예측 블록이 생성되어도 된다. 혹은, CU 단위로 직교 변환이 행하여져도 된다. 이 경우, 동화상 부호화 장치(1)의 부호화 모드 판정부(12)는 PU의 분할 패턴, 혹은, TU의 분할 패턴에 대해서는 요구하지 않아도 된다.

혹은, CU에 대해서는 픽처단이 포함되는지의 여부의 판단은 행하여지지 않아도 된다. 이 경우, 동화상 부호화 장치(1)의 부호화 모드 판정부(12)는 픽처단을 포함하는 PU에 대해서, 상기 실시 형태에 있어서의 CU와 마찬가지로 분할 패턴을 결정해도 된다. 마찬가지로, 부호화 모드 판정부(12)는 픽처단을 포함하는 TU에 대해서, 상기 실시 형태에 있어서의 CU와 마찬가지로 분할 패턴을 결정해도 된다. 이 경우, 동화상 복호 장치(2)의 분할 패턴 판정부(22)도, 복호 대상 CTU를 PU마다, 혹은, TU마다 분할할 때에 상기 실시 형태와 마찬가지로, 분할 패턴을 특정하면 된다.

또한 다른 변형예에 의하면, 픽처단을 포함하지 않는 CTU에 대해서도, 2분 트리 구조에 따라서 재귀적으로 2분할되어도 된다. 이 경우에는, 동화상 부호화 장치(1)의 부호화 모드 판정부(12)는 착안하는 CTU 혹은, 착안하는 CTU를 분할하여 얻어지는 개개의 서브블록에 대해서, 4분 트리 구조에 따라서 4분할한 경우와, 2분 트리 구조에 따라서 2분할한 경우에, 부호화 비용을 산출하면 된다. 그리고 부호화 모드 판정부(12)는 부호화 비용이 최소화되도록, 4분 트리 구조가 적용될지, 혹은, 2분 트리 구조가 적용될지를 결정하면 된다. 또한 이 경우, 부호화 모드 판정부(12)는 착안하는 CTU 혹은, 착안하는 CTU를 재귀적으로 분할하여 얻어지는 개개의 서브블록에 대해서, 4분 트리 구조와 2분 트리 구조 중 적용된 구조를 나타내는 신택스를 생성한다. 또한, 부호화 모드 판정부(12)는 2분 트리 구조가 적용된 CTU 혹은 서브블록에 대하여 분할 방향을 나타내는 신택스를 생성한다. 그리고 동화상 부호화 장치(1)의 엔트로피 부호화부(17)는 적용된 구조를 나타내는 신택스 및 분할 방향을 나타내는 신택스를 부호화된 동화상 데이터에 포함한다. 또한, 동화상 복호 장치(2)의 분할 패턴 판정부(22)는 적용된 구조를 나타내는 신택스 및 분할 방향을 나타내는 신택스를 참조하여, 복호 대상 CTU의 CU의 분할 패턴을 판정하면 된다.

도 12는, 상기 실시 형태 또는 그 변형예에 의한 동화상 부호화 장치 또는 동화상 복호 장치의 각 부의 기능을 실현하는 컴퓨터 프로그램이 동작함으로써, 동화상 부호화 장치 또는 동화상 복호 장치로서 동작하는 컴퓨터의 구성도이다.

컴퓨터(700)는 유저 인터페이스(701)와, 통신 인터페이스(702)와, 메모리(703)와, 기억 매체 액세스 장치(704)와, 프로세서(705)를 갖는다. 프로세서(705)는 유저 인터페이스(701), 통신 인터페이스(702), 메모리(703) 및 기억 매체 액세스 장치(704)와, 예를 들어, 버스를 통하여 접속된다.

유저 인터페이스(701)는 예를 들어, 키보드와 마우스 등의 입력 장치와, 액정 디스플레이와 같은 표시 장치를 갖는다. 또는, 유저 인터페이스(701)는 터치 패널 디스플레과 같은, 입력 장치와 표시 장치가 일체화된 장치를 가져도 된다. 그리고 유저 인터페이스(701)는 예를 들어, 유저의 조작에 따라, 부호화하는 동화상 데이터, 혹은, 복호하는 동화상 데이터를 선택하는 조작 신호를 프로세서(705)로 출력한다. 또한, 부호화하는 동화상 데이터, 혹은, 복호하는 동화상 데이터는, 프로세서(705) 상에서 동작하는 애플리케이션 프로그램에 의해 결정되어도 된다.

통신 인터페이스(702)는 예를 들어, 이더넷(등록 상표) 등의 통신 규격에 따른 통신 네트워크에 접속하기 위한 통신 인터페이스 및 그 제어 회로를 갖는다. 그리고 통신 인터페이스(702)는 통신 네트워크에 접속된 다른 기기로부터, 부호화하는 동화상 데이터를 취득하고, 그 데이터를 프로세서(705)에 건네준다. 또한 통신 인터페이스(702)는 프로세서(705)로부터 수취한, 부호화 동화상 데이터를 통신 네트워크를 통하여 다른 기기로 출력해도 된다. 또한, 통신 인터페이스(702)는 통신 네트워크에 접속된 다른 기기로부터, 복호 대상으로 되는, 부호화된 동화상 데이터를 포함하는 비트 스트림을 취득하고, 그 비트 스트림을 프로세서(705)에 건네줘도 된다.

메모리(703)는 기억부의 일례이며, 예를 들어, 판독 기입 가능한 반도체 메모리와 판독 전용의 반도체 메모리를 갖는다. 그리고 메모리(703)는 프로세서(705) 상에서 실행되는, 동화상 부호화 처리를 실행하기 위한 컴퓨터 프로그램, 또는, 동화상 복호 처리를 실행하기 위한 컴퓨터 프로그램을 기억한다. 또한, 메모리(703)는 동화상 부호화 처리 또는 동화상 복호 처리의 도중 또는 결과로서 생성되는 데이터를 기억한다.

기억 매체 액세스 장치(704)는 기억부의 다른 일례이며, 예를 들어, 자기 디스크, 반도체 메모리 카드 및 광 기억 매체와 같은 기억 매체(706)에 액세스하는 장치이다. 기억 매체 액세스 장치(704)는 예를 들어, 기억 매체(706)에 기억된 프로세서(705) 상에서 실행되는, 동화상 부호화 처리용의 컴퓨터 프로그램 또는 동화상 복호 처리용의 컴퓨터 프로그램을 읽어들이고, 프로세서(705)에 건네준다.

프로세서(705)는 예를 들어, Central Processing Unit(CPU), Graphics Processing Unit(GPU) 및 수치 연산 프로세서의 적어도 어느 하나를 포함한다. 그리고 프로세서(705)는 상기 실시 형태 또는 변형예에 의한 동화상 부호화 처리용 컴퓨터 프로그램을 실행함으로써, 동화상 데이터를 부호화한다. 그리고 프로세서(705)는 부호화된 동화상 데이터를 메모리(703)에 보존하고, 또는 통신 인터페이스(702)를 통하여 다른 기기로 출력한다. 혹은, 프로세서(705)는 상기 실시 형태 또는 변형예에 의한 동화상 복호 처리용 컴퓨터 프로그램을 실행함으로써, 부호화된 동화상 데이터를 복호한다. 그리고 프로세서(705)는 복호된 픽처를 유저 인터페이스(701)의 표시 장치에 표시시킨다.

또한, 동화상 부호화 장치(1)의 각 부의 기능을 프로세서 상에서 실행 가능한 컴퓨터 프로그램은, 컴퓨터에 의해 판독 가능한 매체에 기록된 형태로 제공되어도 된다. 마찬가지로, 동화상 복호 장치(2)의 각 부 기능을 프로세서 상에서 실행 가능한 컴퓨터 프로그램은, 컴퓨터에 의해 판독 가능한 매체에 기록된 형태로 제공되어도 된다. 단, 그러한 기록 매체에는 반송파는 포함되지 않는다.

여기에 들어진 모든 예 및 특정한 용어는, 독자가, 본 발명 및 당해 기술의 촉진에 대한 본 발명자에 의해 기여된 개념을 이해하는 것을 돕는, 교시적인 목적에 있어서 의도된 것이며, 본 발명의 우위성 및 열등성을 나타내는 것에 관한, 본 명세서의 어떤 예의 구성, 그러한 특정하게 들어진 예 및 조건에 한정하지 않도록 해석되어야 할 것이다. 본 발명의 실시 형태는 상세하게 설명되어 있지만, 본 발명의 정신 및 범위로부터 벗어나는 일 없이, 여러가지 변경, 치환 및 수정을 이것에 가하는 것이 가능한 것을 이해하기 바란다.

1: 동화상 부호화 장치
11: 움직임 탐색부
12: 부호화 모드 판정부
13: 예측 블록 생성부
14: 예측 부호화부
15: 복호부
16: 기억부
17: 엔트로피 부호화부
2: 동화상 복호 장치
21: 엔트로피 복호부
22: 분할 패턴 판정부
23: 예측 블록 생성부
24: 복호부
25: 기억부
700: 컴퓨터
701: 유저 인터페이스
702: 통신 인터페이스
703: 메모리
704: 기억 매체 액세스 장치
705: 프로세서
706: 기억 매체

Claims (10)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 부호화된 동화상 데이터에 포함되는 복호 대상 픽처를 복호하는 동화상 복호 장치이며,
   상기 복호 대상 픽처를 분할하여 얻어지는 복수의 블록 중, 상기 복호 대상 픽처의 수평 방향의 단부 및 상기 복호 대상 픽처의 수직 방향의 단부 중 적어도 어느 한쪽을 포함하는 픽처단 블록이 상기 복호 대상 픽처의 상기 수평 방향의 단부 및 상기 복호 대상 픽처의 상기 수직 방향의 단부 둘 다를 포함할 때 상기 픽처단 블록을 4분 트리 구조에 따라서 4분할함으로써, 상기 픽처단 블록을 포함하는 블록이 2분할된 후에 상기 픽처단 블록이 상기 복호 대상 픽처의 상기 수평 방향의 단부 또는 상기 복호 대상 픽처의 상기 수직 방향의 단부를 포함할 때 상기 픽처단 블록에 포함되는 상기 단부와 직교하는 방향에서 상기 픽처단 블록을 2분할함으로써, 그리고 상기 픽처단 블록을 포함하는 상기 블록이 4분할된 후에 상기 픽처단 블록이 상기 복호 대상 픽처의 상기 수평 방향의 단부 또는 상기 복호 대상 픽처의 상기 수직 방향의 단부를 포함할 때 상기 픽처단 블록이 상기 4분 트리 구조에 따라서 4분할되었는지, 혹은 2분할되었는지를 나타내는, 상기 부호화된 동화상 데이터에 포함되는 분할 정보를 참조하여, 상기 픽처단 블록을 상기 4분 트리 구조에 따라서 4분할하거나, 혹은 상기 픽처단 블록을 상기 픽처단 블록에 포함되는 상기 단부와 직교하는 상기 방향에서 2분할함으로써, 어느 서브블록에든 상기 복호 대상 픽처의 단부가 포함되지 않도록, 상기 픽처단 블록을 복수의 서브 블록으로 분할하는 분할 패턴 판정부와,
   상기 복수의 서브블록 각각에 대해서, 복호 완료된 다른 픽처 혹은 상기 복호 대상 픽처의 복호 완료된 영역을 참조하여 예측 블록을 생성하는 예측 블록 생성부와,
   상기 복수의 서브블록 각각에 대해서, 상기 부호화된 동화상 데이터에 포함되는, 당해 서브블록과 대응하는 상기 예측 블록의 대응 화소 간의 예측 오차에, 상기 예측 블록의 대응 화소의 값을 가산함으로써 상기 픽처단 블록을 복호하는 복호부
   를 갖는 동화상 복호 장치.
6. 제5항에 있어서, 상기 분할 패턴 판정부는, 상기 픽처단 블록이 2분할되고, 또한, 상기 픽처단 블록을 분할하여 얻어지는 상기 복수의 서브블록 중 제1 서브블록에, 상기 복호 대상 픽처의 수평 방향의 단부 또는 수직 방향의 단부가 포함되는 경우, 당해 제1 서브블록에 포함되는 상기 단부와 직교하는 방향을 따라서 당해 제1 서브블록을 추가로 2분할하는, 동화상 복호 장치.
7. 삭제
8. 부호화된 동화상 데이터에 포함되는 복호 대상 픽처를 복호하는 동화상 복호 방법이며,
   상기 복호 대상 픽처를 분할하여 얻어지는 복수의 블록 중, 상기 복호 대상 픽처의 수평 방향의 단부 및 상기 복호 대상 픽처의 수직 방향의 단부 중 적어도 어느 한쪽을 포함하는 픽처단 블록이 상기 복호 대상 픽처의 상기 수평 방향의 단부 및 상기 복호 대상 픽처의 상기 수직 방향의 단부 둘 다를 포함할 때 상기 픽처단 블록을 4분 트리 구조에 따라서 4분할함으로써, 상기 픽처단 블록을 포함하는 블록이 2분할된 후에 상기 픽처단 블록이 상기 복호 대상 픽처의 상기 수평 방향의 단부 또는 상기 복호 대상 픽처의 상기 수직 방향의 단부를 포함할 때 상기 픽처단 블록에 포함되는 상기 단부와 직교하는 방향에서 상기 픽처단 블록을 2분할함으로써, 그리고 상기 픽처단 블록을 포함하는 상기 블록이 4분할된 후에 상기 픽처단 블록이 상기 복호 대상 픽처의 상기 수평 방향의 단부 또는 상기 복호 대상 픽처의 상기 수직 방향의 단부를 포함할 때 상기 픽처단 블록이 상기 4분 트리 구조에 따라서 4분할되었는지, 혹은 2분할되었는지를 나타내는, 상기 부호화된 동화상 데이터에 포함되는 분할 정보를 참조하여, 상기 픽처단 블록을 상기 4분 트리 구조에 따라서 4분할하거나, 혹은 상기 픽처단 블록을 상기 픽처단 블록에 포함되는 상기 단부와 직교하는 상기 방향에서 2분할함으로써, 어느 서브블록에든 상기 복호 대상 픽처의 단부가 포함되지 않도록, 상기 픽처단 블록을 복수의 서브 블록으로 분할하고,
   상기 복수의 서브블록 각각에 대해서, 복호 완료된 다른 픽처 혹은 상기 복호 대상 픽처의 복호 완료된 영역을 참조하여 예측 블록을 생성하고,
   상기 복수의 서브블록 각각에 대해서, 상기 부호화된 동화상 데이터에 포함되는, 당해 서브블록과 대응하는 상기 예측 블록의 대응 화소 간의 예측 오차에, 상기 예측 블록의 대응 화소의 값을 가산함으로써 상기 픽처단 블록을 복호하는,
   것을 포함하는 동화상 복호 방법.
9. 삭제
10. 부호화된 동화상 데이터에 포함되는 복호 대상 픽처를 복호하는 동화상 복호용 컴퓨터 프로그램이며,
    상기 복호 대상 픽처를 분할하여 얻어지는 복수의 블록 중, 상기 복호 대상 픽처의 수평 방향의 단부 및 상기 복호 대상 픽처의 수직 방향의 단부 중 적어도 어느 한쪽을 포함하는 픽처단 블록이 상기 복호 대상 픽처의 상기 수평 방향의 단부 및 상기 복호 대상 픽처의 상기 수직 방향의 단부 둘 다를 포함할 때 상기 픽처단 블록을 4분 트리 구조에 따라서 4분할함으로써, 상기 픽처단 블록을 포함하는 블록이 2분할된 후에 상기 픽처단 블록이 상기 복호 대상 픽처의 상기 수평 방향의 단부 또는 상기 복호 대상 픽처의 상기 수직 방향의 단부를 포함할 때 상기 픽처단 블록에 포함되는 상기 단부와 직교하는 방향에서 상기 픽처단 블록을 2분할함으로써, 그리고 상기 픽처단 블록을 포함하는 상기 블록이 4분할된 후에 상기 픽처단 블록이 상기 복호 대상 픽처의 상기 수평 방향의 단부 또는 상기 복호 대상 픽처의 상기 수직 방향의 단부를 포함할 때 상기 픽처단 블록이 상기 4분 트리 구조에 따라서 4분할되었는지, 혹은 2분할되었는지를 나타내는, 상기 부호화된 동화상 데이터에 포함되는 분할 정보를 참조하여, 상기 픽처단 블록을 상기 4분 트리 구조에 따라서 4분할하거나, 혹은 상기 픽처단 블록을 상기 픽처단 블록에 포함되는 상기 단부와 직교하는 상기 방향에서 2분할함으로써, 어느 서브블록에든 상기 복호 대상 픽처의 단부가 포함되지 않도록, 상기 픽처단 블록을 복수의 서브 블록으로 분할하고,
    상기 복수의 서브블록 각각에 대해서, 복호 완료된 다른 픽처 혹은 상기 복호 대상 픽처의 복호 완료된 영역을 참조하여 예측 블록을 생성하고,
    상기 복수의 서브블록 각각에 대해서, 상기 부호화된 동화상 데이터에 포함되는, 당해 서브블록과 대응하는 상기 예측 블록의 대응 화소 간의 예측 오차에, 상기 예측 블록의 대응 화소의 값을 가산함으로써 상기 픽처단 블록을 복호하는,
    것을 컴퓨터에 실행시키기 위한 기록 매체에 저장된 동화상 복호용 컴퓨터 프로그램.

Images