KR101895744B1 - 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법, 및 부호화 데이터의 데이터 구조를 기록한 기록 매체 - Google Patents

Abstract

인트라 예측 파라미터가 수평 방향 예측 처리를 나타내는 경우, 부호화 블록의 예측 처리의 단위가 되는 각 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 하고, 인트라 예측 파라미터가 수직 방향 예측 처리를 나타내는 경우, 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 한다.

Description

화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법, 및 부호화 데이터의 데이터 구조를 기록한 기록 매체{IMAGE DECODING APPARATUS, IMAGE ENCODING APPARATUS, IMAGE DECODING METHOD, IMAGE ENCODING METHOD, AND RECORDING MEDIUM FOR RECORDING DATA STRUCTURE OF ENCODED DATA}

본 발명은, 화상을 고효율로 부호화를 행하는 화상 부호화 장치 및 화상 부호화 방법과, 고효율로 부호화되어 있는 화상을 복호하는 화상 복호 장치 및 화상 복호 방법과, 화상 예측 장치에 관한 것이다.

예컨대, MPEG(Moving Picture Experts Group)나 「ITU-T H.26x」 등의 국제 표준 영상 부호화 방식에서는, 입력 영상 프레임을 직사각형의 블록(부호화 블록)으로 분할하고, 그 부호화 블록에 대하여, 부호화 완료된 화상 신호를 이용하는 예측 처리를 실시함으로써 예측 화상을 생성하고, 그 부호화 블록과 예측 화상의 차분인 예측 오차 신호를 블록 단위로 직교 변환이나 양자화 처리를 행함으로써, 정보 압축을 행하도록 하고 있다.

예컨대, 국제 표준 방식인 MPEG-4 AVC/H.264(ISO/IEC 14496-10｜ITU-T H.264)에서는, 부호화 완료된 근방 화소로부터의 인트라 예측 처리 또는 근접 프레임 사이에서의 움직임 보상 예측 처리를 행하고 있다(예컨대, 비특허 문헌 1을 참조).

MPEG-4 AVC/H.264에 있어서, 휘도의 인트라 예측 모드에서는, 블록 단위로, 복수의 예측 모드 중에서 하나의 예측 모드를 선택할 수 있다.

도 14는 휘도의 블록 사이즈가 4×4 화소인 경우의 인트라 예측 모드를 나타내는 설명도이다.

도 14에서는, 블록 내의 흰 원이 부호화 대상의 화소를 나타내고, 검은 원은 예측에 이용하는 화소인 부호화 완료된 화소를 나타내고 있다. 휘도의 블록 사이즈가 4×4 화소인 경우에는, 모드 0으로부터 모드 8의 9개의 인트라 예측 모드가 규정되어 있다.

도 14에 있어서, 모드 2는 평균치 예측을 행하는 모드이고, 블록의 위쪽과 왼쪽의 인접 화소의 평균치로, 블록 내의 화소를 예측하는 것이다.

모드 2 이외의 모드는 방향성 예측을 행하는 모드이다. 모드 0은 수직 방향 예측이고, 블록의 위쪽의 인접 화소를 수직 방향으로 반복함으로써 예측 화상을 생성하는 것이다. 예컨대, 세로 줄무늬 모양일 때에는 모드 0이 선택된다.

모드 1은 수평 방향 예측이고, 블록의 왼쪽의 인접 화소를 수평 방향으로 반복함으로써 예측 화상을 생성하는 것이다. 예컨대, 가로 줄무늬 모양일 때에는 모드 1이 선택된다.

모드 3으로부터 모드 8은, 블록의 위쪽 또는 왼쪽의 부호화 완료된 화소를 이용하여, 소정의 방향(화살표가 나타내는 방향)으로 보간 화소를 생성하여 예측 화상을 생성하는 것이다.

여기서, 인트라 예측을 적용하는 휘도의 블록 사이즈는, 4×4 화소, 8×8 화소, 16×16 화소 중에서 선택할 수 있고, 8×8 화소의 경우에는, 4×4 화소와 마찬가지로, 9개의 인트라 예측 모드가 규정되어 있다. 단, 예측에 이용하는 화소에 대해서는, 부호화 완료된 화소 그 자체가 아니고, 이들의 화소에 대하여 필터 처리를 실시한 것을 이용하고 있다.

이것에 비하여, 16×16 화소의 경우에는, 평균치 예측, 수직 방향 예측 및 수평 방향 예측에 따른 인트라 예측 모드에 더하여, Plane 예측이라고 불리는 4개의 인트라 예측 모드가 규정되어 있다.

Plane 예측에 따른 인트라 예측 모드는, 블록의 위쪽과 왼쪽의 부호화 완료된 인접 화소를 사선 방향으로 내삽 보간하여 생성된 화소를 예측치로 하는 모드이다.

또, 방향성 예측 모드는, 미리 정해져 있는 방향(예측 방향)으로 블록의 인접 화소 또는 인접 화소로부터 생성된 보간 화소를 반복함으로써 예측치를 생성하는 것이기 때문에, 도 15에 나타내는 바와 같은 예측 대상 블록 내의 오브젝트의 경계(에지)의 방향이 예측 방향과 일치하고, 또한, 예측 방향을 따라 블록 내의 신호치가 일정한 경우에는, 예측 효율이 높아져 부호량을 삭감할 수 있다.

(선행 기술 문헌)

(비특허 문헌)

(비특허 문헌 1) MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격

종래의 동화상 부호화 장치는 이상과 같이 구성되어 있으므로, 예측 대상 블록 내의 오브젝트의 경계(에지)의 방향이 예측 방향과 일치하고, 또한, 그 예측 방향을 따라 예측 대상 블록 내의 신호치가 일정하면, 방향성 예측을 이용함으로써 정확하게 예측할 수 있다. 그러나, 예측 대상 블록 내의 오브젝트의 경계(에지)의 방향이 예측 방향과 일치하고 있더라도, 도 16에 나타내는 바와 같이, 그 예측 방향을 따라 신호치가 변화하고 있는 경우에는, 예측 오차가 커져 버리는 과제가 있었다.

본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것으로, 예측 방향을 따라 신호치가 변화하고 있는 경우에도 정확한 예측을 실현하여, 화상 품질을 높일 수 있는 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 화상 예측 장치를 얻는 것을 목적으로 한다.

본 발명에 따른 화상 부호화 장치는, 인트라 예측 수단이, 인트라 예측 파라미터가 수평 방향 예측 처리를 나타내는 경우, 부호화 블록의 예측 처리의 단위가 되는 각 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 하고, 인트라 예측 파라미터가 수직 방향 예측 처리를 나타내는 경우, 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 하도록 한 것이다.

본 발명에 의하면, 인트라 예측 수단이, 인트라 예측 파라미터가 수평 방향 예측 처리를 나타내는 경우, 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 하고, 인트라 예측 파라미터가 수직 방향 예측 처리를 나타내는 경우, 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 하도록 구성했으므로, 예측 방향에 따라 신호치가 변화하고 있는 경우에도 정확한 예측을 실현하여, 화상 품질을 높일 수 있는 효과가 있다.

도 1은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치의 처리 내용(동화상 부호화 방법)을 나타내는 플로차트이다.
도 3은 본 발명의 실시의 형태 1에 의한 동화상 복호 장치를 나타내는 구성도이다.
도 4는 본 발명의 실시의 형태 1에 의한 동화상 복호 장치의 처리 내용(동화상 복호 방법)을 나타내는 플로차트이다.
도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.
도 6(a)는 분할 후의 부호화 블록 및 예측 블록의 분포를 나타내고, 도 6(b)는 계층 분할에 의해 부호화 모드 m(Bⁿ)이 할당되는 상황을 나타내는 설명도이다.
도 7은 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ이 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.
도 8은 l_i ⁿ=m_i ⁿ=4의 경우의 예측 블록 P_i ⁿ 내의 화소의 예측치를 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 9는 예측 블록 P_i ⁿ 내의 왼쪽 위의 화소를 원점으로 하는 상대 좌표를 나타내는 설명도이다.
도 10은 수직 방향 예측에 있어서의 종래의 예측치에 대하여, 가산하는 휘도치 변화량을 산출하기 위해 참조하는 왼쪽의 예측 블록의 인접 화소의 일례를 나타내는 설명도이다.
도 11은 수직 방향 예측에 있어서의 종래의 예측치에 대하여, 가산하는 휘도치 변화량의 스케일링 값의 일례를 나타내는 설명도이다.
도 12는 수평 방향 예측에 있어서의 종래의 예측치에 대하여, 가산하는 휘도치 변화량을 산출하기 위해 참조하는 위쪽의 예측 블록의 인접 화소의 일례를 나타내는 설명도이다.
도 13은 수평 방향 예측에 있어서의 종래의 예측치에 대하여, 가산하는 휘도치 변화량의 스케일링 값의 일례를 나타내는 설명도이다.
도 14는 휘도의 블록 사이즈가 4×4 화소인 경우의 인트라 예측 모드를 나타내는 설명도이다.
도 15는 수평 방향 예측에 의해 정확하게 예측된 예측 화상의 일례를 나타내는 설명도이다.
도 16은 수평 방향 예측에 의해 예측을 행했을 때에 큰 예측 오차가 발생하는 일례를 나타내는 설명도이다.
도 17은 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ이 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.

이하, 본 발명을 보다 상세히 설명하기 위해, 본 발명을 실시하기 위한 형태에 대하여, 첨부한 도면에 따라 설명한다.

실시의 형태 1.

도 1은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치를 나타내는 구성도이다.

도 1에 있어서, 블록 분할부(1)는 입력 화상을 나타내는 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 최대 사이즈의 부호화 블록인 최대 부호화 블록으로 분할함과 아울러, 부호화 제어부(2)에 의해 결정된 상한의 계층수에 이르기까지, 그 최대 부호화 블록을 계층적으로 각 부호화 블록으로 분할하는 처리를 실시한다.

즉, 블록 분할부(1)는 입력 화상을 부호화 제어부(2)에 의해 결정된 분할에 따라 각 부호화 블록으로 분할하여, 그 부호화 블록을 출력하는 처리를 실시한다. 또한, 각 부호화 블록은 예측 처리 단위가 되는 1개 내지 복수의 예측 블록으로 분할된다.

또, 블록 분할부(1)는 블록 분할 수단을 구성하고 있다.

부호화 제어부(2)는 예측 처리가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정함으로써, 각각의 부호화 블록의 사이즈를 결정하는 처리를 실시한다.

또한, 부호화 제어부(2)는 선택 가능한 하나 이상의 부호화 모드(하나 이상의 인트라 부호화 모드, 하나 이상의 인터 부호화 모드) 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 대한 부호화 효율이 가장 높은 부호화 모드를 선택하는 처리를 실시한다.

또한, 부호화 제어부(2)는 부호화 효율이 가장 높은 부호화 모드가 인트라 부호화 모드인 경우, 그 인트라 부호화 모드로 부호화 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터를 예측 처리 단위인 예측 블록마다 결정하고, 부호화 효율이 가장 높은 부호화 모드가 인터 부호화 모드인 경우, 그 인터 부호화 모드로 부호화 블록에 대한 인터 예측 처리를 실시할 때에 이용하는 인터 예측 파라미터를 예측 처리 단위인 예측 블록마다 결정하는 처리를 실시한다.

또한, 부호화 제어부(2)는 변환ㆍ양자화부(7) 및 역 양자화ㆍ역 변환부(8)에 주는 예측 차분 부호화 파라미터를 결정하는 처리를 실시한다.

또, 부호화 제어부(2)는 부호화 제어 수단을 구성하고 있다.

전환 스위치(3)는 부호화 제어부(2)에 의해 결정된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(2)에 의해 결정된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.

인트라 예측부(4)는 전환 스위치(3)로부터 출력된 부호화 블록에 대하여, 예측 처리 단위인 예측 블록마다, 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.

또, 인트라 예측부(4)는 예측 화상을 생성할 때의 프레임 내 예측 처리가 수평 방향 예측 처리인 경우, 예측 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하고, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수직 방향 예측 처리인 경우, 예측 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정한다.

인트라 예측부(4) 및 인트라 예측용 메모리(10)로 인트라 예측 수단이 구성되어 있다.

움직임 보상 예측부(5)는 전환 스위치(3)로부터 출력된 부호화 블록과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 1프레임 이상의 국소 복호 화상을 예측 처리 단위인 예측 블록 단위로 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 블록에 대한 인터 예측 처리(움직임 보상 예측 처리)를 예측 블록 단위로 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.

감산부(6)는 블록 분할부(1)에서 출력된 부호화 블록으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 감산하여, 그 감산 결과인 예측 차분 신호(차분 화상)를 변환ㆍ양자화부(7)에 출력하는 처리를 실시한다.

변환ㆍ양자화부(7)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 감산부(6)로부터 출력된 예측 차분 신호에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시하여 변환 계수를 산출함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 그 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력하는 처리를 실시한다.

또, 감산부(6) 및 변환ㆍ양자화부(7)로 양자화 수단이 구성되어 있다.

역 양자화ㆍ역 변환부(8)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터를 역 양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호에 상당하는 국소 복호 예측 차분 신호를 산출하는 처리를 실시한다.

가산부(9)는 역 양자화ㆍ역 변환부(8)에 의해 산출된 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 가산하여, 블록 분할부(1)로부터 출력된 부호화 블록에 상당하는 국소 복호 화상을 산출하는 처리를 실시한다.

인트라 예측용 메모리(10)는 가산부(9)에 의해 산출된 국소 복호 화상을 저장하는 기록 매체이다.

루프 필터부(11)는 가산부(9)에 의해 산출된 국소 복호 화상에 대하여, 소정의 필터링 처리를 실시하여, 필터링 처리 후의 국소 복호 화상을 출력하는 처리를 실시한다.

움직임 보상 예측 프레임 메모리(12)는 필터링 처리 후의 국소 복호 화상을 저장하는 기록 매체이다.

가변 길이 부호화부(13)는 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)의 출력 신호(최대 부호화 블록 내의 블록 분할 정보, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터 또는 인터 예측 파라미터)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하여 비트스트림을 생성하는 처리를 실시한다.

또, 가변 길이 부호화부(13)는 가변 길이 부호화 수단을 구성하고 있다.

도 1의 예에서는, 동화상 부호화 장치의 구성 요소인 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8), 가산부(9), 인트라 예측용 메모리(10), 루프 필터부(11), 움직임 보상 예측 프레임 메모리(12) 및 가변 길이 부호화부(13)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 부호화 장치가 컴퓨터로 구성되는 경우, 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 그 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.

도 2는 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치의 처리 내용(동화상 부호화 방법)을 나타내는 플로차트이다.

도 3은 본 발명의 실시의 형태 1에 의한 동화상 복호 장치를 나타내는 구성도이다.

도 3에 있어서, 가변 길이 복호부(31)는 도 1의 동화상 부호화 장치에 의해 생성된 비트스트림을 입력하면, 그 비트스트림으로부터 압축 데이터, 블록 분할 정보, 부호화 모드, 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우), 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우), 예측 차분 부호화 파라미터 및 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 복호하는 처리를 실시한다.

또, 가변 길이 복호부(31)는 가변 길이 복호 수단을 구성하고 있다.

역 양자화ㆍ역 변환부(32)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 차분 부호화 파라미터를 참조하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 압축 데이터를 역 양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 도 1의 역 양자화ㆍ역 변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출하는 처리를 실시한다.

또, 역 양자화ㆍ역 변환부(32)는 역 양자화 수단을 구성하고 있다.

전환 스위치(33)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인트라 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(34)에 출력하고, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인터 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력하는 처리를 실시한다.

인트라 예측부(34)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보 및 부호화 모드로부터 특정되는 복호 블록(도 1의 동화상 부호화 장치의 「부호화 블록」에 상당하는 블록)에 대하여, 예측 처리 단위인 예측 블록마다, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.

또, 인트라 예측부(34)는 예측 화상을 생성할 때의 프레임 내 예측 처리가 수평 방향 예측 처리인 경우, 예측 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하고, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수직 방향 예측 처리인 경우, 예측 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정한다.

인트라 예측부(34) 및 인트라 예측용 메모리(37)로 인트라 예측 수단이 구성되어 있다.

움직임 보상부(35)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보 및 부호화 모드로부터 특정되는 복호 블록에 대하여, 예측 처리 단위인 예측 블록마다, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.

가산부(36)는 역 양자화ㆍ역 변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상을 가산하여, 도 1의 가산부(9)로부터 출력된 국소 복호 화상과 동일한 복호 화상을 산출하는 처리를 실시한다.

인트라 예측용 메모리(37)는 가산부(36)에 의해 산출된 복호 화상을 저장하는 기록 매체이다.

루프 필터부(38)는 가산부(36)에 의해 산출된 복호 화상에 대하여, 소정의 필터링 처리를 실시하여, 필터링 처리 후의 복호 화상을 출력하는 처리를 실시한다.

움직임 보상 예측 프레임 메모리(39)는 필터링 처리 후의 복호 화상을 저장하는 기록 매체이다.

도 3의 예에서는, 동화상 복호 장치의 구성 요소인 가변 길이 복호부(31), 역 양자화ㆍ역 변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36), 인트라 예측용 메모리(37), 루프 필터부(38) 및 움직임 보상 예측 프레임 메모리(39)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(31), 역 양자화ㆍ역 변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36) 및 루프 필터부(38)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 그 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.

도 4는 본 발명의 실시의 형태 1에 의한 동화상 복호 장치의 처리 내용(동화상 복호 방법)을 나타내는 플로차트이다.

다음으로 동작에 대하여 설명한다.

본 실시의 형태 1에서는, 영상의 각 프레임 화상을 입력 화상으로 하여, 부호화 완료된 근방 화소로부터의 인트라 예측 또는 근접 프레임 사이에서의 움직임 보상 예측을 실시하여, 얻어진 예측 차분 신호에 대하여 직교 변환ㆍ양자화에 의한 압축 처리를 실시하고, 그 후, 가변 길이 부호화를 행하여 비트스트림을 생성하는 동화상 부호화 장치와, 그 동화상 부호화 장치로부터 출력되는 비트스트림을 복호하는 동화상 복호 장치에 대하여 설명한다.

도 1의 동화상 부호화 장치는, 영상 신호의 공간ㆍ시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 블록으로 분할하여, 프레임 내ㆍ프레임간 적응 부호화를 행하는 것을 특징으로 하고 있다.

일반적으로, 영상 신호는, 공간ㆍ시간적으로 신호의 복잡도가 국소적으로 변화하는 특성을 갖고 있다. 공간적으로 보면, 어느 영상 프레임에서는, 예컨대, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 갖는 그림도 있고, 인물이나 미세한 텍스처를 포함하는 회화 등, 작은 화상 영역 내에서 복잡한 텍스처 패턴을 갖는 그림도 혼재하는 일이 있다.

시간적으로 보더라도, 하늘이나 벽은 국소적으로 시간 방향의 그림의 변화는 작지만, 움직이는 인물이나 물체는, 그 윤곽이 시간적으로 강체ㆍ비강체의 운동을 하기 때문에, 시간적인 변화가 크다.

부호화 처리는, 시간ㆍ공간적인 예측에 의해, 신호 전력이나 엔트로피가 작은 예측 차분 신호를 생성하여, 전체의 부호량을 삭감하는 처리를 행하지만, 예측에 이용하는 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 해당 파라미터의 부호량을 작게 할 수 있다.

한편, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대하여, 동일한 예측 파라미터를 큰 화상 영역에 적용하면, 예측의 오차가 증가하여 버리기 때문에, 예측 차분 신호의 부호량이 증가하여 버린다.

따라서, 시간적ㆍ공간적으로 변화가 큰 영역에서는, 동일한 예측 파라미터를 적용하여 예측 처리를 행하는 블록 사이즈를 작게 하여, 예측에 이용하는 파라미터의 데이터량을 증가시키고, 예측 차분 신호의 전력ㆍ엔트로피를 저감하는 것이 바람직하다.

본 실시의 형태 1에서는, 이와 같은 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 위해, 최초로 소정의 최대 블록 사이즈로부터 예측 처리 등을 개시하고, 계층적으로 영상 신호의 영역을 분할하고, 분할한 영역마다 예측 처리나, 그 예측 차분의 부호화 처리를 적응화시키는 구성을 취하도록 하고 있다.

도 1의 동화상 부호화 장치가 처리 대상으로 하는 영상 신호 포맷은, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색공간의 컬러 영상 신호 이외에, 모노크롬 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평ㆍ수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호로 한다.

단, 각 화소의 계조는, 8비트이더라도 좋고, 10비트나 12비트 등의 계조이더라도 좋다.

이하의 설명에서는, 편의상, 특별히 언급하지 않는 한, 입력 화상의 영상 신호는 YUV 신호인 것으로 하고, 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 서브샘플된 4:2:0 포맷의 신호를 다루는 경우에 대하여 말한다.

또한, 영상 신호의 각 프레임에 대응하는 처리 데이터 단위를 「픽처」라고 칭한다.

본 실시의 형태 1에서는, 「픽처」는 순차 주사(프로그레시브 스캔)된 영상 프레임 신호로서 설명을 행하지만, 영상 신호가 인터레이스 신호인 경우, 「픽처」는 영상 프레임을 구성하는 단위인 필드 화상 신호이더라도 좋다.

최초로, 도 1의 동화상 부호화 장치의 처리 내용을 설명한다.

우선, 부호화 제어부(2)는, 부호화 대상이 되는 픽처(커런트 픽처)의 부호화에 이용하는 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층수의 상한을 결정한다(도 2의 단계 ST1).

최대 부호화 블록의 사이즈를 정하는 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽처에 대하여 동일한 사이즈를 정하더라도 좋고, 입력 화상의 영상 신호의 국소적인 움직임의 복잡도의 차이를 파라미터로서 정량화하여, 움직임이 심한 픽처에는, 작은 사이즈를 정하는 한편, 움직임이 적은 픽처에는, 큰 사이즈를 정하도록 하더라도 좋다.

분할 계층수의 상한을 정하는 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽처에 대하여 동일한 계층수를 정하는 방법이나, 입력 화상의 영상 신호의 움직임이 심한 경우에는, 계층수를 깊게 하여, 보다 미세한 움직임을 검출할 수 있도록 설정하고, 움직임이 적은 경우에는, 계층수를 억제하도록 설정하는 방법 등이 있다.

또한, 부호화 제어부(2)는, 이용 가능한 하나 이상의 부호화 모드 중에서, 계층적으로 분할되는 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다(단계 ST2).

즉, 부호화 제어부(2)는, 최대 부호화 블록 사이즈의 화상 영역마다, 먼저 정한 분할 계층수의 상한에 이르기까지, 계층적으로 부호화 블록 사이즈를 갖는 부호화 블록으로 분할하여, 각각의 부호화 블록에 대한 부호화 모드를 결정한다.

부호화 모드에는, 1개 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」라고 칭한다)와, 1개 내지 복수의 인터 부호화 모드(총칭하여, 「INTER」라고 칭한다)가 있고, 부호화 제어부(2)는, 해당 픽처에서 이용 가능한 모든 부호화 모드, 또는, 그 서브셋 중에서, 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다.

단, 후술하는 블록 분할부(1)에 의해 계층적으로 분할되는 각각의 부호화 블록은 예측 처리를 행하는 단위인 1개 내지 복수의 예측 블록으로 더 분할되고, 예측 블록의 분할 상태도 부호화 모드 중에 정보로서 포함된다.

부호화 제어부(2)에 의한 부호화 모드의 선택 방법은, 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예컨대, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.

또한, 부호화 제어부(2)는, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 사이즈를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 결정한다.

단, 부호화 블록이 예측 처리를 행하는 예측 블록 단위로 더 분할되는 경우는, 예측 블록마다 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.

또한, 부호화 모드가 인트라 부호화 모드인 부호화 블록에 있어서는, 후술하는 바와 같이 인트라 예측 처리를 행할 때에 예측 블록에 인접하는 부호화 완료된 화소를 이용하는 것으로부터, 예측 블록 단위로 부호화를 행할 필요가 있기 때문에, 선택 가능한 변환 블록 사이즈는 예측 블록의 사이즈 이하로 제한된다.

부호화 제어부(2)는, 양자화 파라미터 및 변환 블록 사이즈를 포함하는 예측 차분 부호화 파라미터를 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력한다.

또한, 부호화 제어부(2)는, 인트라 예측 파라미터를 필요에 따라 인트라 예측부(4)에 출력한다.

또한, 부호화 제어부(2)는, 인터 예측 파라미터를 필요에 따라 움직임 보상 예측부(5)에 출력한다.

블록 분할부(1)는, 입력 화상의 영상 신호를 입력하면, 그 입력 화상의 영상 신호를 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈로 분할하고, 또한, 분할한 최대 부호화 블록을 부호화 제어부(2)에 의해 결정된 부호화 블록으로 계층적으로 분할하여, 그 부호화 블록을 출력한다.

여기서, 도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.

도 5에 있어서, 최대 부호화 블록은, 「제 0 계층」으로 기재되어 있는 휘도 성분이 (L⁰, M⁰)의 사이즈를 갖는 부호화 블록이다.

최대 부호화 블록을 출발점으로 하여, 사지 트리(quad tree) 구조로 별도로 정하는 소정의 깊이까지, 계층적으로 분할을 행하는 것에 의해 부호화 블록을 얻도록 하고 있다.

깊이 n에 있어서는, 부호화 블록은 사이즈 (Lⁿ, Mⁿ)의 화상 영역이다.

단, Lⁿ과 Mⁿ은, 같더라도 좋고, 다르더라도 좋지만, 도 5에서는, Lⁿ=Mⁿ의 케이스를 나타내고 있다.

이후, 부호화 제어부(2)에 의해 결정되는 부호화 블록 사이즈는, 부호화 블록의 휘도 성분에 있어서의 사이즈 (Lⁿ, Mⁿ)으로 정의한다.

사지 트리 분할을 행하기 때문에, 항상, (Lⁿ⁺¹, Mⁿ⁺¹)=(Lⁿ/2, Mⁿ/2)가 성립한다.

또, RGB 신호 등, 모든 색성분이 동일 샘플수를 갖는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색성분의 사이즈가 (Lⁿ, Mⁿ)이 되지만, 4:2:0 포맷을 다루는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Lⁿ/2, Mⁿ/2)가 된다.

이후, 제 n 계층의 부호화 블록을 Bⁿ으로 나타내고, 부호화 블록 Bⁿ에서 선택 가능한 부호화 모드를 m(Bⁿ)으로 나타내는 것으로 한다.

복수의 색성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bⁿ)은, 색성분마다, 각각 개별의 모드를 이용하도록 구성되더라도 좋고, 모든 색성분에 대하여 공통의 모드를 이용하도록 구성되더라도 좋다. 이후, 특별히 언급하지 않는 한, YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 하여 설명을 행한다.

부호화 블록 Bⁿ은, 도 6에 나타내는 바와 같이, 블록 분할부(1)에 의해, 예측 처리 단위를 나타내는 1개 내지 복수의 예측 블록으로 분할된다.

이후, 부호화 블록 Bⁿ에 속하는 예측 블록을 P_i ⁿ(i는, 제 n 계층에 있어서의 예측 블록 번호)으로 표기한다. 도 5에 P₀ ⁰과 P₁ ⁰의 일례를 나타낸다.

부호화 블록 Bⁿ의 예측 블록 분할이 어떻게 이루어지고 있는지는, 부호화 모드 m(Bⁿ) 중에 정보로서 포함된다.

예측 블록 P_i ⁿ은, 모두 부호화 모드 m(Bⁿ)에 따라 예측 처리가 행해지지만, 예측 블록 P_i ⁿ마다, 개별의 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.

부호화 제어부(2)는, 최대 부호화 블록에 대하여, 예컨대, 도 6에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록을 특정한다.

도 6(a)의 점선으로 둘러싸인 직사각형이 각 부호화 블록을 나타내고, 각 부호화 블록 내에 있는 사선으로 칠해진 블록이 각 예측 블록의 분할 상태를 나타내고 있다.

도 6(b)는, 도 6(a)의 예에 대하여, 계층 분할에 의해 부호화 모드 m(Bⁿ)이 할당되는 상황을 사지 트리 그래프로 나타낸 것이다. 도 6(b)의 □로 둘러싸여 있는 노드는, 부호화 모드 m(Bⁿ)이 할당된 노드(부호화 블록)이다.

이 사지 트리 그래프의 정보는 부호화 모드 m(Bⁿ)과 함께 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

전환 스위치(3)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드인 경우(m(Bⁿ)∈INTRA의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bⁿ을 인트라 예측부(4)에 출력한다.

한편, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인터 부호화 모드인 경우(m(Bⁿ)∈INTER의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bⁿ을 움직임 보상 예측부(5)에 출력한다.

인트라 예측부(4)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이고(m(Bⁿ)∈INTRA의 경우), 전환 스위치(3)로부터 부호화 블록 Bⁿ을 받으면(단계 ST3), 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용하여, 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다(단계 ST4).

또, 동화상 복호 장치가 인트라 예측 화상 P_INTRAi ⁿ과 완전히 같은 인트라 예측 화상을 생성할 필요가 있기 때문에, 인트라 예측 화상 P_INTRAi ⁿ의 생성에 이용된 인트라 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

인트라 예측부(4)의 처리 내용의 상세는 후술한다.

움직임 보상 예측부(5)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인터 부호화 모드이고(m(Bⁿ)∈INTER의 경우), 전환 스위치(3)로부터 부호화 블록 Bⁿ을 받으면(단계 ST3), 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 필터링 처리 후의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인터 예측 처리를 실시하여, 인터 예측 화상 P_INTERi ⁿ을 생성한다(단계 ST5).

또, 동화상 복호 장치가 인터 예측 화상 P_INTERi ⁿ과 완전히 같은 인터 예측 화상을 생성할 필요가 있기 때문에, 인터 예측 화상 P_INTERi ⁿ의 생성에 이용된 인터 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

또한, 움직임 보상 예측부(5)에 의해 탐색된 움직임 벡터도 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

감산부(6)는, 블록 분할부(1)로부터 부호화 블록 Bⁿ을 받으면, 그 부호화 블록 Bⁿ 내의 예측 블록 P_i ⁿ으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 감산하여, 그 감산 결과인 예측 차분 신호 e_i ⁿ을 변환ㆍ양자화부(7)에 출력한다(단계 ST6).

변환ㆍ양자화부(7)는, 감산부(6)로부터 예측 차분 신호 e_i ⁿ을 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 그 예측 차분 신호 e_i ⁿ에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시하여, 변환 계수를 산출한다.

또한, 변환ㆍ양자화부(7)는, 그 예측 차분 부호화 파라미터를 참조하여, 그 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력한다(단계 ST7).

역 양자화ㆍ역 변환부(8)는, 변환ㆍ양자화부(7)로부터 압축 데이터를 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 그 압축 데이터를 역 양자화한다.

또한, 역 양자화ㆍ역 변환부(8)는, 그 예측 차분 부호화 파라미터를 참조하여, 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리(예컨대, 역 DCT, 역 KL 변환 등)를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호 e_i ⁿ에 상당하는 국소 복호 예측 차분 신호를 산출하여 가산부(9)에 출력한다(단계 ST8).

가산부(9)는, 역 양자화ㆍ역 변환부(8)로부터 국소 복호 예측 차분 신호를 받으면, 그 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 가산함으로써, 국소 복호 화상을 산출한다(단계 ST9).

또, 가산부(9)는, 그 국소 복호 화상을 루프 필터부(11)에 출력함과 아울러, 그 국소 복호 화상을 인트라 예측용 메모리(10)에 저장한다.

이 국소 복호 화상이, 이후의 인트라 예측 처리에 이용되는 부호화 완료된 화상 신호가 된다.

루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상을 받으면, 그 국소 복호 화상에 대하여, 소정의 필터링 처리를 실시하여, 필터링 처리 후의 국소 복호 화상을 움직임 보상 예측 프레임 메모리(12)에 저장한다(단계 ST10).

또, 루프 필터부(11)에 의한 필터링 처리는, 입력되는 국소 복호 화상의 최대 부호화 블록 혹은 개개의 부호화 블록 단위로 행하더라도 좋고, 1픽처분의 국소 복호 화상이 입력된 후에 1픽처분 합쳐서 행하더라도 좋다.

또한, 소정의 필터링 처리의 예로서는, 부호화 블록 경계의 불연속성(블록 노이즈)이 눈에 띄지 않도록 블록 경계를 필터링하는 처리, 입력 화상인 도 1의 영상 신호와 국소 복호 화상 사이의 오차가 최소가 되도록 국소 복호 화상의 왜곡을 보상하는 필터 처리 등을 들 수 있다.

단, 입력 화상인 도 1의 영상 신호와 국소 복호 화상 사이의 오차가 최소가 되도록 국소 복호 화상의 왜곡을 보상하는 필터 처리를 행하는 경우에는, 영상 신호를 루프 필터부(11)에서 참조할 필요가 있기 때문에, 루프 필터부(11)에 영상 신호를 입력하도록 도 1의 동화상 부호화 장치를 변경할 필요가 있다.

단계 ST3~ST9의 처리는, 계층적으로 분할된 모든 부호화 블록 Bⁿ에 대한 처리가 완료되기까지 반복하여 실시되고, 모든 부호화 블록 Bⁿ에 대한 처리가 완료되면 단계 ST13의 처리로 이행한다(단계 ST11, ST12).

가변 길이 부호화부(13)는, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)로부터 출력된 최대 부호화 블록 내의 블록 분할 정보(도 6(b)를 예로 하는 사지 트리 정보), 부호화 모드 m(Bⁿ) 및 예측 차분 부호화 파라미터와, 부호화 제어부(2)로부터 출력된 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우) 또는 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하여, 그들의 부호화 결과를 나타내는 비트스트림을 생성한다(단계 ST13).

다음으로, 인트라 예측부(4)의 처리 내용을 상세히 설명한다.

도 7은 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ이 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.

도 7에서는, 인트라 예측 모드와, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있고, 도 7의 예에서는, 선택 가능한 인트라 예측 모드의 개수가 증가함에 따라서, 예측 방향 벡터끼리의 상대 각도가 작아지도록 설계되어 있다.

인트라 예측부(4)는, 상술한 바와 같이, 예측 블록 P_i ⁿ의 인트라 예측 파라미터를 참조하여, 그 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성하지만, 여기서는, 휘도 신호에 있어서의 예측 블록 P_i ⁿ의 인트라 예측 신호를 생성하는 인트라 처리에 대하여 설명한다.

예측 블록 P_i ⁿ의 사이즈를 l_i ⁿ×m_i ⁿ 화소로 한다.

도 8은 l_i ⁿ=m_i ⁿ=4의 경우의 예측 블록 P_i ⁿ 내의 화소의 예측치를 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.

도 8에서는, 예측 블록 P_i ⁿ의 위쪽의 부호화 완료된 화소 (2×l_i ⁿ+1)개와, 왼쪽의 부호화 완료된 화소 (2×m_i ⁿ)개를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 8에 나타내는 화소보다 많더라도 적더라도 좋다.

또한, 도 8에서는, 예측 블록 P_i ⁿ의 근방의 1행 또는 1열분의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 혹은, 그 이상의 화소를 예측에 이용하더라도 좋다.

예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 0(수직 방향 예측)의 경우에는, 하기의 식(1)로부터 예측 블록 P_i ⁿ 내의 화소의 예측치를 산출하여 예측 화상을 생성한다.

단, 좌표 (x, y)는 예측 블록 P_i ⁿ 내의 왼쪽 위의 화소를 원점으로 하는 상대 좌표(도 9를 참조)이고, S'(x, y)는 좌표 (x, y)에 있어서의 예측치, S(x, y)는 좌표 (x, y)에 있어서의 부호화 완료된 화소의 휘도치(복호된 휘도치)이다.

이와 같이, 종래(MPEG-4 AVC/H.264)의 수직 방향 예측의 예측치인 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소의 휘도치 S(x, -1)에 대하여, 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소(도 10의 굵은 테두리로 둘러싸인 화소)의 수직 방향의 휘도치의 변화량을 나타내는 S(-1, y)-S(-1, -1)에 비례하는 값(수직 방향의 휘도치의 변화량을 나타내는 S(-1, y)-S(-1, -1)을 1/t로 스케일링한 값)을 가산하고, 그 가산 후의 값을 예측 화상의 예측치로 결정함으로써, 예측 방향으로의 휘도치의 변화에 따른 수직 방향 예측을 실현할 수 있다.

단, 상기 예측치가 휘도치가 취할 수 있는 값의 범위에 들어가 있지 않은 경우에는, 그 범위 내에 들어가도록 값을 반올림하도록 한다.

또, 상기의 1/t는, 고정치로 하더라도 좋지만, 좌표 (x, y)에 따라 변화하는 변수로 하더라도 좋다.

예컨대, t=2^x+1로 하면, 도 11에 나타내는 바와 같이, 스케일링 값이 좌단의 열로부터 차례로 1/2, 1/4, 1/8, 1/16과 같이 작아져 가기 때문에, 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소로부터의 거리가 멀어질수록, 가산하는 수직 방향의 휘도치의 변화량이 작아진다.

이것에 의해, 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소와의 거리가 멀어져 상관이 낮아지는 예측 대상 화소일수록, 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소의 영향을 작게 할 수 있기 때문에, 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소와의 상관에 따른 정확한 예측을 행할 수 있다.

또한, 식(1)의 예측 처리를 행하는 예측 블록 P_i ⁿ의 블록 사이즈를 한정하더라도 좋다. 일반적으로 큰 블록 사이즈에서는 블록 내에 다양한 신호 변화가 포함되기 쉽고, 방향성 예측을 이용하여 정확하게 예측할 수 있는 케이스가 적기 때문에, 예컨대, 16×16 화소 이상의 블록 사이즈의 예측 블록 P_i ⁿ에서는 식(1)은 적용하지 않고서 종래의 수직 방향 예측의 예측치(예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소의 휘도치 S(x, -1))로 하고, 16×16 화소보다 작은 블록에서만 식(1)을 적용함으로써, 종래의 수직 방향 예측보다 예측 성능을 향상시키면서, 연산량의 증가를 억제할 수 있다.

또한, 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 1(수평 방향 예측)의 경우에는, 하기의 식(2)로부터 예측 블록 P_i ⁿ 내의 화소의 예측치를 산출하여 예측 화상을 생성한다.

단, 좌표 (x, y)는 예측 블록 P_i ⁿ 내의 왼쪽 위의 화소를 원점으로 하는 상대 좌표(도 9를 참조)이고, S'(x, y)는 좌표 (x, y)에 있어서의 예측치, S(x, y)는 좌표 (x, y)에 있어서의 부호화 완료된 화소의 휘도치(복호된 휘도치)이다.

이와 같이, 종래(MPEG-4 AVC/H.264)의 수평 방향 예측의 예측치인 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소의 휘도치 S(-1, y)에 대하여, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소(도 12의 굵은 테두리로 둘러싸인 화소)의 수평 방향의 휘도치의 변화량을 나타내는 S(x, -1)-S(-1, -1)에 비례하는 값(수평 방향의 휘도치의 변화량을 나타내는 S(x, -1)-S(-1, -1)을 1/u로 스케일링한 값)을 가산하고, 그 가산 후의 값을 예측 화상의 예측치로 결정함으로써, 예측 방향으로의 휘도치의 변화에 따른 수평 방향 예측을 실현할 수 있다.

단, 상기 예측치가 휘도치가 취할 수 있는 값의 범위에 들어가 있지 않은 경우에는, 그 범위 내에 들어가도록 값을 반올림하도록 한다.

또, 상기의 1/u는, 고정치로 하더라도 좋지만, 좌표 (x, y)에 따라 변화하는 변수로 하더라도 좋다.

예컨대, u=2^y+1로 하면, 도 13에 나타내는 바와 같이, 스케일링 값이 상단의 행으로부터 차례로 1/2, 1/4, 1/8, 1/16과 같이 작아져 가기 때문에, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소로부터의 거리가 멀어질수록, 가산하는 수평 방향의 휘도치의 변화량이 작아진다.

이것에 의해, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소와의 거리가 멀어져 상관이 낮아지는 화소일수록, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소의 영향을 작게 할 수 있기 때문에, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소와의 상관에 따른 정확한 예측을 행할 수 있다.

또한, 식(2)의 예측 처리를 행하는 예측 블록 P_i ⁿ의 블록 사이즈를 한정하더라도 좋다. 일반적으로 큰 블록 사이즈에서는 블록 내에 다양한 신호 변화가 포함되기 쉽고, 방향성 예측을 이용하여 정확하게 예측할 수 있는 케이스가 적기 때문에, 예컨대, 16×16 화소 이상의 블록 사이즈의 예측 블록 P_i ⁿ에서는 식(2)는 적용하지 않고서 종래의 수평 방향 예측의 예측치(예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소의 휘도치 S(-1, y))로 하고, 16×16 화소보다 작은 블록에서만 식(2)를 적용함으로써, 종래의 수평 방향 예측보다 예측 성능을 향상시키면서, 연산량의 증가를 억제할 수 있다.

또한, 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 2(평균치 예측)의 경우에는, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소와 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소의 평균치를 예측 블록 P_i ⁿ 내의 화소의 예측치로 하여 예측 화상을 생성한다.

인트라 예측 모드의 인덱스 값이 0(수직 방향 예측), 1(수평 방향 예측), 2(평균치 예측) 이외의 경우에는, 인덱스 값이 나타내는 예측 방향 벡터 υ_p=(dx, dy)에 근거하여, 예측 블록 P_i ⁿ 내의 화소의 예측치를 생성한다.

도 9에 나타내는 바와 같이, 예측 블록 P_i ⁿ의 왼쪽 위의 화소를 원점으로 하여, 예측 블록 P_i ⁿ 내의 상대 좌표를 (x, y)로 설정하면, 예측에 이용하는 참조 화소의 위치는, 하기의 L과 인접 화소의 교점이 된다.

단, k는 음의 스칼라 값이다.

참조 화소가 정수 화소 위치에 있는 경우에는, 그 정수 화소를 예측 대상 화소의 예측치로 하고, 참조 화소가 정수 화소 위치에 없는 경우에는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측치로 한다.

도 8의 예에서는, 참조 화소는 정수 화소 위치에 없으므로, 참조 화소에 인접하는 2화소로부터 내삽한 것을 예측치로 한다. 또, 인접하는 2화소뿐만 아니라, 인접하는 2화소 이상의 화소로부터 보간 화소를 생성하여 예측치로 하더라도 좋다.

보간 처리에 이용하는 화소를 많게 함으로써 보간 화소의 보간 정확도를 향상시키는 효과가 있는 한편, 보간 처리에 요하는 연산의 복잡도가 증가하는 것으로부터, 연산 부하가 크더라도 높은 부호화 성능을 요구하는 동화상 부호화 장치의 경우에는, 보다 많은 화소로부터 보간 화소를 생성하도록 하는 것이 좋다.

같은 수순으로, 예측 블록 P_i ⁿ 내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하여 인트라 예측 화상 P_INTRAi ⁿ을 출력한다.

또, 인트라 예측 화상 P_INTRAi ⁿ의 생성에 이용된 인트라 예측 파라미터는, 비트스트림에 다중화하기 위해 가변 길이 부호화부(13)에 출력된다.

또, 앞서 설명한 MPEG-4 AVC/H.264에 있어서의 8×8 화소의 블록의 인트라 예측과 마찬가지로, 인트라 예측을 행할 때에 이용하는 화소에 대해서는, 부호화 완료된 인접 블록 내의 화소 그 자체가 아니고, 이들의 화소에 대하여 필터 처리를 실시한 것을 이용하도록 하더라도 좋다.

예측 블록 P_i ⁿ의 색차 신호에 대해서도, 휘도 신호와 같은 수순으로, 인트라 예측 파라미터(인트라 예측 모드)에 근거하는 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.

단, 색차 신호에서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)는 휘도 신호와 같을 필요는 없고, 또한, 수직 방향 예측 및 수평 방향 예측에 대해서는 종래(MPEG-4 AVC/H.264)의 예측 수법이더라도 좋다.

예컨대, YUV 신호 4:2:0 포맷의 경우, 색차 신호(U, V 신호)는, 휘도 신호(Y 신호)에 대하여 해상도를 수평 방향, 수직 방향 모두 1/2로 축소한 신호이고, 휘도 신호에 비하여 화상 신호의 복잡성이 낮아 예측이 용이한 것으로부터, 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)는 휘도 신호보다 적은 수로 하고, 수직 방향 예측 및 수평 방향 예측에 대해서도 종래의 간이한 예측 수법으로 함으로써, 예측 효율을 그다지 저하시키는 일 없이 인트라 예측 파라미터(인트라 예측 모드)를 부호화하기에 요하는 부호량의 삭감이나, 예측 처리의 연산의 저감을 실현할 수 있다.

또, 수직 방향 예측에서 이용하는 스케일링 값인 1/t와, 수평 방향 예측에서 이용하는 스케일링 값인 1/u는, 미리, 동화상 부호화 장치 및 동화상 복호 장치의 사이에서 정하여 두도록 하더라도 좋지만, 동화상 부호화 장치의 인트라 예측부(4)가, 시퀀스 단위 혹은 픽처 단위로, t, u를 가변 길이 부호화부(13)에 출력하고, 가변 길이 부호화부(13)가 t, u를 가변 길이 부호화하여 비트스트림에 포함시키고, 동화상 복호 장치가 비트스트림으로부터 t, u를 가변 길이 복호하여 사용하도록 하더라도 좋다.

이와 같이 시퀀스 단위 혹은 픽처 단위로, t, u를 적응 제어할 수 있도록 함으로써, 보다 입력 화상의 영상 신호의 특성에 따른 예측 처리를 실현할 수 있다.

또한, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈는, 미리, 동화상 부호화 장치 및 동화상 복호 장치의 사이에서 정하여 두도록 하더라도 좋지만, 동화상 부호화 장치의 인트라 예측부(4)가, 시퀀스 단위 혹은 픽처 단위로, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈를 나타내는 블록 사이즈마다의 ON/OFF 플래그를 가변 길이 부호화부(13)에 출력하고, 가변 길이 부호화부(13)가 상기 ON/OFF 플래그를 가변 길이 부호화하여 비트스트림에 포함시키고, 동화상 복호 장치가 비트스트림으로부터 상기 ON/OFF 플래그를 가변 길이 복호하여 사용하도록 하더라도 좋다.

이와 같이 시퀀스 단위 혹은 픽처 단위로, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈를 적응 제어할 수 있도록 함으로써, 보다 입력 화상의 영상 신호의 특성에 따른 예측 처리를 실현할 수 있다.

다음으로, 도 3의 동화상 복호 장치의 처리 내용을 구체적으로 설명한다.

가변 길이 복호부(31)는, 도 1의 동화상 부호화 장치에 의해 생성된 비트스트림을 입력하면, 그 비트스트림에 대한 가변 길이 복호 처리를 실시하여(도 4의 단계 ST21), 1프레임 이상의 픽처로 구성되는 시퀀스 단위, 혹은, 픽처 단위로 프레임 사이즈의 정보를 복호한다.

이때, 수직 방향 예측에서 이용하는 스케일링 값의 파라미터 t, 수평 방향 예측에서 이용하는 스케일링 값의 파라미터 u, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈를 나타내는 블록 사이즈마다의 ON/OFF 플래그 중, 어느 1개라도 가변 길이 부호화되어 비트스트림에 다중화되어 있는 경우, 도 1의 동화상 부호화 장치에서 부호화된 단위(시퀀스 단위, 혹은, 픽처 단위)로 복호한다.

가변 길이 복호부(31)는, 도 1의 동화상 부호화 장치의 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈 및 분할 계층수의 상한을 동화상 부호화 장치와 같은 수순으로 결정한다(단계 ST22).

예컨대, 최대 부호화 블록 사이즈나 분할 계층수 상한이 영상 신호의 해상도에 따라 정해진 경우에는, 복호한 프레임 사이즈 정보에 근거하여, 동화상 부호화 장치와 같은 수순으로 최대 부호화 블록 사이즈를 결정한다.

최대 부호화 블록 사이즈 및 분할 계층수 상한이, 동화상 부호화 장치측에서 비트스트림에 다중화되어 있는 경우에는, 비트스트림으로부터 복호한 값을 이용한다.

이후, 동화상 복호 장치에서는 상기 최대 부호화 블록 사이즈를 최대 복호 블록 사이즈라고 부르고, 최대 부호화 블록을 최대 복호 블록이라고 부른다.

가변 길이 복호부(31)는, 결정된 최대 복호 블록 단위로, 도 6에서 나타내는 바와 같은 최대 복호 블록의 분할 상태를 복호한다. 복호된 분할 상태에 근거하여, 계층적으로 복호 블록(도 1의 동화상 부호화 장치의 「부호화 블록」에 상당하는 블록)을 특정한다(단계 ST23).

다음으로, 가변 길이 복호부(31)는, 복호 블록에 할당되어 있는 부호화 모드를 복호한다. 복호한 부호화 모드에 포함되는 정보에 근거하여, 복호 블록을 1개 내지 복수의 예측 처리 단위인 예측 블록으로 더 분할하고, 예측 블록 단위로 할당되어 있는 예측 파라미터를 복호한다(단계 ST24).

가변 길이 복호부(31)는, 복호 블록에 할당되어 있는 부호화 모드가 인트라 부호화 모드인 경우, 복호 블록에 포함되어 있고, 예측 처리 단위가 되는 1개 이상의 예측 블록마다 인트라 예측 파라미터를 복호한다.

또한, 가변 길이 복호부(31)는, 복호 블록을 예측 차분 부호화 파라미터에 포함되는 변환 블록 사이즈의 정보에 근거하여, 변환 처리 단위가 되는 1개 내지 복수의 변환 블록으로 분할하고, 변환 블록마다 압축 데이터(변환ㆍ양자화 후의 변환 계수)를 복호한다(단계 ST24).

전환 스위치(33)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이면(m(Bⁿ)∈INTRA의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인트라 예측 파라미터를 인트라 예측부(34)에 출력한다.

한편, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인터 부호화 모드이면 (m(Bⁿ)∈INTER의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력한다.

인트라 예측부(34)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드(m(Bⁿ)∈INTRA)인 경우(단계 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 인트라 예측 파라미터를 받아, 도 1의 인트라 예측부(4)와 같은 수순으로, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 상기 인트라 예측 파라미터를 이용한 복호 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다(단계 ST26).

즉, 인트라 예측부(34)는, 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 0(수직 방향 예측)의 경우에는, 상기의 식(1)로부터 예측 블록 P_i ⁿ 내의 화소의 예측치를 산출하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다.

또한, 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 1(수평 방향 예측)의 경우에는, 상기의 식(2)로부터 예측 블록 P_i ⁿ 내의 화소의 예측치를 산출하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다.

단, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈가 제한되어 있는 경우는, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈 이외의 사이즈의 예측 블록 P_i ⁿ에서는 종래(MPEG-4 AVC/H.264)의 수직 방향 예측이나 수평 방향 예측에 의해 인트라 예측 처리를 행한다.

움직임 보상부(35)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인터 부호화 모드(m(Bⁿ)∈INTER)인 경우(단계 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 움직임 벡터와 인터 예측 파라미터를 받아, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 필터링 처리 후의 복호 화상을 참조하면서, 상기 움직임 벡터와 인터 예측 파라미터를 이용한 복호 블록 내의 각 예측 블록 P_i ⁿ에 대한 인터 예측 처리를 실시하여 인터 예측 화상 P_INTERi ⁿ을 생성한다(단계 ST27).

역 양자화ㆍ역 변환부(32)는, 가변 길이 복호부(31)로부터 압축 데이터 및 예측 차분 부호화 파라미터를 받으면, 도 1의 역 양자화ㆍ역 변환부(8)와 같은 수순으로, 그 예측 차분 부호화 파라미터를 참조하여, 그 압축 데이터를 역 양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 도 1의 역 양자화ㆍ역 변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출한다(단계 ST28).

가산부(36)는, 역 양자화ㆍ역 변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 가산하여 복호 화상을 산출하고, 루프 필터부(38)에 출력함과 아울러, 그 복호 화상을 인트라 예측용 메모리(37)에 저장한다(단계 ST29).

이 복호 화상이, 이후의 인트라 예측 처리에 이용되는 복호 완료된 화상 신호가 된다.

루프 필터부(38)는, 모든 복호 블록 Bⁿ에 대한 단계 ST23~ST29의 처리가 완료되면(단계 ST30), 가산부(36)로부터 출력된 복호 화상에 대하여, 소정의 필터링 처리를 실시하여, 필터링 처리 후의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한다(단계 ST31).

또, 루프 필터부(38)에 의한 필터링 처리는, 입력되는 복호 화상의 최대 복호 블록 혹은 개개의 복호 블록 단위로 행하더라도 좋고, 1픽처분의 복호 화상이 입력된 후에 1픽처분 합쳐서 행하더라도 좋다.

또한, 소정의 필터링 처리의 예로서는, 부호화 블록 경계의 불연속성(블록 노이즈)이 눈에 띄지 않도록 블록 경계를 필터링하는 처리, 복호 화상의 왜곡을 보상하는 필터 처리 등을 들 수 있다.

이 복호 화상이, 움직임 보상 예측용의 참조 화상이 되고, 또한, 재생 화상이 된다.

이상에서 분명하듯이, 본 실시의 형태 1에 의하면, 동화상 부호화 장치의 인트라 예측부(4)가, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수평 방향 예측 처리인 경우, 예측 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하고, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수직 방향 예측 처리인 경우, 예측 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하도록 구성했으므로, 예측 방향을 따라 신호치가 변화하고 있는 경우에도 정확한 예측을 실현하여, 화상 품질을 높일 수 있는 효과가 있다.

또한, 본 실시의 형태 1에 의하면, 동화상 복호 장치의 인트라 예측부(34)가, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수평 방향 예측 처리인 경우, 예측 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하고, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수직 방향 예측 처리인 경우, 예측 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하도록 구성했으므로, 예측 방향을 따라 신호치가 변화하고 있는 경우에도 정확한 예측을 실현하여, 화상 품질을 높일 수 있는 효과가 있다.

본 실시의 형태 1에 의하면, 인트라 예측부(4, 34)에 의해 수평 방향 예측 처리가 실시될 때에 이용되는 스케일링 값인 1/u에 대해서는, 예측 블록의 위쪽에 인접하고 있는 화소로부터 거리가 먼 행에 따른 스케일링 값일수록 작은 값으로 설정되어 있도록 구성했으므로, 예측 블록의 위쪽에 인접하고 있는 화소와의 거리가 멀어져, 상관이 낮아지는 화소일수록, 예측 블록의 위쪽에 인접하고 있는 화소의 영향을 작게 할 수 있게 되고, 그 결과, 정확하게 예측할 수 있는 효과가 있다.

또한, 인트라 예측부(4, 34)에 의해 수직 방향 예측 처리가 실시될 때에 이용되는 스케일링 값인 1/t에 대해서는, 예측 블록의 왼쪽에 인접하고 있는 화소로부터 거리가 먼 열에 따른 스케일링 값일수록 작은 값으로 설정되어 있도록 구성했으므로, 예측 블록의 왼쪽에 인접하고 있는 화소와의 거리가 멀어져, 상관이 낮아지는 화소일수록, 예측 블록의 왼쪽에 인접하고 있는 화소의 영향을 작게 할 수 있게 되고, 그 결과, 정확하게 예측할 수 있는 효과가 있다.

또, 본 실시의 형태 1에서는, 인트라 예측부(4, 34)에 의해 수평 방향 예측 처리가 실시될 때의 예측 블록 내의 제 N 행(예측 블록의 상단으로부터 N번째의 행)의 스케일링 값이 1/2^N+1(=1/2, 1/4, 1/8, 1/16, …)이고, 인트라 예측부(4, 34)에 의해 수직 방향 예측 처리가 실시될 때의 예측 블록 내의 제 M 열(예측 블록의 좌단으로부터 M번째의 열)의 스케일링 값이 1/2^M+1(=1/2, 1/4, 1/8, 1/16, …)인 예를 나타냈지만, 이것은 일례에 지나지 않고, 인트라 예측부(4, 34)에 의해 수평 방향 예측 처리가 실시될 때는 예측 블록의 상단으로부터 먼 행의 스케일링 값일수록 작고, 또한, 인트라 예측부(4, 34)에 의해 수직 방향 예측 처리가 실시될 때는 예측 블록의 좌단으로부터 먼 열의 스케일링 값일수록 작으면, 어떠한 값이더라도 좋다.

실시의 형태 2.

상기 실시의 형태 1에서는, 인트라 예측부(4, 34)가, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수직 방향 예측 처리인 경우, 예측 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 그 예측 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 예측 블록 내의 열마다 설정되어 있는 스케일링 값이 곱해진 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하는 것을 나타냈지만, 적은 연산의 처리를 실현하기 위해, 예측 블록 내의 좌단으로부터 소정의 수의 열에 대해서는, 그 예측 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 그 예측 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하지만, 그 예측 블록 내의 나머지 열에 대해서는, 그 예측 블록의 위쪽에 인접하고 있는 화소의 휘도치를 예측 화상의 예측치로 결정하도록 하더라도 좋다.

또한, 같은 이유에서, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수평 방향 예측 처리인 경우, 예측 블록 내의 상단으로부터 소정의 수의 행에 대해서는, 그 예측 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 그 예측 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 예측 블록 내의 행마다 설정되어 있는 스케일링 값이 곱해진 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하지만, 그 예측 블록 내의 나머지 행에 대해서는, 그 예측 블록의 왼쪽에 인접하고 있는 화소의 휘도치를 예측 화상의 예측치로 결정하도록 하더라도 좋다.

이하, 인트라 예측부(4, 34)의 처리 내용을 구체적으로 설명한다.

인트라 예측부(4, 34)는, 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 0(수직 방향 예측)의 경우, 하기의 식(4)로부터 예측 블록 P_i ⁿ 내의 화소의 예측치를 산출하여 예측 화상을 생성한다.

단, B는 0 이상의 정수이고, 식(4)의 위의 식을 적용하는 x<B일 때는, 산출한 예측치가 휘도치가 취할 수 있는 값의 범위를 넘고 있는 경우, 예측치가 그 범위 내로 들어가도록 값을 반올림하도록 한다.

B의 값을 작게 할수록, 적은 연산의 처리를 실현하는 것이 가능하고, B=0의 경우, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된(복호 완료된) 화소의 휘도치 S(x, -1)만을 이용하는 종래(MPEG-4 AVC/H.264)의 수직 방향 예측과 일치한다.

B의 값은, 예측 블록 P_i ⁿ의 블록 사이즈에 따라 변경하더라도 좋다. 일반적으로, 예측하는 블록 사이즈가 커지면, 블록 내에 다양한 신호 변화가 포함되기 쉽고, 단일 방향에서 예측하는 것이 어려워지기 때문에, 방향성 예측으로 정확하게 예측할 수 있는 케이스는 감소한다.

따라서, 예측 블록 P_i ⁿ의 블록 사이즈가 소정 사이즈보다 작은 경우에 한해, B≥1로 설정하고, 예측 블록 P_i ⁿ의 블록 사이즈가 소정 사이즈 이상이면, B=0으로 한다.

예컨대, 소정 사이즈가 16×16 화소이면, 16×16 화소 이상의 블록 사이즈의 예측 블록 P_i ⁿ에서는, B=0이 되기 때문에, 종래의 수직 방향 예측과 같게 되고, 연산 처리의 증가를 억제할 수 있다. 즉, B=0의 블록 사이즈에서는, x<B와 x≥B의 어디에 속하는지에 대한 조건 판정 처리는 불필요하게 되기 때문에, 항상 상기 조건 판정 처리를 행하지 않고서 종래의 수직 방향 예측을 행하도록 함으로써, 종래의 수직 방향 예측 처리로부터의 연산 처리의 증가는 일절 발생하지 않는다.

한편, 4×4 화소나 8×8 화소 등의 16×16 화소보다 작은 블록 사이즈의 예측 블록 P_i ⁿ에서는, B≥1이 되기 때문에, 종래의 수직 방향 예측보다 예측 성능을 향상시킬 수 있다.

예컨대, 4×4 화소의 블록 사이즈의 예측 블록 P_i ⁿ에 있어서, B=1인 경우, 예측 블록 P_i ⁿ 내의 가장 왼쪽의 열에 대해서는, 식(4)의 위의 식이 적용되어, 예측 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값이 가산된다.

한편, 예측 블록 P_i ⁿ 내의 좌단으로부터 2번째~4번째의 열에 대해서는, 식(4)의 아래의 식이 적용되어, 예측 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값은 가산되지 않는다.

이와 같이 B의 값을 작은 값으로 설정함으로써, 연산량의 증가를 대폭으로 억제할 수 있다.

또, 실제의 장치로서는, 상기의 식(4)와 같이, x<B의 위치의 화소와, x≥B의 위치의 화소에서, 예측치의 산출식을 나누어 구성하더라도 좋고, 예측 블록 P_i ⁿ 내의 모든 화소에 대하여, 종래의 수직 방향 예측의 예측치인 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된(복호 완료된) 화소의 휘도치 S(x, -1)을 복사한 후에, x<B의 위치의 화소만 S(-1, y)-S(-1, -1)을 1/t로 스케일링한 값을 가산하도록 구성하는 등, 상기의 식과 등가의 예측치를 산출할 수 있으면, 어떻게 구성하더라도 좋다.

또한, 인트라 예측부(4, 34)는, 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 1(수평 방향 예측)의 경우, 하기의 식(5)로부터 예측 블록 P_i ⁿ 내의 화소의 예측치를 산출하여 예측 화상을 생성한다.

단, C는 0 이상의 정수이고, 식(5)의 위의 식을 적용하는 x<C일 때는, 산출한 예측치가 휘도치가 취할 수 있는 값의 범위를 넘고 있는 경우, 예측치가 그 범위 내에 들어가도록 값을 반올림하도록 한다.

C의 값을 작게 할수록, 적은 연산의 처리를 실현하는 것이 가능하고, C=0의 경우, 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된(복호 완료된) 화소의 휘도치 S(-1, y)만을 이용하는 종래(MPEG-4 AVC/H.264)의 수평 방향 예측과 일치한다.

C의 값은, 예측 블록 P_i ⁿ의 블록 사이즈에 따라 변경하더라도 좋다. 일반적으로, 예측하는 블록 사이즈가 커지면, 블록 내에 다양한 신호 변화가 포함되기 쉽고, 단일 방향에서 예측하는 것이 어려워지기 때문에, 방향성 예측으로 정확하게 예측할 수 있는 케이스는 감소한다.

따라서, 예측 블록 P_i ⁿ의 블록 사이즈가 소정 사이즈보다 작은 경우에 한해, C≥1로 설정하고, 예측 블록 P_i ⁿ의 블록 사이즈가 소정 사이즈 이상이면, C=0으로 한다.

예컨대, 소정 사이즈가 16×16 화소이면, 16×16 화소 이상의 블록 사이즈의 예측 블록 P_i ⁿ에서는, C=0이 되기 때문에, 종래의 수평 방향 예측과 같게 되고, 연산 처리의 증가를 억제할 수 있다. 즉, C=0의 블록 사이즈에서는, y<C와 y≥C의 어디에 속하는지에 대한 조건 판정 처리는 불필요하게 되기 때문에, 항상 상기 조건 판정 처리를 행하지 않고서 종래의 수평 방향 예측을 행하도록 함으로써, 종래의 수평 방향 예측 처리로부터의 연산 처리의 증가는 일절 발생하지 않는다.

한편, 4×4 화소나 8×8 화소 등의 16×16 화소보다 작은 블록 사이즈의 예측 블록 P_i ⁿ에서는, C≥1이 되기 때문에, 종래의 수평 방향 예측보다 예측 성능을 향상시키면서, 연산량의 증가를 대폭으로 억제할 수 있다.

예컨대, 4×4 화소의 블록 사이즈의 예측 블록 P_i ⁿ에 있어서, C=1인 경우, 예측 블록 P_i ⁿ 내의 가장 위쪽의 행에 대해서는, 식(5)의 위의 식이 적용되어, 예측 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값이 가산된다.

한편, 예측 블록 P_i ⁿ 내의 상단으로부터 2번째~4번째의 행에 대해서는, 식(5)의 아래의 식이 적용되어, 예측 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값은 가산되지 않는다.

이와 같이 C의 값을 작은 값으로 설정함으로써, 연산량의 증가를 대폭으로 억제할 수 있다.

또, 실제의 장치로서는, 상기의 식(5)와 같이, y<C의 위치의 화소와, y≥C의 위치의 화소에서, 예측치의 산출식을 나누어 구성하더라도 좋고, 예측 블록 P_i ⁿ 내의 모든 화소에 대하여, 종래의 수평 방향 예측의 예측치인 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된(복호 완료된) 화소의 휘도치 S(-1, y)를 복사한 후에, y<C의 위치의 화소만 S(x, -1)-S(-1, -1)를 1/u로 스케일링한 값을 가산하도록 구성하는 등, 상기의 식과 등가의 예측치를 산출할 수 있으면, 어떻게 구성하더라도 좋다.

또, 수직 방향 예측에서 이용하는 스케일링 값인 1/t나 B(예측 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 부호화 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하는 예측 블록 내의 열을 나타내는 블록 내 정보)와, 수평 방향 예측에서 이용하는 스케일링 값인 1/u나 C(예측 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값을 가산하는 예측 블록 내의 행을 나타내는 블록 내 정보)는, 미리, 동화상 부호화 장치 및 동화상 복호 장치의 사이에서 정하여 두도록 하더라도 좋지만, 동화상 부호화 장치의 인트라 예측부(4)가, 시퀀스 단위 혹은 픽처 단위로, t, u, B, C를 가변 길이 부호화부(13)에 출력하고, 가변 길이 부호화부(13)가 t, u, B, C를 가변 길이 부호화하여 비트스트림에 포함시키고, 동화상 복호 장치가 비트스트림으로부터 t, u, B, C를 가변 길이 복호하여 사용하도록 하더라도 좋다.

이와 같이 시퀀스 단위 혹은 픽처 단위로, t, u, B, C를 적응 제어할 수 있도록 함으로써, 보다 입력 화상의 영상 신호의 특성에 따른 예측 처리를 실현할 수 있다.

또한, 식(4)의 수직 방향 예측이나 식(5)의 수평 방향 예측을 이용하는 블록 사이즈는, 미리, 동화상 부호화 장치 및 동화상 복호 장치의 사이에서 정하여 두도록 하더라도 좋지만, 동화상 부호화 장치의 인트라 예측부(4)가, 시퀀스 단위 혹은 픽처 단위로, 식(4)의 수직 방향 예측이나 식(5)의 수평 방향 예측을 이용하는 블록 사이즈를 나타내는 블록 사이즈마다의 ON/OFF 플래그를 가변 길이 부호화부(13)에 출력하고, 가변 길이 부호화부(13)가 상기 ON/OFF 플래그를 가변 길이 부호화하여 비트스트림에 포함시키고, 동화상 복호 장치가 비트스트림으로부터 상기 ON/OFF 플래그를 가변 길이 복호하여 사용하도록 하더라도 좋다.

이와 같이 시퀀스 단위 혹은 픽처 단위로, 식(4)의 수직 방향 예측이나 식(5)의 수평 방향 예측을 이용하는 블록 사이즈를 적응 제어할 수 있도록 함으로써, 보다 입력 화상의 영상 신호의 특성에 따른 예측 처리를 실현할 수 있다.

이상에서 분명하듯이, 본 실시의 형태 2에 의하면, 인트라 예측부(4, 34)는, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수평 방향 예측 처리인 경우, 예측 블록 내의 상단으로부터 소정의 수의 행에 대해서는, 그 예측 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 그 예측 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하지만, 그 예측 블록 내의 나머지 행에 대해서는, 그 예측 블록의 왼쪽에 인접하고 있는 화소의 휘도치를 예측 화상의 예측치로 결정하도록 구성했으므로, 연산량의 증가를 억제하면서, 수평 방향 예측의 예측 효율을 개선할 수 있는 효과가 있다.

또한, 인트라 예측부(4, 34)는, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수직 방향 예측 처리인 경우, 예측 블록 내의 좌단으로부터 소정의 수의 열에 대해서는, 그 예측 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 그 예측 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하지만, 그 예측 블록 내의 나머지 열에 대해서는, 그 예측 블록의 위쪽에 인접하고 있는 화소의 휘도치를 예측 화상의 예측치로 결정하도록 구성했으므로, 연산량의 증가를 억제하면서, 수직 방향 예측의 예측 효율을 개선할 수 있는 효과가 있다.

실시의 형태 3.

본 실시의 형태 3에 있어서의 동화상 부호화 장치의 구성도는, 상기 실시의 형태 1에서 나타낸 도 1과 같고, 본 실시의 형태 3에 있어서의 동화상 복호 장치의 구성도는, 상기 실시의 형태 1에서 나타낸 도 3과 같다.

다음으로 동작에 대하여 설명한다.

본 실시의 형태 3에서는, 영상의 각 프레임 화상을 입력 화상으로 하여, 부호화 완료된 근방 화소로부터의 인트라 예측 또는 근접 프레임 사이에서의 움직임 보상 예측을 실시하여, 얻어진 예측 차분 신호에 대하여 직교 변환ㆍ양자화에 의한 압축 처리를 실시하고, 그 후, 가변 길이 부호화를 행하여 비트스트림을 생성하는 동화상 부호화 장치와, 그 동화상 부호화 장치로부터 출력되는 비트스트림을 복호하는 동화상 복호 장치에 대하여 설명한다.

도 1의 동화상 부호화 장치는, 영상 신호의 공간ㆍ시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 블록으로 분할하여, 프레임 내ㆍ프레임간 적응 부호화를 행하는 것을 특징으로 하고 있다.

일반적으로, 영상 신호는, 공간ㆍ시간적으로 신호의 복잡도가 국소적으로 변화하는 특성을 갖고 있다. 공간적으로 보면, 어느 영상 프레임에서는, 예컨대, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 갖는 그림도 있고, 인물이나 미세한 텍스처를 포함하는 회화 등, 작은 화상 영역 내에서 복잡한 텍스처 패턴을 갖는 그림도 혼재하는 일이 있다.

시간적으로 보더라도, 하늘이나 벽은 국소적으로 시간 방향의 그림의 변화는 작지만, 움직이는 인물이나 물체는, 그 윤곽이 시간적으로 강체ㆍ비강체의 운동을 하기 때문에, 시간적인 변화가 크다.

부호화 처리는, 시간ㆍ공간적인 예측에 의해, 신호 전력이나 엔트로피가 작은 예측 차분 신호를 생성하여, 전체의 부호량을 삭감하는 처리를 행하지만, 예측에 이용하는 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 해당 파라미터의 부호량을 작게 할 수 있다.

한편, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대하여, 동일한 예측 파라미터를 큰 화상 영역에 적용하면, 예측의 오차가 증가하여 버리기 때문에, 예측 차분 신호의 부호량이 증가하여 버린다.

따라서, 시간적ㆍ공간적으로 변화가 큰 영역에서는, 동일한 예측 파라미터를 적용하여 예측 처리를 행하는 블록 사이즈를 작게 하여, 예측에 이용하는 파라미터의 데이터량을 증가시키고, 예측 차분 신호의 전력ㆍ엔트로피를 저감하는 것이 바람직하다.

본 실시의 형태 3에서는, 이와 같은 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 때문에, 최초로 소정의 최대 블록 사이즈로부터 예측 처리 등을 개시하고, 계층적으로 영상 신호의 영역을 분할하고, 분할한 영역마다 예측 처리나, 그 예측 차분의 부호화 처리를 적응화시키는 구성을 취하도록 하고 있다.

도 1의 동화상 부호화 장치가 처리 대상으로 하는 영상 신호 포맷은, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색공간의 컬러 영상 신호 이외에, 모노크롬 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평ㆍ수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호로 한다.

단, 각 화소의 계조는, 8비트이더라도 좋고, 10비트나 12비트 등의 계조이더라도 좋다.

이하의 설명에서는, 편의상, 특별히 언급하지 않는 한, 입력 화상의 영상 신호는 YUV 신호인 것으로 하고, 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 서브샘플된 4:2:0 포맷의 신호를 다루는 경우에 대하여 말한다.

또한, 영상 신호의 각 프레임에 대응하는 처리 데이터 단위를 「픽처」라고 칭한다.

본 실시의 형태 3에서는, 「픽처」는 순차 주사(프로그레시브 스캔)된 영상 프레임 신호로서 설명을 행하지만, 영상 신호가 인터레이스 신호인 경우, 「픽처」는 영상 프레임을 구성하는 단위인 필드 화상 신호이더라도 좋다.

최초로, 도 1의 동화상 부호화 장치의 처리 내용을 설명한다.

우선, 부호화 제어부(2)는, 부호화 대상이 되는 픽처(커런트 픽처)의 부호화에 이용하는 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층수의 상한을 결정한다(도 2의 단계 ST1).

최대 부호화 블록의 사이즈를 정하는 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽처에 대하여 동일한 사이즈를 정하더라도 좋고, 입력 화상의 영상 신호의 국소적인 움직임의 복잡도의 차이를 파라미터로서 정량화하여, 움직임이 심한 픽처에는, 작은 사이즈를 정하는 한편, 움직임이 적은 픽처에는, 큰 사이즈를 정하도록 하더라도 좋다.

분할 계층수의 상한을 정하는 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽처에 대하여 동일한 계층수를 정하는 방법이나, 입력 화상의 영상 신호의 움직임이 심한 경우에는, 계층수를 깊게 하여, 보다 미세한 움직임을 검출할 수 있도록 설정하고, 움직임이 적은 경우에는, 계층수를 억제하도록 설정하는 방법 등이 있다.

또한, 부호화 제어부(2)는, 이용 가능한 하나 이상의 부호화 모드 중에서, 계층적으로 분할되는 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다(단계 ST2).

즉, 부호화 제어부(2)는, 최대 부호화 블록 사이즈의 화상 영역마다, 먼저 정한 분할 계층수의 상한에 이르기까지, 계층적으로 부호화 블록 사이즈를 갖는 부호화 블록으로 분할하여, 각각의 부호화 블록에 대한 부호화 모드를 결정한다.

부호화 모드에는, 1개 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」라고 칭한다)와, 1개 내지 복수의 인터 부호화 모드(총칭하여, 「INTER」라고 칭한다)가 있고, 부호화 제어부(2)는, 해당 픽처에서 이용 가능한 모든 부호화 모드, 또는, 그 서브셋 중에서, 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다.

단, 후술하는 블록 분할부(1)에 의해 계층적으로 분할되는 각각의 부호화 블록은 예측 처리를 행하는 단위인 1개 내지 복수의 예측 블록으로 더 분할되고, 예측 블록의 분할 상태도 부호화 모드 중에 정보로서 포함된다.

부호화 제어부(2)에 의한 부호화 모드의 선택 방법은, 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예컨대, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.

또한, 부호화 제어부(2)는, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 사이즈를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 결정한다.

단, 부호화 블록이 예측 처리를 행하는 예측 블록 단위로 더 분할되는 경우는, 예측 블록마다 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.

또한, 부호화 모드가 인트라 부호화 모드인 부호화 블록에 있어서는, 후술하는 바와 같이 인트라 예측 처리를 행할 때에 예측 블록에 인접하는 부호화 완료된 화소를 이용하는 것으로부터, 예측 블록 단위로 부호화를 행할 필요가 있기 때문에, 선택 가능한 변환 블록 사이즈는 예측 블록의 사이즈 이하로 제한된다.

부호화 제어부(2)는, 양자화 파라미터 및 변환 블록 사이즈를 포함하는 예측 차분 부호화 파라미터를 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력한다.

또한, 부호화 제어부(2)는, 인트라 예측 파라미터를 필요에 따라 인트라 예측부(4)에 출력한다.

또한, 부호화 제어부(2)는, 인터 예측 파라미터를 필요에 따라 움직임 보상 예측부(5)에 출력한다.

블록 분할부(1)는, 입력 화상의 영상 신호를 입력하면, 그 입력 화상의 영상 신호를 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈로 분할하고, 또한, 분할한 최대 부호화 블록을 부호화 제어부(2)에 의해 결정된 부호화 블록으로 계층적으로 분할하여, 그 부호화 블록을 출력한다.

여기서, 도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.

도 5에 있어서, 최대 부호화 블록은, 「제 0 계층」이라고 기재되어 있는 휘도 성분이 (L⁰, M⁰)의 사이즈를 갖는 부호화 블록이다.

최대 부호화 블록을 출발점으로 하여, 사지 트리 구조로 별도로 정하는 소정의 깊이까지, 계층적으로 분할을 행하는 것에 의해 부호화 블록을 얻도록 하고 있다.

깊이 n에 있어서는, 부호화 블록은 사이즈 (Lⁿ, Mⁿ)의 화상 영역이다.

단, Lⁿ과 Mⁿ은, 같더라도 좋고, 다르더라도 좋지만, 도 5에서는, Lⁿ=Mⁿ의 케이스를 나타내고 있다.

이후, 부호화 제어부(2)에 의해 결정되는 부호화 블록 사이즈는, 부호화 블록의 휘도 성분에 있어서의 사이즈 (Lⁿ, Mⁿ)으로 정의한다.

사지 트리 분할을 행하기 때문에, 항상, (Lⁿ⁺¹, Mⁿ⁺¹)=(Lⁿ/2, Mⁿ/2)가 성립한다.

또, RGB 신호 등, 모든 색성분이 동일 샘플수를 갖는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색성분의 사이즈가 (Lⁿ, Mⁿ)이 되지만, 4:2:0 포맷을 다루는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Lⁿ/2, Mⁿ/2)가 된다.

이후, 제 n 계층의 부호화 블록을 Bⁿ으로 나타내고, 부호화 블록 Bⁿ에서 선택 가능한 부호화 모드를 m(Bⁿ)으로 나타내는 것으로 한다.

복수의 색성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bⁿ)은, 색성분마다, 각각 개별의 모드를 이용하도록 구성되더라도 좋고, 모든 색성분에 대하여 공통의 모드를 이용하도록 구성되더라도 좋다. 이후, 특별히 언급하지 않는 한, YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 하여 설명을 행한다.

부호화 블록 Bⁿ은, 도 6에 나타내는 바와 같이, 블록 분할부(1)에 의해, 예측 처리 단위를 나타내는 1개 내지 복수의 예측 블록으로 분할된다.

이후, 부호화 블록 Bⁿ에 속하는 예측 블록을 P_i ⁿ(i는, 제 n 계층에 있어서의 예측 블록 번호)으로 표기한다. 도 5에 P₀ ⁰과 P₁ ⁰의 일례를 나타낸다.

부호화 블록 Bⁿ의 예측 블록 분할이 어떻게 이루어지고 있는지는, 부호화 모드 m(Bⁿ) 중에 정보로서 포함된다.

예측 블록 P_i ⁿ은, 모두 부호화 모드 m(Bⁿ)에 따라 예측 처리가 행해지지만, 예측 블록 P_i ⁿ마다, 개별의 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.

부호화 제어부(2)는, 최대 부호화 블록에 대하여, 예컨대, 도 6에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록을 특정한다.

도 6(a)의 점선으로 둘러싸인 직사각형이 각 부호화 블록을 나타내고, 각 부호화 블록 내에 있는 사선으로 칠해진 블록이 각 예측 블록의 분할 상태를 나타내고 있다.

도 6(b)는, 도 6(a)의 예에 대하여, 계층 분할에 의해 부호화 모드 m(Bⁿ)이 할당되는 상황을 사지 트리 그래프로 나타낸 것이다. 도 6(b)의 □로 둘러싸여 있는 노드는, 부호화 모드 m(Bⁿ)이 할당된 노드(부호화 블록)이다.

이 사지 트리 그래프의 정보는 부호화 모드 m(Bⁿ)과 함께 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

전환 스위치(3)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드인 경우(m(Bⁿ)∈INTRA의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bⁿ을 인트라 예측부(4)에 출력한다.

한편, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인터 부호화 모드인 경우(m(Bⁿ)∈INTER의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bⁿ을 움직임 보상 예측부(5)에 출력한다.

인트라 예측부(4)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이고(m(Bⁿ)∈INTRA의 경우), 전환 스위치(3)로부터 부호화 블록 Bⁿ을 받으면(단계 ST3), 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용하여, 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다(단계 ST4).

또, 동화상 복호 장치가 인트라 예측 화상 P_INTRAi ⁿ과 완전히 같은 인트라 예측 화상을 생성할 필요가 있기 때문에, 인트라 예측 화상 P_INTRAi ⁿ의 생성에 이용된 인트라 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

인트라 예측부(4)의 처리 내용의 상세는 후술한다.

움직임 보상 예측부(5)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bⁿ)이 인터 부호화 모드이고(m(Bⁿ)∈INTER의 경우), 전환 스위치(3)로부터 부호화 블록 Bⁿ을 받으면(단계 ST3), 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 필터링 처리 후의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인터 예측 처리를 실시하여, 인터 예측 화상 P_INTERi ⁿ을 생성한다(단계 ST5).

또, 동화상 복호 장치가 인터 예측 화상 P_INTERi ⁿ과 완전히 같은 인터 예측 화상을 생성할 필요가 있기 때문에, 인터 예측 화상 P_INTERi ⁿ의 생성에 이용된 인터 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

또한, 움직임 보상 예측부(5)에 의해 탐색된 움직임 벡터도 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.

감산부(6)는, 블록 분할부(1)로부터 부호화 블록 Bⁿ을 받으면, 그 부호화 블록 Bⁿ 내의 예측 블록 P_i ⁿ으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 감산하여, 그 감산 결과인 예측 차분 신호 e_i ⁿ을 변환ㆍ양자화부(7)에 출력한다(단계 ST6).

변환ㆍ양자화부(7)는, 감산부(6)로부터 예측 차분 신호 e_i ⁿ을 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 그 예측 차분 신호 e_i ⁿ에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시하여, 변환 계수를 산출한다.

또한, 변환ㆍ양자화부(7)는, 그 예측 차분 부호화 파라미터를 참조하여, 그 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력한다(단계 ST7).

역 양자화ㆍ역 변환부(8)는, 변환ㆍ양자화부(7)로부터 압축 데이터를 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 그 압축 데이터를 역 양자화한다.

또한, 역 양자화ㆍ역 변환부(8)는, 그 예측 차분 부호화 파라미터를 참조하여, 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리(예컨대, 역 DCT, 역 KL 변환 등)를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호 e_i ⁿ에 상당하는 국소 복호 예측 차분 신호를 산출하여 가산부(9)에 출력한다(단계 ST8).

가산부(9)는, 역 양자화ㆍ역 변환부(8)로부터 국소 복호 예측 차분 신호를 받으면, 그 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 가산함으로써, 국소 복호 화상을 산출한다(단계 ST9).

또, 가산부(9)는, 그 국소 복호 화상을 루프 필터부(11)에 출력함과 아울러, 그 국소 복호 화상을 인트라 예측용 메모리(10)에 저장한다.

이 국소 복호 화상이, 이후의 인트라 예측 처리에 이용되는 부호화 완료된 화상 신호가 된다.

루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상을 받으면, 그 국소 복호 화상에 대하여, 소정의 필터링 처리를 실시하여, 필터링 처리 후의 국소 복호 화상을 움직임 보상 예측 프레임 메모리(12)에 저장한다(단계 ST10).

또, 루프 필터부(11)에 의한 필터링 처리는, 입력되는 국소 복호 화상의 최대 부호화 블록 혹은 개개의 부호화 블록 단위로 행하더라도 좋고, 1픽처분의 국소 복호 화상이 입력된 후에 1픽처분 합쳐서 행하더라도 좋다.

또한, 소정의 필터링 처리의 예로서는, 부호화 블록 경계의 불연속성(블록 노이즈)이 눈에 띄지 않도록 블록 경계를 필터링하는 처리, 입력 화상인 도 1의 영상 신호와 국소 복호 화상 사이의 오차가 최소가 되도록 국소 복호 화상의 왜곡을 보상하는 필터 처리 등을 들 수 있다.

단, 입력 화상인 도 1의 영상 신호와 국소 복호 화상 사이의 오차가 최소가 되도록 국소 복호 화상의 왜곡을 보상하는 필터 처리를 행하는 경우에는, 영상 신호를 루프 필터부(11)에서 참조할 필요가 있기 때문에, 루프 필터부(11)에 영상 신호를 입력하도록 도 1의 동화상 부호화 장치를 변경할 필요가 있다.

단계 ST3~ST9의 처리는, 계층적으로 분할된 모든 부호화 블록 Bⁿ에 대한 처리가 완료되기까지 반복하여 실시되고, 모든 부호화 블록 Bⁿ에 대한 처리가 완료되면 단계 ST13의 처리로 이행한다(단계 ST11, ST12).

가변 길이 부호화부(13)는, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)로부터 출력된 최대 부호화 블록 내의 블록 분할 정보(도 6(b)를 예로 하는 사지 트리 정보), 부호화 모드 m(Bⁿ) 및 예측 차분 부호화 파라미터와, 부호화 제어부(2)로부터 출력된 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우) 또는 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하여, 그들의 부호화 결과를 나타내는 비트스트림을 생성한다(단계 ST13).

다음으로, 인트라 예측부(4)의 처리 내용을 상세히 설명한다.

도 17은 부호화 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ이 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다. 단, N_I는 인트라 예측 모드수를 나타내고 있다.

도 17에서는, 인트라 예측 모드와, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있고, 도 17의 예에서는, 선택 가능한 인트라 예측 모드의 개수가 증가함에 따라서, 예측 방향 벡터끼리의 상대 각도가 작아지도록 설계되어 있다.

인트라 예측부(4)는, 상술한 바와 같이, 예측 블록 P_i ⁿ의 인트라 예측 파라미터를 참조하여, 그 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성하지만, 여기서는, 휘도 신호에 있어서의 예측 블록 P_i ⁿ의 인트라 예측 신호를 생성하는 인트라 처리에 대하여 설명한다.

예측 블록 P_i ⁿ의 사이즈를 l_i ⁿ×m_i ⁿ 화소로 한다.

도 8은 l_i ⁿ=m_i ⁿ=4의 경우의 예측 블록 P_i ⁿ 내의 화소의 예측치를 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.

도 8에서는, 예측 블록 P_i ⁿ의 위쪽의 부호화 완료된 화소 (2×l_i ⁿ+1)개와, 왼쪽의 부호화 완료된 화소 (2×m_i ⁿ)개를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 8에 나타내는 화소보다 많더라도 적더라도 좋다.

또한, 도 8에서는, 예측 블록 P_i ⁿ의 근방의 1행 또는 1열분의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 혹은, 그 이상의 화소를 예측에 이용하더라도 좋다.

예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 0(평면(Planar) 예측)의 경우에는, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소와 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소를 이용하여, 예측 블록 P_i ⁿ 내의 예측 대상 화소와 상기 인접 화소의 거리에 따라 내삽한 값을 예측치로 하여 예측 화상을 생성한다.

예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 1(수직 방향 예측)의 경우에는, 하기의 식(1)로부터 예측 블록 P_i ⁿ 내의 화소의 예측치를 산출하여 예측 화상을 생성한다.

단, 좌표 (x, y)는 예측 블록 P_i ⁿ 내의 왼쪽 위의 화소를 원점으로 하는 상대 좌표(도 9를 참조)이고, S'(x, y)는 좌표 (x, y)에 있어서의 예측치, S(x, y)는 좌표 (x, y)에 있어서의 부호화 완료된 화소의 휘도치(복호된 휘도치)이다.

이와 같이, 종래(MPEG-4 AVC/H.264)의 수직 방향 예측의 예측치인 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소의 휘도치 S(x, -1)에 대하여, 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소(도 10의 굵은 테두리로 둘러싸인 화소)의 수직 방향의 휘도치의 변화량을 나타내는 S(-1, y)-S(-1, -1)에 비례하는 값(수직 방향의 휘도치의 변화량을 나타내는 S(-1, y)-S(-1, -1)을 1/t로 스케일링한 값)을 가산하고, 그 가산 후의 값을 예측 화상의 예측치로 결정함으로써, 예측 방향으로의 휘도치의 변화에 따른 수직 방향 예측을 실현할 수 있다.

단, 상기 예측치가 휘도치가 취할 수 있는 값의 범위에 들어가 있지 않은 경우에는, 그 범위 내에 들어가도록 값을 반올림하도록 하더라도 좋다. 이와 같이 함으로써, 반올림 처리를 행하는 만큼 연산량이 약간 증가하지만, 휘도치가 취할 수 있는 값의 범위 밖의 예측치의 발생을 억제하여 예측 오차를 감소시킬 수 있다.

또, 상기의 1/t는, 고정치로 하더라도 좋지만, 좌표 (x, y)에 따라 변화하는 변수로 하더라도 좋다.

예컨대, t=2^x+1로 하면, 도 11에 나타내는 바와 같이, 스케일링 값이 좌단의 열로부터 차례로 1/2, 1/4, 1/8, 1/16과 같이 작아져 가기 때문에, 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소로부터의 거리가 멀어질수록, 가산하는 수직 방향의 휘도치의 변화량이 작아진다.

이것에 의해, 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소와의 거리가 멀어져 상관이 낮아지는 예측 대상 화소일수록, 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소의 영향을 작게 할 수 있기 때문에, 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소와의 상관에 따른 정확한 예측을 행할 수 있다.

또한, t=2^x+1의 경우, 식(1)을 하기에 나타내는 바와 같이 비트 시프트에 의한 식으로 표현할 수 있다.

식(1a)에 있어서, ">>a"는, 우측으로 a비트만큼 산술 시프트하는 연산을 나타내고 있다.

식(1)의 나눗셈 대신에 시프트 연산을 이용함으로써, 컴퓨터에 실장하는 경우에 고속의 연산이 가능하게 된다.

단, S(-1, y)-S(-1, -1)은 음의 값도 취할 수 있기 때문에, 실장 환경(컴파일러) 등에 따라서는 ">>"가 산술 시프트가 아닌 논리 시프트로서 취급되어 버리고, 계산 결과가 식(1)과 달라져 버리는 경우가 있다.

그래서, 실장 환경에 의존하지 않는 t=2^x+1의 경우의 식(1)의 근사식으로서는, 하기의 식(1b)를 들 수 있다.

식(1b)에서는, 휘도치 S(-1, y), S(-1, -1)을 각각 먼저 (x+1)비트 우측으로 시프트하고 나서 감산을 행하기 때문에, 휘도치를 양의 값으로 정의하면, 산술 시프트, 논리 시프트 모두 동일한 계산 결과가 얻어진다.

또한, 식(1)의 예측 처리를 행하는 예측 블록 P_i ⁿ의 블록 사이즈는 특정 사이즈로 한정하더라도 좋다. 일반적으로 큰 블록 사이즈에서는 블록 내에 다양한 신호 변화가 포함되기 쉽고, 방향성 예측을 이용하여 정확하게 예측할 수 있는 케이스가 적기 때문에, 예컨대, 16×16 화소 이상의 블록 사이즈의 예측 블록 P_i ⁿ에서는, 식(1)을 적용하지 않고서, 종래의 수직 방향 예측의 예측치(예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소의 휘도치 S(x, -1))로 하고, 16×16 화소보다 작은 블록에서만 식(1)을 적용함으로써, 종래의 수직 방향 예측보다 예측 성능을 향상시키면서, 연산량의 증가를 억제할 수 있다.

또한, 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 2(수평 방향 예측)의 경우에는, 하기의 식(2)로부터 예측 블록 P_i ⁿ 내의 화소의 예측치를 산출하여 예측 화상을 생성한다.

단, 좌표 (x, y)는 예측 블록 P_i ⁿ 내의 왼쪽 위의 화소를 원점으로 하는 상대 좌표(도 9를 참조)이고, S'(x, y)는 좌표 (x, y)에 있어서의 예측치, S(x, y)는 좌표 (x, y)에 있어서의 부호화 완료된 화소의 휘도치(복호된 휘도치)이다.

이와 같이, 종래(MPEG-4 AVC/H.264)의 수평 방향 예측의 예측치인 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소의 휘도치 S(-1, y)에 대하여, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소(도 12의 굵은 테두리로 둘러싸인 화소)의 수평 방향의 휘도치의 변화량을 나타내는 S(x, -1)-S(-1, -1)에 비례하는 값(수평 방향의 휘도치의 변화량을 나타내는 S(x, -1)-S(-1, -1)을 1/u로 스케일링한 값)을 가산하고, 그 가산 후의 값을 예측 화상의 예측치로 결정함으로써, 예측 방향으로의 휘도치의 변화에 따른 수평 방향 예측을 실현할 수 있다.

단, 상기 예측치가 휘도치가 취할 수 있는 값의 범위에 들어가 있지 않은 경우에는, 그 범위 내에 들어가도록 값을 반올림하도록 하더라도 좋다. 이와 같이 함으로써, 반올림 처리를 행하는 만큼 연산량이 약간 증가하지만, 휘도치가 취할 수 있는 값의 범위 밖의 예측치의 발생을 억제하여 예측 오차를 감소시킬 수 있다.

또, 상기 1/u는, 고정치로 하더라도 좋지만, 좌표 (x, y)에 따라 변화하는 변수로 하더라도 좋다.

예컨대, u=2^y+1로 하면, 도 13에 나타내는 바와 같이, 스케일링 값이 상단의 행으로부터 차례로 1/2, 1/4, 1/8, 1/16과 같이 작아져 가기 때문에, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소로부터의 거리가 멀어질수록, 가산하는 수평 방향의 휘도치의 변화량이 작아진다.

이것에 의해, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소와의 거리가 멀어져 상관이 낮아지는 화소일수록, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소의 영향을 작게 할 수 있기 때문에, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소와의 상관에 따른 정확한 예측을 행할 수 있다.

또한, u=2^y+1의 경우, 식(2)를 하기에 나타내는 바와 같이 비트 시프트에 의한 식으로 표현할 수 있다.

식(2a)에 있어서, ">>a"는, 우측으로 a비트만큼 산술 시프트하는 연산을 나타내고 있다.

식(2)의 나눗셈 대신에 시프트 연산을 이용함으로써, 컴퓨터에 실장하는 경우에 고속의 연산이 가능하게 된다.

단, S(x, -1)-S(-1, -1)은 음의 값도 취할 수 있기 때문에, 실장 환경(컴파일러) 등에 따라서는 ">>"가 산술 시프트가 아닌 논리 시프트로서 취급되어 버리고, 계산 결과가 식(2)와 달라져 버리는 경우가 있다.

그래서, 실장 환경에 의존하지 않는 u=2^y+1의 경우의 식(2)의 근사식으로서는, 하기의 식(2b)를 들 수 있다.

식(2b)에서는, 휘도치 S(x, -1), S(-1, -1)을 각각 먼저 (y+1)비트 우측으로 시프트하고 나서 감산을 행하기 때문에, 휘도치를 양의 값으로 정의하면, 산술 시프트, 논리 모두 동일한 계산 결과가 얻어진다.

또한, 식(2)의 예측 처리를 행하는 예측 블록 P_i ⁿ의 블록 사이즈는 특정 사이즈로 한정하더라도 좋다. 일반적으로 큰 블록 사이즈에서는 블록 내에 다양한 신호 변화가 포함되기 쉽고, 방향성 예측을 이용하여 정확하게 예측할 수 있는 케이스가 적기 때문에, 예컨대, 16×16 화소 이상의 블록 사이즈의 예측 블록 P_i ⁿ에서는, 식(2)를 적용하지 않고서, 종래의 수평 방향 예측의 예측치(예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소의 휘도치 S(-1, y))로 하고, 16×16 화소보다 작은 블록에서만 식(2)를 적용함으로써, 종래의 수평 방향 예측보다 예측 성능을 향상시키면서, 연산량의 증가를 억제할 수 있다.

또한, 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 3(평균치(DC) 예측)의 경우에는, 예측 블록 P_i ⁿ의 위쪽에 인접하는 부호화 완료된 화소와 예측 블록 P_i ⁿ의 왼쪽에 인접하는 부호화 완료된 화소의 평균치를 예측 블록 P_i ⁿ 내의 화소의 예측치로 하여 예측 화상을 생성한다.

인트라 예측 모드의 인덱스 값이 0(평면(Planar) 예측), 1(수직 방향 예측), 2(수평 방향 예측), 3(평균치(DC) 예측) 이외의 경우에는, 인덱스 값이 나타내는 예측 방향 벡터 υ_p=(dx, dy)에 근거하여, 예측 블록 P_i ⁿ 내의 화소의 예측치를 생성한다.

도 9에 나타내는 바와 같이, 예측 블록 P_i ⁿ의 왼쪽 위의 화소를 원점으로 하여, 예측 블록 P_i ⁿ 내의 상대 좌표를 (x, y)로 설정하면, 예측에 이용하는 참조 화소의 위치는, 하기의 L과 인접 화소의 교점이 된다.

단, k는 음의 스칼라 값이다.

참조 화소가 정수 화소 위치에 있는 경우에는, 그 정수 화소를 예측 대상 화소의 예측치로 하고, 참조 화소가 정수 화소 위치에 없는 경우에는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측치로 한다.

도 8의 예에서는, 참조 화소는 정수 화소 위치에 없으므로, 참조 화소에 인접하는 2화소로부터 내삽한 것을 예측치로 한다. 또, 인접하는 2화소뿐만 아니라, 인접하는 2화소 이상의 화소로부터 보간 화소를 생성하여 예측치로 하더라도 좋다.

보간 처리에 이용하는 화소를 많게 함으로써 보간 화소의 보간 정확도를 향상시키는 효과가 있는 한편, 보간 처리에 요하는 연산의 복잡도가 증가하는 것으로부터, 연산 부하가 크더라도 높은 부호화 성능을 요구하는 동화상 부호화 장치의 경우에는, 보다 많은 화소로부터 보간 화소를 생성하도록 하는 것이 좋다.

같은 수순으로, 예측 블록 P_i ⁿ 내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하여 인트라 예측 화상 P_INTRAi ⁿ을 출력한다.

또, 인트라 예측 화상 P_INTRAi ⁿ의 생성에 이용된 인트라 예측 파라미터는, 비트스트림에 다중화하기 위해 가변 길이 부호화부(13)에 출력된다.

또, 앞서 설명한 MPEG-4 AVC/H.264에 있어서의 8×8 화소의 블록의 인트라 예측과 마찬가지로, 인트라 예측을 행할 때에 이용하는 화소에 대해서는, 부호화 완료된 인접 블록 내의 화소 그 자체가 아니고, 이들의 화소에 대하여 필터 처리를 실시한 것을 이용하도록 하더라도 좋다.

예측 블록 P_i ⁿ의 색차 신호에 대해서도, 휘도 신호와 같은 수순으로, 인트라 예측 파라미터(인트라 예측 모드)에 근거하는 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.

단, 색차 신호에서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)는 휘도 신호와 같을 필요는 없고, 또한, 수직 방향 예측 및 수평 방향 예측에 대해서는 종래(MPEG-4 AVC/H.264)의 예측 수법이더라도 좋다.

예컨대, YUV 신호 4:2:0 포맷의 경우, 색차 신호(U, V 신호)는, 휘도 신호(Y 신호)에 대하여 해상도를 수평 방향, 수직 방향 모두 1/2로 축소한 신호이고, 휘도 신호에 비하여 화상 신호의 복잡성이 낮아 예측이 용이한 것으로부터, 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)는 휘도 신호보다 적은 수로 하고, 수직 방향 예측 및 수평 방향 예측에 대해서도 종래의 간이한 예측 수법으로 함으로써, 예측 효율을 그다지 저하시키는 일 없이 인트라 예측 파라미터(인트라 예측 모드)를 부호화하기에 요하는 부호량의 삭감이나, 예측 처리의 연산의 저감을 실현할 수 있다.

또, 수직 방향 예측에서 이용하는 스케일링 값인 1/t와, 수평 방향 예측에서 이용하는 스케일링 값인 1/u는, 미리, 동화상 부호화 장치 및 동화상 복호 장치의 사이에서 정하여 두도록 하더라도 좋지만, 동화상 부호화 장치의 인트라 예측부(4)가, 시퀀스 단위 혹은 픽처 단위로, t, u를 가변 길이 부호화부(13)에 출력하고, 가변 길이 부호화부(13)가 t, u를 가변 길이 부호화하여 비트스트림에 포함시키고, 동화상 복호 장치가 비트스트림으로부터 t, u를 가변 길이 복호하여 사용하도록 하더라도 좋다.

이와 같이 시퀀스 단위 혹은 픽처 단위로, t, u를 적응 제어할 수 있도록 함으로써, 보다 입력 화상의 영상 신호의 특성에 따른 예측 처리를 실현할 수 있다.

또한, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈는, 미리, 동화상 부호화 장치 및 동화상 복호 장치의 사이에서 정하여 두도록 하더라도 좋지만, 동화상 부호화 장치의 인트라 예측부(4)가, 시퀀스 단위 혹은 픽처 단위로, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈를 나타내는 블록 사이즈마다의 ON/OFF 플래그를 가변 길이 부호화부(13)에 출력하고, 가변 길이 부호화부(13)가 상기 ON/OFF 플래그를 가변 길이 부호화하여 비트스트림에 포함시키고, 동화상 복호 장치가 비트스트림으로부터 상기 ON/OFF 플래그를 가변 길이 복호하여 사용하도록 하더라도 좋다.

이와 같이 시퀀스 단위 혹은 픽처 단위로, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈를 적응 제어할 수 있도록 함으로써, 보다 입력 화상의 영상 신호의 특성에 따른 예측 처리를 실현할 수 있다.

다음으로, 도 3의 동화상 복호 장치의 처리 내용을 구체적으로 설명한다.

가변 길이 복호부(31)는, 도 1의 동화상 부호화 장치에 의해 생성된 비트스트림을 입력하면, 그 비트스트림에 대한 가변 길이 복호 처리를 실시하여(도 4의 단계 ST21), 1프레임 이상의 픽처로 구성되는 시퀀스 단위, 혹은, 픽처 단위로 프레임 사이즈의 정보를 복호한다.

이때, 수직 방향 예측에서 이용하는 스케일링 값의 파라미터 t, 수평 방향 예측에서 이용하는 스케일링 값의 파라미터 u, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈를 나타내는 블록 사이즈마다의 ON/OFF 플래그 중, 어느 1개라도 가변 길이 부호화되어 비트스트림에 다중화되어 있는 경우, 도 1의 동화상 부호화 장치에서 부호화된 단위(시퀀스 단위, 혹은, 픽처 단위)로 복호한다.

가변 길이 복호부(31)는, 도 1의 동화상 부호화 장치의 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈 및 분할 계층수의 상한을 동화상 부호화 장치와 같은 수순으로 결정한다(단계 ST22).

예컨대, 최대 부호화 블록 사이즈나 분할 계층수 상한이 영상 신호의 해상도에 따라 정해진 경우에는, 복호한 프레임 사이즈 정보에 근거하여, 동화상 부호화 장치와 같은 수순으로 최대 부호화 블록 사이즈를 결정한다.

최대 부호화 블록 사이즈 및 분할 계층수 상한이, 동화상 부호화 장치측에서 비트스트림에 다중화되어 있는 경우에는, 비트스트림으로부터 복호한 값을 이용한다.

이후, 동화상 복호 장치에서는 상기 최대 부호화 블록 사이즈를 최대 복호 블록 사이즈라고 부르고, 최대 부호화 블록을 최대 복호 블록이라고 부른다.

가변 길이 복호부(31)는, 결정된 최대 복호 블록 단위로, 도 6에서 나타내는 바와 같은 최대 복호 블록의 분할 상태를 복호한다. 복호된 분할 상태에 근거하여, 계층적으로 복호 블록(도 1의 동화상 부호화 장치의 「부호화 블록」에 상당하는 블록)을 특정한다(단계 ST23).

다음으로, 가변 길이 복호부(31)는, 복호 블록에 할당되어 있는 부호화 모드를 복호한다. 복호한 부호화 모드에 포함되는 정보에 근거하여, 복호 블록을 1개 내지 복수의 예측 처리 단위인 예측 블록으로 더 분할하고, 예측 블록 단위로 할당되어 있는 예측 파라미터를 복호한다(단계 ST24).

즉, 가변 길이 복호부(31)는, 복호 블록에 할당되어 있는 부호화 모드가 인트라 부호화 모드인 경우, 복호 블록에 포함되어 있고, 예측 처리 단위가 되는 1개 이상의 예측 블록마다 인트라 예측 파라미터를 복호한다.

한편, 복호 블록에 할당되어 있는 부호화 모드가 인터 부호화 모드인 경우, 복호 블록에 포함되어 있고, 예측 처리 단위가 되는 1개 이상의 예측 블록마다 인터 예측 파라미터 및 움직임 벡터를 복호한다(단계 ST24).

또한, 가변 길이 복호부(31)는, 복호 블록을 예측 차분 부호화 파라미터에 포함되는 변환 블록 사이즈의 정보에 근거하여, 변환 처리 단위가 되는 1개 내지 복수의 변환 블록으로 분할하고, 변환 블록마다 압축 데이터(변환ㆍ양자화 후의 변환 계수)를 복호한다(단계 ST24).

전환 스위치(33)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이면(m(Bⁿ)∈INTRA의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인트라 예측 파라미터를 인트라 예측부(34)에 출력한다.

한편, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인터 부호화 모드이면(m(Bⁿ)∈INTER의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력한다.

인트라 예측부(34)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드(m(Bⁿ)∈INTRA)인 경우(단계 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 인트라 예측 파라미터를 받아, 도 1의 인트라 예측부(4)와 같은 수순으로, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 상기 인트라 예측 파라미터를 이용한 복호 블록 Bⁿ 내의 각 예측 블록 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다(단계 ST26).

즉, 인트라 예측부(34)는, 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 0(수직 방향 예측)의 경우에는, 상기의 식(1)로부터 예측 블록 P_i ⁿ 내의 화소의 예측치를 산출하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다.

또한, 예측 블록 P_i ⁿ에 대한 인트라 예측 모드의 인덱스 값이 1(수평 방향 예측)의 경우에는, 상기의 식(2)로부터 예측 블록 P_i ⁿ 내의 화소의 예측치를 산출하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다.

단, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈가 제한되어 있는 경우는, 식(1)의 수직 방향 예측이나 식(2)의 수평 방향 예측을 이용하는 블록 사이즈 이외의 사이즈의 예측 블록 P_i ⁿ에서는 종래(MPEG-4 AVC/H.264)의 수직 방향 예측이나 수평 방향 예측에 의해 인트라 예측 처리를 행한다.

움직임 보상부(35)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인터 부호화 모드(m(Bⁿ)∈INTER)인 경우(단계 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 움직임 벡터와 인터 예측 파라미터를 받아, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 필터링 처리 후의 복호 화상을 참조하면서, 상기 움직임 벡터와 인터 예측 파라미터를 이용한 복호 블록 내의 각 예측 블록 P_i ⁿ에 대한 인터 예측 처리를 실시하여 인터 예측 화상 P_INTERi ⁿ을 생성한다(단계 ST27).

역 양자화ㆍ역 변환부(32)는, 가변 길이 복호부(31)로부터 압축 데이터 및 예측 차분 부호화 파라미터를 받으면, 도 1의 역 양자화ㆍ역 변환부(8)와 같은 수순으로, 그 예측 차분 부호화 파라미터를 참조하여, 그 압축 데이터를 역 양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 도 1의 역 양자화ㆍ역 변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출한다(단계 ST28).

가산부(36)는, 역 양자화ㆍ역 변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ의 어느 한쪽을 가산하여 복호 화상을 산출하고, 루프 필터부(38)에 출력함과 아울러, 그 복호 화상을 인트라 예측용 메모리(37)에 저장한다(단계 ST29).

이 복호 화상이, 이후의 인트라 예측 처리에 이용되는 복호 완료된 화상 신호가 된다.

루프 필터부(38)는, 모든 복호 블록 Bⁿ에 대한 단계 ST23~ST29의 처리가 완료되면(단계 ST30), 가산부(36)로부터 출력된 복호 화상에 대하여, 소정의 필터링 처리를 실시하여, 필터링 처리 후의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한다(단계 ST31).

또, 루프 필터부(38)에 의한 필터링 처리는, 입력되는 복호 화상의 최대 복호 블록 혹은 개개의 복호 블록 단위로 행하더라도 좋고, 1픽처분의 복호 화상이 입력된 후에 1픽처분 합쳐서 행하더라도 좋다.

또한, 소정의 필터링 처리의 예로서는, 부호화 블록 경계의 불연속성(블록 노이즈)이 눈에 띄지 않도록 블록 경계를 필터링하는 처리, 복호 화상의 왜곡을 보상하는 필터 처리 등을 들 수 있다.

이 복호 화상이, 움직임 보상 예측용의 참조 화상이 되고, 또한, 재생 화상이 된다.

이상에서 분명하듯이, 본 실시의 형태 3에 의하면, 동화상 부호화 장치의 인트라 예측부(4)가, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수평 방향 예측 처리인 경우, 예측 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하고, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수직 방향 예측 처리인 경우, 예측 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하도록 구성했으므로, 예측 방향을 따라 신호치가 변화하고 있는 경우에도 정확한 예측을 실현하여, 화상 품질을 높일 수 있는 효과가 있다.

또한, 본 실시의 형태 3에 의하면, 동화상 복호 장치의 인트라 예측부(34)가, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수평 방향 예측 처리인 경우, 예측 블록의 왼쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 위쪽에 인접하고 있는 화소의 수평 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하고, 예측 화상을 생성할 때의 프레임 내 예측 처리가 수직 방향 예측 처리인 경우, 예측 블록의 위쪽에 인접하고 있는 화소의 휘도치에 대하여, 예측 블록의 왼쪽에 인접하고 있는 화소의 수직 방향의 휘도치 변화량에 비례하는 값을 가산하여, 그 가산 후의 값을 예측 화상의 예측치로 결정하도록 구성했으므로, 예측 방향을 따라 신호치가 변화하고 있는 경우에도 정확한 예측을 실현하여, 화상 품질을 높일 수 있는 효과가 있다.

본 실시의 형태 3에 의하면, 인트라 예측부(4, 34)에 의해 수평 방향 예측 처리가 실시될 때에 이용되는 스케일링 값인 1/u에 대해서는, 예측 블록의 위쪽에 인접하고 있는 화소로부터 거리가 먼 행에 따른 스케일링 값일수록 작은 값으로 설정되어 있도록 구성했으므로, 예측 블록의 위쪽에 인접하고 있는 화소와의 거리가 멀어져, 상관이 낮아지는 화소일수록, 예측 블록의 위쪽에 인접하고 있는 화소의 영향을 작게 할 수 있게 되고, 그 결과, 정확하게 예측할 수 있는 효과가 있다.

또한, 인트라 예측부(4, 34)에 의해 수직 방향 예측 처리가 실시될 때에 이용되는 스케일링 값인 1/t에 대해서는, 예측 블록의 왼쪽에 인접하고 있는 화소로부터 거리가 먼 열에 따른 스케일링 값일수록 작은 값으로 설정되어 있도록 구성했으므로, 예측 블록의 왼쪽에 인접하고 있는 화소와의 거리가 멀어져, 상관이 낮아지는 화소일수록, 예측 블록의 왼쪽에 인접하고 있는 화소의 영향을 작게 할 수 있게 되고, 그 결과, 정확하게 예측할 수 있는 효과가 있다.

또, 본 실시의 형태 3에서는, 인트라 예측부(4, 34)에 의해 수평 방향 예측 처리가 실시될 때의 예측 블록 내의 제 N 행(예측 블록의 상단으로부터 N번째의 행)의 스케일링 값이 1/2^N+1(=1/2, 1/4, 1/8, 1/16, …)이고, 인트라 예측부(4, 34)에 의해 수직 방향 예측 처리가 실시될 때의 예측 블록 내의 제 M 열(예측 블록의 좌단으로부터 M번째의 열)의 스케일링 값이 1/2^M+1(=1/2, 1/4, 1/8, 1/16, …)인 예를 나타냈지만, 이것은 일례에 지나지 않고, 인트라 예측부(4, 34)에 의해 수평 방향 예측 처리가 실시될 때는 예측 블록의 상단으로부터 먼 행의 스케일링 값일수록 작고, 또한, 인트라 예측부(4, 34)에 의해 수직 방향 예측 처리가 실시될 때는 예측 블록의 좌단으로부터 먼 열의 스케일링 값일수록 작으면, 어떠한 값이더라도 좋다.

또, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시의 형태의 자유로운 조합, 혹은 각 실시의 형태의 임의의 구성 요소의 변형, 또는 각 실시의 형태에 있어서 임의의 구성 요소의 생략이 가능하다.

(산업상이용가능성)

본 발명은, 동화상을 고효율로 부호화를 행할 필요가 있는 동화상 부호화 장치에 적합하고, 또한, 고효율로 부호화되어 있는 동화상을 복호할 필요가 있는 동화상 복호 장치에 적합하다.

1 : 블록 분할부(블록 분할 수단)
2 : 부호화 제어부(부호화 제어 수단)
3 : 전환 스위치
4 : 인트라 예측부(인트라 예측 수단)
5 : 움직임 보상 예측부(움직임 보상 예측 수단)
6 : 감산부(양자화 수단)
7 : 변환ㆍ양자화부(양자화 수단)
8 : 역 양자화ㆍ역 변환부
9 : 가산부
10 : 인트라 예측용 메모리(인트라 예측 수단)
11 : 루프 필터부
12 : 움직임 보상 예측 프레임 메모리(움직임 보상 예측 수단)
13 : 가변 길이 부호화부(가변 길이 부호화 수단)
31 : 가변 길이 복호부(가변 길이 복호 수단)
32 : 역 양자화ㆍ역 변환부(역 양자화 수단)
33 : 전환 스위치
34 : 인트라 예측부(인트라 예측 수단)
35 : 움직임 보상부(움직임 보상 예측 수단)
36 : 가산부
37 : 인트라 예측용 메모리(인트라 예측 수단)
38 : 루프 필터부
39 : 움직임 보상 예측 프레임 메모리(움직임 보상 예측 수단)

Claims (10)

1. 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록 또는 상기 부호화 블록을 분할한 서브블록을 처리 블록으로 하고, 상기 처리 블록마다 프레임 내 예측 처리를 실시하여 예측 화상의 화소의 예측치를 생성하는 인트라 예측 수단을 구비하고,
   상기 인트라 예측 수단은, 인트라 예측 파라미터가 수평 방향 예측 처리를 나타내는 경우,
   상기 처리 블록 내의 왼쪽 위의 화소의 좌표를 원점 (0, 0), 예측치를 산출하는 화소의 좌표를 (x, y)로 했을 때에,
   상기 처리 블록이 소정 사이즈보다 작을 때는, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치에 대하여, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치로부터 좌표 (-1, -1)의 화소의 신호치를 뺀 값에 대하여 시프트 연산한 값을 가산하여, 그 가산 후의 값을 좌표 (x, y)의 화소의 예측치로 하고,
   상기 처리 블록이 소정 사이즈 이상일 때는, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치를 좌표 (x, y)의 화소의 예측치로 하는
   것을 특징으로 하는 화상 복호 장치.
   
2. 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록 또는 상기 부호화 블록을 분할한 서브블록을 처리 블록으로 하고, 상기 처리 블록마다 프레임 내 예측 처리를 실시하여 예측 화상의 화소의 예측치를 생성하는 인트라 예측 수단을 구비하고,
   상기 인트라 예측 수단은, 인트라 예측 파라미터가 수직 방향 예측 처리를 나타내는 경우,
   상기 처리 블록 내의 왼쪽 위의 화소의 좌표를 원점(0, 0), 예측치를 산출하는 화소의 좌표를 (x, y)로 했을 때에,
   상기 처리 블록이 소정 사이즈보다 작을 때는, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치에 대하여, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치로부터 좌표 (-1, -1)의 화소의 신호치를 뺀 값에 대하여 시프트 연산한 값을 가산하여, 그 가산 후의 값을 좌표 (x, y)의 화소의 예측치로 하고,
   상기 처리 블록이 소정 사이즈 이상일 때는, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치를 좌표 (x, y)의 화소의 예측치로 하는
   것을 특징으로 하는 화상 복호 장치.
   
3. 인트라 예측 수단이, 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록 또는 상기 부호화 블록을 분할한 서브블록을 처리 블록으로 하고, 상기 처리 블록마다 프레임 내 예측 처리를 실시하여 예측 화상의 화소의 예측치를 생성하는 인트라 예측 처리 단계를 구비하고,
   상기 인트라 예측 처리 단계에서는, 인트라 예측 파라미터가 수평 방향 예측 처리를 나타내는 경우,
   상기 처리 블록 내의 왼쪽 위의 화소의 좌표를 원점 (0, 0), 예측치를 산출하는 화소의 좌표를 (x, y)로 했을 때에,
   상기 처리 블록이 소정 사이즈보다 작을 때는, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치에 대하여, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치로부터 좌표 (-1, -1)의 화소의 신호치를 뺀 값에 대하여 시프트 연산한 값을 가산하여, 그 가산 후의 값을 좌표 (x, y)의 화소의 예측치로 하고,
   상기 처리 블록이 소정 사이즈 이상일 때는, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치를 좌표 (x, y)의 화소의 예측치로 하는
   것을 특징으로 하는 화상 복호 방법.
   
4. 인트라 예측 수단이, 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록 또는 상기 부호화 블록을 분할한 서브블록을 처리 블록으로 하고, 상기 처리 블록마다 프레임 내 예측 처리를 실시하여 예측 화상의 화소의 예측치를 생성하는 인트라 예측 처리 단계를 구비하고,
   상기 인트라 예측 처리 단계에서는, 인트라 예측 파라미터가 수직 방향 예측 처리를 나타내는 경우,
   상기 처리 블록 내의 왼쪽 위의 화소의 좌표를 원점 (0, 0), 예측치를 산출하는 화소의 좌표를 (x, y)로 했을 때에,
   상기 처리 블록이 소정 사이즈보다 작을 때는, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치에 대하여, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치로부터 좌표 (-1, -1)의 화소의 신호치를 뺀 값에 대하여 시프트 연산한 값을 가산하여, 그 가산 후의 값을 좌표 (x, y)의 화소의 예측치로 하고,
   상기 처리 블록이 소정 사이즈 이상일 때는, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치를 좌표 (x, y)의 화소의 예측치로 하는
   것을 특징으로 하는 화상 복호 방법.
   
5. 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록 또는 상기 부호화 블록을 분할한 서브블록을 처리 블록으로 하고, 상기 처리 블록마다 프레임 내 예측 처리를 실시하여 예측 화상의 화소의 예측치를 생성하는 인트라 예측 수단을 구비하고,
   상기 인트라 예측 수단은, 인트라 예측 파라미터가 수평 방향 예측 처리를 나타내는 경우,
   상기 처리 블록 내의 왼쪽 위의 화소의 좌표를 원점 (0, 0), 예측치를 산출하는 화소의 좌표를 (x, y)로 했을 때에,
   상기 처리 블록이 소정 사이즈보다 작을 때는, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치에 대하여, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치로부터 좌표 (-1, -1)의 화소의 신호치를 뺀 값에 대하여 시프트 연산한 값을 가산하여, 그 가산 후의 값을 좌표 (x, y)의 화소의 예측치로 하고,
   상기 처리 블록이 소정 사이즈 이상일 때는, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치를 좌표 (x, y)의 화소의 예측치로 하는
   것을 특징으로 하는 화상 부호화 장치.
   
6. 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록 또는 상기 부호화 블록을 분할한 서브블록을 처리 블록으로 하고, 상기 처리 블록마다 프레임 내 예측 처리를 실시하여 예측 화상의 화소의 예측치를 생성하는 인트라 예측 수단을 구비하고,
   상기 인트라 예측 수단은, 인트라 예측 파라미터가 수직 방향 예측 처리를 나타내는 경우,
   상기 처리 블록 내의 왼쪽 위의 화소의 좌표를 원점 (0, 0), 예측치를 산출하는 화소의 좌표를 (x, y)로 했을 때에,
   상기 처리 블록이 소정 사이즈보다 작을 때는, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치에 대하여, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치로부터 좌표 (-1, -1)의 화소의 신호치를 뺀 값에 대하여 시프트 연산한 값을 가산하여, 그 가산 후의 값을 좌표 (x, y)의 화소의 예측치로 하고,
   상기 처리 블록이 소정 사이즈 이상일 때는, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치를 좌표 (x, y)의 화소의 예측치로 하는
   것을 특징으로 하는 화상 부호화 장치.
   
7. 인트라 예측 수단이, 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록 또는 상기 부호화 블록을 분할한 서브블록을 처리 블록으로 하고, 상기 처리 블록마다 프레임 내 예측 처리를 실시하여 예측 화상의 화소의 예측치를 생성하는 인트라 예측 처리 단계를 구비하고,
   상기 인트라 예측 처리 단계에서는, 인트라 예측 파라미터가 수평 방향 예측 처리를 나타내는 경우,
   상기 처리 블록 내의 왼쪽 위의 화소의 좌표를 원점 (0, 0), 예측치를 산출하는 화소의 좌표를 (x, y)로 했을 때에,
   상기 처리 블록이 소정 사이즈보다 작을 때는, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치에 대하여, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치로부터 좌표 (-1, -1)의 화소의 신호치를 뺀 값에 대하여 시프트 연산한 값을 가산하여, 그 가산 후의 값을 좌표 (x, y)의 화소의 예측치로 하고,
   상기 처리 블록이 소정 사이즈 이상일 때는, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치를 좌표 (x, y)의 화소의 예측치로 하는
   것을 특징으로 하는 화상 부호화 방법.
   
8. 인트라 예측 수단이, 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록 또는 상기 부호화 블록을 분할한 서브블록을 처리 블록으로 하고, 상기 처리 블록마다 프레임 내 예측 처리를 실시하여 예측 화상의 화소의 예측치를 생성하는 인트라 예측 처리 단계를 구비하고,
   상기 인트라 예측 처리 단계에서는, 인트라 예측 파라미터가 수직 방향 예측 처리를 나타내는 경우,
   상기 처리 블록 내의 왼쪽 위의 화소의 좌표를 원점 (0, 0), 예측치를 산출하는 화소의 좌표를 (x, y)로 했을 때에,
   상기 처리 블록이 소정 사이즈보다 작을 때는, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치에 대하여, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치로부터 좌표 (-1, -1)의 화소의 신호치를 뺀 값에 대하여 시프트 연산한 값을 가산하여, 그 가산 후의 값을 좌표 (x, y)의 화소의 예측치로 하고,
   상기 처리 블록이 소정 사이즈 이상일 때는, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치를 좌표 (x, y)의 화소의 예측치로 하는
   것을 특징으로 하는 화상 부호화 방법.
   
9. 부호화 블록 또는 상기 부호화 블록을 분할한 서브블록을 처리 블록으로 하고, 상기 처리 블록마다 예측 처리를 실시하여 부호화된 부호화 데이터의 데이터 구조를 기록한 기록 매체로서,
   상기 부호화 데이터는,
   상기 부호화 블록에 대한 부호화 모드와,
   상기 부호화 모드가 인트라 부호화 모드인 경우에, 상기 처리 블록마다 프레임 내 예측 처리를 실시할 때에 사용되는 인트라 예측 모드를 나타내는 인트라 예측 파라미터와,
   상기 처리 블록의 블록 사이즈를 규정하는 정보와,
   상기 처리 블록의 화상과 상기 처리 블록에 예측 처리를 실시하여 생성되는 예측 화상의 차분에 압축 처리를 행하여 생성되는 압축 데이터
   를 구비하고,
   상기 부호화 모드가 인트라 부호화 모드이고, 상기 인트라 예측 파라미터가 수평 방향 예측 처리를 나타내는 경우,
   상기 처리 블록 내의 왼쪽 위의 화소의 좌표를 원점 (0, 0), 예측치를 산출하는 화소의 좌표를 (x, y)로 했을 때에,
   상기 예측 화상의 화소의 예측치는,
   상기 처리 블록이 소정 사이즈보다 작을 때는, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치에 대하여, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치로부터 좌표 (-1, -1)의 화소의 신호치를 뺀 값에 대하여 시프트 연산한 값을 가산하여, 그 가산 후의 값을 좌표 (x, y)의 화소의 예측치로 하고,
   상기 처리 블록이 소정 사이즈 이상일 때는, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치를 좌표 (x, y)의 화소의 예측치로 하는 것에 의해 생성되는
   것을 특징으로 하는 부호화 데이터의 데이터 구조를 기록한 기록 매체.
   
10. 부호화 블록 또는 상기 부호화 블록을 분할한 서브블록을 처리 블록으로 하고, 상기 처리 블록마다 예측 처리를 실시하여 부호화된 부호화 데이터의 데이터 구조를 기록한 기록 매체로서,
    상기 부호화 데이터는,
    상기 부호화 블록에 대한 부호화 모드와,
    상기 부호화 모드가 인트라 부호화 모드인 경우에, 상기 처리 블록마다 프레임 내 예측 처리를 실시할 때에 사용되는 인트라 예측 모드를 나타내는 인트라 예측 파라미터와,
    상기 처리 블록의 블록 사이즈를 규정하는 정보와,
    상기 처리 블록의 화상과 상기 처리 블록에 예측 처리를 실시하여 생성되는 예측 화상의 차분에 압축 처리를 행하여 생성되는 압축 데이터
    를 구비하고,
    상기 부호화 모드가 인트라 부호화 모드이고, 상기 인트라 예측 파라미터가 수직 방향 예측 처리를 나타내는 경우,
    상기 처리 블록 내의 왼쪽 위의 화소의 좌표를 원점 (0, 0), 예측치를 산출하는 화소의 좌표를 (x, y)로 했을 때에,
    상기 예측 화상의 화소의 예측치는,
    상기 처리 블록이 소정 사이즈보다 작을 때는, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치에 대하여, 상기 처리 블록의 왼쪽에 인접하고 있는 좌표 (-1, y)의 화소의 신호치로부터 좌표 (-1, -1)의 화소의 신호치를 뺀 값에 대하여 시프트 연산한 값을 가산하여, 그 가산 후의 값을 좌표 (x, y)의 화소의 예측치로 하고,
    상기 처리 블록이 소정 사이즈 이상일 때는, 상기 처리 블록의 위쪽에 인접하고 있는 좌표 (x, -1)의 화소의 신호치를 좌표 (x, y)의 화소의 예측치로 하는 것에 의해 생성되는
    것을 특징으로 하는 부호화 데이터의 데이터 구조를 기록한 기록 매체.

Images