KR20150029001A

KR20150029001A - 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법

Info

Publication number: KR20150029001A
Application number: KR1020157002180A
Authority: KR
Inventors: 아키라 미네자와; 가즈오 스기모토; ？이치 세키구치
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2011-01-12
Filing date: 2012-01-06
Publication date: 2015-03-17
Also published as: TW202106007A; CA3000998A1; SG10201810141WA; JP2017077036A; TWI620150B; TW201946456A; JP6091583B2; JPWO2012096150A1; TW201624420A; CA3017317C; JP2016042731A; WO2012096150A1; CA2823503A1; JP5840285B2; CN105959706B; TWI711296B; US20160156929A1; TWI792075B; JP6091584B2; TWI579803B

Abstract

인트라 예측부(4)가 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 필터 선택용 테이블을 참조하는 것에 의해, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 관계되는 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시한다. 이것에 의해, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질을 높일 수 있다.

Description

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법{IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD}

본 발명은, 화상을 고효율로 부호화를 행하는 화상 부호화 장치 및 화상 부호화 방법과, 고효율로 부호화되어 있는 화상을 복호하는 화상 복호 장치 및 화상 복호 방법에 관한 것이다.

예컨대, MPEG(Moving Picture Experts Group)나 「ITU-T H.26x」 등의 국제 표준 영상 부호화 방식에서는, 입력 영상 프레임을 직사각형의 블록(부호화 대상 블록)으로 분할하고, 그 부호화 대상 블록에 대하여, 부호화 완료된 화상 신호를 이용하는 예측 처리를 실시하는 것에 의해 예측 화상을 생성하고, 그 부호화 대상 블록과 예측 화상의 차분인 예측 오차 신호를 블록 단위로 직교 변환이나 양자화 처리를 행하는 것에 의해, 정보 압축을 행하도록 하고 있다.

예컨대, 국제 표준 방식인 MPEG-4 AVC/H.264(ISO/IEC 14496-10｜ITU-T H.264)에서는, 부호화 완료된 근방 화소로부터의 인트라 예측 처리 또는 근접 프레임 사이에서의 움직임 보상 예측 처리를 행하고 있다(예컨대, 비특허 문헌 1을 참조).

MPEG-4 AVC/H.264에 있어서, 휘도의 인트라 예측 모드에서는, 블록 단위로, 복수의 예측 모드 중에서 하나의 예측 모드를 선택할 수 있다.

도 10은 휘도의 블록 사이즈가 4×4 화소인 경우의 인트라 예측 모드를 나타내는 설명도이다.

도 10에 있어서, 흰 원이 부호화 대상의 블록 내의 화소이다. 검은 원은 예측에 이용하는 화소이고, 부호화 완료된 인접 블록 내의 화소이다.

도 10에서는, 인트라 예측 모드로서, 9개의 모드 0~모드 8이 준비되어 있지만, 모드 2는 평균치 예측을 행하는 모드이고, 위쪽과 왼쪽의 블록의 인접 화소의 평균치로, 부호화 대상 블록 내의 화소를 예측한다.

모드 2 이외의 모드는 방향성 예측을 행하는 모드이다. 모드 0은 수직 방향 예측이고, 위쪽의 블록의 인접 화소를 수직 방향으로 반복하는 것에 의해 예측 화상을 생성한다. 예컨대, 세로 줄무늬 모양일 때에는 모드 0이 선택된다.

모드 1은 수평 방향 예측이고, 왼쪽의 블록의 인접 화소를 수평 방향으로 반복하는 것에 의해 예측 화상을 생성한다. 예컨대, 가로 줄무늬 모양일 때에는 모드 1이 선택된다.

모드 3~모드 8은, 위쪽 또는 왼쪽의 블록의 인접 화소를 이용하여, 소정의 방향(화살표가 나타내는 방향)으로 보간 화소를 생성하여 예측 화상을 생성한다.

인트라 예측을 적용하는 휘도의 블록 사이즈는, 4×4 화소, 8×8 화소, 16×16 화소 중에서 선택할 수 있고, 8×8 화소의 경우에는, 4×4 화소의 경우와 같이 9개의 인트라 예측 모드가 규정되어 있다.

16×16 화소의 경우에는, 4개의 인트라 예측 모드(평균치 예측, 수직 방향 예측, 수평 방향 예측, 평면 예측)가 규정되어 있다.

평면 예측은, 위쪽의 블록의 인접 화소와 왼쪽의 블록의 인접 화소를 경사 방향으로 내삽 보간하여 생성한 화소를 예측치로 하는 모드이다.

방향성 예측을 행하는 인트라 예측 모드는, 예컨대, 45도 등, 모드에 따라 미리 정해진 방향에서 예측치를 생성하기 때문에, 블록 내의 오브젝트의 경계(에지)의 방향이, 예측 모드가 나타내는 방향과 일치하는 경우, 예측 효율이 높아져 부호량을 삭감할 수 있다.

그러나, 에지의 방향과 예측 모드가 나타내는 방향의 사이에 약간 어긋남이 생기고 있거나, 방향이 일치하고 있더라도 부호화 대상 블록 내의 에지가 약간 비뚤어져(흔들림, 구부러짐 등) 있거나 하는 것만으로, 국소적으로 큰 예측 오차가 발생하여 버리고, 예측 효율이 극단적으로 저하하는 일이 있다.

이와 같은 예측 효율의 저하를 막기 위해, 8×8 화소의 방향성 예측에서는, 부호화 완료된 인접 화소에 대하여 평활화(平滑化) 처리를 실시한 것을 이용하여 예측 처리를 행하는 것에 의해, 평활화된 예측 화상을 생성하고, 예측 방향의 약간의 어긋남이나, 에지에 약간의 왜곡이 생기고 있는 경우에 발생하는 예측 오차를 저감시키고 있다.

MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격

종래의 화상 부호화 장치는 이상과 같이 구성되어 있으므로, 평활화된 예측 화상을 생성하면, 예측 방향의 약간의 어긋남이나, 에지에 약간의 왜곡이 생기더라도, 발생하는 예측 오차를 저감할 수 있다. 그러나, 비특허 문헌 1에서는, 8×8 화소의 블록 이외에는 평활화 처리를 실시하고 있지 않고, 8×8 화소의 블록에 있어서도 한 가지의 평활화 처리밖에 없다.

실제로는, 8×8 화소 이외의 사이즈의 블록에서도 마찬가지로, 예측 화상과 부호화 대상 화상의 패턴이 비슷하더라도, 에지의 약간의 미스매치에 의해, 국소적으로 큰 예측 오차가 발생하여, 예측 효율의 대폭적인 저하가 생기는 일이 있는 과제가 있었다. 또한, 동일 사이즈의 블록에 있어서도, 예측 오차 신호를 양자화할 때에 이용하는 양자화 파라미터나, 블록 내의 화소의 위치, 예측 모드 등이 다르면, 국소적인 예측 오차를 저감하기에 적합한 처리가 다르지만, 한 가지의 평활화 처리밖에 준비되어 있지 않고, 예측 오차를 충분히 저감할 수 없는 과제가 있었다.

또한, 평균치 예측을 행했을 때는, 블록 내의 예측치를 전부 블록에 인접하는 화소의 평균치로 하기 때문에 블록 경계에 위치하는 화소의 예측 신호가 주위의 부호화 완료된 화소에 대하여 불연속 신호가 되기 쉽고, 한편으로 화상 신호는 일반적으로 공간 방향의 상관이 높은 신호이므로, 상기 불연속성에 의해 블록의 경계 부분에 예측 오차가 발생하기 쉽다고 하는 과제가 있었다.

이 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것이고, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질을 높일 수 있는 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법을 얻는 것을 목적으로 한다.

본 발명에 따른 화상 부호화 장치는, 인트라 예측 수단이 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 관계되는 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하여, 필터 처리 후의 예측 화상을 차분 화상 생성 수단에 출력하도록 한 것이다.

본 발명에 의하면, 인트라 예측 수단이 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 관계되는 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하여, 필터 처리 후의 예측 화상을 차분 화상 생성 수단에 출력하도록 구성했으므로, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질을 높일 수 있는 효과가 있다.

도 1은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 의한 동화상 복호 장치를 나타내는 구성도이다.
도 3은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치의 처리 내용을 나타내는 플로차트이다.
도 4는 본 발명의 실시의 형태 1에 의한 동화상 복호 장치의 처리 내용을 나타내는 플로차트이다.
도 5는 최대 사이즈의 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 모습을 나타내는 설명도이다.
도 6(a)는 분할 후의 파티션의 분포를 나타내고, 도 6(b)는 계층 분할 후의 파티션에 부호화 모드 m(Bⁿ)이 할당되는 상황을 사지 트리(quad tree) 그래프로 나타내는 설명도이다.
도 7은 부호화 블록 Bⁿ 내의 각 파티션 P_i ⁿ에 있어서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.
도 8은 l_i ⁿ=m_i ⁿ=4일 때, 파티션 P_i ⁿ 내의 화소의 예측치를 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 9는 N=5인 경우의 참조 화소 배치의 일례를 나타내는 설명도이다.
도 10은 휘도의 블록 사이즈가 4×4 화소인 경우의 비특허 문헌 1의 인트라 예측 모드를 나타내는 설명도이다.
도 11은 예측 화상을 생성할 때에 이용하고 있는 프레임 내의 부호화 완료된 화상과 필터 처리 대상 화소의 거리의 일례를 나타내는 설명도이다.
도 12는 구체적인 필터의 참조 화소 배치를 나타내는 설명도이다.
도 13은 인트라 예측 모드 인덱스와 파티션 사이즈의 조합마다 어느 필터를 사용할지를 정하는 테이블의 일례를 나타내는 설명도이다.
도 14는 평균치 예측을 행했을 때에 필터 처리의 간단화를 행한 일례를 나타내는 설명도이다.
도 15는 필터 선택 테이블 인덱스를 시퀀스 레벨 헤더에 가한 경우의 비트스트림의 일례를 나타내는 설명도이다.
도 16은 필터 선택 테이블 인덱스를 픽쳐 레벨 헤더에 가한 경우의 비트스트림의 일례를 나타내는 설명도이다.
도 17은 필터 선택 테이블 인덱스를 슬라이스 헤더에 가한 경우의 비트스트림의 일례를 나타내는 설명도이다.
도 18은 필터 선택 테이블 인덱스를 기준 블록 헤더에 가한 경우의 비트스트림의 일례를 나타내는 설명도이다.
도 19는 인트라 예측 모드 인덱스와 파티션 사이즈의 조합마다 어느 필터를 사용할지를 정하는 테이블의 도 13과 다른 예를 나타내는 설명도이다.
도 20은 중간 예측 화상을 생성할 때의 참조 화소에 대한 평활화 처리를 행할지 여부를 인트라 예측 모드 인덱스와 파티션 사이즈의 조합마다 정하는 테이블의 예를 나타내는 설명도이다.

이하, 본 발명을 보다 상세히 설명하기 위해, 본 발명을 실시하기 위한 형태에 대하여, 첨부의 도면에 따라 설명한다.

실시의 형태 1.

본 실시의 형태 1에서는, 영상의 각 프레임 화상을 입력하고, 부호화 완료된 근방 화소로부터의 인트라 예측 처리 또는 근접 프레임 사이에서 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하고, 그 예측 화상과 프레임 화상의 차분 화상인 예측 오차 신호에 대하여, 직교 변환ㆍ양자화에 의한 압축 처리를 실시한 후에, 가변 길이 부호화를 행하여 비트스트림을 생성하는 동화상 부호화 장치와, 그 동화상 부호화 장치로부터 출력되는 비트스트림을 복호하는 동화상 복호 장치에 대하여 설명한다.

본 실시의 형태 1의 동화상 부호화 장치는, 영상 신호의 공간ㆍ시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 영역으로 분할하여 프레임 내ㆍ프레임간 적응 부호화를 행하는 것을 특징으로 하고 있다.

일반적으로 영상 신호는, 공간ㆍ시간적으로 신호의 복잡함이 국소적으로 변화하는 특성을 갖고 있다. 공간적으로 보면, 어느 특정한 영상 프레임상에서는, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 갖는 패턴도 있고, 인물이나 미세한 텍스쳐를 가진 회화 등 작은 화상 영역 내에서 복잡한 텍스쳐 패턴을 갖는 패턴도 혼재하는 일이 있다.

시간적으로 보더라도, 하늘이나 벽은 국소적으로 시간 방향의 패턴의 변화가 작지만, 움직이는 인물이나 물체는 그 윤곽이 시간적으로 강체ㆍ비강체의 운동을 하기 때문에, 시간적인 변화가 크다.

부호화 처리는, 시간ㆍ공간적인 예측에 의해 신호 전력이나 엔트로피가 작은 예측 오차 신호를 생성하는 것에 의해, 전체의 부호량을 삭감하지만, 예측을 위한 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 해당 파라미터의 부호량을 작게 할 수 있다.

한편, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대하여, 동일한 예측 파라미터를 적용하면, 예측의 오류가 늘어나기 때문에, 예측 오차 신호의 부호량을 삭감할 수 없다.

그래서, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대해서는, 예측 대상의 영역을 작게 하여, 예측을 위한 파라미터의 데이터량을 늘리더라도 예측 오차 신호의 전력ㆍ엔트로피를 저감하는 쪽이 바람직하다.

이와 같은 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 위해, 본 실시의 형태 1의 동화상 부호화 장치에서는, 소정의 최대 블록 사이즈로부터 계층적으로 영상 신호의 영역을 분할하여, 분할 영역마다 예측 처리나, 예측 오차의 부호화 처리를 실시하도록 하고 있다.

본 실시의 형태 1의 동화상 부호화 장치가 처리 대상으로 하는 영상 신호는, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색공간의 컬러 영상 신호 외에, 흑백 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평ㆍ수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호이다.

각 화소의 계조는 8비트이더라도 좋고, 10비트, 12비트 등의 계조이더라도 좋다.

단, 이하의 설명에 있어서는, 특별히 언급하지 않는 한, 입력되는 영상 신호가 YUV 신호인 것으로 한다. 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 서브샘플된 4:2:0 포맷의 신호인 것으로 한다.

또, 영상의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」로 칭하고, 본 실시의 형태 1에서는, 「픽쳐」는 순차 주사(프로그레시브 스캔)된 영상 프레임의 신호로서 설명을 행한다. 단, 영상 신호가 인터레이스 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이더라도 좋다.

도 1은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치를 나타내는 구성도이다.

도 1에 있어서, 부호화 제어부(1)는 인트라 예측 처리(프레임 내 예측 처리) 또는 움직임 보상 예측 처리(프레임간 예측 처리)가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정하는 처리를 실시한다.

또한, 부호화 제어부(1)는 이용 가능한 하나 이상의 부호화 모드(하나 이상의 인트라 부호화 모드, 하나 이상의 인터 부호화 모드) 중에서, 계층적으로 분할되는 각각의 부호화 블록에 적당한 부호화 모드를 선택하는 처리를 실시한다.

또한, 부호화 제어부(1)는 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 사이즈를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 인트라 예측 파라미터 또는 인터 예측 파라미터를 결정하는 처리를 실시한다. 양자화 파라미터 및 변환 블록 사이즈는, 예측 오차 부호화 파라미터에 포함되어, 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13) 등에 출력된다.

또, 부호화 제어부(1)는 부호화 제어 수단을 구성하고 있다.

블록 분할부(2)는 입력 화상을 나타내는 영상 신호를 입력하면, 그 영상 신호가 나타내는 입력 화상을 부호화 제어부(1)에 의해 결정된 최대 사이즈의 부호화 블록으로 분할함과 아울러, 부호화 제어부(1)에 의해 결정된 상한의 계층수에 이르기까지, 그 부호화 블록을 계층적으로 분할하는 처리를 실시한다. 또, 블록 분할부(2)는 블록 분할 수단을 구성하고 있다.

전환 스위치(3)는 부호화 제어부(1)에 의해 선택된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(2)에 의해 분할된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(1)에 의해 선택된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(2)에 의해 분할된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.

인트라 예측부(4)는 전환 스위치(3)로부터 블록 분할부(2)에 의해 분할된 부호화 블록을 받으면, 프레임 내의 부호화 완료된 화상 신호를 이용하여, 부호화 제어부(1)로부터 출력된 인트라 예측 파라미터에 근거하여, 그 부호화 블록에 대한 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다.

단, 인트라 예측부(4)는 상기 예측 화상을 생성한 후, 미리 준비되어 있는 하나 이상의 필터 중에서, 동화상 복호 장치에 있어서 상기 예측 화상과 동일한 예측 화상을 생성한 시점에 기지(旣知)인 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 상기 예측 화상에 대한 필터 처리를 실시하여, 필터 처리 후의 예측 화상을 감산부(6) 및 가산부(9)에 출력한다.

구체적으로는, 상기 각종 파라미터로서 다음의 4개의 파라미터 중 적어도 1개 이상의 파라미터의 상태에 따라 필터를 유일하게 결정한다.

ㆍ파라미터(1)

상기 예측 화상의 블록 사이즈

ㆍ파라미터(2)

부호화 제어부(1)에 의해 결정된 양자화 파라미터

ㆍ파라미터(3)

예측 화상을 생성할 때에 이용하고 있는 프레임 내의 부호화 완료된 화상 신호와 필터 처리 대상 화소의 거리

ㆍ파라미터(4)

부호화 제어부(1)에 의해 결정된 인트라 예측 파라미터

또, 전환 스위치(3) 및 인트라 예측부(4)로 인트라 예측 수단이 구성되어 있다.

움직임 보상 예측부(5)는 블록 분할부(2)에 의해 분할된 부호화 블록에 적당한 부호화 모드로서, 부호화 제어부(1)에 의해 인터 부호화 모드가 선택된 경우, 움직임 보상 예측 프레임 메모리(12)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 부호화 제어부(1)로부터 출력된 인터 예측 파라미터에 근거하여, 그 부호화 블록에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다. 또, 전환 스위치(3) 및 움직임 보상 예측부(5)로 움직임 보상 예측 수단이 구성되어 있다.

감산부(6)는 블록 분할부(2)에 의해 분할된 부호화 블록으로부터, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상을 감산하는 것에 의해, 차분 화상(=부호화 블록-예측 화상)을 생성하는 처리를 실시한다. 또, 감산부(6)는 차분 화상 생성 수단을 구성하고 있다.

변환ㆍ양자화부(7)는 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 감산부(6)에 의해 생성된 차분 화상의 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시함과 아울러, 그 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 변환 계수를 양자화하는 것에 의해, 양자화 후의 변환 계수를 차분 화상의 압축 데이터로서 출력하는 처리를 실시한다. 또, 변환ㆍ양자화부(7)는 화상 압축 수단을 구성하고 있다.

역양자화ㆍ역변환부(8)는 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 국소 복호 예측 오차 신호로서 출력하는 처리를 실시한다.

가산부(9)는 역양자화ㆍ역변환부(8)로부터 출력된 국소 복호 예측 오차 신호와 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산하는 것에 의해, 국소 복호 화상을 나타내는 국소 복호 화상 신호를 생성하는 처리를 실시한다.

인트라 예측용 메모리(10)는 인트라 예측부(4)에 의해 다음번의 인트라 예측 처리에서 이용되는 화상으로서, 가산부(9)에 의해 생성된 국소 복호 화상 신호가 나타내는 국소 복호 화상을 저장하는 RAM 등의 기록 매체이다.

루프 필터부(11)는 가산부(9)에 의해 생성된 국소 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 국소 복호 화상 신호가 나타내는 국소 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(12)에 출력하는 처리를 실시한다.

움직임 보상 예측 프레임 메모리(12)는 움직임 보상 예측부(5)에 의해 다음번의 움직임 보상 예측 처리에서 이용되는 참조 화상으로서, 루프 필터부(11)에 의한 필터링 처리 후의 국소 복호 화상을 저장하는 RAM 등의 기록 매체이다.

가변 길이 부호화부(13)는 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(1)로부터 출력된 부호화 모드 및 예측 오차 부호화 파라미터와, 인트라 예측부(4)로부터 출력된 인트라 예측 파라미터 또는 움직임 보상 예측부(5)로부터 출력된 인터 예측 파라미터를 가변 길이 부호화하여, 그 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 처리를 실시한다. 또, 가변 길이 부호화부(13)는 가변 길이 부호화 수단을 구성하고 있다.

도 2는 본 발명의 실시의 형태 1에 의한 동화상 복호 장치를 나타내는 구성도이다.

도 2에 있어서, 가변 길이 복호부(51)는 비트스트림에 다중화되어 있는 부호화 데이터로부터 계층적으로 분할되어 있는 각각의 부호화 블록에 관계되는 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터를 가변 길이 복호하여, 그 압축 데이터 및 예측 오차 부호화 파라미터를 역양자화ㆍ역변환부(55)에 출력함과 아울러, 그 부호화 모드 및 인트라 예측 파라미터/인터 예측 파라미터를 전환 스위치(52)에 출력하는 처리를 실시한다. 또, 가변 길이 복호부(51)는 가변 길이 복호 수단을 구성하고 있다.

전환 스위치(52)는 가변 길이 복호부(51)로부터 출력된 부호화 블록에 관계되는 부호화 모드가 인트라 부호화 모드인 경우, 가변 길이 복호부(51)로부터 출력된 인트라 예측 파라미터를 인트라 예측부(53)에 출력하고, 그 부호화 모드가 인터 부호화 모드인 경우, 가변 길이 복호부(51)로부터 출력된 인터 예측 파라미터를 움직임 보상 예측부(54)에 출력하는 처리를 실시한다.

인트라 예측부(53)는 프레임 내의 복호 완료된 화상 신호를 이용하여, 전환 스위치(52)로부터 출력된 인트라 예측 파라미터에 근거하여, 부호화 블록에 대한 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다.

단, 인트라 예측부(53)는 상기 예측 화상을 생성한 후, 미리 준비되어 있는 하나 이상의 필터 중에서, 상기 예측 화상을 생성한 시점에 기지인 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 상기 예측 화상에 대한 필터 처리를 실시하여, 필터 처리 후의 예측 화상을 가산부(56)에 출력한다.

구체적으로는, 상기 각종 파라미터로서, 다음의 4개의 파라미터 중 적어도 1개 이상의 파라미터의 상태에 따라 필터를 유일하게 결정한다. 단, 사용하는 파라미터는 상술한 동화상 부호화 장치와 동일한 파라미터로 미리 정하여 둔다. 즉, 동화상 부호화 장치측에서 인트라 예측부(4)가 파라미터(1) 및 파라미터(4)를 이용하여 필터 처리를 행하는 경우, 동화상 복호 장치측도 마찬가지로 인트라 예측부(53)가 파라미터(1) 및 파라미터(4)를 이용하여 필터 처리를 행하도록, 동화상 부호화 장치 및 동화상 복호 장치에서 사용하는 파라미터를 통일한다.

ㆍ파라미터(1)

상기 예측 화상의 블록 사이즈

ㆍ파라미터(2)

가변 길이 복호부(51)에 의해 가변 길이 복호된 양자화 파라미터

ㆍ파라미터(3)

예측 화상을 생성할 때에 이용하고 있는 프레임 내의 복호 완료된 화상 신호와 필터 처리 대상 화소의 거리

ㆍ파라미터(4)

가변 길이 복호부(51)에 의해 가변 길이 복호된 인트라 예측 파라미터

또, 전환 스위치(52) 및 인트라 예측부(53)로 인트라 예측 수단이 구성되어 있다.

움직임 보상 예측부(54)는 움직임 보상 예측 프레임 메모리(59)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 전환 스위치(52)로부터 출력된 인터 예측 파라미터에 근거하여, 부호화 블록에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다. 또, 전환 스위치(52) 및 움직임 보상 예측부(54)로 움직임 보상 예측 수단이 구성되어 있다.

역양자화ㆍ역변환부(55)는 가변 길이 복호부(51)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 가변 길이 복호부(51)로부터 출력된 부호화 블록에 관계되는 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 복호 예측 오차 신호(압축 전의 차분 화상을 나타내는 신호)로서 출력하는 처리를 실시한다. 또, 역양자화ㆍ역변환부(55)는 차분 화상 생성 수단을 구성하고 있다.

가산부(56)는 역양자화ㆍ역변환부(55)로부터 출력된 복호 예측 오차 신호와 인트라 예측부(53) 또는 움직임 보상 예측부(54)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산하는 것에 의해, 복호 화상을 나타내는 복호 화상 신호를 생성하는 처리를 실시한다. 또, 가산부(56)는 복호 화상 생성 수단을 구성하고 있다.

인트라 예측용 메모리(57)는 인트라 예측부(53)에 의해 다음번의 인트라 예측 처리에서 이용되는 화상으로서, 가산부(56)에 의해 생성된 복호 화상 신호가 나타내는 복호 화상을 저장하는 RAM 등의 기록 매체이다.

루프 필터부(58)는 가산부(56)에 의해 생성된 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 복호 화상 신호가 나타내는 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(59)에 출력하는 처리를 실시한다.

움직임 보상 예측 프레임 메모리(59)는 움직임 보상 예측부(54)에 의해 다음번의 움직임 보상 예측 처리에서 이용되는 참조 화상으로서, 루프 필터부(58)에 의한 필터링 처리 후의 복호 화상을 저장하는 RAM 등의 기록 매체이다.

도 1에서는, 동화상 부호화 장치의 구성 요소인 부호화 제어부(1), 블록 분할부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로, 혹은, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 부호화 장치가 컴퓨터로 구성되는 경우, 부호화 제어부(1), 블록 분할부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 처리 내용을 기술하고 있는 프로그램을 해당 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.

도 3은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치의 처리 내용을 나타내는 플로차트이다.

도 2에서는, 동화상 복호 장치의 구성 요소인 가변 길이 복호부(51), 전환 스위치(52), 인트라 예측부(53), 움직임 보상 예측부(54), 역양자화ㆍ역변환부(55), 가산부(56) 및 루프 필터부(58)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로, 혹은, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(51), 전환 스위치(52), 인트라 예측부(53), 움직임 보상 예측부(54), 역양자화ㆍ역변환부(55), 가산부(56) 및 루프 필터부(58)의 처리 내용을 기술하고 있는 프로그램을 해당 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.

도 4는 본 발명의 실시의 형태 1에 의한 동화상 복호 장치의 처리 내용을 나타내는 플로차트이다.

다음으로 동작에 대하여 설명한다.

최초로, 도 1의 동화상 부호화 장치의 처리 내용을 설명한다.

우선, 부호화 제어부(1)는, 인트라 예측 처리(프레임 내 예측 처리) 또는 움직임 보상 예측 처리(프레임간 예측 처리)가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정한다(도 3의 단계 ST1).

부호화 블록의 최대 사이즈를 정하는 방법으로서, 예컨대, 모든 픽쳐에 대하여, 입력 화상의 해상도에 따른 사이즈로 결정하는 방법을 생각할 수 있다.

또한, 입력 화상의 국소적인 움직임의 복잡함의 차이를 파라미터로서 정량화하여 두고, 움직임이 잦은 픽쳐에서는 최대 사이즈를 작은 값으로 결정하고, 움직임이 적은 픽쳐에서는 최대 사이즈를 큰 값으로 결정하는 방법 등을 생각할 수 있다.

상한의 계층수에 대해서는, 예컨대, 입력 화상의 움직임이 잦을수록, 계층수를 깊게 하여, 보다 미세한 움직임을 검출할 수 있도록 설정하고, 입력 화상의 움직임이 적으면, 계층수를 억제하도록 설정하는 방법을 생각할 수 있다.

또한, 부호화 제어부(1)는, 이용 가능한 하나 이상의 부호화 모드(M종류의 인트라 부호화 모드, N종류의 인터 부호화 모드) 중에서, 계층적으로 분할되는 각각의 부호화 블록에 적당한 부호화 모드를 선택한다(단계 ST2).

부호화 제어부(1)에 의한 부호화 모드의 선택 방법은 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예컨대, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.

또한, 부호화 제어부(1)는, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 사이즈를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 인트라 예측 파라미터 또는 인터 예측 파라미터를 결정한다.

부호화 제어부(1)는, 양자화 파라미터 및 변환 블록 사이즈를 포함하는 예측 오차 부호화 파라미터를 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13)에 출력한다. 또한, 예측 오차 부호화 파라미터를 필요에 따라 인트라 예측부(4)에 출력한다.

블록 분할부(2)는, 입력 화상을 나타내는 영상 신호를 입력하면, 그 영상 신호가 나타내는 입력 화상을 부호화 제어부(1)에 의해 결정된 최대 사이즈의 부호화 블록으로 분할함과 아울러, 부호화 제어부(1)에 의해 결정된 상한의 계층수에 이르기까지, 그 부호화 블록을 계층적으로 분할한다.

여기서, 도 5는 최대 사이즈의 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 모습을 나타내는 설명도이다.

도 5의 예에서는, 최대 사이즈의 부호화 블록은, 제 0 계층의 부호화 블록 B⁰이고, 휘도 성분에서 (L⁰, M⁰)의 사이즈를 갖고 있다.

또한, 도 5의 예에서는, 최대 사이즈의 부호화 블록 B⁰을 출발점으로 하여, 사지 트리 구조로, 별도로 정하는 소정의 깊이까지 계층적으로 분할을 행하는 것에 의해, 부호화 블록 Bⁿ을 얻고 있다.

깊이 n에 있어서는, 부호화 블록 Bⁿ은 사이즈 (Lⁿ, Mⁿ)의 화상 영역이다.

단, Lⁿ과 Mⁿ은 같더라도 좋고 다르더라도 좋지만, 도 5의 예에서는 Lⁿ=Mⁿ의 케이스를 나타내고 있다.

이후, 부호화 블록 Bⁿ의 사이즈는, 부호화 블록 Bⁿ의 휘도 성분에 있어서의 사이즈 (Lⁿ, Mⁿ)으로 정의한다.

블록 분할부(2)는, 사지 트리 분할을 행하기 때문에, 항상 (Lⁿ ⁺¹, Mⁿ⁺¹)=(Lⁿ/2, Mⁿ/2)가 성립한다.

단, RGB 신호 등과 같이, 모든 색성분이 동일 샘플수를 갖는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색성분의 사이즈가 (Lⁿ, Mⁿ)이 되지만, 4:2:0 포맷을 처리하는 경우, 대응하는 색차 성분의 부호화 블록의 사이즈는 (Lⁿ/2, Mⁿ/2)이다.

이후, 제 n 계층의 부호화 블록 Bⁿ에서 선택할 수 있는 부호화 모드를 m(Bⁿ)으로 적는다.

복수의 색성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bⁿ)은, 색성분마다, 각각 개별적인 모드를 이용하도록 구성되더라도 좋지만, 이후, 특별히 언급하지 않는 한, YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 하여 설명을 행한다.

부호화 모드 m(Bⁿ)에는, 하나 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」), 하나 내지 복수의 인터 부호화 모드(총칭하여 「INTER」)가 있고, 부호화 제어부(1)는, 상술한 바와 같이, 해당 픽쳐에서 이용 가능한 모든 부호화 모드 내지는, 그 서브셋 중에서, 부호화 블록 Bⁿ에 대하여 가장 부호화 효율이 좋은 부호화 모드를 선택한다.

부호화 블록 Bⁿ은, 도 5에 나타내는 바와 같이, 하나 내지 복수의 예측 처리 단위(파티션)로 더 분할된다.

이후, 부호화 블록 Bⁿ에 속하는 파티션을 P_i ⁿ(i : 제 n 계층에 있어서의 파티션 번호)으로 표기한다.

부호화 블록 Bⁿ에 속하는 파티션 P_i ⁿ의 분할이 어떻게 이루어져 있는지는 부호화 모드 m(Bⁿ) 중에 정보로서 포함된다.

파티션 P_i ⁿ은, 전부 부호화 모드 m(Bⁿ)에 따라서 예측 처리가 행해지지만, 파티션 P_i ⁿ마다, 개별적인 예측 파라미터를 선택할 수 있다.

부호화 제어부(1)는, 최대 사이즈의 부호화 블록에 대하여, 예컨대, 도 6에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록 Bⁿ을 특정한다.

도 6(a)의 빗금 부분은 분할 후의 파티션의 분포를 나타내고, 또한, 도 6(b)는 계층 분할 후의 파티션에 부호화 모드 m(Bⁿ)이 할당되는 상황을 사지 트리 그래프로 나타내고 있다.

도 6(b)에 있어서, 사각형으로 둘러싸여 있는 노드가, 부호화 모드 m(Bⁿ)이 할당된 노드(부호화 블록 Bⁿ)를 나타내고 있다.

전환 스위치(3)는, 부호화 제어부(1)가 각각의 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대하여 최적의 부호화 모드 m(Bⁿ)을 선택하면, 그 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이면(단계 ST3), 블록 분할부(2)에 의해 분할된 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 인트라 예측부(4)에 출력한다.

한편, 그 부호화 모드 m(Bⁿ)이 인터 부호화 모드이면(단계 ST3), 블록 분할부(2)에 의해 분할된 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 움직임 보상 예측부(5)에 출력한다.

인트라 예측부(4)는, 전환 스위치(3)로부터 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 받으면, 프레임 내의 부호화 완료된 화상 신호를 이용하여, 부호화 제어부(1)로부터 출력된 인트라 예측 파라미터에 근거하여, 그 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 프레임 내 예측 처리를 실시하는 것에 의해, 인트라 예측 화상 P_i ⁿ을 생성한다(단계 ST4).

단, 인트라 예측부(4)는, 상기 인트라 예측 화상 P_i ⁿ을 생성한 후, 미리 준비되어 있는 하나 이상의 필터 중에서, 동화상 복호 장치에 있어서 상기 인트라 예측 화상 P_i ⁿ과 동일한 예측 화상을 생성한 시점에 기지인 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 그 인트라 예측 화상 P_i ⁿ에 대한 필터 처리를 실시한다.

인트라 예측부(4)는, 인트라 예측 화상 P_i ⁿ에 대한 필터 처리를 실시하면, 필터 처리 후의 인트라 예측 화상 P_i ⁿ을 감산부(6) 및 가산부(9)에 출력하지만, 도 2의 동화상 복호 장치에서도 같은 인트라 예측 화상 P_i ⁿ을 생성할 수 있도록 하기 위해, 그 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.

인트라 예측부(4)의 처리 내용의 개략은 상기와 같지만, 상세한 처리 내용은 후술한다.

움직임 보상 예측부(5)는, 전환 스위치(3)로부터 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 받으면, 움직임 보상 예측 프레임 메모리(12)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 부호화 제어부(1)로부터 출력된 인터 예측 파라미터에 근거하여, 그 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 인터 예측 화상 P_i ⁿ을 생성한다(단계 ST5).

또, 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 기술은 공지의 기술이기 때문에 상세한 설명을 생략한다.

감산부(6)는, 인트라 예측부(4) 또는 움직임 보상 예측부(5)가 예측 화상(인트라 예측 화상 P_i ⁿ, 인터 예측 화상 P_i ⁿ)을 생성하면, 블록 분할부(2)에 의해 분할된 부호화 블록 Bⁿ의 파티션 P_i ⁿ으로부터, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상(인트라 예측 화상 P_i ⁿ, 인터 예측 화상 P_i ⁿ)을 감산하는 것에 의해 차분 화상을 생성하고, 그 차분 화상을 나타내는 예측 오차 신호 e_i ⁿ을 변환ㆍ양자화부(7)에 출력한다(단계 ST6).

변환ㆍ양자화부(7)는, 감산부(6)로부터 차분 화상을 나타내는 예측 오차 신호 e_i ⁿ을 받으면, 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 그 차분 화상의 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시함과 아울러, 그 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 변환 계수를 양자화하는 것에 의해, 양자화 후의 변환 계수를 차분 화상의 압축 데이터로서 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13)에 출력한다(단계 ST7).

역양자화ㆍ역변환부(8)는, 변환ㆍ양자화부(7)로부터 차분 화상의 압축 데이터를 받으면, 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 국소 복호 예측 오차 신호 e_i ⁿ햇(전자 출원의 관계상, 알파벳 문자에 붙은 「^」를 햇으로 표기한다)으로서 가산부(9)에 출력한다(단계 ST8).

가산부(9)는, 역양자화ㆍ역변환부(8)로부터 국소 복호 예측 오차 신호 e_i ⁿ햇을 받으면, 그 국소 복호 예측 오차 신호 e_i ⁿ햇과, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상(인트라 예측 화상 P_i ⁿ, 인터 예측 화상 P_i ⁿ)을 나타내는 예측 신호를 가산하는 것에 의해, 국소 복호 파티션 화상 P_i ⁿ햇 내지는 그 모임으로서의 국소 복호 부호화 블록 화상인 국소 복호 화상을 생성한다(단계 ST9).

가산부(9)는, 국소 복호 화상을 생성하면, 그 국소 복호 화상을 나타내는 국소 복호 화상 신호를 인트라 예측용 메모리(10)에 저장함과 아울러, 그 국소 복호 화상 신호를 루프 필터부(11)에 출력한다.

단계 ST3~ST9의 처리는, 계층적으로 분할된 모든 부호화 블록 Bⁿ에 대한 처리가 완료하기까지 반복하여 실시되고, 모든 부호화 블록 Bⁿ에 대한 처리가 완료하면 단계 ST12의 처리로 이행한다(단계 ST10, ST11).

가변 길이 부호화부(13)는, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(1)로부터 출력된 부호화 모드(부호화 블록의 분할 상태를 나타내는 정보를 포함한다) 및 예측 오차 부호화 파라미터와, 인트라 예측부(4)로부터 출력된 인트라 예측 파라미터 또는 움직임 보상 예측부(5)로부터 출력된 인터 예측 파라미터를 엔트로피 부호화한다.

가변 길이 부호화부(13)는, 엔트로피 부호화의 부호화 결과인 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터의 부호화 데이터를 다중화하여 비트스트림을 생성한다(단계 ST12).

루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상 신호를 받으면, 그 국소 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 국소 복호 화상 신호가 나타내는 국소 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(12)에 저장한다(단계 ST13).

루프 필터부(11)에 의한 필터링 처리는, 가산부(9)로부터 출력되는 국소 복호 화상 신호의 최대 부호화 블록 혹은 개개의 부호화 블록 단위로 행하더라도 좋고, 복수의 최대 부호화 블록을 합친 단위로 행하거나, 1픽쳐분의 국소 복호 화상 신호가 출력된 후에 1픽쳐분 합쳐 행하거나 하더라도 좋다.

다음으로, 인트라 예측부(4)의 처리 내용을 상세히 설명한다.

도 7은 부호화 블록 Bⁿ 내의 각 파티션 P_i ⁿ에 있어서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.

도 7의 예에서는, 인트라 예측 모드와, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있고, 선택 가능한 인트라 예측 모드의 개수가 늘어남에 따라서, 예측 방향 벡터끼리의 상대 각도가 작아지도록 설계하고 있다.

인트라 예측부(4)는, 파티션 P_i ⁿ에 대한 인트라 예측 파라미터나, 인트라 예측 화상 P_i ⁿ의 생성에 사용하는 필터의 선택 파라미터에 근거하여, 파티션 P_i ⁿ에 대한 인트라 예측 처리를 실시한다.

이하, 파티션 P_i ⁿ의 휘도 신호에 대한 인트라 예측 파라미터(인트라 예측 모드)에 근거하여, 휘도 신호의 인트라 예측 신호를 생성하는 인트라 처리에 대하여 설명한다.

여기서는, 파티션 P_i ⁿ의 사이즈를 l_i ⁿ×m_i ⁿ 화소로 한다.

도 8은 l_i ⁿ=m_i ⁿ=4일 때, 파티션 P_i ⁿ 내의 화소의 예측치를 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.

도 8에서는, 파티션 P_i ⁿ에 인접하는 부호화 완료된 위쪽 파티션의 화소 (2×l_i ⁿ+1)개와 왼쪽 파티션의 화소 (2×m_i ⁿ)개를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 8에 나타내는 화소보다, 많더라도 적더라도 좋다.

또한, 도 8에서는, 인접하는 1행 또는 1열분의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 혹은 그 이상의 화소를 예측에 이용하더라도 좋다.

파티션 P_i ⁿ에 대한 인트라 예측 모드의 인덱스값이 2(평균치 예측)인 경우에는, 위쪽 파티션의 인접 화소와 왼쪽 파티션의 인접 화소의 평균치를 파티션 P_i ⁿ 내의 모든 화소의 예측치로 하여 중간 예측 화상을 생성한다.

인트라 예측 모드의 인덱스값이 2(평균치 예측) 이외인 경우에는, 인덱스값이 나타내는 예측 방향 벡터 v_p=(dx, dy)에 근거하여, 파티션 P_i ⁿ 내의 화소의 예측치를 생성한다.

단, 예측치를 생성하는 화소(예측 대상 화소)의 파티션 P_i ⁿ 내의 상대 좌표(파티션의 왼쪽 위의 화소를 원점으로 한다)를 (x, y)로 한다.

예측에 이용하는 참조 화소의 위치는, 하기에 나타내는 A와 인접 화소의 교점이 된다.

참조 화소가 정수 화소 위치에 있는 경우는, 그 정수 화소를 예측 대상 화소의 예측치로 한다.

한편, 참조 화소가 정수 화소 위치에 없는 경우는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측치로 한다.

도 8의 예에서는, 참조 화소가 정수 화소 위치에 없으므로, 참조 화소에 인접하는 2화소로부터 내삽하여 예측치를 산출한다. 단, 예측치는 인접하는 2화소로 한하는 것은 아니고, 인접하는 2화소 이상의 화소로부터 보간 화소를 생성하여 예측치로 하더라도 좋다.

그리고, 상기 수순에 의해 생성된 파티션 P_i ⁿ 내의 예측치로 구성되는 중간 예측 화상에 대하여 후술하는 필터 처리를 행하는 것에 의해, 최종적인 인트라 예측 화상 P_i ⁿ을 취득하고, 그 인트라 예측 화상 P_i ⁿ을 감산부(6) 및 가산부(9)에 출력한다.

또한, 인트라 예측 화상 P_i ⁿ의 생성에 이용된 인트라 예측 파라미터는, 비트스트림에 다중화하기 위해 가변 길이 부호화부(13)에 출력한다.

이하, 구체적인 필터 처리에 대하여 설명한다.

미리 준비되어 있는 적어도 하나 이상의 필터 중에서, 사용할 필터를 후술하는 수법으로 선택하고, 중간 예측 화상의 각 화소에 대하여, 하기의 식(1)에 따라서 필터 처리를 행한다.

식(1)에 있어서, a_n(n=0, 1, …, N)은, 참조 화소에 관계되는 계수(a₀, a₁, …, a_N _-1)와 오프셋 계수 a_N으로 구성되는 필터 계수이다.

p_n(n=0, 1, …, N-1)은, 필터 처리 대상 화소 p₀을 포함하는 필터의 참조 화소를 나타내고 있다. N은 임의의 참조 화소수이다.

s(p_n)은 각 참조 화소의 휘도치, s햇(p₀)은 필터 처리 대상 화소 p₀에 있어서의 필터 처리 후의 휘도치를 나타내고 있다.

단, 필터 계수는 오프셋 계수 a_N이 없는 것으로 하여 구성하더라도 좋다. 또한, 파티션 P_i ⁿ 내에 있는 각 참조 화소의 휘도치 s(p_n)에 대해서는, 중간 예측 화상의 각 화소의 휘도치로 하더라도 좋고, 필터 처리 완료된 화소 위치만 필터 처리 후의 휘도치로 하도록 하더라도 좋다.

파티션 P_i ⁿ의 밖이 되는 각 참조 화소의 휘도치 s(p_n)에 대해서는, 부호화 완료된 영역이면, 부호화 후의 휘도치(복호되는 휘도치), 아직 부호화가 행해지고 있지 않는 영역이면, 상기에서 정의한 파티션 P_i ⁿ 내에 있는 각 참조 화소의 휘도치 s(p_n) 및 부호화 완료된 영역의 부호화 후의 휘도치 중에서, 소정의 수순으로 대용하는 신호치를 선택한다(예컨대, 후보가 되는 화소 중에서, 가장 가까운 위치에 있는 신호치를 선택하는 등).

도 9는 N=5인 경우의 참조 화소 배치의 일례를 나타내는 설명도이다.

상기 필터 처리를 행할 때, 파티션 P_i ⁿ의 사이즈 (l_i ⁿ×m_i ⁿ)이 클수록, 입력 화상에 비직선적인 에지 등이 존재하기 쉬워지고, 중간 예측 화상의 예측 방향과의 어긋남이 생기기 쉽기 때문에, 중간 예측 화상을 평활화하는 쪽이 바람직하다.

또한, 예측 오차의 양자화치가 클수록, 복호 화상에 생기는 양자화 왜곡이 커지고, 파티션 P_i ⁿ에 인접하고 있는 부호화 완료된 화소로부터 생성된 중간 예측 화상의 예측 정밀도가 낮아지기 때문에, 파티션 P_i ⁿ을 대략적으로 표현하는 평활화한 예측 화상을 준비하는 쪽이 바람직하다.

또한, 같은 파티션 P_i ⁿ 내의 화소이더라도, 중간 예측 화상의 생성에 이용하는 파티션 P_i ⁿ에 인접하는 부호화 완료된 화소로부터 먼 화소일수록, 중간 예측 화상과 입력 화상의 사이에 에지 등의 어긋남이 생기기 쉽기 때문에, 예측 화상을 평활화하여, 어긋남이 생겼을 때의 급격한 예측 오차의 증가를 억제하도록 하는 쪽이 좋다.

또한, 중간 예측 화상을 생성할 때의 인트라 예측은, 예측 블록 내의 예측치가 전부 같은 값이 되는 평균치 예측과 예측 방향 벡터 v_p를 이용하는 예측의 2종류의 다른 수법 중 어느 한쪽의 수법으로부터 예측하도록 구성되어 있고, 또한 예측 방향 벡터 v_p를 이용하는 예측의 경우에 있어서도, 정수 화소 위치에 있는 참조 화소의 값을 그대로 예측치로 하고 있는 화소와, 적어도 2화소 이상의 참조 화소로부터 내삽하여 정수 화소 위치에 없는 화소를 생성하고, 그 화소치를 예측치로 하고 있는 화소의 예측 블록 내의 배치가 예측 방향 벡터 v_p의 방향에 따라 다르다. 따라서, 인트라 예측 모드에 따라 예측 화상의 성질이 다르고, 최적의 필터 처리도 다르기 때문에, 인트라 예측 모드의 인덱스값에 따라서도 필터의 강도나, 필터의 참조 화소수, 참조 화소 배치 등을 변경하는 쪽이 좋다.

따라서, 필터 선택 처리에서는, 하기의 4개의 파라미터(1)~(4)를 고려하여, 필터를 선택하도록 구성한다.

(1) 파티션 P_i ⁿ의 사이즈(l_i ⁿ×m_i ⁿ)

(2) 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터

(3) 중간 예측 화상의 생성시에 사용하는 부호화 완료된 화소(도 8에 나타내는 "예측에 이용하는 화소")군과 필터 처리 대상 화소의 거리

(4) 중간 예측 화상을 생성했을 때의 인트라 예측 모드의 인덱스값

구체적으로는, 파티션 P_i ⁿ의 사이즈 (l_i ⁿ×m_i ⁿ)이 클수록, 양자화 파라미터에 의해 정해지는 양자화치가 클수록, 필터 처리 대상 화소와 파티션 P_i ⁿ의 왼쪽 및 위쪽에 있는 부호화 완료된 화소군의 거리가 떨어질수록, 평활화의 강도가 강한 필터나 참조 화소수가 많은 필터를 이용하도록 구성한다. 필터 처리 대상 화소와 파티션 P_i ⁿ의 왼쪽 및 위쪽에 있는 부호화 완료된 화소군의 거리의 일례로서는 도 11을 들 수 있다. 또한, 인트라 예측 모드의 인덱스값에 의해서도 필터의 강도나, 필터의 참조 화소수, 참조 화소 배치 등을 전환하도록 구성한다.

즉, 상기 파라미터의 조합의 각각에 대하여, 미리 준비한 필터군 중에서 적절한 필터의 대응화를 하여 두는 것에 의해, 상기 파라미터에 따른 필터의 적응 선택을 실현한다. 또한, 예컨대, 파라미터(3)과 파라미터(4)를 조합할 때에, 파라미터(3)의 "부호화 완료된 화소군과의 거리"의 정의를, 파라미터(4)의 "인트라 예측 모드"에 따라 적응적으로 변경하도록 하더라도 좋다. 즉, 부호화 완료된 화소군과의 거리의 정의를 도 11과 같이 고정화하는 것이 아니고, 도 8에 나타내는 "참조 화소"로부터의 거리와 같은 예측 방향에 의존하는 거리로 하더라도 좋다. 이와 같이 하는 것에 의해, 파라미터(3)과 파라미터(4)와 같은 복수의 파라미터의 관계도 고려한 적응적인 필터 처리를 실현할 수 있다.

또한, 이들 파라미터의 조합 중, "필터 처리 없음"과 대응화하여, 필터 처리를 실시하지 않는 조합을 준비하더라도 좋다. 또한, 필터의 강도의 정의로서, 가장 약한 필터를 "필터 처리 없음"으로 정의하더라도 좋다.

또한, 4개의 파라미터(1)~파라미터(4)는 동화상 복호 장치측에서도 기지의 파라미터인 것으로부터, 상기 필터 처리를 행하기 위해 필요한 부호화해야 할 부가 정보는 일절 발생하지 않는다.

또, 상기 설명에서는, 필요한 수의 필터를 미리 준비하여 적응 선택하는 것에 의해, 필터의 전환을 행하고 있지만, 상기 필터 선택 파라미터의 값에 따라 필터가 산출되도록 필터를 상기 필터 선택 파라미터의 함수로서 정의하는 것에 의해, 필터의 전환을 실현하도록 하더라도 좋다.

또한, 상기 설명에서는, 4개의 파라미터(1)~파라미터(4)를 고려하여, 필터를 선택하도록 구성하는 것을 나타냈지만, 4개의 파라미터(1)~파라미터(4) 중, 적어도 1개 이상의 파라미터를 고려하여, 필터를 선택하도록 구성하더라도 좋다.

이하, 파라미터(1) 및 파라미터(4)를 이용한 경우를 예로 하여, 파라미터의 조합의 각각에 대하여 미리 준비한 필터군 중에서 적절한 필터를 대응화하여 두는 것에 의해 필터의 적응 선택을 행하는 필터 처리의 구성예를 나타낸다.

상기 필터 처리예에서 사용하는 필터를 하기와 같이 정의한다.

필터 인덱스 1의 필터(참조 화소수 N=3) :

a₀=3/4, a₁=1/8, a₂=1/8

필터 인덱스 2의 필터(참조 화소수 N=3) :

a₀=1/2, a₁=1/4, a₂=1/4

필터 인덱스 3의 필터(참조 화소수 N=3) :

a₀=1/4, a₁=3/8, a₂=3/8

필터 인덱스 4의 필터(참조 화소수 N=5) :

a₀=1/4, a₁=3/16, a₂=3/16, a₃=3/16, a₄=3/16

단, 필터 처리는 오프셋 계수 a_N이 없는 것(a_N=0)으로 한 경우의 식(1)에 근거하는 것으로 하고, 이번에 사용하는 필터의 종류는 3종류, 필터의 참조 화소 배치는 도 12에 나타내는 바와 같이 한다.

다음으로, 도 13은 파티션 P_i ⁿ의 사이즈마다의 각 인트라 예측 모드에서 사용하는 필터를 나타내는 테이블의 일례를 나타내는 설명도이다. 단, 취할 수 있는 P_i ⁿ의 사이즈는 4×4 화소, 8×8 화소, 16×16 화소, 32×32 화소, 64×64 화소로 하고, 인트라 예측 모드의 인덱스값과 인트라 예측 방향의 대응은 도 7과 같이 한다.

또한, 필터 인덱스 0은 필터 처리를 행하지 않는 것을 나타내고 있다. 일반적으로 방향성 예측이나 평균치 예측을 이용하는 경우, 하기의 경향이 있기 때문에, 도 13에 나타내는 테이블과 같이, 인트라 예측에 있어서의 화상의 특성을 고려하여, 파라미터(1) 및 파라미터(4)의 조합마다, 어느 필터를 이용하는지를 테이블로 대응화하여 두는 것에 의해, 테이블 참조에 의한 적절한 필터 전환을 실현할 수 있다.

ㆍ일반적으로 건물 등의 인공물에 많이 존재하는 수평ㆍ수직 방향의 에지는 선형이고 뚜렷한 것이 많기 때문에, 수평ㆍ수직 방향 예측에 의해 정밀한 예측을 행할 수 있는 경우가 많다. 따라서, 수평ㆍ수직 방향 예측을 할 때는 평활화 처리를 하지 않는 쪽이 좋다.

ㆍ일반적으로 화상 신호는 공간 방향으로 연속성이 높은 신호이기 때문에, 파티션 P_i ⁿ에 인접하는 부호화 완료된 화소와의 연속성이 손상되는 평균치 예측을 이용할 때에는, 파티션 P_i ⁿ의 왼쪽 및 위쪽의 블록 경계부 주변의 화소에 대하여 평활화 처리를 행하고, 연속성을 높이도록 하는 쪽이 좋다.

ㆍ경사 방향의 방향성을 갖는 영역은, 면적이 클수록, 에지 등이 비뚤어져 비선형의 형상을 갖는 경우가 많기 때문에, 경사 방향 예측을 이용할 때는 파티션 사이즈가 클수록, 평활화 강도가 강하고, 참조 화소수가 많은 필터를 작용시키도록 하는 쪽이 좋다.

ㆍ일반적으로 파티션 사이즈가 너무 커지면, 파티션 내의 신호치의 공간적 변화가 다양하게 되고, 방향성 예측이나 평균치 예측에서는 매우 대략적인 예측밖에 행할 수 없어, 정밀한 예측이 곤란한 영역이 증가한다. 그와 같은 영역에서는, 평활화 처리를 행하여 화상을 흐리게 한 것만으로는 예측 효율의 개선 효과를 기대할 수 없기 때문에, 그와 같은 파티션 사이즈에서는, 필터 처리를 실시하지 않도록 하는 쪽이 불필요하게 연산량을 늘리지 않으므로 좋다(예컨대, 도 13에서는, 32×32 화소 이상의 파티션 사이즈에서는 필터 처리를 행하지 않도록 설정하고 있다).

또한, 필터를 처리할 때의 참조 화소가 파티션 P_i ⁿ 내의 화소일 때에는 중간 예측 화상의 휘도치를 참조 화소의 휘도치로서 이용하도록 한 경우, 필터 처리를 간략화할 수 있는 경우가 있다. 예컨대, 인트라 예측 모드가 평균치 예측이었던 경우, 파티션 P_i ⁿ에 대한 필터 처리를 도 14에 나타내는 영역마다 하기의 필터 처리로 간략화할 수 있다.

ㆍ영역 A(파티션 P_i ⁿ의 왼쪽 위의 화소)

필터 인덱스 1의 필터(변경 없음) :

a₀=3/4, a₁=1/8, a₂=1/8(참조 화소수 N=3)

필터 인덱스 2의 필터(변경 없음) :

a₀=1/2, a₁=1/4, a₂=1/4(참조 화소수 N=3)

필터 인덱스 3의 필터(변경 없음) :

a₀=1/4, a₁=3/8, a₂=3/8(참조 화소수 N=3)

필터 인덱스 4의 필터 :

a₀=5/8, a₁=3/16, a₂=3/16(참조 화소수 N=3)

ㆍ영역 B(영역 A 이외의 파티션 P_i ⁿ의 상단의 화소)

필터 인덱스 1의 필터 :

a₀=7/8, a₂=1/8(참조 화소수 N=2)

필터 인덱스 2의 필터 :

a₀=3/4, a₂=1/4(참조 화소수 N=2)

필터 인덱스 3의 필터 :

a₀=5/8, a₂=3/8(참조 화소수 N=2)

필터 인덱스 4의 필터 :

a₀=13/16, a₂=3/16(참조 화소수 N=2)

ㆍ영역 C(영역 A 이외의 파티션 P_i ⁿ의 좌단의 화소)

필터 인덱스 1의 필터 :

a₀=7/8, a₁=1/8(참조 화소수 N=2)

필터 인덱스 2의 필터 :

a₀=3/4, a₁=1/4(참조 화소수 N=2)

필터 인덱스 3의 필터 :

a₀=5/8, a₁=3/8(참조 화소수 N=2)

필터 인덱스 4의 필터 :

a₀=13/16, a₁=3/16(참조 화소수 N=2)

ㆍ영역 D(영역 A, B, C 이외의 파티션 P_i ⁿ의 화소)

모든 필터 인덱스의 필터 :

필터 처리 없음

상기와 같이 필터 처리를 간략화하더라도 간략화 전과 필터 처리 결과는 동일하다.

이와 같이 실제의 처리의 용장(冗長)한 부분을 제거하는 것에 의해, 필터 처리의 고속화를 도모할 수 있다.

상술한 예에서는 도 13의 테이블을 이용했지만, 그 밖의 테이블을 이용하더라도 좋다. 예컨대, 부호화 성능의 개선 효과의 크기보다 처리량을 억제하는 것을 중시하는 경우, 도 13의 테이블 대신 도 19의 테이블을 이용하는 것도 생각할 수 있다. 이 테이블의 경우, 파티션 P_i ⁿ의 사이즈가 4×4 화소, 8×8 화소, 16×16 화소인 평균치 예측에만 필터 처리를 행하도록 하고 있기 때문에, 도 13의 테이블을 이용하는 경우보다 필터 처리를 행하는 예측 모드가 적고, 필터 처리에 따르는 연산량의 증가를 억제할 수 있다. 이때, 상술한 인트라 예측 모드가 평균치 예측인 경우의 필터 처리의 간략화도 이용하는 것에 의해, 매우 처리 부하가 낮은 필터 처리를 실현할 수 있다.

또한, 실장의 용이성도 중시하는 경우는, 상기 필터 처리와 마찬가지로 평균치 예측의 경우만 필터 처리하는 것으로 하고, 또한 사용하는 필터를 파티션 P_i ⁿ의 사이즈에 따라 전환하지 않고서, 항상 같은 필터(예컨대, 필터 인덱스 2의 필터)를 이용하도록 하더라도 좋다. 그 경우, 파티션 P_i ⁿ의 사이즈에 따른 처리를 행하지 않는 만큼, 필터에 의한 부호화 성능의 개선 효과는 저하하지만, 실장할 때의 회로 규모(소프트웨어의 경우는 코드의 라인수)를 억제할 수 있다. 본 필터 처리는 4개의 파라미터(1)~파라미터(4) 중, 파라미터(4)만을 고려한 필터가 된다.

필터 처리의 실장의 형태로서는, 테이블 참조에 의해 대응하는 필터 인덱스의 필터를 선택하는 형태로 실장되어 있지 않더라도, 파티션 P_i ⁿ의 사이즈마다 실행하는 필터 처리가 직접 실장되어 있거나, 혹은, 파티션 P_i ⁿ의 각 사이즈의 화소 위치마다 실행하는 필터 처리가 직접 실장되어 있는 것처럼 직접 필터가 실장되어 있는 형태이더라도 좋다. 이와 같이, 테이블을 참조하는 형태가 아니더라도 필터 처리를 행한 결과 얻어지는 예측 화상이 등가이면 실장의 형태는 상관없다.

또한, 앞서 말한 예에서는, 필터를 전환하기 위한 테이블을 하나만 이용하는 수법을 설명했지만, 상기 테이블을 복수 준비하여, 도 15~도 18 중 어느 하나의 형태로, 필터 선택 테이블 인덱스(100)를 헤더 정보로서 부호화하도록 구성하는 것에 의해, 필터 선택 테이블을 소정의 단위로 전환하도록 하더라도 좋다.

예컨대, 도 15에 나타내는 바와 같이, 필터 선택 테이블 인덱스(100)를 시퀀스 레벨 헤더에 더하는 것에 의해, 단일 테이블밖에 사용하지 않는 경우보다, 시퀀스의 특성에 따른 필터 처리가 가능하게 된다.

또, 앞서 설명한 MPEG-4 AVC/H.264에 있어서의 8×8 화소의 블록의 인트라 예측시에 참조 화상에 대하여 실시되는 평활화 처리와 마찬가지로, 인트라 예측부(4)에 있어서 파티션 P_i ⁿ의 중간 예측 화상을 생성할 때의 참조 화소를, 파티션 P_i ⁿ에 인접하는 부호화 완료된 화소를 평활화 처리한 화소로 하도록 구성한 경우에도, 상술한 예와 같은 중간 예측 화상에 대한 필터 처리를 행할 수 있다.

한편, 중간 예측 화상을 생성할 때의 참조 화소에 대한 평활화 처리와, 중간 예측 화상에 대한 필터 처리에 의한 효과는 중복하는 부분이 있기 때문에, 양쪽 처리를 동시에 이용하더라도 어느 한쪽의 처리를 행한 경우와 비교하여 약간의 성능 개선 효과밖에 얻을 수 없는 일이 있다. 따라서, 연산량을 억제하는 것을 중시하는 경우, 중간 예측 화상을 생성할 때의 참조 화소에 대한 평활화 처리를 행하고 있는 파티션 P_i ⁿ에 대해서는 중간 예측 화상에 대한 필터 처리를 행하지 않도록 구성하더라도 좋다. 예컨대, 중간 예측 화상에 대한 필터 처리는 도 19의 테이블과 같이 평균치 예측에만 필터 처리를 행하도록 하고, 중간 예측 화상을 생성할 때의 참조 화소에 대한 평활화 처리는 도 20과 같은 특정한 방향성 예측만 평활화 처리를 행하는 테이블을 참조하여 행하도록 하는 것을 생각할 수 있다. 단, 도 20에 있어서 '1'은 평활화 처리를 행하는 것을, '0'은 평활화 처리를 행하지 않는 것을 나타내고 있다.

인트라 예측 화상 P_i ⁿ의 생성에 이용된 인트라 예측 파라미터는, 비트스트림에 다중화하기 위해 가변 길이 부호화부(13)에 출력한다.

파티션 P_i ⁿ 내의 색차 신호에 대해서도, 휘도 신호와 같은 수순으로, 인트라 예측 파라미터(인트라 예측 모드)에 근거하는 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.

단, 색차 신호의 인트라 예측에 대해서는 상기에서 설명한 필터 처리를, 휘도 신호와 마찬가지로 행하는 것으로 하여 구성하더라도 좋고, 행하지 않는 것으로 하여 구성하더라도 좋다.

다음으로, 도 2의 동화상 복호 장치의 처리 내용을 설명한다.

가변 길이 복호부(51)는, 도 1의 화상 부호화 장치로부터 출력된 비트스트림을 입력하면, 그 비트스트림에 대한 가변 길이 복호 처리를 실시하여, 1프레임 이상의 픽쳐로 구성되는 시퀀스 단위 혹은 픽쳐 단위로 프레임 사이즈의 정보를 복호한다(도 4의 단계 ST21).

가변 길이 복호부(51)는, 도 1의 부호화 제어부(1)와 같은 수순으로, 인트라 예측 처리(프레임 내 예측 처리) 또는 움직임 보상 예측 처리(프레임간 예측 처리)가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정한다(단계 ST22).

예컨대, 화상 부호화 장치에 있어서, 부호화 블록의 최대 사이즈가, 입력 화상의 해상도에 따라 결정되고 있는 경우, 앞서 복호하고 있는 프레임 사이즈 정보에 근거하여 부호화 블록의 최대 사이즈를 결정한다.

또, 부호화 블록의 최대 사이즈 및 상한의 계층수를 나타내는 정보가 비트스트림에 다중화되어 있는 경우에는, 그 비트스트림으로부터 복호한 정보를 참조한다.

비트스트림에 다중화되어 있는 최대 사이즈의 부호화 블록 B⁰의 부호화 모드 m(B⁰)에는, 최대 사이즈의 부호화 블록 B⁰의 분할 상태를 나타내는 정보가 포함되어 있으므로, 가변 길이 복호부(51)는, 비트스트림에 다중화되어 있는 최대 사이즈의 부호화 블록 B⁰의 부호화 모드 m(B⁰)을 복호하여, 계층적으로 분할되어 있는 각각의 부호화 블록 Bⁿ을 특정한다(단계 ST23).

가변 길이 복호부(51)는, 각각의 부호화 블록 Bⁿ을 특정하면, 그 부호화 블록 Bⁿ의 부호화 모드 m(Bⁿ)을 복호하고, 그 부호화 모드 m(Bⁿ)에 속하고 있는 파티션 P_i ⁿ의 정보에 근거하여, 부호화 블록 Bⁿ에 속하고 있는 파티션 P_i ⁿ을 특정한다.

가변 길이 복호부(51)는, 부호화 블록 Bⁿ에 속하고 있는 파티션 P_i ⁿ을 특정하면, 파티션 P_i ⁿ마다, 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터를 복호한다(단계 ST24).

즉, 부호화 블록 Bⁿ에 할당된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드인 경우, 부호화 블록에 속하고 있는 파티션 P_i ⁿ마다 인트라 예측 파라미터를 복호한다.

부호화 블록 Bⁿ에 할당된 부호화 모드 m(Bⁿ)이 인터 부호화 모드인 경우, 부호화 블록에 속하고 있는 파티션 P_i ⁿ마다 인터 예측 파라미터를 복호한다.

예측 처리 단위가 되는 파티션은, 또한 예측 오차 부호화 파라미터에 포함되는 변환 블록 사이즈 정보에 근거하여, 변환 처리 단위가 되는 하나 내지 복수의 파티션으로 분할되고, 변환 처리 단위가 되는 파티션마다 압축 데이터(변환ㆍ양자화 후의 변환 계수)를 복호한다.

전환 스위치(52)는, 가변 길이 복호부(51)로부터 부호화 블록 Bⁿ에 속하고 있는 파티션 P_i ⁿ의 부호화 모드 m(Bⁿ)이 인트라 부호화 모드인 경우(단계 ST25), 가변 길이 복호부(51)로부터 출력된 인트라 예측 파라미터를 인트라 예측부(53)에 출력한다.

한편, 파티션 P_i ⁿ의 부호화 모드 m(Bⁿ)이 인터 부호화 모드인 경우(단계 ST25), 가변 길이 복호부(51)로부터 출력된 인터 예측 파라미터를 움직임 보상 예측부(54)에 출력한다.

인트라 예측부(53)는, 전환 스위치(52)로부터 인트라 예측 파라미터를 받으면, 도 1의 인트라 예측부(4)와 마찬가지로, 프레임 내의 복호 완료된 화상 신호를 이용하여, 그 인트라 예측 파라미터에 근거하여, 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상 P_i ⁿ을 생성한다(단계 ST26).

단, 인트라 예측부(53)는, 상기 인트라 예측 화상 P_i ⁿ의 생성 후, 도 1의 인트라 예측부(4)와 동일한 수법으로, 미리 준비되어 있는 하나 이상의 필터 중에서, 상기 인트라 예측 화상 P_i ⁿ을 생성한 시점에 기지인 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 그 인트라 예측 화상 P_i ⁿ에 대한 필터 처리를 실시하여, 필터 처리 후의 인트라 예측 화상 P_i ⁿ을 최종적인 인트라 예측 화상으로 하고 있다.

즉, 인트라 예측부(4)에 있어서의 필터 선택에 사용하는 파라미터와 동일한 파라미터를 이용하여, 인트라 예측부(4)에 있어서의 필터 선택 수법과 동일한 수법으로 필터를 선택하고, 필터 처리를 행한다.

예컨대, 인트라 예측부(4)가, 필터 처리를 행하지 않는 경우를 필터 인덱스 0, 미리 준비한 4개의 필터를 각각 필터 인덱스 1에서 필터 인덱스 4에 대응화하여 도 13의 테이블을 참조하여 필터 처리를 행하는 경우, 인트라 예측부(53)도 인트라 예측부(4)와 동일한 필터와 필터 인덱스를 정의하고, 도 13의 테이블을 참조하는 것에 의해 파티션 P_i ⁿ의 사이즈 및 인트라 예측 파라미터인 인트라 예측 모드의 인덱스에 의한 필터 선택을 행하고, 필터 처리를 행하도록 구성한다.

또한, 상술한 예와 같이, 파라미터의 조합 단위에 사용하는 필터를 정의하는 테이블을 준비하고, 그 테이블을 참조하는 것에 의해 필터의 전환을 실현하는 경우, 도 15~도 18 중 어느 하나의 형태로 필터 선택 테이블 인덱스(100)가 헤더 정보로서 복호되고, 미리 준비된 동화상 부호화 장치와 동일한 테이블군 중에서, 복호된 필터 선택 테이블 인덱스(100)가 나타내는 테이블을 선택하고, 그 테이블을 참조하여 필터의 선택을 행하도록 구성하더라도 좋다.

움직임 보상 예측부(54)는, 전환 스위치(52)로부터 인터 예측 파라미터를 받으면, 움직임 보상 예측 프레임 메모리(59)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 그 인터 예측 파라미터에 근거하여, 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 인터 예측 화상 P_i ⁿ을 생성한다(단계 ST27).

역양자화ㆍ역변환부(55)는, 가변 길이 복호부(51)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 가변 길이 복호부(51)로부터 출력된 부호화 블록에 관계되는 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 복호 예측 오차 신호(압축 전의 차분 화상을 나타내는 신호)로서 가산부(56)에 출력한다(단계 ST28).

가산부(56)는, 역양자화ㆍ역변환부(55)로부터 복호 예측 오차 신호를 받으면, 그 복호 예측 오차 신호와 인트라 예측부(53) 또는 움직임 보상 예측부(54)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산하는 것에 의해 복호 화상을 생성하여, 그 복호 화상을 나타내는 복호 화상 신호를 인트라 예측용 메모리(57)에 저장함과 아울러, 그 복호 화상 신호를 루프 필터부(58)에 출력한다(단계 ST29).

단계 ST23~ST29의 처리는, 계층적으로 분할된 모든 부호화 블록 Bⁿ에 대한 처리가 완료하기까지 반복하여 실시된다(단계 ST30).

루프 필터부(58)는, 가산부(56)로부터 복호 화상 신호를 받으면, 그 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 복호 화상 신호가 나타내는 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(59)에 저장한다(단계 ST31).

루프 필터부(58)에 의한 필터링 처리는, 가산부(56)로부터 출력되는 복호 화상 신호의 최대 부호화 블록 혹은 개개의 부호화 블록 단위로 행하더라도 좋고, 1화면분의 매크로 블록에 상당하는 복호 화상 신호가 출력된 후에 1화면분 합쳐 행하더라도 좋다.

이상에서 분명하듯이, 본 실시의 형태 1에 의하면, 동화상 부호화 장치의 인트라 예측부(4)가 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 관계되는 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 구성했으므로, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질을 높일 수 있는 효과를 이룬다.

또한, 본 실시의 형태 1에 의하면, 인트라 예측부(4)가, (1) 파티션 P_i ⁿ의 사이즈(l_i ⁿ×m_i ⁿ), (2) 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터, (3) 중간 예측 화상을 생성할 때에 사용하는 부호화 완료된 화소군과 필터 처리 대상 화소의 거리, (4) 중간 예측 화상을 생성했을 때의 인트라 예측 모드의 인덱스값 중에서, 적어도 1개 이상의 파라미터를 고려하여, 필터를 선택하도록 구성했으므로, 방향성 예측을 행했을 때에 부호화 대상 화상의 에지가 약간 비선형으로 비뚤어져 있거나, 각도가 어긋나 있거나 하는 것에 의해 생기는 국소적인 예측 오차나, 평균치 예측을 행했을 때에 인접하는 부호화 완료된 신호와의 연속성을 잃는 것에 의해 생기는 블록의 경계 부분의 예측 오차를 억제하는 효과를 얻을 수 있고, 예측 효율을 개선할 수 있는 효과를 이룬다.

본 실시의 형태 1에 의하면, 동화상 복호 장치의 인트라 예측부(53)가 프레임 내의 복호 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 복호에 관계되는 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 구성했으므로, 국소적으로 발생하는 예측 오차를 저감하여, 동화상 부호화 장치측에서 생성된 인트라 예측 화상과 동일한 인트라 예측 화상을 동화상 복호 장치측에서도 생성할 수 있는 효과를 이룬다.

또한, 본 실시의 형태 1에 의하면, 인트라 예측부(53)가, (1) 파티션 P_i ⁿ의 사이즈(l_i ⁿ×m_i ⁿ), (2) 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터, (3) 중간 예측 화상을 생성할 때에 사용하는 부호화 완료된 화소군과 필터 처리 대상 화소의 거리, (4) 중간 예측 화상을 생성했을 때의 인트라 예측 모드의 인덱스값 중에서, 적어도 1개 이상의 파라미터를 고려하여, 필터를 선택하도록 구성했으므로, 방향성 예측을 행했을 때에 부호화 대상 화상의 에지가 약간 비선형으로 비뚤어져 있거나, 각도가 어긋나 있거나 하는 것에 의해 생기는 국소적인 예측 오차나, 평균치 예측을 행했을 때에 인접하는 부호화 완료된 신호와의 연속성을 잃는 것에 의해 생기는 블록의 경계 부분의 예측 오차를 억제하는 효과를 얻을 수 있고, 동화상 부호화 장치측에서 생성된 인트라 예측 화상과 동일한 인트라 예측 화상을 동화상 복호 장치측에서도 생성할 수 있는 효과를 이룬다.

실시의 형태 2.

상기 실시의 형태 1에서는, 인트라 예측부(4)가, 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 관계되는 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하는 것에 대하여 나타냈지만, 부호화 대상의 블록과 예측 화상 사이의 오차제곱합이 최소가 되는 위너 필터(Wiener filter)를 설계하고, 미리 준비되어 있는 하나 이상의 필터 중에서 선택하고 있는 필터를 이용하는 것보다, 상기 위너 필터를 이용하는 쪽이 예측 오차의 저감 정도가 높아지는 경우, 그 선택하고 있는 필터 대신, 상기 위너 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 하더라도 좋다.

이하, 구체적으로 처리 내용을 설명한다.

상기 실시의 형태 1에서는, 인트라 예측부(4, 53)가, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 관계되는 각종 파라미터의 상태에 따라 필터를 선택하도록 하고 있다. 그러나, 4개의 파라미터(1)~파라미터(4)를 고려하여, 필터를 선택하는 경우, 선택 후보 중에서 적절한 필터를 선택하는 것은 가능하지만, 선택 후보 이외에 최적의 필터가 존재하는 경우에는 "최적의 필터 처리"를 행할 수 없다.

본 실시의 형태 2에서는, 픽쳐 단위로 동화상 부호화 장치측에서, 최적의 필터를 설계하여 필터 처리를 실시함과 아울러, 그 필터의 필터 계수 등을 부호화하고, 동화상 복호 장치측에서, 그 필터 계수 등을 복호하는 것에 의해, 해당 필터를 이용한 필터 처리를 실시하도록 하고 있는 것을 특징으로 한다.

동화상 부호화 장치의 인트라 예측부(4)는, 상기 실시의 형태 1과 마찬가지로, 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상 P_i ⁿ을 생성한다.

또한, 인트라 예측부(4)는, 상기 실시의 형태 1과 같은 방법으로, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 관계되는 각종 파라미터의 상태에 따라 필터를 선택하고, 이 필터를 이용하여 인트라 예측 화상 P_i ⁿ에 필터 처리를 행한다.

인트라 예측부(4)는, 픽쳐 내의 모든 부호화 블록 Bⁿ에서 인트라 예측 파라미터가 결정된 후, 픽쳐 내에서 같은 필터가 이용된 영역(동일한 필터 인덱스를 갖는 영역)마다, 그 영역 내의 입력 화상과 인트라 예측 화상의 오차제곱합(대상 영역 내의 평균제곱오차)이 최소가 되는 위너 필터를 설계한다.

위너 필터는, 중간 예측 화상 신호 s'의 자기 상관 행렬 R_s's'와, 입력 화상 신호 s와 중간 예측 화상 신호 s'의 상호 상관 행렬 R_ss'에 의해, 하기의 식(4)로부터 필터 계수 w를 구할 수 있다. 행렬 R_s's', R_ss'의 크기는, 구해지는 필터 탭의 수에 대응한다.

인트라 예측부(4)는, 위너 필터를 설계하면, 그 위너 필터를 이용하여 필터 처리를 실시한 경우의 필터 설계 대상 영역 내의 오차제곱합을 D1, 그 위너 필터에 관계되는 정보(예컨대, 필터 계수)를 부호화했을 때의 부호량을 R1, 상기 실시의 형태 1과 같은 방법으로 선택하고 있는 필터를 이용하여 필터 처리를 실시한 경우의 필터 설계 대상 영역 내의 오차제곱합을 D2로 하여, 하기의 식(5)가 성립하는지 여부를 확인한다.

단, λ는 상수이다.

인트라 예측부(4)는, 식(5)가 성립하는 경우, 상기 실시의 형태 1과 같은 방법으로 선택하고 있는 필터 대신, 그 위너 필터를 이용하여 필터 처리를 실시한다.

한편, 식(5)가 성립하지 않는 경우, 상기 실시의 형태 1과 같은 방법으로 선택하고 있는 필터를 이용하여 필터 처리를 실시한다.

여기서는, 오차제곱합 D1, D2를 이용하여 평가하고 있지만, 이것으로 한하는 것은 아니고, 오차제곱합 D1, D2 대신, 오차의 절대치합 등의 다른 예측의 왜곡을 나타내는 척도를 이용하여 평가하도록 하더라도 좋다.

인트라 예측부(4)는, 위너 필터를 이용하여 필터 처리를 실시하는 경우, 그 위너 필터의 필터 계수나, 어느 인덱스의 필터를, 위너 필터로 치환하고 있는지를 나타내는 필터 갱신 정보가 필요하게 된다.

구체적으로는, 필터 선택 파라미터를 이용한 필터 처리에 의해 선택 가능한 필터의 수를 L로 하고, 각 필터에 0~L-1의 인덱스를 할당하는 경우, 각각의 인덱스에 대하여, 설계한 위너 필터를 이용하는 경우에는 "1", 미리 준비되어 있는 필터를 이용하는 경우에는 "0"의 값을, 필터 갱신 정보로서 부호화할 필요가 있다.

가변 길이 부호화부(13)는, 인트라 예측부(4)로부터 출력된 필터 갱신 정보를 가변 길이 부호화하여, 그 필터 갱신 정보의 부호화 데이터를 비트스트림에 다중화한다.

여기서는, 픽쳐 내에서 같은 필터가 이용된 영역마다, 그 영역 내의 입력 화상과 예측 화상의 평균제곱오차가 최소가 되는 위너 필터를 설계하는 것을 나타냈지만, 픽쳐 단위가 아닌 다른 특정한 영역 단위로, 같은 필터가 이용된 영역마다, 그 영역 내의 입력 화상과 예측 화상의 평균제곱오차가 최소가 되는 위너 필터를 설계하도록 구성하더라도 좋고, 어느 특정한 픽쳐만, 필터 설계를 행하도록 하거나, 특정한 조건에 해당하는 경우(예컨대, 신 체인지(scene change) 검출 기능을 부가하고, 신 체인지가 검출된 픽쳐의 경우)에 한하여, 상기 필터 설계를 행하도록 하거나 하더라도 좋다.

동화상 복호 장치의 가변 길이 복호부(51)는, 비트스트림에 다중화되어 있는 부호화 데이터로부터 필터 갱신 정보를 가변 길이 복호한다.

인트라 예측부(53)는, 상기 실시의 형태 1과 마찬가지로, 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상 P_i ⁿ을 생성한다.

인트라 예측부(53)는, 가변 길이 복호부(51)로부터 필터 갱신 정보를 받으면, 그 필터 갱신 정보를 참조하여, 해당하는 인덱스의 필터에서의 갱신의 유무를 확인한다.

인트라 예측부(53)는, 그 확인의 결과, 어느 영역의 필터가, 위너 필터로 치환되어 있는 경우, 그 필터 갱신 정보에 포함되어 있는 위너 필터의 필터 계수를 읽어내어, 그 위너 필터를 특정하고, 그 위너 필터를 이용하여, 인트라 예측 화상 P_i ⁿ의 필터 처리를 실시한다.

한편, 위너 필터로 치환되어 있지 않은 영역에서는, 상기 실시의 형태 1과 같은 방법으로 필터를 선택하고, 그 필터를 이용하여, 인트라 예측 화상 P_i ⁿ의 필터 처리를 실시한다.

이상에서 분명하듯이, 본 실시의 형태 2에 의하면, 부호화 대상의 블록과 예측 화상 사이의 오차제곱합이 최소가 되는 위너 필터를 설계하고, 미리 준비되어 있는 하나 이상의 필터 중에서 선택하고 있는 필터를 이용하는 것보다, 그 위너 필터를 이용하는 쪽이 예측 오차의 저감 정도가 높아지는 경우, 그 선택하고 있는 필터 대신, 그 위너 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 구성했으므로, 상기 실시의 형태 1보다 국소적으로 발생하는 예측 오차를 더 저감할 수 있는 효과를 이룬다.

또, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시의 형태의 자유로운 조합, 혹은 각 실시의 형태의 임의의 구성 요소의 변형, 또는 각 실시의 형태에 있어서 임의의 구성 요소의 생략이 가능하다.

본 발명은, 화상을 고효율로 부호화를 행할 필요가 있는 화상 부호화 장치에 적합하고, 또한, 고효율로 부호화되어 있는 화상을 복호할 필요가 있는 화상 복호 장치에 적합하다.

1 : 부호화 제어부(부호화 제어 수단)
2 : 블록 분할부(블록 분할 수단)
3 : 전환 스위치(인트라 예측 수단, 움직임 보상 예측 수단)
4 : 인트라 예측부(인트라 예측 수단)
5 : 움직임 보상 예측부(움직임 보상 예측 수단)
6 : 감산부(차분 화상 생성 수단)
7 : 변환ㆍ양자화부(화상 압축 수단)
8 : 역양자화ㆍ역변환부
9 : 가산부
10 : 인트라 예측용 메모리
11 : 루프 필터부
12 : 움직임 보상 예측 프레임 메모리
13 : 가변 길이 부호화부(가변 길이 부호화 수단)
51 : 가변 길이 복호부(가변 길이 복호 수단)
52 : 전환 스위치(인트라 예측 수단, 움직임 보상 예측 수단)
53 : 인트라 예측부(인트라 예측 수단)
54 : 움직임 보상 예측부(움직임 보상 예측 수단)
55 : 역양자화ㆍ역변환부(차분 화상 생성 수단)
56 : 가산부(복호 화상 생성 수단)
57 : 인트라 예측용 메모리
58 : 루프 필터부
59 : 움직임 보상 예측 프레임 메모리
100 : 필터 선택 테이블 인덱스

Claims

입력 화상이 분할된 부호화 블록에 대응하는 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록의 예측 처리의 단위가 되는 블록마다 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 수단을 구비하고,
상기 인트라 예측 수단은, 인트라 예측 파라미터가 평균치 예측을 나타내는 경우, 평균치 예측에 의해 생성된 중간 예측치를 이용한 필터 처리를 실시하여, 상기 필터 처리에 의해 얻어지는 값을 최종적인 예측치로 하는
것을 특징으로 하는 화상 부호화 장치.
제 1 항에 있어서,
상기 인트라 예측 수단은, 상기 인트라 예측 파라미터가 평균치 예측을 나타내는 경우, 평균치 예측에 의해 생성한 중간 예측치를 이용한 필터 처리를 실시할 때에, 상기 부호화 블록의 예측 처리의 단위가 되는 블록 내의 화소의 위치에 따라 사용하는 필터를 전환하는 것을 특징으로 하는 화상 부호화 장치.
제 2 항에 있어서,
상기 인트라 예측 수단은, 상기 인트라 예측 파라미터가 평균치 예측인 경우, 평균치 예측에 의해 생성한 중간 예측치를 이용한 필터 처리를 실시할 때에, 상기 부호화 블록의 예측 처리의 단위가 되는 블록 내의 상단과 좌단에 위치하는 화소만을 필터 처리하는 것을 특징으로 하는 화상 부호화 장치.
제 3 항에 있어서,
상기 인트라 예측 수단은, 상기 인트라 예측 파라미터가 평균치 예측인 경우, 평균치 예측에 의해 생성한 중간 예측치를 이용한 필터 처리를 실시할 때에, 상기 부호화 블록의 예측 처리의 단위가 되는 블록 내의 왼쪽 위의 화소에서는, 상기 중간 예측치에 관계되는 계수를 1/2, 필터 처리 대상 화소의 위쪽과 왼쪽에 인접하는 화소에 관계되는 계수를 1/4로 하고, 상기 왼쪽 위의 화소 이외의 상기 블록 내의 상단에 위치하는 화소에서는, 상기 중간 예측치에 관계되는 계수를 3/4, 상기 필터 처리 대상 화소의 위쪽에 인접하는 화소에 관계되는 계수를 1/4로 하고, 상기 왼쪽 위의 화소 이외의 상기 블록 내의 좌단에 위치하는 화소에서는, 상기 중간 예측치에 관계되는 계수를 3/4, 상기 필터 처리 대상 화소의 왼쪽에 인접하는 화소에 관계되는 계수를 1/4로 하여 필터 처리하는 것을 특징으로 하는 화상 부호화 장치.
제 1 항에 있어서,
상기 인트라 예측 수단은, 상기 인트라 예측 파라미터가 평균치 예측이 아닌 경우, 상기 부호화 블록의 예측 처리의 단위가 되는 블록의 사이즈 및 상기 인트라 예측 파라미터의 조합에 따라, 예측에 이용하는 참조 화소의 평활화(平滑化) 처리를 행할지 여부를 전환하는 것을 특징으로 하는 화상 부호화 장치.
제 1 항에 있어서,
부호화 처리가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정하고, 계층적으로 분할되는 각각의 부호화 블록에 부호화 모드를 할당하는 부호화 파라미터 결정 수단과,
입력 화상을 최대 사이즈의 부호화 블록으로 분할함과 아울러, 상기 부호화 파라미터 결정 수단에 의해 결정된 상한의 계층수에 이르기까지, 상기 부호화 블록을 계층적으로 분할하는 블록 분할 수단과,
상기 블록 분할 수단에 의해 분할된 부호화 블록과 상기 인트라 예측 수단에 의해 생성된 예측 화상의 차분 화상을 생성하는 차분 화상 생성 수단과,
상기 차분 화상 생성 수단에 의해 생성된 차분 화상을 압축하고, 상기 차분 화상의 압축 데이터를 출력하는 화상 압축 수단과,
상기 화상 압축 수단으로부터 출력된 압축 데이터 및 상기 부호화 파라미터 결정 수단에 의해 할당된 부호화 모드를 가변 길이 부호화하여, 상기 압축 데이터 및 상기 부호화 모드의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 가변 길이 부호화 수단
을 구비하고,
상기 인트라 예측 수단은, 상기 블록 분할 수단에 의해 분할된 부호화 블록에 대응하는 부호화 모드로서, 상기 부호화 파라미터 결정 수단에 의해 인트라 부호화 모드가 할당된 경우, 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는
것을 특징으로 하는 화상 부호화 장치.
제 6 항에 있어서,
상기 블록 분할 수단에 의해 분할된 부호화 블록에 대응하는 부호화 모드로서, 상기 부호화 파라미터 결정 수단에 의해 인터 부호화 모드가 할당된 경우, 참조 화상을 이용하여, 상기 부호화 블록에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 움직임 보상 예측 수단을 마련하고,
상기 차분 화상 생성 수단은, 상기 블록 분할 수단에 의해 분할된 부호화 블록과 인트라 예측 수단 또는 상기 움직임 보상 예측 수단에 의해 생성된 예측 화상의 차분 화상을 생성하는
것을 특징으로 하는 화상 부호화 장치.
제 7 항에 있어서,
상기 부호화 파라미터 결정 수단은, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 사이즈를 결정함과 아울러, 상기 부호화 파라미터 결정 수단에 의해 부호화 모드로서 인트라 부호화 모드가 할당된 경우는 프레임 내 예측 처리가 실시될 때에 이용하는 인트라 예측 파라미터를, 상기 부호화 파라미터 결정 수단에 의해 부호화 모드로서 인터 부호화 모드가 할당된 경우는 움직임 보상 예측 처리가 실시될 때에 이용하는 인터 예측 파라미터를 결정하고,
상기 화상 압축 수단은, 상기 부호화 파라미터 결정 수단에 의해 결정된 변환 블록 사이즈 단위로, 상기 차분 화상 생성 수단에 의해 생성된 차분 화상의 변환 처리를 실시함과 아울러, 상기 부호화 파라미터 결정 수단에 의해 결정된 양자화 파라미터를 이용하여, 상기 차분 화상의 변환 계수를 양자화하는 것에 의해, 양자화 후의 변환 계수를 상기 차분 화상의 압축 데이터로서 출력하고,
상기 가변 길이 부호화 수단은, 상기 화상 압축 수단으로부터 출력된 압축 데이터 및 상기 부호화 파라미터 결정 수단에 의해 할당된 부호화 모드를 가변 길이 부호화할 때, 상기 부호화 파라미터 결정 수단에 의해 결정된 인트라 예측 파라미터 또는 인터 예측 파라미터와, 양자화 파라미터 및 변환 블록 사이즈 정보를 가변 길이 부호화하여, 상기 압축 데이터, 상기 부호화 모드, 상기 인트라 예측 파라미터 또는 상기 인터 예측 파라미터, 상기 양자화 파라미터 및 상기 변환 블록 사이즈 정보의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는
것을 특징으로 하는 화상 부호화 장치.
부호화 블록에 관계되는 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록의 예측 처리의 단위가 되는 블록마다 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 수단을 구비하고,
상기 인트라 예측 수단은, 인트라 예측 파라미터가 평균치 예측을 나타내는 경우, 평균치 예측에 의해 생성된 중간 예측치를 이용한 필터 처리를 실시하여, 상기 필터 처리에 의해 얻어지는 값을 최종적인 예측치로 하는
것을 특징으로 하는 화상 복호 장치.
제 9 항에 있어서,
상기 인트라 예측 수단은, 상기 인트라 예측 파라미터가 평균치 예측을 나타내는 경우, 평균치 예측에 의해 생성한 중간 예측치를 이용한 필터 처리를 실시할 때에, 상기 부호화 블록의 예측 처리의 단위가 되는 블록 내의 화소의 위치에 따라 사용하는 필터를 전환하는 것을 특징으로 하는 화상 복호 장치.
제 10 항에 있어서,
상기 인트라 예측 수단은, 상기 인트라 예측 파라미터가 평균치 예측을 나타내는 경우, 평균치 예측에 의해 생성한 중간 예측치를 이용한 필터 처리를 실시할 때에, 상기 부호화 블록의 예측 처리의 단위가 되는 블록 내의 상단과 좌단에 위치하는 화소만을 필터 처리하는 것을 특징으로 하는 화상 복호 장치.
제 11 항에 있어서,
상기 인트라 예측 수단은, 상기 인트라 예측 파라미터가 평균치 예측을 나타내는 경우, 평균치 예측에 의해 생성한 중간 예측치를 이용한 필터 처리를 실시할 때에, 상기 부호화 블록의 예측 처리의 단위가 되는 블록 내의 왼쪽 위의 화소에서는, 상기 중간 예측치에 관계되는 계수를 1/2, 상기 필터 처리 대상 화소의 위쪽과 왼쪽에 인접하는 화소에 관계되는 계수를 1/4로 하고, 상기 왼쪽 위의 화소 이외의 상기 블록 내의 상단에 위치하는 화소에서는, 상기 중간 예측치에 관계되는 계수를 3/4, 상기 필터 처리 대상 화소의 위쪽에 인접하는 화소에 관계되는 계수를 1/4로 하고, 상기 왼쪽 위의 화소 이외의 상기 블록 내의 좌단에 위치하는 화소에서는, 상기 중간 예측치에 관계되는 계수를 3/4, 상기 필터 처리 대상 화소의 왼쪽에 인접하는 화소에 관계되는 계수를 1/4로 하여 필터 처리하는 것을 특징으로 하는 화상 복호 장치.
제 9 항에 있어서,
상기 인트라 예측 수단은, 상기 인트라 예측 파라미터가 평균치 예측이 아닌 경우, 상기 부호화 블록의 예측 처리의 단위가 되는 블록의 사이즈 및 상기 인트라 예측 파라미터의 조합에 따라, 예측에 이용하는 참조 화소의 평활화 처리를 행할지 여부를 전환하는 것을 특징으로 하는 화상 복호 장치.
제 9 항에 있어서,
비트스트림에 다중화되어 있는 부호화 데이터로부터 분할되어 있는 각각의 부호화 블록에 관계되는 압축 데이터 및 부호화 모드를 가변 길이 복호하고, 상기 부호화 모드가 인트라 부호화 모드인 경우, 인트라 예측 파라미터를 가변 길이 복호하는 가변 길이 복호 수단과,
상기 가변 길이 복호 수단에 의해 가변 길이 복호된 부호화 블록에 관계되는 부호화 모드가 인트라 부호화 모드인 경우, 프레임 내의 복호 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 인트라 예측 수단과,
상기 가변 길이 복호 수단에 의해 가변 길이 복호된 부호화 블록에 관계되는 압축 데이터로부터 압축 전의 차분 화상을 생성하는 차분 화상 생성 수단과,
상기 차분 화상 생성 수단에 의해 생성된 차분 화상과 상기 인트라 예측 수단에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 수단
을 구비하는 것을 특징으로 하는 화상 복호 장치.
제 9 항에 있어서,
비트스트림에 다중화되어 있는 부호화 데이터로부터 각각의 부호화 블록에 관계되는 부호화 모드를 가변 길이 복호하고, 상기 부호화 모드가 인터 부호화 모드인 경우, 인터 예측 파라미터를 가변 길이 복호하는 가변 길이 복호 수단과,
상기 가변 길이 복호 수단에 의해 가변 길이 복호된 부호화 블록에 관계되는 부호화 모드가 인터 부호화 모드인 경우, 참조 화상과 상기 가변 길이 복호 수단에 의해 가변 길이 복호된 인터 예측 파라미터를 이용하여, 상기 부호화 블록에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 움직임 보상 예측 수단과,
차분 화상 생성 수단에 의해 생성된 차분 화상과 상기 인트라 예측 수단 또는 상기 움직임 보상 예측 수단에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 수단
을 구비하는 것을 특징으로 하는 화상 복호 장치.
제 9 항에 있어서,
비트스트림에 다중화되어 있는 부호화 데이터로부터 각각의 부호화 블록에 관계되는 양자화 파라미터 및 변환 블록 사이즈 정보를 가변 길이 복호하는 가변 길이 복호 수단과,
상기 가변 길이 복호 수단에 의해 가변 길이 복호된 부호화 블록에 관계되는 양자화 파라미터를 이용하여, 해당 부호화 블록에 관계되는 압축 데이터를 역양자화하고, 상기 변환 블록 사이즈 단위로, 역양자화 후의 압축 데이터의 역변환 처리를 실시하는 것에 의해, 압축 전의 차분 화상을 생성하는 차분 화상 생성 수단
을 구비하는 것을 특징으로 하는 화상 복호 장치.
입력 화상이 분할된 부호화 블록에 대응하는 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록의 예측 처리의 단위가 되는 블록마다 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 처리 단계를 구비하고,
상기 인트라 예측 처리 단계에서는, 인트라 예측 파라미터가 평균치 예측을 나타내는 경우, 평균치 예측에 의해 생성된 중간 예측치를 이용한 필터 처리를 실시하여, 상기 필터 처리에 의해 얻어지는 값을 최종적인 예측치로 하는
것을 특징으로 하는 화상 부호화 방법.
부호화 블록에 관계되는 부호화 모드가 인트라 부호화 모드인 경우, 상기 부호화 블록의 예측 처리의 단위가 되는 블록마다 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 인트라 예측 처리 단계를 구비하고,
상기 인트라 예측 처리 단계에서는, 인트라 예측 파라미터가 평균치 예측을 나타내는 경우, 평균치 예측에 의해 생성된 중간 예측치를 이용한 필터 처리를 실시하여, 상기 필터 처리에 의해 얻어지는 값을 최종적인 예측치로 하는
것을 특징으로 하는 화상 복호 방법.
프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 수단을 구비하고,
상기 인트라 예측 수단은, 인트라 예측 파라미터가 평균치 예측을 나타내는 경우, 평균치 예측에 의해 생성된 중간 예측치를 이용한 필터 처리를 실시하여, 상기 필터 처리에 의해 얻어지는 값을 최종적인 예측치로 하는
것을 특징으로 하는 화상 예측 장치.
프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 수단을 구비하는 것을 특징으로 하는 화상 복호 장치.