KR101475365B1

KR101475365B1 - 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램

Info

Publication number: KR101475365B1
Application number: KR1020117012289A
Authority: KR
Inventors: 요시노리 스즈키; 춘셍 분; 티오 켕 탄
Original assignee: 가부시키가이샤 엔.티.티.도코모
Priority date: 2007-04-09
Filing date: 2008-04-08
Publication date: 2014-12-23
Also published as: CN101653009B; TWI435609B; WO2008126843A1; US20100091846A1; KR20090132629A; CN101653009A; EP2453655A1; TW200845765A; CN103997655A; EP2154901A1; CN104023242B; CN103354613B; RU2011147926A; EP2571272A1; EP2571272B1; KR20110082592A; US9031130B2; CN103997655B; CN104023242A; CN103354613A

Abstract

본 발명은, 정보량을 많이 하지 않고 복수의 후보 예측 신호를 선택하는 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램을 제공하는 것을 목적으로 한다.
본 발명에 따르면, 가중치 부여기(234) 및 가산기(235)는, 예측 인접 영역 취득기(232)에 의해 추출된 화소 신호를 사전에 정한 합성 방법을 사용하여, 예를 들면 평균화하여 가공함으로써, 조합마다 인접 화소 신호에 대한 비교 신호를 각각 생성한다. 비교·선택기(236)는, 가중치 부여기(234) 등에 의해 생성된 비교 신호와 대상 인접 영역 취득기(233)에 의해 취득된 인접 화소 신호와의 상관이 높은 조합을 선택한다. 예측 영역 취득기(204), 가중치 부여기(205) 및 가산기(206)는, 후보 예측 신호를 생성하고, 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다.

Description

화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램{IMAGE PREDICTION/ENCODING DEVICE, IMAGE PREDICTION/ENCODING METHOD, IMAGE PREDICTION/ENCODING PROGRAM, IMAGE PREDICTION/DECODING DEVICE, IMAGE PREDICTION/DECODING METHOD, AND IMAGE PREDICTION DECODING PROGRAM}

본 발명은, 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램에 관한 것으로서, 특히 화상 합성 방법을 사용하여 예측 부호화 및 복호하는 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램에 관한 것이다.

정지 화상이나 동화상 데이터의 전송이나 축적 등을 효율적으로 행하기 위해, 압축 부호화 기술이 사용된다. 동화상의 경우에는 MPEG-1∼4나 ITU(International Telecommunication Union) H.261∼H.264 등의 방식이 널리 사용되고 있다.

이들 부호화 방식에서는, 부호화의 대상이 되는 화상을 복수의 블록으로 분할한 후에 부호화·복호 처리를 행한다. 화면 내의 예측 부호화에서는, 대상 블록과 동일한 화면 내에 있는 인접하는 기(旣) 재생의 화상 신호(압축된 화상 데이터가 복원된 것)를 사용하여 예측 신호를 생성한 후에, 이 생성된 예측 신호를 대상 블록의 신호로부터 뺄셈한 차분 신호를 부호화한다. 화면 간의 예측 부호화에서는, 대상 블록과 상이한 화면 내에 있는 인접하는 기 재생의 화상 신호를 참조하여, 동작의 보정을 행하고, 예측 신호를 생성하고, 이 예측 신호를 대상 블록의 신호로부터 뺄셈한 차분 신호를 부호화한다.

예를 들면, H.264의 화면 내 예측 부호화에서는, 부호화의 대상이 되는 블록에 인접하는 기 재생의 화소값을 소정의 방향으로 외삽(外揷)하여 예측 신호를 생성하는 방법을 채용하고 있다. 도 14(도 46)는, ITU H.264에 사용되는 화면 내 예측 방법을 설명하기 위한 모식도이다. 도 14의 (A)[도 46의 (A)]에 있어서, 대상 블록(1702)은 부호화의 대상이 되는 블록이며, 이 대상 블록(1702)의 경계에 인접하는 화소 A∼M으로 이루어지는 화소군(1701)은 인접 영역이며, 과거 처리에 있어서 이미 재생된 화상 신호이다.

이 경우, 대상 블록(1702)의 바로 위에 있는 인접 화소인 화소군(1701)을 아래쪽으로 잡아늘여서 예측 신호를 생성한다. 또한, 도 14의 (B)[도 46의 (B)]에서는, 대상 블록(1704)의 좌측에 있는 기 재생 화소(I∼L)를 우측으로 잡아늘여서 예측 신호를 생성한다. 이와 같이 도 14의 (A)[도 46의 (A)] 내지 (I)에 나타낸 방법으로 생성된 9개의 예측 신호 각각을 대상 블록의 화소 신호와의 차분을 취하여, 차분값이 가장 작은 것을 최적의 예측 신호로 한다. 이상과 같이, 화소를 외삽함으로써 예측 신호를 생성할 수 있다. 이상의 내용은, 하기 특허 문헌 1에 기재되어 있다.

통상의 화면간 예측 부호화에서는, 부호화의 대상이 되는 블록에 대하여, 그 화소 신호와 유사한 신호를 이미 재생된 화면으로부터 탐색하는 방법으로 예측 신호를 생성한다. 그리고, 대상 블록과 탐색된 신호가 구성하는 영역 사이의 공간적인 변위량인 동작 벡터와 대상 블록의 화소 신호와 예측 신호와의 잔차(殘差) 신호를 부호화한다. 이와 같이 블록마다 동작 벡터를 탐색하는 방법은 블록 매칭으로 불리운다. 도 15(또는 도 47)는, 블록 매칭 처리를 설명하기 위한 모식도이다. 여기서는, 부호화 대상의 화면(1401) 상의 대상 블록(1402)을 예로 들어 예측 신호의 생성 수순을 설명한다. 도 15의 (a)[또는 도 47의 (a)]에 있어서의 화면(1403)은 이미 재생된 화면이며, 파선으로 나타낸 영역(1404)은 대상 블록(1402)과 공간적으로 동일 위치의 영역이다. 블록 매칭에서는, 영역(1404)을 에워싸는 탐색 범위(1405)를 설정하고, 이 탐색 범위의 화소 신호로부터 대상 블록(1402)의 화소 신호와의 절대값 오차의 합이 최소로 되는 영역(1406)을 검출한다. 영역(1406)의 화소 신호가 예측 신호로 되며, 영역(1404)으로부터 영역(1406)으로의 변위량이 동작 벡터로서 검출된다. ITU H.264에서는, 화상의 국소적인 특징의 변화에 대응하므로, 동작 벡터를 부호화하는 블록 사이즈가 상이한 복수의 예측 타입을 준비하고 있다. ITU H.264의 예측 타입은, 예를 들면 특허 문헌 2에 기재되어 있다.

또한, 동화상 데이터의 압축 부호화에서는, 각각의 프레임의 부호화 순서는 임의로 된다. 그러므로, 재생된 화면을 참조하여 예측 신호를 생성하는 화면간 예측에도, 부호화 순서에 대하여 3종류의 방법이 있다. 제1 방법은, 재생순으로 과거에 재생된 화면을 참조하여 예측 신호를 생성하는 전방향(前方向) 예측, 제2 방법은, 재생순에서 미래에 재생될 화면을 참조하는 후방향(後方向) 예측, 제3 방법은, 전방향 예측과 후방향 예측을 함께 행하여, 2개의 예측 신호를 평균화하는 양방향 예측이다. 화면간 예측의 종류는, 예를 들면 특허 문헌 3에 기재되어 있다.

[특허 문헌 1] 미국 특허 공보 제6765964호 명세서

[특허 문헌 2] 미국 특허 공보 제7003035호 명세서

[특허 문헌 3] 미국 특허 공보 제6259739호 명세서

종래 기술에서는, 부호화에 의한 왜곡[예를 들면, 양자화 잡음(quantizing noise)]을 포함하는 재생 화소값을 카피함으로써 각각의 화소의 예측 신호를 생성하므로, 예측 신호도 부호화 왜곡을 포함하게 된다. 이와 같이 부호화 왜곡에 의해 열화된 예측 신호는, 잔차 신호의 부호량 증가나 재생 화질 열화 등 부호화 효율을 저하시키는 요인이 된다.

부호화 왜곡의 영향은 예측 신호의 평활화에 의해 억제 가능하지만, 평활화의 대상이 되는 복수의 후보 예측 신호를 지시하기 위한 부가 정보가 필요하게 되므로, 정보량이 많아진다.

그래서, 본 발명에서는, 정보량을 많이 하지 않고 복수의 후보 예측 신호를 선택하는 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램을 제공하는 것을 목적으로 한다.

기 대상 화소 신호의 후보 예측 신호를 2개 이상 생성하고, 상기 후보 예측 신호를 선택된 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

또한, 본 발명의 화상 예측 부호화 프로그램은, 입력 화상을 복수의 영역으로 분할하는 영역 분할 모듈과; 상기 영역 분할 모듈에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈과; 상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 모듈과; 상기 잔차 신호 생성 모듈에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 모듈을 구비하고, 상기 예측 신호 생성 모듈은, 상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고, 취득한 복수의 예측 인접 영역을 적어도 하나 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고, 예측 인접 영역을 2개 이상 포함하는 조합에 대하여, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 상기 복수의 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 높은 가중 계수의 조를 선택하고, 상기 복수의 조합에 대하여, 그 조합에 속하는 예측 인접 영역의 화소 신호를 선택된 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 높은 조합을 선택하고, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를, 선택된 조합에 대하여 먼저 선택된 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

또한, 본 발명의 화상 예측 복호 프로그램은, 압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 모듈과; 상기 데이터 복호 모듈에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 모듈과; 상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈과; 상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 잔차 신호 복원 모듈에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 모듈을 구비하고, 상기 예측 신호 생성 모듈은, 상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고, 취득한 복수의 예측 인접 영역을 2개 이상 포함하는, 임의의 예측 인접 영역의 조합을 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 상기 조합에 대하여, 복수의 가중 계수의 조를 사용하여 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 높은 가중 계수의 조를 선택하고, 상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 2개 이상 생성하고, 상기 후보 예측 신호를 선택된 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

또한, 본 발명의 화상 예측 복호 프로그램은, 압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 모듈과; 상기 데이터 복호 모듈에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 모듈과; 상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈과; 상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 잔차 신호 복원 모듈에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 모듈을 구비하고, 상기 예측 신호 생성 모듈은, 상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고, 취득한 복수의 예측 인접 영역을 적어도 하나 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고, 예측 인접 영역을 2개 이상 포함하는 조합에 대하여, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 복수의 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 높은 가중 계수의 조를 선택하고, 복수의 조합에 대하여, 그 조합에 속하는 예측 인접 영역의 화소 신호를 선택된 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 높은 조합을 선택하고, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를, 선택된 조합에 대하여 먼저 선택된 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

또한, 전술한 과제를 해결하기 위해, 본 발명의 화상 예측 부호화 장치는, 입력 화상을 복수의 영역으로 분할하는 영역 분할 수단과; 상기 영역 분할 수단에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단과; 상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단과; 상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단을 구비하고, 상기 예측 신호 생성 수단은, 상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

본 발명에 의하면, 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성할 수 있다. 이로써, 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역을 사용하여, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을, 다양성을 가지게 하여 선택할 수 있으므로, 국소적인 잡음 특성을 고려한 예측 신호를 효율적으로 생성할 수 있고, 효율적인 부호화를 행할 수 있다.

또한, 본 발명의 화상 예측 부호화 장치는, 입력 화상을 복수의 영역으로 분할하는 영역 분할 수단과; 상기 영역 분할 수단에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단과; 상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단과; 상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단을 구비하고, 상기 예측 신호 생성 수단은, 상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 선택하는 예측 인접 영역의 수를 설정하고, 적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상기 탐색 영역으로부터 상기 설정한 수의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여 상기 대상 화소 신호의 후보 예측 신호를 상기 설정한 수 만큼 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

본 발명에 의하면, 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 선택하는 예측 인접 영역의 수를 설정하고, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색 영역으로부터 설정한 수의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여 대상 화소 신호의 후보 예측 신호를 설정한 수 만큼 생성하고, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성할 수 있다. 이로써, 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역을 사용하여, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을, 다양성을 가지게 하여 선택할 수 있으므로, 국소적인 잡음 특성을 고려한 예측 신호를 효율적으로 생성할 수 있고, 효율적인 부호화를 행할 수 있다.

또한, 본 발명의 화상 예측 부호화 장치는, 입력 화상을 복수의 영역으로 분할하는 영역 분할 수단과; 상기 영역 분할 수단에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단과; 상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단과; 상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단을 구비하고, 상기 예측 신호 생성 수단은, 상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상이한 수의 예측 인접 영역을 포함하는 예측 인접 영역의 조합을 2개 이상 생성하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 상기 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 높은 예측 인접 영역의 조합을 생성된 예측 인접 영역의 조합 중에서 선택하고, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

본 발명에 의하면, 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상이한 수의 예측 인접 영역을 포함하는 예측 인접 영역의 조합을 2개 이상 생성하고, 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 비교 신호와 인접 화소 신호와의 상관이 높은 예측 인접 영역의 조합을 선택하고, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성할 수 있다. 이로써, 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역을 사용하여, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을, 다양성을 가지게 하여 선택할 수 있으므로, 효율적으로 국소적인 잡음 특성을 고려한 예측 신호를 생성할 수 있고, 효율적인 부호화를 행할 수 있다.

또한, 본 발명의 화상 예측 부호화 장치에 있어서, 상기 예측 신호 생성 수단은, 시간 또는 공간 중 어느 하나 또는 시공간의 위치 정보를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는 것이 바람직하다.

또한, 본 발명에 의하면, 시간 또는 공간 중 어느 하나 또는 시공간의 위치 정보를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택할 수 있고, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을, 다양성을 가지게 하여 선택할 수 있다.

또한, 본 발명의 화상 예측 부호화 장치에 있어서, 상기 예측 신호 생성 수단은, 예측 인접 영역이 속하는 참조 화상의 식별 번호를 포함한 좌표 정보를 사용하여 처리하는 것이 바람직하다.

또한, 본 발명에 의하면, 예측 인접 영역이 속하는 참조 화상의 식별 번호를 포함한 좌표 정보를 사용하여 처리할 수 있고, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을, 다양성을 가지게 하여 선택할 수 있다.

또한, 본 발명의 화상 예측 부호화 장치에 있어서, 상기 예측 신호 생성 수단은, 예측 인접 영역이 속하는 참조 화상 위의 공간 위치 정보를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는 것이 바람직하다.

본 발명에 의하면, 예측 인접 영역이 속하는 참조 화상 위의 공간 위치 정보를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택할 수 있고, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을, 다양성을 가지게 하여 선택할 수 있다.

또한, 본 발명의 화상 예측 부호화 장치에 있어서, 상기 예측 신호 생성 수단은, 상기 대상 영역과 상기 예측 인접 영역 사이의 공간적인 위치 관계를 나타낸 동작 벡터를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는 것이 바람직하다.

본 발명에 의하면, 예측 인접 영역의 동작 벡터를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택할 수 있고, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을, 다양성을 가지게 하여 선택할 수 있다.

또한, 본 발명의 화상 예측 복호 장치는, 압축 데이터 내의 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 수단과; 상기 데이터 복호 수단에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단과; 상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단과; 상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 수단을 구비하고, 상기 예측 신호 생성 수단은, 상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

본 발명에 의하면, 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성할 수 있다. 이로써, 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역을 사용하여, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을, 다양성을 가지게 하여 선택할 수 있으므로, 효율적으로 국소적인 잡음 특성을 고려한 예측 신호를 생성할 수 있다. 따라서, 이와 같이 생성된 예측 신호에 의해 효율적으로 부호화된 부호화 데이터를 복호할 수 있다.

또한, 본 발명의 화상 예측 복호 장치는, 압축 데이터의 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 수단과; 상기 데이터 복호 수단에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단과; 상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단과; 상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 수단을 구비하고, 상기 예측 신호 생성 수단은, 상기 대상 화소 신호에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역에 대하여, 상기 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 선택하는 예측 인접 영역의 수를 설정하고, 적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상기 탐색 영역의 모든 위치로부터 설정된 수의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 선택한 수 만큼 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

본 발명에 의하면, 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 선택하는 예측 인접 영역의 수를 설정하고, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색 영역으로부터 설정한 수의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여 대상 화소 신호의 후보 예측 신호를 설정한 수 만큼 생성하고, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성할 수 있다. 이로써, 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역을 사용하여, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을, 다양성을 가지게 하여 선택할 수 있으므로, 국소적인 잡음 특성을 고려한 예측 신호를 효율적으로 생성할 수 있다. 따라서, 이와 같이 생성된 예측 신호에 의해 효율적으로 부호화된 부호화 데이터를 복호할 수 있다.

또한, 본 발명의 화상 예측 복호 장치는, 압축 데이터 내의 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 수단과; 상기 데이터 복호 수단에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단과; 상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단과; 상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 수단을 구비하고, 상기 예측 신호 생성 수단은, 상기 대상 화소 신호에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역에 대하여, 상기 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 선택하는 예측 인접 영역의 수를 설정하고, 적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상이한 수의 예측 인접 영역을 포함하는 예측 인접 영역의 조합을 2개 이상 생성하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 상기 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 높은 조합을 상기 생성한 예측 인접 영역의 조합 중에서 선택하고, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

본 발명에 의하면, 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상이한 수의 예측 인접 영역을 포함하는 예측 인접 영역의 조합을 2개 이상 생성하고, 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 비교 신호와 인접 화소 신호와의 상관이 높은 예측 인접 영역의 조합을 선택하고, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성할 수 있다. 이로써, 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역을 사용하여, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을, 다양성을 가지게 하여 선택할 수 있으므로, 국소적인 잡음 특성을 고려한 예측 신호를 효율적으로 생성할 수 있다. 따라서, 이와 같이 생성된 예측 신호에 의해 효율적으로 부호화된 부호화 데이터를 복호할 수 있다.

또한, 본 발명의 화상 예측 복호 장치에 있어서, 상기 예측 신호 생성 수단은, 시간 또는 공간 중 어느 하나 또는 시공간의 위치를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는 것이 바람직하다.

또한, 본 발명의 화상 예측 복호 장치에 있어서, 상기 예측 신호 생성 수단은, 예측 인접 영역이 속하는 참조 화상의 식별 번호를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는 것이 바람직하다.

또한, 본 발명의 화상 예측 복호 장치에 있어서, 상기 예측 신호 생성 수단은, 예측 인접 영역이 속하는 참조 화상 위의 공간 위치를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는 것이 바람직하다.

또한, 본 발명의 화상 예측 복호 장치에 있어서, 상기 예측 신호 생성 수단은, 상기 대상 영역과 상기 예측 인접 영역 사이의 공간적인 위치 관계를 나타낸 동작 벡터를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는 것이 바람직하다.

그런데, 본 발명은, 전술한 바와 같이 화상 예측 부호화 장치 또는 화상 예측 복호 장치의 발명으로서 기술할 수 있는 점 외에, 다음과 같이, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 프로그램의 발명으로서도 기술할 수 있다. 이들은 카테고리가 상이할 뿐이며, 실질적으로 동일한 발명이며, 동일한 작용·효과를 얻을 수 있다.

즉, 본 발명의 화상 예측 부호화 방법은, 입력 화상을 복수의 영역으로 분할하는 영역 분할 단계와; 상기 영역 분할 단계에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계와; 상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계와; 상기 잔차 신호 생성 단계에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 단계를 포함하고, 상기 예측 신호 생성 단계는, 상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

*또한, 본 발명의 화상 예측 복호 방법은, 압축 데이터 내에 있는 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 단계와; 상기 데이터 복호 단계에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 단계와; 상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계와; 상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 잔차 신호 복원 단계에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 단계를 포함하고, 상기 예측 신호 생성 단계는, 상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

또한, 본 발명의 화상 예측 부호화 프로그램은, 입력 화상을 복수의 영역으로 분할하는 영역 분할 모듈과; 상기 영역 분할 모듈에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈과; 상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 모듈과; 상기 잔차 신호 생성 모듈에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 모듈을 구비하고, 상기 예측 신호 생성 모듈은, 상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

또한, 본 발명의 화상 예측 복호 프로그램은, 압축 데이터 내에 있는 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 모듈과; 상기 데이터 복호 모듈에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 모듈과; 상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈과; 상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 잔차 신호 복원 모듈에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 모듈을 구비하고, 상기 예측 신호 생성 모듈은, 상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고, 적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고, 선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는 구성을 구비하고 있다.

본 발명에 의하면, 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역을 사용하여, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을 선택할 수 있으므로, 국소적인 잡음 특성을 고려한 예측 신호를 효율적으로 생성할 수 있다.

또한, 본 발명에 의하면, 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역을 사용하여, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을, 다양성을 가지게 하여 선택할 수 있으므로, 국소적인 잡음 특성을 고려한 예측 신호를 효율적으로 생성할 수 있다.

도 1은 본 발명의 실시예에 따른 화상 예측 부호화 장치를 나타낸 블록도이다.
도 2는 화상 예측 부호화 장치에 사용되는 예측 신호 생성기(103)를 나타낸 블록도이다.
도 3은 템플레이트 매칭기(201)에 있어서, 템플레이트 매칭 처리 및 예측 인접 영역과 예측 영역의 후보를 검색하는 처리를 설명하기 위한 모식도이다.
도 4는 템플레이트 매칭기(201)에 있어서, 템플레이트 매칭 처리 및 예측 인접 영역과 예측 영역의 후보를 검색하는 처리를 설명하기 위한 제2 모식도이다.
도 5는 템플레이트 매칭기(201)에 있어서의 템플레이트 매칭 및 예측 인접 영역과 예측 영역의 후보를 검색하는 방법을 설명하기 위한 흐름도이다.
도 6은 후보 예측 신호의 조합 결정기(203)에 있어서의 후보 예측 신호의 조합 결정 방법을 설명하기 위한 흐름도이다.
도 7은 후보 예측 신호를 합성하여 예측 신호를 생성하는 방법을 설명하기 위한 흐름도이다.
도 8은 화상 예측 부호화 장치(100)에 있어서의 화상 예측 부호화 방법을 나타낸 흐름도이다.
도 9는 화상 예측 복호 장치(300)를 나타낸 블록도이다.
도 10은 화상 예측 복호 장치(300)의 화상 예측 복호 방법을 나타낸 흐름도이다.
도 11은 화상 예측 부호화 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다.
도 12는 예측 신호 생성 모듈 P103의 모듈을 나타낸 블록도이다.
*도 13은 화상 예측 복호 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다.
도 14는 화면 내 예측 방법을 설명하기 위한 모식도이다.
도 15는 블록 매칭 처리를 설명하기 위한 모식도이다.
도 16은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이다.
도 17은 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다.
도 18은 제2 실시예에서의 화상 예측 부호화 장치에 사용되는 예측 신호 생성기(103)의 블록도이다.
도 19는 평균화 수 결정기(1800)에 있어서의 후보 예측 신호의 조합 결정 방법을 설명하기 위한 흐름도이다.
도 20은 후보 예측 신호를 합성하여 예측 신호를 생성하는 제2 방법을 나타낸 흐름도이다.
도 21은 예측 신호 생성 모듈 P103의 제2 모듈을 나타낸 블록도이다.
도 22는 제3 실시예에서의 화상 예측 부호화 장치에 사용되는 예측 신호 생성기(103)를 나타낸 블록도이다.
도 23은 가중 계수 설정기(2201)에 있어서의 후보 예측 신호의 가중 계수 결정 방법을 설명하기 위한 흐름도이다.
도 24는 후보 예측 신호의 조합 결정기(2200)에 있어서의 후보 예측 신호의 제3 조합 결정 방법을 설명하기 위한 흐름도이다.
도 25는 후보 예측 신호를 합성하여 예측 신호를 생성하는 제3 방법을 나타낸 흐름도이다.
도 26은 대상 인접 영역의 화소 신호와 예측 인접 영역의 화소 신호와의 사이의 차분값으로부터 가중 계수의 조를 설정하는 대응표를 나타낸 설명도이다.
도 27은 본 발명의 제4 실시예에 따른 화상 예측 부호화 장치를 나타낸 블록도이다.
도 28은 본 발명의 제4 실시예에 따른 화상 예측 부호화 장치의 예측 신호 생성기(103c)에 있어서의 동작 보상기(201b)를 나타낸 블록도이다.
도 29는 동작 보상기(201b)에 있어서의 동작 보상 방법을 나타낸 흐름도이다.
도 30은 본 발명의 제4 실시예에 따른 화상 예측 복호 장치를 나타낸 블록도이다.
도 31은 본 발명의 제4 실시예에 따른 화상 예측 복호 장치의 예측 신호 생성기(308c)에 있어서의 대상 인접 영역 동작 보상기(201c)를 나타낸 블록도이다.
도 32는 대상 인접 영역 동작 보상기(201c)에 있어서의 동작 보상 방법을 나타낸 흐름도이다.
도 33은 본 발명의 실시예에 따른 화상 예측 부호화 장치를 나타낸 블록도이다.
도 34는 화상 예측 부호화 장치에 사용되는 예측 신호 생성기(103X)를 나타낸 블록도이다.
도 35는 템플레이트 매칭기(201X)에 있어서, 템플레이트 매칭 처리 및 예측 인접 영역과 예측 영역의 후보를 검색하는 처리를 설명하기 위한 모식도이다.
도 36은 템플레이트 매칭기(201X)에 있어서, 템플레이트 매칭 처리 및 예측 인접 영역과 예측 영역의 후보를 검색하는 처리를 설명하기 위한 제2 모식도이다.
도 37은 템플레이트 매칭기(201X)에 있어서의 템플레이트 매칭 및 예측 인접 영역과 예측 영역의 후보를 검색하는 방법을 설명하기 위한 흐름도이다.
도 38은 후보 예측 신호의 조합 결정기(203X)에 있어서의 후보 예측 신호의 조합 결정 방법을 설명하기 위한 흐름도이다.
도 39는 후보 예측 신호를 합성하여 예측 신호를 생성하는 방법을 설명하기 위한 흐름도이다.
도 40은 화상 예측 부호화 장치(100X)에 있어서의 화상 예측 부호화 방법을 나타낸 흐름도이다.
도 41은 화상 예측 복호 장치(300X)를 나타낸 블록도이다.
도 42는 화상 예측 복호 장치(300X)의 화상 예측 복호 방법을 나타낸 흐름도이다.
도 43은 화상 예측 부호화 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다.
도 44는 예측 신호 생성 모듈 P103X의 모듈을 나타낸 블록도이다.
도 45는 화상 예측 복호 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다.
도 46은 화면 내 예측 방법을 설명하기 위한 모식도이다.
도 47은 블록 매칭 처리를 설명하기 위한 모식도이다.
도 48은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이다.
도 49는 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다.
도 50은 제6 실시예의 예측 신호 생성기(103aX)의 구성을 나타낸 블록도이다.
도 51은 조합 설정기(237X)의 상세한 구성을 나타낸 블록도이다.
도 52는 조합 설정기(237X)를 사용한 예측 신호 생성기(103aX)의 동작을 나타낸 흐름도이다.
도 53은 예측 인접 영역의 좌표 정보를 사용하여 N개의 예측 인접 영역을 선택할 때의 조합 설정기(237X)의 동작을 나타낸 흐름도이다.
도 54는 제7 실시예, 후보 예측 신호의 조합 설정기(237X)를 포함한 예측 신호 생성기(103bX)의 구성을 나타낸 블록도이다.
도 55는 제7 실시예 예측 신호 생성기(103bX)에 의한 예측 인접 영역을 선택할 때의 처리를 나타낸 흐름도이다.
도 56은 제8 실시예 후보 예측 신호의 조합 결정기의 구성을 나타낸 블록도이다.
도 57은 후보 예측 신호의 조합 결정기(203dX)의 동작을 나타낸 흐름도이다.
도 58은 참조 화상의 평가기(283X)의 처리 개념을 나타내는 개념도이다.
도 59는 동작 벡터의 평가기(284X)의 처리 개념을 나타내는 개념도이다.
도 60은 조합 설정 모듈 P237X의 모듈 구성을 나타낸 블록도이다.

본 발명은, 일실시예를 위해 나타낸 첨부 도면을 참조하여 이하의 상세한 기술을 고려함으로써 용이하게 이해할 수 있다. 이어서, 첨부 도면을 참조하면서 본 발명의 실시예를 설명한다. 가능한 경우에는, 동일한 부분에는 동일한 부호를 부여하여, 중복되는 설명을 생략한다.

<제1 실시예>

도 1은, 본 발명의 실시예에 따른 화상 예측 부호화 방법을 실행할 수 있는 화상 예측 부호화 장치(100)를 나타낸 블록도이다. 이 화상 예측 부호화 장치(100)는, 입력 단자(101), 블록 분할기(102)(영역 분할 수단), 예측 신호 생성기(103)(예측 신호 생성 수단), 프레임 메모리(104), 감산기(105)(잔차 신호 생성 수단), 변환기(106)(부호화 수단), 양자화기(107)(부호화 수단), 역양자화기(108), 역변환기(109), 가산기(110), 엔트로피 부호화기(111), 및 출력 단자(112)를 포함하여 구성되어 있다. 변환기(106)와 양자화기(107)는 부호화 수단으로서 기능한다.

이상과 같이 구성된 화상 예측 부호화 장치(100)에 대하여, 이하에서 그 구성을 설명한다.

입력 단자(101)는, 복수의 화상으로 이루어지는 동화상의 신호를 입력하는 단자이다.

블록 분할기(102)는, 입력 단자(101)로부터 입력된 동화상의 신호로서, 부호화의 대상이 되는 화상을 복수의 영역으로 분할한다. 본 발명에 의한 실시예에서는, 8×8의 화소로 이루어지는 블록으로 분할하지만, 그 외의 블록의 크기 또는 형태로 분할해도 된다.

예측 신호 생성기(103)는, 부호화 처리의 대상이 되는 대상 영역(대상 블록)에 대하여 예측 신호를 생성하는 부분이다. 이 예측 신호 생성기(103)의 구체적인 처리에 대해서는 후술한다.

감산기(105)는, 라인 L102를 경유하여 입력된 블록 분할기(102)로 분할되어 얻어진 대상 영역에서 나타내는 화소 신호로부터, 라인 L103을 경유하여 입력된 예측 신호 생성기(103)에 의해 생성된 예측 신호를 감산하여, 잔차 신호를 생성하는 부분이다. 감산기(105)는, 감산하여 얻은 잔차 신호를, 라인 L105를 경유하여 변환기(106)에 출력한다.

변환기(106)는, 감산하여 얻어진 잔차 신호를 이산 코사인 변환하는 부분이다. 또한, 양자화기(107)는, 변환기(106)에 의해 이산 코사인 변환된 변환 계수를 양자화하는 부분이다. 엔트로피 부호화기(111)는, 양자화기(107)에 의해 양자화된 변환 계수를 압축 부호화하고, 압축 부호화된 압축 데이터를, 라인 L111을 경유하여 출력한다. 출력 단자(112)는, 엔트로피 부호화기(111)로부터 입력된 정보인 압축 데이터를 외부에 출력한다.

역양자화기(108)는, 양자화된 변환 계수를 역양자화하고, 역변환기(109)는 역이산 코사인 변환하고, 부호화된 잔차 신호를 복원한다. 가산기(110)는, 복원된 잔차 신호와 라인 L103으로부터 보내진 예측 신호를 가산하고, 대상 블록의 신호를 재생하여, 재생 화상 신호를 얻고, 이 재생 화상 신호를 프레임 메모리(104)에 기억시킨다. 본 실시예에서는 변환기(106)와 역변환기(109)를 사용하고 있지만, 이들의 변환기를 대신하는 다른 변환 처리를 사용해도 되고, 변환기(106)와 역변환기(109)는 반드시 필수적인 것은 아니다. 이와 같이, 후속의 대상 영역에 대한 화면 내 예측 또는 화면간 예측을 행하기 위해, 압축된 대상 영역의 화소 신호는 역처리에 의해 복원되고, 프레임 메모리(104)에 기억된다.

다음으로, 예측 신호 생성기(103)에 대하여 설명한다. 예측 신호 생성기(103)는, 부호화 처리의 대상이 되는 대상 영역(이하, 대상 블록이라고 함)에 대한 예측 신호를 생성하는 부분이다. 본 실시예에서는, 3종류의 예측 방법이 사용된다. 즉, 예측 신호 생성기(103)는, 후술하는 화면간 예측 방법과 화면 내 예측 방법 중 적어도 어느 한쪽 또는 양쪽을 사용하여 예측 신호를 생성한다.

본 실시예에 있어서의 예측 신호 생성기(103)의 처리에 대하여 설명한다. 도 2는, 본 실시예에 따른 화상 예측 부호화 장치(100)에 사용되는 예측 신호 생성기(103)을 나타낸 블록도이며, 템플레이트 매칭기(201)와 좌표 정보용 메모리(202)와 후보 예측 신호의 조합 결정기(203)와 예측 영역 취득기(204)와 가중치 부여기(205)와 가산기(206)를 포함하여 구성되어 있다.

템플레이트 매칭기(201)에서는, 라인 L104 경유로 프레임 메모리(104)로부터과거의 처리에서 이미 재생된 화상 신호(재생 화상 신호)가 입력되고, 대상 영역의 대상 화소 신호에 대한 예측 신호의 후보(후보 예측 신호)를 후술하는 템플레이트 매칭에 의해 복수개 탐색하고, 탐색된 후보 예측 신호에 액세스하기 위한 좌표 정보를 라인 L201a 경유로 좌표 정보용 메모리(202)에 출력한다. 동시에, 대상 영역과 각각의 후보 예측 신호 사이의 관계를 나타낸 차분값 데이터[후술하는 절대 오차값의 합 SAD(sum of absolute difference)에 상당]를 라인 L201b 경유로 후보 예측 신호의 조합 결정기(203)에 출력한다.

후보 예측 신호의 조합 결정기(203)에서는, 라인 L201b 경유로 입력된 차분값 데이터를 이용하여, 후보 예측 신호의 조합을 복수개 설정한다. 그리고, 라인 L202a 경유로 좌표 정보용 메모리(202)로부터 입력되는 좌표 정보에 따라 라인 L104 경유로 프레임 메모리로부터 입력되는 화소 신호를 사용하여, 후보 예측 신호의 조합을 결정하고, 후보 예측 신호의 조합 정보로서 라인 L203 경유로 예측 영역 취득기(204)에 출력한다.

예측 영역 취득기(204)는, 라인 L203 경유로 입력된 후보 예측 신호의 조합 정보에 따라, 이 조합에 속하는 후보 예측 신호의 좌표 정보를 라인 L202b 경유로 취득한다. 그리고, 예측 영역 취득기(204)는, 라인 L104 경유로 프레임 메모리(104)로부터, 취득한 좌표 정보에 대응하는 후보 예측 신호를 취득하고, 수시로 가중치 부여기(205)에 출력한다. 가중치 부여기(205)는, 라인 L204 경유로 입력된 각각의 후보 예측 신호에 가중 계수를 곱하고, 라인 L205 경유로 가산기(206)에 출력한다. 가산기(206)는 가중 처리된 후보 예측 신호를 차례로 가산하고, 예측 신호로서 라인 L103 경유로 도 1의 감산기(105)에 출력한다. 그리고, 가중치 부여기의 동작에 대해서는, 예를 들면 후보 예측 신호의 수가 N일 때 1/N을 각각의 후보 예측 신호에 곱하는 방법 등이 있지만, 다른 방법을 사용할 수도 있다.

또한, 템플레이트 매칭기(201), 후보 예측 신호의 조합 결정기(203), 예측 영역 취득기(204)의 각 구성에 대하여 상세하게 설명한다. 먼저, 템플레이트 매칭기(201)에 있어서의 처리 내용에 대하여 설명한다. 템플레이트 매칭기(201)는, 라인 L104 경유로 프레임 메모리(104)에 기억되어 있는 재생 화상 신호에 액세스하여, 매칭 처리를 행한다. 여기서, 이 매칭 처리에 대하여 설명한다. 도 3과 도 4는, 본 발명의 실시예에 따른 템플레이트 매칭 처리를 설명하기 위한 모식도이다. 여기서는 대상 블록(402)에 대한 후보 예측 신호를 생성하는 처리에 대하여 설명한다.

먼저, 대상 블록에 대하여 미리 결정된 방법으로 "대상 인접 영역"(템플레이트 라고도 함)과 "탐색 영역"을 설정한다. 도 3에서는, 대상 블록(402)에 접하고 있고, 그보다 전에 재생되어 동일한 화면 내에 있는 재생 화상의 일부(전부일 수도 있음)가 탐색 영역(401)으로서 설정되어 있다. 여기서는, 대상 블록(402)을, 8×8의 화소로 이루어지는 부호화 대상 블록을 분할한 4×4 화소의 소 블록으로 하고 있지만, 그 외의 블록의 크기 또는 형태로 분할해도 되고, 분할하지 않아도 된다.

또한, 도 4에서는, 대상 블록(402)과 다른 화면(411)에서 나타내어지는 재생 화상의 일부가 탐색 영역(417)으로서 설정되어 있다. 또한, 대상 블록(402)과 다른 복수의 화면에 각각 탐색 영역을 설치해도 된다. "대상 인접 영역"으로서는 대상 블록(402)에 인접하는 기 재생의 화소군(역L자의 영역)(403)을 사용한다. 그리고, 본 실시예에서는, 2개의 화면(도 3과 도 4) 내에 탐색 영역을 설정하고 있지만, 대상 블록과 동일한 화면 내에만 설정해도 되고(도 3), 대상 블록과 상이한 화면 내에만 설정해도 된다(도 4).

도 3에 나타낸 바와 같이 탐색 영역(401)과 대상 블록(402)은 접할 필요는 없고, 탐색 영역(401)은 대상 블록(402)과 전혀 접하고 있지 않아도 된다. 또한, 도 4에 나타낸 바와 같이 대상 블록과 다른 하나의 화면(화면(411)만)에 있어서 탐색 영역을 설정하는 것으로 한정할 필요는 없으며, 대상 블록과 다른 복수의 화면(참조 화상, 재생된 상태이면 표시 순서로 미래의 프레임을 포함해도 됨)에 각각 탐색 영역을 설정해도 된다.

또한, 대상 인접 영역(403)에 대해서는, 대상 블록(402)과 적어도 1화소라도 접하고 있으면 된다. 여기서는, 대상 인접 영역의 형상은, 역L자로 하고 있지만, 이에 한정되지 않는다. 따라서, 대상 인접 영역은 대상 블록(402)의 주위의 재생된 화소로 구성되어 있으면, 형태와 화소수는 미리 정해 두면 임의로 하면 되고, 시퀀스 단위 또는 프레임 단위나 블록 단위로 템플레이트의 형상과 사이즈(화소수)를 부호화해도 된다.

템플레이트 매칭기(201)는, 탐색 영역(401)과 탐색 영역(417) 또는 어느 한쪽의 탐색 영역에 있어서, 대상 인접 영역(403)과 동일한 형상을 가지는 화소군과의 사이에서, 대응하는 화소 사이의 절대 오차값의 합(SAD)을 구하고, SAD가 작은 M개의 영역을 검색하고, 이들을 "예측 인접 영역"이라고 한다. 검색 정밀도는 정수 화소 단위일 수도 있고, 1/2 화소, 1/4 화소 등의 소수 단위 정밀도의 화소를 생성하여, 소수 화소 정밀도로 탐색을 행해도 된다. M의 값은 미리 설정해 두면 임의의 값이라도 된다. 도 3 및 도 4에 나타낸 바와 같이, M=6이며, 예측 인접 영역(404a, 404b, 404c, 414a, 414b 및 414c)이 탐색되어 있다. 또한, 탐색하는 예측 인접 영역의 수를 결정하지 않고 SAD가 있는 임계값보다 작은 영역을 탐색해 M의 값을 결정해도 되고, 임계값보다 작은 영역의 수로 설정한 수보다 작은 쪽을 M의 값으로 해도 된다. 이 때 임계값은, SAD의 값 그 자체에 대한 것이 아니라, 최소의 SAD와 2번째 이후의 SAD와의 차분값에 대하여 적용해도 된다. 후자에서는, 템플레이트 매칭기(201)는, 최소의 SAD가 큰 경우라도 임계값을 변경하지 않고 많은 예측 인접 영역을 검색할 수 있다. M의 상한값이나 임계값은, 미리 설정해 두어도 되지만, 시퀀스 단위 또는 프레임 단위나 블록 단위로 적절한 값을 부호화해도 된다.

예측 인접 영역(404a, 404b, 404c, 414a, 414b 및 414c)에 접하고 있는 영역(405a, 405b, 405c, 415a, 415b 및 415c)이 대상 블록(402)에 대한 예측 영역으로 결정되고, 예측 영역 내의 화소 신호가 후보 예측 신호로 결정된다. 그리고, 여기서는, 예측 인접 영역과 후보 예측 신호를 나타낸 예측 영역과의 위치 관계는, 대상 영역과 대상 인접 영역과 동일한 관계에 있지만, 그렇지 않을 수도 있다. 본 실시예에서는, 각각의 예측 인접 영역(및 예측 영역)을 프레임 메모리(104)로부터 취득하기 위한 액세스 정보로서, 대상 인접 영역(및 대상 영역)과 예측 인접 영역(및 예측 영역) 사이의 차분 좌표(406a, 406b, 406c, 416a, 416b 및 416c)와 각각의 예측 인접 영역(및 예측 영역)이 속하는 화면(참조 화상)의 식별 번호가 좌표 정보로서 좌표 정보용 메모리(202)에 기억된다.

전술한 바와 같은 동작을 행하기 위한 템플레이트 매칭기(201)의 구성에 대하여 설명한다. 템플레이트 매칭기(201)는, 대상 인접 영역 취득기(211)와 예측 인접 영역 취득기(212)와 비교기(213)와 스위치(214)를 포함하여 구성된다. 먼저, 대상 인접 영역 취득기(211)는, 프레임 메모리(104)로부터 라인 L104를 경유하여 대상 인접 영역(403)을 취득한다.

예측 인접 영역 취득기(212)는, 라인 L104를 경유하여 프레임 메모리(104) 내의 탐색 영역으로부터 대상 인접 영역과 동일한 형상의 영역의 화소 신호를 차례로 취득하고, 라인 L211 경유로 대상 인접 영역 취득기(211)로부터 얻어지는 대상 인접 영역의 화소 신호(인접 화소 신호)와의 사이에서 SAD를 산출한다. 비교기(213)는, 산출된 SAD를, 라인 L212b 경유로 입력하고, 지금까지 취득된 SAD 중에서 M번째로 작은 SAD와 비교한다. 그리고, 비교기(213)가 입력된 SAD 쪽이 작다고 판단한 경우에는, 비교기(213)는, 상기 M번째 이내에 들어간 SAD를 일시적으로 기억하고, M+1번째로 된 SAD를 소거한다. 그리고, 비교기(213)는, 처리 개시 시에는 SAD의 초기값으로서 통상의 SAD와 비교하여 충분히 큰 값을 초기값으로서 설정한다.

전술한 처리를 행하고, 또한 예측 인접 영역 취득기(212)는, 예측 인접 영역(및 예측 영역)에 액세스하기 위한 정보로서, 비교기(213)에 의한 스위치(214)에 대한 제어에 의해 라인 L212a 및 L201a 경유로 좌표 정보를 좌표 정보용 메모리(202)에 출력한다. 이 때, SAD의 값이 M+1번째로 된 좌표 정보는 불필요하게 되므로, 좌표 정보용 메모리(202)에 있어서 재기입되어 기억되어도 된다. 예측 인접 영역 취득기(212)에 의한 탐색 영역 내의 탐색이 종료되었을 때, 비교기(213)는, 일시적으로 기억된 M개의 SAD의 값을 라인 L201b를 경유하여, 후보 예측 신호의 조합 결정기(203)에 출력한다.

다음으로, 후보 예측 신호의 조합 결정기(203)의 동작을 설명한다. 후보 예측 신호의 조합 결정기(203)는, 조합 설정기(231), 예측 인접 영역 취득기(232), 대상 인접 영역 취득기(233), 가중치 부여기(234), 가산기(235), 및 비교·선택기(236)를 포함하여 구성된다.

조합 설정기(231)는, 라인 L201b를 경유하여 입력된 M개의 SAD에 기초하여, 복수의 예측 인접 영역의 조합을 설정한다. 예측 인접 영역의 조합 결정기(203)에 있어서의 처리를 도 6에서 설명하는 바와 같이, 입력된 SAD의 작은 N개의 예측 인접 영역을 1개의 조합으로서 설정한다. N의 값은, M보다 작은 2의 승수이며, M=6일 때, N=1, 2, 4가 되는 3개의 조합을 만든다.

이와 같이, 본 발명의 후보 예측 신호의 조합 처리를 이용함으로써, 각각의 대상 블록에 적절한 후보 예측 신호의 평활화의 강도, 즉 평균화하는 예측 후보 신호의 수를 결정할 수 있게 된다. 바꾸어 말하면, 인접 화소 신호와의 사이의 절대 오차값인 차분 SAD가 작은 N개의 예측 인접 영역의 화소 신호를 평균화한 비교 신호와 인접 화소 신호 사이의 차분 SAD가 가장 작은 N을 정함으로써, 탐색된 M개의 후보 예측 신호로부터, 예측 신호의 생성에 적절한 후보 예측 신호를 부가 정보없이 선별할 수 있다. 그리고, N의 값을 2의 승수로 하고 있는 것은, 신호의 평균화 처리를 가산과 시프트 연산만으로 행하는 것을 고려하고 있기 때문이다.

또한, M의 값과 N의 값 및 N개의 예측 신호 영역의 조합은, 전술한 바로 한정되지 않는다. 1개의 조합에 포함되는 예측 인접 영역의 수는 1∼M개 중에서 임의로 설정할 수 있다. 예를 들면, M보다 작은 N개의 예측 인접 영역에 의해 구성되는 조합을 만드는 경우, M개 중에서 N개를 선택하여 모든 조합을 설정할 수도 있다. 이 때, N의 값은 고정이라도 되고, 1∼M 중에서 2개 이상을 선택하여 조합을 설정해도 된다. 다만, 부호화기인 화상 예측 부호화 장치(100)와 복호기인 후술하는 화상 예측 복호 장치(300)에서 예측 인접 영역의 조합을 자동적으로 선택하게 하기 위해서는, 양자(兩者)의 조합의 설정 방법을 일치시켜 둘 필요가 있다.

예측 인접 영역 취득기(232)는, 예측 인접 영역의 조합 정보가 라인 L231a 경유로 1개 입력되면, 그 조합에 포함되는 예측 인접 영역에 대한 좌표 정보를 라인 L202a 경유로 좌표 정보용 메모리(202)로부터 취득한다. 그리고, 예측 인접 영역 취득기(232)는, 좌표 정보에 대응하는 예측 인접 영역의 화소 신호를 라인 L104 경유로 취득하고, 수시로 가중치 부여기(234)에 출력한다.

가중치 부여기(234)는, 라인 L232 경유로 입력된 각각의 예측 인접 영역의 화소 신호에 가중 계수를 곱하고, 라인 L234 경유로 가산기(235)에 출력한다.

가산기(235)는, 가중 처리된 예측 인접 영역의 화소 신호를 누적 가산하여 적산함으로써, 대상 인접 영역의 화소 신호(인접 화소 신호)와 비교하기 위한 비교 신호를 생성하고, 생성된 비교 신호를 라인 L235 경유로 비교·선택기(236)에 출력한다. 그리고, 가중치 부여기(234)의 동작에 대하여는, 예를 들면, 예측 인접 영역의 수가 N일 때 1/N을 각각의 예측 인접 영역의 화소 신호에 곱하는 방법 등이 있지만, 다른 방법을 사용해도 된다. 예를 들면, N개의 예측 인접 영역의 화소 신호와 인접 화소 신호의 차분값(절대 오차합, 제곱 오차합, 분산 등)을 계산하고, 그 비율에 기초하여 각각의 예측 인접 영역으로의 가중 계수를 결정하는 방법을 고려할 수 있다.

여기서, 가중치 부여기(205)와 가중치 부여기(234)의 가중치 부여 방법을 동일하게 함으로써, 예측 인접 영역을 사용하여, 후보 예측 신호(예측 영역의 화소 신호)의 적절한 조합을 추측할 수 있다. 예측 인접 영역은 부호화기와 복호기를 공유할 수 있으므로, 본 방법을 이용한 복호기이며 후술하는 화상 예측 복호 장치(300)는, 부호화기인 화상 예측 부호화 장치(100)에 의해 선택된 후보 예측 신호의 조합을 부가 정보없이 취득 가능한 효과가 있다. 그리고, 가중치 부여기(205)와 가중치 부여기(234)의 가중치 부여 방법은 반드시 동일하게 할 필요는 없다. 예를 들면, 연산량 삭감을 위해서는, 가중치 부여기(234)에는 단순한 가중치 부여 처리를 적용하고, 가중치 부여기(205)에, 국소적인 신호의 특징에 따른 적응적인 가중치 부여 처리를 적용하는 방법도 효과적이다.

대상 인접 영역 취득기(233)는, 프레임 메모리(104)로부터 라인 L104를 경유하여 대상 인접 영역의 화소 신호(인접 화소 신호)를 취득하고, 비교·선택기(236)에 출력한다.

비교·선택기(236)는, 복수의 예측 인접 영역의 조합에 대응하는 비교 신호와 인접 화소 신호 사이에서 SAD를 산출하고, 그 값이 최소로 되는 예측 인접 영역의 조합을, 후보 예측 신호의 조합으로서 선택한다. 선택된 후보 예측 신호의 조합(L231b 경유로 취득)은, 후보 예측 신호의 조합 정보로서 라인 L203 경유로 예측 영역 취득기(204)에 출력된다.

이와 같이, 본 실시예에 의하면, 대상 블록마다, 부가 정보없이, 복수의 후보 예측 신호로부터 예측 신호 생성에 효과적인 후보 예측 신호의 조합을 선택할 수 있게 된다.

도 5는, 본 실시예에 따른 템플레이트 매칭기(201)에 의하여, 대상 영역(대상 블록)의 화소 신호(대상 화소 신호)에 대한 복수개(M개)의 후보 예측 신호를 탐색하고, 탐색한 후보 예측 신호에 액세스하기 위한 좌표 정보를 취득하는 방법을 나타낸 흐름도이다. 먼저, 대상 인접 영역 취득기(211)에서는, 대상 블록에 대한 대상 인접 영역(템플레이트 신호)이 프레임 메모리(104)로부터 취득된다(S502).

다음으로, 템플레이트 매칭기(201)는, M개의 후보 예측 신호를 선택하기 위한 임계값을 충분히 큰 값으로 초기화한다(S503). 예측 인접 영역 취득기(212)에서는, 대상 인접 영역과 탐색 영역 내의 대상 인접 영역과 동일한 형상의 화소군과 차분 절대값의 합(SAD)이 요구된다(S504). 템플레이트 매칭기(201) 내의 비교기(213)에 의해 SAD와 임계값이 비교되고(S505), SAD값이 임계값보다 작다고 판단된 경우 S506으로 진행하고, 그렇지 않다고 판단된 경우 S508로 진행한다.

템플레이트 매칭기(201) 내의 비교기(213)에서는, 구해진 SAD와 이전의 SAD을 비교하여, 구해진 SAD가 작은 순서로 M번까지 들어갈 때, 탐색한 화소군을 후보 예측 신호(및 예측 인접 영역의 화소 신호)에 추가하고, 후보 신호를 갱신한다. 본 실시예에서는, 후보 예측 신호(및 예측 인접 영역의 화소 신호) 대신, 후보 예측 신호(및 예측 인접 영역의 화소 신호)에 액세스하기 위한 시공간의 좌표 정보(공간 위치와 탐색한 화소군이 포함되는 화면의 식별 번호)를, 스위치(214)에 의한 전환 제어에 기초하여 좌표 정보용 메모리(202)에 기억함으로써, 좌표 정보를 갱신한다(S506). 이와 동시에, 템플레이트 매칭기(201)는, 임계값을 M번째로 작은 SAD의 값으로 갱신한다(S507).

그 후, 예측 인접 영역 취득기(212)에 의하여, 탐색 영역이 모두 탐색이 끝난 상태인지의 여부가 확인된다(S508). 모두 탐색이 끝난 상태는 아니라고 판단된 경우, S504로 복귀하고, 예측 인접 영역 취득기(212)에 의하여, 대상 인접 영역과 탐색 영역 내의 대상 인접 영역과 동일한 형상의 다음의 화소군과 차분 절대값의 합(SAD)이 구해진다.

전부 탐색이 끝난 상태가 된 시점에서, 하나의 대상 블록의 템플레이트 매칭 처리가 종료된다(S509)

이와 같이 템플레이트 매칭기(201)에 의한 처리에 의하여, 대상 인접 영역에 있어서의 화소 신호와 상관이 높은 화소 신호를 포함한 상위 M개의 예측 인접 영역을 특정할 수 있다.

다음으로, 후보 예측 신호의 조합 결정기(203)의 처리에 대하여 도면을 참조하여 설명한다. 도 6은, 본 실시예에 따른 후보 예측 신호의 조합 결정기(203)에 있어서의, 복수의 후보 예측 신호의 평활화(가중 평균)에 의해 예측 신호의 생성에 적합한 N개의 후보 예측 신호의 조합을 선택하는 방법을 나타낸 흐름도이다. 먼저, 조합 결정기(203)의 조합 설정기(231)는, 후보 예측 신호의 수 N을 1로 설정한다(S602). 다음으로, 대상 인접 영역 취득기(233)에서는, 대상 블록에 대한 대상 인접 영역(템플레이트 신호)이 프레임 메모리(104)로부터 취득된다(S603).

그리고, 예측 인접 영역 취득기(232)에서, 조합 설정기(231)에 의해 설정된 조합에 속하는 N개의 예측 인접 영역이, 라인 L104를 경유하여 취득된다. 즉, 예측 인접 영역 취득기(232)는, 대상 블록에 대한 대상 인접 영역의 인접 화소 신호와 참조 화상 상의 탐색 영역 내에 있는 대상 인접 영역과 동일한 형상의 영역(예측 인접 영역의 후보)의 화소 신호와의 차분값인 SAD가 작은 N개의 예측 인접 영역에 대응하는 좌표 정보를 좌표 정보용 메모리(202)로부터 취득한다. 그리고, 취득한 좌표 정보에 대응하는 N개의 예측 인접 영역을 프레임 메모리(104)로부터 취득한다(S604).

그 후, 가중치 부여기(234)와 가산기(235)에 있어서, N개의 예측 인접 영역의 화소 신호의 평균화(가중 평균일 수도 있음)에 의해 비교 신호를 생성하고(S605), 비교·선택기(236)에서, 생성된 비교 신호와 인접 화소 신호와의 차분값인 SAD를 산출한다(S606). 이와 동시에, 비교·선택기(236)에서는, 산출된 SAD를 그때까지의 최소의 SAD와 비교하여(S607), SAD가 최소값이라고 판단될 경우, S608로 진행하고, 그렇지 않다고 판단된 경우, S609로 진행한다. 그리고, S607에서는, 산출된 SAD와 그때까지의 최소의 SAD가 동일한 경우에는, S609로 진행하지만, S608로 진행하도록 해도 된다.

산출된 SAD가, 그때까지의 최소의 SAD인 경우, 비교·선택기(236)에서, S604에서 취득한 좌표 정보의 조합을 기억한다(S608).

여기서, 조합 결정기(203)는, N의 값을 2배로 갱신한다(S609). 그리고, 갱신된 N과 M의 크기를 비교하여(S610), 갱신된 N의 값이 M보다 작은 경우, S604로 복귀한다. 갱신된 N의 값이 M보다 큰 경우, S608에서 기억한 좌표 정보의 조합을 후보 예측 신호의 조합으로서 결정하고, 후보 예측 신호의 조합 선택 처리를 종료한다(S611).

이와 같이, 본 실시예의 후보 예측 신호의 조합 처리를 이용함으로써, 각각의 대상 블록에 적절한 후보 예측 신호의 평활화의 강도, 즉 평균화하는 예측 후보 신호의 수를 결정할 수 있게 된다. 바꾸어 말하면, 인접 화소 신호와의 사이의 차분값인 SAD가 작은 N개의 예측 인접 영역의 화소 신호를 평균화한 비교 신호와 인접 화소 신호 사이의 차분 SAD가 가장 작은 N을 정함으로써, 탐색한 M개의 후보 예측 신호로부터, 예측 신호의 생성에 적합한 후보 예측 신호를 부가 정보없이 선별할 수 있다.

그리고, N의 값을 2의 승수로 하고 있는 것은, 신호의 평균화 처리를 가산과 시프트 연산에만 행하는 것을 고려하기 때문이다. 본 실시예에 있어서는, N의 값은 2의 승수로 한정되는 것은 아니다. 또한, 복수의 예측 인접 영역의 조합을 설정하는 방법은, 도 6의 방법으로 한정되지 않는다. 1개의 조합에 포함되는 예측 인접 영역의 수는 1∼M개 중에서 임의로 설정할 수 있다. 예를 들면, M보다 작은 N개의 예측 인접 영역으로 구성되는 조합을 만드는 경우, M개 중에서 N개를 선택하는, 모든 조합을 설정할 수도 있다. 이 때, N의 값은 고정일 수도 있고, 1∼M 중에서 2개 이상을 선택하여 조합을 설정해도 된다. 또한, 부호화기와 복호기로 예측 인접 영역의 조합을 자동적으로 선택하게 하기 위해서는, 양자(兩者)의 조합의 설정 방법을 일치시켜 둘 필요가 있다.

도 7은, 본 실시예에 따른 복수 개 후보 예측 신호의 평활화(가중 평균)로 예측 신호의 생성 방법을 나타낸 흐름도이다.

예측 영역 취득기(204)에서는, 선택된 좌표 정보에 따라, 프레임 메모리(104)로부터 대상 블록에 대응하는 후보 예측 신호를 1개 이상 취득한다(S702). 그리고, 가중치 부여기(205)와 가산기(206)에 있어서, 취득한 후보 예측 신호를 가중 평균함으로써, 대상 블록의 예측 신호가 생성된다(S703). 이것으로, 하나의 대상 블록에 대한 처리가 종료된다(S704).

도 8은, 본 실시예에 따른 화상 예측 부호화 장치(100)에 있어서의 화상 예측 부호화 방법을 나타낸 흐름도이다. 먼저, 도 2의 예측 신호 생성기(103)에서, 대상 블록의 예측 신호를 생성한다(S102). 다음으로, 대상 블록의 신호와 대상 블록의 예측 신호와의 차분을 나타내는 잔차 신호가, 변환기(106), 양자화기(107), 및 엔트로피 부호화기(111)에 의해 부호화된다(S103). 그리고, 부호화된 잔차 신호가 출력 단자(112)를 통하여 출력된다(S104).

그 후, 후속의 대상 블록을 예측 부호화하기 위해, 부호화된 잔차 신호는 역양자화기(108) 및 역변환기(109)에 의해 복호된다. 그리고, 복호된 잔차 신호에 가산기(110)에 의해 예측 신호가 가산되고, 대상 블록의 신호가 재생되고, 프레임 메모리(104)에 참조 화상으로서 기억된다(S105). 그리고, 모든 대상 블록의 처리가 완료되지 않은 경우(S106)에는 S102로 복귀하고, 다음 대상 블록에 대한 처리가 행해지고, 완료된 경우에는 처리를 종료한다(S107).

이상 설명한 바와 같이, 본 실시예의 화상 예측 부호화 장치(100)에 있어서는, 부가 정보를 사용하지 않고 복수의 예측 신호를 사용하여 평활화한 예측 신호를 만들 수 있다.

다음으로, 본 실시예에 있어서의 화상 예측 복호 방법에 대하여 설명한다. 도 9는, 본 실시예에 따른 화상 예측 복호 장치(300)를 나타낸 블록도이다. 이 화상 예측 복호 장치(300)는, 입력 단자(301), 엔트로피 복호기(302)(데이터 복호 수단), 역양자화기(303)(잔차 신호 복원 수단), 역변환기(304)(잔차 신호 복원 수단), 가산기(305)(재생 화상 신호 생성 수단), 출력 단자(306), 프레임 메모리(307), 예측 신호 생성기(308)(예측 신호 생성 수단)이다. 역양자화기(303)와 역변환기(304)에 의한 잔차 신호 복원 수단은, 전술한 것 외의 것을 사용해도 된다. 또한, 역변환기(304)는 없어도 된다. 이하, 각각의 구성에 대하여 설명한다.

입력 단자(301)는, 전술한 화상 예측 부호화 방법으로 압축 부호화된 압축 데이터를 입력한다. 이 압축 데이터에는, 화상을 복수의 블록으로 분할한 대상 블록을 예측하여 부호화된 잔차 신호가 포함되어 있다.

엔트로피 복호기(302)는, 입력 단자(301)에서 입력된 압축 데이터를 엔트로피 복호함으로써, 대상 블록의 잔차 신호의 부호화 데이터를 복호한다.

역양자화기(303)는, 복호된 대상 블록의 잔차 신호를 라인 L302 경유로 입력하고, 역양자화한다. 역변환기(304)는, 역양자화된 데이터를 역이산 코사인 변환한다. 역양자화기(303) 및 역변환기(304)는, 각각 역양자화, 역이산 코사인 변환하여 얻은 신호를 차분 신호(재생 잔차 신호)로서 출력한다.

예측 신호 생성기(308)는, 기본적으로 도 2에 나타낸 구성과 동일한 구성 또는 거기에 상당하는 기능을 가지며, 도 2의 예측 신호 생성기(103)와 동일한 처리에 의해 예측 신호를 생성한다. 예측 신호 생성기(308)는, 프레임 메모리(307)에 기억되어 있는 재생된 신호만으로부터 예측 신호를 생성하므로, 프레임 메모리(307)와 도 1에 있어서의 프레임 메모리(104)로의 입력 데이터를 동일한 방법으로 관리함으로써, 도 1의 예측 신호 생성기(103)와 동일한 예측 신호를 생성할 수 있다. 이 예측 신호 생성기(308)의 상세한 구성에 대해서는, 도 2에서 설명되었으므로 생략한다. 이와 같이 동작하는 예측 신호 생성기(308)는, 생성된 예측 신호를 라인 L308 경유로 가산기(305)에 출력한다.

가산기(305)는, 예측 신호 생성기(308)에서 생성된 예측 신호를, 역양자화기(303) 및 역변환기(304)에 의해 복원된 차분 신호(재생 잔차 신호)에 가산하여, 대상 블록의 재생 화상 신호를 라인 L305 경유로 출력 단자(306) 및 프레임 메모리(307)에 출력한다. 그리고, 출력 단자(306)는, 외부(예를 들면, 디스플레이)에 출력한다.

프레임 메모리(307)는, 다음 복호 처리를 위한 참조용 재생 화상으로서, 가산기(305)로부터 출력된 재생 화상을 참조 화상으로서 기억한다. 이 때, 도 1의 화상 예측 부호화 장치(100)와 동일한 방법으로 재생 화상을 관리한다.

다음으로, 도 10을 사용하여 본 실시예에 따른 화상 예측 복호 장치(300)에 있어서의 화상 예측 복호 방법을 설명한다. 먼저, 입력 단자(301)를 통하여, 압축된 압축 데이터가 입력된다(S302). 그리고, 엔트로피 복호기(302)에 있어서, 압축 데이터에 대하여 엔트로피 복호가 행해지고, 양자화된 변환 계수가 추출된다(S303). 여기서 예측 신호 생성기(308)에 의해 예측 신호가 생성된다(S304). S304의 처리는, 기본적으로 도 8의 처리 S102와 동일하며, 도 5∼도 7의 처리가 실시된다.

한편, 양자화된 변환 계수는, 역양자화기(303)에 있어서 양자화 파라미터를 사용하여 역양자화되어 역변환기(304)에 있어서 역변환이 행해지고, 재생 차분 신호가 생성된다(S305). 그리고, 생성된 예측 신호와 재생 차분 신호가 가산되고 재생 신호가 생성되고, 재생 신호는 다음 대상 블록을 재생하기 위해 프레임 메모리에 기억된다(S306). 다음 압축 데이터가 있는 경우에는, 다시 전술한 프로세스를 반복하고(S307), 모든 데이터는 마지막까지 처리된다(S308). 그리고, 필요에 따라 S302로 복귀하여, 압축 데이터를 입력하도록 해도 된다.

본 실시예에 있어서의 화상 예측 부호화 방법 및 화상 예측 복호 방법을, 프로그램으로서 기록 매체에 기억시켜서 제공할 수도 있다. 기록 매체로서는, 플로피 디스크(등록상표), CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다.

도 11은, 화상 예측 부호화 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다. 화상 예측 부호화 프로그램 P100은, 블록 분할 모듈 P102, 예측 신호 생성 모듈 P103, 기억 모듈 P104, 감산 모듈 P105, 변환 모듈 P106, 양자화 모듈 P107, 역양자화 모듈 P108, 역변환 모듈 P109, 가산 모듈 P110, 엔트로피 부호화 모듈 P111을 포함하여 구성되어 있다. 그리고, 예측 신호 생성 모듈 P103은, 도 12에 나타낸 바와 같이, 템플레이트 매칭 모듈 P201, 후보 예측 신호의 조합 결정 모듈 P202 및 예측 신호 합성 모듈 P203을 포함하여 구성되어 있다.

전술한 각각의 모듈이 실행됨으로써 실현되는 기능은, 전술한 화상 예측 부호화 장치(100)의 각각의 구성 요소와 동일하다. 즉, 화상 예측 부호화 프로그램 P100의 각각의 모듈의 기능은, 블록 분할기(102), 예측 신호 생성기(103), 프레임 메모리(104), 감산기(105), 변환기(106), 양자화기(107), 역양자화기(108), 역변환기(109), 가산기(110), 엔트로피 부호화기(111)의 기능과 마찬가지이며, 예측 신호 생성 모듈 P103의 각각의 모듈의 기능은, 템플레이트 매칭기(201), 후보 예측 신호의 조합 결정기(203), 신호 합성을 위한 예측 영역 취득기(204) 내지 가산기(206)의 기능과 마찬가지이다.

또한, 도 13은, 화상 예측 복호 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다. 화상 예측 복호 프로그램 P300은, 엔트로피 복호 모듈 P302, 역양자화 모듈 P303, 역변환 모듈 P304, 가산 모듈 P305, 기억 모듈 P307, 예측 신호 생성 모듈 P308을 포함하여 구성되어 있다.

전술한 각각의 모듈이 실행됨으로써 실현되는 기능은, 전술한 화상 예측 복호 장치(300)의 각각의 구성 요소와 동일하다. 즉, 화상 예측 복호 프로그램 P300의 각각의 모듈의 기능은, 엔트로피 복호기(302), 역양자화기(303), 역변환기(304), 가산기(305), 프레임 메모리(307)의 기능과 마찬가지이다. 그리고, 예측 신호 생성 모듈 P308은, 화상 예측 부호화 프로그램 P100에 있어서의 예측 신호 생성 모듈 P103과 동등한 기능을 가지며, 템플레이트 매칭기(201), 후보 예측 신호의 조합 결정기(203), 신호 합성을 위한 예측 영역 취득기(204) 내지 가산기(206)의 기능을 구비하고 있다.

이와 같이 구성된 화상 예측 부호화 프로그램 P100 또는 화상 예측 복호 프로그램 P300은, 기록 매체(10)에 기억되고, 후술하는 컴퓨터로 실행된다.

도 16은, 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이며, 도 17은, 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다. 컴퓨터로서는, CPU를 구비하고 소프트웨어에 의한 처리나 제어를 행하는 DVD 플레이어, 셋탑 박스, 휴대 전화기 등을 포함한다.

도 16에 나타낸 바와 같이, 컴퓨터(30)는, 플로피디스크 드라이브 장치(플로피는 등록상표), CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(12)와, 오퍼레이팅 시스템을 상주시킨 작업용 메모리[RAM(14)]과, 기록 매체(10)에 기억된 프로그램을 기억하는 메모리(16)와, 디스플레이 등의 표시 장치(18)와, 입력 장치인 마우스(20) 및 키보드(22)와, 데이터 등의 송수신을 행하기 위한 통신 장치(24)와, 프로그램을 제어하는 CPU(26)를 구비하고 있다. 컴퓨터(30)는, 기록 매체(10)가 판독 장치(12)에 삽입되면, 판독 장치(12)로부터 기록 매체(10)에 기억된 화상 예측 부호화 프로그램 P100 또는 화상 예측 복호 프로그램 P300에 액세스 가능하게 되며, 화상 예측 부호화 프로그램 P100 또는 화상 예측 복호 프로그램 P300에 의하여, 본 실시예의 화상 예측 부호화 장치(100) 또는 화상 예측 복호 장치(300)로서 동작 가능하게 된다.

도 17에 나타낸 바와 같이, 화상 예측 부호화 프로그램 P100 또는 화상 예측 복호 프로그램 P300은, 반송파에 중첩된 컴퓨터 데이터 신호(40)로서 네트워크를 통하여 제공될 수도 있다. 이 경우, 컴퓨터(30)는, 통신 장치(24)에 의해 수신된 화상 예측 부호화 프로그램 P100 또는 화상 예측 복호 프로그램 P300을 메모리(16)에 기억시키고, 상기 화상 예측 부호화 프로그램 P100 또는 화상 예측 복호 프로그램 P300을 실행할 수 있다.

여기까지 설명한 본 실시예는, 다음과 같이 변형될 수도 있다. 도 2의 후보 예측 신호 조합 결정기(203)에서는, 대상 블록의 대상 인접 영역의 화소 신호와 복수의 인접 예측 영역의 화소 신호를 가중 평균한 비교 신호 사이의 차분값인 SAD(절대 오차값의 합)를 계산하여, 최적인 후보 예측 신호의 조합을 결정하고 있지만, SAD가 아니고, 차분 신호의 제곱 오차의 합(SSD)이나 분산(VAR)을 사용해도 조합을 결정할 수도 있다. 3개의 평가 기준은 SAD, SSD, VAR의 순서로 연산량은 증가하는 반면, 평가의 정밀도는 향상되고, 오차 신호의 부호량을 적게 할 수 있는 효과를 바랄 수 있다.

또한, 대상 인접 신호와 비교 신호의 차분값인 SAD가 동일한 값으로 되는 조합이 복수개 얻어질 때, SSD나 VAR을 사용하여 최종적인 조합을 결정하는 방법도 효과적이다. 즉, 비교·선택기(236)는, 예측 인접 영역 취득기(232)에 있어서 산출된 SAD가, 지금까지 산출한 최소값과 일치할 경우에는, 또한 SSD 또는 VAR를 비교 대상으로 하여, 어느 값이 작은지 비교한다. 여기서 SSD 또는 VAR이 작다고 판단된 조합이 비교·선택기(236)에 최소값을 가지는 조합으로서 기억된다. 이 경우, 비교·선택기(236)는, SSD 또는 VAR을 SAD와 함께 산출함으로써, 일시적으로 기억시키게 된다.

또한, 인접 예측 영역의 화소 신호가 아니라, 복수의 후보 예측 신호의 조합에 대하여, 그 분산을 계산하여, 조합의 결정에 사용하는 방법도 가능하다. 구체적으로는, 도 2의 예측 인접 영역 취득기(232), 가중치 부여기(234), 가산기(235)는, 각각 예측 영역 취득기(204), 가중치 부여기(205), 가산기(206)로 치환됨으로써 실현할 수 있다. 이 변형예는, 대상 인접 영역 취득기(233)의 처리가 불필요하며, 또한 비교·선택기(236)로부터 도 1의 감산기(105)에 예측 신호를 출력하는 것이 가능하게 되므로, 회로 규모가 삭감 가능한 효과가 있다.

템플레이트 매칭기(201)의 비교기(213)에 있어서도, 대상 블록의 대상 인접 영역과 탐색된 대상 인접 영역과 동일한 형상의 화소군의 평가에 차분값인 SAD를 사용하고 있지만, SSD나 VAR을 바꾸어도 되고, 전술한 후보 예측 신호 조합 결정기(203)의 경우와 마찬가지의 효과를 기대할 수 있다.

도 1의 예측 신호 생성기(103)[도 9의 예측 신호 생성기(308)]는, 도 2의 구성에 한정되지 않는다. 예를 들면, 도 2에서는, 템플레이트 매칭기에 의해 검색한 복수의 후보 예측 신호에 대하여, 그 신호에 액세스하기 위한 좌표 정보를 좌표 정보용 메모리(202)에 기억하고 있지만, 후보 예측 신호와 예측 인접 영역의 화소 신호를 기억시킨 구성이 될 수도 있다. 도 2 내의 메모리 양은 증가하지만, 프레임 메모리로의 액세스를 감소시키는 효과가 있다. 또한, 템플레이트 매칭기(201)는, 대상 인접 영역과 M개의 예측 인접 영역 사이의 차분값인 SAD를 라인 L201b 경유로 후보 예측 신호의 조합 결정기(203)에 출력하고 있지만, 조합의 설정에, 이들의 차분값인 SAD를 이용하지 않는 경우에는, 라인 L201b는 불필요하다.

본 실시예에서는, 대상 인접 영역을 재생된 화소로 구성하고 있지만, 인접 블록의 예측 신호로 구성해도 된다. 오차 신호의 부호화 블록 단위보다, 예측 영역을 작게 하고자 하는 경우나, 부호화·복호 처리를 행하지 않고 대상 인접 영역의 신호를 생성하고자 하는 경우에는 효과적이다.

본 실시예는, 템플레이트 매칭에 의하여, 확정되지 않은 개수의 후보 신호를 탐색하고, 적절한 수의 후보 신호를 선택하는 방법에 적용할 수 있다.

<제2 실시예>

제1 실시예에서는, 예측 인접 영역과 대상 인접 영역 사이의 상관을 이용하여, 대상 영역의 예측 신호를 생성하기 위한 후보 예측 신호(예측 영역의 화소 신호)의 조합을 복수의 후보로부터 결정하는 방법에 대하여 나타내었다. 제2 실시예에서는, 복수의 후보 예측 신호 사이의 상관을 이용하여, 대상 영역의 예측 신호를 생성하기 위한 후보 예측 신호의 조합을 복수의 후보로부터 결정하는 예측 신호 생성기(103a)를 나타낸다. 그리고, 제2 실시예에서는, 후보 예측 신호의 조합이 아니라, 후보 예측 신호의 수를 결정하는 방법에 대하여 설명한다. 이 실시예는, 후보 예측 신호의 수에 따라 후보 예측 신호의 조합이 일의적으로 정해지는 경우를 나타낸 것이며, 후보 예측 신호의 조합의 일례에 지나지 않는다. 제2 실시예도, 제1 실시예와 동일하게, 복수의 후보 예측 신호의 조합의 후보로부터 1개의 조합을 결정하는 방법에 적응(적용) 가능하다.

이어서, 변형된 첨부 도면을 참조하면서 본 발명의 제2 실시예를 설명한다. 제1 실시예와 중복되는 도면 및 설명에 대해서는 설명을 생략한다.

제2 실시예에서의 예측 신호 생성기(103a)의 처리에 대하여 설명한다. 그리고, 화상 예측 복호 장치(300)에 적용되는 예측 신호 생성기(308a)에 대해서도, 예측 신호 생성기(103a)와 동일한 구성 및 처리를 행한다. 또한, 도 1의 화상 예측 부호화 장치(100)와 도 9의 화상 예측 복호 장치(300)에 대해서는, 예측 신호 생성기(103a 및 308a) 내의 동작은 제1 실시예와는 상이하지만, 신호의 입출력 관계는 제1 실시예와 동일하며, 설명을 생략한다. 도 18은, 본 실시예에 따른 화상 예측 부호화 장치(100)에 사용되는 예측 신호 생성기(103a)를 나타낸 블록도며, 템플레이트 매칭기(201)와 좌표 정보용 메모리(202)와 평균화 수 결정기(1800)와 예측 영역 취득기(204)와 가중치 부여기(205)와 가산기(206)를 포함하여 구성되어 있다.

템플레이트 매칭기(201)의 처리는 도 2와 같다. 즉, 라인 L104 경유로 프레임 메모리(104)로부터 과거의 처리에서 이미 재생된 화상 신호(재생 화상 신호)가 입력되고, 대상 영역의 대상 화소 신호에 대한 예측 신호의 후보(후보 예측 신호)를 후술하는 템플레이트 매칭에 의해 복수개 탐색하고, 탐색한 후보 예측 신호에 액세스하기 위한 좌표 정보를 라인 L201a 경유로 좌표 정보용 메모리(202)에 출력한다. 동시에, 대상 영역과 각각의 후보 예측 신호 사이의 관계를 나타낸 차분값 데이터[후술하는 절대 오차값의 합 SAD(sum of absolute difference)에 상당]를 라인 L201b 경유로 평균화 수 결정기(1800)에 출력한다. 그리고, 본 실시예에서는, 제1 실시예와 동일하게, 대상 영역(대상 블록)을 8×8의 화소로 이루어지는 부호화 대상 블록을 분할한 4×4 화소의 소블록으로 만들지만, 이 외의 블록의 크기 또는 형태로 분할해도 되고, 분할하지 않아도 된다.

평균화 수 결정기(1800)에서는, 라인 L202a 경유로 입력된 복수의 후보 예측 신호에 액세스하기 위한 좌표 정보에 기초하여, 복수의 후보 예측 신호를 취득하고, 이들의 상관을 고려하여, 대상 영역의 예측 신호의 생성에 사용하는 후보 예측 신호의 수를 결정한다. 결정된 후보 예측 신호의 수는, 후보 예측 신호의 평균화수 정보로서 라인 L203 경유로 예측 영역 취득기(204)에 출력한다.

예측 영역 취득기(204)는, 라인 L203 경유로 입력된 후보 예측 신호의 평균화 수 정보에 따라, 평균화 수 결정기(1800)에서 결정된 수의 후보 예측 신호의 좌표 정보를 라인 L202b 경유로 취득한다. 그리고, 예측 영역 취득기(204)는, 라인 L104 경유로 프레임 메모리(104)로부터, 취득된 좌표 정보에 대응하는 후보 예측 신호를 취득하고, 수시로 가중치 부여기(205)에 출력한다. 가중치 부여기(205)는, 라인 L204 경유로 입력된 각각의 후보 예측 신호에 가중 계수를 곱하여, 라인 L205 경유로 가산기(206)에 출력한다. 가산기(206)는 가중 처리된 후보 예측 신호를 차례로 가산하고, 예측 신호로서 라인 L103 경유로 도 1의 감산기(105)에 출력한다. 그리고, 가중치 부여기의 동작에 대해서는, 예를 들면, 후보 예측 신호의 수가 N 일 때 1/N을 각각의 후보 예측 신호에 곱하는 방법 등이 있지만, 다른 방법이라도 된다.

도 18에 있어서의 템플레이트 매칭기(201)의 동작은, 도 2와 같으므로, 상세한 설명은 생략하지만, 프레임 메모리(104) 내의 탐색 영역 내로부터 대상 인접 영역의 화소 신호(인접 화소 신호)와의 사이의 SAD가 작은 M개의 예측 인접 영역을 탐색하고, 이 M개의 예측 인접 영역(및 예측 영역)에 액세스하기 위한 정보인 좌표 정보를 라인 L201 경유로 좌표 정보용 메모리(202)에 출력한다. 또한, 산출된 M개의 SAD값을 라인 L201b 경유로, 평균화 수 결정기(1800)에 출력한다.

다음으로, 후보 예측 신호에 관한 평균화 수 결정기(1800)의 동작을 설명한다. 평균화 수 결정기(1800)는, 카운터(1801), 대표 예측 영역 취득기(1802), 예측 영역 간의 상관 평가값 산출기(1803) 및 임계값 처리기(1804)를 포함하여 구성된다.

카운터(1801)는, 라인 L201b를 경유하여 입력된 M에 기초하여, 평균화 수의 후보 N을 설정한다. 본 실시예에서는, N의 최대값을 M으로 하고, N=2로 될 때까지 N를 작게 해나간다. M=6의 경우에는, 6, 5, 4, 3, 2의 차례로, 라인 L1801 경유로 N의 값이 대표 예측 영역 취득기(1802)와 임계값 처리기(1804)로 출력된다. 그리고, 카운터(1801)에 있어서의 N의 값은 전술한 바로 한정되지는 않는다. 예를 들면, N의 값을, M보다 작은 2의 승수로 하고, M=6일 때, 4, 2의 순서로 카운터로부터 N의 값을 출력해도 되고, N=4와 같이, N의 값을 1개로 한정해도 된다. 다만, 부호화기인 화상 예측 부호화 장치(100)와 복호기인 후술하는 화상 예측 복호 장치(300)에서 동일한 예측 인접 영역의 조합을 자동적으로 선택하도록 하기 위해서는, 양자(兩者)의 조합의 설정 방법을 일치시켜 둘 필요가 있다.

대표 예측 영역 취득기(1802)는, N의 값의 후보가 1개 입력되면, 템플레이트 매칭기(201)에서 탐색된 M개의 예측 영역 중, 예측 인접 영역의 화소 신호와 대상 인접 영역의 화소 신호(인접 화소 신호) 사이의 SAD가 작은 N개의 예측 영역에 액세스하기 위한 좌표 정보를 라인 L202a 경유로 좌표 정보용 메모리(202)로부터 취득한다. 다음으로, 이 좌표 정보를 사용하여, 미리 결정된 예측 영역의 화소 신호를 프레임 메모리(104)로부터 취득한다. 본 실시예에서는, 예측 인접 영역의 화소 신호와 대상 인접 영역의 화소 신호(인접 화소 신호) 사이의 SAD가 가장 작은 예측 영역의 화소 신호 p₀(i, j)와 N번째로 작은 예측 영역의 화소 신호 p_N _-1(i, j)을 취득하고, 라인 L1802 경유로, 예측 영역간의 상관 평가값 산출기(1803)에 출력한다. 여기서, (i, j)는 예측 영역 내의 화소 위치를 나타내고 있다. i, j는 0 내지 B-1의 범위의 값이며, 대상 영역이 4×4의 경우에는 B=4가 된다.

예측 영역간의 상관 평가값 산출기(1803)는, 라인 L1802 경유로, 2개의 예측 영역의 화소 신호(후보 예측 신호)가 입력되면, 하기 식 (1)에 따라, N값에 대한 예측 영역간의 상관 평가값 EVN을 산출하고, 라인 L1803 경유로, 임계값 처리기(1804)에 출력한다.

[식 1]

임계값 처리기(1804)는, 라인 L1803 경유로 N값에 대한 예측 영역간의 상관 평가값이 입력되면, 이 상관 평가값 EV_N과 미리 정한 임계값 th(N)를 비교한다. 본 실시예에서는 th(N)의 값은, N의 값에 관계없이 32로 한다. N에 대한 상관 평가값이 미리 정한 임계값 th(N)보다 작은 경우에는, 후보 예측 신호의 평균화 수 AN이 N으로 결정되고, N의 값이 후보 예측 신호의 평균화 수 정보로서 라인 L203 경유로 예측 영역 취득기(204)에 출력된다. N에 대한 상관 평가값이 미리 정한 임계값 th(N)보다 큰 경우에는, 라인 L1804 경유로, N의 값을 작은 값으로 갱신하도록 카운터(1801)에 통지된다. 다만, N의 값이 2인 경우에는, AN의 값이 1로 결정되고, 후보 예측 신호의 평균화 수 정보로서 라인 L203 경유로 예측 영역 취득기(204)에 출력된다. 그리고, 카운터(1801)의 출력값을 고정값으로 하고 있는 평균화 수 결정기에서는, N에 대한 상관 평가값 EV_N이 미리 정한 임계값 th(N)보다 큰 경우라도, N의 값을 갱신하지 않고, AN의 값은 미리 정한 디폴드값(예를 들면 1)으로 결정되고, 후보 예측 신호의 평균화 수 정보로서 라인 L203 경유로 예측 영역 취득기(204)에 출력된다.

이와 같이, 본 실시예에 의하면, 대상 영역(대상 블록)마다, 부가 정보없이, 예측 신호 생성에 효과적인 후보 예측 신호의 수를 선택할 수 있게 된다. 복수의 후보 예측 신호의 평균화에 의한 잡음 제거는, 후보 예측 신호의 잡음 성분만 상이하고 신호 성분이 유사한 경우에 효과가 있다. 본 발명에서는, 후보 예측 신호 사이의 유사도를 평가함으로써, 예측 신호의 생성에 후보 예측 신호의 수를 대상 영역마다 결정할 수 있다.

그리고, 예측 영역간의 상관 평가값 EV_N을 산출하는 방법은 식 (1)에 한정되지 않는다. 예를 들면, 이하의 식 (2)나 식 (3)을 사용하여, N개의 후보 예측 신호간의 차분값을 서로 평가하고, 그 가산값을 상관 평가값으로 해도 된다. 다만, 이 경우에는, 대표 예측 영역 취득기(1802)는, N개의 후보 예측 신호를 프레임 메모리(104)로부터 취득할 필요가 있다.

[식 2]

[식 3]

또한, 임계값 th(N)도 32로 한정되지는 않는다. 예를 들면, 대상 영역 내의 화소수가 바뀌면, 그 임계값도 변경할 필요가 있다. 또한, 식 (2)나 식 (3)을 사용하여, 예측 영역간의 상관 평가값을 산출하는 경우에는, N의 값에 대응하여 th(N)을 적응적으로 변화시킬 필요가 있다.

th(N)의 값은, 부호화기와 복호기에서 동일한 값으로 할 필요가 있다. 미리 결정해 두어도 되지만, 시퀀스 단위나 프레임 단위 또는 슬라이스(복수의 블록에 의해 구성) 단위로 부호화하여 복호기에 보내는 방법도 고려할 수 있다. 또한, 블록 단위로 보낼 수도 있다.

다음으로, 후보 예측 신호의 평균화 수 결정기(1800)의 처리에 대하여 도면을 사용하여 설명한다. 본 실시예에 따른 템플레이트 매칭기(201)의 처리에 대해서는, 도 5에서 설명하였으므로 설명을 생략하지만, 도 5는, 대상 영역(대상 블록)에 화소 신호(대상 화소 신호)에 대한 복수개(M개)의 후보 예측 신호(및 예측 인접 영역의 화소 신호)를 탐색하고, 탐색한 후보 예측 신호(및 예측 인접 영역의 화소 신호)에 액세스하기 위한 좌표 정보를 취득하는 방법을 나타낸 흐름도이며, 대상 영역에 인접하는 대상 인접 영역의 인접 화소 신호와의 SAD가 작은 M개의 예측 인접 영역의 화소 신호를 참조 화상 상의 탐색 영역으로부터 탐색하는 처리를 행한다.

다음으로, 후보 예측 신호에 관한 평균화 수 결정기(1800)의 처리에 대하여 도면을 사용하여 설명한다. 도 19는, 본 실시예에 따른 평균화 수 결정기(1800)에 있어서의, 후보 예측 신호의 평활화(가중 평균)에 의한 예측 신호의 생성에 적합한 후보 예측 신호의 수를 선택하는 방법을 나타낸 흐름도이다. 먼저, 평균화 수 결정기(1800)의 카운터(1801)는, 후보 예측 신호의 수 N을 M으로 설정한다(S1902).

다음으로, 대표 예측 영역 취득기(1802)에 의하여, 카운터(1801)에 의해 설정된 N개의 예측 영역의 화소 신호(후보 예측 신호)가 라인 L104를 경유하여 취득된다. 즉, 대표 예측 영역 취득기(1802)는, 상기 대상 블록에 인접하는 대상 인접 영역의 인접 화소 신호와의 절대값 차분 합(SAD)이 작은 N개의 예측 인접 영역에 대하여, 대응하는 좌표 정보를 좌표 정보용 메모리(202)로부터 취득한다. 그리고, 취득한 좌표 정보에 대응하는 N개의 예측 영역을 프레임 메모리(104)로부터 취득한다(S1903).

그리고, 예측 영역간의 상관 평가값 산출기(1803)는, N개의 예측 영역간의 상관 평가값 EV_N을 식 (1)에 따라 산출한다. 그리고, 식 (1)에서는, 2개의 예측 영역의 화소 신호만을 EV_N의 산출에 사용하므로, 이 경우, 처리 S1903에서 취득하는 예측 영역은 2개만 있으면 된다.

그 후, 임계값 처리기(1804)에 의하여, EV_N과 미리 정한 임계값 th(N)(본 실시예에서는 32)을 비교하여(S1905), EV_N이 th(N)보다 작은 경우에는, 후보 예측 신호의 평균화 수 AN를 N으로 결정하고(S1906), 처리를 종료한다(S1910). EV_N이 th(N)보다 큰 경우에는, S1907로 진행한다. 그리고, S1905에서는, EV_N과 th(N)이 같은 경우에는, S1907로 진행하도록 하고 있지만, S1906으로 진행하도록 해도 된다. S1907에서는, 카운터(1801)가 N의 값을 갱신한다(S1907). 이 때, N의 값이 1인 경우(S1908)에는, 평균화 수 결정기(1800)는, AN을 1로 결정하고(S1909), 처리를 종료한다. N의 값이 2 이상인 경우에는, S1904로 되돌아온다. 그리고, 평균화 수 결정기(1800)가, N의 후보를 1개로 고정하고 있는 경우에는, 그 고정값이 S1902에서 N으로 설정되고, S1907과 S1908은 생략된다.

이와 같이, 본 실시예의 평균화 수 결정 처리에 의하면, 대상 영역(대상 블록)마다, 부가 정보없이, 예측 신호 생성에 효과적인 후보 예측 신호의 수를 선택할 수 있게 된다. 복수의 후보 예측 신호의 평균화에 의한 잡음 제거는, 후보 예측 신호의 잡음 성분만 상이하며 신호 성분이 유사한 경우에 효과가 있다. 본 발명에서는, 후보 예측 신호간의 유사도를 평가함으로써, 예측 신호의 생성에 후보 예측 신호의 수를 대상 영역마다 결정할 수 있다.

그리고, 예측 영역간의 상관 평가값을 산출하는 방법은 식 (1)로 한정되지 않는다. 예를 들면, 식 (2)나 식 (3)을 사용하여, N개의 후보 예측 신호간의 차분값을 서로 평가하고, 그 가산값을 상관 평가값으로 해도 된다. 다만, 이 경우에는, 대표 예측 영역 취득기(1802)는, N개의 후보 예측 신호를 프레임 메모리(104)로부터 취득할 필요가 있다.

또한, 임계값 th(N)도 32로 한정되지 않는다. 예를 들면, 대상 영역 내의 화소수가 바뀌면, 그 임계값도 변경할 필요가 있다. 또한, 식 (2)나 식 (3)을 사용하여, 예측 영역간의 상관 평가값을 산출하는 경우에는, N의 값에 대응하여, th(N)을 적응적으로 변화시킬 필요가 있다.

th(N)의 값은, 부호화기와 복호기로 같은 값으로 할 필요가 있다. 미리 결정해 두어도 되지만, 시퀀스 단위나 프레임 단위로 부호화하여 보내는 방법도 생각할 수 있다.

*본 실시예에서는, M=6의 경우에 있어서, N의 후보를 6, 5, 4, 3, 2로 하고 있지만, 이 설정으로 한정되지는 않는다. 예를 들면, N의 값의 후보를 2의 승수인, 4와 2로 해도 된다. 이 처리는, S1902에서 N의 값을 4로 설정하고, S1907를 N의 값을 반으로 하는 처리(N=N/2)로 변경함으로써 실현할 수 있다(M=6의 경우). 다만, 부호화 처리와 복호 처리에서, N의 후보의 설정 방법을 일치시켜 둘 필요가 있다.

*도 20은, 본 실시예에 따른 복수 후보 예측 신호의 평활화(가중 평균)에 의해 예측 신호를 생성하는 방법을 나타낸 흐름도이다.

예측 영역 취득기(204)에서는, 선택된 좌표 정보와 후보 예측 신호의 평균화 수 정보에 따라, 프레임 메모리(104)로부터 대상 블록에 대응하는 후보 예측 신호를 AN개 취득한다(S2002). 그리고, 가중치 부여기(205)와 가산기(206)에 있어서, 취득한 후보 예측 신호를 가중 평균함으로써, 대상 블록의 예측 신호가 생성된다(S2003). 이것으로, 하나의 대상 블록에 대한 처리가 종료된다(S2004).

제2 본 실시예에 따른 화상 예측 부호화 장치(100)에 있어서의 화상 예측 부호화 방법과 화상 예측 복호 방법에 대해서는, 도 8과 도 9에 나타낸 흐름도와 처리 과정이 동일하므로 설명을 생략한다.

이 제2 실시예에서의 화상 예측 부호화 방법 및 화상 예측 복호 방법을, 프로그램으로서 기록 매체에 기억시켜서 제공할 수도 있다. 기록 매체로서는, 플로피 디스크(등록상표), CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다. 화상 예측 부호화 방법을 실행할 수 있는 프로그램의 모듈과 화상 예측 복호 방법을 실행할 수 있는 프로그램의 모듈의 구성은 도 11 및 도 13에 나타낸 블록도와 동일하므로, 설명을 생략한다. 그리고, 예측 신호 생성 모듈 P103은, 도 21에 나타낸 바와 같이, 템플레이트 매칭 모듈 P201, 평균화 신호 수 결정 모듈 P2102 및 예측 신호 합성 모듈 P203을 포함하여 구성되어 있다. 기록 매체에 기록된 프로그램을 실행하기 위한 하드웨어나 컴퓨터에 대해서도 도 16과 도 17에 설명하였으므로 설명을 생략한다.

여기까지 설명한 실시예는, 다음과 같이 변형될 수도 있다.

전술한 바에 따르면, 후보 예측 신호의 조합의 결정에 사용하는 상관 평가값을, 예측 영역의 화소 신호(후보 예측 신호)에 의해 산출하고 있지만, 예측 영역 대신 예측 영역에 인접하는 예측 인접 영역의 화소 신호를 사용하여, 상관 평가값을 산출해도 된다. 또한, 예측 영역과 예측 인접 영역을 합친 영역의 화소 신호[예를 들면, 도 3에 있어서의 예측 인접 영역(404b)과 예측 영역(405b)으로 이루어지는 영역]를 사용하여 상관 평가값을 산출해도 된다.

전술한 바에 따르면, 평균화 수 결정기 및 평균화 수 결정 처리에 의해 AN의 값을 결정하고 있었지만, 1개 또는 2∼3개의 N의 후보에 대해서만 본 발명의 임계값 처리를 행하고, 임계값보다 예측 영역의 상관 평가값 EV가 큰 경우에는, 다른 방법으로 AN를 결정하는 조합도 가능하다. 예를 들면, 1개의 N의 후보에 대하여, EV_N을 산출하여 제2 실시예에서의 임계값 처리를 행하고, EV_N이 th(N)보다 작은 경우에는 AN=N으로 하고, EV_N이 th(N)보다 큰 경우는, 제1 실시예에서의 후보 예측 신호의 조합 결정 처리를 적용하여 AN의 값을 결정하는 방법을 생각할 수 있다. 즉, 복수의 AN의 후보 n에 대하여, N개의 예측 인접 영역의 화소 신호를 평균화한 비교 신호와 인접 화소 신호 사이의 차분 SAD가 가장 작은 n을 AN을로 하는 방법을 생각할 수 있다.

도 2의 평균화 수 결정기(1800)에서는, 예측 영역의 화소 신호(후보 예측 신호) 사이의 SAD(절대 오차값의 합)를 사용하여 예측 영역의 상관 평가값을 산출하고 있지만, SAD가 아니라, 차분 신호의 제곱 오차의 합(SSD)이나 분산(VAR)을 사용할 수도 있다. 3개의 평가 기준은 SAD, SSD, VAR의 순서로 연산량은 증가하는 반면, 평가의 정밀도는 향상되고, 오차 신호의 부호량을 적게 할 수 있는 효과를 바랄 수 있다. 또한, SAD나 SSD가 아니라, 절대값 오차 평균(MAD)이나 평균 제곱 오차(MSE)를 사용해도 된다.

제1 실시예에서의 템플레이트 매칭에 관한 변형예는, 제2 실시예에도 해당된다.

<제3 실시예>

제1 및 제2 실시예에서는, 복수의 후보 예측 신호로부터 대상 영역의 예측 신호를 생성할 때의 가중 평균은, 미리 정해진 1개의 방법인 것을 전제로 하여 설명하였다. 그러나, 본 발명의 제1 실시예에서의 후보 예측 신호의 조합 선택 방법을 이용하면, 준비한 복수의 가중 계수로부터 부가 정보없이 1개의 적절한 대상 영역마다 선택할 수 있게 된다. 이 실시예는, 지금까지의 설명에서 사용한 도면의 변형과 이하의 기술을 고려함으로써 이해할 수 있다. 이어서, 변형된 첨부 도면을 참조하면서 본 발명의 제3 실시예를 설명한다. 제1 실시예와 중복되는 도면 및 설명에 대해서는, 설명을 생략한다.

제3 실시예에서의 예측 신호 생성기(103b)의 처리에 대하여 설명한다. 그리고, 화상 예측 복호 장치(300)에 적용되는 예측 신호 생성기(308b)에 대해서도, 예측 신호 생성기(103b)와 동일한 구성 및 처리를 행한다. 도 1의 화상 예측 부호화 장치(100)와 도 9의 화상 예측 복호 장치(300)에 대해서는, 예측 신호 생성기(103b 및 308b) 내의 동작은 제1 실시예와는 상이하지만, 신호의 입출력 관계는 제1 실시예와 동일하며, 설명을 생략한다. 도 22는, 본 실시예에 따른 화상 예측 부호화 장치(100)에 사용되는 예측 신호 생성기(103b)를 나타낸 블록도며, 템플레이트 매칭기(201)과 좌표 정보용 메모리(202)과 후보 예측 신호의 조합 결정기(2200)와 예측 영역 취득기(204)와 가중 평균화기(2204)를 포함하여 구성되어 있다.

템플레이트 매칭기(201)의 처리는, 도 2와 같다. 즉, 라인 L104 경유로 프레임 메모리(104)로부터 과거의 처리에서 이미 재생된 화상 신호(재생 화상 신호)가 입력되고, 대상 영역의 대상 화소 신호에 대한 예측 신호의 후보(후보 예측 신호)를 후술하는 템플레이트 매칭에 의해 복수개 탐색하고, 탐색한 후보 예측 신호에 액세스하기 위한 좌표 정보를 라인 L201a 경유로 좌표 정보용 메모리(202)에 출력한다. 이와 동시에, 대상 영역과 각각의 후보 예측 신호 사이의 관계를 나타낸 차분값 데이터[후술하는 절대 오차값의 합 SAD(sum of absolute difference)에 상당]를 라인 L201b 경유로 후보 예측 신호의 조합 결정기(2200)에 출력한다. 그리고, 본 실시예에서는, 제1 실시예와 동일하게, 대상 영역(대상 블록)을 8×8의 화소로 이루어지는 부호화 대상 블록을 분할한 4×4 화소의 소블록으로 만들지만, 그 외의 블록의 크기 또는 형태로 분할해도 되고, 분할하지 않아도 된다.

후보 예측 신호의 조합 결정기(2200)에서는, 라인 L201b 경유로 입력된 차분값 데이터를 이용하여, 후보 예측 신호의 조합을 복수개 설정한다. 또한, 동일한 차분값 데이터를 이용하여, 후보 예측 신호를 가중 평균할 때의 가중 계수를 복수 개 설정한다. 그리고, 라인 L202a 경유로 좌표 정보용 메모리(202)로부터 입력되는 좌표 정보에 따라 라인 L104 경유로 프레임 메모리로부터 입력되는 화소 신호를 사용하여, 후보 예측 신호의 조합과 이들 후보 예측 신호를 가중 평균할 때의 가중 계수의 조(후보 예측 신호의 가중 계수 정보)를 결정하는, 후보 예측 신호의 조합 정보는 라인 L203 경유로 예측 영역 취득기(204)에 출력하고, 후보 예측 신호의 가중 계수 정보는 L2203 경유로 가중 평균화기(2204)에 출력된다.

예측 영역 취득기(204)는, 라인 L203 경유로 입력된 후보 예측 신호의 조합 정보에 따라, 이 조합에 속하는 후보 예측 신호의 좌표 정보를 라인 L202b 경유로 취득한다. 그리고, 예측 영역 취득기(204)는, 라인 L104 경유로 프레임 메모리(104)로부터, 취득한 좌표 정보에 대응하는 후보 예측 신호를 취득하고, 수시로 가중 평균화기(2204)에 출력한다. 가중 평균화기(2204)는, 라인 L204 경유로 입력된 각각의 후보 예측 신호에, 라인 L2203 경유로 입력된 가중 계수를 곱하고, 차례로 가산하여 가중치의 가산값을 산출한다. 동시에 가중 평균화기(2204)는 L2203 경유로 입력된 가중 계수를 가산한다. 그리고, 가중치의 가산값을 가중 계수의 가산값으로 나눗셈하고, 대상 영역의 예측 신호로서 라인 L103 경유로 도 1의 감산기(105)에 출력한다.

식 (4)에 예측 영역 취득기(204)와 가중 평균화기(2204)에 의해 실시되는 대상 영역의 예측 신호 Pb(i, j)의 생성 수순을 정리한다. 여기서, (i, j)는 대상 영역에 있어서의 각 화소의 좌표를 나타내고 있다.

[식 4]

식 (4)에 있어서, N은 라인 L203 경유로 예측 영역 취득기(204)에 입력되는 후보 예측 신호의 조합 정보를 나타내고, 예측 영역 취득기(204)는 N개의 후보 예측 신호 p_n(i, j)(n= 0 ∼ N-1)를 프레임 메모리(104)로부터 취득한다. w_n은 라인 L2203 경유로 가중 평균화기(2204)에 입력되는 가중 계수의 조(N개)를 나타내고 있다. n번째 가중 계수 w_n은, 가중 평균화기(2204)에 의해 n번째 후보 예측 신호 p_n(i, j) 내의 각 화소와 곱하고 더해져서, 가중 처리된 N개의 후보 예측 신호의 각각의 화소는 누적 가산된다. 이와 같이 가중 처리되어 가산된 후보 예측 신호의 가중치의 가산값은, 가중 계수의 가산값으로 나누어져서, 각 화소의 예측 신호 Pb(i, j)가 산출된다.

도 22에 있어서의 템플레이트 매칭기(201)의 동작은, 도 2와 동일하므로, 상세한 설명은 생략 하지만, 프레임 메모리(104) 내의 탐색 영역 내로부터 대상 인접 영역의 화소 신호(인접 화소 신호)와 사이의 SAD가 작은 M개의 예측 인접 영역을 탐색하고, 이 M개의 예측 인접 영역(및 예측 영역)에 액세스하기 위한 정보인 좌표 정보를 라인 L202a 경유로 좌표 정보용 메모리(202)에 출력한다. 또한, 산출된 M개의 SAD값을 라인 L201b 경유로, 후보 예측 신호의 조합 결정기(2200)에 출력한다.

다음으로, 후보 예측 신호의 조합 결정기(2200)의 동작을 설명한다. 후보 예측 신호의 조합 결정기(203)는, 조합 설정기(231), 가중 계수 설정기(2201), 예측 인접 영역 취득기(232), 대상 인접 영역 취득기(233), 가중 평균화기(2202) 및 비교·선택기(2203)를 포함하여 구성된다.

제3 실시예에서는, 대상 영역의 예측 신호를 생성하는 데 있어서, 후보 예측 신호의 조합과 가중 평균화를 위해, 조합 설정기(231)와 가중 계수 설정기(2201)가 먼저 동작한다.

조합 설정기(231)는, 라인 L201b를 경유하여 입력된 M개의 SAD에 기초하여, 복수의 예측 인접 영역의 조합을 설정한다. 본 실시예에서는, 입력된 SAD 중 작은 N개의 예측 인접 영역을 1개의 조합으로서 설정한다. 설정된 조합은, 라인 L231을 경유하여, 예측 인접 영역 취득기(232), 비교·선택기(2203) 및 가중 계수 설정기(2201)에 각각 출력된다. N의 값은, M보다 작은 2의 승수로 하고, M=6일 때, N=1, 2, 4가 되는 3개의 조합을 만든다. 그리고, M의 값과 N의 값 및 N개의 예측 신호 영역의 조합은, 전술한 바로 한정되지 않는다. 1개의 조합에 포함되는 예측 인접 영역의 개수는 1∼M개로부터 임의로 설정할 수 있다. 예를 들면, M보다 작은 N개의 예측 인접 영역에 의해 구성되는 조합을 만들 경우, M개 중에서 N개를 선택하여 모든 조합을 설정할 수도 있다. 이 때, N의 값은 고정일 수도 있고, 1∼M 사이에서 2개 이상을 선택하여 조합을 설정해도 된다. 또한, 조합의 개수는 1개 이상이면 그 수는 한정되지 않는다. 다만, 부호화기인 화상 예측 부호화 장치(100)와 복호기인 후술하는 화상 예측 복호 장치(300)에 의해 동일한 예측 인접 영역의 조합을 자동적으로 선택하게 하기 위해서는, 양자(兩者)의 조합의 설정 방법을 일치시킬 필요가 있다.

가중 계수 설정기(2201)는, 라인 L231로부터 입력된 예측 인접 영역의 조합 정보, 및 대상 인접 영역과 N개의 예측 인접 영역의 화소 신호와의 사이의 SAD에 기초하여, N개의 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조의 후보를 복수개 설정한다. 본 실시예에서는, 가중 계수의 조의 후보로서 4종류를 준비한다. 이하에서, q, n은 n번째(n=0 ∼ N-1)의 예측 인접 영역의 화소 신호에 대한 타입 q(q= 1-4)의 가중 계수를 나타낸다.

(1) q = 1, 식 (6), N개의 가중 계수를 각각 1/N로 설정.

[식 6]

(2) q = 2, 식 (8), 대상 인접 영역 t(r)(r은 대상 인접 영역 내의 R개의 화소의 위치)와 N개의 예측 인접 영역 s_n(r)(n = 0 ∼ N-1)과의 사이의 SAD[LSAD_n, 식 (7)]에 기초하여 산출.

[식 7]

[식 8]

(3) q = 3, 식 (9), SAD값이 작은 예측 인접 영역의 화소 신호에 큰 값의 가중 계수를 할당한다.

[식 9]

(4) q = 4, 도 26에 나타낸 대응표에 기초하여 LSAD₀와 LSAD_n(n= 0 ∼ N-1)의 관계로부터 w_n의 값을 설정.

도 26은, 대상 인접 영역의 화소 신호와 예측 인접 영역의 화소 신호 사이의 차분값으로부터 가중 계수의 조를 설정하는 대응표의 예를 나타낸 설명도이다. LSAD_n은, 대상 인접 영역 t(r)(r은 대상 인접 영역 내의 R개의 화소의 위치)와 N개의 예측 인접 영역 s_n(r)(n= 0 ∼ N-1) 사이의 SAD를 나타내고, LSAD₀는, n이 0일 때의 SAD를 나타낸다. 도 26에 나타낸 대응표를 사용함으로써, 각각의 SAD에 기초하여 가중 계수가 일의적으로 정해진다. 예를 들면, LSAD_n이 6, LSAD₀가 17인 경우에는, 가중 계수는 6으로 정해진다.

그리고, 가중 계수의 조의 수와 후보 값의 설정 방법은, 이 4종류로 한정되지 않는다. 가중 계수의 조의 수는 1종류일 수도 있다. 도 26의 대응표(테이블)를 사용하는 방법도 이 테이블로 한정되는 것은 아니다. 테이블 내의 임계값이나 가중치 값의 설정뿐만 아니라, 부호화 측과 복호측이 공유할 수 있는 정보, 예를 들면, 블록 사이즈, 양자화 정밀도 및 가중 평균을 위한 예측 인접 영역의 수(N) 등을 경우 분류의 조건으로 하여 추가한 테이블을 작성해도 되고, 이들 조건으로 경우 분류한 테이블을 복수개 준비해도 된다. 다만, 부호화기인 화상 예측 부호화 장치(100)와 복호기인 후술하는 화상 예측 복호 장치(300)에서 동일한 가중 계수의 조를 자동적으로 선택하게 하기 위해서는, 양자(兩者)의 가중 계수의 조의 설정 방법을 일치시킬 필요가 있다.

이들 설정된 가중 계수의 조는, 라인 L2201을 경유하여, 가중 평균화기(2202)와 비교·선택기(2203)에 각각 출력된다.

예측 인접 영역 취득기(232)는, 예측 인접 영역의 조합 정보(N)가 라인 L231경유로 1개 입력되면, 그 조합에 포함되는 N개의 예측 인접 영역에 대한 좌표 정보를 라인 L202a 경유로 좌표 정보용 메모리(202)로부터 취득한다. 그리고, 예측 인접 영역 취득기(232)는, 좌표 정보에 대응하는 N개의 예측 인접 영역의 화소 신호를 라인 L104 경유로 취득하고, 가중 평균화기(2202)에 수시로 출력한다.

가중 평균화기(2202)는, 라인 L232 경유로 입력된 N개의 예측 인접 영역의 화소 신호에, 가중 계수 설정기(2201)로부터 라인 L2201 경유로 입력된 1개의 가중 계수의 조에 포함되는 N개의 가중 계수를 곱하고 누적 가산한다. 그리고, N개의 가중 계수의 가산값을 산출하고, 가중 처리된 예측 인접 영역의 화소 신호의 누적 가산값을, 가중 계수의 가산값으로 나눔으로써, 대상 인접 영역의 화소 신호(인접 화소 신호)와 비교하기 위한 비교 신호를 생성한다.

비교 신호는, 복수의 가중 계수의 조에 대하여 각각 생성된다. 즉, 조합 설정기(231)에서 설정된 1개의 예측 인접 영역의 조합 정보(N)에 대하여, 가중 계수 설정기(2201)에서 설정된 4종류의 가중 계수의 조에 대한 가중 평균화기(2202)의 처리가 반복적으로 실시된다.

이하의 식 (5)를 사용하여 비교 신호의 생성 수단을 설명한다.

[식 5]

식 (5)는, 예측 인접 영역의 조합 정보 N에 대하여 준비된 타입 q의 가중 계수의 조에 대하여, 비교 신호의 생성 방법을 나타내고 있다. 첫째, n번째 예측 인접 영역 s_n(r) 내의 R개의 화소에, 각각 타입 q의 가중 계수의 조에 있어서의 n 번째 가중 계수 w_q _,n을 곱한다. 둘째, 가중 처리된 N개의 예측 인접 영역 w_q _, _nxs_n(r)을 더하고, 대상 인접 영역 내의 R개의 각각의 화소에 대하여, N개의 가중 계수 w_q _,n의 가산값으로 나눗셈한다.

대상 인접 영역 취득기(233)는, 프레임 메모리(104)로부터 라인 L104를 경유하여 대상 인접 영역의 화소 신호(인접 화소 신호)를 취득하고, 비교·선택기(2203)에 출력한다.

비교·선택기(2203)는, 라인 L233 경유로 대상 인접 영역의 화소 신호를 입력하고, 라인 L2203 경유로, 1개의 예측 인접 영역의 조합에 대한 복수의 가중 계수의 조에 대하여 생성된 복수의 비교 신호를 입력한다. 그리고, 복수의 가중 계수의 조에 대응하는 비교 신호와 인접 화소 신호 사이에서 SAD를 산출하고, 그 값이 최소로 되는 가중 계수의 조를 선택하고, 일시적으로 보존한다.

이 가중 계수의 조를 선택하는 처리(조합 설정기로부터 출력되는 1개의 예측 인접 영역의 조합 정보에 대한, 가중 계수 설정기, 예측 인접 영역 취득기, 가산기, 가중치 제산기, 대상 인접 영역 취득기, 비교·선택기의 처리)는, 복수의 예측 인접 영역의 조합에 대하여 실시되고(예측 인접 영역의 조합이 1개인 경우는 제외함), 인접 화소 신호와의 사이에서 산출되는 SAD의 값이 가장 작은 예측 인접 영역의 조합과 가중 계수의 조가 선택된다. 선택된 예측 인접 영역의 조합(L231 경유로 취득)은, 후보 예측 신호의 조합 정보로서 라인 L203 경유로 예측 영역 취득기(204)에 출력되고, 선택된 가중 계수의 조는, 후보 예측 신호의 가중 계수 정보로서 L2203 경유로 가중 평균화기(2204)에 출력된다.

이와 같이, 본 실시예에 의하면, 대상 블록마다, 부가 정보없이, 예측 신호 생성에 효과적인 후보 예측 신호의 조합과 가중 계수의 조를 선택할 수 있게 된다. 그리고, 예측 신호 생성에 효과적인 후보 예측 신호의 조합에 대해서는 미리 정해 두었을 경우에는, 적절한 가중 계수의 조를 선택하는 것에 대한 효과가 있다.

다음으로, 후보 예측 신호의 조합 결정기(2200)의 처리에 대하여 도면을 사용하여 설명한다. 본 실시예에 따른 템플레이트 매칭기(201)의 처리에 대해서는, 도 5에 설명하였으므로 설명을 생략하지만, 도 5는, 대상 영역(대상 블록)에 화소 신호(대상 화소 신호)에 대한 복수(M개)의 후보 예측 신호(및 예측 인접 영역의 화소 신호)를 탐색하고, 탐색된 후보 예측 신호(및 예측 인접 영역의 화소 신호)에 액세스하기 위한 좌표 정보를 취득하는 방법을 나타낸 흐름도이며, 대상 영역에 인접하는 대상 인접 영역의 인접 화소 신호와의 SAD가 작은 M개의 예측 인접 영역의 화소 신호를 참조 화상 상의 탐색 영역으로부터 탐색하는 처리를 행한다.

도 23은, 제3 실시예에 따른 후보 예측 신호의 조합 결정기(2200)에 있어서의, 대상 영역의 예측 신호의 생성에 적합한 N개의 후보 예측 신호의 조합과, 이 N개의 후보 예측 신호를 가중 평균하기 위한 가중 계수의 조를 선택하는 방법을 나타낸 흐름도이다. 먼저, 후보 예측 신호의 조합 결정기(2200)의 조합 설정기(231)는, 후보 예측 신호의 수 N를 1로 설정한다(S602). 다음으로, 대상 인접 영역 취득기(233)에서는, 대상 블록에 대한 대상 인접 영역(템플레이트 영역)이 프레임 메모리(104)로부터 취득된다(S603).

그리고, 예측 인접 영역 취득기(232)에 의하여, 조합 설정기(231)에 의해 설정된 조합에 속하는 N개의 예측 인접 영역이, 라인 L104를 경유하여 취득된다. 즉, 예측 인접 영역 취득기(232)는, 상기 대상 블록에 대한 대상 인접 영역의 인접 화소 신호와 참조 화상 상의 탐색 영역 내에 있는 대상 인접 영역과 동일한 형상의 영역(예측 인접 영역의 후보)의 화소 신호와의 차분값인 SAD가 작은 N개의 예측 인접 영역에 대응하는 좌표 정보를 좌표 정보용 메모리(202)로부터 취득한다. 그리고, 취득된 좌표 정보에 대응하는 N개의 예측 인접 영역을 프레임 메모리(104)로부터 취득한다(S604).

다음으로, 가중 계수 설정기(2201)는, 인접 화소 신호와 N개의 예측 인접 영역 사이의 SAD에 기초하여, N개의 예측 인접 영역에 대한 가중 계수의 조를 복수 개 설정하고, 후보 예측 신호의 조합 결정기(2200)는, 후술(도 24에서 설명)하는 처리에 의해 N개의 예측 인접 영역에 대한 가중 계수를 결정한다. 그리고, 결정된 가중 계수에 기초하여, 가중 평균화기(2202)에 있어서, N개의 예측 인접 영역의 화소군의 가중 평균에 의해 비교 신호를 생성한다(S2301).

그 후, 비교·선택기(2203)에서, 생성된 비교 신호와 인접 화소 신호의 차분값인 SAD를 산출한다(S606). 이와 동시에, 비교·선택기(2203)에서는, 산출된 SAD를 지금까지의 최소 SAD와 비교하여(S607), SAD가 최소값이라고 판단되었을 경우, S2302로 진행하고, 그렇지 않다고 판단된 경우, S609로 진행한다. 그리고, S607에서는, 산출된 SAD와 지금까지의 최소 SAD가 동일한 경우에는, S609로 진행하지만, S2302로 진행해도 된다.

산출된 SAD가, 지금까지의 최소의 SAD인 경우, 비교·선택기(2203)에서, S604에서 취득한 좌표 정보의 조합과 S2301에서 결정한 가중 계수의 조를 기억한다(S2302).

여기서, 조합 결정기(2200)는 N의 값을 2배에 갱신한다(S609). 그리고, 갱신된 N과 M의 크기를 비교하여(S610), 갱신된 N의 값이 M보다 작은 경우, S604로 복귀하고, 갱신된 N의 값이 M보다 큰 경우, S2302에서 기억된 좌표 정보의 조합을 후보 예측 신호의 조합으로서 결정한다. 또한, S2302에서 기억된 가중 계수의 조를 "후보 예측 신호를 가중 평균할 때의 가중 계수"로서 결정하고, 후보 예측 신호의 조합 선택 처리를 종료한다(S611).

도 24는, 제3 실시예에 따른 후보 예측 신호의 조합 결정기(2200)에 있어서의, N개의 후보 예측 신호를 가중 평균하기 위한 가중 계수의 조를 선택하는 방법을 나타낸 흐름도이다. 그리고, N의 값이 1인 경우, 후보 예측 신호의 조합 결정기(2200)는 이 처리를 스킵한다.

먼저, 후보 예측 신호의 조합 결정기(2200)는, 템플레이트 매칭기(201)에 의해 탐색된 N개의 예측 인접 영역에 대하여, 대상 인접 영역의 인접 화소 신호와의 사이의 SAD(LSAD_n, n = 0 ∼ N-1)를 취득한다(S2402). 다음으로, 가중 계수 설정기(2201)는, 가중 계수의 타입 q를 1로 설정한다(S2403). 가중 계수 설정기(2201)는, 이 후에, 설정된 타입(q)과 N의 값에 따라, 가중 계수의 조를 결정한다(S2404). 그리고, 본 실시예에서는, 하기와 같이 가중 계수의 조의 후보로서 4종류를 준비하였으나, 가중 계수의 조의 수와 후보 값의 설정 방법은, 전술한 4종류로 한정되지 않는다.

(1) q = 1, 식 (6), N개의 가중 계수를 각각 1/N로 설정.

(2) q = 2, 식 (8), 대상 인접 영역 t(r)(r은 대상 인접 영역 내의 R개의 화소의 위치)과 N개의 예측 인접 영역 s_n(r)(n = 0 ∼ N-1)과의 사이의 SAD[LSAD_n, 식 (7)]에 기초하여 산출.

(3) q = 3, 식 (9), SAD값이 작은 대상 인접 영역의 화소 신호에 큰 값의 가중 계수를 할당한다.

(4) q = 4, 도 26에 나타낸 테이블에 기초하여 LSAD₀와 LSAD_n(n = 0 ∼ N-1)의 관계로부터 w_n의 값을 설정.

가중 계수의 조가 설정되면, S604에서 취득한 N개의 예측 인접 영역의 화소 신호와 설정된 가중 계수의 조를 사용하여, 식 (5)에 따라 비교 신호를 생성한다(S2405). 식 (5)는, 예측 인접 영역의 조합 정보 N에 대하여 준비된 타입 q의 가중 계수의 조에 대하여, 비교 신호의 생성 방법을 나타내고 있다. 첫째, n번째 예측 인접 영역 s_n(r) 내의 R개의 화소에, 각각 타입 q의 가중 계수의 조에 있어서의 n번째 가중 계수 w_q _,n을 곱한다. 둘째, 가중 처리된 N개의 예측 인접 영역 w_q,nxs_n(r)을 더하고, 대상 인접 영역 내의 R개의 각 화소에 대하여, N개의 가중 계수 w_q _,n의 가산값으로 나눗셈한다.

그 후, 비교·선택기(2203)에서, 생성된 비교 신호와 S603에서 취득한 대상 블록에 대한 대상 인접 영역(템플레이트 영역)의 인접 화소 신호의 차분값인 SAD를 산출한다(S2406). 이와 동시에, 비교·선택기(2203)에서는, 산출된 SAD를 지금까지의 최소의 SAD와 비교하여(S2407), SAD가 최소값이라고 판단되었을 경우, S2408로 진행하고, 그렇지 않다고 판단된 경우, S2409으로 진행한다. 그리고, S2407에서는, 산출된 SAD와 지금까지의 최소의 SAD가 동일한 경우에는, S2409로 진행하지만, S2408로 진행하도록 해도 된다.

산출된 SAD가, 지금까지의 최소의 SAD인 경우, 최소값을 SAD로 갱신하고, N개의 예측 인접 영역에 대한 가중 계수를 타입 q의 값으로 갱신한다(S2408).

다음으로, 가중 계수 설정기(2201)는, q의 값에 1을 더하여 갱신한다(S2409). 그리고, 갱신된 q와 Q(가중 계수의 조의 설정수, 본 실시예에서는 4)의 크기를 비교하여(S2410), 갱신된 q의 값이 Q보다 작거나 또는 같은 경우, S2404으로 복귀하였다. 갱신된 q의 값이 Q보다 큰 경우, S2302에서 기억한 가중 계수의 조를, 조합 설정기(231)에서 설정한 인접 예측 영역의 조합(N개의 예측 인접 영역으로 구성)에 대한 가중 계수의 조를 결정하고, 가중 계수의 선택 처리를 종료한다(S2411). 그리고, Q의 값은 4로 한정되지 않고, 1이상이면 된다.

이와 같이, 본 실시예의 후보 예측 신호의 조합 처리를 이용함으로써, N개의 예측 인접 영역의 화소 신호(와 대상 영역의 화소 신호, 즉 후보 예측 신호)를 평균화하기 위한 가중 계수의 조를 부가 정보없이 결정할 수 있게 된다.

도 25는, 본 실시예에 따른 후보 예측 신호의 평활화(가중 평균)에 의해 예측 신호의 생성 방법을 나타낸 흐름도이다.

예측 영역 취득기(204)에서는, 선택된 좌표 정보에 따라, 프레임 메모리(104)로부터 대상 블록에 대응하는 후보 예측 신호를 1개 또는 복수개 취득한다(S2502). 그리고, 가중 평균화기(2204)에 있어서, 취득한 후보 예측 신호를 선택한 가중 계수의 조를 사용하여, 후보 예측 신호의 가중 평균 처리를 실시하여, 대상 블록의 예측 신호를 생성한다(S2501). 이로써, 하나의 대상 블록에 대한 처리가 종료로 된다(S704). 이 때, 예측 신호 Pb(i,j)의 생성은 식 (4)에 기초하여 계산된다. 여기서, (i,j)는 대상 영역에 있어서의 각 화소의 좌표를 나타내고 있다. 식 (4)에 있어서, N은 라인 L203 경유로 예측 영역 취득기(204)에 입력되는 후보 예측 신호의 조합 정보를 나타내고, 예측 영역 취득기(204)는 N개의 후보 예측 신호 p_n(i,j)(n = 0 ∼ N-1)를 프레임 메모리(104)로부터 취득한다. w_n은 라인 L2203 경유로 가중 평균화기(2204)에 입력되는 가중 계수의 조(N개)를 나타내고 있다. n 번째 가중 계수 w_n은, 가중 평균화기(2204)에서, n번째의 후보 예측 신호 p_n(i,j) 내의 각 화소와 곱해지고 더해지며, 가중 처리된 N개의 후보 예측 신호의 각 화소는 누적 가산된다. 이와 같이 가중 처리되어 가산된 후보 예측 신호의 누적 가산값은, 가중 계수의 가산값으로 나눗셈되고, 각 화소의 예측값 Pb(i,j)가 산출된다.

제3 실시예에 따른 화상 예측 부호화 장치(100)에 있어서의 화상 예측 부호화 방법과 화상 예측 복호 방법에 대해서는, 도 8과 도 9에 나타낸 흐름도와 처리과정이 동일하므로 설명을 생략한다.

제3 실시예에서의 화상 예측 부호화 방법 및 화상 예측 복호 방법을, 프로그램으로서 기록 매체에 기억시켜서 제공할 수도 있다. 기록 매체로서는, 플로피 디스크(등록상표), CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다. 화상 예측 부호화 방법을 실행할 수 있는 프로그램의 모듈과 화상 예측 복호 방법을 실행할 수 있는 프로그램의 모듈의 구성은 도 11∼도 13에서 지명한 블록도와 동일하므로, 설명을 생략한다. 기록 매체에 기록된 프로그램을 실행하기 위한 하드웨어나 컴퓨터에 대해서도 도 16과 도 17에서 설명하였으므로 설명을 생략한다. 그리고, 예측 신호 합성 모듈 P203에 대해서는, 예측 영역 취득기(204), 가중 평균화기(2204)를 포함한 기능을 가진다.

여기까지 설명한 제3 실시예는 다음과 같이 변형될 수도 있다.

식 (4)나 식 (5)에서 설명한 가중치 부여 처리에서는, 가중 계수의 연산 정밀도는 실수 정밀도가 된다. 그러나, 본 실시예에서는, 각 가중 계수를 정수화한 후에, 가중 평균화 처리를 행해도 된다. 가중 계수가 실수인 경우에는, 상이한 연산 장치가 상이한 연산 결과를 도출하는 경우가 있지만, 정수화의 룰을 부호화기와 복호기로 결정해 둠으로써, 이 문제는 회피할 수 있다. 이 때, 각 가중 계수에 일정값을 곱한 후에 정수화하면, 가중치 부여 처리의 연산 정밀도를 높게 유지할 수 있게 된다.

도 22의 후보 예측 신호 조합 결정기(2200)에서는, 대상 블록의 대상 인접 영역의 화소 신호와 복수의 인접 예측 영역의 화소 신호를 가중 평균한 비교 신호 사이의 차분값인 SAD(절대 오차값의 합)를 계산하여, 최적인 후보 예측 신호의 조합을 결정하고 있지만, SAD가 아니라, 차분 신호의 제곱 오차의 합(SSD)이나 분산(VAR)을 사용해도 조합을 결정할 수 있다. 3개의 평가 기준은 SAD, SSD, VAR의 순서로 연산량은 증가하는 반면, 평가의 정밀도는 향상되고, 오차 신호의 부호량을 적게 할 수 있는 효과를 기대할 수 있다.

또한, 대상 인접 신호와 비교 신호의 차분값인 SAD가 동일한 값으로 되는 조합이 복수개 얻어졌을 때, SSD나 VAR을 사용하여 최종적인 조합을 결정하는 방법도 효과적이다. 즉, 비교·선택기(2203)는, 예측 인접 영역 취득기(232)에 있어서 산출된 SAD가, 지금까지 산출한 최소값과 일치하는 경우에는, 또한 SSD 또는 VAR를 비교 대상으로 하여, 어느 값이 작은지 비교한다. 여기서 SSD 또는 VAR이 작은 것으로 판단된 조합이 비교·선택기(2203)에 최소값을 가지는 조합으로서 기억된다. 이 경우, 비교·선택기(2203)는, SSD 또는 VAR을 SAD와 함께 산출함으로써, 일시적으로 기억시켜 두게 된다.

예측 신호 생성기(103b)[예측 신호 생성기(308b)]의 구성은, 도 22의 구성으로 한정되지 않는다. 예를 들면, 도 22에서는, 템플레이트 매칭기에 의해 검색한 복수의 후보 예측 신호에 대하여, 이 신호에 액세스하기 위한 좌표 정보를 좌표 정보용 메모리(202)에 기억하고 있지만, 후보 예측 신호와 예측 인접 영역의 화소 신호를 기억시켜 둔 구성일 수도 있다. 도 22 내의 메모리 양은 증가하지만, 프레임 메모리로의 액세스를 감소시키는 효과가 있다.

<제4 실시예>

제3 실시예에서는, 디코더는, 대상 인접 영역에 부가된 정보(예를 들면, 대상 인접 신호)에 기초하여, 예측 영역과 거기에 인접하는 예측 인접 영역을 탐색하고 있다. 한편, 예측 영역 및 예측 인접 영역에 액세스하기 위한 좌표 정보(예를 들면, 도 4의 좌표 정보 416), 즉 대상 영역에 부가된 정보(동작 벡터나 참조 화상의 식별 번호)를 인코더에 의해 부호화하고, 이 부가 정보에 기초하여, 디코더가 예측 영역 및 예측 인접 영역을 취득하는 바와 같은 경우에도, 각 대상 영역의 예측 신호 생성 시에 적용하는 가중 계수를, 복수의 후보로부터 부가 정보없이 결정하는 본 발명은 적용할 수 있다.

제4 실시예에 따른 부호화 장치 및 복호 장치는, 도 2의 예측 생성기 내의 템플레이트 매칭기를 도 28 또는 도 31의 동작 보상기로 변경함으로써, 실현할 수 있다. 부호화 장치 및 복호 장치는, 대상 영역의 부가 정보의 부호화 및 복호화 처리 때문에, 도 27 및 도 30과 같이 변경된다. 또한, 이 변형예에 의한 부호화 처리 및 복호 처리는 도 5의 템플레이트 매칭 처리를 도 29 및 도 32의 동작 보상 처리로 변경함으로써 실현할 수 있다. 그리고, 제4 실시예에서는, 후보 예측 신호의 수를 M개로 고정하고, M개의 가중 계수의 조를 복수의 후보로부터 선택한다.

도 27은 제4 실시예에 따른 화상 예측 부호화 장치(100b)를 나타낸 블록도이다. 예측 신호 생성기(103c)의 입출력 구성이, 화상 예측 부호화 장치(100)의 블록도에 있어서의 화상 예측 부호화 장치(100)와는 상이하다. 즉, 대상 영역(대상 블록)의 화소 신호(대상 화소 신호)가 L102 경유로 입력되고, L2703 경유로, 2개 이상의 각 예측 영역에 액세스하기 위한 좌표 정보를 포함하는 대상 영역의 부가 정보가, 엔트로피 부호화기(111)에 출력된다. 예측 신호 생성기(103c)로부터 출력된 대상 영역의 부가 정보는, 양자화기(107)에 의해 양자화된 변환 계수와 함께, 엔트로피 부호화기(111)에 의해 부호화된다.

다음으로, 제4 실시예에 따른 화상 예측 부호화 장치(100b) 내의 예측 신호 생성기(103c)에 대하여 설명한다. 도 22의 예측 신호 생성기와 다른 점은, 템플레이트 매칭기(201)가 동작 보상기로 변경된 점이다.

도 28은 제4 실시예에 따른 화상 예측 부호화 장치(100b) 내의 예측 신호 생성기(103c)에 있어서의 동작 보상기(201b)의 블록도이다.

동작 보상기(201b)는, 라인 L104 경유로 프레임 메모리(104)에 기억되어 있는 재생 화상 신호에 액세스하여, 블록 매칭 처리를 행한다. 여기서, 도 3과 도 4를 사용하여, 이 블록 매칭 처리에 대하여 설명한다. 여기서는 대상 블록(402)에 대한 후보 예측 신호를 생성하는 처리에 대하여 설명한다.

먼저, 대상 블록이나 부호화된 인접 블록에 부가된 정보에 기초하여 "탐색 영역"을 설정한다. 도 3에서는, 대상 블록(402)에 접하고 있고, 그보다 전에 재생되어 동일한 화면 내에 있는 재생 화상의 일부(전부일 수도 있음)가 탐색 영역(401)으로서 설정되어 있다. 여기서는, 대상 블록(402)을 8×8의 화소로 이루어지는 부호화 대상 블록을 분할한 4×4화소의 소블록으로 하고 있지만, 그 외의 블록의 크기 또는 형태로 분할해도 되고, 분할하지 않아도 된다.

또한, 도 4에서는, 대상 블록(402)과는 상이한 화면(411)으로 나타내는 재생 화상의 일부가 탐색 영역(417)으로서 설정되어 있다. 그리고, 본 실시예에서는, 2개의 화면(도 3과 도 4) 내에 탐색 영역을 설정하고 있지만, 대상 블록과 동일한 화면 내에만 설정해도 되고(도 3), 대상 블록과 상이한 화면 내에만 설정해도 된다(도 4).

도 3에 나타낸 바와 같이 탐색 영역(401)과 대상 블록(402)이 접할 필요는 없고, 탐색 영역(401)은 대상 블록(402)과 전혀 접하고 있지 않아도 된다. 또한, 도 4에 나타낸 바와 같이 대상 블록과 상이한 하나의 화면(화면 411 만)에 있어서 탐색 영역을 설정하는 것으로 한정할 필요는 없고, 대상 블록과 상이한 복수의 화면(참조 화상, 재생된 상태이면 표시순으로 미래의 프레임을 포함할 수도 있음)에 각각 탐색 영역을 설정해도 된다.

동작 보상기(201b)는, 탐색 영역(401)과 (각 참조 프레임의) 탐색 영역(417)의 탐색 영역(어느 한쪽이라도 됨)에 있어서, 대상 영역(402) 내의 화소와 대상 영역(402)과 동일한 형상을 가지는 화소군 사이에서, 대응하는 화소 사이의 절대 오차값의 합(SAD)을 구하고, SAD가 작은 M개의 영역을 검색하고, 이들을 "예측 영역"이라고 한다. 그리고, 예측 영역에 인접하는 역L자형 영역을 "예측 인접 영역"이라고 한다. 검색 정밀도는 정수 화소 단위일 수도 있고, 1/2 화소, 1/4 화소 등 소수 정밀도의 화소를 생성하고, 소수 화소 정밀도로 탐색을 행해도 된다. M의 값은 미리 설정해 두지만, 도 3 및 도 4에서는, M = 6이며, 예측 영역(405a, 405b, 405c, 415a, 415b 및 415c)이 탐색되고 있다. 이들에 따른 예측 인접 영역이 영역(404a, 404b, 404c, 414a, 414b 및 414c)이며, 대상 영역의 부가 정보, 즉 각 예측 영역 및 예측 인접 영역에 액세스하기 위한 좌표 정보(동작 벡터와 참조 화상의 식별 번호)가 벡터(406a, 406b, 406c, 416a, 416b 및 416c)로 표시된다.

*또한, 동작 보상기(201b)에서는, 대상 블록(402)에 인접하는 "대상 인접 영역(403)"의 화소 신호(대상 인접 신호)와 탐색한 M개의 예측 인접 영역(404, 414)의 화소 신호 사이에서 SAD를 산출한다.

이상과 같은 동작을 행하기 위한 동작 보상기(201b)의 구성에 대하여 설명한다. 동작 보상기(201b)는, 대상 인접 영역 취득기(211)와 예측 인접 영역 취득기(212)와 예측 영역 취득기(2801)를 포함하여 구성된다.

예측 영역 취득기(2801)는, 라인 L104를 경유하여 프레임 메모리(104) 내의 탐색 영역으로부터 대상 영역(402)(대상 블록)과 동일한 형상의 영역(예측 영역)의 화소 신호를 차례로 취득하고, 라인 L102 경유로 입력된 대상 영역(402)의 화소 신호(대상 화소 신호)와 취득된 예측 영역(405나 415를 포함함)의 화소 신호 사이에서 SAD를 산출한다. 그리고, 탐색 범위 내의 화상군으로부터 SAD가 작은 M개의 예측 영역을 검색한다. 검색된 M개의 예측 영역(405와 415)에 액세스하기 위한 좌표 정보(406과 416, 동작 벡터와 참조 화상의 식별 번호)는, 대상 영역의 부가 정보로서, 라인 L2703 경유로, 엔트로피 부호화기(111)에 출력된다. 이와 동시에, M개의 좌표 정보는 라인 L201a 경유로, 좌표 정보용 메모리(202)와 예측 인접 영역 취득기(212)에 출력된다.

대상 인접 영역 취득기(211)는, 프레임 메모리(104)로부터 라인 L104를 경유하여 대상 인접 영역(403)을 취득하고, 라인 L211 경유로 예측 인접 영역 취득기(212)에 출력한다.

예측 인접 영역 취득기(212)는, 라인 L201a 경유로 M개의 예측 영역의 좌표 정보가 입력되면, 이 좌표 정보에 기초하여, 프레임 메모리(104) 내의 탐색 영역으로부터 대상 인접 영역(403)과 동일한 형상의 영역인 예측 인접 영역의 화소 신호를 M개 취득한다. 그리고, 라인 L211 경유로 대상 인접 영역 취득기(211)로부터 얻어지는 대상 인접 영역(403)의 화소 신호(인접 화소 신호)와 취득된 M개의 예측 인접 영역의 화소 신호 사이에서 SAD를 산출하고, 라인 L201b 경유로 후보 예측 신호의 조합 결정기(2200)에 출력한다.

이와 같이 동작 보상기(201b)는, M개의 예측 영역을 탐색하고, 이들 예측 영역에 액세스하기 위한 좌표 정보를 대상 영역의 부가 정보로서, 엔트로피 부호화기에 출력한다. 그리고, 탐색된 M개의 예측 영역에 대하여, 각 예측 영역에 인접하는 예측 인접 영역의 화소 신호와 대상 인접 영역의 화소 신호 사이의 SAD와, 각 예측 인접 영역에 액세스하기 위한 좌표 정보를 생성하고, 후보 예측 신호의 조합 결정기(2200)에 출력한다. 후보 예측 신호의 조합 결정기(2200)는, 입력된 정보에 기초하여, 제3 실시예에 나타낸 바와 같이, M개의 예측 영역의 화소 신호를 가중 평균화하기 위한 가중 계수의 조를 복수의 후보로부터 선택한다.

도 29는, 본 실시예에 따른 동작 보상기(201b)에서, 대상 영역(대상 블록)의 화소 신호(대상 화소 신호)에 대한 복수(M개)의 후보 예측 신호를 탐색하고, 탐색한 후보 예측 신호에 액세스하기 위한 좌표 정보를, 대상 영역의 부가 정보로서 취득하는 방법을 나타낸 흐름도이다.

먼저, 대상 인접 영역 취득기(211)에서는, 대상 블록에 대한 대상 인접 영역(템플레이트 신호)이 프레임 메모리(104)로부터 취득된다. 이와 동시에, 동작 보상기(201b)는 대상 영역의 화상 신호를, 입력 화상 신호를 보존하는 프레임 메모리로부터 취득한다(S2902).

다음으로, 동작 보상기(201b)는, M개의 후보 예측 신호를 선택하기 위한 임계값을 충분히 큰 값으로 초기화한다(S503). 예측 영역 취득기(2801)은, 탐색 영역으로부터 예측 영역을 취득하고, 취득한 예측 영역과 대상 영역과의 화소 신호 사이의 절대값 차분합(SAD)을 구한다(S2903). 또한, SAD값과 임계값이 비교되고(S505), SAD값이 임계값보다 작다고 판단된 경우, S2904로 진행하고, 그렇지 않다고 판단된 경우, S508로 진행한다.

처리 S2904에서는, 처리 S2903에서 산출한 SAD 중, 값이 작은 M개의 예측 영역에 액세스하기 위한 좌표 정보를 보존·갱신한다. 이와 동시에, 동작 보상기(201c)는, 임계값을 M번째로 작은 SAD의 값으로 갱신한다(S507).

그 후, 예측 영역 취득기(2801)에 의하여, 탐색 영역이 모두 탐색된 상태인지의 여부가 확인된다(S508). 모두 탐색된 상태가 아니라고 판단된 경우, S2903으로 복귀하고, 전부 탐색된 상태가 된 시점에서, 동작 보상기(201b)는 처리 S2905를 실시하고, 동작 보상 처리를 종료한다(S509). 처리 S2905에서는, 검출된 M개의 좌표 정보를 대상 영역의 부가 정보로서 부호화한다. 또한, 예측 인접 영역 취득기(212)에서, 처리 S2902에서 취득한 대상 인접 영역의 화소 신호와, M개의 좌표 정보에 기초하여 취득되는 M개의 예측 인접 영역의 화소 신호의 SAD가 산출된다.

도 30은 제4 실시예에 따른 화상 예측 복호 장치(300b)를 나타낸 블록도이다. 예측 신호 생성기(308c)의 입력 구성이, 화상 예측 복호 장치(300b)의 블록도에 있어서의 화상 예측 복호 장치(300)와 상이하다. 즉, 엔트로피 복호기(302)에 의해 복호된 2개 이상의 각각의 예측 영역에 액세스하기 위한 좌표 정보를 포함하는 대상 영역의 부가 정보가, 예측 신호 생성기(308c)에 입력된다.

다음으로, 제4 실시예에 따른 화상 예측 복호 장치(300b) 내의 예측 신호 생성기(308c)에 대하여 설명한다. 도 22의 예측 신호 생성기와 다른 점은, 템플레이트 매칭기(201)가 대상 인접 영역 동작 보상기(201b)로 변경되는 점이다.

도 31은 제4 실시예에 따른 화상 예측 복호 장치(300b) 내의 예측 신호 생성기(308c)에 있어서의 대상 인접 영역 동작 보상기(201c)의 블록도이다.

대상 인접 영역 동작 보상기(201c)에서는, 라인 L309 경유로 입력되는 M개의 좌표 정보에 기초하여, M개의 예측 인접 영역(404, 414)의 화소 신호를 취득하고, 대상 블록(402)에 인접하는 "대상 인접 영역(403)"의 화소 신호(대상 인접 신호)와의 사이에서 SAD를 산출한다.

대상 인접 영역 동작 보상기(201c)의 구성에 대하여 설명한다. 동작 보상기(201c)는, 대상 인접 영역 취득기(211)와 예측 인접 영역 취득기(212)를 포함하여 구성된다.

먼저, 라인 L309 경유로 입력되는 M개의 예측 영역에 액세스하기 위한 좌표 정보는, 예측 인접 영역 취득기(212)에 입력되고, 또한 후보 예측 신호의 조합 결정기(2200)에 출력된다.

예측 인접 영역 취득기(212)는, 라인 L309경유로 M개의 예측 영역의 좌표 정보가 입력되면, 이 좌표 정보에 기초하여, 프레임 메모리(104) 내의 탐색 영역으로부터 대상 인접 영역(403)과 동일한 형상의 영역인 예측 인접 영역의 화소 신호를 M개 취득한다. 그리고, 라인 L211 경유로 대상 인접 영역 취득기(211)로부터 얻어지는 대상 인접 영역(403)의 화소 신호(인접 화소 신호)와 취득한 M개의 예측 인접 영역의 화소 신호 사이에서 SAD를 산출하고, 라인 L201b 경유로 후보 예측 신호의 조합 결정기(2200)에 출력한다.

이와 같이 대상 인접 영역 동작 보상기(201c)는, M개의 각 예측 영역에 인접하는 예측 인접 영역의 화소 신호와 대상 인접 영역의 화소 신호 사이의 SAD를 산출하고, 각 예측 인접 영역에 액세스하기 위한 좌표 정보와 함께, 후보 예측 신호의 조합 결정기(2200)에 출력한다. 후보 예측 신호의 조합 결정기(2200)는, 입력된 정보에 기초하여, 제3 실시예에 나타낸 바와 같이, M개의 예측 영역의 화소 신호를 가중 평균화하기 위한 가중 계수의 조를 복수의 후보로부터 선택한다.

도 32는, 본 실시예에 따른 대상 인접 영역 동작 보상기(201c)에서 실시되는 처리를 나타낸 흐름도이다.

첫째, 복호기의 엔트로피 복호기(302)는, 대상 영역의 부가 정보를 복호하고, M개의 예측 영역에 액세스하기 위한 좌표 정보를 복호한다(S3202). 대상 인접 영역 취득기(211)에서는, 대상 블록에 대한 대상 인접 영역(템플레이트 신호)이 프레임 메모리(307)로부터 취득된다(S3203).

둘째, 예측 인접 영역 취득기(212)에서, 처리 S3203에서 취득한 대상 인접 영역의 화소 신호와, 복호된 M개의 좌표 정보에 기초하여 취득되는 M개의 예측 인접 영역의 화소 신호의 SAD가 산출되고(S3204), 처리를 종료한다(S3205).

이와 같이, 대상 영역에 부가된 정보에 기초하여, 복수의 예측 영역을 생성하는 경우에도, 이들 예측 영역을 가중 평균화하여, 대상 영역의 예측 신호를 생성하기 위한 가중 계수의 조를, 부가 정보없이 복수의 후보로부터 결정할 수 있다.

그리고, 제1 내지 제3 실시예와 마찬가지로, 제4 실시예의 화상 예측 부호화 장치(100b) 및 화상 예측 복호 장치(300)를, 프로그램 또는 그 프로그램을 포함한 기록 매체로서 구성할 수 있다. 그 구체적인 모듈 구성은, 도 11 및 도 13과 동일한 구성을 취한다. 또한, 예측 신호 생성기(103c)에 상당하는 모듈 구성은, 도 12와 동일한 구성을 취하지만, 템플레이트 매칭 모듈 P201을 대신하여, 동작 보상기(201b)의 기능을 가지는 동작 보상 모듈로 할 필요가 있다. 또한, 예측 신호 생성기(308c)에 상당하는 모듈 구성은, 도 12와 동일한 구성을 취하지만, 템플레이트 매칭 모듈 P201을 대신하여, 대상 인접 영역 동작 보상기(201c)에 상당하는 대상 인접 영역 동작 보상 모듈로 할 필요가 있다.

다음으로, 본 실시예의 화상 예측 부호화 장치(100) 및 화상 예측 복호 장치(300)의 작용 효과에 대하여 설명한다.

제1 실시예의 화상 예측 부호화 장치(100)에 있어서, 템플레이트 매칭기(201)는, 대상 화소 신호로 이루어지는 대상 영역(대상 블록)(402)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403)과의 상관이 높은 복수의 예측 인접 영역(404a∼404c, 414a∼414c)을, 기 재생 화상으로 이루어지는 탐색 영역(401) 및 (417)으로부터 탐색한다. 후보 예측 신호의 조합 결정기(203)에 있어서의 조합 설정기(231)는, 탐색된 복수의 예측 인접 영역(404a∼404c, 414a∼414c) 중 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출한다. 그리고, 예측 인접 영역 취득기(232)는, 도출된 예측 인접 영역의 화소 신호를 추출하고, 가중치 부여기(234) 및 가산기(235)는, 추출된 화소 신호를 사전에 정한 합성 방법을 사용하여, 예를 들면 평균화하여 가공함으로써, 조합마다 인접 화소 신호에 대한 비교 신호를 각각 생성한다. 그리고, 비교·선택기(236)는, 가중치 부여기(234) 등에 의해 생성된 비교 신호와 대상 인접 영역 취득기(233)에 의해 취득된 인접 화소 신호와의 상관이 높은 조합을 선택한다. 예측 영역 취득기(204)는, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 가중치 부여기(205) 및 가산기(206)는, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다. 이와 같이 생성된 예측 신호를 블록 분할기(102)를 통하여 취득된 대상 화소 신호로부터 감산기(105)가 감산하여 잔차 신호를 생성하고, 변환기(106), 양자화기(107), 및 엔트로피 부호화기(111)는 생성된 잔차 신호를 부호화한다.

이로써, 대상 블록에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역을 사용하여, 정보량을 많이 하지 않고 평활화에 적합한 후보 예측 신호의 조합을 선택할 수 있으므로, 국소적인 잡음 특성을 고려한 예측 신호를 효율적으로 생성할 수 있다.

또한, 본 실시예의 화상 예측 부호화 장치(100)에 있어서의 비교·선택기(236)는, 비교 신호와 인접 화소 신호와의 차분의 절대값의 합인 SAD가 작은 조합을 선택함으로써, 보다 평활화에 적합한 후보 예측 신호의 조합을 선택할 수 있다.

또한, 본 실시예의 화상 예측 부호화 장치(100)에 있어서의 가중치 부여기(234) 및 가산기(235)는, 조합 설정기(231)에 있어서 설정된 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써 비교 신호를 생성함으로써, 보다 평활화에 적합한 후보 예측 신호의 조합을 선택하는 데 있어서 적절한 비교 신호를 생성할 수 있다.

또한, 본 실시예의 화상 예측 부호화 장치(100)에 있어서의 조합 설정기(231)가 설정하는 예측 인접 영역의 조합이, 대상 인접 영역과의 상관이 높은 순으로 2의 n제곱 개의 예측 인접 영역을 포함하도록 함으로써, 가산과 시프트 연산 만으로 행할 수 있고, 실장상 간단한 구성을 취할 수 있다. 여기서, n의 값은 0 이상의 정수인 것이 바람직하다.

또한, 본 실시예의 화상 예측 복호 장치(300)에 있어서, 템플레이트 매칭기(201)는, 대상 화소 신호로 이루어지는 대상 영역(대상 블록)(402)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403)과의 상관이 높은 복수의 예측 인접 영역(404a∼404c, 414a∼414c)을, 기 재생 화상으로 이루어지는 탐색 영역(401 및 417)으로부터 탐색한다. 후보 예측 신호의 조합 결정기(203)에 있어서의 조합 설정기(231)는, 탐색된 복수의 예측 인접 영역(404a∼404c, 414a∼414c) 중 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출한다. 그리고, 예측 인접 영역 취득기(232)는, 도출된 예측 인접 영역의 화소 신호를 추출하고, 가중치 부여기(234) 및 가산기(235)는, 추출된 화소 신호를 사전에 정한 합성 방법을 사용하여, 예를 들면 평균화하여 가공함으로써, 조합마다 인접 화소 신호에 대한 비교 신호를 각각 생성한다. 그리고, 비교·선택기(236)는, 가중치 부여기(234) 등에 의해 생성된 비교 신호와 대상 인접 영역 취득기(233)에 의해 취득된 인접 화소 신호와의 상관이 높은 조합을 선택한다. 예측 영역 취득기(204)는, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 가중치 부여기(205) 및 가산기(206)는, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다.

그리고, 입력 단자(301)를 통하여 입력한 압축 데이터로부터 엔트로피 복호기(302), 역양자화기(303) 및 역변환기(304)가 차분 신호를 복원하며, 가산기(305)는, 전술한 바와 같이 생성된 예측 신호와 복원한 차분 신호를 가산하여, 재생 화상 신호를 생성한다.

또한, 본 실시예의 화상 예측 복호 장치(300)에 있어서의 비교·선택기(236)는, 비교 신호와 인접 화소 신호와의 차분의 절대값의 합인 SAD가 작은 조합을 선택함으로써, 보다 평활화에 적합한 후보 예측 신호의 조합을 선택할 수 있다.

또한, 본 실시예의 화상 예측 복호 장치(300)에 있어서의 가중치 부여기(234) 및 가산기(235)는, 조합 설정기(231)에 있어서 설정된 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써 비교 신호를 생성함으로써, 보다 평활화에 적합한 후보 예측 신호의 조합을 선택하는 데 있어서 적절한 비교 신호를 생성할 수 있다.

또한, 본 실시예의 화상 예측 복호 장치(300)에 있어서의 조합 설정기(231)가 설정하는 예측 인접 영역의 조합이, 대상 인접 영역과의 상관이 높은 순으로 2의 n제곱 개의 예측 인접 영역을 포함하도록 함으로써, 가산과 시프트 연산만으로 행할 수 있고, 실장상 간단한 구성을 취할 수 있다. 여기서, n의 값은 0 이상의 정수인 것이 바람직하다.

또한, 본 실시예의 화상 예측 부호화 프로그램 P100에 있어서, 템플레이트 매칭 모듈 P201은, 대상 화소 신호로 이루어지는 대상 영역(대상 블록)(402)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403)과의 상관이 높은 복수의 예측 인접 영역(404a∼404c, 414a∼414c)을, 기 재생 화상으로 이루어지는 탐색 영역(401 및 417)으로부터 탐색한다. 후보 예측 신호의 조합 결정 모듈 P202는, 탐색된 복수의 예측 인접 영역(404a∼404c, 414a∼414c) 중 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출한다. 그리고, 후보 예측 신호의 조합 결정 모듈 P202는, 도출된 예측 인접 영역의 화소 신호를 추출하고, 추출된 화소 신호를 사전에 정한 합성 방법을 사용하여, 예를 들면 평균화하여 가공함으로써, 조합마다 인접 화소 신호에 대한 비교 신호를 각각 생성한다. 그리고, 예측 신호 합성 모듈 P203은, 생성된 비교 신호와 취득된 인접 화소 신호와의 상관이 높은 조합을 선택한다. 후보 예측 신호의 조합 결정 모듈 P202는, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다. 이와 같이 생성된 예측 신호를 블록 분할 모듈 P102를 통하여 취득된 대상 화소 신호로부터 감산 모듈 P105가 감산하여 잔차 신호를 생성하고, 변환 모듈 P106, 양자화 모듈 P107, 및 엔트로피 부호화 모듈 P111은 생성된 잔차 신호를 부호화한다.

또한, 본 실시예의 화상 예측 복호 프로그램 P300에 있어서, 템플레이트 매칭 모듈 P201은, 대상 화소 신호로 이루어지는 대상 영역(대상 블록)(402)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403)과의 상관이 높은 복수의 예측 인접 영역(404a∼404c, 414a∼414c)을, 기 재생 화상으로 이루어지는 탐색 영역(401 및 417)으로부터 탐색한다. 예측 신호 합성 모듈 P203은, 탐색된 복수의 예측 인접 영역(404a∼404c, 414a∼414c) 중 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출한다. 그리고, 예측 신호 합성 모듈 P203은, 도출된 예측 인접 영역의 화소 신호를 추출하고, 추출된 화소 신호를 사전에 정한 합성 방법을 사용하여, 예를 들면 평균화하여 가공함으로써, 조합마다 인접 화소 신호에 대한 비교 신호를 각각 생성한다. 그리고, 예측 신호 합성 모듈 P203은, 생성된 비교 신호와 취득된 인접 화소 신호와의 상관이 높은 조합을 선택한다. 예측 신호 합성 모듈 P203은, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 예측 신호 합성 모듈 P203은, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다.

그리고, 입력된 압축 데이터로부터 엔트로피 복호 모듈 P302, 역양자화 모듈 P303, 역변환 모듈 P304가 차분 신호를 복원하며, 가산 모듈 P305는, 전술한 바와 같이 생성된 예측 신호와 복원된 차분 신호를 가산하여, 재생 화상 신호를 생성한다.

화상 예측 부호화 장치(100)에 있어서 예측 신호 생성기(103a)를 적용한 제2 실시예에서는, 이하의 작용 효과를 얻을 수 있다. 즉, 예측 신호 생성기(103a)에 있어서, 예측 인접 영역 취득기(212)는, 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색한다. 그리고, 대표 예측 영역 취득기(1802)는, 탐색된 복수의 예측 인접 영역 중, 대상 영역에 기초한 N개의 예측 영역의 화소 신호 또는 탐색된 N개의 예측 인접 영역 중 예측 인접 영역의 화소 신호 또는 그 양쪽의 신호로부터 2개의 신호를 취득한다.

그리고, 예측 영역간의 상관 평가값 산출기(1803)는, N개의 후보 예측 신호 사이의 상관을 평가하는 평가값을 사전에 정한 방법으로 산출한다. 예측 영역 취득기(204)는, 상기 평가값이 규정된 임계값보다 작은 경우에 있어서의 N개의 후보 예측 신호를 취득하고, 가중치 부여기(205) 및 가산기(206)는, N개의 후보 예측 신호에 대하여 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다. 그리고, 감산기(105)는, 생성된 예측 신호를 대상 화소 신호로부터 감산하여 잔차 신호를 산출하고, 변환기(106), 양자화기(107) 및 엔트로피 부호화기(111)는, 잔차 신호를 부호화하고, 출력 단자(112)는 출력한다.

이로써, 복수의 후보 예측 신호에 기초하여 적절한 예측 신호를 생성할 수 있다. 후보 예측 신호의 잡음 성분만 상이하며 신호 성분이 유사한 신호에 대하여, 특히 효과가 있다.

또한, 예측 신호 생성기(103a)에 있어서, 임계값 처리기(1804)가 평가값이 임계값보다 크다고 판단하는 경우에는, 카운터(1801)가 N값을 감산함으로써 그 다음으로 큰 값으로 갱신하고, 대표 예측 영역 취득기(1802)가 화소 신호의 조합을 재취득하고, 예측 영역간의 상관 평가값 산출기(1803)가 재차 평가값을 산출하고, 임계값 처리기(1804)가 평가값의 산출과 규정된 임계값의 비교를 재차 행함으로써, 예측 영역 취득기(204)는, 유효한 후보 예측 신호의 개수를 선택할 수 있다.

또한, 예측 신호 생성기(103a)에 있어서, 예측 영역간의 상관 평가값 산출기(1803)는, 템플레이트 매칭기(201)가 탐색한 N개의 예측 인접 영역 중, 대상 인접 영역과의 상관이 가장 높은 예측 인접 영역에 인접하는 예측 영역의 화소 신호와 대상 인접 영역과의 상관이 N번째로 높은 예측 인접 영역에 인접하는 예측 영역의 화소 신호, 또는 대상 인접 영역과의 상관이 가장 높은 예측 인접 영역의 화소 신호와 대상 인접 영역과의 상관이 N번째로 높은 예측 인접 영역의 화소 신호, 또는 화소 신호 각각을 합친 신호의 차분의 절대값의 합을 산출하고, 상기 차분의 절대값의 합을 평가값으로 한다. 이로써, 적절한 평가값을 산출할 수 있다.

또한, 화상 예측 복호 장치(300)에 있어서, 예측 신호 생성기(308a)를 적용한 경우 이하의 작용 효과를 얻을 수 있다. 예측 인접 영역 취득기(212)는, 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 복수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색한다. 그리고, 대표 예측 영역 취득기(1802)는, 탐색된 복수의 예측 인접 영역 중, 대상 영역에 기초한 N개의 예측 영역의 화소 신호 또는 탐색된 N개의 예측 인접 영역 중 예측 인접 영역의 화소 신호 또는 그 양쪽의 신호로부터 2개의 신호를 취득한다.

그리고, 예측 영역간의 상관 평가값 산출기(1803)는, N개의 후보 예측 신호 사이의 상관을 평가하는 평가값을 사전에 정한 방법으로 산출한다. 예측 영역 취득기(204)는, 상기 평가값이 규정된 임계값보다 작은 경우에서의 N개의 후보 예측 신호를 취득하고, 가중치 부여기(205) 및 가산기(206)는, N개의 후보 예측 신호에 대하여 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다.

한편, 입력 단자(301)를 통하여 입력한 압축 데이터로부터 엔트로피 복호기(302), 역양자화기(303) 및 역변환기(304)가 차분 신호를 복원하고, 가산기(305)는, 전술한 바와 같이 생성된 예측 신호와 복원한 차분 신호를 가산하여, 재생 화상 신호를 생성한다.

화상 예측 부호화 장치(100)에 대하여 예측 신호 생성기(103b)를 적용한 제3 실시예에서는, 이하의 작용 효과를 얻을 수 있다. 템플레이트 매칭기(201)가, 대상 영역 또는 대상 영역에 인접하는 대상 인접 영역에 기초하여, 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득한다.

그리고, 조합 설정기(231)는, 취득한 복수의 예측 인접 영역 중, 상기 예측 인접 영역을 2개 이상 포함하는, 임의의 예측 인접 영역의 조합을 도출한다. 다음으로, 가중 계수 설정기(2201)는, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 가중 평균화기(2202)는, 이들 조합에 대하여, 복수의 가중 계수의 조를 사용하여 이들 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써, 인접 화소 신호에 대한 비교 신호를 2개 이상 생성한다.

다음으로, 비교·선택기(2203)는, 상기 비교 신호와 인접 화소 신호와의 상관이 높은 가중 계수의 조를 선택하고, 예측 영역 취득기(204)는, 조합에 속하는 예측 인접 영역에 기초하여, 기 재생 화상으로부터 대상 화소 신호의 후보 예측 신호를 2개 이상 생성하고, 가중 평균화기(2204)는, 상기 후보 예측 신호를 선택한 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성한다. 그리고, 감산기(105)는, 생성한 예측 신호를 대상 화소 신호로부터 감산함으로써 잔차 신호를 생성하고, 변환기(106), 양자화기(107) 및 엔트로피 부호화기(111)는, 잔차 신호를 부호화한다. 이로써, 대상 블록마다, 부가 정보없이 가중 계수의 조를 선택할 수 있게 된다.

또한, 제3 실시예의 화상 부호화 장치(100)에 있어서는, 템플레이트 매칭기(201)가, 대상 영역 또는 대상 영역에 인접하는 대상 인접 영역에 기초하여, 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득한다.

그리고, 조합 설정기(231)는, 취득한 복수의 예측 인접 영역 중, 상기 예측 인접 영역을 1개 이상 포함하는, 임의의 예측 인접 영역의 조합을 도출한다.

그리고, 가중 계수 설정기(2201)은, 예측 인접 영역을 2개 이상 포함하는 조합에 대하여, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 가중 평균화기(2202)는, 상기 복수의 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 인접 화소 신호에 대한 비교 신호를 2개 이상 생성한다.

다음으로, 비교·선택기(2203)는, 상기 비교 신호와 인접 화소 신호와의 상관이 높은 가중 계수의 조를 선택하고, 재차, 가중 평균화기(2202)는, 선택된 복수의 조합에 속하는 예측 인접 영역의 화소 신호를, 선택한 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 재차, 비교·선택기(2203)는, 상기 비교 신호와 인접 화소 신호와의 상관이 높은 조합을 선택한다.

그리고, 예측 영역 취득기(204)는, 상기 선택한 조합에 속하는 예측 인접 영역에 기초하여, 기 재생 화상으로부터 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 가중 평균화기(2204)는, 상기 후보 예측 신호를, 선택한 조합에 대하여 먼저 선택한 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성한다. 그리고, 생성한 예측 신호를 사용하여 대상 화소 신호와의 잔차 신호를 생성하고, 잔차 신호를 부호화한다. 이로써, 대상 블록마다, 부가 정보없이 예측 신호 생성에 유효한 후보 예측 신호의 조합 및 가중 계수의 조를 선택할 수 있게 된다.

또한, 예측 신호 생성기(103b)에 있어서, 가중 계수 설정기(2201)는, 조합에 속하는 복수의 예측 인접 영역의 화소 신호와 전접(前接) 화소 신호와의 차분의 절대값의 합이 커짐에 따라 작은 가중 계수가 설정되도록[예를 들면, 식 (7)에 나타낸 바와 같이], 적어도 가중 계수의 조의 하나를 산출함으로써, 적절한 가중 계수의 조를 산출할 수 있다.

또한, 예측 신호 생성기(103b)에 있어서, 가중 계수 설정기(2201)는, 조합에 속하는 예측 인접 영역의 개수에 따라 정해지는 가중 계수의 조[예를 들면, 식 (6)에 나타낸 바와 같이]를 사전에 준비하고, 전술한 바와 같이 준비된 가중 계수의 조에 의해 하나 이상의 가중 계수의 조를 도출함으로써, 적절한 가중 계수의 조를 산출할 수 있다.

또한, 예측 신호 생성기(103b)에 있어서, 가중 계수 설정기(2201)는, 조합에 속하는 복수의 예측 인접 영역의 화소 신호와 인접 화소 신호와의 차분의 절대값의 합으로부터 가중 계수의 조가 정해지는 대응표(예를 들면, 도 26에 나타낸 바와 같이)를 준비하고, 상기 대응표를 사용하여 하나 이상의 가중 계수의 조를 도출함으로써, 적절한 가중 계수의 조를 산출할 수 있다.

또한, 화상 예측 복호 장치(300)에 있어서, 예측 신호 생성기(308b)를 적용한 경우 이하의 작용 효과를 얻을 수 있다. 템플레이트 매칭기(201)가, 대상 영역 또는 대상 영역에 인접하는 대상 인접 영역에 기초하여, 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득한다.

또한, 제3 실시예의 화상 복호 장치(300)에 있어서는, 템플레이트 매칭기(201)가, 대상 영역 또는 대상 영역에 인접하는 대상 인접 영역에 기초하여, 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득한다.

그리고, 가중 계수 설정기(2201)는, 예측 인접 영역을 2개 이상 포함하는 조합에 대하여, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 가중 평균화기(2202)는, 복수의 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 인접 화소 신호에 대한 비교 신호를 2개 이상 생성한다.

그리고, 예측 영역 취득기(204)는, 상기 선택한 조합에 속하는 예측 인접 영역에 기초하여, 기 재생 화상으로부터 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 가중 평균화기(2204)는, 상기 후보 예측 신호를, 선택한 조합에 대하여 먼저 선택한 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성한다.

한편, 입력 단자(301)를 통하여 입력한 압축 데이터로부터 엔트로피 복호기(302), 역양자화기(303) 및 역변환기(304)가 차분 신호를 복원하고, 가산기(305)는, 전술한 바와 같이 생성된 예측 신호와 복원한 차분 신호를 가산하여, 재생 화상 신호를 생성한다. 이로써, 대상 블록마다, 부가 정보없이 예측 신호 생성에 유효한 후보 예측 신호의 조합 및 가중 계수의 조를 선택할 수 있게 된다.

또한, 예측 신호 생성기(308b)에 있어서, 가중 계수 설정기(2201)는, 조합에 속하는 복수의 예측 인접 영역의 화소 신호와 전접 화소 신호와의 차분의 절대값의 합이 커짐에 따라 작은 가중 계수가 설정되도록[예를 들면, 식 (7)에 나타낸 바와 같이], 적어도 가중 계수의 조의 하나를 산출함으로써, 적절한 가중 계수의 조를 산출할 수 있다.

또한, 예측 신호 생성기(308b)에 있어서, 가중 계수 설정기(2201)는, 조합에 속하는 예측 인접 영역의 개수에 따라 정해지는 가중 계수의 조[식 (6)에 나타낸 바와 같이]을 사전에 준비하고, 준비된 가중 계수의 조에 의해 하나 이상의 가중 계수의 조를 도출함으로써, 적절한 가중 계수의 조를 산출할 수 있다.

또한, 예측 신호 생성기(308b)에 있어서, 가중 계수 설정기(2201)는, 조합에 속하는 복수의 예측 인접 영역의 화소 신호와 인접 화소 신호와의 차분의 절대값의 합으로부터 가중 계수의 조가 정해지는 대응표(도 26에 나타낸 바와 같이)를 준비하고, 상기 대응표를 사용하여 하나 이상의 가중 계수의 조를 도출함으로써, 적절한 가중 계수의 조를 산출할 수 있다.

제4 실시예로서, 제3 실시예에 대하여 동작 보상을 행하도록 구성하고 있다. 예를 들면, 제3 실시예에서는, 템플레이트 매칭기(201)가, 대상 영역 또는 대상 영역에 인접하는 대상 인접 영역에 기초하여, 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고 있지만, 이에 한정되지 않고, 예를 들면, 대상 영역에 부가되어 있는, 동작 벡터나 참조 화상의 식별 번호 등의 부가 정보에 기초하여 예측 인접 영역을 취득하도록 해도 된다.

<제5 실시예>

도 33은, 본 발명의 실시예에 따른 화상 예측 부호화 방법을 실행할 수 있는 화상 예측 부호화 장치(100X)를 나타낸 블록도이다. 이 화상 예측 부호화 장치(100X)는, 입력 단자(101X), 블록 분할기(102X)(영역 분할 수단), 예측 신호 생성기(103X)(예측 신호 생성 수단), 프레임 메모리(104X), 감산기(105X)(잔차 신호 생성 수단), 변환기(106X)(부호화 수단), 양자화기(107X)(부호화 수단), 역양자화기(108X), 역변환기(109X), 가산기(110X), 엔트로피 부호화기(111X), 및 출력 단자(112X)를 포함하여 구성되어 있다. 변환기(106X)와 양자화기(107X)는 부호화 수단으로서 기능한다.

이상과 같이 구성된 화상 예측 부호화 장치(100X)에 대하여, 이하 그 구성에 대하여 설명한다.

입력 단자(101X)는, 복수의 화상으로 이루어지는 동화상의 신호를 입력하는 단자이다.

블록 분할기(102X)는, 입력 단자(101X)로부터 입력된 동화상의 신호로서, 부호화의 대상이 되는 화상을 복수의 영역으로 분할한다. 본 발명에 의한 실시예에서는, 8×8의 화소로 이루어지는 블록으로 분할하지만, 그 외의 블록의 크기 또는 형태로 분할해도 된다.

예측 신호 생성기(103X)는, 부호화 처리의 대상이 되는 대상 영역(대상 블록)에 대하여 예측 신호를 생성하는 부분이다. 이 예측 신호 생성기(103X)의 구체적인 처리에 대해서는 후술한다.

감산기(105X)는, 라인 L102X를 경유하여 입력된 블록 분할기(102X)로 분할되어 얻어진 대상 영역에서 나타내는 화소 신호로부터, 라인 L103X를 경유하여 입력된 예측 신호 생성기(103X)에 의해 생성된 예측 신호를 감산하여, 잔차 신호를 생성하는 부분이다. 감산기(105X)는, 감산하여 얻은 잔차 신호를, 라인 L105X를 경유하여 변환기(106X)에 출력한다.

변환기(106X)는, 감산하여 얻어진 잔차 신호를 이산 코사인 변환하는 부분이다. 또한, 양자화기(107X)는, 변환기(106X)에 의해 이산 코사인 변환된 변환 계수를 양자화하는 부분이다. 엔트로피 부호화기(111X)는, 양자화기(107X)에 의해 양자화된 변환 계수를 압축 부호화하고, 압축 부호화된 압축 데이터를, 라인 L111X를 경유하여 출력한다. 출력 단자(112X)는, 엔트로피 부호화기(111X)로부터 입력한 정보인 압축 데이터를 외부에 출력한다.

역양자화기(108X)는, 양자화된 변환 계수를 역양자화하고, 역변환기(109X)는 역이산 코사인 변환하고, 부호화된 잔차 신호를 복원한다. 가산기(110X)는, 복원된 잔차 신호와 라인 L103X로부터 보내어진 예측 신호를 가산하고, 대상 블록의 신호를 재생하여, 재생 화상 신호를 얻어, 이 재생 화상 신호를 프레임 메모리(104X)에 기억시킨다. 본 실시예에서는 변환기(106X)와 역변환기(109X)를 사용하고 있지만, 이들 변환기를 대신하는 다른 변환 처리를 사용해도 되고, 변환기(106X)와 역변환기(109X)는 반드시 필수적인 것은 아니다. 이와 같이, 후속의 대상 영역에 대한 화면 내 예측 또는 화면간 예측을 행하기 위해, 압축된 대상 영역의 화소 신호는 역처리에 의해 복원되어 프레임 메모리(104X)에 기억된다.

다음으로, 예측 신호 생성기(103X)에 대하여 설명한다. 예측 신호 생성기(103X)는, 부호화 처리의 대상이 되는 대상 영역(이하, 대상 블록이라고 함)에 대한 예측 신호를 생성하는 부분이다. 본 실시예에서는, 3종류의 예측 방법이 사용된다. 즉, 예측 신호 생성기(103X)는, 후술하는 화면간 예측 방법과 화면 내 예측 방법 중 적어도 어느 한쪽 또는 양쪽을 사용하여 예측 신호를 생성한다.

본 실시예에 있어서의 예측 신호 생성기(103X)의 처리에 대하여 설명한다. 도 34는, 본 실시예에 따른 화상 예측 부호화 장치(100X)에 사용되는 예측 신호 생성기(103X)를 나타낸 블록도이며, 템플레이트 매칭기(201X)와 좌표 정보용 메모리(202X)와 후보 예측 신호의 조합 결정기(203X)와 예측 영역 취득기(204X)와 가중치 부여기(205X)와 가산기(206X)를 포함하여 구성되어 있다.

템플레이트 매칭기(201X)에서는, 라인 L104X 경유로 프레임 메모리(104X)로부터 과거의 처리로 이미 재생된 화상 신호(재생 화상 신호)가 입력되고, 대상 영역의 대상 화소 신호에 대한 예측 신호의 후보(후보 예측 신호)를 후술하는 템플레이트 매칭에 의해 복수개 탐색하고, 탐색된 후보 예측 신호에 액세스하기 위한 좌표 정보를 라인 L201aX 경유로 좌표 정보용 메모리(202X)에 출력한다. 이와 동시에, 대상 영역과 각 후보 예측 신호 사이의 관계를 나타낸 차분값 데이터[후술하는 절대 오차값의 합 SAD(sum of absolute difference)에 상당]를 라인 L201bX 경유로 후보 예측 신호의 조합 결정기(203X)에 출력한다.

후보 예측 신호의 조합 결정기(203X)에서는, 라인 L201bX 경유로 입력된 차분값 데이터를 이용하여, 후보 예측 신호의 조합을 복수개 설정한다. 그리고, 라인 L202aX 경유로 좌표 정보용 메모리(202X)로부터 입력되는 좌표 정보에 따라 라인 L104X 경유로 프레임 메모리로부터 입력되는 화소 신호를 사용하여, 후보 예측 신호의 조합을 결정하고, 후보 예측 신호의 조합 정보로서 라인 L203X 경유로 예측 영역 취득기(204X)에 출력한다.

예측 영역 취득기(204X)는, 라인 L203X 경유로 입력된 후보 예측 신호의 조합 정보에 따라, 이 조합에 속하는 후보 예측 신호의 좌표 정보를 라인 L202bX 경유로 취득한다. 그리고, 예측 영역 취득기(204X)는, 라인 L104X 경유로 프레임 메모리(104X)로부터, 취득된 좌표 정보에 대응하는 후보 예측 신호를 취득하고, 가중치 부여기(205X)에 수시로 출력한다. 가중치 부여기(205X)는, 라인 L204X 경유로 입력된 각 후보 예측 신호에 가중 계수를 곱하고, 라인 L205X 경유로 가산기(206X)에 출력한다. 가산기(206X)는 가중 처리된 후보 예측 신호를 차례로 가산하고, 예측 신호로서 라인 L103X 경유로 도 33의 감산기(105X)에 출력한다. 그리고, 가중치 부여기의 동작에 대해서는, 예를 들면 후보 예측 신호의 수가 N일 때 1/N를 각 후보 예측 신호에 곱하는 방법 등이 있지만, 다른 방법이라도 된다.

또한, 템플레이트 매칭기(201X), 후보 예측 신호의 조합 결정기(203X), 예측 영역 취득기(204X)의 각 구성에 대하여 상세하게 설명한다. 먼저, 템플레이트 매칭기(201X)에 있어서의 처리 내용에 대하여 설명한다. 템플레이트 매칭기(201X)는, 라인 L104X 경유로 프레임 메모리(104X)에 기억되어 있는 재생 화상 신호에 액세스하여, 매칭 처리를 행한다. 여기서, 이 매칭 처리에 대하여 설명한다. 도 35와 도 36은, 본 발명의 실시예에 따른 템플레이트 매칭 처리를 설명하기 위한 모식도이다. 여기서는 대상 블록(402X)에 대한 후보 예측 신호를 생성하는 처리에 대하여 설명한다.

먼저, 대상 블록에 대하여 미리 결정된 방법으로 "대상 인접 영역"(템플레이트라고도 함)과 "탐색 영역"를 설정한다. 도 35에서는, 대상 블록(402X)에 접하고 있고, 그보다 전에 재생되어 동일한 화면 내에 있는 재생 화상의 일부(전부일 수도 있음)가 탐색 영역(401X)으로서 설정되어 있다. 여기서는, 대상 블록(402X)을, 8×8의 화소로 이루어지는 부호화 대상 블록을 분할한 4×4 화소의 소블록으로 하고 있지만, 그 외의 블록의 크기 또는 형태로 분할해도 되고, 분할하지 않아도 된다.

또한, 도 36에서는, 대상 블록(402X)과는 다른 화면(411X)으로 나타내는 재생 화상의 일부가 탐색 영역(417X)으로서 설정되어 있다. 또한, 대상 블록(402X)과는 다른 복수의 화면에 각각 탐색 영역을 설치해도 된다. "대상 인접 영역"으로서는 대상 블록(402X)에 인접하는 기 재생의 화소군(역L자 영역)(403X)을 사용한다. 그리고, 본 실시예에서는, 2개의 화면(도 35와 도 36) 내에 탐색 영역을 설정하고 있지만, 대상 블록과 동일한 화면 내에만 설정해도 되고(도 35), 대상 블록과 상이한 화면 내에만 설정해도 된다(도 36).

도 35에 나타낸 바와 같이 탐색 영역(401X)과 대상 블록(402X)은 접할 필요는 없으며, 탐색 영역(401X)은 대상 블록(402X)과 전혀 접하고 있지 않아도 된다. 또한, 도 36에 나타낸 바와 같이 대상 블록과는 다른 하나의 화면[화면(411X) 만]에 있어서 탐색 영역을 설정하는 것으로 한정할 필요는 없고, 대상 블록과는 다른 복수의 화면(참조 화상, 재생된 상태이면 표시순으로 미래의 프레임을 포함해도 됨)에 각각 탐색 영역을 설정해도 된다.

또한, 대상 인접 영역(403X)에 대하여는, 대상 블록(402X)과 적어도 1화소라도 접하고 있으면 된다. 여기서는, 대상 인접 영역의 형상은, 역L자로 하고 있지만, 이에 한정되지 않는다. 따라서, 대상 인접 영역은 대상 블록(402X)의 주위의 재생된 화소로 구성되어 있으면, 형태와 화소수는 미리 정해 두면 임의로 되고, 시퀀스 단위 또는 프레임 단위나 블록 단위로 템플레이트의 형상과 사이즈(화소수)를 부호화해도 된다.

템플레이트 매칭기(201X)는, 탐색 영역(401X)과 탐색 영역(417X) 또는 어느 한쪽의 탐색 영역에 있어서, 대상 인접 영역(403X)과 동일한 형상을 가지는 화소군 사이에서, 대응하는 화소 사이의 절대 오차값의 합(SAD값)을 구하고, SAD값이 작은 M개의 영역을 검색하고, 이들을 "예측 인접 영역"이라고 한다. 검색 정밀도는 정수 화소 단위일 수도 있고, 1/2 화소, 1/4 화소 등의 소수 정밀도의 화소를 생성하고, 소수 화소 정밀도로 탐색을 행해도 된다. M의 값은 미리 설정해 두면 임의의 값을 사용해도 된다. 도 35 및 도 36에 나타낸 바와 같이, M=6이며, 예측 인접 영역(404aX, 404bX, 404cX, 414aX, 414bX 및 414cX)이 탐색되어 있다. 또한, 탐색하는 예측 인접 영역의 개수를 결정하지 않고 SAD값이 어떤 임계값보다 작은 영역을 탐색하여 M의 값을 결정해도 되고, 임계값보다 작은 영역의 개수와 설정한 수보다 작은 쪽을 M의 값으로 해도 된다. 이 때 임계값은, SAD값 그 자체에 대해서가 아니라, 최소의 SAD값과 2번째 이후의 SAD값과의 차분값에 대하여 적용해도 된다. 후자에서는, 템플레이트 매칭기(201X)는, 최소의 SAD값이 큰 경우라도 임계값을 변경하지 않고 많은 예측 인접 영역을 검색할 수 있다. M의 상한값이나 임계값은, 미리 설정해 두어도 되지만, 시퀀스 단위 또는 프레임 단위나 블록 단위로 적절한 값을 부호화해도 된다.

예측 인접 영역(404aX, 404bX, 404cX, 414aX, 414bX 및 414cX)에 접하고 있는 영역(405aX, 405bX, 405cX, 415aX, 415bX 및 415cX)이 대상 블록(402X)에 대한 예측 영역으로 결정되고, 예측 영역 내의 화소 신호가 후보 예측 신호로 결정된다. 그리고, 여기서는, 예측 인접 영역과 후보 예측 신호를 나타낸 예측 영역과의 위치 관계는, 대상 영역과 대상 인접 영역과 동일한 관계에 있지만, 그렇지 않아도 된다. 본 실시예에서는, 각 예측 인접 영역(및 예측 영역)을 프레임 메모리(104X)로부터 취득하기 위한 액세스 정보로서, 대상 인접 영역(및 대상 영역)과 예측 인접 영역(및 예측 영역) 사이의 차분 좌표(406aX, 406bX, 406cX, 416aX, 416bX 및 416cX)와 각 예측 인접 영역(및 예측 영역)이 속하는 화면(참조 화상)의 식별 번호가 좌표 정보로서 좌표 정보용 메모리(202X)에 기억된다.

이상과 같은 동작을 행하기 위한 템플레이트 매칭기(201X)의 구성에 대하여 설명한다. 템플레이트 매칭기(201X)는, 대상 인접 영역 취득기(211X)와 예측 인접 영역 취득기(212X)와 비교기(213X)와 스위치(214X)를 포함하여 구성된다. 먼저, 대상 인접 영역 취득기(211X)는, 프레임 메모리(104X)로부터 라인 L104X를 경유하여 대상 인접 영역(403X)을 취득한다.

예측 인접 영역 취득기(212X)는, 라인 L104X를 경유하여 프레임 메모리(104X) 내의 탐색 영역으로부터 대상 인접 영역과 동일한 형상의 영역의 화소 신호를 취득하고, 라인 L211X 경유로 대상 인접 영역 취득기(211X)로부터 얻어지는 대상 인접 영역의 화소 신호(인접 화소 신호)와의 사이에서 SAD값을 산출한다. 비교기(213X)는, 산출된 SAD값을, 라인 L212bX 경유로 입력하고, 지금까지 취득된 SAD값 중에서 M번째로 작은 SAD값과 비교한다. 그리고, 비교기(213X)가 입력된 SAD값이 작다고 판단한 경우에는, 비교기(213X)는, 그 M번째 이내에 들어간 SAD값을 일시적으로 기억하고, M+1번째가 된 SAD값을 소거한다. 그리고, 비교기(213X)는, 처리 개시 시에는 SAD값의 초기값으로서 통상의 SAD값과 비교하여 충분히 큰 값을 초기값으로서 설정한다.

이 처리를 행하고, 또한 예측 인접 영역 취득기(212X)는, 예측 인접 영역(및 예측 영역)에 액세스하기 위한 정보로서, 비교기(213X)에 의한 스위치(214X)에 대한 제어에 의해 라인 L212aX 경유로 좌표 정보를 좌표 정보용 메모리(202X)에 출력한다. 이 때, SAD값이 M+1번째된 좌표 정보는 불필요하게 되므로, 좌표 정보용 메모리(202X)에 있어서 재기입되어 기억되어도 된다. 예측 인접 영역 취득기(212X)에 의한 탐색 영역 내의 탐색이 종료되었을 때, 비교기(213X)는, 일시적으로 기억된 M개의 SAD값을 라인 L201bX를 경유하여, 후보 예측 신호의 조합 결정기(203X)에 출력한다.

다음으로, 후보 예측 신호의 조합 결정기(203X)의 동작을 설명한다. 후보 예측 신호의 조합 결정기(203X)는, 조합 설정기(231X), 예측 인접 영역 취득기(232X), 대상 인접 영역 취득기(233X), 가중치 부여기(234X), 가산기(235X), 및 비교·선택기(236X)를 포함하여 구성된다.

조합 설정기(231X)는, 라인 L201bX를 경유하여 입력된 M개의 SAD값에 기초하여, 복수의 예측 인접 영역의 조합을 설정한다. 예측 인접 영역의 조합 결정기(203X)에 있어서의 처리를 도 38에서 상세하게 설명하는 바와 같이, 입력된 SAD값이 작은 N개의 예측 인접 영역을 1개의 조합으로서 설정한다. N의 값은, M보다 작은 2의 승수이며, M=6일 때, N=1, 2, 4가 되는 3개의 조합을 만든다.

이와 같이, 본 발명의 후보 예측 신호의 조합 처리를 이용함으로써, 각 대상 블록에 적절한 후보 예측 신호의 평활화의 강도, 즉 평균화하는 예측 후보 신호의 수를 결정할 수 있게 된다. 바꾸어 말하면, 인접 화소 신호와의 사이의 절대 오차값인 차분 SAD값이 작은 N개의 예측 인접 영역의 화소 신호를 평균화한 대상 신호와 인접 화소 신호 사이의 차분 SAD값이 가장 작은 N을 결정함으로써, 탐색한 M개의 후보 예측 신호로부터, 예측 신호의 생성에 적절한 후보 예측 신호를 부가 정보없이 선별할 수 있다. 그리고, N의 값을 2의 승수로 하고 있는 것은, 신호의 평균화 처리를 가산과 시프트 연산만으로 행하는 것을 고려하였기 때문이다.

또한, M값과 N값 및 N개의 예측 신호 영역의 조합은, 이에 한정되지 않는다. 1개의 조합에 포함되는 예측 인접 영역의 개수는 1∼M개 중에서 임의로 설정할 수 있다. 예를 들면, M보다 작은 N개의 예측 인접 영역에 의해 구성되는 조합을 만드는 경우, M개 중에서 N개를 선택하여 모든 조합을 설정할 수도 있다. 이 때, N의 값은 고정일 수도 있고, 1∼M 중에서 2개 이상을 선택하여 조합을 설정할 수도 있다. 단, 부호화기인 화상 예측 부호화 장치(100X)와 복호기인 후술하는 화상 예측 복호 장치(300X)에 의해 동일한 예측 인접 영역의 조합을 자동적으로 선택하게 하기 위해서는, 양자(兩者)의 조합의 설정 방법을 일치시킬 필요가 있다.

예측 인접 영역 취득기(232X)는, 예측 인접 영역의 조합 정보가 라인 L231aX 경유로 1개가 입력되면, 그 조합에 포함되는 예측 인접 영역에 대한 좌표 정보를 라인 L202aX 경유로 좌표 정보용 메모리(202X)로부터 취득한다. 그리고, 예측 인접 영역 취득기(232X)는, 좌표 정보에 대응하는 예측 인접 영역의 화소 신호를 라인 L104X 경유로 취득하고, 가중치 부여기(234X)에 수시로 출력한다.

가중치 부여기(234X)는, 라인 L232X 경유로 입력된 각 예측 인접 영역의 화소 신호에 가중 계수를 곱하여, 라인 L234X 경유로 가산기(235X)에 출력한다.

가산기(235X)는, 가중 처리된 예측 인접 영역의 화소 신호를 누적 가산하여 적산함으로써, 대상 인접 영역의 화소 신호(인접 화소 신호)와 비교하기 위한 비교 신호를 생성하고, 생성된 비교 신호를 라인 L235X 경유로 비교·선택기(236X)에 출력한다. 그리고, 가중치 부여기(234X)의 동작에 대해서는, 예를 들면 예측 인접 영역의 개수가 N일 때 1/N을 각 예측 인접 영역의 화소 신호에 곱하는 방법 등이 있지만, 다른 방법이라도 된다. 예를 들면, N개의 예측 인접 영역의 화소 신호와 인접 화소 신호의 차분값(절대 오차화, 제곱 오차화, 분산 등)을 계산하고, 그 비율에 기초하여 각 예측 인접 영역으로의 가중 계수를 결정하는 방법을 고려할 수 있다.

여기서, 가중치 부여기(205X)와 가중치 부여기(234X)의 가중치 부여 방법을 동일하게 함으로써, 예측 인접 영역을 사용하여, 후보 예측 신호(예측 영역의 화소 신호)의 적절한 조합을 추측할 수 있다. 예측 인접 영역은 부호화기와 복호기를 공유할 수 있으므로, 본 방법을 이용한 복호기이며 후술하는 화상 예측 복호 장치(300X)는, 부호화기인 화상 예측 부호화 장치(100X)에 의해 선택한 후보 예측 신호의 조합을 부가 정보없이 취득 가능한 효과가 있다. 그리고, 가중치 부여기(205X)와 가중치 부여기(234X)의 가중치 부여 방법은 반드시 동일하게 할 필요는 없다. 예를 들면, 연산량 삭감을 위해서는, 가중치 부여기(234X)에는 단순한 가중치 부여 처리를 적용하고, 가중치 부여기(205X)에는 국소적인 신호의 특징에 따른 적응적인 가중치 부여 처리를 적용하는 방법도 유효하다.

대상 인접 영역 취득기(233X)는, 프레임 메모리(104X)로부터 라인 L104X를 경유하여 대상 인접 영역의 화소 신호(인접 화소 신호)를 취득하고, 비교·선택기(236X)에 출력한다.

비교·선택기(236X)는, 복수의 예측 인접 영역의 조합에 대응하는 비교 신호와 인접 화소 신호 사이에서 SAD값을 산출하고, 그 값이 최소로 되는 대상 인접 영역의 조합을, 후보 예측 신호의 조합으로서 선택한다. 선택된 후보 예측 신호의 조합은, 후보 예측 신호의 조합 정보로서 라인 L203X 경유로 예측 영역 취득기(204X)에 출력된다.

이와 같이, 본 실시예에 의하면, 대상 블록마다, 부가 정보없이, 복수의 후보 예측 신호로부터 예측 신호 생성에 유효한 후보 예측 신호의 조합을 선택할 수 있게 된다.

도 37은, 본 실시예에 따른 템플레이트 매칭기(201X)에서, 대상 영역(대상 블록)에 화소 신호(대상 화소 신호)에 대한 복수(M개)의 후보 예측 신호를 탐색하고, 탐색한 후보 예측 신호에 액세스하기 위한 좌표 정보를 취득하는 방법을 나타낸 흐름도이다. 먼저, 대상 인접 영역 취득기(211X)에서는, 대상 블록에 대한 대상 인접 영역(템플레이트 신호)이 프레임 메모리(104X)로부터 취득된다(S502X).

다음으로, 템플레이트 매칭기(201X)는, M개의 후보 예측 신호를 선택하기 위한 임계값을 충분히 큰 값으로 초기화한다(S503X). 예측 인접 영역 취득기(212X)에서는, 대상 인접 영역과 탐색 영역 내의 대상 인접 영역과 동일한 형상의 화소군과 차분 절대값의 합(SAD)이 요구된다(S504X). 템플레이트 매칭기(201X) 내의 비교기(213X)에 의해 SAD와 임계값이 비교되고(S505X), SAD값이 임계값보다 작다고 판단된 경우, S506X로 진행하고, 그렇지 않다고 판단된 경우, S508X로 진행한다.

템플레이트 매칭기(201X) 내의 비교기(213X)에서는, 구한 SAD값과 이전의 SAD값을 비교하여, 구한 SAD값이 작은 순서로 M번까지 포함될 때, 탐색한 화소군을 후보 예측 신호(및 예측 인접 영역의 화소 신호)에 추가하고, 후보 신호를 갱신한다. 본 실시예에서는, 후보 예측 신호(및 예측 인접 영역의 화소 신호) 대신, 후보 예측 신호(및 예측 인접 영역의 화소 신호)에 액세스하기 위한 시공간의 좌표 정보(공간 위치와 탐색한 화소군이 포함되는 화면의 식별 번호)를, 스위치(214X)에 의한 전환 제어에 기초하여 좌표 정보용 메모리(202X)에 기억함으로써, 좌표 정보를 갱신한다(S506X). 이와 동시에, 템플레이트 매칭기(201X)는, 임계값을 M번째로 작은 SAD값으로 갱신한다(S507X).

그 후, 예측 인접 영역 취득기(212X)에 의하여, 탐색 영역이 모두 탐색하였는지의 여부가 확인된다(S508X). 모두 탐색된 것은 아니라고 판단된 경우, S504X로 복귀하고, 예측 인접 영역 취득기(212X)에 의하여, 대상 인접 영역과 탐색 영역 내의 대상 인접 영역과 동일한 형상의 그 다음 화소군과 차분 절대값의 합(SAD)이 구해진다.

전부 탐색된 시점에서, 하나의 대상 블록의 템플레이트 매칭 처리가 종료된다(S509X)

이와 같이 템플레이트 매칭기(201X)에 의한 처리에 의하여, 대상 인접 영역에 있어서의 화소 신호와 상관이 높은 화소 신호를 포함한 상위 M개의 예측 인접 영역을 특정할 수 있다.

다음으로, 후보 예측 신호의 조합 결정기(203X)의 처리에 대하여 도면을 사용하여 설명한다. 도 38은, 본 실시예에 따른 후보 예측 신호의 조합 결정기(203X)에 있어서의, 복수의 후보 예측 신호의 평활화(가중 평균)에 의해 예측 신호의 생성에 적합한 N개의 후보 예측 신호의 조합을 선택하는 방법을 나타낸 흐름도이다. 먼저, 조합 결정기(203X)의 조합 설정기(231X)는, 후보 예측 신호의 개수 N을 1로 설정한다(S602X). 다음으로, 대상 인접 영역 취득기(233X)에서는, 대상 블록에 대한 대상 인접 영역(템플레이트 신호)이 프레임 메모리(104X)로부터 취득된다(S603X).

그리고, 예측 인접 영역 취득기(232)에 의하여, 조합 설정기(231X)에 의해 설정된 조합에 속하는 N개의 예측 인접 영역이, 라인 L104X를 경유하여 취득된다. 즉, 예측 인접 영역 취득기(232X)는, 대상 블록의 화소 신호와 상기 대상 블록에 대한 대상 인접 영역의 인접 화소 신호의 차분값인 SAD값이 작은 N개의 예측 인접 영역에 대응하는 좌표 정보를 좌표 정보용 메모리(202X)로부터 취득한다. 그리고, 취득한 좌표 정보에 대응하는 N개의 예측 인접 영역을 프레임 메모리(104X)로부터 취득한다(S604X).

그 후, 가중치 부여기(234X)와 가산기(235X)에 있어서, N개의 예측 인접 영역의 화소 신호의 평균화(가중 평균이라도 됨)에 의해 비교 신호를 생성하고(S605X), 비교·선택기(236X)에서, 생성된 비교 신호와 인접 화소 신호의 차분값인 SAD값을 산출한다(S606X). 이와 동시에, 비교·선택기(236X)에서는, 산출한 SAD값을 지금까지의 최소의 SAD값과 비교하여(S607X), SAD값이 최소값이라고 판단되었을 경우, S608X로 진행하고, 그렇지 않다고 판단된 경우, S609X로 진행한다. 그리고, S607X에서는, 산출한 SAD값과 지금까지의 최소의 SAD값이 동일한 경우에는, S609X로 진행하지만, S608X로 진행해도 된다.

산출한 SAD값이, 지금까지의 최소의 SAD값인 경우, 비교·선택기(236X)에서, S604X에서 취득한 좌표 정보의 조합을 기억한다(S608X).

여기서, 조합 결정기(203X)는, N의 값을 2배로 갱신한다(S609X). 그리고, 갱신된 N과 M의 크기를 비교하여(S610X), 갱신된 N의 값이 M보다 작은 경우, S604X로 복귀하고, 갱신된 N의 값이 M보다 큰 경우, S608X에서 기억한 좌표 정보의 조합을 후보 예측 신호의 조합으로서 결정하고, 후보 예측 신호의 조합 선택 처리를 종료한다(S611X).

이와 같이, 본 실시예의 후보 예측 신호의 조합 처리를 이용함으로써, 각 대상 블록에 적절한 후보 예측 신호의 평활화의 강도, 즉 평균화하는 예측 후보 신호의 개수를 결정할 수 있게 된다. 바꾸어 말하면, 인접 화소 신호와의 사이의 차분값인 SAD값이 작은 N개의 예측 인접 영역의 화소 신호를 평균화한 대상 신호와 인접 화소 신호 사이의 차분 SAD값이 가장 작은 N을 결정함으로써, 탐색한 M개의 후보 예측 신호로부터, 예측 신호의 생성에 적합한 후보 예측 신호를 부가 정보없이 선별할 수 있다.

그리고, N의 값을 2의 승수로 하고 있는 것은, 신호의 평균화 처리를 가산과 시프트 연산만으로 행하는 것을 고려하였기 때문이다. 본 실시예에 있어서는, N의 값은 2의 승수로 한정되지는 않는다. 또한, 복수의 예측 인접 영역의 조합을 설정하는 방법은, 도 38의 방법으로 한정되지는 않는다. 1개의 조합에 포함되는 예측 인접 영역의 수는 1∼M개 중에서 임의로 설정할 수 있다. 예를 들면, M보다 작은 N개의 예측 인접 영역에 의해 구성되는 조합을 만드는 경우, M개 중에서 N개를 선택하는 모든 조합을 설정할 수도 있다. 이 때, N의 값은 고정일 수도 있고, 1∼M 중에서 2개 이상을 선택하여 조합을 설정할 수도 있다. 또한, 부호화기와 복호기에서 동일한 예측 인접 영역의 조합을 자동적으로 선택하게 하기 위해서는, 양자(兩者)의 조합의 설정 방법을 일치시킬 필요가 있다.

도 39는, 본 실시예에 따른 복수 후보 예측 신호의 평활화(가중 평균)에 의해 예측 신호를 생성하는 방법을 나타낸 흐름도이다.

예측 영역 취득기(204X)에서는, 선택된 좌표 정보에 따라, 프레임 메모리(104X)로부터 대상 블록에 대응하는 후보 예측 신호를 1개 이상 취득한다(S702X). 그리고, 가중치 부여기(205X)와 가산기(206X)에 있어서, 취득한 후보 예측 신호를 가중 평균함으로써, 대상 블록의 예측 신호가 생성된다(S703X). 이로써, 하나의 대상 블록에 대한 처리가 종료된다(S704X).

도 40은, 본 실시예에 따른 화상 예측 부호화 장치(100X)에 있어서의 화상 예측 부호화 방법을 나타낸 흐름도이다. 먼저, 도 34의 예측 신호 생성기(103X)에서, 대상 블록의 예측 신호를 생성한다(S102X). 다음으로, 대상 블록의 신호와 대상 블록의 예측 신호의 차분을 나타내는 잔차 신호가, 변환기(106X), 양자화기(107X), 및 엔트로피 부호화기(111X)에 의해 부호화된다(S103X). 그리고, 부호화된 잔차 신호가 출력 단자(112X)를 통하여 출력된다(S105X).

그 후, 후속의 대상 블록을 예측 부호화하기 위해, 부호화된 잔차 신호는 역양자화기(108X) 및 역변환기(109X)에 의해 복호된다. 그리고, 복호된 잔차 신호에 가산기(110X)에 의해 예측 신호가 가산되고, 대상 블록의 신호가 재생되고, 프레임 메모리(104X)에 참조 화상으로서 기억된다(S106X). 그리고, 모든 대상 블록의 처리가 완료되어 있지 않은 경우에는 S102X로 복귀하여, 그 다음 대상 블록에 대한 처리가 행해지고, 완료된 경우에는 처리를 종료한다(S107X).

이상 설명한 바와 같이, 본 실시예의 화상 예측 부호화 장치(100X)에 있어서는, 부가 정보를 사용하지 않고 복수의 예측 신호를 사용하여 평활화한 예측 신호로 할 수 있다.

다음으로, 본 실시예에 있어서의 화상 예측 복호 방법에 대하여 설명한다. 도 41은, 본 실시예에 따른 화상 예측 복호 장치(300X)를 나타낸 블록도이다. 이 화상 예측 복호 장치(300X)는, 입력 단자(301X), 엔트로피 복호기(302X)(데이터 복호 수단), 역양자화기(303X)(잔차 신호 복원 수단), 역변환기(304X)(잔차 신호 복원 수단), 가산기(305X)(재생 화상 신호 생성 수단), 출력 단자(306X), 프레임 메모리(307X), 예측 신호 생성기(308X)(예측 신호 생성 수단)이다. 역양자화기(303X)와 역변환기(304X)에 의한 잔차 신호 복원 수단은, 그 외의 것을 사용해도 된다. 또한, 역변환기(304X)는 없어도 된다. 이하, 각 구성에 대하여 설명한다.

입력 단자(301X)는, 전술한 화상 예측 부호화 방법으로 압축 부호화된 압축 데이터를 입력한다. 이 압축 데이터에는, 화상을 복수의 블록으로 분할된 대상 블록을 예측하고 부호화된 잔차 신호가 포함되어 있다.

엔트로피 복호기(302X)는, 입력 단자(301X)로 입력한 압축 데이터를 엔트로피 복호함으로써, 대상 블록의 잔차 신호의 부호화 데이터를 복호한다.

역양자화기(303X)는, 복호된 대상 블록의 잔차 신호를 라인 L302X 경유로 입력하고, 역양자화한다. 역변환기(304X)는, 역양자화한 데이터를 역이산 코사인 변환한다. 역양자화기(303X) 및 역변환기(304X)는, 각각 역양자화, 역이산 코사인 변환하여 얻은 신호를 차분 신호(재생 잔차 신호)로서 출력한다.

예측 신호 생성기(308X)는, 기본적으로 도 34에 나타낸 구성과 동일한 구성 또는 거기에 상당하는 기능을 가지며, 도 34의 예측 신호 생성기(103X)와 동일한 처리에 의해 예측 신호를 생성한다. 예측 신호 생성기(308X)는, 프레임 메모리(307X)에 기억되어 있는 재생된 신호만으로부터 예측 신호를 생성하므로, 프레임 메모리(307X)와 도 33에 있어서의 프레임 메모리(104X)에 대한 입력 데이터를 동일한 방법으로 관리함으로써, 도 33의 예측 신호 생성기(103X)와 동일한 예측 신호를 생성할 수 있다. 이 예측 신호 생성기(308X)의 상세한 구성에 대해서는, 도 34에서 설명하였으므로 생략한다. 이와 같이 동작하는 예측 신호 생성기(308X)는, 생성한 예측 신호를 라인 L308X 경유로 가산기(305X)에 출력한다.

가산기(305X)는, 예측 신호 생성기(308X)로 생성된 예측 신호를, 역양자화기(303X) 및 역변환기(304X)에 의해 복원된 차분 신호(재생 잔차 신호)에 가산하여, 대상 블록의 재생 화상 신호를 라인 L305X 경유로 출력 단자(306X) 및 프레임 메모리(307X)에 출력한다. 그리고, 출력 단자(306X)는, 외부(예를 들면, 디스플레이)에 출력한다.

프레임 메모리(307X)는, 다음 복호 처리를 위한 참조용의 재생 화상으로서, 가산기(305X)로부터 출력된 재생 화상을 참조 화상으로서 기억한다. 이 때, 도 33의 화상 예측 부호화 장치(100X)와 동일한 방법으로 재생 화상을 관리한다.

다음으로, 도 42를 사용하여 본 실시예에 따른 화상 예측 복호 장치(300X)에 있어서의 화상 예측 복호 방법을 설명한다. 먼저, 입력 단자(301X)를 통하여, 압축된 압축 데이터는 입력된다(S302X). 그리고, 엔트로피 복호기(302X)에 있어서, 압축 데이터에 대하여 엔트로피 복호가 행해지고, 양자화된 변환 계수가 추출된다(S303X). 여기서 예측 신호 생성기(308X)에서 예측 신호가 생성된다(S304X). S304X의 처리는, 기본적으로 도 40의 처리 S102X와 동일하며, 도 37∼도 39의 처리가 실시된다.

한편, 양자화된 변환 계수는, 역양자화기(303X)에 있어서 양자화 파라미터를 사용하여 역양자화되고, 역변환기(304X)에 있어서 역변환이 행해지고, 재생 차분 신호가 생성된다(S305X). 그리고, 생성된 예측 신호와 재생 차분 신호가 가산되어 재생 신호가 생성되고, 재생 신호는 다음 대상 블록을 재생하기 위해 프레임 메모리에 기억된다(S306X). 다음 압축 데이터가 있는 경우에는, 재차 전술한 프로세스가 반복되어(S307X), 모든 데이터는 마지막까지 처리된다(S308X). 그리고, 필요에 따라 S302X로 복귀하여, 압축 데이터를 입력하도록 해도 된다.

본 실시예에 있어서의 화상 예측 부호화 방법 및 화상 예측 복호 방법을, 프로그램으로서 기록 매체에 기억시켜 제공할 수도 있다. 기록 매체로서는, 플로피 디스크(등록상표), CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다.

도 43은, 화상 예측 부호화 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다. 화상 예측 부호화 프로그램 P100X는, 블록 분할 모듈 P102X, 예측 신호 생성 모듈 P103X, 기억 모듈 P104X, 감산 모듈 P105X, 변환 모듈 P106X, 양자화 모듈 P107X, 역양자화 모듈 P108X, 역변환 모듈 P109X, 가산 모듈 P110X, 엔트로피 부호화 모듈 P111X를 포함하여 구성되어 있다. 그리고, 예측 신호 생성 모듈 P103X는, 도 44에 나타낸 바와 같이, 템플레이트 매칭 모듈 P201X, 후보 예측 신호의 조합 결정 모듈 P202X 및 예측 신호 합성 모듈 P203X를 포함하여 구성되어 있다.

전술한 각 모듈이 실행됨으로써 실현되는 기능은, 전술한 화상 예측 부호화 장치(100X)의 각 구성 요소와 동일하다. 즉, 화상 예측 부호화 프로그램 P100X의 각 모듈의 기능은, 블록 분할기(102X), 예측 신호 생성기(103X), 프레임 메모리(104X), 감산기(105X), 변환기(106X), 양자화기(107X), 역양자화기(108X), 역변환기(109X), 가산기(110X), 엔트로피 부호화기(111X)의 기능과 마찬가지이며, 예측 신호 생성 모듈 P103X의 각 모듈의 기능은, 템플레이트 매칭기(201X), 후보 예측 신호의 조합 결정기(203X), 신호 합성을 위한 예측 영역 취득기(204X) 내지 가산기(206X)의 기능과 마찬가지이다.

또한, 도 45는, 화상 예측 복호 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다. 화상 예측 복호 프로그램 P300X는, 엔트로피 복호 모듈 P302X, 역양자화 모듈 P303X, 역변환 모듈 P304X, 가산 모듈 P305X, 기억 모듈 P307X, 예측 신호 생성 모듈 P308X를 포함하여 구성되어 있다.

전술한 각 모듈이 실행됨으로써 실현되는 기능은, 전술한 화상 예측 복호 장치(300X)의 각 구성 요소와 동일하다. 즉, 화상 예측 복호 프로그램 P300X의 각 모듈의 기능은, 엔트로피 복호기(302X), 역양자화기(303X), 역변환기(304X), 가산기(305X), 프레임 메모리(307X)의 기능과 마찬가지이다. 그리고, 예측 신호 생성 모듈 P308X는, 화상 예측 부호화 프로그램 P100X에 있어서의 예측 신호 생성 모듈 P103X와 동등한 기능을 가지며, 템플레이트 매칭기(201X), 후보 예측 신호의 조합 결정기(203X), 신호 합성을 위한 예측 영역 취득기(204X) 내지 가산기(206X)의 기능을 가지고 있다.

전술한 바와 같이 구성된 화상 예측 부호화 프로그램 P100X 또는 화상 예측 복호 프로그램 P300X는, 기록 매체(10X)에 기억되고, 후술하는 컴퓨터로 실행된다.

도 48은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이며, 도 49는 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다. 컴퓨터는, CPU를 구비하고 소프트웨어에 의한 처리나 제어를 행하는 DVD 플레이어, 셋탑 박스, 휴대 전화기 등을 포함한다.

도 48에 나타낸 바와 같이, 컴퓨터(30X)는, 플로피디스크 드라이버 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(12X)와, 오퍼레이팅 시스템을 상주시킨 작업용 메모리(RAM)(14X)와, 기록 매체(10X)에 기억된 프로그램을 기억하는 메모리(16X)와, 디스플레이인 표시 장치(18X)와, 입력 장치인 마우스(20X) 및 키보드(22X)와, 데이터 등의 송수신을 행하기 위한 통신 장치(24X)와, 프로그램의 실행을 제어하는 CPU(26X)를 구비하고 있다. 컴퓨터(30X)는, 기록 매체(10X)가 판독 장치(12X)에 삽입되면, 판독 장치(12X)로부터 기록 매체(10X)에 기억된 화상 예측 부호화 프로그램 P100X 또는 화상 예측 복호 프로그램 P300X에 액세스 가능하게 되고, 화상 예측 부호화 프로그램 P100X 또는 화상 예측 복호 프로그램 P300X에 의하여, 본 실시예의 화상 예측 부호화 장치(100X) 또는 화상 예측 복호 장치(300X)로서 동작할 수 있게 된다.

도 49에 나타낸 바와 같이, 화상 예측 부호화 프로그램 P100X 또는 화상 예측 복호 프로그램 P300X는, 반송파에 중첩된 컴퓨터 데이터 신호(40X)로서 네트워크를 통하여 제공될 수도 있다. 이 경우, 컴퓨터(30X)는, 통신 장치(24X)에 의해 수신된 화상 예측 부호화 프로그램 P100X 또는 화상 예측 복호 프로그램 P300X를 메모리(16X)에 기억시켜서, 상기 화상 예측 부호화 프로그램 P100X 또는 화상 예측 복호 프로그램 P300X를 실행할 수 있다.

여기까지 설명한 본 실시예는, 다음과 같이 변형될 수도 있다. 도 34의 후보 예측 신호 조합 결정기(203X)에서는, 대상 블록의 대상 인접 영역의 화소 신호와 복수의 인접 예측 영역의 화소 신호를 가중 평균한 대상 신호 사이의 차분값인 SAD값(절대 오차값의 합)을 계산하여, 최적인 후보 예측 신호의 조합을 결정하고 있지만, SAD값이 아니라, 차분 신호의 제곱 오차의 합(SSD)이나 분산(VAR)을 사용해도 조합을 결정할 수 있다. 3개의 평가 기준은 SAD, SSD, VAR의 순서로 연산량은 증가하는 반면, 평가의 정밀도는 향상되고, 오차 신호의 부호량을 적게 할 수 있는 효과를 기대할 수 있다.

또한, 대상 인접 신호와 대상 신호의 차분값인 SAD값이 동일한 값으로 되는 조합이 복수개 얻어졌을 때, SSD나 VAR을 사용하여 최종적인 조합을 결정하는 방법도 유효하다. 즉, 비교·선택기(236X)는, 예측 인접 영역 취득기(232X)에 있어서 산출된 SAD값이, 지금까지 산출한 최소값과 일치하는 경우에는, 또한 SSD 또는 VAR을 비교 대상으로 하여, 어느 값이 작은지 비교한다. 여기서 SSD 또는 VAR이 작다고 판단된 조합이 비교·선택기(236X)에 최소값을 가지는 조합으로서 기억된다. 이 경우, 비교·선택기(236X)는, SSD 또는 VAR을 SAD와 함께 산출함으로써, 일시적으로 기억시켜 두게 된다.

또한, 인접 예측 영역의 화소 신호가 아니고, 복수의 후보 예측 신호의 조합에 대하여, 그 분산을 계산하고, 조합의 결정에 사용하는 방법을 사용할 수도 있다. 구체적으로는, 도 34의 예측 인접 영역 취득기(232X), 가중치 부여기(234X), 가산기(235X)는, 각각 예측 영역 취득기(204X), 가중치 부여기(205X), 가산기(206X)로 치환함으로써 실현할 수 있다. 이 변형예는, 대상 인접 영역 취득기(233X)의 처리가 불필요하며, 또한 비교·선택기(236X)로부터 도 33의 감산기(105X)에 예측 신호를 출력할 수 있게 되므로, 회로 규모를 삭감할 수 있는 효과가 있다.

템플레이트 매칭기(201X)의 비교기(213X)에 있어서도, 대상 블록의 대상 인접 영역과 탐색된 대상 인접 영역과 동일한 형상의 화소군의 평가에 차분값인 SAD값을 사용하고 있지만, SSD나 VAR로 바꾸어도 되고, 전술한 후보 예측 신호 조합 결정기(203X)의 케이스와 마찬가지의 효과가 기대할 수 있다.

도 33의 예측 신호 생성기(103X)는, 도 34의 구성으로 한정되지는 않는다. 예를 들면, 도 34에서는, 템플레이트 매칭기에서 검색한 복수의 후보 예측 신호에 대하여, 그 신호에 액세스하기 위한 좌표 정보를 좌표 정보용 메모리(202X)에 기억하고 있지만, 후보 예측 신호와 예측 인접 영역의 화소 신호를 기억시켜 두는 구성을 가질 수도 있다. 도 34 내의 메모리 양은 증가하지만, 프레임 메모리(104X)에 대한 액세스를 감소시키는 효과가 있다. 또한, 템플레이트 매칭기(201X)는, 대상 인접 영역과 M개의 예측 인접 영역 사이의 차분값인 SAD값을 라인 L201bX 경유로 후보 예측 신호의 조합 결정기(203X)에 출력하고 있지만, 조합의 설정에, 이들의 차분값인 SAD값을 이용하지 않는 경우에는, 라인 L201bX는 불필요하다.

본 실시예에서는, 대상 인접 영역을 재생된 화소로 구성하고 있지만, 인접 블록의 예측 신호로 구성해도 된다. 오차 신호의 부호화 블록 단위보다, 예측 영역을 작게 하고자 하는 경우나, 부호화·복호 처리를 행하지 않고 대상 인접 영역의 신호를 생성하고자 하는 경우에는 유효하다.

본 실시예는, 템플레이트 매칭에 의하여, 확정되지 않은 수의 후보 신호를 탐색하고, 적절한 수의 후보 신호를 선택하는 방법에 적용할 수 있다.

다음으로, 본 실시예의 화상 예측 부호화 장치(100X) 및 화상 예측 복호 장치(300X)의 작용 효과에 대하여 설명한다.

본 실시예의 화상 예측 부호화 장치(100X)에 있어서, 템플레이트 매칭기(201X)는, 대상 화소 신호로 이루어지는 대상 영역(대상 블록)(402X)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403X)과의 상관이 높은 복수의 예측 인접 영역(404aX∼404cX, 414aX∼414cX)을, 기 재생 화상으로 이루어지는 탐색 영역(401X 및 417X)으로부터 탐색한다. 후보 예측 신호의 조합 결정기(203X)에 있어서의 조합 설정기(231X)는, 탐색된 복수의 예측 인접 영역(404aX∼404cX, 414aX∼414cX)을 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출한다. 그리고, 예측 인접 영역 취득기(232X)는, 도출된 예측 인접 영역의 화소 신호를 추출하고, 가중치 부여기(234X) 및 가산기(235X)는, 추출된 화소 신호를 사전에 정한 합성 방법을 사용하여, 예를 들면 평균화하여 가공함으로써, 조합마다 인접 화소 신호에 대한 비교 신호를 각각 생성한다. 그리고, 비교·선택기(236X)는, 가중치 부여기(234X) 등에 의해 생성된 비교 신호와 대상 인접 영역 취득기(233X)에 의해 취득된 인접 화소 신호와의 상관이 높은 조합을 선택한다. 예측 영역 취득기(204X)는, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 가중치 부여기(205X) 및 가산기(206X)는, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다. 이와 같이 생성된 예측 신호를 블록 분할기(102X)를 통하여 취득된 대상 화소 신호로부터 감산기(105X)가 감산하여 잔차 신호를 생성하고, 변환기(106X), 양자화기(107X), 및 엔트로피 부호화기(111X)는 생성된 잔차 신호를 부호화한다.

또한, 본 실시예의 화상 예측 부호화 장치(100X)에 있어서의 비교·선택기(236X)는, 비교 신호와 인접 화소 신호의 차분의 절대값의 합인 SAD값이 작은 조합을 선택함으로써, 보다 평활화에 적합한 후보 예측 신호의 조합을 선택할 수 있다.

또한, 본 실시예의 화상 예측 부호화 장치(100X)에 있어서의 가중치 부여기(234X) 및 가산기(235X)는, 조합 설정기(231X)에 있어서 설정된 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하여 비교 신호를 생성함으로써, 보다 평활화에 적합한 후보 예측 신호의 조합을 선택하는 데 있어서 적절한 비교 신호를 생성할 수 있다.

또한, 본 실시예의 화상 예측 부호화 장치(100X)에 있어서의 조합 설정기(231X)가 설정하는 예측 인접 영역의 조합이, 대상 인접 영역과의 상관이 높은 순으로 2의 n제곱개의 예측 인접 영역을 포함시킴으로써, 가산과 시프트 연산 만으로 행할 수 있고, 실장상 간단한 구성을 취할 수 있다. 여기서, n의 값은 0 이상의 정수인 것이 바람직하다.

또한, 본 실시예의 화상 예측 복호 장치(300X)에 있어서, 템플레이트 매칭기(201X)는, 대상 화소 신호로 이루어지는 대상 영역(대상 블록)(402X)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403X)과의 상관이 높은 복수의 예측 인접 영역(404aX∼404cX, 414aX∼414cX)을, 기 재생 화상으로 이루어지는 탐색 영역(401X 및 417X)로부터 탐색한다. 후보 예측 신호의 조합 결정기(203X)에 있어서의 조합 설정기(231X)는, 탐색된 복수의 예측 인접 영역(404aX∼404cX, 414aX∼414cX)를 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출한다. 그리고, 예측 인접 영역 취득기(232X)는, 도출된 예측 인접 영역의 화소 신호를 추출하고, 가중치 부여기(234X) 및 가산기(235X)는, 추출된 화소 신호를 사전에 정한 합성 방법을 사용하여, 예를 들면 평균화하여 가공함으로써, 조합마다 인접 화소 신호에 대한 비교 신호를 각각 생성한다. 그리고, 비교·선택기(236X)는, 가중치 부여기(234X) 등에 의해 생성된 비교 신호와 대상 인접 영역 취득기(233X)에 의해 취득된 인접 화소 신호와의 상관이 높은 조합을 선택한다. 예측 영역 취득기(204X)는, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 가중치 부여기(205X) 및 가산기(206X)는, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다.

그리고, 입력 단자(301X)를 통하여 입력한 압축 데이터로부터 엔트로피 복호기(302X), 역양자화기(303X) 및 역변환기(304X)가 차분 신호를 복원하며, 가산기(305X)는, 전술한 바와 같이 생성된 예측 신호와 복원한 차분 신호를 가산하여, 재생 화상 신호를 생성한다.

또한, 본 실시예의 화상 예측 복호 장치(300X)에 있어서의 비교·선택기(236X)는, 비교 신호와 인접 화소 신호의 차분의 절대값의 합인 SAD값이 작은 조합을 선택함으로써, 보다 평활화에 적합한 후보 예측 신호의 조합을 선택할 수 있다.

또한, 본 실시예의 화상 예측 복호 장치(300X)에 있어서의 가중치 부여기(234X) 및 가산기(235X)는, 조합 설정기(231X)에 있어서 설정된 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하여 비교 신호를 생성함으로써, 보다 평활화에 적합한 후보 예측 신호의 조합을 선택하는 데 있어서 적절한 비교 신호를 생성할 수 있다.

또한, 본 실시예의 화상 예측 복호 장치(300X)에 있어서의 조합 설정기(231X)가 설정하는 예측 인접 영역의 조합이, 대상 인접 영역과의 상관이 높은 순으로 2의 n제곱개의 예측 인접 영역을 포함시킴으로써, 가산과 시프트 연산만으로 행할 수 있고, 실장상 간단한 구성을 취할 수 있다. 여기서, n의 값은 0 이상의 정수인 것이 바람직하다.

또한, 본 실시예의 화상 예측 부호화 프로그램 P100X에 있어서, 템플레이트 매칭 모듈 P201X는, 대상 화소 신호로 이루어지는 대상 영역(대상 블록)(402X)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403X)과의 상관이 높은 복수의 예측 인접 영역(404aX∼404cX, 414aX∼414cX)을, 기 재생 화상으로 이루어지는 탐색 영역(401X 및 417X)으로부터 탐색한다. 후보 예측 신호의 조합 결정 모듈 P202X는, 탐색된 복수의 예측 인접 영역(404aX∼404cX, 414aX∼414cX)을 적어도 하나 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출한다. 그리고, 후보 예측 신호의 조합 결정 모듈 P202X는, 도출된 예측 인접 영역의 화소 신호를 추출하고, 추출된 화소 신호를 사전에 정한 합성 방법을 사용하여, 예를 들면 평균화하여 가공함으로써, 조합마다 인접 화소 신호에 대한 비교 신호를 각각 생성한다. 그리고, 예측 신호 합성 모듈 P203X는, 생성된 비교 신호와 취득된 인접 화소 신호와의 상관이 높은 조합을 선택한다. 후보 예측 신호의 조합 결정 모듈 P202X는, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다. 이와 같이 생성된 예측 신호를 블록 분할 모듈 P102X를 통하여 취득된 대상 화소 신호로부터 감산 모듈 P105X가 감산하여 잔차 신호를 생성하고, 변환 모듈 P106X, 양자 화 모듈 P107X, 및 엔트로피 부호화 모듈 P111X는 생성된 잔차 신호를 부호화한다.

또한, 본 실시예의 화상 예측 복호 프로그램 P300X에 있어서, 템플레이트 매칭 모듈 P201X는, 대상 화소 신호로 이루어지는 대상 영역(대상 블록)(402X)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403X)과의 상관이 높은 복수의 예측 인접 영역(404aX∼404cX, 414aX∼414cX)을, 기 재생 화상으로 이루어지는 탐색 영역(401X 및 417X)으로부터 탐색한다. 예측 신호 합성 모듈 P203X는, 탐색된 복수의 예측 인접 영역(404aX∼404cX, 414aX∼414cX)을 적어도 하나 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출한다. 그리고, 예측 신호 합성 모듈 P203X는, 도출된 예측 인접 영역의 화소 신호를 추출하고, 추출된 화소 신호를 사전에 정한 합성 방법을 사용하여, 예를 들면 평균화하여 가공함으로써, 조합마다 인접 화소 신호에 대한 비교 신호를 각각 생성한다. 그리고, 예측 신호 합성 모듈 P203X는, 생성된 비교 신호와 취득된 인접 화소 신호와의 상관이 높은 조합을 선택한다. 예측 신호 합성 모듈 P203X는, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 예측 신호 합성 모듈 P203X는, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다.

그리고, 입력한 압축 데이터로부터 엔트로피 복호 모듈 P302X, 역양자화 모듈 P303X, 역변환 모듈 P304X가 차분 신호를 복원하며, 가산 모듈 P305X는, 전술한 바와 같이 생성된 예측 신호와 복원된 차분 신호를 가산하여, 재생 화상 신호를 생성한다.

<제6 실시예>

다음으로, 후보 예측 신호의 조합 결정기(203X)(도 34 참조) 및 후보 예측 신호의 조합 결정 방법(도 38 참조)에 관하여, 평활화하는 후보 예측 신호에 다양성을 가지게 할 수 있는 다른 실시예를 나타낸다. 이들 실시예는, 후보 예측 신호의 조합 결정기(203X)(도 34 참조)와 후보 예측 신호의 조합 결정 방법(도 38 참조) 이외의 부분은, 제5 실시예의 예측 신호 생성기(103X)와 동일한 구성이므로, 설명을 생략한다. 그리고, 본 실시예에 관한 발명은 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 방법을 실행할 수 있는 프로그램, 및 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성에 적용할 수 있다. 또한, 도 34와 도 38에 있어서 동일한 번호로 나타내는 기능 또는 방법에 대해서도, 전술한 바와 같은 동작 및 처리이므로, 이하에서는 설명을 생략한다. 또한, 본 실시예는 전술한 화상 예측 부호화 장치(100X) 또는 화상 예측 복호 장치(300X)에 적용할 수 있다.

도 50은, 제6 실시예의 예측 신호 생성기(103aX)의 구성을 나타낸 블록도이다. 이 예측 신호 생성기(103aX)는, 템플레이트 매칭기(201X)와 좌표 정보용 메모리(202X)와 후보 예측 신호의 조합 결정기(203bX)와 예측 영역 취득기(204X)와 가중치 부여기(205X)와 가산기(206X)를 포함하여 구성되어 있다. 전술한 제5 실시예에서의 예측 신호 생성기(103X)와는, 후보 예측 신호의 조합 결정기(203bX)의 구성이 상이하다. 즉, 도 34에 있어서의 후보 예측 신호의 조합 결정기(203X)에서는, L201bX를 경유하여 입력되는 M개의 SAD값(대상 인접 영역과 M개의 각 예측 인접 영역 사이의 절대값 오차화)을 사용하여, 예측 인접 영역의 조합을 설정하고 있지만, 도 50에 있어서의 후보 예측 신호의 조합 결정기(203bX)에서는, L201bX를 경유하여 입력되는 M개의 SAD값와 L202cX를 경유하여 입력되는 예측 인접 영역의 좌표 정보를 사용하여, 예측 인접 영역의 조합을 설정하고 있다.

보다 구체적으로는, 도 50에 있어서의 조합 설정기(237X)의 구성이, 도 34의 조합 설정기(231X)의 구성과 상이하게 되어 있고, 또한 도 50의 후보 예측 신호의 조합 결정기(203bX)는, 도 34에 있어서의 후보 예측 신호의 조합 결정기(203X)의 구성에 더하여 예측 인접 영역 수의 설정기(230X)를 포함하여 구성되어 있다.

예측 인접 영역 수의 설정기(230X)는, 템플레이트 매칭기(201X)에서 탐색된 예측 인접 영역의 개수 M으로부터, 평활화하는 예측 인접 영역의 개수의 후보를 정하는 부분이다. 즉, 예측 인접 영역 수의 설정기(230X)는, 라인 L201bX 경유로, 템플레이트 매칭기(201X)에 의해 탐색한 예측 인접 영역의 개수 M을 입력한다. 그리고, 예측 인접 영역 개수의 설정기(230X)는, M값보다 작은 2의 승수 N을 1개 이상 산출하고, 라인 L230X 경유로, 차례로 N의 값을 바꾸어 조합 설정기(237X)에 출력한다. 예를 들면, M이 6인 경우에는, N=1, 2, 4를 출력하고, M이 30인 경우에는, N=1, 2, 4, 8, 16을 출력한다.

조합 설정기(237X)는, 라인 L230X 경유로 입력되는 N값과, 라인 L201bX 경유로 입력되는 M개의 SAD값과, 라인 L202cX 경유로 입력되는 M개의 예측 인접 영역의 좌표 정보를 사용하여, N개의 예측 인접 영역을 선택하는 부분이다. 그리고, 선택 정보(선택한 예측 인접 영역을 식별할 수 있는 정보)를 예측 인접 영역의 조합 정보로서, 라인 L237X 경유로 예측 인접 영역 취득기(232X)에 차례로, N개의 예측 인접 영역의 조합을 바꾸어서 복수개 출력한다.

*이와 같이 후보 예측 신호의 조합 결정기(203bX)에 있어서는, 상이한 N값에 대한 예측 인접 영역의 조합 정보를 조합 설정기(237X)가 생성하고, 도 34에 설명한 순서에 의해 1개의 조합 정보를 선택한다.

도 51은, 조합 설정기(237X)의 상세한 구성을 나타낸 블록도이다. 이 조합 설정기(237X)는, 평가 대상의 예측 인접 영역의 결정기(281X), 카운터(282X), 참조 화상의 평가기(283X) 및 동작 벡터의 평가기(284X)를 포함하여 구성되어 있다. 조합 설정기(237X)는, 입력값 N에 대하여, 템플레이트 매칭기(201X)에 의해 탐색된 M개의 예측 인접 영역의 좌표 정보를 사용하여, N개의 예측 인접 영역을 선택하고, 선택 정보를 예측 인접 영역의 조합 정보로서 출력한다. 그리고, 본 실시예에서는, 좌표 정보, 즉 참조 화상의 식별 번호(참조 화상 번호)와, 대상 인접 영역과 예측 인접 영역 사이의 화면 내에서의 공간적인 차분 좌표(이후, 동작 벡터라고 함)를 사용하여, N개의 예측 인접 영역으로 이루어지는 예측 인접 영역의 조합을 선택하지만, 선택에 사용하는 데이터는, 참조 화상 번호와 동작 벡터로는 한정되지 않는다. 이 좌표 정보는, 각 후보 예측 신호의 생성에 관련되고, 또한 예측 인접 영역을 일의적으로 정하는 정보이면 되고, 예측 인접 영역에 액세스하기 위한 정보이면 된다. 예를 들면, 예측 인접 영역의 화소 신호를 사용하여, 미리 정한 복수의 예측 방법으로부터 1개의 예측 방법을 결정하는 경우에는, 선택에 사용하는 데이터에 예측 방법을 포함해도 된다.

평가 대상의 예측 인접 영역의 결정기(281X)는, 템플레이트 매칭기(201X)에서 탐색한 M개의 예측 인접 영역으로부터 N개의 예측 인접 영역을 선택하기 전에, 선택의 대상으로 하는 예측 인접 영역의 개수를 R개로 제한하는 부분이다. 이 R값은, 후술하는 바와 같이 M개의 예측 인접 영역 중 소정의 임계값 이상의 SAD의 것을 계수(計數)함으로써 정해지는 수치이다. 이 R값의 결정은, M값에 비해 N값이 매우 작은 경우에, 대상 인접 영역 사이의 SAD값이 큰 예측 인접 영역을 선택하지 않도록 하는 효과가 있다.

평가 대상의 예측 인접 영역의 결정기(281X)에는, 라인 L201bX 경유로 템플레이트 매칭기(201X)에서 탐색된 M개의 예측 인접 영역에 대응하는 M개의 SAD값(대상 인접 영역과 M개의 예측 인접 영역 사이의 차분 데이터)가 입력되고, 이와 동시에 라인 L230X 경유로 선택할 예측 인접 영역의 개수 N이 입력된다. 평가 대상의 예측 인접 영역의 결정기(281X)는, 입력된 N값에 대하여 미리 정해져 있는 임계값과 M개의 SAD값을 비교하여, 임계값보다 작은 SAD값의 개수를 계수한다. 그리고, 이와 같이 계수되어 임계값보다 작은 SAD값의 개수를, 평가 대상의 예측 인접 영역의 개수 R로 하고, 라인 L281X 경유로 카운터(282X)에 출력한다. 다만, R값이 N값 보다 작거나 또는 같은 경우에는, 예측 인접 영역의 선택은 불필요하므로, 평가 대상의 예측 인접 영역의 결정기(281X)는 그 정보를 N개(R개)의 예측 인접 영역의 조합 정보로서 라인 L237X 경유로 예측 인접 영역 취득기(232X)에 출력한다. 그리고, 전술한 바와 같이, R값의 결정은, M값에 비해 N값이 너무 작은 경우에, 대상 인접 영역과의 차가 큰 예측 인접 영역을 선택하지 않도록 하는 효과가 있다. 그러므로, 이 조건을 만족하면, R값의 결정에는 임계값 이외의 수단을 사용해도 된다. 예를 들면, 2 × N값과 M값을 비교하여, 작은 쪽을 R값으로서 출력해도 되고, 임계값 처리에서 결정된 R값이 2 × N값보다 큰 경우에는, R값을 2 × N값으로 제한해도 된다. 또한, 임계값은 미리 정해 두지 않고, 부호화해도 된다.

카운터(282X)에, 라인 L281X 경유로 입력한 평가 대상의 예측 인접 영역의 개수 R값이 입력되면, 카운터(282X)는, 카운터 값 P를 1부터 R까지 1씩 갱신하면서, 라인 L282aX와 라인 L282bX 경유로 참조 화상의 평가기(283X)와 동작 벡터의 평가기(284X)에 출력한다.

참조 화상의 평가기(283X)에서는, R개의 참조 화상 번호로부터, 그 다양성을 고려하여, N개의 참조 화상 번호를 선택하는 부분이다. 이 참조 화상의 평가기(283X)는, 먼저 라인 L282aX 경유로 P값이 입력되면, 대상 인접 영역 사이의 SAD값이 P번째로 작은 예측 인접 영역에 액세스하기 위한 참조 화상 번호를 라인 L202cX 경유로 좌표 정보용 메모리(202X)로부터 취득한다. R개의 참조 화상 번호를 취득한 후, 참조 화상의 평가기(283X)는, 탐색 영역 내의 각 참조 화상에 포함되는 예측 인접 영역의 개수 Ref[i][i=1, 2, …, F; i는 참조 화상 번호, F는 템플레이트 매칭기(201X)에서 탐색 대상으로 하는 참조 화상의 개수]를 확인한다. 다음으로, 참조 화상의 평가기(283X)는, 대상 인접 영역 사이의 SAD값이 가장 작은 예측 인접 영역이 속하는 참조 화상 번호 i를 초기값으로 하여, 이하의 동작을 실시한다.

(1) 참조 화상 번호 i를 선택한다.

(2) 예측 인접 영역의 개수 Ref[i]의 값을 1씩 감소시킨다. 예측 인접 영역의 개수 Ref[i]가 0이 된 참조 화상 번호는 선택 대상으로부터 제외한다.

(3) 참조 화상 번호 i를 1만큼 증가시킨다. i가 F일 때 i를 1로 리셋한다.

전술한 동작을, N개의 참조 화상을 선택할 때까지 순회적으로 반복한다. 선택한 N개의 참조 화상 번호는, 라인 L283X 경유로 동작 벡터의 평가기(284X)에 출력한다.

예를 들면, 도 58에 나타낸, 참조 화상(450X)과 예측 인접 영역의 개수 Ref[i]과의 관계를 나타낸 개념도에 있어서는, 참조 화상마다 예측 인접 영역이 형성되어 있다. 참조 화상 번호 1에 대해서는, 그 예측 인접 영역(404iX)은 3개 형성되어 있는 것이 표시되어 있고, 이 경우 Ref[1]=3이 된다. 전술한 처리 1)-처리 3)을 반복함으로써, Ref[i] 값이 상위 N개까지의 참조 화상 번호가 취득된다.

그리고, 참조 화상의 선택 방법은, 예측 인접 영역의 다양성을 확보할 수 있으면 되므로, 식별 번호를 카운트업하는 방법으로 한정되지는 않는다. 예를 들면, 참조 화상 번호 i에 대응하는 Ref[i]의 비율 Ref[i]/R를 고려하여, 참조 화상을 선택해도 된다. 또한, 부호화 대상 화상에 대한 참조 화상의 위치(과거, 미래, 현재)를 고려하여, 미리 정한 비율로 선택해도 된다.

동작 벡터의 평가기(284X)는, 참조 화상의 평가기(283X)로부터 N개의 참조 화상 번호가 입력되면, 동작 벡터의 다양성을 고려하면서, R개의 동작 벡터로부터 N개의 동작 벡터를 선택하는 부분이다. 이 R개의 동작 벡터는, 전술한 R개의 예측 인접 영역에 대응한 것이다. 동작 벡터의 평가기(284X)는, P값이 라인 L282bX 경유로 입력되면, 대상 인접 영역 사이의 SAD값이 P번째로 작은 예측 인접 영역에 액세스하기 위한 참조 화상 번호와 동작 벡터 정보를 라인 L202cX 경유로 취득한다. R개의 동작 벡터를 취득한 후, 동작 벡터의 평가기(284X)는, 참조 화상마다, 대상 인접 영역 사이의 SAD값이 가장 작은 예측 인접 영역에 대응하는 동작 벡터 SMV[i]를 확인한다. 다음으로, 동작 벡터의 평가기(284X)는, 라인 L283X 경유로 입력된 N개의 참조 화상 번호에 대하여, 동작 벡터를 대응시킨다. 구체적으로는,

4) R개의 동작 벡터를 참조 화상 번호별로 분류하고, 각각, 선택할 동작 벡터의 개수 NumMV[i]를 산출한다.

5) 다음으로, NumMV[i]가 1보다 큰 참조 화상 번호 i의 SMV[i]를 선택한다.

6) 그리고, 각 참조 화상 번호 i에 대하여, SMV[i]와의 절대값 차분의 합이 큰 순서로 "NumMV[i]-1"개의 동작 벡터를 선택한다.

이와 같이 선택한 동작 벡터와 참조 화상 번호와의 조에 대응하는 N개의 예측 인접 영역의 정보를, 예측 인접 영역의 조합 정보로서 라인 L237X 경유로 예측 인접 영역 취득기(232X)에 출력한다.

이 동작 벡터에 관한 처리 4)∼6)의 처리 개념에 대하여, 도 59에 나타낸다. 도 59에 의하면, 각 참조 화상에는 복수의 예측 인접 영역이 존재하고 있고, 그에 대응하여 동작 벡터도 존재하고 있다. 예를 들면, 도 59의 예에서는, 참조 화상 번호 1에는, 동작 벡터 MV1 및 MV2가 존재하고 있다. 이 경우, NumMV[1]=2가 된다. 또한, 예를 들면, 동작 벡터 MV1이 MV2보다 작은 경우, SMV[1]으로서 동작 벡터 MV1이 선택되게 된다. 또한, 동작 벡터의 개수 NumMV[3]=0이므로, 처리 2)에서는, 참조 화상 번호 3은 선택되지 않고, 다른 참조 화상 번호 1, 2, 4, 5가 선택되게 된다.

그리고, 동작 벡터의 선택 방법은, 다양성을 확보할 수 있으면 되므로, 전술한 방법으로 한정되지는 않는다. 예를 들면, 선택한 참조 화상 i의 동작 벡터로 SMV[i]를 갱신함으로써, 직전에 선택한 동작 벡터와의 절대값 차분 합이 큰 동작 벡터를 그 다음에 선택하도록 해도 된다.

또한, 도 51에 나타낸 바와 같이, 각 예측 인접 영역에 액세스하기 위한 좌표 정보(참조 화상 번호 및 동작 벡터)를 사용함으로써, 시공간 방향으로 다양성을 가지는 예측 인접 영역을 선택할 수 있게 된다. 그리고, 전술한 바에 따르면, 조합 설정기(237X)는, R개의 예측 인접 영역으로부터 N개의 예측 인접 영역을 선택하고 있지만, N개 전부를 좌표 정보를 사용하여 선택할 필요는 없다. 예를 들면, N/2개에 대해서는 대상 인접 영역 사이의 SAD값이 작은 예측 인접 영역을 선택하는 방법도 고려할 수 있고, 그 경우에는 예측 성능을 안정시키는 효과를 기대할 수 있다. 또한, SMV[i]와의 동작 벡터의 절대값 차분 합에 제한을 두고, 미리 정한 임계값보다 큰 경우는, 선택 대상에서 제외하는 수단도 예측 성능을 안정시킬 수도 있다고 여겨진다. 그리고, 조합 설정기(237X) 내의 구성은, 도 51에 한정되지 않는다. 예를 들면, R값을 M값으로 하는 경우나, R값을 N값에 대하여 미리 설정하고 있는 경우에는, 평가 대상의 예측 인접 영역의 결정기(281X)는 반드시 필요한 것은 아니다. 이 경우, 예측 인접 영역의 선택은, 좌표 정보, 즉 동작 파라미터 만으로 실시할 수 있다.

이상 설명한 바와 같이, 도 51에 나타낸 다양성을 고려하여 예측 인접 영역의 조합을 선택할 수 있는 조합 설정기(237X)를, 도 50에 나타낸 대상 인접 영역과 예측 인접 영역과의 관계를 사용하여 평활화하는 후보 예측 신호의 개수를 선택할 수 있는 후보 예측 신호의 조합 결정기(203bX)[예측 신호 생성기(103aX)]와 병행하여 사용함으로써, 시공간의 다양성을 고려하여, 평활화하는 후보 예측 신호의 개수의 선택 동작을 행할 수 있게 된다. 그리고, 후보 예측 신호의 조합 결정기(203bX) 내의 구성은, 도 50에 나타내는 구성으로 한정되지 않는다. 예를 들면, 예측 인접 영역 개수의 설정기(230X)는, 조합 설정기(237X)에 포함되어 있어도 된다.

다음으로, 도 50과 도 51에 나타내는 예측 신호 생성기(103aX)의 동작인, 후보 예측 신호의 조합 결정 방법에 대하여 설명한다. 도 52는, 조합 설정기(237X)를 사용한 예측 신호 생성기(103aX)의 동작을 나타낸 흐름도이며, 평활화하는 후보 예측 신호에 다양성을 갖게 하는 것을 목적으로 한 후보 예측 신호의 조합 결정 방법을 나타낸 것이다. 도 52에서는, 도 38과는 달리, 예측 인접 영역 수의 설정기(230X)에서, 후보 예측 신호의 개수 N을 설정하는 처리(S602X, S609X)가 실시된다.

먼저, 조합 결정기(203X)의 조합 설정기(237X)는, 후보 예측 신호의 개수 N를 1로 설정한다(S602X). 다음으로, 대상 인접 영역 취득기(233X)에서는, 대상 블록에 대한 대상 인접 영역(템플레이트 신호)이 프레임 메모리(104X)로부터 취득된다(S603X).

한편, 조합 설정기(237X)에서, 예측 인접 영역에 액세스하기 위한 좌표 정보(참조 화상 번호 및 동작 벡터), 및 대상 인접 영역과 예측 인접 영역과의 차분 SAD값을 사용하여 N개의 예측 인접 영역이 선택된다(S604aX). 이후의 처리에 대해서는 도 38과 동일하다.

즉, 예측 인접 영역 취득기(232X), 가중치 부여기(234X), 및 가산기(235X)에 있어서, N개의 예측 인접 영역의 화소 신호를 취득하고, 그 평균화(가중 평균일 수도 있음)에 의해 비교 신호를 생성하고(S605X), 비교·선택기(236X)에서, 생성된 비교 신호와 인접 화소 신호와의 차분값인 SAD값을 산출한다(S606X). 이와 동시에, 비교·선택기(236X)에서는, 산출된 SAD값을 지금까지의 최소의 SAD값과 비교하여(S607X), SAD값이 최소값이라고 판단되었을 경우 S608X로 진행하고, 그렇지 않다고 판단된 경우 S609X로 진행한다. 그리고, S607X에서는, 산출한 SAD값과 지금까지의 최소의 SAD값이 동일한 경우에는, S609X로 진행하지만, S608X로 진행해도 된다.

여기서, 조합 설정기(237X)는, N값을 2배에 갱신한다(S609X). 그리고, 갱신된 N값과 M값의 크기를 비교하여(S610X), 갱신된 N값이 M값보다 작은 경우, S604X로 복귀하고, 갱신된 N값이 M값보다 큰 경우, S608X에서 기억한 좌표 정보의 조합을 후보 예측 신호의 조합으로서 결정하고, 후보 예측 신호의 조합 선택 처리를 종료한다(S611X).

다음으로, 전술한 처리 S604aX의 상세한 처리에 대하여 설명한다. 도 53은, 예측 인접 영역의 좌표 정보를 사용하여 N개의 예측 인접 영역을 선택할 때의 조합 설정기(237X)의 동작을 나타낸 흐름도이다. 이 처리에서는, 입력값 N에 대하여, 템플레이트 매칭기(201X)에서 후보 예측 신호를 탐색하는 처리(도 37 참조)에 의해 탐색한 M개의 예측 인접 영역의 좌표 정보를 사용하여, N개의 예측 인접 영역이 선택된다.

그리고, 본 실시예에서의 조합 설정기(237X)는, 좌표 정보, 즉 참조 화상 번호와 동작 벡터를 사용하여 N개의 예측 인접 영역으로 이루어지는 조합을 선택하지만, 선택에 사용하는 데이터는, 참조 화상 번호와 동작 벡터로 한정되지는 않는다. 각 후보 예측 신호의 생성에 관련되고, 또한 예측 인접 영역을 사용하여 일의적으로 정해지는 정보이면, 선택에 사용하는 데이터에 포함해도 되고, 예측 인접 영역에 액세스하기 위한 정보이면 된다. 예를 들면, 미리 정한 복수의 예측 방법으로부터, 예측 인접 영역의 신호를 사용하여, 1개의 예측 방법을 결정하는 경우에는, 선택에 사용하는 데이터에 예측 방법을 포함해도 된다.

먼저, 평가 대상의 예측 인접 영역의 결정기(281X)에 있어서, 템플레이트 매칭기(201X)에서 탐색한 M개의 예측 인접 영역으로부터 N개의 예측 인접 영역을 선택하기 전에, 선택 대상으로 하는 예측 인접 영역의 개수를 R개로 설정함으로써 제한한다(S802X). 이 R값의 설정은, M값에 비해 N값이 매우 작은 경우에, 대상 인접 영역 사이의 SAD값이 큰 예측 인접 영역을 선택하지 않도록 하는 효과가 있다. 그러므로, 이 조건을 만족하면, R값의 결정법에는 임계값 이외의 방법을 이용해도 된다. 예를 들면, 2 × N과 M을 비교하여, 작은 쪽을 R로서 출력해도 되고, 임계값 처리에서 계산한 R이 2 × N보다 큰 경우에는, R을 2 × N으로 제한해도 된다. 또한, 임계값은 미리 정해 두지 않고, 부호화해도 된다.

다음으로, 평가 대상의 예측 인접 영역의 결정기(281X)는, R값와 N값를 비교하여, R값이 N값보다 작거나 또는 같은 경우에는, 예측 인접 영역의 선택은 불필요하므로, 예측 인접 영역의 선택 처리를 종료한다(S803X: NO). R값이 N값보다 큰 경우에는, 카운터(282X)는, 카운트값 P를 초기화한다(S804X). 참조 화상의 평가기(283X)와 동작 벡터의 평가기(284X)는, 대상 인접 영역 사이의 SAD값이 P번째로 작은 예측 인접 영역에 액세스하기 위한 참조 화상 번호와 동작 벡터를 좌표 정보용 메모리(202X)로부터 차례로 취득한다(S805X). P값와 R값를 비교하여(S806X), P값이 R값보다 작은 경우에는(S806X: YES), 카운트값 P에 1을 가산하고(S807X), S805X의 처리를 반복한다.

P값이 R값에 도달하면(S805X: NO), 참조 화상의 평가기(283X)는, R개의 참조 화상 번호로부터, 그 다양성을 고려하여, N개의 참조 화상 번호를 선택한다(S808X). 구체적으로는, 먼저, 취득한 R개의 참조 화상 번호를 대상으로 하여, 탐색 영역 내의 각 참조 화상에 포함되는 예측 인접 영역의 개수 Ref[i][i = 1, 2, …, F; i는 참조 화상 번호, F는 템플레이트 매칭기(201X)에서 탐색 대상으로 하는 참조 화상의 개수]를 확인한다. 다음으로, 참조 화상의 평가기(283X)는, 대상 인접 영역 사이의 SAD값이 가장 작은 예측 인접 영역이 속하는 참조 화상 번호 i를 초기값으로 하여, 이하의 처리를 실시한다.

1) 참조 화상 번호 i를 선택한다.

2) 예측 인접 영역의 개수 Ref[i]의 값을 1씩 감소시킨다. Ref[i]가 0이 된 참조 화상 번호는 선택 대상으로부터 제외한다.

3) 참조 화상 번호 i를 1만큼 증가시킨다. i가 F일 때 i를 1로 리셋한다.

전술한 처리를, N개의 참조 화상을 선택할 때까지 순회적으로 반복한다. 그리고, 참조 화상의 선택 방법은, 다양성을 확보할 수 있으면 되므로, 식별 번호를 카운트업하는 방법으로 한정되지는 않는다. 예를 들면, 참조 화상 번호 i에 대응하는 예측 인접 영역의 개수 Ref[i]의 비율 Ref[i]/R를 고려하여, 참조 화상을 선택해도 된다. 또한, 부호화 대상 화상에 대한 참조 화상의 위치(과거, 미래, 현재)를 고려하여, 미리 정한 비율로 선택해도 된다.

다음으로, 동작 벡터의 평가기(284X)는, R개의 동작 벡터로부터, 그 다양성을 고려하여, N개의 동작 벡터를 선택한다(S809X). 구체적으로는, 먼저, 동작 벡터의 평가기(284X)는, 참조 화상마다, 대상 인접 영역 사이의 SAD값이 가장 작은 동작 벡터 SMV[i]를 확인한다. 다음으로, 동작 벡터의 평가기(284X)는, S808X에서 선택된 N개의 참조 화상 번호에, 동작 벡터를 대응시킨다. 구체적으로는,

5) NumMV[i]가 1보다 큰 참조 화상 번호 i의 SMV[i]를 선택한다.

6) 그리고, 각 참조 화상 번호 i에 대하여, SMV[i]와의 절대값 차분 합이 큰 순서로 "NumMV[i]-1"개의 동작 벡터를 선택한다. 그리고, 동작 벡터의 선택 방법은, 다양성을 확보할 수 있으면 되므로, 전술한 방법으로 한정되지는 않는다. 예를 들면, 선택한 참조 화상 i의 동작 벡터로 SMV[i]를 갱신함으로써, 직전에 선택한 동작 벡터와의 절대값 차분 합이 큰 동작 벡터를 다음으로 선택해도 된다.

이와 같이 대상 인접 영역과 복수의 예측 인접 영역 사이의 차분 데이터에 더하여, 각 예측 인접 영역에 액세스하기 위한 동작 파라미터를 사용함으로써, 시공간 방향으로 다양성을 가지는 예측 인접 영역을 선택할 수 있게 된다. 그리고, 전술한 바에 따르면, R개로부터 N개의 예측 인접 영역을 선택하고 있지만, N개 전부를 동작 파라미터를 사용하여 선택할 필요는 없다. 예를 들면, N/2개는, 대상 인접 영역 사이의 SAD값이 작은 예측 인접 영역을 선택하는 방법도, 예측 성능을 안정시키는 효과를 기대할 수 있다. 또한, SMV[i]와의 동작 벡터의 절대값 차분 합에 제한을 두고, 미리 정한 임계값보다 큰 경우는, 선택 대상에서 제외하는 방법도 예측 성능을 안정시키는 효과가 있다고 여겨진다. 그리고, R값을 M값으로 하는 경우나, R값을 N값에 대하여 미리 설정하고 있는 경우에는, 처리 S803X는 불필요하며, 이 경우, 예측 인접 영역의 선택 처리는, 좌표 정보, 즉 동작 파라미터만으로 실시할 수 있다.

또한, 도 53에 나타낸 "다양성을 고려하여 예측 인접 영역의 조합을 선택하는 처리"를, 도 52에 나타낸 "대상 인접 영역과 예측 인접 영역과의 관계를 사용하여 평활화하는 후보 예측 신호의 수를 선택하는 처리"와 병행하여 사용함으로써, 시공간의 다양성을 고려하여, 평활화하는 후보 예측 신호의 개수의 선택 처리를 행할 수 있게 된다.

본 실시예에 있어서의 화상 예측 부호화 방법 및 화상 예측 복호 방법을, 프로그램으로서 기록 매체에 기억시켜서 제공할 수도 있다. 기록 매체로서는, 플로피 디스크(등록상표), CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다. 그 구체적인 모듈 구성은, 도 43, 도 44 및 도 45에 나타낸 바와 같다. 그리고, 여기서는 예측 신호 생성 모듈(103X)의 기능은, 전술한 예측 신호 생성기(103aX)에 상당한다. 또한, 조합 설정기(237X)에 상당하는 조합 설정도 모듈은, 도 60에 기재된 바와 같다. 도 60은, 조합 설정 모듈 P237X의 모듈 구성을 나타낸 블록도이다. 이 조합 설정 모듈 P237X는, 평가 대상의 예측 인접 영역의 결정 모듈 P281X, 카운터 모듈 P282X, 참조 화상의 평가 모듈 P283X, 동작 벡터의 평가 모듈 P284X로 구성되어 있다. 이들 각 모듈은, 도 51에 나타낸 조합 설정기(237X)에 있어서의 평가 대상의 예측 인접 영역의 결정기(281X), 카운터(282X), 참조 화상의 평가기(283X), 동작 벡터의 평가기(284X)와 동등한 기능을 가진다.

전술한 바와 같이 구성된 화상 예측 부호화 프로그램 P100X 또는 화상 예측 복호 프로그램 P300X는, 기록 매체(10)에 기억되고, 전술한 도 48 및 도 49에 나타낸 컴퓨터로 실행된다.

다음으로, 이 제6 실시예에서의 화상 예측 부호화 장치(100X) 및 화상 예측 복호 장치(300X)의 작용 효과에 대하여 설명한다.

제6 실시예의 화상 예측 부호화 장치(100X)는, 입력 화상을 복수의 영역으로 분할하는 블록 분할기(102X)와, 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성기(103X)와, 생성된 예측 신호와 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단으로서 기능하는 감산기(106X)와, 생성된 잔차 신호를 부호화하는 변환기(106X), 양자화기(107X) 및 엔트로피 부호화기(111X)를 구비하고 있다.

그리고, 예측 신호 생성기(103aX)에 있어서, 템플레이트 매칭기(201X)가 대상 화소 신호로 이루어지는 대상 영역(402X)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403X)과의 상관이 높은 복수의 예측 인접 영역(404aX∼414cX)을, 기 재생 화상으로 이루어지는 탐색 영역(401X, 417X)에서 탐색한다. 그리고, 조합 설정기(237X)는, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상이한 개수의 예측 인접 영역을 포함하는 예측 인접 영역의 조합을 2개 이상 생성한다.

예측 인접 영역 취득기(232X), 가중치 부여기(234X), 및 가산기(235X)는, 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 인접 화소 신호에 대한 비교 신호를 각각 생성한다. 비교·선택기(236X)는, 비교 신호와 인접 화소 신호와의 상관이 높은 예측 인접 영역의 조합을 선택하여, 예측 영역 취득기(204X)에 출력한다.

예측 영역 취득기(204X)는, 선택된 조합에 속하는 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 가중치 부여기(205X) 및 가산기(206X)가 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다.

이로써, 평활화하는 후보 예측 신호에 다양성을 가지게 할 수 있고, 국소적인 잡음 특성을 고려한 예측 신호를 효율적으로 생성할 수 있다. 따라서, 부호화 데이터를 효율적으로 생성할 수 있다.

또한, 제6 실시예의 화상 예측 복호 장치(300X)는, 압축 데이터 내에 있는 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 엔트로피 복호기(302X)와, 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 역양자화기(303X) 및 역변환기(304X)와, 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성기(308X)와, 생성된 예측 신호와 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 가산기(305X)를 구비하고 있다.

그리고, 예측 신호 생성기(103aX)는, 대상 화소 신호로 이루어지는 대상 영역(401X)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403X)과의 상관이 높은 복수의 예측 인접 영역(404aX∼414cX)을, 기 재생 화상으로 이루어지는 탐색 영역(401X, 417X)에서 탐색한다. 그리고, 조합 설정기(237X)는, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상이한 개수의 예측 인접 영역을 포함하는 예측 인접 영역의 조합을 2개 이상 생성한다.

이로써, 평활화하는 후보 예측 신호에 다양성을 가지게 할 수 있고, 국소적인 잡음 특성을 고려한 예측 신호를 효율적으로 생성할 수 있다. 따라서, 부호화된 부호화 데이터를 효율적으로 복호할 수 있다.

<제7 실시예>

전술한 바와 같이 도 50∼도 53에서는, "다양성을 고려하여 예측 인접 영역의 조합을 선택하는 처리"를, "대상 인접 영역과 예측 인접 영역과의 관계를 사용하여 평활화하는 후보 예측 신호의 개수를 선택하는 처리"와 병행하여 사용하였다. 그러나, "다양성을 고려하여 예측 인접 영역의 조합을 선택하는 처리"는 "대상 인접 영역과 예측 인접 영역과의 관계를 사용하여 평활화하는 후보 예측 신호의 개수를 선택하는 처리"와 조합하지 않는 처리에도 효과가 있다. 이하에 그 실시예를 설명한다.

본 실시예에서는, 평활화하는 후보 예측 신호의 개수 FN을 설정한 후, "다양성을 고려하여 예측 인접 영역의 조합을 선택하는 처리"를 이용하여, 후보 예측 신호의 조합을 결정할 수 있다. 즉, 도 51에 나타낸 조합 설정기(237X)의 동작과 도 53에 나타낸 처리 S604aX의 처리가, 결정된 FN값에 대해서만 실시되고, 조합 설정기(237X)에 의해 M개의 예측 인접 영역으로부터 FN개의 예측 인접 영역이 선택된다. 그리고, 선택된 FN개의 예측 인접 영역의 조합에 기초하여, FN개의 후보 예측 신호의 가중 평균화 처리가 실시된다.

도 54와 도 55는, 대상 인접 영역과 예측 인접 영역과의 관계를 사용하여 평활화하는 후보 예측 신호의 개수를 선택하는 경우에 대한 실시예이다. 이하, 제6 실시예에서의 예측 신호 생성기(103aX)와, 본 실시예의 예측 신호 생성기(103bX)의 상이한 점에 대하여 설명한다. 그리고, 당연히, 본 실시예의 예측 신호 생성기(103bX)는, 제5 실시예에에 기재된 화상 예측 부호화 장치(100X) 및 화상 예측 복호 장치(300X)에 적용할 수 있다.

도 54는, 제7 실시예인, 후보 예측 신호의 조합 설정기(237X)를 포함한 예측 신호 생성기(103bX)의 구성을 나타낸 블록도이다. 도 54에 있어서의 후보 예측 신호의 조합 결정기(203cX)에서는, 도 50에 있어서의 후보 예측 신호의 조합 결정기(203bX)와는 상이하고, 예측 인접 영역 수의 설정기(230X)로부터, 복수의 상이한 N값(N개의 예측 인접 영역)이, 조합 설정기(237X)를 통하지 않고 직접 예측 인접 영역 취득기(232X)에 입력된다.

그리고, 도 34에서 설명한 바와 같이, 예측 인접 영역 개수의 설정기(230X)는, N값을 변화시키고(즉 M값보다 작은 2의 승수 N를 변화시키고), 예측 인접 영역 취득기(232X)에 N값을 출력하고, 예측 인접 영역 취득기(232X), 가중치 부여기(234X) 및 가산기(235X)는 복수의 N값(N개의 예측 인접 영역)을 사용하여 대상 인접 영역과의 SAD값이 작은 N개의 예측 인접 영역을 가중 평균화하고, 비교 신호를 N개의 예측 인접 영역의 조합마다 복수개 생성한다. 비교·선택기(236X)는 이 N값이 상이한 복수의 비교 신호를 대상 인접 영역과 비교하여, 차이가 가장 작을 때의 N값을 FN값으로서 결정하고, 이를 조합 설정기(237X)에 출력한다. 그리고, 비교·선택기(236X)는, M값을 초과할 때까지 N값을 바꾸면서, 전술한 처리를 행하고, 최소의 SAD값을 갱신해 나간다.

조합 설정기(237X)는, 결정된 FN값, 라인 L201bX 경유로 입력되는 M개의 SAD값, 및 라인 L202cX 경유로 입력되는 예측 인접 영역의 좌표 정보를 사용하여, M개의 예측 인접 영역으로부터 FN개의 예측 인접 영역을 선택한다. 즉, 조합 설정기(237X)는, FN값에 대응시켜서 정해져 있는 임계값보다 작은 SAD값의 개수를 계수하고, 이 계수한 값에 기초하여 FN개의 예측 인접 영역을 선택한다. 이에 대한 상세한 처리는 도 51에 나타낸 바와 같다.

그리고, 조합 설정기(237X)는, 예측 인접 영역의 조합을 후보 예측 신호의 조합 정보로서, 라인 L203X 경유로 예측 영역 취득기(204X)에 출력한다. 조합 설정기(237X)에 있어서의 동작은, 전술한 도 51에서 설명한 바와 같다.

*그리고, 예측 영역 취득기(204X)에서는, 라인 L203X 경유로 입력된 후보 예측 신호의 조합 정보에 따라, 이 조합에 속하는 후보 예측 신호의 좌표 정보를 라인 L202bX 경유로 취득한다. 그리고, 예측 영역 취득기(204X)는, 라인 L104X 경유로 프레임 메모리(104X)로부터, 취득된 좌표 정보에 대응하는 후보 예측 신호를 취득하고, 가중치 부여기(205X)에 수시로 출력한다. 가중치 부여기(205X)는, 라인 L204X 경유로 입력된 각 후보 예측 신호에 가중 계수를 곱하고, 라인 L205X 경유로 가산기(206X)에 출력한다. 가산기(206X)는 가중 처리된 후보 예측 신호를 차례로 가산하고, 예측 신호로서 라인 L103X 경유로 도 33의 감산기(105X)에 출력한다.

도 55는, 제7 실시예 예측 신호 생성기(103bX)에 의한 예측 인접 영역을 선택할 때의 처리를 나타낸 흐름도이다. 이 방법에서는, 도 38에 나타낸 처리와 마찬가지로, 예측 인접 영역 수의 설정기(230X)는, 후보 예측 신호의 개수 N을 1로 설정하고(S602X), 대상 인접 영역 취득기(233X)에서는, 대상 블록에 대한 대상 인접 영역(템플레이트 신호)이 프레임 메모리(104X)로부터 취득되고(S603X), 예측 인접 영역 취득기(232X)에서, 예측 인접 영역의 개수의 설정기(230X)에 의해 설정된 조합에 속하는 N개의 예측 인접 영역이, 라인 L104X를 경유하여 취득된다(S604X).

그 후, 예측 인접 영역 취득기(232X), 가중치 부여기(234X) 및 가산기(235X)에 있어서, N개의 예측 인접 영역의 화소 신호의 평균화(가중 평균일 수도 있음)에 의해 비교 신호를 생성하고(S605X), 비교·선택기(236X)에서, 생성된 비교 신호와 인접 화소 신호와의 차분값인 SAD값을 산출한다(S606X). 이와 동시에, 비교·선택기(236X)에서는, 산출된 SAD값을 지금까지의 최소의 SAD값와 비교하여(S607X), SAD값이 최소값이라고 판단되었을 경우, S608aX로 진행하고, 그렇지 않다고 판단된 경우, S609X로 진행한다. 그리고, S607X에서는, 산출된 SAD값와 지금까지의 최소의 SAD값이 동일한 경우에는, S609X로 진행하지만, S608aX로 진행해도 된다.

그리고, 비교·선택기(236X)에 의해 S606X에 있어서 산출된 SAD값이 지금까지 산출된 SAD의 최소값보다 작다고 판단되면, 새로 산출된 SAD값으로 최소값이 갱신되고, 또한 그 때의 N값이 후보 예측 신호의 개수 FN으로서 결정된다(S608aX).

그리고, N값이 2배로 갱신되고(S609X), 갱신된 N값이 M값보다 작은 경우, S604X로 복귀하고, 갱신된 N값이 M값보다 큰 경우, S608aX에서 결정된 좌표 정보의 조합을 후보 예측 신호의 조합으로서 결정한다. 그리고, 조합 설정기(237X)에서, 예측 인접 영역에 액세스하기 위한 좌표 정보(참조 화상 번호 및 동작 벡터), 및 대상 인접 영역과 예측 인접 영역과의 차분 SAD값을 사용하여, M개의 예측 인접 영역으로부터 FN개의 예측 인접 영역이 선택되고, FN개의 예측 인접 영역의 재생 신호를 대상 영역의 후보 예측 신호로 한다(S610aX). 이 S610aX의 처리는, S604aX(도 53 참조)와 동일하므로, 설명을 생략한다.

본 실시예에 있어서의 화상 예측 부호화 방법 및 화상 예측 복호 방법을, 프로그램으로서 기록 매체에 기억시켜 제공할 수도 있다. 기록 매체로서는, 플로피 디스크(등록상표), CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다. 그 구체적인 모듈 구성은, 도 43, 도 44, 도 45 및 도 60에 나타낸 바와 같다. 그리고, 여기서는 예측 신호 생성 모듈(103X)의 기능은, 전술한 예측 신호 생성기(103bX)에 상당한다. 이와 같이 구성된 화상 예측 부호화 프로그램 P100X 또는 화상 예측 복호 프로그램 P300X는, 기록 매체(10X)에 기억되고, 전술한 도 48 및 도 49로 나타낸 컴퓨터로 실행된다.

다음으로, 제7 실시예의 화상 예측 부호화 장치(100X) 및 화상 예측 복호 장치(300X)의 작용 효과에 대하여 설명한다.

제7 실시예의 화상 예측 부호화 장치(100X)는, 입력 화상을 복수의 영역으로 분할하는 블록 분할기(102X)와, 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성기(103X)와, 생성된 예측 신호와 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단으로서 기능하는 감산기(106X)와, 생성된 잔차 신호를 부호화하는 변환기(106X), 양자화기(107X) 및 엔트로피 부호화기(111X)를 구비하고 있다.

*그리고, 예측 신호 생성기(103b)에 있어서의 템플레이트 매칭기(201X)가 대상 화소 신호로 이루어지는 대상 영역(402X)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403X)과의 상관이 높은 복수의 예측 인접 영역(404aX∼414cX)을, 기 재생 화상으로 이루어지는 탐색 영역(401X, 417X)에서 탐색한다.

한편, 예측 인접 영역의 개수의 설정기(230X)는, 선택하는 예측 인접 영역의 개수 N을 설정한다.

그리고, 조합 설정기(237X)는, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색 영역으로부터 설정한 개수의 예측 인접 영역을 선택한다. 예측 영역 취득기(204X)는, 선택한 예측 인접 영역에 기초하여 대상 화소 신호의 후보 예측 신호를 설정한 개수만큼 생성하고, 가중치 부여기(205X) 및 가산기(206X)는, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다.

그리고, 본 실시예에 있어서는, 예측 인접 영역 수의 설정기(230X)에 의해 설정된 예측 인접 영역의 개수 N에 기초하여, 예측 인접 영역 취득기(232X), 가중치 부여기(234X), 및 가산기(235X)에 의해 비교 신호가 생성된다. 여기서 N값이 적절하게 변경되어 예측 인접 영역 취득기(232X)에 입력되고, N값에 따라 비교 신호가 생성된다. 이 비교 신호에 따라 비교·선택기(236X)에 의해 대상 인접 영역의 화소 신호와의 차분 SAD값이 최소로 되는 비교 신호가 선택되고, 이 선택된 비교 신호의 근원이 되는 N개의 예측 인접 영역을 특정하기 위한 N값이 조합 설정기(237X)에 출력된다.

또한, 제7 실시예의 화상 예측 복호 장치(300X)는, 압축 데이터 내에 있는 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 엔트로피 복호기(302X)와, 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 역양자화기(303X) 및 역변환기(304X)와, 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성기(308X)와, 생성된 예측 신호와 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 가산기(305X)를 구비하고 있다.

그리고, 예측 신호 생성기(103X)에 있어서의 템플레이트 매칭기(201X)가 대상 화소 신호로 이루어지는 대상 영역(402X)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403X)과의 상관이 높은 복수의 예측 인접 영역(404aX∼414cX)을, 기 재생 화상으로 이루어지는 탐색 영역(401X, 417X)에서 탐색한다.

한편, 인접 영역의 개수의 설정기(230X)는, 선택하는 예측 인접 영역의 개수 N을 설정한다.

그리고, 조합 설정기(237X)는, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색 영역으로부터 설정한 개수의 예측 인접 영역을 선택한다. 예측 영역 취득기(204X)는, 선택된 예측 인접 영역에 기초하여 대상 화소 신호의 후보 예측 신호를 설정한 개수만큼 생성하고, 가중치 부여기(205X) 및 가산기(206X)는, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다.

그리고, 제7 실시예에 있어서는, 예측 인접 영역 수의 설정기(230X)에 의해 설정된 예측 인접 영역의 개수 N에 기초하여, 예측 인접 영역 취득기(232X), 가중치 부여기(234X), 및 가산기(235X)에 의해 비교 신호가 생성된다. 여기서 N값이 적절하게 변경되어 예측 인접 영역 취득기(232X)에 입력되고, N값에 따라 비교 신호가 생성된다. 이 비교 신호에 따라 비교·선택기(236X)에 의해 대상 인접 영역의 화소 신호와의 차분 SAD값이 최소로 되는 비교 신호가 선택되고, 이 선택된 비교 신호의 근원이 되는 N개의 예측 인접 영역을 특정하기 위한 N값이 조합 설정기(237X)에 출력된다.

이로써, 평활화하는 후보 예측 신호에 다양성을 가지게 할 수 있고, 국소적인 잡음 특성을 고려한 예측 신호를 효율적으로 생성할 수 있다. 따라서, 이 예측 신호를 사용하여 부호화된 부호화 데이터를 효율적으로 복호할 수 있다.

<제8 실시예>

도 56은, 제8 실시예인 후보 예측 신호의 조합 결정기의 구성을 나타낸 블록도이다. 이 제8 실시예는, 대상 인접 영역과 예측 인접 영역 사이의 SAD값을 사용한 임계값 처리에 의해 평활화하는 후보 예측 신호의 개수를 결정하는 경우에 대한 실시예이다. 이 제8 실시예에서의 예측 신호 생성기(103cX)에 있어서는, 후보 예측 신호의 조합 결정기(203dX)는, 예측 신호 생성기(103X, 103aX, 또는 103bX)와는 상이하다. 이하, 상이점인 후보 예측 신호의 조합 결정기(203dX)에 대하여 설명한다.

도 56에 있어서의 후보 예측 신호의 조합 결정기(203dX)는, 후보 예측 신호수의 결정기(238X)와 조합 설정기(237dX)를 포함하여 구성된다.

후보 예측 신호수의 결정기(238X)는, 라인 L201bX 경유로, 대상 인접 영역과 M개의 각 예측 인접 영역 사이의 M개의 SAD값을 입력하고, 미리 정한 임계값보다 작은 SAD값의 개수를 계산한다. 그리고, 임계값보다 작은 SAD값의 개수를, 평활화하는 후보 예측 신호의 개수 FN으로서 조합 설정기(237dX)에 출력한다.

조합 설정기(237dX)는, 도 51에 나타낸 구성을 취하며, 예측 인접 영역의 좌표 정보를 사용하여, M개의 예측 인접 영역으로부터 FN개의 예측 인접 영역을 선택하고, 예측 인접 영역의 조합을 후보 예측 신호의 조합 정보로서, L203X 경유로 예측 영역 취득기(204X)에 출력한다. 보다 구체적으로는, 이 조합 설정기(237dX)는, FN값이 M값보다 작다고 판단한 경우에는, 예측 인접 영역의 좌표 정보를 사용하여, M개의 예측 인접 영역으로부터 FN개의 예측 인접 영역을 선택하고, 이들에 인접하는 FN개의 예측 영역의 재생 신호를 대상 영역의 후보 예측 신호로 하는 처리를 행한다. FN값이 M값과 동일한 경우에는, 선택된 처리는 행해지지 않고, FN개의 예측 인접 영역의 조합이 출력된다.

다음으로, 후보 예측 신호의 조합 결정기(203dX)의 동작에 대하여 설명한다. 도 57은, 후보 예측 신호의 조합 결정기(203dX)의 동작을 나타낸 흐름도이다.

후보 예측 신호 수의 결정기(238X)에서, 대상 인접 영역과 M개의 각 예측 인접 영역 사이의 SAD값과 미리 정한 임계값이 비교되어, 임계값보다 작은 SAD값의 개수가, 평활화하는 후보 예측 신호의 개수 FN으로서 결정된다(S615X). 그리고, 조합 설정기(237X)에 있어서 FN값과 M값이 비교된다(S616X). 그리고, 조합 설정기(237X)에 있어서 FN값이 M값보다 작다고 판단된 경우에는, 예측 인접 영역의 좌표 정보를 사용하여, M개의 예측 인접 영역으로부터 FN개의 예측 인접 영역이 선택되고, 이들에 인접하는 FN개의 예측 영역의 재생 신호를 대상 영역의 후보 예측 신호로 한다(S617X).

그리고, 여기서의 처리 S617X는, 도 55에 있어서의 처리 S610a와 동일한 처리이다. 또한, M값과 FN값이 동일한 경우(S616X: NO), 선택 처리가 행해지지 않고, 그대로 M개의 예측 인접 영역의 조합이 예측 영역 취득기(204X)에 출력되고, 후보 예측 신호의 결정기(238X)에 있어서의 처리는 종료한다.

이상, 도 50 내지 도 57에 나타낸 바와 같이, "좌표 정보나 동작 파라미터를 사용하여, 시공간 방향으로 다양성이 있는 예측 인접 영역의 조합을 생성하는 동작 및 처리"는, 지정한 개수의 후보 예측 신호 또는 예측 인접 영역의 조합을 선택하는 장치 및 방법에 모두 적용할 수 있다.

또한, 전술한 바에 따르면, N개의 참조 프레임과 N개의 동작 벡터를 개별적으로 평가하여 선택하였지만, 이 평가 방법으로 한정되지는 않는다. P번째의 예측 인접 신호를, λ*("P-1"번째로 선택된 참조 화상 번호 - 평가 대상의 참조 화상 번호) + ("P-1"번째로 선택된 동작 벡터 - 평가 대상의 동작 벡터)의 차분 절대값의 합과 같은 평가 함수(λ는 환산 계수)를 사용하여, 동시에 평가해도 된다.

또한, 도 34의 조합 설정기(231X)의 출력 데이터와, 도 50, 도 54 및 도 56에 나타낸 후보 예측 신호의 조합 결정기의 출력 데이터는 모두 예측 인접 영역의 조합 정보이므로, 도 34의 조합 설정기(231X)를 도 50, 도 54 및 도 56의 기능을 포함하도록 구성할 수도 있다. 즉, 도 34의 조합 설정기(231X)와 도 50, 도 54 및 도 56의 조합 설정기(237X)(237dX)에 있어서, 출력하는 2개 이상의 예측 인접 영역의 조합 정보를 생성하고, 도 34의 후보 예측 신호의 조합 결정기(203X)에서, 1개를 선택하도록 구성할 수도 있다.

본 실시예에 있어서의 화상 예측 부호화 방법 및 화상 예측 복호 방법을, 프로그램으로서 기록 매체에 기억시켜 제공할 수도 있다. 기록 매체로서는, 플로피 디스크(등록상표), CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다. 그 구체적인 모듈 구성은, 도 43, 도 44, 도 45 및 도 60에 나타낸 바와 같다. 그리고, 여기서는 예측 신호 생성 모듈(103X)의 기능은, 전술한 예측 신호 생성기(103cX)에 상당한다. 이와 같이 구성된 화상 예측 부호화 프로그램 P100X 또는 화상 예측 복호 프로그램 P300X는, 기록 매체(10X)에 기억되고, 전술한 도 48 및 도 49에 나타낸 컴퓨터로 실행된다.

다음으로, 제8 실시예의 화상 예측 부호화 장치(100X) 및 화상 예측 복호 장치(300X)의 작용 효과에 대하여 설명한다. 제8 실시예의 화상 예측 부호화 장치(100X)는, 입력 화상을 복수의 영역으로 분할하는 블록 분할기(102X)와, 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성기(103cX)와, 생성된 예측 신호와 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단으로서 기능하는 감산기(106X)와, 생성된 잔차 신호를 부호화하는 변환기(106X), 양자화기(107X) 및 엔트로피 부호화기(111X)를 구비하고 있다.

그리고, 예측 신호 생성기(103cX)에 있어서, 템플레이트 매칭기(201X)가 대상 화소 신호로 이루어지는 대상 영역(402X)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403X)과의 상관이 높은 복수의 예측 인접 영역(404aX∼414cX)을, 기 재생 화상으로 이루어지는 탐색 영역(401X 및 417X)에서 탐색한다. 그리고, 조합 설정기(237X)는, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보, 예를 들면 참조 화상 번호 및 동작 벡터를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택한다.

예측 영역 취득기(204X)는, 선택한 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 가중치 부여기(205X) 및 가산기(206X)는, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다.

그리고, 제8 실시예에 있어서는, 후보 예측 신호수의 결정기(238X)에 의해 예측 인접 영역의 개수 N을 설정하고, 조합 설정기(237X)는, 이 설정된 개수의 예측 인접 영역을 선택하도록 하고 있다.

또한, 제8 실시예의 화상 예측 복호 장치(300X)는, 압축 데이터 내에 있는 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 엔트로피 복호기(302X)와, 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 역양자화기(303X) 및 역변환기(304X)와, 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성기(308X)와, 생성된 예측 신호와 복원된 재생 잔차 신호를 가산함으로써 재생 화상 신호를 생성하는 가산기(305X)를 구비하고 있다.

그리고, 예측 신호 생성기(308X)에 있어서, 템플레이트 매칭기(201X)가 대상 화소 신호로 이루어지는 대상 영역(402X)에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역(403X)과의 상관이 높은 복수의 예측 인접 영역(404aX∼414cX)을, 기 재생 화상으로 이루어지는 탐색 영역(401X 및 417X)에서 탐색한다. 그리고, 조합 설정기(237X)는, 적어도 예측 인접 영역의 위치를 나타낸 좌표 정보, 예를 들면 참조 화상 번호 및 동작 벡터를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택한다.

예측 영역 취득기(204X)는, 선택된 예측 인접 영역에 기초하여, 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 가중치 부여기(205X) 및 가산기(206X)는, 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성한다.

100: 화상 예측 부호화 장치 101: 입력 단자
102: 블록 분할기 103: 예측 신호 생성기
104: 프레임 메모리 105: 감산기
106: 변환기 107: 양자화기
108: 역양자화기 109: 역변환기
110: 가산기 111: 엔트로피 부호화기
112: 출력 단자 201: 템플레이트 매칭기
202: 좌표 정보용 메모리 203: 후보 예측 신호의 조합 결정기
204: 예측 영역 취득기 205: 가중치 부여기
206: 가산기 211: 대상 인접 영역 취득기
212: 예측 인접 영역 취득기 213: 비교기
214: 스위치 231: 조합 설정기
232: 예측 인접 영역 취득기 233: 대상 인접 영역 취득기
234: 가중치 부여기 235: 가산기
236: 비교·선택기 300: 화상 예측 복호 장치
301: 입력 단자 302: 엔트로피 복호기
303: 역양자화기 304: 역변환기
305: 가산기 306: 출력 단자
307: 프레임 메모리 308: 예측 신호 생성기
P100: 화상 예측 부호화 프로그램 P102: 블록 분할 모듈
P103: 예측 신호 생성 모듈 P104: 기억 모듈
P105: 감산 모듈 P106: 변환 모듈
P108: 역양자화 모듈 P109: 역변환 모듈
P110: 가산 모듈 P111: 엔트로피 부호화 모듈
P201: 템플레이트 매칭 모듈 P202: 결정 모듈
P203: 예측 신호 합성 모듈 P300: 화상 예측 복호 프로그램
P302: 엔트로피 복호 모듈 P303: 역양자화 모듈
P304: 역변환 모듈 P305: 가산 모듈
P307: 기억 모듈 P308: 예측 신호 생성 모듈
1800: 평균화 수 결정기 1801: 카운터
1802: 대표 예측 영역 취득기 1803: 상관 평가값 산출기
1804: 임계값 처리기 2200: 후보 예측 신호의 조합 결정기
2201: 가중 계수 설정기 2202: 가중 평균화기
2203: 비교·선택기 2204: 가중 평균화기
2801: 예측 영역 취득기 100X: 화상 예측 부호화 장치
101X: 입력 단자 102X: 블록 분할기
103X: 예측 신호 생성기 104X: 프레임 메모리
105X: 감산기 106X: 변환기
107X: 양자화기 108X: 역양자화기
109X: 역변환기 110X: 가산기
111X: 엔트로피 부호화기 112X: 출력 단자
201X: 템플레이트 매칭기 202X: 좌표 정보용 메모리
203X: 후보 예측 신호의 조합 결정기 204X: 예측 영역 취득기
205X: 가중치 부여기 206X: 가산기
211X: 대상 인접 영역 취득기 212X: 예측 인접 영역 취득기
213X: 비교기 214X: 스위치
230X: 예측 인접 영역의 설정기 231, 237, 237dX: 조합 설정기
232X: 예측 인접 영역 취득기 233X: 대상 인접 영역 취득기
234X: 가중치 부여기 235X: 가산기
236X: 비교·선택기 281X: 평가 대상의 예측 인접 영역의 결정기
238X: 후보 예측 신호수의 결정기 282X: 카운터
283X: 참조 화상의 평가기 284X: 동작 벡터의 평가기
300X: 화상 예측 복호 장치 301X: 입력 단자
302X: 엔트로피 복호기 303X: 역양자화기
304X: 역변환기 305X: 가산기
306X: 출력 단자 307X: 프레임 메모리
308X: 예측 신호 생성기 P100X: 화상 예측 부호화 프로그램
P102X: 블록 분할 모듈 P103X: 예측 신호 생성 모듈
P104X: 기억 모듈 P105X: 감산 모듈
P106X: 변환 모듈 P108X: 역양자화 모듈
P109X: 역변환 모듈 P110X: 가산 모듈
P111X: 엔트로피 부호화 모듈 P201X: 템플레이트 매칭 모듈
P202X: 결정 모듈 P203X: 예측 신호 합성 모듈
P300X: 화상 예측 복호 프로그램 P302X: 엔트로피 복호 모듈
P303X: 역양자화 모듈 P304X: 역변환 모듈
P305X: 가산 모듈 P307X: 기억 모듈
P308X: 예측 신호 생성 모듈

Claims

입력 화상을 복수의 영역으로 분할하는 영역 분할 수단;
상기 영역 분할 수단에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호예측 신호 생성 수단;
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차(殘差) 신호를 생성하는 잔차 신호 생성 수단; 및
상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 복수의 예측 인접 영역 중 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 상기 조합마다 상기 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 조합을 선택하고,
선택된 상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 부호화 장치.
제1항에 있어서,
상기 예측 신호 생성 수단은, 상기 비교 신호와 상기 인접 화소 신호와의 차분의 절대값의 합이 작은 조합을 선택하는, 화상 예측 부호화 장치.
제1항 또는 제2항에 있어서,
상기 예측 신호 생성 수단은, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 비교 신호를 생성하는, 화상 예측 부호화 장치.
제1항 또는 제2항에 있어서,
상기 예측 신호 생성 수단에 있어서, 상기 예측 인접 영역의 조합이, 상기 대상 인접 영역과의 상관이 높은 순으로 2의 n제곱 개의 예측 인접 영역을 포함하는, 화상 예측 부호화 장치.
제4항에 있어서,
상기 n의 값이 0 이상의 정수인, 화상 예측 부호화 장치.
압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 수단;
상기 데이터 복호 수단에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단; 및
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 수단
을 구비하고,
상기 예측 신호 생성 수단은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 복수의 예측 인접 영역 중 적어도 1개를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 상기 조합마다 상기 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 큰 조합을 선택하고,
선택된 상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호로서 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 복호 장치.
제6항에 있어서,
상기 예측 신호 생성 수단에 있어서, 상기 인접 화소 신호에 대한 비교 신호를 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 차분의 절대값의 합이 작은 조합을 선택하는, 화상 예측 복호 장치.
제6항 또는 제7항에 있어서,
상기 예측 신호 생성 수단에 있어서, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써 상기 비교 신호를 생성하는, 화상 예측 복호 장치.
제6항 또는 제7항에 있어서,
상기 예측 신호 생성 수단에 있어서, 상기 예측 인접 영역의 조합이, 상기 대상 영역과의 상관이 높은 순으로 2의 n제곱 개의 예측 인접 영역을 포함하는, 화상 예측 복호 장치.
제9항에 있어서,
상기 n의 값이 0 이상의 정수인, 화상 예측 복호 장치.
입력 화상을 복수의 영역으로 분할하는 영역 분할 단계;
상기 영역 분할 단계에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계;
상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계; 및
상기 잔차 신호 생성 단계에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 단계
를 포함하고,
상기 예측 신호 생성 단계는,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 복수의 예측 인접 영역 중 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 상기 조합마다 상기 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 조합을 선택하고,
선택된 상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 부호화 방법.
압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 단계;
상기 데이터 복호 단계에 의해 복호된 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 단계;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계; 및
상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 잔차 신호 복원 단계에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 단계
를 포함하고,
상기 예측 신호 생성 단계는,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 복수의 예측 인접 영역 중 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 상기 조합마다 상기 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 큰 조합을 선택하고,
선택된 상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호로서 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 복호 방법.
입력 화상을 복수의 영역으로 분할하는 영역 분할 모듈;
상기 영역 분할 모듈에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈;
상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 모듈; 및
상기 잔차 신호 생성 모듈에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 모듈
을 포함하고,
상기 예측 신호 생성 모듈은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 복수의 예측 인접 영역 중 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 상기 조합마다 상기 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 조합을 선택하고,
선택된 상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 부호화 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 모듈;
상기 데이터 복호 모듈에 의해 복호된 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 모듈;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈;
상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 잔차 신호 복원 모듈에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 모듈
을 포함하고,
상기 예측 신호 생성 모듈은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 복수의 예측 인접 영역 중 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 상기 조합마다 상기 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 큰 조합을 선택하고,
선택된 상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호로서 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 복호 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
입력 화상을 복수의 영역으로 분할하는 영역 분할 수단;
상기 영역 분할 수단에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단;
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단; 및
상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 복수의 예측 인접 영역에 기초하여 생성되는 상기 대상 영역에 기초한 N개의 후보 예측 영역의 화소 신호 또는 탐색된 N개의 예측 인접 영역의 화소 신호 또는 그 양쪽의 신호로부터 적어도 2개의 신호를 사용하여, 상기 N개의 후보 예측 신호 사이의 상관을 평가하는 평가값을 사전에 정한 방법으로 산출하고,
상기 평가값이 규정된 임계값보다 작은 경우에는 상기 N개의 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 부호화 장치.
제15항에 있어서,
상기 예측 신호 생성 수단은,
상기 N값으로서 복수의 후보를 준비하고, 상기 N값의 후보의 최대값에 대하여 상기 평가값을 산출하고, 상기 평가값이 규정된 임계값보다 작은 경우에는 N개의 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하고,
상기 평가값이 상기 임계값보다 큰 경우에는, N값을 감산함으로써 그 다음으로 큰 값으로 갱신하고, 상기 평가값의 산출과 규정된 임계값의 비교를 재차 행하는, 화상 예측 부호화 장치.
제15항 또는 제16항에 있어서,
상기 예측 신호 생성 수단은, 탐색된 N개의 예측 인접 영역 중, 대상 인접 영역과의 상관이 가장 높은 예측 인접 영역에 인접하는 예측 영역의 화소 신호와 대상 인접 영역과의 상관이 N번째로 높은 예측 인접 영역에 인접하는 예측 영역의 화소 신호, 또는 대상 인접 영역과의 상관이 가장 높은 예측 인접 영역의 화소 신호와 대상 인접 영역과의 상관이 N번째로 높은 예측 인접 영역의 화소 신호, 또는 상기 화소 신호 각각을 합친 신호의 차분의 절대값의 합을 산출하고, 상기 차분의 절대값의 합을 상기 평가값으로 하는, 화상 예측 부호화 장치.
압축 데이터 중에서 처리 대상인 대상 영역에 대한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 수단;
상기 데이터 복호 수단에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단; 및
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 상기 복수의 예측 인접 영역에 기초하여 생성되는 상기 대상 영역에 기초한 N개의 예측 영역의 화소 신호 또는 탐색된 N개의 예측 인접 영역 중 예측 인접 영역의 화소 신호 또는 그 양쪽의 신호로부터 적어도 2개의 신호를 사용하여, 상기 N개의 후보 예측 신호 사이의 상관을 평가하는 평가값을 사전에 정한 방법으로 산출하고,
상기 평가값이 규정된 임계값보다 작은 경우에는 상기 N개의 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 복호 장치.
제18항에 있어서,
상기 예측 신호 생성 수단은,
상기 N의 값으로서 복수의 후보를 준비하고, N값의 후보의 최대값에 대하여 상기 평가값을 산출하고, 상기 평가값이 규정된 임계값보다 작은 경우에는 상기 N개의 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하고,
상기 평가값이 상기 임계값보다 큰 경우에는, N값을 감산함으로써 그 다음으로 큰 값으로 갱신하여 상기 평가값의 산출과 규정된 임계값의 비교를 다시 행하는, 화상 예측 복호 장치.
제18항 또는 제19항에 있어서,
상기 예측 신호 생성 수단은, 탐색된 N개의 예측 인접 영역 중, 대상 인접 영역과의 상관이 가장 높은 예측 인접 영역에 인접하는 예측 영역의 화소 신호와 대상 인접 영역과의 상관이 가장 낮은 예측 인접 영역에 인접하는 예측 영역의 화소 신호, 또는 대상 인접 영역과의 상관이 가장 높은 예측 인접 영역의 화소 신호와 대상 인접 영역과의 상관이 N번째로 높은 예측 인접 영역의 화소 신호, 또는 상기 화소 신호 각각을 합친 신호의 차분의 절대값의 합을 산출하고, 상기 차분의 절대값의 합을 상기 평가값으로 하는, 화상 예측 복호 장치.
입력 화상을 복수의 영역으로 분할하는 영역 분할 수단;
상기 영역 분할 수단에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단;
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단; 및
상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득된 복수의 상기 예측 인접 영역 중, 상기 예측 인접 영역을 2개 이상 포함하는, 임의의 예측 인접 영역의 조합을 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고,
상기 조합에 대하여, 복수의 가중 계수의 조를 사용하여 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고,
상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 2개 이상 생성하고, 상기 후보 예측 신호를 선택된 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 부호화 장치.
입력 화상을 복수의 영역으로 분할하는 영역 분할 수단;
상기 영역 분할 수단에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단;
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단; 및
상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득된 복수의 예측 인접 영역 중 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고,
예측 인접 영역을 2개 이상 포함하는 조합에 대하여, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 복수의 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
상기 복수의 조합에 대하여, 그 조합에 속하는 예측 인접 영역의 화소 신호를 상기의 선택한 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 조합을 선택하고,
선택된 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를, 상기 선택된 조합에 대하여 먼저 선택한 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 부호화 장치.
제21항 또는 제22항에 있어서,
상기 예측 신호 생성 수단은, 상기 조합에 속하는 복수의 예측 인접 영역의 화소 신호와 상기 인접 화소 신호와의 차분의 절대값의 합이 커짐에 따라 작은 가중 계수가 설정되도록, 적어도 상기 가중 계수의 조의 하나를 산출하는, 화상 예측 부호화 장치.
제21항 또는 제22항에 있어서,
상기 예측 신호 생성 수단은, 상기 조합에 속하는 예측 인접 영역의 개수에 따라 정해지는 가중 계수의 조를 사전에 준비하고, 준비된 가중 계수의 조에 의해 하나 이상의 가중 계수의 조를 도출하는, 화상 예측 부호화 장치.
제21항 또는 제22항에 있어서,
상기 예측 신호 생성 수단은, 상기 조합에 속하는 복수의 예측 인접 영역의 화소 신호와 상기 인접 화소 신호와의 차분의 절대값의 합으로부터 가중 계수의 조가 정해지는 대응표를 준비하고, 상기 대응표를 사용하여 하나 이상의 가중 계수의 조를 도출하는, 화상 예측 부호화 장치.
압축 데이터 중에서 처리 대상인 대상 영역에 대한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 수단;
상기 데이터 복호 수단에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단; 및
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득된 복수의 예측 인접 영역을 2개 이상 포함하는, 임의의 예측 인접 영역의 조합을 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고,
상기 조합에 대하여, 복수의 가중 계수의 조를 사용하여 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고,
상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 2개 이상 생성하고, 상기 후보 예측 신호를 선택된 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 복호 장치.
압축 데이터 중에서 처리 대상인 대상 영역에 대한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 수단;
상기 데이터 복호 수단에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단; 및
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득된 복수의 예측 인접 영역 중 적어도 하나를 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고,
예측 인접 영역을 2개 이상 포함하는 조합에 대하여, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 복수의 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
상기 복수의 조합에 대하여, 그 조합에 속하는 예측 인접 영역의 화소 신호를 상기의 선택한 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 조합을 선택하고,
선택된 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를, 상기 선택된 조합에 대하여 먼저 선택한 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 복호 장치.
제26항 또는 제27항에 있어서,
상기 예측 신호 생성 수단은, 상기 조합에 속하는 복수의 예측 인접 영역의 화소 신호와 상기 인접 화소 신호와의 차분의 절대값의 합이 커짐에 따라 작은 가중 계수가 설정되도록, 적어도 상기 가중 계수의 조의 하나를 산출하는, 화상 예측 복호 장치.
제26항 또는 제27항에 있어서,
상기 예측 신호 생성 수단은, 상기 조합에 속하는 예측 인접 영역의 수에 따라 정해지는 가중 계수의 조를 사전에 준비하고, 준비된 가중 계수의 조에 의해 하나 이상의 가중 계수의 조를 도출하는, 화상 예측 복호 장치.
제26항 또는 제27항에 있어서,
상기 예측 신호 생성 수단은, 상기 조합에 속하는 복수의 예측 인접 영역의 화소 신호와 상기 인접 화소 신호와의 차분의 절대값의 합으로부터 가중 계수의 조가 정해지는 대응표를 준비하고, 상기 대응표를 사용하여 하나 이상의 가중 계수의 조를 도출하는, 화상 예측 복호 장치.
입력 화상을 복수의 영역으로 분할하는 영역 분할 단계;
상기 영역 분할 단계에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계;
상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계; 및
상기 잔차 신호 생성 단계에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 단계
를 포함하고,
상기 예측 신호 생성 단계는,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 복수의 예측 인접 영역 중, 상기 대상 영역에 기초한 N개의 예측 영역의 화소 신호 또는 탐색된 N개의 예측 인접 영역 중 예측 인접 영역의 화소 신호 또는 그 양쪽의 신호로부터 적어도 2개의 신호를 사용하여, 상기 N개의 후보 예측 신호 사이의 상관을 평가하는 평가값을 사전에 정한 방법으로 산출하고,
상기 평가값이 규정된 임계값보다 작은 경우에는 상기 N개의 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 부호화 방법.
압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 단계;
상기 데이터 복호 단계에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 단계;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계; 및
상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 잔차 신호 복원 단계에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 단계
를 포함하고,
상기 예측 신호 생성 단계는,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 복수의 예측 인접 영역 중, 상기 대상 영역에 기초한 N개의 예측 영역의 화소 신호 또는 탐색된 N개의 예측 인접 영역 중 예측 인접 영역의 화소 신호 또는 그 양쪽의 신호로부터 적어도 2개의 신호를 사용하여, 상기 N개의 후보 예측 신호 사이의 상관을 평가하는 평가값을 사전에 정한 방법으로 산출하고,
상기 평가값이 규정된 임계값보다 작은 경우에는 상기 N개의 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 복호 방법.
입력 화상을 복수의 영역으로 분할하는 영역 분할 단계;
상기 영역 분할 단계에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계;
상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계; 및
상기 잔차 신호 생성 단계에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 단계
를 포함하고,
상기 예측 신호 생성 단계는,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득된 복수의 예측 인접 영역 중, 상기 예측 인접 영역을 2개 이상 포함하는, 임의의 예측 인접 영역의 조합을 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고,
상기 조합에 대하여, 복수의 가중 계수의 조를 사용하여 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고,
상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 2개 이상 생성하고, 상기 후보 예측 신호를 선택된 상기 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 부호화 방법.
입력 화상을 복수의 영역으로 분할하는 영역 분할 단계;
상기 영역 분할 단계에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계;
상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계; 및
상기 잔차 신호 생성 단계에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 단계
를 포함하고,
상기 예측 신호 생성 단계는,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득된 복수의 예측 인접 영역을 적어도 하나 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고,
예측 인접 영역을 2개 이상 포함하는 조합에 대하여, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 복수의 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
복수의 조합에 대하여, 그 조합에 속하는 예측 인접 영역의 화소 신호를 상기에서 선택한 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 조합을 선택하고,
선택된 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를, 상기 선택된 조합에 대하여 먼저 선택한 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 부호화 방법.
압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 단계;
상기 데이터 복호 단계에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 단계;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계; 및
상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 잔차 신호 복원 단계에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 단계
를 포함하고,
상기 예측 신호 생성 단계는,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득된 복수의 예측 인접 영역을 2개 이상 포함하는, 임의의 예측 인접 영역의 조합을 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고,
상기 조합에 대하여, 복수의 가중 계수의 조를 사용하여 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고,
상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 2개 이상 생성하고, 상기 후보 예측 신호를 상기의 선택한 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 복호 방법.
압축 데이터 중에서 처리 대상인 대상 영역에 대한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 단계;
상기 데이터 복호 단계에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 단계;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계; 및
상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 잔차 신호 복원 단계에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 단계
를 포함하고,
상기 예측 신호 생성 단계는,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득된 복수의 예측 인접 영역을 적어도 하나 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고,
예측 인접 영역을 2개 이상 포함하는 조합에 대하여, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 복수의 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
복수의 조합에 대하여, 그 조합에 속하는 예측 인접 영역의 화소 신호를 상기의 선택한 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 조합을 선택하고,
선택된 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를, 상기 선택된 조합에 대하여 먼저 선택한 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 복호 방법.
입력 화상을 복수의 영역으로 분할하는 영역 분할 모듈;
상기 영역 분할 모듈에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈;
상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 모듈; 및
상기 잔차 신호 생성 모듈에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 모듈
을 포함하고,
상기 예측 신호 생성 모듈은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 복수의 예측 인접 영역 중, 상기 대상 영역에 기초한 N개의 예측 영역의 화소 신호 또는 탐색된 N개의 예측 인접 영역 중 예측 인접 영역의 화소 신호 또는 그 양쪽의 신호로부터 적어도 2개의 신호를 사용하여, 상기 N개의 후보 예측 신호 사이의 상관을 평가하는 평가값을 사전에 정한 방법으로 산출하고,
상기 평가값이 규정된 임계값보다 작은 경우에는 상기 N개의 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 부호화 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 모듈;
상기 데이터 복호 모듈에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 모듈;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈; 및
상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 잔차 신호 복원 모듈에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 모듈
을 포함하고,
상기 예측 신호 생성 모듈은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
탐색된 복수의 예측 인접 영역 중, 상기 대상 영역에 기초한 N개의 예측 영역의 화소 신호 또는 탐색된 N개의 예측 인접 영역 중 예측 인접 영역의 화소 신호 또는 그 양쪽의 신호로부터 적어도 2개의 신호를 사용하여, 상기 N개의 후보 예측 신호 사이의 상관을 평가하는 평가값을 사전에 정한 방법으로 산출하고,
상기 평가값이 규정된 임계값보다 작은 경우에는 상기 N개의 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 복호 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
입력 화상을 복수의 영역으로 분할하는 영역 분할 모듈;
상기 영역 분할 모듈에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈;
상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 모듈; 및
상기 잔차 신호 생성 모듈에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 모듈
을 포함하고,
상기 예측 신호 생성 모듈은,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득한 복수의 예측 인접 영역 중, 상기 예측 인접 영역을 2개 이상 포함하는, 임의의 예측 인접 영역의 조합을 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고,
상기 조합에 대하여, 복수의 가중 계수의 조를 사용하여 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고,
상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 2개 이상 생성하고, 상기 후보 예측 신호를 선택된 상기 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 부호화 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
입력 화상을 복수의 영역으로 분할하는 영역 분할 모듈;
상기 영역 분할 모듈에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈;
상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 모듈; 및
상기 잔차 신호 생성 모듈에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 모듈
을 포함하고,
상기 예측 신호 생성 모듈은,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득된 복수의 예측 인접 영역을 적어도 하나 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고,
예측 인접 영역을 2개 이상 포함하는 조합에 대하여, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 복수의 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
복수의 조합에 대하여, 그 조합에 속하는 예측 인접 영역의 화소 신호를 상기에서 선택한 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 조합을 선택하고,
선택된 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를, 상기 선택된 조합에 대하여 먼저 선택한 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 부호화 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 모듈;
상기 데이터 복호 모듈에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 모듈;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈; 및
상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 잔차 신호 복원 모듈에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 모듈
을 포함하고,
상기 예측 신호 생성 모듈은,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득된 복수의 예측 인접 영역을 2개 이상 포함하는, 임의의 예측 인접 영역의 조합을 도출하고, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고,
상기 조합에 대하여, 복수의 가중 계수의 조를 사용하여 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고,
상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 2개 이상 생성하고, 상기 후보 예측 신호를 선택된 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 복호 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 모듈;
상기 데이터 복호 모듈에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 모듈;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈; 및
상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 잔차 신호 복원 모듈에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 모듈
을 포함하고,
상기 예측 신호 생성 모듈은,
상기 대상 영역에 인접하는 대상 인접 영역과 동일한 형상의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 각각 복수개 취득하고,
취득한 복수의 예측 인접 영역을 적어도 하나 포함하는, 임의의 예측 인접 영역의 조합을 2개 이상 도출하고,
예측 인접 영역을 2개 이상 포함하는 조합에 대하여, 상기 조합에 속하는 예측 인접 영역의 화소 신호를 가중 평균하기 위한 가중 계수의 조를 2개 이상 도출하고, 상기 복수의 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 가중 계수의 조를 선택하고,
복수의 상기 조합에 대하여, 그 조합에 속하는 예측 인접 영역의 화소 신호를 선택된 가중 계수의 조를 사용하여 예측 인접 영역의 화소 신호를 가중 평균함으로써, 상기 인접 화소 신호에 대한 비교 신호를 2개 이상 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 조합을 선택하고,
선택된 상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 기 재생 화상으로부터 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를, 상기 선택된 조합에 대하여 먼저 선택한 가중 계수의 조를 사용하여 가중 평균함으로써 예측 신호를 생성하는,
화상 예측 복호 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
입력 화상을 복수의 영역으로 분할하는 영역 분할 수단;
상기 영역 분할 수단에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단;
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단; 및
상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고,
선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 부호화 장치.
입력 화상을 복수의 영역으로 분할하는 영역 분할 수단;
상기 영역 분할 수단에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단;
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단; 및
상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
선택할 예측 인접 영역의 수를 설정하고,
적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상기 탐색 영역으로부터 설정된 수의 예측 인접 영역을 선택하고,
선택된 예측 인접 영역에 기초하여 상기 대상 화소 신호의 후보 예측 신호를 상기 설정된 수만큼 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 부호화 장치.
입력 화상을 복수의 영역으로 분할하는 영역 분할 수단;
상기 영역 분할 수단에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단;
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단; 및
상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상이한 수의 예측 인접 영역을 포함하는 예측 인접 영역의 조합을 2개 이상 생성하고,
상기 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 상기 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 높은 상위 소정 개수의 예측 인접 영역의 조합을 생성된 예측 인접 영역의 조합 중에서 선택하고,
선택된 상기 조합에 속하는 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 부호화 장치.
제43항 내지 제45항 중 어느 한 항에 있어서,
상기 예측 신호 생성 수단은, 시간 또는 공간 중 어느 하나, 또는 시공간의 위치 정보를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는, 화상 예측 부호화 장치.
제43항 내지 제45항 중 어느 한 항에 있어서,
상기 예측 신호 생성 수단은, 예측 인접 영역이 속하는 참조 화상의 식별 번호를 포함한 좌표 정보를 사용하여 처리하는, 화상 예측 부호화 장치.
제43항 내지 제45항 중 어느 한 항에 있어서,
상기 예측 신호 생성 수단은, 예측 인접 영역이 속하는 참조 화상 위의 공간 위치 정보를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는, 화상 예측 부호화 장치.
제43항 내지 제45항 중 어느 한 항에 있어서,
상기 예측 신호 생성 수단은, 상기 대상 인접 영역과 상기 예측 인접 영역 사이의 공간적인 위치 관계를 나타낸 동작 벡터를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는, 화상 예측 부호화 장치.
압축 데이터 내의 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 수단;
상기 데이터 복호 수단에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단; 및
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고,
선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 복호 장치.
압축 데이터의 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 수단;
상기 데이터 복호 수단에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단; 및
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 화소 신호에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역에 대하여, 상기 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
선택할 예측 인접 영역의 수를 설정하고,
적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상기 탐색 영역의 모든 위치로부터 설정된 수의 예측 인접 영역을 선택하고,
선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 선택된 수만큼 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 복호 장치.
압축 데이터 내의 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 수단;
상기 데이터 복호 수단에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단; 및
상기 예측 신호 생성 수단에 의해 생성된 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 수단
을 포함하고,
상기 예측 신호 생성 수단은,
상기 대상 화소 신호에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역에 대하여, 상기 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
선택할 예측 인접 영역의 수를 설정하고,
적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 상이한 수의 예측 인접 영역을 포함하는 예측 인접 영역의 조합을 2개 이상 생성하고,
상기 조합에 속하는 예측 인접 영역의 화소 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써, 상기 인접 화소 신호에 대한 비교 신호를 각각 생성하고, 상기 비교 신호와 상기 인접 화소 신호와의 상관이 가장 높은 조합을 상기 생성한 예측 인접 영역의 조합 중에서 선택하고,
선택된 조합에 속하는 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 복호 장치.
제50항 내지 제52항 중 어느 한 항에 있어서,
상기 예측 신호 생성 수단은, 시간 또는 공간 중 어느 하나, 또는 시공간의 위치를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는, 화상 예측 복호 장치.
제50항 내지 제52항 중 어느 한 항에 있어서,
상기 예측 신호 생성 수단은, 예측 인접 영역이 속하는 참조 화상의 식별 번호를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는, 화상 예측 복호 장치.
제50항 내지 제52항 중 어느 한 항에 있어서,
상기 예측 신호 생성 수단은, 예측 인접 영역이 속하는 참조 화상 상의 공간 위치를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는, 화상 예측 복호 장치.
제50항 내지 제52항 중 어느 한 항에 있어서,
상기 예측 신호 생성 수단은, 상기 대상 인접 영역과 상기 예측 인접 영역 사이의 공간적인 위치 관계를 나타낸 동작 벡터를 포함한 좌표 정보를 사용하여 예측 인접 영역을 선택하는, 화상 예측 복호 장치.
입력 화상을 복수의 영역으로 분할하는 영역 분할 단계;
상기 영역 분할 단계에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계;
상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계; 및
상기 잔차 신호 생성 단계에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 단계
를 포함하고,
상기 예측 신호 생성 단계는,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고,
선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 부호화 방법.
압축 데이터 내에 있는 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 단계;
상기 데이터 복호 단계에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 단계;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 단계; 및
상기 예측 신호 생성 단계에 의해 생성된 예측 신호와 상기 잔차 신호 복원 단계에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 단계
를 포함하고,
상기 예측 신호 생성 단계는,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고,
선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 복호 방법.
입력 화상을 복수의 영역으로 분할하는 영역 분할 모듈;
상기 영역 분할 모듈에 의해 분할된 상기 복수의 영역 중 처리 대상인 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈;
상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 모듈; 및
상기 잔차 신호 생성 모듈에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 모듈
을 포함하고,
상기 예측 신호 생성 모듈은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고,
선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 부호화 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
압축 데이터 내에 있는 처리 대상인 대상 영역에 관한 잔차 신호의 부호화 데이터를 복호하는 데이터 복호 모듈;
상기 데이터 복호 모듈에 의해 복호되어 얻어진 신호로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 모듈;
상기 대상 영역의 대상 화소 신호에 대한 예측 신호를 생성하는 예측 신호 생성 모듈; 및
상기 예측 신호 생성 모듈에 의해 생성된 예측 신호와 상기 잔차 신호 복원 모듈에 의해 복원된 재생 잔차 신호를 가산함으로써, 재생 화상 신호를 생성하는 재생 화상 신호 생성 모듈
을 포함하고,
상기 예측 신호 생성 모듈은,
상기 대상 화소 신호로 이루어지는 대상 영역에 인접하는 기 재생의 인접 화소 신호로 이루어지는 대상 인접 영역과의 상관이 높은 상위 소정 개수의 예측 인접 영역을, 기 재생 화상으로 이루어지는 탐색 영역으로부터 탐색하고,
적어도 상기 예측 인접 영역의 위치를 나타낸 좌표 정보를 사용하여, 탐색된 복수의 예측 인접 영역으로부터 1개 이상의 예측 인접 영역을 선택하고,
선택된 예측 인접 영역에 기초하여, 상기 대상 화소 신호의 후보 예측 신호를 1개 이상 생성하고, 상기 후보 예측 신호를 사전에 정한 합성 방법을 사용하여 가공함으로써 예측 신호를 생성하는,
화상 예측 복호 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.