KR20100019537A

KR20100019537A - 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램

Info

Publication number: KR20100019537A
Application number: KR1020097026988A
Authority: KR
Inventors: 충 셍 분; 티오우 켕 탄
Original assignee: 가부시키가이샤 엔티티 도코모
Priority date: 2005-10-19
Filing date: 2006-10-18
Publication date: 2010-02-18
Also published as: JP2007116351A; US9571831B2; RU2621009C2; KR20080064982A; KR20180004819A; US20170104994A1; KR20130105736A; KR101848228B1; EP3448024A1; EP2461591A1; KR20140120379A; EP1954060A4; EP3893501A1; RU2386222C2; US20180084249A1; KR20170020945A; RU2687039C1; US10165271B2; KR101813463B1; EP2608542A1

Abstract

본 발명의 화상 예측 부호화 장치(10)는 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대하여, 인접 영역에 대응하는 데이터에 기초하여 도출된 예측 방법을, R 모드 예측 방법 또는 L 모드 예측 방법으로서 결정하는 화면내 예측 신호 생성 방법 결정부(15)와, 결정된 R 모드 예측 방법에 기초하여 화면내 예측 신호를 생성하는 화면내 예측 신호 생성부(16)와, 생성된 화면내 예측 신호에 기초하여, 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 감산기(18), 변환부(19), 양자화부(20), 및 엔트로피 부호화부(25)를 구비한다.

화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 프로그램

Description

화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램{Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program}

본 발명은 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램에 관한 것이다.

정지 화상 데이터나 동화상 데이터의 전송이나 축적을 효율 좋게 하기 위해서, 종래부터 화상 데이터를 압축 부호화 기술에 의해 압축하는 것이 행하여지고 있다. 이러한 압축 부호화 기술로서는 동화상의 경우는 MPEG1 내지 4나 H.261 내지 H.264 등의 방식이 널리 사용되고 있다.

이들의 부호화 방식에서는 부호화의 대상이 되는 화상 데이터를 복수의 블록으로 분할한 후에 부호화 처리 및 복호 처리를 한다. 또한, MPEG4나 H.264 등의 방식에 있어서는 부호화 효율을 더욱 높이기 위해서, 화면내의 대상 블록의 부호화 시에, 대상 블록과 동일한 화면내에 있는 인접하는 기재생의 화소 신호를 사용하여 예측 신호를 생성한다. 기재생의 화소 신호란 일단 압축된 화상 데이터로부터 복원된 것을 의미한다. 그리고, 예측 신호를 대상 블록의 화소 신호로부터 뺀 차분 신호를 부호화한다.

여기에서, MPEG4에서는 대상 블록의 화상 신호를 이산 코사인 변환한 후에 예측 부호화한다. 즉, 대상 블록의 직류 성분 및 제 1 행 또는 제 1 열의 교류성분의 계수에 대하여, 상기 대상 블록의 위 또는 왼쪽에 있는 블록의 동일 성분의 계수를 예측치로 하고, 양자의 차분을 부호화한다. 이 예측치의 결정은 대상 블록의 경사 상에 있는 블록과 대상 블록의 위 또는 왼쪽에 있는 블록과의 직류 성분의 구배의 크기에 기초하여 행하여진다. 이러한 화면내 예측 방법은 하기 특허문헌 1에 기재되어 있다.

한편, H.264에서는 대상 블록에 인접하는 기재생의 화소치를 소정의 방향으로 외삽하여 예측 신호를 생성하는 방법을 채용하고 있다. 이 화소 영역에서의 화면내 예측 신호 생성은 화상의 미세부를 예측할 수 있는 메리트가 있다. 도 14a에는 H.264에 사용되는 화면내 예측 방법을 설명하기 위한 모식도이고, 도 14b에는 H.264의 화면내 예측 방법에 있어서의 화소 신호의 확대 방향을 나타낸다. 도 14a에 있어서, 블록(901)은 대상 블록이고, 블록(902 내지 904)은 인접하는 블록이며, 과거의 처리에 있어서 이미 재생된 화소 신호를 포함하는 블록이다. 여기에서는 블록(901)의 대상 블록의 경계에 인접하는 기재생 화소군(905)을 사용하여, 도 14b에 도시하는 9개의 방향에서 예측 신호를 생성한다. 예를 들면, 방향 "0"의 경우, 블록(901)의 바로 위에 있는 인접 화소를 하방으로 확대하여 예측 신호를 생성하고, 방향 "1"의 경우, 블록(901)의 왼쪽에 있는 기재생 화소를 오른쪽으로 확대하여 예측 신호를 생성하고, 방향 "2"의 경우는 화소군(905)의 전체의 화소치의 평균치를 예측 신호로서 생성한다. 예측 신호를 생성할 때의 보다 구체적인 방법에 대해서는 예를 들면 하기 비특허문헌 1에 기재되어 있다. H.264에서는 이렇게 하여 생성된 9개의 예측 신호의 각각과 대상 블록의 화소 신호의 차분을 취하여, 차분치가 가장 작은 예측 신호의 생성 방법을 최적의 예측 방법(또는, 모드라고도 함)으로 한다.

화상 데이터의 전송 시에는 화상 데이터의 복원을 위해 이렇게 하여 결정된 최적 예측 방법을 나타내는 식별 정보를 송신측으로 보낼 필요가 있다. 그 때, 블록(902)과 블록(903)의 2개의 블록에 대하여 결정된 예측 방법을 참고로, 블록(901)의 최적 예측 방법에 관한 정보를 부호화한다. 즉, 블록(902)의 예측 방법의 식별 정보와 블록(903)의 예측 방법의 식별 정보를 비교하여, 값이 작은 것을 참조 모드 정보로서 결정한다. 그리고, 대상 블록의 최적 예측 방법에 관한 식별 정보를 이 참조 모드 정보로부터 상대적으로 부호화한다.

[특허문헌 1] 미국특허공보 제6148109호

[비특허문헌 1] Iain E.G.Richardson, "H.264 and MPEG-4 video compression", Wiley 2003, pages pp.177-183.

그러나, H.264와 같이 화소 영역에서의 화면내 예측 신호 생성에 의한 부호화 방법에서는 화소 신호의 부호화 효율을 향상시키기 위한 많은 예측 방법을 설계하는 것은 가능하지만, 그 경우는 예측 방법을 식별하기 위한 모드 정보를 부호화할 때에 부호 길이가 긴 정보를 사용할 필요가 있기 때문에, 전체의 부호량이 증대한다. 이러한 문제를 해결하기 위해서, 상술한 바와 같이, 인접 블록의 예측 방법에 관한 식별 정보에 관한 상대적인 부호화가 행하여지지만, 2개의 인접 블록의 예측 방법을 사용하는 결과, 최적 예측 방법에 대하여 정밀도가 높은 참조 모드 정보를 생성할 수 없는 경향이 있고, 모드 정보의 부호량을 충분히 억제할 수 없다.

또한, 인접 블록이 프레임간 예측 부호화에 의하여 부호화되는 경우는 인접 블록이 화면내 예측에 관한 모드 정보를 가지고 있지 않기 때문에, 고정 모드 정보를 참조하여 상대적으로 대상 블록의 모드 정보를 부호화한다. 프레임간 예측 부호화란 과거에 부호화된 후에 복원된 재생 화상을 참조 화상으로 하여, 이 참조 화상으로부터 대상 블록에 대한 오차가 가장 작은 예측 신호를 사용한 예측 부호화 방법이다. 이와 같이 인접 블록이 프레임간 예측 부호화를 채용하는 경우는 대상 블록을 화면내 예측 부호화할 때의 예측 방법에 관한 모드 정보의 부호화 효율이 저하된다.

그래서, 본 발명은 이러한 과제를 감안하여 이루어진 것이며, 화소 영역에서 화면내 예측 신호를 생성하기 위한 예측 방법에 관한 모드 정보를 삭감함으로써 효 율적인 부호화 처리 또는 복호 처리가 가능한 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램을 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위해서, 본 발명의 화상 예측 부호화 장치는 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 대상 영역의 화소 신호와 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 장치로서, 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단과, 제 1 예측 방법 결정수단에 의해서 결정된 제 1 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성수단과, 예측 신호 생성수단에 의해서 생성된 화면내 예측 신호에 기초하여, 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 수단을 구비한다.

본 발명의 화상 예측 부호화 방법은 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 대상 영역의 화소 신호와 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 방법으로서, 제 1 예측 방법 결정수단이, 대상 영역에 인접하는 기 재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정 스텝과, 예측 신호 생성수단이, 제 1 예측 방법 결정 스텝에서 결정된 제 1 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성 스텝과, 화상 부호화 수단이, 예측 신호 생성 스텝에 의해서 생성된 화면내 예측 신호에 기초하여, 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 스텝을 구비한다.

본 발명의 화상 예측 부호화 프로그램은 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 대상 영역의 화소 신호와 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 프로그램으로서, 컴퓨터를, 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단, 제 1 예측 방법 결정수단에 의해서 결정된 제 1 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성수단, 및 예측 신호 생성수단에 의해서 생성된 화면내 예측 신호에 기초하여, 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 수단으로서 기능시킨다.

이러한 화상 예측 부호화 장치, 화상 예측 부호화 방법, 및 화상 예측 부호화 프로그램에 의하면, 부호화 대상의 대상 영역에 인접하는 기재생의 인접 영역에 대하여, 그 인접 영역에 대응하여 처리된 데이터를 사용하여 인접 영역의 화소 신호와 상관이 높은 예측 신호를 생성하기 위한 제 1 예측 방법이 도출되고, 그 예측 방법에 기초하여 대상 영역의 화면내 예측 신호가 생성되고, 그 화면내 예측 신호를 사용하여 대상 영역의 잔차 신호가 부호화된다. 이로써, 기재생의 인접 영역에 대응하는 기처리의 데이터를 사용하는 것만으로 화면내 예측 신호의 예측 방법이 도출되기 때문에, 예측 방법을 식별하는 모드 정보를 전송할 필요가 없어져, 전체의 부호화 효율이 향상된다.

또는, 본 발명의 화상 예측 부호화 장치는 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 대상 영역의 화소 신호와 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 장치로서, 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단과, 대상 영역에 대하여 소정의 복수의 예측 방법에 대응한 복수의 예측 신호를 생성하는 동시에, 소정의 평가 기준에 따라 복수의 예측 방법 중에서 대상 영역에 적합한 제 2 예측 방법을 결정하는 제 2 예측 방법 결정수단과, 제 2 예측 방법 결정수단에 의해서 결정된 제 2 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성수단과, 제 1 예측 방법에 기초하여 제 2 예측 방법을 상대적으로 부호화하는 모드 정보 부호화 수단과, 예측 신호 생성수단에 의해서 생성된 화면내 예측 신호에 기초하여, 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 수단을 구비한다.

또는, 본 발명의 화상 예측 부호화 방법은 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 대상 영역의 화소 신호와 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 방법으로서, 제 1 예측 방법 결정수단이, 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정 스텝과, 제 2 예측 방법 결정수단이, 대상 영역에 대하여 소정의 복수의 예측 방법에 대응한 복수의 예측 신호를 생성하는 동시에, 소정의 평가 기준에 따라 복수의 예측 방법 중에서 대상 영역에 적합한 제 2 예측 방법을 결정하는 제 2 예측 방법 결정 스텝과, 예측 신호 생성수단이, 제 2 예측 방법 결정 스텝에서 결정된 제 2 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성 스텝과, 모드 정보 부호화 수단이, 제 1 예측 방법에 기초하여 제 2 예측 방법을 상대적으로 부호화하는 모드 정보 부호화 스텝과, 화상 부호화 수단이, 예측 신호 생성수단에 의해서 생성된 화면내 예측 신호에 기초하여, 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 스텝을 구비한다.

또는, 본 발명의 화상 예측 부호화 프로그램은 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 대상 영역의 화소 신호와 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 프로그램으로서, 컴퓨터를, 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단, 대상 영역에 대하여 소정의 복수의 예측 방법에 대응한 복수의 예측 신호를 생성하는 동시에, 소정의 평가 기준에 따라 복수의 예측 방법 중에서 대상 영역에 적합한 제 2 예측 방법을 결정하는 제 2 예측 방법 결정수단, 제 2 예측 방법 결정수단에 의해서 결정된 제 2 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성수단, 제 1 예측 방법에 기초하여 제 2 예측 방법을 상대적으로 부호화하는 모드 정보 부호화 수단, 및 예측 신호 생성수단에 의해서 생성된 화면내 예측 신호에 기초하여, 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 수단으로서 기능시킨다.

이러한 화상 예측 부호화 장치, 화상 예측 부호화 방법, 및 화상 예측 부호화 프로그램에 의하면, 부호화 대상의 대상 영역에 인접하는 기재생의 인접 영역에 대하여, 그 인접 영역에 대응하여 처리된 데이터를 사용하여 인접 영역의 화소 신 호와 상관이 높은 예측 신호를 생성하기 위한 제 1 예측 방법이 도출되고, 그 제 1 예측 방법에 기초하여 대상 영역의 화면내 예측 신호를 생성하기 위한 제 2 예측 방법이 상대적으로 부호화됨과 동시에, 화면내 예측 신호를 사용하여 대상 영역의 잔차 신호가 부호화된다. 기재생의 인접 영역에 대응하는 기처리의 데이터를 사용하여 인접 영역에 대하여 도출된 예측 방법은 대상 영역에 적합한 예측 방법에 근접할 가능성이 높기 때문에, 그것을 사용하여 상대적으로 대상 영역의 예측 방법에 관한 모드 정보를 부호화함으로써, 예측 방법을 식별하는 모드 정보의 부호량이 저감되고, 전체의 부호화 효율이 향상된다.

또한, 제 1 예측 방법 결정수단은 인접 영역에 대하여, 소정의 복수의 예측 방법에 대응한 복수의 예측 신호를 생성하는 동시에, 소정의 평가 기준에 따라 복수의 예측 방법 중에서 제 1 예측 방법을 결정하는 것이 바람직하다. 이 경우, 인접 영역에 대하여 복수의 예측 방법에 중에서 소정의 평가 기준에 따라 제 1 예측 방법을 결정함으로써, 기재생의 화소 신호에 기초하여 대상 영역에 최적의 예측 방법에 가까운 예측 방법을 용이하게 특정할 수 있다.

또한, 제 1 예측 방법 결정수단은 인접 영역에 대하여, 인접 영역에 대응하여 과거에 결정된 3 이상의 예측 방법을 사용하여, 소정의 평가 기준에 따라 제 1 예측 방법을 결정하는 것도 바람직하다. 이러한 구성을 채용하면, 인접 영역에 대하여 결정된 예측 방법을 3개 이상 사용하여 소정의 평가 기준에 따라 제 1 예측 방법을 결정함으로써, 대상 영역에 적합한 예측 방법에 가까운 예측 방법을 용이하게 특정할 수 있다.

본 발명의 화상 예측 복호 장치는 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 대상 영역에 관한 잔차 신호와 화면내 예측 신호를 합성함으로써 대상 영역의 화소 신호를 복원하는 화상 예측 복호 장치로서, 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단과, 제 1 예측 방법 결정수단에 의해서 결정된 제 1 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성수단과, 압축 화상 데이터 중에서 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 수단과, 화면내 예측 신호와 복원 수단에 의해서 복원된 재생 잔차 신호를 합성함으로써, 대상 영역의 화소 신호를 복원하는 화상 복원 수단을 구비한다.

본 발명의 화상 예측 복호 방법은 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 대상 영역에 관한 잔차 신호와 화면내 예측 신호를 합성함으로써 대상 영역의 화소 신호를 복원하는 화상 예측 복호 방법으로서, 제 1 예측 방법 결정수단이, 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높 은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정 스텝과, 예측 신호 생성수단이, 제 1 예측 방법 결정 스텝에서 결정된 제 1 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성 스텝과, 복원 수단이, 압축 화상 데이터 중에서 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 스텝과, 화상 복원 수단이, 화면내 예측 신호와 복원 스텝에서 복원된 재생 잔차 신호를 합성함으로써, 대상 영역의 화소 신호를 복원하는 화상 복원 스텝을 구비한다.

본 발명의 화상 예측 복호 프로그램은 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 대상 영역에 관한 잔차 신호와 화면내 예측 신호를 합성함으로써 대상 영역의 화소 신호를 복원하는 화상 예측 복호 프로그램으로서, 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단, 제 1 예측 방법 결정수단에 의해서 결정된 제 1 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성수단, 압축 화상 데이터 중에서 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 수단, 및 화면내 예측 신호와 복원 수단에 의해서 복원된 재생 잔차 신호를 합성함으로써, 대상 영역의 화소 신호를 복원하는 화상 복원 수단으로서 기능시킨다.

이러한 화상 예측 복호 장치, 화상 예측 복호 방법, 화상 예측 복호 프로그램에 의하면, 복호 대상의 대상 영역에 인접하는 기재생의 인접 영역에 대하여, 그 인접 영역에 대응하여 처리된 데이터를 사용하여 인접 영역의 화소 신호와 상관이 높은 예측 신호를 생성하기 위한 제 1 예측 방법이 도출되고, 그 예측 방법에 기초하여 대상 영역의 화면내 예측 신호가 생성되고, 그 화면내 예측 신호를 사용하여, 대상 영역의 잔차 신호가 복원된 재생 잔차 신호로부터 대상 영역의 화소 신호가 복원된다. 이로써, 기재생의 인접 영역에 대응하는 기처리의 데이터를 사용하는 것만으로 화면내 예측 신호의 예측 방법이 도출되기 때문에, 예측 방법을 식별하는 모드 정보를 전송할 필요가 없어져, 전체의 복호 효율이 향상된다.

또는, 본 발명의 화상 예측 복호 장치는 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 대상 영역에 관한 잔차 신호와 화면내 예측 신호를 합성함으로써 대상 영역의 화소 신호를 복원하는 화상 예측 복호 장치로서, 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단과, 압축 화상 데이터 중에서, 대상 영역에 관한 예측 방법을 식별하는 상대적인 정보인 상대 예측 방법을 추출하는 동시에, 제 1 예측 방법 및 상대 예측 방법에 기초하여, 대상 영역에 대한 제 2 예측 방법을 도출하는 예측 방 법 도출 수단과, 예측 방법 도출 수단에 의해서 도출된 제 2 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성수단과, 압축 화상 데이터 중에서 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 수단과, 화면내 예측 신호와 복원 수단에 의해서 복원된 재생 잔차 신호를 합성함으로써, 대상 영역의 화소 신호를 복원하는 화상 복원 수단을 구비한다.

또는, 본 발명의 화상 예측 복호 방법은 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 대상 영역에 관한 잔차 신호와 화면내 예측 신호를 합성함으로써 대상 영역의 화소 신호를 복원하는 화상 예측 복호 방법으로서, 제 1 예측 방법 결정수단이, 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정 스텝과, 예측 방법 도출 수단이, 압축 화상 데이터 중에서, 대상 영역에 관한 예측 방법을 식별하는 상대적인 정보인 상대 예측 방법을 추출하는 동시에, 제 1 예측 방법 및 상대 예측 방법에 기초하여, 대상 영역에 대한 제 2 예측 방법을 도출하는 예측 방법 도출 스텝과, 예측 신호 생성수단이, 제 2 예측 방법 도출 스텝에서 도출된 제 2 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성 스텝과, 복원 수단이, 압축 화상 데이터 중에서 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 스텝과, 화상 복원 수단이, 화면내 예측 신호와 복원 수단에 의해서 복원된 재생 잔차 신호를 합성함으로써, 대상 영역의 화소 신호를 복원하는 화상 복원 스텝을 구비한다.

또는, 본 발명의 화상 예측 복호 프로그램은 화상을 복수의 영역으로 분할하고, 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 대상 영역에 관한 잔차 신호와 화면내 예측 신호를 합성함으로써 대상 영역의 화소 신호를 복원하는 화상 예측 복호 프로그램으로서, 컴퓨터를, 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단, 압축 화상 데이터 중에서, 대상 영역에 관한 예측 방법을 식별하는 상대적인 정보인 상대 예측 방법을 추출하는 동시에, 제 1 예측 방법 및 상대 예측 방법에 기초하여, 대상 영역에 대한 제 2 예측 방법을 도출하는 예측 방법 도출 수단, 예측 방법 도출 수단에 의해서 도출된 제 2 예측 방법에 기초하여 화면내 예측 신호를 생성하는 예측 신호 생성수단, 압축 화상 데이터 중에서 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 수단, 및 화면내 예측 신호와 복원 수단에 의해서 복원된 재생 잔차 신호를 합성함으로써, 대상 영역의 화소 신호를 복원하는 화상 복원 수단으로서 기능시킨다.

이러한 화상 예측 복호 장치, 화상 예측 복호 방법, 및 화상 예측 복호 프로그램에 의하면, 복호 대상의 대상 영역에 인접하는 기재생의 인접 영역에 대하여, 그 인접 영역에 대응하여 처리된 데이터를 사용하여 인접 영역의 화소 신호와 상관이 높은 예측 신호를 생성하기 위한 제 1 예측 방법이 도출되고, 그 제 1 예측 방법 및 상대 예측 방법에 기초하여 대상 영역의 제 2 예측 방법이 도출되어 화면내 예측 신호가 생성됨과 동시에, 그 화면내 예측 신호를 사용하여, 대상 영역의 잔차 신호가 복원된 재생 잔차 신호로부터 대상 영역의 화소 신호가 복원된다. 기재생의 인접 영역에 대응하는 기처리의 데이터를 사용하여 인접 영역에 대하여 도출된 예측 방법은 대상 영역에 최적의 예측 방법에 근접할 가능성이 높기 때문에, 그것을 사용하여 대상 영역의 예측 방법에 관한 모드 정보를 복원함으로써, 예측 방법을 식별하는 모드 정보(상대 예측 방법)의 부호량이 저감되고, 전체의 복호 효율이 향상된다.

또한, 제 1 예측 방법 결정수단은 인접 영역에 대하여, 소정의 복수의 예측 방법에 대응한 복수의 예측 신호를 생성하는 동시에, 소정의 평가 기준에 따라 복수의 예측 방법 중에서 제 1 예측 방법을 결정하는 것이 바람직하다. 이 경우, 인접 영역에 대하여 복수의 예측 방법에 중에서 소정의 평가 기준에 따라 제 1 예측 방법을 결정함으로써, 기재생의 화소 신호에 기초하여 대상 영역에 적합한 예측 방법에 가까운 예측 방법을 용이하게 특정할 수 있다.

또한, 제 1 예측 방법 결정수단은 인접 영역에 대하여, 인접 영역에 대응하여 과거에 결정된 3 이상의 예측 방법을 사용하여, 소정의 평가 기준에 따라 제 1 예측 방법을 결정하는 것도 바람직하다. 이러한 구성을 채용하면, 인접 영역에 대하여 결정된 예측 방법을 3개 이상 사용하여 소정의 평가 기준에 따라 제 1 예측 방법을 결정함으로써, 대상 영역에 최적의 예측 방법에 가까운 예측 방법을 용이하게 특정할 수 있다.

본 발명에 의하면, 화소 영역에서 화면내 예측 신호를 생성하기 위한 예측 방법에 관한 모드 정보를 삭감함으로써 효율적인 부호화 처리 또는 복호 처리가 가능해진다.

이하, 도면을 참조하면서 본 발명에 따른 화상 예측 부호화 장치 및 화상 예측 복호 장치의 적합한 실시형태에 대하여 상세하게 설명한다.

(화상 예측 부호화 장치)

도 1은 본 발명의 적합한 일 실시형태에 따른 화상 예측 부호화 장치의 구성을 도시하는 블록도이다. 동도면에 도시하는 화상 예측 부호화 장치(10)는 입력단자(11)와, 블록 분할부(12)와, 화면간 예측 신호 생성 방법 결정부(13)와, 화면간 예측 신호 생성부(14)와, 화면내 예측 신호 생성 방법 결정부(15)와, 화면내 예측 신호 생성부(예측 신호 생성수단; 16)와, 전환 스위치(17)와, 감산기(화상 부호화 수단; 18)와, 변환부(화상 부호화 수단; 19)와, 양자화부(화상 부호화 수단; 20)와, 역양자화부(21)와, 역변환부(22)와, 가산기(23)와, 프레임 메모리(24)와, 엔트로피 부호화부(화상 부호화 수단; 25)와, 출력단자(26)를 구비하여 구성되어 있다. 이하, 화상 예측 부호화 장치(10)의 각 구성 요소에 관해서 설명한다.

블록 분할부(12)는 입력단자(11)로부터 복수 화면분의 화상 데이터로 이루어지는 동화상 데이터가 입력되고, 그 화상 데이터를 복수의 영역으로 분할한다. 구체적으로는, 블록 분할부(12)는 화상 데이터를 8×8 화소로 이루어지는 블록으로 분할하지만, 그 이외의 임의의 크기 및 형상의 블록으로 분할하여도 좋다. 블록 분할부(12)는 분할한 블록의 화소 신호를 라인(L2)을 경유하여 감산기(18)에, 라인(L3)을 경유하여 화면간 예측 신호 생성 방법 결정부(13) 및 화면내 예측 신호 생성 방법 결정부(15)에 출력한다.

화면간 예측 신호 생성부(14) 및 화면내 예측 신호 생성부(16)는 부호화 처리의 대상이 되는 영역(이하, 대상 블록이라고 부름)에 대하여, 대상 블록의 화상을 예측하는 예측 신호를 생성한다. 이 때, 화면간 예측 신호 생성부(14)는 예측 신호의 생성에 있어서 「화면간 예측」이라고 불리는 예측 방법을 사용하고, 화면내 예측 신호 생성부(16)는 「화면내 예측」이라고 불리는 예측 방법을 사용한다. 「화면간 예측」에 있어서는, 과거에 부호화된 후에 복원된 재생 화상을 참조 화상으로 하여, 이 참조 화상으로부터 대상 블록에 대한 오차가 가장 작은 예측 신호를 주는 움직임 정보를 구함(「움직임 검출」처리라고 함)으로써 예측 방법이 결정된다. 이것에 대하여, 「화면내 예측」에 있어서는, 대상 블록에 공간적으로 인접하는 기재생의 화소치를 사용하여 소정의 방법으로 화면내 예측 신호가 생성되고, 이 예측 방법은 정지화상의 부호화·복호에도 적용할 수 있다.

화면간 예측 신호 생성 방법 결정부(13)는 라인(L3) 경유로 입력된 대상 블 록의 화소 신호, 및 라인(L11) 경유로 프레임 메모리(24)로부터 입력된 참조 화상에 기초하여, 상기 움직임 검출을 함으로써 화면간 예측 방법을 결정한다. 여기에서, 화면간 예측 신호 생성 방법 결정부(13)는 대상 블록을 재분할하여, 재분할한 소영역에 대하여 화면간 예측 방법을 결정하여도 좋고, 각종 영역의 분할 방법으로부터 대상 블록 전체에 대하여 가장 효율이 좋은 분할 방법을 선택할 수 있다. 또한, 참조 화상으로서는, 과거에 부호화된 후에 복원된 복수의 화상이 사용되어도 좋다. 이 움직임 검출방법은, 종래의 MPEG-2,4, 및 H.264에 있어서의 어느 한 방법과 같기 때문에, 상세한 설명은 생략한다. 화면간 예측 신호 생성 방법 결정부(13)는 결정한 움직임 정보 및 소영역의 분할 방법을, 라인(L12) 경유로 화면간 예측 신호 생성부(14)에 송출하는 동시에, 라인(L14) 경유로 엔트로피 부호화부(25)에 송출한다. 이것에 대하여, 화면간 예측 신호 생성부(14)에 있어서, 소영역의 분할 방법과, 각각의 소영역에 대응하는 움직임 정보와, 프레임 메모리(24)로부터 취득된 참조 화상에 기초하여 예측 신호가 생성되고, 단자(17a) 및 전환 스위치(17) 경유로 감산기(18) 및 가산기(23)에 보내진다.

화면내 예측 신호 생성 방법 결정부(15)는 라인(L3) 경유로 입력된 대상 블록의 화소 신호, 및 라인(L10) 경유로 프레임 메모리(24)로부터 입력된 참조 화상에 기초하여, 화면내 예측에 있어서의 예측 방법을 결정한다(상세한 것은 후술함.). 화면내 예측 신호 생성 방법 결정부(15)는 결정한 예측 방법에 관한 정보를, 라인(L13) 경유로 화면내 예측 신호 생성부(16)에 송출함과 동시에, 라인 (L14), 또는 라인(L15) 경유로 엔트로피 부호화부(25)에 송출한다. 이것에 대하여, 화면 내 예측 신호 생성부(16)에 있어서, 예측 방법에 관한 정보와, 프레임 메모리(24)로부터 취득된 동일 화면내에 있는 기재생의 화소 신호에 기초하여, 소정의 방법으로 예측 신호가 생성되고, 단자(17b) 및 전환 스위치(17) 경유로 감산기(18) 및 가산기(23)에 보내진다.

전환 스위치(17)는 화면간 예측 신호 생성부(14) 및 화면내 예측 신호 생성부(16)로부터 보내진 예측 신호 중의 어느 한쪽이 대상 영역의 화소 신호와의 오차가 작은지를 판정하고, 판정 결과에 따라 오차가 작은 쪽의 예측 신호를 선택하여 감산기(18) 및 가산기(23)에 출력한다. 단, 전환 스위치(17)는 한장째의 화면에 대하여 과거의 화상이 존재하지 않기 때문에 모든 블록이 화면내 예측으로 처리되는 경우는, 한장째의 화상을 처리할 때는 항상 화면내 예측 신호 생성부(16)측의 단자(17b)와 접속된다. 마찬가지로, 신(scene) 절단 직후의 화면을 처리하는 경우나 주기적으로 화면내 예측의 화상을 도입할 필요가 있는 경우에 있어서는, 전환 스위치(17)는 화면 전체에 대하여 화면내 예측에 의한 예측 신호를 선택할 수도 있다.

감산기(18)는 블록 분할부(12)로부터 입력된 대상 블록의 화소 신호로부터 전환 스위치(17)를 경유하여 입력된 예측 신호를 빼고 잔차 신호를 생성한다. 이 잔차 신호는 라인(L4) 경유로 변환부(19)에 출력되고, 변환부(19)는 이 잔차 신호를 이산 코사인 변환하여 변환 계수를 생성한다. 이 변환 계수는, 라인(L5) 경유로 양자화부(20)에 출력되고, 양자화부(20)가 변환 계수를 양자화한 후, 라인(L6) 경유로 엔트로피 부호화부(25) 및 역양자화부(21)에 출력한다. 엔트로피 부호화 부(25)는 양자화된 변환 계수를 부호화하고, 화면간 예측 신호 생성 방법 결정부(13)로부터 출력된 움직임 정보 및 소영역의 분할 방법, 또는 화면내 예측 신호 생성 방법 결정부(15)로부터 출력된 예측 방법에 관한 정보와 합성하여 출력단자(26)에 출력한다.

역양자화부(21)는 양자화된 변환 계수를 역양자화하여 변환 계수로 되돌리고, 라인(L7) 경유로 역변환부(22)에 출력하고, 역변환부(22)가 변환 계수를 역이산 코사인 변환함으로써 잔차 신호를 복원한다. 가산기(23)는 이 잔차 신호와 라인(L17) 경유로 입력된 예측 신호를 합성함으로써 대상 블록의 화소 신호를 재생하고, 라인(L9) 경유로 프레임 메모리(24)에 격납한다. 프레임 메모리(24)에 격납된 대상 블록의 화소 신호는 다음에 처리되는 대상 블록의 예측 신호를 생성하기 위해서 이용된다.

다음에, 화면내 예측 신호 생성 방법 결정부(15)의 구성에 대하여 보다 상세하게 설명한다. 도 2는 화면내 예측 신호 생성 방법 결정부(15)의 구성을 도시하는 블록도이다. 동도면에 도시하는 바와 같이, 화면내 예측 신호 생성 방법 결정부(15)는 예측 방법 결정부(제 2 예측 방법 결정수단, 모드 정보 부호화 수단; 41)와, 예측 신호 생성부(제 2 예측 방법 결정수단; 42)와, R 모드 결정부(제 1 예측 방법 결정수단; 43)와, 격납부(44)와, 모드 정보 예측부(모드 정보 부호화 수단; 45)와, L 모드 결정부(제 1 예측 방법 결정수단; 46)를 구비하고 있다.

예측 신호 생성부(42)는 라인(L10) 경유로 프레임 메모리(24)로부터 판독된 대상 블록에 인접하는 기재생의 화소를 사용하여, 9개의 방법으로 예측 신호를 생 성한다. 구체적으로는, 예측 신호 생성부(42)는 도 14a에 도시하는 바와 같이, 대상 블록인 블록(901)에 대하여, 그 경계에 인접하는 기재생 화소군(905)을 사용하여, 도 14b에 도시하는 9개의 방향에서 예측 신호를 생성한다. 예를 들면 방향 0의 경우, 블록(901)의 바로 위에 있는 인접 화소를 하방으로 확대하여 예측 신호를 생성하고, 또한 방향 1의 경우, 블록(901)의 왼쪽에 있는 기재생 화소를 오른쪽으로 확대하여 예측 신호를 생성한다. 예측 신호를 생성하는 방법의 상세한 것은, 예를 들면 미국특허공보 제6148109호에 기재되어 있다. 예측 신호 생성부(42)는 이렇게 하여 생성한 9개의 예측 신호를, 라인(L32) 경유로 예측 방법 결정부(41)에 보낸다. 또, 예측 신호 생성부(42)는 9개의 예측 신호를 생성하는 것 이외에, 보다 많거나 또는 적은 예측 신호를 생성하여도 좋다. 또한 상술한 것과 다른 방법, 예를 들면 스플라인 외삽(外揷) 등의 방법으로 예측 신호를 생성하여도 좋다.

R 모드 결정부(43)는 기재생의 인접 영역에 대응하여 결정된 예측 방법에 관한 모드 정보에 기초하여, 9개의 예측 방법(도 14b 참조) 중에서 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 1개의 예측 방법을 소정의 평가 기준으로 도출한다. 즉, R 모드 결정부(43)는 격납부(44)에 격납되어 있는 과거에 처리된 블록의 예측 방법에 관한 모드 정보를 복수 취득하고, 소정의 방법으로 예측 방법을 결정한다(R 모드 예측). 여기에서, 격납부(44)에는 과거에 처리된 블록에 대응하여 결정된 예측 방법에 관한 모드 정보가 라인(L34) 경유로 격납되어 있다.

도 3은 R 모드 예측 방법을 결정하는 처리를 설명하기 위한 모식도이다. 동 도면에 있어서 대상 블록은 301이다. 302 및 303은 과거에 부호화되어 복원된 인접하는 화소의 영역을 나타낸다. 영역(302)에는 블록(302a 내지 302f), 영역(303)에는 블록(303a 내지 303c)이 포함되어 있고, 이들의 블록은 각각을 부호화할 때에 사용되는 예측 방법에 관한 모드 정보를 소유하고 있다. 또, 영역(302)은 12(수평)×4(수직) 화소의 블록, 영역(303)은 4×4 화소의 블록으로 이루어지는 영역이지만, 그 이외의 크기 형상의 영역으로 하여도 좋다. 종래 기술에 있어서의 인접 블록은, 대상 블록(301)에 대하여 위의 블록(302d)과 왼쪽에 있는 블록(도시하지 않음) 뿐인 점에서, 본 실시형태와 다른 점에 주의하고자 한다.

그래서, R 모드 결정부(43)는 격납부(44)에 격납된 블록(302a 내지 302f, 303a 내지 303c)이 소유하는 화면내 예측에 관한 모드 정보 중에서 출현율이 가장 높은 모드 정보에 대응하는 예측 방법을, 대상 블록에 인접하는 화소 전체에 상관이 높은 예측 방법인 R 모드 예측 방법으로서 결정한다. 또, R 모드 결정부(43)는 그 이외 방법으로 3개 이상의 블록에 대응하여 결정된 모드 정보에 기초하여 R 모드 예측 방법을 결정하여도 좋고, 영역(302)과 영역(303)을 맞춘 영역으로서, 다른 형상이나 크기의 영역을 사용하여도 좋다. R 모드 결정부(43)는 이 R 모드 예측 방법에 관한 정보를 라인(L31) 경유로 예측 방법 결정부(41)에 보낸다. 또, R 모드 결정부(43)는 R 모드 예측 방법에 관한 식별 정보를 대상으로 소정의 함수를 사용하여 연산하고, 연산 결과 얻어진 식별 정보를 예측 방법 결정부(41)에 보내도 좋다. 이러한 함수로서는 식별 정보가 수치정보를 포함하는 경우에 식별 정보에 대하여 ±n(n은 임의의 정수)을 가산하는 함수를 들 수 있다.

예측 방법 결정부(41)는 라인(L3) 경유로 대상 블록의 화소 신호가 입력되면, 라인(L32) 경유로 보내진 9개의 예측 신호에 대하여, 대상 블록의 신호와의 차분을 구하여, 가장 작은 차분치를 주는 예측 신호를 최적 예측 신호로서 결정한다. 예측 방법 결정부(41)는 이 최적 예측 신호에 관련되는 예측 방법에 관한 모드 정보를, 라인(L13) 경유로 화면내 예측 신호 생성부(16; 도 1 참조)에 보냄과 동시에, 라인(L35) 경유로 모드 정보 예측부(45)에 보낸다.

또한, 예측 방법 결정부(41)는 최적 예측 신호에 관련되는 예측 방법에 관한 모드 정보를 R 모드 예측 방법에 관한 정보에 기초하여 부호화한다. 구체적으로는, 예측 방법 결정부(41)는 최적 예측 방법이 R 모드 예측 방법과 일치하는 경우는 식별 정보 「0」으로 부호화하고, 그렇지 않은 경우는 식별 정보 「1」로 부호화하고, 식별 정보를 라인(L15) 경유로 엔트로피 부호화부(25; 도 1 참조)에 보낸다. 즉, 예측 방법 결정부(41)는 식별 정보가 「0」인 경우는, 식별 정보 이외의 정보를 후단의 처리부에 보낼 필요가 없다. 왜냐하면, 화면내 예측 신호 생성부(16)는 R 모드 예측 방법으로 결정된 예측 방법과 동일한 예측 방법으로 화면내 예측 신호를 생성하게 되기 때문에, 재생측에서는 같은 R 모드 결정 방법으로 예측 방법을 결정할 수 있기 때문이다. 이것에 대하여, 식별 정보가 「1」인 경우, 또한 예측 방법에 관한 모드 정보를 보낼 필요가 있다(상세한 것은 후술함.). 또, 예측 방법 결정부(41)는 R 모드 예측 방법을 그대로 최적 예측 방법으로서 결정하여 화면내 예측 신호 생성부(16)에 보내도록 동작하여도 좋다.

L 모드 결정부(46)는 인접 영역을 포함하는 영역에 대응하는 기재생의 화소 신호에 기초하여, 9개의 예측 방법(도 14b 참조) 중에서 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 1개의 예측 방법을 소정의 평가 기준으로 도출한다. 즉, L 모드 결정부(46)는 프레임 메모리(24)에 격납된 데이터를 참조하면서, 대상 블록에 인접하는 인접 영역의 예측 방법을 새롭게 결정한다(L 모드 예측). 도 4는 L 모드 결정부(46)에 의한 L 모드 예측 방법을 결정하는 처리를 설명하기 위한 모식도이다. 블록(401)은 대상 영역이다. 블록(402)으로부터 블록(404)은 기재생의 인접 블록이다. 사선으로 전부 칠해져 있는 영역(405)은 대상 블록(401)의 인접 영역이다. 이 영역(405)은 대상 블록의 경계로부터 위에 4 화소, 왼쪽에 4 화소를 둘러싸는 역 L자 영역이지만, 그 이외의 형태나 크기의 인접 영역(405)을 사용하여도 좋다. L 모드 결정부(46)는 이 역 L자 영역에 인접하는 영역(406)의 화소군을 사용하여, 도 14에서 설명한 방법과 같은 예측 방법으로, 역 L자 영역(405)에 대한 9개의 예측 신호를 생성한다. 또한, L 모드 결정부(46)는 역 L자 영역(405)의 신호와 9개의 예측 신호의 차분을 각각 산출하고, 가장 작은 차분의 예측 신호를 주는 예측 방법에 대응하는 예측 모드 정보(제 1 예측 방법에 관한 예측 정보)를, 대상 블록에 역 L자 영역(405)의 화소에 상관이 높은 예측 방법으로서 결정한다.

이하, 도 5를 참조하면서, L 모드 결정부(46)에 의한 L 모드 예측 방법의 처리의 흐름에 관해서 설명한다. 우선, L 모드 결정부(46)는 대상 영역(401)에 인접하는 인접 영역(405)에 대하여, 영역(406)에 있는 화소군을 사용하여 9개의 예측 신호를 생성한다(스텝 S11). 다음에, 역 L자 영역의 인접 영역(405)의 신호와 9개 의 예측 신호의 차분치를 각각 구한다(스텝 S12). 그 후, L 모드 결정부(46)는 가장 작은 차분치를 주는 예측 신호에 대응하는 예측 방법을 최적 L 모드(제 1 예측 방법)로 한다(스텝 S13). 마지막으로, L 모드 결정부(46)는 이 최적 L 모드에 관한 정보를 모드 정보 예측부(45) 및 격납부(44)에 출력한다(스텝 S14). 또한, L 모드 결정부(46)는 L 모드 예측 방법에 관한 식별 정보를 대상으로 소정의 함수를 사용하여 연산하고, 연산 결과 얻어진 식별 정보를 모드 정보 예측부(45) 및 격납부(44)에 보내어도 좋다. 이러한 함수로서는, 식별 정보가 수치정보를 포함하는 경우에 식별 정보에 대하여 ±n(n은 임의의 정수)을 가산하는 함수를 들 수 있다.

도 2로 되돌아가서, 모드 정보 예측부(45)는 L 모드 결정부(46)로부터 입력된 최적 L 모드에 관한 정보에 기초하여, 최적 예측 신호에 관련되는 예측 방법에 관한 모드 정보를 부호화한다. 여기에서, 모드 정보 예측부(45)에는, L 모드 결정부(46)로부터 보내지는 제 1 예측 방법에 관한 정보 및, 예측 방법 결정부(41)로부터 보내지는 대상 블록의 최적 예측 방법에 관한 정보가 입력된다. 모드 정보 예측부(45)는 최적 L 모드에 관한 정보에 대하여, 대상 블록의 최적 예측 방법에 관한 모드 정보를 상대적으로 부호화한다. 상대적으로 부호화하는 방법으로서는, 대상 블록의 최적 예측 방법을 나타내는 모드 정보와 최적 L 모드를 나타내는 모드 정보와의 차분치를 구함으로써 부호화하는 방법을 들 수 있지만, 그 이외의 방법을 채용하여도 좋다. 모드 정보 예측부(45)는 이와 같이 얻어진 상대 예측 정보를 라인(L14) 경유로 엔트로피 부호화부(25)에 보낸다.

다음에, 도 6을 참조하여, 화면내 예측 신호 생성 방법 결정부(15)에 있어서 의 예측 신호 생성 방법의 결정 처리에 관해서 설명한다. 우선, 예측 신호 생성부(42)가, 대상 블록에 대하여 상술한 방법으로 9개의 화면내 예측 신호를 생성한다(스텝 S01). 다음에, 예측 방법 결정부(41)는 대상 블록의 화상과 9개의 예측 신호의 차분을 각각 구한다(스텝 S02). 그리고, 예측 방법 결정부(41)는 가장 작은 차분치를 주는 예측 방법을 최적 예측 모드로서 결정한다(스텝 S03). 한편, R 모드 결정부(43)는 상술한 방법에서 가장 적합한 R 모드의 예측 방법을 결정한다(스텝 S04). 여기에서 결정되는 R 모드 예측 방법은 과거에 결정된 모드를 바탕으로 결정되기 때문에, 9개의 모드 중의 어느 하나에 해당한다. 그 후, 예측 방법 결정부(41)는 R 모드 예측 방법과 스텝 S03에서 결정된 최적 예측 모드를 비교하여, 양자가 일치하고 있는지의 여부를 판정한다(스텝 S05). 양자가 동일한 경우(스텝 S05; YES), 예측 방법 결정부(41)는 R 모드 예측 방법이 화면내 예측 신호의 생성에 사용하는 예측 방법인 것을 나타내는 식별 정보 「0」을 출력한다(스텝 S06). 한편, 최적 예측 모드가 R 모드 예측 방법과 일치하고 있지 않는 경우(스텝 S05; NO), L 모드 결정부(46)가, 상술한 방법으로 L 모드 예측 방법을 결정한다(스텝 S07). 또한, 모드 정보 예측부(45)가, L 모드 예측 방법에 관한 정보에 대한 최적 예측 모드의 상대적 정보인 상대 예측 방법을 부호화한다(스텝 S08). 마지막으로, 모드 정보 예측부(45)가 이 상대 예측 정보를 출력한다(스텝 S09).

이상 설명한 화상 예측 부호화 장치(10)에 의하면, 부호화 대상의 대상 영역에 인접하는 기재생의 인접 영역에 대하여, 그 인접 영역에 대응하여 처리된 데이터를 사용하여 R 모드 및 L 모드의 예측 방법이 도출되고, 그 예측 방법에 기초하 여 대상 영역의 화면내 예측 신호를 생성하기 위한 최적 예측 방법이 부호화됨과 동시에, 화면내 예측 신호를 사용하여 대상 영역의 잔차 신호가 부호화된다. 기재생의 인접 영역에 대응하는 데이터를 사용하여 인접 영역에 대하여 도출된 R 모드 및 L 모드의 예측 방법은 대상 영역에 최적 예측 방법에 근접할 가능성이 높기 때문에, 그것을 사용하여 상대적으로 대상 영역의 예측 방법에 관한 모드 정보를 부호화 함으로써, 예측 방법을 식별하는 모드 정보의 부호량이 저감되고, 전체의 부호화 효율이 향상된다.

특히, R 모드와 같이 대상 블록에 인접하는 복수의 인접 블록이 각각 소유하는 예측 방법에 관한 정보를 3개 이상 사용하여 소정의 평가 기준하에서 예측 방법을 결정하는 경우는 그 예측 방법은 대상 영역 본래의 예측 방법에 근접할 확률이 높아진다. 따라서, 그것을 대상 영역의 예측 방법으로 할 수 있기 때문에, 예측 방법을 식별하기 위한 모드 정보(예를 들면, 도 14b에 도시하는 9개의 모드를 식별하는 정보)를 전송할 필요가 없어진다. 그 결과, 간이한 처리로 모드 정보에 관련되는 부호량을 삭감하는 것이 가능하게 된다.

또한, L 모드와 같이 대상 블록의 인접 영역에 대하여 9개의 예측 방법으로부터 결정되는 예측 방법을 사용하는 경우는, 대상 블록의 예측 방법에 대하여 상관이 높아지게 되어 그것에 기초하여 대상 블록의 모드 정보를 더욱 효율 좋게 부호화할 수 있다. 이로써, 모드 정보에 관련되는 부호량을 삭감하는 효과가 높아진다. 또한, 대상 블록에 인접하는 영역이 화면간 예측 부호화하는 경우에, 인접 블록이 화면내 예측 정보를 가지고 있지 않는 경우에 있어서도, 대상 블록의 인접 영 역에 대하여 복수의 예측 방법으로부터 결정되는 예측 방법, 또는 3개 이상의 인접 블록이 각각 소유하는 예측 방법에 관한 정보를 사용하여 소정의 평가 기준하에서 결정되는 예측 방법을 바탕으로 대상 영역의 예측 방법을 부호화한다. 그 결과, 대상 블록에 있어서의 예측 방법에 관한 정보를 더욱 효율 좋게 부호화할 수 있다.

(화상 예측 복호 장치)

도 7은 본 발명의 적합한 일 실시형태에 따른 화상 예측 복호 장치의 구성을 도시하는 블록도이다. 동도면에 도시하는 화상 예측 복호 장치(50)는 입력단자(58)와, 데이터 해석부(복원 수단; 51)와, 역양자화부(복원 수단; 52)와, 역변환부(복원 수단; 53)와, 가산기(화상 복원 수단; 54)와, 예측 신호 생성부(예측 신호 생성수단; 55)와, 프레임 메모리(56)와, 예측 방법 취득부(57)와, 출력단자(59)를 구비하여 구성되어 있다. 이하, 화상 예측 복호 장치(50)의 각 구성 요소에 관해서 설명한다.

데이터 해석부(51)는 입력단자(58)로부터 압축 부호화된 압축 화상 데이터가 입력되고, 그 압축 화상 데이터로부터, 대상 블록의 잔차 신호, 예측 방법에 관한 정보, 양자화 파라미터, 및 움직임 정보(화면간 예측의 경우)를 추출한다. 이 압축 화상 데이터에는, 일 화면의 화상을 복수의 블록으로 분할된 대상 블록을 대상으로 예측 부호화된 잔차 신호 및 예측 방법에 관한 모드 정보가 포함되어 있다. 데이터 해석부(51)는 추출한 잔차 신호 및 양자화 파라미터를, 라인(L42) 및 라인(L44b)을 경유하여 역양자화부(52)에 출력하고, 움직임 정보와, 모드 정보에 포함되는 R 모드에 관한 식별 정보 및 L 모드 예측 방법에 관한 상대 예측 정보를, 라인(L51) 및 라인(L52)을 경유하여 예측 방법 취득부(57)에 출력한다. 이 R 모드에 관한 식별 정보가 「0」인 경우는 R 모드가 예측 방법으로서 사용되고 있는 것을 나타내고, 「1」인 경우는 L 모드가 예측 방법으로서 사용되고 있는 것을 나타낸다. 상대 예측 정보는 L 모드의 경우에 예측 방법에 관한 정보의 상대치를 나타낸다.

역양자화부(52)는 대상 블록의 잔차 신호를 양자화 파라미터에 기초하여 역양자화한다. 역양자화부(52)는 역양자화한 잔차 신호를 라인(L43) 경유로 역변환부(53)에 출력한다.

역변환부(53)는 역양자화부(52)로부터 입력된 잔차 신호를 역이산 코사인 변환하여 재생 잔차 신호로 복원한다. 역변환부(53)는 복원한 재생 잔차 신호를 라인(L44) 경유로 가산기(54)에 출력한다.

예측 신호 생성부(55)는 예측 방법 취득부(57)에 의해서 도출된 예측 방법(상세한 것은 후술함.)에 기초하여, 프레임 메모리(56)로부터 참조 화상 신호를 취득하여 예측 신호를 생성한다. 예측 신호 생성부(55)는 이 예측 신호를 라인(L45) 경유로 가산기(54)에 보내고, 가산기(54)는 역변환부(53)에 의해서 복원된 재생 잔차 신호와 예측 신호를 합성함으로써 대상 블록의 화소 신호를 복원하고, 라인(L48) 경유로 출력단자(59)에 출력하는 동시에, 프레임 메모리(56)에 격납한다.

다음에, 예측 방법 취득부(57)의 구성에 대하여 보다 상세하게 설명한다. 도 8은 예측 방법 취득부(57)의 구성을 도시하는 블록도이다. 동도면에 도시하는 바와 같이, 예측 방법 취득부(57)는 전환 스위치(61)와, R 모드 결정부(제 1 예측 방법 결정수단; 64)와, 격납부(65)와, L 모드 결정부(제 1 예측 방법 결정수단; 66)와, 모드 정보 생성부(예측 방법 도출 수단; 67)를 구비하고 있다.

전환 스위치(61)는 라인(L51) 경유로 입력된 R 모드 식별 정보에 따라, 예측 신호 생성부(55)와 단자(62) 및 단자(63)의 접속을 바꾸는 스위치이다. 구체적으로는, 전환 스위치(61)는 식별 정보가 「0」인 경우는 단자(62)에, 「1」인 경우는 단자(63)에 접속한다.

R 모드 결정부(64)는 기재생의 인접 영역에 대하여, 인접 영역에 대응하여 결정된 예측 방법에 관한 모드 정보에 기초하여, 소정의 평가 기준으로 1개의 예측 방법을 도출한다. 즉, R 모드 결정부(64)는 격납부(65)에 격납되어 있는 과거에 처리된 블록의 예측 방법에 관한 모드 정보를 3개 이상 취득하고, 소정의 방법으로 1개의 예측 방법을 결정한다. R 모드의 예측 결정 방법은, 화상 예측 부호화 장치(10)의 R 모드 결정부(43)와 같다. 요컨대, R 모드 결정부(64)는 블록(302a 내지 302f, 303a 내지 303c; 도 3 참조)이 소유하는 화면내 예측에 관한 모드 정보 중에서 출현율이 가장 높은 모드 정보에 대응하는 예측 방법을 R 모드 예측 방법으로서 결정한다. 또, R 모드 결정부(64)는 그 이외 방법으로 3개 이상의 블록의 모드 정보에 기초하여 R 모드 예측 방법을 결정하여도 좋다. R 모드 결정부(64)는 전환 스위치(61)가 단자(62)에 접속된 경우는, 이 R 모드 예측 방법에 관한 정보를 라인(L50) 경유로 예측 신호 생성부(55)에 보낸다.

모드 정보 생성부(67)는 전환 스위치(61)가 단자(63)에 접속되어 L 모드가 되는 경우에, 최적 예측 방법에 관한 정보를 생성하고, 예측 신호 생성부(55)에 보 낸다. 이 때, 모드 정보 생성부(67)는 라인(L52) 경유로 입력된 예측 방법에 관한 정보의 상대 예측 정보 및, L 모드 결정부(66)로부터 입력된 L 모드 예측 방법에 관한 정보에 기초하여, 예측 신호의 생성에 사용하는 최적 예측 방법에 관한 정보를 도출한다. 즉, 모드 정보 생성부(67)는 L 모드 예측 방법에 관한 정보에 대상 블록의 예측 방법에 관한 상대 예측 정보를 가산함으로써 최적 예측 방법에 관한 예측 모드 정보를 생성한다.

L 모드 결정부(66)는 대상 블록에 인접하는 인접 영역에 대하여, 소정의 복수의 예측 모드 중에서 예측 모드를 결정하고, L 모드 예측 방법으로서 라인(L66) 경유로 모드 정보 생성부(67)에 출력한다. L 모드 결정부(66)에 있어서의 예측 모드의 결정 방법은 화상 예측 부호화 장치(10)의 L 모드 결정부(46)와 같다.

다음에, 도 9를 참조하여, 예측 방법 취득부(57)에 있어서의 예측 신호 생성 방법의 취득처리에 관해서 설명한다. 우선, 데이터 해석부(51)로부터 예측 방법 취득부(57)에 압축 화상 데이터로부터 추출된 R 모드 식별 정보가 입력된다(스텝 S21). 전환 스위치(61)는 이 정보가 R 모드를 나타내는지 여부를 판단한다(스텝 S22). R 모드를 나타내는 경우는(스텝 S22; YES), R 모드 결정부(64)가, R 모드 결정 방법에 따라 R 모드 예측 방법을 결정하고, 최적 예측 모드로서 예측 신호 생성부(55)에 출력한다(스텝 S23). 한편, R 모드가 아닌 경우(스텝 S22; NO), 모드 정보 생성부(67)에 압축 화상 데이터로부터 추출된 상대 예측 정보가 입력된다(스텝 S24). 다음에, L 모드 결정부(66)가, L 모드 결정 방법에 따라 L 모드 예측 방법을 결정한다(스텝 S25). 그리고, 모드 정보 생성부(67)가, L 모드 예측 방법에 관한 모드 정보와 상대 예측 정보를 가산함으로써 최적 예측 모드를 구한다(스텝 S26). 그 후, 모드 정보 생성부(67)는 이렇게 구해진 최적 예측 모드에 관한 정보를 예측 신호 생성부(55)에 출력한다(스텝 S27).

이상 설명한 화상 예측 복호 장치(50)에 의하면, 복호 대상의 대상 영역에 인접하는 기재생의 인접 영역에 대하여, 그 인접 영역에 대응하여 처리된 데이터를 사용하여 R 모드 및 L 모드의 예측 방법이 도출되고, 그 예측 방법 및 상대 예측 방법에 기초하여 대상 영역의 최적 예측 방법이 도출되어 화면내 예측 신호가 생성됨과 동시에, 그 화면내 예측 신호를 사용하여, 대상 영역의 잔차 신호가 복원된 재생 잔차 신호로부터 대상 영역의 화소 신호가 복원된다. 기재생의 인접 영역에 대응하는 데이터를 사용하여 인접 영역에 대하여 도출된 예측 방법은, 대상 영역에 적합한 예측 방법에 근접할 가능성이 높기 때문에, 그것을 사용하여 대상 영역의 예측 방법에 관한 모드 정보를 복원함으로써, 예측 방법을 식별하는 모드 정보(상대 예측 방법)의 부호량이 저감되고, 전체의 복호 효율이 향상된다.

특히, R 모드와 같이 대상 블록에 인접하는 복수의 인접 블록이 각각 소유하는 예측 방법에 관한 정보를 3개 이상 사용하여 소정의 평가 기준하에서 결정하는 경우는, 그 예측 방법은 대상 영역 본래의 예측 방법에 근접할 확률이 높아진다. 따라서, 그것을 대상 영역의 예측 방법으로 할 수 있기 때문에, 예측 방법을 식별하기 위한 모드 정보(예를 들면, 도 14b에 도시하는 9개의 모드를 식별하는 정보)를 수신할 필요가 없어진다. 그 결과, 간이한 처리에서 모드 정보에 관련되는 전송량을 삭감하는 것이 가능하게 된다.

또한, L 모드와 같이 대상 블록의 인접 영역에 대하여 9개의 예측 방법으로부터 결정되는 예측 방법을 사용하는 경우는, 대상 블록의 예측 방법에 대하여 상관이 높아지게 되어 그것에 기초하여 대상 블록의 모드 정보를 더욱 효율 좋게 부호화할 수 있다. 이로써, 모드 정보에 관련되는 부호량을 삭감하는 효과가 높아진다. 또한, 대상 블록에 인접하는 영역이 화면간 예측 부호화하는 경우에, 인접 블록이 화면내 예측 정보를 가지고 있지 않는 경우에 있어서도, 대상 블록의 인접 영역에 대하여 복수의 예측 방법으로부터 결정되는 예측 방법, 또는 3개 이상의 인접 블록이 각각 소유하는 예측 방법에 관한 정보를 사용하여 소정의 평가 기준하에서 결정되는 예측 방법을 바탕으로 대상 영역의 예측 정보를 부호화한다. 그 결과, 대상 블록에 있어서의 예측 방법에 관한 정보를 더욱 효율 좋게 부호화할 수 있다.

이하, 컴퓨터를 화상 예측 부호화 장치(10) 및 화상 예측 복호 장치(50)로서 동작시키는 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램에 관해서 설명한다.

도 12는 기록매체에 기록된 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 도시하는 도면이고, 도 13은 기록매체에 기억된 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램을 실행하기 위한 컴퓨터의 사시도이다. 동도면에 도시하는 컴퓨터는, 퍼스널 컴퓨터 등의 협의의 컴퓨터에는 한정되지 않고, CPU를 구비하여 소프트웨어에 의한 처리나 제어를 하는 DVD 플레이어, 셋탑박스, 휴대전화 등을 포함한다. 컴퓨터(530)는 플로피디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독장 치(512)와, 오퍼레이팅 시스템을 상주시킨 작업용 메모리(RAM; 514)와, 기록매체(510)에 기억된 프로그램을 기억하는 메모리(516)와, 디스플레이와 같은 표시장치(518)와, 입력장치인 마우스(520) 및 키보드(522)와, 데이터 등의 송수신을 하기 위한 통신장치(524)와, 프로그램의 실행을 제어하는 CPU(526)를 구비하고 있다. 이 컴퓨터(530)는 기록매체(510)가 판독장치(512)에 삽입되면, 판독장치(512)로부터 기록매체(510)에 격납된 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램에 액세스 가능하게 되고, 화상 예측 부호화 프로그램에 의해서, 본 발명에 의한 화상 예측 부호화 장치(10)로서, 화상 예측 복호 프로그램에 의해서, 본 발명에 의한 화상 예측 복호 장치(50)로서, 동작하는 것이 가능하게 된다.

또, 본 발명은 상술한 실시형태에 한정되지 않는다. 예를 들면, 화상 예측 부호화 장치(10)에서는 R 모드와 L 모드를 블록 단위로 바꾸도록 되어 있지만, 전환 단위는, 화상 단위 또는 시퀀스 단위로 행하여도 좋다. 또한, 전환을 하지 않고서 R 모드와 L 모드의 어느 한쪽만을 사용하여도 좋다. 또한 도 2의 R 모드 결정부(43)와 L 모드 결정부(46)를 교체하여도 좋고, R 모드 결정부(43)와 L 모드 결정부(46)를 같은 R 모드 또는 L 모드로 하여도 좋다.

또한, 화상 예측 복호 장치(50)에 있어서도, R 모드와 L 모드를 블록 단위로 바꾸도록 되어 있지만, 전환 단위는 화상 단위 또는 시퀀스 단위로 행하여도 좋다. 또한, 전환을 하지 않고서 R 모드와 L 모드의 어느 한쪽만을 사용하여도 좋다. 그 경우는 R 모드 식별 정보가 없기 때문에 도 8에 있어서의 파선으로 둘러싸인 기능 블록의 어느 하나를 사용하면 좋다. 또한 도 8에 있어서의 R 모드 결정부(64)와 L 모드 결정부(66)를 교체하여도 좋고, R 모드 결정부(64)와 L 모드 결정부(66)를 동일한 R 모드 또는 L 모드로 하여도 좋다.

또한, 도 2에 도시하는 화면내 예측 신호 생성 방법 결정부(15) 대신에 도 10에 도시하는 화면내 예측 신호 생성 방법 결정부(115), 도 8에 도시하는 예측 방법 취득부(57) 대신에 도 11에 도시하는 예측 방법 취득부(157)를 사용하여도 좋다.

도 10에 도시하는 화면내 예측 신호 생성 방법 결정부(115)의 화면내 예측 신호 생성 방법 결정부(15)와의 상이점은 R 모드 결정부(43)의 대신에 F 모드 결정부(143)를 형성하는 점이다. 이 F 모드 결정부(143)는 화면 전체에 가장 빈번하게 생기는 예측 방법을 결정한다. 구체적으로는, 라인(L34) 경유로 각 블록의 예측 방법에 관한 정보를 격납부(44)에 격납한 후에, 격납부(44)로부터 각 블록의 예측 방법을 판독하고, 그 예측 방법 중에서 대다수의 예측 방법을 도출하여, F 모드 예측 방법으로 한다. 여기에서, 격납부(44)에 격납되는 예측 모드는 시간적으로 앞의 화상에 관한 예측 정보라도 좋고, 현재 처리 대상의 화상에 관한 예측 모드라도 좋다. F 모드 결정부(143)는 이렇게 결정한 F 모드 예측 방법에 관한 정보는 라인(L31) 경유로 예측 방법 결정부(41)에 송출한다.

또한, 도 11에 도시하는 예측 방법 취득부(157)의 예측 방법 취득부(57)와의 상이점은 R 모드 결정부(64) 및 격납부(65) 대신에 F 모드 정보 격납부(164)를 형성하는 점이다. F 모드 정보 격납부(164)는 라인(L111) 경유로 F 모드의 예측 방법에 관한 정보가 입력되고, 그 정보를 격납한다. 전환 스위치(161)는 라인(L51) 경유의 제어신호에 의해, 모드 정보 생성부(67)측의 단자(163) 및 F 모드 정보 격납부(164)측의 단자(162)와, 예측 신호 생성부(55)의 접속을 바꾼다. F 모드 정보 격납부(164)는 F 모드의 예측 방법에 관한 정보를 라인(L50) 경유로 예측 신호 생성부(55)에 출력한다.

본 발명은 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램을 사용 용도로 하고, 화소 영역에서 화면내 예측 신호를 생성하기 위한 예측 방법에 관한 모드 정보를 삭감함으로써 효율적인 부호화 처리 또는 복호 처리를 가능하게 하는 것이다.

도 1은 본 발명의 적합한 일 실시형태에 따른 화상 예측 부호화 장치의 구성을 도시하는 블록도.

도 2는 도 1의 화면내 예측 신호 생성 방법 결정부의 구성을 도시하는 블록도.

도 3은 도 2의 R 모드 결정부에서의 R 모드 예측 방법을 결정하는 처리를 설명하기 위한 모식도.

도 4는 도 2의 L 모드 결정부에 의한 L 모드 예측 방법을 결정하는 처리를 설명하기 위한 모식도.

도 5는 도 2의 L 모드 결정부에 의한 L 모드 예측 방법의 결정 처리를 나타내는 플로차트.

도 6은 도 1의 화면내 예측 신호 생성 방법 결정부에서의 예측 신호 생성 방법의 결정 처리를 나타내는 플로차트.

도 7은 본 발명의 적합한 일 실시형태에 따른 화상 예측 복호 장치의 구성을 도시하는 블록도.

도 8은 도 7의 예측 방법 취득부의 구성을 도시하는 블록도.

도 9는 도 7의 예측 방법 취득부에서의 예측 신호 생성 방법의 취득처리를 도시하는 플로차트.

도 10은 도 2의 화면내 예측 신호 생성 방법 결정부의 변형예를 도시하는 블록도.

도 11은 도 8의 예측 방법 취득부의 변형예를 도시하는 블록도.

도 12는 본 발명의 실시형태에 따른 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 도시하는 도면.

도 13은 도 12의 컴퓨터의 사시도.

도 14a는 H.264에 사용되는 화면내 예측 방법을 설명하기 위한 모식도, 도 14b는 H.264의 화면내 예측 방법에 있어서의 화소 신호의 사진 확대 방향을 도시하는 도면.

*도면의 주요 부분에 대한 부호의 설명*

10: 화상 예측 부호화 장치 11: 입력단자

12: 블록 분할부 13: 화면간 예측 신호 생성 방법

결정부

14: 화면간 예측 신호 생성부 15: 화면내 예측 신호 생성 방법

결정부

16: 화면내 예측 신호 생성부 17: 전환 스위치

18: 감산기 19: 변환부

20: 양자화부 21: 역양자화부

22: 역변환부 23: 가산기

24: 프레임 메모리 25: 엔트로피 부호화부

26: 출력단자 41: 예측 방법 결정부

42: 예측 신호 생성부 43: R 모드 결정부

44: 격납부 45: 모드 정보 예측부

46: L 모드 결정부 50: 화상 예측 복호 장치

51: 데이터 해석부 52: 역양자화부

53: 역변환부 54: 가산기

55: 예측 신호 생성부 56: 프레임 메모리

57: 예측 방법 취득부 58: 입력단자

59: 출력단자 61: 전환 스위치

64: R 모드 결정부 65: 격납부

66: L 모드 결정부 67: 모드 정보 생성부

115: 화면내 예측 신호 생성 143: F 모드 결정부

방법 결정부

157: 예측 방법 취득부 164: F 모드 정보 격납부

301, 401, 901: 대상 영역 302a 내지 302f, 303a 내지 303c, 402 내지 406, 902 내지 904: 인접 영역

Claims

화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 상기 대상 영역의 화소 신호와 상기 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 장치로서,

상기 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단과,

상기 제 1 예측 방법 결정수단에 의해서 결정된 상기 제 1 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성수단과,

상기 예측 신호 생성수단에 의해서 생성된 화면내 예측 신호에 기초하여, 상기 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 수단을 구비하는 것을 특징으로 하는, 화상 예측 부호화 장치.
화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 상기 대상 영역의 화소 신호와 상기 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 장 치로서,

상기 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단과,

상기 대상 영역에 대하여 소정의 복수의 예측 방법에 대응한 복수의 예측 신호를 생성하는 동시에, 소정의 평가 기준에 따라 상기 복수의 예측 방법 중에서 상기 대상 영역에 적합한 제 2 예측 방법을 결정하는 제 2 예측 방법 결정수단과,

상기 제 2 예측 방법 결정수단에 의해서 결정된 상기 제 2 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성수단과,

상기 제 1 예측 방법에 기초하여 상기 제 2 예측 방법을 상대적으로 부호화하는 모드 정보 부호화 수단과,

상기 예측 신호 생성수단에 의해서 생성된 화면내 예측 신호에 기초하여, 상기 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 수단을 구비하는 것을 특징으로 하는, 화상 예측 부호화 장치.
제 1 항 또는 제 2 항에 있어서,

상기 제 1 예측 방법 결정수단은 상기 인접 영역에 대하여, 상기 소정의 복수의 예측 방법에 대응한 복수의 예측 신호를 생성하는 동시에, 소정의 평가 기준 에 따라 상기 복수의 예측 방법 중에서 제 1 예측 방법을 결정하는 것을 특징으로 하는, 화상 예측 부호화 장치.
제 1 항 또는 제 2 항에 있어서,

상기 제 1 예측 방법 결정수단은 상기 인접 영역에 대하여, 상기 인접 영역에 대응하여 과거에 결정된 3 이상의 예측 방법을 사용하여, 소정의 평가 기준에 따라 상기 제 1 예측 방법을 결정하는 것을 특징으로 하는, 화상 예측 부호화 장치.
화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 상기 대상 영역에 관한 잔차 신호와 상기 화면내 예측 신호를 합성함으로써 상기 대상 영역의 화소 신호를 복원하는 화상 예측 복호 장치로서,

상기 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하여, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단과,

상기 제 1 예측 방법 결정수단에 의해서 결정된 상기 제 1 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성수단과,

상기 압축 화상 데이터 중에서 상기 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 수단과,

상기 화면내 예측 신호와 상기 복원 수단에 의해서 복원된 재생 잔차 신호를 합성함으로써, 상기 대상 영역의 화소 신호를 복원하는 화상 복원 수단을 구비하는 것을 특징으로 하는, 화상 예측 복호 장치.
화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 상기 대상 영역에 관한 잔차 신호와 상기 화면내 예측 신호를 합성함으로써 상기 대상 영역의 화소 신호를 복원하는 화상 예측 복호 장치로서,

상기 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하여, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단과,

상기 압축 화상 데이터 중에서, 상기 대상 영역에 관한 예측 방법을 식별하는 상대적인 정보인 상대 예측 방법을 추출하는 동시에, 상기 제 1 예측 방법 및 상기 상대 예측 방법에 기초하여, 상기 대상 영역에 대한 제 2 예측 방법을 도출하는 예측 방법 도출 수단과,

상기 예측 방법 도출 수단에 의해서 도출된 상기 제 2 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성수단과,

상기 압축 화상 데이터 중에서 상기 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 수단과,

상기 화면내 예측 신호와 상기 복원 수단에 의해서 복원된 재생 잔차 신호를 합성함으로써, 상기 대상 영역의 화소 신호를 복원하는 화상 복원 수단을 구비하는 것을 특징으로 하는, 화상 예측 복호 장치.
제 5 항 또는 제 6 항에 있어서,

상기 제 1 예측 방법 결정수단은 상기 인접 영역에 대하여, 상기 소정의 복수의 예측 방법에 대응한 복수의 예측 신호를 생성하는 동시에, 소정의 평가 기준에 따라 상기 복수의 예측 방법 중에서 제 1 예측 방법을 결정하는 것을 특징으로 하는, 화상 예측 복호 장치.
제 5 항 또는 제 6 항에 있어서,

상기 제 1 예측 방법 결정수단은 상기 인접 영역에 대하여, 상기 인접 영역에 대응하여 과거에 결정된 3 이상의 예측 방법을 사용하여, 소정의 평가 기준에 따라 상기 제 1 예측 방법을 결정하는 것을 특징으로 하는, 화상 예측 복호 장치.
화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 상기 대상 영역의 화 소 신호와 상기 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 방법으로서,

제 1 예측 방법 결정수단이, 상기 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하여, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정 스텝과,

예측 신호 생성수단이, 상기 제 1 예측 방법 결정 스텝에서 결정된 상기 제 1 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성 스텝과,

화상 부호화 수단이, 상기 예측 신호 생성 스텝에 의해서 생성된 화면내 예측 신호에 기초하여, 상기 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 스텝을 구비하는 것을 특징으로 하는, 화상 예측 부호화 방법.
화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 상기 대상 영역의 화소 신호와 상기 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 방법으로서,

제 1 예측 방법 결정수단이, 상기 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예 측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정 스텝과,

제 2 예측 방법 결정수단이, 상기 대상 영역에 대하여 소정의 복수의 예측 방법에 대응한 복수의 예측 신호를 생성하는 동시에, 소정의 평가 기준에 따라 상기 복수의 예측 방법 중에서 상기 대상 영역에 적합한 제 2 예측 방법을 결정하는 제 2 예측 방법 결정 스텝과,

예측 신호 생성수단이, 상기 제 2 예측 방법 결정 스텝에서 결정된 상기 제 2 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성 스텝과,

모드 정보 부호화 수단이, 상기 제 1 예측 방법에 기초하여 상기 제 2 예측 방법을 상대적으로 부호화하는 모드 정보 부호화 스텝과,

화상 부호화 수단이, 상기 예측 신호 생성수단에 의해서 생성된 화면내 예측 신호에 기초하여, 상기 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 스텝을 구비하는 것을 특징으로 하는, 화상 예측 부호화 방법.
화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 상기 대상 영역에 관한 잔차 신호와 상기 화면내 예측 신호를 합성함으로써 상기 대상 영역의 화소 신호를 복원하는 화상 예측 복호 방법으로서,

제 1 예측 방법 결정수단이, 상기 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정 스텝과,

예측 신호 생성수단이, 상기 제 1 예측 방법 결정 스텝에서 결정된 상기 제 1 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성 스텝과,

복원 수단이, 상기 압축 화상 데이터 중에서 상기 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 스텝과,

화상 복원 수단이, 상기 화면내 예측 신호와 상기 복원 스텝에서 복원된 재생 잔차 신호를 합성함으로써, 상기 대상 영역의 화소 신호를 복원하는 화상 복원 스텝을 구비하는 것을 특징으로 하는, 화상 예측 복호 방법.
화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 상기 대상 영역에 관한 잔차 신호와 상기 화면내 예측 신호를 합성함으로써 상기 대상 영역의 화소 신호를 복원하는 화상 예측 복호 방법으로서,

제 1 예측 방법 결정수단이, 상기 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예 측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정 스텝과,

예측 방법 도출 수단이, 상기 압축 화상 데이터 중에서, 상기 대상 영역에 관한 예측 방법을 식별하는 상대적인 정보인 상대 예측 방법을 추출하는 동시에, 상기 제 1 예측 방법 및 상기 상대 예측 방법에 기초하여, 상기 대상 영역에 대한 제 2 예측 방법을 도출하는 예측 방법 도출 스텝과,

예측 신호 생성수단이, 상기 제 2 예측 방법 도출 스텝에서 도출된 상기 제 2 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성 스텝과,

복원 수단이, 상기 압축 화상 데이터 중에서 상기 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 스텝과,

화상 복원 수단이, 상기 화면내 예측 신호와 상기 복원 수단에 의해서 복원된 재생 잔차 신호를 합성함으로써, 상기 대상 영역의 화소 신호를 복원하는 화상 복원 스텝을 구비하는 것을 특징으로 하는, 화상 예측 복호 방법.
화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 상기 대상 영역의 화소 신호와 상기 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 프로그램을 기록한 기록 매체로서,

상기 프로그램은 컴퓨터를,

상기 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대하여, 상기 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단,

상기 제 1 예측 방법 결정수단에 의해서 결정된 상기 제 1 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성수단, 및

상기 예측 신호 생성수단에 의해서 생성된 화면내 예측 신호에 기초하여, 상기 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 수단으로서 기능시키는 것을 특징으로 하는, 화상 예측 부호화 프로그램을 기록한 기록 매체.
화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 상기 대상 영역의 화소 신호와 상기 화면내 예측 신호의 잔차 신호를 부호화하는 화상 예측 부호화 프로그램을 기록한 기록 매체로서,

상기 프로그램은 컴퓨터를,

상기 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단,

상기 대상 영역에 대하여 소정의 복수의 예측 방법에 대응한 복수의 예측 신호를 생성하는 동시에, 소정의 평가 기준에 따라 상기 복수의 예측 방법 중에서 상기 대상 영역에 적합한 한 제 2 예측 방법을 결정하는 제 2 예측 방법 결정수단,

상기 제 2 예측 방법 결정수단에 의해서 결정된 상기 제 2 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성수단,

상기 제 1 예측 방법에 기초하여 상기 제 2 예측 방법을 상대적으로 부호화하는 모드 정보 부호화 수단, 및

상기 예측 신호 생성수단에 의해서 생성된 화면내 예측 신호에 기초하여, 상기 대상 영역의 화소 신호와의 잔차 신호를 부호화하는 화상 부호화 수단으로서 기능시키는 것을 특징으로 하는, 화상 예측 부호화 프로그램을 기록한 기록 매체.
화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 상기 대상 영역에 관한 잔차 신호와 상기 화면내 예측 신호를 합성함으로써 상기 대상 영역의 화소 신호를 복원하는 화상 예측 복호 프로그램을 기록한 기록 매체로서,

상기 프로그램은 컴퓨터를,

상기 대상 영역에 인접하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예측 신호를 생성하기 위한 소정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단,

상기 제 1 예측 방법 결정수단에 의해서 결정된 상기 제 1 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성수단,

상기 압축 화상 데이터 중에서 상기 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 수단, 및

상기 화면내 예측 신호와 상기 복원 수단에 의해서 복원된 재생 잔차 신호를 합성함으로써, 상기 대상 영역의 화소 신호를 복원하는 화상 복원 수단으로서 기능시키는 것을 특징으로 하는, 화상 예측 복호 프로그램을 기록한 기록 매체.
화상을 복수의 영역으로 분할하고, 상기 영역 중의 처리대상인 대상 영역에 포함되는 화소 신호에 대하여 화면내 예측 신호를 생성하고, 압축 화상 데이터에 포함되는 상기 대상 영역에 관한 잔차 신호와 상기 화면내 예측 신호를 합성함으로써 상기 대상 영역의 화소 신호를 복원하는 화상 예측 복호 프로그램을 기록한 기록 매체로서,

상기 프로그램은 컴퓨터를,

상기 대상 영역에 인접 하는 기재생의 화소 신호로 이루어지는 인접 영역에 대응하는 기처리의 데이터에 기초하여, 상기 화면내 예측 신호를 생성하기 위한 소 정의 복수의 예측 방법 중에서, 상기 인접 영역의 화소 신호와 상관이 높은 화면내 예측 신호를 생성하는 예측 방법을 도출하고, 상기 예측 방법을 제 1 예측 방법으로서 결정하는 제 1 예측 방법 결정수단,

상기 압축 화상 데이터 중에서, 상기 대상 영역에 관한 예측 방법을 식별하는 상대적인 정보인 상대 예측 방법을 추출하는 동시에, 상기 제 1 예측 방법 및 상기 상대 예측 방법에 기초하여, 상기 대상 영역에 대한 제 2 예측 방법을 도출하는 예측 방법 도출 수단,

상기 예측 방법 도출 수단에 의해서 도출된 상기 제 2 예측 방법에 기초하여 상기 화면내 예측 신호를 생성하는 예측 신호 생성수단,

상기 압축 화상 데이터 중에서 상기 대상 영역에 관한 잔차 신호를 추출하여 재생 잔차 신호로 복원하는 복원 수단, 및

상기 화면내 예측 신호와 상기 복원 수단에 의해서 복원된 재생 잔차 신호를 합성함으로써, 상기 대상 영역의 화소 신호를 복원하는 화상 복원 수단으로서 기능시키는 것을 특징으로 하는, 화상 예측 복호 프로그램을 기록한 기록 매체.