KR20190122275A - 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램 - Google Patents

Abstract

일 실시예의 화상 예측 부호화에 있어서는, 움직임 정보 기록 수단에 저장되어 있는 복수의 움직임 정보 중, 그 구성 요소 중 어느 하나의 값이 상이한 2개의 움직임 정보를 포함하는 하나 이상의 세트가 도출된다. 상기 하나 이상의 세트로부터 선택되는 세트의 2개의 움직임 정보를 사용하여, 화상 내의 대상 영역의 예측 신호의 생성이 움직임 보상에 의해 행해진다. 선택된 세트의 2개의 움직임 정보는, 다른 영역의 예측 신호의 생성을 위해, 움직임 정보 기록 수단에 저장된다.

Description

화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램 {PREDICTIVE IMAGE CODING DEVICE, PREDICTIVE IMAGE CODING METHOD, PREDICTIVE IMAGE CODING PROGRAM, PREDICTIVE IMAGE DECODING DEVICE, PREDICTIVE IMAGE DECODING METHOD, AND PREDICTIVE IMAGE DECODING PROGRAM}

본 발명의 실시예는 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램에 관한 것이며, 더욱 상세하게는, 주위 블록의 움직임 정보(motion information)를 사용하여 대상 블록의 예측 신호를 생성하는 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램에 관한 것이다.

정지 화상이나 동화상 데이터의 전송이나 축적을 효율적으로 행하기 위해, 압축 부호화 기술이 사용된다. 동화상에 대해서는, MPEG-1∼4나 ITU(International Telecommunication Union) H.261∼H.264에 규정된 기술이 널리 사용되고 있다.

이들 부호화 기술에서는, 부호화의 대상이 되는 화상을 복수의 블록으로 분할하여 블록 베이스(block base)의 부호화 및 복호 처리가 행해진다. 화면 내의 예측 부호화에서는, 대상 블록과 같은 화면 내에 있는 인접하는 영역의 기(旣)재생의 화상 신호(즉, 압축된 화상 데이터가 복원된 것)를 사용하여 예측 신호가 생성되고, 그 예측 신호와 대상 블록의 화소 신호와의 차분인 차분 신호가 부호화된다. 화면 사이의 예측 부호화에서는, 대상 블록과 상이한 화면 내에 있는 인접하는 영역의 기재생의 화상 신호를 참조하여 움직임의 보정을 행함으로써, 예측 신호가 생성되고, 그 예측 신호와 대상 블록의 신호와의 차분인 차분 신호가 부호화된다.

예를 들면, H.264의 화면 내 예측 부호화에서는, 부호화의 대상이 되는 블록에 인접하는 영역의 기재생의 화소값을 소정 방향으로 외삽(外揷)하여 예측 신호를 생성하는 방법이 채용되고 있다. 도 17은 ITU H.264에 사용되는 화면 내 예측 방법을 설명하기 위한 모식도이다. 도 17의 (A)에서, 대상 블록(802)은 부호화의 대상이 되는 블록이며, 그 대상 블록(802)의 경계에 인접하는 화소 A∼M으로 이루어지는 화소군(801)은 인접 영역이고, 과거의 처리에서 이미 재생된 화상 신호이다.

도 17의 (A)에 나타낸 예측에서는, 대상 블록(802)의 바로 위에 존재하는 인접 화소인 화소군(801)을 아래쪽으로 잡아늘임으로써 예측 신호가 생성된다. 또한, 도 17의 (B)에서는, 대상 블록(804)의 왼쪽에 존재하는 기재생 화소(I∼L)를 오른쪽으로 잡아늘임으로써 예측 신호가 생성된다. 예측 신호를 생성하는 구체적인 방법에 대해서는, 예를 들면, 특허문헌 1을 참조하기 바란다. 이와 같이 도 17의 (A)∼(I)에 나타낸 방법으로 생성된 9개의 예측 신호의 후보 각각과 대상 블록의 화소 신호와의 차분을 취하고, 이들 차분을 비교함으로써, 최소의 차분 값을 제공하는 후보가 최적의 예측 신호로서 선택된다. 이상과 같이, 화소를 외삽함으로써 예측 신호를 생성할 수 있다. 이상의 내용에 대해서는,하기 특허문헌 1에 기재되어 있다.

통상의 화면 간 예측 부호화에서는, 대상 블록의 화소 신호와 유사한 신호를 이미 재생이 완료된 화면에서 탐색하는 방법으로 예측 신호가 생성된다. 그리고, 대상 블록과 탐색한 신호가 구성하는 영역 사이의 공간적 변위량인 움직임 벡터와, 대상 블록의 화소 신호와 예측 신호와의 차분인 잔차 신호가 부호화된다. 이와 같이 블록마다 움직임 벡터를 탐색하는 방법은 블록 매칭(block matching)이라고 한다.

도 16은, 블록 매칭 처리를 설명하기 위한 모식도이다. 여기서는, 부호화 대상의 화면(701) 상의 대상 블록(702)을 예로 예측 신호의 생성 절차를 설명한다. 화면(703)은 기재생 화상이며, 그 기재생 화상 내의 영역(704)은 대상 블록(702)과 공간적으로 동일 위치의 영역이다. 블록 매칭에서는, 영역(704)을 포함하는 탐색 범위(705)가 설정된다. 이 탐색 범위로부터 대상 블록(702)의 화소 신호에 대한 절대값 오차합이 최소가 되는 신호를 가지는 영역(706)이 검출된다. 이 영역(706)의 신호가 예측 신호가 되고, 영역(704)에서 영역(706)으로의 변위량이 움직임 벡터(707)로서 검출된다. 또한, 복수의 참조 화면을 준비하고, 대상 블록마다 블록 매칭을 실시하는 참조 화면을 선택하고, 참조 화면 선택 정보를 검출하는 방법도 자주 사용된다. H.264에서는, 화상의 국소적인 특징의 변화에 대응하기 위해, 움직임 벡터를 부호화하는 블록 사이즈가 상이한 복수의 예측 타입이 준비되는 경우가 있다. H.264의 예측 타입에 대해서는, 예를 들면, 특허문헌 2에 기재되어 있다.

동화상 데이터의 압축 부호화에서는, 각각의 화면(프레임, 필드)의 부호화 순서는 임의라도 된다. 그러므로, 재생 완료 화면을 참조하여 예측 신호를 생성하는 화면 간 예측에도, 부호화 순서에 대해 3종류의 방법이 있다. 제1 방법은 표시 순으로 과거의 재생 완료 화면을 참조하여 예측 신호를 생성하는 전(前)방향 예측이며, 제2 방법은 표시 순으로 미래의 재생 완료 화면을 참조하는 후(後)방향 예측이며, 제3 방법은 전방향 예측과 후방향 예측을 함께 행하고, 두 개의 예측 신호를 평균화하는 쌍방향 예측이다. 화면 간 예측의 종류에 대해서는, 예를 들면, 특허문헌 3에 기재되어 있다.

H.264에서는, 참조 화면의 후보로서, 복수의 재생 완료 화면으로 이루어지는 두 개의 참조 화면 리스트를 사용하여 제3 방법이 행해진다. 더욱 상세하게는, 각 참조 화면 리스트에 등록되는 복수의 참조 화면을 사용하여 블록 매칭이 행해지고, 영역(706)에 상당하는 두 개의 영역이 검출되고, 검출된 두 개의 예측 신호가 평균화된다.

도 5와 도 6에 의해 참조 화면 리스트의 예를 설명한다. 도 5의 (A)에서는, 화면(505)이 부호화 대상 화상, 화면(501)에서 화면(504)이 기재생 화상을 나타내고 있다. 각 화상(화면)의 식별은 프레임 번호(frame_num)에 의해 이루어진다. 도 6의 (A)의 참조 화면 리스트 식별 번호 List0 및 List1이 두 개의 참조 화면 리스트를 나타내고, 이 예에서는, 두 개의 참조 화면 리스트 각각에 4개의 참조 화면이 등록되어 있다. 각 참조 화면은 참조 화면 번호(ref_idx)에 의해 식별된다.

참조 화면 리스트에 등록할 수 있는 재생 완료 화상은, 기본적으로 임의이다. 도 6의 (A)에 나타낸 표(521)와 같이, 두 개의 참조 화면 리스트에 등록되어 있는 참조 화면이 모두 과거의 재생 완료 화상이어도 된다. 이 경우, 두 개의 예측 신호가 함께 전방향 예측이 되므로, 두 개의 예측 신호를 평균화하는 예측 방법을 쌍방향 예측은 아니라 2방향 예측이고 한다.

이 2방향 예측에서는, 움직임 벡터와 참조 화면 번호, 이 두 개의 조합(움직임 정보)을 부호화할 필요가 있다. 그래서, 부호량을 감소시키기 위해, 인접 블록의 움직임 정보 중, List0으로 식별되는 움직임 정보와 List1로 식별되는 움직임 정보를 사용하여 2방향 예측을 행하는 방법이 있다.

특허문헌 1: 미국 특허공보 제6765964호 특허문헌 2: 미국 특허공보 제7003035호 특허문헌 3: 미국 특허공보 제6259739호

2방향 예측에서는, 유사한 두 개의 예측 신호의 평균화에 의해, 평활화 효과로 예측 신호에 포함되는 노이즈를 더욱 효과적으로 제거할 수 있게 된다. 이를 위해서는, 동일한 참조 화면에서 움직임 벡터가 약간 상이한 두 개의 신호를 취득하면 된다. 그러나, 인접 블록의 움직임 정보를 사용한 2방향 예측의 종래의 방법에서는, 두 개의 예측 신호의 생성에 사용하는 움직임 정보의 선택은 참조 화면 리스트에 의해 제한되어 있다. 이 제한에 의해, 인접 블록의 두 개의 움직임 정보의 세트가 같은 참조 화면에 기초하는 값이 가까운 움직임 벡터를 포함해도, 선택할 수 없는 경우가 있다.

여기서, 도 7의 블록(400)이 부호화 대상 블록, 블록(401)에서 블록(403)이 대상 블록의 인접 블록인 경우에, 세 개의 인접 블록이 각각 List0과 List1로 식별되는 두 개의 움직임 정보를 가지는 것을 상정한다. 배경기술의 방법에 의하면, 세 개의 인접 블록의 움직임 정보로서, List0으로 식별되는 세 개의 움직임 정보와 List1로 식별되는 세 개의 움직임 정보로부터 각각 하나의 움직임 정보가 선택되고, 두 개의 예측 신호가 생성된다. 일반적으로, 참조 화면 번호 ref_idx에 필요한 부호량은 상기 참조 화면 번호 ref_idx가 "0"일 때 줄어들기 때문에, 인접 블록의 움직임 정보에 포함되는 참조 화면 번호 ref_idx가 모두 0이 되는 경우가 많다. 참조 화면 번호가 "0"인 경우에는, 도 6의 (A)의 참조 화면 리스트(521)를 사용하면, 두 개의 예측 신호가 각각, 프레임 번호(frame_num)가 "3"인 참조 화면과 프레임 번호가 "2"인 참조 화면으로부터 취득되게 된다. 이 경우에는 높은 평활화 효과를 얻을 수 없다.

다른 예로서, 두 개의 참조 화면 리스트가 상이한 참조 화면으로 구성되어 있는 경우를 상정한다. 도 5의 (B)에 나타낸 바와 같이, 프레임 번호가 "3"으로 식별되는 화면(510)이 부호화 대상 화상이고, 프레임 번호가 "0", "1", "2", "4"로 식별되는 화면(507, 508, 509, 511)이 재생 완료 화상이며, 참조 화면 리스트가 도 6의 (B)에 나타낸 리스트(522)인 경우에는, 상이한 참조 화면으로부터 두 개의 예측 신호가 생성되게 된다. 이 경우에도 높은 평활화 효과를 얻을 수 없다.

따라서, 예측 신호의 노이즈를 억제할 수 있는 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램이 필요하다.

본 발명의 일 측면은 화상 예측 부호화에 관한 것이다.

본 발명의 일 측면에 따른 화상 예측 부호화 장치는, 입력 화상을 복수의 영역으로 분할하는 영역 분할 수단; 상기 영역 분할 수단에 의해 분할된 상기 복수의 영역 중, 부호화 대상인 대상 영역의 화소 신호와의 상관이 높은 화소 신호를 기재생 화상으로부터 취득하기 위한 움직임 정보를 결정하고, 상기 움직임 정보에 기초하여 상기 기재생 화상으로부터 상기 대상 영역의 예측 신호를 생성하는 예측 신호 생성 수단; 상기 움직임 정보를 저장하는 움직임 정보 기록 수단; 상기 대상 영역의 예측 신호와 상기 대상 영역의 화소 신호와의 차분인 잔차 신호를 생성하는 잔차 신호 생성 수단; 상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 잔차 신호 부호화 수단; 상기 잔차 신호 부호화 수단에 의해 생성된 부호화 데이터를 복호하여, 재생 잔차 신호를 생성하는 잔차 신호 복원 수단; 상기 예측 신호와 상기 재생 잔차 신호를 가산하여 상기 대상 영역의 재생 화소 신호를 생성하는 가산 수단; 및 상기 가산 수단에 의해 생성된 상기 재생 화소 신호를, 기재생 화상의 일부로서 저장하는 화상 기록 수단을 포함하고, 상기 예측 신호 생성 수단은, 상기 움직임 정보 기록 수단에 저장되어 있는 복수의 움직임 정보 중에서, 그 구성 요소 중 어느 하나의 값이 상이한 두 개의 움직임 정보로 이루어지는 하나 이상의 움직임 정보의 세트를 도출하는 움직임 정보 도출 수단, 상기 하나 이상의 움직임 정보의 세트로부터 대상 영역의 예측 신호 생성에 사용하는 움직임 정보의 세트를 선택하고, 선택된 세트의 두 개의 움직임 정보를 상기 움직임 정보 기록 수단에 저장시키는 움직임 예측 정보 선택 수단, 및 선택된 상기 세트의 두 개의 움직임 정보에 기초하여 상기 기재생 화상으로부터 취득한 두 개의 신호를 합성하여 상기 대상 영역의 예측 신호를 생성하는 움직임 보상 수단을 포함한다.

본 발명의 일 측면에 따른 화상 예측 부호화 방법은, 입력 화상을 복수의 영역으로 분할하는 단계; 상기 복수의 영역 중 부호화 대상인 대상 영역의 예측 신호를 생성하는 단계로서, 상기 대상 영역의 화소 신호와의 상관이 높은 화소 신호를 기재생 화상으로부터 취득하기 위한 움직임 정보를 결정하고, 상기 움직임 정보에 기초하여 상기 기재생 화상으로부터 상기 예측 신호를 생성하는, 상기 단계; 움직임 정보 기록 수단에 의해 상기 움직임 정보를 저장하는 단계; 상기 대상 영역의 예측 신호와 상기 대상 영역의 화소 신호와의 차분인 잔차 신호를 생성하는 단계; 상기 잔차 신호를 부호화하는 단계; 상기 잔차 신호를 부호화하는 단계에서 생성된 부호화 데이터를 복호하여, 재생 잔차 신호를 생성하는 단계; 상기 예측 신호와 상기 재생 잔차 신호를 가산하여 상기 대상 영역의 재생 화소 신호를 생성하는 단계; 및 화상 기록 수단에 의해, 상기 재생 화소 신호를 기재생 화상의 일부로서 저장하는 단계를 포함하고, 상기 예측 신호를 생성하는 단계가, 상기 움직임 정보 기록 수단에 저장되어 있는 복수의 움직임 정보 중에서, 그 구성 요소 중 어느 하나의 값이 상이한 두 개의 움직임 정보로 이루어지는 하나 이상의 움직임 정보의 세트를 도출하는 단계, 상기 하나 이상의 움직임 정보의 세트로부터 대상 영역의 예측 신호 생성에 사용하는 움직임 정보의 세트를 선택하고, 선택된 세트의 두 개의 움직임 정보를 상기 움직임 정보 기록 수단에 저장시키는 단계, 및 선택된 상기 세트의 두 개의 움직임 정보에 기초하여 상기 기재생 화상으로부터 취득한 두 개의 신호를 합성하여 상기 대상 영역의 예측 신호를 생성하는 단계를 포함한다.

본 발명의 일 측면에 따른 화상 예측 부호화 프로그램은, 컴퓨터를, 영역 분할 수단, 예측 신호 생성 수단, 움직임 정보 기록 수단, 잔차 신호 생성 수단, 잔차 신호 부호화 수단, 잔차 신호 복원 수단, 가산 수단, 및 화상 기록 수단으로서 기능하게 한다. 예측 신호 생성 수단은, 움직임 정보 도출 수단, 예측 정보 선택 수단, 및 움직임 보상 수단을 포함한다.

본 발명의 일 측면에 따른 화상 예측 부호화에 의하면, 참조 화면 리스트에 의해 제한되지 않고, 구성 요소의 값이 상이한 두 개의 움직임 정보를 선출하는 것이 가능해진다. 그 결과, 예측 신호의 생성에 평활화의 효과를 부여할 수 있다.

일 실시예에서는, 상기 화상 기록 수단이 복수의 기재생 화상을 저장하고 있고, 상기 움직임 정보가 상기 기재생 화상을 식별하는 정보와 움직임 벡터를 포함하고 있고, 상기 화상 기록 수단에 저장되어 있는 기재생 화상은 기재생 화상을 부호화했을 때의 프레임 번호를 사용하여 식별되어 있고, 상기 기재생 화상의 프레임 번호는 일치하지만 움직임 벡터의 값이 상이한 두 개의 움직임 정보를 포함하는 움직임 정보의 세트가 도출되어도 된다.

일 실시예에서는, 상기 화상 기록 수단이 복수의 기재생 화상을 저장하고 있고, 상기 화상 기록 수단에 저장되어 있는 복수의 기재생 화상이, 하나 이상의 기재생 화상으로 구성되는 두 개의 참조 화면 리스트를 사용하여 식별되어 있고, 상기 움직임 정보가 상기 두 개의 참조 화면 리스트를 식별하는 정보와 상기 움직임 벡터를 포함하고 있고, 상기 참조 화면 리스트를 식별하는 정보는 일치하지만, 움직임 벡터의 값이 상이한 두 개의 움직임 정보를 포함하는 움직임 정보의 세트가 도출되어도 된다.

일 실시예에서는, 상기 대상 영역에 인접하는 영역에 부수하는 복수의 움직임 정보로부터 상기 대상 영역의 예측 신호의 생성에 사용하는 상기 움직임 정보의 세트가 선택되어도 된다.

또한, 일 실시예에서는, 선택된 두 개의 움직임 정보로 이루어지는 움직임 정보의 세트를 지시하는 정보를 부호화해도 된다.

본 발명의 다른 일 측면은 화상 예측 복호에 관한 것이다.

본 발명의 다른 일 측면에 따른 화상 예측 복호 장치는, 압축 데이터 중에서 화상 내의 복수의 영역 중 복호 대상이 되는 대상 영역의 예측 신호를 생성하기 위한 움직임 정보의 부호화 데이터와, 잔차 신호의 부호화 데이터를 추출하는 데이터 해석 수단; 상기 움직임 정보를 저장하는 움직임 정보 기록 수단; 상기 움직임 정보에 기초하여 상기 대상 영역의 예측 신호를 생성하는 움직임 보상 수단; 상기 잔차 신호의 부호화 데이터로부터 상기 대상 영역의 재생 잔차 신호를 복원하는 잔차 신호 복원 수단; 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써 상기 대상 영역의 화소 신호를 복원하고, 복원한 상기 화소 신호를 기재생 화상의 일부로서 저장하는 화상 기록 수단; 상기 움직임 정보 기록 수단에 저장되어 있는 복수의 움직임 정보 중에서, 그 구성 요소 중 어느 하나의 값이 상이한 두 개의 움직임 정보로 이루어지는 하나 이상의 움직임 정보의 세트를 도출하는 움직임 정보 도출 수단; 및 도출된 상기 하나 이상의 움직임 정보의 세트 중에서 실제로 대상 영역의 예측 신호 생성에 사용하는 움직임 정보의 세트를 결정하고, 결정한 세트의 두 개의 움직임 정보를 상기 움직임 정보 기록 수단에 저장시키는 움직임 정보 결정 수단을 포함하고, 상기 움직임 보상 수단은, 결정된 상기 세트의 두 개의 움직임 정보에 기초하여 상기 기재생 화상으로부터 취득되는 두 개의 신호를 합성하여, 상기 대상 영역의 예측 신호를 생성한다.

본 발명의 다른 일 측면에 따른 화상 예측 복호 방법은, 압축 데이터 중에서 화상 내의 복수의 영역 중 복호 대상이 되는 대상 영역의 예측 신호를 생성하기 위한 움직임 정보의 부호화 데이터와, 잔차 신호의 부호화 데이터를 추출하는 단계; 움직임 정보 기록 수단에 의해 상기 움직임 정보를 저장하는 단계; 상기 움직임 정보에 기초하여 상기 대상 영역의 예측 신호를 생성하는 단계; 상기 잔차 신호의 부호화 데이터로부터 상기 대상 영역의 재생 잔차 신호를 복원하는 단계; 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써 상기 대상 영역의 화소 신호를 복원하여, 화상 기록 수단에 의해 복원한 상기 화소 신호를 기재생 화상의 일부로서 저장하는 단계; 상기 움직임 정보 기록 수단에 저장되어 있는 복수의 움직임 정보 중에서, 그 구성 요소 중 어느 하나의 값이 상이한 두 개의 움직임 정보로 이루어지는 하나 이상의 움직임 정보의 세트를 도출하는 단계; 및 상기 도출한 움직임 정보의 세트 중에서 실제로 대상 영역의 예측 신호 생성에 사용하는 움직임 정보의 세트를 결정하고, 결정된 세트의 두 개의 움직임 정보를 상기 움직임 정보 기록 수단에 저장시키는 단계를 포함하고, 상기 예측 신호를 생성하는 단계에서, 결정된 상기 세트의 두 개의 움직임 정보에 기초하여 상기 기재생 화상으로부터 취득되는 두 개의 신호를 합성하여, 상기 대상 영역의 예측 신호를 생성한다.

본 발명의 다른 일 측면에 따른 화상 예측 복호 프로그램은, 컴퓨터를, 데이터 해석 수단; 움직임 정보 기록 수단; 움직임 보상 수단; 잔차 신호 복원 수단; 화상 기록 수단; 움직임 정보 도출 수단; 및 움직임 정보 결정 수단으로서 기능하게 한다.

본 발명의 일 측면에 따른 화상 예측 복호에 의하면, 전술한 일 측면의 화상 예측 부호화에 의해 생성된 압축 데이터로부터 화상을 복원할 수 있다. 이 화상에서는, 노이즈가 감소될 수 있다.

일 실시예에서는, 상기 움직임 정보 기록 수단에 저장되어 있는 복수의 움직임 정보 중에서, 그 구성 요소 중 어느 하나의 값이 상이한 두 개의 움직임 정보로 이루어지는 하나의 움직임 정보의 세트를 식별하기 위한 지시 정보의 부호화 데이터를 추출하고, 예측 정보 복호 수단에 의해 지시 정보를 복호하고, 복호된 상기 지시 정보에 기초하여, 상기 움직임 정보 도출 수단이 도출한 하나 이상의 움직임 정보의 세트 중에서, 대상 영역의 예측 신호 생성에 사용하는 움직임 정보의 세트를 추출해도 된다.

일 실시예에서는, 상기 화상 기록 수단이 복수의 기재생 화상을 저장하고 있고, 상기 움직임 정보가,상기 복수의 기재생 화상을 식별하는 정보와 움직임 벡터를 포함하고 있고, 상기 화상 기록 수단에 저장되어 있는 복수의 기재생 화상은, 상기 복수의 기재생 화상을 각각 복호했을 때의 프레임 번호를 사용하여 식별되어 있고, 상기 기재생 화상의 프레임 번호는 일치하지만 움직임 벡터의 값이 상이한 두 개의 움직임 정보를 포함하는 움직임 정보의 세트를 도출해도 된다.

일 실시예에서는, 상기 화상 기록 수단이 복수의 기재생 화상을 저장하고 있고, 상기 화상 기록 수단에 저장되어 있는 복수의 기재생 화상이, 하나 이상의 기재생 화상으로 구성되는 두 개의 참조 화면 리스트를 사용하여 식별되어 있고, 상기 움직임 정보가 상기 두 개의 참조 화면 리스트를 식별하는 정보와 상기 움직임 벡터를 포함하여 구성되어 있고, 상기 참조 화면 리스트를 식별하는 정보는 일치하지만, 움직임 벡터의 값이 상이한 두 개의 움직임 정보를 포함하는 움직임 정보의 세트를 도출해도 된다.

또한, 일 실시예에서는, 상기 대상 영역에 인접하는 영역에 부수하는 복수의 움직임 정보로부터 대상 영역의 예측 신호의 생성에 사용하는 상기 움직임 정보의 세트를 도출해도 된다.

본 발명의 다른 일 측면에 따른 화상 예측 복호 장치는, 압축 데이터 중에서 화상 내의 복수의 영역 중 복호 대상이 되는 대상 영역의 예측 신호를 생성하기 위한 움직임 정보의 부호화 데이터 또는 상기 대상 영역에 인접하는 인접 영역에 부수하는 복수의 움직임 정보 중 상기 대상 영역의 예측 신호의 생성에 사용하는 움직임 정보의 세트를 특정하는 지시 정보의 부호화 데이터와, 잔차 신호의 부호화 데이터를 추출하는 데이터 해석 수단과; 상기 움직임 정보의 부호화 데이터를 복호하여, 참조 화면 리스트 번호 및 참조 화면 번호와 움직임 벡터를 각각 포함하는 2개의 움직임 정보를 복원하거나, 상기 지시 정보의 부호화 데이터를 복호하여, 지시 정보를 복원하는 예측 정보 복호 수단; 상기 지시 정보가 복원된 경우에, 움직임 정보 기록 수단에 저장되어 있는 복수의 움직임 정보 중에서, 참조 화면 리스트 번호 및 참조 화면 번호에 의해 특정되는 프레임 번호 또는 움직임 벡터가 상이한 2개의 움직임 정보로 이루어지는 하나 이상의 움직임 정보의 세트를 도출하는 움직임 정보 도출 수단; 도출된 상기 하나 이상의 움직임 정보의 세트 중에서 상기 대상 영역의 예측 신호 생성에 사용하는 움직임 정보의 세트를 상기 지시 정보에 기초하여 결정하는 움직임 정보 결정 수단; 상기 결정한 상기 움직임 정보의 세트인 2개의 움직임 정보, 또는 상기 복원된 상기 2개의 움직임 정보에 기초하여 화상 기록 수단에 저장되어 있는 기재생 화상으로부터 취득되는 2개의 신호를 합성하여, 상기 대상 영역의 예측 신호를 생성하는 움직임 보상 수단; 상기 대상 영역의 상기 예측 신호의 생성에 사용된 움직임 정보를 저장하는 움직임 정보 기록 수단; 상기 잔차 신호의 부호화 데이터로부터 상기 대상 영역의 재생 잔차 신호를 복원하는 잔차 신호 복원 수단; 및 상기 예측 신호와 상기 재생 잔차 신호에 기초하여, 상기 대상 영역의 화소 신호를 복원하고, 복원된 상기 화소 신호를 기재생 화상의 일부로서 저장하는 화상 기록 수단을 포함한다.

본 발명의 다른 일 측면에 따른 화상 예측 복호 방법은, 압축 데이터 중에서 화상 내의 복수의 영역 중 복호 대상이 되는 대상 영역의 예측 신호를 생성하기 위한 움직임 정보의 부호화 데이터 또는 상기 대상 영역에 인접하는 인접 영역에 부수하는 복수의 움직임 정보 중 상기 대상 영역의 예측 신호의 생성에 사용하는 움직임 정보의 세트를 특정하는 지시 정보의 부호화 데이터와, 잔차 신호의 부호화 데이터를 추출하는 단계; 상기 움직임 정보의 부호화 데이터를 복호하여, 참조 화면 리스트 번호 및 참조 화면 번호와 움직임 벡터를 각각 포함하는 2개의 움직임 정보를 복원하거나, 상기 지시 정보의 부호화 데이터를 복호하여, 지시 정보를 복원하는 단계; 상기 지시 정보가 복원된 경우에, 움직임 정보 기록 수단에 저장되어 있는 복수의 움직임 정보 중에서, 참조 화면 리스트 번호 및 참조 화면 번호에 의해 특정되는 프레임 번호 또는 움직임 벡터가 상이한 2개의 움직임 정보로 이루어지는 하나 이상의 움직임 정보의 세트를 도출하는 단계; 도출된 상기 하나 이상의 움직임 정보의 세트 중에서 상기 대상 영역의 예측 신호 생성에 사용하는 움직임 정보의 세트를 상기 지시 정보에 기초하여 결정하는 단계; 상기 결정한 상기 움직임 정보의 세트인 2개의 움직임 정보, 또는 상기 복원된 상기 2개의 움직임 정보에 기초하여 화상 기록 수단에 저장되어 있는 기재생 화상으로부터 취득되는 2개의 신호를 합성하여, 상기 대상 영역의 예측 신호를 생성하는 단계; 상기 움직임 정보 기록 수단에 의해, 상기 대상 영역의 상기 예측 신호의 생성에 사용된 움직임 정보를 저장하는 단계; 상기 잔차 신호의 부호화 데이터로부터 상기 대상 영역의 재생 잔차 신호를 복원하는 단계; 상기 예측 신호와 상기 재생 잔차 신호에 기초하여, 상기 대상 영역의 화소 신호를 복원하는 단계; 및 화상 기록 수단에 의해, 복원된 상기 화소 신호를 기재생 화상의 일부로서 저장하는 단계를 포함한다.

본 발명의 다른 일 측면에 따른 화상 예측 복호 프로그램은, 컴퓨터를, 데이터 해석 수단; 예측 정보 복호 수단; 움직임 정보 도출 수단; 움직임 정보 결정 수단; 움직임 보상 수단; 움직임 정보 기록 수단; 잔차 신호 복원 수단; 및 화상 기록 수단으로서 기능하게 한다.

이상 설명한 바와 같이, 본 발명의 몇 가지 측면에 따르면, 예측 신호의 노이즈를 억제할 수 있는 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램이 제공된다.

도 1은 일 실시예에 따른 화상 예측 부호화 장치의 구성을 나타낸 도면이다.
도 2는 도 1에 나타낸 예측 신호 생성기의 구성을 나타낸 도면이다.
도 3은 도 2에 나타낸 움직임 정보 도출기의 처리를 나타낸 흐름도이다.
도 4는 대상 블록의 인접 화소를 사용하여 후보 움직임 예측 정보(두 개의 움직임 정보의 조합)로부터 하나의 후보 예측 정보를 선택하는 방법의 예를 설명하기 위한 모식도이다.
도 5는 화면의 부호화 순서의 예를 설명하는 모식도이다.
도 6은 참조 화면 리스트의 예를 설명하는 도면이다.
도 7은 인접 블록의 예를 설명하는 도면이다.
도 8은 인접 블록의 다른 예를 설명하는 도면이다.
도 9는 일 실시예에 따른 화상 예측 부호화 방법의 절차를 나타낸 흐름도이다.
도 10은 일 실시예에 따른 화상 예측 복호 장치의 구성을 나타낸 도면이다.
도 11은 일 실시예에 따른 화상 예측 복호 방법의 절차를 나타낸 흐름도이다.
도 12는 일 실시예에 따른 화상 예측 부호화 방법을 컴퓨터로 하여금 실행하게 하는 프로그램의 구성을 나타낸 도면이다.
도 13은 일 실시예에 따른 화상 예측 복호 방법을 컴퓨터로 하여금 실행하게 하는 프로그램의 구성을 나타낸 도면이다.
도 14는 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이다.
도 15는 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다.
도 16은 화면 간 예측에서의 움직임 추정 처리를 설명하기 위한 모식도이다.
도 17은 종래의 화면 내 예측 방법을 설명하기 위한 모식도이다.

이하, 도면을 참조하여 몇 가지 실시예에 대하여 상세하게 설명한다. 그리고, 각 도면에 있어서 동일 또는 상당하는 부분에 대해서는 동일한 부호를 부여하여, 중복되는 설명을 생략한다. 또한, 본 명세서에서는, 동화상을 구성하는 "프레임", "화면", "화상"(도 5의 501에서 511)은 동일한 것을 의미한다.

도 1은, 일 실시예에 따른 화상 예측 부호화 장치의 구성을 나타낸 도면이다. 도 1에 나타낸 화상 예측 부호화 장치(100)는, 입력 단자(101), 블록 분할기(102), 예측 신호 생성기(103), 프레임 메모리(104), 감산기(105), 변환기(106), 양자화기(107), 역(逆)양자화기(108), 역(逆)변환기(109), 가산기(110), 양자화 변환계수 부호화기(111), 출력 단자(112), 예측 정보용 메모리(113), 및 예측 정보 부호화기(114)를 구비하고 있다. 일 실시예에서는, 변환기(106) 및 양자화기(107)는 잔차 신호 부호화 수단으로서 기능하고, 역양자화기(108) 및 역변환기(109)는 잔차 신호 복원 수단으로서 기능하고, 예측 정보용 메모리(113)는 움직임 정보 기록 수단으로서 기능한다. 그리고, 예측 정보용 메모리(113)는 예측 신호 생성기(103)에 포함되어 있어도 된다. 또한, 일 실시예에서는, 양자화 변환계수 부호화기(111)도 잔차 신호 부호화 수단의 일부로서 기능해도 되고, 이 경우에는, 양자화 변환계수 부호화기(111)에 의해 생성된 데이터를 복호하여 역양자화기에 출력하는 요소가 잔차 신호 복원 수단의 일부를 구성한다.

입력 단자(101)는 복수 개의 화상으로 이루어지는 동화상의 신호를 입력하는 단자이다.

블록 분할기(102)는, 입력 단자(101)로부터 입력된 신호로 표현되는, 부호화의 대상이 되는 화상을 복수의 영역으로 분할한다. 일 실시예에서는, 부호화 대상의 화상은 8×8의 화소로 이루어지는 복수의 블록에 분할될 수 있다. 이들 복수의 영역 또는 블록은, 이하에 설명하는 처리가 적용되는 대상 영역 또는 대상 블록이 된다. 그리고, 블록의 크기 및 형상은 이에 한정되는 것은 아니다. 또한, 화면 내에 사이즈가 상이한 블록이 혼재하고 있어도 된다.

예측 신호 생성기(103)는, 대상 블록 내의 각 예측 블록의 예측 신호를 생성하기 위해 필요한 움직임 정보를 검출하고, 또한 예측 신호를 생성한다. 예측 신호의 생성 방법은, 한정되는 것은 아니지만, 배경 기술에서 설명한 바와 같은 화면 간 예측이나 화면 내 예측(화면 내 예측에 대해서는 도시하지 않음)일 수 있다. 일 실시예에서는, 도 16에 나타낸 블록 매칭에 의해 움직임 정보가 검출될 수 있다. 블록 매칭에서는, 대상 블록의 원(原)신호(화소 신호)에 대한 절대값 오차합이 최소가 되는 예측 신호가 라인(L104) 경유로 취득되는 기재생 화상으로부터 검출된다.

일 실시예에서는, 움직임 정보에는, 움직임 벡터, 참조 화면 리스트의 식별 번호(도 5의 List0과 List1), 및 참조 화면 번호(도 5의 ref_idx)가 포함될 수 있다.

도 6에 나타낸 바와 같이, 각 참조 화면 리스트가 복수의 참조 화면에 의해 구성되어 있는 경우에는, 움직임 정보에 포함되는 움직임 벡터가 어느 참조 화면을 대상으로 하는 것인지를 나타내기 위해, 움직임 벡터와 동시에 참조 화면 번호가 검출된다. 또한, 2방향 예측을 이용하는 경우에는, 예측 타입(전방향/후방향/2방향)도 동시에 결정된다. 예측 타입이 전방향 예측의 경우에는, 참조 화면 리스트의 식별 번호가 List0이 되는 움직임 정보가 검출되고, 후방향 예측의 경우에는, 참조 화면 리스트의 식별 번호가 List1이 되는 움직임 정보가 검출된다. 2방향 예측의 경우에는, List0과 List1로 식별되는 두 개의 움직임 정보가 검출된다. 그리고, 도 6에 나타낸 참조 화면 리스트에 등록되는 기재생 화상은, 미리 정해둔 규칙에 따라 자동으로 결정되어도 되고, 참조 화면 리스트에 등록되는 기재생 화상을 특정하는 정보가, 프레임 단위나 시퀀스 단위로 명시적으로 부호화되어도 된다. 일 실시예에서는, 상기 정보로서, 도 5로 도 6에 나타낸 바와 같이, 프레임 번호가 이용될 될 수 있다.

도 1로 돌아가면, 움직임 정보와 예측 타입은 라인(L103c) 및 라인(L103b)을 경유하여, 각각 예측 정보용 메모리(113) 및 예측 정보 부호화기(114)에 출력된다.

예측 정보용 메모리(113)는 입력된 움직임 정보와 예측 타입을 저장한다.

예측 정보 부호화기(114)는 부호화 대상 블록의 움직임 정보를 엔트로피 부호화하고, 부호화 데이터를 라인(L114) 경유로 출력 단자(112)에 출력한다. 엔트로피 부호화 방법은 한정되는 것은 아니지만, 산술 부호화나 가변 길이 부호화 등일 수 있다.

예측 신호 생성기(103)에 의해 생성된 예측 신호는, 라인(L103a) 경유로 감산기(105)와 가산기(110)에 출력된다.

감산기(105)는 대상 블록의 화소 신호로부터 라인(L103a)을 경유하여 입력되는 대상 블록의 예측 신호를 감산하여, 잔차 신호를 생성한다. 감산기(105)는 잔차 신호를, 라인(L105)을 경유하여 변환기(106)에 출력한다.

변환기(106)는 입력된 잔차 신호를 이산 코사인 변환하여, 변환계수를 생성한다. 또한, 양자화기(107)는 변환기(106)에 의해 생성된 변환계수를 양자화하여, 양자화 변환계수를 생성한다. 양자화 변환계수 부호화기(111)는 양자화기(107)에 의해 생성된 양자화 변환계수를 엔트로피 부호화한다. 양자화 변환계수 부호화기(111)에 의해 생성된 부호화 데이터는 라인(L111) 경유로 출력 단자(112)에 출력된다. 양자화 변환계수 부호화기(111)에서의 엔트로피 부호화 방법, 한정되는 것은 아니지만, 산술 부호화나 가변 길이 부호화 등일 수 있다.

출력 단자(112)는 예측 정보 부호화기(114) 및 양자화 변환계수 부호화기(111)로부터 수취한 정보를 모아서 외부에 출력한다.

역양자화기(108)는 양자화기(107)에 의해 생성된 양자화 변환계수를 역양자화하여, 변환계수를 생성한다. 역변환기(109)는 역양자화기(108)에 의해 생성된 변환계수에 역이산 코사인 변환을 적용하여 잔차 신호를 복원한다. 가산기(110)는 복원된 잔차 신호와 라인(L103a) 경유로 입력되는 예측 신호를 가산하고, 부호화 대상 블록의 재생 화상 신호를 생성하고, 그 재생 화소 신호를 프레임 메모리(104)에 저장한다. 그리고, 변환기(106)와 역변환기(109)의 처리를 대신하는 다른 변환 처리가 이용되어도 된다. 또한, 변환기(106) 및 역변환기(109)는 필수는 아니다. 이와 같이, 후속의 부호화 대상 블록의 예측 신호의 생성에 사용하기 위해, 부호화 대상 블록의 재생 화소 신호는, 참조 화면, 즉 기재생 화상의 일부로서, 프레임 메모리(104)에 기억된다.

일 실시예에서는, 예측 신호 생성기(103)는 대상 블록에 인접하는 블록(인접 블록)에 부수하는 움직임 정보를 이용하여 대상 블록의 예측 신호를 생성할 수도 있다. 인접 블록에 부수하는 움직임 정보란, 인접 블록이 부호화 대상이었을 때 예측 신호의 생성에 사용한 움직임 정보이다. 인접 블록에 부수하는 움직임 정보는 예측 정보용 메모리(113)에 저장되어 있다. 그리고, 블록마다, 인접 블록에 부수하는 움직임 정보를 이용하여 예측 신호를 생성한 것, 또는 블록 매칭에 의해 검출한 움직임 벡터를 사용하여 예측 신호를 생성한 것을 나타내는 정보를, 압축 데이터에 부호화 상태로 포함해도 된다.

여기서는, 대상 블록의 예측 신호를 2방향 예측으로 생성하는 경우를 고려한다. 이하, 도 7의 (A)를 예로 들어 설명한다. 대상 블록(400)의 바로 왼쪽과 바로 위에서 그 대상 블록(400)에 인접하는 두 개의 블록(401) 및 블록(402)이 인접 블록이 되고, 이들 블록에 부수하는 움직임 정보가 예측에 사용된다. 이때, 두 개의 인접 블록에 부수하는 예측 타입이 2방향 예측이면, 최대 네 개의 움직임 정보가 대상 블록의 예측 신호의 생성에 이용할 수 있다. 예측 신호 생성기(103)는, 후보가 되는 네 개의 움직임 정보(네 개의 후보 움직임 정보)로부터, 움직임 벡터의 값 또는 참조 화면의 프레임 번호의 값이 상이한 두 개의 움직임 정보를 선택한다. 참조 화면의 프레임 번호(frame_num)는 참조 화면 리스트 식별 번호(List0 또는 List1)와 참조 화면 번호(ref_idex)의 조합으로 식별될 수 있다. 그리고, 각각의 움직임 정보에 기초하여 프레임 메모리(104)로부터 두 개의 예측 신호를 취득하고, 그 두 개의 예측 신호를 화소 단위로 평균화함으로써, 예측 신호가 얻어진다. 두 개의 예측 신호가 유사하면, 평활화에 의한 노이즈 제거 효과로 예측 성능이 개선된다.

예측 정보 부호화기(114)는, 움직임 정보가 아니라, 4개의 후보 움직임 정보 중 대상 블록의 예측 신호의 생성에 사용하는 두 개의 움직임 정보를 식별하기 위한 정보(지시 정보)를 부호화한다. 따라서, 움직임 정보를 부호화함으로써 얻어지는 부호화 데이터의 부호량보다 적은 부호량으로 예측 신호가 생성될 수 있다. 지시 정보는 후보 움직임 정보를 식별하는 2개의 지시 정보라도 되고, 2개의 후보 움직임 정보의 조합을 식별하는 지시 정보라도 된다.

또한, 예측 정보용 메모리(113)는, 실제로 대상 블록의 예측 신호 생성에 사용한 2개의 움직임 정보를 대상 블록에 부수하는 움직임 정보로서 저장한다. 2개의 움직임 정보가 그대로 저장되어도 되지만, 기존의 화상 예측 부호화 및 복호에서는, List0 및 List1, 이 두 개의 참조 화면 리스트를 참조하는 제약을 가지므로, 이하에 설명하는 바와 같이, 2개의 움직임 정보가 저장될 수 있다.

즉, 두 개의 움직임 정보의 참조 화면 리스트 식별 번호가 같은 경우에는, 두 개의 움직임 정보에 포함되는 참조 화면 리스트 번호가 미리 정해진 규칙에 따라 변경될 수 있다. 예를 들면, 두 개의 움직임 정보 중, 더 작은 참조 화면 번호(ref_idx)를 가지는 한쪽의 움직임 정보의 참조 화면 리스트 식별 번호를 List0에 할당하고, 다른 쪽의 움직임 정보의 참조 화면 리스트 식별 번호를 List1에 할당한다.

두 개의 움직임 정보의 참조 화면 번호도 같은 경우에는, 각 성분의 절대값의 합이 더 작은 움직임 벡터를 가지는 한쪽의 움직임 정보의 참조 화면 리스트 식별 번호를 List0에 할당하고, 다른 쪽의 움직임 정보의 참조 화면 리스트 식별 번호를 List1에 할당한다.

이 할당에 의해, 할당 전의 프레임 번호와 다른 프레임 번호가 참조되게 되는 경우에는, 그 할당 전의 프레임 번호를 참조 가능하도록, 참조 화면 번호(ref_idx)가 변경될 수 있다.

또한, 도 6의 (B)에 나타낸 바와 같이 두 개의 참조 화면 리스트가 동일한 프레임 번호를 포함하지 않은 경우에는, 도 6의 (C)에 나타낸 바와 같이, 동일한 프레임 번호를 포함하도록 확장한 참조 화면 리스트(523)를 사용하여, 움직임 정보를 관리해도 된다. 이 확장한 참조 화면 리스트는, 인접 블록에 부수하는 움직임 정보를 사용하여 대상 블록의 예측 신호를 생성하는 경우에는, 그대로 이용할 수 있다. 또한, 프레임 번호가 기록되어 있으므로, 화면 간의 시간 방향의 거리에 따라 움직임 벡터를 스케일링(scaling)하는 경우(예를 들면, 도 5의 (A)의 화면(504)을 대상으로 한 움직임 벡터를, 화면(503)을 대상으로 한 움직임 벡터로 변환하는 경우에는, 각 벡터 성분을 2배 한다)에도 이용할 수 있다. 그리고, 여기서 나타낸 움직임 벡터의 저장 방법은 서로 변환이 가능하므로, 어느 저장 방법을 이용해도 부호화 결과에는 영향을 주지 않는다.

또한 예측 신호 생성기(103)의 처리를 상세하게 설명한다. 도 2는 일 실시예에 따른 예측 신호 생성기의 구성을 나타낸 도면이다. 도 2에 나타낸 바와 같이, 예측 신호 생성기(103)는 움직임 정보 도출기(121), 움직임 예측 정보 선택기(122), 및 움직임 보상기(123)를 구비하고 있다. 그리고, 이 도면에서는, 종래의 블록 매칭에 의한 움직임 검출의 부분은 생략되어 있다.

움직임 정보 도출기(121)는, 인접 블록으로서 사용하는 바로 위쪽과 바로 왼쪽 블록의 예측 타입이 모두 2방향 예측인 경우에는, 이들 인접 블록에 부수하는 4개의 움직임 정보를 비교한다. 움직임 정보 도출기(121)는, 움직임 정보를 구성하는 요소, 즉 움직임 벡터, 참조 화면 리스트 식별 번호, 참조 화면 번호 중 어느 하나의 값이 다른 세 개의 움직임 정보와 다른 움직임 정보를, 대상 블록의 예측에 이용 가능한 후보 움직임 정보로 한다. 움직임 벡터의 값과 참조 화면의 프레임 번호의 값(참조 화면의 프레임 번호는 참조 화면 리스트와 참조 화면 번호의 조합으로 알 수 있다)이 같은 움직임 정보이면, 어느 하나만을 후보 움직임 정보로 한다. 그리고, 움직임 정보 도출기(121)는, 임의의 두 개의 후보 움직임 정보의 세트를 후보 2방향 예측 정보로서 도출한다. 이 경우, 최대 여섯 개의 후보 2방향 예측 정보가 도출될 수 있다. 대상 블록의 바로 위쪽 및 바로 왼쪽의 블록 중 적어도 한쪽을 인접 블록으로 채용하는 경우로서 2방향 예측의 경우에는, 이하에 설명하는 개수의 두 개의 움직임 정보의 조합 패턴을 인접 블록으로부터 도출 가능하다. 즉,

(1) 바로 위쪽 블록(402)이나 바로 왼쪽 블록(401)의 두 개의 움직임 정보를 채용하는 경우: 2패턴

(2) 바로 위쪽 블록(402)의 하나의 움직임 정보와 바로 왼쪽 블록(401)의 하나의 움직임 정보로, 두 개의 움직임 정보에 포함되는 참조 화면 리스트가 상이한 경우: 4패턴

(3) 바로 위쪽 블록(402)의 하나의 움직임 정보와 바로 왼쪽 블록(401)의 하나의 움직임 정보로, 두 개의 움직임 정보에 포함되는 참조 화면 리스트가 같은 경우: 2패턴

도 3에 움직임 정보 도출기(121)에 의한 처리의 흐름도를 나타낸다. 최초에 단계 S301에서, 대상 블록의 예측에 이용하는 인접 블록의 수(N)를 설정하고, 현재의 인접 블록 번호(n)를 "0"으로 한다. 예를 들면, 블록(401)을 n=0, 블록(402)을 n=1로 설정한다. 또한, 후보 움직임 정보의 수(L)를 0으로 초기화한다. 다음에, n번의 블록의 움직임 정보와 예측 타입을 예측 정보용 메모리(113)로부터 취득한다(단계 S302). 그리고, 예측 타입에 기초하여 n번의 인접 블록에 부수하는 움직임 정보의 수(M)를 설정한다(단계 S303).

다음에, n번의 인접 블록의 m번째의 움직임 정보를 L개의 후보 움직임 정보와 비교한다(단계 S304). 모든 후보 움직임 정보가 비교 대상의 움직임 정보와 다른 경우, 또는 L=0의 경우에는 처리는 단계 S305로 진행한다. 단계 S305에서는, n번의 인접 블록의 m번째의 움직임 정보를 후보 움직임 정보에 추가하여, L의 값을 1만큼 증분한다. 그 후, 처리는 단계 S306으로 진행한다.

단계 S304에서 후보 움직임 정보 중에 m번째의 움직임 정보와 동일한 것이 발견되었을 경우에는, 처리는 단계 S306으로 진행한다. 그리고, 단계 S304에서는, 비교한 두 개의 움직임 벡터의 값이 같고, 또한 비교한 두 개의 참조 화면 번호와 참조 화면 리스트 식별 번호의 세트에 대응하는 프레임 번호가 같으면, 참조 화면 리스트가 달라도 동일한 움직임 정보라고 판단한다. 이것은, 두 개의 움직임 정보의 움직임 벡터와 그 참조 화면의 프레임 번호가 같은 경우에는, 그 움직임 정보로부터 생성되는 예측 신호가 일치하기 때문이다 .

단계 S306에서는, m의 값을 1만큼 증분한다. 계속되는 단계 S307에 의해, n번째의 인접 블록에 부수하는 모든 움직임 정보에 대하여, 단계 S304∼단계 S306의 처리를 완료하였는지의 여부를 판정하고, 완료한 경우에는 처리는 단계 S308로 진행하고, 완료되지 않은 경우에는 처리는 단계 S304로 돌아간다.

단계 S308에서는, 인접 블록의 번호 n의 값을 1만큼 증분한다. 그리고, 단계 S309에 의해, 모든 인접 블록의 처리가 완료되었는지의 여부를 판정한다. 완료된 경우에는 처리는 단계 S310으로 진행하고, 완료되지 않은 경우에는 처리는 단계 S302로 돌아간다.

마지막으로, 단계 S310에서는, L개의 후보 움직임 정보로부터 움직임 벡터의 값이나 참조 화면의 프레임 번호의 값(참조 화면의 프레임 번호는 참조 화면 리스트와 참조 화면 번호의 조합으로 알 수 있다)이 상이한 두 개의 움직임 정보의 세트를 모두 도출하고, 후보 2방향 예측 정보로서 설정한다.

그리고, 움직임 정보 도출기(121)가 어느 인접 블록으로부터의 움직임 정보를 이용할 것인지에 대해서는, 부호화 측과 복호 측, 양쪽에 대하여 미리 정해져 있어도 된다. 또한, 움직임 정보 도출기(121)가 어느 인접 블록으로부터의 움직임 정보를 이용했는지를 특정하기 위한 정보가, 부호화 상태로, 복호 측에 전달되어도 된다.

움직임 예측 정보 선택기(122)에서는, 움직임 정보 도출기(121)로부터 라인( L121)을 경유하여 입력된 후보 2방향 예측 정보로부터 최적인 하나를 선택한다. 구체적으로는, "두 개의 후보 움직임 정보에 기초하여 라인(L104) 경유로 프레임 메모리(104)로부터 취득한 두 개의 신호를 평균하여 얻은 신호"와 "라인(L102) 경유로 얻은 대상 블록의 화소 신호"의 차분 절대값 합을 최소로 하는 후보 2방향 예측 정보를 선택한다. 그리고, 선택한 후보 2방향 예측 정보, 또는 선택한 후보 2방향 예측 정보를 구성하는 두 개의 후보 움직임 정보를 식별하는 지시 정보를 라인(L103b) 경유로 예측 정보 부호화기에 출력한다.

또한, 움직임 예측 정보 선택기(122)는 선택한 두 개의 움직임 정보를 라인( L103c) 경유로 예측 정보용 메모리에 출력하여 저장시키고, 또한 라인(L122) 경유로 움직임 보상기(123)에 출력한다. 움직임 보상기(123)는, 입력된 두 개의 움직임 정보에 기초하여, 라인(L104) 경유로 취득한 기재생 화상으로부터 추출한 두 개의 기재생 화소 신호를 평균하여 예측 신호를 생성하고, 그 예측 신호를 라인(L103a) 경유로 감산기(105)로 가산기(110)에 출력한다.

그리고, 움직임 예측 정보 선택기(122)에 의해 최적인 하나의 후보 2방향 예측 정보를 선택하는 방법은 한정되는 것은 아니다. 예를 들면, 도 4에 나타낸 바와 같이, 부호화 대상 화상(451) 내의 대상 블록(461)의 화소 신호 대신에, 그것에 인접하는 역L자의 기재생의 영역(462)을 사용해도 된다. 영역(462)은 기재생의 영역이므로 복호 장치에서도 이용할 수 있다. 도면에 나타낸 바와 같이, 하나의 움직임 정보(473)에 기초하여 참조 화면(452)으로부터 영역(462)에 대응하는 예측 영역(472)을 취득할 수 있다. 모든 후보 2방향 예측 정보에 대하여, 두 개의 후보 움직임 정보에 대하여 역L자의 영역을 취득하고 그 신호를 평균함으로써, 영역(462)에 대하여 차분 절대값 합을 최소로 하는 후보 2방향 예측 정보를 찾아낼 수가 있다. 이 방법에 의하면, 복호 장치에서도 부호화 장치와 동일한 후보 2방향 예측 정보를 선택할 수 있으므로, 지시 정보를 전송할 필요가 없다는 이점이 있다.

이와 같이, 대상 블록에 인접하는 블록에 부수하는 움직임 정보로부터, 원래의 신호와의 차가 작은 예측 신호를 생성하고, 또한 움직임 벡터의 값이나 참조 화면의 프레임 번호의 값(참조 화면의 프레임 번호는 참조 화면 리스트와 참조 화면 번호의 조합으로 알 수 있다)이 상이한 두 개의 움직임 정보를 선택함으로써, 움직임 정보를 전송하지 않고, 대상 블록의 2방향 예측을 행한다. 움직임 정보는 참조 화면 리스트를 식별하는 정보를 포함하므로, 참조 화면 리스트가 동일한 움직임 정보를 사용한 2방향 예측이 가능해진다. 그러므로, 두 개의 참조 화면 리스트에 포함되는 참조 화면이 완전히 상이한 경우라도, 동일한 참조 화면의 움직임 벡터를 사용한 2방향 예측을 실시할 수 있다. 예를 들면, 같은 참조 화면의 움직임 벡터를 이용하여,두 개의 유사 신호에 의한 2방향 예측을 행함으로써, 평활화 효과에 의해 예측 성능을 향상시키는 것을 기대할 수 있다.

도 9는 일 실시예에 따른 화상 예측 부호화 방법의 절차를 나타낸 흐름도이다. 먼저, 블록 분할기(102)에 의해 입력 화상을 8×8의 부호화 블록으로 분할한다(그 이외의 블록의 크기 또는 형태로 분할해도 된다. 또한, 화면 내에 사이즈가 상이한 블록이 혼재해도 된다).

이어서, 움직임 정보 도출기(121)가 부호화 대상인 대상 블록에 인접하는 블록에 부수하는 움직임 정보를 예측 정보용 메모리(113)로부터 취득하고, 그 구성 요소 중 어느 하나의 값이 다른 움직임 정보와 다른 것을 대상 블록의 예측에 이용 가능한 후보 움직임 정보로서 추출한다. 그리고, 임의의 두 개의 후보 움직임 정보의 세트를 후보 2방향 예측 정보로서 도출한다(단계 S300). 이 단계 S300에 대한 상세한 것은 도 3에 의해 설명이 끝난 상태이다.

다음에, 움직임 예측 정보 선택기(122)가, 복수의 후보 2방향 예측 정보로부터 대상 블록의 예측 신호의 생성에 사용하는 하나를 선택한다. 그리고, 움직임 예측 정보 선택기(122)는, 선택한 후보 2방향 예측 정보, 또는 선택한 후보 2방향 예측 정보를 구성하는 두 개의 후보 움직임 정보를 식별하는 지시 정보를 결정한다(단계 S320). 계속되는 단계 S101에서는, 선택한 두 개의 움직임 정보를 예측 정보용 메모리(113)에 저장하는 동시에, 예측 정보 부호화기(114)에 의해 지시 정보를 부호화한다.

이어서, 단계 S102에서는, 움직임 보상기(123)가, 선택한 움직임 정보에 기초하여, 프레임 메모리(104)로부터 취득한 두 개의 기재생 화상으로부터 화소 신호를 취득하고, 이들 화소 신호를 평균하여 대상 블록의 예측 신호를 생성한다. 그리고, 인접 블록의 움직임 정보를 이용하지 않는 예측 방법에서는, 도 16에 설명한 블록 매칭에 의해 움직임 정보를 검출하고, 그 움직임 정보에 기초하여 대상 블록의 예측 신호를 생성한다. 움직임 정보와 두 개의 예측 방법의 전환을 위한 정보는 예측 정보 부호화기(114)에 의해 부호화된다. 또한, 움직임 정보는 예측 정보용 메모리(113)에 저장된다.

이어서, 부호화 대상 블록의 화소 신호와 예측 신호와의 차분을 나타내는 잔차 신호가, 변환기(106), 양자화기(107), 및 양자화 변환계수 부호화기(111)에 의해 변환 부호화된다(단계 S103). 지시 정보와 양자화 변환계수의 부호화 데이터는 출력 단자(112)를 통하여 출력된다(단계 S104).

후속의 부호화 대상 블록을 예측 부호화하기 위해, 이들의 처리 후에 또는 이들의 처리와 병행하여 부호화된 잔차 신호가 역양자화기(108) 및 역변환기(109)에 의해 복호된다. 그리고, 가산기(110)에 의해, 복호된 잔차 신호와 예측 신호가 가산되고, 부호화 대상 블록의 신호가 재생된다. 재생 신호는 프레임 메모리(104)에 참조 화면(기재생 화상 신호)으로서 기억된다(단계 S105). 그리고, 모든 부호화 대상 블록의 처리가 완료되지 않은 경우에는, 처리는 단계 S101로 복귀하고, 다음의 부호화 대상 블록에 대한 처리가 행해진다. 모든 부호화 대상 블록의 처리가 완료한 경우에는, 처리가 종료한다(단계 S106).

다음에, 일 실시예에 따른 화상 예측 복호 장치에 대하여 설명한다. 도 10은, 일 실시예에 따른 화상 예측 복호 장치를 나타낸 블록도이다. 도 10에 나타낸 화상 예측 복호 장치(200)는, 입력 단자(201), 데이터 해석기(202), 역양자화기(203), 역변환기(204), 가산기(205), 출력 단자(206), 양자화 변환계수 복호기(207), 예측 정보 복호기(208), 프레임 메모리(104), 움직임 정보 결정기(209), 움직임 정보 도출기(121), 예측 정보용 메모리(113), 움직임 보상기(126)를 구비하고 있다. 역양자화기(203) 및 역변환기(204)는 잔차 신호 복호 수단으로서 기능하고, 예측 정보용 메모리는 움직임 정보 기록 수단으로서 기능한다. 역양자화기(303) 및 역변환기(304)에 의한 복호 수단은, 이것들 외의 것을 사용하여 행해도 된다. 또한, 역변환기(304)는 없어도 된다.

입력 단자(201)는, 전술한 화상 예측 부호화 방법으로 압축 부호화된 압축 데이터를 입력한다. 이 압축 데이터에는, 복수의 블록에 대하여, 잔차 신호의 변환 양자화에 의해 생성된 양자화 변환계수의 엔트로피 부호화에 의한 부호화 데이터, 및 예측 정보의 부호화 데이터, 즉 블록의 예측 신호를 생성하기 위한 움직임 정보 또는 인접 블록에 부수하는 움직임 정보로부터 복호 대상인 블록의 예측 신호의 생성에 사용하는 움직임 정보를 식별하기 위한 지시 정보의 부호화 데이터, 및 움직임 정보와 지시 정보 중 어느 것이 부호화되어 있는지를 나타낸 정보의 부호화 데이터가 포함되어 있다.

데이터 해석기(202)는, 입력 단자(201)에 입력된 압축 데이터를 해석하고, 복호 대상 블록에 관하여, 양자화 변환계수의 부호화 데이터, 예측 정보의 부호화 데이터로 분리하여, 이들 부호화 데이터를 각각, 라인(L202a), 라인(L202b) 경유로 양자화 변환계수 복호기(207), 예측 정보 복호기(208)에 출력한다.

예측 정보 복호기(208)는, 움직임 정보 또는 지시 정보의 부호화 데이터를 엔트로피 복호한다. 복호된 움직임 정보는 라인(L208) 경유로 움직임 정보 결정기(209)에 전송도고, 그대로, 라인(L207a)과 라인(L207b)을 경유하여 움직임 보상기(126)와 예측 정보용 메모리(113)에 출력된다. 예측 정보용 메모리(113)는 움직임 정보를 저장하고, 움직임 보상기(126)는 움직임 정보에 기초하여, 프레임 메모리(104)로부터 취득한 기재생 화상으로부터 화소 신호를 취득하고, 그 화소 신호를 사용하여 복호 대상 블록 내의 각 예측 블록의 예측 신호를 생성한다. 생성된 예측 신호는 라인(L126) 경유로 가산기(205)에 출력된다.

한편, 예측 정보 복호기(208)가 지시 정보의 부호화 데이터를 엔트로피 복호한 경우에는, 움직임 정보 도출기(121)가 기능한다. 움직임 정보 도출기(121)는, 도 3에 의해 상세를 설명한 바와 같이, 복호 대상 블록에 인접하는 블록에 부수하는 움직임 정보를 예측 정보용 메모리(113)로부터 취득하고, 그 구성 요소 중 어느 하나의 값이 상이한 정보를 복호 대상 블록의 예측에 이용 가능한 후보 움직임 정보로서 추출한다. 그리고, 움직임 정보 도출기(121)는, 임의의 두 개의 후보 움직임 정보의 세트를 후보 2방향 예측 정보로서 도출하고, 그 후보 2방향 예측 정보를 라인(L121) 경유로 움직임 정보 결정기(209)에 출력한다.

움직임 정보 결정기(209)는, 라인(L121) 경유로 입력된 복수의 후보 2방향 예측 정보로부터, 라인(L208) 경유로 입력된 지시 정보에 의해 식별되는 하나의 후보 2방향 예측 정보를 선택한다. 선택된 후보 2방향 예측 정보를 구성하는 두 개의 움직임 정보는, 라인(L207a)과 라인(L207b)을 경유하여 움직임 보상기(126)와 예측 정보용 메모리(113)에 출력된다. 예측 정보용 메모리(113)는 움직임 정보를 저장하고, 움직임 보상기(126)는, 두 개의 움직임 정보에 기초하여, 프레임 메모리(104)로부터 취득한 기재생 화상으로부터 화소 신호를 취득하고, 그 화소 신호를 사용하여 복호 대상 블록 내의 각 예측 블록의 예측 신호를 생성한다. 생성된 예측 신호는 라인(L126) 경유로 가산기(205)에 출력된다.

양자화 변환계수 복호기(207)는 부호화 대상 블록에서의 잔차 신호의 양자화 변환계수의 부호화 데이터를 엔트로피 복호하고, 복원한 양자화 변환계수를 라인( L207) 경유로 역양자화기(203)에 출력한다.

역양자화기(203)는 라인(L207) 경유로 입력한 복호 대상 블록의 양자화 변환계수를 역양자화하여, 변환계수를 생성한다. 역변환기(204)는 변환계수를 역이산 코사인 변환하여, 잔차 신호를 복원한다.

가산기(205)는, 예측 신호 생성기(103)에서 생성된 예측 신호를, 역양자화기(203) 및 역변환기(204)에 의해 복원된 잔차 신호에 가산하여, 복호 대상 블록의 재생 화소 신호를 생성한다. 재생 화소 신호는 라인(L205) 경유로 출력 단자(206) 및 프레임 메모리(104)에 출력된다. 출력 단자(206)는 재생 화소 신호를 포함하는 재생 화상을 외부에(예를 들면, 디스플레이) 출력한다.

프레임 메모리(104)는, 다음의 복호 처리를 위한 참조용의 재생 화상으로서, 가산기(205)로부터 출력된 재생 화상을 참조 화면으로서 기억한다.

다음에, 도 11을 참조하여, 일 실시예에 따른 화상 예측 복호 방법을 설명한다. 먼저, 입력 단자(201)를 통하여, 압축 데이터가 입력된다(단계 S201). 그리고, 데이터 해석기(202)에 의해 압축 데이터의 데이터 해석을 행하고, 블록의 예측 신호를 생성하기 위한 움직임 정보 또는 인접 블록에 부수하는 움직임 정보로부터 복호 대상인 블록의 예측 신호의 생성에 사용하는 움직임 정보를 식별하기 위한 지시 정보, 움직임 정보와 지시 정보 중 어느 것이 부호화되어 있는지를 나타낸 정보의 부호화 데이터, 및 양자화 변환계수의 부호화 데이터를 추출한다. 움직임 정보의 부호화 데이터 또는 지시 정보의 부호화 데이터는 예측 정보 복호기(208)에 의해 복호된다.

움직임 정보가 복원되었을 경우에는, 복원된 움직임 정보에 기초하여, 움직임 보상기(126)가 복호 대상 블록의 예측 신호를 생성한다. 복원된 움직임 정보는 예측 정보용 메모리(113)에 저장된다.

지시 정보가 복원되었을 경우에는, 움직임 정보 도출기(121)가 예측 정보용 메모리(113)로부터 인접 블록의 움직임 정보를 취득한다. 움직임 정보 도출기(121)는 미리 정해진 인접 블록으로부터 움직임 정보를 취득해도 되고, 또한 부호화 측으로부터 전달된 정보에 기초하여, 인접 블록으로부터 움직임 정보를 취득해도 된다.

이어서, 움직임 정보 도출기(121)가, 도 3에 상세하게 나타낸 바와 같이, 취득한 복수의 움직임 정보 중 그 구성 요소 중 어느 하나의 값이 상이한 움직임 정보를, 복호 대상 블록의 예측에 이용 가능한 후보 움직임 정보로서 추출한다. 그리고, 움직임 정보 도출기(121)는 임의의 두 개의 후보 움직임 정보의 세트를 후보 2방향 예측 정보로서 도출한다(단계 S300).

이어서, 움직임 정보 결정기(209)가 복원된 지시 정보를 사용하여, 도출된 복수의 후보 2방향 예측 정보로부터 하나의 2방향 예측 정보를 선택하고, 두 개의 움직임 정보를 복원한다(단계 S203).

그 후, 복원된 두 개의 움직임 정보에 기초하여, 움직임 보상기(126)가 복호 대상 블록의 예측 신호를 생성하고, 그 두 개의 움직임 정보를 예측 정보용 메모리에 보존한다(단계 S207).

이어서, 양자화 변환계수 복호기(207)에 의해 복호된 양자화 변환계수는, 역양자화기(203)에서 역양자화되고, 또한 역변환기(204)에서 역양자화기(203)로부터의 출력에 역변환이 적용되어, 재생 잔차 신호가 생성된다(단계 S208).

이어서, 생성된 예측 신호와 재생 잔차 신호가 가산됨으로써 재생 신호가 생성되고, 이 재생 신호가 다음의 복호 대상 블록을 재생하기 위해 프레임 메모리(104)에 저장된다(단계 S209). 그리고, 단계 S210의 판정에 따라 다음의 압축 데이터가 있다고 판정되는 경우에는, S202∼S209의 프로세스가 반복되어(단계 S210), 모든 데이터가 최후까지 처리된다.

도 12는, 일 실시예에 따른 화상 예측 부호화 방법을 컴퓨터로 하여금 실행하게 하는 프로그램의 구성을 나타낸 도면이다. 화상 예측 부호화 프로그램(P100)은, 블록 분할 모듈(P101), 예측 신호 생성 모듈(P103), 기억 모듈(P104), 감산 모듈(P105), 변환 모듈(P106), 양자화 모듈(P107), 역양자화 모듈(P108), 역변환 모듈(P109), 가산 모듈(P110), 양자화 변환계수 부호화 모듈(P111), 예측 정보 기억 모듈(P113), 및 예측 정보 부호화 모듈(P114)을 구비하고 있다. 예측 신호 생성 모듈(P103)은 움직임 정보 도출 모듈(P121), 움직임 예측 정보 선택 모듈(P122), 및 움직임 보상 모듈(P123)을 포함하고 있다.

블록 분할 모듈(P101), 예측 신호 생성 모듈(P103), 기억 모듈(P104), 감산 모듈(P105), 변환 모듈(P106), 양자화 모듈(P107), 역양자화 모듈(P108), 역변환 모듈(P109), 가산 모듈(P110), 양자화 변환계수 부호화 모듈(P111), 예측 정보 기억 모듈(P113), 예측 정보 부호화 모듈(P114), 움직임 정보 도출 모듈(P121), 움직임 예측 정보 선택 모듈(P122), 움직임 보상 모듈(P123)이 컴퓨터로 하여금 실행하게 하는 기능은, 블록 분할기(102), 예측 신호 생성기(103), 프레임 메모리(104), 감산기(105), 변환기(106), 양자화기(107), 역양자화기(108), 역변환기(109), 가산기(110), 양자화 변환계수 부호화기(111), 예측 정보용 메모리(113), 예측 정보 부호화기(114), 움직임 정보 도출기(121), 움직임 예측 정보 선택기(122), 움직임 보상기(123) 각각의 기능과 동일하다.

도 13은, 일 실시예에 따른 화상 예측 복호 방법을 컴퓨터로 하여금 실행하게 하는 프로그램의 구성을 나타낸 도면이다. 화상 예측 복호 프로그램(P200)은, 데이터 해석 모듈(P201), 예측 정보 복호 모듈(P202), 움직임 정보 도출 모듈(P121), 움직임 정보 결정 모듈(P203), 예측 정보 기억 모듈(P205), 움직임 보상 모듈(P126), 양자화 변환계수 복호 모듈(P206), 역양자화 모듈(P207), 역변환 모듈(P208), 가산 모듈(P209), 및 기억 모듈(P104)을 구비하고 있다.

데이터 해석 모듈(P201), 예측 정보 복호 모듈(P202), 움직임 정보 도출 모듈(P121), 움직임 정보 결정 모듈(P203), 예측 정보 기억 모듈(P205), 움직임 보상 모듈(P126), 양자화 변환계수 복호 모듈(P206), 역양자화 모듈(P207), 역변환 모듈(P208), 가산 모듈(P209), 기억 모듈(P104)이 컴퓨터로 하여금 실행하게 하는 기능은, 데이터 해석기(202), 예측 정보 복호기(208), 움직임 정보 도출기(121), 움직임 정보 결정기(209), 예측 정보용 메모리(113), 움직임 보상기(126), 양자화 변환계수 복호기(207), 역양자화기(203), 역변환기(204), 가산기(205), 프레임 메모리(104) 각각의 기능과 동일하다.

이와 같이 구성된 화상 예측 부호화 프로그램(P100) 또는 화상 예측 복호 프로그램(P200)은 기록 매체(10)에 기억되고, 후술하는 컴퓨터로 실행된다.

도 14는 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이며, 도 15는 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다. 그리고, 기록 매체에 기억된 프로그램을 실행하는 것은 컴퓨터로 한정되지 않고, CPU를 구비하고 소프트웨어에 의한 처리나 제어를 행하는 DVD 플레이어, 셋톱 박스, 휴대 전화 등이라도 된다.

도 14에 나타낸 바와 같이, 컴퓨터(30)는 플로피디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(12), 운영체제(operating system)를 상주시킨 작업용 메모리(RAM)(14), 기록 매체(10)에 기억된 프로그램을 기억하는 메모리(16), 디스플레이 등의 표시 장치(18), 입력 장치인 마우스(20) 및 키보드(22), 데이터 등의 송수신을 행하기 위한 통신 장치(24), 및 프로그램의 실행을 제어하는 CPU(26)를 구비하고 있다. 컴퓨터(30)는, 기록 매체(10)가 판독 장치(12)에 삽입되면, 판독 장치(12)로부터 기록 매체(10)에 저장된 화상 예측 부호화 프로그램(P100) 또는 화상 예측 복호 프로그램(P200)에 액세스할 수 있게 되고, 그 화상 예측 부호화 프로그램(P100) 또는 화상 예측 복호 프로그램(P200)에 의해, 화상 예측 부호화 장치(100) 또는 화상 예측 복호 장치(200)로서 동작할 수 있게 된다.

도 15에 나타낸 바와 같이, 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램은, 반송파에 중첩된 컴퓨터 데이터 신호(40)로서 네트워크를 통하여 제공되는 것이라도 된다. 이 경우, 컴퓨터(30)는, 통신 장치(24)에 의해 수신한 화상 예측 부호화 프로그램 또는 화상 예측 복호 프로그램을 메모리(16)에 저장하고, 상기 화상 예측 부호화 프로그램 또는 화상 예측 복호 프로그램을 실행할 수 있다.

다양한 실시예에 대하여 설명하였으나, 본 발명은 하기의 변형예를 더 포함할 수 있다.

(움직임 정보의 후보)

상기 실시예에서는, 움직임 정보는 움직임 벡터, 참조 화면 리스트의 식별 번호(도 5의 List0과 List1), 및 참조 화면 번호(도 5의 ref_idx)로 구성되어 있지만, 참조 화면 리스트의 식별 번호와 참조 화면 번호 대신에, 프레임 번호에 의해 움직임 정보가 구성해도 된다. 이것은, 프레임 번호를 사용해도, 인접 블록에 부수하는 움직임 정보를 사용하여 전술한 실시예와 동일한 결과 및 효과를 얻을 수 있기 때문이다.

(후보 2방향 움직임 정보의 제한)

상기 실시예에서는, 움직임 정보 도출기에 의해, 후보 움직임 정보의 모든 조합을 후보 2방향 움직임 정보로 하였지만, 하기의 조건을 충족시키는 움직임 정보의 세트만을 후보 2방향 움직임 정보로 해도 된다.

(1) 대상 블록의 바로 위쪽과 바로 왼쪽의 블록만

(2) 동일한 참조 화면을 지시하는 두 개의 움직임 정보

(3) 두 개의 움직임 벡터는 동일하지 않지만, 가까운 값(절대값 차가 어느 값보다 작은)을 가진다. 즉, 바로 위쪽의 블록의 움직임 벡터(MVXa, MVYa), 및 바로 왼쪽의 블록의 움직임 벡터(MVXb, MVYb)가,

(| MVXa - MVXb |! = 0)||(| MVYa - MVYb |! = 0)을 충족시키고, 또한

(| MVXa - MVXb | <= N) && (| MVYa - MVYb | <= N)를 충족시킨다(N는 작은 값)

그리고, 조건을 충족시키는 후보 2방향 움직임 정보가 존재하지 않는 경우에는, 지시 정보를 전송하지 않고 다른 예측 처리를 사용하도록 해도 된다.

또한, 후보 2방향 움직임 정보의 수를 프레임 단위나 블록 단위로 지정하고, 지정한 수를 특정하는 정보를 압축 데이터에 포함해도 된다. 또한, 이와 같은 후보 2방향 움직임 정보의 제한의 적용을 지시하는 정보를 프레임 단위로 부호화해도 된다.

(지시 정보의 식별 번호)

지시 정보의 식별 번호를 결정할 때, 대상 블록(도 8의 400)의 오른쪽 위의 블록(도 8의 404)의 움직임 정보를 이용하여, 바로 왼쪽 블록(401)과 바로 위쪽 블록(402)의 우선 순위를 결정해도 된다. 여기서,

바로 위쪽의 블록의 움직임 벡터(MVXa, MVYa)

바로 오른쪽의 블록의 움직임 벡터(MVXb, MVYb) 및

왼쪽 위의 블록의 움직임 벡터(MVXc, MVYc)에 대하여,

|MVXa - MVXc| ＋ |MVYa - MVYc| < |MVXb - MVXc| ＋ |MVYb - MVYc|가 성립하는 경우에는, 바로 왼쪽 블록의 움직임 정보에 부호량이 작은 식별 번호를 부여한다. 성립하지 않는 경우에는, 바로 위쪽 블록의 움직임 정보에 부호량이 작은 식별 번호를 부여한다. 이와 같이, 대상 블록과의 상관이 더욱 높다고 추측되는 인접 블록의 움직임 정보를 우선하면, 지시 정보의 부호량을 삭감할 수 있을 가능성이 있다.

(후보 움직임 벡터의 도출과 선택)

상기 실시예에서는, 움직임 벡터의 수평 방향과 수직 방향의 성분을 함께 후보 움직임 벡터의 도출과 선택을 행하고 있지만, 움직임 벡터의 수평 방향과 수직 방향의 성분에 대하여 개별적으로 후보 움직임 벡터의 도출 및 선택에 사용해도 된다. 또한, 상기에서는, 인접 블록의 단독의 움직임 벡터를 후보 움직임 벡터로 하였지만, 두 개의 움직임 벡터의 평균값이나 화면 간의 시간 방향의 거리에 따라 스케일링한 움직임 벡터(예를 들면, 도 5의 (A)의 화면(504))를 대상으로 한 움직임 벡터를, 화면(503)을 대상으로 한 움직임 벡터로 변환하는 경우에는, 각 벡터 성분을 2배 한다)을 후보 움직임 벡터로 해도 된다.

(예측 타입)

상기 실시예에서는, 두 개의 인접 블록의 예측 타입을 모두 2방향 예측으로 하고 있지만, 그 한쪽이 전방향 또는 후방향 예측이라도 본 발명은 적용할 수 있다. 이 경우, 최대 세 개의 후보 2방향 예측 정보가 도출된다. 또한, 이 경우에는, 이하에 설명하는 개수 중 두 개의 움직임 정보의 조합 패턴을 인접 블록으로부터 도출 가능하다. 즉,

(1) 바로 위쪽 블록(402)이나 바로 왼쪽 블록(401)의 두 개의 움직임 정보를 채용하는 경우: 1패턴

(2) 바로 위쪽 블록(402)의 하나의 움직임 정보와 바로 왼쪽 블록(401)의 하나의 움직임 정보로, 두 개의 움직임 정보와 관련된 참조 화면 리스트가 상이한 경우: 1패턴

(3) 바로 위쪽 블록(402)의 하나의 움직임 정보와 바로 왼쪽 블록(401)의 하나의 움직임 정보로, 두 개의 움직임 정보와 관련된 참조 화면 리스트가 동일한 경우: 1패턴

또한, 두 개의 인접 블록 양쪽이 전방향 또는 후방향 예측이라도 되고, 한쪽이 전방향 예측이고 다른 쪽이 후방향 예측이라도 된다.

(인접 블록의 수)

대상 블록의 예측에 이용 가능한 인접 블록의 수는, 한정되지 않는다. 도 7의 (B)와 같이, 블록(401∼403)의 3개를 인접 블록으로 해도 된다. 또한, 전방 프레임의 블록에 부수하는 움직임 정보를 이용해도 된다. 또한, 도 8에 나타낸 바와 같이 인접 블록(401∼405)이 재분할되어 있는 경우에는, 이들 작은 블록에 부수하는 움직임 정보를 후보 움직임 정보에 포함해도 된다. 또한, 대상 블록에 인접하지 않는 블록의 움직임 정보를 이용해도 된다.

(N방향 예측)

상기 실시예에서는 인접 블록에 부수하는 움직임 정보를 사용하여 행하는 대상 블록의 예측 방법을 2방향 예측으로 하지만, 예측 방법은, 이에 한정되지 않고, 일방향 예측이라도 3방향 예측이라도 된다. 이 경우에는, 도 3의 단계 S310에서 후보 N방향 예측 정보를 도출하고, 그 선정을 행하면 된다. 그리고, N개의 움직임 정보를 저장해도 되지만, N이 3 이상인 경우에는, 참조 화면 번호나 움직임 벡터의 값에 따라, 저장하는 움직임 정보를 2개로 제한해도 된다.

(변환기, 역변환기)

잔차 신호의 변환 처리는 고정된 블록 사이즈로 행하여도 되고, 부분 영역에 맞추어 대상 영역을 재분할하여 변환 처리를 행해도 된다.

(색신호)

상기 실시예의 설명에서는, 색 포맷에 대해 특별히 설명하지 않았지만, 색 신호 또는 색차 신호에 대하여도, 휘도 신호와 개별적으로 예측 신호의 생성 처리를 행해도 된다. 또한, 휘도 신호의 처리와 연동하여 처리를 행해도 된다.

이상, 본 발명을 그 몇 가지 실시예에 기초하여 상세하게 설명하였다. 그러나, 본 발명은 상기 실시예에 한정되는 것은 아니다. 본 발명은 그 요지를 벗어나지 않는 범위에서 다양한 변형이 가능하다.

100: 화상 예측 부호화 장치, 101: 입력 단자, 102: 블록 분할기, 103: 예측 신호 생성기, 104: 프레임 메모리, 105: 감산기, 106: 변환기, 107: 양자화기, 108: 역양자화기, 109: 역변환기, 110: 가산기, 111: 양자화 변환계수 부호화기, 112: 출력 단자, 113: 예측 정보용 메모리, 114: 예측 정보 부호화기, 121: 움직임 정보 도출기, 122: 움직임 예측 정보 선택기, 123: 움직임 보상기, 201: 입력 단자, 202: 데이터 해석기, 203: 역양자화기, 204: 역변환기, 205: 가산기, 206: 출력 단자, 207: 양자화 변환계수 복호기, 208: 예측 정보 복호기, 209: 움직임 정보 결정기.

Claims (1)

1. 압축 데이터 중에서, 움직임 정보의 부호화 데이터 또는 지시 정보의 부호화 데이터를 추출하고, 상기 압축 데이터 중에서, 잔차 신호의 부호화 데이터를 추출하는 단계 - 상기 움직임 정보의 부호화 데이터는 복호 대상의 대상 영역의 예측 신호를 생성하기 위해 화상 내의 복수의 영역에서 추출되고, 상기 지시 정보의 부호화 데이터는 복호된 이전의 프레임 내의 영역에 부수하는 움직임 정보와 복호될 프레임 내의 상기 대상 영역에 인접하는 인접 영역에 부수하는 복수의 움직임 정보 중 상기 대상 영역의 예측 신호의 생성에 사용하는 움직임 정보 세트를 특정함 -;
   (a) 상기 움직임 정보의 부호화 데이터를 복호하여, 참조 화상 리스트 식별자, 참조 화상 인덱스, 및 움직임 벡터를 포함하는 2개의 움직임 정보를 복원하거나, 아니면 (b) 상기 지시 정보의 부호화 데이터를 복호하여, 상기 지시 정보를 복원하는 단계;
   상기 복호된 이전의 프레임 내의 영역에 부수하는 움직임 정보를, 움직임 벡터가 상기 복호될 프레임과 상기 이전의 프레임의 화상 간의 시간 방향에 따라 스케일링되는 움직임 정보로 설정하고, 상기 지시 정보의 복원에 응하여, 메모리에 저장되어 있는 복수의 움직임 정보 중에서, 하나 이상의 움직임 정보 세트를 도출하는 단계 - 상기 하나 이상의 움직임 정보 세트 각각은, 각각의 참조 화상 인덱스 및 각각의 참조 화상 리스트 식별자에 의해 특정되는 각각의 프레임 번호가 서로 상이하거나 또는 각각의 움직임 벡터가 서로 상이한 2개의 움직임 정보를 포함함 -;
   상기 하나 이상의 움직임 정보 세트 중에서 상기 대상 영역의 예측 신호 생성에 사용될 움직임 정보 세트를 상기 지시 정보에 기초하여 결정하는 단계;
   상기 지시 정보의 복원에 응하여, 상기 복호될 프레임 내의 대상 영역에 인접하는 인접 영역에 부수하는 2개의 움직임 정보, 또는 상기 대상 영역의 위치에 의해 결정되는 상기 복호된 이전의 프레임 내의 영역에 부수하는 움직임 정보와 상기 복호될 프레임 내의 대상 영역에 인접하는 인접 영역에 부수하는 움직임 정보의 움직임 정보 세트에 기초하여 상기 메모리에 저장되어 있는 기재생 화상으로부터 획득된 2개의 신호를 합성함으로써 상기 대상 영역의 예측 신호를 생성하고, 상기 움직임 정보의 부호화 데이터를 복호하여 상기 2개의 움직임 정보를 복원하는 것에 응하여, 복원된 2개의 움직임 정보에 기초하여 상기 메모리에 저장되어 있는 기재생 화상으로부터 획득된 2개의 신호를 합성함으로써 상기 대상 영역의 예측 신호를 생성하는 단계;
   상기 대상 영역의 상기 예측 신호의 생성에 사용된 움직임 정보를 상기 메모리에 저장하는 단계;
   상기 잔차 신호의 상기 부호화 데이터로부터 상기 대상 영역의 잔차 신호를 복원하는 단계;
   상기 예측 신호와 복원된 잔차 신호에 기초하여, 상기 대상 영역의 화소 신호를 재생(reconstruct)하는 단계; 및
   재생된 화소 신호를 기재생 화상의 일부로서 저장하는 단계
   를 포함하는 화상 예측 복호 방법.

Images