KR101866440B1

KR101866440B1 - 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법, 및 화상 예측 복호 프로그램

Info

Publication number: KR101866440B1
Application number: KR1020137017928A
Authority: KR
Inventors: 요시노리 스즈키; 충셍 분; 티오 켕 탄
Original assignee: 가부시키가이샤 엔.티.티.도코모
Priority date: 2011-01-12
Filing date: 2011-12-19
Publication date: 2018-06-11
Also published as: US20130301708A1; CN103299635B; AU2011354870A1; US8879621B2; BR112013017756A2; TW201242376A; EP2665270A1; CA2824459A1; JP5298140B2; EP2665270A4; WO2012096104A1; JP2012147273A; EP2665270B1; CN103299635A; RU2013137443A; KR20140029369A; MX2013008105A

Abstract

일 실시예의 화상 예측 부호화 장치는, 부호화 대상으로 하는 대상 영역의 화소 신호와의 상관이 높은 신호를 기재생의 참조 화면으로부터 취득하기 위한 움직임 정보를 구한다. 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있다. 2개의 예측 모드의 후보에서 1개의 예측 모드가 선택되고, 편예측이 선택되는 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면으로부터 움직임 정보가 구해진다. 움직임 정보로서 적어도 예측 모드가 부호화된다.

Description

화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법, 및 화상 예측 복호 프로그램 { IMAGE PREDICT CODING DEVICE, IMAGE PREDICT CODING METHOD, IMAGE PREDICT CODING PROGRAM, IMAGE PREDICT DECODING DEVICE, IMAGE PREDICT DECODING METHOD, AND IMAGE PREDICT DECODING PROGRAM}

본 발명의 실시예는, 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법, 및 화상 예측 복호 프로그램에 관한 것이며, 특히, 화면 간 예측에 사용하는 참조 화면의 리스트를 생성하는 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램에 관한 것이다.

정지 화상이나 동화상 데이터의 전송이나 축적을 효율적으로 행하기 위해, 압축 부호화 기술이 사용된다. 동화상의 경우에는 MPEG-1∼4나 ITU(International Teleco㎜unication Union) H.261∼H.264 방식이 널리 사용되고 있다.

이들 부호화 방식에서는, 부호화의 대상이 되는 화상을 복수의 블록으로 분할한 후에 부호화 처리 또는 복호 처리를 행한다. 화면 내의 예측 부호화에서는, 대상 블록과 동일한 화면 내에 있는 인접하는 기(旣)재생의 화상 신호(압축된 화상 데이터가 복원된 것)를 사용하여 예측 신호를 생성한 후에, 그 예측 신호를 대상 블록의 신호에서 감산함으로써 얻어지는 차분 신호를 부호화한다. 화면 간의 예측 부호화에서는, 대상 블록과 상이한 화면 내에 있는 기재생의 화상 신호를 참조하고, 동작의 보정을 행하고, 예측 신호를 생성하고, 그 예측 신호를 대상 블록의 신호에서 감산함으로써 얻어지는 차분 신호를 부호화한다.

예를 들면, H.264의 화면 내 예측 부호화에서는, 부호화의 대상이 되는 블록에 인접하는 기재생의 화소값을 소정 방향에 외삽(外揷)하여 예측 신호를 생성하는 방법을 채용하고 있다. 도 16은, ITU H.264에 사용되는 화면 내 예측 방법을 설명하기 위한 모식도이다. 도 16의 (A)에 있어서, 대상 블록(802)은 부호화의 대상이 되는 블록이며, 그 대상 블록(802)의 경계에 인접하는 화소 A∼M로 이루어지는 화소군(801)은 인접 영역이며, 과거의 처리에 있어서 이미 재생된 화상 신호이다.

도 16의 (A)에 나타낸 경우에는, 대상 블록(802)의 바로 위에 있는 인접 화소인 화소군(801)을 아래쪽에 잡아 늘임으로써 예측 신호를 생성한다. 또한, 도 16의 (B)에 나타낸 경우에는, 대상 블록(804)의 좌측에 있는 기재생 화소(I∼L)를 우측에 잡아 늘임으로써 예측 신호를 생성한다. 예측 신호를 생성하는 구체적인 방법은, 예를 들면, 특허문헌 1에 기재되어 있다. 이와 같이, 도 16의 (A)∼(I)에 나타낸 방법으로 생성된 9개의 예측 신호의 각각과 대상 블록의 화소 신호와의 차분을 취하여, 차분값이 가장 작은 것을 최적의 예측 신호로 한다. 이상과 같이, 화소를 외삽함으로써 예측 신호를 생성할 수 있다. 이상의 내용에 대해서는, 하기 특허문헌 1에 기재되어 있다.

통상의 화면 간 예측 부호화에서는, 부호화의 대상이 되는 블록에 대하여, 그 화소 신호에 유사한 신호를 이미 재생 완료된 화면으로부터 탐색한다고 하는 방법으로 예측 신호를 생성한다. 그리고, 대상 블록과 탐색한 신호가 구성하는 영역과의 사이의 공간적 변위량인 움직임 벡터와 대상 블록의 화소 신호와 예측 신호의 잔차 신호를 부호화한다. 이와 같이 블록마다 움직임 벡터를 탐색하는 방법은 블록 매칭(block matching)이라고 한다.

도 15는 블록 매칭 처리를 설명하기 위한 모식도이다. 이하, 부호화 대상의 화면(701) 내의 대상 블록(702)을 예로 예측 신호의 생성 절차를 설명한다. 화면(703)은 이미 재생이 완료된 상태이며, 영역(704)은 대상 블록(702)과 공간적으로 동일 위치의 영역이다. 화면(703)을 예측 시에 참조한다는 의미에서 참조 화면이라고 한다. 블록 매칭에서는, 영역(704)을 에워싸는 탐색 범위(705)를 설정하고, 이 탐색 범위의 화소 신호에서 대상 블록(702)의 화소 신호와의 절대값 오차의 합이 최소가 되는 영역(706)을 검출한다. 이 영역(706)의 신호가 예측 신호가 되고, 영역(704)에서 영역(706)으로의 변위량이 움직임 벡터(707)로서 검출된다. 또한, 참조 화면(703)을 복수 준비하고, 대상 블록마다 블록 매칭을 실시하는 참조 화면을 선택하고, 참조 화면 선택 정보를 검출하는 방법도 사용되는 경우가 있다. H.264에서는, 화상의 국소적인 특징의 변화에 대응하기 위해, 움직임 벡터를 부호화하는 블록 사이즈가 상이한 복수의 예측 타입을 준비하고 있다. H.264의 예측 타입에 대해서는, 예를 들면, 특허문헌 2에 기재되어 있다.

동화상 데이터의 압축 부호화에서는, 각 화면(프레임, 필드)의 부호화 순서는 임의라도 된다. 그러므로, 재생 완료 화면을 참조하여 예측 신호를 생성하는 화면 간 예측에도, 부호화 순서에 대해 3종류의 방법이 있다. 제1 방법은 표시 순으로 과거의 재생 완료 화면을 참조하여 예측 신호를 생성하는 전(前)방향 예측이고, 제2 방법은 표시 순으로 미래의 재생 완료 화면을 참조하여 예측 신호를 생성하는 후(後)방향 예측이며, 제3 방법은 전방향 예측과 후방향 예측을 함께 행하고, 2개의 예측 신호를 평균화하는 쌍방향 예측이다. 화면 간 예측의 종류에 대해서는, 예를 들면, 특허문헌 3에 기재되어 있다.

H.264에서는, 참조 화면(703)의 후보로서, 복수의 재생 완료 화면으로 이루어지는 2개의 참조 화면 리스트를 작성하여 제3 방법을 행한다. 각 참조 화면 리스트에 등록되는 복수의 참조 화면을 대상으로 하여 블록 매칭을 행하고, 영역(706)에 상당하는 영역을 2개 검출하고, 검출한 2개의 예측 신호를 평균화한다. 또한, 전방향 예측이나 후방향 예측에서도, 작성한 2개의 참조 화면 리스트 중 어느 하나를 대상으로 하여 블록 매칭을 행하고, 영역(706)에 상당하는 영역을 검출하여, 그 영역의 신호를 대상 블록의 예측 신호로 한다.

도 2와 도 3에 의해 참조 화면 리스트의 예를 설명한다. 도 2의 (A)에서는, 화면(403)이 부호화 대상 화상, 화면(401, 402, 404), 및 화면(405)이 재생이 완료된 화상을 나타내고 있다. 각 화상(화면)의 식별은 프레임 번호(frame_num)에 의해 행해진다. 도 3의 (A-1)의 L0과 L1이 2개의 참조 화면 리스트를 나타내고, 이 예에서는, 2개의 참조 화면 리스트에 각각 2개의 참조 화면의 프레임 번호가 등록되어 있다. 각 참조 화면의 프레임 번호는 참조 화면 번호(ref_idx), 즉 참조 화면의 프레임 번호를 지시하는 인덱스에 의해 식별된다.

참조 화면 리스트에 등록할 수 있는 재생이 완료된 화상은 기본적으로 임의이다. 도 3의 (A-1)에 나타낸 표(451)와 같이, 2개의 참조 화면 리스트에 등록되어 있는 참조 화면이 모두 과거의 재생 완료 화상이라도 된다. 2개의 참조 화면 리스트로부터 각각, 1개의 참조 화면을 선택하여 양방향 예측을 행하므로, 이 경우, 2개의 예측 신호가 함께 전방향 예측이 된다. 이와 같은 케이스에 대응하기 위해, 최근에는, 2개의 예측 신호를 평균화하는 예측 방법을 쌍방향 예측이 아니라 쌍예측이라고 하고 있다. 이 쌍예측에서는, 움직임 벡터와 참조 화면 번호의 조합(움직임 정보)을 2개 부호화한다.

한편, 도 2의 (B)에서는, 화면(411)이 부호화 대상 화상, 화면(408, 409, 410), 및 화면(412)이 재생 완료 화상을 나타내고 있다. 도 3의 (B)의 L0과 L1이 2개의 참조 화면 리스트를 나타내고, 이 예에서도, 2개의 참조 화면 리스트에 각각 2개의 참조 화면의 프레임 번호가 등록되어 있다. 이 경우, 부호화 대상 화면(411)에 대하여 과거와 미래의 화면이 1개의 참조 리스트에 혼재하여 포함되어 있다. 이와 같은 예측에 대응하기 위해, 최근에는, 1개의 참조 화면으로부터 예측 신호를 생성하는 예측 방법을 전방향 예측이나 후방향 예측이 아니고, 편(片)예측이라고 하는 경우가 있다.

특허문헌 1: 미국 특허공보 제6765964호 특허문헌 2: 미국 특허공보 제7003035호 특허문헌 3: 미국 특허공보 제6259739호

쌍예측은 2개의 신호의 평균화에 의한 노이즈 제거 효과에 의해 높은 예측 성능를 나타내지만, 부호화 대상 화면의 물체가 2개의 참조 화면 중 한쪽에 밖에 나타나지 않는 그런 화면 내의 영역에서는 예측 성능이 저하된다. 그러므로, L0과 L1, 2개의 참조 화면 리스트를 사용하는 쌍예측과, L0, L1의 참조 화면 리스트를 단독으로 사용하는 편예측이 선택적으로 이용된다. 즉, L0을 사용하는 편예측, L1을 사용하는 편예측, 및 쌍예측, 이 3개를 예측 모드의 후보로 하여, 블록 단위로 예측 성능의 높은 예측 모드를 선택한다.

2개의 참조 화면 리스트에 등록되어 있는 참조 화면에 중복이 없는 경우에는, L0과 L1을 사용한 2개의 편예측을 예측 모드의 후보로 하여도, 전체로서의 편예측의 참조 화면의 후보에 중복은 발생하지 않는다. 예를 들면, 도 2의 (A)에 대응하는 참조 화면 리스트의 예인 도 3의 (A-2)에 의하면, L0을 사용하는 편예측과 L1을 사용하는 편예측, 이 2개를 예측 모드의 후보에 그대로 더해도, 4개의 참조 화면(401, 402, 404, 405)이 편예측에 사용하는 참조 화면의 후보가 된다.

그러나, 쌍예측에서는, 동일 참조 화면으로부터 2개의 예측 신호를 생성하고, 그 평균에 의해 예측 신호를 효율적으로 생성할 수 있는 경우가 있다. 예를 들면, 도 3의 (B)의 예와 같이, 2개의 참조 화면 리스트에 동일 참조 화면이 중복되어 등록된다. 이때, L0을 사용하는 편예측과 L1을 사용하는 편예측, 이 2개를 예측 모드의 후보로 하면, 전체로서의 편예측의 참조 화면의 후보에 중복이 발생한다. 그러므로, 예를 들면, 도 3의 (B)에서는, 실제의 참조 화면은 4개 저장되어 있음에도 불구하고, 편예측에 사용하는 참조 화면의 후보는 3개만이 되어, 4개의 참조 화면을 사용하는 경우와 비교하여, 예측 효율이 저하된다.

또한, 편예측은 하나의 예측 방법인 것에 대해, 참조 화면 리스트를 선택하기 위해 2개의 예측 모드를 준비하는 것은 예측 모드의 부호량을 증가시키는 요인이 된다.

그래서, 전술한 문제점을 해결하기 위해, 본 발명의 여러 측면 및 실시예는, 편예측의 예측 성능을 높이는 동시에, 참조 화면 번호와 예측 모드를 더욱 효율적으로 부호화하는 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 일 측면에 따른 화상 예측 부호화 장치는, 입력 화상을 복수의 영역으로 분할하는 영역 분할 수단; 상기 영역 분할 수단에 의해 분할된 부호화 대상으로 하는 대상 영역의 화소 신호와의 상관이 높은 신호를 기재생의 참조 화면으로부터 취득하기 위한 움직임 정보를 구하는 움직임 정보 추정 수단; 상기 움직임 정보에 기초하여, 대상 영역의 예측 신호를 생성하는 예측 신호 생성 수단; 상기 대상 영역의 예측 신호와 상기 대상 영역의 화소 신호에 기초한 잔차 신호를 생성하는 잔차 신호 생성 수단; 상기 잔차 신호에 양자화 처리를 행하여, 양자화 계수를 생성하는 양자화 수단; 상기 움직임 정보와 상기 잔차 신호의 양자화 계수를 부호화하는 부호화 수단; 상기 양자화 수단에 의해 생성한 상기 양자화 계수에 역양자화 처리를 행하여, 잔차 신호를 재생하는 역양자화 수단; 및 상기 예측 신호와 상기 재생된 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 화면을 참조 화면으로서 저장하는 기록 수단을 포함하고, 상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고, 상기 움직임 정보 추정 수단은, 상기 2개의 예측 모드의 후보에서 1개를 선택하고, 편예측을 선택하는 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면으로부터 상기 움직임 정보를 구하고, 상기 부호화 수단은, 움직임 정보로서 적어도 예측 모드를 부호화한다.

또한, 본 발명의 일 측면에 따른 화상 예측 부호화 방법은, 영역 분할 수단이, 입력 화상을 복수의 영역으로 분할하는 단계; 움직임 정보 추정 수단이, 상기 영역 분할 수단에 의해 분할된 부호화 대상으로 하는 대상 영역의 화소 신호와의 상관이 높은 신호를 기재생의 참조 화면으로부터 취득하기 위한 움직임 정보를 구하는 단계; 예측 신호 생성 수단이, 상기 움직임 정보에 기초하여, 대상 영역의 예측 신호를 생성하면, 상기 대상 영역의 예측 신호와 상기 대상 영역의 화소 신호에 기초한 잔차 신호를 생성하는 단계; 양자화 수단이, 상기 잔차 신호에 양자화 처리를 행하여, 양자화 계수를 생성하는 단계; 부호화 수단이, 상기 움직임 정보와 상기 잔차 신호의 양자화 계수를 부호화하는 단계; 역양자화 수단이, 상기 양자화 수단에 의해 생성한 상기 양자화 계수에 역양자화 처리를 행하여, 잔차 신호를 재생하는 단계; 및 기록 수단이, 상기 예측 신호와 상기 재생된 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 화면을 참조 화면으로서 저장하는 단계를 포함하고, 상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고, 상기 움직임 정보 추정 수단은, 상기 2개의 예측 모드의 후보에서 1개를 선택하고, 편예측을 선택하는 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면으로부터 상기 움직임 정보를 구하고, 상기 부호화 수단은, 움직임 정보로서 적어도 예측 모드를 부호화한다.

또한, 본 발명의 일 측면에 따른 화상 예측 부호화 프로그램은, 컴퓨터를, 입력 화상을 복수의 영역으로 분할하는 영역 분할 수단; 상기 영역 분할 수단에 의해 분할된 부호화 대상으로 하는 대상 영역의 화소 신호와의 상관이 높은 신호를 기재생의 참조 화면으로부터 취득하기 위한 움직임 정보를 구하는 움직임 정보 추정 수단; 상기 움직임 정보에 기초하여, 대상 영역의 예측 신호를 생성하는 예측 신호 생성 수단; 상기 대상 영역의 예측 신호와 상기 대상 영역의 화소 신호에 기초한 잔차 신호를 생성하는 잔차 신호 생성 수단; 상기 잔차 신호에 양자화 처리를 행하여, 양자화 계수를 생성하는 양자화 수단; 상기 움직임 정보와 상기 잔차 신호의 양자화 계수를 부호화하는 부호화 수단; 상기 양자화 수단에 의해 생성한 상기 양자화 계수에 역양자화 처리를 행하여, 잔차 신호를 재생하는 역양자화 수단; 및 상기 예측 신호와 상기 재생된 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 화면을 참조 화면으로서 저장하는 기록 수단으로서 기능하게 하고, 상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고, 상기 움직임 정보 추정 수단은, 상기 2개의 예측 모드의 후보에서 1개를 선택하고, 편예측을 선택하는 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면으로부터 상기 움직임 정보를 구하고, 상기 부호화 수단은 움직임 정보로서 적어도 예측 모드를 부호화한다.

이들 본 발명의 일 측면에 따른 화상 예측 부호화 기술에 의하면, 편예측용의 단일의 참조 화면 리스트가 사용된다. 따라서, 편예측의 예측 성능을 높일 수 있다. 또한, 편예측이 선택되는 경우에, 편예측에 이용되는 쌍예측용의 참조 화면 리스트를 특정하는 정보를 부호화할 필요가 없어진다. 따라서, 참조 화면 번호와 예측 모드를 보다 효율적으로 부호화하는 것이 가능해진다.

일 실시예에서는, 상기 움직임 정보 추정 수단은, 상기 2개의 예측 모드 후보에서 1개를 선택하고, 상기 쌍예측을 선택한 경우에는, 상기 기록 수단에 저장되어 있는 복수의 참조 화면에서 2개의 참조 화면을 선택하고, 상기 편예측을 선택한 경우에는, 상기 기록 수단에 저장되어 있는 복수의 참조 화면에서 1개의 참조 화면을 선택하고, 상기 부호화 수단은, 상기 예측 모드를 부호화하고, 상기 움직임 정보에 포함되는 예측 모드가 쌍예측인 경우에는, 상기 쌍예측에 이용 가능한 복수의 참조 화면의 프레임 번호를 등록한 제1 참조 화면 리스트와 제2 참조 화면 리스트에 의해 정해지는, 2개의 참조 화면의 프레임 번호를 식별하는 인덱스를 부호화하고, 2개의 움직임 벡터를 부호화하고, 상기 움직임 정보에 포함되는 예측 모드가 편예측인 경우에는, 상기 편예측에 이용 가능한 복수의 참조 화면의 프레임 번호를 등록한 제3 참조 화면 리스트에 의해 정해지는, 1개의 참조 화면의 프레임 번호를 식별하는 인덱스를 부호화하고, 1개의 움직임 벡터를 부호화해도 된다.

또한, 일 실시예에서는, 상기 제3 참조 화면 리스트의 참조 화면은, 상기 입력 화상의 프레임 번호와 참조 화면의 프레임 번호와의 차의 절대값이 작은 순으로, 제3 참조 화면 리스트에 등록되어 있어도 된다.

본 발명의 다른 일 측면에 따른 화상 예측 복호 장치는, 복수의 영역으로 분할되어 부호화된 화상의 압축 데이터를 해석하고, 복호 대상이 되는 대상 영역의 신호의 움직임 정보의 복호 데이터와, 잔차 신호의 복호 데이터를 복호하는 복호 수단; 상기 복호한 움직임 정보와 기재생의 참조 화면에 기초하여, 대상 영역의 예측 신호를 생성하는 예측 신호 생성 수단; 상기 잔차 신호의 복호 데이터인 양자화 계수에 역양자화 처리를 행하여, 재생 잔차 신호를 재생하는 역양자화 수단; 및 상기 예측 신호와 상기 재생 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 참조 화면을 저장하는 기록 수단을 포함하고, 상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고, 상기 복호 수단은, 움직임 정보로서 적어도 상기 예측 모드를 복호하고, 상기 예측 신호 생성 수단은, 상기 예측 모드가 편예측인 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면에 기초하여, 상기 예측 신호를 생성한다.

또한, 본 발명의 다른 일 측면에 따른 화상 예측 복호 방법은, 복호 수단이, 복수의 영역으로 분할되어 부호화된 화상의 압축 데이터를 해석하고, 복호 대상이 되는 대상 영역의 신호의 움직임 정보의 복호 데이터와, 잔차 신호의 복호 데이터를 복호하는 단계; 예측 신호 생성 수단이, 상기한 복호한 움직임 정보와 기재생의 참조 화면에 기초하여, 대상 영역의 예측 신호를 생성하는 단계; 역양자화 수단이, 상기 잔차 신호의 복호 데이터인 양자화 계수에 역양자화 처리를 행하여, 재생 잔차 신호를 재생하는 단계; 및 기록 수단이, 상기 예측 신호와 상기 재생 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 참조 화면을 보존하는 단계를 포함하고, 상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고, 상기 복호 수단은, 움직임 정보로서 적어도 상기 예측 모드를 복호하고, 상기 예측 신호 생성 수단은, 상기 예측 모드가 편예측인 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면에 기초하여, 상기 예측 신호를 생성한다.

또한, 본 발명의 다른 일 측면에 따른 화상 예측 복호 프로그램은, 컴퓨터를, 복수의 영역으로 분할되어 부호화된 화상의 압축 데이터를 해석하고, 복호 대상이 되는 대상 영역의 신호의 움직임 정보의 복호 데이터와, 잔차 신호의 복호 데이터를 복호하는 복호 수단; 상기한 복호한 움직임 정보와 기재생의 참조 화면에 기초하여, 대상 영역의 예측 신호를 생성하는 예측 신호 생성 수단; 상기 잔차 신호의 복호 데이터인 양자화 계수에 역양자화 처리를 행하여, 재생 잔차 신호를 재생하는 역양자화 수단; 및 상기 예측 신호와 상기 재생 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 참조 화면을 저장하는 기록 수단으로서 기능하게 하고, 상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측 과2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고, 상기 복호 수단은, 움직임 정보로서 적어도 상기 예측 모드를 복호하고, 상기 예측 신호 생성 수단은, 상기 예측 모드가 편예측인 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면에 기초하여, 상기 예측 신호를 생성한다.

이들 본 발명의 일 측면에 따른 화상 예측 복호 기술에 의하면, 편예측용의 단일의 참조 화면 리스트가 사용된다. 따라서, 편예측의 예측 성능을 높일 수 있다. 또한, 편예측이 선택되는 경우에, 편예측에 사용하는 쌍예측용의 참조 화면 리스트를 특정하는 정보가 압축 데이터에 포함되어 있을 필요가 없다. 따라서, 참조 화면 번호와 예측 모드에 관하여 효율적으로 부호화된 데이터로부터, 화상을 복호하는 것이 가능해진다.

일 실시예에서는, 상기 복호 수단은, 상기 예측 모드를 복호하고, 또한 상기 복호한 예측 모드가 쌍예측인 경우에는, 제1 참조 화면 리스트와 제2 참조 화면 리스트에 의해 정해지는, 2개의 참조 화면의 프레임 번호를 식별하는 인덱스를 복호하고, 2개의 움직임 벡터를 복호하고, 상기 복호한 예측 모드가 편예측인 경우에는, 제3 참조 화면 리스트에 의해 정해지는, 1개의 참조 화면의 프레임 번호를 식별하는 인덱스를 복호하고, 1개의 움직임 벡터를 복호해도 된다.

본 발명의 다양한 측면 및 실시예에 관한 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램에 의하면, 참조 화면의 중복이 없는 편예측용의 참조 화면 리스트를 준비함으로써, 예측 모드와 참조 화면 번호의 부호화를 보다 효율적으로 부호화할 수 있는 효과가 있다.

도 1은 일 실시예에 따른 화상 예측 부호화 장치를 나타낸 블록도이다.
도 2는 화면의 부호화 순서와 참조 화면의 예를 설명하는 모식도이다.
도 3은 종래의 참조 화면 리스트를 설명하기 위한 도표이다.
도 4는 참조 화면 리스트의 예를 설명하기 위한 도표이다.
도 5는 도 1에 나타낸 화상 예측 부호화 장치의 처리를 설명하는 흐름도이다.
도 6은 제3 참조 화면 리스트의 생성 처리를 설명하는 흐름도이다.
도 7은 일 실시예에 따른 화상 예측 복호 장치를 나타낸 블록도이다.
도 8은 도 7에 나타낸 화상 예측 복호 장치의 처리를 설명하는 흐름도이다.
도 9는 제3 참조 화면 리스트의 생성 처리를 설명하는 흐름도의 제2 예를 나타낸 흐름도이다.
도 10은 제3 참조 화면 리스트의 생성 처리를 설명하는 흐름도의 제3 예를 나타낸 흐름도이다.
도 11은 일 실시예에 따른 화상 예측 부호화 방법을 실행할 수 있는 프로그램을 나타낸 블록도이다.
도 12는 일 실시예에 따른 화상 예측 복호 방법을 실행할 수 있는 프로그램을 나타낸 블록도이다.
도 13은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이다.
도 14는 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다.
도 15는 화면 간 예측에서의 블록 매칭 처리를 설명하기 위한 모식도이다.
도 16은 종래의 화면 내 예측 방법을 설명하기 위한 모식도이다.
도 17은 참조 화면 리스트의 제2 예를 설명하기 위한 도표이다.

이하, 첨부 도면을 참조하면서 본 실시예를 상세하게 설명한다. 그리고, 도면의 설명에 있어서 동일 또는 동등한 요소에는 동일한 부호를 부여하고, 중복되는 설명을 생략한다.

도 1은, 일 실시예에 따른 화상 예측 부호화 장치(100)를 나타낸 블록도이다. 이 화상 예측 부호화 장치(100)는, 입력 단자(101), 블록 분할기(102), 예측 신호 생성기(103), 프레임 메모리(104), 감산기(105), 변환기(106), 양자화기(107), 역(逆)양자화기(108), 역(逆)변환기(109), 가산기(110), 부호화기(111), 출력 단자(112), 움직임 정보 추정기(113), 참조 화면 리스트 관리기(114)를 구비하고 있다. 그리고, 변환기(106)와 양자화기(107)는 양자화 수단으로서 기능한다. 또한, 역양자화기(108)와 역변환기(109)는 역양자화 수단으로서 기능한다. 참조 화면 리스트 관리기(114)는 예측 신호 생성기(103)와 움직임 정보 추정기(113)에 포함되어 있어도 된다.

입력 단자(101)는 복수 장의 화상으로 이루어지는 동화상의 신호를 입력하는 단자이다.

블록 분할기(102)는 입력 단자(101)로부터 입력된 신호에 의해 표현되는, 부호화 처리의 대상이 되는 화상을 복수의 영역으로 분할한다. 본 실시예에서는, 부호화 대상의 화상을 16x16 화소로 이루어지는 블록으로 분할하지만, 그 이외의 크기 또는 형상의 블록으로 분할해도 된다. 또한, 화면 내에 사이즈가 상이한 블록이 혼재해도 된다. 분할된 블록은 부호화 순으로 블록 분할기(102)로부터 대상 블록으로서 출력되고, L102a와 L102b를 경유하여, 각각 움직임 정보 추정기(113) 및 감산기(105)에 출력된다.

움직임 정보 추정기(113)에서는, 대상 블록 내의 예측 신호를 생성하기 위해 필요한 움직임 정보를 검출한다. 대상 블록의 예측 신호의 생성 방법(예측 방법)에 대해서는, 배경 기술에서 설명한 바와 같은 화면 간 예측이나 화면 내 예측(화면 내 예측에 대해서는 도시하지 않음)을 적용할 수 있지만, 본 실시예에서는, 블록 매칭(도 15)에 의해 검출한 움직임 정보를 사용하여 예측하는 방법을 고려한다. 그리고, 움직임 정보에는, 움직임 벡터, 예측 모드(편예측/쌍예측), 복수의 참조 화면에서 예측에 이용하는 참조 화면의 프레임 번호를 지시하는 참조 화면 번호가 포함된다.

움직임 정보 추정기(113)는, 블록 매칭을 사용하여, 1개(편예측) 또는 2개(쌍예측)의 움직임 벡터를 검출하고, 또한 예측 모드와 참조 화면의 선택을 행하고, 움직임 정보를 생성한다. 그리고, 생성한 움직임 정보를 예측 신호 생성기(103)와 부호화기(111)에 출력한다.

예측 신호 생성기(103)에서는, L113 경유로 입력된 대상 블록의 움직임 정보에 기초하여, L104를 경유하여 프레임 메모리(104)로부터 기재생 신호를 취득하고, 대상 블록의 예측 신호를 생성한다.

예측 신호 생성기(103)에 의해 생성된 예측 신호는, L103 경유로 감산기(105)와 가산기(110)에 출력된다.

감산기(105)는, 블록 분할기(102)에 의해 분할되어 L102a 경유로 입력된 대상 블록의 화소 신호에서, L103를 경유하여 입력되는 대상 블록에 대한 예측 신호를 감산하여, 잔차 신호를 생성한다. 감산기(105)는 감산하여 얻은 잔차 신호를, L105를 경유하여 변환기(106)에 출력한다.

변환기(106)는 입력된 잔차 신호를 이산 코사인 변환하는 부분이다. 또한, 양자화기(107)는 변환기(106)에 의해 이산 코사인 변환된 변환계수를 양자화하는 부분이며, 양자화 변환계수를 부호화기(111)에 출력한다.

역양자화기(108)는 양자화된 변환계수를 역양자화한다. 역변환기(109)는 역이산 코사인 변환에 의해 잔차 신호를 복원한다. 가산기(110)는 복원된 잔차 신호와 L103b 경유로 입력되는 예측 신호를 가산하고, 대상 블록의 신호를 재생하고, 재생된 신호를 프레임 메모리(104)에 저장한다. 본 실시예에서는, 변환기(106)와 역변환기(109)를 사용하고 있지만, 이들 변환기를 대신하는 다른 변환 처리를 사용해도 된다. 또한, 변환기(106) 및 역변환기(109)는 필수는 아니다. 이와 같이, 후속의 대상 블록의 예측 신호 생성에 사용하므로, 부호화된 대상 블록의 재생 신호는, 역처리에 의해 복원되고 프레임 메모리(104)에 기억된다.

부호화기(111)는, 양자화기(107)에 L107 경유로 입력된 양자화 변환계수, L113를 경유하여 입력된 움직임 정보를 엔트로피 부호화한다. 엔트로피 부호화 방법은 한정되지 않지만, 산술 부호화나 가변길이 부호화 등을 적용할 수 있다.

부호화 데이터는 L111을 경유하여 출력 단자(112)에 출력된다.

출력 단자(112)는 부호화기(111)로부터 출력된 정보를 모아서 외부에 출력한다.

참조 화면 리스트 관리기(114)는, 프레임 메모리(104)에 저장되어 있는 참조 화면(예를 들면, 도 2의 (A)의 401, 402, 404, 405나 도 2의 (B)의 408, 409, 410, 412)에 부여된 프레임 번호와 움직임 정보에 포함되는 참조 화면 번호를 대응시키기 위한 참조 화면 리스트를 3개(L0, L1, L2) 작성한다. L0과 L1은 쌍예측, L2는 편예측 시에, 참조 화면 번호로부터 참조 화면의 프레임 번호를 도출하고, 프레임 메모리(104)로부터 재생 신호를 취득하기 위해 사용된다.

참조 화면 리스트의 정보는, 움직임 정보 추정기(113)와 예측 신호 생성기(103)에 통지된다(도시하지 않음). 그러므로, 움직임 정보 추정기(113)와 예측 신호 생성기(103)는 L0과 L1의 참조 화면 리스트로부터 쌍예측에 이용 가능한 참조 화면 번호의 정보를 취득할 수 있다. 또한, L2의 참조 화면 리스트로부터 편예측에 이용 가능한 참조 화면 번호의 정보를 취득할 수 있다.

예측 신호 생성기(103)가 프레임 메모리(104)로부터 움직임 정보에 따른 재생 신호를 취득할 때는, 예측 모드와 참조 화면 번호가 참조 화면 리스트 관리기(114)에 통지된다(L115). 또한, 움직임 정보 추정기(113)가 프레임 메모리(104)로부터 움직임 정보에 따른 재생 신호를 취득할 때도, 예측 모드와 참조 화면 번호가 참조 화면 리스트 관리기(114)에 통지된다. 프레임 메모리에서는 참조 화면의 프레임 번호와 참조 화면을 관리하고 있으므로, 참조 화면 리스트 관리기(114)는, 참조 화면 리스트를 사용하여 참조 화면의 프레임 번호를 도출하고, L114 경유로 프레임 메모리에 취득 대상의 참조 화면의 프레임 번호를 통지한다. 이와 같이, 예측 신호 생성기(103)와 움직임 정보 추정기(113)는 움직임 정보에 대응하는 재생 신호를 취득한다.

즉, 참조 화면 리스트 관리기(114)는, 예측 신호 생성기(103)로부터 예측 모드와 참조 화면 번호의 통지를 받았을 때, 예측 모드가 쌍예측인 경우에는, L0과 L1을 사용하여, 2개의 참조 화면 번호에 대응하는 2개의 참조 화면의 프레임 번호를 도출한다. 한편, 예측 모드가 편예측인 경우에는, L2를 사용하여, 1개의 참조 화면 번호에 대응하는 1개의 참조 화면의 프레임 번호를 도출한다.

도 4에서 참조 화면 리스트의 예를 설명한다.

도 4의 (A)는, 도 2의 (A)에 나타낸 참조 화면(401, 402, 404, 405)에 대한 참조 화면 리스트의 예이다. 이들 4개의 참조 화면이 프레임 메모리(104)에 저장되어 있다.

L0과 L1은 쌍예측에 사용되는 참조 화면 리스트이며, L2는 편예측에 사용되는 참조 화면 리스트이다. ref_idx는 각 리스트에 등록된 참조 화면의 프레임 번호(frame_num)를 지시하기 위한 인덱스(참조 화면 번호: ref_idx)를 나타내고 있다.

도 4의 (A)의 예에서는, 참조 화면 리스트 관리기(114)는, 참조 화면 리스트 L2에 등록하는 참조 화면을, L0과 L1에 등록되어 있는 참조 화면에 기초하여 결정하고 있다.

L0과 L1에 같은 참조 화면이 중복되어 등록되어 있는 경우에는, 참조 화면 리스트 관리기(114)는, L2에 1개만을 등록한다. 도 4의 (A)의 예에서는, L0과 L1에 등록되어 있는 참조 화면에 중복이 없기 때문에, L0과 L1에 등록되어 있는 모든 참조 화면을 L2에 등록한다. 도 4의 (A)의 예에서는, 4개의 참조 화면(401, 402, 404, 405)의 프레임 번호가 L2에 등록된다. L2에 등록된 참조 화면에는, 부호화 대상 화면(403)과의 시간 방향의 거리 차가 작은 순, 즉, 2개의 화면 간의 참조 프레임 번호의 차의 절대값이 작은 순으로, 0번부터 ref_idx를 부여한다. 거리 차가 동일한 참조 화면이 있는 경우에는, 값이 작은 프레임 번호의 참조 화면에, 값이 작은 ref_idx를 부여한다.

도 4의 (B)는, 도 2의 (B)에 나타낸 참조 화면(408, 409, 410, 412)에 대한 참조 화면 리스트의 예이다. 도 4의 (B)의 예에서는, 참조 화면 리스트 관리기(114)는, 참조 화면 리스트 L2에 등록하는 참조 화면을, 프레임 메모리에 저장되어 있는 참조 화면에 기초하여 결정하고 있다. 이 예에서는, 4개의 참조 화면(408, 409, 410, 412)의 프레임 번호를 L2에 등록하고 있다. L2에 등록된 참조 화면에는, 부호화 대상 화면(411)과의 시간 방향의 거리 차가 작은 순, 즉, 2개의 화면 간의 참조 프레임 번호의 차의 절대값이 작은 순으로, 0번에서부터 ref_idx를 부여한다. 거리 차가 동일한 참조 화면이 있는 경우에는, 값이 작은 프레임 번호의 참조 화면에, 값이 작은 ref_idx를 부여한다.

도 4의 (C)는, 도 2의 (B)에 나타낸 참조 화면(408, 409, 410, 412)에 대한 참조 화면 리스트의 예이다. 도 4의 (C)의 예에서는, 도 4의 (B)와 달리, 참조 화면 리스트 관리기(114)는, 참조 화면 리스트 L2에 등록하는 참조 화면을, L0과 L1에 등록되어 있는 참조 화면에 기초하여 결정하고 있다. 도 4의 (C)의 예에서는, L0과 L1에 등록되어 있는 참조 화면에 중복이 있으므로, 3개의 참조 화면(409, 410, 412)의 프레임 번호가 L2에 등록된다. 이와 같이, L0과 L1에 등록되어 있는 참조 화면에 기초하여 L2를 결정하면, 편예측에 이용할 수 있는 참조 화면의 수가 줄어드는 경우가 있다.

그리고, 3개의 참조 화면 리스트는, 프레임마다 갱신해도 되고, 복수의 블록을 모은 슬라이스마다 갱신해도 되고, 블록마다 갱신해도 된다.

도 5는 본 실시예에 따른 화상 예측 부호화 장치(100)에서의 화상 예측 부호화 방법의 절차를 나타낸 흐름도이다. 먼저, 블록 분할기(102)에 의해 입력 화상을 16x16의 부호화 블록으로 분할한다(그 이외의 크기 또는 형상의 블록으로 분할해도 된다. 또한, 화면 내에 사이즈가 상이한 블록이 혼재해도 된다).

대상 블록의 예측 신호의 생성 방법(예측 방법)에 대해서는, 배경 기술에서 설명한 바와 같은 화면 간 예측이나 화면 내 예측(화면 내 예측에 대해서는 도시하지 않음)을 적용할 수 있지만, 본 실시예에서는, 블록 매칭(도 15)에 의해 검출한 움직임 정보를 사용하여 예측하는 방법을 고려한다. 그리고, 움직임 정보에는, 움직임 벡터, 예측 모드(편예측/쌍예측), 복수의 참조 화면으로부터 예측에 이용하는 참조 화면의 프레임 번호를 지시하는 참조 화면 번호가 포함된다.

먼저, 참조 화면 리스트 관리기(114)는, 프레임 메모리(104)에 저장되어 있는 참조 화면(예를 들면, 도 2의 401, 402, 404, 405나 도 2의 408, 409, 410, 412)에 부여된 프레임 번호의 정보에 기초하여, 3개의 참조 화면 리스트를 작성한다(단계 S101).

다음에, 움직임 정보 추정기(113)는 움직임 정보(예측 모드, 참조 화면 번호, 움직임 벡터)를 부호화 대상의 화면과 프레임 메모리(104)에 저장되어 있는 참조 화면에 기초하여 생성한다(단계 S102). 예측 신호 생성기(103)는 움직임 정보와 프레임 메모리(104)에 저장되어 있는 참조 화면에 기초하여, 대상 블록의 예측 신호를 생성한다(단계 S103).

다음에, 부호화기(111)는, 움직임 정보에 포함되는 예측 모드를 엔트로피 부호화한다(단계 S104). 예측 모드가 쌍예측인 경우에는 단계 S106으로 진행하고, 편예측의 경우에는 단계 S107로 진행한다(단계 S105).

단계 S106에서는, 도 4에 설명한 L0과 L1에 기초한, 움직임 정보에 포함되는 2개의 참조 화면의 프레임 번호에 대응하는 참조 화면 번호(ref_idx)를 엔트로피 부호화한다. 추가로, 쌍예측에 사용하는 2개의 움직임 벡터를 엔트로피 부호화한다.

한편, 단계 S107에서는, 도 4에 설명한 L2에 기초한, 움직임 정보에 포함되는 참조 화면의 프레임 번호에 대응하는 참조 화면 번호(ref_idx)를 엔트로피 부호화한다. 추가로, 편예측에 사용하는 움직임 벡터를 엔트로피 부호화한다.

대상 블록의 화소 신호와 예측 신호의 차분인 잔차 신호는, 변환기(106), 양자화기(107)에 의해, 변환, 양자화된다. 부호화기(111)는 이 처리에 의해 생성된 양자화 변환을 엔트로피 부호화한다(단계 S108).

후속의 대상 블록을 예측 부호화하므로, 이들 처리 후에 또는 이들의 처리와 병행하여, 양자화 변환계수에 역양자화기(108) 및 역변환기(109)에 의해, 역양자화와 역변환을 행하여 잔차 신호를 복원한다. 그리고, 가산기(110)에 의해, 복원된 잔차 신호와 예측 신호가 가산되고, 대상 블록의 신호가 재생된다. 재생 신호는 프레임 메모리(104)에 참조 화면으로서 기억된다(단계 S109). 그리고, 모든 대상 블록의 처리가 완료되지 않은 경우에는 처리는 단계 S102로 복귀하고, 다음의 대상 블록에 대한 처리가 행해진다. 모든 대상 블록의 처리가 완료된 경우에는, 처리를 종료한다(단계 S110). 그리고, 3개의 참조 화면 리스트의 갱신을 블록 단위로 행하는 경우에는, 단계 S101는 단계 S110의 처리 루프에 포함된다. 또한, 3개의 참조 화면 리스트의 갱신을 슬라이스 단위로 행하는 경우에는, 도 5의 처리 전체를 슬라이스 단위로 실시한다.

도 6은 도 5에서의 3개의 참조 화면 리스트 관리 처리 절차(단계 S101)를 나타낸 흐름도이다. 여기서는, 도 4의 (A)와 (C)에 나타낸 바와 같이, 참조 화면 리스트 L2에 등록하는 참조 화면을, L0과 L1에 등록되어 있는 참조 화면에 기초하여 결정하는 경우의 절차를 예로 설명한다.

참조 화면 리스트 관리기(114)는, 먼저, 프레임 메모리(104)에 저장되어 있는 참조 화면의 프레임 번호의 정보에 기초하여, 도 4에 나타낸 바와 같은 L0과 L1의 참조 화면 리스트를 생성한다(단계 S701).

다음에, 참조 화면 리스트 관리기(114)는, 파라미터의 초기화 처리(단계 S705)를 행한다. 초기화에서는, i, j, k의 각종 파라미터를 0으로 리셋한다. i, j, k는 각각, L0,L1, L2의 ref_idx를 나타내고 있다.

초기화 후, 참조 화면 리스트 관리기(114)는, L0에 등록되어 있는 N개의 참조 화면을 L2에 등록하는지의 여부를 판정하는 처리를 행한다. 먼저, ref_idx=i가 부여되어 있는 참조 화면 L0[i]의 프레임 번호가, L2에 존재하는지를 판정한다(단계 S720). 이미 존재하는 경우에는, L0[i]를 L2에 등록하지 않고 S740으로 진행한다. 존재하지 않는 경우에는, L0[i]에 등록되어 있는 참조 화면의 프레임 번호를 L2[k]에 등록한다. 그리고, k의 값을 1 증가시킨 후, 단계 S740으로 진행한다(단계 S730). 단계 S740에서는, i의 값을 1 증가시킨다. 단계 S710은, L0에 포함되는 N개의 참조 화면에 S720, S730, S740의 처리가 행해졌는지를 판정한다. 종료한 경우에는, 단계 S750으로 진행하고, 종료하지 않은 경우에는, S720으로 진행하여, S720, S730, S740의 처리를 반복한다.

다음에, L1에 등록되어 있는 M개의 참조 화면을 L2에 등록하는지의 여부를 판정하는 처리를 행한다. 먼저, ref_idx=j가 부여되어 있는 참조 화면 L1[j]의 프레임 번호가, L2에 존재하는지를 판정한다(단계 S760). 이미 존재하는 경우에는, L1[j]를 L2에 등록하지 않고 S780으로 진행한다. 존재하지 않는 경우에는, L1[j]에 등록되어 있는 참조 화면의 프레임 번호를 L2[k]에 등록한다. 그리고, k의 값을 1 증가시킨 후, 단계 S780으로 진행한다(단계 S770). 단계 S780에서는, j의 값을 1 증가시켜, 단계 S750에서, L1에 포함되는 M개의 참조 화면에 S760, S770, S780의 처리가 행해졌는지를 판정한다. 종료한 경우에는, 단계 S790으로 진행하고, 종료하지 않은 경우에는, S760으로 진행하여, S760, S770, S780의 처리를 반복한다.

마지막으로, 참조 화면 리스트 관리기(114)는, L2에 등록된 참조 화면의 프레임 번호에 대하여, 처리 대상 화면과 참조 화면 간의 시간 방향 거리 차가 작은 순으로, 즉, 2개의 화면 사이의 참조 프레임 번호의 차의 절대값이 작은 순으로, 값이 작은 ref_idx(참조 화면 번호)가 부여되도록, 참조 화면의 프레임 번호를 정렬시킨다. 그리고, 거리 차가 같은 참조 화면이 등록되어 있는 경우에는, 값이 작은 프레임 번호의 참조 화면에, 값이 작은 ref_idx를 부여한다.

이와 같이, 쌍예측에 적절한 2개의 참조 화면 리스트 L0과 L1에 더하여, 편예측에 적절한 제3 참조 화면 리스트 L2를 준비함으로써, 프레임 메모리에 준비된 참조 화면을 효율적으로 사용하는 것이 가능하게 된다. 예를 들면, 4개의 참조 화면이 프레임 메모리에 저장되어 있을 때, L0과 L1의 참조 화면에 중복이 있으면, 편예측에 사용하는 참조 화면의 수(L0과 L1에 등록된 참조 화면의 수)는 총 3개 이하가 된다. 편예측용으로 참조 화면 리스트 L2를 준비함으로써, L0과 L1의 참조 화면에 중복이 있는 경우라도, 4개의 참조 화면을 사용하여 편예측을 실시할 수 있게 된다.

또한, 편예측의 참조 화면 리스트가 1개가 되므로, 편예측 시에, 예측 모드에 의해 참조 화면 리스트를 선택할 필요가 없어져, 예측 모드의 부호화 효율이 개선된다.

다음에, 일 실시예에 따른 화상 예측 복호에 대하여 설명한다. 도 7은 일 실시예에 따른 화상 예측 복호 장치(200)를 나타낸 블록도이다. 이 화상 예측 복호 장치(200)는, 입력 단자(201), 복호기(202), 역양자화기(203), 역변환기(204), 가산기(205), 출력 단자(206), 프레임 메모리(104), 예측 신호 생성기(103), 참조 화면 리스트 관리기(114)를 구비하고 있다. 역양자화기(108)와 역변환기(109)는 역양자화 수단으로서 기능한다. 그리고, 역양자화 수단은, 이것들 외의 것을 사용하여 행해도 된다. 또한, 역변환기(204)는 없어도 된다. 참조 화면 리스트 관리기(114)는 예측 신호 생성기(103)에 포함되어 있어도 된다.

입력 단자(201)는, 전술한 화상 예측 부호화 방법으로 압축 부호화된 압축 데이터를 입력한다. 이 압축 데이터에는, 복수로 분할된 복호 대상의 블록(대상 블록)에 대하여, 오차 신호를 변환 양자화하여 엔트로피 부호화한 양자화 변환계수와, 블록의 예측 신호를 생성하기 위한 움직임 정보를 복원하기 위한 부호화 데이터가 포함되어 있다.

대상 블록의 예측 신호의 생성 방법(예측 방법)에 대해서는, 배경 기술에서 설명한 바와 같은 화면 간 예측이나 화면 내 예측(화면 내 예측에 대해서는 도시하지 않음)이 적용할 수 있지만, 본 실시예에서는, 블록 매칭(도 15)에 의해 검출한 움직임 정보를 사용하여 예측하는 방법을 고려한다. 그리고, 움직임 정보에는, 움직임 벡터, 예측 모드(편예측/쌍예측), 복수의 참조 화면으로부터 예측에 이용하는 참조 화면의 프레임 번호를 지시하는 참조 화면 번호가 포함된다.

본 실시예에서는, 복호 대상의 대상 블록의 사이즈를 16x16으로 하지만, 그 이외의 크기 또는 형상의 블록으로 분할해도 된다. 또한, 화면 내에 사이즈가 상이한 블록이 혼재해도 된다.

복호기(202)는, 입력 단자(201)에 입력된 압축 데이터를 해석하여, 복호 대상의 대상 블록에 관한 양자화 변환계수의 부호화 데이터와 움직임 정보의 부호화 데이터로 분리하는 동시에, 엔트로피 복호하고, 복호 데이터, 즉 양자화 변환계수와 움직임 정보를 L202a, L202b 경유로, 각각, 역양자화기(203)와 예측 신호 생성기(103)에 출력한다. 엔트로피 복호의 방법은 한정되지 않지만, 산술 부호나 가변길이 부호 등이 적용할 수 있다.

움직임 정보에 대해서는, 복호기(202)는 예측 모드와 참조 화면 번호(ref_idx)와 움직임 벡터를 복호한다.

예측 신호 생성기(103)에서는, L202b 경유하여 입력된 움직임 정보에 기초하여, 프레임 메모리(104)로부터 기재생 신호를 취득하고, 대상 블록의 예측 신호를 생성한다. 생성된 예측 신호는 L103 경유로 가산기(205)에 출력된다.

역양자화기(203)는 라인 L202a 경유로 입력된 양자화 변환계수를 역양자화한다. 역변환기(204)는 역양자화한 데이터를 역이산 코사인 변환하여, 대상 블록의 오차 신호를 복원한다.

가산기(205)는 예측 신호 생성기(103)에 의해 생성된 예측 신호를, 역양자화기(203) 및 역변환기(204)에 의해 복원된 잔차 신호에 가산하여, 대상 블록의 재생 화소 신호를 라인 L205 경유로 출력 단자(206) 및 프레임 메모리(104)에 출력한다. 출력 단자(206)는 외부(예를 들면, 디스플레이)에 출력한다.

프레임 메모리(104)는 다음의 복호 처리를 위한 참조용의 재생 화상으로서, 가산기(205)로부터 출력된 재생 화상을 참조 화면으로서 기억한다.

참조 화면 리스트 관리기(114)는, 프레임 메모리(104)에 저장되어 있는 참조 화면(예를 들면, 도 2의 (A)의 401, 402, 404, 405나 도 2의 (B)의 408, 409, 410, 412)에 부여된 프레임 번호와 움직임 정보에 포함되는 참조 화면 번호를 대응시키기 위한 참조 화면 리스트를 3개(L0,L1, L2) 작성한다. L0과 L1은 쌍예측, L2는 편예측 시에, 참조 화면 번호로부터 참조 화면의 프레임 번호를 도출하고, 프레임 메모리(104)로부터 재생 신호를 취득하기 위해 사용된다.

참조 화면 리스트의 정보는, 예측 신호 생성기(103)에 통지된다(도시하지 않음). 그러므로, 예측 신호 생성기(103)는 L0과 L1의 참조 화면 리스트로부터 쌍예측에 이용 가능한 참조 화면 번호의 정보를 취득할 수 있다. 또한, L2의 참조 화면 리스트로부터 편예측에 이용 가능한 참조 화면 번호의 정보를 취득할 수 있다.

예측 신호 생성기(103)가 프레임 메모리(104)로부터 움직임 정보에 따른 재생 신호를 취득할 때는, 예측 모드와 참조 화면 번호가 참조 화면 리스트 관리기(114)에 통지된다(L115). 프레임 메모리(104)에서는 참조 화면의 프레임 번호를 사용하여 참조 화면을 관리하고 있으므로, 참조 화면 리스트 관리기(114)는, 참조 화면 리스트에 기초하여 참조 화면의 프레임 번호를 도출하고, L114 경유로 프레임 메모리에 취득 대상의 참조 화면의 프레임 번호를 통지한다. 이와 같이, 예측 신호 생성기(103)는, 움직임 정보에 대응하는 재생 신호를 취득한다.

도 4를 사용하여 참조 화면 리스트의 예를 설명한다.

도 4의 (A)은, 도 2의 (A)에 나타낸 참조 화면(401, 402, 404, 405)에 대한 참조 화면 리스트의 예이다. 이들 4개의 참조 화면이 프레임 메모리(104)에 저장되어 있다.

L0과 L1에 동일 참조 화면이 중복되어 등록되어 있는 경우에는, 참조 화면 리스트 관리기(114)는, L2에 이들 중복되는 2개의 참조 화면 중 하나의 프레임 번호만을 등록한다. 도 4의 (A)의 예에서는, L0과 L1에 등록되어 있는 참조 화면에 중복이 없기 때문에, L0과 L1에 등록되어 있는 모든 참조 화면을 L2에 등록한다. 도 4의 (A)의 예에서는, 4개의 참조 화면(401, 401, 404, 405)의 프레임 번호가 L2에 등록된다. L2에 등록된 참조 화면에는, 부호화 대상 화면(411)과의 시간 방향의 거리 차가 작은 순, 즉, 2개의 화면 사이의 참조 프레임 번호의 차의 절대값이 작은 순으로, 0번에서부터 ref_idx를 부여한다. 거리 차가 같은 참조 화면이 있는 경우에는, 값이 작은 프레임 번호의 참조 화면에, 값이 작은 ref_idx를 부여한다.

도 4의 (B)은, 도 2의 (B)에 나타낸 참조 화면(408, 409, 410, 412)에 대한 참조 화면 리스트의 예이다. 도 4의 (B)의 예에서는, 참조 화면 리스트 관리기(114)는, 참조 화면 리스트 L2에 등록하는 참조 화면을, 프레임 메모리에 저장되어 있는 참조 화면에 기초하여 결정하고 있다. 이 예에서는, 4개의 참조 화면(408, 409, 410, 412)의 프레임 번호를 L2에 등록하고 있다. L2에 등록된 참조 화면에는, 부호화 대상 화면(411)과의 시간 방향의 거리 차가 작은 순, 즉, 2개의 화면 사이의 참조 프레임 번호의 차의 절대값이 작은 순으로, 0번에서부터 ref_idx를 부여한다. 거리 차가 같은 참조 화면이 있는 경우에는, 값이 작은 프레임 번호의 참조 화면에, 값이 작은 ref_idx를 부여한다.

다음에, 도 8을 사용하여, 도 7에 나타낸 화상 예측 복호 장치(200)에서의 화상 예측 복호 방법을 설명한다. 먼저, 입력 단자(201)를 통하여, 압축 데이터가 입력된다. 이 압축 데이터에는, 복수로 분할된 복호 대상의 블록(대상 블록)에 대하여, 오차 신호를 변환 양자화하여 엔트로피 부호화한 양자화 변환계수와, 블록의 예측 신호를 생성하기 위한 움직임 정보의 부호화 데이터가 포함되어 있다.

먼저, 참조 화면 리스트 관리기(114)는, 프레임 메모리(104)에 저장되어 있는 참조 화면(예를 들면, 도 2의 401, 402, 404, 405나 도 2의 408, 409, 410, 412)에 부여된 프레임 번호의 정보에 기초하여, 3개의 참조 화면 리스트를 생성한다(단계 S101).

다음에, 복호기(202)는, 입력 단자(201)에 입력된 압축 데이터를 해석하여, 복호 대상의 대상 블록에 관한 움직임 정보를 엔트로피 복호한다. 움직임 정보의 복호 데이터에는, 예측 모드, 참조 화면 번호(ref_idx)와 움직임 벡터가 포함된다.

먼저, 단계 S201에서는, 복호기(202)는, 예측 모드를 엔트로피 복호한다.

이어서, 복호기(202)는, 복호한 예측 모드에 기초하여, 복호하는 참조 화면과 움직임 벡터의 수를 판정한다. 복호한 예측 모드가 쌍예측인 경우에는, 단계 S203으로 진행하고, 예측 모드가 편예측인 경우에는 단계 S204로 진행한다(단계 S202).

단계 S203에서는, 쌍예측을 위해, L0과 L1에 기초한 2개의 참조 화면 번호(ref_idx)와 2개의 움직임 벡터를 엔트로피 복호한다. 한편, 단계 S204에서는, 편예측을 위해, L2에 기초한 1개의 참조 화면 번호(ref_idx) 와1개의 움직임 벡터를 엔트로피 복호한다.

다음에, 예측 신호 생성기(103)는, 복호한 움직임 정보에 기초하여, 대상 블록의 예측 신호를 생성한다(단계 S205). 프레임 메모리(104)로부터 움직임 정보에 따른 재생 신호를 취득할 때는, 참조 화면 리스트 관리기(114)에 예측 모드와 참조 화면 번호를 통지한다. 프레임 메모리(104)에서는, 참조 화면의 프레임 번호를 사용하여 참조 화면을 관리하고 있으므로, 참조 화면 리스트 관리기(114)에 의해, 참조 화면의 프레임 번호를 도출하고, 원하는 참조 화면의 재생 신호를 취득한다. 이와 같이, 예측 신호 생성기(103)는 단계 S203에 의해, 움직임 정보에 대응하는 재생 신호를 취득한다.

다음에, 복호 대상의 대상 블록에 관한 양자화 변환계수를 엔트로피 복호한다. 복호기(202)에 의해 복호된 양자화 변환계수는, 역양자화기(203)에 있어서 역양자화되어 역변환기(204)에 있어서 역변환이 행해져, 재생 잔차 신호가 생성된다(단계 S206). 그리고, 생성된 예측 신호와 재생 잔차 신호가 가산됨으로써 재생 신호가 생성되고, 이 재생 신호가 다음의 대상 블록을 재생하기 위해 프레임 메모리(104)에 저장된다(단계 S207). 다음의 압축 데이터가 있는 경우에는, S201∼S207의 프로세스를 반복(S208)함으로써, 전체 데이터가 최후까지 처리된다.

그리고, 3개의 참조 화면 리스트의 갱신을 블록 단위로 행하는 경우에는, 단계 S101은 단계 S208의 처리 루프에 포함된다. 또한, 3개의 참조 화면 리스트의 갱신을 슬라이스 단위로 행하는 경우에는, 도 8의 처리 전체를 슬라이스 단위로 실시한다.

도 6은 도 8에서의 3개의 참조 화면 리스트 관리 처리 절차(단계 S101)를 나타낸 흐름도이다.

참조 화면 리스트 관리기(114)는, 먼저, 프레임 메모리(104)에 저장되어 있는 참조 화면의 프레임 번호의 정보에 기초하여, 도 4에 나타낸 바와 같은 L0과 L1의 참조 화면 리스트를 생성한다(단계 S701). 여기서는, 도 4의 (A)와 (C)에 나타낸 바와 같이, 참조 화면 리스트 L2에 등록하는 참조 화면을, L0과 L1에 등록되어 있는 참조 화면에 기초하여 결정하는 경우의 절차를 예로 설명한다.

다음에, 참조 화면 리스트 관리기(114)는, 파라미터의 초기화 처리(단계 S705)를 행한다. 초기화에서는, i, j, k의 각종 파라미터를 0으로 리셋한다. i, j, k는 각각, L0, L1, L2의 ref_idx를 나타내고 있다.

초기화 후, 참조 화면 리스트 관리기(114)는, L0에 등록되어 있는 N개의 참조 화면을 L2에 등록하는지의 여부를 판정하는 처리를 행한다. 먼저, ref_idx=i가 부여되어 있는 참조 화면 L0[i]의 프레임 번호가, L2에 존재하는지를 판정한다(단계 S720). 이미 존재하는 경우에는, L0[i]를 L2에 등록하지 않고 S740으로 진행한다. 존재하지 않는 경우에는, L0[i]에 등록되어 있는 참조 화면의 프레임 번호를 L2[k]에 등록한다. 그리고, k의 값을 1 증가시킨 후, 단계 S740으로 진행한다(단계 S730). 단계 S740에서는, i의 값을 1 증가시킨다. 단계 S710는, L0에 포함되는 N개의 참조 화면에 S720, S730, S740의 처리가 행해졌는지를 판정한다. 종료한 경우에는, 단계 S750으로 진행하고, 종료하지 않은 경우에는, S720으로 진행하여, S720, S730, S740의 처리를 반복한다.

다음에, L1에 등록되어 있는 M개의 참조 화면을 L2에 등록하는지의 여부를 판정하는 처리를 행한다. 먼저, ref_idx=j가 부여되어 있는 참조 화면 L1[j]의 프레임 번호가, L2에 존재하는지를 판정한다(단계 S760). 이미 존재하는 경우에는, L1[j]를 L2에 등록하지 않고 S780으로 진행한다. 존재하지 않는 경우에는, L1[j]에 등록되어 있는 참조 화면의 프레임 번호를 L2[k]에 등록한다. 그리고, k의 값을 1 증가시킨 후, 단계 S780으로 진행한다(단계 S770). 단계 S780에서는, j의 값을 1 증가시키고, 단계 S750에서, L1에 포함되는 M개의 참조 화면에 S760, S770, S780의 처리가 행해졌는지를 판정한다. 종료한 경우에는, 단계 S790으로 진행하고, 종료하지 않은 경우에는, S760으로 진행하여, S760, S770, S780의 처리를 반복한다.

마지막으로, 참조 화면 리스트 관리기(114)는, L2에 등록된 참조 화면의 프레임 번호에 대하여, 처리 대상 화면과 참조 화면 사이의 시간 방향의 거리 차가 작은 순으로, 즉, 2개의 화면 사이의 참조 프레임 번호의 차의 절대값이 작은 순으로, 값이 작은 ref_idx(참조 화면 번호)가 부여되도록, 참조 화면의 프레임 번호를 정렬시킨다. 그리고, 거리 차가 같은 참조 화면이 등록되어 있는 경우에는, 값이 작은 프레임 번호의 참조 화면에, 값이 작은 ref_idx를 부여한다.

본 발명에서는, 또한 하기의 변형이 가능하다.

(프레임 번호)

상기에서는, 참조 화면이나 부호 대상 화면의 식별을 프레임 번호에 의해 행하고 있지만, 프레임 번호에 한정되지 않는다. 임의의 화면의 프레임 번호로부터의 차분값 등, 각 화면을 식별할 수 있는 정보이면 프레임 번호의 대신에 이용할 수 있다.

(참조 화면 리스트의 작성 방법)

L0과 L1에 등록되어 있는 참조 화면에 기초하여 참조 화면 리스트를 생성하는 경우에 대하여, 참조 화면 리스트의 생성 방법은, 도 6의 절차에 한정되지 않는다. 도 9와 도 10에 다른 예를 나타낸다. 이들 예에서는, 도 6과 같이, L2에 등록된 참조 화면의 교체 처리를 행하지 않는다. L0과 L1의 참조 화면이, L2의 참조 화면의 교체를 행하지 않아도 되도록 정렬되어 있는 경우에는 유효하다. 즉, 도 9와 도 10에 나타낸 순서로 L0과 L1의 참조 화면을 L2에 등록하는 처리를 행하면, 대상 화면에 거리가 가까운 참조 화면, 즉 2개의 화면 사이의 참조 프레임 번호의 차의 절대값이 작은 화면부터 L2에 등록 되도록 L0과 L1가 구성되어 있는 경우를 상정하고 있다.

도 9에서는, 참조 화면 리스트 관리기(114)는, 먼저, 프레임 메모리(104)에 저장되어 있는 참조 화면의 프레임 번호의 정보에 기초하여, 도 4에 나타낸 바와 같은 L0과 L1의 참조 화면 리스트를 생성한다(단계 S501).

다음에, 참조 화면 리스트 관리기(114)는, 파라미터의 초기화 처리(단계 S505)를 행한다. 초기화에서는, i, j, k의 각종 파라미터를 0으로 리셋한다. i, j, k는 각각, L0,L1, L2의 ref_idx를 나타내고 있다.

초기화 후, 참조 화면 리스트 관리기(114)는 단계 S510으로 진행한다.

단계 S510에서는, i가 N보다 작은지를 판정하고, 작은 경우에는, 단계 S520으로 진행하고, 크거나 같은 경우에는 단계 S550으로 진행한다. 단계 S520에서는, L0에 등록되어 있는 N개의 참조 화면 중, ref_idx=i가 부여되어 있는 참조 화면 L0[i]의 프레임 번호가, L2에 존재하는지를 판정한다. 이미 존재하는 경우에는, L0[i]를 L2에 등록하지 않고 S540으로 진행한다. 존재하지 않는 경우에는, L0[i]에 등록되어 있는 참조 화면의 프레임 번호를 L2[k]에 등록한다. 그리고, k의 값을 1 증가시킨 후, 단계 S540으로 진행한다(단계 S530). 단계 S540에서는, i의 값을 1 증가시키고, 단계 S550으로 진행한다.

단계 S550에서는, j가 M보다 작은지를 판정하고, 작은 경우에는, 단계 S560으로 진행하고, 크거나 같은 경우에는 단계 S590으로 진행한다. 단계 S560에서는, L0에 등록되어 있는 M개의 참조 화면 중, ref_idx=j가 부여되어 있는 참조 화면 L1[j]의 프레임 번호가, L2에 존재하는지를 판정한다. 이미 존재하는 경우에는, L1[j]를 L2에 등록하지 않고 S580으로 진행한다. 존재하지 않는 경우에는, L1[j]에 등록되어 있는 참조 화면의 프레임 번호를 L2[k]에 등록한다. 그리고, k의 값을 1 증가시킨 후, 단계 S580으로 진행한다(단계 S570). 단계 S580에서는, j의 값을 1 증가시키고, 단계 S590으로 진행한다.

단계 S590에서, i=N이고 또한 j=M인지를 판정한다. 조건을 만족시키는 경우에는, 종료하고, 만족시키지 않는 경우에는, 단계 S510으로 돌아간다.

도 10에서는, 참조 화면 리스트 관리기(114)는, 먼저, 프레임 메모리(104)에 저장되어 있는 참조 화면의 프레임 번호의 정보에 기초하여, 도 4에 나타낸 바와 같은 L0과 L1의 참조 화면 리스트를 생성한다(단계 S601).

다음에, 참조 화면 리스트 관리기(114)는, 파라미터의 초기화 처리(단계 S605)를 행한다. 초기화에서는, i, j, k의 각종 파라미터를 0으로 리셋한다. i, j, k는 각각, L0,L1, L2의 ref_idx를 나타내고 있다.

초기화 후, 참조 화면 리스트 관리기(114)는, L0에 등록되어 있는 N개의 참조 화면을 L2에 등록하는지의 여부를 판정하는 처리를 행한다. 먼저, ref_idx=i가 부여되어 있는 참조 화면 L0[i]의 프레임 번호가, L2에 존재하는지를 판정한다(단계 S620). 이미 존재하는 경우에는, L0[i]를 L2에 등록하지 않고 S640으로 진행한다. 존재하지 않는 경우에는, L0[i]에 등록되어 있는 참조 화면의 프레임 번호를 L2[k]에 등록한다. 그리고, k의 값을 1 증가시킨 후, 단계 S640으로 진행한다(단계 S630). 단계 S640에서는, i의 값을 1 증가시키고, 단계 S610에서, L0에 포함되는 N개의 참조 화면에 S620, S630, S640의 처리가 행해졌는지를 판정하고, 종료한 경우에는, 단계 S650으로 진행하고, 종료하지 않은 경우에는, S620으로 진행하여, S620, S630, S640의 처리를 반복한다.

다음에, L1에 등록되어 있는 M개의 참조 화면을 L2에 등록하는지의 여부를 판정하는 처리를 행한다. 먼저, ref_idx=j가 부여되어 있는 참조 화면 L1[j]의 프레임 번호가, L2에 존재하는지를 판정한다(단계 S660). 이미 존재하는 경우에는, L1[j]를 L2에 등록하지 않고 S680으로 진행한다. 존재하지 않는 경우에는, L1[j]에 등록되어 있는 참조 화면의 프레임 번호를 L2[k]에 등록한다. 그리고, k의 값을 1 증가시킨 후, 단계 S680으로 진행한다(단계 S670). 단계 S680에서는, j의 값을 1 증가시키고, 단계 S650에서, L1에 포함되는 M개의 참조 화면에 S660, S670, S680의 처리가 행해졌는지를 판정하고, 조건을 만족시키는 경우에는 처리를 종료하고, 조건을 만족시키지 않는 경우에는, S660으로 진행하여, S660, S670, S680의 처리를 반복한다.

(참조 화면 리스트의 이용 방법)

상기에서는, 참조 화면 리스트 L2를 편예측에 이용하고, L0과 L1을 쌍예측에 이용하고 있었지만, 3개의 참조 화면 리스트의 이용 방법은 이에 한정되지 않는다. 예를 들면, L2만을 작성하고, 쌍예측의 참조 화면 번호의 도출에도 L2를 사용하도록 해도 된다. 즉, L0과 L1은 쌍예측 시에 사용하지 않는다.

이때는, 2개의 상이한 참조 화면 번호를 선택하도록 제한을 두어도 된다. 미래에 표시되는 참조 화면이 프레임 메모리에 존재하는 경우에는, 양방향 예측(과거와 미래의 참조 화면으로부터 예측 신호를 생성함)이 효과적이다. 그래서, 쌍예측의 제1 예측 신호의 생성에 이용한 참조 화면은, 제2 예측 신호를 생성하기 위한 참조 화면의 후보에서 제외한다.

이 예를 도 17의 (A-1)과 (A-2)를 이용하여 설명한다. 도 2의 (A)에 나타낸 바와 같이, 부호화 대상 화면(403)에 대하여, 4개의 참조 화면(401, 402, 404, 405)이 프레임 메모리에 저장되어 있는 경우를 상정한다.

제1 예측 신호의 생성에 사용하는 참조 화면 번호를 취급할 때는, 도 17의 (A-1)에 나타낸 참조 화면 리스트(460)를 사용한다. 여기서, 참조 화면(402)을 제1 예측 신호 생성을 위해 선택한 경우에는, 참조 화면 리스트(460)에 기초하여, ref_idx=0(frame_num=1)이 제1 참조 화면 번호가 된다.

한편, 제2 예측 신호의 생성에 사용하는 참조 화면을 선택할 때는, 도 17의 (A-2)에 나타낸 바와 같이 참조 화면(402)을 제외한 참조 화면 리스트(461)를 이용한다. 화면(404)을 제2 예측 신호의 생성에 사용하는 참조 화면으로 결정한 경우에는, ref_idx=0(frame_num=3)이 제2 참조 화면 번호가 된다. 이와 같이, 제2 참조 화면을 부호화할 때의 참조 화면의 후보가 실질적으로 적어지게 되므로, 제2 참조 화면 번호의 부호화에 필요한 부호량이 삭감된다.

복호 측에서는, 제1 예측 신호의 참조 화면 번호로서 ref_idx=0(frame_num=1)을 복호한 후, ref_idx=0에 대응하는 화면(401)을 제거한 참조 화면 리스트(461)를 작성한다. 제2 예측 신호의 참조 화면 번호로서 ref_idx=0(frame_num=3)을 복호하면, 참조 화면 리스트(461)로부터 제2 참조 화면이 화면(404)인 것이 알 수 있다.

또한, L2를 쌍예측에 사용하는 다른 방법으로서, 쌍예측용의 2개의 참조 화면 번호 ref_idx_0(여기서는, ref_idx_0은 0이나 1로 하지만 한정되지 않음)과 ref_idx_1(여기서는, ref_idx_1은 0이나 1로 하지만 한정되지 않음)을 L2의 참조 화면 리스트의 ref_idx로 변환하는 함수를 준비해도 된다. 예를 들면, 제1 참조 화면 번호를 ref_idx = ref_idx_0＋offset_0, 제2 참조 화면 번호 ref_idx_1을 ref_idx = ref_idx_1＋offset_1로 산출하는 것으로 한다. L2가 도 17의 (A)의 참조 화면 리스트(462)일 때, offset_0=0, offset_1=2로 하면, 도 4의 (A)의 L0과 L1과 같이, 제1 참조 화면의 후보를 화면(402, 401), 제2 참조 화면의 후보를 화면(403, 404)으로 설정할 수 있다.

다른 예로서, 제1 참조 화면 번호를 ref_idx = ref_idx_0×2＋ offset_0, 제2 참조 화면 번호를 ref_idx = ref_idx_1×2＋offset_1로 산출하는 경우를 고려한다. L2가 도 17의 (C)의 참조 화면 리스트(463)일 때, 이때, offset_0=0, offset_1=1로 하면, 도 4의 (A)의 L0과 L1과 같이, 제1 참조 화면의 후보를 화면(402, 401), 제2 참조 화면의 후보를 화면(403, 404)으로 설정할 수 있다.

이와 같이, 쌍예측용의 2개의 참조 화면 번호 ref_idx_0과 ref_idx_1을 L2의 참조 화면 리스트의 ref_idx로 변환하는 함수를 준비함으로써, 1개의 참조 화면 리스트라도 효율을 손상시키지 않고 쌍예측의 2개의 참조 화면 번호를 부호화할 수 있다.

그리고, 이와 같은 함수를 복수 준비하고, 프레임 단위, 슬라이스 단위, 블록 단위로 적응적으로 선택하여 사용하도록 해도 된다. 이때, 선택에 필요한 정보는 부호화된다.

또한, L2와는 상이한 1개의 쌍예측용의 참조 화면 리스트를 생성하고, 상기에서 설명한 바와 같은 함수를 사용해도 된다. 즉, 편예측용과 쌍예측용의 2개의 참조 화면 리스트를 사용하여, 참조 화면 번호의 부호화 및 참조 화면의 프레임 번호의 도출 처리를 실시한다.

(참조 화면 리스트의 부호화)

상기에서는, 참조 화면 리스트는 미리 정한 규칙으로 자동으로 생성되어 있지만, L2의 참조 화면 리스트를, 블록마다, 프레임마다 또는 슬라이스마다 부호화해도 된다. 이 경우에는, 참조 화면 리스트를 생성하는 처리는 복호 장치에서는 불필요해진다. L0과 L1의 참조 화면 리스트도 마찬가지로 부호화해도 된다. 복호 측에서는, 참조 화면 리스트를 복호기(202)에 의해 재생한다.

또한, 참조 화면 리스트의 생성 방법을 복수 준비하고, 블록마다, 프레임마다 또는 슬라이스마다 어느 생성 방법을 이용하는지를 지시하는 선택 정보를 부호화해도 된다. 생성 방법은 각 리스트에서 개별적으로 준비하여 부호화해도 된다. 복호 측에서는, 복호기(202)가 복호한 생성 방법을 참조 화면 리스트 관리기(114)에 출력한다. 참조 화면 리스트 관리기(114)는 입력된 참조 화면 리스트의 생성 방법에 의해, 3개의 참조 화면 리스트를 생성한다.

(참조 화면의 프레임 번호의 부호화)

참조 화면 리스트의 이용은, 예측에 사용하는 참조 화면을 식별하는 정보를 효율적으로 엔트로피 부호화하기 위한 구성과 다름없다. 그러므로, 도 4에 나타낸 바와 같은 참조 화면 리스트를, 가변길이 부호화의 부호화 테이블이나, 산술 부호화의 부호화 요소의 이진화 테이블로서 사용하고, 참조 화면의 프레임 번호를 직접 부호화하고, 복호하도록 해도 된다. 이 경우, 도 4의 ref_idx의 난(欄)이, 가변길이 부호나 이진 코드로 치환된다. 그리고, 가변길이 부호나 이진 코드에 대해서는, 쌍예측의 제1 및 제2 참조 화면용과, 편예측의 참조 화면용으로 개별로 3종류 준비하여 이루어진다.

(움직임 벡터의 부호화)

움직임 벡터는, 통상, 대상 블록에 인접하는 블록에 부수하는 움직임 벡터(예측 움직임 벡터)와의 차분값으로 부호화된다. 움직임 벡터를 차분 부호화하는 경우에도, 제3 참조 화면 리스트를 사용한 편예측의 참조 화면의 프레임 번호를 부호화하고, 복호하는 방법은 이용할 수 있다.

그러므로, 부호화기 및 복호기에서는, 참조 화면 리스트, 참조 화면 번호, 및 움직임 벡터의 세트, 또는 참조 화면의 프레임 번호, 및 움직임 벡터의 세트로 움직임 벡터를 저장한다.

예측 움직임 벡터에는, 통상, 대상 블록의 움직임 벡터가 지시하는 참조 화면과 동일한 참조 화면을 지시하는 움직임 벡터를 사용한다. 복수의 인접 블록(예를 들면, 대상 블록의 바로 위쪽, 바로 왼쪽, 왼쪽 위, 오른쪽 위의 블록 등)에서 이 조건을 만족시키는 움직임 벡터가 예측 움직임 벡터로서 선택된다.

이때, 참조 화면의 프레임 번호를 사용하여 대상 블록과 인접 블록의 움직임 벡터가 지시하는 참조 화면을 비교하는 방법에서는, 참조 화면의 프레임 번호가 같으면, 상이한 참조 화면 리스트의 움직임 벡터도 예측 움직임 벡터로서 선택 가능해진다. 그리고, 대상 블록의 예측 움직임 벡터를, 대상 블록의 예측 모드와 같은 예측 모드로 예측된 인접 블록의 움직임 벡터에서 선택하도록 해도 된다. 이 경우, 같은 참조 화면 리스트의 참조 화면 번호를 비교하면 되므로, 움직임 벡터의 예측 처리는 간단해진다. 즉, 참조 화면의 프레임 번호가 아니고, 편예측의 경우에는 L2에 등록되어 있는 참조 화면 번호를 비교하면 된다. 쌍예측의 경우에는, 블록이 보유하는 2개의 움직임 벡터는 각각, L0과 L1에 기초하여 참조 화면을 지시하고 있다. 그러므로, L0에 등록되어 있는 참조 화면 번호와 L1에 등록되어 있는 참조 화면 번호를 각각 비교하면 된다.

이 방법에서는, 참조 화면 리스트 L2를, 예측 모드와 참조 화면 번호의 부호화/복호만이 아니고, 움직임 벡터의 부호화/복호 등의 참조 화면을 참조하는 처리에도 이용할 수 있다.

한편, 움직임 벡터의 부호화/복호 시에는, L0과 L1의 참조 화면 번호와 참조 화면 리스트를 사용하여 대상 블록과 인접 블록의 움직임 벡터가 지시하는 참조 화면을 비교해도 된다. 이 경우, 부호화기와 복호기는, 예측 모드가 편예측일 때, 참조 화면 번호의 부호화 후 또는 복호 후에, 참조 화면 리스트 L2의 참조 화면 번호를 참조 화면 리스트 L0 또는 L1의 참조 화면 번호로 변환하여 둔다. 부호화기와 복호기에 의해 실시하는 도 6, 도 9나 도 10의 처리에 의해, L2의 참조 화면 번호와 L0 또는 L1의 참조 화면 번호의 관계는 명확하기 때문에, 부호화기와 복호기는 모순되지 않고, 참조 화면 리스트 L2의 참조 화면 번호에서 참조 화면 리스트 L0 또는 L1의 참조 화면 번호로의 변환은 실시할 수 있다. 또한, 참조 화면 리스트 관리기(114)가, 참조 화면 리스트 L2에 등록하는 참조 화면을, 프레임 메모리에 저장되어 있는 참조 화면에 기초하여 결정하는 경우에는, L2의 참조 화면 번호와 L0 또는 L1의 참조 화면 번호의 관계를 부호화하도록 해도 된다. 이 경우, L0과 L1의 참조 화면 번호와 L2의 참조 화면과의 사이의 변환 처리는 부호화기만으로 행하면 된다.

이와 같이, L2의 참조 화면 번호와 L0 또는 L1의 참조 화면 번호의 관계를 명확하게 함으로써, 참조 화면 리스트 L2를 예측 모드와 참조 화면 번호의 부호화/복호에만 이용하고, 움직임 벡터의 부호화/복호와 같이 움직임 벡터를 사용하는 처리에서는 L0과 L1을 이용하도록, 부호화 처리 및 복호 처리를 구성하는 것이 가능해진다.

(변환기, 역변환기)

잔차 신호의 변환 처리는, 고정된 블록 사이즈로 행해도 되고, 부분 영역에 맞추어 대상 영역을 재분할하여 변환 처리를 행해도 된다.

(색 신호)

전술한 설명에서는, 색 포맷에 대하여는 특별히 설명하지 않았지만, 색 신호 또는 색차 신호에 대하여도, 휘도 신호와 개별적으로 예측 신호의 생성 처리를 행해도 된다. 또한, 휘도 신호의 처리와 연동하여 예측 신호의 생성 처리를 행해도 된다. 휘도 신호와는 별도로 예측 신호를 생성하는 경우에는, 편예측용의 제3 참조 화면 리스트에 대해서도, 휘도 신호와는 별도로, 색 신호용의 참조 화면 리스트를 준비해도 된다.

본 실시예에 따른 화상 예측 부호화 방법 및 화상 예측 복호 방법을, 프로그램으로서 기록 매체에 저장하여 제공할 수도 있다. 기록 매체로서는, 플로피 디스크(등록상표), CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다.

도 11은 화상 예측 부호화 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다. 화상 예측 부호화 프로그램(P100)은, 블록 분할 모듈(P101), 움직임 정보 추정 모듈(P102), 예측 신호 생성 모듈(P103), 기억 모듈(P104), 감산 모듈(P105), 변환 모듈(P106), 양자화 모듈(P107), 역양자화 모듈(P108), 역변환 모듈(P109), 가산 모듈(P110), 부호화 모듈(P111), 및 참조 화면 리스트 관리 모듈(P112)을 구비하고 있다. 상기 각 모듈이 컴퓨터에 의해 실행됨으로써 실현되는 기능은, 전술한 화상 예측 부호화 장치(100)의 기능과 같다. 즉, 블록 분할 모듈(P101), 움직임 정보 추정 모듈(P102), 예측 신호 생성 모듈(P103), 기억 모듈(P104), 감산 모듈(P105), 변환 모듈(P106), 양자화 모듈(P107), 역양자화 모듈(P108), 역변환 모듈(P109), 가산 모듈(P110), 부호화 모듈(P111), 참조 화면 리스트 관리 모듈(P112)은, 블록 분할기(102), 움직임 정보 추정기(113), 예측 신호 생성기(103), 프레임 메모리(104), 감산기(105), 변환기(106), 양자화기(107), 역양자화기(108), 역변환기(109), 가산기(110), 부호화기(111), 참조 화면 리스트 관리기(114)와 각각 동일한 기능을 컴퓨터로 하여금 실행하게 한다.

또한, 도 12는, 화상 예측 복호 방법을 실행할 수 있는 프로그램의 모듈을 나타낸 블록도이다. 화상 예측 복호 프로그램(P200)은, 복호 모듈(P201), 참조 화면 리스트 관리 모듈(P202), 예측 신호 생성 모듈(P203), 기억 모듈(P204), 역양자화 모듈(P205), 역변환 모듈(P206) 및 가산 모듈(P207)을 구비하고 있다.

상기 각 모듈이 실행됨으로써 실현되는 기능은, 전술한 화상 예측 복호 장치(200)의 각 구성 요소와 같다. 즉, 복호 모듈(P201), 참조 화면 리스트 관리 모듈(P202), 예측 신호 생성 모듈(P203), 기억 모듈(P204), 역양자화 모듈(P205), 역변환 모듈(P206), 가산 모듈(P207)은, 복호기(202), 참조 화면 리스트 관리기(114), 예측 신호 생성기(103), 프레임 메모리(104), 역양자화기(203), 역변환기(204), 가산기(205)와 각각 동일한 기능을 컴퓨터로 하여금 실행하게 한다.

이와 같이 구성된 화상 예측 부호화 프로그램(P100) 또는 화상 예측 복호 프로그램(P200)은, 기록 매체(10)에 기억되고, 후술하는 컴퓨터에 의해 실행된다.

도 13은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이며, 도 14는 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다. 그리고, 기록 매체에 기억된 프로그램을 실행하는 것은 컴퓨터로 한정되지 않고, CPU를 구비하고 소프트웨어에 의한 처리나 제어를 행하는 DVD 플레이어, 셋탑 박스, 휴대 전화 등이라도 된다.

도 14에 나타낸 바와 같이, 컴퓨터(30)는, 플로피 디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(12)와, 운영체제를 상주시킨 작업용 메모리(RAM)(14)와, 기록 매체(10)에 기억된 프로그램을 기억하는 메모리(16)와, 디스플레이 등의 표시 장치(18)와, 입력 장치인 마우스(20) 및 키보드(22)와, 데이터 등의 송수신을 행하기 위한 통신 장치(24)와, 프로그램의 실행을 제어하는 CPU(26)를 구비하고 있다. 컴퓨터(30)는, 기록 매체(10)가 판독 장치(12)에 삽입되면, 판독 장치(12)로부터 기록 매체(10)에 저장된 화상 예측 부호화·복호 프로그램에 액세스 가능해지고, 상기 화상 부호화 또는 복호 프로그램에 의해, 본 실시예에 따른 화상 부호화 장치 또는 화상 복호 장치로서 동작할 수 있게 된다.

도 13에 나타낸 바와 같이, 화상 예측 부호화 프로그램 및 화상 복호 프로그램은, 반송파에 중첩된 컴퓨터 데이터 신호(40)로서 네트워크를 통하여 제공되는 것이라도 된다. 이 경우, 컴퓨터(30)는, 통신 장치(24)에 의해 수신한 화상 예측 부호화 프로그램 또는 화상 복호 프로그라를 메모리(16)에 저장하고, 그 화상 예측 부호화 프로그램 또는 화상 예측 복호 프로그램을 실행할 수 있다.

이상, 본 발명을 그 실시예에 기초하여 상세하게 설명하였다. 그러나, 본 발명은 또한 상기 실시예에 한정되는 것은 아니다. 본 발명은 그 요지를 벗어나지 않는 범위에서 다양한 변형이 가능하다.

100: 화상 예측 부호화 장치, 101: 입력 단자, 102: 블록 분할기, 103: 예측 신호 생성기, 104: 프레임 메모리, 105: 감산기, 106: 변환기, 107: 양자화기, 108: 역양자화기, 109: 역변환기, 110: 가산기, 111: 부호화기, 112: 출력 단자, 113: 움직임 정보 추정기, 114: 참조 화면 리스트 관리기, 201: 입력 단자, 202: 복호기, 203: 역양자화기, 204: 역변환기, 205: 가산기, 206: 출력 단자.

Claims

화상 예측 부호화 장치로서,
입력 화상을 복수의 영역으로 분할하는 영역 분할 수단;
상기 영역 분할 수단에 의해 분할된 부호화 대상으로 하는 대상 영역의 화소 신호와의 상관이 높은 신호를 기(旣)재생의 참조 화면으로부터 취득하기 위한 움직임 정보를 구하는 움직임 정보 추정 수단;
상기 움직임 정보에 기초하여, 대상 영역의 예측 신호를 생성하는 예측 신호 생성 수단;
상기 대상 영역의 예측 신호와 상기 대상 영역의 화소 신호에 기초한 잔차 신호를 생성하는 잔차 신호 생성 수단;
상기 잔차 신호에 양자화 처리를 행하여, 양자화 계수를 생성하는 양자화 수단;
상기 움직임 정보와 상기 잔차 신호의 양자화 계수를 부호화하는 부호화 수단;
상기 양자화 수단에 의해 생성한 상기 양자화 계수에 역양자화 처리를 행하여, 잔차 신호를 재생하는 역양자화 수단; 및
상기 예측 신호와 상기 재생된 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 화면을 참조 화면으로서 저장하는 기록 수단
을 포함하고,
상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고,
상기 움직임 정보 추정 수단은, 상기 2개의 예측 모드의 후보에서 1개를 선택하고, 편예측을 선택하는 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면으로부터 상기 움직임 정보를 구하고,
상기 부호화 수단은, 움직임 정보로서 적어도 예측 모드를 부호화하고,
상기 움직임 정보 추정 수단은, 상기 2개의 예측 모드의 후보에서 1개를 선택하고, 상기 쌍예측을 선택한 경우에는, 상기 기록 수단에 저장되어 있는 복수의 참조 화면에서 2개의 참조 화면을 선택하고, 상기 편예측을 선택한 경우에는, 상기 기록 수단에 저장되어 있는 복수의 참조 화면에서 1개의 참조 화면을 선택하고,
상기 부호화 수단은,
상기 예측 모드를 부호화하고,
상기 움직임 정보에 포함되는 예측 모드가 쌍예측인 경우에는, 상기 쌍예측에 이용 가능한 복수의 참조 화면의 프레임 번호를 등록한 제1 참조 화면 리스트와 제2 참조 화면 리스트에 의해 정해지는, 2개의 참조 화면의 프레임 번호를 식별하는 인덱스를 부호화하고, 2개의 움직임 벡터를 부호화하고,
상기 움직임 정보에 포함되는 예측 모드가 편예측인 경우에는, 상기 편예측에 이용 가능한 복수의 참조 화면의 프레임 번호를 등록한 제3 참조 화면 리스트에 의해 정해지는, 1개의 참조 화면의 프레임 번호를 식별하는 인덱스를 부호화하고, 1개의 움직임 벡터를 부호화하는, 화상 예측 부호화 장치.
제1항에 있어서,
상기 제3 참조 화면 리스트의 참조 화면은, 상기 입력 화상의 프레임 번호와 참조 화면의 프레임 번호와의 차의 절대값이 작은 순으로, 제3 참조 화면 리스트에 등록되어 있는, 화상 예측 부호화 장치.
화상 예측 복호 장치로서,
복수의 영역으로 분할되어 부호화된 화상의 압축 데이터를 해석하고, 복호 대상이 되는 대상 영역의 신호의 움직임 정보의 복호 데이터와, 잔차 신호의 복호 데이터를 복호하는 복호 수단;
상기 복호한 움직임 정보와 기재생의 참조 화면에 기초하여, 대상 영역의 예측 신호를 생성하는 예측 신호 생성 수단;
상기 잔차 신호의 복호 데이터인 양자화 계수에 역양자화 처리를 행하여, 재생 잔차 신호를 재생하는 역양자화 수단; 및
상기 예측 신호와 상기 재생 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 참조 화면을 저장하는 기록 수단
을 포함하고,
상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고,
상기 복호 수단은, 움직임 정보로서 적어도 상기 예측 모드를 복호하고,
상기 예측 신호 생성 수단은, 상기 예측 모드가 편예측인 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면에 기초하여, 상기 예측 신호를 생성하며,
상기 복호 수단은,
상기 예측 모드를 복호하고, 또한
상기 복호한 예측 모드가 쌍예측인 경우에는, 제1 참조 화면 리스트와 제2 참조 화면 리스트에 의해 정해지는, 2개의 참조 화면의 프레임 번호를 식별하는 인덱스를 복호하고, 2개의 움직임 벡터를 복호하며,
상기 복호한 예측 모드가 편예측인 경우에는, 제3 참조 화면 리스트에 의해 정해지는, 1개의 참조 화면의 프레임 번호를 식별하는 인덱스를 복호하고, 1개의 움직임 벡터를 복호하는, 화상 예측 복호 장치.
제3항에 있어서,
상기 제3 참조 화면 리스트의 참조 화면은, 상기 화상의 프레임 번호와 참조 화면의 프레임 번호와의 차의 절대값이 작은 순으로, 제3 참조 화면 리스트에 등록되어 있는, 화상 예측 복호 장치.
화상 예측 부호화 방법으로서,
영역 분할 수단이, 입력 화상을 복수의 영역으로 분할하는 단계;
움직임 정보 추정 수단이, 상기 영역 분할 수단에 의해 분할된 부호화 대상으로 하는 대상 영역의 화소 신호와의 상관이 높은 신호를 기재생의 참조 화면으로부터 취득하기 위한 움직임 정보를 구하는 단계;
예측 신호 생성 수단이, 상기 움직임 정보에 기초하여, 대상 영역의 예측 신호를 생성하면, 상기 대상 영역의 예측 신호와 상기 대상 영역의 화소 신호에 기초한 잔차 신호를 생성하는 단계;
양자화 수단이, 상기 잔차 신호에 양자화 처리를 행하여, 양자화 계수를 생성하는 단계;
부호화 수단이, 상기 움직임 정보와 상기 잔차 신호의 양자화 계수를 부호화하는 단계;
역양자화 수단이, 상기 양자화 수단에 의해 생성한 상기 양자화 계수에 역양자화 처리를 행하여, 잔차 신호를 재생하는 단계; 및
기록 수단이, 상기 예측 신호와 상기 재생된 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 화면을 참조 화면으로서 저장하는 단계
를 포함하고,
상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고,
상기 움직임 정보 추정 수단은, 상기 2개의 예측 모드의 후보에서 1개를 선택하고, 편예측을 선택하는 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면으로부터 상기 움직임 정보를 구하고,
상기 부호화 수단은, 움직임 정보로서 적어도 예측 모드를 부호화하며,
상기 움직임 정보 추정 수단은, 상기 2개의 예측 모드의 후보에서 1개를 선택하고, 상기 쌍예측을 선택한 경우에는, 상기 기록 수단에 저장되어 있는 복수의 참조 화면에서 2개의 참조 화면을 선택하고, 상기 편예측을 선택한 경우에는, 상기 기록 수단에 저장되어 있는 복수의 참조 화면에서 1개의 참조 화면을 선택하고,
상기 부호화 수단은,
상기 예측 모드를 부호화하고,
상기 움직임 정보에 포함되는 예측 모드가 쌍예측인 경우에는, 상기 쌍예측에 이용 가능한 복수의 참조 화면의 프레임 번호를 등록한 제1 참조 화면 리스트와 제2 참조 화면 리스트에 의해 정해지는, 2개의 참조 화면의 프레임 번호를 식별하는 인덱스를 부호화하고, 2개의 움직임 벡터를 부호화하고,
상기 움직임 정보에 포함되는 예측 모드가 편예측인 경우에는, 상기 편예측에 이용 가능한 복수의 참조 화면의 프레임 번호를 등록한 제3 참조 화면 리스트에 의해 정해지는, 1개의 참조 화면의 프레임 번호를 식별하는 인덱스를 부호화하고, 1개의 움직임 벡터를 부호화하는,
화상 예측 부호화 방법.
화상 예측 부호화 프로그램을 저장한 컴퓨터 판독가능 저장 매체로서,
상기 화상 예측 부호화 프로그램은 컴퓨터를,
입력 화상을 복수의 영역으로 분할하는 영역 분할 수단;
상기 영역 분할 수단에 의해 분할된 부호화 대상으로 하는 대상 영역의 화소 신호와의 상관이 높은 신호를 기재생의 참조 화면으로부터 취득하기 위한 움직임 정보를 구하는 움직임 정보 추정 수단;
상기 움직임 정보에 기초하여, 대상 영역의 예측 신호를 생성하는 예측 신호 생성 수단;
상기 대상 영역의 예측 신호와 상기 대상 영역의 화소 신호에 기초한 잔차 신호를 생성하는 잔차 신호 생성 수단;
상기 잔차 신호에 양자화 처리를 행하여, 양자화 계수를 생성하는 양자화 수단;
상기 움직임 정보와 상기 잔차 신호의 양자화 계수를 부호화하는 부호화 수단;
상기 양자화 수단에 의해 생성한 상기 양자화 계수에 역양자화 처리를 행하여, 잔차 신호를 재생하는 역양자화 수단; 및
상기 예측 신호와 상기 재생된 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 화면을 참조 화면으로서 저장하는 기록 수단
으로서 기능하게 하고,
상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고,
상기 움직임 정보 추정 수단은, 상기 2개의 예측 모드의 후보에서 1개를 선택하고, 편예측을 선택하는 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면으로부터 상기 움직임 정보를 구하고,
상기 부호화 수단은, 움직임 정보로서 적어도 예측 모드를 부호화하며,
상기 움직임 정보 추정 수단은, 상기 2개의 예측 모드의 후보에서 1개를 선택하고, 상기 쌍예측을 선택한 경우에는, 상기 기록 수단에 저장되어 있는 복수의 참조 화면에서 2개의 참조 화면을 선택하고, 상기 편예측을 선택한 경우에는, 상기 기록 수단에 저장되어 있는 복수의 참조 화면에서 1개의 참조 화면을 선택하고,
상기 부호화 수단은,
상기 예측 모드를 부호화하고,
상기 움직임 정보에 포함되는 예측 모드가 쌍예측인 경우에는, 상기 쌍예측에 이용 가능한 복수의 참조 화면의 프레임 번호를 등록한 제1 참조 화면 리스트와 제2 참조 화면 리스트에 의해 정해지는, 2개의 참조 화면의 프레임 번호를 식별하는 인덱스를 부호화하고, 2개의 움직임 벡터를 부호화하고,
상기 움직임 정보에 포함되는 예측 모드가 편예측인 경우에는, 상기 편예측에 이용 가능한 복수의 참조 화면의 프레임 번호를 등록한 제3 참조 화면 리스트에 의해 정해지는, 1개의 참조 화면의 프레임 번호를 식별하는 인덱스를 부호화하고, 1개의 움직임 벡터를 부호화하는,
컴퓨터 판독가능 저장 매체.
화상 예측 복호 방법으로서,
복호 수단이, 복수의 영역으로 분할되어 부호화된 화상의 압축 데이터를 해석하고, 복호 대상이 되는 대상 영역의 신호의 움직임 정보의 복호 데이터와, 잔차 신호의 복호 데이터를 복호하는 단계;
예측 신호 생성 수단이, 전술한 복호한 움직임 정보와 기재생의 참조 화면에 기초하여, 대상 영역의 예측 신호를 생성하는 단계;
역양자화 수단이, 상기 잔차 신호의 복호 데이터인 양자화 계수에 역양자화 처리를 행하여, 재생 잔차 신호를 재생하는 단계; 및
기록 수단이, 상기 예측 신호와 상기 재생 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 참조 화면을 보존하는 단계
를 포함하고,
상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고,
상기 복호 수단은, 움직임 정보로서 적어도 상기 예측 모드를 복호하고,
상기 예측 신호 생성 수단은, 상기 예측 모드가 편예측인 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면에 기초하여, 상기 예측 신호를 생성하며,
상기 복호 수단은,
상기 예측 모드를 복호하고, 또한
상기 복호한 예측 모드가 쌍예측인 경우에는, 제1 참조 화면 리스트와 제2 참조 화면 리스트에 의해 정해지는, 2개의 참조 화면의 프레임 번호를 식별하는 인덱스를 복호하고, 2개의 움직임 벡터를 복호하며,
상기 복호한 예측 모드가 편예측인 경우에는, 제3 참조 화면 리스트에 의해 정해지는, 1개의 참조 화면의 프레임 번호를 식별하는 인덱스를 복호하고, 1개의 움직임 벡터를 복호하는,
화상 예측 복호 방법.
화상 예측 복호 프로그램을 저장한 컴퓨터 판독가능 저장 매체로서,
상기 화상 예측 복호 프로그램은 컴퓨터를,
복수의 영역으로 분할되어 부호화된 화상의 압축 데이터를 해석하고, 복호 대상이 되는 대상 영역의 신호의 움직임 정보의 복호 데이터와, 잔차 신호의 복호 데이터를 복호하는 복호 수단;
상기 복호한 움직임 정보와 기재생의 참조 화면에 기초하여, 대상 영역의 예측 신호를 생성하는 예측 신호 생성 수단;
상기 잔차 신호의 복호 데이터인 양자화 계수에 역양자화 처리를 행하여, 재생 잔차 신호를 재생하는 역양자화 수단; 및
상기 예측 신호와 상기 재생 잔차 신호의 가산에 의해 생성되는 상기 대상 영역의 복원 화소 신호를 포함하는 참조 화면을 저장하는 기록 수단
으로서 기능하게 하고,
상기 움직임 정보는, 1개의 참조 화면을 이용하는 편예측과 2개의 참조 화면을 이용하는 쌍예측을 선택 후보로 하는 예측 모드를 포함하고 있고,
상기 복호 수단은, 움직임 정보로서 적어도 상기 예측 모드를 복호하고,
상기 예측 신호 생성 수단은, 상기 예측 모드가 편예측인 경우에는, 복수의 참조 화면의 프레임 번호를 등록한 편예측용의 단일의 참조 화면 리스트에 의해 정해지는 1개의 참조 화면에 기초하여, 상기 예측 신호를 생성하며,
상기 복호 수단은,
상기 예측 모드를 복호하고, 또한
상기 복호한 예측 모드가 쌍예측인 경우에는, 제1 참조 화면 리스트와 제2 참조 화면 리스트에 의해 정해지는, 2개의 참조 화면의 프레임 번호를 식별하는 인덱스를 복호하고, 2개의 움직임 벡터를 복호하며,
상기 복호한 예측 모드가 편예측인 경우에는, 제3 참조 화면 리스트에 의해 정해지는, 1개의 참조 화면의 프레임 번호를 식별하는 인덱스를 복호하고, 1개의 움직임 벡터를 복호하는,
컴퓨터 판독가능 저장 매체.
삭제
삭제