KR20090094343A - 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램 - Google Patents

동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램

Info

Publication number
KR20090094343A
KR20090094343A KR1020097013544A KR20097013544A KR20090094343A KR 20090094343 A KR20090094343 A KR 20090094343A KR 1020097013544 A KR1020097013544 A KR 1020097013544A KR 20097013544 A KR20097013544 A KR 20097013544A KR 20090094343 A KR20090094343 A KR 20090094343A
Authority
KR
South Korea
Prior art keywords
filter
encoding
frame
decoding
information
Prior art date
Application number
KR1020097013544A
Other languages
English (en)
Inventor
사다아추 카토
충 생 분
Original Assignee
가부시키가이샤 엔티티 도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔티티 도코모 filed Critical 가부시키가이샤 엔티티 도코모
Publication of KR20090094343A publication Critical patent/KR20090094343A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 프레임마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여 부호화 및 복호화하는 경우에, 필터 계수의 부호량을 저감하면서, 수평방향과 수직방향에 다른 특성을 갖는 영상에 대해서도 높은 정밀도로 움직임 보상을 하는 것이다. 프레임 화상의 시간 계열로 구성되는 동화상에 대해서 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하는 동화상 부호화 장치(20)로, 과거의 프레임 화상의 부호화에 사용된 필터를 축적하는 필터 정보 축적부(203)와 현재의 프레임 화상의 부호화에 사용하는 필터를 적어도 필터 정보 축적부(203)에 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 결정하는 필터 결정부(202)와 결정된 필터를 나타내는 정보를 부호화하는 필터 정보 부호화부(205)를 구비하는 것을 특징으로 한다.

Description

동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램{Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program}
본 발명은, 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램에 관한 것이다.
움직임 보상을 사용한 동화상 부호화 방식에서는 프레임 메모리에 축적되어 있는 과거에 부호화 완료의 참조 화상을 사용하여 부호화 대상 화상의 움직임 검출이 행하여지고, 검출된 움직임 벡터를 사용하여 참조 화상으로부터 움직임 보상 화상(예측 화상)이 작성된다. 그 때, 참조 화상의 정밀도를, 참조 화상에 원래 존재하는 화소 단위의 정밀도(정수 화소 정밀도)로부터, 참조 화상의 인접화소간에 위치하는 화소 단위의 정밀도(분수 화소 정밀도)로 함으로써, 부호화 대상 화상의 움직임을 높은 정밀도로 보상할 수 있고, 부호화 효율을 향상시킬 수 있다.
International Telecommunication Union, "Advanced Video Coding for Generic audiovisual services"에 기재된 H.264 부호화 방식에서는 1/4 화소 정밀도의 참조 화상을 사용하여 움직임 검출 및 움직임 보상을 함으로써, 높은 부호화 효율이 실현되고 있다.
구체적으로는 우선 정수 화소 정밀도의 참조 화상에 계수(1, -5, 20, 20, -5, 1)/32의 6탭의 필터를 실시함으로써 1/2 화소 정밀도의 참조 화상이 생성된다. 다음에 1/2 화소 정밀도의 참조 화상에 대하여, 계수 (1, 1)/2의 2탭의 평균치 필터를 실시함으로써 1/4 화소 정밀도의 참조 화상이 생성된다.
도 1을 참조하여 H.264 부호화 방식에서의 1/4 화소 정밀도의 참조 화상의 생성법을 자세히 설명한다. 도 1은 1/4 화소 정밀도를 가지는 참조 화상의 화소의 배치도이다. 2개의 정수 화소 신호의 수평방향의 중간위치에 있는 1/2 화소 신호는 수평방향의 6탭 필터에 의해서 생성된다. 예를 들면, 화소 b는 정수 화소 E, F, G, H, I, J에 수평방향의 6탭 필터를 실시함으로써 다음식 (1)과 같이 계산된다.
b=(E-5F+20G+20H-5I+J)/32 … (1)
또, 2개의 정수 화소 신호의 수직방향의 중간위치에 있는 1/2 화소 신호는 수직의 방향의 6탭 필터에 의해서 생성된다. 예를 들면, 화소 h는 정수 화소 A, C, G, M, R, T에 수직방향의 6탭 필터를 실시함으로써 다음식 (2)와 같아진다.
h=(A-5C+20G+20M-5R+T)/32 … (2)
4개의 정수 화소 신호의 중간위치에 있는 1/2 화소 신호는 6탭 필터를 수평과 수직의 양쪽에 실시함으로써 생성된다. 예를 들면 화소 j는 1/2 화소 신호 aa, bb, b, s, gg, hh를 수평방향의 6탭 필터에 의해 생성한 후, 이들의 신호에 수직방향의 6탭 필터를 실시함으로써 다음식 (3)과 같이 계산된다.
j=(aa-5bb+20b+20s-5gg+hh)/32 … (3)
또는 수직방향 필터링에 의해 1/2 화소 신호 cc, dd, h, m, ee, ff를 생성한 후, 수평방향 필터링에 의해서 다음식 (4)와 같이 화소 j를 생성하여도 좋다.
j=(cc-5dd+20h+20m-5ee+ff)/32 … (4)
다음에, 모든 1/2 화소 신호가 계산된 후에, 평균치 필터를 사용하여 1/4 화소 신호가 생성된다. 도 1의 화소 a, c, i, k는 인접하는 정수 화소 신호 또는 1/2 화소 신호에 수평방향의 평균치 필터를 실시함으로써 생성된다. 예를 들면, 화소 a는 다음식 (5)에 의해 계산된다.
a=(G+b)/2 … (5)
화소 d, f, n, q는, 인접하는 정수 화소 신호 또는 1/2 화소 신호에 수직방향의 평균치 필터를 실시함으로써 생성된다. 예를 들면, 화소 f는 다음식 (6)에 의해 계산된다.
f=(b+j)/2 … (6)
화소 e, g, p, r은 경사 방향의 평균치 필터를 실시함으로써 계산된다. 예를 들면, 화소 r은 다음식 (7)에 의해 계산된다.
r=(m+s)/2 … (7)
이렇게 하여, H.264 부호화 방식에서는 항상 고정의 6탭의 필터와 2탭의 평균치 필터를 사용하여 정수 화소 정밀도의 참조 화상으로부터 1/4 화소 정밀도의 참조 화상이 생성된다.
한편, 일반적으로 영상은 프레임마다 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지기 때문에, 프레임마다 다른 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하는 것이 바람직하다.
하기 비특허문헌 1에는 프레임마다 다른 필터를 사용하여 1/4 화소 정밀도의 참조 화상을 생성하는 것이 개시되어 있다. 구체적으로는 분수 화소 정밀도의 각 위치(도 1에 있어서의 a, b, c, d, e, f, g, h, i, j, k, n, p, q, r의 위치)마다, 수평·수직방향의 대상성에 제한이 있는 2차원의 6탭 필터를 준비하여, 각 필터를 정수 화소 정밀도의 참조 화상에 실시함으로써 1/4 화소 정밀도의 참조 화상이 직접 생성된다. 이 경우, 1/4 화소 정밀도의 참조 화상을 생성하기 위한 필터가 프레임마다 변경되기 때문에, 각 프레임으로 54개의 필터 계수의 정보를 부호화·복호화할 필요가 있다.
또, 하기 비특허문헌 2에서는 1/2 화소 정밀도의 참조 화상을 생성하는 필터가 프레임마다 변경되어 있다. 구체적으로는 (a1, a2, a3, a3, a2, a1)과 같은 필터 계수의, 1차원의 대칭형 6탭 필터를 사용하여, 정수 화소 정밀도의 참조 화상으로부터 1/2 화소 정밀도의 참조 화상이 생성된다. 1/4 화소 정밀도의 참조 화상은, H.264 부호화 방식과 같이, 1/2 화소 정밀도의 참조 화상에 계수 (1, 1)/2의 2탭의 평균치 필터를 실시하여 생성된다. 프레임마다 1/2 화소 정밀도의 참조 화상을 생성하기 위한 필터 계수가 다르기 때문에, 각 프레임에서 3개의 필터 계수(a1, a2, a 3)의 정보를 부호화·복호화할 필요가 있다.
비특허문헌 1 : Y.Vatis, B.Edler, D.Nguyen, J. Ostermann, "Motion-and Aliasing-Compensated Prediction Using a Two Dimensional Non- Separable Adaptive Wiener Interpolation Filter", Proc. ICIP2005, IEEE International Conference on Image Processing, Genova, Italy, September 2005.
비특허문헌 2 : T. Wedi, "Adaptive Interpolation Filter for Motion Compensated Hybrid Video Coding", Picture Coding Symposium(PCS 2001), 2001.
도 1은 1/4 화소 정밀도를 가지는 참조 화상의 화소의 배치도.
도 2는 제 1 실시형태에 관계되는 동화상 부호화 장치의 구성을 도시하는 블록도.
도 3은 도 2에 도시하는 필터 결정부를 설명하는 블록도.
도 4는 제 1 실시형태에 관계되는 동화상 부호화 방법을 설명하는 플로차트.
도 5는 도 4에 도시하는 필터 결정 스텝을 설명하는 플로차트.
도 6은 도 4에 도시하는 필터 정보 부호화 스텝을 설명하는 플로차트.
도 7은 제 1 실시형태에 관계되는 동화상 부호화 프로그램의 구성을 도시하는 도면.
도 8은 제 1 실시형태에 관계되는 동화상 복호화 장치의 구성을 도시하는 블록도.
도 9는 제 1실시형태에 관계되는 동화상 복호화 방법을 설명하는 플로차트.
도 10은 도 9에 도시하는 필터 정보 복호화 스텝을 설명하는 플로차트.
도 11은 제 1 실시형태에 관계되는 동화상 복호화 프로그램의 구성을 도시하는 도면.
도 12는 제 2 실시형태에 있어서의 부호화 대상의 프레임과 참조 프레임의 부호화 순서에 대해서 설명하는 도면.
도 13은 제 2 실시형태에 있어서의 필터 결정 스텝을 설명하는 플로차트.
도 14는 제 2 실시형태에 있어서의 필터 정보 부호화 스텝을 설명하는 플로차트.
도 15는 제 2 실시형태에 있어서의 복호화 대상의 프레임과 참조 프레임의 복호화 순서에 대해서 설명하는 도면.
도 16은 제 2 실시형태에 있어서의 필터 정보 복호화 스텝을 설명하는 플로차트.
* 도면의 주요 부분에 대한 설명 *
20 : 동화상 부호화 장치
70 : 동화상 부호화 프로그램
80 : 동화상 복호화 장치
110 : 동화상 복호화 프로그램
202 : 필터 결정부(필터 결정수단)
203 : 필터 정보 축적부(필터 정보 축적수단)
205 : 필터 정보 부호화부(필터 정보 부호화 수단)
703 : 필터 결정 모듈
704 : 필터 정보 축적 모듈
706 : 필터 정보 부호화 모듈
802 : 필터 정보 복호화부(필터 정보 복호화 수단)
803 : 필터 정보 축적부(필터 정보 축적수단)
1103 : 필터 정보 복호화 모듈
1104 : 필터 정보 축적 모듈
20201 : 필터 계수 결정부
20202 : 필터 부호화 효율 산출부
20203 : 필터 부호화 효율 산출부
20204 : 필터 부호화 효율 산출부
20205 : 부호화 효율 비교부
발명이 해결하고자 하는 과제
H.264 부호화 방식에서는 항상 고정의 필터를 사용하여 분수 화소 정밀도의 참조 화상이 작성되기 때문에, 부호화하는 프레임마다의 특징인 참조 화상을 생성할 수 없다. 비특허문헌 1에서는 부호화하는 프레임마다 1/4 화소 정밀도의 참조 화상을 작성하는 54개의 필터 계수가 부호화되기 때문에, 필터 계수의 정보가 많아져, 부호화 효율이 저하된다고 하는 문제가 있다. 비특허문헌 2에서는 부호화하는 프레임마다 1/2 화소 신호를 생성하는 3개의 필터 계수만을 부호화하면 되기 때문에 비특허문헌 1과 비교하여 필터 계수의 부호화량은 적지만, 여전히 필터 계수를 부호화할 필요가 있다. 또, 비특허문헌 1, 비특허문헌 2 모두 수평·수직방향에 관해서 대칭의 필터이기 때문에, 수평과 수직방향에 다른 특성을 가지는 영상에 대해서는 높은 정밀도로 움직임 보상할 수 없다고 하는 문제가 있다.
본 발명은, 이상의 점을 감안하여 이루어진 것으로, 부호화하는 프레임마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여 부호화 및 복호화하는 경우에, 필터 계수의 부호량을 저감하면서, 수평방향과 수직방향에 다른 특성을 가지는 영상에 대해서도 높은 정밀도로 움직임 보상할 수 있는 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램을 제공하는 것을 목적으로 한다.
과제를 해결하기 위한 수단
본 발명의 동화상 부호화 장치는 프레임 화상의 시간 계열로 구성되는 동화상에 대하여, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하는 동화상 부호화 장치로, 과거의 프레임 화상의 부호화에 사용된 필터를 축적하는 필터 정보 축적수단과, 현재의 프레임 화상의 부호화에 사용하는 필터를, 적어도 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 결정하는 필터 결정수단과, 필터 결정수단에 의해 결정된 필터를 나타내는 정보를 부호화하는 필터 정보 부호화 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명의 동화상 부호화 방법은, 동화상 부호화 장치가, 프레임 화상의 시간 계열로 구성되는 동화상에 대하여, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하는 동화상 부호화 방법으로, 동화상 부호화 장치가, 과거의 프레임 화상의 부호화에 사용된 필터를 축적하는 필터 정보 축적 스텝과, 동화상 부호화 장치가, 현재의 프레임 화상의 부호화에 사용하는 필터를, 적어도 필터 정보 축적 스텝에서 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 결정하는 필터 결정 스텝과, 동화상 부호화 장치가, 필터 결정 스텝에서 결정된 필터를 나타내는 정보를 부호화하는 필터 정보 부호화 스텝을 구비하는 것을 특징으로 한다.
또한, 본 발명의 동화상 부호화 프로그램은, 컴퓨터를, 프레임 화상의 시간 계열로 구성되는 동화상에 대하여, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하도록 기능시키는 동화상 부호화 프로그램으로, 컴퓨터를, 과거의 프레임 화상의 부호화에 사용된 필터를 축적하는 필터 정보 축적수단과, 현재의 프레임 화상의 부호화에 사용하는 필터를, 적어도 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 결정하는 필터 결정수단과, 필터 결정수단에 의해 결정된 필터를 나타내는 정보를 부호화하는 필터 정보 부호화 수단으로서 기능시키는 것을 특징으로 한다.
이러한 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램에 의하면, 프레임마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여 부호화하는 경우에, 적어도 과거의 프레임 화상의 부호화에 사용된 필터를 포함하는 복수의 필터 후보 중에서 필터가 선택 및 결정된다. 이 때문에, 과거의 프레임 화상의 부호화에 사용된 필터를 나타내는 정보를 부호화하는 것만으로 충분하고, 그 결과, 필터 계수의 부호량을 저감할 수 있다. 또, 다양한 필터를 분수 화소 정밀도의 참조 화상을 작성하기 위해서 사용할 수 있기 때문에, 높은 정밀도로 움직임 보상을 하는 것이 가능하게 된다.
본 발명의 동화상 부호화 장치에서는 필터 정보 부호화 수단은, 필터 결정수단에 의해 결정된 필터가 과거의 프레임 화상의 부호화에 사용된 필터인 경우, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 부호화하는 것이 바람직하다.
또한, 본 발명의 동화상 부호화 방법에서는 필터 정보 부호화 스텝은, 필터 결정 스텝에서 결정된 필터가 과거의 프레임 화상의 부호화에 사용된 필터인 경우, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 부호화하는 것이 바람직하다.
이 경우, 과거의 프레임 화상의 부호화에 사용된 필터가 현재의 프레임 화상의 부호화에 사용하는 필터로서 결정되면, 과거의 프레임 화상의 부호화에 사용된 필터인 것을 나타내는 식별자와, 그 필터가 사용된 과거의 프레임 화상을 식별하는 식별자가 부호화된다. 즉, 이들의 식별자를 부호화하는 것만으로 충분하여, 필터 계수를 부호화할 필요가 없다. 그 결과, 필터 계수의 부호량을 저감할 수 있다.
본 발명의 동화상 부호화 장치에서는 필터 정보 축적수단은, 참조 화상이 복수 있는 경우에, 참조 화상마다 과거의 프레임 화상의 부호화에 사용된 필터를 축적하고, 필터 결정수단은, 참조 화상이 복수 있는 경우에, 적어도 필터 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서, 참조 화상마다 현재의 프레임의 부호화에 사용하는 필터를 선택하는 것이 바람직하다.
또한, 본 발명의 동화상 부호화 방법에 있어서는 필터 정보 축적 스텝에서는 참조 화상이 복수 있는 경우에, 참조 화상마다 과거의 프레임 화상의 부호화에 사용된 필터를 축적하고, 필터 결정 스텝에서는 참조 화상이 복수 있는 경우에, 적어도 필터 축적 스텝에서 축적된 필터를 포함하는 복수의 필터 후보 중에서, 참조 화상마다 현재의 프레임의 부호화에 사용하는 필터를 선택하는 것이 바람직하다.
이 경우, 참조 화상이 복수 존재하면, 현재의 프레임의 부호화에 사용하는 필터가 참조 화상마다 선택되기 때문에, 참조 화상마다 다른 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여, 부호화하는 것이 가능하게 된다. 이 때문에, 부호화하는 프레임 화상이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에도, 높은 정밀도로 움직임 보상할 수 있다.
본 발명의 동화상 부호화 장치에서는 필터 정보 부호화 수단은, 참조 화상이 복수 있고, 또한 필터 결정수단에 의해 결정된 필터가 과거의 프레임 화상의 부호화에 사용된 필터인 경우에, 참조 화상마다, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상의 필터 정보를 식별하는 식별자를 부호화하는 것이 바람직하다.
또한, 본 발명의 동화상 부호화 방법에 있어서는 필터 정보 부호화 스텝에서는 참조 화상이 복수 있고, 또 필터 결정 스텝에 있어서 결정된 필터가 과거의 프레임 화상의 부호화에 사용된 필터인 경우에, 참조 화상마다, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상의 필터 정보를 식별하는 식별자를 부호화하는 것이 바람직하다.
이 경우, 과거의 프레임 화상의 부호화에 사용된 필터가 현재의 프레임 화상의 부호화에 사용하는 필터로서 결정되면, 과거의 프레임 화상의 부호화에 사용된 필터인 것을 나타내는 식별자와, 그 필터가 사용된 과거의 프레임 화상을 식별하는 식별자가 부호화된다. 즉, 이들의 식별자를 부호화하는 것만으로 충분하여, 필터 계수를 부호화할 필요가 없다. 그 결과, 필터 계수의 부호량을 저감할 수 있다. 또한, 이 부호화는 참조 화상마다 실행되기 때문에, 부호화하는 프레임 화상이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에도, 높은 정밀도로 움직임 보상할 수 있다.
본 발명의 동화상 부호화 장치는 프레임 화상의 시간 계열로 구성되는 동화상에 대하여, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하는 동화상 부호화 장치로, 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 축적하는 필터 정보 축적수단과, 현재의 프레임 화상의 부호화에 사용하는 필터를, 적어도 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 결정하는 필터 결정수단과, 필터 결정수단에 의해 결정된 필터를 나타내는 정보를 부호화하는 필터 정보 부호화 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명의 동화상 부호화 방법은, 동화상 부호화 장치가, 프레임 화상의 시간 계열로 구성되는 동화상에 대하여, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하는 동화상 부호화 방법으로, 동화상 부호화 장치가, 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 축적하는 필터 정보 축적 스텝과, 동화상 부호화 장치가, 현재의 프레임 화상의 부호화에 사용하는 필터를, 적어도 필터 정보 축적 스텝에 있어서 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 결정하는 필터 결정 스텝과, 동화상 부호화 장치가, 필터 결정 스텝에서 결정된 필터를 나타내는 정보를 부호화하는 필터 정보 부호화 스텝을 구비하는 것을 특징으로 한다.
이러한 동화상 부호화 장치 및 동화상 부호화 방법에 의하면, 프레임마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여 부호화하는 경우에, 적어도 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 포함하는 복수의 필터 후보 중에서 필터가 선택 및 결정된다. 이 때문에, 결정된 필터가 1프레임 전의 프레임 화상의 부호화에 사용된 필터인 경우에, 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 나타내는 정보를 부호화하는 것만으로 충분하다. 그 결과, 필터 계수의 부호량을 저감할 수 있다.
본 발명의 동화상 부호화 장치에서는 필터 정보 부호화 수단은, 필터 결정수단에 의해 결정된 필터가 1프레임 전의 프레임 화상의 부호화에 사용된 필터인 경우, 상기 필터인 것을 나타내는 식별자를 부호화하는 것이 바람직하다.
또, 본 발명의 동화상 부호화 방법에서는 필터 정보 부호화 스텝은, 필터 결정 스텝에서 결정된 필터가 1프레임 전의 프레임 화상의 부호화에 사용된 필터인 경우, 상기 필터인 것을 나타내는 식별자를 부호화하는 것이 바람직하다.
이 경우, 1프레임 전의 프레임 화상의 부호화에 사용된 필터가 현재의 프레임 화상의 부호화에 사용하는 필터로서 결정되면, 1프레임 전의 프레임 화상의 부호화에 사용된 필터인 것을 나타내는 식별자가 부호화된다. 즉 이 식별자를 부호화하는 것만으로 충분하여, 필터 계수를 부호화할 필요가 없다. 그 결과, 필터 계수의 부호량을 저감할 수 있다.
본 발명의 동화상 부호화 장치에서는 필터 정보 축적수단은, 참조 화상이 복수 있는 경우에, 참조 화상마다 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 축적하고, 필터 결정수단은, 참조 화상이 복수 있는 경우에, 적어도 필터 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서, 참조 화상마다 현재의 프레임의 부호화에 사용하는 필터를 선택하는 것이 바람직하다.
또한, 본 발명의 동화상 부호화 방법에 있어서는 필터 정보 축적 스텝에서는 참조 화상이 복수 있는 경우에, 참조 화상마다 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 축적하고, 필터 결정 스텝에서는 참조 화상이 복수 있는 경우에, 적어도 필터 축적 스텝에서 축적된 필터를 포함하는 복수의 필터 후보 중에서, 참조 화상마다 현재의 프레임의 부호화에 사용하는 필터를 선택하는 것이 바람직하다.
이 경우, 참조 화상이 복수 존재하면, 현재의 프레임의 부호화에 사용하는 필터가 참조 화상마다 선택되기 때문에, 참조 화상마다 다른 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여, 부호화하는 것이 가능하게 된다. 이 때문에, 부호화하는 프레임 화상이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에도, 높은 정밀도로 움직임 보상할 수 있다.
본 발명의 동화상 부호화 장치에서는 필터 정보 부호화 수단은, 참조 화상이 복수 있고, 또한 필터 결정수단에 의해 결정된 필터가 1프레임 전의 프레임 화상의 부호화에 사용된 필터인 경우에, 참조 화상마다, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상의 필터 정보를 식별하는 식별자를 부호화하는 것이 바람직하다.
또한, 본 발명의 동화상 부호화 방법에 있어서는 필터 정보 부호화 스텝에서는 참조 화상이 복수 있고, 또한 필터 결정 스텝에 있어서 결정된 필터가 1프레임 전의 프레임 화상의 부호화에 사용된 필터인 경우에, 참조 화상마다, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상의 필터 정보를 식별하는 식별자를 부호화하는 것이 바람직하다.
이 경우, 1프레임 전의 프레임 화상의 부호화에 사용된 필터가 현재의 프레임 화상의 부호화에 사용하는 필터로서 결정되면, 결정된 필터를 나타내는 식별자와, 그 필터가 사용된 과거의 프레임 화상의 필터 정보를 식별하는 식별자가 부호화된다. 이와 같이 두개의 식별자를 부호화하는 것만으로 충분하기 때문에 필터 계수를 부호화할 필요가 없다. 그 결과, 필터 계수의 부호량을 저감할 수 있다. 또한, 이 부호화는 참조 화상마다 실행되기 때문에, 부호화하는 프레임 화상이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에도, 높은 정밀도로 움직임 보상할 수 있다.
본 발명의 동화상 부호화 장치에서는 필터 결정수단은, 현재의 프레임 화상의 부호화에 사용하는 필터를, 수평·수직방향에 독립적인 비대칭형 필터를 더욱 포함하는 필터 후보 중에서 선택하여 결정하는 것이 바람직하다.
또한, 본 발명의 동화상 부호화 방법에서는 필터 결정 스텝은, 현재의 프레임 화상의 부호화에 사용하는 필터를, 수평·수직방향에 독립적인 비대칭형 필터를 더욱 포함하는 필터 후보 중에서 선택하여 결정하는 것이 바람직하다.
이 경우, 필터 후보로 수평·수직방향에 독립적인 비대칭형 필터가 더욱 포함되기 때문에, 그 비대칭계 필터가 현재의 프레임 화상의 부호화에 사용하는 필터로서 결정되면, 적은 필터 계수의 부호량으로 수평방향과 수직방향에서 다른 특성을 가지는 영상에 대해서도 높은 정밀도로 움직임 보상할 수 있다.
본 발명의 동화상 부호화 장치에서는 필터 정보 부호화 수단은, 필터 결정수단에 의해 결정된 필터가 비대칭형 필터인 경우, 상기 비대칭형 필터인 것을 나타내는 식별자와, 상기 비대칭형 필터의 필터 계수를 부호화하는 것이 바람직하다.
본 발명의 동화상 부호화 방법에서는 필터 정보 부호화 스텝은, 필터 결정 스텝에서 결정된 필터가 비대칭형 필터인 경우, 상기 비대칭형 필터인 것을 나타내는 식별자와, 상기 비대칭형 필터의 필터 계수를 부호화하는 것이 바람직하다.
이 경우, 비대칭형 필터가 현재의 프레임 화상의 부호화에 사용하는 필터로서 결정되면, 수평·수직방향에 독립적인 비대칭형 필터인 것을 나타내는 식별자와, 그 필터의 필터 계수가 부호화된다. 이 때문에, 적은 필터 계수의 부호량으로 수평방향과 수직방향에서 다른 특성을 가지는 영상에 대해서도 높은 정밀도로 움직임 보상할 수 있다.
본 발명의 동화상 부호화 장치에서는 필터 결정수단은, 현재의 프레임 화상의 부호화에 사용하는 필터를, 미리 정해진 기준 필터를 더욱 포함하는 필터 후보 중에서 선택하여 결정하는 것이 바람직하다.
또, 본 발명의 동화상 부호화 방법에서는 필터 결정 스텝은, 현재의 프레임 화상의 부호화에 사용하는 필터를, 미리 정해진 기준 필터를 더욱 포함하는 필터 후보 중에서 선택하여 결정하는 것이 바람직하다.
이 경우, 필터 후보로 기준 필터가 더욱 포함되기 때문에, 그 기준 필터가 현재의 프레임 화상의 부호화에 사용하는 필터로서 결정되면, 그 기준 필터를 나타내는 정보를 부호화하는 것만으로 충분하다. 그 결과, 필터 계수의 부호량을 저감할 수 있다.
본 발명의 동화상 부호화 장치에서는 필터 정보 부호화 수단은, 필터 결정수단에 의해 결정된 필터가 기준 필터인 경우, 상기 기준 필터를 나타내는 식별자를 부호화하는 것이 바람직하다.
또, 본 발명의 동화상 부호화 방법에서는 필터 정보 부호화 스텝은, 필터 결정 스텝에서 결정된 필터가 기준 필터인 경우, 상기 기준 필터를 나타내는 식별자를 부호화하는 것이 바람직하다.
이 경우, 기준 필터가 결정된 경우에 그 기준 필터를 나타내는 식별자가 부호화된다. 즉, 이 식별자를 부호화하는 것만으로 충분하여, 필터 계수를 부호화할 필요가 없다. 그 결과, 필터 계수의 부호량을 저감할 수 있다.
본 발명의 동화상 복호화 장치는 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하여, 프레임 화상의 시간 계열로 구성되는 동화상을 복호화하는 동화상 복호화 장치로, 과거의 프레임 화상의 복호화에 사용된 필터를 축적하는 필터 정보 축적수단과, 현재의 프레임 화상의 복호화에 사용하는 필터를, 적어도 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 복호화하는 필터 정보 복호화 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명의 동화상 복호화 방법은, 동화상 복호화 장치가, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하여, 프레임 화상의 시간 계열로 구성되는 동화상을 복호화하는 동화상 복호화 방법으로, 동화상 복호화 장치가, 과거의 프레임 화상의 복호화에 사용된 필터를 축적하는 필터 정보 축적 스텝과, 동화상 복호화 장치가, 현재의 프레임 화상의 복호화에 사용하는 필터를, 적어도 필터 정보 축적 스텝에 있어서 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 복호화하는 필터 정보 복호화 스텝을 구비하는 것을 특징으로 한다.
또한, 본 발명의 동화상 복호화 프로그램은, 컴퓨터를, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하여, 프레임 화상의 시간 계열로 구성되는 동화상을 복호화하도록 기능시키는 동화상 복호화 프로그램으로, 컴퓨터를, 과거의 프레임 화상의 복호화에 사용된 필터를 축적하는 필터 정보 축적수단과, 현재의 프레임 화상의 복호화에 사용하는 필터를, 적어도 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 복호화하는 필터 정보 복호화 수단으로서 기능시키는 것을 특징으로 한다.
이러한 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램에 의하면, 프레임마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여 복호화하는 경우에, 적어도 과거의 프레임 화상의 복호화에 사용된 필터를 포함하는 복수의 필터 후보 중에서 필터가 선택된다. 이 때문에, 과거의 프레임 화상의 복호화에 사용된 필터를 나타내는 정보를 복호화하는 것만으로 충분하다. 그 결과, 복호화하는 필터 계수의 부호량을 저감할 수 있다. 또한, 다양한 필터를 분수 화소 정밀도의 참조 화상을 작성하기 위해서 사용할 수 있기 때문에, 높은 정밀도로 움직임 보상을 하는 것이 가능하게 된다.
본 발명의 동화상 복호화 장치에서는 필터 정보 복호화 수단은, 과거의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 복호화하는 것이 바람직하다.
또, 본 발명의 동화상 복호화 방법에서는 필터 정보 복호화 스텝은, 과거의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 복호화하는 것이 바람직하다.
이 경우, 과거의 프레임 화상의 복호화에 사용된 필터가 현재의 프레임 화상의 복호화에 사용하는 필터로서 선택되면, 과거의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자와, 그 필터가 사용된 과거의 프레임 화상을 식별하는 식별자가 복호화된다. 즉, 이들의 식별자를 복호화하는 것만으로 충분하여, 필터 계수를 복호화할 필요가 없다. 그 결과, 복호화하는 필터 계수의 부호량을 저감할 수 있다.
본 발명의 동화상 복호화 장치에서는 필터 정보 축적수단은, 참조 화상이 복수 있는 경우에, 참조 화상마다 과거의 프레임 화상의 복호화에 사용된 필터를 축적하는 것이 바람직하다.
또, 본 발명의 동화상 복호화 방법에서는 필터 정보 축적 스텝에서는 참조 화상이 복수 있는 경우에, 참조 화상마다 과거의 프레임 화상의 복호화에 사용된 필터를 축적하는 것이 바람직하다.
이 경우, 참조 화상이 복수 존재하면, 현재의 프레임의 부호화에 사용하는 필터가 참조 화상마다 축적되기 때문에, 참조 화상마다 다른 필터를 사용하여 분수 화소 정밀도의 참조 화상을 움직임 보상하여, 복호화하는 것이 가능하게 된다. 그 결과, 복호화하는 프레임 화상이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에도, 높은 정밀도로 움직임 보상할 수 있다.
본 발명의 동화상 복호화 장치에서는 필터 정보 복호화 수단은, 참조 화상이 복수 있는 경우에, 참조 화상마다, 과거의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 복호화하는 것이 바람직하다.
또, 본 발명의 동화상 복호화 방법에서는 필터 정보 복호화 스텝에서는 참조 화상이 복수 있는 경우에, 참조 화상마다, 과거의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 복호화하는 것이 바람직하다.
이 경우, 과거의 프레임 화상의 복호화에 사용된 필터가 현재의 프레임 화상의 복호화에 사용하는 필터로서 선택되면, 과거의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자와, 그 필터가 사용된 과거의 프레임 화상을 식별하는 식별자가 복호화된다. 즉, 이들의 식별자를 복호화하는 것만으로 충분하여, 필터 계수를 복호화할 필요가 없다. 그 결과, 복호화하는 필터 계수의 부호량을 저감할 수 있다. 또한, 이 복호화는 참조 화상마다 실행되기 때문에, 복호화하는 프레임 화상이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에도, 높은 정밀도로 움직임 보상할 수 있다.
본 발명의 동화상 복호화 장치는 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하여, 프레임 화상의 시간 계열로 구성되는 동화상을 복호화하는 동화상 복호화 장치로, 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 축적하는 필터 정보 축적수단과, 현재의 프레임 화상의 복호화에 사용하는 필터를, 적어도 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 복호화하는 필터 정보 복호화 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명의 동화상 복호화 방법은, 동화상 복호화 장치가, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하여, 프레임 화상의 시간 계열로 구성되는 동화상을 복호화하는 동화상 복호화 방법으로, 동화상 복호화 장치가, 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 축적하는 필터 정보 축적 스텝과, 동화상 복호화 장치가, 현재의 프레임 화상의 복호화에 사용하는 필터를, 적어도 필터 정보 축적 스텝에 있어서 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 복호화하는 필터 정보 복호화 스텝을 구비하는 것을 특징으로 한다.
이러한 동화상 복호화 장치 및 동화상 복호화 방법에 의하면, 프레임마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여 복호화하는 경우에, 적어도 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 포함하는 복수의 필터 후보 중에서 필터가 선택된다. 이 때문에, 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 나타내는 정보를 복호화하는 것만으로 충분하다. 그 결과, 복호화하는 필터 계수의 부호량을 저감할 수 있다.
본 발명의 동화상 복호화 장치에서는 필터 정보 복호화 수단은, 1프레임 전의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자를 복호화하는 것이 바람직하다.
또한, 본 발명의 동화상 복호화 방법에서는 필터 정보 복호화 스텝은, 1프레임 전의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자를 복호화하는 것이 바람직하다.
이 경우, 1프레임 전의 프레임 화상의 복호화에 사용된 필터가 현재의 프레임 화상의 복호화에 사용하는 필터로서 선택되면, 1프레임 전의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자가 복호화된다. 즉, 이 식별자를 복호화하는 것만으로 충분하여, 필터 계수를 복호화할 필요가 없다. 그 결과, 복호화하는 필터 계수의 부호량을 저감할 수 있다.
본 발명의 동화상 복호화 장치에서는 필터 정보 축적수단은, 참조 화상이 복수 있는 경우에, 참조 화상마다 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 축적하는 것이 바람직하다.
또한, 본 발명의 동화상 복호화 방법에서는, 필터 정보 축적 스텝에서는 참조 화상이 복수 있는 경우에, 참조 화상마다 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 축적하는 것이 바람직하다.
이 경우, 참조 화상이 복수 존재하면, 1프레임 전의 프레임 화상의 복호화에 사용된 필터가 참조 화상마다 축적되기 때문에, 참조 화상마다 다른 필터를 사용하여 분수 화소 정밀도의 참조 화상을 움직임 보상하여, 복호화하는 것이 가능하게 된다. 그 결과, 복호화하는 프레임 화상이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에도, 높은 정밀도로 움직임 보상하는 것이 가능하게 된다.
본 발명의 동화상 복호화 장치에서는 필터 정보 복호화 수단은, 참조 화상이 복수 있는 경우에, 참조 화상마다 1프레임 전의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자를 복호화하는 것이 바람직하다.
또, 본 발명의 동화상 복호화 방법에서는 필터 정보 복호화 스텝에서는 참조 화상이 복수 있는 경우에, 참조 화상마다, 1프레임 전의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자를 복호화하는 것이 바람직하다.
이 경우, 1프레임 전의 프레임 화상의 복호화에 사용된 필터가 현재의 프레임 화상의 복호화에 사용하는 필터로서 선택되면, 1프레임 전의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자가 복호화된다. 즉, 이 식별자를 복호화하는 것만으로 충분하여, 필터 계수를 복호화할 필요가 없다. 그 결과, 복호화하는 필터 계수의 부호량을 저감할 수 있다. 또한, 이 복호화는 참조 화상마다 실행되기 때문에, 복호화하는 프레임 화상이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에도, 높은 정밀도로 움직임 보상하는 것이 가능하게 된다.
본 발명의 동화상 복호화 장치에서는 필터 정보 복호화 수단은, 현재의 프레임 화상의 복호화에 사용하는 필터를, 수평·수직방향에 독립적인 비대칭형 필터를 더욱 포함하는 필터 후보 중에서 선택하여 복호화하는 것이 바람직하다.
또한, 본 발명의 동화상 복호화 방법에서는 필터 정보 복호화 스텝은, 현재의 프레임 화상의 복호화에 사용하는 필터를, 수평·수직방향에 독립적인 비대칭형 필터를 더욱 포함하는 필터 후보 중에서 선택하여 복호화하는 것이 바람직하다.
이 경우, 필터 후보로 수평·수직방향에 독립적인 비대칭형 필터가 더욱 포함된다. 이 때문에, 그 비대칭계 필터가 현재의 프레임 화상의 복호화에 사용하는 필터로서 선택되면, 복호화하는 필터 계수의 부호량이 적더라도, 수평방향과 수직방향에서 다른 특성을 가지는 영상에 대해서도 높은 정밀도로 움직임 보상할 수 있다.
본 발명의 동화상 복호화 장치에서는 필터 정보 복호화 수단은, 비대칭형 필터인 것을 나타내는 식별자와, 상기 비대칭형 필터의 필터 계수를 복호화하는 것이 바람직하다.
또한, 본 발명의 동화상 복호화 방법에서는 필터 정보 복호화 스텝은, 비대칭형 필터인 것을 나타내는 식별자와, 상기 비대칭형 필터의 필터 계수를 복호화하는 것이 바람직하다.
이 경우, 수평·수직방향에 독립적인 비대칭형 필터가 현재의 프레임 화상의 복호화에 사용하는 필터로서 선택되면, 그 비대칭형 필터인 것을 나타내는 식별자와, 그 비대칭형 필터의 필터 계수가 복호화된다. 이 때문에, 복호화하는 필터 계수의 부호량이 적어도, 수평방향과 수직방향에서 다른 특성을 가지는 영상에 대해서도 높은 정밀도로 움직임 보상할 수 있다.
본 발명의 동화상 복호화 장치에서는 필터 정보 복호화 수단은, 현재의 프레임 화상의 복호화에 사용하는 필터를, 미리 정해진 기준 필터를 더욱 포함하는 필터 후보 중에서 선택하여 복호화하는 것이 바람직하다.
또한, 본 발명의 동화상 복호화 방법에서는 필터 정보 복호화 스텝은 현재의 프레임 화상의 복호화에 사용하는 필터를, 미리 정해진 기준 필터를 더욱 포함하는 필터 후보 중에서 선택하여 복호화하는 것이 바람직하다.
이 경우, 필터 후보로 기준 필터가 더욱 포함되기 때문에, 그 기준 필터가 현재의 프레임 화상의 복호화에 사용하는 필터로서 선택되면, 그 기준 필터를 나타내는 정보를 복호화하는 것만으로 충분하다. 그 결과, 복호화하는 필터 계수의 부호량을 저감할 수 있다.
본 발명의 동화상 복호화 장치에서는 필터 정보 복호화 수단은, 기준 필터를 나타내는 식별자를 복호화하는 것이 바람직하다.
또, 본 발명의 동화상 복호화 방법에서는 필터 정보 복호화 스텝은, 기준 필터를 나타내는 식별자를 복호화하는 것이 바람직하다.
이 경우, 기준 필터가 현재의 프레임 화상의 복호화에 사용하는 필터로서 선택되면, 그 기준 필터를 나타내는 식별자가 복호화된다. 즉, 이 식별자를 복호화하는 것만으로 충분하여, 필터 계수를 복호화할 필요가 없다. 그 결과, 복호화하는 필터 계수의 부호량을 저감할 수 있다.
발명의 효과
이러한 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램에 의하면, 프레임마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여 부호화 및 복호화하는 경우에, 필터 계수의 부호량을 저감하면서, 수평방향과 수직방향에 다른 특성을 가지는 영상에 대해서도 높은 정밀도로 움직임 보상할 수 있다.
(제 1 실시형태)
본 발명의 제 1 실시형태에 관계되는 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법, 동화상 복호화 프로그램에 관해서 도면을 참조하여 설명한다. 또, 각 도면에 있어서, 동일요소에는 동일 부호를 붙이고 중복되는 설명을 생략한다.
도 2는 본 실시형태에 관계되는 동화상 부호화 장치(20)의 구성을 도시하는 블록도이다. 동화상 부호화 장치(20)는 그 기능적인 구성요소로서, 입력부(201)와, 필터 결정부(202; 필터 결정수단)와, 필터 정보 축적부(203; 필터 정보 축적수단)와, 분수 정밀도 참조 화상 작성부(204)와, 필터 정보 부호화부(205; 필터 정보 부호화 수단)와, 프레임 메모리(206)와, 프레임 화상 부호화/복호화부(207)와, 출력부(208)를 구비하여 구성된다.
입력부(201)는 외부에서 입력된 프레임 화상의 시간 계열로 구성되는 입력 영상 신호(209)를 부호화 대상의 프레임 화상(210)으로 분해하여, 필터 결정부(202) 및 프레임 화상 부호화/복호화부(207)에 출력한다.
프레임 메모리(206)는 과거에 복호화 완료된 프레임 화상을 보유하고 있고, 이들의 프레임 화상을 참조 화상(211)으로서 필터 결정부(202)와 분수 정밀도 참조 화상 작성부(204)에 출력한다.
필터 정보 축적부(203)는 1프레임 전의 프레임 화상을 부호화할 때에 분수 정밀도의 참조 화상을 작성하기 위해서 사용된 필터(앞 프레임 필터 정보(212))를 보유하고 있다. 앞 프레임 필터 정보(212)는 필터 결정부(202) 및 분수 정밀도 참조 화상 작성부(204)에 참조된다. 또, 앞 프레임 필터 정보(212)는 필터 정보 부호화부(205)에 참조 및 갱신된다.
필터 결정부(202)는 입력부(201)로부터 입력된 프레임 화상(210)과, 프레임 메모리(206)로부터 입력된 참조 화상(211)을 사용하여, 필터 정보 축적부(203)의 앞 프레임 필터 정보(212)를 참조하면서, 현재의 부호화 대상의 프레임 화상을 부호화하기 위한 분수 정밀도의 참조 화상을 작성하는 필터 정보(213)를 결정하여, 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다.
필터 정보 부호화부(205)는 필터 결정부(202)로부터 입력된 필터 정보(213)를 사용하여, 필터 정보 축적부(203)의 앞 프레임 필터 정보(212)를 참조하면서 필터 정보(213)를 부호화하여 필터 정보 부호화 비트스트림(214)을 작성하여, 출력부(208)에 출력한다. 또한 필터 정보 부호화부(205)는 필터 결정부에서 입력된 필터 정보(213)를 사용하여, 필터 정보 축적부(203)의 앞 프레임 필터 정보(212)를 필터 정보(213)에 갱신한다.
분수 정밀도 참조 화상 작성부(204)는 필터 결정부(202)로부터 입력된 필터 정보(213)와, 프레임 메모리(206)로부터 입력된 참조 화상(211)을 사용하여, 분수 정밀도 참조 화상(215)을 작성하고, 프레임 화상 부호화/복호화부(207)에 출력한다.
프레임 화상 부호화/복호화부(207)는 입력부(201)로부터 입력된 프레임 화상(210)과, 분수 정밀도 참조 화상 작성부(204)로부터 입력된 분수 정밀도 참조 화상(215)을 사용하여 움직임 보상하여 부호화 대상 프레임의 부호화를 하여, 프레임 화상 부호화 비트스트림(216)을 출력부(208)에 출력한다. 또, 프레임 화상 부호화/복호화부(207)는 부호화된 프레임 화상을 국소 복호화하여, 복호화된 프레임 화상을 복호화 완료 프레임 화상(217)으로서 프레임 메모리(206)에 출력한다.
출력부(208)는 필터 정보 부호화부(205)로부터 입력된 필터 정보 부호화 비트스트림(214)과, 프레임 화상 부호화/복호화부(207)로부터 입력된 프레임 화상 부호화 비트스트림(216)을 합쳐서 외부에 출력한다.
다음에, 필터 결정부(202), 필터 정보 축적부(203), 분수 정밀도 참조 화상 작성부(204), 필터 정보 부호화부(205) 및 출력부(208)에 대해서 더욱 자세히 설명한다.
도 3을 사용하여, 필터 결정부(202)를 설명한다. 필터 결정부(202)는 그 기능적인 구성요소로서, 제 1 필터 계수 결정부(20201)와, 제 1 필터 부호화 효율 산출부(20202)와, 제 2 필터 부호화 효율 산출부(20203)와, 제 3 필터 부호화 효율 산출부(20204)와, 부호화 효율 비교부(20205)를 구비하여 구성된다.
제 1 필터 계수 결정부(20201)는 입력부(201)로부터 입력된 프레임 화상(210)과, 프레임 메모리(206)로부터 입력된 참조 화상(211)을 사용하여, 수평·수직방향에 독립적으로 비대칭형의, 1/2 화소 정밀도의 참조 화상을 작성하는 제 1 필터(20206)를 결정한다. 제 1 필터는 그 계수가 수평방향(b1, b2, b3, b4, b5, b6) 및 수직방향(h1, h2, h3, h4, h5, h6) (b1 내지 b6 및 h1 내지 h6은 실수)에 각 6탭 형성된 1차원 필터이다. 제 1 필터 계수 결정부(20201)는 결정한 제 1 필터(20206)와, 프레임 화상(210)과, 참조 화상(211)을, 제 1 필터 부호화 효율 산출부(20202)에 출력한다.
제 1 필터(20206)의 결정 방법에 관해서 상세하게 설명한다. 제 1 필터 계수 결정부(20201)는 우선, 계수 b1 내지 b6 및 h1 내지 h6을 소정치(계수간에서 값이 다른 경우도 있고 복수의 계수가 동일한 값이 되는 경우도 있음)로 설정한다. 다음에, 제 1 필터 계수 결정부(20201)는 설정된 계수에 의해 정의되는 1차원 필터를 사용하여 참조 화상(211)을 필터링한다. 그리고, 제 1 필터 계수 결정부(20201)는 프레임 화상(210)과 필터링된 참조 화상(211)을 사용하여 움직임 보상을 하여, 프레임 화상(210)과 움직임 보상된 화상의 차분치를 산출한다. 제 1 필터 계수 결정부(20201)는 계수 b1 내지 b6 및 h1 내지 h6의 값을 바꾸면서 이들의 처리를 소정의 회수 반복하고, 최종적으로, 가장 작은 차분치를 산출할 수 있는 1차원 필터를 제 1 필터(20206)로 결정한다. 또, 제 1 필터(20206)의 결정 방법은 이것에 한정되지 않는다.
제 1 필터 부호화 효율 산출부(20202)는 제 1 필터 계수 결정부(20201)로부터 입력된 제 1 필터(20206)와, 프레임 화상(210)과, 참조 화상(211)을 사용하여, 제 1 필터에 의해서 참조 화상(211)으로부터 1/4 화소 정밀도의 참조 화상을 생성하고, 그 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량을 산출한다.
제 1 필터를 사용하여 참조 화상(211)으로부터 1/4 화소 정밀도의 참조 화상을 생성하는 방법에 관해서 설명한다. 우선, 제 1 필터 부호화 효율 산출부(20202)는 제 1 필터(20206)를 사용하여 참조 화상(211)의 1/2 화소 정밀도의 참조 화상을 생성한다. 도 1을 사용하여 구체적으로 설명한다. 화소 b는 정수 화소 E, F, G, H, I, J에 수평방향의 6탭 필터(b1, b2, b3, b4, b5, b6)를 실시함으로써 다음식 (8)과 같이 계산된다.
b=(b1xE+b2xF+b3xG+b4xH+b5xI+b6x1) … (8)
[01121화소 h는 정수 화소 A, C, G, M, R, T에 수직방향의 6탭 필터(h1, h2, h3, h4, h5, h6)을 실시함으로써 다음식 (9)와 같이 계산된다.
h=(h1xA+h2xC+h3xG+h4xM+h5xR+h6xT) … (9)
4개의 정수 화소 신호의 중간위치에 있는 1/2 화소 신호는 인접하는 1/2 화소 신호의 평균치에 의해서 생성된다. 이것에 의해 화소 j는 1/2 화소 신호 b, h, m, s의 평균치를 산출함으로써 다음식 (10)과 같이 계산된다.
j=(b+h+m+s)/4…(10)
다음에, 제 1 필터 부호화 효율 산출부(20202)는 1/2 화소 정밀도의 참조 화상으로부터 1/4 화소 정밀도의 참조 화상을 생성한다. 마찬가지로 도 1을 사용하여 설명한다. 화소 a, c, i, k는 인접하는 정수 화소 신호 또는 1/2 화소 신호에 수평방향의 평균치 필터를 실시함으로써 생성된다.
a=(G+b)/2 … (11)
c=(b+H)/2 … (12)
i=(h+j)/2 … (13)
k=(j+m)/2 … (14)
화소 d, f, n, q는, 인접하는 정수 화소 신호 또는 1/2 화소 신호에 수직방향의 평균치 필터를 실시함으로써 생성된다.
d=(G+h)/2 … (15)
f=(b+j)/2 … (16)
n=(h+M)/2 … (17)
q=(j+s)/2 … (18)
화소 e, g, p, r은 인접하는 정수 화소 신호 또는 1/2 화소 신호의 평균치에 의해서 생성된다.
e=(G+b+h+j)/4 … (19)
g=(b+H+j+m)/4 … (20)
p=(h+j+M+s)/4 … (21)
r=(j+m+s+N)/4 … (22)
제 1 필터 부호화 효율 산출부(20202)는 작성한 1/4 화소 정밀도의 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량과, 제 1 필터의 필터 계수(b1, b2, b3, b4, b5, b6) 및 (h1, h2, h3, h4, h5, h6)을 부호화하였을 때의 부호량의 합계치 S1을 산출한다. 다음에, 제 1 필터 부호화 효율 산출부(20202)는 제 1 필터와 부호량 S1을 제 1 필터 정보(20207)로서 부호화 효율 비교부(20205)에 출력한다.
제 2 필터 부호화 효율 산출부(20203)는 프레임 화상(210)과, 참조 화상(211)을 사용하는 동시에 제 2 필터 부호화 효율 산출부(20203) 내에 미리 보유하고 있는 기준 필터인 제 2 필터를 사용하여, 참조 화상(211)으로부터 1/4 화소 정밀도의 참조 화상을 생성하고, 그 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량을 산출한다. 상기 기준 필터는 수평·수직방향에 동일하게 대칭형의 (1, -5, 20, 20, -5, 1)/32의 6탭의 1차원 필터이다.
제 2 필터를 사용하여 참조 화상(211)으로부터 1/4 화소 정밀도의 참조 화상을 생성하는 방법에 관해서 설명한다. 우선, 제 2 필터 부호화 효율 산출부(20203)는 제 2 필터를 사용하여 참조 화상(211)의 1/2 화소 정밀도의 참조 화상을 생성한다. 도 1을 사용하여 구체적으로 설명한다. 화소 b는 정수 화소 E, F, G, H, I, J에 수평방향의 기준 필터를 실시함으로써 다음식 (23)과 같이 계산된다.
b=(E-5F+20G+20H-51+J)/32 … (23)
화소 h는 정수 화소 A, C, G, M, R, T에 수직방향의 기준 필터를 실시함으로써 다음식 (24)과 같이 계산된다.
h=(A-5C+20G+20M-5R+T)/32 … (24)
4개의 정수 화소 신호의 중간위치에 있는 1/2 화소 신호는 6탭 필터를 수평과 수직의 양쪽에 실시함으로써 생성된다. 화소 j는 1/2 화소 신호 aa, bb, b, s, gg, hh를 수평방향의 6탭 필터에 의해 생성한 후, 이들의 신호에 수직방향의 6탭 필터를 실시함으로써 다음식 (25)와 같이 계산된다.
j=(aa-5bb+20b+20s-5gg+hh)/32 … (25)
또는 수직방향 필터링에 의해 1/2 화소 신호 cc, dd, h, m, ee, ff를 생성한 후, 수평방향 필터링에 의해서 다음식 (26)과 같이 화소 j를 생성하여도 좋다. j=(cc-5dd+20h+20m-5ee+ff)/32 … (26)
다음에, 제 2 필터 부호화 효율 산출부(20203)는 1/2 화소 정밀도의 참조 화상으로부터의 1/4 화소 정밀도의 참조 화상을 생성한다. 마찬가지로 도 1을 사용하여 설명한다. 화소 a, c, i, k는 인접하는 정수 화소 신호 또는 1/2 화소 신호에 수평방향의 평균치 필터를 실시함으로써 생성된다.
a=(G+b)/2 … (27)
c=(b+H)/2 … (28)
i=(h+j)/2 … (29)
k=(j+m)/2 … (30)
화소 d, f, n, q는, 인접하는 정수 화소 신호 또는 1/2 화소 신호에 수직방향의 평균치 필터를 실시함으로써 생성된다.
d=(G+h)/2 … (31)
f=(b+j)/2 … (32)
n=(h+M)/2 … (33)
q=(j+s)/2 … (34)
화소 c, g, p, r은 경사 방향의 평균치 필터를 실시하여 계산된다.
e=(b+h)/2 … (35)
g=(b+m)/2 … (36)
p=(h+s)/2 … (37)
r=(m+s)/2 … (38)
제 2 필터 부호화 효율 산출부(20203)는 작성한 1/4 화소 정밀도의 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량 S2를 산출한다. 다음에, 제 2 필터 부호화 효율 산출부(20203)는 부호량 S2를 제 2 필터 정보(20208)로서 부호화 효율 비교부(20205)에 출력한다.
제 3 필터 부호화 효율 산출부(20204)는 필터 정보 축적부(203) 내의 앞 프레임 필터 정보(212)를 참조하여, 1프레임 전의 프레임 화상을 부호화할 때에 사용된 1/2 화소 정밀도의 참조 화상 작성용의 필터인 제 3 필터에 의해서 참조 화상(211)으로부터 1/4 화소 정밀도의 참조 화상을 생성하고, 그 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량을 산출한다.
제 3 필터를 사용하여 참조 화상(211)으로부터 1/4 화소 정밀도의 참조 화상을 생성하는 방법에 관해서 설명한다. 우선, 제 3 필터 부호화 효율 산출부(20204)는 1프레임 전의 프레임 화상을 부호화할 때에 사용된 1/2 화소 정밀도의 참조 화상 작성용의 필터인 제 3 필터를 사용하여 참조 화상(211)의 1/2 화소 정밀도의 참조 화상을 생성한다. 도 1을 사용하여 구체적으로 설명한다. 또, 제 3 필터는 수평방향(b1', b2', b3', b4', b5', b6') 및 수직방향(h1', h2', h3', h4', h5', h6') (b1'내지 b6'및 h1'내지 h6'는 실수)에 설정되어 있는 것으로 한다. 화소 b는 정수 화소 E, F, G, H, I, J에 수평방향의 6탭 필터(b1', b2', b3', b4', b5', b6')를 실시함으로써 다음식 (39)와 같이 계산된다.
b=(b1'xE+b2'xF+b3'xG+b4'xH+b5'xI+b6'xJ)…(39)
화소 h는 정수 화소 A, C, G, M, R, T에 수직방향의 6탭 필터(h1', h2', h3', h4', h5', h6')을 실시함으로써 다음식 (40)과 같이 계산된다.
h=(h1'xA+h2'xC+h3'xG+h4'xM+h5'xR+h6'xT) … (40)
4개의 정수 화소 신호의 중간위치에 있는 1/2 화소 신호는 인접하는 1/2 화소 신호의 평균치에 의해서 생성된다. 이것에 의해 화소 j는 1/2 화소 신호 b, h, m, s의 평균치를 산출함으로써 다음식 (41)과 같이 계산된다.
j=(b+h+m+s)/4 … (41)
다음에, 제 3 필터 부호화 효율 산출부(20204)는 1/2 화소 정밀도의 참조 화상으로부터 참조 화상(211)의 1/4 화소 정밀도의 참조 화상을 생성한다. 마찬가지로 도 1을 사용하여 구체적으로 설명한다. 화소 a, c, i, k는 인접하는 정수 화소 신호 또는 1/2 화소 신호에 수평방향의 평균치 필터를 실시함으로써 생성된다.
a=(G+b)/2 … (42)
c=(b+H)/2 … (43)
i=(h+j)/2 … (44)
k=(j+m)/2 …(45)
화소 d, f, n, q는, 인접하는 정수 화소 신호 또는 1/2 화소 신호에 수직방향의 평균치 필터를 실시함으로써 생성된다.
d=(G+h)/2 … (46)
f=(b+j)/2 … (47)
n=(h+M)/2 … (48)
q=(j+s)/2 … (49)
화소 e, g, p, r은 인접하는 정수 화소 신호 또는 1/2 화소 신호의 평균치에 의해서 생성된다.
e=(G+b+h+j)/4 … (50)
g=(h+H+j+m)/4 … (51)
p=(h+j+M+s)/4 … (52)
r=(j+m+s+N)/4 … (53)
제 3 필터 부호화 효율 산출부(20204)는 작성한 1/4 화소 정밀도의 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량 S3을 산출한다. 다음에, 제 3 필터 부호화 효율 산출부(20204)는 부호량 S3을 제 3 필터 정보(20209)로서 부호화 효율 비교부(20205)에 출력한다.
부호화 효율 비교부(20205)는 제 1 필터 부호화 효율 산출부(20202)로부터 입력된 제 1 필터 정보(20207)와, 제 2 필터 부호화 효율 산출부(20203)로부터 입력된 제 2 필터 정보(20208)와, 제 3 필터 부호화 효율 산출부(20204)로부터 입력된 제 3 필터 정보(20209)를 사용하여, 3개의 필터 중에서 가장 부호량이 적은 필터를 선택하고, 그 필터 정보(213)를 분수 정밀도 참조 화상 작성부(204)와 필터 정보 부호화부(205)에 출력한다.
구체적으로는 부호화 효율 비교부(20205)는 부호량 S1과 부호량 S2와 부호량 S3을 비교하여, 가장 부호량이 적은 필터를 선택한다. S1의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 1 필터를 나타내는 식별자 「1」, 제 1 필터의 계수(b1, b2, b3, b4, b5, b6) 및 (h1, h2, h3, h4, h5, h6)을 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다. 또, S2의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 2 필터를 나타내는 식별자 「2」를 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다. 또, S3의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 3 필터를 나타내는 식별자 「3」을 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다.
다음에, 분수 정밀도 참조 화상 작성부(204)에 관해서 자세히 설명한다. 분수 정밀도 참조 화상 작성부(204)는 프레임 메모리(206)로부터 입력된 참조 화상(211)과 필터 결정부(202)로부터 입력된 필터 정보(213)를 사용하여, 1/4 화소 정밀도의 분수 정밀도 참조 화상(215)을 작성한다.
필터 정보(213)에 포함되는 필터의 식별자가 「1」일 때, 분수 정밀도 참조 화상 작성부(204)는 필터 정보(213)에 포함되는 필터 계수(b1, b2, b3, b4, b5, b6) 및 (h1, h2, h3, h4, h5, h6)을 사용하여, 상기 식 (8) 내지 (22)에 의해서 1/4 화소 정밀도의 분수 정밀도 참조 화상(215)을 작성한다. 필터 정보(213)에 포함되는 필터의 식별자가 「2」일 때, 분수 정밀도 참조 화상 작성부(204)는 수평·수직방향 모두 기준 필터인 (1, -5, 20, 20, -5, 1)/32를 사용하여, 상기 식 (23) 내지 (38)에 의해 1/4 화소 정밀도의 분수 정밀도 참조 화상(215)을 작성한다. 필터 정보(213)에 포함되는 필터의 식별자가 「3」일 때, 분수 정밀도 참조 화상 작성부(204)는 필터 정보 축적부(203)를 참조하여, 앞 프레임 필터 정보(212)인 필터 계수(b1', b2', b3', b4', b5', b6') 및 (h1', h2', h3', h4', h5', h6')을 사용하여, 상기 식 (39) 내지 (53)에 의해서 1/4 화소 정밀도의 분수 정밀도 참조 화상(215)을 작성한다.
다음에, 분수 정밀도 참조 화상 작성부(204)는 작성한 분수 정밀도 참조 화상(215)을 프레임 화상 부호화/복호화부(207)에 출력한다.
다음에, 필터 정보 부호화부(205)에 관해서 자세히 설명한다. 필터 정보 부호화부(205)는 우선 필터 결정부(202)로부터 입력된 필터 정보(213)에 포함되는 필터 식별자를 부호화한다.
다음에, 필터 식별자가 「1」인 경우, 필터 정보 부호화부(205)는 필터 정보(213)에 포함되는 제 1 필터의 필터 계수(b1, b2, b3, b4, b5, b6) 및 (h1, h2, h3, h4, h5, h6)을 부호화한다. 이때 필터 정보 부호화부(205)는 필터 정보 축적부(203)의 앞 프레임 필터 정보(212)를 참조하여, 각 필터 계수에 대해서, 그 값의 앞 프레임 필터 정보(212)의 각 필터 계수로부터의 차분치를 부호화한다. 즉, 앞 프레임 필터 정보(212)의 필터 계수가 수평방향(b1', b2', b3', b4', b5', b6') 및 수직방향(h1', h2', h3', h4', h5', h6')인 경우, 필터 정보 부호화부(205)는 수평방향(b1-b1', b2-b2', b3-b3', b4-b4', b5-b5', b6-b6') 및 수직방향(h1-h1', h2-h2', h3-h3', h4-h4', h5-h5', h6-h6')의 필터 계수를 부호화한다.
다음에 필터 정보 부호화부(205)는 부호화한 필터 정보 부호화 비트스트림(214)을 출력부(208)에 출력한다. 또한 필터 정보 부호화부(205)는 필터 식별자가 「1」인 경우, 필터 정보 축적부(203)의 앞 프레임 필터 정보(212)를 제 1 필터에 갱신한다. 필터 식별자가 「2」인 경우, 필터 정보 부호화부(205)는 필터 정보 축적부(203)의 앞 프레임 필터 정보(212)를 제 2 필터(기준 필터)에 갱신한다. 필터 식별자가 「3」인 경우, 필터 정보 부호화부(205)는 필터 정보 축적부(203)의 앞 프레임 필터 정보(212)를 같은 필터 정보인 제 3 필터에 갱신한다.
출력부(208)는 부호화하는 프레임마다, 프레임 화상 부호화 비트스트림(216)의 앞에 필터 정보 부호화 비트스트림(214)을 삽입하여 2개의 비트스트림을 합쳐, 외부에 출력한다.
다음에, 도 4를 사용하여, 본 실시형태에 관계되는 동화상 부호화 방법의 동작을 설명한다. 도 4는 본 실시형태에 관계되는 동화상 부호화 장치(20)의 동작인 동화상 부호화 방법을 설명하는 플로차트이다.
우선 입력부(201)가 외부에서 입력된 프레임 화상의 시간 계열로 구성되는 입력 영상 신호(209)를 부호화 대상의 프레임 화상(210)으로 분해한다(입력 스텝 S401).
다음에 필터 결정부(202)가 프레임 화상(210)과 참조 화상(211)을 사용하여 분수 정밀도의 참조 화상을 작성하는 필터 정보(213)를 결정한다(필터 결정 스텝 S402).
다음에 필터 정보 부호화부(205)가 필터 정보(213)를 부호화하여, 필터 정보 부호화 비트스트림(214)을 생성한다(필터 정보 부호화 스텝 S403).
또, 필터 정보 부호화부(205)가 필터 정보(213)를 앞 프레임 필터 정보(212)로서 필터 정보 축적부(203)에 축적한다(필터 정보 축적 스텝 S404).
한편, 분수 정밀도 참조 화상 작성부(204)가 필터 정보(213)와 참조 화상(211)을 사용하여, 분수 정밀도 참조 화상(215)을 작성한다(분수 정밀도 참조 화상 작성 스텝 S405).
다음에 프레임 화상 부호화/복호화부(207)가 프레임 화상(210)과 분수 정밀도 참조 화상(215)을 사용하여 부호화 대상 프레임의 부호화를 하여, 프레임 화상 부호화 비트스트림(216)을 생성한다(프레임 화상 부호화/복호화 스텝 S406).
다음에 프레임 화상 부호화/복호화부(207)가 부호화된 프레임 화상을 국소 복호화하여 복호화 완료 프레임 화상(217)으로서, 프레임 메모리(206)에 축적한다(참조 화상 축적 스텝 S407).
다음에 출력부(208)가 필터 정보 부호화 비트스트림(214)과 프레임 화상 부호화 비트스트림(216)을 합쳐서 외부에 출력한다(출력 스텝 S408).
다음에 모든 프레임 화상의 부호화가 종료하였는지의 여부가 판정되고(스텝 S409), 모든 프레임 화상의 부호화가 종료한 경우에는(스텝 S409; YES), 처리를 종료한다. 모든 프레임 화상의 부호화가 종료하지 않은 경우에는(스텝 S409; NO), 앞 프레임 필터 정보(212) 및 참조 화상(212)이 갱신되어, 스텝 S402로부터의 처리가 반복된다.
다음에, 도 5를 사용하여, 필터 결정 스텝 S402를 자세히 설명한다. 도 5는 필터 결정부(202)의 동작인 필터 결정 스텝 S402를 설명하는 플로차트이다.
우선 제 1 필터 계수 결정부(20201)가 프레임 화상(210)과 참조 화상(211)을 사용하여, 수평·수직방향에 독립적으로 비대칭형의, 1/2 화소 정밀도의 참조 화상을 작성하는 제 1 필터(20206)를 결정한다(제 1 필터 결정 스텝 S40201).
다음에 제 1 필터 부호화 효율 산출부(20202)가 제 1 필터 계수(20206)와 참조 화상(211)을 사용하여, 제 1 필터에 의해서 참조 화상(211)으로부터 1/4 화소 정밀도의 참조 화상을 생성하고, 그 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량 S1을 산출한다(제 1 필터 부호화 효율 산출 스텝 S40202).
또한 제 2 필터 부호화 효율 산출부(20203)가 프레임 화상(210)과, 참조 화상(211)과, 제 2 필터 부호화 효율 산출부(20203) 내에 미리 보유하고 있는 기준 필터인 제 2 필터를 사용하여, 참조 화상(211)으로부터 1/4 화소 정밀도의 참조 화상을 생성하고, 그 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량 S2를 산출한다(제 2 필터 부호화 효율 산출 스텝 S40203).
또한, 제 3 필터 부호화 효율 산출부(20204)가 1프레임 전의 프레임 화상을 부호화할 때에 사용된 1/2 화소 정밀도의 참조 화상 작성용의 필터인 제 3 필터에 의해서 참조 화상(211)으로부터 1/4 화소 정밀도의 참조 화상을 생성하고, 그 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량 S3을 산출한다(제 3 필터 부호화 효율 산출 스텝 S40204).
다음에 부호화 효율 비교부(20205)가 부호량 S1과 부호량 S2와 부호량 S3을 비교한다(부호화 효율 비교 스텝 S40205). 가장 부호량이 적은 필터가 제 1 필터인 경우, 부호화 효율 비교부(20205)는 제 1 필터를 나타내는 식별자 「1」 및 제 1 필터의 필터 계수를 필터 정보(213)로서 출력하고(제 1 필터 정보 출력 스텝 S40206), 처리를 종료한다. 선택한 필터가 제 2 필터인 경우, 부호화 효율 비교부(20205)는 제 2 필터를 나타내는 식별자 「2」를 필터 정보(213)로서 출력하고(제 2 필터 정보 출력 스텝 S40207), 처리를 종료한다. 선택한 필터가 제 3 필터인 경우, 부호화 효율 비교부(20205)는 제 3 필터를 나타내는 식별자 「3」을 필터 정보(213)로서 출력하고(제 3 필터 정보 출력 스텝 S40208), 처리를 종료한다.
다음에, 도 6을 사용하여, 필터 정보 부호화 스텝 S403을 자세히 설명한다. 도 6은 필터 정보 부호화부(205)의 동작인 필터 정보 부호화 스텝 S403을 설명하는 플로차트이다.
우선 필터 정보 부호화부(205)는 필터 정보(213)에 포함되는 필터의 식별자를 부호화한다(식별자 부호화 스텝 S40301).
다음에, 필터 식별자가 「1」일 때(스텝 S40302; YES), 필터 정보 부호화부(205)는 제 1 필터의 각 필터 계수에 관해서, 대응하는 앞 프레임 필터 정보(212)의 필터 계수로부터의 차분치를 계산하고(필터 계수 차분 스텝 S40303), 차분치를 부호화한다(차분 필터 계수 부호화 스텝 S40304). 필터 식별자가 「1」이 아닌 경우에는(스텝 S40302; NO), 이들 필터 계수 차분 스텝 및 차분 필터 계수 부호화 스텝의 처리는 실행되지 않는다.
다음에 필터 정보 부호화부(205)는 부호화한 필터 정보 부호화 비트스트림(214)을 출력하고(필터 정보 부호화 비트스트림 출력 스텝 S40305), 처리를 종료한다.
다음에, 컴퓨터를 상술한 동화상 부호화 장치(20)로서 기능시키기 위한 동화상 부호화 프로그램(70)에 관해서 설명한다. 도 7은 동화상 부호화 프로그램(70)의 구성을 도시하는 도면이다.
도 7에 도시되는 바와 같이, 동화상 부호화 프로그램(70)은 처리를 통괄하는 메인 모듈 프로그램(701)과, 입력 모듈(702)과, 필터 결정 모듈(703)과, 필터 정보 축적 모듈(704)과, 분수 정밀도 참조 화상 작성 모듈(705)과, 필터 정보 부호화 모듈(706)과, 프레임 메모리(707)와, 프레임 화상 부호화/복호화 모듈(708)과, 출력 모듈(709)을 구비한다. 입력 모듈(702)과, 필터 결정 모듈(703)과, 필터 정보 축적 모듈(704)과, 분수 정밀도 참조 화상 작성 모듈(705)과, 필터 정보 부호화 모듈(706)과, 프레임 메모리(707)와, 프레임 화상 부호화/복호화 모듈(708)과, 출력 모듈(709)이 컴퓨터에 실행시키는 기능은, 각각 대응하는 상술한 입력부(201)와, 필터 결정부(202)와, 필터 정보 축적부(203)와, 분수 정밀도 참조 화상 작성부(204)와, 필터 정보 부호화부(205)와, 프레임 메모리(206)와, 프레임 화상 부호화/복호화부(207)와, 출력부(208)와 같다.
도 8은 본 실시형태에 관계되는 동화상 복호화 장치(80)의 구성을 도시하는 블록도이다. 동화상 복호화 장치(80)는 그 기능적인 구성요소로서, 입력부(801)와, 필터 정보 복호화부(802; 필터 정보 복호화 수단)와, 필터 정보 축적부(803; 필터 정보 축적수단)와, 분수 정밀도 참조 화상 작성부(804)와, 프레임 메모리(805)와, 프레임 화상 복호화부(806)여 구비하여 구성된다.
입력부(801)는 외부에서 입력된 부호화 비트스트림(807)을 차례로 프레임 단위마다 필터 정보 부호화 비트스트림(809)과 프레임 화상 부호화 비트스트림(808)으로 분리한다. 입력부(801)는 필터 정보 부호화 비트스트림(809)을 필터 정보 복호화부(802)에 출력한다. 또한, 입력부(801)는 프레임 화상 부호화 비트스트림(808)을 프레임 화상 복호화부(806)에 출력한다.
필터 정보 축적부(803)는 1프레임 전의 프레임 화상을 복호화할 때에 분수 정밀도의 참조 화상을 작성하기 위해서 사용된 필터(앞 프레임 필터 정보(810))를 보유하고 있다. 앞 프레임 필터 정보(810)는 필터 정보 복호화부(802)에 참조 및 갱신된다.
필터 정보 복호화부(802)는 필터 정보 축적부(803) 내의 앞 프레임 필터 정보(810)를 참조하면서, 입력부(801)로부터 입력된 필터 정보 부호화 비트스트림(809)을 복호화하여 필터 정보(811)를 복원하여, 분수 정밀도 참조 화상 작성부(804)에 출력한다.
프레임 메모리(805)는 과거에 복호화 완료된 프레임 화상을 보유하고 있고, 이들의 프레임 화상을 참조 화상(812)으로서 분수 정밀도 참조 화상 작성부(804)에 출력한다.
분수 정밀도 참조 화상 작성부(804)는 필터 정보 복호화부(802)로부터 입력된 필터 정보(811)와, 프레임 메모리(805)로부터 입력된 참조 화상(812)을 사용하여, 분수 정밀도 참조 화상(813)을 작성하고, 프레임 화상 복호화부(806)에 출력한다.
프레임 화상 복호화부(806)는 입력부(801)로부터 입력된 프레임 화상 부호화 비트스트림(808)과, 분수 정밀도 참조 화상 작성부(804)로부터 입력된 분수 정밀도 참조 화상(813)을 사용하여 움직임 보상하여 프레임 화상을 복호화한다. 프레임 화상 복호화부(806)는 복호화한 복호화 완료 프레임 화상(814)을 프레임 메모리(206) 및 외부에 출력한다.
다음에 필터 정보 복호화부(802)에 관해서 자세히 설명한다. 필터 정보 복호화부(802)는 우선, 입력부(801)로부터 입력된 필터 정보 부호화 비트스트림(809)으로부터 필터 식별자를 복호화하여 복원한다.
필터 식별자가 「1」인 경우, 필터 정보 복호화부(802)는 계속해서, 필터 정보 축적부(803)의 앞 프레임 필터 정보(810)를 참조하여 각 필터 계수를 복원한다. 우선, 필터 정보 복호화부(802)는 각 필터 계수에 관해서, 그 값의 앞 프레임 필터 정보(810)로부터의 차분치를 복호화한다. 다음에, 필터 정보 복호화부(802)는 복호화한 각 값에 앞 프레임 필터 정보(810)의 필터 계수를 가산하여 필터를 복원한다. 앞 프레임 필터 정보(810)의 필터 계수가 수평방향(b1', b2', b3', b4', b5', b6') 및 수직방향(h1', h2', h3', h4', h5', h6')이고, 필터 정보 복호화부(802)에 의해서 복호화된 필터 계수의 차분치가 수평방향(b1-b1', b2-b2', b3-b3', b4-b4', b5-b5', b6-b6') 및 수직방향(h1-h1', h2-h2', h3-h3', h4-h4', h5-h5', h6-h6')인 경우, 복원된 필터의 필터 계수는 수평방향(b1, b2, b3, b4, b5, b6) 및 수직방향(h1, h2, h3, h4, h5, h6)이 된다.
필터 식별자가 「2」인 경우, 필터 정보 복호화부(802)는 기준 필터의 필터 계수인 수평·수직방향 모두 (1, -5, 20, 20, -5, 1)/32를 복원한다. 필터 식별자가 「3」인 경우, 필터 정보 복호화부(802)는 앞 프레임 필터 정보(810)의 필터 계수인 수평방향(b1', b2', b3', b4', b5', b6') 및 수직방향(h1', h2', h3', h4', h5', h6')을 복원한다.
필터 정보 복호화부(802)는 복원된 식별자 및 필터 계수인 필터 정보(811)를 분수 정밀도 참조 화상 작성부(804)에 출력한다. 또, 필터 정보 복호화부(802)는 필터 정보 축적부(803) 내의 앞 프레임 필터 정보(810)를 복원한 필터 계수로 갱신한다.
다음에, 분수 정밀도 참조 화상 작성부(804)에 관해서 자세히 설명한다. 분수 정밀도 참조 화상 작성부(804)는 프레임 메모리(805)로부터 입력된 참조 화상(812)과 필터 정보 복호화부(802)로부터 입력된 필터 정보(811)를 사용하여, 1/4 화소 정밀도의 분수 정밀도 참조 화상(813)을 작성한다.
필터 정보(811)에 포함되는 필터의 식별자가 「1」일 때, 분수 정밀도 참조 화상 작성부(804)는 필터 정보(811)에 포함되는 필터 계수(b1, b2, b3, b4, b5, b6) 및 (h1, h2, h3, h4, h5, h6)을 사용하여, 상기 식 (8) 내지 (22)에 의해서 1/4 화소 정밀도의 분수 정밀도 참조 화상(813)을 작성한다.
필터 정보(811)에 포함되는 필터의 식별자가 「2」일 때, 분수 정밀도 참조 화상 작성부(804)는 필터 정보(811)에 포함되는 수평·수직방향 모두 기준 필터인 (1, -5, 20, 20, -5, 1)/32를 사용하여, 상기 식 (23) 내지 (38)에 의해 1/4 화소 정밀도의 분수 정밀도 참조 화상(813)을 작성한다.
필터 정보(811)에 포함되는 필터의 식별자가 「3」일 때, 분수 정밀도 참조 화상 작성부(804)는 필터 정보(811)에 포함되는 필터 계수(b1, b2', b3', b4', b5', b6') 및 (h1', h2', h3', h4', h5', h6')을 사용하여, 상기 식 (39) 내지 (53)에 의해서 1/4 화소 정밀도의 분수 정밀도 참조 화상(813)을 작성한다. 다음에, 분수 정밀도 참조 화상 작성부(804)는 작성한 분수 정밀도 참조 화상(813)을 프레임 화상 복호화부(806)에 출력한다.
다음에, 도 9를 사용하여, 본 실시형태에 관계되는 동화상 복호화 방법의 동작을 설명한다. 도 9는 본 실시형태에 관계되는 동화상 복호화 장치(80)의 동작인 동화상 부호화 방법을 설명하는 플로차트이다.
우선 입력부(801)가 외부에서 입력된 부호화 비트스트림(807)을 차례로 프레임 단위마다 필터 정보 부호화 비트스트림(809)과 프레임 화상 부호화 비트스트림(808)으로 분리한다(입력 스텝 S901).
다음에 필터 정보 복호화부(802)가 필터 정보 부호화 비트스트림(809)을 복호화하여 필터 정보(811)를 복원한다(필터 정보 복호화 스텝 S902).
다음에, 필터 정보 복호화부(802)가 필터 정보(811)를 앞 프레임 필터 정보(810)로서 필터 정보 축적부(803)에 축적한다(필터 정보 축적 스텝 S903).
한편, 분수 정밀도 참조 화상 작성부(804)가 필터 정보(811)와 참조 화상(812)을 사용하여, 분수 정밀도 참조 화상(813)을 작성한다(분수 정밀도 참조 화상 작성 스텝 S904).
다음에 프레임 화상 복호화부(806)가 프레임 화상 부호화 비트스트림(808)과 분수 정밀도 참조 화상(813)을 사용하여 움직임 보하여 복호화 완료 프레임 화상(814)을 복호화한다(프레임 화상 복호화 스텝 S905).
다음에 프레임 화상 복호화부(806)가 복호화 완료 프레임 화상(814)을 프레임 메모리(805)에 축적한다(참조 화상 축적 스텝 S906).
다음에 모든 프레임 화상의 복호화가 종료하였는지의 여부가 판정되고(스텝 S907), 모든 프레임 화상의 복호화가 종료한 경우에는(스텝 S907; YES), 처리가 종료한다. 모든 프레임 화상의 복호화가 종료하지 않은 경우에는(스텝 S907; NO), 앞 프레임 필터 정보(810) 및 참조 화상(812)이 갱신되어, 스텝 S902로부터 처리가 반복된다.
다음에, 도 10을 사용하여, 필터 정보 복호화 스텝 S902를 자세히 설명한다. 도 10은 필터 정보 복호화부(802)의 동작인 필터 정보 복호화 스텝 S902를 설명하는 플로차트이다.
우선 필터 정보 복호화부(802)는 필터 정보 부호화 비트스트림(809)으로부터 필터 식별자를 복호화하여 복원한다(식별자 복호화 스텝 S90201).
다음에, 필터 식별자가 「1」일 때(스텝 S90202;1), 필터 정보 복호화부(802)는 각 필터 계수에 관해서 그 값의 앞 프레임 필터 정보(810)로부터의 차분치를 복호화하고(차분 필터 계수 복호화 스텝 S90203), 복호화한 각 값에 앞 프레임 필터 정보(810)의 필터 계수를 가산하고(필터 계수 가산 스텝 S90204), 수평·수직방향에 독립적인 비대칭형 필터를 복원한다(수평·수직방향 독립 비대칭형 필터 복원 스텝 S90205).
필터 식별자가 「2」인 경우(스텝 S90202; 2), 필터 정보 복호화부(802)는 기준 필터의 필터 계수를 복원한다(기준 필터 복원 스텝 S90206).
필터 식별자가 「3」인 경우(스텝 S90202; 3), 필터 정보 복호화부(802)는 앞 프레임 필터 정보(810)를 복원한다(앞 프레임 필터 복원 스텝 S90207).
다음에 필터 정보 복호화부(802)는 복원된 식별자 및 필터 계수인 필터 정보(811)를 출력하고(필터 정보 출력 스텝 S90208), 처리를 종료한다.
다음에, 컴퓨터를 상술한 동화상 복호화 장치(80)로서 기능시키기 위한 동화상 복호화 프로그램(110)에 관해서 설명한다. 도 11은 동화상 복호화 프로그램(110)의 구성을 도시하는 도면이다.
도 11에 도시되는 바와 같이, 동화상 복호화 프로그램(110)은 처리를 통괄하는 메인 모듈 프로그램(1101)과, 입력 모듈(1102)과, 필터 정보 복호화 모듈(1103)과, 필터 정보 축적 모듈(1104)과, 분수 정밀도 참조 화상 작성 모듈(1105)과, 프레임 메모리(1106)와, 프레임 화상 복호화 모듈(1107)을 구비한다. 입력 모듈(1102)과, 필터 정보 복호화 모듈(1103)과, 필터 정보 축적 모듈(1104)과, 분수 정밀도 참조 화상 작성 모듈(1105)과, 프레임 메모리(1106)와, 프레임 화상 복호화 모듈(1107)이 컴퓨터에 실행시키는 기능은, 각각 대응하는 상술한 입력부(801)와, 필터 정보 복호화부(802)와, 필터 정보 축적부(803)와, 분수 정밀도 참조 화상 작성부(804)와, 프레임 메모리(805)와, 프레임 화상 복호화부(806)와 같다.
이상의 실시형태에 관계되는 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램에 의하면, 프레임마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여 부호화하는 경우에, 적어도 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 포함하는 복수의 필터 후보 중에서 필터가 선택 및 결정된다. 이 때문에, 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 나타내는 식별자를 부호화하는 것만으로 충분하여, 필터 계수를 부호화할 필요가 없다. 그 결과, 필터 계수의 부호량을 저감할 수 있다.
또한, 필터 후보로 수평·수직방향에 독립적인 비대칭형 필터를 포함하여, 수평·수직방향에 독립적인 비대칭형 필터를 나타내는 식별자와, 그 필터의 필터 계수를 1프레임 전의 프레임 화상의 부호화에 사용된 필터의 필터 계수로부터 빼 부호화함으로써, 적은 필터 계수의 부호량으로 수평방향과 수직방향에서 다른 특성을 가지는 영상에 대해서도 높은 정밀도로 움직임 보상할 수 있다. 또, 필터 후보로 기준 필터를 포함하여, 기준 필터를 나타내는 식별자를 부호화하는 것만으로(필터 계수를 부호화하지 않음), 필터 계수의 부호량을 저감할 수 있다.
이상의 실시형태에 관계되는 동화상 복호화 장치, 동화상 복호화 방법, 동화상 복호화 프로그램에 의하면, 프레임마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여 복호화하는 경우에, 적어도 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 포함하는 복수의 필터 후보 중에서 필터가 선택 및 결정된다. 이 때문에, 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 나타내는 식별자를 복호화하는 것만으로 충분하여, 필터 계수를 복호화할 필요가 없다. 그 결과, 복호화하는 필터 계수의 부호량을 저감할 수 있다.
또, 필터 후보로 수평·수직방향에 독립적인 비대칭형 필터를 포함하여, 수평·수직방향에 독립적인 비대칭형 필터를 나타내는 식별자와, 그 필터의 필터 계수를 1프레임 전의 프레임 화상의 복호화에 사용된 필터의 필터 계수로부터 빼 복호화함으로써, 복호화하는 필터 계수의 부호량이 적더라도, 수평방향과 수직방향에서 다른 특성을 가지는 영상에 대해서도 높은 정밀도로 움직임 보상할 수 있다. 또, 필터 후보로 기준 필터를 포함하여, 기준 필터를 나타내는 식별자를 복호화하는 것만으로(필터 계수를 복호화하지 않음), 복호화하는 필터 계수의 부호량을 저감할 수 있다.
(제 2 실시형태)
다음에, 복수의 참조 프레임(참조 화상)을 사용하여 부호화를 하는 경우에, 참조 프레임마다 다른 필터를 사용하여 분수 정밀도의 참조 화상을 작성하는 변형예를 설명한다.
상술한 H.264 부호화 방식이나, 상기 비특허문헌 1 및 비특허문헌 2에 기재된 기술(記述)에서는 참조 화상이 복수 프레임 있는 경우에도, 부호화하는 프레임마다, 모든 참조 화상에 동일한 필터를 사용하여 분수 화소 정밀도의 참조 화상이 작성된다. 이 때문에, 부호화하는 프레임이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에, 참조 화상마다 부호화하는 데 적합한 필터를 사용하여 부호화할 수 없고, 높은 정밀도로 움직임 보상할 수 없다고 하는 문제가 있다. 제 2 실시형태의 목적은, 부호화하는 프레임이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에도, 고정밀도의 움직임 보상을 실현하는 것이다.
제 2 실시형태에 관계되는 동화상 부호화 장치가 제 1 실시형태의 동화상 부호화 장치(20)와 다른 부분은, 필터 결정부(202), 필터 정보 축적부(203), 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)이기 때문에, 염색 부분에 관해서만 설명한다.
도 3을 사용하여, 참조 프레임마다 다른 필터를 사용하여 참조 화상을 작성하는 경우의 필터 결정부(202)를 설명한다. 필터 정보 축적부(203)는 1프레임 전의 프레임 화상을 부호화할 때에 분수 정밀도의 참조 화상을 작성하기 위해서 사용된 필터(앞 프레임 필터 정보(212))를 참조 프레임마다 보유하고 있다.
도 12(a)와 같이, 현재의 부호화 대상의 프레임 Fc에 대하여, 참조 프레임으로서 과거에 부호화 완료의 3장의 프레임을 사용하는 경우, 이들의 참조 프레임의 식별자를 부호화된 순서로 참조 프레임 3, 참조 프레임 2, 참조 프레임 1로 한다. 또한, 도 12b와 같이, 현재의 부호화 대상의 프레임 Fc의 1프레임 전에 부호화된 참조 프레임 1을 부호화하였을 때의 참조 프레임의 식별자를, 부호화된 순서로 참조 프레임 4, 참조 프레임 3, 참조 프레임 2로 한다.
현재의 부호화 대상의 프레임 Fc의 1프레임 전에 부호화된 참조 프레임 1을 부호화하였을 때에, 참조 프레임 4, 참조 프레임 3, 참조 프레임 2에 대하여 분수 정밀도의 참조 화상을 작성하기 위해서 사용된 필터가 각각 필터 4, 필터 3, 필터 2이라고 한다. 이 전제 하에서 현재의 부호화 대상의 프레임 Fc가 부호화될 때, 필터 정보 축적부(203)는 1프레임 전의 프레임 화상을 부호화하였을 때의 필터로서, 참조 프레임 3에 대해서는 필터 3을, 참조 프레임 2에 대해서는 필터 2를, 참조 프레임 1에 대해서는 필터 4, 필터 3 및 필터 2를 보유하고 있다.
필터 결정부(202)는 입력부(201)로부터 입력된 프레임 화상(210)과, 프레임 메모리(206)로부터 입력된 참조 화상(211)을 사용하여, 필터 정보 축적부(203)의 앞 프레임 필터 정보(212)를 참조하면서, 현재의 부호화 대상의 프레임 화상을 부호화하기 위한 분수 정밀도의 참조 화상을 작성하는 필터 정보(213)를 참조 프레임마다 결정한다. 계속해서, 필터 결정부(202)는 결정한 필터 정보(213)를 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다.
구체적으로는 우선, 필터 결정부(202) 내의 제 1 필터 계수 결정부(20201)가 입력부(201)로부터 입력된 프레임 화상(210)과, 프레임 메모리(206)로부터 입력된 참조 화상(211) 중의 상기 참조 프레임 3을 사용하여, 수평·수직방향에 독립적으로 비대칭형의, 1/2 화소 정밀도의 참조 화상을 작성하는 제 1 필터(20206)를 결정한다. 계속해서, 제 1 필터 계수 결정부(20201)는 결정한 제 1 필터(20206)와, 프레임 화상(210)과, 참조 화상(211) 중의 상기 참조 프레임 3을, 제 1 필터 부호화 효율 산출부(20202)에 출력한다.
다음에, 제 1 필터 부호화 효율 산출부(20202)가 제 1 필터 계수 결정부(20201)로부터 입력된 제 1 필터(20206)와, 프레임 화상(210)과, 프레임 메모리(206)로부터 입력된 참조 화상(211) 중의 상기 참조 프레임 3을 사용하여, 참조 화상(211) 중의 상기 참조 프레임 3으로부터 1/4 화소 정밀도의 참조 화상을 생성한다. 계속해서, 제 1 필터 부호화 효율 산출부(20202)는 생성한 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량을 산출한다. 제 1 필터 부호화 효율 산출부(20202)는 제 1 필터의 계수와 산출한 부호량 S1을 제 1 필터 정보(20207)로서 부호화 효율 비교부(20205)에 출력한다.
다음에, 제 2 필터 부호화 효율 산출부(20203)가 프레임 화상(210)과, 참조 화상(211) 중의 상기 참조 프레임 3과, 제 2 필터 부호화 효율 산출부(20203) 내에 미리 보유하고 있는 기준 필터인 제 2 필터를 사용하여, 참조 화상(211) 중의 상기 참조 프레임 3으로부터 1/4 화소 정밀도의 참조 화상을 생성한다. 계속해서, 제 2 필터 부호화 효율 산출부(20203)는 생성한 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량을 산출한다. 제 2 필터 부호화 효율 산출부(20203)는 산출한 부호량 S2를 제 2 필터 정보(20208)로서 부호화 효율 비교부(20205)에 출력한다.
다음에, 제 3 필터 부호화 효율 산출부(20204)가 필터 정보 축적부(203) 내의 앞 프레임 필터 정보(212) 중의 참조 프레임 3에 대한 상기 필터 3을 참조하여, 참조 화상(211) 중의 상기 참조 프레임 3으로부터 1/4 화소 정밀도의 참조 화상을 생성한다. 계속해서, 제 3 필터 부호화 효율 산출부(20204)는 생성한 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량을 산출한다. 제 3 필터 부호화 효율 산출부(20204)는 산출한 부호량 S3을 제 3 필터 정보(20209)로서 부호화 효율 비교부(20205)에 출력한다.
다음에, 부호화 효율 비교부(20205)가 제 1 필터 부호화 효율 산출부(20202)로부터 입력된 제 1 필터 정보(20207)와, 제 2 필터 부호화 효율 산출부(20203)로부터 입력된 제 2 필터 정보(20208)와, 제 3 필터 부호화 효율 산출부(20204)로부터 입력된 제 3 필터 정보(20209)를 사용하여, 3개의 필터 중에서 가장 부호량이 적은 필터를 선택한다. 계속해서, 부호화 효율 비교부(20205)는 선택한 필터의 필터 정보(213)를 상기 참조 프레임 3에 대한 필터 정보로서, 분수 정밀도 참조 화상 작성부(204)와 필터 정보 부호화부(205)에 출력한다.
구체적으로는 부호화 효율 비교부(20205)는 부호량 S1과 부호량 S2와 부호량 S3을 비교하여, 가장 부호량이 적은 필터를 선택한다. S1의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 1 필터를 나타내는 식별자 「1」, 제 1 필터의 계수(b1, b2, b3, b4, b5, b6) 및 (h1, h2, h3, h4, h5, h6)을 상기 참조 프레임 3에 대한 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다. 또한, S2의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 2 필터를 나타내는 식별자 「2」를 상기 참조 프레임 3에 대한 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다. 또, S3의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 3 필터를 나타내는 식별자 「3」을 상기 참조 프레임 3에 대한 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다.
마찬가지로, 필터 결정부(202)는 입력부(201)로부터 입력된 프레임 화상(210)과, 프레임 메모리(206)로부터 입력된 참조 화상(211) 중의 상기 참조 프레임 2를 사용하여, 필터 정보 축적부(203)의 앞 프레임 필터 정보(212) 중의 상기 필터 2를 참조하면서, 제 1 필터, 제 2 필터, 및 제 3 필터인 상기 필터 2 중에서, 부호화하였을 때 가장 부호량이 적은 필터를 선택한다. 계속해서, 필터 결정부(202)는 선택한 필터의 필터 정보(213)를 상기 참조 프레임 2에 대한 필터 정보로서, 분수 정밀도 참조 화상 작성부(204)와 필터 정보 부호화부(205)에 출력한다.
구체적으로는 필터 결정부(202) 내의 부호화 효율 비교부(20205)가 제 1 필터를 사용하여 부호화하였을 때의 부호량 S1과, 제 2 필터를 사용하여 부호화하였을 때의 부호량 S2와, 제 3 필터를 사용하여 부호화하였을 때의 부호량 S3을 비교하여, 가장 부호량이 적은 필터를 선택한다.
S1의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 1 필터를 나타내는 식별자 「1」과, 제 1 필터의 계수(b1, b2, b3, b4, b5, b6) 및 (h1, h2, h3, h4, h5, h6)을, 상기 참조 프레임 2에 대한 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다. 또, S2의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 2 필터를 나타내는 식별자 「2」를 상기 참조 프레임 2에 대한 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다. 또, S3의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 3 필터를 나타내는 식별자 「3」을 상기 참조 프레임 3에 대한 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다.
또한, 필터 결정부(202)는 입력부(201)로부터 입력된 프레임 화상(210)과, 프레임 메모리(206)로부터 입력된 참조 화상(211) 중의 상기 참조 프레임 1을 사용하여, 필터 정보 축적부(203)의 앞 프레임 필터 정보(212) 중의 참조 프레임 1에 대한 상기 필터 4, 상기 필터 3 및 상기 필터 2를 참조하면서, 제 1 필터, 제 2 필터, 및 제 3 필터인 상기 필터 4, 상기 필터 3 또는 상기 필터 2 중에서, 부호화하였을 때에 가장 부호량이 적은 필터를 선택한다. 계속해서, 필터 결정부(202)는 선택한 필터 정보(213)를 상기 참조 프레임 2에 대한 필터 정보로서, 분수 정밀도 참조 화상 작성부(204)와 필터 정보 부호화부(205)에 출력한다.
이때, 제 3 필터를 사용하여 부호화하였으면, 필터 결정부(202)는 사용한 필터가 상기 필터 4인지, 상기 필터 3인지, 상기 필터 2인지를 나타내는 식별자를 부호화한 부호량을 포함하여 계산한다. 또한, 부호화하였을 때에 가장 부호량이 적은 필터가 제 3 필터인 경우, 필터 결정부(202)는 사용한 필터가 상기 필터 4, 필터 3 및 필터 2 중 어느 것인지를 나타내는 정보를 필터 정보(213)에 포함하여 출력한다.
구체적으로는 필터 결정부(202) 내의 부호화 효율 비교부(20205)가 제 1 필터를 사용하여 부호화하였을 때의 부호량 S1과, 제 2 필터를 사용하여 부호화하였을 때의 부호량 S2와, 제 3 필터를 사용하여 부호화하였을 때의 부호량 S3을 비교하여, 가장 부호량이 적은 필터를 선택한다.
S1의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 1 필터를 나타내는 식별자 「1」과, 제 1 필터의 계수(b1, b2, b3, b4, b5, b6) 및 (h1, h2, h3, h4, h5, h6)을, 상기 참조 프레임 1에 대한 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다.
또한, S2의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 2 필터를 나타내는 식별자 「2」를 상기 참조 프레임 1에 대한 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다.
또, S3의 부호량이 가장 적은 경우, 부호화 효율 비교부(20205)는 제 3 필터를 나타내는 식별자 「3」과, 필터 타입의 식별자(사용한 필터가 상기 필터 4인 경우에는 「1」, 사용한 필터가 상기 필터 3인 경우에는 「2」, 사용한 필터가 상기 필터 2인 경우에는 「3」)를, 상기 참조 프레임 1에 대한 필터 정보(213)로서 분수 정밀도 참조 화상 작성부(204) 및 필터 정보 부호화부(205)에 출력한다.
분수 정밀도 참조 화상 작성부(204)는 필터 결정부(202)로부터 입력된 참조 프레임마다의 필터 정보(213)와, 프레임 메모리(206)로부터 입력된 참조 화상(211)을 사용하여, 참조 프레임마다 분수 정밀도 참조 화상(215)을 작성한다. 그리고, 분수 정밀도 참조 화상 작성부(204)는 작성한 분수 정밀도 참조 화상(215)을 프레임 화상 부호화/복호화부(207)에 출력한다.
우선, 1프레임 전에 부호화한 참조 프레임 이외의 참조 프레임에 대한 분수 정밀도 참조 화상 작성부(204)의 처리를 구체적으로 설명한다. 필터 정보(213)에 포함되는 필터의 식별자가 「1」일 때, 분수 정밀도 참조 화상 작성부(204)는 필터 정보(213)에 포함되는 필터 계수를 사용하여, 1/4 화소 정밀도의 분수 정밀도 참조 화상(215)을 작성한다.
또, 필터 정보(213)에 포함되는 필터의 식별자가 「2」일 때, 분수 정밀도 참조 화상 작성부(204)는 수평·수직방향 모두 기준 필터를 사용하여, 1/4 화소 정밀도의 분수 정밀도 참조 화상(215)을 작성한다.
필터 정보(213)에 포함되는 필터의 식별자가 「3」일 때, 분수 정밀도 참조 화상 작성부(204)는 필터 정보 축적부(203)를 참조하여, 각 참조 프레임에 대한 앞 프레임 필터 정보(212)를 사용하여 1/4 화소 정밀도의 분수 정밀도 참조 화상(215)을 작성한다.
다음에, 1프레임 전에 부호화한 참조 프레임에 대한 분수 정밀도 참조 화상 작성부(204)의 처리를 구체적으로 설명한다. 필터 정보(213)에 포함되는 필터의 식별자가 「1」일 때, 분수 정밀도 참조 화상 작성부(204)는 필터 정보(213)에 포함되는 필터 계수를 사용하여, 1/4 화소 정밀도의 분수 정밀도 참조 화상(215)을 작성한다.
또한, 필터 정보(213)에 포함되는 필터의 식별자가 「2」일 때, 분수 정밀도 참조 화상 작성부(204)는 수평·수직방향 모두 기준 필터를 사용하여, 1/4 화소 정밀도의 분수 정밀도 참조 화상(215)을 작성한다.
필터 정보(213)에 포함되는 필터의 식별자가 「3」일 때, 분수 정밀도 참조 화상 작성부(204)는 또 필터 정보(213)에 포함되는, 사용한 필터 타입의 식별자(상기 필터 4인 경우에는 「1」, 상기 필터 3인 경우에는 「2」, 상기 필터 2인 경우에는 「3」)를 참조하여, 필터 정보 축적부(203)에 축적되어 있는 상기 참조 프레임의 상기 필터 타입의 필터인 앞 프레임 필터 정보(212)를 사용하여, 1/4 화소 정밀도의 분수 정밀도 참조 화상(215)을 작성한다.
필터 정보 부호화부(205)는 필터 결정부(202)로부터 입력된 참조 프레임마다의 필터 정보(213)에 포함되는 필터 식별자를 부호화한다. 다음에, 필터 식별자가 「1」인 경우, 필터 정보 부호화부(205)는 필터 정보(213)에 포함되는 제 1 필터의 필터 계수(b1, b2, b3, b4, b5, b6) 및 (h1, h2, h3, h4, h5, h6)을 부호화한다.
이때 필터 정보 부호화부(205)는 현재, 부호화하고 있는 필터 정보 부호화 비트스트림(214)이 1프레임 전에 부호화한 것 이외의 참조 프레임인 경우, 필터 정보 축적부(203)의 상기 참조 프레임의 앞 프레임 필터 정보(212)를 참조하여, 각 필터 계수에 관해서, 그 값의 앞 프레임 필터 정보(212)의 각 필터 계수로부터의 차분치를 부호화한다.
즉, 앞 프레임 필터 정보(212)의 필터 계수가, 수평방향에 관해서 (b1', b2', b3', b4', b5', b6')이고 수직방향에 관해서 (h1', h2', h3', h4', h5', h6')인 경우, 필터 정보 부호화부(205)는 수평방향에 관해서 (b1-b1', b2-b2', b3-b3', b4-b4', b5-b5', b6-b6')이고 수직방향에 관해서 (h1-h1', h2-h2', h3-h3', h4-h4', h5-h5', h6-h6')인 필터 계수를 부호화한다.
또한, 현재, 부호화하고 있는 필터 정보 부호화 비트스트림(214)이 1프레임 전에 부호화한 참조 프레임인 경우, 필터 정보 부호화부(205)는 각 필터 계수에 관해서, 그 값의 제 2 필터(기준 필터)의 필터 계수로부터의 차분치를 부호화한다. 다음에 필터 정보 부호화부(205)는 부호화한 필터 식별자와 필터 계수의 차분치를 필터 정보 부호화 비트스트림(214)으로서 출력부(208)에 출력한다.
또한 필터 정보 부호화부(205)는 필터 식별자가 「1」인 경우에, 필터 정보 축적부(203)의 참조 프레임의 앞 프레임 필터 정보(212)를 제 1 필터에 갱신한다. 필터 식별자가 「2」인 경우, 필터 정보 부호화부(205)는 부호화한 필터 식별자를 필터 정보 부호화 비트스트림(214)으로서 출력부(208)에 출력하여, 필터 정보 축적부(203)의 앞 프레임 필터 정보(212)를 제 2 필터(기준 필터)에 갱신한다.
계속해서 필터 식별자가 「3」인 경우를 설명한다. 현재, 부호화하고 있는 필터 정보 부호화 비트스트림(214)이 1프레임 전에 부호화한 것 이외의 참조 프레임인 경우, 필터 정보 부호화부(205)는 부호화한 필터 식별자를 필터 정보 부호화 비트스트림(214)으로서 출력부(208)에 출력한다. 계속해서, 필터 정보 부호화부(205)는 필터 정보 축적부(203)의 상기 참조 프레임의 앞 프레임 필터 정보(212)를 갱신 전과 같은 필터 정보인 제 3 필터에 갱신한다.
한편, 현재, 부호화하고 있는 필터 정보 부호화 비트스트림(214)이 1프레임 전에 부호화한 참조 프레임인 경우, 필터 정보 부호화부(205)는 필터 정보(213)에 포함되는 상기 참조 프레임의 분수 정밀도 참조 화상을 작성하기 위해서 사용한 필터의 필터 타입을 부호화한다. 계속해서, 필터 정보 부호화부(205)는 부호화한 필터 식별자와 합쳐서 필터 정보 부호화 비트스트림(214)으로서 출력부(208)에 출력한다. 또한, 필터 정보 부호화부(205)는 필터 정보 축적부(203)의 상기 참조 프레임의 앞 프레임 필터 정보(212)를 상기 참조 프레임의 분수 정밀도 참조 화상을 작성하기 위해서 사용한 필터에 갱신한다. 또, 필터 정보 부호화부(205)는 필터 정보 축적부(203)의 부호화 대상의 프레임 화상의 앞 프레임 필터 정보(212)로서, 다음 프레임의 부호화에 있어 참조 프레임이 되는 프레임의 앞 프레임 필터 정보를 참조 프레임과 관련지어 설정한다.
다음에, 제 2 실시형태에 관계되는 동화상 부호화 방법에 관해서 설명한다. 제 2 실시형태에 관계되는 동화상 부호화 방법이 제 1 실시형태의 동화상 부호화 방법과 다른 부분은 필터 결정 스텝 S402, 필터 정보 부호화 스텝 S403, 필터 정보 축적 스텝 S404, 분수 정밀도 참조 화상 작성 스텝 S405이기 때문에, 그 부분에 관해서만 설명한다.
도 13을 사용하여, 필터 결정 스텝 S402의 변형예인 필터 결정 스텝 S1302를 설명한다. 도 13은 제 2 실시형태에 있어서의 필터 결정부(202)의 동작인 필터 결정 스텝 S1302를 설명하는 플로차트이다.
우선 제 1 필터 계수 결정부(20201)가, 프레임 화상(210)과 참조 화상(211) 중의 부호화된 순서가 가장 오래된 참조 프레임을 사용하여, 수평·수직방향에 독립적으로 비대칭형의, 1/2 화소 정밀도의 참조 화상을 작성하는 제 1 필터(20206)를 결정한다(제 1 필터 결정 스텝 S130201).
다음에 제 1 필터 부호화 효율 산출부(20202)가 제 1 필터(20206)와 참조 화상(211)을 사용하여, 제 1 필터에 의해서 참조 화상(211)으로부터 1/4 화소 정밀도의 참조 화상을 생성한다. 그리고 제 1 필터 부호화 효율 산출부(20202)는 생성한 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량 S1을 산출한다(제 1 필터 부호화 효율 산출 스텝 S130202).
또한 제 2 필터 부호화 효율 산출부(20203)가, 프레임 화상(210)과, 참조 화상(211) 중의 부호화된 순서가 가장 오래된 참조 프레임과, 제 2 필터 부호화 효율 산출부(20203) 내에 미리 보유하고 있는 기준 필터인 제 2 필터를 사용하여, 참조 화상(211) 중의 부호화된 순서가 가장 오래된 참조 프레임으로부터 1/4 화소 정밀도의 참조 화상을 생성한다. 그리고 제 2 필터 부호화 효율 산출부(20203)는 생성한 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량 S2를 산출한다(제 2 필터 부호화 효율 산출 스텝 S130203).
또, 제 3 필터 부호화 효율 산출부(20204)가 1프레임 전의 프레임 화상을 부호화할 때에 사용된 1/2 화소 정밀도의 참조 화상 작성용 필터인 제 3 필터를 사용하여, 참조 화상(211)으로부터 1/4 화소 정밀도의 참조 화상을 생성한다. 그리고 제 3 필터 부호화 효율 산출부(20204)는 그 참조 화상을 사용하여 프레임 화상(210)을 부호화하였을 때의 부호량 S3을 산출한다. 이때, 제 3 필터로서 복수의 필터 후보가 있는 경우, 제 3 필터 부호화 효율 산출부(20204)는 각각의 필터를 사용한 경우의 부호량을 산출하고, 그 중에서 가장 값이 작은 부호량을 부호량 S3으로 한다(제 3 필터 부호화 효율 산출 스텝 S130204).
다음에, 부호화 효율 비교부(20205)가 부호량 S1과 부호량 S2와 부호량 S3을 비교한다(부호화 효율 비교 스텝 S130205). 가장 부호량이 적은 필터가 제 1 필터인 경우, 부호화 효율 비교부(20205)는 제 1 필터를 나타내는 식별자 「1」과 제 1 필터의 필터 계수를 필터 정보(213)로서 출력한다(제 1 필터 정보 출력 스텝 S 130206). 선택한 필터가 제 2 필터인 경우, 부호화 효율 비교부(20205)는 제 2 필터를 나타내는 식별자 「2」를 필터 정보(213)로서 출력한다(제 2 필터 정보 출력 스텝 S130207).
선택한 필터가 제 3 필터인 경우, 부호화 효율 비교부(20205)는 제 3 필터를 나타내는 식별자 「3」을 필터 정보(213)로서 출력한다. 또, 제 3 의 필터로서 복수의 필터 후보가 있는 경우, 부호화 효율 비교부(20205)는 부호량이 가장 작아지는 필터의 필터 타입의 식별자도 필터 정보(213)로서 출력한다(제 3 필터 정보 출력 스텝 S130208).
다음에, 필터 결정부(202)가 참조 화상(211) 중의 모든 참조 프레임에 관해서 처리를 하였는지를 판단한다. 모든 참조 프레임에 관해서 처리가 행하여지지 않은 경우(스텝 S130209; NO)는 부호화된 순서가 다음으로 오래된 참조 프레임에 관해서 상기 스텝 S130201 내지 S130208의 처리가 반복하여 실행된다. 모든 참조 프레임에 관해서 처리가 행하여지면(스텝 S130209; YES), 처리가 종료한다.
다음에, 도 14를 사용하여, 필터 정보 부호화 스텝 S1403을 자세히 설명한다. 도 14는 제 2 실시형태에 있어서의 필터 정보 부호화부(205)의 동작인 필터 정보 부호화 스텝 S1403을 설명하는 플로차트이다.
우선 필터 정보 부호화부(205)는 부호화된 순서가 가장 오래된 참조 프레임에 관해서 필터 정보(213)에 포함되는 필터의 식별자를 부호화한다(식별자 부호화 스텝 S140301).
다음에, 필터 식별자가 「1」일 때(스텝 S140302; YES), 필터 정보 부호화부(205)는 제 1 필터의 각 필터 계수에 관해서, 필터 계수의 차분치를 계산하고(필터 계수 차분 스텝 S40303), 그 차분치를 부호화한다(차분 필터 계수 부호화 스텝 S40304).
이때, 현재, 필터 정보를 부호화하고 있는 참조 프레임이 1프레임 전에 부호화한 것 이외의 참조 프레임이면, 필터 계수의 차분치는 제 1 필터의 각 필터 계수와 대응하는 앞 프레임 필터 정보(212)의 필터 계수의 차분치가 된다. 한편, 현재, 필터 정보를 부호화하고 있는 참조 프레임이 1프레임 전에 부호화한 참조 프레임이면, 필터 계수의 차분치는 제 1 필터의 각 필터 계수와 대응하는 기준 필터의 필터 계수의 차분치가 된다.
참조 프레임의 필터 식별자가 「1」이 아닌 경우에는(스텝 S40302; NO), 이들 필터 계수 차분 스텝 및 차분 필터 계수 부호화 스텝의 처리는 실행되지 않는다.
다음에, 필터 식별자가 「3」일 때(스텝 S]40305; YES), 필터 정보 부호화부(205)는 현재, 필터 정보를 부호화하고 있는 참조 프레임이 1프레임 전에 부호화한 참조 프레임인지의 여부를 판정한다(스텝 S140306). 그리고, 부호화하고 있는 참조 프레임이 1프레임 전에 부호화한 참조 프레임인 경우(스텝 S140306:YES), 필터 정보 부호화부(205)는 필터 타입의 식별자를 부호화한다(필터 타입 부호화 스텝 S140307). 이것에 대하여, 부호화하고 있는 참조 프레임이 1프레임 전에 부호화한 참조 프레임 이외인 경우(스텝 S140306:NO), 이 필터 타입 부호화 스텝의 처리는 실행되지 않는다. 또, 필터 식별자가 「3」이 아닐 때(스텝 S140305; NO)에도, 이 필터 타입 부호화 스텝의 처리는 실행되지 않는다.
다음에, 필터 정보 부호화부(205)는 부호화한 필터 정보 부호화 비트스트림(214)을 출력한다(필터 정보 부호화 비트스트림 출력 스텝 S140305).
다음에, 필터 정보 부호화부(205)는 모든 참조 프레임에 관해서 처리를 하였는지를 판단한다. 이때 모든 참조 프레임에 관해서 처리가 행하여지지 않았으면(스텝 S140308; NO), 부호화된 순서가 다음으로 오래된 참조 프레임에 관해서 스텝 S140301 내지 S140308의 처리가 반복하여 실행된다. 한편, 모든 참조 프레임에 대해서 처리가 행하여지면(스텝 S140308; YES), 처리가 종료한다.
제 2 실시형태에 있어서의 필터 정보 축적부(203)의 동작인 필터 정보 축적 스텝 S1404는 참조 화상으로서 사용되는 참조 프레임마다 앞 프레임 필터 정보(212)가 축적되는 점에서 필터 정보 축적 스텝 S404와 다르다.
또한, 제 2 실시형태에 있어서의 분수 정밀도 참조 화상 작성부(204)의 동작인 분수 정밀도 참조 화상 작성 스텝 S1405는 참조 화상으로서 사용되는 참조 프레임마다 다른 필터 정보(213)를 사용하여 분수 정밀도 참조 화상(215)을 작성하는 점에서 분수 정밀도 참조 화상 작성 스텝 S405와 다르다.
제 2 실시형태에 관계되는 동화상 복호화 장치가 제 1 실시형태의 동화상 복호화 장치(80)와 다른 부분은 필터 정보 복호화부(802), 필터 정보 축적부(803), 분수 정밀도 참조 화상 작성부(804)이기 때문에, 그 부분에 관해서만 설명한다.
필터 정보 축적부(803)는 1프레임 전의 프레임 화상을 복호화할 때에 분수 정밀도의 참조 화상을 작성하기 위해서 사용된 필터(앞 프레임 필터 정보(810))를 참조 프레임마다 보유하고 있다. 앞 프레임 필터 정보(810)는 필터 정보 복호화부(802)에 의해 참조 및 갱신된다.
도 15a와 같이, 현재의 복호 대상의 프레임 Fd에 대하여, 참조 프레임으로서 과거에 복호화 완료된 3장의 프레임을 사용하는 경우, 이들의 참조 프레임의 식별자가 복호화된 순서로 참조 프레임 3, 참조 프레임 2, 참조 프레임 1로 한다. 또한, 도 15b와 같이, 현재의 복호화 대상의 프레임 Fd의 1프레임 전에 복호화된 참조 프레임 1을 복호화하였을 때의 참조 프레임의 식별자를, 복호화된 순서로 참조 프레임 4, 참조 프레임 3, 참조 프레임 2로 한다.
현재의 복호화 대상의 프레임 Fd의 1프레임 전에 부호화된 참조 프레임 1을 복호화한 때에, 참조 프레임 4, 참조 프레임 3, 참조 프레임 2에 대하여 분수 정밀도의 참조 화상을 작성하기 위해서 사용된 필터가 각각 필터 4, 필터 3, 필터 2로 한다. 이때, 필터 정보 축적부(803)는 현재의 복호화 대상의 프레임 Fd를 복호화할 때에, 1프레임 전의 프레임 화상을 복호화하였을 때의 필터로서, 참조 프레임 3에 대해서는 필터 3을, 참조 프레임 2에 대해서는 필터 2를, 참조 프레임 1에 대해서는 필터 4, 필터 3 및 필터 2를 보유하고 있다.
필터 정보 복호화부(802)는 필터 정보 축적부(803) 내의 앞 프레임 필터 정보(810)를 참조하면서, 입력부(801)로부터 입력된 필터 정보 부호화 비트스트림(809)을 복호화하여 필터 정보(811)를 복원한다. 그리고, 필터 정보 복호화부(802)는 복원한 필터 정보(811)를 분수 정밀도 참조 화상 작성부(804)에 출력한다.
구체적으로는 우선 필터 정보 복호화부(802)는 참조 프레임마다, 입력부(801)로부터 입력된 필터 정보 부호화 비트스트림(809)으로부터 필터 식별자를 복호화하여 복원한다. 필터 정보 복호화부(802)는 복호화된 시기가 오래된 참조 프레임으로부터 차례로 이 복원을 실행한다.
필터 식별자가 「1」인 경우, 필터 정보 복호화부(802)는 각 필터 계수를 복원한다. 우선, 필터 정보 복호화부(802)는 각 필터 계수에 관해서 차분치를 복호화한다. 다음에, 현재, 복호화하고 있는 필터 정보(811)가 1프레임 전에 복호화한 것 이외의 참조 프레임인 경우, 필터 정보 복호화부(802)는 필터 정보 축적부(803)의 앞 프레임 필터 정보(810)를 참조하여, 각 필터 계수에 관해서 복호화한 각 값에 앞 프레임 필터 정보(810)의 필터 계수를 가산하여 필터를 복원한다.
예를 들면, 앞 프레임 필터 정보(810)의 필터 계수가, 수평방향에 대해서(b1', b2', b3', b4', b5', b6')이고, 수직방향에 관해서 (h1', h2', h3', h4', h5', h6')로 한다. 또한, 필터 정보 복호화부(802)에 의해서 복호화된 필터 계수의 차분치가, 수평방향에 관해서 (b1-b1', b2-b2', b3-b3', b4-b4', b5-b5', b6-b6')이고, 수직방향에 관해서 (h1-h1', h2-h2', h3-h3', h4-h4', h5-h5', h6-h6')로 한다. 이 경우, 복원된 필터의 필터 계수는 수평방향에 관해서 (b1, b2, b3, b4, b5, b6)이 되고, 수직방향에 관해서 (h1, h2, h3, h4, h5, h6)이 된다.
또한, 현재, 복호화하고 있는 필터 정보(811)가 1프레임 전에 복호화한 참조 프레임인 경우, 필터 정보 복호화부(802)는 각 필터 계수에 관해서 복호화한 각 값에 기준 필터의 필터 계수를 가산하여 필터를 복원한다.
필터 식별자가 「2」인 경우, 필터 정보 복호화부(802)는 기준 필터의 필터 계수인 수평·수직방향 모두 (1, -5, 20, 20, -5, 1)/32를 복원한다.
필터 식별자가 「3」인 경우의 처리는 다음과 같다. 즉, 현재, 복호화하고 있는 필터 정보(811)가 1프레임 전에 복호화한 참조 프레임 이외의 것인 경우, 필터 정보 복호화부(802)는 상기 참조 프레임의 앞 프레임 필터 정보(810)의 필터 계수를 복원한다. 이것에 대하여, 현재, 복호화하고 있는 필터 정보(811)가 1프레임 전에 복호화한 참조 프레임인 경우, 필터 정보 복호화부(802)는 또 필터 타입을 복호화하여, 상기 참조 프레임의 앞 프레임 필터 정보(810)로부터 복원한 필터 타입에 관련지어진 필터 계수를 복원한다(필터 타입이 「1」인 경우에는 상기 필터 4, 「2」인 경우에는 상기 필터 3, 「3」인 경우에는 상기 필터 2).
필터 정보 복호화부(802)는 복원된 식별자 및 필터 계수인 필터 정보(811)를 분수 정밀도 참조 화상 작성부(804)에 출력한다. 또한, 필터 정보 복호화부(802)는 필터 정보 축적부(803) 내의 앞 프레임 필터 정보(810)를 복원한 필터 계수로 갱신한다. 또, 필터 정보 복호화부(802)는 필터 정보 축적부(803)의 복호화 대상의 프레임 화상의 앞 프레임 필터 정보(810)로서, 다음 프레임의 복호화에 있어서 참조 프레임이 되는 프레임의 앞 프레임 필터 정보를 참조 프레임과 관련지어 설정한다.
분수 정밀도 참조 화상 작성부(804)는 필터 정보 복호화부(802)로부터 입력된 참조 프레임마다의 필터 정보(811)와, 프레임 메모리(805)로부터 입력된 참조 화상(812)을 사용하여, 참조 프레임마다 분수 정밀도 참조 화상(813)을 작성한다. 계속해서, 분수 정밀도 참조 화상 작성부(804)는 작성한 분수 정밀도 참조 화상(813)을 프레임 화상 복호화부(806)에 출력한다.
구체적으로는 1프레임 전에 부호화한 것 이외의 참조 프레임에 대하여, 필터 정보(811)에 포함되는 필터의 식별자가 「1」일 때, 분수 정밀도 참조 화상 작성부(804)는 필터 정보(811)에 포함되는 필터 계수를 사용하여, 1/4 화소 정밀도의 분수 정밀도 참조 화상(813)을 작성한다. 또한, 필터 정보(811)에 포함되는 필터의 식별자가 「2」일 때, 분수 정밀도 참조 화상 작성부(804)는 수평·수직방향 모두 기준 필터를 사용하여, 1/4 화소 정밀도의 분수 정밀도 참조 화상(813)을 작성한다. 필터 정보(811)에 포함되는 필터의 식별자가 「3」일 때, 분수 정밀도 참조 화상 작성부(804)는 필터 정보(811)에 포함되는 필터 계수를 사용하여, 1/4 화소 정밀도의 분수 정밀도 참조 화상(813)을 작성한다.
다음에, 제 2 실시형태에 관계되는 동화상 복호화 방법에 관해서 설명한다. 제 2 실시형태에 관계되는 동화상 복호화 방법이 제 1 실시형태의 동화상 복호화 방법과 다른 부분은 필터 정보 복호화 스텝 S802, 필터 정보 축적 스텝 S803, 분수 정밀도 참조 화상 작성 스텝 S804이기 때문에, 그 부분에 관해서만 설명한다.
도 16을 사용하여, 필터 정보 복호화 스텝 S802의 변형예인 필터 정보 복호화 스텝 S1602를 설명한다. 도 16은 제 2 실시형태에 있어서의 필터 정보 복호화부(802)의 동작인 필터 정보 복호화 스텝 S1602를 설명하는 플로차트이다.
우선 필터 정보 복호화부(802)는 필터 정보 부호화 비트스트림(809)으로부터 복호화된 순서가 가장 오래된 참조 프레임에 관해서 필터 식별자를 복호화하여 복원한다(식별자 복호화 스텝 S160201).
다음에, 필터 식별자가 「1」일 때(스텝 S160202;1), 필터 정보 복호화부(802)는 각 필터 계수에 관해서 그 차분치를 복호화한다(차분 필터 계수 복호화 스텝 S160203). 계속해서, 필터 정보 복호화부(802)는 복호화한 각 값에 필터 계수를 가산하고(필터 계수 가산 스텝 S160204), 수평·수직방향에 독립적인 비대칭형 필터를 복원한다(수평·수직방향 독립 비대칭형 필터 복원 스텝 S160205).
이때, 현재, 복호화하고 있는 필터 정보(811)가 1프레임 전에 복호화한 것 이외의 참조 프레임인 경우, 필터 정보 복호화부(802)는 필터 정보 축적부(803)의 앞 프레임 필터 정보(810)를 참조하여, 각 필터 계수에 관해서 복호화한 각 차분치에 앞 프레임 필터 정보(810)의 필터 계수를 가산하여 필터를 복원한다. 이것에 대하여, 현재, 복호화하고 있는 필터 정보(811)가 1프레임 전에 복호화한 참조 프레임인 경우, 필터 정보 복호화부(802)는 각 필터 계수에 관해서 복호화한 각 차분치에 기준 필터의 필터 계수를 가산하여 필터를 복원한다.
필터 식별자가 「2」인 경우(스텝 S160202; 2), 필터 정보 복호화부(802)는 기준 필터의 필터 계수를 복원한다(기준 필터 복원 스텝 S160206).
필터 식별자가 「3」인 경우(스텝 S160202; 3)에는 다음과 같이 처리가 행하여진다. 즉, 필터 정보 복호화부(802)는 현재, 필터 정보를 복호화하고 있는 참조 프레임이 1프레임 전에 복호화된 참조 프레임이면(스텝 S160307:YES), 필터 타입의 식별자를 복호화한다(필터 타입 복호화 스텝 S140308). 계속해서, 필터 정보 복호화부(802)는 상기 참조 프레임의 앞 프레임 필터 정보(810)로부터 복원한 필터 타입에 관련지어진 필터 계수를 복원한다. 이것에 대하여, 현재, 필터 정보를 복호화하고 있는 참조 프레임이 1프레임 전에 복호화된 참조 프레임 이외이면(스텝 S140307:NO), 필터 정보 복호화부(802)는 필터 타입 복호화 스텝의 처리를 실행하지 않고, 상기 참조 프레임의 앞 프레임 필터 정보(810)의 필터 계수를 복원한다(앞 프레임 필터 복원 스텝 S160209).
다음에 필터 정보 복호화부(802)는 복원된 식별자 및 필터 계수인 필터 정보(811)를 출력한다(필터 정보 출력 스텝 S 160210).
다음에, 필터 정보 복호화부(802)는 모든 참조 프레임에 관해서 처리를 하였는지를 판단한다. 이때, 모든 참조 프레임에 관해서 처리를 하지 않았으면(스텝 S160211; NO), 복호화된 순서가 다음으로 오래된 참조 프레임에 관해서 상기 스텝 S160201 내지 스텝 S160210의 처리가 반복하여 실행된다. 한편, 모든 참조 프레임에 관해서 처리가 행하여진 경우에는(스텝 S160211; YES), 처리가 종료한다.
또한, 제 2 실시형태에 있어서의 필터 정보 축적부(803)의 동작인 필터 정보 축적 스텝 S1603은 참조 화상으로서 사용되는 참조 프레임마다 앞 프레임 필터 정보(212)가 축적되는 점에서 필터 정보 축적 스텝 S803과 다르다.
또한, 제 2 실시형태에 있어서의 분수 정밀도 참조 화상 작성부(804)의 동작인 분수 정밀도 참조 화상 작성 스텝 S1604는 참조 화상으로서 사용되는 참조 프레임마다 다른 필터 정보(811)를 사용하여 분수 정밀도 참조 화상(813)을 작성하는 점에서 분수 정밀도 참조 화상 작성 스텝 S804와 다르다.
이상 설명한 바와 같이, 제 2 실시형태에 관계되는 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램에 의하면, 참조 화상이 복수 프레임 있는 경우에, 참조 화상마다 다른 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여, 부호화함으로써, 부호화하는 프레임이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에도 높은 정밀도로 움직임 보상할 수 있다. 또한, 적어도 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 포함하는 복수의 필터 후보 중에서 필터가 선택 및 결정된다. 이 때문에, 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 나타내는 식별자를 부호화하는 것만으로 충분하여, 필터 계수를 부호화할 필요가 없다. 그 결과, 필터 계수의 부호량을 저감할 수 있다.
또, 제 2 실시형태에 관계되는 동화상 복호화 장치, 동화상 복호화 방법, 동화상 복호화 프로그램에 의하면, 참조 화상이 복수 프레임 있는 경우에, 참조 화상마다 다른 필터를 사용하여 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여, 복호화함으로써, 복호화하는 프레임이 각 참조 화상에 대하여 다른 화소 정밀도의 움직임량이나 주파수 특성을 가지는 경우에도 높은 정밀도로 움직임 보상할 수 있다. 또, 적어도 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 포함하는 복수의 필터 후보 중에서 필터가 선택 및 결정된다. 이 때문에, 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 나타내는 식별자를 복호화하는 것만으로 충분하여, 필터 계수를 복호화할 필요가 없다. 그 결과, 복호화하는 필터 계수의 부호량을 저감할 수 있다.
또, 상기 각 실시형태에서는, 필터 후보로서, 1프레임 전의 프레임 화상의 부호화에 사용된 필터, 수평·수직방향에 독립적인 비대칭형 필터, 및 기준 필터를 사용하였지만, 사용하는 필터 후보는 이들에 한정되지 않는다. 예를 들면, 2프레임 이상 앞의 과거의 프레임 화상의 부호화에 사용된 필터를 필터 후보로 포함하여, 이들의 필터를 부호화할 때에, 과거의 프레임 화상의 부호화에 사용된 필터인 것을 나타내는 식별자 「3」과 그 필터가 사용된 과거의 프레임 화상을 식별하기 위한 식별자를 부호화하여도 좋다.
과거의 프레임 화상을 식별하기 위한 식별자로서는 영상의 선두로부터의 프레임 화상의 번호나, 부호화 대상의 프레임 화상의 번호와 과거의 프레임 화상의 번호의 차분치를 사용할 수 있다. 또, 상기 과거의 프레임 화상을 식별하기 위한 식별자는 이들의 방법은 한하지는 않는다. 이 경우, 과거의 프레임 화상의 부호화에 사용된 다양한 필터를, 필터 식별자와 과거의 프레임 화상을 식별하는 식별자만을 부호화하는 것만으로 사용할 수 있고, 높은 정밀도로 움직임 보상을 할 수 있다. 또, 이 경우, 필터 계수를 부호화할 필요가 없기 때문에, 필터 계수의 부호량을 저감할 수 있다. 또, 부호화에 사용된 필터인 것을 나타내는 식별자와 그 필터가 사용된 과거의 프레임 화상을 식별하기 위한 식별자를 합쳐서 1개의 식별자로서 부호화를 하여도 좋다.
또한, 이 경우, 수평·수직방향에 독립적인 비대칭형 필터를 부호화할 때에, 수평·수직방향에 독립적인 비대칭형 필터인 것을 나타내는 식별자 「1」과, 과거의 프레임 화상의 부호화에 사용된 필터의 프레임을 나타내는 식별자와, 과거의 프레임 화상의 부호화에 사용된 필터의 필터 계수로부터의 부호화하는 필터의 필터 계수의 차분치를 부호화함으로써, 보다 차분치가 작아지는 과거의 프레임 화상의 부호화에 사용된 필터를 선택하여, 필터 계수의 부호량을 삭감할 수 있다.
또 이 경우, 처음에 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여 부호화하는 프레임 화상의 필터로서 항상 기준 필터를 사용하는 것으로 하고, 과거의 프레임 화상의 부호화에 사용된 필터 중에 반드시 기준 필터를 포함시키는 것도 가능하다. 이것에 의해, 기준 필터인 것을 나타내는 식별자 「2」를 사용하지 않고 기준 필터를 선택할 수 있고, 필터의 식별자의 부호량을 줄일 수 있다.
또, 상기 각 실시형태에서는 필터 후보로서, 1프레임 전의 프레임 화상의 복호화에 사용된 필터, 수평·수직방향에 독립적인 비대칭형 필터, 및 기준 필터를 사용하였지만, 사용하는 필터 후보는 이들에 한정되지 않는다. 예를 들면, 2프레임 이상 앞의 과거의 프레임 화상의 복호화에 사용된 필터를 필터 후보로 포함하여, 이들의 필터를 복호화할 때에, 과거의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자 「3」과 그 필터가 사용된 과거의 프레임 화상을 식별하기 위한 식별자를 복호화하여도 좋다.
과거의 프레임 화상을 식별하기 위한 식별자로서는 영상의 선두로부터의 프레임 화상의 번호나, 복호화 대상의 프레임 화상의 번호와 과거의 프레임 화상의 번호의 차분치를 사용할 수 있다. 또, 상기 과거의 프레임 화상을 식별하기 위한 식별자는 이들의 방법은 한하지는 않는다. 이 경우, 과거의 프레임 화상의 복호화에 사용된 다양한 필터를, 필터 식별자와 과거의 프레임 화상을 식별하는 식별자만을 복호화하는 것만으로 사용할 수 있고, 높은 정밀도로 움직임 보상을 할 수 있다. 또한, 이 경우, 필터 계수를 복호화할 필요가 없기 때문에, 복호화하는 필터 계수의 부호량을 저감할 수 있다. 또, 복호화에 사용된 필터인 것을 나타내는 식별자와 그 필터가 사용된 과거의 프레임 화상을 식별하기 위한 식별자를 합쳐서 1개의 식별자로서 복호화를 하여도 좋다.
또한, 이 경우, 수평·수직방향에 독립적인 비대칭형 필터를 복호화할 때에, 수평·수직방향에 독립적인 비대칭형 필터인 것을 나타내는 식별자 「1」과, 과거의 프레임 화상의 복호화에 사용된 필터의 프레임을 나타내는 식별자와, 과거의 프레임 화상의 복호화에 사용된 필터의 필터 계수로부터의 복호화하는 필터의 필터 계수의 차분치를 복호화함으로써, 보다 차분치가 작아지는 과거의 프레임 화상의 복호화에 사용된 필터를 선택하여, 복호화하는 필터 계수의 부호량을 삭감할 수 있다.
또 이 경우, 처음으로 분수 화소 정밀도의 참조 화상을 생성하여 움직임 보상하여 복호화하는 프레임 화상의 필터로서 항상 기준 필터를 사용하는 것으로 하고, 과거의 프레임 화상의 복호화에 사용된 필터 중에 반드시 기준 필터를 포함시키는 것도 가능하다. 이것에 의해, 기준 필터인 것을 나타내는 식별자 「2」를 사용하지 않고 기준 필터를 선택할 수 있고, 복호화하는 필터의 식별자의 부호량을 줄일 수 있다.
또한, 상기 각 실시형태에서는 필터로서, 1/2 화소 정밀도의 참조 화상을 작성하는 6탭의 필터를 사용하였지만, 사용하는 필터는 이것에 한정되지 않는다. 예를 들면, 임의의 분수 화소 정밀도의 참조 화상을 작성하는 필터를 사용하여도 좋고, 임의의 탭 수의 필터를 사용하여도 좋다. 또, 움직임 보상에 사용되는 분수 화소 정밀도의 참조 화상을 작성하는 방법은, 상술한 방법에 한정되지 않는다. 또, 참조 화상의 분수 화소 정밀도는 1/4 화소 정밀도에 한하지는 않고 임의의 분수 화소 정밀도로 할 수 있다. 또, 상기 각 실시형태에서는 사용하는 필터로서, 상기 제 1 필터, 제 2 필터, 제 3 필터의 모두를 준비하였지만, 이들의 필터를 전부 준비할 필요는 없고, 어느 하나의 필터가 없어도 좋다. 또, 상기 제 1 필터, 제 2 필터, 제 3 필터 이외의 필터를, 사용하는 필터의 후보로서 첨가하여도 좋다.
또, 필터 1의 필터 계수를 부호화하는 경우, 각 필터 계수에 관해서, 그 값의 앞 프레임 필터 정보의 각 필터 계수로부터의 차분치를 부호화하는 것 이외에, 각 필터 계수의 값 자체를 부호화하여도 좋고, 기준 필터의 각 필터 계수로부터의 차분치를 부호화하여도 좋다.
또한, 필터 1의 필터 계수를 복호화하는 경우, 각 필터 계수에 관해서, 그 값의 앞 프레임 필터 정보의 각 필터 계수로부터의 차분치를 복호화하는 것 이외에, 각 필터 계수의 값 자체를 복호화하여도 좋고, 기준 필터의 각 필터 계수로부터의 차분치를 복호화하여도 좋다.
또 상기 각 실시형태에서는 필터 결정부(202)에서 필터 정보를 결정하고, 분수 정밀도 참조 화상 작성부(204)에서 분수 정밀도 참조 화상을 작성하고, 프레임 화상 부호화/복호화부(207)에서 움직임 보상하여 부호화 대상 프레임의 부호화 및 복호화를 하였지만, 이 부호화 및 복호화의 수법은 이것에 한정되지 않는다. 예를 들면, 필터 결정부(202)에서 필터 정보를 결정하기 위한 부호화 효율을 산출할 때에 분수 정밀도 참조 화상 작성 및 프레임 화상 부호화/복호화를 하고 있는 경우에는 분수 정밀도 참조 화상 작성부(204) 및 프레임 화상 부호화/복호화부(207)를 생략하여도 좋다.
또한, 상기 각 실시형태에서는 출력부(208)는 부호화하는 프레임마다, 프레임 화상 부호화 비트스트림(216)의 앞에 필터 정보 부호화 비트스트림(214)을 삽입하여 2개의 비트스트림을 합쳐, 외부에 출력하였지만, 필터 정보 부호화 비트스트림(214)을 프레임 화상 부호화 비트스트림(216) 중에 합쳐서 부호화 비트스트림(218)으로서 외부에 출력하여도 좋다. 또한, 입력부(801)는 부호화 비트스트림(807) 중에 포함되는 프레임 화상 부호화 비트스트림(216) 및 필터 정보 부호화 비트스트림(214)을 접수하고, 이 2개의 비트스트림을 분리하여도 좋다.
또한, 참조 프레임마다 다른 필터를 사용하여 분수 정밀도의 참조 화상을 작성하는 상기 제 2 실시형태에 있어서, 1프레임 전에 부호화한 참조 프레임의 제 3 필터가 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 모두 포함할 필요는 없다. 또한, 1프레임 전에 복호화한 참조 프레임의 제 3 필터는 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 모두 포함하지 않아도 좋다.
또, 상기 제 2 실시형태에 있어서, 1프레임 전에 부호화한 참조 프레임의 제 1 필터의 필터 계수는 표준 필터의 필터 계수의 차분치로서 부호화되지 않아도 좋다. 예를 들면, 1프레임 전에 부호화한 참조 프레임의 제 1 필터의 필터 계수는 1프레임 전의 프레임 화상의 부호화에 사용된 필터의 어느 하나의 필터의 필터 계수의 차분치로서 부호화되어도 좋고, 다른 필터 계수와의 차분치, 또는 필터 계수의 값 자체로서 부호화되어도 좋다.
또, 상기 제 2 실시형태에 있어서, 1프레임 전에 복호화한 참조 프레임의 제 1 필터의 필터 계수는 표준 필터의 필터 계수의 차분치로서 복호화되지 않아도 좋다. 예를 들면, 1프레임 전에 복호화한 참조 프레임의 제 1 필터의 필터 계수는 1프레임 전의 프레임 화상의 복호화에 사용된 필터의 어느 하나의 필터의 필터 계수의 차분치로서 복호화되어도 좋고, 다른 필터 계수와의 차분치, 또는 필터 계수의 값 자체로서 복호화되어도 좋다.
또, 상기 제 2 실시형태에 있어서, 필터를 결정하는 순서, 필터 정보를 부호화하는 순서 및 필터 정보를 복호화하는 순서는 부호화 및 복호화된 순서가 오래된 것에 한정되지 않고, 다른 순서라도 좋다.

Claims (50)

  1. 프레임 화상의 시간 계열로 구성되는 동화상에 대하여, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하는 동화상 부호화 장치로서,
    과거의 프레임 화상의 부호화에 사용된 필터를 축적하는 필터 정보 축적수단과,
    현재의 프레임 화상의 부호화에 사용하는 필터를, 적어도 상기 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 결정하는 필터 결정수단과,
    상기 필터 결정수단에 의해 결정된 필터를 나타내는 정보를 부호화하는 필터 정보 부호화 수단을 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
  2. 제 1 항에 있어서,
    상기 필터 정보 부호화 수단은, 상기 필터 결정수단에 의해 결정된 필터가 상기 과거의 프레임 화상의 부호화에 사용된 필터인 경우, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 부호화하는 것을 특징으로 하는, 동화상 부호화 장치.
  3. 제 1 항에 있어서,
    상기 필터 정보 축적수단은, 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다 과거의 프레임 화상의 부호화에 사용된 필터를 축적하고,
    상기 필터 결정수단은, 상기 참조 화상이 복수 있는 경우에, 적어도 상기 필터 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서, 상기 참조 화상마다 현재의 프레임의 부호화에 사용하는 필터를 선택하는 것을 특징으로 하는, 동화상 부호화 장치.
  4. 제 3 항에 있어서,
    상기 필터 정보 부호화 수단은, 상기 참조 화상이 복수 있고, 또한 상기 필터 결정수단에 의해 결정된 필터가 상기 과거의 프레임 화상의 부호화에 사용된 필터인 경우에, 상기 참조 화상마다, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상의 필터 정보를 식별하는 식별자를 부호화하는 것을 특징으로 하는, 동화상 부호화 장치.
  5. 프레임 화상의 시간 계열로 구성되는 동화상에 대하여, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하는 동화상 부호화 장치로서,
    1프레임 전의 프레임 화상의 부호화에 사용된 필터를 축적하는 필터 정보 축적수단과,
    현재의 프레임 화상의 부호화에 사용하는 필터를, 적어도 상기 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 결정하는 필터 결정수단과,
    상기 필터 결정수단에 의해 결정된 필터를 나타내는 정보를 부호화하는 필터 정보 부호화 수단을 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
  6. 제 5 항에 있어서,
    상기 필터 정보 부호화 수단은, 상기 필터 결정수단에 의해 결정된 필터가 상기 1프레임 전의 프레임 화상의 부호화에 사용된 필터인 경우, 상기 필터인 것을 나타내는 식별자를 부호화하는 것을 특징으로 하는, 동화상 부호화 장치.
  7. 제 5 항에 있어서,
    상기 필터 정보 축적수단은, 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다 상기 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 축적하고,
    상기 필터 결정수단은, 상기 참조 화상이 복수 있는 경우에, 적어도 상기 필터 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서, 상기 참조 화상마다 현재의 프레임의 부호화에 사용하는 필터를 선택하는 것을 특징으로 하는, 동화상 부호화 장치.
  8. 제 7 항에 있어서,
    상기 필터 정보 부호화 수단은, 상기 참조 화상이 복수 있고, 또한 상기 필터 결정수단에 의해 결정된 필터가 상기 1프레임 전의 프레임 화상의 부호화에 사용된 필터인 경우에, 상기 참조 화상마다, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상의 필터 정보를 식별하는 식별자를 부호화하는 것을 특징으로 하는, 동화상 부호화 장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 필터 결정수단은, 현재의 프레임 화상의 부호화에 사용하는 필터를, 수평·수직방향에 독립적인 비대칭형 필터를 더욱 포함하는 상기 필터 후보 중에서 선택하여 결정하는 것을 특징으로 하는, 동화상 부호화 장치.
  10. 제 9 항에 있어서,
    상기 필터 정보 부호화 수단은, 상기 필터 결정수단에 의해 결정된 필터가 상기 비대칭형 필터인 경우, 상기 비대칭형 필터인 것을 나타내는 식별자와, 상기 비대칭형 필터의 필터 계수를 부호화하는 것을 특징으로 하는, 동화상 부호화 장치.
  11. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 필터 결정수단은, 현재의 프레임 화상의 부호화에 사용하는 필터를, 미리 정해진 기준 필터를 더욱 포함하는 상기 필터 후보 중에서 선택하여 결정하는 것을 특징으로 하는, 동화상 부호화 장치.
  12. 제 11 항에 있어서,
    상기 필터 정보 부호화 수단은, 상기 필터 결정수단에 의해 결정된 필터가 상기 기준 필터인 경우, 상기 기준 필터를 나타내는 식별자를 부호화하는 것을 특징으로 하는, 동화상 부호화 장치.
  13. 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하여, 프레임 화상의 시간 계열로 구성되는 동화상을 복호화하는 동화상 복호화 장치로서,
    과거의 프레임 화상의 복호화에 사용된 필터를 축적하는 필터 정보 축적수단과,
    현재의 프레임 화상의 복호화에 사용하는 필터를, 적어도 상기 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 복호화하는 필터 정보 복호화 수단을 구비하는 것을 특징으로 하는, 동화상 복호화 장치.
  14. 제 13 항에 있어서,
    상기 필터 정보 복호화 수단은, 상기 과거의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 복호화하는 것을 특징으로 하는, 동화상 복호화 장치.
  15. 제 13 항에 있어서,
    상기 필터 정보 축적수단은, 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다 과거의 프레임 화상의 복호화에 사용된 필터를 축적하는 것을 특징으로 하는, 동화상 복호화 장치.
  16. 제 15 항에 있어서,
    상기 필터 정보 복호화 수단은, 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다, 상기 과거의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 복호화하는 것을 특징으로 하는, 동화상 복호화 장치.
  17. 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하여, 프레임 화상의 시간 계열로 구성되는 동화상을 복호화하는 동화상 복호화 장치로서,
    1프레임 전의 프레임 화상의 복호화에 사용된 필터를 축적하는 필터 정보 축적수단과,
    현재의 프레임 화상의 복호화에 사용하는 필터를, 적어도 상기 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 복호화하는 필터 정보 복호화 수단을 구비하는 것을 특징으로 하는, 동화상 복호화 장치.
  18. 제 17 항에 있어서,
    상기 필터 정보 복호화 수단은, 상기 1프레임 전의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자를 복호화하는 것을 특징으로 하는, 동화상 복호화 장치.
  19. 제 17 항에 있어서,
    상기 필터 정보 축적수단은, 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다 상기 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 축적하는 것을 특징으로 하는, 동화상 복호화 장치.
  20. 제 19 항에 있어서,
    상기 필터 정보 복호화 수단은, 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다 상기 1프레임 전의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자를 복호화하는 것을 특징으로 하는, 동화상 복호화 장치.
  21. 제 13 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 필터 정보 복호화 수단은, 현재의 프레임 화상의 복호화에 사용하는 필터를, 수평·수직방향에 독립적인 비대칭형 필터를 더욱 포함하는 상기 필터 후보 중에서 선택하여 복호화하는 것을 특징으로 하는, 동화상 복호화 장치.
  22. 제 21 항에 있어서,
    상기 필터 정보 복호화 수단은, 상기 비대칭형 필터인 것을 나타내는 식별자와, 상기 비대칭형 필터의 필터 계수를 복호화하는 것을 특징으로 하는, 동화상 복호화 장치.
  23. 제 13 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 필터 정보 복호화 수단은, 현재의 프레임 화상의 복호화에 사용하는 필터를, 미리 정해진 기준 필터를 더욱 포함하는 상기 필터 후보 중에서 선택하여 복호화하는 것을 특징으로 하는, 동화상 복호화 장치.
  24. 제 23 항에 있어서,
    상기 필터 정보 복호화 수단은, 상기 기준 필터를 나타내는 식별자를 복호화하는 것을 특징으로 하는, 동화상 복호화 장치.
  25. 동화상 부호화 장치가, 프레임 화상의 시간 계열로 구성되는 동화상에 대하여, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하는 동화상 부호화 방법으로서,
    상기 동화상 부호화 장치가, 과거의 프레임 화상의 부호화에 사용된 필터를 축적하는 필터 정보 축적 스텝과,
    상기 동화상 부호화 장치가, 현재의 프레임 화상의 부호화에 사용하는 필터를, 적어도 상기 필터 정보 축적 스텝에서 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 결정하는 필터 결정 스텝과,
    상기 동화상 부호화 장치가, 상기 필터 결정 스텝에 있어서 결정된 필터를 나타내는 정보를 부호화하는 필터 정보 부호화 스텝을 구비하는 것을 특징으로 하는, 동화상 부호화 방법.
  26. 제 25 항에 있어서,
    상기 필터 정보 부호화 스텝은, 상기 필터 결정 스텝에서 결정된 필터가 상기 과거의 프레임 화상의 부호화에 사용된 필터인 경우, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 부호화하는 것을 특징으로 하는, 동화상 부호화 방법.
  27. 제 25 항에 있어서,
    상기 필터 정보 축적 스텝에서는 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다 과거의 프레임 화상의 부호화에 사용된 필터를 축적하고, 상기 필터 결정 스텝에서는 상기 참조 화상이 복수 있는 경우에, 적어도 상기 필터 축적 스텝에서 축적된 필터를 포함하는 복수의 필터 후보 중에서, 상기 참조 화상마다 현재의 프레임의 부호화에 사용하는 필터를 선택하는 것을 특징으로 하는, 동화상 부호화 방법.
  28. 제 27 항에 있어서,
    상기 필터 정보 부호화 스텝에서는 상기 참조 화상이 복수 있고, 또한 상기 필터 결정 스텝에서 결정된 필터가 상기 과거의 프레임 화상의 부호화에 사용된 필터인 경우에, 상기 참조 화상마다, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상의 필터 정보를 식별하는 식별자를 부호화하는 것을 특징으로 하는, 동화상 부호화 방법.
  29. 동화상 부호화 장치가, 프레임 화상의 시간 계열로 구성되는 동화상에 대하여, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하는 동화상 부호화 방법으로서,
    상기 동화상 부호화 장치가, 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 축적하는 필터 정보 축적 스텝과,
    상기 동화상 부호화 장치가, 현재의 프레임 화상의 부호화에 사용하는 필터를, 적어도 상기 필터 정보 축적 스텝에서 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 결정하는 필터 결정 스텝과,
    상기 동화상 부호화 장치가, 상기 필터 결정 스텝에서 결정된 필터를 나타내는 정보를 부호화하는 필터 정보 부호화 스텝을 구비하는 것을 특징으로 하는, 동화상 부호화 방법.
  30. 제 29 항에 있어서,
    상기 필터 정보 부호화 스텝은, 상기 필터 결정 스텝에서 결정된 필터가 상기 1프레임 전의 프레임 화상의 부호화에 사용된 필터인 경우, 상기 필터인 것을 나타내는 식별자를 부호화하는 것을 특징으로 하는, 동화상 부호화 방법.
  31. 제 29 항에 있어서,
    상기 필터 정보 축적 스텝에서는 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다 상기 1프레임 전의 프레임 화상의 부호화에 사용된 필터를 축적하고,
    상기 필터 결정 스텝에서는 상기 참조 화상이 복수 있는 경우에, 적어도 상기 필터 축적 스텝에서 축적된 필터를 포함하는 복수의 필터 후보 중에서, 상기 참조 화상마다 현재의 프레임의 부호화에 사용하는 필터를 선택하는 것을 특징으로 하는, 동화상 부호화 방법.
  32. 제 31 항에 있어서,
    상기 필터 정보 부호화 스텝에서는 상기 참조 화상이 복수 있고, 또한 상기 필터 결정 스텝에서 결정된 필터가 상기 1프레임 전의 프레임 화상의 부호화에 사용된 필터인 경우에, 상기 참조 화상마다, 상기 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상의 필터 정보를 식별하는 식별자를 부호화하는 것을 특징으로 하는, 동화상 부호화 방법.
  33. 제 25 항 내지 제 32 항 중 어느 한 항에 있어서,
    상기 필터 결정 스텝은 현재의 프레임 화상의 부호화에 사용하는 필터를, 수평·수직방향에 독립적인 비대칭형 필터를 더욱 포함하는 상기 필터 후보 중에서 선택하여 결정하는 것을 특징으로 하는, 동화상 부호화 방법.
  34. 제 33 항에 있어서,
    상기 필터 정보 부호화 스텝은, 상기 필터 결정 스텝에서 결정된 필터가 상기 비대칭형 필터인 경우, 상기 비대칭형 필터인 것을 나타내는 식별자와, 상기 비대칭형 필터의 필터 계수를 부호화하는 것을 특징으로 하는, 동화상 부호화 방법.
  35. 제 25 항 내지 제 32 항 중 어느 한 항에 있어서,
    상기 필터 결정 스텝은 현재의 프레임 화상의 부호화에 사용하는 필터를, 미리 정해진 기준 필터를 더욱 포함하는 상기 필터 후보 중에서 선택하여 결정하는 것을 특징으로 하는, 동화상 부호화 방법.
  36. 제 35 항에 있어서,
    상기 필터 정보 부호화 스텝은, 상기 필터 결정 스텝에서 결정된 필터가 상기 기준 필터인 경우, 상기 기준 필터를 나타내는 식별자를 부호화하는 것을 특징으로 하는, 동화상 부호화 방법.
  37. 동화상 복호화 장치가, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하여, 프레임 화상의 시간 계열로 구성되는 동화상을 복호화하는 동화상 복호화 방법으로서,
    상기 동화상 복호화 장치가, 과거의 프레임 화상의 복호화에 사용된 필터를 축적하는 필터 정보 축적 스텝과,
    상기 동화상 복호화 장치가, 현재의 프레임 화상의 복호화에 사용하는 필터를, 적어도 상기 필터 정보 축적 스텝에서 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 복호화하는 필터 정보 복호화 스텝을 구비하는 것을 특징으로 하는, 동화상 복호화 방법.
  38. 제 37 항에 있어서,
    상기 필터 정보 복호화 스텝은, 상기 과거의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 복호화하는 것을 특징으로 하는, 동화상 복호화 방법.
  39. 제 37 항에 있어서,
    상기 필터 정보 축적 스텝에서는 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다 과거의 프레임 화상의 복호화에 사용된 필터를 축적하는 것을 특징으로 하는, 동화상 복호화 방법.
  40. 제 39 항에 있어서,
    상기 필터 정보 복호화 스텝에서는 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다, 상기 과거의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자와, 상기 필터가 사용된 과거의 프레임 화상을 식별하는 식별자를 복호화하는 것을 특징으로 하는, 동화상 복호화 방법.
  41. 동화상 복호화 장치가, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하여, 프레임 화상의 시간 계열로 구성되는 동화상을 복호화하는 동화상 복호화 방법으로서,
    상기 동화상 복호화 장치가, 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 축적하는 필터 정보 축적 스텝과,
    상기 동화상 복호화 장치가, 현재의 프레임 화상의 복호화에 사용하는 필터를, 적어도 상기 필터 정보 축적 스텝에서 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 복호화하는 필터 정보 복호화 스텝을 구비하는 것을 특징으로 하는, 동화상 복호화 방법.
  42. 제 41 항에 있어서,
    상기 필터 정보 복호화 스텝은, 상기 1프레임 전의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자를 복호화하는 것을 특징으로 하는, 동화상 복호화 방법.
  43. 제 41 항에 있어서,
    상기 필터 정보 축적 스텝에서는 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다 상기 1프레임 전의 프레임 화상의 복호화에 사용된 필터를 축적하는 것을 특징으로 하는, 동화상 복호화 방법.
  44. 제 43 항에 있어서,
    상기 필터 정보 복호화 스텝에서는 상기 참조 화상이 복수 있는 경우에, 상기 참조 화상마다, 상기 1프레임 전의 프레임 화상의 복호화에 사용된 필터인 것을 나타내는 식별자를 복호화하는 것을 특징으로 하는, 동화상 복호화 방법.
  45. 제 37 항 내지 제 44 항 중 어느 한 항에 있어서,
    상기 필터 정보 복호화 스텝은, 현재의 프레임 화상의 복호화에 사용하는 필터를, 수평·수직방향에 독립적인 비대칭형 필터를 더욱 포함하는 상기 필터 후보 중에서 선택하여 복호화하는 것을 특징으로 하는, 동화상 복호화 방법.
  46. 제 45 항에 있어서,
    상기 필터 정보 복호화 스텝은, 상기 비대칭형 필터인 것을 나타내는 식별자와, 상기 비대칭형 필터의 필터 계수를 복호화하는 것을 특징으로 하는, 동화상 복호화 방법.
  47. 제 37 항 내지 제 44 항 중 어느 한 항에 있어서,
    상기 필터 정보 복호화 스텝은, 현재의 프레임 화상의 복호화에 사용하는 필터를, 미리 정해진 기준 필터를 더욱 포함하는 상기 필터 후보 중에서 선택하여 복호화하는 것을 특징으로 하는, 동화상 복호화 방법.
  48. 제 47 항에 있어서,
    상기 필터 정보 복호화 스텝은 상기 기준 필터를 나타내는 식별자를 복호화하는 것을 특징으로 하는, 동화상 복호화 방법.
  49. 컴퓨터를, 프레임 화상의 시간 계열로 구성되는 동화상에 대하여, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하도록 기능시키는 동화상 부호화 프로그램으로서,
    컴퓨터를,
    과거의 프레임 화상의 부호화에 사용된 필터를 축적하는 필터 정보 축적수단과,
    현재의 프레임 화상의 부호화에 사용하는 필터를, 적어도 상기 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 결정하는 필터 결정수단과,
    상기 필터 결정수단에 의해 결정된 필터를 나타내는 정보를 부호화하는 필터 정보 부호화 수단으로서 기능시키는 것을 특징으로 하는, 동화상 부호화 프로그램.
  50. 컴퓨터를, 프레임 화상마다 필터를 사용하여 분수 화소 정밀도의 참조 화상을 작성하여 움직임 보상하여, 프레임 화상의 시간 계열로 구성되는 동화상을 복호화하도록 기능시키는 동화상 복호화 프로그램으로서,
    컴퓨터를,
    과거의 프레임 화상의 복호화에 사용된 필터를 축적하는 필터 정보 축적수단과,
    현재의 프레임 화상의 복호화에 사용하는 필터를, 적어도 상기 필터 정보 축적수단에 의해 축적된 필터를 포함하는 복수의 필터 후보 중에서 선택하여 복호화하는 필터 정보 복호화 수단으로서 기능시키는 것을 특징으로 하는, 동화상 복호화 프로그램.
KR1020097013544A 2006-11-30 2007-11-28 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램 KR20090094343A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-324925 2006-11-30
JP2006324925 2006-11-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020117010871A Division KR20110059665A (ko) 2006-11-30 2007-11-28 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램

Publications (1)

Publication Number Publication Date
KR20090094343A true KR20090094343A (ko) 2009-09-04

Family

ID=39491974

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020097013544A KR20090094343A (ko) 2006-11-30 2007-11-28 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램
KR1020117010871A KR20110059665A (ko) 2006-11-30 2007-11-28 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020117010871A KR20110059665A (ko) 2006-11-30 2007-11-28 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램

Country Status (11)

Country Link
US (1) US9014267B2 (ko)
EP (1) EP2104358A4 (ko)
JP (2) JP4956550B2 (ko)
KR (2) KR20090094343A (ko)
CN (2) CN101543081B (ko)
AU (1) AU2007330109A1 (ko)
BR (1) BRPI0720762A2 (ko)
CA (1) CA2671180A1 (ko)
MX (1) MX2009005663A (ko)
RU (2) RU2009124928A (ko)
WO (1) WO2008069073A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8638852B2 (en) 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
JP2010157949A (ja) * 2009-01-05 2010-07-15 Toshiba Corp 動画像符号化／復号化方法及び装置
US9270871B2 (en) * 2009-04-20 2016-02-23 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
EP2262267A1 (en) 2009-06-10 2010-12-15 Panasonic Corporation Filter coefficient coding scheme for video coding
WO2011039931A1 (ja) * 2009-09-30 2011-04-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
EP2988503A1 (en) * 2010-01-14 2016-02-24 Dolby Laboratories Licensing Corporation Buffered adaptive filters
WO2011111341A1 (ja) * 2010-03-09 2011-09-15 パナソニック株式会社 動画像復号装置、動画像符号化装置、動画像復号回路及び動画像復号方法
JP5563403B2 (ja) * 2010-08-12 2014-07-30 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP5524762B2 (ja) * 2010-08-12 2014-06-18 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP5485851B2 (ja) 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US9445126B2 (en) 2011-01-05 2016-09-13 Qualcomm Incorporated Video filtering using a combination of one-dimensional switched filter and one-dimensional adaptive filter
US9172972B2 (en) 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
JP5670226B2 (ja) * 2011-03-04 2015-02-18 Kddi株式会社 動画像符号化装置、動画像符号化方法、およびプログラム
JP5762243B2 (ja) * 2011-10-18 2015-08-12 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
KR102145782B1 (ko) 2011-10-31 2020-08-19 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 컴퓨터 독취 가능한 기억 매체
JP6065613B2 (ja) 2013-01-29 2017-01-25 富士通株式会社 動画像符号化装置
US11122262B2 (en) * 2014-06-27 2021-09-14 Samsung Electronics Co., Ltd. System and method for motion compensation in video coding
JP6049024B2 (ja) * 2014-08-11 2016-12-21 株式会社チャオ 画像伝送装置、画像伝送方法および画像伝送プログラム
KR102252298B1 (ko) * 2016-10-21 2021-05-14 삼성전자주식회사 표정 인식 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0638197A (ja) 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
DE10120395A1 (de) * 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder
KR100747958B1 (ko) * 2001-09-18 2007-08-08 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
BRPI0304545B1 (pt) * 2002-01-14 2018-07-03 Nokia Technologies Oy Método de codificação das imagens em uma seqüência de vídeo digital para fornecer os dados de vídeo codificados, codificador de vídeo, método de decodificação dos dados indicativos de uma sequência de vídeo digital, decodificador de vídeo, e, sistema de codificação de vídeo
AU2003246987A1 (en) * 2002-07-09 2004-01-23 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US20040076333A1 (en) 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
JP3999634B2 (ja) * 2002-11-11 2007-10-31 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP4817000B2 (ja) * 2003-07-04 2011-11-16 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20050158145A1 (en) * 2004-01-16 2005-07-21 Junkers John K. Washer, fastener provided with a washer, method of and power tool for fastening objects
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
CN100455025C (zh) * 2005-07-21 2009-01-21 华为技术有限公司 一种分数像素插值方法和编解码设备
US7903733B2 (en) * 2006-01-26 2011-03-08 Qualcomm Incorporated Adaptive filtering to enhance video encoder performance

Also Published As

Publication number Publication date
RU2011103872A (ru) 2012-08-10
US9014267B2 (en) 2015-04-21
KR20110059665A (ko) 2011-06-02
JP2012142986A (ja) 2012-07-26
CN101543081B (zh) 2012-02-22
RU2009124928A (ru) 2011-01-10
EP2104358A4 (en) 2016-04-27
EP2104358A1 (en) 2009-09-23
CN101543081A (zh) 2009-09-23
CN102497551A (zh) 2012-06-13
JP4956550B2 (ja) 2012-06-20
WO2008069073A1 (ja) 2008-06-12
CA2671180A1 (en) 2008-06-12
BRPI0720762A2 (pt) 2014-01-21
JPWO2008069073A1 (ja) 2010-03-18
MX2009005663A (es) 2009-09-07
US20090274216A1 (en) 2009-11-05
AU2007330109A1 (en) 2008-06-12

Similar Documents

Publication Publication Date Title
KR20090094343A (ko) 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램
AU2018236214B2 (en) Inter prediction refinement based on bi-directional optical flow (BIO)
EP3603060A1 (en) Decoder-side motion vector derivation
WO2019010123A1 (en) MODEL-BASED MATCHING BASED ON PARTIAL RECONSTRUCTION FOR A MOTION VECTOR DIVERSION
US10349063B2 (en) Method and apparatus for coding video supporting plurality of layers
EP2675163A1 (en) Reference processing using advanced motion models for video coding
Krishnamurthy et al. Frame interpolation and bidirectional prediction of video using compactly encoded optical-flow fields and label fields
EP3417617A1 (en) Methods and devices for encoding and decoding video pictures
CN104885450B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
JP2007180981A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
GB2505344A (en) Method for managing a reference picture list, and apparatus using same
JPWO2010143583A1 (ja) 画像処理装置および方法
EP2524505A1 (en) Edge enhancement for temporal scaling with metadata
US20140192886A1 (en) Method and Apparatus for Encoding an Image Into a Video Bitstream and Decoding Corresponding Video Bitstream Using Enhanced Inter Layer Residual Prediction
Garus et al. Immersive video coding: Should geometry information be transmitted as depth maps?
JP2007180982A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
CN116781880A (zh) 视频编解码中的子块去块方法及装置
EP2224747A1 (en) Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
US20150312579A1 (en) Video encoding and decoding method and device using said method
JP5439162B2 (ja) 動画像符号化装置および動画像復号装置
Stankowski et al. Analysis of the Complexity of the HEVC Motion Estimation
AU2012200473A1 (en) Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program
WO2023221993A1 (en) Method and apparatus of decoder-side motion vector refinement and bi-directional optical flow for video coding
Bordes et al. Improving reference picture resampling (RPR) for future video coding
JP2006180173A (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置及び動画像復号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
WITB Written withdrawal of application