KR20140029434A - 영상 부호화 방법, 장치, 영상 복호 방법, 장치 및 그 프로그램 - Google Patents

Abstract

움직임 보상 화면 간 예측에서의 예측 오차 에너지를 저감시켜 부호화 효율의 개선을 도모한다. 소수 정밀도의 움직임 보상을 이용하는 영상 부호화 방법은, 복수의 보간 필터 세트로부터 보간 필터 계수의 가중치를 지정하는 가중치 파라미터를 이용하여 복수의 가중 필터 계수를 생성하는 단계와, 상기 가중 필터 계수 중에서, 상기 소수 정밀도의 움직임 보상에서의 예측 오차 에너지를 최소화하는 가중 필터 계수를 선택하는 단계와, 상기 선택된 가중 필터 계수에 의한 보간 필터의 적용에 의해 참조 화상에 대한 소수 정밀도 화소의 보간을 행하고 상기 소수 정밀도의 움직임 보상에 의해 입력 화상을 부호화하는 단계와, 상기 선택된 가중 필터 계수의 생성에 이용한 가중치 파라미터와 상기 보간 필터 계수를 부호화하여 부호화된 가중치 파라미터와 부호화된 보간 필터 계수를 부호화 비트 스트림에 추가하는 단계를 가진다.

Description

영상 부호화 방법, 장치, 영상 복호 방법, 장치 및 그 프로그램 {Method and device for encoding video image, method and device for decoding video image, and program therefor}

본 발명은, 영상 부호화에서의 보간 필터의 성능 개선을 꾀하여 부호화 효율을 개선하는 영상 부호화/복호 기술에 관한 것이다.

본원은 2011년 6월 27일 일본에 출원된 일본특원2011-141725호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.

영상 부호화에서, 다른 화면 간에 예측을 실행하는 화면 간 예측(움직임 보상) 부호화에서는, 이미 복호된 프레임을 참조하여 예측 오차 에너지를 최소로 하는 움직임 벡터가 구해지고 그 예측 오차 신호(잔차 신호라고도 불림)가 직교 변환된다. 그 후에 양자화되어 엔트로피 부호화를 거쳐 최종적으로 바이너리 데이터, 즉 비트 스트림이 된다. 부호화 효율을 높이기 위해서는 예측 오차 에너지의 저감이 불가결하여 예측 정밀도가 높은 예측 방식이 요구된다.

영상 부호화 표준 방식에는, 여러 화면 간 예측 정밀도를 높이기 위한 툴이 도입되어 있다. 예를 들면 H.264/AVC에서는, 가장 가까운 프레임에 오클루전(occlusion)이 존재하는 경우에는 시간적으로 약간 떨어진 프레임을 참조하는 편이 예측 오차 에너지를 줄일 수 있기 때문에 복수의 프레임을 참조할 수 있도록 한다. 본 툴을 복수 참조 프레임 예측이라고 부른다. 또 복잡한 형상의 움직임에도 대응 가능하도록 하기 위해 16×16 및 8×8에 추가하여 16×8, 8×16, 8×4, 4×8, 4×4와 같이 블록 사이즈를 세밀하게 분할 가능하게 한다. 본 툴을 가변 블록 사이즈 예측이라고 부른다.

이와 동일하게 참조 프레임의 정수 정밀도 화소로부터 6탭의 필터를 이용하여 1/2 정밀도의 화소를 보간하고 또한 그 화소를 이용하여 1/4 정밀도의 화소를 선형 보간으로 생성한다. 이로써 소수(小數) 정밀도의 움직임에 대해 예측이 맞게 된다. 본 툴을 1/4 화소 정밀도 예측이라고 부른다.

H.264/AVC보다 부호화 효율이 높은 차세대 영상 부호화 표준 방식의 책정에 맞춰 국제 표준화 조직 ISO/IEC "MPEG" (International Organization for Standardization/International Electrotechnical Commission "Moving Picture Experts Group") 및 ITU-T "VCEG" (International Telecommunication Union-Telecommunication Standardization Sector "Video Coding Experts Group")가 공동으로 검토 팀(Joint Collaborative Team for Video Coding: JCT-VC)을 설립했다. 차세대 표준 방식은, 고능률 영상 부호화 방식(High Efficiency Video Coding: HEVC)으로 불리며 현재 세계 각국으로부터 다양한 신규 부호화 기술이 모여 JCT-VC회합에서 심의되고 있다.

그 중에서 특히 화면 간 예측(움직임 보상)에 관련된 제안은 많이 이루어지고 있으며 HEVC용 참조 소프트웨어(HEVC test Model: HM)에는, 움직임 벡터의 예측 효율을 개선하는 툴이나, 블록 사이즈를 16×16 이상으로 확장하는 툴이 채용되고 있다.

또 소수 정밀도 화소의 보간 정밀도를 높이는 툴도 제안되고 있으며 보간 필터 계수를 DCT(Discrete Cosine Transform) 계수의 기저로부터 도출한 DCT 베이스 보간 필터(DCT-based Interpolation Filter: DCT-IF)는 효과가 높아 HM에 채용되고 있다. 또한 보간 정밀도를 높이기 위해 보간 필터 계수를 프레임 단위로 적응적으로 변화시키는 보간 필터도 제안되고 있으며, 적응 보간 필터(Adaptive Interpolation Filter: AIF)로 불린다. 적응 보간 필터는 부호화 효율 개선의 효과가 높아 VCEG 주도로 작성된 차세대 영상 부호화를 위한 참조 소프트웨어(Key Technical Area: KTA)에도 채용되어 있다. 부호화 효율 향상에 대한 기여가 높기 때문에 보간 필터의 성능 개선은 매우 기대되는 영역이다.

종래의 보간 필터에 대해 더욱 자세히 설명하기로 한다.

〔고정적 보간〕

도 8은, H.264/AVC에서의 소수 정밀도의 화소 보간 방법을 도시한 도면이다. H.264/AVC에서는, 도 8에 도시한 바와 같이 1/2 화소 위치의 보간시에는 대상이 되는 보간 화소의 좌우 3점씩 합계 6정수 화소를 이용하여 보간한다. 수직 방향에 대해서는 상하 3점씩 합계 6정수 화소를 이용하여 보간한다. 필터 계수는 각각 ［(1, -5, 20, 20, -5, 1)/32］로 되어 있다. 1/2 화소 위치가 보간된 후 1/4 화소 위치는［1/2, 1/2］의 평균치 필터를 이용하여 보간한다. 일단 1/2 화소 위치를 모두 보간하여 구할 필요가 있기 때문에 계산 복잡도는 높지만 고성능의 보간이 가능해져 부호화 효율 향상을 유도한다. 이상의 고정 필터에 의한 보간의 기술은 비특허문헌 1 등에 나타나 있다.

H.264/AVC의 1차원 6탭 필터와 같이, 계수치가 전입력 화상 및 전프레임에 대해 같은 값을 이용하는 필터는 고정 보간 필터(Fixed Interpolation Filter)로 불린다.

H.264/AVC에 채용되어 있는 보간 필터의 성능을 더욱 개선하는 방식으로서 HEVC용 참조 소프트웨어(HM)에서는 DCT 베이스 보간 필터(DCT-IF)가 채용되고 있다. 이 DCT 베이스 보간 필터의 소수 정밀도의 화소 보간 방법을 도 9에 도시한다. 도 9와 같이 소수 정밀도 위치에서의 보간 대상 화소를 p, 정수 위치 화소를 p_x, p의 위치를 나타내는 정수 위치 화소 간 파라미터를 α(0≤α≤1)로 한다. 이때 보간에 사용하는 정수 위치의 화소수, 즉 탭 길이를 2M(M은 1 이상의 정수치)으로 한다. DCT 변환의 정의식으로 이하의 수학식 1이 성립한다.

또 역DCT 변환의 정의식으로 이하의 수학식 2가 성립한다.

x를 위치로 간주함으로써 소수 위치α에서의 화소 보간식은 이하의 수학식 3이 된다.

수학식 3으로 보간에 이용하는 탭 길이 2M 및 보간 대상 위치α가 정해지면 일의적으로 계수를 도출할 수 있다. 이상의 논의로부터 얻어지는 보간 필터의 사례를 이하의 표 1 및 표 2로 정리한다. 이상의 상세에 대해서는 비특허문헌 2에 나타나 있다.

이 DCT 베이스 보간 필터는 임의의 필터 길이 및 보간 정밀도에 대응할 수 있으며 고성능의 보간 필터이므로 HEVC용 테스트 모델 HM에 채용되고 있다.

〔적응적 보간〕

H.264/AVC에서는, 입력 화상 조건(시퀀스 종류/화상 사이즈/프레임 레이트)이나 부호화 조건(블록 사이즈/GOP(Group of Pictures) 구조/QP(Quantization Parameter))에 상관없이 필터 계수치는 일정하다. 필터 계수치가 고정인 경우, 예를 들면 에일리어싱(aliasing), 양자화 오차, 움직임 추정에 의한 오차, 카메라 노이즈 등 시간적으로 변화하는 효과가 고려되지 않는다. 따라서 부호화 효율면에서 성능 향상에 한계가 있다고 생각된다. 그래서 보간 필터 계수를 적응적으로 변화시키는 방식이 비특허문헌 3에서는 제안되었으며 비분리형의 적응 보간 필터로 불린다.

비특허문헌 3에서는, 2차원의 보간 필터(6×6의 합계 36필터 계수)를 생각하고 있으며 예측 오차 에너지를 최소로 하도록 필터 계수가 결정된다. H.264/AVC에 이용되고 있는 1차원 6탭의 고정 보간 필터를 이용하는 것보다 높은 부호화 효율을 실현할 수 있었으나, 필터 계수를 구한 후의 계산 복잡도가 매우 높기 때문에 그 계산 복잡도를 낮추기 위한 제안이 비특허문헌 4로 소개되어 있다.

비특허문헌 4에 소개되어 있는 수법은 분리형 적응 보간 필터(SAIF：Separable Adaptive Interpolation Filter)로 불리며 2차원의 보간 필터를 이용하는 것이 아니라 1차원의 6탭 보간 필터를 이용한다.

도 10a∼도 10c는, 분리형 적응 보간 필터(SAIF)에서의 소수 정밀도의 화소 보간 방법을 도시한 도면이다. 순서로서는, 도 10b의 Step1에 도시한 바와 같이 우선 수평 방향의 화소(a,b,c)를 보간한다. 필터 계수의 결정에는 정수 정밀도 화소 C1 내지 C6가 이용된다. 이하의 수학식 4의 예측 오차 에너지 함수 E_h ²를 최소화하는 수평 방향 필터 계수가, 일반에게 알려진 최소 제곱법(비특허문헌 3 참조)에 의해 해석적으로 결정된다.

수학식 4에서 S는 원화상, P는 복호 완료된 참조 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또 ∼x(∼는 x 위에 붙는 기호； 다른 것도 동일함)는,

　　∼x = x ＋ MV_x - FilterOffset

이며, MV_x는 사전에 얻어진 움직임 벡터의 수평 성분, FilterOffset은 조정을 위한 오프셋(수평 방향 필터 길이를 2로 나눈 값)을 나타내고 있다. 수직 방향에 대해서는 ∼y = y ＋ MV_y가 되고, MV_y는 움직임 벡터의 수직 성분을 나타낸다. w_ci는 구해야 할 수평 방향 필터 계수군c_i(0=c_i＜6)를 나타낸다.

수학식 4에서 구하는 필터 계수와 같은 수의 일차 방정식을 얻을 수 있게 되어 최소화 처리는 수평 방향의 소수 화소 위치마다 독립적으로 실시된다. 이 최소화 처리를 거쳐 3종류의 6탭 필터 계수군이 구해지고 그 필터 계수군을 이용하여 소수 정밀도 화소 a, b, c가 보간된다.

수평 방향의 화소 보간이 완료된 후, 도 10c의 Step2에 도시한 바와 같이 수직 방향의 보간 처리를 한다. 수평 방향과 동일한 선형 문제를 풂으로써 수직 방향의 필터 계수를 결정한다. 구체적으로는, 이하의 수학식 5의 예측 오차 에너지 함수 E_V ²를 최소화하는 수직 방향 필터 계수가 해석적으로 결정된다.

수학식 5에서 S는 원화상, ＾P(＾는 P위에 붙는 기호)는 복호 후에 수평 방향으로 보간 처리된 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또 ∼x = 4·(x ＋ MV_x)로 표현되고, MV_x는 둥글게 된 움직임 벡터의 수평 성분을 나타낸다. 수직 방향에 대해서는 ∼y = y ＋ MV_y - FilterOffset으로 표현되고, MV_y는 움직임 벡터의 수직 성분, FilterOffset은 조정을 위한 오프셋(필터 길이를 2로 나눈 값)을 나타낸다. w_cj는 구해야 할 수직 방향 필터 계수 군c_j(0=c_j＜6)을 나타낸다.

최소화 처리는 소수 정밀도 화소마다 독립적으로 실시되며 12종류의 6탭 필터 계수를 얻을 수 있다. 이 필터 계수를 이용하여 나머지 소수 정밀도 화소가 보간된다.

이상으로부터, 합계 90(= 6 × 15)의 필터 계수를 부호화하여 복호측에 전송할 필요가 있다. 특히 저해상도의 부호화에 대해서는, 이 오버헤드(overhead)가 커지기 때문에 필터의 대칭성을 이용하여 전송해야 할 필터 계수를 삭감한다. 예를 들면 도 10a에서는 b, h, i, j, k의 위치는 보간 방향에 관해 각 정수 정밀도 화소에서 보아 중심에 위치하고 있으며, 수평 방향이라면 왼쪽 3점에 이용하는 계수를 반전시켜 오른쪽 3점에 적용할 수 있다. 마찬가지로 수직 방향이라면, 위쪽 3점에 이용하는 계수를 반전시켜 아래쪽 3점에 적용할 수 있다(c₁ = c₆, c₂ = c₅, c₃ = c₄).

그 밖에도 d와 l의 관계는 h를 사이에 두고 대칭되어 있기 때문에 필터 계수도 각각 반전하여 이용할 수 있다. 즉, d의 6계수를 전송하면, 그 값을 l에도 적용할 수 있다. c(d)₁ = c(l)₆, c(d)₂ = c(l)₅, c(d)₃ = c(l)₄, c(d)₄ = c(l)₃, c(d)₅ = c(l)₂, c(d)₆ = c(l)₁이 된다. 이 대칭성은, e와 m, f와 n, 그리고 g와 o에도 이용 가능하게 된다. a와 c에 대해서도 같은 이론이 성립하는데, 수평 방향은 수직 방향의 보간에도 결과가 영향을 미치기 때문에 대칭성은 이용하지 않고 a와 c는 각각 따로 따로 전송한다. 이상의 대칭성을 이용한 결과, 프레임마다 전송해야 할 필터 계수는 51(수평 방향이 15, 수직 방향이 36)이 된다.

이상, 비특허문헌 4의 적응 보간 필터는 예측 오차 에너지의 최소화 처리의 단위가 프레임으로 고정되어 있었다. 1매의 프레임에 대해 51의 필터 계수가 결정된다. 부호화 대상 프레임이 가령 크게 2종류(혹은 복수 종류의) 텍스쳐 영역A, B로 나뉠 경우, 최적의 필터 계수는 그 양자(모든 텍스쳐)를 고려한 계수군이 된다. A의 영역에서는 본래 수직 방향만 특징적인 필터 계수가 나왔다고 하여 B의 영역에서 수평 방향만 필터 계수가 얻어지는 상황에서는 그 양쪽이 평균화된 형태로 필터 계수가 도출된다.

1매의 프레임당 1개의 필터 계수군(51계수)으로 한정되지 않으며 화상의 국소적 성질에 따라 영역 분할을 하고, 분할된 영역마다 보간 필터 계수를 생성하여 예측 오차 에너지의 저감을 달성하고 부호화 효율의 개선을 실현하는 방법이 비특허문헌 5에 제안되어 있다.

또 비특허문헌 4의 적응 보간 필터의 성능 개선을 목적으로 하여 보간 위치마다 그루핑하여 예측 오차 에너지를 줄일 수 있도록 그 그룹 단위로 고정 보간 필터와 적응 보간 필터를 선택하여 보간 화상을 생성하는 기술이 제안되어 있다(비특허문헌 6 참조).

특허문헌 1: 일본특개2011-82725호 공보

비특허문헌 1: 오오쿠보 사카에, 카쿤노 마코토야, 키쿠치 요시히로, 수추키 테루히코： "H.264/AVC 교과서 개정 3판", 인프레스, pp.119-123, 2009 비특허문헌 2: Ken McCann, Woo-Jin Han, Il-Koo Kim, Jung-Hye Min, Elena Alshina, Alexander Alshin, Tammy Lee, Jianle Chen, Vadim Seregin, Sunil Lee, Yoon-Mi Hong, Min-Su Cheon, Nikolay Shlyakhov, "Samsung's Response to the Call for Proposals on Video Compression Technology", JCTVC-A124 r2, pp. 12-14, 1st JCT-VC Meeting, Dresden, Apr. 2010 비특허문헌 3: Y.Vatis, B.Edler, D.T.Nguyen, J.Ostermann: "Motion-and aliasing-compensated prediction using a two-dimensional non-separable adaptive Wiener interpolation filter", Proc. ICIP2005, IEEE International Conference on Image Processing, pp. II 894-897, Genova, Italy, Sep. 2005 비특허문헌 4: S. Wittmann, T. Wedi: "Separable adaptive interpolation filter for video coding", Proc. ICIP2008, IEEE International Conference on Image Processing, pp.2500-2503, San Diego, California, USA, Oct. 2008 비특허문헌 5: Shohei Matsuo, Yukihiro Bandoh, Seishi Takamura, Hirohisa Jozawa: "Enhanced region-based adaptive interpolation filter", Proc. PCS2010, IEEE Picture Coding Symposium, pp.526-529, Nagoya, Japan, Dec. 2010 비특허문헌 6: Faouzi Kossentini, Nader Mahdi, Hsan Guermazi, Mohammed Ali Ben Ayed: "An Adaptive Interpolation Filtering Technique", JCTVC-E284, 5th JCT-VC Meeting, Geneva, Mar. 2011

비특허문헌 4나 비특허문헌 5에 기재된 보간 필터에서는, 보간 위치마다 보간 필터를 전환하는 기능이 없어 움직임 보상의 성능 향상에 개선의 여지가 있다.

비특허문헌 6에 기재된 보간 위치 적응성이 있는 보간 필터는, 보간하는 위치마다 사전에 정의된 고정 보간 필터를 이용할지, 프레임 단위로 도출한 적응 보간 필터를 이용할지를 판단한다. 필터 선택은 예측 오차 에너지 최소화 관점에서 선택되며 좌우간 반드시 선택하는 방식으로 되어 있다.

복수의 보간 필터로부터 선택함으로써 부호화 효율의 향상을 꾀할 경우, 보간 필터의 선택에 폭이 있는 편이 예측 오차 에너지를 더욱 최소화할 수 있다고 생각된다. 그러나 비특허문헌 6에 기재된 방법은, 양자택일의 선택으로 되어 있어 성능 향상에는 한계가 있다고 생각된다. 복수의 보간 필터의 가중합(weighed sum)을 선택 범위에 넣음으로써 한층 더 예측 오차 에너지의 저감을 실현하는 보간 필터를 설계할 수 있다면 부호화 효율의 개선이 실현 가능하다.

본 발명은 상기 과제의 해결을 꾀하여 보간 필터의 선택에 폭을 둠으로써 움직임 보상 화면 간 예측에서의 예측 오차 에너지를 종래 기술보다 줄여 부호화 효율을 개선하는 새로운 방식을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 방법으로서 본 발명은, 복수의 보간 필터의 가중합이 예측 오차 에너지를 한층 더 줄일 수 있다는 상정에 기초하여 가중 보간 필터를 보간 화상 생성의 선택에 추가한다. 가중 보간 필터가 예측 오차 에너지를 최소화한다고 판단된 경우에는 가중치 계수를 전송한다. 본 수단을 이용함으로써 더 유연하게 보간 예측 화상을 생성할 수 있게 되어 예측 오차 에너지의 저감에 의해 부호화 효율의 개선이 실현된다.

본 발명에서는, 소수 정밀도의 움직임 보상을 이용하는 영상 부호화에서, 예를 들면 이하의 처리를 한다.

·소수 정밀도 화소의 보간 위치를 미리 지정된 방법 또는 다른 어떠한 방법에 의해 복수의 그룹으로 나눈다.

·보간 위치의 그룹마다, 복수의 보간 필터 세트로부터 복수의 파라미터를 이용하여 가중 필터 계수를 도출한다.

·가중 필터 계수 중 예측 오차 에너지를 최소화하는 가중 필터 계수를 선택한다.

·가중 필터 계수에 의한 보간 필터의 적용에 의해 참조 화상에 대한 소수 정밀도 화소의 보간을 행하고 소수 정밀도의 움직임 보상에 의해 입력 화상을 부호화한다.

·선택된 가중 필터 계수의 가중치를 지정하는 가중치 파라미터와 움직임 보상에 이용한 보간 필터 계수를 부호화하여 부호화 비트 스트림에 추가한다.

또 본 발명에서는, 소수 정밀도의 움직임 보상을 이용하는 영상 복호에서, 예를 들면 이하의 처리를 한다.

·보간 위치의 그룹마다 보간 필터 계수의 가중치를 지정하는 가중치 파라미터와 소수 정밀도 화소 생성을 위한 보간 필터 계수를 복호한다.

·복호된 가중치 파라미터를 이용하여 복호된 보간 필터 계수의 가중합에 의해 정해지는 가중 필터 계수를 생성한다.

·생성된 가중 필터 계수를 이용하여 예측 신호를 생성한다.

·잔차 신호를 복호하고 그 잔차 신호 및 상기 예측 신호를 이용하여 복호 화상을 생성한다.

본 발명의 작용은 이하와 같다. 종래의 보간 위치 적응성이 있는 보간 필터에서는, 보간 필터를 전환하는 단위로서 양자택일의 방식으로 되어 있어 성능 개선에는 한계가 있었다. 반면 본 발명에서는, 예를 들면 보간 위치 그룹마다 복수의 필터 계수의 가중합을 계산하여 최적의 가중치 계수를 구하고 그 가중치 계수를 이용하여 보간 필터를 적용함으로써 움직임 보상을 한다. 이로써 보간 필터를 더 유연하게 표현할 수 있어 예측 오차 에너지를 줄이는 필터를 생성함으로써 움직임 보상의 성능 개선을 달성하여 부호화 효율을 개선할 수 있다.

본 발명에 의하면, 종래의 보간 위치 적응성을 가진 보간 필터에서는 고려할 수 없었던 보간 필터의 가중합의 표현이 가능해져 보간 필터의 선택 범위에 폭을 두어 예측 오차 에너지의 저감에 의한 부호화 효율의 개선을 달성할 수 있다.

도 1은, 본 발명의 일실시형태인 영상 부호화 장치의 구성예를 도시한 도면이다.
도 2는, 보간 필터 계수 판정부의 구성예 1을 도시한 도면이다.
도 3은, 보간 필터 계수 판정부의 구성예 2를 도시한 도면이다.
도 4는, 본 발명의 일실시형태인 부호화 처리 흐름도다.
도 5는, 본 발명의 일실시형태인 영상 복호 장치의 구성예를 도시한 도면이다.
도 6은, 본 발명의 일실시형태인 복호 처리 흐름도다.
도 7은, 본 발명의 실시형태를 컴퓨터와 소프트웨어 프로그램을 이용하여 실시할 경우의 시스템의 구성예를 도시한 도면이다.
도 8은, 영상 부호화 표준 방식(H.264/AVC)의 소수 정밀도의 화소 보간 방법을 도시한 도면이다.
도 9는, DCT 베이스 보간 필터(DCT-IF)의 소수 정밀도의 화소 보간 방법을 도시한 도면이다.
도 10a는, 분리형 적응 보간 필터(SAIF)에서의 소수 정밀도의 화소 보간 방법을 도시한 도면이다.
도 10b는, 분리형 적응 보간 필터(SAIF)에서의 소수 정밀도의 화소 보간 방법을 도시한 도면이다.
도 10c는, 분리형 적응 보간 필터(SAIF)에서의 소수 정밀도의 화소 보간 방법을 도시한 도면이다.

이하, 도면을 이용하여 본 발명의 일실시형태에 대해 설명하기로 한다.

〔영상 부호화 장치의 구성예〕

도 1은, 본 발명의 일실시형태인 영상 부호화 장치의 구성예를 도시한 도면이다.

영상 부호화 장치(10)에서 보간 필터 계수 산출부(11)는, 예측 부호화에서의 참조 화상에 대해 이용하는 소수 정밀도 화소의 보간 필터 계수를 산출한다. 보간 필터 계수 판정부(12)는, 움직임 검출부(132)가 검출한 움직임 벡터(MV)를 이용하여 복수의 필터 계수의 가중합을 계산하여 최적의 가중치 계수를 구하고 그 가중치 파라미터와 보간 필터 계수를 출력한다. 또 보간 필터 계수 판정부(12)는, 가중 필터 계수를 전환하는 단위가 되는 보간 위치 그룹을 동적으로 결정한 경우에는 보간 위치 그룹 정보를 출력한다.

예측 신호 생성부(13)는, 참조 화상 보간부(131)와 움직임 검출부(132)를 구비한다. 참조 화상 보간부(131)는, 참조 화상 메모리(17)에 격납된 복호 완료 참조 화상에, 보간 필터 계수 판정부(12)가 선택한 보간 필터 계수에 의한 보간 필터를 적용한다. 움직임 검출부(132)는, 보간 후의 참조 화상에 대해 움직임 탐색을 함으로써 움직임 벡터를 산출한다. 예측 신호 생성부(13)는, 움직임 검출부(132)에 의해 산출된 소수 정밀도의 움직임 벡터에 의한 움직임 보상에 의해 예측 신호를 생성한다.

예측 부호화부(14)는, 입력 영상 신호와 예측 신호와의 잔차 신호를 산출하여 그것을 직교 변환하고, 변환 계수의 양자화 등에 의해 예측 부호화를 한다. 또 복호부(16)는, 예측 부호화의 결과를 복호하고 복호 화상을, 차후의 예측 부호화를 위해 참조 화상 메모리(17)에 격납한다. 이때 디블로킹 필터(deblocking filter)나 ALF(Adaptive Loop Filter) 등의 부호화 노이즈 제거를 위한 인루프 필터 처리를 한 후 격납해도 좋다.

가변장 부호화부(15)는, 양자화된 변환 계수, 움직임 벡터를 가변장 부호화함과 동시에 보간 필터 계수 판정부(12)의 출력인 가중치 파라미터, 보간 필터 계수를 가변장 부호화하여 이들을 부호화 비트 스트림으로서 출력한다. 또 가중 필터 계수를 전환하는 단위가 되는 소수 정밀도 화소의 보간 위치 그룹을 동적으로 결정한 경우에는, 가변장 부호화부(15)는, 그 보간 위치 그룹의 정보에 대해서도 부호화하여 부호화 비트 스트림에 추가한다.

〔보간 필터 계수 판정부의 구성예 1〕

도 2는, 보간 필터 계수 판정부의 제1 구성예를 도시한 도면이다. 보간 필터 계수 판정부(12)의 부분이 종래 기술과 현저히 다른 부분이다.

보간 필터 계수 판정부(12)에서 보간 필터 정보 취득부(121)는, 부호화시에 미리 준비되어 있는 고정 보간 필터 계수치를 가중 필터 계수 생성부(123)에 출력한다. 예를 들면, H.264/AVC로 정의되어 있는 6탭의 계수나 DCT-IF의 8탭 혹은 12탭의 계수를 이용해도 좋다.

가중치 파라미터 지정부(122)는, 가중치 파라미터를 설정하여 그 파라미터를 가중 필터 계수 생성부(123)에 출력한다. 가중치 파라미터는, 예를 들면 2종류의 필터 계수의 가중치를 취할 경우 α를 부여한다(α+β=1의 제약으로 가중치를 1개 부여하면 된다. α와 β의 2종의 가중치를 보낼 수도 있지만, 오버헤드 삭감을 위해 1종의 가중치를 보낸다). 마찬가지로 3종류의 필터의 가중치를 계산할 경우, α+β＋γ=1의 제약으로부터 α,β를 부여한다. m(4 이상의 정수)종류의 가중치의 경우도 마찬가지이다.

가중 필터 계수 생성부(123)는,

(a) 프레임 단위 또는 영역 단위로 생성되는 적응 보간 필터 계수치： f_A(x),

(b) 가중치 파라미터 지정부(122)로부터 출력되는 가중치 파라미터：α

(c) 보간 필터 정보 취득부(121)로부터 출력되는 고정 보간 필터 계수치： f_B(x), 를 입력으로 하여 이하의 계산을 한다.

　　α × f_A(x) ＋ β × f_B(x)

　　(단, 0=x＜t；t는 탭 길이, β = 1 - α)

여기에서는 2종류의 필터 계수의 가중합을 상정하고 있는데, 3종류 이상의 필터 계수의 가중합으로도 동일하게 설정할 수 있다. 가중 필터 계수 생성부(123)는, 얻어지는 가중 필터 계수를 후술하는 MSE 산출부(124)에 출력한다.

MSE 산출부(124)에서는, 입력을

(a) 움직임 탐색 처리에 의해 얻어지는 움직임 벡터(MV),

(b) 복호 신호(로컬 디코딩된 화상),

(c) 가중 필터 계수 생성부(123)로부터 출력되는 가중 필터 계수,

로 하고, 움직임 벡터(MV)가 가리키는 위치에서의 보간 화상을, 복호 화상의 정수 위치 화소와 가중 필터 계수에 의해 생성하여 원화상과의 MSE(Mean Square Error： 평균 제곱 오차), 즉 예측 잔차 에너지를 계산한다.

MSE에는, 예를 들어 이하와 같은 식을 이용할 수 있다.

　　MSE=｛(원신호 - 예측 신호)²의 총합｝/ 화소수

계산된 MSE는 최소 MSE 기억부(125)에 출력된다.

최소 MSE 기억부(125)는, 입력을 MSE 산출부(124)에서 얻어지는 MSE로 하여 그 값을 저장한다. 최소 MSE 기억부(125)는, 사전에 저장 내지는 정의되어 있는 최소치와 입력의 MSE를 비교하여,

(a) 저장 완료된 최소치보다 입력 MSE치가 작은 경우：입력 MSE치,

(b) 저장 완료된 최소치가 입력 MSE치보다 작은 경우：저장 완료된 최소치,

와 같이 최소가 되는 MSE를 판정하여 최소치의 저장과 갱신을 행한다. 또 최소 MSE 기억부(125)는, 그 최소치를 저장할 때 그 MSE치를 실현하는 가중치 파라미터를 저장한다.

보간 필터 계수 판정부(12)는, MSE 산출부(124)에서 보간 필터에 관해 취할 수 있는 조합을 처리한 후 최소 MSE를 실현하는 조합 즉, (1) 가중치 파라미터, (2) 보간 필터 계수,를 출력한다.

〔보간 필터 계수 판정부의 구성예 2〕

도 3은, 보간 필터 계수 판정부의 제2 구성예를 도시한 도면이다. 도 3에 도시한 보간 필터 계수 판정부(12')가 도 2에 도시한 보간 필터 계수부(12)와 다른 점은, 보간 대상 위치 그루핑부(126)가 구비되어 있고 전술한 가중치 파라미터의 설정을 소수 화소 위치인 보간 위치의 그룹마다 행하여 보간 위치의 그룹마다 보간 필터 계수를 전환하는 점이다.

전술한 구성예 1에서는, 예를 들면 전화소 보간 위치에 대해 가중 필터를 이용하는데, 구성예 2에서는, 지정된 보간 위치 그룹 또는 소정의 방법에 의해 산출된 보간 위치 그룹마다 보간 필터에 의한 보간 처리에 이용하는 가중 필터 계수를 설정한다. 어느 보간 위치 그룹에 대해 필터 계수의 가중합을 취할지 여부를 선택할 수도 있다. 예를 들면, 중요한 보간 위치, 선택 확률이 높은 보간 위치에는 가중 필터를 이용하고, 그 외의 위치는 가중되지 않은 필터를 이용하는 등 보간 위치 그룹에 대해 적응적인 처리가 가능하다.

보간 필터 정보 취득부(121), 가중치 파라미터 지정부(122), 가중 필터 계수 생성부(123)의 기능은, 전술한 구성예 1과 같다.

보간 대상 위치 그루핑부(126)는, 소수 화소 위치인 보간 위치마다 그룹 나누기를 실시하여 그 보간 위치마다의 그룹 정보를 출력한다. 이 보간 위치 그룹은, 소수 화소 위치에 대해 미리 정해져 있는 것이어도 좋고, 또 예를 들면 움직임 벡터의 확률 분포 등을 이용하여 동적으로 정해지는 것이어도 좋다.

MSE 산출부(124)는, 보간 대상 위치 그루핑부(126)가 출력하는 보간 위치 그룹 정보에 의해 지정되는 보간 위치 그룹마다 가중 필터 계수 생성부(123)로부터 출력되는 가중 필터 계수를 이용하여, 움직임 벡터(MV)가 가리키는 위치에서의 보간 화상을 복호 화상의 정수 위치 화소와 가중 필터 계수에 의해 생성하여 원화상과의 MSE, 즉 예측 잔차 에너지를 계산한다. 계산된 MSE는 최소 MSE 기억부(125)에 출력된다. 또 최소 MSE 기억부(125)는, 그 최소치를 저장할 때 그 MSE치를 실현하는 가중치 파라미터, 보간 위치 그룹 정보를 저장한다.

보간 필터 계수 판정부(12')는, 보간 필터에 관해 취할 수 있는 조합을 시행한 후 최소 MSE를 실현하는 조합 즉, (1) 가중치 파라미터, (2) 보간 위치 그룹 정보, (3) 보간 필터 계수를 출력한다. 아울러 보간 위치 그룹이 고정이며, 부호화측과 복호측에서 보간 위치 그룹 정보를 공유할 수 있는 경우에는 보간 위치 그룹 정보의 출력은 불필요하다.

〔부호화의 처리 흐름〕

도 4는, 도 1에 도시한 영상 부호화 장치의 흐름도이다. 이하, 도 4에 따라 영상 부호화 장치가 1매의 프레임을 부호화하는 경우의 처리 흐름을 설명하기로 한다. 여기에서는 보간 필터 계수 판정부가 구성예 2로 구성되는 경우의 처리의 예를 설명하는데, 구성예 1의 경우의 처리도 거의 동일하다. 이하에서는, 특별히 언급이 없는 한, 휘도 신호에서의 처리를 가정한다.

우선 단계 S101에서, 부호화 처리에 필요한 원화상의 프레임을 입력한다. 계속해서 단계 S102에서, 예를 들면 H.264/AVC에 채용되어 있는 1차원 6탭 필터나 DCT 베이스 보간 필터의 1차원 8탭/12탭 필터 등 부호화기에 구비되어 있는 고정 보간 필터를 사전 정의 보간 필터로 하고, 그 보간 필터를 이용하여 프레임 전체의 움직임 벡터(MV)를 도출한다. 여기서 고정 보간 필터뿐 아니라 전 프레임 등에서 산출된 적응 보간 필터를 채용해도 좋다.

계속해서 단계 S103에서, 단계 S102에서 얻어진 움직임 벡터를 이용하여 부호화 대상 프레임에서의 적응 보간 필터의 계수치를 산출한다. 본 단계에서의 보간 필터의 계수 산출에는, 일반에게 알려져 있는 예측 오차 에너지 최소화 방법(선형 회귀)을 이용한다.

계속해서 단계 S104에서, 보간 필터를 적용하는 보간 대상 화소의 그룹 나누기를 한다. 구체적으로는, 미리 정한 테이블에 따라 보간 위치에 대응하여 보간 대상 화소를 복수의 그룹으로 나눈다. 아울러 소정의 방법에 의해 보간 위치 그룹을 동적으로 결정해도 좋다. 보간 위치 그룹을 동적으로 결정한 경우에는 보간 위치 그룹 정보를 부호화하여 복호측에 전송할 필요가 있다.

계속해서 단계 S105에서, 단계S104에서 나뉜 보간 위치 그룹마다 가중 필터 계수를 생성한다. 가중치 파라미터를 테이블에서 읽어들여 설정하고 각 중량 파라미터로부터 이하의 수학식 6으로 나타내는 바와 같이 가중 보간 필터 계수를 생성한다.

수학식 6에서 α 및 β는 가중치 파라미터(α+β=1), f_A(x)는 사전 정의된 보간 필터 계수, f_B(x)는 해당 프레임에서 구해진 보간 필터 계수이다. x는 계수 번호를 나타내고 0≤x＜n의 범위를 취한다(n은 탭 길이를 나타낸다). 여기에서는 2종류의 필터 계수의 가중 필터 계수를 상정하고 있으나, m(＞2)종류의 보간 필터의 경우에도 같은 형식으로 표현할 수 있다.

계속해서 단계 S106에서, 단계 S104에서 정해진 그룹마다 단계 S105에서 생성된 가중 필터 계수를 이용하여 실제로 부호화에 적용하는 보간 필터를 결정한다. 예를 들면, 평가 기준(코스트 함수)으로서 예측 오차 에너지를 설정하여 원화상과 단계 S105에서 선택한 가중치 파라미터에서의 보간 필터를 이용한 예측 화상을 생성하고 그 제곱 오차합을 최소화하는 가중치 파라미터를 산출한다. 가중치 파라미터는, 예를 들면 0.1 증분(increment)이나 0.01 증분으로 α의 값을 변경하여 제일 낮은 코스트치를 실현하는 α를 산출한다.

계속해서 단계 S107에서, 단계 S106에서 결정된 가중 필터 계수에 의해 정해지는 보간 필터를 이용하여 보간 처리를 한다.

계속해서 단계 S108에서, 단계 S106에서 산출한 가중치 파라미터를 부호화한다. 계속해서 단계 S109에서, 단계 S103에서 산출한 보간 필터 계수 등의 보간 필터 정보를 부호화한다. 보간 위치 그룹 정보를 전송할 경우에는 단계 S109에서 부호화한다. 계속해서 단계 S110에서, 나머지 부호화해야 할 정보, 예를 들면 예측 오차 신호(텍스쳐 성분 정보)나 움직임 벡터 등을 모두 부호화한다.

계속해서 단계 S111에서, 부호화 프레임이 최종 프레임에 도달했는지 여부를 판정한다. 만약 처리 프레임이 최종 프레임이 아니면, 다음 프레임을 처리하기 위해 단계 S101로 되돌아간다. 만약 처리 프레임이 최종 프레임인 경우, 부호화 처리를 종료한다.

아울러 본 실시형태에서 설명하는 보간 위치 그룹 단위로 보간 필터의 가중치 파라미터를 최적화시켜 부호화 처리를 실시하는 기능은, 휘도 신호뿐 아니라 색차 신호에도 동일하게 적용 가능하다.

〔영상 복호 장치의 구성예〕

도 5는, 본 발명의 일실시형태인 영상 복호 장치의 구성예를 도시한 도면이다.

영상 복호 장치(20)에서 가변장 복호부(21)는, 부호화된 비트 스트림을 입력하여 양자화 변환 계수, 움직임 벡터, 가중치 파라미터, 보간 필터 계수 등의 복호를 한다. 또 보간 위치 그룹 정보가 부호화되어 있는 경우에는, 가변장 복호부(21)는 보간 위치 그룹 정보에 대해서도 복호한다.

가중 필터 계수 생성부(22)는, 가변장 복호부(21)에서 복호된 가중치 파라미터, 보간 필터 계수로부터 가중 필터 계수를 생성한다. 보간 필터 계수 판정부(23)는, 가중 필터 계수 생성부(22)가 생성한 가중 필터 계수를 이용하여 그룹으로 나뉜 각 보간 위치에 이용하는 보간 필터 계수를 결정한다.

예측 신호 생성부(24)에서의 참조 화상 보간부(241)는, 참조 화상 메모리(26)에 격납된 복호 완료 참조 화상에, 보간 필터 계수 판정부(23)로부터 받은 보간 필터 계수에 의한 보간 필터를 적용하여 참조 화상의 소수 정밀도 화소를 복원한다. 예측 신호 생성부(24)는, 소수 정밀도 화소를 복원한 참조 화상으로부터 복호 대상 블록의 예측 신호를 생성한다.

예측 복호부(25)는, 가변장 복호부(21)에서 복호한 양자화 계수의 역양자화, 역직교 변환 등을 하고 그로써 산출된 예측 오차 신호와, 예측 신호 생성부(24)가 생성한 예측 신호를 합산하여 복호 화상을 생성하고 출력 화상으로서 출력한다. 또 예측 복호부(25)가 복호한 복호 화상은, 차후의 예측 복호를 위해 참조 화상 메모리(26)에 격납한다. 이때 디블로킹 필터나 ALF(Adaptive Loop Filter)등의 부호화 노이즈 제거를 위한 인루프 필터 처리를 한 후 격납해도 좋다.

〔복호의 처리 흐름〕

도 6은, 도 5에 도시한 영상 복호 장치의 흐름도이다. 이하, 도 6에 따라 영상 복호 장치가 1매의 프레임을 복호하는 경우의 처리 흐름을 설명한다. 이하에서는, 특별히 언급이 없는 한 휘도 신호에서의 처리를 가정한다.

단계 S201에서, 프레임 헤더(내지는 슬라이스 헤더)의 정보를 취득한다. 계속해서 단계 S202에서, 가중치 파라미터를 복호하여 그 정보를 격납한다. 계속해서 단계 S203에서, 보간 필터 계수의 정보를 복호한다. 보간 위치 그룹 정보가 부호화되어 있는 경우에는 보간 위치 그룹 정보에 대해서도 복호한다. 계속해서 단계 S204에서, 복호에 필요한 그 외의 정보(예를 들면 움직임 벡터나 예측 오차 신호등)를 모두 복호한다.

계속해서 단계 S205에서, 단계 S202에서 복호한 가중치 파라미터와 단계 S203에서 복호한 보간 필터 계수로부터 각 보간 위치 그룹의 보간에 필요한 가중 필터 계수를 생성한다.

계속해서 단계 S206에서, 단계 S204에서 복호된 움직임 벡터와 단계 S205에서 얻어진 가중 필터 계수를 이용하여 보간 처리를 실시하여 예측 신호를 생성한다.

계속해서 단계 S207에서, 단계 S204에서 복호된 예측 오차 신호와 단계 S206에서 구해진 예측 신호를 합성하여 복호 신호를 복원한다.

계속해서 단계 S208에서, 복호해야 할 프레임이 모두 복호되었는지 판정하여 모두 복호되지 않은 경우에는 단계 S201로 되돌아가 다음 프레임의 복호로 이동하고, 모두 복호된 경우에는 복호 처리를 종료한다.

이상, 휘도 신호에서의 설명을 하였으나 본 흐름은 색차 신호에도 동일하게 적용할 수 있다.

〔소프트웨어 프로그램을 이용한 경우의 구성예〕

이상의 영상 부호화, 복호의 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있으며 그 프로그램을 컴퓨터로 읽을 수 있는 기록매체에 기록하는 것도 가능하고, 네트워크를 통해 제공하는 것도 가능하다.

도 7은, 본 발명의 실시형태를 컴퓨터와 소프트웨어 프로그램을 이용하여 실시할 경우의 시스템의 구성예를 도시한다.

본 시스템은, 프로그램을 실행하는 CPU(Central Processing Unit)(50)와, CPU(50)가 액세스하는 프로그램이나 데이터가 격납되는 RAM(Random Access Memory) 등의 메모리(51)와, 부호화 대상의 영상 신호 또는 복호 화상의 영상 신호를 기억하는 영상 신호 기억부(52)와, 본 발명의 실시형태에서 설명한 처리를 CPU(50)에 실행시키기 위한 프로그램이 격납된 프로그램 기억 장치(53)와, 부호화 결과의 비트 스트림 또는 복호 대상의 비트 스트림을 기억하는 부호화 스트림 기억부(54)가 버스로 접속된 구성으로 되어 있다.

프로그램 기억 장치(53)는, 본 발명의 실시형태를 이용하여 영상 신호를 부호화하기 위한 영상 부호화 프로그램(531), 본 발명의 실시형태를 이용하여 부호화 비트 스트림을 복호하기 위한 영상 복호 프로그램(532) 중 어느 하나를 격납한다. 프로그램 기억 장치(53)는 이들 프로그램 둘 다 격납해도 좋다.

또 본 시스템이 영상 부호화 장치로서 이용될 경우, 영상 부호화 프로그램(531)이 메모리(51)에 로드되고, CPU(50)는, 메모리(51)에 로드된 영상 부호화 프로그램(531)의 명령을 순서대로 페치하여 실행하고, 영상 신호 기억부(52)에 격납되어 있는 영상 신호를 본 발명의 실시형태에서 설명한 수법에 의해 부호화하여 부호화 결과의 비트 스트림을 부호화 스트림 기억부(54)에 격납한다. 또는 네트워크 어댑터 등의 인터페이스를 통해 비트 스트림을 외부 장치에 출력해도 좋다.

또 본 시스템이 영상 복호 장치로서 이용될 경우, 영상 복호 프로그램(532)이 메모리(51)에 로드되고, CPU(50)는 메모리(51)에 로드된 영상 복호 프로그램(532)의 명령을 순서대로 페치하여 실행하고, 부호화 스트림 기억부(54)에 격납되어 있는 비트 스트림을 본 발명의 실시형태에서 설명한 수법에 의해 복호하여 복호 결과의 영상 신호를 영상 신호 기억부(52)에 격납한다. 또는 외부의 재생장치에 복호 결과의 영상 신호를 출력한다.

이상, 본 발명의 실시형태를 도면을 참조하여 설명하였으나, 이들 실시형태는 본 발명의 예시에 불과하며 본 발명이 이들 실시형태로 한정되지 않는다는 것은 분명하다. 따라서 본 발명의 요지를 벗어나지 않는 범위에서 구성요소의 추가, 생략, 치환, 기타 변경을 하도록 해도 좋다. 즉, 본 발명은 상술한 설명으로 한정되지 않으며 이하에 설명하는 청구범위의 범위로만 한정된다.

<산업상 이용 가능성>

본 발명은, 예를 들면 움직임 보상 화면 간 예측을 이용한 영상 부호화 및 영상 복호에 이용 가능하다. 본 발명에 의하면, 보간 필터의 선택 범위에 폭을 두어 예측 오차 에너지의 저감에 의한 부호화 효율의 개선을 달성할 수 있다.

10　영상 부호화 장치
11　보간 필터 계수 산출부
12,12',23 보간 필터 계수 판정부
121　보간 필터 정보 취득부
122　가중치 파라미터 지정부
123,22 가중 필터 계수 생성부
124　MSE 산출부
125　최소 MSE 기억부
126　보간 대상 위치 그루핑부
13,24 예측 신호 생성부
131,241 참조 화상 보간부
132　움직임 검출부
14　예측 부호화부
15　가변장 부호화부
16　복호부
17,26 참조 화상 메모리
20　영상 복호 장치
21　가변장 복호부
25　예측 복호부

Claims (10)

1. 소수 정밀도의 움직임 보상을 이용하는 영상 부호화 방법으로서,
   복수의 보간 필터 세트로부터 보간 필터 계수의 가중치를 지정하는 가중치 파라미터를 이용하여 복수의 가중 필터 계수를 생성하는 단계,
   상기 가중 필터 계수 중 상기 소수 정밀도의 움직임 보상에서의 예측 오차 에너지를 최소화하는 가중 필터 계수를 선택하는 단계,
   상기 선택된 가중 필터 계수에 의한 보간 필터의 적용에 의해, 참조 화상에 대한 소수 정밀도 화소의 보간을 행하고 상기 소수 정밀도의 움직임 보상에 의해 입력 화상을 부호화하는 단계,
   상기 선택된 가중 필터 계수의 생성에 이용한 가중치 파라미터와, 상기 보간 필터 계수를 부호화하여 부호화된 가중치 파라미터와 부호화된 보간 필터 계수를 부호화 비트 스트림에 추가하는 단계,
   를 가진 영상 부호화 방법.
2. 청구항 1에 기재된 영상 부호화 방법에서,
   상기 가중 필터 계수의 선택을, 미리 정해진 방법에 의해 산출된 소수 정밀도 화소의 보간 위치 그룹마다, 또는 지정된 소수 정밀도 화소의 보간 위치 그룹 마다 행하고,
   상기 가중 필터 계수에 의한 보간 필터를 상기 소수 정밀도 화소의 보간 위치 그룹마다 전환하는
   영상 부호화 방법.
3. 소수 정밀도의 움직임 보상을 이용하는 영상 부호화 장치로서,
   복수의 보간 필터 세트로부터 보간 필터 계수의 가중치를 지정하는 가중치 파라미터를 이용하여 복수의 가중 필터 계수를 생성하는 가중 필터 계수 생성부,
   상기 가중 필터 계수 중에서, 상기 소수 정밀도의 움직임 보상에서의 예측 오차 에너지를 최소화하는 가중 필터 계수를 선택하는 가중 필터 계수 선택부,
   상기 선택된 가중 필터 계수에 의한 보간 필터의 적용에 의해 참조 화상에 대한 소수 정밀도 화소의 보간을 행하고, 상기 소수 정밀도의 움직임 보상에 의해 입력 화상을 부호화하는 제1 부호화부,
   상기 선택된 가중 필터 계수의 생성에 이용한 가중치 파라미터와, 상기 보간 필터 계수를 부호화하여 부호화된 가중치 파라미터와 부호화된 보간 필터 계수를 부호화 비트 스트림에 추가하는 제2 부호화부,
   를 구비한 영상 부호화 장치.
4. 청구항 3에 기재된 영상 부호화 장치에서,
   상기 가중 필터 계수의 선택을, 미리 정해진 방법에 의해 산출된 소수 정밀도 화소의 보간 위치 그룹마다, 또는 지정된 소수 정밀도 화소의 보간 위치 그룹 마다 행하고,
   상기 가중 필터 계수에 의한 보간 필터를 상기 소수 정밀도 화소의 보간 위치 그룹마다 전환하는
   영상 부호화 장치.
5. 소수 정밀도의 움직임 보상을 이용하는 영상 복호 방법으로서,
   소수 정밀도 화소 생성을 위한 보간 필터 계수와, 상기 보간 필터 계수의 가중치를 지정하는 가중치 파라미터를 복호하는 단계,
   복호된 가중치 파라미터를 이용하여 복호된 보간 필터 계수의 가중합에 의해 정해지는 가중 필터 계수를 생성하는 단계,
   생성된 가중 필터 계수에 의해 정해지는 보간 필터를 이용하여 예측 신호를 생성하는 단계,
   잔차 신호를 복호하는 단계,
   복호한 잔차 신호 및 생성된 예측 신호를 이용하여 복호 화상을 생성하는 단계,
   를 가진 영상 복호 방법.
6. 청구항 5에 기재된 영상 복호 방법에서,
   상기 소수 정밀도 화소 생성을 위한 보간 필터 계수와, 상기 보간 필터 계수의 가중치를 지정하는 가중치 파라미터의 복호를, 부호화측으로부터 지정된 보간 위치 그룹 또는 소정의 보간 위치 그룹마다 행하고,
   상기 가중 필터 계수에 의해 정해지는 보간 필터를 상기 보간 위치 그룹마다 전환하는
   영상 복호 방법.
7. 소수 정밀도의 움직임 보상을 이용하는 영상 복호 장치로서,
   소수 정밀도 화소 생성을 위한 보간 필터 계수와, 상기 보간 필터 계수의 가중치를 지정하는 가중치 파라미터를 복호하는 제1 복호부,
   복호된 가중치 파라미터를 이용하여 복호된 보간 필터 계수의 가중합에 의해 정해지는 가중 필터 계수를 생성하는 가중 필터 계수 생성부,
   생성된 가중 필터 계수에 의해 정해지는 보간 필터를 이용하여 예측 신호를 생성하는 예측 신호 생성부,
   잔차 신호를 복호하는 제2 복호부,
   복호한 잔차 신호 및 생성된 예측 신호를 이용하여 복호 화상을 생성하는 복호 화상 생성부,
   를 구비한 영상 복호 장치.
8. 청구항 7에 기재된 영상 복호 장치에서,
   상기 소수 정밀도 화소 생성을 위한 보간 필터 계수와, 상기 보간 필터 계수의 가중치를 지정하는 가중치 파라미터의 복호를, 부호화측으로부터 지정된 보간 위치 그룹 또는 소정의 보간 위치 그룹마다 행하고,
   상기 가중 필터 계수에 의해 정해지는 보간 필터를 상기 보간 위치 그룹마다 전환하는
   영상 복호 장치.
9. 청구항 1 또는 청구항 2에 기재된 영상 부호화 방법을 컴퓨터에 실행시키기 위한 영상 부호화 프로그램.
10. 청구항 5 또는 청구항 6에 기재된 영상 복호 방법을 컴퓨터에 실행시키기 위한 영상 복호 프로그램.

Images