KR20140011482A - 영상 부호화 방법, 장치, 영상 복호 방법, 장치 및 그 프로그램 - Google Patents

영상 부호화 방법, 장치, 영상 복호 방법, 장치 및 그 프로그램 Download PDF

Info

Publication number
KR20140011482A
KR20140011482A KR1020137027950A KR20137027950A KR20140011482A KR 20140011482 A KR20140011482 A KR 20140011482A KR 1020137027950 A KR1020137027950 A KR 1020137027950A KR 20137027950 A KR20137027950 A KR 20137027950A KR 20140011482 A KR20140011482 A KR 20140011482A
Authority
KR
South Korea
Prior art keywords
interpolation
interpolation filter
group
filter coefficients
image
Prior art date
Application number
KR1020137027950A
Other languages
English (en)
Other versions
KR101579106B1 (ko
Inventor
쇼헤이 마츠오
유키히로 반도
세이시 다카무라
히로히사 조자와
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20140011482A publication Critical patent/KR20140011482A/ko
Application granted granted Critical
Publication of KR101579106B1 publication Critical patent/KR101579106B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

움직임 보상 화면 간 예측에서의 예측 오차 에너지를 줄여 부호화 효율의 개선을 도모한다. 소수 정밀도의 움직임 보상을 이용하는 영상 부호화 방법은, 움직임 탐색을 하여 움직임 벡터를 취득하는 단계와, 취득한 움직임 벡터가 지시하는 소수 화소 위치의 참조 확률을 산출하는 단계와, 산출된 참조 확률로부터 소수 화소 위치인 보간 위치를 복수의 그룹으로 나누는 단계와, 상기 보간 위치의 그룹마다 복수의 보간 필터 계수의 후보 중에서 보간 예측 화상의 생성에 이용하는 보간 필터 계수를 선출하는 단계와, 상기 보간 위치의 그룹마다, 선출된 보간 필터 계수를 이용하여 상기 보간 예측 화상을 생성하고 상기 보간 예측 화상으로부터 상기 소수 정밀도의 움직임 보상에 의한 부호화를 실시하는 단계와, 상기 보간 위치의 그루핑을 나타내는 정보 및 각 보간 위치의 그룹에 대해 어느 보간 필터 계수를 이용할지를 나타내는 정보를 부호화하는 단계를 가진다.

Description

영상 부호화 방법, 장치, 영상 복호 방법, 장치 및 그 프로그램{Method and device for encoding video image, method and device for decoding video image, and program therefor}
본 발명은, 영상 부호화에서의 보간 필터의 성능 개선을 꾀하여 부호화 효율을 개선하는 기술에 관한 것이다.
본원은 2011년 6월 27일에 일본에 출원된 일본특원2011-141724호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.
영상 부호화에서, 다른 화면간에 예측을 실행하는 화면간 예측(움직임 보상) 부호화에서는, 이미 복호된 프레임을 참조하여 예측 오차 에너지를 최소로 하는 움직임 벡터가 구해지고 그 예측 오차 신호(잔차 신호라고도 불림)가 직교 변환된다. 그 후에 양자화되고 엔트로피 부호화를 거쳐 최종적으로 바이너리 데이터, 즉 비트 스트림이 된다. 부호화 효율을 높이기 위해서는 예측 오차 에너지의 저감이 불가결하여 예측 정밀도가 높은 예측 방식이 요구된다.
영상 부호화 표준 방식에는, 여러 화면 간 예측의 정밀도를 높이기 위한 툴이 도입되고 있다. 예를 들면 H.264/AVC에서는, 가장 가까운 프레임에 오클루전(occlusion)이 존재할 경우에는, 시간적으로 약간 벌어진 프레임을 참조하는 편이 예측 오차 에너지를 줄일 수 있기 때문에 복수의 프레임을 참조할 수 있도록 한다. 본 툴을 복수 참조 프레임 예측이라고 부른다.
또 복잡한 형상의 움직임에도 대응 가능하도록 하기 위해 16×16 및 8×8에 추가하여 16×8, 8×16, 8×4, 4×8, 4×4와 같이 블록 사이즈를 세밀하게 분할 가능하게 한다. 본 툴을 가변 블록 사이즈 예측이라고 부른다.
이와 동일하게 참조 프레임의 정수 정밀도 화소로부터 6탭의 필터를 이용하여 1/2 정밀도의 화소를 보간하고 또한 그 화소를 이용하여 1/4 정밀도의 화소를 선형 보간으로 생성한다. 이로써 소수(小數) 정밀도의 움직임에 대해 예측이 맞게 된다. 본 툴을 1/4 화소 정밀도 예측이라고 부른다.
H.264/AVC보다 부호화 효율이 높은 차세대 영상 부호화 표준 방식의 책정에 맞춰 국제 표준화 조직 ISO/IEC "MPEG" (International Organization for Standardization/International Electrotechnical Commission "Moving Picture Experts Group") 및 ITU-T "VCEG" (International Telecommunication Union-Telecommunication Standardization Sector "Video Coding Experts Group")가 공동으로 검토 팀(Joint Collaborative Team for Video Coding:JCT-VC)을 설립했다. 차세대 표준 방식은 고능률 영상 부호화 방식(High Efficiency Video Coding: HEVC)으로 불리며 현재 세계 각국으로부터 다양한 신규 부호화 기술이 모여 JCT-VC회합에서 심의되고 있다.
그 중에서 특히 화면 간 예측(움직임 보상)에 관련된 제안은 많이 이루어지고 있으며 HEVC용 참조 소프트웨어(HEVC test Model: HM)에는 움직임 벡터의 예측 효율을 개선하는 툴이나, 블록 사이즈를 16×16 이상으로 확장하는 툴이 채용되고 있다.
또 소수 정밀도 화소의 보간 정밀도를 높이는 툴도 제안되고 있으며 보간 필터 계수를 DCT(Discrete Cosine Transform) 계수의 기저로부터 도출한 DCT 베이스 보간 필터(DCT-based Interpolation Filter: DCT-IF)는 효과가 높아 HM에 채용되고 있다. 또한 보간 정밀도를 높이기 위해 보간 필터 계수를 프레임 단위로 적응적으로 변화시키는 보간 필터도 제안되고 있으며, 적응 보간 필터(Adaptive Interpolation Filter: AIF)로 불린다. 적응 보간 필터는 부호화 효율 개선의 효과가 높아 VCEG 주도로 작성된 차세대 영상 부호화를 위한 참조 소프트웨어(Key Technical Area: KTA)에도 채용되고 있다. 부호화 효율 향상에 대한 기여가 높기 때문에 보간 필터의 성능 개선은 매우 기대되는 영역이다.
종래의 보간 필터에 대해 더욱 상세히 설명하기로 한다.
〔고정적 보간〕
도 10은, H.264/AVC에서의 소수 정밀도의 화소 보간 방법을 도시한 도면이다. H.264/AVC에서는, 도 10에 도시한 바와 같이 1/2 화소 위치의 보간시에는, 대상이 되는 보간 화소의 좌우 3점씩 합계 6정수 화소를 이용하여 보간한다. 수직 방향에 대해서는 상하 3점씩 합계 6정수 화소를 이용하여 보간한다. 필터 계수는 각각 ［(1,-5, 20, 20, -5, 1)/32］로 되어 있다. 1/2 화소 위치가 보간된 후 1/4 화소 위치는 ［1/2, 1/2］의 평균치 필터를 이용하여 보간한다. 일단 1/2 화소 위치를 모두 보간하여 구할 필요가 있기 때문에 계산 복잡도는 높지만 고성능의 보간이 가능해져 부호화 효율 향상을 유도한다. 이상의 고정 필터에 의한 보간의 기술은 비특허문헌 1 등에 나타나 있다.
H.264/AVC의 1차원 6탭 필터와 같이 계수치가 모든 입력 화상 및 모든 프레임에 대해 같은 값을 이용하는 필터는, 고정 보간 필터(Fixed Interpolation Filter)로 불린다.
H.264/AVC에 채용되어 있는 보간 필터의 성능을 더욱 개선하는 방식으로서 HEVC용 참조 소프트웨어 HM에서는 DCT 베이스 보간 필터(DCT-IF)가 채용되고 있다. 이 DCT 베이스 보간 필터의 소수 정밀도의 화소 보간 방법을 도 11에 도시한다. 도 11과 같이 소수 정밀도 위치에서의 보간 대상 화소를 p, 정수 위치 화소를 px, p의 위치를 나타내는 정수 위치 화소 간 파라미터를 α(0≤α≤1)로 한다. 이때 보간에 사용하는 정수 위치의 화소수, 즉 탭 길이를 2M(M은 1 이상의 정수치)로 한다. DCT 변환의 정의식으로 이하의 수학식 1이 성립한다.
Figure pct00001
또 역 DCT 변환의 정의식으로 이하의 수학식 2가 성립한다.
Figure pct00002
x를 위치로 간주함으로써 소수 위치α에서의 화소 보간식은 이하의 수학식 3이 된다.
Figure pct00003
수학식 3으로, 보간에 이용하는 탭 길이 2M 및 보간 대상 위치α가 정해지면, 일의적으로 계수를 도출할 수 있다. 이상의 논의로부터 얻어지는 보간 필터의 사례를 이하의 표 1 및 표 2로 정리한다. 이상의 상세에 대해서는 비특허문헌 2에 나타나 있다.
Figure pct00004
Figure pct00005
이 DCT 베이스 보간 필터는 임의의 필터 길이 및 보간 정밀도에 대응할 수 있으며 성능이 높은 보간 필터이므로 HEVC용 테스트 모델 HM에 채용되고 있다.
〔적응적 보간〕
H.264/AVC에서는, 입력 화상 조건(시퀀스 종류/화상 사이즈/프레임 레이트)이나 부호화 조건(블록 사이즈/GOP(Group of Pictures) 구조/QP(Quantization Parameter))과 상관없이 필터 계수치는 일정하다. 필터 계수치가 고정인 경우, 예를 들면 에일리어싱(aliasing), 양자화 오차, 움직임 추정에 의한 오차, 카메라 노이즈 등 시간적으로 변화하는 효과가 고려되지 않는다. 따라서 부호화 효율면에서 성능 향상에 한계가 있다고 생각된다. 그래서 보간 필터 계수를 적응적으로 변화시키는 방식이 비특허문헌 3에서는 제안되었으며 비분리형의 적응 보간 필터로 불린다.
비특허문헌 3에서는, 2차원의 보간 필터(6×6의 합계 36필터 계수)를 고려하고 있으며 예측 오차 에너지를 최소로 하도록 필터 계수가 결정된다. H.264/AVC에 이용되는 1차원 6탭의 고정 보간 필터를 이용하는 것보다 높은 부호화 효율을 실현할 수 있었으나, 필터 계수를 구한 후의 계산 복잡도가 매우 높기 때문에 그 계산 복잡도를 낮추기 위한 제안이 비특허문헌 4에 소개되어 있다.
비특허문헌 4에 소개되어 있는 수법은 분리형 적응 보간 필터(SAIF：Separable Adaptive Interpolation Filter )로 불리며, 2차원의 보간 필터를 이용하는 것이 아니라 1차원의 6탭 보간 필터를 이용한다.
도 12a∼도 12c는, 분리형 적응 보간 필터(SAIF)에서의 소수 정밀도의 화소 보간 방법을 도시한 도면이다. 순서로서는, 도 12b의 Step1에 도시한 바와 같이 우선 수평 방향의 화소(a,b,c)를 보간한다. 필터 계수의 결정에는 정수 정밀도 화소 C1 내지 C6가 이용된다. 이하의 수학식 4의 예측 오차 에너지 함수 Eh 2를 최소화하는 수평 방향 필터 계수가, 일반에게 알려진 최소 제곱법(비특허문헌 3 참조)에 의해 해석적으로 결정된다.
Figure pct00006
수학식 4에서 S는 원화상, P는 복호 완료된 참조 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또 ∼x(∼는 x위에 붙는 기호；다른 것도 동일함)는,
∼x = x ＋ MVx - FilterOffset
이며, MVx는 사전에 얻어진 움직임 벡터의 수평 성분, FilterOffset은 조정을 위한 오프셋(수평 방향 필터 길이를 2로 나눈 값)을 나타내고 있다. 수직 방향에 대해서는 ∼y = y ＋ MVy가 되고, MVy는 움직임 벡터의 수직 성분을 나타낸다. wci는 구해야 할 수평 방향 필터 계수군 ci(0=ci＜6)를 나타낸다.
수학식 4에서 구하는 필터 계수와 같은 수의 일차 방정식을 얻을 수 있게 되어, 최소화 처리는 수평 방향의 소수 화소 위치마다 독립적으로 실시된다. 이 최소화 처리를 거쳐 3종류의 6탭 필터 계수군이 구해지고, 그 필터 계수군을 이용하여 소수 정밀도 화소 a, b, c가 보간된다.
수평 방향의 화소 보간이 완료된 후 도 12c의 Step2에 도시한 바와 같이 수직 방향의 보간 처리를 한다. 수평 방향과 같은 선형 문제를 풂으로써 수직 방향의 필터 계수를 결정한다. 구체적으로는, 이하의 수학식 5의 예측 오차 에너지 함수 Ev 2를 최소화하는 수직 방향 필터 계수가 해석적으로 결정된다.
Figure pct00007
수학식 5에서 S는 원화상, ＾P(＾는 P 위에 붙는 기호)는 복호 후에 수평 방향으로 보간 처리된 화상, x 및 y는 각각 화상 중의 수평 및 수직 방향의 위치를 나타낸다. 또 ∼x = 4·(x ＋ MVx)로 표현되고, MVx는 둥글게 된 움직임 벡터의 수평 성분을 나타낸다. 수직 방향에 대해서는 ∼y = y ＋ MVy - FilterOffset으로 표현되고, MVy는 움직임 벡터의 수직 성분, FilterOffset은 조정을 위한 오프셋(필터 길이를 2로 나눈 값)을 나타낸다. wcj는 구해야 할 수직 방향 필터 계수군 cj(0=cj＜6)을 나타낸다.
최소화 처리는 소수 정밀도 화소마다 독립적으로 실시되어 12종류의 6탭 필터 계수를 얻을 수 있다. 이 필터 계수를 이용하여 나머지 소수 정밀도 화소가 보간된다.
이상으로부터, 합계 90(= 6 × 15)의 필터 계수를 부호화하여 복호측에 전송할 필요가 있다. 특히 저해상도의 부호화에 대해서는, 이 오버헤드(overhead)가 커지기 때문에 필터의 대칭성을 이용하여 전송해야 할 필터 계수를 삭감한다. 예를 들면, 도 12a에서는 b, h, i, j, k의 위치는 보간 방향에 관해 각 정수 정밀도 화소에서 보아 중심에 위치하고 있으며, 수평 방향이라면 왼쪽 3점에 이용하는 계수를 반전시켜 오른쪽 3점에 적용할 수 있다. 마찬가지로 수직 방향이라면 위쪽 3점에 이용하는 계수를 반전시켜 아래쪽 3점에 적용할 수 있다(c1 = c6, c2 = c5, c3 = c4).
그 밖에도 d와 l의 관계는 h를 사이에 두고 대칭되어 있기 때문에 필터 계수도 각각 반전하여 이용할 수 있다. 즉, d의 6계수를 전송하면 그 값을 l에도 적용할 수 있다. c(d)1 = c(l)6, c(d)2 = c(l)5, c(d)3 = c(l)4, c(d)4 = c(l)3, c(d)5 = c(l)2, c(d)6 = c(l)1이 된다. 이 대칭성은 e와 m, f와 n, 그리고 g와 o에도 이용할 수 있게 된다. a와 c에 대해서도 같은 이론이 성립하는데, 수평 방향은 수직 방향의 보간에도 결과가 영향을 미치기 때문에 대칭성은 이용하지 않고 a와 c는 각각 따로 따로 전송한다. 이상의 대칭성을 이용한 결과, 프레임마다 전송해야 할 필터 계수는 51(수평 방향이 15, 수직 방향이 36)이 된다.
이상, 비특허문헌 4의 적응 보간 필터는 예측 오차 에너지의 최소화 처리의 단위가 프레임으로 고정되어 있었다. 1매의 프레임에 대해 51의 필터 계수가 결정된다. 부호화 대상 프레임이 가령 큰 2종류(혹은 복수 종류의) 텍스쳐 영역 A, B로 나뉠 경우, 최적의 필터 계수는 그 양자(모든 텍스쳐)를 고려한 계수군이 된다. A의 영역에서는 본래 수직 방향만 특징적인 필터 계수가 나왔다고 하여 B의 영역에서 수평 방향만 필터 계수를 얻을 수 있는 상황에서는, 그 양쪽이 평균화된 형태로 필터 계수가 도출된다.
1매의 프레임당 1개의 필터 계수군(51계수)으로 한정되지 않으며 화상의 국소적 성질에 따라 영역 분할을 하고, 분할된 영역마다 보간 필터 계수를 생성하여 예측 오차 에너지의 저감을 달성하고 부호화 효율의 개선을 실현하는 방법이 비특허문헌 5에 제안되어 있다.
또 비특허문헌 4의 적응 보간 필터의 성능 개선을 목적으로 하여 보간 위치마다 그루핑하여 예측 오차 에너지를 줄일 수 있도록 그 그룹 단위로 고정 보간 필터와 적응 보간 필터를 선택하여 보간 화상을 생성하는 기술이 제안되어 있다(비특허문헌 6 참조).
특허문헌 1: 일본특개2011-82725호 공보
비특허문헌 1: 오오쿠보 사카에, 카쿤노 마코토야, 키쿠치 요시히로, 수추키 테루히코： "H.264/AVC 교과서 개정 3판", 인프레스, pp.119-123, 2009 비특허문헌 2: Ken McCann, Woo-Jin Han, Il-Koo Kim, Jung-Hye Min, Elena Alshina, Alexander Alshin, Tammy Lee, Jianle Chen, Vadim Seregin, Sunil Lee, Yoon-Mi Hong, Min-Su Cheon, Nikolay Shlyakhov, "Samsung's Response to the Call for Proposals on Video Compression Technology", JCTVC-A124 r2, pp.12-14, 1st JCT-VC Meeting, Dresden, Apr. 2010 비특허문헌 3: Y.Vatis, B.Edler, D.T.Nguyen, J.Ostermann: "Motion-and aliasing-compensated prediction using a two-dimensional non-separable adaptive Wiener interpolation filter", Proc. ICIP2005, IEEE International Conference on Image Processing, pp.II 894-897, Genova, Italy, Sep. 2005 비특허문헌 4: S. Wittmann, T. Wedi: "Separable adaptive interpolation filter for video coding", Proc. ICIP2008, IEEE International Conference on Image Processing, pp.2500-2503, San Diego, California, USA, Oct. 2008 비특허문헌 5: Shohei Matsuo, Yukihiro Bandoh, Seishi Takamura, Hirohisa Jozawa: "Enhanced region-based adaptive interpolation filter", Proc. PCS2010, IEEE Picture Coding Symposium, pp.526-529, Nagoya, Japan, Dec. 2010 비특허문헌 6: Faouzi Kossentini, Nader Mahdi, Hsan Guermazi, Mohammed Ali Ben Ayed: "An Adaptive Interpolation Filtering Technique", JCTVC-E284, 5th JCT-VC Meeting, Geneva, Mar. 2011
비특허문헌 4나 비특허문헌 5에 기재된 보간 필터에서는, 보간 위치마다 보간 필터를 전환하는 기능이 없어 움직임 보상의 성능 향상에 개선의 여지가 있다.
비특허문헌 6에 기재된 보간 위치 적응성이 있는 보간 필터는, 보간하는 위치마다 사전에 정의된 고정 보간 필터를 이용할지, 프레임 단위로 도출한 적응 보간 필터를 이용할지를 판단한다. 필터 선택은 예측 오차 에너지 최소화 관점에서 선택되며 좌우간 반드시 선택하는 방식으로 되어 있다.
보간 위치에 따라 복수의 보간 필터로부터 적응적으로 선택함으로써 부호화 효율 향상을 꾀할 경우, 보간 위치의 설정이 부호화 효율 개선 성능에 영향을 준다고 생각된다. 비특허문헌 6에 기재된 방법은, 1/4 화소 정밀도 위치까지의 보간을 상정하고 있으며 보간 대상 화소의 위치에 따라 4그룹으로 나누어 그 그룹 단위로 보간 필터를 전환하고 있다. 그 그룹의 설정은 부호화 처리중에 고정되어 있으며 입력 화상에 따른 적응성은 고려되지 않았다. 그룹의 설정을 입력 화상의 성질에 따라 변경할 수 있다면 예측 오차 에너지를 더욱 줄여 부호화 효율의 개선을 실현할 수 있다.
본 발명은 상기 과제의 해결을 위해 움직임 보상 화면 간 예측에서의 예측 오차 에너지를 종래 기술보다 줄여 부호화 효율을 개선시키는 새로운 방식을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 방법으로서 움직임 벡터가 가리키는 보간 위치의 비율이 높을수록 보간 필터가 주는 성능 개선 비율이 높다는 상정에 기초하여 움직임 벡터의 참조 확률을 산출하고, 그 통계 정보로부터 보간 필터 전환을 위한 그룹 나누기를 실시한다. 본 수단을 이용함으로써 입력 화상의 성질에 따라 보간 위치 적응성에 폭을 부여하여 예측 오차 에너지의 저감, 즉 부호화 효율의 개선을 실현한다.
이상과 같이 본 발명의 가장 특징적인 부분은, 움직임 벡터가 지시하는 소수 화소 위치의 참조 확률을 구하고 참조 확률에 의해 보간 위치를 그루핑하여 보간 위치의 그룹마다 최적의 보간 필터가 되는 필터 계수를 선출하고 보간 위치의 그룹마다 보간 필터를 전환하는 점이다. 보간 위치 그룹 정보와 보간 필터 계수 정보는 프레임 단위 혹은 슬라이스 등의 영역 단위로 부호화하여 복호 장치에 전송한다. 보간 필터 계수 정보의 부호화는, 각 보간 위치 그룹에서 어느 보간 필터 계수를 이용할지를 복호 장치 측에서 인식할 수 있는 정보이면 충분하다. 예를 들면 복수조의 보간 필터 계수의 세트와 보간 위치 그룹마다 어느 보간 필터를 이용할지를 나타내는 보간 필터 인덱스를 부호화의 대상으로 해도 좋다.
복호 장치에서는, 부호화 비트 스트림을 복호하여 얻어진 보간 위치 그룹 정보와 각 보간 위치에서 이용하는 보간 필터 계수로부터, 보간 위치 그룹마다 보간 필터 계수를 전환하여 보간 화상을 생성하고 소수 정밀도의 움직임 보상에 의한 복호 처리를 한다.
상세하게는, 영상 부호화에서는 예를 들면 이하의 처리를 한다.
·예측 블록 단위로 움직임 탐색을 하여 움직임 벡터를 취득한다.
·취득한 움직임 벡터가 지시하는 참조처의 소수 화소 위치의 참조 확률(확률 분포)을 산출한다.
·산출된 참조 확률로부터, 보간 위치인 소수 화소 위치를 복수의 그룹으로 나눈다.
·보간 위치의 그룹마다 보간 필터를 결정하여 보간 처리를 하고 예측 신호를 생성한다.
·보간 위치 그룹 정보를 부호화하고, 또 어느 보간 필터 계수를 이용할지를 나타내는 보간 필터 인덱스와 각 보간 필터 계수를 부호화한다.
·다른 부호화 정보를 모두 부호화한다.
영상 복호에서는, 예를 들면 이하의 처리를 한다.
·통상의 부호화 정보를 복호함과 동시에 보간 위치 그룹 정보, 보간 필터 인덱스 및 보간 필터 계수를 복호한다.
·보간 위치 그룹 정보와 보간 필터 인덱스로부터 보간 위치의 그룹마다 사용하는 보간 필터를 확정하고 보간 처리를 하여 예측 신호를 생성하고 복호 신호를 생성한다.
본 발명의 작용은 이하와 같다. 종래의 보간 위치 적응성이 있는 보간 필터에서는, 보간 필터를 전환하는 단위로서 고정된 그룹 설정을 하고 있어 성능 개선에는 한계가 있었다. 한편 본 발명에서는, 보간 필터를 전환하는 화소 위치를, 움직임 벡터가 지시하는 확률에 따라 복수의 그룹으로 나눈다. 예를 들면, 움직임 벡터가 지시하는 확률이 높은 위치를 1개의 그룹으로 하고 그 그룹에 고정밀도의 보간 필터를 이용한다. 이와 같이 함으로써 보다 유연하게 보간 필터의 전환을 설정할 수 있어 부호화 효율을 개선할 수 있다.
본 발명에 의하면, 종래의 보간 위치 적응성이 있는 보간 필터에서는 고려할 수 없었던 보간 필터 적용 위치를 가변적으로 할 수 있고, 또한 보간 필터의 형상이나 필터 길이를 보간 위치마다 변경할 수 있게 되어 참조 확률이 높은 부분에 의해 고정밀도의 보간 처리를 할 수 있다. 따라서 예측 오차 에너지의 저감에 의한 부호화 효율 개선을 달성할 수 있다.
도 1은, 본 발명의 일실시형태인 영상 부호화 장치의 구성예를 도시한 도면이다.
도 2는, 보간 필터 계수 판정부의 구성예 1을 도시한 도면이다.
도 3은, 보간 위치별로 움직임 벡터가 지시하는 참조 확률의 예를 도시한 도면이다.
도 4는, 보간 필터 계수 판정부의 구성예 2를 도시한 도면이다.
도 5는, 보간 필터 계수 판정부의 구성예 3을 도시한 도면이다.
도 6은, 본 발명의 일실시형태인 부호화 처리의 흐름도이다.
도 7은, 본 발명의 일실시형태인 영상 복호 장치의 구성예를 도시한 도면이다.
도 8은, 본 발명의 일실시형태인 복호 처리의 흐름도이다.
도 9는, 본 발명의 실시형태를 컴퓨터와 소프트웨어 프로그램을 이용하여 실시할 경우의 시스템의 구성예를 도시한 도면이다.
도 10은, 영상 부호화 표준 방식(H.264/AVC)의 소수 정밀도의 화소 보간 방법을 도시한 도면이다.
도 11은, DCT 베이스 보간 필터(DCT-IF)의 소수 정밀도의 화소 보간 방법을 도시한 도면이다.
도 12a는, 분리형 적응 보간 필터(SAIF)에서의 소수 정밀도의 화소 보간 방법을 도시한 도면이다.
도 12b는, 분리형 적응 보간 필터(SAIF)에서의 소수 정밀도의 화소 보간 방법을 도시한 도면이다.
도 12c는, 분리형 적응 보간 필터(SAIF)에서의 소수 정밀도의 화소 보간 방법을 도시한 도면이다.
이하, 도면을 이용하여 본 발명의 일실시형태에 대해 설명하기로 한다.
〔영상 부호화 장치의 구성예〕
도 1은, 본 발명의 일실시형태인 영상 부호화 장치의 구성예를 도시한 도면이다.
영상 부호화 장치(10)에서 보간 필터 계수 산출부(11)는, 예측 부호화에서의 참조 화상에 대해 이용하는 소수 정밀도 화소의 보간 필터 계수를 산출한다. 보간 필터 계수 판정부(12)는, 움직임 검출부(132)가 검출한 움직임 벡터(MV)를 이용하여 소수 화소 위치의 참조 확률을 산출하고, 산출된 참조 확률로부터 보간 필터의 중요도를 지정하고, 또한 얻어진 중요도로부터 보간 필터의 형상, 필터 길이, 비트 심도의 정보를 지정한다.
예측 신호 생성부(13)는, 참조 화상 보간부(131)와 움직임 검출부(132)를 구비한다. 참조 화상 보간부(131)는, 참조 화상 메모리(17)에 격납된 복호 완료된 참조 화상에, 보간 필터 계수 판정부(12)가 선택한 보간 필터 계수에 의한 보간 필터를 적용한다. 움직임 검출부(132)는, 보간 후의 참조 화상에 대해 움직임 탐색을 함으로써 움직임 벡터를 산출한다. 예측 신호 생성부(13)는, 움직임 검출부(132)에 의해 산출된 소수 정밀도의 움직임 벡터에 의한 움직임 보상에 의해 예측 신호를 생성한다.
예측 부호화부(14)는, 입력 영상 신호와 예측 신호와의 잔차 신호를 산출하여 그것을 직교 변환하고 변환 계수의 양자화 등에 의해 예측 부호화를 한다. 또 복호부(16)는, 예측 부호화의 결과를 복호하고 복호 화상을 나중의 예측 부호화를 위해 참조 화상 메모리(17)에 격납한다. 이때 디블로킹 필터나 ALF(Adaptive Loop Filter) 등의 부호화 노이즈 제거를 위한 인루프 필터 처리한 후에 격납해도 좋다.
가변장 부호화부(15)는, 양자화된 변환 계수, 움직임 벡터를 가변장 부호화함과 동시에 보간 필터 계수 판정부(12)의 출력인 보간 위치 그룹 정보, 보간 필터 인덱스, 보간 필터 계수를 가변장 부호화하여 이것들을 부호화 비트 스트림으로서 출력한다.
〔보간 필터 계수 판정부의 구성예 1〕
도 2는, 보간 필터 계수 판정부의 구성예 1을 도시한 도면이다. 보간 필터 계수 판정부(12-1)에서의 보간 위치 참조 확률 계산부(122) 및 보간 대상 위치 그루핑부(123)의 부분이 특히 종래 기술과 현저히 다르다.
보간 필터 계수 판정부(12-1)에서 보간 필터 정보 취득부(121)는, 부호화시에 미리 준비되어 있는 고정 보간 필터 계수치를 MSE 산출부(124)에 출력한다. 예를 들면 H.264/AVC에 정의되어 있는 6탭의 계수나 DCT-IF의 8탭 혹은 12탭의 계수를 이용해도 좋다.
보간 위치 참조 확률 계산부(122)는, 부호화 대상 블록의 움직임 벡터(MV)를 이용하여 소수 화소 위치의 참조 확률을 산출한다. 이 보간 위치 참조 확률 계산부(122)에서는, 입력을 움직임 예측으로부터 구해지는 움직임 벡터로 하고, 프레임 전체 내지는 화상에서의 일부 영역에 대해 보간 위치마다 움직임 벡터가 지시하는 확률을 구한다.
도 3에, 보간 위치별로 움직임 벡터가 지시하는 참조 확률의 예를 도시한다. 예를 들면, 1/2 화소 정밀도까지 보간할 경우, 도 3(A)에 도시한 확률 분포를 얻을 수 있다. 1/n 화소 정밀도에서도 동일하게 계산할 수 있다. 도 3(B)는, 1/4 화소 정밀도일 때의 확률 분포의 예를 도시한다. 보간 위치 참조 확률 계산부(122)는, 도 3에 도시한 보간 위치마다 확률 분포 정보(%로 표기되는 정보)를 출력한다.
보간 대상 위치 그루핑부(123)는, 보간 위치 참조 확률 계산부(122)가 산출한 보간 위치 참조 확률 정보를 입력으로 하고 미리 정해진 방법에 의해 보간 위치를 참조 확률이 높은 순서대로 복수의 그룹으로 나눈다. 예를 들면, 1/2 화소 정밀도까지 이용하는 움직임 보상의 경우, 정수 화소 위치를 제외한 3점 중 상위 1점을 제1 그룹, 하위 2점을 제2 그룹으로 한다. 도 3(A)의 예의 경우, 제1 그룹이 ｛25%｝의 위치, 제2 그룹이 ｛20%, 15%｝의 위치가 된다. 또 1/4 화소 정밀도까지 이용하는 움직임 보상의 경우, 정수 화소 위치를 제외한 15점 중 상위 3점을 제1 그룹, 계속되는 4∼7위를 제2 그룹, 계속되는 8∼11위까지를 제3 그룹, 나머지 하위 4점을 제4 그룹 등으로 하면 된다. 도 3(B)의 예의 경우, 제1 그룹이 ｛13%, 11%, 10%｝의 위치, 제2 그룹이 ｛9%, 8%, 7%, 6%｝의 위치, 제3 그룹이 ｛5%, 4%, 3%, 2%｝의 위치, 제4 그룹이 ｛1%, 1%, 1%, 1%｝의 위치로 나뉜다. 보간 대상 위치 그루핑부(123)는 이상과 같은 보간 위치 그룹 정보를 출력한다.
MSE 산출부(124)는, 움직임 예측으로 구해지는 움직임 벡터(MV), 복호 신호(로컬 디코딩 화상), 프레임 단위 내지는 영역 단위 등에서 부호화중에 생성되는 보간 필터 계수치, 보간 필터 정보 취득부(121)로부터 출력되는 고정 보간 필터 계수치, 보간 대상 위치 그루핑부(123)로부터 출력되는 보간 위치 그룹 정보를 입력으로 하여 움직임 벡터(MV)가 지시하는 위치에서의 보간 화상을, 복호 화상의 정수 위치 화소와 보간 위치 그룹 정보로부터 판단되는 필터 계수를 이용하여 생성하고 원화상과의 MSE(Mean Square Error: 평균 제곱 오차), 즉, 예측 잔차 에너지를 계산한다.
MSE의 계산에는, 예를 들어 이하와 같은 식을 이용할 수 있다.
MSE =｛(원신호 - 예측 신호)2의 총합｝/ 화소수
계산된 MSE는 최소 MSE 기억부(125)에 출력된다.
최소 MSE 기억부(125)는, 입력을 MSE 산출부(124)에서 얻어지는 MSE로 하고 그 값을 저장한다. 최소 MSE 기억부(125)는, 사전에 저장 혹은 미리 정의되어 있는 최소치와 입력되는 MSE를 비교하여,
(a) 저장 완료된 최소치보다 입력 MSE치가 작은 경우：입력 MSE치,
(b) 저장 완료된 최소치가 입력 MSE치보다 작은 경우：저장 완료된 최소치,
와 같이 최소가 되는 MSE를 판정하여 최소치를 저장하고 갱신한다. 또 최소 MSE 기억부(125)는, 그 최소치를 저장할 때에는 그 MSE치를 실현하는 보간 위치 그룹 정보, 보간 필터 인덱스를 저장한다.
보간 필터 인덱스는, 보간 필터를 나타내는 식별 번호이며,
(a) 사전 정의된 고정 보간 필터,
(b) 부호화 처리중에 얻어지는 적응 보간 필터,
중 어느 쪽을 이용할지를 나타낸다.
보간 필터 계수 판정부(12-1)는, 이상과 같이 보간 필터에 관한 보간 위치와 필터 계수를 취할 수 있는 조합에 대해 보간 위치마다 MSE를 산출한 후 최소 MSE를 실현하는 조합, 즉,
(1) 보간 위치 그룹 정보,
(2) 보간 필터 인덱스,
(3) 보간 필터 계수,
의 정보를 출력한다.
〔보간 필터 계수 판정부의 구성예 2〕
도 4는, 보간 필터 계수 판정부의 다른 구성예 2를 도시한 도면이다. 보간 필터 계수 판정부(12-2)가 전술한 구성예 1의 보간 필터 계수 판정부(12-1)와 다른 것은 이하의 점이다. 즉, 구성예 1에서는 보간 대상 위치 그루핑부(123)가 그루핑한 보간 위치의 그룹마다, 적응 보간 필터나 고정 보간 필터 등 복수의 보간 필터의 보간 필터 계수 중에서 MSE 산출부(124)에 의해 예측 오차 에너지가 최소가 되는 보간 필터 계수를 선출하였다. 이에 대해 구성예 2에서는, 보간 위치 그룹에 따라 중요도 판정부(126)가 보간 위치 그룹의 중요도를 판정하여 판정 결과의 중요도로부터 보간 필터로서 이용하는 보간 필터 계수를 선출한다.
보간 필터 계수 판정부(12-2)에서 보간 필터 정보 취득부(121), 보간 위치 참조 확률 계산부(122), 보간 대상 위치 그루핑부(123)의 처리 내용은 전술한 구성예 1의 경우와 같다.
중요도 판정부(126)는, 각 보간 위치 그룹에 대해 움직임 벡터가 지시하는 소수 화소 위치의 참조 확률이 높을수록 중요도가 높은 것으로 하고, 중요도가 높을수록 보간 필터의 형상, 필터 길이 또는 비트 심도에 대해 고정밀도가 되는 것을 할당한다. 즉, 중요도 판정부(126)는 중요도가 높을수록 보간 필터의 형상이 큰 것, 또는 필터 길이가 긴 것, 또는 비트 심도가 큰 것을 그 보간 위치 그룹에 이용하는 보간 필터 계수로서 할당한다.
구성예 2에서의 보간 필터 계수 판정부(12-2)의 출력은, 소수 정밀도의 보간 위치가 어느 그룹에 소속될지를 나타내는 보간 위치 그룹 정보와, 어느 보간 필터 계수를 이용할지를 나타내는 보간 필터 인덱스와, 보간 필터 계수이며, 이것이 부호화의 대상이 된다. 아울러 보간 필터 인덱스는 생략할 수도 있다.
〔보간 필터 계수 판정부의 구성예 3〕
도 5는, 보간 필터 계수 판정부의 다른 구성예 3을 도시한 도면이다. 구성예 3의 보간 필터 계수 판정부(12-3)는, 전술한 구성예 1의 보간 필터 계수 판정부(12-1)와 구성예 2의 보간 필터 계수 판정부(12-2)를 조합한 구성으로 되어 있다.
보간 필터 계수 판정부(12-3)에서 보간 필터 정보 취득부(121), 보간 위치 참조 확률 계산부(122), 보간 대상 위치 그루핑부(123)의 처리 내용은 전술한 구성예 1, 2의 경우와 같다.
중요도 판정부(126)에는, 부호화 처리중에 얻어지는 적응 보간 필터의 보간 필터 계수나, 보간 필터 정보 취득부(121)가 취득한 사전에 정의되어 있는 고정 보간 필터의 필터 계수가 입력된다. 또 중요도 판정부(126)에는 보간 대상 위치 그루핑부(123)가 구한 보간 위치 그룹 정보가 입력된다.
중요도 판정부(126)는, 이들 입력으로부터 각 보간 위치 그룹에 대해 움직임 벡터가 지시하는 소수 화소 위치의 참조 확률이 높을수록 중요도가 높은 것으로 하고, 중요도가 높을수록 보간 필터의 형상, 필터 길이 또는 비트 심도에 대해 고정밀도가 되는 보간 필터 계수를 몇개 선출한다. 즉, 중요도 판정부(126)는 중요도가 높을수록 보간 필터의 형상이 크거나, 또는 필터 길이가 길거나, 또는 비트 심도가 큰 보간 필터 계수 세트를, 입력한 보간 필터 계수 중에서 복수조 선출한다.
MSE 산출부(124)는, 움직임 예측으로 구해지는 움직임 벡터(MV), 복호 신호(로컬 디코딩 화상), 중요도 판정부(126)에서 선출된 보간 필터 계수를 입력하고, 보간 위치 그룹마다 움직임 벡터(MV)가 지시하는 위치에서의 보간 화상을, 복호 화상의 정수 위치 화소와 보간 필터 계수를 이용하여 생성하고 원화상과의 MSE(Mean Square Error: 평균 제곱 오차)를 계산한다. 이 MSE의 계산은 구성예 1에서 설명한 계산과 동일하다.
최소 MSE 기억부(125)는, 입력을 MSE 산출부(124)에서 얻어지는 MSE로 하고, 그 값 중에서 최소가 되는 것을 저장한다.
보간 필터 계수 판정부(12-3)는, 이상과 같이 보간 필터에 관한 보간 위치와 중요도 판정부(126)에서 선출된 보간 필터 계수를 취할 수 있는 조합에 대해 보간 위치마다 MSE를 산출한 후 최소 MSE를 실현하는 조합 즉, 소수 정밀도의 보간 위치가 어느 그룹에 소속될지를 나타내는 보간 위치 그룹 정보와, 어느 보간 필터 계수를 이용할지를 나타내는 보간 필터 인덱스와 보간 필터 계수를 출력한다.
〔부호화의 처리 흐름〕
도 6은, 도 1에 도시한 영상 부호화 장치의 처리 흐름도이다. 이하, 도 6에 따라 영상 부호화 장치가 1매의 프레임을 부호화하는 경우의 처리의 흐름을 설명하기로 한다. 이하에서는 특별히 예고가 없는 한, 휘도 신호에서의 처리를 가정한다.
우선 단계 S101에서, 부호화 처리에 필요한 원화상의 프레임을 입력한다. 계속해서 단계 S102에서, 예를 들면 H.264/AVC에 채용되어 있는 1차원 6탭 필터나 DCT 베이스 보간 필터의 1차원 8탭/12탭 필터 등 부호화기에 구비되어 있는 고정 보간 필터를 사전 정의 보간 필터로 하고, 그 보간 필터를 이용하여 프레임 전체의 움직임 벡터(MV)를 도출한다. 여기서 고정 보간 필터뿐 아니라 전(前)프레임 등에서 산출된 적응 보간 필터의 필터를 채용해도 좋다.
계속해서 단계 S103에서, 단계 S102에서 얻어진 움직임 벡터를 이용하여 부호화 대상 프레임에서의 적응 보간 필터의 계수치를 산출한다. 본 단계에서의 보간 필터의 계수 산출에는, 일반에게 알려져 있는 예측 오차 에너지 최소화 방법(선형 회귀)을 이용한다.
계속해서 단계 S104에서, 단계 S102에서 구해진 움직임 벡터로부터 보간 대상 위치마다의 참조 확률을 계산한다. 구체적으로는 움직임 벡터가 지시하는 횟수를 구하고 그 횟수로부터 전체의 움직임 벡터 중 각 보간 대상 위치가 몇 개의 움직임 벡터로부터 참조되었는지를 계산한다.
계속해서 단계 S105에서, 단계 S104에서 구해진 참조 확률 결과로부터 보간 위치의 그룹 나누기를 결정한다. 예를 들면 1/4 화소 정밀도까지 구할 경우 전부 15점의 보간 대상 위치가 존재한다. 이때 상위 3위까지를 그룹 1, 상위 4위에서 7위까지를 그룹 2, 상위 8위에서 11위까지를 그룹 3, 그 외를 그룹 4로 그룹을 나눈다.
계속해서 단계 S106에서, 단계 S105에서 구해진 그루핑 결과로부터, 도 2, 도 4, 도 5에서 설명한 보간 필터 계수 판정부(12-1 내지 12-3)의 처리를 실행한다. 예를 들면, 보간 위치 그룹의 중요도를 설정하여 사용하는 보간 필터를 결정한다. 그룹 1은 참조 확률이 높기 때문에 필터의 영향이 커서 중요도가 높다고 설정된다. 이 경우, 예를 들면 탭 길이가 긴 보간 필터를 이용하거나 필터 계수치의 양자화 비트 심도를 높게 설정함으로써 고성능의 필터를 할당한다. 반대로 그룹 4는 참조 확률이 낮기 때문에 사용하는 보간 필터는 성능이 낮아도 영향은 적다. 탭 길이가 짧은 보간 필터를 이용하거나 양자화 비트 심도를 낮게 설정한다. 또 사용하는 보간 필터 계수의 후보가 다수 있는 경우에 보간 필터 계수의 각 후보를 이용한 경우의 MSE를 산출하여 예측 오차 에너지가 가장 작아지는 보간 필터 계수를 결정한다.
계속해서 단계 S107에서, 단계 S106에서 결정된 보간 필터 계수를 이용하여 보간 처리를 한다.
계속해서 단계 S108에서, 단계 S105에서 구해진 보간 위치 그룹 정보를 부호화한다. 계속해서 단계 S109에서, 단계 S103에서 구해진 보간 필터 계수 정보 및 보간 필터 인덱스 등의 복호에 필요한 정보를 부호화한다.
계속해서 단계 S110에서, 나머지 부호화해야 할 정보, 예를 들면 예측 오차 신호(텍스쳐 성분 정보)나 움직임 벡터 등을 모두 부호화한다.
계속해서 단계 S111에서, 부호화 프레임이 최종 프레임에 도달했는지 여부를 판정한다. 만약 처리 프레임이 최종 프레임이 아니라면, 다음 프레임을 처리하기 위해 단계 S101로 되돌아간다. 만약 처리 프레임이 최종 프레임인 경우 부호화 처리를 종료한다.
아울러 본 실시형태에서 설명하는 움직임 벡터의 참조 확률로부터 보간 위치의 그룹을 변경하고 그룹마다 사용하는 보간 필터를 조정하여 부호화하는 기능은 휘도 신호뿐 아니라 색차 신호에도 동일하게 적용 가능하다.
〔영상 복호 장치의 구성예〕
도 7은, 본 발명의 일실시형태인 영상 복호 장치의 구성예를 도시한 도면이다.
영상 복호 장치(20)에서 가변장 복호부(21)는, 부호화된 비트 스트림을 입력하여 양자화 변환 계수, 움직임 벡터, 보간 위치 그룹 정보, 보간 필터 인덱스, 보간 필터 계수 등의 복호를 한다. 보간 필터 계수 판정부(22)는, 보간 위치 그룹 정보와 보간 필터 인덱스로부터 각 보간 위치에 이용하는 보간 필터 계수를 결정한다.
예측 신호 생성부(23)에서의 참조 화상 보간부(231)는, 참조 화상 메모리(25)에 격납된 복호 완료된 참조 화상에, 보간 필터 계수 판정부(22)로부터 받은 보간 필터 계수에 의한 보간 필터를 적용하여 참조 화상의 소수 정밀도 화소를 복원한다. 예측 신호 생성부(23)는, 소수 정밀도 화소가 복원된 참조 화상으로부터 복호 대상 블록의 예측 신호를 생성한다.
예측 복호부(24)는, 가변장 복호부(21)에서 복호된 양자화 계수의 역양자화, 역직교 변환 등을 행함으로써 산출된 예측 오차 신호와, 예측 신호 생성부(23)가 생성한 예측 신호를 더해 복호 화상을 생성하고 출력 화상으로서 출력한다. 또 예측 복호부(24)가 복호한 복호 화상은 나중의 예측 복호를 위해 참조 화상 메모리(25)에 격납한다. 이때 디블로킹 필터나 ALF(Adaptive Loop Filter) 등의 부호화 노이즈 제거를 위한 인루프 필터 처리를 한 후 격납해도 좋다.
〔복호의 처리 흐름〕
도 8은, 도 7에 도시한 영상 복호 장치의 처리 흐름도이다. 이하, 도 8에 따라 영상 복호 장치가 1매의 프레임을 복호하는 경우의 처리의 흐름을 설명하기로 한다. 이하에서는 특별히 예고가 없는 한, 휘도 신호에서의 처리를 가정한다.
단계 S201에서, 프레임 헤더(내지는 슬라이스 헤더)의 정보를 취득한다. 계속해서 단계 S202에서, 보간 위치 그룹 정보를 복호한다. 계속해서 단계 S203에서, 보간 필터 인덱스, 보간 필터 계수를 복호한다.
계속해서 단계 S204에서, 복호에 필요한 기타 정보(예를 들면 움직임 벡터나 예측 오차 신호 등)를 모두 복호한다.
계속해서 단계 S205에서, 단계 S202에서 얻어진 보간 위치 그룹 정보로부터, 각 보간 위치에 이용하기 위한 보간 필터를 판정하여 보간 위치 그룹마다 적용하는 보간 필터를 결정한다.
계속해서 단계 S206에서, 단계 S205에서 구해진 보간 필터를 이용하여 보간 처리를 하여 예측 신호를 생성한다. 계속해서 단계 S207에서, 단계 S204에서 얻어진 예측 오차 신호와 단계 S206에서 얻어진 예측 신호를 더해 복호 신호를 생성한다.
계속해서 단계 S208에서, 복호해야 할 프레임이 모두 복호되었는지를 판정하여 모두 복호되지 않은 경우에는 단계 S201로 되돌아가 다음 프레임의 복호로 이동하고, 모두 복호된 경우에는 복호 처리를 종료한다.
이상, 휘도 신호에서의 설명을 하였으나, 본 흐름은 색차 신호에도 동일하게 적용할 수 있다.
〔소프트웨어 프로그램을 이용한 경우의 구성예〕
이상의 영상 부호화, 복호의 처리는, 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있으며 그 프로그램을 컴퓨터로 읽을 수 있는 기록매체에 기록하는 것도 가능하고, 네트워크를 통해 제공하는 것도 가능하다.
도 9는, 본 발명의 실시형태를 컴퓨터와 소프트웨어 프로그램을 이용하여 실시하는 경우의 시스템의 구성예를 도시한다.
본 시스템은, 프로그램을 실행하는 CPU(Central Processing Unit)(50)와, CPU(50)가 액세스하는 프로그램이나 데이터가 격납되는 RAM(Random Access Memory) 등의 메모리(51)와, 부호화 대상의 영상 신호 또는 복호 화상의 영상 신호를 기억하는 영상 신호 기억부(52)와, 본 발명의 실시형태에서 설명한 처리를 CPU(50)에 실행시키기 위한 프로그램이 격납된 프로그램 기억 장치(53)와, 부호화 결과의 비트 스트림 또는 복호 대상의 비트 스트림을 기억하는 부호화 스트림 기억부(54)가 버스로 접속된 구성으로 이루어져 있다.
프로그램 기억 장치(53)는, 본 발명의 실시형태를 이용하여 영상 신호를 부호화하기 위한 영상 부호화 프로그램(531), 본 발명의 실시형태를 이용하여 부호화 비트 스트림을 복호하기 위한 영상 복호 프로그램(532) 중 어느 하나를 격납하고 있다. 프로그램 기억 장치(53)는 이들 프로그램 모두를 격납해도 좋다.
또 본 시스템이 영상 부호화 장치로서 이용될 경우, 영상 부호화 프로그램(531)이 메모리(51)에 로드되고, CPU(50)는 메모리(51)에 로드된 영상 부호화 프로그램(531)의 명령을 순서대로 페치하여 실행하고, 영상 신호 기억부(52)에 격납되어 있는 영상 신호를 본 발명의 실시형태에서 설명한 수법에 의해 부호화하고, 부호화 결과의 비트 스트림을 부호화 스트림 기억부(54)에 격납한다. 또는 네트워크 어댑터 등의 인터페이스를 통해 비트 스트림을 외부 장치에 출력해도 좋다.
또 본 시스템이 영상 복호 장치로서 이용될 경우, 영상 복호 프로그램(532)이 메모리(51)에 로드되고, CPU(50)는, 메모리(51)에 로드된 영상 복호 프로그램(532)의 명령을 순서대로 페치하여 실행하고, 부호화 스트림 기억부(54)에 격납되어 있는 비트 스트림을 본 발명의 실시형태에서 설명한 수법에 의해 복호하여 복호 결과의 영상 신호를 영상 신호 기억부(52)에 격납한다. 또는 외부의 재생 장치에 복호 결과의 영상 신호를 출력한다.
이상, 본 발명의 실시형태를 도면을 참조하여 설명하였으나, 이들 실시형태는 본 발명의 예시에 불과하며 본 발명이 이들 실시형태로 한정되지 않는 것은 분명하다. 따라서 본 발명의 요지를 벗어나지 않는 범위에서 구성 요소의 추가, 생략, 치환, 기타 변경을 하도록 해도 좋다. 즉, 본 발명은 상술한 설명으로 한정되지 않으며 이하에 설명하는 청구범위의 범위로만 한정된다.
<산업상 이용 가능성>
본 발명은, 예를 들면 움직임 보상 화면 간 예측을 이용한 영상 부호화 및 영상 복호에 이용 가능하다. 본 발명에 의하면, 예측 오차 에너지의 저감에 의한 부호화 효율 개선을 달성할 수 있다.
10　영상 부호화 장치
11　보간 필터 계수 산출부
12,22 보간 필터 계수 판정부
121　보간 필터 정보 취득부
122　보간 위치 참조 확률 계산부
123　보간 대상 위치 그루핑부
124　MSE 산출부
125　최소 MSE 기억부
126　중요도 판정부
13,23　예측 신호 생성부
131,231　참조 화상 보간부
132　움직임 검출부
14　예측 부호화부
15　가변장 부호화부
16　복호부
17, 25 참조 화상 메모리
20　영상 복호 장치
21　가변장 복호부
24　예측 복호부

Claims (8)

  1. 소수 정밀도의 움직임 보상을 이용하는 영상 부호화 방법으로서,
    움직임 탐색을 하여 움직임 벡터를 취득하는 단계,
    취득한 움직임 벡터가 지시하는 소수 화소 위치의 참조 확률을 산출하는 단계,
    산출된 참조 확률로부터 소수 화소 위치인 보간 위치를 복수의 그룹으로 나누는 단계,
    상기 보간 위치의 그룹마다 복수의 보간 필터 계수의 후보 중에서 보간 예측 화상의 생성에 이용하는 보간 필터 계수를 선출하는 단계,
    상기 보간 위치의 그룹마다 선출된 보간 필터 계수를 이용하여 상기 보간 예측 화상을 생성하고, 상기 보간 예측 화상으로부터 상기 소수 정밀도의 움직임 보상에 의한 부호화를 실시하는 단계,
    상기 보간 위치의 그루핑을 나타내는 정보 및 각 보간 위치의 그룹에 대해 어느 보간 필터 계수를 이용할지를 나타내는 정보를 부호화하는 단계,
    를 가진 영상 부호화 방법.
  2. 청구항 1에 기재된 영상 부호화 방법에서,
    상기 보간 필터 계수의 선출시에는, 상기 복수의 보간 필터 계수의 후보 중에서 예측 오차 에너지가 최소가 되는 보간 필터 계수를 선출하는
    영상 부호화 방법.
  3. 청구항 1 또는 청구항 2에 기재된 영상 부호화 방법에서,
    상기 보간 필터 계수의 선출시에는, 상기 참조 확률로부터, 참조 확률이 클수록 보간 위치 그룹의 중요도가 높은 것으로 중요도를 설정하고, 설정된 중요도로부터, 중요도가 높을수록 보간 필터의 형상이 크거나, 또는 필터 길이가 길거나, 또는 비트 심도가 깊은 보간 필터 계수 또는 그 후보를 선출하는
    영상 부호화 방법.
  4. 소수 정밀도의 움직임 보상을 이용하는 영상 부호화 장치로서,
    움직임 탐색을 하여 움직임 벡터를 취득하는 움직임 벡터 취득부,
    취득한 움직임 벡터가 지시하는 소수 화소 위치의 참조 확률을 산출하는 참조 확률 산출부,
    산출된 참조 확률로부터 소수 화소 위치인 보간 위치를 복수의 그룹으로 나누는 그루핑부,
    상기 보간 위치의 그룹마다, 복수의 보간 필터 계수의 후보 중에서 보간 예측 화상의 생성에 이용하는 보간 필터 계수를 선출하는 보간 필터 계수 선출부,
    상기 보간 위치의 그룹마다, 선출된 보간 필터 계수를 이용하여 상기 보간 예측 화상을 생성하고 상기 보간 예측 화상으로부터 상기 소수 정밀도의 움직임 보상에 의한 부호화를 실시하는 제1 부호화부,
    상기 보간 위치의 그루핑을 나타내는 정보 및 각 보간 위치의 그룹에 대해 어느 보간 필터 계수를 이용할지를 나타내는 정보를 부호화하는 제2 부호화부,
    를 구비한 영상 부호화 장치.
  5. 소수 정밀도의 움직임 보상을 이용하는 영상 복호 방법으로서,
    소수 화소 위치인 보간 위치의 그루핑을 나타내는 정보 및 각 보간 위치의 그룹에서 어느 보간 필터 계수를 이용할지를 나타내는 정보를 복호하는 단계,
    상기 복호된 정보로부터, 보간 위치의 그룹마다 보간 예측 화상의 생성에 이용하는 보간 필터 계수를 결정하는 단계,
    움직임 벡터 및 예측 잔차 신호를 복호하는 단계,
    상기 결정된 보간 필터 계수에 의해 정해지는 보간 필터를 이용하여 상기 보간 예측 화상을 생성하고, 움직임 보상에서의 예측 신호를 생성하는 단계,
    복호한 예측 잔차 신호 및 생성된 예측 신호를 이용하여 복호 화상을 생성하는 단계,
    를 가진 영상 복호 방법.
  6. 소수 정밀도의 움직임 보상을 이용하는 영상 복호 장치로서,
    소수 화소 위치인 보간 위치의 그루핑을 나타내는 정보 및 각 보간 위치의 그룹에서 어느 보간 필터 계수를 이용할지를 나타내는 정보를 복호하는 제1 복호부,
    상기 복호된 정보로부터, 보간 위치의 그룹마다 보간 예측 화상의 생성에 이용하는 보간 필터 계수를 결정하는 보간 필터 계수 결정부,
    움직임 벡터 및 예측 잔차 신호를 복호하는 제2 복호부,
    상기 결정된 보간 필터 계수에 의해 정해지는 보간 필터를 이용하여 상기 보간 예측 화상을 생성하고, 움직임 보상에서의 예측 신호를 생성하는 예측 신호 생성부,
    복호된 예측 잔차 신호 및 생성된 예측 신호를 이용하여 복호 화상을 생성하는 복호 화상 생성부,
    를 구비한 영상 복호 장치.
  7. 청구항 1, 청구항 2 또는 청구항 3에 기재된 영상 부호화 방법을 컴퓨터에 실행시키기 위한 영상 부호화 프로그램.
  8. 청구항 5에 기재된 영상 복호 방법을 컴퓨터에 실행시키기 위한 영상 복호 프로그램.
KR1020137027950A 2011-06-27 2012-06-22 영상 부호화 방법, 장치, 영상 복호 방법, 장치 및 그 프로그램 KR101579106B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-141724 2011-06-27
JP2011141724A JP5649523B2 (ja) 2011-06-27 2011-06-27 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
PCT/JP2012/066010 WO2013002144A1 (ja) 2011-06-27 2012-06-22 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム

Publications (2)

Publication Number Publication Date
KR20140011482A true KR20140011482A (ko) 2014-01-28
KR101579106B1 KR101579106B1 (ko) 2015-12-21

Family

ID=47424039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137027950A KR101579106B1 (ko) 2011-06-27 2012-06-22 영상 부호화 방법, 장치, 영상 복호 방법, 장치 및 그 프로그램

Country Status (11)

Country Link
US (1) US20140112391A1 (ko)
EP (1) EP2704434B1 (ko)
JP (1) JP5649523B2 (ko)
KR (1) KR101579106B1 (ko)
CN (1) CN103583043B (ko)
BR (1) BR112013031744A2 (ko)
CA (1) CA2837063A1 (ko)
ES (1) ES2673958T3 (ko)
RU (1) RU2573747C2 (ko)
TW (1) TWI502966B (ko)
WO (1) WO2013002144A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
WO2018058622A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种帧间预测的图像编解码方法和装置
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
KR20180056313A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 텍스처를 처리하는 방법 및 장치
US10455253B1 (en) * 2017-02-28 2019-10-22 Google Llc Single direction long interpolation filter
WO2019065537A1 (ja) * 2017-09-28 2019-04-04 シャープ株式会社 動き補償フィルタ装置、画像復号装置および動画像符号化装置
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
WO2019160860A1 (en) * 2018-02-14 2019-08-22 Futurewei Technologies, Inc. Adaptive interpolation filter
CN112970259A (zh) 2018-11-05 2021-06-15 北京字节跳动网络技术有限公司 视频处理中具有细化的帧间预测
US20220295057A1 (en) * 2019-09-04 2022-09-15 Interdigital Vc Holdings France, Sas Switchable interpolation filters

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100015651A (ko) * 2007-04-19 2010-02-12 파나소닉 주식회사 이차원 적응 내삽 필터의 필터 계수 결정 방법
JP2011082725A (ja) 2009-10-06 2011-04-21 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，映像符号化装置，映像復号方法，映像復号装置，映像符号化・復号方法，およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0304545B1 (pt) * 2002-01-14 2018-07-03 Nokia Technologies Oy Método de codificação das imagens em uma seqüência de vídeo digital para fornecer os dados de vídeo codificados, codificador de vídeo, método de decodificação dos dados indicativos de uma sequência de vídeo digital, decodificador de vídeo, e, sistema de codificação de vídeo
RU2305377C2 (ru) * 2003-05-20 2007-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации
US20060133495A1 (en) * 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
US7983341B2 (en) * 2005-02-24 2011-07-19 Ericsson Television Inc. Statistical content block matching scheme for pre-processing in encoding and transcoding
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US8428135B2 (en) * 2005-11-14 2013-04-23 Fastvdo, Llc Device and method for fast sub sample block-matching motion estimation in video encoders
KR100867995B1 (ko) * 2006-01-07 2008-11-10 한국전자통신연구원 동영상 데이터 인코딩/디코딩 방법 및 그 장치
BRPI0721077A2 (pt) * 2006-12-28 2014-07-01 Nippon Telegraph & Telephone Método de codificação e método de decodificação de vídeo, aparelhos para os mesmos, programas para os mesmos, e meio de armazenamento o qual armazena os programas
US8942505B2 (en) * 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
JP4739295B2 (ja) * 2007-08-27 2011-08-03 日本電信電話株式会社 映像信号生成装置、映像信号生成方法、映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8462842B2 (en) * 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100015651A (ko) * 2007-04-19 2010-02-12 파나소닉 주식회사 이차원 적응 내삽 필터의 필터 계수 결정 방법
JP2011082725A (ja) 2009-10-06 2011-04-21 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，映像符号化装置，映像復号方法，映像復号装置，映像符号化・復号方法，およびプログラム

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1: 오오쿠보 사카에, 카쿤노 마코토야, 키쿠치 요시히로, 수추키 테루히코： "H.264/AVC 교과서 개정 3판", 인프레스, pp.119-123, 2009
비특허문헌 2: Ken McCann, Woo-Jin Han, Il-Koo Kim, Jung-Hye Min, Elena Alshina, Alexander Alshin, Tammy Lee, Jianle Chen, Vadim Seregin, Sunil Lee, Yoon-Mi Hong, Min-Su Cheon, Nikolay Shlyakhov, "Samsung's Response to the Call for Proposals on Video Compression Technology", JCTVC-A124 r2, pp.12-14, 1st JCT-VC Meeting, Dresden, Apr. 2010
비특허문헌 3: Y.Vatis, B.Edler, D.T.Nguyen, J.Ostermann: "Motion-and aliasing-compensated prediction using a two-dimensional non-separable adaptive Wiener interpolation filter", Proc. ICIP2005, IEEE International Conference on Image Processing, pp.II 894-897, Genova, Italy, Sep. 2005
비특허문헌 4: S. Wittmann, T. Wedi: "Separable adaptive interpolation filter for video coding", Proc. ICIP2008, IEEE International Conference on Image Processing, pp.2500-2503, San Diego, California, USA, Oct. 2008
비특허문헌 5: Shohei Matsuo, Yukihiro Bandoh, Seishi Takamura, Hirohisa Jozawa: "Enhanced region-based adaptive interpolation filter", Proc. PCS2010, IEEE Picture Coding Symposium, pp.526-529, Nagoya, Japan, Dec. 2010
비특허문헌 6: Faouzi Kossentini, Nader Mahdi, Hsan Guermazi, Mohammed Ali Ben Ayed: "An Adaptive Interpolation Filtering Technique", JCTVC-E284, 5th JCT-VC Meeting, Geneva, Mar. 2011

Also Published As

Publication number Publication date
EP2704434B1 (en) 2018-03-21
RU2013154584A (ru) 2015-08-10
KR101579106B1 (ko) 2015-12-21
WO2013002144A1 (ja) 2013-01-03
TW201309029A (zh) 2013-02-16
US20140112391A1 (en) 2014-04-24
JP5649523B2 (ja) 2015-01-07
EP2704434A1 (en) 2014-03-05
JP2013009240A (ja) 2013-01-10
EP2704434A4 (en) 2014-11-26
ES2673958T3 (es) 2018-06-26
BR112013031744A2 (pt) 2016-12-13
CN103583043B (zh) 2017-02-22
RU2573747C2 (ru) 2016-01-27
CN103583043A (zh) 2014-02-12
TWI502966B (zh) 2015-10-01
CA2837063A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
JP6545838B2 (ja) マージ候補ブロック誘導方法及びこのような方法を用いる装置
KR101579106B1 (ko) 영상 부호화 방법, 장치, 영상 복호 방법, 장치 및 그 프로그램
CA2755889C (en) Image processing device and method
US10298945B2 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
JP5563403B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
TWI504241B (zh) 影像編碼方法、裝置、影像解碼方法、裝置及其程式產品
KR20200005648A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US9609318B2 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
JP5762243B2 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20191205

Year of fee payment: 5