KR20050018948A - 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치 - Google Patents

비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치

Info

Publication number
KR20050018948A
KR20050018948A KR10-2005-7000145A KR20057000145A KR20050018948A KR 20050018948 A KR20050018948 A KR 20050018948A KR 20057000145 A KR20057000145 A KR 20057000145A KR 20050018948 A KR20050018948 A KR 20050018948A
Authority
KR
South Korea
Prior art keywords
interpolation filter
prediction
block
picture
type
Prior art date
Application number
KR10-2005-7000145A
Other languages
English (en)
Inventor
할라푸로안티
라이네마자니
카르제윅마르타
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Priority to KR10-2005-7000145A priority Critical patent/KR20050018948A/ko
Publication of KR20050018948A publication Critical patent/KR20050018948A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Abstract

움직임 보상 예측(642)에 기초하여 비디오 시퀀스를 부호화하기 위한 방법 및 시스템이 제공되는 데, 보간 필터(640)는 상기 비디오 시퀀스내의 화상 블록들에 대한 예측된 픽셀값들을 생성하는데 사용된다. 다중-화상 유형과 관련하여 사용되는 보간 필터는 단일-화상 유형과 관련하여 사용되는 보간 필터보다 더 적은 수의 계수들을 가지거나 더 짧다. 그 자체로, 상기 다중-화상 유형에 대한 보간 필터의 복잡성은 상기 블록의 특성, 상기 블록의 크기 및/또는 모양에 기초하여 변경될 수 있다.

Description

비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법 및 장치{Method and system for selecting interpolation filter type in video coding}
본 발명은 일반적으로 이미지 부호화에 관한 것으로 특히 디지털 이미지들의 시퀀스들의 압축을 위한 시스템에 관한 것이다.
전형적인 비디오 코덱들은 움직임 보상 예측 및 예측 오차 부호화에 기반한다. 움직임 보상 예측은 비디오 프레임들간의 움직임을 분석하고 부호화함으로써 그리고 상기 움직임 정보를 사용하여 이미지 세그먼트들을 재구성함으로써 획득된다. 예측 오차 부호화는 움직임 보상된 이미지 세그먼트들 및 원래 이미지내의 대응하는 세그먼트들간의 차이를 부호화하는데 사용된다. 예측 오차 부호화의 정확도는 부호화된 비디오의 요구되는 품질 및 이용가능한 대역폭에 따라 조정될 수 있다. 전형적인 이산 코사인 변환(DCT: Discrete Cosine Transform) 기반 시스템에서, 이것은 DCT 계수들을 양자화하는데 사용되는 양자화기 매개 변수(QP: Quantizer Parameter)를 특정 정확도로 변경함으로써 행해진다.
일반적으로 부호화 시스템들은 부호화된 신호들을 나타내기 위하여 매개 변수들의 세트를 제공한다. 상기 매개 변수들은 엔트로피 부호화되고 부호화된 신호의 복호화 및 재구성을 위해 복호기로 송신된다. 상기 엔트로피 부호기의 압축 성능을 개선하기 위하여, 상기 매개 변수들은 종종 부호기 및 복호기 양자에 이용가능한 정보로부터 예측된다. 이것을 행함으로써, 상기 엔트로피 부호기는 실제 매개 변수값들 및 예측된 값들간의 작은 변이 차이들만을 부호화할 필요가 있는데, 이것은 부호화 이득을 초래한다.
디지털 이미지는 보통 하기에 도시되는 바와 같이, N×M 어레이의 형태로 배열된 동등하게 이격된 샘플들로 표현되는데, 상기 어레이의 각 요소는 이산적인 양이다. 상기 어레이의 요소들(F(x,y))은 이미지 요소들, 화상 요소들, 픽셀들 또는 화소들(pels)로서 지칭된다. 좌표들((x,y))은 이미지내의 픽셀들의 위치를 나타내고 픽셀 값들(F(x,y))은 x 및 y의 정수값들에 대해서만 주어진다.
전형적인 비디오 부호기는 세가지 유형의 화상들을 사용한다: 인트라 화상들(I-화상들(I-pictures)), 예측 화상들(P-화상들(P-pictures)) 및 양방향 예측 또는 양-예측 화상들(B-화상들(B-pictures)). 도 1a는 I-화상 및 P-화상으로 이루어져 있는 비디오 시퀀스의 전형적인 예를 도시한 것이다. I-화상들은 I-화상내의 블록들(I-블록들)이 어떤 참조 화상들에도 의존하지 않는다는 점에서 독립적으로 복호화될 수 있다. P-화상은 P- 화상내의 블록이 I-블록 또는 하나의 참조 화상에 의존하는 P-블록일 수 있도록 이용가능한 참조 화상들에 의존할 수 있다. 도 1b는 I-화상, B-화상 및 P-화상으로 이루어져 있는 비디오 시퀀스의 전형적인 예를 도시한 것이다. B-화상은 시간적으로 선행하고 후행하는 화상들에 의존할 수 있다. B-화상내의 블록은 I-블록, P-블록 또는 2개의 참조 화상들에 의존하는 B-블록일 수 있다.
P-화상들은 상기 비디오 시퀀스내의 연속적인 프레임들간의 시간적인 중복성을 이용한다. 원본 비디오 시퀀스의 화상이 P-화상으로서 부호화되는 경우, 그것은 참조 화상이라고 불리우는, 이전에 부호화되고 전송된 프레임들(Fref) 중 하나로부터 예측되는, 직사각형 영역들(블록들)로 분할된다. 블록의 예측 정보는 2차원 움직임 벡터(Δx, Δy)로 표현되는데, Δx는 수평 변위이고 Δy는 수직 변위이다. 상기 참조 화상과 함께, 상기 움직임 벡터들은 예측 화상(Fpred)내의 샘플들을 구성하기 위하여 움직임 보상동안 사용된다:
상기 움직임 벡터들은 움직임 추정 프로세스동안 발견된다. 상기 예측 오차, 즉 상기 원본 화상과 상기 예측 화상(Fpred)간의 차이는 그것의 값들을 어떤 이산 변환의 가중된 기조 함수들(weighted basis functions)의 세트로 표현함으로써 압축된다. 상기 변환은 전형적으로 8×8 또는 4×4 블록 기반으로 수행된다. 변환 계수들인 가중치들은 후속적으로 양자화된다. 양자화는 양자화된 계수들이 원래의 것보다 더 낮은 정확도를 가지기 때문에 정보의 손실을 야기한다.
움직임 벡터들 및 어떤 제어 정보와 함께, 상기 양자화된 변환 계수들은 완전하게 부호화된 P-화상 표현을 형성한다. 이러한 상이한 형태의 정보는 집합적으로 구문(syntax) 요소들로서 알려져 있다. 부호기로부터 복호기로의 전송 이전에, 모든 구문 요소들은 그들의 표현에 필요한 비트들의 수를 더 감소시키는 엔트로피 부호화가 행해진다. 엔트로피 부호화는 그들의 분포 특성을 이용함으로써(어떤 심볼들은 다른 심볼들보다 더 자주 발생한다) 전송되거가 저장된 심볼들을 나타내는데 필요한 비트들의 수를 최소화하는 것을 목표로 하는 무손실 동작이다.
복호기에서, P-화상은 상기 부호기에서와 동일한 방식으로 상기 예측 화상을 우선 구성하고 압축된 예측 오차를 예측 화상에 가산함으로써 획득된다. 상기 압축된 예측 오차는 양자화된 변환 계수들을 사용하여 변환 기조 함수들을 가중함으로써 발견된다. 상기 재구성된 화상(Frec)과 상기 원본 화상간의 차이는 재구성 오차라고 불리운다.
움직임 벡터들((Δx, Δy))은 비-정수 값들을 가질 수 있기 때문에, 움직임 보상 예측은 비-정수 위치들((x'+y')=(x+Δx, y+Δy))에서 상기 참조 화상(Fref)의 화상 값들을 평가하는 것을 필요로 한다. 비-정수 위치에서의 화상값은 서브-픽셀 값으로 지칭되고 이러한 값을 결정하는 프로세스는 보간이라고 불리운다. 서브-픽셀 값(F(x,y))의 계산은 주위 픽셀들을 필터링함으로써 행해진다:
상기에서 f(k,l)은 필터 계수들이고 n 및 m은 각각 x' 및 y'를 절단하여 정수 값들로 획득된다. 상기 필터 계수들은 전형적으로 상기 x' 및 y' 값들에 의존한다. 사용되는 보간 필터들은 보통 분리가능한데, 이 경우 서브-픽셀값(F(x',y'))은 다음과 같이 계산될 수 있다:
B-화상들의 경우, 두개의 상이한 참조 화상들로부터 한 블록을 예측하는 것이 가능하다. 각 블록에 대해, 움직임 벡터들((Δx1, Δy1) 및 (Δx2, Δy 2))의 두 세트들(사용되는 각 참조 화상에 대해 하나씩)이 존재할 수 있다. 상기 예측은 상기 두 화상들로부터의 픽셀값들의 조합이다. 전형적으로, 상기 두 참조 화상들의 픽셀값들은 평균화된다:
비-정수 위치들에서 픽셀들의 보간은 이웃하는 픽셀값들에 대해 필터를 적용함으로써 수행된다. 보통, 더 높은 차수의 필터들은 더 나은 결과를 낳는다. 다중-화상 예측이 사용되는 경우(예를 들어 B-화상들에서), 픽셀들이 인출되는 각 화상에 대해 보간이 수행되어야 한다. 그러므로, 두 참조 화상들로부터의 예측은 단지 한 화상으로부터의 예측과 비교할 때 두배의 보간 횟수를 필요로 한다. 따라서, 다중-화상 예측의 복잡성은 단일 화상 예측의 복잡성보다 상당히 더 높다.
본 발명의 이미지 부호화 시스템에서, 움직임 보상에 사용되는 모든 움직임 정보는 H.263 및 H.264와 같은 기존의 비디오 부호화 표준들에 지정된 것과 유사하다. 예를 들어, 티. 위에간드(T. Wiegand)에 의한, 2002년 5월, ISO/IEC MPEG 및 ITU-T VCEG의 조인트 비디오 팀(JVT), Doc. VT-C167, "조인트 비디오 명세의 조인트 위원회 드래프트(CD)(ITU-T rec.H.264 ISO/IEC 14496-10 AVC)" 문서에 제시된 H.264 비디오 부호화 표준의 드래프트 버전에 의하면, 모든 P-블록들은 계수들((1, -5, 20, 20, -5, 1)/32)을 지닌 6-탭 보간 필터 및 쌍선형 필터의 조합을 사용하여 예측된다. 이제 상기 필터링 방식이 도 2와 관련하여 설명될 것이다. 도면에서, "A"로 표시된 위치들은 정수 위치들에서의 참조 화상 샘플들을 나타낸다. 다른 심볼들은 소숫점 샘플 위치들에서의 보간된 값들을 나타낸다.
H.264 비디오 부호화 표준에 의하면, 서브-픽셀값 보간은 화상의 휘도(루마) 및 색(크로마) 성분들 양자에 적용될 수 있다. 하지만, 단순화를 위하여, 휘도 성분의 서브-픽셀값들의 보간만이 여기에서 설명될 것이다. 움직임 보상 프로세스의 복잡성 및 해상도 요건에 의존하여, 휘도 성분에서의 서브-픽셀값 예측은 4분의 1 샘플 해상도 또는 8분의 1 샘플 해상도에서 수행될 수 있다. 다시, 단순화를 위하여, 단지 4분의 1 샘플 보간이 하기에 설명될 것이지만, 상기 서브-픽셀값 보간 프로세스의 정확한 상세 및 상기 보간의 해상도가 본 발명에 의한 방법의 적용성에 영향을 미치지 않는다는 것은 이해되어야 한다.
H.264에 따라 정의된 상기 4분의 1 샘플 해상도 서브-픽셀값 보간 절차에 의하면, 4분의 1 샘플 위치들에서의 예측값들은 정수 및 2분의 1 샘플 위치들에서의 샘플들을 평균화함으로써 생성된다. 각 위치에 대한 프로세스는 도 2를 참조하여 하기에 설명된다.
'bh'로 표시된 2분의 1 샘플 위치들에서의 샘플들은 수평 방향의 정수 위치들에서의 가장 근접한 샘플들 'A'에 (상기에 설명된) 6-탭 필터를 적용함으로써 중간값 b를 우선 계산함으로써 획득된다. 'bh'의 최종값은 bh = clip1((b+16)>>5)에 따라 계산되는데, 상기에서 x>>n은 n 이진 디지트들만큼 x의 2의 보수 정수 표시의 산술적인 우측 시프트를 나타내고 수학적인 함수 'clip1'은 다음과 같이 정의된다:
clip1(c) = clip3(0, 255, c)
clip3(a, b, c) = a if c < a
= b if c > b 또는
= c, 그외.
'bv'로 표시된 2분의 1 샘플 위치들에서의 샘플들은 수직 방향으로 적용된 필터를 가지고 동등하게 획득된다.
'cm'으로 표시된 2분의 1 샘플 위치들에서의 샘플들은 중간 결과 c를 형성하기 위하여 수직 또는 수평 방향의 가장 근접한 2분의 1 샘플 위치들의 중간 값들(b)에 6-탭 필터를 적용함으로써 획득된다. 최종 값은 관계
cm = clip1((c+512)>>10)를 사용하여 계산된다.
'd', 'g', 'e' 및 'f'로 표시된 4분의 1 샘플 위치들에서의 샘플들은 다음과 같이 정수 또는 2분의 1 샘플 위치들에서 두개의 가장 근접한 샘플들을 절단하여 평균화함으로써 획득된다:
d = (A+bh)>>1
g = (bv+c)>>1
e = (A+bv)>>1
f = (bh+cm)>>1 .
'h'로 표시된 4분의 1 샘플 위치들에서의 샘플들은 관계 h = (bh+bv>>1)를 사용하여 가장 근접한 'bh' 및 'bv' 샘플들을 절단하여 평균화함으로써 획득된다.
'i'로 표시된 4분의 1 샘플 위치들에서의 샘플들은 관계
i = (A1+A2+A3+A4+2)>>2를 사용하여 정수 위치들에서의 4개의 가장 근접한 샘플들을 사용하여 계산된다.
MPEG-1, MPEG-2, MPEG-3, H.263 및 H.264와 같은 기존의 비디오 부호화 표준들에서, 동일한 보간 필터가 예측 유형에 상관없이 적용된다. 이러한 방식으로 보간 필터를 적용하는 것은 항상 효과적이지 않다는 것이 알려졌다. 화상 예측의 복잡성을 감소시키는 디지털 이미지 부호화를 위한 방법 및 시스템을 제공하는 것이 유리하고 바람직하다.
도 1a는 이전의 화상 데이터로부터 예측되는 P-화상내의 2개의 P-블록들을 도시한 개략적인 표시이다.
도 1b는 2개의 참조 화상들로부터 예측되는 B-화상내의 2개의 B-블록들을 도시한 개략적인 표시이다.
도 2는 종래 기술에 의한 4분의 1 샘플 루마 보간을 위한 정수 샘플들 및 소숫점 샘플 위치들을 도시한 개략적인 표시이다.
도 3은 수평 방향에서의 서브-픽셀 값 보간을 도시한 개략적인 표시이다.
도 4는 수직 방향에서의 서브-픽셀 값 보간을 도시한 개략적인 표시이다.
도 5는 수평 방향 및 수직 방향 양 방향에서의 보간에 의한 2차원 어레이의 서브-픽셀값들의 구성에 대한 프로세스를 도시한 개략적인 표시이다.
도 6은 본 발명에 따른 필터 선택 방법을 도시한 흐름도이다.
도 7은 보간 필터들이 움직임 보상 예측의 유형에 따라 선택되는, 본 발명의 바람직한 실시예에 의한 비디오 부호기를 도시한 블록도이다.
도 8은 보간 필터들이 움직임 보상 예측의 유형에 따라 선택되는, 본 발명의 바람직한 실시예에 의한 비디오 복호기를 도시한 블록도이다.
본 발명의 제1 태양에 의하면, 다수의 화상들을 포함하는 비디오 시퀀스를 부호화하는 방법이 제공되는데, 상기 방법에서, 상기 비디오 시퀀스의 화상은 블록들로 분할되고 상기 화상의 블록은, 상기 비디오 시퀀스내의 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 단일-화상 예측 유형 및 상기 비디오 시퀀스내의 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 다중-화상 예측 유형을 적어도 포함하는, 다수의 상이한 유형의 움직임 보상 예측 중 하나를 사용하여 부호화된다. 상기 방법은 상기 블록에 대한 예측된 픽셀값들을 생성하는데 사용되는 상기 보간 필터의 복잡성이 상기 블록의 특성에 의존하는 것을 특징으로 한다.
상기 보간 필터의 복잡성은 상기 블록을 부호화하는데 사용되는 움직임 보상 예측의 유형에 의존한다.
상기 보간 필터의 복잡성은 상기 필터의 유형을 변경함으로써 변경될 수 있다.
상기 보간 필터의 복잡성은 상기 블록에 대한 예측된 픽셀값들을 생성하기 위하여 상기 다중-화상 예측 유형을 사용하는 경우 감소될 수 있다.
상기 보간 필터의 복잡성은 더 짧은 필터를 사용함으로써 상기 다중-화상 예측 유형을 사용하는 경우 또는 더 적은 수의 계수들을 갖는 필터를 사용함으로써 상기 다중-화상 예측 유형을 사용하는 경우 감소될 수 있다.
상기 보간 필터의 복잡성은 상기 블록의 크기 또는 상기 블록의 모양에 따라 변경될 수 있다.
바람직하기로는, 상기 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 상기 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터보다 더 짧다.
유리하게는, 상기 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 4-탭 필터를 포함하고 상기 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 6-탭 필터를 포함한다.
유리하게는, 상기 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 서브-픽셀값을 계산하는데 있어서 소숫점 픽셀 위치에 의존한다.
유리하게는, 상기 방법은 또한 특정 예측 유형과 관련하여 사용하기 위한 보간 필터들의 세트를 정의하는 것과 블록의 움직임 보상 예측에 사용될 상기 보간 필터들의 세트 중 특정 필터에 대한 표시를 제공하는 것을 포함한다.
본 발명의 제2 태양에 의하면, 다수의 화상들을 포함하는 비디오 시퀀스를 부호화하기 위한 부호화 시스템이 제공되는데, 상기 비디오 시퀀스의 화상은 블록들로 분할되고 상기 화상의 블록은, 상기 비디오 시퀀스내의 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 단일-화상 예측 유형 및 상기 비디오 시퀀스내의 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 다중-화상 예측 유형을 적어도 포함하는, 다수의 상이한 유형의 움직임 보상 예측 중 하나를 사용하여 부호화된다. 상기 시스템은,
상기 블록의 움직임 보상 예측 부호화에서 사용될 예측 유형을 선택하기 위한 수단; 및
상기 선택된 예측 유형에 기초하여 상기 보간 필터를 변경하기 위한 수단을 포함한다.
상기 변경 수단은 또한 상기 블록의 특성, 상기 블록의 크기 또는 상기 블록의 모양에 기초하여 상기 보간 필터를 변경한다.
본 발명의 제3 태양에 의하면, 비디오 부호화 시스템에서 사용하기 위한 움직임 보상 예측 방법이 제공되는데, 상기 비디오 부호화 시스템에서, 비디오 시퀀스는 다수의 화상들을 포함하고, 상기 비디오 시퀀스의 화상은 블록들로 분할되며 상기 화상의 블록은, 상기 비디오 시퀀스내의 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 단일-화상 예측 유형 및 상기 비디오 시퀀스내의 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 다중-화상 예측 유형을 적어도 포함하는, 다수의 상이한 유형의 움직임 보상 예측 중 하나를 사용하여 부호화된다. 상기 방법은,
상기 움직임 보상 예측의 유형들을 결정하는 단계; 및
상기 결정된 움직임 보상 예측의 유형들에 기초하여 상기 보간 필터를 변경하는 단계를 포함한다.
본 발명의 제4 태양에 의하면, 화상 블록의 움직임 보상 예측동안 사용될 보간 필터가 사용되는 움직임 보상 예측의 유형에 따라 선택되는 움직임 보상 예측 방법이 제공된다.
상기 방법은 비디오 부호기 또는 비디오 복호기에서 구현될 수 있다.
사용되는 움직임 보상의 유형이 다중-화상 예측 유형인 경우, 상기 선택된 보간 필터는 사용되는 움직임 보상 예측의 유형이 단일-화상 예측 유형인 경우 선택되는 보간 필터보다 더 적은 수의 계수들을 가지며, 상기 다중-화상 예측 유형에서 상기 화상 블록에 대한 예측은 하나보다 많은 참조 화상을 사용하여 행해지고, 상기 단일-화상 예측 유형에서 상기 화상 블록에 대한 예측은 단일 참조 화상을 사용하여 행해진다.
상기 보간 필터는 상기 화상 블록의 특성, 상기 화상 블록의 크기 또는 상기 화상 블록의 모양에 따라 선택된다.
본 발명의 제5 태양에 의하면, 사용되는 움직임 보상 예측의 유형에 따라 화상 블록의 움직임 보상 예측동안 사용될 보간 필터를 선택하기 위한 수단을 포함하는 움직임 보상 예측을 수행하기 위한 장치가 제공된다.
상기 장치는 비디오 부호기 또는 비디오 복호기에서 구현될 수 있다.
사용되는 움직임 보상의 유형이 다중-화상 예측 유형인 경우, 상기 보간 필터를 선택하기 위한 수단은 사용되는 움직임 보상 예측의 유형이 단일-화상 예측 유형인 경우 선택되는 보간 필터보다 더 적은 수의 계수들을 갖는 보간 필터를 선택하도록 동작하고, 상기 다중-화상 예측 유형에서 상기 화상 블록에 대한 예측은 하나보다 많은 참조 화상을 사용하여 행해지고, 상기 단일-화상 예측 유형에서 상기 화상 블록에 대한 예측은 단일 참조 화상을 사용하여 행해진다.
상기 보간 필터를 선택하기 위한 수단은 상기 화상 블록의 특성에 따라 보간 필터를 선택하도록 동작한다.
상기 보간 필터를 선택하기 위한 수단은 상기 화상 블록의 크기에 따라 보간 필터를 선택하도록 동작한다.
본 발명의 제6 태양에 의하면, 움직임 보상 예측을 수행하기 위한 장치를 포함하는 비디오 부호기가 제공되는데, 상기 움직임 보상 예측을 수행하기 위한 장치는 사용되는 움직임 보상 예측의 유형에 따라 화상 블록의 움직임 보상 예측동안 사용될 보간 필터를 선택하기 위한 수단을 포함한다.
본 발명의 제7 태양에 의하면, 움직임 보상 예측을 수행하기 위한 장치를 포함하는 비디오 복호기가 제공되는데, 상기 움직임 보상 예측을 수행하기 위한 장치는 사용되는 움직임 보상 예측의 유형에 따라 화상 블록의 움직임 보상 예측동안 사용될 보간 필터를 선택하기 위한 수단을 포함한다.
본 발명의 바람직한 실시예에서, 상이한 움직임 보간 필터들이 상이한 예측 유형들에 대해 사용된다. 상기 필터 유형은 블록 예측의 유형에 따라 블록 레벨로 변경된다.
특히, 본 발명은 다중-화상 예측이 사용되는 경우 더 짧은 필터를 사용한다. 이러한 접근은 움직임 보간 프로세스에서 요구되는 복잡성을 상당히 낮춘다. 동시에, 더 짧은 필터들이 적합하게 선택되는 경우, 상기 보간의 품질에 대한 영향은 두 예측들의 가중에 의해 제공되는 부가적인 필터링 효과로 인하여 무시할 수 있을 정도이다.
본 발명은 도 3 내지 도 8과 관련하여 취해지는 설명을 읽을 때 명백해질 것이다.
본 발명의 바람직한 실시예에 의하면, 보간 복잡성을 감소시키기 위하여 더 짧은 보간 필터들이 양방향으로 예측된 B-블록들에 대해 사용된다. 예를 들어, 특정 실시예에서, 상이한 소숫점 픽셀 위치들(fractional pixel positions)에 위치한 서브-픽셀들에 대한 값들을 획득하기 위하여 다음 4-탭 필터들이 사용된다:
0/4:(0,16,0,0)/16
1/4:(-2,14,5,-1)/16
2/4:(-2,10,10,-2)/16
3/4:(-1,5,14,-2)/16
이제 서브-픽셀 값들의 계산시 상기에 정의된 보간 필터들의 사용이 도 3 및 도 4를 참조하여 상세히 설명될 것이다. 두 도면들은 보간이 수행되는 이미지 블록의 일부를 나타내는 작은 어레이의 픽셀들을 도시한 것이다. 도 3은 수평 방향의 이전에 정의된 보간 필터들의 사용을 도시한 것이고, 반면에 도 4는 수직 방향의 필터들의 적용을 도시한 것이다. 두 도면들에서, 정수 픽셀 위치들에 위치하고 상기 보간 필터에 의해 사용되는 픽셀들의 값들은 도 2에 소개된 관례에 따라, 심볼 'A'로 표기된다. 더욱이, 각 픽셀에는 특정 픽셀 값에 곱해지는 보간 필터 계수를 나타내는, 수치 아래첨자가 제공된다(즉 A1, A2, A3, A4). 도 3에서, 픽셀들(A1, A2, A3 및 A4)을 포함하는 수평 로우(row)에서 보간될 서브-픽셀값들은 각각 x1/4 , x2/4 및 x3/4로 표기된다. 유사하게, 도 4에서, 픽셀들(A1, A2, A3 및 A4)을 포함하는 수직 컬럼(column)에서 보간될 서브-픽셀값들은 각각 y1/4, y2/4 및 y3/4로 표기된다.
이제 도 3을 상세히 고려하면, 서브-픽셀값 x1/4는 상기에 정의된 보간 필터(1/4)를 픽셀값들(A1, A2, A3 및 A4)에 적용함으로써 계산된다. 따라서, x1/4는 다음과 같이 주어진다:
x1/4=((-2·A1)+(14·A2)+(5·A3)+(-1·A4))/16
서브-픽셀 x2/4는 보간 필터(2/4)를 픽셀값들(A1, A2, A3 및 A4)에 적용함으로써 유사한 방식으로 계산되고, 서브-픽셀 x3/4는 보간 필터(3/4)를 하기에 표시된 바와 같이 적용함으로써 계산된다:
x2/4=((-2·A1)+(10·A2)+(10·A3)+(-2·A4))/16
x3/4=((-1·A1)+(5·A2)+(14·A3)+(-2·A4))/16
이제 도 4를 참조하면, 수직 방향의 서브-픽셀 값 보간은 수평 방향과 관련하여 방금 설명된 것과 정확하게 유사한 방식으로 수행된다. 따라서, 서브-픽셀 값들(y1/4, y2/4 및 y3/4)은 도 4에 정의된 바와 같이 정수 위치 픽셀 값들(A 1, A2, A3 및 A4)에 적용되는 각각의 보간 필터들(1/4), (2/4) 및 (3/4)을 사용하여 계산된다. 특히, 그러면:
y1/4=((-2·A1)+(14·A2)+(5·A3)+(-1·A4))/16
y2/4=((-2·A1)+(10·A2)+(10·A3)+(-2·A4))/16
y3/4=((-1·A1)+(5·A2)+(14·A3)+(-2·A4))/16
보간 필터 (0/4)는 완성을 위해 보간 필터들의 세트에 포함되고 그것은 정수 위치에서의 픽셀과 일치하고 동일한 값을 갖는 서브-픽셀 값의 계산을 나타내므로 순전히 개념적이다. 다른 4-탭 보간 필터들 (1/4), (2/4) 및 (3/4)의 계수들은 서브-픽셀 값들의 최선으로 가능한 주관적인 보간을 제공하기 위하여, 예를 들어 경험적으로 선택된다. (도 5에서 단계 1 및 단계 2로 나타낸 바와 같이) 수평 방향으로 서브-픽셀 값들의 로우들(rows)을 우선 보간한 후 수직 방향으로 컬럼별로 보간함으로써(도 5의 단계 3), 정수 위치 픽셀들간의 각 서브-픽셀 위치에 대한 값이 획득될 수 있다.
도 6은 본 발명의 바람직한 실시예에 의한, 서브-픽셀 값 예측 방법을 도시한 흐름도이다. 도 6의 흐름도(600)에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따라 구현된 비디오 부호기가 부호화하기 위한 비디오 화상의 블록을 수신하는 경우(단계 610), 상기 비디오 부호기는 단계 620에서 상기 블록의 부호화시 사용될 예측 유형을 결정한다. 상기 부호기가 블록이 움직임 보상 예측이 사용되지 않는 I-블록으로서 부호화될 것이라고 결정하는 경우, 상기 블록은 인트라 포맷으로 부호화된다(단계 630).
상기 블록이 P-블록으로서 부호화될 경우, 상기 블록은 단일 참조 화상(즉 상기 비디오 시퀀스에서 이전에 부호화된 화상)에 관해 움직임 보상 예측을 사용하여 부호화된다. 상기 비디오 부호기는 상기 움직임 보상 프로세스동안 요구되는 어떤 서브-픽셀 값들의 계산시 사용될 제1 보간 필터를 선택하고(단계 640) 그다음 선택된 (제1) 보간 필터를 사용하여 요구되는 바와 같은 어떤 서브-픽셀 값들도 계산하는, 상기 참조 화상을 사용하여 상기 블록에 대한 예측을 행한다(단계 642). 상기 비디오 부호기가 ITU-T 비디오 부호화 권고 H.264에 따라 구현되는 경우, 예를 들어 서브-픽셀 값들이 P-블록들에 대해 결정되는 프로세스는 유리하게는 상기 H.264 표준에서 제안된 것과 동일하다.
상기 블록이 두개의 참조 화상들로부터 양방향 예측을 사용하여 B-블록으로서 부호화될 경우, 상기 비디오 부호기는 서브-픽셀 값들의 계산시 사용될, 상기 제1 필터와 상이한, 제2 보간 필터를 선택한다(단계 650). 본 발명의 바람직한 실시예에서, 상기 제2 필터는 상기 제1 필터의 길이(계수들의 수)보다 작은 길이(계수들의 수)를 갖는다. 상기 양방향으로 예측된 B-블록을 부호화하는 경우, 상기 비디오 부호기는 상기 참조 화상들 각각으로부터 하나씩, 상기 블록에 대한 두개의 개별 예측값들을 형성하고(단계 652 및 단계 654), 요구되는 바와 같은 서브-픽셀값들을 계산하기 위하여 상기 제2 보간 필터를 사용한다. 그다음 그것은 상기 두 예측값들의 평균을 형성하고 이것을 상기 블록에 대한 최종 예측으로서 사용한다(단계 656). 상기 제2 보간 필터는 상기 제1 보간 필터의 계수들의 수보다 작은 수의 계수들을 갖기 때문에, 양방향 B-블록 예측에서 서브-픽셀값들을 생성하기 위하여 상기 제2 보간 필터를 사용하는 것은 상기 제1 보간 필터가 사용되는 경우의 복잡성과 비교할 때 상기 보간 프로세스의 복잡성을 상당히 감소시킨다. 특히, 예를 들어 상기 제1 보간 필터가 6-탭 필터이고(즉 6개의 계수들을 가지고) 상기 제2 보간 필터가 4-탭 필터를 가지는 (4개의 계수들을 가지는) 경우, 양방향 B-블록 보간은 6×6 어레이의 픽셀들에 대해 수행되는 두 필터링 동작들 대신에 4×4 어레이의 픽셀들에 대한 두 필터링 동작들(형성되는 각 예측에 대해 하나씩)을 포함한다. 두 4×4 필터링 동작들이 두 6×6 필터링 동작들 대신에 발생하기 때문에, 상기 B-화상 부호화의 복잡성은 보간 정확성이 단지 최소한으로 영향을 받으면서 상당히 감소된다.
도 7은 본 발명에 의한, 보간 필터 유형을 선택하는 방법을 수행할 수 있는 비디오 부호기를 도시한 블록도이다. 도면에 도시된 바와 같이, 부호기(700)는 형성부(710), 감산기(714), 제어부(720), 예측 유형 선택부(730), 보간 필터 선택부(750) 및 예측부(740)를 포함한다.
형성부(710)는 부호화될 비디오 화상의 시퀀스를 포함하는 비디오 입력 신호를 수신하고 각 수신된 화상을 블록들로 분할하는데, 각 블록은 소정의 크기 및 모양을 지닌다.
제어부(720)는 각 블록에 대한 최적 예측 유형을 결정하도록 동작한다. 예측 유형의 선택이 다수의 상이한 방법들로 수행될 수 있을지라도, 본 발명의 실시예에 의하면, 제어부(720)는 차례로 각 이용가능한 예측 유형을 검사하도록 되어 있고 주어진 예측 유형을 사용함으로써 야기되는 이미지 왜곡 정도 및 상기 예측 유형을 사용하여 블록을 부호화하는데 필요한 정보의 양 양자를 고려하는 척도에 기초하여 특정 블록에 대해 선택될 예측 유형에 대해 결정을 하도록 되어 있다. 이러한 유형의 척도는 일반적으로 "비용 함수"로서 지칭된다. 본 발명의 대안적인 실시예들에서 균등한 척도들이 사용될 수 있다.
여기에서 고려되는 본 발명의 실시예에서, 상기 이용가능한 예측 유형들은 (a) 예측하지 않음, 이 경우 상기 이미지 블록은 인트라 포맷으로 부호화된다, (b) P-블록 예측, 상기 블록에 대한 예측은 단일 참조 프레임을 사용하여 행해진다, 그리고 (c) B-블록 예측, 이 경우 2개의 참조 프레임들로부터의 양방향 예측이 사용된다. 제어부(720)는 예측 유형 선택부(720)에게 상기 부호기를 특정 부호화 모드(I-블록, P-블록 또는 B-블록)로 설정하도록 명령함으로써 차례로 각 예측 유형을 선택한다. 제어부(720)는 각 예측 유형을 사용하여 생기는 비용 함수의 값을 계산하고 최저 비용 함수를 야기하는 부호화 모드(I, P 또는 B)에 따라 상기 블록의 예측시 사용될 관련된 예측 필터 유형 및 상기 블록에 대한 선택된 예측 유형을 선택한다.
이제 특정 블록에 대한 다양한 예측들의 형성 및 상기 선택된 예측 유형의 선택이 더 상세히 설명될 것이다. 3가지의 이용가능한 예측 유형들이 존재하는, 여기에서 설명된 본 발명의 실시예에서, 제어부(720)는 우선 예측 유형 선택부(730)에게 상기 비디오 부호기를 P-블록 부호화 모드로 설정하도록 명령하는데, 상기 P-블록 부호화 모드에서 상기 블록에 대한 예측값은 단일 참조 프레임을 사용하여 형성된다. 예측 유형 선택부(730)는 차례로 보간 필터 선택부(750)에게 상기 P-블록 예측 프로세스동안 서브-픽셀 값들을 계산하기 위한 보간 필터를 선택하도록 명령한다. 그다음 상기 블록에 대한 예측값이 선택된 예측 유형 및 보간 필터를 사용하여 예측부(740)에서 형성된다. 다음, 예측 오차의 크기가 감산기(714)에서 형성된다. 이것은 방금 형성된 상기 블록에 대한 예측값을 형성부(710)로부터 입력된 상기 블록에 대한 이미지 데이터와 비교함으로써 행해진다. 제어부(720)는 감산기(714)로부터 예측 오차의 크기를 수신하고 현재 선택된 예측 유형(P-블록 예측)을 사용하여 생기는 비용 함수 값을 계산한다. 이전에 설명된 바와 같이, 상기 비용 함수는 상기 예측 오차의 크기 및 상기 블록에 대한 예측값과 상기 예측 오차를 나타내는데 필요한 데이터의 양(즉 대응하는 비디오 복호기에서 상기 블록을 재구성하는데 필요한 정보를 전송하는데 필요한 실제 데이터의 양)을 고려한다. 그다음 제어부(720)는 상기 비디오 부호기의 메모리(도 7에 도시되지 않음)에 상기 비용 함수 값을 저장한다.
그다음 제어부(720)는 예측 유형 선택부(730)에게 상기 비디오 부호기를 B-블록 모드로 설정하도록 명령한다. 이 모드에서, 상기 블록에 대한 예측값은 2개의 참조 프레임들로부터의 양방향 예측을 사용하여 형성된다. 예측 유형 선택부(730)는 보간 필터 선택부(750)에게 상기 B-블록 예측 프로세스 동안 사용하기 위한 보간 필터를 선택하도록 명령하고 예측부(740)는 상기 선택된 예측 유형 및 보간 필터를 사용하여 상기 블록에 대한 예측값을 형성한다. 유리하게는, 본 발명에 의하면, B-블록 부호화 모드에서 선택된 상기 보간 필터는 P-블록 예측에서 사용하기 위해 선택된 것과 상이하다. 특히, B-블록 예측을 위해 선택된 보간 필터는 P-블록 예측에서 사용된 보간 필터보다 더 적은 수의 계수들을 갖는다. 일단 상기 블록에 대한 예측값이 예측부(740)에서 생성되면, 감산기(714)에 의해 예측 오차가 형성되어 제어부(720)로 전달되는데 제어부(720)에서 대응하는 비용 함수값이 계산되어 상기 비디오 부호기의 메모리에 저장된다.
마지막으로, 제어부(720)는 예측 유형 선택부(730)에게 상기 비디오 부호기를 I-블록(인트라) 부호화 모드로 설정하도록 명령한다. 이 모드에서, 아무런 예측도 사용되지 않으므로 아무런 보간 필터도 필요하지 않다. 예측 유형 선택부(730)는 보간 필터 선택부(750)에게 적합하게 명령하고 상기 비디오 부호기는 인트라 포맷으로 상기 블록을 부호화한다. 그다음 제어부(720)는 대응하는 비용 함수 값을 계산하고 그것을 상기 비디오 부호기의 메모리에 저장한다.
이 시점에서 제어부(720)는 상기 메모리에 저장된 3개의 비용 함수 값들을 검사하고 최소 비용 함수 값을 야기하는 예측 유형에 따라 상기 블록에 대해 선택된 부호화 모드를 선택한다. 이 선택에 기초하여, 제어부(720)는 선택된 예측 유형을 출력한다. 본 발명의 바람직한 실시예에서, 선택된 보간 필터의 표시를 제공하는 것은 필요하지 않는데 이것은 예측 유형의 선택에 의해 명시적으로 결정되기 때문이다. 즉, 특정 블록을 나타내는 부호화된 정보를 수신하는 경우, 본 발명에 따라 구현된 비디오 복호기는 상기 블록의 예측 유형을 복호화할 수 있고 결정할 수 있어서 상기 복호기에서의 움직임 보상 예측 동안 사용될 보간을 직접 추측한다. 본 발명의 대안적인 실시예에서, 사용될 보간 필터에 대한 특정 표시가 제어부(720)에 의해 제공될 수 있고 상기 블록을 나타내는 부호화된 정보에 포함될 수 있다.
도 8은 본 발명의 바람직한 실시예에 따라 구현된 비디오 복호기(800)를 도시한 도면이다. 도면에서 볼 수 있는 바와 같이, 상기 복호기는 역다중화부(810), 예측 오차 복호화부(820), 움직임 보상 예측부(830), 보간 필터 선택부(840), 제어부(850), 가산기(860) 및 비디오 출력(870)을 포함한다. 상기 복호기는 이전에 설명된 비디오 부호기(700)에 의해 생성된 부호화된 비디오 비트-스트림을 수신하고 복호화하도록 되어 있다.
특히, 상기 부호화된 비트-스트림은 부호화된 움직임 정보, 예측 오차 정보 및 부호화된 블록들에 관한 제어 정보를 포함한다. 상기 부호화된 비디오 비트-스트림은 역다중화부(810)에 의해 수신되고 그것의 구성 부분들로 분할된다. 주어진 블록을 부호화하기 위하여 상기 부호기에서 사용되는 움직임 보상 예측의 유형에 관한 제어 정보는 역다중화부(810)에 의해 상기 비트-스트림으로부터 추출되어 제어부(850)로 전달된다. 상기 블록에 속한 어떤 움직임 정보도 움직임 보상 예측부(830)로 전달되고 관련된 예측 오차 정보는 예측 오차 복호화부(820)로 전송된다.
상기 제어 정보에 기초하여, 제어부(850)가 당해 블록이 I-블록으로서, 즉 움직임 보상 예측을 사용하지 않고 부호화되었다고 결정하는 경우, 제어부는 비디오 복호기(800)를 인트라 복호화 모드로 전환시킨 후 그에 따라 상기 블록을 복호화한다. 다른 한편으로, 상기 제어 정보가 상기 블록이 P-블록 또는 양방향 B-블록으로서 부호화되었다고 나타내는 경우, 제어부(850)는 보간 필터 선택부(840)에게 움직임 보상 예측의 유형에 적합한 보간 필터를 선택하도록 명령한 후 움직임 보상 예측부(830)로 하여금 역다중화부(810)에 의해 상기 비디오 비트-스트림으로부터 추출된 대응하는 움직임 정보를 사용하여 상기 블록을 복호화하게 한다. 상기 블록의 복호화동안, 움직임 보상 예측부(830)는 선택된 보간 필터를 사용하여 요구되는 바와 같은 서브-픽셀값들을 구성하는, 하나 이상의 참조 프레임들(P-블록의 경우 한개의 참조 프레임, 양방향 B-블록의 경우 두개의 참조 프레임들)을 사용하여 상기 블록에 대한 예측값(예측된 픽셀값들)을 형성한다. 그다음 상기 블록에 대한 예측된 픽셀값들이 가산기(860)로 전달되는데, 상기 가산기에서는 픽셀값들의 완전하게 재구성된 블록을 형성하기 위하여 예측된 픽셀값들이 예측 오차 복호화부(820)에 의해 형성된 복호화된 예측 오차 정보와 결합된다.
구현 대안들
본 발명은 다양한 방법들로 구현될 수 있다.
상이한 보간 필터들이 상기에 설명된 보간 필터들 대신에 선택될 수 있다. 즉 상이한 길이들 및/또는 필터 계수값들이 사용될 수 있다.
블록의 예측 모드에 부가하여, 상기 보간 필터는 또한 블록의 다른 특성들(즉, 크기, 모양 또는 휘도 정보)에 의존할 수 있다. 예를 들어, 본 발명의 대안적인 일 실시예에서, 6-탭 필터는 8×8 픽셀들의 크기를 갖는 블록들에 대해 사용되고 4-탭 필터는 4×4 픽셀들의 크기를 갖는 블록들에 대해 사용된다. 다른 대안적인 실시예에서, 정방형 블록 대신에 직사각형 블록(예를 들어 수평 방향으로 8 픽셀들 및 수직 방향으로 4 픽셀들)이 사용되는데, 수평 방향의 서브-픽셀 값들의 보간을 위해 더 긴 필터(예를 들어 6-탭 필터)가 사용되고 수직 방향의 서브-픽셀값들의 보간을 위해 더 짧은 필터(예를 들어 4-탭 필터)가 사용된다. 다른 대안적인 실시예들에서, 이미지 정보의 휘도 및 색 성분들에 대해 상이한 보간 필터들이 사용될 수 있다. 인간의 시각 체계는 이미지의 휘도 및 색 성분들에 상이한 민감도를 가지므로(인간의 시각 체계는 색 정보의 공간적인 변동에 덜 민감하다), 어떤 상황에서 휘도 및 색 성분들에 대해 동작하도록 상이한 유형의 보간 필터를 사용하는 것이 적합할 수 있다.
상기 블록 모드 또는 상기 블록의 다른 특성들은 상기 필터를 명시적으로 정의할 필요는 없지만, 상기 정보는 필터들의 세트들을 정의하는데 사용될 수 있고, 가장 적합한 필터가 다른 수단에 의해 (예를 들어 선택 정보를 송신함으로써) 식별될 수 있다. 본 발명의 바람직한 실시예에 의한 비디오 부호기의 설명과 관련하여 상기에 언급된 바와 같이, 이용가능한 예측 유형당 하나의 보간 필터가 제공되는 경우, 특정 예측 유형의 선택은 주어진 보간 필터의 사용을 암시한다. 하지만, 하나보다 많은 보간 필터가 각 예측 유형에 대해 정의되는 본 발명의 다른 실시예들에서, 보간 필터의 선택에 관한 정보가 상기 비디오 비트-스트림에 부호화되어 제공되고 복호기가 상기 복호기에서의 움직임 보상 예측에서 사용하기 위하여 정확한 보간 필터를 선택할 수 있게 하기 위하여 대응하는 복호기로 송신된다.
본 발명은 화상 블록의 예측에 사용되는 어떤 수의 참조 프레임들에 적용될 수 있다. 이론적으로, 사용될 수 있는 참조 프레임들의 수에 대한 어떤 제한도 본질적으로 존재하지 않는다는 것은 주목되어야 한다. 명백하게, 어떤 실제적인/합리적인 제한이 존재해야 한다.
본 발명은 화상 블록의 예측에 사용되는 2개 이상의 참조 프레임들의 어떤 조합에도 적용될 수 있다.
따라서, 본 발명이 본 발명의 바람직한 실시예에 관해 설명되었을지라도, 본 발명의 형태 및 상세에서의 상기한 변경과 다양한 다른 변경들, 생략들 및 변형들이 본 발명의 범위를 벗어나지 않고 행해질 수 있다는 것은 당업자에 의해 이해될 것이다.

Claims (38)

  1. 다수의 화상들을 포함하는 비디오 시퀀스를 부호화하는 방법으로서, 상기 비디오 시퀀스의 화상은 블록들로 분할되고 상기 화상의 블록은, 상기 비디오 시퀀스내의 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 단일-화상 예측 유형 및 상기 비디오 시퀀스내의 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 다중-화상 예측 유형을 적어도 포함하는, 다수의 상이한 유형의 움직임 보상 예측 중 하나를 사용하여 부호화되며, 상기 블록에 대한 예측된 픽셀값들을 생성하는데 사용되는 상기 보간 필터의 복잡성은 상기 블록의 특성에 의존하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 보간 필터의 복잡성은 상기 블록을 부호화하는데 사용되는 움직임 보상 예측의 유형에 의존하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 보간 필터의 복잡성은 상기 필터의 유형을 변경함으로써 변경되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 보간 필터의 복잡성은 상기 블록에 대한 예측된 픽셀값들을 생성하기 위하여 상기 다중-화상 예측 유형을 사용하는 경우 감소되는 것을 특징으로 하는 방법.
  5. 제3항에 있어서, 상기 보간 필터의 복잡성은 더 짧은 필터를 사용함으로써 상기 다중-화상 예측 유형을 사용하는 경우 감소되는 것을 특징으로 하는 방법.
  6. 제3항에 있어서, 상기 보간 필터의 복잡성은 더 적은 수의 계수들을 사용함으로써 상기 다중-화상 예측 유형을 사용하는 경우 감소되는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 보간 필터의 복잡성은 상기 블록의 크기에 따라 변경되는 것을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 보간 필터의 복잡성은 상기 블록의 모양에 따라 변경되는 것을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 상기 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터보다 더 짧은 것을 특징으로 하는 방법.
  10. 제1항에 있어서, 상기 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 4-탭 필터를 포함하고 상기 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 6-탭 필터를 포함하는 것을 특징으로 하는 방법.
  11. 제1항에 있어서, 상기 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 서브-픽셀값을 계산하는데 있어서 소숫점 픽셀 위치에 의존하는 것을 특징으로 하는 방법.
  12. 제1항에 있어서, 특정 예측 유형과 관련하여 사용하기 위한 보간 필터들의 세트를 정의하는 것을 포함하는 것을 특징으로 하는 방법.
  13. 제12항에 있어서, 블록의 움직임 보상 예측에 사용될 상기 보간 필터들의 세트 중 특정 필터에 대한 표시를 제공하는 것을 포함하는 것을 특징으로 하는 방법.
  14. 다수의 화상들을 포함하는 비디오 시퀀스를 부호화하기 위한 부호화 시스템으로서, 상기 비디오 시퀀스의 화상은 블록들로 분할되고 상기 화상의 블록은, 상기 비디오 시퀀스내의 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 단일-화상 예측 유형 및 상기 비디오 시퀀스내의 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 다중-화상 예측 유형을 적어도 포함하는, 다수의 상이한 유형의 움직임 보상 예측 중 하나를 사용하여 부호화되는 부호화 시스템에 있어서,
    상기 블록의 움직임 보상 예측 부호화에서 사용될 예측 유형을 선택하기 위한 수단; 및
    상기 선택된 예측 유형에 기초하여 상기 보간 필터를 변경하기 위한 수단을 포함하는 것을 특징으로 하는 부호화 시스템.
  15. 제14항에 있어서, 상기 변경 수단은 또한 상기 블록의 특성에 기초하여 상기 보간 필터를 변경하는 것을 특징으로 하는 부호화 시스템.
  16. 제14항에 있어서, 상기 변경 수단은 또한 상기 블록의 크기에 기초하여 상기 보간 필터를 변경하는 것을 특징으로 하는 부호화 시스템.
  17. 제14항에 있어서, 상기 변경 수단은 또한 상기 블록의 모양에 기초하여 상기 보간 필터를 변경하는 것을 특징으로 하는 부호화 시스템.
  18. 제14항에 있어서, 상기 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 상기 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터보다 더 짧은 것을 특징으로 하는 부호화 시스템.
  19. 제14항에 있어서, 상기 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 상기 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터보다 더 적은 수의 계수들을 갖는 것을 특징으로 하는 방법.
  20. 제14항에 있어서, 상기 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 4-탭 필터를 포함하고 상기 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 6-탭 필터를 포함하는 것을 특징으로 하는 부호화 시스템.
  21. 제14항에 있어서, 상기 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터는 서브-픽셀값을 계산하는데 있어서 소숫점 픽셀 위치에 의존하는 것을 특징으로 하는 부호화 시스템.
  22. 비디오 부호화 시스템에서 사용하기 위한 움직임 보상 예측 방법으로서, 상기 비디오 부호화 시스템에서 비디오 시퀀스는 다수의 화상들을 포함하고, 상기 비디오 시퀀스의 화상은 블록들로 분할되며 상기 화상의 블록은, 상기 비디오 시퀀스내의 단일 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 단일-화상 예측 유형 및 상기 비디오 시퀀스내의 하나보다 많은 참조 화상의 픽셀값들에 대해 동작하는 보간 필터를 사용함으로써 상기 블록에 대한 예측된 픽셀값들을 생성하도록 움직임 보상 예측을 사용하는 다중-화상 예측 유형을 적어도 포함하는, 다수의 상이한 유형의 움직임 보상 예측 중 하나를 사용하여 부호화되는 움직임 보상 예측 방법에 있어서,
    상기 움직임 보상 예측의 유형들을 결정하는 단계; 및
    상기 결정된 움직임 보상 예측의 유형들에 기초하여 상기 보간 필터를 변경하는 단계를 포함하는 것을 특징으로 하는 움직임 보상 예측 방법.
  23. 화상 블록의 움직임 보상 예측동안 사용될 보간 필터가 사용되는 움직임 보상 예측의 유형에 따라 선택되는 것을 특징으로 하는 움직임 보상 예측 방법.
  24. 제23항에 있어서, 비디오 부호기에서 구현되는 것을 특징으로 하는 움직임 보상 예측 방법.
  25. 제23항에 있어서, 비디오 복호기에서 구현되는 것을 특징으로 하는 움직임 보상 예측 방법.
  26. 제23항에 있어서, 사용되는 움직임 보상의 유형이 다중-화상 예측 유형인 경우, 상기 선택된 보간 필터는 사용되는 움직임 보상 예측의 유형이 단일-화상 예측 유형인 경우 선택되는 보간 필터보다 더 적은 수의 계수들을 가지며, 상기 다중-화상 예측 유형에서 상기 화상 블록에 대한 예측은 하나보다 많은 참조 화상을 사용하여 행해지고, 상기 단일-화상 예측 유형에서 상기 화상 블록에 대한 예측은 단일 참조 화상을 사용하여 행해지는 것을 특징으로 하는 움직임 보상 예측 방법.
  27. 제23항에 있어서, 상기 보간 필터는 상기 화상 블록의 특성에 따라 선택되는 것을 특징으로 하는 움직임 보상 예측 방법.
  28. 제23항에 있어서, 상기 보간 필터는 상기 화상 블록의 크기에 따라 선택되는 것을 특징으로 하는 움직임 보상 예측 방법.
  29. 제23항에 있어서, 상기 보간 필터는 상기 화상 블록의 모양에 따라 선택되는 것을 특징으로 하는 움직임 보상 예측 방법.
  30. 제23항에 있어서, 상기 보간 필터를 선택하기 위한 수단은 상기 화상 블록의 크기에 따라 보간 필터를 선택하도록 동작하는 것을 특징으로 하는 움직임 보상 예측 방법.
  31. 사용되는 움직임 보상 예측의 유형에 따라 화상 블록의 움직임 보상 예측동안 사용될 보간 필터를 선택하기 위한 수단을 포함하는 움직임 보상 예측을 수행하기 위한 장치.
  32. 제31항에 있어서, 비디오 부호기에서 구현되는 것을 특징으로 하는 장치.
  33. 제31항에 있어서, 비디오 복호기에서 구현되는 것을 특징으로 하는 장치.
  34. 제31항에 있어서, 사용되는 움직임 보상의 유형이 다중-화상 예측 유형인 경우, 상기 보간 필터를 선택하기 위한 수단은 사용되는 움직임 보상 예측의 유형이 단일-화상 예측 유형인 경우 선택되는 보간 필터보다 더 적은 수의 계수들을 갖는 보간 필터를 선택하도록 동작하고, 상기 다중-화상 예측 유형에서 상기 화상 블록에 대한 예측은 하나보다 많은 참조 화상을 사용하여 행해지고, 상기 단일-화상 예측 유형에서 상기 화상 블록에 대한 예측은 단일 참조 화상을 사용하여 행해지는 것을 특징으로 하는 장치.
  35. 제31항에 있어서, 상기 보간 필터를 선택하기 위한 수단은 상기 화상 블록의 특성에 따라 보간 필터를 선택하도록 동작하는 것을 특징으로 하는 장치.
  36. 제31항에 있어서, 상기 보간 필터를 선택하기 위한 수단은 상기 화상 블록의 크기에 따라 보간 필터를 선택하도록 동작하는 것을 특징으로 하는 장치.
  37. 움직임 보상 예측을 수행하기 위한 장치를 포함하는 비디오 부호기에 있어서, 상기 움직임 보상 예측을 수행하기 위한 장치는 사용되는 움직임 보상 예측의 유형에 따라 화상 블록의 움직임 보상 예측동안 사용될 보간 필터를 선택하기 위한 수단을 포함하는 것을 특징으로 하는 비디오 부호기.
  38. 움직임 보상 예측을 수행하기 위한 장치를 포함하는 비디오 복호기에 있어서, 상기 움직임 보상 예측을 수행하기 위한 장치는 사용되는 움직임 보상 예측의 유형에 따라 화상 블록의 움직임 보상 예측동안 사용될 보간 필터를 선택하기 위한 수단을 포함하는 것을 특징으로 하는 비디오 복호기.
KR10-2005-7000145A 2002-07-09 2003-07-09 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치 KR20050018948A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2005-7000145A KR20050018948A (ko) 2002-07-09 2003-07-09 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US60/395,111 2002-07-09
KR10-2005-7000145A KR20050018948A (ko) 2002-07-09 2003-07-09 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치

Publications (1)

Publication Number Publication Date
KR20050018948A true KR20050018948A (ko) 2005-02-28

Family

ID=41783849

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2005-7000145A KR20050018948A (ko) 2002-07-09 2003-07-09 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치

Country Status (1)

Country Link
KR (1) KR20050018948A (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100835662B1 (ko) * 2006-12-04 2008-06-09 부산대학교 산학협력단 필터 예측 기능을 가지는 움직임 보상 예측 장치 및 이를이용한 동영상 압축 장치 및 방법
KR100878536B1 (ko) * 2006-11-08 2009-01-13 삼성전자주식회사 영상 보간 방법 및 장치
WO2010087620A2 (ko) * 2009-01-28 2010-08-05 삼성전자 주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
KR20120005991A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 영상 보간 방법 및 장치
WO2011142644A3 (ko) * 2010-05-14 2012-03-08 삼성전자 주식회사 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치
WO2013069932A1 (ko) * 2011-11-08 2013-05-16 주식회사 케이티 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
US8462842B2 (en) 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US8804831B2 (en) 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US8971412B2 (en) 2008-04-10 2015-03-03 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
KR20150039591A (ko) * 2009-06-17 2015-04-10 주식회사 아리스케일 복수의 보간 필터링 방법 및 이를 적용한 부호화 장치
US9077971B2 (en) 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100878536B1 (ko) * 2006-11-08 2009-01-13 삼성전자주식회사 영상 보간 방법 및 장치
KR100835662B1 (ko) * 2006-12-04 2008-06-09 부산대학교 산학협력단 필터 예측 기능을 가지는 움직임 보상 예측 장치 및 이를이용한 동영상 압축 장치 및 방법
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US11683519B2 (en) 2008-04-10 2023-06-20 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US10440388B2 (en) 2008-04-10 2019-10-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8462842B2 (en) 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8971412B2 (en) 2008-04-10 2015-03-03 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8804831B2 (en) 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US9077971B2 (en) 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
WO2010087620A3 (ko) * 2009-01-28 2010-10-21 삼성전자 주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
US8897360B2 (en) 2009-01-28 2014-11-25 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding images by adaptively using an interpolation filter
WO2010087620A2 (ko) * 2009-01-28 2010-08-05 삼성전자 주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
KR20150039591A (ko) * 2009-06-17 2015-04-10 주식회사 아리스케일 복수의 보간 필터링 방법 및 이를 적용한 부호화 장치
KR20210070969A (ko) * 2009-06-17 2021-06-15 아이디어허브 주식회사 복수의 보간 필터링 방법 및 이를 적용한 부호화 장치
KR20180125431A (ko) * 2009-06-17 2018-11-23 주식회사 아리스케일 복수의 보간 필터링 방법 및 이를 적용한 부호화 장치
WO2011142644A3 (ko) * 2010-05-14 2012-03-08 삼성전자 주식회사 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치
WO2012005558A3 (ko) * 2010-07-09 2012-05-03 삼성전자 주식회사 영상 보간 방법 및 장치
KR20120005991A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 영상 보간 방법 및 장치
US9317896B2 (en) 2010-07-09 2016-04-19 Samsung Electronics Co., Ltd. Image interpolation method and apparatus
US9432683B2 (en) 2011-11-08 2016-08-30 Kt Corporation Method and apparatus for encoding image, and method and apparatus for decoding image
US9554140B1 (en) 2011-11-08 2017-01-24 Kt Corporation Method and apparatus for encoding image, and method and apparatus for decoding image
US9578338B1 (en) 2011-11-08 2017-02-21 Kt Corporation Method and apparatus for encoding image, and method and apparatus for decoding image
US9729893B2 (en) 2011-11-08 2017-08-08 Kt Corporation Method and apparatus for encoding image, and method and apparatus for decoding image
US9497477B1 (en) 2011-11-08 2016-11-15 Kt Corporation Method and apparatus for encoding image, and method and apparatus for decoding image
GB2510759B (en) * 2011-11-08 2018-09-12 Kt Corp Method and apparatus for encoding image, and method and apparatus for decoding image
US9432684B2 (en) 2011-11-08 2016-08-30 Kt Corporation Method and apparatus for encoding image, and method and apparatus for decoding image
KR20140139454A (ko) * 2011-11-08 2014-12-05 주식회사 케이티 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2013069932A1 (ko) * 2011-11-08 2013-05-16 주식회사 케이티 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
GB2510759A (en) * 2011-11-08 2014-08-13 Kt Corp Method and apparatus for encoding image, and method and apparatus for decoding image

Similar Documents

Publication Publication Date Title
EP1530829B1 (en) Method and apparatus for selecting interpolation filter type in video coding
US10931946B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
KR101641474B1 (ko) 부호화 장치 및 방법
US8325805B2 (en) Video encoding/decoding apparatus and method for color image
CA2452632C (en) Method for sub-pixel value interpolation
WO2008020687A1 (en) Image encoding/decoding method and apparatus
KR20050018948A (ko) 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치
KR101700410B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR100568649B1 (ko) 동화상복호화장치및동화상복호화방법
KR102111437B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
AU2017204660A1 (en) Image processing apparatus and method
KR20110087871A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101934840B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101810198B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101700411B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
AU2007237319B2 (en) Method for sub-pixel value interpolation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20100514

Effective date: 20111005

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
NORF Unpaid initial registration fee