KR20050049517A - 웨이블릿 기반의 부호화에서 운동 보상된 시간적 필터링을위한 필터링된 영역과 비필터링된 영역 모두를 갖는엘－프레임 - Google Patents

Abstract

본 발명은 영상을 인코딩하는 방법 및 장치에 관한 것이다. 본 발명에 따르면, 제1 프레임의 제1 영역은 제2 프레임의 제2 영역에 정합된다. 제1 및 제2 영역의 픽셀 값들의 차분을 포함하는 제1의 부분적으로 인코딩된 프레임이 생성된다. 제1 또는 제2 영역의 픽셀 값들을 포함하는 제2의 부분적으로 인코딩된 프레임이 생성된다. 또한, 상기 제1 및 제2의 부분적으로 인코딩된 프레임은 웨이블릿 계수로 변환된다.

Description

웨이블릿 기반의 부호화에서 운동 보상된 시간적 필터링을 위한 필터링된 영역과 비필터링된 영역 모두를 갖는 엘－프레임{L－FRAMES WITH BOTH FILTERED AND UNFILTERED REGIONS FOR MOTION－COMPENSATED TEMPORAL FILTERING IN WAVELET－BASED CODING}

본 발명은 2002년 7월 15일에 출원된 미국 가출원 제60/395,921의 권익을 주장하고, 본 명세서에 참조된다.

본 발명은 영상 압축에 관한 것으로서, 특히 필터링되고 비필터링된 영역 양쪽 모두를 갖는 L-프레임(L-frame)들을 생성하는 운동 보상된 시간적 필터링을 이용하는 웨이블릿(wavelet) 기반의 부호화에 관한 것이다.

현재의 많은 영상 부호화 알고리즘들은 운동 보상된 예측 부호화(predictive coding)에 기초하고 있고, 상기 운동 보상된 예측 부호화는 이종 기구(hybride scheme)들이라고 여겨진다. 상기 이종 기구들에 있어서, 시간 중복은 운동 보상을 이용하여 감소되지만, 공간 중복은 운동 보상의 나머지를 부호화하는 변환에 의해 감소된다. 일반적으로 사용되는 변환은 이산 코사인 변환(DCT) 또는 서브-밴드(sub-band)/웨이블릿(wavelet) 분할을 포함한다. 그러나, 이러한 기구들은 진정으로 비례 축소할 수 있는 비트 스트림들을 제공하는 관점에서 적용성이 떨어진다.

3D 서브-밴드/웨이블릿(이하, "3D 웨이블릿"이라고 함) 기반의 부호화라고 알려진 다른 형태의 기구는 혼성 네트워크상에서 영상 전송의 현재의 시나리오(scenario)에서 특히 평판이 좋다. 상기 기구들은 매우 적응성 있게 비례 축소 가능한 비트 스트림들과 보다 많은 오차 복원성이 제공되기 때문에 상기 응용 분야들에서 바람직하다. 3D 웨이블릿 부호화에서, 전체 프레임은 DCT 기반의 부호화에서 처럼 블록씩이 아니고 단번에 변환된다.

3D 웨이블릿 기구들의 하나의 구성 요소는 운동 보상된 시간적 필터링(MCTF)이고, 상기 MCTF는 시간 중복을 줄이기 위해 실행된다. MCTF의 한 예는 본원에 참조된 최 승종(Seung-Jong choi) 및 존 우즈(John Woods)의 "운동-보상된 3-D 서브밴드 영상 코딩(Motion-Compensated 3-D Subband Coding of Video)"(IEEE Transaction On Image Processing, Volume 8, No.2, 1999년 2월)의 논문(이하, "우즈의 논문"라고 한다)에 개시되어 있다.

우즈의 논문에 있어서, 프레임들은 공간 분할이 실행되기 이전에 운동 방향으로 시간적으로 필터링된다. 시간적 필터링 중에, 몇몇의 픽셀은, 물체들의 은폐(covering)/비 은폐(uncovering) 및 장면에서 운동의 속성에 기인하여 참조되지 않거나 아니면 몇 번이나 참조된다. 상기 픽셀들은 비접속된 픽셀들이라고 하고 특정한 취급을 요하고, 이는 부호화 효율의 감소로 이어진다. 비접속 및 접속된 픽셀들의 예는 도 1에 도시되고, 상기 도 1은 상기 우즈의 논문에서 발췌한 것이다.

도 1은 공지의 운동 보상된 시간적인 필터링 기술의 특징들을 나타내는 다이어그램.

도 2는 본 발명에 따른 시간적인 필터링의 한 예를 도시하는 다이어그램.

도 3은 본 발명에 따른 인코더의 한 예의 블록 다이어그램.

도 4는 2D 웨이블릿 변환의 한 예를 도시하는 블록 다이어그램.

도 5는 본 발명에 따른 디코더의 한 예.

도 6은 본 발명에 따른 시스템의 한 예.

본 발명은 영상을 인코딩하는 방법 및 장치에 관한 것이다. 본 발명에 따르면, 제1 프레임의 제1 영역은 제2 프레임의 제2 영역에 정합된다. 제1 및 제2 영역의 픽셀 값들의 차분을 포함하는 제1의 부분적으로 인코딩된 프레임이 생성된다. 제1 또는 제2 영역의 픽셀 값들을 포함하는 제2의 부분적으로 인코딩된 프레임이 생성된다. 또한, 상기 제1 및 제2의 부분적으로 인코딩된 프레임은 웨이블릿 계수로 변환된다.

한 예에 있어서, 상기 제1 또는 제2 영역의 픽셀 값들을 포함하는 상기 제2의 부분적으로 인코딩된 프레임은, 상기 제1 및 제2 영역 사이의 정합의 품질이 소정 임계치 보다 더 크면 생성된다. 다른 예에 있어서, 상기 제1 및 제2 영역의 픽셀 값들의 평균이 상기 제2의 부분적으로 인코딩된 프레임에 포함되는 경우 보다, 상기 제2의 부분적으로 디코딩된 프레임을 인코딩하기 위한 비트들의 수가 더 작다면, 상기 제1 또는 제2 영역의 픽셀 값들을 포함하는 상기 제2의 부분적으로 인코딩된 프레임이 생성된다.

본 발명은 비트-스트림을 디코딩하기 위한 방법 및 장치에 관한 것이다. 본 발명에 따르면, 상기 비트-스트림은 엔트로피 디코딩되어 웨이블릿 계수들을 생성한다.

상기 웨이블릿 계수들은 필터링된 영역을 포함하는 제1의 부분적으로 디코딩된 프레임, 및 비필터링된 영역을 포함하는 제2의 부분적으로 디코딩된 프레임으로 변환된다. 가산 또는 감산에 의해 결합된 상기 필터링된 영역 및 비필터링된 영역의 픽셀 값들을 포함하는 제1 프레임이 생성된다. 또한, 상기 비필터링된 영역의 픽셀 값들을 포함하는 제2 프레임이 생성된다.

도면에 있어서, 동일 번호는 대응하는 부분들을 나타낸다.

이전에 기술된 바와 같이, 3D 웨이블릿 기구(scheme)들의 하나의 구성 요소는 운동 보상된 시간적 필터링(MCTF)이고, 상기는 시간적 중복을 줄이기 위해 실행된다. 종래의 MCTF에 있어서, 프레임들은 쌍들로 필터링된다. 특히, 프레임들(A, B)의 각각의 쌍은, 프레임들의 각각의 쌍에서의 유사 영역과 정합하는 운동 벡터(Vy, Vx)를 사용하여 이하와 같이 한 쌍의 L 및 H-프레임들로 필터링된다.

상기 식 (1)에서, L은 각 쌍의 비례 축소된(scaled) 평균에 대응하고, c1은 계수 인자를 나타낸다. 상기 식 (2)에서, H는 비례 축소된 각 쌍의 차분(differece)에 대응하고, c2는 계수 인자를 나타낸다. L-프레임들은 시간적 평균 프레임들을 나타내기 때문에, 통상 상기 L-프레임들은, 영상이 저속 프레임 레이트로 디코딩되는 경우에는, 일반적으로 표시만 된다. 따라서, L-프레임들은, 디코딩된 L-프레임들에서 생성된 어떠한 인공 음영이라도 저속 프레임 레이트에서 불량한 영상 품질이 될 수 있기 때문에, 양호한 품질이어야 한다.

L-프레임들의 품질은, 운동 평가가 양호한 때, 즉 양호한 정합이 발견되는 때에 통상 매우 양호하다. 그러나, 영상 시이퀀스에서 양호한 정합이 2개의 프레임들 사이의 영역들에 대해 발견되지 못하는 경우들이 있다. 상기와 같은 경우들은 장면 변화, 급속한 움직임, 또는 특정 장면에서 물체의 은폐(covering) 및 비 은폐(uncovering)를 포함한다. 따라서, 본 발명에 따르면, 불량한 정합에 대응하는 L-프레임들의 부분들은 필터링되지 않고 남겨지고, 상기는 A-영역들이라고 정의된다. 상기는 양호한 정합이 발견되지 않는 경우에도 상기 영역들의 시각 품질이 영향을 받지 않게 한다. 또한, 불량하게 정합된 영역들을 가로질러 필터링하지 않음으로써 부호화 효율이 개선될 수 있는 것이 또한 가능하다.

본 발명에 따른 시간적 필터링의 한 예는 도 2에 도시된다.

상기 예에서, 2개의 영역들(음영부)은, L 및 H-영역들이 생성되도록 필터링되는 것으로 도시된다. 또한, 다른 영역들(비 음영부)은, A 및 H-영역들이 생성되도록 필터링되지 않는 것으로 도시된다. 이전에 기술된 바와 같이, A-영역은 필터링되지 않고 남겨졌던 프레임의 일부이다. L-영역들은 필터링 중에 비례 축소되기 때문에, 동일한 크기를 갖기 위해 상기 비필터링된 A-영역들을 비례 축소(scaling)하는 것이 또한 필요하다. A-영역들의 이러한 비례 축소는 다음과 같이 표시될 수 있다.

본 발명에 따른 인코더의 한 예는 도 3에 도시된다. 예견 되듯이, 인코더는 입력 영상을 화상들의 그룹(GOP)으로 분할하기 위한 분할 유닛(2)을 포함하고, 상기 화상들은 유닛으로서 인코딩된다. 본 발명에 따르면, 상기 분할 유닛(2)은, GOP가 소정의 프레임 갯수를 포함하고 또는 밴드폭, 부호화 효율, 및 영상 컨텐트 등의 파라미터들에 기초하여 동작 중에 동적으로 판정되도록 동작된다. 예를 들면, 영상이 빠른 장면 변화와 빠른 운동으로 구성된다면, 보다 짧은 GOP를 갖는 것은 보다 효율적이고, 반면에 영상이 주로 정지 물체로 구성된다면, 보다 긴 GOP를 갖는 것이 보다 효율적이다.

예견 되듯이, 운동 평가 유닛(6) 및 시간 필터링 유닛(8)으로 구성된 MCTF 유닛(4)이 포함된다. 동작 중에, 각각의 GOP의 프레임들은 쌍으로 처리될 것이고, 여기서 각각의 쌍들은 소스 프레임과 참조 프레임을 포함한다. 따라서, 운동 평가 유닛(6)은 각각의 소스 프레임들의 영역들을 각각의 참조 프레임들의 유사 영역들에 정합시킬 것이다. 한 예에서, 운동 평가 유닛(6)은 후진 예측을 실행할 것이다. 따라서, 상기 예에서, 소스 프레임은 후속 프레임(later frame)이 될 것이고 참조 프레임은 초기 프레임(earlier frame)이 될 것이다. 다른 예에서, 운동 평가 유닛(6)은 전진 예측을 실행할 것이다. 따라서, 상기 예에서, 소스 프레임은 초기 프레임이 될 것이고 참조 프레임은 후속 프레임이 될 것이다. 상기 기술된 정합의 결과로서, 운동 평가 유닛(6)은 운동 벡터(MV) 및 처리되고 있는 현재 프레임에서 정합된 각각의 영역에 대한 프레임 번호를 제공할 것이다.

동작 중에, 시간 필터링 유닛(8)은 프레임들의 각각의 쌍 사이의 시간 중복을 제거한다. 상기를 실행하기 위해, 시간 필터링 유닛(8)은 상기 운동 벡터 및 운동 평가 유닛(6)에 의해 제공된 프레임 참조 번호들에 따라 프레임들의 각각의 쌍에 대해 정합된 2개의 대응 영역들 각각을 검색한다. 시간 필터링 유닛(8)은 그 후 처리되고 있는 프레임들의 각각의 쌍에 대해 L 및 H-프레임을 생성한다.

H-프레임을 생성하기 위해, 시간 필터링 유닛(8)은 프레임들의 각각의 쌍에 대해 2개의 대응하는 정합된 영역들 각각에 대한 픽셀 값들 사이의 차분(difference)을 계산한다. 양호하게는, 상기 차분은 그 후 계수 인자로 곱해진다. 적합한 계수 인자의 예들은 1/√2을 포함할 수 있다.

L-프레임을 생성하기 위해, 시간 필터링 유닛(8)은 프레임들의 각각의 쌍의 2개의 대응하는 정합된 영역들 각각에 대해 비필터링된 A-영역이어야 하는지 또는 L-영역으로서 필터링되어야 하는지의 여부를 판정한다. L-영역이라고 판정된 2개의 대응하는 정합된 영역들 각각에 대해, 시간 필터링 유닛(8)은 상기 2개의 영역들의 픽셀 값들의 평균을 계산한다. 양호하게는, 이러한 2개의 영역들의 평균은 그 후 계수 인자에 의해 곱해진다. 적합한 계수 인자의 예들은 √2를 포함할 수 있다.

A-영역이라고 판정된 2개의 대응하는 정합된 영역 각각에 대해, 시간 필터링 유닛(8)은 각각의 L-프레임에 포함될 2개의 영역들 중의 하나의 픽셀 값들을 선택할 것이다. 양호하게는, 시간 필터링 유닛(8)은 참조 프레임으로부터 상기 영역을 선택할 것이다. 그러나, 본 발명에 따르면, 상기 영역은 소스 프레임으로부터 또한 선택될 수 있다. 적합한 디코딩을 확실히 하기 위해, 디코더에 대해 각각의 A-영역은 참조 프레임 또는 소스 프레임으로부터 선택되었다라는 것을 표시하는 것도 필요할 것이다. 상기는 각각의 L-프레임에 대응하는 몇종의 플래그(flag) 또는 헤더(header)에 의해 달성될 것이다. 또한, 더 양호하게는, 선택된 영역은 계수 인자에 의해 곱해진다. 적합한 계수 인자의 예들은 1/√2를 포함할 수 있다.

전술한 바와 같이, 시간 필터링 유닛(8)은 프레임들의 각각의 쌍의 2개의 대응하는 정합된 영역들 각각에 대해 A-영역이어야 하는지 또는 L-영역으로서 필터링되어야 하는지의 여부를 판정할 것이다. 본 발명에 따르면, 이와 같은 것은 많은 다른 방법들로 실행될 수 있다. 한 예에서, 상기는 2개의 대응하는 영역들 사이의 정합의 품질에 기초하여 판정될 것이다. 정합의 품질은 정합 표시의 품질을 사용함에 의해 판정될 수 있다. 정합 표시의 적합한 품질의 예들은 평균 절대 차분(MAD) 또는 2개의 대응하는 정합된 영역들 사이의 평균 제곱 오차(MSE)를 포함한다. 2N×N 영역들(xij, yij) 사이의 MAD는 다음과 같이 절대 픽셀 차분의 평균치에 의해 계산된다.

식 (4)에 따르면, 상기 MAD 값이 작으면 2개의 영역들 사이의 차분이 작아진다는 의미를 함축하고 상기 2개의 영역들이 보다 더 정합된다는 것이 추정될 수 있다. 상기 값은 시퀀스 의존적(sequence dependent)인 것으로서, 평균하여 저속 운동 시퀀스는 MAD 값들이 보다 작고, 고속 운동 시퀀스는 보다 큰 MAD 값들을 갖는다. 평균적으로, 그런대로 양호한 품질 정합은 5보다 더 작은 MAD 값을 갖는다. 따라서, 상기 임계값은 2개의 대응하는 정합된 영역들의 각각이 양호한 정합인가 아닌가를 판정하기 위해 사용될 수 있다. 만일 상기 MAD 값이 5 이하이면, 상기와 같은 특정한 2개의 대응하는 정합된 영역들은 L-영역으로서 필터링될 것이다. 만일 MAD 값이 상기 임계값 보다 더 크다면, 상기와 같은 특정한 2개의 대응하는 정합된 영역들은 A-영역으로 비필터링될 것이다.

다른 예에서, 2개의 대응하는 정합된 영역들의 각각이 A-영역이어야 하는지 또는 L-프레임들을 부호화하기 위해 취하는 비트 수에 기초하여 L-영역으로서 필터링되어야 하는지가 판정될 것이다. 특히, 2개의 대응하는 정합된 영역들의 각각에 대해, 각각의 L-프레임을 A-영역과 함께 또는 A-영역이 없이 부호화하기 위해 요구되는 비트들의 수는 계산될 것이다. 비트들의 수가 A-영역 포함하여 적은 경우에는, 상기 특정 2개의 대응하는 정합된 영역들은 A-영역으로서 비필터링되어 남겨질 것이다. 비트들의 수가 A-영역을 포함하여 적지 않다면 상기 특정 대응하는 정합된 영역들은 L-영역으로서 필터링될 것이다. 상기 예에서, 부호화 효율은 증가할 것이다.

L-프레임들을 부호화하기 위해 취하는 비트들의 수는 사용된 특정 엔트로피 인코딩 기술에 의해 영향을 받는다. 예를 들면, 내장된 제로 트리(zerotree) 블록 부호화(EZBC) 기술은 웨이블릿 기반의 영상 부호기들에 대해 보다 평판 좋은 엔트로피 부호화 기술들 중의 하나이다. 상기와 같은 기구들이 갖는 특징들의 중의 하나는, 데이터가 스프레드 아웃(spread out)된 영역들과 반대로서, 국부적인 데이터를 갖는 영역들을 부호화하기 위해 보다 적은 비트들을 요구한다는 것이다. 변환된 계수(시간적 필터링 및 공간적 분할 이후의)는 비 제로 계수(non-zero cofficient)들을 거의 갖는 않는 많은 넓은 영역들을 포함하여 매우 다발화(clustered)된다면, EZBC는 데이터를 압축하는데 보다 적은 비트들을 요구한다. 반면에, 계수들이 보다 더 스프레드 아웃되면, EZBC는 보다 많은 비트들을 요구한다. 따라서, 2개의 대응하는 정합된 영역들의 각각의 A-영역으로서 비필터링되어 남겨졌는가 또는 L-영역으로서 필터링되었는가에 대한 판정은 사용된 엔트로피 인코딩 기술에 따라 다를 것이다.

전술한 MCTF는 비접속된 픽셀들을 또한 생성할 것이다. 따라서, 시간 필터링 유닛(8)은 우즈의 논문에서 기술된 바와 같이 상기 비접속된 픽셀들을 처리할 것이다.

예견 되듯이, MCTF 유닛(4)에 의해 제공된 프레임들의 공간 중복을 줄이기 위해 공간 분할 유닛(10)이 포함된다. 동작 중에, MCTF 유닛(4)으로부터 수신된 프레임들은 2D 웨이블릿 변환에 따라 웨이블릿 계수로 변환된다. 필터들의 다른 형태와 웨이블릿 변화의 구현 수단들이 많이 존재한다.

적합한 2D 웨이블릿 변환의 한 예는 도 4에 도시된다. 예견 되듯이, 프레임은 웨이블릿 필터들을 사용하여 저주파 및 고주파 서브-밴드(sub-band)로 분할된다. 상기는 2-D 변환이므로 3개의 고주파 서브-밴드들(수평, 수직, 대각선)이 존재한다. 저주파 서브-밴드는 LL 서브-밴드(수평 및 수직 주파수 모두에서 로우(low))라고 한다. 상기 고주파 서브-밴드들은 LH, HL, HH라고 하고 수평 고주파, 수직 고주파, 수평 및 수직 모두의 고주파에 대응한다. 저주파 주파수 서브-밴드들은 순환적으로 더 분할될 수 있다. 도 3에서, WT는 웨이블릿 변환(Wavelet transform)을 나타낸다. 아카데믹 출판사(Academic Press)에서 1977년 간행된 스테판 말렛(Stephane Mallat)아 지은 "신호 처리의 웨이블릿 투어(A Wavelet Tour of Signal Processing)"이라는 책에 개시된 다른 공지의 웨이블릿 변환 기구들이 존재한다.

도 3을 다시 참조하면, 인코더는 유의성 정보에 따라 공간 분할 유닛(10)의 출력을 인코딩하기 위해 유의성 인코딩 유닛(12)을 또한 포함할 수 있다. 상기 예에서, 유의성은 웨이블릿 계수의 크기를 의미할 수 있고, 여기에서 계수들이 클수록 적은 계수들 보다는 보다 더 유의적이다. 상기 예에 있어서, 유의성 인코딩 유닛(12)은 공간 분할 유닛(10)으로부터 수신된 웨이블릿 계수들을 고찰할 것이고 그 후 크기에 따라 상기 웨이블릿 계수들을 재배열할 것이다. 따라서, 가장 큰 크기를 가진 웨이블릿 계수들은 먼저 전송될 것이다. 유의성 인코딩의 한 예는 SPIHT(Set Partitioning in Hierarchical Trees)이다. 상기는 에이. 세드(A. Said) 및 더블유. 피얼맨(W. Pearlman)의 "계층적 트리들에서의 분할에 기초한 새로운 빠르고 효과적인 이미지 코덱(A New Fast and Efficient Image Codec Based on Partitioning in Hierarchical Trees)"(IEEE Transaction On Circuits and Systems for Video Technology, Volume 6, 1996년 6월)의 논문에 개시되어 있다.

도 3으로부터 자명하듯이, 점선은 몇몇의 동작들 사이의 의존성을 표시하도록 포함된다. 한 예에 있어서, 운동 평가 유닛(6)은 유의성 인코딩 유닛(12)에 의존한다. 예를 들면, 운동 평가 유닛에 의해 생성된 운동 벡터는 어느 웨이블릿 계수들이 보다 더 유의적인가를 판정하는데 사용될 수 있다. 다른 예에서, 공간 분할 유닛(10)은 유의성 인코딩 유닛(12)의 형태에 의존적일 수 있다. 예를 들면, 웨이블릿 분할의 레벨의 갯수는 유효 계수의 갯수에 관련될 수 있다.

또한 자명하듯이, 엔트로피 인코딩 유닛(14)은 출력 비트-스트림을 생성하기 위해 포함된다. 동작 중에, 엔트로피 부호화 기술은 웨이블릿 계수들을 출력 비트-스트림으로 인코딩하는데 응용된다. 상기 인트로피 인코딩 기술은 또한 운동 평가 유닛(6)에 의해 제공된 프레임 번호 및 운동 벡터에 적용된다. 상기 정보는 디코딩을 가능하게 하기 위해 출력 비트-스트림에 포함된다. 적합한 엔트로피 인코딩 기술의 예들은 가변 길이 인코딩 및 산술 인코딩을 포함한다.

본 발명에 따른 디코더의 한 예는 도 5에 도시된다. 도 3과 관련하여 이전에 기술된 바와 같이, 입력 영상은 GOP들로 분할되고 각각의 GOP는 유닛으로서 인코딩된다. 따라서, 입력 비트-스트림은 유닛으로서 역시 디코딩될 하나 이상의 GOP들을 포함할 수 있다. 상기 비트-스트림들은 또한 많은 운동 벡터(MV) 및 이전에 운동 보상되어 시간적으로 필터링된 GOP의 각각의 프레임에 대응하는 프레임 번호를 또한 포함한다.

자명한 바와 같이, 디코더는 인입하는 비트-스트림을 디코딩하기 위한 엔트로피 디코딩 유닛(16)을 포함한다. 동작 중에, 입력 비트-스트림은 인코딩측상에서 실행된 엔트로피 부호화 기술의 역(inverse)으로 디코딩될 것이다. 이러한 엔트로피 디코딩은 각각의 GOP에 대응하는 웨이블릿 계수들을 생성할 것이다. 또한, 엔트로피 디코딩은 많은 운동 벡터 및 차후에 활용될 프레임 번호들을 생성한다. 유의성 디코딩 유닛(18)은 유의성 정보에 따라 엔트로피 디코딩 유닛(16)으로부터 웨이블릿 계수들을 디코딩하기 위해 포함된다. 따라서, 동작 중에, 웨이블릿 계수들은 인코더측상에서 사용된 기술을 거꾸로 사용하여 정확한 공간 배열에 따라 재배열 될 것이다.

더 명확한 바와 같이, 공간 재구성 유닛(20)은 유의성 디코딩 유닛(18)으로부터의 웨이블릿 계수들을 부분 디코딩된 프레임들로 변환하기 위해 포함된다. 동작 중에, 각각의 GOP에 대응하는 웨이블릿 계수들은 인코더측상에서 실행된 2D 웨이블릿 변환의 역으로 변환될 것이다. 상기는 본 발명에 따라 운동 보상된 시간적으로 필터링되어 있던 부분적으로 디코딩된 프레임들을 생성할 것이다. 이전에 기술한 바와 같이, 운동 보상된 시간 필터링은 처리된 프레임들의 각각의 쌍에 대해 한 쌍의 H 및 L-프레임들을 생성한다. 또한, 본 발명에 따르면, L-프레임들은 이전에 기술된 바와 같이 비필터링된 A-영역들과 필터링된 L-영역들 양쪽 모두를 포함할 수 있다.

역 시간 필터링 유닛(22)은 공간 재구성 유닛(20)으로부터 부분적으로 디코딩된 프레임들을 재구성하기 위해 포함된다. 동작 중에, 역 시간 필터링 유닛(22)은 각각의 GOP에 포함된 H 및 L-프레임들의 각각의 쌍을 이하와 같이 처리한다. 먼저, H 및 L-프레임들의 각각의 쌍의 대응 영역들은 운동 벡터들 및 엔트로피 디코딩 유닛(16)에 의해 제공된 프레임 번호에 따라 검색된다. 본 발명에 따르면, 검색된 대응 영역들의 각각은 L-프레임으로부터 L-영역 또는 A-영역, 및 H-프레임으로부터 한 영역을 포함할 것이다. 이전에 기술된 바와 같이, A-영역은 한 쌍의 프레임들 사이의 2개의 대응하는 정합된 영역들의 1/2의 비필터링된 픽셀 값들을 나타내고, L-영역은 2개의 대응하는 정합된 영역들의 픽셀 값의 평균값을 나타내고, H-프레임으로부터의 영역은 2개의 대응하는 정합된 영역들 사이의 차분(differecne)을 나타낸다. 또한, 검색된 대응 영역들의 각각은 인코더측상에서 사용된 동일 계수 인자에 의해 나누어진다.

L-프레임들에 포함된 각각의 L-영역에 대해, 합과 차분은 각각의 L-영역의 픽셀 값들 및 H-프레임의 대응 영역에 대해 계산된다. 각각의 합과 차분은 그 후 다른 계수 인자에 의해 나누어진다. 적합한 계수 인자의 한 예는 2의 값일 것이다. 각각의 비례 축소된 합 및 차분은 그 후 적합하게 재구성된 프레임에 배치될 것이다.

L-프레임들에 포함된 A-영역 각각에 대해, 전술한 바와 같이 상기는 초기에 비례 축소된 이후에 적합하게 재구성된 프레임에 대해 변하지 않은채 전가될 것이다. 이전에 기술된 바와 같이, 각각의 L-프레임은 특정 A-영역이 참조 프레임 또는 소스 프레임으로부터 선택되었는가를 표시하는 대응된 헤더(header) 또는 플래그를 갖을 수 있다. 따라서, 각각의 A-영역은 대응된 헤더 또는 플래그의 정보에 따라 적합하게 재구성된 프레임에 배치될 것이다. 또한, A-영역은 소정의 규칙(convention)에 따라 적합한 프레임에 배치될 것이다. 예를 들면, 전체 영상 시이퀀스에 대한 참조 프레임으로부터 모든 A-영역들을 선택하는 것이 결정될 것이다.

또한, 각각의 A-영역에 대한 픽셀 값들은 H-프레임의 대응 영역으로부터의 픽셀 값들과 또한 결합될 것이다. 본 발명에 따르면, 상기 픽셀 값들을 결합하는 것은 가산 또는 감산에 의해 행해질 수 있다. 예를 들면, 후진 예측이 인코더측 및 참조 프레임으로부터 발생된 A-영역상에서 사용되었다면, 감산이 보다 더 바람직할 것이다. 또한, 후진 예측이 인코더측 및 소스 프레임으로부터 발생된 A-영역상에서 사용되었다면, 가산이 보다 더 바람직할 것이다. A-영역과 H-프레임의 영역을 결합함으로부터 유래된 각각의 값들은 그 후 적합하게 재구성된 프레임에 배치될 것이다.

본 발명에 따른 필터링된 영역과 비필터링된 영역 양쪽 모두를 갖는 L-프레임들을 생성하는 운동 보상된 시간적 필터링을 이용하는 웨이블릿 기반의 부호화의 일 예가 도 6에서 도시된다. 예시로서, 상기 시스템은 TV, 셋톱박스, 데스크탑, 랩탑 또는 팜탑(palmtop) 컴퓨터, 개인용 디지털 보조 장치(PDA), 영상 카셋트 레코더(VCR), 디지털 영상 레코더(DVR), TiVO 장치 등의 영상/이미지 저장 장치 등 뿐만 아니라 상기 및 다른 장치들의 일부 및 조합 장치들을 의미할 수 있다. 상기 시스템은 하나 이상의 영상 소스(26), 하나 이상의 입/출력 장치(34), 프로세서(28), 메모리(30), 및 표시 장치(36)를 포함할 수 있다.

상기 영상 소스(26)는 예를 들면 TV 수신기, VCR 또는 다른 영상/이미지 저장 장치를 의미할 수 있다. 상기 소스(26)는 또한 예를 들면 인터넷, 광역 네트워크, 대도시 네트워크, 지역 네트워크워크, 지상 방송국 시스템, 케이블 네트워크, 위성 네트워크, 무선 네트워크, 또는 전화 네트워크 뿐만 아니라 상기 및 다른 형태의 네트워크들의 일부 및 조합 네트워크 등의 전역(global) 컴퓨터 통신 네트워크를 통해, 서버 또는 서버들로부터 영상을 수신하기 위한 하나 이상의 네트워크 접속 장치을 또한 의미할 수 있다.

상기 입/출력 장치(34), 프로세서(28), 및 메모리(30)는 통신 매체(32)상에서 통신한다. 상기 통신 매체(32)는 예를 들면 버스, 통신 네트워크, 회로의 하나 이상의 내부 접속 장치, 회로 카드 또는 다른 장치 뿐만 아니라 상기 및 다른 통신 매체의 일부 또는 결합 매체를 의미할 수 있다. 상기 소스(26)로부터의 입력 영상 데이터는 메모리(30)에 저장된 하나 이상의 소프트웨어 프로그램들에 따라 처리되고 표시 장치(36)에 공급된 출력 영상/이미지를 생성하기 위해 프로세서(28)에 의해 실행된다.

특히, 메모리(30)상에 저장된 소프트웨어 프로그램들은 도 3 및 도 5에 관해 이전에 기술된 바와 같은 웨이블릿 기반의 부호화를 포함한다. 상기 실시예에 있어서, 웨이블릿 기반의 부호화는 시스템에 의해 실행된 컴퓨터 판독 가능 코드에 의해 구현된다. 상기 코드는 메모리(30)에 저장될 수 있고 CD-ROM 또는 플로피디스크 등의 메모리 매체로부터 판독/다운로드 가능하다. 다른 실시예에 있어서, 하드에어 회로는 소프트웨어 명령을 대신하여 또는 조합하여 사용되어 본 발명을 실현할 수 있다.

본 발명은 특정 실시예의 관점에서 위에서 설명되었지만, 본 발명은 여기에 개시된 실시예들에 한정 또는 제한되지 않는다는 것은 자명할 것이다. 따라서, 본발명은 첨부된 청구범위의 본질 및 범위내에 포함된 여러 구성들 및 변형들을 포함할 것이다.

Claims (21)

1. 영상을 인코딩하는 방법에 있어서,

   제1 프레임의 제1 영역을 제2 프레임의 제2 영역에 정합하는 단계;

   상기 제1 및 제2 영역의 픽셀 값들의 차분을 포함하는 제1의 부분적으로 인코딩된 프레임을 생성하는 단계;

   상기 제1 또는 제2 영역의 픽셀 값들을 포함하는 제2의 부분적으로 인코딩된 프레임을 생성하는 단계; 및

   상기 제1 및 제2의 부분적으로 인코딩된 프레임을 웨이블릿 계수(wavelet cofficent)들로 변환하는 단계를 포함하는, 영상 인코딩 방법.
2. 제1항에 있어서,

   유의성 정보(significance information)에 따라 상기 상기 웨이블릿 계수들을 인코딩하는 단계를 더 포함하는, 영상 인코딩 방법.
3. 제1항에 있어서,

   상기 웨이블릿 계수들을 엔트로피 인코딩(entropy encoding)하는 단계를 더 포함하는, 영상 인코딩 방법.
4. 제1항에 있어서,

   상기 제1 및 제2 영역의 픽셀 값들의 차분을 계수 인자(scaling factor)에 의해 곱하는 단계를 더 포함하는, 영상 인코딩 방법.
5. 제1항에 있어서,

   상기 제1 또는 제2 영역의 픽셀 값들을 계수 인자에 의해 곱하는 단계를 더 포함하는, 영상 인코딩 방법.
6. 제1항에 있어서,

   상기 제1 프레임의 제3 영역을 상기 제2 프레임의 제4 영역에 정합하는 단계; 및

   상기 제2의 일부 인코딩된 프레임의 상기 제3 및 제4 영역의 픽셀 값들의 평균을 포함시키는 단계를 더 포함하는, 영상 인코딩 방법.
7. 제6항에 있어서,

   상기 제3 및 제4 영역의 픽셀 값들의 평균을 계수 인자에 의해 곱하는 단계를 더 포함하는, 영상 인코딩 방법.
8. 제1항에 있어서,

   정합의 품질이 소정 임계치 보다 더 크면, 상기 제1 또는 제2 영역의 픽셀 값들을 포함하는 상기 제2의 부분적으로 인코딩된 프레임을 생성하는 단계를 더 포함하는, 영상 인코딩 방법.
9. 제1항에 있어서,

   상기 제1 및 제2 영역의 픽셀 값들의 평균이 상기 제2의 부분적으로 인코딩된 프레임에 포함되는 경우 보다 상기 제2의 부분적으로 디코딩된 프레임을 인코딩하기 위한 비트들의 수가 더 작다면, 상기 제1 또는 제2 영역의 픽셀 값들을 포함하는 상기 제2의 부분적으로 인코딩된 프레임을 생성하는 단계를 더 포함하는, 영상 인코딩 방법.
10. 영상을 인코딩하는 코드를 포함하는 메모리 매체에 있어서,

    제1 프레임의 제1 영역을 제2 프레임의 제2 영역에 정합하는 코드;

    상기 제1 및 제2 영역의 픽셀 값들의 차분을 포함하는 제1의 부분적으로 인코딩된 프레임을 생성하는 코드;

    상기 제1 또는 제2 영역의 픽셀 값들을 포함하는 제2의 부분적으로 인코딩된 프레임을 생성하는 코드; 및

    상기 제1 및 제2의 부분적으로 인코딩된 프레임을 웨이블릿 계수들로 변환하는 코드를 포함하는, 메모리 매체.
11. 영상을 인코딩하는 장치에 있어서,

    제1 프레임의 제1 영역을 제2 프레임의 제2 영역에 정합하는 운동 평가 유닛;

    상기 제1 및 제2 영역의 픽셀 값들의 차분을 포함하는 제1의 부분적으로 인코딩된 프레임과 상기 제1 또는 제2 영역의 픽셀 값들을 포함하는 제2의 부분적으로 인코딩된 프레임을 생성하는 시간적인 필터링 유닛; 및

    상기 제1 및 제2의 부분적으로 인코딩된 프레임을 웨이블릿 계수들로 변환하는 공간 분할 유닛을 포함하는, 영상 인코딩 장치.
12. 비트-스트림을 디코딩하는 방법에 있어서,

    웨이블릿 계수들을 생성하기 위해 상기 비트-스트림을 엔트로피 디코딩하는 단계;

    필터링된 영역을 포함하는 제1의 부분적으로 디코딩된 프레임 및 비필터링된 영역을 포함하는 제2의 부분적으로 디코딩된 프레임으로 상기 웨이블릿 계수들을 변환하는 단계;

    결합된 상기 필터링된 영역 및 비필터링된 영역의 픽셀 값들을 포함하는 제1 프레임을 생성하는 단계; 및

    상기 비필터링된 영역의 픽셀 값들을 포함하는 제2 프레임을 생성하는 단계를 포함하는, 비트-스트림 디코딩 방법.
13. 제12항에 있어서,

    상기 필터링된 영역을 계수 인자에 의해 나누는 단계를 더 포함하는, 비트-스트림 디코딩 방법.
14. 제12항에 있어서,

    상기 비필터링된 영역을 계수 인자에 의해 나누는 단계를 더 포함하는, 비트-스트림 디코딩 방법.
15. 제12항에 있어서,

    상기 필터링된 영역과 상기 비필터링된 영역의 상기 픽셀 값들은 감산에 의해 결합되는, 비트-스트림 디코딩 방법.
16. 제12항에 있어서,

    상기 필터링된 영역과 상기 비필터링된 영역의 상기 픽셀 값들은 가산에 의해 결합되는, 비트-스트림 디코딩 방법.
17. 제12항에 있어서,

    상기 비필터링된 영역은 2개의 정합된 영역들 중의 하나의 픽셀 값들을 포함하는, 비트-스트림 디코딩 방법.
18. 제12항에 있어서,

    상기 필터링된 영역은 2개의 정합된 영역들로부터의 픽셀 값들의 차분(difference)을 포함하는, 비트-스트림 디코딩 방법.
19. 제12항에 있어서,

    유의성 정보에 따라 상기 웨이블릿 계수들을 디코딩하는 단계를 더 포함하는, 비트-스트림 디코딩 방법.
20. 비트-스트림을 디코딩하는 장치에 있어서,

    상기 비트-스트림을 웨이블릿 계수들로 디코딩하기 위한 엔트로피 디코딩 유닛;

    필터링된 영역을 포함하는 제1의 부분적으로 디코딩된 프레임 및 비필터링된 영역을 포함하는 제2의 부분적으로 디코딩된 프레임으로 상기 웨이블릿 계수들을 변환하기 위한 공간 재구성 유닛;

    결합된 상기 필터링된 영역 및 비필터링된 영역의 픽셀 값들을 포함하는 제1 프레임과 상기 비필터링된 영역의 픽셀 값들을 포함하는 제2 프레임을 생성하기 위한 역(inverse) 시간적 필터링 유닛을 포함하는, 비트-스트림 디코딩 장치.
21. 비트-스트림을 디코딩하는 코드를 포함하는 메모리 매체에 있어서,

    웨이블릿 계수들을 생성하기 위해 상기 비트-스트림을 엔트로피 디코딩하는 코드;

    필터링된 영역을 포함하는 제1의 부분적으로 디코딩된 프레임 및 비필터링된 영역을 포함하는 제2의 부분적으로 디코딩된 프레임으로 상기 웨이블릿 계수들을 변환하는 코드;

    결합된 상기 필터링된 영역 및 비필터링된 영역의 픽셀 값들을 포함하는 제1 프레임을 생성하는 코드; 및

    상기 비필터링된 영역의 픽셀 값들을 포함하는 제2 프레임을 생성하는 코드를 포함하는, 메모리 매체.