KR20040083422A

KR20040083422A - 웨이브릿 도메인 반-픽셀 모션 보상

Info

Publication number: KR20040083422A
Application number: KR10-2004-7010664A
Authority: KR
Inventors: 리프레드릭; 창조나슨
Original assignee: 옥타 테크놀로지, 인코포레이티드
Priority date: 2002-01-09
Filing date: 2003-01-09
Publication date: 2004-10-01
Also published as: JP2005515731A; WO2003061296A1; AU2003207502A1; CN1640147A; US20030128760A1; EP1470725A4; EP1470725A1; US6888891B2; CN100366093C

Abstract

앨리아싱 효과를 감소시키는 웨이브릿 도메인 반-픽셀 모션 보상 방법(도 4)은 H-변환을 이용하여, 역 웨이브릿 변환할 필요없이 웨이브릿 도메인에서의 모션 추정 및 보상(490)을 제공한다. 부호화하기 위해, q-차원 H-변환(490)이 통상적 방식으로 제1프레임 내 비중복 qxq 매트릭스들에 대해 적용된다. 제2프레임에 대한 모션 벡터들을 결정할 때, 제1프레임의 웨이브릿 데이터의 "반-픽셀" 보간(480)은 변환되었던 qxq 매트릭스들로부터 수평 및/또는 수직방향으로 오프셋된 qxq 공간-도메인 매트릭스들에 해당하는 반-픽셀 데이터(480)를 생성한다. 그리고 나서 모션 추정 기술(490)이 한 프레임 내 웨이브릿 도메인 오브젝트 데이터를 다른 프레임에 대해 실제적이고 보간된 웨이브릿 도메인 데이터를 비교하여 오브젝트 모션을 식별할 수 있다. 반-픽셀 보간 또는 데이터 생성(480)은 고기능 웨이브릿 비디오 인코더 내 다중-분해 모션 추정과 결합될 수 있다.

Description

웨이브릿 도메인 반-픽셀 모션 보상{Wavelet domain half-pixel motion compensation}

웨이브릿 변환의 한 종류가 H-변환인데, 이 변환은 Haar(하알) 변환의 확장형이다. 식 1은 이차원 H 변환 매트릭스H이며, 이것은 식 2에서 a00, a01, a10, 및 a11을 계수로 갖는 공간 도메인 2x2 매트릭스A를 h0, hx, hy, 및 hd의 계수를 갖는 웨이브릿 도메인 매트릭스로 변환한다. 이미지 부호화(인코딩)에 있어서, a00, a01, a10, 및 a11 계수들은 영상 내 해당 픽셀들의 위치들에 따라 매트릭스A내에 위치하는 픽셀 값들(가령, 컬러 값들, 그레이 스케일 레벨값, 또는 RGB 또는 YUV 컬러 성분값들)이다. 변환된 매트릭스에서, 웨이브릿 도메인 값 h0는 매트릭스A의 (저주파수) 평균 공간 에너지를 나타내고, 웨이브릿 도메인 값들인 hx, hy, 및 hd는 각자 매트릭스A내에서의 (고주파수) 수평, 수직, 및 대각 변동을 나타낸다.

식 1:

식 2:

H-변환은 기본적으로 이차원 매트릭스 변환이지만, 식 3은 픽셀값들인 a00, a01, a10, 및 a11과 웨이브릿 도메인 값들인 h0, hx, hy, 및 hd를 네 성분 벡터들로 재배열하여 얻어진 단일 매트릭스 곱을 이용해 웨이브릿 도메인으로의 픽셀 값들의 H-변환을 표현한다.

식 3:

H-변환을 이용하는 하나의 정지 영상 부호화 방법은 한 이미지를 나타내는 픽셀값들로 된 NxN 매트릭스를 N/2xN/2 비중첩 2x2 매트릭스들로 쪼개고 나서 2차원 H-변환을 픽셀값들로 된 각각의 2x2 매트릭스에 적용한다. 그러면 전체 NxN 매트릭스들에 대한 웨이브릿 변환 성분들이 재정렬되어 도 1에 도시된 것과 같은 어레이(100)를 구성한다. 도시된 바와 같이, 어레이(100)는 원래의 NxN 어레이의 해당 2x2 공간 도메인 매트릭스들의 공간적 위치에 따라 N/2xN/2 서브-어레이H0에 정렬된 저주파수 성분들을 포함한다. N/2xN/2 서브-어레이들인Hx,Hy, 및Hd는 원래의 NxN 어레이의 해당하는 2x2 공간 도메인 매트릭스들의 공간적 위치에 따라 각자의 N/2xN/2 서브-어레이Hx,Hy, 및Hd에 정렬된 고주파수 성분 hx, hy, 및 hd를 비슷하게 포함한다.

H-변환은 원래 이미지의 H-변환과 같은 방식으로 저주파수 서브-어레이H0에 적용될 수 있고, 그 결과에 따른 레벨-2 변환 성분들인 h0', hx', 및 hd'가 N/4xN/4 서브-어레이들인H0',Hx',Hy', 및Hd'에 정렬될 수 있다. 이 프로세스는 일회 이상 반복되어 도 2에 도시된 것과 같은 다중-분해(multi-resolution) 피라미드 데이터 구조를 생성할 수 있다. 정지 영상을 부호화, 전송, 또는 저장할 때, 손실이 많은 압축은 하나 이상의 피라미드 하부 레벨들의 일부분을 건너 뛸 수 있으며, 데이터/압축의 양은 이용 가능한 대역폭이나 원하는 이미지 해상도에 따라 쉽게 바뀌거나 조정될 수 있다.

비디오(혹은 동영상) 부호화는 보통 서로 다른 시간 지수들을 가지는 프레임들의 중복되는 정보를 제거하는 모션 추정/보상 절차를 수행한다. 비디오 이미지로 된 프레임들의 웨이브릿 변환을 이용하는 시스템에서, 웨이브릿 도메인의 이미지 데이터에 대해 직접적으로 모션 추정을 수행하는 것이 바람직할 것이다. 그러나, 비디오 내 한 오브젝트의 상대적으로 작은 움직임이 웨이브릿 도메인 데이터에 있어서 큰 변화, 특히 고주파수 성분들의 큰 변화를 야기할 수 있다.

도 3은 배경 컬러 "e" 위에 컬러 "d"를 가지는 오브젝트를 포함하는 이미지의 예를 도시한 것이다. 이 오브젝트의 일부에 해당하는 2x2 매트릭스(310)의 H-변환은 값 2d를 갖는 저주파수 성분 h0와 값이 0인 고주파수 성분 hx를 생성한다. 오브젝트가 다음 프레임의 한 픽셀만큼 왼쪽으로 움직였다면, 그 오브젝트의 테두리는 매트릭스(310)가 제1프레임에서 가진 것과 같은 동일한 상대적 자리를 제2프레임에서 가지는 2x2 매트릭스(320)내에 있게 된다. 매트릭스(320)의 H-변환은 값 d+e를 가진 저주파수 성분 h0와 e-d인 고주파수 성분을 생성한다. 이에 따라, 컬러 e가 컬러 d와 크게 차이가 날 때, 오브젝트의 작은 움직임이 웨이브릿 도메인 데이터의 큰 변화를 초래한다.

웨이브릿 도메인 데이터의 빠른 변화는 웨이브릿 도메인에서의 모션 추정 기술을 복잡하게 만든다. 모션 추정은 공간 도메인에서 수행될 수 있지만, 압축을 위해 공간 도메인에서 웨이브릿 도메인으로 변환하고 모션 추정을 위해 다시 공간 도메인으로 변환한다는 것은, 웨이브릿 도메인 피라미드 구조의 레벨들에 해당하는 일련의 웨이브릿 변환들을 필요로 한다. 역 웨이브릿 변환은 낮은 프로세싱 파워를 가진 시스템에 있어서 실시간 인코딩을 어렵게 만들면서 인코딩 복잡성을 증가시킨다. 따라서 비디오 인코딩 시스템은 낮은 프로세싱 전력 요건을 가지고 효율적인 웨이브릿 도메인 압축 방식을 사용함이 요망되고 있다.

웨이브릿 변환은, 정지 영상의 변동을 어림하여 그 영상을 해석하는 인간의 시각 시스템에 가깝게 정합시키는 공간-주파수 도메인 구조인 정지 영상을 분해한다. 그 결과, 웨이브릿 압축 기술들은 정지 영상 압축 분야에서 상당한 성공을 이루고 있다. 예를 들어, 미국 FBI 지문 압축 표준과 ISO 정지 영상 압축 표준 JPEG2000이 웨이브릿 압축 기술을 이용한다.

도 1은 한 정지 영상의 웨이브릿 변환으로부터 나온 데이터 구조를 도시한 것이다.

도 2는 한 정지 영상 데이터에 일련의 웨이브릿 변환을 적용한 것으로부터 나온 다중-분해 데이터 구조를 도시한 것이다.

도 3은 한 오브젝트의 작은 움직임이 웨이브릿 도메인 데이터 상에서 가질 수 있는 효과를 도시한 것이다.

도 4는 본 발명의 실시예에 따른 웨이브릿 도메인 반-픽셀 보간을 이용하는 인코딩 시스템의 블록도이다.

도 5는 본 발명의 실시예에 따른 웨이브릿 도메인 반-픽셀 보간을 이용하는 디코딩 시스템의 블록도이다.

도 6a, 6b, 및 6c는 본 발명의 실시예에 따른 공간 도메인 또는 저주파수 이미지 데이터 및 관련 반-픽셀 데이터의 표준 분할구획으로부터 각각 수평, 수직, 및 대각선으로 오프셋된 매트릭스들을 도시한 것이다.

도 7a 및 7b는 본 발명의 실시예에 따른 웨이브릿 도메인 반-픽셀 이미지 데이터를 포함하는 멀티-분해 데이터 구조들을 도시한 것이다.

도 8은 본 발명의 실시예에 따른 인코딩 프로세스의 흐름도이다.

도 9는 본 발명의 실시예에 따른 디코딩 프로세스의 흐름도이다.

상이한 도면들에서 동일한 참조 기호의 사용은 유사하거나 동일한 항목을 나타낸다.

본 발명의 한 양상에 따른, H-변환을 이용하는 낮은 복잡도의 반-픽셀(half-pixel) 보간 프로세스는 역변환을 필요로 하지 않으면서 웨이브릿 도메인에서 모션 추정 및 보상을 제공한다. 인코딩을 위해, q-차원(가령, q=2) H-변환이 제1프레임 어레이의 비중복 qxq 매트릭스들에 대해 통상적인 방식으로 적용되어 제1프레임을 나타내는 웨이브릿 도메인 데이터 구조를 생성한다. 제2프레임의 모션 벡터들을 결정할 때, 제1프레임의 웨이브릿 데이터의 "반-픽셀 보간"은, qxq 매트릭스들의 표준 세트에서 수평 및/또는 수직으로 (가령 1 픽셀 정도) 오프셋된 qxq 매트릭스들의 웨이브릿 변환들에 해당하는 반-픽셀 데이터를 생성한다. 그러면 모션 추정 기술은, 제2프레임 어레이에 대한 웨이브릿 도메인 데이터를 제1프레임에 대한 실제 웨이브릿 도메인 데이터 및 보간된 "반-픽셀" 웨이브릿 도메인 데이터와 비교하여 제2프레임에서의 한 오브젝트를 식별할 수 있다.

본 발명의 한 특정 실시예는 웨이브릿 변환부, 반-픽셀 데이터 생성기, 및 모션 추정부를 포함하는 인코더이다. 웨이브릿 변환부는 비디오 프레임들을 나타내는 일반적인 기술들을 이용해 비디오 데이터를 공간 도메인에서 웨이브릿 도메인으로 변환한다. 반-픽셀 데이터 생성기는 웨이브릿 변환부에서 웨이브릿 도메인 데이터를 받아 그 데이터로부터 반-픽셀 데이터를 생성한다. 반-픽셀 데이터는, 웨이브릿 변환부가 변환한 매트릭스들에 대해 오프셋된 매트릭스들의 웨이브릿 변환으로부터 나올 수 있는 웨이브릿 도메인 데이터에 근사하게 된다. 반-픽셀 데이터 생성기는 이하에서 더 설명될 식과 방법을 이용해 역 웨이브릿 변환을 수행하지 않고 웨이브릿 도메인 데이터로부터 반-픽셀 데이터를 생성할 수 있다.

모션 추정부는 웨이브릿 도메인 데이터와 반-픽셀 데이터 모두를 검색해 부호화되는 프레임 내 오브젝트 블록에 가장 잘 맞는 블록을 찾는다. 이에 따라, 상호-부호화(inter-coded, 인터 부호화)되고 있는 프레임 내 오브젝트 블록에 대한 모션 벡터들은 웨이브릿 도메인 데이터의 블록이거나 반-픽셀 데이터의 블록인 최선의 매치(match)를 식별할 수 있다.

일반적으로, 인코더는 양자화부와 양자화 해제(dequantization)부를 더 포함한다. 양자화부는 디코더로의 전송을 위한 프레임들을 부호화하기 위해 데이터를양자화한다. 양자화 해제부는 양자화부로부터 출력된 데이터를 양자화 해제하고, 이어지는 프레임에 대한 모션 추정에 이용하기 위해 그 결과를 메모리나 버퍼에 저장한다. 특히, 반-픽셀 생성기는 보통 양자화 및 양자화 해제 후에 웨이브릿 도메인 데이터를 이용하여 생성된 반-픽셀 데이터가 디코더가 생성할 수 있는 반-픽셀 데이터와 같은 것이 될 수 있도록 한다.

본 발명의 다른 실시예는 비디오 부호화 프로세스이다. 부호화 프로세스는 비디오 데이터의 제1프레임에 대해 웨이브릿 변환을 수행하여 제1웨이브릿 도메인 데이터를 생성하는 단계와, 그 제1웨이브릿 도메인 데이터로부터 반-픽셀 데이터를 생성하는 단계를 포함한다. 반-픽셀 데이터는, 웨이브릿 변환 중에 사용된 매트릭스들에 대해 오프셋된 매트릭스들의 웨이브릿 변환에서 비롯될 수 있는 웨이브릿 도메인 데이터와 근접한 것이 된다. 그리고 나서 부호화 프로세스는 웨이브릿 도메인 데이터와 반-픽셀 데이터를 검색해 제2프레임의 웨이브릿 도메인 데이터로부터의 한 오브젝트 블록과 가장 잘 정합(매치)되는 블록을 찾는다. 따라서, 제2프레임을 표현하는 데이터 구조나 스트림은 그 오브젝트 블록에 가장 잘 정합되는 웨이브릿 도메인 데이터나 반-픽셀 데이터의 블록을 식별하는 모션 벡터를 포함할 수 있다.

본 발명의 또 다른 실시예는 비디오 디코딩 프로세스이다. 디코딩 프로세스는 데이터 구조 또는 데이터 스트림을 디코딩하여 비디오의 제1프레임과 연관된 웨이브릿 도메인 차 어레이 및 모션 벡터들을 추출한다. 각 모션 벡터에 있어서, 디코딩 프로세스는 그 모션 벡터가 제1유형인지 제2유형인지를 판단한다. 제1유형의 모션 벡터들은 제2프레임을 나타내는 웨이브릿 도메인 데이터의 각 블록들을 식별한다. 제2유형의 모션 벡터들은 제2프레임의 일부를 표현하는 오프셋 매트릭스들의 웨이브릿 변환에 대한 근사화에 해당하는 반-픽셀 데이터로 된 각자의 블록들을 식별하며, 이때 상기 오프셋 매트릭스들은 제2프레임을 나타내는 웨이브릿 도메인 데이터를 생성할 때 사용된 매트릭스들에 대해 오프셋되어 있다.

제1프레임에 대한 웨이브릿 도메인 데이터를 구성하기 위해, 디코딩 프로세스는 제1유형의 모션 벡터들에 의해 식별된 웨이브릿 도메인 데이터로 된 각자의 블록들을 각자의 차 어레이 부분들에 더한다. 부가적으로, 제2유형의 각 모션 벡터에 대해, 디코딩 프로세스는 제2유형의 모션 벡터에 의해 식별된 반-픽셀 웨이브릿 도메인 데이터로 된 블록을 생성할 때 제2프레임을 나타내는 웨이브릿 도메인 데이터를 사용하고, 그리고 나서 그 생성 블록을 상기 모션 벡터에 해당하는 차 어레이 부분에 더한다. 제1프레임에 대해 생성된 웨이브릿 도메인 데이터의 역 웨이브릿 변환은 제1프레임의 디스플레이를 가능하게 한다.

본 발명의 또 다른 실시예는 비디오를 표현하는 데이터 구조이다. 일실시예에서 그 데이터 구조는 비디오의 제1프레임에 대한 웨이브릿 도메인 데이터를 나타내는 제1데이터와, 비디오의 제2프레임에 대한 웨이브릿 도메인 차 어레이를 나타내는 제2데이터, 및 제1 및 제2유형의 모션 벡터들을 포함한다. 제1유형의 모션 벡터들은 차 어레이 내 각자의 블록들에 해당하고 차 어레이 내 각자의 블록들에 더하기 위한 제1프레임의 웨이브릿 도메인 데이터 블록들을 식별한다. 제2유형의 모션 벡터들은 차 어레이 내 각자의 블록들에 해당하고, 차 어레이 내 각자의 블록들에 더하기 위한 반-픽셀 데이터의 블록들을 식별한다. 상기 반-픽셀 데이터는 제1프레임에 대한 웨이브릿 도메인 데이터 생성시에 사용된 제1프레임으로부터의 어레이들에 대해 오프셋된, 제1프레임의 어레이들의 웨이브릿 변환에 근사한다.

본 발명에 따르면, 비디오 인코딩을 위한 모션 추정 프로세스는 웨이브릿 변환이 정한 웨이브릿 도메인 이미지 데이터로부터 "반-픽셀(half-pixel)" 웨이브릿 도메인 데이터를 발생한다. 반-픽셀 데이터는 공간 도메인의 웨이브릿 변환의 결과 또는 그 웨이브릿 변환에 이용된 매트릭스들로부터 수평, 수직, 또는 대각선 방향으로 오프셋된 저주파수 매트릭스들에 근사한 것이다. 근사된 반-픽셀 데이터는 모션 추정 중에 역 웨이브릿 변환 및 웨이브릿 데이터의 재변환의 필요 없이 정해지며, 저 사용 처리 전력을 가진 기기 및 어플리케이션들에 적합한 것이다. 비디오 내 오브젝트들의 모션을 나타내는 모션 벡터들을 결정하는 모션 추정 과정은 한 프레임으로부터의 웨이브릿 도메인 오브젝트 블록들을 다른 프레임의 웨이브릿 도메인 데이터 및 반-픽셀 데이터와 비교할 수 있다.

도 4는 본 발명의 일실시예에 따른 비디오 인코더(400)의 블록도이다. 비디오 인코더(400)는 웨이브릿 변환부(410), 양자화부(430), 엔트로피 인코딩부(440), 양자화 해제부(450), 반-픽셀 데이터 생성기(480), 및 모션 추정부(490)를 포함한다. 일반적으로, 비디오 인코더(400)의 동작 블록들은 여기 개시된 인코딩 동작들을 수행하기 위한 전문 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합을 이용해 구축될 수 있다.

동작시 웨이브릿 변환부(410)는 비디오 이미지를, 그 비디오 이미지를 형성하는 일련의 프레임들을 나타내는 일련의 도메인 어레이들로서 수신한다. 웨이브릿 변환부(410)는 각 공간 도메인 어레이를 웨이브릿 도메인 데이터 구조로 변환한다. 특히, 웨이브릿 변환부(410)는 각 공간 도메인 어레이를 비중복 qxq 매트릭스들의 집합들로 분할하고 각 qxq 매트릭스에 대해 웨이브릿 도메인 변환을 수행한다. 본 발명의 전형적 실시예에서, q는 2이고, 저주파수 어레이 또는 공간 도메인 의 웨이브릿 변환은 식 1, 2, 3의 이차원 H-변환이 된다. 그러면 저주파수 웨이브릿 도메인 데이터는 공간 도메인 어레이와 같은 방식으로 변환되는 저주파수 성분 어레이 안에 모일 수 있다. 웨이브릿 변환부(410)는 반복적으로 저주파수 어레이들을 생성하고 그 생성된 어레이들에 대해 웨이브릿 변환을 적용하여 도 2에 도시된 것과 같은 피라미드 데이터 구조를 생성한다. 일반적으로, 그 피라미드 데이터 구조의 레벨 수는 딱 하나의 레벨로 정해지는 것을 포함하여 원하는 대로 한정될 수 있다.

상술한 것과 같은 이차원 H-변환은, 빠르고 낮은 복잡도를 가진 인코더에서의 사용에 대해 여러 장점들을 가진다. 특히, 비중복 qxq 픽셀 블록들의 변환은 인코더(400)의 병렬 처리 구조의 구현을 단순화시키며, H-변환은 8개의 정수 가산/감산으로 공간 또는 저주파수 성분들인 a00, a01, a10, 및 a11의 웨이브릿 도메인 값들인 h0, hx, hy, 및 hd로의 변환을 완수할 수 있게 하는 작은 커널(kernel)을 포함한다. 또한, 이차원 웨이브릿 변환은, 먼저 행들에 대해 변환을 수행하고 그 다음 열들에 대해 변환함으로써 이차원으로 확장되는 일차원 변환들과는 달리, 수평 방향으로 보다 높은 주파수 성분들을 남기고 수직 방향으로 낮은 주파수 성분들을 남기는 문제를 피한다.

부호화되고 있는 프레임이 웨이브릿 변환부(410)를 통과한 후, 인코더(400)의 모든 인코딩 프로세스들은 웨이브릿 도메인에서 수행된다. 모션 추정의 이용 없이 부호화되는 인트라(intra, 내부) 프레임들에 대해, 양자화부(430)가 웨이브릿 변환부(420)로부터의 웨이브릿 도메인 데이터를 양자화하고 엔트로피 코딩부(440)는 인트라 프레임을 나타내는 그 양자화된 웨이브릿에 대해 허프만(Huffman) 부호화와 같은 인코딩 방식을 적용한다. 그리고 나서 부호화된 이미지 데이터는 비디오 인코더(400)의 어플리케이션에 따라 전송 또는 저장될 수 있다.

양자화 해제부(450)는 인코더(400)로부터 데이터를 수신하는 디코더가 그러듯이, 양자화부(430)로부터의 데이터 양자화를 해제한다. 양자화 해제부(450)는 인터(inter) 프레임의 다음 부호화를 위해, 양자화 해제 결과에 따른 웨이브릿 도메인 데이터를 프레임 메모리(470)에 저장한다.

인터 프레임들은 웨이브릿 변환(410)으로부터의 웨이브릿 도메인 프레임 데이터와 모션 벡터들을 이용해 생성된 유사 웨이브릿 도메인 프레임 데이터 및, 저장된 다른 프레임들에 대한 웨이브릿 도메인 데이터와 반-픽셀 데이터 사이의 차(differences)로서 부호화된다. 특히, 가산기(420)는 그 생성된 프레임 데이터를 웨이브릿 변환부(410)로부터의 웨이브릿 도메인 데이터에서 감산하고, 인터 프레임의 부호화를 위해 그 차를 양자화부(430)로 출력한다. 일반적으로, 그 차 데이터는 도 2에 도시된 것과 같은 피라미드 구조의 웨이브릿 도메인 데이터의 각 어레이또는 서브-어레이에 대한 차 어레이를 포함한다.

인터 프레임들에 대해, 양자화 해제부(450)는 상기 차 데이터를 양자화 해제하고, 가산기(460)는 모션 벡터들로부터 생성되었던 유사 프레임 데이터 및 프레임 메모리(470)에 이전에 저장된 반-픽셀 데이터 또는 웨이브릿 도메인 데이터를 다시 가산한다. 그 결과에 따른 웨이브릿 도메인 프레임 데이터가, 다른 인터 프레임들에 필요로 될 모션 추정 프로세스를 위해, 프레임 메모리(470)에 저장된다.

양자화부(430)는 양자화를 수행하고 엔트로피 코딩부(440)는 그에 따른 차 프레임 데이터를 부호화한다. 엔트로피 코딩부(440)는 또한 출력 데이터인 CODE의 일부로서 인터 프레임에 대한 모션 벡터들을 부호화하기도 한다.

도 5는 출력 데이터 CODE를 복호화할 수 있는 디코더(500)의 블록도이다. 디코더(500)는 엔트로피 디코딩부(510) 및, 양자화 및 엔트로피 코딩을 해제하여 인트라 프레임들에 대한 웨이브릿 도메인 데이터 또는 인터 프레임들을 위한 차 데이터 및 모션 벡터들을 생성하는 양자화 해제부(520)를 포함한다. 인트라 프레임들을 위한 웨이브릿 도메인 데이터는 프레임 메모리(540)에 직접 저장될 수 있다. 역 웨이브릿 변환부(550)는 웨이브릿 도메인 데이터를, 디스플레이나 다른 용도를 위한 비디오 프레임을 나타내는 공간 도메인 데이터 VIDEO'로 변환한다.

인터 프레임들에 대해, 가산기(530)는 모션 벡터들이 현 프레임을 위해 식별한 프레임 메모리(540)로부터의 웨이브릿 도메인 데이터 또는 반-픽셀 데이터의 차 어레이 블록들로 가산한다. 이에 따라, 모션 벡터가 반-픽셀 데이터의 블록을 식별할 때, 반-픽셀 데이터 생성기(550)는 인코더(400)의 반-픽셀 데이터 생성기(480)와 같은 기술들을 이용해 프레임 메모리(540)의 웨이브릿 도메인 데이터로부터 반-픽셀 데이터의 필요 블록을 생성한다.

본 발명의 한 양상에 따르면, 웨이브릿 도메인 반-픽셀 데이터 생성기들(480 및 550)은 웨이브릿 변환부(410)가 사용하지 않았던 저주파수 웨이브릿 도메인 계수들이나 공간 도메인 픽셀값들로 된 qxq 매트릭스들의 웨이브릿 변환들과 일치하거나 거의 근사하게 된다. 특히, 도 6a, 6b, 및 6c는 16개의 픽셀 값들 또는 저주파수 성분들 a에서 p로 이뤄진 한 어레이를 도시하고 있으며, 그 값 또는 성분들은 웨이브릿 변환을 위한 네 개의 2x2 어레이들(610, 620, 630, 및 640)로 구획된다. 전형적 실시예에서, 웨이브릿 변환부(410)는 어레이들(610, 620, 630 및 640)의 이차원 H-변환을 수행하여 웨이브릿 도메인 계수들인 {h01, hx1, hy1, hd1}, {h02, hx2, hy2, hd2}, {h03, hx3, hy3, hd3}, 및 {h04, hx4, hy4, hd4}의 네 집합들을 생성한다.

도 6a, 6b,및 6c는 또한 웨이브릿 변환부(410)가 변환한 어레이들(610, 620, 630 및 640)에 대해 오프셋된 어레이들(612, 634, 613, 624, 및 614) 역시 도시하고 있다. 특히, 어레이(612, 또는 634)는 어레이들(610 및 620, 또는 630 및 640)로부터 수평방향으로 한 픽셀 오프셋된 것이다. 어레이(613, 또는 624)는 어레이들(610 및 630, 또는 620 및 640)로부터 수직방향으로 한 픽셀 오프셋된 것이고, 어레이(614)는 어레이들(610, 620, 630 및 640) 각각으로부터 대각선 방향으로 한 픽셀 오프셋된 것이다.

웨이브릿 변환부(410)는 오프셋 어레이들(612, 634, 613, 624, 및 614)의 웨이브릿 변환들을 정하지 않는데, 그 이유는 한 프레임을 표현하는데 있어 그러한 변환들이 필요로 되지 않기 때문이다. 즉, 그러한 변환들은 다운(down) 샘플링을 위해 건너뛰게 된다. 어레이들(612, 634, 613, 624, 및 614)에 대한 웨이브릿 도메인 변환들은 a에서 p까지인 픽셀 값들이나 웨이브릿 도메인 계수들인 {h01, hx1, hy1, hd1}, {h02, hx2, hy2, hd2}, {h03, hx3, hy3, hd3}, 및 {h04, hx4, hy4, hd4}로부터 꼭 맞게 정해질 수 있으나, 웨이브릿 도메인 파라미드 구조로부터의 저주파수 웨이브릿 도메인 성분들인 h01, h02, h03, 및 h04이나 a에서 p까지의 픽셀 값들에 대한 결정은 일반적으로 일련의 역 웨이브릿 변환들을 필요로 한다. 다중-분해 구조의 각 레벨마다 고주파수 성분들이 사용될 수 있으나, 다중-분해 구조의 최상위 레벨에서는 저주파수 성분들만이 사용 가능하게 된다.

상술한 바와 같이, 저처리 전력 인코딩 또는 디코딩 프로세스는, 오프셋 어레이(612, 634, 613, 624, 또는 614)에 대한 웨이브릿 도메인 계수들이 어레이들(610, 620, 630, 및 640)의 웨이브릿 도메인 계수들과 크게 달라질 수 있다고 하더라도, 역 웨이브릿 변환들을 피하는 쪽으로 모색된다. 역 웨이브릿 변환을 피하기 위해, 반-픽셀 데이터 생성기(480)는 어레이들(612, 634, 613, 624, 및 614) 및 서브밴드의 다른 오프셋 어레이들에 대한 웨이브릿 변환에 근사되는 반-픽셀 데이터를 생성시, 사용 불가능한 저주파수 성분들인 h01, h02, h02, 및 h04의 근사값을 이용한다. 부가적으로, 웨이브릿 도메인 반-픽셀 데이터 생성기(480)는 피라미드 웨이브릿 도메인 데이터 구조의 다른 레벨들에 있는 유사한 오프셋 어레이들에 대한 웨이브릿 변환의 근사값들을 만들어 피라미드 구조의 모든 레벨들 안의 모든 서브밴드에 대한 반-픽셀 모션 추정을 가능하게 한다.

식 4는 오프셋 어레이들과 관련된 반-픽셀 데이터를 획득하기 위한 식을 구하는 기술을 일반적으로 요약하여 나타낸 것이다.

식 4:

식 4에서, hx, hy, 및 hd는 실제 고주파수 웨이브릿 도메인 성분들이고, h0'는 2x2 어레이를 위한 실제 저주파수 성분 h0의 근사값이다. 피라미드 데이터 구조의 최상위 레벨의 해당 저주파수 성분에 의해 제공되는 것과 같은 로컬 저주파수 웨이브릿 계수들의 평균이 통상적으로 실제 저주파수 계수 h0의 합당한 근사값을 나타내지만 h0의 다른 근사값들도 사용될 수 있다. 어레이h'는 상기 저주파수 성분의 근사값을 갖는 웨이브릿 도메인 계수들을 나타내며,h'에 역 H-변환을 적용하여 공간 도메인 픽셀값들 또는 저주파수 계수들로 된 근사 매트릭스A'를 산출한다. 이동 또는 오프셋된 어레이A' _t를 대체하여 그 대체된 어레이A' _t에 H-변환을 적용하여 실제 웨이브릿 도메인 계수들인 h0, hx, hy, 및 hd를 근사화하는 웨이브릿 도메인 어레이h' _t를 발생한다. 식 4에 나타낸 수학적 연산을 수행하여 반-픽셀 웨이브릿 도메인 데이터(가령, 어레이들 612, 634, 613, 624, 및 614)에 대해 중복 어레이들(가령, 어레이들 610, 620, 630, 및 640)의 웨이브릿 도메인 계수들 및 웨이브릿 도메인 피라미드 데이터 구조의 최상위-레벨 저주파수 성분들의 관점으로 환산한 식들을 제공한다.

도 6a의 어레이들(612 및 634)과 같이 수평으로 오프셋된 어레이들에 대해, 반-픽셀 데이터 생성기(480)는 식 5를 이용해 반-픽셀 계수들인 h0'(r, s), hxx(r, s), hyx(r, s), 및 hdx(r, s)를 생성한다.

식 5:

식 5에서, i는 관련된 수평 오프셋 어레이들을 포함하는 다중-분해 웨이브릿 도메인 데이터 구조의 레벨이고; r 및 s는 바람직한 오프셋 어레이로부터 하나의 계수만큼 수평 오프셋된 어레이들을 식별하는 지수들이고; hxr, hyr, 및 hdr은 웨이브릿 도메인 계수들이며 h0'r은 왼쪽 어레이 r에 해당하는 저주파수 웨이브릿 도메인 계수 근사값이고; hxs, hys, 및 hds는 웨이브릿 도메인 계수들이며 h0's는 오른쪽 어레이 s에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값이고; h0(r,s)^TOP은 다중-분해 데이터 구조의 최상위 레벨 (MAXLEVEL) 및 r 및 s 어레이들을 포함하는 한 어레이에 해당하는 저주파수 웨이브릿 도메인 계수 또는 저주파수 웨이브릿 도메인 계수들의 평균이다. hyx(r, s) 및 hdx(r, s)에 대한 식 5는 근사값 h0's 또는 h0'r를 사용하지 않으며 정확하다.

도 6b의 어레이들(613 및 624)과 같이 수직방향으로 오프셋된 어레이들에 대해, 반-픽셀 데이터 생성기(480)는 식 6을 이용해 반-픽셀 계수들인 h0'(r, s), hxy(r, s), hyy(r, s), 및 hdy(r, s)를 생성한다.

식 6:

식 6에서, i는 관련된 수직 오프셋 어레이들을 포함하는 다중-분해 웨이브릿 도메인 데이터 구조의 레벨이고; r 및 s는 오프셋 어레이로부터 한 픽셀 만큼 수직 오프셋된 어레이들을 식별하는 지수들이고; hxr, hyr, 및 hdr은 웨이브릿 도메인 계수들이며 h0'r은 최상위 어레이 r에 해당하는 저주파수 웨이브릿 도메인 계수 근사값이고; hxs, hys, 및 hds는 웨이브릿 도메인 계수들이며 h0's는 최하부 어레이 s에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값이고; h0(r, s)^TOP은 다중-분해 데이터 구조의 최상위 레벨 (MAXLEVEL)로부터의 저주파수 웨이브릿 도메인 계수또는 평균이며 r 및 s 어레이들을 포함하는 한 어레이에 해당한다. hxy(r, s) 및 hdy(r, s)에 대한 식 6은 근사값 h0's 또는 h0'r를 사용하지 않으며 정확하다.

도 6c의 어레이(614)와 같이 대각선 방향으로 오프셋된 어레이에 대해, 반-픽셀 데이터 생성기(480)는 식 7을 이용해 반-픽셀 계수들인 h0'(r, s), hxd(r, s), hyd(r, s), 및 hdd(r, s)를 생성한다.

식 7:

식 7에서, i는 관련된 대각방향 오프셋 어레이를 포함하는 다중-분해 웨이브릿 도메인 데이터 구조의 레벨이고; r, s, t 및 u는 오프셋 어레이로부터 한 픽셀 만큼 대각선 방향으로 오프셋된 어레이들을 식별하는 지수들이고; hxr, hyr, 및 hdr은 웨이브릿 도메인 계수들이며 h0'r은 좌측 상부 어레이 r에 해당하는 저주파수 웨이브릿 도메인 계수 근사값이고; hxs, hys, 및 hds는 웨이브릿 도메인 계수들이며 h0's는 우측 상부 어레이 s에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값이고; hxt, hyt, 및 hdt는 웨이브릿 도메인 계수들이고 h0't는 좌측 하부 어레이 t에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값이고; hxu, hyu, 및 hdu는 웨이브릿 도메인 계수값들이고 h0'u는 우측 하부 어레이 u에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값이며; h0(r, u)^TOP은 다중-분해 데이터 구조의 최상위 레벨 (MAXLEVEL)로부터의 저주파수 웨이브릿 도메인 계수 또는 평균이며 r 및 u 어레이들을 포함하는 한 어레이에 해당한다.

도 4의 인코더(400)에서, 프레임 메모리(470)는 부호화, 양자화, 양자화 해제, 및 복호화되었던 이전 프레임에 대한 웨이브릿 도메인 데이터(가령, 피라미드 구조)를 포함한다. 다음 프레임의 인터 코딩을 위해, 반-픽셀 생성기(480)는 메모리(470)내 상기 이전 프레임에 대한 웨이브릿 도메인 데이터를 이용하여 반-픽셀 데이터를 생성한다. 특히, 반-픽셀 데이터 생성기(480)는 식 5, 6, 및 7을 이용해 피라미드 데이터 구조의 각 레벨 i에 대한 반-픽셀 웨이브릿 도메인 데이터를 생성할 수 있다.

최종적 웨이브릿 도메인 데이터와 생성기(480)로부터의 반-픽셀 웨이브릿 도메인 데이터는 도 7a에 도시된 다중-분해 데이터 구조(700) 안으로 결합될 수 있다. 다중-분해 데이터 구조(700)의 각 레벨의 서브-밴드 어레이들인Hx,Hy및Hd는 각자의 웨이브릿 도메인 계수들인 hx, hy, 및 hd 뿐 아니라 그 웨이브릿 도메인 계수들 hx, hy, 및 hd 사이에 맞춰지는 반-픽셀 웨이브릿 도메인 계수들의 근사값 (hxx, hxy, hxd), (hyx, hyy, hyd), 및 (hdx, hdy, hdd) 역시 포함하는 것으로 확장된다. 피라미드 구조의 최상위 레벨은 최상위 레벨에 대해서만 딱 맞게 산출될 수 있는, 저주파수 계수들 h0^TOP및 반-픽셀 저주파수 계수들 hx^TOP, hy^TOP, 및 hd^TOP을 더 포함한다.

도 7b는 다중-분해 데이터 구조(750)내, 웨이브릿 도메인 데이터 및 반-픽셀웨이브릿 도메인 데이터의 다른 대안적 구성을 도시한 것이다. 데이터 구조(750)는 최상위 레벨 아래의 모든 레벨에서 12 개의 서브-어레이들인Hx , Hy , Hd , Hxx , Hyx, Hdx , Hxy , Hyy , Hdy , Hxd , Hyd, 및Hdd를 포함한다. 서브 어레이들인Hx , Hy,및Hd들은 각자 기본적인 픽셀 값들의 해당 위치들에 따라 배열된 웨이브릿 도메인 계수들 hx, hy, 및 hd를 포함한다. 서브 어레이들Hxx , Hyx , Hdx , Hxy , Hyy , Hdy, Hxd , Hyd, 및Hdd은 각자 기본적인 픽셀 값들의 위치에 따라 배열된 반-픽셀 웨이브릿 도메인 계수들인 hxx, hyx, hdx, hxy, hyy, hdy, hxd, hyd, 및 hdd를 포함한다. 다중-분해 데이터 구조(750)는 다른 프레임의 동일 레벨에 있는 오브젝트 블록의 웨이브릿 도메인 데이터의 블록들과의 비교를 단순화할 수 있는데, 그것은 그 오브젝트 블록이 서브 어레이들인Hxx , Hyx , Hdx , Hxy , Hyy , Hdy , Hxd , Hyd, 및Hdd의 블록들과 직접 비교될 수 있기 때문이다.

모션 추정부(490)는 부호화되고 있는 인터 프레임의 영역에 가장 잘 부합되는 것을 찾을 때, 이전 프레임에 대한 웨이브릿 도메인 데이터 및 반-픽셀 데이터를 찾는다. 반-픽셀 웨이브릿 데이터의 사용은 인터 프레임의 웨이브릿 도메인 데이터의 블록들과 부합되는 코드북(codebook)의 벡터들의 수를 효과적으로 늘리며, 이에 따라 인코딩 중 달성되는 영상 품질 및 압축률을 개선시킬 수 있다.

도 8은 인코더(400)(도 4)에서 구현된 본 발명의 일실시예에 따른 비디오 인코딩 프로세스(800)의 흐름도이다. 인코딩 프로세스(800)는 웨이브릿 변환부(410)가 비디오 이미지의 한 프레임에 대한 웨이브릿 도메인 데이터를 생성하면서 시작된다(810 단계). 그리고 나서 그 프레임이 모션 추정 없이 부호화되는 인트라 프레임인지, 모션 추정이 필요한 인터 프레임인지가 판단된다(815 단계). 이와 다른 대안으로서, 모션 추정이 수행한 압축량을 판단한 후에 그 프레임이 인트라 부호화될지 인터 부호화될지의 선택이 이뤄질 수 있다. 특히, 모션 추정이 그 프레임이 이전 프레임과 상당히 다르다는 것을 나타낼 때, 그 프레임은 인트라 인코딩하는 것으로 선택될 수 있다.

인트라 프레임에 대해, 양자화부(430) 및 엔트로피 코딩부(440)가 그 프레임에 대한 웨이브릿 도메인 데이터를 양자화, 부호화 및 전송한다. 양자화 해제부(450)는 다른 프레임들에 대한 모션 추정의 가능한 용도를 위해 그 양자화된 웨이브릿 데이터를 양자화 해제한다(825 단계). 프레임 버퍼(470)는 양자화 해제부(450)로부터 출력된 양자화 해제된 웨이브릿 데이터를 저장한다.

반-픽셀 데이터 생성기(480)가 프레임 메모리(470)에 버퍼링된 웨이브릿 도메인 데이터로부터 반-픽셀 데이터를 생성한다(830 단계). 이 반-픽셀 데이터는 인터 코딩되는 다음 프레임을 예상하여 생성되지만, 어떤 경우들에서는 이 반-픽셀 데이터가 필요치 않을 수도 있다. 처리 전력 요건을 줄이기 위해, 다른 대안적 인코딩 프로세스는 모션 추정을 요하는 프레임의 인터 코딩 중에만 반-픽셀 데이터를 생성한다.

반-픽셀 웨이브릿 도메인 정보의 생성 후, 부호화될 다른 프레임을 식별하였으면(835 단계) 다시 810 단계로 간다.

부호화되는 프레임이 인터 프레임이면, 815 단계로부터, 모션 추정부(490)가 그 프레임에서 오브젝트 블록을 선택하는 단계(840 단계)로 간다. 오브젝트 블록은 웨이브릿 도메인 피라미드 데이터 구조의 특정 레벨에 있는 웨이브릿 도메인 계수들의 블록일 수 있다. 다양한 오브젝트 블록 선택 프로세스들이 이용될 수 있다. 예를 들어, 각 오브젝트 블록은 블록들의 컨텐츠에 따라 선택되는 불규칙한 크기를 가질 수 있다. 이와 달리, 블록들이 고정된 크기(가령, 16x16 어레이)나, 오브젝트 블록의 피라미드 구조의 레벨에 따라 선택되는 어떤 크기를 가질 수도 있다.

일단 오브젝트 블록이 선택되었으면, 모션 추정부(490)는 최선의 정합 블록을 식별하기 위해, 이전 프레임의 동일 레벨에 있는 웨이브릿 도메인 데이터 및 반-픽셀 데이터를 검색한다. 모션 추정부(490)는 그리고 나서 최선의 정합 블록에 해당하는 모션 벡터를 생성한다. 각 모션 벡터는 그것이 웨이브릿 도메인 데이터를 식별하는지 반-픽셀 데이터를 식별하는지를 나타내거나 나타내지 않도록 설정된 추가 비트를 포함할 수 있다. 그에 따라 모션 벡터는 웨이브릿 도메인 데이터의 블록이나 반-픽셀 데이터의 블록 가운데 하나를 식별할 수 있다. 최선의 정합 블록은 오브젝트 블록에서 감산되어져 차 블록을 생성하는데(855 단계), 이 차 블록은 부호화되고 있는 프레임을 나타내는 차 데이터의 일부가 된다. 그리고 나서 다른 오브젝트 블록이 선택될 수 있는지의 여부가 판단된다(860 단계).

모션 추정부(490)는 선택할 어떤 오브젝트 블록들도 남아 있지 않을 때까지 다중-분해 구조의 각 레벨에 대해 840에서 860 단계들을 반복하며, 차 블록들의 모임이 그 프레임에 대한 웨이브릿 도메인 차 데이터를 형성하다. 양자화부(430) 및 엔트로피 코딩부(440)는 상기 웨이브릿 도메인 차 데이터 및 관련 모션 벡터들을양자화하고 부호화하며 전송한다(865 단계).

양자화 해제부(450)는 상기 차 데이터를 양자화 해제하고(870 단계), 가산기(460)가 모션 벡터들이 식별한 그 최선의 정합 블록들을 더한다(875 단계). 그 결과, 인코딩 프로세스(800)는 (양자화, 부호하, 복호화, 또는 양자화 해제시 아마도 개제되었던 변화와 더불어) 상기 웨이브릿 도메인 데이터를 재구성하며, 그리고 나서 830 단계로 돌아가 다음 프레임에 대한 모션 추정에 사용할 지 모를 반-픽셀 데이터를 생성한다.

모션 추정 프로세스가 반-픽셀 데이터를 식별할 수 있는 모션 벡터들을 이용하기 때문에, 디코딩 프로세스는 약간의 반-픽셀 웨이브릿 도메인 이미지 데이터를 필요로 할 수 있다. 도 9는 본 발명의 일실시예에 따른 디코딩 프로세스(900)의 흐름도이다.

디코딩(복호화) 프로세스(900)는 디코더(500)가 부호화된 프레임 데이터를 수신하는 것으로 시작한다(910 단계). 디코더(500)는 그 프레임 데이터가 인터 프레임이지 인트라 프레임인지를 판단한다(915 단계). 인트라 프레임의 데이터는 모션 벡터들을 포함하지 않으므로 디코딩할 반-픽셀 데이터가 필요 없다. 이에 따라, 인트라 프레임들은 통상적인 기술들을 이용해 복호화될 수 있다. 특히, 하나의 인트라 프레임을 나타내는 웨이브릿 도메인 데이터는 복호화 및 양자화 해제되고(920 단계), 픽셀 정보를 재구성하기 위해 그 데이터에 대해 역 웨이브릿 변환이 수행된다(965 단계). 역 변환 전에, 인터 프레임들을 디코딩하는데 어쩌면 계속 사용될 수 있도록 하기 위해, 그 웨이브릿 도메인 데이터를 버퍼링한다(920 단계).

수신된 프레임 데이터가 인터 프레임이라고 판단되면(915 단계), 프로세스(900)는 차 데이터 및 인터 프레임 관련 모션 벡터들을 복호화하고 양자화 해제하는 단계로 간다(925 단계). 그리고 나서 그 차 데이터 및 저장된 이전 프레임의 웨이브릿 도메인 데이터로부터 인터 프레임의 웨이브릿 도메인 데이터를 재구성하는 프로세스를 위해 모션 벡터들 중 하나를 선택한다(930 단계).

930 단계 다음에, 상기 선택된 모션 벡터가 웨이브릿 도메인 데이터의 정합 블록에 해당하는지, 반-픽셀 데이터의 정합 블록에 해당하는지를 판단한다(935 단계). 모션 벡터가 웨이브릿 도메인 데이터의 블록에 해당하면, 저장된 이전 프레임들의 웨이브릿 도메인 데이터로부터 웨이브릿 도메인 데이터의 블록을 식별해 사용한다(945 단계).

상기 선택된 모션 벡터가 반-픽셀 데이터의 블록에 해당하면, 저장된 이전 프레임들에 대한 웨이브릿 도메인 데이터로부터 반-픽셀 데이터의 블록을 생성한다(940 단계). 특히, 940 단계는 상술한 것과 같은 식 5, 6, 및 7을 사용해 필요한 블록 반-픽셀 데이터를 생성한다. 디코딩하기 위해, 모든 반-픽셀 데이터의 생성이 필요한 것은 아니며, 처리 전력 요건을 감소시키기 위해 모션 벡터들에 의해 식별된 반-픽셀 데이터의 블록들만 생성된다. 이와는 달리, 디코더가 모션 벡터들이 특정 블록들을 식별하기 전에 모든 반-픽셀 웨이브릿 도메인 데이터를 결정할 수도 있다.

식별되거나 생성된 웨이브릿 도메인 데이터 또는 반-픽셀 데이터의 블록을, 차 어레이 내 그 모션 벡터에 해당하는 한 블록에 더한다(950 단계). 각 모션 벡터에 대해 한번씩 930에서 955 단계들을 반복하여 950 단계의 가산이 복호화되는 인터 프레임에 대한 웨이브릿 도메인 데이터를 재구성할 수 있도록 한다. 그 프레임의 표시를 위해 필요한 픽셀 데이터를 재구성하기 위해 역 웨이브릿 변환을 수행하기(965 단계) 전에, 새로 복호된 웨이브릿 도메인 데이터는 다음 인터 프레임을 복호화하는데 사용될 여지를 위해 저장된다.

상술한 바와 같이, 상대적으로 소량의 처리 전력을 가진 인코더는 웨이브릿 도메인 데이터로부터 반-픽셀 데이터를 생성할 수 있다. 반-픽셀 데이터는 모션 추정 검색시 포함될 수 있고, 가능한 정합 블록들의 코드북을 효과적으로 확대시킨다. 이 확대는 비디오 신호의 반복 정보의 보다 효과적인 제거가 이뤄지게 함으로써 압축을 향상시킨다.

본 발명이 특정 실시예들을 참조해 설명되었으나, 그러한 설명은 다만 본 발명의 어플리케이션의 예일 뿐으로 그에 국한한 것으로 이해되어서는 안될 것이다. 예를 들어, 상기 설명은 이어지는 타겟 프레임에 대한 이전의 소스 프레임에 기반한 모션 추정을 강조했지만, 그 타겟 프레임에 뒤따르는 이전 소스 프레임이나 여러 소스 프레임들을 이용한 다른 모션 추정 과정들 역시 본 발명의 실시예에 이용되는데 적합하다. 또, 상술한 본 발명의 원리는 다른 유형 및 차원의 웨이브릿 변환들에도 보다 일반적으로 적용될 수 있다. 개시된 실시예들의 특징들에 대한 여러 가지 다른 적응 및 조합이 이어지는 청구항들에서 규정한 것과 같은 본 발명의 범주 안에서 있을 수 있다.

Claims

비디오 데이터를 공간 도메인에서 웨이브릿(wavelet) 도메인으로 변환하는 웨이브릿 변환부;

상기 웨이브릿 변환부와 연결되어 그로부터 상기 웨이브릿 도메인 데이터를 수신하고, 상기 웨이브릿 도메인 데이터로부터, 상기 웨이브릿 변환부가 변환한 매트릭스들에 대해 오프셋(offset)된 매트릭스들의 웨이브릿 변환에서 나온 웨이브릿 도메인 데이터에 근사한 반-픽셀(half-pixel) 데이터를 생성하는 반-픽셀 데이터 생성기; 및

상기 웨이브릿 도메인 데이터 및 상기 반-픽셀 데이터를 검색해, 부호화 중인 프레임 내 한 오브젝트 블록에 가장 잘 정합하는 블록을 찾는 모션 추정부를 포함함을 특징으로 하는 인코더(encoder).
제1항에 있어서, 상기 반-픽셀 데이터 생성기는 역 웨이브릿 변환을 수행하지 않고 상기 웨이브릿 도메인 데이터로부터 반-픽셀 데이터를 생성함을 특징으로 하는 인코더.
제1항에 있어서,

인트라(intra) 프레임들의 부호화를 위해 상기 웨이브릿 도메인 데이터를 양자화하는 양자화부;

메모리; 및

상기 양자화부로부터 출력된 데이터를 양자화 해제하고, 다음 프레임의 모션 추정에 사용하기 위해 그 결과를 상기 메모리에 저장하는 양자화 해제부를 더 포함함을 특징으로 하는 인코더.
제1항에 있어서, 상기 웨이브릿 변환은 이차원 H-변환임을 특징으로 하는 인코더.
제1항에 있어서, 상기 반-픽셀 생성기는 다중-분해(multi-resolution) 데이터 구조의 한 레벨에 대해, 그 레벨의 고주파수 웨이브릿 도메인 데이터와 그 레벨의 저주파수 웨이브릿 도메인 데이터의 근사치를 이용해, 반-픽셀 데이터를 생성함을 특징으로 하는 인코더.
제5항에 있어서, 상기 레벨의 상기 저주파수 웨이브릿 도메인 데이터의 근사치는 상기 다중-분해 데이터 구조의 상위 레벨에서의 저주파수 웨이브릿 도메인 데이터로부터 정해짐을 특징으로 하는 인코더.
제5항에 있어서, 상기 다중-분해 데이터 구조의 상위 레벨은 상기 다중-분해 데이터 구조의 최상위 레벨임을 특징으로 하는 인코더.
제1항에 있어서, 상기 웨이브릿 도메인 데이터에 상응하는 매트릭스들로부터 수평 방향으로 오프셋된 한 오프셋 매트릭스에 대해, 상기 인코더는, r 및 s가 상기 오프셋 매트릭스로부터 한 계수만큼 수평방향으로 오프셋 된 어레이들을 식별하는 지수들이고; hxr, hyr, 및 hdr이 웨이브릿 도메인 계수들이며 h0'r은 r에 해당하는 저주파수 웨이브릿 도메인 계수 근사값이고; hxs, hys, 및 hds는 웨이브릿 도메인 계수들이며 h0's는 s에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값인 이하의 식,

을 이용해, 반-픽셀 계수들인 hxx(r, s), hyx(r, s), 및 hdx(r, s)를 포함하는 반-픽셀 데이터를 결정함을 특징으로 하는 인코더.
제1항에 있어서, 상기 웨이브릿 도메인 데이터에 상응하는 매트릭스들로부터 수직 방향으로 오프셋된 한 오프셋 매트릭스에 대해, 상기 인코더는, r 및 s가 상기 오프셋 매트릭스로부터 한 계수만큼 수직방향으로 오프셋 된 어레이들을 식별하는 지수들이고; hxr, hyr, 및 hdr은 웨이브릿 도메인 계수들이며 h0'r은 r에 해당하는 저주파수 웨이브릿 도메인 계수 근사값이고; hxs, hys, 및 hds는 웨이브릿 도메인 계수들이며 h0's는 s에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값인 이하의 식,

을 이용해 반 픽셀 계수들인 hxy(r, s), hyy(r, s), 및 hdy(r, s)를 포함하는 반-픽셀 데이터를 결정함을 특징으로 하는 인코더.
제1항에 있어서, 상기 웨이브릿 도메인 데이터에 해당하는 매트릭스들로부터 대각선 방향으로 오프셋된 한 오프셋 매트릭스에 대해, 상기 인코더는 r, s, t 및 u가 상기 오프셋 매트릭스로부터 한 픽셀 만큼 대각선 방향으로 오프셋된 어레이들을 식별하는 지수들이고; hxr, hyr, 및 hdr은 웨이브릿 도메인 계수들이며 h0'r은 r에 해당하는 저주파수 웨이브릿 도메인 계수 근사값이고; hxs, hys, 및 hds는 웨이브릿 도메인 계수들이며 h0's는 s에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값이고; hxt, hyt, 및 hdt는 웨이브릿 도메인 계수들이고 h0't는 t에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값이고; hxu, hyu, 및 hdu는 웨이브릿 도메인 계수값들이고 h0'u는 우측 하부 어레이 u에 해당하는 저주파수 웨이브릿 도메인계수의 근사값인 이하의 식,

을 이용하여 반 픽셀 계수들인 hxy(r, s), hyy(r, s), 및 hdy(r, s)를 포함하는 반-픽셀 데이터를 결정함을 특징으로 하는 인코더.
비디오 데이터의 제1프레임에 웨이브릿 변환을 수행하여 제1웨이브릿 도메인 데이터를 생성하는 단계;

상기 제1웨이브릿 도메인 데이터로부터, 상기 웨이브릿 변환 중에 사용된 매트릭스들에 대해 오프셋된 매트릭스들의 웨이브릿 변환에서 나온 웨이브릿 도메인 데이터에 근사된 반-픽셀 데이터를 생성하는 단계;

웨이브릿 도메인 데이터 및 상기 반-픽셀 데이터를 검색해, 제2프레임을 나타내는 제2웨이브릿 도메인 데이터로부터의 한 오브젝트 블록에 가장 잘 정합하는 한 블록을 찾는 단계; 및

상기 오브젝트 블록에 가장 잘 정합되는 상기 블록을 식별하는 모션 벡터를 상기 제2프레임을 나타내는 데이터 스트림 내에 포함시키는 단계를 포함함을 특징으로 하는 인코딩(encoding) 방법.
제11항에 있어서, 상기 제1웨이브릿 도메인 데이터로부터 반-픽셀 데이터를 생성하는 단계는 역 웨이브릿 변환을 수행하지 않고 행해짐을 특징으로 하는 인코딩 방법.
제11항에 있어서,

상기 제1웨이브릿 도메인 데이터는 최상위 레벨 및 하부 레벨들을 포함해 복수개의 레벨들을 구비하며, 각 하부 레벨은 고주파수 웨이브릿 도메인 데이터를 포함하고, 최상위 레벨은 고주파수 웨이브릿 도메인 데이터 및 저주파수 웨이브릿 도메인 데이터를 포함하고,

상기 제1웨이브릿 도메인 데이터로부터 반-픽셀 데이터를 생성하는 단계는 상기 하부 레벨들 중 하나에서의 고주파수 웨이브릿 도메인 데이터를 그 하부 레벨의 저주파수의 근사값과 결합하는 단계를 포함하는 단계를 구비함을 특징으로 하는 인코딩 방법.
제13항에 있어서, 상기 하부 레벨의 저주파수의 근사값은 상기 최상위 레벨의 저주파수 웨이브릿 도메인 데이터로부터 도출됨을 특징으로 하는 인코딩 방법.
제11항에 있어서, 상기 반-픽셀 데이터를 생성하는 단계는, r 및 s가 상기 오프셋 매트릭스로부터 한 계수만큼 수평방향으로 오프셋 된 어레이들을 식별하는지수들이고; hxr, hyr, 및 hdr이 웨이브릿 도메인 계수들이며 h0'r은 r에 해당하는 저주파수 웨이브릿 도메인 계수 근사값이고; hxs, hys, 및 hds는 웨이브릿 도메인 계수들이며 h0's는 s에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값인 경우, 이하의 식,

을 이용해, 상기 웨이브릿 도메인 데이터에 상응하는 매트릭스들로부터 수평 방향으로 오프셋된 한 오프셋 매트릭스에 대해, 반-픽셀 계수들인 hxx(r, s), hyx(r, s), 및 hdx(r, s)를 결정하는 단계를 포함함을 특징으로 하는 인코딩 방법.
제11항에 있어서, 상기 반-픽셀 데이터를 생성하는 단계는, r 및 s가 상기 오프셋 매트릭스로부터 한 계수만큼 수직방향으로 오프셋 된 어레이들을 식별하는 지수들이고; hxr, hyr, 및 hdr은 웨이브릿 도메인 계수들이며 h0'r은 r에 해당하는 저주파수 웨이브릿 도메인 계수 근사값이고; hxs, hys, 및 hds는 웨이브릿 도메인 계수들이며 h0's는 s에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값인 경우,이하의 식,

을 이용해 상기 웨이브릿 도메인 데이터에 상응하는 매트릭스들로부터 수직 방향으로 오프셋된 한 오프셋 매트릭스에 대해 반 픽셀 계수들인 hxy(r, s), hyy(r, s), 및 hdy(r, s)를 결정하는 단계를 포함함을 특징으로 하는 인코딩 방법.
제11에 있어서, 상기 반-픽셀 데이터를 생성하는 단계는, r, s, t 및 u가 상기 오프셋 매트릭스로부터 한 픽셀 만큼 대각선 방향으로 오프셋된 어레이들을 식별하는 지수들이고; hxr, hyr, 및 hdr은 웨이브릿 도메인 계수들이며 h0'r은 r에 해당하는 저주파수 웨이브릿 도메인 계수 근사값이고; hxs, hys, 및 hds는 웨이브릿 도메인 계수들이며 h0's는 s에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값이고; hxt, hyt, 및 hdt는 웨이브릿 도메인 계수들이고 h0't는 t에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값이고; hxu, hyu, 및 hdu는 웨이브릿 도메인 계수값들이고 h0'u는 우측 하부 어레이 u에 해당하는 저주파수 웨이브릿 도메인 계수의 근사값인 경우, 이하의 식,

을 이용하여, 상기 웨이브릿 도메인 데이터에 해당하는 매트릭스들로부터 대각선 방향으로 오프셋된 한 오프셋 매트릭스에 대해 반 픽셀 계수들인 hxy(r, s), hyy(r, s), 및 hdy(r, s)를 결정하는 단계를 구비함을 특징으로 하는 인코더.
비디오 디코딩 방법에 있어서,

한 데이터 구조를 디코딩하여 비디오의 제1프레임과 관련된 모션 벡터들 및, 웨이브릿 도메인 데이터간의 차이를 포함하는 차(difference) 어레이를 추출하는 단계;

제1유형의 모션 벡터들은 제2프레임을 나타내는 웨이브릿 도메인 데이터로 된 각자의 블록을 식별하고, 제2유형의 모션 벡터들은 제2프레임의 일부를 나타내는 픽셀 값들로 되고 제2프레임을 나타내는 웨이브릿 도메인 데이터를 생성할 때 사용되는 매트릭스들에 대해 오프셋된 한 매트릭스의 웨이브릿 변환의 근사치에 해당하는 데이터로 된 각자의 블록을 식별하는 것일 때, 각 모션 벡터에 대해 그 벡터가 제1유형인지 제2유형인지를 식별하는 단계;

제1유형의 모션 벡터들에 의해 식별된 웨이브릿 도메인 데이터의 개개의 블록들을 상기 차 어레이의 개개의 부분들로 더하는 단계; 및

제2유형의 각 모션 벡터에 대해, 상기 제2프레임을 나타내는 웨이브릿 도메인 데이터로부터 제2유형의 모션 벡터에 의해 식별된 데이터의 블록을 생성하고, 생성된 그 블록을, 상기 제2유형의 모션 벡터에 해당하는 차 어레이의 각자의 부분들로 더하는 단계를 포함함을 특징으로 하는 비디오 디코딩 방법.
제18항에 있어서, 웨이브릿 도메인 데이터와 생성된 데이터의 블록들을 상기 차 어레이에 더함으로써 만들어진 어레이에 대해 역 웨이브릿 변환을 수행하는 단계를 더 포함함을 특징으로 하는 비디오 디코딩 방법.
제18항에 있어서, 상기 제2유형의 모션 벡터들에 의해 식별된 데이터의 블록들은, 제2프레임에 대한 웨이브릿 도메인 데이터에 대해 역 웨이브릿 변환을 수행하지 않고, 상기 제2프레임의 웨이브릿 도메인 데이터로부터 생성됨을 특징으로 하는 비디오 디코딩 방법.
제18항에 있어서,

상기 제2프레임을 나타내는 상기 웨이브릿 도메인 데이터는, 각 레벨이 고주파수 웨이브릿 도메인 데이터를 포함하는 하부 레벨들과, 저주파수 웨이브릿 도메인 데이터를 포함하는 최상위 레벨을 포함해 복수개의 레벨들을 포함하고,

상기 제2유형의 모션 벡터에 의해 식별된 데이터의 블록을 생성하는 단계는 상기 하부 레벨들 중 하나에서의 고주파수 웨이브릿 도메인 데이터를 그 하부 레벨의 저주파수의 근사값과 결합하는 단계를 포함함을 특징으로 하는 비디오 디코딩 방법.
제21항에 있어서, 상기 하부 레벨의 저주파수 근사값은 상기 최상위 레벨의 저주파수 웨이브릿 도메인 데이터에서 도출됨을 특징으로 하는 비디오 디코딩 방법.
비디오를 나타내는 데이터 구조에 있어서,

상기 비디오의 제1프레임에 대한 웨이브릿 도메인 데이터를 나타내는 제1데이터;

상기 비디오의 제2프레임에 대한 차(difference) 어레이를 나타내는 제2데이터;

상기 차 어레이 내 각자의 블록들에 해당하고, 상기 제2프레임에 대한 웨이브릿 도메인 데이터 생성시 상기 차 어레이의 상기 각자의 블록들에 더하기 위한 웨이브릿 도메인 데이터의 블록들을 식별하는 제1유형의 모션 벡터들; 및

상기 차 어레이 내 각자의 블록들에 해당하고, 상기 제2프레임에 대한 웨이브릿 도메인 데이터 생성시 상기 차 어레이 내 상기 각자의 블록들에 더하기 위해 반-픽셀 데이터의 블록들을 식별하는 제2유형의 모션 벡터들을 포함하고,

상기 반-픽셀 데이터는 상기 제1프레임에 대한 웨이브릿 도메인 데이터를 생성할 때 사용되었던 제1프레임으로부터의 어레이들에 대해 오프셋된 제1프레임으로부터의 어레이들의 웨이브릿 변환에 근사된 것임을 특징으로 하는 데이터 구조.
제23항에 있어서, 상기 제1데이터는,

비디오의 상기 제1프레임에 대한 제2의 차 어레이를 나타내는 데이터;

상기 제2의 차 어레이 내 각자의 블록들에 해당하고, 상기 제1프레임에 대한 웨이브릿 도메인 데이터 생성시 상기 제2의 차 어레이 내 상기 각자의 블록들에 더하기 위한 제3프레임의 웨이브릿 도메인 데이터의 블록들을 식별하는, 제1프레임 관련 제1유형의 모션 벡터들; 및

상기 제2의 차 어레이 내 각자의 블록들에 해당하고, 상기 제1프레임에 대한 웨이브릿 도메인 데이터 생성시 상기 제2의 차 어레이 내 상기 각자의 블록들에 더하기 위해 반-픽셀 데이터의 블록들을 식별하는, 제1프레임 관련 제2유형의 모션 벡터들을 포함하고,

상기 반-픽셀 데이터는 상기 제3프레임에 대한 웨이브릿 도메인 데이터를 생성할 때 사용되었던 제3프레임으로부터의 어레이들에 대해 오프셋된 제3프레임으로부터의 어레이들의 웨이브릿 변환에 근사된 것임을 특징으로 하는 데이터 구조.