KR100739130B1 - 고화질 시퀀스의 저해상도로 시퀀스로의 다운 변환에서드리프트 보상방법 - Google Patents

고화질 시퀀스의 저해상도로 시퀀스로의 다운 변환에서드리프트 보상방법 Download PDF

Info

Publication number
KR100739130B1
KR100739130B1 KR1020000077015A KR20000077015A KR100739130B1 KR 100739130 B1 KR100739130 B1 KR 100739130B1 KR 1020000077015 A KR1020000077015 A KR 1020000077015A KR 20000077015 A KR20000077015 A KR 20000077015A KR 100739130 B1 KR100739130 B1 KR 100739130B1
Authority
KR
South Korea
Prior art keywords
motion vector
vertical
field
pixel
dct coding
Prior art date
Application number
KR1020000077015A
Other languages
English (en)
Other versions
KR20010062485A (ko
Inventor
피모프마크
김진에이치
로프로세토스코트엠.
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20010062485A publication Critical patent/KR20010062485A/ko
Application granted granted Critical
Publication of KR100739130B1 publication Critical patent/KR100739130B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

메모리가 감소된 MPEG디코더에서, 예측 필터링시 1/2 픽셀 해상도 모션벡터의 적용에 의해 야기되는 드리프트가 감소된다. 수신된 P 와 B 프레임 및 필드 DCT 코딩 블록이 다운 변환된다. 기준 픽셀들이 수신된 모션 벡터에 근거하여 선택된다. 선택된 기준픽셀은 예측 출력을 생성하도록 예측 필터링된다. 만일 모션벡터가 1/2픽셀 해상도 모션 벡터이면, 드리프트 보상값이 예측 출력에 가산된다. 이어서, 상기 예측 출력은 저 해상도의 재 구성된 픽셀 블록을 형성하도록 다운 변환된 P와 B프레임 및 필드 DCT 코딩블록에 가산된다.
MPEG, 저해상도, 프레임, 픽셀, 예측 필터링, 다운 변환

Description

고화질 시퀀스의 저해상도로 시퀀스로의 다운 변환에서 드리프트 보상방법{COMPENSATION FOR DRIFT IN THE DOWN CONVERSION OF HIGH DEFINITION SEQUENCES TO LOWER RESOLUTION SEQUENCES}
도 1은 공지된 MPEG-2 엔코터의 개략 블록선도.
도 2는 공지된 MPEG-2 디코터의 개략 블록선도.
도 3은 HDTV 응용을 위한 공지된 다운변환 디코더의 블록선도.
도 4는 본 발명의 배경을 기술하는데 유용한 예시적인 픽셀 데이터 세트를 보인 도면.
도 5는 본 발명에 따른 다운 변환 디코더의 블록선도.
도 6은 도 5의 IDCT 모듈의 실시예도.
도 7내지 도9는 본 발명을 기술하는데 유용한 예시적인 픽셀 데이터 세트를 보인 도면.
도 10은 도 5의 움직임 보상부의 블록선도에 대한 상세도.
도 11내지 도12는 본 발명을 기술하는데 유용한 추가적인 픽셀 데이터 세트를 보인 도면.
본 출원은 1988년 12월 18일 출원된 미국 가출원번호 60/112,795호를 우선권으로서 주장하는 것이다.
본 출원은 1998년 6월 29일 출원된 미국 특허출원번호 09/106,367호의 요지와 유사한 요지에 대해 권리를 주장하는 것이다.
본 발명은 저 해상도의 수상기로 고 해상도 엔코딩 비디오를 다운 변환 및 디코딩하는 다운 변환 디코더에 관한 것이다.
"동화상 및 관련 오디오정보: 비디오의 포괄 코드화" 및 ATSC 디지털 텔레비젼 표준의 이용 안내" 라는 표제의 국제표준 ISO/IEC 13818-2는 디지털 비디오 데이터를 엔코딩 및 디코딩하는 MPEG-2로 알려진 시스템을 기술하고 있다. 이 표준은 일반적으로 HDTV로 알려진 고해상도를 포함하는 광범위한 해상도로 비디오를 엔코딩 할 수 있게 한다. 이 표준에 따르면, 디지털 비디오 데이터는 복잡한 방식으로 일련의 코드워드로 엔코딩 되는데, 이는 예컨대 각 픽셀이 8 비트 값으로 코드화 되는 경유에 있을 수 있는 것보다 코드워드의 평균 길이가 더욱 짧게 되게 한다. 이와 같은 유형의 엔코딩은 또한 데이터 압축으로 알려져 있다.
상기한 시스템에서, 엔코딩 화상들은 픽셀로 구성된다. 각각의 8x8 픽셀 어레이는 블록으로, 그리고 이들 8x8 블록의 2x2 어레이는 매크로 블록으로 호칭된다. 공지된 예측기법((인코더에서는 모션산정(motion estimation), 디코더에서는 모션 보상(motion compensation)), 8x8 픽셀 블록에서 수행되는 2차원 디스크리트 코싸인 변환(DCT), DCT 계수의 양자화와 그리고 호프만 및 실행/레벨을 이용하여 압축이 이루어진다. 그러나, 예측이 모든 화상에 대하여 이용되는것은 아니다. 따라서, 비록 P 화상이 이전의 화상으로부터의 예측으로 엔코딩 되고 그리고 B 화상이 이전 또는 이후의 화상으로부터의 예측을 이용하여 엔코딩되지만은, I 화상은 예측없이 엔코딩 된다.
도 1에 MPEG-2 엔코더가 개략적으로 도시되어있다. 픽셀의 매크로 블록을 나타내는 데이터가 감산기(12) 및 움직임 예측부(14)에 입력된다. P 화상 및 B화상의 경우에서, 움직임 예측부(14)는 엔코딩될 각각의 새로운 매크로 블록을 기준 화상 생성부(16)에 사전 저장된 기준 화상의 매크로 블록과 비교한다. 움직임 예측부(14)는 그 저장된 기준 화상에서 새로운 매크로 블록에 가장 밀접하게 매칭되는 매크로 블록을 찾는다.
움직임 예측부(14)는 기준 화상 생성부(16)로부터 이와같은 매칭 매크로 블록(예측 매크로 블록으로 알려짐)을 판독하여 이를 감산기(12)에 전송하며, 이 감산기(12)는 픽셀 별(pixel by pixel) 방식으로 MPEG-2 엔코더(10)에 기입되는 새로운 매크로 블록으로부터 상기 매칭 매크로 블록을 감산한다. 감산기(12)의 출력은 예측된 매크로 블록과 엔코딩 되는 새로운 매크로 블록간의 차이를 나타내는 에러 즉, 잔차(residual)이다. 이 잔차는 종종 매우 적다. 이 잔차는 2차원 DCT(18)에 의해 공간 도메인으로부터 변형된다. 그 다음, 2차원 DCT(18)로부터 나오는 DCT 계수들은 각 계수를 나타내는데 필요한 비트수를 감소시키는 프로세스에서 양자화 블록(20)에 의해 양자화 된다. 보통, 많은 계수들이 제로(0)로 효과적으로 양자화된다. 양자화된 DCT 계수는 코더(22)에 의해 호프만 및 실행/레벨로 코딩되며, 이 코더(22)는 또한 계수당 평균 비트수를 감소시킨다.
움직임 예측부(14)는 또한 엔코딩 되는 현재의 화상에 있는 새로운 매크로 블록의 위치로부터 기준 화상에 있는 예측된 매크로 블록의 수평 및 수직 변위를 나타내는 모션 벡터(mv)를 계산한다. 모션벡터들은 인접 픽셀들간의 선형 보간에 의해 얻어지는 1/2픽셀 해상도를 가질수 있음을 주목 해야한다. 코더(22)에 의해 엔코딩된 데이터는 움직임 예측부(14)로부터의 모션 벡터데이터 및 (그 화상이 I, P또는 B 화상인지에 대한 표시와 같은) 다른 정보와 결합되며, 이 결합된 데이터는 MPEG-2 디코더(30) (도 2에 도시하였으며, 하기에 설명됨)를 포함하는 수신기에 전송된다.
P화상에 관하여, 양자화블록(20)으로부터의 양자화된 DCT 계수가 또한 MPEG-2 디코더(30)의 동작 부분을 나타내는 내부 디코더 루프에 공급된다. 이 내부 루프 내에서, 양자화 블록(20)으로 부터의 잔차는 역(inverse)양자화 블록(24)에 의해 역 양자화 되며, 역 디스크리트 코싸인 변환(IDCT) 블록(26)에 의해 역 DCT 변환된다. 기준 화상 생성부(16)로부터 판독되어 감산기(12)에 공급되는 예측된 매크로 블록은 또한 픽셀별 방식으로 가산기(28)에 의해 IDCT 블록(26)의 출력에 다시 가산되며, 그 결과는 후속 화상들을 예측하기 위한 기준 화상의 매크로 블록으로서 역할을 하도록 기준 화상 생성부(16)내로 다시 저장된다. 이 내부 루프의 블록은 MPEG-2 엔코더(10)의 기준 화상 생성부(16)에 있는 데이터가 MPEG-2 디코더(30)의 기준 화상 생성부에 있는 데이터와 매칭 되도록 하는 것이다. B 화상은 기준 화상으로서 저장되지 않는다.
I 화상의 경우에, 어떠한 모션 산정도 발생하지 않으며, 감산기(12)로의 네가티브(-) 입력이 제로로 되도록 강요된다. 이 경우에, 2차원 DCT(18)에 의해 제공된 양자화 된 DCT 계수는 P 및 B 화상의 경우에서와 같이 잔차값을 나타내는 것이 아니라 변환된 픽셀값을 나타낸다.
도 2에 보인 MPEG-2 디코더(30)는 MPEG-2 디코더를 개략적으로 보인 것이다. MPEG-2에 의해 실행되는 디코딩 프로세서는 MPEG-2 엔코더(10)에 의해 실행되는 엔코딩 프로세스와 반대인 호프만 및 실행/레벨 디코더(32)에 의해 호프만 및 실행/레벨로 디코딩된다.
모션 벡터 및 다른 정보가 호프만 및 실행/레벨 검출기(32)를 통해 흐르는 데이터 스트림으로부터 구분 분석 된다. 모션 벡터는 움직임 보상부(34)로 피드된다. 호프만 및 실행/레벨 디코더(32)의 출력에서 양자화된 DCT 계수는 역 양자화 블록(36)으로 피드된 다음, IDCT 블록(38)으로 피드되며, IDCT 블록(38)은 역 양자화된 DCT 계수를 공간 도메인에 다시 전송한다.
P 및 B 화상의 경우, 각 모션 벡터는 움직임 보상부(34)에 의해 메모리 어드레스로 번역되어, 사전 저장된 기준 화상을 포함하고 있는 기준 화상 생성부(42)로부터 특정 매크로블록(예측 매크로블록)을 판독하게 된다. 가산기(44)가 이 예측 매크로블록을 IDCT 블록(38)에 의해 제공되는 잔차값에 가산하여 재구성된 픽셀 데이터를 형성하게 된다.
I 화상의 경우, 예측이 없어 가산기(44)에 제공된 예측이 제로(0)로 된다. I 및 P화상의 경우, 가산기(44)의 출력이 기준 화상 생성부(42)에 디시 피드되어 앞으로의 예측을 위한 기준 화상으로서 저장되게 된다.
MPEG 엔코더(10)가 점진적이거나 또는 인터레이스된 화상의 시퀀스를 엔코딩할 수 있다. 인터레이스 화상의 시퀀스에 있어, 화상은 필드화상 또는 프레임 화상으로서 엔코딩된다. 필드 화상의 경우, 한 화상이 라스터의 기수 라인(odd line)을 포함하며 다음 화상은 라스터의 우수 라인(even line)을 포함한다. 모든 엔코더 및 디코더 처리가 필드에서 행해진다. 따라서, 모두 기수 또는 모두 우수 라인을 포함하는 8x8 블록에서 DCT 변형이 수행된다. 이들 블록은 필드 DCT 코딩 블록으로서 호칭된다.
다른 한편으로, 프레임 화상의 경우, 각 화상은 라스터의 기수 및 우수 번호의 라인들을 포함한다. 프레임 화상의 매크로 블록은 엔코딩 매크로 블록이 기수 및 우수라인을 포함하는 관점에서 프레임으로서 엔코딩된다. 그러나, 프레임 화상의 각 매크로 블록 내의 4개의 블록에서 수행되는 DCT는 두 개의 서로 다른 방식으로 행해질 수 있다.
매크로 블록에서 4개의 DCT 변환 블록 각각은 기수 및 우수라인(프레임 DCT 코딩 블록)을 포함할 수 있거나, 택일적으로 그 4개의 DCT 블록들중 2개는 매크로 블록의 기수 라인만을 그리고 다른 2개의 블록은 매크로 블록의 우수 라인(필드 DCT 코딩블록)만을 포함할 수 있다. ISO/IEL 13818-2, 섹션6. 1. 3 도면 6-13 및 6-14를 참조바람. 화상을 어떠한 방식으로 엔코딩할지의 코딩 결정이 효과적인 데이터 압축이 이루어지게 하는 방법에 근거하여 MPEG-2 엔코더(10)에 의해 적응적으로 이루 어진다.
필드 화상에서의 잔차 매크로 블록은 필드 DCT 코딩되며, 기준 필드로부터 예측된다. 프레임 화상에서의 잔차 매크로 블록은 프레임 DCT 코딩되며 기준 프레임으로부터 예측된다. 필드 DCT 코딩되는 프레임 화상에서의 매크로 블록은 하나의 기준 필드로부터 예측되는 두 개의 블록과 그리고 상기 또는 다른 기준 필드로부터 예측되는 두 개의 블록을 갖는다.
점진적인 화상들의 시퀀스들에 대해, 모든 화상들은 프레임 DCT 코딩 및 프레임 예측을 갖는 프레임 화상이다.
전술한 바와 같이, MPEG-2는 고해상도(HDTV)로의 비디오의 엔코딩 및 디코딩을 포함한다. 사람들이 HDTV로 전송된 프로그램을 시청하는데 있어 그들의 기존 NTSC 텔레비젼을 이용할 수 있도록 하기위해서는 고해상도의 MPEG-2 엔코딩 데이터를 기존 NTSC 텔레비젼에 디스플레이 하기위해 감소된 해상도의 비디오 데이터로 디코딩하는 디코더를 제공하는 것이 바람직하다(텔레비젼 신호들의 해상도를 감소시키는 것은 종종 다운 디코딩이라 일컬어진다). 따라서, 그러한 다운 변환 디코더는 시청자들이 값비싼 HDTV 디스 플레이 장치를 구입하지 않고도 HDTV 신호들을 시청할수 있게 해준다.
회로를 적게 필요로 하며, 그러므로써 완전한 HDTV 해상도를 출력하는 디코더보다 값이 저렴한 다운변환 디코더를 제작하는 방법들이 공지되어 있다. 이들 방법중 하나가 미국 특허 제 5,262,854 호에 개시되어 있다. 이 특허에 개시된 다운 변환 기술은 도 3에 보인 다운 변환기(50)와 관계하여 설명된다. 다운 변환기(50)는 호프만 및 실행/레벨 디코더(52)와 역 양자화 블록(54)을 포함하며, 이들은 도 2의 호프만 및 실행 /레벨 디코더(32)와 역 양자화 블록(36)과 관계하여 전술한 바와 같이 동작한다. 그러나, 다운 컨버터(50)는 도 2에 보인 8x8 IDCT 블록(38)을 이용하지 않고 다운 샘플러(56)를 사용하고 있는데, 이 다운 샘플러(56)는 8x8 블록의 48의 높은 순위의 DCT 계수를 폐기(discard)하고 DCT 계수의 나머지 4x4 IDCT를 수행한다. 이 프로세스는 일반적으로 DCT 도메인 다운 샘플링이라 호칭된다. 이 다운 샘플링의 결과는 (P 또는 B 화상에 대해)필터링 및 다운 샘플링된 4x4 블록의 잔차 샘플이 되거나 또는 I 화상에 대한 픽셀이 된다.
잔차 샘플에 대해, 디코딩된 해상도가 감소된 4x4 블록의 픽셀을 생성하도록, 예측이 가산기(58)에 의해 다운 샘플러(56)로부터의 잔차 샘플에 가산된다. 이 블록은 후속 예측을 위해 기준 화상 생성부(60)에 저장된다. 따라서, 예측은 감소된 해상도 기준으로부터 만들어지는데, 엔코더 내의 디코더 루프에서 만들어진 예측은 완전 해상도의 기준 화상에서 만들어진다. 이 차이는 감소된 해상도 기준으로부터 유도된 예측은 엔코더에 의해 만들어진 대응 예측과 어느 정도 달라짐으로써 가산기(50)에 의해 제공되는 잔차 ＋ 예측 합에 에러가 발생함을 의미한다 (이 에러는 이후부터 예측 에러로 언급한다).예측 에러는 기준이 다음 I 화상에 의해 리프레쉬 될 때까지 예측하에서 예측이 만들어 질 때 증가한다.
움직임 보상부(62)는 비록 기준 화상이 낮은 해상도에 있을지라도 완전 해상도 모션 벡터를 이용함으로써 이 예측 에러를 감소시키고자 한다. 먼저, 예측 블록을 포함하는 기준 화상 부분은 기준 화상 생성부(60)로부터 판독된다. 이 부분은 최하위 비트를 제외한 모션 벡터의 모든 비트에 기초하여 선택된다. 이 예측 블록은 2x2 예측 업 샘플링 필터(64)에 의해 완전 해상도로 다시 보간된다. 완전 해상도 모션 벡터(1/2 픽셀 해상도를 포함 할 수 있음)를 이용하여, 예측되는 완전 해상도 매크로 블록이 모션 벡터의 모든 비트에 기초하여 업 샘플링 부분으로부터 추출된다. 이어서, 다운 샘플러(66)는 추출된 완전 해상도 매크로 블록에서 2x2 다운 샘플링을 수행하여 다운 샘플러(56)의 4x4 IDCT 출력의 해상도와 매칭되도록 한다. 이러한 방식으로, 기준 화상 생성부(60)로부터의 예측은 완전 해상도의 잔차 픽셀 구조에 매칭되도록 업 샘플링됨으로써 완전 해상도의 모션 벡터를 이용할 수 있게 한다. 이어서, 완전 해상도의 기준 화상은 가산기(58)에 의한 가산에 앞서 다운 샘플링되어 다운 샘플러(56)로 부터의 다운 샘플링 된 잔차의 해상도와 매칭 되게 된다.
4x4 IDCT로 다운 샘플링 된 기준 화상을 업 샘플링 함으로써 야기되는 예측 에러를 최소화 하기 위한 여러 가지 양호한 예측 업 샘플링/다운 샘플링 방법이 공지되어 있다.
이들 방법은 전형적으로 기준 화상에서 가장 가까운 매크로 블록 경계들과 관계하는 예측 매크로 블록에 대한 모션 벡터 값과 예측 블록 내에서 보간되는 현재 픽셀의 위치에 따라 변화하는 탭 값과 그리고 5 내지 8개의 탭을 갖는 2차원 필터를 이용하고 있다. 그러한 필터는 감소된 해상도 기준을 완전 해상도로 업 샘플링하고 이어서 단일 동작에서 다운 샘플링 할뿐만 아니라 (기수값의 모션 벡터로 인하여 요구될 때) 1/2 픽셀 보간을 포함한다. (1994년 8월 IEE Transactions on Circuits and Systems for Video Technology 에 게재된 Mokry 및 Anastassiou 의 논문 "Minimal Error Drift in Frequency Scalability for Motion Compensated DCT coding" 및 1993년 9월 오스트레일리아 멜버른에서 있었던 IEEE Workshop on Visual Signal Processing and Communication 에서 Johnson 및 Princen 에 의해 발표된 논문 "Drift Minimization in Frequency Scaleable Coders Using Block Based Filtering"을 참조 바란다).
다운 샘플링 필터에 기초한 블록의 Moore-Penrose 역을 이용한 최소 드리프트 예측 필터의 보다 일반적인 유도가 1998년 8월 IEEE Transactions on consumer Electronics에 게재된 Vetro, Sun, Da Graca 및 Poon 의 논문 "Minium Drift Architectures for 3-Layer Scalable DTV Decoding" 에 기술되어 있다.
다음 예는 Mokry 및 Johnson의 논문에 기술된 예측 업 샘플링/다운 샘플링 필터를 나타낸다. 이 예는 1차원의 예이지만은 2차원으로 쉽게 확장된다. 도 4에 보인바와 같은 픽셀 y1 및 픽셀 y2가 다운 샘플링된 기준 화상에서 두 개의 인접 블록을 나타내고 그리고 원하는 예측 블록이 그 두 불록 간의 경계에 걸쳐(straddle)있는 것으로 가정해보자. 픽셀 y1은 8개의 계산된 픽셀 p1 에 대해 서로 다른 세트의 탭 값을 갖는 4탭 필터를 이용하여 픽셀 p1으로 업 샘플링 된다. 마찬가지로, 픽셀 y1는 동일한 4탭 필터를 이용하여 픽셀 p1로 업 샘플링 된다(만일 모션 벡터가 1/2 픽셀 보간을 필요로 하면, 이 보간은 픽셀 p1 과 p2에 기초하여 픽셀 값들 사이에서 계산을 행하기 위한 선형 보간을 이용하여 행해진다). 이들 16개의 픽셀 p1 및 픽셀 p2로부터, 8개의 픽셀 q 로 구성되는 업 샘플링 예측이 완전한 모션 벡터를 이용하 여 판독될 수 있다. 이어서, 픽셀 q는 필터링 되고, 4개의 픽셀 q＇ 각각에 대한 서로 다른 세트의 탭 값을 갖는 8탭 필터에 의해 픽셀 q＇로 다운 샘플링 된다. Johnson의 논문은 기준 화상이 4포인트 IDCT에 의해 다운 샘플링되는 경우, 이들 필터에 대한 최적 값이 된다. Johnson과 Mocry 논문은 또한 업 샘플링, 선형 보간 및 다운 샘플링 필터들이 기준 화상의 가장 가까운 매크로 블록 경계와 관계하는 모션 벡터값에 의존하고 그리고 계산되는 특정 픽셀 q＇에 의존하는 탭 값들을 갖는 단일의 8탭 필터로 결합될 수 있음을 보여주고 있다. 따라서, 이 단일 8탭 필터는 4개의 픽셀 q＇이 8개의 픽셀 y1 및 y2로부터 직접 계산될 수 있게 한다.
4 포인트 IDCT가 아닌 다운 샘플링 방법에 대해서, Vetro의 논문은 업 샘플링 필터에 대한 최적의 탭 값들을 결정하는 방법을 기술하고 있다. 이 업 샘플링은 또한 단일 예측 필터를 형성하기 위해 선형 보간 및 다운 샘플링 동작과 결합된다.
프레임 DCT 코딩 블록을 갖는 점진적인 화상에 일반적으로 충분한 다운 디코더(50)는 인터레이스 된 화상의 시퀀스를 혼합된 프레임 및 필드 DCT 코딩 블록으로 다운 변환하고자 할 때 야기되는 문제들을 해결하지 못한다. 이들 문제들은 수직 다운 샘플링 및 수직 예측 필터링과 관계하여 야기된다.
수평다운 샘플링이 4포인트 수평 IDCT를 이용하여 DCT 도메인에서 수행되는 것으로 가정해보자. 수직다운 샘플링은 또한 4 포인트 IDCT 또는 일부 다른 방법을 이용할 수 있다. 필드 화상의 경우에, 수직다운 샘플링 동작이 인입(incoming) 필드 코딩 블록에서 수행된다. 프레임 화상의 경우에, 수직 다운 샘플링 동작이 혼합된 필드 및 프레임 코딩블록에서 수행된다. 따라서, 기준 화상은 필드 기반, 프레임 기반 및 이들의 혼합 기반에서 다운 샘플링 될 수 있다. 전술한 바와 같이, 낮은 드리프트 예측 필터링은 다운 샘플링 필터로부터 유도된다. 만일 서로 다른 기준 화상들이 서로 다르게 다운 샘플링되면, 이들은 서로 다른 매칭 예측 필터들을 필요로 하게 된다.
혼합된 필드 및 프레임 다운 샘플링 블록을 포함하는 기준 화상의 경우에 더 큰 문제를 갖는다. 소정의 요구된 예측은 블록 유형들을 오버랩 할 수 있다. 이 문제는 모든 인입 블록들을 다운 샘플링에 앞서 프레임 또는 필드로 변환함으로써 해결 될 수 있다. 이 변환의 결과, 기준 화상들에 대한 일관된 수직 구조가 형성되어 동일한 예측 필터를 항상 이용할 수 있게된다.
모든 인입 화상들을 수직 다운 샘플링에 앞서 프레임으로 변환하는 것이 제안 되었다(ICIP '97에서 Vetro, Sun, Bao 및 Poon 에 의해 발표된 논문 "Frequency Domain Down Conversion of HDTV Using Adaptive Motion Compensation"을 참조바람). 수직 다운 샘플링 전에 프레임으로의 변환 결과, 필드 기반 다운 샘플링의 경우보다 양호한 수직 해상도가 얻어지게 될 것이다. 그러나, 프레임 기반 다운 샘플링은 디코더에서 추가의 메모리를 필요로 하는데, 그 이유는 제 1필드는 제 2필드가 도착할 수 있게 하여 프레임 블록을 형성하도록, 수신시 저장되어야만 하기 때문이다. 또한, 모션 시퀀스에서 심한 블록킹 결함이 발생할 수 있다(1998년 8월 Journal of Imaging Science and Technology 에서 Vetro 및 Sun에 의해 발표된 논문 "Frequency Domain Down Conversion of HDTV Using an Optical Motion Compensation Scheme"를 참조바람).
이들 문제를 해소할 수 있고 후자의 논문에서 제안된 대안책은 모든 인입 화상들을 수직 다운 샘플링에 앞서 변환하는 것이다. 그러므로, 여기에 기술된 본 발명은 항상 프레임 코딩되는 인입 블록들이 먼저 수직 다운 샘플링에 앞서 필드로 변환되도록 하는 필드 기반 처리를 이용한다.
또한, 4 포인트 IDCT 다운 샘플링은 가시적인 결함을 야기하는 것으로 알려져 있다. 점진적인 화상들의 경우에, 그 가시성(visibility)의 정도는 일반적으로 수평 및 수직 처리에 있어 허용될 수 있다. 그러나, 필드 기반 수직 다운 샘플링을 이용하는 인터레이스 화상들의 경우, 이들 결함은 보다 더 가시적이다. 따라서, 본 발명은 그의 필드 기반 수직 다운 샘플링에 대해 4포인트 IDCT와는 다른 기법을 도입하고 있다(수평 다운 샘플링에 대해서는 여전히 4 포인트 IDCT를 이용한다).
더욱이, 수직 또는 수평 모션 벡터가 기수값인 경우, 완전 해상도 기준 또는 업 샘플잉된 감소된 해상도 기준으로부터 예측을 형성할 때 1/2 픽셀 보간이 요구된다. 1/2 픽셀 보간을 다른 필터링 동작과 선형적으로 결합하는 디코더는 다음 I 프레임에 의해 리플레쉬 될때까지 보다 어두운 화상쪽으로 드리프트 에러를 나타낼 수 있다. 본 발명은 이러한 드리프트 에러를 보상하도록 하는 것이다.
본 발명의 한 양상에 따르면, 예측 필터링시 1/2 픽셀 해상도 모션 벡터의 적용에 관하여 드리프트를 감소시키는 방법이 제공된다. 이 방법은 a)수신된 P 와 B 프레임 및 필드 DCT 코딩 블록을 다운 변환하는 단계와; b)수신된 모션 벡터에 근거하여 기준 픽셀을 선택하는 단계와; c)예측 출력이 생성되도록, 선택된 기준 픽셀에 서 예측 필터링을 수행하는 단계와; d)만일 모션 벡터가 1/2 픽셀 해상도 모션 벡터인 경우, 상기 예측 출력에 드리프트 보상 값을 가산하는 단계와; 그리고 e)저해상도의 재구성된 픽셀 블록이 형성되도록 상기 다운 변환된 P 와 B 프레임 및 필드 DCT 코딩 블록에 상기 예측 출력을 가산하는 단계를 포함한다.
본 발명의 다른 양상에 따르면, P 와 B DCT 코딩 블록으로 부터 픽셀 블록을 재구성하는 방법이 a)모션 벡터에 따라서, 메모리로부터 기준 픽셀을 선택하는 단계와; b) 필터링된 출력이 생성되도록, 상기 선택된 기준 픽셀을 필터링하는 단계와; c)만일 모션 벡터가 1/2 픽셀 해상도를 갖는 경우, 상기 필터링된 출력에 드리프트 보상값을 가산하는 단계와; 그리고 d)재구성된 픽셀 블록이 형성되도록 상기 필터링된 출력을 상기 P 와 B DCT 블록에 가산하는 단계를 포함한다.
본 발명의 또 다른 양상에 따르면, P 와 B DCT 코딩 블록으로부터 픽셀 블록을 재구성하는 방법이 a)모션 벡터에 따라서, 메모리로부터 기준 픽셀을 선택하는 단계와; b)만일 모션 벡터가 1/2 픽셀 해상도를 갖는 경우, 상기 선택된 기준 픽셀에 드리프트 보상값을 가산하는 단계와; 그리고 d)재구성된 픽셀 블록이 형성되도록, 상기 선택된 기준 픽셀을 상기 P 와 B DCT 코딩 블록에 가산하는 단계를 포함한다.
본 발명의 이들 및 기타 특징 및 장점들이 도면을 참조로 한 본 발명의 상세한 설명으로부터 보다 더 명확해질 것이다.
I. 다운변환
본 발명의 실시예에 따른 다운 변환 디코더(100)가 도 5에 나타나 있다. 수직 처리 의 경우, 다운 변환 디코더(100)는 DCT 도메인 프레임-필드 변환, 필드기반 수직 8 포인트 DCT 도메인 프레임-필드 변환, 필드 기반 수직 8 포인트 IDCT, 수직공간 인터블록 필터링 및 다운 샘플링 및 상보 수직 최소 드리프트 예측 필터링을 수행한다. 수평 처리의 경우, 다운 변환 디코더(100)는 필터링 및 다운 샘플링을 위한 수평 4 포인트 IDCT 및 상보 수평 최소 드리프트 예측 필터링을 수행한다.
다운 변환 디코딩(100)의 필터링 및 다운 샘플링 모듈(102)은 도 3의 역 양자화기로부터 그의 입력을 수신한다. 필터링 및 다운 샘플링 모듈(102)에 의해 수행되는 수직 처리에 대해 상세히 설명한다. 수직 필터링은 1988년 Siggraph에 게재된 Mitchell과 Netravali의 논문 "Reconstruction Filters in Computer Graphics"의 식(8)에서 B=C=1/3일 때 유도되는 큐빅 필터인 8 탭 로우 패스 시메트릭 FIR 필터로 구성된다. 따라서 이 필터의 탭 값들은 다음식으로 주어진다.
Figure 112000026821700-pat00012
이 8포인트 수직 필터는 연속적인 인터블록 필드 기반 수직 필터링 동작을 실행하는데 효과적으로 이용되는데, 필터 [f]8은 수신된 잔차 및 I 필드 픽셀 블록에서 동작한다.
필터링 및 다운 샘플링 모듈(102)에 의해 수행되는 수직 필터링 및 다운 샘플링은 다음식으로 주어지며, 동시에 한 칼럼에서(540 픽셀들에 대해) 행해진 전체 필드에서 수직 공간 도메인 동작으로서 보여질 수 있다.
Figure 112007000990313-pat00156
여기서 [x]는 필터링 및 다운 샘플링될 픽셀들의 필드로부터의 픽셀들의 칼럼이고, [x']는 결과적인 수직 필터링 및 다운 샘플링 된 픽셀들의 칼럼이며, [d]는 다음의 순환 매트릭스로 주어지는 다운 샘플링 오퍼 레이터이다.
Figure 112007000990313-pat00157
(여기에서 사용되는 술어(nomenclature)에 따르면, 대문자는 DCT 도메인을 표시하는데 사용되고, 소문자는 공간 도메인을 표시하는데 사용된다). [d]의 각 로우는 필터의 8개 요소 [f]8의 경우를 제외하고는 모두 제로(0)을 포함한다. 또한, 로우에서의 필터의 8개 요소 [f]8은 이전의 로우에 관하여 우측으로 2번 시프트된다.
디코더에서, 오퍼레이터[d]270x540가 전체 필드의 모든 칼럼에서 동작하는 것은 특별히 실용적이지 않다. 그러므로, 본 발명에 따라서 그리고 후술하는 방식으로, 필터 [f]8는 이들이 도착할 때 잔차 및 I 블록들에서 수직으로 동작한다. 이 인터블록 수직 필터링 및 다운 샘플링은 효율적인 방식으로 인터블록 수직 8 포인트 IDCT와 결합될 수 있다.
IA1. 필드화상(모두 매크로블록 필드DCT코딩됨): 수직처리
특별한 8포인트 블록 칼럼을 수직으로 필터링 하기 위해, 그 블록 칼럼 및 그 위 및 아래에 있는 블록 칼럼에 대한 DCT 계수는 수신 및 저장되어야 한다.
4개의 필터링 및 다운 샘플링 된 픽셀 [xb']4x1을 생성하도록, 8포인트 계수블록 칼럼이 수직으로 필터링 및 다운 샘플링 된다고 가정해보자. 그리고 나서, [Xa]8x1 및 [Xc]8x1이 [Xb]위 및 아래의 블록 칼럼이 된다고 하자.
매트릭스 [FT]8x8은 잔차 및 픽셀값을 DCT 계수로 변환하기 위해 도 1의 2 차원 DCT(18)에 의해 사용되는 8포인트 순방향 DCT 변형 매트릭스이다. 그러므로 [FT]8x8의 로우는 공지된 8 포인트 DCT 기반 벡터로 구성된다. [FT]8x8의 전치 매트릭스는 8 포인트 IDCT 변형 매트릭스를 제공한다. 따라서 [IT]8x8 = [FT]T 이며,
Figure 112007000990313-pat00158
가 된다.
매트릭스 [IT3 mid]4x24는 상부 5개의 로우 및 하부 5개의 로우가 [IT3 ]로부터 제거되도 록, [IT3]의 중간 14개의 로우로서 정의된다. 매트릭스 [IT3 mid]14x24 는 다음식에 따라 [Xb]8x1 및 블록칼럼 [Xa]8x1에 인가된다.
Figure 112007000990313-pat00159
여기서, [X]14x1은 블록 b (즉, 블록[Xb]4x1)에 의해 4개의 다운 샘플링 픽셀을 계산하기 위해 다운 샘플링 필터를 위한 입력으로서 필요로 되는 14개의 완전 해상도 픽셀이다. 만일 [d]4x14가 다음식
Figure 112007000990313-pat00160
에 의해 주어지는 다운 샘플링 필터이면, 이 다운 샘플링 필터 [d]를 14개의 픽셀 [x]14x1에 인가함으로써 원하는 다운 샘플링 [x'b]4x1 (즉, [d][x]14x1 =[x'b]4x1)이 산출된다.
IDCT 및 다운 샘플링 동작은 다음식에 따라 블록 칼럼당 단일 단계로 결합될 수 있다.
Figure 112007000990313-pat00161
이 IDCT/다운 샘플링 필터 [Qdit]4x24를 3개의 블록칼럼 [Xa], [Xb ] 및 [Xc]의 24개 픽셀에 인가함으로써 다음식에 따라 원하는 다운 샘플링 픽셀 [Xb']4x1이 산출된다.
Figure 112007000990313-pat00162
IA2. - 필드 화상 : 2 차원 처리
상기 설명은 전술한 바와같이 [Qdit]를 이용한 각 칼럼에서의 수직 처리와 그리고 4포인트 수평 IDCA를 이용한 각 로우에서의 수평 처리로 2차원 8x8 필드 DCT코딩 블록에 쉽게 확장될 수 있다. 따라서, Xb는 8x8 DCT 코딩 블록에 쉽게 확장 될 수 있다. 각각 8x8 DCT 계수블록 Xb 위 및 아래에서 8x8 DCT 계수 블록이 되도록 재정의 된다.
본 발명의 다운 샘플링 필터를 2차원 8x8 필드 DCT 코딩 블록으로 확장하는데 있어서의 제1 단계로써 블록 Xa, Xb, Xc의 각각의 높은 순위의 수평 계수들이 폐기되는 바, 그럼으로써 각각은 8x8 어레이가 되고 (즉, 각 블록의 좌측 절반이 유지됨) [Za]8x4는 [Xa]8x8의 좌측 절반이 되며, [Zb]8x4 와 [Zc]8x4는 유사하게 정의되게 된다. 이들 매트릭스는 스택 (stack)되어 다음식에 따라 정의된다.
Figure 112007000990313-pat00163
이어서, 다음식에 따라 픽셀 [Z]24x4의 수직 필터링 및 다운 샘플링이 수행될 수 있게 된다.
Figure 112007000990313-pat00164
여기서, [Qdit]4x24는 식(7)에 의해 주어지는 IDCT/다운 샘플링 필터이다. 이어서 수평 IDCT 도메인 필터링 및 다운 샘플링이 다음식에 따라 식 (10)의 결과치[Gb]4x4에 인가될 수 있다.
Figure 112007000990313-pat00165
여기서, [T4]는 공지된 4 포인트 기반 벡터를 포함하는 4 포인트 DCT기반 벡터 매트릭스이다.
IB1. - 프레임 화상 : 수직처리 : 모든 매크로 블록이 프레임 DCT 코딩되는 것으로 가정한다
모든 매크로 블록이 프레임 DCT 코딩되는 화상의 경우에, 단일의 효율적인 단계로 프레임-필드 기반 수직 8 포인트 IDCT, 필드기반 수직 인터블록 필터링 및 다운 샘플링을 행하는 것이 바람직하다.
매크로 블록 칼럼은 16x16 매크로 블록의 임의의 16 포인트 칼럼(즉 2개의 수직 블록 칼럼)이 되도록 정의될 수 있다. 만일의 인터블록 수직 오퍼레이터를 인가하기 위해, 매크로 칼럼 및 그 위 및 아래의 매크로 블록에 대한 DCT 계수들이 수신 및 저장되어야 한다. 따라서[Xb]16xl을 상부 필드에 대해 [xtopb']4xl 로 그리고 하부 필드에 대해 [xbotb']4xl로 정의되는 8개의 필드기반 픽셀을 생성하도록 필터링 및 다운 샘플링 될 16 포인트 프레임 코딩 매크로 블록 칼럼(즉, 2개의 8포인트 수직 블록)이 되는 것으로 가정한다. 또한[Xa]16xl 과 [Xc]16xl이 [X b] 위 및 아래에서의 프레임 DCT 코딩 매크로 블록이 되는 것으로 가정한다. 프레임 DCT 코딩 매크로 블록 칼럼 [Xa],[Xb] 및 [Xc]는 다음식에 따라서 조합될 수 있다. 우수 및 기수 픽셀라인을 상부 및 하부 필드내에 재순서화 하기 위해 16 픽셀 프레임 순서화 칼럼을 미리 배율할수 있는 언셔플링 오퍼레이터는 다음식에 따라 정의 될 수 있다.
Figure 112007000990313-pat00166
우수 및 기수 픽셀 라인을 상부 및 하부 필드내에 재순서화 하기위해 16 픽셀 프레임 순서화 칼럼을 미리 배율할 수 있는 언셔플링 오퍼레이터는 다음식에 따라 정의될 수 있다.
Figure 112007000990313-pat00167
언셔플링 오퍼레이터[US]는 다음식에 따라 [Xb]의 역 DCT 인 픽셀의 순서화 매크로블록 칼럼에 인가될 수 있다.
Figure 112007000990313-pat00168
여기서, [xtopb]와 [xbotb]는 각각 상부 및 하부 필드 픽셀내로 재순서화 된 픽셀[xb]이다. 만일 [FT8]이 공지된 8포인트 DCT기반 벡터인 로우를 갖는 8포인트 DCT 순방향 변형 매트릭스이면, [FT8]의 역은 [FT8]T로 주어지면 다음과 같이 된다.
Figure 112007000990313-pat00169
여기서, [IT82]는 2개의 수직으로 스택된 8포인트 DCT 칼럼에 대한 IDCT 오퍼레이터 이다. 이어서, 오퍼레이터[US] 및 [IT82]는 다음식에 따라 단일 오퍼레이터[USIT]로 결합될 수 있다.
Figure 112007000990313-pat00170
식 (14)와 식(16)으로부터, 다음식이 산출된다.
Figure 112007000990313-pat00171
[USIT]의 상부 8개의 로우는 [USITtop]8x16으로서 정의되고, [USIT] 하부 8개의 로우는 [USITbotp]8x16으로서 정의될 수 있다. 이들 새로 정의된 오퍼레이터들은 다음식에 따라 [Xb]에 인가된다.
Figure 112007000990313-pat00172
Figure 112007000990313-pat00173
오퍼레이터 [USITtop3]24x48은 다음식에 따라 정의된다.
Figure 112007000990313-pat00174
오퍼레이터 [USITtop3]24x48는 다음식에 따라 블록 Xa', Xb', 및 Xc의 계수에 인가된다.
Figure 112007000990313-pat00175
그러나, 중간의 14개의 픽셀만이 다운 샘플링 필터로의 입력으로서 요구된다. (즉 상부 5개와 하부 5개의 픽셀이 식(21)의 우측으로부터 폐기될 수 있다. 그러므로, 오퍼레이터[MIDtop]4x48이 정의될 수 있다. 오퍼레이터 [MIDtop]14x18 는 단지 [USITtop3]의 중간 14개의 로우를 포함한다. 중간 언셔플링 오퍼레이터 [MIDtop]4x48은 다음식에 따라 블록 Xa', Xb', Xc의 계수에 인가될 수 있다.
Figure 112007000990313-pat00176
여기서 [xtop]14x1은 상부 필드 다운 샘플링 및 필터링된 픽셀 [xtopb']4xl을 계산하기 위해 상부 필드다운 샘플링 필터로의 입력으로서 필요로 되는 언셔플링 된 14개의 픽셀이다. 중간 하부 언셔플링 오퍼레이터 [MIDbot]14x48는 동일한 방식으로 유도된다. 이 중간 하부 언셔플링 오퍼레이터 [MIDbot]14x48은 다음 식에 따라 블록 Xa , Xb, Xc의 계수에 인가된다.
Figure 112007000990313-pat00177
여기서 [xbot]14x1은 하부 필드 다운 샘플링 및 필터링 된 픽셀 [xbotb']4xl을 계산하기 위해 하부필드 다운 샘플링 필터로의 입력으로서 필요로 되는 언셔플링 된 14개의 픽셀이다.다운 샘플링 필터[d]4xl4는 다음식에 따라 IDCT, 언셔플링 및 다운 샘플링 필터 [QLtop]4x48 및 [QLbot]4x48로서 IDCA/언셔플링 오퍼레이터 [MID]와 결합 될 수 있다.
Figure 112007000990313-pat00178
Figure 112007000990313-pat00179
언셔플링, IDCT 및 다운 샘플링 필터 [QLtop]4x48 과 [QLbot]4x48 은 8포인트 수직 IDCT, 프레임-필드 변환, 수직 인터블록 필터링 및 다운 샘플링을 단일의 단계로 수행하기 위해 블록 Xa', Xb' 및 Xc의 계수에 인가될 수 있다.
Figure 112007000990313-pat00180
Figure 112007000990313-pat00181
언셔플링 및 다운 샘플링 필터 [QLtop]4x48와 [QLbot]4x48은 다음식에 따라 단일의 언셔플링 및 다운 샘플링 필터로서 결합될 수 있다.
Figure 112007000990313-pat00182
따라서, 언셔플링 및 다운샘플링 필터 [QL]8x48은 다음식에 따라 단일의 단계로 블록 Xa'. Xb', 및 Xc의 계수에 인가될 수 있다.
Figure 112007000990313-pat00183
IB2. - 프레임 화상 : 수직 처리 : 일부 매크로 블록은 프레임 DCT 코딩되고, 일부 매크로블록은 필드 DCT 코딩되는 것으로 가정한다.
앞에서 언급한 것과 같이, 프레임 화상은 프레임 및 필드 DCT 코딩 매크로블록의 혼합을 포함할 수 있다. 따라서, 임의의 매크로 블록 [Xa], [Xb] 또는 [Xc] 는 프레임 코딩되거나 필드 코딩된다. 예를 들어, 이 [Xa]는 필드 코딩되고 [Xb]와 [Xc ]는 프레임 코딩된다면, 필드 코딩된 매크로 블록 칼럼[Xa]은 다음의 식에 따라 수신된다.
Figure 112007000990313-pat00184
그러므로, 이 매크로블록 칼럼[Xa]은 매크로 블록 칼럼[Xb]와 [Xc]이 그러해야 하는 것 같이 필드 칼럼들로 분할될 필요가 없다. 따라서, 언셔플링 오퍼레이터이 필요하지 않으며, IDCT 오퍼레이터는 다음의 식에 따라 인가된다.
Figure 112007000990313-pat00185
[IT82top]8x16 [Xa]16xl = [xtopa]8xl 이고 그리고 [IT82bot]8x16 [Xa]16xl = [xbota] 8xl'이 됨이 또한 주목되어야 한다.
결합된 언셔플링 및 IDCT 오퍼레이터는 (식(20)과 비슷한) 다음의 식으로 정의된다.
Figure 112007000990313-pat00186
여기서, 수직 매크로 블록[Xn]이 프레임 코딩되었다면 [OPtopn]=[USIT] 이고, 수직 매크로 블록[Xn]이 필드 코딩되었다면, [OP]=[IT82top]이다. 이 유연성 오퍼레이터[USIT]에 대하여 23=8개의 가능한 구성이 존재한다. 상기 예의 필드 코딩 수직 매크로 블록 칼럼[Xa]과 프레임 코딩 수직 매크로 블록 칼럼[Xb]와 [Xc] 경우에, 오퍼레이터 [USOT] 는 다음의 식으로 주어진다.
Figure 112007000990313-pat00187
이전과 같이, 오퍼레이터[MIDtop]4x48는 [USITtop3]24x28의 중간 14개 로우를 포함한다. 같은 방식으로, 유연성 오퍼레이터[USIT]와 [MIDbot]14x48이 유도될 수 있다. [MID] 오퍼레이터는 프레임 및 필드 DCT 코딩 매크로 블록의 임의 결합에 대해 유연성 오퍼레이터 [QLtop]와 [QLbot]을 형성하도록 (24) 및 (25)의 방법으로 다운 샘플링 필터[d]와 결합될 수 있다.
따라서, 프레임 또는 필드 DCT 코딩 매크로 블록의 임의 결합에 대하여, 8 포인트 IDCT와 필드 변환에 대한 프레임과 인터블록 필터링과 다운 샘플링을 포함하는 결합 오퍼레이터는 다음 식으로 고안될 수 있다.
Figure 112007000990313-pat00188
Figure 112007000990313-pat00189
상부 및 하부 [QL] 오퍼레이터는 다음의 식에 따라 결합될 수 있다.
Figure 112007000990313-pat00190
따라서, 언셔플링 및 다운 샘플링 필터 [QL]8x48은 다음 식에 따라 매크로블록 칼럼당 한 단계 단일 단계로 블록 Xa',Xb',Xc의 계수에 인가될 수 있다.
Figure 112007000990313-pat00191
IB3. 프레임 화상 : 2 차원 처리
상기 논의는 단지 프레임 코딩되거나 필드 코딩된 프레임 화상의 수직 처리에 관한 것이지만, 앞에서 설명한 바와 같이 식(37)의 [QL]8x48을 이용하여 각 칼럼에서 수직 처리하고, 4 포인트 IDCT로 각 8x8 블록의 각 로우에서 수평 처리하여 쉽게 2차원 16x16 매크로 블록으로 확대 적용될 수 있다.
따라서, Xa', Xb', Xc을 3개의 수직으로 스택된 16x16 매크로 블록이 되도록 다시 정의하면 다음과 같다.
Figure 112007000990313-pat00192
Figure 112007000990313-pat00193
Figure 112007000990313-pat00194
매크로 블록 [Xa]16x16의 좌우 절반은 다음의 식에 따라 다시 정의될 수 있다.
Figure 112007000990313-pat00195
Figure 112007000990313-pat00196
매크로 블록[XbL]16x8, [XbR]16x8, [XcL]16x8 및 [XcR]16x8도 비슷하게 정의된다.
앞에서 설명한 바와 같이 식(37)로부터 [QL]8x48을 이용하여 각 칼럼에서 수직 처리와 4 포인트 IDCT로 각 8x8 블록의 각 로우에서 수평 처리를 수행하기 위해 오퍼레이터를 전개하는데 있어서의 제 1 단계로서, 각 8x8 블록[X]의 높은 순서의 수평 계수가 폐기되어, 각 8x8 블록[X]이 8x4 블록[Z]로 된다. 따라서, [Za1]8x4는 [Xa1 ]8x8 왼쪽 절반으로 정의되고, [Za2]8x4는 [Xa2]8x8의 왼쪽 절반으로 정의되며, [Za3]8x4은 [Xa3]8x8의 왼쪽 절반으로 정의되고, [Za4]8x4는 [Xa4 ]8x8 의 왼쪽 절반으로 정의된다. 이들 8x4 블록은 다음식에 따라 결합된다.
Figure 112007000990313-pat00197
Figure 112007000990313-pat00198
[ZbL]16x4, [ZbR]16x4, [ZcL]16x4 및 [ZcR]16x4 가 비슷하게 정의될 수 있다. 그 다음에, [Xb]의 왼쪽 및 오른쪽 절반의 필드 기반 수직 필터링 및 다운 샘플링은 (식(32)로부터 유연성 오퍼레이터[QL]을 이용하여) 다음의 식으로 주어진다.
Figure 112007000990313-pat00199
Figure 112007000990313-pat00200
그 다음에, 수평 DCT 도메인 필터링 및 다운 샘플링은 다음 식에 따라 수행된다.
Figure 112007000990313-pat00201
Figure 112007000990313-pat00202
여기서 [T4]는 4포인트 DCT 기반 벡터 매트릭스이다. 따라서, 두개의 2차원 다운 샘플링되고 필터링된 매크로 블록은 다음의 식으로 주어진다.
Figure 112007000990313-pat00203
IC. - IDCT 모듈 : 블록 다이어그램 (도 5, 모듈 102)
도 5의 필터링 및 다운 샘플링 모듈(102)은 도 6에서 좀 더 자세히 도시되었으며, 수직 처리를 수행할 수 있도록 필드 화상에 대한 상기 유도된 오퍼레이터[Qdit] 및 프레임 화상에 대한 [QL]와 그리고 뿐만 아니라 수평 처리를 위한 4 포인트 IDCT 오퍼레이터 [T4]를 이용한다. 따라서, 필터링 및 다운 샘플링 모듈(102)은 (모든 필드 DCT 코딩 블록을 포함하는) 필드 화상과 그리고 단지 프레임 DCT 코딩 매크로 블록만 포함하거나 또는 필드 DCT 코딩 매크로 블록 및 프레임 DCT 코딩 매크로 블록의 혼합을 포함하는 플레임 화상 모두 처리할 수 있다. 필터링 및 다운 샘플링 모듈(102)의 출력은 항상 필드 기반 필터링 및 다운 샘플링된다. 모든 블록은 동일한 수평 처리(4 포인트 IDCT)되지만, 수직 처리에 있어, [QL] 오퍼레이터는 프레임 코딩에 대한 필드 코딩으로의 효과적인 변환이 필요할 때 사용되고, 그 다음에 각 필드를 별도로 필터링 및 다운 샘플링하는데 사용된다. 매트릭스 곱은 교환 법칙(즉, A*B는 일반적으로 B*A와 같지 않다)이 성립하지 않는다는 것을 주목해야 한다. 그러므로 각 매크릭스 배율기는 전(pre) 및 후(post) 입력을 갖는다.
IC1. 필드 화상
도 6의 계수 디스카더(discarder)(120)는 매 8×8 DCT 계수 블록의 각 로우로부터 4개의 높은 순서의 수평 계수를 폐기한다. 메모리(122)는 I 또는 잔차 계수 매크로 블록의 3개 로우를 저장한다. (매크로 블록들의 로우는 화상의 왼쪽에서 오른쪽 사이드로 가기 위해 필요한 매크로 블록의 수만큼 높은 한 매크로블록의 직사각형 픽셀로 구성된다.) 전송되지 않은 잔차 매크로 블록의 경우에, 모든 계수는 0으로 가정된다. 한번에 3개의 수직으로 스택된 블록 [Z]24x4(식(9) 참고)은 메모리(122)로부터 판독되고, DCT 코딩 유형(필드 또는 플레임)에 따라 라우터(126)에 의해 수직 매트릭스 배율기(124)로 향한다. 수직 매트릭스 배율기(124)는 식(10)에 따라 수직 내부 블록 필터링 및 다운 샘플링을 이용하여 8 포인트 수직 IDCT를 수행한다. 따라서, 수직 매트릭스 배율기(124)는 3개의 수직으로 스택된 블록 [Z]24x4를 [Qdit]4x24로 사전에 곱셈함으로써 [Gb]4×4를 생성한다. 선택기(128)는 수직으로 처리된 블록[G]을 수평 매트릭스 배율기(130)로 향하게 한다. 수평 매트릭스 배율기(130)는 [xb']을 생성하도록 식(11)에 따라 [Gb]에 수평 4 포인트 IDCT를 수행한다.
IC2. - 프레임 화상
계수 디스카더(120)는 이전처럼 매 8x8 계수 블록의 각 로우로 부터 4개의 높은 순서의 수평 계수를 폐기한다. 메모리(122)는 I 또는 잔차 계수 매크로 블록의 3개 로우를 저장한다. 전송되지 않은 잔차 매크로 블록에 있어서, 모든 계수는 0으로 가정한다. 3개의 수직으로 스택된 매크로 블록은 [ZL]48x4로 구성되어, 임의 시간에 [ZR]48x4 가 (식 (45) 및 (46) 참조) 메모리(122)로부터 판독되어, 라우터(126)에 의해 DCT 코딩 형식(필드 또는 프레임)에 따라 수직 매트릭스 배율기(132)로 향한다. 라우터(126)는 또한 각 매크로 블록에 대한 DCT 코딩 유형(필드 또는 프레임)을 QL 모듈(134)로 라우팅한다. [[ZL]와 [ZR]을 포함하는 3개의 수직으로 스택된 매크로 블록의 코딩 유형에 따라, QL 모듈(134)는 수직 매트릭스배율기(132)을 위한 "전" 입력에 대해 이전에 언급된 바와 같이 유연성[QL] 오퍼레이터를 생성한다.
수직 매트릭스 배율기(132)는 8 포인트 수직 IDCT와, 프레임 코딩 매크로 블록에서 필드-프레임 변환, 식 (45)와 (46)에서와 같이 [ZL]에서 그 다음 [ZR]에서의 인터블록 필터링을 수행한다. 수직 매트릭스 배율기(132)로부터의 출력은 먼저,
Figure 112007000990313-pat00204
그리고, 그 다음에
Figure 112007000990313-pat00205
이 된다.
이들 출력 매트릭스들은 저장 및 지연 모듈(136)에 피드되며, 이 모듈(136)은 다음의 4x4 블록을 한번에 하나씩 선택기(128)를 통해 수평 매트릭스 배율기(130)에 제 공한다.
[GtopbL], [GbotbL], [GtopbR], [GbotbR]
수평 매트릭스 배율기(130)는 각 4x4 입력 블록의 로우에서 수평 4 포인트 IDCT를 수행하여, 식(47)과 식(48)에 따라 다음의 대응 4x4 출력 블록을 생성한다.
[xtopbL'], [xbotbL'], [xtopbR'], [GbotbR']
II. - 업 샘플링 및 다운 샘플링 예측
IIA. - 수직 업 샘플링 필터 매트릭스[u]의 유도
이제, 도 5의 움직임 보상부(104)에 의해 구현된 수직 예측 필터링을 설명한다. 움직임 보상부(104)에 의해 인가된 업 샘플링 필터[u]는 다음 식에 따라 식(2) 및 식(3)으로부터 다운 샘플링 오퍼레이터[d]의 공지된 Moore-Penrose 역으로 부터 결정된다.
Figure 112007000990313-pat00206
업 샘플링 필터[u]는 다음 식에 따라 메모리(106)로부터 감소된 해상도 기준 화상[x']b270xl의 칼럼에 인가된다.
Figure 112007000990313-pat00207
여기서 [x']b270xl은 결과적인 픽셀의 최종 업 샘플링 칼럼이다. [u]의 구조는 (13개의 비제로 탭을 갖는) 다음의 21개 탭 필터에 근거한다.
[g1(-10)..g1(10)] = [0 0 0 0 0 0 0 0 .0011 .0372 1.2542 - .4051 . 1546 -.0576 .0215 -.0081 .0030 -.0011 .0004 -.0002 .0001] 및
[g2(-10)..g2(10)] = [0001 -.0002 .0004 -.0011 .0030 -.0081 .0215 -.0576 .1546 -.4051 1.2542 .0372 .0011 0 0 0 0 0 0 0 0]
필터 [g2]는 역순, 그리고 g1(0)=g2(0)=1.2542일 경우를 제외하고, 필터 [g1]와 같은 탭 값을 가진다. 업 샘플링 필터[u]는 교대되는 로우들에서 [g1] 및 [g2]의 한 단계 시프트된 버전으로 구성된 원형의 매트릭스이다. 따라서, 업 샘플링 필터[u]는 다음의 식으로 주어진다.
Figure 112007000990313-pat00208
단지 g1 및 g2의 8개(또는 더 작은 수)의 가장 큰 값을 가지는 비 제로 탭들만을 이용하여 충분한 예측을 달성할 수 있다. 비 제로 탭들이 더 작아 질수록, 각 매크로 블록 예측을 위해 메모리(106)로부터 판독되어야할 기준 데이터는 더 적어진다. 예 를 들어, 다음의 식으로 주어진 필터를 이용하여 충분한 예측이 얻어질 수 있다.
Figure 112000026821700-pat00066
Figure 112000026821700-pat00067
식 (53) 및 (54)의 필터 (g1 및 g2)를 이용한 수직 업 샘플링 동작은 다음과 같이 생각될 수 있다. 다운 샘플링 기준 필드에서 특정 기준 픽셀 위의 업 샘플링 픽셀을 계산하기 위해, 필터(g1)의 중앙 값 (즉, g1(0)에서의 값)은 기준 픽셀로 조정되며, 비 제로 탭과 그 정렬된 픽셀 사이에서 그 곱의 합이 수행된다. 다운 샘플링 기준 필드[x']에서의 이 특정 기준 픽셀 아래의 업 샘플링 픽셀을 계산하기위해, 필터 g2의 중앙값 (즉, g2(0)에서의 값)은 기준 픽셀로 조정되며, 비 제로 탭과 그 조정된 픽셀사이에서 곱의 합이 수행된다.
다운 변환 디코더(100)에서, 업 샘플링 예약이 움직임 보상부(104)로 형성될때, 칼럼들 모두가 [u]로 필터링될 기준 메모리(106)로부터 판독될 필요는 없다. 대신에, 하기에 설명하는 바와같이 업 샘플러 필터[g1] 및 [g2]와 다운 샘플러[f]로부터 형성된 예측 필터의 결합된 요구를 만족시키기에 충분한 픽셀들만이 판독될 필요가 있다.
IIB. - 결합 예측 업 샘플링 및 다운 샘플링
IIB1. - 필드 화상에 대한 필드 예측
도 7에 보인바와 같이, 제 1 칼럼은 도 1의 엔코더(10)에 존재한는 것처럼 완전 해상도 기준 화상(16)에서 필드로부터의 픽셀[x]50xl의 부분을 나타낸다. 제 2 칼럼은 도 5의 디코더 루프의 다운 샘플링 기준(106)에서 그 필드로 부터의 픽셀[x']25xl의 칼럼의 대응부분을 나타낸다. 원하는 필드 예측을 위한 수직 완전 해상도 모션 벡터(vmv)는 제 1 칼럼에서 표시된 픽셀에 포인트된다. 이 모션 벡터는 1/2 픽셀 단위에 놓이며, 따라서, mv가 기수이면 이는 완전 해상도로 픽셀들 사이에 포인트 된다.
다음식으로 정의되는 vmvtype의 모듈로 값을 고려해보자.
Figure 112000026821700-pat00068
여기서, %는 모듈로 동작을 의미한다. vmvtype의 값은 0 또는 1이 될 것이며, 도 7은 그 모두의 경우를 예시한다. vmvtype=0 일때, 수직 벡터 vmv는 완전 해상도 기준 필드의 한쌍의 픽셀(즉, 도 7의 제 1칼럼 에서 그들 주위에 직각형 박스를 갖는 픽셀)에 또는 바로 아래에 포인트된다. 다운 샘플링된 기준 필드에서의 픽셀(즉, 도 7의 제 2칼럼에서 그 주위에 정사각형 박스를 갖는 픽셀)은 이 픽셀쌍의 픽셀들 사이에 놓인다. vmvtype=1 일때, 수직 모션 벡터는 이 픽셀쌍의 하부 픽셀에 또는 바로 아래에 포인트된다. 다시, 다운 샘플링 기준 필드에서의 픽셀은 이 픽셀쌍의 픽셀들 사이에 놓인다. 다운 샘플링 기준 필드로부터 예측을 액세스하기위해 이용되는 저 해상도 모션 벡터는 다음 식으로 주어진다.
Figure 112000026821700-pat00069
이와같은 저해상도 모션 벡터 lvmv는 다운 샘플링 기준 필드에서의 픽셀(즉, 도 7의 제 2칼럼에서 그 주위에 정사각형 박스를 갖는 픽셀)로 포인트된다. 예측 필터로의 입력은 그 위에 8개의 픽셀과 그 아래에 16개의 픽셀을 갖는 다운 샘플링 기준 필드애 그 그 픽셀을 포함해야만 한다. 도 7의 제2 칼럼에 보인 이들 25개의 픽셀은 예측된 수직 필드 매크로블록을 생성하도록 수직 예측 필터링 프로세스로의 입력으로서 판독되어야 하는 정확한 량이다.
도 7의 다음 칼럼은 식 (52)에 보인 바와같이 배열된 필터 g1 과 g2로 생성된 업 샘플링 필드 예측을 나타내는 [x^]24xl이다. 도 7의 제 2 칼럼에서 원형 픽셀은 상한과 하한을 나타나는데, 이들 사이에서 g1과 g2 필터 중앙 탭이 업 샘플링 컨벌루션 필터링 동작을 트레버스한다. 이와같은 업 샘플링 필터링 동작은 다음 식으로 주어진다.
Figure 112007000990313-pat00209
여기서, [x']25xl은 기준 화상으로 부터의 25 픽셀 칼럼을 나타내며, [x^]24xl 는 업샘플링된 픽셀을 나타내고, 업샘플링 필터 [u]는 식(53)과 (54)에 근거하며, 다음 식으로 주어진다.
Figure 112007000990313-pat00210
업 샘플링 후, 최종 원하는 다운 샘플링 필드 예측 매크로블록 [x^]8xl 칼럼을 생성하기위해서는 후속 예측 다운 샘플링 동작이 필요로 된다. 후술하는 이와같은 다운 샘플링은 (식(56)으로 주어지는) vmvtype와 vmv가 우수 인지 아니면 기수인지 여부에 의존한다.
vmvtype = 0 이다
우수값 수직 모션의 경우에 대해, 원하는 다운 샘플링 필드 예측은 다음과 같이 [x^]24xl에서 [f]8의 컨벌루션으로 주어진다.
Figure 112007000990313-pat00211
여기서, [x^]24xl는 다운 샘플링될 업 샘플링 기준 픽셀들의 칼럼이고, [x^']8xl 는 결과적인 다운 샘플링 기준 픽셀이며, 예측 다운 샘플 필터[d0]는 다음 식으로 주어진다.
Figure 112007000990313-pat00212
그리고 여기서, [f]8는 식 (1)로 부터 주어진다. 수직 예측 업 샘플 및 다운 샘플 필터링은 다음 식에 의해 주어지는 단일 동작으로 결합될 수 있다.
Figure 112007000990313-pat00213
여기서, [x']25xl 는 메모리(106)로 부터의 기준 픽셀 칼럼이며, [x^']8xl 는 예측 업 샘플링 및 다운 샘플링으로부터의 픽셀이며, 업 샘플링 및 다운 샘플링 필터 [PL0-ev]는 다음 식으로 주어진다.
Figure 112007000990313-pat00214
vmv가 기수값인 경우, 업 샘플링 다음에는 다음식으로 주어지는 1/2 선형보간 이 수행되어야 한다.
Figure 112007000990313-pat00215
여기서, [x^]25xl 는 예측 업 샘플링의 결과로 나오는 픽셀이고, [xi^]24xl 는 선형 보간의 결과로 부터 나오는 예측 업 샘플링 픽셀이며, 선형 보간 필터[LI]는 다음 식으로 주어진다
Figure 112007000990313-pat00216
이어서, 다음식에 따라 다운 샘플링이 수행된다.
Figure 112007000990313-pat00217
수직 예측 업 샘플링, 선형보간 및 예측 다운 샘플링은 다음식으로 주어지는 바와같이 단일 동작으로 결합될 수 있다.
Figure 112007000990313-pat00218
여기서, 결합된 수직 예측 업 샘플링, 선형 보간 및 예측 다운 샘플링 필터 [PL0-odd]8x25이 다음 식으로 주어진다.
Figure 112007000990313-pat00219
vmvtype = 1
우수값의 수직 모션 벡터 vmv의 경우에 대해, 원하는 다운 필드 예측은 다음과 같 이 [x^]24xl에서 [f]8의 컨벌루션으로 주어진다.
Figure 112007000990313-pat00220
여기서, 예측 다운 샘플링 필터 [d1]은 다응식으로 주어진다.
Figure 112007000990313-pat00221
수직 예측 업샘플 및 다운 샘플 필터링은 다음 식에 따라 단일 동작으로 결합될 수 있다.
Figure 112007000990313-pat00222
여기서, 결합된 수직 예측 업 샘플 및 다운 샘플 필터 [PL1-ev]는 다음식으로 주어진다.
Figure 112007000990313-pat00223
기수 값이 수직 모션 벡터 vmv의 경우에 대하여, 업 샘플링 다음에는 식(63)으로 주어지는 1/2 픽셀 선형 보간이 수행되어야 한다. 이어서, 다운 샘플링이 식 (67)에 따라 수행된다. 수직 업 샘플링, 선형 보간 및 다운 샘플링은 다음 식으로 주어지는 단일 동작으로 결합될 수 있다.
Figure 112007000990313-pat00224
여기서, 결합된 수직 업 샘플링, 선형 보간 및 다운 샘플링 필터[PL1-odd]는 다음식으로 주어진다.
Figure 112007000990313-pat00225
IIB2. - 프레임 화상에 대한 필드 예측
프레임 화상에 대한 필드 예측의 경우에서, 프레임 매크로 블록에 대한 두 개의 독립적인 필드예측이 요구된다. 도 8에 보인바와 같이, 제 1 칼럼은 도 1의 엔코더(10)에 존재하는 바와 같이 완전 해상도 기준화상(16)에서의 한 필드로부터 픽셀[x]42xl 칼럼의 부분을 나타낸다. 제 2칼럼은 도 5의 디코더 루프에 있는 다운 샘플링 기준(106)에서의 그 필드로부터 픽셀[x′]21xl 칼럼의 대응부분을 나타낸다. 원하는 필드 예측에 대한 완전 해상도 수직 모션 벡터(vmv)는 제 1칼럼에서의 표시된 픽셀로 포인트 된다. 이 모션 벡터는 1/2 픽셀의 단위에 놓인다. 따라서, 만일 완전 해상도 수직 모션 벡터 vmv 가 기수 값이면 이는 완전 해상도로 픽셀 사이에서 포인트 된다.
다시 식(55)로 주어지는 vmv의 모듈로 값을 고려해보자. 표시된 바와 같이, vmvtype의 값은 0 또는 1이 될 것이다. 도 8은 두가지 경우를 예시한다. vmvtype=0 일 때, 수직 모션 벡터 vmv는 완전 해상도 기준 필드에서의 한 쌍의 픽셀 (즉, 도8의 제1 칼럼에서 그들 주위에서 직사각형 박스를 갖는 픽셀) 의 상부 픽셀에 또는 바로 아래에 포인트 된다. 다운 샘플링된 기준 필드에서의 픽셀(즉, 도8의 제2 칼럼에서 그 주위에서 정사각형 박스를 갖는 픽셀)은 이 픽셀 쌍의 픽셀들 사이에 놓인다. vmvtype=1일 때, 수직 모션 벡터 vmv는 이 픽셀쌍의 하부 픽셀에 또는 바로 아래에 포인트 된다. 다시, 다운 샘플링 된 기준필드에서의 픽셀은 이 픽셀쌍의 픽셀들 사이에 놓인다. 다운 샘플링 된 기준 필드로부터 예측을 액세스 하는데 이용되는 저 해상도 모션 벡터 lvmv는 식(56)으로 주어진다. 이 저 해상도 모션 벡터 lvmv 는 그 주위에 박스를 갖는 다운 샘플링 된 기준필드(제2칼럼)에 포인트 된다. 예측 필터로의 입력은 그 픽셀, 그 위에 8개의 픽셀 및 그 아래에 12개의 픽셀을 포함해야한다. 이들21개의 픽셀들은 예측된 수직 필드 블록을 생성하기 위해 수직 예측 필터링 프로세스로의 입력으로서 판독되어야 하는 정확한 수의 픽셀이다.
도 8에서의 제 3 칼럼은 [x^]16xl 이며, 이는 식(53) 및 (54)으로 주어지는 필터 g1 및 g2 로 생성되는 업 샘플링 필드 예측을 나타낸다. 제 2칼럼[x＇]21xl에서의 샘플링 된 픽셀들은 상한 및 하한을 나타내는바, 이 상한 및 하한 사이에서 필터 g1과 g2의 중앙 탭들은 업 샘플링 컨벌루션 동작 동안 트레버스(traverse)된다.
업 샘플링 동작은 다음 식으로 주어진다.
Figure 112007000990313-pat00226
여기서, [x＇]21xl은 메모리(106)에 저장된 기준 화상 으로부터의 21개의 픽셀이며, [x^]16xl 은 결과적인 업 샘플링된 픽셀이며, 업 샘플링 필터[u]은 다음식으로 주어진다.
Figure 112007000990313-pat00227
이어서, 최종의 원하는 다운 샘플링 된 필드 예측[x^']4xl을 생성하기 위해서는 후속 예측 다운 샘플링 동작이 필요로 된다. 하기에 설명하게될 이 다운 샘플링은 vmvtype 및 vmv가 우수 값인지 또는 기수 값 인지 여부에 좌우된다.
vmvtype=0 이다.
수직 모션 벡터 vmv가 우수 값 인 경우에 대해, 원하는 다운 샘플링된 예측은 다음식에 따라 [x^]16xl에서 [f]8의 컨벌루션으로 주어진다.
Figure 112007000990313-pat00228
여기서, [x^]16xl은 다운 샘플링 될 업 샘플링 픽셀이고, [x^]4xl은 결과적인 다운 샘플링 픽셀이며, [d0]는 다음 식으로 주어지는 다운 샘플링 필터이다.
Figure 112007000990313-pat00229
수직 예측 업 샘플 및 다운 샘플 필터링은 다음 식으로 주어지는 단일 동작으로 결합될 수 있다.
Figure 112007000990313-pat00230
여기서, 결합된 업 샘플링 및 다운 샘플링 필터 [PLo-ev]는 다음 식으로 주어진다.
Figure 112007000990313-pat00231
수직 모션 벡터 vmv가 기수 값 인 경우에 대해, 업 샘플링 다음에는 다음 식으로 주어지는 1/2 픽셀 선형 보간이 수행되어야 한다.
Figure 112007000990313-pat00232
여기서,[x]16xl 은 선형적으로 보간 될 업 샘플링 픽셀이고, [x^i]16xl 은 결과적인 선형적으로 보간된 픽셀이며, 선형 보간 필터는 다음 식으로 주어진다.
Figure 112007000990313-pat00233
이어서, 다음식에 따라 다운 샘플링이 수행된다.
Figure 112007000990313-pat00234
여기서, [x^i]16xl은 다운 샘플링 될 업 샘플링 및 선형적으로 보간된 픽셀이고, [x^']4xl은 결과적인 다운 샘플링 픽셀이며, [do]는 식(76)으로 주어지는 다운 샘플링 필터이다.
이 수직 업 샘플링, 선형 보간 및 다운 샘플링은 다음식으로 주어지는 단일 동작으로 결합한다.
Figure 112007000990313-pat00235
여기서, 결합된 수직업 샘플링, 선형보간 및 다운샘플링 필터[PLo-odd]는 다음식으로 주어진다
Figure 112007000990313-pat00236
vmvtype=1이다.
수직 모션벡터 vmv가 우수값인 경우에 대해, 원하는 다운 샘플링 필드 예측이 다음식에 따라 [x^]16xl에서 [f]8의 컨벌루션으로 주어진다.
Figure 112007000990313-pat00237
여기서, 다운샘플링 필터[d1]는 다음식으로 주어진다.
Figure 112007000990313-pat00238
수직 예측 업샘플 및 다운샘플 필터링은 다음식으로 주어지는 단일동작으로 결합될 수 있다.
Figure 112007000990313-pat00239
여기서, 결합된 업 샘플링 및 다운샘플링 필터 [PL1-ev]는 다음식으로 주어진다.
Figure 112007000990313-pat00240
수직 모션벡터 vmw가 기수값인 경우에 대해, 업 샘플링 다음에는 다음식으로 주어지는 1/2픽셀 선형보간이 수행되어야 한다.
Figure 112007000990313-pat00241
여기서, 선형 보간 필터는 식(80)으로 주어진다. 이어서, 다운 샘플링은 다음식에 따라 수행될 수 있다.
Figure 112007000990313-pat00242
수직 업 샘플링, 선형 보간 및 다운 샘플링은 다음식으로 주어지는 단일동작으로 결합될 수 있다.
Figure 112007000990313-pat00243
여기서, 결합된 수직업 샘플링, 선형보간 및 다운 샘플링 필터 [PL1-odd]는 다음식으로 주어진다.
Figure 112007000990313-pat00244
IIB3. 프레임 화상에 대한 프레임 예측
프레임 예측의 경우에 대해, 두 개의 필드 예측이 필터링 및 다운 샘플링 모듈(102)에 의해 프레임 DCT 코딩매크로블록에서 필드DCT코딩 매크로블록으로 변환된 잔차값과 매칭하도록 유도되어야 한다.
도 9에 보인바와 같이 제 1칼럼은 도 1의 엔코더(10)에서의 완전해상도 기준 프레 임(16)으로부터의 픽셀의 수직 칼럼 부분을 나타낸다. 제 2칼럼은 디코더 루프의 메모리 (106)로부터의 다운 샘플링 기준에 있는 그 프레임으로부터의 픽셀[xtb']42xl 칼럼의 대응 부분을 나타낸다. 원하는 프레임 예측에 대한 완전해상도모션 벡터(vonv)는 제1칼럼에서 표시된 픽셜에 포인트된다. 이 모션 벡터는 1/2픽셜에 포인트된다. 이 모션 벡터는 1/2픽셀의 단위로 녹인다. 만일 vmw가 기수값이면, 이는 완전해상도에서 픽셀들 사이에 포인트된다.
움직임 보상부(104)의 예측 필터로의 입력은 제2칼럼에서 42개의 수직픽셀[xtb'] 군이다. 42개의 수직 픽셀의 군을 정확히 액세스 하기 위해, 완전 해상도 모션 벡터의 수직 성분은 다음식에 따라 변형된다.
Figure 112007000990313-pat00245
이와같은 저해상도 수직 모션벡터 lvmv는 다운 샘플링 기준 프레임에서 상부필드픽셀 (xtop')에 포인트될 것이다. 예측필터로의 입력은 그 위에 16개의 픽셀을 그리고 그 아래에 25개의 픽셀을 포함해야 할 것이다.
수직모션 벡터 vmv는 값 vmvtype에 근거하여 4개의 유형중 한 유형으로 분류될 수 있으며, 이들 각각은 도 9에 보인바와 같이 다운 샘플링 기준 프레임과 다른 공간적인 관계를 갖는다. 이들 분류는 다음식으로 주어진다.
Figure 112000026821700-pat00107
여기서 vmvtype는 식(9)에 따라 0,1,2 또는 3의 값을 가질 수 있다. 각각 심 (53)과 (54)에서 [g1]13과 [g2]13의 정의로부터, 두 개의 25 탭 필터가 다음식에 따라 정의될 수 있다.
Figure 112000026821700-pat00108
Figure 112000026821700-pat00109
이어서, 업 샘플링 필터 [u]는 다음식으로 주어진다.
Figure 112007000990313-pat00246
도 9의 다운 샘플링 기준 프레임으로부터의 [xtb']42xl의 각 필드에대한 독립적인 업샘플링이 다음식에 따라 수행된다.
Figure 112007000990313-pat00247
그러므로, 업 샘플링 예측은 [x^top]16xl과 [x^bot]16xl'로 구성되며, 이들은 도 9에서 각각 3번 및 4번 칼럼이 된다.
이어서, 최종의 원하는 필드예측쌍을 생성하기 위해 ( 각 업샘플링 필드에서, 후속의 예측다운 샘플링 동작이 요구된다. 후술하는 다운 샘플링은 vmvtype와 그리고 vmv가 우수값인지 아니면 기수값인지 여부에 좌우된다.
vmvtype=0이고 vmv는 우수값으로 된다.
각 필드 예측에 대한 다운 샘플 필터가 다음식으로 주어진다.
Figure 112007000990313-pat00248
이어서, 다운 샘플링 필터 [do]8×32는 다음식에 따라 정의된다.
Figure 112007000990313-pat00249
각각의 업 샘플링 필드를 독립적으로 다운 샘플링 함으로써 다음식으로 주어지는 바와 같이 원하는 필드예측이 생성된다.
Figure 112007000990313-pat00250
결합된 업-샘플 다운-샘플 필터가 다음식으로 주어진다.
Figure 112007000990313-pat00251
이 결합된 업 샘플-다운 샘플 필터는 또한 다음식으로 주어지는 바와 같이 원하는 필드예측을 생성하는데 이용된다.
Figure 112007000990313-pat00252
vmvtype=0이고 vmv는 기수값으로 된다.
상기한 바와 같이, 독립적인 업 샘플링 필드예측은 다음식으로 주어진다.
Figure 112007000990313-pat00253
개별적인 업 샘플링 필드들은 서플링 및 선형적으로 보간되어야 한다. 서플링/보간 오퍼레이터는 다음식으로 주어진다.
Figure 112007000990313-pat00254
업 샘플링 필드에서 수행된 이 서플링 및 선형 보간은 다음 식으로 주어진다.
Figure 112007000990313-pat00255
각각의 업 샘플링, 서플링 및 선형적으로 보간된 필드를 독립적으로 다운 샘플링 함으로써, 다음식으로 주어지는 원하는 예측 필드가 생성된다.
Figure 112007000990313-pat00256
여기서, 다운 샘플링 필터 [do]8x32는 식(?)으로 주어진다.
업 샘플링 필터[u], 서플링 및 선형 보간 필터 [SLI] 및 다운 샘플링 필터[do]는 다음 식을 결합 될 수 있다.
Figure 112007000990313-pat00257
그리고 원하는 필드 예측이 다음 식으로 주어진다.
Figure 112007000990313-pat00258
vmvtype = 1
각 필드 예측에 대한다운 샘플러는 다음 식으로 주어진다.
Figure 112007000990313-pat00259
Figure 112007000990313-pat00260
그리고 다음 식으로 주어지는 바와같이 단일 오퍼레이터로 결합될 수 있다.
Figure 112007000990313-pat00261
이를 이용하여, 결합된 다운 샘플링 필터[d1], 결합된 필터[PL1-ev]8x42와 [ PL1-odd]8x42가 (식(101) 및 (108)에 보인) [PLo-ev]와 [PLo-odd]의 유도와 유사한 방식으로 유도될 수 있으며, vmv가 우수 값인 경우에 대해 원하는 필드 예측을 생성하기 위해 다음 식에 따라 이용될 수 있고
Figure 112007000990313-pat00262
그리고 vmv가 기수값인 경우에는 다음식에 따라 이용될 수 있다.
Figure 112007000990313-pat00263
vmvtype = 2
각 필드 예측에 대한 다운 샘플링 필터는 다음 식으로 주어지며,
Figure 112007000990313-pat00264
그리고 다음식에 따라 결합될 수 있다.
Figure 112007000990313-pat00265
vmvtype = 0 에 대한 유도와 같은 방식으로 식(116)의 다운 샘플링 필터를 이용함으로써, 결합된 필터 [PL2-ev]8x42 와 [PL2-odd]8x42가 유도되고, vmv가 우수 값 인 경우에 대해서는 다음 식
Figure 112007000990313-pat00266
을 따라 원하는 필드 예측을 생성하는데 이용될 수 있고, 그리고 vmv가 기수 값인 경우에 대해서는 다음 식
Figure 112007000990313-pat00267
을 따라 원하는 필드 예측을 생성하는데 이용될 수 있다.
vmvtype = 3
각 필드 예측에 대한다운 샘플러는 다음 식으로 주어진다.
Figure 112007000990313-pat00268
Figure 112007000990313-pat00269
이들 두 개의 다운 샘플링 필터는 다음 식에 따라 결합될 수 있다.
Figure 112007000990313-pat00270
vmvtype = 0, 1, 2에 대한 유도와 같은 방식으로 식(121)의 다운 샘플링 필터를 이용함으로써, 결합된 필터 [PL3-ev]8x42 및 [PL3-odd]8x42 가 유도 될 수 있으며, vmv가 우수 값인 경우에 대해서는 다음 식
Figure 112007000990313-pat00271
을 따라 원하는 필드 예측을 생성하는데 이용될 수 있고, 그리고 vmv가 기수 값인 경우에 대해서는 다음 식
Figure 112007000990313-pat00272
을 따라 원하는 필드 예측을 생성하는데 이용될 수 있다.
ICC. - 유도된 수직 예측 필터 오퍼레이터의 개요
ICC 1. - 필드 화상에 대한 필드 예측
식(62), (66), (70) 및 (72)로부터의 다음 오퍼레이터는 필드 화상의 필드예측에 대해 이용되며, 8x25 매트릭스 이다.
Figure 112000026821700-pat00137
IIC2. - 프레임 화상에 대한 필드 예측
식 (78), (87) 및 (91)으로부터의 다음 오퍼레이터들이 프레임 화상의 필드 예측에 대해 이용되고, 매크로 블록당 요구되는 두 개의 예측을 갖는 4x21 매트릭스이다.
Figure 112000026821700-pat00138
IIC3. - 프레임 화상에 대한 프레임 예측
식(101), (108) 및 유사한 식으로부터의 다음 오퍼레이터들이 프레임 필드 화상의 프레임 예측에 대해 이용되며, 8x42 매트릭스 이다.
Figure 112000026821700-pat00139
IID. 모션 보상 블록 선도(도5, 모듈104)
움직임 보상부(34)가 도 10에 상세히 도시되었다. 모션 벡터 번역기(150)가 수신된 완전 해상도 모션 벡터를 전술한 바와 같이 저 해상도 모션 벡터로 번역한다. 이어서, 이 저 해상도 모션 벡터는 메모리(106)에 공급을 위해 기준 화상 생성부 어드레스로 변환된다. 수직적으로, 이 번역 및 변환은 이전 토론에서 기술한 바와 같이 예측 유형(프레임 또는 필드)에 의존한다. 모션 벡터 번역기(150)로 부터의 어드레스에 의해 메모리 (106)로부터 판독된 기준 픽셀들은 수평 예측 필터(152)에 공급된다. 수평 예측 필터링이 수평 예측 필터(152)에서 발생하며, 4 포인트 IDCT 에 대한 최소 드리프트 예측과 관계하여 전술한 바와 동일하다.
수평 예측 필터(154)에 공급된다. 수직 예측 필터링(업 샘플링 및 다운 샘플링)은 전술한 바와같이 예측 유형 및 vmv 값(기수 또는 우수)에 따라 수직 예측 필터(154)에 의해 수행된다. 따라서, 예측 유형 및 vmv 값(기수 또는 우수)에 따라서, 정확한 수직 필터 오퍼레이터 [PL]이 메모리로부터 판독되어 이들이 수평 예측 필터(152)로부터 수신될 때 픽셀의 각 칼럼으로부터 판독된다. 수평 및 수직으로 필터링된 예측은 수직 예측 필터(154)에 의해 가산기(108)(도 5)에 공급되어 필터링 및 다운 샘플링 모듈(102)로부터 인입 잔차 매크로블록에 가산된다.
도 5의 필터링 및 다운 샘플링 모듈(102)에 의해 수행되는 수직 다운 샘플링방법의 공간 효과가 고려되어야 한다. 도 11은 인터레이싱 화상의 원래의 완전 해상도 픽셀들(도 11의 제 1 칼럼으로 보인바와 같이, 상부 필드에 대해서는 픽셀 A 그리고 하부필드에 대해서는 픽셀 B)과 대응 다운 샘플링된 인터레이싱 화상의 픽셀들(도 11의 제 2 칼럼으로 보인 바와같이 상부 필드에 대해서는 픽셀 "a" 그리고 하부 필드에 대해서는 픽셀 "b") 사이의 유효한 공간 관계를 보여준다. 주목할 사항으로, "a" 픽셀들은 그 밖의 모든 쌍의 A 픽셀들 사이에서 절반이 되며 "b" 픽셀들은 그 밖의 모든 B 픽셀들 사이에서 절반으로 된다. 또한 주목할 사항으로, 원래의 완전 해상도 화상에서, B 픽셀들은 A 픽셀들 사이에서 절반이 된다. 그러나, 결과적인 다운 샘플링 화상에서, "b" 픽셀들은 "a" 픽셀들 사이에서 절반이 되지 않음을 알 수 있다.
그러므로, 도 5의 보간기(110)는 "a" 및 "b" 필드들의 수직 위치를 효과적으로 조정하도록 수직 필터를 포함하여, "b" 픽셀들은 도 12에 보인바와 같이 "a" 픽셀들 사이에서 중간에 놓이게 된다. 한 예의 수직 필터는 "a" 픽셀들을 1/8 샘플 위치로 시프트 업하고 그리고 "b" 필드를 1/8 샘플 위치로 시프트 다운하는 간단한 선형 보간기로 구성된다. 이 선형 보간기들보다 더 복잡한 필터들이 또한 사용될 수 있다.
또한, 필드들 각각에 대한 상기 1/8 샘플 시프트를 달성하도록 도 5의 필터링 및 다운 샘플링 모듈(102)을 변경함으로써, 도 5의 보간기에 대한 필요성을 제거할 수 있다. 이 경우에, 식 (1)의 f8에 대한 대체로서 두 개의 서로 다른 필터들이 필요로 될 수 있는데, 하나는 A 또는 상부 필드에 해당하고, 또 하나는 B 또는 하부 필드 에 해당한다. 다음 식으로 주어지는 A 필드 필터에 대한 다운샘플링 필터는 식(1) 의 그것과 유사한 방식으로 유도되지만은 1/8 샘플 시프트를 포함할 수 있다.
Figure 112000026821700-pat00140
마찬가지로, 다음식으로 주어지는 B 필드에 대한 다운샘플링 필터는 반대 방향으로 1/8 샘플 시프트를 포함한다.
Figure 112000026821700-pat00141
각각의 매칭 예측 필터들이 전술한 바와 정확한 방식으로 필드들 각각에 대해 유도되어야 한다.
IIE. - 1/2 픽셀 해상도 모션 벡터들의 경우에 대한 드리프트 감소
전술한 바와같이, MPEG-2 엔코딩 비디오에 대한 모션 벡터는 1/2 픽셀 해상도를 갖는다. 이 1/2 픽셀 해상도는 수직 또는 수평 모션 벡터가 기수값으로되는 경우, 도 5의 다운 변환 디코더(100)의 경우에서와 같이 완전 해상도 기준 또는 업 샘플링된 감소된 해상도 기준으로부터 예측을 형성할 때 1/2 보간이 요구된다. MPEG-2 표준은 기수값 수평 모션 벡터 또는 우수값 수직 모션 벡터의 경우에 대한 1/2 픽셀 보간이 다음식에 따라 계산되어야 함을 명시하고 있다.
Figure 112000026821700-pat00142
여기서, x 및 y는 완전 해상도 기준 픽셀의 l값을 나타내는 정수(8비트가 되는 것으로 가정됨)이다.
이 식은 계산된 보간 픽셀의 최하의 비트(LSB)를 처리하는 방법을 보여주고 있다. 만일 x + y = S 이고, S가 우수이면, S/2 = I.5가 되며, 여기서 I는 정수이고 식(126)은 효과적으로 I+1로 사사오입(round up)을 행하게 될 것이다. 이와 같은 1.5에서 I + 1로의 증대는 1/2 LSB의 증대와 균등하다. 평균에서, 시간 S의 절반이 우수이고, 시간 S의 절반이 기수인 경우, 식 (126)은 계산된 보간 예측 픽셀에서 1/4 LSB의 평균 증대를 요구한다. (도 10의 수직 예측 필터(154)에 의해 실행되는 식(66)의 단일 단계의 매트릭스 오퍼레이터 처럼) S/2의 계산을 다른 필터링 동작과 선형적으로 결합하고 그리고 나서 그 결과를 사사오입하는 디코더는 최종 사사오입 때까지 S(S 값은 원하는 값 I + 1 대신에 시간의 50%인 I.5 이다)의 우수리 부분을 효과적으로 보유할 것이다. 그러므로, 그러한 디코더는 다음 I 프레임때까지 보다 어두운 화상쪽으로 DC 예측 드리프트를 나타낼 것이다.
그러므로, 모션 벡터가 우수 기수값일 때 식(65)의 요건들처럼 동작을 위한 식(126)의 요건들을 보다 면밀하게 충족시키도록 하기 위해서는 , 도 10의 수직 예측 필터(154)로부터의 예측 출력은 .25(1/4 LSB와 균등함)를 그의 출력에 가산하고 이어서 그 예측 결과를 도 5의 가산기(108)에 제공되기전에 8비트 정수로 사사오입함으로써 변경되어야만 한다.
IIE2. - 양 방향에서의 1/2 픽셀 보간
수평 및 수직 모션 벡터가 모두 기수값일 때, 그 표준은 다음식으로 주어지는 4 방 식 보간을 명시한다.
Figure 112000026821700-pat00143
식 (127)은 계산된 보간 픽셀의 LSB를 처리하는 방법을 나타낸다. 만일 a + b + c + d = S 이고 S 가 4로 고르게 분배가능한 경우(경우 1), 상기 동작은 정확히 S/4와 균등하다. 다른 방법으로, 다른 3개의 고려할 경우가 존재한다(%는 모듈로 동작을 표시한다). 경우 2의 경우에, (S/4) %4 =1이고 따라서 S/4 = I.25이다. 식(127)은 S/4를 0.25(-1/4 LSB)만큼 감소시킨다. 경우 3에서, (s/4)%4 =2 이고, 따라서 S/4는 I.5이다. 식(127)은 S/4를 0.5(+1/2 LSB)만큼 증대시킨다. 경우 4에서, (S/4)%4 = 3이고, 따라서 S/4는 I.75이다. 식(127)은 S/4를 0.25(+1/4 LSB)만큼 증대시킨다.
모든 4개의 경우가 동등하게 가능한 것으로 가정하면, 평균에서 식 (127)은 계산된 보간 예측 픽셀에서 (0 - 0.25 + 0.5 + 0.25)의 증대를 요구한다. 그러므로, 수평 및 수직 기수값의 모션 벡터의 경우에 대해, 도 10의 예측 출력은 .125(1/8 LSB와 균등함)를 수직 예측 필터(154)에 가산하고 그리고 나서 그 예측 결과를 도 5의 가산기(108)에 제공되기전 8비트의 정수로 사사오입함으로써 변경되어야만 한다.
III. - 다른 다운 샘플링비로의 확장
주지할 사항으로, 전술한 섹션에서, 수평 및 수직 다운 샘플링 모두는 2의 인자로 수행되어야 한다. 그러나, 상기 방법은 그렇게 제한적이지 않아, 수월한 방식으로 다른 다운 샘플링 비로 확장될 수 있다. 예컨대, 3 포인트 IDCT의 활용을 통한 수 평 다운 샘플링의 결과, 8/3 인자로 수평 다운 샘플링이 이루어지는바, 이는 본 기술분야에 공지되어 있다. 본 명세서에서 기술한 신규한 수직 다운 샘플링 방법은 예컨대 8/5 인자로의 다운 샘플링에까지 확장될 수 있다. 식 (1)의 필터와 유사한 수직 필터 f 가 이용될 수도 있다(이 필터는 아마도, 보다 높은 주파수들에서 다소 적은 감쇄를 갖는다). 다운 샘플링 처리는 5 필터에 의해 업 샘플로 분해(decompose)되며, 그 다음 8로 다운 샘플링된다. 최소 드리프트 예측 필터는 전술한 바와같이 다운 샘플링 필터 f 로부터 유도될 수 있다.
상기에서 본 발명의 일부 변형들에 대해 설명했다. 본 발명의 기술분야의 실무자이면 다른 변형들을 꾀할 수 있을 것이다. 예컨대, 상기 설명에 따르면, 다운 변환시 수직 IDCT를 수행하는데 14개의 로우가 이용된다. 그러나, 그 대신에 어느 수의 로우도 이용될 수 있다.
따라서, 본 발명의 상세한 설명은 단지 예시를 위한 것이며, 당업자에게 본 발명의 수행하는 최상의 모드를 제시하고자 하는 목적으로 이루어 졌다. 본 발명은 본 발명의 정신을 벗어나지 않는 범주내에서 여러 가지 다양한 변형이 가능하며, 첨부한 특허청구의 범위내에서 모든 변형에 대해 배타적 권리를 갖는다.

Claims (20)

  1. 예측 필터링시 1/2 픽셀 해상도 모션 벡터의 적용과 관련하여 드리프트를 최소화시키는 방법으로써,
    a) 수신된 P 및 B 프레임과 필드 DCT코딩 블록을 다운 변환하는 단계와;
    b) 수신된 모션벡터에 근거하여 기준픽셀을 선택하는 단계와;
    c) 예측 축력이 생성되도록, 선택된 기준 픽셀에서 예측 필터링을 수행하는 단계와;
    d) 모션벡터가 1/2 픽셀 해상도 모션 벡터인 경우, 드리프트 보상값을 예측 출력에 가산하는 단계와; 그리고
    e) 저해상도의 재구성된 픽셀 블록이 형성되도록 예측 출력을 다운 변환된 P 및 B 프레임에 가산하는 단계를 포함하는 것을 특징으로 하는 변환방법.
  2. 제 1항에 있어서,
    상기 모션 벡터가 수직 모션 벡터와 수평 모션 벡터 모두를 포함하고, 여기서 상기 드리프트 보상값은 만일 상기 수직 및 수평 모션 벡터가 기수값인 경우 대략 0.25인 것을 특징으로 하는 변환방법.
  3. 제 1항에 있어서,
    상기 모션 벡터는 수직 모션 벡터와 수평 모션 벡터 모두를 포함하고, 여기서 상기 드리프트 보상값이 만일 상기 수직 및 수평 모션 벡터가 기수값인 경우 대략 0.125인 것을 특징으로 하는 변환방법.
  4. 제 1항에 있어서,
    상기 모션 벡터는 수직 모션 벡터와 수평 모션 벡터를 모두 포함하고,
    여기서 상기 드리프트 보상값이 만일 상기 수직 및 수평 모션 벡터 모두가 아닌 이들 중 하나가 기수값인 경우 대략 0.25인 것을 특징으로 하는 변환방법.
  5. 제 1항에 있어서,
    상기 단계 d)는 만일 상기 모션 벡터가 1/2픽셀 해상도 모션 벡터가 아닌 경우, 어떠한 드리프트 보상도 상기 예측 출력에 가산하지 않는 것을 특징으로 하는 변환방법.
  6. 제 1항에 있어서,
    상기 단계 a)가
    a1)상기 수신된 P 및 B 프레임 DCT 코딩 블록을, 변환 P 및 B 필드 DCT코딩 블록으로 변환하는 단계와; 그리고
    a2)상기 수신된 P 및 B 필드 DCT코딩 블록과 상기 변환된 P 및 B 필드 코딩 블록을 다운 변환하는 단계를 포함하는 것을 특징으로 하는 변환방법.
  7. 제6항에 있어서,
    상기 모션 벡터는 수직 모션 벡터 및 수평 모션 벡터를 포함하고,
    여기서, 상기 드리프트 보상값은 만일 상기 수직 및 수평 모션벡터중 하나가 기수값인 경우 대략 0.25인 것을 특징으로 하는 변환방법.
  8. 제 6항에 있어서,
    상기 모션 벡터는 수직 모션 벡터 및 수평 모션 벡터를 포함하고,
    여기서, 상기 드리프트 보상값은 만일 상기 수직 및 수평 모션벡터 모두가 기수값인 경우 대략 0.125인 것을 특징으로 하는 변환방법.
  9. 제6항에 있어서,
    상기 모션 벡터는 수직 모션 벡터와 수평 모션 벡터를 모두 포함하고,
    여기서, 상기 드리프트 보상값이 만일 상기 수직 및 수평 모션 벡터 모두가 아닌 이들 중 하나가 기수값인 경우 대략 0.25인 것을 특징으로 하는 변환방법.
  10. 제6항에 있어서,
    상기 수신된 P 와 B 프레임 및 필드 DCT 코딩 블록 각각은 NxN 값을 포함하고, 여기서, 상기 단계 a2)는 상기 수신된 P 와 B 필드 DCT 코딩 블록 및 상기 변환된 P 와 B 필드 DCT 코딩 블록에서 수평 M 포인트 IDCT, 수직 N 포인트 IDCT, 수직 공간 필터링, 및 다운 샘플링을 수행하는 단계를 포함하고, 여기서 적어도 상기 수직 공 간 필터링 및 다운 샘플링은 N개 이상의 포인트를 포함하며, N>M 인것을 특징으로 하는 변환방법.
  11. 제10항에 있어서,
    상기 단계 a)가 상기 수신된 프레임 DCT 코딩 블록을, 대응 변환 필드 DCT 코딩 블록으로 변환하기위해 언셔플링 오퍼레이터를 상기 수신된 프레임 DCT 코딩 블록에 인가하는 단계를 포함하는 것을 특징으로 하는 변환방법.
  12. P 와 B DCT 코딩 블록으로 부터 픽셀 블록을 재구성하는 방법으로써,
    a)모션 벡터에 따라서, 메모리로부터 기준 픽셀을 선택하는 단계와;
    b)필터링된 출력이 생성되도록, 상기 선택된 기준 픽셀을 필터링하는 단계와;
    c)만일 상기 모션 벡터가 1/2 픽셀 해상도를 갖는 경우, 상기 필터링된 출력에 드리프트 보상값을 가산하는 단계와; 그리고
    d)상기 재구성된 픽셀 블록이 형성되도록, 상기 필터링된 출력을 상기 P 와 B DCT 블록에 가산하는 단계를 포함하는 것을 특징으로 하는 변환방법.
  13. 제12항에 있어서,
    상기 단계 c)는 만일 상기 모션 벡터가 1/2 픽셀 해상도 모션 벡터가 아닌 경우, 어떠한 드리프트 보상도 상기 예측 출력에 가산하지 않는 것을 특징으로 하는 변환방법.
  14. 제12항에 있어서,
    상기 P와 B 프레임 및 필드 DCT 코딩 블록은 수신 P 와 B 프레임 및 필드 DCT 코딩 블록이며, 여기서, 상기 단계 a)는
    a1)상기 수신된 P 및 B 프레임 DCT 코딩 블록을, 변환 P 및 B 필드 DCT코딩 블록으로 변환하는 단계와;
    a2)상기 수신된 P 및 B 필드 DCT 코딩 블록과 상기 변환된 P 및 B 필드 코딩 블록을 다운 변환하는 단계와; 그리고
    a3)모션 벡터에 따라서, 메모리로부터 기준 픽셀을 선택하는 단계를 포함하는 것을 특징으로 하는 변환방법.
  15. 제14항에 있어서,
    상기 수신된 P 와 B 프레임 및 필드 DCT 코딩 블록 각각은 NxN 값을 포함하고, 여기서,
    상기 단계 a2)는 상기 수신된 P 와 B 필드 DCT 코딩 블록 및 상기 변환된 P 와 B 필드 DCT 코딩 블록에서 수평 M 포인트 IDCT, 수직 N 포인트 IDCT, 수직 공간 필터링, 및 다운 샘플링을 수행하는 단계를 포함하고, 여기서 적어도 상기 수직 공간 필터링 및 다운 샘플링은 N개 이상의 포인트를 포함하며, N>M 인것을 특징으로 하는 변환방법.
  16. 제15항에 있어서,
    상기 단계 a)가 상기 수신된 프레임 DCT 코딩 블록을, 대응 변환 필드 DCT 코딩 블록으로 변환하기위해 언셔플링 오퍼레이터를 상기 수신된 프레임 DCT 코딩 블록에 인가하는 단계를 포함하는 것을 특징으로 하는 변환방법.
  17. P 와 B DCT 코딩 블록으로부터 픽셀 블록을 재구성하는 방법으로써,
    a)모션 벡터에 따라서, 메모리로부터 기준 픽셀을 선택하는 단계와;
    b)만일 모션 벡터가 1/2 픽셀 해상도를 갖는 경우, 상기 선택된 기준 픽셀에 드리프트 보상값을 가산하는 단계와; 그리고
    c)재구성된 픽셀 블록이 형성되도록, 상기 선택된 기준 픽셀을 상기 P 와 B DCT 코딩 블록에 가산하는 단계를 포함하는 것을 특징으로 하는 변환방법.
  18. 제17항에 있어서,
    상기 단계 c)는 만일 상기 모션 벡터가 1/2 픽셀 해상도 모션 벡터가 아닌 경우, 어떠한 드리프트 보상도 상기 예측 출력에 가산하지 않는 것을 특징으로 하는 변환방법.
  19. 제17항에 있어서,
    상기 P와 B 프레임 및 필드 DCT 코딩 블록은 수신 P 와 B 프레임 및 필드 DCT 코딩 블록이며, 여기서 상기 단계 a)는
    a1)상기 수신된 P 및 B 프레임 DCT 코딩 블록을, 변환 P 및 B 필드 DCT코딩 블록으로 변환하는 단계와;
    a2)상기 수신된 P 및 B 필드 DCT 코딩 블록과 상기 변환된 P 및 B 필드 코딩 블록을 다운 변환하는 단계와; 그리고
    a3)모션 벡터에 따라서, 메모리로부터 기준 픽셀을 선택하는 단계를 포함하는 것을 특징으로 하는 변환방법.
  20. 제19항에 있어서,
    상기 수신된 P 와 B 프레임 및 필드 DCT 코딩 블록 각각은 NxN 값을 포함하고, 여기서,
    상기 단계 a2)는 상기 수신된 P 와 B 필드 DCT 코딩 블록 및 상기 변환된 P 와 B 필드 DCT 코딩 블록에서 수평 M 포인트 IDCT, 수직 N 포인트 IDCT, 수직 공간 필터링, 및 다운 샘플링을 수행하는 단계를 포함하고, 여기서 적어도 상기 수직 공간 필터링 및 다운 샘플링은 N개 이상의 포인트를 포함하며, N>M 인것을 특징으로 하는 변환방법.
KR1020000077015A 1999-12-15 2000-12-15 고화질 시퀀스의 저해상도로 시퀀스로의 다운 변환에서드리프트 보상방법 KR100739130B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/464,279 1999-12-15
US09/464,279 US6510178B1 (en) 1999-12-15 1999-12-15 Compensating for drift in the down conversion of high definition sequences to lower resolution sequences

Publications (2)

Publication Number Publication Date
KR20010062485A KR20010062485A (ko) 2001-07-07
KR100739130B1 true KR100739130B1 (ko) 2007-07-13

Family

ID=23843256

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000077015A KR100739130B1 (ko) 1999-12-15 2000-12-15 고화질 시퀀스의 저해상도로 시퀀스로의 다운 변환에서드리프트 보상방법

Country Status (2)

Country Link
US (1) US6510178B1 (ko)
KR (1) KR100739130B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101464057B1 (ko) 2010-02-08 2014-11-21 노키아 코포레이션 비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628714B1 (en) * 1998-12-18 2003-09-30 Zenith Electronics Corporation Down converting MPEG encoded high definition sequences to lower resolution with reduced memory in decoder loop
KR100335055B1 (ko) 1999-12-08 2002-05-02 구자홍 압축 영상신호의 블럭현상 및 링현상 제거방법
US7088780B2 (en) * 2001-05-11 2006-08-08 Mitsubishi Electric Research Labs, Inc. Video transcoder with drift compensation
US7379105B1 (en) * 2002-06-18 2008-05-27 Pixim, Inc. Multi-standard video image capture device using a single CMOS image sensor
NO320114B1 (no) * 2003-12-05 2005-10-24 Tandberg Telecom As Forbedret utregning av interpolerte pixelverdier
US20050232355A1 (en) * 2004-04-15 2005-10-20 Srinivas Cheedela Video decoder for supporting both single and four motion vector macroblocks
KR101605047B1 (ko) * 2011-12-21 2016-03-21 인텔 코포레이션 움직임 보상 및 디스플레이 리프레시의 전력 소모를 감소시키는 dram 압축 방안

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990013261A (ko) * 1997-07-11 1999-02-25 이형도 이동벡터 스케일링기능을 개선한 스케러블 부호화기 및 그 방법
KR19990037345A (ko) * 1997-10-24 1999-05-25 모리시타 요이찌 시청각 압축 시스템에서 계산의 섬세한 성능저하용 방법
KR20010013202A (ko) * 1998-03-31 2001-02-26 요트.게.아. 롤페즈 엔코드화된 데이터 스트림의 데이터를 변경하기 위한 방법및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US6075906A (en) * 1995-12-13 2000-06-13 Silicon Graphics Inc. System and method for the scaling of image streams that use motion vectors
JP3575508B2 (ja) * 1996-03-04 2004-10-13 Ｋｄｄｉ株式会社 符号化動画像再生装置
US6148033A (en) * 1997-11-20 2000-11-14 Hitachi America, Ltd. Methods and apparatus for improving picture quality in reduced resolution video decoders
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US6249549B1 (en) * 1998-10-09 2001-06-19 Matsushita Electric Industrial Co., Ltd. Down conversion system using a pre-decimation filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990013261A (ko) * 1997-07-11 1999-02-25 이형도 이동벡터 스케일링기능을 개선한 스케러블 부호화기 및 그 방법
KR19990037345A (ko) * 1997-10-24 1999-05-25 모리시타 요이찌 시청각 압축 시스템에서 계산의 섬세한 성능저하용 방법
KR20010013202A (ko) * 1998-03-31 2001-02-26 요트.게.아. 롤페즈 엔코드화된 데이터 스트림의 데이터를 변경하기 위한 방법및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
1019990013261
1019990037345
1020010013202

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101464057B1 (ko) 2010-02-08 2014-11-21 노키아 코포레이션 비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US11368700B2 (en) 2010-02-08 2022-06-21 Nokia Technologies Oy Apparatus, a method and a computer program for video coding

Also Published As

Publication number Publication date
KR20010062485A (ko) 2001-07-07
US6510178B1 (en) 2003-01-21

Similar Documents

Publication Publication Date Title
KR100370076B1 (ko) 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
US6628714B1 (en) Down converting MPEG encoded high definition sequences to lower resolution with reduced memory in decoder loop
Segall et al. Spatial scalability within the H. 264/AVC scalable video coding extension
KR100667606B1 (ko) 다운 변환 시스템용 업 샘플링 필터
US6990241B2 (en) Circuit and method for decoding an encoded version of an image having a first resolution directly into a decoded version of the image having a second resolution
AU2010219337B2 (en) Resampling and picture resizing operations for multi-resolution video coding and decoding
US6873655B2 (en) Codec system and method for spatially scalable video data
JP3631642B2 (ja) ２：１間引きにおける効果的なダウンコンバージョン
US5974184A (en) Intra-macroblock DC and AC coefficient prediction for interlaced digital video
KR100289587B1 (ko) 화상 신호 부호화 방법 및 화상 신호 부호화 장치, 화상 신호 복호화 방법 및 화상 신호 복호화장치,및 화상 신호 기록매체
US6519288B1 (en) Three-layer scaleable decoder and method of decoding
US6504872B1 (en) Down-conversion decoder for interlaced video
EP0644695A2 (en) Spatially scalable video encoding and decoding
CA2281391A1 (en) Down conversion system using a pre-decimation filter
KR100711597B1 (ko) 감소된 해상도의 비디오 신호를 유도하기 위한 디코딩 장치 및 방법
US20010016010A1 (en) Apparatus for receiving digital moving picture
Tan et al. A frequency scalable coding scheme employing pyramid and subband techniques
KR100739130B1 (ko) 고화질 시퀀스의 저해상도로 시퀀스로의 다운 변환에서드리프트 보상방법
KR100323676B1 (ko) 디지털 동영상 수신 장치
KR20110095320A (ko) 동화상 부호화 장치 및 동화상 복호 장치
KR100700515B1 (ko) 디코더 루프에서 메모리 감소를 통한 ｍｐｅｇ 엔코딩고화질 시퀀스의 저해상도로의 다운 변환 방법 및 장치
Chiang et al. Hierarchical HDTV/SDTV compatible coding using Kalman statistical filtering
Kim et al. Hierarchical coding of DTV and HDTV for satellite transmission
Mathew Drift correction for hierarchical top down encoding schemes employing DCT subband decomposition
JP2008109702A (ja) ディジタル信号変換方法およびディジタル信号変換装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100630

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee