KR20030064332A

KR20030064332A - 개선된 영상 코딩 방법 및 장치

Info

Publication number: KR20030064332A
Application number: KR10-2003-0004782A
Authority: KR
Inventors: 투라피스알렉산드로스; 우펭; 리쉬펭
Original assignee: 마이크로소프트 코포레이션
Priority date: 2002-01-25
Filing date: 2003-01-24
Publication date: 2003-07-31
Also published as: EP2207355B1; US20100135390A1; DE20321894U1; US7646810B2; EP2323402A1; US20180131933A1; JP5826900B2; US9888237B2; US7003035B2; JP5705822B2; JP2013081242A; US20030142748A1; JP2003244704A; EP1335609A3; EP2207355A3; US20190215513A1; US20060072662A1; US20090245373A1; ES2638295T3; US8406300B2

Abstract

특히 하이/컴플렉스 모션 시퀀스에 대한 코딩 효율을 크게 개선하기 위해 다양한 모델 및/또는 모드를 이용하는 영상 코딩 방법 및 장치가 제공된다. 이 방법 및 장치는 예컨대 매크로블록 레벨 등에서 프레임의 일부 내에 존재할 수도 있는 시간적 및/또는 공간적 상관관계를 이용한다. 이 방법 및 장치는 화질을 유지 또는 개선하는 한편 모션정보를 인코딩하는데 요구되는 데이터의 양을 크게 감소시킨다.

Description

개선된 영상 코딩 방법 및 장치{IMPROVED VIDEO CODING METHODS AND APPARATUSES}

본 발명은 영상 코딩(video coding)에 관한 것으로, 특히 다양한 유형의 영상 데이터와 연관된 개선된 코딩 및/또는 예측 기술을 제공하는 방법 및 장치에 관한 것이다.

영상코딩에서 코딩 효율의 증가에 대한 동기부여로 인하여 JVT(Joint Video Team)(표준 기구)에서는 주어진 매크로블록에 대한 모션(motion) 정보를 기술하는 보다 정교하고 복잡한 모델 및 모드를 채택하기에 이르렀다. 이들 모델 및 모드는 영상 시퀀스 내에 존재할 수도 있는 시간적 리던던시(redundancy)를 보다 잘 이용한다. 예를 들면, ITU-T, Video Coding Expert Group(VCEG), "JVT Coding - (ITU-T H.26L & ISO/IEC JTC1 Standard) - Working Draft Number 2(WD-2)", ITU-T JVT-B118, Mar. 2002; and/or Heiko Schwarz and Thomas Wiegand, "Tree-structured macroblock partition", Doc. VCEG-N17, Dec. 2001을 참조하기 바란다.

최근의 모델은, 예컨대 모션 벡터의 멀티프레임 인덱싱, 증가된 서브픽셀(sub-pixel) 정확도, 멀티 레퍼런싱, 및 트리구조의 매크로블록 및 모션 할당을 포함하고, 이에 따라 매크로블록의 서로 다른 부영역(sub areas)은 서로 다른 모션정보에 할당된다. 불행히도, 이들 모델은 또한 시퀀스 내의 모션정보의 인코딩을 위한 비트의 요구 비율을 크게 증가시킨다. 따라서, 일부 경우에 이 모델은 이러한 코딩방법의 효능을 감소시킨다.

일부 경우에, 모션벡터가 공간 예측기와 비교하여 별도로 인코딩되거나, 심지어 전달할 잔여(residue) 화상을 갖지 않는 한편 제로 모션의 경우에 스킵(skip)된다 하더라도, 이것은 개선된 효율을 위해 충분한 것 같지 않다.

따라서, 화질에 크게 영향을 미치지 않음과 동시에, 모션정보의 인코딩, 따라서 전체 시퀀스의 인코딩에 요구되는 비트를 더 감소하는 것이 바람직할 것이다.

이러한 모델 및 방식의 채택에 의해 도입되는 또다른 문제점은, 예컨대 목표 비트율, 인코딩/양자화 파라미터 등이 주어지면, 모든 가능한 선택 중에서 베스트 모드를 결정하는 것이다. 현재, 이 문제는, 사용될 모드 및/또는 양자화에 따른 비용 평가/불이익을 이용하여, 또는 심지어 라그랑지안 함수(Lagrangian function)을 최소화할 목적으로 레이트 왜곡 최적화(Rate Distortion Optimization) 기술을 채택함으로써 부분적으로 해결될 수 있다.

그러나, 이러한 문제점 및 다른 문제점은, 매크로블록이 장래 및 과거 프레임 양자로부터 예측될 수도 있는 B(Bidirectionally Predictive : 쌍방향 예측) 프레임의 경우에 훨씬 더 중요해진다. 이는 실질적으로 모션벡터의 인코딩에 훨씬 더 큰 비율의 비트가 요구될 수도 있음을 의미한다.

따라서, 영상 데이터를 코딩(예컨대, 인코딩 및/또는 디코딩)할 때에 사용하기 위한 개선된 방법 및 장치가 필요하다.

특히 하이/컴플렉스(high/complex) 모션 시퀀스에 대한 코딩 효율을 크게 향상시키기 위해 다양한 모델 및/또는 방식을 이용하는 영상 코딩방법 및 장치가 제공된다. 이 방법 및 장치는, 예컨대 매크로블록 레벨 등에서 프레임의 일부에 존재할 수 있는 시간적 및/또는 공간적 상관관계를 이용한다. 이 방법 및 장치는 화질을 유지하거나 심지어 개선하는 한편 모션정보를 인코딩하는데 요구되는 데이터 양을 크게 감소시킨다.

따라서, 실시예에 의하여, 본 발명의 몇몇 실시예에 따라, 영상 프레임 시퀀스내의 영상 데이터를 인코딩할 때에 사용하기 위한 방법이 제공된다. 이 방법은 기준 프레임의 적어도 일부를 인코딩하는 단계를 포함하여 상기 기준 프레임의 일부와 연관된 모션정보를 포함한다. 이 방법은, 모션정보에 기초하여 상기 기준 프레임의 일부에 예측적으로 상관된 영상 데이터를 포함하는 적어도 하나의 예측가능 프레임의 적어도 일부를 정의하는 단계, 및 대응하는 모션정보는 포함하지 않지만 상기 예측가능 프레임의 일부가 상기 기준 프레임의 일부와 연관된 모션정보를 이용하여 직접 유도될 수 있음을 식별하는 모드 식별 데이터를 포함하는 상기 예측가능 프레임의 적어도 일부를 인코딩하는 단계를 더 포함한다.

영상 프레임 시퀀스에 대한 영상 데이터를 적어도 하나의 예측가능 프레임을 포함하는 복수의 영상 프레임으로 인코딩할 때에 사용하기 위한 장치도 제공된다. 예컨대, 이 장치는 메모리 및 논리(logic)를 포함하는데, 이 논리는 적어도 하나의 기준 프레임의 적어도 일부를 인코딩하여 이 기준 프레임의 일부와 연관된 모션정보를 포함하도록 구성된다. 또한 이 논리는, 모션정보에 기초하여 기준 프레임의 일부에 예측적으로 상관된 영상 데이터를 포함하는 적어도 하나의 예측가능 프레임의 적어도 일부를 결정하고, 이 예측가능 프레임의 적어도 일부를 인코딩하여 이 예측가능 프레임의 일부가 상기 기준 프레임의 일부와 연관된 모션정보를 이용하여유도될 수 있음을 나타내도록 모드 식별 데이터가 제공되도록 한다.

또다른 실시예에 따르면, 적어도 하나의 예측가능한 영상 프레임을 포함하는 인코딩된 영상 데이터를 디코딩할 때에 이용하는 방법이 제공된다. 이 방법은 적어도 하나의 기준 프레임의 적어도 일부와 연관된 모션정보를 결정하는 단계 및 이 모션정보를 버퍼링하는 단계를 포함한다. 또한 이 방법은 예측가능 프레임의 적어도 일부가 적어도 상기 버퍼링된 모션정보를 이용하여 직접 유도될 수 있음을 식별하는 모드 식별 데이터를 결정하는 단계, 및 상기 버퍼링된 모션정보를 이용하여 상기 예측가능 프레임의 일부를 생성하는 단계를 포함한다.

또한 영상 데이터를 디코딩하는 장치도 제공된다. 이 장치는 메모리 및 논리를 포함하는데, 이 논리는, 적어도 하나의 기준 프레임의 적어도 일부와 연관된 모션정보를 상기 메모리에서 버퍼링하고, 예측가능 프레임의 적어도 일부가 적어도 상기 버퍼링된 모션정보를 이용하여 직접 유도될 수 있음을 식별하는 모드 식별 데이터를 확인하고, 상기 버퍼링된 모션정보를 이용하여 상기 예측가능 프레임의 일부를 생성하도록 구성된다.

본 발명은 실시예를 통해 설명되고 첨부도면으로 한정되지 않는다. 유사한 구성요소 및/또는 특징에 대해서는 전 도면에 걸쳐 동일한 참조 번호가 사용된다.

도 1은 본 발명의 임의의 실시예와 함께 사용하는데 적절한 전형적인 계산환경을 도시한 블록도.

도 2는 본 발명의 임의의 실시예와 함께 사용하는데 적절한 전형적인 장치를 도시한 블록도.

도 3은 본 발명의 임의의 전형적인 실시예에 따라 B 프레임 코딩에서 사용하는데 적절한 다이렉트 모션 프로젝션(Direct Motion Projection) 기술을 도시한 도면.

도 4는 본 발명의 임의의 전형적인 실시예에 따라 영상 프레임 시퀀스 내에서 다이렉트 P 및 B 코딩 기술을 도시한 도면.

도 5는 본 발명의 임의의 전형적인 실시예에 따라 동일한 모션정보를 갖는 배열된 매크로블록에 대한 다이렉트 모션 예측(Prediction)을 도시한 도면.

도 6은 본 발명의 임의의 전형적인 실시예에 따라 다이렉트 모션 프로젝션에서의 가속도 정보의 사용을 도시한 도면.

도 7은 본 발명의 임의의 전형적인 실시예에 따라 B 프레임 코딩에서 사용하는데 적절한 다이렉트 픽셀 프로젝션(Direct Pixel Projection)을 도시한 도면.

도 8은 본 발명의 임의의 전형적인 실시예에 따라 P 프레임 코딩에서 사용하는데 적절한 다이렉트 픽셀 프로젝션을 도시한 도면.

도 9는 전형적인 종래의 영상 인코더를 도시한 블록도.

도 10은 전형적인 종래의 영상 디코더를 도시한 블록도.

도 11은 본 발명의 임의의 전형적인 실시예에 따라 직접 예측을 이용한 전형적인 개선된 영상 인코더를 도시한 블록도.

도 12는 본 발명의 임의의 전형적인 실시예에 따라 직접 예측을 이용한 전형적인 개선된 영상 디코더를 도시한 블록도.

도 13은 본 발명의 임의의 전형적인 실시예에 따라 다이렉트 픽셀/블록 프로젝션 기술을 도시한 도면.

도 14는 본 발명의 임의의 전형적인 실시예에 따라 B 프레임 코딩에서 사용하는데 적절한 다이렉트 모션 프로젝션을 도시한 도면.

도 15는 본 발명의 임의의 전형적인 실시예에 따라 모션 벡터 예측을 도시한 도면.

도 16은 본 발명의 임의의 전형적인 실시예에 따라 P 프레임에 대한 인터레이스 코딩기술을 도시한 도면.

도 17은 본 발명의 임의의 전형적인 실시예에 따라 B 프레임에 대한 인터레이스 코딩기술을 도시한 도면.

도 18은 본 발명의 임의의 전형적인 실시예에 따라 프레임 및 필드 기반의 코딩을 이용한 인터레이스 코딩기술을 도시한 도면.

도 19는 본 발명의 임의의 전형적인 실시예에 따라 조인트 필드/프레임 화상을 코딩하는 구성을 도시한 도면.

<도면의 주요부분에 대한 부호의 설명>

120 : 계산환경

130 : 컴퓨터

132 : 처리장치

136 : 버스

154 : 데이터 매체 인터페이스

158 : 운영 체계

170 : 사용자 입력 인터페이스

189 : 원격 응용 프로그램

202 : 논리

204 : 영상 데이터 소스

400 : 영상 프레임 시퀀스

1200 : 인코딩 환경

1202 : 영상 인코더

1300 : 직접 예측 환경

1302 : 디코더

1318 : 블록 모드

본 발명의 임의의 태양에 따라, 영상 데이터를 코딩(예컨대, 인코딩 및/또는 디코딩)하기 위한 방법 및 장치가 제공된다. 이 방법 및 장치는 "인터레이스(interlace)" 또는 프로그레시브 영상 코딩 스트리밍 기술의 코딩효율을 증대시키도록 구성될 수 있다. 임의의 실시예에서, 예컨대, 현재의 H.26L 표준에 관하여, 소위 "P-프레임"이 몇개의 추가 매크로블록 모드를 도입함으로써 현저히 증대되었다. 몇몇 경우에는, 이제 매크로블록당 최대 16 모션벡터를 전송할 필요가 있을 수도 있다. 본 발명의 임의의 태양은 이들 모션벡터를 인코딩하는 방법을 제공한다. 예를 들면, 이하에서 설명되는 바와 같이, 다이렉트 P 예측기술이 이전의 프레임에서 배열된(collocated) 픽셀들의 모션벡터를 선택하도록 사용될 수 있다.

상기 및 다른 전형적인 방법 및 장치가 설명되는 한편, 본 발명의 기술들은 첨부도면에서 도시되고 설명된 실시예에 한정되는 것이 아니라 다른 유사한 기존 및 장래의 영상 코딩 구성 등에 명백히 적용가능함을 기억하여야 한다.

이러한 전형적인 방법 및 장치를 소개하기 전에, 이하의 절에서는 예컨대 계산장치 및 다른 유형의 장치/기기의 형태로 적절한 전형적인 운영환경에 대한 소개가 제공된다.

전형적인 운영환경

도면(동일 참조 번호는 동일한 요소를 나타냄)을 다시 보면, 본 발명은 적절한 계산환경에서 실시되는 바와 같이 예시된다. 요구되지 않더라도, 본 발명은 개인 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령의 일반적인 콘텍스트로 설명될 것이다.

일반적으로, 프로그램 모듈은 특정 작업을 실행하거나 특정의 추상적 데이터형을 실시하는 루틴, 프로그램, 오브젝트, 구성요소, 데이터 구조 등을 포함한다. 당업자는 본 발명이 휴대용 소형장치, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그래머블 소비자 전자제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 휴대용 통신장치 등을 포함한 다른 컴퓨터 시스템 구성과 함께 실시될 수도 있음을 인식할 것이다.

본 발명은 또한 통신 네트워크를 통해 링크된 원격 처리장치에 의해 작업이 수행되는 분산계산 환경에서 실시될 수도 있다. 분산계산 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장장치 양자에서 위치될 수도 있다.

도 1은 다음에 설명되는 시스템, 장치, 및 방법이 실시될 수도 있는 적절한 계산환경(120)의 일례를 도시한다. 전형적인 계산환경(120)은 적절한 계산환경의 단지 일례일 뿐이며 여기 설명된 개선된 방법 및 시스템의 기능성 또는 사용 범위에 관한 어떤 제한을 제시하고자 함이 아니다. 계산환경(120)은 계산환경(120)에서 예시된 임의의 한 구성요소 또는 그 조합에 관한 필요나 종속성을 갖는 것으로 해석되어서는 안된다.

상기 개선된 방법 및 시스템은 다수의 다른 일반적인 목적 또는 특수한 목적의 계산시스템 환경 또는 구성과 함께 운용가능하다. 적절할 수도 있는 잘 알려진 계산시스템, 환경, 및/또는 구성의 예로서는, 개인 컴퓨터, 서버 컴퓨터, 씬(thin) 클라이언트, 씩(thick) 클라이언트, 휴대용 또는 랩톱 장치, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템, 셋톱박스, 프로그래머블 소비자 전자기기, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 임의의 상기 시스템 또는 장치를 포함하는 분산계산 환경 등을 포함하지만, 여기에 한정되는 것은 아니다.

도 1에 도시된 바와 같이, 계산환경(120)은 컴퓨터(130)의 형태로 범용 계산장치를 포함한다. 컴퓨터(130)의 구성요소는 하나 이상의 프로세서 또는 처리장치(132), 시스템 메모리(134), 및 시스템 메모리(134) 내지 프로세서(132)를 포함한 다양한 시스템 구성요소를 접속시키는 버스(136)를 포함할 수도 있다.

버스(136)는, 메모리 버스 또는 메모리 제어기, 주변장치 버스, 가속 그래픽 포트, 및 다양한 버스구조 중 임의의 것을 이용하는 프로세서 또는 로컬버스를 포함하여, 몇가지 유형의 버스구조 중 임의의 하나 이상을 나타낸다. 예로써(여기에 제한되는 것은 아님), 이러한 구조는 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 로컬버스, 및 Mezzanine 버스로도 잘 알려진 PCI(Peripheral Component Interconnects) 버스를 포함한다.

컴퓨터(130)는 전형적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 이러한 매체는 컴퓨터(130)에 의해 액세스가능한 임의의 사용가능한 매체일 수도 있고, 이것은 휘발성 및 비휘발성 매체, 분리가능 및 분리불가능 매체 모두를 포함한다.

도 1에서, 시스템 메모리(134)는 RAM(140)과 같은 휘발성 메모리 형태, 및/또는 ROM(138)과 같은 비휘발성 메모리 형태의 컴퓨터 판독가능 매체를 포함한다. 기동시와 같은, 컴퓨터(130) 내의 소자간 정보전달을 돕는 기본 루틴을 포함하여, 기본 입/출력 시스템(BIOS)(142)은 ROM(138)에 저장된다. RAM(140)은 전형적으로 즉시 액세스가능한 및/또는 프로세서(132)에 의해 곧 작동되는 데이터 및/또는 프로그램 모듈을 포함한다.

컴퓨터(130)는 다른 분리가능/분리불가능, 휘발성/비휘발성 컴퓨터 저장매체를 더 포함할 수도 있다. 예를 들면, 도 1은 분리불가능, 비휘발성 자기매체(도시되지 않았고 전형적으로 "하드 드라이브"라 함)에 대해 판독 및 기록하기 위한 하드 디스크 드라이브(144), 분리가능, 비휘발성 자기디스크(148)(예컨대, "플로피 디스크")에 대해 판독 및 기록하기 위한 자기디스크 드라이브(146), 및 CD-ROM/R/RW, DVD-ROM/R/RW/+R/RAM 또는 다른 광매체와 같은 분리가능, 비휘발성 광디스크(152)에 대해 판독 또는 기록하기 위한 광디스크 드라이브(150)를 도시한다. 하드 디스크 드라이브(144), 자기 디스크 드라이브(146), 및 광디스크 드라이브(150)는 각각 하나 이상의 인터페이스(154)에 의해 버스(136)에 접속된다.

드라이브 및 관련 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 및 컴퓨터(130)에 대한 다른 데이터의 비휘발성 저장을 제공한다. 여기 설명된 전형적인 환경이 하드 디스크, 분리가능 자기디스크(148), 및 분리가능 광디스크(152)를 채용한다 하더라도, 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 다른 유형의 컴퓨터 판독가능 매체, 예컨대 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, RAM, ROM 등도 상기 전형적인 운영환경에서 사용될 수 있다.

예컨대 운영 체계(158), 하나 이상의 응용 프로그램(160), 다른 프로그램 모듈(162), 및 프로그램 데이터(164)를 포함하여, 다수의 프로그램 모듈은 하드 디스크, 자기 디스크(148), 광디스크(152), ROM(138), RAM(140)에 저장될 수도 있다.

여기 설명된 개선된 방법 및 시스템은 운영 체계(158), 하나 이상의 응용 프로그램(160), 다른 프로그램 모듈(162), 및/또는 프로그램 데이터(164) 내에서 실시될 수도 있다.

사용자는 명령 및 정보를 키보드(166) 및 지정도구(168)(예컨대 "마우스")와 같은 입력장치를 통해 컴퓨터(130)에 제공할 수도 있다. 다른 입력장치(도시되지 않음)는 마이크로폰, 조이스틱, 게임패드, 위성접시, 직렬포트, 스캐너, 카메라 등을 포함할 수도 있다. 이들 및 다른 입력장치는 버스(136)에 접속된 사용자 입력 인터페이스(170)를 통해 처리장치(132)에 접속되지만, 병렬포트, 게임패드, 또는 USB와 같은 다른 인터페이스 및 버스구조에 의해 접속될 수도 있다.

모니터(172) 또는 다른 유형의 디스플레이 장치도 비디오 어댑터(174)와 같은 인터페이스를 통해 버스(136)에 접속된다. 모니터(172) 이외에도, 개인 컴퓨터는 전형적으로 출력 주변장치 인터페이스(175)를 통해 접속될 수도 있는 스피커 및 프린터와 같은 다른 주변 출력장치(도시되지 않음)를 포함한다.

컴퓨터(130)는 원격 컴퓨터(182)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 이용한 네트워크 환경에서 작동할 수도 있다. 원격 컴퓨터(182)는 컴퓨터(130)와 관련하여 여기 설명된 많은 또는 모든 소자 및 특징을 포함할 수도 있다.

도 1에 도시된 논리적 접속은 LAN(177) 및 WAN(179)이다. 이러한 네트워킹 환경은 사무실, 기업 컴퓨터 네트워크, 인트라넷, 및 인터넷에서 보편적이다.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(130)는 네트워크 인터페이스 또는어댑터(186)를 통해 LAN(177)에 접속된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터는 WAN(179)을 통한 통신을 설정하기 위해 전형적으로 모뎀(178) 또는 다른 수단을 포함한다. 내부 또는 외부 모뎀(17)은 사용자 입력 인터페이스(170) 또는 다른 적절한 메커니즘을 통해 시스템 버스(136)에 접속될 수도 있다.

도 1에서, 인터넷을 통한 WAN의 구체적인 실시가 도시된다. 여기서, 컴퓨터(130)는 인터넷(180)을 통해 적어도 하나의 원격 컴퓨터(182)와의 통신을 확립하기 위해 모뎀(178)을 채용한다.

네트워크 환경에서, 컴퓨터(130)와 관련하여 도시된 프로그램 모듈, 또는 그 부분들은 원격 메모리 저장장치에 저장될 수도 있다. 따라서, 도 1에 도시된 바와 같이, 원격 응용 프로그램(189)은 원격 컴퓨터(182)의 메모리 장치에 상주할 수도 있다. 도시되고 설명된 네트워크 접속이 전형적이며 컴퓨터간 통신링크를 확립하는 다른 수단이 사용될 수도 있음은 인식될 것이다.

도 2는 여기 개시된 방법 및 장치로부터 이득을 얻을 수 있는 또다른 전형적인 장치(200)를 도시한 블록도이다. 장치(200)는 여기 설명된 모든 또는 일부 방법 및 장치 및 이와 동등한 것에 따라 영상 및/또는 임의의 관련된 유형의 데이터를 처리하도록 동작적으로 구성된 임의의 하나 이상의 장치 또는 기기를 나타낸다. 따라서, 장치(200)는 도 1에서와 같은 계산장치의 형태나, 또는 예컨대 무선장치, 휴대용 통신장치, PDA, 비디오 플레이어, 텔리비전, DVD 플레이어, CD 플레이어, 가라오케 기기, 키오스크, 디지털 비디오 프로젝터, 평판 비디오 디스플레이 기구, 셋톱박스, 비디오 게임기 등과 같은 다른 형태를 취할 수도 있다. 이 예에서는,장치(200)는 영상 데이터를 처리하도록 구성된 논리(202), 영상데이터를 논리(202)에 제공하도록 구성된 영상 데이터 소스(204), 및 사용자가 볼 수 있도록 영상 데이터의 적어도 일부를 표시할 수 있는 적어도 하나의 디스플레이 모듈(206)을 포함한다. 논리(202)는 하드웨어, 펌웨어, 소프트웨어, 및/또는 임의의 그 조합을 나타낸다. 임의의 실시예에서, 예컨대, 논리(202)는 컴프레서/디컴프레서(코덱) 등을 포함한다. 영상 데이터 소스(204)는 논리(202)에 의한 처리에 적절한 영상 데이터를 제공, 통신, 출력, 및/또는 적어도 순간적으로 저장할 수 있는 임의의 메커니즘을 나타낸다. 영상 재현 소스는 장치(200)내 및/또는 장치외에 있는 것으로 도시된다. 디스플레이 모듈(206)은 사용자가 직접 또는 간접적으로 보고 거기에 제공된 영상 데이터의 시각결과를 볼 수도 있는 임의의 메커니즘을 나타낸다. 이 외에도, 임의의 실시예에서, 장치(200)는 또 영상 데이터와 연관된 음성 데이터를 재현 또는 취급하는 어떤 형태 또는 능력을 포함할 수도 있다. 이에 따라, 음성 재현 모듈(208)이 도시된다.

도 1 및 도 2의 예, 및 이와 유사한 다른 것들을 염두에 두고, 다음 절에서는 이러한 환경 및 이러한 장치를 이용하여 적어도 부분적으로 실시될 수 있는 임의의 전형적인 방법 및 장치를 중점적으로 다루기로 한다.

영상 코딩에서의 예측(P) 및 쌍방향 예측(B) 프레임에 대한 직접 예측

이 절에서는 특히 하이/컴플렉스 모션 시퀀스에 대한 코딩효율을 현저히 개선할 수 있는 새로운 고효율의 인터 매크로블록형이 제공된다. 이 새로운 인터 매크로블록형은 매크로블록 레벨에서 프레임 내에 존재할 수도 있는 시간적 및 공간적 상관관계를 이용하고, 그 결과로서 화질을 유지 또는 심지어 개선하는 한편 모션정보를 인코딩하는데 요구되는 비트를 현저히 감소시킬 수 있다.

직접 예측

위에서 언급된 문제점 및/또는 다른 문제점은 "직접 예측 모드"의 도입에 의해 여기서 적어도 부분적으로 해결되는데, 여기서 실제의 모션정보를 인코딩하는 대신에, 순방향 및/또는 역방향 양자의 모션벡터가 다음 기준 프레임의 상관된 매크로블록에서 사용된 모션벡터로부터 직접 유도된다.

이것은 예컨대 각각 시간 t, t+1, 및 t+2에 대응하는 3개의 영상 프레임, 즉 P 프레임(300), B 프레임(302), 및 P 프레임(304)을 도시한 도 3에 예시된다. 또한 도 3에 도시된 것은 프레임(300, 302, 304) 내의 매크로블록 및 전형적인 모션벡터(MV) 정보이다. 여기서, 프레임은 그와 연관된 x 및 y 좌표를 갖는다. B 프레임(302)에 대한 모션벡터 정보는 P 프레임(300, 304)에 대해 인코딩된 모션벡터 정보로부터 예측된다(여기서는 예컨대 삽입된다). 전형적인 기술은 물체가 일정속도로 이동하고 있다는 가정으로부터 유도되고, 따라서 임의의 모션벡터를 전송할 필요없이 B 프레임(302) 내부의 그 현재 위치를 예측하는 것을 가능하게 한다. 이 기술이 주어진 화질에 대해 비트율을 현저히 감소시킬 수도 있지만, 항상 적용될 수 있는 것은 아니다.

여기 소개되는 것은, 본 발명의 임의의 실시예에 따라, 특히 매크로블록의모션벡터 정보에 관하여 매크로블록 레벨에서 존재할 수도 있는 공간적 및 시간적 상관관계를 효과적으로 이용할 수 있는 새로운 인터 매크로블록형이 제공된다. 이 새로운 모드에 따르면 현재의 매크로블록이 이전에 디코딩된 정보(예컨대, 모션 프로젝션)로부터 직접 유도될 수 있는 모션을 가질 수 있는 것이 가능하다. 따라서, 도 4에 도시된 바와 같이, 매크로블록에 대해 임의의 모션벡터를 전송할 필요는 없으나, 전체 프레임에 대해서는 전송할 필요가 있을 수도 있다. 여기서, 영상 프레임 시퀀스(400)는, 프레임간 코딩 관계를 나타내는 화살표 및 예측가능한 매크로블록 관계를 나타내는 점선으로 도시된다. 영상 프레임(402)은 I 프레임이고, 영상 프레임(404, 406, 410, 412)은 B 프레임이고, 영상 프레임(408, 414)은 P 프레임이다. 이 예에서, P 프레임(408)이으로 표시된 모션필드를 갖는다면, 그림(404, 406, 414)에서 배열된 매크로블록의 모션도 상당히 상관된다. 특히, 속도가 일반적으로 전체 프레임에서 일정하고 프레임(404, 406)이 프레임(402, 404)간에 시간적으로 동일하게 이격된다고 가정하고, 또 B 프레임에 대해 순방향 및 역방향 모션벡터 양자가 사용될 수 있다는 것을 고려하면, 프레임(404)에서의 모션필드는 순방향 및 역방향 모션필드에 대해 각각및과 동일할 수 있다. 마찬가지로, 프레임(408)에 대해 모션필드는 순방향 및 역방향 모션벡터에 대해 각각및일 수 있다. 414와 406이 동일하게 이격되므로, 동일한 가정을 이용하면, 배열된 매크로블록은 모션벡터를 가질 수 있다.

B 프레임에서의 다이렉트 모드와 마찬가지로, 다시 속도가 일정하다고 가정함으로써, 매크로블록에 대한 모션은 기준 프레임의 상관된 매크로블록으로부터 직접 유도될 수 있다. 이것은 도 6에 다시 도시되는데, 예컨대 이 도면은 시간 t, t+1, 및 t+2에 각각 대응하는 3개의 영상 프레임, 즉 P 프레임(600), B 프레임(602), 및 P 프레임(604)을 도시한다. 여기서, 도시된 배열된 매크로블록은 동일하지는 않다 하더라도 유사한 모션정보를 갖는다.

이러한 모션 파라미터를 세분하기 위한 가속도를 고려하는 것도 가능한데, 예컨대 도 7을 참조한다. 여기서, 예컨대, 3개의 프레임, 즉 시간 t에서 현재 프레임(704), 이전 프레임(702)(시간 t-1), 및 이전 프레임(700)(시간 t-2)이 도시되는데, 상이한 가속도 정보는 상이한 길이의 모션벡터에 의해 도시된다.

이 프로세스는 매크로블록 레벨에서의 모션 프로젝션을 고려하는 대신에 이전의 화상 내부의 픽셀이 일정한 속도 또는 일정한 가속도로 이동하는 것이 가능함(예컨대, 픽셀 프로젝션)을 고려함으로써 크게 개선될 수도 있다. 이와 같이, 예컨대 도 8에서 도시된 B 프레임 코딩에 대해 그리고 예컨대 도 9에 도시된 P프레임 코딩에 대해 현재 프레임의 훨씬 더 정확한 예측을 생성할 수도 있다. 예컨대, 도 8은 3개의 영상 프레임, 즉 시간 t, t+1, 및 t+2에 각각 대응하는 P 프레임(800), B 프레임(802), 및 P 프레임(804)을 도시한다. 예컨대, 도 9는 3개의 영상 프레임, 즉 시간 t, t+1, 및 t+2에 각각 대응하는 P 프레임(900), B 프레임(902), 및 P 프레임(904)을 도시한다.

어떤 실시예에서는 훨씬 더 나은 성능을 위해 양 방법을 함께 조합하는 것도 가능하다.

또다른 실시예에 따르면, 모션은 또 예컨대 주위의 매크로블록의 모션정보로부터 모션벡터의 코딩을 위해 채택된 예측기술을 이용하여 공간정보로부터 유도될 수 있다. 추가적으로, 성능은 전달될 모션정보를 요구하지 않는 다중가설 예측구조에서 이들 2개의 상이한 방법을 조합함으로써 더 증대될 수도 있다. 결과적으로, 이러한 새로운 매크로블록형은 유사하거나 개선된 화질을 달성하는 한편 상당한 비트율 감소를 달성할 수 있다.

전형적인 인코딩 프로세스

도 10은 종래의 블록기반의 영상 인코더(1002)를 갖는 전형적인 인코딩 환경(1000)을 도시하는데, 영상 데이터(1004)가 인코더(1002)에 제공되고 대응하는 인코딩된 영상 데이터 비트스트림이 출력된다.

영상 데이터(1004)는 합산모듈(1006)에 제공되고, 이 합산모듈은 또 모션보상(MC) 모듈(1002)로부터의 출력을 입력으로서 수신한다. 합산모듈(1006)로부터의출력은 DCT(discrete cosine transform) 모듈(1010)에 제공된다. DCT 모듈(1010)의 출력은 QP(quantization module)(1012)에 입력으로서 제공된다. QP 모듈(1012)의 출력은 QP^-1(인버스 QP)(1014)에 입력으로서 제공되고 VLC(variable length coding) 모듈(1016)에 입력으로서 제공된다. VLC 모듈(1016)은 또 ME(motion estimation) 모듈(1008)로부터의 출력을 입력으로서 수신한다. VLC 모듈(1016)의 출력은 인코딩된 영상 비트스트림(1210)이다.

QP^-1모듈(1014)의 출력은 인버스 DCT 모듈(1018)에 입력으로서 제공된다. 1018의 출력은 또다른 입력으로서 MC 모듈(1022)로부터의 출력을 갖는 합산모듈(1020)에 입력으로서 제공된다. 합산모듈(1020)로부터의 출력은 루프 필터 모듈(1024)에 입력으로서 제공된다. 루프 필터 모듈(1024)로부터의 출력은 프레임 버퍼 모듈(1026)에 입력으로서 제공된다. 프레임 버퍼모듈(1026)로부터의 한 출력은 ME 모듈(1008)로 입력으로서 제공되고, 다른 출력은 MC 모듈(1022)에 입력으로서 제공된다. ME 모듈(1008)은 또 영상 데이터(1004)를 입력으로서 수신한다. ME(1008)로부터의 출력은 MC 모듈(1022)에 입력으로서 제공된다.

이 예에서, MC 모듈(1022)은 ME 모듈(1008)로부터 입력을 수신한다. 여기서, ME는 기준 프레임에 대해 현재 프레임에서 수행된다. ME는 다양한 블록크기 및 탐색범위를 이용하여 수행될 수 있고, 그후에 예컨대 임의의 소정 영역을 이용하여 "베스트" 파라미터가 인코딩되고 전달된다(인터 코딩). 잔여정보(residue information)는 또 DCT 및 QP 수행후에 코딩된다. 또한 일부 경우에 ME의 성능이만족스러운 결과를 만들지 못하여, 매크로블록이나 심지어 서브블록도 인트라(INTRA) 인코딩될 수 있다는 것이 가능하다.

모션정보가 상당히 고가일 수 있음을 고려하면, 본 발명의 임의의 전형적인 실시예에 따르면, 매크로블록에 대한 모션벡터가 이전에 인코딩된 모션정보로부터 시간적 및/또는 공간적으로 예측될 수 있는 가능성을 향후 프로세스에서 고려하기 위하여, 인코딩 프로세스는 도 12에서처럼 수정될 수 있다. 예컨대, 이러한 결정은 RDO(rate distortion optimization) 기술 또는 다른 비용조처를 이용하여 수행될 수 있다. 이러한 기술/모드를 이용하여 상세한 모션정보를 전달할 필요가 없을 수도 있는데, 그 이유는 이러한 것은 예컨대 도 5에서 도시된 바와 같이 직접 예측(다이렉트 P) 모드로 대체될 수도 있기 때문이다.

모션은 예컨대 이하의 모델들 중 임의의 것이나 그 조합에서 모델될 수 있다. (1) 모션 프로젝션(예컨대, B 프레임에 대한 도 3 및 P 프레임에 대한 도 6에서 도시된 바와 같이), (2) 픽셀 프로젝션(예컨대, B 프레임에 대한 도 8 및 P 프레임에 대한 도 9에서 도시된 바와 같이), (3) 공간적 MV 예측(예컨대, 배열된 매크로블록의 모션벡터의 중간값), (4) 모션 프로젝션 및 공간 예측의 가중 평균, (5) 기타 다른 기술.

다른 예측모델(예컨대 가속도, 필터링 등)도 사용될 수 있다. 이들 모델 중 하나만이 사용되어야 한다면, 이것은 인코더 및 디코더 양자에 공통이어야 한다. 그렇지 않으면, 어느 모델을 사용하여야 하는지에 관해 디코더에게 즉시 지시할 서브모드를 사용할 수도 있다. 당업자는 한 블록 또는 매크로블록을 멀티레퍼런싱하는 것도 상기 모델들의 임의의 조합을 이용하여 가능함을 인식할 것이다.

도 12에서, 개선된 영상 인코딩 환경(1200)은 영상 데이터(1004)를 수신하고 대응하는 인코딩된 영상 데이터 비트스트림을 출력하는 영상 인코더(1202)를 포함한다.

여기서, 영상 인코더(1202)는 개선(1204)을 포함하도록 수정되었다. 개선(1204)은 추가의 MV(모션벡터) 버퍼모듈(1206) 및 다이렉트 결정모듈(1208)을 포함한다. 더 구체적으로, 도시된 바와 같이, MV 버퍼 모듈(1206)은 프레임 버퍼 모듈(1026)로부터의 출력 및 ME 모듈(1008)로부터의 출력을 입력으로서 수신하도록 구성된다. MV 버퍼 모듈(1206)로부터의 출력은 ME 모듈(1008)로부터의 출력과 함께 다이렉트 결정모듈(1208)로의 입력으로서 제공된다. 다이렉트 결정 모듈(1208)로부터의 출력은 프레임 버퍼 모듈(1026)로부터의 출력과 함께 MC 모듈(1022)로의 입력으로서 제공된다.

전형적인 구조가 성공적으로 동작하기 위해, 이전의 코딩된 프레임으로부터의 모션정보는 손상없이 저장되고, 이것은 MV 버퍼 모듈(1206)을 추가하기 위한 목적이다. MV 버퍼 모듈(1206)은 모션벡터를 저장하기 위해 사용될 수 있다. 임의의 실시예에서, MV 버퍼 모듈(1206)은 사용된 기준 프레임 및 사용된 모션모드에 대한 정보를 저장할 수도 있다. 가속도의 경우, 예컨대, 추가의 버퍼링은, 예컨대 가속도에 대한 더 복잡한 모델이 채용될 때에 2^nd또는 심지어 N 이전의 프레임의 모션정보를 저장하기 위해 유용할 수도 있다.

매크로블록, 서브블록, 또는 픽셀이 모션벡터와 연관되지 않으면(즉, 매크로블록이 인트라 코딩됨), 이러한 블록에 대해, 사용된 모션벡터는 (0, 0)이고 이전의 프레임만이 레퍼런스로서 사용되었다고 가정된다.

멀티프레임 레퍼런싱이 사용되면, 모션정보를 그대로 사용하거나 및/또는 이전의 코딩된 프레임에 관한 모션정보를 삽입(interpolate)하는 것을 선택할 수도 있다. 이것은 본질적으로 설계에 달린 문제이지만, 또한 실제로, 특히 (0, 0) 모션벡터의 경우에, 현재의 블록이 여전히 훨씬 더 오래된 프레임으로부터 레퍼런싱되고 있을 것 같지 않다.

이전과 달리, 직접 예측의 일부로서 인코딩된 모션정보의 추가 세트와 직접 예측을 조합할 수도 있다. 이러한 경우에, 예측은 예컨대 직접 예측 및 모션정보 양자의 다중가설 예측일 수 있다. 조합할 수도 있는 몇가지 가능한 직접 예측 서브모드가 있으므로, 이러한 것은 다중가설 프레임웍 내에서 조합될 수 있다. 예를 들면, 모션 프로젝션으로부터의 예측은 픽셀 프로젝션의 예측 및/또는 공간적 MV 예측과 조합될 수 있다.

직접 예측은 또 매크로블록 내의 서브블록 레벨에서 사용될 수 있다. 이것은 현재 H.26L 코덱 내부의 B 프레임에 대해 이미 수행된 것이지만, 현재 모션 프로젝션만 이용하고 있고 픽셀 프로젝션이나 그 조합을 이용하고 있지 않다.

B 프레임 코딩에 대해, 오직 한 방향(순방향 또는 역방향)으로부터 직접 예측을 수행할 수 있지만 언제나 반드시 양측으로부터 할 필요는 없다. 또한 B 프레임의 쌍방향 모드 내부에서 직접 예측을 사용할 수도 있는데, 이 예측 중 하나는직접 예측을 사용하는 것이다.

예컨대, 다중가설 화상의 경우, P 프레임은 향후의 프레임에 대해 레퍼런싱하는 것이 가능하다. 여기서, 모션정보의 반전 및/또는 적절한 스케일링은 B 프레임 모션 인터폴레이션과 유사하게 수행될 수 있다.

예컨대 런 렝스 코딩(Run-length coding)이 사용될 수 있고, 이에 따라 차후의 "등가의" 다이렉트 P 모드가 프레임 또는 슬라이스를 코딩할 때에 사용되면 이들이 런 렝스 표현을 이용하여 인코딩될 수 있다.

다이렉트 결정모듈(1208)은 실질적으로 직접 예측 모드가 기존의 인터 또는 인트라 모드 대신에 사용되어야 하는지에 대한 결정을 수행한다. 예로서, 이 결정은 조인트 레이트/왜곡 최적화 영역, 및/또는 별개의 비트율 또는 왜곡 요건 또는 제한에 기초할 수도 있다.

대안의 실시예에서, 모듈 직접 예측 모듈(1208)은 ME 모듈(1008)보다 선행하는 것도 가능하다. 이러한 경우, 직접 예측이 모션 파라미터에 대해 소정의 조건에 기초하여 상당히 좋은 평가를 즉시 제공할 수 있으면, ME 모듈(1008)은 완전히 무시될 수 있고, 따라서 인코딩의 계산을 상당히 감소시킬 수 있다.

전형적인 디코딩 프로세스

인코딩된 영상 데이터 비트스트림(1104)을 수신하고 대응하는 (디코딩된) 영상 데이터(1120)를 수신하는 영상 디코더(1102)를 갖는 전형적인 종래의 디코딩 환경(1100)을 도시한 도 11을 참조하기로 한다.

인코딩된 영상 데이터 비트스트림(1104)은 VLD(variable length decoding) 모듈(1106)에 입력으로서 제공된다. VLD 모듈(1106)의 출력은 QP^-1모듈(1108)에 입력으로서 제공되고, MC 모듈(1110)에 입력으로서 제공된다. QP^-1모듈(1108)로부터의 출력은 IDCT 모듈(1112)에 입력으로서 제공된다. IDCT 모듈(1112)의 출력은 합산모듈(1114)에 입력으로서 제공되는데, 이것은 또 MC 모듈(1110)로부터의 출력을 입력으로서 수신한다. 합산모듈(1114)로부터의 출력은 루프 필터 모듈(1116)에 입력으로서 제공된다. 루프 필터 모듈(1116)의 출력은 프레임 버퍼 모듈(1118)에 제공된다. 프레임 버퍼 모듈(1118)로부터의 출력은 MC 모듈(1110)에 입력으로서 제공된다. 프레임 버퍼 모듈(1118)은 또 (디코딩된) 영상 데이터(1120)를 출력한다.

직접 예측 환경(1300)에서의 사용을 위한 전형적인 개선된 디코더(1302)는 개선(1306)을 더 포함한다. 여기서, 도 13에서 도시된 바와 같이, 개선된 디코더(1302)는 예컨대 도 12의 개선된 영상 인코더(1202)에 의한 출력인 인코딩된 영상 데이터 비트스트림(1210)을 수신하고, 대응하는 영상 (디코딩된) 영상 데이터(1304)를 출력한다.

이 예에서, 개선(1306)은 MC 모듈(1110)과 VLD 모듈(1106') 사이에 동작적으로 삽입된다. 개선(1306)은 VLD 모듈(1106')로부터의 출력을 입력으로서 수신하는 버퍼모듈(1308)을 포함한다. MV 버퍼모듈(1308)의 출력은 개선(1306)의 선택모듈(1312)에 선택가능한 입력으로서 제공된다. 블록모드 모듈(1310)도개선(1306)에서 제공된다. 블록 모드 모듈(1310)은 VLD 모듈(1106')로부터의 출력을 입력으로서 수신한다. 블록 모드 모듈(1310)의 출력은 VLD 모듈(1106')에 입력으로서 제공되고, 선택모듈(1312)에 제어입력으로서 제공된다. VLD 모듈(1106')로부터의 출력은 선택모듈(1312)에 선택가능한 입력으로서 제공된다. 선택모듈(1312)은 MV 버퍼 모듈(1308)로부터의 출력이나 VLD 모듈(1106') 중 어느 하나를 MC 모듈(1110)에 입력으로서 선택가능하게 제공하도록 구성된다.

개선(1306)을 이용하여, 예컨대, 각 픽셀에 대한 모션정보가 저장될 수 있고, 매크로블록의 모드가 직접 예측 모드로서 식별되면, 저장된 모션정보, 및 적절한 프로젝션 또는 예측방법이 선택되어 사용된다. 모션 프로젝션만 사용되면, 기존의 디코더에서의 변화는 매우 사소하고, 디코더에 가해지는 추가적인 복잡성은 무시가능한 것으로 간주될 수 있음에 주목한다.

서브모드가 사용되면, 예컨대 개선된 디코더(1302)는, 현재의 매크로블록을 적절히 디코딩하기 위해, 개선된 인코더(1202)가 수행하는 예측단계와 반대의 단계를 수행하도록 구성될 수 있다.

다시 레퍼런싱되지 않은 픽셀(예컨대 인트라 블록)이 모션 저장에 대해 제로 모션을 갖는 것으로 간주될 수도 있다.

몇 가지 전형적인 구성

직접 예측과 함께 즉시 사용될 수 있는 몇가지 가능한 예측기가 있다는 것을 고려하면, 이 설명에서 간단을 위해 실행하기에 효과적이면서도 간단한 더 작은 서브세트의 경우가 더 상세히 설명된다. 특히, 다음의 모델은 더 상세히 검토된다.

(A) 이 예에서, 모션 프로젝션은 사용된 유일한 모드이다. 다이렉트 모드의 런 렝스 코딩이 사용되지 않는데, 잔여정보가 전달된다. 모션 파라미터의 특별한 수정은 제로 모션벡터가 사용되는 경우에 수행된다. 이러한 상황에서, 직접 예측에 대한 기준 프레임은 항상 제로(0)로 설정된다(예컨대, 이전의 인코딩된 프레임). 게다가, 인트라 코딩된 블록은 제로 모션 및 기준 프레임 파라미터를 갖는 것으로 고려된다.

(B) 이 예는, 잔여정보가 전달되지 않는다는 점을 제외하고, 예 (A)와 유사하다.

(C) 이 예는, QP<n(예컨대, n = 24)이면 잔여정보가 인코딩되고 그렇지 않으면 잔여정보가 전달되지 않는다는 점에서, 기본적으로 예 (A)와 (B)의 조합이다.

(D) 이 예는 3개의 서브모드를 조합하는 증대된 직접 예측 구성이다. 즉,

(1) 모션 프로젝션();

(2) 공간적 MV 예측(); 및

(3) 상기 두 경우의 가중 평균

여기서, 잔여정보는 QP<n(예컨대, n = 24)에 대해 전달되지 않는다. 여기서, 런 렝스 코딩은 사용되지 않는다. 서브모드의 구획은 다음과 같이 설정될 수 있다.

서브모드 코드

공간 예측기 0

모션 프로젝션 1

가중 평균 2

베스트 서브모드는 레이트 왜곡 최적화 프로세스를 이용하여 선택될 수 있다(비트율과 화질 사이의 최선의 타협).

(E) 픽셀 프로젝션과 예 (C)의 조합. 여기서, 예컨대, 직접 예측 모드에 대한 2개의 예측의 평균.

(F) 이것은 Motion_Copy R2와 예 (C)의 조합이다(예컨대, Jani Lainema and Marta Karczewicz, "Skip mode motion compensation", Doc. JVT-C027, May 2002(참조로 여기 병합됨) 등을 참조바람). 이 경우는 예 (D)에서 사용된 공간적 MV 예측기의 사용의 대안으로서 보여질 수 있는데, 한가지 차이점은, 임의의 조건하에서 공간 예측기가 제로 스킵 모드를 완전히 대체하고 이 예 (F)는 런 렝스 인코딩될 수 있어서 더 효과적인 성능을 달성할 수 있다는 점이다.

다이렉트 모드에 관한 쌍방형 예측 (B) 프레임에서의 모션벡터 예측

현재의 JVT 표준은 다이렉트 모드 코딩된 매크로블록 또는 블록이 쌍방향 예측 (B) 프레임 내의 모션 벡터 예측에서 어떻게 고려되어야 하는지에 대해 불명확한 것처럼 보인다. 대신에, 현재의 소프트웨어는 다이렉트 모드 매크로블록 또는 서브블록을 "상이한 기준 프레임"을 갖는 것으로 간주하여 예측에서 사용되지 않는 것처럼 보인다. 불행히도, 그 네이버(neighbors)를 갖는 직접 예측 블록의 모션벡터들 사이에 높은 상관관계가 여전히 있을 수도 있다는 점을 고려하면, 이러한 조건은 B 프레임의 성능을 상당히 방해하고 그 효율을 감소시킬 수 있다. 이것은 또 B 프레임에 적용될 때에 오류 은폐 알고리즘의 효율을 감소시킬 수 있다.

이 절에서는, 전형적인 대안의 접근법이 제공되는데, 이것은 예컨대 코딩 효율을 향상시키고 B 프레임 내의 모션벡터의 상관관계를 증가시킬 수 있다. 이것은 모션 예측 단계 내에서 쌍방향 예측 블록과 실질적으로 등가인 다이렉트 모드 코딩 블록을 고려함으로써 이루어진다.

다이렉트 모드 매크로블록 또는 블록(예컨대, 8×8 서브 구획의 경우)은, 인접 프레임의 모션벡터 정보의 시간적 상관관계를 효율적으로 이용할 수 있으므로, 쌍방향 예측 (B) 프레임의 효력을 상당히 개선할 수 있다. 이 아이디어는 실질적으로 시간적 인터폴레이션 기술로부터 유도되는데, 여기서는 블록이 시간 t에서의 위치 (x + dx, y + dy)에서 시간 t+2에서의 위치 (x, y)로 이동했으면, 시간적 인터폴레이션을 이용하여, 시간 t+1에서 동일한 블록이 실질적으로 다음의 위치에 있었어야 한다고 가정한다.

이것은 예컨대 도 14에 도시되어 있는데, 이 도면은 3개의 프레임, 즉 시간t, t+1, 및 t+2에 각각 대응하는 P 프레임(1400), B 프레임(1402), 및 P 프레임(1404)을 도시한다. 현재의 인코딩 표준에서 가장 자주 사용되는 접근법은, 시간 t+1에서 프레임의 위치(x, y)에서의 블록이 다음 위치에서 가장 잘 발견될 수 있을 것이라고 가정한다.

시간 t일 때,및

시간 t+2일 때,

다음은 도 15에 도시되어 있는데, 이 도면은 3개의 프레임, 즉 시간 t, t+1, 및 t+2에 각각 대응하는 P 프레임(1500), B 프레임(1502), 및 P 프레임(1504)을 도시한다. 한 시퀀스 내의 다이렉트 모드 코딩 블록의 수가 중요할 수 있는 반면에 잔여 및 모션정보가 이러한 경우에 전달되지 않으므로, B 프레임의 효율은 상당히 증가될 수 있다. 런 렝스 코딩(예컨대, UVLC(Universal Variable Length Code) 엔트로피 코딩이 사용되면)은 또 성능을 훨씬 더 개선하는데 이용될 수도 있다.

불행히도, 현재의 JVT 표준은 다이렉트 모드 블록에 인접한 블록의 모션벡터 예측이 어떻게 수행되어야 하는지를 명확히 하지 않는다. 현재의 소프트웨어로부터 나타나는 바와 같이, 다이렉트 모드 블록은 현재 "상이한 기준 프레임"을 갖는 것으로 간주되고 따라서 어떤 공간적 상관관계도 이 경우에 이용되지 않는다. 이것은 예측의 효율을 상당히 감소시킬 수 있지만, 또 이러한 것이 필요한 경우에 B 프레임에서 적용된 오류 은폐 알고리즘의 성능에 영향을 미칠 수도 있다.

예로서, 현재의 코덱에서 E의 모션벡터를 예측하고 싶으면, A, B, C, D가 모두 다이렉트 모드 코딩되면, 예측기는 (0, 0)으로 설정될 것인데, 이것은 좋은 결정이 아닐 것이다.

예컨대, 도 16에서, E는 A, B, C, D로부터 예측된다. 따라서, A, B, C, 또는 D가 다이렉트 모드 코딩되면, 그 실제값은 예측에서 현재 사용되지 않는다. 그러나, 이것은 수정될 수 있다. 따라서, 예를 들어, A, B, C, 또는 D가 다이렉트 모드 코딩되면, 모션벡터의 실제값 및 기준 프레임은 예측에서 사용될 수 있다. 이것은 두개의 선택가능한 옵션을 제공한다. (1) 차후의 P 프레임에서 배열된 매크로블록/블록이 인트라 코딩되면 기준 프레임은 -1로 설정된다. (2) 차후의 P 프레임에서 배열된(collocated) 매크로블록/블록이 인트라 코딩되면 기준 프레임이 0이라고 가정한다.

본 발명의 임의의 태양에 따르면, 모션벡터 예측을 수행하기 위해, 다이렉트 모드 코딩 블록으로부터 사용가능한 실제 모션정보를 사용할 수도 있다. 이것은 B 프레임 시퀀스 내에서 모션벡터의 더 높은 상관관계를 가능하게 할 것이며, 따라서 개선된 효율을 가져올 수 있다.

한가지 가능한 이슈는, 차후의 프레임에서의 배열된 블록/매크로블록이 인트라 코딩된 다이렉트 모드 매크로블록을 적절히 취급하는 방법이다. 예를 들어, 여기서 2가지 가능한 옵션은 다음을 포함한다.

(1) 이 매크로블록/블록을 상이한 기준 프레임을 갖는 것으로 간주하여, 이것을 모션벡터 예측에서 사용하지 않는다.

(2) 이 매크로블록을 (0, 0) 모션벡터 및 기준 프레임 0을 갖는 것으로 간주한다.

본 발명의 임의의 다른 전형적인 실시예에 따르면, 디블로킹(de-blocking) 필터 프로세스에서 더 많은 수정이 이루어질 수 있다. 다이렉트 모드 경우에 대해, 디블로킹 필터 프로세스는 다이렉트 모드 코딩 블록으로부터 취한 저장된 모션벡터 정보를 비교하도록 구성될 수 있고, 그렇지 않으면 이들은 보통 0으로 간주될 것이다. 그러나 또다른 수정에서, 사용된 블록 유형에 불구하고 (정확한) 모션벡터를 비교하도록 디블로킹 필터 프로세스를 구성할 수도 있다. 따라서, 임의의 실시예에서, 다이렉트 코딩 블록에 대해 잔여정보가 전송되지 않으면, "더 강한" 디블로킹 필터가 더 개선된 성능을 제공할 수 있다.

또한, 임의의 다른 실시예에서, B 프레임에 대한 레이트 왜곡 결정은 재설계될 수 있는데, 그 이유는 모션벡터 예측 구성의 임의의 실시예에 대해, 레이트 왜곡 최적화 결정에서 사용된 상이한 라그랑지안 파라미터 λ가 더 높은 코딩 효율을 가져올 수 있을 것 같기 때문이다. 예컨대 이러한 λ는 다음과 같이 취해질 수 있다.

인터모드 결정 세분(Refinement)

JVT 표준은 현재 대부분의 다른 현재의 블록 기반 코딩 표준에 비해 압도적인 성능 이점을 갖고 있다. 이 성능의 일부는 고정된 블록크기를 갖는 대신에 16×16 (픽셀)부터 4×4 (픽셀)까지의 범위의 가변 블록 크기를 이용하는 가능성에서 기인할 수 있다. 예컨대, 이렇게 하는 것은 시간적인 상관관계의 더 효과적인 이용을 위해 허용한다. 불행히도, 종래의 코딩 논리(예컨대, 하드웨어, 펌웨어, 및/또는 소프트웨어)에 현재 존재하는 모드 결정 기술때문에, 모드결정은 최적으로 수행되지 않을 수도 있어서, 더 잘 할당될 수 있는 비트를 낭비하는 것이 발견되어 왔다.

이 절에서, 적어도 부분적으로 이 문제 및/또는 다른 문제를 해결하는 다른 방법 및 장치가 제공된다. 여기서, 전형적인 방법 및 장치가 적어도 16×8 및 8×16 (픽셀) 블록 모드와의 사용을 위해 구성되었다. 또한, 적어도 하나의 추가적인 영역이 도입된 비교적 간단한 해법을 이용하여, 인코더의 복잡성에서 약 5%와 10% 사이의 절감이 제공된다.

JVT 표준의 2가지 핵심 특징은 가변 매크로블록 모드 선택 및 레이트 왜곡 최적화이다. 16×16 (픽셀) 매크로블록은 모션정보가 전달되는 상이한 구획 모드를 이용하여 코딩될 수 있다. 사용될 모드의 선택은 최선의 가능한 비트율에서 최선의 가능한 화질의 조인트 결정이 시도되는 인코딩의 레이트 왜곡 최적화 단계에서 수행될 수 있다. 불행히도, 각 서브구획에 대해 최선의 가능한 모션정보의 할당이 인코딩의 전체적으로 상이한 프로세스에서 수행되므로, 일부 경우에 비(non) 16×16 모드(예컨대, 16×8 또는 8×16 (픽셀))가 16×16 매크로블록과 등가인 모션정보를 전송하는 것이 가능하다. 각 모드에 대해 사용된 모션 예측기가 상이할수 있으므로, 이러한 16×16 형의 모션정보가 16×16 모드에 할당된 것과는 다를 수 있는 많은 경우에 가능하다. 또한, 임의의 조건에서는, 16×16 모드를 사용하여 코딩되었으면 더 나았을 수도 있었는지의 검토없이 16×16 모션정보를 계속한다 하더라도, 레이트 왜곡 최적화는 결국에 비(non) 16×16 매크로블록형을 사용하도록 결정할 수도 있다.

이것을 인식하면, 전형적인 시스템은 이러한 경우가 언제 발생하는지를 결정하도록 구성될 수 있어서, 개선된 성능이 달성될 수도 있다. 본 발명의 임의의 전형적인 실시에 따르면, 예컨대 P2to1 및 P3to1이라고 하는 2가지 추가적인 모드가 모드 결정 프로세스/단계 내에서 이용가능해진다. P2to1 및 P3to1 모드는 16×8 및 8×16 서브구획의 모션정보가 각각 16×16 모드의 것과 같을 때에 가능해진다.

임의의 실시예에서 각 구획에 할당된 모든 모션 벡터 및 기준 프레임은 같을 수 있다. 이와 같이, 등가의 모드가 레이트 왜곡 프로세스/단계 동안에 가능해질 수 있고 조사될 수 있다. 잔여 및 왜곡정보가 서브구획 경우에 비해 변경될 것 같지 않으므로, 이들은 계산을 크게 증가시키지 않고서 재사용될 수 있다.

레이트 왜곡 모드 결정이 완전하지 않음을 고려하면, 현재의 베스트 모드에 상관없이 이들 2개의 추가 모드의 추가 및 고려는, 몇몇 제한된 경우에, 효율을 개선시키지 않고 감소시킬 수도 있음이 가능하다. 대안으로서, 대응하는 서브구획 모드가 채택된 모드 결정에 따라 최선의 가능한 것이었을 때에만 이들 모드를 가능하게 할 수도 있다. 이렇게 하면 PSNR에 영향을 주지 않는 한편 다른 논리(예컨대 코덱 등)에 비해 개선(예컨대 비트율 감소)을 이룰 수도 있다.

16×8 또는 8×16 서브구획의 모션정보가 16×16 모드의 것과 같다면, 이러한 모드에 대한 모드결정을 수행하는 것이 불필요할 수 있다. 예를 들면, 제 1 서브구획의 모션벡터 예측기가 16×16 모드의 모션벡터 예측기와 정확히 동일하면, 모드결정을 수행하는 것은 불필요하다. 이러한 조건이 충족되면, 모드 결정 프로세스 동안에 이 모드를 건너뛸 수도 있다. 이렇게 하면, 이 모드에 대해 DCT, 양자화, 및/또는 다른 유사한 레이트 왜곡 프로세스/조처를 수행할 필요가 없을 것이므로, 복잡성을 크게 감소시킬 수 있는데, 이것은 인코딩 프로세스 동안에 다소 비용이 많이 든다.

임의의 다른 전형적인 실시예에서, 전체 프로세스는 트리구조의 매크로블록 구획에도 더 확장될 수 있다. 예컨대, Heiko Schwarz and Thomas Wiegand, "Tree-structured macroblock partition", Doc. VCEG-N17, Dec. 2001을 참조하기 바란다.

전형적인 알고리즘

전형적인 코덱 또는 다른 유사한 논리에서 모드 세분을 제공하도록 수행될 수 있는 임의의 조치(act)가 다음에 있다(임의의 다른 실시예에서, 조치의 순서가 변경될 수 있고 및/또는 임의의 조치가 함께 수행될 수도 있음을 주목한다).

조치 1:으로 설정.

조치 2: 각각의 가능 인터 모드(possible Inter Mode)에 대해 모션 벡터와 기준 프레임 결정을 수행.,, 및은 16×16 모드의 모션 벡터, 모션 벡터 예측치(motion vector predictor), 및 기준 프레임(reference frame)로 하고, 16×8 모드에 대한 대응 정보는,및로 하고, 8×16 모드에 대한 것은,, 및로 함.

조치 3:또는이면 조치 7로 이동.

조치 4:또는또는이면 조치 6으로 이동.

조치 5:; 조치 7로 이동.

(예컨대, 16×16과 동일하다면 16×8 모드 디스에이블. 복잡성 감소.)

조치 6:; (예컨대, 16×8에 대한 정밀 모드(refinement mode) 인에이블)

조치 7:또는이면, 조치 11로 이동.

조치 8:또는또는이면, 조치 10으로 이동.

조치 9:; 조치 11로 이동.

(예컨대, 16×16과 동일하다면 복잡성을 줄이기 위해 8×16 모드 디스에이블)

조치 10:

(예컨대, 8×16에 대한 정밀 모드 인에이블)

조치 11:이라면, 모든 인터 & 인트라(Inter & Intra) 모드에 대해 레이트 왜곡 최적화(Rate Distortion Optimization) 수행.

여기서, 라그랑지안 함수

를 사용하여,

를 최고 모드로 설정.

조치 12:일 때,(이러한 조치는 임의의 것임에 유의해야 한다.)

조치 13:일 때,(이러한 조치는 임의의 것임에 유의해야 한다.)

조치 14:인 경우,이면 두 개의 추가 모드에 대해 레이트 왜곡 최적화를 수행.

(예컨대, 모드들은 16×16 모드들에 상당하는 것으로 간주됨)

조치 15: 발견된 최고 모드 전체를로 설정.

인터레이스 코딩을 위한 전형적인 직접 예측 기술 적용

H.26L 표준 내부의 인터레이스 영상 코딩의 증가된 이득에 기인하여, 인터레이스 시퀀스의 인코딩 성능을 증대시키는 것에 대해 몇가지 제안이 제공되었다. 이 절에서는 H.26L의 현재 신택스, 및/또는 다른 유사한 시스템에서 실행될 수 있는 기술들이 제공된다. 이들 전형적인 기술은 성능증대를 제공할 수 있다. 또한, 인터레이스 및 프로그레시브 영상코딩 양자에서 적용될 수 있는, 다이렉트 B 예측과 유사한, 다이렉트 P 예측 기술이 소개된다.

전형적인 다이렉트 P 예측 기술에 관한 더 많은 정보:

B 프레임 내부의 모션벡터의 다이렉트 모드는, 특히 최대 2개의 모션벡터가 전달되어야 한다는 것을 고려하면, 모션벡터 코딩에 요구되는 비트를 상당히 감소시킬 수 있으므로 인코딩 성능에 크게 이익이 될 수 있다. 그러나 블록이 다이렉트 모드를 이용하여 코딩되면, 모션벡터는 불필요한데, 대신에 이들은 최초의 차후 레퍼런스 화상에서 배열된 블록의 모션벡터의 시간적 인터폴레이션으로서 계산된다. P 프레임에 대한 유사한 접근법은, P 프레임의 구조 및 그에 대응하는 매크로블록의 구조가 훨씬 더 간단하므로 고려되지 않았던 것으로 보이고, 한편 각 매크로블록은 단 하나의 모션벡터를 필요로 하였다. 이러한 모드를 추가하면 상당한 오버헤드를 초래하였을 것 같고, 따라서 임의의 가능한 이득을 무효화할 가능성이 있다.

한편 H.26L에서, P 프레임은 몇가지 추가의 매크로블록 모드를 도입함으로써 크게 증대되었다. 상술한 바와 같이, 많은 경우에, 매크로블록당 최대 16 모션벡터를 전송할 필요가 있을런지도 모른다. H.26L에서의 P 프레임이 포함할 수도 있는 이 추가의 모드 오버헤드를 고려하면, 모션벡터의 직접 예측의 실시는 가능할 수 있다. 이런 방식으로, 사용된 모션벡터 및 기준 프레임에 대한 모든 비트는 추가의 모드의 비용만으로 절약될 수 있고, 예컨대 도 4를 참조한다.

다이렉트 P 예측의 보다 직접적인 방법이 이전의 프레임에서 배열된 픽셀의 모션벡터를 선택하는 것이다 하더라도, 다른 실시예에서 대안의 해법으로서 모션 가속도를 고려할 수도 있다. 이것은 아마도 모션이 프레임마다 변경하고 일정하지 않다는 사실에서 비롯하고, 가속도를 이용함으로써 더 나은 결과가 얻어질 수 있는데, 예컨대 도 7을 참조한다.

이러한 기술은 프로그레시브 영상코딩에 더 적용될 수 있다. 아직도, 필드가, 예컨대 일정한 수평적인 이동만을 갖는 영역처럼, 인터레이스 시퀀스 내부에서 몇몇 경우에 가질 수 있는 상관관계를 고려하면, 이 접근법은 인터레이스 시퀀스 코딩에 대한 코딩 효율을 개선하는데 도움이 될 수 있다. 이것은, 예컨대 인접한 필드의 모션이 동일하다고 가정하면, 알려진 필드형 프레임에 대해 특히 도움이 된다. 이러한 유형의 정렬에서, 동일한 패리티 필드는 새로운 프레임으로서 고려될 수 있고 인터레이스 특징을 고려함없이 순차로 코딩된다. 이것은 디코더에서 전체적으로 남겨진다. 이 전형적인 다이렉트 P 모드를 이용함으로써, 제 1 필드가 코딩된 필드 매크로블록(예컨대 크기 16×16 픽셀)이 되도록 한 세트의 모션벡터를 이용할 수 있는 한편, 동일 위치에 있는 제 2 필드는 동일한 모션정보를 재사용하고 있다. 전송될 필요가 있는 유일한 다른 정보는 코딩된 잔여 화상이다. 다른 실시예에서, 2개의 배열된 필드 블록의 잔여 영상들 사이의 상관관계를 고려함으로써 이들 기술에서 더 개선하는 것이 가능하다.

P 프레임에서 다이렉트 모드를 허용하기 위해, 기본적으로 하나의 추가적인 인터 모드를 이 시스템에 추가할 필요가 있다. 따라서, 일예에서, 오직 8개의 인터 모드만을 갖는 대신에, 이제 아래에 도시된 9개를 사용할 수 있다.

인터 모드 설명

COPY_MB 0 매크로블록 모드를 스킵

M16×16_MB 1 1개의 16×16 블록

M16×8_MB 2 2개의 16×8 블록

M8×16_MB 3 2개의 8×16 블록

M8×8_MB 4 4개의 8×8 블록

M8×4_MB 5 8개의 8×4 블록

M4×8_MB 6 8개의 4×8 블록

M4×4_MB 7 16개의 16×8 블록

PDIRECT_MB 8 카피 모드 및 이전의 프레임에서 배열된 매크로블록의 모션벡터

일반적으로, P 프레임에 대한 이러한 전형적인 다이렉트 모드는, 배열된 매크로블록이, 스킵 매크로블록을 제외하고, 다이렉트 모드를 포함하여, 인터형이라면 나타날 수 있는데, 그 이유는 다른 경우에서는 사용될 수 있는 모션정보가 없기 때문이다. 다이렉트 P 모드에서 코딩되는 이전의 매크로블록의 경우에, 이 매크로블록에 대한 가장 최근의 모션벡터 및 모드가 대신 고려된다. 이 모드가 논리적으로 나타나지 않을 경우를 보다 효율적으로 처리하기 위하여, 그리고 특히 인트라 모드가 사용된다면, 정보의 카피가 이전의 프레임으로부터가 아니라 그 전의 것으로부터인 제 2 스킵 매크로블록 모드를 나타내고 있는 모드를 갖는 그러한 경우에 이 모드가 나타나도록 허용하는 것을 선택할 수 있다. 이 경우, 잔여정보가 인코딩되지 않는다. 이것은 인터레이스 시퀀스에서 특히 유용한데, 그 이유는 매크로블록이 이전의 기술에서 제공되었던 이전에 코딩된 필드 프레임으로부터가 아니라 동일한 패리티 필드 프레임으로부터 더 높은 정확도로 발견될 수 있을 가능성이 더많기 때문이다.

더 개선된 효율을 위해, 일군의 2개의 필드형 프레임이 인터레이스 화상을 코딩할 때에 사용되면, 스킵 매크로블록 모드는 동일한 패리티 필드 화상을 이용하도록 구성될 수 있다. 예컨대, 다이렉트 P 모드가 스키핑(skipping) 플래그로 이용되면, 다른 패리티가 대신 사용된다. 다이렉트 P 모드의 추가적인 이점은, 다이렉트 P 모드가 만족할만한 해법을 제공하는지에 대해 시스템이 사전조사를 수행하게 할 수 있으므로 인코더에서 상당한 복잡성 감소를 허용할 수 있다는 점이고, 그렇다면, 그 특정블록의 모드결정 및 모션평가에 대해 추가적 계산이 불필요할 수도 있다. 모션벡터 코딩의 문제를 해결하기 위해, 다이렉트 P 코딩에 대해 사용된 모션벡터는 중앙값(MEDIAN) 예측기의 계산에 대해 "그대로" 사용될 수 있다.

베스트 필드 퍼스트 기술 및 필드 리셔플링

인터레이스 프레임 재료 및 동일한 스트림 내부의 별개의 인터레이스 필드 화상 양자의 지원을 허용하는 인터레이스 시퀀스의 코딩은 두 방법 중 하나 만을 사용하는 코딩보다는 훨씬 더 나은 해법을 제공할 것 같다. 별개의 인터레이스 필드 기술은, 예컨대, 디블로킹과 같은 몇가지 추가적인 이점을 갖고, 특히 증대된 오류 복원력을 제공할 수 있다. 예컨대, 오류가 하나의 필드 화상 내에서 발생하면, 이 오류는 제 2 화상으로부터의 정보를 이용하여 용이하게 제거될 수 있다.

이것은 프레임 기반의 기술에 대한 경우가 아니고, 여기서 특히 이러한 프레임에 의해 사용된 비트 및 큰 크기를 고려할 때, 이러한 프레임 내부의 오류는 훨씬 더 높은 가능성으로 발생할 수 있다. 픽셀/블록 사이의 감소된 상관관계는 오류회복을 촉진하지 않을 수도 있다.

여기서, 어느 필드가 먼저 표시되어야 하는지는 상관하지 않고 어느 필드가 먼저 인코딩되어야 하는지를 인코더가 선택하게 함으로써 필드/프레임 코딩개념에서 더 개선할 수 있다. 이것은 더 큰 버퍼가 표시하기 전에 향후의 필드 프레임을 저장하기 위해 필요로 될 디코더에서 자동적으로 처리될 수 있다. 예를 들면, 최상단 필드가 시간에 대해 최하단 필드보다 선행한다 하더라도, 최하단 필드가 먼저 코딩되고 전달되고나서 최상단 필드 프레임이 전달되면 코딩효율은 더 높을 수 있다. 예를 들면, 레이트 왜곡 최적화 프로세스/단계에서 결정이 이루어질 수도 있는데, 여기서 홀수 필드가 먼저 코딩되고나서 짝수 필드가 코딩되면 성능이 어떻게 될지를 먼저 조사하고, 짝수 필드가 코딩되고 홀수 필드에 대해 레퍼런스로서 사용되면 성능이 어떻게 될지를 조사한다. 이러한 방법은 인코더와 디코더 양자가 어느 필드가 먼저 표시되어야 하는지를 알아야 함을 의미하고, 임의의 리셔플링이 고르게 이루어진다. 홀수 필드가 먼저 코딩되었다 하더라도, 인코더와 디코더 양자는 인터/인트라 예측의 목적을 위해 프레임을 인덱싱할 때에 이 변화를 안다는 것이 중요하다. 4개의 기준 프레임을 이용하는, 이러한 예측구성의 예들은 도 17 및 도 18에 도시된다. 도 17에서, 인터레이스 코딩은 P 프레임에서의 전형적인 베스트 필드 퍼스트 구성을 이용하여 도시된다. 도 18에서, 인터레이스 코딩은 B 프레임에서의 베스트 필드 퍼스트 구성을 이용하여 도시된다.

조인트 필드/프레임 화상을 코딩하는 경우, 도 19에 도시된 이 구성이 채택될 수도 있다. 여기서, 프레임 및 필드 기반의 코딩을 갖는 베스트 필드 퍼스트 구성의 전형적인 실시예가 도시된다. 프레임 기반의 모션평가에 대해 2개의 프레임이 사용되면, 특히 필드 교환이 일어나면, 적어도 5개의 필드 프레임이 필드의 모션평가를 위해 사용될 수 있다. 이것은 동일한 패리티의 적어도 2개의 필드 프레임의 레퍼런싱을 허용한다. 일반적으로 N개의 총 프레임이 사용되면 2×N+1 필드 프레임이 저장되어야 한다. 프레임은 또 이러한 프로세스에 대해 인코더 및 디코더에서 용이하게 인터리빙되고 디인터리빙될 수 있다.

결론

상기 설명이 구조적 특징 및/또는 방법론적인 조치에 특유한 언어를 사용한 것이다 하더라도, 첨부된 특허청구범위에서 정의된 본 발명은 상술한 구체적인 특징 또는 조치에 한정되는 것이 아님은 물론이다. 그보다는, 구체적 특징 및 조치는 본 발명을 실시하는 전형적인 형태로서 개시된다.

본 발명에 따른 영상 코딩방법 및 장치에 따르면, 다양한 모델 및/또는 방식을 이용하여 특히 하이/컴플렉스 모션 시퀀스에 대한 코딩 효율을 크게 향상시킬 수 있는 효과가 있다. 또한, 본 발명에 따른 방법 및 장치는, 예컨대 매크로블록 레벨 등에서 프레임의 일부에 존재할 수 있는 시간적 및/또는 공간적 상관관계를 이용하고, 화질을 유지하거나 심지어 개선하면서도 모션정보를 인코딩하는데 요구되는 데이터 양을 크게 감소시키는 효과를 제공한다.

Claims

영상 프레임 시퀀스 내의 영상 데이터를 인코딩하기 위해 사용하는 방법으로서,

적어도 하나의 기준 프레임의 적어도 일부를 인코딩하여 상기 기준 프레임의 상기 일부와 연관된 모션정보를 포함하는 단계;

상기 모션정보에 기초하여 상기 기준 프레임의 상기 일부에 예측적으로 상관된 영상 데이터를 포함하는 적어도 하나의 예측가능 프레임의 적어도 일부를 정의하는 단계; 및

대응하는 모션정보는 포함하지 않지만 상기 예측가능 프레임의 상기 일부가상기 기준 프레임의 상기 일부와 연관된 적어도 상기 모션정보를 이용하여 직접 유도될 수 있음을 식별하는 모드 식별 데이터를 포함하는 상기 예측가능 프레임의 적어도 상기 일부를 인코딩하는 단계

를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 모드 식별 데이터는 상기 예측가능 프레임의 상기 인코딩된 부분을 디코딩하는데 요구되는 예측모델의 유형을 정의하는 것을 특징으로 하는 방법.
제2항에 있어서,

상기 예측모델 유형은, 모션 프로젝션 서브모드, 공간적 모션벡터 예측 서브모드, 및 가중 평균 서브모드를 포함하는 그룹으로부터 선택된 적어도 하나의 서브모드를 포함하는 증대된 직접 예측 모델을 포함하는 것을 특징으로 하는 방법.
제3항에 있어서,

상기 모드 식별 데이터는 상기 적어도 하나의 서브모드를 식별하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 방법은 P 프레임 및 B 프레임을 포함하는 일군의 예측가능 프레임으로부터 선택된 적어도 하나의 예측가능 프레임을 포함하는 복수의 영상 프레임을 생성하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임의 상기 일부는 상기 기준 프레임 내의 적어도 하나의 픽셀에 대한 데이터를 포함하고, 상기 예측가능 프레임의 상기 일부는 상기 예측가능 프레임 내의 적어도 하나의 픽셀에 대한 데이터를 포함하는 것을 특징으로 하는 방법.
제6항에 있어서, 상기 기준 프레임의 상기 일부는 상기 기준 프레임 내의 매크로블록의 적어도 일부에 대한 데이터를 포함하고, 상기 예측가능 프레임의 상기 일부는 상기 예측가능 프레임 내의 매크로블록의 적어도 일부에 대한 데이터를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임은 상기 영상 프레임 시퀀스 내의 상기 예측가능 프레임보다 시간적으로 선행하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 속도정보를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 가속도 정보를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임의 상기 일부 및 상기 예측가능 프레임의 상기 일부는 공간적으로 상관되어 있는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 상기 예측가능 프레임의 상기 인코딩된 일부를 디코딩하는데 요구되는 픽셀 프로젝션 정보를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 상기 예측가능 프레임의 상기 인코딩된 일부를 디코딩하는데 요구되는 공간적 모션벡터 예측 정보를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 상기 예측가능 프레임의 상기 인코딩된 일부를 디코딩하는데 요구되는 조합된 픽셀 프로젝션 및 공간적 모션벡터 예측 정보를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 상기 예측가능 프레임의 상기 인코딩된 일부를 디코딩하는데 요구되는 다중가설 예측정보를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 비어있고(null) 상기 모드 식별 데이터는 상기 기준 프레임의 상기 일부가 상기 예측가능 프레임의 상기 일부를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 대응하는 잔여정보를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 QP(quantization parameter)가 적어도 하나의 정의된 조건을 충족할 경우에만 대응하는 잔여정보를 포함하는 것을 특징으로 하는 방법.
제18항에 있어서,

상기 적어도 하나의 정의된 조건은 임계값을 포함하는 것을 특징으로 하는 방법.
제18항에 있어서,

상기 임계값은 대략 QP > 23인 것을 특징으로 하는 방법.
제1항에 있어서,

상기 적어도 하나의 예측가능 프레임 및 기준 프레임은 영상 필드의 인터레이스 시퀀스의 일부인 것을 특징으로 하는 방법.
제21항에 있어서,

모션정보는 상기 기준 프레임에서 적어도 하나의 배열된(collocated) 픽셀와 연관되는 것을 특징으로 하는 방법.
제22항에 있어서,

상기 적어도 하나의 기준 프레임의 적어도 일부를 인코딩하는 것은 2개의 배열된 필드 블록의 잔여 화상들 사이의 상관관계에 기초하여 인코딩하는 것을 포함하는 것을 특징으로 하는 방법.
제21항에 있어서,

상기 기준 프레임과 상기 예측가능 프레임의 각각에 대해 상기 영상필드의 인터레이스 시퀀스 내의 필드가 인코딩되어야 하는 순서를 선택하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제21항에 있어서,

상기 적어도 하나의 예측가능 프레임 및 기준 프레임 각각은 그들과 연관된 적어도 2개의 필드를 갖는 것을 특징으로 하는 방법.
조치를 수행하기 위한 컴퓨터 실시가능 명령어를 갖는 컴퓨터 판독가능 매체에 있어서,

적어도 하나의 기준 프레임의 적어도 일부를 인코딩하여 상기 기준 프레임의 상기 일부와 연관된 모션정보를 포함하는 단계;

상기 모션정보에 기초하여 상기 기준 프레임의 상기 일부에 예측적으로 상관된 영상 데이터를 포함하는 적어도 하나의 예측가능 프레임의 적어도 일부를 정의하는 단계; 및

대응하는 모션정보는 포함하지 않고 상기 예측가능 프레임의 상기 일부가 상기 기준 프레임의 상기 일부와 연관된 적어도 상기 모션정보를 사용하여 직접 유도될 수 있음을 식별하는 모드 식별 데이터를 포함하는 상기 예측가능 프레임의 적어도 상기 일부를 인코딩하는 단계에 의하여,

영상 프레임 시퀀스에 대한 영상 데이터를 P 프레임 및 B 프레임을 포함하는 일군의 예측가능 프레임으로부터 선택된 적어도 하나의 예측가능 프레임으로 인코딩하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제26항에 있어서,

상기 모드 식별 데이터는 상기 예측가능 프레임의 상기 인코딩된 일부를 디코딩하는데 요구되는 예측모델의 유형을 정의하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제27항에 있어서,

상기 예측모델 유형은, 모션 프로젝션 서브모드, 공간적 모션벡터 예측 서브모드, 및 가중 평균 서브모드를 포함하는 그룹으로부터 선택된 적어도 하나의 서브모드를 포함하는 증대된 직접 예측 모델을 포함하고, 상기 모드 식별 데이터는 상기 적어도 하나의 서브모드를 식별하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제26항에 있어서,

상기 기준 프레임의 상기 일부는 상기 기준 프레임 내의 적어도 하나의 픽셀에 대한 데이터를 포함하고, 상기 예측가능 프레임의 상기 일부는 상기 예측가능 프레임 내의 적어도 하나의 픽셀에 대한 데이터를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제26항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 속도정보 및 가속도 정보를 포함하는 그룹으로부터 선택된 정보를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제26항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는,

픽셀 프로젝션 정보;

공간적 모션벡터 예측 정보;

가중 픽셀 프로젝션 및 공간적 모션벡터 예측 정보; 및

다중가설 예측정보

를 포함하는 그룹으로부터 선택된 상기 예측가능 프레임의 상기 인코딩된 일부를 디코딩하는데 요구되는 정보를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제26항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 비어있고 상기 모드 식별 데이터는 상기 기준 프레임의 상기 일부가 상기 예측가능 프레임의 상기 일부를 포함하는 것을 식별하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제26항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 대응하는 잔여정보를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제26항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 QP(quantization parameter)가 적어도 하나의 정의된 조건을 충족하는 경우에만 대응하는 잔여정보를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제34항에 있어서,

상기 적어도 하나의 정의된 조건은 임계값을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제26항에 있어서,

상기 적어도 하나의 예측가능 프레임 및 기준 프레임은 영상 필드의 인터레이스 시퀀스의 일부인 것을 특징으로 하는 컴퓨터 판독가능 매체.
제36항에 있어서,

모션정보는 상기 기준 프레임에서 적어도 하나의 배열된 픽셀와 연관되는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제37항에 있어서,

상기 적어도 하나의 기준 프레임의 적어도 일부를 인코딩하는 단계는 2개의 배열된 필드 블록의 잔여 화상들 사이의 상관관계에 기초하여 인코딩하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제36항에 있어서,

상기 기준 프레임과 상기 예측가능 프레임의 각각에 대해 상기 영상필드의 인터레이스 시퀀스 내의 필드가 인코딩되어야 하는 순서를 선택하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제36항에 있어서,

상기 적어도 하나의 예측가능 프레임 및 기준 프레임 각각은 그들과 연관된 적어도 2개의 필드를 갖는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제26항에 있어서,

더 많은 조치를 수행하기 위한 컴퓨터 실시가능한 명령어를 갖는 단계는,

적어도 하나의 요소에 기초하여 상기 예측가능 프레임의 상기 적어도 일부의 인코딩 동안에 직접 예측 모드가 기존의 모드 대신에 사용되는지를 선택적으로 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
영상 프레임 시퀀스에 대한 영상 데이터를, P 프레임 및 B 프레임을 포함하는 일군의 예측가능 프레임으로부터 선택된 적어도 하나의 예측가능 프레임을 포함하는 복수의 영상 프레임으로 인코딩할 때에 사용하기 위한 장치로서,

모션정보를 저장하는 메모리; 및

상기 메모리에 동작적으로 결합되고, 적어도 하나의 기준 프레임의 적어도 일부를 인코딩하여 상기 기준 프레임의 상기 일부와 연관된 모션정보를 포함하고 상기 모션정보에 기초하여 상기 기준 프레임의 상기 일부에 예측적으로 상관된 영상 데이터를 포함하는 적어도 하나의 예측가능 프레임의 적어도 일부를 결정하고 대응하는 모션정보는 포함하지 않지만 상기 예측가능 프레임의 상기 일부가 상기 기준 프레임의 상기 일부와 연관된 적어도 상기 모션정보를 사용하여 직접 유도될 수 있음을 식별하는 모드 식별 데이터를 포함하는 상기 예측가능 프레임의 적어도 상기 일부를 인코딩하도록 구성된 논리

를 포함하는 것을 특징으로 하는 장치.
제42항에 있어서,

상기 모드 식별 데이터는 상기 예측가능 프레임의 상기 인코딩된 일부를 디코딩하는데 요구되는 예측모델의 유형을 정의하는 것을 특징으로 하는 장치.
제43항에 있어서,

상기 예측모델 유형은, 모션 프로젝션 서브모드, 공간적 모션벡터 예측 서브모드, 및 가중 평균 서브모드를 포함하는 그룹으로부터 선택된 적어도 하나의 서브모드를 포함하는 증대된 직접 예측 모델을 포함하고, 상기 모드 식별 데이터는 상기 적어도 하나의 서브모드를 식별하는 것을 특징으로 하는 장치.
제42항에 있어서,

상기 기준 프레임의 상기 일부는 상기 기준 프레임 내의 적어도 하나의 픽셀에 대한 정보를 포함하고, 상기 예측가능 프레임의 상기 일부는 상기 예측가능 프레임 내의 적어도 하나의 픽셀에 대한 데이터를 포함하는 것을 특징으로 하는 장치.
제42항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 속도정보 및 가속도 정보를 포함하는 그룹으로부터 선택된 정보를 포함하는 것을 특징으로 하는 장치.
제42항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는,

픽셀 프로젝션 정보;

공간적 모션벡터 예측 정보;

가중 픽셀 프로젝션 및 공간적 모션벡터 예측 정보; 및

다중가설 예측정보

를 포함하는 그룹으로부터 선택된 상기 예측가능 프레임의 상기 인코딩된 일부를 디코딩하는데 요구되는 정보를 포함하는 것을 특징으로 하는 장치.
제42항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 비어있고 상기 모드 식별 데이터는 상기 기준 프레임의 상기 일부가 상기 예측가능 프레임의 상기 일부를 포함하는 것을 식별하는 것을 특징으로 하는 장치.
제42항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 대응하는 잔여정보를 포함하는 것을 특징으로 하는 장치.
제42항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 QP가 적어도 하나의 정의된 조건을 충족하는 경우에만 대응하는 잔여정보를 포함하는 것을 특징으로 하는 장치.
제42항에 있어서,

상기 적어도 하나의 예측가능 프레임 및 기준 프레임은 영상필드의 인터레이스 시퀀스의 일부인 것을 특징으로 하는 장치.
제51항에 있어서,

모션정보는 상기 기준 프레임에서 적어도 하나의 배열된 픽셀와 연관된 것을특징으로 하는 장치.
제52항에 있어서,

상기 논리는 2개의 배열된 필드블록의 잔여화상들 사이의 상관관계에 기초하여 상기 적어도 하나의 기준 프레임의 상기 적어도 일부를 인코딩하는 것을 특징으로 하는 장치.
제51항에 있어서,

상기 논리는, 상기 기준 프레임과 상기 예측가능 프레임의 각각에 대해, 상기 영상필드의 인터레이스 시퀀스 내의 필드가 인코딩되는 순서를 선택하도록 더 구성되는 것을 특징으로 하는 장치.
제51항에 있어서,

상기 적어도 하나의 예측가능 프레임 및 기준 프레임 각각은 그들과 연관된 적어도 2개의 필드를 갖는 것을 특징으로 하는 장치.
제42항에 있어서,

상기 논리는, 적어도 하나의 요소에 기초하여 상기 예측가능 프레임의 적어도 상기 일부를 인코딩할 때에 기존의 모드 대신에 직접 예측 모드가 사용되는지를 선택적으로 결정하도록 더 구성되는 것을 특징으로 하는 장치.
P 프레임 및 B 프레임을 포함하는 일군의 예측가능 프레임으로부터 선택된 적어도 하나의 예측가능 프레임을 포함하는 복수의 영상 프레임을 포함하는 인코딩된 영상데이터를 디코딩할 때에 사용을 위한 방법으로서,

적어도 하나의 기준 프레임의 적어도 일부와 연관된 모션정보를 결정하는 단계;

상기 모션정보를 버퍼링하는 단계;

예측가능 프레임의 적어도 일부가 적어도 상기 버퍼링된 모션정보를 이용하여 직접 유도될 수 있는 것을 식별하는 모드 식별 데이터를 결정하는 단계; 및

상기 버퍼링된 모션정보를 이용하여 상기 예측가능 프레임의 상기 일부를 생성하는 단계

를 포함하는 것을 특징으로 하는 방법.
제57항에 있어서,

상기 모드 식별 데이터는 상기 예측가능 프레임의 상기 인코딩된 일부를 디코딩하는데 요구되는 예측모델의 유형을 정의하는 것을 특징으로 하는 방법.
제58항에 있어서,

상기 예측모델 유형은, 모션 프로젝션 서브모드, 공간적 모션벡터 예측 서브모드, 및 가중 평균 서브모드를 포함하는 그룹으로부터 선택된 적어도 하나의 서브모드를 포함하는 증대된 직접 예측 모델을 포함하는 것을 특징으로 하는 방법.
제59항에 있어서,

상기 모드 식별 데이터는 상기 적어도 하나의 서브모드를 식별하는 것을 특징으로 하는 방법.
제57항에 있어서,

상기 기준 프레임의 상기 일부는 상기 기준 프레임 내의 적어도 하나의 픽셀에 대한 데이터를 포함하고, 상기 예측가능 프레임의 상기 일부는 상기 예측가능 프레임 내의 적어도 하나의 픽셀에 대한 데이터를 포함하는 것을 특징으로 하는 방법.
제61항에 있어서,

상기 기준 프레임의 상기 일부는 상기 기준 프레임 내의 매크로블록의 적어도 일부에 대한 데이터를 포함하고, 상기 예측가능 프레임의 상기 일부는 상기 예측가능 프레임 내의 매크로블록의 적어도 일부에 대한 데이터를 포함하는 것을 특징으로 하는 방법.
제57항에 있어서,

상기 기준 프레임은 상기 영상 프레임 시퀀스 내의 상기 예측가능 프레임보다 시간적으로 선행하는 것을 특징으로 하는 방법.
제57항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 속도정보 및 가속도 정보를 포함하는 그룹으로부터 선택된 정보를 포함하는 것을 특징으로 하는 방법.
제57항에 있어서,

상기 기준 프레임의 상기 일부 및 상기 예측가능 프레임의 상기 일부는 공간적으로 상관되는 것을 특징으로 하는 방법.
제57항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는, 픽셀 프로젝션 정보, 공간적 모션벡터 예측, 조합된 픽셀 프로젝션 및 공간적 모션벡터 예측 정보, 및 다중가설 예측정보를 포함하는 그룹으로부터 선택된 정보를 포함하는 것을 특징으로 하는 방법.
제57항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 비어있고, 상기 모드 식별 데이터는 상기 기준 프레임의 상기 일부가 상기 예측가능 프레임의 상기일부를 포함하는 것을 식별하는 것을 특징으로 하는 방법.
조치를 수행하기 위한 컴퓨터 실시가능 명령어를 갖는 컴퓨터 판독가능 매체에 있어서,

적어도 하나의 기준 프레임의 적어도 일부와 연관된 모션정보를 버퍼링하는 단계;

예측가능 프레임의 적어도 일부가 적어도 상기 버퍼링된 모션정보를 이용하여 직접 유도될 수 있음을 식별하는 모드 식별 데이터를 결정하는 단계; 및

상기 버퍼링된 모션정보를 이용하여 상기 예측가능 프레임의 상기 일부를 생성하는 단계에 의하여,

P 프레임 및 B 프레임을 포함하는 일군의 예측가능 프레임으로부터 선택된 적어도 하나의 예측가능 프레임을 포함하는 복수의 영상 프레임을 포함하는 인코딩된 영상 데이터를 디코딩하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제68항에 있어서,

상기 모드 식별 데이터는 상기 예측가능 프레임의 상기 인코딩된 일부를 디코딩하는데 요구되는 예측모델의 유형을 정의하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제69항에 있어서,

상기 예측모델 유형은, 모션 프로젝션 서브모드, 공간적 모션벡터 예측 서브모드, 및 가중 평균 서브모드를 포함하는 그룹으로부터 선택된 적어도 하나의 서브모드를 포함하는 증대된 직접 예측 모델을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제70항에 있어서,

상기 모드 식별 데이터를 상기 적어도 하나의 서브모드를 식별하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제68항에 있어서,

상기 기준 프레임의 상기 일부는 상기 기준 프레임 내의 적어도 하나의 픽셀에 대한 데이터를 포함하고, 상기 예측가능 프레임의 상기 일부는 상기 예측가능 프레임 내의 적어도 하나의 픽셀에 대한 데이터를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제72항에 있어서,

상기 기준 프레임의 상기 일부는 상기 기준 프레임 내의 매크로블록의 적어도 일부에 대한 데이터를 포함하고, 상기 예측가능 프레임의 상기 일부는 상기 예측가능 프레임 내의 매크로블록의 적어도 일부에 대한 데이터를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제68항에 있어서,

상기 기준 프레임은 상기 영상 프레임 시퀀스 내의 상기 예측가능 프레임보다 시간적으로 선행하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제68항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 속도정보 및 가속도 정보를 포함하는 그룹으로부터 선택된 정보를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제68항에 있어서,

상기 기준 프레임의 상기 일부 및 상기 예측가능 프레임의 상기 일부는 공간적으로 상관되는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제68항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는, 픽셀 프로젝션 정보, 공간적 모션벡터 예측, 조합된 픽셀 프로젝션 및 공간적 모션벡터 예측 정보, 및 다중가설 예측정보를 포함하는 그룹으로부터 선택된 정보를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
제68항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 비어있고, 상기 모드 식별 데이터는 상기 기준 프레임의 상기 일부가 상기 예측가능 프레임의 상기 일부를 포함하는 것을 식별하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
영상 프레임 시퀀스에 대한 영상 데이터를, P 프레임 및 B 프레임을 포함하는 일군의 예측가능 프레임으로부터 선택된 적어도 하나의 예측가능 프레임을 포함하는 복수의 영상 프레임으로 디코딩할 때에 사용을 위한 장치로서,

모션정보를 저장하는 메모리; 및

상기 메모리와 동작적으로 결합되고, 적어도 하나의 기준 프레임의 적어도 일부와 연관된 모션정보를 상기 메모리에서 버퍼하고 예측가능 프레임의 적어도 일부가 적어도 상기 버퍼링된 모션정보를 이용하여 직접 유도될 수 있음을 식별하는 모드 식별 데이터를 확인하고 상기 버퍼링된 모션정보를 이용하여 상기 예측가능 프레임의 상기 일부를 생성하도록 구성된 논리

를 포함하는 것을 특징으로 하는 장치.
제79항에 있어서,

상기 모드 식별 데이터는 상기 예측가능 프레임의 상기 인코딩된 일부를 디코딩하는데 요구되는 예측모델의 유형을 정의하는 것을 특징으로 하는 장치.
제80항에 있어서,

상기 예측모델 유형은, 모션 프로젝션 서브모드, 공간적 모션벡터 예측 서브모드, 및 가중 평균 서브모드를 포함하는 그룹으로부터 선택된 적어도 하나의 서브모드를 포함하는 증대된 직접 예측 모델을 포함하는 것을 특징으로 하는 장치.
제81항에 있어서,

상기 모드 식별 데이터는 상기 적어도 하나의 서브모드를 식별하는 것을 특징으로 하는 장치.
제79항에 있어서,

상기 기준 프레임의 상기 일부는 상기 기준 프레임 내의 적어도 하나의 픽셀에 대한 데이터를 포함하고, 상기 예측가능 프레임의 상기 일부는 상기 예측가능 프레임 내의 적어도 하나의 픽셀에 대한 데이터를 포함하는 것을 특징으로 하는 장치.
제83항에 있어서,

상기 기준 프레임의 상기 일부는 상기 기준 프레임 내의 매크로블록의 적어도 일부에 대한 데이터를 포함하고, 상기 예측가능 프레임의 상기 일부는 상기 예측가능 프레임 내의 매크로블록의 적어도 일부에 대한 데이터를 포함하는 것을 특징으로 하는 장치.
제79항에 있어서,

상기 기준 프레임은 상기 영상 프레임 시퀀스 내의 상기 예측가능 프레임보다 시간적으로 선행하는 것을 특징으로 하는 장치.
제79항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 속도정보 및 가속도 정보를 포함하는 그룹으로부터 선택된 정보를 포함하는 것을 특징으로 하는 장치.
제79항에 있어서,

상기 기준 프레임의 상기 일부 및 상기 예측가능 프레임의 상기 일부는 공간적으로 상관되어 있는 것을 특징으로 하는 장치.
제79항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는, 픽셀 프로젝션 정보, 공간적 모션벡터 예측, 조합된 픽셀 프로젝션 및 공간적 모션벡터 예측 정보, 및 다중가설 예측정보를 포함하는 그룹으로부터 선택된 정보를 포함하는 것을 특징으로 하는 장치.
제79항에 있어서,

상기 기준 프레임의 상기 일부와 연관된 상기 모션정보는 비어있고 상기 모드 식별 데이터는 상기 기준 프레임의 상기 일부가 상기 예측가능 프레임의 상기 일부를 포함하는 것을 식별하는 것을 특징으로 하는 장치.
제79항에 있어서,

상기 논리는 코덱을 포함하는 것을 특징으로 하는 장치.
제1항에 있어서,

직접 예측 모드가 적어도 하나의 요소에 기초하여 상기 예측가능 프레임의 상기 적어도 일부의 상기 인코딩 동안에 기존의 모드 대신에 사용되는지를 선택적으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.