KR20070040397A

KR20070040397A - 다중의 기준 프레임 및 가변 블록 크기를 가진 프레임레이트 업 변환을 위한 방법 및 장치

Info

Publication number: KR20070040397A
Application number: KR1020077003845A
Authority: KR
Inventors: 팡 시; 비자얄라크시미 알 라빈드란
Original assignee: 퀄컴 인코포레이티드
Priority date: 2004-07-20
Filing date: 2005-07-20
Publication date: 2007-04-16
Also published as: US20070211800A1; AU2005267169A1; EP1774794A1; AR049727A1; TW200629899A; BRPI0513536A; US20060017843A1; CA2574579A1; CN101023677A; WO2006012382A1

Abstract

현재의 비디오 프레임, 및 복수의 이전 비디오 프레임을 이용하여 내삽된 비디오 프레임을 생성하는 방법. 그 방법은 복수의 이전 비디오 프레임에서 하나 이상의 기준 비디오 프레임으로부터 일련의 외삽된 움직임 벡터의 생성을 포함한다; 외삽된 움직임 벡터 및 각각의 외삽된 움직임 벡터의 내용 타입을 이용하여 적응 움직임 추정을 수행하는 단계; 움직임 보상 내삽 모드에 대해 판정하는 단계; 및, 움직임 보상 내삽 모드 판정에 기초하여 일련의 움직임 보상 움직임 벡터를 생성하는 단계. 그 방법을 수행하기 위한 장치는 또한 개시된다.

내삽, 외삽, 프레임 레이트 업 변환, 움직임 보상 내삽

Description

다중의 기준 프레임 및 가변 블록 크기를 가진 프레임 레이트 업 변환을 위한 방법 및 장치{METHOD AND APPARATUS FOR FRAME RATE UP CONVERSION WITH MULTIPLE REFERENCE FRAMES AND VARIABLE BLOCK SIZES}

35 U.S.C §119 에 따른 우선권 주장

본 특허 출원은, 발명의 명칭이 "프레임 레이트 업 변환을 위한 방법 및 장치{Method and Apparatus for Frame Rate up Conversion}" 로 2004년 7월 20일자로 출원되어 본 발명의 양수인에게 양도되어 있으며, 여기서 참조로서 명백하게 포함되는 가출원 제 60/589,990 호를 우선권 주장한다.

공동-계류중인 특허 출원에 대한 참조

본 특허 출원은, 발명의 명칭이 "블록-기반 저 비트 레이트 비디오에 대한 움직임 보상 프레임 레이트 업 변환을 위한 방법 및 장치(Method and Apparatus for Motion Compensated Frame Rate up Conversion for Block-Based Low Bit-Rate Video)" 로 2005년 5월 4일자로 출원되어 본 발명의 양수인에게 양도되어 있으며, 여기서 참조로서 명백하게 포함되는 공통 계류중인 미국 출원 제 11/122,678 호와 관련되어 있다.

배경

분야

여기에서 설명되는 실시형태는 일반적으로 프레임 레이트 업 변환 (FRUC ; Frame Rate Up Conversion) 에 관한 것으로서, 더 상세하게는, 다중의 기준 프레임 및 가변 블록 크기를 가진 프레임 레이트 업 변환 (FRUC) 에 관한 것이다.

배경

저 비트 레이트 비디오 압축은 제한된 대역폭 자원 및 이용가능한 대역폭의 가변성 때문에, 무선 비디오 스트리밍 및 비디오 텔레포니와 같은 다수의 멀티미디어 어플리케이션에서 매우 중요하다. 대역폭 적응 저 비트-레이트 비디오 코딩은 시간적 해상도를 감축함으로써 달성될 수 있다. 즉, 초당 30 프레임 (fps) 비트-스트림을 압축하여 송신하는 대신에, 시간적 해상도는 송신 비트-레이트를 감축하기 위해 15 fps 로 반감될 수 있다. 그러나, 시간적 해상도를 감축하는 결과는 디코딩된 비디오의 시각적 품질을 상당히 저하시키는 움직임 저키니스 (motion jerkiness) 와 같은 시간적 도메인 아티팩트의 도입이다.

수신기 측에 풀 프레임 레이트를 디스플레이하기 위해서, 프레임 레이트 업 변환 (FRUC ; Frame Rate Up Conversion) 이라 불리는, 복구 메커니즘이 스킵된 프레임을 재생성하고 시간적 아티팩트를 감소시키기 위해 필요하다. 일반적으로, FRUC 는 재구성된 비디오의 인지된 프레임 레이트를 증가시키기 위해 비디오 디코더에서의 비디오 내삽과정이다.

2 개의 카테고리로 클래스될 수 있는 다수의 FRUC 알고리즘이 제안되어왔다. 제 1 카테고리는 대상 움직임을 고려함이 없이 수신된 비디오 프레임의 조합을 이용하여 손실 프레임을 내삽한다. 프레임 반복 및 프레임 평균화 방법은 이 클래스에 적합하다. 이들 방법의 단점은 움직임이 관계될 경우에 움직임 저키 니스, "고스트" 이미지 및 이동 대상의 흐림의 생성을 포함한다. 제 2 카테고리는 제 1 카테고리에 비하여, 더 진보된 것이고, 소위 움직임 보상 (프레임) 내삽 (MCI) 이라 불리는, 송신된 움직임 정보를 이용한다.

종래기술 도 2 에서 도시된 바와 같이, MCI 에서, 손실 프레임 (208) 은 재구성된 현재 프레임 (202), 저장된 이전의 프레임 (204), 및 일련의 송신된 움직임 벡터 (206) 에 기초하여 내삽된다. 재구성된 현재의 프레임 (202) 은 저장된 이전의 프레임 (204) 에서 대응하는 블록을 가리키는 일련의 송신된 움직임 벡터 (206) 와 연관된, 일련의 비오버랩핑된 블록 (250, 252, 254 및 256) 으로 구성된다. 따라서, 내삽된 프레임 (208) 은 현재 및 이전의 프레임에서 대응하는 픽셀의 선형 조합 이나 중앙값 연산과 같은 비선형 연산으로 재구성될 수 있다.

블록-기반 MCI 가 몇몇의 장점을 제공한다고 할지라도, 그것은 또한 내삽된 프레임에 오버랩핑된 영역 (다중의 움직임 궤적은 이 영역을 통과한다) 및 홀 영역 (어떠한 움직임 궤적도 이 영역을 통과하지 않는다) 같은 원하지 않은 영역을 가져온다. 도 3 에서 도시된 바와 같이, 내삽된 프레임 (302) 은 오버랩핑된 영역 (306) 및 홀 영역 (304) 을 포함한다. 이들 2 개 타입의 원하지 않은 영역의 주 원인은:

1. 이동 대상은 고정 변환 움직임 모델에 따르지 않고,

2. MCI 에서 이용되는 송신된 움직임 벡터는, 인코더 측에서 이용되는 블록-기반 고속 움직임 검색 알고리즘으로 인해 진정 움직임 궤적을 가리키지 않을 수도 있으며, 또한,

3. 현재의 프레임 및 이전의 프레임에서 커버된 배경 및 커버되지 않은 배경때문이다.

오버랩핑된 영역 및 홀 영역의 내삽은 종래의 블록-기반 움직임 보상 접근에 대한 주요한 기술적인 난제이다. 중앙값 흐림 및 공간 내삽 기술은 이들 오버랩핑된 영역 및 홀 영역을 채우기 위해 제안되어왔다. 그러나, 이들 방법의 약점은 흐림 및 방해 아티팩트의 도입, 및 내삽 연산의 복잡성 증가이다.

따라서, 상기 언급된 이슈를 극복할 필요성이 있다.

요약

그 방법 및 장치는 프레임 레이트 업 변환 (FRUC) 에 적용되는 다양한 알고리즘을 구현하기 위한 유연한 시스템을 제공한다. 예를 들어, 일 실시형태에서, 알고리즘은 다중의 기준 프레임에 대한 지원, 및 FRUC 에 대한 내용 적응 모드 판정 변화를 제공한다.

일 실시형태에서, 현재의 비디오 프레임 및 복수의 이전 비디오 프레임을 이용하여 내삽된 비디오 프레임을 생성하기 위한 방법은, 복수의 이전 비디오 프레임에서 적어도 하나의 기준 비디오 프레임으로부터 일련의 외삽된 움직임 벡터를 생성하는 단계, 이후 외삽된 움직임 벡터 및 각각의 외삽된 움직임 벡터의 내용 타입을 이용하여 적응 움직임 추정을 수행하는 단계를 포함한다. 그 방법은 또한 움직임 보상 내삽 모드에 대해 판정하는 단계, 및 움직임 보상 내삽 모드 판정에 기초하여 일련의 움직임 보상 움직임 벡터를 생성하는 단계를 포함한다.

다른 실시형태에서, 컴퓨터 판독가능 매체 상에 저장된 명령은, 프로세서에 의해 실행될 때, 프로세서로 하여금 현재의 비디오 프레임 및 복수의 이전의 프레임을 이용하여 내삽된 비디오 프레임을 생성하는 방법을 수행하게 한다. 현재의 비디오 프레임 및 복수의 이전의 비디오 프레임을 이용하여 내삽된 비디오 프레임을 생성하는 단계를 포함하는 방법은, 복수의 이전의 비디오 프레임에서의 적어도 하나의 기준 비디오 프레임으로부터 일련의 외삽된 움직임 벡터를 생성하는 단계, 및 이후 외삽된 움직임 벡터 및 각각의 외삽된 움직임 벡터의 내용 타입을 이용하여 적응 움직임 추정을 수행하는 단계를 포함한다. 그 방법은 또한 움직임 보상 내삽 모드에 대해 판정하는 단계, 및 그 움직임 보상 내삽 모드 판정에 기초하여 일련의 움직임 보상 움직임 벡터를 생성하는 단계를 포함한다.

다른 실시형태에서, 현재의 비디오 프레임 및 복수의 이전의 비디오 프레임을 이용하여 내삽된 비디오 프레임을 생성하기 위한 비디오 프레임 프로세서는, 복수의 이전의 비디오 프레임에서의 적어도 하나의 기준 프레임으로부터 일련의 외삽된 움직임 벡터를 생성하는 수단, 및 그 외삽된 움직임 벡터 및 각각의 외삽된 움직임 벡터의 내용 타입을 이용하여 적응 움직임 추정을 수행하는 수단을 포함한다. 비디오 프레임 프로세서는 또한 움직임 보상 내삽 모드에 대해 판정하는 수단, 및 그 움직임 보상 내삽 모드 판정에 기초하여 일련의 움직임 보상 움직임 벡터를 생성하는 수단을 포함한다.

다양한 실시형태의 다른 목적, 특성 및 장점은 이하 상세한 설명으로부터 다업자에게 명백해질 것이다. 그러나, 상세한 설명 및 특정 예는, 다양한 실시형태를 나타내는 중에, 도해에 의해 제시될 것이고, 제한에 의하지 않는다. 실시 형태의 범위 내에서의 다수의 변화 및 변형은 발명의 사상을 벗어나지 않고 행해질 수도 있고, 그 실시형태들은 모든 그러한 변형을 포함한다.

도면의 간단한 설명

여기에서 설명되는 실시형태는 첨부된 도면을 참조함으로써 더 쉽게 이해될 수도 있다.

도 1 은 일 실시형태에 따라 구성된 프레임 레이트 업 변환 (FRUC) 시스템의 블록 다이어그램이다.

도 2 는 움직임 보상 프레임 내삽 (MCI) 을 이용하여 내삽된 프레임의 구조를 도시하는 도면이다.

도 3 은 MCI 중에 내삽된 프레임에서 마주칠 수도 있는 오버랩핑 영역 및 홀 영역을 도시하는 도면이다.

도 4 는 비디오 프레임 내에서 그래픽 요소에 할당된 다양한 클래스를 도시하는 도면이다.

도 5 는 단일 기준 프레임, 선형 움직임 모델에 대한 벡터 외삽을 도시하는 도면이다.

도 6 은 단일 기준 프레임, 움직임 가속, 모델에 대한 벡터 외삽을 도시하는 도면이다.

도 7 은 다중의 기준 프레임, 움직임 벡터 외삽을 가진 선형 움직임 모델에 대한 벡터 외삽을 도시하는 도면이다.

도 8 은 다중의 기준 프레임, 움직임 벡터 외삽을 가진 비선형 움직임 모델 에 대한 벡터 외삽을 도시하는 도면이다.

도 9 는 움직임 벡터 외삽을 이용하지 않는 FRUC 시스템에서 적응 움직임 추정 판정 프로세스에 관한 플로우 다이어그램이다.

도 10 은 움직임 벡터 외삽을 이용하는 FRUC 시스템에서 적응 움직임 추정 판정 프로세스에 관한 플로우 다이어그램이다.

도 11 은 FRUC 시스템에서 움직임 추정 프로세스 이후에 수행되는 모드 판정 프로세스에 관한 플로우 다이어그램이다.

도 12 는 무선 시스템의 액세스 터미널 및 액세스 포인트에 관한 블록 다이어그램이다.

동일한 숫자는 도면의 여러 측면에서 동일한 부분을 나타낸다.

발명의 상세한 설명

여기에서 설명되는 방법 및 장치는 프레임 레이트 업 변환 (FRUC) 에 적용되는 다양한 알고리즘을 구현하는 플렉서블한 시스템을 제공한다. 예를 들어, 일 실시형태에서, 그 시스템은 FRUC 프로세스에서 다중의 기준 프레임을 제공한다. 다른 실시형태에서, 그 시스템은 FRUC 프로세스에서 내용 적응 모드 판정을 제공한다. 여기에서 설명되는 FRUC 시스템은 하나 이상의 내삽된 프레임을 구성하기 위해 송신된 움직임 벡터 정보를 이용하는 움직임 보상 내삽 (MCI) FRUC 시스템의 패밀리로 클래스될 수 있다.

도 1 은 일 실시형태에 따라서 구성된 바와 같이, FRUC 시스템에서 수반되는동작을 구현하기 위한 FRUC 시스템의 블록 다이어그램이다. 도 1 에서 도시되 는 구성요소는 하나 이상의 소프트웨어 알고리즘을 이용하여 구현될 수도 있는 FRUC 시스템의 특정 모듈에 대응한다. 알고리즘의 동작은 당업자로 하여금 하드웨어 및 소프트웨어 접근의 조합을 이용하여 그것들을 구현하도록 하는 충분히 상세하게 하이-레벨로 설명된다. 예를 들어, 여기에서 설명되는 구성요소들은, 범용 프로세스에서 수행되는 소프트웨어; 주문형 반도체 (ASIC ; Applicaton Specific Integrated Circuit) 의 "하드와이어" 회로 또는 이들의 임의의 조합으로서 구현될 수도 있다. 여기에서 설명되는 모듈의 구현에 대한 다양한 다른 접근은 사용될 수도 있고 막대한 분야의 이미지 및 비디오 프로세싱에서 수행하는 당업자의 영역 내에 있어야 한다.

또한, 여기에서 설명되는 발명의 사상은 국제 전기 통신 연합 전기통신 표준화 섹터 (ITUT-T) 에서 공표하는 H26x-표준 또는 동화상 전문가 그룹, 국제 표준화 기구 (ISO) / 국제 전기 표준 회의 (IEC), 합동 기술 위원회 1 (JTC 1 ; Joint Technical Commitee 1) 의 작업 그룹이 공표하는 MPECx-표준에 따르는 디코더/인코더 시스템에서 이용될 수도 있다. ITUT-T 비디오 코딩 표준은 권고 (recommendation) 라 불려지고, H.26x (H.261, H.262, H.263 및 H.264) 로 나타내어진다. ISO/IEC 표준은 MPEG-x (MPEG-1, MPEG-2 및 MPEG-4) 로 나타내어진다. 예를 들어, 다중의 기준 프레임 또는 가변 블록 크기는 H264 표준을 위해 요구되는 특수한 특징이다. 다른 실시형태에서, 디코더/인코더 시스템은 사유일 수도 있다.

일 실시형태에서, 시스템 (100) 은 다른 복잡성 요구에 기초하여 구성될 수 도 있다. 예를 들어, 고 복잡성 구성은 다중의 기준 프레임, 가변 블록 크기, 움직임 가속 모델을 가진 이전의 기준 프레임 움직임 벡터 외삽, 및 움직임 추정 지원 더블 움직임 필드 평활화를 포함할 수도 있다. 대조적으로, 저 복잡성 구성은 단일의 기준 프레임, 고정된 블록 크기, 및 움직임 벡터 필드 평활화를 가진 MCI 만을 포함할 수도 있다. 다른 구성은 또한 상이한 어플리케이션 목표를 위해 유효하다.

시스템 (100) 은 다중의 이전의 프레임 내용 맵 저장 유닛 (102), 다중의 이전의 프레임 외삽 움직임 필드 저장 유닛 (104), 단일의 이전의 프레임 내용 맵 저장 유닛 (106) 및 단일의 이전의 프레임 외삽 움직임 필드 저장 유닛 (108) 을 포함하여, 비디오 스트림 과정에서 이용되는 비디오 프레임에 대한 정보를 포함하는 복수의 데이터 저장 유닛을 이용하는 입력을 수신한다. 움직임 벡터 할당 시스템 (100) 은 또한 현재 프레임 움직임 필드 저장 유닛 (110) 및 현재 프레임 내용 맵 저장 유닛 (112) 을 포함한다. 다중의 기준 프레임 컨트롤러 모듈 (116) 은 적절한 저장 유닛을, 입력이 움직임 벡터 평활화 모듈 (120) 안으로 가도록 제어하는 움직임 벡터 외삽 컨트롤러 모듈 (118) 인 다음 단계의 입력에 결합시킬 것이다. 따라서, 시스템 (100) 에서의 입력 움직임 벡터는 현재의 디코딩된 프레임으로부터 생성될 수도 있고, 현재 프레임 및 이전 디코딩된 프레임 모두로부터 생성될 수도 있다. 시스템 (100) 에서의 다른 입력은 관심있는 영역, 텍스처 정보의 변화, 및 휘도 배경값의 변화를 포함할 수도 있으나, 그것에만 제한되지는 않는, 디코딩된 프레임 데이터로부터의 측-파대 정보이다. 그 정보는 움직임 벡 터 클래스 및 적응 평활화 알고리즘에 대한 안내를 제공할 수도 있다.

도면은 내용 맵 및 움직임 필드를 저장하기 위한 2 개의 다른 세트의 저장 유닛의 사용을 도시하고, 일 세트는 다중의 기준 프레임이 이용될 곳 (즉, 다중의 이전 프레임 내용 맵 저장 유닛 (102) 및 다중의 이전 프레임 외삽 움직임 필드 저장 유닛 (104)) 이고 다른 세트는 단일의 기준 프레임이 이용될 곳 (즉, 단일의 이전 프레임 내용 맵 저장 유닛 (106) 및 단일의 이전 프레임 외삽 움직임 필드 저장 유닛 (108)) 이라고 할지라도, 다른 구성도 가능하다는 것은 주목되어야 한다. 예를 들어, 2 개의 다른 내용 맵 저장 유닛의 기능은, 내용 맵을 저장하기 위한 일 저장 유닛이 다중의 이전의 프레임에 대한 내용 맵 또는 단일의 이전의 프레임에 대한 단일 내용 맵 중의 하나를 저장하는 데 이용될 수도 있도록 결합될 수도 있다. 또한, 저장 유닛은 또한 현재의 프레임에 대한 데이터를 저장할 수도 있다.

수신된 비디오 스트림 메타 데이터 (즉, 송신된 움직임 벡터) 및 디코딩된 데이터 (즉, 재구성된 프레임 픽셀 값) 에 기초하여, 프레임에서의 내용은 다음 클래스 타입으로 분류될 수 있다.

1. 정적 배경 (SB ; static background)

2. 이동 대상 (MO ; moving object)

3. 출현 대상 (AO ; appearing object)

4. 소멸 대상 (DO ; disappearing object) 및

5. 에지 (EDGE)

따라서, 현재의 움직임 벡터가 가리키는 프레임의 영역의 클래스 타입은 분석되고 내삽될 프레임 프로세싱에 영향을 미칠 것이다. EDGE 클래스의 내용 클래스로의 도입은 여기에서 설명된 바와 같이, 추가 클래스의 내용 클래스를 더하고 FRUC 프로세스에 개선을 제공한다.

도 4 는 MCI 를 위한 이동 대상 (MO ; 408), 출현 대상 (AO ; 404), 소멸 대상 (DO ; 410), 정적 배경 (SB ; 402), 및 에지 (406) 클래스를 포함하는, 상이한 클래스의 픽셀의 도시를 제공하고, 일련의 화살표 (412) 는 픽셀의 움직임 궤적을 3 가지 도시된 프레임, F(t-1), F(t) 및 F(t+1) 으로 나타낸다. 더 상세하게, MCI 의 상황에서, 각각의 비디오 프레임 내부의 각각의 픽셀 또는 영역은 상기-리스팅된 5 가지 클래스 중의 하나로 분류될 수 있고, 연관된 움직임 벡터는 클래스 타입 정보의 변화 (만약 있다면) 의 비교에 기초한 특정 방식으로 프로세싱될 수도 있다. 예를 들어, 만일 움직임 벡터가 이전의 기준 프레임에서 정적 배경으로 분류되었으나 현재의 프레임에서 이동 대상으로 클래스를 바꾼 영역으로 가리켜진다면, 그 움직임 벡터는 영외 움직임 벡터로 표시될 수도 있다. 추가로, 상기-언급된 5 가지 내용 클래스는 SB, AO 및 DO 클래스 사이의 차이가 작을 때, 3 가지 덜-제한된 클래스로 그룹핑될 수 있다.

1. SB (402), AO (404), DO (410);

2. MO (408); 및

3. EDGE (406).

일 실시형태에서, 2 가지 다른 접근은 각각 다른 계산 복잡도에 기초하고 있 는, DO (410), SB (402), AO (404) 및 MO (408) 내용의 분류를 수행하는 데 이용된다. 저-복잡도 접근에서, 예를 들어, 다음과 같은 식이 내용 클래스를 위해 이용될 수도 있는데,

Qc=abs(Fc[yn][xn]-Fp[yn][xn]);

Qp=abs(Fp[yn][xn]-Fpp[yn][xn]);

Qc=(Qc>임계값); 및

Qp=(Qp>임계값);

여기에서,

yn 및 xn 은 픽셀의 y 및 x 좌표 위치이고;

Fc 는 현재 프레임의 픽셀값이고;

Fp 는 이전 프레임의 픽셀값이고;

Fpp 는 이전-이전 프레임 픽셀값이고;

Qc 는 현재- 및 이전 프레임에서 배치된 픽셀 ([yn][xn] 에 위치) 사이의 픽셀 차이 절대값이고;

Qp 는 이전- 및 이전-이전 프레임에서 배치된 픽셀 ([yn][xn] 에 위치) 사이의 픽셀 차이 절대값이고;

또한,

만일 (Qc && Qp) 이면 그 대상을 이동 대상으로 분류하고;

그밖에 만일 (!Qc && !Qp) 이면 그 대상을 정적 배경으로 분류하고;

그밖에 만일 (Qc && !Qp) 이면 그 대상을 소멸 대상으로 분류하고;

그밖에 만일 (!Qc && Qp) 이면 그 대상을 출현 대상으로 분류한다.

고-복잡도 접근에서, 예를 들어, 클래스는, 내용 클래스가 세그먼트된 대상의 움직임을 추적함으로써 수행되는, 대상 세그먼트 및 형태적인 동작에 기초한다.

따라서,

1. 움직임 필드에서 대상 세그먼트를 수행하고,

2. 세그먼트된 대상의 움직임 (예, 형태적인 동작) 을 추적하며,

3. 그 대상을 각각 SB, AO, DO, 및 MO 로 표시한다.

설명된 바와 같이, EDGE (406) 클래스는 FRUC 시스템 (100) 에 더해진다. 에지는 경계를 특징짓고 그러므로 이미지 프로세싱, 특히 이동 대상의 에지에서 기본적으로 중요하다. 이미지의 에지는 고강도 대비 (예, 일 픽셀에서 다음 픽셀로 강도의 큰 변화) 를 가진 영역이다. 에지 검출은 픽처에서 대상 식별의 이익을 제공한다. 에지 검출을 수행하기 위한 다수의 방법이 있다. 그러나, 대다수의 상이한 방법은 2 개의 카테고리, 그레디언트 및 라플라시안으로 그룹핑될 수도 있다. 그레디언트 방법은 이미지의 1 계 미분에서 최대 및 최소값을 찾음으로써 에지를 검출한다. 라플라시안 방법은 에지를 찾기 위해 이미지의 2 계 미분에서 0-교차를 검색한다. 1 차원인, 그레디언트 또는 라플라시안 방법 테크닉은 소벨 (Sobel) 방법에 의한 2 차원에 적용된다.

Gx =

-1	0	1
-2	0	2
-1	0	1

Gy =

1	2	1
0	0	0
-1	-2	-1

L =

-1	-1	-1	-1	-1
-1	-1	-1	-1	-1
-1	-1	24	-1	-1
-1	-1	-1	-1	-1
-1	-1	-1	-1	-1

가변 블록 크기가 이용되는, 일 실시형태에서, 시스템은 움직임 벡터를 가장 작은 블록 크기로 오버샘플링을 수행한다. 예를 들어, H.264 에서, 움직임 벡터에 대한 가장 작은 블록 크기는 4X4 이다. 따라서, 오버샘플링 함수는 프레임의 모든 움직임 벡터를 4X4 로 오버샘플링한다. 오버샘플링 함수 후에, 고정 크기 병합이 소정의 블록크기로 오버샘플링된 움직임 벡터에 적용할 수 있다. 예를 들어, 16 개의 4X4 움직임 벡터는 한 개의 16X16 움직임 벡터로 병합될 수 있다. 병합 함수는 평균 함수 또는 중간값 함수일 수 있다.

기준 프레임 움직임 벡터 외삽 모듈 (116) 은 기준 프레임의 움직임 필드에 외삽을 제공하고 따라서, 내삽될 프레임에 대해 MCI 를 수행하기 위해 여분의 세트의 움직임 필드 정보를 제공한다. 더 상세하게, 기준 프레임의 움직임 벡터 필드의 외삽은 다른 움직임 모델 (예, 선형 움직임 및 움직임 가속 모델) 에 기초한 다양한 방법으로 수행될 수도 있다. 외삽 움직임 필드는 현재 프레임을 프로세싱하기 위한 여분의 세트의 정보를 제공한다. 일 실시형태에서, 이 여분의 정 보는 다음과 같은 응용,

1. 범용 비디오 프로세싱 및 더 상세하게 FRUC 를 위한 움직임 벡터 할당;

2. 범용 비디오 프로세싱 및 더 상세하게 FRUC 를 위한 적응 양방향 움직임 추정;

3. 범용 비디오 프로세싱을 위한 모드 판정; 및

4. 범용 비디오 프로세싱을 위한 움직임 기반 대상 세그먼트를 위해 이용될 수 있다.

따라서, 기준 프레임 움직임 벡터 외삽 모듈 (116) 은 기준 프레임의 움직임 필드를 외삽하여 인코딩될 프레임의 MCI 를 위한 여분의 세트의 움직임 필드 정보를 제공한다. 일 실시형태에서, FRUC 시스템 (100) 은 이하 더 설명될 것처럼, 움직임 추정 (ME)-지원 및 비-ME-지원 MCI 변화 모두를 지원한다.

FRUC 시스템 (100) 의 외삽 모듈 (116) 의 동작은 먼저 단일의 프레임, 선형 움직임, 모델을 참조하여 설명될 것이고, 이후 단일의 프레임의 3 가지 변화, 움직임 가속, 모델을 참조하여 설명될 것이다. 다중의 기준 프레임을 가지고 또한 선형 움직임 또는 움직임 가속 변화 중 하나를 가진 모델에서 외삽 모듈 (116) 의 동작이 다음과 같다.

단일의 기준 프레임, 선형 움직임, 모델에서, 이동 대상은 일정한 속도로, 선형으로 움직인다. 예는 도 5 에서, F(t+1) 은 현재 프레임, F(t) 는 내삽될 프레임 (F-frame), F(t-1) 은 기준 프레임, 및 F(t-2) 는 F(t-1) 에 대한 기준 프레임으로 도시된다. 일 실시형태에서, 외삽 모듈 (116) 은,

1. 기준 프레임의 움직임 벡터를 반전하고, 또한

2. F-frame 에 대한 시간 인덱스에 기초하여 움직임 벡터를 적절히 스케일링함으로써 움직임 벡터를 추출한다.

도 6 은 단일의 기준 프레임, 비선형 움직임, 모델 움직임 벡터 외삽을 도시하고, F(t+1) 은 현재 프레임, F(t) 는 내삽될 프레임 (F-frame), F(t-1) 은 기준 프레임 및 F(t-2) 는 F(t-1) 에 대한 기준 프레임이다. 비선형 움직임 모델에서, 가속은 일정하거나 또는 변할 수도 있다. 일 실시형태에서, 외삽 모듈 (116) 은 이러한 모델의 변화에 기초하여 다르게 동작할 것이다. 가속이 일정할 때, 예를 들어, 외삽 모듈 (116) 은,

1. 기준 프레임 F(t-1) 의 움직임 벡터 (MV_2) 를 반전하고,

2. 현재 프레임 F(t+1) 의 움직임 벡터 (MV_1) 와 반전된 MV_2 사이의 차이, 즉 움직임 가속을 계산하고,

3. 단계 1 에서 반전된 MV_2 및 단계 2 에서 획득한 움직임 가속 모두를 적절히 스케일링하고; 또한

4. 스케일링된 움직임 벡터와 스케일링된 가속을 외삽된 움직임 벡터를 얻기 위해 합할 것이다.

가속이 변화할 때, 제 1 접근에서 외삽 모듈 (116) 은,

1. 다중의 이전 기준 프레임의 움직임 벡터를 역추적하고,

2. 예를 들어, 다항식/2차 수학 함수를 풀거나, 또는 최소 자승을 이용하는 통계적 데이터 모델링에 의해 움직임 궤적을 계산하고; 또한

3. 계산된 움직임 궤적을 조사하기 위해 외삽된 MV 를 계산할 것이다.

외삽된 모듈 (116) 은 단일의 프레임, 가변 가속, 모델에서,

1. 상기 설명된 바와 같이, F(t-1), F(t-2) 및 F(t-3) 의 움직임 필드로부터 가속 -조정 순방향 MV_2 를 계산하기 위해 일정 가속 모델을 이용하고,

2. 반전된 MV_2 를 얻기 위해 가속-수정 순방향 MV_2 를 반전하고; 또한

3. 단일의 기준 프레임, 비선형 움직임, 모델에서 설명된 바와 같이 단계 3 및 4 를 수행하는 제 2 접근을 또한 이용할 수 있다.

도 7 은 다중의 기준 프레임, 선형 움직임, 모델을 위한 외삽 모듈 (116) 의 동장을 도시하고, 디코딩된 프레임의 순방향 움직임 벡터는 바로 직전 기준 프레임을 가리키지 않을 수도 있다. 그러나, 움직임은 여전히 일정 속도이다. 도면에서, F(t+1) 은 현재 프레임, F(t) 는 내삽될 프레임 (F-frame), F(t-1) 은 기준 프레임 및 F(t-2) 는 F(t-1) 에 대한 바로 직전 기준 프레임이고, F(t-2n) 은 프레임 F(t-1) 에 대한 기준 프레임이다. 이 모델에서, 외삽 모듈 (116) 은,

1. 기준 프레임의 움직임 벡터를 반전하고, 또한

2. F-frame 에 대한 시간 인덱스에 기초하여 적절히 그것을 스케일링할 것이다. 일 실시형태에서, 스케일링은 선형이다.

도 8 은 다중의 기준 프레임, 비선형 움직임, 모델을 도시하고, 외삽 모듈 (116) 은 움직임 벡터 외삽을 수행할 것이고, F(t+1) 은 현재 프레임, F(t) 는 내삽될 프레임 (F-frame), F(t-1) 은 기준 프레임 및 F(t-2) 는 F(t-1) 에 대한 바로 직전의 기준 프레임이고, F(t-2n) 은 F(t-1) 에 대한 기준 프레임이다. 이 모 델에서, 비선형 속도 움직임은 일정 또는 가변 가속에 따를 수도 있다. 대상이 일정 가속에 따르는 비선형 움직임 모델의 변화에서, 외삽 모듈은,

1. 기준 프레임 F(t-2n) 의 움직임 벡터를 반전하고 (반전된 MV_2 로 도시),

2. 현재 프레임 F(t+1) 의 움직임 벡터 MV_1 과 반전된 MV_2 사이의 차이 즉, 움직임 가속을 계산하고,

3. 반전된 MV_2 및 단계 2 에서 획득한 움직임 가속 모두를 적절히 스케일링하고, 또한

4. 외삽된 MV 를 얻기 위해 스케일링된 반전된 MV_2 및 스케일링된 가속을 합하여 움직임 벡터를 외삽할 것이다.

가속된 움직임이 일정이 아니라 가변인 때에, 외삽 모듈은,

1. 다중의 이전 기준 프레임의 움직임 벡터를 역추적하고,

2. 다항식/2차 수학 함수를 풀거나 또는 통계 데이터 모델링 (예, 최소 평균 자승 계산 이용) 에 의해 움직임 궤적을 계산하고, 또한

3. 계산된 움직임 궤적을 오버랩핑하기 위해 외삽된 MV 를 계산하는 일 실시형태에서 추정된 움직임 벡터를 결정할 것이다.

다른 실시형태에서, 외삽 모듈 (116) 은,

1. F(t-1), F(t-2) 및 F(t-3) 의 움직임 필드로부터 가속-조정 순방향 MV_2 를 계산하기 위해 상기 설명한 바와 같이 일정 가속 모델을 이용하고,

2. 반전된 MV_2 를 얻기 위해 가속-수정 순방향 MV_2 를 반전하고, 또한

3. 다중의 기준 프레임, 선형 움직임 모델에서 설명된 바와 같이 단계 3 및 단계 4 를 반복하여 가변 가속 모델에 대한 외삽 움직임 벡터를 결정한다.

움직임 벡터가 추출될 때, 움직임 벡터 평활화 모듈 (118) 로 보내진다. 움직임 벡터 평활화 모듈 (118) 의 기능은 임의의 영외 움직임 벡터를 제거하고 이러한 영외의 것의 영향 때문인 아티팩트의 수를 줄이는 것이다. 움직임 벡터 평활화 모듈 (118) 동작의 일 구현은, 발명의 명칭이 "블록 기반 저 비트-레이트 비디오에 대한 움직임 보상 프레임 레이트 업 변환을 위한 방법 및 장치" 인 공동 계류 중인 특허출원 번호 11/122,678 호에서 더 상세하게 설명되어 있다.

움직임 평활화 모듈 (118) 이 그 기능을 수행한 후에, FRUC 시스템 (100) 의 프로세싱은 판정 블록 (120) 에 의해 판정되는 바와 같이, 움직임 추정이 이용될 것인지 아닌지에 따라서 변할 수 있다. 만일 움직임 추정이 이용될 것이라면, 프로세스는 F-frame 을 비오버랩핑된 매크로블록으로 분할하는, F-frame 분할 모듈 (122) 로 계속할 것이다. 분할 모듈 (122) 의 일 가능한 구현은, 발명의 명칭이 "블록 기반 저 비트-레이트 비디오에 대한 움직임 보상 프레임 레이트 업 변환을 위한 방법 및 장치" 인 공동 계류 중인 특허출원 번호 11/122,678 호에서 볼 수 있다. 분할 모듈 (122) 의 분할 기능은 여기에서 더 설명될 듯이, 내삽이 블록-기반 또는 픽셀-기반일 것인지를 판정하는 블록-기반 판정 모듈 (136) 에서 하향스트림에 또한 이용된다.

F-frame 이 매크로블록으로 분할된 후에, 움직임 벡터 할당 모듈 (124) 은 각각의 매크로블록에 움직임 벡터를 할당할 것이다. 도 1 에서 도시되는 바와 같이 다른 모듈 후에 또한 이용되는, 움직임 벡터 할당 모듈 (124) 의 일 가능한 구현은, 발명의 명칭이 "블록 기반 저 비트-레이트 비디오에 대한 움직임 보상 프레임 레이트 업 변환을 위한 방법 및 장치" 인 공동 계류 중인 특허출원 번호 11/122,678 호에서 설명된다.

일단 움직임 벡터 할당이 매크로블록에 대해 행해지면, 적응 양방향 움직임 추정 (Bi-ME) 모듈 (126) 은 움직임 추정-지원 FRUC 를 수행하는 부분으로서 이용될 것이다. 이하 더 설명될 듯이, Bi-ME 모듈 (126) 에 의해 수행되는 FRUC 에 대한 적응 양방향 움직임 추정은,

1. 시드 움직임 벡터가 움직임 필드에 대한 올바른 기술일 때, 양방향 움직임 추정 엔진으로부터의 순방향 움직임 벡터 및 역방향 움직임 벡터는 서로 유사해야 하고, 또한

2. 시드 움직임 벡터가 움직임 필드에 대한 잘못된 기술일 때, 순방향 움직임 벡터 및 역방향 움직임 벡터는 서로 상당히 다를 것인, 검증/검사 기능을 제공한다.

따라서, 양방향 움직임 보상 동작은 불연속적인 블록을 흐리게 하는 동작을 하여 시각적으로 좋은 그림을 제공할 것이다.

Bi-ME 모듈 (126) 에 의해 수행될 때 움직임 추정에서 컬러 정보의 중요성은 FRUC 동작에서 크로마 채널에 의한 역할이 "기존" MPEG 인코딩 동작에서의 크로마 채널 역할과 다르기 때문에 주목되어야 한다. 더 상세하게, 크로마 정보는 FRUC 동작의 "잔류 정제 없음" 측면 때문에 FRUC 동작에서 더 중요하다. FRUC 동작에 대해, 재구성 프로세스가 MV 가 F-MB 에서 재구성된 픽셀로서 가리킨 기준 프레임에서 픽셀을 이용하기 때문에 잔류 정보가 없고, 노말 움직임 보상 디코딩에 대해, 비트스트림은 움직임 벡터가 그다지 정확하지 않은 경우라도, 움직임 벡터 정보 및 크로마 채널에 대한 잔류 정보 모두를 운반하며, 비트스트림에서 운반되는 잔류 정보는 어느 정도 재구성된 값을 보상할 것이다. 따라서, 움직임 벡터의 수정은 FRUC 동작을 위해 더 중요하다. 따라서, 일 실시형태에서, 크로마 정보는,

총 왜곡 (Total Distortion) = W_1 * D_Y + W_2 * D_U +W_3 +D_V

을 판정함으로써 최적-정합된 시드 움직임 벡터를 판정하는 프로세스에 포함되고, 여기서, D_Y 는 Y (휘도) 체널에 대한 왜곡 매트릭이고, D_U (크로마 채널, U 축) 및 D_V (크로마 채널, V 축) 는 각각 U 및 V 크로마 채널에 대한 왜곡 매트릭이며, 또한, W_1, W_2 및 W_3 는 각각 Y, U 및 V 채널에 대한 보정 팩터이다. 예를 들어, w_1 = 4/6, w_2 = w_3 = 1/6 이다.

모든 매크로블록이 풀 양방향 움직임 추정을 필요로 하지는 않는다. 일 실시형태에서, 단방향 움직임 추정같은 다른 움직임 추정 프로세스는 양방향 움직임 추정에 대해 다른 실시형태로 이용될 수도 있다. 일반적으로, 단방향 움직임 추정 또는 양방향 움직임 추정이 주어진 매크로블록에 대해 충분한지에 대한 판정은 매크로블록의 내용 클래스 같은 팩터, 및/또는 그 매크로블록을 통과하는 움직임 벡터의 수에 기초할 수도 있다.

도 9 는 움직임 벡터 외삽없이 바람직한 적응 움직임 추정 판정 프로세스를 도시하는 데, 즉, 외삽된 움직임 벡터는 존재하지 않고,

1. 내용 맵이 존재하지 않고 (906) 매크로블록이 오버랩핑 또는 홀 매크로블록이 아니라면 (938), 어떠한 움직임 추정도 수행되지 않는다 (924). 선택적으로, 움직임 추정을 수행하지 않는 대신에, 양방향 움직임 추정 프로세스는 작은 검색 범위를 이용하여 수행된다. 예를 들어, 중심점 주위에 8X8 검색이다. 오버랩핑 또는 홀 매크로블록 중의 하나가 존재한다면 (938), 양방향 움직임 추정이 수행된다 (940);

2. 그러나, 내용 맵이 존재하고 (906), 매크로블록이 오버랩핑 또는 홀 매크로블록이 아니고 (908), 시드 움직임 벡터가 동일한 내용 클래스에서 시작 및 끝난다면 (924), 어떠한 움직임 추정도 수행되지 않는다. 선택적으로, 움직임 추정을 수행하지 않는 대신에, 양방향 움직임 추정 프로세스는 작은 검색 범위를 이용하여 수행된다 (926). 시드 움직임 벡터가 동일한 내용 클래스에서 시작 및 끝나지 않고 (924), (1) 시드 움직임 벡터 시작이 소멸 대상 (DO) 으로 분류되거나, 또는 (2) 시드 움직임 벡터 끝이 출현 대상 (AO) 으로 분류되는 것으로 블록이 검출된다면, 어떠한 움직임 추정도 수행되지 않을 것이다 (930). 대신에, 각각의 배치된 DO 또는 AO 움직임 벡터는 복사될 것이다 (930). 매크로블록이 오버랩핑 또는 홀 매크로블록이고 (908) 시드 움직임 벡터가 동일한 내용 클래스에서 시작 및 끝난다면 (910), 동일한 결과 (930) 가 발생할 것이다;

3. 시드 움직임 벡터가 DO 내용으로 시작하거나 또는 AO 내용 블록으로 끝나지 않고 (928), 이동 대상 (MO) 내용를 가지는 것으로 분류되는 블록으로 시작 및 끝난다면, 단방향 움직임 추정이 MO 를 정합시키는 움직임 벡터를 생성하기 위해 이용된다 (934). 그렇지 않다면, 어떠한 움직임 추정이 수행되지 않거나 또는 선택적으로, 평균 흐림 동작이 수행된다 (936); 또한

4. 시드 움직임 벡터가 동일한 내용 클래스에서 시작 및 끝난다면 (910), 양방향 움직임 추정 프로세스가 움직임 벡터를 생성하기 위해 이용된다 (912).

그러나, 외삽된 움직임 벡터가 이용가능할 때, 적응 움직임 추정 판정 프로세스는 외삽된 움직임 벡터가 있지 않은 프로세스와 다르고, 즉, 외삽된 움직임 벡터가 존재할 때 (902),

1. 각각의 매크로블록은 2 개의 시드 움직임 벡터, 순방향 움직임 벡터 (F_MV) 및 역방향 움직임 벡터 (B_MV) 를 가진다;

2. 순방향 움직임 추정은 순방향 움직임 벡터에 의해 시드된다; 또한

3. 역방향 움직임 추정은 역방향 움직임 벡터에 의해 시드된다.

도 10 은 움직임 벡터 외삽을 가진 바람직한 적응 움직임 추정 판정 프로세스를 도시하는데,

1. 일 실시형태에서, 내용 맵이 존재하고 (1004) 순방향 움직임 벡터가 역방향 움직임 벡터와 일치하고 (1006), 시드 움직임 벡터가 동일한 내용 클래스에서 시작 및 끝난다면 어떠한 움직임 추정도 수행되지 않을 것이다 (1010). 더 상세하게, 크기 및 방향, 및 또한 순방향 움직임 벡터의 시작 및 끝점의 내용 클래스가 역방향 움직임 벡터와 일치한다면, 어떠한 움직임 추정도 수행되지 않을 것이다 (1010). 선택적으로, 움직임 추정을 수행하지 않는 대신에, 양방향 움직임 추정은 작은 검색 범위를 이용하여 수행될 수도 있다 (1010).

2. 시드 움직임 벡터가 동일한 내용 클래스에서 시작 및 끝나지 않는다면 (1008), 잘못된 시드 움직임 벡터가 할당되었다고 결정되고 순방향 움직임 벡터 및 역방향 움직임 벡터는 재할당된다 (1012). 일 실시형태에서, 재할당된 움직임 벡터가 동일한 내용 클래스에 있고 (1014), 시드 움직임 벡터가 동일한 내용 클래스에서 시작 및 끝난다면 어떠한 움직임 추정도 수행되지 않을 것이다 (1016). 선택적으로, 움직임 추정을 수행하지 않는 대신에, 양방향 움직임 추정은 작은 검색 범위를 이용하여 수행될 수도 있다 (1016). 재할당된 움직임 백터가 동일한 내용 클래스에서 시작 및 끝나지 않는다면, 공간 내삽이 이용된다 (1018);

3. 순방향 움직임 벡터가 역방향 움직임 벡터와 일치하지 않고 (1006) 양 움직임 벡터의 시작 및 끝점이 동일한 내용 클래스에 속한다면 (1022), 양방향 움직임 추정 프로세스가 수행된다 (1022). 그렇지 않다면, 움직임 벡터들이 일치하고 시작 및 끝점이 동일한 내용 클래스에 속한다면, 양방향 움직임 추정은 시드 움직임 벡터로서 동일한 내용 클래스에 시작 및 끝점을 갖는 움직임 벡터를 이용하여 수행될 것이다 (1026).

4. 움직임 벡터 중 어느 것도 시작 및 끝점이 동일한 내용 클래스에 속하지 않는다면 (1024), 순방향 움직임 벡터 및 역방향 움직임 벡터는 그것들이 잘못된 시드 움직임 벡터일 때 (1028), 재할당되어야 한다. 재할당된 움직임 벡터가 동일한 클래스에 있다면 (1030), 양방향 움직임 추정은 동일한 내용 클래스 움직임 벡터를 이용하여 수행된다 (1032). 그렇지 않다면, 재할당된 움직임 벡터의 시작 및 끝점이 동일한 내용 클래스에 있지 않다면 (1030), 공간 내삽이 수행된다 (1034); 또한

5. 내용 맵이 이용가능하지 않고 (1004), 순방향 움직임 벡터 및 역방향 움직임 벡터가 서로 일치한다면 (1038), 어떠한 움직임 추정도 수행되지 않는다. 선택적으로, 움직임 추정을 수행하지 않는 대신에, 작은 검색 범위를 갖는 양방향 추정이 수행될 수도 있다 (1038). 그렇지 않다면, 순방향 및 역방향 움직임 벡터가 일치하지 않는다면 (1036), 양방향 움직임 추정은 더 작은 절대치 차분의 합 (SAD) 의 방향을 따르는 단방향 움직임 보상 내삽을 적용하여 수행될 것이다.

적응 양방향 움직임 추정 프로세스가 Bi-ME 모듈 (126) 에 의해 수행된 후에, 각각의 매크로블록은 2 개의 움직임 벡터, 순방향 움직임 벡터 및 역방향 움직임 벡터를 가질 것이다. 이들 2 개의 움직임 벡터가 주어지면, 일 실시형태에서, FRUC 시스템 (100) 이 F-frame 을 구성하기 위해 MCI 를 수행할 수 있는 3 개의 가능한 모드가 있다. 모드 판정 모듈 (130) 은, FRUC 시스템 (100) 이,

1. 양 움직임 벡터를 이용하여 양방향 움직임 보상 내삽 (Bi-MCI) 을 수행하고;

2. 오직 순방향 움직임 벡터만을 이용하여 단방향 움직임 보상을 수행하고;

3. 오직 역방향 움직임 벡터만을 이용하여 단방향 움직임 보상을 수행하는지를 결정할 것이다.

모드 판정을 수행하는 것은 어느 움직임 벡터 (들) 가 진정 움직임 궤적을 나타내는 지를 지적으로 결정하고, 상기 3 개의 후보로부터 움직임 보상 모드를 선택하는 프로세스이다. 예를 들어, 비디오 스트림이 토크쇼 또는 다른 휴먼 페 이스 리치 비디오 시퀀스를 포함할 때, 스킨-톤 컬러 세그먼트는 모드 판정 프로세스에서 이용될 수도 있는 유용한 테크닉이다. 컬러는 빠른 검출를 위한 단일 정보를 제공한다. 더 상세하게, 목표 대상으로서 같은 컬러를 가진 영역에만 노력을 집중함으로써, 검색 시간은 현저히 감소될 수도 있다. 알고리즘은 스킨-톤 픽셀을 검색함으로써 컬러 이미지 안에 휴먼 페이스를 위치시키기 위해 존재한다. 형태 및 중간 필터는 스킨-톤 픽셀을 스킨-톤 블랍으로 그룹핑하고 흩어진 배경 소음을 감소하는 데 이용된다. 통상적으로, 스킨 톤은 크로미넌스 평면에서 매우 작은 영역 상에 분배된다. 휴먼 스킨-톤은 크로마 도메인에서, 정규화 후에, 0.3<Cb<0.5 및 0.5<Cr<0.7 이고, Cb 및 Cr 은 각각 크로마 채널의 파랑 및 빨강 성분이다.

도 11 은 FRUC 시스템 (100) 에 대해 모드 판정 모듈 (130) 에 의해 이용되는 모드 판정 프로세스 (1100) 를 도시하고, 상기 설명한 움직임 추정 프로세스로부터의 순방향 움직임 벡터 (순방향 MV) 및 역방향 움직임 벡터 (역방향 MV), 시드 벡터 (시드 MV(s) ; 1106), 및 포텐셜 입력으로서 내용 맵 (1108) 이 주어진다:

1. 순방향 및 역방향 움직임 벡터가 서로 일치하고, 그들의 시작 및 끝점이 동일한 클래스 (1112) 에 있다면, Bi-MCI 는 수행될 것이다 (1114). 추가로, 순방향 움직임 벡터가 역방향 움직임 벡터와 일치하나 다른 내용 클래스에 끝점을 갖는다면 (1116), Bi-MCI 는 수행될 것이다 (1114). 후자의 경우에, 다른 내용 클래스 때문에 잘못된 결과가 나올 수 있더라도, 가능한 잘못된 결과는 움직임 벡터 평활화 프로세스 후에 수정되어야 한다;

2. 순방향 및 역방향 움직임 벡터가 서로 일치하지 않으나 (1116) 각각의 움직임 벡터가 각각의 시드 움직임 벡터와 일치하고 (1122), 양 시드 움직임 벡터가, 동일한 클래스로부터의 움직임 벡터는 시작 및 끝점이 하나의 클래스에 속하는 것을 의미하는, 동일한 클래스 (1124) 로부터 나온 것이라고 판정되면, 공간 내삽이 수행될 것이다 (1132). 그렇지 않다면, 양 움직임 벡터가 다른 내용 클래스로부터 나온 것이라면 (1124), 움직임 벡터 중의 하나는 동일한 클래스로부터 나온 것이다 (1126). 동일한 클래스가 시드 움직임 벡터의 시작 및 끝점이 동일한 내용 클래스에 있다는 것을 나타낼 때, 단방향 MCI 는 그 움직임 벡터 (1128) 를 이용하여 수행될 것이다. 움직임 벡터 중 어느 것도 동일한 클래스 (1126) 로부터 나온 것이 아니라면, 공간 내삽은 수행될 것이다 (1130).

3. 움직임 벡터가 시드 움직임 벡터와 일치하지 않으나 (1122) 움직임 벡터 중의 하나가 시드 움직임 벡터와 일치하고 (1134), 움직임 벡터가 시드 움직임 벡터로서 동일한 클래스로부터 나온 것이라면 (1136), 단방향 MCI 는 수행될 것이다. 그렇지 않다면, 움직임 벡터 중 어느 것도 시드 움직임 벡터와 일치하지 않거나 (1134) 또는 시드 움직임 벡터와 일치하는 하나의 움직임 벡터가 시드 움직임 벡터로서 동일한 클래스로부터 나온 것이 아니라면 (1136), 공간 내삽은 수행될 것이다 (1140, 1142).

4. 내용 맵이 없으나 (1110) 순방향 움직임 벡터가 역방향 움직임 벡터와 일치할 때 (1144), Bi-MCI 동작은 또한 수행된다 (1160). 그렇지 않다면, 순방향 및 역방향 움직임 벡터가 일치하지 않거나 (1144) 배치된 매크로블록이 프레임내 라면 (1146), 움직임 벡터를 가진 배치된 위치에 있는 프레임내 매크로블록이 복사된다 (1148). 움직임 벡터가 신뢰가능하지 않고 배치된 매크로블록이 매크로블록내 (새로운 대상 암시) 라면, 현재 매크로블록이 이 경우에 새로운 대상의 일부라고 보는 것이 매우 합리적이고, 배치된 매크로블록의 복사는 고유 단계이다. 그렇지 않다면, 배치된 매크로블록이 프레임내가 아니고 (1146) 양 움직임 벡터가 시드 움직임 벡터와 일치한다면 (1150), 공간 내삽은 시드 움직임 벡터가 수정될 때 (1152) 수행될 것이다.

5. 움직임 벡터가 시드 움직임 벡터와 일치하지 않으나 (1150) 움직임 벡터 중의 하나가 시드 움직임 벡터와 일치한다면 (1154), 단방향 MCI 는 수행된다 (1156). 그렇지 않다면, 움직임 벡터 중의 어느 것도 시드 움직임 벡터와 일치하지 않다면, 공간 내삽은 시드 움직임 벡터가 잘못되었을 때 (1158) 수행될 것이다.

Bi-MCI 및 매크로블록 재구성 모듈 (132) 은 발명의 명칭이 "블록 기반 저 비트-레이트 비디오에 대한 움직임 보상 프레임 레이트 업 변환을 위한 방법 및 장치" 인 공동 계류 중인 특허출원 번호 11/122,678 호에서 설명되어 있다.

매크로블록이 F-frame 을 구성하기 위해 재결합된 후에, 디블록커 (134) 는 재결합 중에 생성된 아티팩트를 줄이는데 이용된다. 더 상세하게, 디블록커 (134) 는 매크로블록 사이에 경계를 따라서 위치한 뾰족하고 뭉툭한 아티팩트를 평활화한다.

도 12 는 여기에서 설명된 FRUC 접근이 구현될 수도 있는 무선 시스템에서 액세스 터미널 1202x 및 액세스 포인트 1204x 에 대한 블록 다이어그램이다. 여기에서 설명된 바와 같이, "액세스 터미널" 은 유저에게 음성 및/또는 데이터 연결을 제공하는 디바이스를 나타낸다. 액세스 터미널은 랩탑 컴퓨터 또는 데스크탑 컴퓨터 같은 컴퓨팅 디바이스에 연결될 수도 있고, 또는 개인 휴대정보 단말기 같은 독립 디바이스일 수도 있다. 액세스 터미널은 또한 가입자 유닛, 이동 국, 모바일, 원격 국, 원격 단말, 유저 단말, 유저 에이전트, 또는 유저 장비로서 나타내 질 수 있다. 액세스 터미널은 가입자 국, 무선 디바이스, 셀룰러 텔레폰, PCS 텔레폰, 고정 텔레폰, 세션 개시 프로토콜 (SIP ; Session Initiation Protocol) 폰, 무선 가입자 회선 (WLL ; Wireless Local Loop) 국, 개인 휴대정보 단말기 (PDA), 무선 연결 성능을 갖는 핸드핼드 디바이스 또는 무선 모뎀에 연결되어 있는 다른 프로세싱 디바이스일 수도 있다. 여기에서 설명된 바와 같이, "액세스 포인트" 은 하나 이상의 섹터를 통하여, 무선 인터페이스 상에서 액세스 터미널과 통신하는 접근 네트워크에서의 디바이스를 나타낸다. 액세스 포인트은 수신된 무선-인터페이스 프레임을 IP 패킷으로 변환함으로써 액세스 터미널과 나머지 접근 네트워크 사이에서 라우터로서 동작하고, IP 네트워크를 포함할 수도 있다. 액세스 포인트은 또한 무선 인터페이스에 대한 속성 관리를 조정한다.

역방향 링크에 대해, 액세스 터미널 1202x 에서, 송신 (TX) 데이터 프로세서 (1214) 는 데이터 버퍼 (1212) 로부터 트래픽 데이터를 수신하고, 선택된 코딩 및 변조 구조에 기초하여 각각의 데이터 패킷을 프로세스하며 (예, 인코딩, 인터리빙, 및 심볼 맵) 데이터 심볼을 제공한다. 데이터 심볼은 데이터에 대한 변조 심볼 이고, 파일럿 심볼은 파일럿 (선험 (priori) 이라 알려짐) 에 대한 변조 심볼이다. 변조기 (1216) 는 데이터 심볼, 파일럿 심볼 및 어떻게든지 역방향 링크에 대한 시그널링을 수신하고, 변조 및/또는 시스템에 의해 상세하게 되는 다른 프로세싱을 수행하고 (예, OFDM), 출력 칩의 스트림을 제공한다. 송신기 유닛 (TMTR ; 1218) 은 출력 칩 스트림을 프로세스 (예, 아날로그 변환, 필터, 증폭기, 및 주파수 상향-변환) 하고 안테나 (1220) 로부터 송신되는, 변조된 시그널을 생성한다.

액세스 포인트 1204x 에서, 액세스 터미널 및 액세스 포인트 1204x 와 통신하고 있는 다른 단말에 의해 송신된 변조된 시그널은 안테나 (1252) 에 의해 수신된다. 수신기 유닛 (RCVR ; 1254) 은 안테나 (1252) 로부터 수신된 시그널을 프로세스하고 (예, 컨디셔닝 및 디지털화) 수신된 샘플을 제공한다. 복조기 (Demod ; 1256) 는 수신된 샘플을 프로세스하고 (예, 복조화 및 검출) 단말에 의해 액세스 포인트 1204x 에 송신된 데이터 심볼의 잡음 추정인, 검출된 데이터 심볼을 제공한다. 수신 (RX) 데이터 프로세서 (1258) 는 각각의 단말을 위해 검출된 데이터 심볼을 프로세스하고 (예, 심볼 디맵핑, 디인터리빙, 및 디코딩) 그 단말을 위해 디코딩된 데이터를 제공한다.

액세스 포인트 1204x 에서, 순방향 링크를 위해, 트래픽 데이터는 데이터 심볼을 생성하기 위해 TX 데이터 프로세서 (1260) 에 의해 프로세싱된다. 변조기 (1262) 는 데이트 심볼, 파일럿 심볼, 및 순방향 링크를 위한 시그널링을 수신하고, 변조 및/또는 다른 적절한 프로세싱을 수행하고 (예, OFDM), 또한 송신기 유닛 (1264) 에 의해 컨디셔닝되고 안테나 (1252) 로부터 송신되는, 출력 칩 스트림을 제공한다. 순방향 링크 시그널링은 역방향 링크에서 액세스 포인트 1240x 에 송신하는 모든 터미널을 위해 컨트롤러 (1270) 에 의해 생성되는 전력 제어 명령을 포함할 수도 있다. 액세스 터미널 1202x 에서, 액세스 포인트 1204x 에 의해 송신된 변조된 시그널은 안테나 (1220) 에 의해 수신되고, 수신기 유닛 (1222) 에 의해 컨디셔닝 및 디지털화되고, 또한 검출된 데이터 심볼을 획득하기 위해 복조기 (1224) 에 의해 프로세싱된다. RX 데이터 프로세서 (1226) 는 검출된 데이터 심볼을 프로세싱하고 단말에 대한 디코딩된 데이터 및 순방향 링크 시그널링을 제공한다. 컨트롤러 (1230) 는 전력 제어 명령을 수신하고, 데이터 송신을 제어하고, 역방향 링크에서 전력을 액세스 포인트 1204x 에 송신한다. 컨트롤러 (1230) 및 (1270) 는 액세스 터미널 1202x 및 액세스 포인트 1204x 의 동작을 각각 지시한다. 메모리 유닛 (1232) 및 (1272) 은 프로그램 코드 및 컨트롤러 (1230) 및 (1270) 에 의해 이용되는 데이터를 각각 저장한다.

개시된 실시형태는 다음과 같은 기술의 임의의 하나 또는 조합에 적용될 수도 있다: 코드 분할 다중의 접속 (CDMA) 시스템, 다중의 케리어 CDMA (MC-CDMA), 광대역 CDMA (W-CDMA), 고속 하향 패킷 접속 (HSDPA), 시간 분할 다중의 접속 (TDMA) 시스템, 주파수 분할 다중의 접속 (FDMA) 시스템, 및 직교 주파수 분할 다중의 접속 (OFDMA) 시스템.

여기에서 설명된 방법은 당업자에게 알려진 다양한 통신 하드웨어, 프로세서 및 시스템에서 구현될 수도 있다는 것은 주목되어야 한다. 예를 들어, 클라이언트가 여기에서 설명된 바와 같이 동작하기 위한 일반적인 요구사항은 클라이언트 가, 내용 및 정보를 디스플레잉하기 위한 디스플레이, 클라이언트의 동작을 제어하기 위한 프로세서 및 클라이언트의 동작과 관계된 데이터 및 프로그램을 저장하기 위한 메모리를 갖는 것이다. 일 실시형태에서, 클라이언트는 셀룰러 폰이다. 다른 실시형태에서, 클라이언트는 통신 성능을 갖는 핸드핼드 컴퓨터이다. 다른 실시형태에서, 클라이언트는 통신 성능을 갖는 개인 컴퓨터이다. 추가로, GPS 수신기 같은 하드웨어는 다양한 실시형태를 구현하기 위하여 클라이언트에 요구사항으로서 포함될 수도 있다. 여기에서 개시된 실시형태와 연관하여 설명된 다양한 도해적 로직, 논리 블록, 모듈, 및 회로는, 범용 프로세서, 디지털 신호 처리 (DSP), 주문형 반도체 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 또는 다른 프로그램가능한 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 부품, 및 설명된 기능을 수행하도록 디자인된 임의의 조합으로 구현되거나 또느 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수 있으나, 다른 실시형태에서, 그 프로세서는 임의의 관용 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 스테이트 머신일 수도 있다. 프로세서는 또한 계산 디바이스의 조합, 예를 들어, DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 접합해 있는 하나 이상의 마이크로프로세서, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.

여기에서 개시된 실시형태와 연관하여 설명된 다양한 도해적 로직, 논리 블록, 모듈, 및 회로는, 범용 프로세서, 디지털 신호 처리 (DSP), 주문형 반도체 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA), 또는 다른 프로그램가능한 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 부품, 및 설명된 기능을 수행하도록 설계된 임의의 조합으로 구현되거나 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수 있으나, 다른 실시형태에서, 그 프로세서는 임의의 관용 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 스테이트 머신일 수도 있다. 프로세서는 또한 계산 디바이스의 조합, 예를 들어, DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 접합해 있는 하나 이상의 마이크로프로세서, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.

여기에서 개시된 실시형태와 연관하여 설명된 방법 및 알고리즘의 단계는 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 상기 2 개의 조합으로 직접 수행될 수도 있다. 소프트웨어 모듈은 램 메모리, 플래쉬 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 널리 공지된 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 대표적인 저장 매체는 프로세서에 결합되어, 그 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있도록 한다. 다른 실시형태에서, 저장 매체는 프로세서에 필수불가분일 수도 있다. 프로세서 및 저장 매체는 ASIC 에 상주할 수도 있다. ASIC 는 유저 단말에 상주할 수도 있다. 다른 실시형태에서, 프로세서 및 저장 매체는 유저 단말에서 이산 부품으로서 상주할 수도 있다.

상기 설명된 실시형태는 대표적인 실시형태이다. 당업자는 이제 여기에서 개시된 발명 사상을 벗어나지 않고 상기 설명된 실시형태에 대한 수다수의 이 용, 및 이탈을 하게 된다. 이러한 실시형태에 대한 다양한 변형은 당업자에게 용이할 수도 있고 여기에서 정의된 포괄 원칙은, 여기에서 설명된 신규한 양태의 사상 및 범위를 벗어나지 않고 다른 실시형태, 예를 들어, 수행간 메시징 서비스 및 임의의 일반적인 무선 데이터 통신 어플리케이션에 적용될 수도 있다. 따라서, 실시형태의 범위는 여기에서 나타난 실시형태에만 한정되도록 의도되지 않았고 여기에서 개시된 원칙과 신규 특성과 일치하는 최대 범위와 조화되도록 의도되었다. 용어 "대표적인" 는 여기에서 "예 또는 도해설명을 나타내는" 의미로서 배타적으로 이용된다. 여기에서 "대표적인" 으로 설명된 임의의 실시형태는 다른 실시형태 이상으로 선호되거나 이익이 있는 것으로 반드시 해석되지는 않는다. 따라서, 여기에서 설명된 실시형태의 신규한 양태는 다음과 같은 청구의 범위에 의해서만 정의된다.

Claims

현재의 비디오 프레임 및 복수의 이전의 비디오 프레임을 이용하여 내삽된 비디오 프레임을 생성하는 방법으로서,

상기 복수의 이전의 비디오 프레임에서 하나 이상의 이전의 비디오 프레임으로부터 일련의 외삽된 움직임 벡터를 생성하는 단계; 및

상기 일련의 외삽된 움직임 벡터를 이용하여 상기 내삽된 비디오 프레임의 하나의 영역에 대한 움직임 벡터를 생성하는 단계를 포함하는, 내삽 비디오 프레임 생성 방법.
제 1 항에 있어서,

상기 일련의 외삽된 움직임 벡터를 이용하여 상기 내삽된 비디오 프레임의 하나의 영역에 대한 움직임 벡터를 생성하는 상기 단계는 적응 움직임 추정을 수행하는 단계를 더 포함하는, 내삽 비디오 프레임 생성 방법.
제 1 항에 있어서,

상기 일련의 외삽된 움직임 벡터를 이용하여 상기 내삽된 비디오 프레임의 하나의 영역에 대한 움직임 벡터를 생성하는 상기 단계는, 상기 일련의 외삽된 움직임 벡터 및 각각의 외삽된 움직임 벡터의 내용 타입을 이용하여 상기 내삽된 비디오 프레임의 하나의 영역에 대한 상기 움직임 벡터를 생성하는 단계를 더 포함하 는, 내삽 비디오 프레임 생성 방법.
제 1 항에 있어서,

움직임 보상 내삽 모드에 대해 판정하는 단계를 더 포함하는, 내삽 비디오 프레임 생성 방법.
제 4 항에 있어서,

상기 움직임 보상 내삽 모드 판정에 기초하여 일련의 움직임 보상 움직임 벡터를 생성하는 단계를 더 포함하는, 내삽 비디오 프레임 생성 방법.
제 1 항에 있어서,

상기 일련의 외삽된 움직임 벡터를 평활화하는 단계를 더 포함하는, 내삽 비디오 프레임 생성 방법.
제 1 항에 있어서,

상기 일련의 움직임 보상 움직임 벡터에 기초하여 상기 내삽된 프레임을 생성하는 단계를 더 포함하는, 내삽 비디오 프레임 생성 방법.
제 1 항에 있어서,

상기 하나 이상의 이전의 프레임은 복수의 이동 대상을 포함하고, 각각의 이 동 대상은 각각의 순방향 움직임 벡터와 관련되며, 상기 일련의 외삽된 움직임 벡터를 생성하는 단계는, 각각의 이동 대상에 대해,

반전된 움직임 벡터를 생성하는 단계; 및

상기 반전된 움직임 벡터를 스케일링하는 단계를 포함하는, 내삽 비디오 프레임 생성 방법.
제 8 항에 있어서,

상기 반전된 움직임 벡터를 생성하는 단계는 상기 각각의 순방향 벡터를 반전시키는 단계를 포함하는, 내삽 비디오 프레임 생성 방법.
제 8 항에 있어서,

상기 반전된 움직임 벡터를 생성하는 단계는,

상기 이동 대상과 관련된 상기 복수의 비디오 프레임에서 일련의 움직임 벡터를 역추적하는 단계;

상기 일련의 움직임 벡터에 기초하여 움직임 궤적을 결정하는 단계; 및

상기 결정된 움직임 궤적을 조사하기 위해 상기 반전된 움직임 벡터의 궤적을 계산하는 단계를 포함하는, 내삽 비디오 프레임 생성 방법.
제 8 항에 있어서,

상기 반전된 움직임 벡터는 상기 하나 이상의 이전의 비디오 프레임의 시간 인덱스에 기초하여 스케일링되는, 내삽 비디오 프레임 생성 방법.
제 8 항에 있어서,

상기 반전된 움직임 벡터를 스케일링하는 단계는,

현재의 비디오 프레임 순방향 움직임 벡터와 상기 반전된 움직임 벡터 사이의 차이를 계산함으로써 움직임 가속량을 결정하는 단계;

상기 반전된 움직임 벡터 및 상기 움직임 가속량 모두를 스케일링하는 단계; 및

상기 반전된 움직임 벡터와 상기 움직임 가속량을 결합하는 단계를 포함하는, 내삽 비디오 프레임 생성 방법.
제 4 항에 있어서,

상기 움직임 보상 내삽 모드에 대해 판정하는 단계는,

대상의 진정 움직임 궤적을 나타내는 하나 이상의 움직임 벡터를 결정하는 단계; 및

움직임 보상 내삽을 수행하는 단계를 포함하는, 내삽 비디오 프레임 생성 방법.
제 13 항에 있어서,

상기 하나 이상의 움직임 벡터는 순방향 움직임 벡터 및 역방향 움직임 벡터 를 포함하고,

상기 움직임 보상 내삽을 수행하는 단계는 상기 순방향 움직임 벡터 및 상기 역방향 움직임 벡터 모두를 사용하여 양방향 움직임 보상 내삽을 수행하는 단계를 포함하는, 내삽 비디오 프레임 생성 방법.
제 13 항에 있어서,

상기 움직임 보상 내삽을 수행하는 단계는 단방향 움직임 보상 내삽을 수행하는 단계를 포함하는, 내삽 비디오 프레임 생성 방법.
제 15 항에 있어서,

상기 하나 이상의 움직임 벡터는 순방향 움직임 벡터를 포함하고,

상기 단방향 움직임 보상 내삽은 상기 순방향 움직임 벡터를 이용하여 수행되는, 내삽 비디오 프레임 생성 방법.
제 15 항에 있어서,

상기 하나 이상의 움직임 벡터는 역방향 움직임 벡터를 포함하고,

상기 단방향 움직임 보상 내삽은 상기 역방향 움직임 벡터를 이용하여 수행되는, 내삽 비디오 프레임 생성 방법.
프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 현재의 비디오 프레 임 및 복수의 이전의 비디오 프레임을 이용하여 내삽 비디오 프레임을 생성하는 방법을 수행하도록 하는 명령을 저장하는 컴퓨터 판독가능 매체로서,

상기 방법은,

상기 복수의 이전의 비디오 프레임에서 하나 이상의 기준 비디오 프레임으로부터 일련의 외삽된 움직임 벡터를 생성하는 단계;

상기 외삽된 움직임 벡터 및 각각의 외삽된 움직임 벡터의 내용 타입을 이용하여 적응 움직임 추정을 수행하는 단계;

움직임 보상 내삽 모드에 대해 판정하는 단계; 및

상기 움직임 보상 내삽 모드 판정에 기초하여 일련의 움직임 보상 움직임 벡터를 생성하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
제 18 항에 있어서,

상기 방법은 상기 일련의 외삽된 움직임 벡터를 평활화하는 단계를 더 포함하는, 컴퓨터 판독 가능 매체.
제 18 항에 있어서,

상기 방법은 상기 일련의 움직임 보상 움직임 벡터에 기초하여 상기 내삽 프레임을 생성하는 단계를 더 포함하는, 컴퓨터 판독 가능 매체.
제 18 항에 있어서,

상기 하나 이상의 기준 비디오 프레임은 복수의 이동 대상을 포함하고, 각각의 이동 대상은 각각의 순방향 움직임 벡터와 관련되며,

상기 일련의 외삽된 움직임 벡터를 생성하는 단계는, 각각의 이동 대상에 대해,

반전된 움직임 벡터를 생성하는 단계; 및

상기 반전된 움직임 벡터를 스케일링하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
제 21 항에 있어서,

상기 반전된 움직임 벡터를 생성하는 단계는 상기 각각의 순방향 벡터를 반전하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
제 21 항에 있어서,

상기 반전된 움직임 벡터를 생성하는 단계는,

상기 이동 대상에 관련된 상기 복수의 비디오 프레임에서 일련의 움직임 벡터를 역추적하는 단계;

상기 일련의 움직임 벡터에 기초하여 움직임 궤적을 결정하는 단계; 및

상기 결정된 움직임 궤적을 조사하기 위해 상기 반전된 움직임 벡터의 궤적을 계산하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
제 21 항에 있어서,

상기 반전된 움직임 벡터는 상기 하나 이상의 기준 프레임의 시간 인덱스에 기초하여 스케일링되는, 컴퓨터 판독 가능 매체.
제 21 항에 있어서,

상기 반전된 움직임 벡터를 스케일링하는 단계는,

현재의 비디오 프레임 순방향 벡터와 상기 반전된 움직임 벡터 사이의 차이를 계산함으로써 움직임 가속량을 결정하는 단계;

상기 반전된 움직임 벡터 및 상기 움직임 가속량 모두를 스케일링하는 단계; 및

상기 반전된 움직임 벡터와 상기 움직임 가속량을 결합하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
제 18 항에 있어서,

상기 움직임 보상 내삽 모드 판정을 수행하는 단계는,

대상의 진정 움직임 궤적을 나타내는 하나 이상의 움직임 벡터를 결정하는 단계; 및

움직임 보상 내삽을 수행하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
제 26 항에 있어서,

상기 하나 이상의 움직임 벡터는 순방향 움직임 벡터 및 역방향 움직임 벡터를 포함하고,

상기 움직임 보상 내삽을 수행하는 단계는 상기 순방향 움직임 벡터 및 상기 역방향 움직임 벡터 모두를 이용하여 양방향 움직임 보상 내삽을 수행하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
제 26 항에 있어서,

상기 움직임 보상 내삽을 수행하는 단계는 단방향 움직임 보상 내삽을 수행하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
제 26 항에 있어서,

상기 하나 이상의 움직임 벡터는 순방향 움직임 벡터를 포함하고,

상기 단방향 움직임 보상 내삽은 상기 순방향 움직임 벡터을 이용하여 수행되는, 컴퓨터 판독 가능 매체.
제 26 항에 있어서,

상기 하나 이상의 움직임 벡터는 역방향 움직임 벡터를 포함하고,

상기 단방향 움직임 보상 내삽은 상기 역방향 움직임 벡터를 이용하여 수행되는, 컴퓨터 판독 가능 매체.
현재의 비디오 프레임 및 복수의 이전의 비디오 프레임을 이용하여 내삽된 비디오 프레임을 생성하는 비디오 프레임 프로세서로서,

복수의 이전의 비디오 프레임에서 하나 이상의 기준 비디오 프레임으로부터 일련의 외삽된 움직임 벡터를 생성하는 수단;

상기 외삽된 움직임 벡터 및 각각의 외삽된 움직임 벡터의 내용 타입을 이용하여 적응 움직임 추정을 수행하는 수단;

움직임 보상 내삽 모드에 대해 판정하는 수단; 및

상기 움직임 보상 내삽 모드 판정에 기초하여 일련의 움직임 보상 움직임 벡터를 생성하는 수단을 포함하는, 비디오 프레임 프로세서.
제 31 항에 있어서,

상기 일련의 외삽된 움직임 벡터를 평활화하는 수단을 더 포함하는, 비디오 프레임 프로세서.
제 31 항에 있어서,

상기 일련의 움직임 보상 움직임 벡터에 기초하여 상기 내삽된 프레임을 생성하는 수단을 더 포함하는, 비디오 프레임 프로세서.
제 31 항에 있어서,

상기 하나 이상의 기준 비디오 프레임은 복수의 이동 대상을 포함하고, 각각 의 이동 대상은 각각의 순방향 움직임 벡터와 관련되며,

상기 일련의 외삽된 움직임 벡터를 생성하는 상기 수단은, 각각의 이동 대상에 대해,

반전된 움직임 벡터를 생성하는 수단; 및

상기 반전된 움직임 벡터를 스케일링하는 수단을 포함하는, 비디오 프레임 프로세서.
제 34 항에 있어서,

상기 반전된 움직임 벡터를 생성하는 상기 수단은 상기 각각의 순방향 벡터를 반전하는 수단을 포함하는, 비디오 프레임 프로세서.
제 34 항에 있어서,

상기 반전된 움직임 벡터를 생성하는 상기 수단은,

상기 이동 대상과 관련된 상기 복수의 비디오 프레임에서 일련의 움직임 벡터를 역추적하는 수단;

상기 일련의 움직임 벡터에 기초하여 움직임 궤적을 결정하는 수단; 및

상기 결정된 움직임 궤적을 조사하기 위해 상기 반전된 움직임의 궤적을 계산하는 수단을 포함하는, 비디오 프레임 프로세서.
제 34 항에 있어서,

상기 반전된 움직임 벡터는 상기 하나 이상의 기준 프레임의 시간 인덱스에 기초하여 스케일링되는, 비디오 프레임 프로세서.
제 34 항에 있어서,

상기 반전된 움직임 벡터를 스케일링하는 상기 수단은,

현재의 비디오 프레임 순방향 움직임 벡터와 상기 반전된 움직임 벡터 사이의 차이를 계산함으로써 움직임 가속량을 결정하는 수단;

상기 반전된 움직임 벡터 및 상기 움직임 가속량 모두를 스케일링하는 수단;

상기 반전된 움직임 벡터와 상기 움직임 가속량을 결합하는 수단을 포함하는, 비디오 프레임 프로세서.
제 31 항에 있어서,

움직임 보상 내삽 모드 판정을 수행하는 상기 수단은,

대상의 진정 움직임 궤적을 나타내는 하나 이상의 움직임 벡터를 결정하는 수단; 및

움직임 보상 내삽을 수행하는 수단을 포함하는, 비디오 프레임 프로세서.
제 39 항에 있어서,

상기 하나 이상의 움직임 벡터는 순방향 움직임 벡터 및 역방향 움직임 벡터를 포함하고,

상기 움직임 보상 내삽을 수행하는 상기 수단은 상기 순방향 움직임 벡터 및 상기 역방향 움직임 벡터 모두를 이용하여 양방향 움직임 보상 내삽을 수행하는 수단을 포함하는, 비디오 프레임 프로세서.
제 39 항에 있어서,

상기 움직임 보상 내삽을 수행하는 상기 수단은 단방향 움직임 보상 내삽을 수행하는 수단을 포함하는, 비디오 프레임 프로세서.
제 39 항에 있어서,

상기 하나 이상의 움직임 벡터는 순방향 움직임 벡터를 포함하고,

상기 단방향 움직임 보상 내삽은 상기 순방향 움직임 벡터를 이용하여 수행되는, 비디오 프레임 프로세서.
제 39 항에 있어서,

상기 하나 이상의 움직임 벡터는 역방향 움직임 벡터를 포함하고,

상기 단방향 움직임 보상 내삽은 상기 역방향 움직임 벡터를 이용하여 수행되는, 비디오 프레임 프로세서.