KR100422389B1

KR100422389B1 - 비디오 프레임 속도를 증가시키기 위한 방법 및 장치

Info

Publication number: KR100422389B1
Application number: KR10-2000-7012444A
Authority: KR
Inventors: 샤마라비케이.; 하즈라라집; 카사이알레네
Original assignee: 인텔 코오퍼레이션
Priority date: 1998-05-07
Filing date: 1999-03-12
Publication date: 2004-03-11
Also published as: JP2002514866A; HK1031968A1; GB2353912A; US6192079B1; KR20010043410A; AU3083699A; TW448693B; GB0026721D0; GB2353912B; WO1999057906A1

Abstract

디코더에서 디코딩된 프레임 사이를 보간함으로써 비디오 인코더에 의해 드롭된 비디오 프레임의 합성이 실현된다. 본 발명의 방법은 계산 처리의 복잡성을 증가시키는 연속된 개선 단계로 이루어진다. 시공 중앙 필터링 방법에서 시작하여, 각각의 단계는 비트 스트림 동작 정보(10), 디코더 기반 동작 추정 및 영역들의 동작-기반 상태 세그먼테이션과 같이 보간된 프레임의 품질을 향상시키는 정보를 이용한다. 더욱 많은 계산 처리 자원을 이용함으로써, 각각의 단계는 보간된 프레임(22)의 향상된 품질을 초래한다. 동작 보상 기술은 블록-변환 기반 비디오 인코더에 의해 사용된 종류의 블록-기반 동작 추정에 근거하여 이루어진다. 순방향 및 역방향 블록 동작 추정을 이용함으로써 더욱 정확한 동작 추정이 달성된다. 이 방법은 세그먼테이션 정보에 근거한 전역/지역 동작 추정을 포함시키고, 변형으로부터 초래되는 동작을 보상하기 위해 이미지 워핑 기술을 사용함으로써 더욱 확장된다.

Description

비디오 프레임 속도를 증가시키기 위한 방법 및 장치{METHOD AND APPARATUS FOR INCREASING VIDEO FRAME RATE}

디지털 비디오 인코딩 및 전송 시스템(예, 비디오 원격전자회의 시스템)에 의해 사용되는 비디오 비트 속도 제어 메커니즘은 낮은 비트 속도로 비디오 데이터를 인코딩할 때 포착된 프레임을 드롭시키는 일이 종종 일어난다. 이러한 프레임 스킵(skipping)은 비디오 프레임 속도를 예를 들어, 초당 25-30 프레임(fps)과 같이 평활한 동작(smooth motion)을 인지하는데 요구되는 프레임 속도 아래로 떨어뜨릴 수 있다. 결과적으로, 낮은 비트 속도 비디오는 사용자에게 저키(jerky)처럼 보일 수 있다. 이러한 저키는 가변 프레임 속도(VFR) 제어 알고리즘에 의해 전달되는 비디오 프레임에서의 고유의 가변성(inherent variability)에 의해 더욱 분명해질 수 있다. 낮은 비트 속도로 전송되는 비디오에서 평활한 동작을 렌더링(rendering)하는 한가지 접근방법은 연속되는 인코딩된 비디오 프레임 사이의 보간에 의해 디코더에서 드롭된 프레임을 재구성하거나 합성하는 것이다. 프레임 보간의 목적은 인코딩된 비트의 수를 증가시키지 않고 인코딩된 시퀀스에 비해 더 높은 속도로, 가능하면 원래의(즉, 포착) 프레임 속도로 디코딩된 비디오를 디스플레이하는 것이다. 비디오 프레임 속도가 수용가능한 것으로 여겨지는 다른 애플리케이션에서는, 공간적인 품질(spatial quality)을 향상시키기 위해 이용가능하게 만들어진 비트를 이용하여 저속 타겟 프레임 속도로 인코딩함으로써 디코더에서 프레임 보간을 이용하는 것도 가능하다. 그러므로, 프레임 보간은 인지되는 비디오 품질을 향상시키고 표준-기반 화상 전화 애플리케이션에서 디코딩 플랫폼을 차별화하기 위해 이용될 수 있는 강력한 사후-처리 기술이다.

ITU-T H.263+(권고안 H.263의 ITU-T 버전 2) 표준과 같은 현대의 낮은 비트 속도 비디오 압축 기술은 수용가능한 비디오 품질로 POTS(plain old telephone service) 비트 속도(20-24 Kbits/sec)에서 10-15 fps로 QCIF(quater common interchange format) 비디오와 ISDN 비트 속도(84-128 Kbits/sec)에서 약 10-15 fps로 CIF 비디오를 압축시킬 수 있다. 보다 높은 프레임 속도는 통상적으로 사용되지 않는데, 그 이유는 공간적인 품질이 낮아짐으로 인해 전반적인 비디오 품질이 저하되기 때문이다. 공간적인 품질의 저하는 전송 비트를 증가된 프레임 수에 대해 이용가능하게 만들기 위해 품질이 희생되는 경우에 발생한다. 인코딩된 비트의 수를 증가시키지 않고 POTS에 대해 20-30 fps와 ISDN에 대해 20-30 fps까지 프레임 속도를 상승시키기 위해 비디오 디코더에 의해 채택되는 다양한 프레임 보간 기술이 사용될 수 있다.

비디오 프레임 속도를 증가시키는 간단한 방법은 반복 프레임을 삽입하는 것이다. 이러한 방법에 있어서의 문제점은 동작이 여전히 데이터 보간 문제에 있어서의 제로 오더 홀드(zero order hold)와 유사한 방식으로 불연속적으로 나타난다는 것이다. 다른 간단한 방법은 2개의 이용가능한 인접 프레임 사이에서의 선형 보간에 의해 스킵된 프레임을 합성하는 것이다. 합성된 프레임은 드롭된 프레임까지 시간적으로 인접한 프레임들을 평균함으로써 얻어진다. 이러한 평균은 움직이는 영역의 불선명화(blurring)를 초래할 수 있으며, 프레임 사이의 동작이 적절히 큰 경우에 "이중 노출(double exposure)" 잡음을 초래할 수 있다. "이중 노출" 잡음의 존재로 인해, 평균하는 것은 일반적으로 프레임 보간 문제에 대한 수용불가능한 해결책으로 간주된다.

이들 간단한 기술을 개선하기 위해, 몇몇 방법은 원래의 프레임에서의 피사체(object) 동작을 포착한다. 만일 피사체 동작이 추정될 수 있다면, 프레임 보간 프로세스는 보간된 프레임을 통해 피사체의 동작 궤도를 획득하기 위해 동작 정보를 이용할 수 있다. 만일 추정된 동작이 프레임에서의 피사체의 실제 동작과 일치하면, 드롭된 프레임의 정확한 추정치를 획득하는 것이 가능해질 수 있다.

보간된 프레임의 품질과 프레임 보간 프로세스의 복잡성은 적어도 부분적으로 사용된 특정 동작 추정 기술과 피사체 동작을 정확하게 예측하기 위한 그 능력에 의존한다. 일반적으로, 동작 추정이 더욱 정확할수록, 통상적으로 추가적인 계산 자원의 비용으로 더욱 사실적인 보간이 이루어진다. 종래 기술에서 제안된 몇몇프레임 보간 기술에 있어서는, 실질적으로 이들 모든 프로세스가 생성된 동작 정보 및 다른 보조 정보에 기반한 프레임 합성이 뒤따르는 소정 형태의 동작 추정을 이용한다. 이들 프로세스 사이의 차이점은 사용된 특정 동작 추정 기술의 세부사항 및 프레임 합성에 사용된 추가 정보에 있다.

낮은 복잡성 보간 기술의 대부분은 동작 보상 코딩(motion compensated coding)에 사용된 것과 유사한 블록-기반 동작 추정 기술을 이용한다. 전술한 바와 같이, 이러한 기술은 복잡한 형태의 피사체 동작을 포착하기 위한 그 능력에 있어 고유적으로 제한이 있다. 이러한 블록-기반 동작 추정의 제한을 극복하기 위해, 광학적 흐름 필드-기반 동작을 이용하는 몇몇 기술이 제안되었다. 이러한 광학적 흐름 필드-기반 동작은 계산 비용이 많이 들고, 실시간 화상 회의 애플리케이션에는 이용도가 적은 것으로 나타났다. 아주 간단한 고정 블록 동작-기반 보간 프로세스와 계산적으로 처리가 어려운 광학적 흐름-기반 보간 프로세스 사이의 절충에 따라, 연구원들은 비디오의 3각형 모자이크 세공(triangular tessellation)에 의해 형성되는 3각형 패치(patches)의 동작 추정치를 구하는 기술을 사용해왔다. 변형(deformations)을 더욱 양호하게 포착하기 위해, 이미지 워핑-기반(image warping-based) 기술도 역시 이용되었다. 이들 기술은 한 프레임 내의 피사체를 다른 프레임의 모양으로 워핑함으로써 보간된 프레임을 추정한다.

비디오 프레임 보간 영역은 최근 몇 년간 컴퓨터 자원의 급속한 향상에 의해 도움을 받아 활발한 연구 영역으로 유지되고 있다. 따라서, 종래 기술의 결함을 극복하고 비디오 프레임 속도를 효율적으로 증가시키는 프로세스가 요구된다.

본 발명은 일반적으로 디지털 이미징 및 비디오 시스템에 관한 것으로서, 특히 비디오 디코딩 프로세스에서의 비디오 프레임 보간(interpolation)에 관한 것이다.

본 발명의 특징 및 장점은 다음의 본 발명의 상세한 설명으로부터 명백해질 것이다.

도1은 본 발명의 일실시예의 시스템 환경의 고레벨 블록도.

도2는 본 발명의 일실시예에서의 시공 중앙 필터의 사용을 예시한 도면.

도3은 본 발명의 일실시예의 비트 스트림 동작 정보를 이용한 동작 보상을 도시한 도면.

도4 및 도5는 본 발명의 일실시예의 순방향 및 역방향 동작 추정을 예시한 도면.

도6은 본 발명의 일실시예에 따라 프레임 속도를 증가시키는 방법을 도시한 도면.

도7은 본 발명의 일실시예에 따른 상태 세그먼테이션 연산에 따라 픽셀을 상태로 분류하기 위한 흐름도.

발명의 요약

본 발명에 따라 비디오 프레임 시퀀스의 비디오 프레임 속도를 증가시키는 방법의 일실시예는 다음과 같다. 이 방법은 2개 프레임의 픽셀에 시공 중앙 필터(spatio-temporal median filter)를 적용함으로써 시퀀스의 연속한 프레임 사이의 적어도 하나의 프레임을 보간하는 단계를 포함한다.

다음의 설명에서, 비디오 프레임 속도를 증가시키기 위한 방법 및 장치의 다양한 양태에 대해 설명될 것이다. 설명 목적상, 본 발명의 완전한 이해를 제공하기 위해 특수한 번호, 시스템 및 구성이 설명된다. 그러나, 이 기술분야에 통상의 지식을 가진 자에게 이러한 특수한 세부사항 없이도 본 발명이 실시될 수 있다는 것은 명백할 것이다. 다른 예로서, 본 발명을 불명확하게 만들지 않기 위해 잘 알려진 특징들은 생략되거나 또는 간략하게 이루어진다.

본 발명의 일실시예는 프레임 속도를 증가시키기 위해 미가공 비디오(즉, 압축되지 않은 비디오) 및 압축된 비디오에 모두 사용될 수 있는 비디오 프레임 보간 프로세스를 포함한다. 이 프로세스는 계산상의 복잡성 및 비디오 품질에 관해 확장가능하며, 보간된 프레임의 품질이 점증적으로 향상되는 수 개의 단계로 이루어진다. 수신기에서 이용가능한 처리 전력의 양에 따라 적절한 수의 단계가 이용될 수 있다. 이 프로세스는 시공 중앙 필터링으로부터 시작되는 다단계 프로세스로서 그 진전과 일치되는 방식으로 제공되며, 이에 대해서는 다음에 비디오 시퀀스에 내재하는 시간적인 리던던시(redundancy)와 디코딩된 비디오 시퀀스로부터 추정된 추가정보를 이용하여 상세하게 설명된다.

도1은 본 발명의 일실시예의 시스템 환경의 고레벨 블록도이다. 통신 채널(10)에 연결된 송신측 단말(8)은 비디오 비트 스트림 소스(12)를 포함한다. 비디오 비트 스트림 소스는 액티브 소스(14) 또는 오프-라인 소스(16)로부터 비디오 데이터 신호를 수신하여, 그 비디오 데이터 신호를 통신 채널(10)을 통해 송신한다. 액티브 소스(14)는 예를 들어, 개인용 컴퓨터(PC), 비디오 카메라, 애드-인(add-in) 회로 카드 또는 라이브 콘텐트(live content)의 생성 및 압축을 위한 다른 전자 장치와 같이, 비디오 데이터를 실시간으로 생성하기 위한 회로 또는 장치를 포함할 수 있다. 이 실시예에서, 액티브 소스는 통상적으로 연산의 회의 모델(conferencing model)을 채택한 시스템에 사용된다. 오프-라인 소스(16)는 근거리 통신망(LAN) 또는 인터넷과 같은 네트워크를 통해 또는 지역적으로 액세스 가능한 저장 매체 상에 저장된 파일을 나타낸다. 이 실시예에서, 오프-라인 소스는 통상적으로 연산의 스트리밍 모델을 채택한 시스템에 사용된다. 이들 액티브 소스와 오프-라인 소스는 모두 미가공 비디오 데이터를 압축 포맷으로 인코딩하기 위한 비디오 인코더(17)를 포함한다. 이 실시예에서, 통신 채널(10)은 POTS, 네트워크, 이더넷, ISDN 또는 로컬 버스(예, PCI, ISA 등) 통신 기능 중 하나이다.

통신 채널에 연결된 수신측 단말(19)에는 디코더(18)가 있다. 이 디코더는 인코딩된 비디오 데이터 신호를 수신하여, 그 신호를 미가공 또는 압축해제된 비디오 데이터 신호로 디코딩한다. 다음에, 비디오 데이터 신호는 프레임 속도 업샘플링(FRU) 기능(20)에 의해 처리된다. FRU의 출력 신호는 사용자에게 실시간 디스플레이를 위해 비디오 렌더러(renderer)(22)로 전송되거나 또는 미래의 사용을 위해 파일 기억장치(24)로 전송된다. 대안으로, 디코더(18)의 출력 신호가 프레임 속도 업샘플링 처리 없이 비디오 렌더러(22) 또는 파일 기억장치(24)로 직접 전송될 수도 있다. 몇몇 실시예에서, FRU(20)는 디코더(18)와 일체로 되어 있다.

본 발명의 실시예는 FRU(20)를 구현하기 위한 방법 및 장치를 포함한다. 보다 높은 프레임 속도를 초래하기 위한 한가지 방법은 비디오 비트 스트림으로부터 현재의 디코딩된 프레임 및 이전의 디코딩된 프레임을 이용하여 비디오 프레임을 생성하는 것이다. 본 발명의 일실시예는 (전술한 바와 같이) 시공 중앙 필터링을 이용한 프레임 보간을 포함한다. 프레임 보간의 목적은 비디오 비트 스트림으로부터 현재의 디코딩된 프레임과 이전의 디코딩된 프레임 사이의 비디오 프레임을 생성하는 것이다. 처음에는, 본 발명의 일실시예의 프레임 보간 프로세스의 전개를 위한 기초로서 이용될 시공 중앙 필터(STMF)에 대해 설명한다. 프레임 평균화와 달리, 시공 중앙 필터는 프레임 사이의 작은 동작을 포착할 수 있다. 다른 실시예에서, 시공 중앙 필터는 더욱 많은 컴퓨터 자원을 이용하기는 하지만 보간된 프레임의 품질을 향상시키기 위해 동작 정보 및 상태 세그먼테이션과 함께 사용된다.

시공 중앙 필터를 위한 서포트(support)의 영역은 현재 및 이전의 프레임의 동일한 공간적 위치에서 N x M 픽셀 영역을 포함하며, 여기서 N과 M은 양의 정수이다. 일실시예에서, N=M=3이며, 다른 실시예에서는 다른 값이 사용될 수 있으며, 이 영역은 그 모양이 정사각형으로 제한되는 것이 아니다. N=M=3인 경우에, 필터 서포트의 영역은 현재 및 이전의 프레임 각각에 9개씩 18개 픽셀의 셋트를 정의한다. 중앙 필터에 의해 생성되는 출력 신호는 이들 18개의 값의 중앙값이다. 짝수의 픽셀이 존재하기 때문에, 중앙 필터는 2개의 중앙값 중에서 높은 것을 리턴하도록 바이어스된다.

도2는 본 발명의 일실시예에서의 시공 중앙 필터의 사용을 예시한 도면이다. 보간된 프레임에서의 픽셀의 값은 이전 프레임과 현재 프레임에서 공간적으로 대응하는 픽셀 위치를 둘러싸는 3x3 영역에 걸쳐 시공 중앙 연산에 의해 얻어진 중앙값에 의해 주어진다. STMF는 필터의 서포트보다 더 작은 피사체 동작을 포착한다. 대안의 실시예에서는, 이 영역의 크기가 증가될 수 있다(예, 4x4, 5x5, 6x6,7x7, 8x8 등). 시공 중앙 필터는 휘도 평면(luma plane)의 픽셀 값에만 적용된다. 이 실시예에서, 보간된 프레임의 채도(chroma) 평면 값은 휘도 평면에 대한 중앙값을 산출하는 이전 프레임 또는 현재 프레임에서의 동일한 공간적 위치에서 채도 값을 선택함으로써 얻어진다. 이것은 보간된 휘도 값 및 그 대응하는 채도 값이 한 프레임 내에 묘사된 대응하는 물리적 피사체에 속하도록 보장한다.

STMF를 이용하여 보간된 비디오 시퀀스는 예리한 엣지 주위에서 플리커링 잡음과 비디오 프레임에서의 다른 불연속성(discontinuities)을 나타내는 경향이 있다. 이러한 플리커(flicker)는 중앙값 연산이 보간된 프레임에서는 평활화(smoothing)를 초래하고, 비디오 시퀀스의 보간되지 않은 프레임은 평활화되지 않는다는 사실에 기인한다. 2가지 형태의 프레임이 빠르게 연속하여 나타나면, 평활도 차가 자체적으로 플리커링 잡음으로서 나타난다. 이러한 플리커를 감소시키기 위해, 중앙 필터가 보간되지 않은 프레임에 적용될 수 있다. 이전 프레임 및 현재 프레임에 대해 중앙 필터링을 수행하기 위해 사용되는 영역의 크기는 보간된 프레임의 픽셀을 생성하는데 있어 STMF에 의해 사용되는 영역의 크기와 일치한다.

시공 중앙 필터는 평균화보다는 계산 비용이 더욱 많이 들지만, 소정 형태의 동작 추정 기술을 수행하는 방법보다는 계산 비용이 더 작게 든다. 작은 동작을 포착하는 것뿐만 아니라, 시공 중앙 필터도 역시 선형 필터보다 양호하게 엣지를 보존하면서, 블로킹(blocking) 및 링잉(ringing)과 같은 코딩 잡음을 감소시킨다. 이 기술은 보간될 프레임 사이의 동작이 작은 경우에 양호하게 작용한다. 동작이 필터의 서포트 크기보다 더 크면, 시공 중앙 필터는 그 동작을 포착할 수 없으며, 보간된 프레임은 잡음을 포함하게 된다. 이러한 경우에, 시공 중앙 필터를 적용하기 전에 동작을 추정하기 위해 다른 기술을 이용하는 것이 바람직하다.

시공 중앙 필터의 성능을 향상시키는 것은 동작 정보를 프레임 보간 프로세스에 포함시킴으로써 달성될 수 있다. 시공 중앙 필터는 원래의 비디오 프레임 사이의 피사체의 동작을 포착한 이후에 적용된다. 이제, 동작 보상을 위해 적절한 2가지 기술에 대해 설명하게 되는데, 본 발명은 이와 관련하여 제한되지 않는다.

첫 번째 기술은 비트 스트림 동작 정보를 이용한 동작 보상으로 불린다. 이 기술은 송신측으로부터 수신되는 비디오 비트 스트림의 일부로서 전송된 동작 벡터(motion vector)를 이용한다. H.263+ 및 MPEG와 같은 표준에 기반한 기술을 포함하여 수 개의 비디오 압축 기술이 동작 보상 코딩을 위해 인코더에서 프레임간 동작 추정을 수행한다. 가장 대중적인 동작 추정 기술은 블록-기반 동작 추정 프로세스이다. 동작 추정은 하나의 블록 또는 매크로블록마다 수행되며, 여기서 블록은 8x8 픽셀 영역을 포함하고, 매크로블록은 16x16 픽셀 영역을 포함한다. 현재 프레임 내의 각각의 블록 또는 매크로블록에 대해, 최상으로 정합하는 블록 또는 매크로블록을 이전 프레임에서 찾는다. 이들 2개의 프레임 사이의 동작 벡터가 동작의 추정치를 나타낸다. 인코더는 동작 벡터를 비디오 비트 스트림의 일부로서 전송하며, 이것은 다음에 디코더에서 비디오 프레임을 재구성하기 위해 이용된다. 이들인코딩된 동작 벡터는 또한 보간된 프레임을 생성하기 위해 이용된다.

이 실시예에서, 현재 프레임의 각각의 블록에 대해, 비트 스트림으로부터 하나의 동작 벡터(Mx, My)가 얻어진다. 이 동작 벡터는 이전의 프레임의 최상 정합 블록의 위치를 제공한다(예, 순방향 동작 벡터). 최상 정합 블록은 소정의 상관법에 따라 얻어질 수 있다. 블록의 동작 궤도가 프레임 사이에서 선형인 것으로 가정하면, 이 블록은 현재 프레임 내의 위치로부터의 벡터(dXMx, dXMy)에 의해 주어진 위치에서 보간된 프레임에 나타나야 한다. 여기서, d는 d=k/(N+1), k=1...N이고, N은 현재 및 이전의 디코딩된 프레임 사이에서 보간될 프레임의 수이다(N은 양의 정수임).

보간된 프레임의 이 위치에 있는 블록은 현재 프레임의 블록과 이전 프레임의 (Mx, My)에 있는 블록에 시공 중앙 필터를 적용함으로써 얻어진다. 시공 중앙값 연산은 블록 동작 추정에 의해 포착되지 않은 나머지 작은 동작을 보상한다. 블록의 경계에 있는 픽셀에 대해서는, 시공 중앙값 연산이 이전 및 현재 프레임 사이의 공간적으로 대응하는 픽셀의 간단한 평균에 의해 대체된다. 도3은 비트 스트림 동작 정보를 이용한 동작 보상을 예시한 도면이다.

이 실시예에서, 전술한 프로세스는 보간된 프레임을 얻기 위해 현재 프레임 내의 모든 블록에 대해 반복된다. 보간된 프레임은 통상적으로 영역 내에 동작 벡터가 통과되지 않는 홀(holes)을 포함하게 된다. 홀이 있는 보간된 프레임 내의 픽셀은 현재 및 이전 프레임 내의 대응하는 공간적 위치에 있는 픽셀을 평균함으로써 채워진다.

이 실시예에서 보간된 프레임의 품질은 비트 스트림 동작 벡터의 정확성에 의존한다. 이와 관련하여, 동작 추정은 일반적으로 동작 보상 코딩에서의 대응하는 목적과는 다른 목적을 갖고 있다. 동작 보상 코딩에 있어서는, 동작 필드가 프레임 내의 진정한 피사체 동작에 실제로 대응하는지 여부에 관계없이 프레임 차의 엔트로피(entropy)를 감소시키기 위해 동작 추정이 이용될 수 있다. 그러나, 프레임 보간에 있어서 동작 추정의 목적은 보간을 위해 실제적인 피사체 동작을 추정하는 것이다. 이들 두 목적은 일반적으로 동시에 충족되기 어렵다. 결과적으로, 이들 두 목적을 충족시키는 것이 항상 정확한 피사체 동작에 일치하는 것은 아니다. 인코더에서의 동작 추정도 역시 코딩될 정보의 양을 감소시키기 위해 제로 동작 벡터를 향해 치우쳐진다. 또한, 비트 스트림 동작 벡터는 현재 프레임으로부터 이전 프레임까지의 블록과 정합한다(순방향 동작 추정으로 알려짐). 흡장(occlusions) 및 주밍(zooming)과 같은 상황이 존재하는 경우에, 통상적으로 순방향 동작 추정 단독으로는 동작을 정확하게 추정하기가 불충분하다. 이러한 곤란성으로 인해, 비트 스트림 동작 벡터를 이용하는 것은 잘 정합되지 않는 블록과 과도한 홀로 인해 보간 잡음을 초래할 수 있다. 그러므로, 디코더에서 디코딩된 프레임에 대해 동작 추정을 수행하는 것을 포함하는 두 번째 보간 기술이 사용된다.

보간된 프레임의 품질을 향상시키기 위해서는, 인코더에 의해 제공되는 것 이상의 동작 추정의 향상이 요구될 수 있다. 비록 때때로 디코더에서의 프레임 보간의 요구에 적합하도록 인코더에서 동작 추정을 변경하는 것이 가능하지만, 이것이 항상 가능한 것은 아니다. 그러므로, 프레임 보간을 더욱 양호하게 구현하기 위해 인코딩된 비디오 프레임의 수신측에서, 예를 들어, 디코더 또는 프레임 속도 업샘플링 장치와 같은 다른 수신 장치에서 동작 추정이 수행된다. 이러한 품질 향상은 디코더에서의 처리 전력과 계산 처리의 복잡성을 희생함으로써 가능하다. 디코더에서 동작 추정을 수행하는데 있어 몇 가지 장점이 있다. 첫째로, 표준에 따른 인코더에서와 같이 동작 벡터의 길이 및 블록의 크기에 제한이 없다는 것이다. 보다 정확한 동작 추정에는 보다 작은 블록이 사용될 수 있으며, 반면에 보다 큰 동작 벡터 크기는 큰 동작의 추정을 가능하게 할 수 있다. 두 번째로, (코딩될 동작 베트 비트의 수를 감소시키기 위해 제로 동작 벡터의 이용을 선택하는 것과 같은) 코딩 바이어스를 고려할 필요가 없으며, 따라서 피사체 동작의 보다 양호한 추정을 제공한다. 빈번하게, 비디오 비트 스트림으로부터 단지 순방향 동작 벡터만이 이용가능할 수 있다. 순방향 동작 벡터를 단독으로 이용하는 것은 오정합되는 블록으로 인한 블로킹 잡음과 부정합되는 블록으로 인한 홀을 초래할 수 있다. 순방향 동작 추정의 제한을 극복하기 위해, 본 발명의 일실시예에서는 순방향 및 역방향 동작 추정이 디코더에서 수행될 수 있다.

도4 및 도5는 순방향 및 역방향 동작 추정을 예시한 도면이다. 도4에 도시된 바와 같이 순방향 동작 추정에 있어서, 현재의 디코딩된 프레임 내의 각각의 블록에는 이전의 디코딩된 프레임 내의 블록과 최상으로 정합하는 블록을 찾아냄으로써 동작 벡터가 할당된다. 이 실시예에서, 에러 측정법과 같이 픽셀값 사이의 절대 차의 합계(sum of absolute differences)(SAD)를 이용함으로써 최상으로 정합하는 블록에 대한 철저한 검색이 수행된다. 가장 작은 SAD를 가진 이전의 프레임 내의 블록이 최상 정합 블록으로서 선택된다. 도5에 도시된 바와 같은 역방향 동작 추정에 있어서는, 이전의 디코딩된 프레임 내의 각각의 블록에 현재의 디코딩된 프레임 내의 최상 정합 블록을 찾아냄으로써 동작 벡터가 할당된다. 검색 방식은 순방향 동작 추정에 사용된 것과 유사하다.

보간된 프레임의 구성은 전술한 실시예와 유사하다. 그러나, 이제는 순방향 및 역방향 동작 추정치가 모두 사용된다. 각각의 픽셀에서 2개의 추정치 중 어느 것이 최소 SAD를 산출하는가에 따라 순방향 또는 역방향 동작 벡터가 선택된다. 이러한 선택은 각각의 픽셀에서, 순방향이든지 또는 역방향이든지 간에 보간을 위해 최상의 동작 추정치가 이용되도록 보장한다. 보간은 선택된 동작 벡터를 이용하여, 전술한 실시예에서와 같이 시공 중앙 필터를 적용함으로써 수행된다.

순방향 및 역방향 동작 추정을 모두 이용하는 것은 보간된 프레임의 품질 향상을 초래한다. 이러한 품질 향상은 디코더에서의 처리 전력과 계산 처리 복잡성을 희생함으로써 가능해진다. 계산 처리 자원이 제한된 경우에는, 역방향 동작 추정 처리가 생략될 수 있지만, 그러나 이것은 주밍과 같은 경우에 보간된 프레임의 열악한 품질을 초래할 수 있다.

시공 중앙 필터는 보간된 프레임의 평활화를 초래한다. 이것은 특히 피사체 크기가 필터의 크기에 필적하는 경우에 피사체가 불선명하게 나타나도록 한다. 시공 중앙 필터의 태스크는 작은 동작을 보상하는 것이기 때문에, 어떠한 동작도 포함하지 않는 영역에는 적용될 필요가 없다. 시공 중앙 필터가 적용되어야 하는 영역을 식별하기 위해, 2-상태 세그먼테이션이 수행될 있다. 상태 세그먼테이션 방식은 픽셀-기반으로 이루어진다. 이들 영역은 어떤 특수한 관련 기하학과 관계없는 비디오 이미지의 부분들이다. 이러한 세그먼테이션은 현재 및 이전 프레임 내의 영역을 동작으로 인해 변화된 영역과 변화되지 않은 영역으로 분할한다. 변화된 영역과 변화되지 않은 영역으로의 이러한 분류는 현재 프레임과 이전 프레임 사이의 픽셀-위치 차(pixel-wise differences)에 임계치 연산을 적용함으로써 얻어진다. 다음에, 시공 중앙 필터는 프레임 사이에서 변화된 영역에 적용된다. 이것은 프레임 사이에서 움직임이 없는 영역이 불선명해지는 것을 방지한다. 보간된 비디오는 여전히 소정의 플리커를 포함할 수 있다. 이러한 플리커를 감소시키기 위해, 이제는 보간되지 않은 프레임에서 변화된 영역에 중앙 필터를 적용하기에 충분하다. 필터의 크기는 전술한 바와 같은 STMF에 사용된 것과 일치한다.

흡장, 커버되지 않은 배경 및 장면 변화에 관한 정보가 얻어질 수 있다면, 보간된 프레임의 품질이 더욱 향상될 수 있다. 이 실시예에서는 이러한 정보를 얻기 위해, 디코딩된 비디오 프레임 내의 영역이 5개의 상태, 즉 정지(stationary), 이동(moving), 커버된 배경(covered background), 커버되지 않은 배경(uncovered background) 및 변화된 장면(changed scene)으로 분할될 수 있다. 이러한 상태 세그먼테이션 방식은 3개의 디코딩된 프레임, 즉 현재의 디코딩된 프레임, 이전의 디코딩된 프레임 및 이전에 대한 이전의 프레임을 이용한다. 5-상태 세그먼테이션은 2개의 2-상태(변화된 상태, 변화되지 않은 상태) 세그먼테이션을 이용하여 얻어진다. 현재 프레임과 이전 프레임 사이에서 첫 번째 2-상태 세그먼테이션이 수행되고, 이전의 프레임과 이전에 대한 이전의 사이에서 두 번째 2-상태 세그먼테이션이수행된다.

5-상태 세그먼테이션은 다음에 보간된 프레임을 구성하기 위해 사용된다. 장면 변화의 경우에, 보간된 프레임은 이전의 디코딩된 프레임을 반복시킴으로써 형성된다. 정지 픽셀(stationary pixels)은 현재 프레임과 이전 프레임 사이를 평균함으로써 보간된다. 커버되지 않은 픽셀은 이전의 프레임으로부터 선택함으로써 보간된다. 이동 픽셀은 현재 및 이전 프레임으로부터의 공간적으로 대응하는 동작 보상 픽셀에 시공 중앙 필터링을 수행함으로써 보간된다.

보간 프로세스에 비디오 프레임의 의미론적(semantic) 세그먼테이션에 관한 지식을 포함시킴으로써, 피사체에 관해 보간된 프레임의 일관성(coherence)이 증가된다. 이것은 보간된 프레임에서 잡음을 감소시킨다. 상태 세그먼테이션은 또한 커버된 영역, 커버되지 않은 영역 및 이동 영역에 관한 지식을 동작 추정 프로세스에 포함시킴으로써 동작 추정을 향상시키기 위해 이용될 수 있다.

본 발명의 일실시예는 디코더에서 디코딩된 프레임 사이를 보간함으로써 비디오 인코더에서 드롭되었던 비디오 프레임을 합성하기 위한 프로세스를 포함하고 있다. 이 프로세스는 계산 처리의 복잡성을 증가시키는 연속된 개선 단계를 포함한다. 시공 중앙 필터링 방법에서 시작하여, 각각의 단계는 비트 스트림 동작 정보, 디코더-기반 동작 추정 및 영역의 동작-기반 상태 세그먼테이션과 같이 보간 프로세스에 도움을 주는 정보를 이용한다. 동작 보상 기술은 블록-기반 동작 추정을 기반으로 한다. 비록 블록 동작 추정이 동작의 개략적인 근사치를 제공하지만, 보다 정교한 동작 추정 기술에 비해 계산 비용이 더욱 싸다. 순방향 및 역방향 블록 동작 추정의 조합을 이용함으로써 개선된 동작 추정치가 얻어진다. 이 프로세스는 세그먼테이션 정보에 근거한 전역/지역 동작 추정을 포함시키고, 변형으로부터 초래되는 동작을 보상하기 위한 이미지 워핑 기술을 사용함으로써 더욱 확장된다.

도6은 본 발명의 일실시예에 따라 비디오 프레임 속도를 증가시키기 위한 방법을 도시한 도면이다. 디코딩된 프레임(100)은 디코더(도시 안됨)로부터 수신된다. 이 디코딩된 프레임은 프레임 속도 업샘플링 장치(102)로 입력되어, 디코딩된 프레임이 산재된 보간된 프레임을 가진 비디오 비트 스트림(104)을 생성하게 된다. 본 발명의 일실시예에서, 디코딩된 프레임은 라인(108)을 통해 직접 시공 중앙 필터(106)로 입력된다. 본 발명의 다른 실시예에서, 디코딩된 프레임은 먼저 순방향 동작 추정 프로세스(110) 및 역방향 동작 추정 프로세스(112)로 입력된다. 이들 동작 추정 프로세스의 출력 데이터 신호는 최상의 동작 벡터(113)를 선택하기 위해 분석된다. 최상의 동작 벡터는 소정의 상관 방법에 따라 선택될 수 있다. 동작 벡터는 라인(114)을 통해 시공 중앙 필터(106)로 입력된다. 본 발명의 실시예에서, 시공 중앙 필터는 보간된 프레임을 출력하며, 이것은 디코딩된 프레임(100)과 조합되어 비디오 비트 스트림(104)을 형성하게 된다. 다른 실시예에서, 디코딩된 프레임(100)은 상태 세그먼테이션 연산(118)으로 입력되며, 이것은 동작 추정 연산, 시공 중앙 필터 및 최종 보간 프레임(116)에 상태 정보를 제공한다. 또한, 상태 세그먼테이션(118)은 중앙 필터(101)에 상태 정보를 제공한다. 중앙 필터는 디코딩 및 보간된 프레임(104)을 포함하는 최종 비디오 비트 스트림에서 플리커를 감소시키기 위해 (디코딩된 프레임(100)으로부터의) 보간되지 않은 프레임에 대해 동작한다.

도7은 상태 세그먼테이션 기능(118)에 따른 상태로 픽셀을 분류하기 위한 흐름도이다. 제1 절대 프레임 차(204)를 생성하기 위해, 현재 프레임(T)(200)이 이전의 프레임(T-1)과 비교가 이루어진다. △S1으로 불리는 절대 프레임 차는 2진 임계치 연산(206)으로 입력된다. 제1 임계치 인디케이터 △Q1는 논리 조합 연산(208)으로 입력된다. 이와 유사한 방식으로, 제2 절대 프레임 차(212)를 생성하기 위해, 이전 프레임(T-1)이 이전에 대한 이전의 프레임(T-2)과 비교가 이루어진다. △S2로 불리는 이 절대 프레임 차는 2진 임계치 연산(214)으로 입력된다. 제2 임계치 인디케이터 △Q2도 역시 논리 조합 연산(208)으로 입력된다. 이 논리 조합 연산(208)의 출력은 픽셀 상태 분류 맵(216)이다.

이 픽셀 상태 분류 맵은 각 픽셀에 대한 상태 정보를 보유하고 있다. 픽셀 상태 분류 맵은 동작 추정 기능(110,112)과 시공 중앙 필터 연산(106)에 의해 이용된다. 각 픽셀에 대한 상태 또는 클래스는 다음의 표1에 따라 결정된다.

표 1

도5의 순방향 동작 추정(110) 및 역방향 동작 추정(112)의 정수 픽셀 동작 추정을 수행하기 위한 프로세스의 일실시예가 표2에 의사-코드(pseudo-code)로 도시되어 있다. 일례로 순방향 동작 추정 프로세스가 도시되어 있으며, 역방향 동작 추정을 위해서는, 프로세스에서 이전의 휘도 프레임과 현재의 휘도 프레임이 교체된다.

표 2

순방향 동작 추정 및 역방향 동작 추정에 대해 모두 동작 벡터를 알게 되면, 최상의 동작 벡터가 선택되고, 시공 중앙 필터가 적용되고, 보간된 프레임 내의 홀이 채워진다. 표3은 의사-코드로 구현된 이들 연산의 일실시예를 도시하고 있다.

표 3

비록 본 발명이 실시예를 참조하여 설명되었지만, 이러한 설명은 제한적인 의미로 해석되어서는 안된다. 이 기술분야에 통상의 지식을 가진 자는 본 발명이 속한 이들 실시예 및 본 발명의 다른 실시예가 본 발명의 사상 및 범위 내에 있다는 것을 이해할 것이다.

Claims

비디오 프레임 시퀀스의 비디오 프레임 속도를 증가시키기 위한 방법에 있어서,

제1 및 제2 프레임의 픽셀 신호 값에 시공 중앙 필터를 적용함으로써 상기 시퀀스의 제1 및 제2 프레임 사이에 적어도 하나의 프레임을 보간하는 단계

를 포함하고,

여기서, 상기 시공 중앙 필터의 출력 신호는 상기 제1 및 제2 프레임 내의 공간적으로 대응하는 영역의 픽셀의 중앙 신호 값 및 상기 중앙 신호 값을 가진 픽셀을 포함하는

방법.
제 1 항에 있어서,

상기 제2 프레임은 상기 시퀀스의 현재 프레임이고, 상기 제1 프레임은 상기 현재 프레임에 바로 선행하는 상기 시퀀스의 이전 프레임인

방법.
제 2 항에 있어서,

모든 연속되는 제1 및 제2 프레임 조합에 대해 보간을 반복하는 단계

를 더 포함하는 방법.
제 1 항에 있어서,

상기 시공 중앙 필터를 적용하는 것은 상기 제1 및 제2 프레임에서 픽셀 신호 값의 대응하는 영역에 동작하는 것을 포함하는

방법.
삭제
제 1 항에 있어서,

상기 중앙 신호 값은 상기 제1 및 제2 프레임 내의 공간적으로 대응하는 영역의 픽셀의 수가 짝수인 경우에 2개의 중앙 값 중 높은 값인

방법.
제 6 항에 있어서,

상기 시공 중앙 필터를 적용하는 것은 상기 제1 및 제2 프레임의 휘도 평면의 픽셀 신호 값에 시공 중앙 필터를 적용하고, 보간된 프레임 내의 한 픽셀에 영역들의 중앙 신호 값을 할당하는 것을 포함하는

방법.
제 7 항에 있어서,

중앙 신호 값을 가진 픽셀에 대한 색도 평면으로부터 신호 값을 획득하는 단계 및 보간된 프레임 내의 픽셀에 상기 색도 신호 값을 할당하는 단계

를 더 포함하는 방법.
제 1 항에 있어서,

상기 제1 및 제2 프레임에 표현되는 피사체의 동작으로 인해 변화된 상기 제1 및 제2 프레임 내의 영역들의 제1 셋트와 변화되지 않은 상기 제1 및 제2 프레임 내의 영역들의 제2 셋트를 판단하는 단계; 및

상기 제1 셋트의 영역에 시공 중앙 필터를 적용하는 단계

를 더 포함하는 방법.
제 9 항에 있어서,

상기 제1 셋트의 영역들을 판단하는 단계는 상기 제1 및 제2 프레임의 대응하는 픽셀 사이의 픽셀-위치 차에 임계치 연산을 적용하는 단계를 포함하는

방법.
비디오 프레임 시퀀스의 비디오 프레임 속도를 증가시키기 위한 방법에 있어서,

상기 시퀀스의 일부로서 수신되는 동작 벡터를 이용하여 동작 보상을 적용함으로써 상기 비디오 프레임 시퀀스의 블록 내의 피사체의 동작을 판단하는 단계;

상기 동작 보상에 의해 판단된 바와 같은 제1 및 제2 프레임의 최상으로 정합하는 블록의 픽셀에 시공 중앙 필터를 적용함으로써 상기 제1 및 제2 프레임 사이에 보간된 프레임의 적어도 하나의 블록을 생성하는 단계; 및

동작 벡터가 통과되지 않는 상기 보간된 프레임 내의 픽셀들의 영역에 대해 상기 제1 및 제2 프레임 내의 동일한 공간적 위치에 있는 픽셀들을 평균하는 단계

를 포함하는 방법.
제 11 항에 있어서,

블록의 경계에 있는 픽셀에 대해, 상기 제1 및 제2 프레임 내의 공간적으로대응하는 픽셀들을 평균하는 단계

를 더 포함하는 방법.
삭제
디코더에서, 비디오 프레임 시퀀스의 비디오 프레임 속도를 증가시키기 위한 방법에 있어서,

상기 디코더에 의해 수신되는 상기 비디오 프레임 시퀀스에 순방향 동작 추정 및 역방향 동작 추정 중 적어도 하나에 의한 동작 보상을 적용함으로써 상기 비디오 프레임 시퀀스 내의 피사체의 동작을 판단하는 단계;

상기 동작 보상에 기반하여 제1 프레임의 블록으로부터 제2 프레임의 블록까지 동작 벡터를 선택하는 단계; 및

상기 선택된 동작 벡터에 의해 판단된 바와 같은 제1 및 제2 프레임의 최상으로 정합하는 블록의 픽셀에 시공 중앙 필터를 적용함으로써 상기 제1 및 제2 프레임 사이에 적어도 하나의 보간된 프레임의 적어도 하나의 블록을 생성하는 단계

를 포함하고,

여기서, 적어도 부분적으로 상기 블록들의 픽셀의 세그먼테이션 상태에 기반하여 적어도 하나의 보간된 블록의 생성을 위해 상기 제1 및 제2 프레임의 픽셀들이 선택되고, 상기 세그먼테이션 상태는 프레임들에 걸쳐 2진 임계치 연산을 적용함으로써 픽셀 상태 분류 맵의 생성으로부터 초래되는

방법.
제 14 항에 있어서,

상기 동작 보상은 순방향 동작 추정 및 역방향 동작 추정을 모두 포함하는

방법.
제 14 항에 있어서,

상기 제1 및 제2 프레임 내의 픽셀 값의 절대 차의 합계를 포함하는 에러 척도(error measure)에 따라 최상으로 정합하는 블록을 판단하는 단계

를 더 포함하는 방법.
제 16 항에 있어서,

상기 순방향 동작 벡터가 상기 블록에 대한 절대 차의 최소 합계를 산출하는 경우에 상기 블록 내의 각각의 픽셀에 대해 순방향 동작 벡터를 선택하는 단계

를 더 포함하는 방법.
제 16 항에 있어서,

상기 역방향 동작 벡터가 상기 블록에 대한 절대 차의 최소 합계를 산출하는 경우에 상기 블록 내의 각각의 픽셀에 대해 역방향 동작 벡터를 선택하는 단계

를 더 포함하는 방법.
제 14 항에 있어서,

상기 제1 및 제2 프레임에 표현되는 피사체의 동작으로 인해 변화된 상기 제1 및 제2 프레임 내의 영역들의 제1 셋트와 변화되지 않은 상기 제1 및 제2 프레임 내의 영역들의 제2 셋트를 판단하는 단계; 및

상기 제1 셋트의 영역에 시공 중앙 필터를 적용하는 단계

를 더 포함하는 방법.
제 19 항에 있어서,

상기 제1 셋트의 영역들을 판단하는 단계는 상기 제1 및 제2 프레임의 대응하는 픽셀 사이의 픽셀-위치 차에 임계치 연산을 적용하는 단계를 포함하는

방법.
비디오 프레임 시퀀스의 비디오 프레임 속도를 증가시키기 위한 장치에 있어서,

제1 및 제2 프레임의 픽셀에 시공 중앙 필터를 적용함으로써 상기 시퀀스의 제1 및 제2 프레임 사이에 적어도 하나의 프레임을 보간하기 위한 프레임 속도 업샘플링 장치

를 포함하고,

여기서, 상기 시공 중앙 필터의 출력 신호는 상기 제1 및 제2 프레임 내의 공간적으로 대응하는 영역의 픽셀의 중앙 신호 값 및 상기 중앙 신호 값을 가진 픽셀을 포함하는

장치.
삭제
제 21 항에 있어서,

상기 중앙 신호 값은 상기 제1 및 제2 프레임 내의 대응하는 영역의 픽셀의 수가 짝수인 경우에 2개의 중앙 값 중 높은 값인

장치.
제 21 항에 있어서,

상기 프레임 속도 업샘플링 장치는,

상기 제1 및 제2 프레임에 표현되는 피사체의 동작으로 인해 변화된 상기 제1 및 제2 프레임 내의 영역들의 제1 셋트와 변화되지 않은 상기 제1 및 제2 프레임 내의 영역들의 제2 셋트를 판단하기 위한 수단; 및

상기 제1 셋트의 영역에 시공 중앙 필터를 적용하기 위한 수단을 더 포함하는

장치.
제 21 항에 있어서,

상기 판단 수단은 상기 제1 셋트의 영역을 판단하기 위해 상기 제1 및 제2 프레임의 대응하는 픽셀 사이의 픽셀-위치 차에 임계치 연산을 적용하기 위한 수단을 포함하는

장치.
비디오 프레임 시퀀스의 비디오 프레임 속도를 증가시키기 위한 장치에 있어서,

상기 시퀀스의 일부로서 수신되는 동작 벡터를 이용하여 동작 보상 연산을 적용함으로써 상기 비디오 프레임 시퀀스의 블록들 내의 피사체의 동작을 판단하기 위한 동작 보상기;

상기 동작 보상기에 의해 판단된 바와 같은 제1 및 제2 프레임의 최상으로 정합하는 블록의 픽셀에 시공 중앙 필터 연산을 적용함으로써 상기 제1 및 제2 프레임 사이에 적어도 하나의 보간된 프레임을 생성하기 위한 시공 중앙 필터; 및

상기 시공 중앙 필터에 연결되어, 적어도 부분적으로 상기 블록들의 세그먼테이션 상태에 기반하여 상기 보간된 블록의 생성을 위해 상기 제1 및 제2 프레임의 픽셀들을 선택하기 위한 상태 세그먼테이션 유닛 - 여기서, 상기 세그먼테이션 상태는 프레임들에 걸쳐 2진 임계치 연산을 적용함으로써 픽셀 상태 분류 맵의 생성으로부터 초래됨 -

을 포함하는 장치.
디코더에서, 비디오 프레임 시퀀스의 비디오 프레임 속도를 증가시키기 위한 장치에 있어서,

상기 디코더에 의해 수신되는 비디오 프레임 시퀀스에 순방향 동작 추정 및 역방향 동작 추정 중 적어도 하나에 의해 동작 보상을 적용함으로써 상기 비디오 프레임 시퀀스 내의 피사체의 동작을 판단하기 위한 동작 보상기;

상기 동작 보상에 기반하여 제1 프레임의 블록으로부터 제2 프레임의 블록까지 동작 벡터를 선택하기 위한 동작 벡터 선택기;

상기 선택된 동작 벡터에 의해 판단된 바와 같은 제1 및 제2 프레임의 최상으로 정합하는 블록에 시공 중앙 필터 연산을 적용함으로써 상기 제1 및 제2 프레임 사이에 적어도 하나의 보간된 프레임의 블록을 생성하기 위한 시공 중앙 필터; 및

상기 시공 중앙 필터에 연결되어, 적어도 부분적으로 상기 블록들의 세그먼테이션 상태에 기반하여 상기 보간된 블록의 생성을 위해 상기 제1 및 제2 프레임의 픽셀들을 선택하기 위한 상태 세그먼테이션 유닛 - 여기서, 상기 세그먼테이션 상태는 프레임들에 걸쳐 2진 임계치 연산을 적용함으로써 픽셀 상태 분류 맵의 생성으로부터 초래됨 -

을 포함하는 장치.
삭제
비디오 프레임 시퀀스의 비디오 프레임 속도를 증가시키기 위한 장치에 있어서,

상기 시퀀스의 일부로서 수신되는 동작 벡터를 이용하여 동작 보상을 적용함으로써 상기 비디오 프레임 시퀀스의 블록들 내의 피사체의 동작을 판단하기 위한 수단;

상기 동작 보상에 의해 판단된 바와 같은 제1 및 제2 프레임의 최상으로 정합하는 블록의 픽셀에 시공 중앙 필터를 적용함으로써 상기 제1 및 제2 프레임 사이에 적어도 하나의 보간된 프레임의 블록을 생성하기 위한 수단; 및

적어도 부분적으로 상기 블록들의 세그먼테이션 상태에 기반하여 상기 보간된 블록의 생성을 위해 상기 제1 및 제2 프레임의 픽셀들을 선택하기 위한 수단 - 여기서, 상기 세그먼테이션 상태는 프레임들에 걸쳐 2진 임계치 연산을 적용함으로써 픽셀 상태 분류 맵의 생성으로부터 초래됨 -

을 포함하는 장치.
디코더에서, 비디오 프레임 시퀀스의 비디오 프레임 속도를 증가시키기 위한 장치에 있어서,

상기 디코더에 의해 수신되는 비디오 프레임 시퀀스에 순방향 동작 추정 및 역방향 동작 추정 중 적어도 하나에 의해 동작 보상을 적용함으로써 상기 비디오 프레임 시퀀스 내의 피사체의 동작을 판단하기 위한 수단;

상기 동작 보상에 기반하여 제1 프레임의 블록으로부터 제2 프레임의 블록까지 동작 벡터를 선택하기 위한 수단;

상기 선택된 동작 벡터에 의해 판단된 바와 같은 제1 및 제2 프레임의 최상으로 정합하는 블록에 시공 중앙 필터 연산을 적용함으로써 상기 제1 및 제2 프레임 사이에 적어도 하나의 보간된 프레임의 블록을 생성하기 위한 수단; 및

적어도 부분적으로 상기 블록들의 세그먼테이션 상태에 기반하여 상기 보간된 블록의 생성을 위해 상기 제1 및 제2 프레임의 픽셀들을 선택하기 위한 수단 - 여기서, 상기 세그먼테이션 상태는 프레임들에 걸쳐 2진 임계치 연산을 적용함으로써 픽셀 상태 분류 맵의 생성으로부터 초래됨 -

을 포함하는 장치.
제 1 항에 있어서,

적어도 부분적으로 프레임들의 영역들 - 상기 영역들은 픽셀들을 포함함 - 의 세그먼테이션 상태에 기반하여 상기 보간된 프레임의 생성을 위해 상기 제1 및 제2 프레임의 픽셀들을 선택하는 단계

를 더 포함하는 방법.
제 31 항에 있어서,

상기 세그먼테이션 상태는 적어도 정지 상태, 이동 상태, 커버된 상태 및 커버되지 않은 상태를 포함하는

방법.
제 11 항에 있어서,

적어도 부분적으로 상기 블록들의 세그먼테이션 상태에 기반하여 상기 보간된 프레임의 생성을 위해 상기 제1 및 제2 프레임의 픽셀들을 선택하는 단계

를 더 포함하는 방법.
제 33 항에 있어서,

상기 세그먼테이션 상태는 적어도 정지 상태, 이동 상태, 커버된 상태 및 커버되지 않은 상태를 포함하는

방법.
제 14 항에 있어서,

상기 세그먼테이션 상태는 적어도 정지 상태, 이동 상태, 커버된 상태 및 커버되지 않은 상태를 포함하는

방법.
제 21 항에 있어서,

상기 프레임 속도 업샘플링 장치는 적어도 부분적으로 프레임들의 영역들 - 상기 영역들은 픽셀들을 포함함 - 의 세그먼테이션 상태에 기반하여 상기 보간된 프레임의 생성을 위해 상기 제1 및 제2 프레임의 픽셀들을 선택하는

장치.
제 36 항에 있어서,

상기 세그먼테이션 상태는 적어도 정지 상태, 이동 상태, 커버된 상태 및 커버되지 않은 상태를 포함하는

장치.
제 26 항에 있어서,

상기 세그먼테이션 상태는 적어도 정지 상태, 이동 상태, 커버된 상태 및 커버되지 않은 상태를 포함하는

장치.