KR100787675B1

KR100787675B1 - 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치

Info

Publication number: KR100787675B1
Application number: KR1020060028953A
Authority: KR
Inventors: 가즈야스 오와끼; 고 이또; 나오 미시마
Original assignee: 가부시끼가이샤 도시바
Priority date: 2005-03-31
Filing date: 2006-03-30
Publication date: 2007-12-21
Also published as: US20060222077A1; US7899122B2; JP2006311480A; JP4398925B2; KR20060105583A

Abstract

제1 기준 프레임과 제2 기준 프레임 사이에 보간 프레임을 생성하기 위한 방법은 보간 프레임을 몇몇 픽셀들을 포함하는 몇몇 보간 영역들로 분할하는 단계; 각각의 보간 영역들에 대한 제1 기준 영역과 제2 기준 영역 사이의 몇몇 결합들로부터 가장 상관된 결합을 검출하는 단계; 검출된 결합에 포함된 제1 기준 영역 몇 제2 기준 영역으로부터 모션 벡터를 획득하는 단계; 제1 기준 영역들 및 제2 기준 영역들이 고-상관 영역(high-correlated area)에 있는지 또는 저-상관 영역에 있는지를 판정하는 단계; 모션 벡터 검출 영역에 모션 벡터를 제공하는 단계(모션 벡터 검출 영역은 제1 기준 영역 및 제2 기준 영역 내의 고-상관 영역으로 판정된 보간 영역에 대응함); 모션 벡터 미검출 영역에 제공될 모션 벡터를 결정하는 단계; 및 모션 벡터 검출 영역에 제공된 모션 벡터 및 모션 벡터 미검출 영역에 대해 결정된 모션 벡터에 기초하여 보간 프레임을 생성하는 단계를 포함한다.

모션 벡터, 고-상관 영역, 저-상관 영역, 모션 벡터 검출 영역, 모션 벡터 미검출 영역

Description

두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한 방법, 컴퓨터 프로그램 제품 및 장치{METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR GENERATING INTERPOLATION FRAME}

도 1은 보간 이미지 생성 장치의 전체 구조를 나타내는 블럭도.

도 2는 보간 프레임을 설명하기 위한 도면.

도 3은 블럭 생성 유닛의 프로세싱을 설명하기 위한 도면.

도 4는 보간 이미지 생성 장치에 의한 보간 이미지 생성 프로세싱을 나타내는 흐름도.

도 5는 제1 프레임 및 제2 프레임에 포함된 이미지를 나타내는 도면.

도 6은 제2 프레임 내의 제2 블럭에 가장 상관된 영역을 나타내는 도면.

도 7은 제2 블럭을 나타내는 도면.

도 8은 제2 프레임 내의 제2 블럭에 가장 상관된 영역을 나타내는 도면.

도 9는 제2 블럭을 나타내는 도면.

도 10은 보간 프레임을 나타내는 도면.

도 11은 제1 실시예에 따른 보간 이미지 생성 장치의 하드웨어 구조를 나타내는 도면.

도 12는 제2 실시예에 따른 보간 이미지 생성 장치(100)의 보간 이미지 생성 프로세싱을 나타내는 흐름도.

도 13은 제1 블럭 및 제2 블럭을 추출하는 프로세싱을 설명하기 위한 도면.

도 14는 저-상관 영역에 대한 프로세싱(단계(S310) 내지 단계(S314))을 설명하기 위한 도면.

도 15는 저-상관 영역에 대한 프로세싱(단계(S310) 내지 단계(S314))을 설명하기 위한 도면.

도 16은 보간 블럭을 나타내는 도면.

도 17은 영역에 이미지를 할당하는 프로세싱을 설명하기 위한 도면.

도 18은 또다른 영역에 이미지를 할당하는 프로세싱을 설명하기 위한 도면.

도 19는 제3 실시예에 따른 보간 이미지 생성 장치의 전체 구조를 나타내는 블럭도.

도 20은 보간 프레임을 설명하기 위한 도면.

도 21은 기준 영역을 설명하기 위한 도면.

도 22는 제3 실시예에 따른 보간 이미지 생성 장치에 의한 고-상관 영역 모션 벡터 할당 프로세싱을 나타내는 흐름도.

도 23은 제1 기준 프레임 상의 기준 영역, 및 제2 기준 프레임 내에서 제1 기준 프레임 상의 기준 영역과 가장 상관된 영역 위치(모션 벡터)를 찾고, 그들 사이의 모션 벡터를 계산하는 프로세싱을 설명하기 위한 도면.

도 24는 객체가 부동 배경(still background) 상에서 이동하는 사이의 프레임들을 나타내는 도면.

도 25는 프로세싱 타겟 기준 영역 추출 프로세싱(단계(S504))에 의해 추출된 제1 기준 영역에 관련된, 모션 추정 프로세싱(단계(S505))에 의해 추출된 제2 기준 영역을 나타내는 도면.

도 26은 픽셀별로 모션 추정 프로세싱(단계(S505))에 의해 추출된 제1 기준 영역 및 제2 기준 영역을 나타내는 도면.

도 27은 상관 계산 결과를 나타내는 도면.

도 28은 상관 판정 프로세싱(단계(S507))에 의해, 도 27에 나타낸 상관 계산 결과에 기초하여 각각 고-상관 영역 및 저-상관 영역으로 분류된 기준 영역을 나타내는 도면.

도 29는 제1 기준 프레임 및 제2 기준 프레임의 고-상관 영역 및 저-상관 영역을 나타내는 도면.

도 30은 모션 추정 횟수 t가 2일 때 기준 영역 추출 프로세싱(단계(S504))에 의해 추출된 제1 기준 영역, 및 제1 기준 영역에 관련하여 모션 추정 프로세싱(단계(S505))에 의해 추출된 제2 기준 영역을 나타내는 도면.

도 31은 모션 추정 프로세싱(단계(S505))에 의해 추출된 제2 기준 프레임 내의 제2 기준 영역 및 제1 기준 영역의 각 픽셀의 휘도 값을 나타내는 도면.

도 32는 영역내 상관 계산 프로세싱(단계(S506))에 의한 상관 계산 값(절대 차이 값)을 나타내는 도면.

도 33은 상관 판정 프로세싱(단계(S507))에 의해 분류된 제1 기준 영역 및 제2 기준 영역의 고-상관 영역을 나타내는 도면.

도 34는 상관 판정 프로세싱이 완료됐을 때 제1 기준 프레임과 제2 기준 프레임 사이의 상관을 나타내는 도면.

도 35는 모션 벡터 미검출 영역 프로세싱 유닛에 의한 모션 벡터 미검출 영역 프로세싱을 나타내는 흐름도.

도 36은 모션 벡터 미검출 영역 주변의 모션 벡터를 설명하기 위한 도면.

도 37은 제1 기준 프레임 및 제2 기준 프레임과 시간적으로 반대의 방향에 있는 또다른 제3 기준 프레임을 나타내는 도면.

도 38은 영역 추출 프로세싱(단계(S603))에 의해 추출된 제3 기준 프레임 내의 영역을 나타내는 도면.

도 39는 몇몇 모션 벡터가 모션 벡터 미검출 영역 주변에 존재할 때의 프로세싱을 설명하기 위한 도면.

도 40은 모션 벡터의 스케일 변환을 설명하기 위한 도면.

도 41은 보간 프레임을 영역들로 분할하는 프로세싱을 설명하기 위한 도면.

도 42는 보간 프레임을 영역들로 분할하는 프로세싱을 설명하기 위한 도면.

도 43은 객체가 부동 배경 상에서 수평으로 이동하는 예를 설명하기 위한 도면.

도 44는 제4 실시예에 따른 보간 이미지 생성 장치에 의한 고-상관 영역 모션 벡터 할당 프로세싱을 나타내는 흐름도.

도 45는 도 44를 이용하여 설명된 프로세싱 이후에 각각의 프레임에의 상관을 나타내는 도면.

도 46은 모션 벡터 미검출 영역 프로세싱 유닛에 의한 모션 벡터 미검출 영역 프로세싱을 나타내는 흐름도.

도 47은 모션 벡터 미검출 영역 주변의 모션 벡터들을 나타내는 도면.

도 48은 영역 추출 프로세싱(단계(S803))에서 특정 프로세싱을 설명하기 위한 도면.

도 49는 모션 벡터 미검출 영역에 모션 벡터를 할당하는 프로세싱을 설명하기 위한 도면.

도 50은 보간 프레임 내의 모션 벡터 미검출 영역, 제1 기준 프레임 내의 저-상관 영역 및 제3 기준 프레임을 이용하는 모션 추정 프로세싱을 설명하기 위한 도면.

<도면의 주요 부분에 대한 부호의 설명>

102: 블럭 생성 유닛

106: 프레임 메모리

108: 상관 블럭 추출 유닛

120: 부분 영역 지정 유닛

124: 고-상관 부분 영역 벡터 계산 유닛

[문헌 1] 일본 특허 출원 제2000-224593호

본 발명은 보간 프레임 생성 방법, 보간 프레임 생성 장치 및 2개의 프레임 사이를 보간하는 보간 프레임을 생성하기 위한 컴퓨터 프로그램 제품에 관한 것이다.

일반적으로, 이미지 디스플레이는 이미지가 작성된 후 형광체의 지속시간 동안만 계속적으로 발광하는 임펄스형 디스플레이(impulse type display)(예를 들어, CRT 또는 FED(field emission type display)), 및 이미지가 새롭게 작성될 때까지 이전 프레임의 디스플레이를 계속적으로 보유하는 홀드형 디스플레이(hold type display)(예를 들어, LCD(liquid crystal display), ELD(electro-luminescence display)) 등의 2가지 유형을 포함한다.

홀드형 디스플레이에 대한 문제점들 중 하나는 동영상 디스플레이에서 일어나는 블러링(blurring) 현상이다. 블러링 현상은, 이동 객체가 몇몇 프레임에 걸친 이미지 내에 나타나고, 관찰자의 눈이 그 이동 객체의 모션을 따를 때, 그 몇몇 프레임의 이미지가 오버랩(overlap)되는 방식으로 망막 상에 투영되는 사실로 인해 일어난다.

디스플레이된 이미지가 이전 프레임으로부터 다음 프레임으로 스위칭되기 전에, 같은 이전 프레임 상의 이미지가 계속 디스플레이되고 있지만, 이전 프레임 이미지 상의 이동 객체가 이동하는 방향으로 이동하는 동안 사람의 눈은 다음 프레임 상의 이미지의 디스플레이를 예측하고 그것을 본다. 즉, 눈이 모션을 계속 따라가고 프레임 간격보다 미세하게 샘플링하기 때문에, 사람 눈은 흐릿하게 보이는 2개 의 인접한 프레임들 사이의 이미지를 관찰한다.

이 문제점을 해결하기 위해, 디스플레이의 프레임 간격이 보다 짧아져야만 한다. 이에 따라, 적은 수의 디스플레이 프레임을 갖는 동영상에서의 부자연스러운 모션을 개선할 수 있다. 특정 방법으로서, MPEG2(Moving Picture Experts Group Phase 2)에서 이용되는 모션 보상을 활용하여 보간 이미지를 생성하고 인접한 프레임들 사이를 보간하는 것이 고려된다.

모션 보상은 블럭 매칭에 의해 탐지되는 모션 벡터를 이용한다. 그러나, MPEG2에서는 이미지가 블럭 기반으로 생성되기 때문에, 모션이 다른 몇몇 객체가 블럭 내에 포함될 때, 상관된 부분들 및 상관되지 않은 부분들이 생겨나, 상관되지 않은 부분들 내에서 블럭 왜곡이 일어난다.

이러한 문제점을 해결하기 위한 프레임 보간 방법이 개시된다(예를 들어, 문헌 1을 참조). 하나의 블럭이 몇몇 영역으로 분할되고, 각각의 영역에 대한 모션 벡터가 발견된다. 그러므로, 모션이 상이한 객체들이 블럭에 포함될 때 블럭 왜곡이 감소될 수 있다. 임계치를 이용하여 블럭을 영역들로 분할하기에 적절한 모션 벡터 검출 방법을 이용하고, 영역들로 분할된 이후 픽셀 블럭에 적절한 모션 벡터 검출 방법을 이용하여, 각각의 영역에 대한 최적의 모션 벡터를 탐지한다.

문헌 1에 개시된 프레임 보간 방법은 이미지 품질의 저하를 줄이긴 하지만, 폐색 영역(occlusion area)에 대한 모션 벡터를 정확하게 계산하진 못한다.

본 발명의 일 양태에 따르면, 제1 기준 프레임과 제2 기준 프레임 사이에 보 간 프레임을 생성하기 위한 방법은 보간 프레임을 몇몇 픽셀들을 포함하는 몇몇 보간 영역들로 분할하는 단계; 각각의 보간 영역들에 대해서 제1 기준 영역들과 제2 기준 영역들 사이의 몇몇 결합들로부터 가장 상관된 결합을 검출하는 단계(제1 기준 영역들은 제1 기준 프레임 내에 있고 보간 영역들과 동일한 크기 및 모양을 가지며, 제2 기준 영역들은 제2 기준 프레임 내에 있고 보간 영역들과 동일한 크기 및 모양을 가지며, 각각의 보간 영역들, 각각의 몇몇 결합들의 제1 기준 영역 및 각각의 몇몇 결합들의 제2 기준 영역은 일직선적인 시간 방식(straight time-wise)으로 정렬됨); 검출된 결합에 포함된 제1 기준 영역과 제2 기준 영역으로부터 모션 벡터를 획득하는 단계; 제1 기준 영역들과 제2 기준 영역들이 고-상관 영역에 있는지 또는 저-상관 영역에 있는지를 판정하는 단계; 모션 벡터 검출 영역에 모션 벡터를 제공하는 단계(모션 벡터 검출 영역은 제1 기준 영역과 제2 기준 영역 내의 고-상관 영역으로 판정된 보간 영역에 대응함); 모션 벡터 미검출 영역, 제1 영역, 제3 기준 프레임, 제2 영역 및 제4 기준 프레임을 이용하는 모션 추정에 의해 모션 벡터 미검출 영역에 제공될 모션 벡터를 결정하는 단계(제1 영역은 제1 기준 프레임 내에 있고 저-상관 영역으로 판정되며, 제3 기준 프레임은 보간 프레임을 기준으로 하여 제1 기준 프레임과 시간적으로 동일한 방향에 있으며, 제2 영역은 제2 기준 프레임 내에 있고 저-상관 영역으로 판정되며, 제4 기준 프레임은 보간 프레임을 기준으로 하여 제2 기준 프레임과 시간적으로 동일한 방향에 있으며, 모션 벡터 미검출 영역은 제1 기준 영역 및 제2 기준 영역 내의 저-상관 영역으로 판정된 보간 영역에 대응함); 및 모션 벡터 검출 영역에 제공된 모션 벡터 및 모션 벡터 미검출 영역에 대해 결정된 모션 벡터에 기초하여 보간 프레임을 생성하는 단계를 포함한다.

본 발명의 또다른 양태에 따르면, 제1 기준 프레임과 제2 기준 프레임 사이에 보간 프레임을 생성하기 위한 방법은 제1 기준 프레임을, 각각이 몇몇 픽셀들을 포함하는 몇몇 제1 기준 영역들로 분할하는 단계; 제1 기준 영역들과 동일한 크기 및 모양을 가지며 제2 기준 프레임 내에서 상기 제1 기준 영역과 가장 상관된 제2 기준 영역들을 검출하는 단계; 검출된 제2 기준 영역들 및 제1 기준 영역들의 모션 벡터들을 획득하는 단계; 제1 기준 영역들 및 제2 기준 영역들이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 단계; 모션 벡터를 모션 벡터 검출 영역에 제공하는 단계(모션 벡터 검출 영역은 고-상관 영역으로 판정됨); 모션 벡터 미검출 영역 및 제3 기준 프레임을 이용하는 모션 추정에 의해 모션 벡터 미검출 영역의 모션 벡터를 결정하는 단계(제3 기준 프레임은 제1 기준 프레임을 기준으로 하여 제2 기준 프레임과 시간적으로 반대의 방향에 있으며, 모션 벡터 미검출 영역은 저-상관 영역으로 판정되고 제1 기준 영역 내에 있음); 및 모션 벡터 검출 영역에 제공된 모션 벡터 및 모션 벡터 미검출 영역에 대해 결정된 모션 벡터에 기초하여 보간 프레임을 생성하는 단계를 포함한다.

본 발명에 따른 또다른 양태에 따르면, 제1 기준 프레임과 제2 기준 프레임 사이에 보간 프레임을 생성하기 위한 방법은 보간 프레임을 각각이 몇몇 픽셀들로 구성된 몇몇 보간 영역들로 분할하는 단계; 각각의 보간 영역들에 대해서 제1 기준 영역들과 제2 기준 영역들 사이의 결합들로부터 가장 상관된 결합을 검출하는 단계 (제1 기준 영역들은 제1 기준 프레임 내에 있고 보간 영역들과 동일한 크기 및 모양을 가지며, 제2 기준 영역들은 제2 기준 프레임 내에 있고 보간 영역들과 동일한 크기 및 모양을 가지며, 보간 프레임들, 각각의 몇몇 결합들의 제1 기준 영역 및 각각의 몇몇 결합들의 제2 기준 영역 각각은 일직선적인 시간 방식으로 정렬됨); 검출된 결합에 포함된 제1 기준 영역 및 제2 기준 영역으로부터 모션 벡터를 획득하는 단계; 제1 기준 영역 및 제2 기준 영역이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 단계; 제1 기준 영역 및 제2 기준 영역 내의 고-상관 영역으로 판정된 보간 영역에 대응하는 모션 벡터 검출 영역에 모션 벡터를 제공하는 단계; 제1 기준 영역 및 제2 기준 영역 내의 저-상관 영역으로 판정된 보간 영역에 대응하는 모션 벡터 미검출 영역에 모션 벡터를 제공하는 단계; 및 모션 벡터 검출 영역에 제공된 모션 벡터 및 모션 벡터 미검출 영역에 제공된 모션 벡터에 기초하여 보간 프레임을 생성하는 단계를 포함한다.

본 발명에 따른 또 다른 양태에 따르면, 제1 기준 프레임과 제2 기준 프레임 사이에 보간 프레임을 생성하기 위한 방법은 제1 기준 프레임을 각각이 몇몇 픽셀들을 포함하는 몇몇 제1 기준 영역들로 분할하는 단계; 제1 기준 영역들과 동일한 크기 및 모양을 가지며 제2 기준 프레임 내의 제1 기준 영역들에 가장 상관된 제2 기준 영역들을 검출하는 단계; 검출된 제2 기준 영역들 및 제1 기준 영역들의 모션 벡터들을 획득하는 단계; 제1 기준 영역 및 제2 기준 영역이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 단계; 모션 벡터를 모션 벡터 검출 영역에 제공하는 단계(모션 벡터 검출 영역은 제1 기준 영역 내의 고-상관 영역 으로 판정됨); 모션 벡터 미검출 영역 주위에 정렬된 모션 벡터 검출 영역에 제공된 모션 벡터를 모션 벡터 미검출 영역에 제공하는 단계(모션 벡터 미검출 영역은 제1 기준 영역 내의 저-상관 영역으로 판정됨); 및 모션 벡터 검출 영역에 제공된 모션 벡터 및 모션 벡터 미검출 영역에 제공된 모션 벡터에 기초하여 보간 프레임을 생성하는 단계를 포함한다.

본 발명의 또다른 양태에 따르면, 컴퓨터 프로그램 제품은 컴퓨터가 본 발명에 따른 방법들 중 임의의 것을 수행하게 한다.

본 발명의 또다른 양태에 따르면, 제1 기준 프레임과 제2 기준 프레임 사이에 보간 프레임을 생성하기 위한 장치는 보간 프레임을 몇몇 픽셀들을 포함하는 몇몇 보간 영역들로 분할하는 보간 분할 유닛; 각각의 보간 영역들에 대해서 제1 기준 영역들과 제2 기준 영역들 사이의 몇몇 결합들로부터 가장 상관된 결합을 검출하는 결합 검출 유닛(제1 기준 영역들은 제1 기준 프레임 내에 있고 보간 영역들과 동일한 크기 및 모양을 가지며, 제2 기준 영역들은 제2 기준 프레임 내에 있고 보간 영역들과 동일한 크기 및 모양을 가지며, 각각의 보간 영역들, 각각의 몇몇 결합들의 제1 기준 영역 및 각각의 몇몇 결합들의 제2 기준 영역은 일직선적인 시간 방식으로 정렬됨); 검출된 결합에 포함된 제1 기준 영역과 제2 기준 영역으로부터 모션 벡터를 획득하는 모션 추정 유닛; 제1 기준 영역들과 제2 기준 영역들이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 상관 판정 유닛; 모션 벡터 검출 영역에 모션 벡터를 제공하는 제공 유닛(모션 벡터 검출 영역은 제1 기준 영역과 제2 기준 영역 내의 고-상관 영역으로 판정된 보간 영역에 대 응함); 모션 벡터 미검출 영역, 제1 영역, 제3 기준 프레임, 제2 영역 및 제4 기준 프레임을 이용하는 모션 추정에 의해 모션 벡터 미검출 영역에 제공될 모션 벡터를 결정하는 모션 벡터 결정 유닛(제1 영역은 제1 기준 프레임 내에 있고 저-상관 영역으로 판정되며, 제3 기준 프레임은 보간 프레임을 기준으로 하여 제1 기준 프레임과 시간적으로 동일한 방향에 있으며, 제2 영역은 제2 기준 프레임 내에 있고 저-상관 영역으로 판정되며, 제4 기준 프레임은 보간 프레임을 기준으로 하여 제2 기준 프레임과 시간적으로 동일한 방향에 있으며, 모션 벡터 미검출 영역은 제1 기준 영역 및 제2 기준 영역 내의 저-상관 영역으로 판정된 보간 영역에 대응함); 및 모션 벡터 검출 영역에 제공된 모션 벡터 및 모션 벡터 미검출 영역에 대해 결정된 모션 벡터에 기초하여 보간 프레임을 생성하는 모션 보상 유닛을 포함한다.

본 발명의 또다른 양태에 따르면, 제1 기준 프레임과 제2 기준 프레임 사이에 보간 프레임을 생성하기 위한 장치는 제1 기준 프레임을, 각각이 몇몇 픽셀들을 포함하는 몇몇 제1 기준 영역들로 분할하는 영역 생성 유닛; 제1 기준 영역들과 동일한 크기 및 모양을 가지며 제2 기준 프레임 내에서 상기 제1 기준 영역들과 가장 상관된 제2 기준 영역들을 검출하는 제2 기준 검출 유닛; 검출된 제2 기준 영역들 및 제1 기준 영역들의 모션 벡터들을 획득하는 모션 추정 유닛; 제1 기준 영역들 및 제2 기준 영역들이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 상관 판정 유닛; 모션 벡터를 모션 벡터 검출 영역에 제공하는 모션 벡터 제공 유닛(모션 벡터 검출 영역은 고-상관 영역으로 판정됨); 모션 벡터 미검출 영역 및 제3 기준 프레임을 이용하는 모션 추정에 의해 모션 벡터 미검출 영역의 모 션 벡터를 결정하는 모션 벡터 결정 유닛(제3 기준 프레임은 제1 기준 프레임을 기준으로 하여 제2 기준 프레임과 시간적으로 반대의 방향에 있으며, 모션 벡터 미검출 영역은 저-상관 영역으로 판정되고 제1 기준 영역 내에 있음); 및 모션 벡터 검출 영역에 제공된 모션 벡터 및 모션 벡터 미검출 영역에 대해 결정된 모션 벡터에 기초하여 보간 프레임을 생성하는 모션 벡터 보상 유닛을 포함한다.

본 발명의 또다른 양태에 따르면, 제1 기준 프레임과 제2 기준 프레임 사이에 보간 프레임을 생성하기 위한 장치는 보간 프레임을 각각이 몇몇 픽셀들로 구성된 몇몇 보간 영역들로 분할하는 영역 생성 유닛; 각각의 보간 영역들에 대한 제1 기준 영역과 제2 기준 영역 사이의 결합들로부터 가장 상관된 결합을 검출하는 결합 검출 유닛(제1 기준 영역들은 제1 기준 프레임 내에 있고 보간 영역들과 동일한 크기 및 모양을 가지며, 제2 기준 영역들은 제2 기준 프레임 내에 있고 보간 영역들과 동일한 크기 및 모양을 가지며, 보간 프레임들, 각각의 몇몇 결합들의 제1 기준 영역 및 각각의 몇몇 결합들의 제2 기준 영역 각각은 일직선적인 시간 방식으로 정렬됨); 검출된 결합에 포함된 제1 기준 영역 및 제2 기준 영역으로부터 모션 벡터를 획득하는 모션 추정 유닛; 제1 기준 영역 및 제2 기준 영역이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 상관 판정 유닛; 제1 기준 영역 및 제2 기준 영역 내의 고-상관 영역으로 판정된 보간 영역에 대응하는 모션 벡터 검출 영역에 제공하는 제1 모션 벡터 제공 유닛; 제1 기준 영역 및 제2 기준 영역 내의 저-상관 영역으로 판정된 보간 영역에 대응하는 모션 벡터 미검출 영역에 제공하는 제2 모션 벡터 제공 유닛; 및 모션 벡터 검출 영역에 제공된 모션 벡 터 및 모션 벡터 미검출 영역에 제공된 모션 벡터에 기초하여 보간 프레임을 생성하는 모션 보상 유닛을 포함한다.

본 발명의 또다른 양태에 따르면, 제1 기준 프레임과 제2 기준 프레임 사이에 보간 프레임을 생성하기 위한 장치는 제1 기준 프레임을 각각이 몇몇 픽셀들을 포함하는 몇몇 제1 기준 영역들로 분할하는 영역 생성 유닛; 제1 기준 영역들과 동일한 크기 및 모양을 가지며 제2 기준 프레임 내의 제1 기준 영역들에 가장 상관된 제2 기준 영역들을 검출하는 제2 기준 영역 검출 유닛; 검출된 제2 기준 영역들 및 제1 기준 영역들의 모션 벡터들을 획득하는 모션 추정 유닛; 제1 기준 영역 및 제2 기준 영역이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 상관 판정 유닛; 모션 벡터를 모션 벡터 검출 영역에 제공하는 제1 모션 제공 유닛(모션 벡터 검출 영역은 제1 기준 영역 내의 고-상관 영역으로 판정됨); 모션 벡터 미검출 영역 주위에 정렬된 모션 벡터 검출 영역에 제공된 모션 벡터를 모션 벡터 미검출 영역에 제공하는 제2 모션 벡터 제공 유닛(모션 벡터 미검출 영역은 제1 기준 영역 내의 저-상관 영역으로 판정됨); 및 모션 벡터 검출 영역에 제공된 모션 벡터 및 모션 벡터 미검출 영역에 제공된 모션 벡터에 기초하여 보간 프레임을 생성하는 모션 보상 유닛를 포함한다.

본 발명에 따른 보간 프레임 생성 방법, 보간 프레임 생성 장치 및 보간 프레임 생성 프로그램의 예시적인 실시예가 도면을 참조하여 다음에 상세하게 설명될 것이다. 본 발명은 그 실시예들에 한정되지 않는다.

도 1은 본 발명의 제1 실시예에 따른 보간 이미지 생성 장치(100, 보간 프레임 생성 장치)의 전체 구조를 나타내는 블럭도이다. 보간 이미지 생성 장치(100)는 블럭 생성 유닛(102), 프레임 메모리(106), 상관 블럭 추출 유닛(108), 부분 영역 지정 유닛(120), 고-상관 부분 영역 모션 벡터 계산 유닛(124), 저-상관 부분 영역 모션 벡터 계산 유닛(128) 및 모션 보상 유닛(130)을 포함한다.

이 실시예에 따른 보간 이미지 생성 장치(100)는 입력 이미지에 포함된 몇몇 프레임들 사이를 보간하기 위한 보간 프레임들을 생성한다. 도 2는 입력 이미지에 포함된 3개의 연속적인 프레임들, 즉, 제1 프레임(210), 제2 프레임(220) 및 제3 프레임(230)을 나타낸다. 이 실시예는 제1 프레임(210)과 제2 프레임(220) 사이를 보간하기 위한 보간 프레임(300)이 생성되는 경우를 예로 들어 설명될 것이다.

제1 실시예에서, 보간 이미지 생성 장치(100)가 2개의 연속적인 프레임, 즉, 제1 프레임(210) 및 제2 프레임(220) 사이에 보간 프레임을 생성하는 경우가 설명되어 있지만, 보간 이미지 생성 장치(100)에 의해 생성되는 보간 프레임은 2개의 다른 프레임 사이를 보간하기 위한 프레임이기만 하면 되고, 이 실시예에 한정되지 않는다.

도 1에 나타낸 보간 이미지 생성 장치(100) 내의 블럭 생성 유닛(102)은 외부로부터 입력 동영상을 획득한다. 그 후, 장치는 획득된 입력 동영상 내의 기준 프레임을 매트릭스로 정렬된 몇몇 블럭으로 분할한다. 여기서, 기준 프레임은 블럭 기반으로 매칭을 수행할 때 블럭을 설정하기 위한 프레임이다. 예를 들어, 제1 프레임(210) 또는 제2 프레임(220)은 기준 프레임으로 가정된다.

도 3은 블럭 생성 유닛(102)의 프로세싱을 설명하기 위한 도면이다. 도 3에 나타낸 바와 같이, 블럭 생성 유닛은 제2 프레임(220)을 분할하여, 제2 블럭들을 생성한다. 즉, 제2 블럭들은 제2 프레임(220)에 포함되는 것들이다. 도 3에 나타낸 바와 같이, 블럭 생성 유닛(102)은 제2 프레임(220)을 매트릭스로 9개의 제2 블럭(221-229)으로 분할한다. 여기서, 제2 프레임(220)은 기준 프레임이다.

프레임 메모리(106)는 외부로부터 입력 동영상을 획득하여 보유한다. 상관 블럭 추출 유닛(108)은 블럭 생성 유닛(102)으로부터 몇몇 블럭들로 분할된 제2 프레임(220)을 획득한다. 또한, 유닛(108)은 프레임 메모리(106)로부터 제1 프레임(210)을 획득한다. 그 후, 유닛(108)은 제1 프레임(210)으로부터 제2 프레임(220) 내의 각각의 제2 블럭에 관련된 가장 상관된 블럭(most correlated block)을 추출한다. 이하에서, 제1 프레임(210)으로부터 추출되고 제2 프레임(220) 내의 미리 결정된 제2 블럭에 가장 상관된 블럭이 제1 블럭으로서 참조된다.

부분 영역 지정 유닛(120)은 제2 블럭 내의 고-상관 부분 영역(모션 벡터 검출 영역) 및 저-상관 영역(모션 벡터 미검출 영역)을 지정한다. 여기서, 고-상관 부분 영역은 제1 프레임(210) 내의 미리 결정된 영역에 더욱 상관된 영역이다. 저 상관 부분 영역은 제1 프레임(210) 내의 미리 결정된 영역에 덜 상관된 영역이다.

예를 들어, 상관 값이 차이 값으로 가정될 때, 저-상관 블럭에 포함된 픽셀의 값과 제1 프레임(210) 내의 픽셀들의 값 사이의 차이 값이 미리 결정된 임계값보다 작지 않은 영역은 저-상관 부분 영역으로 가정된다. 한편, 차이 값이 임계값보다 작은 영역은 고-상관 부분 영역으로 가정된다. 상관 값은 휘도 정보의 차이 의 절대 차이 값, 색깔 차이 정보의 차이의 절대 차이 값, 절대 차이 값들의 합 또는 고-상관 픽셀의 개수에 의해 판정되는 값을 이용하는 것이 바람직하다.

고-상관 부분 영역 모션 벡터 계산 유닛(124)은 부분 영역 지정 유닛(120)에 의해 지정된 고-상관 부분 영역에 대한 고-상관 부분 영역 모션 벡터를 계산한다. 여기서, 고-상관 부분 영역 모션 벡터는 고-상관 부분 영역과, 고-상관 부분 영역에 대응하는 제1 프레임(210)의 영역 사이의 모션 벡터이다.

저-상관 부분 영역 모션 벡터 계산 유닛(128)은 부분 영역 지정 유닛(120)에 의해 지정된 저-상관 부분 영역에 대한 저-상관 부분 영역 모션 벡터를 계산한다. 여기서, 저-상관 부분 영역 모션 벡터는 저-상관 부분 영역과, 저-상관 부분 영역에 대응하는 제3 프레임(230)의 영역 사이의 모션 벡터이다.

모션 보상 유닛(130)은 부분 영역 지정 유닛(120)에 의해 지정된 고-상관 부분 영역, 및 고-상관 부분 영역에 대응하는 제1 프레임(210)의 영역을 획득한다. 또한, 유닛(130)은 고-상관 부분 영역 모션 벡터 계산 유닛(124)으로부터 고-상관 부분 영역 모션 벡터를 획득한다. 그 후 유닛(130)은 고-상관 부분 영역, 고-상관 부분 영역에 대응하는 제1 프레임(210)의 영역, 및 고-상관 부분 영역 모션 벡터에 기초하여 보간 프레임의 미리 결정된 영역에 대한 이미지를 생성한다. 이때, 모션 벡터는 변환을 스케일링하여 미리 정해진 위치에 보간 프레임을 생성하게 된다.

모션 보상 유닛(130)은 또한 부분 영역 지정 유닛(120)에 의해 지정된 저-상관 부분 영역, 및 저-상관 부분 영역에 대응하는 제3 프레임(230)의 영역을 획득한다. 또한, 유닛(130)은 저-상관 부분 영역 모션 벡터 계산 유닛(128)으로부터 저- 상관 부분 영역 모션 벡터를 획득한다. 그 후, 유닛(130)은 저-상관 부분 영역, 제3 프레임(230)의 대응하는 영역, 및 저-상관 부분 영역 모션 벡터에 기초하여 보간 프레임의 미리 결정된 영역에 대한 이미지를 생성한다.

상기 프로세싱에 의해 보간 프레임(300)의 미리 결정된 영역에 어떠한 이미지도 생성되지 않는 경우, 영역에 인접한 이미지, 제1 프레임(210), 제2 프레임(220) 등에 포함된 이미지, 및 이러한 프레임들 사이의 모션 벡터에 기초한 가중화된 평균값 또는 중앙값 프로세싱에 의해 영역의 이미지가 생성될 수 있다.

특히, 이미지가 생성되지 않은 영역에 주어진 모션 벡터의 평균값 또는 중앙값이 영역에 대한 이미지를 생성하기 위해 이용된다.

도 4는 보간 이미지 생성 장치(100)에 의한 보간 이미지 생성 프로세싱을 나타내는 흐름도이다. 먼저, 보간 이미지 생성 장치(100)는 입력 이미지를 획득한다. 장치(100)가 제1 프레임(210)을 이미 획득하였고, 프레임 메모리(106)가 제1 프레임(210)을 보유한다고 가정된다. 그 후, 블럭 생성 유닛(102)은 제1 프레임(210) 뒤에 오는 제2 프레임(220)을 획득한다(단계(S100)). 다음, 유닛(102)은 제2 프레임(220)을 분할하여 여러 제2 블럭(221 내지 229)을 획득한다(단계(S102)).

다음, 상관 블럭 추출 유닛(108)은 제2 블럭에 관하여 가장 상관된 블럭, 즉, 제1 블럭을 제1 프레임(210)으로부터 추출한다(단계(S104)). 여기서, 제1 블럭과 제2 블럭은 동일한 크기 및 모양을 갖는다.

상관 블럭 추출 유닛(108)은 특히 제2 블럭들에 포함된 각 픽셀의 값과, 제1 프레임(210)의 미리 결정된 블럭의 픽셀의 값 사이의 차이 값을 계산한다. 그 후, 차이 값들의 합이 가장 작은 블럭이 제1 블럭으로서 추출된다.

또다른 예로서, 제2 블럭들에 포함된 각 픽셀의 값과, 미리 결정된 임계값보다 크지 않은 제1 프레임(210)의 미리 결정된 블럭의 픽셀의 값 사이의 차이 값의 수가 카운팅된다. 카운팅된 수가 가장 큰 블럭이 제1 블럭으로서 가정될 수 있다.

다음, 부분 영역 지정 유닛(120)은 제1 블럭(210)의 고-상관 부분 영역 및 저-상관 부분 영역을 지정한다(단계(S200)). 고-상관 부분 영역은 제1 블럭에서 임계값과 동일하거나 그보다 큰 상관 값을 나타내는 픽셀을 포함하는 영역이다. 저-상관 부분 영역은 제1 블럭에서 임계값보다 작은 상관 값을 나타내는 픽셀을 포함하는 영역이다.

여기서, 고-상관 부분 영역 및 저-상관 부분 영역은 도 5 내지 9를 참조하여 기술될 것이다. 제2 블럭이 고-상관 부분 영역 및 저-상관 부분 영역으로 분할될 수 있지만, 제2 블럭 전체가 고-상관 부분 영역일 수 있는 경우가 기술될 것이다. 도 5는 제1 프레임(210) 및 제2 프레임(220)에 포함된 이미지들을 보여준다. 도 5에 도시된 제1 프레임(210)은 백그라운드 영역(430), 및 백그라운드 영역(430)에서 프레임의 수평 방향으로 이동하는 직사각형 이동 객체(432)를 포함한다. 백그라운드 영역(430)은 스틸 이미지이다. 제2 프레임(220)은 제1 프레임(210)과 유사하게 백그라운드 영역(430) 및 이동 객체(432)를 포함한다. 제2 프레임(220)에서, 이동 객체(432)는 제1 프레임(210)에서의 이동 객체(432)의 위치보다 우측으로 이동한다.

도 6에 도시된 바와 같이, 예를 들어, 제2 프레임(220)의 제2 블럭(225)과 가장 상관되는 영역은 제1 프레임(210)의 영역(211)이다. 그들의 이미지들은 백그라운드(430)에서만 매칭된다. 따라서, 이 영역은 고-상관 부분 영역이다. 다른 영역들은 저-상관 부분 영역이다. 즉, 도 7에 도시된 바와 같이, 제2 블럭(225)은 고-상관 부분 영역(2251) 및 저-상관 부분 영역(2252)으로 분할된다.

도 8에 도시된 바와 같이, 제2 프레임(220)의 제2 블럭(226)과 가장 상관되는 영역은 제1 프레임(210)의 영역(212)이다. 그들의 이미지들은 이동 객체(432)에서만 매칭된다. 따라서, 이 영역은 고-상관 부분 영역이다. 다른 영역들은 저-상관 부분 영역이다. 즉, 도 9에 도시된 바와 같이, 제2 블럭(226)은 고-상관 부분 영역(2261) 및 저-상관 부분 영역(2262)으로 분할된다.

도 4에 대한 설명으로 돌아간다. 타겟 부분 영역이 고-상관 부분 영역인 경우(단계(S202), 예), 고-상관 부분 영역 모션 벡터 계산 유닛(124)은 고-상관 부분 영역과, 고-상관 부분 영역에 대응하는 영역 사이의 고-상관 부분 영역 모션 벡터를 계산한다(단계(S204)). 여기서, 고-상관 부분 영역에 대응하는 영역은 제1 프레임(210)의 영역이고, 고-상관 부분 영역과 동일한 모양 및 크기를 갖는다.

도 5 내지 9에 설명된 예에서, 고-상관 부분 영역(2251)에 대한 모션 벡터, 및 고-상관 부분 영역(2261)에 대한 모션 벡터가 계산된다.

다음, 모션 보상 유닛(130)은 부분 영역 지정 유닛(120)에 의해 획득된 고-상관 부분 영역, 고-상관 부분 영역에 대응하는 제1 프레임(210)의 영역, 및 고-상관 부분 영역 모션 벡터 계산 유닛(124)에 의해 계산된 고-상관 부분 영역 모션 벡터에 기초하여 보간 프레임의 미리 결정된 영역에 대한 이미지를 생성한다(단계 (S206)).

도 10은 상기 프로세싱에 의해 생성된 보간 프레임(300)을 도시한다. 상기에 기술된 바와 같이, 보간 프레임(300)에서, 이동 객체(432)는 제1 프레임(210)의 이동 객체(432)와, 제2 프레임(220)의 이동 객체(432) 사이에 배치된다. 단계(S204) 및 단계(S206)의 프로세싱에서, 이미지는 이동 객체(432)의 양쪽에 있는 영역들(301 및 302)에는 할당되지 않는다.

타겟 부분 영역이 저-상관 부분 영역인 경우(단계(S202), 아니오), 저-상관 부분 영역 모션 벡터 계산 유닛(128)은 다른 프레임으로부터 저-상관 부분 영역에 대응하는 영역을 추출한다(단계(S220)). 본 실시예에서는, 유닛(128)이 제3 프레임(230)으로부터 추출한다. 다음, 저-상관 부분 영역 모션 벡터 계산 유닛(128)이 저-상관 부분 영역과, 제3 프레임(230)으로부터 추출된 대응하는 영역 사이의 저-상관 부분 영역 모션 벡터를 계산한다(단계(S222)). 여기서, 대응하는 영역은 저-상관 부분 영역과 동일한 모양 및 크기를 갖는다.

도 5 내지 9에 설명된 예에서, 저-상관 부분 영역(2252)에 대한 모션 벡터, 및 저-상관 부분 영역(2262)에 대한 모션 벡터가 계산된다.

단계(S220)의 저-상관 부분 영역 모션 벡터 계산 유닛(128)에 의한 프로세싱이 상세히 기술될 것이다. 도 10을 이용하여 기술된 바와 같이, 이미지가 할당되지 않은 영역들(301 및 302)은 보간 프레임(300)의 부분으로 남는다.

이 영역은 제1 프레임(210), 제2 프레임(220) 및 그들 사이의 모션 벡터에 의해 결정될 수 없는 영역, 즉, 폐색 영역(occlusion area)이다. 폐색 영역은, 예 를 들어, 제1 프레임의 또다른 객체에 의해 숨겨진 객체 또는 백그라운드가 제2 프레임에는 나타나는 경우에 나타난다. 이러한 영역의 이미지를 생성하기 위해서는, 저-상관 부분 영역에 대응하는 영역을 추출해야 한다.

제1 프레임(210)에서, 예를 들어, 저-상관 부분 영역(2252)에 나타내어진 백그라운드(430)와 동일한 백그라운드(430)가 존재하는 영역에 이동 객체(432)가 오버랩된다. 그러므로, 저-상관 부분 영역(2252)과 동일한 이미지가 제1 프레임(210)에는 존재하지 않는다.

그러나, 이동 객체(432)가 계속하여 이동하고 있기 때문에, 저-상관 부분 영역(2252)에 나타내어진 백그라운드(430)와 동일한 백그라운드(430)가 제1 프레임(210) 이외의 프레임에 포함된다. 즉, 제1 프레임(210) 이외의 프레임으로부터 동일한 이미지가 추출될 수 있다.

본 실시예에 따른 보간 이미지 생성 장치(100)는 제1 프레임(210) 및 제2 프레임(220) 이외의 프레임으로부터 저-상관 부분 영역(2252)과 동일한 백그라운드(430)(동일한 모양 및 크기)를 포함하는 영역을 추출한다. 본 실시예에서, 저-상관 부분 영역(2252)과 동일한 백그라운드(430)가 제2 프레임(220) 뒤에 오는 제3 프레임(230)으로부터 추출된다.

제2 프레임(220) 뒤에 오는 제3 프레임(230)이 본 실시예에서 검출할 타겟으로 가정되지만, 타겟 프레임은 제1 프레임(210) 및 제2 프레임(220) 이외의 프레임, 또는 제2 프레임(220)을 기준으로 하여 제1 프레임(210)에 시간적으로 반대 방향에 있는 프레임일 수 있으며, 제3 프레임(230)에 제한되지 않는다.

다음, 모션 보상 유닛(130)은 저-상관 부분 영역, 제3 프레임(230)의 대응하는 영역, 및 저-상관 부분 영역 모션 벡터 계산 유닛(128)에 의해 계산된 저-상관 부분 영역 모션 벡터에 기초하여 보간 프레임(300)의 미리 결정된 영역에 이미지를 할당한다(단계(S224)).

두 프레임 사이에 보간 프레임을 생성할 때, 두 프레임 이외의 프레임들이 참조되고, 이에 의해 보간 프레임의 폐색에도 정확하게 이미지를 할당한다.

도 11은 제1 실시예에 따른 보간 이미지 생성 장치(100)의 하드웨어 구성을 도시하는 도면이다. 보간 이미지 생성 장치(100)는 하드웨어 구성요소로서 보간 이미지 생성 장치(100)에서 보간 이미지 생성 프로세싱을 실행하기 위한 보간 이미지 생성 프로그램이 저장되는 ROM(52), ROM(52)의 프로그램에 따라 보간 이미지 생성 장치(100)의 각 유닛을 제어하기 위한 CPU(51), 보간 이미지 생성 장치(100)를 제어하기 위해 필요한 다양한 데이터 항목들을 저장하기 위한 RAM(53), 통신을 위해 네트워크에 연결하기 위한 통신 I/F(57), 및 각 유닛들을 연결하기 위한 버스(62)를 포함한다.

보간 이미지 생성 장치(100)의 전술된 보간 프레임 생성 프로그램은 설치가능한 형태 또는 실행가능한 형태의 파일을 갖는 CD-ROM, 플로피(트레이드마크) 디스크(FD) 또는 DVD와 같은 컴퓨터 판독가능 기록 매체에 기록되어 제공될 수 있다.

이러한 경우에, 소프트웨어 구성에서 기술된 각 유닛이 메인 저장 장치에 생성되도록, 보간 프레임 생성 프로그램이 기록 매체로부터 읽혀져 보간 이미지 생성 장치(100)에서 실행되어 메인 저장 장치에 로딩된다.

제1 실시예에 따른 보간 프레임 생성 프로그램은 인터넷과 같은 네트워크에 연결된 컴퓨터에 저장될 수 있고, 네트워크를 통해 다운로드되어 제공될 수 있다.

본 발명의 실시예를 사용하여 장치가 기술되었지만, 상기 실시예는 다양하게 수정 또는 개선될 수 있다.

제1 수정으로서, 본 실시예에서는, 블럭이 고-상관 부분 영역 및 저-상관 부분 영역으로 분할되고 모션 벡터가 각 부분 영역에 할당되지만, 그렇게 하는 대신에 모션 벡터가 블럭 기반으로 할당될 수 있다. 즉, 각 블럭이 고-상관으로 판정되든지 저-상관으로 판정되든지 상관없다. 고-상관 부분 영역 모션 벡터 계산 유닛(124)은 고-상관이라고 판정된 고-상관 블럭에 대한 모션 벡터를 계산한다. 저-상관 부분 영역 모션 벡터 계산 유닛(128)은 저-상관이라고 판정된 저-상관 블럭에 대한 모션 벡터를 계산한다.

제2 수정으로서, 저-상관 부분 영역은 또한 고-상관 영역 및 저-상관 영역으로 분할될 수 있고, 고-상관 부분 영역 모션 벡터 계산 유닛(124) 및 저-상관 부분 영역 모션 벡터 계산 유닛(128)은 개개의 영역에 대한 모션 벡터를 계산할 수 있다.

또한, 모션 추정, 상관 판정 및 모션 벡터 계산과 같은 프로세싱들은 저-상관 영역에 대해 재귀적으로 수행되어, 저-상관 부분 영역이 고-상관 영역 및 저-상관 영역으로 더 분할될 수 있고, 이때 획득된 저-상관 영역이 고-상관 영역 및 저-상관 영역으로 더 분할될 수 있다.

다음, 제2 실시예에 따른 보간 이미지 생성 장치(100)가 기술될 것이다. 제 2 실시예에 따른 보간 이미지 생성 장치(100)는 보간 프레임(300)을 블럭들로 분할하고, 보간 프레임(300)을 기준으로 하여 제1 프레임(210) 및 제2 프레임(220)으로부터 고-상관 영역을 검색함으로써 보간 프레임(300)을 생성한다. 제2 실시예에 따른 보간 이미지 생성 장치는, 이러한 점에서 제1 실시예에 따른 보간 이미지 생성 장치(100)와 다르다.

블럭 생성 유닛(102)은 보간될 프레임(300)을 보간될 여러 블럭들로 분할하여(이들은 매트릭스로 배열됨), 여러 보간 블럭들을 획득한다. 상관 블럭 추출 유닛(108)은 제1 프레임(210) 및 제2 프레임(220) 내의 보간될 각 블럭을 통하는 일직선상에 있는 영역들에 대해 상관 계산을 수행한다. 따라서, 한 쌍의 가장 상관된 영역이 추출된다.

도 12는 제2 실시예에 따른 보간 이미지 생성 장치(100)의 보간 이미지 생성 프로세싱을 나타내는 흐름도이다. 제2 프레임(220)을 획득한 후, 상관 블럭 추출 유닛(108)은 보간 프레임(300)을 분할하여 여러 보간 블럭들을 획득한다(단계(S300)). 다음, 보간될 블럭들과 동일한 크기 및 모양을 갖는 제1 블럭 및 제2 블럭이 제1 프레임(210) 및 제2 프레임(220)으로부터 추출된다(단계(S302)). 여기서, 제1 블럭 및 제2 블럭은 고-상관 블럭들이다.

도 13은 제1 블럭 및 제2 블럭을 추출하는 프로세싱을 설명하기 위한 도면이다. 도 13에 도시된 바와 같이, 보간 프레임(300)의 각 보간 블럭을 통하는 일직선상에 있는 한 쌍의 영역들이 제1 프레임 및 제2 프레임으로부터 제1 블럭 및 제2 블럭으로서 추출된다. 즉, 보간 블럭을 기준으로 하여 제1 블럭, 및 제1 블럭에 대응하는 위치에 배치된 제2 블럭이 추출된다.

제1 블럭 및 제2 블럭의 쌍은 여러 후보를 갖는다. 제1 실시예에 기술된 가장 상관된 블럭을 판정하기 위한 방법에 의해 제1 블럭(212) 및 제2 블럭(222)의 블럭 쌍이 여러 후보로부터 선택된다.

단계(S200)에서, 블럭의 고-상관 부분 영역 및 저-상관 부분 영역이 단계(S302)에서 획득된 블럭 쌍에서 지정된다. 프로세싱될 영역이 고-상관 부분 영역인 경우(단계(S202), 예), 단계(S204) 및 단계(S206)의 프로세싱이 수행된다.

한편, 프로세싱될 영역이 저-상관 부분 영역인 경우(단계(S202), 아니오), 저-상관 부분 영역 모션 벡터 계산 유닛(128)이 다른 프레임으로부터 저-상관 부분 영역에 대응하는 영역을 추출한다(단계(S310)). 본 실시예에서는, 제로 프레임(200) 또는 제3 프레임(230)을 사용하여 추출된다. 추출될 영역은 저-상관 부분 영역과 동일한 크기 및 모양을 갖는 영역이다.

다음, 저-상관 부분 영역 모션 벡터 계산 유닛(128)은 저-상관 부분 영역과, 제로 프레임(200) 또는 제3 프레임(230)으로부터 추출된 영역 사이의 모션 벡터를 계산한다(단계(S213)). 그 후, 모션 보상 유닛(130)은 저-상관 부분 영역, 대응하는 영역, 및 저-상관 부분 영역 모션 벡터 계산 유닛(128)에 의해 계산된 저-상관 부분 영역 모션 벡터에 기초하여 보간 프레임(300)의 미리 결정된 영역에 이미지를 할당한다(단계(S314)).

도 14 및 15는 저-상관 부분 영역에 대한 프로세싱(단계(S310) 내지 단계(S314))을 설명하기 위한 도면이다. 도 14에 도시된 바와 같이, 이동 객체(434)가 제로 프레임(200)으로부터 제3 프레임(230)으로 갈수록 프레임의 좌측에서부터 우측으로 이동하고 있다고 가정된다. 이러한 경우에, 도 15에 도시된 바와 같이, 보간 프레임(300)의 보간 블럭들(301, 302, 303, 304, 306, 307, 308 및 309)은 고-상관 영역에 있다. 백그라운드(430)는 단계(S204) 및 단계(S206)의 프로세싱에 의해 영역에 할당된다.

도 16은 도 15에 도시된 보간 블럭(305)을 도시한다. 보간될 블럭(305)의 중심에 있는 영역(3051)은 고-상관 영역이다. 이동 객체(434)는 단계(S204) 및 단계(S206)의 프로세싱에 의해 이 영역에 할당된다.

보간 블럭(305)의 양쪽에 있는 영역들(3052 및 3053)은 저-상관 부분 영역에 대응하는 영역들이며, 폐색 영역이다. 백그라운드(430)는 제로 프레임(200) 및 제3 프레임(230)을 이용함으로써 단계(S310) 내지 단계(S314)로부터의 프로세싱에 의해 영역에 할당된다.

영역(3052 및 3053)에 할당될 이미지는 제로 프레임(200) 또는 제3 프레임(230)에 존재한다. 그러므로, 제로 프레임(200) 또는 제3 프레임(230)에 존재하는 이미지가 할당될 수 있다. 또한 제로 프레임(200)의 이미지가 할당되는지 제3 프레임(230)의 이미지가 할당되는지를 결정하는 프로세싱이 수행된다.

즉, 제1 프레임(210) 및 제2 프레임(220)의 고-상관 부분 영역들이 마스크된다. 그 후, 영역들(3052 및 3053)에 할당될 이미지를 지정하기 위하여, 마스크되지 않은 영역, 즉, 저-상관 부분 영역과, 그들의 외부 프레임(제로 프레임(200) 또는 제3 프레임(230)) 사이의 상관이 판정된다.

도 17은 영역(3052)에 이미지를 할당하는 프로세싱을 설명하기 위한 도면이다. 영역(3052)에 할당될 이미지를 지정할 때, 영역(3052)을 기준으로 하여 제1 프레임(210)의 저-상관 부분 영역(2101)과, 제로 프레임(200)의 미리 결정된 영역 사이의 매칭이 수행된다. 또한, 영역(3052)이 기준이라고 가정하여, 제2 프레임(220)의 저-상관 부분 영역(2101)과, 제3 프레임(230)의 미리 결정된 영역 사이의 매칭이 수행된다.

제1 프레임(210)과 제로 프레임(200) 사이를 매칭시킬 때, 제1 프레임(210)의 영역은 마스킹에 의해 저-상관 부분 영역(2101)에만 제한된다. 따라서, 제로 프레임(200)에서 보간 프레임(300)의 영역(3052)을 시작점으로 하여, 제1 프레임(210)의 저-상관 부분 영역(2101)을 거쳐 모션 벡터(MV10)에 의해 결정된 영역(2001)과의 매칭만이 수행된다. 이러한 방식으로, 제로 프레임(200)의 영역(2001)에만 매칭이 제한되도록 제1 프레임(210)이 마스크된다. 제1 프레임(210)의 저-상관 부분 영역(2101)과, 제로 프레임(200)의 영역(2001) 사이의 상관은 낮다.

제2 프레임(220)과 제3 프레임(230) 사이를 매칭시킬 때, 제2 프레임(220)의 영역은 마스킹에 의해 저-상관 부분 영역(2201)에 제한된다. 따라서, 제3 프레임(230)에서 보간 프레임(300)의 영역(3052)을 시작점으로 하여, 제2 프레임(220)의 저-상관 부분 영역(2201)을 거쳐 모션 벡터(MV12)에 의해 결정된 영역(2301)과의 매칭만이 수행된다. 이러한 방식으로, 제3 프레임(230)의 영역(2301)에만 매칭이 제한되도록 제2 프레임(220)에 대한 마스킹이 수행된다. 제2 프레임(220)의 저-상관 부분 영역(2201)의 좌측에 있는 영역(2202)과, 제3 프레임(230)의 영역(2301)의 좌측에 있는 영역(2302)은 동일한 백그라운드(430)를 가지며, 높은 상관을 갖는다.

상기 기술된 바와 같이, 제로 프레임(200)과 제3 프레임(230) 중 단 하나로부터 고-상관 영역을 검출하는 것이 가능하다. 따라서, 고-상관 영역이 영역(3052)에 할당된다.

이러한 방식으로, 제1 프레임(210) 및 제2 프레임(220)의 저-상관 부분 영역들에 대해서만 외부 프레임과의 매칭이 수행되고, 이에 의해 적합한 이미지를 폐색 영역에 할당한다.

도 18은 영역(3053)에 이미지를 할당하는 프로세싱을 설명하기 위한 도면이다. 영역(3053)에 할당될 이미지를 지정할 때에도, 영역(3052)에의 경우와 유사하게, 영역(3053)을 기준으로 하여 제1 프레임(210)의 저-상관 부분 영역(2101)과, 제로 프레임(200)의 영역 사이의 매칭이 수행된다. 또한, 영역(3053)을 기준으로 하여 제2 프레임(220)의 저-상관 부분 영역(2201)과, 제3 프레임(230)의 영역 사이의 매칭이 수행된다.

제1 프레임(210)과 제로 프레임(200) 사이를 매칭시킬 때, 제로 프레임에서 보간 프레임(300)의 영역(3053)을 시작점으로 하여, 제1 프레임(210)의 저-상관 부분 영역(2101)을 거쳐 모션 벡터(MV20)에 의해 결정된 영역(2005)과의 매칭만이 수행된다.

제1 프레임(210)의 저-상관 부분 영역(2102), 제3 프레임(230)의 영역(2301)의 좌측 영역(2302), 및 제로 프레임(200)의 영역(2005)의 좌측 영역(2006)은 동일한 백그라운드(430)를 가지며, 높은 상관을 갖는다.

제2 프레임(220)과 제3 프레임(230) 사이를 매칭시킬 때, 제3 프레임(230)에서 보간 프레임(300)의 영역(3053)을 시작점으로 하여, 제2 프레임(220)의 저-상관 부분 영역(2201)을 거쳐 모션 벡터(MV22)에 의해 결정된 영역(2301)과의 매칭만이 수행된다. 제2 프레임(220)의 저-상관 부분 영역(2201)과, 제3 프레임(230)의 영역(2301)의 상관은 낮다. 상기 기술된 바와 같이, 제1 프레임(210)의 영역(2102), 및 제로 프레임의 영역(2006)이 영역(3053)에 할당되며, 이들은 높은 상관을 갖는다.

다른 프레임을 기준으로 하여도 이미지가 할당되지 않은 영역에 대한 적합한 모션 벡터가 지정되지 않는 경우, 이미지가 할당되지 않은 영역 주변의 영역에 주어진 모션 벡터의 평균값 또는 중앙값이 이 영역에 대한 이미지를 생성하기 위한 이 영역에 대한 모션 벡터로서 가정될 수 있다.

제2 실시예에 따른 보간 이미지 생성 장치(100)에서, 두 개의 상이한 모션 벡터에 대응하는 이미지들이 하나의 블럭에 존재하는 경우가 기술되었지만, 본 발명은 이에 제한되지는 않는다.

예를 들어, 3개 이상의 상이한 모션 벡터에 대응하는 이미지들이 하나의 블럭에 존재하는 경우, 그들에 대응하는 모션 벡터들만이 계산될 수 있다. 또한, 그들에 대응하는 부분 영역들만이 추출될 수 있다. 따라서, 여러 모션 벡터에 대응하는 이미지들이 존재하는 두 개의 프레임으로부터 매우 정확하게 보간 프레임을 생성할 수 있다.

게다가, 여러 모션 벡터가 하나의 영역에 주어질 수 있다. 이러한 경우에, 여러 주어진 모션 벡터들에 의해 각각 지정되는 기준 프레임의 이미지들의 평균값이 보간 프레임에 할당된다.

다른 예로서, 여러 주어진 모션 벡터들에 의해 지정된 영역들 사이의 상관 값에 의해 모션 벡터가 선택될 수 있다. 특히, 주어진 모션 벡터들에 의해 지정될 영역들이 여러 기준 프레임에서 지정된다. 예를 들어, 두 개의 기준 프레임의 영역들이 지정된다. 그러면, 지정된 여러 영역들 사이의 상관 값이 알려진다. 이것은 개개의 주어진 모션 벡터들에 대해 수행된다. 가장 작은 상관 값에 대응하는 모션 벡터가 선택된다. 선택된 모션 벡터에 기초하여 이미지가 영역에 할당된다.

도 19는 제3 실시예에 따른 보간 이미지 생성 장치(500)의 전체 구조를 나타내는 블럭도이다. 제3 실시예에 따른 보간 이미지 생성 장치(500)는 저-상관 영역, 즉, 모션 벡터 미검출 영역의 주변의 모션 벡터에 기초하여 모션 벡터 미검출 영역에 모션 벡터를 제공한다.

보간 이미지 생성 장치(500)는 프레임 메모리 유닛(502), 영역 생성 유닛(504), 모션 추정 유닛(506), 상관 판정 유닛(508), 모션 벡터 검출 영역 프로세싱 유닛(510), 모션 벡터 미검출 영역 프로세싱 유닛(512) 및 모션 보상 유닛(514)을 포함한다.

도 20은 보간 프레임을 설명하기 위한 도면이다. 도 20은 입력 이미지에 포함된 두 개의 연속적인 기준 프레임, 즉, 제1 기준 프레임(210) 및 제2 기준 프레임(220)을 도시한다. 제1 기준 프레임(210)과 제2 기준 프레임(220) 사이에 보간하기 위한 보간 프레임(300)을 생성하는 경우가 기술될 것이다.

두 개의 연속적인 프레임, 즉, 제1 기준 프레임(210)과 제2 기준 프레임(220) 사이에 보간 프레임을 생성하는 경우가 본원에 기술될 것이지만, 보간 이미지 생성 장치에 의해 생성될 보간 프레임은 두 개의 상이한 기준 프레임 사이에 보간하기 위한 프레임일 수 있으며, 본 실시예에 제한되지는 않는다.

영역 생성 유닛(504)은 프레임 메모리 유닛(502)으로부터 제1 기준 프레임(210)을 추출한다. 그 후, 여러 픽셀로 구성된 기준 영역들로 제1 기준 프레임(210)을 분할한다.

도 21은 기준 영역을 설명하기 위한 도면이다. 본 실시예에서, 영역 생성 유닛(504)은 도 21에 도시된 바와 같이 각각 5개의 세로 픽셀 × 5개의 가로 픽셀로 구성된 정사각형 영역으로 프레임을 분할한다. 즉, 제1 기준 프레임(210)은 기준 영역(2102a)으로부터 기준 영역(2102p)까지의 16개의 기준 영역들로 분할된다. 기준 영역의 모양 및 크기는 본 실시예에서의 것으로 제한되지 않으며, 본 실시예에서와 상이할 수 있다.

모션 추정 유닛(506)은 제2 기준 프레임(220)에 기초하여 제1 기준 프레임(210)의 여러 기준 영역들의 개개의 모션 벡터들을 계산한다. 상관 판정 유닛(508)은 제2 기준 프레임(220)의 미리 결정된 영역과, 제1 기준 프레임(210)의 여러 기준 영역들 각각의 사이의 상관을 판정한다.

모션 벡터 검출 영역 프로세싱 유닛(510)은 상관 판정 유닛(508)에 의해 고-상관인 것으로 판정되는, 즉, 모션 벡터 검출 영역에 대한 것으로 판정되는, 기준 영역들의 영역에 대한 프로세싱을 수행한다. 모션 벡터 미검출 영역 프로세싱 유 닛(512)은 상관 판정 유닛(508)에 의해 저-상관으로 판정되는, 즉, 모션 벡터 미검출 영역에 대한 것으로 판정되는, 기준 영역들의 영역에 대한 프로세싱을 수행한다. 모션 보상 유닛(514)은 모션 벡터 검출/미검출 영역 프로세싱 유닛(510 및 512)에 의한 프로세싱에 기초하여 보간 이미지 생성 장치(500)의 미리 결정된 영역에 대한 이미지를 생성한다.

도 22는 제3 실시예에 따른 보간 이미지 생성 장치(500)에 의한 고-상관 영역 모션 벡터 할당 프로세싱을 나타내는 흐름도이다. 상관 판정 시작 단계(S501)는 입력 기준 프레임의 모든 픽셀이 "저-상관"인 것으로 가정한다.

먼저, 제1 기준 프레임(210) 및 제2 기준 프레임(220)의 모든 픽셀을 저-상관으로 설정한다(단계(S501)). 다음, 제1 기준 프레임(210)을 n개의 기준 영역들로 분할한다(단계(S502)). 도 21에 도시된 바와 같이, 본 실시예에서 제1 기준 프레임(210)은 16개의 기준 영역들로 분할된다.

다음으로, 모션 추정 횟수 t를 설정한다(단계(S503)). 여기에서, 모션 추정 횟수 t는 기준 영역 추출 프로세싱(단계(S504))으로부터 이하에 설명되는 상관 판정 프로세싱(단계(S507))으로의 프로세싱의 횟수이다.

본 발명에 따른 보간 이미지 생성 장치(500)는 기준 영역을 고-상관 영역 및 저-상관 영역으로 분할한다. 결과로서 생긴 저-상관 영역은 고-상관 영역 및 저-상관 영역으로 더 분할된다. 전술된 바와 같이, 기준 영역을 미세한 영역들로 분할하는 프로세싱은 반복된다. 즉, 재귀적인 프로세싱이 수행된다. 모션 추정 횟수 t는 이 프로세싱의 횟수에 대응한다. 본 실시예에서, 모션 추정 횟수 t는 2로 설정되고, 동시에, 현재의 모션 추정 횟수를 나타내는 카운터는 1로 설정된다. 모션 추정 횟수 t가 2로 설정될 때, S504 이후의 프로세싱은 두번 수행된다.

모션 추정 횟수 t는 자연히 1로 설정될 수 있다. 따라서, 전체 기준 영역은 고-상관 영역 또는 저-상관 영역이 된다. 다른 예로서, 모션 추정 횟수 t는 설정되지 않을 수 있다. 대신에, 프로세싱은 자동적으로, 기준 영역 내에서 고-상관 영역이 검출되지 않을 때까지 반복될 수 있다.

다음으로, 모션 추정 프로세싱이 수행될 기준 영역을 추출한다(단계(S504)). 본 실시예에서는, 도 21에 나타낸 바와 같이 16개의 기준 영역들이 있다. 따라서, 기준 영역의 개수 n은 16으로 설정된다. 현재의 모션 추정 횟수를 나타내는 카운터 t는 1로 설정된다.

다음으로, 기준 영역 추출 프로세싱에서 프로세싱되도록 추출된 기준 영역에서 저-상관 영역(이후, "제1 기준 영역"이라고 불림)을 추출하는데(단계(S504)), 이것은 제2 기준 프레임(220)에서 저-상관으로 설정된 저-상관 영역으로부터 저-상관 영역 및 고-상관 영역으로 설정된다(단계(S505)). 추출된 영역은 제2 추출 영역으로 참조된다.

특히, 제1 기준 영역과 동일한 크기 및 형상을 갖는 몇몇 영역은 제2 기준 프레임 내의 저-상관 영역에서 설정된다. 각각의 영역에서 절대 차이 값의 합이 계산되고, 그 합이 가장 작은 영역이 제2 기준 영역으로서 추출된다. 절대 차이 값은 제2 기준 영역 내의 픽셀들과 그 픽셀들에 대응하는 제1 기준 영역 내의 픽셀들 사이의 차이 값의 절대 값이다.

다른 예로서, 제1 기준 영역 및 제2 기준 프레임(220) 내의 미리 결정된 영역에 대응하는 각각의 픽셀들에 대한 절대 차이 값이 소정의 임계값보다 크지 않은 픽셀들의 개수가 카운팅되고, 카운팅된 개수가 가장 큰 영역이 제2 기준 영역으로서 추출될 수 있다.

저-상관 설정 프로세싱에서 모든 픽셀이 저-상관으로 설정되기 때문에(단계(S501)), 제1 회에서 고-상관 영역을 추출하는 프로세싱이 수행될 때(단계(S505)), 모든 기준 영역은 저-상관으로 설정되고, 제2 기준 프레임 내의 모든 영역은 저-상관으로 설정된다.

그 후, 제1 기준 프레임(210) 내의 저-상관 영역, 및 제2 기준 프레임(220) 내의 저-상관 영역을 이용하여 모션 벡터 MV를 찾는다(단계(S505)). 이번에는 제2 기준 프레임(220) 내의 고-상관 영역은 이용되지 않는다. 따라서, 더 적절한 모션 벡터가 계산될 수 있다.

본 실시예에서, 도 23에 나타낸 바와 같이, 제1 기준 프레임(210) 내의 기준 영역에 대한, 제2 기준 프레임(220) 내의 가장 상관된 영역 위치(모션 벡터)가 발견되고, 그 사이의 모션 벡터가 계산된다. 제1 재귀적인 프로세싱(t=1)에서, 제1 참조 프레임(210)(5개의 수평 픽셀과 5개의 수직 픽셀로 형성된 사각 영역으로 구성된 블럭) 상의 기준 영역 내의 모든 픽셀은 "저-상관"이기 때문에, 일반적인 블럭 매칭과 동일한 상관 계산이 수행된다.

다음으로, 모션 추정 프로세싱에서 추출된 제1 기준 영역 및 제2 기준 영역에 대한 영역 내의 픽셀별 상관을 계산하기 위해(단계(S505)), 각각의 대응하는 픽 셀에 대한 상관 계산이 수행된다(단계(S506)). 본 실시예에서, 절대 차이 값은 상관 값으로서 계산된다.

다음으로, 픽셀별 상관 판정은 영역내 상관 계산에서의 상관 계산 결과에 기초하여 행해지고(단계(S506)), 제1 기준 영역 및 제2 기준 영역은 고-상관 영역 및 저-상관 영역으로 분류된다(단계(S507)). 고-상관으로 판정된 픽셀의 설정은 "저-상관"에서 "고-상관"으로 변경되고, 모션 추정 프로세싱에서 발견된(단계(S505)) 모션 벡터 MV는 고-상관 영역에 제공된다(단계(S508)).

상기 프로세싱은 제1 기준 프레임(210) 내의 모든 제1 기준 영역들(16개의 영역들)에 대해 수행되고, 모션 추정 횟수 t(단계(S509, S510))만큼 반복된다. 고-상관 영역 모션 벡터 할당 프로세싱이 완료된다.

이후, 프로세싱 타겟 기준 영역 추출 프로세싱(단계(S504)) 이후의 프로세싱이 상세하게 설명될 것이다. 도 24는 부동 배경(440) 상에서 객체(442)가 이동하는 프레임을 나타내는 도면이다.

도 25는 프로세싱 타겟 기준 영역 추출 프로세싱(단계(S504))에서 추출된 제1 기준 영역(212f)에 대한 모션 추정 프로세싱(단계(S505))에서 추출된 제2 기준 영역(222f)을 나타내는 도면이다. 이러한 방식으로, 제1 기준 영역과 가장 상관된 영역은 제2 기준 영역으로서 추출된다.

도 26은 픽셀별로 모션 추정 프로세싱(단계(S505))에서 추출된 제1 기준 영역(212f) 및 제2 기준 영역(222f)을 나타내는 도면이다. 이 도면에서의 숫자는 각각의 픽셀의 휘도 값을 나타낸다. 영역내 상관 계산 단계(S506)에서, 기준 영역 내의 픽셀별 상관을 판정하기 위해, 각각의 대응하는 픽셀에 대한 휘도 값에 기초한 상관 계산이 제1 기준 영역과 제2 기준 영역의 쌍에 대해 수행된다. 도시된 예에서, 절대 차이 값은 상관 계산 값으로서 계산된다.

도 27은 상관 계산 결과를 나타내는 도면이다. 도 28은 도 27에 도시된 상관 계산 결과에 기초하여 고-상관 영역과 저-상관 영역으로 분류된 기준 영역(212f) 및 기준 영역(222f)을 나타내는 도면이다.

고-상관 또는 저-상관에 대한 판정에 있어서, 영역내 상관 계산(단계(S506))에서 구한 절대 차이 값 계산 결과에서 임계값이 설정되고, 계산 결과가 임계값보다 크지 않을 때, 영역은 고-상관으로 판정되고, 계산 결과가 임계값보다 더 클 때, 영역은 저-상관으로 판정된다. 도 28에 나타낸 예에서, 절대 차이 값의 계산 결과가 24인 픽셀은 저-상관으로 판정되고, 0인 픽셀은 고-상관으로 판정된다. 그 후, 모션 추정 프로세싱(단계(S505))에서 발견된 모션 벡터 MV는 도 28에 나타낸 고-상관 영역에 제공된다.

도 29는 제1 기준 프레임(210) 및 제2 기준 프레임(220) 내의 고-상관 영역 및 저-상관 영역을 나타내는 도면이다. 프로세싱 타겟 기준 영역 추출 프로세싱(단계(S504))으로부터 모션 벡터 제공 프로세싱(단계(S508))까지가 제1 기준 프레임(210) 상의 기준 영역(212a)에서부터 기준 영역(212p)까지 수행되고(단계(S509)), 이에 의해, 도 29에 나타낸 바와 같이 제1 기준 프레임(210)이 고-상관 영역과 저-상관 영역으로 분류된다.

본 실시예에서, 모션 추정 횟수 설정 프로세싱(단계(S503))에서 모션 추정 횟수 t는 2로 설정된다. 따라서, 단계(S504)에서부터 단계(S509)까지의 프로세싱은 도 29에 나타낸 제1 기준 프레임(210) 내의 저-상관 영역에 대해 다시 반복된다(단계(S511)).

도 30은 모션 측정 횟수 t가 2일 때 기준 영역 추출 프로세싱(단계(S504))에서 추출된 제1 기준 영역(232f), 및 제1 기준 영역(232f)에 대한 모션 추정 프로세싱(단계(S505))에 의해 추출된 제2 기준 영역(242f)을 나타내는 도면이다. 여기서, 제1 기준 영역(232f)은 모션 추정 횟수 t가 1일 때 상관 분류 프로세싱(단계(S507))에서 저-상관으로 설정된 제1 기준 영역(212f) 내의 저-상관 영역이다.

도 31은 모션 추정 프로세싱(단계(S505))에 추출된 제2 기준 프레임(220) 내의 제1 기준 영역(232f) 및 제2 기준 영역(242f) 내의 각 픽셀의 휘도 값을 나타내는 도면이다. 도 32는 영역내 상관 계산 프로세싱(단계(S506))에서의 상관 계산 값(절대 차이 값)을 나타내는 도면이다.

도 33은 상관 판정 프로세싱(단계(S507))에서 분류된 제1 기준 영역(232f) 및 제2 기준 영역(242f) 내의 고-상관 영역을 나타내는 도면이다. 이 예에서, 도 33에 나타낸 바와 같이, 전체 기준 영역은 고-상관 영역이다. 모션 추정 프로세싱(단계(S505))에서 발견된 모션 벡터 MV62가 고-상관으로 판정된 전체 기준 영역에 제공된다. 마찬가지로, 제2 프로세싱이 모든 기준 영역에 대해 수행되어, 상관 판정 프로세싱이 완료된다.

상술된 바와 같이, 한 기준 영역에 몇몇 모션이 포함될 때에도, 개별 모션에 대응하는 몇몇 모션 벡터가 발견될 수 있다.

도 34는 상관 판정 프로세싱이 완료될 때, 제1 기준 프레임(210) 및 제2 기준 프레임(220) 사이의 상관을 나타내는 도면이다. 도 34에 나타낸 바와 같이, 기준 영역이 분할되고, 기준 영역에서 몇몇 모션 벡터를 발견하는 데 두개의 기준 프레임이 이용될 때, 모션 벡터를 발견할 수 없는 영역, 즉, 모션 벡터 미검출 영역(2104)이 생겨난다. 이 영역은, 객체에 의해 가려진 배경이 객체에 의해 이동하기 때문에 나타나고, 보여진 배경이 객체에 의해 가려지기 때문에 사라지는데, 이것은 두개의 기준 프레임 사이에 매칭이 수행될 수 없으며, 폐색 영역으로 참조되는 영역이다. 또한, 그것은 노이즈 등으로 인해 두개의 프레임 사이에 매칭이 수행될 수 없는 영역을 포함한다.

모션 벡터 미검출 영역 프로세싱 유닛(512)은 두 프레임 사이에서 모션 벡터를 발견할 수 없는 영역의 모션 벡터를 발견한다. 도 35는 모션 벡터 미검출 영역 프로세싱 유닛(512)에 의한 모션 벡터 미검출 영역 프로세싱을 나타내는 흐름도이다. 우선, 모션 벡터 미검출 영역 프로세싱 유닛(512)이 제1 기준 프레임으로부터 저-상관 영역, 즉, 모션 벡터 미검출 영역을 추출한다(단계(S601)).

다음으로, 모션 벡터 미검출 영역(2104) 주변의 픽셀에 할당된 모션 벡터가 모션 벡터 미검출 영역(2104)의 모션 벡터 후보로서 추출된다(단계(S602)). 주위의 픽셀은 바람직하게, 모션 벡터 미검출 영역(2104)에 인접한 픽셀이다.

폐색 영역은 주위와 다른 모션 벡터를 가질 가능성이 낮다. 즉, 폐색 영역은 폐색 영역 주변의 영역 내에 있는 모션 벡터와 동일한 모션 벡터를 가질 가능성이 높다. 따라서, 단계(S202)에서, 모션 벡터 미검출 영역(2104) 주변의 모션 벡 터는 모션 벡터 미검출 영역의 모션 벡터 후보로서 추출된다.

도 36은 모션 벡터 미검출 영역(2104) 주변의 모션 벡터를 설명하기 위한 도면이다. 도 36에 나타낸 바와 같이, 모션 벡터 미검출 영역(2104) 주변의 모션 벡터는 객체(442)에 대응하는 영역(2105)의 모션 벡터 MV30, 및 배경(440)에 대응하는 고-상관 영역(2106)의 모션 벡터 MV32를 포함한다. 그것들 중 임의의 하나는 모션 벡터 미검출 영역(2104)에 할당된다.

도 35에 대해 다시 설명한다. 주변의 모션 벡터를 추출한 후에, 제1 기준 프레임(210) 상의 모션 벡터 미검출 영역(2104), 및 단계(S602)에서 추출된 주위의 모션 벡터를 -1로 곱하여 획득된 벡터에 의해 지정된 제3 기준 프레임(230) 내의 영역을 추출한다(단계(S603)).

폐색 영역은 두개의 기준 프레임으로부터 모션 벡터가 발견될 수 없는 영역이다. 도 37에 도시된 바와 같이, 몇몇 모션 벡터 후보들 중에서 모션 벡터 미검출 영역(2104)에 대한 하나의 모션 벡터를 선택하기 위해, 제1 기준 프레임 및 제2 기준 프레임과 시간적으로 반대의 방향에 있는 다른 제3 기준 프레임이 이용된다.

도 38은 영역 추출 프로세싱(단계(S603))에서 추출된 제3 기준 프레임(230) 내의 영역을 나타내는 도면이다. 도 38에 나타낸 바와 같이, 영역(2304a 및 2304b)은 개별적으로 모션 벡터 MV30 및 모션 벡터 MV32로부터 추출된다.

도 35에 대해 다시 설명한다. 영역 추출 프로세싱(단계(S603))에서 추출된 영역(2304a 및 2304b)과 모션 벡터 미검출 영역(2104) 사이의 상관 계산이 개별적으로 수행된다(단계(S604)). 본 실시예에서, 절대 차이 값은 상관 값으로서 계산 된다.

다음으로, 몇몇 모션 벡터 후보로부터 최적의 모션 벡터를 선택한다(단계(S605)). 특히, 상관 계산 프로세싱(단계(S604))에서의 상관 계산 결과에 기초하여 모션 벡터 미검출 영역에 대한 모션 벡터로서 가장 상관된 영역에 대한 모션 벡터 후보가 선택된다.

본 실시예에서, 절대 차이 값이 가장 작은 영역에 대응하는 모션 벡터 후보가 모션 벡터 미검출 영역에 대한 모션 벡터로서 선택된다.

도 38의 예에서, 모션 벡터 MV30에 의해 지정된 영역(2304a)은 객체(442)가 존재하는 영역이다. 한편, 모션 벡터 MV32에 의해 지정된 영역(2304b)은 배경(440)에 대응하는 영역이다. 따라서, 영역(2304b)은 모션 벡터 미검출 영역(2104)과 고-상관된다. 따라서, 영역(2304b)에 대응하는 모션 벡터 MV32는 모션 벡터 미검출 영역의 모션 벡터로서 선택된다.

모션 벡터 미검출 영역과 제3 기준 프레임(230) 내의 영역 사이의 상관 계산은 바람직하게 픽셀별로 수행된다. 따라서, 모션 벡터는 픽셀별로 정확히 선택될 수 있다.

또한, 다른 예로서, 상관 계산은 모션 벡터 미검출 영역의 형상별로 수행될 수 있다. 또한, 또 다른 예로서, 상관 계산은 블럭별로 수행될 수 있다.

도 39는 모션 벡터 미검출 영역(2104) 주변에 몇몇 모션 벡터(mv2, mv11 내지 mv13)가 존재할 때의 프로세싱을 설명하기 위한 도면이다. 이 경우에, 도 35를 참조하여 설명된 모션 벡터 미검출 영역 프로세싱에 따라, 주위의 영역의 모션 벡 터(mw2, mw11 내지 mv13)가 개별적으로 모션 벡터 미검출 영역(2104) 내의 픽셀에 적용된다. 그 후, 각각의 모션 벡터에 의해 지정된 제3 기준 프레임(230) 내의 영역과 모션 벡터 미검출 영역(2104) 사이의 상관 계산이 수행된다. 가장 상관된 영역에 대한 모션 벡터 후보는 모션 벡터 미검출 영역(2104)에 대한 모션 벡터로서 선택된다.

이러한 방식으로, 모션 벡터 미검출 영역(2104) 주위에 네 개 이상의 모션 벡터가 존재할 때에도, 그로부터의 최적의 모션 벡터가 모션 벡터 미검출 영역에 대한 모션 벡터로서 선택될 수 있다.

상술된 바와 같이, 모션 벡터 미검출 영역(2104)의 모션 벡터가 검출된다. 제3 기준 프레임(230)이 모션 추정이 아닌, 모션 벡터 후보로부터 모션 벡터를 선택하기 위해 이용되고, 따라서 계산 양이 감소된다.

객체는 제1 기준 프레임 내의 다른 객체에 의해 가려질 수 있다. 객체는 배경 및 다른 객체 둘 모두와 다른 모션을 가질 수 있다. 그 후, 객체는 제2 기준 프레임 내의 폐색 영역으로서 나타날 수 있다.

이 경우에, 본 발명이 폐색 영역의 정확한 모션 벡터를 발견하는 것은 어렵다. 따라서, 모션 벡터 선택 프로세싱(단계(S605))에서 선택된 모션 벡터에 의해 지정된 제3 기준 프레임(230) 내의 영역과 모션 벡터 미검출 영역(2104) 사이의 상관 계산 값에 기초하여, 선택된 모션 벡터가 모션 벡터 미검출 영역에 할당되는지를 판정한다.

특히, 상관 계산 값의 임계값은 미리 설정된다. 그 후, 모션 벡터 선택 프 로세싱(단계(S605))에서 선택된 모션 벡터에 의해 지정된 제3 기준 프레임(230) 및 제2 기준 프레임(220) 내의 영역과 모션 벡터 미검출 영역(2104) 사이의 상관 계산이 수행된다. 상관 값이 임계값보다 작을 때, 즉, 두 영역 내의 이미지들이 유사할 때(단계(S606), 예), 모션 벡터 선택 프로세싱(단계(S605))에서 선택된 모션 벡터는 모션 벡터로서 모션 벡터 미검출 영역에 할당될 것으로 판정된다(단계(S608)).

한편, 상관값이 임계값보다 작지 않으면(단계(S606), 아니오), 모션 벡터 미검출 영역(2104)에 대해 모션 벡터를 계산(단계(S607))하기 위해, 모션 벡터 선택 프로세싱(단계(S605))에서 선택된 모션 벡터를 이용하지 않고서, 모션 벡터 미검출 영역(2104) 및 제3 기준 프레임에 의한 모션 추정이 수행된다. 즉, 모션 추정은 제1 실시예에 따른 보간 이미지 생성 장치(100)에서의 것과 유사한 프로세싱에 의해 수행된다.

모션 보상 유닛(514)은 모션 추정 유닛(506) 및 모션 벡터 미검출 영역 프로세싱 유닛(512) 내에서 발견된 모션 벡터를 이용하여, 모션 보상을 수행한다. 도 40에 나타낸 바와 같이, 모션 벡터는 보간 프레임 생성 위치에 따라 스케일 변환되며, 이에 의해, 미리 결정된 위치에서 보간 프레임을 생성한다. 모션 보상 방법은 특별히 한정되지 않는다.

모션 보상이 전술된 프로세싱에 의해 수행될 때, 적용된 영역은 서로 오버랩될 수도 있고, 적용된 영역들 사이에서 갭이 생길 수도 있다. 적용된 영역들이 서로 오버랩될 때, 이전 프레임과 다음 프레임 사이의 오버랩된 영역 또는 고-상관 영역의 평균 또는 중앙 값은 항상 오버라이트(overwrite)된다. 갭이 생길 때는, 프레임내 또는 프레임간 보간이 수행된다.

다음으로, 제4 실시예에 따른 보간 이미지 생성 장치(500)가 설명될 것이다. 제4 실시예에 따른 보상 이미지 생성 장치는 보간 프레임(300)을 도 41 및 42에 나타낸 영역들로 분할하고, 보간 프레임(300)을 생성하기 위해, 보간 프레임(300)을 기준으로하여 제1 기준 프레임(210) 및 제2 기준 프레임(220)의 모션 추정을 수행한다.

보간 프레임(300)이 영역들로 분할되기 때문에, 오버랩되는 방식으로 생성될 보간 프레임(300) 상에 이미지가 생성될 가능성, 또는 이미지가 생성되지 않는 영역이 발생할 가능성은 없으며, 이에 의해, 고정밀도의 보간 이미지가 생성된다.

본 실시예에서, 도 41에 도시된 바와 같이, 두 연속적인 프레임 사이, 즉, 제1 기준 프레임(210)과 제2 기준 프레임(220) 사이의 시간적 길이의 절반인 위치에 보간 프레임(300)이 생성되는 경우가 설명될 것이지만, 두 개의 상이한 프레임 사이의 시간적 길이의 절반인 위치에 보간 프레임이 반드시 존재하는 것은 아니며, 그 보간 프레임은 두 개의 상이한 프레임에 삽입될 프레임이기만 하면 되고, 그 위치는 특별히 한정되지 않는다.

여기서, 도 43에 도시된 바와 같이, 객체(442)가 부동 배경(440) 상에서 수평으로 이동하는 예를 구체적으로 설명할 것이다.

도 44는 제4 실시예에 따른 보간 이미지 생성 장치(500)에 의한 고-상관 영역 모션 벡터 할당 프로세싱을 나타내는 흐름도이다. 도 41 및 42에 나타낸 바와 같이, 본 실시예에서, 모션 추정 유닛(106)은 보간 프레임(300)에 관하여 제1 기준 프레임(210) 및 제2 기준 프레임(220)의 모션 추정을 수행한다.

본 실시예에서, 제1 기준 프레임(210)과 제2 기준 프레임(220) 내의 모든 픽셀을 저-상관으로 설정하고(단계(S701)), 그 보간 프레임(300)을 n개의 보간 영역으로 분할한다(단계(S702)).

모션 추정 횟수 t를 설정하고(단계(S703)), 보간 프레임으로부터 보간 영역을 추출한다(단계(S704)). 그 후, 보간 프레임 상의 보간 영역을 기준으로 하여, 제1 기준 프레임(210) 내의 저-상관 영역과 제2 기준 프레임(220) 내의 저-상관 영역 사이의 고-상관 결합을 추출하고, 그들 사이의 모션 벡터 MV를 찾는다(단계(S705)).

다음으로, 영역 내의 픽셀별로 상관을 판정하기 위해, 모션 추정 프로세싱(단계(S705))에서 추출된 제1 기준 영역 및 제2 기준 영역 상의 각각의 대응하는 픽셀에 대한 상관 계산을 수행한다(단계(S706)). 다음으로, 영역내 상관 계산 프로세싱(단계(S706))에서의 상관 계산 결과에 기초하여 픽셀별로 상관 판정을 행하고, 제1 기준 영역 및 제2 기준 영역을 고-상관 영역 및 저-상관 영역으로 분류한다(단계(S707)).

고-상관으로 판정된 픽셀들의 설정을 "저-상관"에서 "고-상관"으로 변경하고, 모션 추정 프로세싱(단계(S705))에서 발견된 모션 벡터 MV를 보간 프레임 내의 기준 영역들 중의 고-상관 영역에 제공한다(단계(S708)).

여기서, 제1 기준 프레임 및 제2 기준 프레임과 고-상관인 것으로 판정된 픽 셀들의 설정은 저-상관에서 고-상관으로 변경되지만, 이것은 제1 기준 프레임 및 제2 기준 프레임 내의 픽셀들에 대한 프로세싱이다. 또한, 모션 벡터는 보간 프레임 상의 픽셀에 제공된다.

전술된 프로세싱은 보간 프레임(300) 내의 모든 기준 영역(16개의 영역)에 대해 수행되며, 또한, 모션 추정 횟수 t만큼 반복된다(단계(S709) 및 단계(S710)). 고-상관 영역 모션 벡터 할당 프로세싱이 완료된다.

도 45는 도 44에 설명된 프로세싱 이후에 개별 프레임에서의 상관을 나타내는 도면이다. 이러한 방식으로, 도 44에서 설명된 프로세싱이 완료되면, 모션 벡터가 검출되지 않은 모션 벡터 미검출 영역이 남아있게 된다.

도 46은 모션 벡터 미검출 영역 프로세싱 유닛(512)에 의한 모션 벡터 미검출 영역 프로세싱을 나타내는 흐름도이다. 우선, 모션 벡터 미검출 영역 프로세싱 유닛(512)은 보간 프레임(300)으로부터 모션 벡터 미검출 영역을 추출한다(단계(S801)). 다음으로, 유닛(512)은 모션 벡터 미검출 영역 주변의 모션 벡터를 추출한다(단계(S802)).

도 47은 모션 벡터 미검출 영역(3001a 및 3001b) 주변의 모션 벡터들을 나타내는 도면이다. 객체(420)에 대한 모션 벡터 MV71은 모션 벡터 미검출 영역(3001a)와 모션 벡터 미검출 영역(3001b) 사이의 영역에 제공된다. 배경(400)에 대한 모션 벡터 MV72는 다른 영역에 제공된다. 따라서, 도 47에 나타낸 예에서, 모션 벡터 MV71 및 모션 벡터 MV72는 단계(S802)에서 추출된다.

다음으로, 모션 벡터 미검출 영역(3001a 및 3001b)에 관한 모션 벡터 후보 추출 프로세싱(단계(S802))에서 추출된 객체 영역 모션 벡터 MV71 및 배경 영역 모션 벡터 MV72에 기초하여 제1 기준 프레임, 제2 기준 프레임, 제3 기준 프레임 및 제4 기준 프레임으로부터 대응하는 영역을 추출한다(단계(S803)).

제3 기준 프레임은 시간상 제1 기준 프레임(210) 전에 존재하는 기준 프레임이다. 제4 기준 프레임은 시간상 제2 기준 프레임(220) 후에 존재하는 프레임이다.

도 48은 영역 추출 프로세싱(단계(S803)) 내의 특정 프로세싱을 설명하기 위한 도면이다. 도 48에 나타낸 바와 같이, 모션 벡터 MV71은 양의 방향 및 음의 방향으로 확장된다. 그 후, 모션 벡터 MV71이 제1 기준 프레임(210), 제2 기준 프레임(220), 제3 기준 프레임(230) 및 제4 기준 프레임(240)과 교차하는 영역이 각각 추출된다. 도 48에 도시된 바와 같이, 제1 기준 프레임(210)으로부터 영역(2111)이 추출된다. 제2 기준 프레임(220)으로부터 영역(2211)이 추출된다. 제3 기준 프레임으로부터 영역(2311)이 추출된다. 제4 기준 프레임으로부터 영역(2411)이 추출된다.

모션 벡터 MV72가 제1 기준 프레임(210), 제2 기준 프레임(220), 제3 기준 프레임(230) 및 제4 기준 프레임(240)과 교차하는 영역이 각각 추출된다. 도 48에 나타낸 바와 같이, 제1 기준 프레임(210)으로부터 영역(2121)이 추출된다. 제2 기준 프레임(220)으로부터 영역(2221)이 추출된다. 제3 기준 프레임으로부터 영역(2321)이 추출된다. 제4 기준 프레임에서 모션 벡터 MV72는 프레임의 외부를 지정한다.

도 46에 대해 다시 설명한다. 각각의 기준 프레임으로부터 영역이 추출된 후에(단계(S803)), 제1 기준 프레임(210) 및 제3 기준 프레임(230)으로부터 추출된 영역들 사이의 상관 계산은 동일한 모션 벡터에 대해 수행된다. 또한, 제2 기준 프레임(220) 및 제4 기준 프레임(240)으로부터 추출된 영역들 사이의 상관 계산은 동일한 모션 벡터에 대해 수행된다(단계(S804)). 제4 실시예에서, 상관 계산은 절대 차이 값을 이용한다.

도 48에 나타낸 예에서, 제1 기준 프레임(210) 및 제3 기준 프레임(230)으로부터 각각 추출된 영역(2111)과 영역(2311) 사이의 상관 계산이 모션 벡터 MV71에 대해 수행된다. 제2 기준 프레임(220) 및 제4 기준 프레임(240)으로부터 각각 추출된 영역(2211)과 영역(2411) 사이의 상관 계산이 모션 벡터 MV71에 대해 수행된다.

제1 기준 프레임(210) 및 제3 기준 프레임(230)으로부터 각각 추출된 영역(2112) 및 영역(2312) 사이의 상관 계산이 모션 벡터 MV72에 대해 수행된다. 제2 기준 프레임(220) 및 제4 기준 프레임(240)으로부터 각각 추출된 영역(2212)과 영역(2412) 사이의 상관 계산이 모션 벡터 MV72에 대해 수행된다.

모션 벡터 미검출 영역에 제공될 모션 벡터는 상관 계산 결과에 기초하여 몇몇 모션 벡터들로부터 선택된다(단계(S805)). 본 실시예에서, 절대 차이 값이 가장 작은 영역에 대한 모션 벡터가 선택된다.

도 48에 나타낸 예에서, 모션 벡터 MV71 및 모션 벡터 MV72로부터 하나의 모션 벡터가 선택된다. 이 경우에, 제1 기준 프레임(210) 내의 영역(2121)과 제3 기 준 프레임(230) 내의 영역(2321) 사이의 절대 차이 값이 가장 작다. 따라서, 이 영역에 대응하는 모션 벡터, 즉, 모션 벡터 MV72가 모션 벡터 미검출 영역(3001a)에 제공된다.

도 49는 모션 벡터 미검출 영역에 모션 벡터를 할당하는 프로세싱을 설명하기 위한 도면이다. 도 49에 나타낸 바와 같이, 단계(S802)에서 추출된 모션 벡터에 의해 영역을 지정할 때, 제1 기준 프레임(210) 및 제2 기준 프레임(220) 내의 저-상관 영역들만이 의도된다. 따라서, 상관 계산이 행해지는 영역들로서 추출될 영역들의 개수는 더 작아진다.

예를 들어, 도 48에 나타낸 예에서, 모션 벡터 MV71 및 모션 벡터 MV72에 의해 지정된 제2 기준 프레임(220) 내의 임의의 영역은 고-상관 영역 내에 있다. 따라서, 그 영역은 추출되지 않는다.

이러한 방식으로, 타겟 영역은 모션 벡터에 의해 지정될 영역을 추출할 때 저-상관 영역으로 한정되어, 추출될 영역의 개수를 한정할 수 있도록 할 수 있으며, 이에 의해, 모션 벡터 미검출 영역에 대한 모션 벡터를 더 쉽고 더 정확하게 선택할 수 있다.

다음으로, 모션 벡터 선택 프로세싱(단계(S805))에서 선택된 모션 벡터에 의해 지정된 두 개의 프레임 내의 영역들 사이의 상관 계산 값에 기초하여, 선택된 모션 벡터를 모션 벡터 미검출 영역에 할당할지를 판정한다.

특히, 상관 계산 값의 임계값이 미리 설정된다. 모션 벡터 선택 단계(단계(S805))에서 선택된 모션 벡터에 의해 지정된 두 개의 영역들 사이의 상관 계산 값 이 임계값보다 더 작으면, 즉, 두개의 영역의 이미지들이 서로 유사하면(단계(S806), 예), 모션 벡터 선택 프로세싱(단계(S805))에서 선택된 모션 벡터는 모션 벡터 미검출 영역에 할당될 모션 벡터로서 판정된다(단계(S809)).

한편, 상관 계산 값이 임계값보다 작지 않으면(단계(S806), 아니오), 모션 벡터 선택 프로세싱(단계(S805))에서 선택된 모션 벡터는 도 50에 나타낸 바와 같이 이용되지 않고, 보간 프레임 내의 모션 벡터 미검출 영역, 제1 기준 프레임 내의 저-상관 영역 및 제3 기준 프레임을 이용하여 모션 추정을 수행한다(단계(S807)). 또한, 보간 프레임 내의 모션 벡터 미검출 영역, 제2 기준 프레임 내의 저-상관 영역 및 제4 기준 프레임을 이용하여 모션 추정을 수행한다(단계(S808)). 그 후, 보간 프레임 내의 모션 벡터 미검출 영역의 모션 벡터가 그 결과에 기초하여 판정된다(단계(S809)).

제1 기준 프레임 및 제3 기준 프레임 상의 저-상관 영역만이 이용되도록 한정되고, 추정 영역도 한정되어 있기 때문에, 이에 의해, 계산이 더 적고 정확성이 더 높은 모션 추정이 수행된다.

모션 보상 유닛(114)은 모션 추정 유닛(106) 및 모션 벡터 미검출 영역 프로세싱 유닛(512)에 의해 발견된 모션 벡터를 모션 보상을 수행하는 데 이용한다. 본 실시예에서, 타겟 영역은 모션 벡터에 따라 보간 프레임에 대해 적용된다.

본 기술분야에 숙련된 자들에게 있어서는, 추가의 장점 및 수정이 쉽게 발생할 것이다. 따라서, 더 넓은 양태의 본 발명은 본 명세서에 나타내고 설명된 특정 상세사항 및 대표적인 실시예들로 한정되지 않는다. 따라서, 첨부된 청구범위 및 그 동등물에 의해 정의된 일반적인 특징적 개념의 취지 또는 범위를 벗어나지 않고서, 여러 수정이 행해질 수 있다.

본 발명은 두 개의 프레임 사이를 보간하는 보간 프레임을 생성하기 위한 방법, 컴퓨터 프로그램 제품 및 장치를 제공한다.

Claims

제1 기준 프레임과 제2 기준 프레임 사이에 보간 프레임을 생성하기 위한 방법에 있어서,

상기 보간 프레임을 몇몇 픽셀들을 포함하는 몇몇 보간 영역들로 분할하는 단계;

각각의 상기 보간 영역들에 대해서 제1 기준 영역들과 제2 기준 영역들 사이의 몇몇 결합(combination)들로부터 가장 상관된 결합(most correlated combination)을 검출하는 단계- 상기 제1 기준 영역들은 상기 제1 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 상기 제2 기준 영역들은 상기 제2 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 각각의 상기 보간 영역들, 각각의 상기 몇몇 결합들의 상기 제1 기준 영역 및 각각의 상기 몇몇 결합들의 상기 제2 기준 영역은 일직선적인 시간 방식(straight time-wise)으로 정렬됨-;

검출된 결합에 포함된 상기 제1 기준 영역과 상기 제2 기준 영역으로부터 모션 벡터를 획득하는 단계;

제1 기준 영역들과 상기 제2 기준 영역들이 고-상관 영역에 있는지 또는 저-상관 영역에 있는지를 판정하는 단계;

상기 모션 벡터를 모션 벡터 검출 영역에 제공하는 단계- 상기 모션 벡터 검출 영역은 상기 제1 기준 영역과 상기 제2 기준 영역 내의 상기 고-상관 영역으로 판정된 상기 보간 영역에 대응함 -;

모션 벡터 미검출 영역, 제1 영역, 제3 기준 프레임, 제2 영역 및 제4 기준 프레임을 이용하는 모션 추정에 의해 상기 모션 벡터 미검출 영역에 제공될 모션 벡터를 결정하는 단계- 상기 제1 영역은 상기 제1 기준 프레임 내에 있고 상기 저-상관 영역으로 판정되며, 상기 제3 기준 프레임은 상기 보간 프레임을 기준으로 하여 상기 제1 기준 프레임과 시간적으로 동일한 방향에 있으며, 상기 제2 영역은 상기 제2 기준 프레임 내에 있고 상기 저-상관 영역으로 판정되며, 상기 제4 기준 프레임은 상기 보간 프레임을 기준으로 하여 상기 제2 기준 프레임과 시간적으로 동일한 방향에 있으며, 상기 모션 벡터 미검출 영역은 상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 저-상관 영역으로 판정된 상기 보간 영역에 대응함 -; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 대해 결정된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 단계

를 포함하는 방법.
제1항에 있어서,

제1 기준 영역들과 제3 기준 영역들 사이의 몇몇 결합들로부터 가장 상관된 결합을 검출하는 단계- 상기 제1 기준 영역들은 상기 제1 기준 프레임 및 상기 저-상관 영역으로 판정된 영역 내에 있고 상기 모션 벡터 미검출 영역과 동일한 크기 및 모양을 가지며, 상기 제3 기준 영역들은 상기 제3 기준 프레임 내에 있고 상기 모션 벡터 미검출 영역과 동일한 크기 및 모양을 가짐-;

상기 제1 기준 영역과 상기 제3 기준 영역 사이의 상기 가장 상관된 결합을 획득하는 단계;

상기 제1 기준 영역과 상기 제3 기준 영역 사이의 검출된 결합으로부터 모션 벡터를 결정하는 단계;

제2 기준 영역들과 제4 기준 영역들 사이의 몇몇 결합들로부터 가장 상관된 결합을 검출하는 단계- 상기 제2 기준 영역들은 상기 제2 기준 프레임 및 상기 저-상관 영역으로 판정된 영역 내에 있고 상기 모션 벡터 미검출 영역과 동일한 크기 및 모양을 가지며, 상기 제4 기준 영역들은 상기 제4 기준 프레임 내에 있고 상기 모션 벡터 미검출 영역과 동일한 크기 및 모양을 가짐-;

상기 제2 기준 영역과 상기 제4 기준 영역 사이의 상기 가장 상관된 결합을 획득하는 단계; 및

상기 제2 영역과 상기 제4 영역 사이의 지정된 결합으로부터 모션 벡터를 결정하는 단계를 더 포함하고,

상기 모션 벡터 미검출 영역에 제공될 모션 벡터는 상기 제1 기준 영역과 상기 제3 기준 영역 사이의 결합으로부터 결정된 상기 모션 벡터, 및 상기 제2 기준 영역과 상기 제4 기준 영역 사이의 결합으로부터 결정된 상기 모션 벡터에 기초하여 결정되는 방법.
제2항에 있어서, 상기 제1 기준 영역과 상기 제3 기준 영역 사이의 상관은 상기 제2 기준 영역과 상기 제4 기준 영역 사이의 상관과 비교되고,

보다 더 상관된 영역에 대응하는 모션 벡터가 상기 모션 벡터 미검출 영역에 제공될 모션 벡터로 결정되는 방법.
제2항에 있어서, 상기 제1 기준 영역과 상기 제3 기준 영역 사이의 상관, 및 상기 제2 기준 영역과 상기 제4 기준 영역 사이의 상관 모두가 미리 설정된 임계값보다 작을 때, 어느 모션 벡터도 상기 모션 벡터 미검출 영역에 대한 모션 벡터라고 가정되지 않는 방법.
제4항에 있어서, 상기 모션 벡터 미검출 영역에 대한 모션 벡터가 결정되지 않았을 때, 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터의 평균값 또는 중앙값이 상기 모션 벡터 미검출 영역의 모션 벡터로 결정되는 방법.
제1항에 있어서,

재귀적인 프로세싱(recursive processing)에 의해 상기 모션 벡터 미검출 영역을 고-상관 영역 및 저-상관 영역으로 더 분할하는 단계를 더 포함하고,

상기 재귀적인 프로세싱에 의해 상기 고-상관 영역으로 분할된 영역은 상기 모션 벡터 검출 영역으로 가정되고,

검출된 상기 모션 벡터는 상기 모션 벡터 검출 영역에 제공되고,

상기 저-상관 영역으로 분할된 영역은 상기 모션 벡터 미검출 영역으로 가정되고,

상기 모션 벡터 미검출 영역에 제공될 모션 벡터는 상기 모션 벡터 미검출 영역, 제3 영역, 제3 기준 프레임, 제4 영역 및 제4 기준 프레임을 이용하는 모션 추정에 의해 결정되며, 상기 제3 영역은 상기 제1 기준 프레임 내에 있고 상기 저-상관 영역으로 판정되며, 상기 제3 기준 프레임은 상기 보간 프레임을 기준으로 하여 상기 제1 기준 프레임과 시간적으로 동일한 방향에 있으며, 상기 제4 영역은 상기 제2 기준 프레임 내에 있으며 상기 저-상관 영역으로 판정되고, 상기 제4 기준 프레임은 상기 보간 프레임을 기준으로 하여 상기 제2 기준 프레임과 시간적으로 동일한 방향에 있는 방법.
제6항에 있어서, 상기 제1 기준 영역들 내의 각각의 대응하는 영역에 대한 상관 값은 상기 재귀적인 프로세싱에 의해 상기 제2 기준 영역들에 의해 계산되고,

상기 모션 벡터 미검출 영역은, 상기 계산된 상관 값을 미리 설정된 임계치와 비교함으로써 고-상관 영역 및 저-상관 영역으로 분할되는 방법.
제6항에 있어서, 상기 저-상관 영역에 대한 상기 모션 추정, 상기 상관 판정 및 상기 모션 벡터 검출 영역으로의 모션 벡터 제공 각각은 재귀적으로 수행되는 방법.
제1항에 있어서, 상기 제1 기준 영역들 및 상기 제2 기준 영역들 내의 각각의 대응하는 영역에 대한 상관 값이 계산되고,

상기 계산된 상관 값을 미리 설정된 임계치와 비교함으로써, 상기 영역이 고-상관 영역인지 또는 저-상관 영역인지가 판정되는 방법.
제1항에 있어서, 휘도 정보의 절대 차이 값, 색깔 차이 정보의 절대 차이 값, 절대 차이 값들의 합 및 고-상관 픽셀들의 개수에 의해 판정되는 상관 값 중 하나가 계산되는 방법.
제1항에 있어서, 몇몇 모션 벡터들이 하나의 영역에 제공될 때, 상기 제1 기준 프레임을 기준으로 하여 상기 몇몇 모션 벡터들에 의해 개별적으로 지정되는 다른 기준 프레임들 내의 이미지들의 평균값이 상기 보간 프레임에 할당되는 방법.
제1항에 있어서, 몇몇 모션 벡터들이 하나의 영역에 제공될 때, 상기 제1 기준 프레임을 기준으로 하여 상기 몇몇 모션 벡터들에 의해 검출되는 몇몇 다른 기준 프레임들 내의 영역들 사이의 상관 값이 가장 작은 모션 벡터가, 상기 모션 벡터 미검출 영역에 제공될 모션 벡터로 결정되는 방법.
제1 기준 프레임과 제2 기준 프레임 사이의 보간 프레임을 생성하기 위한 방법으로서,

상기 제1 기준 프레임을, 각각이 몇몇 픽셀들을 포함하는 몇몇 제1 기준 영역들로 분할하는 단계;

상기 제1 기준 영역들과 동일한 크기 및 모양을 가지며 상기 제2 기준 프레임 내에서 상기 제1 기준 영역들과 가장 상관된 제2 기준 영역들을 검출하는 단계;

상기 검출된 제2 기준 영역들 및 상기 제1 기준 영역들의 모션 벡터들을 획득하는 단계;

상기 제1 기준 영역들 및 상기 제2 기준 영역들이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 단계;

상기 모션 벡터를 모션 벡터 검출 영역에 제공하는 단계- 상기 모션 벡터 검출 영역은 상기 고-상관 영역으로 판정됨 -;

모션 벡터 미검출 영역 및 제3 기준 프레임을 이용하는 모션 추정에 의해 상기 모션 벡터 미검출 영역의 모션 벡터를 결정하는 단계- 상기 제3 기준 프레임은 상기 제1 기준 프레임을 기준으로 하여 상기 제2 기준 프레임과 시간적으로 반대의 방향에 있으며, 상기 모션 벡터 미검출 영역은 상기 저-상관 영역으로 판정되고 상기 제1 기준 영역 내에 있음 -; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 대해 결정된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 단계

를 포함하는 방법.
제13항에 있어서, 상기 보간 프레임은 상기 제1 기준 프레임과 상기 제2 기준 프레임 사이의 보간의 시간적인 위치에 기초하여 생성되는 방법.
제13항에 있어서, 상기 모션 벡터 미검출 영역을 재귀적인 프로세싱에 의해 고-상관 영역 및 저-상관 영역으로 더 분할하는 단계를 더 포함하며,

상기 고-상관 영역으로 분할된 영역은 상기 모션 벡터 검출 영역으로 가정되며,

상기 모션 벡터는 상기 모션 벡터 검출 영역에 제공되며,

상기 저-상관 영역으로 분할된 영역은 상기 모션 벡터 미검출 영역으로 가정되며,

상기 모션 벡터 미검출 영역의 모션 벡터는 상기 모션 벡터 미검출 영역 및 상기 제3 기준 프레임을 이용하는 모션 추청에 의해 결정되는 방법.
제15항에 있어서, 상기 제1 기준 영역들 및 상기 제2 기준 영역들 내의 각각의 대응하는 영역에 대한 상관 값이 계산되고,

상기 모션 벡터 미검출 영역은, 상기 계산된 상관 값을 미리 설정된 임계치와 비교함으로써 고-상관 영역 및 저-상관 영역으로 분할되는 방법.
제15항에 있어서, 상기 저-상관 영역에 대한 상기 모션 추정, 상기 상관 판정 및 상기 모션 벡터 검출 영역으로의 모션 벡터 제공 각각은 재귀적으로 수행되 는 방법.
제1 기준 프레임과 제2 기준 프레임 사이의 보간 프레임을 생성하기 위한 방법에 있어서,

상기 보간 프레임을 각각이 몇몇 픽셀들로 구성된 몇몇 보간 영역들로 분할하는 단계;

각각의 상기 보간 영역들에 대해서 제1 기준 영역들과 제2 기준 영역들 사이의 결합들로부터 가장 상관된 결합을 검출하는 단계- 상기 제1 기준 영역들은 상기 제1 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 상기 제2 기준 영역들은 상기 제2 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 상기 보간 프레임들, 각각의 상기 몇몇 결합들의 상기 제1 기준 영역 및 각각의 상기 몇몇 결합들의 상기 제2 기준 영역 각각은 일직선적인 시간 방식으로 정렬됨-;

검출된 결합에 포함된 상기 제1 기준 영역 및 상기 제2 기준 영역으로부터 모션 벡터를 획득하는 단계;

상기 제1 기준 영역 및 상기 제2 기준 영역이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 단계;

상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 고-상관 영역으로 판정된 상기 보간 영역에 대응하는 모션 벡터 검출 영역에 모션 벡터를 제공하는 단계;

상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 저-상관 영역으로 판정된 상기 보간 영역에 대응하는 모션 벡터 미검출 영역에 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터를 제공하는 단계; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 제공된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 단계

를 포함하는 방법.
제18항에 있어서, 상기 모션 벡터 미검출 영역에 인접한 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터는 상기 모션 벡터 미검출 영역에 제공되는 방법.
제18항에 있어서,

상기 모션 벡터 미검출 영역을 기준으로 하여 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터에 의해 결정되는 상기 제1 기준 프레임 내에 있는 제1 기준 영역과, 상기 보간 프레임을 기준으로 하여 상기 모션 벡터에 의해 결정되고 상기 제1 기준 프레임과 시간적으로 동일한 방향에 있는 제3 기준 프레임 내에 있는 제3 기준 영역 사이의 상관 값을 찾는 단계; 및

상기 모션 벡터 미검출 영역을 기준으로 하여 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터에 의해 결정되는 상기 제2 기준 프레임 내에 있는 제2 기준 영역과, 상기 보간 프레임을 기준으 로 하여 상기 모션 벡터에 의해 결정되며 상기 제2 기준 프레임과 시간적으로 동일한 방향에 있는 제4 기준 프레임 내에 있는 제4 기준 영역 사이의 상관 값을 찾는 단계를 포함하고,

상기 모션 벡터 미검출 영역에 제공되는 상기 모션 벡터는 상기 제1 기준 영역과 상기 제3 기준 영역 사이의 상기 상관 값, 및 상기 제2 기준 영역과 상기 제4 기준 영역 사이의 상기 상관 값에 기초하여 결정되는 방법.
제20항에 있어서, 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역의 몇몇 모션 벡터들이 존재할 때, 상기 몇몇 모션 벡터들로부터 상기 모션 벡터 미검출 영역에 제공될 상기 모션 벡터는 상기 제1 기준 영역과 상기 제3 기준 영역 사이의 상기 상관 값, 및 상기 제2 기준 영역과 상기 제4 기준 영역 사이의 상관 값에 기초하여 결정되는 방법.
제21항에 있어서, 가장 상관된 영역에 대응하는 모션 벡터는 상기 제1 기준 영역과 상기 제3 기준 영역 사이의 상기 상관 값, 및 상기 제2 기준 영역과 상기 제4 기준 영역 사이의 상기 상관 값에 기초하여 상기 모션 벡터 미검출 영역에 제공될 상기 모션 벡터로서 결정되는 방법.
제20항에 있어서, 상기 제1 기준 영역과 상기 제3 기준 영역 사이의 상기 상관 값, 및 상기 제2 기준 영역과 상기 제4 기준 영역 사이의 상관 값 모두가 미리 설정된 임계값보다 작은 경우, 어느 모션 벡터도 상기 모션 벡터 미검출 영역에 대한 모션 벡터로 가정되지 않는 방법.
제23항에 있어서, 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터가 상기 모션 벡터 미검출 영역에 대한 모션 벡터로서 가정되지 않을 때, 모션 벡터 미검출 영역, 제1 영역, 제3 기준 프레임, 제2 영역 및 제4 기준 프레임을 이용하는 모션 추정에 의해 결정된 모션 벡터가 상기 모션 벡터 미검출 영역에 제공되며, 상기 제1 영역은 상기 제1 기준 프레임 내에 있고 상기 저-상관 영역으로 판정되며, 상기 제3 기준 프레임은 상기 보간 프레임을 기준으로 하여 상기 제1 기준 프레임과 시간적으로 동일한 방향에 있으며, 상기 제2 영역은 상기 제2 기준 프레임 내에 있고 상기 저-상관 영역으로 판정되며, 상기 제4 기준 프레임은 상기 보간 프레임을 기준으로 하여 상기 제2 기준 프레임과 시간적으로 동일한 방향에 있는 방법.
제18항에 있어서,

상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터에 의해 결정된 상기 제1 기준 프레임 내의 상기 제1 기준 영역이 상기 저-상관 영역으로 판정된 영역일 때, 제1 기준 영역과 제3 기준 영역 사이의 상관 값을 찾고,

상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제 공된 상기 모션 벡터에 의해 결정된 상기 제2 기준 프레임 내의 상기 제2 기준 영역이 상기 상관 판정 단계에서 상기 저-상관 영역으로 판정된 영역일 때, 제2 기준 영역과 제4 기준 영역 사이의 상관 값을 찾는 방법.
제18항에 있어서,

재귀적인 프로세싱에 의해 상기 모션 벡터 미검출 영역을 고-상관 영역 및 저-상관 영역으로 더 분할하는 단계를 더 포함하고,

상기 고-상관 영역으로 판정된 영역은 상기 모션 벡터 검출 영역으로 가정되고,

상기 모션 벡터는 상기 모션 벡터 검출 영역에 제공되고,

상기 저-상관 영역으로 판정된 상기 모션 벡터 미검출 영역 및 상기 제3 기준 프레임을 이용하는 모션 추정에 의해 결정된 모션 벡터가 상기 모션 벡터 미검출 영역에 제공되는 방법.
제26항에 있어서, 상기 제1 기준 영역과 상기 제2 기준 영역 내의 각각의 대응하는 영역에 대한 상관 계산이 수행되고,

계산 결과를 미리 설정된 임계치와 비교함으로써, 고-상관 영역인지 또는 저-상관 영역인지가 판정되는 방법.
제26항에 있어서, 상기 저-상관 영역에 대한 상기 모션 추정, 상기 상관 판 정 및 상기 모션 벡터 검출 영역으로의 모션 벡터 할당 각각은 재귀적으로 수행되는 방법.
제1 기준 프레임과 제2 기준 프레임 사이의 보간 프레임을 생성하기 위한 방법으로서,

상기 제1 기준 프레임을 각각이 몇몇 픽셀들을 포함하는 몇몇 제1 기준 영역들로 분할하는 단계;

상기 제1 기준 영역들과 동일한 크기 및 모양을 가지며 상기 제2 기준 프레임 내에서 상기 제1 기준 영역들에 가장 상관된 제2 기준 영역들을 검출하는 단계;

상기 검출된 제2 기준 영역들 및 상기 제1 기준 영역들의 모션 벡터들을 획득하는 단계;

상기 제1 기준 영역 및 상기 제2 기준 영역이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 단계;

상기 모션 벡터를 모션 벡터 검출 영역에 제공하는 단계- 상기 모션 벡터 검출 영역은 상기 제1 기준 영역 내의 상기 고-상관 영역으로 판정됨 -;

모션 벡터 미검출 영역 주위에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터를 상기 모션 벡터 미검출 영역에 제공하는 단계- 상기 모션 벡터 미검출 영역은 상기 제1 기준 영역 내의 상기 저-상관 영역으로 판정됨 -; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 제공된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 단계

를 포함하는 방법.
제29항에 있어서, 상기 모션 벡터 미검출 영역에 인접한 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터가 상기 모션 벡터 미검출 영역에 제공되는 방법.
제29항에 있어서,

상기 모션 벡터 미검출 영역을 기준으로 하여 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터에 의해 결정되는 상기 제2 기준 프레임 내의 제2 기준 영역과 상기 모션 벡터 미검출 영역 사이의 상관 값을 찾는 단계; 및

상기 모션 벡터 미검출 영역을 기준으로 하여 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터에 의해 결정되는 상기 제3 기준 프레임 내의 제3 기준 영역과, 상기 모션 벡터 미검출 영역 사이의 상관 값을 찾는 단계를 포함하고,

상기 모션 벡터 미검출 영역에 제공되는 상기 모션 벡터는 상기 제2 기준 프레임과 상기 모션 벡터 미검출 영역 사이의 상기 상관 값, 및 상기 제3 기준 영역과 상기 모션 벡터 미검출 영역 사이의 상기 상관 값에 기초하여 결정되는 방법.
제31항에 있어서, 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역의 몇몇 모션 벡터들이 존재할 때, 상기 몇몇 모션 벡터들로부터 상기 모션 벡터 미검출 영역에 제공될 상기 모션 벡터는 상기 제2 기준 프레임과 상기 모션 벡터 미검출 영역 사이의 상기 상관 값, 및 상기 제3 기준 영역과 상기 모션 벡터 미검출 영역 사이의 상관 값에 기초하여 결정되는 방법.
제31항에 있어서, 가장 상관된 영역에 대응하는 모션 벡터는, 상기 제2 기준 프레임과 상기 모션 벡터 미검출 영역 사이의 상기 상관 값 및 상기 제3 기준 영역과 상기 모션 벡터 미검출 영역 사이의 상기 상관 값에 기초하여, 상기 모션 벡터 미검출 영역에 제공되는 상기 모션 벡터로서 결정되는 방법.
제31항에 있어서, 상기 제2 기준 프레임과 상기 모션 벡터 미검출 영역 사이의 상기 상관 값, 및 상기 제3 기준 영역과 상기 모션 벡터 미검출 영역 사이의 상기 상관 값 모두는 미리 설정된 임계치보다 작고, 영역에 대응하는 모션 벡터는 상기 모션 벡터 미검출 영역에 대한 모션 벡터로 가정되지 않는 방법.
제34항에 있어서, 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터가 상기 모션 벡터 미검출 영역에 대한 모션 벡터로 가정되지 않을 때, 모션 벡터 미검출 영역, 제1 영역, 제3 기준 프레임, 제2 영역 및 제4 기준 프레임을 이용하는 모션 추정에 의해 결정된 모션 벡터가 상기 모션 벡터 미검출 영역에 제공되며, 상기 제1 영역은 상기 제1 기준 프레임 내에 있고 상기 저-상관 영역으로 판정되며, 상기 제3 기준 프레임은 상기 보간 프레임 을 기준으로 하여 상기 제1 기준 프레임과 시간적으로 동일한 방향에 있으며, 상기 제2 영역은 상기 제2 기준 프레임 내에 있고 상기 저-상관 영역으로 판정되며, 상기 제4 기준 프레임은 상기 보간 프레임을 기준으로 하여 상기 제2 기준 프레임과 시간적으로 동일한 방향에 있는 방법.
제29항에 있어서, 상기 보간 프레임은 상기 제1 기준 프레임과 상기 제2 기준 프레임 사이의 보간 프레임의 시간적인 위치에 기초하여 생성되는 방법.
제1 기준 프레임과 제2 기준 프레임 사이의 보간 프레임을 생성하기 위한 프로그래밍된 명령어들을 저장한 컴퓨터 판독가능 매체에 있어서, 상기 명령어들은, 컴퓨터에 의해 실행될 때 상기 컴퓨터가,

상기 보간 프레임을 몇몇 픽셀들을 포함하는 몇몇 보간 영역들로 분할하는 단계;

각각의 상기 보간 영역들에 대해서 제1 기준 영역들과 제2 기준 영역들 사이의 몇몇 결합들로부터 가장 상관된 결합을 검출하는 단계- 상기 제1 기준 영역들은 상기 제1 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 상기 제2 기준 영역들은 상기 제2 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 각각의 상기 보간 영역들, 상기 몇몇 결합들 각각의 상기 제1 기준 영역 및 상기 몇몇 결합들 각각의 상기 제2 기준 영역은 일직선적인 시간 방식으로 정렬됨-;

검출된 결합에 포함된 상기 제1 기준 영역 및 상기 제2 기준 영역으로부터 모션 벡터를 획득하는 단계;

상기 제1 기준 영역들 및 상기 제2 기준 영역들이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 단계;

상기 모션 벡터를 모션 벡터 검출 영역에 제공하는 단계- 상기 모션 벡터 검출 영역은 상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 고-상관 영역으로 판정된 상기 보간 영역에 대응함 -;

모션 벡터 미검출 영역, 제1 영역, 제3 기준 프레임, 제2 영역 및 제4 기준 프레임을 이용하는 모션 추정에 의해 상기 모션 벡터 미검출 영역에 제공될 모션 벡터를 결정하는 단계- 상기 제1 영역은 상기 제1 기준 프레임 내에 있고 상기 저-상관 영역으로 판정되며, 상기 제3 기준 프레임은 상기 보간 프레임을 기준으로 하여 상기 제1 기준 프레임과 시간적으로 동일한 방향에 있으며, 상기 제2 영역은 상기 제2 기준 프레임 내에 있고 상기 저-상관 영역으로 판정되며, 상기 제4 기준 프레임은 상기 보간 프레임을 기준으로 하여 상기 제2 기준 프레임과 시간적으로 동일한 방향에 있으며, 상기 모션 벡터 미검출 영역은 상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 저-상관 영역으로 판정된 상기 보간 영역에 대응함 -; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 대해 결정된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 단계

를 수행하게 하는 컴퓨터 판독가능 매체.
제1 기준 프레임과 제2 기준 프레임 사이의 보간 프레임을 생성하기 위한 프로그래밍된 명령어들을 저장한 컴퓨터 판독가능 매체에 있어서, 상기 명령어들은, 컴퓨터에 의해 실행될 때 상기 컴퓨터가,

상기 제1 기준 프레임을, 각각이 몇몇 픽셀들을 포함하는 몇몇 제1 기준 영역들로 분할하는 단계;

상기 제1 기준 영역들과 동일한 크기 및 모양을 가지며 상기 제2 기준 프레임 내에서 상기 제1 기준 영역들에 가장 상관된 제2 기준 영역들을 검출하는 단계;

상기 검출된 제2 기준 영역들 및 상기 제1 기준 영역들의 모션 벡터들을 획득하는 단계;

상기 제1 기준 영역들 및 상기 제2 기준 영역들이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 단계;

상기 모션 벡터를 모션 벡터 검출 영역에 제공하는 단계- 상기 모션 벡터 검출 영역은 상기 고-상관 영역으로 판정됨 -;

모션 벡터 미검출 영역 및 제3 기준 프레임을 이용하는 모션 추정에 의해 상기 모션 벡터 미검출 영역의 모션 벡터를 결정하는 단계- 상기 제3 기준 프레임은 상기 제1 기준 프레임을 기준으로 하여 상기 제2 기준 프레임과 시간적으로 반대의 방향에 있으며, 상기 모션 벡터 미검출 영역은 상기 저-상관 영역으로 판정되고 상기 제1 기준 영역 내에 있음 -; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 대해 결정된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 단계

를 수행하게 하는 컴퓨터 판독가능 매체.
제1 기준 프레임과 제2 기준 프레임 사이의 보간 프레임을 생성하기 위한 프로그래밍된 명령어들을 저장한 컴퓨터 판독가능 매체에 있어서, 상기 명령어들은, 컴퓨터에 의해 실행될 때 상기 컴퓨터가,

상기 보간 프레임을 각각이 몇몇 픽셀들로 구성된 몇몇 보간 영역들로 분할하는 단계;

각각의 상기 보간 영역들에 대해서 제1 기준 영역들과 제2 기준 영역들 사이의 결합들로부터 가장 상관된 결합을 검출하는 단계- 상기 제1 기준 영역들은 상기 제1 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 상기 제2 기준 영역들은 상기 제2 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 각각의 상기 보간 프레임들, 각각의 상기 몇몇 결합들의 상기 제1 기준 영역 및 각각의 상기 몇몇 결합들의 상기 제2 기준 영역 각각은 일직선적인 시간 방식으로 정렬됨-;

상기 제1 기준 영역 및 상기 제2 기준 영역이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 단계;

상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 고-상관 영역으로 판정된 상기 보간 영역에 대응하는 모션 벡터 검출 영역에 모션 벡터를 제공하는 단계;

상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 저-상관 영역으로 판정된 상기 보간 영역에 대응하는 모션 벡터 미검출 영역에 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터를 제공하는 단계;

상기 모션 벡터 검출 영역에 제공된 모션 벡터 및 상기 모션 벡터 미검출 영역에 제공된 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 단계;

상기 보간 프레임을 각각이 몇몇 픽셀들로 구성된 몇몇 보간 영역들로 분할하는 단계;

각각의 상기 보간 영역들에 대한 제1 기준 영역과 제2 기준 영역 사이의 결합들로부터 가장 상관된 결합을 검출하는 단계- 상기 제1 기준 영역들은 상기 제1 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 상기 제2 기준 영역들은 상기 제2 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 각각의 상기 보간 프레임들, 각각의 상기 몇몇 결합들의 상기 제1 기준 영역 및 각각의 상기 몇몇 결합들의 상기 제2 기준 영역은 일직선적인 시간 방식으로 정렬됨-;

검출된 결합에 포함된 상기 제1 기준 영역 및 상기 제2 기준 영역으로부터 모션 벡터를 획득하는 단계;

상기 제1 기준 영역 및 상기 제2 기준 영역이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 단계;

상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 고-상관 영역으로 판정된 상기 보간 영역에 대응하는 모션 벡터 검출 영역에 모션 벡터를 제공하는 단계;

상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 저-상관 영역으로 판정된 상기 보간 영역에 대응하는 모션 벡터 미검출 영역에 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터를 제공하는 단계; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 제공된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 단계

를 수행하게 하는 컴퓨터 판독가능 매체.
제1 기준 프레임과 제2 기준 프레임 사이의 보간 프레임을 생성하기 위한 프로그래밍된 명령어들을 저장한 컴퓨터 판독가능 매체에 있어서, 상기 명령어들은, 컴퓨터에 의해 실행될 때 상기 컴퓨터가,

상기 제1 기준 프레임을 각각이 몇몇 픽셀들을 포함하는 몇몇 제1 기준 영역들로 분할하는 단계;

상기 제1 기준 영역들과 동일한 크기 및 모양을 가지며 상기 제2 기준 프레임 내에서 상기 제1 기준 영역들에 가장 상관된 제2 기준 영역들을 검출하는 단계;

상기 검출된 제2 기준 영역들 및 상기 제1 기준 영역들의 모션 벡터들을 획득하는 단계;

상기 제1 기준 영역 및 상기 제2 기준 영역이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 단계;

상기 모션 벡터를 모션 벡터 검출 영역에 제공하는 단계- 상기 모션 벡터 검출 영역은 상기 제1 기준 영역 내의 상기 고-상관 영역으로 판정됨 -;

모션 벡터 미검출 영역 주위에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터를 상기 모션 벡터 미검출 영역에 제공하는 단계- 상기 모션 벡터 미검출 영역은 상기 제1 기준 영역 내의 상기 저-상관 영역으로 판정됨 -; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 제공된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 단계

를 수행하게 하는 컴퓨터 판독가능 매체.
제1 기준 프레임과 제2 기준 프레임 사이의 보간 프레임을 생성하기 위한 장치에 있어서,

상기 보간 프레임을 몇몇 픽셀들을 포함하는 몇몇 보간 영역들로 분할하는 보간 분할 유닛;

각각의 상기 보간 영역들에 대해서 제1 기준 영역들과 제2 기준 영역들 사이의 몇몇 결합들로부터 가장 상관된 결합을 검출하는 결합 검출 유닛- 상기 제1 기준 영역들은 상기 제1 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 상기 제2 기준 영역들은 상기 제2 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 각각의 상기 보간 영역들, 각각의 상기 몇몇 결합들의 상기 제1 기준 영역 및 각각의 상기 몇몇 결합들의 상기 제2 기준 영역은 일직선적인 시간 방식으로 정렬됨-;

검출된 결합에 포함된 상기 제1 기준 영역과 상기 제2 기준 영역으로부터 모션 벡터를 획득하는 모션 추정 유닛;

상기 제1 기준 영역들과 상기 제2 기준 영역들이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 상관 판정 유닛;

상기 모션 벡터를 모션 벡터 검출 영역에 제공하는 제공 유닛- 상기 모션 벡터 검출 영역은 상기 제1 기준 영역과 상기 제2 기준 영역 내의 상기 고-상관 영역으로 판정된 상기 보간 영역에 대응함 -;

모션 벡터 미검출 영역, 제1 영역, 제3 기준 프레임, 제2 영역 및 제4 기준 프레임을 이용하는 모션 추정에 의해 상기 모션 벡터 미검출 영역에 제공될 모션 벡터를 결정하는 모션 벡터 결정 유닛- 상기 제1 영역은 상기 제1 기준 프레임 내에 있고 상기 저-상관 영역으로 판정되며, 상기 제3 기준 프레임은 상기 보간 프레임을 기준으로 하여 상기 제1 기준 프레임과 시간적으로 동일한 방향에 있으며, 상기 제2 영역은 상기 제2 기준 프레임 내에 있고 상기 저-상관 영역으로 판정되며, 상기 제4 기준 프레임은 상기 보간 프레임을 기준으로 하여 상기 제2 기준 프레임과 시간적으로 동일한 방향에 있으며, 상기 모션 벡터 미검출 영역은 상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 저-상관 영역으로 판정된 상기 보간 영역에 대응함 -; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 대해 결정된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 모션 보상 유닛

을 포함하는 장치.
제1 기준 프레임과 제2 기준 프레임 사이의 보간 프레임을 생성하기 위한 장치에 있어서,

상기 제1 기준 프레임을, 각각이 몇몇 픽셀들을 포함하는 몇몇 제1 기준 영역들로 분할하는 영역 생성 유닛;

상기 제1 기준 영역들과 동일한 크기 및 모양을 가지며 상기 제2 기준 프레임 내에서 상기 제1 기준 영역들과 가장 상관된 제2 기준 영역들을 검출하는 제2 기준 검출 유닛;

상기 검출된 제2 기준 영역들 및 상기 제1 기준 영역들의 모션 벡터들을 획득하는 모션 추정 유닛;

상기 제1 기준 영역들 및 상기 제2 기준 영역들이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 상관 판정 유닛;

상기 모션 벡터를 모션 벡터 검출 영역에 제공하는 모션 벡터 제공 유닛- 상기 모션 벡터 검출 영역은 상기 고-상관 영역으로 판정됨 -;

모션 벡터 미검출 영역 및 제3 기준 프레임을 이용하는 모션 추정에 의해 상기 모션 벡터 미검출 영역의 모션 벡터를 결정하는 모션 벡터 결정 유닛- 상기 제3 기준 프레임은 상기 제1 기준 프레임을 기준으로 하여 상기 제2 기준 프레임과 시간적으로 반대의 방향에 있으며, 상기 모션 벡터 미검출 영역은 상기 저-상관 영역으로 판정되고 상기 제1 기준 영역 내에 있음 -; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 대해 결정된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 모션 벡터 보상 유닛

을 포함하는 장치.
제1 기준 프레임과 제2 기준 프레임 사이의 보간 프레임을 생성하기 위한 장치에 있어서,

상기 보간 프레임을 각각이 몇몇 픽셀들로 구성된 몇몇 보간 영역들로 분할하는 영역 생성 유닛;

각각의 상기 보간 영역들에 대해서 제1 기준 영역과 제2 기준 영역 사이의 결합들로부터 가장 상관된 결합을 검출하는 결합 검출 유닛- 상기 제1 기준 영역들은 상기 제1 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 상기 제2 기준 영역들은 상기 제2 기준 프레임 내에 있고 상기 보간 영역들과 동일한 크기 및 모양을 가지며, 상기 보간 프레임들, 각각의 상기 몇몇 결합들의 상기 제1 기준 영역 및 각각의 상기 몇몇 결합들의 상기 제2 기준 영역 각각은 일직선적인 시간 방식으로 정렬됨-;

검출된 결합에 포함된 상기 제1 기준 영역 및 상기 제2 기준 영역으로부터 모션 벡터를 획득하는 모션 추정 유닛;

상기 제1 기준 영역 및 상기 제2 기준 영역이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 상관 판정 유닛;

상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 고-상관 영역으로 판정된 상기 보간 영역에 대응하는 모션 벡터 검출 영역에 모션 벡터를 제공하는 제1 모션 벡터 제공 유닛;

상기 제1 기준 영역 및 상기 제2 기준 영역 내의 상기 저-상관 영역으로 판정된 상기 보간 영역에 대응하는 모션 벡터 미검출 영역에 상기 모션 벡터 미검출 영역 주변에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터를 제공하는 제2 모션 벡터 제공 유닛; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 제공된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 모션 보상 유닛

을 포함하는 장치.
제1 기준 프레임과 제2 기준 프레임 사이의 보간 프레임을 생성하기 위한 장치에 있어서,

상기 제1 기준 프레임을 각각이 몇몇 픽셀들을 포함하는 몇몇 제1 기준 영역들로 분할하는 영역 생성 유닛;

상기 제1 기준 영역들과 동일한 크기 및 모양을 가지며 상기 제2 기준 프레임 내의 상기 제1 기준 영역들에 가장 상관된 제2 기준 영역들을 검출하는 제2 기준 영역 검출 유닛;

상기 검출된 제2 기준 영역들 및 상기 제1 기준 영역들의 모션 벡터들을 획득하는 모션 추정 유닛;

상기 제1 기준 영역 및 상기 제2 기준 영역이 고-상관 영역 내에 있는지 또는 저-상관 영역 내에 있는지를 판정하는 상관 판정 유닛;

상기 모션 벡터를 모션 벡터 검출 영역에 제공하는 제1 모션 벡터 제공 유닛- 상기 모션 벡터 검출 영역은 상기 제1 기준 영역 내의 상기 고-상관 영역으로 판정됨 -;

모션 벡터 미검출 영역 주위에 정렬된 상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터를 상기 모션 벡터 미검출 영역에 제공하는 제2 모션 벡터 제공 유닛- 상기 모션 벡터 미검출 영역은 상기 제1 기준 영역 내의 상기 저-상관 영역으로 판정됨 -; 및

상기 모션 벡터 검출 영역에 제공된 상기 모션 벡터 및 상기 모션 벡터 미검출 영역에 제공된 상기 모션 벡터에 기초하여 상기 보간 프레임을 생성하는 모션 보상 유닛

을 포함하는 장치.