KR100759617B1

KR100759617B1 - 모션 벡터 검색 방법, 프레임 삽입 이미지 생성 방법, 및디스플레이 시스템

Info

Publication number: KR100759617B1
Application number: KR20030061874A
Authority: KR
Inventors: 이또고; 미시마나오; 오꾸무라하루히꼬
Original assignee: 가부시끼가이샤 도시바
Priority date: 2002-09-12
Filing date: 2003-09-04
Publication date: 2007-09-17
Also published as: JP2004104656A; US7561621B2; US20050100095A1; US20090185622A1; JP3898606B2; US8483278B2; KR20040024471A

Abstract

모션 벡터 검출 방법은, 이미지의 제1 프레임에서, 복수의 픽셀들을 포함하는 제1 블럭을 추출하는 단계; 상기 이미지의 제2 프레임의 복수의 블럭들에서, 블럭 매칭에 의해 제2 블럭을 검출하는 단계 - 상기 제2 블럭은, 상기 제1 블럭의 픽셀들 각각에 대해 제1 임계치 이하의 절대 차분치를 각각 나타내는 최대 개수의 픽셀들을 포함함 -; 및 상기 제1 블럭과 상기 제2 블럭 간의 제1 모션 벡터를 계산하는 단계를 포함한다.

픽셀, 모션 벡터, 프레임, 블럭, 차분 절대치

Description

모션 벡터 검색 방법, 프레임 삽입 이미지 생성 방법, 및 디스플레이 시스템{METHOD OF SEARCHING FOR MOTION VECTOR, METHOD OF GENERATING FRAME INTERPOLATION IMAGE AND DISPLAY SYSTEM}

도 1은 본 발명의 제1 실시예에 관련된 모션 벡터 검출 방법을 설명하기 위한 도면.

도 2는 본 실시예에 따른 모션 벡터 검출 절차를 나타내는 플로우차트.

도 3은 본 실시예에 따른 이미지 출력 결과 및 그 효과를 나타내는 도면.

도 4a 내지 도 4e는 모션 벡터의 에러 검출을 설명하기 위한 도면.

도 5a 내지 도 5e는 본 실시예의 방법에 의해 검출되는 블럭의 판정 방법을 설명하기 위한 도면.

도 6은 본 실시예에 따른 모션 벡터 검출 장치의 구성을 나타내는 블럭도.

도 7은 본 발명의 제2 실시예에 관련된 모션 벡터 검출 방법을 설명하기 위한 도면.

도 8은 본 실시예에 따른 모션 벡터 검출 절차를 나타내는 플로우차트.

도 9는 본 실시예에 따른 모션 벡터 검출 장치의 구성을 나타내는 블럭도.

도 10은 본 발명의 제3 실시예에 관련된 모션 벡터 검출 방법을 설명하기 위한 도면.

도 11은 본 실시예에 따른 모션 벡터 검출 절차를 나타내는 플로우차트.

도 12는 본 발명의 제4 실시예에 관련된 모션 벡터 검출 방법을 설명하기 위한 도면.

도 13은 본 실시예에 따른 모션 벡터 검출 절차를 나타내는 플로우차트.

도 14는 본 실시예에 따른 모션 벡터 검출 장치의 구성을 나타내는 블럭도.

도 15는 본 발명의 제5 실시예에 관련된 영역 분할 및 모션 벡터 검출 방법을 설명하기 위한 도면.

도 16은 본 실시예에 따른 영역 분할 및 모션 벡터 검출 절차를 나타내는 플로우차트.

도 17은 블럭 왜곡의 원인을 설명하기 위한 도면.

도 18은 본 실시예에 따른 영역 분할 및 모션 벡터 검출 장치의 구성을 나타내는 블럭도.

도 19는 본 발명의 제6 실시예에 따른 영역 분할 및 모션 벡터 검출 방법을 설명하기 위한 도면.

도 20은 본 발명의 제7 실시예에 관련된 영역 분할 및 모션 벡터 검출 절차를 나타내는 플로우차트.

도 21은 본 발명의 제8 실시예에 관련된 영역 분할 및 모션 벡터 검출 방법을 설명하기 위한 도면.

도 22는 본 발명의 제9 실시예에 관련된 영역 분할 및 모션 벡터 검출 방법을 설명하기 위한 도면.

도 23은 본 발명의 제10 실시예에 따른 영역 분할 및 모션 벡터 검출 절차를 나타내는 플로우차트.

도 24는 본 발명의 제11 실시예에 따른 영역 분할 및 모션 벡터 검출 방법을 설명하기 위한 도면.

도 25는 본 발명에 따른 영역 분할 및 모션 벡터 검출 절차를 나타내는 플로우차트.

도 26은 본 발명의 제12 실시예에 따른 영역 분할 및 모션 벡터 검출 방법을 설명하기 위한 도면.

도 27은 본 실시예에 따른 장치를 구성하는 삽입 이미지의 구성을 나타내는 블럭도.

도 28은 본 실시예에 따른 영역 분할 및 모션 벡터 검출 절차를 나타내는 플로우차트.

도 29는 본 발명의 제12 실시예에 따른 디스플레이 시스템의 구성을 나타내는 블럭도.

도 30은 본 실시예에 다른 장치를 구성하는 삽입 이미지의 구성을 나타내는 블럭도.

<도면의 주요 부분에 대한 부호의 설명>

1 : m번째 프레임

2 : (m + n)번째 프레임

11 : 제1 블럭

12 : 제2 블럭

<관련 출원의 상호 참조>

본 출원은 2002년 9월 12일자로 출원된 일본특허출원 제2002-266642호를 우선권 기초로 하여 우선권을 주장하며, 그로 인한 권리를 갖는다. 상기 일본특허출원의 전체 내용이 본 명세서에 참조로서 인용되었다.

본 발명은 모션 벡터(motion vector) 검색 방법, 모션 벡터를 이용한 모션 보상(motion compensation)에 의해 프레임 삽입 이미지(frame interpolation image)를 생성하는 방법 및 디스플레이 시스템에 관한 것이다.

일반적으로, 디스플레이 유닛에는 2가지 종류가 있는데, 그 중 하나는 예를 들어 CRT 또는 FED(field emission type display unit) 등, 이미지의 기입 후 형광 물질의 잔광에 의해서만 발광을 지속하는 임펄스형 디스플레이 유닛이고, 나머지 하나는 예를 들어 LCD 및 ELD(Electro Luminescence Display) 등, 새로운 이미지가 기입될 때까지 이전 프레임의 디스플레이를 계속 유지하는 홀드형 디스플레이 유닛이다.

홀드형 디스플레이 유닛의 문제점은 모션 비디오 디스플레이 시 발생하는 흐려짐 현상(blur phenomenon)이다. 흐려짐 현상의 발생은 복수 프레임에 걸쳐 이동하는 오브젝트에서 나타난다. 시청자의 시각이 움직이는 오브젝트의 모션을 따라 갈 때, 망막에 복수 프레임의 이미지들이 중첩되어 투영된다. 디스플레이 이미지가 이전 프레임에서 다음 프레임으로 교체되는 동안 동일한 이전 프레임의 이미지가 지속적으로 디스플레이 된다. 이러한 것에도 불구하고, 시청자는 움직이는 오브젝트의 모션 방향으로 이전 프레임 이미지에서 시각을 이동시키며 다음 프레임을 예측한다. 환언하면, 시각의 후속적인 모션이 연속성을 갖고, 시각은 프레임들 간의 거리보다 미세한 거리에서 이미지를 샘플링하기 때문에, 시청자는 인접 프레임들을 삽입한 이미지를 시각적으로 인식한다. 따라서, 이동체가 흐리게 관측된다.

홀드형 디스플레이 유닛의 다른 문제점은 몇몇 프레임의 모션 비디오가 디스플레이 될 때 자연스럽지 못한 모션을 발생시킨다는 것이다.

이러한 문제점을 해결하기 위해 디스플레이 프레임 거리가 짧아질 수 있다. 구체적인 기술로서, MPEG(Motion Picture Experts Group phase2)에서 삽입 이미지를 형성하기 위해 사용되는 모션 보상을 사용하여 인접 프레임들을 삽입하는 것이 고려된다. 모션 보상에서는, 블럭 매칭에 의해 검출된 모션 벡터가 사용된다. 그러나, MPEG2는 이미지를 블럭 단위로 구성하기 때문에, 블럭에는 상관된 블럭(correlated block)과 상관되지 않은 블럭(uncorrelated block)이 발생한다. 이러한 이유로, 상관되지 않은 블럭에 기인한 블럭 왜곡이 발생한다.

일본특허공개 제2000-224593호는 이러한 문제점을 해결하기 위한 프레임 간 삽입 방법을 개시하고 있다. 이러한 종래의 방법에 따르면, 삽입 프레임에서의 삽입 블럭의 픽셀(pixel) 값이 결정될 때, 2개 프레임 사이의 차분 절대치가 디코딩될 블럭에 대한 모든 대응 픽셀마다 임계치와 비교된다. 블럭들은 임계치 이하의 차분 절대치를 갖는 제1 픽셀 영역과 임계치보다 큰 차분 절대치를 갖는 제2 픽셀 영역으로 분류된다. 제1 픽셀 영역에서는, 삽입 프레임을 형성하기 위해 제1 픽셀 영역의 픽셀 값과 2개 프레임 간의 모션 벡터에 의해 지정된 참조 블럭 내의 대응 픽셀 값의 평균이 계산된다. 제2 픽셀 영역에서는, 디코딩될 프레임에 은닉면 관계(hidden surface relation)가 결정되고, 제2 모션 벡터를 검출하기 위해 2개 프레임 간의 모션 벡터 검색 방향이 다시 설정된다. 제2 모션 벡터를 스케일링하여 취득되는 모션 벡터가 블럭을 지정할 때, 검색 기준 프레임의 픽셀 값이 삽입 프레임에 복사된다.

본 발명의 목적은 삽입 이미지의 생성에 적합한 모션 벡터 검출 방법, 상기 방법을 이용하는 프레임 삽입 이미지 생성 방법, 및 디스플레이 시스템을 제공하는 것이다.

본 발명의 일 특성에 따르면, 이미지의 복수의 프레임들 간의 모션 벡터를 검출하는 방법에 있어서 - 상기 복수의 프레임들 각각은 복수의 블럭들을 포함함 -, 상기 이미지의 제1 프레임에서, 복수의 픽셀들을 포함하는 제1 블럭을 추출하는 단계; 상기 이미지의 제2 프레임의 복수의 블럭들에서, 블럭 매칭에 의해 제2 블럭을 검출하는 단계 - 상기 제2 블럭은, 상기 제1 블럭의 픽셀들 각각에 대해 제1 임계치 이하의 차분 절대치를 각각 나타내는 최대 개수의 픽셀들을 포함함 -; 및 상기 제1 블럭과 상기 제2 블럭 간의 제1 모션 벡터를 계산하는 단계를 포함하는 모션 벡터 검출 방법이 제공된다.

이하, 도면을 참조하여 본 발명의 실시예를 설명한다.

(제1 실시예)

도 2에 도시된 절차는 본 발명의 제1 실시예에서 도 1에 도시된 바와 같이 원래의 비디오의 m번째 프레임(m은 정수)과 (m + n)번째 프레임(n은 1 이상의 정수) 사이에서 모션 벡터를 검출하기 위해 사용된다. 이하, 도 1 및 도 2를 참조하여 본 실시예의 절차를 설명한다.

먼저, m번째 프레임(1)의 이미지 데이터를 복수의 제1 블럭(11)으로 분할하여, 제1 블럭(11)을 순차적으로 추출한다 (단계 S101).

단계 S101에서 추출한 제1 블럭(11)과 크기 및 형태가 동일한 제2 블럭(12)을, (m + n)번째 프레임(2)의 이미지 데이터에서 추출한다 (단계 S102).

단계 S101에서 추출한 제1 블럭(11)과 단계 S102에서 추출한 제2 블럭(12)의 대응 픽셀들의 차분 절대치를 매 픽셀마다 계산한다 (단계 S103). 따라서, 차분 절대치의 개수는 블럭 내의 픽셀의 개수와 동일하다.

각각의 차분 절대치를 공통 임계치와 비교하고, 차분 절대치가 임계치 이하인 픽셀을 카운트하여, 카운트 값 p(p는 0 이상의 정수)를 구한다 (단계 S104).

단계 S104에서 구한 카운트 값 p가 최대인 제1 블럭 및 제2 블럭의 쌍(11 및 12)을 단계 S101에서 추출한 제1 블럭(11)마다 구하여, 블럭들 사이를 연결하는 벡터를 모션 벡터로서 선택한다 (단계 S105). 환언하면, 차분 절대치가 임계치 이하인 최대 개수의 픽셀을 각각 포함하는 블럭 쌍을 블럭 매칭에 의해 구한다. 상기 블럭 쌍 사이의 모션 벡터를 검출한다.

도 3은 삽입 이미지가 모션 벡터의 검출 결과에 의해 변화하는 상태를 나타낸다. 제1 블럭(11)에 대하여 검출된 모션 벡터가 A인 경우, 모션 벡터(A)에 의해 지정되는 제2 블럭(12A)에 의해 이미지(3A)가 이루어진다. 제1 블럭(11)에 대하여 검출된 모션 벡터가 B인 경우, 모션 벡터(B)에 의해 지정되는 제2 블럭(12B)에 의해 이미지(3B)가 이루어진다. 본 예에서는, 모션 벡터(A)가 올바른 것이고, 모션 벡터(B)는 잘못된 것이다.

삽입 이미지를 형성하는 데 있어서 삽입 이미지를 원래의 픽쳐(picture)가 존재하지 않던 위치에 형성하기 때문에, 삽입 이미지의 화질은 모션 벡터의 정밀도에 의해 근사적으로 결정된다. 도 3에 도시된 바와 같이 잘못된 모션 벡터(B)가 검출되면, 삽입 이미지의 화질은 이미지(3B)에 도시된 바와 같이 크게 열화된다.

도 4는 도 3에 대응하는 이미지 데이터의 일례를 나타낸다. 도 3에 도시된 모션 벡터(A 및 B)는 도 4a에 도시된 m번째 프레임(1)의 제1 블럭(11)에 대하여 검출된다. 모션 벡터(A 및 B)에 의해 지정되는 제2 블럭(12A 및 12B)은 도 4a 및 도 4c에 도시된 바와 같이 (m + n)번째 프레임(2)으로부터 추출된다.

도 4a에 도시된 바와 같이, (m + n)번째 프레임(2)의 이미지는 휘도가 경미하게 변화한다. 올바른 모션 벡터(A)에 의해 지정되는 제2 블럭(12A)이 도 4b에 도시된 바와 같이 "4A"에 대하여 전체적으로 밝게 되지만 그 형상은 변화하지 않는다는 것은 중요한 것이다. 한편, 잘못된 모션 벡터(B)에 의해 지정되는 제2 블럭(12B)은 도 4c에 도시된 바와 같이 전체적으로 래스터 픽쳐(raster picture)이 고, 그 형태는 도 4a의 것과 다르다.

MPEG2에 사용되는 블럭 매칭 방법은 제1 블럭 및 제2 블럭의 쌍의 픽셀 값들의 차분 절대치의 합을 제공한다. 환언하면, 도 4a 및 도 4b의 픽셀 값의 차분 절대치의 합과 도 4a 및 도 4c의 픽셀 값의 차분 절대치의 합(이하, '차분 절대치 합'이라 함)이 각각 얻어진다. 도 4a 및 도 4b의 차분 절대치 합은 도 4d에 도시된 바와 같이 "180"이다. 이와는 대조적으로, 도 4a 및 도 4c의 차분 절대치 합은 도 4e에 도시된 바와 같이 "150"이다. 이 중 작은 차분 절대치가 선택되는 것으로 가정하면, 도 4a 및 도 4c에 도시된 블럭 쌍이 선택되고, 대응 모션 벡터(B)가 선택된다. 그러나, 에지들의 형상으로부터 상관 관계를 판정하면, 보다 높은 상관을 갖는 블럭 쌍이 도 4a 및 도 4b의 블럭 쌍이 된다.

도 5a 내지 도 5e는 본 발명에 따라 도 3에 대응하는 이미지 데이터의 일례를 나타낸다. 도 5a, 도 5b, 및 도 5c는 도 4a, 도 4b, 및 도 4c와 동일하다. 본 실시예에 따르면, 임계치를 예를 들어 "20"으로 설정하고, 제1 및 제2 블럭의 대향 픽셀들의 차분 절대치가 임계치 이하인 픽셀을 카운트하여, 카운트 값 p를 얻는다. 이 경우, 모션 벡터(A)에 의해 지정되는 도 5a의 제1 블럭(11)과 도 5b의 제2 블럭(12A) 사이의 차분 절대치 합이 임계치 이하인 픽셀의 카운트 값은 "9"이다. 모션 벡터(B)에 의해 지정되는 도 5a의 제1 블럭(11)과 도 5c의 제2 블럭(12B) 사이의 차분 절대치 합이 임계치 이하인 픽셀의 카운트 값은 "6"이다.

본 실시예에 따르면, 보다 큰 카운트 값 p의 블럭 쌍의 블럭들 사이의 모션 벡터를 선택한다. 즉, 도 5a 및 도 5b의 블럭 쌍의 블럭들 사이의 모션 벡터(A)를 선택한다. 임계치를 이미지의 평균 픽셀 값(휘도 값)의 3% 근처가 되도록 설정하면 잘못된 모션 벡터의 에러 검출이 저하된다는 것이 발명자들의 실험에 의해 확인되었다. 예를 들어, 256 그레이 레벨(gray level)의 이미지에서 임계치를 5 레벨로 설정하면 이와 같은 효과가 확인된다.

본 실시예에 관련되는 모션 벡터 검출 처리를 실행하기 위한 모션 벡터 검출 장치의 구성이 도 6에 도시되어 있다. 설명의 편의상, n = 1이라고 가정한다. 입력 이미지 신호(31)가 (m + 1)번째 프레임 메모리(32)와 m번째 프레임 메모리(33)에 순차적으로 입력된다. 프레임 메모리(32 및 33)로부터 (m + 1)번째 프레임 및 m번째 프레임의 이미지 신호(34 및 35)가 각각 판독된다.

제1 블럭 추출 유닛(41)은 m번째 프레임으로부터 제1 블럭을 추출하는 도 2의 단계 S101의 처리를 행한다. 제2 블럭 추출 유닛(42)은 (m + 1)번째 프레임으로부터 제2 블럭을 추출하는 단계 S102의 처리를 행한다. 제1 및 제2 블럭의 이미지 신호들은 차분 절대치 계산 유닛(51)에 입력된다. 대향 픽셀들 사이의 차분 절대치 E1을 계산하는 단계 S103의 처리를 행한다. 차분 절대치 E1은 수학식 1에 의해 계산된다.

여기서, D는 모션 벡터를 나타내고, X는 블럭의 위치 벡터를 나타내며, f(X, m)은 각 블럭의 위치(X)와 프레임(m)에 대응하는 픽셀 데이터를 나타낸다. 이들 파라미터는 이하 설명될 다른 실시예에도 사용된다.

차분 절대치 계산 유닛(51)에 의해 얻어진 차분 절대치 E1은 차분 절대치 E1이 임계치 이하인 픽셀들을 카운트하기 위한 카운터 유닛(52)에 입력된다. 단계 S104에서 차분 절대치 E1은 임계갑과 비교된다. 차분 절대치 E1이 임계치 이하인 픽셀들의 카운트 값 p을 얻기 위한 계산은 제1 및 제2 블럭의 블럭 쌍마다 수행된다. 카운트 값 p는 모션 벡터 선택 유닛(53)에 입력된다. 단계 S105에서, 카운트 값 p이 최대인 블럭 쌍이 추출되고, 모션 벡터가 검출 및 선택된다.

상술한 바와 같이, 본 실시예는 m번째와 (m + n)번째 프레임들 사이에서 형상이 강조된 모션 벡터를 검출할 수 있다.

(제2 실시예)

도 7에 도시된 바와 같이, 원래의 픽쳐의 m번째(m은 정수) 프레임으로부터 (m + n)번째(n은 1 이상의 정수) 프레임까지의 모션 벡터가 검출되고, 또한 (m + n)번째 프레임으로부터 m번째 프레임까지의 모션 벡터도 검출된다. 본 발명의 제2 실시예에서는, 이러한 쌍방향 모션 벡터가 도 8에 도시된 절차에 따라 검출된다. 이하, 도 7 및 도 8을 참조하여 본 실시예의 절차를 설명한다. 도 8에서, 단계 S201 내지 S205의 처리는 도 2의 단계 S101 내지 S105의 것과 유사하다.

환언하면, 우선, m번째 프레임(1)의 이미지 데이터를 복수의 제1 블럭(11)으로 분할하여 순차적으로 추출한다 (단계 S201).

단계 S201에서 추출한 제1 블럭(11)과 크기 및 형태가 동일한 제2 블럭(12)을, (m + n)번째 프레임(2)의 이미지 데이터로부터 추출한다 (단계 S202).

단계 S201에서 추출한 제1 블럭(11)과 단계 S202에서 추출한 제2 블럭(12)의 대향 픽셀들의 제1 차분 절대치를 픽셀 쌍마다 계산한다 (단계 S203).

제1 차분 절대치 각각을 공통의 제1 임계치와 비교한다. 제1 차분 절대치가 제1 임계치 이하인 픽셀을 카운트하여, 제1 카운트 값 p(p는 0 이상의 정수)를 구한다 (단계 S204).

단계 S204에서 구한 제1 카운트 값 p가 최대가 되는 제1 및 제2 블럭(11 및 12) 쌍을, 단계 S201에서 추출한 제1 블럭(11)마다 추출한다. 상기 블럭 쌍 사이를 연결하는 벡터를 제1 모션 벡터 후보 D로서 선택한다 (단계 S205).

(m + n)번째 프레임(2)의 이미지 데이터를 복수의 제3 블럭(13)으로 분할하여 순차적으로 추출한다 (단계 S206).

단계 S206에서 추출한 제3 블럭(13)과 크기 및 형태가 동일한 제4 블럭(14)을, m번째 프레임(1)의 이미지 데이터로부터 추출한다 (단계 S207).

단계 S206에서 추출한 제3 블럭(13)과 단계 S207에서 추출한 제4 블럭(14)의 대향 픽셀들 사이의 제2 차분 절대치를 픽셀 쌍마다 계산하여, 복수의 제2 차분 절대치를 구한다 (단계 S208).

제2 차분 절대치 각각을 공통의 제2 임계치와 비교한다. 제2 차분 절대치가 제2 임계치 이하인 픽셀을 카운트하여, 제2 카운트 값 q(q는 0 이상의 정수)을 구한다 (단계 S209).

단계 S209에서 구한 제2 카운트 값 q가 최대가 되는 제3 및 제4 블럭 쌍(13 및 14)을, 단계 S206에서 추출한 제3 블럭마다 추출한다. 상기 블럭 쌍 사이를 연 결하는 벡터를 제2 모션 벡터 후보 E로서 선택한다 (단계 S205).

카운트 값 p와 카운트 값 q를 비교한다 (단계 S211). p가 q 이상이면, 제1 벡터 후보 D를 모션 벡터로서 선택한다 (단계 S212). p가 q보다 작으면, 제2 벡터 후보 E를 모션 벡터로서 선택한다 (단계 S213).

제1 및 제2 임계치는 적절하게 선택된 값이다. 그러나, 임계치들은 서로 다르거나 또는 동일할 수도 있다.

본 실시예에 따른 모션 벡터 검출 방법을 구현하기 위한 모션 벡터 검출 장치의 구성이 도 9에 도시되어 있다. 설명의 편의상, "n = 1"이라고 가정하자. 도 9에서는, 도 6에 도시된 제1 실시예의 모션 벡터 검출 장치에 제3 및 제4 블럭 추출 유닛(43 및 44)이 부가되어 있다. 또한, 차분 절대치 계산 유닛(51A 및 51B)이 제공된다. 차분 절대치 계산 유닛(51A)은 도 6에 도시된 차분 절대치 계산 유닛(51)에 대응하는 것으로, 제1 및 제2 블럭들 사이의 차분 절대치를 계산한다. 차분 절대치 계산 유닛(51B)은 제3 및 제4 블럭들 사이의 차분 절대치를 계산한다. 또한, 카운트 유닛(52A 및 52B)이 제공된다. 카운트 유닛(52A)은 도 6에 도시된 카운트 유닛(52)에 대응하는 것으로 픽셀 개수 q를 카운트 업한다. 카운트 유닛(52B)은 픽셀 개수 p를 카운트 업한다.

제1 실시예에서 모션 벡터 D를 얻기 위한 처리와 유사하게 제1 모션 벡터 후보를 얻기 위한 처리를 실행한다. 제1 블럭 추출 유닛(41)은 m번째 프레임으로부터 제1 블럭을 추출하는 도 8에서의 단계 S201의 처리를 행한다. 제2 블럭 추출 유닛(42)은 (m + 1)번째 프레임으로부터 제2 블럭을 추출하는 단계 S202의 처리를 행한다.

제1 및 제2 블럭의 픽쳐 신호들이 차분 절대치 계산 유닛(51A)에 입력되면, 한 쌍의 대향 픽셀들 간의 차분 절대치 E1을 얻기 위한 계산인 단계 S203의 처리가 수학식 1에 따라 대향 픽셀들의 매 쌍마다 실행된다. 차분 절대치 계산 유닛(51A)에서 구한 차분 절대치 E1은 카운트 유닛(52A)에 입력되고, 카운트 유닛(52A)은 차분 절대치 E1이 임계치 이하인 픽셀을 카운트함으로써, 카운트 값 p를 얻는다. 다음으로, 단계 S204의 처리가 수행된다. 환언하면, 차분 절대치 E1과 임계치를 비교한다. 차분 절대치가 임계치 이하인 픽셀들의 카운트 값을 얻기 위한 계산을 제1 및 제2 블럭의 쌍마다 수행한다. 카운트 값 p는 모션 벡터 선택 유닛(53)으로 입력되고, 단계 S205의 처리가 수행된다. 환언하면, 해당 프레임에서 카운트 값 p가 최대가 되는 블럭 쌍을 추출하고, 상기 추출된 블럭 쌍에 기초하여 제1 모션 벡터 후보 D를 검출 및 선택한다.

한편, 제2 모션 벡터 후보 E를 검출하기 위한 처리에 있어서, 제3 블럭 추출 유닛(43)은 (m + 1)번째 프레임으로부터 제3 블럭을 추출하는 도 8의 단계 S206의 처리를 수행한다. 제4 블럭 추출 유닛(44)은 m번째 프레임으로부터 제4 블럭을 추출하는 단계 S207의 처리를 수행한다. 제3 및 제4 블럭의 픽쳐 신호들이 차분 절대치 계산 유닛(51B)에 입력되면, 대향 픽셀들의 차분 절대치 E2가 대향 픽셀들의 쌍마다 계산된다 (단계 S208). 차분 절대치 E2를 수학식 2에 의해 계산한다. 여기서, E는 제2 후보 모션 벡터이다.

차분 절대치 산출 유닛(51B)에 의해 취득된 차분 절대치 E2가, 차분 절대치가 임계치 이하인 픽셀을 카운트하기 위한 카운트 유닛(52B)에 입력된다. 이 때, 단계 S209의 처리가 수행된다. 즉, 차분 절대치 E2와 임계치를 비교한다. 제3 및 제4 블럭 쌍마다, 차분 절대치 E2가 임계치 이하인 픽셀을 카운트하여 카운트 값 q을 취득한다. 카운트 값 q이 모션 벡터 선택 유닛(53)에 입력되면, 단계 210의 처리가 수행된다. 즉, 카운트 값 q이 최대인 블럭 쌍을 추출한다. 추출된 블럭 쌍에 기초하여, 제2 모션 벡터 후보 E를 검출 및 선택한다.

다음으로, 단계 211의 처리가 수행된다. 즉, 제1 모션 벡터가 검출될 때 취득된 카운트 값 p와 카운트 값 q를 비교한다. p가 q 이상이면, 제1 모션 벡터 후보 D가 모션 벡터로 최종 선택된다. p가 q 미만이면, 제2 모션 벡터 E가 모션 벡터로 선택된다.

상술된 본 실시예에서는, m번째 프레임으로부터 (m + n)번째 프레임으로의 모션 벡터 검출 및 (m + n)번째 프레임으로부터 m번째 프레임으로의 모션 벡터 검출이 행해진다. 이들 모션 벡터 중에서 신뢰성이 높은 모션 벡터가 선택되면, 이 모션 벡터는 고정밀도로 검출될 수 있다.

(제3 실시예)

도 10에 도시된 바와 같이, 원래의 픽쳐의 m번째 프레임(m은 정수)과 (m + n)번째 프레임(n은 k + 1 이상의 정수이며, k는 실수) 간의 모션 벡터 F를 검출하기 위해서는, (m + k)번째 프레임(4)(k는 실수)이 m번째 프레임(1)과 (m + n)번째 프레임(2) 사이에 있다고 가정한다. 제3 및 제4 모션 벡터는 (m + k)번째 프레임(4)으로부터 m번째 프레임(1) 및 (m + n)번째 프레임(2)으로 연장된다고 가정한다.

(m + k)번째 프레임(4)은 상술된 바와 같이 m번째 프레임(1)과 (m + n)번째 프레임(2) 사이의 중간에 위치한 것으로 가정하는 가상 프레임(imagination frame)이며, 원래의 픽쳐에는 존재하지 않는다. 이것은 원래의 픽쳐에 기초하여 새롭게 형성할 수 있는 이미지 데이터들이다. 이하, 본 실시예에서의 처리 절차를, 도 10 및 도 11과 결부하여 설명하기로 한다.

먼저, (m + k)번째 프레임(4)의 이미지 데이터는 추출될 복수개의 제5 블럭(15)으로 분할된다 (단계 S301).

제5 블럭(15)과 크기 및 형태가 동일한 제6 블럭(16)이 m번째 프레임(1)의 이미지 데이터로부터 추출된다 (단계 S302).

제5 블럭(15)과 제6 블럭(16)을 연결하는 제3 벡터가 모션 벡터로서 취득된다 (단계 S303). m번째 프레임(1)과 (m + n)번째 프레임(2) 간의 모션 벡터를 F라 가정하면, 모션 벡터 F에 대응하는 제3 모션 벡터는 (m + k)번째 프레임(4)과 m번째 프레임(1) 간의 간격에 따라 모션 벡터 F를 스케일링함으로써 취득된 모션 벡터에 대응한다. 즉, 제3 모션 벡터는 도 10에 도시된 바와 같이 - F * k / n으로 표현된다. 제3 모션 벡터를 - (n - k) / k배한 제4 모션 벡터가 산출된다 (단계 S304).

상술된 바와 같이, m번째 프레임(1)과 (m + n)번째 프레임(2) 간의 모션 벡터 F에 대응하는 제3 모션 벡터를 - F * k / n이라 가정하면, 제4 모션 벡터는 F(n - k) / n이며, (m + n)번째 프레임(1)과 (m + k)번째 프레임(4) 간의 간격에 따라 모션 벡터 F를 스케일링하여 모션 벡터가 취득된다.

제5 블럭(15)이 이동되는 제7 블럭(17)이, 제4 모션 벡터(F (n - k) / n)에 따라 (m + n)번째 프레임(2)으로부터 추출된다 (단계 S305).

제6 및 제7 블럭(16 및 17)의 대향 픽셀들의 차분 절대치 E3가 블럭 쌍마다 산출된다 (단계 S306).

차분 절대치 E3가 임계치와 비교된다. 차분 절대치 E3가 임계치 이하인 픽셀을 카운트하여 카운트 값 r(r은 0보다 큰 정수)을 취득한다 (단계 S307).

카운트 값 r이 최대가 되는 블럭들의 블럭 쌍이 제6 및 제7 블럭(17)으로부터 추출된다. 추출된 블럭들 간을 연결하는 벡터가 모션 벡터 F로 선택된다 (단계 S308).

본 실시예와 관련된 모션 벡터 검출 처리를 수행하는 모션 벡터 검출 장치의 구성은 본질적으로 도 6과 동일하다. 프레임 메모리(32 및 33)는 임시 장소에 적시에 설정된 (m + k)번째 프레임(4)에 대해 적시의 전후에 이미지 데이터를 저장한다. 차분 절대치 E3는 수학식 3에 의해 산출된다.

(제4 실시예)

본 발명의 제4 실시예는 벡터의 에러를 판정하는 기능을 부가한다. 본 실시예에서는, (m + k)번째 프레임(4)이 원래의 픽쳐를 포함하는 프레임이라는 조건에서, 제3 실시예와는 다르다. 도 12에 도시된 바와 같이, 원래의 픽쳐의 (m + k)번째 프레임(4)은 m번째 프레임(1)(m은 정수)과 (m + n)번째 프레임(2)(n은 k + 1보다 크며, k는 1보다 큰 정수) 사이의 중간에 위치하고 있으며, m번째 프레임(1)과 (m + n)번째 프레임(2) 간의 모션 벡터가 검출된다.

본 실시예에서 (m + k)번째 프레임(4)은 상술된 원래의 픽쳐를 포함하는 실제 프레임이다. (m + k)번째 프레임(4)은 제3 실시예에서 설명된 가상 프레임인 (m + k)번째 프레임과는 다르지만, 시간축 상에서 동일한 위치에 존재할 수 있다. 본 실시예에서, 모션 벡터는 도 13에 도시된 절차에 따라 검출된다. 이하, 본 실시예의 처리 절차를 도 12 및 도 13과 결부하여 설명하기로 한다.

먼저, m번째 프레임(1)의 이미지 데이터는, 추출될 복수개의 제5 블럭(15)으로 분할된다 (단계 S401).

제5 블럭(15)과 크기 및 형태가 동일한 제6 블럭(16)이 (m + n)번째 프레임(2)의 이미지 데이터로부터 추출된다 (단계 S402).

제5 블럭(15)과 제6 블럭(16)을 연결하는 벡터가 모션 벡터 F로서 추출된다 (단계 S403).

제5 및 제6 블럭의 대향 픽셀들의 차분 절대치 E4가 픽셀 쌍마다 산출된다 (단계 S404).

차분 절대치 E4는 임계치와 비교된다. 차분 절대치가 임계치 이하인 픽셀을 카운트하여 카운트 값 p(p은 0보다 큰 정수)을 취득한다 (단계 S405).

제1 모션 벡터 F에 따라, 제1 모션 벡터 F를 k / n배한 제2 모션 벡터 F * k / n가 산출된다 (단계 S406).

제5 블럭(15)의 이동 개소(locomotive point)인 제7 블럭(17)은 제2 모션 벡터 F * k / n에 기초하여 (m + k)번째 프레임(4)으로부터 추출된다 (단계 S407).

제5 및 제7 블럭(15 및 17)의 대향 픽셀들 간의 차분 절대치 E5가 픽셀 쌍마다 산출된다 (단계 S408).

차분 절대치 E5는 임계치와 비교된다. 차분 절대치가 임계치 이하인 픽셀을 카운트하여 카운트 값 q(q은 0 이상의 정수)을 취득한다 (단계 S409).

추가 가중치 r(r = x ×p + (1 - x)r; x는 0보다 크고 1 이하인 실수)가 카운트 값 p 및 q로부터 산출된다 (단계 S410).

추가 가중치 r가 최대인 블럭 쌍이 제5 및 제6 블럭(15 및 16)으로부터 추출되며, 블럭 쌍들의 블럭들을 연결하는 제1 벡터 F가 m번째 프레임(1)과 (m + n)번째 프레임(2) 간의 모션 벡터로 선택된다 (단계 S411).

본 실시예에 따른 모션 벡터 검출 처리를 수행하는 모션 벡터 검출 장치의 구성은 도 14에 도시되어 있다. 설명을 간략하게 하기 위해, n = 2이고 k = 1이라 가정한다.

입력 이미지 신호(30)는 m번째 프레임 메모리(31), (m + 1)번째 프레임 메모리(32) 및 (m + 2)번째 프레임 메모리(33)에 순차적으로 입력된다. m번째 프레임, (m + 1)번째 프레임 및 (m + 2)번째 프레임의 픽쳐 신호가 메모리(31, 32 및 33)로부터 판독된다.

제5 블럭 추출 유닛(45)은 m번째 프레임으로부터 제5 블럭을 추출하고, 제6 블럭 추출 유닛(46)은 (m + 1)번째 프레임으로부터 제6 블럭을 추출한다. 제1 모션 벡터 산출 유닛(61)은 제6 블럭과 제5 블럭 간을 연결하는 제1 모션 벡터 F를 산출한다. 차분 절대치 산출 유닛(51C)은 제5 및 제6 블럭의 대향 픽셀 쌍마다 제5 및 제6 블럭의 픽셀 신호 간의 차분 절대치 E4를 산출한다. 차분 절대치 E4는 카운트 유닛(52A)에 입력되어 임계치와 비교된다. 카운트 유닛(52A)은 차분 절대치 E4가 임계치 이하인 픽셀을 카운트하여 카운트 값 p을 취득한다. 카운트 값 p은 블럭 쌍마다 취득되며 모션 벡터 선택 유닛(53)에 입력된다.

제1 모션 벡터 F는 제2 모션 벡터 생성 유닛(62)에 입력되어 제1 모션 벡터 F를 k / n배한 제2 모션 벡터 F * k / n를 산출한다. 제7 블럭 추출 유닛(47)은 제5 블럭의 이동 개소인 제7 블럭을 제2 모션 벡터 F * k / n에 따라 (m + 1)번째 프레임으로부터 추출한다. 차분 절대치 산출 유닛(51D)은 블럭의 대향 픽셀 쌍마다 제5 및 제7 블럭의 픽셀 신호들 간의 차분 절대치 E5를 산출한다. 차분 절대치 E5는 카운트 유닛(52B)에 입력되며 임계치와 비교된다. 카운트 유닛(52B)은, 차분 절대치 E5가 임계치 이하인 픽셀을 카운트하여 카운트 값 q을 취득한다. 카운트 값 q은 블럭 쌍마다 취득되며, 모션 벡터 선택 유닛(53)에 입력된다.

마지막으로, 모션 벡터 선택 유닛(53)은 카운트 값 p 및 q로부터 추가 가중치 r(r = x ×p + (1 - x)r; x는 0보다 크고 1 이한 실수)를 산출한다. 추가 가중치 r가 최대인 제5 블럭과 제6 블럭 간을 연결하는 제1 모션 벡터 F가 m번째 프레임과 (m + n)번째 프레임 간의 모션 벡터로 선택된다.

제5 블럭과 제6 블럭 사이의 차분 절대치 E4는 수학식 4에 의해 산출된다.

제5 블럭과 제7 블럭 간의 차분 절대치 E5는 수학식 5에 의해 산출된다.

(제5 실시예)

제5 실시예에서, 원래의 픽쳐의 m번째 프레임(m은 정수)과 (m + n)번째 프레임(n은 1보다 큰 정수) 간의 모션 벡터가 도 15에 도시된 바와 같이 검출되는 경우, 각 프레임의 각 블럭은 복수의 영역으로 분할되어 각 영역마다 모션 벡터를 검출한다. 이하, 본 실시예의 처리 절차를 도 15 및 도 16과 결부하여 설명하기로 한다.

설명을 간략하게 하기 위해, n = 1이고 블럭은 2개의 영역으로 분할한다.

먼저, m번째 프레임(1)의 이미지 데이터는 복수개의 제1 블럭(11)으로 분할 되어 순차적으로 추출된다 (단계 S501).

제1 블럭(11)과 크기 및 형태가 동일한 제2 블럭(12)이 (m + n)번째 프레임(2)의 이미지 데이터로부터 추출된다 (단계 S502).

블럭의 대향 픽셀 쌍마다 제1 및 제2 블럭(11 및 12)의 대향 픽셀들 간의 차분 절대치 E1가 산출된다 (단계 S503).

차분 절대치 E1는 제1 임계치와 비교된다. 차분 절대치 E1가 임계치 이하인 픽셀을 카운트하여 카운트 값 p(p은 0보다 큰 정수)을 취득한다 (단계 S504).

카운트 값 p이 최대인 제1 블럭(11)과 제2 블럭(12) 간을 연결하는 제1 벡터를 제1 영역과 (m + 1)번째 프레임 간의 모션 벡터(제1 영역 모션 벡터)라고 가정한다 (단계 S505).

차분 절대치 E1는 제2 임계치와 비교된다. 차분 절대치 E1가 임계치 이하인 제1 블럭(11)의 픽셀이 제1 영역의 픽셀 블럭(21)으로서 추출된다 (단계 S506).

차분 절대치 E1가 제2 임계치보다 큰 제1 블럭(11)의 픽셀이 제2 영역의 픽셀 블럭(22)으로서 추출된다 (단계 S507).

픽셀 블럭(22)과 크기 및 형태가 동일한 제3 블럭(13)이 (m + 1)번째 프레임(2)의 이미지 데이터로부터 추출된다 (단계 S508).

제2 영역의 픽셀 블럭(22)과 제3 블럭(13)의 대향 픽셀들 간의 차분 절대치 E6가, 대향 픽셀 쌍마다 취득된다 (단계 S509).

차분 절대치 E6는 제3 임계치와 비교되며, 차분 절대치 E6가 제3 임계치 이하인 픽셀이 카운트되어 카운트 값 s(s는 0보다 큰 정수)을 취득한다 (단계 S510).

마지막으로, 카운트 값 S이 최대인 제2 영역의 픽셀 블럭(22)과 제3 블럭(13) 간을 연결하는 벡터가 제2 영역과 (m + 1)번째 프레임 간의 모션 벡터로 선택된다 (단계 S511).

제1 내지 제3 임계치는 대략 선택된 값이다. 그러나, 이 임계치는 서로 다를 수도 있고, 그들 중 2개 이상이 동일한 값일 수도 있다.

도 17은 m번째 프레임(1), (m + n)번째 프레임(2)의 원래의 픽쳐 및 프레임(5)을 도시하고 있다. 프레임(5)은 영역을 분할하지 않고 제1 영역의 모션 벡터 E로부터 m번째 프레임(1)을 재구성하여 취득된 픽쳐를 도시한다. 도면에 따르면, 오브젝트 O1는 우측 방향으로 이동하며, 오브젝트 O3는 아래 방향으로 이동하며, 오브젝트 O2는 움직이지 않고 서 있다. 제1 영역의 모션 벡터 E는 오브젝트 O1의 성분에 의해 획득된다. 그러나, (m + n)번째 프레임(2)에서, 오브젝트 O3는 블럭에 이른다. 블럭이 m번째 프레임(1)의 재생 프레임(5)의 이미지에서 취득되면, 에러 부분이 재생 프레임(5)의 블럭에서 재생되어, 소위 블럭 왜곡이 발생된다. 이것은 차분 신호를 전혀 사용하지 않는 삽입 이미지 생성 시에 특히 문제가 된다.

반면에, 본 실시예에 따르면, 블럭은 복수개의 영역으로 분할되며 각 영역마다 모션 벡터가 검출된다. 그 결과, 블럭 왜곡이 발생되는 것이 방지될 수 있다.

본 실시예와 관련된 모션 벡터 검출 처리를 수행하는 모션 벡터 검출 장치의 구성이 도 18에 도시되어 있다. 입력 이미지 신호(30)는 (m + 1)번째 프레임 메모리(32) 및 m번째 프레임 메모리(33)에 순차적으로 입력된다. (m + 1)번째 프레임 및 m번째 프레임의 픽쳐 신호는 각각 프레임 메모리(32 및 33)로부터 판독된다.

제1 블럭 추출 유닛(41)은 m번째 프레임으로부터 제1 블럭을 추출하고, 제2 블럭 추출 유닛(42)은 (m + 1)번째 프레임으로부터 제2 블럭을 추출한다. 제1 및 제2 블럭의 픽쳐 신호가 차분 절대치 산출 유닛(51A)에 입력되면, 제1 및 제2 블럭의 대향 픽셀들 간의 차분 절대치 E1가 블럭 쌍마다 취득된다. 차분 절대치 E1는 수학식 1에 기초하여 산출된다. 차분 절대치 E1는 카운트 유닛(52A)에 입력되어 임계치와 비교되며, 차분 절대치가 임계치 이하인 픽셀이 블럭 쌍마다 카운트되어 카운트 값 p을 취득한다. 카운트 값 p은 모션 벡터 선택 유닛(53A)에 입력된다. 모션 벡터 선택 유닛(53A)은 카운트 값 p이 최대가 되는 블럭 쌍을 추출하여 제1 영역의 모션 벡터를 검출하여 선택한다.

픽셀 블럭 추출 유닛(55A)은 차분 절대치 E1가 임계치 이하인 제1 블럭 내의 픽셀을 추출하고, 픽셀 블럭 추출 유닛(55B)은 차분 절대치 E1가 임계치보다 큰 제1 블럭 내의 픽셀을 추출한다. 제2 영역의 픽셀의 어드레스 신호는 픽셀 블럭 추출 유닛(55B)으로부터 (m + 1)번째 프레임 메모리(32)에 입력된다. 제3 블럭은 제3 블럭 추출 유닛(43)에 의해 프레임 메모리(32)로부터 추출된다.

차분 절대치 산출 유닛(51E)은 제2 영역의 픽셀 블럭 및 제3 블럭의 대향 픽셀들 간의 차분 절대치 E6를 블럭 쌍마다 산출한다. 차분 절대치 E6는 수학식 1을 기초로 차분 절대치 E1를 취득하기 위한 계산과 동일한 계산에 의해 취득된다. 차분 절대치 E3는 카운트 유닛(52B)에 입력되어 임계치와 비교된다. 카운트 유닛(52B)은 차분 절대치 E3가 임계치 이하인 픽셀을 카운트하여 카운트 값 q을 취 득한다. 카운트 값 q은 블럭 쌍마다 카운트되어 모션 벡터 선택 유닛(53B)에 입력된다. 모션 벡터 선택 유닛(53B)은 카운트 값 q이 최대가 되는 블럭 쌍을 추출하여 제2 영역의 모션 벡터를 검출하고 선택한다.

상술된 실시예에 따르면, 차분 절대치가 임계치 이하인 최대 개수의 픽셀을 각각 포함하는 블럭 쌍이 블럭 매칭에 의해 취득된다. 블럭 쌍들 간의 모션 벡터가 검출된다.

(제6 실시예)

도 19를 참조하여, 본 발명의 제6 실시예를 설명하기로 한다. 본 실시예는 제5 실시예에서의 제1 영역의 픽셀 블럭 및 제2 영역의 픽셀 블럭을 추출하는 방법을 개선하였다.

발명자들의 실험에 의해, 제2 영역의 픽셀 블럭이 추출될 때, 하나 또는 2개의 픽셀 등의 소수개의 픽셀의 영역이 노이즈를 포함한다는 것이 증명되었다. 본 실시예에서는, 이러한 노이즈를 억제하기 위해 제2 영역의 픽셀 블럭을 추출하기 위한 선행 처리로서 필터링 처리를 행한다. 이러한 필터링 처리는, 공간 저역 통과 필터링을 수행하기 위한 저역 통과 필터에 픽셀 블럭을 통과시켜 제1 영역의 픽셀 블럭의 크기를 어느 정도 제한하는 처리이다. 이러한 상태는 도 19에 도시되어 있다.

즉, 도 18에 도시되어 있으며 제5 실시예에서 설명된 픽셀 블럭 추출 유닛(55A)에 공간 영역 저역 통과 필터(6)가 구비되거나, 공간 영역 저역 통과 필터링 처리가 도 17의 단계 S506에 부가된다. 제1 영역의 픽셀 블럭(11)이 공간 영 역 저역 통과 필터(6)를 통과하면, 소영역의 픽셀 블럭이 제거된다. 소영역이 제거된 제1 영역의 픽셀 블럭은 제1 영역의 최종 픽셀 블럭으로 설정된다. 이 경우, 임계치 이하인 픽셀은 1이고, 그 외에는 0인 마스크가 생성된다. 이러한 마스크는 저역 통과 필터(6)로 필터링된다. 임계치 이하인 픽셀은 0일 수도 있고, 그 외에는 1일 수도 있다.

공간 영역 저역 통과 필터(6)로서 중간 필터(median filter)가 사용될 수도 있다. 중간 필터에서는, 예를 들어, 오브젝트 픽셀을 포함하는 8개의 인접 픽셀에 대해, 오브젝트 픽셀에 인접한 픽셀이 제1 영역에 속하는지 여부가 판정된다. 5개 이상의 픽셀이 제1 영역에 속하는 경우, 오브젝트 픽셀은 제1 영역인 것으로 판정된다. 4개 이하의 픽셀이 제1 영역에 속하는 경우, 오브젝트 픽셀은 제2 영역인 것으로 판정된다. 이러한 처리를 반복함으로써, 모든 픽셀들에 대해 공간 영역 저역 통과 필터링을 수행할 수 있게 된다. 대안으로, 콘트라스트에 의해 분리된 제1 영역과 제2 영역을 갖는 단색 이미지(monochromatic image)(영역 맵(region map)이라 칭함)가 생성되어, 푸리에(Fourier) 변환을 거쳐 저주파 성분을 추출하고, 그 이미지에 대해 역푸리에(inverse Fourier) 변환을 수행하여 영역 맵을 재생하는 방법이 사용될 수도 있다.

(제7 실시예)

도 20을 참조하여, 본 발명의 제7 실시예를 설명하기로 한다. 제7 실시예는 제5 실시예에서의 제1 영역의 픽셀 블럭 및 제2 영역의 픽셀 블럭을 추출하는 방법을 개선하였다.

본 실시예에서는, 하나 또는 2개의 픽셀 등의 소수의 픽셀로 분할된 부분으로 인해 노이즈를 억제하기 위한 선행 처리가, 제2 영역의 픽셀 블럭의 추출 이전에 행해진다. 선행 처리는 제1 영역의 픽셀 블럭을 추출하는 추출 처리 및 색차 성분에 대한 임계치 판정 처리에, 종래의 블럭 매칭 기술에 사용된 휘도 성분의 임계치 판정 처리를 포함한다. 특히, 도 20의 플로우차트에 도시된 바와 같이, 예를 들어 도 16의 단계 S503 및 단계 S504 대신에 다음의 처리가 수행된다.

즉, 제1 및 제2 휘도 정보를 각각 갖는 제1 및 제2 휘도 블럭의 대향 픽셀들의 휘도 값들 간의 차분 절대치(제1 차분 절대치) E11가 산출된다 (단계 S512).

제1 차분 절대치 E11는 소정 휘도의 제1 임계치와 비교되며, 제1 차분 절대치 E11가 제1 임계치 이하인 픽셀이 제1 및 제2 휘도 블럭으로부터 추출된다 (단계 S513).

제1 및 제2 블럭의 제1 차분 절대치 E11가 제1 임계치 이하가 되는 픽셀에 대해, 제1 색차 정보를 갖는 제1 색차 블럭 및 제2 색차 정보를 갖는 제2 색차 블럭이 제1 및 제2 블럭으로부터 각각 추출된다 (단계 S514).

제1 차분 절대치 E11가 제1 임계치 이하인 픽셀 쌍마다, 제1 및 제2 색차 블럭의 색차들 간의 차분 절대치(제2 차분 절대치) E12가 산출된다 (단계 S515).

제2 차분 절대치 E12는 소정 색차의 제2 임계치와 비교되며, 제2 차분 절대치 E12가 제2 임계치 이하인 픽셀이 카운트되어 카운트 값 p(p는 0보다 큰 정수)을 취득한다 (단계 S516).

단계 S516 및 그 이후의 처리는, 제1 영역의 픽셀 블럭이 색차에 대해서도 임계치 이하라는 점을 제외하고는, 도 16에서의 단계 S505 내지 단계 S511와 동일한 처리일 수도 있다. 즉, 단계 S505에서 카운트 값 p이 최대인 제1 및 제2 블럭(11 및 12) 간을 연결하는 벡터가 제1 영역과 (m + 1)번째 프레임 간의 모션 벡터(제1 영역 모션 벡터)이다.

단계 S506에서는, 제2 차분 절대치 E12가 제2 임계치의 절대치와 비교되며, 제2 차분 절대치 E12가 제2 임계치 이하인 제1 블럭의 제1 픽셀은 제1 영역의 픽셀 블럭(21)을 형성한다.

단계 S507에서는, 제2 차분 절대치 E12가 제2 임계치와 비교되며, 제2 차분 절대치 E12가 제2 임계치 이하인 제1 블럭의 픽셀은 제2 영역의 픽셀 블럭(22)을 형성한다.

단계 S508에서는, (m + 1)번째 프레임(2)의 이미지 데이터에서, 제2 영역의 픽셀 블럭(22)과 동일한 크기 및 형태의 제3 블럭(13)을 추출한다.

단계 S509에서는, 제2 영역의 픽셀 블럭(22)과 제3 블럭(13)의 서로 대향하는 픽셀들의 휘도에 있어서, 대향하는 픽셀 쌍들마다 제3 차분 절대치 E13을 산출한다.

단계 S510에서는, 제3 차분 절대치 E13과 제3 임계치를 비교하고, 제3 차분 절대치 E13이 제3 임계치 이하인 픽셀들을 카운트하여, 카운트 값 s를 구한다 (s는 0보다 큰 정수).

단계 S511에서는, 카운트 값 s가 최대인 제2 영역의 픽셀 블럭(22)과 제3 블럭(13)을 연결하는 벡터를, 제2 영역과 (m + 1)번째 프레임 간의 모션 벡터(제2 영 역 모션 벡터)로서 선택한다.

제1 내지 제3 임계치는 적절히 선택된 값이다. 그러나, 이러한 임계치들 모두를 서로 다른 값으로 할 수도 있고, 2 혹은 셋 모두를 동일한 값으로 할 수도 있다.

(제8 실시예)

제5 실시예에서의 제2 영역의 픽셀 블럭의 추출 방법을 개선한 예를, 본 발명의 제8 실시예로서 설명한다. 본 실시예는, 제2 영역의 픽셀 블럭이 추출되면 인접하는 제2 영역의 픽셀 블럭들을 연결함으로써 모션 벡터를 구해낸다는 점에서, 제5 실시예와 다르다.

m번째 프레임(1)에 포함되어 있는 제1 블럭의 제2 영역은 도 21에 도시된 바와 같이 그에 인접하는 또 다른 제1 블럭의 제2 영역과 사이를 두고 연결되어, 제2 공간 확장 영역의 픽셀 블럭(23)을 형성한다. 제2 공간 확장 영역의 픽셀 블럭(23)과 크기 및 형태가 동일한 제3 공간 확장 영역의 픽셀 블럭(24)은 (m + n)번째 프레임(2)의 이미지 데이터에서 추출한다.

제2 공간 확장 영역의 픽셀 블럭(23)과 제3 공간 확장 영역의 픽셀 블럭(24)의 서로 대향하는 픽셀들 간의 차분 절대치는 대향하는 픽셀 쌍마다 산출한다.

이 차분 절대치를 소정의 임계치와 비교하고, 차분 절대치가 임계치 이하인 픽셀을 카운트하여, 카운트 값 s를 구한다 (s는 0보다 큰 정수).

카운트 값 s가 최대인 제2 공간 확장 영역의 픽셀 블럭(23)과 제3 공간 확장 영역의 픽셀 블럭 간을 연결하는 벡터를 모션 벡터(제2 공간 확장 영역 모션 벡터) 로서 선택한다.

(제9 실시예)

제5 실시예에서의 제2 영역의 픽셀 블럭의 추출 방법을 개선한 예를, 본 발명의 제9 실시예로서 설명한다.

본 실시예는, 제2 영역의 픽셀 블럭이 추출되면 검색 영역을 시간축 방향으로 확장한다는 점에서, 제5 실시예와 다르다.

도 22는, 스크린의 우측 하단으로부터 좌측 상단으로 이동하는 스틸 오브젝트 O1 및 O2와 오브젝트 O3가, (m - 2)번째 프레임(7) 내지 (m + 2)번째 프레임(9)의 5개 프레임 상에 있는 예를 도시한다. 오브젝트 O3는 오브젝트 O1의 뒤편에 있고, m번째 프레임(1)에서 보인다. (m + 1)번째 프레임과 그 다음 프레임에서는, 오브젝트 O3가 오브젝트 O2의 앞편에 있기 때문에 오브젝트 O3는 오브젝트 O2를 덮은 채로 이동한다. 즉, 오브젝트 O2는 (m + 1)번째 프레임(2)과 (m + 2)번째 프레임(9)에서 오브젝트 O1으로 인해 보이지 않는다.

도 22로부터 알 수 있는 바와 같이, m번째 프레임의 제1 영역의 픽셀 블럭(21)의 움직임은 m번째 프레임(1)과 (m - 1)번째 프레임(8) 사이에서 검색될 수 있다. 그러나, 이러한 제1 영역의 픽셀 블럭(21)이 (m + 1)번째 프레임(2) 상의 오브젝트 O3에 의해 보이지 않게 되기 때문에, 상기 픽셀 블럭(21)의 움직임은 m번째 프레임(1)과 (m + 1)번째 프레임(2) 사이에서는 검색될 수 없다. 마찬가지로, m번째 프레임(1)의 제2 영역의 픽셀 블럭(22)도 m번째 프레임(1)과 (m - 1)번째 프레임 사이에서 보이지 않게 되기 때문에, 이 픽셀 블럭(22)의 움직임도 검색 될 수 없다.

상술한 바와 같이, 제1 영역의 픽셀 블럭(21)과 제2 영역의 픽셀 블럭(22)의 움직임이 오브젝트들 간의 은닉면 관계로 인해 검색될 수가 없다. 이러한 은닉면 관계를 해소하기 위한 방법으로는 검색 영역을 시간축 방향으로 확장하는 것이 바람직하다.

본 실시예는, m번째 프레임(1)(m은 정수)과 (m + n)번째 프레임(2)(n은 1보다 큰 정수) 간의 모션 벡터를 검색할 때, 검색 영역을 시간축 방향으로 확장함으로써 블럭 쌍을 검색하는 방법을 채택한다. 특히, 제2 영역의 픽셀 블럭의 검색 영역을 확장하면, 픽셀 수가 감소된 제2 영역의 움직임을 양호한 정밀도로 검색하는 것이 가능하다. 확장에 대한 설명을 평이하게 하기 위해, n = 1, k = -2, -1, 2라고 가정한다.

먼저, 제6 실시예와 마찬가지로 제1 영역의 픽셀 블럭(21)과 제2 영역의 픽셀 블럭(22)을 m번째 프레임(1)에서 추출한다. 그 다음, 제2 영역의 픽셀 블럭(22)과 크기 및 형태가 동일한 제3 블럭(16)을 (m + 1)번째 프레임(2)의 이미지 데이터에서 추출한다.

제2 영역의 픽셀 블럭(22)과 제3 블럭(16) 간을 연결하는 모션 벡터를 제3 모션 벡터로서 취득한다. 제3 모션 벡터를 F라고 하면, 제3 모션 벡터 F를 (m + 2)번째 프레임(4)과 m번째 프레임(1) 간의 간격에 따라 스케일링하여 얻게 되는 모션 벡터는 2F이다.

픽셀 블럭(22)이 움직이는 이동 개소에 대응하는 제4 블럭(17)은 모션 벡터 2F를 따라 (m + 2)번째 프레임에서 추출한다.

제2 영역의 픽셀 블럭(22)과 크기 및 형태가 동일한 제5 블럭(18)은 (m - 1)번째 프레임(8)의 이미지 데이터에서 추출한다.

제2 영역의 픽셀 블럭(22)과 제5 블럭(18) 간을 연결하는 벡터를 제4 모션 벡터로서 취득한다. 제4 모션 벡터를 G라고 하면, 이 모션 벡터 G를 (m - 2)번째 프레임과 m번째 프레임 간의 간격에 따라 스케일링함으로써 얻어지는 모션 벡터는 2G이다.

픽셀 블럭(22)의 이동 개소인 제6 블럭(19)은 모션 벡터 2G를 따라 (m - 2)번째 프레임에서 추출한다.

제2 영역의 픽셀 블럭(22)과 제3, 제4, 제5, 제6 블럭의 서로 대향하는 픽셀들 간의 차분 절대치들을 대향하는 픽셀 쌍마다 산출한다.

차분 절대치들 각각을 임계치와 비교하고, 차분 절대치가 임계치 이하인 픽셀을 카운트하여, 카운트 값 s를 구한다 (s는 0보다 큰 정수).

픽셀 블럭(22)과, 제3 블럭, 제4 블럭, 제5 블럭, 및 제6 블럭 각각에 대한 카운트 값 s를 S3, S4, S5, 및 S6라고 가정한다.

카운트 값 S3 및 S4의 합을 카운트 값 S5 및 S6의 합과 비교하여, 보다 큰 합에 대응하는 카운트 값들의 조합을 선택한다. 즉, 카운트 값 S3 및 S4의 합이 카운트 값 S5 및 S6의 합보다 큰 경우에는 픽셀 블럭(22)과 제3 블럭 간을 연결하는 제3 모션 벡터를 제2 영역의 픽셀 블럭(22)의 모션 벡터로 선택한다.

(제10 실시예)

도 23을 참조하여, 블럭을 반복적으로 분할하여 구획 수를 증가시키고 각 영역의 픽셀 블럭에 대해 복수의 모션 벡터를 얻는 본 발명의 제10 실시예를 설명한다. 모션 벡터 검출과 영역 분할 후의 모션 벡터 검출은 제1 내지 제9 실시예의 방법 중 하나를 이용할 수 있다. 그러나, 구획 수를 증가시키기 위해 영역 분할을 반복하는 절차는 이전의 실시예들과는 상이한 것이다.

즉, 제2 영역의 픽셀 블럭과 그 다음의 것에 있어서, 먼저 (i + 1)번째 영역의 픽셀 블럭과 크기 및 형태가 동일한 (i + 2)번째 블럭을 (m + 1)번째 프레임의 이미지 데이터에서 추출한다 (단계 S517).

(i + 1)번째 영역의 픽셀 블럭과 (i + 2)번째 블럭의 서로 대향하는 픽셀들 간의 차분 절대치를 대향하는 픽셀 쌍마다 산출한다 (단계 S518).

단계 S518에서 구한 차분 절대치를 소정의 임계치와 비교하고, 차분 절대치가 소정의 임계치 이하인 픽셀을 카운트하여, 카운트 값 si + 1을 구한다 (si + 1은 0보다 큰 정수; i + 1은 영역 번호) (단계 S519).

카운트 값 s가 최대인 (i + 1)번째 영역의 픽셀 블럭과 (i + 1)번째 블럭 간을 연결하는 벡터를 (i + 1)번째 영역의 모션 벡터로 선택한다 (단계 S520).

마지막으로, 처리를 반복할 것인지의 여부를 결정한다 (단계 S521). 처리를 반복하는 것으로 결정하면, 단계 S517 내지 S520의 처리를 다시 반복한다. 계속하여 처리하는 것을 마치는 것으로 결정하면, 처리는 종료된다.

단계 S521의 처리는 임의의 종류의 방법일 수 있다. 그러나, 차분 절대치가 임계치보다 큰 픽셀의 수가 감소하는 경우, 예컨대 제1 블럭의 픽셀 수의 5% 이하 인 경우에는 처리를 종료하는 것이 좋다. 또한, 단계 S521에서의 처리를 영역 맵으로 행할 수도 있다. 차분 절대치가 임계치보다 큰 픽셀의 수가 적고(제1 블럭의 픽셀 수의 10% 이하) 영역 맵의 공간 주파수가 높은 경우에는, 1 또는 2개의 픽셀을 영역 맵 상에 산재하여 배치하는 것을 생각해 볼 수 있다. 결과적으로, 모션 벡터 검색을 더 수행하면, 에러가 증가하게 된다. 이러한 이유로, 처리를 반복하는 것을 종료하는 것이다.

(제11 실시예)

도 24 및 도 25를 참조하여, m번째 프레임(m은 정수)과 (m + n)번째 프레임(n은 1보다 작은 정수) 사이의 (m + k)번째 프레임(k는 실수)에 삽입 이미지를 형성하는 삽입 이미지 형성 방법을 설명한다. 평이한 설명을 위해, n = 1, k = 0.5라고 가정한다. m번째 프레임(1)과 (m + 1)번째 프레임(2) 사이에 즉, (m + 0.5)번째 프레임(10) 위치에 삽입 이미지를 형성한다.

제1 영역의 픽셀 블럭을 검출하는 방법은 제5 실시예와 동일한 방법을 이용한다. 모션 벡터를 검출하는 방법은 제1, 제2, 및 제4 실시예 중의 어느 한 실시예의 방법을 이용할 수 있다. 즉, 제1 블럭(11)에서 제1 영역의 픽셀 블럭(21)을 추출하고, 제1 영역의 모션 벡터 E를 검출하는 것은 도 16의 단계 S502 내지 S506으로 수행된다.

제1 영역의 모션 벡터 E를, (m + 0.5)번째 프레임(10)의 시간축 위치를 따라 스케일링한다 (단계 S522). 이 경우, 스케일링 후의 모션 벡터는 E / 2이다.

m번째 프레임(1) 상의 제1 블럭(11)과 공간적으로 동일한 위치에 있는 (m + 0.5)번째 프레임(10) 상의 제1 영역의 삽입 블럭(25)의 이동 개소는 모션 벡터 E / 2에 따라 (m + 1)번째 프레임(2)에서 추출한다 (단계 S523).

(m + 0.5)번째 프레임(10)의 제1 영역의 삽입 블럭(25)에 제4 블럭(14)을 할당한다 (단계 S524).

제1 블럭에서 제2 영역의 픽셀 블럭(22)을 추출하는 것과 제2 영역의 모션 벡터 F를 검출하는 것은 제5 실시예 즉, 도 16의 단계 S507 내지 S511과 동일한 방법을 이용하여 수행한다.

제2 영역의 모션 벡터 F를, (m + 0.5)번째 프레임(10)의 시간축 위치를 따라 스케일한다 (단계 S525). 이 경우, 스케일링 후의 모션 벡터는 F / 2이다.

m번째 프레임(1) 상의 제2 영역의 픽셀 블럭(21)과 공간적으로 동일한 위치에 있는 (m + 0.5)번째 프레임(10) 상의 제2 영역의 삽입 블럭(22)의 이동 개소인 제5 블럭(15)은 모션 벡터 E / 2를 따라 (m + 1)번째 프레임(2)에서 추출한다 (단계 S526).

마지막으로, (m + 0.5)번째 프레임(10)의 제2 영역의 삽입 블럭(25)에 제5 블럭(15)을 할당한다 (단계 S527).

본 실시예에 관한 삽입 이미지 형성 절차를 수행하는 삽입 이미지 형성 장치의 구성이 도 26에 도시되어 있다. 제1 영역의 모션 벡터와 제2 영역의 모션 벡터를 제5 실시예에 따라 검출한 후에 일부분만 부가하는 것을 설명한다. 제1 영역의 모션 벡터 신호(54A)를 모션 벡터 스케일링 유닛(61A)에 입력하여 모션 벡터를 스케일링한다. 제1 영역의 삽입 블럭(62A)을, 스케일링한 모션 벡터를 이용하여 (m + 1)번째 프레임 메모리(32)로부터 추출하여, 삽입 프레임 생성 유닛(63)으로 출력한다.

마찬가지로, 제2 영역의 모션 벡터 신호(54B)를 모션 벡터 스케일링 유닛(61B)으로 입력하여 모션 벡터를 스케일링한다. 스케일링한 모션 벡터를 이용하여 (m + 1)번째 프레임 메모리(32)에서 제2 영역의 삽입 블럭(62B)을 추출하고, 이를 삽입 프레임 생성 유닛(63)으로 출력한다. 삽입 프레임 생성 유닛(63)은 삽입 블럭을 삽입 프레임에 할당하여 삽입 프레임의 이미지 데이터를 생성한다.

(제12 실시예)

도 26 및 도 28을 참조하여 제3 실시예에 모션 벡터 검출 방법을 적용한 제12 실시예를 설명한다. 제3 실시예의 파라미터 n 및 k는 n = 1, k = 0.5라고 한다.

벡터 검출 방법은 제3 실시예의 단계 S301 내지 S308을 이용하여 실행한다. 검출된 제3 모션 벡터는 제1 영역의 모션 벡터 e가 된다. 본 실시예에서, 제1 영역의 모션 벡터 e는 원래의 픽쳐 이미지의 m번째 프레임과 삽입 이미지의 (m + 0.5)번째 프레임 간의 모션 벡터가 되므로, 벡터의 스케일링이 필요없다. 제1 영역의 픽셀 영역은 m번째 프레임과 (m + 1)번째 프레임에서 추출할 수 있다 (단계 S309).

제1 영역의 픽셀 블럭들에서 동일한 공간적 위치에 있는 픽셀들의 이미지 데이터를 평균화한다. 이러한 평균 이미지 데이터는 제1 영역의 삽입 블럭의 이미지 데이터로서 산출되며, (m + 0.5)번째 프레임에 할당된다 (단계 S310). 제2 영역의 모션 벡터는 제3 실시예와 동일한 방법 즉, 단계 S301 내지 S308을 이용하여 검출한다.

제1 영역의 삽입 블럭의 할당과 동일한 방법에 의해서, 제2 영역의 제1 및 제2 픽셀 블럭을 추출하고 (단계 S311), 제2 영역의 삽입 블럭의 이미지 데이터를 산출하며, 제2 영역의 삽입 블럭을 (m + 0.5)번째 프레임에 할당한다 (단계 S312).

도 30은 본 실시예에 관한 삽입 이미지 형성 방법을 실행하는 장치의 구성을 도시한다. 제3 실시예에 따라 제1 및 제2 영역의 모션 벡터들을 검출한 후에 일부분만을 부가하는 것을 설명한다.

제1 영역의 제1 픽셀 블럭은 제1 영역의 모션 벡터를 따라 m번째 프레임에서 추출한다. 제1 영역의 제2 픽셀 블럭은 제1 영역의 모션 벡터에 대하여 역행하는 벡터에 따라 (m + 1)번째 프레임에서 추출한다. 제1 영역 삽입 블럭 계산 유닛(65)은 픽셀 블럭으로부터의 이미지 데이터의 평균을 산출하고, 이를 삽입 프레임 생성 유닛(63)으로 출력한다.

마찬가지로, 제2 영역의 제1 픽셀 블럭은 제2 영역의 모션 벡터를 따라 m번째 프레임에서 추출한다. 제2 영역의 제2 픽셀 블럭은 제2 영역의 모션 벡터에 대하여 역행하는 벡터에 따라 (m + 1)번째 프레임에서 추출한다. 제2 영역 삽입 블럭 계산 유닛(66)은 픽셀 블럭으로부터의 이미지 데이터의 평균을 산출하고, 이를 삽입 프레임 생성 유닛(63)으로 출력한다. 삽입 프레임 생성 유닛(73)은 삽입 블럭들을 삽입 프레임들에 각각 할당하여 삽입 프레임을 생성한다.

삽입 이미지((m + 0.5)번째 프레임)은 상술한 바와 같이 m번째 프레임과 (m + 1)번째 프레임의 픽셀값들의 평균에 의해서 구하여진다. 그러나, 종래, (m + k)번째 프레임과 m번째 프레임과 (m + n)번째 프레임의 경우, 이는, 가중된 평균 픽셀값에 의해서 구하여진다 : k ×(m번째 프레임) + (n - k) ×((m + n)번째 프레임)) / n.

(제13 실시예)

상기 실시예들에서 설명한 모션 벡터 검출 방법 및 제11 실시예에 관한 삽입 이미지 형성 방법을 이용한 이미지 디스플레이 시스템을 본 발명의 제13 실시예로서 설명한다.

도 29는 입력 이미지 신호(101)를 삽입 프레임 이미지 형성 유닛(102)과 이미지 스위칭 유닛(104)에 입력하는 이미지 디스플레이 시스템의 개략적인 구성을 도시한다. 삽입 프레임 이미지 형성 유닛(102)은 상술한 절차에 따라 제11 실시예에서 설명한 삽입 이미지 신호(103)를 생성하고, 이를 이미지 스위칭 유닛(104)에 출력한다. 이미지 스위칭 유닛(104)은 입력 이미지 신호(101) 자체를 출력하거나 삽입 픽쳐 신호(104)를 출력하도록 제어한다. 이미지 스위칭 유닛(104)으로부터의 출력 이미지 신호(105)는, 홀드 타입 비쥬얼 디스플레이 유닛(hold type visual display unit)인 고속 리프레시(refresh) 디스플레이 유닛(106)으로 출력된다. 이 디스플레이 유닛(106)은 출력 이미지 신호(105)에 포함된 동기화 신호에 따라 리프레시 속도를 변경한 이미지를 디스플레이한다.

상술한 바와 같이 본 발명에 따르면, 이미지의 형태에 중점을 둔 모션 벡터 검출 기술에 의해서 모션 벡터를 정확하게 검출할 수 있다. 또한, 블럭을 분할하여 얻은 영역들 각각에 대한 모션 벡터를 검출할 수 있다. 그러므로, 블럭 왜곡 및 간섭 에러를 포함하지 않는 삽입 이미지를 생성할 수가 있다. 동영상이 실제적인 이미지로서 재생될 수 있다. 상술한 실시예에 있어서는 픽셀들의 차분 절대치를 사용한다. 그러나, 제곱 절대치(absolute square value)를 사용할 수도 있다.

본 기술 분야에서 숙련된 기술을 가진 자라면 추가적인 장점과 변형을 용이하게 알아낼 수 있을 것이다. 그러므로, 보다 광범위한 양상을 갖는 본 발명은 본 명세서에서 기술하고 도시한 상세한 설명 및 개별 실시예들에 한정되지 않는다. 따라서, 이하의 특허청구범위 및 그 균등물에 의해서 정의되는 본 발명의 일반적인 개념에 관한 사상 또는 범주에서 벗어나지 않고도 다양한 변경이 가능하다.

Claims

이미지(image)의 복수의 프레임들 간의 모션 벡터(motion vector)를 검출하는 방법에 있어서 - 상기 복수의 프레임들 각각은 복수의 블럭들을 포함함 -,

상기 이미지의 제1 프레임에서, 복수의 픽셀(pixel)들을 포함하는 제1 블럭을 추출하는 단계;

상기 이미지의 제2 프레임의 복수의 블럭들에서, 블럭 매칭에 의해 제2 블럭을 검출하는 단계 - 상기 제2 블럭은, 상기 제1 블럭의 픽셀들 각각에 대해 제1 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -; 및

상기 제1 블럭과 상기 제2 블럭 간의 제1 모션 벡터를 계산하는 단계

를 포함하는 모션 벡터 검출 방법.
제1항에 있어서,

상기 제2 프레임에서, 복수의 픽셀들을 포함하는 제3 블럭을 추출하는 단계;

상기 제1 프레임의 복수의 블럭들에서, 블럭 매칭에 의해 제4 블럭을 검출하는 단계 - 상기 제4 블럭은, 상기 제3 블럭의 픽셀들 각각에 대해 제2 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제3 블럭과 상기 제4 블럭 간의 제2 모션 벡터를 계산하는 단계;

상기 제2 블럭의 최대 픽셀수와 상기 제4 블럭의 최대 픽셀 수를 비교하는 단계;

상기 제2 블럭의 최대 픽셀 수가 상기 제4 블럭의 최대 픽셀 수보다 클 경우, 상기 제1 모션 벡터를 선택하는 단계; 및

상기 제4 블럭의 최대 픽셀 수가 상기 제2 블럭의 최대 픽셀 수보다 클 경우, 상기 제2 모션 벡터를 선택하는 단계

를 더 포함하는 모션 벡터 검출 방법.
삭제
삭제
삭제
삭제
삭제
이미지의 복수의 프레임들 간의 모션 벡터를 검출하는 방법에 있어서 - 상기 복수의 프레임들 각각은 복수의 블럭들을 포함함 -,

상기 이미지의 제1 프레임에서, 복수의 픽셀들을 각각 포함하는 복수의 제1 블럭들을 추출하는 단계;

상기 이미지의 제2 프레임에서, 복수의 픽셀들을 각각 포함하는 복수의 제2 블럭들을 검출하는 단계;

상기 제1 블럭들과 상기 제2 블럭들간의 복수의 제1 모션 벡터들을 계산하는 단계;

상기 제1 블럭의 픽셀 각각에 대해 제1 임계치 이하의 제1 차분 절대치를 각각 나타내는 상기 제2 블럭의 픽셀들을 카운트하여, 제1 카운트 값을 획득하는 단계;

상기 제1 모션 벡터들 중 하나를, 상기 제2 프레임과, 상기 제1 프레임과 상기 제2 프레임 사이에 있는 제3 프레임 간의 간격(n - k)에 따라 스케일링하여, 제2 모션 벡터((k / n)F)를 획득하는 단계;

상기 제3 프레임에서, 상기 제2 모션 벡터에 따라 상기 제1 블럭이 이동하는 제3 블럭을 추출하는 단계;

상기 제1 블럭의 픽셀 각각에 대해 제2 임계치 이하의 차분 절대치를 각각 나타내는 제3 블럭의 픽셀들을 카운트하여, 제2 카운트 값을 획득하는 단계;

r (r = x ×p + (1 - x)q; 0 < x < 1)(여기서, p 및 q는 각각 제1 카운트 값 및 제2 카운트 값을 나타냄)로 표현되는 추가 가중치(weighted additional value)를 계산하는 단계;

상기 제1 블럭 및 상기 제2 블럭에서, 최대 추가 가중치를 갖는 블럭 쌍을 추출하는 단계; 및

상기 블럭 쌍 사이의 벡터를 상기 제1 프레임과 상기 제2 프레임 간의 모션 벡터로서 선택하는 단계

를 포함하는 모션 벡터 검출 방법.
이미지의 복수의 프레임들 간의 모션 벡터를 검출하는 방법에 있어서 - 상기 복수의 프레임들 각각은 복수의 블럭들을 포함함 -,

제1 프레임에서, 복수의 픽셀들을 포함하는 제1 블럭을 추출하는 단계;

상기 이미지의 제2 프레임의 복수의 블럭들에서, 블럭 매칭에 의해 제2 블럭을 검출하는 단계 - 상기 제2 블럭은, 상기 제1 블럭의 픽셀들 각각에 대해 제1 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제1 블럭과 상기 제2 블럭 간의 제1 모션 벡터를, 상기 제1 블럭의 제1 영역과 상기 제2 프레임 간의 제1 영역 모션 벡터로서 계산하는 단계;

상기 차분 절대치가 제2 임계치 이하인 상기 제1 블럭의 픽셀들을 상기 제1 영역의 픽셀 블럭으로서 추출하는 단계;

상기 차분 절대치가 상기 제2 임계치보다 큰 상기 제1 블럭의 픽셀들을 제2 영역의 픽셀 블럭으로서 추출하는 단계;

상기 이미지의 상기 제2 프레임에서, 블럭 매칭에 의해 제3 블럭을 추출하는 단계 - 상기 제3 블럭은, 상기 제2 영역의 픽셀 블럭의 픽셀들 각각에 대해 제3 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -; 및

상기 제2 영역과 상기 제3 블럭 간의 제2 모션 벡터를 계산하는 단계

를 포함하는 모션 벡터 검출 방법.
제9항에 있어서,

상기 제3 블럭 추출 단계는

상기 제1 블럭의 인접하는 제2 영역들 사이를 공간적으로 연결하는 제1 공간 확장 영역을 생성하는 단계, 및

상기 제1 공간 확장 영역의 픽셀 블럭의 픽셀들 각각에 대해 상기 제3 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함하는 상기 제3 블럭을 추출하는 단계

를 포함하는 모션 벡터 검출 방법.
제9항에 있어서,

상기 제2 모션 벡터의 n배인 제3 모션 벡터를 계산하는 단계;

제3 프레임에서, 상기 제3 모션 벡터에 따라 상기 제2 영역의 픽셀 블럭의 이동 개소인 제4 블럭을 추출하는 단계;

상기 제1 프레임을 개재하여 상기 제2 프레임에 대향하는 제4 프레임에서, 블럭 매칭에 의해 제5 블럭을 추출하는 단계 - 상기 제5 블럭은, 상기 제2 영역의 픽셀 블럭의 픽셀들 각각에 대해 제4 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제2 영역과 상기 제5 블럭 간의 제4 모션 벡터를 계산하는 단계;

상기 제4 모션 벡터의 n배인 제5 모션 벡터를 계산하는 단계;

제5 프레임에서, 상기 제5 모션 벡터에 따라 상기 제2 영역의 픽셀 블럭의 이동 개소인 제6 블럭을 추출하는 단계;

상기 제4 블럭의 카운트 값 및 상기 제6 블럭의 카운트 값을 계산하는 단계 - 상기 제4 블럭의 카운트 값은 상기 제2 영역의 상기 픽셀 블럭의 상기 픽셀들 각각에 대해 제5 임계치 이하의 차분 절대치를 각각 나타내는 수의 픽셀에 대응하고, 상기 제6 블럭의 카운트 값은 상기 제2 영역의 상기 픽셀 블럭의 상기 픽셀들 각각에 대해 제6 임계치 이하의 차분 절대치를 각각 나타내는 수의 픽셀에 대응함 -;

상기 제3 블럭의 픽셀의 최대수, 상기 제5 블럭의 픽셀의 최대수, 상기 제4 블럭의 카운트 값 및 상기 제6 블럭의 카운트 값에 따라 상기 제2 모션 벡터 및 상기 제4 모션 벡터 중 하나를 상기 제2 영역의 모션 벡터로서 선택하는 단계

를 더 포함하는 모션 벡터 검출 방법.
제9항에 있어서,

상기 제1 영역의 픽셀 블럭을, 공간 영역 저역 통과 필터를 사용하여 필터링하는 단계

를 포함하는 모션 벡터 검출 방법.
이미지의 복수의 프레임들 간의 모션 벡터를 검출하는 방법에 있어서 - 상기 복수의 프레임들 각각은 복수의 블럭들을 포함함 -,

제1 프레임에서, 휘도 정보와 색차 정보를 각각 갖는 복수의 제1 블럭들을 추출하는 단계;

제2 프레임에서, 휘도 정보와 색차 정보를 각각 갖는 복수의 제2 블럭들을 추출하는 단계;

상기 제1 블럭들의 휘도 정보를 갖는 제1 휘도 블럭과 상기 제2 블럭들의 휘도 정보를 갖는 제2 휘도 블럭의 대향하는 픽셀들 간의 제1 차분 절대치를 계산하는 단계;

제1 색차 블럭과 제2 색차 블럭의 대향하는 픽셀들 간의 제2 차분 절대치를 계산하는 단계 - 상기 제1 색차 블럭은 제1 임계치 이하의 제1 차분 절대치를 갖는 상기 제1 블럭들의 색차 정보를 갖고, 상기 제2 색차 블럭은 제1 임계치 이하의 제1 차분 절대치를 갖는 상기 제2 블럭들의 색차 정보를 가짐 -;

상기 제2 차분 절대치가 제2 임계치 이하인 픽셀들을 카운트하여, 제1 카운트 값을 획득하는 단계;

상기 제1 블럭들 및 상기 제2 블럭들에서, 상기 제1 카운트 값이 최대인 픽 셀들을 각각 포함하는 블럭 쌍을 추출하는 단계;

상기 블럭 쌍 사이의 벡터를, 상기 제1 블럭들 중 한 블럭의 제1 영역과 상기 제2 프레임 간의 제1 영역 모션 벡터로서 계산하는 단계;

상기 제2 차분 절대치가 상기 제2 임계치 이하인 상기 제1 블럭의 픽셀들을 상기 제1 영역의 픽셀 블럭으로서 추출하는 단계;

상기 제2 차분 절대치가 상기 제2 임계치보다 큰 상기 제1 블럭의 픽셀들을 상기 제2 영역의 픽셀 블럭으로서 추출하는 단계;

상기 제2 프레임에서, 상기 제2 영역의 픽셀 블럭에 대응하는 제3 블럭을 추출하는 단계;

상기 제2 영역의 픽셀 블럭과 상기 제3 블럭의 대향하는 픽셀들의 휘도에 관한 제3 차분 절대치를 계산하는 단계;

상기 제3 차분 절대치가 제3 임계치 이하인 픽셀들을 카운트하여, 제2 카운트 값을 획득하는 단계;

상기 제2 영역의 픽셀 블럭 및 상기 제3 블럭에서, 상기 제2 카운트 값이 최대인 픽셀들을 각각 포함하는 블럭 쌍을 추출하는 단계; 및

상기 블럭 쌍 사이의 벡터를, 상기 제2 영역과 상기 제2 프레임 간의 제2 영역 모션 벡터로서 선택하는 단계

를 포함하는 모션 벡터 검출 방법.
제1 프레임과 제2 프레임 사이의 제3 프레임에 삽입될 삽입 이미지를 형성하는 방법에 있어서,

상기 제1 프레임에서, 복수의 픽셀들을 포함하는 제1 블럭을 추출하는 단계;

상기 이미지의 제2 프레임의 복수의 블럭들에서, 블럭 매칭에 의해 제2 블럭을 검출하는 단계 - 상기 제2 블럭은, 상기 제1 블럭의 픽셀들 각각에 대해 제1 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제1 블럭과 상기 제2 블럭 간의 제1 모션 벡터를 계산하는 단계;

상기 차분 절대치가 제2 임계치 이하인 상기 제1 블럭의 픽셀들을 제1 영역의 픽셀 블럭으로서 추출하는 단계;

상기 차분 절대치가 상기 제2 임계치보다 큰 상기 제1 블럭의 픽셀들을 제2 영역의 픽셀 블럭으로서 추출하는 단계;

상기 이미지의 상기 제2 프레임에서, 블럭 매칭에 의해 제3 블럭을 추출하는 단계 - 상기 제3 블럭은, 상기 제2 영역의 픽셀 블럭의 픽셀들 각각에 대해 제3 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제2 영역과 상기 제3 블럭 간의 제2 모션 벡터를 계산하는 단계;

상기 제1 모션 벡터 및 상기 제2 모션 벡터를 상기 제3 프레임의 시간적 위치에 따라 스케일링하여 스케일링된 제1 모션 벡터 및 스케일링된 제2 모션 벡터를 획득하는 단계;

상기 제3 프레임에서, 제1 삽입 영역 및 제2 삽입 영역을 추출하는 단계 - 상기 제1 삽입 영역은 상기 제1 영역의 픽셀 블럭과 공간적으로 동일한 위치에 존재하고, 상기 제2 삽입 영역은 상기 제2 영역의 픽셀 블럭과 공간적으로 동일한 위치에 존재함 -;

상기 제4 블럭을 상기 제1 삽입 영역에 할당하고, 상기 제5 블럭을 상기 제2 삽입 블럭 영역에 할당하여 상기 삽입 이미지를 형성하는 단계 - 상기 제4 블럭은 상기 스케일링된 제1 모션 벡터에 의해 지시된 상기 제2 프레임상의 블럭에 대응하고, 상기 제5 블럭은 상기 스케일링된 제2 모션 벡터에 의해 지시된 상기 제2 프레임상의 블럭에 대응함 - 를 포함하는 삽입 이미지 형성 방법.
삭제
이미지를 디스플레이하는 방법에 있어서,

원래 이미지의 제1 프레임에서, 복수의 픽셀들을 포함하는 제1 블럭을 추출하는 단계;

상기 이미지의 제2 프레임의 복수의 블럭들에서, 블럭 매칭에 의해 제2 블럭을 검출하는 단계 - 상기 제2 블럭은, 상기 제1 블럭의 픽셀들 각각에 대해 제1 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제1 블럭과 상기 제2 블럭 간의 제1 모션 벡터를 계산하는 단계;

제1 차분 절대치가 제2 임계치 이하인 상기 제1 블럭의 픽셀들을 제1 영역의 픽셀 블럭으로서 추출하는 단계;

상기 제1 차분 절대치가 상기 제2 임계치보다 큰 상기 제1 블럭의 픽셀들을 제2 영역의 픽셀 블럭으로서 추출하는 단계;

상기 이미지의 상기 제2 프레임에서, 블럭 매칭에 의해 제3 블럭을 추출하는 단계 - 상기 제3 블럭은, 상기 제2 영역의 픽셀 블럭의 픽셀들 각각에 대해 제3 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제2 영역과 상기 제3 블럭 간의 제2 모션 벡터를 계산하는 단계;

상기 제1 모션 벡터 및 상기 제2 모션 벡터를 상기 제3 프레임의 시간적 위치에 따라 스케일링하는 단계;

상기 스케일링된 모션 벡터에 따라 삽입 블럭 및 제5 블럭을 추출하는 단계 - 상기 삽입 블럭은 상기 제3 프레임 상에서 상기 제1 프레임 상의 블럭과 공간적으로 동일한 위치에 존재하고, 상기 제5 블럭은 상기 픽셀 블럭과 공간적으로 동일한 위치에 있는 상기 제3 프레임 상의 영역 삽입 블럭의 이동 개소에 대응함 -;

상기 제5 블럭을 상기 제3 프레임의 상기 삽입 블럭 및 상기 영역 삽입 블럭에 할당하여 상기 삽입 이미지를 형성하는 단계; 및

상기 원래 이미지 및 상기 삽입 이미지를 디스플레이하는 단계

를 포함하는 이미지 디스플레이 방법.
제1 프레임과 제2 프레임의 사이에 있는 제3 프레임에 삽입될 삽입 픽쳐(picture)를 생성하는 삽입 픽쳐 생성 장치에 있어서,

상기 제1 프레임에서, 복수의 픽셀들을 포함하는 제1 블럭을 추출하도록 구성되는 프레임 추출부;

상기 제2 프레임의 복수의 블럭들에서, 블럭 매칭에 의해 제2 블럭을 검출하도록 구성되는 검출부 - 상기 제2 블럭은, 상기 제1 블럭의 픽셀들 각각에 대해 제1 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제1 블럭과 상기 제2 블럭 간의 제1 모션 벡터를 계산하도록 구성되는 계산부;

제1 차분 절대치가 제2 임계치 이하인 상기 제1 블럭의 픽셀들을 제1 영역의 픽셀 블럭으로서 추출하도록 구성되는 픽셀 추출부;

상기 제1 차분 절대치가 상기 제2 임계치보다 큰 상기 제1 블럭의 픽셀들을 제2 영역의 픽셀 블럭으로서 추출하도록 구성되는 픽셀 추출부;

상기 제2 프레임에서, 블럭 매칭에 의해 제3 블럭을 추출하도록 구성되는 블럭 추출부 - 상기 제3 블럭은, 상기 제2 영역의 픽셀 블럭의 픽셀들 각각에 대해 제3 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제2 영역과 상기 제3 블럭 간의 제2 모션 벡터를 계산하도록 구성되는 계산부;

상기 제1 모션 벡터 및 상기 제2 모션 벡터를 상기 제3 프레임의 시간적 위치에 따라 스케일링하도록 구성되는 스케일링부;

상기 스케일링된 모션 벡터에 따라 삽입 블럭 및 제5 블럭을 추출하도록 구성되는 블럭 추출부 - 상기 삽입 블럭은 상기 제3 프레임 상에서 상기 제1 프레임 상의 블럭과 공간적으로 동일한 위치에 존재하고, 상기 제5 블럭은 상기 픽셀 블럭과 공간적으로 동일한 위치에 있는 상기 제3 프레임 상의 영역 삽입 블럭의 이동 개소에 대응함 -; 및

상기 제5 블럭을 상기 제3 프레임의 상기 삽입 블럭 및 상기 영역 삽입 블럭에 할당하여 상기 삽입 픽쳐를 형성하도록 구성되는 삽입 형성부

를 포함하는 삽입 픽쳐 생성 장치.
제17항에 있어서,

상기 제2 프레임에서, 복수의 픽셀들을 포함하는 제3 블럭을 추출하도록 구성되는 블럭 추출부;

상기 제1 프레임의 복수의 블럭들에서, 블럭 매칭에 의해 제4 블럭을 검출하도록 구성되는 검출부 - 상기 제4 블럭은, 상기 제3 블럭의 픽셀들 각각에 대해 제2 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제3 블럭과 상기 제4 블럭 간의 제2 모션 벡터를 계산하도록 구성되는 계산부;

상기 제2 블럭의 최대 픽셀 수와 상기 제3 블럭의 최대 픽셀 수를 비교하도록 구성되는 비교부;

상기 제2 블럭의 최대 픽셀 수가 상기 제3 블럭의 최대 픽셀 수보다 클 경우, 상기 제1 모션 벡터를 선택하도록 구성되는 선택부; 및

상기 제3 블럭의 최대 픽셀 수가 상기 제2 블럭의 최대 픽셀 수보다 클 경우, 상기 제2 모션 벡터를 선택하도록 구성되는 선택부

를 더 포함하는 삽입 픽쳐 생성 장치.
디스플레이 장치에 있어서,

원래 픽쳐의 제1 프레임에서, 복수의 픽셀들을 포함하는 제1 블럭을 추출하도록 구성되는 추출부;

상기 픽쳐의 제2 프레임의 복수의 블럭들에서, 블럭 매칭에 의해 제2 블럭을 검출하도록 구성되는 검출부 - 상기 제2 블럭은, 상기 제1 블럭의 픽셀들 각각에 대해 제1 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제1 블럭과 상기 제2 블럭 간의 제1 모션 벡터를 계산하도록 구성되는 계산부;

제1 차분 절대치가 제2 임계치 이하인 상기 제1 블럭의 픽셀들을 제1 영역의 픽셀 블럭으로서 추출하도록 구성되는 추출부;

상기 제1 차분 절대치가 상기 제2 임계치보다 큰 상기 제1 블럭의 픽셀들을 제2 영역의 픽셀 블럭으로서 추출하도록 구성되는 추출부;

상기 제2 프레임에서 블럭 매칭에 의해 제3 블럭을 추출하도록 구성되는 추출부 - 상기 제3 블럭은, 상기 제2 영역의 픽셀 블럭의 픽셀들 각각에 대해 제3 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함함 -;

상기 제2 영역과 상기 제3 블럭 간의 제2 모션 벡터를 계산하도록 구성되는 계산부;

상기 제1 모션 벡터 및 상기 제2 모션 벡터를 상기 제3 프레임의 시간적 위치에 따라 스케일링하도록 구성되는 스케일링부;

상기 스케일링된 모션 벡터에 따라 삽입 블럭 및 제5 블럭을 추출하도록 구성되는 추출부 - 상기 삽입 블럭은 상기 제3 프레임 상에서 상기 제1 프레임 상의 블럭과 공간적으로 동일한 위치에 존재하고, 상기 제5 블럭은 상기 픽셀 블럭과 공간적으로 동일한 위치에 있는 상기 제3 프레임 상의 영역 삽입 블럭의 이동 개소에 대응함 -;

상기 제5 블럭을 상기 제3 프레임의 상기 삽입 블럭 및 상기 영역 삽입 블럭에 할당하여 상기 삽입 픽쳐를 형성하도록 구성되는 삽입 픽쳐 형성부; 및

상기 원래 픽쳐 및 상기 삽입 픽쳐를 디스플레이하는 디스플레이부

를 포함하는 디스플레이 장치.
제1 프레임과 제2 이미지간의 제3 프레임의 모션 벡터를 검출하는 방법에 있어서,

상기 제3 프레임에서, 제3 블럭을 추출하는 단계;

상기 제1 프레임의 제1 블럭 및 상기 제2 프레임의 제2 블럭을, 블럭 매칭에 의해 검출하는 단계 - 상기 제1 블럭 및 상기 제2 블럭 각각은, 서로간의 픽셀들 각각에 대해 제1 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함하고, 상기 제3 블럭은 상기 제1 블럭과 상기 제2 블럭간에 위치함 -;

상기 제1 블럭과 상기 제3 블럭 간의 제1 모션 벡터를 계산하는 단계;

상기 제2 블럭과 상기 제3 블럭 간의 제2 모션 벡터를 계산하는 단계; 및

상기 제1 모션 벡터 및 상기 제2 모션 벡터를 상기 제3 블럭의 모션 벡터로서 선택하는 단계를 포함하는 모션 벡터 검출 방법.
제20항에 있어서,

상기 제3 프레임은 삽입(interpolation) 프레임인 모션 벡터 검출 방법.
제21항에 있어서,

상기 제3 블럭을 제1 영역 및 제2 영역으로 분할하는 단계 - 상기 제1 영역은 상기 픽셀들의 최대수에 대응하고, 상기 제2 영역은 상기 픽셀들의 최대수에 대응함 -;

상기 제1 프레임의 제4 블럭 및 상기 제2 프레임의 제5 블럭을 블럭 매칭에 의해 검출하는 단계 - 상기 제4 블럭 및 상기 제5 블럭은 각각 상기 제2 영역과 동일한 형태를 갖고, 상기 제4 블럭은 상기 제1 블럭의 픽셀들 각각에 대해 제1 임계치 이하의 차분 절대치를 각각 나타내는 최대 픽셀수를 포함하고, 상기 제3 블럭은 상기 제1 블럭과 상기 제2 블럭간에 위치함 -;

상기 제4 블럭과 상기 제3 블럭간의 제3 모션 벡터를 계산하는 단계; 및

상기 제5 블럭과 상기 제3 블럭간의 제5 모션 벡터를 계산하는 단계를 더 포함하고,

상기 선택하는 단계는, 상기 제1 모션 벡터 및 상기 제2 모션 벡터를 상기 제1 영역의 모션 벡터로서 선택하고, 상기 제3 모션 벡터 및 상기 제4 모션 벡터를 상기 제2 영역의 모션 벡터로서 선택하는 모션 벡터 검출 방법.
제1 프레임과 제2 프레임 사이의 제3 프레임에서 삽입될 삽입 이미지를 형성하는 방법으로서,

상기 제1 프레임으로부터 복수의 픽셀을 포함하는 제1 블록을 추출하는 단계와,

블록 매칭에 의해 상기 제2 프레임으로부터 제2 블록을 검출하는 단계 - 상기 제2 블록은 상기 제1 블록의 픽셀들 각각에 대한 제1 임계치 이하인 차분 절대치를 각각 나타내는 최대 픽셀 수를 포함함 -와,

상기 제1 블록과 상기 제2 블록 사이의 제1 모션 벡터를 계산하는 단계와,

상기 제1 블록과 공간적으로 동일 위치에 있으며, 복수의 픽셀을 포함하는 제3 블록을 상기 제2 프레임으로부터 추출하는 단계와,

블록 매칭에 의해 상기 제1 프레임으로부터 제4 블록을 검출하는 단계 - 상기 제4 블록은 상기 제3 블록의 픽셀들 각각에 대한 제2 임계치 이하인 차분 절대치를 각각 나타내는 최대 픽셀의 수를 포함함 -와,

상기 제2 블록의 최대 픽셀 수 및 상기 제4 블록의 최대 픽셀 수를 비교하는 단계와,

상기 제2 블록의 최대 픽셀 수가 상기 제4 블록의 최대 픽셀 수 보다 큰 경우, 상기 제1 프레임을 오브젝트 프레임으로서 선택하고, 상기 제2 프레임을 기준 프레임으로서 선택하며, 상기 제1 블록을 오브젝트 블록으로 선택하고, 상기 제2 블록을 기준 블록으로 선택하는 단계와,

상기 제4 블록의 최대 픽셀 수가 상기 제2 블록의 최대 픽셀 수보다 큰 경우, 상기 제2 프레임을 상기 오브젝트 프레임으로서 선택하고, 상기 제1 프레임을 상기 기준 프레임으로서 선택하며, 상기 제3 블록을 상기 오브젝트 블록으로서 선택하고, 상기 제4 블록을 상기 기준 블록으로서 선택하는 단계와,

상기 오브젝트 블록과 상기 기준 블록 사이의 제1 모션 벡터를 계산하는 단계와,

상기 차분 절대치가 제3 임계치 이하인 상기 오브젝트 블록 내의 픽셀을 제1 영역의 픽셀 블록으로서 추출하는 단계와,

상기 차분 절대치가 상기 제3 임계치보다 큰 상기 오브젝트 블록 내의 픽셀을 제2 영역의 픽셀 블록으로서 추출하는 단계와,

블록 매칭에 의해 상기 기준 프레임으로부터 제5 블록을 추출하는 단계 - 상기 제5 블록은 상기 제2 영역의 픽셀 블록의 픽셀들 각각에 대한 제4 임계치보다 크지 않는 차분 절대치를 각각 나타내는 최대 픽셀의 수를 포함함 -와,

상기 제2 영역과 상기 제5 블록 간의 제2 모션 벡터를 계산하는 단계와,

상기 제3 프레임의 시간적 위치에 따라 상기 제1 모션 벡터 및 상기 제2 모션 벡터를 스케일링하여, 스케일링된 제1 모션 벡터 및 스케일링된 제2 모션 벡터를 획득하는 단계와,

상기 제3 프레임으로부터 제1 삽입 영역 및 제2 삽입 영역을 추출하는 단계 - 상기 제1 삽입 영역은 상기 제1 영역의 픽셀 블록과 공간적으로 동일한 위치에 있으며, 상기 제2 삽입 영역은 상기 제2 영역의 픽셀 블록과 공간적으로 동일한 블록에 있음 -와,

상기 제1 삽입 영역에 제6 블록을 할당하며 상기 제2 삽입 영역에 제7 블록을 할당하는 삽입 이미지를 형성하는 단계 - 상기 제6 블록은 상기 스케일링된 제1 모션 벡터에 의해 지시된 상기 기준 프레임 상의 블록에 대응하며, 상기 제7 블록은 상기 스케일링된 제2 모션 벡터에 의해 지시된 상기 기준 프레임 상의 블록에 대응함 -

을 포함하는 방법.