KR20080070595A

KR20080070595A - 움직임 추정 장치 및 그 제어 방법

Info

Publication number: KR20080070595A
Application number: KR20080008290A
Authority: KR
Inventors: 히로노리 아오까게
Original assignee: 캐논 가부시끼가이샤
Priority date: 2007-01-25
Filing date: 2008-01-25
Publication date: 2008-07-30
Also published as: US20080181517A1; CN101232597B; JP2008182584A; EP1950953B1; KR100943603B1; EP1950953A3; CN101232597A; JP4891103B2; US8081829B2; EP1950953A2

Abstract

본 발명은 인터레이스 영상 신호로부터 논-인터레이스 영상 신호를 생성할 때, 현재 필드의 두 개의 인접 라인들 사이에 위치한 움직임 추정용 대상 화소의 움직임량의 매우 정확한 추정을 가능하게 한다. 이 목적을 달성하기 위해서, 필드간 움직임 추정 유닛은 현재 필드와 이전 필드 간의 움직임량을 추정한다. 필드내 움직임 추정 유닛은 현재 필드 내의 움직임량을 추정한다. 움직임량 산출 유닛은 필드간 움직임 추정 유닛에 의해 추정된 필드간 움직임량 및 필드내 움직임 추정 유닛에 의해 추정된 필드내 움직임량에 기초하여 최종 움직임량을 산출한 후, 그 움직임량을 출력한다.

인터레이스, 움직임 추정, 움직임량, 필드,

Description

움직임 추정 장치 및 그 제어 방법{MOTION ESTIMATION APPARATUS AND CONTROL METHOD THEREOF}

본 발명은, 인터레이스 영상 신호의 움직임량을 추정하는 기술에 관한 것이다.

현재, 통상적인 영상 신호 처리 장치는 인터레이스 스캔된 화상 신호를 취급한다.

인터레이스 스캔된 화상의 수평 에지 부분에서는 일반적으로 플리커가 발생한다. 이 문제를 다루기 위한 방법으로서, 인터레이스 스캔 라인들에 보간(interpolation)을 행하여 프로그레시브(progressive) 스캔 화상 신호를 생성하여 출력하는 기술이 알려져 있다.

또한, 프로그레시브 스캐닝으로 변환할 때에, 화상의 움직임량이 추정되고, 움직임 추정의 결과에 따라서 이전 필드의 신호와 현재 필드의 신호가 합성되어 보간 신호를 생성하는 기술이 알려져 있다. 이 기술에 따르면, 움직임 추정 결과의 정밀도에 따라 보간 신호의 상태가 변화한다.

예를 들면, 정지 영역에 대하여 현재 필드의 화상 신호에 보간이 행해지면, 좁은 가로 줄무늬가 사라져버려, 플리커를 야기한다. 반대로, 움직임 영역에 대하여 이전 필드의 화상 신호에 보간이 행해지면, 움직임 블러가 발생하여 코밍 노이즈(combing noise)를 야기한다.

움직임 추정 결과의 정밀도를 높이는 기술이, 일본 특허 공개 공보 제2006-41619호에 개재되어 있다. 이 문헌에 따르면, 보간용 화소의 상하에 위치한 상하 라인들로부터 화소가 선택된다. 이들 화소들의 연산 결과와 이전 필드의 보간용 화소와 동일한 위치에 위치한 화소와의 차분을 필드간(inter-field) 차분값으로서 사용하여, 움직임 추정이 행해진다.

그러나, 도 2에 도시한 바와 같이, 상하 라인들로부터 화소들이 연산되는 경우, 다음의 문제가 남는다. 즉, 수평 에지에서와 같은 고주파 영역에 위치한 수직 라인의 화소들은 실제 프레임의 동일 영역의 화소들과 비교하여 흐릿해진다. 구체적으로, 움직임 추정이 연산 결과와 이전 필드의 보간용 화소와 동일한 위치에 위치한 화소 간의 차분값을 이용하여 행해지기 때문에, 정지 영역에서도 움직임량이 판정되기 쉬워져, 라인 플리커가 발생한다.

상술한 문제점의 견지에서 생각해 보면, 본 발명의 목적은 보다 높은 정밀도로 영상의 움직임량을 추정함으로써 양호한 보간 화상을 생성 가능하게 하는 기술을 제공하는 것이다.

상기 문제점을 해소하기 위해서, 예를 들면, 본 발명에 따른 움직임 추정 장치는 다음의 구성을 포함한다. 보다 구체적으로, 인터레이스(interlaced) 영상 신호로부터 논-인터레이스(non-interlaced) 영상 신호를 생성할 때, 현재 필드의 두 개의 인접 라인들 사이에 위치한 움직임 추정용 대상 화소의 움직임량을 추정하는 움직임 추정 장치는,

상기 현재 필드의 상기 움직임 추정용 대상 화소를 사이에 둔 상기 두 개 라인들 상에 위치한 두 개 화소들의 값들 사이의 차분값을 산출하고, 상기 산출된 차분값과 미리 설정된 임계값을 비교하여 상기 두 개 화소들 간에 수평 에지가 존재하는지의 여부를 판정하는 판정 수단,

상기 두 개 화소들의 값들의 평균값을 제1 가보간(temporary interpolated) 화소값으로 산출하는 제1 산출 수단,

이전 필드의 상기 움직임 추정용 대상 화소와 동일한 위치에 위치한 화소의 값과 현재 필드의 상기 두 개 화소들의 값들 각각의 차분값을 비교하고, 상기 두 개 화소들 중 더 작은 차분을 갖는 화소를 제2 가보간 화소값으로 판정하는 제2 산출 수단,

상기 판정 수단의 결과에 기초하여, 상기 제1 가보간 화소값 또는 상기 제2 가보간 화소값 중 하나를 가보간 화소값으로서 선택하는 선택 수단, 및

상기 선택 수단에서 선택한 상기 가보간 화소값, 상기 이전 필드의 상기 움직임 추정용 대상 화소와 동일 위치에 위치한 화소의 값, 및 상기 두 개 화소들의 차분값에 기초하여, 상기 움직임 추정용 대상 화소의 움직임량을 산출하는 움직임 량 산출 수단을 포함하는 것을 특징으로 한다.

본 발명의 다른 양상에 따르면, 인터레이스 영상 신호로부터 논-인터레이스 영상 신호를 생성할 때, 현재 필드의 두 개의 인접 라인들 사이에 위치한 움직임 추정용 대상 화소의 움직임량을 추정하는 움직임 추정 장치를 제어하는 방법으로서,

상기 현재 필드의 상기 움직임 추정용 대상 화소를 사이에 둔 상기 두 개 라인들 상에 위치한 두 개 화소들의 값들 사이의 차분값을 산출하고, 상기 산출된 차분값과 미리 설정된 임계값을 비교하여 상기 두 개 화소들 간에 수평 에지가 존재하는지의 여부를 판정하는 단계,

상기 두 개 화소들의 값들의 평균값을 제1 가보간 화소값으로 산출하는 제1 산출 단계,

이전 필드의 상기 움직임 추정용 대상 화소와 동일한 위치에 위치한 화소의 값과 현재 필드의 상기 두 개 화소들의 값들 각각의 차분값을 비교하고, 상기 두 개 화소들 중 더 작은 차분을 갖는 화소를 제2 가보간 화소값으로 판정하는 제2 산출 단계,

상기 판정 단계의 결과에 기초하여, 상기 제1 가보간 화소값 또는 상기 제2 가보간 화소값 중 하나를 가보간 화소값으로서 선택하는 선택 단계, 및

상기 선택 단계에서 선택한 상기 가보간 화소값, 상기 이전 필드의 상기 움직임 추정용 대상 화소와 동일 위치에 위치한 화소의 값, 및 상기 두 개 화소들의 차분값에 기초하여, 상기 움직임 추정용 대상 화소의 움직임량을 산출하는 움직임 량 산출 단계

를 포함하는 것을 특징으로 하는 움직임 추정 장치의 제어 방법이 제공된다.

본 발명의 또 다른 양상에 따르면, 인터레이스 영상 신호로부터 논-인터레이스 영상 신호를 생성할 때, 현재 필드의 두 개의 인접 라인들 사이에 위치한 움직임 추정용 대상 화소의 움직임량을 추정하는 움직임 추정 장치로서,

상기 현재 필드의 상기 움직임 추정용 대상 화소를 사이에 둔 상기 두 개 라인들 상에 위치한 두 개 화소들의 값들 사이의 차분값을 산출하고, 상기 산출된 차분값과 미리 설정된 임계값을 비교하여 상기 두 개 화소들 간에 수평 에지가 존재하는지의 여부를 판정하는 판정 수단, 및

상기 판정 수단의 결과에 기초하여, 상기 대상 화소를 보간하는 보간 수단

을 포함하는 것을 특징으로 하는 움직임 추정 장치가 제공된다.

본 발명에 따르면, 인터레이스 영상 신호로부터 논-인터레이스 영상 신호를 생성할 때 현재 필드의 두 개의 인접 라인들 간의 움직임 추정용 대상 화상의 움직임량의 매우 정확한 추정을 달성할 수 있다. 또한, 이 추정 결과를 이용함으로써 양호한 논-인터레이스 영상 신호가 생성될 수 있다.

본 발명의 그 이상의 특징은 첨부한 도면을 참조하여 실시예들의 다음의 설명으로부터 분명해질 것이다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다.

<제1 실시예>

도 1은 제1 실시예에 따른 움직임 추정 장치의 예를 나타내는 블록도이다. 설명을 간단히 하기 위해서, 처리될 대상이 영상 신호의 휘도(luminance) 신호인 예를 설명하지만, 본 발명이 여기에 한정되지 않는다는 점은 물론이다.

도 1에 도시한 움직임 추정 장치는 입력 단자(1), 라인 메모리(2), 필드 메모리(3), 필드간 움직임 추정 유닛(4), 필드내 움직임 추정 유닛(5), 및 움직임량 산출 유닛(6)을 포함한다.

입력 단자(1)는 인터레이스 영상 신호를 입력한다. 라인 메모리(2)는 입력 단자(1)에 의해 입력된 인터레이스 신호의 1개 라인 분을 저장하는 용량을 구비한다. 필드 메모리(3)는 입력 단자(1)에 의해 입력된 인터레이스 신호의 1개 필드 분을 저장하는 용량을 구비한다. 필드간 움직임 추정 유닛(4)은 현재 필드와 이전 필드 간의 움직임량을 추정한다. 필드내 움직임 추정 유닛(5)은 현재 필드 내의 움직임량을 추정한다. 움직임량 산출 유닛(6)은 필드간 움직임 추정 유닛(4)에 의해 추정된 필드간 움직임량 및 필드내 움직임 추정 유닛(5)에 의해 추정된 필드내 움직임량에 기초하여 최종 움직임량을 산출한 후, 그 움직임량을 출력한다.

상술한 바와 같이 구성된 본 장치의 전체 처리는 다음과 같다.

입력 단자(1)에 의해 입력된 인터레이스 영상 신호(본 실시예에서는, 설명을 간단히 하기 위해서 컬러 구성 요소를 갖지 않는 휘도 신호가 이용됨)는 라인 메모리(2), 필드 메모리(3), 필드간 움직임 추정 유닛(4), 및 필드내 움직임 추정 유닛(5)에 공급된다. 라인 메모리(2)는, 입력된 신호를 1개 라인에 상당하는 시간량 만큼 지연시키고, 지연된 신호를 필드간 움직임 추정 유닛(4)에 출력한다. 마찬가지로, 필드 메모리(3)는 입력된 신호를 1개 필드에 상당하는 시간량만큼 지연시키고, 지연된 신호를 필드간 움직임 추정 유닛(4) 및 필드내 움직임 추정 유닛(5)에 출력한다. 필드간 움직임 추정 유닛(4)은 필드간 정보를 이용하여 움직임량을 추정하고, 그 결과를 움직임량 산출 유닛(6)에 출력한다. 필드내 움직임 추정 유닛(5)은 필드내 정보를 이용하여 움직임량을 추정하고, 그 결과를 움직임량 산출 유닛(6)에 출력한다. 움직임량 산출 유닛(6)은 상기 두 개의 입력된 신호들의 비율에 따라 움직임량을 판정하고, 움직임량을 출력한다.

상기한 바와 같이 구성된 움직임 추정 장치의 움직임 추정 처리의 동작을 더욱 상세하게 설명한다.

입력 단자(1)에 의해 입력된 필드 화상은 라인 메모리(2)에 저장된다. 라인 메모리(2)는 1 신호 라인 분의 데이터를 저장하는 FIFO 메모리로 구성되므로, 라인 메모리(2)로부터 출력된 데이터는 1개 라인만큼 지연된다. 또한, 입력된 필드 화상은 필드 메모리(3)에 저장된다. 필드 메모리(3)는 1개 필드 분의 메모리 용량을 가지므로, 필드 메모리(3)로부터 출력된 필드 화상은 1개 필드에 상당하는 시간량 만큼 지연된다.

본 실시예에서는, 설명을 간단히 하기 위해서, 필드 화상이 현재 필드이고, 1개 필드에 상당하는 시간량 만큼 지연된 화상이 이전 필드인 것으로 상정한다. 또한, 움직임 추정용 대상 화소가 존재하는 라인 바로 아래에 위치한 라인에 입력된 신호가 속하고, 움직임 추정용 대상 화소가 존재하는 라인 바로 위에 위치한 라 인에 1개 라인에 상당하는 시간량만큼 지연된 신호가 속한다고 상정한다.

필드간 움직임 추정 유닛(4)은 움직임 추정용 대상 화소의 상하에 위치한 라인들의 화상 신호의 입력과, 현재 필드 화상 및 이전 필드 화상의 신호들의 입력을 수신하고, 필드간 움직임량을 추정한 후, 그 결과를 출력한다.

필드내 움직임량 추정 유닛(5)은 움직임 추정용 대상 화소가 존재하는 라인의 상하에 위치하는 상하 라인들의 화상 신호들의 입력을 수신하고, 필드내 움직임량을 추정한 후, 그 결과를 출력한다. 움직임량 산출 유닛(6)은 필드내 움직임량 및 필드간 움직임량의 입력을 수신하고, 필드내 움직임량 및 필드간 움직임량의 비율을 산출하여 움직임량을 판정한 후 그 결과를 출력한다.

다음으로, 본 실시예의 필드간 움직임 추정 유닛(4)을 더욱 자세히 설명한다.

도 1에 도시한 바와 같이, 필드간 움직임 추정 유닛(4)은 수평 에지량 추정 유닛(401), 필드내 가보간 유닛(402), 필드간 가보간 유닛(403), 혼합기(404), 및 필드내 차분값 추정 유닛(405)을 포함한다.

수평 에지량 추정 유닛(401)은 수평 에지량을 산출하고, 그 결과를 혼합기(404)에 출력한다. 필드내 가보간 유닛(402)은 필드내 정보에 기초하여 움직임 추정용 대상 화소의 화소값을 미리 산출하고, 그 결과를 혼합기(404)에 출력한다. 필드간 가보간 유닛(403)은 필드간 정보에 기초하여 움직임 추정용 대상 화소의 화소값을 미리 산출하고, 그 결과를 혼합기(404)에 출력한다. 혼합기(404)는 수평 에지량에 따라서 필드내 가보간 값을 필드간 가보간 값과 혼합하고, 그 혼합 결과 신호를 필드간 차분값 추정 유닛(405)에 출력한다. 필드간 차분값 추정 유닛(405)은 필드간 차분값을 산출하고, 그 결과를 움직임량 산출 유닛(6)에 출력한다. 각 처리 유닛의 보다 상세한 설명은 아래 제공된다.

수평 에지량 추정 유닛(401)은 움직임 추정용 대상 라인의 상하에 위치한 상하 라인들의 입력된 화소들 간의 차분 절대값을 산출하고, 그 결과 차분 절대값을 수평 에지량으로서 혼합기(404)에 출력한다.

필드내 가보간 유닛(402)은 움직임 추정용 대상 화소의 상하에 위치한 상하 라인의 화소들의 입력을 수신하고, 가보간 값을 얻기 위해서 그의 평균값을 산출하여 그 결과를 출력한다.

필드간 가보간 유닛(403)은 움직임 추정용 대상 화소의 상하에 위치한 상하 라인들의 화소값들의 입력과, 이전 필드의 대상 화소의 화소값의 입력을 수신한다. 그 후, 필드간 가보간 유닛(403)은 움직임 추정용 대상 화소의 위에 위치한 상부 라인의 화소와 이전 필드의 움직임 추정용 대상 화소와 동일한 위치에 위치한 화소 간의 차분 절대값을 산출한다. 또한, 필드간 가보간 유닛(403)은, 움직임 추정용 대상 화소 아래에 위치한 하부 라인의 화소와 이전 필드의 움직임 추정용 대상 화소와 동일한 위치에 위치한 화소 간의 차분 절대값을 산출한다. 그 후, 필드간 가보간 유닛(403)은 산출된 차분 절대값들 간의 상관 관계에 기초하여 상하의 라인들의 화소들 중 어느 하나를 가보간 값으로서 출력한다.

혼합기(404)는 수평 에지량 추정 유닛(401)으로부터의 출력에 기초하여, 필드내 가보간 유닛(402) 및 필드간 가보간 유닛(403)의 출력들 중 어느 하나를 가보 간 값으로서 필드간 차분값 추정 유닛(405)에 출력한다.

필드간 차분값 추정 유닛(405)은 혼합기(404)로부터의 출력과 이전 필드의 움직임 추정용 대상 화소 간의 차분 절대값을 필드간 차분값으로서 산출하고, 그 결과를 움직임량 산출 유닛(6)에 출력한다.

상기한 바와 같이 구성된 필드간 움직임 추정 유닛(4)에서 행해진 필드간 움직임 추정 처리의 동작에 대해 상세하게 설명한다. 도 3은 필드간 움직임 추정 유닛(4)에서 사용한 화소의 상태를 나타내는 도면이다. 현재 필드에서 움직임 추정용 대상 화소(별모양 마크)의 바로 위 라인에 위치한 화소를 Xa(라인 메모리(2)로부터의 출력)라 한다. 움직임 추정용 대상 화소의 바로 아래 수평 라인에 위치한 화소를 Xb라 한다. 현재 필드에서 움직임 추정용 대상 화소와 동일한 위치에 위치한 화소는 Xc라 한다.

도 1에서, 입력 단자(1)는 인터레이스 입력 신호의 영상 신호를 입력한다. 수평 에지량 추정 유닛(401)은, 입력 단자(1)로부터 바로 출력된 영상 신호에 포함된 화소 Xb와 라인 메모리(2)로부터 출력된 1개 라인 전의 영상 신호에 포함된 화소 Xa 간의 차분 절대값 |Xa-Xb|(|v|은 v의 절대값을 나타냄)을 산출하여 그 결과를 혼합기(404)에 출력한다.

필드내 가보간 유닛(402)은 화소들 Xa 및 Xb의 평균값 "(Xa+Xb)/2"을 산출하여 그 결과를 혼합기(404)에 출력한다.

혼합기(404)는 수평 에지량 추정 유닛(401)으로부터의 출력에 기초하여, 필드내 가보간 유닛(402) 및 필드간 가보간 유닛(403)의 출력들 중 어느 하나를 필드간 차분값 추정 유닛(405)에 출력한다. 보다 구체적으로 설명하면, 도 5에 도시한 바와 같이, 현재 필드의 보간용 화소 Xi의 상하에 위치한 화소들　Xa 및 Xb과, 이전 필드에서 화소 Xi와 동일 위치에 위치한 화소 Xc에 기초하여, 혼합기(404)는 보간용 화소 Xi의 가보간 값을 결정한다. 그 후, 혼합기(404)는 결정한 가보간 값을 필드간 차분값 추정 유닛(405)에 출력한다. 상세한 설명은 이하 제공된다. 다음의 설명에서, "h_edge_th"는 수평 에지의 유무를 결정하는 미리 설정된 임계값임에 유의해야 한다.

(1) 수평 에지량 추정 유닛(401)으로부터의 출력 |Xa-Xb|이 임계값 "h_edge_th"보다 크지 않다면, 혼합기(404)는 필드내 가보간 유닛(402)으로부터의 출력 (Xa+Xb)/2, 즉, 보간용 화소의 상하에 위치하는 화소들의 화소값들의 평균값을 산출한다. 그 후, 혼합기(404)는 산출된 평균값을 보간용 화소 Xi의 가보간 값으로서 출력한다.

(2) 수평 에지량 추정 유닛(401)으로부터의 출력 |Xa-Xb|이 임계값 "h_edge_th"을 초과하면, 혼합기(404)는 필드간 가보간 유닛(403)으로부터의 출력(Xa 또는 Xb)을 보간용 화소 Xi의 가보간 값으로서 출력한다.

필드간 차분값 추정 유닛(405)은 혼합기(404)로부터의 가보간 화소값과, 이전 필드에서 보간용 화소 Xi와 동일한 위치에 위치한 화소 Xc의 값 간의 차분 절대값을 산출하고, 그 결과를 움직임량 산출 유닛(6)에 출력한다.

앞에서는 제1 실시예에 따른 필드간 움직임 추정 유닛(4)의 구성 및 동작을 설명하였지만, 보다 명료하게 하기 위하여, 도 6의 플로우차트를 참조하여 더욱 상세히 설명한다.

우선, 스텝 S1에서는, 화소들 Xa 및　Xb 간의 차분 절대값이 산출되어 수평 에지량을 얻는다. 스텝 S1의 처리는 수평 에지량 추정 유닛(401)에 의해 행해진다.

그 후, 스텝 S2에서는, 화소들 Xa 및　Xb의 평균값 (Xa+Xb)/2이 연산되어 필드내 가보간 값을 얻는다. 스텝 S2의 처리는 필드내 가보간 유닛(402)에서 행해진다.

스텝 S3에서는, 차분 절대값 |Xa-Xb|이 임계값 "h_edge_th"과 비교된다. |Xa-Xb| ≤ h_edge_th인 경우, 즉, 현재 필드 내의 보간용 화소의 상하에 위치하여 보간용 화소를 끼워넣는 두 개의 화소들 간의 차분이 임계값 "h_edge_th"보다 크지 않다고 판정된다면, 처리는 스텝 S4로 진행한다. 스텝 S4에서는, 평균값 (Xa+Xb)/2이 보간용 화소 Xi의 가화소값 Xp로서 결정된다.

상술한 스텝 S3 내지 S8은 혼합기(404)와 함께 필드간 가보간 유닛(403)에 의해 행해진다.

전술한 바와 같이, 스텝들 S4, S7 및 S8 중 임의의 한 스텝에서 보간용 화소 Xi의 가화소값 Xp가 결정되면, 처리는 스텝 S9로 진행한다. 스텝 S9의 처리는 필드간 처분값 추정 유닛(405)에 의해 행해지고, 여기서, 보간용 화소 Xi의 가화소값 Xp와 이전 필드에서 보간용 화소 Xi와 동일 위치에 위치한 화소 Xc의 값 간의 차분 절대값이 산출되어 움직임량 산출 유닛(6)에 출력된다.

다음으로, 필드내 움직임 추정 유닛(5)과 움직임량 산출 유닛(6)을 설명한다.

필드내 움직임 추정 유닛(5)은, 보간용 화소 Xi의 상하에 위치하고 현재 필 드에서 보간용 화소 Xi를 끼워넣은 두 개의 화소들 Xa 및 Xb 간의 차분 절대값 |Xa-Xb|을 산출하고, 그 차분 절대값을 필드내 움직임량으로서 움직임량 산출 유닛(6)에 출력한다. 이 필드내 움직임 추정 유닛(5)은 수평 에지량 추정 유닛(401)과 동일하므로, 필드내 움직임 추정 유닛(5)의 출력 대신에 수평 에지량 추정 유닛(401)의 출력을 움직임량 산출 유닛(6)에 공급할 수도 있다.

움직임량 산출 유닛(6)은 최종 움직임량 m을 얻기 위해서 수학식 m=e/(e+f)을 이용하여 산출을 행한다. 수학식에서, e는 필드간 차분값 추정 유닛(405)으로부터 출력된 필드간 차분값을 나타내고, f는 필드내 움직임 추정 유닛(5)으로부터 출력된 필드내 움직임량을 나타낸다.

상술한 바와 같이, 본 실시예에 따르면, 움직임량을 얻기 위해서 필드간 차분을 산출하기 위한 사전 준비인 움직임 추정용 대상 화소에 대한 가보간 값을 결정할 때, 움직임 추정용 대상 화소가 수평 에지 상에 있는지의 여부가 판정된다. 움직임 추정용 대상 화소가 수평 에지 상에 존재하지 않는다면, 즉, |Xa-Xb|가 임계값보다 크지 않다면, 화소들 Xa 및 Xb의 평균값은 가보간 값으로서 결정된다. 반대로, 움직임 추정용 대상 화소가 수평 에지 상에 존재한다면, 이전 필드에서 움직임 추정용 대상 화소와 동일 위치에 위치하는 화소의 정보와, 움직임 추정용 대상 화소의 상하에 위치하는 상하 라인들의 정보에 기초하여, 움직임 추정용 대상 화소의 상하에 위치한 상부 및 하부 화소들의 가보간 값들로부터 가보간 값이 선택된다. 다음으로, 이렇게 얻어진 움직임 추정용 대상 화소의 값과, 이전 필드에서 움직임 추정용 대상 화소와 동일 위치에 위치한 화소의 값 간의 차분 e가 결정된 다. 그 후, 필드내 움직임량 f가 결정된다. 마지막으로, e 대 "e+f"의 비율이 각 화소에 대한 움직임 정보로서 얻어진다. 결과적으로, 각 화소에 대한 움직임량을 높은 정밀도로 추정할 수 있다. 따라서, 이것을 이용함으로써, 동화상을 부호화할 때 모드 판정을 행하고, 화상으로부터 움직이고 있는 대상의 정밀한 추출을 행할 수 있다.

설명을 간단히 하기 위해서, 제1 실시예는 영상 신호의 휘도 신호를 이용하는 것에 관련하여 설명하였지만, 영상 신호는 RGB 신호와 같은 오리지널 신호일 수도 있다. 대안으로, 색(chrominance) 신호가 이용될 수도 있다.

움직임 추정 장치, 즉, 본 실시예에 따른 장치는 인터레이스 신호의 입력을 수신하고, 보간용 화소를 처리하므로, 움직임 추정 장치는 현재 필드에 존재하는 라인들이 스캔되는 동안 움직임 추정을 행하지 않는다.

또한, 앞에서는 라인 메모리 및 필드 메모리가 개별로 제공되는 예를 설명했지만, 필드 메모리의 일부가 라인 메모리로 이용될 수도 있다.

또한, 앞에서는 1:2 인터레이스 화상을 이용하는 것에 관련하여 설명했지만, 본 발명은 여기에 한정되지 않는다. 필드 가보간 유닛과 필드간 차분값 추정 유닛을 조정함으로써 본 발명이 상기와 다른 비율을 갖는 인터레이스 화상들에 적용가능하다는 점은 분명하다.

<제2 실시예>

다음으로, 제2 실시예를 설명한다. 본 실시예에서는, 상술한 제1 실시예의 구성이 프로그레시브 스캐닝 변환 장치에 적용된 예를 나타낸다.

도 4는 제2 실시예에 따른 장치의 구성을 나타내는 도면이다. 도 4와 도 1의 구성 간의 차이는, 도 4에 화소 보간 유닛(7)이 추가되고, 도 1의 필드간 움직임 추정 유닛(4)이 도 4에서는 참조 번호 9로 표시된다는 점이다. 따라서, 수평 에지량 추정 유닛(901), 필드내 가보간 유닛(902), 필드간 가보간 유닛(903), 혼합기(904) 및 필드간 차분값 추정 유닛(905)은 도 1의 구성요소들(401 내지 405)과 각각 동일하므로, 그들의 설명은 생략한다.

화소 보간 유닛(7)은 움직임량 산출 유닛(6)으로부터의 출력에 기초하여, 필드 메모리(3)에 의해 1개 필드만큼 지연된 이전 필드에서 보간용 화소(Xi)와 동일 위치에 위치한 화소 Xc를 필드내 가보간 유닛(902)으로부터 송신된 보간용 화소의 가화소값과 혼합한다. 그 후, 화소 보간 유닛(7)은 혼합 결과를 최종 보간 화소값으로서 출력한다. 출력 목적지는 표시 장치(논-인터레이스 표시 장치)이며, 도면에는 도시되지 않았다.

본 처리에서, 화소 보간 유닛(7)은 최종 보간 화소값 Xg를 결정하기 위해서 다음의 산출,

Xg = m × Xd + (1-m) × Xc

을 행한다.

여기에서, Xd는 필드내 가보간 유닛(902)으로부터의 보간용 화소의 가화소값을 나타내고, m은 제1 실시예에서 얻어진, 움직임량 산출 유닛(6)으로부터의 출력을 나타낸다. m은 0 이상 1 이하의 값이라는 점에 유의한다.

상술한 바와 같이, 제2 실시예에 따르면, 보간값들은 높은 정밀도로 산출된 움직임량을 이용하여 연속적으로 산출되고, 그에 의해 이동 영역에서의 움직임 블러를 감소시키고, 정지 영역에서의 라인 플리커를 감소시킬 수 있다.

<제3 실시예>

상술한 제1 및 제2 실시예들은 퍼스널 컴퓨터와 같은 범용 정보 처리 장치, 및 그 정보 처리 장치가 제1 및 제2 실시예들을 실행하게 하는 컴퓨터 프로그램에 의해 구현될 수 있다. 이러한 예를 제3 실시예로서 이하 설명한다.

도 7은 제3 실시예에 따른 정보 처리 장치의 구성을 나타내는 블록도이다.

도 7에서, 참조 번호 301은 전체 장치와 각종 처리의 제어를 행하는 중앙 처리 장치(이하, "CPU"라 함)를 나타낸다. 참조 번호 302는 BIOS 및 부트 프로그램을 저장하는 ROM 및 CPU(301)의 작업 영역인 RAM으로 구성된 메모리를 나타낸다. 참조 번호 303은 키보드, 마우스와 같은 포인팅 디바이스, 및 각종 스위치들로 구성된 지시 입력 유닛을 나타낸다. 참조 번호 304는 본 실시예의 이 장치를 제어하는 데 필요한 운영 시스템(OS), 제3 실시예에 따른 컴퓨터 프로그램, 및 연산을 위해 필요한 기억 영역을 제공하는 외부 기억 장치(예를 들면, 하드디스크 드라이브)를 나타낸다. 참조 번호 305는 동화상 데이터를 기억한 이동가능한 기억 매체(예를 들면, DVD-ROM 및 CD-ROM 디스크)를 액세스하는 기억 장치를 나타낸다. 참조 번호 306은 동화상을 필드 단위로 캡처하는 비디오 카메라를 나타낸다. 참조 번호 307은 프로그레시브 화상들을 표시하는 모니터를 나타낸다. 참조 번호 309는 LAN, 공중 회선, 무선 회선, 무선파 방송 기기 등으로 구성된 통신 회선을 나타낸다. 참조 번호 308은 통신 회선(309)을 통해 부호화된 데이터를 송수신하는 통신 인터 페이스를 나타낸다.

이 구성을 이용하여 행해진 화상 보간 처리를 설명한다.

이 처리에 앞서서, 지시 입력 유닛(303)을 통해 장치의 전원이 온되면, CPU(301)는 메모리(302)의 (ROM에 저장된) 부트 프로그램에 따라서 외부 기억 장치(304)로부터 메모리(302)(RAM)로 OS(운영 시스템)를 로드한다. 그 후, 유저의 지시에 따라서, 외부 기억 장치(304)로부터 메모리(302)로 애플리케이션 프로그램이 로드된다. 따라서, 본 실시예의 장치는 화상 처리 장치로서 기능한다. 도 8은, 본 애플리케이션 프로그램이 메모리(302)로 로드된 경우에 메모리의 저장 상황을 나타낸다.

메모리(302)는, 전체 장치를 제어하고, 각종 소프트웨어를 동작시키는 OS와, 움직임량을 산출함으로써 화상에 대한 보간 처리를 행하는 영상 처리 소프트웨어를 저장한다. 또한, 메모리(302)는 카메라(306)를 제어함으로써 동화상을 디지털 데이터로서 필터 단위로 입력(캡처)하는 화상 입력 소프트웨어, 및 모니터(307)에 화상들을 표시하는 화상 표시 소프트웨어를 저장한다. 또한, 메모리(302)는 화상 데이터를 저장하는 화상 영역과, 각종 연산 파라미터 등을 저장하는 작업 영역을 구비한다.

도 9는 CPU(301)에 의해 실행되는 애플리케이션에 의해 행해진 화상 보간 처리를 나타내는 플로우차트이다.

스텝 S11에서는, 각 유닛이 초기화된다. 스텝 S12에서는, 프로그램을 종료하는지의 여부에 대해 판정된다. 지시 입력 유닛(303)을 통해 유저에 의해 종료 지시가 입력되었는지의 여부에 따라 종료가 결정된다.

스텝 S13에서는, 필드 단위로 화상이 입력된다. 스텝 S14에서는, 움직임량이 추정된다. 스텝 S15에서는, 화소들에 대해 보간 처리가 행해진 후, 처리가 스텝 S12로 돌아간다.

다음으로, S14의 움직임 추정의 처리가 도 10의 플로우차트에 도시된다.

스텝 S100에서는, 필드간 움직임량이 추정된다. 본 추정의 상세는 도 6을 참조하여 설명되었다. 스텝 S101에서는, 필드내 움직임량이 추정된다. 그 후, 스텝 S102에서는, 필드간 움직임량 및 필드내 움직임량이 혼합되어 최종 움직임량이 얻어진다. 이 단계 후에, 처리는 도 9의 스텝 S15로 돌아간다.

상술한 바와 같이, 제3 실시예에 따르면, 높은 정밀도로 산출된 움직임량을 이용하여 보간값이 연속적으로 산출되고, 그에 의해 이동 영역에서의 움직임 블러의 경감 및 정지 영역에서의 라인 플리커의 감소를 소프트웨어에 의해 달성할 수 있다.

통상적으로, 컴퓨터 프로그램은 CD-ROM 등의 컴퓨터 판독 가능한 기억 매체에 저장되고, 컴퓨터의 판독기(CD-ROM 드라이브)에 CD-ROM을 삽입한 후, 컴퓨터 프로그램을 시스템에 카피 또는 인스톨함으로써 실행될 수 있다. 따라서, 이러한 컴퓨터 판독 가능한 기억 매체는 본 발명의 범주 내에 들어가는 것이 분명하다.

상술한 바와 같이, 본 실시예에 따르면, 실제 프레임과 동일한 상태로 움직임 추정용 대상 화소에 대한 가보간을 행하고, 그 결과와 이전 화소에서 보간용 화소와 동일 위치에 위치한 화소 간의 차분값에 기초하여 움직임량을 추정함으로써 움직임량이 추정된다. 따라서, 수평 에지 상에 위치하는 화소에 대한 움직임량을 추정하는 정밀도는 화상이 분명하게 정지해 있는 동안 향상될 수 있고, 보간 화상들에서의 라인 플리커가 감소될 수 있다.

본 발명은 실시예들을 참조하여 설명되었지만, 본 발명이 개시된 실시예들에 한정되지 않는다는 점은 물론이다. 다음의 특허청구범위의 범주는 모든 변형, 동등한 구조 및 기능을 포함하도록 가장 넓은 해석을 따른다.

도 1은 제1 실시예에 따른 움직임량 추정 장치의 구성을 나타내는 블록도이다.

도 2는 종래의 필드간 움직임량의 추정의 원리를 설명하는 데 이용되는 도면이다.

도 3은 제1 실시예에 따른 움직임 추정의 원리를 설명하는 데 이용되는 도면이다.

도 4는 제2 실시예에 따른 프로그레시브 스캐닝 장치의 구성을 나타내는 블록도이다.

도 5는 제1 실시예에 따른 보간용 화소와 참조될 화소 간의 상대 위치 관계 를 나타내는 도면이다.

도 6은 제1 실시예에 따른 필드간 움직임 추정 유닛에 의해 행해진 처리의 상세를 설명하는 데 이용되는 플로우차트이다.

도 7은 제3 실시예의 정보 처리 장치의 구성을 나타내는 블록도이다.

도 8은 제3 실시예에 따른 처리 중에 메모리의 저장 상황을 나타내는 도면이다.

도 9는 제3 실시예에 따른 화상 보간 처리의 절차를 나타내는 플로우차트이다.

도 10은, 도 9의 움직임 추정 단계의 처리를 나타내는 플로우차트이다.

<도면의 주요 부분에 관한 설명>

2 : 라인 메모리

3 : 필드 메모리

4 : 필드간 움직임 추정 유닛

401 : 수평 에지량 추정 유닛

402 : 필드내 가보간 유닛

403 : 필드간 가보간 유닛

404 : 혼합기

405 : 필드간 차분값 추정 유닛

5 : 필드내 움직임 추정 유닛

6 : 움직임량 산출 유닛

Claims

인터레이스(interlaced) 영상 신호로부터 논-인터레이스(non-interlaced) 영상 신호를 생성할 때, 현재 필드의 두 개의 인접 라인들 사이에 위치한 움직임 추정용 대상 화소의 움직임량을 추정하는 움직임 추정 장치로서,

상기 현재 필드의 상기 움직임 추정용 대상 화소를 사이에 둔(sandwiching) 상기 두 개 라인들 상에 위치한 두 개 화소들의 값들 사이의 차분값을 산출하고, 상기 산출된 차분값과 미리 설정된 임계값을 비교하여 상기 두 개 화소들 간에 수평 에지가 존재하는지의 여부를 판정하는 판정 수단,

상기 두 개 화소들의 값들의 평균값을 제1 가보간(temporary interpolated) 화소값으로 산출하는 제1 산출 수단,

이전 필드의 상기 움직임 추정용 대상 화소와 동일한 위치에 위치한 화소의 값과 현재 필드의 상기 두 개 화소들의 값들 각각의 차분값을 비교하고, 상기 두 개 화소들 중 더 작은 차분을 갖는 화소를 제2 가보간 화소값으로 판정하는 제2 산출 수단,

상기 판정 수단의 결과에 기초하여, 상기 제1 가보간 화소값과 상기 제2 가보간 화소값 중 어느 하나를 가보간 화소값으로서 선택하는 선택 수단, 및

상기 선택 수단이 선택한 상기 가보간 화소값, 상기 이전 필드의 상기 움직임 추정용 대상 화소와 동일 위치에 위치한 화소의 값, 및 상기 두 개 화소들의 차분값에 기초하여, 상기 움직임 추정용 대상 화소의 움직임량을 산출하는 움직임량 산출 수단

을 포함하는 것을 특징으로 하는 움직임 추정 장치.
제1항에 있어서,

상기 움직임량 산출 수단은,

상기 선택 수단이 선택한 상기 가보간 화소값과, 상기 이전 필드의 상기 움직임 추정용 대상 화소와 동일한 위치에 위치한 화소의 값 사이의 차분 절대값 e를 연산하는 제1 연산 수단, 및

상기 두 개 화소들의 차분값이 f로 표시될 때, e/(e+f)를 산출하고, 그 결과값을 상기 움직임 추정용 대상 화소의 움직임량으로 출력하는 제2 연산 수단

을 포함하는 움직임 추정 장치.
제1항에 있어서,

g = m × d + (1 - m) × c

를 산출하고 - 여기서 m은 상기 움직임량 산출 수단에 의해 산출된 움직임량을 나타내고, c는 상기 이전 필드의 상기 움직임 추정용 대상 화소와 동일한 위치에 위치한 화소의 값을 나타내고, d는 상기 평균값을 나타내고, g는 출력될 상기 움직임 추정용 대상 화소의 화소값을 나타냄 -, 상기 화소값 g를 출력하는 보간 화소 출력 수단을 더 포함하는 움직임 추정 장치.
인터레이스 영상 신호로부터 논-인터레이스 영상 신호를 생성할 때, 현재 필드의 두 개의 인접 라인들 사이에 위치한 움직임 추정용 대상 화소의 움직임량을 추정하는 움직임 추정 장치를 제어하는 방법으로서,

상기 현재 필드의 상기 움직임 추정용 대상 화소를 사이에 둔 상기 두 개 라인들 상에 위치한 두 개 화소들의 값들 사이의 차분값을 산출하고, 상기 산출된 차분값과 미리 설정된 임계값을 비교하여 상기 두 개 화소들 간에 수평 에지가 존재하는지의 여부를 판정하는 단계,

상기 두 개 화소들의 값들의 평균값을 제1 가보간 화소값으로 산출하는 제1 산출 단계,

이전 필드의 상기 움직임 추정용 대상 화소와 동일한 위치에 위치한 화소의 값과 현재 필드의 상기 두 개 화소들의 값들 각각의 차분값을 비교하고, 상기 두 개 화소들 중 더 작은 차분을 갖는 화소를 제2 가보간 화소값으로 판정하는 제2 산출 단계,

상기 판정 단계의 결과에 기초하여, 상기 제1 가보간 화소값과 상기 제2 가보간 화소값 중 어느 하나를 가보간 화소값으로서 선택하는 선택 단계, 및

상기 선택 단계에서 선택된 상기 가보간 화소값, 상기 이전 필드의 상기 움직임 추정용 대상 화소와 동일 위치에 위치한 화소의 값, 및 상기 두 개 화소들의 차분값에 기초하여, 상기 움직임 추정용 대상 화소의 움직임량을 산출하는 움직임량 산출 단계

를 포함하는 것을 특징으로 하는 움직임 추정 장치의 제어 방법.
제4항에 있어서,

상기 움직임량 산출 단계는,

상기 선택 단계에서 선택된 상기 가보간 화소값과, 상기 이전 필드의 상기 움직임 추정용 대상 화소와 동일한 위치에 위치한 화소의 값 사이의 차분 절대값 e를 연산하는 제1 연산 단계, 및

상기 두 개 화소들의 차분값이 f로 표시될 때, e/(e+f)를 산출하고, 그 결과값을 상기 움직임 추정용 대상 화소의 움직임량으로 출력하는 제2 연산 단계

를 포함하는 움직임 추정 장치의 제어 방법.
제4항에 있어서,

g = m × d + (1 - m) × c

를 산출하고 - 여기서 m은 상기 움직임량 산출 단계에 의해 산출된 움직임량을 나타내고, c는 상기 이전 필드의 상기 움직임 추정용 대상 화소와 동일한 위치에 위치한 화소의 값을 나타내고, d는 상기 평균값을 나타내고, g는 출력될 상기 움직임 추정용 대상 화소의 화소값을 나타냄 -, 상기 화소값 g를 출력하는 보간 화소 출력 단계를 더 포함하는 움직임 추정 장치의 제어 방법.
제4항 내지 제6항 중 어느 한 항에 따른 움직임 추정 장치의 제어 방법을 컴퓨터가 실행하게 하는 프로그램을 저장한 컴퓨터 판독가능한 기억 매체.
인터레이스 영상 신호로부터 논-인터레이스 영상 신호를 생성할 때, 현재 필드의 두 개의 인접 라인들 사이에 위치한 움직임 추정용 대상 화소의 움직임량을 추정하는 움직임 추정 장치로서,

상기 현재 필드의 상기 움직임 추정용 대상 화소를 사이에 둔 상기 두 개 라인들 상에 위치한 두 개 화소들의 값들 사이의 차분값을 산출하고, 상기 산출된 차분값과 미리 설정된 임계값을 비교하여 상기 두 개 화소들 간에 수평 에지가 존재하는지의 여부를 판정하는 판정 수단, 및

상기 판정 수단의 결과에 기초하여, 상기 대상 화소를 보간하는 보간 수단

을 포함하는 것을 특징으로 하는 움직임 추정 장치.