KR100351160B1

KR100351160B1 - 영상 움직임 보상 장치 및 방법

Info

Publication number: KR100351160B1
Application number: KR1020000073726A
Authority: KR
Inventors: 신창용; 한동일
Original assignee: 엘지전자 주식회사
Priority date: 2000-12-06
Filing date: 2000-12-06
Publication date: 2002-09-05
Also published as: KR20020044715A

Abstract

본 발명은 디인터레이싱 시스템에서 현재 보간하고자 하는 필드를 기준으로 과거 필드와 미래 필드의 정보로부터 필드간 움직임 정보를 정확하게 추정하여 보간하는 기술에 관한 것이다. 이러한 본 발명은, 연속되는 3장의 필드 데이터를 순차적으로 제공하는 필드 데이터 제공부(11)와; 상기 연속되는 필드 데이터를 입력받아 한 프레임 혹은 다수 프레임의 시간 간격을 두고 동일한 위상에 있는 필드간의 움직임을 검출하는 방식으로 프레임간의 움직임 정도를 검출하는 프레임간 움직임 검출부(12)와; 상기 연속되는 필드 데이터를 입력받아 한 필드간의 시간 간격을 두고 서로 다른 위상에 있는 필드간의 움직임을 검출하는 방식으로 필드간의 움직임 정도를 검출하는 필드간 움직임 검출부(13)와; 현재 움직임을 검출하고자 하는 필드의 매 수평라인의 각 화소 구간에 대해 특정의 움직임 정도보다 큰 움직임이 나타날 확률을 분석하고 그 분석 결과를 근거로, 다음 수평라인의 동일 화소 구간에 대해 상기 필드간 움직임 검출부(13)를 구동시킬 것인지를 결정하는 움직임 검출 제어부(14)와; 상기 프레임간 움직임 검출부(12)의 출력값과 상기 필드간 움직임 검출부(13)의 출력값의 대소를 비교하여 큰 값을 움직임 검출을 위한 밝기 차이신호로 출력하는 비교부(15)로 구현된다.

Description

영상 움직임 보상 장치 및 방법{APPARATUS AND METHOD FOR COMPENSATING VIDEO MOTIONS}

본 발명은 비월주사(Interlaced) 방식의 영상 시퀀스를 순차주사(Non-Interlace) 방식의 영상 시퀀스로 변환하는 디인터레이싱(De-interlacing) 기술에 관한 것으로, 특히 현재 보간하고자 하는 필드를 기준으로 과거 필드와 미래 필드의 정보로부터 필드간 움직임 정보를 정확하게 추정하여 보간하는데 적당하도록 한 영상 움직임 보상 장치 및 방법에 관한 것이다.

종래의 디인터레이싱 기술로서 미국 특허 4876596, 5550592, 5563651, 5596371, 5689301을 들 수 있는데, 이들 각각의 보간 방법은 다음의 다섯 가지로 요약된다.

첫째, 현재 필드 자체의 라인 정보를 반복 사용하여 보간하는 방법. 둘째, 움직임 보상을 실시하지 않고, 바로 이전 필드 데이터를 현재 필드 라인 데이터 사이에 그대로 끼워 넣는 필드간 보간 방법. 셋째, 현재 필드 자체의 선형 라인 보간을 이용하여 보간하는 필드내 보간 방법. 넷째, 움직임 벡터를 찾아 보간하는 움직임 보상 보간 방법. 다섯째, 움직임 정도를 추정하여 움직임에 따라 보간하는 움직임 적응 보간 방법이 있었다.

상기 첫 번째에서 세 번째까지의 보간 방법은 단순한 하드웨어로 구현할 수 있으나, 보간 후 화질이 저하되는 문제점이 있고, 네 번째의 보간 방법은 보간 후 화질은 향상되지만, 상당히 복잡한 구성의 하드웨어로 구현되는 결함이 있다. 반면에 다섯 번째의 보간 방법은 비교적 단순한 하드웨어로 구현되고 보간 후 화질 또한 향상된다.

그러나, 상기 다섯 번째 보간 방법을 채택하였을 지라도 단지 프레임간 움직임만을 검출하는 시스템에서는 순간적으로 움직이는 물체나 특정의 속도로 움직이는 물체의 움직임은 검출할 수 없고, 단순한 필드간 움직임을 검출하는 경우 과도한 움직임 검출을 초래하여 보간 후 영상의 해상도가 저하되어 전체 화질을 열화시키게 되는 문제점이 있었다. 따라서, 이러한 물체의 움직임을 보다 정확하게 검출하기 위해 다수의 메모리 혹은 복잡한 프로세싱 과정을 필요로 하므로, 전체 하드웨어의 구조가 복잡하게 구성되고, 이에 의해 회로의 제조 비용이 상승되는 결함이 있었다.

따라서, 본 발명의 목적은 움직임 적응형 보간 기술의 범주에 속하는 디인터레이싱을 수행함에 있어서, 과거,현재,미래 각 1장의 필드 데이터로부터 프레임간 움직임을 검출하고, 짝수 필드와 홀수 필드간에는 시간적으로 큰 상관관계를 갖고 있으나 서로 다른 위상의 필드에 존재하므로 공간적인 상관관계가 떨어지는 것을 보상하기 위하여, 현재 움직임을 검출하고자 하는 화소와 동일한 공간적 위치에 속하는 바로 이전 혹은 이후 필드의 화소와 현재 움직임을 검출하고자 하는 필드의 인접 화소들 간의 상관관계를 분석한 후 필요시 필드간 움직임 검출부를 이용여 순간적으로 움직이는 물체 또는 특정의 속도로 움직이는 물체의 움직임 정보를 검출하고, 디인터레이싱 장치가 이 움직임 정보에 따라 적절하게 보간하도록 하는 간단한 구성의 영상 움직임 보상 장치 및 방법을 제공함에 있다.

도 1은 본 발명에 의한 영상 움직임 보상 장치의 일실시 예시 블록도.

도 2는 연속하는 3장의 필드 데이터 설명도.

도 3a는 1수평라인을 N구간으로 균등 분할한 예시도.

도 3b는 도 1에서 움직임 검출 제어부의 상세 블록도.

***도면의 주요 부분에 대한 부호의 설명***

10 : 저역필터 11 : 필드데이터 제공부

12 : 프레임간 움직임 검출부 13 : 필드간 움직임 검출부

14 : 움직임 검출 제어부 15 : 비교부

16 : 후처리부

도 1은 본 발명에 의한 영상 움직임 보상 장치의 일실시 예시 블록도로서 이에 도시한 바와 같이, 3개 필드 메모리(11A-11C)를 구비하여 연속되는 3장의 필드 데이터를 제공하는 필드 데이터 제공부(11)와; 상기 필드 데이터 제공부(11)로부터 연속되는 3장의 필드 데이터를 입력받아 한 프레임 혹은 다수 프레임의 시간 간격을 두고 동일한 위상에 있는 필드간의 움직임을 검출하는 방식으로 프레임간의 움직임 정도를 검출하는 프레임간 움직임 검출부(12)와; 상기 필드 데이터 제공부(11)로부터 연속되는 3장의 필드 데이터를 입력받아 한 필드간의 시간 간격을 두고 서로 다른 위상에 있는 필드간의 움직임을 검출하는 방식으로 필드간의 움직임 정도를 검출하는 필드간 움직임 검출부(13)와; 후술할 후처리부(16)의 출력정보를 입력받아, 현재 움직임을 검출하고자 하는 필드의 매 수평라인의 각 화소 구간에 대해 특정의 움직임 정도보다 큰 움직임이 나타날 확률을 분석하고 그 분석 결과를 근거로, 다음 수평라인의 동일 화소 구간에 대해 상기 필드간 움직임 검출부(13)를 구동시킬 것인지를 결정하는 움직임 검출 제어부(14)와; 상기 프레임간 움직임 검출부(12)의 출력값과 상기 필드간 움직임 검출부(13)의 출력값의 대소를 비교하는 비교부(15)와; 상기 비교부(15)의 출력정보를 입력받아, 검출된 움직임의 신뢰도를 향상시키기 위한 잡음 제거 및 움직임 정도 판별을 위한 맵핑 등의 기능을 수행하는 후처리부(16)로 구성한 것으로, 이와 같이 구성한 본 발명의 작용을 첨부한 도 2 및 도 3을 참조하여 상세히 설명하면 다음과 같다.

필드 데이터 제공부(11)에서는 직렬 접속된 3개의 필드메모리(11A-11C)를 이용하여, 저역필터(10)를 통해 입력되는 영상신호(Vin)를 순차적으로 저장하고, 프레임간 또는 필드간 움직임 검출을 위해 총 3장의 필드 데이터를 제공한다. 즉, 한 장의 기준(현재) 필드(n)를 기준으로 한 장의 이전 필드(n-1)와 한 장의 이후 필드(n+1)의 영상 데이터를 제공한다.

프레임간 움직임 검출부(12)에서는 상기 필드 데이터 제공부(11)로부터 연속되는 3필드(n+1),(n),(n-1)의 데이터를 입력받아, 한 프레임 혹은 다수 프레임의 시간 간격을 두고 동일한 위상에 있는 필드간의 움직임 정보를 검출한다. 즉, 짝수(even) 필드간 혹은 홀수(odd) 필드간의 움직임 정도를 검출한다.

이러한 프레임간 움직임 정도를 추정하기 위해 통상의 브라이트니스 차이(BD: Brightness Difference)를 사용하거나, 브라이트니스 프로파일 패턴 차이(BPPD: Brightness Profile Pattern Difference)를 사용할 수도 있다. 이 두 성분을 모두 사용하는 경우의 프레임간 움직임 검출부(12)는 BD BPPD 파인더(finder)부와 같이 구성된다.

특히, 프레임간 BD를 검출하는데 있어 도 2를 참고로 다음의 (수학식1)과 같은 통상의 방법을 이용할 수도 있으나, (수학식2)와 같이 수정한 방식으로 프레임간 BD를 검출함으로써, 통상의 방식에 비하여 잡음의 영향을 덜 받게 되어 검출된 BD의 신뢰도를 향상시킬 수 있고, 이에 의해 보다 정확한 움직임 정보를 얻을 수 있게 된다.

또한, 상기 프레임간 움직임 검출부(12)는 상기 언급한 것 이외에 이에 필적하는 성능을 가진 어떠한 프레임간 움직임 검출부도 사용할 수 있다.

한편. 필드간 움직임 검출부(13)는 본 발명의 요지부로서, 상기 프레임간 움직임 검출부(12)와 함께 동작하여 움직임을 정확하게 검출해 낸다. 즉, 필드간 움직임 검출부(13)는 한 필드간의 시간 간격을 두고 서로 다른 위상에 있는 필드간의 움직임을 검출한다. 다시 말해서, 짝수 필드와 홀수 필드간의 움직임을 검출하게 되는데, 이러한 필드간 움직임 검출에 대해 설명하면 다음과 같다.

도 2를 참조하여 설명하면, 시간적으로 이전 필드(n-1)에 있는 화소 a(i,j,n-1)와 현재 필드(n)의 화소 b(i,j-1,n),c(i,j+1,n)간의 상관관계는 다음의 조건식을 근거로 하여 구한다.

또한, 시간적으로 이후 필드(n+1)에 있는 화소 d(i,,j,n+1)와 현재 필드(n)의 화소 b(i,j-1,n), c(i,j+1,n)간의 상관관계를 상기의 식과 유사한 다음의 조건식을 근거로 구한다.

이와 같이 구해진 BD0와 BD1을 이용하여 최종적으로 필드간 움직임 검출부(13)의 기반이 되는 필드간 밝기 차이(BD)를 다음의 식으로 결정하게 된다.

이와 같이 필드간 밝기 차이가 결정되는 이유는 사용된 짝수 필드 및 홀수 필드의 화소가 시간적으로 높은 상관관계를 갖지만 서로 다른 위상의 필드에 존재하므로 공간적인 상관관계는 다소 떨어지는 특성을 갖기 때문이다. 따라서, 이러한 특성을 보상하기 위해 현재 움직임을 검출하고자 하는 화소와 동일한 공간적 위치에 속하는 바로 이전 필드(n-1) 혹은 이후 필드(n+1)의 화소와 현재 움직임을 검출하는 필드의 인접 화소들간의 상관관계를 먼저 점검한다.

만약, 상기의 점검 결과 상관관계가 있는 것으로 판명되면 필드간 밝기 차이는 없는 것으로 간주된다. 왜냐하면, 이러한 상관관계를 나타내는 것은 현재 움직임을 검출하고 있는 영상 영역에 움직임이 없거나 완만한 움직임이 존재한다는 것을 의미하기 때문이다.

이러한 경우의 움직임 검출은 프레임간 움직임 검출부(12)만의 동작으로도 충분히 검출할 수 있으므로 필드간 움직임 검출부(13)의 영향을 제거하는 것이 보다 더 정확한 움직임 검출을 가능하게 한다.

그러나, 이러한 상관관계가 없다면 급격한 움직임이 발생했을 가능성이 크므로, 프레임간 움직임 검출부(12)만의 동작으로 이러한 움직임을 검출하는 것은 부정확할 수 있다. 따라서, 이와 같은 경우에는 상기 필드간 움직임 검출부(13)의 출력도 움직임 검출에 영향을 주는데, 상기와 같이 시간적으로 인접하여 있으나 공간적으로 서로 다른 위상의 필드에 존재하는 화소들간에 상관관계를 검출하므로 최소한의 영향을 고려한다. 따라서, 상기 식에 나타나 있는 바와 같이 필드간 밝기 차이들 중 최소값을 최종적인 필드간 밝기 차이로 간주한다. 특히, 프레임간 움직임 검출부(12) 및 필드간 움직임 검출부(13)로 입력되는 화소는 잡음의 영향을 제거하기 위해 저역필터(10)를 통해 저역필터링을 실시한다.

상기의 설명에서와 같이, 필드간 움직임 검출부(13)를 사용함으로써 프레임간 움직임 검출부(12)만을 사용하는 경우 검출하기 어려운 순간적으로 움직이는 물체나 특정 속도로 움직이는 물체의 움직임을 보다 쉽게 검출할 수 있게 된다.

한편, 필드 데이터 저장부(11)로부터 고주파의 수직 주파수 성분을 많이 포함된 일련의 정지 영상이 상기 프레임간 움직임 검출부(12)와 필드간 움직임 검출부(13)로 입력되면, 프레임간 움직임 검출부(12)는 이런 영상들에 대해 어떠한 검출도 하지 않으나, 필드간 움직임 검출부(13)는 그 고주파의 수직주파수 성분에 의해 움직임이 있는 것으로 잘못 검출하게 된다. 따라서, 이러한 잘못된 검출을 방지하기 위해 필드간 움직임 검출부(13)를 선택적으로 제어할 필요가 있는데, 이러한 기능을 가능하게 해주는 것이 바로 움직임 검출 제어부(14)로서, 도 3을 참조하여 이의 작용을 설명하면 다음과 같다.

우선, 도 3a에 나타난 바와 같이 1수평라인(1H)을 균등하게 N개의 구간으로 분할한 후 각 화소 구간에 대해 특정의 움직임 정도보다 큰 움직임 정도가 나타날 확률 정도에 따라 그 다음 라인의 동일 화소 구간에 대해 움직임 정도 검출시 프레임간 움직임 검출부(12)만 사용할 것인지 아니면 필드간 움직임 검출부(13)도 함께 사용할 것인지가 결정된다.

또한, 이러한 일련의 처리과정은 현재 움직임을 검출하고자 하는 필드의 전체 수평라인에 대해 순차적으로 수행된다. 도 3b에서 비교기(31A)는 후처리부(16)로부터 입력되는 움직임 정도 α(i,j)를 외부로부터 입력된 드레쉬홀드값(TH1)과 비교하고, 카운터(31B)에서는 그 비교기(31A)에서 드레쉬홀드값(TH1)보다 큰 것으로 판단된 움직임 정도 α(i,j)를 카운트한다. 또 다른 비교기(31C)에서는 상기 카운터(31B)의 출력값을 외부로부터 입력된 드레쉬홀드값(TH2)과 비교하고, 이 비교 결과에 의해 상기 필드간 움직임 검출부(13)의 인에이블이 결정된다.

여기서, 상기 드레쉬홀드값(TH1)은 일정치 이상의 움직임 정도를 검출하기 위한 드레쉬홀드값이고, 드레쉬홀드값(TH2)은 상기 드레쉬홀드값(TH1)을 초과하는 움직임 정도 α(i,j)가 몇 개일 때 필드간 움직임 검출부(13)를 인에이블시킬 것인지를 결정하기 위한 드레쉬홀드값이다. 다시 말해서, 상기 드레쉬홀드값(TH2)은 각 구간의 최소 화소수를 설정하기 위한 드레쉬홀드값이다.

상기와 같은 과정을 통해 상기 움직임 검출 제어부(14)에서 출력되는 인에이블신호(EN)에 의해 상기 필드간 움직임 검출부(13)가 선택적으로 인에이블되게 함으로써, 고주파의 수직주파수 성분을 포함하는 정지화의 움직임 검출 역시 정확하게 수행된다.

비교부(15)는 상기 프레임간 움직임 검출부(12)에 의해 구해진 프레임간 밝기 차이 신호와 필드간 움직임 검출부(13)에 의해 구해진 필드간 밝기 차이 신호를 입력받아 서로의 대소를 비교하여 큰 값을 움직임 검출을 위한 최종적인 밝기 차이 신호로 출력한다.

후처리부(16)는 정밀한 움직임 정도 검출을 위한 다양한 기능을 수행한다. 즉, 신뢰할 수 있는 움직임 검출을 위해 상기 비교부(15)에서 출력된 밝기 차이 신호는 움직임 정도 판별을 위한 정해진 레벨로 맵핑된다. 그리고, 움직임이 있는 부분을 군집화하기 위해 그 맵핑된 밝기 차이 신호를 메디안 필터링하며, 또한 움직임 확장을 위해 이 필터링된 신호를 확장부를 통과시킨다.

이상에서 상세히 설명한 바와 같이 본 발명은, 연속되는 3장의 필드 데이터로부터 프레임간 움직임을 검출하고, 짝수 필드와 홀수 필드간에는 시간적으로 큰 상관관계를 갖고 있으나 서로 다른 위상의 필드에 존재하므로 공간적인 상관관계가 떨어지므로 이를 보상하기 위하여, 현재 움직임을 검출하고자 하는 화소와 동일한 공간적 위치에 속하는 인접된 필드의 화소와 현재 움직임을 검출하고자 하는 필드의 인접 화소들 간의 상관관계를 파악하여 관계가 있는 것으로 판명되면 밝기 차이는 없는 것으로 간주하고, 이 경우에는 프레임 움직임 검출부만의 동작으로는 정확한 움직임이 검출되지 않으므로 필드간 움직임 검출부를 이용하여 순간적으로 움직이는 물체 또는 특정의 속도로 움직이는 물체의 움직임을 검출하고, 디인터레이싱 장치가 이 움직임 정보에 따라 적절하게 보간하도록 함으로써, 화질을 향상시킬 수 있는 효과가 있다. 또한, 간단한 구조로 회로를 구현할 수 있어 전체 회로의 제조 비용을 절감할 수 있는 효과가 있다.

Claims

연속되는 3장의 필드 데이터를 순차적으로 제공하는 필드 데이터 제공부(11)와; 상기 연속되는 필드 데이터를 입력받아 한 프레임 혹은 다수 프레임의 시간 간격을 두고 동일한 위상에 있는 필드간의 움직임을 검출하는 방식으로 프레임간의 움직임 정도를 검출하는 프레임간 움직임 검출부(12)와; 상기 연속되는 필드 데이터를 입력받아 한 필드간의 시간 간격을 두고 서로 다른 위상에 있는 필드간의 움직임을 검출하는 방식으로 필드간의 움직임 정도를 검출하는 필드간 움직임 검출부(13)와; 현재 움직임을 검출하고자 하는 필드의 매 수평라인의 각 화소 구간에 대해 특정의 움직임 정도보다 큰 움직임이 나타날 확률을 분석하고 그 분석 결과를 근거로, 다음 수평라인의 동일 화소 구간에 대해 상기 필드간 움직임 검출부(13)를 구동시킬 것인지를 결정하는 움직임 검출 제어부(14)와; 상기 프레임간 움직임 검출부(12)의 출력값과 상기 필드간 움직임 검출부(13)의 출력값의 대소를 비교하여 큰 값을 움직임 검출을 위한 밝기 차이신호로 출력하는 비교부(15)로 구성한 것을 특징으로 하는 영상 움직임 보상 장치.
제1항에 있어서, 상기 비교부(15)의 출력정보를 입력받아, 검출된 움직임의 신뢰도를 향상시키기 위한 잡음 제거 및 움직임 정도 판별을 위한 맵핑 등의 기능을 수행하는 후처리부(16)를 더 포함시켜 구성한 것을 특징으로 하는 영상 움직임 보상 장치.
제1항에 있어서, 필드간 움직임 검출부(13)는 순간적으로 움직이는 물체 또는 특정의 속도로 움직이는 물체의 움직임을 검출하도록 구성된 것을 특징으로 하는 영상 움직임 보상 장치.
제1항에 있어서, 필드간 움직임 검출부(13)는 n-1번째 필드에 있는 화소와 n번째 필드의 동일 지점의 화소간의 상관관계를 구하고, n+1번째 필드에 있는 화소와 n번째 필드의 동일 지점의 화소간의 상관관계를 구한 후 그 두 상관관계를 이용하여 필드간 밝기 차이를 구하도록 구성된 것을 특징으로 하는 영상 움직임 보상 장치.
제1항에 있어서, 필드간 움직임 검출부(13)는 현재 움직임을 검출하고자 하는 화소와 동일한 공간적 위치에 속하는 바로 이전 혹은 이후 필드의 화소와, 현재 움직임을 검출하는 필드의 인접 화소들간의 상관관계가 없을 때 구동되는 것을 특징으로 하는 영상 움직임 보상 장치.
제1항에 있어서, 움직임 검출 제어부(14)는 상기 후처리부(16)로부터 입력되는 수평라인 상의 각 화소구간의 움직임 정도를 외부로부터 입력된 드레쉬홀드값(TH1)과 비교하는 비교기(31A)와; 상기 비교기(31A)에서 드레쉬홀드값(TH1)보다 큰 것으로 판단된 움직임 정도를 카운트하는 카운터(31B)와; 상기 카운터(31B)의 출력값을 드레쉬홀드값(TH2)과 비교하고, 그 비교 결과에 따라 상기 필드간 움직임 검출부(13)의 인에이블을 제어하는 비교기(31C)로 구성된 것을 특징으로 하는 영상 움직임 보상 장치.
필드메모리를 이용하여, 연속되는 3장의 필드 데이터를 순차적으로 제공하는 제1과정과; 상기 연속되는 3장의 필드 데이터를 입력받아 한 프레임 혹은 다수 프레임의 시간 간격을 두고 동일한 위상에 있는 필드간의 움직임을 검출하는 방식으로 프레임간의 움직임 정도를 검출하는 제2과정과; 상기 연속되는 3장의 필드 데이터를 입력받아 한 필드간의 시간 간격을 두고 서로 다른 위상에 있는 필드간의 움직임을 검출하는 방식으로 필드간의 움직임 정도를 검출하는 제3과정과; 상기 프레임간 움직임 검출값과 상기 필드간 움직임 검출값의 대소를 비교하여 큰 값을 움직임 검출을 위한 밝기 차이신호로 출력하는 제3과정과; 현재 움직임을 검출하고자 하는 필드의 매 수평라인의 각 화소 구간에 대해 특정의 움직임 정도보다 큰 움직임이 나타날 확률을 분석하고 그 분석 결과를 근거로, 다음 수평라인의 동일 화소 구간에 대해 상기 필드간 움직임 검출 동작 여부를 결정하는 제4과정으로 이루어지는 것을 특징으로 하는 영상 움직임 보상 방법.