KR20010002659A - 디인터레이싱 장치 및 방법 - Google Patents

Abstract

디지털 티브이의 디인터레이싱 장치 및 방법에 관한 것으로, 인터레이스 방식의 화면을 프로그레시브 방식의 화면으로 변환할 때에 보간 후의 화질의 성능을 종전 보다 향상시키면서도 구성회로는 복잡하지 않도록 하는 것이 목적이고, n 번째 필드 데이터를 기준으로 n 번째 필드 데이터를 포함하여 전후 연속적인 m 개의 필드 데이터를 저장하는 필드 저장부, n 번째 필드 데이터의 이전 필드 데이터의 화소값과 n 번째 필드 데이터의 이후 필드 데이터의 화소값을 평균한 필드 평균값을 출력하는 제 1 필터부, 필드 데이터에서 k-1 번째 라인의 화소값과 k+1 번째 라인의 화소값을 평균한 라인 평균값을 출력하는 제 2 필터부, 필드 저장부에 저장된 각 필드 데이터 간에 존재하는 특정 라인의 화소값과 밝기윤곽패턴의 차이를 검출하여 동영상의 움직임 정도값을 계산하는 움직임 결정부, 움직임 결정부에서 계산된 움직임 정도값을 참조하여 제 1 필터부에서 출력된 필드 평균값과 제 2 필터부에서 출력된 라인 평균값을 혼합하여 출력하는 소프트 스위치부를 포함하여 구성된 것이 특징이며, 구성회로가 복잡해지지 않으면서도 화질이 향상되는 효과가 있다.

Description

디인터레이싱 장치 및 방법{Deinterlacing method and apparatus}

본 발명은 디스플레이 장치의 영상처리방법, 특히 인터레이스 필드(interlace field) 영상 데이터를 프로그레시브(progressive) 영상 데이터로 변환하는 방법 및 장치에 관한 것이다.

인터레이스 방식의 영상데이터는 한 프레임(frame)의 화면을 도 1에 도시된 것과 같이 홀수 필드(odd field)와 짝수 필드(even field), 두 필드(field)의 화면으로 구현하는 것이다.

그런데, 디스플레이 장치에 따라서 인터레이스 방식의 영상데이터를 처리하지 않고, 프로그레시브 방식의 영상데이터를 처리하여 화면을 구현한다. 이 때, 인터레이스 방식의 영상신호가 그러한 디스플레이 장치에서 정상적으로 처리되려면, 그러한 디스플레이 장치의 내부에 인터레이스(interlace) 방식의 영상신호를 프로그레시브(progressive) 신호로 변환시키는 별도의 디코더(decoder)가 설치되어야 한다.

인터레이스 방식의 신호를 프로그레시브 방식의 신호로 변환하는 방법은 도 2a 내지 도 2c에 도시된 것과 같이 여러 방법으로 구현될 수 있다.

먼저, 도 2a에 도시된 것과 같은 라인반복(line repetition) 방법은 현재 필드(field)의 수직라인(line) 정보를 단순하게 반복시켜 한 프레임(frame)을 구현하는 것이다. 이러한 라인반복 방법은 단순한 하드웨어(hardware)로써 구현할 수 있지만, 보간 후에 화질이 떨어지는 단점이 있다.

또한, 도 2b에 도시된 것과 같은 움직임 보상없는 필드간 보간법(inter-field interpolation)은 현재 필드의 라인 사이에 직전 필드의 라인을 단순히 끼움으로써 한 프레임(frame)을 구현하는 것이다. 이러한 움직임 보상없는 필드간 보간법 역시, 단순한 하드웨어로써 구현할 수 있지만, 움직임이 빠른 영상은 보간하더라도 오류가 발생하거나 화면이 열화되어 화질이 떨어지는 단점이 있다.

마지막으로, 도 2c에 도시된 것과 같은 필드내 보간법(intra-field interpolation)은 하나의 필드에서 두 라인 사이의 영역에 그 두 라인의 데이터를 평균한 데이터를 삽입함으로써 새로운 한 프레임(frame)을 구현하는 것이다. 이러한 필드내 보간법은 라인반복 방법보다 화질이 깨끗해지고 움직임 보상없는 필드간 방법보다 오류 발생 비율은 낮지만, 정지 영상이 보간 후에 화면이 열화되어 화질이 떨어지는 단점이 있다.

상술한 바와 같이 인터레이스 방식의 화면을 프로그레시브 방식의 화면으로 변환하기 위한 종래의 방법은 보간 후의 화질이 떨어지는 단점이 있다. 이러한 문제점을 해결하기 위하여 미국특허번호 5027201에 제시된 Bernard 방식과, 동 특허번호 5159451에 제시된 Faroudja 방식이 있으나, 이러한 방식들은 보간 후의 화질은 개선된 반면, 다수의 필드메모리(field memory)를 사용하고 과정이 복잡하여 구현하기 위한 회로의 제조비용이 상승하는 문제점을 가지고 있다.

본 발명은 이러한 문제점을 해결하기 위한 것으로, 인터레이스 방식의 화면을 프로그레시브 방식의 화면으로 변환할 때에 보간 후의 화질의 성능을 종전 보다 향상시키면서도 구성회로는 복잡하지 않도록 하는 데에 그 목적이 있다.

도 1은 일반적인 인터레이싱 방법에 따른 티브이의 화면을 도시한 도면이고,

도 2a 내지 도 2c는 라인을 보간하여 필드를 생성하는 종래의 방법을 도시한 도면이며,

도 3은 본 발명에 의한 디인터레이싱 장치를 개략적으로 도시한 블록도이고,

도 4는 본 발명에서 사용하는 밝기윤곽패턴을 도시한 것이며,

도 5는 밝기윤곽패턴으로 나타날 수 있는 몇 개의 가능한 예를 도시한 것이고,

도 6은 4 장의 필드를 이용하여 라인을 보간하는 것을 도시한 도면이며,

도 7은 가능한 예로써 움직임이 빠른 영상을 구현한 4 장의 필드를 도시한 도면이다.

도면의 주요부분에 대한 기호설명

100 : 필드저장부 200 : 움직임 결정부

210 : BD & BPPD 검출부 220 : BD & BPPD 합성부

300 : 제 1 필터부 400 : 제 2 필터부

500 : 소프트 스위치부 600 : 메디언 필터부

700 : 움직임 확장부 800 : 수직라인 변환부

본 발명에 의한 디인터레이싱 방법 및 디인터레이싱 장치는 이전 화면의 필드 데이터와 장차 구현될 화면의 필드 데이터를 이용하여 현재 화면을 보간하는 것이 특징이다.

좀더 상세하게 표현하면, 본 발명에 의한 디인터레이싱 장치는 현재 필드 데이터를 기준으로 이전 2 장의 필드 데이터와 현재 필드 데이터 및, 나중의 필드 데이터를 이용하여 현재 프레임에 해당하는 화면을 보간하는 것이 특징이다.

본 발명에 의한 디인터레이싱 장치는 n 번째 필드 데이터를 포함하여 연속적인 m 개의 필드 데이터를 저장하는 필드 저장부와, 각 필드 데이터들의 화소값을 평균하는 제 1 필터부와, 각 필드데이터에서 특정 라인의 상하 라인의 화소값을 평균하는 제 2 필터부와, 각 필드 데이터 간에 존재하는 화소값의 차이와 밝기윤곽패턴의 차이를 검출하고 이것으로부터 잡음성분을 제거하여 움직임을 확장하는 움직임 결정부, 그리고 제 1 필터부와 제 2 필터부에서 출력된 값을 혼합하여 출력하는 소프트 스위치부를 포함하여 구성되어 있다.

도 3은 본 발명에 의한 디지털 티브이의 디인터레이싱 장치를 개략적으로 도시한 블록도이다.

필드 저장부(100)는 현재 필드, 즉 n 번째 필드를 기준으로 n 번째 필드에 해당하는 영상 데이터와 이전 필드 등, 시간적으로 연속적인 m 개의 필드에 해당하는 영상 데이터를 저장한다. 즉, 필드 저장부(100)는 n 번째 필드 데이터를 포함하여 그 이전의 필드 데이터를 저장한다.

그리고, 제 2 필터부(400)는 라인보간을 실시할 영역에 해당하는 그 이전 필드 데이터의 화소값 및, 그 이후 필드 데이터의 화소값을 평균하여 필드평균값을 추출한다. 예를 들어, n 번째 프레임 영상을 새로 생성하기 위하여 k 번째 라인을 보간해야 한다면, 제 2 필터부(400)는 k 번째 라인의 영상 데이터를 가지고 있는 n-1 번째 필드 데이터의 화소값과 n-2 번째 필드 데이터의 화소값을 평균하여 필드평균값을 추출한다.

제 1 필터부(300)는 보간하고자 하는 현재 필드 데이터에서 라인보간을 실시할 라인을 기준으로 상하 라인의 화소값을 평균한다. 예를 들어, 라인보간에 의해 생성될 라인이 k 번째 라인이라면, 제 1 필터부(300)는 k-1 번째 라인의 화소값과 k+1 번째 라인의 화소값을 평균하여 라인 평균값을 추출한다.

움직임 결정부(200)는 필드 저장부(100)에 저장된 각 필드 데이터 간에 존재하는 특정 라인의 화소값과 밝기윤곽패턴의 차이를 검출하여 동영상의 움직임 정도값을 계산한다. 이러한 움직임 결정부(200)는 도 3에 도시된 것과 같이 각 필드 데이터 간의 밝기 차이(BD : Brightness Differebce)와 각 필드 데이터 간의 밝기윤곽 차이(BPPD : Brightness Profile Pattern Difference)를 산출하는 BP & BDPD 검출부(210)와, 밝기 차이와 밝기윤곽 차이를 설정된 한계치들로 제한하여 설정된 단계로 매핑하여 움직임 정도를 측정하는 BP & BDPD 합성부(220)를 포함하여 구성되어 있다.

밝기 차이는 영상처리 등에서 라인 보간을 실시하기 위해 이미 많은 분야에서 사용되고 있는 개념이나, 밝기윤곽 차이(BPPD : brightness Profiles pattern Difference)는 본 출원인이 이전의 출원건에서 제안한 개념이다. 본 출원인은 이러한 디인터레이싱을 위하여 밝기윤곽 차이(BPPD) 개념을 1997년 경에 출원된 특허출원 97-80719의 특허명세서에서 제안한 바 있다.

도 5는 본 출원인이 제안했던 밝기윤곽차이를 설명하기 위한 밝기윤곽 패턴의 개념을 도시한 것이다. 이러한 밝기윤곽패턴을 이용하여 밝기윤곽차이를 계산하는 방법과 기존의 밝기 차이를 계산하기 위한 방법은 다음과 같다.

임의의 시각, Ti 에서 화소 a 의 밝기가 Ba 일 때, 도 4에 도시된 밝기윤곽 패턴을 정량적으로 표시하면 수학식 1과 같이 나타낼 수 있다.

이러한 밝기윤곽 패턴의 정량화는 라인 보간을 실시할 여러 라인에 대하여 실시된다. 이렇게 정량화된 값을 이용하여 밝기윤곽 차이와 밝기 차이를 산출한다. 도 6은 본 발명이 밝기윤곽패턴을 정량화하기 위해 사용하는 시간적으로 연속적인 4 장의 필드를 도시한 것이다.

먼저, 본 발명에 의한 디인터레이싱 장치의 움직임 결정부(200)는 n-2 번째 필드 데이터의 화소값을 이용하여 n-2 번째 필드 데이터의 밝기윤곽패턴을 상기 수학식 1을 통하여 추출한다. 즉, n-2 번째 필드가 입력된 시각, Ti 일때의 밝기윤곽패턴이 추출되는 것이다.

그리고, n 번째 필드 데이터의 화소값을 이용하여 n 번째 필드 데이터의 밝기윤곽패턴을 상기 수학식 1을 통하여 추출한다. 즉, n 번째 필드가 입력된 시각, Tk 일때의 밝기윤곽패턴이 추출되는 것이다.

상술한 바와 같이 n-2 번째 필드의 밝기윤곽패턴과 n 번째 필드의 밝기윤곽패턴이 추출되면, 다음의 수학식 2를 이용하여 n-2 번째 필드와 n 번째 필드의 밝기윤곽패턴의 차이, 즉 밝기윤곽패턴 차이(brightness profile pattern difference)를 산출한다.

또, 다음의 수학식 3을 이용하여 n-2 번째 필드와 n 번째 필드의 밝기 차이를 산출한다.

이러한 밝기차이 및 밝기 윤곽패턴 차이는 1 라인을 보간하기 위해 각 필드 데이터의 1 라인에 대해서만 계산되는 것이 아니라 사용자에 따라 임의로 확장, 즉 존재하는 여러 라인에 대해서 계산될수 있다. 또한, 이러한 밝기윤곽패턴 및 차이는 수평 뿐만 아니라 수직방향으로도 동일하게 적용될 수 있다.

그리고, 상술한 과정을 응용하여 n-1 번째 필드와 n+1 번째 필드의 밝기 차이와 밝기윤곽 차이를 산출한다. n-1 번째 필드와 n+1 번째 필드의 밝기 차이와 밝기윤곽 차이를 산출하는 것은 다음의 수학식 4 및, 수학식 5에 도시된 것과 같다.

소프트 스위치부(500)는 움직임 결정부(200)에서 실시되는 상기 수학식 1 내지 수학식 5의 과정을 통해 산출된 밝기 차이와 밝기윤곽 차이를 참조하여 제 2 필터부(400)에서 출력된 필드 평균값과 제 1 필터부(300)에서 출력된 라인 평균값을 혼합하여 출력한다. 이러한 소프트 스위치부(500)는 다음의 수학식 6에 의해 산출된 값을 출력한다.

이 때, α는 움직임 결정부(200)에서 출력된 밝기 차이와 밝기윤곽 차이에 의해 계산된 움직임 정도값이다. 따라서, 소프트 스위치부(500)는 종래의 기술에서 제안된 움직임 보상없는 필드간 보간법과 필드내 보간법의 장점을 활용하여 움직임의 정도에 따라 보간값을 결정하도록 구성되어 있다.

본 발명에 의한 디인터레이싱 장치는 움직임 결정부(200), 특히 BD & BPPD 합성부(220)의 출력값을 정확하게 설정하기 위하여 BD & BPPD 합성부(220)의 출력값에서 잡음성분을 제거하여 움직임있는 부분을 군집화(grouping)하는 메디안 필터부(600)(Median Filter)와, 메디안 필터부(600)의 출력값에 따라 움직임이 있는 화소로부터 인접한 다른 화소로 움직임 정도값을 확장시키는 움직임 확장부(700)(Motion Expander)를 부가적으로 포함하여 구성된다.

방송신호에 의해 전송된 화상은 부호화단계, 또는 전송단계에서 필연적으로 잡음이 섞이게 된다. 메디안 필터부(600)는 이러한 잡음성분을 제거하고, 화상 중에 움직임이 검출된 영역을 군집화한다.

움직임 확장부(700)(Motion Expander)는 메디안 필터부(600)에서 출력된 움직임 정도값을 인접한 다른 화소로 확장시킨다.

본 발명의 움직임 확장부(700)가 움직임 정도값을 인접한 화소로 확장시키는 이유는 다음과 같다. 일반적으로 동영상의 움직임은 단일 화소에서만 이루어지는 것이 아니라 일정 영역의 화소군들에서 이루어진다. 따라서, 특정 화소에 움직임 정도값이 감지되었다면, 이 값은 잡음성분이거나, 아니면 진정한 움직임 성분일 수 있다. 그런데, 이미 메디안 필터부(600)에 의해 화소의 잡음성분에 의한 움직임 정도값이 제거된 상태이므로, 이 때의 움직임 정도값은 잡음성분에 의한 것이 아니라 진정한 움직임 성분으로 고려할 수 있다. 따라서, 움직임 확장부(700)는 메디안 필터부(600)에서 출력된 움직임 정도값을 그 움직임 정도값이 감지된 화소의 주변으로 확산시키는 것이다.

또, 본 발명에 의한 디인터레이싱 장치는 소프트 스위치부(500)에서 출력된 보간된 라인값과 필드저장부(100)에 저장된 필드 라인값들을 참조하여 보간된 라인을 생성함으로써, 현재 프레임 화면의 수직라인 수를 변환하는 수직라인변환부(800)(Vertical line Converter)를 부가적으로 포함하여 구성된다.

수직라인변환부(800)은 현재 수신된 필드 데이터와 보간된 필드 데이터를 이용하여 수직라인의 수를 변환한다. 만약 디인터레이싱된 프레임 데이터만 필요하고, 라인의 수가 변환될 필요가 없을 경우, 수직라인변환부(800)는 소프트 스위치부(500)에서 출력된 값을 그대로 통과시켜 출력한다.

이하, 본 발명에 의한 인터레이싱 방법을 정리하여 설명하면, 다음과 같다.

먼저, 현재 필드를 포함하여 시간적으로 연속적인 다수 개의 필드에서 각 필드의 특정한 라인들의 화소값을 검출한다. 본 발명은 n-2 번째 필드와 n-1 번째 필드, n 번째 필드 및, n+1 번째 필드의 데이터들을 검출하여 n 번째 프레임을 보간했다.

그리고, 위상이 같은 각 필드 간 특정한 라인, 혹은 화소에서 발생한 화소값의 변화를 감지한다. 이러한 화소값의 변화가 앞에서 설명한 바대로 밝기 변화와 밝기윤곽 패턴이다. 상기 화소값의 변화를 검출하여 현재 필드에 대한 밝기 차이(BD)와 밝기윤곽 차이(BPPD)를 추출해 낸다.

밝기 차이와 밝기윤곽 차이가 추출되면, 이러한 밝기 차이와 밝기윤곽 차이 각각의 상한 및 하한의 문턱치(threshold) 내에서 일정한 등급으로 매핑하여 현재 영상의 움직임 정도값을 산출한다.

그 후, 상술한 바와 같이 산출된 영상의 움직임 정도값을 참조하여 현재 필드의 영상을 보간하여 새로운 프레임영상을 생성한다. 이 때, 움직임 정도값에 따라 현재 필드를 보간하여 프레임을 생성하기 위하여 참조한 이전 및 이후 필드 데이터에서 보간할 위치에 해당하는 화소값의 필드 평균값과 현재 필드의 보간할 위치의 상하 화소값들의 라인 평균값을 상기 수학식 6에 대입하여 보간시킬 새로운 화소값을 생성한다.

본 발명의 디인터레이싱 방법이 4 장의 필드를 이용하여 한 프레임을 보간하는 이유는 다음과 같다. 그 이유를 설명하기 위하여 n-2 번째 필드와 n-1 번째 필드 및 n 번째 필드의 영상 등, 3 장의 필드를 이용하여 n 번째 프레임을 보간하는 경우를 살펴보도록 한다.

도 7에 도시된 것과 같이 해칭된 영역이 매우 빠른 속도로 움직이면, 현재 필드, 즉 n 번째 필드의 화소(i,j)부근의 화소들과 n-2 번째 필드의 화소(i,j) 부근의 화소들은 화소값의 변화량이 없는 것으로 판명될 수 있다. 따라서, 이러한 경우에는 움직임이 없다고 판명되어 n-1 번째 필드의 화소(i,j)의 화소값을 채용하여 보간하게 된다. 그런데, 실제로는 도 7에 도시된 바와 같이 화소(i,j) 부근에는 움직임이 있으므로, 결과적으로 잘못된 보간을 실시하게 된다. 결국, 3 장의 필드 데이터를 이용하여 보간하는 방법은 보간이 잘못될 확율이 높아지게 된다.

그러나, 이 경우, n+1 번째 필드 데이터를 n-1 번째 필드와 함께 참조하면, 상기 화소(i,j) 근방에 화소값의 변화량이 있는 것으로 판명되어 움직임 정보값을 산출할 수 있으므로, 보간이 잘못되는 것을 방지할 수 있다. 따라서, 본 발명은 4 장의 필드를 사용하여 움직임 정보값을 산출하는 것이다.

물론, 4 장 이상의 필드, 예를 들어 5장, 6장, 7장 등을 이용하여 움직임 정보값을 산출할 수도 있으나, 본 출원인은 4 장의 필드를 사용하는 것이 비용과 처리속도 면에서 가장 바람직하다고 판단되었다. 또한, 본 특허명세서와 같이 현재 필드와 이전 필드 2장, 그리고 이후 필드 1장을 이용하여 현재 필드를 보간할 수도 있으나, 현재 필드와 이전 필드 3장을 이용해도 되고, 현재 필드와 이전 필드 1장, 그리고 이후 필드 2 장을 이용할 수도 있으며, 현재 필드와 이후 필드 3장을 이용할 수도 있다.

본 발명에 의한 디인터레이싱 방법 및 장치는 종래의 라인반복이나, 움직임 보상없는 필드간 보간 및 필드내 보간법에 비해 움직임을 감안하여 필드를 보간하므로, 화질이 더 깨끗해지는 장점이 있다. 또한, 기존에 제안되었던 버나드(Bernard) 특허 및, 페이로자(Faroudja) 특허에 비해 구성회로가 복잡해지지 않으면서도 화질을 향상시킬 수 있는 효과가 있다.

Claims (5)

1. n 번째 필드 데이터를 기준으로 n 번째 필드 데이터를 포함하여 전후 연속적인 m 개의 필드 데이터를 저장하는 필드 저장부,

   상기 n 번째 필드 데이터의 이전 필드 데이터의 화소값과 상기 n 번째 필드 데이터의 이후 필드 데이터의 화소값을 평균한 필드 평균값을 출력하는 제 2 필터부,

   상기 n 번째 필드 데이터에서 k-1 번째 라인의 화소값과 k+1 번째 라인의 화소값을 평균한 라인 평균값을 출력하는 제 1 필터부,

   상기 필드 저장부에 저장된 각 필드 데이터 간에 존재하는 화소값과 밝기윤곽패턴의 차이를 검출하여 동영상의 움직임 정도값을 계산하는 움직임 결정부,

   상기 움직임 결정부에서 계산된 움직임 정도값에 대해 잡음성분을 제거하고 움직임을 군집화(grouping)하는 메디안부,

   상기 움직임 정도값에 따라 상기 특정 라인의 움직임이 있는 화소로부터 인접한 다른 화소로 움직임 정도값을 확산하는 움직임 확장부, 그리고

   상기 움직임 확장부에서 출력된 움직임 정도값을 참조하여 상기 제 2 필터부에서 출력된 필드 평균값과 상기 제 1 필터부에서 출력된 라인 평균값을 혼합하여 출력하는 소프트 스위치부를 포함하여 구성된 디인터레이싱 장치.
2. 제 1 항에 있어서, 상기 움직임 결정부는

   상기 필드 데이터들 간의 밝기 차이(BD : brightness difference)와 상기 필드 데이터들 간의 밝기윤곽 차이(profile pattern difference)를 계산하는 BD & BPPD 검출부,

   상기 밝기 차이(BD)와 밝기윤곽 차이(BPPD)가 소정의 한계치들로 제한하여 기설정된 단계로 매핑하고 비교하여 움직임 정도를 측정하는 BD & BPPD 합성부를 포함하여 구성된 디인터레이싱 장치.
3. 제 1 항에 있어서, 상기 소프트 스위치부에서 출력된 값과 상기 필드저장부에 저장되었던 필드 데이터 값들을 참조하여 n 번째 필드 화면의 수직라인 수를 변환하는 수직라인변환부를 부가적으로 더 포함하여 구성된 디인터레이싱 장치.
4. 현재 필드를 포함하여 시간적으로 연속적인 다수 개의 필드에서 각 필드의 화소값을 검출하는 단계,

   상기 각 필드 간 상기 화소값의 변화를 감지하여 각 필드 간의 밝기 차이(Brightness Difference)와, 상기 각 필드의 특정한 라인의 화소값을 검출하여 각 필드마다 밝기윤곽패턴 차이(Brightness Profile Pattern Difference)를 추출하는 단계,

   상기 밝기 차이와 밝기윤곽 차이를 소정의 범위 내에서 일정한 등급으로 매핑하고 비교하여 동영상의 움직임 정도를 산출하는 단계,

   상기 산출된 움직임 정도에 대해 잡음성분을 제거하고 상기 움직임을 군집화(grouping)하는 단계,

   군집화된 움직임을 움직임이 있는 화소로부터 인접한 다른 화소로 움직임을 확산하는 단계, 그리고

   상기 움직임 정도를 참조하여 상기 현재 필드를 보간하는 단계를 포함하여 구성된 디인터레이싱 방법.
5. 제 4 항에 있어서, 상기 현재 필드를 보간하는 단계는

   상기 움직임 정도에 따라 각 필드에서 상기 보간할 위치의 화소값들의 평균값과 상기 보간할 위치의 상하 화소값들의 평균값을 혼합하여 보간하는 단계인 디인터레이싱 방법.