KR100631497B1

KR100631497B1 - 디인터레이싱 방법 및 장치

Info

Publication number: KR100631497B1
Application number: KR1020000001497A
Authority: KR
Inventors: 신창용; 한동일
Original assignee: 엘지전자 주식회사
Priority date: 2000-01-13
Filing date: 2000-01-13
Publication date: 2006-10-09
Also published as: KR20010073262A

Abstract

본 발명은 디인터레이싱 방법 및 장치에 관한 것으로 특히, 현재 보간하고자 하는 필드의 움직임 정도 및 에지 방향에 따라 적절한 보간을 수행하여 보간후 화질을 개선하도록 함에 목적이 있다. 이러한 목적의 본 발명은 화상의 밝기 차이와 밝기 윤곽 패턴 차이를 검출하여 움직임 정도를 검출하고 그 움직임 정도를 참조하여 화상을 보간하는 디인터레이싱 방법 및 장치에 있어서, 격행 주사 방식의 영상에 해당하는 m개의 필드 데이터에서 보간할 화소를 포함하는 일정 영역의 화소를 검출하는 단계와, 상기 일정 영역에 대해 보간할 화소와 주변 화소의 상관 관계를 검출하여 보간할 화소의 변화 방향을 검출하는 단계와, 상기에서 보간할 화소가 수평 또는 수직 에지상에 존재하지 않는 경우 관측 영역과 이동 영역을 설정하고 관측 영역을 다수개로 분할하는 단계와, 상기 다수개의 각 분할 영역에서의 최소 구간 매칭 에러를 산출하는 단계와, 상기에서 산출된 다수개 영역의 구간 매칭 에러중 최소 구간 매칭 에러를 나타내는 방향으로 보간값을 산출하는 단계를 수행함을 특징으로 한다.

Description

디인터레이싱 방법 및 장치{DEINTERLACING METHOD AND APPARATUS}

도1은 일반적인 인터레이싱 방법에 따른 화면의 예시도.

도2는 종래의 라인 보간을 필드 생성을 보인 예시도로서,

도2a는 종래의 라인 반복 방법을 보인 예시도이고,

도2b는 종래의 움직임 보상없는 필드간 보간법을 보인 예시도이며,

도2c는 종래의 필드내 보간법을 보인 예시도이다.

도3은 본 발명의 실시예를 위한 디인터레이싱 장치의 블럭도.

도4는 에지 부분의 매핑을 위한 영역 분할을 보인 예시도.

도5은 보간 방향 검출을 위한 구간 매칭 방법을 보인 예시도.

도6는 본 발명에서 구간 매칭 방법을 위한 관측 영역 분할을 보인 예시도.

도7은 메디안 필터링에 사용되는 화소들과 필드 데이터를 보인 예시도.

* 도면의 주요부분에 대한 부호 설명 *

100 : 필드 저장부 200 : 움직임 검출부

300 : 공간적 보간부 400 : 시간적 보간부

500 : 소프트 스위치부 600 : 메디안 필터부

700 : 움직임 확정부 800 : 수직라인 변환부

본 발명은 움직임 적응 보간 기술에 관한 것으로 특히, 디인터레이싱 방법 및 장치에 관한 것이다.

디인터레이싱 방법이란 영상 처리 방법에 있어서, 격행 주사(interlaced scanning) 방식의 영상 데이터를 순행 주사(progressive scanning) 방식의 영상 데이터로 변환하는 기법이다.

격행 주사 방식의 영상 데이터는 한 프레임(frame)의 화면을 도1에 도시된 바와 같이, 홀수 필드(odd field)와 짝수 필드(even field)의 두 필드의 화면으로 구현하는 것이다.

그런데, 디스플레이 장치에 따라서는 격행 주사 방식의 영상 데이터를 처리하지 않고 컴퓨터 모니터등에서 사용되는 순행 주사 방식의 영상 데이터로 처리하여 화면을 구현한다.

이때, 격행 주사 방식의 영상 신호가 순행 주사 방식의 영상 데이터를 처리하는 디스플레이 장치에서 정상적으로 처리되려면 그러한 디스플레이 장치의 내부에 격행 주사 방식의 영상 신호를 순행 주사 방식의 영상 신호로 변환시키는 별도의 시스템이 설치되어야 한다.

격행 주사 방식의 영상 신호를 순행 주사 방식의 영상 신호로 변환하는 방법은 도2a 내지 도2c에 도시된 바와 같이 여러 방법으로 구현될 수 있다.

우선, 도2a와 같은 라인 반복(line repetition) 방법은 현재 필드(field)의 라인(line) 정보를 단순하게 반복시켜 한 프레임(frame)을 구현하는 것이다.

또한, 도2b에 도시된 바와 같은 움직임 보상이 없는 필드간 보간법(inter-field interpolation without motion-compensation)은 현재 필드의 라인사이에 직전 필드의 라인을 단순히 끼움으로써 한 프레임을 구현하는 것이다.

마지막으로, 도2c에 도시된 바와 같은 필드내 보간법(intra-field interpolation)은 하나의 필드에서 두 라인사이의 영역에 그 두 라인의 데이터를 이분한 데이터를 삽입함으로써 새로운 한 필드를 구현하는 것이다.

그러나, 라인 반복 방법은 단순한 하드웨어로 구현할 수 있지만, 보간후 화질이 떨어지는 단점이 있다.

또한, 움직임 보상이 없는 필드간 보간법 역시 단순한 하드웨어로 구현할 수 있지만, 움직임이 있는 영상을 보간하는 경우에는 오류가 발생하거나 화면이 열화되어 화질이 떨어지는 단점이 있다.

그리고, 필드내 보간법은 라인 반복 방법보다 화질이 깨끗해지고 움직임 보상이 없는 필드간 보간법보다 오류 발생이 낮지만, 정지 영상을 보간하는 경우 화면이 열화되어 화질이 떨어지는 단점이 있다.

즉, 상기와 같은 도2a 내지 도2c의 보간 방법들은 모두 보간후 화질이 떨어지는 단점이 있다.

따라서, 이전 화면의 필드 데이터와 장차 구현될 화면의 필드 데이터를 이용하여 현재 화면을 보간하는 움직임 보상 보간 방법이 제시되었다.

이러한 움직임 보상 보간 방법은 현재 필드 데이터를 기준으로 시간적으로 연속적인 필드 데이터를 이용하여 화면을 여러 개의 블럭으로 분할하여 각각의 블럭에 대해 움직임 벡터를 구하고, 그 움직임 벡터를 참조하여 현재 프레임 화면을 보간하는 것이다.

그런데, 움직임 보상 보간 방법은 보간후 화질은 향상되지만, 상당히 복잡한 하드웨어로 구성된다.

따라서, 상기 움직임 보상 보간 방법의 문제점을 해결하기 위하여 움직임의 정도를 추정하여 움직임에 따라 프레임을 보간하는 움직임 적응 보간 방법이 제시되었다.

이러한 움직임 적응 보간 방법은 움직임 보상 보간 방법에 비하여 비교적 단순한 하드웨어로 구현되고 보간후 화질도 전반적으로 향상되는 장점이 있다.

움직임 적응 보간 방법의 일례로는 미국 특허 제5,027,201호에 제시된 Bernard 방식과 동국 특허 제5,159,451호에 제시된 Faroundja 방식등이 있다.

그러나, 종래의 움직임 적응 보간 방법은 움직임 보상 보간 방법에 비하여 비교적 단순한 하드웨어로 구현되고 보간후 화질도 전반적으로 향상되는 장점이 있지만, 움직임이 큰 에지(edge)등에서는 단순한 수직 방향 보간으로 인하여 계단형 잡음이 발생하며 또한, 다수의 필드 메모리(field memory)를 사용하고 처리 과정이 복잡하여 구현 회로의 제조 비용이 상승하는 문제점이 있다.

따라서, 본 발명은 종래의 문제점을 개선하기 위하여 현재 보간하고자 하는 필드의 움직임 정도 및 에지 방향에 따라 적절한 보간을 수행하여 보간후 화질을 개선하도 록 창안한 디인터레이싱 방법 및 장치를 제공함에 목적이 있다.

또한, 본 발명은 회로를 단순화하여 구현하려는 회로의 제조 비용을 감소시키도록 함에 다른 목적이 있다.

본 발명은 상기의 목적을 달성하기 위하여 화상의 밝기 차이와 밝기 윤곽 패턴 차이를 검출하여 움직임 정도를 검출하고 그 움직임 정도를 참조하여 화상을 보간하는 디인터레이싱 방법에 있어서, 격행 주사 방식의 영상에 해당하는 m개의 필드 데이터에서 보간할 화소를 포함하는 일정 영역의 화소를 검출하는 단계와, 상기 일정 영역에 대해 보간할 화소의 변화 방향을 검출하는 단계와, 상기에서 일정 영역에 대해 보간할 화소가 수평 또는 수직 에지상에 존재하지 않는 경우 관측 영역을 복수 각도의 방향으로 분할하는 단계와, 상기에서 분할된 다수개의 각 영역에서의 최소 구간 매칭 에러를 산출하는 단계와, 상기에서 산출된 다수개 영역의 각 최소 구간 매칭 에러중 수직 에지 방향에 근접한 구간 매칭 에러를 나타내는 방향으로 보간값을 산출하는 단계를 수행함을 특징으로 한다.

또한, 본 발명은 상기와 같은 단계를 수행하기 위하여 보간할 임의의 필드 데이터를 기준으로 그 필드 데이터를 포함하는 이전, 이후의 연속적인 다수의 필드 데이터를 저장하는 필드 저장부와, 상기 필드 저장부에 저장된 각 필드 데이터간에 존재하는 화소값과 밝기 윤곽 패턴의 차이를 검출하여 영상의 움직임 정도를 계산하는 움직임 결정부와, 상기 움직임 결정부에서 계산된 움직임 정도값에 대해 잡음 성분을 제거하고 움직임을 군집화하는 메디안 필터부와, 상기에서 보간할 화소의 움직임 정도값을 그 보간할 화소에 인접한 주변 화소로 확산하는 움직임 확장부와, 현재 보간할 필드 영상에 대하여 이전 필드의 화소값과 이후 필드의 화소값을 평균하여 필드 평균값을 산출하는 시간적 보간부와, 상기 필드 저장부로부터 현재 보간할 영역의 필드 데이터의 화소값과 필드내 주변 화소값을 입력으로 보간할 화소 주변의 화소값들에 포함되어 있는 에지(edge) 방향을 산출하고 에지 방향이 수평 또는 수직 에지에 존재하지 않는 경우 임의로 설정한 관측 영역을 소정 각도에 따라 다수개로 분할하여 각각의 영역의 구간 매칭 에러중 최소 구간 매칭 에러를 나타내는 방향에 따른 필드내 보간값을 산출하는 공간적 보간부와, 상기 움직임 확장부에서의 밝기 차이 및 밝기 윤곽 패턴차이를 참조하여 상기 공간적 보간부에서의 에지 방향을 고려한 필드내 보간값과 시간적 보간부(400)에서의 필드 평균값을 혼합하는 소프트 스위치부와, 상기 필드 저장부에서의 현재 필드의 데이터를 입력으로 상기 소프트 스위치부에서의 보간 라인 데이터를 참조하여 디스플레이에 적합하도록 수직 라인수를 변환하는 수직 라인 변환부로 구성한다.

즉, 본 발명은 보간할 화소가 주변의 일정 영역에 대해 수평 또는 수직 에지상에 존재하지 않는 경우 임의로 설정한 관측 영역을 다수개로 분할하고 각각의 영역에 대해 "구간 매칭 방법"을 적용하여 구간 매칭 에러를 검출한 후 그 검출된 구간 매칭 에러중 최소의 구간 매칭 에러를 나타내는 방향으로 보간값을 산출하는 것이다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

도3은 본 발명의 실시예를 위한 디인터레이싱 장치의 블록도로서 이에 도시한 바와 같이, 시간적으로 연속적인 현재 필드 데이터, 이전 2장의 필드 데이터 및 다음 필드 데이터의 4장의 필드 데이터를 저장하는 필드 저장부(100)와, 이 필드 저장부(100)에서의 각 필드 데이터간의 밝기 차이(BD : Brightness Difference) 및 밝기 윤곽 패턴 차이(BPPD : Brightness Profile Pattern Difference)를 산출하여 그 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)가 소정 문턱값 이상이면 기설정된 값으로 매핑하고 그 밝기 차이(BD) 및 밝기 윤곽 패턴차이(BPPD)를 참조하여 움직임 정도값을 산출하는 움직임 결정부(200)와, 상기 움직임 정도값에 포함된 잡음 성분을 제거하고 움직임이 있는 영역을 군집화하는 메디안 필터부(600)와, 이 메디안 필터부(600)의 출력값을 입력으로 움직임 정도를 주변 화소들로 확산시키는 움직임 확장부(700)와, 상기 필드 저장부(100)로부터 현재 보간을 실시한 영역의 필드 데이터의 화소값과 필드내 주변 화소값을 입력으로 보간할 화소 주변의 화소값들에 포함되어 있는 에지(edge) 방향을 산출하여 그 방향에 따른 필드내 보간값을 산출하는 공간적 보간부(300)와, 현재 보간할 필드 영상에 대하여 이전 필드의 화소값과 이후 필드의 화소값을 평균하여 필드 평균값을 산출하는 시간적 보간부(400)와, 상기 움직임 확장부(700)에서의 밝기 차이 및 밝기 윤곽 패턴차이를 참조하여 상기 공간적 보간부(300)에서의 에지 방향을 고려한 필드내 보간값과 시간적 보간부(400)에서의 필드 평균값을 혼합하는 소프트 스위치부(500)와, 상기 필드 저장부(100)에서의 현재 필드의 데이터를 입력으로 상기 소프트 스위치부(500)에서의 보간 라인 데이터를 참조하여 디스플레이에 적합하도록 수직 라인수를 변환하는 수직 라인 변환부(800)로 구성한다.

상기 움직임 결정부(200)는 필드 저장부(100)에서의 각 필드 데이터의 밝기 변화 및 밝기 윤곽 패턴을 검출하여 현재 필드를 기준으로 이전 필드와 이후 필드간의 밝기 변화 및 밝기 윤곽 패턴을 비교함에 의해 밝기 차이(BD) 및 밝기 윤곽 패턴 차이(BPPD)를 산출하는 BD/BPPD 검출부(210)와, 상기 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)가 각각의 기설정된 문턱값 이상이면 기설정된 값으로 매핑하고 움직임 정도값을 결정하는 BD/BPPD 합성부(220)로 구성한다.

이와같이 구성한 본 발명의 실시예에 대한 동작 및 작용 효과를 설명하면 다음과 같다.

필드 저장부(100)는 출력 영상을 구현하기 위한 다수개의 필드 데이터중에서 현재 필드 즉, n번째 필드를 기준으로 n번째 필드에 해당하는 영상 데이터와 이전 필드 및 이후 필드 등 시간적으로 연속적인 m개의 필드에 해당하는 영상 데이터를 저장한다.

다시 말해서, 필드 저장부(100)는 n번째 필드 데이터를 포함하여 그 이전 및 이후의 필드 데이터를 저장하고 그 저장된 필드 데이터를 움직임 결정부(200), 공간적 보간부(300) 및 시간적 보간부(400)로 제공한다.

이때, 움직임 결정부(200)는 필드 저장부(100)에 저장된 각 필드 데이터간에 존재하는 특정 라인들의 화소값과 밝기 윤곽 패턴의 차이를 검출하여 동영상의 움직임 정도를 계산한다.

즉, 움직임 결정부(200)는 BD/BPPD 검출부(210)가 필드 저장부(100)에서의 각 필드 데이터의 밝기 변화 및 밝기 윤곽 패턴을 검출하여 현재 필드를 기준으로 이전 필드와 이후 필드간의 밝기 변화 및 밝기 윤곽 패턴을 비교함에 의해 밝기 차이(BD) 및 밝기 윤곽 패턴 차이(BPPD)를 산출하고 BD/BPPD 합성부(220)가 상기에서 산출된 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)를 입력으로 움직임 정도값을 결정한다.

만일, 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)가 각각의 기설정된 문턱값 이상이면 상기 BD/BPPD 합성부(220)는 그 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)를 기설정된 값으로 매핑하여 움직임 정도값을 결정한다.

여기서, 밝기 차이(BD : Brightness Difference)에 대한 개념은 디지털 티브이등의 영상 처리 분야에서 라인 보간을 실시하기 위해 이미 많이 사용되고 있으며, 밝기 윤곽 패턴 차이(BPPD : Brightness Profile Pattern Difference)에 대한 개념은 본 출원인이 기출원한 국내특허출원 97-80719호에 제시되어 있다.

삭제

상기 국내특허출원 97-80719호에서 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)를 산출하기 위한 밝기 윤곽 패턴의 정량화는 임의의 여러 라인에 대해 수행할 수 있다.

예를 들어, 시간적으로 연속적인 n-2, n-1, n, n+1의 4장의 필드 데이터를 가정하여 움직임 결정부(200)에서의 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)의 산출 과정을 설명하면 다음과 같다.

먼저, n-2번째 필드 데이터의 화소값을 이용하여 n-2번째 필드 데이터의 밝기 윤곽 패턴을 추출한다. 즉, n-2번째 필드가 입력된 시각에서의 밝기 윤곽 패턴을 추출한다.

삭제

그리고, n번째 필드 데이터의 화소값을 이용하여 n번째 필드 데이터의 밝기 윤곽 패턴을 추출한다. 즉, n번째 필드가 입력되는 시각에서의 밝기 윤곽 패턴을 추출한다.

삭제

이 후, 움직임 결정부(200)는 n-2번째 필드의 밝기 윤곽 패턴과 n번째 필드의 밝기 윤곽 패턴을 비교하여 n-2번째 필드와 n번째 필드의 밝기 윤곽 패턴의 차이(BPPD)를 산출하며 또한, n-2번째 필드와 n번째 필드의 밝기 차이(BD)를 산출한다.

그리고, 움직임 결정부(200)는 상기와 동일한 과정으로 n-1번째 필드와 n+1번째 필드의 밝기 차이와 밝기 윤곽 패턴차이를 산출한다.

그런데, 방송 채널등으로 전송된 화상은 부호 단계 또는 전송 단계에서 필연적으로 잡음이 섞이게 된다.

따라서, 본 발명에서는 움직임 결정부(200) 특히, BD/BPPD 합성부(220)의 출력값을 정확하게 설정하기 위하여 그 BD/BPPD 합성부(220)의 출력값에서 잡음 성분을 제거하고 화상중 움직임이 검출된 영역을 군집화(grouping)하는 메디안 필터부(600)와, 이 메디안 필터부(600)에서 출력값을 입력으로 움직임이 있는 화소와 인접한 다른 화소로 움직임 정도를 확장시키는 움직임 확장부(700)가 구비된다.

이때, 상기 움직임 확장부(700)가 움직임 정도값을 인접한 화소로 확장시키는 이유는 다음과 같다.

일반적으로 동영상의 움직임은 특정 화소에서만 이루어지는 것이 아니라 일정 영역의 화소군들에서 이루어진다.

따라서, 특정 화소에 움직임 정도값이 감지되었다면 그 화소의 잡음 성분에 의한 것이거나 그 특정 화소 및 인접한 주변 화소가 움직임 상태에 있는 것이다.

그런데, 메디안 필터부(600)에서 잡음 성분에 해당하는 움직임 정도값이 이미 제거된 상태이므로 이 주변 화소들이 움직임 상태에 있을 가능성이 높다.

따라서, 움직임 확장부(700)는 메디안 필터부(600)에서 출력된 움직임 정도값을 움직임 정도가 감지된 화소의 주변으로 확산시키는 것이다.

한편, 공간적 보간부(300)는 필드 저장부(100)로부터 현재 보간을 실시할 영역의 필드 데이터를 입력으로 라인 보간을 실시할 영역에 해당하는 n번째 필드 데이터의 화소값과 필드내 주변화소들을 검출하고 그때 필드내 화소들의 상관 관계를 이용하여 보간할 화소 주변의 화소값들이 포함되어 있는 에지(edge) 방향을 산출하여 그 에지 방향에 따른 적정한 보간값을 추출한다.

특히, 본 발명에서는 공간적 보간부(300)는 보간할 화소의 공간적인 일관성과 시간적인 일관성을 유지하기 위하여 보간할 화소로부터 공간적으로 인접한 화소들의 화소값 및 보간할 화소의 현재 필드로부터 시간적으로 인접한 필드의 화소값과 필터링하여 보간할 화소의 보간값을 추출하는 것으로, "구간 매칭(region matching) 방법"을 적용한다.

"구간 매칭(region matching) 방법"이란 보간할 영역의 에지 부분의 화소값이 에지 방향에 따라 연속적이라는 성질을 이용하여 보간값을 추출하는 것으로, 그 동작 원리는 본 출원인에 의해 1999년 6월 30일자로 기출원된 국내특허출원 제99-26084호에 상세히 기술되어 있다.

"구간 매칭 방법"의 동작 과정을 개략적으로 설명하면 다음과 같다.

먼저, 일정 범위의 관측 영역(observation window)을 설정하고 보간할 화소를 중심 으로 보간 라인의 이전 및 이후 라인상의 서로 대칭인 위치에 이동 영역(sliding window)을 설정한다.

이때, 이동 영역의 크기는 시스템 및 그 응용에 따라 임의로 조절할 수 있다.

이 후, 보간할 화소가 포함된 임의의 에지상에 존재하는 이동영역내에 존재하는 화소값을 검출한다.

그리고, 상하의 이동 영역을 일정한 간격으로 서로 반대 방향으로 시프트시키면서 그 시프트된 양에 해당되는 에지 방향에 대해 상하 이동 영역내의 서로 상응하는 화소간의 차이를 지속적으로 검출한다.

동시에 지속적으로 검출된 화소값의 변화량을 참조하여 보간하고자 하는 화소가 포함되어 있는 에지의 방향을 감지한다.

그러나, 보간화소가 현재 보간할 위치와 공간적으로 멀리 떨어진 필드내 화소들에 의해 결정되거나 또는 상당히 빠른 움직임상에 존재하는 경우 보간 화소값이 필드내 인접 화소들에 비해 상당히 다른 값으로 나타날수 있다.

따라서, 본 발명에서는 상기의 현상을 방지하기 위해 보간 화소가 필드내에서 수직 방향으로 인접한 화소들과 필터링되도록 하며, 이 과정을 상세히 설명하면 다음과 같다.

먼저, 공간적 보간부(300)는 필드내의 화소들의 상관관계를 이용하여 에지 방향을 검출한다.

이때, 보간하려는 화소의 에지 방향을 검출하기 위하여 전체 영역을 도4의 예시도에 도시한 바와 같이, 크게

,

의 3방향으로 분할하였다고 가정할 때 공간적 보간부(300)는 보간할 화소가 어느 방향의 에지에 속하는가를 판단하기 위해 보간할 화소를 중심으로 상,하,좌,우에 인접하는 화소들에 대해 상관 관계를 구하여 보간할 화소가 수직 또는 수평 에지에 속하는지 여부를 판단한다.

예를 들어, i번째 라인의 j번째 화소를 보간하려는 경우라면 아래와 같은 식에 의해 보간하려는 화소와 인접 화소간의 수직 방향에 대한 상관 관계를 구할 수 있다.

---- (1)

----- (2)

----- (3)

이 후, 공간적 보간부(300)는 아래의 프로그램과 동일한 과정을 수행하여 보간하려는 화소의 에지 방향을 산출한다.

여기서, 보간하고자 하는 화소는

이고, 이는 n번째 필드의 i행 j열에 있는 화소를 의미한다.

상기 식(1)-(3)에 사용된

에 대해서도 동일한 의미를 적용할 수 있다.

즉, 공간적 보간부(300)는 식(1)∼(3)에 의해 구한 화소간 차이값(a,b,c)의 최대값(

을 산출하여 그 최대값(

이 소정 문턱값(Threshold)보다 작으면 보간하려는 화소의 에지 방향을

로 판단한다.

또한, 수평 방향의 상관관계 검출 역시 로우 패스 필터링된 화소간의 차이가 수직 방향이 아닌 수평 방향으로 적분된다는 것을 제외하고 위의 수직 방향 상관관계 검출과 유사한 방법으로 수행될 수 있다.

반대로, 화소간 차이값(a,b,c)의 최대값(

이 소정 문턱값(Threshold)과 같거나 보다 크면 공간적 보간부(300)는 "구간 매칭 방법"을 이용하여 에지 방향을 검출하는데, 이 과정을 설명하면 다음과 같다.

예를 들어, 도5는 "구간 매칭 방법"에 의한 에지 방향 결정을 위한 예시도이다.

여기서, 관측 영역은 수평 방향으로 15화소로 정하고 이동 영역은 1x7 화소 영역으로 설정하였다.

따라서, 도5를 참조하여 본 발명에서의 구간 매칭 방법을 설명하면, 보간할 i번째 라인을 기준으로 일정한 관측 영역(observation window)내에서 i+1번째 라인과 i-1번째 라인에 소정의 이동 영역(sliding window)을 설정한다.

이 후, i-1번째 라인의 이동 영역은 왼쪽에서 오른쪽으로 이동시키고 i+1번째 라인의 이동영역은 오른쪽에서 왼쪽으로 이동시킨다.

이때, 이동 영역은 1/4화소 단위로 이동시키는 것을 가정하였다.

이에 따라, 각각의 이동 변위에서 이동 영역간의 서로 대각선상에 위치한 화소들의 차이값을 검출하고 그 차이값을 아래 식(4)과 같이 연산하여 화소값의 구간 매칭 에러(

)를 산출한다.

---- (4)

여기서, d는 에지 방향을 나타낸다.

따라서, 에지 방향(d)과 관찰 영역(

)의 관계는 아래 식(5)과 같이 나타낼 수 있고 에지 방향(d)와 이동 간격(

)의 관계는 아래 식(6)와 같이 나타낼 수 있다.

예로, 이동 영역의 화소 블록이 1/4 화소 단위로 움직이면 이동 간격(

)은 1/4가 된다.

----- (5)

------ (6)

만일, 검출하고자 하는 에지의 범위가 넓으면 관측 영역을 확장하며, 에지 방향의 검출 및 보간 정밀도를 높이려고 하면 이동 영역인 화소 블록의 이동 단위를 작게 한다.

즉, 응용에 따라 관측 영역 및 이동 영역의 크기를 임의로 조정할 수 있다. 물론, 관측 영역 및 이동 영역에 포함되는 화소의 개수도 임의로 조절할 수 있다.

그런데, 본 발명에서는 주어진 에지 방향에 따라 세부적으로 "구간 매칭 방법"을 적용할 때 관측 영역을 다수개로 분할하여 각각의 영역에 대해 "구간 매칭 방법"을 적용한다.

이때, 관측 영역을 다수개로 분할하여 각각의 영역에 대해 "구간 매칭 방법"을 적용한다.

이에 따라, 각 영역의 최소 구간 매칭 에러(

)를 구하고 그 중 최소인 구간 매칭 에러를 나타내는 방향에 따라 현재 보간하고자 하는 화소 위치의 화소값을 보간하게 된다.

예를 들어, 도6과 같이 크게 두 영역(A,B)으로 분할한 경우 현재 보간하고자 하는 화소 위치의 화소값을 보간하는 과정을 설명하면 다음과 같다.

도6에서 영역(A)는 에지 방향

기준으로 좌우 방향으로 이동 영역의 크기를 고려하여 적절한 정도의 경계까지로 설정하며 영역(B)는 영역(A)의 경계부터 좌우의 관측 영역의 끝까지로 설정한다.

이때, 각각의 영역(A)(B)에 대하여 상기 식(4)와 같은 연산으로 구간 매칭 에러들을 구하고 각각의 영역(A)(B)에 대한 구간 매칭 에러들을 비교하여 각각의 영역(A)(B)에서의 최소 구간 매칭 에러(

)(

)를 구하게 된다.

이 후, 각 영역(A)(B)에 대한 최소의 구간 매칭 에러(

)(

)를 비교한다.

이때, 구간 매칭 에러(

)가 구간 매칭 에러(

)보다 작거나 같으면 현재 보간하고자 하는 화소값은 영역(A)의 최소 구간 매칭 에러(

)를 나타내는 방향에 따라 보간된 값이 된다.

반대로, 구간 매칭 에러(

)가 구간 매칭 에러(

)보다 크면 영역(B)의 최소 구간 매칭 에러(

)를 나타내는 방향에 따라 보간된 화소값을 구하여 현재 보간하고자 하는 화소의 바로 상,하에 존재하는 화소값사이에 있는지 판별한다.

이에 따라, 최소 구간 매칭 에러(

)를 나타내는 방향에 따라 보간된 화소 값이 현재 보간하고자 하는 화소의 바로 상,하에 존재하는 화소값사이에 있으면 이 화소값이 보간하고자 하는 화소값이 된다.

만일, 최소 구간 매칭 에러(

)를 나타내는 방향에 따라 보간된 화소값이 현재 보간하고자 하는 화소의 바로 상,하에 존재하는 화소값사이에 있지 않으면 현재 보간하고자 하는 화소값은 영역(A)의 최소 구간 매칭 에러(

)를 나타내는 방향에 따라 보간된 값이 된다.

즉, 상기의 과정은 아래와 같은 프로그램에 의해 수행한다.

IF(

) THEN

ELSE

IF(Median{

} =

) THEN

ELSE

ENDIF

여기서,

는 n번째 필드의 i행 j열에 있는 화소를 나타내며, 이것이 현재 보간하고자 하는 화소이다.

그리고,

와

는 각각 A영역과 B영역의 최소 구간 매칭 에러를 나타내는 방향을 따라 보간한 값을 나타낸다.

또한, 각 영역(A)(B)에서 보간 화소를 구함에 있어서 상기와 같이 최소 구간 매칭 에러를 나타내는 방향을 따라 선형 보간한 화소값을 이용할 수도 있지만, 다소 안정적인 보간을 수행하기 위해 다음과 같이 보간된 화소값을 이용할 수 있다.

이 과정은 아래와 같은 프로그램에 의해 수행된다.

IF (

) THEN

ELSE

ENDIF

IF (

) THEN

, 즉,

를 구할 필요가 없다.

ELSE

ENDIF

여기서,

는 d=0 즉, 수직 방향으로의 구간 매칭 에러를 나타내고,

는 A영역에서 최소 구간 매칭 에러를 나타내는 방향에 따라 선형 보간한 화소값이며,

는 B영역에서 최소 구간 매칭 에러를 나타내는 방향에 따라 선형 보간한 화소값이다.

즉, 수직 방향으로의 구간 매칭 에러(

)값이 '0'에 근사값이면 보간값(

)을 구하고 수직 방향으로의 구간 매칭 에러(

)가 '0'에 근사값이 아니면 가중치를 부여하여 영역(A)의 최소 구간 매칭 에러(

)를 나타내는 방향에 따라 보간값(

을 구한다.

그리고, 영역(B)의 최소 구간 매칭 에러(

)값이 수직 방향으로의 구간 매칭 에러(

)보다 큰지 비교하게 된다.

이에 따라, 영역(B)의 최소 구간 매칭 에러(

)값이 수직 방향의 구간 매칭 에러(

)보다 크다면

가 되어 보간값(

)을 구할 필요가 없다.

반대로, 영역(B)의 최소 구간 매칭 에러(

)값이 수직 방향의 구간 매칭 에러(

)보다 작으면 영역(B)의 최소 구간 매칭 에러(

)를 나타내는 방향에 따라 보간값(

을 구한다.

따라서, 공간적 보간부(300)는 상기 일련의 과정과 같이, 가능한 현재 보간할 화소와 공간적으로 인접한 화소들을 사용하여 보간을 수행하고 상대적으로 멀리 떨어져 있는 화소들을 사용하여 보간하는 경우에는 보간할 화소에 인접해 있는 화소들과의 상관 관계를 검사하여 상관성이 높은 경우에만 이 화소들을 사용하여 보간함으로써 보다 정교하면서도 안정적인 보간을 실행하게 된다.

이 후, 현재 필드내에서 보간할 화소의 주변 화소 특히, 선형 보간에 사용된 대각 방향의 두 화소와, 보간된 위치의 화소 그리고, 이전 필드와 이후 필드의 보간된 위치의 두 화소에 대하여 메디안 필터링을 수행한다.

예를 들어, 도7은 보간 화소 결정을 위한 시간 및 공간적 필터링에 사용되는 인접 화소들을 보인 예시도이다.

이때, 현재 필드(n번째 필드)내에서 보간할 화소의 주변 화소 특히, 선형 보간에 사용된 대각 방향의 두 화소(

,

)와, 보간된 위치의 화소(

그리고, 이전 필드(n-1번째 필드)와 이후 필드(n+1번째 필드)의 보간된 위치의 화소(

,

)에 대하여 아래 식(7)과 같은 연산으로 메디안 필터링을 수행하여 화소의 잡음 성분을 제거한다.

----- (7)

따라서, 상기 식(7)과 같은 메디안 필터링을 수행함으로써 현재 보간하고자 하는 화소를 시간적, 공간적으로 필터링하여 잡음 성분을 제거할 뿐만 아니라 움직임 확장부(700)에 의해 동화로 고려되는 정지화 부분의 시간적 보간 효과를 나타낼 수 있으며, 시간축 방향으로 일관성을 유지하여 안정도를 높일 수 있다.

그리고, 현재 필드(n번째 필드)에서 더 부드럽고 안정적인 보간값을 산출하기 위하여 상기에서 산출된 에지 방향에 따라 필드내 보간된 화소값에 소정의 가중치를 주 어 아래 식(8)과 같은 메디안 필터링을 수행할 수 있다.

가중치가 감안된 메디안 필터링은 아래 식(8)과 같은 연산으로 수행된다.

------(8)

그런데, 상기와 같이 메디안 필터링이 모두 수행된 보간 화소(

)가 현재 보간할 위치와 공간적으로 먼 다른 화소들에 의해 결정된 경우이거나 매우 빠른 움직임상에 존재하는 경우이면 보간 화소값이 인접한 다른 화소들에 비해 두드러지게 다른 값을 나타낼 수 있다.

이러한 현상을 방지하기 위하여 본 발명에서 공간적 보간부(300)는 필드내에서 보간할 화소의 위치로부터 수직 방향으로 인접한 화소들을 참조하여 아래와 같은 프로그램에 의해 수직 방향의 메디안 필터링을 수행한다.

이러한 수직 방향 메디안 필터링의 동작을 설명하면 다음과 같다.

만약, 현재 보간할 화소의 위치로부터 수평적으로 떨어진 거리가 상기에서 결정되는 m값보다 작다면 상기 식(7) 또는 (8)에 의해 추정된 보간 화소가 보간값으로 결정된다.

그러나, 만약 현재 보간할 화소의 위치로부터 수평적으로 떨어진 거리가 상기에서 결정되는 m값보다 작지 않다면 보간값은 상기 식(7) 또는 (8)에 의해 추정된 보간 화소와 보간될 화소의 수직 방향으로 인접한 화소들의 화소값을 참조하여 메디안 필터링된 값으로 결정된다.

이는 추정된 보간 화소(

)가 현재 보간할 위치와 공간적으로 멀리 떨어진 필드내 화소들에 의해 결정되거나 상당히 빠른 움직임상에 존재할 때 이 보간 화소값이 필드내 인접 화소들에 비해 상당히 다른 값으로 부스팅(boosting)되는 것을 방지하기 위해 이 보간 화소가 필드내에서 수직 방향으로 인접한 화소들과 메디안 필터링을 수행하는 것이다.

그리고, 시간적 보간부(400)는 현재 보간을 실시할 화소와 동일한 위치에 해당하는 그 이전 필드 데이터의 화소값과 그 이후 필드 데이터의 화소값을 평균하여 필드 평균값을 추출한다.

예로, n번째 필드 영상을 새로 생성하기 위하여 i번째 라인의 j번째 화소를 보간하여야 한다면 시간적 보간부(400)는 i번째 라인의 j번째 화소의 영상 데이터를 가지고 있는 n-1번째 필드 데이터의 화소값과 n+1번째 필드 데이터의 화소값을 평균하여 필드 평균값을 추출한다.

즉, 시간적 보간부(400)에서의 필드 평균값은 아래 식(9)에 의해 산출된다.

------ (9)

이때, 소프트 스위치부(500)는 움직임 결정부(200)에서 산출된 밝기 차이(BD)와 밝기 윤곽 패턴 차이(BPPD)를 입력받아 움직임 확장부(700)에서 출력된 움직임 정도값을 참조하여 공간적 보간부(300)에서 출력된 에지 방향을 고려한 필드내 보간값 과 시간적 보간부(400)에서 출력된 필드 평균값을 혼합하여 출력한다.

이러한 소프트 스위치부(500)는 아래 식(10)과 같은 연산값을 출력한다.

----- (10)

여기서,

는 움직임 확장부(700)에서 출력된 움직임 정도값으로서 '0 이상 1 이내'의 범위의 값이다.

이에 따라, 수직라인 변환부(800)는 소프트 스위치부(500)에서 출력된 보간값과 필드 저장부(100)에서 저장된 현재 필드 데이터값들을 참조하여 디스플레이 장치에 맞는 보간 라인을 생성하기 위하여 현재 필드 화면의 수직 라인수를 변환한다.

만일, 라인 변환이 필요없이 디인터레이싱된 프레임 데이터만을 필요로 하는 경우 수직라인 변환부(800)는 필드 저장부(100) 및 소프트 스위치부(500)에서 출력된 값을 그대로 통과시켜 출력한다.

상기에서 상세히 설명한 바와 같이 본 발명은 종래의 디인터레이싱 방법에 비하여 더 정밀한 에지 방향 검출 및 보간을 실시함으로써 화질 성능이 우수해지는 효과가 있다.

Claims

화상의 밝기 차이와 밝기 윤곽 패턴 차이를 검출하여 움직임 정도를 검출하고 그 움직임 정도를 참조하여 화상을 보간하는 디인터레이싱 방법에 있어서,

격행 주사 방식의 영상에 해당하는 m개의 필드 데이터에서 보간할 화소를 포함하는 일정 영역의 화소를 검출하는 제1 단계와,

상기 일정 영역의 화소간 상관 관계를 산출하여 보간할 화소의 변화 방향을 검출하는 제2 단계와,

상기에서 일정 영역에 대해 보간할 화소가 수평 또는 수직 에지상에 존재하지 않는 경우 관측 영역을 복수 각도의 방향으로 분할하여 각 영역에 대한 구간 매칭 에러를 산출하는 제3 단계와,

상기에서 추출된 각 영역의 구간 매칭 에러중 최소 구간 매칭 에러를 나타내는 방향으로 보간값을 산출하는 제4 단계를 수행함을 특징으로 하는 디인터레이싱 방법.
제1항에 있어서, 제3 단계는 화소의 변화 방향이
를 기준으로 좌우로 관측 영역을 설정하고 이동 영역을 설정하는 제1 과정과, 상기에서 설정된 관측 영역을 제1,제2 영역으로 분할하는 제2 과정과, 상기에서 분할된 각각의 영역에 대해 구간 매칭 에러를 산출하는 제3 과정과, 상기에서 산출된 각 영역에 대해 최소 구간 매칭 에러를 산출하는 제4 과정으로 이루어지는 것을 특징으로 하는 디인터레이싱 방법.
제2항에 있어서, 제2 과정에서 제1,제2 영역은 에지 방향
를 기준으로 분할하 며, 제1 영역은 에지 방향
기준으로 좌우 방향으로 이동 영역을 포함할 수 있는 정도의 경계까지로 설정하고, 제2 영역은 제1 분할 영역의 경계로부터 관측 영역의 좌우 끝까지로 설정하는 것을 특징으로 하는 디인터레이싱 방법.
제1항에 있어서, 제4 단계는 제1,제2 영역의 구간 매칭 에러를 비교하는 제1 과정과, 제1 영역의 구간 매칭 에러가 제2 영역의 구간 매칭 에러와 같거나 보다 작으면 제1 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 값을 산출하는 제2 과정과, 제1 영역의 구간 매칭 에러가 제2 영역의 구간 매칭 에러보다 크면 제2 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간하여 그 보간값이 현재 보간하려는 화소의 상,하에 존재하는 화소값 사이에 있는지 비교하는 제3 과정과, 상기에서 제2 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 화소값이 현재 보간하려는 화소의 상,하에 존재하는 화소값사이에 있는 경우 그 제2 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 값을 산출하는 제4 과정으로 이루어지는 것을 특징으로 하는 디인터레이싱 방법.
제4항에 있어서, 제2 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 화소값이 현재 보간하려는 화소의 상,하에 존재하는 화소값사이에 있지 않은 경우 제1 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 값을 산출하는 과정을 더 포함하는 것을 특징으로 하는 디인터레이싱 방법.
제2항에 있어서, 제4 단계는 제1,제2 영역의 구간 매칭 에러를 비교하는 제1 과정과, 제1 영역의 구간 매칭 에러가 제2 영역의 구간 매칭 에러와 같거나 보다 작으면 제1 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 값을 산출하는 제2 과정과, 제1 영역의 구간 매칭 에러가 제2 영역의 구간 매칭 에러보다 크면 제2 영역의 최소 구간 매칭 에러가 수직 방향으로의 구간 매칭 에러보다 큰지 비교하는 제3 과정과, 상기에서 제2 영역의 최소 구간 매칭 에러가 수직 방향으로의 구간 매칭 에러보다 크면 가중치를 고려하여 상기 제2 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 값을 산출하는 제4 과정으로 이루어지는 것을 특징으로 하는 디인터레이싱 방법.
제6항에 있어서, 제2 영역의 최소 구간 매칭 에러가 수직 방향으로의 구간 매칭 에러와 같거나 보다 작으면 제1 영역의 최소 구간 매칭 에러를 나타내는 방향으로 선형 보간한 값을 산출하는 과정을 더 포함하는 것을 특징으로 하는 디인터레이싱 방법.
보간할 임의의 필드 데이터와 그 주변 필드 데이터를 입력으로 밝기 및 밝기 윤곽 패턴의 차이를 검출하여 영상의 움직임 정도를 계산하는 움직임 결정부와,

현재 보간할 필드 영상에 대해 이전 필드의 화소값과 이후 필드의 화소값을 평균하여 필드 평균값을 산출하는 시간적 보간부와,

현재 보간을 실시한 영역의 필드 데이터의 화소값과 필드내 주변 화소값을 입력으로 보간할 화소 주변의 화소값들에 포함되어 있는 에지(edge) 방향을 검출하여 그 검출된 방향을 기준으로 임의로 설정한 관측 영역을 소정 각도에 따라 다수개로 분할하여 각각의 영역의 구간 매칭 에러중 최소 구간 매칭 에러를 나타내는 방향에 따른 필드내 보간값을 산출하는 공간적 보간부와,

상기 움직임 확장부에서의 밝기 차이 및 밝기 윤곽 패턴차이에 따라 상기 공간적 보간부에서의 필드내 보간값과 시간적 보간부에서의 필드 평균값을 혼합하여 수직라인 변환부로 출력하는 소프트 스위치부를 구비하여 구성함을 특징으로 하는 디인터레이싱 장치.
제8항에 있어서, 공간적 보간부는 현재 보간할 영역의 필드 데이터의 화소값과 필드내 주변 화소값을 입력으로 보간할 화소 주변의 화소값들에 포함되어 있는 에지(edge) 방향을 검출하고 에지 방향이 수평 또는 수직 에지에 존재하지 않는 경우 보간할 화소를 기준으로 소정 영역을 서브샘플링(sub-sampling)하여 보간할 화소가 서브샘플링된 영역에 대해 수평 또는 수직 에지에 존재하지 않으면 경사도(gradient)에 의한 에지 방향을 검출하여 그 검출된 방향을 기준으로 임의로 설정한 관측 영역을 다수개로 분할하여 각각의 영역의 구간 매칭 에러중 최소 구간 매칭 에러를 나타내는 방향에 따른 필드내 보간값을 산출하도록 구성함을 특징으로 하는 디인터레이싱 장치.