KR100757458B1 - 영상처리장치 - Google Patents

Abstract

표시 특성을 향상시킬 수 있는 영상처리장치를 개시한다. 영상처리장치는 시간적 보간값 및 공간적 보간값을 sinc 함수의 이득을 이용하여 산출하고, 휘도값은 이러한 시간적 보간값 및 공간적 보간값을 이용하여 산출함으로써, 경사 보간을 향상시킬 수 있다. 이에 따라, 영상처리장치는 표시 특성을 향상시킬 수 있다.

휘도, 인터레이싱, 디인터레이싱

Description

영상처리장치{Picture processing apparatus}

도 1은 본 발명의 일실시예에 따른 영상처리장치를 나타낸 블럭도이다.

도 2는 도 1에 도시된 영상처리장치에서 처리하는 영상 프레임들의 구조를 나타낸 도면이다.

도 3은 도 1에 도시된 영상처리장치에서 제1 화소와 인접한 화소들의 위치 관계를 나타낸 도면이다.

* 도면의 주요부분에 대한 부호의 설명 *

100 : 영상처리장치 200 : 안테나

본 발명은 영상처리장치에 관한 것으로, 보다 상세하게는, 경사 상관을 개선할 수 있는 영상처리장치에 것이다.

영상 디스플레이 장치의 스캔방식에는, 인터레이스 스캔(interlace scan)방식과 프로그레시브 스캔(progressive scan)방식이 있다. 인터레이스 스캔 방식은 일반적인 TV 등에 사용되며, 하나의 영상을 표시할 때, 하나의 이미지 프레임을 두개의 필드로 나누어 순차적으로 번갈아 가면서 화면에 표시하는 방식이다. 프로그 레시브 스캔 방식은 컴퓨터 모니터, 디지털 TV 등에 사용되며, 필름을 스크린에 영사하듯이 하나의 이미지 프레임을 프레임 단위로 하여 전체 프레임을 한꺼번에 표시하는 방식이다.

최근, 프로그레시브 스캔방식을 사용하는 영상 디스플레이 장치가 증가됨과 동시에, 서로 다른 스캔방식을 사용하는 장치들간의 데이터 교환의 필요성이 또한 증가되면서, 이를 위해 디인터레이싱(de-interlacing) 기법이 개발되었다.

디인터레이싱 기법은 인터레이스 스캔방식을 프로그레시브 스캔방식으로 변환하여 출력한다. 디인터레이싱 방법은 움직임 정보나 영상의 포맷 변환 정보를 이용하여 인트라 필드 보간(intra field interpolation) 화소와, 인터 필드 보간(inter field interpolation) 화소를 스위칭하는 방법이 주류를 이루고 있다.

디인터레이싱 방법은 움직임 검출에 의한 공간적 보간 및 시간적 보간을 이용한다. 여기서, 움직임 검출은 프레임간의 느린 움직임에 적용되는 프레임 모션 및 필드 간의 빠르고 미세한 움직임에 적용되는 필드 모션을 검출하여 동화상 및 정지 화상에 따라 보간 방법을 다르게 적용한다. 움직임 검출은 해당 프레임 내의 움직임을 카운트하여 카운트 결과값이 움직임 임계값보다 낮으면 노이즈로 간주하고, 움직임 임계값보다 크면 움직임으로 간주한다.

여기서, 프레임 모션을 판단하는 기준은 하기하는 수학식 1과 같고, 필드 모션을 판단하는 기준은 하기하는 수학식 2와 같다.

수학식 1 및 2를 참조하면, P1은 현재 화소의 이전 프레임에 위치하는 화소의 값으로서, 현재 화소의 이전 필드에 위치하는 화소의 값이다. P2는 현재 화소의 이후 프레임이 위치하는 화소의 값으로서, 현재 화소의 이후 필드에 위치하는 화소의 값이다. k는 움직임 임계값이고, P3 및 P4는 현재 화소와 동일 프레임에 위치하는 화소들의 값이다.

P1 및 P2에 대응하는 화소들은 시간 순서상 현재 화소를 중심으로 서로 대칭되도록 위치하고, 시간 순서상에서 현재 화소와 인접하여 위치한다. P3 및 P4에 대응하는 화소들은 현재 프레임에서 현재 화소를 중심으로 서로 대칭되도록 위치하고, 현재 화소와 인접하여 위치한다.

여기서, P1과 P2간의 차이값이 움직임 임계값보다 클 경우, 프레임 모션으로 간주하고, P3 및 P4의 합에서 P1 및 P2의 합을 뺀 값을 이분한 결과값이 P1과 P2의 차이값보다 작으면 필드 모션으로 간주한다.

한편, 디인터레이싱 기법에서 현재 화소의 휘도값을 산출하는 과정은 하기하는 수학식3과 같다.

수학식 3을 참조하면, 휘도값(Y)은 P3 및 P4의 합을 이등분한 값에 움직임 임계값(k)을 곱한 값, 및 P1 및 P2의 합을 이등분한 값과 움직임을 카운트하는 카운값의 비트수(B)에서 움직임 임계값(k)을 뺀 값을 곱한 값을 서로 더한 값이다.

여기서, P1 및 P2의 합을 이등분한 값을 시간적 보간값이며, P3 및 P4의 합을 이등분한 값은 공간적 보간값이다.

이와 같이, 디인터레이스 기법은 휘도값(Y)을 시간적 및 공간적으로 인접한 화소의 값을 이용하여 산출되기 때문에, 인터레이스 스캔 방식의 영상을 프로그레시브 스캔 방식으로 출력하더라도 자연스러운 영상을 표시할 수 있다.

그러나, 정지 화상 및 동화상에서 경사 보간이 잘 이루어지지 않아 곡선 표현이 부자연스럽고, 보간 과정에서 완전히 제거되지 못한 노이즈로 인해 화질이 저하된다.

본 발명의 목적은 정지 화상 및 동화상에 적응적으로 경사 보간을 향상시켜 표시 특성을 향상시킬 수 있는 영상표시장치를 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 하나의 특징에 따른 영상처리장치는, 움직임 임계값을 이용하여 영상 신호에 대응하는 화상이 정지 화상인지 동화상 인지를 판별하는 움직임 스캔부; 상기 정지 화상 및 동화상 여부에 대응하여 제N(N은 1 이상의 자연수) 필드의 제1 화소에 대응하는 시간적 보간값 및 공간적 보간값을 sinc 함수의 이득을 참조하여 산출하는 크로스 페이드 생성부; 및 상기 움직임 임계값, 상기 시간적 보간값 및 상기 공간적 보간값을 이용하여 상기 제1 화소에 대응하는 휘도값을 산출하는 보간부를 포함하고, 상기 휘도값은 다음 식을 만족한다.

여기서, 상기 Z는 상기 휘도값, 상기 k는 상기 움직임 임계값, 상기 IS는 상기 공간적 보간값, 상기 B는 상기 움직임 임계값의 데이터 크기, 상기 IT는 상기 시간적 보간값이다.

바람직하게는, 상기 보간부는 시간 순서상 상기 제1 화소를 중심으로 서로 대칭하는 두 개의 제2 화소들의 평균값을 적어도 하나 산출하고, 상기 평균값과 sinc 함수의 이득을 곱하여 상기 공간적 보간값을 산출하며, 상기 제2 화소들 및 상기 제1 화소는 동일 프레임 상에 위치한다.

더욱 바람직하게는, 상기 보간부는 상기 제2 화소들의 평균값을 기 설정된 개수만큼 상기 제1 화소와 인접한 순서에 따라 순차적으로 산출하고, 상기 공간적 보간값은 다음 식을 만족한다.

여기서, 상기 T₁ 내지 T_{1 +M}은 상기 제1 화소를 중심으로 서로 대칭되게 순차적으로 위치하는 각 한 쌍의 제2 화소들의 평균값들, 상기 1+M은 상기 평균값들의 개수, 상기 M은 1 이상의 자연수, 상기 PT_{N +1}은 제N+1 필드에 위치하는 제2 화소의 값, 상기 PT_{N -1}은 제N-1 필드에 위치하는 제2 화소의 값, 상기 PT_{N +M}은 제N+M 필드에 위치하는 제2 화소의 값, 상기 PT_{N -M}은 제N-M 필드에 위치하는 제2 화소의 값이다.

한편, 바람직하게는, 상기 보간부는 공간 순서상 상기 제1 화소를 중심으로 서로 대칭하는 두 개의 제3 화소들의 평균값을 적어도 하나 산출하고, 상기 평균값과 sinc 함수의 이득을 곱하여 상기 시간적 보간값을 산출하며, 상기 제3 화소들 및 상기 제1 화소는 서로 다른 프레임에 위치하고, 상기 제1 화소 및 상기 제2 화소들은 서로 다른 필드에 위치한다.

더욱 바람직하게는, 상기 보간부는 상기 제3 화소들의 평균값을 기 설정된 개수만큼 상기 제1 화소와 인접한 순서에 따라 순차적으로 산출하고, 상기 시간적 보간값은 다음 식을 만족한다.

여기서, 상기 I₁ 내지 I_{1 +M}은 시간 순서상 상기 제1 화소를 중심으로 서로 대칭되게 순차적으로 위치하는 각 한 쌍의 제2 화소들의 평균값들, 상기 1+M은 상기 평균값들의 개수, 상기 M은 1 이상의 자연수, 상기 PT_{N +1} 및 상기 PT_{N -1}은 상기 제1 화소와 가장 인접한 한 쌍의 제3 화소들의 값, 상기 PT_{N +M} 및 상기 PT_{N -M}은 상기 제3 화소들 중 상기 제1 화소와 가장 멀리 위치하는 한 쌍의 제3 화소들의 값이다.

이하, 첨부한 도면을 참조하여, 본 발명을 보다 상세하게 설명하고자 한다.

도 1은 본 발명의 일실시예에 따른 영상처리장치를 나타낸 블럭도이다.

도 1은 참조하면, 본 발명에 따른 영상처리장치(100)는 튜너(110), 디코더(120), 음성 출력부(130), 디인터레이싱부(140) 및 영상 표시부(150)를 포함한다.

튜너(110)는 다수의 채널 중에서 임의의 채널을 입력 채널로 설정하고, 입력 채널로 설정된 채널의 음성 신호 및 영상 신호를 외부의 안테나(200)로부터 수신하여 디코더(120)에 제공한다.

디코더(120)는 음성 신호를 디코딩하여 음성 출력부(130)에 제공하고, 영상 신호를 디코딩하여 디인터레이싱부(140)에 제공한다.

음성 출력부(130)는 음성 신호에 대응하는 음성을 출력한다.

디인터레이싱부(140)는 디코더(120)로부터 수신된 영상 신호를 프로그레시브 스캔 방식으로 변환하여 출력하도록 보간하여 현재 화소에 대응하는 휘도값을 산출한다.

구체적으로, 디인터레이싱부(140)는 움직임 스캔부(141), 크로스페이드 생성 부(143) 및 보간부(145)를 구비한다. 움직임 스캔부(141)는 움직임 임계값을 이용하여 영상 신호에 대응하는 화상이 정지 화상인지 동화상인지를 판별한다. 여기서, 움직임 임계값은 기 설정된 임계값이며, 움직임 스캔부(141)는 현재 프레임의 화소들의 변화 즉, 움직임을 카운트하여 카운트 값이 움직임 임계값보다 크면 현재 화상을 동화상으로 판별하고, 카운트 값이 움직임 임계값보다 작으면 움직임을 노이즈로 인지하여 현재 화상을 정지 화상으로 판별한다. 이와 같이, 움직임이 노이즈로 인지되면, 인지된 노이즈는 제거되어 표시 품질을 향상시킨다.

크로스 페이드 생성부(143)는 움직임 스캔부(141)에 의한 정지 화상 및 동화상 여부에 따라 공간적 보간값 및 시간적 보간값을 생성한다. 공간적 보간값 및 시간적 보간값을 산출하는 과정은 후술하는 도 2 및 도 3에서 구체적으로 설명한다.

보간부(145)는 크로스 페이드 생성부(143)에 의해 생성된 공간적 보간값, 시간적 보간값 및 움직임 스캔부(141)에 의해 설정된 움직임 임계값을 이용하여 휘도값을 생성한다.

영상 표시부(150)는 보간부(145)에 의해 생성된 휘도값에 따라 영상 신호에 대응하는 영상을 표시한다.

이하, 도면을 참조하여 디인터레이싱부(140)에서 휘도값을 산출하는 과정을 구체적으로 설명한다.

도 2는 도 1에 도시된 영상처리장치에서 처리하는 프레임들의 구조를 나타낸 도면이다.

도 1 및 도 2를 참조하면, 영상 신호는 다수의 프레임(..., FR_J-1, FR_J, FR_J+1, ...)으로 이루어진다. 다수의 프레임(..., FR_J-1, FR_J, FR_J+1, ...)은 시간 순서(T)에 따라 순차적으로 영상처리장치(100)에 수신된다. 여기서, 각 프레임들(..., FR_J-1, FR_J, FR_J+1, ...)은 하나의 화상을 형성한다.

각 프레임들(..., FR_J-1, FR_J, FR_J+1, ...)은 다수의 필드(FD)로 이루어지며, 각 필드에는 다수의 화소들이 구비된다.

도 3은 도 1에 도시된 영상처리장치에서 제1 화소와 인접한 화소들의 위치 관계를 나타낸 도면이다.

도 1 및 도 3을 참조하면, 움직임 스캔부(141)는 현재 프레임에 구비된 화소들 중에서 이전 프레임과 달리 변경된 화소들은 카운트하여 변경된 화소들의 개수를 움직임 임계값과 비교하여 동화상인지 정지화상인지 여부를 판별한다.

크로스 페이드 생성부(143)는 현재 화상이 동화상 및 정지 화상인지 여부에 따라 보간값을 다르게 산출한다. 크로스 페이드 생성부(143)는 현재 화상이 동화상이면, 공간적 보간값을 산출하고, 현재 화상이 정지 화상이면 시간적 보간값을 생성한다.

크로스 페이드 생성부(143)에서 공간적 보간값을 산출하는 과정은 하기하는 수학식 4와 같다.

수학식 4를 참조하면, 공간적 보간값(IS)은 현재 화소와 서로 다른 프레임에 위치하고, 시간 순성상 서로 인접한 화소들의 값들(V1, V2)을 합한 값을 이분한 결과값과 sinc 함수의 절대값을 곱한 값이다. 여기서, 공간적 보간값(IS)을 산출하기 위해 참조하는 화소들은 현재 화소를 중심으로 서로 대칭되도록 위치한다.

예컨대, 제1 내지 제7 화소(P1, P2, P3, P4, P5, P6, P7)가 동일한 프레임에서 서로 인접하여 위치하는 공간 인접 화소들(PS)이고, 제1 및 제8 내지 제13(P1, P8, P9, P10, P11, P12, P13Z) 화소가 시간 순서상 서로 인접하여 위치하는 시간 인접 화소들(PT)일 경우, 제1 화소(P1)의 공간적 보간값(IS)은 시간 인접 화소들(PT)의 값을 이용하여 산출한다. 제2 내지 제4 화소(P2, P3, P4)는 제1 화소(P1)를 중심으로 제4 내지 제7 화소(P5, P6, P7)와 서로 대칭되어 위치한다.

여기서, 공간적 보간값(IS)을 산출하기 위해 참조하는 서로 대칭되는 한 쌍의 화소들의 개수는 임의로 설정되며, 참조하는 한 쌍의 화소들의 개수가 증가할수록 공간적 보간값(IS) 및 휘도값을 정확하게 산출할 수 있다.

제1 화소(P1)의 공간적 보간값(IS)을 3 쌍의 참조 화소를 이용하여 산출할 경우, 제1 화소(P1)의 공간적 보간값(IS)은 후술하는 수학식 5에 의해 산출된다.

수학식 5에서, PV8은 제8 화소(P8)의 값, PV9는 제9 화소(P9)의 값, PV10은 제10 화소(P10)의 값, PV11은 제11 화소(P11)의 값, PV12는 제12 화소(P12)의 값, PV13은 제13 화소(P13)의 값이다.

여기서, sinc 함수의 x 값은 참조 화소들 중에서 제1 화소(P1)로부터 멀어질수록 증가하며, 제1 화소(P1)는 제8 내지 제13 화소(P8, P9, P10, P11, P12, P13) 와 서로 다른 프레임 및 서로 다른 필드에 위치한다. 예컨대, 제1 화소(P1)가 제N 프레임에 위치하면, 제8 화소(P8)는 제N+1 필드에 위치하고, 제8 화소(P8)와 대칭을 이루는 제11 화소(P11)는 제N-1 필드에 위치한다. 또한, 제9 화소(P9)가 제N+2 필드에 위치하면, 제9 화소(P9)와 대칭을 이루는 제12 화소(P12)는 제N-2 필드에 위치한다. 또한, 제10 화소(P10)가 제N+3 필드에 위치하면, 제10 화소(P10)와 대칭을 이루는 제13 화소(P13)는 제N-3 필드에 위치한다. 단, 여기서 N은 1 이상의 자연수이다.

한편, 제1 화소(P1)의 시간적 보간값은 공간 인접 화소들(PS)의 값을 참조하여 산출하며, 후술하는 수학식 6에 의해 산출된다.

수학식 6을 참조하면, 제1 화소(P1)의 시간적 보간값(IT)은 제1 화소(P1)를 중심으로 양측에 서로 대칭되도록 위치하는 화소들의 값(V3, V4)을 합한 값과 sinc 함수의 절대값을 곱한 값이다.

여기서, 시간적 보간값(IT)을 산출하기 위해 참조하는 서로 대칭되는 한 쌍의 화소들의 개수는 임의로 설정되며, 참조하는 한 쌍의 화소들의 개수가 증가할수록 시간적 보간값(IT) 및 휘도값을 정확하게 산출할 수 있다.

예컨대, 제1 화소(P1)의 시간적 보간값(IT)을 3 쌍의 참조 화소를 이용하여 산출할 경우, 제1 화소(P1)의 시간적 보간값(IT)은 후술하는 수학식 7에 의해 산출된다.

수학식 7에서, PV2은 제2 화소(P2)의 값, PV3은 제3 화소(P3)의 값, PV4는 제4 화소(P4)의 값, PV5는 제5 화소(P5)의 값, PV6은 제6 화소(P6)의 값, PV7은 제7 화소(P7)의 값이다. 여기서, 제2 내지 제4 화소(P2, P3, P4)는 제1 화소(P1)를 중심으로 제5 내지 제7 화소(P5, P6, P7)와 서로 대칭되어 위치한다.

여기서, sinc 함수의 x 값은 참조 화소들 중에서 제1 화소(P1)로부터 멀어질수록 증가하며, 제1 내지 제7 화소(P1, P2, P3, P4, P5, P6, P7)는 동일한 프레임에 위치한다. 이 실시예에 있어서, 제1 내지 제7 화소(P1, P2, P3, P4, P5, P6, P7)은 동일한 필드에 위치하나, 서로 다른 필드에 위치할 수도 있다.

이와 같이, 산출된 공간적 보간값(IS) 및 시간적 보간값(IT)을 이용하여 제1 화소(P1)의 휘도값을 산출하는 과정은 후술하는 수학식 8과 같다.

수학식 8을 참조하면, 제1 화소(P1)의 휘도값(Y)은 공간적 보간값(IS)과 움직임 임계값(k)을 곱한 값, 및 카운값의 비트수(B)에서 움직임 임계값(k)을 뺀 값 에 시간적 보간값(IT)을 곱한 값을 더하여 산출한다.

상기한 바와 같이, 본 발명에 따른 영상처리장치(100)는 sinc 함수의 이득을 이용하여 시간적 보간값 및 공간적 보간값을 산출하기 때문에, sinc 함수의 특성상 경사 보간을 향상시킬 수 있고, 노이즈를 감소시킬 수 있으므로, 표시 특성을 향상시킬 수 있다.

상술한 본 발명에 따르면, 영상처리장치는 시간적 보간값 및 공간적 보간값 산출시 sinc 함수를 이용하여 산출하고, 이러한 시간적 보간값 및 공간적 보간값을 이용하여 휘도값을 산출하므로, 경사 보간을 향상시킬 수 있고, 노이즈를 감소시킬 수 있으므로, 표시 특성을 향상시킬 수 있다.

이상에서는 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

1. 움직임 임계값을 이용하여 영상 신호에 대응하는 화상이 정지 화상인지 동화상인지를 판별하는 움직임 스캔부;

   상기 정지 화상 및 동화상 여부에 대응하여 제N(N은 1 이상의 자연수) 필드의 제1 화소에 대응하는 시간적 보간값 및 공간적 보간값을 sinc 함수의 이득을 참조하여 산출하는 크로스 페이드 생성부; 및

   상기 움직임 임계값, 상기 시간적 보간값 및 상기 공간적 보간값을 이용하여 상기 제1 화소에 대응하는 휘도값을 산출하는 보간부를 포함하고,

   상기 휘도값은 다음 식을 만족하는 것을 특징으로 하는 영상처리장치:

   

   여기서, 상기 Z는 상기 휘도값, 상기 k는 상기 움직임 임계값, 상기 IS는 상기 공간적 보간값, 상기 B는 상기 움직임 임계값의 데이터 크기, 상기 IT는 상기 시간적 보간값.
2. 제1항에 있어서,

   상기 보간부는 시간 순서상 상기 제1 화소와 인접하고, 상기 제1 화소를 중심으로 서로 대칭하는 두 개의 제2 화소들의 평균값을 적어도 하나 산출하고, 상기 평균값과 sinc 함수의 이득을 곱하여 상기 공간적 보간값을 산출하며,

   상기 제2 화소들 및 상기 제1 화소는 서로 다른 프레임에 위치하고, 상기 제1 화소 및 상기 제2 화소들은 서로 다른 필드에 위치하는 것을 특징으로 하는 영상처리장치.
3. 제2항에 있어서,

   상기 보간부는 상기 제2 화소들의 평균값을 기 설정된 개수만큼 상기 제1 화소와 인접한 순서에 따라 순차적으로 산출하고, 상기 공간적 보간값은 다음 식을 만족하는 것을 특징으로 하는 영상처리장치:

   

   

   여기서, 상기 T₁ 내지 T_{1 +M}은 시간 순서상 상기 제1 화소를 중심으로 서로 대칭되게 순차적으로 위치하는 각 한 쌍의 제2 화소들의 평균값들, 상기 1+M은 상기 평균값들의 개수, 상기 M 및 N은 1 이상의 자연수, 상기 제1 화소는 제N 필드에 위치하는 화소, 상기 PT_{N +1}은 제N+1 필드에 위치하는 제2 화소의 값, 상기 PT_{N -1}은 제N-1 필드에 위치하는 제2 화소의 값, 상기 PT_{N +M}은 제N+M 필드에 위치하는 제2 화소의 값, 상기 PT_{N -M}은 제N-M 필드에 위치하는 제2 화소의 값.
4. 제1항에 있어서, 상기 보간부는 상기 제1 화소와 인접하고, 상기 제1 화소를 중심으로 서로 대칭하는 두 개의 제3 화소들의 평균값을 적어도 하나 산출하고, 상기 평균값과 sinc 함수의 이득을 곱하여 상기 시간적 보간값을 산출하며,

   상기 제3 화소들 및 상기 제1 화소는 동일 프레임 상에 위치하는 것을 특징으로 하는 영상처리장치.
5. 제4항에 있어서,

   상기 보간부는 상기 제3 화소들의 평균값을 기 설정된 개수만큼 상기 제1 화소와 인접한 순서에 따라 순차적으로 산출하고, 상기 시간적 보간값은 다음 식을 만족하는 것을 특징으로 하는 영상처리장치:

   

   

   여기서, 상기 I₁ 내지 I_{1 +M}은 시간 순서상 상기 제1 화소를 중심으로 서로 대칭되게 순차적으로 위치하는 각 한 쌍의 제3 화소들의 평균값들, 상기 1+M은 상기 평균값들의 개수, 상기 M은 1 이상의 자연수, 상기 PS_{N +1} 및 상기 PS_{N -1}은 상기 제1 화소와 가장 인접한 한 쌍의 제3 화소들의 값, 상기 PS_{N +M} 및 상기 PS_{N -M}은 상기 제3 화소들 중 상기 제1 화소와 가장 멀리 위치하는 한 쌍의 제3 화소들의 값.

Images