KR100344807B1

KR100344807B1 - 영상 신호 보정 장치 및 방법

Info

Publication number: KR100344807B1
Application number: KR1020000001417A
Authority: KR
Inventors: 김상연
Original assignee: 엘지전자주식회사
Priority date: 2000-01-12
Filing date: 2000-01-12
Publication date: 2002-07-20
Also published as: KR20010069143A; US6633342B2; US20010007478A1

Abstract

더블 스무싱 방식에 의한 잡음 제거기 구조와 unsharp masking 방식에 의한 윤곽선 선명화기의 구조에서 공통되는 부분을 공유하면서 영상의 원 신호와 저역 통과 필터링된 신호의 차 신호에 대해서 잡음 제거 및 윤곽선 선명화 처리를 수행한 후 원 신호를 보정해줌으로써, 영상 데이터를 송수신하거나 디스플레이하는 제품에서 향상된 화질의 영상을 제공하고, 유저는 인터페이스를 간단하게 함으로써, 제품의 경쟁력을 높일 수 있다.

Description

영상 신호 보정 장치 및 방법{Apparatus for correcting of image signal and method for the same}

본 발명은 영상 신호의 화질을 보정하는 것에 관한 것으로서, 특히 수신된 영상의 잡음 제거 및 윤곽선을 보정하는 장치 및 방법에 관한 것이다.

일반적으로 TV와 같은 동영상 송수신 시스템에서 영상 신호의 전송 과정은 카메라를 통하여 감지된 빛 에너지를 전기 신호로 바꾼 후 아날로그 또는 디지털 신호처리 과정 및 채널 코딩(channel coding)을 거쳐 전송하는 송신부와 그 역 과정을 거쳐 디스플레이 장치에 동영상을 나타내는 수신부로 구성된다. 이러한 일련의 과정을 통해서 디스플레이 되는 영상에는 다양한 원인에 의한 잡음이 존재할 뿐 아니라 제한된 전송 채널 및 소자들의 물리적 특성에 의해서 선명도가 떨어지므로 화질 저하가 불가피 하다.

이러한 문제를 해결하기 위하여 잡음 제거 및 선명도 향상을 위한 많은 방법들이 개발되어 왔다. 일반적으로 자연계에 존재하는 잡음은 백색 가우시안(white gaussian) 특성을 갖는 것으로 알려져 있다. 이를 주파수 영역에서 보면 전 주파수 대역에 고르게 펴져 있는 분포를 갖는다. 이에 반하여 영상 신호 자체는 대부분의 파워가 저주파 영역에 분포하고 고주파로 갈수록 파워가 급격히 감소하는 특성을 지니므로, 잡음 제거는 도 1에 도시한 바와 같이 저역 통과 필터링을 통하여 구현될 수 있다.

그러나, 이것은 잡음과 함께 영상 신호의 고주파 성분도 제거됨으로써 영상의 선명도가 떨어지는 결과를 초래한다. 따라서, 지금까지 제안된 많은 잡음 제거 방법들은 영상의 고주파 성분을 최대한 보존하면서 효과적으로 잡음을 제거하기 위한 방법들을 제시하고 있다. 이들 중 더블 스무싱(double smoothing) 방식은 도 2에 도시한 바와 같이 2단계에 걸친 저역 통과 필터링 방식이다.

즉, 입력 신호 X(t)는 제 1 지연기(201)에서 지연됨과 동시에 제 1 LPF(202)에서 1차 저역 통과 필터링된다. 상기 저역 통과 필터링된 신호 L(t)는 감산기(203)와 제 2 지연기(205)로 출력된다.

이때, 상기 감산기(203)는 상기 지연기(201)에서 지연된 신호와 제 1 LPF(202)에서 로우패스 필터링된 신호와의 차 신호 E(t)를 제 2 LPF(204)로 출력하고, 제 2 LPF(204)는 상기 차 신호 E(t)를 다시 저역 통과 필터링하여 가산기(206)로 출력한다. 상기 가산기(206)는 제 2 LPF(204)에서 저역 통과 필터링된 신호 N(t)와 제 2 지연기(205)에서 지연된 신호를 더하여 출력한다.

즉, 도 2의 더블 스무싱 방법은 1단계에서 저역 통과 필터링을 수행하고, 2단계에서 이 신호와 원 신호의 차 신호 E(t)에 대해서 다시 저역 통과 필터링을 수행한다. 궁극적으로 최종 출력 신호는 1차 저역 통과 필터링된 신호 L(t)에 2차 저역 통과 필터링된 신호 N(t)를 더한 신호 Y(t)이다. 여기서, 상기 제 1, 제 2 지연기(201,205)는 각각 제 1 LPF(202)와 제 2 LPF(204)의 지연 시간(latency) 만큼 데이터를 지연시킨다.

도 3의 (a) 내지 (e)는 잡음이 섞여있는 단위 계단(unit step) 형태의 신호를 상기 더블 스무싱 방식으로 처리했을 경우 잡음이 제거되는 과정을 보여 준다.

한편, 인간의 시각 특성상 영상의 선명도는 윤곽선 부분의 대비 정도에 따라 큰 차이를 느낀다. 즉, 윤곽선의 대비가 클수록 선명함을 느끼는데, 이는 영상의 고주파 성분을 증폭시킴으로써 가능하다. 예를 들어, 밝기가 급격히 변하는 신호에 고주파 성분을 증폭시키면 윤곽선 주위에 오버슈트(over shoot)와 언더슈트(under shoot)가 발생함으로써 대비가 증가된다.

이를 구현하는 방법으로는 2차 미분항 계산에 의한 방법, 고주파 통과 필터링에 의한 방법, 그리고 언샤프 마스킹(unsharp masking) 방법이 있다.

이들 중 unsharp masking 방법은 도 4의 구조를 갖는다. 즉, 원 신호 X(t)는 제 1 지연기(401)에서 지연됨과 동시에 LPF(402)에서 저역 통과 필터링된다. 감산기(403)는 상기 지연된 원 신호와 저역 통과 필터링된 신호 L(t)의 차 신호 E(t)를 추출하여 곱셈기(404)로 출력한다. 이때, 상기 차 신호는 영상의 고주파 성분에 해당되며, 곱셈기(404)는 여기에 α를 곱하여 증폭한 후 제 1 지연기(401)에서 지연된 원 신호와 가산기(405)에서 더해줌으로써 선명한 영상을 얻을 수 있다.

여기서, 잡음 제거와 선명도 향상 과정은 서로 상반된 기능이 필요함을 알 수 있다. 즉, 잡음 제거를 수행하면 잡음 뿐 아니라 영상의 윤곽선도 스무싱됨으로써 선명도가 떨어지며, 선명도 향상 필터링을 수행하면 윤곽선 뿐 아니라 잡음도 강조되는 문제가 있다. 즉, 기존의 방법들은 이 두 알고리즘을 독립적인 것으로 생각하여 각각의 방법들을 제안하고 있다. 따라서, 상기 두 알고리즘을 순차적으로적용할 경우 서로 상반되는 특성 때문에 처음 의도했던 잡음 제거 및 윤곽선 선명화 성능이 상쇄되는 문제가 있다. 특히, 윤곽선에 대한 화질 저하시 시청감이 떨어지는 문제가 있다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 상기 두 가지 알고리즘을 단일화하여 하나의 파라미터로 영상 신호의 잡음을 제거하고 윤곽선을 선명화하는 영상 신호 보정 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 잡음 제거와 윤곽선 선명화 알고리즘에서 중복되는 부분을 공유함으로써 하드웨어 구현 비용을 줄이는 영상 신호 보정 장치를 제공함에 있다.

도 1은 일반적인 영상 신호와 잡음의 파워 스펙트럼을 보인 도면

도 2는 일반적인 더블 스무싱 방식에 의한 잡음 제거기의 구성 블록도

도 3의 (a) 내지 (e)는 도 2의 각 부의 동작 파형도

도 4는 일반적인 언샤프 마스킹 방식에 의한 윤곽선 선명화기의 구성 블록도

도 5의 (a) 내지 (e)는 도 4의 각 부의 동작 파형도

도 6은 본 발명에 따른 영상 보정 장치의 구성 블록도

도 7은 도 6의 노이즈 제거부의 일 예를 보인 구성 블록도

도 8의 (a) 내지 (c)는 도 7의 에지 검출 필터의 계수 형태들의 예를 보인 도면

도 9의 (a) 내지 (c)는 도 7의 각 부의 동작 파형도

도면의 주요부분에 대한 부호의 설명

601,705 : 지연기 602,704 : LPF

603 : 감산기 604 : 노이즈 제거부

605 : 곱셈기 606 : 가산기

701 : 에지 검출부 702 : 절대치 연산부

703 : 비교기 706 : 스위칭부

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상 신호 보정 장치는, 더블 스무싱 방식에 의한 잡음 제거기 구조와 unsharp masking 방식에 의한 윤곽선 선명화기의 구조에서 공통되는 부분을 공유하면서 잡음 제거 및 윤곽선 선명화를 처리할 수 있도록 하는데 있다.

이를 위한 하드웨어 구성은, 입력 신호를 저역통과 필터링하는 제 1 필터링부와, 입력 신호와 상기 저역 통과 필터링된 신호와의 차 신호를 구하는 감산기와, 상기 차 신호로부터 영상의 고주파 성분은 보존하면서 잡음만 제거하는 잡음 제거부와, 상기 잡음 제거부의 출력에 일정 상수 (α+1)를 곱하는 곱셈기와, 상기 곱셈기의 출력에 상기 저역 통과 필터링된 신호를 더하여 출력하는 가산기를 포함하여 구성된 것을 특징으로 한다.

본 발명에 따른 영상 신호 보정 방법은, 영상의 원 신호와 저역 통과 필터링된 신호의 차 신호에 대해서 잡음 제거 및 윤곽선 선명화 처리를 수행한 후 원 신호를 보정해주는 과정으로 이루어지는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.

더블 스무싱 방식에서 실제적인 잡음 제거는 제 2 LPF에서 수행되며, 이러한 잡음 제거 기능을 함수 FNR ｛.｝로 표현하면 도 2의 더블 스무싱 방식은 다음의 수학식 1로 표현된다.

Y(t)= FNR{E(t)｝+ L(t)

한편, 도 3의 unsharp masking 방식은 다음의 수학식 2로 표현된다.

Y(t) = α. E(t) + X(t)

= α. E(t) + E(t) + L(t)

= (1 + α)E(t) + L(t)

여기서, 더블 스무싱과 unsharp masking을 표현하는 두 수식이 매우 유사한 형태를 가지고 알 수 있다.

따라서, 본 발명에서 제안하는 방식을 수식으로 표현하는 다음의 수학식 3과 같다.

Y(t) = (1 + α)FNR{E(t)｝+ L(t)

도 6은 이를 하드웨어로 구현한 본 발명의 영상 보정 장치의 구성 블록도이다.

도 6을 보면, 입력 신호 X(t)를 저역 통과 필터링하는 LPF(602), 상기 LPF(602)의 처리시간만큼 입력 신호 X(t)를 지연시키는 지연기(601), 상기 지연기(601)의 출력에서 LPF(602)의 출력을 빼는 감산기(603), 상기 감산기(603)의 출력 신호 E(t)에서 노이즈를 제거하는 노이즈 제거부(604), 상기 노이즈 제거부(604)의 출력에 상수 (α+1)를 곱하여 출력하는 곱셈기(605), 및 상기 곱셈기(605)의 출력에 상기 LPF(602)의 출력을 더하여 출력하는 가산기(606)로 구성된다.

도 7은 상기 노이즈 제거부(604)의 상세 블록도로서, 감산기(603)의 출력 신호 E(t)로부터 에지를 검출하는 에지 검출부(701), 상기 에지 검출부(701)의 출력에 절대치를 취하는 절대치 연산부(703), 상기 절대치 연산부(703)의 출력이 기 설정된 임계값보다 큰지를 비교하여 그 결과를 제어 신호로 출력하는 비교기(703), 상기 감산기(603)의 출력 신호 E(t)를 저역 통과 필터링하는 LPF(704), 상기 LPF(704)의 처리시간만큼 감산기(603)의 출력 신호 E(t)를 지연시키는 지연기(705), 및 상기 비교기(703)의 제어 신호에 따라 상기 LPF(704)의 출력 또는 지연기(705)의 출력을 선택하여 최종 출력하는 스위칭부(706)로 구성된다.

여기서, 실제적인 잡음 제거는 LPF(704)에서 수행되며, 상기 LPF(704) 대신에 다양한 비선형 필터를 사용할 수 있다.

이와 같이 구성된 본 발명의 동작은 다음의 4단계로 설명될 수 있다

단계 1) 잡음이 포함되어 있는 신호 X(t)와 LPF(602)에서 저역 통과 필터링된 결과 L(t)의 차를 감산기(603)에서 구한다. 이를 수식으로 표현하면 하기의 수학식 4와 같다. 이때, 차 신호 E(t)에는 잡음과 함께 영상의 고주파 성분이 포함된다.

E(t) = X(t) - L(t)

단계 2) 차 신호 E(t)에 대해서 노이즈 제거부(604)는 잡음 제거를 수행한다. 여기서 다양한 잡음 제거 방법을 사용할 수 있으나 영상의 고주파 성분은 보존하면서 잡음만을 제거하는 방법이 필요하다.

단계 3) 곱셈기(605)는 잡음이 제거된 차 신호 N(t)에 α+ 1를 곱해 줌으로써 영상의 고주파 성분이 증폭되거나 축소된 신호 P(t)를 구한다. 여기서 α는 0보다 크거나 같은 값을 가질 수 있고, 이 값에 따라 윤곽선 선명화 및 잡음 제거 특성이 변화된다. 즉, α가 작을수록 잡음과 함께 고주파 성분이 제거된 특성을 갖고, 클수록 에지가 선명화되는 특성을 갖는다.

단계 4) 마지막으로 출력신호는 LPF(602)에서 저역 통과 필터링된 신호 L(t)에 곱셈기(605)의 출력 신호 P(t)를 가산기(606)에서 더함으로써 구해진다. 이를 수식으로 표현하면 하기의 수학식 5와 같다.

Y(t) = L(t) + P(t)

이때, 도 6의 노이즈 제거부(604)는 차 신호 E(t)를 입력으로 받아서 잡음제거를 수행하는데, 여기서 사용하는 방식에 따라 영상의 윤곽선 부분에서의 선명도가 달라진다. 즉, 더블 스무싱 방식에서와 같이 노이즈 제거기로 단순히 선형 저역 필터를 사용할 경우, 잡음과 함께 윤곽선 부분도 조금 스무싱되는 문제가 있다. 이러한 문제를 해결하기 위한 방법으로 다양한 비선형 필터들을 사용할 수 있다.

이러한 방법들 중 구현이 쉬운 한가지 방법은 도 7의 구현 예와 같이 영상의 에지 부분을 검출한 후, 에지 부분에 대해서는 잡음 제거 필터링을 수행하지 않고 에지 이외의 부분에서만 잡음 제거 필터링을 수행하는 것이다.

즉, 에지 검출부(701)는 도 9의 (a)와 같은 차 신호 E(t)로부터 에지를 검출한 후 절대치 연산부(702)에서 절대치를 취하여 도 9의 (b)와 같이 비교기(703)로 출력한다. 여기서, 에지 검출 필터는 도 8의 (a) 내지 (c)에 나타낸 형태의 필터 계수들 중 하나를 사용할 수 있다.

상기 비교기(703)는 절대치 연산부(702)의 출력이 임계값보다 큰 지를 비교하여 큰 경우에만 에지로 판별하여 그에 따른 제어 신호를 출력한다. 즉, 절대치 연산부(702)의 출력이 임계값보다 크면 에지로 판별하여 차 신호 E(t)를 지연시킨 지연기(705)의 출력을 선택하고, 작으면 차 신호 E(t)를 저역 통과 필터링시킨 LPF(704)의 출력을 선택하도록 스위칭부(706)를 제어한다.

이러한 방식으로 차 신호 E(t)에 대한 잡음 제거를 수행할 경우 잡음이 제거된 파형은 도 9의 (c)와 같다.

이와 같이 본 발명은 더블 스무싱 방식에 의한 잡음 제거 장치와 unsharp masking 방식에 의한 윤곽선 선명화 장치의 구조에서 중복되는 부분을 공유하며, 잡음 제거 및 윤곽선 선명화의 정도가 단일 파라미터로 제어된다.

한편, 본 발명은 아날로그 및 디지털 TV 수상기, 디지털 카메라, DVD 플레이어등의 제품에 적용이 가능하다.

이상에서와 같이 본 발명에 따른 영상 신호 보정 장치 및 방법에 의하면, 잡음 제거와 윤곽선 선명화에서 중복되는 회로를 공유하기 때문에 구현비용 측면에서 효과적일 뿐 아니라 서로 상반되는 잡음 제거와 윤곽선 선명화 특성을 하나의 파라미터로 제어함으로써 유저 인터페이스가 간단해지는 장점을 갖는다. 따라서, 영상 데이터를 송수신하거나 디스플레이하는 제품에서 향상된 화질의 영상을 제공하고, 유저는 인터페이스를 간단하게 함으로써, 제품의 경쟁력 확보에 도움이 된다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims

입력 신호를 저역통과 필터링하는 제 1 필터링부;

상기 입력 신호와 상기 저역 통과 필터링된 신호와의 차 신호를 구하는 감산기;

상기 차 신호로부터 영상의 에지를 검출한 후 에지로 판별되면 상기 감산기의 출력을 그대로 출력하고, 에지로 판별되지 않으면 상기 감산기의 출력에 대해 저역 통과 필터링을 수행하여 출력하는 잡음 제거부;

상기 잡음 제거부의 출력에 일정 상수 (α+1)를 곱하는 곱셈기; 그리고

상기 곱셈기의 출력에 상기 제 1 필터링부에서 저역 통과 필터링된 신호를 더하여 출력하는 가산기를 포함하여 구성된 것을 특징으로 하는 영상 신호 보정 장치.
제 1 항에 있어서, 상기 잡음 제거부는

상기 차 신호로부터 에지를 검출하고 검출된 에지에 대해 절대치를 취한 후 기 설정된 임계값과 비교하여 실제 에지를 검출하는 에지 검출부와,

상기 차 신호를 저역 통과 필터링하는 제 2 필터링부와,

상기 에지 검출부의 절대치가 기 설정된 임계값보다 크다고 판별되면 실제 에지로 판단하여 상기 차 신호를 선택 출력하고, 크지 않다고 판별되면 상기 제 2 필터링부에서 저역 통과 필터링된 신호를 선택 출력하는 선택부로 구성된 것을 특징으로 하는 영상 신호 보정 장치.
제 1 항에 있어서,

상기 곱셈기의 상수 α는 0보다 크거나 같은 값을 갖는 것을 특징으로 하는 영상 신호 보정 장치.
(a) 입력 신호를 저역통과 필터링하는 단계;

(b) 상기 입력 신호와 저역 통과 필터링된 신호와의 차를 구하는 단계;

(c) 상기 차 신호로부터 영상의 에지를 검출한 후 에지로 판별되면 상기 차 신호를 그대로 출력하고, 에지로 판별되지 않으면 상기 차 신호에 대해 저역 통과 필터링을 수행하여 출력하는 단계; 그리고

(d) 상기 (c) 단계에서 출력되는 신호에 α+ 1를 곱한 후 상기 (a) 단계에서 저역 통과 필터링된 신호를 더하여 출력하는 단계를 포함하여 이루어진 것을 특징으로 하는 영상 신호 보정 방법.
제 4 항에 있어서, 상기 (c) 단계는

상기 차 신호로부터 에지를 검출하고 검출된 에지에 절대치를 취한 후 기 설정된 임계값과 비교하여 실제 에지를 검출하는 단계와,

상기 차 신호를 저역 통과 필터링하는 단계와,

상기 단계의 절대치가 기 설정된 임계값보다 크다고 판별되면 실제 에지로 판단하여 상기 (b) 단계의 차 신호를 선택 출력하고, 크지 않다고 판별되면 상기 단계에서 저역 통과 필터링된 차 신호를 선택 출력하는 단계로 이루어진 것을 특징으로 하는 영상 신호 보정 방법.