KR20060088692A - 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치 - Google Patents

Abstract

본 발명은 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치에 관한 것으로, 종래에는 모스키토 잡음은 대형 화면에서 화질 저하를 심각히 초래하므로 사용자는 대형 화면에 출력된 영상의 화질에 대해 만족하지 못하는 문제점이 있었다. 이러한 문제점을 감안한 본 발명은 입력 화소의 에지 화소 여부에 따라 화소간의 상관성을 고려한 가중 평균을 계산하여 공간적으로 잡음을 제거하는 공간 잡음 제거기와; 입력 화소의 움직임 화소 여부에 따라 현재 화소와 이전 화소의 시간 상관성을 고려한 가중 평균을 계산하여 잡음을 제거하는 시간 잡음 제거기로 구성되어 영상의 시공간적 상관성인 입력 영상의 에지 정도, 움직임 정도를 고려하여 영상의 세밀성을 유지하면서 모스키토 잡음을 제거함으로써 엠펙과 같은 영상 압축 부호화에 의해 발생된 모스키토 잡음으로 인한 화질 열화를 개선하는 효과가 있다.

Description

영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치{APPARATUS FOR ELIMINATE MOSQUITO NOISE USING SPACE-TIME CORRELATION OF IMAGE}

도 1은 본 발명의 실시 예에 따른 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치의 구성을 보인 블록도.

도 2는 도 1의 공간 잡음 제거기의 구성을 보인 블록도.

도 3은 도 1의 시간 잡음 제거기의 구성을 보인 블록도.

**도면의 주요부분에 대한 부호의 설명**

10 : 공간 잡음 제거기 20 : 시간 잡음 제거기

본 발명은 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치에 관한 것으로, 특히 화소의 시공간적 상관성을 고려하여 물체의 경계 부분, 평탄한 영역에 나타나는 모스키토 잡음을 제거할 수 있게 한 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치에 관한 것이다.

종래 영상 압축 부호화기는 엠펙을 이용하여 영상 데이터를 압축하여 데이터양을 줄이고 영상 처리 장치는 압축된 영상 데이터를 파일로 관리하여 제한된 저장 공간에 다수의 영상 파일을 저장 관리한다. 영상 처리 장치는 엠펙에 의해 저장된 영상 파일을 디코딩하여 본래의 영상 데이터로 복원하고 화면에 출력한다.

영상 압축 부호화기는 본래의 영상 데이터 중 중복되는 정보를 제거하여 영상 데이터를 압축하지만 중복된 정보 외에도 필요 정보를 손실하므로 엠펙에 의해 압축된 영상 데이터는 본래의 영상 데이터와는 다르게 화질 잡음을 갖는다.

영상 데이터의 압축은 영상에 모스키토(Mosquito), 링잉(Ringing), 블록화 현상의 화질 잡음을 발생시킨다. 특히, 모스키토 잡음은 물체의 경계부분 혹은 평탄한 영역에서 모기떼가 날고 있는 듯한 느낌을 주는 현상을 지칭하며 대형 화면에서 화질 저하를 심각히 초래한다.

그러나, 상기와 같은 종래 기술에 있어서, 모스키토 잡음은 대형 화면에서 화질 저하를 심각히 초래하므로 사용자는 대형 화면에 출력된 영상의 화질에 대해 만족하지 못하는 문제점이 있다.

따라서, 본 발명은 상기와 같은 문제점을 감안하여 창안한 것으로, 영상의 시공간적 상관성인 입력 영상의 에지 정도, 움직임 정도를 고려하여 영상의 세밀성을 유지하면서 모스키토 잡음을 제거할 수 있도록 한 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치를 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명은, 입력 화소의 에지 화소 여부에 따라 화소간의 상관성을 고려한 가중 평균을 계산하여 공간적으로 잡음을 제거 하는 공간 잡음 제거기와; 입력 화소의 움직임 화소 여부에 따라 현재 화소와 이전 화소의 시간 상관성을 고려한 가중 평균을 계산하여 잡음을 제거하는 시간 잡음 제거기로 구성한 것을 특징으로 한다.

이하, 본 발명에 따른 실시 예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 본 발명의 실시 예에 따른 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치의 구성을 보인 블록도로서, 이에 도시된 바와 같이 입력 화소의 에지 화소 여부에 따라 화소간의 상관성을 고려한 가중 평균을 계산하여 공간적으로 잡음을 제거하는 공간 잡음 제거기(10)와; 입력 화소의 움직임 화소 여부에 따라 현재 화소와 이전 화소의 시간 상관성을 고려한 가중 평균을 계산하여 잡음을 제거하는 시간 잡음 제거기(20)로 구성된다.

공간 잡음 제거기(10)는 현재 영상의 입력 화소와 주변 화소들과의 상관성을 고려하여 입력 화소의 에지 화소 여부에 따라 가중 평균을 계산하여 공간적으로 잡음을 제거한다.

시간 잡음 제거기(20)는 입력 화소와 이전에 처리된 화소간의 상관성을 고려하여 입력 화소의 움직임 화소 여부에 따라 화소간의 적응적 가중 평균을 계산하여 잡음을 제거한다.

도 2는 도 1의 공간 잡음 제거기의 구성을 보인 블록도로서, 이에 도시된 바와 같이 입력 화소에 대해 에지 정도를 계산하여 에지 화소 여부를 판별하는 에지 검출기(11)와; 입력 화소의 에지 화소 판별 결과 에지 화소가 아니면 입력 화소와 주변 화소간의 상관성을 고려한 가중 평균을 계산하여 입력 화소의 잡음을 제거하는 공간적 적응 가중 평균기(12)로 구성된다.

공간 잡음 제거기는 입력 화소의 에지 화소 여부를 판별하고 에지 화소가 아니면 입력 화소와 주변 화소간의 상관성을 고려한 가중 평균을 계산하여 입력 영상의 세밀성을 유지하면서 입력 화소의 잡음을 제거한다.

에지 검출기(11)는 입력 화소에 대해 수학식 1을 이용하여 에지 정도를 계산하여 에지 화소 여부를 판별한다. 수학식 1은 입력 화소와 주변 화소간의 차이를 계산하고 합하여 입력 화소를 중심으로 한 M*N 매트릭스에 대하여 에지 정도를 구한다.

여기서, c(i,j,t)는 입력 화소이고, c(i+k,j+l,t)는 주변 화소이고, edv(i,j,t)는 에지 정도이다.

에지 검출기(11)는 에지 정도에 대해 수학식 2를 이용하여 입력 화소의 에지 화소 여부를 판별한다. 수학식 2는 에지 정도와 정도 임계치를 비교하여 에지 정도가 정도 임계치 미만이면 입력 화소는 에지 화소가 아님으로 판별하고, 이상이면 입력 화소는 에지 화소로 판별한다.

여기서, edv(i,j,t)는 에지 정도이고, edth(t)는 에지 임계치이고, nedp(i,j,t)는 입력 화소(c(i,j,t))에 대한 에지 화소 판별 결과이다.

입력 화소가 에지 화소가 아닌 경우, 공간적 적응 가중 평균기(12)는 입력 화소를 중심으로 한 M*N 매트릭스에서 에지 화소가 아닌 화소에 대해 적응적 가중 평균을 구한다. 입력 화소의 에지 정도는 edv(i,j,t)이고, 입력 화소를 제외한 M*N 매트릭스 내에 에지 화소가 아닌 화소의 가중치는 1이다.

공간적 적응 가중 평균기(12)는 입력 화소의 가중치에 따라서 가중 평균을 계산하므로 영상의 세밀성을 유지하면서 잡음을 제거한다. 즉, 에지 화소가 아닌 입력 화소의 에지 정도 edv(i,j,t) 값이 큰 경우에는 M*N 매트릭스의 주변 화소들이 영향을 주지 않으므로 영상의 세밀성이 유지되고 edv(i,j,t) 값이 작은 경우에는 M*N 매트릭스의 주변 화소들이 고려되어 잡음이 제거된다.

공간적 적응 가중 평균기(12)는 입력 화소에 대하여 수학식 3, 수학식 4를 이용하여 적응적 가중 평균을 계산한다. 수학식 3은 입력 화소가 중심인 M*N 매트릭스에서 입력 화소를 제외한 에지 화소가 아닌 다른 화소들에 대해 K*L 미디언 필터링을 수행하고 총합을 구하는 식이고, 수학식 4는 입력 화소가 중심인 M*N 매트릭스에서 입력 화소를 제외한 에지 화소가 아닌 다른 화소들의 개수를 구하는 식이다.

여기서, sf_wsum(i,j,t)는 미디언 필터링의 총합이고, nedp(i+k,j+l,t)는 입력 화소(c(i+k,j+l,t))에 대한 에지 화소 판별 결과이고, mdeian[c(i+k,j+l,t)]은 미디언 필터링이다.

공간적 적응 가중 평균기(12)는 수학식 3에서 K*L 매트릭스에 대해 미디언 필터링을 수행하지 않고 K*L 매트릭스에 대해 최대값의 화소와 최소값의 화소를 제외하고 평균을 구할 수 있다.

여기서, sf_wnum(i,j,t)는 에지 화소가 아닌 다른 화소들의 개수이고, nedp(i+k,j+l,t)는 에지 화소가 아닌 경우 1이고, 에지 화소인 경우 0이다.

공간적 적응 가중 평균기(12)는 미디언 필터링의 총합, 에지 화소가 아닌 화소의 개수를 구하여 에지 화소가 아닌 입력 화소에 대하여 수학식 5를 이용하여 적응적 가중 평균을 계산한다.

여기서, sf(i,j,t)는 적응적 가중 평균이고, edv(i,j,t)는 에지 정도이고, c(i,j,t)는 입력 화소이고, sf_wsum(i,j,t)는 미디언 필터링의 총합이고, sf_wnum(i,j,t)는 에지 화소가 아닌 화소의 개수이다.

도 3은 도 1의 시간 잡음 제거기의 구성을 보인 블록도로서, 이에 도시된 바와 같이 입력 화소에 대해 움직임 정도를 계산하여 움직임 화소 여부를 판단하는 움직임 검출기(21)와; 입력 화소의 움직임 화소 판별 결과 움직임 화소가 아니면 움직임 정도에 따라 입력 화소와 이전 영상의 화소 간의 가중 평균을 계산하여 시간상관성을 고려하여 잡음을 제거하는 시간적 적응 가중 평균기(22)로 구성된다.

시간 잡음 제거기는 입력 화소의 움직임 화소 여부를 판단하여 움직임이 없는 화소이면 입력 화소와 이전 영상의 같은 위치에 해당하는 화소간의 상관성을 고려한 가중 평균을 계산하여 잡음을 제거한다.

움직임 검출기(21)는 입력 화소에 대해 수학식 6을 이용하여 움직임 정도를 계산하여 움직임이 있는 화소인지 아닌지를 판단한다. 수학식 6은 입력 화소와 잡음이 제거된 이전 영상의 화소에 대해 그 차이를 계산하여 움직임 정도를 구하는 식이다.

여기서, mdv(i,j,t)는 움직임 정도이고, sf(i,j,t)는 입력 화소이고, stf(i,j,t-1)은 이전 영상의 화소이다.

움직임 검출기(21)는 입력 화소에 대해 수학식 7을 이용하여 움직임 화소인지 아닌지를 판단한다. 수학식 7은 움직임 정도와 움직임 임계치를 비교하여 움직임 정도가 움직임 임계치 미만이면 움직임이 없는 화소로 판단하고, 이상이면 움직임 화소로 판단한다.

여기서, nmdp(i,j,t)는 입력 화소(sf(i,j,t))에 대한 움직임 화소 판별 결과이고, mdv(i,j,t)는 움직임 정도이고, mdth(t)는 움직임 임계치이다.

입력 화소가 움직임이 없는 화소이면, 시간적 적응 가중 평균기(22)는 움직임 정도에 따라 수학식 8을 이용하여 입력 화소와 이전 영상의 화소 간의 가중 평균을 계산하여 시간상관성을 고려하여 잡음을 제거한다. 즉, 시간적 적응 가중 평균기(22)는 움직임 화소가 아닌 입력 화소의 움직임 정도 값이 큰 경우에는 가중 평균을 계산하지 않고, 움직임 정도 값이 작은 경우에는 가중 평균을 계산한다.

여기서, sf(i,j,t)는 입력 화소이고, mdv(i,j,t)는 움직임 정도이고, mdth(t)는 움직임 임계치이고, stf(i,j,t-1)는 이전 영상의 화소(이전 화소의 가중 평균)이고, stf(i,j,t)는 시간적 적응 가중 평균이다.

수학식 8은 입력 화소인 움직임이 없는 화소에 대해 시간적 가중 평균을 계산하고, 움직임 화소에 대해 입력 화소를 대입한다.

이상, 모스키토 잡음 제거 장치에서 공간 잡음 제거기는 현재 영상의 입력 화소와 주변 화소들과의 상관성을 고려하여 입력 화소의 에지 화소 여부에 따라 가 중 평균을 계산하여 공간적으로 잡음을 제거하고, 공간 잡음 제거기에 의해 잡음 제거된 입력 화소에 대해 시간 잡음 제거기는 입력 화소와 이전에 처리된 화소간의 상관성을 고려하여 입력 화소의 움직임 화소 여부에 따라 화소간의 적응적 가중 평균을 계산하여 잡음을 제거한다.

이상에서 상세히 설명한 바와 같이, 본 발명은 영상의 시공간적 상관성인 입력 영상의 에지 정도, 움직임 정도를 고려하여 영상의 세밀성을 유지하면서 모스키토 잡음을 제거함으로써 엠펙과 같은 영상 압축 부호화에 의해 발생된 모스키토 잡음으로 인한 화질 열화를 개선하는 효과가 있다.

Claims (8)

1. 입력 화소의 에지 화소 여부에 따라 화소간의 상관성을 고려한 가중 평균을 계산하여 공간적으로 잡음을 제거하는 공간 잡음 제거기와;

   입력 화소의 움직임 화소 여부에 따라 현재 화소와 이전 화소의 시간 상관성을 고려한 가중 평균을 계산하여 잡음을 제거하는 시간 잡음 제거기로 구성된 것을 특징으로 하는 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치.
2. 제1항에 있어서, 상기 공간 잡음 제거기는 입력 화소에 대해 에지 정도를 계산하여 에지 화소 여부를 판별하는 에지 검출기와;

   입력 화소의 에지 화소 판별 결과 에지 화소가 아니면 입력 화소와 주변 화소간의 상관성을 고려한 가중 평균을 계산하여 입력 화소의 잡음을 제거하는 공간적 적응 가중 평균기로 구성된 것을 특징으로 하는 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치.
3. 제2항에 있어서, 상기 에지 검출기는 입력 화소에 대해 입력 화소와 주변 화소간의 차이를 계산하고 합하여 입력 화소를 중심으로 한 M*N 매트릭스에 대하여 에지 정도를 계산하고, 에지 정도와 정도 임계치를 비교하여 에지 정도가 정도 임계치 미만이면 입력 화소는 에지 화소가 아님으로 판별하고, 이상이면 입력 화소는 에지 화소로 판별하게 구성된 것을 특징으로 하는 영상의 시공간적 상관성을 이용 한 모스키토 잡음 제거 장치.
4. 제2항에 있어서, 상기 공간적 적응 가중 평균기는 입력 화소에 대하여 입력 화소가 중심인 M*N 매트릭스에서 입력 화소를 제외한 에지 화소가 아닌 다른 화소들에 대해 K*L 미디언 필터링을 수행하고 총합을 계산하고, 입력 화소가 중심인 M*N 매트릭스에서 입력 화소를 제외한 에지 화소가 아닌 다른 화소들의 개수를 계산하고, 미디언 필터링의 총합, 에지 화소가 아닌 화소의 개수를 구하여 에지 화소가 아닌 입력 화소에 대하여 수학식 5를 이용하여 적응적 가중 평균을 계산하게 구성된 것을 특징으로 하는 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치.

   [수학식 5]

   

   여기서, sf(i,j,t)는 적응적 가중 평균이고, edv(i,j,t)는 에지 정도이고, c(i,j,t)는 입력 화소이고, sf_wsum(i,j,t)는 미디언 필터링의 총합이고, sf_wnum(i,j,t)는 에지 화소가 아닌 화소의 개수이다.
5. 제4항에 있어서, 상기 공간적 적응 가중 평균기는 K*L 매트릭스에 대해 미디언 필터링을 수행하지 않고 K*L 매트릭스에 대해 최대값의 화소와 최소값의 화소를 제외하고 평균을 계산하게 구성된 것을 특징으로 하는 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치.
6. 제1항에 있어서, 상기 시간 잡음 제거기는 입력 화소에 대해 움직임 정도를 계산하여 움직임 화소 여부를 판단하는 움직임 검출기와;

   입력 화소의 움직임 화소 판별 결과 움직임 화소가 아니면 움직임 정도에 따라 입력 화소와 이전 영상의 화소 간의 가중 평균을 계산하여 시간상관성을 고려하여 잡음을 제거하는 시간적 적응 가중 평균기로 구성된 것을 특징으로 하는 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치.
7. 제6항에 있어서, 상기 움직임 검출기는 입력 화소에 대해 입력 화소와 잡음이 제거된 이전 영상의 화소에 대해 그 차이를 계산하여 움직임 정도를 구하고, 움직임 정도와 움직임 임계치를 비교하여 움직임 정도가 움직임 임계치 미만이면 움직임이 없는 화소로 판단하고, 이상이면 움직임 화소로 판단하게 구성된 것을 특징으로 하는 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장치.
8. 제6항에 있어서, 상기 시간적 적응 가중 평균기는 움직임 정도에 따라 수학식 8을 이용하여 움직임 화소가 아닌 입력 화소의 움직임 정도 값이 큰 경우에는 가중 평균을 계산하지 않고, 움직임 정도 값이 작은 경우에는 입력 화소와 이전 영상의 화소 간의 가중 평균을 계산하여 시간상관성을 고려하여 잡음을 제거하게 구성된 것을 특징으로 하는 영상의 시공간적 상관성을 이용한 모스키토 잡음 제거 장 치.

   [수학식 8]

   

   여기서, sf(i,j,t)는 입력 화소이고, mdv(i,j,t)는 움직임 정도이고, mdth(t)는 움직임 임계치이고, stf(i,j,t-1)는 이전 영상의 화소(이전 화소의 가중 평균)이고, stf(i,j,t)는 시간적 적응 가중 평균이다.

Images